類似映像出力方法、類似映像出力装置および類似映像出力プログラム
【課題】印象が類似する映像データを出力する。
【解決手段】類似映像出力装置１は、複数の映像データが記憶された映像データ記憶部１２と、複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出手段２２と、構造的特徴類似度データに基づいて、映像データ記憶部１２から、基準映像データに類似する映像データを抽出する類似映像決定手段２４と、を備える。
【解決手段】類似映像出力装置１は、複数の映像データが記憶された映像データ記憶部１２と、複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出手段２２と、構造的特徴類似度データに基づいて、映像データ記憶部１２から、基準映像データに類似する映像データを抽出する類似映像決定手段２４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似する映像データを出力する類似映像出力方法、類似映像出力装置および類似映像出力プログラムに関する。
【背景技術】
【０００２】
昨今の情報処理装置の発達に伴い、映像データなどの電子コンテンツが膨大に増えている。例えば、ＩＰＴＶ（Internet Protocol TeleVision）や動画共有サイトにおいて、ユーザは、大量の映像データの中から、興味のある映像データを選択し、任意のタイミングでその選択した映像データを閲覧することが可能である。ユーザは例えば、所望の映像データのキーワードやジャンルを指定することによって、指定された条件に合致する映像データを閲覧することができる。このように、ユーザが所望する映像データのイメージが明確である場合、検索条件を指定し、検索された映像データから所望の映像データを探すことは容易である。
【０００３】
しかし、ユーザが所望する映像のイメージが明確でない場合、ユーザは、適切な検索条件を指定することができない。従ってユーザは、検索条件を指定する方法では、所望の映像を探し出すことが困難となってしまう。また、所望の映像データを閲覧する都度、検索条件を指定する操作が必要になるため、ユーザが煩わしさを感じる場合もある。
【０００４】
このような問題を解決するためのアプローチの一つとして、映像推薦技術がある。この映像推薦とは、ユーザがある映像に対して閲覧や評価をした際に、関連する別の映像を提示することにより、ユーザの映像発見を容易にするための手法である。
【０００５】
この映像推薦のための手法は、主に、協調フィルタリングと内容ベースフィルタリングに大別される。
【０００６】
協調フィルタリングは、映像に対するユーザの閲覧履歴や評価履歴を利用することにより、ユーザもしくは映像同士が似ているかを分析し、推薦する手法である。例えば、ユーザからの評価値のつけられ方が似ているアイテムを推薦する方法がある（例えば、非特許文献１参照）。
【０００７】
この協調フィルタリングの推薦手法では、非特許文献１に挙げた技術のように、映像間の関連を分析するために視聴履歴を利用する。非特許文献１に記載の技術は、視聴や評価をした映像が共通するユーザを嗜好が似ているとみなし、嗜好が似たユーザが視聴した映像のうち、未視聴の映像を推薦する。
【０００８】
しかし、協調フィルタリングでは、ユーザの履歴を利用して推薦するという特性上、履歴の量が少ない場合には、視聴履歴の量が少ないため、映像を視聴したユーザが似ているかどうかを正確に分析できず、効果的な推薦を行うことができないという問題があった。例えば、サービスをあまり利用していない、もしくは、サービスに登録したばかりのユーザに推薦を行いたい場合や、埋もれていたり、サービスに新たに追加された映像を推薦の対象にしたい場合には、効果的な推薦を行うことができなかった。
【０００９】
協調フィルタリングは、多くの視聴履歴を必要とするのに対し、内容ベースフィルタリングは、履歴の量が少ない場合でも、映像に付与されたメタデータや映像から抽出された映像特徴の情報に基づいて推薦を行うことができる。内容ベースフィルタリングによれば、サービスに登録したばかりの新規ユーザや埋もれている映像を対象にした推薦など、利用可能な履歴の量が少ない場合にも、映像を推薦することができる。これにより、サービスをより多くのユーザに利用してもらい、より多くの映像を視聴してもらうことができる。
【００１０】
内容ベースフィルタリングに関する研究としては、ユーザが高く評価したコンテンツに付与されている属性の出現頻度を計測し、出現頻度の高い属性が付与されているコンテンツを推薦する手法（特許文献１）がある。また、ユーザや映像に付与されたメタデータの情報を利用せず、映像特徴の分析に基づいて推薦する手法（例えば、非特許文献２）もある。
【００１１】
非特許文献２に挙げた技術は、映像の見た目と音の情報に基づいて映像の類似度を算出する。見た目の情報としては、色ヒストグラム、動きの激しさ、１秒あたりの平均ショット数を利用し、音の情報としては、音のテンポの平均値と分散を利用する。
【００１２】
内容ベースフィルタリングの推薦手法では、映像と内容やジャンルが共通した映像を推薦することが一般的である。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−２０５４１８号公報
【非特許文献】
【００１４】
【非特許文献１】B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, “Item-Based Collaborative Filtering Recommendation Algorithms,” In Proceedings of the 10th international conference on World Wide Web, 2001.
【非特許文献２】B. Yang, T. Mei, X.-S. Hua, L. Yang, S.-Q. Yang and M. Li. Online Video Recommendation Based on Multimodal Fusion and Relevance Feedback. In Proc. ACM International Conference on Image and Video Retrieval (CIVR), pp. 73-80, 2007.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、映像を推薦する際、内容やジャンルが共通した映像を推薦するだけではなく、視聴者に与える印象が似ている映像を推薦することも重要である。例えば、明るい雰囲気の映像を視聴したユーザには、暗い雰囲気の映像ではなく、明るい雰囲気の映像を推薦した方が、ユーザが視聴する可能性が高い。
【００１６】
内容ベースフィルタリングにおいて、映像間の関連を分析するための方法として、映像に付されたメタデータを利用する方法と、映像特徴を解析する方法がある。
【００１７】
特許文献１の手法では、メタデータ中の属性やキーワードに基づいて、推薦する映像を決定する。そのため、メタデータ中に映像の印象に関する属性やキーワードが存在しない場合や、メタデータが全く付与されていない場合には、印象が似ている映像の推薦を行うことができなかった。
【００１８】
また、非特許文献２に開示された映像間の関連を分析するために映像特徴を解析する技術では、映像全体を解析する。従って、視聴者の印象に残らないようなあまり重要でないシーンも類似度算出の対象となり、重要でないシーンの特徴は似ていても視聴者の映像に対する印象は似ていない映像を推薦してしまうという問題があった。また、この技術は、各特徴について、映像全体における平均値もしくは分散を類似度算出に利用するため、映像の前半に特徴が多く現れるといった、映像の時間軸に関する情報を比較することができないという問題があった。そのため、印象が似ている映像を、適切に推薦することができなかった。
【００１９】
従って本発明の目的は、印象が類似する映像データを出力する類似映像出力方法、類似映像出力装置および類似映像出力プログラムを提供することである。
【課題を解決するための手段】
【００２０】
上記課題を解決するため、本発明の第１の特徴は、類似する映像データを出力する類似映像出力方法に関する。すなわち本発明の第１の特徴に係る類似映像出力方法は、映像データ記憶部に記憶された複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出ステップと、構造的特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定ステップと、を備える。
【００２１】
ここで、構造的特徴は、区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間のうち、いずれか一つ以上である。
【００２２】
また、複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出ステップをさらに備えても良い。この場合、類似映像決定ステップは、構造的特徴類似度データおよび重要シーン特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する。
【００２３】
ここで、重要シーン特徴は、重要シーンの色、動き、音響特徴のいずれか一つ以上である。
【００２４】
本発明の第２の特徴は、類似する映像データを出力する類似映像出力方法に関する。本発明の第２の特徴に係る類似映像出力方法は、映像データ記憶部に記憶された複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出ステップと、重要シーン特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定ステップと、を備える。
【００２５】
本発明の第３の特徴は、類似する映像データを出力する類似映像出力装置に関する。本発明の第３の特徴に係る類似映像出力装置は、複数の映像データが記憶された映像データ記憶部と、複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出手段と、構造的特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定手段と、を備える。
【００２６】
ここで、構造的特徴は、区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間のうち、いずれか一つ以上である。
【００２７】
また、複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出手段をさらに備えても良い。この場合、類似映像決定手段は、構造的特徴類似度データおよび重要シーン特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する。
【００２８】
ここで、重要シーン特徴は、重要シーンの色、動き、音響特徴のいずれか一つ以上である。
【００２９】
本発明の第４の特徴は、類似する映像データを出力する類似映像出力装置に関する。本発明の第４の特徴に係る類似映像出力装置は、複数の映像データが記憶された映像データ記憶部と、複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出手段と、重要シーン特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定手段と、を備える。
【００３０】
本発明の第５の特徴は、コンピュータに、本発明の第１の特徴または第２の特徴に係る類似映像出力方法のステップを実行させるための類似映像出力プログラムである。
【発明の効果】
【００３１】
本発明によれば、印象が類似する映像データを出力する類似映像出力方法、類似映像出力装置および類似映像出力プログラムを提供することができる。
【図面の簡単な説明】
【００３２】
【図１】図１は、本発明の実施の形態に係る類似映像出力方法を説明するフローチャートである。
【図２】図２は、本発明の実施の形態に係る類似映像出力装置の機能ブロック図である。
【図３】図３は、本発明の実施の形態に係る構造的特徴量データのデータ構造とデータの一例を説明する図である。
【図４】図４は、本発明の実施の形態に係る構造的特徴類似度データのデータ構造とデータの一例を説明する図である。
【図５】図５は、本発明の実施の形態に係る重要シーン特徴量データのデータ構造とデータの一例を説明する図である。
【図６】図６は、本発明の実施の形態に係る重要シーン特徴類似度データのデータ構造とデータの一例を説明する図である。
【図７】図７は、本発明の実施の形態に係る類似度データのデータ構造とデータの一例を説明する図である。
【図８】図８は、本発明の実施の形態に係る映像管理データのデータ構造とデータの一例を説明する図である。
【図９】図９は、本発明の実施の形態に係る構造的特徴類似度算出処理を説明するフローチャートである。
【図１０】図１０は、本発明の実施の形態に係る構造的特徴類似度算出処理を説明する図である。
【図１１】図１１は、本発明の実施の形態に係る重要シーン特徴類似度算出処理を説明するフローチャートである。
【図１２】図１１は、本発明の実施の形態に係る重要シーン特徴類似度算出処理を説明する図である。
【図１３】図１３は、本発明の実施の形態に係る類似映像決定処理を説明するフローチャートである。
【発明を実施するための形態】
【００３３】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００３４】
（実施の形態）
本発明の実施の形態に係る類似映像出力方法は、印象が類似する映像データを出力する。
【００３５】
実施の形態に係る類似映像出力方法は、映像特徴量を分析して、映像の構造的な特徴が似ているかどうか、もしくは、映像の重要シーンの特徴が似ているかどうかに基づいて、複数の推薦対象の映像データから、印象が類似する映像データを、ユーザに推薦する映像データとして出力する。本発明の実施の形態においては、構造的特徴類似度および重要シーン特徴類似度の両方に基づいて、類似する映像データを算出する場合を説明するが、このいずれかのみでも構わない。ユーザが基準映像データの情報を入力すると、類似映像出力方法は、この基準映像データに類似する映像データを、ユーザに推薦する映像データとして出力する。ユーザに出力する推薦する映像データは、一つでも良いし複数でも良い。実施の形態において、推薦する対象をユーザと表記するが、このユーザは一般ユーザであっても良いし、実施の形態に係る類似映像出力方法を利用するシステムであっても良い。
【００３６】
図１を参照して、実施の形態に係る類似映像出力方法の処理の概要を説明する。まず、類似映像出力方法は、ステップＳ１において基準映像データが入力されると、ステップＳ２に進む。
【００３７】
ステップＳ２において、構造的類似度算出処理が実行される。構造的類似度算出処理において、映像データを分割した各区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度が算出される。ここで、構造的特徴は、映像データの区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間などである。映像を時間順に見ていったとき、ショットの切り替わった時点をカット位置といい、ショットとは、連続して撮影された一つの場面である。
【００３８】
ステップＳ３において、映像類似度算出処理が実行される。映像類似度算出処理において、映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度が算出される。ここで重要シーン特徴は、重要シーンの色、動き、音響特徴のいずれか一つ以上である。
【００３９】
ステップＳ４において類似映像データが決定される。ここでは、ステップＳ２で算出された構造的特徴類似度、およびステップＳ３で算出された重要シーン特徴類似度の少なくともいずれかの類似度から算出された映像データ間の類似度に基づいて、基準映像データに類似する映像データが特定される。
【００４０】
ステップＳ５において、ステップＳ４で特定された類似する映像データの情報が出力される。例えば、類似映像出力装置１は、特定された類似する映像データのタイトル、説明、推薦スコアなどのリストを、出力する。
【００４１】
（類似映像出力装置）
図１を参照して説明した実施の形態に係る類似映像出力方法は、図２に示す類似映像出力装置１によって実現される。類似映像出力装置１は、記憶装置１０、中央処理制御装置２０および表示装置３０を備える一般的なコンピュータである。類似映像出力装置１は、所定の処理を実行するための類似映像出力プログラムが、一般的なコンピュータにインストールされることにより実装される。この類似映像出力装置１の各構成要素は、サーバ装置のＡＰＩ（Application Program Interface）などであって、クライアント端末がこのＡＰＩ通じて映像情報を提供するためのプログラムにより実現されても良い。
【００４２】
記憶装置１０は、基準映像データ記憶部１１、映像データ記憶部１２、構造的特徴量データ記憶部１３、構造的特徴類似度データ記憶部１４、重要シーン特徴量データ記憶部１５、重要シーン特徴類似度データ記憶部１６、類似度データ記憶部１７、類似映像リストデータ記憶部１８および映像管理データ記憶部１９が記憶される。また記憶装置１０には、類似映像出力プログラムも記憶される。
【００４３】
基準映像データ記憶部１１は、記憶装置１０のうち、基準映像データ１１ａが記憶された記憶領域である。類似映像出力装置１は、基準映像データ１１ａに印象が類似する映像データを出力する。基準映像データ１１ａは、映像データそのものであっても良いし、例えば、後述する映像データ記憶部１２に記憶された映像データの識別子であっても良い。
【００４４】
映像データ記憶部１２は、記憶装置１０のうち、複数の映像データ１２ａ、１２ｂ…が記憶された記憶領域である。
【００４５】
構造的特徴量データ記憶部１３は、記憶装置１０のうち、構造的特徴量データ１３ａが記憶された記憶領域である。構造的特徴量データ１３ａは、構造的特徴類似度算出手段２２によって生成され、参照される。
【００４６】
構造的特徴量データ１３ａは、図３に示すように、映像識別子および映像中の区分識別子と、その映像および区分における構造的特徴識別子および構造的特徴量とを対応づけたデータである。ここで、構造的特徴識別子は、映像データの区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間などの、本発明の構造的特徴を模式的に示したものである。図３に示す例において、構造的特徴識別子”ＦＥＡ００１”が色の構造的特徴を示している場合、映像識別子”ＭＯＶ００１”の区分識別子”ＤＩＶ００１”で識別される映像データの区分において、色の構造的特徴が、”（０．０００１，０．０００２，・・・・）”のベクトルであることを示している。類似映像出力装置１は、これらの構造的特徴識別子と、構造的特徴の名称と、を対応づけたデータを記憶装置１０に記憶しても良い。
【００４７】
構造的特徴類似度データ記憶部１４は、記憶装置１０のうち、構造的特徴類似度データ１４ａが記憶された記憶領域である。構造的特徴類似度データ１４ａは、任意の映像データ間の構造的特徴類似度を記憶する。構造的特徴類似度データ１４ａは、構造的特徴類似度算出手段２２によって生成され、類似映像決定手段２４によって参照される。
【００４８】
構造的特徴類似度データ１４ａは、図４に示すように、第１の映像識別子と、第２の映像識別子と、これら第１および第２の映像識別子で特定される映像データ間の構造的特徴類似度と、が対応づけられたデータである。構造的特徴類似度は、図３を参照して説明した構造的特徴量データ１３ａから算出される。
【００４９】
重要シーン特徴量データ記憶部１５は、記憶装置１０のうち、重要シーン特徴量データ１５ａが記憶された記憶領域である。重要シーン特徴量データ１５ａは、重要シーン特徴類似度算出手段２３によって生成され、参照される。
【００５０】
重要シーン特徴量データ１５ａは、図５に示すように、映像識別子および映像中の重要シーン識別子と、その映像および重要シーンにおける重要シーン特徴識別子および重要シーン特徴量とを対応づけたデータである。ここで、重要シーン特徴識別子は、重要シーンの色、動き、音響特徴などの重要シーン特徴の識別子である。例えば、重要シーンの色の特徴としてＬ＊ａ＊ｂ＊ヒストグラムが、重要シーンの動きの特徴としてオプティカルフローが、考えられる。類似映像出力装置１は、これらの重要シーン特徴識別子と、重要シーン特徴の名称と、を対応づけたデータを記憶装置１０に記憶しても良い。
【００５１】
重要シーン特徴類似度データ記憶部１６は、記憶装置１０のうち、重要シーン特徴類似度データ１６ａが記憶された記憶領域である。重要シーン特徴類似度データ１６ａは、任意の映像データ間の重要シーン特徴類似度を記憶する。重要シーン特徴類似度データ１６ａは、重要シーン特徴類似度算出手段２３よって生成され、類似映像決定手段２４によって参照される。
【００５２】
重要シーン特徴類似度データ１６ａは、図６に示すように、第１の映像識別子と、第２の映像識別子と、これら第１および第２の映像識別子で特定される映像データ間の重要シーン特徴類似度と、が対応づけられたデータである。重要シーン特徴類似度は、図５を参照して説明した重要シーン特徴量データ１５ａから算出される。
【００５３】
類似度データ記憶部１７は、記憶装置１０のうち、類似度データ１７ａが記憶された記憶領域である。類似度データ記憶部１７は、類似映像決定手段２４によって生成され、参照される。
【００５４】
類似度データ１７ａは、第１の映像識別子と、第２の映像識別子と、これら第１および第２の映像識別子で特定される映像データ間の類似度と、類似度に対応する推薦スコアが対応づけられたデータである。映像データ間の類似度は、図４を参照して説明した構造的特徴類似度データ１４ａの構造的特徴類似度と、図６を参照して説明した重要シーン特徴類似度データ１６ａの重要シーン特徴類似度と、に基づいて算出される。図７に示す例では、映像データ間の類似度は、０から１の値を採る。推薦スコアは、類似度に基づいて算出され、図７に示す例では、０から１００の値を採る。実施の形態において、類似度および推薦スコアは高いほど映像データが類似していることを示し、類似映像データとして推薦され易いことを示している。
【００５５】
類似映像リストデータ記憶部１８は、記憶装置１０のうち、類似映像リストデータ１８ａが記憶された記憶領域である。類似映像リストデータ１８ａは、類似映像決定手段２４によって出力され、類似映像情報出力手段２５によって参照される。
【００５６】
類似映像リストデータ１８ａは、基準映像データ１１ａに類似する映像として、ユーザに推薦する映像データの情報である。類似映像リストデータ１８ａは、推薦する映像データの識別子、タイトル、説明、推薦スコアなどが対応づけられたデータである。
【００５７】
映像管理データ記憶部１９は、記憶装置１０のうち映像管理データ１９ａが記憶された記憶領域である。映像管理データ１９ａは、図８に示すように、映像識別子、映像名称およびその映像データの説明が対応づけられたデータである。映像管理データ１９ａは、ユーザに推薦する映像データの情報を表示するために参照される。
【００５８】
図２に示すように、類似映像出力装置１の中央処理制御装置２０は、基準映像データ取得手段２１、構造的特徴類似度算出手段２２、重要シーン特徴類似度算出手段２３、類似映像決定手段２４および類似映像情報出力手段２５を備える。
【００５９】
基準映像データ取得手段２１は、基準映像データ１１ａを取得し、基準映像データ記憶部１１に記憶する。類似映像出力装置１は、この基準映像データ１１ａに類似する映像データを検索する。基準映像データ１１ａは、映像データ記憶部１２に記憶された映像データの識別子であっても良い。
【００６０】
基準映像データ１１ａとして、映像データ記憶部１２に記憶されていない映像データが入力された場合、入力された基準映像データ１１ａについて、後述する構造的特徴類似度算出手段２２において、構造的特徴量が算出され、基準映像データ１１ａと、映像データ記憶部１２の各映像データとの構造的特徴類似度が算出される。同様に、入力された基準映像データ１１ａについて、後述する重要シーン特徴類似度算出手段２３において、重要シーン特徴量が算出され、基準映像データ１１ａと、映像データ記憶部１２の各映像データとの重要シーン特徴類似度が算出される。さらに後述する類似映像決定手段２４は、基準映像データ１１ａと、映像データ記憶部１２の各映像データとの構造的特徴類似度と、基準映像データ１１ａと、映像データ記憶部１２の各映像データとの重要シーン特徴類似度と、から基準映像データ１１ａと、映像データ記憶部１２の各映像データとの類似度および推薦スコアを算出して、基準映像データ１１ａに類似する映像データの情報を出力する。
【００６１】
本発明の実施の形態においては、基準映像データ１１ａとして、映像データ記憶部１２に記憶された映像データの識別子が指定された場合を説明する。また、後述する構造的特徴類似度算出手段２２、重要シーン特徴類似度算出手段２３および類似映像決定手段２４において、映像データ記憶部１２に記憶された全ての映像データ間の類似度等を算出する場合について説明する。
【００６２】
構造的特徴類似度算出手段２２は、構造的特徴解析手段２２１および類似度算出手段２２２を備える。
【００６３】
構造的特徴解析手段２２１は、映像データ記憶部１２に記憶された複数の映像データのそれぞれについて、構造的特徴量を算出する。構造的特徴解析手段２２１は、例えば時間の長さが均等になるように、映像データを複数の区間に分割し、各区間毎の構造的特徴の出現する時間を構造的特徴量として算出する。ここで構造的特徴解析手段２２１は、構造的特徴量として、色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間の各構造的特徴の出現する時間を、各映像データおよび各区間について算出する。構造的特徴解析手段２２１は、映像識別子と、映像データ中の区間の識別子と、構造的特徴の識別子をキーとして、構造的特徴量を対応づけたレコードを、構造的特徴量データ１３ａに挿入する。
【００６４】
類似度算出手段２２２は、構造的特徴量データ１３ａの構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データ１４ａを出力する。ここで類似度算出手段２２２は、各映像識別子について、この映像識別子関連づけられる複数の構造的特徴量を要素に持つ特徴ベクトルを算出する。類似度算出手段２２２は、映像データ間の類似度として、この特徴ベクトルの類似度を算出する。類似度算出手段２２２は、第１の映像識別子と、第２の映像識別子と、この第１の映像識別子の映像データとこの第２の映像識別子の映像データとの構造的特徴類似度と、を対応づけたレコードを、構造的特徴類似度データ１４ａに挿入する。
【００６５】
図９を参照して、構造的特徴類似度算出手段２２による構造的特徴類似度算出処理を説明する。
【００６６】
まず、映像データ記憶部１２に記憶された各映像データについて、ステップＳ１０１ないしステップＳ１０３の処理を繰り返す。ステップＳ１０１において構造的特徴類似度算出手段２２は、映像データを時間が均等となる複数の区分に分割する。
【００６７】
この複数の区間のそれぞれについて、ステップＳ１０２およびステップＳ１０３の処理を繰り返す。構造的特徴類似度算出手段２２は、各区間について、構造的特徴量を算出する。このとき構造的特徴類似度算出手段２２は、各区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間の時間の長さを、構造的特徴量として算出し、ステップＳ１０３において、構造的特徴量データ１３ａに記録する。全ての区間について、ステップＳ１０２ないしステップＳ１０３の処理が終了すると、次の映像データについて、ステップＳ１０１ないしステップＳ１０３の処理を続ける。
【００６８】
全ての映像データについてステップＳ１０１ないしステップＳ１０３の処理が終了すると、構造的特徴類似度算出手段２２は、ステップＳ１０４ないしステップＳ１０７において、各映像データ間の構造的特徴類似度を算出する。まずステップＳ１０４において構造的特徴類似度算出手段２２は、任意の第１の映像データについて、構造的特徴量データ１３ａから各区間の構造的特徴量を取得する。ステップＳ１０５において構造的特徴類似度算出手段２２は、第２の映像データについて、構造的特徴量データ１３ａから各区間の構造的特徴量を取得する。
【００６９】
ステップＳ１０６において構造的特徴類似度算出手段２２は、ステップＳ１０４で取得した第１の映像データの構造的特徴量と、ステップＳ１０５で取得した第２の映像データの構造的特徴量から、第１の映像データと第２の映像データとの類似度を算出する。さらにステップＳ１０７において構造的特徴類似度算出手段２２は、第１の映像データの識別子と、第２の映像データの識別子と、ステップＳ１０６で算出した構造的特徴量に基づく構造的特徴類似度とを対応づけて、構造的特徴類似度データ１４ａに記録する。
【００７０】
ここで、構造的特徴類似度算出手段２２の処理を詳述する。本発明の実施の形態において、構造的特徴とは、映像データのカット割り、音楽区間、発話区間、テロップ区間などである。本発明の実施の形態において、これらの構造的特徴がそれぞれ映像データに現れる時間に基づいて、映像データの構造的特徴量が算出される。例えば、音楽区間の構造的特徴量とは、図１０（ａ）に示すように、映像データにおける音楽区間の時間の長さや、音楽区間の位置の情報である。本発明の実施の形態において、このような構造的特徴の類似する映像データを推薦することができる。
【００７１】
構造的特徴の抽出方法として、既存の処理方法を利用することができる。例えば、映像データからカット位置の検出方法として、特許第２８６９３９８号公報に記載の方法などが考えられる。音楽区間の抽出方法として、特許第４５７２２１８号公報に記載の方法などが考えられる。発話区間の抽出方法として、特許第３１０５４６５号公報に記載の方法などが考えられる。テロップ区間の抽出方法として、特許第３４７９５９２号公報に記載の方法などが考えられる。
【００７２】
構造的特徴類似度算出手段２２は、図１０（ｂ）に示すように、映像をいくつかの区間に分割し、それぞれの区間における構造的特徴量を分析し、特徴ベクトルを作成する。構造的特徴類似度算出手段２２は、例えば、映像を時間が均等になるようにいくつかの区間に分割する。また、構造的特徴類似度算出手段２２は、それぞれの区間の長さに対する構造的特徴が出現する区間の長さの割合を数値で表し、それらを要素とする特徴ベクトルを作成する。ここで、特徴量の絶対値ではなく、増減が重要である場合、構造的特徴類似度算出手段２２は、特徴ベクトルを正規化してもよい。
【００７３】
ここで、映像データＡの各区間の構造的特徴が出現する区間の長さの割合を要素とする特徴ベクトルをｖＡとし、映像データＢの各区間の構造的特徴が出現する区間の長さの割合を要素とする特徴ベクトルをｖＢとする場合を考える。構造的特徴類似度算出手段２２は、この特徴ベクトルｖＡおよび特徴ベクトルｖＢの類似度を算出することにより、特徴ベクトルｖＡおよび特徴ベクトルｖＢの類似度Ｓ（ｖＡ，ｖＢ）を算出する。
【００７４】
ここで構造的特徴の特徴ベクトルの類似度の算出において、任意の尺度が利用される。例えば、特徴ベクトルの類似度尺度としてコサイン類似度を利用すると、Ｓ（ｖＡ，ｖＢ）は式（１）で与えられる。
【数１】
【００７５】
ここで、ｖｉＡは、ｖＡのｉ次元目の値を示し、ｖｉＢは、ｖＢのｉ次元目の値を示す。ｎは、特徴ベクトルの次元数である。
【００７６】
ここで、構造的特徴の抽出方法や使用する構造的特徴量が、Ｎｓ（＞０）個存在する場合、構造的特徴類似度算出手段２２は、それぞれについて、映像データＡと映像データＢとの類似度Ｓ（ｖＡ，ｖＢ）を求める。構造的特徴類似度算出手段２２は、それぞれについて求められたＳ（ｖＡ，ｖＢ）に基づいて、構造的特徴に基づく類似度ＳＡＢを、類似度ＳＡＢ＝｛ＳｉＡ，Ｂ｜ｉ＝１〜Ｎｓ｝とする。
【００７７】
構造的特徴類似度算出手段２２は、このように算出された類似度ＳＡＢを、映像データＡの識別子および映像データＢの識別子に関連づけたレコードを生成し、構造的特徴類似度データ１４ａに挿入して記憶する。
【００７８】
次に、重要シーン特徴類似度算出手段２３を説明する。重要シーン特徴類似度算出手段２３は、重要シーン抽出手段２３１、映像特徴解析手段２３２および類似度算出手段２３３を備える。
【００７９】
重要シーン抽出手段２３１は、映像データ記憶部１２に記憶された複数の映像データのそれぞれから、重要シーンを抽出する。重要シーンの抽出方法としては、ダイジェスト作成方法など既存の処理方法を用いることができる。本発明の実施の形態においては、一つの映像データから複数の重要シーンが抽出されても良い。
【００８０】
映像特徴解析手段２３２は、映像データ記憶部１２に記憶された複数の映像データのそれぞれの重要シーンについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出する。ここで、映像特徴解析手段２３２は、重要シーン特徴量として、重要シーンの色、動き、音響特徴のいずれか一つ以上を、各映像データの各重要シーンについて算出する。映像特徴解析手段２３２は、各重要シーンの中間点におけるフレーム画像に基づいて、各重要シーン特徴量を算出しても良い。例えば映像特徴解析手段２３２は、この中間点におけるフレーム画像の色ヒストグラムを、重要シーンの色の特徴量として算出する。映像特徴解析手段２３２は、映像識別子と、映像データ中の重要シーンの識別子と、重要シーン特徴の識別子をキーとして、重要シーン特徴量を対応づけたレコードを、重要シーン特徴量データ１５ａに挿入する。
【００８１】
類似度算出手段２３３は、重要シーン特徴量データ１５ａの重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データ１６ａを出力する。ここで類似度算出手段２３３は、各映像識別子について、この映像識別子関連づけられる複数の重要シーン特徴量を要素に持つ特徴ベクトルを算出する。類似度算出手段２３３は、映像データ間の類似度として、この特徴ベクトルの類似度を算出する。類似度算出手段２３３は、第１の映像識別子と、第２の映像識別子と、この第１の映像識別子の映像データとこの第２の映像識別子の映像データとの重要シーン特徴類似度と、を対応づけたレコードを、重要シーン特徴類似度データ１６ａに挿入する。
【００８２】
図９を参照して、重要シーン特徴類似度算出手段２３による重要シーン特徴類似度算出処理を説明する。
【００８３】
まず、映像データ記憶部１２に記憶された各映像データについて、ステップＳ２０１ないしステップＳ２０３の処理を繰り返す。ステップＳ２０１において重要シーン特徴類似度算出手段２３は、各映像データから、重要シーンを抽出する。ここで一つの映像データから抽出する重要シーンは、一つでも良いし複数でも良い。
【００８４】
この重要シーンのそれぞれについて、ステップＳ２０２およびステップＳ２０３の処理を繰り返す。重要シーン特徴類似度算出手段２３は、各重要シーンについて、重要シーン特徴量を算出する。このとき重要シーン特徴類似度算出手段２３は、各重要シーンの中間のフレームの重要シーンの色、動き、音響特徴のいずれか一つ以上を、重要シーン特徴量として算出し、ステップＳ２０３において、重要シーン特徴量データ１５ａに記録する。全ての重要シーンについて、ステップＳ２０２ないしステップＳ２０３の処理が終了すると、次の映像データについて、ステップＳ２０１ないしステップＳ２０３の処理を続ける。
【００８５】
全ての映像データについてステップＳ２０１ないしステップＳ２０３の処理が終了すると、重要シーン特徴類似度算出手段２３は、ステップＳ２０４ないしステップＳ２０７において、各映像データ間の重要シーン特徴類似度を算出する。まずステップＳ２０４において重要シーン特徴類似度算出手段２３は、任意の第１の映像データについて、重要シーン特徴量データ１５ａから各重要シーンの重要シーン特徴量を取得する。ステップＳ２０５において重要シーン特徴類似度算出手段２３は、第２の映像データについて、重要シーン特徴量データ１５ａから各重要シーンの重要シーン特徴量を取得する。
【００８６】
ステップＳ２０６において重要シーン特徴類似度算出手段２３は、ステップＳ２０４で取得した第１の映像データの重要シーン特徴量と、ステップＳ２０５で取得した第２の映像データの重要シーン特徴量から、第１の映像データと第２の映像データとの類似度を算出する。さらにステップＳ２０７において重要シーン特徴類似度算出手段２３は、第１の映像データの識別子と、第２の映像データの識別子と、ステップＳ２０６で算出した重要シーン特徴量に基づく重要シーン特徴類似度とを対応づけて、重要シーン特徴類似度データ１６ａに記録する。
【００８７】
ここで、重要シーン特徴類似度算出手段２３の処理を詳述する。重要シーン抽出手段２３１が映像データから重要シーンを抽出する方法として、既存の処理方法を利用することができる。例えば、特許第４３５８７２３号公報に記載のダイジェスト映像作成方法などが考えられる。ダイジェスト映像作成技術により、映像データのダイジェストを作成することができるため、ダイジェストとして選択された区間を、映像データの重要シーンとしてみなすことができる。
【００８８】
重要シーン特徴類似度算出手段２３は、図１２（ａ）に示すように、重要シーン抽出手段２３１で抽出された重要シーンについて、図１２（ｂ）に示すように、映像データの重要シーン特徴を解析する。重要シーン特徴類似度算出手段２３は、重要シーン特徴量として、色、動き、音響特徴などを利用することができる。
【００８９】
重要シーン特徴量の類似度算出には、任意の尺度が利用される。例えば、重要シーン特徴量として色ヒストグラムを利用する場合、重要シーン特徴類似度算出手段２３は、図１２に示すように、映像データの中からいくつかの重要シーンを抽出し、それぞれのシーンの中間点におけるフレームを抽出する。重要シーン特徴類似度算出手段２３は、そのフレームの色ヒストグラムを作成し、特徴ベクトルとして表現する。ここで、ヒストグラムの次元間の距離は、利用する表色空間における距離を用いる。
【００９０】
ここで、映像データＡの各重要シーンから抽出した特徴量をｖＡ、映像Ｂの各重要シーンから抽出した特徴量をｖＢとする。ｖＡとｖＢの類似度Ｉ（ｖＡ，ｖＢ）は、例えば、式（２）によって算出される。
【数２】
【００９１】
重要シーン特徴類似度算出手段２３は、図１０（ｂ）に示すように、映像データＡに含まれる各重要シーンＡ１、Ａ２、…と、映像データＢ１、Ｂ２…に含まれる各シーンの類似度を算出する。類似度が高い重要シーンが存在するほど、Ｉ（ｖＡ，ｖＢ）の値は大きくなる。ここで、ＮＡは、映像データＡから抽出された重要シーンの数であり、ＮＢは、映像データＢから抽出された重要シーンの数である。ｖｉＡは映像データＡのi番目の重要シーン、ｖｊＢは映像データＢのｊ番目の重要シーンである。また、Ｄ（ｖｉＡ，ｖｊＢ）は、重要シーンｖｉＡと重要シーンｖｊＢの類似度である。
【００９２】
ここで、Earth Mover’s Distance（Y. Rubner, C. Tomasi, and L. Guibas. "The earth mover’s distance as a metric for image retrieval," International Journal of Computer Vision Vol. 40, No. 2, pp. 99-121, 2000.）を利用する。ｖｉＡとｖｊＢのEarth Mover’s Distanceを、Ｅ（ｖｉＡ，ｖｊＢ）とすると、Ｄ（ｖｉＡ，ｖｊＢ）は、式（３）によって算出される。
【数３】
【００９３】
他の方法として、重要シーン特徴類似度算出手段２３は、映像データＡの特徴ベクトルをｖＡ、映像データＢの特徴ベクトルをｖＢとおいたとき、ｖＡとｖＢのコサイン類似度を算出することによって、重要シーンＡｉと重要シーンＢｊの類似度Ｄ（ｖｉＡ，ｖｊＢ）を算出することができる。この類似度Ｄ（ｖｉＡ，ｖｊＢ）は、式（４）によって表される。
【数４】
【００９４】
ここで、ｖｉＡは、映像データＡの特徴ベクトルのｉ次元目の値で、ｖｉＢは、映像データＢの特徴ベクトルのｉ次元目の値である。ｎは、特徴ベクトルの次元数である。
【００９５】
ここで、重要シーンの抽出方法や使用する重要シーン特徴量が、ＮＩ（＞０）個存在する場合、重要シーン特徴類似度算出手段２３は、それぞれについて、映像データＡの重要シーンと映像データＢの重要シーンの類似度Ｉ（ｖＡ，ｖＢ）の値を求める。重要シーン特徴類似度算出手段２３は、それぞれについて求められたＩ（ｖＡ，ｖＢ）に基づいて、重要シーン特徴に基づく類似度ＩＡＢを、類似度ＩＡＢ＝｛ＩｉＡ，Ｂ｜ｉ＝１〜ＮＩ｝とする。
【００９６】
重要シーン特徴類似度算出手段２３は、このように算出された類似度ＩＡＢを、映像データＡの識別子および映像データＢの識別子に関連づけたレコードを生成し、重要シーン特徴類似度データ１６ａに挿入して記憶する。
【００９７】
次に、類似映像決定手段２４を説明する。類似映像決定手段２４は、構造的特徴類似度データ１４ａおよび重要シーン特徴類似度データ１６ａに基づいて、映像データ記憶部１２から、基準映像データ１１ａに類似する映像データを抽出する。
【００９８】
類似映像決定手段２４は、構造的特徴および重要シーン特徴のうち、いずれか一方のみを用いて、基準映像データ１１ａに類似する映像データを抽出しても良い。例えば、構造的特徴のみに基づいて類似する映像データを抽出する際、類似映像決定手段２４は、構造的特徴類似度データ１４ａに基づいて、構造的特徴類似度を映像データ間の類似度に設定する。重要シーン特徴のみに基づいて類似する映像データを抽出する際、類似映像決定手段２４は、重要シーン特徴類似度データ１６ａに基づいて、重要シーン特徴類似度を映像データ間の類似度に設定する。
【００９９】
構造的特徴類似度データ１４ａおよび重要シーン特徴類似度データ１６ａの両方に基づいて基準映像データ１１ａに類似する映像データを抽出する際、それぞれを重み付けして評価し、類似する映像データを抽出しても良い。この重みは、予めユーザなどにより指定されても良いし、管理者などによりデフォルトの重みが指定されても良い。
【０１００】
類似映像決定手段２４は、映像データ間の類似度が算出されると、この類似度に基づいて、基準映像データ１１ａに対する各映像データの推薦スコアを算出する。この推薦スコアは、類似度が高いほど高くなり、優先的に推薦されることを示す。類似映像決定手段２４は、この推薦スコアに基づいて、基準映像データ１１ａに類似する映像データを抽出する。ここで類似映像決定手段２４が抽出する映像データは、映像データそのものでなくても、映像データの識別子のみでも良い。類似映像決定手段２４は、類似度の高い所定数の映像データを抽出してもよいし、所定の類似度以上の映像データを抽出しても良い。
【０１０１】
類似映像決定手段２４は、類似度の高い映像データを推薦する映像データとして、これらの映像データの識別子を含む類似映像リストデータ１８ａを生成し、類似映像リストデータ記憶部１８に記憶する。この類似映像リストデータ１８ａにおいて、ユーザに推薦の度合いを示すため、推薦対象の映像データの識別子に、その推薦スコアが対応づけられても良い。
【０１０２】
図１３を参照して、類似映像決定手段２４による類似映像決定処理を説明する。
【０１０３】
類似映像決定手段２４は、映像データ記憶部１２に記憶された任意の２つの映像データについて、ステップＳ３０１ないしステップＳ３０５の処理を繰り返す。
【０１０４】
まずステップＳ３０１において類似映像決定手段２４は、構造的特徴類似度データ１４ａから第１の映像データおよび第２の映像データ間の構造的特徴類似度を取得する。同様にステップＳ３０２において類似映像決定手段２４は、重要シーン特徴類似度データ１６ａから第１の映像データおよび第２の映像データ間の重要シーン特徴類似度を取得する。
【０１０５】
ステップＳ３０３において類似映像決定手段２４は、ステップＳ３０１およびステップＳ３０２で取得した、第１の映像データおよび第２の映像データ間の構造的特徴類似度および重要シーン特徴類似度に基づいて、第１の映像データおよび第２の映像データ間の類似度を算出する。このとき類似映像決定手段２４は、構造的特徴類似度および重要シーン特徴類似度をそれぞれ重み付けして、第１の映像データおよび第２の映像データ間の類似度を算出する。
【０１０６】
ステップＳ３０４において類似映像決定手段２４は、第１の映像データの識別子と、第２の映像データの識別子と、第１の映像データおよび第２の映像データ間の類似度と、を対応づけたレコードを、類似度データ１７ａに挿入する。
【０１０７】
ステップＳ３０５において類似映像決定手段２４は、類似度データ１７ａを参照して、基準映像データ１１ａとの類似度が高い映像データの識別子を、推薦する映像データの識別子として取得する。さらに類似映像決定手段２４は、取得した推薦する映像データの識別子を含む類似映像リストデータ１８ａを生成し、記憶装置１０に記憶する。
【０１０８】
ここで、類似映像決定手段２４の処理を詳述する。類似映像決定手段２４は、映像データＡと映像データＢの類似度について、構造的特徴に基づいて算出された類似度ＳＡＢと、重要シーン特徴に基づいて算出された類似度ＩＡＢとから、映像データＡを視聴したユーザに対する映像データＢの推薦スコアＲ（Ａ，Ｂ）を算出する。
【０１０９】
推薦スコアＲ（Ａ，Ｂ）は、構造的特徴に基づく構造的特徴類似度の値が大きい場合、もしくは、重要シーンに基づく重要シーン特徴類似度の値が大きい場合、推薦スコアＲ（Ａ，Ｂ）の値も大きくなるように算出される。
【０１１０】
例えば、ＳＡＢの各要素とＩＡＢの各要素の重み付き線形和により推薦スコアを算出する場合、Ｒ（Ａ，Ｂ）は、式（５）で与えられる。
【数５】
【０１１１】
ここで、ただし、ｋｐIはIｐA,Bの重み、ｋｑSはＳｑA,Bの重みである。映像データに含まれる重要シーン特徴を重視して推薦スコアを算出したい場合、ｋｐIの値は大きく設定される。映像データの演出を重視して推薦スコアを算出したい場合、IｐA,Bの値は大きく設定される。
【０１１２】
重要シーンに基づいて算出した映像データＡと映像データＢの類似度ＩＡＢ、および、構造的特徴に基づいて算出した映像データＡと映像データＢの類似度ＳＡＢのうち、どちらか片方のみを利用して、映像データＡおよび映像データＢの類似度Ｒ（Ａ，Ｂ）が算出されても良い。重要シーンに基づいて算出した映像データＡと映像データＢの類似度ＩＡＢのみ用いて類似度Ｒ（Ａ，Ｂ）を算出する場合、類似度Ｒ（Ａ，Ｂ）は、式（６）で与えられる。構造的特徴に基づいて算出した映像データＡと映像データＢの類似度ＳＡＢのみ用いて類似度Ｒ（Ａ，Ｂ）を算出する場合、類似度Ｒ（Ａ，Ｂ）は、式（７）で与えられる。
【数６】
【数７】
【０１１３】
重みｋｐIおよびIｐA,Bは、基準映像データ１１ａや映像データ記憶部１２に記憶された映像データの種類によって適宜設定されても良い。例えば、ホームビデオなど、編集があまりされていない映像データの場合、重要シーンに基づいて算出した類似度を用いるのがよい。また、重要シーンの抽出が困難な映像を対象に推薦する場合には、構造的特徴に基づいて算出した類似度を用いるのがよい。それ以外の場合には、重要シーンに基づいて算出した類似度と構造的特徴に基づいて算出した類似度の両方を用いるのがよい。
【０１１４】
類似映像決定手段２４は、類似度Ｒ（Ａ，Ｂ）から推薦スコアを算出する。例えば、類似度Ｒ（Ａ，Ｂ）を１００分率表記に換算したものが、推薦スコアとして出力されても良い。ユーザに推薦度をわかりやすく知らせるため、推薦スコアは記号などで表記されても良い。例えば類似映像決定手段２４は、類似度が高く推薦スコアが高い場合、推薦スコアを「★★★」などと表記し、類似度が比較的低く推薦スコアが低い場合、推薦スコアを「★」などと表記しても良い。
【０１１５】
類似映像決定手段２４は、ユーザが映像データＡにアクセスしたとき、映像データ記憶部１２の任意の映像データＸのうち、Ｒ（Ａ，Ｂ）の値が大きい映像データから順に所定数の映像データについて類似映像リストデータ１８ａを作成する。
【０１１６】
次に、類似映像情報出力手段２５を説明する。類似映像情報出力手段２５は、記憶装置１０から類似映像リストデータ１８ａおよび映像管理データ１９ａを読み出し、推薦する映像データの識別子に基づいて、これらの映像データのタイトルや内容などの情報を取得する。類似映像決定手段２４は、推薦する映像データの識別子と、これらのタイトルなどを対応づけて、出力する。図２に参照する例では、類似映像出力装置１の表示装置３０に表示する場合を説明するが、これに限られない。類似映像情報出力手段２５は例えば、通信制御装置（図示せず）および通信ネットワークを介して、他のコンピュータの表示装置に表示しても良い。
【０１１７】
ここで、構造的特徴類似度算出手段２２および重要シーン特徴類似度算出手段２３の各処理は、基準映像データ取得手段２１によって基準映像データ１１ａが入力された際に実行されても良いし、予め実行されていても良い。例えば、構造的特徴類似度算出手段２２によって構造的特徴類似度データ１４ａが、重要シーン特徴類似度算出手段２３によって重要シーン特徴類似度データ１６ａが、それぞれ予め算出されていれば、類似映像決定手段２４は、容易に類似度データ１７ａおよび類似映像リストデータ１８ａを生成することができる。さらに、類似映像決定手段２４によって、類似度データ１７ａも予め算出されていても良い。この様に予め類似度データなどを算出することにより、類似映像情報の出力に要する処理時間を短縮することができる。
【０１１８】
このように本発明の実施の形態に係る類似映像出力装置１によれば、映像データの構造的特徴に基づく類似度と、重要シーン特徴に基づく類似度によって、類似する映像データを特定することができる。
【０１１９】
構造的特徴に基づく類似度は、映像データの演出に関する特徴の類似度である。カット割りや音楽区間など、映像の演出に関係する特徴を抽出し、各特徴が映像の前半や後半など、時間軸におけるどの位置に多く出現するかを分析することによって、構造的特徴に基づく類似度が算出される。
【０１２０】
重要シーン特徴に基づく類似度は、視聴者の印象に残りやすいシーンに関する特徴の類似度である。視聴者の印象に残りやすいような重要シーンのみに限定して色などの特徴を分析することにより、重要シーン特徴に基づく類似度が算出される。
【０１２１】
一般的に、映像データの演出に関する特徴や、重要シーンにおける特徴が類似する映像は、視聴者の映像データに対する印象も類似すると考えられる。そこで本発明の実施の形態に係る類似映像出力装置１は、各映像データについて、映像データの演出に関する構造的特徴量や、重要シーンにおける重要シーン特徴量を算出し、これらの特徴量が基準映像データ１１ａと類似する映像データを、推薦映像データとして出力する。これにより、本発明の実施の形態に係る類似映像出力装置１は、基準映像データ１１ａに視聴者の映像データに対する印象が類似する映像データを推薦することができる。
【０１２２】
構造的特徴類似度算出手段２２は、映像データから演出に関する構造的特徴を抽出し、各特徴が映像データの時間軸におけるどの位置でどのくらいの頻度で出現するかを分析して、構造的特徴類似度を算出する。このような構造的特徴類似度により、構造的特徴が映像データの前半部分に多く現れるのか、後半部分に多く現れるのか、あるいは、全体を通してまんべんなく現れるのかなどの情報に基づいて、映像データの類似度が算出される。映画などの映像データでは、緊迫感を与えるため、カット数を増やすといった演出がなされる。そのため、演出に関する特徴が似ている映像データは、視聴者に与える印象も似ていると考えられ、類似映像出力装置１は、構造的特徴類似度により、視聴者に与える印象の似ている映像データを推薦できる。
【０１２３】
また、構造的特徴類似度算出手段２２は、映像データをいくつかの区間に分割し、各区間におけるカット割りや音楽区間などの構造的特徴量の出現頻度を要素とする特徴ベクトルの類似度を算出する。これにより、緊迫感などの印象を与えるためにカットの頻度を増減するといった、演出に関する情報を分析し、構造的特徴類に基づいた映像データの類似度を算出することができる。
【０１２４】
重要シーン特徴類似度算出手段２３は、映像データの中で、視聴者の印象に残りやすいような重要シーンの特徴に基づいて、映像データの類似度を算出する。重要シーンの特徴として利用する特徴は、色、動き、音響特徴などがある。これにより、類似映像出力装置１は、映像データが視聴者に与える印象の似ている映像データを推薦することができる。
【０１２５】
例えば、ホラー映画には、明るいシーンもあれば暗いシーンもあるが、ホラー映画において、印象に残りやすい重要なシーンでは暗いシーンが一般的と考えられる。そこで重要シーン特徴類似度算出手段２３が、重要シーンに限定して特徴を分析することにより、類似映像出力装置１は、例えば、「重要シーンに暗いシーンが多い」という観点で似ている映像データを発見できる。視聴者の印象に残りやすいシーンの特徴が似ている場合、映像データが視聴者に与える印象も似ていると考えられ、類似映像出力装置１は、重要シーン特徴類似度により、視聴者に与える印象の似ている映像を推薦できる。
【０１２６】
さらに、重要シーン特徴類似度算出手段２３は、重要シーンに限定して特徴を分析し、類似度を算出する。これにより、映像全体の類似度を算出する場合に比べ、解析対象のシーンが少なくなるため、重要シーン特徴類似度算出手段２３は、類似度算出にかかる計算処理量を削減することができる。
【０１２７】
このように本発明の実施の形態に係る類似映像出力装置１は、映像データの構造的特徴、または、映像データの重要シーンの特徴、あるいはその両方を分析することにより、映像データの印象の類似度を算出できる。これにより、本発明の実施の形態に係る類似映像出力装置１は、基準映像データ１１ａと印象の似た映像データを推薦することができる。
【０１２８】
（変形例）
本発明の実施の形態においては、基準映像データが一つの場合について説明したが、変形例においては、複数の基準映像データが指定された場合を説明する。
【０１２９】
変形例において、類似映像出力装置１の類似映像決定手段２４ａは、入力された複数の基準映像データが入力されると、これらの複数の基準映像データについての類似度を合計することにより、推薦する映像を決定することができる。
【０１３０】
例えば、入力としてＮＡ件の映像集合Ａ＝｛Ａｉ｜ｉ＝１〜ＮＡ｝が与えられると、式８に示したＲ’（Ａ，Ｂ）を、式６および式７のＲ（Ａ，Ｂ）の代わりに利用する。これにより類似映像決定手段２４ａは、変形例に係る類似映像リストデータ１８ｂを生成することができる。
【数８】
【０１３１】
このように、本発明の変形例においては、複数の基準映像データについても、構造的特徴類似度および重要シーン特徴類似度に基づいて、これらの基準映像データに類似する映像データの情報を、出力することができる。
【０１３２】
（その他の実施の形態）
上記のように、本発明の最良の実施の形態とその変形例によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなる。
【０１３３】
例えば、本発明の最良の実施の形態に記載した類似映像出力装置は、図２に示すように一つのハードウェア上に構成されても良いし、その機能や処理数に応じて複数のハードウェア上に構成されても良い。又、既存の情報処理システム上に実現されても良い。
【０１３４】
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【０１３５】
１ 類似映像出力装置
１０ 記憶装置
１１ 基準映像データ記憶部
１２ 映像データ記憶部
１３ 構造的特徴量データ記憶部
１４ 構造的特徴類似度データ記憶部
１５ 重要シーン特徴量データ記憶部
１６ 重要シーン特徴類似度データ記憶部
１７ 類似度データ記憶部
１８ 類似映像リストデータ記憶部
１９ 映像管理データ記憶部
２０ 中央処理制御装置
２１ 基準映像データ取得手段
２２ 構造的特徴類似度算出手段
２３ 重要シーン特徴類似度算出手段
２４ 類似映像決定手段
２５ 類似映像情報出力手段
３０ 表示装置
２２１ 構造的特徴解析手段
２２２、２３３ 類似度算出手段
２３１ 重要シーン抽出手段
２３２ 映像特徴解析手段
【技術分野】
【０００１】
本発明は、類似する映像データを出力する類似映像出力方法、類似映像出力装置および類似映像出力プログラムに関する。
【背景技術】
【０００２】
昨今の情報処理装置の発達に伴い、映像データなどの電子コンテンツが膨大に増えている。例えば、ＩＰＴＶ（Internet Protocol TeleVision）や動画共有サイトにおいて、ユーザは、大量の映像データの中から、興味のある映像データを選択し、任意のタイミングでその選択した映像データを閲覧することが可能である。ユーザは例えば、所望の映像データのキーワードやジャンルを指定することによって、指定された条件に合致する映像データを閲覧することができる。このように、ユーザが所望する映像データのイメージが明確である場合、検索条件を指定し、検索された映像データから所望の映像データを探すことは容易である。
【０００３】
しかし、ユーザが所望する映像のイメージが明確でない場合、ユーザは、適切な検索条件を指定することができない。従ってユーザは、検索条件を指定する方法では、所望の映像を探し出すことが困難となってしまう。また、所望の映像データを閲覧する都度、検索条件を指定する操作が必要になるため、ユーザが煩わしさを感じる場合もある。
【０００４】
このような問題を解決するためのアプローチの一つとして、映像推薦技術がある。この映像推薦とは、ユーザがある映像に対して閲覧や評価をした際に、関連する別の映像を提示することにより、ユーザの映像発見を容易にするための手法である。
【０００５】
この映像推薦のための手法は、主に、協調フィルタリングと内容ベースフィルタリングに大別される。
【０００６】
協調フィルタリングは、映像に対するユーザの閲覧履歴や評価履歴を利用することにより、ユーザもしくは映像同士が似ているかを分析し、推薦する手法である。例えば、ユーザからの評価値のつけられ方が似ているアイテムを推薦する方法がある（例えば、非特許文献１参照）。
【０００７】
この協調フィルタリングの推薦手法では、非特許文献１に挙げた技術のように、映像間の関連を分析するために視聴履歴を利用する。非特許文献１に記載の技術は、視聴や評価をした映像が共通するユーザを嗜好が似ているとみなし、嗜好が似たユーザが視聴した映像のうち、未視聴の映像を推薦する。
【０００８】
しかし、協調フィルタリングでは、ユーザの履歴を利用して推薦するという特性上、履歴の量が少ない場合には、視聴履歴の量が少ないため、映像を視聴したユーザが似ているかどうかを正確に分析できず、効果的な推薦を行うことができないという問題があった。例えば、サービスをあまり利用していない、もしくは、サービスに登録したばかりのユーザに推薦を行いたい場合や、埋もれていたり、サービスに新たに追加された映像を推薦の対象にしたい場合には、効果的な推薦を行うことができなかった。
【０００９】
協調フィルタリングは、多くの視聴履歴を必要とするのに対し、内容ベースフィルタリングは、履歴の量が少ない場合でも、映像に付与されたメタデータや映像から抽出された映像特徴の情報に基づいて推薦を行うことができる。内容ベースフィルタリングによれば、サービスに登録したばかりの新規ユーザや埋もれている映像を対象にした推薦など、利用可能な履歴の量が少ない場合にも、映像を推薦することができる。これにより、サービスをより多くのユーザに利用してもらい、より多くの映像を視聴してもらうことができる。
【００１０】
内容ベースフィルタリングに関する研究としては、ユーザが高く評価したコンテンツに付与されている属性の出現頻度を計測し、出現頻度の高い属性が付与されているコンテンツを推薦する手法（特許文献１）がある。また、ユーザや映像に付与されたメタデータの情報を利用せず、映像特徴の分析に基づいて推薦する手法（例えば、非特許文献２）もある。
【００１１】
非特許文献２に挙げた技術は、映像の見た目と音の情報に基づいて映像の類似度を算出する。見た目の情報としては、色ヒストグラム、動きの激しさ、１秒あたりの平均ショット数を利用し、音の情報としては、音のテンポの平均値と分散を利用する。
【００１２】
内容ベースフィルタリングの推薦手法では、映像と内容やジャンルが共通した映像を推薦することが一般的である。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−２０５４１８号公報
【非特許文献】
【００１４】
【非特許文献１】B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, “Item-Based Collaborative Filtering Recommendation Algorithms,” In Proceedings of the 10th international conference on World Wide Web, 2001.
【非特許文献２】B. Yang, T. Mei, X.-S. Hua, L. Yang, S.-Q. Yang and M. Li. Online Video Recommendation Based on Multimodal Fusion and Relevance Feedback. In Proc. ACM International Conference on Image and Video Retrieval (CIVR), pp. 73-80, 2007.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、映像を推薦する際、内容やジャンルが共通した映像を推薦するだけではなく、視聴者に与える印象が似ている映像を推薦することも重要である。例えば、明るい雰囲気の映像を視聴したユーザには、暗い雰囲気の映像ではなく、明るい雰囲気の映像を推薦した方が、ユーザが視聴する可能性が高い。
【００１６】
内容ベースフィルタリングにおいて、映像間の関連を分析するための方法として、映像に付されたメタデータを利用する方法と、映像特徴を解析する方法がある。
【００１７】
特許文献１の手法では、メタデータ中の属性やキーワードに基づいて、推薦する映像を決定する。そのため、メタデータ中に映像の印象に関する属性やキーワードが存在しない場合や、メタデータが全く付与されていない場合には、印象が似ている映像の推薦を行うことができなかった。
【００１８】
また、非特許文献２に開示された映像間の関連を分析するために映像特徴を解析する技術では、映像全体を解析する。従って、視聴者の印象に残らないようなあまり重要でないシーンも類似度算出の対象となり、重要でないシーンの特徴は似ていても視聴者の映像に対する印象は似ていない映像を推薦してしまうという問題があった。また、この技術は、各特徴について、映像全体における平均値もしくは分散を類似度算出に利用するため、映像の前半に特徴が多く現れるといった、映像の時間軸に関する情報を比較することができないという問題があった。そのため、印象が似ている映像を、適切に推薦することができなかった。
【００１９】
従って本発明の目的は、印象が類似する映像データを出力する類似映像出力方法、類似映像出力装置および類似映像出力プログラムを提供することである。
【課題を解決するための手段】
【００２０】
上記課題を解決するため、本発明の第１の特徴は、類似する映像データを出力する類似映像出力方法に関する。すなわち本発明の第１の特徴に係る類似映像出力方法は、映像データ記憶部に記憶された複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出ステップと、構造的特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定ステップと、を備える。
【００２１】
ここで、構造的特徴は、区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間のうち、いずれか一つ以上である。
【００２２】
また、複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出ステップをさらに備えても良い。この場合、類似映像決定ステップは、構造的特徴類似度データおよび重要シーン特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する。
【００２３】
ここで、重要シーン特徴は、重要シーンの色、動き、音響特徴のいずれか一つ以上である。
【００２４】
本発明の第２の特徴は、類似する映像データを出力する類似映像出力方法に関する。本発明の第２の特徴に係る類似映像出力方法は、映像データ記憶部に記憶された複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出ステップと、重要シーン特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定ステップと、を備える。
【００２５】
本発明の第３の特徴は、類似する映像データを出力する類似映像出力装置に関する。本発明の第３の特徴に係る類似映像出力装置は、複数の映像データが記憶された映像データ記憶部と、複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出手段と、構造的特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定手段と、を備える。
【００２６】
ここで、構造的特徴は、区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間のうち、いずれか一つ以上である。
【００２７】
また、複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出手段をさらに備えても良い。この場合、類似映像決定手段は、構造的特徴類似度データおよび重要シーン特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する。
【００２８】
ここで、重要シーン特徴は、重要シーンの色、動き、音響特徴のいずれか一つ以上である。
【００２９】
本発明の第４の特徴は、類似する映像データを出力する類似映像出力装置に関する。本発明の第４の特徴に係る類似映像出力装置は、複数の映像データが記憶された映像データ記憶部と、複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出手段と、重要シーン特徴類似度データに基づいて、映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定手段と、を備える。
【００３０】
本発明の第５の特徴は、コンピュータに、本発明の第１の特徴または第２の特徴に係る類似映像出力方法のステップを実行させるための類似映像出力プログラムである。
【発明の効果】
【００３１】
本発明によれば、印象が類似する映像データを出力する類似映像出力方法、類似映像出力装置および類似映像出力プログラムを提供することができる。
【図面の簡単な説明】
【００３２】
【図１】図１は、本発明の実施の形態に係る類似映像出力方法を説明するフローチャートである。
【図２】図２は、本発明の実施の形態に係る類似映像出力装置の機能ブロック図である。
【図３】図３は、本発明の実施の形態に係る構造的特徴量データのデータ構造とデータの一例を説明する図である。
【図４】図４は、本発明の実施の形態に係る構造的特徴類似度データのデータ構造とデータの一例を説明する図である。
【図５】図５は、本発明の実施の形態に係る重要シーン特徴量データのデータ構造とデータの一例を説明する図である。
【図６】図６は、本発明の実施の形態に係る重要シーン特徴類似度データのデータ構造とデータの一例を説明する図である。
【図７】図７は、本発明の実施の形態に係る類似度データのデータ構造とデータの一例を説明する図である。
【図８】図８は、本発明の実施の形態に係る映像管理データのデータ構造とデータの一例を説明する図である。
【図９】図９は、本発明の実施の形態に係る構造的特徴類似度算出処理を説明するフローチャートである。
【図１０】図１０は、本発明の実施の形態に係る構造的特徴類似度算出処理を説明する図である。
【図１１】図１１は、本発明の実施の形態に係る重要シーン特徴類似度算出処理を説明するフローチャートである。
【図１２】図１１は、本発明の実施の形態に係る重要シーン特徴類似度算出処理を説明する図である。
【図１３】図１３は、本発明の実施の形態に係る類似映像決定処理を説明するフローチャートである。
【発明を実施するための形態】
【００３３】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００３４】
（実施の形態）
本発明の実施の形態に係る類似映像出力方法は、印象が類似する映像データを出力する。
【００３５】
実施の形態に係る類似映像出力方法は、映像特徴量を分析して、映像の構造的な特徴が似ているかどうか、もしくは、映像の重要シーンの特徴が似ているかどうかに基づいて、複数の推薦対象の映像データから、印象が類似する映像データを、ユーザに推薦する映像データとして出力する。本発明の実施の形態においては、構造的特徴類似度および重要シーン特徴類似度の両方に基づいて、類似する映像データを算出する場合を説明するが、このいずれかのみでも構わない。ユーザが基準映像データの情報を入力すると、類似映像出力方法は、この基準映像データに類似する映像データを、ユーザに推薦する映像データとして出力する。ユーザに出力する推薦する映像データは、一つでも良いし複数でも良い。実施の形態において、推薦する対象をユーザと表記するが、このユーザは一般ユーザであっても良いし、実施の形態に係る類似映像出力方法を利用するシステムであっても良い。
【００３６】
図１を参照して、実施の形態に係る類似映像出力方法の処理の概要を説明する。まず、類似映像出力方法は、ステップＳ１において基準映像データが入力されると、ステップＳ２に進む。
【００３７】
ステップＳ２において、構造的類似度算出処理が実行される。構造的類似度算出処理において、映像データを分割した各区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度が算出される。ここで、構造的特徴は、映像データの区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間などである。映像を時間順に見ていったとき、ショットの切り替わった時点をカット位置といい、ショットとは、連続して撮影された一つの場面である。
【００３８】
ステップＳ３において、映像類似度算出処理が実行される。映像類似度算出処理において、映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度が算出される。ここで重要シーン特徴は、重要シーンの色、動き、音響特徴のいずれか一つ以上である。
【００３９】
ステップＳ４において類似映像データが決定される。ここでは、ステップＳ２で算出された構造的特徴類似度、およびステップＳ３で算出された重要シーン特徴類似度の少なくともいずれかの類似度から算出された映像データ間の類似度に基づいて、基準映像データに類似する映像データが特定される。
【００４０】
ステップＳ５において、ステップＳ４で特定された類似する映像データの情報が出力される。例えば、類似映像出力装置１は、特定された類似する映像データのタイトル、説明、推薦スコアなどのリストを、出力する。
【００４１】
（類似映像出力装置）
図１を参照して説明した実施の形態に係る類似映像出力方法は、図２に示す類似映像出力装置１によって実現される。類似映像出力装置１は、記憶装置１０、中央処理制御装置２０および表示装置３０を備える一般的なコンピュータである。類似映像出力装置１は、所定の処理を実行するための類似映像出力プログラムが、一般的なコンピュータにインストールされることにより実装される。この類似映像出力装置１の各構成要素は、サーバ装置のＡＰＩ（Application Program Interface）などであって、クライアント端末がこのＡＰＩ通じて映像情報を提供するためのプログラムにより実現されても良い。
【００４２】
記憶装置１０は、基準映像データ記憶部１１、映像データ記憶部１２、構造的特徴量データ記憶部１３、構造的特徴類似度データ記憶部１４、重要シーン特徴量データ記憶部１５、重要シーン特徴類似度データ記憶部１６、類似度データ記憶部１７、類似映像リストデータ記憶部１８および映像管理データ記憶部１９が記憶される。また記憶装置１０には、類似映像出力プログラムも記憶される。
【００４３】
基準映像データ記憶部１１は、記憶装置１０のうち、基準映像データ１１ａが記憶された記憶領域である。類似映像出力装置１は、基準映像データ１１ａに印象が類似する映像データを出力する。基準映像データ１１ａは、映像データそのものであっても良いし、例えば、後述する映像データ記憶部１２に記憶された映像データの識別子であっても良い。
【００４４】
映像データ記憶部１２は、記憶装置１０のうち、複数の映像データ１２ａ、１２ｂ…が記憶された記憶領域である。
【００４５】
構造的特徴量データ記憶部１３は、記憶装置１０のうち、構造的特徴量データ１３ａが記憶された記憶領域である。構造的特徴量データ１３ａは、構造的特徴類似度算出手段２２によって生成され、参照される。
【００４６】
構造的特徴量データ１３ａは、図３に示すように、映像識別子および映像中の区分識別子と、その映像および区分における構造的特徴識別子および構造的特徴量とを対応づけたデータである。ここで、構造的特徴識別子は、映像データの区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間などの、本発明の構造的特徴を模式的に示したものである。図３に示す例において、構造的特徴識別子”ＦＥＡ００１”が色の構造的特徴を示している場合、映像識別子”ＭＯＶ００１”の区分識別子”ＤＩＶ００１”で識別される映像データの区分において、色の構造的特徴が、”（０．０００１，０．０００２，・・・・）”のベクトルであることを示している。類似映像出力装置１は、これらの構造的特徴識別子と、構造的特徴の名称と、を対応づけたデータを記憶装置１０に記憶しても良い。
【００４７】
構造的特徴類似度データ記憶部１４は、記憶装置１０のうち、構造的特徴類似度データ１４ａが記憶された記憶領域である。構造的特徴類似度データ１４ａは、任意の映像データ間の構造的特徴類似度を記憶する。構造的特徴類似度データ１４ａは、構造的特徴類似度算出手段２２によって生成され、類似映像決定手段２４によって参照される。
【００４８】
構造的特徴類似度データ１４ａは、図４に示すように、第１の映像識別子と、第２の映像識別子と、これら第１および第２の映像識別子で特定される映像データ間の構造的特徴類似度と、が対応づけられたデータである。構造的特徴類似度は、図３を参照して説明した構造的特徴量データ１３ａから算出される。
【００４９】
重要シーン特徴量データ記憶部１５は、記憶装置１０のうち、重要シーン特徴量データ１５ａが記憶された記憶領域である。重要シーン特徴量データ１５ａは、重要シーン特徴類似度算出手段２３によって生成され、参照される。
【００５０】
重要シーン特徴量データ１５ａは、図５に示すように、映像識別子および映像中の重要シーン識別子と、その映像および重要シーンにおける重要シーン特徴識別子および重要シーン特徴量とを対応づけたデータである。ここで、重要シーン特徴識別子は、重要シーンの色、動き、音響特徴などの重要シーン特徴の識別子である。例えば、重要シーンの色の特徴としてＬ＊ａ＊ｂ＊ヒストグラムが、重要シーンの動きの特徴としてオプティカルフローが、考えられる。類似映像出力装置１は、これらの重要シーン特徴識別子と、重要シーン特徴の名称と、を対応づけたデータを記憶装置１０に記憶しても良い。
【００５１】
重要シーン特徴類似度データ記憶部１６は、記憶装置１０のうち、重要シーン特徴類似度データ１６ａが記憶された記憶領域である。重要シーン特徴類似度データ１６ａは、任意の映像データ間の重要シーン特徴類似度を記憶する。重要シーン特徴類似度データ１６ａは、重要シーン特徴類似度算出手段２３よって生成され、類似映像決定手段２４によって参照される。
【００５２】
重要シーン特徴類似度データ１６ａは、図６に示すように、第１の映像識別子と、第２の映像識別子と、これら第１および第２の映像識別子で特定される映像データ間の重要シーン特徴類似度と、が対応づけられたデータである。重要シーン特徴類似度は、図５を参照して説明した重要シーン特徴量データ１５ａから算出される。
【００５３】
類似度データ記憶部１７は、記憶装置１０のうち、類似度データ１７ａが記憶された記憶領域である。類似度データ記憶部１７は、類似映像決定手段２４によって生成され、参照される。
【００５４】
類似度データ１７ａは、第１の映像識別子と、第２の映像識別子と、これら第１および第２の映像識別子で特定される映像データ間の類似度と、類似度に対応する推薦スコアが対応づけられたデータである。映像データ間の類似度は、図４を参照して説明した構造的特徴類似度データ１４ａの構造的特徴類似度と、図６を参照して説明した重要シーン特徴類似度データ１６ａの重要シーン特徴類似度と、に基づいて算出される。図７に示す例では、映像データ間の類似度は、０から１の値を採る。推薦スコアは、類似度に基づいて算出され、図７に示す例では、０から１００の値を採る。実施の形態において、類似度および推薦スコアは高いほど映像データが類似していることを示し、類似映像データとして推薦され易いことを示している。
【００５５】
類似映像リストデータ記憶部１８は、記憶装置１０のうち、類似映像リストデータ１８ａが記憶された記憶領域である。類似映像リストデータ１８ａは、類似映像決定手段２４によって出力され、類似映像情報出力手段２５によって参照される。
【００５６】
類似映像リストデータ１８ａは、基準映像データ１１ａに類似する映像として、ユーザに推薦する映像データの情報である。類似映像リストデータ１８ａは、推薦する映像データの識別子、タイトル、説明、推薦スコアなどが対応づけられたデータである。
【００５７】
映像管理データ記憶部１９は、記憶装置１０のうち映像管理データ１９ａが記憶された記憶領域である。映像管理データ１９ａは、図８に示すように、映像識別子、映像名称およびその映像データの説明が対応づけられたデータである。映像管理データ１９ａは、ユーザに推薦する映像データの情報を表示するために参照される。
【００５８】
図２に示すように、類似映像出力装置１の中央処理制御装置２０は、基準映像データ取得手段２１、構造的特徴類似度算出手段２２、重要シーン特徴類似度算出手段２３、類似映像決定手段２４および類似映像情報出力手段２５を備える。
【００５９】
基準映像データ取得手段２１は、基準映像データ１１ａを取得し、基準映像データ記憶部１１に記憶する。類似映像出力装置１は、この基準映像データ１１ａに類似する映像データを検索する。基準映像データ１１ａは、映像データ記憶部１２に記憶された映像データの識別子であっても良い。
【００６０】
基準映像データ１１ａとして、映像データ記憶部１２に記憶されていない映像データが入力された場合、入力された基準映像データ１１ａについて、後述する構造的特徴類似度算出手段２２において、構造的特徴量が算出され、基準映像データ１１ａと、映像データ記憶部１２の各映像データとの構造的特徴類似度が算出される。同様に、入力された基準映像データ１１ａについて、後述する重要シーン特徴類似度算出手段２３において、重要シーン特徴量が算出され、基準映像データ１１ａと、映像データ記憶部１２の各映像データとの重要シーン特徴類似度が算出される。さらに後述する類似映像決定手段２４は、基準映像データ１１ａと、映像データ記憶部１２の各映像データとの構造的特徴類似度と、基準映像データ１１ａと、映像データ記憶部１２の各映像データとの重要シーン特徴類似度と、から基準映像データ１１ａと、映像データ記憶部１２の各映像データとの類似度および推薦スコアを算出して、基準映像データ１１ａに類似する映像データの情報を出力する。
【００６１】
本発明の実施の形態においては、基準映像データ１１ａとして、映像データ記憶部１２に記憶された映像データの識別子が指定された場合を説明する。また、後述する構造的特徴類似度算出手段２２、重要シーン特徴類似度算出手段２３および類似映像決定手段２４において、映像データ記憶部１２に記憶された全ての映像データ間の類似度等を算出する場合について説明する。
【００６２】
構造的特徴類似度算出手段２２は、構造的特徴解析手段２２１および類似度算出手段２２２を備える。
【００６３】
構造的特徴解析手段２２１は、映像データ記憶部１２に記憶された複数の映像データのそれぞれについて、構造的特徴量を算出する。構造的特徴解析手段２２１は、例えば時間の長さが均等になるように、映像データを複数の区間に分割し、各区間毎の構造的特徴の出現する時間を構造的特徴量として算出する。ここで構造的特徴解析手段２２１は、構造的特徴量として、色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間の各構造的特徴の出現する時間を、各映像データおよび各区間について算出する。構造的特徴解析手段２２１は、映像識別子と、映像データ中の区間の識別子と、構造的特徴の識別子をキーとして、構造的特徴量を対応づけたレコードを、構造的特徴量データ１３ａに挿入する。
【００６４】
類似度算出手段２２２は、構造的特徴量データ１３ａの構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データ１４ａを出力する。ここで類似度算出手段２２２は、各映像識別子について、この映像識別子関連づけられる複数の構造的特徴量を要素に持つ特徴ベクトルを算出する。類似度算出手段２２２は、映像データ間の類似度として、この特徴ベクトルの類似度を算出する。類似度算出手段２２２は、第１の映像識別子と、第２の映像識別子と、この第１の映像識別子の映像データとこの第２の映像識別子の映像データとの構造的特徴類似度と、を対応づけたレコードを、構造的特徴類似度データ１４ａに挿入する。
【００６５】
図９を参照して、構造的特徴類似度算出手段２２による構造的特徴類似度算出処理を説明する。
【００６６】
まず、映像データ記憶部１２に記憶された各映像データについて、ステップＳ１０１ないしステップＳ１０３の処理を繰り返す。ステップＳ１０１において構造的特徴類似度算出手段２２は、映像データを時間が均等となる複数の区分に分割する。
【００６７】
この複数の区間のそれぞれについて、ステップＳ１０２およびステップＳ１０３の処理を繰り返す。構造的特徴類似度算出手段２２は、各区間について、構造的特徴量を算出する。このとき構造的特徴類似度算出手段２２は、各区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間の時間の長さを、構造的特徴量として算出し、ステップＳ１０３において、構造的特徴量データ１３ａに記録する。全ての区間について、ステップＳ１０２ないしステップＳ１０３の処理が終了すると、次の映像データについて、ステップＳ１０１ないしステップＳ１０３の処理を続ける。
【００６８】
全ての映像データについてステップＳ１０１ないしステップＳ１０３の処理が終了すると、構造的特徴類似度算出手段２２は、ステップＳ１０４ないしステップＳ１０７において、各映像データ間の構造的特徴類似度を算出する。まずステップＳ１０４において構造的特徴類似度算出手段２２は、任意の第１の映像データについて、構造的特徴量データ１３ａから各区間の構造的特徴量を取得する。ステップＳ１０５において構造的特徴類似度算出手段２２は、第２の映像データについて、構造的特徴量データ１３ａから各区間の構造的特徴量を取得する。
【００６９】
ステップＳ１０６において構造的特徴類似度算出手段２２は、ステップＳ１０４で取得した第１の映像データの構造的特徴量と、ステップＳ１０５で取得した第２の映像データの構造的特徴量から、第１の映像データと第２の映像データとの類似度を算出する。さらにステップＳ１０７において構造的特徴類似度算出手段２２は、第１の映像データの識別子と、第２の映像データの識別子と、ステップＳ１０６で算出した構造的特徴量に基づく構造的特徴類似度とを対応づけて、構造的特徴類似度データ１４ａに記録する。
【００７０】
ここで、構造的特徴類似度算出手段２２の処理を詳述する。本発明の実施の形態において、構造的特徴とは、映像データのカット割り、音楽区間、発話区間、テロップ区間などである。本発明の実施の形態において、これらの構造的特徴がそれぞれ映像データに現れる時間に基づいて、映像データの構造的特徴量が算出される。例えば、音楽区間の構造的特徴量とは、図１０（ａ）に示すように、映像データにおける音楽区間の時間の長さや、音楽区間の位置の情報である。本発明の実施の形態において、このような構造的特徴の類似する映像データを推薦することができる。
【００７１】
構造的特徴の抽出方法として、既存の処理方法を利用することができる。例えば、映像データからカット位置の検出方法として、特許第２８６９３９８号公報に記載の方法などが考えられる。音楽区間の抽出方法として、特許第４５７２２１８号公報に記載の方法などが考えられる。発話区間の抽出方法として、特許第３１０５４６５号公報に記載の方法などが考えられる。テロップ区間の抽出方法として、特許第３４７９５９２号公報に記載の方法などが考えられる。
【００７２】
構造的特徴類似度算出手段２２は、図１０（ｂ）に示すように、映像をいくつかの区間に分割し、それぞれの区間における構造的特徴量を分析し、特徴ベクトルを作成する。構造的特徴類似度算出手段２２は、例えば、映像を時間が均等になるようにいくつかの区間に分割する。また、構造的特徴類似度算出手段２２は、それぞれの区間の長さに対する構造的特徴が出現する区間の長さの割合を数値で表し、それらを要素とする特徴ベクトルを作成する。ここで、特徴量の絶対値ではなく、増減が重要である場合、構造的特徴類似度算出手段２２は、特徴ベクトルを正規化してもよい。
【００７３】
ここで、映像データＡの各区間の構造的特徴が出現する区間の長さの割合を要素とする特徴ベクトルをｖＡとし、映像データＢの各区間の構造的特徴が出現する区間の長さの割合を要素とする特徴ベクトルをｖＢとする場合を考える。構造的特徴類似度算出手段２２は、この特徴ベクトルｖＡおよび特徴ベクトルｖＢの類似度を算出することにより、特徴ベクトルｖＡおよび特徴ベクトルｖＢの類似度Ｓ（ｖＡ，ｖＢ）を算出する。
【００７４】
ここで構造的特徴の特徴ベクトルの類似度の算出において、任意の尺度が利用される。例えば、特徴ベクトルの類似度尺度としてコサイン類似度を利用すると、Ｓ（ｖＡ，ｖＢ）は式（１）で与えられる。
【数１】
【００７５】
ここで、ｖｉＡは、ｖＡのｉ次元目の値を示し、ｖｉＢは、ｖＢのｉ次元目の値を示す。ｎは、特徴ベクトルの次元数である。
【００７６】
ここで、構造的特徴の抽出方法や使用する構造的特徴量が、Ｎｓ（＞０）個存在する場合、構造的特徴類似度算出手段２２は、それぞれについて、映像データＡと映像データＢとの類似度Ｓ（ｖＡ，ｖＢ）を求める。構造的特徴類似度算出手段２２は、それぞれについて求められたＳ（ｖＡ，ｖＢ）に基づいて、構造的特徴に基づく類似度ＳＡＢを、類似度ＳＡＢ＝｛ＳｉＡ，Ｂ｜ｉ＝１〜Ｎｓ｝とする。
【００７７】
構造的特徴類似度算出手段２２は、このように算出された類似度ＳＡＢを、映像データＡの識別子および映像データＢの識別子に関連づけたレコードを生成し、構造的特徴類似度データ１４ａに挿入して記憶する。
【００７８】
次に、重要シーン特徴類似度算出手段２３を説明する。重要シーン特徴類似度算出手段２３は、重要シーン抽出手段２３１、映像特徴解析手段２３２および類似度算出手段２３３を備える。
【００７９】
重要シーン抽出手段２３１は、映像データ記憶部１２に記憶された複数の映像データのそれぞれから、重要シーンを抽出する。重要シーンの抽出方法としては、ダイジェスト作成方法など既存の処理方法を用いることができる。本発明の実施の形態においては、一つの映像データから複数の重要シーンが抽出されても良い。
【００８０】
映像特徴解析手段２３２は、映像データ記憶部１２に記憶された複数の映像データのそれぞれの重要シーンについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出する。ここで、映像特徴解析手段２３２は、重要シーン特徴量として、重要シーンの色、動き、音響特徴のいずれか一つ以上を、各映像データの各重要シーンについて算出する。映像特徴解析手段２３２は、各重要シーンの中間点におけるフレーム画像に基づいて、各重要シーン特徴量を算出しても良い。例えば映像特徴解析手段２３２は、この中間点におけるフレーム画像の色ヒストグラムを、重要シーンの色の特徴量として算出する。映像特徴解析手段２３２は、映像識別子と、映像データ中の重要シーンの識別子と、重要シーン特徴の識別子をキーとして、重要シーン特徴量を対応づけたレコードを、重要シーン特徴量データ１５ａに挿入する。
【００８１】
類似度算出手段２３３は、重要シーン特徴量データ１５ａの重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データ１６ａを出力する。ここで類似度算出手段２３３は、各映像識別子について、この映像識別子関連づけられる複数の重要シーン特徴量を要素に持つ特徴ベクトルを算出する。類似度算出手段２３３は、映像データ間の類似度として、この特徴ベクトルの類似度を算出する。類似度算出手段２３３は、第１の映像識別子と、第２の映像識別子と、この第１の映像識別子の映像データとこの第２の映像識別子の映像データとの重要シーン特徴類似度と、を対応づけたレコードを、重要シーン特徴類似度データ１６ａに挿入する。
【００８２】
図９を参照して、重要シーン特徴類似度算出手段２３による重要シーン特徴類似度算出処理を説明する。
【００８３】
まず、映像データ記憶部１２に記憶された各映像データについて、ステップＳ２０１ないしステップＳ２０３の処理を繰り返す。ステップＳ２０１において重要シーン特徴類似度算出手段２３は、各映像データから、重要シーンを抽出する。ここで一つの映像データから抽出する重要シーンは、一つでも良いし複数でも良い。
【００８４】
この重要シーンのそれぞれについて、ステップＳ２０２およびステップＳ２０３の処理を繰り返す。重要シーン特徴類似度算出手段２３は、各重要シーンについて、重要シーン特徴量を算出する。このとき重要シーン特徴類似度算出手段２３は、各重要シーンの中間のフレームの重要シーンの色、動き、音響特徴のいずれか一つ以上を、重要シーン特徴量として算出し、ステップＳ２０３において、重要シーン特徴量データ１５ａに記録する。全ての重要シーンについて、ステップＳ２０２ないしステップＳ２０３の処理が終了すると、次の映像データについて、ステップＳ２０１ないしステップＳ２０３の処理を続ける。
【００８５】
全ての映像データについてステップＳ２０１ないしステップＳ２０３の処理が終了すると、重要シーン特徴類似度算出手段２３は、ステップＳ２０４ないしステップＳ２０７において、各映像データ間の重要シーン特徴類似度を算出する。まずステップＳ２０４において重要シーン特徴類似度算出手段２３は、任意の第１の映像データについて、重要シーン特徴量データ１５ａから各重要シーンの重要シーン特徴量を取得する。ステップＳ２０５において重要シーン特徴類似度算出手段２３は、第２の映像データについて、重要シーン特徴量データ１５ａから各重要シーンの重要シーン特徴量を取得する。
【００８６】
ステップＳ２０６において重要シーン特徴類似度算出手段２３は、ステップＳ２０４で取得した第１の映像データの重要シーン特徴量と、ステップＳ２０５で取得した第２の映像データの重要シーン特徴量から、第１の映像データと第２の映像データとの類似度を算出する。さらにステップＳ２０７において重要シーン特徴類似度算出手段２３は、第１の映像データの識別子と、第２の映像データの識別子と、ステップＳ２０６で算出した重要シーン特徴量に基づく重要シーン特徴類似度とを対応づけて、重要シーン特徴類似度データ１６ａに記録する。
【００８７】
ここで、重要シーン特徴類似度算出手段２３の処理を詳述する。重要シーン抽出手段２３１が映像データから重要シーンを抽出する方法として、既存の処理方法を利用することができる。例えば、特許第４３５８７２３号公報に記載のダイジェスト映像作成方法などが考えられる。ダイジェスト映像作成技術により、映像データのダイジェストを作成することができるため、ダイジェストとして選択された区間を、映像データの重要シーンとしてみなすことができる。
【００８８】
重要シーン特徴類似度算出手段２３は、図１２（ａ）に示すように、重要シーン抽出手段２３１で抽出された重要シーンについて、図１２（ｂ）に示すように、映像データの重要シーン特徴を解析する。重要シーン特徴類似度算出手段２３は、重要シーン特徴量として、色、動き、音響特徴などを利用することができる。
【００８９】
重要シーン特徴量の類似度算出には、任意の尺度が利用される。例えば、重要シーン特徴量として色ヒストグラムを利用する場合、重要シーン特徴類似度算出手段２３は、図１２に示すように、映像データの中からいくつかの重要シーンを抽出し、それぞれのシーンの中間点におけるフレームを抽出する。重要シーン特徴類似度算出手段２３は、そのフレームの色ヒストグラムを作成し、特徴ベクトルとして表現する。ここで、ヒストグラムの次元間の距離は、利用する表色空間における距離を用いる。
【００９０】
ここで、映像データＡの各重要シーンから抽出した特徴量をｖＡ、映像Ｂの各重要シーンから抽出した特徴量をｖＢとする。ｖＡとｖＢの類似度Ｉ（ｖＡ，ｖＢ）は、例えば、式（２）によって算出される。
【数２】
【００９１】
重要シーン特徴類似度算出手段２３は、図１０（ｂ）に示すように、映像データＡに含まれる各重要シーンＡ１、Ａ２、…と、映像データＢ１、Ｂ２…に含まれる各シーンの類似度を算出する。類似度が高い重要シーンが存在するほど、Ｉ（ｖＡ，ｖＢ）の値は大きくなる。ここで、ＮＡは、映像データＡから抽出された重要シーンの数であり、ＮＢは、映像データＢから抽出された重要シーンの数である。ｖｉＡは映像データＡのi番目の重要シーン、ｖｊＢは映像データＢのｊ番目の重要シーンである。また、Ｄ（ｖｉＡ，ｖｊＢ）は、重要シーンｖｉＡと重要シーンｖｊＢの類似度である。
【００９２】
ここで、Earth Mover’s Distance（Y. Rubner, C. Tomasi, and L. Guibas. "The earth mover’s distance as a metric for image retrieval," International Journal of Computer Vision Vol. 40, No. 2, pp. 99-121, 2000.）を利用する。ｖｉＡとｖｊＢのEarth Mover’s Distanceを、Ｅ（ｖｉＡ，ｖｊＢ）とすると、Ｄ（ｖｉＡ，ｖｊＢ）は、式（３）によって算出される。
【数３】
【００９３】
他の方法として、重要シーン特徴類似度算出手段２３は、映像データＡの特徴ベクトルをｖＡ、映像データＢの特徴ベクトルをｖＢとおいたとき、ｖＡとｖＢのコサイン類似度を算出することによって、重要シーンＡｉと重要シーンＢｊの類似度Ｄ（ｖｉＡ，ｖｊＢ）を算出することができる。この類似度Ｄ（ｖｉＡ，ｖｊＢ）は、式（４）によって表される。
【数４】
【００９４】
ここで、ｖｉＡは、映像データＡの特徴ベクトルのｉ次元目の値で、ｖｉＢは、映像データＢの特徴ベクトルのｉ次元目の値である。ｎは、特徴ベクトルの次元数である。
【００９５】
ここで、重要シーンの抽出方法や使用する重要シーン特徴量が、ＮＩ（＞０）個存在する場合、重要シーン特徴類似度算出手段２３は、それぞれについて、映像データＡの重要シーンと映像データＢの重要シーンの類似度Ｉ（ｖＡ，ｖＢ）の値を求める。重要シーン特徴類似度算出手段２３は、それぞれについて求められたＩ（ｖＡ，ｖＢ）に基づいて、重要シーン特徴に基づく類似度ＩＡＢを、類似度ＩＡＢ＝｛ＩｉＡ，Ｂ｜ｉ＝１〜ＮＩ｝とする。
【００９６】
重要シーン特徴類似度算出手段２３は、このように算出された類似度ＩＡＢを、映像データＡの識別子および映像データＢの識別子に関連づけたレコードを生成し、重要シーン特徴類似度データ１６ａに挿入して記憶する。
【００９７】
次に、類似映像決定手段２４を説明する。類似映像決定手段２４は、構造的特徴類似度データ１４ａおよび重要シーン特徴類似度データ１６ａに基づいて、映像データ記憶部１２から、基準映像データ１１ａに類似する映像データを抽出する。
【００９８】
類似映像決定手段２４は、構造的特徴および重要シーン特徴のうち、いずれか一方のみを用いて、基準映像データ１１ａに類似する映像データを抽出しても良い。例えば、構造的特徴のみに基づいて類似する映像データを抽出する際、類似映像決定手段２４は、構造的特徴類似度データ１４ａに基づいて、構造的特徴類似度を映像データ間の類似度に設定する。重要シーン特徴のみに基づいて類似する映像データを抽出する際、類似映像決定手段２４は、重要シーン特徴類似度データ１６ａに基づいて、重要シーン特徴類似度を映像データ間の類似度に設定する。
【００９９】
構造的特徴類似度データ１４ａおよび重要シーン特徴類似度データ１６ａの両方に基づいて基準映像データ１１ａに類似する映像データを抽出する際、それぞれを重み付けして評価し、類似する映像データを抽出しても良い。この重みは、予めユーザなどにより指定されても良いし、管理者などによりデフォルトの重みが指定されても良い。
【０１００】
類似映像決定手段２４は、映像データ間の類似度が算出されると、この類似度に基づいて、基準映像データ１１ａに対する各映像データの推薦スコアを算出する。この推薦スコアは、類似度が高いほど高くなり、優先的に推薦されることを示す。類似映像決定手段２４は、この推薦スコアに基づいて、基準映像データ１１ａに類似する映像データを抽出する。ここで類似映像決定手段２４が抽出する映像データは、映像データそのものでなくても、映像データの識別子のみでも良い。類似映像決定手段２４は、類似度の高い所定数の映像データを抽出してもよいし、所定の類似度以上の映像データを抽出しても良い。
【０１０１】
類似映像決定手段２４は、類似度の高い映像データを推薦する映像データとして、これらの映像データの識別子を含む類似映像リストデータ１８ａを生成し、類似映像リストデータ記憶部１８に記憶する。この類似映像リストデータ１８ａにおいて、ユーザに推薦の度合いを示すため、推薦対象の映像データの識別子に、その推薦スコアが対応づけられても良い。
【０１０２】
図１３を参照して、類似映像決定手段２４による類似映像決定処理を説明する。
【０１０３】
類似映像決定手段２４は、映像データ記憶部１２に記憶された任意の２つの映像データについて、ステップＳ３０１ないしステップＳ３０５の処理を繰り返す。
【０１０４】
まずステップＳ３０１において類似映像決定手段２４は、構造的特徴類似度データ１４ａから第１の映像データおよび第２の映像データ間の構造的特徴類似度を取得する。同様にステップＳ３０２において類似映像決定手段２４は、重要シーン特徴類似度データ１６ａから第１の映像データおよび第２の映像データ間の重要シーン特徴類似度を取得する。
【０１０５】
ステップＳ３０３において類似映像決定手段２４は、ステップＳ３０１およびステップＳ３０２で取得した、第１の映像データおよび第２の映像データ間の構造的特徴類似度および重要シーン特徴類似度に基づいて、第１の映像データおよび第２の映像データ間の類似度を算出する。このとき類似映像決定手段２４は、構造的特徴類似度および重要シーン特徴類似度をそれぞれ重み付けして、第１の映像データおよび第２の映像データ間の類似度を算出する。
【０１０６】
ステップＳ３０４において類似映像決定手段２４は、第１の映像データの識別子と、第２の映像データの識別子と、第１の映像データおよび第２の映像データ間の類似度と、を対応づけたレコードを、類似度データ１７ａに挿入する。
【０１０７】
ステップＳ３０５において類似映像決定手段２４は、類似度データ１７ａを参照して、基準映像データ１１ａとの類似度が高い映像データの識別子を、推薦する映像データの識別子として取得する。さらに類似映像決定手段２４は、取得した推薦する映像データの識別子を含む類似映像リストデータ１８ａを生成し、記憶装置１０に記憶する。
【０１０８】
ここで、類似映像決定手段２４の処理を詳述する。類似映像決定手段２４は、映像データＡと映像データＢの類似度について、構造的特徴に基づいて算出された類似度ＳＡＢと、重要シーン特徴に基づいて算出された類似度ＩＡＢとから、映像データＡを視聴したユーザに対する映像データＢの推薦スコアＲ（Ａ，Ｂ）を算出する。
【０１０９】
推薦スコアＲ（Ａ，Ｂ）は、構造的特徴に基づく構造的特徴類似度の値が大きい場合、もしくは、重要シーンに基づく重要シーン特徴類似度の値が大きい場合、推薦スコアＲ（Ａ，Ｂ）の値も大きくなるように算出される。
【０１１０】
例えば、ＳＡＢの各要素とＩＡＢの各要素の重み付き線形和により推薦スコアを算出する場合、Ｒ（Ａ，Ｂ）は、式（５）で与えられる。
【数５】
【０１１１】
ここで、ただし、ｋｐIはIｐA,Bの重み、ｋｑSはＳｑA,Bの重みである。映像データに含まれる重要シーン特徴を重視して推薦スコアを算出したい場合、ｋｐIの値は大きく設定される。映像データの演出を重視して推薦スコアを算出したい場合、IｐA,Bの値は大きく設定される。
【０１１２】
重要シーンに基づいて算出した映像データＡと映像データＢの類似度ＩＡＢ、および、構造的特徴に基づいて算出した映像データＡと映像データＢの類似度ＳＡＢのうち、どちらか片方のみを利用して、映像データＡおよび映像データＢの類似度Ｒ（Ａ，Ｂ）が算出されても良い。重要シーンに基づいて算出した映像データＡと映像データＢの類似度ＩＡＢのみ用いて類似度Ｒ（Ａ，Ｂ）を算出する場合、類似度Ｒ（Ａ，Ｂ）は、式（６）で与えられる。構造的特徴に基づいて算出した映像データＡと映像データＢの類似度ＳＡＢのみ用いて類似度Ｒ（Ａ，Ｂ）を算出する場合、類似度Ｒ（Ａ，Ｂ）は、式（７）で与えられる。
【数６】
【数７】
【０１１３】
重みｋｐIおよびIｐA,Bは、基準映像データ１１ａや映像データ記憶部１２に記憶された映像データの種類によって適宜設定されても良い。例えば、ホームビデオなど、編集があまりされていない映像データの場合、重要シーンに基づいて算出した類似度を用いるのがよい。また、重要シーンの抽出が困難な映像を対象に推薦する場合には、構造的特徴に基づいて算出した類似度を用いるのがよい。それ以外の場合には、重要シーンに基づいて算出した類似度と構造的特徴に基づいて算出した類似度の両方を用いるのがよい。
【０１１４】
類似映像決定手段２４は、類似度Ｒ（Ａ，Ｂ）から推薦スコアを算出する。例えば、類似度Ｒ（Ａ，Ｂ）を１００分率表記に換算したものが、推薦スコアとして出力されても良い。ユーザに推薦度をわかりやすく知らせるため、推薦スコアは記号などで表記されても良い。例えば類似映像決定手段２４は、類似度が高く推薦スコアが高い場合、推薦スコアを「★★★」などと表記し、類似度が比較的低く推薦スコアが低い場合、推薦スコアを「★」などと表記しても良い。
【０１１５】
類似映像決定手段２４は、ユーザが映像データＡにアクセスしたとき、映像データ記憶部１２の任意の映像データＸのうち、Ｒ（Ａ，Ｂ）の値が大きい映像データから順に所定数の映像データについて類似映像リストデータ１８ａを作成する。
【０１１６】
次に、類似映像情報出力手段２５を説明する。類似映像情報出力手段２５は、記憶装置１０から類似映像リストデータ１８ａおよび映像管理データ１９ａを読み出し、推薦する映像データの識別子に基づいて、これらの映像データのタイトルや内容などの情報を取得する。類似映像決定手段２４は、推薦する映像データの識別子と、これらのタイトルなどを対応づけて、出力する。図２に参照する例では、類似映像出力装置１の表示装置３０に表示する場合を説明するが、これに限られない。類似映像情報出力手段２５は例えば、通信制御装置（図示せず）および通信ネットワークを介して、他のコンピュータの表示装置に表示しても良い。
【０１１７】
ここで、構造的特徴類似度算出手段２２および重要シーン特徴類似度算出手段２３の各処理は、基準映像データ取得手段２１によって基準映像データ１１ａが入力された際に実行されても良いし、予め実行されていても良い。例えば、構造的特徴類似度算出手段２２によって構造的特徴類似度データ１４ａが、重要シーン特徴類似度算出手段２３によって重要シーン特徴類似度データ１６ａが、それぞれ予め算出されていれば、類似映像決定手段２４は、容易に類似度データ１７ａおよび類似映像リストデータ１８ａを生成することができる。さらに、類似映像決定手段２４によって、類似度データ１７ａも予め算出されていても良い。この様に予め類似度データなどを算出することにより、類似映像情報の出力に要する処理時間を短縮することができる。
【０１１８】
このように本発明の実施の形態に係る類似映像出力装置１によれば、映像データの構造的特徴に基づく類似度と、重要シーン特徴に基づく類似度によって、類似する映像データを特定することができる。
【０１１９】
構造的特徴に基づく類似度は、映像データの演出に関する特徴の類似度である。カット割りや音楽区間など、映像の演出に関係する特徴を抽出し、各特徴が映像の前半や後半など、時間軸におけるどの位置に多く出現するかを分析することによって、構造的特徴に基づく類似度が算出される。
【０１２０】
重要シーン特徴に基づく類似度は、視聴者の印象に残りやすいシーンに関する特徴の類似度である。視聴者の印象に残りやすいような重要シーンのみに限定して色などの特徴を分析することにより、重要シーン特徴に基づく類似度が算出される。
【０１２１】
一般的に、映像データの演出に関する特徴や、重要シーンにおける特徴が類似する映像は、視聴者の映像データに対する印象も類似すると考えられる。そこで本発明の実施の形態に係る類似映像出力装置１は、各映像データについて、映像データの演出に関する構造的特徴量や、重要シーンにおける重要シーン特徴量を算出し、これらの特徴量が基準映像データ１１ａと類似する映像データを、推薦映像データとして出力する。これにより、本発明の実施の形態に係る類似映像出力装置１は、基準映像データ１１ａに視聴者の映像データに対する印象が類似する映像データを推薦することができる。
【０１２２】
構造的特徴類似度算出手段２２は、映像データから演出に関する構造的特徴を抽出し、各特徴が映像データの時間軸におけるどの位置でどのくらいの頻度で出現するかを分析して、構造的特徴類似度を算出する。このような構造的特徴類似度により、構造的特徴が映像データの前半部分に多く現れるのか、後半部分に多く現れるのか、あるいは、全体を通してまんべんなく現れるのかなどの情報に基づいて、映像データの類似度が算出される。映画などの映像データでは、緊迫感を与えるため、カット数を増やすといった演出がなされる。そのため、演出に関する特徴が似ている映像データは、視聴者に与える印象も似ていると考えられ、類似映像出力装置１は、構造的特徴類似度により、視聴者に与える印象の似ている映像データを推薦できる。
【０１２３】
また、構造的特徴類似度算出手段２２は、映像データをいくつかの区間に分割し、各区間におけるカット割りや音楽区間などの構造的特徴量の出現頻度を要素とする特徴ベクトルの類似度を算出する。これにより、緊迫感などの印象を与えるためにカットの頻度を増減するといった、演出に関する情報を分析し、構造的特徴類に基づいた映像データの類似度を算出することができる。
【０１２４】
重要シーン特徴類似度算出手段２３は、映像データの中で、視聴者の印象に残りやすいような重要シーンの特徴に基づいて、映像データの類似度を算出する。重要シーンの特徴として利用する特徴は、色、動き、音響特徴などがある。これにより、類似映像出力装置１は、映像データが視聴者に与える印象の似ている映像データを推薦することができる。
【０１２５】
例えば、ホラー映画には、明るいシーンもあれば暗いシーンもあるが、ホラー映画において、印象に残りやすい重要なシーンでは暗いシーンが一般的と考えられる。そこで重要シーン特徴類似度算出手段２３が、重要シーンに限定して特徴を分析することにより、類似映像出力装置１は、例えば、「重要シーンに暗いシーンが多い」という観点で似ている映像データを発見できる。視聴者の印象に残りやすいシーンの特徴が似ている場合、映像データが視聴者に与える印象も似ていると考えられ、類似映像出力装置１は、重要シーン特徴類似度により、視聴者に与える印象の似ている映像を推薦できる。
【０１２６】
さらに、重要シーン特徴類似度算出手段２３は、重要シーンに限定して特徴を分析し、類似度を算出する。これにより、映像全体の類似度を算出する場合に比べ、解析対象のシーンが少なくなるため、重要シーン特徴類似度算出手段２３は、類似度算出にかかる計算処理量を削減することができる。
【０１２７】
このように本発明の実施の形態に係る類似映像出力装置１は、映像データの構造的特徴、または、映像データの重要シーンの特徴、あるいはその両方を分析することにより、映像データの印象の類似度を算出できる。これにより、本発明の実施の形態に係る類似映像出力装置１は、基準映像データ１１ａと印象の似た映像データを推薦することができる。
【０１２８】
（変形例）
本発明の実施の形態においては、基準映像データが一つの場合について説明したが、変形例においては、複数の基準映像データが指定された場合を説明する。
【０１２９】
変形例において、類似映像出力装置１の類似映像決定手段２４ａは、入力された複数の基準映像データが入力されると、これらの複数の基準映像データについての類似度を合計することにより、推薦する映像を決定することができる。
【０１３０】
例えば、入力としてＮＡ件の映像集合Ａ＝｛Ａｉ｜ｉ＝１〜ＮＡ｝が与えられると、式８に示したＲ’（Ａ，Ｂ）を、式６および式７のＲ（Ａ，Ｂ）の代わりに利用する。これにより類似映像決定手段２４ａは、変形例に係る類似映像リストデータ１８ｂを生成することができる。
【数８】
【０１３１】
このように、本発明の変形例においては、複数の基準映像データについても、構造的特徴類似度および重要シーン特徴類似度に基づいて、これらの基準映像データに類似する映像データの情報を、出力することができる。
【０１３２】
（その他の実施の形態）
上記のように、本発明の最良の実施の形態とその変形例によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなる。
【０１３３】
例えば、本発明の最良の実施の形態に記載した類似映像出力装置は、図２に示すように一つのハードウェア上に構成されても良いし、その機能や処理数に応じて複数のハードウェア上に構成されても良い。又、既存の情報処理システム上に実現されても良い。
【０１３４】
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【０１３５】
１ 類似映像出力装置
１０ 記憶装置
１１ 基準映像データ記憶部
１２ 映像データ記憶部
１３ 構造的特徴量データ記憶部
１４ 構造的特徴類似度データ記憶部
１５ 重要シーン特徴量データ記憶部
１６ 重要シーン特徴類似度データ記憶部
１７ 類似度データ記憶部
１８ 類似映像リストデータ記憶部
１９ 映像管理データ記憶部
２０ 中央処理制御装置
２１ 基準映像データ取得手段
２２ 構造的特徴類似度算出手段
２３ 重要シーン特徴類似度算出手段
２４ 類似映像決定手段
２５ 類似映像情報出力手段
３０ 表示装置
２２１ 構造的特徴解析手段
２２２、２３３ 類似度算出手段
２３１ 重要シーン抽出手段
２３２ 映像特徴解析手段
【特許請求の範囲】
【請求項１】
類似する映像データを出力する類似映像出力方法であって、
映像データ記憶部に記憶された複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出ステップと、
前記構造的特徴類似度データに基づいて、前記映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定ステップと、
を備えることを特徴とする類似映像出力方法。
【請求項２】
前記構造的特徴は、前記区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間のうち、いずれか一つ以上である
ことを特徴とする請求項１に記載の類似映像出力方法。
【請求項３】
前記複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出ステップをさらに備え、
前記類似映像決定ステップは、前記構造的特徴類似度データおよび前記重要シーン特徴類似度データに基づいて、前記映像データ記憶部から、前記基準映像データに類似する映像データを抽出する
ことを特徴とする請求項１または２に記載の類似映像出力方法。
【請求項４】
前記重要シーン特徴は、前記重要シーンの色、動き、音響特徴のいずれか一つ以上である
ことを特徴とする請求項３に記載の類似映像出力方法。
【請求項５】
類似する映像データを出力する類似映像出力方法であって、
映像データ記憶部に記憶された複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出ステップと、
前記重要シーン特徴類似度データに基づいて、前記映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定ステップと、
を備えることを特徴とする類似映像出力方法。
【請求項６】
類似する映像データを出力する類似映像出力装置であって、
複数の映像データが記憶された映像データ記憶部と、
前記複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出手段と、
前記構造的特徴類似度データに基づいて、前記映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定手段と、
を備えることを特徴とする類似映像出力装置。
【請求項７】
前記構造的特徴は、前記区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間のうち、いずれか一つ以上である
ことを特徴とする請求項６に記載の類似映像出力装置。
【請求項８】
前記複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出手段をさらに備え、
前記類似映像決定手段は、前記構造的特徴類似度データおよび前記重要シーン特徴類似度データに基づいて、前記映像データ記憶部から、前記基準映像データに類似する映像データを抽出する
ことを特徴とする請求項６または７に記載の類似映像出力装置。
【請求項９】
前記重要シーン特徴は、前記重要シーンの色、動き、音響特徴のいずれか一つ以上である
ことを特徴とする請求項８に記載の類似映像出力装置。
【請求項１０】
類似する映像データを出力する類似映像出力装置であって、
複数の映像データが記憶された映像データ記憶部と、
前記複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出手段と、
前記重要シーン特徴類似度データに基づいて、前記映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定手段と、
を備えることを特徴とする類似映像出力装置。
【請求項１１】
コンピュータに、請求項１ないし請求項５のいずれか１項に記載のステップを実行させるための類似映像出力プログラム。
【請求項１】
類似する映像データを出力する類似映像出力方法であって、
映像データ記憶部に記憶された複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出ステップと、
前記構造的特徴類似度データに基づいて、前記映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定ステップと、
を備えることを特徴とする類似映像出力方法。
【請求項２】
前記構造的特徴は、前記区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間のうち、いずれか一つ以上である
ことを特徴とする請求項１に記載の類似映像出力方法。
【請求項３】
前記複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出ステップをさらに備え、
前記類似映像決定ステップは、前記構造的特徴類似度データおよび前記重要シーン特徴類似度データに基づいて、前記映像データ記憶部から、前記基準映像データに類似する映像データを抽出する
ことを特徴とする請求項１または２に記載の類似映像出力方法。
【請求項４】
前記重要シーン特徴は、前記重要シーンの色、動き、音響特徴のいずれか一つ以上である
ことを特徴とする請求項３に記載の類似映像出力方法。
【請求項５】
類似する映像データを出力する類似映像出力方法であって、
映像データ記憶部に記憶された複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出ステップと、
前記重要シーン特徴類似度データに基づいて、前記映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定ステップと、
を備えることを特徴とする類似映像出力方法。
【請求項６】
類似する映像データを出力する類似映像出力装置であって、
複数の映像データが記憶された映像データ記憶部と、
前記複数の映像データのそれぞれについて、当該映像データを分割した区間毎の構造的特徴の出現する時間を構造的特徴量として算出し、構造的特徴量に基づいて、映像データ間の構造的特徴類似度を算出して、構造的特徴類似度データを出力する構造的特徴類似度算出手段と、
前記構造的特徴類似度データに基づいて、前記映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定手段と、
を備えることを特徴とする類似映像出力装置。
【請求項７】
前記構造的特徴は、前記区間における色、動き、音響特徴、カット割り、音楽区間、発話区間およびテロップ区間のうち、いずれか一つ以上である
ことを特徴とする請求項６に記載の類似映像出力装置。
【請求項８】
前記複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出手段をさらに備え、
前記類似映像決定手段は、前記構造的特徴類似度データおよび前記重要シーン特徴類似度データに基づいて、前記映像データ記憶部から、前記基準映像データに類似する映像データを抽出する
ことを特徴とする請求項６または７に記載の類似映像出力装置。
【請求項９】
前記重要シーン特徴は、前記重要シーンの色、動き、音響特徴のいずれか一つ以上である
ことを特徴とする請求項８に記載の類似映像出力装置。
【請求項１０】
類似する映像データを出力する類似映像出力装置であって、
複数の映像データが記憶された映像データ記憶部と、
前記複数の映像データのそれぞれについて、当該映像データに含まれる重要シーンの特徴量を重要シーン特徴量として算出し、重要シーン特徴量に基づいて、映像データ間の重要シーン特徴類似度を算出して、重要シーン特徴類似度データを出力する重要シーン特徴類似度算出手段と、
前記重要シーン特徴類似度データに基づいて、前記映像データ記憶部から、基準映像データに類似する映像データを抽出する類似映像決定手段と、
を備えることを特徴とする類似映像出力装置。
【請求項１１】
コンピュータに、請求項１ないし請求項５のいずれか１項に記載のステップを実行させるための類似映像出力プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２２４５０（Ｐ２０１２−２２２４５０Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８３７３９（Ｐ２０１１−８３７３９）
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]