映像提供装置及び映像提供方法
【課題】多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置を提供する。
【解決手段】表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベース３と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段５と、映像情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を時間的指標の順に並べて所定数抽出し、注目映像に類似度指標が最も近い映像を類似度指標の順に並べて所定数抽出する映像抽出手段６と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示手段４とを備える。
【解決手段】表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベース３と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段５と、映像情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を時間的指標の順に並べて所定数抽出し、注目映像に類似度指標が最も近い映像を類似度指標の順に並べて所定数抽出する映像抽出手段６と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示手段４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像提供装置及び映像提供方法に関する。詳しくは、多数のアーカイブ映像情報を時系列関係及び類似関係を分りやすく整理し表示するアーカイブ映像提供装置及びアーカイブ映像提供方法に関する。
【背景技術】
【０００２】
従来の情報の類似度を判定するものとして、文書の類似度をベクトル空間モデルを用いて判定するものがあった。ベクトル空間モデルは、出現単語に基づいて文書を１つのベクトルで表現し、文書間の類似性をベクトル間の関係（余弦など）で定義する手法である。この系列で、文書集合を構成する文書の特徴を要素とするベクトルデータを文書集合の特徴量とすることにより文書集合の類似性を判定するものや、多変数の時系列データ同士の類似度を判定するために、データセットを平均値ベクトル、分散ベクトル、主成分分析の結果などの特徴量ベクトルに変換して、類似度を演算するものがあった。また、コンピュータを発想支援に利用して類似関係を２次元空間に分かり易く整理し表示しようとする試みがあった。（特許文献１，２、非特許文献１，２参照）
【０００３】
【特許文献１】特開２００１−２４９９５１号広報（段落００５２〜００８８、図１〜４）
【特許文献２】特開２００２−１５０００号広報（段落００２９〜００６６、図１〜１２）
【非特許文献１】相原健郎、堀浩一、大須賀節雄「断片的な情報の集まりから知識を構築する過程の支援」人工知能学会誌、Ｖｏｌ．１１ Ｎｏ．３ ｐ４３２〜４３９ １９９６年５月
【非特許文献２】杉本雅則、堀浩一、大須賀節雄「設計問題への発想支援システムの応用と発想過程のモデルから知識を構築する過程の支援」人工知能学会誌、Ｖｏｌ．８ Ｎｏ．５ ｐ５７５〜５８１ １９９３年９月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
多数の映像を１画面に配列する場合、通常は２次元に（縦横に）配列される。従って、縦横２つの要素を選択できる。その場合、一方を時系列順、他方を類似度順に選択して配列配置できれば、利用価値が大きいと考えられる。しかしながら、ベクトル空間を用いる方法では時系列関係はベクトルの１つの次元としてしか扱われず、また、コンピュータを発想支援に利用する方法では時系列関係を開示しておらず、従来の方法で、映像情報、特にアーカイブ映像情報を提供するに際し、多数の映像について時系列関係及び類似関係を分りやすく整理し表示するものは見当たらない。
【０００５】
本発明は、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置及び映像提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の映像提供装置１は、例えば図１に示すように、表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベース３と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段５と、映像情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出手段６と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示手段４とを備える。
【０００７】
ここにおいて、時間的指標とは、各グループの映像における時系列順序を示す指標をいい、典型的にはストーリー順をいうが、工程順、歴史順、製作順でも良い。また、類似度指標とは、内容の類似性を表す指標をいい、指標値の差が小さい程類似性が高い。全映像を対象にしても良く、各グループの代表映像を対象にしても良い。また、映像抽出手段６は、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出してから時間的指標の順に並べても良く、時間的指標の順に並べてから所定数抽出しても良い。また、注目映像に類似度指標が最も近い映像を所定数抽出してから類似度指標の順に並べても良く、類似度指標の順に並べてから所定数抽出しても良い。また、所定数とは、画面に表示する映像数をいうが、所定数以上抽出し、並べ、画面に表示する際に所定数に絞っても、所定数の映像が含まれた状態で抽出され、まとまった状態で並べられるので、それでも良い。このように構成すると、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置を提供できる。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の映像提供装置において、例えば図６に示すように、時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められる。このように構成すると、教材、講義、プレゼンテーション等に適した映像の表示ができる。
【０００９】
また、請求項３に記載の発明は、請求項１又は請求項２に記載の映像提供装置において、例えば図４に示すように、類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各映像に係るプロット点の前記第１主成分軸に対する回転角により定められる。このように構成すると、類似度を回転角で表示でき、映像をリング状に配置できるので、２次元表示の一軸上に配置でき、便利である。
【００１０】
また、請求項４に記載の発明は、請求項３に記載の映像提供装置において、主成分分析は、映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする。このように構成すると、キーワードを特徴として選ぶことにより、類似度を判断する具体的データを作成できる。
【００１１】
また、請求項５に記載の発明は、請求項１乃至請求項４のいずれか１項に記載の映像提供装置において、例えば図１に示すように、映像抽出手段６は、映像をグループ毎に時間的指標順に記憶し、各映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段７と、指標順記憶手段７に記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、指標順記憶手段７に記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出手段８とを有する。このように構成すると、指標順に記憶する指標順記憶手段を用いることにより、注目映像の前後の所定数のデータを取得するに際し、高速度の読み出しが可能になる。
【００１２】
また、請求項６に記載の映像提供方法は、例えば図９に示すように、表題毎にグループにまとめられた複数の映像を映像情報データベース３に蓄積する映像蓄積工程（Ｓ００１）と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与工程（Ｓ００２）と、映像情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出工程（Ｓ００３）と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示工程（Ｓ００４）とを備える。
【００１３】
ここにおいて、映像抽出工程（Ｓ００３）は、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出してから時間的指標の順に並べても良く、時間的指標の順に並べてから所定数抽出しても良い。また、注目映像に類似度指標が最も近い映像を所定数抽出してから類似度指標の順に並べても良く、類似度指標の順に並べてから所定数抽出しても良い。このように構成すると、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供方法を提供できる。
【００１４】
また、請求項７に記載の発明は、請求項６に記載の映像提供方法において、時間的指標は注目映像が属するグループにおけるストーリーの順序に基づいて定められ、類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各映像に係るプロット点の第１主成分軸に対する回転角により定められ、主成分分析は、映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする。このように構成すると、教材、講義、プレゼンテーション等に適した映像の表示ができる。
【００１５】
また、請求項８に記載の発明は、請求項６又は請求項７に記載の映像提供方法において、例えば図９に示すように、映像抽出工程（Ｓ００３）は、映像をグループ毎に時間的指標順に記憶し、また、映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶工程（Ｓ００５）と、指標順記憶工程（Ｓ００５）で記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶工程（Ｓ００５）で記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出工程（Ｓ００６）とを有する。ここにおいて、指標順記憶工程及び指標順データ抽出工程では、映像情報データベース３に記憶された全ての映像又は或るグループの全ての映像について指標順に記憶又は取得されなければならない意味ではなく、記憶又は取得された全ての映像が時間的指標順又は類似度指標順に整列されていれば良い意味である。このように構成すると、指標順に記憶する指標順記憶工程を用いることにより、注目映像の前後の所定数のデータを取得するに際し、高速度の読み出しが可能になる。
【発明の効果】
【００１６】
本発明によれば、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置及び映像提供方法を提供できる。
【発明を実施するための最良の形態】
【００１７】
〔第１の実施の形態〕
図１に第１の実施の形態における映像提供装置の構成例を示す。本実施の形態を含め以下の実施の形態では、映像がアーカイブ映像であり、映像提供装置がアーカイブ映像提供装置であり、映像提供方法がアーカイブ映像提供方法であり、映像情報データベースがアーカイブ情報データベースである例について説明する。アーカイブ映像提供装置１は、アーカイブ映像提供装置１全体を制御して、アーカイブ映像を提供するように機能させると共に、必要な各種演算を行なう演算制御装置２と、多数のアーカイブ映像を蓄積したアーカイブ情報データベース３と、抽出された注目映像を含む複数のアーカイブ映像を画面に表示する映像表示手段４により構成される。アーカイブ情報データベース３に蓄積されるアーカイブ映像は表題毎にストーリーを有し１つのグループにまとめられている。演算制御装置２は、各アーカイブ映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段５と、アーカイブ情報データベース３から注目映像を含む複数の映像を抽出する映像抽出手段６とを有する。映像抽出手段６は、アーカイブ映像をグループ毎に時間的指標順に記憶し、また、各アーカイブ映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段７と、指標順記憶手段７に記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶手段７に記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出手段８とを有する。映像表示手段４は、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する。
【００１８】
本実施の形態では、アーカイブ映像が漆工芸に係わる例について具体的に説明する。
【００１９】
図２に映像とその説明文の例を示す。図２（ａ）に映像、（ｂ）にその説明文を示す。アーカイブ情報データベース３は、かかる映像とそれに付随する説明文の組み合わせを多数蓄積している。映像は、撮影画像、描画画像、グラフィック画像、合成画像のいずれの映像でも良く、サムネイルなどとしてアーカイブ情報データベース３に蓄積されている。図２（ｂ）の説明文は、「この映像は、硯箱の蓋に蒔絵を施した漆器で、黒塗りの円を背景に大きく羽を広げた鶴が描かれています。白、黒を基調に、赤、金、青、紫の配色がされて美しく描かれています。蒔絵は日本文化が育んだ工芸であり、奈良時代から、経文、文具、茶道具などを収納する木箱等に描かれてきました。蒔絵には、置目、地塗り、粉蒔き、磨き、上絵付け等の工程があり、その値打は熟練者の技と美的感覚に強く依存します。」であり、このサムネイルの説明文からキーワードが文字認識技術を用いてピックアップされる。
【００２０】
例えば、伝統工芸教科用のアーカイブ映像提供装置では、これら伝統工芸に関する映像を、１つの映像から次に参照したい映像を直ぐに見出せるように整理して配置配列し、画面に表示する必要がある。その分かりやすい整理の仕方の１つは、もし、１つのテーマ（１つの授業）に関する講義、講演、セミナー、解説、物語の中で複数の映像が時系列的に参照されていれば、その時系列順に映像を配列して示すことであり、また、他の１つは、表示されている映像に類似するものほど参照される度合いが大きいと考えられるため、類似度の高い程近くに、低い程遠くになるように配列して示すことである。また、その他、映像名のアイウエオ順とか、製作日順とか、関連する地域や時代の順序に配列して示す方法もある。
【００２１】
ところで、多数の映像を１画面に配列する場合、通常は２次元に（縦横に）配列される。従って、縦横２つの要素を選択できる。その場合、一方を時系列順、他方を類似度順に選択して配列配置できれば、利用価値が大きいと考えられる。ところで時系列順は直ぐに定められるが、類似度については多様な基準があるので、どのような基準を用いるのが最も適切かは単純に定められない。
【００２２】
多変量データについては特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を用いた主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行うことによって、相関関係にある変数を合成して次元を縮退させることができる。多変量データは、類似するデータを他と識別でき、近くに集まるように、直交するいくつかの主成分で構成される空間上に射影される。この手法を用い第１主成分を横軸に第２主成分を縦軸にして映像を配置すると、全ての映像を２次元配置でき、このとき中心点の周りの角度が類似性を表示する指標となる。すなわち、類似性のあるものが中心から同じ角度の放射線近傍に集まり、角度の開きが類似度に対応することとなる。本実施の形態では、第１主成分と第２主成分のみを抽出し、第１主成分を横軸に第２主成分を縦軸に配置した。第３主成分以下を割愛したのは類似度評価の簡素化のためであり、２次元表示を実現させるためである。
【００２３】
図３に映像とキーワードの関係を頻度で示す。ここで、Ｎｏ．が映像Ｎｏ．を示す。キーワードが変数の要素として用いられる。すなわち、これらのキーワードを有する映像の母集団に基づいて、第１主成分、第２主成分、・・・、及び各成分値が定められる。すなわち、各映像が２次元表示のどこに配置されるかが定まり、中心の周りの角度により類似性が定まる。
【００２４】
図４は、特異値分解を用いた主成分分析による映像配置の例を示す。データを示す表でＡ，Ｂ，Ｃが映像を示し、ｘ、ｙ、ｚが例えばキーワードを示し、データは説明文中のキーワードの出現頻度を示す。データの行列から、特異値分解により特異値および特異ベクトルが定まり、これに基づき主成分分析すると、第１主成分（主成分１）、第２主成分（主成分２）、・・・、及び各成分値が定まる。第１主成分を横軸に、第２主成分を縦軸にすると、これらの成分値に応じて、Ａ，Ｂ，Ｃ等の各映像がグラフ上に配置される。このとき、各映像のプロット点を単位円上に射影すると、各映像は円周（コンテンツ環）上に射影配置されて、横軸からの回転角が類似度指標を表し、データ間の円周距離又は円周角が類似度を表すことになり、類似性が高いものが近くに集まることになる。例えば、「研ぎ出し蒔絵」に関連するコンテンツの集合は第１象限の或る領域に集まり、作家「Ｍさん」に関連するコンテンツの集合は第４象限の或る領域に集まる。
【００２５】
図５に映像を類似度−時間軸表示に配置する例を示す。横軸に時系列順に配置するための時間軸をとり、縦軸を円環で表示し円周角を類似性に関連させたものである。このようにすると、各映像は第１主成分を横軸、第２主成分を縦軸とするグラフの円周角に応じてこの円環上に配置される。
【００２６】
円周上には類似性の順序に従って映像が並ぶ。必ずしも回転角の射影点に配置するのでなく、類似性の順序に従って近い順に並べるので、重なって配置されることはない。また、２以上の映像が同じ類似度、すなわち同じ角度上に併存する場合には、例えば第１主成分値が大きい方（従って第２主成分値も大きい）を近くに配置する、さらに、第１主成分値が等しい場合には、第３主成分が大きい方を近くに配置する等により順序を決めれば良い。したがって、アーカイブ映像の類似度指標によるコンテンツ環への配列順序は固定的に定まる。時間軸上には説明（ストーリー）の順序に従って映像が並ぶ。この場合も時間通りに配置するのではなく、ストーリー順に配置するので、重なって配置されることはない。
【００２７】
次に、アーカイブ情報データベース３に蓄積された多数の映像の中から目的とする映像を見出すには、通常の情報提供システムと同様に検索を行う。例えばキーワードの乗算を用いて検索を行い、ヒットした映像のリストを一覧表示し、その中から目的とする映像を特定し、抽出する。例えば、図２の映像を目的として「蒔絵」×「漆器」で検索を行い、一覧表示に、タイトル、著作者、著作日等を表示し、これらの中から該当すると思われるもの、或は適切と思われるものを抽出して、画面に表示する。これにより、目的とする映像を中心に横軸に時間的指標順に、縦軸に類似度指標順に、映像が十文字状に配置される。
【００２８】
アーカイブ映像の類似度指標によるコンテンツ環への配列順序は固定的に定まり、目的とする映像はコンテンツ環のいずれかに位置する。目的とする映像の近傍には当該映像に類似度指標が最も近い映像が類似度指標の順に並び、この順序も固定的に定まる。したがって、各アーカイブ映像を類似度指標順に指標順記憶手段７に記憶すると、目的とする映像の前後の所定数のデータを類似度指標順に取得するに際し、これらのデータを連続して読み出せるので、高速度の読み出しが可能になる。また、同じ表題（グループ）内ではアーカイブ映像をストーリー順に並べると時間指標順になり、この順序も固定的に定まるので、時間指標順に指標順記憶手段７に記憶すると、目的とする映像の前後の所定数のデータを時間指標順に取得するに際し、これらのデータを連続して読み出せるので、高速度の読み出しが可能になる。
【００２９】
図６に類似度−時間軸表示の配列例を示す。目的とする蒔絵を中心に縦軸、横軸上にサムネイルが配置される。横軸に注視しているアーカイブ映像（注目映像）と時間的に連続する映像が時間的指標の順序に配置され、縦軸には注視しているアーカイブ映像（注目映像）と内容的に類似する映像が類似度指標の順序に配置される。例えば、横軸を見ると、左から、説明者、小手箱、硯、硯の蓋に描かれた鶴の蒔絵、別の蒔絵の拡大図、なつめを納めた袋、袋から取り出したなつめが、説明者のストーリーの順序に表示されている。縦軸を見ると、蒔絵の技法の習得に関する内容のものが表示されている。
【００３０】
図７に、図６から時間軸上を１つ進めた類似度−時間軸表示の例を示す。別の蒔絵の拡大図が中心に配置され、時間軸上にあった映像が１つずつ左にずれて、右端に扉に描かれた蒔絵が新たに表示されている。縦軸を見ると、内容が全く変り、貝などを使った蒔絵に関する内容のものが表示されている。
【００３１】
図８に、図７からさらに時間軸上を辿った類似度−時間軸表示の例を示す。蒔絵が描かれたなつめが中心に配置され、時間軸上にあった映像が２つずつ左にずれて、右端側に説明者が新たに表示されている。縦軸を見ると、内容が全く変り、漆工芸の発展に関する内容（上側は服飾関係、下側は万年筆関係）のものが表示されている。
【００３２】
本実施の形態では、横軸に配置される映像はストーリーに属するものに限られる。他方、縦軸は全ての映像が類似度指標の順序で配置されており、横軸に配置された映像もこの円環のいづれかに存在する。しかし、類似度指標は各映像に固有の値を示すので、映像の配列順序は不変である。したがって、縦軸の表示は，注目映像を中心にして、円環（コンテンツ環）の中からその近傍にある部分が抽出されて表示されることになる。
【００３３】
ここで、縦軸で１つ上の映像を注目画像として選択すると、縦軸上の映像は１つずつ下に移る。この場合、横軸は同じストーリーに属する映像であれば、同じストーリーで新たな注目映像が中心になるように映像がずれて表示され、同じストーリーに属さない映像であれば、全く異なるストーリーの映像が配置される。
【００３４】
図９に第１の実施の形態における映像提供方法、すなわちアーカイブ映像提供方法の処理フロー例を示す。まず、表題毎にグループにまとめられた多数のアーカイブ映像をアーカイブ情報データベース３に蓄積する（映像蓄積工程：Ｓ００１）。次に、指標付与手段５において、各アーカイブ映像に時間的指標と内容の類似性を表す類似度指標を付与する（指標付与工程：Ｓ００２）。次に、映像抽出手段６において、アーカイブ情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を時間的指標の順に並べて所定数抽出し、注目映像に類似度指標が最も近い映像を類似度指標の順に並べて所定数抽出する（映像抽出工程：Ｓ００３）。映像抽出工程（Ｓ００３）は、指標順記憶手段７にアーカイブ映像をグループ毎に時間的指標順に記憶し、また、各アーカイブ映像又は各グループの代表映像を類似度指標順に記憶し（指標順記憶工程：Ｓ００５）、指標順データ抽出手段８において、指標順記憶工程（Ｓ００５）で記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶工程（Ｓ００５）で記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する（指標順データ抽出工程：Ｓ００６）。次に、映像表示手段４において、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する（映像表示工程：Ｓ００５）。
【００３５】
〔第２の実施の形態〕
第１の実施の形態はすべての映像について類似度指標を求める例を説明したが、第２の実施の形態では、映像を時系列データ（ストーリー）毎にグループ化し、１つの時系列データについては表紙映像などの代表映像について類似度指標を求める例を説明する。このようにすると、類似度指標を求めるための第１主成分−第２主成分グラフにプロットする映像の数を少なくできるので、表示画面に表示される映像の数を少なくでき、このため、多くのグループから目的とするグループの映像を探し易くなる。すなわち、各注目映像について、横軸の時系列映像は第１の実施の形態と同様に表示されるが、縦軸の類似度指標に基づいて縦軸上に配列される映像は、各グループの代表映像に限られ、第１の実施の形態に比して、「平均映像数／グループ」で除した数になり少なくなる。これにより、縦軸方向をサーチする場合は、多くのグループに早く辿りつき、グループ単位に探すのに便宜である。
【００３６】
また、代表映像として、表紙映像、先頭映像、特別に製作した映像などを選択できる。また、類似度指標を作成するための説明文として、例えば、映像グループのストーリーにかかる説明文、その中の１つの映像に係る説明文、グループの全ての映像の説明文を合成したもの、のいずれとしても良い。
【００３７】
〔第３の実施の形態〕
第１、第２の実施の形態では、表示画面に縦横十文字に配列する例を説明したが，第３の実施の形態では、中心に位置しない十文字上の映像をクリックした場合、その映像が横軸（時系列）上にあれば、その映像の上下に類似度指標に基づく映像が表示され、その映像が縦軸（類似）上にあれば、その映像の左右に時系列（ストーリー）を示す映像が表示される。そして、これら新たな帯上に表示された映像をクリックする（十文字上の映像については２度目のクリックになる）と、その映像が中心に移動する。このようにすると、表示画面の空きスペースを有効に利用して、十文字上にない映像を早くサーチできる。
【００３８】
〔第４の実施の形態〕
第１〜第３の実施の形態では、第１主成分と第２主成分で類似度指標を作成する例を説明したが、第４の実施の形態では、第１主成分と第３主成分、第１主成分と第４主成分、…で類似性の指標を作成する例を説明する。第１主成分は最も識別性の強い指標を示し、第２主成分は次に識別性の強い指標を示し、第３主成分は３番目に識別性の強い指標を示すと解釈されるので、第１主成分と第２主成分で類似性の指標を作成する場合に、最も明瞭な類似度指標を示すと解釈されるが、第１主成分と第３主成分、第１主成分と第４主成分類似性の指標を作成する場合には、第１主成分と第２主成分で類似性の指標を作成する場合にとは異なる角度で、しかも何らかの識別性を反映した類似度指標となり、その識別性とサーチする者の意図がうまく整合した場合には、目標の映像に早く到達できる可能性がある。また、第１主成分と組み合わせる主成分を選択可能に構成しても良い。
【００３９】
〔第５の実施の形態〕
第１〜第４の実施の形態では、アーカイブ情報データベース３が全体で１つのグループを構成する例を説明したが、第５の実施の形態では、アーカイブ情報データベース３を分野に応じて複数のグループに分割して構成する例である。例えば、グループを漆、藍染め、螺鈿等に分割して構成しても良い。このように構成すると、小グループ内でサーチでき、ノイズが少なくなり、専門分野に特化したサーチができる。
【００４０】
〔第６の実施の形態〕
例えば、アーカイブを、歴史と地理（文化の類似度）のようなもので整理する。表題を例えば、「蒔絵」、「輪島塗」、「景徳鎮」、「西陣織」等とする。時間軸を時代順とする。類似度指標を特異値分解に基づき、主成分分析を行うと、類似した文化の順に映像が整列するので、これにより、例えば、文化伝来の経路（例えば、陶器、衣類、書画などの伝来の経路）の順序に並び、歴史と文化を理解し易くなる可能性がある。
【００４１】
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
【００４２】
例えば、以上の実施の形態ではアーカイブ映像の静止映像を使用する例を説明したが、新作映像や動的映像にも本発明を適用可能である。また、以上の実施の形態では、データの特徴量として説明文中のキーワードの出現頻度を使用する例を説明したが、キーワードをシソーラスで整理し、同じシソーラスに属するものには類似ポイントでウエイト付けしても良い。また、以上の実施の形態では、時間的指標としてストーリー順を使用する例を説明したが、工程順としても良い。この場合は工程に則した説明が可能となる。また、時間軸−類似度表示の縦横を逆にしても良く、画面に表示する映像の数等を適宜変更可能である。
【産業上の利用可能性】
【００４３】
本発明は、アーカイブ映像等の映像提供に利用される。
【図面の簡単な説明】
【００４４】
【図１】第１の実施の形態における映像提供装置の構成例を示す図である。
【図２】映像とその説明文の例を示す図である。
【図３】映像とキーワードの関係を頻度で示す図である。
【図４】主成分分析による映像配置の例を示す図である。
【図５】映像を類似度−時間軸表示に配置する例を示す図である。
【図６】類似度−時間軸表示の配列例を示す図である。
【図７】図６から時間軸上を１つ進めた類似度−時間軸表示の例を示す図である。
【図８】図７からさらに時間軸上を辿った類似度−時間軸表示の例を示す図である。
【図９】第１の実施の形態における映像提供方法の処理フロー例を示す図である。
【符号の説明】
【００４５】
１ アーカイブ映像提供装置
２ 演算制御装置
３ アーカイブ情報データベース
４ 映像表示手段
５ 指標付与手段
６ 映像抽出手段
７ 指標順記憶手段
８ 指標順データ抽出手段
【技術分野】
【０００１】
本発明は映像提供装置及び映像提供方法に関する。詳しくは、多数のアーカイブ映像情報を時系列関係及び類似関係を分りやすく整理し表示するアーカイブ映像提供装置及びアーカイブ映像提供方法に関する。
【背景技術】
【０００２】
従来の情報の類似度を判定するものとして、文書の類似度をベクトル空間モデルを用いて判定するものがあった。ベクトル空間モデルは、出現単語に基づいて文書を１つのベクトルで表現し、文書間の類似性をベクトル間の関係（余弦など）で定義する手法である。この系列で、文書集合を構成する文書の特徴を要素とするベクトルデータを文書集合の特徴量とすることにより文書集合の類似性を判定するものや、多変数の時系列データ同士の類似度を判定するために、データセットを平均値ベクトル、分散ベクトル、主成分分析の結果などの特徴量ベクトルに変換して、類似度を演算するものがあった。また、コンピュータを発想支援に利用して類似関係を２次元空間に分かり易く整理し表示しようとする試みがあった。（特許文献１，２、非特許文献１，２参照）
【０００３】
【特許文献１】特開２００１−２４９９５１号広報（段落００５２〜００８８、図１〜４）
【特許文献２】特開２００２−１５０００号広報（段落００２９〜００６６、図１〜１２）
【非特許文献１】相原健郎、堀浩一、大須賀節雄「断片的な情報の集まりから知識を構築する過程の支援」人工知能学会誌、Ｖｏｌ．１１ Ｎｏ．３ ｐ４３２〜４３９ １９９６年５月
【非特許文献２】杉本雅則、堀浩一、大須賀節雄「設計問題への発想支援システムの応用と発想過程のモデルから知識を構築する過程の支援」人工知能学会誌、Ｖｏｌ．８ Ｎｏ．５ ｐ５７５〜５８１ １９９３年９月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
多数の映像を１画面に配列する場合、通常は２次元に（縦横に）配列される。従って、縦横２つの要素を選択できる。その場合、一方を時系列順、他方を類似度順に選択して配列配置できれば、利用価値が大きいと考えられる。しかしながら、ベクトル空間を用いる方法では時系列関係はベクトルの１つの次元としてしか扱われず、また、コンピュータを発想支援に利用する方法では時系列関係を開示しておらず、従来の方法で、映像情報、特にアーカイブ映像情報を提供するに際し、多数の映像について時系列関係及び類似関係を分りやすく整理し表示するものは見当たらない。
【０００５】
本発明は、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置及び映像提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の映像提供装置１は、例えば図１に示すように、表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベース３と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段５と、映像情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出手段６と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示手段４とを備える。
【０００７】
ここにおいて、時間的指標とは、各グループの映像における時系列順序を示す指標をいい、典型的にはストーリー順をいうが、工程順、歴史順、製作順でも良い。また、類似度指標とは、内容の類似性を表す指標をいい、指標値の差が小さい程類似性が高い。全映像を対象にしても良く、各グループの代表映像を対象にしても良い。また、映像抽出手段６は、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出してから時間的指標の順に並べても良く、時間的指標の順に並べてから所定数抽出しても良い。また、注目映像に類似度指標が最も近い映像を所定数抽出してから類似度指標の順に並べても良く、類似度指標の順に並べてから所定数抽出しても良い。また、所定数とは、画面に表示する映像数をいうが、所定数以上抽出し、並べ、画面に表示する際に所定数に絞っても、所定数の映像が含まれた状態で抽出され、まとまった状態で並べられるので、それでも良い。このように構成すると、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置を提供できる。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の映像提供装置において、例えば図６に示すように、時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められる。このように構成すると、教材、講義、プレゼンテーション等に適した映像の表示ができる。
【０００９】
また、請求項３に記載の発明は、請求項１又は請求項２に記載の映像提供装置において、例えば図４に示すように、類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各映像に係るプロット点の前記第１主成分軸に対する回転角により定められる。このように構成すると、類似度を回転角で表示でき、映像をリング状に配置できるので、２次元表示の一軸上に配置でき、便利である。
【００１０】
また、請求項４に記載の発明は、請求項３に記載の映像提供装置において、主成分分析は、映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする。このように構成すると、キーワードを特徴として選ぶことにより、類似度を判断する具体的データを作成できる。
【００１１】
また、請求項５に記載の発明は、請求項１乃至請求項４のいずれか１項に記載の映像提供装置において、例えば図１に示すように、映像抽出手段６は、映像をグループ毎に時間的指標順に記憶し、各映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段７と、指標順記憶手段７に記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、指標順記憶手段７に記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出手段８とを有する。このように構成すると、指標順に記憶する指標順記憶手段を用いることにより、注目映像の前後の所定数のデータを取得するに際し、高速度の読み出しが可能になる。
【００１２】
また、請求項６に記載の映像提供方法は、例えば図９に示すように、表題毎にグループにまとめられた複数の映像を映像情報データベース３に蓄積する映像蓄積工程（Ｓ００１）と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与工程（Ｓ００２）と、映像情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出工程（Ｓ００３）と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示工程（Ｓ００４）とを備える。
【００１３】
ここにおいて、映像抽出工程（Ｓ００３）は、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出してから時間的指標の順に並べても良く、時間的指標の順に並べてから所定数抽出しても良い。また、注目映像に類似度指標が最も近い映像を所定数抽出してから類似度指標の順に並べても良く、類似度指標の順に並べてから所定数抽出しても良い。このように構成すると、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供方法を提供できる。
【００１４】
また、請求項７に記載の発明は、請求項６に記載の映像提供方法において、時間的指標は注目映像が属するグループにおけるストーリーの順序に基づいて定められ、類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各映像に係るプロット点の第１主成分軸に対する回転角により定められ、主成分分析は、映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする。このように構成すると、教材、講義、プレゼンテーション等に適した映像の表示ができる。
【００１５】
また、請求項８に記載の発明は、請求項６又は請求項７に記載の映像提供方法において、例えば図９に示すように、映像抽出工程（Ｓ００３）は、映像をグループ毎に時間的指標順に記憶し、また、映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶工程（Ｓ００５）と、指標順記憶工程（Ｓ００５）で記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶工程（Ｓ００５）で記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出工程（Ｓ００６）とを有する。ここにおいて、指標順記憶工程及び指標順データ抽出工程では、映像情報データベース３に記憶された全ての映像又は或るグループの全ての映像について指標順に記憶又は取得されなければならない意味ではなく、記憶又は取得された全ての映像が時間的指標順又は類似度指標順に整列されていれば良い意味である。このように構成すると、指標順に記憶する指標順記憶工程を用いることにより、注目映像の前後の所定数のデータを取得するに際し、高速度の読み出しが可能になる。
【発明の効果】
【００１６】
本発明によれば、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置及び映像提供方法を提供できる。
【発明を実施するための最良の形態】
【００１７】
〔第１の実施の形態〕
図１に第１の実施の形態における映像提供装置の構成例を示す。本実施の形態を含め以下の実施の形態では、映像がアーカイブ映像であり、映像提供装置がアーカイブ映像提供装置であり、映像提供方法がアーカイブ映像提供方法であり、映像情報データベースがアーカイブ情報データベースである例について説明する。アーカイブ映像提供装置１は、アーカイブ映像提供装置１全体を制御して、アーカイブ映像を提供するように機能させると共に、必要な各種演算を行なう演算制御装置２と、多数のアーカイブ映像を蓄積したアーカイブ情報データベース３と、抽出された注目映像を含む複数のアーカイブ映像を画面に表示する映像表示手段４により構成される。アーカイブ情報データベース３に蓄積されるアーカイブ映像は表題毎にストーリーを有し１つのグループにまとめられている。演算制御装置２は、各アーカイブ映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段５と、アーカイブ情報データベース３から注目映像を含む複数の映像を抽出する映像抽出手段６とを有する。映像抽出手段６は、アーカイブ映像をグループ毎に時間的指標順に記憶し、また、各アーカイブ映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段７と、指標順記憶手段７に記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶手段７に記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出手段８とを有する。映像表示手段４は、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する。
【００１８】
本実施の形態では、アーカイブ映像が漆工芸に係わる例について具体的に説明する。
【００１９】
図２に映像とその説明文の例を示す。図２（ａ）に映像、（ｂ）にその説明文を示す。アーカイブ情報データベース３は、かかる映像とそれに付随する説明文の組み合わせを多数蓄積している。映像は、撮影画像、描画画像、グラフィック画像、合成画像のいずれの映像でも良く、サムネイルなどとしてアーカイブ情報データベース３に蓄積されている。図２（ｂ）の説明文は、「この映像は、硯箱の蓋に蒔絵を施した漆器で、黒塗りの円を背景に大きく羽を広げた鶴が描かれています。白、黒を基調に、赤、金、青、紫の配色がされて美しく描かれています。蒔絵は日本文化が育んだ工芸であり、奈良時代から、経文、文具、茶道具などを収納する木箱等に描かれてきました。蒔絵には、置目、地塗り、粉蒔き、磨き、上絵付け等の工程があり、その値打は熟練者の技と美的感覚に強く依存します。」であり、このサムネイルの説明文からキーワードが文字認識技術を用いてピックアップされる。
【００２０】
例えば、伝統工芸教科用のアーカイブ映像提供装置では、これら伝統工芸に関する映像を、１つの映像から次に参照したい映像を直ぐに見出せるように整理して配置配列し、画面に表示する必要がある。その分かりやすい整理の仕方の１つは、もし、１つのテーマ（１つの授業）に関する講義、講演、セミナー、解説、物語の中で複数の映像が時系列的に参照されていれば、その時系列順に映像を配列して示すことであり、また、他の１つは、表示されている映像に類似するものほど参照される度合いが大きいと考えられるため、類似度の高い程近くに、低い程遠くになるように配列して示すことである。また、その他、映像名のアイウエオ順とか、製作日順とか、関連する地域や時代の順序に配列して示す方法もある。
【００２１】
ところで、多数の映像を１画面に配列する場合、通常は２次元に（縦横に）配列される。従って、縦横２つの要素を選択できる。その場合、一方を時系列順、他方を類似度順に選択して配列配置できれば、利用価値が大きいと考えられる。ところで時系列順は直ぐに定められるが、類似度については多様な基準があるので、どのような基準を用いるのが最も適切かは単純に定められない。
【００２２】
多変量データについては特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を用いた主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行うことによって、相関関係にある変数を合成して次元を縮退させることができる。多変量データは、類似するデータを他と識別でき、近くに集まるように、直交するいくつかの主成分で構成される空間上に射影される。この手法を用い第１主成分を横軸に第２主成分を縦軸にして映像を配置すると、全ての映像を２次元配置でき、このとき中心点の周りの角度が類似性を表示する指標となる。すなわち、類似性のあるものが中心から同じ角度の放射線近傍に集まり、角度の開きが類似度に対応することとなる。本実施の形態では、第１主成分と第２主成分のみを抽出し、第１主成分を横軸に第２主成分を縦軸に配置した。第３主成分以下を割愛したのは類似度評価の簡素化のためであり、２次元表示を実現させるためである。
【００２３】
図３に映像とキーワードの関係を頻度で示す。ここで、Ｎｏ．が映像Ｎｏ．を示す。キーワードが変数の要素として用いられる。すなわち、これらのキーワードを有する映像の母集団に基づいて、第１主成分、第２主成分、・・・、及び各成分値が定められる。すなわち、各映像が２次元表示のどこに配置されるかが定まり、中心の周りの角度により類似性が定まる。
【００２４】
図４は、特異値分解を用いた主成分分析による映像配置の例を示す。データを示す表でＡ，Ｂ，Ｃが映像を示し、ｘ、ｙ、ｚが例えばキーワードを示し、データは説明文中のキーワードの出現頻度を示す。データの行列から、特異値分解により特異値および特異ベクトルが定まり、これに基づき主成分分析すると、第１主成分（主成分１）、第２主成分（主成分２）、・・・、及び各成分値が定まる。第１主成分を横軸に、第２主成分を縦軸にすると、これらの成分値に応じて、Ａ，Ｂ，Ｃ等の各映像がグラフ上に配置される。このとき、各映像のプロット点を単位円上に射影すると、各映像は円周（コンテンツ環）上に射影配置されて、横軸からの回転角が類似度指標を表し、データ間の円周距離又は円周角が類似度を表すことになり、類似性が高いものが近くに集まることになる。例えば、「研ぎ出し蒔絵」に関連するコンテンツの集合は第１象限の或る領域に集まり、作家「Ｍさん」に関連するコンテンツの集合は第４象限の或る領域に集まる。
【００２５】
図５に映像を類似度−時間軸表示に配置する例を示す。横軸に時系列順に配置するための時間軸をとり、縦軸を円環で表示し円周角を類似性に関連させたものである。このようにすると、各映像は第１主成分を横軸、第２主成分を縦軸とするグラフの円周角に応じてこの円環上に配置される。
【００２６】
円周上には類似性の順序に従って映像が並ぶ。必ずしも回転角の射影点に配置するのでなく、類似性の順序に従って近い順に並べるので、重なって配置されることはない。また、２以上の映像が同じ類似度、すなわち同じ角度上に併存する場合には、例えば第１主成分値が大きい方（従って第２主成分値も大きい）を近くに配置する、さらに、第１主成分値が等しい場合には、第３主成分が大きい方を近くに配置する等により順序を決めれば良い。したがって、アーカイブ映像の類似度指標によるコンテンツ環への配列順序は固定的に定まる。時間軸上には説明（ストーリー）の順序に従って映像が並ぶ。この場合も時間通りに配置するのではなく、ストーリー順に配置するので、重なって配置されることはない。
【００２７】
次に、アーカイブ情報データベース３に蓄積された多数の映像の中から目的とする映像を見出すには、通常の情報提供システムと同様に検索を行う。例えばキーワードの乗算を用いて検索を行い、ヒットした映像のリストを一覧表示し、その中から目的とする映像を特定し、抽出する。例えば、図２の映像を目的として「蒔絵」×「漆器」で検索を行い、一覧表示に、タイトル、著作者、著作日等を表示し、これらの中から該当すると思われるもの、或は適切と思われるものを抽出して、画面に表示する。これにより、目的とする映像を中心に横軸に時間的指標順に、縦軸に類似度指標順に、映像が十文字状に配置される。
【００２８】
アーカイブ映像の類似度指標によるコンテンツ環への配列順序は固定的に定まり、目的とする映像はコンテンツ環のいずれかに位置する。目的とする映像の近傍には当該映像に類似度指標が最も近い映像が類似度指標の順に並び、この順序も固定的に定まる。したがって、各アーカイブ映像を類似度指標順に指標順記憶手段７に記憶すると、目的とする映像の前後の所定数のデータを類似度指標順に取得するに際し、これらのデータを連続して読み出せるので、高速度の読み出しが可能になる。また、同じ表題（グループ）内ではアーカイブ映像をストーリー順に並べると時間指標順になり、この順序も固定的に定まるので、時間指標順に指標順記憶手段７に記憶すると、目的とする映像の前後の所定数のデータを時間指標順に取得するに際し、これらのデータを連続して読み出せるので、高速度の読み出しが可能になる。
【００２９】
図６に類似度−時間軸表示の配列例を示す。目的とする蒔絵を中心に縦軸、横軸上にサムネイルが配置される。横軸に注視しているアーカイブ映像（注目映像）と時間的に連続する映像が時間的指標の順序に配置され、縦軸には注視しているアーカイブ映像（注目映像）と内容的に類似する映像が類似度指標の順序に配置される。例えば、横軸を見ると、左から、説明者、小手箱、硯、硯の蓋に描かれた鶴の蒔絵、別の蒔絵の拡大図、なつめを納めた袋、袋から取り出したなつめが、説明者のストーリーの順序に表示されている。縦軸を見ると、蒔絵の技法の習得に関する内容のものが表示されている。
【００３０】
図７に、図６から時間軸上を１つ進めた類似度−時間軸表示の例を示す。別の蒔絵の拡大図が中心に配置され、時間軸上にあった映像が１つずつ左にずれて、右端に扉に描かれた蒔絵が新たに表示されている。縦軸を見ると、内容が全く変り、貝などを使った蒔絵に関する内容のものが表示されている。
【００３１】
図８に、図７からさらに時間軸上を辿った類似度−時間軸表示の例を示す。蒔絵が描かれたなつめが中心に配置され、時間軸上にあった映像が２つずつ左にずれて、右端側に説明者が新たに表示されている。縦軸を見ると、内容が全く変り、漆工芸の発展に関する内容（上側は服飾関係、下側は万年筆関係）のものが表示されている。
【００３２】
本実施の形態では、横軸に配置される映像はストーリーに属するものに限られる。他方、縦軸は全ての映像が類似度指標の順序で配置されており、横軸に配置された映像もこの円環のいづれかに存在する。しかし、類似度指標は各映像に固有の値を示すので、映像の配列順序は不変である。したがって、縦軸の表示は，注目映像を中心にして、円環（コンテンツ環）の中からその近傍にある部分が抽出されて表示されることになる。
【００３３】
ここで、縦軸で１つ上の映像を注目画像として選択すると、縦軸上の映像は１つずつ下に移る。この場合、横軸は同じストーリーに属する映像であれば、同じストーリーで新たな注目映像が中心になるように映像がずれて表示され、同じストーリーに属さない映像であれば、全く異なるストーリーの映像が配置される。
【００３４】
図９に第１の実施の形態における映像提供方法、すなわちアーカイブ映像提供方法の処理フロー例を示す。まず、表題毎にグループにまとめられた多数のアーカイブ映像をアーカイブ情報データベース３に蓄積する（映像蓄積工程：Ｓ００１）。次に、指標付与手段５において、各アーカイブ映像に時間的指標と内容の類似性を表す類似度指標を付与する（指標付与工程：Ｓ００２）。次に、映像抽出手段６において、アーカイブ情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を時間的指標の順に並べて所定数抽出し、注目映像に類似度指標が最も近い映像を類似度指標の順に並べて所定数抽出する（映像抽出工程：Ｓ００３）。映像抽出工程（Ｓ００３）は、指標順記憶手段７にアーカイブ映像をグループ毎に時間的指標順に記憶し、また、各アーカイブ映像又は各グループの代表映像を類似度指標順に記憶し（指標順記憶工程：Ｓ００５）、指標順データ抽出手段８において、指標順記憶工程（Ｓ００５）で記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶工程（Ｓ００５）で記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する（指標順データ抽出工程：Ｓ００６）。次に、映像表示手段４において、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する（映像表示工程：Ｓ００５）。
【００３５】
〔第２の実施の形態〕
第１の実施の形態はすべての映像について類似度指標を求める例を説明したが、第２の実施の形態では、映像を時系列データ（ストーリー）毎にグループ化し、１つの時系列データについては表紙映像などの代表映像について類似度指標を求める例を説明する。このようにすると、類似度指標を求めるための第１主成分−第２主成分グラフにプロットする映像の数を少なくできるので、表示画面に表示される映像の数を少なくでき、このため、多くのグループから目的とするグループの映像を探し易くなる。すなわち、各注目映像について、横軸の時系列映像は第１の実施の形態と同様に表示されるが、縦軸の類似度指標に基づいて縦軸上に配列される映像は、各グループの代表映像に限られ、第１の実施の形態に比して、「平均映像数／グループ」で除した数になり少なくなる。これにより、縦軸方向をサーチする場合は、多くのグループに早く辿りつき、グループ単位に探すのに便宜である。
【００３６】
また、代表映像として、表紙映像、先頭映像、特別に製作した映像などを選択できる。また、類似度指標を作成するための説明文として、例えば、映像グループのストーリーにかかる説明文、その中の１つの映像に係る説明文、グループの全ての映像の説明文を合成したもの、のいずれとしても良い。
【００３７】
〔第３の実施の形態〕
第１、第２の実施の形態では、表示画面に縦横十文字に配列する例を説明したが，第３の実施の形態では、中心に位置しない十文字上の映像をクリックした場合、その映像が横軸（時系列）上にあれば、その映像の上下に類似度指標に基づく映像が表示され、その映像が縦軸（類似）上にあれば、その映像の左右に時系列（ストーリー）を示す映像が表示される。そして、これら新たな帯上に表示された映像をクリックする（十文字上の映像については２度目のクリックになる）と、その映像が中心に移動する。このようにすると、表示画面の空きスペースを有効に利用して、十文字上にない映像を早くサーチできる。
【００３８】
〔第４の実施の形態〕
第１〜第３の実施の形態では、第１主成分と第２主成分で類似度指標を作成する例を説明したが、第４の実施の形態では、第１主成分と第３主成分、第１主成分と第４主成分、…で類似性の指標を作成する例を説明する。第１主成分は最も識別性の強い指標を示し、第２主成分は次に識別性の強い指標を示し、第３主成分は３番目に識別性の強い指標を示すと解釈されるので、第１主成分と第２主成分で類似性の指標を作成する場合に、最も明瞭な類似度指標を示すと解釈されるが、第１主成分と第３主成分、第１主成分と第４主成分類似性の指標を作成する場合には、第１主成分と第２主成分で類似性の指標を作成する場合にとは異なる角度で、しかも何らかの識別性を反映した類似度指標となり、その識別性とサーチする者の意図がうまく整合した場合には、目標の映像に早く到達できる可能性がある。また、第１主成分と組み合わせる主成分を選択可能に構成しても良い。
【００３９】
〔第５の実施の形態〕
第１〜第４の実施の形態では、アーカイブ情報データベース３が全体で１つのグループを構成する例を説明したが、第５の実施の形態では、アーカイブ情報データベース３を分野に応じて複数のグループに分割して構成する例である。例えば、グループを漆、藍染め、螺鈿等に分割して構成しても良い。このように構成すると、小グループ内でサーチでき、ノイズが少なくなり、専門分野に特化したサーチができる。
【００４０】
〔第６の実施の形態〕
例えば、アーカイブを、歴史と地理（文化の類似度）のようなもので整理する。表題を例えば、「蒔絵」、「輪島塗」、「景徳鎮」、「西陣織」等とする。時間軸を時代順とする。類似度指標を特異値分解に基づき、主成分分析を行うと、類似した文化の順に映像が整列するので、これにより、例えば、文化伝来の経路（例えば、陶器、衣類、書画などの伝来の経路）の順序に並び、歴史と文化を理解し易くなる可能性がある。
【００４１】
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
【００４２】
例えば、以上の実施の形態ではアーカイブ映像の静止映像を使用する例を説明したが、新作映像や動的映像にも本発明を適用可能である。また、以上の実施の形態では、データの特徴量として説明文中のキーワードの出現頻度を使用する例を説明したが、キーワードをシソーラスで整理し、同じシソーラスに属するものには類似ポイントでウエイト付けしても良い。また、以上の実施の形態では、時間的指標としてストーリー順を使用する例を説明したが、工程順としても良い。この場合は工程に則した説明が可能となる。また、時間軸−類似度表示の縦横を逆にしても良く、画面に表示する映像の数等を適宜変更可能である。
【産業上の利用可能性】
【００４３】
本発明は、アーカイブ映像等の映像提供に利用される。
【図面の簡単な説明】
【００４４】
【図１】第１の実施の形態における映像提供装置の構成例を示す図である。
【図２】映像とその説明文の例を示す図である。
【図３】映像とキーワードの関係を頻度で示す図である。
【図４】主成分分析による映像配置の例を示す図である。
【図５】映像を類似度−時間軸表示に配置する例を示す図である。
【図６】類似度−時間軸表示の配列例を示す図である。
【図７】図６から時間軸上を１つ進めた類似度−時間軸表示の例を示す図である。
【図８】図７からさらに時間軸上を辿った類似度−時間軸表示の例を示す図である。
【図９】第１の実施の形態における映像提供方法の処理フロー例を示す図である。
【符号の説明】
【００４５】
１ アーカイブ映像提供装置
２ 演算制御装置
３ アーカイブ情報データベース
４ 映像表示手段
５ 指標付与手段
６ 映像抽出手段
７ 指標順記憶手段
８ 指標順データ抽出手段
【特許請求の範囲】
【請求項１】
表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベースと；
各前記映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段と；
前記映像情報データベースから注目映像を抽出すると共に、前記注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、前記注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出手段と；
前記抽出された注目映像を中心に、前記所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、前記所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示手段とを備える；
映像提供装置。
【請求項２】
前記時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められる；
請求項１に記載の映像提供装置。
【請求項３】
前記類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各前記映像に係るプロット点の前記第１主成分軸に対する回転角により定められる；
請求項１又は請求項２に記載の映像提供装置。
【請求項４】
前記主成分分析は、前記映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする；
請求項３に記載の映像提供装置。
【請求項５】
前記映像抽出手段は、前記映像をグループ毎に時間的指標順に記憶し、各前記映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段と、前記指標順記憶手段に記憶された前記注目映像と同じグループ内の時間的指標順のデータから前記注目映像の前後の所定数のデータを取得し、前記指標順記憶手段に記憶された類似度指標順のデータから前記注目映像の前後の所定数のデータを取得する指標順データ抽出手段とを有する；
請求項１乃至請求項４のいずれか１項に記載の映像提供装置。
【請求項６】
表題毎にグループにまとめられた複数の映像を映像情報データベースに蓄積する映像蓄積工程と；
各前記映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与工程と；
前記映像情報データベースから注目映像を抽出すると共に、前記注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、前記注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出工程と；
前記抽出された注目映像を中心に、前記所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、前記所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示工程とを備える；
映像提供方法。
【請求項７】
前記時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められ；
前記類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各前記映像に係るプロット点の前記第１主成分軸に対する回転角により定められ；
前記主成分分析は、前記映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする；
請求項６に記載の映像提供方法。
【請求項８】
前記映抽出工程は、前記映像をグループ毎に時間的指標順に記憶し、また、前記映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶工程と、前記指標順記憶工程で記憶された前記注目映像と同じグループ内の時間的指標順のデータから前記注目映像の前後の所定数のデータを取得し、また、前記指標順記憶工程で記憶された類似度指標順のデータから前記注目映像の前後の所定数のデータを取得する指標順データ抽出工程とを有する；
請求項６又は請求項７に記載の映像提供方法。
【請求項１】
表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベースと；
各前記映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段と；
前記映像情報データベースから注目映像を抽出すると共に、前記注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、前記注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出手段と；
前記抽出された注目映像を中心に、前記所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、前記所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示手段とを備える；
映像提供装置。
【請求項２】
前記時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められる；
請求項１に記載の映像提供装置。
【請求項３】
前記類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各前記映像に係るプロット点の前記第１主成分軸に対する回転角により定められる；
請求項１又は請求項２に記載の映像提供装置。
【請求項４】
前記主成分分析は、前記映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする；
請求項３に記載の映像提供装置。
【請求項５】
前記映像抽出手段は、前記映像をグループ毎に時間的指標順に記憶し、各前記映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段と、前記指標順記憶手段に記憶された前記注目映像と同じグループ内の時間的指標順のデータから前記注目映像の前後の所定数のデータを取得し、前記指標順記憶手段に記憶された類似度指標順のデータから前記注目映像の前後の所定数のデータを取得する指標順データ抽出手段とを有する；
請求項１乃至請求項４のいずれか１項に記載の映像提供装置。
【請求項６】
表題毎にグループにまとめられた複数の映像を映像情報データベースに蓄積する映像蓄積工程と；
各前記映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与工程と；
前記映像情報データベースから注目映像を抽出すると共に、前記注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、前記注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出工程と；
前記抽出された注目映像を中心に、前記所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、前記所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示工程とを備える；
映像提供方法。
【請求項７】
前記時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められ；
前記類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各前記映像に係るプロット点の前記第１主成分軸に対する回転角により定められ；
前記主成分分析は、前記映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする；
請求項６に記載の映像提供方法。
【請求項８】
前記映抽出工程は、前記映像をグループ毎に時間的指標順に記憶し、また、前記映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶工程と、前記指標順記憶工程で記憶された前記注目映像と同じグループ内の時間的指標順のデータから前記注目映像の前後の所定数のデータを取得し、また、前記指標順記憶工程で記憶された類似度指標順のデータから前記注目映像の前後の所定数のデータを取得する指標順データ抽出工程とを有する；
請求項６又は請求項７に記載の映像提供方法。
【図１】
【図３】
【図９】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【図９】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２７２６５１（Ｐ２００７−２７２６５１Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９８６８６（Ｐ２００６−９８６８６）
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【Ｆターム（参考）】
[ Back to top ]