説明

索引コンテンツ生成装置および映像検索システム

【課題】複数の短編映像を同時に同じ画面上で再生する際に、映像検索上、効率的な画面構成とすることを図る。
【解決手段】サーバ装置10は、本編映像の概要を示す短編映像を同じ画面上で複数再生する索引コンテンツを生成する索引コンテンツ生成部16を備え、索引コンテンツ生成部16は、前記画面内の映像表示領域に設けられた複数の分割領域に対して分割領域ごとに各短編映像に対する見つけやすさの期待値を算出し、該期待値に基づいて各分割領域で再生する短編映像を決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、索引コンテンツ生成装置および映像検索システムに関する。
【背景技術】
【0002】
従来、視聴者が複数の映像の中から所望の映像を検索して視聴するために、本編映像の概要を示す短編映像を画面上で再生する映像検索システムが知られている。例えば非特許文献1では、複数の短編映像を連結した映像データを画面上で再生することにより複数の短編映像を順番に視聴者へ提示し、視聴者が再生中の短編映像を選択すると、該短編映像に対応する本編映像を該画面上で再生する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】上向俊晃、帆足啓一郎、松本一則、滝嶋康弘、“CGM動画像検索のための索引ビデオ生成手法に関する検討”、映像情報メディア学会冬季大会、pp.8-7、2008年12月
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述した非特許文献1では、短編映像を一つずつ順番に再生するので、視聴者は所望の映像が見つかるまで一つずつ短編映像を視聴しながら待たなければならない。この問題に対する一つの対処方法として複数の短編映像を同時に同じ画面上で再生することで検索時間を短縮することが考えられるが、画面サイズの制約があるので、同じ画面内で再生可能な短編映像数には限りがある。このため、複数の短編映像を同時に同じ画面上で再生する際に、どの短編映像を画面内のどの位置で再生するのかが重要となる。
【0005】
本発明は、このような事情を考慮してなされたもので、複数の短編映像を同時に同じ画面上で再生する際に、映像検索上、効率的な画面構成とすることができる、索引コンテンツ生成装置および映像検索システムを提供することを課題とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明に係る索引コンテンツ生成装置は、本編映像の概要を示す短編映像を同じ画面上で複数再生する索引コンテンツを生成する索引コンテンツ生成装置であり、前記画面内の映像表示領域に設けられた複数の分割領域に対して、分割領域ごとに各短編映像に対する見つけやすさの期待値を算出する期待値算出部を備え、該期待値に基づいて各分割領域で再生する短編映像を決定することを特徴とする。
【0007】
本発明に係る索引コンテンツ生成装置において、前記期待値算出部は、映像表示領域内の分割領域の総面積に対する期待値算出対象の分割領域の面積の割合に基づいて、前記期待値を算出することを特徴とする。
【0008】
本発明に係る索引コンテンツ生成装置において、前記期待値算出部は、各短編映像の優先度に基づいて前記期待値を算出することを特徴とする。
【0009】
本発明に係る索引コンテンツ生成装置においては、本編映像の再生時間長に対する短編映像の再生時間長の割合が小さいほど、当該短編映像の優先度を大きくする短編映像優先度決定部を備えたことを特徴とする。
【0010】
本発明に係る索引コンテンツ生成装置においては、本編映像の解像度に対する短編映像の解像度の割合が大きいほど、当該短編映像の優先度を大きくする短編映像優先度決定部を備えたことを特徴とする。
【0011】
本発明に係る索引コンテンツ生成装置において、前記短編映像優先度決定部は、短編映像の優先度を算出する際に、本編映像の供給元の種類ごとに設定された係数を使用して短編映像の優先度を算出することを特徴とする。
【0012】
本発明に係る索引コンテンツ生成装置においては、短編映像を分類する複数のクラスタを設け、前記期待値算出部は、クラスタ毎に、クラスタの再生順序による短編映像の見つけやすさに基づいて前記期待値を算出することを特徴とする。
【0013】
本発明に係る索引コンテンツ生成装置においては、一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する各短編映像の再生時間のうち最長の再生時間にすることを特徴とする。
【0014】
本発明に係る索引コンテンツ生成装置においては、一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する短編映像のうち優先度が最大である短編映像の再生時間の整数倍にすることを特徴とする。
【0015】
本発明に係る索引コンテンツ生成装置においては、一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する各短編映像の再生時間の最小公倍数にすることを特徴とする。
【0016】
本発明に係る映像検索システムは、上述のいずれかの索引コンテンツ生成装置と、前記索引コンテンツ生成装置が生成した索引コンテンツを画面上で再生する再生装置と、索引コンテンツに含まれる短編映像に対応する本編映像を取得するためのリンク操作情報を生成するリンク操作情報生成部と、リンク操作情報を用いて、短編映像に対応する本編映像を取得する操作を行うリンク操作連携部と、を備えたことを特徴とする。
【発明の効果】
【0017】
本発明によれば、複数の短編映像を同時に同じ画面上で再生する際に、映像検索上、効率的な画面構成とすることができるという効果が得られる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態に係る映像検索システムの構成を示すブロック図である。
【図2】図1に示すデータストレージ11,12,13,14に格納されるメタデータの構成例である。
【図3】図1に示す短編映像データストレージ22に格納されるメタデータの構成例である。
【図4】本発明の一実施形態に係る索引コンテンツ生成処理の全体的な流れを示すフローチャートである。
【図5】画面表示領域100と映像表示領域200の構成例である。
【図6】本発明の一実施形態に係る映像表示領域200の画面構成例である。
【図7】本発明の一実施形態に係る映像表示領域200の画面構成例である。
【図8】本発明の一実施形態に係る映像表示領域200の画面構成例である。
【発明を実施するための形態】
【0019】
以下、図面を参照し、本発明の実施形態について説明する。
図1は、本発明の一実施形態に係る映像検索システムの構成を示すブロック図である。図1において、映像検索システムは、サーバ装置10とクライアント装置30を備える。サーバ装置10とクライアント装置30とは通信回線で接続される。この通信回線は、無線回線であってもよく、又は、有線回線であってもよい。無線回線は、携帯電話網等の広域無線網の無線回線を利用してもよく、又は、近距離無線通信装置を用いた無線回線を利用してもよい。クライアント装置30は、据置き型の装置であってもよく、又は、携帯型の装置であってもよい。クライアント装置30は、例えば、携帯電話機であり、携帯電話回線を利用してサーバ装置10に接続するようにしてもよい。
【0020】
サーバ装置10は、本編映像データ及びメタデータを格納するデータストレージ11,12,13,14と、ストレージ連携部15と、索引コンテンツ生成部16と、索引コンテンツ送信部17と、短編映像優先度決定部18と、索引コンテンツ画面構成決定部19と、索引コンテンツ再生構成決定部20と、リンク操作情報生成部21と、短編映像データストレージ22とを有する。
【0021】
インターネット映像データストレージ11は、インターネット上で公開されている本編映像データを格納する。インターネット映像データストレージ11は、例えば、インターネット上で展開されている映像共有サービスなどが管理しているデータストレージであってもよく、又は、映像検索システムのユーザ(以下、単にユーザと称する)がインターネット上からユーザ所有のパーソナルコンピュータにダウンロードした映像データを蓄積したデータストレージであってもよい。
【0022】
携帯電話映像データストレージ12は、ユーザの携帯電話機内にあるデータストレージに蓄積された本編映像データを格納する。携帯電話映像データストレージ12は、例えば、ユーザが携帯電話機に搭載されたカメラで撮影した映像データを蓄積したデータストレージであってもよく、又は、ユーザが電子メールや携帯電話向けインターネットサイトから取得した映像データを蓄積したデータストレージであってもよい。携帯電話映像データストレージ12には、例えば、携帯電話機内のデータストレージに蓄積された本編映像データをバックアップするためにサーバ装置10へ転送されたものが格納される。
【0023】
テレビ映像データストレージ13は、テレビ放送された本編映像データを格納する。テレビ映像データストレージ13は、例えば、ユーザが録画機器で録画したテレビ放送の映像データを蓄積したデータストレージである。
カメラ映像データストレージ14は、ユーザがカメラを用いて撮影した本編映像データを格納する。
【0024】
図2は、各データストレージ11,12,13,14に格納されるメタデータの構成例である。データストレージ11,12,13,14は、本編映像データとともに、該本編映像データに付随するメタデータを格納する。このメタデータは、本編映像に関する情報であり、映像識別子(映像ID)、タイトル、再生時間、解像度(縦、横)、取得日時又は撮影日時又は録画日時、及び優先度を有する。さらに、インターネット映像に関するメタデータは本編映像データを取得したところのURL(Uniform Resource Locator)を有し、テレビ映像に関するメタデータは本編映像データに係る番組情報を取得できるURL(番組情報URL)を有する。優先度は、本編映像ごとに事前に付与された、本編映像に対する映像検索上の優先度である。
【0025】
なお、本編映像データ及びメタデータを格納するデータストレージは、図1に示す4種類に限定されず、各種のデータストレージを準備することが可能である。
【0026】
短編映像データストレージ22は、データストレージ11,12,13,14に格納される本編映像データの概要を示す短編映像データ及びメタデータを格納する。短編映像データは、例えば、本編映像データから部分的に抽出した映像データを用いて作成されてもよく、又は、予め短編映像用に作成されてもよい。
【0027】
図3は、短編映像データストレージ22に格納されるメタデータの構成例である。短編映像データストレージ22は、短編映像データとともに、該短編映像データに付随するメタデータを格納する。このメタデータは、短編映像に関する情報であり、映像識別子(映像ID)、当該短編映像に対応する本編映像データが格納されているデータストレージの識別子(本編映像ストレージ像ID)、再生時間、解像度(縦、横)、及び優先度を有する。この優先度は、短編映像ごとに、短編映像優先度決定部18によって決定される。
【0028】
ストレージ連携部15は、データストレージ11,12,13,14から本編映像のメタデータを取得して索引コンテンツ生成部16へ供給する。索引コンテンツ生成部16は、ストレージ連携部15から供給された本編映像のメタデータ、並びに短編映像データストレージ22に格納される短編映像データ及びメタデータを用いて、索引コンテンツを生成する。この索引コンテンツは、複数の短編映像を同時に同じ画面上で再生するように構成される。索引コンテンツ生成処理において、索引コンテンツ生成部16は、短編映像優先度決定部18、索引コンテンツ画面構成決定部19、索引コンテンツ再生構成決定部20及びリンク操作情報生成部21と連携する。索引コンテンツ送信部17は、索引コンテンツをクライアント装置30へ送信する。
【0029】
短編映像優先度決定部18は、本編映像のメタデータ及び短編映像のメタデータを用いて、短編映像の優先度を決定する。索引コンテンツ画面構成決定部19は、複数の短編映像を同時に同じ画面上で再生するときの画面内の配置を決定する。索引コンテンツ再生構成決定部20は、複数の短編映像を再生するときの再生スケジュールを決定する。リンク操作情報生成部21は、短編映像に対応する本編映像データを取得するための情報(リンク操作情報)を生成する。
【0030】
クライアント装置30は、索引コンテンツ受信部31と索引コンテンツ再生部32とリンク操作連携部33とを有する。索引コンテンツ受信部31は、サーバ装置10から索引コンテンツを受信する。索引コンテンツ再生部32は、索引コンテンツを画面上で再生する。リンク操作連携部33は、リンク操作情報を用いて、短編映像に対応する本編映像データを取得する操作を行う。
【0031】
次に、図4を参照して、図1に示す映像検索システムが索引コンテンツを生成する際の動作の全体的な流れを説明する。図4は本実施形態に係る索引コンテンツ生成処理の全体的な流れを示すフローチャートである。ステップS1では、ストレージ連携部15が、短編映像データストレージ22内の短編映像データに対応する本編映像のメタデータを、データストレージ11,12,13,14から取得して索引コンテンツ生成部16へ供給する。ステップS2では、メタデータの取得が終了したかを判断し、終了したらステップS3へ進む。
【0032】
ステップS3では、索引コンテンツ生成部16が本編映像のメタデータ及び短編映像のメタデータを短編映像優先度決定部18へ供給し、短編映像優先度決定部18が本編映像のメタデータ及び短編映像のメタデータを用いて短編映像の優先度を決定する。
【0033】
ステップS4では、索引コンテンツ画面構成決定部19が、索引コンテンツを再生するときの画面内の配置を決定する。ステップS5では、索引コンテンツ生成部16が、短編映像データストレージ22内の短編映像データをクラスタリングする。
【0034】
ステップS6,S7では、クラスタ毎に、索引コンテンツ再生構成決定部20が短編映像の再生スケジュールを決定し、リンク操作情報生成部21がリンク操作情報を生成する。ステップS8では、クラスタ毎の処理が終了したかを判断し、終了したらステップS9へ進む。ステップS9では、索引コンテンツ生成部16が、索引コンテンツを生成する。
【0035】
次に、本実施形態に係る索引コンテンツ生成に係る処理を順次詳細に説明する。
【0036】
[短編映像の優先度を決定する処理]
短編映像優先度決定部18は、本編映像のメタデータ及び短編映像のメタデータを用いて、短編映像の優先度(短編映像優先度)を決定する。この短編映像優先度決定処理では、短編映像データストレージ22内の全ての短編映像データに対して、それぞれの短編映像優先度を決定する。
【0037】
まず本実施形態に係る短編映像優先度を決定する際の方針を説明する。本編映像の再生時間長に対する短編映像の再生時間長の割合が小さいほど、本編映像の内容を端的に短い時間で短編映像により表現できていると考えられるので、より注目度の高い短編映像および本編映像であると言える。また、本編映像の解像度に対する短編映像の解像度の割合が大きいほど、本編映像の解像度のままで短編映像を見せたいという重要性があると考えられるので、より注目度の高い短編映像および本編映像であると言える。但し、短編映像の解像度が本編映像の解像度よりも大きくなることはないものとする。
【0038】
このような方針のもと、次の式(1)により短編映像優先度(Vs)を算出する。
Vs=d×Vo×(1÷Ptso)×Prso (1)
但し、Voは本編映像の優先度である。Ptsoは本編映像の再生時間(To)に対する短編映像の再生時間(Ts)の割合(Ts÷To)である。Prsoは本編映像の解像度(縦:Ror、横:Roc)に対する短編映像の解像度(縦:Rsr、横:Rsc))の割合((Rsr÷Ror)又は(Rsc÷Roc)の大きい方の値)である。dは、本編映像データが格納されるデータストレージ毎に設定される係数である。なお、本実施形態では、本編映像データがどこから供給されるかによって本編映像データを格納するデータストレージが異なっている。従って、dは本編映像データの供給元の種類ごとに設定されている。
【0039】
上記式(1)によれば、本編映像の優先度が高いほど、本編映像の再生時間長に対して短編映像の再生時間長が短いほど、本編映像の解像度に対して短編映像の解像度が変わらないほど、短編映像優先度が高くなる。
【0040】
なお、本実施形態では式(1)により短編映像優先度を算出するが、短編映像優先度の算出式は、上述の方針に基づいて、適宜、変更してもよい。
【0041】
又、本実施形態では、上記方針に基づいて短編映像優先度を算出するが、短編映像優先度を決定する方針は上記方針に限定されず、適宜、変更してもよい。例えば、本編映像の優先度をそのまま短編映像優先度にしてもよい。又、短編映像を作成した時に短編映像優先度を決定するようにしてもよい。
【0042】
[画面構成を決定する処理]
索引コンテンツ画面構成決定部19は、索引コンテンツを再生するときの画面内の配置を決定する。索引コンテンツは、複数の短編映像を同時に同じ画面上で再生するように構成される。従って、索引コンテンツ画面構成決定部19は、複数の短編映像を同時に同じ画面上で再生するときの画面内の配置を決定する。
【0043】
図5は、クライアント装置30が索引コンテンツを画面上で再生するときに再生映像を表示する画面の全体の表示領域(画面表示領域)100と、画面表示領域100内で映像を表示することができる領域(映像表示領域)200とを示す。図5において、映像表示領域200は、4つの座標(Xas,Yas),(Xas,Yae),(Xae,Yas),(Xae,Yae)で囲まれた矩形領域である。各座標値は、画面表示領域100上の一点(図5中の点で示す)を基準としたときの相対座標で表す。
【0044】
図6、図7、図8は、本実施形態に係る映像表示領域200の画面構成例である。図6において、映像表示領域200には、4個の分割領域201,202,203,204が設けられる。各分割領域201,202,203,204では、一つずつ短編映像が再生される。分割領域201,202,203,204のうち、分割領域201は面積が最大であり、他の分割領域202,203,204は面積が等しい。分割領域202,203,204は、分割領域201の下側に、横に並べて配置される。
【0045】
図7において、映像表示領域200には、11個の分割領域201〜211が設けられる。各分割領域201〜211では、一つずつ短編映像が再生される。分割領域201〜211のうち、分割領域201は面積が最大であり、他の分割領域202〜211は面積が等しい。分割領域202〜211は、分割領域201の両側に、5個ずつ縦に並べて配置される。
【0046】
図8において、映像表示領域200には、5個の分割領域201〜205が設けられる。各分割領域201〜205では、一つずつ短編映像が再生される。分割領域201〜205のうち、分割領域201は面積が最大であり、他の分割領域202〜205は順番に面積が小さくなる。分割領域202〜205は、分割領域201の下側に、横に並べて配置される。
【0047】
索引コンテンツ画面構成決定部19は、画面構成を特定するための入力情報を受け、該入力情報に従って、複数の画面構成の中から、索引コンテンツを再生するときの画面構成を選択する。例えば、図6、図7、図8の画面構成を選択候補としてクライアント装置30によりユーザに提示し、ユーザが選択した画面構成を示す情報を入力情報としてクライアント装置30からサーバ装置10へ送信する。そして、索引コンテンツ画面構成決定部19は、図6、図7、図8の画面構成の中から、該入力情報で示される画面構成を選択する。
【0048】
なお、映像表示領域200の画面構成例は、上記図6、図7、図8に限定されず、適宜、変更してもよい。
【0049】
[短編映像をクラスタリングする処理]
索引コンテンツ生成部16は、短編映像データストレージ22内の短編映像データをクラスタリングする。このクラスタリング処理では、短編映像データストレージ22内の全ての短編映像データを対象にしてクラスタリングを行う。本実施形態では、各短編映像に対する見つけやすさの期待値を設け、その期待値を最大にするクラスタを求めることによって各短編映像が属するクラスタを決定する。以下、具体的に説明する。
【0050】
短編映像データの総数をMとする。又、クラスタの総数(C:自然数)は予め設定される。そして、各クラスタに対してクラスタ番号(n:1からCまでの自然数)を付与しておく。クラスタ番号は、索引コンテンツを再生する際の再生順序を示す。従って、クラスタ番号が小さいクラスタから順番に再生される。又、一クラスタに属する短編映像数は、索引コンテンツ画面構成決定部19が決定した映像表示領域200内の分割領域数とする。従って、一クラスタに属する全短編映像が、映像表示領域200上で同時に再生される。又、映像表示領域200内の各分割領域に対して分割領域番号(q:1からQまでの自然数、Qは映像表示領域200内の分割領域の総数)を付与する。なお、クラスタ毎に、異なる分割領域構成の映像表示領域200を使用するようにしてもよい。
【0051】
第n番クラスタの第q番分割領域において、ある短編映像(映像ID=i)の期待値(E(n,q,i))を次の式(2)で定義する。
E(n,q,i)=E1×E2×E3 (2)
但し、E1は短編映像(映像ID=i)の短編映像優先度である。E1は短編映像優先度による短編映像(映像ID=i)の見つけやすさを表す。E2は次の式(3)で表される。E2は第n番クラスタの再生順序による短編映像(映像ID=i)の見つけやすさを表す。
E2=1−((クラスタ番号−1)÷C) (3)
E3は次の式(4)で表される。E3は映像表示領域200内での第q番分割領域による短編映像(映像ID=i)の見つけやすさを表す。
E3=(第q番分割領域の面積)÷(映像表示領域200内の分割領域の総面積) (4)
【0052】
索引コンテンツ生成部16は、まず第1番クラスタにおいて、分割領域(分割領域番号(q)が1からQまで)毎に、全短編映像(総数がM)について個個の期待値(E(1,q,i))を算出する。これにより、第1番クラスタにおいて、分割領域(分割領域番号(q)が1からQまで)毎に、M個の期待値(E(1,q,i))が算出される。次いで、索引コンテンツ生成部16は、分割領域(分割領域番号(q)が1からQまで)毎に、算出したM個の期待値(E(1,q,i))の中で最大の期待値(E(1,q,i))に対応する短編映像を第1番クラスタの当該分割領域に割り当てる。このとき、第q番分割領域に対して、最大の期待値(E(1,q,i))が複数存在する場合には、短編映像優先度が高いほうの短編映像を選択する、さらには、本編映像の優先度が高いほうの短編映像を選択する。これにより、第1番クラスタにおいて、Q個の分割領域(分割領域番号(q)が1からQまで)に対し、1つずつ短編映像が割り当てられる。第1番クラスタの第q番分割領域に割り当てられた短編映像は、第1番クラスタに係る映像表示領域200内の第q番分割領域で再生される。次いで、索引コンテンツ生成部16は、第1番クラスタに分類したQ個の短編映像を、クラスタリング対象から除外する。
【0053】
次いで、索引コンテンツ生成部16は、残りの(M−Q)個の短編映像を対象にして、第1番クラスタのときと同様に、第2番クラスタにおける期待値(E(2,q,i))の算出と、第2番クラスタにおける各分割領域への短編映像の割当とを行い、第2番クラスタに分類したQ個の短編映像をクラスタリング対象から除外する。以降、同様にして、クラスタ番号の昇順で、第C番クラスタまでのクラスタリングを行う。
【0054】
[再生構成を決定する処理]
索引コンテンツ再生構成決定部20は、クラスタ毎に、短編映像の再生スケジュールを決定する。この再生スケジュール決定処理について一クラスタ分を説明する。まず、クラスタの総再生時間(Tc)を決定する。クラスタの総再生時間(Tc)は、当該クラスタに属する各短編映像の再生時間のうち、最長の再生時間とする。
【0055】
次いで、当該クラスタに係る短編映像の再生スケジュールを作成する。この再生スケジュールにおいて、再生時間がクラスタの総再生時間(Tc)に等しい短編映像については、クラスタの再生開始と同時に短編映像の再生を開始し、クラスタの再生終了と同時に短編映像の再生を終了するように、スケジューリングする。一方、再生時間がクラスタの総再生時間(Tc)よりも短い短編映像については、クラスタの再生開始と同時に短編映像の再生を開始し、短編映像の再生が終了したら短編映像の初めから繰り返し再生し、クラスタの再生終了と同時に短編映像の再生を終了するように、スケジューリングする。
【0056】
なお、再生スケジュールの決定方法は、上記方法に限らず、適宜、変更してもよい。例えば、クラスタの総再生時間(Tc)は、当該クラスタに属する短編映像のうち、短編映像優先度が最大である短編映像の再生時間の整数倍としてもよい。この場合、短編映像優先度が最大である短編映像は、再生の途中で中断することがなくなる。又は、クラスタの総再生時間(Tc)は、当該クラスタに属す各短編映像の再生時間の最小公倍数としてもよい。この場合、全短編映像について、再生の途中で中断することがなくなる。
【0057】
[リンク操作情報を生成する処理]
リンク操作情報生成部21は、短編映像に対応する本編映像データを取得するためのリンク操作情報を生成する。このリンク操作情報生成処理として、以下に2つの例を説明する。
【0058】
(リンク操作情報生成処理の例1)
この例1では、ユーザがクライアント装置30により索引コンテンツを再生して複数の短編映像を同時に同じ画面上で視聴している最中に、再生中の短編映像に対応する本編映像を短編映像の再生を中断して視聴するためのリンク操作情報を生成する。
【0059】
このリンク操作情報には、再生中の特定の短編映像を選択するための短編映像選択部を映像表示領域200内に設ける機能と、各短編映像選択部に対応する本編映像データを取得する機能とを、クライアント装置30に設けるための情報を含める。短編映像選択部としては、例えば、映像表示領域200内の各分割領域に選択領域を設け、ユーザがマウス等のポインティングデバイスやカーソルの操作によって任意の選択領域を指定することができるようにする。又は、短編映像選択部として映像表示領域200内の各分割領域に分割領域番号を表示し、ユーザが数字キー等によって分割領域番号を入力することによって任意の短編映像選択部を指定することができるようにする。
【0060】
クライアント装置30のリンク操作連携部33は、リンク操作情報を用いて、短編映像に対応する本編映像データを取得する操作を行う。具体的には、短編映像選択部を映像表示領域200内に設け、ユーザによって指定された短編映像選択部に対応する本編映像データを取得する。これにより、ユーザが指定した短編映像選択部に対応する本編映像データが、短編映像の再生を中断して、映像表示領域200上で再生される。
【0061】
(リンク操作情報生成処理の例2)
この例2では、ユーザがクライアント装置30により再生中の索引コンテンツが全て再生し終わってから、本編映像を視聴するためのリンク操作情報を生成する。
【0062】
このリンク操作情報には、再生中の特定のクラスタを選択するためのクラスタ選択部を映像表示領域200内に設ける機能と、各クラスタ選択部に対応するクラスタに属する短編映像を特定する情報(例えば、映像IDのリスト、又は、映像表示領域200の画面キャプチャ)を記録する機能と、該記録を特定の短編映像を選択するための短編映像選択部とともにユーザの要求に応じて映像表示領域200に表示する機能と、各短編映像選択部に対応する本編映像データを取得する機能とを、クライアント装置30に設けるための情報を含める。短編映像選択部は、上記例1と同様である。
【0063】
クライアント装置30のリンク操作連携部33は、リンク操作情報を用いて、短編映像に対応する本編映像データを取得する操作を行う。具体的には、クラスタ選択部を映像表示領域200内に設け、ユーザによって指定されたクラスタ選択部に対応する映像IDのリスト又は映像表示領域200の画面キャプチャを記録する。そして、記録した映像IDリスト又は画面キャプチャを特定の短編映像を選択するための短編映像選択部とともにユーザの要求に応じて映像表示領域200に表示し、ユーザによって指定された短編映像選択部に対応する本編映像データを取得する。これにより、ユーザが指定した短編映像選択部に対応する本編映像データが、ユーザの要求に応じて映像表示領域200上で再生される。
【0064】
なお、本編映像データの再生は、クライアント装置30とは別の再生装置で行うようにしてもよい。
【0065】
[索引コンテンツを生成する処理]
索引コンテンツ生成部16は索引コンテンツを生成する。索引コンテンツには、クラスタ毎に分類された短編映像データの映像IDと、各クラスタに使用する映像表示領域200の画面構成を特定する画面構成情報と、各クラスタに使用する再生スケジュールと、リンク操作情報とを含める。
【0066】
クライアント装置30の索引コンテンツ再生部32は、サーバ装置10から受信した索引コンテンツに含まれる映像IDの短編映像データをサーバ装置10から取得する。そして、索引コンテンツ再生部32は、クラスタ番号の昇順でクラスタ毎に、画面構成情報及び再生スケジュールに基づいて映像表示領域200上で短編映像データを再生する。これにより、クラスタ番号の昇順でクラスタ毎に、再生スケジュールに従って、複数の短編映像が同時に同じ映像表示領域200の各分割領域上で再生される。
【0067】
上述した実施形態によれば、複数の短編映像を同時に同じ画面上で再生する際に、どの短編映像を画面内のどの位置で再生するのかを、各短編映像に対する見つけやすさの期待値に基づいて決定することができる。これにより、複数の短編映像を同時に同じ画面上で再生する際に、各短編映像がユーザに見つけられやすい状態で再生されるので、映像検索上、効率的な画面構成とすることができるようになる。
【0068】
又、同じ画面上で短編映像を再生すると、ユーザが1つの短編映像を見ている間に、他の短編映像を見逃してしまう恐れがある。しかし、本実施形態によれば、クラスタ毎に複数の短編映像を分類して再生するので、ユーザは、クラスタ単位で再生したりスキップしたりすることにより、見逃した短編映像を容易に発見することができる。
【0069】
又、ユーザは複数の短編映像を同時に同じ画面上で視聴することができるので、検索時間の短縮に寄与することができる。又、索引コンテンツの画面構成や再生構成に変化をつけることができるので、ユーザが索引コンテンツを楽しみながら検索することが期待できる。
【0070】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述した実施形態に係る映像検索システムは、専用のハードウェアにより実現されるものであってもよく、あるいはパーソナルコンピュータ等のコンピュータシステムにより構成され、図1に示される装置の各部の機能を実現するためのプログラムを実行することによりその機能を実現させるものであってもよい。
【0071】
また、その各装置には、周辺機器として入力装置、出力装置等(いずれも図示せず)が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスや、記録媒体からデータを読み出す読み出し装置等のことをいう。出力装置としては、例えば、CRT(Cathode Ray Tube)や液晶表示装置等の表示装置、記録媒体への記録装置、印字装置などが挙げられる。
また、上記周辺機器については、各装置に直接接続するものであってもよく、あるいは通信回線を介して接続するようにしてもよい。
【0072】
なお、上述した実施形態に係る映像検索システムは、様々な用途に利用することができる。例えば、近年、携帯電話機は、インターネットからの映像データのダウンロード及び視聴、テレビ放送の視聴など、映像データを扱うことができるようになっている。これにより、携帯電話機向けの映像検索システムが要望されるが、携帯電話機上で短編映像を視聴しながら検索することは煩雑であるため、できる限りユーザの負担を軽減することが望ましい。このような携帯電話機向けの映像検索システムとして、本実施形態に係る映像検索システムを適用すれば、ユーザがいち早く所望の短編映像を発見したり、短編映像を見返す頻度を減らしたりする効果が見込めるので、ユーザの負担軽減、検索時間の短縮、通信コストの削減などを図ることができる。
【0073】
又、各種の映像データストレージに蓄積される大量の映像データを対象にした映像検索システムに本実施形態に係る映像検索システムを適用するようにしても、映像検索上、効率的な画面構成を提供することができることから、検索時間の短縮等の効果が期待できる。
【符号の説明】
【0074】
10…サーバ装置、11,12,13,14…映像データストレージ、15…ストレージ連携部、16…索引コンテンツ生成部、17…索引コンテンツ送信部、18…短編映像優先度決定部、19…索引コンテンツ画面構成決定部、20…索引コンテンツ再生構成決定部、21…リンク操作情報生成部、22…短編映像データストレージ、30…クライアント装置、31…索引コンテンツ受信部、32…索引コンテンツ再生部、33…リンク操作連携部

【特許請求の範囲】
【請求項1】
本編映像の概要を示す短編映像を同じ画面上で複数再生する索引コンテンツを生成する索引コンテンツ生成装置であり、
前記画面内の映像表示領域に設けられた複数の分割領域に対して、分割領域ごとに各短編映像に対する見つけやすさの期待値を算出する期待値算出部を備え、
該期待値に基づいて各分割領域で再生する短編映像を決定することを特徴とする索引コンテンツ生成装置。
【請求項2】
前記期待値算出部は、映像表示領域内の分割領域の総面積に対する期待値算出対象の分割領域の面積の割合に基づいて、前記期待値を算出することを特徴とする請求項1に記載の索引コンテンツ生成装置。
【請求項3】
前記期待値算出部は、各短編映像の優先度に基づいて前記期待値を算出することを特徴とする請求項1又は2に記載の索引コンテンツ生成装置。
【請求項4】
本編映像の再生時間長に対する短編映像の再生時間長の割合が小さいほど、当該短編映像の優先度を大きくする短編映像優先度決定部を備えたことを特徴とする請求項3に記載の索引コンテンツ生成装置。
【請求項5】
本編映像の解像度に対する短編映像の解像度の割合が大きいほど、当該短編映像の優先度を大きくする短編映像優先度決定部を備えたことを特徴とする請求項3又は4に記載の索引コンテンツ生成装置。
【請求項6】
前記短編映像優先度決定部は、短編映像の優先度を算出する際に、本編映像の供給元の種類ごとに設定された係数を使用して短編映像の優先度を算出することを特徴とする請求項4又は5に記載の索引コンテンツ生成装置。
【請求項7】
短編映像を分類する複数のクラスタを設け、
前記期待値算出部は、クラスタ毎に、クラスタの再生順序による短編映像の見つけやすさに基づいて前記期待値を算出することを特徴とする請求項1から6のいずれか1項に記載の索引コンテンツ生成装置。
【請求項8】
一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、
前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する各短編映像の再生時間のうち最長の再生時間にすることを特徴とする請求項7に記載の索引コンテンツ生成装置。
【請求項9】
一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、
前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する短編映像のうち優先度が最大である短編映像の再生時間の整数倍にすることを特徴とする請求項7に記載の索引コンテンツ生成装置。
【請求項10】
一クラスタに分類された複数の短編映像を再生するときのスケジュールを各短編映像の再生時間に基づいて決定する索引コンテンツ再生構成決定部を備え、
前記索引コンテンツ再生構成決定部は、クラスタの総再生時間を、当該クラスタに属する各短編映像の再生時間の最小公倍数にすることを特徴とする請求項7に記載の索引コンテンツ生成装置。
【請求項11】
請求項1から10のいずれか1項に記載の索引コンテンツ生成装置と、
前記索引コンテンツ生成装置が生成した索引コンテンツを画面上で再生する再生装置と、
索引コンテンツに含まれる短編映像に対応する本編映像を取得するためのリンク操作情報を生成するリンク操作情報生成部と、
リンク操作情報を用いて、短編映像に対応する本編映像を取得する操作を行うリンク操作連携部と、
を備えたことを特徴とする映像検索システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2011−217036(P2011−217036A)
【公開日】平成23年10月27日(2011.10.27)
【国際特許分類】
【出願番号】特願2010−81893(P2010−81893)
【出願日】平成22年3月31日(2010.3.31)
【出願人】(000208891)KDDI株式会社 (2,700)
【Fターム(参考)】