映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
【課題】 個々人が録画・ダウンロード・制作した映像を特定し、特定され映像の時刻の同期をとってコメントを共有し、コミュニケーションを可能にする。
【解決手段】 本発明は、ユーザによって選択されたコミュニケーションを行う映像を取得し、その映像を特定するための映像識別子を算出し、映像間の時間的な同期を取る同期箇所識別子を算出し、指定された視聴・コメントする映像時間を取得し、指定された映像時間を、映像識別子、同期箇所識別子を用いて表現し、ユーザにより入力されたコメントを取得し、そのコメントと該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積し、映像仮想時間を用いて、取得した映像時間に関連するコメント情報を記憶手段から取得し、表示手段に表示する。
【解決手段】 本発明は、ユーザによって選択されたコミュニケーションを行う映像を取得し、その映像を特定するための映像識別子を算出し、映像間の時間的な同期を取る同期箇所識別子を算出し、指定された視聴・コメントする映像時間を取得し、指定された映像時間を、映像識別子、同期箇所識別子を用いて表現し、ユーザにより入力されたコメントを取得し、そのコメントと該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積し、映像仮想時間を用いて、取得した映像時間に関連するコメント情報を記憶手段から取得し、表示手段に表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体に係り、特に、映像を介したコミュニケーション方法において、ユーザが視聴している映像とその場所を映像に付与された識別子を用いて特定することで、個々のユーザが保有する不特定の映像間において、コミュニケーションが可能となる、映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体に関する。
【背景技術】
【0002】
近年、ネットワーク上で行われるユーザ間のコミュニケーションにおいて、映像を介したコミュニケーション方法が注目を集めている。
【0003】
例えば、複数のユーザが特定のTV番組(例では、サッカー番組)を同時視聴しつつ、ネットワーク上の掲示板でリアルタイムにコメントを書きあうことでコミュニケーションを図る方法がある(例えば、非特許文献1参照)。同時刻に同番組を見なければならない制約があるが、まるで家族と共にTV番組を見るかのごとく、遠く離れたユーザとその時の感動を共有しながらコミュニケーションを図ることができるため、特に生放送番組において利用価値が高い。このようなコミュニケーション方法は、「ユーザのいる場所を選ばない」というネットワークの特性を活かした方法であると言える。
【0004】
一方、上記のような「リアルタイムのTV映像」と「ネットワーク上の掲示板」という異なるメディアを組み合わせたコミュニケーション方法から一歩踏み込んで、映像を介したコミュニケーションを、ネットワーク上で一元的に図る方法も利用されつつある。例えば、映像配信サーバから配信される映像とユーザが入力したコメントを同期して蓄積・表示するシステムである。このシステムでは、ユーザの映像視聴に合わせて、映像上の時間に関連付けられたDB上のコメントを次々とユーザ側に同期表示する。また、映像視聴中に入力されたコメントを、入力された映像上の時間と関連付けてDB上に蓄積し、映像の同時刻を視聴しているユーザに同期表示する。ユーザは映像を視聴しつつ、刻々と変化する映像上の時間に関連付けられた他ユーザのコメントを順次閲覧し、また、コメントを入力して他のユーザに意見を提示することで、映像を介して相互にコミュニケーションを図っていく。このシステムを用いたコミュニケーションの方法の特徴は、「ユーザの場所を選ばない」ことと共に、「ユーザがコミュニケーションする時間を選ばない」ことと言える。映像とコメントはサーバ側に蓄積されているため、ユーザはサーバに接続すれば何時でも映像とコメントを閲覧でき、コメントを入力できる。リアルタイム性を要求するコミュニケーション方法では、映像とコメントの内容が刻々と変化していくため、過去のコメントに対してコメントすることはコミュニケーションの流れを阻止するため限度がある。しかし、上記のようなシステムを用いた場合、例えば、1週間前に入力されたコメントに対してコメントができるため、ユーザは時間的な制約がより緩いコミュニケーションを図ることができる(例えば、非特許文献2参照)。
【非特許文献1】http://soccer.pos.to/
【非特許文献2】山田一穂、宮川和、森本正志、児島治彦“映像の構造情報を活用した視聴者間コミュニケーション方法の提案”情報処理学会研究報告グループウェアとネットワークサービス、No.43-007,2001
【発明の開示】
【発明が解決しようとする課題】
【0005】
近年、パーソナルコンピュータ(PC)の性能向上に伴い、個々人で不特定の映像をPC上に蓄積し、所有するユーザが増えつつある。反面、上記のような従来の技術では、映像とコメントの同期表示を行うために、ユーザが視聴している映像とその場所を特定できるよう、一元的にそれらを管理している。そのためユーザは、配信サーバから配信される映像や公開先からダウンロード可能な映像などの特定の映像を利用しなければならず、個人的に保有する不特定な映像についてコミュニケーションを図りたいとしても、対象の映像がシステム上で一元的に管理されない限りコミュニケーションができない。
【0006】
このような問題は、ユーザの映像をサーバ側に登録する方法を用いて回避できる。しかし、ほんの数人で共有したい映像などもすべて登録されるため、サーバ側には非常に大きな設備投資コストや映像配信による負荷を強いることになる。
【0007】
また、上記の問題は著作権などにも絡み、個人視聴目的を逸脱するような利用は不可能なため、全ての不特定の映像についてサーバ側に登録し、公開するような方法は現実的ではない。よって、個々人が保有する映像を公開することなくその映像に対するコメント情報のみを共有する必要がある。
【0008】
しかし、個々人が保有する映像は、個々人の嗜好に合わせて部分的にカットするなどの編集が行われている可能性があり、「どの映像のどの部分に対するコメントであるのか」を特定しなければ、ある映像について統一的にコミュニケーションを図ることが難しい。
【0009】
本発明は、上記の点に鑑みなされたもので、映像を介したコミュニケーションを行う状況において、ユーザが視聴している映像と基準点となる場所を映像に付与された識別子を用いて特定することで、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間において従来のようなコミュニケーションが可能となる映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0010】
図1は、本発明の原理構成図である。
【0011】
本発明(請求項1)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段103と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手段104と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段105と、
ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手段107と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段108と、
ユーザにより入力されたコメントを取得するコメント情報入力手段109と、
コメントと映像仮想時間算出手段108で算出された該コメントが入力された映像仮想時間を関連付けてコメント情報・映像仮想時間データベース111に蓄積するコメント情報・映像仮想時間蓄積手段110と、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報をコメント情報・映像仮想時間データベース111から取得するコメント情報取得手段112と、
コメント情報取得手段112で取得されたコメント情報を表示手段に表示するコメント情報表示手段113と、を有する。
【0012】
本発明では、これらの手段を用いることで、個々のユーザが保有する映像において、例えば、部分的な編集(カット)を行ったり、異なるエンコード方式の映像であったり、あるいは本放送と再放送を録画したりした場合でも、映像識別子を用いることで、同一の映像であることを判定でき、また、同期箇所識別子及び映像仮想時間を用いることでコメントが入力された映像時間を適切に算出できるため、上記に挙げたような映像であってもユーザ間で問題なくコミュニケーションを行うことが可能となる。
【0013】
また、本発明(請求項2)は、同期箇所識別子算出手段105において、
同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。
【0014】
また、本発明(請求項3)は、映像識別子算出手段104において、映像識別子を算出する際に、映像特徴量を用いる。
【0015】
また、本発明(請求項4)は、コメント情報取得手段112は、
コメント情報・映像仮想時間蓄積手段において、コメント情報・映像仮想時間データベース111に蓄積されたコメント情報を併用して、コメント情報を取得する。
【0016】
図2は、本発明の原理を説明するための図である。
【0017】
本発明(請求項5)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置における映像コメント入力・表示方法であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手順(ステップ1)と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手順(ステップ2)と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手順(ステップ3)と、
ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手順(ステップ4)と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手順(ステップ5)と、
ユーザにより入力されたコメントを取得するコメント情報入力手順(ステップ6)と、
コメントと映像仮想時間算出手順(ステップ5)で算出された該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積するコメント情報・映像仮想時間蓄積手順(ステップ7)と、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報を記憶手段から取得するコメント情報取得手順(ステップ8)と、
コメント情報取得手順で取得されたコメント情報を表示手段に表示するコメント情報表示手順(ステップ9)と、を行う。
【0018】
これらの手順を行うことにより、まず、映像識別子を用いることでコミュニケーション対象となる映像を特定できる。映像識別子は部分的に編集された映像やTV放送における本放送映像・再放送映像、異なるエンコード方式の映像などにおいて、元となる映像ソースが同一であることを判別するための識別子である。次に、同期箇所識別子、映像仮想時間を用いることで、現在視聴中の映像上の時間を特定できる。例えば、設定時間の不備により途中から録画してしまったTV映像や編集などが行われた映像において、映像ファイル上に記録されている時間が異なる場合でも、同期箇所識別子、映像仮想時間を用いることで部分的な欠落などに影響されない映像上の時間が特定されると共に、映像時間と関連付けられたコメントを取得できる。そのため、編集などが行われた映像においても適切な箇所にコメントを入力でき、また、表示できる。
【0019】
よって、これらの手順を踏まえてコメントを入力・表示すれば、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間で適切にコメントを共有でき、スムーズにユーザ間のコミュニケーションが図られる。
【0020】
また、本発明(請求項6)は、同期箇所識別子算出手順において、
同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。
【0021】
当該請求項のように、同期箇所識別子を算出する際に、映像の画像特徴量から同期箇所を算出することにより、例えば、過去に蓄積・編集がなされた映像において同期箇所を巧く算出できない場合、カット点などの画像特徴量を利用することにより同期箇所を特定できるため、様々な映像において適切なコメントの表示・入力が可能となる。
【0022】
また、本発明(請求項7)は、映像識別子算出手順において、映像識別子を算出する際に、映像特徴量を用いる。
【0023】
当該請求項のように、映像識別子を算出する際に、映像全体から算出される映像特徴量から映像識別子を算出ことにより、例えば、複数の映像を繋ぎ合わせて編集した映像においても、それぞれの編集箇所毎に映像特徴量を算出し、映像識別子を求めることで、個々の部分映像を特定でき、複雑な編集が行われた映像を用いてのコミュニケーションが可能となる。
【0024】
また、本発明(請求項8)は、コメント情報取得手順において、コメント情報・映像仮想時間蓄積手順において、記憶手段に蓄積されたコメント情報を併用して、コメント情報を取得する。
【0025】
当該請求項のように、蓄積されたコメント情報を併用してコメント情報を取得することにより、映像識別子や同期箇所識別子によって特定されるコメント情報に曖昧性が存在した場合、例えば、指定された映像仮想区間に関連すると既に判定されたコメントに対する返信コメントは同様に映像仮想時間に関連するコメントであると判断できるため、より正確にコメントを取得でき、安定したコミュニケーションが可能となる。
【0026】
本発明(請求項9)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できるサーバ装置とクライアント装置からなる映像コメント入力・表示システムであって、
クライアント装置は、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手段と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手段と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
ユーザにより入力されたコメントを取得するコメント情報入力手段と、
コメントと映像仮想時間算出手順で算出された該コメントが入力された映像仮想時間を関連付けてサーバ装置に送信するコメント情報・映像仮想時間転送手段と、
サーバ装置から受信したコメント情報を表示手段に表示するコメント情報表示手段と、を有し、
サーバ装置は、
クライアント装置から受信したコメントと該コメントが入力された映像仮想時間が関連付けられた情報を蓄積するコメント情報・映像仮想時間データベースと、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報をコメント情報・映像仮想時間データベースから取得し、クライアント装置に送信するコメント情報取得手段と、を有する。
【0027】
また、本発明(請求項10)は、請求項9の映像コメント入力・表示システムのクライアント装置の同期箇所識別子算出手段において、同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。
【0028】
また、本発明(請求項11)は、請求項9または10の映像コメント入力・表示システムのクライアント装置の映像識別子算出手段において、映像識別子を算出する際に、映像特徴量を用いる。
【0029】
また、本発明(請求項12)は、請求項9の映像コメント入力・表示システムのサーバ装置のコメント情報取得手段は、コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、コメント情報を取得する。
【0030】
本発明(請求項13)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムであって、
請求項5乃至8記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムである。
【0031】
本発明(請求項14)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムを格納した記憶媒体であって、
請求項5乃至8記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムを格納した記憶媒体である。
【発明の効果】
【0032】
上記のように、本発明によれば、ネットワーク上で映像を介したコミュニケーションを行う場合において、個々のユーザが映像を保有している場合でも、同一内容の映像を持つユーザ間でコメントのみを共有して閲覧、あるいは、書き込みを行うことができるため、従来の方法に比べて広範な映像を対象としてコミュニケーションを図ることができる。
【発明を実施するための最良の形態】
【0033】
以下、図面と共に本発明の実施の形態を説明する。
【0034】
以降の本発明の実施の形態の説明中、映像(映像コンテンツ)は、映像情報と音情報を含むコンテンツに限定されることなく、少なくとも画像情報を含むあらゆるコンテンツを映像と呼ぶ。
【0035】
また、コメントは、文字情報に限定されることなく、Web上のコンテンツを指し示すURLや感情を表現する画像など、コミュニケーションを図る上で利用可能な情報を含むものとする。
【0036】
[第1の実施の形態]
本実施の形態における映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。
【0037】
説明の簡便化のため、本実施の形態において、ユーザが蓄積する映像とは、個々人が録画するTV放送映像や知人からネットワーク等を通じて配布されたホームビデオなどを対象としているが、本実施の形態では、それらに限定されるものではない。
【0038】
図3は、本発明の第1の実施の形態のシステム構成図である。
【0039】
同図に示す映像コメント入力・表示システムは、複数台のクライアント装置1とサーバ装置2を含む。クライアント装置1とサーバ装置2は、例えば、インターネットのようなネットワーク(図示せず)を介して接続される。クライアント装置1は複数台存在するが、説明の簡略化のため、以下では1台のクライアント装置1について説明する。
【0040】
クライアント装置1は、放送映像やホームビデオなどを蓄積する映像蓄積手段101、映像蓄積手段101によって得られる映像を蓄積する映像DB102、映像DB102に蓄積された映像群から視聴したい映像を選択する映像選択手段103、映像選択手段103によって選択された映像から映像を識別するために用いる映像識別子を算出する映像識別子算出手段104、各ユーザが持つ同一内容の映像間で同期を取るための同期箇所識別子を算出する同期箇所識別子算出手段105、映像選択手段103により選択された映像を映像DB102より取り出して表示する映像再生手段106、映像選択手段103によって選択された映像内で他ユーザとのコミュニケーションを行いたい映像内時刻を指定する映像時間指定手段107、映像時間指定手段107によって指定された映像時間を映像識別子及び同期箇所識別子を用いて表現する映像仮想時間算出手段108、映像時間指定手段107によって指定された映像時間上にユーザのコメント入力を可能とするコメント情報入力手段109、映像仮想時間算出手段108によって算出された映像仮想時間とコメント情報入力手段109によって入力されたコメントを関連付けて、サーバ装置2が有するコメント情報・映像仮想時間DB111に蓄積するコメント情報・映像仮想時間蓄積手段110、サーバ装置2から取得したコメントを画面上に出力するコメント情報表示手段113から構成される。
【0041】
また、サーバ装置2は、コメント情報・映像仮想時間DB111と、クライアント装置1の映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得するコメント情報取得手段112から構成される。
【0042】
なお、本実施の形態は、請求項1、5,9を実施した場合の具体例である。
【0043】
クライアント装置1の映像蓄積手段101自体は、本発明を構成する要素ではないが、本実施の形態を説明する上で利用する。この手段の例としては、例えば、TVチューナ内蔵型ビデオエンコーダボードを搭載したPC、HDDレコーダ、家庭用ビデオカメラなどが挙げられる。これらの映像蓄積手段101は、録画した時刻、チャンネル、iEPG(Internet Electronic Program Guide)(登録商標)による番組情報など、映像に付随する情報を蓄積する場合が一般的である。また、TVCMの自動カットや映像の必要な部分だけを抜き出す、簡易な映像編集機能が備わっている場合も多い。本実施の形態における映像蓄積手段101は、映像だけでなく、これらの映像情報・編集情報も蓄積するものとする。
【0044】
クライアント装置1の映像DB102は、上記の映像蓄積手段101によって得られる映像を蓄積する。映像DB102も本発明を構成する上で必須な要素ではないが、本実施の形態を説明する上で利用する。この手段に該当するものは、例えば、PC内のHDD、HDDレコーダ内のHDD、ハンディカム(登録商標)に挿入されているビデオテープなどが挙げられる。
【0045】
以下の上記のクライアント装置1とサーバ装置2の各構成要素について動作順に説明する。
【0046】
(1)映像蓄積手段101は、上記映像蓄積手段101で述べたように、映像だけではなく、映像に付随する映像情報、その映像を編集した履歴である編集情報も蓄積する。
【0047】
(2)クライアント装置1の映像選択手段103は、映像DB102に蓄積された映像群から視聴したい映像をユーザに選択させる。映像選択手段103については例示しないが、蓄積された映像のタイトルやファイル名、録画日時などを列挙して一覧したリスト内から映像を選択するなど、ファイルセレクタのような簡便なインタフェースで実装できる。ユーザは映像選択インタフェースを用いて、映像で102内に蓄積された映像をユーザに選択させる。これにより、映像選択手段103は、選択された映像を映像識別子算出手段104に転送する。
【0048】
(3)クライアント装置1の映像識別子算出手段104は、映像選択手段103によって選択された映像から映像を識別するために用いる映像識別子を算出する。
【0049】
映像識別子は、同一内容の映像であることを識別する識別子であるから、TV映像の場合の単純な例としては、「映像を録画した時刻+チャンネル」という情報を用いればよい。
このような単純な情報においても、同チャネルの同時間帯のTV番組を録画したユーザ間で映像の同一性が保たれる。また、場合によっては、映像ID発行センタなど、同一の番組であることを保証するサービスを併設して一意なIDを取得することもできる。
【0050】
本実施の形態で用いる映像識別子は、各ユーザによって映像の録画状態が異なる場合を想定して算出する。即ち、録画する機器、映像のエンコード形式やビットレート、編集の有無や放送地域(チャンネル)、放送時間の違い、本放送・再放送などに依らず映像内容に基づいて判別できるよう、例えば、録画時に取得されるiEPG(登録商標)情報内の番組タイトル・サブタイトルなどを利用する。また、撮影した映像を友人関係者にコピー・配布して利用する等、家庭用ホームビデオなどを想定する場合、その映像を録画した機器のシリアル番号(機器によって一意に特定されるID)や録画した時刻、場所などの情報を用いて映像を特定する。
【0051】
これらの情報のいずれを用いるかについては、例えば、映像蓄積手段101において映像を蓄積した方法(TV放送を受信して録画した場合と、家庭用ビデオカメラで撮影した場合)によって自動選択する方法や、ユーザによって選択させる方法などがある。本実施の形態では、前者を用い、放送映像の場合は番組タイトル・サブタイトル、個人撮影映像の場合は撮影機器のシリアル番号・撮影時刻から一意の識別符号を算出して映像識別子として用いる(例えば、該情報を文字列データとして扱い、MD5などの一方向関数を用いて算出する)。
【0052】
(4)クライアント装置1の動機箇所識別子算出手段105は、各ユーザの持つ同一内容の映像間で同期を取るための同期箇所識別子を算出する。
【0053】
同期箇所識別子の単純な算出方法としては、映像の先頭時刻を同期箇所とする方法が考えられる。この方法は、同一内容の映像を保有するユーザが、映像に対してまったく編集作業を行っていないことを前提とする場合に適用できる。例えば、TV映像の場合、同チャンネルの同時間帯の番組映像を未編集で利用するユーザ間での同期が可能になる。
【0054】
本実施の形態における同期箇所識別子は、上記の制限を緩和するため、映像DB102上に蓄積された映像情報・編集情報を用いる。本実施の形態における同期箇所識別子とその算出方法について、図4を用いて説明する。
【0055】
図4は、本発明の第1の実施の形態における映像DB102上に蓄積された映像に係る映像情報、編集情報との関連を表す模式図である。同図の例では、何等かの理由により放送時刻から少し遅れて録画された後、ユーザによって部分的にカット編集されたTV放送映像を例とする。
【0056】
「映像DB102上に蓄積された映像A」は、図4にあるように映像区間b(開始時刻t0)、映像区間d(開始時刻t1)…からなるが、録画が遅れたため本来あるべき映像と比べて欠損部分があり、また、編集による削除箇所がある。
【0057】
映像情報及び編集情報を用いて映像Aを復元したものが、「各情報を用いて再現される元映像A」である。映像情報(例えばiEPG(登録商標)による番組開始時刻)を用いて欠損部分を仮想的に補完し、また、編集情報からカットされた映像部分を再現する。
【0058】
このように再現された元映像Aから、同一の映像を録画した他のユーザと同期を取るための情報を算出する。具体的には、元映像Aの番組開始時刻を基準として、各映像区間までの相対時間を算出する。相対時間の算出は図4から明らかなように容易である。
【0059】
これらの相対時刻と映像DB102に蓄積された映像A内の時刻を対応させることで、同期箇所識別子が図4のように算出される。これにより、映像A内の時刻t0は、元映像Aにおける基準時刻からの相対時刻T0であり、同様に、時刻t1は相対時刻T1、時刻t2は相対時刻T2…であると判別できるため、異なる時刻から録画を始めたユーザや異なる編集を行ったユーザ間で、相対時刻Tnを用いた同期が可能になる。
【0060】
図4は、録画が遅れた部分が削除されたTV放送映像を例としたが、録画が早まった場合や、映像の挿入などが行われた映像についても同様の仕組みを用いて容易に同期箇所識別子が算出できる。また、ホームビデオなどの映像においても、元映像の先頭時刻を基準にした相対時間を用いることで算出が可能である。これらの例については類推が容易であるため説明を省略する。
【0061】
(5)クライアント装置1の映像再生手段106は、上記映像選択手段103においてユーザにより選択された映像を、映像DB102より取り出し表示する。映像再生手段106の画面表示例を図5に示す。本実施の形態の映像再生手段106は、映像選択手段103によって選択された映像を表示すると共に、再生制御ボタン中の早送り・巻き戻しボタンやスライダインタフェースなどによって、映像内の所定の時刻へ容易にアクセス可能なインタフェースも備える。
【0062】
(6)クライアント装置1の映像時間指定手段107は、上記の映像選択手段103によって選択された映像内で他ユーザとのコミュニケーションを行いたい映像内時刻をユーザに指定させる。
【0063】
映像内時刻を指定させる方法としては、例えば、図5に示す再生制御ボタンの早送り・巻き戻しボタンやスライダインタフェースなどを用いる直感的な方法や指摘時刻を数値入力する方法などが挙げられ、映像再生手段106と機能を共有できる。
【0064】
また、映像再生手段106において、再生中に映像時刻を逐次取得する方法も挙げられる。ユーザが任意に指定するのではなく、映像再生手段106が自動的に映像内時刻を指定していることになるため、ユーザはより簡便に本実施の形態におけるシステムを利用できる。本実施の形態では、映像再生手段016が蓄積映像内時刻を取得する方法を採用するものとする。
【0065】
(7)クライアント装置1の映像仮想時間算出手段108は、上記の映像時間指定手段107によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。
【0066】
算出される映像仮想時間は、編集などが行われた映像ファイル上の時間ではなく、映像情報や編集情報から復元される元映像上の時間のことである。映像仮想時間を用いることで、編集等の行為に関わらず、他ユーザと同期可能な時間を得ることができる。
【0067】
映像仮想時間とその算出方法について、図6を用いて説明する。図6は、図4で用いた映像Aを用いているものとする。
【0068】
今、ユーザが映像時間指定手段107によって指定した時間をtmとする。同期箇所識別子算出手段105によって算出された同期箇所識別子(図4参照)から、tmは、tmより以前の同期箇所識別子中の同期時刻t1より相対的にtd進んだ時間であると容易に算出される。よって再現された元映像A上の時間tiは、同期箇所識別子中のt1と同欄にある相対時刻T1を用いることで、ti=T1+tdであると直ちに算出される。
【0069】
映像識別子算出手段104によって算出された映像Aの映像識別子をmID(A)とすると、最終的にtmから算出される映像仮想時間は、映像識別子mID(A)及び同期時間tiからなるTiで表される。
【0070】
上記の手順により、映像時間指定手段107によって指定された時間tmは、映像仮想時間Tiによって映像識別子及び該映像内の基準時刻からの相対時間として表現できるため、他ユーザと同期可能な統一的な時間として表現される。
【0071】
(8)クライアント装置1のコメント情報入力手段109は、映像時間指定手段107によって指定された映像時間上にユーザのコメント入力を可能とする。コメントの入力には一般的なテキスト入力インタフェースを用いることで容易に実装できるため、ここでは例示しない。
【0072】
また、本実施の形態で扱うコメント情報とは、ユーザの意見を表すコメント本文と共に、ユーザIDや入力時刻などの付加情報を総称してコメント情報という。
【0073】
クライアント装置1のコメント情報・映像仮想時間蓄積手段110は、上記映像仮想時間算出手段108によって算出された映像仮想時間と上記コメント情報入力手段109によって入力されたコメントを関連付けて、サーバ装置2が有するコメント情報・映像仮想時間DB111に蓄積する。
【0074】
コメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例を図7に示す。本実施の形態においてコメント情報は、コメントを入力したユーザのIDであるuID(n)と入力されたコメント本文cmt(n)からなる。また、映像仮想時間は、映像識別子mID(n)と同期時間t(n)からなる。これらは関係付けられているとしてct(n)としてコメント情報・映像仮想時間DB111上で管理される。
【0075】
(10)サーバ装置2のコメント情報取得手段112は、クライアント装置1上の映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。
【0076】
コメント情報を取得する単純な方法としては、コメント情報・映像仮想時間DB111上のエントリ内で映像仮想時間を合致するものを検索すればよい。あるいは、映像仮想時間は映像時間上の一点を指しており、その時間に対して正確に一致するコメントを入力することは難しいため、映像仮想時間算出手段108によって算出された映像仮想時間に対して一定の幅を持たせ、その範囲内にあるコメントを取得してもよい。幅の持たせ方はシステムで静的に定義してもよいし、ユーザに選択させるなど動的に決定してもよい。本実施の形態では、映像仮想時間算出手段108によって算出された映像仮想時間から前10秒以内に入力されたコメント情報を取得するものとする。
【0077】
(11)クライアント装置1のコメント情報表示手段113は、コメント情報取得手段112によって取得されたコメントを画面上に出力する。コメント情報表示手段113は、取得されたコメント情報のうち全て、あるいは、いずれかをユーザ側に提示する。また、いくつかのコメント情報から生成される新たな情報(例えば、入力したユーザの性別によって切り替え表示される画像など)を提示してもよい。
【0078】
本実施の形態によって実現されるシステムの画面表示結果例を図8に示す。
【0079】
映像再生手段106によって映像再生中に取得される映像時間が逐次映像仮想時間に変換され、コメント情報表示手段113によって該映像仮想時間に関連するコメント情報が画面上に表示される。映像の再生進度によって映像仮想時間も逐次更新されるため、映像の再生に合わせてコメント情報も切り替わり、映像の、まさにその時入力されたコメントを閲覧できる。また、コメント情報入力手段109を用いることで、該当映像仮想時間を閲覧するユーザにコメントを提示でき、相互にコミュニケーションが図られる。
【0080】
以上のような手段を用いることで、本発明の第1の実施の形態によれば、映像識別子によって個々人が持つ映像の同一性を判定でき、同期箇所識別子及び映像仮想時間によって映像内で指定される時間を映像間で統一的に表現できるため、映像のある時間に対してユーザ間で共有可能なコメントの表示・入力ができる。よって、ユーザ個々人が持つ映像解像度、フォーマット、編集箇所等が異なる映像間であってもコミュニケーションが可能となる。
【0081】
[第2の実施の形態]
本発明の第2の実施の形態による映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントをサーバ装置上で共有することで、他のユーザのコメントを見たり、あるいは書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。
【0082】
本実施の形態において、ユーザ個々人が蓄積する映像は、第1の実施の形態と異なり、蓄積後に本システム以外で編集が試された映像を想定する。すなわち、第1の実施例において、同期箇所識別子を算出する際に用いた編集情報が存在しない場合である。PCのビデオエンコーダボードには市販の映像編集ソフトが付属されている場合が多く、こういった状況は容易に想定される。
【0083】
本発明の第2の実施の形態におけるシステム構成は、第1の実施の形態と変わらないため、図3を参照しながら説明する。また、本実施の形態は、第1の実施の形態とは同期箇所識別子算出手段105で算出される同期箇所識別子以外の点でなんら異ならないため、同期箇所識別子に関わる手段以外についての説明は省略する。
【0084】
なお、本実施の形態は、請求項1、2,5,6,9,10を実施した場合の具体例を示している。
【0085】
クライアント装置1上の映像蓄積手段101、映像DB102、映像選択手段103及び映像識別子算出手段104については、第1の実施の形態と変わらないため説明を省略する。
【0086】
以下、図3に示す各構成要素について、動作順に説明する。
【0087】
(1)クライアント装置1の同期箇所識別子算出手段105は、各ユーザが持つ同一内容の映像間で同期をとるための同期箇所識別子を算出する。
【0088】
本実施の形態で用いる同期箇所識別子は、第1の実施の形態とは異なり編集情報から算出できないため、映像から取り出される映像特徴量を用いて算出する。
【0089】
映像特徴量とは、画面上の色情報や場面の切り替わり点、カメラワーク、撮影されている物体、文字、発話内容、発話者や音楽の認識結果など、映像上の物理的、あるいは意味的な特徴を示す情報であり、映像管理や映像検索などの分野で広く扱われる情報である。
【0090】
映像特徴量は既知の映像解析技術を用いて取得できる。例えば、場面の切り替わり点やテロップ表示区間などに関しては、特許第2839132号広報、特開平9−238298号広報、及び、特開平11−178007号広報などに記載されており、それ以外の特徴量についても様々な研究が為されている。
【0091】
本実施例における同期箇所識別子とその算出方法について、図9を用いて説明する。
【0092】
1)まず、映像Aから既存技術を用いてカット点(場面切り替わり点)を検出し、カット点によって映像を区間に分割する。この例では、t0から始まる映像区間b及びt1から始まる映像区間d…となる。
【0093】
2)次に各映像区間における代表画像を求める。代表画像の求め方としては、各区間の先頭フレームから数フレーム目(場面変化後に安定したと思われるフレーム)の画像を取得する。
【0094】
3)次に、取り出された各代表画像から色ヒストグラムを求め、該色特徴量と映像区間の時間長を各映像区間における代表的な映像特徴量とする。
【0095】
このようにして取り出された映像特徴量は各映像区間を特徴付けるものであるから、ある映像において特徴量を指定すれば、それが映像内のどの区間に該当するのか判定できる。すなわち、ユーザが視聴している映像区間とコメントを同期させるには、映像区間に関連付けられた映像特徴量を用いればよい。但し、例えば、TV放送番組内で同じCMが複数回放送される場合なども想定されるため、一つの特徴量から複数の区間が対応してしまう場合もあり得る。
【0096】
よって、本実施の形態では、各映像区間に対して、該区間から算出される映像特徴量と、該映像内での映像特徴量の順序付きの集合、及び該集合内における該映像特徴量の位置を同期箇所識別子とする。映像特徴量の順序付きの集合とその位置も識別子とすることで、上記で懸念されるような同期箇所特定時の曖昧性を無くす。具体的な同期箇所識別子の使用方法については後述する。
【0097】
なお、本実施の形態における映像特徴量ではカット点や色ヒストグラムなどを用いているが、例えば、「番組のオープニング」というような意味的な区間を用いて映像区間を特定してもよいし、各区間の特徴量として、カメラワークや区間内に映る物体の形状、認識された文字列など、より精度よく映像区間を特定できる映像特徴量を複合的に用いてもよい。
【0098】
(2)クライアント装置1上の映像再生手段106及び映像時間指定手段107については、第1の実施の形態と同様であるため、説明を省略する。
【0099】
(3)クライアント装置1の映像仮想時間算出手段108は、映像時間指定手段107によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。
【0100】
本実施の形態における映像仮想時間について、図10を用いて説明する。
【0101】
映像時間指定手段107によって指定された映像時間tmは、同期箇所識別子算出手段105によって算出された同期箇所識別子によって、映像区間内における相対時刻として表現される。すなわち、tmは、tmを含む映像区間(図では映像区間d)の同期時刻t1からの相対時間をtdとした場合、tm=t1+tdとして表される。
【0102】
t1は、映像A内における映像区間dの同期箇所識別子の先頭時刻であるから、最終的に映像仮想時間Tiは、映像識別子mID(A)、該同期箇所識別子及び相対時間tdによって図のように表現される。映像を特定する映像識別子と映像特徴量によって映像区間を特定する同期箇所識別子、該映像区間の先頭からの相対時間により、映像仮想時間は、他のユーザが同期可能な時間表現となる。
【0103】
(4)クライアント装置1のコメント情報入力手段109については、第1の実施の形態と同様であるので、説明は省略する。
【0104】
(5)クライアント装置1のコメント情報・映像仮想時間蓄積手段110は、映像仮想時間算出手段108によって算出された映像仮想時間とコメント情報入力手段109によって入力されたコメントを関連付けて、サーバ装置2が有するコメント情報・映像仮想時間DB111に蓄積する。
【0105】
コメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例を図11に示す。本実施の形態において、コメント情報は、コメントを入力したユーザのIDであるuID(n)と入力されたコメント本文cmt(n)からなる。また、映像仮想時間は、映像識別子mID(n)、同期箇所識別子の構成要素である同期時刻t(n)、映像特徴量f(n)、映像特徴量の順序付き集合F(n)、F(n)内におけるf(n)の位置p(n)、相対時間td(n)によって表され、これらは関係付けられてct(n)としてコメント情報・映像仮想時間DB111上で管理される。
【0106】
(6)サーバ装置2のコメント情報取得手段112は、クライアント装置1上の映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。
【0107】
本実施の形態におけるコメント情報の取得方法について図12を用いて説明する。
【0108】
まず、同一映像の同一映像区間内の特定時間に入力されたと思われるコメント情報の候補を取得する。
【0109】
ステップ11) まず、クライアント装置1の映像仮想時間算出手段108によって算出された映像仮想時間を定義する。すなわち、映像仮想時間ct(x)は、映像識別子mID(x)、同期時刻t(x)、映像特徴量f(x)、映像特徴量集合F(x)、F(x)内におけるf(x)の位置p(x)、相対時間td(x)からなるとする。
【0110】
ステップ12) サーバ装置2のコメント情報・映像仮想時間DB111内から、映像識別子がmID(x)と一致するコメント情報・映像仮想時間の集合S(x)を取得する。これにより、同一映像内のコメント情報が絞り込まれる。
【0111】
ステップ13) 上記集合S(x)内から、映像特徴量がf(x)に類似するコメント情報・映像仮想時間の部分集合S’(x)を取得する。映像特徴量は、映像の解像度や映像フォーマット、映像作成時のフィルタ設定などに依存して、同一の元映像であっても映像ファイルごとに微妙に異なる値となる。そのため、本実施の形態では、映像特徴量間の類似性によって、同一の映像区間であるかを判定する。
【0112】
映像特徴量の類似性判定には、例えば、画像内の色ヒストグラムを用いている場合、色ヒストグラム内の各色要素の値を持つn次元上の点として表現し、各点間のユークリッド距離によって判別する方法などが考えられる。すなわち、ct(x)における映像特徴量f(x)を(cx(1),cx(2),…,cn(N))とし、S’(x)内のあるコメント・映像仮想時間ct(a)における映像特徴量f(a)を(ca(1),…,ca(n))とした場合、類似度sim(X,A)は以下の式で求められる。
【0113】
【数1】
映像特徴量間で類似性が高いほどsim(X,A)の値は「0」に近づくため、ある閾値以下となる映像特徴量f(a)を持つコメント情報・映像仮想時間ct(a)をS‘’(x)の要素とすればよい。
【0114】
なお、本実施の形態では、説明の簡略化のために色ヒストグラムにおける簡単な類似度計算方法を説明したが、実施の形態によっては様々な特徴量における類似度計算方法が適用できる。類似度計算方法ついては様々な既存技術が存在するため説明は省略する。
【0115】
ステップ14)上記集合S’(x)内から、相対時間がtd(x)と同一とみなされるコメント情報・映像仮想時間の部分集合S’’(x)を取得する。相対時間を同一とみなすには、S’(x)内のあるコメント・映像仮想時間ct(i)における相対時間td(i)とtd(x)が正確に一致するか判定してもよいし、第1の実施の形態でも述べたように、td(x)からみて一定の範囲内にあるtd(i)を同一とみなしてもよい。本実施の形態では、td(x)より10秒前からtd(x)までの範囲内にあるtd(i)を同一とみなすこととする。
【0116】
上記のステップで取得されたS’’(x)は、同一映像の同一映像区間内の特定時間に入力されたと思われるコメント情報の候補である。これらの候補は、ある映像特徴量によって映像区間が一意に決定できる場合、同一映像上の同一時間に入力されたものと判断できる。しかしTV番組内のTVCMのように、同一映像内で同一内容の映像区間が複数存在している場合、意図しない映像区間(同一の映像特徴量を持つ異なる区間)に付与されたものである可能性がある。
【0117】
そこで、次からのステップとして、候補内から映像仮想時間が正確に一致するコメント情報を絞り込む。
【0118】
ステップ15)まず、絞込みを行うための初期化処理を行う。具体的には、S’’(x)内のコメント情報・映像仮想時間をct(i)とし、S’’(x)内のct(i)の総数をnとする。また、ステップ16以降で用いるインデックスiを「0」とする。また、最終的な結果を保持するコメント・映像仮想時間集合R(x)を空集合とする。
【0119】
ステップ16) インデックスiの判定を行う。iの値が総数nより小さい場合はステップ17以降の処理を進める。また、iがn以上の場合は全てのct(i)に対して処理を行ったことになるため、処理を終了する。
【0120】
ステップ17) ct(i)の各要素を定義する。ct(i)の映像識別子をmID(i)、同期時刻t(i)、映像特徴量f(i)、映像特徴量集合F(i)、F(i)内におけるf(i)の位置p(i)、相対時間td(i)とする。
【0121】
ステップ18)ct(x)とct(i)が持つ映像特徴量の順序付き集合F(x)及びF(i)について、集合内の各映像特徴量の対応処理を行う。
【0122】
F(x)及びF(i)は、各ユーザが保有する映像から算出されるものである。よって、ユーザ毎に映像編集作業が行われていた場合、F(x)及びF(i)は異なる要素列を持つ。本ステップでの処理は、これら異なる要素列を比較し、F(x)内の要素がF(i)内のどの要素に対応するかを判定するものである。
【0123】
本実施の形態では、要素列間の対応関係を調べる方法について特に限定はしないが、一般的な方法としては、DPマッチングが挙げられる。DPマッチングは、ある要素列に対して挿入・削除を行いながら、他の要素列との対応関係を効率よく探索する手法である。音声認識において音素列と言語モデルとの対応を調べたり、DNAの研究において塩基配列間の類似性を調べたりなど、様々な分野で用いられるアルゴリズムであり、詳細についてはここでは述べない。
【0124】
また、「特願2002−130746」にある手法も挙げられる。当該手法は、映像特徴量の算出には誤検出があり得ること、映像の解像度やフォーマットによって特徴量に誤差あることを配慮して、映像間の特徴量列を対応させながら類似度を算出することに特徴がある。当該手法を応用することで、映像特徴量における誤検出や誤差を考慮した対応関係が求められる。
【0125】
図13は、これらの手法を用いてF(x)及びF(i)における要素列間の対応関係を模式的に表した図である。F(x)及びF(i)は相互に編集部分や欠損部分が存在するため、F(x)における2番目の要素がF(i)における2番目の要素に対応するとは限らないが、本ステップの処理によって、F(x)における要素F(x)_nがF(i)におけるどの要素に対応するか算出される。
【0126】
ステップ19)ステップ18の対応結果とp(x)及びp(i)から、f(x)とf(i)が対応しているかを判定し、対応している場合は最終結果の集合R(x)にct(i)を加える。
【0127】
図14は、ステップ19の処理を模式的に表した図である。すでに述べたようにF(x)及び、F(i)は異なる要素列であるが、ステップ18によって要素間が対応付けられているため、p(x)及びp(i)から簡単にf(x)とf(i)の対応を調べられる。すなわち、映像仮想時間算出手段108によって算出された映像仮想時間ct(x)とコメント情報・映像仮想時間DB111上のあるエントリct(i)が同一時間であるか判定できる。
【0128】
ステップ20)インデックスiに1を足し、ステップ16に戻る。
【0129】
上記の処理ステップによって得られたR(x)からコメント情報を取り出すことにより、サーバ装置2のコメント情報取得手段112は、映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から該映像仮想時間に関するコメント情報を取得できる。
【0130】
(7)クライアント装置1上のコメント情報表示手段113については、第1の実施の形態と変わらないため説明は省略する。
【0131】
以上のような手段を用いることで、本発明の第2の実施の形態によれば、映像識別子によって個々人が持つ映像の同一性を判定でき、同期箇所識別子及び映像仮想時間によって映像内で指定される時間を映像間で統一的に表現できるため、映像のある時間に対してユーザ間で共有可能なコメントの表示・入力ができる。よって、ユーザ個々人が持つ映像解像度、フォーマット、編集箇所等が異なる映像間であってもコミュニケーションが可能となる。
【0132】
また、請求項2、6,10記載の同期箇所識別子算出手段(手順)を用いることで、第1の実施例とは異なる状況、すなわちシステム外部で映像編集処理が為された映像においても、映像特徴量を用いて同期箇所を算出することにより、ある映像時間に関連付けられたコメント情報を取得でき、また、入力できる。よって、第1の実施の形態と比較してより広範囲な映像間でのコミュニケーションが可能になる。
【0133】
[第3の実施の形態]
本発明の第3の実施の形態による映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントをサーバ上で共有することで、他のユーザのコメントを見たり、あるいは書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。
【0134】
本実施の形態において、ユーザ個々人が蓄積する映像は、第1、第2の実施の形態とは異なり、iEPG(登録商標)などから取得されるタイトル・サブタイトルなどの映像情報や編集情報などが存在しない映像を想定する。例えば、過去にビデオデッキで録画した映像を映像ファイル化して本システムに適応する場合などが考えられる。
【0135】
本発明の第3の実施の形態におけるシステム構成は、第1の実施の形態と同様であるため、図3を参照しながら説明する。また、本実施の形態は、第1の実施の形態とは映像識別子算出手段104、同期箇所識別子算出手段105及びコメント情報・映像仮想時間蓄積手段110で算出・蓄積される、映像識別子、同期箇所識別子、コメント情報・映像仮想時間以外の点で何ら異ならないため、上記識別子及び情報に関わる手段以外についての説明は省略する。
【0136】
なお、本実施の形態では、請求項1〜12を実施した場合の具体例を示している。
【0137】
クライアント装置1上の映像蓄積手段101、映像DB102、映像選択手段103については、第1の実施の形態と同様であるため説明を省略する。
【0138】
クライアント装置1の映像識別子算出手段104は、映像選択手段103によって選択された映像から映像を識別するために用いる映像識別子を算出する。
【0139】
本実施の形態における映像識別子算出手段104は、第1、第2の実施の形態とは異なり、映像蓄積時に映像情報が存在しない。そのため、一意に映像を特定できる別の識別子が必要となる。
【0140】
本実施の形態では、これに映像特徴量を用いる。第2の実施の形態で説明したように、映像特徴量は映像上の物理的、あるいは意味的な特徴を示す情報であり、映像特徴量を用いた類似映像検索手法は様々に研究されている。
【0141】
本実施例においては、第2の実施の形態で用いた映像特徴量の順序付き集合を映像識別子として用いる。すなわち、映像間の同一性を判定する場合に、映像特徴量の順序付き集合を比較してその類似性を判定する。具体的な同一性の判定方法については、コメント情報取得手段112において別途説明する。
【0142】
本実施の形態における映像識別子の例を図15に示す。
【0143】
クライアント装置1の同期箇所識別子算出手段105は、各ユーザが持つ同一内容を映像間で同期を取るための同期箇所識別子を算出する。
【0144】
本実施の形態における同期箇所識別子は、第2の実施の形態と同様に映像特徴量を用いて算出する。算出方法については、第2の実施の形態において説明したので、ここでは省略する。
【0145】
クライアント装置1上の映像再生手段106及び映像時間指定手段107については、第1の実施の形態と同様であるので、説明は省略する。
【0146】
クライアント装置1の映像仮想時間算出手段108は、映像時間指定手段107によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。
【0147】
本実施の形態における映像仮想時間は、第2の実施の形態と同様であり、構成要素は、図10に示す通りであるが、映像識別子mID(A)が映像特徴量の順序付き集合であることが第2の実施の形態と異なる。
【0148】
クライアント装置1上のコメント情報入力手段109については、基本的に第1の実施の形態で述べた通りであるが、本実施の形態では、指定したコメントに対してレス(レスポンス、返信)を行うコメントも入力できるものとする。
【0149】
掲示板などの一般的なコミュニケーション手段では、あるコメントに対してレス(レスポンス、返信)を行うコメントを入力する機能が備わっている。レスを行うことで、どのコメントがどのコメントに対して述べられたものなのか容易に理解できるため、特に議論などを行う場合に効果が高い。以下、本実施の形態において、「親コメント」とはレスが行われたコメントを指し、「子コメント」とはレスを行うコメントを指す。
【0150】
クライアント装置1のコメント情報・映像仮想時間蓄積手段110は、上記映像仮想時間算出手段108によって算出された映像仮想時間と上記コメント情報入力手段109によって入力されたコメントを関連付けて、サーバ装置2が有するコメント情報・映像仮想時間DB111に蓄積する。
【0151】
コメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例を図16に示す。
【0152】
本実施の形態では、コメント情報の一つとして親コメントを示すpID(i)を持つ。pID(i)、は、ID(i)のコメントがレスを行った親コメントを指し、具体的には親コメントのIDであるct(p)を指す。もし親コメントを持たないコメントであった場合は、pID(i)をnull等にすることで、どのコメントがどのコメントに対してレスを行ったものであるか容易に判定できるようになる。
【0153】
それ以外の点については、第2の実施の形態と変わらないため説明を省略する。
【0154】
サーバ装置2は、クライアント装置1上の映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。コメント情報取得手段112を有する。
【0155】
本実施の形態におけるコメント情報の取得方法について、図17を用いて説明する。
【0156】
ステップ111)まず、映像仮想時間算出手段108によって算出された映像仮想時間を定義する。すなわち映像仮想時間ct(x)、は、映像識別子mID(x)、同期時刻t(x)、映像特徴量f(x)、映像特徴量集合F(x)、F(x)内におけるf(x)の位置p(x)、相対時間td(x)からなるとする。
【0157】
ステップ112) コメント情報・映像仮想時間DB111に関する初期化処理を行う。具体的には、コメント情報・映像仮想時間DB111内のコメント情報・映像仮想時間の集合をCT、その要素数nとし、各要素をct(i)とする。また、最終的な結果を保持するコメント・映像仮想時間集合R(x)を空集合とする。
【0158】
ステップ113) 処理終了判定を行う。CT内に要素が残っている場合はステップ114以降の処理を進める。また、CTの要素数nが「0」以下の場合は、全てのct(i)に対して処理を行ったことになるため、処理を終了する。
【0159】
ステップ114) ct(i)の各要素を定義する。ct(i)の映像識別子をmID(i)、同期時刻t(i)、映像特徴量f(i)、映像特徴量集合F(i)、F(i)内におけるf(i)の位置p(i)、相対時間td(i)、親コメントiD pID(i)とする。
【0160】
ステップ115) 映像識別子mID(x)とmID(i)との類似度Sim(mID(x),mID(i))を算出する。本実施の形態において、mID(x)とmID(i)は共に映像特徴量の順序付き集合であるから、順序を考慮しながら各要素間を比較して、類似する要素を互いに多く含む場合に類似した映像であると判定する。具体的な方法について、図17に示す。
【0161】
1)まず、第2の実施の形態で述べたように、DPマッチングなどを用いて要素列間の対応付けを行う。
【0162】
2)次に、対応付けられているF(x)及びF(i)内の要素をそれぞれfx(i),fi(j)としてその総数をmとし、要素間の類似度sim(fx(j),fi(j))を個別に計算してその平均値を計算し、F(x)における総要素数n(x)に対する対応要素数na(x)の逆数、及びF(i)における総要素数n(i)に対する対応要素数na(i)の逆数をかけた値を計算する。これをF(x)とF(i)の類似度sim(mID(x),mID(i))とする。具体的には以下の式になる。なお、要素間の類似度は類似性が高いほど小さな値になるものとする。
【0163】
【数2】
この式は、対応要素の類似度が高く、映像に対する対応要素数が多いほど小さな値となる。対応要素数na(x)及びna(i)を考慮するのは、映像の同一性における曖昧性を考慮するためである。例えば、図18に示すように、確かに一致する部分の類似性は高いかもしれないが、別の映像の断片である映像を同一の映像であると判定してしまう可能性がある。この曖昧性を解消するため、本計算方法では、映像全体としてどの程度要素が対応するかを類似性に含め、取得されるコメントに矛盾が生じないようにする。
【0164】
ステップ116)sim(F(x),F(i))に対してある閾値以下のものを類似した映像とする。閾値はシステムで静的に決定したり、DBに登録された映像識別子から、より効率的に同一性を判断できるように動的に決定してもよい。類似していると判定される場合には、ステップ117に移行し、そうでない場合は、次のct(i)について処理を行うよう、ステップ113に戻る。
【0165】
ステップ117)コメントが入力された区間における映像特徴量f(x)及びf(i)の類似度sim(f(x),f(i))を求める。類似度の算出方法については、第2の実施の形態に詳細を述べたため、ここでは省略する。
【0166】
ステップ118)同一映像区間に対してコメントされているコメント情報・映像仮想時間を選別するため、sim(f(x),f(i))に対してある閾値以下であるかを判定する。閾値以下である場合はステップ119に進み、そうでない場合はステップ113へ戻る。
【0167】
ステップ119)相対時間td(x)及びtd(i)が同一時刻であるかを判定する。判定方法は第2の実施の形態で述べたためここでは省略する。同一時刻である場合は、ステップ120に進み、そうでない場合はステップ113に戻る。
【0168】
ステップ120)ステップ119までの処理で選別されたコメント情報・映像仮想時間の中から正確に映像仮想時間の一致するコメント情報を絞り込むため、まず、映像特徴量の順序付き集合F(x)及びF(i)について、集合内の各映像特徴量の対応処理を行う。対応方法については第2の実施の形態に述べたため省略する。
【0169】
ステップ121)コメント情報・映像仮想時間の集合CTからct(i)を削除して、ステップ120の対応結果とp(x)及びp(i)が対応しているかを判定する。対応している場合は最終結果の集合R(x)にct(i)を加える。判定方法については、第2の実施の形態に述べたためここでは省略する。
【0170】
ステップ122) pID(i)を再帰的に調べ、ct(i)の親コメントct(p)がCTに含まれている場合、CTからct(p)を削除してR(x)に加える。
【0171】
ステップ123)CT内に残っている各ct(n)についてct(n)の親コメントを示すpID(n)を再帰的に調べ、ct(i)を含んでいるかを調べる。ct(i)を含んでいる場合はCTからct(n)を削除してR(x)にct(n)を加える。
【0172】
ステップ112及びステップ123の処理によって、もし親コメントが指定時間と関連したコメントである場合に、その親・子コメントも取得できる。映像特徴量を用いた映像識別や同期箇所識別は、用いる特徴量やノイズによって巧く識別できない可能性がある。親コメントと子コメントが存在するようなコミュニケーションでは、あるコメントをフォローする子コメントが表示されないことで文脈が崩れ、相互にコミュニケーションを図ることが難しくなる恐れがある。ステップ122、及びステップ123はこれを防ぐ。
【0173】
ステップ124)CT内の要素総数nを再計算してステップ113へ戻る。
【0174】
以上のような処理ステップを経ることにより、コメント・映像仮想時間集合R(x)には、同一と判定される映像内において同一映像区間に対して入力されたコメント情報・映像仮想時間の組が保持される。
【0175】
クライアント装置1上のコメント情報表示手段113については、第1の実施の形態と変わらないため説明は省略する。
【0176】
以上のような手段を用いることで、本発明の第3の実施の形態によれば、まず、請求項3,7,11記載の映像識別子算出手段(手順)を用いることで、第1、第2の実施例とは異なる状況、すなわち、過去に録画・撮影された映像においても、映像特徴量を用いて映像識別子によって映像の同一性を評価できる。
【0177】
また、請求項2,6,10記載の同期箇所識別子算出手段(手順)を用いることで、第1の実施の形態とは異なる状況、すなわち、システム外部で映像編集処理が為された映像においても、映像特徴量を用いて同期箇所を算出することにより、ある映像時間に関連付けられたコメント情報を取得でき、また、入力できる。
【0178】
また、請求項4,8,12記載のコメント情報取得手段(手順)を用いることで、映像識別子、同期箇所識別子、映像仮想時間に依らず、コメント情報を元に関連性のあるコメントも取得できるため、コメント間の係り受け関係などに破綻をきたすことなく、コメントの提示が可能となる。よって、第1、第2の実施の形態と比較して、請求項1,5,9記載の映像コメント入力・表示方法において、より広範は映像を対象としたユーザ間のコミュニケーションを図ることが可能になる。
【0179】
また、上記では、クライアント装置1、サーバス装置2からなるシステムに基づいて説明したが、クライアント装置、サーバ装置に依らず、1つの装置として構成してもよい。
【0180】
なお、上記の第1、第2、第3の実施の形態の各構成要素の動作をプログラムとして構築し、描画装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることも可能である。
【0181】
また、構築されたプログラムを描画装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、CD−ROM等の可搬記憶媒体に格納することも可能である。
【0182】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【0183】
本発明は、個々人が録画・ダウンロード・制作した映像に対して、コメントを共有する技術に適用可能である。
【図面の簡単な説明】
【0184】
【図1】本発明の原理構成図である。
【図2】本発明の原理説明図である。
【図3】本発明の第1の実施の形態におけるシステム構成図である。
【図4】本発明の第1の実施の形態における映像DB102上に蓄積された映像情報、編集情報との関連を表す模式図である。
【図5】本発明の第1の実施の形態における映像再生手段106の画面表示例である。
【図6】本発明の第1の実施の形態における映像仮想時間とその算出方法を示す模式図である。
【図7】本発明の第1の実施の形態におけるコメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例である。
【図8】本発明の第1の実施の形態におけるシステムの画面表示結果例である。
【図9】本発明の第2の実施の形態における同期箇所識別子及びその算出方法を示す模式図である。
【図10】本発明の第2の実施の形態における映像仮想時間を示す模式図である。
【図11】本発明の第2の実施の形態におけるコメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例である。
【図12】本発明の第2の実施の形態におけるコメント情報の取得方法を示す処理手順である。
【図13】本発明の第2の実施の形態における特徴量要素列間の対応関係を表す模式図である。
【図14】本発明の第2の実施の形態におけるコメント取得手段112内の処理ステップ19を示す模式図である。
【図15】本発明の第3の実施の形態における映像識別子の例である。
【図16】本発明の第3の実施の形態におけるコメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例である。
【図17】本発明の第3の実施の形態におけるコメント情報の取得方法を示す処理手順である。
【図18】本発明の第3の実施の形態における映像特徴量列の対応に曖昧性が存在する場合の例である。
【符号の説明】
【0185】
1 クライアント装置
2 サーバ装置
101 映像蓄積手段
102 映像DB
103 映像取得手段、映像選択手段
104 映像識別子算出手段
105 同期箇所識別子算出手段
106 映像再生手段
107 映像時間指定手段
108 映像仮想時間算出手段
109 コメント情報入力手段
110 コメント情報・映像仮想時間蓄積手段
111 コメント情報・映像仮想時間DB
112 コメント情報取得手段
113 コメント情報表示手段
【技術分野】
【0001】
本発明は、映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体に係り、特に、映像を介したコミュニケーション方法において、ユーザが視聴している映像とその場所を映像に付与された識別子を用いて特定することで、個々のユーザが保有する不特定の映像間において、コミュニケーションが可能となる、映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体に関する。
【背景技術】
【0002】
近年、ネットワーク上で行われるユーザ間のコミュニケーションにおいて、映像を介したコミュニケーション方法が注目を集めている。
【0003】
例えば、複数のユーザが特定のTV番組(例では、サッカー番組)を同時視聴しつつ、ネットワーク上の掲示板でリアルタイムにコメントを書きあうことでコミュニケーションを図る方法がある(例えば、非特許文献1参照)。同時刻に同番組を見なければならない制約があるが、まるで家族と共にTV番組を見るかのごとく、遠く離れたユーザとその時の感動を共有しながらコミュニケーションを図ることができるため、特に生放送番組において利用価値が高い。このようなコミュニケーション方法は、「ユーザのいる場所を選ばない」というネットワークの特性を活かした方法であると言える。
【0004】
一方、上記のような「リアルタイムのTV映像」と「ネットワーク上の掲示板」という異なるメディアを組み合わせたコミュニケーション方法から一歩踏み込んで、映像を介したコミュニケーションを、ネットワーク上で一元的に図る方法も利用されつつある。例えば、映像配信サーバから配信される映像とユーザが入力したコメントを同期して蓄積・表示するシステムである。このシステムでは、ユーザの映像視聴に合わせて、映像上の時間に関連付けられたDB上のコメントを次々とユーザ側に同期表示する。また、映像視聴中に入力されたコメントを、入力された映像上の時間と関連付けてDB上に蓄積し、映像の同時刻を視聴しているユーザに同期表示する。ユーザは映像を視聴しつつ、刻々と変化する映像上の時間に関連付けられた他ユーザのコメントを順次閲覧し、また、コメントを入力して他のユーザに意見を提示することで、映像を介して相互にコミュニケーションを図っていく。このシステムを用いたコミュニケーションの方法の特徴は、「ユーザの場所を選ばない」ことと共に、「ユーザがコミュニケーションする時間を選ばない」ことと言える。映像とコメントはサーバ側に蓄積されているため、ユーザはサーバに接続すれば何時でも映像とコメントを閲覧でき、コメントを入力できる。リアルタイム性を要求するコミュニケーション方法では、映像とコメントの内容が刻々と変化していくため、過去のコメントに対してコメントすることはコミュニケーションの流れを阻止するため限度がある。しかし、上記のようなシステムを用いた場合、例えば、1週間前に入力されたコメントに対してコメントができるため、ユーザは時間的な制約がより緩いコミュニケーションを図ることができる(例えば、非特許文献2参照)。
【非特許文献1】http://soccer.pos.to/
【非特許文献2】山田一穂、宮川和、森本正志、児島治彦“映像の構造情報を活用した視聴者間コミュニケーション方法の提案”情報処理学会研究報告グループウェアとネットワークサービス、No.43-007,2001
【発明の開示】
【発明が解決しようとする課題】
【0005】
近年、パーソナルコンピュータ(PC)の性能向上に伴い、個々人で不特定の映像をPC上に蓄積し、所有するユーザが増えつつある。反面、上記のような従来の技術では、映像とコメントの同期表示を行うために、ユーザが視聴している映像とその場所を特定できるよう、一元的にそれらを管理している。そのためユーザは、配信サーバから配信される映像や公開先からダウンロード可能な映像などの特定の映像を利用しなければならず、個人的に保有する不特定な映像についてコミュニケーションを図りたいとしても、対象の映像がシステム上で一元的に管理されない限りコミュニケーションができない。
【0006】
このような問題は、ユーザの映像をサーバ側に登録する方法を用いて回避できる。しかし、ほんの数人で共有したい映像などもすべて登録されるため、サーバ側には非常に大きな設備投資コストや映像配信による負荷を強いることになる。
【0007】
また、上記の問題は著作権などにも絡み、個人視聴目的を逸脱するような利用は不可能なため、全ての不特定の映像についてサーバ側に登録し、公開するような方法は現実的ではない。よって、個々人が保有する映像を公開することなくその映像に対するコメント情報のみを共有する必要がある。
【0008】
しかし、個々人が保有する映像は、個々人の嗜好に合わせて部分的にカットするなどの編集が行われている可能性があり、「どの映像のどの部分に対するコメントであるのか」を特定しなければ、ある映像について統一的にコミュニケーションを図ることが難しい。
【0009】
本発明は、上記の点に鑑みなされたもので、映像を介したコミュニケーションを行う状況において、ユーザが視聴している映像と基準点となる場所を映像に付与された識別子を用いて特定することで、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間において従来のようなコミュニケーションが可能となる映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0010】
図1は、本発明の原理構成図である。
【0011】
本発明(請求項1)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段103と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手段104と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段105と、
ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手段107と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段108と、
ユーザにより入力されたコメントを取得するコメント情報入力手段109と、
コメントと映像仮想時間算出手段108で算出された該コメントが入力された映像仮想時間を関連付けてコメント情報・映像仮想時間データベース111に蓄積するコメント情報・映像仮想時間蓄積手段110と、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報をコメント情報・映像仮想時間データベース111から取得するコメント情報取得手段112と、
コメント情報取得手段112で取得されたコメント情報を表示手段に表示するコメント情報表示手段113と、を有する。
【0012】
本発明では、これらの手段を用いることで、個々のユーザが保有する映像において、例えば、部分的な編集(カット)を行ったり、異なるエンコード方式の映像であったり、あるいは本放送と再放送を録画したりした場合でも、映像識別子を用いることで、同一の映像であることを判定でき、また、同期箇所識別子及び映像仮想時間を用いることでコメントが入力された映像時間を適切に算出できるため、上記に挙げたような映像であってもユーザ間で問題なくコミュニケーションを行うことが可能となる。
【0013】
また、本発明(請求項2)は、同期箇所識別子算出手段105において、
同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。
【0014】
また、本発明(請求項3)は、映像識別子算出手段104において、映像識別子を算出する際に、映像特徴量を用いる。
【0015】
また、本発明(請求項4)は、コメント情報取得手段112は、
コメント情報・映像仮想時間蓄積手段において、コメント情報・映像仮想時間データベース111に蓄積されたコメント情報を併用して、コメント情報を取得する。
【0016】
図2は、本発明の原理を説明するための図である。
【0017】
本発明(請求項5)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置における映像コメント入力・表示方法であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手順(ステップ1)と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手順(ステップ2)と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手順(ステップ3)と、
ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手順(ステップ4)と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手順(ステップ5)と、
ユーザにより入力されたコメントを取得するコメント情報入力手順(ステップ6)と、
コメントと映像仮想時間算出手順(ステップ5)で算出された該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積するコメント情報・映像仮想時間蓄積手順(ステップ7)と、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報を記憶手段から取得するコメント情報取得手順(ステップ8)と、
コメント情報取得手順で取得されたコメント情報を表示手段に表示するコメント情報表示手順(ステップ9)と、を行う。
【0018】
これらの手順を行うことにより、まず、映像識別子を用いることでコミュニケーション対象となる映像を特定できる。映像識別子は部分的に編集された映像やTV放送における本放送映像・再放送映像、異なるエンコード方式の映像などにおいて、元となる映像ソースが同一であることを判別するための識別子である。次に、同期箇所識別子、映像仮想時間を用いることで、現在視聴中の映像上の時間を特定できる。例えば、設定時間の不備により途中から録画してしまったTV映像や編集などが行われた映像において、映像ファイル上に記録されている時間が異なる場合でも、同期箇所識別子、映像仮想時間を用いることで部分的な欠落などに影響されない映像上の時間が特定されると共に、映像時間と関連付けられたコメントを取得できる。そのため、編集などが行われた映像においても適切な箇所にコメントを入力でき、また、表示できる。
【0019】
よって、これらの手順を踏まえてコメントを入力・表示すれば、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間で適切にコメントを共有でき、スムーズにユーザ間のコミュニケーションが図られる。
【0020】
また、本発明(請求項6)は、同期箇所識別子算出手順において、
同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。
【0021】
当該請求項のように、同期箇所識別子を算出する際に、映像の画像特徴量から同期箇所を算出することにより、例えば、過去に蓄積・編集がなされた映像において同期箇所を巧く算出できない場合、カット点などの画像特徴量を利用することにより同期箇所を特定できるため、様々な映像において適切なコメントの表示・入力が可能となる。
【0022】
また、本発明(請求項7)は、映像識別子算出手順において、映像識別子を算出する際に、映像特徴量を用いる。
【0023】
当該請求項のように、映像識別子を算出する際に、映像全体から算出される映像特徴量から映像識別子を算出ことにより、例えば、複数の映像を繋ぎ合わせて編集した映像においても、それぞれの編集箇所毎に映像特徴量を算出し、映像識別子を求めることで、個々の部分映像を特定でき、複雑な編集が行われた映像を用いてのコミュニケーションが可能となる。
【0024】
また、本発明(請求項8)は、コメント情報取得手順において、コメント情報・映像仮想時間蓄積手順において、記憶手段に蓄積されたコメント情報を併用して、コメント情報を取得する。
【0025】
当該請求項のように、蓄積されたコメント情報を併用してコメント情報を取得することにより、映像識別子や同期箇所識別子によって特定されるコメント情報に曖昧性が存在した場合、例えば、指定された映像仮想区間に関連すると既に判定されたコメントに対する返信コメントは同様に映像仮想時間に関連するコメントであると判断できるため、より正確にコメントを取得でき、安定したコミュニケーションが可能となる。
【0026】
本発明(請求項9)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できるサーバ装置とクライアント装置からなる映像コメント入力・表示システムであって、
クライアント装置は、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手段と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手段と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
ユーザにより入力されたコメントを取得するコメント情報入力手段と、
コメントと映像仮想時間算出手順で算出された該コメントが入力された映像仮想時間を関連付けてサーバ装置に送信するコメント情報・映像仮想時間転送手段と、
サーバ装置から受信したコメント情報を表示手段に表示するコメント情報表示手段と、を有し、
サーバ装置は、
クライアント装置から受信したコメントと該コメントが入力された映像仮想時間が関連付けられた情報を蓄積するコメント情報・映像仮想時間データベースと、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報をコメント情報・映像仮想時間データベースから取得し、クライアント装置に送信するコメント情報取得手段と、を有する。
【0027】
また、本発明(請求項10)は、請求項9の映像コメント入力・表示システムのクライアント装置の同期箇所識別子算出手段において、同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。
【0028】
また、本発明(請求項11)は、請求項9または10の映像コメント入力・表示システムのクライアント装置の映像識別子算出手段において、映像識別子を算出する際に、映像特徴量を用いる。
【0029】
また、本発明(請求項12)は、請求項9の映像コメント入力・表示システムのサーバ装置のコメント情報取得手段は、コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、コメント情報を取得する。
【0030】
本発明(請求項13)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムであって、
請求項5乃至8記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムである。
【0031】
本発明(請求項14)は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムを格納した記憶媒体であって、
請求項5乃至8記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムを格納した記憶媒体である。
【発明の効果】
【0032】
上記のように、本発明によれば、ネットワーク上で映像を介したコミュニケーションを行う場合において、個々のユーザが映像を保有している場合でも、同一内容の映像を持つユーザ間でコメントのみを共有して閲覧、あるいは、書き込みを行うことができるため、従来の方法に比べて広範な映像を対象としてコミュニケーションを図ることができる。
【発明を実施するための最良の形態】
【0033】
以下、図面と共に本発明の実施の形態を説明する。
【0034】
以降の本発明の実施の形態の説明中、映像(映像コンテンツ)は、映像情報と音情報を含むコンテンツに限定されることなく、少なくとも画像情報を含むあらゆるコンテンツを映像と呼ぶ。
【0035】
また、コメントは、文字情報に限定されることなく、Web上のコンテンツを指し示すURLや感情を表現する画像など、コミュニケーションを図る上で利用可能な情報を含むものとする。
【0036】
[第1の実施の形態]
本実施の形態における映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。
【0037】
説明の簡便化のため、本実施の形態において、ユーザが蓄積する映像とは、個々人が録画するTV放送映像や知人からネットワーク等を通じて配布されたホームビデオなどを対象としているが、本実施の形態では、それらに限定されるものではない。
【0038】
図3は、本発明の第1の実施の形態のシステム構成図である。
【0039】
同図に示す映像コメント入力・表示システムは、複数台のクライアント装置1とサーバ装置2を含む。クライアント装置1とサーバ装置2は、例えば、インターネットのようなネットワーク(図示せず)を介して接続される。クライアント装置1は複数台存在するが、説明の簡略化のため、以下では1台のクライアント装置1について説明する。
【0040】
クライアント装置1は、放送映像やホームビデオなどを蓄積する映像蓄積手段101、映像蓄積手段101によって得られる映像を蓄積する映像DB102、映像DB102に蓄積された映像群から視聴したい映像を選択する映像選択手段103、映像選択手段103によって選択された映像から映像を識別するために用いる映像識別子を算出する映像識別子算出手段104、各ユーザが持つ同一内容の映像間で同期を取るための同期箇所識別子を算出する同期箇所識別子算出手段105、映像選択手段103により選択された映像を映像DB102より取り出して表示する映像再生手段106、映像選択手段103によって選択された映像内で他ユーザとのコミュニケーションを行いたい映像内時刻を指定する映像時間指定手段107、映像時間指定手段107によって指定された映像時間を映像識別子及び同期箇所識別子を用いて表現する映像仮想時間算出手段108、映像時間指定手段107によって指定された映像時間上にユーザのコメント入力を可能とするコメント情報入力手段109、映像仮想時間算出手段108によって算出された映像仮想時間とコメント情報入力手段109によって入力されたコメントを関連付けて、サーバ装置2が有するコメント情報・映像仮想時間DB111に蓄積するコメント情報・映像仮想時間蓄積手段110、サーバ装置2から取得したコメントを画面上に出力するコメント情報表示手段113から構成される。
【0041】
また、サーバ装置2は、コメント情報・映像仮想時間DB111と、クライアント装置1の映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得するコメント情報取得手段112から構成される。
【0042】
なお、本実施の形態は、請求項1、5,9を実施した場合の具体例である。
【0043】
クライアント装置1の映像蓄積手段101自体は、本発明を構成する要素ではないが、本実施の形態を説明する上で利用する。この手段の例としては、例えば、TVチューナ内蔵型ビデオエンコーダボードを搭載したPC、HDDレコーダ、家庭用ビデオカメラなどが挙げられる。これらの映像蓄積手段101は、録画した時刻、チャンネル、iEPG(Internet Electronic Program Guide)(登録商標)による番組情報など、映像に付随する情報を蓄積する場合が一般的である。また、TVCMの自動カットや映像の必要な部分だけを抜き出す、簡易な映像編集機能が備わっている場合も多い。本実施の形態における映像蓄積手段101は、映像だけでなく、これらの映像情報・編集情報も蓄積するものとする。
【0044】
クライアント装置1の映像DB102は、上記の映像蓄積手段101によって得られる映像を蓄積する。映像DB102も本発明を構成する上で必須な要素ではないが、本実施の形態を説明する上で利用する。この手段に該当するものは、例えば、PC内のHDD、HDDレコーダ内のHDD、ハンディカム(登録商標)に挿入されているビデオテープなどが挙げられる。
【0045】
以下の上記のクライアント装置1とサーバ装置2の各構成要素について動作順に説明する。
【0046】
(1)映像蓄積手段101は、上記映像蓄積手段101で述べたように、映像だけではなく、映像に付随する映像情報、その映像を編集した履歴である編集情報も蓄積する。
【0047】
(2)クライアント装置1の映像選択手段103は、映像DB102に蓄積された映像群から視聴したい映像をユーザに選択させる。映像選択手段103については例示しないが、蓄積された映像のタイトルやファイル名、録画日時などを列挙して一覧したリスト内から映像を選択するなど、ファイルセレクタのような簡便なインタフェースで実装できる。ユーザは映像選択インタフェースを用いて、映像で102内に蓄積された映像をユーザに選択させる。これにより、映像選択手段103は、選択された映像を映像識別子算出手段104に転送する。
【0048】
(3)クライアント装置1の映像識別子算出手段104は、映像選択手段103によって選択された映像から映像を識別するために用いる映像識別子を算出する。
【0049】
映像識別子は、同一内容の映像であることを識別する識別子であるから、TV映像の場合の単純な例としては、「映像を録画した時刻+チャンネル」という情報を用いればよい。
このような単純な情報においても、同チャネルの同時間帯のTV番組を録画したユーザ間で映像の同一性が保たれる。また、場合によっては、映像ID発行センタなど、同一の番組であることを保証するサービスを併設して一意なIDを取得することもできる。
【0050】
本実施の形態で用いる映像識別子は、各ユーザによって映像の録画状態が異なる場合を想定して算出する。即ち、録画する機器、映像のエンコード形式やビットレート、編集の有無や放送地域(チャンネル)、放送時間の違い、本放送・再放送などに依らず映像内容に基づいて判別できるよう、例えば、録画時に取得されるiEPG(登録商標)情報内の番組タイトル・サブタイトルなどを利用する。また、撮影した映像を友人関係者にコピー・配布して利用する等、家庭用ホームビデオなどを想定する場合、その映像を録画した機器のシリアル番号(機器によって一意に特定されるID)や録画した時刻、場所などの情報を用いて映像を特定する。
【0051】
これらの情報のいずれを用いるかについては、例えば、映像蓄積手段101において映像を蓄積した方法(TV放送を受信して録画した場合と、家庭用ビデオカメラで撮影した場合)によって自動選択する方法や、ユーザによって選択させる方法などがある。本実施の形態では、前者を用い、放送映像の場合は番組タイトル・サブタイトル、個人撮影映像の場合は撮影機器のシリアル番号・撮影時刻から一意の識別符号を算出して映像識別子として用いる(例えば、該情報を文字列データとして扱い、MD5などの一方向関数を用いて算出する)。
【0052】
(4)クライアント装置1の動機箇所識別子算出手段105は、各ユーザの持つ同一内容の映像間で同期を取るための同期箇所識別子を算出する。
【0053】
同期箇所識別子の単純な算出方法としては、映像の先頭時刻を同期箇所とする方法が考えられる。この方法は、同一内容の映像を保有するユーザが、映像に対してまったく編集作業を行っていないことを前提とする場合に適用できる。例えば、TV映像の場合、同チャンネルの同時間帯の番組映像を未編集で利用するユーザ間での同期が可能になる。
【0054】
本実施の形態における同期箇所識別子は、上記の制限を緩和するため、映像DB102上に蓄積された映像情報・編集情報を用いる。本実施の形態における同期箇所識別子とその算出方法について、図4を用いて説明する。
【0055】
図4は、本発明の第1の実施の形態における映像DB102上に蓄積された映像に係る映像情報、編集情報との関連を表す模式図である。同図の例では、何等かの理由により放送時刻から少し遅れて録画された後、ユーザによって部分的にカット編集されたTV放送映像を例とする。
【0056】
「映像DB102上に蓄積された映像A」は、図4にあるように映像区間b(開始時刻t0)、映像区間d(開始時刻t1)…からなるが、録画が遅れたため本来あるべき映像と比べて欠損部分があり、また、編集による削除箇所がある。
【0057】
映像情報及び編集情報を用いて映像Aを復元したものが、「各情報を用いて再現される元映像A」である。映像情報(例えばiEPG(登録商標)による番組開始時刻)を用いて欠損部分を仮想的に補完し、また、編集情報からカットされた映像部分を再現する。
【0058】
このように再現された元映像Aから、同一の映像を録画した他のユーザと同期を取るための情報を算出する。具体的には、元映像Aの番組開始時刻を基準として、各映像区間までの相対時間を算出する。相対時間の算出は図4から明らかなように容易である。
【0059】
これらの相対時刻と映像DB102に蓄積された映像A内の時刻を対応させることで、同期箇所識別子が図4のように算出される。これにより、映像A内の時刻t0は、元映像Aにおける基準時刻からの相対時刻T0であり、同様に、時刻t1は相対時刻T1、時刻t2は相対時刻T2…であると判別できるため、異なる時刻から録画を始めたユーザや異なる編集を行ったユーザ間で、相対時刻Tnを用いた同期が可能になる。
【0060】
図4は、録画が遅れた部分が削除されたTV放送映像を例としたが、録画が早まった場合や、映像の挿入などが行われた映像についても同様の仕組みを用いて容易に同期箇所識別子が算出できる。また、ホームビデオなどの映像においても、元映像の先頭時刻を基準にした相対時間を用いることで算出が可能である。これらの例については類推が容易であるため説明を省略する。
【0061】
(5)クライアント装置1の映像再生手段106は、上記映像選択手段103においてユーザにより選択された映像を、映像DB102より取り出し表示する。映像再生手段106の画面表示例を図5に示す。本実施の形態の映像再生手段106は、映像選択手段103によって選択された映像を表示すると共に、再生制御ボタン中の早送り・巻き戻しボタンやスライダインタフェースなどによって、映像内の所定の時刻へ容易にアクセス可能なインタフェースも備える。
【0062】
(6)クライアント装置1の映像時間指定手段107は、上記の映像選択手段103によって選択された映像内で他ユーザとのコミュニケーションを行いたい映像内時刻をユーザに指定させる。
【0063】
映像内時刻を指定させる方法としては、例えば、図5に示す再生制御ボタンの早送り・巻き戻しボタンやスライダインタフェースなどを用いる直感的な方法や指摘時刻を数値入力する方法などが挙げられ、映像再生手段106と機能を共有できる。
【0064】
また、映像再生手段106において、再生中に映像時刻を逐次取得する方法も挙げられる。ユーザが任意に指定するのではなく、映像再生手段106が自動的に映像内時刻を指定していることになるため、ユーザはより簡便に本実施の形態におけるシステムを利用できる。本実施の形態では、映像再生手段016が蓄積映像内時刻を取得する方法を採用するものとする。
【0065】
(7)クライアント装置1の映像仮想時間算出手段108は、上記の映像時間指定手段107によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。
【0066】
算出される映像仮想時間は、編集などが行われた映像ファイル上の時間ではなく、映像情報や編集情報から復元される元映像上の時間のことである。映像仮想時間を用いることで、編集等の行為に関わらず、他ユーザと同期可能な時間を得ることができる。
【0067】
映像仮想時間とその算出方法について、図6を用いて説明する。図6は、図4で用いた映像Aを用いているものとする。
【0068】
今、ユーザが映像時間指定手段107によって指定した時間をtmとする。同期箇所識別子算出手段105によって算出された同期箇所識別子(図4参照)から、tmは、tmより以前の同期箇所識別子中の同期時刻t1より相対的にtd進んだ時間であると容易に算出される。よって再現された元映像A上の時間tiは、同期箇所識別子中のt1と同欄にある相対時刻T1を用いることで、ti=T1+tdであると直ちに算出される。
【0069】
映像識別子算出手段104によって算出された映像Aの映像識別子をmID(A)とすると、最終的にtmから算出される映像仮想時間は、映像識別子mID(A)及び同期時間tiからなるTiで表される。
【0070】
上記の手順により、映像時間指定手段107によって指定された時間tmは、映像仮想時間Tiによって映像識別子及び該映像内の基準時刻からの相対時間として表現できるため、他ユーザと同期可能な統一的な時間として表現される。
【0071】
(8)クライアント装置1のコメント情報入力手段109は、映像時間指定手段107によって指定された映像時間上にユーザのコメント入力を可能とする。コメントの入力には一般的なテキスト入力インタフェースを用いることで容易に実装できるため、ここでは例示しない。
【0072】
また、本実施の形態で扱うコメント情報とは、ユーザの意見を表すコメント本文と共に、ユーザIDや入力時刻などの付加情報を総称してコメント情報という。
【0073】
クライアント装置1のコメント情報・映像仮想時間蓄積手段110は、上記映像仮想時間算出手段108によって算出された映像仮想時間と上記コメント情報入力手段109によって入力されたコメントを関連付けて、サーバ装置2が有するコメント情報・映像仮想時間DB111に蓄積する。
【0074】
コメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例を図7に示す。本実施の形態においてコメント情報は、コメントを入力したユーザのIDであるuID(n)と入力されたコメント本文cmt(n)からなる。また、映像仮想時間は、映像識別子mID(n)と同期時間t(n)からなる。これらは関係付けられているとしてct(n)としてコメント情報・映像仮想時間DB111上で管理される。
【0075】
(10)サーバ装置2のコメント情報取得手段112は、クライアント装置1上の映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。
【0076】
コメント情報を取得する単純な方法としては、コメント情報・映像仮想時間DB111上のエントリ内で映像仮想時間を合致するものを検索すればよい。あるいは、映像仮想時間は映像時間上の一点を指しており、その時間に対して正確に一致するコメントを入力することは難しいため、映像仮想時間算出手段108によって算出された映像仮想時間に対して一定の幅を持たせ、その範囲内にあるコメントを取得してもよい。幅の持たせ方はシステムで静的に定義してもよいし、ユーザに選択させるなど動的に決定してもよい。本実施の形態では、映像仮想時間算出手段108によって算出された映像仮想時間から前10秒以内に入力されたコメント情報を取得するものとする。
【0077】
(11)クライアント装置1のコメント情報表示手段113は、コメント情報取得手段112によって取得されたコメントを画面上に出力する。コメント情報表示手段113は、取得されたコメント情報のうち全て、あるいは、いずれかをユーザ側に提示する。また、いくつかのコメント情報から生成される新たな情報(例えば、入力したユーザの性別によって切り替え表示される画像など)を提示してもよい。
【0078】
本実施の形態によって実現されるシステムの画面表示結果例を図8に示す。
【0079】
映像再生手段106によって映像再生中に取得される映像時間が逐次映像仮想時間に変換され、コメント情報表示手段113によって該映像仮想時間に関連するコメント情報が画面上に表示される。映像の再生進度によって映像仮想時間も逐次更新されるため、映像の再生に合わせてコメント情報も切り替わり、映像の、まさにその時入力されたコメントを閲覧できる。また、コメント情報入力手段109を用いることで、該当映像仮想時間を閲覧するユーザにコメントを提示でき、相互にコミュニケーションが図られる。
【0080】
以上のような手段を用いることで、本発明の第1の実施の形態によれば、映像識別子によって個々人が持つ映像の同一性を判定でき、同期箇所識別子及び映像仮想時間によって映像内で指定される時間を映像間で統一的に表現できるため、映像のある時間に対してユーザ間で共有可能なコメントの表示・入力ができる。よって、ユーザ個々人が持つ映像解像度、フォーマット、編集箇所等が異なる映像間であってもコミュニケーションが可能となる。
【0081】
[第2の実施の形態]
本発明の第2の実施の形態による映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントをサーバ装置上で共有することで、他のユーザのコメントを見たり、あるいは書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。
【0082】
本実施の形態において、ユーザ個々人が蓄積する映像は、第1の実施の形態と異なり、蓄積後に本システム以外で編集が試された映像を想定する。すなわち、第1の実施例において、同期箇所識別子を算出する際に用いた編集情報が存在しない場合である。PCのビデオエンコーダボードには市販の映像編集ソフトが付属されている場合が多く、こういった状況は容易に想定される。
【0083】
本発明の第2の実施の形態におけるシステム構成は、第1の実施の形態と変わらないため、図3を参照しながら説明する。また、本実施の形態は、第1の実施の形態とは同期箇所識別子算出手段105で算出される同期箇所識別子以外の点でなんら異ならないため、同期箇所識別子に関わる手段以外についての説明は省略する。
【0084】
なお、本実施の形態は、請求項1、2,5,6,9,10を実施した場合の具体例を示している。
【0085】
クライアント装置1上の映像蓄積手段101、映像DB102、映像選択手段103及び映像識別子算出手段104については、第1の実施の形態と変わらないため説明を省略する。
【0086】
以下、図3に示す各構成要素について、動作順に説明する。
【0087】
(1)クライアント装置1の同期箇所識別子算出手段105は、各ユーザが持つ同一内容の映像間で同期をとるための同期箇所識別子を算出する。
【0088】
本実施の形態で用いる同期箇所識別子は、第1の実施の形態とは異なり編集情報から算出できないため、映像から取り出される映像特徴量を用いて算出する。
【0089】
映像特徴量とは、画面上の色情報や場面の切り替わり点、カメラワーク、撮影されている物体、文字、発話内容、発話者や音楽の認識結果など、映像上の物理的、あるいは意味的な特徴を示す情報であり、映像管理や映像検索などの分野で広く扱われる情報である。
【0090】
映像特徴量は既知の映像解析技術を用いて取得できる。例えば、場面の切り替わり点やテロップ表示区間などに関しては、特許第2839132号広報、特開平9−238298号広報、及び、特開平11−178007号広報などに記載されており、それ以外の特徴量についても様々な研究が為されている。
【0091】
本実施例における同期箇所識別子とその算出方法について、図9を用いて説明する。
【0092】
1)まず、映像Aから既存技術を用いてカット点(場面切り替わり点)を検出し、カット点によって映像を区間に分割する。この例では、t0から始まる映像区間b及びt1から始まる映像区間d…となる。
【0093】
2)次に各映像区間における代表画像を求める。代表画像の求め方としては、各区間の先頭フレームから数フレーム目(場面変化後に安定したと思われるフレーム)の画像を取得する。
【0094】
3)次に、取り出された各代表画像から色ヒストグラムを求め、該色特徴量と映像区間の時間長を各映像区間における代表的な映像特徴量とする。
【0095】
このようにして取り出された映像特徴量は各映像区間を特徴付けるものであるから、ある映像において特徴量を指定すれば、それが映像内のどの区間に該当するのか判定できる。すなわち、ユーザが視聴している映像区間とコメントを同期させるには、映像区間に関連付けられた映像特徴量を用いればよい。但し、例えば、TV放送番組内で同じCMが複数回放送される場合なども想定されるため、一つの特徴量から複数の区間が対応してしまう場合もあり得る。
【0096】
よって、本実施の形態では、各映像区間に対して、該区間から算出される映像特徴量と、該映像内での映像特徴量の順序付きの集合、及び該集合内における該映像特徴量の位置を同期箇所識別子とする。映像特徴量の順序付きの集合とその位置も識別子とすることで、上記で懸念されるような同期箇所特定時の曖昧性を無くす。具体的な同期箇所識別子の使用方法については後述する。
【0097】
なお、本実施の形態における映像特徴量ではカット点や色ヒストグラムなどを用いているが、例えば、「番組のオープニング」というような意味的な区間を用いて映像区間を特定してもよいし、各区間の特徴量として、カメラワークや区間内に映る物体の形状、認識された文字列など、より精度よく映像区間を特定できる映像特徴量を複合的に用いてもよい。
【0098】
(2)クライアント装置1上の映像再生手段106及び映像時間指定手段107については、第1の実施の形態と同様であるため、説明を省略する。
【0099】
(3)クライアント装置1の映像仮想時間算出手段108は、映像時間指定手段107によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。
【0100】
本実施の形態における映像仮想時間について、図10を用いて説明する。
【0101】
映像時間指定手段107によって指定された映像時間tmは、同期箇所識別子算出手段105によって算出された同期箇所識別子によって、映像区間内における相対時刻として表現される。すなわち、tmは、tmを含む映像区間(図では映像区間d)の同期時刻t1からの相対時間をtdとした場合、tm=t1+tdとして表される。
【0102】
t1は、映像A内における映像区間dの同期箇所識別子の先頭時刻であるから、最終的に映像仮想時間Tiは、映像識別子mID(A)、該同期箇所識別子及び相対時間tdによって図のように表現される。映像を特定する映像識別子と映像特徴量によって映像区間を特定する同期箇所識別子、該映像区間の先頭からの相対時間により、映像仮想時間は、他のユーザが同期可能な時間表現となる。
【0103】
(4)クライアント装置1のコメント情報入力手段109については、第1の実施の形態と同様であるので、説明は省略する。
【0104】
(5)クライアント装置1のコメント情報・映像仮想時間蓄積手段110は、映像仮想時間算出手段108によって算出された映像仮想時間とコメント情報入力手段109によって入力されたコメントを関連付けて、サーバ装置2が有するコメント情報・映像仮想時間DB111に蓄積する。
【0105】
コメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例を図11に示す。本実施の形態において、コメント情報は、コメントを入力したユーザのIDであるuID(n)と入力されたコメント本文cmt(n)からなる。また、映像仮想時間は、映像識別子mID(n)、同期箇所識別子の構成要素である同期時刻t(n)、映像特徴量f(n)、映像特徴量の順序付き集合F(n)、F(n)内におけるf(n)の位置p(n)、相対時間td(n)によって表され、これらは関係付けられてct(n)としてコメント情報・映像仮想時間DB111上で管理される。
【0106】
(6)サーバ装置2のコメント情報取得手段112は、クライアント装置1上の映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。
【0107】
本実施の形態におけるコメント情報の取得方法について図12を用いて説明する。
【0108】
まず、同一映像の同一映像区間内の特定時間に入力されたと思われるコメント情報の候補を取得する。
【0109】
ステップ11) まず、クライアント装置1の映像仮想時間算出手段108によって算出された映像仮想時間を定義する。すなわち、映像仮想時間ct(x)は、映像識別子mID(x)、同期時刻t(x)、映像特徴量f(x)、映像特徴量集合F(x)、F(x)内におけるf(x)の位置p(x)、相対時間td(x)からなるとする。
【0110】
ステップ12) サーバ装置2のコメント情報・映像仮想時間DB111内から、映像識別子がmID(x)と一致するコメント情報・映像仮想時間の集合S(x)を取得する。これにより、同一映像内のコメント情報が絞り込まれる。
【0111】
ステップ13) 上記集合S(x)内から、映像特徴量がf(x)に類似するコメント情報・映像仮想時間の部分集合S’(x)を取得する。映像特徴量は、映像の解像度や映像フォーマット、映像作成時のフィルタ設定などに依存して、同一の元映像であっても映像ファイルごとに微妙に異なる値となる。そのため、本実施の形態では、映像特徴量間の類似性によって、同一の映像区間であるかを判定する。
【0112】
映像特徴量の類似性判定には、例えば、画像内の色ヒストグラムを用いている場合、色ヒストグラム内の各色要素の値を持つn次元上の点として表現し、各点間のユークリッド距離によって判別する方法などが考えられる。すなわち、ct(x)における映像特徴量f(x)を(cx(1),cx(2),…,cn(N))とし、S’(x)内のあるコメント・映像仮想時間ct(a)における映像特徴量f(a)を(ca(1),…,ca(n))とした場合、類似度sim(X,A)は以下の式で求められる。
【0113】
【数1】
映像特徴量間で類似性が高いほどsim(X,A)の値は「0」に近づくため、ある閾値以下となる映像特徴量f(a)を持つコメント情報・映像仮想時間ct(a)をS‘’(x)の要素とすればよい。
【0114】
なお、本実施の形態では、説明の簡略化のために色ヒストグラムにおける簡単な類似度計算方法を説明したが、実施の形態によっては様々な特徴量における類似度計算方法が適用できる。類似度計算方法ついては様々な既存技術が存在するため説明は省略する。
【0115】
ステップ14)上記集合S’(x)内から、相対時間がtd(x)と同一とみなされるコメント情報・映像仮想時間の部分集合S’’(x)を取得する。相対時間を同一とみなすには、S’(x)内のあるコメント・映像仮想時間ct(i)における相対時間td(i)とtd(x)が正確に一致するか判定してもよいし、第1の実施の形態でも述べたように、td(x)からみて一定の範囲内にあるtd(i)を同一とみなしてもよい。本実施の形態では、td(x)より10秒前からtd(x)までの範囲内にあるtd(i)を同一とみなすこととする。
【0116】
上記のステップで取得されたS’’(x)は、同一映像の同一映像区間内の特定時間に入力されたと思われるコメント情報の候補である。これらの候補は、ある映像特徴量によって映像区間が一意に決定できる場合、同一映像上の同一時間に入力されたものと判断できる。しかしTV番組内のTVCMのように、同一映像内で同一内容の映像区間が複数存在している場合、意図しない映像区間(同一の映像特徴量を持つ異なる区間)に付与されたものである可能性がある。
【0117】
そこで、次からのステップとして、候補内から映像仮想時間が正確に一致するコメント情報を絞り込む。
【0118】
ステップ15)まず、絞込みを行うための初期化処理を行う。具体的には、S’’(x)内のコメント情報・映像仮想時間をct(i)とし、S’’(x)内のct(i)の総数をnとする。また、ステップ16以降で用いるインデックスiを「0」とする。また、最終的な結果を保持するコメント・映像仮想時間集合R(x)を空集合とする。
【0119】
ステップ16) インデックスiの判定を行う。iの値が総数nより小さい場合はステップ17以降の処理を進める。また、iがn以上の場合は全てのct(i)に対して処理を行ったことになるため、処理を終了する。
【0120】
ステップ17) ct(i)の各要素を定義する。ct(i)の映像識別子をmID(i)、同期時刻t(i)、映像特徴量f(i)、映像特徴量集合F(i)、F(i)内におけるf(i)の位置p(i)、相対時間td(i)とする。
【0121】
ステップ18)ct(x)とct(i)が持つ映像特徴量の順序付き集合F(x)及びF(i)について、集合内の各映像特徴量の対応処理を行う。
【0122】
F(x)及びF(i)は、各ユーザが保有する映像から算出されるものである。よって、ユーザ毎に映像編集作業が行われていた場合、F(x)及びF(i)は異なる要素列を持つ。本ステップでの処理は、これら異なる要素列を比較し、F(x)内の要素がF(i)内のどの要素に対応するかを判定するものである。
【0123】
本実施の形態では、要素列間の対応関係を調べる方法について特に限定はしないが、一般的な方法としては、DPマッチングが挙げられる。DPマッチングは、ある要素列に対して挿入・削除を行いながら、他の要素列との対応関係を効率よく探索する手法である。音声認識において音素列と言語モデルとの対応を調べたり、DNAの研究において塩基配列間の類似性を調べたりなど、様々な分野で用いられるアルゴリズムであり、詳細についてはここでは述べない。
【0124】
また、「特願2002−130746」にある手法も挙げられる。当該手法は、映像特徴量の算出には誤検出があり得ること、映像の解像度やフォーマットによって特徴量に誤差あることを配慮して、映像間の特徴量列を対応させながら類似度を算出することに特徴がある。当該手法を応用することで、映像特徴量における誤検出や誤差を考慮した対応関係が求められる。
【0125】
図13は、これらの手法を用いてF(x)及びF(i)における要素列間の対応関係を模式的に表した図である。F(x)及びF(i)は相互に編集部分や欠損部分が存在するため、F(x)における2番目の要素がF(i)における2番目の要素に対応するとは限らないが、本ステップの処理によって、F(x)における要素F(x)_nがF(i)におけるどの要素に対応するか算出される。
【0126】
ステップ19)ステップ18の対応結果とp(x)及びp(i)から、f(x)とf(i)が対応しているかを判定し、対応している場合は最終結果の集合R(x)にct(i)を加える。
【0127】
図14は、ステップ19の処理を模式的に表した図である。すでに述べたようにF(x)及び、F(i)は異なる要素列であるが、ステップ18によって要素間が対応付けられているため、p(x)及びp(i)から簡単にf(x)とf(i)の対応を調べられる。すなわち、映像仮想時間算出手段108によって算出された映像仮想時間ct(x)とコメント情報・映像仮想時間DB111上のあるエントリct(i)が同一時間であるか判定できる。
【0128】
ステップ20)インデックスiに1を足し、ステップ16に戻る。
【0129】
上記の処理ステップによって得られたR(x)からコメント情報を取り出すことにより、サーバ装置2のコメント情報取得手段112は、映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から該映像仮想時間に関するコメント情報を取得できる。
【0130】
(7)クライアント装置1上のコメント情報表示手段113については、第1の実施の形態と変わらないため説明は省略する。
【0131】
以上のような手段を用いることで、本発明の第2の実施の形態によれば、映像識別子によって個々人が持つ映像の同一性を判定でき、同期箇所識別子及び映像仮想時間によって映像内で指定される時間を映像間で統一的に表現できるため、映像のある時間に対してユーザ間で共有可能なコメントの表示・入力ができる。よって、ユーザ個々人が持つ映像解像度、フォーマット、編集箇所等が異なる映像間であってもコミュニケーションが可能となる。
【0132】
また、請求項2、6,10記載の同期箇所識別子算出手段(手順)を用いることで、第1の実施例とは異なる状況、すなわちシステム外部で映像編集処理が為された映像においても、映像特徴量を用いて同期箇所を算出することにより、ある映像時間に関連付けられたコメント情報を取得でき、また、入力できる。よって、第1の実施の形態と比較してより広範囲な映像間でのコミュニケーションが可能になる。
【0133】
[第3の実施の形態]
本発明の第3の実施の形態による映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントをサーバ上で共有することで、他のユーザのコメントを見たり、あるいは書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。
【0134】
本実施の形態において、ユーザ個々人が蓄積する映像は、第1、第2の実施の形態とは異なり、iEPG(登録商標)などから取得されるタイトル・サブタイトルなどの映像情報や編集情報などが存在しない映像を想定する。例えば、過去にビデオデッキで録画した映像を映像ファイル化して本システムに適応する場合などが考えられる。
【0135】
本発明の第3の実施の形態におけるシステム構成は、第1の実施の形態と同様であるため、図3を参照しながら説明する。また、本実施の形態は、第1の実施の形態とは映像識別子算出手段104、同期箇所識別子算出手段105及びコメント情報・映像仮想時間蓄積手段110で算出・蓄積される、映像識別子、同期箇所識別子、コメント情報・映像仮想時間以外の点で何ら異ならないため、上記識別子及び情報に関わる手段以外についての説明は省略する。
【0136】
なお、本実施の形態では、請求項1〜12を実施した場合の具体例を示している。
【0137】
クライアント装置1上の映像蓄積手段101、映像DB102、映像選択手段103については、第1の実施の形態と同様であるため説明を省略する。
【0138】
クライアント装置1の映像識別子算出手段104は、映像選択手段103によって選択された映像から映像を識別するために用いる映像識別子を算出する。
【0139】
本実施の形態における映像識別子算出手段104は、第1、第2の実施の形態とは異なり、映像蓄積時に映像情報が存在しない。そのため、一意に映像を特定できる別の識別子が必要となる。
【0140】
本実施の形態では、これに映像特徴量を用いる。第2の実施の形態で説明したように、映像特徴量は映像上の物理的、あるいは意味的な特徴を示す情報であり、映像特徴量を用いた類似映像検索手法は様々に研究されている。
【0141】
本実施例においては、第2の実施の形態で用いた映像特徴量の順序付き集合を映像識別子として用いる。すなわち、映像間の同一性を判定する場合に、映像特徴量の順序付き集合を比較してその類似性を判定する。具体的な同一性の判定方法については、コメント情報取得手段112において別途説明する。
【0142】
本実施の形態における映像識別子の例を図15に示す。
【0143】
クライアント装置1の同期箇所識別子算出手段105は、各ユーザが持つ同一内容を映像間で同期を取るための同期箇所識別子を算出する。
【0144】
本実施の形態における同期箇所識別子は、第2の実施の形態と同様に映像特徴量を用いて算出する。算出方法については、第2の実施の形態において説明したので、ここでは省略する。
【0145】
クライアント装置1上の映像再生手段106及び映像時間指定手段107については、第1の実施の形態と同様であるので、説明は省略する。
【0146】
クライアント装置1の映像仮想時間算出手段108は、映像時間指定手段107によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。
【0147】
本実施の形態における映像仮想時間は、第2の実施の形態と同様であり、構成要素は、図10に示す通りであるが、映像識別子mID(A)が映像特徴量の順序付き集合であることが第2の実施の形態と異なる。
【0148】
クライアント装置1上のコメント情報入力手段109については、基本的に第1の実施の形態で述べた通りであるが、本実施の形態では、指定したコメントに対してレス(レスポンス、返信)を行うコメントも入力できるものとする。
【0149】
掲示板などの一般的なコミュニケーション手段では、あるコメントに対してレス(レスポンス、返信)を行うコメントを入力する機能が備わっている。レスを行うことで、どのコメントがどのコメントに対して述べられたものなのか容易に理解できるため、特に議論などを行う場合に効果が高い。以下、本実施の形態において、「親コメント」とはレスが行われたコメントを指し、「子コメント」とはレスを行うコメントを指す。
【0150】
クライアント装置1のコメント情報・映像仮想時間蓄積手段110は、上記映像仮想時間算出手段108によって算出された映像仮想時間と上記コメント情報入力手段109によって入力されたコメントを関連付けて、サーバ装置2が有するコメント情報・映像仮想時間DB111に蓄積する。
【0151】
コメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例を図16に示す。
【0152】
本実施の形態では、コメント情報の一つとして親コメントを示すpID(i)を持つ。pID(i)、は、ID(i)のコメントがレスを行った親コメントを指し、具体的には親コメントのIDであるct(p)を指す。もし親コメントを持たないコメントであった場合は、pID(i)をnull等にすることで、どのコメントがどのコメントに対してレスを行ったものであるか容易に判定できるようになる。
【0153】
それ以外の点については、第2の実施の形態と変わらないため説明を省略する。
【0154】
サーバ装置2は、クライアント装置1上の映像仮想時間算出手段108によって算出された映像仮想時間を元に、コメント情報・映像仮想時間DB111に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。コメント情報取得手段112を有する。
【0155】
本実施の形態におけるコメント情報の取得方法について、図17を用いて説明する。
【0156】
ステップ111)まず、映像仮想時間算出手段108によって算出された映像仮想時間を定義する。すなわち映像仮想時間ct(x)、は、映像識別子mID(x)、同期時刻t(x)、映像特徴量f(x)、映像特徴量集合F(x)、F(x)内におけるf(x)の位置p(x)、相対時間td(x)からなるとする。
【0157】
ステップ112) コメント情報・映像仮想時間DB111に関する初期化処理を行う。具体的には、コメント情報・映像仮想時間DB111内のコメント情報・映像仮想時間の集合をCT、その要素数nとし、各要素をct(i)とする。また、最終的な結果を保持するコメント・映像仮想時間集合R(x)を空集合とする。
【0158】
ステップ113) 処理終了判定を行う。CT内に要素が残っている場合はステップ114以降の処理を進める。また、CTの要素数nが「0」以下の場合は、全てのct(i)に対して処理を行ったことになるため、処理を終了する。
【0159】
ステップ114) ct(i)の各要素を定義する。ct(i)の映像識別子をmID(i)、同期時刻t(i)、映像特徴量f(i)、映像特徴量集合F(i)、F(i)内におけるf(i)の位置p(i)、相対時間td(i)、親コメントiD pID(i)とする。
【0160】
ステップ115) 映像識別子mID(x)とmID(i)との類似度Sim(mID(x),mID(i))を算出する。本実施の形態において、mID(x)とmID(i)は共に映像特徴量の順序付き集合であるから、順序を考慮しながら各要素間を比較して、類似する要素を互いに多く含む場合に類似した映像であると判定する。具体的な方法について、図17に示す。
【0161】
1)まず、第2の実施の形態で述べたように、DPマッチングなどを用いて要素列間の対応付けを行う。
【0162】
2)次に、対応付けられているF(x)及びF(i)内の要素をそれぞれfx(i),fi(j)としてその総数をmとし、要素間の類似度sim(fx(j),fi(j))を個別に計算してその平均値を計算し、F(x)における総要素数n(x)に対する対応要素数na(x)の逆数、及びF(i)における総要素数n(i)に対する対応要素数na(i)の逆数をかけた値を計算する。これをF(x)とF(i)の類似度sim(mID(x),mID(i))とする。具体的には以下の式になる。なお、要素間の類似度は類似性が高いほど小さな値になるものとする。
【0163】
【数2】
この式は、対応要素の類似度が高く、映像に対する対応要素数が多いほど小さな値となる。対応要素数na(x)及びna(i)を考慮するのは、映像の同一性における曖昧性を考慮するためである。例えば、図18に示すように、確かに一致する部分の類似性は高いかもしれないが、別の映像の断片である映像を同一の映像であると判定してしまう可能性がある。この曖昧性を解消するため、本計算方法では、映像全体としてどの程度要素が対応するかを類似性に含め、取得されるコメントに矛盾が生じないようにする。
【0164】
ステップ116)sim(F(x),F(i))に対してある閾値以下のものを類似した映像とする。閾値はシステムで静的に決定したり、DBに登録された映像識別子から、より効率的に同一性を判断できるように動的に決定してもよい。類似していると判定される場合には、ステップ117に移行し、そうでない場合は、次のct(i)について処理を行うよう、ステップ113に戻る。
【0165】
ステップ117)コメントが入力された区間における映像特徴量f(x)及びf(i)の類似度sim(f(x),f(i))を求める。類似度の算出方法については、第2の実施の形態に詳細を述べたため、ここでは省略する。
【0166】
ステップ118)同一映像区間に対してコメントされているコメント情報・映像仮想時間を選別するため、sim(f(x),f(i))に対してある閾値以下であるかを判定する。閾値以下である場合はステップ119に進み、そうでない場合はステップ113へ戻る。
【0167】
ステップ119)相対時間td(x)及びtd(i)が同一時刻であるかを判定する。判定方法は第2の実施の形態で述べたためここでは省略する。同一時刻である場合は、ステップ120に進み、そうでない場合はステップ113に戻る。
【0168】
ステップ120)ステップ119までの処理で選別されたコメント情報・映像仮想時間の中から正確に映像仮想時間の一致するコメント情報を絞り込むため、まず、映像特徴量の順序付き集合F(x)及びF(i)について、集合内の各映像特徴量の対応処理を行う。対応方法については第2の実施の形態に述べたため省略する。
【0169】
ステップ121)コメント情報・映像仮想時間の集合CTからct(i)を削除して、ステップ120の対応結果とp(x)及びp(i)が対応しているかを判定する。対応している場合は最終結果の集合R(x)にct(i)を加える。判定方法については、第2の実施の形態に述べたためここでは省略する。
【0170】
ステップ122) pID(i)を再帰的に調べ、ct(i)の親コメントct(p)がCTに含まれている場合、CTからct(p)を削除してR(x)に加える。
【0171】
ステップ123)CT内に残っている各ct(n)についてct(n)の親コメントを示すpID(n)を再帰的に調べ、ct(i)を含んでいるかを調べる。ct(i)を含んでいる場合はCTからct(n)を削除してR(x)にct(n)を加える。
【0172】
ステップ112及びステップ123の処理によって、もし親コメントが指定時間と関連したコメントである場合に、その親・子コメントも取得できる。映像特徴量を用いた映像識別や同期箇所識別は、用いる特徴量やノイズによって巧く識別できない可能性がある。親コメントと子コメントが存在するようなコミュニケーションでは、あるコメントをフォローする子コメントが表示されないことで文脈が崩れ、相互にコミュニケーションを図ることが難しくなる恐れがある。ステップ122、及びステップ123はこれを防ぐ。
【0173】
ステップ124)CT内の要素総数nを再計算してステップ113へ戻る。
【0174】
以上のような処理ステップを経ることにより、コメント・映像仮想時間集合R(x)には、同一と判定される映像内において同一映像区間に対して入力されたコメント情報・映像仮想時間の組が保持される。
【0175】
クライアント装置1上のコメント情報表示手段113については、第1の実施の形態と変わらないため説明は省略する。
【0176】
以上のような手段を用いることで、本発明の第3の実施の形態によれば、まず、請求項3,7,11記載の映像識別子算出手段(手順)を用いることで、第1、第2の実施例とは異なる状況、すなわち、過去に録画・撮影された映像においても、映像特徴量を用いて映像識別子によって映像の同一性を評価できる。
【0177】
また、請求項2,6,10記載の同期箇所識別子算出手段(手順)を用いることで、第1の実施の形態とは異なる状況、すなわち、システム外部で映像編集処理が為された映像においても、映像特徴量を用いて同期箇所を算出することにより、ある映像時間に関連付けられたコメント情報を取得でき、また、入力できる。
【0178】
また、請求項4,8,12記載のコメント情報取得手段(手順)を用いることで、映像識別子、同期箇所識別子、映像仮想時間に依らず、コメント情報を元に関連性のあるコメントも取得できるため、コメント間の係り受け関係などに破綻をきたすことなく、コメントの提示が可能となる。よって、第1、第2の実施の形態と比較して、請求項1,5,9記載の映像コメント入力・表示方法において、より広範は映像を対象としたユーザ間のコミュニケーションを図ることが可能になる。
【0179】
また、上記では、クライアント装置1、サーバス装置2からなるシステムに基づいて説明したが、クライアント装置、サーバ装置に依らず、1つの装置として構成してもよい。
【0180】
なお、上記の第1、第2、第3の実施の形態の各構成要素の動作をプログラムとして構築し、描画装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることも可能である。
【0181】
また、構築されたプログラムを描画装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、CD−ROM等の可搬記憶媒体に格納することも可能である。
【0182】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【0183】
本発明は、個々人が録画・ダウンロード・制作した映像に対して、コメントを共有する技術に適用可能である。
【図面の簡単な説明】
【0184】
【図1】本発明の原理構成図である。
【図2】本発明の原理説明図である。
【図3】本発明の第1の実施の形態におけるシステム構成図である。
【図4】本発明の第1の実施の形態における映像DB102上に蓄積された映像情報、編集情報との関連を表す模式図である。
【図5】本発明の第1の実施の形態における映像再生手段106の画面表示例である。
【図6】本発明の第1の実施の形態における映像仮想時間とその算出方法を示す模式図である。
【図7】本発明の第1の実施の形態におけるコメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例である。
【図8】本発明の第1の実施の形態におけるシステムの画面表示結果例である。
【図9】本発明の第2の実施の形態における同期箇所識別子及びその算出方法を示す模式図である。
【図10】本発明の第2の実施の形態における映像仮想時間を示す模式図である。
【図11】本発明の第2の実施の形態におけるコメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例である。
【図12】本発明の第2の実施の形態におけるコメント情報の取得方法を示す処理手順である。
【図13】本発明の第2の実施の形態における特徴量要素列間の対応関係を表す模式図である。
【図14】本発明の第2の実施の形態におけるコメント取得手段112内の処理ステップ19を示す模式図である。
【図15】本発明の第3の実施の形態における映像識別子の例である。
【図16】本発明の第3の実施の形態におけるコメント情報・映像仮想時間DB111に蓄積されたコメント情報及び映像仮想時間の例である。
【図17】本発明の第3の実施の形態におけるコメント情報の取得方法を示す処理手順である。
【図18】本発明の第3の実施の形態における映像特徴量列の対応に曖昧性が存在する場合の例である。
【符号の説明】
【0185】
1 クライアント装置
2 サーバ装置
101 映像蓄積手段
102 映像DB
103 映像取得手段、映像選択手段
104 映像識別子算出手段
105 同期箇所識別子算出手段
106 映像再生手段
107 映像時間指定手段
108 映像仮想時間算出手段
109 コメント情報入力手段
110 コメント情報・映像仮想時間蓄積手段
111 コメント情報・映像仮想時間DB
112 コメント情報取得手段
113 コメント情報表示手段
【特許請求の範囲】
【請求項1】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
取得した前記映像を特定するための映像識別子を算出する映像識別子算出手段と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
前記ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手段と、
指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
ユーザにより入力されたコメントを取得するコメント情報入力手段と、
前記コメントと前記映像仮想時間算出手段で算出されたコメントが入力された映像仮想時間を関連付けてコメント情報・映像仮想時間データベースに蓄積するコメント情報・映像仮想時間蓄積手段と、
前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記コメント情報・映像仮想時間データベースから取得するコメント情報取得手段と、
前記コメント情報取得手段で取得された前記コメント情報を表示手段に表示するコメント情報表示手段と、
を有することを特徴とする映像コメント入力・表示装置。
【請求項2】
前記同期箇所識別子算出手段は、
前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項1記載の映像コメント入力・表示装置。
【請求項3】
前記映像識別子算出手段は、
前記映像識別子を算出する際に、映像特徴量を用いる請求項1または2記載の映像コメント・表示装置。
【請求項4】
前記コメント情報取得手段は、
前記コメント情報・映像仮想時間蓄積手段において、前記コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項1乃至3記載の映像コメント・表示装置。
【請求項5】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置における映像コメント入力・表示方法であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手順と、
取得した前記映像を特定するための映像識別子を算出する映像識別子算出手順と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手順と、
前記ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手順と、
指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手順と、
ユーザにより入力されたコメントを取得するコメント情報入力手順と、
前記コメントと前記映像仮想時間算出手順で算出された該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積するコメント情報・映像仮想時間蓄積手順と、
前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記記憶手段から取得するコメント情報取得手順と、
前記コメント情報取得手順で取得された前記コメント情報を表示手段に表示するコメント情報表示手順と、
を行うことを特徴とする映像コメント入力・表示方法。
【請求項6】
前記同期箇所識別子算出手順において、
前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項5記載の映像コメント入力・表示方法。
【請求項7】
前記映像識別子算出手順において、
前記映像識別子を算出する際に、映像特徴量を用いる請求項5または6記載の映像コメント・表示方法。
【請求項8】
前記コメント情報取得手順において、
前記コメント情報・映像仮想時間蓄積手順において、前記記憶手段に蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項5乃至7記載の映像コメント・表示方法。
【請求項9】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できるサーバ装置とクライアント装置からなる映像コメント入力・表示システムであって、
前記クライアント装置は、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
取得した前記映像を特定するための映像識別子を算出する映像識別子算出手段と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
前記ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手段と、
指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
ユーザにより入力されたコメントを取得するコメント情報入力手段と、
前記コメントと前記映像仮想時間算出手段で算出された該コメントが入力された映像仮想時間を関連付けて前記サーバ装置に送信するコメント情報・映像仮想時間転送手段と、
前記サーバ装置から受信したコメント情報を表示手段に表示するコメント情報表示手段と、を有し、
前記サーバ装置は、
前記クライアント装置から受信した前記コメントと該コメントが入力された映像仮想時間が関連付けられた情報を蓄積するコメント情報・映像仮想時間データベースと、
前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記コメント情報・映像仮想時間データベースから取得し、前記クライアント装置に送信するコメント情報取得手段と、を有する、
ことを特徴とする映像コメント入力・表示システム。
【請求項10】
前記クライアント装置の前記同期箇所識別子算出手段は、
前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項9記載の映像コメント入力・表示システム。
【請求項11】
前記クライアント装置の前記映像識別子算出手段は、
前記映像識別子を算出する際に、映像特徴量を用いる請求項9または10記載の映像コメント・表示システム。
【請求項12】
前記サーバ装置の前記コメント情報取得手段は、
前記コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項9記載の映像コメント・表示システム。
【請求項13】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムであって、
前記請求項5乃至8記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させることを特徴とする映像コメント入力・表示プログラム。
【請求項14】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムを格納した記憶媒体であって、
前記請求項5乃至8記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムを格納したことを特徴とする映像コメント入力・表示プログラムを格納した記憶媒体。
【請求項1】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
取得した前記映像を特定するための映像識別子を算出する映像識別子算出手段と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
前記ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手段と、
指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
ユーザにより入力されたコメントを取得するコメント情報入力手段と、
前記コメントと前記映像仮想時間算出手段で算出されたコメントが入力された映像仮想時間を関連付けてコメント情報・映像仮想時間データベースに蓄積するコメント情報・映像仮想時間蓄積手段と、
前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記コメント情報・映像仮想時間データベースから取得するコメント情報取得手段と、
前記コメント情報取得手段で取得された前記コメント情報を表示手段に表示するコメント情報表示手段と、
を有することを特徴とする映像コメント入力・表示装置。
【請求項2】
前記同期箇所識別子算出手段は、
前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項1記載の映像コメント入力・表示装置。
【請求項3】
前記映像識別子算出手段は、
前記映像識別子を算出する際に、映像特徴量を用いる請求項1または2記載の映像コメント・表示装置。
【請求項4】
前記コメント情報取得手段は、
前記コメント情報・映像仮想時間蓄積手段において、前記コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項1乃至3記載の映像コメント・表示装置。
【請求項5】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置における映像コメント入力・表示方法であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手順と、
取得した前記映像を特定するための映像識別子を算出する映像識別子算出手順と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手順と、
前記ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手順と、
指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手順と、
ユーザにより入力されたコメントを取得するコメント情報入力手順と、
前記コメントと前記映像仮想時間算出手順で算出された該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積するコメント情報・映像仮想時間蓄積手順と、
前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記記憶手段から取得するコメント情報取得手順と、
前記コメント情報取得手順で取得された前記コメント情報を表示手段に表示するコメント情報表示手順と、
を行うことを特徴とする映像コメント入力・表示方法。
【請求項6】
前記同期箇所識別子算出手順において、
前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項5記載の映像コメント入力・表示方法。
【請求項7】
前記映像識別子算出手順において、
前記映像識別子を算出する際に、映像特徴量を用いる請求項5または6記載の映像コメント・表示方法。
【請求項8】
前記コメント情報取得手順において、
前記コメント情報・映像仮想時間蓄積手順において、前記記憶手段に蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項5乃至7記載の映像コメント・表示方法。
【請求項9】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できるサーバ装置とクライアント装置からなる映像コメント入力・表示システムであって、
前記クライアント装置は、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
取得した前記映像を特定するための映像識別子を算出する映像識別子算出手段と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
前記ユーザにより指定された視聴・コメントする映像上の時間(映像時間)を取得する映像時間指定手段と、
指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
ユーザにより入力されたコメントを取得するコメント情報入力手段と、
前記コメントと前記映像仮想時間算出手段で算出された該コメントが入力された映像仮想時間を関連付けて前記サーバ装置に送信するコメント情報・映像仮想時間転送手段と、
前記サーバ装置から受信したコメント情報を表示手段に表示するコメント情報表示手段と、を有し、
前記サーバ装置は、
前記クライアント装置から受信した前記コメントと該コメントが入力された映像仮想時間が関連付けられた情報を蓄積するコメント情報・映像仮想時間データベースと、
前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記コメント情報・映像仮想時間データベースから取得し、前記クライアント装置に送信するコメント情報取得手段と、を有する、
ことを特徴とする映像コメント入力・表示システム。
【請求項10】
前記クライアント装置の前記同期箇所識別子算出手段は、
前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項9記載の映像コメント入力・表示システム。
【請求項11】
前記クライアント装置の前記映像識別子算出手段は、
前記映像識別子を算出する際に、映像特徴量を用いる請求項9または10記載の映像コメント・表示システム。
【請求項12】
前記サーバ装置の前記コメント情報取得手段は、
前記コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項9記載の映像コメント・表示システム。
【請求項13】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムであって、
前記請求項5乃至8記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させることを特徴とする映像コメント入力・表示プログラム。
【請求項14】
ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムを格納した記憶媒体であって、
前記請求項5乃至8記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムを格納したことを特徴とする映像コメント入力・表示プログラムを格納した記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2006−155384(P2006−155384A)
【公開日】平成18年6月15日(2006.6.15)
【国際特許分類】
【出願番号】特願2004−347280(P2004−347280)
【出願日】平成16年11月30日(2004.11.30)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成18年6月15日(2006.6.15)
【国際特許分類】
【出願日】平成16年11月30日(2004.11.30)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]