視聴者間コミュニケーション方法及び装置及びプログラム
【課題】 コメント表示位置の正確性を保ちつつ、コミュニケーション利便性を阻害しない区間定義を行うことを可能にする。
【解決手段】 本発明は、映像記憶手段から読み出された映像中の複数の特徴に基づいて複数の映像区間を検出して、該複数の特徴毎に、該映像区間の開始時刻及び終了時刻をシーンとして多重定義してシーン定義情報記憶手段に格納し、映像のメディアタイムがシーン定義情報記憶手段に格納されている開始時刻と終了時刻の間に含まれるシーンに対応するコメントを、ユーザから取得した映像のシーン毎のコメントが蓄積されているユーザコメント記憶手段から読み出して、映像記憶手段から読み出した映像と同期させて再生し、ユーザの表示手段に提示する。
【解決手段】 本発明は、映像記憶手段から読み出された映像中の複数の特徴に基づいて複数の映像区間を検出して、該複数の特徴毎に、該映像区間の開始時刻及び終了時刻をシーンとして多重定義してシーン定義情報記憶手段に格納し、映像のメディアタイムがシーン定義情報記憶手段に格納されている開始時刻と終了時刻の間に含まれるシーンに対応するコメントを、ユーザから取得した映像のシーン毎のコメントが蓄積されているユーザコメント記憶手段から読み出して、映像記憶手段から読み出した映像と同期させて再生し、ユーザの表示手段に提示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視聴者間コミュニケーション方法及び装置及びプログラムに係り、特に、視聴者が付与したコメント情報からコミュニケーションの対象となるシーン区間を生成、または変更するための視聴者間コミュニケーション方法及び装置及びプログラム関する。
【背景技術】
【0002】
従来、映像を視聴中のコミュニケーションの方法として、映像をシーンという小さな区間に分割して、区間毎に掲示板を設置し、区間の切り替わりと連動して掲示板も切り替わって表示されるシステムがある(例えば、非特許文献1参照)。
【0003】
シーン区間の分割方法としては、映像の画像情報が大きく変わるカット点を検出し、当該カット点を手動で統合することにより映像の中で意味的なまとまりをもつ区間をシーン区間として設定する方法がある。
【0004】
映像の中で意味的なまとまりをもつ区間をシーン区間として設定し、シーン区間誤とに電子掲示板を設置することにより、映像の途中にある見たいシーンから視聴すること、及び映像に複数のトピックがある場合には書くトピックに応じたコミュニケーションを誘導することができるようになる。
【非特許文献1】山田一穂、宮川和、森本正志、児島治彦“映像の構造情報を活用した視聴者間コミュニケーション方法の提案”情報処理学会研究報告グループウェアとネットワークサービス、No.43-007,2001
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の技術では、コミュニケーションを活性化させるために、事前に映像を同じ話題のシーンに分割する必要がある。シーン分割を行うときに、映像情報の変わり目や音声や音楽の出現などの自動抽出したイベント情報を参考にするとしても、シーンの区切りを決定するには映像内容を把握して手動で修正や確認作業が必須であり、手間と時間がかかるという問題がある。
【0006】
時間と手間を省くために、一定時間間隔でシーン分割する方法も考えられるが、この場合には、シーン区間の映像内容がまとまっていないため、シーン単位での電子掲示板に対して視聴者がコメントを付与しにくいという問題がある。
【0007】
また、事前に設定するシーン区間は、サービス提供者の判断により、まとまった内容を区間として定義することになるが、システムが運用された後、コミュニケーションに参加した視聴者にとってまとまりのある区間が、事前に設定されたシーン区間と異なる場合には、運用中にシーン区間を変更する必要がある。前述の従来の技術では、このようなシーン区間のメンテナンスについても手動で行う必要があり、手間がかかるといいう問題がある。
【0008】
本発明は、上記の点に鑑みなされたもので、視聴者から寄せられたコメントからシーン区間を自動的に抽出し、既にシーン区間が設定されている場合には、視聴者から寄せられたコメントに基づいて適切に更新することが可能な視聴者間コミュニケーション方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
図1は、本発明の原理説明図である。
【0010】
本発明(請求項1)は、映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されている記憶手段からコメント情報を取得するコメント取得ステップ(ステップ1)と、
コメントが付与された時刻に基づいて、コメントを分類するコメント付与時刻グルーピングステップ(ステップ2)と、
コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、記憶手段に格納するシーン区間検出ステップ(ステップ3)と、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップ(ステップ4)と、
を行う。
【0011】
本発明(請求項2)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピングステップと、
コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
シーン区間検出ステップで定義されたシーン区間に基づいて、記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割ステップと、
シーン区間分割ステップで分割されたシーン区間を用いて記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。
【0012】
本発明(請求項3)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
シーン区間統合ステップで統合されたシーン区間で、記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。
【0013】
本発明(請求項4)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピングステップと、
コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
シーン区間検出ステップで定義されたシーン区間に基づいて、記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割ステップと、
メモリに格納されているシーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
シーン区間統合ステップで統合されたシーン区間で、記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。
【0014】
図2は、本発明の原理構成図である。
【0015】
本発明(請求項5)は、映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されているデータ記憶手段2と、
データ記憶手段からコメント情報を取得するコメント取得手段3と、
コメントが付与された時刻に基づいて、コメントを分類するコメント付与時刻グルーピング手段41と、
コメント付与時刻グルーピング手段41でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、データ記憶手段に格納するシーン区間検出手段42と、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置10に表示する表示手段1と、
を有する。
【0016】
本発明(請求項6)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピング手段と、
コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
シーン区間検出手段で定義されたシーン区間に基づいて、データ記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割手段と、
シーン区間分割手段で分割されたシーン区間を用いてデータ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。
【0017】
本発明(請求項7)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
シーン区間統合手段で統合されたシーン区間で、データ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。
【0018】
本発明(請求項8)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピング手段と、
コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
シーン区間検出手段で定義されたシーン区間に基づいて、データ記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割手段と、
メモリに格納されているシーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
シーン区間統合手段で統合されたシーン区間で、データ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。
【0019】
本発明(請求項9)は、 映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、前記請求項1記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させるプログラムである。
【0020】
本発明(請求項10)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、請求項2乃至4記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させるプログラムである。
【発明の効果】
【0021】
上記のように、本発明によれば、映像視聴と連動したコミュニケーションシステムにおいて、視聴者から寄せられたコメントからシーン区間を自動的に定義することが可能となり、また、既にシーン区間が設定されている場合には、適切に更新することが可能であるため、事前に映像をシーン区間に分割する手間と時間を省くことができる。
【0022】
また、映像視聴と連動したコミュニケーションシステムを運用する中で、シーン区間の変更に対するメンテナンスをする必要がなくなる。
【0023】
さらに、視聴者の視点で適切にシーンが区切られるので、視聴者にとって必要なシーンやコメントがよりフォーカスされることとなり、映像視聴しながらコメント内容を把握したり、コメント一覧を見ながら所望のシーンを検索したりすることが容易になる。
【発明を実施するための最良の形態】
【0024】
以下、図面と共に本発明の実施の形態を説明する。
【0025】
図3は、本発明の一実施の形態におけるコミュニケーション装置の構成を示す。同図に示すコミュニケーション装置は、視聴者間コミュニケーション部1、データ記憶部2、コメント取得部3、コメント分析によるシーン区間検出部4、シーン区間情報更新部5、及び設定ファイル6から構成される。
【0026】
データ記憶部2は、映像を格納した映像ファイルと、視聴者が付与したコメントに関する情報を格納するコメント情報管理テーブルと、シーン区間に関する情報を管理するシーン区間情報テーブルを有する。本実施の形態では、コメント情報は、図4に示すようにコメント情報の管理テーブルで管理され、コメントの識別番号、コメントが付与された時刻、コメント付与者名、コメント内容、コメント種別(最初に付与したコメントであるか、誰かのコメントに対して返信したコメント(スレッド)であるかを識別するもの)で構成される。シーン区間情報は、図5に示すように、シーン区間情報テーブルで管理され、シーンID、シーンの開始時刻、シーンの終了時刻及び、当該シーンの開始時刻−シーンの終了時刻内に付与されたコメントのコメント識別番号から構成される。
【0027】
設定ファイル6は、データ記憶部2にシーン区間情報が存在する場合には、当該シーン区間情報(シーンID,シーンの開始時刻、シーンの終了時刻)が格納されており、存在しない場合には、「NULL」が格納されている。
【0028】
視聴者間コミュニケーション部1は、データ記憶部2から映像と視聴者から寄せられたコメントとを同期させて提示する。ここで、設定ファイル6を参照して、対象とする映像に対するシーン区間情報がある(シーン開始時刻、シーン終了時刻)がある場合には、データ記憶部2にシーン区間情報があると判断し、データ記憶部2からシーン区間の映像の代表画像、例えば、シーン区間の先頭のフレーム画像と共に、当該シーン区間に付与されたコメントを一覧表示させて、どのようなシーン区間があり、また、各シーン区間にどのようなコメントが付与されているかを概観できるようにする。視聴者がシーン区間を選択したときには、その区間に対する映像を、シーン区間に基づいてデータ記憶部2を検索し、再生すると共に、その区間に付与されたコメントを表示する。
【0029】
また、視聴者が視聴しながらコメント付与の指示を行うことによりメントを入力したときには、コメント入力の対象となるシーン区間と共に、入力されたコメントを受け付ける。受け付けたコメントはシーンIDと共にデータ記憶部2に書き込む。
【0030】
コメント取得部3は、予め設定したタイミングでデータ記憶部2のコメント情報管理テーブルからコメント情報を読み取り、読み取ったコメント情報をコメント分析し、シーン区間検出部4に出力する。
【0031】
シーン区間検出部4は、コメント取得部3より取得したコメント情報からシーン区間を検出し、検出したシーン区間をシーン区間情報更新部5に出力する。
【0032】
シーン区間情報更新部5は、シーン区間検出部4より受け取ったシーン区間に応じてデータ記憶部2に記憶されているシーン区間情報テーブルを更新する。
【0033】
以上の構成により、コメント分析によるシーン区間検出部4で検出されたシーン区間に従って、映像視聴者のコミュニケーション機能が提供されることになる。
【0034】
図6は、本発明の一実施の形態におけるコミュニケーション装置の動作の概要を示すフローチャートである。
【0035】
ステップ101) 視聴者間コミュニケーション部1は、設定ファイル6を参照する。
【0036】
ステップ102) 設定ファイル6を参照することにより、データ記憶部2にシーン区間が既に設定されているかを判定する。例えば、設定ファイル6には、設定されている場合には、シーン区間情報(例えば、シーンID,シーンの開始時刻/終了時刻)または、設定されていることを示すフラグ(例えば「1」)等が設定されているものとする。また、設定されていない場合には、「NULL」または、設定されていないことを示すフラグ(例えば「0」)等が設定されているものとする。設定されていない場合には、ステップ103に移行し、後述する第1の実施の形態の処理を行う。設定されている場合には、ステップ110に移行し、後述する第2〜第5の実施の形態の処理を行う。
【0037】
ステップ103) 第1の実施の形態として、データ記憶部2に格納されている映像とコメントを同期させてユーザ端末に表示する。
【0038】
ステップ104) 視聴者からコメントが入力された場合には、当該コメントをデータ記憶部2に格納する。
【0039】
ステップ105) コメント取得部3が、コメント情報をデータ記憶部2から取得して分析し、分析結果をシーン区間検出部4に渡す。
【0040】
ステップ106) シーン区間検出部4は、取得した分析結果に基づいてシーン区間を検出する。詳細な処理は、第1の実施の形態で説明する。
【0041】
ステップ107) シーン区間情報更新部5が、検出されたシーン区間をデータ記憶部2に格納する。
【0042】
ステップ108) シーン区間情報更新部5が、設定ファイル6にシーン区間がデータ記憶部2に設定されたことを示すフラグまたは、シーン区間情報を設定する。
【0043】
ステップ109) 視聴者間コミュニケーション部1がデータ記憶部2からシーン区間に対応する映像及びコメントをユーザ端末に表示する。
【0044】
ステップ110) ステップ102において、データ記憶部にシーン区間が存在する場合には、シーン区間の代表映像を一覧表示する。
【0045】
ステップ111) コメントが視聴者から入力された場合には、シーン区間に対応付けてデータ記憶部2に格納する。
【0046】
ステップ112) コメント取得部3が、コメント情報をデータ記憶部2から取得して分析し、分析結果をシーン区間検出部4に渡す。
【0047】
ステップ113) シーン区間検出部4は、取得した分析結果に基づいてシーン区間を検出する。詳細な処理は、第2〜5の実施の形態で説明する。
【0048】
ステップ114) シーン区間情報更新部5が、検出されたシーン区間をデータ記憶部2に格納する。ステップ109に移行する。
【0049】
[第1の実施の形態]
本実施の形態では、シーン区間情報がデータ記憶部2に設定されていない状態であり、新たにシーン区間を検出してデータ記憶部2に設定する処理を説明する。
【0050】
図7は、本発明の第1の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。
【0051】
同図に示す動作は、シーン区間が未定義、すなわち、データ記憶部2で管理されているシーン区間情報が、映像の先頭と終了が1つのシーンとなっている状態から、コメント分析により、新たなシーン区間を定義するものである。
【0052】
ステップ201) シーン区間検出部4は、データ記憶部2のコメント情報の管理テーブルより、コメントが付与された時刻を読み出し、コメントを分類する。このとき、コメント種別が「返信」であるものを除いたコメントについて、付与された時刻が予め設定された値よりも短いものを同一のグループとする処理を行う。このときに、返信の数やコメント文字総数が大きいほどコメント間の時間間隔が小さくなるように処理を追加してもよい。また、分類した各グループのコメント数が予め設定された値以下の場合には、そのグループを削除する処理を行うことで、映像全体に対するコメント数が少ない場合に、短い区間に数多く分割されることを防止することができる。
【0053】
シーン区間検出部4は、メモリ内に、N個のコメントグループを、付与された時刻が早い順に、n=1,2,…,Nの番号で管理する。
【0054】
ステップ202) n=1とし、1番目のグループに対応するシーン区間を順次、検出する。
【0055】
ステップ203) グループ番号nに属するコメントの中で、最初に付与された時刻ts(n)を検出する。
【0056】
ステップ204) グループ番号nに属するコメントの中で、最後に付与された時刻te(n)を検出する。
【0057】
ステップ205) シーン区間を定義するときのマージンとして、区間の開始に対するマージン時間aと、区間終了に対するマージン時間bを事前に設定しておき、時刻ts(n)−aと時刻te(n)+bをシーン区間時刻として検出する。
【0058】
ステップ206) 全てのコメントグループに対して処理を行ったかを判断する。行っている場合には、ステップ205の処理へ移行し、行っていない場合には、ステップ207の処理を実行する。
【0059】
ステップ207) 次のコメントグループに対する処理を行う。
【0060】
ステップ208) 全てのコメントグループに対してシーン区間時刻の設定処理を行った場合には、下記の区間をシーン区間として検出する。
【0061】
映像時刻の先頭から時刻ts(1)−aまでの区間;
時刻te(n)−aから時刻te(n)+b (n=1,2,…,N−1)
時刻te(n)+bから時刻ts(n+1)−a (n=1,2,…,N−1)
時刻ts(N)−aから時刻te(N)+b
時刻te(N)+bから映像時刻の最後
以上の処理により、シーン区間が定義される様子を図8に示す。同図では、コメントグループが3つに分類され、最終的に7つのシーン区間が定義されたことを示す。
【0062】
シーンが定義されると、当該シーン区間をシーン区間更新部5に転送し、シーン区間更新部5がデータ記憶部2のシーン区間情報を更新する。シーン区間更新部5は、上記で得られたシーン毎にシーンIDを付与し、そのシーン毎の開始時刻(ts)と終了時刻(te)、及び、当該開始時刻・終了時刻内のコメントの識別番号をデータ記憶部2のシーン区間情報テーブルに格納する。
【0063】
[第2の実施の形態]
本実施の形態におけるコミュニケーション装置の構成は、図3に示す構成と同様である。
【0064】
以下では、シーン区間が既に定義されている場合に(図6、ステップ102、Yes)、コメント分析により、新たなシーン区間が定義される手順を示す。
【0065】
図9は、本発明の第2の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。なお、以下の処理において、図7に示すフローチャート同様の動作については同一のステップ番号を付し、その説明を省略する。
【0066】
ステップ301) 既存のシーン区間の識別番号であるs(s=1,2,…,S)に対してs=1に設定する。
【0067】
ステップ302) データ記憶部2から識別番号sのシーン区間に対して付与されたコメント情報を読み取る。
【0068】
ステップ201) ステップ302で取得したコメント情報を対象に、図7のステップ201のコメント分類処理を施す。
【0069】
ステップ303) 分類されたコメントグループの数が1より大きいかを判定し、大きい場合には、ステップ202の処理に移行し、大きくない場合には、ステップ305に移行する。
【0070】
以下、図7のステップ202,203,204、206,207の処理を実行する。
【0071】
ステップ304) シーン区間sをコメントグループ数のN個の区間に分割する。n個目とn+1個目のシーン区間の区切りは、
te(n)+(ts(n+1)−te(n))/2
とする。
【0072】
ステップ305) 既存の全てのシーン区間に対して処理を行ったかを判断する。行っている場合には、全体の処理を終了し、行っていない場合には、ステップ304の処理を実行する。
【0073】
ステップ306) 既存の次のシーン区間に対する処理を行う。
【0074】
以上述べた処理により、既存のシーン区間が分割される様子を図10に示す。同図における既存の「シーン区間2」が2つのコメントグループに分類されたため、処理終了後に定義されたシーン区間に示すように分割される。このように、長いシーン区間がある場合には、適切に分割されるようになる。
【0075】
[第3の実施の形態]
本実施の形態におけるコミュニケーション装置の構成は、前述の図3に示す構成と同様である。
【0076】
以下では、同図を用いてシーン区間が既に設定されている場合に(図6、ステップ102、Yes)、コメント分析により新たなシーン区間が定義される手順を示す。
【0077】
本実施の形態では、既存のシーン区間の中に視聴者にとっては同一の話題である区間が複数の区間に分割されていた場合に、シーン区間検出部4において、それらの区間を類似度を用いて統合する処理について説明する。
【0078】
図11は、本発明の第3の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。
【0079】
ステップ401) 既存のシーン区間の識別番号であるs(s=1,2,…,S)に対して、s=1を設定する。
【0080】
ステップ402) データ記憶部2から、識別番号sとs+1のシーン区間に対して付与されたコメント情報を読み取る。
【0081】
ステップ403) ステップ402で取得したコメント情報のコメント分に対して形態素解析を行う。
【0082】
ステップ404) 形態素解析の結果から、識別番号sのシーン区間に対する名詞の頻度分布、及び、識別番号、s+1のシーン区間に対する名詞の頻度分布をそれぞれ求める。頻度分布を求めるときに、意味が類似した名詞の辞書データを用意しておくことで、類似した名詞をまとめてカウントする方法も有効である。
【0083】
ステップ405) 予め設定しておいた以上の頻度の名詞について、識別番号sと識別番号s+1のシーン区間で共通した名詞の数ns(s,s+1)を算出する。
【0084】
ステップ406) 共通した名詞の数ns(s,s+1)が予め設定しておいた値NSより大きいかを判定する。大きい場合にはステップ407の処理に移行し、大きくない場合には、ステップ408の処理を実行する。
【0085】
ステップ407) 識別番号sと識別番号s+1のシーン区間を統合して1つの区間とする。
【0086】
ステップ408) データ記憶部2に存在する既存の全てのシーン区間に対して処理を行ったかを判断する。行っている場合には、全体の処理を終了し、行っていない場合にはステップ409の処理を実行する。
【0087】
ステップ409)既存の次のシーン区間に対する処理を行う。
【0088】
上記の処理により既存のシーン区間が統合される例を図12に示す。同図における既存の「シーン区間2」と「シーン区間3」の類似度が大きいと判定され、これらが統合された例を示す。このように、既存のシーン区間の中に視聴者にとっては同一の話題である区間が複数の区間に分割されていた場合には、それらの区間が統合されるようになる。
【0089】
[第4の実施の形態]
本実施の形態におけるコミュニケーション装置の構成は、図3に示す構成と同様である。
【0090】
本実施の形態では、コメント分析によるシーン区間検出処理部4によるシーン区間の分割処理及びシーン区間の統合処理について説明する。つまり、前述の第2の実施の形態のシーン区間の分割と、第3の実施の形態のシーン区間の統合処理を組み合わせた例である。
【0091】
前述の図9で説明した処理によりシーン区間の分割処理を行い、分割されたシーン区間をメモリに格納しておき、当該分割処理が行われた後のメモリに格納されているシーン区間について、図11に示すシーン区間の統合処理を行う。
【0092】
当該処理により、既存シーン区間の中に視聴者にとってシーン区間が長い区間と同一の話題である区間が複数の区間に分割されている区間が混在する場合には、それらの区間が分割・統合されるようになる。
【0093】
ここで、重要なのは、コメント内容に基づいて、シーン区間を統合する処理を後に行うことにより、話題が同一区間は必ず同一のシーン区間として定義されることにある。
【0094】
[第5の実施の形態]
本実施の形態におけるコミュニケーション装置の構成を図13に示す。同図に示す構成は、前述の第1の実施の形態の図3に示す構成に視聴者ビュー区間記憶部7を付加した構成である。
【0095】
本実施の形態では、コメント分析によるシーン区間検出処理部4によるシーン区間の分割処理及びシーン区間の統合処理について説明する。
【0096】
上記に示した既にシーン区間が定義されている場合に、既存のシーン区間を分割、または、統合する処理において、シーン区間を分割、または、統合すると判定されたときには、既存のシーン区間はデータ記憶部2にそのまま保持し、分割または、統合されるシーン区間を視聴者ビュー区間として別に視聴者ビュー区間記憶部7に格納する。
【0097】
これにより、ステップ150において、視聴者コミュニケーション部1は、視聴者ビュー区間記憶部7に視聴者ビュー区間が定義されていて、かつ、ユーザ操作の指示により視聴者ビューをシーン区間に置き換えるように設定された場合には、視聴者ビュー区間記憶部7の視聴者ビュー区間をデータ記憶部2のシーン区間に置き換えて、対応する映像とコメントをデータ記憶部2から読み出して提示する。
【0098】
上記で述べた処理により、サービス提供者は、既存のシーン区間を固定的に使用したく、視聴者の中には、コメントの付与に基づいたシーン区間に変更したい要望があったときに、両者の要望を満足することができる。
【0099】
また、上記の第1〜第5の実施の形態において、映像における画像情報が大きく変化するカット点から次のカット点までの区間、発話区間、音の発生区間のいずれかをイベント区間として検出しておき、検出したシーン区間がイベント区間と重なる場合には、区間の開始は、イベント区間の直前に、区間の終了はイベント区間の終了直後に変更する。なお、映像におけるイベント区間の検出方法については、既存の技術を用いるものとする。
【0100】
また、上記の第1〜第5の実施の形態の各動作をプログラムとして構築し、コミュニケーション装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることも可能である。
【0101】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【0102】
本発明は、映像中のシーンとコメントを表示するシステムに適用可能である。
【図面の簡単な説明】
【0103】
【図1】本発明の原理構成図である。
【図2】本発明の原理説明図である。
【図3】本発明の一実施の形態におけるコミュニケーション装置の構成図である。
【図4】本発明の一実施の形態におけるシーン定義処理のフローチャートである。
【図5】本発明の一実施の形態におけるシーン定義処理の詳細なフローチャートである。
【図6】本発明の一実施の形態における多重シーン定義の状態を説明するための図である。
【図7】本発明の一実施の形態におけるシーン定義ファイルの例である。
【図8】本発明の一実施の形態における映像・コメント同期再生処理のフローチャートである。
【図9】本発明の一実施の形態における映像コメント同期再生処理のフローチャートである。
【図10】本発明の一実施の形態におけるユーザコメント記憶部に格納されるコメントの例である。
【図11】本発明の一実施の形態におけるコメント受付処理のフローチャートである。
【図12】本発明の一実施の形態におけるユーザからシーンに対するコメントを取得する画面例である。
【図13】本発明の一実施の形態におけるコメント取得時のシーンIDの判断方法の例である。
【符号の説明】
【0104】
10 ユーザ入力端末
11 シーン定義部
12 シーン定義手段、シーン定義登録部
20 表示手段、ユーザ表示端末
21 映像・コメント同期再生手段、映像・コメント同期配信部
22 ユーザコメント受け取り部
31 映像記憶手段、映像記憶部
32 シーン定義情報記憶手段、シーン定義情報記憶部
33 ユーザコメント記憶手段、ユーザコメント記憶部
【技術分野】
【0001】
本発明は、視聴者間コミュニケーション方法及び装置及びプログラムに係り、特に、視聴者が付与したコメント情報からコミュニケーションの対象となるシーン区間を生成、または変更するための視聴者間コミュニケーション方法及び装置及びプログラム関する。
【背景技術】
【0002】
従来、映像を視聴中のコミュニケーションの方法として、映像をシーンという小さな区間に分割して、区間毎に掲示板を設置し、区間の切り替わりと連動して掲示板も切り替わって表示されるシステムがある(例えば、非特許文献1参照)。
【0003】
シーン区間の分割方法としては、映像の画像情報が大きく変わるカット点を検出し、当該カット点を手動で統合することにより映像の中で意味的なまとまりをもつ区間をシーン区間として設定する方法がある。
【0004】
映像の中で意味的なまとまりをもつ区間をシーン区間として設定し、シーン区間誤とに電子掲示板を設置することにより、映像の途中にある見たいシーンから視聴すること、及び映像に複数のトピックがある場合には書くトピックに応じたコミュニケーションを誘導することができるようになる。
【非特許文献1】山田一穂、宮川和、森本正志、児島治彦“映像の構造情報を活用した視聴者間コミュニケーション方法の提案”情報処理学会研究報告グループウェアとネットワークサービス、No.43-007,2001
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の技術では、コミュニケーションを活性化させるために、事前に映像を同じ話題のシーンに分割する必要がある。シーン分割を行うときに、映像情報の変わり目や音声や音楽の出現などの自動抽出したイベント情報を参考にするとしても、シーンの区切りを決定するには映像内容を把握して手動で修正や確認作業が必須であり、手間と時間がかかるという問題がある。
【0006】
時間と手間を省くために、一定時間間隔でシーン分割する方法も考えられるが、この場合には、シーン区間の映像内容がまとまっていないため、シーン単位での電子掲示板に対して視聴者がコメントを付与しにくいという問題がある。
【0007】
また、事前に設定するシーン区間は、サービス提供者の判断により、まとまった内容を区間として定義することになるが、システムが運用された後、コミュニケーションに参加した視聴者にとってまとまりのある区間が、事前に設定されたシーン区間と異なる場合には、運用中にシーン区間を変更する必要がある。前述の従来の技術では、このようなシーン区間のメンテナンスについても手動で行う必要があり、手間がかかるといいう問題がある。
【0008】
本発明は、上記の点に鑑みなされたもので、視聴者から寄せられたコメントからシーン区間を自動的に抽出し、既にシーン区間が設定されている場合には、視聴者から寄せられたコメントに基づいて適切に更新することが可能な視聴者間コミュニケーション方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
図1は、本発明の原理説明図である。
【0010】
本発明(請求項1)は、映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されている記憶手段からコメント情報を取得するコメント取得ステップ(ステップ1)と、
コメントが付与された時刻に基づいて、コメントを分類するコメント付与時刻グルーピングステップ(ステップ2)と、
コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、記憶手段に格納するシーン区間検出ステップ(ステップ3)と、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップ(ステップ4)と、
を行う。
【0011】
本発明(請求項2)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピングステップと、
コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
シーン区間検出ステップで定義されたシーン区間に基づいて、記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割ステップと、
シーン区間分割ステップで分割されたシーン区間を用いて記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。
【0012】
本発明(請求項3)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
シーン区間統合ステップで統合されたシーン区間で、記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。
【0013】
本発明(請求項4)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピングステップと、
コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
シーン区間検出ステップで定義されたシーン区間に基づいて、記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割ステップと、
メモリに格納されているシーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
シーン区間統合ステップで統合されたシーン区間で、記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。
【0014】
図2は、本発明の原理構成図である。
【0015】
本発明(請求項5)は、映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されているデータ記憶手段2と、
データ記憶手段からコメント情報を取得するコメント取得手段3と、
コメントが付与された時刻に基づいて、コメントを分類するコメント付与時刻グルーピング手段41と、
コメント付与時刻グルーピング手段41でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、データ記憶手段に格納するシーン区間検出手段42と、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置10に表示する表示手段1と、
を有する。
【0016】
本発明(請求項6)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピング手段と、
コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
シーン区間検出手段で定義されたシーン区間に基づいて、データ記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割手段と、
シーン区間分割手段で分割されたシーン区間を用いてデータ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。
【0017】
本発明(請求項7)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
シーン区間統合手段で統合されたシーン区間で、データ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。
【0018】
本発明(請求項8)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピング手段と、
コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
シーン区間検出手段で定義されたシーン区間に基づいて、データ記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割手段と、
メモリに格納されているシーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
シーン区間統合手段で統合されたシーン区間で、データ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。
【0019】
本発明(請求項9)は、 映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、前記請求項1記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させるプログラムである。
【0020】
本発明(請求項10)は、映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、請求項2乃至4記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させるプログラムである。
【発明の効果】
【0021】
上記のように、本発明によれば、映像視聴と連動したコミュニケーションシステムにおいて、視聴者から寄せられたコメントからシーン区間を自動的に定義することが可能となり、また、既にシーン区間が設定されている場合には、適切に更新することが可能であるため、事前に映像をシーン区間に分割する手間と時間を省くことができる。
【0022】
また、映像視聴と連動したコミュニケーションシステムを運用する中で、シーン区間の変更に対するメンテナンスをする必要がなくなる。
【0023】
さらに、視聴者の視点で適切にシーンが区切られるので、視聴者にとって必要なシーンやコメントがよりフォーカスされることとなり、映像視聴しながらコメント内容を把握したり、コメント一覧を見ながら所望のシーンを検索したりすることが容易になる。
【発明を実施するための最良の形態】
【0024】
以下、図面と共に本発明の実施の形態を説明する。
【0025】
図3は、本発明の一実施の形態におけるコミュニケーション装置の構成を示す。同図に示すコミュニケーション装置は、視聴者間コミュニケーション部1、データ記憶部2、コメント取得部3、コメント分析によるシーン区間検出部4、シーン区間情報更新部5、及び設定ファイル6から構成される。
【0026】
データ記憶部2は、映像を格納した映像ファイルと、視聴者が付与したコメントに関する情報を格納するコメント情報管理テーブルと、シーン区間に関する情報を管理するシーン区間情報テーブルを有する。本実施の形態では、コメント情報は、図4に示すようにコメント情報の管理テーブルで管理され、コメントの識別番号、コメントが付与された時刻、コメント付与者名、コメント内容、コメント種別(最初に付与したコメントであるか、誰かのコメントに対して返信したコメント(スレッド)であるかを識別するもの)で構成される。シーン区間情報は、図5に示すように、シーン区間情報テーブルで管理され、シーンID、シーンの開始時刻、シーンの終了時刻及び、当該シーンの開始時刻−シーンの終了時刻内に付与されたコメントのコメント識別番号から構成される。
【0027】
設定ファイル6は、データ記憶部2にシーン区間情報が存在する場合には、当該シーン区間情報(シーンID,シーンの開始時刻、シーンの終了時刻)が格納されており、存在しない場合には、「NULL」が格納されている。
【0028】
視聴者間コミュニケーション部1は、データ記憶部2から映像と視聴者から寄せられたコメントとを同期させて提示する。ここで、設定ファイル6を参照して、対象とする映像に対するシーン区間情報がある(シーン開始時刻、シーン終了時刻)がある場合には、データ記憶部2にシーン区間情報があると判断し、データ記憶部2からシーン区間の映像の代表画像、例えば、シーン区間の先頭のフレーム画像と共に、当該シーン区間に付与されたコメントを一覧表示させて、どのようなシーン区間があり、また、各シーン区間にどのようなコメントが付与されているかを概観できるようにする。視聴者がシーン区間を選択したときには、その区間に対する映像を、シーン区間に基づいてデータ記憶部2を検索し、再生すると共に、その区間に付与されたコメントを表示する。
【0029】
また、視聴者が視聴しながらコメント付与の指示を行うことによりメントを入力したときには、コメント入力の対象となるシーン区間と共に、入力されたコメントを受け付ける。受け付けたコメントはシーンIDと共にデータ記憶部2に書き込む。
【0030】
コメント取得部3は、予め設定したタイミングでデータ記憶部2のコメント情報管理テーブルからコメント情報を読み取り、読み取ったコメント情報をコメント分析し、シーン区間検出部4に出力する。
【0031】
シーン区間検出部4は、コメント取得部3より取得したコメント情報からシーン区間を検出し、検出したシーン区間をシーン区間情報更新部5に出力する。
【0032】
シーン区間情報更新部5は、シーン区間検出部4より受け取ったシーン区間に応じてデータ記憶部2に記憶されているシーン区間情報テーブルを更新する。
【0033】
以上の構成により、コメント分析によるシーン区間検出部4で検出されたシーン区間に従って、映像視聴者のコミュニケーション機能が提供されることになる。
【0034】
図6は、本発明の一実施の形態におけるコミュニケーション装置の動作の概要を示すフローチャートである。
【0035】
ステップ101) 視聴者間コミュニケーション部1は、設定ファイル6を参照する。
【0036】
ステップ102) 設定ファイル6を参照することにより、データ記憶部2にシーン区間が既に設定されているかを判定する。例えば、設定ファイル6には、設定されている場合には、シーン区間情報(例えば、シーンID,シーンの開始時刻/終了時刻)または、設定されていることを示すフラグ(例えば「1」)等が設定されているものとする。また、設定されていない場合には、「NULL」または、設定されていないことを示すフラグ(例えば「0」)等が設定されているものとする。設定されていない場合には、ステップ103に移行し、後述する第1の実施の形態の処理を行う。設定されている場合には、ステップ110に移行し、後述する第2〜第5の実施の形態の処理を行う。
【0037】
ステップ103) 第1の実施の形態として、データ記憶部2に格納されている映像とコメントを同期させてユーザ端末に表示する。
【0038】
ステップ104) 視聴者からコメントが入力された場合には、当該コメントをデータ記憶部2に格納する。
【0039】
ステップ105) コメント取得部3が、コメント情報をデータ記憶部2から取得して分析し、分析結果をシーン区間検出部4に渡す。
【0040】
ステップ106) シーン区間検出部4は、取得した分析結果に基づいてシーン区間を検出する。詳細な処理は、第1の実施の形態で説明する。
【0041】
ステップ107) シーン区間情報更新部5が、検出されたシーン区間をデータ記憶部2に格納する。
【0042】
ステップ108) シーン区間情報更新部5が、設定ファイル6にシーン区間がデータ記憶部2に設定されたことを示すフラグまたは、シーン区間情報を設定する。
【0043】
ステップ109) 視聴者間コミュニケーション部1がデータ記憶部2からシーン区間に対応する映像及びコメントをユーザ端末に表示する。
【0044】
ステップ110) ステップ102において、データ記憶部にシーン区間が存在する場合には、シーン区間の代表映像を一覧表示する。
【0045】
ステップ111) コメントが視聴者から入力された場合には、シーン区間に対応付けてデータ記憶部2に格納する。
【0046】
ステップ112) コメント取得部3が、コメント情報をデータ記憶部2から取得して分析し、分析結果をシーン区間検出部4に渡す。
【0047】
ステップ113) シーン区間検出部4は、取得した分析結果に基づいてシーン区間を検出する。詳細な処理は、第2〜5の実施の形態で説明する。
【0048】
ステップ114) シーン区間情報更新部5が、検出されたシーン区間をデータ記憶部2に格納する。ステップ109に移行する。
【0049】
[第1の実施の形態]
本実施の形態では、シーン区間情報がデータ記憶部2に設定されていない状態であり、新たにシーン区間を検出してデータ記憶部2に設定する処理を説明する。
【0050】
図7は、本発明の第1の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。
【0051】
同図に示す動作は、シーン区間が未定義、すなわち、データ記憶部2で管理されているシーン区間情報が、映像の先頭と終了が1つのシーンとなっている状態から、コメント分析により、新たなシーン区間を定義するものである。
【0052】
ステップ201) シーン区間検出部4は、データ記憶部2のコメント情報の管理テーブルより、コメントが付与された時刻を読み出し、コメントを分類する。このとき、コメント種別が「返信」であるものを除いたコメントについて、付与された時刻が予め設定された値よりも短いものを同一のグループとする処理を行う。このときに、返信の数やコメント文字総数が大きいほどコメント間の時間間隔が小さくなるように処理を追加してもよい。また、分類した各グループのコメント数が予め設定された値以下の場合には、そのグループを削除する処理を行うことで、映像全体に対するコメント数が少ない場合に、短い区間に数多く分割されることを防止することができる。
【0053】
シーン区間検出部4は、メモリ内に、N個のコメントグループを、付与された時刻が早い順に、n=1,2,…,Nの番号で管理する。
【0054】
ステップ202) n=1とし、1番目のグループに対応するシーン区間を順次、検出する。
【0055】
ステップ203) グループ番号nに属するコメントの中で、最初に付与された時刻ts(n)を検出する。
【0056】
ステップ204) グループ番号nに属するコメントの中で、最後に付与された時刻te(n)を検出する。
【0057】
ステップ205) シーン区間を定義するときのマージンとして、区間の開始に対するマージン時間aと、区間終了に対するマージン時間bを事前に設定しておき、時刻ts(n)−aと時刻te(n)+bをシーン区間時刻として検出する。
【0058】
ステップ206) 全てのコメントグループに対して処理を行ったかを判断する。行っている場合には、ステップ205の処理へ移行し、行っていない場合には、ステップ207の処理を実行する。
【0059】
ステップ207) 次のコメントグループに対する処理を行う。
【0060】
ステップ208) 全てのコメントグループに対してシーン区間時刻の設定処理を行った場合には、下記の区間をシーン区間として検出する。
【0061】
映像時刻の先頭から時刻ts(1)−aまでの区間;
時刻te(n)−aから時刻te(n)+b (n=1,2,…,N−1)
時刻te(n)+bから時刻ts(n+1)−a (n=1,2,…,N−1)
時刻ts(N)−aから時刻te(N)+b
時刻te(N)+bから映像時刻の最後
以上の処理により、シーン区間が定義される様子を図8に示す。同図では、コメントグループが3つに分類され、最終的に7つのシーン区間が定義されたことを示す。
【0062】
シーンが定義されると、当該シーン区間をシーン区間更新部5に転送し、シーン区間更新部5がデータ記憶部2のシーン区間情報を更新する。シーン区間更新部5は、上記で得られたシーン毎にシーンIDを付与し、そのシーン毎の開始時刻(ts)と終了時刻(te)、及び、当該開始時刻・終了時刻内のコメントの識別番号をデータ記憶部2のシーン区間情報テーブルに格納する。
【0063】
[第2の実施の形態]
本実施の形態におけるコミュニケーション装置の構成は、図3に示す構成と同様である。
【0064】
以下では、シーン区間が既に定義されている場合に(図6、ステップ102、Yes)、コメント分析により、新たなシーン区間が定義される手順を示す。
【0065】
図9は、本発明の第2の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。なお、以下の処理において、図7に示すフローチャート同様の動作については同一のステップ番号を付し、その説明を省略する。
【0066】
ステップ301) 既存のシーン区間の識別番号であるs(s=1,2,…,S)に対してs=1に設定する。
【0067】
ステップ302) データ記憶部2から識別番号sのシーン区間に対して付与されたコメント情報を読み取る。
【0068】
ステップ201) ステップ302で取得したコメント情報を対象に、図7のステップ201のコメント分類処理を施す。
【0069】
ステップ303) 分類されたコメントグループの数が1より大きいかを判定し、大きい場合には、ステップ202の処理に移行し、大きくない場合には、ステップ305に移行する。
【0070】
以下、図7のステップ202,203,204、206,207の処理を実行する。
【0071】
ステップ304) シーン区間sをコメントグループ数のN個の区間に分割する。n個目とn+1個目のシーン区間の区切りは、
te(n)+(ts(n+1)−te(n))/2
とする。
【0072】
ステップ305) 既存の全てのシーン区間に対して処理を行ったかを判断する。行っている場合には、全体の処理を終了し、行っていない場合には、ステップ304の処理を実行する。
【0073】
ステップ306) 既存の次のシーン区間に対する処理を行う。
【0074】
以上述べた処理により、既存のシーン区間が分割される様子を図10に示す。同図における既存の「シーン区間2」が2つのコメントグループに分類されたため、処理終了後に定義されたシーン区間に示すように分割される。このように、長いシーン区間がある場合には、適切に分割されるようになる。
【0075】
[第3の実施の形態]
本実施の形態におけるコミュニケーション装置の構成は、前述の図3に示す構成と同様である。
【0076】
以下では、同図を用いてシーン区間が既に設定されている場合に(図6、ステップ102、Yes)、コメント分析により新たなシーン区間が定義される手順を示す。
【0077】
本実施の形態では、既存のシーン区間の中に視聴者にとっては同一の話題である区間が複数の区間に分割されていた場合に、シーン区間検出部4において、それらの区間を類似度を用いて統合する処理について説明する。
【0078】
図11は、本発明の第3の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。
【0079】
ステップ401) 既存のシーン区間の識別番号であるs(s=1,2,…,S)に対して、s=1を設定する。
【0080】
ステップ402) データ記憶部2から、識別番号sとs+1のシーン区間に対して付与されたコメント情報を読み取る。
【0081】
ステップ403) ステップ402で取得したコメント情報のコメント分に対して形態素解析を行う。
【0082】
ステップ404) 形態素解析の結果から、識別番号sのシーン区間に対する名詞の頻度分布、及び、識別番号、s+1のシーン区間に対する名詞の頻度分布をそれぞれ求める。頻度分布を求めるときに、意味が類似した名詞の辞書データを用意しておくことで、類似した名詞をまとめてカウントする方法も有効である。
【0083】
ステップ405) 予め設定しておいた以上の頻度の名詞について、識別番号sと識別番号s+1のシーン区間で共通した名詞の数ns(s,s+1)を算出する。
【0084】
ステップ406) 共通した名詞の数ns(s,s+1)が予め設定しておいた値NSより大きいかを判定する。大きい場合にはステップ407の処理に移行し、大きくない場合には、ステップ408の処理を実行する。
【0085】
ステップ407) 識別番号sと識別番号s+1のシーン区間を統合して1つの区間とする。
【0086】
ステップ408) データ記憶部2に存在する既存の全てのシーン区間に対して処理を行ったかを判断する。行っている場合には、全体の処理を終了し、行っていない場合にはステップ409の処理を実行する。
【0087】
ステップ409)既存の次のシーン区間に対する処理を行う。
【0088】
上記の処理により既存のシーン区間が統合される例を図12に示す。同図における既存の「シーン区間2」と「シーン区間3」の類似度が大きいと判定され、これらが統合された例を示す。このように、既存のシーン区間の中に視聴者にとっては同一の話題である区間が複数の区間に分割されていた場合には、それらの区間が統合されるようになる。
【0089】
[第4の実施の形態]
本実施の形態におけるコミュニケーション装置の構成は、図3に示す構成と同様である。
【0090】
本実施の形態では、コメント分析によるシーン区間検出処理部4によるシーン区間の分割処理及びシーン区間の統合処理について説明する。つまり、前述の第2の実施の形態のシーン区間の分割と、第3の実施の形態のシーン区間の統合処理を組み合わせた例である。
【0091】
前述の図9で説明した処理によりシーン区間の分割処理を行い、分割されたシーン区間をメモリに格納しておき、当該分割処理が行われた後のメモリに格納されているシーン区間について、図11に示すシーン区間の統合処理を行う。
【0092】
当該処理により、既存シーン区間の中に視聴者にとってシーン区間が長い区間と同一の話題である区間が複数の区間に分割されている区間が混在する場合には、それらの区間が分割・統合されるようになる。
【0093】
ここで、重要なのは、コメント内容に基づいて、シーン区間を統合する処理を後に行うことにより、話題が同一区間は必ず同一のシーン区間として定義されることにある。
【0094】
[第5の実施の形態]
本実施の形態におけるコミュニケーション装置の構成を図13に示す。同図に示す構成は、前述の第1の実施の形態の図3に示す構成に視聴者ビュー区間記憶部7を付加した構成である。
【0095】
本実施の形態では、コメント分析によるシーン区間検出処理部4によるシーン区間の分割処理及びシーン区間の統合処理について説明する。
【0096】
上記に示した既にシーン区間が定義されている場合に、既存のシーン区間を分割、または、統合する処理において、シーン区間を分割、または、統合すると判定されたときには、既存のシーン区間はデータ記憶部2にそのまま保持し、分割または、統合されるシーン区間を視聴者ビュー区間として別に視聴者ビュー区間記憶部7に格納する。
【0097】
これにより、ステップ150において、視聴者コミュニケーション部1は、視聴者ビュー区間記憶部7に視聴者ビュー区間が定義されていて、かつ、ユーザ操作の指示により視聴者ビューをシーン区間に置き換えるように設定された場合には、視聴者ビュー区間記憶部7の視聴者ビュー区間をデータ記憶部2のシーン区間に置き換えて、対応する映像とコメントをデータ記憶部2から読み出して提示する。
【0098】
上記で述べた処理により、サービス提供者は、既存のシーン区間を固定的に使用したく、視聴者の中には、コメントの付与に基づいたシーン区間に変更したい要望があったときに、両者の要望を満足することができる。
【0099】
また、上記の第1〜第5の実施の形態において、映像における画像情報が大きく変化するカット点から次のカット点までの区間、発話区間、音の発生区間のいずれかをイベント区間として検出しておき、検出したシーン区間がイベント区間と重なる場合には、区間の開始は、イベント区間の直前に、区間の終了はイベント区間の終了直後に変更する。なお、映像におけるイベント区間の検出方法については、既存の技術を用いるものとする。
【0100】
また、上記の第1〜第5の実施の形態の各動作をプログラムとして構築し、コミュニケーション装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることも可能である。
【0101】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【0102】
本発明は、映像中のシーンとコメントを表示するシステムに適用可能である。
【図面の簡単な説明】
【0103】
【図1】本発明の原理構成図である。
【図2】本発明の原理説明図である。
【図3】本発明の一実施の形態におけるコミュニケーション装置の構成図である。
【図4】本発明の一実施の形態におけるシーン定義処理のフローチャートである。
【図5】本発明の一実施の形態におけるシーン定義処理の詳細なフローチャートである。
【図6】本発明の一実施の形態における多重シーン定義の状態を説明するための図である。
【図7】本発明の一実施の形態におけるシーン定義ファイルの例である。
【図8】本発明の一実施の形態における映像・コメント同期再生処理のフローチャートである。
【図9】本発明の一実施の形態における映像コメント同期再生処理のフローチャートである。
【図10】本発明の一実施の形態におけるユーザコメント記憶部に格納されるコメントの例である。
【図11】本発明の一実施の形態におけるコメント受付処理のフローチャートである。
【図12】本発明の一実施の形態におけるユーザからシーンに対するコメントを取得する画面例である。
【図13】本発明の一実施の形態におけるコメント取得時のシーンIDの判断方法の例である。
【符号の説明】
【0104】
10 ユーザ入力端末
11 シーン定義部
12 シーン定義手段、シーン定義登録部
20 表示手段、ユーザ表示端末
21 映像・コメント同期再生手段、映像・コメント同期配信部
22 ユーザコメント受け取り部
31 映像記憶手段、映像記憶部
32 シーン定義情報記憶手段、シーン定義情報記憶部
33 ユーザコメント記憶手段、ユーザコメント記憶部
【特許請求の範囲】
【請求項1】
映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されている記憶手段からコメント情報を取得するコメント取得ステップと、
前記コメントが付与された時刻に基づいて、前記コメントを分類するコメント付与時刻グルーピングステップと、
前記コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、前記記憶手段に格納するシーン区間検出ステップと、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
を行うことを特徴とする映像視聴者間コミュニケーション方法。
【請求項2】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
前記記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
前記シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピングステップと、
前記コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
前記シーン区間検出ステップで定義されたシーン区間に基づいて、前記記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割ステップと、
前記シーン区間分割ステップで分割されたシーン区間を用いて前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
を行うことを特徴とする映像視聴者間コミュニケーション方法。
【請求項3】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
前記記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
前記シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
前記シーン区間統合ステップで統合されたシーン区間で、前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
を行うことを特徴とする映像視聴者間コミュニケーション方法。
【請求項4】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
前記記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
前記シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピングステップと、
前記コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
前記シーン区間検出ステップで定義されたシーン区間に基づいて、前記記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割ステップと、
前記メモリに格納されている前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
前記シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
前記シーン区間統合ステップで統合されたシーン区間で、前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
を行うことを特徴とする映像視聴者間コミュニケーション方法。
【請求項5】
映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されているデータ記憶手段と、
前記データ記憶手段からコメント情報を取得するコメント取得手段と、
前記コメントが付与された時刻に基づいて、前記コメントを分類するコメント付与時刻グルーピング手段と、
前記コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、前記データ記憶手段に格納するシーン区間検出手段と、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
を有することを特徴とする映像視聴者間コミュニケーション装置。
【請求項6】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
前記シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピング手段と、
前記コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
前記シーン区間検出手段で定義されたシーン区間に基づいて、前記データ記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割手段と、
前記シーン区間分割手段で分割されたシーン区間を用いて前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
を有することを特徴とする映像視聴者間コミュニケーション装置。
【請求項7】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
前記シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
前記シーン区間統合手段で統合されたシーン区間で、前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
を有することを特徴とする映像視聴者間コミュニケーション装置。
【請求項8】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
前記シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピング手段と、
前記コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
前記シーン区間検出手段で定義されたシーン区間に基づいて、前記データ記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割手段と、
前記メモリに格納されている前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
前記シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
前記シーン区間統合手段で統合されたシーン区間で、前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
を有することを特徴とする映像視聴者間コミュニケーション装置。
【請求項9】
映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、
前記請求項1記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させることを特徴とする映像視聴者間コミュニケーションプログラム。
【請求項10】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、
前記請求項2乃至4記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させることを特徴とする映像視聴者間コミュニケーションプログラム。
【請求項1】
映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されている記憶手段からコメント情報を取得するコメント取得ステップと、
前記コメントが付与された時刻に基づいて、前記コメントを分類するコメント付与時刻グルーピングステップと、
前記コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、前記記憶手段に格納するシーン区間検出ステップと、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
を行うことを特徴とする映像視聴者間コミュニケーション方法。
【請求項2】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
前記記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
前記シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピングステップと、
前記コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
前記シーン区間検出ステップで定義されたシーン区間に基づいて、前記記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割ステップと、
前記シーン区間分割ステップで分割されたシーン区間を用いて前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
を行うことを特徴とする映像視聴者間コミュニケーション方法。
【請求項3】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
前記記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
前記シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
前記シーン区間統合ステップで統合されたシーン区間で、前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
を行うことを特徴とする映像視聴者間コミュニケーション方法。
【請求項4】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
前記記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得ステップと、
前記シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピングステップと、
前記コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
前記シーン区間検出ステップで定義されたシーン区間に基づいて、前記記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割ステップと、
前記メモリに格納されている前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
前記シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
前記シーン区間統合ステップで統合されたシーン区間で、前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
を行うことを特徴とする映像視聴者間コミュニケーション方法。
【請求項5】
映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されているデータ記憶手段と、
前記データ記憶手段からコメント情報を取得するコメント取得手段と、
前記コメントが付与された時刻に基づいて、前記コメントを分類するコメント付与時刻グルーピング手段と、
前記コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、前記データ記憶手段に格納するシーン区間検出手段と、
前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
を有することを特徴とする映像視聴者間コミュニケーション装置。
【請求項6】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
前記シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピング手段と、
前記コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
前記シーン区間検出手段で定義されたシーン区間に基づいて、前記データ記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割手段と、
前記シーン区間分割手段で分割されたシーン区間を用いて前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
を有することを特徴とする映像視聴者間コミュニケーション装置。
【請求項7】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
前記シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
前記シーン区間統合手段で統合されたシーン区間で、前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
を有することを特徴とする映像視聴者間コミュニケーション装置。
【請求項8】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント情報を取得するコメント取得手段と、
前記シーン区間内のコメントに対して、コメントの付与時刻に基づいてコメントを分類するコメント付与時刻グルーピング手段と、
前記コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
前記シーン区間検出手段で定義されたシーン区間に基づいて、前記データ記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割手段と、
前記メモリに格納されている前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
前記シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
前記シーン区間統合手段で統合されたシーン区間で、前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
を有することを特徴とする映像視聴者間コミュニケーション装置。
【請求項9】
映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与(登録)することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与(登録)したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、
前記請求項1記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させることを特徴とする映像視聴者間コミュニケーションプログラム。
【請求項10】
映像コンテンツをシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、
前記請求項2乃至4記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させることを特徴とする映像視聴者間コミュニケーションプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2006−157687(P2006−157687A)
【公開日】平成18年6月15日(2006.6.15)
【国際特許分類】
【出願番号】特願2004−347274(P2004−347274)
【出願日】平成16年11月30日(2004.11.30)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成18年6月15日(2006.6.15)
【国際特許分類】
【出願日】平成16年11月30日(2004.11.30)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]