コメント可視化装置およびコメント可視化プログラム
【課題】番組に関する視聴者のコメントを可視化する装置およびプログラムを提供すること。
【解決手段】コメント可視化装置は、視聴者が提供したコメントに対して解析を行い、内容の分類を行ったコメント解析結果を入力するコメント解析結果入力部と、コメント解析結果に基づいて嗜好項目ごとのコメント数またはコメントした視聴者の数を計数するコメント計数部と、コメント解析結果とコメント計数部の結果に基づいて、（１）番組の経過に応じたコメントの推移を図形により表示する時間軸可視化手段と、（２）コメントを嗜好項目ごとに図形により表示する嗜好傾向可視化手段と、（３）番組の動画像の中から嗜好項目に対応する動画像から代表画像を選択し、嗜好項目のデータを番組の中から抽出し、データに基づいて代表画像の編集を行い、代表画像を脚色して表示する代表画像脚色手段と、のいずれか一つの手段を備える。
【解決手段】コメント可視化装置は、視聴者が提供したコメントに対して解析を行い、内容の分類を行ったコメント解析結果を入力するコメント解析結果入力部と、コメント解析結果に基づいて嗜好項目ごとのコメント数またはコメントした視聴者の数を計数するコメント計数部と、コメント解析結果とコメント計数部の結果に基づいて、（１）番組の経過に応じたコメントの推移を図形により表示する時間軸可視化手段と、（２）コメントを嗜好項目ごとに図形により表示する嗜好傾向可視化手段と、（３）番組の動画像の中から嗜好項目に対応する動画像から代表画像を選択し、嗜好項目のデータを番組の中から抽出し、データに基づいて代表画像の編集を行い、代表画像を脚色して表示する代表画像脚色手段と、のいずれか一つの手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コメントを可視化するコメント可視化装置およびそのプログラムに関する。
【背景技術】
【０００２】
近年、放送番組を視聴しながら、番組に対する意見や感想を、掲示板やチャットなどに書き込み、視聴者同士でコミュニケーションを図る「実況チャット」と呼ばれる技術が一般化してきている（例えば、非特許文献１）。また、この実況チャットによって得られた感想や意見などのコメント（テキストデータ）と、番組コンテンツの動画像や音声（動画データ 音声データ）を関連付ける手法により、番組制作者・視聴者双方が、様々な視聴者の意見を知ることができる。
【０００３】
上記のコメントと番組コンテンツを関連付けて利用する手法について、本発明者らは、あらかじめ同一の嗜好および嗜好の対象となる対象物を意味する複数の異なる表現の文字列と当該文字列を同一の文字列に置換するための文字列を記憶しておき、通信回線を通じて収集したコメントデータに含まれているコメントの情報を記憶している文字列で置換して統一化して、視聴者の嗜好ごとに分類し、分類した視聴者ごとの嗜好情報を視聴者端末にフィードバックするコメント情報解析装置をすでに特許出願している。これを特許文献１に記載した。
【特許文献１】特開２００８−２８３４１２号公報
【非特許文献１】宮森、中村、田中、「番組実況チャットに基づく視聴者意見を利用した放送番組のビュー生成」、日本データベース学会Ｌｅｔｔｅｒｓ Ｖｏｌ．４，Ｎｏ．１， ｐｐ．９３−９６，平成１８年７月１２日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、番組コンテンツに関連付けられる視聴者の意見や感想は、テキストデータであるため、テキストデータ自身の特徴であるの一覧性の欠如により、視聴者全体のコメント動向を把握することや、時間変化量を直感的に把握すること、などを阻害している。
【０００５】
一方で、放送番組の内容を分析するため、放送される番組映像において、例えば、字幕やクローズドキャプションなどの文脈から物理的特徴量を抽出して、可視化することは行われているが、対象とする番組に関する視聴者の反応とは全くことなるため、視聴者全体のコメント動向を正確に反映するものとはなりえない。
【０００６】
そこで、本発明は、収集されたコメントの解析結果を可視化することで、コメント全体の一覧性を高め、番組のどの部分がどのように盛り上がった、という情報を視覚的に表現することでこの課題を解決する。「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を可視化することにより、質・量を含め直感的に時間の推移とともに把握することを可能とするコメント可視化装置およびコメント可視化プログラムを提供することを目的とする。なお、以降、「番組」とは、放送番組および通信回線を介して配信される番組の両者を指すものとする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によると、番組を視聴した複数の視聴者から収集された複数のコメントを可視化するコメント可視化装置であって、前記視聴者が放送事業者またはコンテンツ提供者に提供した複数のコメントをコメント収集解析装置に基づいて所定の解析がされ、前記複数のコメントを、該コメントの内容に基づいて所定の分類がされたコメント解析結果を入力するコメント解析結果入力部と、前記コメント解析結果に基づいて前記複数のコメントから所定の嗜好項目ごとのコメントの数または前記所定の嗜好項目をコメントした視聴者の数を計数するコメント計数部と、前記コメント解析結果と前記コメント計数部の結果に基づいて、（１）前記番組の時間的な経過に基づいて前記コメントの推移を所定の図形によって表示する時間軸可視化手段と、（２）前記コメントを前記嗜好項目ごとに所定の図形によって表示する嗜好傾向可視化手段と、（３）前記番組の動画像の中から前記嗜好項目に対応する動画像のうちの任意のフレーム画像またはフィールド画像である静止画像を代表画像とし、前記嗜好項目の所定のデータを前記番組の中から抽出し、前記代表画像のデータに基づいて所定の編集を行い、前記代表画像を適切に視覚化するように所定の脚色をして表示する代表画像脚色手段と、のいずれか一つの手段を備えたことを特徴とするコメント可視化装置を提供する。
【０００８】
かかる構成により、本発明のコメント可視化装置は、「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を、収集されたコメントの解析結果を可視化することで、コメント全体の一覧性を高め、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を、質・量を含め直感的に時間の推移とともに視覚的に把握することを可能とする。なお、本発明のコメント可視化装置は上記（１）時間軸可視化手段、（２）嗜好傾向可視化手段、（３）代表画像脚色手段の何れかを択一的に備えてもよいが、何れか２以上を組み合わせて備えてもよい。
【０００９】
さらに、本発明のコメント可視化装置は、前記時間軸可視化手段によって、前記番組の所定のシーンの切り替わる時間ごとに、前記コメント計数部が計数した前記嗜好項目ごとのコメントの数を集計し、当該集計されたコメント数を所定のグラフで表示し可視化するようにしてもよい。かかる構成により、前記時間軸可視化手段は、前記番組のシーンの切り替わる時間ごとに、前記コメント計数部が計数した前記嗜好項目ごとのコメントの数を集計し、グラフで可視化して表示するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、収集されたコメントの解析結果をシーンが切り替わる時間ごとにグラフで可視化することで、番組の情報を、質・量を含め直感的に時間の推移とともに視覚的に把握することを可能とする。
【００１０】
さらに、本発明のコメント可視化装置は、前記嗜好傾向可視化手段によって、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記嗜好項目を表す領域の大きさを決定するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、コメント計数部が計数した嗜好項目をコメントした視聴者の数に従って、嗜好項目を表す領域の大きさを決定するので、番組の情報を、直感的に時間の推移とともに視覚的に把握することを可能とする。
【００１１】
さらに、本発明のコメント可視化装置は、前記嗜好傾向可視化手段によって、同一の視聴者が２以上の嗜好項目にコメントした場合、該２以上の嗜好項目それぞれについてコメントした視聴者の数を計数し、図形化する際に、図形を重複させることで、前記同一の前記視聴者のコメントの傾向がそれぞれの嗜好項目に属することを表示し可視化するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、例えば、同一の視聴者が２以上の嗜好項目にコメントした場合であっても、重複してコメントした視聴者の数が多い２以上の嗜好項目の組み合わせを強調して可視化できるので、視聴者の関心の強い嗜好項目を重点的に可視化して把握することができる。また、このように重複を用いて可視化を行うことにより、他の視聴者と全く相関性のないコメントを繰り返す視聴者を、離れた位置に小さく表示することもできる。このようにして、偏った発言を繰り返す視聴者の存在も示すことができる。
【００１２】
さらに、本発明のコメント可視化装置は、前記嗜好傾向可視化手段によって、前記コメント解析結果に基づいて、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現に分類し、色分けして可視化して表示し可視化するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、収集されたコメントの解析結果を分析して、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現ごとに分類し、色分けして可視化して表示することができるので、視聴者の感情の動きを重点的に可視化して把握することができる。
【００１３】
さらに、本発明のコメント可視化装置は、前記代表画像脚色手段によって、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記代表画像を表す領域の大きさを決定するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、前記代表画像脚色手段が、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記代表画像を表す領域の大きさを決定するので、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を、直感的に時間の推移とともに視覚的に把握することを可能とする。
【００１４】
さらに、本発明のコメント可視化装置は、前記時間軸可視化手段は、前記コメント解析結果に基づいて、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現ごとに分類し、色分けして可視化して表示するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、収集されたコメントの解析結果を分析して、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現に分類し、グラフで可視化することで、番組の情報を、質・量を含め直感的に時間の推移とともに視覚的に把握することを可能とする。
【００１５】
さらに、本発明のコメント可視化装置は、前記代表画像脚色手段は、前記コメント計数部が前記嗜好項目ごとに計数したコメントした視聴者の数が所定の閾値を超えたか否かを判定し、前記コメントした視聴者の数が前記所定の閾値を超えたと判定された前記嗜好項目に対応する前記代表画像を強調して可視化して表示するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、収集されたコメントの解析結果を分析して、コメントした視聴者の数が所定の閾値を超えた嗜好項目に対応する代表画像を強調して表示するので、視聴者の感情の動きを重点的に可視化して把握することができる。
【００１６】
さらに、本発明のコメント可視化装置は、前記時間軸可視化手段によって可視化された前記コメントの推移を観察しながらユーザ指示入力部を操作するユーザ（視聴者または本装置の操作者）からの指示に従って、前記嗜好傾向可視化手段は、前記コメントを前記嗜好項目ごとに図形によって可視化するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、時間軸可視化手段によって可視化されたコメントの推移を観察しながらユーザ指示入力部を操作するユーザからの指示に従って、嗜好傾向可視化手段は、コメントを嗜好項目ごとに図形によって可視化できるので、ユーザは、質・量を含め直感的に時間の推移とともに視覚的に観察しながらも、関心のある任意の時点においては瞬間的な嗜好傾向を可視化することによって、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を視覚的に得ることもできる。
【００１７】
本発明の第２の態様によると、番組を視聴した複数の視聴者から収集された複数のコメントを可視化するコメント可視化処理をコンピュータに実行させるコメント可視化プログラムであって、前記視聴者が放送事業者またはコンテンツ提供者に提供した複数のコメントをコメント収集解析装置に基づいて所定の解析がされ、前記複数のコメントを、該コメントの内容に基づいて所定の分類がされたコメント解析結果を入力するコメント解析結果ステップと、前記コメント解析結果に基づいて前記複数のコメントから所定の嗜好項目ごとのコメントの数または前記所定の嗜好項目をコメントした視聴者の数を計数するコメント計数ステップと、前記コメント解析結果と前記コメント計数部の結果に基づいて、（１）前記番組の時間的な経過に基づいて前記コメントの推移を所定の図形によって表示する時間軸可視化ステップと、（２）前記コメントを前記嗜好項目ごとに所定の図形によって表示する嗜好傾向可視化ステップと、（３）前記番組の動画像の中から前記嗜好項目に対応する動画像のうちの任意のフレーム画像またはフィールド画像である静止画像を代表画像とし、前記嗜好項目の所定のデータを前記番組の中から抽出し、前記代表画像のデータに基づいて所定の編集を行い、前記代表画像を適切に視覚化するように所定の脚色をして表示する代表画像脚色ステップと、のいずれか一つのステップをコンピュータに実行させることを特徴とする、コメント可視化プログラムを提供する。
【００１８】
かかる構成により、本発明のコメント可視化プログラムは、「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を、収集されたコメントの解析結果を可視化することで、コメント全体の一覧性を高め、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を、質・量を含め直感的に時間の推移とともに視覚的に把握することを可能とする。
【発明の効果】
【００１９】
本発明は、「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を可視化することにより、質・量を含め直感的に時間の推移とともに把握することを可能とする。すなわち、「番組」という時間方向につながったコンテンツに対する視聴者の意見の傾向を把握するために一覧性を持たせた可視化を実現することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面に基づいて本発明に係る実施の形態を説明する。
図１は、本発明の実施の形態のコメント可視化装置の構成を示すブロック図である。図１に示すように、コメント可視化装置１０は、放送または通信回線を介して配信された番組データによって番組を視聴した複数の視聴者から複数のコメントデータを収集して、コメントデータの表すコメントを解析し、コメントを内容にそって分類するコメント収集解析装置２０から、複数の視聴者からのコメントを解析し、前記複数のコメントを内容にそって分類したコメント解析結果であるコメント解析結果データを入力するコメント解析結果入力部１１と、ユーザからの指示を入力するユーザ指示入力部１１ａと、コメント解析結果データに基づいて嗜好項目ごとのコメントの数を計数するコメント計数部１２と、嗜好項目に対応する代表画像などの画像データを番組から抽出する代表画像抽出部１３と、コメント解析結果入力部１１から入力したコメント解析結果データとコメント計数部１２のコメント計数結果であるコメント計数結果データに基づいて、番組の時間的な進展に対応したコメントの推移を図形によって可視化して表示する時間軸可視化データを生成する時間軸可視化手段１４と、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果に基づいて、コメントを嗜好項目ごとに図形によって可視化して表示する嗜好傾向可視化データを生成する嗜好傾向可視化手段１５と、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果に基づいて、代表画像抽出部１３が抽出した代表画像などのデータに編集を行い、代表画像を脚色して表示するデータを生成する代表画像脚色手段１６と、時間軸可視化手段１４と、嗜好傾向可視化手段１５と、代表画像脚色手段１６とで生成されたデータを、通信ネットワーク４０を介して外部の視聴者端末３０ａ〜３０ｃに送信する可視化結果送信部１７とを備える。
【００２１】
コメント収集解析装置２０は、例えば、特許文献１に記載のコメント情報解析装置によって実現できる。このコメント収集解析装置２０は、コメントデータを受信する受信手段と、同一の嗜好および嗜好の対象となる対象物を意味する複数の異なる表現の文字列と当該文字列を同一の文字列に置換するための文字列をあらかじめ記憶した置換文字記憶手段と、受信したコメントデータを置換文字記憶手段に記憶されている文字列で置換することでコメントデータを整形するコメント整形手段と、整形されたコメントデータを視聴者の嗜好ごとに分類する嗜好分類手段と、分類された視聴者ごとの嗜好情報を視聴者端末に送信するフィードバック手段と、を備えており、放送または通信回線を介して配信された番組データによって番組を視聴した複数の視聴者から複数のコメントデータを収集して、収集したコメントデータに含まれているコメントの情報を記憶している文字列で置換して統一化して、キーワードとなる文字列に基づいて内容にそってコメントを分類するようになっている。ただし、コメント収集解析装置２０は、特許文献１に記載のコメント情報解析装置に限定されず、後述する内容のコメント解析結果データを出力可能なものであれば、他の装置を用いてもよい。コメント収集解析装置２０がコメント解析結果として出力するコメント解析結果データは、コメントを内容にそって分類した分類情報を含む。ここで、嗜好項目をコメントした視聴者を分類したグループを「クラスタ」と呼ぶ。コメント解析結果データは、番組内の時間、視聴者ＩＤ、番組のテーマ、登場人物などのコメント対象、視聴者が用いた感情表現、例えば、肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現などの情報を含むコメント内容、嗜好項目ごとにコメントした視聴者を分類して生成したクラスタのクラスタ名などを含む。各クラスタには、嗜好項目をコメントした視聴者が分類されることから、同一のクラスタには、発言内容が類似している視聴者が分類されると考えられる。また、本明細書において、「嗜好項目」とは、番組に対する視聴者の嗜好を推測する手掛かりとなる対象項目であって、例えば、番組のテーマ、登場人物などの狭義の意味の嗜好の対象のみならず、当該番組に対する視聴者の様々な意見、例えば、肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現などの感情表現など、番組に対する視聴者の嗜好を推測可能な手掛かりとなるものであればいかなる対象を含んでもよい。嗜好項目を、実装に応じて、番組に対する視聴者の意見や感情を表現する文字列に置換したものとしてもよい。コメント収集解析装置２０の代表的な構成の詳細については、特許文献１に記載しているので、本明細書では詳述しない。
【００２２】
コメント解析結果入力部１１は、コメント収集解析装置２０から、複数の視聴者からのコメントを解析し、前記複数のコメントを内容にそって分類したコメント解析結果のデータを入力する。コメント解析結果入力部１１がコメント解析結果としてコメント収集解析装置２０から入力するコメント解析結果データは、嗜好項目ごとに分類された分類情報を表し、番組内の時間、コメントをした視聴者の視聴者ＩＤ、番組のテーマ、登場人物など、何に対するコメントかを表すコメント対象情報、コメントの概要を探る手掛かりとなる、例えば視聴者が用いた感情表現などの情報を含むコメント内容情報、コメントが分類される嗜好項目の名称、またはクラスタ名を含む。嗜好項目またはクラスタ名として、例えば、番組のテーマ、登場人物などを用いてもよい。また、コメント解析結果入力部１１は、コメント収集解析装置２０から有線または無線など様々な通信手段を介して直接コメント解析結果データを受信してもよいし、コメント収集解析装置２０が解析したコメント解析結果データをあらかじめ記憶したハードディスクなどの記憶装置を介して入力してもよい。
【００２３】
コメント計数部１２は、コメント解析結果入力部１１が入力したコメント解析結果に基づいて嗜好項目ごとのコメントの数またはコメントした視聴者の数を計数する。具体的には、コメント解析結果のデータに含まれる、番組内の時間、視聴者ＩＤ、コメント対象、コメント内容、クラスタ名に基づいて、（番組総時間（秒））／ｍ（秒）ごとにコメント解析結果データを区切り、各時間内のコメントの解析結果ごとにコメントの数またはコメントを視聴者の数をカウントする。
【００２４】
代表画像抽出部１３は、図示されていないが、放送または通信回線を介して配信された番組データから代表的画像と代表画像に関わる代表画像関連データを取得する。番組データには画像データ、音声データ、字幕データやタイムスタンプが付与されているため、コメント解析結果入力部１１から入力されるコメント解析結果データまたはユーザ指示入力部１１ａを介して入力されるユーザの指示に応じて、あるいは時間軸可視化手段１４、嗜好傾向可視化手段１５または代表画像脚色手段１６からの要求に応じて、番組データに含まれる画像データ、字幕データやタイムスタンプを参照し、嗜好項目、番組内の時間、シーンなどに対応する代表画像関連データを番組から抽出して時間軸可視化手段１４、嗜好傾向可視化手段１５または代表画像脚色手段１６に送出するようになっている。
【００２５】
時間軸可視化手段１４、嗜好傾向可視化手段１５、代表画像脚色手段１６は、本実施の形態のコメント可視化装置１０の主要部を構成する。
【００２６】
以下、時間軸可視化手段１４、嗜好傾向可視化手段１５、代表画像脚色手段１６について詳細に説明する。
【００２７】
＜時間軸可視化手段＞
図２は、時間軸可視化手段１４が実行する時間軸可視化処理を説明するフローチャートであり、図３は、時間軸可視化手段１４によって生成された画像データに基づいて、視聴者端末３０ａ〜３０ｃに表示される、可視化された番組の時間的な進展に対応したコメントの推移を表すグラフである。図４は、時間軸可視化手段１４がコメントの推移を表すグラフを生成する際の処理を説明する図である。
【００２８】
まず、図１〜図４を参照して、時間軸可視化手段１４について説明する。
【００２９】
時間軸可視化手段１４は、コメント解析結果として入力したコメント解析結果データから、番組総時間（秒）をｍ個に分割した時間（秒）ごとにコメント解析結果データを区切り、各時間内のコメントの解析結果ごとにコメントの数をカウントし、各時間内のコメント数の一番多いものをｎとした棒グラフとして時系列順に表示し、カウントの大きなものから順番にコメント対象文字列と感情分類文字列を表示するための時間軸可視化データを生成するようになっている。表示するデータの時間間隔の数ｍは番組ごとにあらかじめパラメータとして与えてもよい。図３に示すグラフの例では、時間間隔は９個に分割されているので、ｍ＝９である。
【００３０】
時間軸可視化手段１４は、また、代表画像抽出部１３から番組映像の静止画データを選択するシーン選択部１４ａを有する。シーン選択部１４ａは、ユーザ指示入力部１１ａを介して入力されるユーザの指示に応じて、または、コメント解析結果入力部１１から入力されるコメント解析結果データに基づいてコメント数の多いと判断される箇所について、コメント解析結果データからタイムスタンプを取得して、対応する番組映像の静止画データを取得する。
【００３１】
こうして得られた静止画データに基づいて、時間軸可視化手段１４は、棒グラフに該当するシーン画像を埋め込んで表示する時間軸可視化データを作成する。時間軸可視化手段１４によって生成した時間軸可視化データに基づいて、視聴者端末３０ａ〜３０ｃに表示される、可視化された番組の時間的な進展に対応したコメントの推移を表すグラフを図３に示す。このようにコメント可視化装置１０は番組の時間的な進展に対応したコメントの推移を棒グラフという図形にして可視化することができ、また、コメントの多かったシーンについても、「藤堂平助」、「松平容保」など静止画像を表示して視覚的に表現できることがわかる。
【００３２】
図２〜図４を参照して、時間軸可視化手段１４が実行する時間軸可視化処理について詳細に説明する。以下のステップはコメント可視化装置１０の図示していないＣＰＵなどの制御部の制御によって実行される。
【００３３】
図２に示すように、ステップＳ１０で、ユーザがコメントを可視化する番組を選択する。ステップＳ１１で、コメント収集解析装置２０が解析したコメント解析結果データをコメント解析結果入力部１１から入力する。
【００３４】
ステップＳ１２で、設定パラメータｍとｔを設定する。ｍは、上述したように、番組総時間に対してコメントを計数する時間間隔の数を示し、番組ごとにあらかじめ設定しておいてもよいし、コメント可視化装置１０を操作するユーザが、ユーザ指示入力部１１ａを介して指示をして、用途に応じて任意に設定してもよい。ｔは初期値として０を設定する。ステップＳ１３で、ステップＳ１２で設定したパラメータｍに対応する、コメントを計数する時間間隔ａを算出する。具体的には、時間間隔ａは番組の総時間をｍで除して算出する。
【００３５】
ステップＳ１４で、ｔ〜ｔ＋ａまでの全ての嗜好項目についてコメントを計数して結果をデータカウントｍ（ｉ）に対応するメモリに保持する。
【００３６】
ステップＳ１５で、ｔをｔ＋ａにインクリメントする。
【００３７】
ステップＳ１６で、ｔが番組総時間に到達したか否かを判定する。番組総時間に到達していないと判定した場合は、ステップＳ１４に戻り、ステップＳ１４からＳ１６を繰り返す。番組総時間に到達したと判定した場合は、ステップＳ１７に進む。
【００３８】
ステップＳ１７で、こうして生成したデータカウントの中で、計数したコメントの数が最大のデータカウントｍａｘ（０〜ｉ）を特定する。ステップＳ１８で、グラフとして表す領域、すなわちグラフエリアの縦と横の幅を決定する。具体的には、ウィンドウの縦幅と横幅に対して定数を乗じて決定する。
【００３９】
ステップＳ１９で、グラフエリアに表示する棒グラフの棒の縦と横の幅を決定する。具体的には、縦幅は、グラフエリアのコメント数を、グラフエリアの縦幅とコメントの数の最大値ｎで乗じた値で除して算出し、横幅は、グラフエリアの横幅を時間間隔の数ｍで除して算出する。さらに嗜好項目ごとのコメントの数が定数を上回っているか否かを判定し、上回っている場合は、当該嗜好項目に該当するエリアに文字列を表示できるようにする。
【００４０】
ステップＳ２０では、定数ｋに初期値として０を設定する。ステップＳ２１で、代表画像の表示上限数ｂを設定する。各代表画像の対応する時間間隔は、１秒間当たりに処理するフレーム数を３０とすると、１分間で３０×６０＝１８００フレームなので、ファイル名（番組開始からのフレーム数）／１８００として算出する。
【００４１】
ステップＳ２２では、コメントの数の多い者から順に、対応する時間＋７５秒を加えた範囲で表示する文字列に対応する字幕を検索し、次に当該字幕に最も近い代表画像を表示し、ｋをインクリメントする。
【００４２】
ステップＳ２３では、ｋが表示上限数ｂを超えたか否かを判定し、超えたと判定した場合にはステップＳ２４に進み、超えていないと判定した場合にはステップＳ２１に戻る。
【００４３】
ステップＳ２４ではこうして生成したグラフ画像を表示する画像データを生成し、対応する視聴者端末３０ａ〜３０ｃで表示できるようになる。このようにして時間軸可視化手段１４によって生成された画像データに基づいて、図３に示すように、視聴者端末３０ａ〜３０ｃでは、可視化された番組の時間的な進展に対応したコメントの推移を表すグラフを表示できるようになる。
【００４４】
以上説明したように、コメント可視化装置１０は、時間軸可視化手段１４によって、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果に基づいて、番組の時間的な進展に対応したコメントの推移を図形によって可視化することができ、また、コメントの多かったシーンについても視覚的に表現できるようになる。
【００４５】
時間軸可視化手段１４は、シーン選択部１４ａによって、ユーザ指示入力部１１ａを介して入力されるユーザの指示に応じて、または、コメント解析結果入力部１１から入力されるコメント解析結果データに基づいて、適当な棒グラフにシーン画像を埋め込んで表示する時間軸可視化データを作成することができる。さらに、図４に示すように、番組データに含まれる物理的特徴量の変化からシーンが変わるポイントを検出して、そのポイントを用いて、棒グラフを分割してもよい。さらに、棒グラフのそれぞれの分割部において、番組データから抽出した字幕とともに、コメント解析結果入力部１１から入力したコメント解析結果に含まれる感情表現、例えば、肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含むコメント内容情報（図４では「Ａ」、「Ｂ」、「Ｃ」で示す）とコメント計数部１２の結果に基づいて、コメントを好適的な意見か否定的な意見かを判別し、該当する分割部に、肯定的な意見については寒色系（例：肯定＝水色）、否定的な意見については暖色系（例：否定＝オレンジ色）の色でコメント対象を表示できるようにしてもよい。これによって、どのシーンでコメントが多かったか、また、否定的なコメントであったか、肯定的なコメントであったか、どのような内容であったかを、横軸が時間的な経過を、縦軸が意見の多さを表したグラフに、意味的な区切りを基準とした塊として離散的に可視化して表現することができる。
【００４６】
＜嗜好傾向可視化手段＞
嗜好傾向可視化手段１５は、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果に基づいて、一つの番組に対するユーザ単位のコメント傾向を可視化する。コメント解析結果に含まれる感情表現を含むコメント内容情報から、コメントを好適的な意見か否定的な意見かを判別し、肯定的な意見については寒色系（例：肯定＝水色）、否定的な意見については暖色系（例：否定＝オレンジ色）で表し、各クラスタの構成人数を楕円の長径として図示する。ここで、一人で複数のコメントをする視聴者も考慮して、コメント解析結果に含まれるユーザＩＤを参照して、コメントの数ではなく、コメントした視聴者の数を計数するようにしてもよい。
【００４７】
本実施の形態では、コメント解析結果に含まれる、嗜好項目ごとにコメントをした視聴者の数、例えば、嗜好項目をコメントした視聴者を内容にそって分類したグループである「クラスタ」に含まれるコメントの数を算出し、コメントをした視聴者の数の最も多い順に視聴者の数が下限に達するまで、コメント対象と感情表現、例えば、肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を検出して、クラスタを図形としてグラフ化する。描画位置を決めた後、重なった図形として表示されるクラスタに対して、再度コメント数またはコメントをした視聴者の数を計数し、最も重なりの多い、すなわち、コメントをした視聴者の数の多い図形の中心の重心に「コメント対象：感情表現」のテキストを表示する（図６参照）。また、コメントに他のクラスタとの重複が全く見られないクラスタが存在する場合は、独立して図形を描く。
【００４８】
図５は、嗜好傾向可視化手段１５が実行する嗜好傾向可視化処理を説明するフローチャートであり、図６は、嗜好傾向可視化手段１５によって生成された画像データに基づいて、視聴者端末３０ａ〜３０ｃに表示される、コメントを嗜好項目ごとに可視化した画面である。図５および図６を参照して嗜好傾向可視化手段１５が実行する嗜好傾向可視化処理について説明する。以下のステップはコメント可視化装置１０の図示していないＣＰＵなどの制御部の制御によって実行される。
【００４９】
図５に示すように、ステップＳ３０で、コメント解析結果入力部１１からコメント収集解析装置２０が解析した対象とする番組のコメント解析結果データを入力する。ステップＳ３１で、コメント計数部１２の計数の結果などに基づいて描画を決定したクラスタの総数を計数する。
【００５０】
ステップＳ３２で、クラスタの中で視聴者の数が最も多いクラスタについて、クラスタ内のすべてのコメントを総合して、コメント対象と感情表現が同じものを計数する。
【００５１】
ステップＳ３３で、計数した嗜好項目のクラスタの形状を決定する。本実施の形態では、クラスタの形状を楕円形とし、クラスタの楕円の長軸の長さｌを、当該クラスタの視聴者の数を描画が決定した全ての嗜好項目の視聴者の総数で除した値に半径パラメータｒを乗じて算出する。
【００５２】
ステップＳ３４で、クラスタを最も多いコメント対象と感情表現の順に図の中心方向に配置する。
【００５３】
ステップＳ３５で、当該クラスタについてクラスタ内の視聴者の数が所定の数以下か否かを判定する。所定の数以下であると判定した場合はステップＳ３６に進み、所定の数を上回ると判定した場合は、ステップＳ３２に戻り、処理の終わったクラスタを処理の対象から除いて、ステップＳ３２からステップＳ３４までを、ステップＳ３５で判定するクラスタのクラスタ内の視聴者の数が所定の数以下となるまで繰り返す。
【００５４】
ステップＳ３６で、図形が重なり合っているクラスタに対し、重複部のコメントの数を計数する。ステップＳ３７で、重複部のコメントの数が所定の閾値を超えているか否かを判定し、超えていると判定した場合はコメント対象と感情表現のテキストを図形に表示されるようにする。ステップＳ３８で、全ての重なり合っているクラスタについて処理したか否かを判定し、処理していないと判定した場合には、ステップＳ３６に戻ってステップＳ３７までを繰り返し、処理したと判定した場合は、嗜好傾向可視化処理を終了する。
【００５５】
図６は、嗜好傾向可視化手段１５によって生成された画像データに基づいて、視聴者端末３０ａ〜３０ｃに表示される、コメントを嗜好項目ごとに可視化した画面である。
【００５６】
本実施の形態において、図形の形は、半径をあらかじめ決められた半径パラメータｒに、描画が決まったクラスタの視聴者数の総和を１として嗜好項目のクラスタに含まれる視聴者数に比例した数を掛け合わせた円または楕円とし、さらに、クラスタ同士を表示する相対的な大きさまたは位置関係を、両者に共通する視聴者の数によって決定するので、どの部分で盛り上がりがあったのかを詳細に可視化することができる。また、嗜好項目のクラスタの中で一番言及の多いコメントの発言時間の番組映像の静止画を同時に表示することにより、どのシーンでコメントが多かったかを視覚的に表現してもよい。これによって、盛り上がったシーンをより詳細に可視化することができる。
【００５７】
また、発言をした視聴者が他にどのようなコメントしたかを数え、コメント内容の重複の多さを楕円の重複で表している。例えば、図６では、勝海舟を肯定するクラスタを表す楕円の重複が一番多く、次いで小松を肯定するクラスタを表す楕円が多いことが示されている。
【００５８】
また、本実施の形態のコメント可視化装置１０は、嗜好傾向可視化手段１５が、ユーザがユーザ指示入力部１１ａによって指定した任意の時間または任意のクラスタごとに収集されたコメントの解析結果を分析して、可視化するようにしてもよい。これによって、視聴者端末３０ａ〜３０ｃを介してユーザ指示入力部１１ａを操作するユーザは、時間を指定することによって、関心のある時間ごとに瞬間的な視聴者全体の動向を、例えば、視聴者の嗜好に合わせて質・量を含め直感的に把握することができる。換言すると、いわゆる「瞬間視聴率」という数値でしかとらえることのできなかった、視聴者の任意の時点の瞬間的な動向を、質・量を含め直感的に視覚的かつ詳細に把握することを可能とする。
【００５９】
＜代表画像脚色手段＞
代表画像脚色手段１６は、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果、および代表画像抽出部１３が抽出した代表画像のデータ、例えば、対象となる番組映像の静止画像、字幕データなどに基づいて代表画像を脚色して表示するデータを生成するようになっている。代表画像脚色手段１６は、コメント解析結果に基づき、代表画像抽出部１３からコメントの数の多いシーンの静止画像を選択し、選択した静止画像に対して、コメントの数に応じて生成するコマ画像の大きさ、形状および配置を決定するコマ割り配置部１６ａと、コマ画像に付加する台詞を代表画像抽出部１３が抽出した番組データに含まれる字幕データから選択し、吹き出しを生成して重ねる吹き出し生成部１６ｂと、コマ画像に人物の感情や心理描写を表す効果線などを付加する効果表現付与部１６ｃを有する。
【００６０】
図７に代表画像脚色手段１６の処理の概要を示す。図７に示すように、代表画像脚色手段１６は、コメント解析結果入力部１１からコメント解析結果データを入力する他に、代表画像抽出部１３から静止画ファイル、字幕データを入力する。さらに、代表画像を一層脚色するように、後述するキーフレーム指定データ、ＢＧＭ（Ｂａｃｋｇｒｏｕｎｄ Ｍｕｓｉｃ）タイミングデータ、吹き出し位置データ、クラスタ名などをコメント解析結果データから抽出する、またはユーザ指示入力部１１ａなどを介して入力してもよい。代表画像脚色手段１６は、図示していないが、ハードディスクなどの記憶部と接続し、必要に応じて吹き出し線やＢＧＭなどのデータを取得するようになっている。
【００６１】
代表画像脚色手段１６は、コマ割り配置部１６ａと、吹き出し生成部１６ｂと、効果表現付与部１６ｃとを含み、主に、代表画像抽出部１３と連携して実行する、あらかじめ定めた総コマ数に収まるように静止画を選択する処理と、コマ割り配置部１６ａが実行する、コマ画像の形状を変化させて配置する処理と、吹き出し生成部１６ｂが実行する吹き出しを生成し台詞を静止画に重ねる処理とを実行する。
【００６２】
代表画像脚色手段１６は、キーフレーム指定データを用いてキーとなるコマを指定する、または指定しない、を判断してもよい。キーフレーム指定データとは、ある瞬間または区間の静止画をコマとして脚色する代表画像、または代表画像脚色手段１６が生成する漫画に反映する／しないを指定するものであり、事前に指定しておき、代表画像抽出部１３を介して代表画像抽出部１３に入力されるようにしてもよい。
【００６３】
キーフレーム指定データを用いて、例えば、各回のサブタイトル静止画を指定すると、各回のサブタイトル静止画のコマを必ず脚色する代表画像または漫画に反映することができる。これによって、視聴者端末３０ａ〜３０ｃ側では、特別な他のデータを用いずにサブタイトルを容易に認識することができる。あるいは、キーフレーム指定データを用いて、毎回同じである主題歌部分のコマのイン点からアウト点までを脚色する代表画像または漫画に反映しないと指定することもできる。これによって視聴者端末３０ａ〜３０ｃ側では、誤って代表画像として選択されやすい主題歌部分のコマを避け、各回内容の違う部分のみから代表画像を選択することができる。
【００６４】
コマ割り配置部１６ａは、このようにキーフレーム指定データによって指定されたコマの表示情報または非表示情報を参照して、指定された嗜好項目のクラスタ、指定のない場合はすべての嗜好項目のクラスタに対して、コメント対象の数、例えば、登場人物の数の上限をαとして、登場人物ごとにコメントを計数し、コメントの数の大小に応じて上限αを超えない各静止画に数値を割り振る。ここでも、キーフレーム指定データに数値を割り振るか否かの情報を追加しておいて、キーフレーム指定データの当該情報を参照して、数値を割り当てるか否かを決定するようにしてもよい。また、ＢＧＭを含むＢＧＭ区間データを使用する場合にはＢＧＭ区間であるかどうかに応じて数値に重みをつけてもよい。
【００６５】
図８は、コマ割り配置部１６ａが実行するコマ割配置処理を説明するフローチャートであり、図９は、コマ割り配置部１６ａが、コメント対象ごとにコメントの数を対応付けるために図示していないメモリに記憶して登録するテーブルを示し、図１０は、コマ割り配置部１６ａが実行するコマ割配置の一例を示す図であり、図１１は、コマ割り配置部１６ａが生成した吹き出しの一例を示す図である。以下のステップはコメント可視化装置１０の図示していないＣＰＵなどの制御部の制御によって実行される。
【００６６】
図８に示すように、ステップＳ４０で、コメント解析結果入力部１１からコメント収集解析装置２０が解析した対象とする番組のコメント解析結果データを入力する。ステップＳ４１で、ユーザ指示入力部１１ａを操作するユーザにより指示された、またはコメント解析結果データに基づいて選択された番組の嗜好項目のクラスタ名を入力する。
【００６７】
ステップＳ４２で、選択した番組の嗜好項目のクラスタに属する視聴者からのコメントを時間順に並び替える作業を開始する。具体的には、対象となる一部の嗜好項目のクラスタ、または全ての嗜好項目のクラスタのコメントを時間順に読み込むために、コメント対象とコメントのカウント数を時間順に並べて登録するテーブル（図９参照）をメモリに作成する。この時、テーブルには、事前に設定した登録対象の上限値αの分だけコメント対象のエントリを書き込み可能に設けておく。このようにテーブルを用意してから、コメントを時間順に読み込む（ステップＳ４３）。
【００６８】
コメントごとに新しいコメント対象であるか否か、具体的には既にコメント対象がテーブルに登録されているか否かを判定し（ステップＳ４４）、既にコメント対象がテーブルに登録されていると判定すると、対象とするテーブルのカウントをインクリメントする（ステップＳ４５）。また、コメント対象がテーブルに登録されていない新しいコメント対象であると判定されると、新しいエントリとして追加する。
【００６９】
こうして、テーブルのエントリの数が上限値であるαを超えたか否かを判定する（ステップＳ４６）。上限値であるαを超えたと判定されると、最初のエントリに戻り、コメント対象と時間を保持テーブル（コメント数テーブル）に書き写してから、既に存在するエントリを順番に上書きしていく（Ｓ４７）。上限値であるαに達していないと判定すると、コメント対象をテーブルにエントリとして追加していく（Ｓ４８）。この作業を最後のコメントまで行い（Ｓ４９）、時間順に並んだ「コメント対象」と「カウント数」を対応させた図９に示すようなコメント数・テーブルを完成させる（Ｓ５０）。
【００７０】
このテーブルを用いて静止画にコメント数を対応付けていく。コメント数の最も多いテーブルエントリについて、コメントのタイムスタンプを取得し、字幕データと照らし合わせ、その近傍のコメント対象と字幕データが一致するものを探す。この字幕データに記された時間（台詞の話し始めの時間）に一番近い静止画と、エントリのコメント数を対応付ける。これらの処理をある一定のコメント数を下回るか、対応付けする静止画の数がなくなるまで続けるようにする。この部分でコメント数の多さをコマの大きさと関連付ける。
【００７１】
コマ割り配置部１６ａは、既存の手法、例えば、特許公開２００３−８５５７２に開示された手法を用いて、あらかじめ設定された大きさのページ領域内にコマを連続して配置する。図１０に、コマ割配置の一例を示す。各コマについては代表画像抽出部１３において算出したコマの大きさを最小限の数値パラメータとして有している。
【００７２】
吹き出し生成部１６ｂは、既存の手法、例えば、特許公開２００３−８５５７２に開示された手法を用いて、このようにして配置されたコマ画像に対して、図１１に示すように、複数ある吹き出し形状の中から、条件に応じて適当な吹き出し形状を選択し、字幕内データとあわせ吹き出しを生成する。選択された静止画に対応する区間内の字幕を文字列として使用してもよい。また、ある一定の大きさよりコマの大きさが小さい場合には吹き出しの付加を行わないようにしてもよい。さらに、吹き出し生成部１６ｂは、画像から人物領域の抽出を行い、その結果に応じて吹き出しの形状選択を行うようにしてもよい。吹き出し生成部１６ｂは、代表画像抽出部１３が選択した静止画像の中で解像度を低くしたものを用いる。図１０に、人物領域判定と吹き出し配置の例を示す。
【００７３】
図１０に示すように、吹き出し生成部１６ｂは、静止画像の画面をあらかじめ設定した数の領域に分割し、ＬＵＶ空間（ＣＩＥ１９７６（Ｌ＊ｕ＊ｖ＊）空間）のＵＶ（知覚色度）の値を用いて肌色区域やＲＧＢの値により人領域の判定を行う。人物領域判定と吹き出し配置の例を以下に説明する。
【００７４】
＜１ショットの場合＞
図１０（ａ）に示すように、１ショットで、画面中央部分に人物領域がある場合は左端または右端に吹き出しを配置する。声の発生元を表わす吹き出しの尾部は中央を向くようにする。
【００７５】
＜２ショットの場合＞
図１０（ｂ）に示すように、画面に２領域以上の人物領域がある場合は、コメントの一番多い話者と次に多い話者に対応する吹き出しを左、右の順に配置する。水平方向の位置は左のほうを上にする。
【００７６】
＜人物が一方に寄っている場合＞
右または左と画面のどちらかに寄った位置に人物領域がある場合は人物領域の反対の側に吹き出しを配置するようにする。図１０（ｃ）に示すように、右の画面に人物領域がある場合は左側に吹き出しを配置する。このとき、声の発生元を表わす吹き出しの尾部は、顔の領域に向くように配置する。以上、一実施の形態の人物領域の判定方法について説明したが、本発明はこれに限定されることはなく、人物領域の判定方法を適用可能である。
【００７７】
このようにして吹き出し生成部１６ｂが吹き出しを生成して重ねた後、効果表現付与部１６ｃは既存の手法、例えば、特許公開２００３−８５５７２に開示された手法を用いて、コマ画像に人物の感情や心理描写を表す効果線を付加する。効果線の付与をおこなう際、視聴者からのコメント内の感情表現の値が、ある一定の値を超えたコマに関して、人物の感情や心理状態を表す効果線をコマ画像に付加する。図１１のコマ画像に吹き出し線を付加したコマ画像の一例を示す。図１１に示すように、例えば、肯定コメントの多いコマに関して画画面例の黄色文字で「ＧＲＥＡＴ！！！」などのような効果文字を付してもよい。
【００７８】
吹き出し生成部１６ｂは、このようにして決定される吹き出しの大きさや効果線を考慮し、テキストの配置位置を決定する。また、各コマに対応する字幕の中で、コメント内に多く使われる単語を含む文、複数文の場合文末の文については、吹き出しの中、またはコマの下の余白に配置してもよい。コマがある程度以下の大きさの場合は表示しないようにしてもよい。
【００７９】
また、本実施の形態のコメント可視化装置１０は、代表画像脚色手段１６が、ユーザ指示入力部１１ａによって指定された時間または任意のクラスタごとに、嗜好項目に対応する代表画像を脚色して表示するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、ユーザがユーザ指示入力部１１ａによって指定した任意の時間または任意のクラスタごとに収集されたコメントの解析結果を分析して、代表画像を脚色するので、ユーザが指定する時間において、視聴者全体の動向を、例えば、視聴者の嗜好に合わせて質・量を含め直感的に把握することができる。例えば、ユーザが指定した時間について瞬間的な視聴者全体の動向を、質・量を含め直感的に把握することができる。換言すると、いわゆる「瞬間視聴率」という数値でしかとらえることのできなかった、視聴者の任意の時点の瞬間的な動向を、質・量を含め直感的に視覚的かつ詳細に把握することを可能とする。
【００８０】
以上説明したように、本発明のコメント可視化装置は、収集されたコメントの解析結果を可視化することで、コメント全体の一覧性を高め、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がった、という情報を視覚的に表現することでこの課題を解決する。「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を可視化することにより、質・量を含め直感的に時間の推移とともに把握することを可能とする。
【００８１】
上述の実施の形態において、時間軸可視化手段１４と、嗜好傾向可視化手段１５と、代表画像脚色手段１６とについて個別に説明したが、コメント可視化装置１０は、さらに、ユーザ指示入力部１１ａが入力するユーザからの指示によって、連携して動作することができる。視聴者端末３０ａ〜３０ｃを操作するユーザは、例えば、時間軸可視化手段１４によって可視化されたコメントの推移を観察しながらユーザ指示入力部１１ａを操作するユーザからの指示に従って、嗜好傾向可視化手段１５が、コメントを嗜好項目ごとに図形によって可視化するようにしてもよい。これによって、本発明のコメント可視化装置１０は、時間軸可視化手段１４によって可視化されたコメントの推移を観察しながら視聴者端末３０ａ〜３０ｃを介してユーザ指示入力部１１ａを操作するユーザからの指示に従って、嗜好傾向可視化手段１５が、コメントを嗜好項目ごとに図形によって可視化して表示させることができるので、ユーザは、質・量を含め直感的に時間の推移とともに視覚的に観察しながらも、関心のある任意の時点においては瞬間的な嗜好傾向を可視化することによって、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を視覚的に得ることもできる。換言すると、いわゆる「瞬間視聴率」という数値でしかとらえることのできなかった、視聴者の任意の時点の瞬間的な動向を、質・量を含め直感的に視覚的かつ詳細に把握することを可能とする。
【００８２】
さらに、本発明のコメント可視化装置１０は、時間軸可視化手段１４によって可視化されたコメントの推移を観察しながらユーザ指示入力部１１ａを操作するユーザからの指示に従って、代表画像脚色手段１６は、嗜好項目に対応する代表画像を脚色して表示するようにしてもよい。これによって本発明のコメント可視化装置１０は、時間軸可視化手段１４によって可視化されたコメントの推移を観察しながら視聴者端末３０ａ〜３０ｃを介してユーザ指示入力部１１ａを操作するユーザからの指示に従って、代表画像脚色手段１６は、嗜好項目に対応する代表画像を脚色して表示するので、ユーザは、質・量を含め直感的に時間の推移とともに視覚的に観察しながらも、関心のある任意の時点においては瞬間的な嗜好傾向を可視化することによって、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を視覚的に得ることもできる。換言すると、いわゆる「瞬間視聴率」という数値でしかとらえることのできなかった、視聴者の任意の時点の瞬間的な動向を、質・量を含め直感的に視覚的かつ詳細に把握することを可能とする。
【００８３】
以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の範囲内において、種々の変形・変更が可能である。例えば、本発明のコメント可視化装置は、放送番組の視聴率のみならず、例えば、時間的な推移を考慮する必要のある様々なアンケート、支持率調査など、様々な用途に応用可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施の形態のコメント可視化装置の構成を示すブロック図である。
【図２】図１のコメント可視化装置の時間軸可視化手段が実行する時間軸可視化処理を説明するフローチャートである。
【図３】図２の時間軸可視化手段によって生成された画像データに基づいて視聴者端末に表示される、可視化された番組の時間的な進展に対応したコメントの推移を表すグラフである。
【図４】図２の時間軸可視化手段がコメントの推移を表すグラフを生成する際の処理を説明する図である。
【図５】図１のコメント可視化装置の嗜好傾向可視化手段が実行する嗜好傾向可視化処理を説明するフローチャートである。
【図６】図５の嗜好傾向可視化手段によって生成された画像データに基づいて視聴者端末に表示される、コメントを嗜好項目ごとに可視化した画面である。
【図７】図１のコメント可視化装置の代表画像脚色手段の処理の概要を示す図である。
【図８】図７の代表画像脚色手段のコマ割り配置部が実行するコマ割配置処理を説明するフローチャートである。
【図９】図７の代表画像脚色手段のコマ割り配置部が、コメント対象ごとにコメントの数を対応付けるために図示していないメモリに記憶して登録するテーブルを示す。
【図１０】図７の代表画像脚色手段のコマ割り配置部により配置されるコマ割配置の一例を示す図である。
【図１１】図１１の画像に吹き出しや効果表現を付加したコマ画像の一例を示す図である。
【符号の説明】
【００８５】
１０ コメント可視化装置
１１ コメント解析結果入力部
１１ａ ユーザ指示入力部
１２ コメント計数部
１３ 代表画像抽出部
１４ 時間軸可視化手段
１５ 視聴者傾向可視化手段
１６ 代表画像脚色手段
１７ 可視化結果送信部
２０ コメント収集解析装置
３０ａ 視聴者端末
３０ｂ 視聴者端末
３０ｃ 視聴者端末
４０ 通信ネットワーク
【技術分野】
【０００１】
本発明は、コメントを可視化するコメント可視化装置およびそのプログラムに関する。
【背景技術】
【０００２】
近年、放送番組を視聴しながら、番組に対する意見や感想を、掲示板やチャットなどに書き込み、視聴者同士でコミュニケーションを図る「実況チャット」と呼ばれる技術が一般化してきている（例えば、非特許文献１）。また、この実況チャットによって得られた感想や意見などのコメント（テキストデータ）と、番組コンテンツの動画像や音声（動画データ 音声データ）を関連付ける手法により、番組制作者・視聴者双方が、様々な視聴者の意見を知ることができる。
【０００３】
上記のコメントと番組コンテンツを関連付けて利用する手法について、本発明者らは、あらかじめ同一の嗜好および嗜好の対象となる対象物を意味する複数の異なる表現の文字列と当該文字列を同一の文字列に置換するための文字列を記憶しておき、通信回線を通じて収集したコメントデータに含まれているコメントの情報を記憶している文字列で置換して統一化して、視聴者の嗜好ごとに分類し、分類した視聴者ごとの嗜好情報を視聴者端末にフィードバックするコメント情報解析装置をすでに特許出願している。これを特許文献１に記載した。
【特許文献１】特開２００８−２８３４１２号公報
【非特許文献１】宮森、中村、田中、「番組実況チャットに基づく視聴者意見を利用した放送番組のビュー生成」、日本データベース学会Ｌｅｔｔｅｒｓ Ｖｏｌ．４，Ｎｏ．１， ｐｐ．９３−９６，平成１８年７月１２日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、番組コンテンツに関連付けられる視聴者の意見や感想は、テキストデータであるため、テキストデータ自身の特徴であるの一覧性の欠如により、視聴者全体のコメント動向を把握することや、時間変化量を直感的に把握すること、などを阻害している。
【０００５】
一方で、放送番組の内容を分析するため、放送される番組映像において、例えば、字幕やクローズドキャプションなどの文脈から物理的特徴量を抽出して、可視化することは行われているが、対象とする番組に関する視聴者の反応とは全くことなるため、視聴者全体のコメント動向を正確に反映するものとはなりえない。
【０００６】
そこで、本発明は、収集されたコメントの解析結果を可視化することで、コメント全体の一覧性を高め、番組のどの部分がどのように盛り上がった、という情報を視覚的に表現することでこの課題を解決する。「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を可視化することにより、質・量を含め直感的に時間の推移とともに把握することを可能とするコメント可視化装置およびコメント可視化プログラムを提供することを目的とする。なお、以降、「番組」とは、放送番組および通信回線を介して配信される番組の両者を指すものとする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によると、番組を視聴した複数の視聴者から収集された複数のコメントを可視化するコメント可視化装置であって、前記視聴者が放送事業者またはコンテンツ提供者に提供した複数のコメントをコメント収集解析装置に基づいて所定の解析がされ、前記複数のコメントを、該コメントの内容に基づいて所定の分類がされたコメント解析結果を入力するコメント解析結果入力部と、前記コメント解析結果に基づいて前記複数のコメントから所定の嗜好項目ごとのコメントの数または前記所定の嗜好項目をコメントした視聴者の数を計数するコメント計数部と、前記コメント解析結果と前記コメント計数部の結果に基づいて、（１）前記番組の時間的な経過に基づいて前記コメントの推移を所定の図形によって表示する時間軸可視化手段と、（２）前記コメントを前記嗜好項目ごとに所定の図形によって表示する嗜好傾向可視化手段と、（３）前記番組の動画像の中から前記嗜好項目に対応する動画像のうちの任意のフレーム画像またはフィールド画像である静止画像を代表画像とし、前記嗜好項目の所定のデータを前記番組の中から抽出し、前記代表画像のデータに基づいて所定の編集を行い、前記代表画像を適切に視覚化するように所定の脚色をして表示する代表画像脚色手段と、のいずれか一つの手段を備えたことを特徴とするコメント可視化装置を提供する。
【０００８】
かかる構成により、本発明のコメント可視化装置は、「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を、収集されたコメントの解析結果を可視化することで、コメント全体の一覧性を高め、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を、質・量を含め直感的に時間の推移とともに視覚的に把握することを可能とする。なお、本発明のコメント可視化装置は上記（１）時間軸可視化手段、（２）嗜好傾向可視化手段、（３）代表画像脚色手段の何れかを択一的に備えてもよいが、何れか２以上を組み合わせて備えてもよい。
【０００９】
さらに、本発明のコメント可視化装置は、前記時間軸可視化手段によって、前記番組の所定のシーンの切り替わる時間ごとに、前記コメント計数部が計数した前記嗜好項目ごとのコメントの数を集計し、当該集計されたコメント数を所定のグラフで表示し可視化するようにしてもよい。かかる構成により、前記時間軸可視化手段は、前記番組のシーンの切り替わる時間ごとに、前記コメント計数部が計数した前記嗜好項目ごとのコメントの数を集計し、グラフで可視化して表示するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、収集されたコメントの解析結果をシーンが切り替わる時間ごとにグラフで可視化することで、番組の情報を、質・量を含め直感的に時間の推移とともに視覚的に把握することを可能とする。
【００１０】
さらに、本発明のコメント可視化装置は、前記嗜好傾向可視化手段によって、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記嗜好項目を表す領域の大きさを決定するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、コメント計数部が計数した嗜好項目をコメントした視聴者の数に従って、嗜好項目を表す領域の大きさを決定するので、番組の情報を、直感的に時間の推移とともに視覚的に把握することを可能とする。
【００１１】
さらに、本発明のコメント可視化装置は、前記嗜好傾向可視化手段によって、同一の視聴者が２以上の嗜好項目にコメントした場合、該２以上の嗜好項目それぞれについてコメントした視聴者の数を計数し、図形化する際に、図形を重複させることで、前記同一の前記視聴者のコメントの傾向がそれぞれの嗜好項目に属することを表示し可視化するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、例えば、同一の視聴者が２以上の嗜好項目にコメントした場合であっても、重複してコメントした視聴者の数が多い２以上の嗜好項目の組み合わせを強調して可視化できるので、視聴者の関心の強い嗜好項目を重点的に可視化して把握することができる。また、このように重複を用いて可視化を行うことにより、他の視聴者と全く相関性のないコメントを繰り返す視聴者を、離れた位置に小さく表示することもできる。このようにして、偏った発言を繰り返す視聴者の存在も示すことができる。
【００１２】
さらに、本発明のコメント可視化装置は、前記嗜好傾向可視化手段によって、前記コメント解析結果に基づいて、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現に分類し、色分けして可視化して表示し可視化するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、収集されたコメントの解析結果を分析して、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現ごとに分類し、色分けして可視化して表示することができるので、視聴者の感情の動きを重点的に可視化して把握することができる。
【００１３】
さらに、本発明のコメント可視化装置は、前記代表画像脚色手段によって、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記代表画像を表す領域の大きさを決定するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、前記代表画像脚色手段が、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記代表画像を表す領域の大きさを決定するので、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を、直感的に時間の推移とともに視覚的に把握することを可能とする。
【００１４】
さらに、本発明のコメント可視化装置は、前記時間軸可視化手段は、前記コメント解析結果に基づいて、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現ごとに分類し、色分けして可視化して表示するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、収集されたコメントの解析結果を分析して、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現に分類し、グラフで可視化することで、番組の情報を、質・量を含め直感的に時間の推移とともに視覚的に把握することを可能とする。
【００１５】
さらに、本発明のコメント可視化装置は、前記代表画像脚色手段は、前記コメント計数部が前記嗜好項目ごとに計数したコメントした視聴者の数が所定の閾値を超えたか否かを判定し、前記コメントした視聴者の数が前記所定の閾値を超えたと判定された前記嗜好項目に対応する前記代表画像を強調して可視化して表示するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、収集されたコメントの解析結果を分析して、コメントした視聴者の数が所定の閾値を超えた嗜好項目に対応する代表画像を強調して表示するので、視聴者の感情の動きを重点的に可視化して把握することができる。
【００１６】
さらに、本発明のコメント可視化装置は、前記時間軸可視化手段によって可視化された前記コメントの推移を観察しながらユーザ指示入力部を操作するユーザ（視聴者または本装置の操作者）からの指示に従って、前記嗜好傾向可視化手段は、前記コメントを前記嗜好項目ごとに図形によって可視化するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、時間軸可視化手段によって可視化されたコメントの推移を観察しながらユーザ指示入力部を操作するユーザからの指示に従って、嗜好傾向可視化手段は、コメントを嗜好項目ごとに図形によって可視化できるので、ユーザは、質・量を含め直感的に時間の推移とともに視覚的に観察しながらも、関心のある任意の時点においては瞬間的な嗜好傾向を可視化することによって、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を視覚的に得ることもできる。
【００１７】
本発明の第２の態様によると、番組を視聴した複数の視聴者から収集された複数のコメントを可視化するコメント可視化処理をコンピュータに実行させるコメント可視化プログラムであって、前記視聴者が放送事業者またはコンテンツ提供者に提供した複数のコメントをコメント収集解析装置に基づいて所定の解析がされ、前記複数のコメントを、該コメントの内容に基づいて所定の分類がされたコメント解析結果を入力するコメント解析結果ステップと、前記コメント解析結果に基づいて前記複数のコメントから所定の嗜好項目ごとのコメントの数または前記所定の嗜好項目をコメントした視聴者の数を計数するコメント計数ステップと、前記コメント解析結果と前記コメント計数部の結果に基づいて、（１）前記番組の時間的な経過に基づいて前記コメントの推移を所定の図形によって表示する時間軸可視化ステップと、（２）前記コメントを前記嗜好項目ごとに所定の図形によって表示する嗜好傾向可視化ステップと、（３）前記番組の動画像の中から前記嗜好項目に対応する動画像のうちの任意のフレーム画像またはフィールド画像である静止画像を代表画像とし、前記嗜好項目の所定のデータを前記番組の中から抽出し、前記代表画像のデータに基づいて所定の編集を行い、前記代表画像を適切に視覚化するように所定の脚色をして表示する代表画像脚色ステップと、のいずれか一つのステップをコンピュータに実行させることを特徴とする、コメント可視化プログラムを提供する。
【００１８】
かかる構成により、本発明のコメント可視化プログラムは、「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を、収集されたコメントの解析結果を可視化することで、コメント全体の一覧性を高め、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を、質・量を含め直感的に時間の推移とともに視覚的に把握することを可能とする。
【発明の効果】
【００１９】
本発明は、「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を可視化することにより、質・量を含め直感的に時間の推移とともに把握することを可能とする。すなわち、「番組」という時間方向につながったコンテンツに対する視聴者の意見の傾向を把握するために一覧性を持たせた可視化を実現することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面に基づいて本発明に係る実施の形態を説明する。
図１は、本発明の実施の形態のコメント可視化装置の構成を示すブロック図である。図１に示すように、コメント可視化装置１０は、放送または通信回線を介して配信された番組データによって番組を視聴した複数の視聴者から複数のコメントデータを収集して、コメントデータの表すコメントを解析し、コメントを内容にそって分類するコメント収集解析装置２０から、複数の視聴者からのコメントを解析し、前記複数のコメントを内容にそって分類したコメント解析結果であるコメント解析結果データを入力するコメント解析結果入力部１１と、ユーザからの指示を入力するユーザ指示入力部１１ａと、コメント解析結果データに基づいて嗜好項目ごとのコメントの数を計数するコメント計数部１２と、嗜好項目に対応する代表画像などの画像データを番組から抽出する代表画像抽出部１３と、コメント解析結果入力部１１から入力したコメント解析結果データとコメント計数部１２のコメント計数結果であるコメント計数結果データに基づいて、番組の時間的な進展に対応したコメントの推移を図形によって可視化して表示する時間軸可視化データを生成する時間軸可視化手段１４と、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果に基づいて、コメントを嗜好項目ごとに図形によって可視化して表示する嗜好傾向可視化データを生成する嗜好傾向可視化手段１５と、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果に基づいて、代表画像抽出部１３が抽出した代表画像などのデータに編集を行い、代表画像を脚色して表示するデータを生成する代表画像脚色手段１６と、時間軸可視化手段１４と、嗜好傾向可視化手段１５と、代表画像脚色手段１６とで生成されたデータを、通信ネットワーク４０を介して外部の視聴者端末３０ａ〜３０ｃに送信する可視化結果送信部１７とを備える。
【００２１】
コメント収集解析装置２０は、例えば、特許文献１に記載のコメント情報解析装置によって実現できる。このコメント収集解析装置２０は、コメントデータを受信する受信手段と、同一の嗜好および嗜好の対象となる対象物を意味する複数の異なる表現の文字列と当該文字列を同一の文字列に置換するための文字列をあらかじめ記憶した置換文字記憶手段と、受信したコメントデータを置換文字記憶手段に記憶されている文字列で置換することでコメントデータを整形するコメント整形手段と、整形されたコメントデータを視聴者の嗜好ごとに分類する嗜好分類手段と、分類された視聴者ごとの嗜好情報を視聴者端末に送信するフィードバック手段と、を備えており、放送または通信回線を介して配信された番組データによって番組を視聴した複数の視聴者から複数のコメントデータを収集して、収集したコメントデータに含まれているコメントの情報を記憶している文字列で置換して統一化して、キーワードとなる文字列に基づいて内容にそってコメントを分類するようになっている。ただし、コメント収集解析装置２０は、特許文献１に記載のコメント情報解析装置に限定されず、後述する内容のコメント解析結果データを出力可能なものであれば、他の装置を用いてもよい。コメント収集解析装置２０がコメント解析結果として出力するコメント解析結果データは、コメントを内容にそって分類した分類情報を含む。ここで、嗜好項目をコメントした視聴者を分類したグループを「クラスタ」と呼ぶ。コメント解析結果データは、番組内の時間、視聴者ＩＤ、番組のテーマ、登場人物などのコメント対象、視聴者が用いた感情表現、例えば、肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現などの情報を含むコメント内容、嗜好項目ごとにコメントした視聴者を分類して生成したクラスタのクラスタ名などを含む。各クラスタには、嗜好項目をコメントした視聴者が分類されることから、同一のクラスタには、発言内容が類似している視聴者が分類されると考えられる。また、本明細書において、「嗜好項目」とは、番組に対する視聴者の嗜好を推測する手掛かりとなる対象項目であって、例えば、番組のテーマ、登場人物などの狭義の意味の嗜好の対象のみならず、当該番組に対する視聴者の様々な意見、例えば、肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現などの感情表現など、番組に対する視聴者の嗜好を推測可能な手掛かりとなるものであればいかなる対象を含んでもよい。嗜好項目を、実装に応じて、番組に対する視聴者の意見や感情を表現する文字列に置換したものとしてもよい。コメント収集解析装置２０の代表的な構成の詳細については、特許文献１に記載しているので、本明細書では詳述しない。
【００２２】
コメント解析結果入力部１１は、コメント収集解析装置２０から、複数の視聴者からのコメントを解析し、前記複数のコメントを内容にそって分類したコメント解析結果のデータを入力する。コメント解析結果入力部１１がコメント解析結果としてコメント収集解析装置２０から入力するコメント解析結果データは、嗜好項目ごとに分類された分類情報を表し、番組内の時間、コメントをした視聴者の視聴者ＩＤ、番組のテーマ、登場人物など、何に対するコメントかを表すコメント対象情報、コメントの概要を探る手掛かりとなる、例えば視聴者が用いた感情表現などの情報を含むコメント内容情報、コメントが分類される嗜好項目の名称、またはクラスタ名を含む。嗜好項目またはクラスタ名として、例えば、番組のテーマ、登場人物などを用いてもよい。また、コメント解析結果入力部１１は、コメント収集解析装置２０から有線または無線など様々な通信手段を介して直接コメント解析結果データを受信してもよいし、コメント収集解析装置２０が解析したコメント解析結果データをあらかじめ記憶したハードディスクなどの記憶装置を介して入力してもよい。
【００２３】
コメント計数部１２は、コメント解析結果入力部１１が入力したコメント解析結果に基づいて嗜好項目ごとのコメントの数またはコメントした視聴者の数を計数する。具体的には、コメント解析結果のデータに含まれる、番組内の時間、視聴者ＩＤ、コメント対象、コメント内容、クラスタ名に基づいて、（番組総時間（秒））／ｍ（秒）ごとにコメント解析結果データを区切り、各時間内のコメントの解析結果ごとにコメントの数またはコメントを視聴者の数をカウントする。
【００２４】
代表画像抽出部１３は、図示されていないが、放送または通信回線を介して配信された番組データから代表的画像と代表画像に関わる代表画像関連データを取得する。番組データには画像データ、音声データ、字幕データやタイムスタンプが付与されているため、コメント解析結果入力部１１から入力されるコメント解析結果データまたはユーザ指示入力部１１ａを介して入力されるユーザの指示に応じて、あるいは時間軸可視化手段１４、嗜好傾向可視化手段１５または代表画像脚色手段１６からの要求に応じて、番組データに含まれる画像データ、字幕データやタイムスタンプを参照し、嗜好項目、番組内の時間、シーンなどに対応する代表画像関連データを番組から抽出して時間軸可視化手段１４、嗜好傾向可視化手段１５または代表画像脚色手段１６に送出するようになっている。
【００２５】
時間軸可視化手段１４、嗜好傾向可視化手段１５、代表画像脚色手段１６は、本実施の形態のコメント可視化装置１０の主要部を構成する。
【００２６】
以下、時間軸可視化手段１４、嗜好傾向可視化手段１５、代表画像脚色手段１６について詳細に説明する。
【００２７】
＜時間軸可視化手段＞
図２は、時間軸可視化手段１４が実行する時間軸可視化処理を説明するフローチャートであり、図３は、時間軸可視化手段１４によって生成された画像データに基づいて、視聴者端末３０ａ〜３０ｃに表示される、可視化された番組の時間的な進展に対応したコメントの推移を表すグラフである。図４は、時間軸可視化手段１４がコメントの推移を表すグラフを生成する際の処理を説明する図である。
【００２８】
まず、図１〜図４を参照して、時間軸可視化手段１４について説明する。
【００２９】
時間軸可視化手段１４は、コメント解析結果として入力したコメント解析結果データから、番組総時間（秒）をｍ個に分割した時間（秒）ごとにコメント解析結果データを区切り、各時間内のコメントの解析結果ごとにコメントの数をカウントし、各時間内のコメント数の一番多いものをｎとした棒グラフとして時系列順に表示し、カウントの大きなものから順番にコメント対象文字列と感情分類文字列を表示するための時間軸可視化データを生成するようになっている。表示するデータの時間間隔の数ｍは番組ごとにあらかじめパラメータとして与えてもよい。図３に示すグラフの例では、時間間隔は９個に分割されているので、ｍ＝９である。
【００３０】
時間軸可視化手段１４は、また、代表画像抽出部１３から番組映像の静止画データを選択するシーン選択部１４ａを有する。シーン選択部１４ａは、ユーザ指示入力部１１ａを介して入力されるユーザの指示に応じて、または、コメント解析結果入力部１１から入力されるコメント解析結果データに基づいてコメント数の多いと判断される箇所について、コメント解析結果データからタイムスタンプを取得して、対応する番組映像の静止画データを取得する。
【００３１】
こうして得られた静止画データに基づいて、時間軸可視化手段１４は、棒グラフに該当するシーン画像を埋め込んで表示する時間軸可視化データを作成する。時間軸可視化手段１４によって生成した時間軸可視化データに基づいて、視聴者端末３０ａ〜３０ｃに表示される、可視化された番組の時間的な進展に対応したコメントの推移を表すグラフを図３に示す。このようにコメント可視化装置１０は番組の時間的な進展に対応したコメントの推移を棒グラフという図形にして可視化することができ、また、コメントの多かったシーンについても、「藤堂平助」、「松平容保」など静止画像を表示して視覚的に表現できることがわかる。
【００３２】
図２〜図４を参照して、時間軸可視化手段１４が実行する時間軸可視化処理について詳細に説明する。以下のステップはコメント可視化装置１０の図示していないＣＰＵなどの制御部の制御によって実行される。
【００３３】
図２に示すように、ステップＳ１０で、ユーザがコメントを可視化する番組を選択する。ステップＳ１１で、コメント収集解析装置２０が解析したコメント解析結果データをコメント解析結果入力部１１から入力する。
【００３４】
ステップＳ１２で、設定パラメータｍとｔを設定する。ｍは、上述したように、番組総時間に対してコメントを計数する時間間隔の数を示し、番組ごとにあらかじめ設定しておいてもよいし、コメント可視化装置１０を操作するユーザが、ユーザ指示入力部１１ａを介して指示をして、用途に応じて任意に設定してもよい。ｔは初期値として０を設定する。ステップＳ１３で、ステップＳ１２で設定したパラメータｍに対応する、コメントを計数する時間間隔ａを算出する。具体的には、時間間隔ａは番組の総時間をｍで除して算出する。
【００３５】
ステップＳ１４で、ｔ〜ｔ＋ａまでの全ての嗜好項目についてコメントを計数して結果をデータカウントｍ（ｉ）に対応するメモリに保持する。
【００３６】
ステップＳ１５で、ｔをｔ＋ａにインクリメントする。
【００３７】
ステップＳ１６で、ｔが番組総時間に到達したか否かを判定する。番組総時間に到達していないと判定した場合は、ステップＳ１４に戻り、ステップＳ１４からＳ１６を繰り返す。番組総時間に到達したと判定した場合は、ステップＳ１７に進む。
【００３８】
ステップＳ１７で、こうして生成したデータカウントの中で、計数したコメントの数が最大のデータカウントｍａｘ（０〜ｉ）を特定する。ステップＳ１８で、グラフとして表す領域、すなわちグラフエリアの縦と横の幅を決定する。具体的には、ウィンドウの縦幅と横幅に対して定数を乗じて決定する。
【００３９】
ステップＳ１９で、グラフエリアに表示する棒グラフの棒の縦と横の幅を決定する。具体的には、縦幅は、グラフエリアのコメント数を、グラフエリアの縦幅とコメントの数の最大値ｎで乗じた値で除して算出し、横幅は、グラフエリアの横幅を時間間隔の数ｍで除して算出する。さらに嗜好項目ごとのコメントの数が定数を上回っているか否かを判定し、上回っている場合は、当該嗜好項目に該当するエリアに文字列を表示できるようにする。
【００４０】
ステップＳ２０では、定数ｋに初期値として０を設定する。ステップＳ２１で、代表画像の表示上限数ｂを設定する。各代表画像の対応する時間間隔は、１秒間当たりに処理するフレーム数を３０とすると、１分間で３０×６０＝１８００フレームなので、ファイル名（番組開始からのフレーム数）／１８００として算出する。
【００４１】
ステップＳ２２では、コメントの数の多い者から順に、対応する時間＋７５秒を加えた範囲で表示する文字列に対応する字幕を検索し、次に当該字幕に最も近い代表画像を表示し、ｋをインクリメントする。
【００４２】
ステップＳ２３では、ｋが表示上限数ｂを超えたか否かを判定し、超えたと判定した場合にはステップＳ２４に進み、超えていないと判定した場合にはステップＳ２１に戻る。
【００４３】
ステップＳ２４ではこうして生成したグラフ画像を表示する画像データを生成し、対応する視聴者端末３０ａ〜３０ｃで表示できるようになる。このようにして時間軸可視化手段１４によって生成された画像データに基づいて、図３に示すように、視聴者端末３０ａ〜３０ｃでは、可視化された番組の時間的な進展に対応したコメントの推移を表すグラフを表示できるようになる。
【００４４】
以上説明したように、コメント可視化装置１０は、時間軸可視化手段１４によって、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果に基づいて、番組の時間的な進展に対応したコメントの推移を図形によって可視化することができ、また、コメントの多かったシーンについても視覚的に表現できるようになる。
【００４５】
時間軸可視化手段１４は、シーン選択部１４ａによって、ユーザ指示入力部１１ａを介して入力されるユーザの指示に応じて、または、コメント解析結果入力部１１から入力されるコメント解析結果データに基づいて、適当な棒グラフにシーン画像を埋め込んで表示する時間軸可視化データを作成することができる。さらに、図４に示すように、番組データに含まれる物理的特徴量の変化からシーンが変わるポイントを検出して、そのポイントを用いて、棒グラフを分割してもよい。さらに、棒グラフのそれぞれの分割部において、番組データから抽出した字幕とともに、コメント解析結果入力部１１から入力したコメント解析結果に含まれる感情表現、例えば、肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含むコメント内容情報（図４では「Ａ」、「Ｂ」、「Ｃ」で示す）とコメント計数部１２の結果に基づいて、コメントを好適的な意見か否定的な意見かを判別し、該当する分割部に、肯定的な意見については寒色系（例：肯定＝水色）、否定的な意見については暖色系（例：否定＝オレンジ色）の色でコメント対象を表示できるようにしてもよい。これによって、どのシーンでコメントが多かったか、また、否定的なコメントであったか、肯定的なコメントであったか、どのような内容であったかを、横軸が時間的な経過を、縦軸が意見の多さを表したグラフに、意味的な区切りを基準とした塊として離散的に可視化して表現することができる。
【００４６】
＜嗜好傾向可視化手段＞
嗜好傾向可視化手段１５は、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果に基づいて、一つの番組に対するユーザ単位のコメント傾向を可視化する。コメント解析結果に含まれる感情表現を含むコメント内容情報から、コメントを好適的な意見か否定的な意見かを判別し、肯定的な意見については寒色系（例：肯定＝水色）、否定的な意見については暖色系（例：否定＝オレンジ色）で表し、各クラスタの構成人数を楕円の長径として図示する。ここで、一人で複数のコメントをする視聴者も考慮して、コメント解析結果に含まれるユーザＩＤを参照して、コメントの数ではなく、コメントした視聴者の数を計数するようにしてもよい。
【００４７】
本実施の形態では、コメント解析結果に含まれる、嗜好項目ごとにコメントをした視聴者の数、例えば、嗜好項目をコメントした視聴者を内容にそって分類したグループである「クラスタ」に含まれるコメントの数を算出し、コメントをした視聴者の数の最も多い順に視聴者の数が下限に達するまで、コメント対象と感情表現、例えば、肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を検出して、クラスタを図形としてグラフ化する。描画位置を決めた後、重なった図形として表示されるクラスタに対して、再度コメント数またはコメントをした視聴者の数を計数し、最も重なりの多い、すなわち、コメントをした視聴者の数の多い図形の中心の重心に「コメント対象：感情表現」のテキストを表示する（図６参照）。また、コメントに他のクラスタとの重複が全く見られないクラスタが存在する場合は、独立して図形を描く。
【００４８】
図５は、嗜好傾向可視化手段１５が実行する嗜好傾向可視化処理を説明するフローチャートであり、図６は、嗜好傾向可視化手段１５によって生成された画像データに基づいて、視聴者端末３０ａ〜３０ｃに表示される、コメントを嗜好項目ごとに可視化した画面である。図５および図６を参照して嗜好傾向可視化手段１５が実行する嗜好傾向可視化処理について説明する。以下のステップはコメント可視化装置１０の図示していないＣＰＵなどの制御部の制御によって実行される。
【００４９】
図５に示すように、ステップＳ３０で、コメント解析結果入力部１１からコメント収集解析装置２０が解析した対象とする番組のコメント解析結果データを入力する。ステップＳ３１で、コメント計数部１２の計数の結果などに基づいて描画を決定したクラスタの総数を計数する。
【００５０】
ステップＳ３２で、クラスタの中で視聴者の数が最も多いクラスタについて、クラスタ内のすべてのコメントを総合して、コメント対象と感情表現が同じものを計数する。
【００５１】
ステップＳ３３で、計数した嗜好項目のクラスタの形状を決定する。本実施の形態では、クラスタの形状を楕円形とし、クラスタの楕円の長軸の長さｌを、当該クラスタの視聴者の数を描画が決定した全ての嗜好項目の視聴者の総数で除した値に半径パラメータｒを乗じて算出する。
【００５２】
ステップＳ３４で、クラスタを最も多いコメント対象と感情表現の順に図の中心方向に配置する。
【００５３】
ステップＳ３５で、当該クラスタについてクラスタ内の視聴者の数が所定の数以下か否かを判定する。所定の数以下であると判定した場合はステップＳ３６に進み、所定の数を上回ると判定した場合は、ステップＳ３２に戻り、処理の終わったクラスタを処理の対象から除いて、ステップＳ３２からステップＳ３４までを、ステップＳ３５で判定するクラスタのクラスタ内の視聴者の数が所定の数以下となるまで繰り返す。
【００５４】
ステップＳ３６で、図形が重なり合っているクラスタに対し、重複部のコメントの数を計数する。ステップＳ３７で、重複部のコメントの数が所定の閾値を超えているか否かを判定し、超えていると判定した場合はコメント対象と感情表現のテキストを図形に表示されるようにする。ステップＳ３８で、全ての重なり合っているクラスタについて処理したか否かを判定し、処理していないと判定した場合には、ステップＳ３６に戻ってステップＳ３７までを繰り返し、処理したと判定した場合は、嗜好傾向可視化処理を終了する。
【００５５】
図６は、嗜好傾向可視化手段１５によって生成された画像データに基づいて、視聴者端末３０ａ〜３０ｃに表示される、コメントを嗜好項目ごとに可視化した画面である。
【００５６】
本実施の形態において、図形の形は、半径をあらかじめ決められた半径パラメータｒに、描画が決まったクラスタの視聴者数の総和を１として嗜好項目のクラスタに含まれる視聴者数に比例した数を掛け合わせた円または楕円とし、さらに、クラスタ同士を表示する相対的な大きさまたは位置関係を、両者に共通する視聴者の数によって決定するので、どの部分で盛り上がりがあったのかを詳細に可視化することができる。また、嗜好項目のクラスタの中で一番言及の多いコメントの発言時間の番組映像の静止画を同時に表示することにより、どのシーンでコメントが多かったかを視覚的に表現してもよい。これによって、盛り上がったシーンをより詳細に可視化することができる。
【００５７】
また、発言をした視聴者が他にどのようなコメントしたかを数え、コメント内容の重複の多さを楕円の重複で表している。例えば、図６では、勝海舟を肯定するクラスタを表す楕円の重複が一番多く、次いで小松を肯定するクラスタを表す楕円が多いことが示されている。
【００５８】
また、本実施の形態のコメント可視化装置１０は、嗜好傾向可視化手段１５が、ユーザがユーザ指示入力部１１ａによって指定した任意の時間または任意のクラスタごとに収集されたコメントの解析結果を分析して、可視化するようにしてもよい。これによって、視聴者端末３０ａ〜３０ｃを介してユーザ指示入力部１１ａを操作するユーザは、時間を指定することによって、関心のある時間ごとに瞬間的な視聴者全体の動向を、例えば、視聴者の嗜好に合わせて質・量を含め直感的に把握することができる。換言すると、いわゆる「瞬間視聴率」という数値でしかとらえることのできなかった、視聴者の任意の時点の瞬間的な動向を、質・量を含め直感的に視覚的かつ詳細に把握することを可能とする。
【００５９】
＜代表画像脚色手段＞
代表画像脚色手段１６は、コメント解析結果入力部１１から入力したコメント解析結果とコメント計数部１２の結果、および代表画像抽出部１３が抽出した代表画像のデータ、例えば、対象となる番組映像の静止画像、字幕データなどに基づいて代表画像を脚色して表示するデータを生成するようになっている。代表画像脚色手段１６は、コメント解析結果に基づき、代表画像抽出部１３からコメントの数の多いシーンの静止画像を選択し、選択した静止画像に対して、コメントの数に応じて生成するコマ画像の大きさ、形状および配置を決定するコマ割り配置部１６ａと、コマ画像に付加する台詞を代表画像抽出部１３が抽出した番組データに含まれる字幕データから選択し、吹き出しを生成して重ねる吹き出し生成部１６ｂと、コマ画像に人物の感情や心理描写を表す効果線などを付加する効果表現付与部１６ｃを有する。
【００６０】
図７に代表画像脚色手段１６の処理の概要を示す。図７に示すように、代表画像脚色手段１６は、コメント解析結果入力部１１からコメント解析結果データを入力する他に、代表画像抽出部１３から静止画ファイル、字幕データを入力する。さらに、代表画像を一層脚色するように、後述するキーフレーム指定データ、ＢＧＭ（Ｂａｃｋｇｒｏｕｎｄ Ｍｕｓｉｃ）タイミングデータ、吹き出し位置データ、クラスタ名などをコメント解析結果データから抽出する、またはユーザ指示入力部１１ａなどを介して入力してもよい。代表画像脚色手段１６は、図示していないが、ハードディスクなどの記憶部と接続し、必要に応じて吹き出し線やＢＧＭなどのデータを取得するようになっている。
【００６１】
代表画像脚色手段１６は、コマ割り配置部１６ａと、吹き出し生成部１６ｂと、効果表現付与部１６ｃとを含み、主に、代表画像抽出部１３と連携して実行する、あらかじめ定めた総コマ数に収まるように静止画を選択する処理と、コマ割り配置部１６ａが実行する、コマ画像の形状を変化させて配置する処理と、吹き出し生成部１６ｂが実行する吹き出しを生成し台詞を静止画に重ねる処理とを実行する。
【００６２】
代表画像脚色手段１６は、キーフレーム指定データを用いてキーとなるコマを指定する、または指定しない、を判断してもよい。キーフレーム指定データとは、ある瞬間または区間の静止画をコマとして脚色する代表画像、または代表画像脚色手段１６が生成する漫画に反映する／しないを指定するものであり、事前に指定しておき、代表画像抽出部１３を介して代表画像抽出部１３に入力されるようにしてもよい。
【００６３】
キーフレーム指定データを用いて、例えば、各回のサブタイトル静止画を指定すると、各回のサブタイトル静止画のコマを必ず脚色する代表画像または漫画に反映することができる。これによって、視聴者端末３０ａ〜３０ｃ側では、特別な他のデータを用いずにサブタイトルを容易に認識することができる。あるいは、キーフレーム指定データを用いて、毎回同じである主題歌部分のコマのイン点からアウト点までを脚色する代表画像または漫画に反映しないと指定することもできる。これによって視聴者端末３０ａ〜３０ｃ側では、誤って代表画像として選択されやすい主題歌部分のコマを避け、各回内容の違う部分のみから代表画像を選択することができる。
【００６４】
コマ割り配置部１６ａは、このようにキーフレーム指定データによって指定されたコマの表示情報または非表示情報を参照して、指定された嗜好項目のクラスタ、指定のない場合はすべての嗜好項目のクラスタに対して、コメント対象の数、例えば、登場人物の数の上限をαとして、登場人物ごとにコメントを計数し、コメントの数の大小に応じて上限αを超えない各静止画に数値を割り振る。ここでも、キーフレーム指定データに数値を割り振るか否かの情報を追加しておいて、キーフレーム指定データの当該情報を参照して、数値を割り当てるか否かを決定するようにしてもよい。また、ＢＧＭを含むＢＧＭ区間データを使用する場合にはＢＧＭ区間であるかどうかに応じて数値に重みをつけてもよい。
【００６５】
図８は、コマ割り配置部１６ａが実行するコマ割配置処理を説明するフローチャートであり、図９は、コマ割り配置部１６ａが、コメント対象ごとにコメントの数を対応付けるために図示していないメモリに記憶して登録するテーブルを示し、図１０は、コマ割り配置部１６ａが実行するコマ割配置の一例を示す図であり、図１１は、コマ割り配置部１６ａが生成した吹き出しの一例を示す図である。以下のステップはコメント可視化装置１０の図示していないＣＰＵなどの制御部の制御によって実行される。
【００６６】
図８に示すように、ステップＳ４０で、コメント解析結果入力部１１からコメント収集解析装置２０が解析した対象とする番組のコメント解析結果データを入力する。ステップＳ４１で、ユーザ指示入力部１１ａを操作するユーザにより指示された、またはコメント解析結果データに基づいて選択された番組の嗜好項目のクラスタ名を入力する。
【００６７】
ステップＳ４２で、選択した番組の嗜好項目のクラスタに属する視聴者からのコメントを時間順に並び替える作業を開始する。具体的には、対象となる一部の嗜好項目のクラスタ、または全ての嗜好項目のクラスタのコメントを時間順に読み込むために、コメント対象とコメントのカウント数を時間順に並べて登録するテーブル（図９参照）をメモリに作成する。この時、テーブルには、事前に設定した登録対象の上限値αの分だけコメント対象のエントリを書き込み可能に設けておく。このようにテーブルを用意してから、コメントを時間順に読み込む（ステップＳ４３）。
【００６８】
コメントごとに新しいコメント対象であるか否か、具体的には既にコメント対象がテーブルに登録されているか否かを判定し（ステップＳ４４）、既にコメント対象がテーブルに登録されていると判定すると、対象とするテーブルのカウントをインクリメントする（ステップＳ４５）。また、コメント対象がテーブルに登録されていない新しいコメント対象であると判定されると、新しいエントリとして追加する。
【００６９】
こうして、テーブルのエントリの数が上限値であるαを超えたか否かを判定する（ステップＳ４６）。上限値であるαを超えたと判定されると、最初のエントリに戻り、コメント対象と時間を保持テーブル（コメント数テーブル）に書き写してから、既に存在するエントリを順番に上書きしていく（Ｓ４７）。上限値であるαに達していないと判定すると、コメント対象をテーブルにエントリとして追加していく（Ｓ４８）。この作業を最後のコメントまで行い（Ｓ４９）、時間順に並んだ「コメント対象」と「カウント数」を対応させた図９に示すようなコメント数・テーブルを完成させる（Ｓ５０）。
【００７０】
このテーブルを用いて静止画にコメント数を対応付けていく。コメント数の最も多いテーブルエントリについて、コメントのタイムスタンプを取得し、字幕データと照らし合わせ、その近傍のコメント対象と字幕データが一致するものを探す。この字幕データに記された時間（台詞の話し始めの時間）に一番近い静止画と、エントリのコメント数を対応付ける。これらの処理をある一定のコメント数を下回るか、対応付けする静止画の数がなくなるまで続けるようにする。この部分でコメント数の多さをコマの大きさと関連付ける。
【００７１】
コマ割り配置部１６ａは、既存の手法、例えば、特許公開２００３−８５５７２に開示された手法を用いて、あらかじめ設定された大きさのページ領域内にコマを連続して配置する。図１０に、コマ割配置の一例を示す。各コマについては代表画像抽出部１３において算出したコマの大きさを最小限の数値パラメータとして有している。
【００７２】
吹き出し生成部１６ｂは、既存の手法、例えば、特許公開２００３−８５５７２に開示された手法を用いて、このようにして配置されたコマ画像に対して、図１１に示すように、複数ある吹き出し形状の中から、条件に応じて適当な吹き出し形状を選択し、字幕内データとあわせ吹き出しを生成する。選択された静止画に対応する区間内の字幕を文字列として使用してもよい。また、ある一定の大きさよりコマの大きさが小さい場合には吹き出しの付加を行わないようにしてもよい。さらに、吹き出し生成部１６ｂは、画像から人物領域の抽出を行い、その結果に応じて吹き出しの形状選択を行うようにしてもよい。吹き出し生成部１６ｂは、代表画像抽出部１３が選択した静止画像の中で解像度を低くしたものを用いる。図１０に、人物領域判定と吹き出し配置の例を示す。
【００７３】
図１０に示すように、吹き出し生成部１６ｂは、静止画像の画面をあらかじめ設定した数の領域に分割し、ＬＵＶ空間（ＣＩＥ１９７６（Ｌ＊ｕ＊ｖ＊）空間）のＵＶ（知覚色度）の値を用いて肌色区域やＲＧＢの値により人領域の判定を行う。人物領域判定と吹き出し配置の例を以下に説明する。
【００７４】
＜１ショットの場合＞
図１０（ａ）に示すように、１ショットで、画面中央部分に人物領域がある場合は左端または右端に吹き出しを配置する。声の発生元を表わす吹き出しの尾部は中央を向くようにする。
【００７５】
＜２ショットの場合＞
図１０（ｂ）に示すように、画面に２領域以上の人物領域がある場合は、コメントの一番多い話者と次に多い話者に対応する吹き出しを左、右の順に配置する。水平方向の位置は左のほうを上にする。
【００７６】
＜人物が一方に寄っている場合＞
右または左と画面のどちらかに寄った位置に人物領域がある場合は人物領域の反対の側に吹き出しを配置するようにする。図１０（ｃ）に示すように、右の画面に人物領域がある場合は左側に吹き出しを配置する。このとき、声の発生元を表わす吹き出しの尾部は、顔の領域に向くように配置する。以上、一実施の形態の人物領域の判定方法について説明したが、本発明はこれに限定されることはなく、人物領域の判定方法を適用可能である。
【００７７】
このようにして吹き出し生成部１６ｂが吹き出しを生成して重ねた後、効果表現付与部１６ｃは既存の手法、例えば、特許公開２００３−８５５７２に開示された手法を用いて、コマ画像に人物の感情や心理描写を表す効果線を付加する。効果線の付与をおこなう際、視聴者からのコメント内の感情表現の値が、ある一定の値を超えたコマに関して、人物の感情や心理状態を表す効果線をコマ画像に付加する。図１１のコマ画像に吹き出し線を付加したコマ画像の一例を示す。図１１に示すように、例えば、肯定コメントの多いコマに関して画画面例の黄色文字で「ＧＲＥＡＴ！！！」などのような効果文字を付してもよい。
【００７８】
吹き出し生成部１６ｂは、このようにして決定される吹き出しの大きさや効果線を考慮し、テキストの配置位置を決定する。また、各コマに対応する字幕の中で、コメント内に多く使われる単語を含む文、複数文の場合文末の文については、吹き出しの中、またはコマの下の余白に配置してもよい。コマがある程度以下の大きさの場合は表示しないようにしてもよい。
【００７９】
また、本実施の形態のコメント可視化装置１０は、代表画像脚色手段１６が、ユーザ指示入力部１１ａによって指定された時間または任意のクラスタごとに、嗜好項目に対応する代表画像を脚色して表示するようにしてもよい。かかる構成により、本発明のコメント可視化装置は、ユーザがユーザ指示入力部１１ａによって指定した任意の時間または任意のクラスタごとに収集されたコメントの解析結果を分析して、代表画像を脚色するので、ユーザが指定する時間において、視聴者全体の動向を、例えば、視聴者の嗜好に合わせて質・量を含め直感的に把握することができる。例えば、ユーザが指定した時間について瞬間的な視聴者全体の動向を、質・量を含め直感的に把握することができる。換言すると、いわゆる「瞬間視聴率」という数値でしかとらえることのできなかった、視聴者の任意の時点の瞬間的な動向を、質・量を含め直感的に視覚的かつ詳細に把握することを可能とする。
【００８０】
以上説明したように、本発明のコメント可視化装置は、収集されたコメントの解析結果を可視化することで、コメント全体の一覧性を高め、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がった、という情報を視覚的に表現することでこの課題を解決する。「視聴率」という数値でしか捕らえることのできなかった視聴者全体の動向を可視化することにより、質・量を含め直感的に時間の推移とともに把握することを可能とする。
【００８１】
上述の実施の形態において、時間軸可視化手段１４と、嗜好傾向可視化手段１５と、代表画像脚色手段１６とについて個別に説明したが、コメント可視化装置１０は、さらに、ユーザ指示入力部１１ａが入力するユーザからの指示によって、連携して動作することができる。視聴者端末３０ａ〜３０ｃを操作するユーザは、例えば、時間軸可視化手段１４によって可視化されたコメントの推移を観察しながらユーザ指示入力部１１ａを操作するユーザからの指示に従って、嗜好傾向可視化手段１５が、コメントを嗜好項目ごとに図形によって可視化するようにしてもよい。これによって、本発明のコメント可視化装置１０は、時間軸可視化手段１４によって可視化されたコメントの推移を観察しながら視聴者端末３０ａ〜３０ｃを介してユーザ指示入力部１１ａを操作するユーザからの指示に従って、嗜好傾向可視化手段１５が、コメントを嗜好項目ごとに図形によって可視化して表示させることができるので、ユーザは、質・量を含め直感的に時間の推移とともに視覚的に観察しながらも、関心のある任意の時点においては瞬間的な嗜好傾向を可視化することによって、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を視覚的に得ることもできる。換言すると、いわゆる「瞬間視聴率」という数値でしかとらえることのできなかった、視聴者の任意の時点の瞬間的な動向を、質・量を含め直感的に視覚的かつ詳細に把握することを可能とする。
【００８２】
さらに、本発明のコメント可視化装置１０は、時間軸可視化手段１４によって可視化されたコメントの推移を観察しながらユーザ指示入力部１１ａを操作するユーザからの指示に従って、代表画像脚色手段１６は、嗜好項目に対応する代表画像を脚色して表示するようにしてもよい。これによって本発明のコメント可視化装置１０は、時間軸可視化手段１４によって可視化されたコメントの推移を観察しながら視聴者端末３０ａ〜３０ｃを介してユーザ指示入力部１１ａを操作するユーザからの指示に従って、代表画像脚色手段１６は、嗜好項目に対応する代表画像を脚色して表示するので、ユーザは、質・量を含め直感的に時間の推移とともに視覚的に観察しながらも、関心のある任意の時点においては瞬間的な嗜好傾向を可視化することによって、番組の「どの部分」が「なぜ」、「どの程度」、「どのように」盛り上がったかなどという情報を視覚的に得ることもできる。換言すると、いわゆる「瞬間視聴率」という数値でしかとらえることのできなかった、視聴者の任意の時点の瞬間的な動向を、質・量を含め直感的に視覚的かつ詳細に把握することを可能とする。
【００８３】
以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の範囲内において、種々の変形・変更が可能である。例えば、本発明のコメント可視化装置は、放送番組の視聴率のみならず、例えば、時間的な推移を考慮する必要のある様々なアンケート、支持率調査など、様々な用途に応用可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施の形態のコメント可視化装置の構成を示すブロック図である。
【図２】図１のコメント可視化装置の時間軸可視化手段が実行する時間軸可視化処理を説明するフローチャートである。
【図３】図２の時間軸可視化手段によって生成された画像データに基づいて視聴者端末に表示される、可視化された番組の時間的な進展に対応したコメントの推移を表すグラフである。
【図４】図２の時間軸可視化手段がコメントの推移を表すグラフを生成する際の処理を説明する図である。
【図５】図１のコメント可視化装置の嗜好傾向可視化手段が実行する嗜好傾向可視化処理を説明するフローチャートである。
【図６】図５の嗜好傾向可視化手段によって生成された画像データに基づいて視聴者端末に表示される、コメントを嗜好項目ごとに可視化した画面である。
【図７】図１のコメント可視化装置の代表画像脚色手段の処理の概要を示す図である。
【図８】図７の代表画像脚色手段のコマ割り配置部が実行するコマ割配置処理を説明するフローチャートである。
【図９】図７の代表画像脚色手段のコマ割り配置部が、コメント対象ごとにコメントの数を対応付けるために図示していないメモリに記憶して登録するテーブルを示す。
【図１０】図７の代表画像脚色手段のコマ割り配置部により配置されるコマ割配置の一例を示す図である。
【図１１】図１１の画像に吹き出しや効果表現を付加したコマ画像の一例を示す図である。
【符号の説明】
【００８５】
１０ コメント可視化装置
１１ コメント解析結果入力部
１１ａ ユーザ指示入力部
１２ コメント計数部
１３ 代表画像抽出部
１４ 時間軸可視化手段
１５ 視聴者傾向可視化手段
１６ 代表画像脚色手段
１７ 可視化結果送信部
２０ コメント収集解析装置
３０ａ 視聴者端末
３０ｂ 視聴者端末
３０ｃ 視聴者端末
４０ 通信ネットワーク
【特許請求の範囲】
【請求項１】
番組を視聴した複数の視聴者から収集された複数のコメントを可視化するコメント可視化装置であって、
前記視聴者が放送事業者またはコンテンツ提供者に提供した複数のコメントをコメント収集解析装置に基づいて所定の解析がされ、前記複数のコメントを、該コメントの内容に基づいて所定の分類がされたコメント解析結果を入力するコメント解析結果入力部と、
前記コメント解析結果に基づいて前記複数のコメントから所定の嗜好項目ごとのコメントの数または前記所定の嗜好項目をコメントした視聴者の数を計数するコメント計数部と、
前記コメント解析結果と前記コメント計数部の結果に基づいて、
（１）前記番組の時間的な経過に基づいて前記コメントの推移を所定の図形によって表示する時間軸可視化手段と、
（２）前記コメントを前記嗜好項目ごとに所定の図形によって表示する嗜好傾向可視化手段と、
（３）前記番組の動画像の中から前記嗜好項目に対応する動画像のうちの任意のフレーム画像またはフィールド画像である静止画像を代表画像とし、前記嗜好項目の所定のデータを前記番組の中から抽出し、前記代表画像のデータに基づいて所定の編集を行い、前記代表画像を適切に視覚化するように所定の脚色をして表示する代表画像脚色手段と、
のいずれか一つの手段を備えたことを特徴とするコメント可視化装置。
【請求項２】
前記時間軸可視化手段は、前記番組の所定のシーンの切り替わる時間ごとに、前記コメント計数部が計数した前記嗜好項目ごとのコメントの数を集計し、当該集計されたコメント数を所定のグラフで表示し可視化することを特徴とする、請求項１に記載のコメント可視化装置。
【請求項３】
前記嗜好傾向可視化手段は、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記嗜好項目を表す領域の大きさを決定することを特徴とする、請求項１記載のコメント可視化装置。
【請求項４】
前記嗜好傾向可視化手段は、同一の視聴者が２以上の嗜好項目にコメントした場合、該２以上の嗜好項目それぞれについてコメントした視聴者の数を計数し、図形化する際に、図形を重複させることで、前記同一の視聴者のコメントの傾向がそれぞれの嗜好項目に属することを表示し可視化することを特徴とする、請求項１記載のコメント可視化装置。
【請求項５】
前記嗜好傾向可視化手段は、前記コメント解析結果に基づいて、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現に分類し、色分けして表示し可視化することを特徴とする、請求項１記載のコメント可視化装置。
【請求項６】
前記代表画像脚色手段は、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記代表画像を表す領域の大きさを決定することを特徴とする、請求項１記載のコメント可視化装置。
【請求項７】
前記時間軸可視化手段は、前記コメント解析結果に基づいて、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現ごとに分類し、色分けして可視化して表示する、請求項１記載のコメント可視化装置。
【請求項８】
前記代表画像脚色手段は、前記コメント計数部が前記嗜好項目ごとに計数したコメントした視聴者の数が所定の閾値を超えたか否かを判定し、前記コメントした視聴者の数が前記所定の閾値を超えたと判定された前記嗜好項目に対応する前記代表画像を強調して可視化して表示する、請求項１記載のコメント可視化装置。
【請求項９】
前記時間軸可視化手段によって可視化された前記コメントの推移を観察しながらユーザ指示入力部を操作するユーザからの指示に従って、前記嗜好傾向可視化手段は、前記コメントを前記嗜好項目ごとに図形によって可視化することを特徴とする、請求項１記載のコメント可視化装置。
【請求項１０】
番組を視聴した複数の視聴者から収集された複数のコメントを可視化するコメント可視化処理をコンピュータに実行させるコメント可視化プログラムであって、
前記視聴者が放送事業者またはコンテンツ提供者に提供した複数のコメントをコメント収集解析装置に基づいて所定の解析がされ、前記複数のコメントを、該コメントの内容に基づいて所定の分類がされたコメント解析結果を入力するコメント解析結果ステップと、
前記コメント解析結果に基づいて前記複数のコメントから所定の嗜好項目ごとのコメントの数または前記所定の嗜好項目をコメントした視聴者の数を計数するコメント計数ステップと、
前記コメント解析結果と前記コメント計数ステップの結果に基づいて、
（１）前記番組の時間的な経過に基づいて前記コメントの推移を所定の図形によって表示する時間軸可視化ステップと、
（２）前記コメントを前記嗜好項目ごとに所定の図形によって表示する嗜好傾向可視化ステップと、
（３）前記番組の動画像の中から前記嗜好項目に対応する動画像のうちの任意のフレーム画像またはフィールド画像である静止画像を代表画像とし、前記嗜好項目の所定のデータを前記番組の中から抽出し、前記代表画像のデータに基づいて所定の編集を行い、前記代表画像を適切に視覚化するように所定の脚色をして表示する代表画像脚色ステップと、のいずれか一つのステップをコンピュータに実行させることを特徴とする、コメント可視化プログラム。
【請求項１】
番組を視聴した複数の視聴者から収集された複数のコメントを可視化するコメント可視化装置であって、
前記視聴者が放送事業者またはコンテンツ提供者に提供した複数のコメントをコメント収集解析装置に基づいて所定の解析がされ、前記複数のコメントを、該コメントの内容に基づいて所定の分類がされたコメント解析結果を入力するコメント解析結果入力部と、
前記コメント解析結果に基づいて前記複数のコメントから所定の嗜好項目ごとのコメントの数または前記所定の嗜好項目をコメントした視聴者の数を計数するコメント計数部と、
前記コメント解析結果と前記コメント計数部の結果に基づいて、
（１）前記番組の時間的な経過に基づいて前記コメントの推移を所定の図形によって表示する時間軸可視化手段と、
（２）前記コメントを前記嗜好項目ごとに所定の図形によって表示する嗜好傾向可視化手段と、
（３）前記番組の動画像の中から前記嗜好項目に対応する動画像のうちの任意のフレーム画像またはフィールド画像である静止画像を代表画像とし、前記嗜好項目の所定のデータを前記番組の中から抽出し、前記代表画像のデータに基づいて所定の編集を行い、前記代表画像を適切に視覚化するように所定の脚色をして表示する代表画像脚色手段と、
のいずれか一つの手段を備えたことを特徴とするコメント可視化装置。
【請求項２】
前記時間軸可視化手段は、前記番組の所定のシーンの切り替わる時間ごとに、前記コメント計数部が計数した前記嗜好項目ごとのコメントの数を集計し、当該集計されたコメント数を所定のグラフで表示し可視化することを特徴とする、請求項１に記載のコメント可視化装置。
【請求項３】
前記嗜好傾向可視化手段は、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記嗜好項目を表す領域の大きさを決定することを特徴とする、請求項１記載のコメント可視化装置。
【請求項４】
前記嗜好傾向可視化手段は、同一の視聴者が２以上の嗜好項目にコメントした場合、該２以上の嗜好項目それぞれについてコメントした視聴者の数を計数し、図形化する際に、図形を重複させることで、前記同一の視聴者のコメントの傾向がそれぞれの嗜好項目に属することを表示し可視化することを特徴とする、請求項１記載のコメント可視化装置。
【請求項５】
前記嗜好傾向可視化手段は、前記コメント解析結果に基づいて、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現に分類し、色分けして表示し可視化することを特徴とする、請求項１記載のコメント可視化装置。
【請求項６】
前記代表画像脚色手段は、前記コメント計数部が計数した前記嗜好項目をコメントした視聴者の数に従って、前記代表画像を表す領域の大きさを決定することを特徴とする、請求項１記載のコメント可視化装置。
【請求項７】
前記時間軸可視化手段は、前記コメント解析結果に基づいて、コメントに含まれる肯定表現、否定表現、驚嘆表現、悲嘆表現、侮蔑表現、定型表現を含む感情表現ごとに分類し、色分けして可視化して表示する、請求項１記載のコメント可視化装置。
【請求項８】
前記代表画像脚色手段は、前記コメント計数部が前記嗜好項目ごとに計数したコメントした視聴者の数が所定の閾値を超えたか否かを判定し、前記コメントした視聴者の数が前記所定の閾値を超えたと判定された前記嗜好項目に対応する前記代表画像を強調して可視化して表示する、請求項１記載のコメント可視化装置。
【請求項９】
前記時間軸可視化手段によって可視化された前記コメントの推移を観察しながらユーザ指示入力部を操作するユーザからの指示に従って、前記嗜好傾向可視化手段は、前記コメントを前記嗜好項目ごとに図形によって可視化することを特徴とする、請求項１記載のコメント可視化装置。
【請求項１０】
番組を視聴した複数の視聴者から収集された複数のコメントを可視化するコメント可視化処理をコンピュータに実行させるコメント可視化プログラムであって、
前記視聴者が放送事業者またはコンテンツ提供者に提供した複数のコメントをコメント収集解析装置に基づいて所定の解析がされ、前記複数のコメントを、該コメントの内容に基づいて所定の分類がされたコメント解析結果を入力するコメント解析結果ステップと、
前記コメント解析結果に基づいて前記複数のコメントから所定の嗜好項目ごとのコメントの数または前記所定の嗜好項目をコメントした視聴者の数を計数するコメント計数ステップと、
前記コメント解析結果と前記コメント計数ステップの結果に基づいて、
（１）前記番組の時間的な経過に基づいて前記コメントの推移を所定の図形によって表示する時間軸可視化ステップと、
（２）前記コメントを前記嗜好項目ごとに所定の図形によって表示する嗜好傾向可視化ステップと、
（３）前記番組の動画像の中から前記嗜好項目に対応する動画像のうちの任意のフレーム画像またはフィールド画像である静止画像を代表画像とし、前記嗜好項目の所定のデータを前記番組の中から抽出し、前記代表画像のデータに基づいて所定の編集を行い、前記代表画像を適切に視覚化するように所定の脚色をして表示する代表画像脚色ステップと、のいずれか一つのステップをコンピュータに実行させることを特徴とする、コメント可視化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１３５９２５（Ｐ２０１０−１３５９２５Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０７８２７（Ｐ２００８−３０７８２７）
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]