デジタル放送受信装置および関連情報提示プログラム
【課題】視聴者が番組視聴中に、興味を示したシーンに関連する情報を提示するデジタル放送受信装置を提供する。
【解決手段】デジタル放送受信装置１は、デジタル放送からデータ放送用データを抽出して記憶手段８０に書き込む放送データ抽出手段４０と、放送番組を予め定めた時間分だけ順次更新して記憶手段８０に書き込む放送データ逐次更新手段５０と、視聴者の動作などで視聴者が放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段３０と、興味を示した前後の期間内で、放送データ逐次更新手段５０が記憶手段８０に書き込んだ放送番組のデータを抽出する興味データ抽出手段６０と、抽出したデータに含まれている文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段７０と、を備えることを特徴とする。
【解決手段】デジタル放送受信装置１は、デジタル放送からデータ放送用データを抽出して記憶手段８０に書き込む放送データ抽出手段４０と、放送番組を予め定めた時間分だけ順次更新して記憶手段８０に書き込む放送データ逐次更新手段５０と、視聴者の動作などで視聴者が放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段３０と、興味を示した前後の期間内で、放送データ逐次更新手段５０が記憶手段８０に書き込んだ放送番組のデータを抽出する興味データ抽出手段６０と、抽出したデータに含まれている文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段７０と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者が興味を示したシーンに関連する情報を提示するデジタル放送受信装置および関連情報提示プログラムに関する。
【背景技術】
【０００２】
近年、デジタル放送では、マルチメディアサービスであるデータ放送が行われ、番組（テレビ放送〔映像、音声〕）を補完する連動型のデータ放送や、番組とは独立した非連動型のデータ放送が配信されている。
例えば、連動型のデータ放送では、現在放送しているスポーツ番組における選手などの詳細な競技記録や、現在放送しているドラマの登場人物のプロフィールなどがＡＲＩＢ（社団法人電波産業会）により規定されているデータ放送向け記述言語であるＢＭＬ（Broadcast Markup Language）で記述され、カルーセル伝送によって配信されている。
これによって、視聴者は、デジタル放送受信装置において、番組を視聴中に、リモコン装置のデータボタンを押すことで、その番組に関連する情報をデータ放送によって取得することができる。
【０００３】
また、本願出願人は、視聴中の番組に対応したメタデータによって、関連する番組を検索し、視聴者に推薦して提示するシステム「ＣｕｒｉｏＶｉｅｗ（キュリオビュー）」を開発した（非特許文献１参照）。このように、番組と対応したメタデータによって、関連する番組を視聴者に提示する技術は種々存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−６５７１２号公報
【非特許文献】
【０００５】
【非特許文献１】佐野雅規、「メタデータと検索技術がテレビにもたらすもの」、ＮＨＫ技研Ｒ＆Ｄ、日本放送出版協会、Ｎｏ．１１７、ｐ．４４−４９、２００９年９月１５日
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記した番組連動型のデータ放送によって番組に関連する情報を取得する手法では、視聴者が、リモコン装置を操作しなければならない。このリモコン操作は、単にデータボタンの押下にとどまらず、煩雑な操作が必要となるという問題がある。例えば、所望のデータがデータ放送の階層構造化された下位層に存在する場合、視聴者は、方向ボタンや決定ボタンといったボタンを何回も押す必要がある。また、必ずしも所望のデータがデータ放送として配信されているわけではなく、リモコン操作によって所望のデータが得られないといった問題もある。さらに、視聴者は、番組を視聴中にリモコン操作を行う必要があるため、視聴者の番組への集中度を低下させてしまうという問題もある。
【０００７】
また、前記した視聴中の番組に対応したメタデータで関連する番組を提示する手法は、視聴者が煩わしいリモコン操作を行わなくても、視聴中の番組に関連する番組を提示する点で優れている。しかし、視聴者は、番組中の特定のシーンのみに興味を持っている場合や、視聴者それぞれの好みも異なる場合があり、視聴者が興味を持っていると思われるシーンに関連する番組や情報を的確に提示して欲しいという要望がある。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、視聴者が番組視聴中に、興味を示したシーンに関連する情報を提示することが可能なデジタル放送受信装置および関連情報提示プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載のデジタル放送受信装置は、デジタル放送を受信するデジタル放送受信装置において、放送データ抽出手段と、放送データ逐次更新手段と、視聴者状態分析手段と、興味データ抽出手段と、関連情報検索手段と、表示手段と、を備える構成とした。
【００１０】
かかる構成において、デジタル放送受信装置は、放送データ抽出手段によって、デジタル放送から、データ放送のデータであるデータ放送用データを分離抽出して記憶手段に書き込む。これによって、記憶手段には、放送番組に対応したデータ放送用データが蓄積されることになる。
【００１１】
また、デジタル放送受信装置は、放送データ逐次更新手段によって、デジタル放送で配信される視聴中の放送番組を予め定めた時間分だけ順次更新して記憶手段に書き込む。これによって、デジタル放送の放送番組である映像、音声、字幕、文字スーパのうち、現時点を基準として予め定めた時間分だけ遡ったデータが記憶手段に蓄積されることになる。
【００１２】
そして、デジタル放送受信装置は、視聴者状態分析手段によって、例えば、モニタの周囲に設置したカメラ、マイクといった状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。例えば、視聴者状態分析手段は、ジェスチャで万歳の動作を行ったり、笑ったり、「これ何？」と発話したりした視聴者の状態を、視聴者が興味を示している状態であると予め設定し、画像処理、音声認識処理によってその設定した状態であるか否かを分析することで、視聴者が視聴中のシーンに興味を示しているか否かを判定する。
【００１３】
そして、デジタル放送受信装置は、興味データ抽出手段によって、視聴者がシーンに興味を示したと判定した時点で、当該時点を含んだ所定期間内に、放送データ逐次更新手段で記憶手段に書き込んだ放送番組のデータを抽出する。なお、興味データ抽出手段は、視聴者がシーンに興味を示したと判定した時点で、数秒経過後、放送データ逐次更新手段で記憶手段に書き込んだ放送番組のデータを抽出することとする。そして、興味データ抽出手段は、視聴者がシーンに興味を示した時点の前後数秒間（所定期間）に亘って記憶手段に記憶されているデータを更新されないように他の記憶領域に移動させる。これによって、視聴者が興味を示したシーンを解析することが可能になる。
【００１４】
その後、デジタル放送受信装置は、関連情報検索手段によって、興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する。なお、関連情報検索手段は、放送番組のデータに含まれている文字情報をデータ放送用データから検索することとしてもよいし、データ放送用データに含まれている文字情報を放送番組のデータに含まれている文字情報から検索することとしてもよい。
そして、デジタル放送受信装置は、表示手段によって、関連情報検索手段で抽出した関連情報を画面上に表示する。
【００１５】
また、請求項２に記載のデジタル放送受信装置は、請求項１に記載のデジタル放送受信装置において、前記関連情報検索手段が、文字関連情報検索手段を備える構成とした。
【００１６】
かかる構成において、デジタル放送受信装置は、文字関連情報検索手段によって、放送データ逐次更新手段で記憶手段に書き込んだ放送番組の字幕または文字スーパと前記データ放送用データとで同一の名詞を検索し、当該名詞を含んで画面データを構成するデータ放送用データを関連情報として抽出する。これによって、デジタル放送受信装置は、視聴者が興味を示したシーンに字幕や文字スーパが含まれていれば、字幕や文字スーパに含まれている名詞を含んだデータ放送のデータを関連情報として画面上に表示することができる。
【００１７】
また、請求項３に記載のデジタル放送受信装置は、請求項２に記載のデジタル放送受信装置において、音声認識手段を備え、前記文字関連情報検索手段が、前記音声認識手段によって変換された文字列から名詞を抽出する構成とした。
【００１８】
かかる構成において、デジタル放送受信装置は、音声認識手段によって、放送データ逐次更新手段で記憶手段に書き込んだ放送番組の音声を音声認識により文字列に変換する。そして、文字関連情報検索手段は、音声認識手段によって変換された文字列から名詞を抽出する。これによって、デジタル放送受信装置は、視聴者が興味を示したシーンの音声（文字列）に含まれている名詞を含んだデータ放送のデータを関連情報として画面上に表示することができる。
【００１９】
さらに、請求項４に記載のデジタル放送受信装置は、請求項１から請求項３のいずれか一項に記載のデジタル放送受信装置において、前記関連情報検索手段が、画像関連情報検索手段を備える構成とした。
【００２０】
かかる構成において、デジタル放送受信装置は、画像関連情報検索手段によって、放送データ逐次更新手段で記憶手段に書き込んだ放送番組の映像の各フレーム画像において、データ放送用データに含まれている画像データと同一または類似する画像を画像処理（例えば、テンプレートマッチング）により検索し、当該同一または類似の画像を含んで画面データを構成するデータ放送用データを関連情報として抽出する。これによって、デジタル放送受信装置は、データ放送用データに画像データが含まれている場合、視聴者が興味を示したシーンの映像にその画像データと同一または類似の画像が含まれていれば、その画像データを含んだデータ放送のデータを関連情報として画面上に表示することができる。
【００２１】
また、請求項５に記載のデジタル放送受信装置は、デジタル放送を受信するデジタル放送受信装置において、放送データ抽出手段と、視聴者状態分析手段と、興味データ抽出手段と、関連情報検索手段と、表示手段と、を備える構成とした。
【００２２】
かかる構成において、デジタル放送受信装置は、放送データ抽出手段によって、デジタル放送から、データ放送のデータであるデータ放送用データと放送番組のシーンに関連する情報であるシーンメタデータとを分離抽出して記憶手段に書き込む。これによって、記憶手段には、放送番組に対応したデータ放送用データと、放送番組のシーンに関連するメタデータ（シーンメタデータ）とが蓄積されることになる。
【００２３】
そして、デジタル放送受信装置は、視聴者状態分析手段によって、例えば、モニタの周囲に設置したカメラ、マイクといった状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。すなわち、視聴者状態分析手段は、視聴者が興味を示している状態を予め設定し、その設定した状態であるか否かにより、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。
【００２４】
そして、デジタル放送受信装置は、興味データ抽出手段によって、視聴者がシーンに興味を示したと判定した時点で、シーンメタデータから、当該時点を含んだ所定期間内におけるシーンの文字情報（キーワード）を抽出する。
【００２５】
その後、デジタル放送受信装置は、関連情報検索手段によって、興味データ抽出手段で抽出した文字情報と、放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する。
そして、デジタル放送受信装置は、表示手段によって、関連情報検索手段で抽出した関連情報を画面上に表示する。
【００２６】
また、請求項６に記載のデジタル放送受信装置は、請求項１から請求項５のいずれか一項に記載のデジタル放送受信装置において、前記関連情報検索手段が、前記興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段で抽出した番組表データとで、共通する文字情報を検索し、当該文字情報を含んだ番組表データを視聴者が興味を持ったシーンに関連する関連情報としてさらに抽出する構成とした。
【００２７】
かかる構成において、デジタル放送受信装置は、関連情報検索手段によって、視聴者が興味を示したシーンに関連する他の番組を番組表データから検索し、提示することができる。
【００２８】
また、請求項７に記載のデジタル放送受信装置は、請求項１から請求項６のいずれか一項に記載のデジタル放送受信装置において、前記関連情報検索手段が、前記興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段で抽出したメタデータとで、共通する文字情報を検索し、当該文字情報を含んだメタデータを視聴者が興味を持ったシーンに関連する関連情報としてさらに抽出する構成とした。
【００２９】
かかる構成において、デジタル放送受信装置は、関連情報検索手段によって、視聴者が興味を示したシーンに関連する他の番組を、以前蓄積した番組（蓄積番組）の中からメタデータにより検索し、提示することができる。
【００３０】
さらに、請求項８に記載のデジタル放送受信装置は、請求項１から請求項７のいずれか一項に記載のデジタル放送受信装置において、前記表示手段が、視聴中の放送番組終了後、関連情報を一覧表示する構成とした。
【００３１】
かかる構成において、デジタル放送受信装置は、表示手段によって、視聴中の番組が終了した時点で、視聴者が興味を示したシーンに関連する関連情報を一覧表示する。
【００３２】
また、請求項９に記載の関連情報提示プログラムは、デジタル放送を受信するデジタル放送受信装置において、視聴者が興味を持ったシーンに関連する情報を提示するために、コンピュータを、放送データ抽出手段、放送データ逐次更新手段、視聴者状態分析手段、興味データ抽出手段、関連情報検索手段、表示手段、として機能させる構成とした。
【００３３】
かかる構成において、関連情報提示プログラムは、放送データ抽出手段によって、デジタル放送から、データ放送のデータであるデータ放送用データを分離抽出して記憶手段に書き込む。また、関連情報提示プログラムは、放送データ逐次更新手段によって、デジタル放送で配信される視聴中の放送番組を予め定めた時間分だけ順次更新して記憶手段に書き込む。
【００３４】
そして、関連情報提示プログラムは、視聴者状態分析手段によって、例えば、モニタの周囲に設置したカメラ、マイクといった状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。
【００３５】
そして、関連情報提示プログラムは、興味データ抽出手段によって、視聴者がシーンに興味を示したと判定した時点で、当該時点を含んだ所定期間内に、放送データ逐次更新手段で記憶手段に書き込んだ放送番組のデータを抽出する。
【００３６】
その後、関連情報提示プログラムは、関連情報検索手段によって、興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する。
そして、関連情報提示プログラムは、表示手段によって、関連情報検索手段で抽出した関連情報を画面上に表示する。
【００３７】
また、請求項１０に記載の関連情報提示プログラムは、デジタル放送を受信するデジタル放送受信装置において、放送データ抽出手段、視聴者状態分析手段、興味データ抽出手段、関連情報検索手段、表示手段、として機能させる構成とした。
【００３８】
かかる構成において、関連情報提示プログラムは、放送データ抽出手段によって、デジタル放送から、データ放送のデータであるデータ放送用データと放送番組のシーンに関連する情報であるシーンメタデータとを分離抽出して記憶手段に書き込む。
【００３９】
そして、関連情報提示プログラムは、視聴者状態分析手段によって、例えば、モニタの周囲に設置したカメラ、マイクといった状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。
【００４０】
そして、関連情報提示プログラムは、興味データ抽出手段によって、視聴者がシーンに興味を示したと判定した時点で、シーンメタデータから、当該時点を含んだ所定期間内におけるシーンの文字情報（キーワード）を抽出する。
【００４１】
その後、関連情報提示プログラムは、関連情報検索手段によって、興味データ抽出手段で抽出した文字情報と、放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する。
そして、関連情報提示プログラムは、表示手段によって、関連情報検索手段で抽出した関連情報を画面上に表示する。
【発明の効果】
【００４２】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，５，９，１０に記載の発明によれば、デジタル放送の番組視聴中に視聴者が興味を示したシーンにおいて、リモコン装置などの複雑な操作を行うことなく、そのシーンに関連する情報を画面上に提示することができる。また、本発明によれば、現在の視聴者の状態によって、視聴者が興味を持っているか否かを判定するため、視聴者の好みや感情に最も適した関連情報を提示することができる
【００４３】
請求項２に記載の発明によれば、視聴者が興味を示した放送番組のシーンに含まれている字幕や文字スーパから、データ放送用データを検索することで、リモコン装置などの複雑な操作を行うことなく、そのシーンの関連情報を画面上に提示することができる。
【００４４】
請求項３に記載の発明によれば、視聴者が興味を示した放送番組のシーンの音声に含まれている文字列によって、データ放送用データを検索することができ、リモコン装置などの複雑な操作を行うことなく、そのシーンの関連情報を画面上に提示することができる。
【００４５】
請求項４に記載の発明によれば、視聴者が興味を示した放送番組のシーンに含まれている画像に最も類似したデータ放送用データを検索することで、リモコン装置などの複雑な操作を行うことなく、そのシーンの関連情報を画面上に提示することができる。
【００４６】
請求項６に記載の発明によれば、視聴者が興味を示した放送番組のシーンに関連する番組表データを取得することができる。これによって、視聴者が、興味を示したシーンに関連する他の放送番組を選択して視聴や録画を行うことが可能になる。
【００４７】
請求項７に記載の発明によれば、視聴者が興味を示した放送番組のシーンに関連した他の放送番組を視聴者に提示することができる。これによって、過去に蓄積した番組の中から、視聴者が興味を示した番組に関連する他の番組を推奨することができる。
【００４８】
請求項８に記載の発明によれば、番組終了後に、視聴者が興味を示したシーンに関連する情報を一覧表示することができる。これによって、視聴者は、番組視聴後、一括して興味のある情報を確認することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１実施形態に係るデジタル放送受信装置の構成を示すブロック構成図である。
【図２】本発明の第１実施形態に係るデジタル放送受信装置の動作を示すフローチャートである。
【図３】本発明の第２実施形態に係るデジタル放送受信装置の構成を示すブロック構成図である。
【図４】番組のメタデータ（番組メタデータ）の内容を説明するための図である。
【図５】番組内のシーンのメタデータ（シーンメタデータ）の内容を説明するための図である。
【図６】視聴者が番組視聴中に興味を示した状態を説明するための説明図である。
【図７】視聴者が番組視聴中に興味を示し、画面上に関連情報を提示した状態を説明するための説明図である。
【図８】視聴者が番組視聴中に興味を示していない状態を説明するための説明図である。
【図９】番組終了後に提示する、視聴者が興味を示したシーンに関連する情報一覧画面を説明するための説明図である。
【発明を実施するための形態】
【００５０】
＜本発明の概要＞
まず、図６〜図９を参照して、本発明の概要について説明する。
本発明に係るデジタル放送受信装置１は、番組視聴中に、視聴者が興味を示したシーンを検出し、当該シーンに関連する情報を提示するものである。
例えば、図６に示すように、視聴者が、スポーツ番組（ここでは、野球を例とする）を視聴中に、デジタル放送受信装置１は、視聴者の動作や発話内容を、カメラＣで撮影したカメラ画像や、マイクＭで取得した音声によって解析する。そして、例えば、視聴者が予め設定された万歳の動作を行った（あるいは、「万歳」と発声した）ことによって、デジタル放送受信装置１は、当該シーンを、視聴者が興味を示したシーンであると判定し、図７に示すように、当該シーンに関連するデータ放送のデータを画面上に表示する。
【００５１】
そして、一定時間経過後、デジタル放送受信装置１は、図８に示すように、データ放送のデータを画面上から消去し、通常のテレビ映像を画面上に提示する。
このように、デジタル放送受信装置１は、番組視聴中に視聴者が興味を示したシーンに関連する情報を画面上に提示する。
【００５２】
また、デジタル放送受信装置１は、視聴者が興味を示したシーンに関連する情報を蓄積しておき、番組終了後、図９に示すように、視聴者が興味を示したシーンに関連するデータ放送の情報、電子番組表の情報（タイトルなど）、あるいは、過去に蓄積している蓄積番組の情報（タイトルなど）を、一覧形式で画面上に提示する。
【００５３】
このように、本発明に係るデジタル放送受信装置１は、視聴者が興味を示したシーンに関連する情報を、視聴者が複雑なリモコン操作を行うことなく、画面上に表示するものである。
以下、図面を参照して、本発明に係るデジタル放送受信装置１の構成および動作について詳細に説明する。
【００５４】
＜第１実施形態＞
［デジタル放送受信装置の構成］
最初に、図１を参照して、本発明の第１実施形態に係るデジタル放送受信装置１の構成について説明する。
デジタル放送受信装置１は、番組視聴中の視聴者の状態（動作、顔の表情、発話内容など）を分析することで視聴者が興味を示したシーンを検出し、当該シーンに関連する情報を提示するものである。
【００５５】
ここでは、デジタル放送受信装置１は、受信手段１０と、表示手段２０と、視聴者状態分析手段３０と、放送データ抽出手段４０と、放送データ逐次更新手段５０と、興味データ抽出手段６０と、関連情報検索手段７０と、記憶手段８０と、を備えている。また、ここでは、デジタル放送受信装置１は、映像、音声などを視聴者に提示する表示装置であるモニタＤと、視聴者の視聴状態を取得するための状態取得手段であるカメラＣやマイクＭとを接続している。
【００５６】
なお、カメラＣは、モニタＤの周囲（例えば、モニタＤの上部）に設置され、モニタＤを見ている視聴者を撮影可能な画角を有するものであればよい。また、マイクＭは、カメラＣと同様、モニタＤの周囲に設置され、視聴者が発する音声を集音できれば、その設置位置は限定されるものではない。
【００５７】
受信手段１０は、アンテナＡを介して、放送波Ｗで配信されるデジタル放送信号を受信するものである。この受信手段１０は、デジタル放送信号を受信し、表示手段２０、放送データ抽出手段４０、放送データ逐次更新手段５０に、表示用あるいは記録用の放送データとして出力する。なお、このデジタル放送信号は、一般的なデジタル放送信号であって、例えば、ＭＰＥＧ２トランスポートストリームとして、映像、音声、データ、字幕、文字スーパが多重化された信号である。
【００５８】
この受信手段１０は、復調器（不図示）によって、受信したデジタル放送信号に対して、放送波の変調方式に対応した復調（ＱＰＳＫなど）を行い、多重分離器（不図示）によって、映像、音声、データ、字幕、文字スーパの各信号に分離する。そして、受信手段１０は、分離した各信号を、表示手段２０、放送データ抽出手段４０および放送データ逐次更新手段５０に出力する。
【００５９】
なお、受信手段１０は、映像、音声などの実データ以外に、ＰＳＩ（Program Specific Information：番組特定情報）／ＳＩ（Service Information；番組配列情報）といったチャンネルの番組情報も併せて表示手段２０、放送データ抽出手段４０および放送データ逐次更新手段５０に出力する。このとき、受信手段１０は、放送データ逐次更新手段５０については、現在視聴中のチャンネルの放送データのみを出力する。
【００６０】
表示手段２０は、デジタル放送で配信される番組（映像、音声、データなど）を表示するものである。ここでは、表示手段２０は、番組表示手段２１と、データ表示手段２２と、情報一覧表示手段２３と、番組表表示手段２４と、を備えている。
【００６１】
番組表示手段２１は、受信手段１０で受信し、分離された映像、音声を復号し、モニタＤに表示するものである。この番組表示手段２１は、例えば、ＭＰＥＧ２ Ｖｉｄｅｏで符号化された映像信号や、ＭＰＥＧ２ Ａｕｄｉｏで符号化された音声信号を、それぞれの符号化方式に応じて復号してモニタＤに表示する。
【００６２】
なお、番組表示手段２１は、受信手段１０で受信した番組の映像、音声をモニタＤに表示する以外にも、後記する放送データ記憶手段８１に記憶されている蓄積番組を復号してモニタＤに表示する機能を有している。すなわち、番組表示手段２１は、受信したデジタル放送をリアルタイムで視聴する場合は、受信手段１０で受信した番組をモニタＤに表示し、リアルタイムで視聴しない場合、放送データ記憶手段８１に記憶されている蓄積番組をモニタＤに表示する。
【００６３】
データ表示手段２２は、受信手段１０で受信し、分離されたデータ放送のデータを復号し、モニタＤに表示するものである。このデータ表示手段２２は、ＢＭＬで記述されたデータを解釈し、画面を構成する表示データを生成するＢＭＬブラウザとして機能する。これによって、データ表示手段２２は、例えば、リモコン装置（不図示）のデータボタンを押された際に、データ放送の画面をモニタＤに出力する。
【００６４】
また、データ表示手段２２は、データボタンを押された際にデータ放送の画面を表示する以外に、後記する関連情報記憶手段８４に記憶されたデータ放送情報（ＢＭＬ）を解釈し、表示データを生成する機能を有している。すなわち、データ表示手段２２は、後記する視聴者状態分析手段３０によって、視聴者が視聴中の番組に対して興味を示したと判定され、関連情報記憶手段８４に視聴者が興味を示したシーンに関連するデータ放送の内容が記憶された場合に、関連情報記憶手段８４から、データ放送情報（ＢＭＬ）を読み出し解釈して画面上に表示する。
【００６５】
このデータ表示手段２２は、例えば、図７に示すように、映像を縮小し、画面上の空いた領域にはめ込んでデータ放送（関連情報）を表示する。あるいは、データ表示手段２２は、映像上にデータ放送（関連情報）を重ねて表示（オーバーレイ表示）することとしてもよい。
【００６６】
このとき、データ表示手段２２は、データの表示を予め定めた時間だけ表示し、その時間経過後、データを画面上から消去することとする。これによって、視聴者が興味を示したシーンに関連する情報が画面上に一定時間表示されることになる。
なお、データ表示手段２２が、視聴者が番組視聴中に興味を示した段階で、関連情報を、画面上を表示するか否かは、予め視聴者によって設定されるものとする。
【００６７】
情報一覧表示手段２３は、１つの番組が終了した段階で、当該番組において、視聴者が興味を示したシーンに関連する情報を、関連情報記憶手段８４から読み出して、一覧表形式の画面（情報一覧画面）として、モニタＤに表示するものである。
【００６８】
すなわち、情報一覧表示手段２３は、番組終了後、関連情報記憶手段８４に記憶されている蓄積番組情報（過去に蓄積した番組の情報；番組名など）、番組表情報（今後放送予定の番組表の情報；番組名、放送時間など）、データ放送情報（データ放送として視聴番組に連動して放送されたデータ；ＢＭＬのｔｉｔleタグに挟まれたタイトル名など）を、情報一覧画面として生成し、表示する（図９参照）。なお、この情報一覧表示手段２３は、番組の終了の判定を、例えば、デジタル放送で配信されるＳＩによって、視聴中の番組の放送日時を取得し、現在の時刻と比較することで行う。
【００６９】
番組表表示手段２４は、ＥＰＧ（Electronic Program Guide；電子番組ガイド）を生成し、モニタＤに表示するものである。この番組表表示手段２４は、デジタル放送で配信されるＳＩ（番組配列情報）から、各種情報（番組名、番組記述、放送開始日時、番組時間長など）を取得し、番組表を生成する。
なお、この番組表表示手段２４は、例えば、リモコン装置（不図示）の番組表ボタンを押された際に番組表を生成し、モニタＤに出力する。
【００７０】
視聴者状態分析手段３０は、モニタＤの周囲に設置した状態取得手段であるマイクＭやカメラＣから取得したカメラ画像や音声によって、視聴中の番組のシーンに興味を示しているか否かを判定するものである。
【００７１】
この視聴者状態分析手段３０は、視聴者が興味を示したと判定した場合、興味データ抽出手段６０にその旨を通知することで、視聴者が興味を示したシーンに関連する情報の収集を開始させる。なお、この視聴者状態分析手段３０における視聴者状態の分析は、公知の技術を用いて行うことができる。例えば、視聴者状態分析手段３０は、視聴者が興味を示しているか否かを、視聴者の発話内容で判定する。
【００７２】
具体的には、視聴者状態分析手段３０は、マイクＭから入力される視聴者の音声を音声認識し、その認識結果であるテキストデータと、予め定めた定型文のテキストデータ（サンプルデータ）とを比較し、一致した場合に興味があると判定する。例えば、定型文として、「万歳」、「この人誰？」、「これ何？」のように、シーンに対して、視聴者が興味を示している表現を予め図示を省略した定型文記憶手段に記憶しておく。これによって、視聴者状態分析手段３０は、視聴者が、シーンに対して興味を示した状態を、視聴者の発話内容で判定することができる。
【００７３】
また、例えば、視聴者状態分析手段３０は、視聴者が興味を示しているか否かを、視聴者の動き（ジェスチャ）によって判定する。
具体的には、視聴者状態分析手段３０は、カメラＣで撮影されたカメラ画像（フレーム）を逐次入力し、手などの肌色領域の動きの速度が予め定めた速度よりも速い区間で、肌色領域の各画素の移動方向の頻度をヒストグラム化し、動きの特徴量を抽出する。そして、視聴者状態分析手段３０は、その動きの特徴量から、サポートベクタマシン（ＳＶＭ）により動きを特定する。なお、サポートベクタマシンは、予め特定の動きを示す特徴量をサンプル（サンプルデータ）として、学習しておくものとする。例えば、視聴者状態分析手段３０は、両腕を上方に向けて伸ばす動作（万歳の動作）を学習しておくことで、視聴者が万歳の動作をしたことを検出する。そして、視聴者状態分析手段３０は、当該動作の検出により、視聴者が番組視聴中に歓喜の状態となり、シーンに興味を持っていると判定する。
【００７４】
このようなジェスチャ認識は、公知の技術として、例えば、「前田眞一郎、佐々木佑也、犬丸秀人、岡田至弘：“時空間画像処理によるロバストなジェスチュ認識”、信学技報、ＨＣＳ２００８−７６、ｐｐ．１０９−１１４（Ｍａｒ．２００９）」による手法を用いることができる。
【００７５】
また、例えば、視聴者状態分析手段３０は、視聴者が興味を示しているか否かを、視聴者の顔の表情によって判定する。
具体的には、視聴者状態分析手段３０は、カメラＣで撮影されたカメラ画像から、顔認識を行い、目、口などの顔器官の特徴点を検出し、その複数の特徴点の位置を特徴量として、サポートベクタマシンにより表情を特定する。なお、サポートベクタマシンは、予め特定の表情を示す特徴点の位置をサンプル（サンプルデータ）として、学習しておくものとする。例えば、視聴者状態分析手段３０は、笑った表情、驚いた表情などの顔の特徴量を学習しておくことで、視聴者が笑ったり、驚いたりしたことを検出する。そして、視聴者状態分析手段３０は、視聴者が番組視聴中に笑った、驚いたなどの表情を示したときに、シーンに興味を持っていると判定する。
【００７６】
このような表情認識は、公知の技術として、例えば、「熊野史朗、大塚和弘、大和淳司、前田英作、佐藤洋一：“パーティクルフィルタと勾配法の組み合せによる頭部姿勢変動に頑健な表情認識手法”、画像の認識・理解シンポジウム（ＭＩＲＵ２００８）、ｐｐ．１３００−１３０５（Ｊｕｌ．２００８）」による手法を用いることができる。
なお、視聴者状態分析手段３０は、発話内容、ジェスチャ、顔表情のすべての判定機能を備えることとしてもよいし、少なくともいずれか１つの判定機能のみを備えることとしてもよい。
【００７７】
放送データ抽出手段４０は、受信手段１０から出力される番組（映像、音声）や、データ放送のデータを放送データ記憶手段８１に書き込み蓄積させるものである。
なお、番組（映像、音声）には、ＰＳＩ／ＳＩに含まれている番組情報（番組名、番組記述など）をメタデータ（番組メタデータ）として付加しておく（放送データ記憶手段８１内の「蓄積番組（メタデータ付）」）。なお、放送データ抽出手段４０が放送データ記憶手段８１内に書き込む蓄積番組は、視聴していない番組も含まれていることとする。
【００７８】
また、放送データ抽出手段４０は、デジタル放送で配信されるＳＩ（番組配列情報）から、番組表（ＥＰＧ）を生成する情報である番組のタイトル、放送日時、放送内容などを番組表データとして、放送データ記憶手段８１に書き込む（放送データ記憶手段８１内の「番組表データ」）。
【００７９】
また、放送データ抽出手段４０は、デジタル放送で配信されるデータ放送のデータであるＢＭＬを放送データ記憶手段８１に書き込む（放送データ記憶手段８１内の「データ放送用データ」）。
これによって、放送データ抽出手段４０は、現在および過去の番組を放送データ記憶手段８１に蓄積させることができ、現時点における最新の番組表情報や現在放送中の番組に関連するデータ放送のデータ（データ放送用データ）を蓄積させることができる。
【００８０】
放送データ逐次更新手段５０は、受信手段１０から出力される現在視聴している番組（映像、音声）や、字幕、文字スーパの情報を予め定めた時間区間分、放送データ一時記憶手段８２に書き込み蓄積させるものである。
【００８１】
この放送データ逐次更新手段５０は、受信手段１０から出力される映像、音声、字幕、字幕スーパを、それぞれ個別に、放送データ一時記憶手段８２に書き込む。なお、予め定めた時間区間の時間は、例えば５秒とし、５秒経過後の情報については逐次削除し、最新の５秒間の情報についてのみ、放送データ一時記憶手段８２に蓄積させることとする。
これによって、視聴者状態分析手段３０で視聴者が番組視聴中に興味を示したことを検出した時点で、少なくとも視聴者が興味を持ったシーンの映像などが、放送データ一時記憶手段８２に蓄積されていることになる。
【００８２】
興味データ抽出手段６０は、視聴者状態分析手段３０で視聴者が番組視聴中に興味を示したことを検出した時点で、当該時点を含んだ所定期間内に、放送データ一時記憶手段８２に記憶されている放送データを別の記憶領域（興味データ記憶手段８３）に退避させ、興味を示したシーンの情報を抽出するものである。
【００８３】
すなわち、興味データ抽出手段６０は、視聴者状態分析手段３０から、視聴者が興味を示した旨の通知を受けた段階で、数秒経過後、逐次更新される放送データ一時記憶手段８２から、後記する関連情報検索手段７０において、視聴者が興味を持ったシーンに関連する情報を検索するための情報として、興味データ記憶手段８３に映像、音声、字幕および文字スーパを移動させる。これによって、視聴者が興味を持った時点の前後数秒間に亘って、シーンにおける映像、音声、字幕、文字スーパを、関連情報検索手段７０において解析することが可能になる。
【００８４】
関連情報検索手段７０は、興味データ抽出手段６０が興味データ記憶手段８３に映像、音声、字幕および文字スーパを移動させた段階で、興味データ記憶手段８３に記憶されている興味シーンデータ（映像、音声、字幕、文字スーパ）に関連する情報と、放送データ記憶手段８１に記憶されている放送データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを抽出するものである。
ここでは、関連情報検索手段７０は、画像関連情報検索手段７１と、音声認識手段７２と、文字関連情報検索手段７３と、を備えている。
【００８５】
画像関連情報検索手段７１は、興味データ記憶手段８３に記憶されている映像に関連する情報を、放送データ記憶手段８１に記憶されているデータ放送用データの中から検索するものである。
【００８６】
この画像関連情報検索手段７１は、興味データ記憶手段８３に記憶されている映像内で、放送データ記憶手段８１に記憶されているデータ放送用データに含まれている画像データと同一または類似の画像を画像処理により検索し、同一または類似の画像データが存在した場合、当該画像データを含むデータ放送用データを、関連情報として抽出する。なお、類似の画像とは、元の画像と画像特徴量が近似する画像をいい、画像特徴量が近似するとは、例えば、色分布、エッジ分布などの特徴量を数値化し、特徴量の距離が予め定めた距離以下であることをいう。
【００８７】
具体的には、画像関連情報検索手段７１は、以下の手法によって、関連情報を抽出する。すなわち、画像関連情報検索手段７１は、データ放送に付加されている画像データを、予め定めた種々のスケールに拡大、縮小させることでテンプレート画像を生成する。そして、画像関連情報検索手段７１は、興味データ記憶手段８３に記憶されている映像のフレームごとに、テンプレート画像によるテンプレートマッチングを行い、映像内に画像データに同一または類似の画像が存在するか否かを探索する。
【００８８】
なお、データ放送用データには、画像データとして、例えば、ＪＰＥＧ形式の画像ファイルが付加されている場合がある（図７中、画像データＪ）。そこで、画像関連情報検索手段７１は、データ放送に付加されている画像データと同一または類似の画像が、興味データ記憶手段８３内の映像に含まれている場合、当該データ放送用データを、視聴者が興味を持った映像に関連する情報とする。
【００８９】
そして、画像関連情報検索手段７１は、検索したデータ放送用データ内の該当画像データを含んだ画面単位のデータ放送画面の情報を関連情報記憶手段８４に「データ放送情報」として書き込む。
これによって、画像関連情報検索手段７１は、視聴者が興味を持ったシーンに関連するデータ放送の情報を、関連情報記憶手段８４に書き込むことができる。
【００９０】
音声認識手段７２は、興味データ記憶手段８３に記憶されている音声を音声認識し、文字データに変換するものである。この音声認識手段７２は、公知の音声認識技術を用いることができる。この音声認識手段７２は、変換した文字データ（音声文字列）を文字関連情報検索手段７３に出力する。
【００９１】
文字関連情報検索手段７３は、興味データ記憶手段８３に記憶されている音声、字幕、文字スーパに含まれる文字情報と、放送データの中の文字情報とで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを抽出するものである。
この文字関連情報検索手段７３は、興味データ記憶手段８３に記憶されている音声、字幕、文字スーパに含まれる文字列の中から名詞を抽出し、当該名詞を、放送データ記憶手段８１に記憶されている放送データ（蓄積番組のメタデータ、番組表データ、データ放送用データ）の中で探索し、当該名詞を含んだ放送データを関連情報として抽出する。なお、文字関連情報検索手段７３は、興味データ記憶手段８３に記憶されている音声から名詞を抽出する場合、音声認識手段７２によって、音声をテキストデータである文字列（音声文字列）に変換した後に行うこととする。
【００９２】
具体的には、文字関連情報検索手段７３は、以下の手法によって、関連情報を抽出する。すなわち、文字関連情報検索手段７３は、音声（音声文字列）、字幕、文字スーパの各文字列に対して、形態素解析を行い、名詞を抽出する。これによって、文字列から、人物名、物の名称などが抽出される。
【００９３】
そして、文字関連情報検索手段７３は、抽出した名詞を、放送データ記憶手段８１に記憶されている蓄積番組のメタデータにおいて探索する。例えば、メタデータとして、番組の登場人物や内容を示した番組記述内で、抽出した名詞が見つかった場合、文字関連情報検索手段７３は、当該メタデータに記述されている番組名など、番組を特定する情報を、視聴者が興味を持ったシーンに関連する情報として、関連情報記憶手段８４に書き込む（関連情報記憶手段８４内の「蓄積番組情報」）。なお、文字関連情報検索手段７３は、蓄積番組のメタデータ内の文字情報（例えば、タイトルタグで挟まれた人物名や物体名）をキーワードとして、字幕や文字スーパ、あるいは音声認識結果内に、当該キーワードが含まれるか否かを検索することとしてもよい。この場合、該当するキーワードが検出された段階で、文字関連情報検索手段７３は、当該キーワードを含んだメタデータに記述されている番組名など、番組を特定する情報を、視聴者が興味を持ったシーンに関連する情報として、関連情報記憶手段８４に書き込む。
【００９４】
また、文字関連情報検索手段７３は、抽出した名詞を、放送データ記憶手段８１に記憶されている番組表データにおいて探索する。例えば、番組表データとして、蓄積番組のメタデータと同様、番組の登場人物や内容を示した番組記述内で、抽出した名詞が見つかった場合、文字関連情報検索手段７３は、当該番組表データに記述されている番組名、放送時間など、番組を特定する情報を、視聴者が興味を持ったシーンに関連する情報として関連情報記憶手段８４に書き込む（関連情報記憶手段８４内の「番組表情報」）。なお、文字関連情報検索手段７３は、番組表データ内の文字情報（例えば、番組名、登場人物）をキーワードとして、字幕や文字スーパ、あるいは音声認識結果内に、当該キーワードが含まれるか否かを検索することとしてもよい。この場合、該当するキーワードが検出された段階で、文字関連情報検索手段７３は、当該キーワードを含んだ番組表データに記述されている番組名、放送時間など、番組を特定する情報を、視聴者が興味を持ったシーンに関連する情報として関連情報記憶手段８４に書き込む。
【００９５】
さらに、文字関連情報検索手段７３は、抽出した名詞を、放送データ記憶手段８１に記憶されているデータ放送用データにおいて探索する。例えば、データ放送用データとして、ＢＭＬで記述されたデータ内で、抽出した名詞が見つかった場合、文字関連情報検索手段７３は、当該名詞を含んで画面データを構成するデータ放送用データを、視聴者が興味を持ったシーンに関連する情報として関連情報記憶手段８４に書き込む（関連情報記憶手段８４内の「データ放送情報」）。なお、文字関連情報検索手段７３は、データ放送用データ内の文字情報（例えば、タイトルタグで挟まれた人物名や物体名）をキーワードとして、字幕や文字スーパ、あるいは音声認識結果内に、当該キーワードが含まれるか否かを検索することとしてもよい。この場合、該当するキーワードが検出された段階で、文字関連情報検索手段７３は、当該キーワードを項目として含んだデータ放送用データを視聴者が興味を持ったシーンに関連する情報として関連情報記憶手段８４に書き込む。
【００９６】
これによって、文字関連情報検索手段７３は、視聴者が興味を持ったシーンに関連する蓄積番組に関する情報、当該シーンに関連して今後放送される番組の情報、当該シーンに関連して現在放送されているデータ放送の情報を、関連情報記憶手段８４に書き込むことができる。
【００９７】
記憶手段８０は、デジタル放送受信装置１において、各種のデータを記憶するものである。ここでは、記憶手段８０は、放送データ記憶手段８１と、放送データ一時記憶手段８２と、興味データ記憶手段８３と、関連情報記憶手段８４と、を備えている。これら各記憶手段は、ハードディスク、半導体メモリなどの一般的な記録媒体で構成することができる。なお、ここでは、各記憶手段を個別のものとして記載しているが、記憶領域を区分して、同一の記憶媒体に記憶することとしてもよい。
【００９８】
放送データ記憶手段８１は、デジタル放送で配信される放送データを記憶するものである。この放送データ記憶手段８１には、放送データ抽出手段４０によって、番組メタデータを含んだ蓄積番組、番組表（ＥＰＧ）を生成する情報である番組表データ、データ放送として配信されるデータ放送用データが書き込まれる。
この放送データ記憶手段８１に記憶された蓄積番組、番組表データ、データ放送用データは、関連情報検索手段７０において、関連情報を検索する際に参照される。
【００９９】
ここで、図４を参照して、蓄積番組とともに放送データ記憶手段８１に記憶される番組メタデータの一例について説明する。
図４に示すように、番組メタデータは、番組固有の識別子であるコンテンツ参照識別子（ＣＲＩＤ；図中ｃｒｉｄ）によって、番組を特定している。例えば、（１）行目の“ｃｒｉｄ：／／ｎｈｋ＿ｓｐｅｃｉａｌ”によって、「ＮＨＫスペシャル」の番組（コンテンツ）が特定される。
【０１００】
また、（２）行目以降には、番組の内容を示す情報として、（３）行目の＜Ｔｉｔｌｅ＞タグによって番組のタイトル（ここでは、「ＮＨＫスペシャル」）、（４）行目の＜Ｓｙｎｏｐｓｉｓ＞タグによって番組の概要（ここでは、「ＮＨＫスペシャル イ○ロー世界へ」）を記述している。さらに、（５）行目から（７）行目には、＜Ｇｅｎｒｅ＞タグ内の＜Ｎａｍｅ＞タグによって、番組のジャンル（ここでは、「スポーツ」）を記述している。そして、（８）行目には、＜Ｋｅｙｗｏｒｄ＞タグによって、キーワード（ここでは、「野球」）を記述している。
このように、番組メタデータには、番組（コンテンツ）を検索するための情報である種々の情報を記述することができる。ここでは、番組のタイトル、番組の概要、ジャンル、キーワードを例示したが、これに限定されるものではない。
図１に戻って、デジタル放送受信装置１の構成について説明を続ける。
【０１０１】
放送データ一時記憶手段８２は、デジタル放送で配信される放送データのうちで、現在視聴者が視聴している番組の放送データを記憶するものである。この放送データ一時記憶手段８２には、放送データ逐次更新手段５０によって、現在視聴中の番組の映像、音声、字幕、文字スーパが、予め定めた時間区間分（例えば、５秒）、逐次更新されて書き込まれる。また、放送データ一時記憶手段８２に記憶される放送データは、視聴者が番組のシーンに興味を持った段階で、興味データ抽出手段６０によって、興味データ記憶手段８３に移動（コピー）される。
【０１０２】
興味データ記憶手段８３は、視聴者が番組に興味を持った時点の放送データを記憶するものである。この興味データ記憶手段８３は、興味データ抽出手段６０によって、放送データ一時記憶手段８２に記憶されている映像、音声、字幕、文字スーパが書き込まれる。この興味データ記憶手段８３に記憶された映像、音声、字幕、文字スーパは、関連情報検索手段７０において、関連情報を検索する際に参照される。
【０１０３】
関連情報記憶手段８４は、現在視聴中の番組で視聴者が興味を持ったシーンに関連する情報を記憶するものである。この関連情報記憶手段８４には、画像関連情報検索手段７１や文字関連情報検索手段７３で検索されたデータ放送のデータ（データ放送情報）、文字関連情報検索手段７３で検索された蓄積番組の情報（蓄積番組情報）や番組表の情報（番組表情報）が書き込まれる。
この関連情報記憶手段８４に記憶されたデータ放送情報、蓄積番組情報および番組表情報は、表示手段２０によって読み出され、視聴者が興味を示したシーンに関連する情報としてモニタＤに表示されることになる。
【０１０４】
このように構成することで、デジタル放送受信装置１は、デジタル放送視聴中の視聴者が、その番組中で興味を持ったシーンを判定し、そのシーンに関連する情報を適宜、あるいは、番組終了後に視聴者に提示することができる。
【０１０５】
［デジタル放送受信装置の動作］
次に、図２を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るデジタル放送受信装置１の動作について説明する。なお、ここでは、一般的なデジタル放送の番組を表示する動作については、説明を省略し、本発明の特徴である視聴者が興味を示したシーンを検出し、関連情報を提示する処理について説明する。
【０１０６】
まず、デジタル放送受信装置１は、電源ＯＮ後、受信手段１０によって、デジタル放送の番組の受信を開始する（ステップＳ１）。
このとき、デジタル放送受信装置１は、放送データ抽出手段４０によって、番組（蓄積番組）、番組表のデータ（番組表データ）、データ放送のデータ（データ放送用データ）を放送データ記憶手段８１に書き込み蓄積する。また、デジタル放送受信装置１は、放送データ逐次更新手段５０によって、受信手段１０で受信している現在視聴中の映像、音声、字幕、文字スーパを、予め定めた時間区間分（例えば、５秒）、放送データ一時記憶手段８２に逐次更新して蓄積する。
【０１０７】
そして、デジタル放送受信装置１は、視聴者の状態を分析するため、視聴者状態分析手段３０によって、状態取得手段であるマイクＭやカメラＣからカメラ画像や音声を取得する（ステップＳ２）。
このステップＳ２で取得したカメラ画像や音声を用いて、デジタル放送受信装置１は、視聴者状態分析手段３０によって、視聴者の動き（ジェスチャ）、顔の表情、あるいは、発話内容を解析し、視聴者が視聴中のシーンに興味を示したか否かを分析する（ステップＳ３）。
【０１０８】
このステップＳ３において、視聴者が興味を示していないと分析した場合（ステップＳ４でＮｏ）、デジタル放送受信装置１は、ステップＳ１０に動作を進める。一方、視聴者が興味を示したと分析した場合（ステップＳ４でＹｅｓ）、デジタル放送受信装置１は、興味データ抽出手段６０によって、視聴者が興味を持った時点の前後数秒間に亘って放送データ一時記憶手段８２に記憶されている放送データを、別の記憶領域（興味データ記憶手段８３）に退避させ、興味を示したシーンの情報を抽出する（ステップＳ５）。
【０１０９】
そして、デジタル放送受信装置１は、関連情報検索手段７０によって、興味データ記憶手段８３に記憶されている興味シーンデータ（映像、音声、字幕、文字スーパ）に関連する情報を、放送データ記憶手段８１に記憶されている放送データ（蓄積番組、番組表データ、データ放送用データ）から検索し、関連情報記憶手段８４に書き込み、記憶させる（ステップＳ６）。
【０１１０】
このとき、デジタル放送受信装置１は、画像関連情報検索手段７１によって、興味データ記憶手段８３に記憶されている映像内で、放送データ記憶手段８１に記憶されているデータ放送用データに含まれている画像データに類似する画像を検索し、類似した画像データが存在した場合、当該画像データを含むデータ放送用データを、関連情報として抽出する。
【０１１１】
また、デジタル放送受信装置１は、文字関連情報検索手段７３によって、興味データ記憶手段８３に記憶されている音声、字幕、文字スーパに含まれる文字列の中から名詞を抽出し、当該名詞を、放送データ記憶手段８１に記憶されている放送データ（蓄積番組のメタデータ、番組表データ、データ放送用データ）の中で探索し、当該名詞を含んだ放送データを関連情報として抽出する。なお、文字関連情報検索手段７３は、興味データ記憶手段８３に記憶されている音声から名詞を抽出する場合、音声認識手段７２によって、音声をテキストデータである文字列（音声文字列）に変換した後に行う。
【０１１２】
これによって、視聴者が興味を持ったシーンに関連する蓄積番組に関する情報、当該シーンに関連して今後放送される番組の情報、当該シーンに関連して現在放送されているデータ放送の情報が、関連情報記憶手段８４に書き込まれる。
【０１１３】
そして、デジタル放送受信装置１は、関連情報記憶手段８４に関連情報（データ放送情報）が書き込まれなかった場合（ステップＳ７でＮｏ）、ステップＳ１０に動作を進める。一方、関連情報記憶手段８４に関連情報（データ放送情報）が書き込まれた場合（ステップＳ７でＹｅｓ）、デジタル放送受信装置１は、表示手段２０のデータ表示手段２２によって、関連情報記憶手段８４に記憶されているデータ放送情報（ＢＭＬ）を解釈して画面上に一定時間表示する（ステップＳ８）。
【０１１４】
また、デジタル放送受信装置１は、表示手段２０のデータ表示手段２２によって、関連情報記憶手段８４に記憶されている他の関連情報であるデータ放送情報（ＢＭＬ）が存在する場合（ステップＳ９でＹｅｓ）、ステップＳ８に戻って、他のデータ放送情報（ＢＭＬ）を解釈して画面上に一定時間表示する。このステップＳ８，Ｓ９の動作は、関連情報記憶手段８４に記憶されているデータ放送情報（ＢＭＬ）の数だけ繰り返される。これによって、視著者が興味を持ったシーンに複数の人物や物が映っている場合に、その数に応じてデータ放送のデータが表示されることになる。なお、設定によって、このステップＳ８，Ｓ９の動作は、省略することとしてもよい。
【０１１５】
そして、デジタル放送受信装置１は、視聴者が視聴している番組がまだ終了していない場合（ステップ１０でＮｏ）、ステップＳ２に戻って動作を継続する。一方、番組が終了した場合（ステップＳ１０でＹｅｓ）、デジタル放送受信装置１は、ステップＳ１１に動作を進める。
【０１１６】
番組終了後、関連情報記憶手段８４に関連情報が記憶されていなければ（ステップＳ１１でＮｏ）、デジタル放送受信装置１は、ステップＳ１７に動作を進める。一方、番組終了後、関連情報記憶手段８４に関連情報が記憶されている場合（ステップＳ１１でＹｅｓ）、デジタル放送受信装置１は、情報一覧表示手段２３によって、関連情報記憶手段８４に記憶されている蓄積番組情報、番組表情報、データ放送情報を、情報一覧画面として生成し、表示する（ステップＳ１２）。
【０１１７】
そして、デジタル放送受信装置１は、情報一覧画面において、特定の情報を選択されることなく画面終了を指示された場合（ステップＳ１３でＮｏ）、ステップＳ１７に動作を進める。一方、情報一覧画面において、特定の情報を選択された場合（ステップＳ１７でＹｅｓ）、デジタル放送受信装置１は、各情報の詳細な情報を表示する（ステップＳ１４）。
【０１１８】
具体的には、図９の情報一覧画面において、「データ放送」と分類されている情報欄を選択された場合、デジタル放送受信装置１は、データ表示手段２２によって、関連情報記憶手段８４から、データ放送情報（ＢＭＬ）を読み出し解釈して画面上に表示する（図７５参照）。なお、図９の情報一覧画面において、「電子番組表」と分類されている情報欄を選択された場合、さらに番組予約画面を表示して番組予約を行うこととしてもよい。また、図９の情報一覧画面において、「蓄積番組」と分類されている情報欄が選択された場合、選択された蓄積番組の表示を開始することとしてもよい。
【０１１９】
その後、デジタル放送受信装置１は、例えば、リモコン装置の「戻る」ボタンなどによって、情報一覧画面に戻る場合（ステップＳ１５でＹｅｓ）、ステップＳ１２に戻って動作を継続する。
【０１２０】
そして、デジタル放送受信装置１は、例えば、リモコン装置の「ホーム」ボタンなどによって、情報一覧画面の表示の終了が指示された場合（ステップＳ１６でＹｅｓ）、ステップＳ１７に動作を進める。一方、情報一覧画面の表示の終了が指示さない場合（ステップＳ１６でＮｏ）、デジタル放送受信装置１は、ステップＳ１４に戻って、詳細情報の表示を続ける。
【０１２１】
情報一覧画面の表示を終了した段階（ステップＳ１６でＹｅｓ）で、デジタル放送受信装置１は、次の番組視聴を継続する場合（ステップＳ１７でＹｅｓ）、ステップＳ１に戻って、動作を継続する。一方、次の番組視聴を継続しない場合（ステップＳ１７でＮｏ）、例えば、電源ＯＦＦで動作を終了する。
【０１２２】
以上の動作によって、デジタル放送受信装置１は、デジタル放送視聴中の視聴者が、その番組中で興味を持ったシーンを判定し、そのシーンに関連する情報を適宜、あるいは、番組終了後に視聴者に提示することができる。
【０１２３】
＜第２実施形態＞
［デジタル放送受信装置の構成］
次に、図３を参照して、本発明の第２実施形態に係るデジタル放送受信装置１の構成について説明する。
【０１２４】
デジタル放送受信装置１Ｂは、番組視聴中の視聴者の状態（動作、顔の表情、発話内容など）を分析することで視聴者が興味を示したシーンを検出し、当該シーンに関連する情報を提示するものである。なお、デジタル放送受信装置１（図１参照）は、視聴者が視聴している放送データ（映像、音声、字幕、文字スーパ）から、関連情報を検索し提示したが、デジタル放送受信装置１Ｂは、視聴者が視聴している放送データに付加されてくるシーンごとのメタデータ（シーンメタデータ）から、シーンに関連する関連情報を検索し提示する点が異なっている。
【０１２５】
ここでは、デジタル放送受信装置１Ｂは、受信手段１０と、表示手段２０と、視聴者状態分析手段３０と、放送データ抽出手段４０Ｂと、興味データ抽出手段６０Ｂと、関連情報検索手段７０Ｂと、記憶手段８０Ｂと、を備えている。受信手段１０、表示手段２０および視聴者状態分析手段３０については、図１で説明したデジタル放送受信装置１と同一の構成であるため、同一の符号を付して説明を省略する。
【０１２６】
放送データ抽出手段４０Ｂは、受信手段１０で受信した番組、番組表データ、データ放送用データ、シーンメタデータを放送データ記憶手段８１Ｂに書き込み蓄積させるものである。なお、シーンメタデータ以外については、図１のデジタル放送受信装置１で説明した内容と同じであるため説明を省略する。
【０１２７】
シーンメタデータは、番組内の任意のシーンに対応して、タイムスタンプ、シーン内に登場する人物（登場人物）、シーンの内容を説明したシーン記述などが、タグで区切られて記述された情報である。このシーンメタデータは、番組内のシーンごとの情報である点が、同じく放送データ記憶手段８１Ｂに記憶される番組のメタデータ（番組名、番組記述など）とは異なっている。
【０１２８】
興味データ抽出手段６０Ｂは、視聴者状態分析手段３０で視聴者が番組視聴中に興味を示したことを検出した時点で、放送データ一時記憶手段８２に記憶されている当該時点を含んだ所定期間内のシーンメタデータから、シーンメタデータに記述されている文字列（登場人物、シーン記述など）を、キーワードとして抽出するものである。
【０１２９】
すなわち、興味データ抽出手段６０Ｂは、視聴者状態分析手段３０から、視聴者が興味を示した旨の通知を受けた段階で、その時点の前後数秒間に亘って、シーンメタデータ内の情報（登場人物、シーン記述など）を、タイムスタンプに基づいて検索し、抽出する。
これによって、視聴者が興味を持ったシーンにおけるキーワードを、関連情報検索手段７０Ｂにおいて解析することが可能になる。
【０１３０】
関連情報検索手段７０Ｂは、興味データ抽出手段６０Ｂが興味データ記憶手段８３Ｂにキーワードを書き込んだ段階で、興味データ記憶手段８３Ｂに記憶されているキーワードに関連する情報を、放送データ記憶手段８１Ｂに記憶されている放送データから検索するものである。ここでは、関連情報検索手段７０は、文字関連情報検索手段７３Ｂを備えている。
【０１３１】
文字関連情報検索手段７３Ｂは、興味データ記憶手段８３Ｂに記憶されているキーワード（文字情報）と、放送データの中の文字情報とで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを抽出するものである。
この文字関連情報検索手段７３Ｂは、興味データ記憶手段８３Ｂに記憶されているキーワードに含まれる文字列の中から名詞を抽出し、当該名詞を、放送データ記憶手段８１Ｂに記憶されている放送データ（蓄積番組のメタデータ、番組表データ、データ放送用データ）の中で探索し、当該名詞を含んだ放送データを関連情報として抽出する。なお、抽出した名詞から、関連情報を検索する手法は、図１で説明した文字関連情報検索手段７３と同様であるため説明を省略する。
【０１３２】
また、文字関連情報検索手段７３Ｂは、データ放送用データ内の文字情報（例えば、タイトルタグで挟まれた人物名や物体名）を、興味データ記憶手段８３Ｂに記憶されているキーワードから検索し、一致する項目名を含んで画面データを構成するデータ放送用データを関連情報として抽出することとしてもよい。
【０１３３】
記憶手段８０Ｂは、デジタル放送受信装置１Ｂにおいて、各種のデータを記憶するものである。ここでは、記憶手段８０Ｂは、放送データ記憶手段８１Ｂと、興味データ記憶手段８３Ｂと、関連情報記憶手段８４と、を備えている。これら各記憶手段は、ハードディスク、半導体メモリなどの一般的な記録媒体で構成することができる。なお、ここでは、各記憶手段を個別のものとして記載しているが、記憶領域を区分して、同一の記憶媒体に記憶することとしてもよい。
【０１３４】
放送データ記憶手段８１Ｂは、デジタル放送で配信される放送データを記憶するものである。この放送データ記憶手段８１Ｂは、シーンメタデータを記憶する以外、図１の放送データ記憶手段８１と同じものである。
【０１３５】
ここで、図５を参照して、放送データ記憶手段８１Ｂに記憶されるシーンメタデータの一例について説明する。
図５に示すように、シーンメタデータは、（１）行目に示すようなセグメントＩＤ（ここでは、“Ｓ４”）によって、番組内のシーンを特定し、（２）行目のコンテンツ参照識別子（ＣＲＩＤ）によって、番組を特定している。
【０１３６】
また、（３）行目から（１０）行目には、シーンの内容を記述している。（４）行目の＜Ｔｉｔｌｅ＞タグによってシーンのタイトル（ここでは、「野球」）、（５）行目の＜Ｓｙｎｏｐｓｉｓ＞タグによってシーンの概要（ここでは、「イ○ロー先頭打者ヒット」）を記述している。さらに、（６）行目から（８）行目には、＜Ｇｅｎｒｅ＞タグ内の＜Ｎａｍｅ＞タグによって、シーンのジャンル（ここでは、「スポーツ」）を記述している。そして、（９）行目には、＜Ｋｅｙｗｏｒｄ＞タグによって、キーワード（ここでは、「イ○ロー」）を記述している。
【０１３７】
また、（１１）行目から（１４）行目には、番組におけるシーンの位置を示す時間情報を記述している。例えば、（１２）行目には、＜ＭｅｄｅｉａＲｅｌＩｎｃｒＴｉｍｅＰｏｉｎｔ＞タグによって、番組開始からこのシーンの開始時点までの相対位置を時間（ｍｓｅｃ等）で記述し、（１３）行目には、＜ＭｅｄｉａＤｕｒａｔｉｏｎ＞タグによって、シーンの長さを時間（ｍｓｅｃ等）で記述している。
このように、番組に対応付けて、シーンの情報をメタデータとして記述しておくことで、シーン単位で内容の記述を行うことが可能になる。
図３に戻って、デジタル放送受信装置１Ｂの構成について説明を続ける。
【０１３８】
興味データ記憶手段８３Ｂは、視聴者が番組に興味を持った時点のシーンメタデータの文字列をキーワードとして記憶するものである。この興味データ記憶手段８３Ｂは、興味データ抽出手段６０Ｂによって、放送データ一時記憶手段８１Ｂに記憶されているシーンメタデータから抽出された文字列（キーワード）が書き込まれる。この興味データ記憶手段８３Ｂに記憶されたキーワードは、関連情報検索手段７０Ｂにおいて、関連情報を検索する際に参照される。
【０１３９】
このように構成することで、デジタル放送受信装置１Ｂは、デジタル放送視聴中の視聴者が、その番組中で興味を持ったシーンを判定し、そのシーンに関連する情報を適宜、あるいは、番組終了後に視聴者に提示することができる。
【０１４０】
［デジタル放送受信装置の動作］
次に、図２を参照（構成については適宜図３参照）して、本発明の第２実施形態に係るデジタル放送受信装置１Ｂの動作について説明する。なお、デジタル放送受信装置１Ｂの動作は、基本的にデジタル放送受信装置１（図１参照）と同じであり、相違点のみ説明する。デジタル放送受信装置１とデジタル放送受信装置１Ｂとは、ステップＳ５，Ｓ６のみが異なっている。
【０１４１】
すなわち、デジタル放送受信装置１Ｂは、視聴者状態分析手段３０で視聴者が興味を示したと分析した場合（ステップＳ４でＹｅｓ）、興味データ抽出手段６０Ｂによって、放送データ記憶手段８１Ｂに記憶されているシーンメタデータから、視聴者が興味を示した時点から遡って所定時間（例えば、５秒）のシーンメタデータ内の情報（登場人物、シーン記述など）を抽出する（ステップＳ５Ｂ）。
【０１４２】
そして、デジタル放送受信装置１Ｂは、関連情報検索手段７０Ｂの文字関連情報検索手段７３Ｂによって、興味データ記憶手段８３Ｂに記憶されているキーワードに関連する情報を、放送データ記憶手段８１Ｂに記憶されている放送データ（蓄積番組、番組表データ、データ放送用データ）から検索し、関連情報記憶手段８４に書き込み、記憶させる（ステップＳ６Ｂ）。
【０１４３】
これによって、視聴者が興味を持ったシーンに関連する蓄積番組に関する情報、当該シーンに関連して今後放送される番組の情報、当該シーンに関連して現在放送されているデータ放送の情報が、関連情報記憶手段８４に書き込まれる。
このステップＳ５Ｂ，Ｓ６Ｂ以外の動作については、デジタル放送受信装置１（図１参照）と同じであるため説明を省略する。
【０１４４】
以上の動作によって、デジタル放送受信装置１Ｂは、デジタル放送視聴中の視聴者が、その番組中で興味を持ったシーンを判定し、そのシーンに関連する情報を適宜、あるいは、番組終了後に視聴者に提示することができる。
【０１４５】
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではない。
例えば、ここでは、受信手段１０が、アンテナＡを介して放送波Ｗでデジタル放送を受信したが、ネットワークを介して通信によってデジタル放送を受信する形態であっても構わない。
【０１４６】
また、ここでは、視聴者状態分析手段３０が、視聴者の状態（動作、顔の表情、発話内容など）によって、視聴者が視聴中の番組に興味を示しているか否かを判定したが、リモコン装置の予め定めたボタンを押下することで、視聴者が視聴中の番組に興味を示していると判定することとしてもよい。これによって、リモコン装置の所定のボタンを押すだけの簡単な操作で、関連情報を提示することができる。
【０１４７】
また、ここでは、放送データ記憶手段８１に番組を蓄積することとしたが、必ずしも当該デジタル放送受信装置１，１Ｂ内に蓄積する必要はなく、外部のサーバに蓄積することとしてもよい。その場合、デジタル放送受信装置１，１Ｂの関連情報検索手段７０，７０Ｂは、ネットワーク経由でサーバ内の番組から関連情報を検索すればよい。また、外部のサーバに蓄積した番組を利用する場合、当該番組に付加されるメタデータ（シーンメタデータ）には、ＰＳＩ／ＳＩで取得可能なメタデータよりも多くの情報を付加することとしてもよい。これによって、蓄積された番組をより詳細に説明できるため、視聴者が興味を持ったシーンに関連する番組が見つかる可能性を高めることができる。
【０１４８】
なお、デジタル放送受信装置１，１Ｂは、一般的なＣＰＵ、ＲＡＭ、ＲＯＭなどで構成することができ、関連情報を提示するためには、コンピュータを、前記した各手段として機能させるプログラム（関連情報提示プログラム）で実現することができる。
【符号の説明】
【０１４９】
１，１Ｂ デジタル放送受信装置
１０ 受信手段
２０ 表示手段
２１ 番組表示手段
２２ データ表示手段
２３ 情報一覧表示手段
２４ 番組表表示手段
３０ 視聴者状態分析手段
４０，４０Ｂ 放送データ抽出手段
５０ 放送データ逐次更新手段
６０，６０Ｂ 興味データ抽出手段
７０，７０Ｂ 関連情報検索手段
８０，８０Ｂ 記憶手段
８１，８１Ｂ 放送データ記憶手段
８２ 放送データ一時記憶手段
８３，８３Ｂ 興味データ記憶手段
８４ 関連情報記憶手段
Ｃ カメラ（状態取得手段）
Ｍ マイク（状態取得手段）
【技術分野】
【０００１】
本発明は、視聴者が興味を示したシーンに関連する情報を提示するデジタル放送受信装置および関連情報提示プログラムに関する。
【背景技術】
【０００２】
近年、デジタル放送では、マルチメディアサービスであるデータ放送が行われ、番組（テレビ放送〔映像、音声〕）を補完する連動型のデータ放送や、番組とは独立した非連動型のデータ放送が配信されている。
例えば、連動型のデータ放送では、現在放送しているスポーツ番組における選手などの詳細な競技記録や、現在放送しているドラマの登場人物のプロフィールなどがＡＲＩＢ（社団法人電波産業会）により規定されているデータ放送向け記述言語であるＢＭＬ（Broadcast Markup Language）で記述され、カルーセル伝送によって配信されている。
これによって、視聴者は、デジタル放送受信装置において、番組を視聴中に、リモコン装置のデータボタンを押すことで、その番組に関連する情報をデータ放送によって取得することができる。
【０００３】
また、本願出願人は、視聴中の番組に対応したメタデータによって、関連する番組を検索し、視聴者に推薦して提示するシステム「ＣｕｒｉｏＶｉｅｗ（キュリオビュー）」を開発した（非特許文献１参照）。このように、番組と対応したメタデータによって、関連する番組を視聴者に提示する技術は種々存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−６５７１２号公報
【非特許文献】
【０００５】
【非特許文献１】佐野雅規、「メタデータと検索技術がテレビにもたらすもの」、ＮＨＫ技研Ｒ＆Ｄ、日本放送出版協会、Ｎｏ．１１７、ｐ．４４−４９、２００９年９月１５日
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記した番組連動型のデータ放送によって番組に関連する情報を取得する手法では、視聴者が、リモコン装置を操作しなければならない。このリモコン操作は、単にデータボタンの押下にとどまらず、煩雑な操作が必要となるという問題がある。例えば、所望のデータがデータ放送の階層構造化された下位層に存在する場合、視聴者は、方向ボタンや決定ボタンといったボタンを何回も押す必要がある。また、必ずしも所望のデータがデータ放送として配信されているわけではなく、リモコン操作によって所望のデータが得られないといった問題もある。さらに、視聴者は、番組を視聴中にリモコン操作を行う必要があるため、視聴者の番組への集中度を低下させてしまうという問題もある。
【０００７】
また、前記した視聴中の番組に対応したメタデータで関連する番組を提示する手法は、視聴者が煩わしいリモコン操作を行わなくても、視聴中の番組に関連する番組を提示する点で優れている。しかし、視聴者は、番組中の特定のシーンのみに興味を持っている場合や、視聴者それぞれの好みも異なる場合があり、視聴者が興味を持っていると思われるシーンに関連する番組や情報を的確に提示して欲しいという要望がある。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、視聴者が番組視聴中に、興味を示したシーンに関連する情報を提示することが可能なデジタル放送受信装置および関連情報提示プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載のデジタル放送受信装置は、デジタル放送を受信するデジタル放送受信装置において、放送データ抽出手段と、放送データ逐次更新手段と、視聴者状態分析手段と、興味データ抽出手段と、関連情報検索手段と、表示手段と、を備える構成とした。
【００１０】
かかる構成において、デジタル放送受信装置は、放送データ抽出手段によって、デジタル放送から、データ放送のデータであるデータ放送用データを分離抽出して記憶手段に書き込む。これによって、記憶手段には、放送番組に対応したデータ放送用データが蓄積されることになる。
【００１１】
また、デジタル放送受信装置は、放送データ逐次更新手段によって、デジタル放送で配信される視聴中の放送番組を予め定めた時間分だけ順次更新して記憶手段に書き込む。これによって、デジタル放送の放送番組である映像、音声、字幕、文字スーパのうち、現時点を基準として予め定めた時間分だけ遡ったデータが記憶手段に蓄積されることになる。
【００１２】
そして、デジタル放送受信装置は、視聴者状態分析手段によって、例えば、モニタの周囲に設置したカメラ、マイクといった状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。例えば、視聴者状態分析手段は、ジェスチャで万歳の動作を行ったり、笑ったり、「これ何？」と発話したりした視聴者の状態を、視聴者が興味を示している状態であると予め設定し、画像処理、音声認識処理によってその設定した状態であるか否かを分析することで、視聴者が視聴中のシーンに興味を示しているか否かを判定する。
【００１３】
そして、デジタル放送受信装置は、興味データ抽出手段によって、視聴者がシーンに興味を示したと判定した時点で、当該時点を含んだ所定期間内に、放送データ逐次更新手段で記憶手段に書き込んだ放送番組のデータを抽出する。なお、興味データ抽出手段は、視聴者がシーンに興味を示したと判定した時点で、数秒経過後、放送データ逐次更新手段で記憶手段に書き込んだ放送番組のデータを抽出することとする。そして、興味データ抽出手段は、視聴者がシーンに興味を示した時点の前後数秒間（所定期間）に亘って記憶手段に記憶されているデータを更新されないように他の記憶領域に移動させる。これによって、視聴者が興味を示したシーンを解析することが可能になる。
【００１４】
その後、デジタル放送受信装置は、関連情報検索手段によって、興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する。なお、関連情報検索手段は、放送番組のデータに含まれている文字情報をデータ放送用データから検索することとしてもよいし、データ放送用データに含まれている文字情報を放送番組のデータに含まれている文字情報から検索することとしてもよい。
そして、デジタル放送受信装置は、表示手段によって、関連情報検索手段で抽出した関連情報を画面上に表示する。
【００１５】
また、請求項２に記載のデジタル放送受信装置は、請求項１に記載のデジタル放送受信装置において、前記関連情報検索手段が、文字関連情報検索手段を備える構成とした。
【００１６】
かかる構成において、デジタル放送受信装置は、文字関連情報検索手段によって、放送データ逐次更新手段で記憶手段に書き込んだ放送番組の字幕または文字スーパと前記データ放送用データとで同一の名詞を検索し、当該名詞を含んで画面データを構成するデータ放送用データを関連情報として抽出する。これによって、デジタル放送受信装置は、視聴者が興味を示したシーンに字幕や文字スーパが含まれていれば、字幕や文字スーパに含まれている名詞を含んだデータ放送のデータを関連情報として画面上に表示することができる。
【００１７】
また、請求項３に記載のデジタル放送受信装置は、請求項２に記載のデジタル放送受信装置において、音声認識手段を備え、前記文字関連情報検索手段が、前記音声認識手段によって変換された文字列から名詞を抽出する構成とした。
【００１８】
かかる構成において、デジタル放送受信装置は、音声認識手段によって、放送データ逐次更新手段で記憶手段に書き込んだ放送番組の音声を音声認識により文字列に変換する。そして、文字関連情報検索手段は、音声認識手段によって変換された文字列から名詞を抽出する。これによって、デジタル放送受信装置は、視聴者が興味を示したシーンの音声（文字列）に含まれている名詞を含んだデータ放送のデータを関連情報として画面上に表示することができる。
【００１９】
さらに、請求項４に記載のデジタル放送受信装置は、請求項１から請求項３のいずれか一項に記載のデジタル放送受信装置において、前記関連情報検索手段が、画像関連情報検索手段を備える構成とした。
【００２０】
かかる構成において、デジタル放送受信装置は、画像関連情報検索手段によって、放送データ逐次更新手段で記憶手段に書き込んだ放送番組の映像の各フレーム画像において、データ放送用データに含まれている画像データと同一または類似する画像を画像処理（例えば、テンプレートマッチング）により検索し、当該同一または類似の画像を含んで画面データを構成するデータ放送用データを関連情報として抽出する。これによって、デジタル放送受信装置は、データ放送用データに画像データが含まれている場合、視聴者が興味を示したシーンの映像にその画像データと同一または類似の画像が含まれていれば、その画像データを含んだデータ放送のデータを関連情報として画面上に表示することができる。
【００２１】
また、請求項５に記載のデジタル放送受信装置は、デジタル放送を受信するデジタル放送受信装置において、放送データ抽出手段と、視聴者状態分析手段と、興味データ抽出手段と、関連情報検索手段と、表示手段と、を備える構成とした。
【００２２】
かかる構成において、デジタル放送受信装置は、放送データ抽出手段によって、デジタル放送から、データ放送のデータであるデータ放送用データと放送番組のシーンに関連する情報であるシーンメタデータとを分離抽出して記憶手段に書き込む。これによって、記憶手段には、放送番組に対応したデータ放送用データと、放送番組のシーンに関連するメタデータ（シーンメタデータ）とが蓄積されることになる。
【００２３】
そして、デジタル放送受信装置は、視聴者状態分析手段によって、例えば、モニタの周囲に設置したカメラ、マイクといった状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。すなわち、視聴者状態分析手段は、視聴者が興味を示している状態を予め設定し、その設定した状態であるか否かにより、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。
【００２４】
そして、デジタル放送受信装置は、興味データ抽出手段によって、視聴者がシーンに興味を示したと判定した時点で、シーンメタデータから、当該時点を含んだ所定期間内におけるシーンの文字情報（キーワード）を抽出する。
【００２５】
その後、デジタル放送受信装置は、関連情報検索手段によって、興味データ抽出手段で抽出した文字情報と、放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する。
そして、デジタル放送受信装置は、表示手段によって、関連情報検索手段で抽出した関連情報を画面上に表示する。
【００２６】
また、請求項６に記載のデジタル放送受信装置は、請求項１から請求項５のいずれか一項に記載のデジタル放送受信装置において、前記関連情報検索手段が、前記興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段で抽出した番組表データとで、共通する文字情報を検索し、当該文字情報を含んだ番組表データを視聴者が興味を持ったシーンに関連する関連情報としてさらに抽出する構成とした。
【００２７】
かかる構成において、デジタル放送受信装置は、関連情報検索手段によって、視聴者が興味を示したシーンに関連する他の番組を番組表データから検索し、提示することができる。
【００２８】
また、請求項７に記載のデジタル放送受信装置は、請求項１から請求項６のいずれか一項に記載のデジタル放送受信装置において、前記関連情報検索手段が、前記興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段で抽出したメタデータとで、共通する文字情報を検索し、当該文字情報を含んだメタデータを視聴者が興味を持ったシーンに関連する関連情報としてさらに抽出する構成とした。
【００２９】
かかる構成において、デジタル放送受信装置は、関連情報検索手段によって、視聴者が興味を示したシーンに関連する他の番組を、以前蓄積した番組（蓄積番組）の中からメタデータにより検索し、提示することができる。
【００３０】
さらに、請求項８に記載のデジタル放送受信装置は、請求項１から請求項７のいずれか一項に記載のデジタル放送受信装置において、前記表示手段が、視聴中の放送番組終了後、関連情報を一覧表示する構成とした。
【００３１】
かかる構成において、デジタル放送受信装置は、表示手段によって、視聴中の番組が終了した時点で、視聴者が興味を示したシーンに関連する関連情報を一覧表示する。
【００３２】
また、請求項９に記載の関連情報提示プログラムは、デジタル放送を受信するデジタル放送受信装置において、視聴者が興味を持ったシーンに関連する情報を提示するために、コンピュータを、放送データ抽出手段、放送データ逐次更新手段、視聴者状態分析手段、興味データ抽出手段、関連情報検索手段、表示手段、として機能させる構成とした。
【００３３】
かかる構成において、関連情報提示プログラムは、放送データ抽出手段によって、デジタル放送から、データ放送のデータであるデータ放送用データを分離抽出して記憶手段に書き込む。また、関連情報提示プログラムは、放送データ逐次更新手段によって、デジタル放送で配信される視聴中の放送番組を予め定めた時間分だけ順次更新して記憶手段に書き込む。
【００３４】
そして、関連情報提示プログラムは、視聴者状態分析手段によって、例えば、モニタの周囲に設置したカメラ、マイクといった状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。
【００３５】
そして、関連情報提示プログラムは、興味データ抽出手段によって、視聴者がシーンに興味を示したと判定した時点で、当該時点を含んだ所定期間内に、放送データ逐次更新手段で記憶手段に書き込んだ放送番組のデータを抽出する。
【００３６】
その後、関連情報提示プログラムは、関連情報検索手段によって、興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する。
そして、関連情報提示プログラムは、表示手段によって、関連情報検索手段で抽出した関連情報を画面上に表示する。
【００３７】
また、請求項１０に記載の関連情報提示プログラムは、デジタル放送を受信するデジタル放送受信装置において、放送データ抽出手段、視聴者状態分析手段、興味データ抽出手段、関連情報検索手段、表示手段、として機能させる構成とした。
【００３８】
かかる構成において、関連情報提示プログラムは、放送データ抽出手段によって、デジタル放送から、データ放送のデータであるデータ放送用データと放送番組のシーンに関連する情報であるシーンメタデータとを分離抽出して記憶手段に書き込む。
【００３９】
そして、関連情報提示プログラムは、視聴者状態分析手段によって、例えば、モニタの周囲に設置したカメラ、マイクといった状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、視聴者が視聴中の放送番組のシーンに興味を示しているか否かを判定する。
【００４０】
そして、関連情報提示プログラムは、興味データ抽出手段によって、視聴者がシーンに興味を示したと判定した時点で、シーンメタデータから、当該時点を含んだ所定期間内におけるシーンの文字情報（キーワード）を抽出する。
【００４１】
その後、関連情報提示プログラムは、関連情報検索手段によって、興味データ抽出手段で抽出した文字情報と、放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを視聴者が興味を持ったシーンに関連する関連情報として抽出する。
そして、関連情報提示プログラムは、表示手段によって、関連情報検索手段で抽出した関連情報を画面上に表示する。
【発明の効果】
【００４２】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，５，９，１０に記載の発明によれば、デジタル放送の番組視聴中に視聴者が興味を示したシーンにおいて、リモコン装置などの複雑な操作を行うことなく、そのシーンに関連する情報を画面上に提示することができる。また、本発明によれば、現在の視聴者の状態によって、視聴者が興味を持っているか否かを判定するため、視聴者の好みや感情に最も適した関連情報を提示することができる
【００４３】
請求項２に記載の発明によれば、視聴者が興味を示した放送番組のシーンに含まれている字幕や文字スーパから、データ放送用データを検索することで、リモコン装置などの複雑な操作を行うことなく、そのシーンの関連情報を画面上に提示することができる。
【００４４】
請求項３に記載の発明によれば、視聴者が興味を示した放送番組のシーンの音声に含まれている文字列によって、データ放送用データを検索することができ、リモコン装置などの複雑な操作を行うことなく、そのシーンの関連情報を画面上に提示することができる。
【００４５】
請求項４に記載の発明によれば、視聴者が興味を示した放送番組のシーンに含まれている画像に最も類似したデータ放送用データを検索することで、リモコン装置などの複雑な操作を行うことなく、そのシーンの関連情報を画面上に提示することができる。
【００４６】
請求項６に記載の発明によれば、視聴者が興味を示した放送番組のシーンに関連する番組表データを取得することができる。これによって、視聴者が、興味を示したシーンに関連する他の放送番組を選択して視聴や録画を行うことが可能になる。
【００４７】
請求項７に記載の発明によれば、視聴者が興味を示した放送番組のシーンに関連した他の放送番組を視聴者に提示することができる。これによって、過去に蓄積した番組の中から、視聴者が興味を示した番組に関連する他の番組を推奨することができる。
【００４８】
請求項８に記載の発明によれば、番組終了後に、視聴者が興味を示したシーンに関連する情報を一覧表示することができる。これによって、視聴者は、番組視聴後、一括して興味のある情報を確認することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１実施形態に係るデジタル放送受信装置の構成を示すブロック構成図である。
【図２】本発明の第１実施形態に係るデジタル放送受信装置の動作を示すフローチャートである。
【図３】本発明の第２実施形態に係るデジタル放送受信装置の構成を示すブロック構成図である。
【図４】番組のメタデータ（番組メタデータ）の内容を説明するための図である。
【図５】番組内のシーンのメタデータ（シーンメタデータ）の内容を説明するための図である。
【図６】視聴者が番組視聴中に興味を示した状態を説明するための説明図である。
【図７】視聴者が番組視聴中に興味を示し、画面上に関連情報を提示した状態を説明するための説明図である。
【図８】視聴者が番組視聴中に興味を示していない状態を説明するための説明図である。
【図９】番組終了後に提示する、視聴者が興味を示したシーンに関連する情報一覧画面を説明するための説明図である。
【発明を実施するための形態】
【００５０】
＜本発明の概要＞
まず、図６〜図９を参照して、本発明の概要について説明する。
本発明に係るデジタル放送受信装置１は、番組視聴中に、視聴者が興味を示したシーンを検出し、当該シーンに関連する情報を提示するものである。
例えば、図６に示すように、視聴者が、スポーツ番組（ここでは、野球を例とする）を視聴中に、デジタル放送受信装置１は、視聴者の動作や発話内容を、カメラＣで撮影したカメラ画像や、マイクＭで取得した音声によって解析する。そして、例えば、視聴者が予め設定された万歳の動作を行った（あるいは、「万歳」と発声した）ことによって、デジタル放送受信装置１は、当該シーンを、視聴者が興味を示したシーンであると判定し、図７に示すように、当該シーンに関連するデータ放送のデータを画面上に表示する。
【００５１】
そして、一定時間経過後、デジタル放送受信装置１は、図８に示すように、データ放送のデータを画面上から消去し、通常のテレビ映像を画面上に提示する。
このように、デジタル放送受信装置１は、番組視聴中に視聴者が興味を示したシーンに関連する情報を画面上に提示する。
【００５２】
また、デジタル放送受信装置１は、視聴者が興味を示したシーンに関連する情報を蓄積しておき、番組終了後、図９に示すように、視聴者が興味を示したシーンに関連するデータ放送の情報、電子番組表の情報（タイトルなど）、あるいは、過去に蓄積している蓄積番組の情報（タイトルなど）を、一覧形式で画面上に提示する。
【００５３】
このように、本発明に係るデジタル放送受信装置１は、視聴者が興味を示したシーンに関連する情報を、視聴者が複雑なリモコン操作を行うことなく、画面上に表示するものである。
以下、図面を参照して、本発明に係るデジタル放送受信装置１の構成および動作について詳細に説明する。
【００５４】
＜第１実施形態＞
［デジタル放送受信装置の構成］
最初に、図１を参照して、本発明の第１実施形態に係るデジタル放送受信装置１の構成について説明する。
デジタル放送受信装置１は、番組視聴中の視聴者の状態（動作、顔の表情、発話内容など）を分析することで視聴者が興味を示したシーンを検出し、当該シーンに関連する情報を提示するものである。
【００５５】
ここでは、デジタル放送受信装置１は、受信手段１０と、表示手段２０と、視聴者状態分析手段３０と、放送データ抽出手段４０と、放送データ逐次更新手段５０と、興味データ抽出手段６０と、関連情報検索手段７０と、記憶手段８０と、を備えている。また、ここでは、デジタル放送受信装置１は、映像、音声などを視聴者に提示する表示装置であるモニタＤと、視聴者の視聴状態を取得するための状態取得手段であるカメラＣやマイクＭとを接続している。
【００５６】
なお、カメラＣは、モニタＤの周囲（例えば、モニタＤの上部）に設置され、モニタＤを見ている視聴者を撮影可能な画角を有するものであればよい。また、マイクＭは、カメラＣと同様、モニタＤの周囲に設置され、視聴者が発する音声を集音できれば、その設置位置は限定されるものではない。
【００５７】
受信手段１０は、アンテナＡを介して、放送波Ｗで配信されるデジタル放送信号を受信するものである。この受信手段１０は、デジタル放送信号を受信し、表示手段２０、放送データ抽出手段４０、放送データ逐次更新手段５０に、表示用あるいは記録用の放送データとして出力する。なお、このデジタル放送信号は、一般的なデジタル放送信号であって、例えば、ＭＰＥＧ２トランスポートストリームとして、映像、音声、データ、字幕、文字スーパが多重化された信号である。
【００５８】
この受信手段１０は、復調器（不図示）によって、受信したデジタル放送信号に対して、放送波の変調方式に対応した復調（ＱＰＳＫなど）を行い、多重分離器（不図示）によって、映像、音声、データ、字幕、文字スーパの各信号に分離する。そして、受信手段１０は、分離した各信号を、表示手段２０、放送データ抽出手段４０および放送データ逐次更新手段５０に出力する。
【００５９】
なお、受信手段１０は、映像、音声などの実データ以外に、ＰＳＩ（Program Specific Information：番組特定情報）／ＳＩ（Service Information；番組配列情報）といったチャンネルの番組情報も併せて表示手段２０、放送データ抽出手段４０および放送データ逐次更新手段５０に出力する。このとき、受信手段１０は、放送データ逐次更新手段５０については、現在視聴中のチャンネルの放送データのみを出力する。
【００６０】
表示手段２０は、デジタル放送で配信される番組（映像、音声、データなど）を表示するものである。ここでは、表示手段２０は、番組表示手段２１と、データ表示手段２２と、情報一覧表示手段２３と、番組表表示手段２４と、を備えている。
【００６１】
番組表示手段２１は、受信手段１０で受信し、分離された映像、音声を復号し、モニタＤに表示するものである。この番組表示手段２１は、例えば、ＭＰＥＧ２ Ｖｉｄｅｏで符号化された映像信号や、ＭＰＥＧ２ Ａｕｄｉｏで符号化された音声信号を、それぞれの符号化方式に応じて復号してモニタＤに表示する。
【００６２】
なお、番組表示手段２１は、受信手段１０で受信した番組の映像、音声をモニタＤに表示する以外にも、後記する放送データ記憶手段８１に記憶されている蓄積番組を復号してモニタＤに表示する機能を有している。すなわち、番組表示手段２１は、受信したデジタル放送をリアルタイムで視聴する場合は、受信手段１０で受信した番組をモニタＤに表示し、リアルタイムで視聴しない場合、放送データ記憶手段８１に記憶されている蓄積番組をモニタＤに表示する。
【００６３】
データ表示手段２２は、受信手段１０で受信し、分離されたデータ放送のデータを復号し、モニタＤに表示するものである。このデータ表示手段２２は、ＢＭＬで記述されたデータを解釈し、画面を構成する表示データを生成するＢＭＬブラウザとして機能する。これによって、データ表示手段２２は、例えば、リモコン装置（不図示）のデータボタンを押された際に、データ放送の画面をモニタＤに出力する。
【００６４】
また、データ表示手段２２は、データボタンを押された際にデータ放送の画面を表示する以外に、後記する関連情報記憶手段８４に記憶されたデータ放送情報（ＢＭＬ）を解釈し、表示データを生成する機能を有している。すなわち、データ表示手段２２は、後記する視聴者状態分析手段３０によって、視聴者が視聴中の番組に対して興味を示したと判定され、関連情報記憶手段８４に視聴者が興味を示したシーンに関連するデータ放送の内容が記憶された場合に、関連情報記憶手段８４から、データ放送情報（ＢＭＬ）を読み出し解釈して画面上に表示する。
【００６５】
このデータ表示手段２２は、例えば、図７に示すように、映像を縮小し、画面上の空いた領域にはめ込んでデータ放送（関連情報）を表示する。あるいは、データ表示手段２２は、映像上にデータ放送（関連情報）を重ねて表示（オーバーレイ表示）することとしてもよい。
【００６６】
このとき、データ表示手段２２は、データの表示を予め定めた時間だけ表示し、その時間経過後、データを画面上から消去することとする。これによって、視聴者が興味を示したシーンに関連する情報が画面上に一定時間表示されることになる。
なお、データ表示手段２２が、視聴者が番組視聴中に興味を示した段階で、関連情報を、画面上を表示するか否かは、予め視聴者によって設定されるものとする。
【００６７】
情報一覧表示手段２３は、１つの番組が終了した段階で、当該番組において、視聴者が興味を示したシーンに関連する情報を、関連情報記憶手段８４から読み出して、一覧表形式の画面（情報一覧画面）として、モニタＤに表示するものである。
【００６８】
すなわち、情報一覧表示手段２３は、番組終了後、関連情報記憶手段８４に記憶されている蓄積番組情報（過去に蓄積した番組の情報；番組名など）、番組表情報（今後放送予定の番組表の情報；番組名、放送時間など）、データ放送情報（データ放送として視聴番組に連動して放送されたデータ；ＢＭＬのｔｉｔleタグに挟まれたタイトル名など）を、情報一覧画面として生成し、表示する（図９参照）。なお、この情報一覧表示手段２３は、番組の終了の判定を、例えば、デジタル放送で配信されるＳＩによって、視聴中の番組の放送日時を取得し、現在の時刻と比較することで行う。
【００６９】
番組表表示手段２４は、ＥＰＧ（Electronic Program Guide；電子番組ガイド）を生成し、モニタＤに表示するものである。この番組表表示手段２４は、デジタル放送で配信されるＳＩ（番組配列情報）から、各種情報（番組名、番組記述、放送開始日時、番組時間長など）を取得し、番組表を生成する。
なお、この番組表表示手段２４は、例えば、リモコン装置（不図示）の番組表ボタンを押された際に番組表を生成し、モニタＤに出力する。
【００７０】
視聴者状態分析手段３０は、モニタＤの周囲に設置した状態取得手段であるマイクＭやカメラＣから取得したカメラ画像や音声によって、視聴中の番組のシーンに興味を示しているか否かを判定するものである。
【００７１】
この視聴者状態分析手段３０は、視聴者が興味を示したと判定した場合、興味データ抽出手段６０にその旨を通知することで、視聴者が興味を示したシーンに関連する情報の収集を開始させる。なお、この視聴者状態分析手段３０における視聴者状態の分析は、公知の技術を用いて行うことができる。例えば、視聴者状態分析手段３０は、視聴者が興味を示しているか否かを、視聴者の発話内容で判定する。
【００７２】
具体的には、視聴者状態分析手段３０は、マイクＭから入力される視聴者の音声を音声認識し、その認識結果であるテキストデータと、予め定めた定型文のテキストデータ（サンプルデータ）とを比較し、一致した場合に興味があると判定する。例えば、定型文として、「万歳」、「この人誰？」、「これ何？」のように、シーンに対して、視聴者が興味を示している表現を予め図示を省略した定型文記憶手段に記憶しておく。これによって、視聴者状態分析手段３０は、視聴者が、シーンに対して興味を示した状態を、視聴者の発話内容で判定することができる。
【００７３】
また、例えば、視聴者状態分析手段３０は、視聴者が興味を示しているか否かを、視聴者の動き（ジェスチャ）によって判定する。
具体的には、視聴者状態分析手段３０は、カメラＣで撮影されたカメラ画像（フレーム）を逐次入力し、手などの肌色領域の動きの速度が予め定めた速度よりも速い区間で、肌色領域の各画素の移動方向の頻度をヒストグラム化し、動きの特徴量を抽出する。そして、視聴者状態分析手段３０は、その動きの特徴量から、サポートベクタマシン（ＳＶＭ）により動きを特定する。なお、サポートベクタマシンは、予め特定の動きを示す特徴量をサンプル（サンプルデータ）として、学習しておくものとする。例えば、視聴者状態分析手段３０は、両腕を上方に向けて伸ばす動作（万歳の動作）を学習しておくことで、視聴者が万歳の動作をしたことを検出する。そして、視聴者状態分析手段３０は、当該動作の検出により、視聴者が番組視聴中に歓喜の状態となり、シーンに興味を持っていると判定する。
【００７４】
このようなジェスチャ認識は、公知の技術として、例えば、「前田眞一郎、佐々木佑也、犬丸秀人、岡田至弘：“時空間画像処理によるロバストなジェスチュ認識”、信学技報、ＨＣＳ２００８−７６、ｐｐ．１０９−１１４（Ｍａｒ．２００９）」による手法を用いることができる。
【００７５】
また、例えば、視聴者状態分析手段３０は、視聴者が興味を示しているか否かを、視聴者の顔の表情によって判定する。
具体的には、視聴者状態分析手段３０は、カメラＣで撮影されたカメラ画像から、顔認識を行い、目、口などの顔器官の特徴点を検出し、その複数の特徴点の位置を特徴量として、サポートベクタマシンにより表情を特定する。なお、サポートベクタマシンは、予め特定の表情を示す特徴点の位置をサンプル（サンプルデータ）として、学習しておくものとする。例えば、視聴者状態分析手段３０は、笑った表情、驚いた表情などの顔の特徴量を学習しておくことで、視聴者が笑ったり、驚いたりしたことを検出する。そして、視聴者状態分析手段３０は、視聴者が番組視聴中に笑った、驚いたなどの表情を示したときに、シーンに興味を持っていると判定する。
【００７６】
このような表情認識は、公知の技術として、例えば、「熊野史朗、大塚和弘、大和淳司、前田英作、佐藤洋一：“パーティクルフィルタと勾配法の組み合せによる頭部姿勢変動に頑健な表情認識手法”、画像の認識・理解シンポジウム（ＭＩＲＵ２００８）、ｐｐ．１３００−１３０５（Ｊｕｌ．２００８）」による手法を用いることができる。
なお、視聴者状態分析手段３０は、発話内容、ジェスチャ、顔表情のすべての判定機能を備えることとしてもよいし、少なくともいずれか１つの判定機能のみを備えることとしてもよい。
【００７７】
放送データ抽出手段４０は、受信手段１０から出力される番組（映像、音声）や、データ放送のデータを放送データ記憶手段８１に書き込み蓄積させるものである。
なお、番組（映像、音声）には、ＰＳＩ／ＳＩに含まれている番組情報（番組名、番組記述など）をメタデータ（番組メタデータ）として付加しておく（放送データ記憶手段８１内の「蓄積番組（メタデータ付）」）。なお、放送データ抽出手段４０が放送データ記憶手段８１内に書き込む蓄積番組は、視聴していない番組も含まれていることとする。
【００７８】
また、放送データ抽出手段４０は、デジタル放送で配信されるＳＩ（番組配列情報）から、番組表（ＥＰＧ）を生成する情報である番組のタイトル、放送日時、放送内容などを番組表データとして、放送データ記憶手段８１に書き込む（放送データ記憶手段８１内の「番組表データ」）。
【００７９】
また、放送データ抽出手段４０は、デジタル放送で配信されるデータ放送のデータであるＢＭＬを放送データ記憶手段８１に書き込む（放送データ記憶手段８１内の「データ放送用データ」）。
これによって、放送データ抽出手段４０は、現在および過去の番組を放送データ記憶手段８１に蓄積させることができ、現時点における最新の番組表情報や現在放送中の番組に関連するデータ放送のデータ（データ放送用データ）を蓄積させることができる。
【００８０】
放送データ逐次更新手段５０は、受信手段１０から出力される現在視聴している番組（映像、音声）や、字幕、文字スーパの情報を予め定めた時間区間分、放送データ一時記憶手段８２に書き込み蓄積させるものである。
【００８１】
この放送データ逐次更新手段５０は、受信手段１０から出力される映像、音声、字幕、字幕スーパを、それぞれ個別に、放送データ一時記憶手段８２に書き込む。なお、予め定めた時間区間の時間は、例えば５秒とし、５秒経過後の情報については逐次削除し、最新の５秒間の情報についてのみ、放送データ一時記憶手段８２に蓄積させることとする。
これによって、視聴者状態分析手段３０で視聴者が番組視聴中に興味を示したことを検出した時点で、少なくとも視聴者が興味を持ったシーンの映像などが、放送データ一時記憶手段８２に蓄積されていることになる。
【００８２】
興味データ抽出手段６０は、視聴者状態分析手段３０で視聴者が番組視聴中に興味を示したことを検出した時点で、当該時点を含んだ所定期間内に、放送データ一時記憶手段８２に記憶されている放送データを別の記憶領域（興味データ記憶手段８３）に退避させ、興味を示したシーンの情報を抽出するものである。
【００８３】
すなわち、興味データ抽出手段６０は、視聴者状態分析手段３０から、視聴者が興味を示した旨の通知を受けた段階で、数秒経過後、逐次更新される放送データ一時記憶手段８２から、後記する関連情報検索手段７０において、視聴者が興味を持ったシーンに関連する情報を検索するための情報として、興味データ記憶手段８３に映像、音声、字幕および文字スーパを移動させる。これによって、視聴者が興味を持った時点の前後数秒間に亘って、シーンにおける映像、音声、字幕、文字スーパを、関連情報検索手段７０において解析することが可能になる。
【００８４】
関連情報検索手段７０は、興味データ抽出手段６０が興味データ記憶手段８３に映像、音声、字幕および文字スーパを移動させた段階で、興味データ記憶手段８３に記憶されている興味シーンデータ（映像、音声、字幕、文字スーパ）に関連する情報と、放送データ記憶手段８１に記憶されている放送データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを抽出するものである。
ここでは、関連情報検索手段７０は、画像関連情報検索手段７１と、音声認識手段７２と、文字関連情報検索手段７３と、を備えている。
【００８５】
画像関連情報検索手段７１は、興味データ記憶手段８３に記憶されている映像に関連する情報を、放送データ記憶手段８１に記憶されているデータ放送用データの中から検索するものである。
【００８６】
この画像関連情報検索手段７１は、興味データ記憶手段８３に記憶されている映像内で、放送データ記憶手段８１に記憶されているデータ放送用データに含まれている画像データと同一または類似の画像を画像処理により検索し、同一または類似の画像データが存在した場合、当該画像データを含むデータ放送用データを、関連情報として抽出する。なお、類似の画像とは、元の画像と画像特徴量が近似する画像をいい、画像特徴量が近似するとは、例えば、色分布、エッジ分布などの特徴量を数値化し、特徴量の距離が予め定めた距離以下であることをいう。
【００８７】
具体的には、画像関連情報検索手段７１は、以下の手法によって、関連情報を抽出する。すなわち、画像関連情報検索手段７１は、データ放送に付加されている画像データを、予め定めた種々のスケールに拡大、縮小させることでテンプレート画像を生成する。そして、画像関連情報検索手段７１は、興味データ記憶手段８３に記憶されている映像のフレームごとに、テンプレート画像によるテンプレートマッチングを行い、映像内に画像データに同一または類似の画像が存在するか否かを探索する。
【００８８】
なお、データ放送用データには、画像データとして、例えば、ＪＰＥＧ形式の画像ファイルが付加されている場合がある（図７中、画像データＪ）。そこで、画像関連情報検索手段７１は、データ放送に付加されている画像データと同一または類似の画像が、興味データ記憶手段８３内の映像に含まれている場合、当該データ放送用データを、視聴者が興味を持った映像に関連する情報とする。
【００８９】
そして、画像関連情報検索手段７１は、検索したデータ放送用データ内の該当画像データを含んだ画面単位のデータ放送画面の情報を関連情報記憶手段８４に「データ放送情報」として書き込む。
これによって、画像関連情報検索手段７１は、視聴者が興味を持ったシーンに関連するデータ放送の情報を、関連情報記憶手段８４に書き込むことができる。
【００９０】
音声認識手段７２は、興味データ記憶手段８３に記憶されている音声を音声認識し、文字データに変換するものである。この音声認識手段７２は、公知の音声認識技術を用いることができる。この音声認識手段７２は、変換した文字データ（音声文字列）を文字関連情報検索手段７３に出力する。
【００９１】
文字関連情報検索手段７３は、興味データ記憶手段８３に記憶されている音声、字幕、文字スーパに含まれる文字情報と、放送データの中の文字情報とで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを抽出するものである。
この文字関連情報検索手段７３は、興味データ記憶手段８３に記憶されている音声、字幕、文字スーパに含まれる文字列の中から名詞を抽出し、当該名詞を、放送データ記憶手段８１に記憶されている放送データ（蓄積番組のメタデータ、番組表データ、データ放送用データ）の中で探索し、当該名詞を含んだ放送データを関連情報として抽出する。なお、文字関連情報検索手段７３は、興味データ記憶手段８３に記憶されている音声から名詞を抽出する場合、音声認識手段７２によって、音声をテキストデータである文字列（音声文字列）に変換した後に行うこととする。
【００９２】
具体的には、文字関連情報検索手段７３は、以下の手法によって、関連情報を抽出する。すなわち、文字関連情報検索手段７３は、音声（音声文字列）、字幕、文字スーパの各文字列に対して、形態素解析を行い、名詞を抽出する。これによって、文字列から、人物名、物の名称などが抽出される。
【００９３】
そして、文字関連情報検索手段７３は、抽出した名詞を、放送データ記憶手段８１に記憶されている蓄積番組のメタデータにおいて探索する。例えば、メタデータとして、番組の登場人物や内容を示した番組記述内で、抽出した名詞が見つかった場合、文字関連情報検索手段７３は、当該メタデータに記述されている番組名など、番組を特定する情報を、視聴者が興味を持ったシーンに関連する情報として、関連情報記憶手段８４に書き込む（関連情報記憶手段８４内の「蓄積番組情報」）。なお、文字関連情報検索手段７３は、蓄積番組のメタデータ内の文字情報（例えば、タイトルタグで挟まれた人物名や物体名）をキーワードとして、字幕や文字スーパ、あるいは音声認識結果内に、当該キーワードが含まれるか否かを検索することとしてもよい。この場合、該当するキーワードが検出された段階で、文字関連情報検索手段７３は、当該キーワードを含んだメタデータに記述されている番組名など、番組を特定する情報を、視聴者が興味を持ったシーンに関連する情報として、関連情報記憶手段８４に書き込む。
【００９４】
また、文字関連情報検索手段７３は、抽出した名詞を、放送データ記憶手段８１に記憶されている番組表データにおいて探索する。例えば、番組表データとして、蓄積番組のメタデータと同様、番組の登場人物や内容を示した番組記述内で、抽出した名詞が見つかった場合、文字関連情報検索手段７３は、当該番組表データに記述されている番組名、放送時間など、番組を特定する情報を、視聴者が興味を持ったシーンに関連する情報として関連情報記憶手段８４に書き込む（関連情報記憶手段８４内の「番組表情報」）。なお、文字関連情報検索手段７３は、番組表データ内の文字情報（例えば、番組名、登場人物）をキーワードとして、字幕や文字スーパ、あるいは音声認識結果内に、当該キーワードが含まれるか否かを検索することとしてもよい。この場合、該当するキーワードが検出された段階で、文字関連情報検索手段７３は、当該キーワードを含んだ番組表データに記述されている番組名、放送時間など、番組を特定する情報を、視聴者が興味を持ったシーンに関連する情報として関連情報記憶手段８４に書き込む。
【００９５】
さらに、文字関連情報検索手段７３は、抽出した名詞を、放送データ記憶手段８１に記憶されているデータ放送用データにおいて探索する。例えば、データ放送用データとして、ＢＭＬで記述されたデータ内で、抽出した名詞が見つかった場合、文字関連情報検索手段７３は、当該名詞を含んで画面データを構成するデータ放送用データを、視聴者が興味を持ったシーンに関連する情報として関連情報記憶手段８４に書き込む（関連情報記憶手段８４内の「データ放送情報」）。なお、文字関連情報検索手段７３は、データ放送用データ内の文字情報（例えば、タイトルタグで挟まれた人物名や物体名）をキーワードとして、字幕や文字スーパ、あるいは音声認識結果内に、当該キーワードが含まれるか否かを検索することとしてもよい。この場合、該当するキーワードが検出された段階で、文字関連情報検索手段７３は、当該キーワードを項目として含んだデータ放送用データを視聴者が興味を持ったシーンに関連する情報として関連情報記憶手段８４に書き込む。
【００９６】
これによって、文字関連情報検索手段７３は、視聴者が興味を持ったシーンに関連する蓄積番組に関する情報、当該シーンに関連して今後放送される番組の情報、当該シーンに関連して現在放送されているデータ放送の情報を、関連情報記憶手段８４に書き込むことができる。
【００９７】
記憶手段８０は、デジタル放送受信装置１において、各種のデータを記憶するものである。ここでは、記憶手段８０は、放送データ記憶手段８１と、放送データ一時記憶手段８２と、興味データ記憶手段８３と、関連情報記憶手段８４と、を備えている。これら各記憶手段は、ハードディスク、半導体メモリなどの一般的な記録媒体で構成することができる。なお、ここでは、各記憶手段を個別のものとして記載しているが、記憶領域を区分して、同一の記憶媒体に記憶することとしてもよい。
【００９８】
放送データ記憶手段８１は、デジタル放送で配信される放送データを記憶するものである。この放送データ記憶手段８１には、放送データ抽出手段４０によって、番組メタデータを含んだ蓄積番組、番組表（ＥＰＧ）を生成する情報である番組表データ、データ放送として配信されるデータ放送用データが書き込まれる。
この放送データ記憶手段８１に記憶された蓄積番組、番組表データ、データ放送用データは、関連情報検索手段７０において、関連情報を検索する際に参照される。
【００９９】
ここで、図４を参照して、蓄積番組とともに放送データ記憶手段８１に記憶される番組メタデータの一例について説明する。
図４に示すように、番組メタデータは、番組固有の識別子であるコンテンツ参照識別子（ＣＲＩＤ；図中ｃｒｉｄ）によって、番組を特定している。例えば、（１）行目の“ｃｒｉｄ：／／ｎｈｋ＿ｓｐｅｃｉａｌ”によって、「ＮＨＫスペシャル」の番組（コンテンツ）が特定される。
【０１００】
また、（２）行目以降には、番組の内容を示す情報として、（３）行目の＜Ｔｉｔｌｅ＞タグによって番組のタイトル（ここでは、「ＮＨＫスペシャル」）、（４）行目の＜Ｓｙｎｏｐｓｉｓ＞タグによって番組の概要（ここでは、「ＮＨＫスペシャル イ○ロー世界へ」）を記述している。さらに、（５）行目から（７）行目には、＜Ｇｅｎｒｅ＞タグ内の＜Ｎａｍｅ＞タグによって、番組のジャンル（ここでは、「スポーツ」）を記述している。そして、（８）行目には、＜Ｋｅｙｗｏｒｄ＞タグによって、キーワード（ここでは、「野球」）を記述している。
このように、番組メタデータには、番組（コンテンツ）を検索するための情報である種々の情報を記述することができる。ここでは、番組のタイトル、番組の概要、ジャンル、キーワードを例示したが、これに限定されるものではない。
図１に戻って、デジタル放送受信装置１の構成について説明を続ける。
【０１０１】
放送データ一時記憶手段８２は、デジタル放送で配信される放送データのうちで、現在視聴者が視聴している番組の放送データを記憶するものである。この放送データ一時記憶手段８２には、放送データ逐次更新手段５０によって、現在視聴中の番組の映像、音声、字幕、文字スーパが、予め定めた時間区間分（例えば、５秒）、逐次更新されて書き込まれる。また、放送データ一時記憶手段８２に記憶される放送データは、視聴者が番組のシーンに興味を持った段階で、興味データ抽出手段６０によって、興味データ記憶手段８３に移動（コピー）される。
【０１０２】
興味データ記憶手段８３は、視聴者が番組に興味を持った時点の放送データを記憶するものである。この興味データ記憶手段８３は、興味データ抽出手段６０によって、放送データ一時記憶手段８２に記憶されている映像、音声、字幕、文字スーパが書き込まれる。この興味データ記憶手段８３に記憶された映像、音声、字幕、文字スーパは、関連情報検索手段７０において、関連情報を検索する際に参照される。
【０１０３】
関連情報記憶手段８４は、現在視聴中の番組で視聴者が興味を持ったシーンに関連する情報を記憶するものである。この関連情報記憶手段８４には、画像関連情報検索手段７１や文字関連情報検索手段７３で検索されたデータ放送のデータ（データ放送情報）、文字関連情報検索手段７３で検索された蓄積番組の情報（蓄積番組情報）や番組表の情報（番組表情報）が書き込まれる。
この関連情報記憶手段８４に記憶されたデータ放送情報、蓄積番組情報および番組表情報は、表示手段２０によって読み出され、視聴者が興味を示したシーンに関連する情報としてモニタＤに表示されることになる。
【０１０４】
このように構成することで、デジタル放送受信装置１は、デジタル放送視聴中の視聴者が、その番組中で興味を持ったシーンを判定し、そのシーンに関連する情報を適宜、あるいは、番組終了後に視聴者に提示することができる。
【０１０５】
［デジタル放送受信装置の動作］
次に、図２を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るデジタル放送受信装置１の動作について説明する。なお、ここでは、一般的なデジタル放送の番組を表示する動作については、説明を省略し、本発明の特徴である視聴者が興味を示したシーンを検出し、関連情報を提示する処理について説明する。
【０１０６】
まず、デジタル放送受信装置１は、電源ＯＮ後、受信手段１０によって、デジタル放送の番組の受信を開始する（ステップＳ１）。
このとき、デジタル放送受信装置１は、放送データ抽出手段４０によって、番組（蓄積番組）、番組表のデータ（番組表データ）、データ放送のデータ（データ放送用データ）を放送データ記憶手段８１に書き込み蓄積する。また、デジタル放送受信装置１は、放送データ逐次更新手段５０によって、受信手段１０で受信している現在視聴中の映像、音声、字幕、文字スーパを、予め定めた時間区間分（例えば、５秒）、放送データ一時記憶手段８２に逐次更新して蓄積する。
【０１０７】
そして、デジタル放送受信装置１は、視聴者の状態を分析するため、視聴者状態分析手段３０によって、状態取得手段であるマイクＭやカメラＣからカメラ画像や音声を取得する（ステップＳ２）。
このステップＳ２で取得したカメラ画像や音声を用いて、デジタル放送受信装置１は、視聴者状態分析手段３０によって、視聴者の動き（ジェスチャ）、顔の表情、あるいは、発話内容を解析し、視聴者が視聴中のシーンに興味を示したか否かを分析する（ステップＳ３）。
【０１０８】
このステップＳ３において、視聴者が興味を示していないと分析した場合（ステップＳ４でＮｏ）、デジタル放送受信装置１は、ステップＳ１０に動作を進める。一方、視聴者が興味を示したと分析した場合（ステップＳ４でＹｅｓ）、デジタル放送受信装置１は、興味データ抽出手段６０によって、視聴者が興味を持った時点の前後数秒間に亘って放送データ一時記憶手段８２に記憶されている放送データを、別の記憶領域（興味データ記憶手段８３）に退避させ、興味を示したシーンの情報を抽出する（ステップＳ５）。
【０１０９】
そして、デジタル放送受信装置１は、関連情報検索手段７０によって、興味データ記憶手段８３に記憶されている興味シーンデータ（映像、音声、字幕、文字スーパ）に関連する情報を、放送データ記憶手段８１に記憶されている放送データ（蓄積番組、番組表データ、データ放送用データ）から検索し、関連情報記憶手段８４に書き込み、記憶させる（ステップＳ６）。
【０１１０】
このとき、デジタル放送受信装置１は、画像関連情報検索手段７１によって、興味データ記憶手段８３に記憶されている映像内で、放送データ記憶手段８１に記憶されているデータ放送用データに含まれている画像データに類似する画像を検索し、類似した画像データが存在した場合、当該画像データを含むデータ放送用データを、関連情報として抽出する。
【０１１１】
また、デジタル放送受信装置１は、文字関連情報検索手段７３によって、興味データ記憶手段８３に記憶されている音声、字幕、文字スーパに含まれる文字列の中から名詞を抽出し、当該名詞を、放送データ記憶手段８１に記憶されている放送データ（蓄積番組のメタデータ、番組表データ、データ放送用データ）の中で探索し、当該名詞を含んだ放送データを関連情報として抽出する。なお、文字関連情報検索手段７３は、興味データ記憶手段８３に記憶されている音声から名詞を抽出する場合、音声認識手段７２によって、音声をテキストデータである文字列（音声文字列）に変換した後に行う。
【０１１２】
これによって、視聴者が興味を持ったシーンに関連する蓄積番組に関する情報、当該シーンに関連して今後放送される番組の情報、当該シーンに関連して現在放送されているデータ放送の情報が、関連情報記憶手段８４に書き込まれる。
【０１１３】
そして、デジタル放送受信装置１は、関連情報記憶手段８４に関連情報（データ放送情報）が書き込まれなかった場合（ステップＳ７でＮｏ）、ステップＳ１０に動作を進める。一方、関連情報記憶手段８４に関連情報（データ放送情報）が書き込まれた場合（ステップＳ７でＹｅｓ）、デジタル放送受信装置１は、表示手段２０のデータ表示手段２２によって、関連情報記憶手段８４に記憶されているデータ放送情報（ＢＭＬ）を解釈して画面上に一定時間表示する（ステップＳ８）。
【０１１４】
また、デジタル放送受信装置１は、表示手段２０のデータ表示手段２２によって、関連情報記憶手段８４に記憶されている他の関連情報であるデータ放送情報（ＢＭＬ）が存在する場合（ステップＳ９でＹｅｓ）、ステップＳ８に戻って、他のデータ放送情報（ＢＭＬ）を解釈して画面上に一定時間表示する。このステップＳ８，Ｓ９の動作は、関連情報記憶手段８４に記憶されているデータ放送情報（ＢＭＬ）の数だけ繰り返される。これによって、視著者が興味を持ったシーンに複数の人物や物が映っている場合に、その数に応じてデータ放送のデータが表示されることになる。なお、設定によって、このステップＳ８，Ｓ９の動作は、省略することとしてもよい。
【０１１５】
そして、デジタル放送受信装置１は、視聴者が視聴している番組がまだ終了していない場合（ステップ１０でＮｏ）、ステップＳ２に戻って動作を継続する。一方、番組が終了した場合（ステップＳ１０でＹｅｓ）、デジタル放送受信装置１は、ステップＳ１１に動作を進める。
【０１１６】
番組終了後、関連情報記憶手段８４に関連情報が記憶されていなければ（ステップＳ１１でＮｏ）、デジタル放送受信装置１は、ステップＳ１７に動作を進める。一方、番組終了後、関連情報記憶手段８４に関連情報が記憶されている場合（ステップＳ１１でＹｅｓ）、デジタル放送受信装置１は、情報一覧表示手段２３によって、関連情報記憶手段８４に記憶されている蓄積番組情報、番組表情報、データ放送情報を、情報一覧画面として生成し、表示する（ステップＳ１２）。
【０１１７】
そして、デジタル放送受信装置１は、情報一覧画面において、特定の情報を選択されることなく画面終了を指示された場合（ステップＳ１３でＮｏ）、ステップＳ１７に動作を進める。一方、情報一覧画面において、特定の情報を選択された場合（ステップＳ１７でＹｅｓ）、デジタル放送受信装置１は、各情報の詳細な情報を表示する（ステップＳ１４）。
【０１１８】
具体的には、図９の情報一覧画面において、「データ放送」と分類されている情報欄を選択された場合、デジタル放送受信装置１は、データ表示手段２２によって、関連情報記憶手段８４から、データ放送情報（ＢＭＬ）を読み出し解釈して画面上に表示する（図７５参照）。なお、図９の情報一覧画面において、「電子番組表」と分類されている情報欄を選択された場合、さらに番組予約画面を表示して番組予約を行うこととしてもよい。また、図９の情報一覧画面において、「蓄積番組」と分類されている情報欄が選択された場合、選択された蓄積番組の表示を開始することとしてもよい。
【０１１９】
その後、デジタル放送受信装置１は、例えば、リモコン装置の「戻る」ボタンなどによって、情報一覧画面に戻る場合（ステップＳ１５でＹｅｓ）、ステップＳ１２に戻って動作を継続する。
【０１２０】
そして、デジタル放送受信装置１は、例えば、リモコン装置の「ホーム」ボタンなどによって、情報一覧画面の表示の終了が指示された場合（ステップＳ１６でＹｅｓ）、ステップＳ１７に動作を進める。一方、情報一覧画面の表示の終了が指示さない場合（ステップＳ１６でＮｏ）、デジタル放送受信装置１は、ステップＳ１４に戻って、詳細情報の表示を続ける。
【０１２１】
情報一覧画面の表示を終了した段階（ステップＳ１６でＹｅｓ）で、デジタル放送受信装置１は、次の番組視聴を継続する場合（ステップＳ１７でＹｅｓ）、ステップＳ１に戻って、動作を継続する。一方、次の番組視聴を継続しない場合（ステップＳ１７でＮｏ）、例えば、電源ＯＦＦで動作を終了する。
【０１２２】
以上の動作によって、デジタル放送受信装置１は、デジタル放送視聴中の視聴者が、その番組中で興味を持ったシーンを判定し、そのシーンに関連する情報を適宜、あるいは、番組終了後に視聴者に提示することができる。
【０１２３】
＜第２実施形態＞
［デジタル放送受信装置の構成］
次に、図３を参照して、本発明の第２実施形態に係るデジタル放送受信装置１の構成について説明する。
【０１２４】
デジタル放送受信装置１Ｂは、番組視聴中の視聴者の状態（動作、顔の表情、発話内容など）を分析することで視聴者が興味を示したシーンを検出し、当該シーンに関連する情報を提示するものである。なお、デジタル放送受信装置１（図１参照）は、視聴者が視聴している放送データ（映像、音声、字幕、文字スーパ）から、関連情報を検索し提示したが、デジタル放送受信装置１Ｂは、視聴者が視聴している放送データに付加されてくるシーンごとのメタデータ（シーンメタデータ）から、シーンに関連する関連情報を検索し提示する点が異なっている。
【０１２５】
ここでは、デジタル放送受信装置１Ｂは、受信手段１０と、表示手段２０と、視聴者状態分析手段３０と、放送データ抽出手段４０Ｂと、興味データ抽出手段６０Ｂと、関連情報検索手段７０Ｂと、記憶手段８０Ｂと、を備えている。受信手段１０、表示手段２０および視聴者状態分析手段３０については、図１で説明したデジタル放送受信装置１と同一の構成であるため、同一の符号を付して説明を省略する。
【０１２６】
放送データ抽出手段４０Ｂは、受信手段１０で受信した番組、番組表データ、データ放送用データ、シーンメタデータを放送データ記憶手段８１Ｂに書き込み蓄積させるものである。なお、シーンメタデータ以外については、図１のデジタル放送受信装置１で説明した内容と同じであるため説明を省略する。
【０１２７】
シーンメタデータは、番組内の任意のシーンに対応して、タイムスタンプ、シーン内に登場する人物（登場人物）、シーンの内容を説明したシーン記述などが、タグで区切られて記述された情報である。このシーンメタデータは、番組内のシーンごとの情報である点が、同じく放送データ記憶手段８１Ｂに記憶される番組のメタデータ（番組名、番組記述など）とは異なっている。
【０１２８】
興味データ抽出手段６０Ｂは、視聴者状態分析手段３０で視聴者が番組視聴中に興味を示したことを検出した時点で、放送データ一時記憶手段８２に記憶されている当該時点を含んだ所定期間内のシーンメタデータから、シーンメタデータに記述されている文字列（登場人物、シーン記述など）を、キーワードとして抽出するものである。
【０１２９】
すなわち、興味データ抽出手段６０Ｂは、視聴者状態分析手段３０から、視聴者が興味を示した旨の通知を受けた段階で、その時点の前後数秒間に亘って、シーンメタデータ内の情報（登場人物、シーン記述など）を、タイムスタンプに基づいて検索し、抽出する。
これによって、視聴者が興味を持ったシーンにおけるキーワードを、関連情報検索手段７０Ｂにおいて解析することが可能になる。
【０１３０】
関連情報検索手段７０Ｂは、興味データ抽出手段６０Ｂが興味データ記憶手段８３Ｂにキーワードを書き込んだ段階で、興味データ記憶手段８３Ｂに記憶されているキーワードに関連する情報を、放送データ記憶手段８１Ｂに記憶されている放送データから検索するものである。ここでは、関連情報検索手段７０は、文字関連情報検索手段７３Ｂを備えている。
【０１３１】
文字関連情報検索手段７３Ｂは、興味データ記憶手段８３Ｂに記憶されているキーワード（文字情報）と、放送データの中の文字情報とで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを抽出するものである。
この文字関連情報検索手段７３Ｂは、興味データ記憶手段８３Ｂに記憶されているキーワードに含まれる文字列の中から名詞を抽出し、当該名詞を、放送データ記憶手段８１Ｂに記憶されている放送データ（蓄積番組のメタデータ、番組表データ、データ放送用データ）の中で探索し、当該名詞を含んだ放送データを関連情報として抽出する。なお、抽出した名詞から、関連情報を検索する手法は、図１で説明した文字関連情報検索手段７３と同様であるため説明を省略する。
【０１３２】
また、文字関連情報検索手段７３Ｂは、データ放送用データ内の文字情報（例えば、タイトルタグで挟まれた人物名や物体名）を、興味データ記憶手段８３Ｂに記憶されているキーワードから検索し、一致する項目名を含んで画面データを構成するデータ放送用データを関連情報として抽出することとしてもよい。
【０１３３】
記憶手段８０Ｂは、デジタル放送受信装置１Ｂにおいて、各種のデータを記憶するものである。ここでは、記憶手段８０Ｂは、放送データ記憶手段８１Ｂと、興味データ記憶手段８３Ｂと、関連情報記憶手段８４と、を備えている。これら各記憶手段は、ハードディスク、半導体メモリなどの一般的な記録媒体で構成することができる。なお、ここでは、各記憶手段を個別のものとして記載しているが、記憶領域を区分して、同一の記憶媒体に記憶することとしてもよい。
【０１３４】
放送データ記憶手段８１Ｂは、デジタル放送で配信される放送データを記憶するものである。この放送データ記憶手段８１Ｂは、シーンメタデータを記憶する以外、図１の放送データ記憶手段８１と同じものである。
【０１３５】
ここで、図５を参照して、放送データ記憶手段８１Ｂに記憶されるシーンメタデータの一例について説明する。
図５に示すように、シーンメタデータは、（１）行目に示すようなセグメントＩＤ（ここでは、“Ｓ４”）によって、番組内のシーンを特定し、（２）行目のコンテンツ参照識別子（ＣＲＩＤ）によって、番組を特定している。
【０１３６】
また、（３）行目から（１０）行目には、シーンの内容を記述している。（４）行目の＜Ｔｉｔｌｅ＞タグによってシーンのタイトル（ここでは、「野球」）、（５）行目の＜Ｓｙｎｏｐｓｉｓ＞タグによってシーンの概要（ここでは、「イ○ロー先頭打者ヒット」）を記述している。さらに、（６）行目から（８）行目には、＜Ｇｅｎｒｅ＞タグ内の＜Ｎａｍｅ＞タグによって、シーンのジャンル（ここでは、「スポーツ」）を記述している。そして、（９）行目には、＜Ｋｅｙｗｏｒｄ＞タグによって、キーワード（ここでは、「イ○ロー」）を記述している。
【０１３７】
また、（１１）行目から（１４）行目には、番組におけるシーンの位置を示す時間情報を記述している。例えば、（１２）行目には、＜ＭｅｄｅｉａＲｅｌＩｎｃｒＴｉｍｅＰｏｉｎｔ＞タグによって、番組開始からこのシーンの開始時点までの相対位置を時間（ｍｓｅｃ等）で記述し、（１３）行目には、＜ＭｅｄｉａＤｕｒａｔｉｏｎ＞タグによって、シーンの長さを時間（ｍｓｅｃ等）で記述している。
このように、番組に対応付けて、シーンの情報をメタデータとして記述しておくことで、シーン単位で内容の記述を行うことが可能になる。
図３に戻って、デジタル放送受信装置１Ｂの構成について説明を続ける。
【０１３８】
興味データ記憶手段８３Ｂは、視聴者が番組に興味を持った時点のシーンメタデータの文字列をキーワードとして記憶するものである。この興味データ記憶手段８３Ｂは、興味データ抽出手段６０Ｂによって、放送データ一時記憶手段８１Ｂに記憶されているシーンメタデータから抽出された文字列（キーワード）が書き込まれる。この興味データ記憶手段８３Ｂに記憶されたキーワードは、関連情報検索手段７０Ｂにおいて、関連情報を検索する際に参照される。
【０１３９】
このように構成することで、デジタル放送受信装置１Ｂは、デジタル放送視聴中の視聴者が、その番組中で興味を持ったシーンを判定し、そのシーンに関連する情報を適宜、あるいは、番組終了後に視聴者に提示することができる。
【０１４０】
［デジタル放送受信装置の動作］
次に、図２を参照（構成については適宜図３参照）して、本発明の第２実施形態に係るデジタル放送受信装置１Ｂの動作について説明する。なお、デジタル放送受信装置１Ｂの動作は、基本的にデジタル放送受信装置１（図１参照）と同じであり、相違点のみ説明する。デジタル放送受信装置１とデジタル放送受信装置１Ｂとは、ステップＳ５，Ｓ６のみが異なっている。
【０１４１】
すなわち、デジタル放送受信装置１Ｂは、視聴者状態分析手段３０で視聴者が興味を示したと分析した場合（ステップＳ４でＹｅｓ）、興味データ抽出手段６０Ｂによって、放送データ記憶手段８１Ｂに記憶されているシーンメタデータから、視聴者が興味を示した時点から遡って所定時間（例えば、５秒）のシーンメタデータ内の情報（登場人物、シーン記述など）を抽出する（ステップＳ５Ｂ）。
【０１４２】
そして、デジタル放送受信装置１Ｂは、関連情報検索手段７０Ｂの文字関連情報検索手段７３Ｂによって、興味データ記憶手段８３Ｂに記憶されているキーワードに関連する情報を、放送データ記憶手段８１Ｂに記憶されている放送データ（蓄積番組、番組表データ、データ放送用データ）から検索し、関連情報記憶手段８４に書き込み、記憶させる（ステップＳ６Ｂ）。
【０１４３】
これによって、視聴者が興味を持ったシーンに関連する蓄積番組に関する情報、当該シーンに関連して今後放送される番組の情報、当該シーンに関連して現在放送されているデータ放送の情報が、関連情報記憶手段８４に書き込まれる。
このステップＳ５Ｂ，Ｓ６Ｂ以外の動作については、デジタル放送受信装置１（図１参照）と同じであるため説明を省略する。
【０１４４】
以上の動作によって、デジタル放送受信装置１Ｂは、デジタル放送視聴中の視聴者が、その番組中で興味を持ったシーンを判定し、そのシーンに関連する情報を適宜、あるいは、番組終了後に視聴者に提示することができる。
【０１４５】
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではない。
例えば、ここでは、受信手段１０が、アンテナＡを介して放送波Ｗでデジタル放送を受信したが、ネットワークを介して通信によってデジタル放送を受信する形態であっても構わない。
【０１４６】
また、ここでは、視聴者状態分析手段３０が、視聴者の状態（動作、顔の表情、発話内容など）によって、視聴者が視聴中の番組に興味を示しているか否かを判定したが、リモコン装置の予め定めたボタンを押下することで、視聴者が視聴中の番組に興味を示していると判定することとしてもよい。これによって、リモコン装置の所定のボタンを押すだけの簡単な操作で、関連情報を提示することができる。
【０１４７】
また、ここでは、放送データ記憶手段８１に番組を蓄積することとしたが、必ずしも当該デジタル放送受信装置１，１Ｂ内に蓄積する必要はなく、外部のサーバに蓄積することとしてもよい。その場合、デジタル放送受信装置１，１Ｂの関連情報検索手段７０，７０Ｂは、ネットワーク経由でサーバ内の番組から関連情報を検索すればよい。また、外部のサーバに蓄積した番組を利用する場合、当該番組に付加されるメタデータ（シーンメタデータ）には、ＰＳＩ／ＳＩで取得可能なメタデータよりも多くの情報を付加することとしてもよい。これによって、蓄積された番組をより詳細に説明できるため、視聴者が興味を持ったシーンに関連する番組が見つかる可能性を高めることができる。
【０１４８】
なお、デジタル放送受信装置１，１Ｂは、一般的なＣＰＵ、ＲＡＭ、ＲＯＭなどで構成することができ、関連情報を提示するためには、コンピュータを、前記した各手段として機能させるプログラム（関連情報提示プログラム）で実現することができる。
【符号の説明】
【０１４９】
１，１Ｂ デジタル放送受信装置
１０ 受信手段
２０ 表示手段
２１ 番組表示手段
２２ データ表示手段
２３ 情報一覧表示手段
２４ 番組表表示手段
３０ 視聴者状態分析手段
４０，４０Ｂ 放送データ抽出手段
５０ 放送データ逐次更新手段
６０，６０Ｂ 興味データ抽出手段
７０，７０Ｂ 関連情報検索手段
８０，８０Ｂ 記憶手段
８１，８１Ｂ 放送データ記憶手段
８２ 放送データ一時記憶手段
８３，８３Ｂ 興味データ記憶手段
８４ 関連情報記憶手段
Ｃ カメラ（状態取得手段）
Ｍ マイク（状態取得手段）
【特許請求の範囲】
【請求項１】
デジタル放送を受信するデジタル放送受信装置において、
前記デジタル放送から、データ放送のデータであるデータ放送用データを分離抽出して記憶手段に書き込む放送データ抽出手段と、
前記デジタル放送で配信される視聴中の放送番組を予め定めた時間分だけ順次更新して前記記憶手段に書き込む放送データ逐次更新手段と、
状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、前記視聴者が前記視聴中の放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段と、
この視聴者状態分析手段で前記視聴者が前記シーンに興味を示したと判定した時点で、当該時点を含んだ所定期間内に、前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組のデータを抽出する興味データ抽出手段と、
この興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを前記視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段と、
この関連情報検索手段で抽出した関連情報を画面上に表示する表示手段と、
を備えることを特徴とするデジタル放送受信装置。
【請求項２】
前記関連情報検索手段は、
前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組の字幕または文字スーパと前記データ放送用データとで同一の名詞を検索し、当該名詞を含んで画面データを構成するデータ放送用データを前記関連情報として抽出する文字関連情報検索手段を備えることを特徴とする請求項１に記載のデジタル放送受信装置。
【請求項３】
前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組の音声を音声認識により文字列に変換する音声認識手段を備え、
前記文字関連情報検索手段は、前記音声認識手段によって変換された文字列から名詞を抽出することを特徴とする請求項２に記載のデジタル放送受信装置。
【請求項４】
前記関連情報検索手段は、
前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組の映像の各フレーム画像において、前記データ放送用データに含まれている画像データと同一または類似の画像を画像処理により検索し、当該同一または類似の画像を含んで画面データを構成するデータ放送用データを前記関連情報として抽出する画像関連情報検索手段をさらに備えることを特徴とする請求項１から請求項３のいずれか一項に記載のデジタル放送受信装置。
【請求項５】
デジタル放送を受信するデジタル放送受信装置において、
前記デジタル放送から、データ放送のデータであるデータ放送用データと放送番組のシーンに関連する情報であるシーンメタデータとを分離抽出して記憶手段に書き込む放送データ抽出手段と、
状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、前記視聴者が前記視聴中の放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段と、
この視聴者状態分析手段で前記視聴者が前記シーンに興味を示したと判定した時点で、前記シーンメタデータから、当該時点を含んだ所定期間内におけるシーンの文字情報を抽出する興味データ抽出手段と、
この興味データ抽出手段で抽出した文字情報と、前記放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを前記視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段と、
この関連情報検索手段で抽出した関連情報を画面上に表示する表示手段と、
を備えることを特徴とするデジタル放送受信装置。
【請求項６】
前記放送データ抽出手段は、前記デジタル放送から番組表データをさらに抽出して前記記憶手段に書き込み、
前記関連情報検索手段は、前記興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段で抽出した番組表データとで、共通する文字情報を検索し、当該文字情報を含んだ番組表データを前記視聴者が興味を持ったシーンに関連する関連情報としてさらに抽出することを特徴とする請求項１から請求項５のいずれか一項に記載のデジタル放送受信装置。
【請求項７】
前記放送データ抽出手段は、前記デジタル放送で配信される放送番組とともに、当該放送番組に付随しているメタデータを、前記記憶手段にさらに書き込み、
前記関連情報検索手段は、前記興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段で抽出したメタデータとで、共通する文字情報を検索し、当該文字情報を含んだメタデータを前記視聴者が興味を持ったシーンに関連する関連情報としてさらに抽出することを特徴とする請求項１から請求項６のいずれか一項に記載のデジタル放送受信装置。
【請求項８】
前記表示手段は、前記視聴中の放送番組終了後、前記関連情報を一覧表示することを特徴とする請求項１から請求項７のいずれか一項に記載のデジタル放送受信装置。
【請求項９】
デジタル放送を受信するデジタル放送受信装置において、視聴者が興味を持ったシーンに関連する情報を提示するために、コンピュータを、
前記デジタル放送から、データ放送のデータであるデータ放送用データを分離抽出して記憶手段に書き込む放送データ抽出手段、
前記デジタル放送で配信される視聴中の放送番組を予め定めた時間分だけ順次更新して前記記憶手段に書き込む放送データ逐次更新手段、
状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、前記視聴者が前記視聴中の放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段、
この視聴者状態分析手段で前記視聴者が前記シーンに興味を示したと判定した時点で、当該時点を含んだ所定期間内に、前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組のデータを抽出する興味データ抽出手段、
この興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んだデータ放送用データの画面データを前記視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段、
この関連情報検索手段で抽出した関連情報を画面上に表示する表示手段、
として機能させることを特徴とする関連情報提示プログラム。
【請求項１０】
デジタル放送を受信するデジタル放送受信装置において、視聴者が興味を持ったシーンに関連する情報を提示するために、コンピュータを、
前記デジタル放送から、データ放送のデータであるデータ放送用データと放送番組のシーンに関連する情報であるシーンメタデータとを分離抽出して記憶手段に書き込む放送データ抽出手段、
状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、前記視聴者が前記視聴中の放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段、
この視聴者状態分析手段で前記視聴者が前記シーンに興味を示したと判定した時点で、前記シーンメタデータから、当該時点を含んだ所定期間内におけるシーンの文字情報を抽出する興味データ抽出手段、
この興味データ抽出手段で抽出した文字情報と、前記放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んだデータ放送用データの画面データを前記視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段、
この関連情報検索手段で抽出した関連情報を画面上に表示する表示手段、
として機能させることを特徴とする関連情報提示プログラム。
【請求項１】
デジタル放送を受信するデジタル放送受信装置において、
前記デジタル放送から、データ放送のデータであるデータ放送用データを分離抽出して記憶手段に書き込む放送データ抽出手段と、
前記デジタル放送で配信される視聴中の放送番組を予め定めた時間分だけ順次更新して前記記憶手段に書き込む放送データ逐次更新手段と、
状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、前記視聴者が前記視聴中の放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段と、
この視聴者状態分析手段で前記視聴者が前記シーンに興味を示したと判定した時点で、当該時点を含んだ所定期間内に、前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組のデータを抽出する興味データ抽出手段と、
この興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを前記視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段と、
この関連情報検索手段で抽出した関連情報を画面上に表示する表示手段と、
を備えることを特徴とするデジタル放送受信装置。
【請求項２】
前記関連情報検索手段は、
前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組の字幕または文字スーパと前記データ放送用データとで同一の名詞を検索し、当該名詞を含んで画面データを構成するデータ放送用データを前記関連情報として抽出する文字関連情報検索手段を備えることを特徴とする請求項１に記載のデジタル放送受信装置。
【請求項３】
前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組の音声を音声認識により文字列に変換する音声認識手段を備え、
前記文字関連情報検索手段は、前記音声認識手段によって変換された文字列から名詞を抽出することを特徴とする請求項２に記載のデジタル放送受信装置。
【請求項４】
前記関連情報検索手段は、
前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組の映像の各フレーム画像において、前記データ放送用データに含まれている画像データと同一または類似の画像を画像処理により検索し、当該同一または類似の画像を含んで画面データを構成するデータ放送用データを前記関連情報として抽出する画像関連情報検索手段をさらに備えることを特徴とする請求項１から請求項３のいずれか一項に記載のデジタル放送受信装置。
【請求項５】
デジタル放送を受信するデジタル放送受信装置において、
前記デジタル放送から、データ放送のデータであるデータ放送用データと放送番組のシーンに関連する情報であるシーンメタデータとを分離抽出して記憶手段に書き込む放送データ抽出手段と、
状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、前記視聴者が前記視聴中の放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段と、
この視聴者状態分析手段で前記視聴者が前記シーンに興味を示したと判定した時点で、前記シーンメタデータから、当該時点を含んだ所定期間内におけるシーンの文字情報を抽出する興味データ抽出手段と、
この興味データ抽出手段で抽出した文字情報と、前記放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んで画面データを構成するデータ放送用データを前記視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段と、
この関連情報検索手段で抽出した関連情報を画面上に表示する表示手段と、
を備えることを特徴とするデジタル放送受信装置。
【請求項６】
前記放送データ抽出手段は、前記デジタル放送から番組表データをさらに抽出して前記記憶手段に書き込み、
前記関連情報検索手段は、前記興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段で抽出した番組表データとで、共通する文字情報を検索し、当該文字情報を含んだ番組表データを前記視聴者が興味を持ったシーンに関連する関連情報としてさらに抽出することを特徴とする請求項１から請求項５のいずれか一項に記載のデジタル放送受信装置。
【請求項７】
前記放送データ抽出手段は、前記デジタル放送で配信される放送番組とともに、当該放送番組に付随しているメタデータを、前記記憶手段にさらに書き込み、
前記関連情報検索手段は、前記興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段で抽出したメタデータとで、共通する文字情報を検索し、当該文字情報を含んだメタデータを前記視聴者が興味を持ったシーンに関連する関連情報としてさらに抽出することを特徴とする請求項１から請求項６のいずれか一項に記載のデジタル放送受信装置。
【請求項８】
前記表示手段は、前記視聴中の放送番組終了後、前記関連情報を一覧表示することを特徴とする請求項１から請求項７のいずれか一項に記載のデジタル放送受信装置。
【請求項９】
デジタル放送を受信するデジタル放送受信装置において、視聴者が興味を持ったシーンに関連する情報を提示するために、コンピュータを、
前記デジタル放送から、データ放送のデータであるデータ放送用データを分離抽出して記憶手段に書き込む放送データ抽出手段、
前記デジタル放送で配信される視聴中の放送番組を予め定めた時間分だけ順次更新して前記記憶手段に書き込む放送データ逐次更新手段、
状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、前記視聴者が前記視聴中の放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段、
この視聴者状態分析手段で前記視聴者が前記シーンに興味を示したと判定した時点で、当該時点を含んだ所定期間内に、前記放送データ逐次更新手段で前記記憶手段に書き込んだ放送番組のデータを抽出する興味データ抽出手段、
この興味データ抽出手段で抽出した放送番組のデータに含まれている文字情報と、前記放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んだデータ放送用データの画面データを前記視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段、
この関連情報検索手段で抽出した関連情報を画面上に表示する表示手段、
として機能させることを特徴とする関連情報提示プログラム。
【請求項１０】
デジタル放送を受信するデジタル放送受信装置において、視聴者が興味を持ったシーンに関連する情報を提示するために、コンピュータを、
前記デジタル放送から、データ放送のデータであるデータ放送用データと放送番組のシーンに関連する情報であるシーンメタデータとを分離抽出して記憶手段に書き込む放送データ抽出手段、
状態取得手段を介して取得される視聴者の動作、顔表情または音声の少なくとも１つを予め定めたサンプルデータと比較することで、前記視聴者が前記視聴中の放送番組のシーンに興味を示しているか否かを判定する視聴者状態分析手段、
この視聴者状態分析手段で前記視聴者が前記シーンに興味を示したと判定した時点で、前記シーンメタデータから、当該時点を含んだ所定期間内におけるシーンの文字情報を抽出する興味データ抽出手段、
この興味データ抽出手段で抽出した文字情報と、前記放送データ抽出手段によってデジタル放送から分離抽出したデータ放送用データとで、共通する文字情報を検索し、当該文字情報を含んだデータ放送用データの画面データを前記視聴者が興味を持ったシーンに関連する関連情報として抽出する関連情報検索手段、
この関連情報検索手段で抽出した関連情報を画面上に表示する表示手段、
として機能させることを特徴とする関連情報提示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２３９２４７（Ｐ２０１１−２３９２４７Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０９７７４（Ｐ２０１０−１０９７７４）
【出願日】平成２２年５月１２日（２０１０．５．１２）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１２日（２０１０．５．１２）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]