キーワード抽出装置、キーワード抽出方法及びプログラム
【課題】ユーザの嗜好や興味に合致するキーワードを精度高く抽出することができるキーワード抽出装置、キーワード抽出方法及びプログラムを提供する。
【解決手段】映像データを入力するとともに、入力した映像データを視聴中の視聴者の反応を検出し、検出のタイミングで映像データにマーキングを行い、マーキングを行った部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行ってキーワードを抽出し、抽出したキーワードを示すキーワードデータを出力する。
【解決手段】映像データを入力するとともに、入力した映像データを視聴中の視聴者の反応を検出し、検出のタイミングで映像データにマーキングを行い、マーキングを行った部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行ってキーワードを抽出し、抽出したキーワードを示すキーワードデータを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データからキーワードを抽出するキーワード抽出装置、キーワード抽出方法及びプログラムに関する。
【背景技術】
【０００２】
本発明に関連する技術例として、映像データに含まれる字幕データの中からキーワードを抽出し、そのキーワードに基づいて、ユーザの嗜好や興味に合致するシーンを推定するものがある（例えば、特許文献１参照）。なお、映像データの例としては、コンテンツデータ（テレビ番組等のコンテンツを構成するデータ）等が挙げられる。
【特許文献１】特開２００６−１２９１２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１の発明では、ユーザが過去に視聴したコンテンツデータの字幕データの中から、出現頻度が多い語彙をキーワードとして抽出している。しかしながら、ユーザが過去に視聴したコンテンツや出現頻度が多い語彙が、必ずしもユーザの嗜好や興味に合致するものであるとは限らない。よって、特許文献１の発明で抽出されるキーワードは、ユーザの嗜好や興味に合致するものではない可能性がある。
【０００４】
本発明は、上記事情に鑑みてなされたものであり、ユーザの嗜好や興味に合致するキーワードを精度高く抽出することができるキーワード抽出装置、キーワード抽出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
かかる目的を達成するために、本発明のキーワード抽出装置は、第１の態様として、入力された映像データを視聴中の視聴者の反応を検出し、検出のタイミングで映像データにマーキングを行い、マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とする。
【０００６】
本発明のキーワード抽出装置は、第２の態様として、映像データを入力する入力手段と、入力手段により入力された映像データを視聴中の視聴者の反応を検出する反応検出手段と、反応検出手段による検出が行われたタイミングで、映像データ中にマーキングを行うマーキング手段と、マーキング手段によりマーキングされた部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行い、キーワードを抽出する抽出手段と、抽出手段により抽出されたキーワードを示すキーワードデータを出力する出力手段と、を有することを特徴とする。
【０００７】
本発明のキーワード抽出方法は、第１の態様として、入力された映像データを視聴中の視聴者の反応を検出し、検出のタイミングで映像データにマーキングを行い、マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とする。
【０００８】
本発明のキーワード抽出方法は、第２の態様として、映像データを入力する入力ステップと、入力ステップにより入力された映像データを視聴中の視聴者の反応を検出する反応検出ステップと、反応検出ステップによる検出が行われたタイミングで、映像データ中にマーキングを行うマーキングステップと、マーキングステップによりマーキングされた部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行い、キーワードを抽出する抽出ステップと、抽出ステップにより抽出されたキーワードを示すキーワードデータを出力する出力ステップと、を有することを特徴とする。
【０００９】
本発明のプログラムは、本発明のキーワード抽出方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザの嗜好や興味に合致するキーワードを精度高く抽出することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。
本発明の一実施形態であるキーワード抽出装置、キーワード抽出方法及びプログラムは、入力された映像データを視聴中の視聴者の反応を検出し、検出したタイミングで映像データにマーキングを行い、マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とする。なお、本実施形態では、映像データの一例としてコンテンツデータについて説明するが、コンテンツデータに限定されるものではない。
【００１２】
図１は、本実施形態のキーワード抽出装置のハードウェア構成を示す図である。図１に示すように、本実施形態のキーワード抽出装置は、コントローラ１１０、ユーザインターフェース１２０、通信インターフェース１３０、ＨＤＤ（Hard Disk Drive）１４０、バスライン１５０を有する。
【００１３】
コントローラ１１０は、キーワード抽出装置の全体の処理を制御する。コントローラ１１０はその内部構成として、ＣＰＵ（Central Processing Unit）１１１、ＣＰＵ１１１を制御するプログラム等の固定的なデータ（情報）を予め格納したＲＯＭ（Read Only Memory）１１２、各種データを一時的に記憶するエリアを形成するＲＡＭ（Random Access Memory）１１３を有する。
【００１４】
ユーザインターフェース１２０は、コントローラ１１０から送られた情報（データ）の表示を行うとともに、ユーザにより入力された情報をコントローラ１１０に伝える。つまり、ユーザに対する情報の出力や提供を行ったり、ユーザからの指示や情報の入力を行ったりする。なお、ユーザインターフェース１２０としては、例えば、ディスプレイ（ＬＣＴやＣＲＴ等）、ポインティングデバイス（マウス、タッチペン等）や、キーボードによって構成可能である。また、他の構成として、タッチパネル、カメラ、音声インターフェース（マイク・スピーカ）等を利用したり、あるいは、リモコンによる近距離通信（ユーザからの指示受信）を利用したりすることもできる。
【００１５】
通信インターフェース１３０は、コントローラ１１０によって制御され、キーワード抽出装置外部との通信を行う。なお、通信インターフェース１３０は、イーサネット（登録商標）インターフェース、ＩＥＥＥ１２８４インターフェース、または、その他のインターフェース（アンテナも含む）で構成可能である。
【００１６】
ＨＤＤ１４０は、各種データの書き込み及び読み出しを行う。
【００１７】
バスライン１５０は、コントローラ１１０、ユーザインターフェース１２０、通信インターフェース１３０、ＨＤＤ１４０を互いに電気的に接続している。なお、バスライン１５０には、アドレスバスやデータバス等を利用することができる。
【００１８】
次に、本実施形態のキーワード抽出装置が有する機能を、図２を用いて説明する。図２は、本実施形態のキーワード抽出装置の機能ブロック図である。図２に示すように、本実施形態のキーワード抽出装置は、入力手段２１０、反応検出手段２２０、マーキング手段２３０、抽出手段２４０、出力手段２５０、記憶手段２６０、コンテンツ記録制御手段２７０、検索手段２８０を備える。
【００１９】
入力手段２１０は、コンテンツデータを入力する。コンテンツデータは、音声データと画像データ（テロップデータや字幕データを含む）とから構成され、コンテンツ（例えば、テレビ番組）の元となるデータである。入力手段２１０に入力されるコンテンツデータは、リアルタイム放送のデータでも、記録済みのデータ（他装置などで録画された録画データ）のどちらでもよい。このようにコンテンツデータ入力手段として機能する場合、入力手段２１０は、図１に示す通信インターフェース１３０により実現される。
【００２０】
入力手段２１０は、上述したようにコンテンツデータ入力手段として機能するほかに、キーワード抽出装置を操作するユーザからの指示を受け付けるユーザ指示入力手段として機能する。ユーザからの指示の例としては、コンテンツデータの入力指示やキーワードデータの出力指示のほか、入力または出力の条件の設定指示などを挙げることができる。また、ユーザ指示入力手段としては、ユーザに選択肢を提示し、指示入力を促す構成を採用してもよい。このようにユーザ指示入力手段として機能する場合、入力手段２１０は、図１に示すユーザインターフェース１２０により実現される。
【００２１】
反応検出手段２２０は、入力手段２１０により入力されたコンテンツデータを視聴中の視聴者の反応を検出する。視聴者の反応とは、視聴中のコンテンツデータに対する反応であり、例えば、視聴者が発する声や物音（例えば、笑い声や手を打ち鳴らす音）のほか、心理状態や身体状態の変化（例えば、顔の表情や脈拍の変化）などが挙げられる。反応検出手段２２０は、図１に示すユーザインターフェース１２０により実現される。例えば、声や物音を検出する場合はマイクにより実現し、顔の表情の変化を検出する場合はカメラにより実現する。
【００２２】
マーキング手段２３０は、反応検出手段２２０による反応検出が行われたタイミングで、コンテンツデータ中にマーキングを行う。また、マーキング手段２３０は、反応検出の度にマーキングを行う。マーキングの例としては、反応検出時に入力されたコンテンツデータに対してフラグを付加することや、コンテンツデータ入力開始のときから時間を計測しておき、反応検出時の時間を記録したりすることが挙げられる。あるいは、特開２００７−３０６２７９号公報に開示されているコンテンツマーキング方法を採用してもよい。マーキング手段２３０は、図１に示すコントローラ１１０により実現される。
【００２３】
抽出手段２４０は、マーキング手段２３０によりマーキングされた部分近傍のコンテンツデータに対して文字認識及び音声認識の少なくとも一つを行い、認識した語彙（語句）をキーワードとして抽出する。キーワードの例としては、番組名、出演者名、制作者名などが挙げられる。また、上記特許文献１のように、頻度の多い語彙をキーワードとしてもよい。なお、文字認識及び音声認識については公知の技術を適用できるので、ここでの説明は省略する。また、キーワード抽出についても公知の方法を適用できる。例えば、上記特許文献１に開示されている抽出方法を適用してもよい。抽出手段２４０は、図１に示すコントローラ１１０により実現される。
【００２４】
出力手段２５０は、抽出手段２４０により抽出されたキーワードを示すキーワードデータを出力する。出力されたキーワードデータは、画面表示されてユーザに通知されたり、電子番組表から関連番組を検索するために用いられたりする。出力手段２５０は、図１に示す通信インターフェース１３０により実現される。
【００２５】
記憶手段２６０は、各種情報を記憶する。各種情報の例としては、入力手段２１０により入力されたコンテンツデータの全部または一部、マーキング手段２３０によりマーキングが行われたコンテンツデータの全部または一部、抽出手段２４０により抽出されたキーワードを示すキーワードデータなどが挙げられる。なお、記憶手段２６０は、コントローラ１１０内のＲＡＭ１１３や、ＨＤＤ１８０により実現される。
【００２６】
コンテンツ記録制御手段２７０は、入力手段２１０により入力されたコンテンツデータの記録（録画）の開始及び終了を制御する。コンテンツ記録制御手段２７０の制御により記録が行われたコンテンツデータは、記憶手段２６０に格納される。また、コンテンツ記録制御手段２７０は、後述するコンテンツ識別データが示すコンテンツに該当するコンテンツデータが入力手段２１０により入力された場合に、自動的にそのコンテンツデータを記録する。なお、タイムシフトのときの記録制御については後述する。コンテンツ記録制御手段２７０は、図１に示すコントローラ１１０により実現される。
【００２７】
検索手段２８０は、入力手段２１０により入力された電子番組表の中から、抽出手段２４０により抽出されたキーワードを示すキーワードデータに関連するコンテンツを検索する。なお、電子番組表とは、放送チャンネルと時間帯毎に、放送予定のコンテンツ（番組）が一覧となっているデータである。この電子番組表には、一覧となっているコンテンツ毎に、例えば、コンテンツ名（番組名）、ジャンル、放送チャンネル、放送時間、出演者名、制作者名、放送内容の概要などの「コンテンツに係るデータ」が含まれている。まず、検索手段２８０は、電子番組表において、キーワードデータと一致する「コンテンツに係るデータ」を含むコンテンツを検索（特定）する。そして、検索手段２８０は、検索したコンテンツを識別可能なコンテンツ識別データを出力する。このコンテンツ識別データは、検索されたコンテンツの「コンテンツに係るデータ」の一部又は全部でもよいが、コンテンツ名（番組名）などのコンテンツ自体を識別できるデータが好ましい。このコンテンツ識別データは、出力手段２５０により出力されたり、または、記憶手段２６０に記憶されたりする。検索手段２８０は、図１に示すコントローラ１１０により実現される。
【００２８】
次に、以上のように構成された本実施形態のキーワード抽出装置の使用例について説明する。図３は、本実施形態のキーワード抽出装置を単体の装置として使用する場合の例を示す図であり、図４は、本実施形態のキーワード抽出装置を他装置に組み込んで使用する場合の例を示す図である。以下、これら各図について順次説明する。
【００２９】
図３（ａ）は、キーワード抽出装置と、レコーダ（録画装置）と、テレビ（表示装置）とがそれぞれ接続された場合の構成である。例えば、レコーダは、コンテンツデータ（リアルタイム放送データまたは録画データ）が入力されると、そのコンテンツデータを記録しながら、キーワード抽出装置とテレビに対して同時に出力する。テレビは、コンテンツデータを入力し、コンテンツを画面表示する。キーワード抽出装置は、コンテンツデータを入力し、テレビを視聴している視聴者からの反応を検出した場合に、上述したマーキング、キーワード抽出、キーワードデータ出力を行う。図３（ａ）では、例として、キーワードデータがテレビに出力されて画面表示される場合を示している。テレビにおけるキーワードデータの画面表示は、ユーザの指示によって行われ、コンテンツの視聴中または視聴後のどちらでもよい。なお、キーワードデータの出力先は、図示したテレビ以外に、レコーダでも、図示していないその他の装置でもよい。
【００３０】
図３（ｂ）は、キーワード抽出装置と、テレビとが接続された場合の構成である。例えば、テレビは、コンテンツデータをリアルタイムに受信すると、コンテンツを画面表示するとともに、キーワード抽出装置へそのコンテンツデータを出力する。キーワード抽出装置は、コンテンツデータを入力し、テレビを視聴している視聴者からの反応を検出した場合に、上述したマーキング、キーワード抽出、キーワードデータ出力を行う。図３（ｂ）では、例として、キーワードデータがテレビに出力されて画面表示される場合を示している。テレビにおけるキーワードデータの画面表示は、ユーザの指示によって行われ、コンテンツの視聴中または視聴後のどちらでもよい。なお、キーワードデータの出力先は、図示したテレビ以外に、図示していないその他の装置でもよい。
【００３１】
図４（ａ）は、レコーダと、テレビとが接続され、レコーダにキーワード抽出装置（の各手段・各機能）が内蔵された場合の構成である。例えば、レコーダは、コンテンツデータ（リアルタイム放送データまたは録画データ）が入力されると、そのコンテンツデータを記録しながら、テレビに対して出力する。テレビは、コンテンツデータを入力し、コンテンツを画面表示する。レコーダは、テレビを視聴している視聴者からの反応を検出した場合に、上述したマーキング、キーワード抽出、キーワードデータ出力を行う。図４（ａ）では、例として、キーワードデータがテレビに出力されて画面表示される場合を示している。テレビにおけるキーワードデータの画面表示は、ユーザの指示によって行われ、コンテンツの視聴中または視聴後のどちらでもよい。なお、キーワードデータの出力先は、図示したテレビ以外に、図示していないその他の装置でもよい。
【００３２】
図４（ｂ）は、テレビにキーワード抽出装置（の各手段・各機能）が内蔵された場合の構成である。例えば、テレビは、コンテンツデータをリアルタイムに受信すると、コンテンツを画面表示する。そして、テレビは、テレビを視聴している視聴者からの反応を検出した場合に、上述したマーキング、キーワード抽出、キーワードデータ出力を行う。図４（ｂ）では、例として、キーワードデータがテレビに出力されて画面表示される。テレビにおけるキーワードデータの画面表示は、ユーザの指示によって行われ、コンテンツの視聴中または視聴後のどちらでもよい。なお、キーワードデータの出力先は、図示したテレビ以外に、図示していないその他の装置でもよい。また、図４（ｂ）に示すテレビは、ＰＣ（Personal Computer）であってもよい。
【００３３】
なお、図３に示すキーワード抽出装置、並びに、図４に示すキーワード抽出装置を内蔵したレコーダ及びテレビ・ＰＣでは、これら各装置本体に反応検出手段（例えば、マイク）を備え、視聴者の反応（例えば、笑い声）を検出する例を示している。ここで、各装置が、例えば近距離通信を可能とするリモコンを備える場合は、リモコンにマイクを備えるようにし、かつ、各装置本体にリモコンからの信号を受信する手段を備えるようにしてもよい。リモコンは、内蔵のマイクで視聴者の笑い声を検出すると、検出を示す信号を装置本体に送信する。装置本体は、リモコンからの検出を示す信号を受信することで、視聴者の反応を検出することができる。視聴者はリモコンを自分の近くに置いておくことが一般的であるので、リモコンと視聴者の距離は近くなる。よって、リモコン内蔵のマイクは、視聴者の笑い声を収集しやすくなる。このように短距離通信を利用すれば、より精度の高い反応検出が可能となる。
【００３４】
次に、本実施形態のキーワード抽出装置における処理動作（本発明の一実施形態であるキーワード抽出方法）の流れについて説明する。図５は、本実施形態のキーワード抽出装置における処理動作の流れを示すフローチャートである。図６（ａ）は、本実施形態のキーワード抽出装置に入力されるコンテンツデータを模式的に示す図である。
【００３５】
入力手段２１０が視聴者により視聴されるコンテンツデータの入力を開始すると（ステップＳ１／ＮＯ）、反応検出手段２２０は反応検出を開始する（ステップＳ２／ＮＯ）。この反応検出は、コンテンツデータの入力が終了するまで行われる。なお、ここでは例として、検出する視聴者の反応を笑い声とする。
【００３６】
ここで、例えば、コンテンツデータの入力開始から１０分経過後に、反応検出手段２２０が視聴者の笑い声を検出したとする（ステップＳ２／ＹＥＳ）。マーキング手段２３０は、反応検出手段２２０による検出のタイミングで、コンテンツデータ中にマーキングを行う（ステップＳ３）。このときのマーキングを模式的に示したのが、図６（ａ）に示す反応検出ポイントａである。図６（ａ）において、反応検出ポイントａは、入力開始ポイントから１０分経過後である。
【００３７】
抽出手段２４０は、図６（ａ）に示す反応検出ポイントａの前後の所定範囲（抽出範囲）に対して、文字認識及び音声認識を行い、キーワード抽出を行う（ステップＳ４）。抽出範囲は、例として、反応検出ポイントａの１分前から反応検出ポイントａの１分後までの間のコンテンツデータとする。なお、この抽出範囲は、予め設定されているものであり、変更も可能とする。抽出手段２４０は、抽出範囲のコンテンツデータ（音声データ及び画像データ）に含まれる語彙（語句）を、キーワードとして抽出する。
【００３８】
出力手段２５０は、抽出手段２４０により抽出されたキーワードを示すキーワードデータを外部へ出力する（ステップＳ５）。または、記憶手段２６０が、キーワードデータを格納してもよい。あるいは、記憶手段２６０によるキーワードデータ格納と、出力手段２５０によるキーワードデータ出力とを両方行うようにしてもよい。なお、記憶手段２６０に格納されたキーワードデータは、ユーザの指示を受け付けた場合に読み出されて、出力手段２５０により出力される。出力されたキーワードデータは、画面表示によりユーザに通知されたり、関連する番組の検索に用いられたりする。
【００３９】
なお、反応検出ポイントａを基準とした抽出範囲に対して一連の処理（キーワード抽出、キーワードデータ出力）が行われている間も、続いて入力されるコンテンツデータに対して、反応検出が行われている。
【００４０】
ここで、例えば、コンテンツデータの入力開始から３０分経過後に、反応検出手段２２０が視聴者の笑い声を検出したとすると（ステップＳ２／ＹＥＳ）、マーキング手段２３０は、反応検出手段２２０による検出のタイミングで、コンテンツデータ中にマーキングを行う（ステップＳ３）。このときのマーキングを模式的に示したのが、図６（ａ）に示す反応検出ポイントｂである。図６（ａ）において、反応検出ポイントｂは、入力開始ポイントから３０分経過後である。ステップＳ４以降の処理は、上記同様であるので説明を省略する。
【００４１】
コンテンツデータの入力が終了すると（ステップＳ１／ＹＥＳ）、図５（ａ）に示す一連の処理を終了する。
【００４２】
上述した図５（ａ）に示す処理動作において、マーキングしたコンテンツデータを記憶手段２６０に格納するようにしてもよい。この場合の処理動作を図５（ｂ）に示す。図５（ｂ）に示す処理動作は、図５（ａ）に示す処理動作と基本的に同じであるが、ステップＳ３のマーキングの後にステップＳ３’がある点が異なる。なお、図５（ｂ）において、ステップＳ３’以外の各ステップは、図５（ａ）と同様であるので、ここでの説明は省略する。図５（ｂ）において、マーキング手段２３０が、反応検出手段２２０による検出のタイミングでコンテンツデータ中にマーキングを行った後（ステップＳ３）、記憶手段２６０は、マーキングが行われたコンテンツデータを格納する（ステップＳ３’）。格納後、例えば、所定時間が経過したとき（コンテンツデータの入力が終了したとき）、あるいは、ユーザからの指示を受けたときに、抽出手段２４０は、記憶手段２６０に格納された、マーキング済みのコンテンツデータを読み出し、そのコンテンツデータ内の抽出範囲に対してキーワード抽出を行う（ステップＳ４）。そして、出力手段２５０によるキーワードデータ出力、及び、記憶手段２６０によるキーワードデータ格納の少なくとも一方が行われる（ステップＳ５）。
【００４３】
以上のように、図５（ｂ）に示す処理動作では、マーキング済みのコンテンツデータを記憶手段２６０に格納することにより、キーワード抽出及びキーワードデータ出力を任意のときに行うことができる。
【００４４】
以上説明したように、本発明の実施形態によれば、入力されたコンテンツデータを視聴中の視聴者の反応を検出し、検出したタイミングでコンテンツデータにマーキングを行い、マーキングを行った部分近傍のコンテンツデータからキーワードを抽出して出力することを特徴とする。よって、視聴者が反応した部分のコンテンツデータからキーワードを抽出するので、抽出されたキーワードは、ユーザの嗜好や興味に合致する可能性が高くなる。
【００４５】
最後に、上記実施形態においてタイムシフトを採用した場合について、図６（ｂ）及び（ｃ）を参照しながら以下に説明する。図６（ｂ）及び（ｃ）は、本実施形態のキーワード抽出装置に入力されるコンテンツデータを模式的に示す図である。
【００４６】
まず、図６（ｂ）に示す第１例について説明する。入力手段２１０に入力されるコンテンツデータは、例として、リアルタイム放送のデータとする。そして、視聴者は、入力手段２１０に入力されるコンテンツデータの視聴を開始したときに、録画の指示を出していないとする。入力手段２１０がコンテンツデータの入力を開始すると、反応検出手段２２０は反応検出（例えば、笑い声）を開始する。例えば、コンテンツデータの入力開始から１５分経過後に、反応検出手段２２０が最初の反応検出として視聴者の笑い声を検出したとすると、マーキング手段２３０は、反応検出手段２２０による検出のタイミングで、コンテンツデータ中に最初のマーキングを行う。このときのマーキングを模式的に示したのが、図６（ｂ）に示す反応検出ポイントｃである。図６（ｂ）において、反応検出ポイントｃは、入力開始ポイントから１５分経過後である。ここまでは、図５で説明した処理の流れと同様である。
【００４７】
マーキング手段２３０による最初のマーキングが行われると、コンテンツ記録制御手段２７０は、図６（ｂ）に示すように、例えば反応検出ポイントｃから所定時間分遡った時点（抽出範囲の始点）からコンテンツデータの録画を開始する。そして、コンテンツ記録制御手段２７０は、コンテンツデータの入力が終了と同時に録画を終了する。なお、録画されたコンテンツデータは、記憶手段２６０に格納される。コンテンツ記録制御手段２７０の録画開始ポイントは、予め設定されるものとし、反応検出ポイントの近傍であればよい。また、コンテンツ記録制御手段２７０の録画終了ポイントも、予め設定されるものとし、コンテンツデータの入力終了時点か、それより前であればよい。
【００４８】
以上のように、第１例では、入力されるコンテンツデータの録画がキーワード抽出装置で行われていない場合でも、最初の反応検出が行われたときに、反応検出タイミング近傍の時点から、所定の時点まで録画するようにする。よって、視聴者により録画指示がされなかった場合でも、視聴者の反応をトリガとしてコンテンツデータを録画することができる。
【００４９】
次に、図６（ｃ）に示す第２例について説明する。入力手段２１０によるコンテンツデータ入力が開始され、反応検出手段２２０による最初の反応検出が行われ、マーキング手段２３０による最初のマーキングが行われる。ここで、コンテンツ記録制御手段２７０は、図６（ｃ）に示すように、例えば反応検出ポイントｃから所定時間分遡った時点（抽出範囲の始点）からコンテンツデータの録画を開始する。ここまでは、上記第１例の流れと同様である。
【００５０】
ここで、録画開始ポイントは、反応検出ポイントｃから所定時間分遡った時点（抽出範囲の始点）であるので、上記第１例と同様であるが、第２例では、録画終了ポイントを、反応検出ポイントｃから所定時間分経過した時点（抽出範囲の終点）とする。よって、コンテンツ記録制御手段２７０は、抽出範囲に相当するコンテンツデータを記録する。なお、録画されたコンテンツデータは、記憶手段２６０に格納される。
【００５１】
コンテンツ記録制御手段２７０は、最初の反応検出ポイントｃを基準とした抽出範囲のコンテンツデータを記録した後で、１５分経過後に、反応検出手段２２０による再度の反応検出が行われたとする。マーキング手段２３０は、反応検出のタイミングでコンテンツデータ中に再度のマーキングを行うが、このときのマーキングを模式的に示したのが、図６（ｃ）に示す反応検出ポイントｄである。図６（ｃ）において、反応検出ポイントｄは、入力開始ポイントから３０分経過後である。
【００５２】
コンテンツ記録制御手段２７０は、最初の反応検出のときと同様に、反応検出ポイントｄから所定時間分遡った時点（抽出範囲の始点）から、反応検出ポイントｃから所定時間分経過した時点（抽出範囲の終点）までコンテンツデータを録画し、記憶手段２６０に格納する。
【００５３】
以上のように、第２例では、反応検出が行われる度に、反応検出が行われたタイミング近傍の所定範囲のコンテンツデータを録画する。よって、視聴者の反応があった部分のコンテンツデータのみを記録することができる。
【００５４】
上述した第１例及び第２例におけるコンテンツ記録制御手段２７０の録画は、タイムシフト中であるので、視聴者の指示によらずに自動的に実行される。よって、記憶手段２６０に格納されたコンテンツデータは、抽出手段２４０によるキーワード抽出が行われた後、自動的に削除されるようにしてもよい。また、記憶手段２６０に格納されたコンテンツデータは、視聴者に提示される場合、視聴者の指示により正規に録画されたコンテンツデータと区別して提示（例えば、画面表示）されるようにしてもよい。このとき、記憶手段２６０に格納されたコンテンツデータの一覧を画面表示し、視聴者に削除するデータを選択させるようにしてもよい。
【００５５】
以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。
【００５６】
例えば、上述した各実施形態における動作（フローチャートに示す動作）は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【００５７】
ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。
【００５８】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。
【００５９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【００６０】
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【産業上の利用可能性】
【００６１】
本発明は、入力したコンテンツデータを解析してキーワードを抽出する装置・機器、システム、方法、プログラム等に適用できる。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施形態であるキーワード抽出装置のハードウェア構成を示す図である。
【図２】本発明の一実施形態であるキーワード抽出装置の機能ブロック図である。
【図３】本発明の一実施形態であるキーワード抽出装置を単体の装置として使用する場合の各構成例を示す図である。
【図４】本発明の一実施形態であるキーワード抽出装置を他装置に組み込んで使用する場合の各構成例を示す図である。
【図５】本発明の一実施形態であるキーワード抽出装置の処理動作の各例を示すフローチャートである。
【図６】本発明の一実施形態であるキーワード抽出装置に入力されるコンテンツデータの各例を模式的に示す図である。
【符号の説明】
【００６３】
１１０ コントローラ
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１２０ ユーザインターフェース
１３０ 通信インターフェース
１４０ ＨＤＤ
１５０ バスライン
２１０ 入力手段
２２０ 反応検出手段
２３０ マーキング手段
２４０ 抽出手段
２５０ 出力手段
２６０ 記憶手段
２７０ コンテンツ記録制御手段
２８０ 検索手段
【技術分野】
【０００１】
本発明は、映像データからキーワードを抽出するキーワード抽出装置、キーワード抽出方法及びプログラムに関する。
【背景技術】
【０００２】
本発明に関連する技術例として、映像データに含まれる字幕データの中からキーワードを抽出し、そのキーワードに基づいて、ユーザの嗜好や興味に合致するシーンを推定するものがある（例えば、特許文献１参照）。なお、映像データの例としては、コンテンツデータ（テレビ番組等のコンテンツを構成するデータ）等が挙げられる。
【特許文献１】特開２００６−１２９１２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１の発明では、ユーザが過去に視聴したコンテンツデータの字幕データの中から、出現頻度が多い語彙をキーワードとして抽出している。しかしながら、ユーザが過去に視聴したコンテンツや出現頻度が多い語彙が、必ずしもユーザの嗜好や興味に合致するものであるとは限らない。よって、特許文献１の発明で抽出されるキーワードは、ユーザの嗜好や興味に合致するものではない可能性がある。
【０００４】
本発明は、上記事情に鑑みてなされたものであり、ユーザの嗜好や興味に合致するキーワードを精度高く抽出することができるキーワード抽出装置、キーワード抽出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
かかる目的を達成するために、本発明のキーワード抽出装置は、第１の態様として、入力された映像データを視聴中の視聴者の反応を検出し、検出のタイミングで映像データにマーキングを行い、マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とする。
【０００６】
本発明のキーワード抽出装置は、第２の態様として、映像データを入力する入力手段と、入力手段により入力された映像データを視聴中の視聴者の反応を検出する反応検出手段と、反応検出手段による検出が行われたタイミングで、映像データ中にマーキングを行うマーキング手段と、マーキング手段によりマーキングされた部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行い、キーワードを抽出する抽出手段と、抽出手段により抽出されたキーワードを示すキーワードデータを出力する出力手段と、を有することを特徴とする。
【０００７】
本発明のキーワード抽出方法は、第１の態様として、入力された映像データを視聴中の視聴者の反応を検出し、検出のタイミングで映像データにマーキングを行い、マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とする。
【０００８】
本発明のキーワード抽出方法は、第２の態様として、映像データを入力する入力ステップと、入力ステップにより入力された映像データを視聴中の視聴者の反応を検出する反応検出ステップと、反応検出ステップによる検出が行われたタイミングで、映像データ中にマーキングを行うマーキングステップと、マーキングステップによりマーキングされた部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行い、キーワードを抽出する抽出ステップと、抽出ステップにより抽出されたキーワードを示すキーワードデータを出力する出力ステップと、を有することを特徴とする。
【０００９】
本発明のプログラムは、本発明のキーワード抽出方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザの嗜好や興味に合致するキーワードを精度高く抽出することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。
本発明の一実施形態であるキーワード抽出装置、キーワード抽出方法及びプログラムは、入力された映像データを視聴中の視聴者の反応を検出し、検出したタイミングで映像データにマーキングを行い、マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とする。なお、本実施形態では、映像データの一例としてコンテンツデータについて説明するが、コンテンツデータに限定されるものではない。
【００１２】
図１は、本実施形態のキーワード抽出装置のハードウェア構成を示す図である。図１に示すように、本実施形態のキーワード抽出装置は、コントローラ１１０、ユーザインターフェース１２０、通信インターフェース１３０、ＨＤＤ（Hard Disk Drive）１４０、バスライン１５０を有する。
【００１３】
コントローラ１１０は、キーワード抽出装置の全体の処理を制御する。コントローラ１１０はその内部構成として、ＣＰＵ（Central Processing Unit）１１１、ＣＰＵ１１１を制御するプログラム等の固定的なデータ（情報）を予め格納したＲＯＭ（Read Only Memory）１１２、各種データを一時的に記憶するエリアを形成するＲＡＭ（Random Access Memory）１１３を有する。
【００１４】
ユーザインターフェース１２０は、コントローラ１１０から送られた情報（データ）の表示を行うとともに、ユーザにより入力された情報をコントローラ１１０に伝える。つまり、ユーザに対する情報の出力や提供を行ったり、ユーザからの指示や情報の入力を行ったりする。なお、ユーザインターフェース１２０としては、例えば、ディスプレイ（ＬＣＴやＣＲＴ等）、ポインティングデバイス（マウス、タッチペン等）や、キーボードによって構成可能である。また、他の構成として、タッチパネル、カメラ、音声インターフェース（マイク・スピーカ）等を利用したり、あるいは、リモコンによる近距離通信（ユーザからの指示受信）を利用したりすることもできる。
【００１５】
通信インターフェース１３０は、コントローラ１１０によって制御され、キーワード抽出装置外部との通信を行う。なお、通信インターフェース１３０は、イーサネット（登録商標）インターフェース、ＩＥＥＥ１２８４インターフェース、または、その他のインターフェース（アンテナも含む）で構成可能である。
【００１６】
ＨＤＤ１４０は、各種データの書き込み及び読み出しを行う。
【００１７】
バスライン１５０は、コントローラ１１０、ユーザインターフェース１２０、通信インターフェース１３０、ＨＤＤ１４０を互いに電気的に接続している。なお、バスライン１５０には、アドレスバスやデータバス等を利用することができる。
【００１８】
次に、本実施形態のキーワード抽出装置が有する機能を、図２を用いて説明する。図２は、本実施形態のキーワード抽出装置の機能ブロック図である。図２に示すように、本実施形態のキーワード抽出装置は、入力手段２１０、反応検出手段２２０、マーキング手段２３０、抽出手段２４０、出力手段２５０、記憶手段２６０、コンテンツ記録制御手段２７０、検索手段２８０を備える。
【００１９】
入力手段２１０は、コンテンツデータを入力する。コンテンツデータは、音声データと画像データ（テロップデータや字幕データを含む）とから構成され、コンテンツ（例えば、テレビ番組）の元となるデータである。入力手段２１０に入力されるコンテンツデータは、リアルタイム放送のデータでも、記録済みのデータ（他装置などで録画された録画データ）のどちらでもよい。このようにコンテンツデータ入力手段として機能する場合、入力手段２１０は、図１に示す通信インターフェース１３０により実現される。
【００２０】
入力手段２１０は、上述したようにコンテンツデータ入力手段として機能するほかに、キーワード抽出装置を操作するユーザからの指示を受け付けるユーザ指示入力手段として機能する。ユーザからの指示の例としては、コンテンツデータの入力指示やキーワードデータの出力指示のほか、入力または出力の条件の設定指示などを挙げることができる。また、ユーザ指示入力手段としては、ユーザに選択肢を提示し、指示入力を促す構成を採用してもよい。このようにユーザ指示入力手段として機能する場合、入力手段２１０は、図１に示すユーザインターフェース１２０により実現される。
【００２１】
反応検出手段２２０は、入力手段２１０により入力されたコンテンツデータを視聴中の視聴者の反応を検出する。視聴者の反応とは、視聴中のコンテンツデータに対する反応であり、例えば、視聴者が発する声や物音（例えば、笑い声や手を打ち鳴らす音）のほか、心理状態や身体状態の変化（例えば、顔の表情や脈拍の変化）などが挙げられる。反応検出手段２２０は、図１に示すユーザインターフェース１２０により実現される。例えば、声や物音を検出する場合はマイクにより実現し、顔の表情の変化を検出する場合はカメラにより実現する。
【００２２】
マーキング手段２３０は、反応検出手段２２０による反応検出が行われたタイミングで、コンテンツデータ中にマーキングを行う。また、マーキング手段２３０は、反応検出の度にマーキングを行う。マーキングの例としては、反応検出時に入力されたコンテンツデータに対してフラグを付加することや、コンテンツデータ入力開始のときから時間を計測しておき、反応検出時の時間を記録したりすることが挙げられる。あるいは、特開２００７−３０６２７９号公報に開示されているコンテンツマーキング方法を採用してもよい。マーキング手段２３０は、図１に示すコントローラ１１０により実現される。
【００２３】
抽出手段２４０は、マーキング手段２３０によりマーキングされた部分近傍のコンテンツデータに対して文字認識及び音声認識の少なくとも一つを行い、認識した語彙（語句）をキーワードとして抽出する。キーワードの例としては、番組名、出演者名、制作者名などが挙げられる。また、上記特許文献１のように、頻度の多い語彙をキーワードとしてもよい。なお、文字認識及び音声認識については公知の技術を適用できるので、ここでの説明は省略する。また、キーワード抽出についても公知の方法を適用できる。例えば、上記特許文献１に開示されている抽出方法を適用してもよい。抽出手段２４０は、図１に示すコントローラ１１０により実現される。
【００２４】
出力手段２５０は、抽出手段２４０により抽出されたキーワードを示すキーワードデータを出力する。出力されたキーワードデータは、画面表示されてユーザに通知されたり、電子番組表から関連番組を検索するために用いられたりする。出力手段２５０は、図１に示す通信インターフェース１３０により実現される。
【００２５】
記憶手段２６０は、各種情報を記憶する。各種情報の例としては、入力手段２１０により入力されたコンテンツデータの全部または一部、マーキング手段２３０によりマーキングが行われたコンテンツデータの全部または一部、抽出手段２４０により抽出されたキーワードを示すキーワードデータなどが挙げられる。なお、記憶手段２６０は、コントローラ１１０内のＲＡＭ１１３や、ＨＤＤ１８０により実現される。
【００２６】
コンテンツ記録制御手段２７０は、入力手段２１０により入力されたコンテンツデータの記録（録画）の開始及び終了を制御する。コンテンツ記録制御手段２７０の制御により記録が行われたコンテンツデータは、記憶手段２６０に格納される。また、コンテンツ記録制御手段２７０は、後述するコンテンツ識別データが示すコンテンツに該当するコンテンツデータが入力手段２１０により入力された場合に、自動的にそのコンテンツデータを記録する。なお、タイムシフトのときの記録制御については後述する。コンテンツ記録制御手段２７０は、図１に示すコントローラ１１０により実現される。
【００２７】
検索手段２８０は、入力手段２１０により入力された電子番組表の中から、抽出手段２４０により抽出されたキーワードを示すキーワードデータに関連するコンテンツを検索する。なお、電子番組表とは、放送チャンネルと時間帯毎に、放送予定のコンテンツ（番組）が一覧となっているデータである。この電子番組表には、一覧となっているコンテンツ毎に、例えば、コンテンツ名（番組名）、ジャンル、放送チャンネル、放送時間、出演者名、制作者名、放送内容の概要などの「コンテンツに係るデータ」が含まれている。まず、検索手段２８０は、電子番組表において、キーワードデータと一致する「コンテンツに係るデータ」を含むコンテンツを検索（特定）する。そして、検索手段２８０は、検索したコンテンツを識別可能なコンテンツ識別データを出力する。このコンテンツ識別データは、検索されたコンテンツの「コンテンツに係るデータ」の一部又は全部でもよいが、コンテンツ名（番組名）などのコンテンツ自体を識別できるデータが好ましい。このコンテンツ識別データは、出力手段２５０により出力されたり、または、記憶手段２６０に記憶されたりする。検索手段２８０は、図１に示すコントローラ１１０により実現される。
【００２８】
次に、以上のように構成された本実施形態のキーワード抽出装置の使用例について説明する。図３は、本実施形態のキーワード抽出装置を単体の装置として使用する場合の例を示す図であり、図４は、本実施形態のキーワード抽出装置を他装置に組み込んで使用する場合の例を示す図である。以下、これら各図について順次説明する。
【００２９】
図３（ａ）は、キーワード抽出装置と、レコーダ（録画装置）と、テレビ（表示装置）とがそれぞれ接続された場合の構成である。例えば、レコーダは、コンテンツデータ（リアルタイム放送データまたは録画データ）が入力されると、そのコンテンツデータを記録しながら、キーワード抽出装置とテレビに対して同時に出力する。テレビは、コンテンツデータを入力し、コンテンツを画面表示する。キーワード抽出装置は、コンテンツデータを入力し、テレビを視聴している視聴者からの反応を検出した場合に、上述したマーキング、キーワード抽出、キーワードデータ出力を行う。図３（ａ）では、例として、キーワードデータがテレビに出力されて画面表示される場合を示している。テレビにおけるキーワードデータの画面表示は、ユーザの指示によって行われ、コンテンツの視聴中または視聴後のどちらでもよい。なお、キーワードデータの出力先は、図示したテレビ以外に、レコーダでも、図示していないその他の装置でもよい。
【００３０】
図３（ｂ）は、キーワード抽出装置と、テレビとが接続された場合の構成である。例えば、テレビは、コンテンツデータをリアルタイムに受信すると、コンテンツを画面表示するとともに、キーワード抽出装置へそのコンテンツデータを出力する。キーワード抽出装置は、コンテンツデータを入力し、テレビを視聴している視聴者からの反応を検出した場合に、上述したマーキング、キーワード抽出、キーワードデータ出力を行う。図３（ｂ）では、例として、キーワードデータがテレビに出力されて画面表示される場合を示している。テレビにおけるキーワードデータの画面表示は、ユーザの指示によって行われ、コンテンツの視聴中または視聴後のどちらでもよい。なお、キーワードデータの出力先は、図示したテレビ以外に、図示していないその他の装置でもよい。
【００３１】
図４（ａ）は、レコーダと、テレビとが接続され、レコーダにキーワード抽出装置（の各手段・各機能）が内蔵された場合の構成である。例えば、レコーダは、コンテンツデータ（リアルタイム放送データまたは録画データ）が入力されると、そのコンテンツデータを記録しながら、テレビに対して出力する。テレビは、コンテンツデータを入力し、コンテンツを画面表示する。レコーダは、テレビを視聴している視聴者からの反応を検出した場合に、上述したマーキング、キーワード抽出、キーワードデータ出力を行う。図４（ａ）では、例として、キーワードデータがテレビに出力されて画面表示される場合を示している。テレビにおけるキーワードデータの画面表示は、ユーザの指示によって行われ、コンテンツの視聴中または視聴後のどちらでもよい。なお、キーワードデータの出力先は、図示したテレビ以外に、図示していないその他の装置でもよい。
【００３２】
図４（ｂ）は、テレビにキーワード抽出装置（の各手段・各機能）が内蔵された場合の構成である。例えば、テレビは、コンテンツデータをリアルタイムに受信すると、コンテンツを画面表示する。そして、テレビは、テレビを視聴している視聴者からの反応を検出した場合に、上述したマーキング、キーワード抽出、キーワードデータ出力を行う。図４（ｂ）では、例として、キーワードデータがテレビに出力されて画面表示される。テレビにおけるキーワードデータの画面表示は、ユーザの指示によって行われ、コンテンツの視聴中または視聴後のどちらでもよい。なお、キーワードデータの出力先は、図示したテレビ以外に、図示していないその他の装置でもよい。また、図４（ｂ）に示すテレビは、ＰＣ（Personal Computer）であってもよい。
【００３３】
なお、図３に示すキーワード抽出装置、並びに、図４に示すキーワード抽出装置を内蔵したレコーダ及びテレビ・ＰＣでは、これら各装置本体に反応検出手段（例えば、マイク）を備え、視聴者の反応（例えば、笑い声）を検出する例を示している。ここで、各装置が、例えば近距離通信を可能とするリモコンを備える場合は、リモコンにマイクを備えるようにし、かつ、各装置本体にリモコンからの信号を受信する手段を備えるようにしてもよい。リモコンは、内蔵のマイクで視聴者の笑い声を検出すると、検出を示す信号を装置本体に送信する。装置本体は、リモコンからの検出を示す信号を受信することで、視聴者の反応を検出することができる。視聴者はリモコンを自分の近くに置いておくことが一般的であるので、リモコンと視聴者の距離は近くなる。よって、リモコン内蔵のマイクは、視聴者の笑い声を収集しやすくなる。このように短距離通信を利用すれば、より精度の高い反応検出が可能となる。
【００３４】
次に、本実施形態のキーワード抽出装置における処理動作（本発明の一実施形態であるキーワード抽出方法）の流れについて説明する。図５は、本実施形態のキーワード抽出装置における処理動作の流れを示すフローチャートである。図６（ａ）は、本実施形態のキーワード抽出装置に入力されるコンテンツデータを模式的に示す図である。
【００３５】
入力手段２１０が視聴者により視聴されるコンテンツデータの入力を開始すると（ステップＳ１／ＮＯ）、反応検出手段２２０は反応検出を開始する（ステップＳ２／ＮＯ）。この反応検出は、コンテンツデータの入力が終了するまで行われる。なお、ここでは例として、検出する視聴者の反応を笑い声とする。
【００３６】
ここで、例えば、コンテンツデータの入力開始から１０分経過後に、反応検出手段２２０が視聴者の笑い声を検出したとする（ステップＳ２／ＹＥＳ）。マーキング手段２３０は、反応検出手段２２０による検出のタイミングで、コンテンツデータ中にマーキングを行う（ステップＳ３）。このときのマーキングを模式的に示したのが、図６（ａ）に示す反応検出ポイントａである。図６（ａ）において、反応検出ポイントａは、入力開始ポイントから１０分経過後である。
【００３７】
抽出手段２４０は、図６（ａ）に示す反応検出ポイントａの前後の所定範囲（抽出範囲）に対して、文字認識及び音声認識を行い、キーワード抽出を行う（ステップＳ４）。抽出範囲は、例として、反応検出ポイントａの１分前から反応検出ポイントａの１分後までの間のコンテンツデータとする。なお、この抽出範囲は、予め設定されているものであり、変更も可能とする。抽出手段２４０は、抽出範囲のコンテンツデータ（音声データ及び画像データ）に含まれる語彙（語句）を、キーワードとして抽出する。
【００３８】
出力手段２５０は、抽出手段２４０により抽出されたキーワードを示すキーワードデータを外部へ出力する（ステップＳ５）。または、記憶手段２６０が、キーワードデータを格納してもよい。あるいは、記憶手段２６０によるキーワードデータ格納と、出力手段２５０によるキーワードデータ出力とを両方行うようにしてもよい。なお、記憶手段２６０に格納されたキーワードデータは、ユーザの指示を受け付けた場合に読み出されて、出力手段２５０により出力される。出力されたキーワードデータは、画面表示によりユーザに通知されたり、関連する番組の検索に用いられたりする。
【００３９】
なお、反応検出ポイントａを基準とした抽出範囲に対して一連の処理（キーワード抽出、キーワードデータ出力）が行われている間も、続いて入力されるコンテンツデータに対して、反応検出が行われている。
【００４０】
ここで、例えば、コンテンツデータの入力開始から３０分経過後に、反応検出手段２２０が視聴者の笑い声を検出したとすると（ステップＳ２／ＹＥＳ）、マーキング手段２３０は、反応検出手段２２０による検出のタイミングで、コンテンツデータ中にマーキングを行う（ステップＳ３）。このときのマーキングを模式的に示したのが、図６（ａ）に示す反応検出ポイントｂである。図６（ａ）において、反応検出ポイントｂは、入力開始ポイントから３０分経過後である。ステップＳ４以降の処理は、上記同様であるので説明を省略する。
【００４１】
コンテンツデータの入力が終了すると（ステップＳ１／ＹＥＳ）、図５（ａ）に示す一連の処理を終了する。
【００４２】
上述した図５（ａ）に示す処理動作において、マーキングしたコンテンツデータを記憶手段２６０に格納するようにしてもよい。この場合の処理動作を図５（ｂ）に示す。図５（ｂ）に示す処理動作は、図５（ａ）に示す処理動作と基本的に同じであるが、ステップＳ３のマーキングの後にステップＳ３’がある点が異なる。なお、図５（ｂ）において、ステップＳ３’以外の各ステップは、図５（ａ）と同様であるので、ここでの説明は省略する。図５（ｂ）において、マーキング手段２３０が、反応検出手段２２０による検出のタイミングでコンテンツデータ中にマーキングを行った後（ステップＳ３）、記憶手段２６０は、マーキングが行われたコンテンツデータを格納する（ステップＳ３’）。格納後、例えば、所定時間が経過したとき（コンテンツデータの入力が終了したとき）、あるいは、ユーザからの指示を受けたときに、抽出手段２４０は、記憶手段２６０に格納された、マーキング済みのコンテンツデータを読み出し、そのコンテンツデータ内の抽出範囲に対してキーワード抽出を行う（ステップＳ４）。そして、出力手段２５０によるキーワードデータ出力、及び、記憶手段２６０によるキーワードデータ格納の少なくとも一方が行われる（ステップＳ５）。
【００４３】
以上のように、図５（ｂ）に示す処理動作では、マーキング済みのコンテンツデータを記憶手段２６０に格納することにより、キーワード抽出及びキーワードデータ出力を任意のときに行うことができる。
【００４４】
以上説明したように、本発明の実施形態によれば、入力されたコンテンツデータを視聴中の視聴者の反応を検出し、検出したタイミングでコンテンツデータにマーキングを行い、マーキングを行った部分近傍のコンテンツデータからキーワードを抽出して出力することを特徴とする。よって、視聴者が反応した部分のコンテンツデータからキーワードを抽出するので、抽出されたキーワードは、ユーザの嗜好や興味に合致する可能性が高くなる。
【００４５】
最後に、上記実施形態においてタイムシフトを採用した場合について、図６（ｂ）及び（ｃ）を参照しながら以下に説明する。図６（ｂ）及び（ｃ）は、本実施形態のキーワード抽出装置に入力されるコンテンツデータを模式的に示す図である。
【００４６】
まず、図６（ｂ）に示す第１例について説明する。入力手段２１０に入力されるコンテンツデータは、例として、リアルタイム放送のデータとする。そして、視聴者は、入力手段２１０に入力されるコンテンツデータの視聴を開始したときに、録画の指示を出していないとする。入力手段２１０がコンテンツデータの入力を開始すると、反応検出手段２２０は反応検出（例えば、笑い声）を開始する。例えば、コンテンツデータの入力開始から１５分経過後に、反応検出手段２２０が最初の反応検出として視聴者の笑い声を検出したとすると、マーキング手段２３０は、反応検出手段２２０による検出のタイミングで、コンテンツデータ中に最初のマーキングを行う。このときのマーキングを模式的に示したのが、図６（ｂ）に示す反応検出ポイントｃである。図６（ｂ）において、反応検出ポイントｃは、入力開始ポイントから１５分経過後である。ここまでは、図５で説明した処理の流れと同様である。
【００４７】
マーキング手段２３０による最初のマーキングが行われると、コンテンツ記録制御手段２７０は、図６（ｂ）に示すように、例えば反応検出ポイントｃから所定時間分遡った時点（抽出範囲の始点）からコンテンツデータの録画を開始する。そして、コンテンツ記録制御手段２７０は、コンテンツデータの入力が終了と同時に録画を終了する。なお、録画されたコンテンツデータは、記憶手段２６０に格納される。コンテンツ記録制御手段２７０の録画開始ポイントは、予め設定されるものとし、反応検出ポイントの近傍であればよい。また、コンテンツ記録制御手段２７０の録画終了ポイントも、予め設定されるものとし、コンテンツデータの入力終了時点か、それより前であればよい。
【００４８】
以上のように、第１例では、入力されるコンテンツデータの録画がキーワード抽出装置で行われていない場合でも、最初の反応検出が行われたときに、反応検出タイミング近傍の時点から、所定の時点まで録画するようにする。よって、視聴者により録画指示がされなかった場合でも、視聴者の反応をトリガとしてコンテンツデータを録画することができる。
【００４９】
次に、図６（ｃ）に示す第２例について説明する。入力手段２１０によるコンテンツデータ入力が開始され、反応検出手段２２０による最初の反応検出が行われ、マーキング手段２３０による最初のマーキングが行われる。ここで、コンテンツ記録制御手段２７０は、図６（ｃ）に示すように、例えば反応検出ポイントｃから所定時間分遡った時点（抽出範囲の始点）からコンテンツデータの録画を開始する。ここまでは、上記第１例の流れと同様である。
【００５０】
ここで、録画開始ポイントは、反応検出ポイントｃから所定時間分遡った時点（抽出範囲の始点）であるので、上記第１例と同様であるが、第２例では、録画終了ポイントを、反応検出ポイントｃから所定時間分経過した時点（抽出範囲の終点）とする。よって、コンテンツ記録制御手段２７０は、抽出範囲に相当するコンテンツデータを記録する。なお、録画されたコンテンツデータは、記憶手段２６０に格納される。
【００５１】
コンテンツ記録制御手段２７０は、最初の反応検出ポイントｃを基準とした抽出範囲のコンテンツデータを記録した後で、１５分経過後に、反応検出手段２２０による再度の反応検出が行われたとする。マーキング手段２３０は、反応検出のタイミングでコンテンツデータ中に再度のマーキングを行うが、このときのマーキングを模式的に示したのが、図６（ｃ）に示す反応検出ポイントｄである。図６（ｃ）において、反応検出ポイントｄは、入力開始ポイントから３０分経過後である。
【００５２】
コンテンツ記録制御手段２７０は、最初の反応検出のときと同様に、反応検出ポイントｄから所定時間分遡った時点（抽出範囲の始点）から、反応検出ポイントｃから所定時間分経過した時点（抽出範囲の終点）までコンテンツデータを録画し、記憶手段２６０に格納する。
【００５３】
以上のように、第２例では、反応検出が行われる度に、反応検出が行われたタイミング近傍の所定範囲のコンテンツデータを録画する。よって、視聴者の反応があった部分のコンテンツデータのみを記録することができる。
【００５４】
上述した第１例及び第２例におけるコンテンツ記録制御手段２７０の録画は、タイムシフト中であるので、視聴者の指示によらずに自動的に実行される。よって、記憶手段２６０に格納されたコンテンツデータは、抽出手段２４０によるキーワード抽出が行われた後、自動的に削除されるようにしてもよい。また、記憶手段２６０に格納されたコンテンツデータは、視聴者に提示される場合、視聴者の指示により正規に録画されたコンテンツデータと区別して提示（例えば、画面表示）されるようにしてもよい。このとき、記憶手段２６０に格納されたコンテンツデータの一覧を画面表示し、視聴者に削除するデータを選択させるようにしてもよい。
【００５５】
以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。
【００５６】
例えば、上述した各実施形態における動作（フローチャートに示す動作）は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【００５７】
ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。
【００５８】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。
【００５９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【００６０】
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【産業上の利用可能性】
【００６１】
本発明は、入力したコンテンツデータを解析してキーワードを抽出する装置・機器、システム、方法、プログラム等に適用できる。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施形態であるキーワード抽出装置のハードウェア構成を示す図である。
【図２】本発明の一実施形態であるキーワード抽出装置の機能ブロック図である。
【図３】本発明の一実施形態であるキーワード抽出装置を単体の装置として使用する場合の各構成例を示す図である。
【図４】本発明の一実施形態であるキーワード抽出装置を他装置に組み込んで使用する場合の各構成例を示す図である。
【図５】本発明の一実施形態であるキーワード抽出装置の処理動作の各例を示すフローチャートである。
【図６】本発明の一実施形態であるキーワード抽出装置に入力されるコンテンツデータの各例を模式的に示す図である。
【符号の説明】
【００６３】
１１０ コントローラ
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１２０ ユーザインターフェース
１３０ 通信インターフェース
１４０ ＨＤＤ
１５０ バスライン
２１０ 入力手段
２２０ 反応検出手段
２３０ マーキング手段
２４０ 抽出手段
２５０ 出力手段
２６０ 記憶手段
２７０ コンテンツ記録制御手段
２８０ 検索手段
【特許請求の範囲】
【請求項１】
入力された映像データを視聴中の視聴者の反応を検出し、前記検出のタイミングで前記映像データにマーキングを行い、前記マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とするキーワード抽出装置。
【請求項２】
映像データを入力する入力手段と、
前記入力手段により入力された映像データを視聴中の視聴者の反応を検出する反応検出手段と、
前記反応検出手段による検出が行われたタイミングで、前記映像データ中にマーキングを行うマーキング手段と、
前記マーキング手段によりマーキングされた部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行い、キーワードを抽出する抽出手段と、
前記抽出手段により抽出されたキーワードを示すキーワードデータを出力する出力手段と、
を有することを特徴とするキーワード抽出装置。
【請求項３】
前記入力手段により入力された映像データの記録を制御する記録制御手段をさらに有することを特徴とする請求項２記載のキーワード抽出装置。
【請求項４】
前記記録制御手段は、
前記入力手段により入力された映像データが記録済みではない場合、前記反応検出手段による最初の検出が行われたタイミング近傍の時点から前記映像データの記録を開始し、所定範囲まで記録することを特徴とする請求項３記載のキーワード抽出装置。
【請求項５】
前記記録制御手段は、
前記最初の検出により前記映像データの記録を所定範囲まで行った後で前記反応検出手段による再度の検出が行われた場合、前記再度の検出が行われたタイミング近傍の時点から前記映像データの記録を開始し、所定範囲まで記録することを特徴とする請求項４記載のキーワード抽出装置。
【請求項６】
前記映像データ及び前記キーワードデータのうち少なくとも一方を記憶する記憶手段をさらに有することを特徴とする請求項２から５のいずれか１項に記載のキーワード抽出装置。
【請求項７】
前記入力手段により入力された電子番組表の中から、前記キーワードデータに関連するコンテンツを検索する検索手段をさらに有し、
前記検索手段により検索されたコンテンツを識別可能なコンテンツ識別データは、前記出力手段により出力される、または、前記記憶手段に記憶されることを特徴とする請求項２から６のいずれか１項に記載のキーワード抽出装置。
【請求項８】
前記記録制御手段は、
前記検索データに基づいて、前記入力手段により入力された映像データを記録することを特徴とする請求項７記載のキーワード抽出装置。
【請求項９】
入力された映像データを視聴中の視聴者の反応を検出し、前記検出のタイミングで前記映像データにマーキングを行い、前記マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とするキーワード抽出方法。
【請求項１０】
映像データを入力する入力ステップと、
前記入力ステップにより入力された映像データを視聴中の視聴者の反応を検出する反応検出ステップと、
前記反応検出ステップによる検出が行われたタイミングで、前記映像データ中にマーキングを行うマーキングステップと、
前記マーキングステップによりマーキングされた部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行い、キーワードを抽出する抽出ステップと、
前記抽出ステップにより抽出されたキーワードを示すキーワードデータを出力する出力ステップと、
を有することを特徴とするキーワード抽出方法。
【請求項１１】
前記映像データを記録する第１のコンテンツ記録ステップをさらに有することを特徴とする請求項１０記載のキーワード抽出方法。
【請求項１２】
前記キーワードデータを記憶するキーワード記憶ステップをさらに有することを特徴とする請求項１０または１１記載のキーワード抽出方法。
【請求項１３】
入力された電子番組表の中から、前記キーワードデータに関連するコンテンツを検索し、検索したコンテンツに係る検索データを出力または記憶する検索ステップをさらに有することを特徴とする請求項１０から１２のいずれか１項に記載のキーワード抽出方法。
【請求項１４】
前記検索データに基づいて、入力された映像データを記録する第２のコンテンツ記録ステップをさらに有することを特徴とする請求項１３記載のキーワード抽出方法。
【請求項１５】
請求項９から１４のいずれか１項に記載のキーワード抽出方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
入力された映像データを視聴中の視聴者の反応を検出し、前記検出のタイミングで前記映像データにマーキングを行い、前記マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とするキーワード抽出装置。
【請求項２】
映像データを入力する入力手段と、
前記入力手段により入力された映像データを視聴中の視聴者の反応を検出する反応検出手段と、
前記反応検出手段による検出が行われたタイミングで、前記映像データ中にマーキングを行うマーキング手段と、
前記マーキング手段によりマーキングされた部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行い、キーワードを抽出する抽出手段と、
前記抽出手段により抽出されたキーワードを示すキーワードデータを出力する出力手段と、
を有することを特徴とするキーワード抽出装置。
【請求項３】
前記入力手段により入力された映像データの記録を制御する記録制御手段をさらに有することを特徴とする請求項２記載のキーワード抽出装置。
【請求項４】
前記記録制御手段は、
前記入力手段により入力された映像データが記録済みではない場合、前記反応検出手段による最初の検出が行われたタイミング近傍の時点から前記映像データの記録を開始し、所定範囲まで記録することを特徴とする請求項３記載のキーワード抽出装置。
【請求項５】
前記記録制御手段は、
前記最初の検出により前記映像データの記録を所定範囲まで行った後で前記反応検出手段による再度の検出が行われた場合、前記再度の検出が行われたタイミング近傍の時点から前記映像データの記録を開始し、所定範囲まで記録することを特徴とする請求項４記載のキーワード抽出装置。
【請求項６】
前記映像データ及び前記キーワードデータのうち少なくとも一方を記憶する記憶手段をさらに有することを特徴とする請求項２から５のいずれか１項に記載のキーワード抽出装置。
【請求項７】
前記入力手段により入力された電子番組表の中から、前記キーワードデータに関連するコンテンツを検索する検索手段をさらに有し、
前記検索手段により検索されたコンテンツを識別可能なコンテンツ識別データは、前記出力手段により出力される、または、前記記憶手段に記憶されることを特徴とする請求項２から６のいずれか１項に記載のキーワード抽出装置。
【請求項８】
前記記録制御手段は、
前記検索データに基づいて、前記入力手段により入力された映像データを記録することを特徴とする請求項７記載のキーワード抽出装置。
【請求項９】
入力された映像データを視聴中の視聴者の反応を検出し、前記検出のタイミングで前記映像データにマーキングを行い、前記マーキングを行った部分近傍の映像データからキーワードを抽出して出力することを特徴とするキーワード抽出方法。
【請求項１０】
映像データを入力する入力ステップと、
前記入力ステップにより入力された映像データを視聴中の視聴者の反応を検出する反応検出ステップと、
前記反応検出ステップによる検出が行われたタイミングで、前記映像データ中にマーキングを行うマーキングステップと、
前記マーキングステップによりマーキングされた部分近傍の映像データに対して文字認識及び音声認識の少なくとも一つを行い、キーワードを抽出する抽出ステップと、
前記抽出ステップにより抽出されたキーワードを示すキーワードデータを出力する出力ステップと、
を有することを特徴とするキーワード抽出方法。
【請求項１１】
前記映像データを記録する第１のコンテンツ記録ステップをさらに有することを特徴とする請求項１０記載のキーワード抽出方法。
【請求項１２】
前記キーワードデータを記憶するキーワード記憶ステップをさらに有することを特徴とする請求項１０または１１記載のキーワード抽出方法。
【請求項１３】
入力された電子番組表の中から、前記キーワードデータに関連するコンテンツを検索し、検索したコンテンツに係る検索データを出力または記憶する検索ステップをさらに有することを特徴とする請求項１０から１２のいずれか１項に記載のキーワード抽出方法。
【請求項１４】
前記検索データに基づいて、入力された映像データを記録する第２のコンテンツ記録ステップをさらに有することを特徴とする請求項１３記載のキーワード抽出方法。
【請求項１５】
請求項９から１４のいずれか１項に記載のキーワード抽出方法をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−５５４０９（Ｐ２０１０−５５４０９Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２２０２６８（Ｐ２００８−２２０２６８）
【出願日】平成２０年８月２８日（２００８．８．２８）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２８日（２００８．８．２８）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
[ Back to top ]