情報処理装置及び情報処理方法
【課題】番組を視聴する視聴者の利便性を向上させることが可能な情報処理装置及び情報処理方法を提供する。
【解決手段】番組を視聴する視聴者を撮像した撮像データを取得する撮像手段と、前記撮像データに含まれる顔画像を検出する顔検出手段と、前記顔検出手段で検出された顔画像から、前記番組に対する前記視聴者の反応を検出する反応検出手段と、前記反応検出手段での検出結果を付属情報とし、当該付属情報を前記視聴中の番組の時間軸に対応付けて記録する記録手段と、前記番組の時間軸上に対応付けて記録された前記付属情報に基づいて、当該番組内で前記視聴者が関心を示した区間を特定する特定手段と、を備える。
【解決手段】番組を視聴する視聴者を撮像した撮像データを取得する撮像手段と、前記撮像データに含まれる顔画像を検出する顔検出手段と、前記顔検出手段で検出された顔画像から、前記番組に対する前記視聴者の反応を検出する反応検出手段と、前記反応検出手段での検出結果を付属情報とし、当該付属情報を前記視聴中の番組の時間軸に対応付けて記録する記録手段と、前記番組の時間軸上に対応付けて記録された前記付属情報に基づいて、当該番組内で前記視聴者が関心を示した区間を特定する特定手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及び情報処理方法に関するものである。
【背景技術】
【０００２】
近年、テレビジョン受信装置等の放送番組を視聴可能な情報処理装置において、カメラ等の撮像装置を設けたものが登場している。また、撮像装置により装置周辺の環境を撮像し、その撮像画像から周辺環境に関する情報を取得するものが存在している。従来、表示されたコンテンツに対する視聴者の視聴状態を撮像画像から検出し、視聴者の顔等の向きから視聴者が見逃したコンテンツの箇所を特定する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１８８６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、視聴の対象となった番組と当該番組を視聴した視聴者の反応との関係性については何ら考慮されておらず、視聴者の利便性を向上させる上で改善の余地があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、番組を視聴する視聴者の利便性を向上させることが可能な情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施の形態の情報処理装置は、撮像手段と、顔検出手段と、反応検出手段と、記録手段と、特定手段とを備える。撮像手段は、番組を視聴する視聴者を撮像した撮像データを取得する。顔検出手段は、撮像データに含まれる顔画像を検出する。反応検出手段は、顔検出手段で検出された顔画像から、番組に対する視聴者の反応を検出する。記録手段は、反応検出手段での検出結果を付属情報とし、当該付属情報を前記視聴中の番組の時間軸に対応付けて記録する。特定手段は、番組の時間軸上に対応付けて記録された付属情報に基づいて、当該番組内で視聴者が関心を示した区間を特定する。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態に係る情報処理装置（テレビジョン装置）の一例を示す外観斜視図である。
【図２】図２は、テレビジョン装置の信号処理系を示すブロック図である。
【図３】図３は、テレビジョン装置の反応検出系の機能構成を模式的に示すブロック図である。
【図４】図４は、ＨＤＤに記録された番組データの一例を模式的に示す図である。
【図５】図５は、テレビジョン装置の反応分析系の機能構成を模式的に示すブロック図である。
【図６】図６は、嗜好性分析結果の一例を示す図である。
【図７】図７は、テレビジョン装置の反応検出系が行う反応記録処理の手順を示すフローチャートである。
【図８】図８は、テレビジョン装置の反応分析系の再生制御部が行う再生制御処理の手順を示すフローチャートである。
【図９】図９は、テレビジョン装置の反応分析系の嗜好性分析部及び番組推奨部が行う番組推奨処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、この発明に係る情報処理装置及び情報処理方法の実施の形態を詳細に説明する。なお、本実施形態では、テレビ番組の録画・再生機能を有するテレビジョン装置に適用した例について説明するが、この装置に制限するものではない。
【０００９】
図１は、本実施形態に係るテレビジョン装置１００の一例を示す外観斜視図である。同図に示すように、テレビジョン装置１００は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。テレビジョン装置１００は、筐体２と、表示部３を備えている。
【００１０】
筐体２には、カメラ４とマイク５が設けられている。カメラ４の撮像方向は、テレビジョン装置１００に対向する方向に向けられており、テレビジョン装置１００の視聴者を撮像する目的で用いられる。マイク５の収音方向は、カメラ４と同様テレビジョン装置１００に対向する方向に向けられており、テレビジョン装置１００の視聴者の声を収音する目的で用いられる。また、筐体２は、支持部６に支持されている。なお、カメラ４及びマイク５の取り付け位置は図１の例に限らず、テレビジョン装置１００に外付けする形態としてもよい。
【００１１】
図２は、テレビジョン装置１００の信号処理系を示すブロック図である。同図に示すように、テレビジョン装置１００は、アンテナ１１で受信した放送信号を、入力端子１２を介してチューナ部１３に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
【００１２】
テレビジョン装置１００は、チューナ部１３で選局された放送信号を、復調復号部１４に供給してデジタル映像信号及びデジタル音声信号等に復元した後、信号処理部１５に出力する。信号処理部１５は、復調復号部１４から供給されたデジタルの映像信号及び音声信号に対してそれぞれ所定のデジタル信号処理を施す。
【００１３】
ここで、信号処理部１５が行なう所定のデジタル信号処理には、通常の平面視表示用の映像信号を立体視表示用の映像信号に変換する処理、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
【００１４】
また、信号処理部１５は、デジタル映像信号を合成処理部１６に出力し、デジタル音声信号を音声処理部１７に出力する。
【００１５】
合成処理部１６は、信号処理部１５から供給されるデジタル映像信号に、ＯＳＤ（On Screen Display）信号生成部１８で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１６は、信号処理部１５から供給される映像信号が平面視表示用の映像信号であれば、その映像信号にＯＳＤ信号生成部１８から供給されたＯＳＤ信号をそのまま重畳して出力している。
【００１６】
また、合成処理部１６は、信号処理部１５から供給される映像信号が立体視表示用の映像信号である場合、ＯＳＤ信号生成部１８から供給されたＯＳＤ信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのＯＳＤ信号を入力映像信号に重畳して出力している。
【００１７】
テレビジョン装置１００は、合成処理部１６から出力したデジタルの映像信号を、映像処理部１９に供給する。映像処理部１９は、入力されたデジタル映像信号を、後段の、表示部３で表示可能なフォーマットのアナログ映像信号に変換している。テレビジョン装置１００は、映像処理部１９から出力されたアナログ映像信号を、表示部３に供給して映像表示に供する。表示部３は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスを有し、映像処理部１９から出力されたアナログ映像信号を表示する。
【００１８】
音声処理部１７は、入力されたデジタル音声信号を、後段のスピーカ２０で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１７から出力されたアナログ音声信号が、スピーカ２０に供給されることにより音声再生に供される。
【００１９】
ここで、テレビジョン装置１００は、上記した各種の受信動作を含むその全ての動作を制御部２１によって統括的に制御している。この制御部２１は、ＣＰＵ（central processing nit）２１１、ＣＰＵ２１１が実行するプログラムを格納したＲＯＭ（Read Only Memory）２１２、ＣＰＵ２１１に作業エリアを提供するためのＲＡＭ（Random Access Memory）２１３、上述した領域情報等の各種の設定情報や制御情報等が格納された不揮発性メモリ２１４を有しており、ＣＰＵ２１１と各種プログラムとの協働により各部の動作が統括的に制御する。
【００２０】
具体的に、制御部２１は、テレビジョン装置１００の本体に設置された操作部２２からの操作情報を受けて、または、リモートコントローラ２３から送出され受信部２４で受信した操作情報を受けて、その操作内容が反映されるように各部を制御する。
【００２１】
また、制御部２１は、復調復号部１４で復元された信号からＥＰＧ（Electronic Program Guide）等の電子番組ガイドを取得し、視聴者による操作部２２やリモートコントローラ２３の操作に応じて、当該電子番組ガイドをＯＳＤ信号生成部１８や映像処理部１９に供給することで放送中又は放送予定の番組表を視聴者に提供する。ここで、電子番組ガイドには、各番組のジャンルやタイトル、番組概要、出演者等の番組内容を示した番組内容情報が含まれているものとする。
【００２２】
また、制御部２１には、ディスクドライブ部２５が接続されていてもよい。ディスクドライブ部２５は、例えばＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disk）等の光ディスク２６を着脱自在とするもので、装着された光ディスク２６に対してデジタルデータの記録再生を行なう機能を有している。
【００２３】
制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、復調復号部１４から得られるデジタルの映像信号及び音声信号を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２５に供給して光ディスク２６に記録させるように制御することができる。
【００２４】
また、制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、ディスクドライブ部２５により光ディスク２６からデジタルの映像信号及び音声信号を読み出させ、記録再生処理部２８によって復号化した後、信号処理部１５に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００２５】
また、制御部２１には、ＨＤＤ（Hard Disk Drive）２７が接続されている。ＨＤＤ２７は、外付け装置としての形態を取っても構わない。制御部２１は、視聴者から操作部２２やリモートコントローラ２３を介して、録画対象の番組が指定されると、復調復号部１４から得られるこの番組の映像信号及び音声信号（以下、番組データという）を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ２７に供給して記録させることで番組の録画を行う。なお、番組の録画の際には、その番組の番組データに番組内容情報を対応付けて記録するものとする。
【００２６】
また、制御部２１は、視聴者から操作部２２やリモートコントローラ２３を介して、ＨＤＤ２７に録画された番組（番組データ）から再生対象の番組が指定されると、この指定された番組の番組データをＨＤＤ２７から読み出し、記録再生処理部２８によって復号化した後、信号処理部１５に供給することによって、上記した映像表示及び音声再生に供させるように制御することで、番組データの再生を行う。
【００２７】
さらに、テレビジョン装置１００には、入力端子２９が接続されている。入力端子２９は、テレビジョン装置１００の外部からデジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子２９を介して入力されたデジタルの映像信号及び音声信号は、制御部２１の制御に基づいて、記録再生処理部２８を介した後、信号処理部１５に供給されて、以後、上記した映像表示及び音声再生に供される。
【００２８】
また、入力端子２９を介して入力されたデジタル映像信号及びデジタル音声信号は、制御部２１の制御に基づいて、記録再生処理部２８を介した後、ディスクドライブ部２５による光ディスク２６に対しての記録再生や、ＨＤＤ２７に対しての記録再生に供される。
【００２９】
なお、制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、ディスクドライブ部２５とＨＤＤ２７との間で、光ディスク２６に記録されているデジタル映像信号及びデジタル音声信号をＨＤＤ２７に記録したり、ＨＤＤ２７に記録されているデジタル映像信号及びデジタル音声信号を光ディスク２６に記録したりすることも制御している。
【００３０】
また、制御部２１には、カメラ４及びマイク５が接続されている。このカメラ４は、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタルカメラやビデオカメラであり、テレビジョン装置１００に対向する方向、つまりテレビジョン装置１００の視聴方向を撮像し、その撮像データを制御部２１に出力する。マイク５は、マイクロフォン等の収音装置であり、テレビジョン装置１００の視聴する方向の音声を収音し、その音声データを制御部２１に出力する。
【００３１】
次に、本実施形態のテレビジョン装置１００に固有の制御部２１の機能構成について説明する。制御部２１は本実施形態のテレビジョン装置１００に固有の機能構成として、番組に対する視聴者の反応の検出及び記録を行う反応検出系と、反応検出系での検出結果を用いて各種処理を行う反応分析系とを備える。
【００３２】
図３は、テレビジョン装置１００の反応検出系の機能構成を模式的に示すブロック図である。同図に示すように、制御部２１は、ＣＰＵ２１１と、ＲＯＭ２１２や不揮発性メモリ２１４に記憶された所定のプログラムとの協働により、顔検出部３１と、個人認識部３２と、表情検出部３３と、動作検出部３４と、番組音声分析部３５と、視聴者音声分析部３６と、反応記録部３７と、反応検出系の機能部として実現する。
【００３３】
顔検出部３１は、カメラ４から入力される撮像データを処理して、人物の頭部や顔を検出する。個人認識部３２は、顔検出部３１で検出された撮像データ内の顔画像を、予め登録された人物の顔画像と比較することで、テレビジョン装置１００を視聴する視聴者（人物）を特定する。なお、顔検出部３１及び個人認識部３２における頭部や顔検出、顔認識等は周知の技術を用いるものとする。
【００３４】
表情検出部３３は、顔検出部３１で検出された撮像データ内の顔画像から、所定の表情を検出する。表情検出部３３が検出する表情としては、例えば、笑顔や泣き顔、無表情、驚いた表情、怒った表情、退屈した表情、困った表情等が挙げられる。動作検出部３４は、顔検出部３１で検出された撮像データ内での顔画像の位置の変化を時系列的に解析することで、単位時間あたりの顔の動き量を検出する。なお、表情検出部３３における表情検出や、動作検出部３４における動き量の検出は周知の技術を用いるものとする。
【００３５】
番組音声分析部３５は、録画対象の番組データに含まれる音声信号を解析し、歓声が大きく盛り上がった第１歓声区間を検出する。視聴者音声分析部３６は、マイク５から入力される音声データを解析し、視聴者の歓声が大きく盛り上がった第２歓声区間を検出する。なお、番組音声分析部３５及び視聴者音声分析部３６における歓声検出は周知の技術を用いるものとする。また、視聴者音声分析部３６における音声データの解析は、テレビジョン装置１００からの音声が除去された後、行われるものとする。
【００３６】
反応記録部３７は、番組データの録画及び再生時において、表情検出部３３、動作検出部３４、番組音声分析部３５及び視聴者音声分析部３６でリアルタイムに検出される各種データを付属情報とし、当該付属情報を番組データの時間軸に対応付けて記録する。また、反応記録部３７は、個人認識部３２により視聴者が特定されている場合、この視聴者を識別する視聴者識別情報を付属情報に付加することで、付属情報を視聴者単位で記録する。
【００３７】
ここで、図４は、ＨＤＤ２７に記録された番組データの一例を模式的に示す図である。同図では個人認識部３２で特定された視聴者（視聴者識別情報：視聴者Ａ）についての、表情検出部３３、動作検出部３４、番組音声分析部３５及び視聴者音声分析部３６での検出結果を示しており、これら検出結果が付属情報として、番組データの時間軸（タイムライン）に沿って記録されている。例えば、図４では、番組音声分析部３５により歓声区間と検出されたｔ３〜ｔ６の区間において、視聴者Ａの表情が「笑顔」となり、顔の動き量が増大し、歓声をあげたことが示されている。なお、番組データの区間は、フレーム単位としてもよいし、１０秒等の時間単位としてもよい。
【００３８】
このように、テレビジョン装置１００の反応検出系では、番組データの録画及び再生時にその番組を視聴する視聴者の反応を検出し、その検出結果を付属情報として番組データのタイムラインと対応付けて記録する。なお、視聴者がテレビジョン装置１００に対し顔を横に向けている場合や、テレビジョン装置１００の前から離れた場合には、顔検出部３１による顔検出が行われないため、その間の検出結果はデータ無しとなる。
【００３９】
なお、本実施形態では、番組データの録画及び再生時に付属情報を記録する形態としたが、これに限らず、番組データの録画時又は再生時に付属情報を記録する形態としてもよい。また、ＨＤＤ２７に録画された番組データに付属情報が記録されていない場合に、当該番組データの再生時に付属情報を記録する形態としてもよい。
【００４０】
図５は、テレビジョン装置１００の反応分析系の機能構成を模式的に示すブロック図である。同図に示すように、制御部２１は、ＣＰＵ２１１と、ＲＯＭ２１２や不揮発性メモリ２１４に記憶された所定のプログラムとの協働により、再生制御部４１と、嗜好性分析部４２と、番組推奨部４３とを反応分析系の機能部として実現する。
【００４１】
再生制御部４１は、番組データに対応付けて記録された付属情報に基づいて、当該番組データの再生を行う機能部である。具体的に、再生制御部４１は、視聴者から操作部２２やリモートコントローラ２３を介して、付属情報に基づく再生（特殊再生）が指示されると、個人認識部３２の認識結果に基づいて再生を指示した視聴者を特定する。また、再生制御部４１は、再生対象の番組データに対応付けて記録された付属情報のうち、特定した視聴者の付属情報に所定の条件（以下、再生条件）を適用し、当該再生条件に該当する区間を、その視聴者が関心を示した再生区間として特定する。そして、再生制御部４１は、各再生区間をダイジェスト再生やジャンプ再生等で再生する。ここで、ダイジェスト再生とは、再生区間を時系列順に自動再生する機能を意味し、ジャンプ再生とは、操作部２２やリモートコントローラ２３を介して指示に応じて、再生区間を時系列順に順次再生する機能を意味する。
【００４２】
ここで、再生条件は任意に設定できるものとする。例えば、顔の表情が「笑顔」の区間を再生条件としてもよいし、顔の動き量が所定のレベル以上又は以下の場合を再生条件としてもよいし、第２歓声区間を再生条件としてもよい。また、番組音声分析部３５での検出結果を補助的に用い、番組音声分析部３５で検出された第１歓声区間と、視聴者音声分析部３６で検出された第２歓声区間とが一致した区間を再生条件としてもよい。
【００４３】
なお、再生条件を適用先は、表情検出部３３、動作検出部３４及び視聴者音声分析部３６から得られる何れか一の検出結果としてもよいし、複数又は全ての検出結果について複合的に適用する形態としてもよい。また、動き量のレベル設定は、任意に設定することが可能であるとする。
【００４４】
嗜好性分析部４２は、ＨＤＤ２７の各番組データに対応付けて記録された番組内容情報と、付属情報とに基づき、視聴者毎の嗜好性を分析する。例えば、嗜好性分析部４２は、ＨＤＤ２７に録画された番組の各ジャンルについて、各視聴者の表情変化や顔の動き量、歓声区間等を所定の指標に基づいて分析することで、当該ジャンルに対する視聴者の嗜好性を導出する。そして、嗜好性分析部４２は、各視聴者の嗜好性分析結果を嗜好性情報として生成し、ＨＤＤ２７等に出力する。
【００４５】
ここで、嗜好性の判定に係る指標は任意に設定できるものとする。例えば、番組データの全区間のうち、顔の表情が「笑顔」の区間が３０％以上存在した場合を「興味あり」と判定するものとしてもよいし、顔の動き量が静止を示す区間が６０％以上存在した場合を「興味あり」と判定してもよいし、第２歓声区間が５％以上存在した場合を「興味あり」と判定してもよい。また、番組音声分析部３５での検出結果を補助的に用い、番組音声分析部３５で検出された第１歓声区間と、視聴者音声分析部３６で検出された第２歓声区間との一致率が７０％以上の場合を「興味あり」と判定してもよい。また、上述した再生条件を用いる形態としてもよく、例えば、再生条件に基づき特定した再生区間の長さや、番組全編に占める再生区間の割合等を、嗜好性の判定に係る指標として定めてもよい。
【００４６】
図６は、嗜好性分析結果の一例を示す図である。同図に示すように、嗜好性分析結果には、個人認識部３２で認識された視聴者毎に、その視聴者が嗜好性を有すると判定した番組ジャンル等の嗜好要素が対応付けて格納される。
【００４７】
なお、嗜好性の判定は、表情検出部３３、動作検出部３４及び視聴者音声分析部３６の何れか一の検出結果に基づいて行う形態としてもよいし、表情検出部３３、動作検出部３４及び視聴者音声分析部３６の全て又は何れかの検出結果から複合的に判定する形態としてもよい。また、嗜好性の分析対象は番組のジャンルに限らず、番組タイトルや出演者等の他の要素について分析する形態としてもよい。また、番組内容情報に含まれる番組概要や出演者等の情報が、番組データの時間軸と対応付けて記録されている場合には、当該番組データの区間単位で嗜好性を判定する形態としてもよい。さらに、嗜好性の判定を行うタイミングは特に問わず、例えば、後述する推奨情報の提示が指示されたタイミングで行うこととしてもよく、この場合、提示の指示を行った視聴者について嗜好性分析結果を出力する形態としてもよい。
【００４８】
番組推奨部４３は、嗜好性分析部４２が出力した嗜好性分析結果に基づいて、各視聴者が興味を持ちそうな番組を推奨情報として提示する機能部である。
【００４９】
具体的に、番組推奨部４３は、視聴者から操作部２２やリモートコントローラ２３を介して、推奨情報の提示が指示されると、個人認識部３２の認識結果に基づいて提示を指示した視聴者を特定する。また、番組推奨部４３は、特定した視聴者の視聴者識別情報に対応付けられた番組のジャンルを、嗜好性分析結果から読み出す。また、番組推奨部４３は、電子番組ガイドに含まれた各番組の番組内容情報を参照し、嗜好性分析結果から読み出したジャンルに該当する番組の番組内容情報を電子番組ガイドから抽出する。そして、番組推奨部４３は、電子番組ガイドから抽出した各番組の番組内容情報を、推奨情報として表示部３に表示させる。なお、推奨情報の表示形態は特に問わず、抽出した各番組の番組内容情報を一覧表示する形態としてもよいし、電子番組ガイド内の該当する番組を強調表示する形態としてもよい。
【００５０】
次に、本実施形態に係るテレビジョン装置１００の動作について説明する。
【００５１】
まず、図７を参照して、テレビジョン装置１００の反応検出系の動作について説明する。ここで、図７は、テレビジョン装置１００の反応検出系が行う反応検出処理の手順を示すフローチャートである。なお、本処理の前提として、視聴者から操作部２２やリモートコントローラ２３を介して、特定の番組の録画又は再生が指示されたとする。
【００５２】
番組データの録画又は再生が開始されると（ステップＳ１１）、顔検出部３１は顔画像の検出を開始し、カメラ４から入力される撮像データから人物の顔画像を検出できるか否かを判定する（ステップＳ１２）。ここで、顔画像が検出できないと判定された場合（ステップＳ１２；Ｎｏ）、ステップＳ１９に直ちに移行する。
【００５３】
一方、ステップＳ１２において顔画像が検出された場合（ステップＳ１２；Ｙｅｓ）、個人認識部３２は、検出された顔画像と予め登録された視聴者の顔画像とを比較することで、視聴者を特定する（ステップＳ１３）。なお、視聴者を特定することができない場合には、ステップＳ１９に直ちに移行することで視聴者の反応検出をスキップする形態としてもよいし、不明者の反応検出としてステップＳ１４に移行する形態としてもよい。
【００５４】
続いて、表情検出部３３は、ステップＳ１２で検出された顔画像から表情を検出する（ステップＳ１４）。また、動作検出部３４は、ステップＳ１２で検出された顔画像の位置の時系列的な変化量から、単位時間当たりの顔の動き量を検出する（ステップＳ１５）。
【００５５】
次いで、番組音声分析部３５は、録画中又は再生中の番組データの音声信号を解析し、歓声の盛り上りを検出した場合にはその区間を第１歓声区間として検出する（ステップＳ１６）。また、視聴者音声分析部３６は、マイク５から入力される音声データを解析し、歓声の盛り上りを検出した場合にはその区間を第２歓声区間として検出する（ステップＳ１７）。
【００５６】
反応記録部３７は、ステップＳ１２で特定された視聴者の視聴者識別情報と、ステップＳ１４〜Ｓ１７での検出結果とを付属情報とし、当該付属情報を録画中又は再生中の番組データのタイムラインに対応付けて記録する（ステップＳ１８）。続いて、反応検出系は番組データの録画又は再生が終了したか否かを判定し、終了していないと判定した場合には（ステップＳ１９；Ｎｏ）、ステップＳ１２に再び戻る。また、番組データの録画又は再生が終了と判定した場合には（ステップＳ１９；Ｙｅｓ）、本処理を終了する。
【００５７】
これにより、録画及び再生の対象となった番組データには、各視聴者についての付属情報が対応付けて記録されることになる。なお、ステップＳ１４〜Ｓ１７の実行順序は、図７の例に限定されず、順序の入れ替えが可能であるとする。
【００５８】
次に、図８及び図９を参照して、テレビジョン装置１００の反応分析系の動作について説明する。ここで、図８は、テレビジョン装置１００の反応分析系の再生制御部４１が行う再生制御処理の手順を示すフローチャートである。なお、本処理の前提として、視聴者から操作部２２やリモートコントローラ２３を介して、付属情報に基づく再生（特殊再生）が指示されたとする。
【００５９】
まず、再生制御部４１は、顔検出部３１で検出された顔画像による個人認識部３２の認識結果に基づき、再生を指示した視聴者を特定する（ステップＳ２１）。ここで、視聴者を特定することができない場合には、通常の再生を行う形態としてもよいし、不明者としてステップＳ２２移行の処理を行う形態としてもよい。
【００６０】
続いて、再生制御部４１は、再生対象の番組データに対応付けて記録された付属情報のうち、ステップＳ２１で特定した視聴者（視聴者識別情報）の付属情報を分析し、再生条件に該当する再生区間を特定する（ステップＳ２２）。次いで、再生制御部４１は、ステップＳ２２で特定した再生区間を、ダイジェスト再生やジャンプ再生等で再生を開始する（ステップＳ２３）。
【００６１】
これにより、再生対象の番組データのうち、再生条件に該当した区間、即ち視聴者が関心を示した区間を、ダイジェスト再生やジャンプ再生を用いて簡潔に提示することができるため、視聴者の利便性を向上させることができる。
【００６２】
図９は、テレビジョン装置１００の反応分析系の嗜好性分析部４２及び番組推奨部４３が行う番組推奨処理の手順を示すフローチャートである。なお、本処理の前提として、視聴者から操作部２２やリモートコントローラ２３を介して、推奨情報の提示が指示されたとする。
【００６３】
まず、嗜好性分析部４２は、顔検出部３１で検出された顔画像による個人認識部３２の認識結果に基づき、提示を指示した視聴者を特定する（ステップＳ３１）。ここで、視聴者を特定することができない場合には、本処理を直ちに終了する形態としてもよいし、不明者としてステップＳ３２に移行する形態としてもよい。
【００６４】
続いて、嗜好性分析部４２は、ＨＤＤ２７の各番組データに対応付けて記録された番組内容情報と、ステップＳ３１で特定した視聴者（視聴者識別情報）の付属情報とに基づいて当該視聴者の嗜好性を分析し、嗜好性分析結果を出力する（ステップＳ３２）。
【００６５】
続いて、番組推奨部４３は、ステップＳ３３で出力された嗜好性分析結果から嗜好要素を読み出すと（ステップＳ３３）、この嗜好要素に該当する番組の番組内容情報を電子番組ガイドから抽出する（ステップＳ３４）。そして、番組推奨部４３は、ステップＳ３４で抽出した各番組の番組内容情報を、推奨情報として表示部３に表示し（ステップＳ３５）、本処理を終了する。
【００６６】
これにより、放送中或いは放送予定の番組の中から、視聴者が興味を持つと推定される番組を推奨情報として提示することができるため、視聴者の嗜好により適合した番組を視聴候補として提示することができる。
【００６７】
以上のように、本実施形態のテレビジョン装置１００によれば、当該番組データを視聴する視聴者の反応を付属情報として番組データのタイムラインに沿って記録し、この付属情報から導出される視聴者の嗜好性に基づいて、番組データの再生や視聴候補となる番組を推奨する。そのため、テレビジョン装置１００を視聴する視聴者は、自己の嗜好性に適合した場面を簡潔に視聴することや、番組を選択することができるため、視聴者の利便性をより向上させることができる。
【００６８】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６９】
２１…制御部、２２…操作部、２３…リモートコントローラ、２７…ＨＤＤ、３１…顔検出部、３２…個人認識部、３３…表情検出部、３４…動作検出部、３５…番組音声分析部、３６…視聴者音声分析部、３７…反応記録部、４１…再生制御部、４２…嗜好性分析部、４３…番組推奨部、１００…テレビジョン装置。
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及び情報処理方法に関するものである。
【背景技術】
【０００２】
近年、テレビジョン受信装置等の放送番組を視聴可能な情報処理装置において、カメラ等の撮像装置を設けたものが登場している。また、撮像装置により装置周辺の環境を撮像し、その撮像画像から周辺環境に関する情報を取得するものが存在している。従来、表示されたコンテンツに対する視聴者の視聴状態を撮像画像から検出し、視聴者の顔等の向きから視聴者が見逃したコンテンツの箇所を特定する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１８８６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、視聴の対象となった番組と当該番組を視聴した視聴者の反応との関係性については何ら考慮されておらず、視聴者の利便性を向上させる上で改善の余地があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、番組を視聴する視聴者の利便性を向上させることが可能な情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施の形態の情報処理装置は、撮像手段と、顔検出手段と、反応検出手段と、記録手段と、特定手段とを備える。撮像手段は、番組を視聴する視聴者を撮像した撮像データを取得する。顔検出手段は、撮像データに含まれる顔画像を検出する。反応検出手段は、顔検出手段で検出された顔画像から、番組に対する視聴者の反応を検出する。記録手段は、反応検出手段での検出結果を付属情報とし、当該付属情報を前記視聴中の番組の時間軸に対応付けて記録する。特定手段は、番組の時間軸上に対応付けて記録された付属情報に基づいて、当該番組内で視聴者が関心を示した区間を特定する。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態に係る情報処理装置（テレビジョン装置）の一例を示す外観斜視図である。
【図２】図２は、テレビジョン装置の信号処理系を示すブロック図である。
【図３】図３は、テレビジョン装置の反応検出系の機能構成を模式的に示すブロック図である。
【図４】図４は、ＨＤＤに記録された番組データの一例を模式的に示す図である。
【図５】図５は、テレビジョン装置の反応分析系の機能構成を模式的に示すブロック図である。
【図６】図６は、嗜好性分析結果の一例を示す図である。
【図７】図７は、テレビジョン装置の反応検出系が行う反応記録処理の手順を示すフローチャートである。
【図８】図８は、テレビジョン装置の反応分析系の再生制御部が行う再生制御処理の手順を示すフローチャートである。
【図９】図９は、テレビジョン装置の反応分析系の嗜好性分析部及び番組推奨部が行う番組推奨処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、この発明に係る情報処理装置及び情報処理方法の実施の形態を詳細に説明する。なお、本実施形態では、テレビ番組の録画・再生機能を有するテレビジョン装置に適用した例について説明するが、この装置に制限するものではない。
【０００９】
図１は、本実施形態に係るテレビジョン装置１００の一例を示す外観斜視図である。同図に示すように、テレビジョン装置１００は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。テレビジョン装置１００は、筐体２と、表示部３を備えている。
【００１０】
筐体２には、カメラ４とマイク５が設けられている。カメラ４の撮像方向は、テレビジョン装置１００に対向する方向に向けられており、テレビジョン装置１００の視聴者を撮像する目的で用いられる。マイク５の収音方向は、カメラ４と同様テレビジョン装置１００に対向する方向に向けられており、テレビジョン装置１００の視聴者の声を収音する目的で用いられる。また、筐体２は、支持部６に支持されている。なお、カメラ４及びマイク５の取り付け位置は図１の例に限らず、テレビジョン装置１００に外付けする形態としてもよい。
【００１１】
図２は、テレビジョン装置１００の信号処理系を示すブロック図である。同図に示すように、テレビジョン装置１００は、アンテナ１１で受信した放送信号を、入力端子１２を介してチューナ部１３に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
【００１２】
テレビジョン装置１００は、チューナ部１３で選局された放送信号を、復調復号部１４に供給してデジタル映像信号及びデジタル音声信号等に復元した後、信号処理部１５に出力する。信号処理部１５は、復調復号部１４から供給されたデジタルの映像信号及び音声信号に対してそれぞれ所定のデジタル信号処理を施す。
【００１３】
ここで、信号処理部１５が行なう所定のデジタル信号処理には、通常の平面視表示用の映像信号を立体視表示用の映像信号に変換する処理、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
【００１４】
また、信号処理部１５は、デジタル映像信号を合成処理部１６に出力し、デジタル音声信号を音声処理部１７に出力する。
【００１５】
合成処理部１６は、信号処理部１５から供給されるデジタル映像信号に、ＯＳＤ（On Screen Display）信号生成部１８で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１６は、信号処理部１５から供給される映像信号が平面視表示用の映像信号であれば、その映像信号にＯＳＤ信号生成部１８から供給されたＯＳＤ信号をそのまま重畳して出力している。
【００１６】
また、合成処理部１６は、信号処理部１５から供給される映像信号が立体視表示用の映像信号である場合、ＯＳＤ信号生成部１８から供給されたＯＳＤ信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのＯＳＤ信号を入力映像信号に重畳して出力している。
【００１７】
テレビジョン装置１００は、合成処理部１６から出力したデジタルの映像信号を、映像処理部１９に供給する。映像処理部１９は、入力されたデジタル映像信号を、後段の、表示部３で表示可能なフォーマットのアナログ映像信号に変換している。テレビジョン装置１００は、映像処理部１９から出力されたアナログ映像信号を、表示部３に供給して映像表示に供する。表示部３は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスを有し、映像処理部１９から出力されたアナログ映像信号を表示する。
【００１８】
音声処理部１７は、入力されたデジタル音声信号を、後段のスピーカ２０で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１７から出力されたアナログ音声信号が、スピーカ２０に供給されることにより音声再生に供される。
【００１９】
ここで、テレビジョン装置１００は、上記した各種の受信動作を含むその全ての動作を制御部２１によって統括的に制御している。この制御部２１は、ＣＰＵ（central processing nit）２１１、ＣＰＵ２１１が実行するプログラムを格納したＲＯＭ（Read Only Memory）２１２、ＣＰＵ２１１に作業エリアを提供するためのＲＡＭ（Random Access Memory）２１３、上述した領域情報等の各種の設定情報や制御情報等が格納された不揮発性メモリ２１４を有しており、ＣＰＵ２１１と各種プログラムとの協働により各部の動作が統括的に制御する。
【００２０】
具体的に、制御部２１は、テレビジョン装置１００の本体に設置された操作部２２からの操作情報を受けて、または、リモートコントローラ２３から送出され受信部２４で受信した操作情報を受けて、その操作内容が反映されるように各部を制御する。
【００２１】
また、制御部２１は、復調復号部１４で復元された信号からＥＰＧ（Electronic Program Guide）等の電子番組ガイドを取得し、視聴者による操作部２２やリモートコントローラ２３の操作に応じて、当該電子番組ガイドをＯＳＤ信号生成部１８や映像処理部１９に供給することで放送中又は放送予定の番組表を視聴者に提供する。ここで、電子番組ガイドには、各番組のジャンルやタイトル、番組概要、出演者等の番組内容を示した番組内容情報が含まれているものとする。
【００２２】
また、制御部２１には、ディスクドライブ部２５が接続されていてもよい。ディスクドライブ部２５は、例えばＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disk）等の光ディスク２６を着脱自在とするもので、装着された光ディスク２６に対してデジタルデータの記録再生を行なう機能を有している。
【００２３】
制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、復調復号部１４から得られるデジタルの映像信号及び音声信号を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２５に供給して光ディスク２６に記録させるように制御することができる。
【００２４】
また、制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、ディスクドライブ部２５により光ディスク２６からデジタルの映像信号及び音声信号を読み出させ、記録再生処理部２８によって復号化した後、信号処理部１５に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００２５】
また、制御部２１には、ＨＤＤ（Hard Disk Drive）２７が接続されている。ＨＤＤ２７は、外付け装置としての形態を取っても構わない。制御部２１は、視聴者から操作部２２やリモートコントローラ２３を介して、録画対象の番組が指定されると、復調復号部１４から得られるこの番組の映像信号及び音声信号（以下、番組データという）を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ２７に供給して記録させることで番組の録画を行う。なお、番組の録画の際には、その番組の番組データに番組内容情報を対応付けて記録するものとする。
【００２６】
また、制御部２１は、視聴者から操作部２２やリモートコントローラ２３を介して、ＨＤＤ２７に録画された番組（番組データ）から再生対象の番組が指定されると、この指定された番組の番組データをＨＤＤ２７から読み出し、記録再生処理部２８によって復号化した後、信号処理部１５に供給することによって、上記した映像表示及び音声再生に供させるように制御することで、番組データの再生を行う。
【００２７】
さらに、テレビジョン装置１００には、入力端子２９が接続されている。入力端子２９は、テレビジョン装置１００の外部からデジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子２９を介して入力されたデジタルの映像信号及び音声信号は、制御部２１の制御に基づいて、記録再生処理部２８を介した後、信号処理部１５に供給されて、以後、上記した映像表示及び音声再生に供される。
【００２８】
また、入力端子２９を介して入力されたデジタル映像信号及びデジタル音声信号は、制御部２１の制御に基づいて、記録再生処理部２８を介した後、ディスクドライブ部２５による光ディスク２６に対しての記録再生や、ＨＤＤ２７に対しての記録再生に供される。
【００２９】
なお、制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、ディスクドライブ部２５とＨＤＤ２７との間で、光ディスク２６に記録されているデジタル映像信号及びデジタル音声信号をＨＤＤ２７に記録したり、ＨＤＤ２７に記録されているデジタル映像信号及びデジタル音声信号を光ディスク２６に記録したりすることも制御している。
【００３０】
また、制御部２１には、カメラ４及びマイク５が接続されている。このカメラ４は、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタルカメラやビデオカメラであり、テレビジョン装置１００に対向する方向、つまりテレビジョン装置１００の視聴方向を撮像し、その撮像データを制御部２１に出力する。マイク５は、マイクロフォン等の収音装置であり、テレビジョン装置１００の視聴する方向の音声を収音し、その音声データを制御部２１に出力する。
【００３１】
次に、本実施形態のテレビジョン装置１００に固有の制御部２１の機能構成について説明する。制御部２１は本実施形態のテレビジョン装置１００に固有の機能構成として、番組に対する視聴者の反応の検出及び記録を行う反応検出系と、反応検出系での検出結果を用いて各種処理を行う反応分析系とを備える。
【００３２】
図３は、テレビジョン装置１００の反応検出系の機能構成を模式的に示すブロック図である。同図に示すように、制御部２１は、ＣＰＵ２１１と、ＲＯＭ２１２や不揮発性メモリ２１４に記憶された所定のプログラムとの協働により、顔検出部３１と、個人認識部３２と、表情検出部３３と、動作検出部３４と、番組音声分析部３５と、視聴者音声分析部３６と、反応記録部３７と、反応検出系の機能部として実現する。
【００３３】
顔検出部３１は、カメラ４から入力される撮像データを処理して、人物の頭部や顔を検出する。個人認識部３２は、顔検出部３１で検出された撮像データ内の顔画像を、予め登録された人物の顔画像と比較することで、テレビジョン装置１００を視聴する視聴者（人物）を特定する。なお、顔検出部３１及び個人認識部３２における頭部や顔検出、顔認識等は周知の技術を用いるものとする。
【００３４】
表情検出部３３は、顔検出部３１で検出された撮像データ内の顔画像から、所定の表情を検出する。表情検出部３３が検出する表情としては、例えば、笑顔や泣き顔、無表情、驚いた表情、怒った表情、退屈した表情、困った表情等が挙げられる。動作検出部３４は、顔検出部３１で検出された撮像データ内での顔画像の位置の変化を時系列的に解析することで、単位時間あたりの顔の動き量を検出する。なお、表情検出部３３における表情検出や、動作検出部３４における動き量の検出は周知の技術を用いるものとする。
【００３５】
番組音声分析部３５は、録画対象の番組データに含まれる音声信号を解析し、歓声が大きく盛り上がった第１歓声区間を検出する。視聴者音声分析部３６は、マイク５から入力される音声データを解析し、視聴者の歓声が大きく盛り上がった第２歓声区間を検出する。なお、番組音声分析部３５及び視聴者音声分析部３６における歓声検出は周知の技術を用いるものとする。また、視聴者音声分析部３６における音声データの解析は、テレビジョン装置１００からの音声が除去された後、行われるものとする。
【００３６】
反応記録部３７は、番組データの録画及び再生時において、表情検出部３３、動作検出部３４、番組音声分析部３５及び視聴者音声分析部３６でリアルタイムに検出される各種データを付属情報とし、当該付属情報を番組データの時間軸に対応付けて記録する。また、反応記録部３７は、個人認識部３２により視聴者が特定されている場合、この視聴者を識別する視聴者識別情報を付属情報に付加することで、付属情報を視聴者単位で記録する。
【００３７】
ここで、図４は、ＨＤＤ２７に記録された番組データの一例を模式的に示す図である。同図では個人認識部３２で特定された視聴者（視聴者識別情報：視聴者Ａ）についての、表情検出部３３、動作検出部３４、番組音声分析部３５及び視聴者音声分析部３６での検出結果を示しており、これら検出結果が付属情報として、番組データの時間軸（タイムライン）に沿って記録されている。例えば、図４では、番組音声分析部３５により歓声区間と検出されたｔ３〜ｔ６の区間において、視聴者Ａの表情が「笑顔」となり、顔の動き量が増大し、歓声をあげたことが示されている。なお、番組データの区間は、フレーム単位としてもよいし、１０秒等の時間単位としてもよい。
【００３８】
このように、テレビジョン装置１００の反応検出系では、番組データの録画及び再生時にその番組を視聴する視聴者の反応を検出し、その検出結果を付属情報として番組データのタイムラインと対応付けて記録する。なお、視聴者がテレビジョン装置１００に対し顔を横に向けている場合や、テレビジョン装置１００の前から離れた場合には、顔検出部３１による顔検出が行われないため、その間の検出結果はデータ無しとなる。
【００３９】
なお、本実施形態では、番組データの録画及び再生時に付属情報を記録する形態としたが、これに限らず、番組データの録画時又は再生時に付属情報を記録する形態としてもよい。また、ＨＤＤ２７に録画された番組データに付属情報が記録されていない場合に、当該番組データの再生時に付属情報を記録する形態としてもよい。
【００４０】
図５は、テレビジョン装置１００の反応分析系の機能構成を模式的に示すブロック図である。同図に示すように、制御部２１は、ＣＰＵ２１１と、ＲＯＭ２１２や不揮発性メモリ２１４に記憶された所定のプログラムとの協働により、再生制御部４１と、嗜好性分析部４２と、番組推奨部４３とを反応分析系の機能部として実現する。
【００４１】
再生制御部４１は、番組データに対応付けて記録された付属情報に基づいて、当該番組データの再生を行う機能部である。具体的に、再生制御部４１は、視聴者から操作部２２やリモートコントローラ２３を介して、付属情報に基づく再生（特殊再生）が指示されると、個人認識部３２の認識結果に基づいて再生を指示した視聴者を特定する。また、再生制御部４１は、再生対象の番組データに対応付けて記録された付属情報のうち、特定した視聴者の付属情報に所定の条件（以下、再生条件）を適用し、当該再生条件に該当する区間を、その視聴者が関心を示した再生区間として特定する。そして、再生制御部４１は、各再生区間をダイジェスト再生やジャンプ再生等で再生する。ここで、ダイジェスト再生とは、再生区間を時系列順に自動再生する機能を意味し、ジャンプ再生とは、操作部２２やリモートコントローラ２３を介して指示に応じて、再生区間を時系列順に順次再生する機能を意味する。
【００４２】
ここで、再生条件は任意に設定できるものとする。例えば、顔の表情が「笑顔」の区間を再生条件としてもよいし、顔の動き量が所定のレベル以上又は以下の場合を再生条件としてもよいし、第２歓声区間を再生条件としてもよい。また、番組音声分析部３５での検出結果を補助的に用い、番組音声分析部３５で検出された第１歓声区間と、視聴者音声分析部３６で検出された第２歓声区間とが一致した区間を再生条件としてもよい。
【００４３】
なお、再生条件を適用先は、表情検出部３３、動作検出部３４及び視聴者音声分析部３６から得られる何れか一の検出結果としてもよいし、複数又は全ての検出結果について複合的に適用する形態としてもよい。また、動き量のレベル設定は、任意に設定することが可能であるとする。
【００４４】
嗜好性分析部４２は、ＨＤＤ２７の各番組データに対応付けて記録された番組内容情報と、付属情報とに基づき、視聴者毎の嗜好性を分析する。例えば、嗜好性分析部４２は、ＨＤＤ２７に録画された番組の各ジャンルについて、各視聴者の表情変化や顔の動き量、歓声区間等を所定の指標に基づいて分析することで、当該ジャンルに対する視聴者の嗜好性を導出する。そして、嗜好性分析部４２は、各視聴者の嗜好性分析結果を嗜好性情報として生成し、ＨＤＤ２７等に出力する。
【００４５】
ここで、嗜好性の判定に係る指標は任意に設定できるものとする。例えば、番組データの全区間のうち、顔の表情が「笑顔」の区間が３０％以上存在した場合を「興味あり」と判定するものとしてもよいし、顔の動き量が静止を示す区間が６０％以上存在した場合を「興味あり」と判定してもよいし、第２歓声区間が５％以上存在した場合を「興味あり」と判定してもよい。また、番組音声分析部３５での検出結果を補助的に用い、番組音声分析部３５で検出された第１歓声区間と、視聴者音声分析部３６で検出された第２歓声区間との一致率が７０％以上の場合を「興味あり」と判定してもよい。また、上述した再生条件を用いる形態としてもよく、例えば、再生条件に基づき特定した再生区間の長さや、番組全編に占める再生区間の割合等を、嗜好性の判定に係る指標として定めてもよい。
【００４６】
図６は、嗜好性分析結果の一例を示す図である。同図に示すように、嗜好性分析結果には、個人認識部３２で認識された視聴者毎に、その視聴者が嗜好性を有すると判定した番組ジャンル等の嗜好要素が対応付けて格納される。
【００４７】
なお、嗜好性の判定は、表情検出部３３、動作検出部３４及び視聴者音声分析部３６の何れか一の検出結果に基づいて行う形態としてもよいし、表情検出部３３、動作検出部３４及び視聴者音声分析部３６の全て又は何れかの検出結果から複合的に判定する形態としてもよい。また、嗜好性の分析対象は番組のジャンルに限らず、番組タイトルや出演者等の他の要素について分析する形態としてもよい。また、番組内容情報に含まれる番組概要や出演者等の情報が、番組データの時間軸と対応付けて記録されている場合には、当該番組データの区間単位で嗜好性を判定する形態としてもよい。さらに、嗜好性の判定を行うタイミングは特に問わず、例えば、後述する推奨情報の提示が指示されたタイミングで行うこととしてもよく、この場合、提示の指示を行った視聴者について嗜好性分析結果を出力する形態としてもよい。
【００４８】
番組推奨部４３は、嗜好性分析部４２が出力した嗜好性分析結果に基づいて、各視聴者が興味を持ちそうな番組を推奨情報として提示する機能部である。
【００４９】
具体的に、番組推奨部４３は、視聴者から操作部２２やリモートコントローラ２３を介して、推奨情報の提示が指示されると、個人認識部３２の認識結果に基づいて提示を指示した視聴者を特定する。また、番組推奨部４３は、特定した視聴者の視聴者識別情報に対応付けられた番組のジャンルを、嗜好性分析結果から読み出す。また、番組推奨部４３は、電子番組ガイドに含まれた各番組の番組内容情報を参照し、嗜好性分析結果から読み出したジャンルに該当する番組の番組内容情報を電子番組ガイドから抽出する。そして、番組推奨部４３は、電子番組ガイドから抽出した各番組の番組内容情報を、推奨情報として表示部３に表示させる。なお、推奨情報の表示形態は特に問わず、抽出した各番組の番組内容情報を一覧表示する形態としてもよいし、電子番組ガイド内の該当する番組を強調表示する形態としてもよい。
【００５０】
次に、本実施形態に係るテレビジョン装置１００の動作について説明する。
【００５１】
まず、図７を参照して、テレビジョン装置１００の反応検出系の動作について説明する。ここで、図７は、テレビジョン装置１００の反応検出系が行う反応検出処理の手順を示すフローチャートである。なお、本処理の前提として、視聴者から操作部２２やリモートコントローラ２３を介して、特定の番組の録画又は再生が指示されたとする。
【００５２】
番組データの録画又は再生が開始されると（ステップＳ１１）、顔検出部３１は顔画像の検出を開始し、カメラ４から入力される撮像データから人物の顔画像を検出できるか否かを判定する（ステップＳ１２）。ここで、顔画像が検出できないと判定された場合（ステップＳ１２；Ｎｏ）、ステップＳ１９に直ちに移行する。
【００５３】
一方、ステップＳ１２において顔画像が検出された場合（ステップＳ１２；Ｙｅｓ）、個人認識部３２は、検出された顔画像と予め登録された視聴者の顔画像とを比較することで、視聴者を特定する（ステップＳ１３）。なお、視聴者を特定することができない場合には、ステップＳ１９に直ちに移行することで視聴者の反応検出をスキップする形態としてもよいし、不明者の反応検出としてステップＳ１４に移行する形態としてもよい。
【００５４】
続いて、表情検出部３３は、ステップＳ１２で検出された顔画像から表情を検出する（ステップＳ１４）。また、動作検出部３４は、ステップＳ１２で検出された顔画像の位置の時系列的な変化量から、単位時間当たりの顔の動き量を検出する（ステップＳ１５）。
【００５５】
次いで、番組音声分析部３５は、録画中又は再生中の番組データの音声信号を解析し、歓声の盛り上りを検出した場合にはその区間を第１歓声区間として検出する（ステップＳ１６）。また、視聴者音声分析部３６は、マイク５から入力される音声データを解析し、歓声の盛り上りを検出した場合にはその区間を第２歓声区間として検出する（ステップＳ１７）。
【００５６】
反応記録部３７は、ステップＳ１２で特定された視聴者の視聴者識別情報と、ステップＳ１４〜Ｓ１７での検出結果とを付属情報とし、当該付属情報を録画中又は再生中の番組データのタイムラインに対応付けて記録する（ステップＳ１８）。続いて、反応検出系は番組データの録画又は再生が終了したか否かを判定し、終了していないと判定した場合には（ステップＳ１９；Ｎｏ）、ステップＳ１２に再び戻る。また、番組データの録画又は再生が終了と判定した場合には（ステップＳ１９；Ｙｅｓ）、本処理を終了する。
【００５７】
これにより、録画及び再生の対象となった番組データには、各視聴者についての付属情報が対応付けて記録されることになる。なお、ステップＳ１４〜Ｓ１７の実行順序は、図７の例に限定されず、順序の入れ替えが可能であるとする。
【００５８】
次に、図８及び図９を参照して、テレビジョン装置１００の反応分析系の動作について説明する。ここで、図８は、テレビジョン装置１００の反応分析系の再生制御部４１が行う再生制御処理の手順を示すフローチャートである。なお、本処理の前提として、視聴者から操作部２２やリモートコントローラ２３を介して、付属情報に基づく再生（特殊再生）が指示されたとする。
【００５９】
まず、再生制御部４１は、顔検出部３１で検出された顔画像による個人認識部３２の認識結果に基づき、再生を指示した視聴者を特定する（ステップＳ２１）。ここで、視聴者を特定することができない場合には、通常の再生を行う形態としてもよいし、不明者としてステップＳ２２移行の処理を行う形態としてもよい。
【００６０】
続いて、再生制御部４１は、再生対象の番組データに対応付けて記録された付属情報のうち、ステップＳ２１で特定した視聴者（視聴者識別情報）の付属情報を分析し、再生条件に該当する再生区間を特定する（ステップＳ２２）。次いで、再生制御部４１は、ステップＳ２２で特定した再生区間を、ダイジェスト再生やジャンプ再生等で再生を開始する（ステップＳ２３）。
【００６１】
これにより、再生対象の番組データのうち、再生条件に該当した区間、即ち視聴者が関心を示した区間を、ダイジェスト再生やジャンプ再生を用いて簡潔に提示することができるため、視聴者の利便性を向上させることができる。
【００６２】
図９は、テレビジョン装置１００の反応分析系の嗜好性分析部４２及び番組推奨部４３が行う番組推奨処理の手順を示すフローチャートである。なお、本処理の前提として、視聴者から操作部２２やリモートコントローラ２３を介して、推奨情報の提示が指示されたとする。
【００６３】
まず、嗜好性分析部４２は、顔検出部３１で検出された顔画像による個人認識部３２の認識結果に基づき、提示を指示した視聴者を特定する（ステップＳ３１）。ここで、視聴者を特定することができない場合には、本処理を直ちに終了する形態としてもよいし、不明者としてステップＳ３２に移行する形態としてもよい。
【００６４】
続いて、嗜好性分析部４２は、ＨＤＤ２７の各番組データに対応付けて記録された番組内容情報と、ステップＳ３１で特定した視聴者（視聴者識別情報）の付属情報とに基づいて当該視聴者の嗜好性を分析し、嗜好性分析結果を出力する（ステップＳ３２）。
【００６５】
続いて、番組推奨部４３は、ステップＳ３３で出力された嗜好性分析結果から嗜好要素を読み出すと（ステップＳ３３）、この嗜好要素に該当する番組の番組内容情報を電子番組ガイドから抽出する（ステップＳ３４）。そして、番組推奨部４３は、ステップＳ３４で抽出した各番組の番組内容情報を、推奨情報として表示部３に表示し（ステップＳ３５）、本処理を終了する。
【００６６】
これにより、放送中或いは放送予定の番組の中から、視聴者が興味を持つと推定される番組を推奨情報として提示することができるため、視聴者の嗜好により適合した番組を視聴候補として提示することができる。
【００６７】
以上のように、本実施形態のテレビジョン装置１００によれば、当該番組データを視聴する視聴者の反応を付属情報として番組データのタイムラインに沿って記録し、この付属情報から導出される視聴者の嗜好性に基づいて、番組データの再生や視聴候補となる番組を推奨する。そのため、テレビジョン装置１００を視聴する視聴者は、自己の嗜好性に適合した場面を簡潔に視聴することや、番組を選択することができるため、視聴者の利便性をより向上させることができる。
【００６８】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６９】
２１…制御部、２２…操作部、２３…リモートコントローラ、２７…ＨＤＤ、３１…顔検出部、３２…個人認識部、３３…表情検出部、３４…動作検出部、３５…番組音声分析部、３６…視聴者音声分析部、３７…反応記録部、４１…再生制御部、４２…嗜好性分析部、４３…番組推奨部、１００…テレビジョン装置。
【特許請求の範囲】
【請求項１】
番組を視聴する視聴者を撮像した撮像データを取得する撮像手段と、
前記撮像データに含まれる顔画像を検出する顔検出手段と、
前記顔検出手段で検出された顔画像から、前記番組に対する前記視聴者の反応を検出する反応検出手段と、
前記反応検出手段での検出結果を付属情報とし、当該付属情報を前記視聴中の番組の時間軸に対応付けて記録する記録手段と、
前記番組の時間軸上に対応付けて記録された前記付属情報に基づいて、当該番組内で前記視聴者が関心を示した区間を特定する特定手段と、
を備える情報処理装置。
【請求項２】
前記反応検出手段は、前記顔画像から前記視聴者の表情を検出する表情検出手段を有し、
前記記録手段は、前記表情検出手段で検出された前記視聴者の表情を前記付属情報として記録する、請求項１に記載の情報処理装置。
【請求項３】
前記反応検出手段は、前記撮像データ内における前記顔画像の位置の変化量から、前記視聴者の動き量を検出する動作検出手段を有し、
前記記録手段は、前記動作検出手段で検出された前記視聴者の動き量を前記付属情報として記録する、請求項１又は２に記載の情報処理装置。
【請求項４】
録画又は再生中の番組を視聴する視聴者が発する歓声を検出する視聴者音声検出手段を更に備え、
前記記録手段は、前記視聴者音声検出手段が歓声を検出した区間を示す情報を、前記付属情報に含めて記録する、請求項１〜３の何れか一項に記載の情報処理装置。
【請求項５】
録画又は再生中の番組を視聴する視聴者が発する歓声を検出する視聴者音声分析手段を更に備え、
前記記録手段は、前記視聴者音声検出手段が歓声を検出した区間を示す情報を、前記付属情報に含めて記録する、請求項１〜４の何れか一項に記載の情報処理装置。
【請求項６】
録画又は再生中の番組に含まれる音声から歓声を検出する番組音声分析手段を更に備え、
前記記録手段は、前記番組音声分析手段が歓声を検出した区間を示す情報を、前記付属情報に含めて記録する、請求項１〜５の何れか一項に記載の情報処理装置。
【請求項７】
前記番組の時間軸上に対応付けて記録された前記付属情報と、当該番組の番組内容を示した番組内容情報とに基づいて、前記視聴者が嗜好性を有する嗜好要素を導出する嗜好性分析手段と、
前記嗜好要素を含む番組を提示する提示手段と、
を更に備える請求項１〜６の何れか一項に記載の情報処理装置。
【請求項８】
前記顔検出手段で検出された顔画像と、予め登録された視聴者の顔画像とを比較し、前記番組を視聴中の視聴者を特定する個人認識手段を更に備え、
前記記録手段は、前記個人認識手段で特定された視聴者を識別する識別情報と対応付けて前記付属情報を記録し、
前記嗜好性分析手段は、前記嗜好要素の導出を前記付属情報に対応付けられた前記識別情報毎に行う、請求項７に記載の情報処理装置。
【請求項９】
撮像手段が、番組を視聴する視聴者を撮像した撮像データを取得する撮像工程と、
顔検出手段が、前記撮像データに含まれる顔画像を検出する顔検出工程と、
反応検出手段が、前記顔検出工程で検出された顔画像から、前記番組に対する前記視聴者の反応を検出する反応検出工程と、
記録手段が、前記反応検出工程での検出結果を付属情報とし、当該付属情報を前記視聴中の番組の時間軸に対応付けて記録する記録工程と、
特定手段が、前記番組の時間軸上に対応付けて記録された前記付属情報に基づいて、当該番組内で前記視聴者が関心を示した区間を特定する特定工程と、
を含む情報処理方法。
【請求項１】
番組を視聴する視聴者を撮像した撮像データを取得する撮像手段と、
前記撮像データに含まれる顔画像を検出する顔検出手段と、
前記顔検出手段で検出された顔画像から、前記番組に対する前記視聴者の反応を検出する反応検出手段と、
前記反応検出手段での検出結果を付属情報とし、当該付属情報を前記視聴中の番組の時間軸に対応付けて記録する記録手段と、
前記番組の時間軸上に対応付けて記録された前記付属情報に基づいて、当該番組内で前記視聴者が関心を示した区間を特定する特定手段と、
を備える情報処理装置。
【請求項２】
前記反応検出手段は、前記顔画像から前記視聴者の表情を検出する表情検出手段を有し、
前記記録手段は、前記表情検出手段で検出された前記視聴者の表情を前記付属情報として記録する、請求項１に記載の情報処理装置。
【請求項３】
前記反応検出手段は、前記撮像データ内における前記顔画像の位置の変化量から、前記視聴者の動き量を検出する動作検出手段を有し、
前記記録手段は、前記動作検出手段で検出された前記視聴者の動き量を前記付属情報として記録する、請求項１又は２に記載の情報処理装置。
【請求項４】
録画又は再生中の番組を視聴する視聴者が発する歓声を検出する視聴者音声検出手段を更に備え、
前記記録手段は、前記視聴者音声検出手段が歓声を検出した区間を示す情報を、前記付属情報に含めて記録する、請求項１〜３の何れか一項に記載の情報処理装置。
【請求項５】
録画又は再生中の番組を視聴する視聴者が発する歓声を検出する視聴者音声分析手段を更に備え、
前記記録手段は、前記視聴者音声検出手段が歓声を検出した区間を示す情報を、前記付属情報に含めて記録する、請求項１〜４の何れか一項に記載の情報処理装置。
【請求項６】
録画又は再生中の番組に含まれる音声から歓声を検出する番組音声分析手段を更に備え、
前記記録手段は、前記番組音声分析手段が歓声を検出した区間を示す情報を、前記付属情報に含めて記録する、請求項１〜５の何れか一項に記載の情報処理装置。
【請求項７】
前記番組の時間軸上に対応付けて記録された前記付属情報と、当該番組の番組内容を示した番組内容情報とに基づいて、前記視聴者が嗜好性を有する嗜好要素を導出する嗜好性分析手段と、
前記嗜好要素を含む番組を提示する提示手段と、
を更に備える請求項１〜６の何れか一項に記載の情報処理装置。
【請求項８】
前記顔検出手段で検出された顔画像と、予め登録された視聴者の顔画像とを比較し、前記番組を視聴中の視聴者を特定する個人認識手段を更に備え、
前記記録手段は、前記個人認識手段で特定された視聴者を識別する識別情報と対応付けて前記付属情報を記録し、
前記嗜好性分析手段は、前記嗜好要素の導出を前記付属情報に対応付けられた前記識別情報毎に行う、請求項７に記載の情報処理装置。
【請求項９】
撮像手段が、番組を視聴する視聴者を撮像した撮像データを取得する撮像工程と、
顔検出手段が、前記撮像データに含まれる顔画像を検出する顔検出工程と、
反応検出手段が、前記顔検出工程で検出された顔画像から、前記番組に対する前記視聴者の反応を検出する反応検出工程と、
記録手段が、前記反応検出工程での検出結果を付属情報とし、当該付属情報を前記視聴中の番組の時間軸に対応付けて記録する記録工程と、
特定手段が、前記番組の時間軸上に対応付けて記録された前記付属情報に基づいて、当該番組内で前記視聴者が関心を示した区間を特定する特定工程と、
を含む情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１６９０３（Ｐ２０１３−１６９０３Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４６３６５（Ｐ２０１１−１４６３６５）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]