コンテンツ管理装置及びコンテンツ再生装置
【課題】映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示すコンテンツ等の撮影コンテンツとを、分かり易くリストアップすることが可能に集計できるコンテンツ管理装置を提供する。
【解決手段】コンテンツ管理装置は、映像コンテンツと、その映像コンテンツの再生中に視聴者を被写体として撮影されその映像コンテンツに関連付けられて格納された撮影コンテンツとから、映像コンテンツのジャンル毎に及び／又は視聴者の状態毎に、映像コンテンツ及び撮影コンテンツのシーンを分類する分類部２１ｘと、分類部２１ｘでの分類結果を管理情報ファイル１７ａ等として記憶するＨＤＤ１７等の記憶部と、を備える。
【解決手段】コンテンツ管理装置は、映像コンテンツと、その映像コンテンツの再生中に視聴者を被写体として撮影されその映像コンテンツに関連付けられて格納された撮影コンテンツとから、映像コンテンツのジャンル毎に及び／又は視聴者の状態毎に、映像コンテンツ及び撮影コンテンツのシーンを分類する分類部２１ｘと、分類部２１ｘでの分類結果を管理情報ファイル１７ａ等として記憶するＨＤＤ１７等の記憶部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ管理装置、及びそのコンテンツ管理装置を備えたコンテンツ再生装置に関する。
【背景技術】
【０００２】
従来から、映像コンテンツを再生中にその視聴者を撮影する技術が開示されている。
例えば、特許文献１には、テレビ番組と同時にテレビ装置に繋いだカメラの映像も記録し、一方を再生する時にもう一方も同時再生する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０４３４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術をはじめとする従来の技術では、膨大な記録データから所望の映像を視聴するのが困難であり、また、同時再生に必要な２つの映像を録画するために多量の記憶容量を必要とする。
【０００５】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、放送番組等の映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示すコンテンツ等の撮影コンテンツとを、分かり易くリストアップすることが可能に集計できるコンテンツ管理装置、及びそのコンテンツ管理装置を備え、分かり易くリストアップすることが可能なコンテンツ再生装置を提供することにある。
【０００６】
また、本発明の他の目的は、上述のコンテンツ管理装置において、不要な映像コンテンツ又は不要な映像コンテンツ及び撮影コンテンツを消去し、記憶容量を低減することが可能なコンテンツ管理装置、及びそのコンテンツ管理装置を備えたコンテンツ再生装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の技術手段は、コンテンツ管理装置において、映像コンテンツと、該映像コンテンツの再生中に視聴者を被写体として撮影され該映像コンテンツに関連付けられて格納された撮影コンテンツとから、前記映像コンテンツのジャンル毎に及び／又は前記視聴者の状態毎に、前記映像コンテンツ及び前記撮影コンテンツのシーンを分類する分類部と、該分類部での分類結果を管理情報ファイルとして記憶する記憶部と、を備えたことを特徴としたものである。
【０００８】
第２の技術手段は、第１の技術手段において、前記記憶部は、前記管理情報ファイルを、前記シーン毎に個別のファイルとして記憶することを特徴としたものである。
【０００９】
第３の技術手段は、第１又は第２の技術手段において、前記記憶部は、予め定められた複数の状態に該当するシーンについての分類結果のみを記憶することを特徴としたものである。
【００１０】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記視聴者として撮影対象となった人物を判定する人物判定部を備え、前記分類部は、ジャンル毎及び／又は前記視聴者の状態毎に、且つ前記人物判定部で判定された人物毎に、前記映像コンテンツ及び前記撮影コンテンツのシーンを分類することを特徴としたものである。
【００１１】
第５の技術手段は、第４の技術手段において、前記記憶部は、予め定められた人物に該当するシーンについての分類結果のみを記憶することを特徴としたものである。
【００１２】
第６の技術手段は、第３又は第５の技術手段において、前記記憶部で記憶したシーン以外のシーンに対応する前記映像コンテンツ及び前記撮影コンテンツを、格納先から消去する消去部を備えたことを特徴としたものである。
【００１３】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記視聴者の状態は、前記視聴者の表情及び／又は行動であることを特徴としたものである。
【００１４】
第８の技術手段は、第１〜第７のいずれか１の技術手段におけるコンテンツ管理装置と、前記映像コンテンツと前記映像コンテンツに関連付けられた撮影コンテンツとを同時に再生する同時再生部とを備えたコンテンツ再生装置であって、前記コンテンツ再生装置は、前記管理情報ファイルに基づきシーンのリストを表示するリスト表示部を備え、前記同時再生部は、前記リスト表示部で表示されたリストのうちユーザ選択されたシーンについての前記映像コンテンツ及び前記撮影コンテンツを同時に再生することを特徴としたものである。
【００１５】
第９の技術手段は、第８の技術手段において、前記リスト表示部は、ユーザ入力された検索条件をキーとして前記管理情報ファイルに基づき検索した結果のシーンについてのリストを表示することを特徴としたものである。
【００１６】
第１０の技術手段は、第８又は第９の技術手段において、前記コンテンツ再生装置は、前記管理情報ファイルに基づき、ジャンル毎及び／又は前記視聴者の状態毎に、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する概略リスト表示部を備え、前記リスト表示部は、前記概略リスト表示部で表示されたリストのうち、ユーザ選択されたジャンル及び／又は前記視聴者の状態に該当するシーンのリストを表示することを特徴としたものである。
【００１７】
第１１の技術手段は、第４又は第５の技術手段におけるコンテンツ管理装置と、前記映像コンテンツと前記映像コンテンツに関連付けられた撮影コンテンツとを同時に再生する同時再生部とを備えたコンテンツ再生装置であって、前記コンテンツ再生装置は、前記管理情報ファイルに基づき、ジャンル毎及び／又は前記視聴者の状態毎に、且つ人物毎に、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する概略リスト表示部と、前記概略リスト表示部で表示されたリストのうち、ユーザ選択されたジャンル及び／又は前記視聴者の状態に該当し且つ人物に該当するシーンのリストを、前記管理情報ファイルに基づき表示するシーンのリストを表示するリスト表示部を備え、前記同時再生部は、前記リスト表示部で表示されたリストのうちユーザ選択されたシーンについての前記映像コンテンツ及び前記撮影コンテンツを同時に再生することを特徴としたものである。
【００１８】
第１２の技術手段は、第８〜第１１のいずれか１の技術手段において、前記映像コンテンツは、放送されたコンテンツであり、前記コンテンツ再生装置は、前記映像コンテンツを受信して再生する再生部と、前記撮影コンテンツを撮影するためのカメラと、前記再生部で前記映像コンテンツを再生中に、前記カメラで撮影された前記撮影コンテンツと再生中の前記映像コンテンツとを関連付けて記憶する録画部と、を備えたことを特徴としたものである。
【００１９】
第１３の技術手段は、第８〜第１１のいずれか１の技術手段において、前記映像コンテンツは、記録済みのコンテンツであり、前記コンテンツ再生装置は、前記映像コンテンツを記録先から読み出して再生する再生部と、前記撮影コンテンツを撮影するためのカメラと、前記再生部で前記映像コンテンツを再生中に、該カメラで撮影された前記撮影コンテンツと関連付けて記憶する録画部と、を備えたことを特徴としたものである。
【発明の効果】
【００２０】
本発明のコンテンツ管理装置によれば、放送番組等の映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示すコンテンツ等の撮影コンテンツとを、分かり易くリストアップすることが可能に集計できる。また、本発明のコンテンツ再生装置によれば、そのような分かり易いリストアップができる。
【００２１】
また、本発明の他の形態によれば、さらに、不要な映像コンテンツ又は不要な映像コンテンツ及び撮影コンテンツを消去し、記憶容量を低減することが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係るコンテンツ再生装置の一例であるテレビ装置の一構成例を示すブロック図である。
【図２】図１のテレビ装置で管理される管理情報ファイルの例を示す図である。
【図３】図２の管理情報ファイルの元となる映像コンテンツ及び撮影コンテンツについて説明するための概念図である。
【図４】図１のテレビ装置における一連の処理例を説明するためのフロー図である。
【図５】図４に続く処理例を説明するためのフロー図である。
【図６】図５に続く処理例を説明するためのフロー図である。
【図７】図１のテレビ装置における他の一連の処理例を説明するためのフロー図である。
【図８】図７に続く処理例を説明するためのフロー図である。
【図９】図８に続く処理例を説明するためのフロー図である。
【図１０】図５に続く他の処理例を説明するためのフロー図である。
【図１１】図１０に続く処理例を説明するためのフロー図である。
【図１２】図１のテレビ装置において対象シーンの再生処理へ至る大まかな流れを説明するための画面遷移の一例を示す図である。
【図１３】図１２の概略リスト画面の一例を示す図である。
【図１４】図１３の概略リスト画面のあるシーングループを選択した場合に表示されるリスト画面の一例を示す図である。
【図１５】図１２の概略リスト画面の他の例を示す図である。
【図１６】図１５の概略リスト画面のあるシーングループを選択した場合に表示されるリスト画面の一例を示す図である。
【図１７】図１２の概略リスト画面で検索ボタンを選択したときの検索画面の一例を示す図である。
【図１８】図１４の画面においてあるシーンを選択したときの再生方法の一例を詳細に説明するための図である。
【発明を実施するための形態】
【００２３】
本発明に係るコンテンツ管理装置は、番組などの映像コンテンツとその再生中にカメラで撮影されたコンテンツ等の撮影コンテンツとを管理する装置である。映像コンテンツは、通常の放送波のようにアンテナから受信して録画しながら再生してもよいし、ＩＰ（Internet Protocol）放送のようにネットワーク経由で受信して録画しながら再生してもよい。また、映像コンテンツは、既に記録済みのものを再生してもよい。例えば、ブルーレイディスク等の可搬記録媒体に格納されたものを再生してもよい。さらに、映像コンテンツは、アンテナやネットワーク経由で受信してＨＤＤ（Hard Disk Drive）などに録画済みのものを再生してもよいし、可搬記録媒体から事前にＨＤＤなどにコピーしておいたものを再生してもよい。記録済みのものとしては、例えば、インターネット経由で再生するＶＯＤ（Video On Demand）コンテンツや、ホームサーバに蓄積した写真などの静止画データや、ゲームプログラムの実行により再生されるゲーム画面の映像も、本発明で言うところの映像コンテンツに該当する。ここで、撮影コンテンツは、映像コンテンツの再生中にカメラで撮影され、関連付けられたものであることを前提に説明するが、映像コンテンツの再生とは無関係に撮影された撮影コンテンツであってもよい。以下、基本的に映像コンテンツが放送中（又は配信中）であっても記録済みであっても適用可能な例を挙げるが、本発明に係るコンテンツ管理装置は、その一方のみに対応するだけでもよい。
【００２４】
また、本発明に係るコンテンツ再生装置は、このようなコンテンツ管理装置を備え、映像コンテンツと撮影コンテンツとの同時再生が可能な装置である。このコンテンツ再生装置は、映像コンテンツだけでの再生を行う再生部を備えるようにしておき、撮影コンテンツを取得するためのカメラも内部に具備するか若しくは外部接続しておけばよい。
【００２５】
以下、このようなコンテンツ管理装置を備えたコンテンツ再生装置の一例として、テレビ装置を挙げて説明する。但し、テレビ装置にコンテンツ管理装置のみを組み込んでもよい。さらに、テレビ装置以外にも、例えばレコーダやＳＴＢ（Set Top Box）なども本発明に係るコンテンツ管理装置やコンテンツ再生装置を組み込んでもよく、表示に限っては外部接続したテレビ装置やモニタ装置に出力すれば済む。
【００２６】
図１は、本発明に係るコンテンツ再生装置の一例であるテレビ装置の一構成例を示すブロック図である。
図１で例示するテレビ装置１は、チューナ１１、ＩＰチューナ１２、カメラ１３、マイク１４、映像音声入力部１５、メモリ１６、ＨＤＤ１７、映像音声出力部１８、表示部１９、スピーカ２０、コンテンツ解析部２１、消去部２２、再生映像選択部２３、及び同時再生処理部２４を備える。各構成１１〜２４は直接又は間接的にバス１０に接続されている。入力装置２は、テレビ装置１を操作するためのリモートコントローラ及びその操作信号を受信する受信部や、テレビ装置１の本体に設けられた本体操作部などで構成される。
【００２７】
ここで、各部２１〜２４は、例えばＣＰＵとＲＡＭとＲＯＭによって構成することができる。ＲＯＭには各部２１〜２４としてＣＰＵを機能させるためのプログラムを記録しておき、ＣＰＵがそのプログラムをＲＡＭに読み出して実行することで各部２１〜２４の機能を実現することができる。このプログラムは、様々な種類の可搬記録媒体に格納して流通させることや、放送波やネットワークを介して流通させることができる。なお、ＲＡＭはメモリ１６で代用することができる。
【００２８】
また、テレビ装置１は、レコーダや外付けＨＤＤの所定などの外部機器３にも接続されており、またインターネットやホームネットワークを介してオンラインストレージやホームサーバなどの外部機器４に接続されている。外部機器４がオンラインストレージの場合、ＶＯＤで再生することやＩＰ放送されたコンテンツを再生することができる。外部機器４がホームサーバの場合、記録済み映像コンテンツや音楽、写真などを再生することができる。
【００２９】
テレビ装置１の各構成について説明する。チューナ１１は、地上デジタル放送やＢＳ／ＣＳデジタル衛星放送などの放送波をアンテナで受信し、映像音声出力部１８や外部機器３に出力する。ＩＰチューナ１２は、ネットワークを介して外部機器４からＩＰ放送や記録済み映像コンテンツを受信し、映像音声出力部１８や外部機器３に出力する。また、チューナ１１やＩＰチューナ１２は、必要に応じて、映像コンテンツに関するコンテンツ情報（例えば番組情報）を、後述するコンテンツ解析部２１の映像コンテンツ情報処理部２１ａに渡す。
【００３０】
映像音声出力部１８は、チューナ１１やＩＰチューナ１２若しくは外部機器３から受信した映像データ、音声データを、それぞれ表示部１９、スピーカ２０へ出力する。映像音声出力部１８、表示部１９、及びスピーカ２０は、映像コンテンツを再生する再生部の一例である。
【００３１】
カメラ１３及びマイク１４は、テレビ装置１の再生部で映像コンテンツが再生されているときに、好ましくは自動で起動し、視聴者を被写体として撮影し、その映像データ、音声データを映像音声入力部１５へ入力する。自動起動以外では、例えば視聴者自身や視聴者の保護者等の他者が撮影キーを押すなどにより、起動させてもよい。映像音声入力部１５は、撮影により入力された映像・音声データでなる撮影コンテンツを、後述する撮影コンテンツ情報処理部２１ｂへ出力する。これは後述する表情判定部２１ｄ、行動判定部２１ｅ、人物判定部２１ｆで使用するためである。また、撮影コンテンツは、ＨＤＤ１７又は外部機器３に記録されるが、その制御も撮影コンテンツ情報処理部２１ｂが行えばよい。
【００３２】
また、カメラ１３は後述の人物判定部２１ｆで人物を判定し、その判定結果に基づき自動追尾して撮影することが好ましく、特に撮影方向や撮影倍率なども自動で表情が映るように又は体全体が移るように変更できるようになっていることが好ましい。以下、撮影コンテンツを取得するのはカメラ１３であるように説明するが、基本的にマイク１４による音声データの取得を伴う。
【００３３】
メモリ１６は、テレビ装置１内部でのデータのやり取りや、外部機器３や外部機器４とのデータのやり取りにおいて、バッファとして使用する、ＲＡＭやフレームメモリ等の記憶装置である。ＨＤＤ１７は、後述する管理情報ファイル１７ａ，１７ｂ等の管理情報ファイルを記憶する。
【００３４】
また、外部機器３は、チューナ１１やＩＰチューナ１２から入力された映像コンテンツを記憶することも可能になっている。外部機器３が接続されたテレビ装置１のように、本発明に係るコンテンツ再生装置は、映像コンテンツを録画する録画部を備えることが好ましい。この録画部は、映像コンテンツのみの録画も可能としておけばよいが、再生部で映像コンテンツの再生中にカメラ１３で撮影された撮影コンテンツと、その再生中の映像コンテンツとについては、それらを関連付けて記憶するものとする。また、この録画部は、外部機器３の代わりにＨＤＤ１７など、内部記憶装置に記憶するように構成してもよい。
【００３５】
ここで、映像コンテンツが、テレビ放送やＩＰ放送などの放送されたコンテンツである場合には、上記再生部は、その映像コンテンツを受信して再生すればよい。一方で、映像コンテンツが既に記録済みのコンテンツであった場合、上記再生部は、映像コンテンツを記録先から読み出して再生すればよい。
【００３６】
映像コンテンツのデータ構造は、例えばＭＰＥＧ２、Ｈ．２６４などが挙げられるが、特に問わない。放送番組の場合、一般的に放送番組を録画した時のデータと同じく、放送波の中の番組情報も一緒に格納され、番組の長さも（所要時間）も一緒にメタデータとして格納され、録画日時は自動的に付加されるものとする。放送番組以外の映像コンテンツも同様である。
【００３７】
また、カメラ映像データのデータ構造は、例えばＭＰＥＧ２、Ｈ．２６４などが挙げられるが、特に問わない。一般的にカメラ映像を記録した時のデータと同じく、映像の長さは（所要時間）も一緒にメタデータとして格納され、記録日時は自動的に付加されるものとする。
【００３８】
関連付けの方法についてはどのような方法を採用してもよい。但し、映像コンテンツの再生中の、映像コンテンツ自身と視聴者の様子とが再現できるような、映像コンテンツと撮影コンテンツとの同時再生が、実現できるように関連付けてあればよい。つまり、映像コンテンツと撮影コンテンツとは、例えば再生日時と撮影日時とが合うような同時再生が可能な状態で関連付けられていればよい。無論、Picture in Picture（Ｐ ｉｎ Ｐ）や同サイズでの２画面表示などにより、一方のコンテンツに他方を組み込んで１つのコンテンツとして格納されていてもよい。また、上述のように、映像コンテンツや撮影コンテンツには通常、映像データだけでなく音声データも含まれている。
【００３９】
同時再生処理部２４は、上述した関連付けに従って映像コンテンツと撮影コンテンツとを、同時に再生する処理を、映像音声出力部１８に対して行う。その結果、表示部１９及びスピーカ２０から映像・音声が同時出力される。Ｐ ｉｎ Ｐ表示を行う場合には、撮影コンテンツの方が映像コンテンツより大きな領域を使って表示されることが好ましい。この同時再生時の音声に関し、元の映像コンテンツからのみ音声出力してもよいが、この同時再生自体が視聴者の様子を視聴するためのものであるため、撮影コンテンツからのみ音声出力するか、若しくは双方のコンテンツから音声出力することが好ましい。なお、同時再生処理部２４で再生対象となる映像コンテンツと撮影コンテンツのセットについては後述する。
【００４０】
コンテンツ解析部２１は、映像コンテンツと撮影コンテンツとについて、映像データ、音声データ、コンテンツ情報のいずれか１つ又は複数を解析する。そのため、コンテンツ解析部２１は、映像コンテンツに関する情報を処理する映像コンテンツ情報処理部２１ａと、撮影コンテンツに関する情報を処理する撮影コンテンツ情報処理部２１ｂとを備える。
【００４１】
映像コンテンツ情報処理部２１ａは、録画したテレビ番組、ＩＰ放送、ＶＯＤ配信などの映像コンテンツに一意のＩＤを振り、各種コンテンツの中身を解析する。ここで説明する例ではジャンル毎にシーンを分類する処理を前提とするため、解析としては、少なくとも映像コンテンツのジャンルが分かるような処理が必要である。ジャンルは、電子番組表（ＥＰＧ）のために配信される番組情報（ＳＩ）やそれと同等のコンテンツ情報から取得することができるが、映像コンテンツ自体を解析することによっても得ることができる。
【００４２】
なお、再生対象の映像コンテンツは、ＢＤ（Blu-ray Disc）やＤＶＤ（Digital Versatile Disc）などの可搬記録媒体に記録されたコンテンツであってもよいが、同時再生可能とするためには、対応するシーンの部分についてＨＤＤ１７や常時接続のレコーダ等の外部機器３に格納しておくなど、再生時にリンクができるようにしておく必要がある。
【００４３】
撮影コンテンツ情報処理部２１ｂは、管理情報生成部２１ｃ、表情判定部２１ｄ、行動判定部２１ｅ、及び人物判定部２１ｆを有する。表情判定部２１ｄと行動判定部２１ｅとは双方備えなくてもよく、視聴者の状態が判定できればよい。
【００４４】
管理情報生成部２１ｃは、本発明の主たる特徴である分類部２１ｘと記憶処理部２１ｙとを有する。分類部２１ｘは、映像コンテンツと、その映像コンテンツの再生中に視聴者を被写体として撮影されその映像コンテンツに関連付けられて格納された撮影コンテンツとから、映像コンテンツのジャンル毎に且つ視聴者の状態毎に、映像コンテンツ及び撮影コンテンツのシーンを分類する。以下、ジャンル毎且つ視聴者の状態毎に分類する例を挙げるが、分類部２１ｘは、映像コンテンツのジャンル毎に映像コンテンツ及び撮影コンテンツのシーンを分類するだけでもよいし、視聴者の状態毎に映像コンテンツ及び撮影コンテンツのシーンを分類するだけでもよし、さらには映像コンテンツのジャンルや視聴者の状態以外の分類基準に基づいて、シーンを分類してもよい。記憶処理部２１ｙ及びＨＤＤは、分類部２１ｘでの分類結果を管理情報ファイルとして記憶する記憶部の一例である。ジャンルについては映像コンテンツ情報処理部２１ａで得ることができる。
【００４５】
視聴者の状態について説明する。視聴者の状態とは、視聴者の表情及び／又は行動であることが好ましい。以下、この好ましい例を挙げて説明するが、他の例としては視聴者の数も挙げられる。視聴者の数は、一緒に視聴している人数、つまり他の何人と視聴しているかを示す状態を示しているため、視聴者の状態に該当すると言える。そして、視聴者の数は容易に映像解析により検出できる。一緒に視聴している際には途中で数人だけ離れることもあるため、ある一定期間だけ不在であれば居るものとして取り扱ってもよい。
【００４６】
表情判定部２１ｄ、行動判定部２１ｅ、及び人物判定部２１ｆは、カメラ１３の映像を解析して、それぞれ表情、行動、被写体人物（撮影対象となった人物）を判定する。表情、人物については顔認識技術により実現できる。行動の判定についてもある行動のパターンに合致するか否かで判定してもよいし、例えば大きな動きをしているか、身体が大きく写るようになるか、小さく写るようになるか、などの様々な判定条件に基づき総合的に判定すればよい。このように、撮影コンテンツ情報処理部２１ｂは、カメラ映像を処理するため、カメラ映像処理部とも言える。
【００４７】
表情情報や行動情報を得るためには、撮影コンテンツ内の映像データを使用することを前提に説明したが、音声データを使用してもよい。例えば、笑った声や怒った声などは周波数解析を行うなどにより判別できるし、声が伴うかで行動を判定してもよいし、踊っているときの声などは息づかいの声を検知するなどして判別することができ、動かないときの声は無音（無論、再生中の映像コンテンツの音声を除いて）を検知すれば判別でき、行動が特定できない有音については表情判定に判定を委ねてもよい。
【００４８】
また、カメラ１３は動画カメラであることを前提に説明したが、静止画のカメラであっても、視聴者が撮影でき、且つその撮影した写真から視聴者の状態は判別できる。その場合、対応する映像コンテンツも静止画像としてもよいし、撮影時点から所定時間経過するまでの映像や撮影時点を中心に所定時間前から所定時間後までの映像などを関連付ければよい。
【００４９】
人物判定部２１ｆを設けて人物判定を行う場合、分類部２１ｘは、ジャンル毎及び／又は視聴者の状態毎に、且つ人物毎に、映像コンテンツ及び撮影コンテンツのシーンを分類してもよい。
【００５０】
無論、人物判定部２１ｆも設けなくてもよく、どんな人物であろうと区別無く、状態の判定に従った分類を行ってもよい。これにより、例えば笑った家族の映像と泣いた家族の映像とを、家族の誰であるかに拘わらず分類することができ、結果として笑った家族の映像をまとめて再生するなどの処理も可能になる。
【００５１】
以上のように、テレビ装置１では、分類部２１ｘで視聴者の状態や映像コンテンツのジャンルなどに基づき分類を行っているため、映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示す撮影コンテンツとを、分かり易くリストアップすることが可能な状態に、集計できる。ここで、撮影コンテンツが上記映像コンテンツとがどのような関係であっても、喩え無関係なコンテンツであっても、分かり易くリストアップすることが可能な状態に集計できることにかわりはない。なお、消去部２２及び再生映像選択部２３については、より好ましい例として後述する。
【００５２】
次に管理情報ファイルの好ましい例について、図２及び図３を参照しながら説明する。図２は、図１のテレビ装置で管理される管理情報ファイルの例を示す図で、図３は、図２の管理情報ファイルの元となる映像コンテンツ及び撮影コンテンツについて説明するための概念図である。以下の説明では、基本的に映像コンテンツとして番組のコンテンツを取り扱った例を挙げるが、これに限ったものではない。
【００５３】
記憶処理部２１ｙは、管理情報ファイルを、シーン毎に個別のファイルとして、ＨＤＤ１７に記憶する。これによりＨＤＤ１７に記憶される個別の管理情報ファイル１７ａ，１７ｂ等は、当然、各シーンに関連付けて記憶されることになる。但し、１つの管理ファイルのみで全ての分類結果を示すようにしてもよい。
【００５４】
管理情報ファイル１７ａ，１７ｂ等は、Ａ０００１＿Ｐ０１、Ａ０００２＿Ｐ０３などと付された番組情報ＩＤ、並びに、カメラ映像を指し示し、ファイル名などと１対１に対応し、Ｂ００００、Ｂ０００１などと付されたカメラ映像ＩＤなどが含まれる。また、番組情報ＩＤについては、番組データそのものを示しファイル名などと１対１に対応したコンテンツＩＤ、並びに番組の格納場所を示し機器固有番号やサーバ名などと１対１に対応したデバイスＩＤなどが含まれる。
【００５５】
例えば、管理情報ファイル１７ａには、そのタグＩＤがＴ０００１であることとともに、記述される対象の映像コンテンツを示すカメラ映像ＩＤと、そのカメラ映像ＩＤに対する１又は複数のｓｕｂＩＤとが記述されている。ここでは、カメラ映像ＩＤ＝Ｂ０００１について、ｓｕｂＩＤ＝ｓ００１，ｓ００２，ｓ００３が記述されている。ｓｕｂＩＤは、１つのタグＩＤに対して無数に存在させることができ、番組情報ＩＤ、表情情報、行動情報、人物情報、及びタイムスタンプといった情報をもつ。ｓｕｂＩＤは、番組などの映像コンテンツ、表情情報、行動情報、人物情報のいずれかが変わると、新しいｓｕｂＩＤが付される。なお、番組が変わるとは番組情報が変わることで検知できる。例えば、表情情報及び行動情報の一方のみを採用して管理する形態においては、映像コンテンツ、表情情報又は行動情報の一方、人物情報のいずれかが変わると、新しいｓｕｂＩＤが付されることになる。
【００５６】
また、映像コンテンツの例えば放送番組の途中に入るコマーシャルメッセージ（ＣＭ）については、各ＣＭを別個の映像コンテンツと捉えることが好ましく、その場合、ＣＭの前後の番組が同じタイトルであった場合には同じ映像コンテンツとして取り扱ってもよいし、別の映像コンテンツとして取り扱ってもよい。
【００５７】
ｓｕｂＩＤについて記述された情報を、ｓ００１を例に説明する。ｓｕｂＩＤ＝ｓ００１については、番組情報ＩＤがＡ０００１＿Ｐ０１、表情情報が「笑う」、行動情報が「−（無し）」、人物情報が「兄」、ｔｉｍｅ（撮影日時）が２０１００６２５＿１６：３７：０５−１６：４９：５５であることが記述されている。ｓ００２の場合、兄と妹とが同時に笑って踊っていたことを表現しており、ｓ００３の場合、姉と兄とが同時に驚いて近寄ってきたことを表現している。また、ｓｕｂＩＤ同士の間に時間差があるが、これは視聴者を撮影できなかった期間か、視聴者を撮影できたものの表情情報も行動情報もない期間に相当する。人物情報が「兄」についてのみ考察すると分かり易いが、ｓｕｂＩＤ＝ｓ００１，ｓ００２，ｓ００３は、それぞれ図３の期間Ｉ，ＩＩ，ＩＩＩに相当する。期間Ｉ，ＩＩ，ＩＩＩのそれぞれが、１シーンに該当し、各シーンはその再生に要する時間が、例えば１３分、３分、１２分と異なる。なお、図３では、期間Ｉ〜ＩＩＩの長さや表情情報や行動情報が「無」の期間の長さを、管理情報ファイル１７ａのそれに合わせていないが、順番は合わせてある。
【００５８】
次に、記憶処理部２１ｙの処理の他の例について説明する。
記憶処理部２１ｙは、予め定められた複数の状態に該当するシーンについての分類結果のみをＨＤＤ１７に記憶するようにしてもよい。同様に、予め定められた複数の状態且つ複数のジャンルに該当するシーンについての分類結果のみを記憶するようにしてもよい。また、分類時に上記予め定められた複数の状態を抽出するようにすることで、抽出されなかったシーンは必然的に残ることになる。分類部２１ｘが、分類処理としてこのような抽出処理も行うように構成してもよい。いずれの構成においても、全てのシーンについて分類する必要がなく、表情や行動のうち、例えば笑うと泣く、飛び跳ねるだけのシーンを抽出することができる。また、他のシーンは、その他のシーンとして取り扱うように構成することもできる。
【００５９】
また、記憶処理部２１ｙは、予め定められた人物（１又は複数の人物）に該当するシーンについての分類結果のみを記憶するようにしてもよい。ここで、記憶処理部２１ｙは、図２で例示したように、管理情報ファイルに人物判定結果が示す人物情報を含むように記憶すればよいが、人物毎に管理フォルダを設けておき、対応する人物の管理フォルダに管理ファイルを格納していってもよい。これにより、特定の人物、例えば長男だけや子供全員だけなどについて、分類結果を残すことができる。
【００６０】
次に、消去部２２について説明する。消去部２２は、記憶処理部２１ｙで記憶処理した予め定められた複数の状態や人物に該当するシーン以外のシーンに対応する、映像コンテンツ及び撮影コンテンツを、格納先から消去する。このような消去部２２を備えることで、不要な映像コンテンツや不要な撮影コンテンツを消去できるため、記憶容量を低減することができる。
【００６１】
次に、上述した構成例のテレビ装置１における、番組の再生及びカメラでの視聴者撮影処理、並びにコンテンツ解析部２１による分類処理、管理ファイル作成及び記憶処理について、処理の流れを図４〜図１１を参照しながら説明する。
【００６２】
図４〜図６は、図１のテレビ装置における一連の処理例を説明するためのフロー図である。ここでは、テレビ装置１のチューナ１１で受信したテレビ番組の再生に対してなされる処理例であって、子供が視聴者の場合にのみ、つまり子供番組か子供が実際に観ている番組である場合にのみ、カメラ１３での撮影も行う例を説明する。
【００６３】
図４において、まず視聴予約処理がなされていた場合、視聴日時が到来したか否かを判定し（ステップＳ１）、到来した段階で、映像コンテンツ情報処理部２１ａが視聴予約に係る番組情報を確認する（ステップＳ２）。ここで、番組情報は、ジャンルやキーワードなどの番組に関する情報であって、ＥＰＧのためのＳＩやＢＭＬ（(Broadcast Markup Language）などに格納されているデータから取得することができる。なお、インターネット上のＶＯＤなどを視聴する場合には、ここでの説明において、番組をネットコンテンツと読み替えればよい。そして、そのコンテンツの情報はＸＭＬ（Extensible Markup Language）ファイルなどのメタデータから取得することができる。
【００６４】
映像コンテンツ情報処理部２１ａは、ステップＳ２で確認した番組情報が子供向け番組であることを示しているか否かを判定し（ステップＳ３）、ＮＯの場合には通常の視聴予約処理を実行する（ステップＳ４）。一方、ステップＳ３でＹＥＳの場合には、図５の処理へと進む。
【００６５】
録画予約処理がなされていた場合、録画日時が到来したか否かを判定し（ステップＳ５）、到来した段階で、映像コンテンツ情報処理部２１ａが録画予約に係る番組情報を確認し（ステップＳ２）、ステップＳ３の処理を実行する。ステップＳ３でＮＯの場合には通常の録画予約処理を実行する（ステップＳ４）。一方、ステップＳ３でＹＥＳの場合には、図５の処理へと進む。
【００６６】
録画は入力装置２により録画ボタンを押下することでも開始される。押下されたか否かを判定し（ステップＳ６）、押下された段階で、映像コンテンツ情報処理部２１ａが録画対象の番組の番組情報を確認し（ステップＳ２）、ステップＳ３の処理を実行する。ステップＳ３でＮＯの場合には通常の録画処理を実行する（ステップＳ４）。一方、ステップＳ３でＹＥＳの場合には、図５の処理へと進む。
【００６７】
録画は、例えば蓄積・解析した視聴履歴などに基づいて自動的に実行することもできる。その場合、録画実行時に、カメラ１３の映像を一時的に取得して人物判定部２１ｆで人物を判定することで、子供が観ているか否かを判定する（ステップＳ７）。ステップＳ７でＹＥＳの場合には、図５の処理へと進む。
【００６８】
このように、番組が子供番組か、子供が実際に観ている番組かを判定し、そうである場合には図５の処理を実行する。
まず、撮影コンテンツ情報処理部２１ｂが、映像音声入力部１５に指示してカメラ１３及びマイク１４にカメラ映像の記録開始を指示する（ステップＳ８）。記録先はＨＤＤ１７や外部機器３など予め定められた領域でよい。続いて、前述した録画部が番組の録画を開始する（ステップＳ９）。ステップＳ８，Ｓ９の順序は問わないが、番組開始数分前から撮影を開始してもよく、それにより視聴前のわくわく感などが記録できることもある。
【００６９】
続いて、管理情報生成部２１ｃの記憶処理部２１ｙが管理情報ファイルを作成し、ＨＤＤ１７に保存する（ステップＳ１０）。続いて、分類部２１ｘ及び記憶処理部２１ｙがカメラ撮影ＩＤ及び番組情報ＩＤを順番に付し、管理情報ファイルに追記して上書きする（ステップＳ１１）。ここで、番組情報ＩＤは、コンテンツＩＤとデバイスＩＤからなる一意な値とし、コンテンツＩＤは映像そのものを示すＩＤ、デバイスＩＤは格納先（内蔵ＨＤＤ１７や外付けレコーダ）を示すＩＤとする。また、これらのＩＤや後述のＩＤを付しているのは、分類のためであり、そのため分類部２１ｘと記憶処理部２１ｙとの処理として説明している。
【００７０】
ステップＳ１１の処理後、図６の処理へと進む。まず、撮影コンテンツ情報処理部２１ｂの各判定部２１ｄ〜２１ｆがカメラ映像を解析する（ステップＳ１２）。分類部２１ｘは、状態が変わったか否かを判定し、変わった場合には、記憶処理部２１ｙが管理情報ファイルにタイムスタンプ、表情情報、行動情報、人物情報を付加して上書きする（ステップＳ１３）。続いて、分類部２１ｘは、映像コンテンツ情報処理部２１ａからの番組情報に基づき、チャンネルが変更されたか否かを判定し（ステップＳ１４）、ＹＥＳの場合には子供がまだ観ているか否かをカメラ１３の映像から判定する（ステップＳ１９）。
【００７１】
ステップＳ１９でＹＥＳの場合、録画部が番組を切り替えて録画を開始し（ステップＳ２０）、記憶処理部２１ｙが管理情報ファイルに変更後の番組情報ＩＤを追加し（ステップＳ２１）、ステップＳ１２へ戻る。ステップＳ２１での追加の際には新たなｓｕｂＩＤが付されることになる。従来の録画装置では、チャンネル変更に伴い、録画は中止されるが、ここでは、ステップＳ１９でＹＥＳの場合には変更後のチャンネルの番組で録画する。変更後のチャンネルの番組は、変更前のチャンネルの番組と違うデータ（動画ファイル）として録画しても、同じデータに続けて録画してもよい。いずれの場合でも、変更後のチャンネルには、変更前のチャンネルとは別の番組情報ＩＤを付与する。
【００７２】
ステップＳ１４でＮＯの場合、録画部が、録画終了か否かを、予約情報や録画停止ボタンの押下などに基づき判定する（ステップＳ１５）。ステップＳ１５でＹＥＳの場合にはステップＳ１９へ進み、ステップＳ１５でＮＯの場合には、自動録画の場合か、ステップＳ２０の処理をした場合で子供がもう観ていないか否かを、カメラ１３の映像から判定する（ステップＳ１６）。ステップＳ１６でＹＥＳの場合には番組録画を終了し（ステップＳ１７）、カメラ映像の記録も終了する（ステップＳ１８）。ステップＳ１６でＮＯの場合にはステップＳ１２へ戻る。また、ステップＳ１９でＮＯの場合には、ステップＳ１８へ進む。
【００７３】
このように、この例では、ユーザが明示的に録画処理をしたコンテンツが終了しても子供がまだテレビ番組を見続けていたら自動的に録画を継続する。但し、この場合、新しいＩＤを振るものとする。
【００７４】
図７〜図９は、図１のテレビ装置における他の一連の処理例を説明するためのフロー図である。ここでは、既に録画してある番組の再生に対してなされる処理例であって、子供が視聴者の場合にのみ、つまり子供番組か子供が実際に観ている番組である場合にのみ、カメラ１３での撮影も行う例を説明する。なお、この例では番組は録画済みであるため、再度の録画は実行しない。
【００７５】
図７において、まず番組が再生されたか否かを判定し（ステップＳ３１）、再生された時点で、図４のステップＳ２，Ｓ３の処理が実行される（ステップＳ３２，Ｓ３３）。ステップＳ３３でＮＯの場合には処理を終了し、ＹＥＳの場合には図８の処理へ進む。また、並列してステップＳ４と同様の判定を行い（ステップＳ３４）、観たと判定された段階で図８の処理へ進む。
【００７６】
まず、図５のステップＳ８と同様にカメラ映像の記録開始を指示する（ステップＳＳ３５）。続いて、図５のステップＳ１０と同様に管理情報ファイルの作成処理を行う（ステップＳ３６）。そして、分類部２１ｘ及び記憶処理部２１ｙがカメラ撮影ＩＤ及び番組情報ＩＤを順番に付し、番組再生日時と併せて、管理情報ファイルに追記して上書きする（ステップＳ３７）。
【００７７】
ステップＳ３７の処理後、図９の処理へと進む。まず、図６のステップＳ１２，Ｓ１３と同様の処理を行う（ステップＳ３８，Ｓ３９）。続いて、分類部２１ｘは、映像コンテンツ情報処理部２１ａからの番組情報に基づき、再生番組が変更されたか否かを判定し（ステップＳ４０）、ＹＥＳの場合には記憶処理部２１ｙが管理情報ファイルに変更後の番組情報ＩＤ及び番組再生日時を追加し（ステップＳ４２）、ステップＳ３８へ戻る。ステップＳ４２での追加の際には新たなｓｕｂＩＤが付されることになる。
【００７８】
ステップＳ４０でＮＯの場合、再生部が、再生終了か否かを、再生停止ボタンの押下に基づき判定する（ステップＳ４１）。ステップＳ４１でＹＥＳの場合には処理を終了し、ステップＳ４１でＮＯの場合には、ステップＳ３８へ戻る。ここで、処理の終了時には、番組終了日時についても番組再生日時と対応させて同じ管理情報ファイルに記録する。
【００７９】
図１０及び図１１は、図１のテレビ装置における他の一連の処理例を説明するためのフロー図である。ここで、図１０は、図５に続く他の処理例を説明するためのフロー図で、図１１は、図１０に続く処理例を説明するためのフロー図である。ここで説明する処理例は、図４〜図６で説明した例において、録画後にカメラ映像を処理する点が異なる。テレビ装置のＣＰＵ性能などが低い場合、録画とカメラ映像の処理が同時に行えない場合がある。この場合、録画が終了した後にカメラ映像を処理する。この例では、録画後にカメラ映像を処理するため、管理情報ファイルに処理済みフラグｃｈｅｃｋ＿ｆｌａｇ（０＝未処理）を設ける。
【００８０】
まず、図４及び図５と処理と同じ処理が施され、その後、図１０の処理が施される。図１０においては、まず、図６のステップＳ１４と同様に、チャンネルが変更されたか否かを判定し（ステップＳ５１）、ＹＥＳの場合には図６のステップＳ１９と同様に子供がまだ観ているか否かを判定する（ステップＳ５３）。ステップＳ５３でＹＥＳの場合、録画部が番組を切り替えて録画を開始し（ステップＳ５６）、記憶処理部２１ｙが管理情報ファイルに変更後の番組情報ＩＤ及びタイムスタンプを追加し（ステップＳ５７）、ステップＳ５１へ戻る。ステップＳ５７での追加の際には新たなｓｕｂＩＤが付されることになる。通常の録画装置では、チャンネル変更に伴い、録画は中止されるが、ここでは、ステップＳ５３でＹＥＳの場合には変更後のチャンネルの番組で録画する。
【００８１】
ステップＳ５１でＮＯの場合、図６のステップＳ１５と同様に録画終了か否かを判定する（ステップＳ５２）。ステップＳ５２でＹＥＳの場合にはステップＳ５３へ進み、ステップＳ５２でＮＯの場合にはステップＳ５１へ戻る。また、ステップＳ５３でＮＯの場合、つまり子供がもう観ていない場合には、カメラ映像の記録を停止し（ステップＳ５４）、番組録画も停止する（ステップＳ５５）。なお、ステップＳ５４，Ｓ５５の処理の順序は問わない。
【００８２】
続いて、図１１の処理に進む。まず、分類部２１ｘが、管理情報ファイルでｃｈｅｃｋ＿ｆｌａｇ＝０のカメラ映像ＩＤを検索する（ステップＳ５８）。続いて、そのカメラ映像ＩＤの映像コンテンツについて、図６のステップＳ１２と同様に、撮影コンテンツ情報処理部２１ｂの各判定部２１ｄ〜２１ｆがカメラ映像を解析する（ステップＳ５９）。
【００８３】
続いて、分類部２１ｘ及び記憶処理部２１ｙが管理情報ファイルに、解析結果のタイムスタンプ、表情情報、行動情報、人物情報を付加して上書きする（ステップＳ１３）。続いて、撮影コンテンツ情報処理部２１ｂが全時間について解析済みか否かを判定し（ステップＳ６１）、ＹＥＳの場合にはｃｈｅｃｋ＿ｆｌａｇ＝１として処理を終了する。ステップＳ６１でＮＯの場合にはステップＳ５９へ戻る。
【００８４】
図４〜図１１を参照して説明した例とは異なる、録画に関する他の例を挙げる。録画部は、所定の行動パターンや所定の表情については、映像コンテンツの方の解像度を落としたりフレームレートを落としたりして、録画を実行してもよい。逆に、撮影コンテンツ情報処理部２１ｂは、所定の行動パターンや所定の表情については、撮影コンテンツの方の解像度を落としたりフレームレートを落としたりして、録画を実行してもよい。無論、映像コンテンツ及び撮影コンテンツの双方について解像度やフレームレートを下げるようにしてもよい。
【００８５】
次に、再生映像選択部２３での処理について、図１２〜図１８を併せて参照しながら説明する。
再生映像選択部２３は、映像コンテンツと撮影コンテンツとの同時再生を行うための対象を選択するユーザインターフェース（ＵＩ）を表示させ、それに対する入力装置２からの操作情報に基づき選択を行う。再生映像選択部２３は、そのＵＩのために表示画面生成部２３ａを有し、選択された対象シーンを検索するために管理情報検索部２３ｂを有する。
【００８６】
表示画面生成部２３ａは、ＨＤＤ１７内の管理情報ファイルを元に画面に表示する内容を生成する。このとき表示するリストは、管理情報検索部２３ｂに依頼して集計させたものを取得すればよい。表示画面生成部２３ａは、概略リスト生成部２３ｘ及びリスト生成部２３ｙを有する。概略リスト生成部２３ｘ、リスト生成部２３ｙのいずれか一方だけ設けてもよいが、いずれにせよ、分類部２１ｘでの分類結果を何らかのリストで表示できれば、ユーザにとって再生対象を選択し易くなる。
【００８７】
リスト生成部２３ｙ、映像音声出力部１８、及び表示部１９は、次のリスト表示部の一例である。このリスト表示部は、管理情報ファイルに基づきシーンのリストを表示する。また、同時再生処理部２４、映像音声出力部１８、表示部１９、及びスピーカ２０は、次の同時再生部の一例である。この同時再生部は、このリスト表示部で表示されたリストのうちユーザ選択されたシーンについての映像コンテンツ及び撮影コンテンツを同時に再生する。
【００８８】
概略リスト生成部２３ｘ、映像音声出力部１８、及び表示部１９は、次の概略リスト表示部の一例である。この概略リスト表示部は、管理情報ファイルに基づき、ジャンル毎及び／又は視聴者の状態毎に（且つ人物毎に）、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する。ここで、上述のリスト表示部は、概略リスト表示部で表示された概略リストのうち、ユーザ選択されたジャンル及び／又は視聴者の状態（及び人物）に該当するシーンのリストを表示すればよい。但し、上述したように、リスト表示部は概略リストの表示無しでリストを表示してもよい。なお、人物毎の処理は人物判定が設けられた場合のみ実現できる。
【００８９】
管理情報検索部２３ｂは、表示画面生成部２３ａで表示する概略リストやリストを表示するための検索を、ＨＤＤ１７から行う。また、管理情報検索部２３ｂは、表示画面生成部２３ａで生成された表示画面を表示した状態で、入力装置２からシーンを選択するユーザ操作を受け、そのユーザ操作から映像コンテンツ及び撮影コンテンツの再生箇所を検索して特定する。再生箇所とは、ユーザ操作によって選択されたシーン、若しくはユーザ操作によって選択された集計結果に該当するシーンなどを指す。続いて、該当シーンと同分類の別のシーンや、該当シーンに続く同映像コンテンツを含む別のシーンを再生するか否かなどは、予め決めておいた動作か、ユーザ操作に基づけばよい。
【００９０】
図１２を参照しながら、対象シーンの再生の大まかな流れをテレビ装置１における表示部１９の表示の遷移に基づき説明する。図１２は、図１のテレビ装置において対象シーンの再生処理へ至る大まかな流れを説明するための画面遷移の一例を示す図である。
【００９１】
まず、テレビ映像３１が表示された状態から特定のキーの選択によりジャンルと視聴者（ここでは子供で例示）の状態とによって分類された概略リスト画面３２を、概略リスト生成部２３ｘが生成して表示部１９に出力する。概略リストは、２軸で分類された番組がいくつあるのかを一覧表示するもので、グループリストとも呼べる。ここで、シーングループ３２ａが現在選択され、決定キーの押下などで選択が実行されると、リスト生成部２３ｙがシーングループ３２ａに該当するジャンル・状態について詳細画面を生成して表示部１９に表示する。詳細画面は、分類された番組を並べるなどして、再生したい番組をユーザ選択することが可能となった画面である。
【００９２】
詳細画面としては、曜日別リスト画面３３、その他の条件に従って並べた他のリスト画面３４、検索画面３５などが挙げられる。これらは上下キーや左右キーなど所定のキーに基づきトグル操作可能となっていることが好ましい。曜日別リスト画面３３のあるシーン３３ａを選択することで、そのシーンの番組３６ｐを含んだカメラ映像（撮影コンテンツ）３６が表示部１９に表示される。なお、同時に音声の出力もなされる。同様に、他のリスト画面３４のあるシーン３４ａを選択することで、そのシーンの番組３７ｐを含んだ撮影コンテンツ３７が表示部１９に表示される。また、検索画面３５については、シーングループ３２ａに該当するジャンル・状態についての検索結果の詳細を表示させるとともに、ジャンルや状態などについての検索条件を変更し、別の検索結果を表示させることも可能になっている。検索結果のうちユーザ選択されたシーンについて、そのシーンの番組３８ｐを含んだ撮影コンテンツ３８が表示部１９に表示されることになる。便宜上、シーン３３ａ、シーン３４ａ、検索画面３５での検索結果のシーンの３つのシーンは全て違うものである場合を説明したが、３つのシーン全て、或いはどれか二つが、たまたま同じシーンになることはありうる。また、検索画面３５は、シーングループ３２ａに該当するジャンル・状態についての検索結果ではなく、全ジャンル・全状態の検索画面が表示されてもよい。つまり、概要リスト画面３２で予め絞り込まずに検索をするようにしてもよい。
【００９３】
このように、概要リスト画面３２では、番組等の映像コンテンツのジャンルと視聴者の状態（表情及び／又は行動など）の２軸で全てのシーンを集計している。概要リスト画面３２では分類結果を統計的に表示しているが、そのまま該当するシーングループに該当する部分を選択することでそのシーングループを再生できるようにしておいてもよいし、各詳細画面へ移行するようにしておき、詳細画面から所望のシーンを再生可能にしておいてもよい。
【００９４】
次に、図１３〜図１８を参照しながら、これらの画面の具体例を説明する。なお、ジャンル別且つ表情又は行動別での集計を行った例のみ挙げるが、ジャンル別のみでの集計や表情別又は行動別のみでの集計でも同様に適用できる。例えば、ジャンル別のみでの集計は、後述する概略リスト画面４０の一部分でまかなえる。
【００９５】
図１３は、図１２の概略リスト画面の一例を示す図で、図１４は、図１３の概略リスト画面のあるシーングループを選択した場合に表示されるリスト画面の一例を示す図である。
【００９６】
図１３に示す概略リスト画面４０では、ジャンル別且つ表情別のシーン数を集計した概略リスト（グループリスト）４４を表示している。このグループリスト４４では、人物選択領域４１によって選択された「兄」について、表情群４３のそれぞれについて、ジャンル群４２のそれぞれのシーン数を頻度で示すとともに、シーン数によって閾値処理して色分けも行っている。ここで、表情群４３としては、「笑」、「怒」、「泣」、「驚」を例示しており、ジャンル群４２としては「アニメ」、「映画」、「スポーツ」、「ドラマ」、「お笑い」、「ニュース」を例示している。
【００９７】
処理を説明すると、概略リスト生成部２３ｘが、管理情報検索部２３ｂに依頼して管理情報ファイルを検索し条件に合うものを集計し、集計結果から概略リスト画面４０を生成する。番組のジャンルは、管理情報ファイルに記述された番組情報ＩＤから録画データを辿り番組情報（ＳＩ情報）から取得するなどすればよい。人物選択領域４１では、カメラ１３で顔を登録しておくことで、例えば、姉、兄、妹、母、兄＆妹、家族、指定なしなどの中から選択できるように構成できる。
【００９８】
このグループリスト４４では、例えば、アニメを観て笑っていたシーンのシーングループ４４ａは１１３回あり、アニメを観て怒っていたシーンのシーングループ４４ｂは４１回あることを示している。なお、他の表情を選択したい場合には、表情群４３をプルダウンメニューにより入れ替えればよく、ジャンル群４２についても同様のプルダウンメニューを設けておいてもよい。
【００９９】
このようなグループ分け及びその概略リスト表示により、所望の記録映像にすぐにたどり着け、ありもしない子供映像を無駄に探し回らなくて済む。
【０１００】
図１４に示すリスト画面５０は、概略リスト画面４０においてシーングループ４４ａを選択した場合に表示される。リスト画面５０は、「兄」、「アニメ」、「笑」に該当するシーンを曜日別に表示した曜日別リスト画面である。ここで表示されるシーンリスト５５では、番組名とともに、曜日別にシーン数が表示されている。但し、この例では、曜日だけではなく、今日と昨日についても同時に表示している。また、表示領域の関係で表示できない部分については選択可能になっている。また、各シーンについては、映像コンテンツ単独、撮影コンテンツ単独、同時表示のいずれかのサムネイルを表示しておくとよい。
【０１０１】
このリスト画面５０では、例えば今日、兄がアニメを観て笑ったシーンがシーン５５ａ〜５５ｄの４シーンあり、そのうち２シーンは番組Ａ再生時のシーンであり、残り２シーンは番組Ｂ再生時のシーンであることを示している。また、同様の条件で昨日は、番組Ａ再生時のシーン５５ｅが１シーンあったことを示している。また、水曜日では、ＩＤ＝Ｔ００１３、Ｔ００１４が表示されていないため、番組Ｃ再生中のシーン５５ｆ（ＩＤ＝Ｔ００１２）と番組Ｄ再生中のシーン５５ｇ（ＩＤ＝Ｔ００１５）との間に２回カメラ撮影を記録したが、「兄」且つ「笑」の条件ではなく、それ以外の条件であったことが分かる。なお、各シーンについて、リスト画面５０にはＩＤとｓｕｂＩＤとを表示しているが、これは表示しなくてもよいが、再生のために各シーンには管理情報ファイルが紐付けされている。
【０１０２】
処理を説明すると、リスト生成部２３ｙが、管理情報検索部２３ｂに依頼して管理情報ファイルを検索し条件に合うものを集計し、集計結果からリスト画面５０を生成する。なお、この集計は概略リスト画面４０の生成時に、グループリストとしてアップする全てのシーングループについて実行しておいてもよい。また、曜日として直近の曜日についてのシーンだけ表示してもよいし、直近のシーンから順に並べて古いシーンについてはスクロール可能にしておいてもよい。
【０１０３】
また、リスト画面５０では、人物選択領域５２、ジャンル選択領域５３、表情選択領域５４も表示しており、各領域でプルダウンメニューにより条件を選択することで、その検索条件にあった集計を実行して、その集計結果に基づきリスト画面５０を更新することもできる。
【０１０４】
このリスト画面５０において、例えばユーザがシーン５５ａを選択して再生させた場合、そのシーン５５ａの映像コンテンツ及び撮影コンテンツが同時再生される。つまり、シーン５５ａの番組とカメラ映像との合成画像が再生表示される。また、例えば「水曜」の表示領域を選択すると、番組Ｃの４シーンを連続再生し、シーン５５ｆの再生後、番組Ｄのシーン５５ｇを再生して終了するようにしてもよい。また、例えば番組Ｇのシーンを選択すると、１シーンしかないため、番組Ｇ再生中で兄が笑っているそのシーンを再生した後は終了すればよい。
【０１０５】
図１５は、図１２の概略リスト画面の他の例を示す図で、図１６は、図１５の概略リスト画面のあるシーングループを選択した場合に表示されるリスト画面の一例を示す図である。
【０１０６】
図１５に示す概略リスト画面６０では、ジャンル別且つ行動別のシーン数を集計し、割合（パーセンテージ）で示した概略リスト（グループリスト）６４を表示している。概略リスト画面６０には、図１３の人物選択領域４１と同様の人物選択領域６１が表示されている。グループリスト６４では、そこで選択された「姉・妹」について、行動群６３のそれぞれについて、ジャンル群６２のそれぞれのシーン数を、ジャンル別のパーセンテージで示している。ここで、行動群６３としては、「踊る」、「飛び跳ねる」、「歌う」、「近づく」、「じっとしている」を例示しており、ジャンル群６２としては、「アニメ」、「映画」、「スポーツ」、「ドラマ」を例示している。また、グループリスト６４では、パーセンテージによってグラフ表示を行うとともに、閾値処理して色分けも行っている。
【０１０７】
このグループリスト６４を含む概略リスト画面６０は、図１３のグループリスト４４と同様に概略リスト生成部２３ｘが集計して生成する。このグループリスト６４では、例えば、アニメを観て踊っていたシーンのシーングループ６４ａはアニメの他の行動のうち１０％あり、アニメを観て飛び跳ねていたシーンのシーングループ６４ｂは１５％あることを示している。なお、他の表情を選択したい場合には、行動群６３をプルダウンメニューにより入れ替えればよく、ジャンル群６２についても同様のプルダウンメニューを設けておいてもよい。
【０１０８】
このようなグループ分け及びその概略リスト表示により、図１３の例と同様に、所望の記録映像にすぐにたどり着け、ありもしない子供映像を無駄に探し回らなくて済む。また、この例では、妹と姉とが２人で視聴した場合についてリストアップしているが、このように例えば妹が所定の人物と視聴した場合のみリストアップするようなこともできる。
【０１０９】
図１６に示すリスト画面７０は、概略リスト画面６０において「スポーツ」且つ「飛び跳ねる」に該当するグループリストを選択した場合に表示される。リスト画面７０は、「姉・妹」、「スポーツ」、「飛び跳ねる」に該当するシーンを単にリスト表示したリスト画面である。ここで表示されるシーンリスト７５では、番組名が表示されている。また、各シーンについては、映像コンテンツ単独、撮影コンテンツ単独、同時表示のいずれかのサムネイルを表示しておくとよい。
【０１１０】
このリスト画面７０では、「２２シーン」という該当するシーン数７６も表示している。なお、各シーンについて、リスト画面５０にはＩＤとｓｕｂＩＤとを表示しているが、これは表示しなくてもよいが、再生のために各シーンには管理情報ファイルが紐付けされている。
【０１１１】
このシーンリスト７５を含むリスト画面７０は、図１４のシーンリスト５５と同様にリスト生成部２３ｙが集計して生成する。なお、この集計は概略リスト画面６０の生成時に、グループリストとしてアップする全てのシーングループについて実行しておいてもよい。
【０１１２】
また、リスト画面７０では、図１４のリスト画面５０と同様に、人物選択領域５２、ジャンル選択領域５３、表情選択領域５４も表示しており、各領域でプルダウンメニューにより条件を選択することで、その検索条件にあった集計を実行して、その集計結果に基づきリスト画面７０を更新することもできる。
【０１１３】
このリスト画面７０において、例えばユーザがシーン７５ａを選択して再生させた場合、そのシーン７５ａの映像コンテンツ及び撮影コンテンツのみが同時再生される。また、同様の選択で、シーン７５ａの再生に続いてシーン７５ｂから残りの２１シーンについても全て再生するようにしてもよい。また、シーン７５ｆをユーザが選択すると、シーン７５ｆ，７５ｇと順に連続再生していき、最後まで合計１４シーンを再生するようにしてもよいし、最初に戻ってシーン７５ｅまで合計２２シーンを再生するようにしてもよい。
【０１１４】
図１７は、図１２の概略リスト画面で検索ボタンを選択したときの検索画面の一例を示す図である。
上述したリスト表示部は、ユーザ入力された検索条件をキーとして管理情報ファイルに基づき検索した結果のシーンについてのリスト、例えば図１７の検索画面８０に示すようなリスト８２を表示するようにしてもよい。
【０１１５】
検索画面８０には、感情（表情）選択領域８１ａ、行動選択領域８１ｂ、人物選択領域８１ｃ、ジャンル選択領域８１ｄ、日時選択領域８１ｅ、対象機器選択領域８１ｆ、及びキーワード入力領域８１ｇといった詳細な検索条件に基づき、該当するシーンをリスト表示可能になっている。なお、対象機器とは、例えば内蔵ＨＤＤ、外付けＢＤ、ホームサーバなどが挙げられる。また、キーワードとは、コンテンツメタデータや番組情報などから任意の文字列を検索するためのキーワードを指す。
【０１１６】
このように項目８１ａ〜８１ｇで設定された検索条件に基づき、リスト生成部２３ｙは、管理情報検索部２３ｂに依頼して該当するシーンの検索を実行させ、その検索結果に基づきリスト８２を表示させる。
【０１１７】
ここで、リスト８２では、シーン８２ａとしては、撮影コンテンツのサムネイル８８ａと録画番組のサムネイル８８ｂとが合成表示されている。また、リスト８２の横にはその詳細情報８３も表示されている。さらに、各シーンの横に、「番組を全部見る」ボタン８４、「シーン再生」ボタン８５、「チェックしたシーンだけ再生」ボタン８６、及び「連続再生」ボタン８７が選択可能に表示されている。各ボタン８４〜８７により、再生方式を選ぶことが可能になっている。ボタン８６のチェック欄８８ｃは、各シーンの手前に設けてある。各ボタン８４〜８７の選択により（ボタン８６についてはチェック欄８８ｃでのチェックも必要）、対象となったシーンの再生が実行される。
【０１１８】
また、検索画面８０では、検索条件を変えることでリストアップされるシーンが更新される。検索画面８０のような詳細な検索を可能とすることで、ユーザはより容易に望む合成画像を表示させることができるようになる。
【０１１９】
次に、図１８を参照しながら、再生時の処理について詳細に説明する。
図１８は、図１４の画面において、あるシーンを選択したときの再生方法の一例を説明するための図である。
【０１２０】
まず、図１３や図１５のようなグループリストで再生対象を絞り込む。具体的には、再生映像選択部２３の管理情報検索部２３ｂは、グループリストのうち選択されたシーングループについて、図１４や図１６で例示したような詳細画面で表示されたシーンリストに、再生対象を絞り込む。そして、管理情報検索部２３ｂは、そのシーンリストの中から、ユーザ選択されたシーンについての管理情報ファイルを検索する。この検索結果を受け、再生映像選択部２３が、同時再生処理部２４に再生指示を伝える。
【０１２１】
同時再生処理部２４は、再生映像選択部２３の再生指示により、映像コンテンツ、撮影コンテンツの各ストレージに対して、再生箇所の指示を送る処理を行う。この指示により、同時再生処理部２４は、再生する２つの動画を抽出し、映像音声出力部１８を制御して再生を実行させる。２つの動画とは、管理情報ファイルに紐付けられたカメラ映像とｓｕｂＩＤで指定されている録画番組とを指す。再生箇所とは、再生開始位置（及び再生終了位置）を示していればよく、日時で示すことが好ましい。図２の管理情報ファイルの例では、録画番組はｓｕｂＩＤで指定のタイムスタンプ部分を再生すればよい。また、詳細画面でジャンルや曜日を指定した場合は管理情報ファイルを次々読んで再生する。
【０１２２】
図１８に示す、図１４のリスト画面５０における該当部分９０に基づき説明する。同時再生処理部２４は、「水曜」の表示領域９１が選択されると、シーン９６ａ〜９５ｅへとｓｕｂＩＤが小さい順に辿っていき、水曜に該当するシーン群９５を連続再生して、再生を終了する。これにより、番組Ｃの４シーンを連続再生し、その後、番組Ｄを１シーン再生して、終了することができる。なお、図１８において、符号９２，９３，９４はそれぞれ図１４の符号５２，５３，５４に相当する。なお、図１６のリスト画面７０についても同様である。また、図１７で例示した詳細画面では絞り込みがより多くの検索条件によりなされる点を除き、基本的に同様に再生できる。
【０１２３】
以上のように、本発明のコンテンツ再生装置を備えたテレビ装置１では、映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示すコンテンツ等の撮影コンテンツとを、分かり易くリストアップすることができ、ユーザは、望む視聴者、望む視聴者状態の同時再生映像を容易に選択し、視聴することができる。
【符号の説明】
【０１２４】
１…テレビ装置、２…入力装置、３…外部機器、４…外部機器、１０…バス、１１…チューナ、１２…ＩＰチューナ、１３…カメラ、１４…マイク、１５…映像音声入力部、１６…メモリ、１７…ＨＤＤ、１７ａ，１７ｂ…管理情報ファイル、１８…映像音声出力部、１９…表示部、２０…スピーカ、２１…コンテンツ解析部、２１ａ…映像コンテンツ情報処理部、２１ｂ…撮影コンテンツ情報処理部、２１ｃ…管理情報生成部、２１ｄ…表情判定部、２１ｅ…行動判定部、２１ｆ…人物判定部、２１ｘ…分類部、２１ｙ…記憶処理部、２２…消去部、２３…再生映像選択部、２３ａ…表示画面生成部、２３ｂ…管理情報検索部、２３ｘ…概略リスト生成部、２３ｙ…リスト生成部、２４…同時再生処理部。
【技術分野】
【０００１】
本発明は、コンテンツ管理装置、及びそのコンテンツ管理装置を備えたコンテンツ再生装置に関する。
【背景技術】
【０００２】
従来から、映像コンテンツを再生中にその視聴者を撮影する技術が開示されている。
例えば、特許文献１には、テレビ番組と同時にテレビ装置に繋いだカメラの映像も記録し、一方を再生する時にもう一方も同時再生する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０４３４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術をはじめとする従来の技術では、膨大な記録データから所望の映像を視聴するのが困難であり、また、同時再生に必要な２つの映像を録画するために多量の記憶容量を必要とする。
【０００５】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、放送番組等の映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示すコンテンツ等の撮影コンテンツとを、分かり易くリストアップすることが可能に集計できるコンテンツ管理装置、及びそのコンテンツ管理装置を備え、分かり易くリストアップすることが可能なコンテンツ再生装置を提供することにある。
【０００６】
また、本発明の他の目的は、上述のコンテンツ管理装置において、不要な映像コンテンツ又は不要な映像コンテンツ及び撮影コンテンツを消去し、記憶容量を低減することが可能なコンテンツ管理装置、及びそのコンテンツ管理装置を備えたコンテンツ再生装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の技術手段は、コンテンツ管理装置において、映像コンテンツと、該映像コンテンツの再生中に視聴者を被写体として撮影され該映像コンテンツに関連付けられて格納された撮影コンテンツとから、前記映像コンテンツのジャンル毎に及び／又は前記視聴者の状態毎に、前記映像コンテンツ及び前記撮影コンテンツのシーンを分類する分類部と、該分類部での分類結果を管理情報ファイルとして記憶する記憶部と、を備えたことを特徴としたものである。
【０００８】
第２の技術手段は、第１の技術手段において、前記記憶部は、前記管理情報ファイルを、前記シーン毎に個別のファイルとして記憶することを特徴としたものである。
【０００９】
第３の技術手段は、第１又は第２の技術手段において、前記記憶部は、予め定められた複数の状態に該当するシーンについての分類結果のみを記憶することを特徴としたものである。
【００１０】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記視聴者として撮影対象となった人物を判定する人物判定部を備え、前記分類部は、ジャンル毎及び／又は前記視聴者の状態毎に、且つ前記人物判定部で判定された人物毎に、前記映像コンテンツ及び前記撮影コンテンツのシーンを分類することを特徴としたものである。
【００１１】
第５の技術手段は、第４の技術手段において、前記記憶部は、予め定められた人物に該当するシーンについての分類結果のみを記憶することを特徴としたものである。
【００１２】
第６の技術手段は、第３又は第５の技術手段において、前記記憶部で記憶したシーン以外のシーンに対応する前記映像コンテンツ及び前記撮影コンテンツを、格納先から消去する消去部を備えたことを特徴としたものである。
【００１３】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記視聴者の状態は、前記視聴者の表情及び／又は行動であることを特徴としたものである。
【００１４】
第８の技術手段は、第１〜第７のいずれか１の技術手段におけるコンテンツ管理装置と、前記映像コンテンツと前記映像コンテンツに関連付けられた撮影コンテンツとを同時に再生する同時再生部とを備えたコンテンツ再生装置であって、前記コンテンツ再生装置は、前記管理情報ファイルに基づきシーンのリストを表示するリスト表示部を備え、前記同時再生部は、前記リスト表示部で表示されたリストのうちユーザ選択されたシーンについての前記映像コンテンツ及び前記撮影コンテンツを同時に再生することを特徴としたものである。
【００１５】
第９の技術手段は、第８の技術手段において、前記リスト表示部は、ユーザ入力された検索条件をキーとして前記管理情報ファイルに基づき検索した結果のシーンについてのリストを表示することを特徴としたものである。
【００１６】
第１０の技術手段は、第８又は第９の技術手段において、前記コンテンツ再生装置は、前記管理情報ファイルに基づき、ジャンル毎及び／又は前記視聴者の状態毎に、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する概略リスト表示部を備え、前記リスト表示部は、前記概略リスト表示部で表示されたリストのうち、ユーザ選択されたジャンル及び／又は前記視聴者の状態に該当するシーンのリストを表示することを特徴としたものである。
【００１７】
第１１の技術手段は、第４又は第５の技術手段におけるコンテンツ管理装置と、前記映像コンテンツと前記映像コンテンツに関連付けられた撮影コンテンツとを同時に再生する同時再生部とを備えたコンテンツ再生装置であって、前記コンテンツ再生装置は、前記管理情報ファイルに基づき、ジャンル毎及び／又は前記視聴者の状態毎に、且つ人物毎に、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する概略リスト表示部と、前記概略リスト表示部で表示されたリストのうち、ユーザ選択されたジャンル及び／又は前記視聴者の状態に該当し且つ人物に該当するシーンのリストを、前記管理情報ファイルに基づき表示するシーンのリストを表示するリスト表示部を備え、前記同時再生部は、前記リスト表示部で表示されたリストのうちユーザ選択されたシーンについての前記映像コンテンツ及び前記撮影コンテンツを同時に再生することを特徴としたものである。
【００１８】
第１２の技術手段は、第８〜第１１のいずれか１の技術手段において、前記映像コンテンツは、放送されたコンテンツであり、前記コンテンツ再生装置は、前記映像コンテンツを受信して再生する再生部と、前記撮影コンテンツを撮影するためのカメラと、前記再生部で前記映像コンテンツを再生中に、前記カメラで撮影された前記撮影コンテンツと再生中の前記映像コンテンツとを関連付けて記憶する録画部と、を備えたことを特徴としたものである。
【００１９】
第１３の技術手段は、第８〜第１１のいずれか１の技術手段において、前記映像コンテンツは、記録済みのコンテンツであり、前記コンテンツ再生装置は、前記映像コンテンツを記録先から読み出して再生する再生部と、前記撮影コンテンツを撮影するためのカメラと、前記再生部で前記映像コンテンツを再生中に、該カメラで撮影された前記撮影コンテンツと関連付けて記憶する録画部と、を備えたことを特徴としたものである。
【発明の効果】
【００２０】
本発明のコンテンツ管理装置によれば、放送番組等の映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示すコンテンツ等の撮影コンテンツとを、分かり易くリストアップすることが可能に集計できる。また、本発明のコンテンツ再生装置によれば、そのような分かり易いリストアップができる。
【００２１】
また、本発明の他の形態によれば、さらに、不要な映像コンテンツ又は不要な映像コンテンツ及び撮影コンテンツを消去し、記憶容量を低減することが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係るコンテンツ再生装置の一例であるテレビ装置の一構成例を示すブロック図である。
【図２】図１のテレビ装置で管理される管理情報ファイルの例を示す図である。
【図３】図２の管理情報ファイルの元となる映像コンテンツ及び撮影コンテンツについて説明するための概念図である。
【図４】図１のテレビ装置における一連の処理例を説明するためのフロー図である。
【図５】図４に続く処理例を説明するためのフロー図である。
【図６】図５に続く処理例を説明するためのフロー図である。
【図７】図１のテレビ装置における他の一連の処理例を説明するためのフロー図である。
【図８】図７に続く処理例を説明するためのフロー図である。
【図９】図８に続く処理例を説明するためのフロー図である。
【図１０】図５に続く他の処理例を説明するためのフロー図である。
【図１１】図１０に続く処理例を説明するためのフロー図である。
【図１２】図１のテレビ装置において対象シーンの再生処理へ至る大まかな流れを説明するための画面遷移の一例を示す図である。
【図１３】図１２の概略リスト画面の一例を示す図である。
【図１４】図１３の概略リスト画面のあるシーングループを選択した場合に表示されるリスト画面の一例を示す図である。
【図１５】図１２の概略リスト画面の他の例を示す図である。
【図１６】図１５の概略リスト画面のあるシーングループを選択した場合に表示されるリスト画面の一例を示す図である。
【図１７】図１２の概略リスト画面で検索ボタンを選択したときの検索画面の一例を示す図である。
【図１８】図１４の画面においてあるシーンを選択したときの再生方法の一例を詳細に説明するための図である。
【発明を実施するための形態】
【００２３】
本発明に係るコンテンツ管理装置は、番組などの映像コンテンツとその再生中にカメラで撮影されたコンテンツ等の撮影コンテンツとを管理する装置である。映像コンテンツは、通常の放送波のようにアンテナから受信して録画しながら再生してもよいし、ＩＰ（Internet Protocol）放送のようにネットワーク経由で受信して録画しながら再生してもよい。また、映像コンテンツは、既に記録済みのものを再生してもよい。例えば、ブルーレイディスク等の可搬記録媒体に格納されたものを再生してもよい。さらに、映像コンテンツは、アンテナやネットワーク経由で受信してＨＤＤ（Hard Disk Drive）などに録画済みのものを再生してもよいし、可搬記録媒体から事前にＨＤＤなどにコピーしておいたものを再生してもよい。記録済みのものとしては、例えば、インターネット経由で再生するＶＯＤ（Video On Demand）コンテンツや、ホームサーバに蓄積した写真などの静止画データや、ゲームプログラムの実行により再生されるゲーム画面の映像も、本発明で言うところの映像コンテンツに該当する。ここで、撮影コンテンツは、映像コンテンツの再生中にカメラで撮影され、関連付けられたものであることを前提に説明するが、映像コンテンツの再生とは無関係に撮影された撮影コンテンツであってもよい。以下、基本的に映像コンテンツが放送中（又は配信中）であっても記録済みであっても適用可能な例を挙げるが、本発明に係るコンテンツ管理装置は、その一方のみに対応するだけでもよい。
【００２４】
また、本発明に係るコンテンツ再生装置は、このようなコンテンツ管理装置を備え、映像コンテンツと撮影コンテンツとの同時再生が可能な装置である。このコンテンツ再生装置は、映像コンテンツだけでの再生を行う再生部を備えるようにしておき、撮影コンテンツを取得するためのカメラも内部に具備するか若しくは外部接続しておけばよい。
【００２５】
以下、このようなコンテンツ管理装置を備えたコンテンツ再生装置の一例として、テレビ装置を挙げて説明する。但し、テレビ装置にコンテンツ管理装置のみを組み込んでもよい。さらに、テレビ装置以外にも、例えばレコーダやＳＴＢ（Set Top Box）なども本発明に係るコンテンツ管理装置やコンテンツ再生装置を組み込んでもよく、表示に限っては外部接続したテレビ装置やモニタ装置に出力すれば済む。
【００２６】
図１は、本発明に係るコンテンツ再生装置の一例であるテレビ装置の一構成例を示すブロック図である。
図１で例示するテレビ装置１は、チューナ１１、ＩＰチューナ１２、カメラ１３、マイク１４、映像音声入力部１５、メモリ１６、ＨＤＤ１７、映像音声出力部１８、表示部１９、スピーカ２０、コンテンツ解析部２１、消去部２２、再生映像選択部２３、及び同時再生処理部２４を備える。各構成１１〜２４は直接又は間接的にバス１０に接続されている。入力装置２は、テレビ装置１を操作するためのリモートコントローラ及びその操作信号を受信する受信部や、テレビ装置１の本体に設けられた本体操作部などで構成される。
【００２７】
ここで、各部２１〜２４は、例えばＣＰＵとＲＡＭとＲＯＭによって構成することができる。ＲＯＭには各部２１〜２４としてＣＰＵを機能させるためのプログラムを記録しておき、ＣＰＵがそのプログラムをＲＡＭに読み出して実行することで各部２１〜２４の機能を実現することができる。このプログラムは、様々な種類の可搬記録媒体に格納して流通させることや、放送波やネットワークを介して流通させることができる。なお、ＲＡＭはメモリ１６で代用することができる。
【００２８】
また、テレビ装置１は、レコーダや外付けＨＤＤの所定などの外部機器３にも接続されており、またインターネットやホームネットワークを介してオンラインストレージやホームサーバなどの外部機器４に接続されている。外部機器４がオンラインストレージの場合、ＶＯＤで再生することやＩＰ放送されたコンテンツを再生することができる。外部機器４がホームサーバの場合、記録済み映像コンテンツや音楽、写真などを再生することができる。
【００２９】
テレビ装置１の各構成について説明する。チューナ１１は、地上デジタル放送やＢＳ／ＣＳデジタル衛星放送などの放送波をアンテナで受信し、映像音声出力部１８や外部機器３に出力する。ＩＰチューナ１２は、ネットワークを介して外部機器４からＩＰ放送や記録済み映像コンテンツを受信し、映像音声出力部１８や外部機器３に出力する。また、チューナ１１やＩＰチューナ１２は、必要に応じて、映像コンテンツに関するコンテンツ情報（例えば番組情報）を、後述するコンテンツ解析部２１の映像コンテンツ情報処理部２１ａに渡す。
【００３０】
映像音声出力部１８は、チューナ１１やＩＰチューナ１２若しくは外部機器３から受信した映像データ、音声データを、それぞれ表示部１９、スピーカ２０へ出力する。映像音声出力部１８、表示部１９、及びスピーカ２０は、映像コンテンツを再生する再生部の一例である。
【００３１】
カメラ１３及びマイク１４は、テレビ装置１の再生部で映像コンテンツが再生されているときに、好ましくは自動で起動し、視聴者を被写体として撮影し、その映像データ、音声データを映像音声入力部１５へ入力する。自動起動以外では、例えば視聴者自身や視聴者の保護者等の他者が撮影キーを押すなどにより、起動させてもよい。映像音声入力部１５は、撮影により入力された映像・音声データでなる撮影コンテンツを、後述する撮影コンテンツ情報処理部２１ｂへ出力する。これは後述する表情判定部２１ｄ、行動判定部２１ｅ、人物判定部２１ｆで使用するためである。また、撮影コンテンツは、ＨＤＤ１７又は外部機器３に記録されるが、その制御も撮影コンテンツ情報処理部２１ｂが行えばよい。
【００３２】
また、カメラ１３は後述の人物判定部２１ｆで人物を判定し、その判定結果に基づき自動追尾して撮影することが好ましく、特に撮影方向や撮影倍率なども自動で表情が映るように又は体全体が移るように変更できるようになっていることが好ましい。以下、撮影コンテンツを取得するのはカメラ１３であるように説明するが、基本的にマイク１４による音声データの取得を伴う。
【００３３】
メモリ１６は、テレビ装置１内部でのデータのやり取りや、外部機器３や外部機器４とのデータのやり取りにおいて、バッファとして使用する、ＲＡＭやフレームメモリ等の記憶装置である。ＨＤＤ１７は、後述する管理情報ファイル１７ａ，１７ｂ等の管理情報ファイルを記憶する。
【００３４】
また、外部機器３は、チューナ１１やＩＰチューナ１２から入力された映像コンテンツを記憶することも可能になっている。外部機器３が接続されたテレビ装置１のように、本発明に係るコンテンツ再生装置は、映像コンテンツを録画する録画部を備えることが好ましい。この録画部は、映像コンテンツのみの録画も可能としておけばよいが、再生部で映像コンテンツの再生中にカメラ１３で撮影された撮影コンテンツと、その再生中の映像コンテンツとについては、それらを関連付けて記憶するものとする。また、この録画部は、外部機器３の代わりにＨＤＤ１７など、内部記憶装置に記憶するように構成してもよい。
【００３５】
ここで、映像コンテンツが、テレビ放送やＩＰ放送などの放送されたコンテンツである場合には、上記再生部は、その映像コンテンツを受信して再生すればよい。一方で、映像コンテンツが既に記録済みのコンテンツであった場合、上記再生部は、映像コンテンツを記録先から読み出して再生すればよい。
【００３６】
映像コンテンツのデータ構造は、例えばＭＰＥＧ２、Ｈ．２６４などが挙げられるが、特に問わない。放送番組の場合、一般的に放送番組を録画した時のデータと同じく、放送波の中の番組情報も一緒に格納され、番組の長さも（所要時間）も一緒にメタデータとして格納され、録画日時は自動的に付加されるものとする。放送番組以外の映像コンテンツも同様である。
【００３７】
また、カメラ映像データのデータ構造は、例えばＭＰＥＧ２、Ｈ．２６４などが挙げられるが、特に問わない。一般的にカメラ映像を記録した時のデータと同じく、映像の長さは（所要時間）も一緒にメタデータとして格納され、記録日時は自動的に付加されるものとする。
【００３８】
関連付けの方法についてはどのような方法を採用してもよい。但し、映像コンテンツの再生中の、映像コンテンツ自身と視聴者の様子とが再現できるような、映像コンテンツと撮影コンテンツとの同時再生が、実現できるように関連付けてあればよい。つまり、映像コンテンツと撮影コンテンツとは、例えば再生日時と撮影日時とが合うような同時再生が可能な状態で関連付けられていればよい。無論、Picture in Picture（Ｐ ｉｎ Ｐ）や同サイズでの２画面表示などにより、一方のコンテンツに他方を組み込んで１つのコンテンツとして格納されていてもよい。また、上述のように、映像コンテンツや撮影コンテンツには通常、映像データだけでなく音声データも含まれている。
【００３９】
同時再生処理部２４は、上述した関連付けに従って映像コンテンツと撮影コンテンツとを、同時に再生する処理を、映像音声出力部１８に対して行う。その結果、表示部１９及びスピーカ２０から映像・音声が同時出力される。Ｐ ｉｎ Ｐ表示を行う場合には、撮影コンテンツの方が映像コンテンツより大きな領域を使って表示されることが好ましい。この同時再生時の音声に関し、元の映像コンテンツからのみ音声出力してもよいが、この同時再生自体が視聴者の様子を視聴するためのものであるため、撮影コンテンツからのみ音声出力するか、若しくは双方のコンテンツから音声出力することが好ましい。なお、同時再生処理部２４で再生対象となる映像コンテンツと撮影コンテンツのセットについては後述する。
【００４０】
コンテンツ解析部２１は、映像コンテンツと撮影コンテンツとについて、映像データ、音声データ、コンテンツ情報のいずれか１つ又は複数を解析する。そのため、コンテンツ解析部２１は、映像コンテンツに関する情報を処理する映像コンテンツ情報処理部２１ａと、撮影コンテンツに関する情報を処理する撮影コンテンツ情報処理部２１ｂとを備える。
【００４１】
映像コンテンツ情報処理部２１ａは、録画したテレビ番組、ＩＰ放送、ＶＯＤ配信などの映像コンテンツに一意のＩＤを振り、各種コンテンツの中身を解析する。ここで説明する例ではジャンル毎にシーンを分類する処理を前提とするため、解析としては、少なくとも映像コンテンツのジャンルが分かるような処理が必要である。ジャンルは、電子番組表（ＥＰＧ）のために配信される番組情報（ＳＩ）やそれと同等のコンテンツ情報から取得することができるが、映像コンテンツ自体を解析することによっても得ることができる。
【００４２】
なお、再生対象の映像コンテンツは、ＢＤ（Blu-ray Disc）やＤＶＤ（Digital Versatile Disc）などの可搬記録媒体に記録されたコンテンツであってもよいが、同時再生可能とするためには、対応するシーンの部分についてＨＤＤ１７や常時接続のレコーダ等の外部機器３に格納しておくなど、再生時にリンクができるようにしておく必要がある。
【００４３】
撮影コンテンツ情報処理部２１ｂは、管理情報生成部２１ｃ、表情判定部２１ｄ、行動判定部２１ｅ、及び人物判定部２１ｆを有する。表情判定部２１ｄと行動判定部２１ｅとは双方備えなくてもよく、視聴者の状態が判定できればよい。
【００４４】
管理情報生成部２１ｃは、本発明の主たる特徴である分類部２１ｘと記憶処理部２１ｙとを有する。分類部２１ｘは、映像コンテンツと、その映像コンテンツの再生中に視聴者を被写体として撮影されその映像コンテンツに関連付けられて格納された撮影コンテンツとから、映像コンテンツのジャンル毎に且つ視聴者の状態毎に、映像コンテンツ及び撮影コンテンツのシーンを分類する。以下、ジャンル毎且つ視聴者の状態毎に分類する例を挙げるが、分類部２１ｘは、映像コンテンツのジャンル毎に映像コンテンツ及び撮影コンテンツのシーンを分類するだけでもよいし、視聴者の状態毎に映像コンテンツ及び撮影コンテンツのシーンを分類するだけでもよし、さらには映像コンテンツのジャンルや視聴者の状態以外の分類基準に基づいて、シーンを分類してもよい。記憶処理部２１ｙ及びＨＤＤは、分類部２１ｘでの分類結果を管理情報ファイルとして記憶する記憶部の一例である。ジャンルについては映像コンテンツ情報処理部２１ａで得ることができる。
【００４５】
視聴者の状態について説明する。視聴者の状態とは、視聴者の表情及び／又は行動であることが好ましい。以下、この好ましい例を挙げて説明するが、他の例としては視聴者の数も挙げられる。視聴者の数は、一緒に視聴している人数、つまり他の何人と視聴しているかを示す状態を示しているため、視聴者の状態に該当すると言える。そして、視聴者の数は容易に映像解析により検出できる。一緒に視聴している際には途中で数人だけ離れることもあるため、ある一定期間だけ不在であれば居るものとして取り扱ってもよい。
【００４６】
表情判定部２１ｄ、行動判定部２１ｅ、及び人物判定部２１ｆは、カメラ１３の映像を解析して、それぞれ表情、行動、被写体人物（撮影対象となった人物）を判定する。表情、人物については顔認識技術により実現できる。行動の判定についてもある行動のパターンに合致するか否かで判定してもよいし、例えば大きな動きをしているか、身体が大きく写るようになるか、小さく写るようになるか、などの様々な判定条件に基づき総合的に判定すればよい。このように、撮影コンテンツ情報処理部２１ｂは、カメラ映像を処理するため、カメラ映像処理部とも言える。
【００４７】
表情情報や行動情報を得るためには、撮影コンテンツ内の映像データを使用することを前提に説明したが、音声データを使用してもよい。例えば、笑った声や怒った声などは周波数解析を行うなどにより判別できるし、声が伴うかで行動を判定してもよいし、踊っているときの声などは息づかいの声を検知するなどして判別することができ、動かないときの声は無音（無論、再生中の映像コンテンツの音声を除いて）を検知すれば判別でき、行動が特定できない有音については表情判定に判定を委ねてもよい。
【００４８】
また、カメラ１３は動画カメラであることを前提に説明したが、静止画のカメラであっても、視聴者が撮影でき、且つその撮影した写真から視聴者の状態は判別できる。その場合、対応する映像コンテンツも静止画像としてもよいし、撮影時点から所定時間経過するまでの映像や撮影時点を中心に所定時間前から所定時間後までの映像などを関連付ければよい。
【００４９】
人物判定部２１ｆを設けて人物判定を行う場合、分類部２１ｘは、ジャンル毎及び／又は視聴者の状態毎に、且つ人物毎に、映像コンテンツ及び撮影コンテンツのシーンを分類してもよい。
【００５０】
無論、人物判定部２１ｆも設けなくてもよく、どんな人物であろうと区別無く、状態の判定に従った分類を行ってもよい。これにより、例えば笑った家族の映像と泣いた家族の映像とを、家族の誰であるかに拘わらず分類することができ、結果として笑った家族の映像をまとめて再生するなどの処理も可能になる。
【００５１】
以上のように、テレビ装置１では、分類部２１ｘで視聴者の状態や映像コンテンツのジャンルなどに基づき分類を行っているため、映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示す撮影コンテンツとを、分かり易くリストアップすることが可能な状態に、集計できる。ここで、撮影コンテンツが上記映像コンテンツとがどのような関係であっても、喩え無関係なコンテンツであっても、分かり易くリストアップすることが可能な状態に集計できることにかわりはない。なお、消去部２２及び再生映像選択部２３については、より好ましい例として後述する。
【００５２】
次に管理情報ファイルの好ましい例について、図２及び図３を参照しながら説明する。図２は、図１のテレビ装置で管理される管理情報ファイルの例を示す図で、図３は、図２の管理情報ファイルの元となる映像コンテンツ及び撮影コンテンツについて説明するための概念図である。以下の説明では、基本的に映像コンテンツとして番組のコンテンツを取り扱った例を挙げるが、これに限ったものではない。
【００５３】
記憶処理部２１ｙは、管理情報ファイルを、シーン毎に個別のファイルとして、ＨＤＤ１７に記憶する。これによりＨＤＤ１７に記憶される個別の管理情報ファイル１７ａ，１７ｂ等は、当然、各シーンに関連付けて記憶されることになる。但し、１つの管理ファイルのみで全ての分類結果を示すようにしてもよい。
【００５４】
管理情報ファイル１７ａ，１７ｂ等は、Ａ０００１＿Ｐ０１、Ａ０００２＿Ｐ０３などと付された番組情報ＩＤ、並びに、カメラ映像を指し示し、ファイル名などと１対１に対応し、Ｂ００００、Ｂ０００１などと付されたカメラ映像ＩＤなどが含まれる。また、番組情報ＩＤについては、番組データそのものを示しファイル名などと１対１に対応したコンテンツＩＤ、並びに番組の格納場所を示し機器固有番号やサーバ名などと１対１に対応したデバイスＩＤなどが含まれる。
【００５５】
例えば、管理情報ファイル１７ａには、そのタグＩＤがＴ０００１であることとともに、記述される対象の映像コンテンツを示すカメラ映像ＩＤと、そのカメラ映像ＩＤに対する１又は複数のｓｕｂＩＤとが記述されている。ここでは、カメラ映像ＩＤ＝Ｂ０００１について、ｓｕｂＩＤ＝ｓ００１，ｓ００２，ｓ００３が記述されている。ｓｕｂＩＤは、１つのタグＩＤに対して無数に存在させることができ、番組情報ＩＤ、表情情報、行動情報、人物情報、及びタイムスタンプといった情報をもつ。ｓｕｂＩＤは、番組などの映像コンテンツ、表情情報、行動情報、人物情報のいずれかが変わると、新しいｓｕｂＩＤが付される。なお、番組が変わるとは番組情報が変わることで検知できる。例えば、表情情報及び行動情報の一方のみを採用して管理する形態においては、映像コンテンツ、表情情報又は行動情報の一方、人物情報のいずれかが変わると、新しいｓｕｂＩＤが付されることになる。
【００５６】
また、映像コンテンツの例えば放送番組の途中に入るコマーシャルメッセージ（ＣＭ）については、各ＣＭを別個の映像コンテンツと捉えることが好ましく、その場合、ＣＭの前後の番組が同じタイトルであった場合には同じ映像コンテンツとして取り扱ってもよいし、別の映像コンテンツとして取り扱ってもよい。
【００５７】
ｓｕｂＩＤについて記述された情報を、ｓ００１を例に説明する。ｓｕｂＩＤ＝ｓ００１については、番組情報ＩＤがＡ０００１＿Ｐ０１、表情情報が「笑う」、行動情報が「−（無し）」、人物情報が「兄」、ｔｉｍｅ（撮影日時）が２０１００６２５＿１６：３７：０５−１６：４９：５５であることが記述されている。ｓ００２の場合、兄と妹とが同時に笑って踊っていたことを表現しており、ｓ００３の場合、姉と兄とが同時に驚いて近寄ってきたことを表現している。また、ｓｕｂＩＤ同士の間に時間差があるが、これは視聴者を撮影できなかった期間か、視聴者を撮影できたものの表情情報も行動情報もない期間に相当する。人物情報が「兄」についてのみ考察すると分かり易いが、ｓｕｂＩＤ＝ｓ００１，ｓ００２，ｓ００３は、それぞれ図３の期間Ｉ，ＩＩ，ＩＩＩに相当する。期間Ｉ，ＩＩ，ＩＩＩのそれぞれが、１シーンに該当し、各シーンはその再生に要する時間が、例えば１３分、３分、１２分と異なる。なお、図３では、期間Ｉ〜ＩＩＩの長さや表情情報や行動情報が「無」の期間の長さを、管理情報ファイル１７ａのそれに合わせていないが、順番は合わせてある。
【００５８】
次に、記憶処理部２１ｙの処理の他の例について説明する。
記憶処理部２１ｙは、予め定められた複数の状態に該当するシーンについての分類結果のみをＨＤＤ１７に記憶するようにしてもよい。同様に、予め定められた複数の状態且つ複数のジャンルに該当するシーンについての分類結果のみを記憶するようにしてもよい。また、分類時に上記予め定められた複数の状態を抽出するようにすることで、抽出されなかったシーンは必然的に残ることになる。分類部２１ｘが、分類処理としてこのような抽出処理も行うように構成してもよい。いずれの構成においても、全てのシーンについて分類する必要がなく、表情や行動のうち、例えば笑うと泣く、飛び跳ねるだけのシーンを抽出することができる。また、他のシーンは、その他のシーンとして取り扱うように構成することもできる。
【００５９】
また、記憶処理部２１ｙは、予め定められた人物（１又は複数の人物）に該当するシーンについての分類結果のみを記憶するようにしてもよい。ここで、記憶処理部２１ｙは、図２で例示したように、管理情報ファイルに人物判定結果が示す人物情報を含むように記憶すればよいが、人物毎に管理フォルダを設けておき、対応する人物の管理フォルダに管理ファイルを格納していってもよい。これにより、特定の人物、例えば長男だけや子供全員だけなどについて、分類結果を残すことができる。
【００６０】
次に、消去部２２について説明する。消去部２２は、記憶処理部２１ｙで記憶処理した予め定められた複数の状態や人物に該当するシーン以外のシーンに対応する、映像コンテンツ及び撮影コンテンツを、格納先から消去する。このような消去部２２を備えることで、不要な映像コンテンツや不要な撮影コンテンツを消去できるため、記憶容量を低減することができる。
【００６１】
次に、上述した構成例のテレビ装置１における、番組の再生及びカメラでの視聴者撮影処理、並びにコンテンツ解析部２１による分類処理、管理ファイル作成及び記憶処理について、処理の流れを図４〜図１１を参照しながら説明する。
【００６２】
図４〜図６は、図１のテレビ装置における一連の処理例を説明するためのフロー図である。ここでは、テレビ装置１のチューナ１１で受信したテレビ番組の再生に対してなされる処理例であって、子供が視聴者の場合にのみ、つまり子供番組か子供が実際に観ている番組である場合にのみ、カメラ１３での撮影も行う例を説明する。
【００６３】
図４において、まず視聴予約処理がなされていた場合、視聴日時が到来したか否かを判定し（ステップＳ１）、到来した段階で、映像コンテンツ情報処理部２１ａが視聴予約に係る番組情報を確認する（ステップＳ２）。ここで、番組情報は、ジャンルやキーワードなどの番組に関する情報であって、ＥＰＧのためのＳＩやＢＭＬ（(Broadcast Markup Language）などに格納されているデータから取得することができる。なお、インターネット上のＶＯＤなどを視聴する場合には、ここでの説明において、番組をネットコンテンツと読み替えればよい。そして、そのコンテンツの情報はＸＭＬ（Extensible Markup Language）ファイルなどのメタデータから取得することができる。
【００６４】
映像コンテンツ情報処理部２１ａは、ステップＳ２で確認した番組情報が子供向け番組であることを示しているか否かを判定し（ステップＳ３）、ＮＯの場合には通常の視聴予約処理を実行する（ステップＳ４）。一方、ステップＳ３でＹＥＳの場合には、図５の処理へと進む。
【００６５】
録画予約処理がなされていた場合、録画日時が到来したか否かを判定し（ステップＳ５）、到来した段階で、映像コンテンツ情報処理部２１ａが録画予約に係る番組情報を確認し（ステップＳ２）、ステップＳ３の処理を実行する。ステップＳ３でＮＯの場合には通常の録画予約処理を実行する（ステップＳ４）。一方、ステップＳ３でＹＥＳの場合には、図５の処理へと進む。
【００６６】
録画は入力装置２により録画ボタンを押下することでも開始される。押下されたか否かを判定し（ステップＳ６）、押下された段階で、映像コンテンツ情報処理部２１ａが録画対象の番組の番組情報を確認し（ステップＳ２）、ステップＳ３の処理を実行する。ステップＳ３でＮＯの場合には通常の録画処理を実行する（ステップＳ４）。一方、ステップＳ３でＹＥＳの場合には、図５の処理へと進む。
【００６７】
録画は、例えば蓄積・解析した視聴履歴などに基づいて自動的に実行することもできる。その場合、録画実行時に、カメラ１３の映像を一時的に取得して人物判定部２１ｆで人物を判定することで、子供が観ているか否かを判定する（ステップＳ７）。ステップＳ７でＹＥＳの場合には、図５の処理へと進む。
【００６８】
このように、番組が子供番組か、子供が実際に観ている番組かを判定し、そうである場合には図５の処理を実行する。
まず、撮影コンテンツ情報処理部２１ｂが、映像音声入力部１５に指示してカメラ１３及びマイク１４にカメラ映像の記録開始を指示する（ステップＳ８）。記録先はＨＤＤ１７や外部機器３など予め定められた領域でよい。続いて、前述した録画部が番組の録画を開始する（ステップＳ９）。ステップＳ８，Ｓ９の順序は問わないが、番組開始数分前から撮影を開始してもよく、それにより視聴前のわくわく感などが記録できることもある。
【００６９】
続いて、管理情報生成部２１ｃの記憶処理部２１ｙが管理情報ファイルを作成し、ＨＤＤ１７に保存する（ステップＳ１０）。続いて、分類部２１ｘ及び記憶処理部２１ｙがカメラ撮影ＩＤ及び番組情報ＩＤを順番に付し、管理情報ファイルに追記して上書きする（ステップＳ１１）。ここで、番組情報ＩＤは、コンテンツＩＤとデバイスＩＤからなる一意な値とし、コンテンツＩＤは映像そのものを示すＩＤ、デバイスＩＤは格納先（内蔵ＨＤＤ１７や外付けレコーダ）を示すＩＤとする。また、これらのＩＤや後述のＩＤを付しているのは、分類のためであり、そのため分類部２１ｘと記憶処理部２１ｙとの処理として説明している。
【００７０】
ステップＳ１１の処理後、図６の処理へと進む。まず、撮影コンテンツ情報処理部２１ｂの各判定部２１ｄ〜２１ｆがカメラ映像を解析する（ステップＳ１２）。分類部２１ｘは、状態が変わったか否かを判定し、変わった場合には、記憶処理部２１ｙが管理情報ファイルにタイムスタンプ、表情情報、行動情報、人物情報を付加して上書きする（ステップＳ１３）。続いて、分類部２１ｘは、映像コンテンツ情報処理部２１ａからの番組情報に基づき、チャンネルが変更されたか否かを判定し（ステップＳ１４）、ＹＥＳの場合には子供がまだ観ているか否かをカメラ１３の映像から判定する（ステップＳ１９）。
【００７１】
ステップＳ１９でＹＥＳの場合、録画部が番組を切り替えて録画を開始し（ステップＳ２０）、記憶処理部２１ｙが管理情報ファイルに変更後の番組情報ＩＤを追加し（ステップＳ２１）、ステップＳ１２へ戻る。ステップＳ２１での追加の際には新たなｓｕｂＩＤが付されることになる。従来の録画装置では、チャンネル変更に伴い、録画は中止されるが、ここでは、ステップＳ１９でＹＥＳの場合には変更後のチャンネルの番組で録画する。変更後のチャンネルの番組は、変更前のチャンネルの番組と違うデータ（動画ファイル）として録画しても、同じデータに続けて録画してもよい。いずれの場合でも、変更後のチャンネルには、変更前のチャンネルとは別の番組情報ＩＤを付与する。
【００７２】
ステップＳ１４でＮＯの場合、録画部が、録画終了か否かを、予約情報や録画停止ボタンの押下などに基づき判定する（ステップＳ１５）。ステップＳ１５でＹＥＳの場合にはステップＳ１９へ進み、ステップＳ１５でＮＯの場合には、自動録画の場合か、ステップＳ２０の処理をした場合で子供がもう観ていないか否かを、カメラ１３の映像から判定する（ステップＳ１６）。ステップＳ１６でＹＥＳの場合には番組録画を終了し（ステップＳ１７）、カメラ映像の記録も終了する（ステップＳ１８）。ステップＳ１６でＮＯの場合にはステップＳ１２へ戻る。また、ステップＳ１９でＮＯの場合には、ステップＳ１８へ進む。
【００７３】
このように、この例では、ユーザが明示的に録画処理をしたコンテンツが終了しても子供がまだテレビ番組を見続けていたら自動的に録画を継続する。但し、この場合、新しいＩＤを振るものとする。
【００７４】
図７〜図９は、図１のテレビ装置における他の一連の処理例を説明するためのフロー図である。ここでは、既に録画してある番組の再生に対してなされる処理例であって、子供が視聴者の場合にのみ、つまり子供番組か子供が実際に観ている番組である場合にのみ、カメラ１３での撮影も行う例を説明する。なお、この例では番組は録画済みであるため、再度の録画は実行しない。
【００７５】
図７において、まず番組が再生されたか否かを判定し（ステップＳ３１）、再生された時点で、図４のステップＳ２，Ｓ３の処理が実行される（ステップＳ３２，Ｓ３３）。ステップＳ３３でＮＯの場合には処理を終了し、ＹＥＳの場合には図８の処理へ進む。また、並列してステップＳ４と同様の判定を行い（ステップＳ３４）、観たと判定された段階で図８の処理へ進む。
【００７６】
まず、図５のステップＳ８と同様にカメラ映像の記録開始を指示する（ステップＳＳ３５）。続いて、図５のステップＳ１０と同様に管理情報ファイルの作成処理を行う（ステップＳ３６）。そして、分類部２１ｘ及び記憶処理部２１ｙがカメラ撮影ＩＤ及び番組情報ＩＤを順番に付し、番組再生日時と併せて、管理情報ファイルに追記して上書きする（ステップＳ３７）。
【００７７】
ステップＳ３７の処理後、図９の処理へと進む。まず、図６のステップＳ１２，Ｓ１３と同様の処理を行う（ステップＳ３８，Ｓ３９）。続いて、分類部２１ｘは、映像コンテンツ情報処理部２１ａからの番組情報に基づき、再生番組が変更されたか否かを判定し（ステップＳ４０）、ＹＥＳの場合には記憶処理部２１ｙが管理情報ファイルに変更後の番組情報ＩＤ及び番組再生日時を追加し（ステップＳ４２）、ステップＳ３８へ戻る。ステップＳ４２での追加の際には新たなｓｕｂＩＤが付されることになる。
【００７８】
ステップＳ４０でＮＯの場合、再生部が、再生終了か否かを、再生停止ボタンの押下に基づき判定する（ステップＳ４１）。ステップＳ４１でＹＥＳの場合には処理を終了し、ステップＳ４１でＮＯの場合には、ステップＳ３８へ戻る。ここで、処理の終了時には、番組終了日時についても番組再生日時と対応させて同じ管理情報ファイルに記録する。
【００７９】
図１０及び図１１は、図１のテレビ装置における他の一連の処理例を説明するためのフロー図である。ここで、図１０は、図５に続く他の処理例を説明するためのフロー図で、図１１は、図１０に続く処理例を説明するためのフロー図である。ここで説明する処理例は、図４〜図６で説明した例において、録画後にカメラ映像を処理する点が異なる。テレビ装置のＣＰＵ性能などが低い場合、録画とカメラ映像の処理が同時に行えない場合がある。この場合、録画が終了した後にカメラ映像を処理する。この例では、録画後にカメラ映像を処理するため、管理情報ファイルに処理済みフラグｃｈｅｃｋ＿ｆｌａｇ（０＝未処理）を設ける。
【００８０】
まず、図４及び図５と処理と同じ処理が施され、その後、図１０の処理が施される。図１０においては、まず、図６のステップＳ１４と同様に、チャンネルが変更されたか否かを判定し（ステップＳ５１）、ＹＥＳの場合には図６のステップＳ１９と同様に子供がまだ観ているか否かを判定する（ステップＳ５３）。ステップＳ５３でＹＥＳの場合、録画部が番組を切り替えて録画を開始し（ステップＳ５６）、記憶処理部２１ｙが管理情報ファイルに変更後の番組情報ＩＤ及びタイムスタンプを追加し（ステップＳ５７）、ステップＳ５１へ戻る。ステップＳ５７での追加の際には新たなｓｕｂＩＤが付されることになる。通常の録画装置では、チャンネル変更に伴い、録画は中止されるが、ここでは、ステップＳ５３でＹＥＳの場合には変更後のチャンネルの番組で録画する。
【００８１】
ステップＳ５１でＮＯの場合、図６のステップＳ１５と同様に録画終了か否かを判定する（ステップＳ５２）。ステップＳ５２でＹＥＳの場合にはステップＳ５３へ進み、ステップＳ５２でＮＯの場合にはステップＳ５１へ戻る。また、ステップＳ５３でＮＯの場合、つまり子供がもう観ていない場合には、カメラ映像の記録を停止し（ステップＳ５４）、番組録画も停止する（ステップＳ５５）。なお、ステップＳ５４，Ｓ５５の処理の順序は問わない。
【００８２】
続いて、図１１の処理に進む。まず、分類部２１ｘが、管理情報ファイルでｃｈｅｃｋ＿ｆｌａｇ＝０のカメラ映像ＩＤを検索する（ステップＳ５８）。続いて、そのカメラ映像ＩＤの映像コンテンツについて、図６のステップＳ１２と同様に、撮影コンテンツ情報処理部２１ｂの各判定部２１ｄ〜２１ｆがカメラ映像を解析する（ステップＳ５９）。
【００８３】
続いて、分類部２１ｘ及び記憶処理部２１ｙが管理情報ファイルに、解析結果のタイムスタンプ、表情情報、行動情報、人物情報を付加して上書きする（ステップＳ１３）。続いて、撮影コンテンツ情報処理部２１ｂが全時間について解析済みか否かを判定し（ステップＳ６１）、ＹＥＳの場合にはｃｈｅｃｋ＿ｆｌａｇ＝１として処理を終了する。ステップＳ６１でＮＯの場合にはステップＳ５９へ戻る。
【００８４】
図４〜図１１を参照して説明した例とは異なる、録画に関する他の例を挙げる。録画部は、所定の行動パターンや所定の表情については、映像コンテンツの方の解像度を落としたりフレームレートを落としたりして、録画を実行してもよい。逆に、撮影コンテンツ情報処理部２１ｂは、所定の行動パターンや所定の表情については、撮影コンテンツの方の解像度を落としたりフレームレートを落としたりして、録画を実行してもよい。無論、映像コンテンツ及び撮影コンテンツの双方について解像度やフレームレートを下げるようにしてもよい。
【００８５】
次に、再生映像選択部２３での処理について、図１２〜図１８を併せて参照しながら説明する。
再生映像選択部２３は、映像コンテンツと撮影コンテンツとの同時再生を行うための対象を選択するユーザインターフェース（ＵＩ）を表示させ、それに対する入力装置２からの操作情報に基づき選択を行う。再生映像選択部２３は、そのＵＩのために表示画面生成部２３ａを有し、選択された対象シーンを検索するために管理情報検索部２３ｂを有する。
【００８６】
表示画面生成部２３ａは、ＨＤＤ１７内の管理情報ファイルを元に画面に表示する内容を生成する。このとき表示するリストは、管理情報検索部２３ｂに依頼して集計させたものを取得すればよい。表示画面生成部２３ａは、概略リスト生成部２３ｘ及びリスト生成部２３ｙを有する。概略リスト生成部２３ｘ、リスト生成部２３ｙのいずれか一方だけ設けてもよいが、いずれにせよ、分類部２１ｘでの分類結果を何らかのリストで表示できれば、ユーザにとって再生対象を選択し易くなる。
【００８７】
リスト生成部２３ｙ、映像音声出力部１８、及び表示部１９は、次のリスト表示部の一例である。このリスト表示部は、管理情報ファイルに基づきシーンのリストを表示する。また、同時再生処理部２４、映像音声出力部１８、表示部１９、及びスピーカ２０は、次の同時再生部の一例である。この同時再生部は、このリスト表示部で表示されたリストのうちユーザ選択されたシーンについての映像コンテンツ及び撮影コンテンツを同時に再生する。
【００８８】
概略リスト生成部２３ｘ、映像音声出力部１８、及び表示部１９は、次の概略リスト表示部の一例である。この概略リスト表示部は、管理情報ファイルに基づき、ジャンル毎及び／又は視聴者の状態毎に（且つ人物毎に）、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する。ここで、上述のリスト表示部は、概略リスト表示部で表示された概略リストのうち、ユーザ選択されたジャンル及び／又は視聴者の状態（及び人物）に該当するシーンのリストを表示すればよい。但し、上述したように、リスト表示部は概略リストの表示無しでリストを表示してもよい。なお、人物毎の処理は人物判定が設けられた場合のみ実現できる。
【００８９】
管理情報検索部２３ｂは、表示画面生成部２３ａで表示する概略リストやリストを表示するための検索を、ＨＤＤ１７から行う。また、管理情報検索部２３ｂは、表示画面生成部２３ａで生成された表示画面を表示した状態で、入力装置２からシーンを選択するユーザ操作を受け、そのユーザ操作から映像コンテンツ及び撮影コンテンツの再生箇所を検索して特定する。再生箇所とは、ユーザ操作によって選択されたシーン、若しくはユーザ操作によって選択された集計結果に該当するシーンなどを指す。続いて、該当シーンと同分類の別のシーンや、該当シーンに続く同映像コンテンツを含む別のシーンを再生するか否かなどは、予め決めておいた動作か、ユーザ操作に基づけばよい。
【００９０】
図１２を参照しながら、対象シーンの再生の大まかな流れをテレビ装置１における表示部１９の表示の遷移に基づき説明する。図１２は、図１のテレビ装置において対象シーンの再生処理へ至る大まかな流れを説明するための画面遷移の一例を示す図である。
【００９１】
まず、テレビ映像３１が表示された状態から特定のキーの選択によりジャンルと視聴者（ここでは子供で例示）の状態とによって分類された概略リスト画面３２を、概略リスト生成部２３ｘが生成して表示部１９に出力する。概略リストは、２軸で分類された番組がいくつあるのかを一覧表示するもので、グループリストとも呼べる。ここで、シーングループ３２ａが現在選択され、決定キーの押下などで選択が実行されると、リスト生成部２３ｙがシーングループ３２ａに該当するジャンル・状態について詳細画面を生成して表示部１９に表示する。詳細画面は、分類された番組を並べるなどして、再生したい番組をユーザ選択することが可能となった画面である。
【００９２】
詳細画面としては、曜日別リスト画面３３、その他の条件に従って並べた他のリスト画面３４、検索画面３５などが挙げられる。これらは上下キーや左右キーなど所定のキーに基づきトグル操作可能となっていることが好ましい。曜日別リスト画面３３のあるシーン３３ａを選択することで、そのシーンの番組３６ｐを含んだカメラ映像（撮影コンテンツ）３６が表示部１９に表示される。なお、同時に音声の出力もなされる。同様に、他のリスト画面３４のあるシーン３４ａを選択することで、そのシーンの番組３７ｐを含んだ撮影コンテンツ３７が表示部１９に表示される。また、検索画面３５については、シーングループ３２ａに該当するジャンル・状態についての検索結果の詳細を表示させるとともに、ジャンルや状態などについての検索条件を変更し、別の検索結果を表示させることも可能になっている。検索結果のうちユーザ選択されたシーンについて、そのシーンの番組３８ｐを含んだ撮影コンテンツ３８が表示部１９に表示されることになる。便宜上、シーン３３ａ、シーン３４ａ、検索画面３５での検索結果のシーンの３つのシーンは全て違うものである場合を説明したが、３つのシーン全て、或いはどれか二つが、たまたま同じシーンになることはありうる。また、検索画面３５は、シーングループ３２ａに該当するジャンル・状態についての検索結果ではなく、全ジャンル・全状態の検索画面が表示されてもよい。つまり、概要リスト画面３２で予め絞り込まずに検索をするようにしてもよい。
【００９３】
このように、概要リスト画面３２では、番組等の映像コンテンツのジャンルと視聴者の状態（表情及び／又は行動など）の２軸で全てのシーンを集計している。概要リスト画面３２では分類結果を統計的に表示しているが、そのまま該当するシーングループに該当する部分を選択することでそのシーングループを再生できるようにしておいてもよいし、各詳細画面へ移行するようにしておき、詳細画面から所望のシーンを再生可能にしておいてもよい。
【００９４】
次に、図１３〜図１８を参照しながら、これらの画面の具体例を説明する。なお、ジャンル別且つ表情又は行動別での集計を行った例のみ挙げるが、ジャンル別のみでの集計や表情別又は行動別のみでの集計でも同様に適用できる。例えば、ジャンル別のみでの集計は、後述する概略リスト画面４０の一部分でまかなえる。
【００９５】
図１３は、図１２の概略リスト画面の一例を示す図で、図１４は、図１３の概略リスト画面のあるシーングループを選択した場合に表示されるリスト画面の一例を示す図である。
【００９６】
図１３に示す概略リスト画面４０では、ジャンル別且つ表情別のシーン数を集計した概略リスト（グループリスト）４４を表示している。このグループリスト４４では、人物選択領域４１によって選択された「兄」について、表情群４３のそれぞれについて、ジャンル群４２のそれぞれのシーン数を頻度で示すとともに、シーン数によって閾値処理して色分けも行っている。ここで、表情群４３としては、「笑」、「怒」、「泣」、「驚」を例示しており、ジャンル群４２としては「アニメ」、「映画」、「スポーツ」、「ドラマ」、「お笑い」、「ニュース」を例示している。
【００９７】
処理を説明すると、概略リスト生成部２３ｘが、管理情報検索部２３ｂに依頼して管理情報ファイルを検索し条件に合うものを集計し、集計結果から概略リスト画面４０を生成する。番組のジャンルは、管理情報ファイルに記述された番組情報ＩＤから録画データを辿り番組情報（ＳＩ情報）から取得するなどすればよい。人物選択領域４１では、カメラ１３で顔を登録しておくことで、例えば、姉、兄、妹、母、兄＆妹、家族、指定なしなどの中から選択できるように構成できる。
【００９８】
このグループリスト４４では、例えば、アニメを観て笑っていたシーンのシーングループ４４ａは１１３回あり、アニメを観て怒っていたシーンのシーングループ４４ｂは４１回あることを示している。なお、他の表情を選択したい場合には、表情群４３をプルダウンメニューにより入れ替えればよく、ジャンル群４２についても同様のプルダウンメニューを設けておいてもよい。
【００９９】
このようなグループ分け及びその概略リスト表示により、所望の記録映像にすぐにたどり着け、ありもしない子供映像を無駄に探し回らなくて済む。
【０１００】
図１４に示すリスト画面５０は、概略リスト画面４０においてシーングループ４４ａを選択した場合に表示される。リスト画面５０は、「兄」、「アニメ」、「笑」に該当するシーンを曜日別に表示した曜日別リスト画面である。ここで表示されるシーンリスト５５では、番組名とともに、曜日別にシーン数が表示されている。但し、この例では、曜日だけではなく、今日と昨日についても同時に表示している。また、表示領域の関係で表示できない部分については選択可能になっている。また、各シーンについては、映像コンテンツ単独、撮影コンテンツ単独、同時表示のいずれかのサムネイルを表示しておくとよい。
【０１０１】
このリスト画面５０では、例えば今日、兄がアニメを観て笑ったシーンがシーン５５ａ〜５５ｄの４シーンあり、そのうち２シーンは番組Ａ再生時のシーンであり、残り２シーンは番組Ｂ再生時のシーンであることを示している。また、同様の条件で昨日は、番組Ａ再生時のシーン５５ｅが１シーンあったことを示している。また、水曜日では、ＩＤ＝Ｔ００１３、Ｔ００１４が表示されていないため、番組Ｃ再生中のシーン５５ｆ（ＩＤ＝Ｔ００１２）と番組Ｄ再生中のシーン５５ｇ（ＩＤ＝Ｔ００１５）との間に２回カメラ撮影を記録したが、「兄」且つ「笑」の条件ではなく、それ以外の条件であったことが分かる。なお、各シーンについて、リスト画面５０にはＩＤとｓｕｂＩＤとを表示しているが、これは表示しなくてもよいが、再生のために各シーンには管理情報ファイルが紐付けされている。
【０１０２】
処理を説明すると、リスト生成部２３ｙが、管理情報検索部２３ｂに依頼して管理情報ファイルを検索し条件に合うものを集計し、集計結果からリスト画面５０を生成する。なお、この集計は概略リスト画面４０の生成時に、グループリストとしてアップする全てのシーングループについて実行しておいてもよい。また、曜日として直近の曜日についてのシーンだけ表示してもよいし、直近のシーンから順に並べて古いシーンについてはスクロール可能にしておいてもよい。
【０１０３】
また、リスト画面５０では、人物選択領域５２、ジャンル選択領域５３、表情選択領域５４も表示しており、各領域でプルダウンメニューにより条件を選択することで、その検索条件にあった集計を実行して、その集計結果に基づきリスト画面５０を更新することもできる。
【０１０４】
このリスト画面５０において、例えばユーザがシーン５５ａを選択して再生させた場合、そのシーン５５ａの映像コンテンツ及び撮影コンテンツが同時再生される。つまり、シーン５５ａの番組とカメラ映像との合成画像が再生表示される。また、例えば「水曜」の表示領域を選択すると、番組Ｃの４シーンを連続再生し、シーン５５ｆの再生後、番組Ｄのシーン５５ｇを再生して終了するようにしてもよい。また、例えば番組Ｇのシーンを選択すると、１シーンしかないため、番組Ｇ再生中で兄が笑っているそのシーンを再生した後は終了すればよい。
【０１０５】
図１５は、図１２の概略リスト画面の他の例を示す図で、図１６は、図１５の概略リスト画面のあるシーングループを選択した場合に表示されるリスト画面の一例を示す図である。
【０１０６】
図１５に示す概略リスト画面６０では、ジャンル別且つ行動別のシーン数を集計し、割合（パーセンテージ）で示した概略リスト（グループリスト）６４を表示している。概略リスト画面６０には、図１３の人物選択領域４１と同様の人物選択領域６１が表示されている。グループリスト６４では、そこで選択された「姉・妹」について、行動群６３のそれぞれについて、ジャンル群６２のそれぞれのシーン数を、ジャンル別のパーセンテージで示している。ここで、行動群６３としては、「踊る」、「飛び跳ねる」、「歌う」、「近づく」、「じっとしている」を例示しており、ジャンル群６２としては、「アニメ」、「映画」、「スポーツ」、「ドラマ」を例示している。また、グループリスト６４では、パーセンテージによってグラフ表示を行うとともに、閾値処理して色分けも行っている。
【０１０７】
このグループリスト６４を含む概略リスト画面６０は、図１３のグループリスト４４と同様に概略リスト生成部２３ｘが集計して生成する。このグループリスト６４では、例えば、アニメを観て踊っていたシーンのシーングループ６４ａはアニメの他の行動のうち１０％あり、アニメを観て飛び跳ねていたシーンのシーングループ６４ｂは１５％あることを示している。なお、他の表情を選択したい場合には、行動群６３をプルダウンメニューにより入れ替えればよく、ジャンル群６２についても同様のプルダウンメニューを設けておいてもよい。
【０１０８】
このようなグループ分け及びその概略リスト表示により、図１３の例と同様に、所望の記録映像にすぐにたどり着け、ありもしない子供映像を無駄に探し回らなくて済む。また、この例では、妹と姉とが２人で視聴した場合についてリストアップしているが、このように例えば妹が所定の人物と視聴した場合のみリストアップするようなこともできる。
【０１０９】
図１６に示すリスト画面７０は、概略リスト画面６０において「スポーツ」且つ「飛び跳ねる」に該当するグループリストを選択した場合に表示される。リスト画面７０は、「姉・妹」、「スポーツ」、「飛び跳ねる」に該当するシーンを単にリスト表示したリスト画面である。ここで表示されるシーンリスト７５では、番組名が表示されている。また、各シーンについては、映像コンテンツ単独、撮影コンテンツ単独、同時表示のいずれかのサムネイルを表示しておくとよい。
【０１１０】
このリスト画面７０では、「２２シーン」という該当するシーン数７６も表示している。なお、各シーンについて、リスト画面５０にはＩＤとｓｕｂＩＤとを表示しているが、これは表示しなくてもよいが、再生のために各シーンには管理情報ファイルが紐付けされている。
【０１１１】
このシーンリスト７５を含むリスト画面７０は、図１４のシーンリスト５５と同様にリスト生成部２３ｙが集計して生成する。なお、この集計は概略リスト画面６０の生成時に、グループリストとしてアップする全てのシーングループについて実行しておいてもよい。
【０１１２】
また、リスト画面７０では、図１４のリスト画面５０と同様に、人物選択領域５２、ジャンル選択領域５３、表情選択領域５４も表示しており、各領域でプルダウンメニューにより条件を選択することで、その検索条件にあった集計を実行して、その集計結果に基づきリスト画面７０を更新することもできる。
【０１１３】
このリスト画面７０において、例えばユーザがシーン７５ａを選択して再生させた場合、そのシーン７５ａの映像コンテンツ及び撮影コンテンツのみが同時再生される。また、同様の選択で、シーン７５ａの再生に続いてシーン７５ｂから残りの２１シーンについても全て再生するようにしてもよい。また、シーン７５ｆをユーザが選択すると、シーン７５ｆ，７５ｇと順に連続再生していき、最後まで合計１４シーンを再生するようにしてもよいし、最初に戻ってシーン７５ｅまで合計２２シーンを再生するようにしてもよい。
【０１１４】
図１７は、図１２の概略リスト画面で検索ボタンを選択したときの検索画面の一例を示す図である。
上述したリスト表示部は、ユーザ入力された検索条件をキーとして管理情報ファイルに基づき検索した結果のシーンについてのリスト、例えば図１７の検索画面８０に示すようなリスト８２を表示するようにしてもよい。
【０１１５】
検索画面８０には、感情（表情）選択領域８１ａ、行動選択領域８１ｂ、人物選択領域８１ｃ、ジャンル選択領域８１ｄ、日時選択領域８１ｅ、対象機器選択領域８１ｆ、及びキーワード入力領域８１ｇといった詳細な検索条件に基づき、該当するシーンをリスト表示可能になっている。なお、対象機器とは、例えば内蔵ＨＤＤ、外付けＢＤ、ホームサーバなどが挙げられる。また、キーワードとは、コンテンツメタデータや番組情報などから任意の文字列を検索するためのキーワードを指す。
【０１１６】
このように項目８１ａ〜８１ｇで設定された検索条件に基づき、リスト生成部２３ｙは、管理情報検索部２３ｂに依頼して該当するシーンの検索を実行させ、その検索結果に基づきリスト８２を表示させる。
【０１１７】
ここで、リスト８２では、シーン８２ａとしては、撮影コンテンツのサムネイル８８ａと録画番組のサムネイル８８ｂとが合成表示されている。また、リスト８２の横にはその詳細情報８３も表示されている。さらに、各シーンの横に、「番組を全部見る」ボタン８４、「シーン再生」ボタン８５、「チェックしたシーンだけ再生」ボタン８６、及び「連続再生」ボタン８７が選択可能に表示されている。各ボタン８４〜８７により、再生方式を選ぶことが可能になっている。ボタン８６のチェック欄８８ｃは、各シーンの手前に設けてある。各ボタン８４〜８７の選択により（ボタン８６についてはチェック欄８８ｃでのチェックも必要）、対象となったシーンの再生が実行される。
【０１１８】
また、検索画面８０では、検索条件を変えることでリストアップされるシーンが更新される。検索画面８０のような詳細な検索を可能とすることで、ユーザはより容易に望む合成画像を表示させることができるようになる。
【０１１９】
次に、図１８を参照しながら、再生時の処理について詳細に説明する。
図１８は、図１４の画面において、あるシーンを選択したときの再生方法の一例を説明するための図である。
【０１２０】
まず、図１３や図１５のようなグループリストで再生対象を絞り込む。具体的には、再生映像選択部２３の管理情報検索部２３ｂは、グループリストのうち選択されたシーングループについて、図１４や図１６で例示したような詳細画面で表示されたシーンリストに、再生対象を絞り込む。そして、管理情報検索部２３ｂは、そのシーンリストの中から、ユーザ選択されたシーンについての管理情報ファイルを検索する。この検索結果を受け、再生映像選択部２３が、同時再生処理部２４に再生指示を伝える。
【０１２１】
同時再生処理部２４は、再生映像選択部２３の再生指示により、映像コンテンツ、撮影コンテンツの各ストレージに対して、再生箇所の指示を送る処理を行う。この指示により、同時再生処理部２４は、再生する２つの動画を抽出し、映像音声出力部１８を制御して再生を実行させる。２つの動画とは、管理情報ファイルに紐付けられたカメラ映像とｓｕｂＩＤで指定されている録画番組とを指す。再生箇所とは、再生開始位置（及び再生終了位置）を示していればよく、日時で示すことが好ましい。図２の管理情報ファイルの例では、録画番組はｓｕｂＩＤで指定のタイムスタンプ部分を再生すればよい。また、詳細画面でジャンルや曜日を指定した場合は管理情報ファイルを次々読んで再生する。
【０１２２】
図１８に示す、図１４のリスト画面５０における該当部分９０に基づき説明する。同時再生処理部２４は、「水曜」の表示領域９１が選択されると、シーン９６ａ〜９５ｅへとｓｕｂＩＤが小さい順に辿っていき、水曜に該当するシーン群９５を連続再生して、再生を終了する。これにより、番組Ｃの４シーンを連続再生し、その後、番組Ｄを１シーン再生して、終了することができる。なお、図１８において、符号９２，９３，９４はそれぞれ図１４の符号５２，５３，５４に相当する。なお、図１６のリスト画面７０についても同様である。また、図１７で例示した詳細画面では絞り込みがより多くの検索条件によりなされる点を除き、基本的に同様に再生できる。
【０１２３】
以上のように、本発明のコンテンツ再生装置を備えたテレビ装置１では、映像コンテンツと映像コンテンツを再生中に撮影した視聴者の映像を示すコンテンツ等の撮影コンテンツとを、分かり易くリストアップすることができ、ユーザは、望む視聴者、望む視聴者状態の同時再生映像を容易に選択し、視聴することができる。
【符号の説明】
【０１２４】
１…テレビ装置、２…入力装置、３…外部機器、４…外部機器、１０…バス、１１…チューナ、１２…ＩＰチューナ、１３…カメラ、１４…マイク、１５…映像音声入力部、１６…メモリ、１７…ＨＤＤ、１７ａ，１７ｂ…管理情報ファイル、１８…映像音声出力部、１９…表示部、２０…スピーカ、２１…コンテンツ解析部、２１ａ…映像コンテンツ情報処理部、２１ｂ…撮影コンテンツ情報処理部、２１ｃ…管理情報生成部、２１ｄ…表情判定部、２１ｅ…行動判定部、２１ｆ…人物判定部、２１ｘ…分類部、２１ｙ…記憶処理部、２２…消去部、２３…再生映像選択部、２３ａ…表示画面生成部、２３ｂ…管理情報検索部、２３ｘ…概略リスト生成部、２３ｙ…リスト生成部、２４…同時再生処理部。
【特許請求の範囲】
【請求項１】
映像コンテンツと、該映像コンテンツの再生中に視聴者を被写体として撮影され該映像コンテンツに関連付けられて格納された撮影コンテンツとから、前記映像コンテンツのジャンル毎に及び／又は前記視聴者の状態毎に、前記映像コンテンツ及び前記撮影コンテンツのシーンを分類する分類部と、該分類部での分類結果を管理情報ファイルとして記憶する記憶部と、を備えたコンテンツ管理装置。
【請求項２】
前記記憶部は、前記管理情報ファイルを、前記シーン毎に個別のファイルとして記憶することを特徴とする請求項１に記載のコンテンツ管理装置。
【請求項３】
前記記憶部は、予め定められた複数の状態に該当するシーンについての分類結果のみを記憶することを特徴とする請求項１又は２に記載のコンテンツ管理装置。
【請求項４】
前記視聴者として撮影対象となった人物を判定する人物判定部を備え、前記分類部は、ジャンル毎及び／又は前記視聴者の状態毎に、且つ前記人物判定部で判定された人物毎に、前記映像コンテンツ及び前記撮影コンテンツのシーンを分類することを特徴とする請求項１〜３のいずれか１項に記載のコンテンツ管理装置。
【請求項５】
前記記憶部は、予め定められた人物に該当するシーンについての分類結果のみを記憶することを特徴とする請求項４に記載のコンテンツ管理装置。
【請求項６】
前記記憶部で記憶したシーン以外のシーンに対応する前記映像コンテンツ及び前記撮影コンテンツを、格納先から消去する消去部を備えたことを特徴とする請求項３又は５に記載のコンテンツ管理装置。
【請求項７】
前記視聴者の状態は、前記視聴者の表情及び／又は行動であることを特徴とする請求項１〜６のいずれか１項に記載のコンテンツ管理装置。
【請求項８】
請求項１〜７のいずれか１項に記載のコンテンツ管理装置と、前記映像コンテンツと前記映像コンテンツに関連付けられた撮影コンテンツとを同時に再生する同時再生部とを備えたコンテンツ再生装置であって、
前記コンテンツ再生装置は、前記管理情報ファイルに基づきシーンのリストを表示するリスト表示部を備え、前記同時再生部は、前記リスト表示部で表示されたリストのうちユーザ選択されたシーンについての前記映像コンテンツ及び前記撮影コンテンツを同時に再生することを特徴とするコンテンツ再生装置。
【請求項９】
前記リスト表示部は、ユーザ入力された検索条件をキーとして前記管理情報ファイルに基づき検索した結果のシーンについてのリストを表示することを特徴とする請求項８に記載のコンテンツ再生装置。
【請求項１０】
前記コンテンツ再生装置は、前記管理情報ファイルに基づき、ジャンル毎及び／又は前記視聴者の状態毎に、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する概略リスト表示部を備え、前記リスト表示部は、前記概略リスト表示部で表示されたリストのうち、ユーザ選択されたジャンル及び／又は前記視聴者の状態に該当するシーンのリストを表示することを特徴とする請求項８又は９に記載のコンテンツ再生装置。
【請求項１１】
請求項４又は５に記載のコンテンツ管理装置と、前記映像コンテンツと前記映像コンテンツに関連付けられた撮影コンテンツとを同時に再生する同時再生部とを備えたコンテンツ再生装置であって、
前記コンテンツ再生装置は、前記管理情報ファイルに基づき、ジャンル毎及び／又は前記視聴者の状態毎に、且つ人物毎に、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する概略リスト表示部と、前記概略リスト表示部で表示されたリストのうち、ユーザ選択されたジャンル及び／又は前記視聴者の状態に該当し且つ人物に該当するシーンのリストを、前記管理情報ファイルに基づき表示するシーンのリストを表示するリスト表示部を備え、前記同時再生部は、前記リスト表示部で表示されたリストのうちユーザ選択されたシーンについての前記映像コンテンツ及び前記撮影コンテンツを同時に再生することを特徴とするコンテンツ再生装置。
【請求項１２】
前記映像コンテンツは、放送されたコンテンツであり、
前記コンテンツ再生装置は、前記映像コンテンツを受信して再生する再生部と、前記撮影コンテンツを撮影するためのカメラと、前記再生部で前記映像コンテンツを再生中に、前記カメラで撮影された前記撮影コンテンツと再生中の前記映像コンテンツとを関連付けて記憶する録画部と、を備えたことを特徴とする請求項８〜１１のいずれか１項に記載のコンテンツ再生装置。
【請求項１３】
前記映像コンテンツは、記録済みのコンテンツであり、
前記コンテンツ再生装置は、前記映像コンテンツを記録先から読み出して再生する再生部と、前記撮影コンテンツを撮影するためのカメラと、前記再生部で前記映像コンテンツを再生中に、該カメラで撮影された前記撮影コンテンツと関連付けて記憶する録画部と、を備えたことを特徴とする請求項８〜１１のいずれか１項に記載のコンテンツ再生装置。
【請求項１】
映像コンテンツと、該映像コンテンツの再生中に視聴者を被写体として撮影され該映像コンテンツに関連付けられて格納された撮影コンテンツとから、前記映像コンテンツのジャンル毎に及び／又は前記視聴者の状態毎に、前記映像コンテンツ及び前記撮影コンテンツのシーンを分類する分類部と、該分類部での分類結果を管理情報ファイルとして記憶する記憶部と、を備えたコンテンツ管理装置。
【請求項２】
前記記憶部は、前記管理情報ファイルを、前記シーン毎に個別のファイルとして記憶することを特徴とする請求項１に記載のコンテンツ管理装置。
【請求項３】
前記記憶部は、予め定められた複数の状態に該当するシーンについての分類結果のみを記憶することを特徴とする請求項１又は２に記載のコンテンツ管理装置。
【請求項４】
前記視聴者として撮影対象となった人物を判定する人物判定部を備え、前記分類部は、ジャンル毎及び／又は前記視聴者の状態毎に、且つ前記人物判定部で判定された人物毎に、前記映像コンテンツ及び前記撮影コンテンツのシーンを分類することを特徴とする請求項１〜３のいずれか１項に記載のコンテンツ管理装置。
【請求項５】
前記記憶部は、予め定められた人物に該当するシーンについての分類結果のみを記憶することを特徴とする請求項４に記載のコンテンツ管理装置。
【請求項６】
前記記憶部で記憶したシーン以外のシーンに対応する前記映像コンテンツ及び前記撮影コンテンツを、格納先から消去する消去部を備えたことを特徴とする請求項３又は５に記載のコンテンツ管理装置。
【請求項７】
前記視聴者の状態は、前記視聴者の表情及び／又は行動であることを特徴とする請求項１〜６のいずれか１項に記載のコンテンツ管理装置。
【請求項８】
請求項１〜７のいずれか１項に記載のコンテンツ管理装置と、前記映像コンテンツと前記映像コンテンツに関連付けられた撮影コンテンツとを同時に再生する同時再生部とを備えたコンテンツ再生装置であって、
前記コンテンツ再生装置は、前記管理情報ファイルに基づきシーンのリストを表示するリスト表示部を備え、前記同時再生部は、前記リスト表示部で表示されたリストのうちユーザ選択されたシーンについての前記映像コンテンツ及び前記撮影コンテンツを同時に再生することを特徴とするコンテンツ再生装置。
【請求項９】
前記リスト表示部は、ユーザ入力された検索条件をキーとして前記管理情報ファイルに基づき検索した結果のシーンについてのリストを表示することを特徴とする請求項８に記載のコンテンツ再生装置。
【請求項１０】
前記コンテンツ再生装置は、前記管理情報ファイルに基づき、ジャンル毎及び／又は前記視聴者の状態毎に、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する概略リスト表示部を備え、前記リスト表示部は、前記概略リスト表示部で表示されたリストのうち、ユーザ選択されたジャンル及び／又は前記視聴者の状態に該当するシーンのリストを表示することを特徴とする請求項８又は９に記載のコンテンツ再生装置。
【請求項１１】
請求項４又は５に記載のコンテンツ管理装置と、前記映像コンテンツと前記映像コンテンツに関連付けられた撮影コンテンツとを同時に再生する同時再生部とを備えたコンテンツ再生装置であって、
前記コンテンツ再生装置は、前記管理情報ファイルに基づき、ジャンル毎及び／又は前記視聴者の状態毎に、且つ人物毎に、シーン数又は該当シーンの再生に必要となる合計時間又は全シーンに対する該当シーンの割合についてのリストを表示する概略リスト表示部と、前記概略リスト表示部で表示されたリストのうち、ユーザ選択されたジャンル及び／又は前記視聴者の状態に該当し且つ人物に該当するシーンのリストを、前記管理情報ファイルに基づき表示するシーンのリストを表示するリスト表示部を備え、前記同時再生部は、前記リスト表示部で表示されたリストのうちユーザ選択されたシーンについての前記映像コンテンツ及び前記撮影コンテンツを同時に再生することを特徴とするコンテンツ再生装置。
【請求項１２】
前記映像コンテンツは、放送されたコンテンツであり、
前記コンテンツ再生装置は、前記映像コンテンツを受信して再生する再生部と、前記撮影コンテンツを撮影するためのカメラと、前記再生部で前記映像コンテンツを再生中に、前記カメラで撮影された前記撮影コンテンツと再生中の前記映像コンテンツとを関連付けて記憶する録画部と、を備えたことを特徴とする請求項８〜１１のいずれか１項に記載のコンテンツ再生装置。
【請求項１３】
前記映像コンテンツは、記録済みのコンテンツであり、
前記コンテンツ再生装置は、前記映像コンテンツを記録先から読み出して再生する再生部と、前記撮影コンテンツを撮影するためのカメラと、前記再生部で前記映像コンテンツを再生中に、該カメラで撮影された前記撮影コンテンツと関連付けて記憶する録画部と、を備えたことを特徴とする請求項８〜１１のいずれか１項に記載のコンテンツ再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−８９１８６（Ｐ２０１２−８９１８６Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３３３２１（Ｐ２０１０−２３３３２１）
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]