画像情報処理装置及び画像情報処理方法
【課題】本実施形態では、視聴者の顔画像データと番組の番組データに含まれる出演者の顔画像データと番組情報とを有効活用できる画像情報処理装置及び画像情報処理方法を提供する。
【解決手段】実施形態によれば、第１の画像処理部が、撮像信号から第１の顔画像データを検出する。第２の画像処理部が、番組データに含まれる第２の顔画像データを検出する。制御部が、前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する。
【解決手段】実施形態によれば、第１の画像処理部が、撮像信号から第１の顔画像データを検出する。第２の画像処理部が、番組データに含まれる第２の顔画像データを検出する。制御部が、前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は画像情報処理装置及び画像情報処理方法に関する。
【背景技術】
【０００２】
視聴者が興味を持つと考えられる画像コンテンツを特定する装置がある。この装置は、画像コンテンツを視聴したときの視聴者の表情を撮像し、視聴者の感情を推測する、また画像コンテンツの出演者の表情から出演者の感情を推測する。そして視聴者と出演者の感情が一致するシーンを、視聴者が共感したシーンであると推測し、このシーンの画像を要約画像として所定の記憶領域に記憶する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−９７０４７号公報
【特許文献２】特開２０１０−２６８７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
番組の特定のシーンと視聴者の表情を関連付ける技術が開発されているが、この技術はさらなる展開を要望される。
【０００５】
本実施形態では、視聴者の顔画像データと番組の番組データに含まれる出演者の顔画像データと番組情報とを有効活用できる画像情報処理装置及び画像情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、第１の画像処理部が、撮像信号から第１の顔画像データを検出する。第２の画像処理部が、番組データに含まれる第２の顔画像データを検出する。制御部が、前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する。
【図面の簡単な説明】
【０００７】
【図１】本実施形態が適用されたテレビジョン受信装置の概略構成を示す図である。
【図２】図１の客観的画像処理２０１のブロック構成を示す図である。
【図３】図２に示した視聴者画像処理部３０４と視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。
【図４】本実施形態における視聴者画像処理部３０４の動作を簡単に示すフローチャートである。
【図５】本実施形態における視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。
【図６】視聴データ登録部３０６内のデータベース（視聴者情報）の構成例を示す図である。
【図７】本実施形態におけるお勧め番組情報構築部２０２のデータ整理部２０２ａにより実行される登録処理ルーチンの例を示す図である。
【図８】本実施形態における視聴データ登録部３０６内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【図９】同じく視聴データ登録部３０６内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【図１０】本実施形態におけるテレビジョン受信装置が、視聴者にお勧め番組情報を提供している例を示す図である。
【図１１】本実施形態に含まれる表情解析部３４３が表情解析を行う時期を設定する場合種々の選択肢を説明する図である。
【図１２】図１の客観的画像処理２０１の他の実施形態によるブロック構成を示す図である。
【図１３】本実施形態における視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示す図である。
【図１４】本実施形態における視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示す図である。
【図１５】本実施形態における視聴者反応画像ファイルが再生されたときの表示器に表示される画像の他の例を示す図である。
【発明を実施するための形態】
【０００８】
以下、実施の形態について図面を参照して説明する。図１は、本実施形態が適用された例えばテレビジョン受信装置の概略構成を示している。テレビジョン受信装置に代わって、データ記録再生装置であってもよい。１１は、チューナ装置であり、複数のチューナが内蔵されており、同時に複数のチャンネルを受信し、複数の放送番組を復調することができる。チューナ装置１１には、入力端子ＡＮ１，・・・ＡＮｎを介してアンテナで受けられた高周波信号が入力される。入力端子ＢＮ１は、外部入力端子であり、ケーブル或いはネットワーク或いは他の機器からの信号が入力する。
【０００９】
セレクタ１２は、チューナ装置１１からの復調信号（ストリーム信号）、或いは入力端子ＢＮ１からの信号を制御部２０からの制御の元で選択して出力する。セレクタ１２で選択された制御ストリームは、制御部２０に入力される。セレクタ１２で選択された番組信号のストリームは、信号処理部１３に入力される。
【００１０】
信号処理部１３は、入力した番組信号のストリームの内、例えば視聴される番組のストリームを復号処理し、復号された画像信号を出力部１４に出力する。出力部１４では制御部２０からのグラフィック画像信号（番組表画像信号、メニュー画像信号など）が、番組画像信号に多重される。また出力部１４では、画像信号のサイズ、スケール変換、解像度処理などが行われ、表示器１５に出力される。
【００１１】
表示器１５には、カメラ１７が取り付けられている。カメラ１７は、表示器１５のキャビネット内に内蔵されていてもよい。カメラ１７は、表示器１７の画像を視聴している視聴者を撮像するものである。カメラ１７の撮像信号は、インターフェース１８を介して制御部２０に取り込むことができる。またカメラ１７の撮像信号は、制御部２０から出力部１４を通り、表示器１５でモニタすることができる。このとき、ユーザは、カメラ１７の撮像状態を調整し、撮像方向、撮像エリアなどを設定することができる。この設定は、リモートコントローラで行うことも可能であるし、カメラ１７の操作部を直接操作することで可能である。なおカメラ１７は、その配置位置を種々変更可能に取り付けられていてもよい。
【００１２】
制御部２０は、周辺に接続されているブロックを統括的に制御している。またリモートコントローラ２２からの操作信号が、受信部２１を介して制御部２０に入力される。これによりユーザの操作が装置全体に反映される。
【００１３】
制御部２０にはリードオンリーメモリ（ＲＯＭ）２６が接続されている。ＲＯＭ２０６には、制御部２０が利用する各種のプログラムが格納されている。制御部２０にはランダムアクセスメモリ２３が接続されている。このメモリ２３は、一時的なデータの保存部、演算処理のためのプログラムの展開部として利用される。さらに制御部２０にはハードディスクドライブ（ＨＤＤ）２４が接続されている。ＨＤＤ２４は、番組信号を録画及び再生するための媒体として利用される。また制御部２０にはＢＤ/ＤＶＤドライブ２５が接続されている。ＢＤ/ＤＶＤドライブ２５もまた、番組信号を録画及び又は再生するための媒体として利用される。さらにまた、制御部２０には、ＵＳＢケーブルを介して、キーボード２７を接続することができる。ユーザは、ある動作モードにおいては、表示器１５を見ながらキーボード２７を操作して、データ（文字、図形など）を入力することができる。
【００１４】
制御部２０には、客観的画像処理部２０１、お勧め番組情報構築部２０２、表示データ制御部２０３が内蔵されている。
【００１５】
図２には、客観的画像処理部２０１のブロック構成を示している。３０２は、この客観的画像処理部２０１の動作を指令するための実行指示部である。この実行指示部３０２に実行操作信号が入力されると、同期制御部３０３が起動する。同期制御部３０３は、視聴者画像処理部３０４に含まれる視聴者画像取得部３４１を起動する。視聴者画像取得部３４１は、カメラ１７を起動し、視聴者の撮像画像を取り込む。
【００１６】
顔検出部３４２は、視聴者を撮像した画像信号の中から顔画像信号を検出する。検出した顔画像信号は、表情解析部３４３に入力される。表情解析部３４３は、顔画像に複数点（例えば眼、口、頬）を設定し、フレーム時間の経過とともに複数点の移動（動き）を監視する。この複数点の動き（極端な変化）により、顔の変化（例えば笑顔、泣き顔、怒り顔）を検出することができる。つまり視聴者の表情変化が設定レベル以上になったときを検出している。
【００１７】
表情解析部３４３の解析結果信号は、同期制御部３０３に入力される。同期制御部３０３は、解析結果信号が来たときの番組の視聴画像信号の区間を決定する。つまり、視聴者が視聴している視聴画像信号であって、視聴者が例えば笑顔に変化したとき及びその前後の例えば１乃至２分間の視聴画像信号を特定する。
【００１８】
この視聴画像信号を特定するタイミングは、視聴者が笑顔に変化したときに限定されるものではなく、定期的に実施されてもよい。定期的に実施される場合は、上記の解析結果信号は、定期的なタイミング信号となる。
【００１９】
同期制御部３０３の制御に基づいて、視聴番組画像処理部３０５は、以下のように動作する。視聴画像取得部３５１は、前記１乃至２分間の視聴画像信号を取り込む。顔検出部３５２は、取り込まれた番組の画像信号から顔画像信号を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部３５２は、顔検出部３４２と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部３５３に入力される。顔認識部３５３は、認識した顔画像信号に対応する人物（出演者）の画像信号がデータベース３５４に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース３５４に登録のために送信したことを同期制御部３０３に通知する。しかし、認識した顔画像信号に対応する人物（出演者）の画像信号が、データベース３５４に存在した場合、その存在を確認し、特定したことを同期制御部３０３に通知する。
【００２０】
同期制御部３０３は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして視聴者の識別データと、視聴者の例えば顔画像信号と、前記番組の特定した出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けたテーブルを作成することができる。このテーブルは、ある視聴者が、どの出演者に興味を持つかという視聴者情報として位置づけられる。
【００２１】
客観的画像処理部２０１が処理対象とする番組の画像信号は、例えば受信中であって視聴者が視聴しておりかつ録画中の番組の画像信号であってもよい。或いは、客観的画像処理部２０１が、処理対象とする番組の画像信号は、すでに記録媒体に録画されている番組の画像信号であって現在当該番組が再生されて、視聴者が視聴している番組の画像信号であってもよい。
【００２２】
図３は、図２に示した視聴者画像処理部３０４と視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。実行指示部３０２から処理開始の指示があると（ステップＳ３−１）、同期制御部３０３は、画像取得指示を視聴者画像処理部３０４、視聴番組画像処理部３０５に指示する。視聴者画像処理部３０４は、上記したようにカメラ１７から取り込んだ撮像信号を処理し、視聴者の顔画像信号を処理する。視聴番組画像処理部３０５は、視聴者が視聴している番組の画像信号処理に移行する（ステップＳ３−４）。
【００２３】
視聴者画像処理部３０４、視聴番組画像処理部３０５の処理動作は、同期制御部３０３により統括されている。同期制御部３０３は、視聴者画像処理部３０４及び視聴番組画像処理部３０５からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして、識別データと、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けた前述したテーブルを作成することができる。
【００２４】
図４は、上記した視聴者画像処理部３０４の動作を簡単に示すフローチャートである。実行指示部３０２から画像を取得せよとの指示があると（ステップＳ４−１）、視聴者の画像がカメラ１７から取り込まれる。次に顔検出処理が行われ（ステップＳ４−２）、検出した顔画像信号を用いて、表情解析処理が実施される（ステップＳ４−３）。そして表情解析結果信号は、同期信号制御部３０３に通知される。
【００２５】
図５は、上記した視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。同期制御部３０３の制御に基づいて、視聴画像取得部３５１が、前記表情解析結果信号が通知された時点の前後数秒間の画像信号を取り込む（ステップＳ５−１）（ステップＳ５−２）。顔検出部３５２は、取り込まれた番組の画像信号から顔画像信号を検出する（ステップＳ５−３）。番組信号から取得した顔画像信号に対応する人物の画像信号がデータベース３５４に含まれているかどうかをサーチされる（ステップＳ５−４）。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在するか否かの判定が行われる（ステップＳ５−５）。
【００２６】
これにより、同期制御部３０３は、上記したように視聴者画像処理部３０４及び視聴番組画像処理部３０５からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。
【００２７】
図６は、視聴データ登録部３０６内のデータベース（視聴者情報）の構成例を示している。４１１は、新しく取り込まれた新視聴者Ｎのための視聴者情報領域であり、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組ＮＰに出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが記述される。
【００２８】
４１２は、視聴者Ａのための視聴者情報領域であり、４１３は、視聴者Ｂのための視聴者情報領域であり、４１４は、視聴者Ｃのための視聴者情報領域である。
【００２９】
今、視聴者情報領域４１２には、視聴者Ａの顔画像、出演者ＡＡの顔画像及び識別子ＡＡＩＤ、及び番組情報ＡＰ１が格納されているものとする。この視聴者情報は、出演者ＡＡが番組情報ＡＰ１の番組に出演し、視聴者Ａがこの出演者ＡＡに興味を持っているものとして位置づけられている。
【００３０】
また、視聴者情報領域４１３には、視聴者Ｂの顔画像、出演者ＢＡの顔画像及び識別子
であるＢＡＩＤ、及び番組情報ＢＰ１が格納されているものとする。この視聴者情報は、出演者ＢＡが番組情報ＢＰ１の番組に出演し、視聴者Ｂがこの出演者ＢＡに興味を持っているものとして位置づけられている。
【００３１】
さらに、視聴者情報領域４１４には、視聴者Ｃの顔画像、出演者ＣＡの顔画像及び識別子であるＣＡＩＤ、及び番組情報ＣＰ１が格納されているものとする。この視聴者情報は、出演者ＣＡが番組情報ＣＰ１の番組に出演し、視聴者Ｃがこの出演者ＣＡに興味を持っているものとして位置づけられている。さらにこの視聴者情報には、出演者ＢＡの顔画像及び識別子であるＢＡＩＤ、及び番組情報ＢＰ１が格納されている。この情報は、視聴者Ｂの視聴者情報と同じであり、このことは、視聴者Ｃは、視聴者Ｂが興味をもつ出演者ＢＡにも興味を持つことを意味する。さらにまた視聴者Ｃの視聴者情報には、出演者ＡＡの顔画像及び識別子ＡＡＩＤ、及び番組情報ＡＰ２が格納されているものとする。この場合は、視聴者Ｃは、視聴者Ａと同じ出演者ＡＡに興味を持つが、視聴者ＡとＣは異なる番組を見て出演者ＡＡに興味を持ったことを意味している。
【００３２】
今、一次保存領域である視聴者情報領域４１１には、新しく取り込まれた新視聴者Ｎのための視聴者情報領域であり、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組ＮＰに出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが記述されている。
【００３３】
しかし、新しく取り込んだ視聴者情報は、視聴者データ登録部３０６に登録されるべきか否かチェックされる必要がある。これは、視聴者データ登録部３０６において、重複情報が構築されるのを防ぐ必要があるからである。この重複情報のチェックは、お勧め番組情報構築部２０２のデータ整理部２０２ａにより行われる。
【００３４】
図７には、データ整理部２０２ａにより実行される登録処理ルーチンを示している。視聴者情報を視聴者データ登録部３０６に登録すべきか否かをチェックする処理ルーチンである。
【００３５】
新しく取り込んだ視聴者情報の視聴者Ｎの顔画像は、視聴データ登録部３０６に登録されている既登録の視聴者の顔画像と比較される（ステップＳ７−１）。一致する既登録顔画像が無い場合は、新しく取り込んだ顔画像は、新規の視聴者であるから、登録が実施される。即ち、新しい視聴者情報ための領域が確保され、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組（番組情報ＮＰ）に出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが登録される。
【００３６】
ステップＳ７−１で、一致する既登録顔画像が存在する場合（例えばＮ＝Ｃであるとする）は、既に、視聴者Ｃが登録されていることである。そして、次のチェック（ステップＳ７−２）として、出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、既登録の出演者の顔画像及び出演者識別子とを比較する。一致するものが無い場合は、視聴者Ｃが新しい出演者の番組を視聴したことであり、当該出演者及びそのときの番組情報を視聴者Ｃの番組情報領域４１４に登録する。
【００３７】
しかしここで、出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと一致する出演者の顔画像及び出演者識別子が存在する場合（例えばＮＡ＝ＡＡ、ＮＡＩＤ＝ＡＡＩＤとする）、すでに視聴者Ｃの視聴者情報には、出演者ＡＡの顔画像及び出演者識別子が含まれていることである。次は番組情報のチェックが実施される（ステップＳ７−３）。即ち、新しい番組情報ＮＰと、視聴者Ｃの視聴者情報内で出演者ＡＡが出演する番組情報と一致するものが存在するか否かの判定が行われる。いま、番組情報ＮＰがＮＰ＝ＡＰ２であったとする。一方、出演者ＡＡが出演する既登録番組情報がＡＰ１であったとする。この場合は、ステップＳ７−３の判定では、一致無しであるから、番組情報ＡＰ２の登録が実施される（ステップＳ７−５）。しかしステップＳ７−３で番組情報が一致した場合は、登録無しで終了する（ステップＳ７−４）。
【００３８】
上記したように、新しく視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組情報ＮＰの番組に出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが取得されたとしても、既登録の情報と比較され、重複登録が回避される。
【００３９】
図８と図９は、視聴データ登録部３０６内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【００４０】
図８の例に示すように、視聴者Ａと視聴者Ｃは、同じアクター（出演者ＡＡ）に興味を持っているものとする。ここで、視聴者Ａは、出演者ＡＡが出演した番組情報ＡＰ１の番組を視聴し、視聴者Ｃは、出演者ＡＡが出演した番組情報ＡＰ２の番組を視聴したものとする。このような場合は、視聴者Ａの視聴者情報にも番組情報ＡＰ２を追加し、視聴者Ｃの視聴者情報にも番組情報ＡＰ１を追加することが好ましい。
【００４１】
なお図８では、視聴データ登録部３０６に視聴者反応画像ファイル４１５，４１６，４１７を示しているがこのファイルについては後述する。
【００４２】
図９は、図８で示した形態の視聴者情報編集処理を実施するための処理ルーチンである。例えば視聴者Ａの視聴者情報に含まれている出演者ＡＡの顔画像及びＡＡＩＤをレジスタへ格納する（ステップＳ９−１）。
【００４３】
次に、出演者ＡＡの顔画像及びＡＡＩＤと、他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子とを順次比較する（ステップＳ９−２）。出演者ＡＡの顔画像及びＡＡＩＤに一致する他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子が存在しない場合は、終了する。
【００４４】
しかし、出演者ＡＡの顔画像及びＡＡＩＤに一致する他の出演者の顔画像及び識別子が存在した場合、次のチェックにシフトする。図９、図８の例では、視聴者Ａの視聴者情報に含まれる出演者ＡＡの顔画像及びＡＡＩＤと、視聴者Ｃの視聴者情報に含まれる出演者ＡＡの顔画像及びＡＡＩＤとが一致する。このことは、視聴者ＡとＣが、出演者（アクター）ＡＡに興味を持つことを意味する。
【００４５】
次のステップＳ９−３では、視聴者Ａの視聴者情報に含まれる番組ＡＰ１情報と、視聴者Ｃの視聴者情報に含まれる番組情報ＡＰ２との比較を実施する。この場合は、番組情報ＡＰ１と番組情報ＡＰ２とが不一致であるから、ステップＳ９−４で、番組情報ＡＰ２を視聴者Ａの番組情報に追加する。
【００４６】
視聴者Ｃの視聴者情報が他の視聴者の視聴者情報と比較される場合は、番組情報ＡＰ１が視聴者Ｃの視聴者情報に含まれていないことが判明する。したがって、視聴者Ｃの視聴者情報に番組情報ＡＰ１が追加される。
【００４７】
上記の視聴者情報は、お勧め番組を提供する場合に有効である。例えば視聴者Ａの視聴者情報を読み出して、出演者の顔と、番組情報（番組名、チャンネルなど）を表示器に表示することができる。
【００４８】
図１０（Ａ），図１０（Ｂ）は、テレビジョン受信装置１５が、表示データ制御部２０３の制御に基づいて、視聴者に対してお勧め番組情報を提供している様子を示している。例えば、視聴者が、リモートコントローラ操作を通じて、テレビジョン受信装置１５に対してメニュー表示を要求したとする。すると、図１０（Ａ）に示すようにメニューの中には、「お勧め番組」の項目があり、この項目の横には「あなたにお勧めの番組情報が用意されています。番組リストを表示しますか？」と言う、コメントが表示される。
【００４９】
視聴者が、この「お勧め番組」の項目を選択して決定ボタンを操作すると、図１０（Ｂ）に示すように、視聴者に対応する視聴者情報が表示される。例えば視聴者が図８で説明した視聴者Ｃであったとすると、視聴者Ｃが興味を持っている出演者ＣＡ及びＡＡが出演している番組の番組情報ＣＰ１、ＢＰ１，ＡＰ１，ＡＰ２などが各番組の出演者の顔画像と共に表示される。視聴者は、視聴しようとする番組名をカーソル操作により選択し、決定ボタンを押すことで、当該番組の再生が開始される。
【００５０】
このように視聴者毎にお勧め番組を提供できるのは、以下の理由による。視聴者が例えばメニューボタンを押したとき、カメラ１７を介して視聴者が撮像される。撮像された視聴者の顔が顔検出部で検出される。検出された顔画像は、既に視聴者データ登録部に登録されている視聴者の顔画像と比較され、登録顔画像内に同一人物が存在するか否か判定される。そして、同一人物（視聴者）が検出されている場合に、前述した「お勧め番組」の項目が表示される。
【００５１】
上記したように、視聴者は、自分が興味を持っているアクターが出演した番組情報を他の視聴者情報からも取得することが可能である。
【００５２】
図１１には、表情解析部３４３が表情解析を行う時期を設定する場合、種々の選択肢を示している。まず、表情解析部３４３が表情解析を行う時期に対してＣＭ期間停止情報５０１を与えることで、ＣＭ期間は停止するように設定することができる。また表情解析部３４３が表情解析を行う期間として、連続して行う連続指示情報５０３又は定期的に行うことを指示するための定期的実行指示情報５０４の何れかを与えることができる。定期的実行指示情報５０４が表情解析部３４３に与えられた場合、そのインターバル情報５０５（例えば５分間隔、１０分間隔、１５分間隔など）を設定することができる。
【００５３】
ＣＭ期間停止情報５０１は、視聴番組画像処理部３０５或いはその内部の視聴画像取得部３５１、顔検出部３５２、顔認識部３５３などに与えられてもよい。
【００５４】
さらに、視聴データ登録部３０６に「視聴者情報」を登録する場合、登録する条件を設定することも可能である。まず条件設定５１２は、条件無しで定期的に視聴者情報を登録するように設定することができる。視聴者情報の登録は、図７乃至図９で説明したとおりである。次に条件設定５１３がある、この設定５１３は、視聴者の笑顔検出があったときを登録条件とするものである。このとき笑い声検出により、笑い声も条件設定５１４の項目としてよい。
【００５５】
さらに条件設定として、視聴者の視聴人数をデータ登録条件としてもよい。視聴している視聴者の人数を登録条件として（条件設定５１５）、複数の場合と単独の場合との何れかを指定できるようにしてもよい。また視聴者が特定の人物であるときのみを登録条件として設定できるようにしてもよい（条件設定５１６）。このためには、予めカメラで撮像した人物を登録しておくことで、現在の視聴者を特定可能としている。
【００５６】
さらに、視聴データが登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイル作成を設定できるようにしても良い（条件設定５２３）。
【００５７】
図１２は、視聴データが視聴データ登録部に登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイルの作成を設定できる実施形態の例を示している。図２に示したブロックと同一部分には同一符号を付している。
【００５８】
客観的画像処理部２０１において、視聴者画像処理部３０４は、図２に示した構成とほぼ同じである。表情解析部３４３は、顔画像に複数点（例えば眼、口、頬）を設定し、フレーム時間の経過とともに複数点の移動（動き）を監視する。この複数点の動き（極端な変化）の情報が、笑顔検出部３４４に入力される。笑顔検出部３４４は、顔の変化の情報から笑顔を検出することができる。
【００５９】
笑顔検出信号は、視聴番組画像処理部３０５の取得画像選択部３５７に入力される。取得画像選択部３５７は、視聴コンテンツ取得部３５６を制御し、視聴者の笑顔が検出された時点とその前後例えば１乃至２分のコンテンツを取得する。さらに取得されたコンテンツから、顔検出部３５２が人物の顔画像を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部３５２は、顔検出部３４２と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部３５３に入力される。顔認識部３５３は、認識した顔画像信号に対応する人物（出演者）の画像信号がデータベース３５４に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース３５４に登録し、登録したことを同期制御部３０３に通知する。しかし、認識した顔画像信号に対応する人物（出演者）の画像信号が、データベース３５４に存在した場合、その存在を確認し、特定したことを同期制御部３０３に通知する。
【００６０】
同期制御部３０３は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば数十秒間の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイル（視聴者反応画像ファイルと称しても良い）を作成することができる。
【００６１】
図１３には、視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示している。これらのファイルは、図８で示した所謂、視聴者反応画像ファイル４１５，４１６，４１７であり、視聴データ登録部３０６を構成している例えばＨＤＤなどの記録媒体の記録エリアに格納される。
【００６２】
例えば番組Ａに対する視聴者情報（この実施形態では視聴者情報ファイルと称しても良い）は、番組Ａの番組情報（たとえば番組名、放送局名、チャンネル、収録日時情報、ジャンル）の領域と、画像データの領域を有する。画像データの領域は、例えば番組の代表画像（出演者の顔画像でも良い）の領域、視聴者の顔画像の領域と、サンプリング画像領域とを有する。
【００６３】
サンプリング画像領域では、視聴者の笑顔を検出した時点とその前後１乃至５分程度の区間における視聴者を撮像した画像と前記区間に対応する番組のシーンの画像とがペアになって記録されている。図の例では番組のシーン１、シーン２、シーン３の区間がサンプリング画像として記憶されている。ここで、視聴者を撮像した画像データの先頭には、シーン１，２，３に対応するが現れる視聴者画像データには、番組の相対時間を示したタイムスタンプＴＳを記述しておいても良い。
【００６４】
図１４、図１５は、表示データ制御部２０３の制御に基づいて、上記した視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示している。ユーザは、表示器１５に例えば録画リストを表示することができる。録画リストは、制御部２０にて管理されている。録画リストの中には、視聴者反応画像ファイル４１５，４１６，４１７が含まれている。ユーザは、リモートコントローラ操作により、所望のファイルを選択して再生ボタンを操作することができる。ユーザが、例えば視聴者反応画像ファイル４１５を再生したとすると、例えば図１３で示した番組のシーン１，２，３が順次再生されるとともに、同時に対応して視聴者の画像が再生される。選択ボタンにより、番組のシーンと視聴者の画像の何れか一方をピクチャーインピクチャーとして表示することができる。
【００６５】
視聴者画像を再生する場合は、上記の形態に限定されない。例えば、番組Ａを最初から連続して再生している途中で、シーン１、シーン２、シーン３のときに図１４或いは図１５に示すような表示形態に切換ってもよい。視聴者画像１，２，３にはそれぞれタイムスタンプＴＳが含まれているので、番組Ａが再生されている途中で、シーン１、２、３が再生されるときに同期させて視聴者画像１，２，３を再生することができる。この再生を行う場合は、さらに再生モード選択ボタンにより、視聴者反応画像ファイルの同時再生を選択できるように構成される。なお、上記の説明で用いた用語は、このような称呼に限定されるものではなく、同等の機能を実現できる構成であれば、他の呼び方をされてもよい。
【００６６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６７】
１１・・・チューナ装置、１２・・・セレクタ、１３・・・信号処理部、１４・・・出力部、１５・・・表示器、１７・・・カメラ、１８・・・インターフェース、２０・・・制御部、２０１・・・客観的画像処理部、２０２・・・お勧め番組情報構築部。
【技術分野】
【０００１】
本発明の実施形態は画像情報処理装置及び画像情報処理方法に関する。
【背景技術】
【０００２】
視聴者が興味を持つと考えられる画像コンテンツを特定する装置がある。この装置は、画像コンテンツを視聴したときの視聴者の表情を撮像し、視聴者の感情を推測する、また画像コンテンツの出演者の表情から出演者の感情を推測する。そして視聴者と出演者の感情が一致するシーンを、視聴者が共感したシーンであると推測し、このシーンの画像を要約画像として所定の記憶領域に記憶する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−９７０４７号公報
【特許文献２】特開２０１０−２６８７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
番組の特定のシーンと視聴者の表情を関連付ける技術が開発されているが、この技術はさらなる展開を要望される。
【０００５】
本実施形態では、視聴者の顔画像データと番組の番組データに含まれる出演者の顔画像データと番組情報とを有効活用できる画像情報処理装置及び画像情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、第１の画像処理部が、撮像信号から第１の顔画像データを検出する。第２の画像処理部が、番組データに含まれる第２の顔画像データを検出する。制御部が、前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する。
【図面の簡単な説明】
【０００７】
【図１】本実施形態が適用されたテレビジョン受信装置の概略構成を示す図である。
【図２】図１の客観的画像処理２０１のブロック構成を示す図である。
【図３】図２に示した視聴者画像処理部３０４と視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。
【図４】本実施形態における視聴者画像処理部３０４の動作を簡単に示すフローチャートである。
【図５】本実施形態における視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。
【図６】視聴データ登録部３０６内のデータベース（視聴者情報）の構成例を示す図である。
【図７】本実施形態におけるお勧め番組情報構築部２０２のデータ整理部２０２ａにより実行される登録処理ルーチンの例を示す図である。
【図８】本実施形態における視聴データ登録部３０６内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【図９】同じく視聴データ登録部３０６内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【図１０】本実施形態におけるテレビジョン受信装置が、視聴者にお勧め番組情報を提供している例を示す図である。
【図１１】本実施形態に含まれる表情解析部３４３が表情解析を行う時期を設定する場合種々の選択肢を説明する図である。
【図１２】図１の客観的画像処理２０１の他の実施形態によるブロック構成を示す図である。
【図１３】本実施形態における視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示す図である。
【図１４】本実施形態における視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示す図である。
【図１５】本実施形態における視聴者反応画像ファイルが再生されたときの表示器に表示される画像の他の例を示す図である。
【発明を実施するための形態】
【０００８】
以下、実施の形態について図面を参照して説明する。図１は、本実施形態が適用された例えばテレビジョン受信装置の概略構成を示している。テレビジョン受信装置に代わって、データ記録再生装置であってもよい。１１は、チューナ装置であり、複数のチューナが内蔵されており、同時に複数のチャンネルを受信し、複数の放送番組を復調することができる。チューナ装置１１には、入力端子ＡＮ１，・・・ＡＮｎを介してアンテナで受けられた高周波信号が入力される。入力端子ＢＮ１は、外部入力端子であり、ケーブル或いはネットワーク或いは他の機器からの信号が入力する。
【０００９】
セレクタ１２は、チューナ装置１１からの復調信号（ストリーム信号）、或いは入力端子ＢＮ１からの信号を制御部２０からの制御の元で選択して出力する。セレクタ１２で選択された制御ストリームは、制御部２０に入力される。セレクタ１２で選択された番組信号のストリームは、信号処理部１３に入力される。
【００１０】
信号処理部１３は、入力した番組信号のストリームの内、例えば視聴される番組のストリームを復号処理し、復号された画像信号を出力部１４に出力する。出力部１４では制御部２０からのグラフィック画像信号（番組表画像信号、メニュー画像信号など）が、番組画像信号に多重される。また出力部１４では、画像信号のサイズ、スケール変換、解像度処理などが行われ、表示器１５に出力される。
【００１１】
表示器１５には、カメラ１７が取り付けられている。カメラ１７は、表示器１５のキャビネット内に内蔵されていてもよい。カメラ１７は、表示器１７の画像を視聴している視聴者を撮像するものである。カメラ１７の撮像信号は、インターフェース１８を介して制御部２０に取り込むことができる。またカメラ１７の撮像信号は、制御部２０から出力部１４を通り、表示器１５でモニタすることができる。このとき、ユーザは、カメラ１７の撮像状態を調整し、撮像方向、撮像エリアなどを設定することができる。この設定は、リモートコントローラで行うことも可能であるし、カメラ１７の操作部を直接操作することで可能である。なおカメラ１７は、その配置位置を種々変更可能に取り付けられていてもよい。
【００１２】
制御部２０は、周辺に接続されているブロックを統括的に制御している。またリモートコントローラ２２からの操作信号が、受信部２１を介して制御部２０に入力される。これによりユーザの操作が装置全体に反映される。
【００１３】
制御部２０にはリードオンリーメモリ（ＲＯＭ）２６が接続されている。ＲＯＭ２０６には、制御部２０が利用する各種のプログラムが格納されている。制御部２０にはランダムアクセスメモリ２３が接続されている。このメモリ２３は、一時的なデータの保存部、演算処理のためのプログラムの展開部として利用される。さらに制御部２０にはハードディスクドライブ（ＨＤＤ）２４が接続されている。ＨＤＤ２４は、番組信号を録画及び再生するための媒体として利用される。また制御部２０にはＢＤ/ＤＶＤドライブ２５が接続されている。ＢＤ/ＤＶＤドライブ２５もまた、番組信号を録画及び又は再生するための媒体として利用される。さらにまた、制御部２０には、ＵＳＢケーブルを介して、キーボード２７を接続することができる。ユーザは、ある動作モードにおいては、表示器１５を見ながらキーボード２７を操作して、データ（文字、図形など）を入力することができる。
【００１４】
制御部２０には、客観的画像処理部２０１、お勧め番組情報構築部２０２、表示データ制御部２０３が内蔵されている。
【００１５】
図２には、客観的画像処理部２０１のブロック構成を示している。３０２は、この客観的画像処理部２０１の動作を指令するための実行指示部である。この実行指示部３０２に実行操作信号が入力されると、同期制御部３０３が起動する。同期制御部３０３は、視聴者画像処理部３０４に含まれる視聴者画像取得部３４１を起動する。視聴者画像取得部３４１は、カメラ１７を起動し、視聴者の撮像画像を取り込む。
【００１６】
顔検出部３４２は、視聴者を撮像した画像信号の中から顔画像信号を検出する。検出した顔画像信号は、表情解析部３４３に入力される。表情解析部３４３は、顔画像に複数点（例えば眼、口、頬）を設定し、フレーム時間の経過とともに複数点の移動（動き）を監視する。この複数点の動き（極端な変化）により、顔の変化（例えば笑顔、泣き顔、怒り顔）を検出することができる。つまり視聴者の表情変化が設定レベル以上になったときを検出している。
【００１７】
表情解析部３４３の解析結果信号は、同期制御部３０３に入力される。同期制御部３０３は、解析結果信号が来たときの番組の視聴画像信号の区間を決定する。つまり、視聴者が視聴している視聴画像信号であって、視聴者が例えば笑顔に変化したとき及びその前後の例えば１乃至２分間の視聴画像信号を特定する。
【００１８】
この視聴画像信号を特定するタイミングは、視聴者が笑顔に変化したときに限定されるものではなく、定期的に実施されてもよい。定期的に実施される場合は、上記の解析結果信号は、定期的なタイミング信号となる。
【００１９】
同期制御部３０３の制御に基づいて、視聴番組画像処理部３０５は、以下のように動作する。視聴画像取得部３５１は、前記１乃至２分間の視聴画像信号を取り込む。顔検出部３５２は、取り込まれた番組の画像信号から顔画像信号を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部３５２は、顔検出部３４２と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部３５３に入力される。顔認識部３５３は、認識した顔画像信号に対応する人物（出演者）の画像信号がデータベース３５４に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース３５４に登録のために送信したことを同期制御部３０３に通知する。しかし、認識した顔画像信号に対応する人物（出演者）の画像信号が、データベース３５４に存在した場合、その存在を確認し、特定したことを同期制御部３０３に通知する。
【００２０】
同期制御部３０３は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして視聴者の識別データと、視聴者の例えば顔画像信号と、前記番組の特定した出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けたテーブルを作成することができる。このテーブルは、ある視聴者が、どの出演者に興味を持つかという視聴者情報として位置づけられる。
【００２１】
客観的画像処理部２０１が処理対象とする番組の画像信号は、例えば受信中であって視聴者が視聴しておりかつ録画中の番組の画像信号であってもよい。或いは、客観的画像処理部２０１が、処理対象とする番組の画像信号は、すでに記録媒体に録画されている番組の画像信号であって現在当該番組が再生されて、視聴者が視聴している番組の画像信号であってもよい。
【００２２】
図３は、図２に示した視聴者画像処理部３０４と視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。実行指示部３０２から処理開始の指示があると（ステップＳ３−１）、同期制御部３０３は、画像取得指示を視聴者画像処理部３０４、視聴番組画像処理部３０５に指示する。視聴者画像処理部３０４は、上記したようにカメラ１７から取り込んだ撮像信号を処理し、視聴者の顔画像信号を処理する。視聴番組画像処理部３０５は、視聴者が視聴している番組の画像信号処理に移行する（ステップＳ３−４）。
【００２３】
視聴者画像処理部３０４、視聴番組画像処理部３０５の処理動作は、同期制御部３０３により統括されている。同期制御部３０３は、視聴者画像処理部３０４及び視聴番組画像処理部３０５からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして、識別データと、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けた前述したテーブルを作成することができる。
【００２４】
図４は、上記した視聴者画像処理部３０４の動作を簡単に示すフローチャートである。実行指示部３０２から画像を取得せよとの指示があると（ステップＳ４−１）、視聴者の画像がカメラ１７から取り込まれる。次に顔検出処理が行われ（ステップＳ４−２）、検出した顔画像信号を用いて、表情解析処理が実施される（ステップＳ４−３）。そして表情解析結果信号は、同期信号制御部３０３に通知される。
【００２５】
図５は、上記した視聴番組画像処理部３０５の動作を簡単に示すフローチャートである。同期制御部３０３の制御に基づいて、視聴画像取得部３５１が、前記表情解析結果信号が通知された時点の前後数秒間の画像信号を取り込む（ステップＳ５−１）（ステップＳ５−２）。顔検出部３５２は、取り込まれた番組の画像信号から顔画像信号を検出する（ステップＳ５−３）。番組信号から取得した顔画像信号に対応する人物の画像信号がデータベース３５４に含まれているかどうかをサーチされる（ステップＳ５−４）。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在するか否かの判定が行われる（ステップＳ５−５）。
【００２６】
これにより、同期制御部３０３は、上記したように視聴者画像処理部３０４及び視聴番組画像処理部３０５からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。
【００２７】
図６は、視聴データ登録部３０６内のデータベース（視聴者情報）の構成例を示している。４１１は、新しく取り込まれた新視聴者Ｎのための視聴者情報領域であり、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組ＮＰに出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが記述される。
【００２８】
４１２は、視聴者Ａのための視聴者情報領域であり、４１３は、視聴者Ｂのための視聴者情報領域であり、４１４は、視聴者Ｃのための視聴者情報領域である。
【００２９】
今、視聴者情報領域４１２には、視聴者Ａの顔画像、出演者ＡＡの顔画像及び識別子ＡＡＩＤ、及び番組情報ＡＰ１が格納されているものとする。この視聴者情報は、出演者ＡＡが番組情報ＡＰ１の番組に出演し、視聴者Ａがこの出演者ＡＡに興味を持っているものとして位置づけられている。
【００３０】
また、視聴者情報領域４１３には、視聴者Ｂの顔画像、出演者ＢＡの顔画像及び識別子
であるＢＡＩＤ、及び番組情報ＢＰ１が格納されているものとする。この視聴者情報は、出演者ＢＡが番組情報ＢＰ１の番組に出演し、視聴者Ｂがこの出演者ＢＡに興味を持っているものとして位置づけられている。
【００３１】
さらに、視聴者情報領域４１４には、視聴者Ｃの顔画像、出演者ＣＡの顔画像及び識別子であるＣＡＩＤ、及び番組情報ＣＰ１が格納されているものとする。この視聴者情報は、出演者ＣＡが番組情報ＣＰ１の番組に出演し、視聴者Ｃがこの出演者ＣＡに興味を持っているものとして位置づけられている。さらにこの視聴者情報には、出演者ＢＡの顔画像及び識別子であるＢＡＩＤ、及び番組情報ＢＰ１が格納されている。この情報は、視聴者Ｂの視聴者情報と同じであり、このことは、視聴者Ｃは、視聴者Ｂが興味をもつ出演者ＢＡにも興味を持つことを意味する。さらにまた視聴者Ｃの視聴者情報には、出演者ＡＡの顔画像及び識別子ＡＡＩＤ、及び番組情報ＡＰ２が格納されているものとする。この場合は、視聴者Ｃは、視聴者Ａと同じ出演者ＡＡに興味を持つが、視聴者ＡとＣは異なる番組を見て出演者ＡＡに興味を持ったことを意味している。
【００３２】
今、一次保存領域である視聴者情報領域４１１には、新しく取り込まれた新視聴者Ｎのための視聴者情報領域であり、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組ＮＰに出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが記述されている。
【００３３】
しかし、新しく取り込んだ視聴者情報は、視聴者データ登録部３０６に登録されるべきか否かチェックされる必要がある。これは、視聴者データ登録部３０６において、重複情報が構築されるのを防ぐ必要があるからである。この重複情報のチェックは、お勧め番組情報構築部２０２のデータ整理部２０２ａにより行われる。
【００３４】
図７には、データ整理部２０２ａにより実行される登録処理ルーチンを示している。視聴者情報を視聴者データ登録部３０６に登録すべきか否かをチェックする処理ルーチンである。
【００３５】
新しく取り込んだ視聴者情報の視聴者Ｎの顔画像は、視聴データ登録部３０６に登録されている既登録の視聴者の顔画像と比較される（ステップＳ７−１）。一致する既登録顔画像が無い場合は、新しく取り込んだ顔画像は、新規の視聴者であるから、登録が実施される。即ち、新しい視聴者情報ための領域が確保され、視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組（番組情報ＮＰ）に出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが登録される。
【００３６】
ステップＳ７−１で、一致する既登録顔画像が存在する場合（例えばＮ＝Ｃであるとする）は、既に、視聴者Ｃが登録されていることである。そして、次のチェック（ステップＳ７−２）として、出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、既登録の出演者の顔画像及び出演者識別子とを比較する。一致するものが無い場合は、視聴者Ｃが新しい出演者の番組を視聴したことであり、当該出演者及びそのときの番組情報を視聴者Ｃの番組情報領域４１４に登録する。
【００３７】
しかしここで、出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと一致する出演者の顔画像及び出演者識別子が存在する場合（例えばＮＡ＝ＡＡ、ＮＡＩＤ＝ＡＡＩＤとする）、すでに視聴者Ｃの視聴者情報には、出演者ＡＡの顔画像及び出演者識別子が含まれていることである。次は番組情報のチェックが実施される（ステップＳ７−３）。即ち、新しい番組情報ＮＰと、視聴者Ｃの視聴者情報内で出演者ＡＡが出演する番組情報と一致するものが存在するか否かの判定が行われる。いま、番組情報ＮＰがＮＰ＝ＡＰ２であったとする。一方、出演者ＡＡが出演する既登録番組情報がＡＰ１であったとする。この場合は、ステップＳ７−３の判定では、一致無しであるから、番組情報ＡＰ２の登録が実施される（ステップＳ７−５）。しかしステップＳ７−３で番組情報が一致した場合は、登録無しで終了する（ステップＳ７−４）。
【００３８】
上記したように、新しく視聴者Ｎの顔画像と、視聴者Ｎが視聴した番組情報ＮＰの番組に出演している出演者ＮＡの顔画像及び出演者識別子ＮＡＩＤと、視聴した番組の番組情報ＮＰが取得されたとしても、既登録の情報と比較され、重複登録が回避される。
【００３９】
図８と図９は、視聴データ登録部３０６内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【００４０】
図８の例に示すように、視聴者Ａと視聴者Ｃは、同じアクター（出演者ＡＡ）に興味を持っているものとする。ここで、視聴者Ａは、出演者ＡＡが出演した番組情報ＡＰ１の番組を視聴し、視聴者Ｃは、出演者ＡＡが出演した番組情報ＡＰ２の番組を視聴したものとする。このような場合は、視聴者Ａの視聴者情報にも番組情報ＡＰ２を追加し、視聴者Ｃの視聴者情報にも番組情報ＡＰ１を追加することが好ましい。
【００４１】
なお図８では、視聴データ登録部３０６に視聴者反応画像ファイル４１５，４１６，４１７を示しているがこのファイルについては後述する。
【００４２】
図９は、図８で示した形態の視聴者情報編集処理を実施するための処理ルーチンである。例えば視聴者Ａの視聴者情報に含まれている出演者ＡＡの顔画像及びＡＡＩＤをレジスタへ格納する（ステップＳ９−１）。
【００４３】
次に、出演者ＡＡの顔画像及びＡＡＩＤと、他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子とを順次比較する（ステップＳ９−２）。出演者ＡＡの顔画像及びＡＡＩＤに一致する他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子が存在しない場合は、終了する。
【００４４】
しかし、出演者ＡＡの顔画像及びＡＡＩＤに一致する他の出演者の顔画像及び識別子が存在した場合、次のチェックにシフトする。図９、図８の例では、視聴者Ａの視聴者情報に含まれる出演者ＡＡの顔画像及びＡＡＩＤと、視聴者Ｃの視聴者情報に含まれる出演者ＡＡの顔画像及びＡＡＩＤとが一致する。このことは、視聴者ＡとＣが、出演者（アクター）ＡＡに興味を持つことを意味する。
【００４５】
次のステップＳ９−３では、視聴者Ａの視聴者情報に含まれる番組ＡＰ１情報と、視聴者Ｃの視聴者情報に含まれる番組情報ＡＰ２との比較を実施する。この場合は、番組情報ＡＰ１と番組情報ＡＰ２とが不一致であるから、ステップＳ９−４で、番組情報ＡＰ２を視聴者Ａの番組情報に追加する。
【００４６】
視聴者Ｃの視聴者情報が他の視聴者の視聴者情報と比較される場合は、番組情報ＡＰ１が視聴者Ｃの視聴者情報に含まれていないことが判明する。したがって、視聴者Ｃの視聴者情報に番組情報ＡＰ１が追加される。
【００４７】
上記の視聴者情報は、お勧め番組を提供する場合に有効である。例えば視聴者Ａの視聴者情報を読み出して、出演者の顔と、番組情報（番組名、チャンネルなど）を表示器に表示することができる。
【００４８】
図１０（Ａ），図１０（Ｂ）は、テレビジョン受信装置１５が、表示データ制御部２０３の制御に基づいて、視聴者に対してお勧め番組情報を提供している様子を示している。例えば、視聴者が、リモートコントローラ操作を通じて、テレビジョン受信装置１５に対してメニュー表示を要求したとする。すると、図１０（Ａ）に示すようにメニューの中には、「お勧め番組」の項目があり、この項目の横には「あなたにお勧めの番組情報が用意されています。番組リストを表示しますか？」と言う、コメントが表示される。
【００４９】
視聴者が、この「お勧め番組」の項目を選択して決定ボタンを操作すると、図１０（Ｂ）に示すように、視聴者に対応する視聴者情報が表示される。例えば視聴者が図８で説明した視聴者Ｃであったとすると、視聴者Ｃが興味を持っている出演者ＣＡ及びＡＡが出演している番組の番組情報ＣＰ１、ＢＰ１，ＡＰ１，ＡＰ２などが各番組の出演者の顔画像と共に表示される。視聴者は、視聴しようとする番組名をカーソル操作により選択し、決定ボタンを押すことで、当該番組の再生が開始される。
【００５０】
このように視聴者毎にお勧め番組を提供できるのは、以下の理由による。視聴者が例えばメニューボタンを押したとき、カメラ１７を介して視聴者が撮像される。撮像された視聴者の顔が顔検出部で検出される。検出された顔画像は、既に視聴者データ登録部に登録されている視聴者の顔画像と比較され、登録顔画像内に同一人物が存在するか否か判定される。そして、同一人物（視聴者）が検出されている場合に、前述した「お勧め番組」の項目が表示される。
【００５１】
上記したように、視聴者は、自分が興味を持っているアクターが出演した番組情報を他の視聴者情報からも取得することが可能である。
【００５２】
図１１には、表情解析部３４３が表情解析を行う時期を設定する場合、種々の選択肢を示している。まず、表情解析部３４３が表情解析を行う時期に対してＣＭ期間停止情報５０１を与えることで、ＣＭ期間は停止するように設定することができる。また表情解析部３４３が表情解析を行う期間として、連続して行う連続指示情報５０３又は定期的に行うことを指示するための定期的実行指示情報５０４の何れかを与えることができる。定期的実行指示情報５０４が表情解析部３４３に与えられた場合、そのインターバル情報５０５（例えば５分間隔、１０分間隔、１５分間隔など）を設定することができる。
【００５３】
ＣＭ期間停止情報５０１は、視聴番組画像処理部３０５或いはその内部の視聴画像取得部３５１、顔検出部３５２、顔認識部３５３などに与えられてもよい。
【００５４】
さらに、視聴データ登録部３０６に「視聴者情報」を登録する場合、登録する条件を設定することも可能である。まず条件設定５１２は、条件無しで定期的に視聴者情報を登録するように設定することができる。視聴者情報の登録は、図７乃至図９で説明したとおりである。次に条件設定５１３がある、この設定５１３は、視聴者の笑顔検出があったときを登録条件とするものである。このとき笑い声検出により、笑い声も条件設定５１４の項目としてよい。
【００５５】
さらに条件設定として、視聴者の視聴人数をデータ登録条件としてもよい。視聴している視聴者の人数を登録条件として（条件設定５１５）、複数の場合と単独の場合との何れかを指定できるようにしてもよい。また視聴者が特定の人物であるときのみを登録条件として設定できるようにしてもよい（条件設定５１６）。このためには、予めカメラで撮像した人物を登録しておくことで、現在の視聴者を特定可能としている。
【００５６】
さらに、視聴データが登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイル作成を設定できるようにしても良い（条件設定５２３）。
【００５７】
図１２は、視聴データが視聴データ登録部に登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイルの作成を設定できる実施形態の例を示している。図２に示したブロックと同一部分には同一符号を付している。
【００５８】
客観的画像処理部２０１において、視聴者画像処理部３０４は、図２に示した構成とほぼ同じである。表情解析部３４３は、顔画像に複数点（例えば眼、口、頬）を設定し、フレーム時間の経過とともに複数点の移動（動き）を監視する。この複数点の動き（極端な変化）の情報が、笑顔検出部３４４に入力される。笑顔検出部３４４は、顔の変化の情報から笑顔を検出することができる。
【００５９】
笑顔検出信号は、視聴番組画像処理部３０５の取得画像選択部３５７に入力される。取得画像選択部３５７は、視聴コンテンツ取得部３５６を制御し、視聴者の笑顔が検出された時点とその前後例えば１乃至２分のコンテンツを取得する。さらに取得されたコンテンツから、顔検出部３５２が人物の顔画像を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部３５２は、顔検出部３４２と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部３５３に入力される。顔認識部３５３は、認識した顔画像信号に対応する人物（出演者）の画像信号がデータベース３５４に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース３５４に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース３５４に登録し、登録したことを同期制御部３０３に通知する。しかし、認識した顔画像信号に対応する人物（出演者）の画像信号が、データベース３５４に存在した場合、その存在を確認し、特定したことを同期制御部３０３に通知する。
【００６０】
同期制御部３０３は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば数十秒間の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイル（視聴者反応画像ファイルと称しても良い）を作成することができる。
【００６１】
図１３には、視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示している。これらのファイルは、図８で示した所謂、視聴者反応画像ファイル４１５，４１６，４１７であり、視聴データ登録部３０６を構成している例えばＨＤＤなどの記録媒体の記録エリアに格納される。
【００６２】
例えば番組Ａに対する視聴者情報（この実施形態では視聴者情報ファイルと称しても良い）は、番組Ａの番組情報（たとえば番組名、放送局名、チャンネル、収録日時情報、ジャンル）の領域と、画像データの領域を有する。画像データの領域は、例えば番組の代表画像（出演者の顔画像でも良い）の領域、視聴者の顔画像の領域と、サンプリング画像領域とを有する。
【００６３】
サンプリング画像領域では、視聴者の笑顔を検出した時点とその前後１乃至５分程度の区間における視聴者を撮像した画像と前記区間に対応する番組のシーンの画像とがペアになって記録されている。図の例では番組のシーン１、シーン２、シーン３の区間がサンプリング画像として記憶されている。ここで、視聴者を撮像した画像データの先頭には、シーン１，２，３に対応するが現れる視聴者画像データには、番組の相対時間を示したタイムスタンプＴＳを記述しておいても良い。
【００６４】
図１４、図１５は、表示データ制御部２０３の制御に基づいて、上記した視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示している。ユーザは、表示器１５に例えば録画リストを表示することができる。録画リストは、制御部２０にて管理されている。録画リストの中には、視聴者反応画像ファイル４１５，４１６，４１７が含まれている。ユーザは、リモートコントローラ操作により、所望のファイルを選択して再生ボタンを操作することができる。ユーザが、例えば視聴者反応画像ファイル４１５を再生したとすると、例えば図１３で示した番組のシーン１，２，３が順次再生されるとともに、同時に対応して視聴者の画像が再生される。選択ボタンにより、番組のシーンと視聴者の画像の何れか一方をピクチャーインピクチャーとして表示することができる。
【００６５】
視聴者画像を再生する場合は、上記の形態に限定されない。例えば、番組Ａを最初から連続して再生している途中で、シーン１、シーン２、シーン３のときに図１４或いは図１５に示すような表示形態に切換ってもよい。視聴者画像１，２，３にはそれぞれタイムスタンプＴＳが含まれているので、番組Ａが再生されている途中で、シーン１、２、３が再生されるときに同期させて視聴者画像１，２，３を再生することができる。この再生を行う場合は、さらに再生モード選択ボタンにより、視聴者反応画像ファイルの同時再生を選択できるように構成される。なお、上記の説明で用いた用語は、このような称呼に限定されるものではなく、同等の機能を実現できる構成であれば、他の呼び方をされてもよい。
【００６６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６７】
１１・・・チューナ装置、１２・・・セレクタ、１３・・・信号処理部、１４・・・出力部、１５・・・表示器、１７・・・カメラ、１８・・・インターフェース、２０・・・制御部、２０１・・・客観的画像処理部、２０２・・・お勧め番組情報構築部。
【特許請求の範囲】
【請求項１】
撮像信号から第１の顔画像データを検出する第１の画像処理部と、
番組データに含まれる第２の顔画像データを検出する第２の画像処理部と、
前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する制御部とを有した画像情報処理装置。
【請求項２】
前記制御部の制御に基づいて行われる前記第２の顔画像データと前記第１の顔画像データ及び前記番組の番組情報の取得及びこれらを関連付けた前記画像情報の作成は、定期的に実行される請求項１記載の画像情報処理装置。
【請求項３】
前記制御部の制御に基づいて行われる前記第２の顔画像データと前記第１の顔画像データ及び前記番組の番組情報の取得は、前記番組内のコマーシャル期間は除かれる請求項２記載の画像情報処理装置。
【請求項４】
お勧め番組情報構築部をさらに有し、このお勧め番組情報構築部は、新しく作成された新規画像情報と前記登録部に登録されている既保存の画像情報との比較を行い、既保存の情報と重複している前記新規画像情報内の情報を破棄し、前記既保存の情報と重複しない前記新規画像情報内の情報を登録する請求項１記載の画像情報処理装置。
【請求項５】
表示制御部をさらに有し、この表示制御部は、前記第２の顔画像データと前記第１の顔画像データ及び前記番組の番組情報をお勧め番組リストとして表示する請求項４記載の画像情報処理装置。
【請求項６】
前記制御部はさらに、前記第１の画像処理部により検出された前記第１の顔画像データの変化が設定レベル以上であることが検出された時点及びその前後の所定の時間の前記番組のデータを、視聴者反応画像ファイルに格納する請求項１記載の画像情報処理装置。
【請求項７】
第１の画像処理部により、撮像信号から第１の顔画像データを検出し、
第２の画像処理部により、番組データに含まれる第２の顔画像データを検出し、
前記第１の顔画像データの変化に応じて、制御部により、第２の画像処理部により検出された前記第２の顔画像データと第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を登録部に登録する画像情報処理方法。
【請求項１】
撮像信号から第１の顔画像データを検出する第１の画像処理部と、
番組データに含まれる第２の顔画像データを検出する第２の画像処理部と、
前記第１の画像処理部により検出された前記第１の顔画像データの変化に応じて、前記第２の画像処理部により検出された前記第２の顔画像データと前記第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を作成し、登録部に登録する制御部とを有した画像情報処理装置。
【請求項２】
前記制御部の制御に基づいて行われる前記第２の顔画像データと前記第１の顔画像データ及び前記番組の番組情報の取得及びこれらを関連付けた前記画像情報の作成は、定期的に実行される請求項１記載の画像情報処理装置。
【請求項３】
前記制御部の制御に基づいて行われる前記第２の顔画像データと前記第１の顔画像データ及び前記番組の番組情報の取得は、前記番組内のコマーシャル期間は除かれる請求項２記載の画像情報処理装置。
【請求項４】
お勧め番組情報構築部をさらに有し、このお勧め番組情報構築部は、新しく作成された新規画像情報と前記登録部に登録されている既保存の画像情報との比較を行い、既保存の情報と重複している前記新規画像情報内の情報を破棄し、前記既保存の情報と重複しない前記新規画像情報内の情報を登録する請求項１記載の画像情報処理装置。
【請求項５】
表示制御部をさらに有し、この表示制御部は、前記第２の顔画像データと前記第１の顔画像データ及び前記番組の番組情報をお勧め番組リストとして表示する請求項４記載の画像情報処理装置。
【請求項６】
前記制御部はさらに、前記第１の画像処理部により検出された前記第１の顔画像データの変化が設定レベル以上であることが検出された時点及びその前後の所定の時間の前記番組のデータを、視聴者反応画像ファイルに格納する請求項１記載の画像情報処理装置。
【請求項７】
第１の画像処理部により、撮像信号から第１の顔画像データを検出し、
第２の画像処理部により、番組データに含まれる第２の顔画像データを検出し、
前記第１の顔画像データの変化に応じて、制御部により、第２の画像処理部により検出された前記第２の顔画像データと第１の画像処理部により検出された前記第１の顔画像データ及び前記番組の番組情報とを関連付けた画像情報を登録部に登録する画像情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−７８１２１（Ｐ２０１３−７８１２１Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１２−２０８２７８（Ｐ２０１２−２０８２７８）
【出願日】平成２４年９月２１日（２０１２．９．２１）
【分割の表示】特願２０１１−２１４８４１（Ｐ２０１１−２１４８４１）の分割
【原出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２４年９月２１日（２０１２．９．２１）
【分割の表示】特願２０１１−２１４８４１（Ｐ２０１１−２１４８４１）の分割
【原出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]