表示装置及びその制御方法、プログラム並びに記録媒体
【課題】コンテンツを視聴しているユーザが複数である場合、任意のユーザの表情に応じてユーザが求める動作を実行することができる。
【解決手段】表示装置１０は、所定範囲内に存在するユーザを撮影するカメラ１０３が撮影した、上記ユーザの画像を取得する画像取得部１４と、表示装置１０の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する人感センサー１０２から、上記他のユーザが存在することを示す検知信号を受信する検知信号受信部１３と、画像取得部１４が取得した画像から任意のユーザの表情を検出する表情検出部２３と、映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報から、表情検出部２３が検出した任意のユーザの表情に対応する設定情報を取得し、取得した設定情報に基づいて所定の動作を実行するコンテンツ処理部２２とを備える。
【解決手段】表示装置１０は、所定範囲内に存在するユーザを撮影するカメラ１０３が撮影した、上記ユーザの画像を取得する画像取得部１４と、表示装置１０の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する人感センサー１０２から、上記他のユーザが存在することを示す検知信号を受信する検知信号受信部１３と、画像取得部１４が取得した画像から任意のユーザの表情を検出する表情検出部２３と、映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報から、表情検出部２３が検出した任意のユーザの表情に対応する設定情報を取得し、取得した設定情報に基づいて所定の動作を実行するコンテンツ処理部２２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置及びその制御方法、プログラム並びに記録媒体に関し、具体的には、自装置の周囲に複数のユーザが存在する場合、ユーザの表情に応じて所定の動作を実行する表示装置及びその制御方法、プログラム並びに記録媒体に関するものである。
【背景技術】
【０００２】
テレビなどの表示装置において、ユーザの顔を撮影し、撮影した顔画像から評価したユーザの状態に基づいて様々な処理を行なう技術が知られている。
【０００３】
例えば、特許文献１には、カメラによって撮影したユーザの顔画像から顔画像情報を抽出し、所定のコンテンツが再生されたときのユーザの注目度及び表情を数値化して評価することが記載されている。
【０００４】
また、特許文献２には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラによって撮影したユーザの顔画像から瞬きをする回数を検出してユーザの覚醒度を推定し、覚醒度に応じて表示画像の色合いを制御することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２６７４４５号公報（２００９年１１月１２日公開）
【特許文献２】特開２００７−３６１８号公報（２００７年１月１１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、テレビ番組等のコンテンツを複数のユーザが視聴している場合、撮影した任意のユーザの表情に応じた動作を実行するだけでは十分ではなく、例えば一人で視聴しているときよりもエンターテイメント性が要求される等、ユーザが複数のときには一人のときと異なる動作が要求されることがある。
【０００７】
これに対し、特許文献１，２では、撮影したユーザの顔画像に基づいてユーザの嗜好性に当てはまるコンテンツを案内したり、表示画像の色合いを制御したりするが、ユーザが一人であるか複数であるかに応じた動作は行なわない。
【０００８】
また、一般に、テレビ等の表示装置に用いられるカメラは視野角が９０°に満たないものが多い。そのため、複数のユーザが視聴している場合、カメラの視野角の範囲内に位置するユーザ以外はカメラで撮影することができない。よって、カメラだけではユーザが一人なのか複数なのかを把握できず、それに応じて動作を制御することはできない。また、より視野角の広い広角カメラは高額であり、コストがかかる。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、その目的は、コンテンツを視聴しているユーザが複数である場合、任意のユーザの表情に応じてユーザが求める動作を実行することができる表示装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係る表示装置は、上記課題を解決するために、コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部を備えた表示装置であって、所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部と、上記画像取得部が取得した上記画像から任意のユーザの表情を検出する検出手段と、上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、上記検出手段が検出した任意のユーザの表情に対応する上記設定情報を取得し、取得した設定情報に基づいて所定の動作を実行する実行手段とを備え、上記画像取得部は、取得した画像から、上記ユーザが一人であるか複数であるかを判定し、上記実行手段は、上記受信部が上記検知信号を受信したとき、及び上記画像取得部が上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行することを特徴としている。
【００１１】
本発明に係る制御方法は、上記課題を解決するために、コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部と、所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部とを備える表示装置の制御方法であって、上記画像取得部が取得した上記画像から、上記ユーザが一人であるか複数であるかを判定する判定ステップと、上記判定ステップの後、上記画像から任意のユーザの表情を検出する表情検出ステップと、上記表情検出ステップの後、上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、検出した任意のユーザの表情に対応する上記設定情報を取得する設定情報取得ステップと、上記設定情報取得ステップにおいて取得した設定情報に基づいて所定の動作を実行する動作実行ステップとを含み、上記動作実行ステップでは、上記受信部が上記検知信号を受信したとき、及び上記判定ステップにおいて上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行することを特徴としている。
【００１２】
上記の構成及び方法によれば、表示装置では、検知部から検知信号を受信したとき、及び撮影部によって撮影されたユーザが複数であると判定されたとき、の少なくともいずれかのとき、コンテンツを視聴しているユーザが複数であると判断する。
【００１３】
また、表示装置では、撮影部が撮影した画像からユーザの表情を検出しており、コンテンツを視聴しているユーザが複数であると判断した場合、検出した表情に応じて対応情報から設定情報を取得し、取得した設定情報に基づいて所定の動作を実行する。
【００１４】
例えば、複数のユーザがコンテンツを視聴している場合、一人で視聴している場合よりもエンターテイメント性が要求される等、ユーザが複数のときには一人のときと異なる動作が要求されることがある。
【００１５】
よって、本発明によれば、コンテンツを視聴しているユーザが複数である場合、任意のユーザの表情に応じてユーザが求める動作を実行することができる。
【００１６】
また、本発明に係る表示装置では、上記実行手段は、上記画像取得部が取得した画像を上記映像に重ね合わせて合成映像を作成し、作成した合成映像を上記表示部に表示することが好ましい。
【００１７】
上記の構成によれば、例えばスポーツ番組等、盛り上がるコンテンツを表示しているとき、撮影部が撮影したユーザの顔（例えば、興奮時の表情）を表示部に表示する映像に重ね合わせて子画面表示する。これにより、コンテンツに面白みを持たせることができる。
【００１８】
また、本発明に係る表示装置では、上記実行手段は、上記表示部が表示した過去の上記映像を再び表示するか否かの指示を上記ユーザに促すための表示情報を作成し、作成した表示情報を上記表示部に表示することが好ましい。
【００１９】
例えば、表情の検出対象となるユーザが楽しいと感じているシーンを検出対象外のユーザが見逃している場合であっても、該シーンを再び表示するか否かの指示を促す表示情報を表示して実行させることにより、複数のユーザで楽しみを共有することができる。
【００２０】
また、本発明に係る表示装置では、上記コンテンツは音声を含み、上記音声を出力する音声出力部を備え、上記実行手段は、上記音声から歓声音を検出し、検出した歓声音の音量を調整して上記音声出力部に出力することが好ましい。
【００２１】
上記の構成によれば、例えばスポーツ番組等盛り上がるコンテンツにおいて、コンテンツに含まれる音声から歓声音を検出した場合、検出した歓声音の音量を大きくする等の効果を付与する。これにより、コンテンツのエンターテイメント性を高めることができる。
【００２２】
また、本発明に係る表示装置では、上記記録部は、効果音を上記対応情報と対応づけて記録し、上記実行手段は、上記記録部から上記効果音を取得し、取得した効果音を上記音声出力部に出力することが好ましい。
【００２３】
上記の構成によれば、例えばバラエティ番組等のコンテンツにおいて、効果音をつけてコンテンツを表示することによって、コンテンツにより面白みを持たせ、複数のユーザで楽しみを共有することができる。
【００２４】
また、本発明に係る表示装置では、上記コンテンツのジャンルを示すジャンル情報を取得するジャンル情報取得手段を備え、上記記録部は上記ジャンル情報を上記対応情報と対応づけて記録し、上記実行手段は、上記ジャンル情報取得手段が取得した上記ジャンル情報に対応する上記設定情報を上記記録部の対応情報から取得し、取得した設定情報に基づいて上記所定の動作を実行することが好ましい。
【００２５】
これにより、コンテンツのジャンルに合った効果を付与することができる。
【００２６】
また、本発明に係る表示装置では、上記検知部は、上記自装置の周囲を複数の領域に分割し、所定時間ごとに上記複数の領域のいずれかを検知することが好ましい。
【００２７】
上記の構成によれば、自装置の周囲に存在しているユーザの人数を把握することができる。
【００２８】
また、本発明に係る表示装置では、上記検知部が検知する領域は、上記所定範囲内を含まないことが好ましい。
【００２９】
上記の構成によれば、検知部が検知する領域と、撮影部が撮影している領域とが重複することなく、検知部が撮影部の視野角の範囲にいるユーザを他のユーザとして誤認することがない。
【００３０】
なお、上記表示装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させるためのプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３１】
本発明は、コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部を備えた表示装置であって、所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部と、上記画像取得部が取得した上記画像から任意のユーザの表情を検出する検出手段と、上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、上記検出手段が検出した任意のユーザの表情に対応する上記設定情報を取得し、取得した設定情報に基づいて所定の動作を実行する実行手段とを備え、上記画像取得部は、取得した画像から、上記ユーザが一人であるか複数であるかを判定し、上記実行手段は、上記受信部が上記検知信号を受信したとき、及び上記画像取得部が上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行するため、コンテンツを視聴しているユーザが複数である場合、任意のユーザの表情に応じてユーザが求める動作を実行することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係る表示装置の要部構成を示すブロック図である。
【図２】図１に示す表示装置に搭載されるカメラの視野角及び人感センサーの検知エリアを示す図である。
【図３】図１に示す表示装置に搭載される人感センサーの検知エリアを複数の領域に分割したときの様子を示す図である。
【図４】図１に示す表示装置においてコンテンツ処理に用いる対応情報を示す表である。
【図５】図１に示す表示装置におけるコンテンツ処理の流れの一例を示すシーケンス図である。
【図６】図１に示す表示装置におけるコンテンツ処理の流れの別の例を示すシーケンス図である。
【発明を実施するための形態】
【００３３】
本発明に係る表示装置の一実施形態について、図１〜６を参照して以下に説明する。なお、以下の説明では本発明を実施するために好ましい種々の限定が付与されているが、本発明の技術的範囲は以下の実施の形態及び図面の記載に限定されるものではない。
【００３４】
〔１．表示装置の構成〕
図１は、本発明の一実施形態に係る表示装置１０の構成を示すブロック図である。図１に示すように、表示装置１０は、チューナー１１、リモコン受光部１２、検知信号受信部１３（受信部）、画像取得部１４、映像出力部１５、音声出力部１６、記録部１７、表示部１８、スピーカー１９及び制御部２０を備える。また、制御部２０は、ジャンル情報取得部２１（ジャンル情報取得手段）、コンテンツ処理部２２（実行手段）及び表情検出部２３（検出手段）を含み、コンテンツ処理部２２は映像処理部２４及び音声処理部２５を備える。さらに、表示装置１０は、人感センサー１０２（検知部）及びカメラ１０３（撮影部）と接続されている。
【００３５】
表示装置１０では、カメラ１０３が撮影したユーザの表情を検出することによってコンテンツを視聴しているときのユーザの表情を判別し、人感センサー１０２から検知信号を受信するか否かによってコンテンツを視聴しているユーザが一人であるか複数であるかを判断する。ここでいう「複数」とは、二人以上であることを意味する。
【００３６】
カメラ１０３は、コンテンツを視聴している任意のユーザの表情を検出するために、所定範囲内に存在するユーザを撮影する。本明細書において「所定範囲」とは、カメラ１０３の視野角の範囲を指し、カメラ１０３の種類又は性能に応じてその数値範囲は異なり得る。この所定範囲は、例えば、表示部１８の正面周辺であればよい。
【００３７】
カメラ１０３の具体例としては、例えばウェブカメラが挙げられる。ウェブカメラとは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）もしくはＩＥＥＥ１３９４等のインターフェースを有するカメラ、又はネットワークインターフェースを有するカメラ等を指す。カメラ１０３としては映像データが表示装置１０に出力されるものであれば特に限定されるものではなく、他にも、映像の出力インターフェースを持つ、携帯電話に内蔵されたカメラ又はデジタルビデオカメラ等を用いることができる。
【００３８】
カメラ１０３が撮影する画像は、静止画であってもよいし動画であってもよい。また、撮影された画像はリアルタイム又は一定間隔で保存され得る。画像の保存先は、例えばメモリを搭載したカメラ１０３であれば該メモリであってもよいし、表示装置１０３の記録部１７であってもよい。
【００３９】
人感センサー１０２は、表示装置１０の周囲であり、かつ、所定範囲（すなわち、カメラ１０３の視野角の範囲）の外に他のユーザが存在するか否かを検知する。また、表示装置１０の周囲とは、ユーザが表示部１８に表示される映像を見ることが可能な範囲である。
【００４０】
以下、説明の便宜のため、カメラ１０３によって撮影されるユーザを「メインユーザ」といい、カメラ１０３によって撮影されない他のユーザを「サブユーザ」という。また、メインユーザ又はサブユーザのいずれのユーザも指す場合は、単に「ユーザ」という。
【００４１】
人感センサー１０２の具体例としては、例えば、検知エリア内の熱源の変化を検知する焦電型赤外線センサーが挙げられる。この場合、周囲の温度と温度差がある物体が検知エリア内で動いたとき、その温度変化を検知し、検知した変化を検知信号として検知信号受信部１３に送信する。
【００４２】
つまり、人感センサー１０２は検知エリア（すなわち、自装置の周囲であり、かつ、所定範囲の外）内の人間の動きを検知するものであり、検知信号受信部１３が検知信号を受信することにより、表示装置１０ではサブユーザが存在すると判断する。
【００４３】
人感センサー１０２の具体例としては、焦電型赤外線センサーに限定されず、例えば、３６０°の撮影が可能なカメラ、天井部に設置したカメラ、又は床の圧力の変化を検出することが可能なセンサー等が挙げられる。人感センサー１０２が検知エリア内の変化を検知すると、検知信号として検知信号受信部１３に送る。
【００４４】
また、人感センサー１０２は、表示装置１０の周囲を複数の領域に分割し、所定時間ごとに複数の領域のいずれかを検知することが好ましい。これにより、分割したそれぞれの領域における変化の有無を検知することによって、検知エリア内に存在しているサブユーザの人数を把握することができる。
【００４５】
このとき、人感センサー１０２の検知エリアには、カメラ１０３が撮影する領域を含まないことがより好ましい。これにより、人感センサー１０２が検知する領域と、カメラ１０３によって撮影している領域とが重複することなく、人感センサー１０２がカメラ１０３の撮影範囲にいるメインユーザをサブユーザとして誤認することがない。
【００４６】
本実施形態では、人感センサー１０２及びカメラ１０３は外付けされているが、この構成に限定されるものではなく、いずれか一つ又は両方が表示装置１０に内蔵されている構成であってもよい。
【００４７】
チューナー１１は、アンテナ１００を介してコンテンツが含まれる放送信号を受信する。アンテナ１００は、例えばアナログ放送受信用アンテナ、デジタル放送受信用アンテナ又はＩＰ放送受信用アンテナなど、様々なアンテナであってよい。チューナー１１において受信された放送信号は、セレクタ、分離及びデコード等の各種の処理を経て映像信号及び音声信号に変換され、映像信号がコンテンツ処理部２２の映像処理部２４に送られ、音声信号がコンテンツ処理部２２の音声処理部２５に送られる。
【００４８】
なお、本実施形態では、放送コンテンツを取得するが、これに限定されるものではなく、例えば、ＤＶＤ、ＢＤ及びＨＤＤ等の表示装置１０と接続された外部機器から取得したコンテンツであってもよいし、インターネットを介して取得したコンテンツであってもよい。
【００４９】
リモコン受光部１２は、ユーザの操作によりリモコン１０１から送信されるリモコン信号を、赤外線等の光によって受信する。このリモコン信号には、例えば、スピーカー１９から出力される音量の調節指示又はテレビのチャンネル切り替え指示等、表示装置１０の動作を指定する様々なユーザの指示情報を含む。なお、指示情報は、例えば、表示装置１０の本体に設けられているボタン等の入力機構をユーザが操作することによって受け付けることも可能である。リモコン受光部１２はリモコン信号に含まれるユーザからの指示を制御部２０に通知する。
【００５０】
検知信号受信部１３は、人感センサー１０２から送信された検知信号を受信し、人感センサー１０２の検知エリア内にサブユーザが存在していることをコンテンツ処理部２２に通知する。つまり、複数のユーザがコンテンツを視聴していることを通知する。検知信号受信部１３と人感センサー１０２とのインターフェースは、例えば、ＵＳＢ等が挙げられ、また、直接Ａ／Ｄコンバータを持ったＩＣで検出してもよいし、ある閾値でラインをＨ／Ｌに変更するものでもよい。
【００５１】
画像取得部１４は、カメラ１０３によって撮影されたメインユーザの画像を取得する。画像取得部１４とカメラ１０３とのインターフェースは、例えば、ＵＳＢ又はＩＥＥＥ１３９４等であってもよいし、ネットワークインターフェースであってもよい。
【００５２】
ところで、カメラ１０３の視野角の範囲内には複数のユーザが存在している場合がある。そのため、画像取得部１４は、取得した画像から、撮影されたユーザが一人であるか複数であるかを判定し、判定結果をコンテンツ処理部２２に通知する。
【００５３】
制御部２０は、表示装置１０の各種構成を統括的に制御する。制御部２０の機能は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はフラッシュメモリなどの記録装置に記録されたプログラムを、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することによって実現される。制御部２０が備えるジャンル情報取得部２１、コンテンツ処理部２２及び表情検出部２３について以下に説明する。
【００５４】
ジャンル情報取得部２１は、チューナー１１が受信した放送信号に含まれるコンテンツのジャンルを示すジャンル情報を取得する。ジャンルは、例えば、「スポーツ」、「映画」、「ニュース」又は「ドラマ」などに分類される。また、これらのジャンル情報を、予め記録部１７の対応情報と対応づけて記録しておいてもよい。ジャンル情報取得部２１は、コンテンツ処理部２２からの要求に応じて、取得したジャンル情報をコンテンツ処理部２２に通知する。
【００５５】
コンテンツ処理部２２は、チューナー１１を介して取得したコンテンツの映像信号に対して画質調整等の所定の処理を行なって、映像出力部１５に供給する。また、該コンテンツの音声信号に対して音質調整等の所定の処理を行なって、音声出力部１６に供給する。本実施形態では、映像信号の処理は映像処理部２４が行ない、音声信号の処理は音声処理部２５が行なう。
【００５６】
また、コンテンツ処理部２２は、映像の表示中に検知信号受信部１３から上述した通知を受けるか、又は画像取得部１４から撮影されたユーザが複数であるとの判定結果の通知を受けると、後述する表情検出部２３が検出した表情に対応する設定情報を記録部１７の対応情報から取得し、取得した設定情報に基づいて所定の動作を行なう。
【００５７】
つまり、コンテンツ処理部２２は、カメラ１０３により撮影されたユーザが一人であり、且つ、人感センサー１０２から検知信号がある場合、カメラ１０３により撮影されたユーザが複数であり、且つ、人感センサー１０２から検知信号がない場合、又は、カメラ１０３により撮影されたユーザが複数であり、且つ、人感センサー１０２から検知信号がある場合に、所定の動作を実行する。
【００５８】
本実施形態では、コンテンツ処理部２２は、検知信号受信部１３又は画像取得部１４から通知を受けると、表情検出部２３が検出した表情に対応する特殊効果を取得したコンテンツに付加したり、表示装置１０が有するお薦め機能をユーザに提示する表示情報を作成したりして、映像出力部１５又は音声出力部１６に供給する。
【００５９】
特殊効果としては、例えば、画像取得部１４が取得したメインユーザの画像を、コンテンツに含まれる映像に重ね合わせて合成映像を作成して表示したり、音声から歓声音を検出して検出した歓声音の音量を調整したり、予め記録部１７に記録された効果音を音声出力部１６に提供したりする等の効果が挙げられる。
【００６０】
お薦め機能の表示では、例えば、過去に再生した映像をもう一度再生する機能（タイムシフト再生機能ともいう）を実行するか否かをユーザに問いかける画面を作成して、映像出力部１５に提供する。なお、本明細書では特殊効果及びお薦め機能の表示を総称して「付加効果」ということもある。
【００６１】
また、コンテンツ処理部２２が所定の動作を実行する際の設定情報は、コンテンツのジャンル情報に対応づけられたものであってもよい。この場合、コンテンツ処理部２２は、ジャンル情報取得部２１が取得したコンテンツのジャンル情報に対応する設定情報を記録部１７の対応情報から取得し、取得した設定情報に基づいて所定の動作を行なう。なお、コンテンツ処理部２２による所定の動作の詳細については後述する。
【００６２】
表情検出部２３は、カメラ１０３により撮影されるユーザのうち、任意のユーザの表情を検出する。例えば、画像取得部１４が取得した画像からメインユーザの顔を顔トレースとして認識し、認識した顔トレースから表情を検出する。
【００６３】
ここで、カメラ１０３により撮影されたユーザが一人である場合には、撮影されたユーザがそのまま任意のユーザとし、ユーザが複数である場合には、例えば顔認識の技術を用いて認識された顔の面積が一番大きいユーザを任意のユーザとするが、予め各ユーザの優先順位をメニューで設定しておく等、これ以外の取り決めにより任意のユーザを設定するようにしてもよい。
【００６４】
表情検出部２３は、コンテンツ処理部２２からの取得要求に応じて、検出した表情を表情データ（表情情報）としてコンテンツ処理部２２に通知する。ここでいう「表情データ」とは、例えば、「興奮」又は「笑顔」等の感情を表す表情として示される。
【００６５】
記録部１７は、各種データ及びプログラムを記録する。記録部１７としては、例えば、制御部２０が動作を制御するときに必要なプログラムなどの固定データを記録する、読出し専用の半導体メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、演算に使用するデータ及び演算結果のデータなどを一時的に記録する、いわゆるワーキングメモリとしてのＲＡＭとが挙げられる。
【００６６】
本実施形態において、記録部１７は、複数の異なる表情を示す表情情報と、コンテンツ処理部２２が所定の動作を実行するための設定情報との対応情報を記録する。ここで「表情情報」とは、上述したように「興奮」又は「笑顔」等の感情を表す表情を示す情報であり、設定情報とは、例えば「カメラ１０３で撮影したユーザの画像の子画面表示」又は「効果音の付加」等の付加効果を示す情報である。
【００６７】
なお、本実施形態では対応情報が記録部１７に記録されているが、例えば、外部の記録装置（図示せず）に記録することが可能であり、コンテンツ処理部２２が所定の動作を実行するたびに該記録装置から取得してもよい。
【００６８】
また、記録部１７は、コンテンツ処理部２２が所定の動作を行なう際の効果音を記録していてもよい。この効果音も対応情報と同様に、外部の記録装置から取得されてもよい。
【００６９】
映像出力部１５は、映像処理部２４において処理された映像信号、及びコンテンツ処理部２２において作成された合成映像又は表示情報を表示部１８に出力する。
【００７０】
表示部１８は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等の表示素子と、受信した映像信号に基づいて表示素子を駆動するドライバ回路とを備える構成である。なお、映像には、絵や図形の他、文字も含まれ、また、静止画及び動画も含まれる。
【００７１】
音声出力部１６は、音声処理部２５において処理された音声信号、及びコンテンツ処理部２２が記録部１７から取得した効果音をスピーカー１９から出力する。
【００７２】
なお、当初のカメラ１０３の視野角外にユーザが存在し、人感センサー１０２がその存在を検知し、アプリケーションの仕様のために当該ユーザの表情等の撮影が必要な場合は、当該ユーザが視野角内に入るようにカメラ１０３の向きを変更するための駆動部を設けてもよい。
【００７３】
〔２．カメラの撮影範囲と人感センサーの検知エリアとの関係〕
ここで、表示装置１０に具備されるカメラ１０３の撮影範囲と人感センサー１０２の検知エリアとの関係について、図２，３を参照して説明する。図２は、表示装置１０に搭載されるカメラ１０３の視野角及び人感センサー１０２の検知エリアを示す図であり、図３は、表示装置１０に搭載される人感センサー１０２の検知エリアを複数の領域に分割したときの様子を示す図である。
【００７４】
なお、以下の実施形態では、カメラ１０３の撮影範囲内に存在するユーザは一人であるという前提で説明するが、撮影範囲内に複数のユーザが存在することもある。つまり、画像取得部１４が、撮影されたユーザが複数であると判定した場合、コンテンツ処理部２２がその判定結果の通知を受けることによってコンテンツを視聴しているユーザが複数であると判断し、所定の動作を実行すればよい。
【００７５】
上述したように、表示装置１０では、カメラ１０３が撮影したユーザの表情を検出することによってコンテンツを視聴しているときのユーザの表情を判別し、人感センサー１０２から検知信号を受信することによってコンテンツを視聴しているユーザが複数であると判断する。このように、カメラ１０３と人感センサー１０２とを組み合わせることによって、ユーザが一人であるか複数であるかを判断することができ、任意のユーザの表情に応じてユーザが求める動作を実行することができる。
【００７６】
図２において、「Φ」はカメラ１０３の視野角を表し、「θ」は人感センサー１０２の検知エリアを表す。ここでは、カメラ１０３の視野角内にメインユーザ（以下、「ユーザＡ」と呼ぶ）が存在し、カメラ１０３の視野角の外であって、人感センサー１０２の検知エリア内に２人のサブユーザ（以下、「ユーザＢ」及び「ユーザＣ」と呼ぶ）が存在する。つまり、カメラ１０３はユーザＡを撮影し、ユーザＢ及びユーザＣは人感センサー１０２によって動きを検知される。
【００７７】
一般に、人感センサー１０２は検知エリア内の動きを検知するものであるため、カメラ１０３の撮影範囲（視野角）を検知エリアに含めてしまうと、カメラ１０３の撮影範囲のみにユーザがいる場合であっても人感センサー１０２は検知信号を通知してしまう。よって、コンテンツを視聴しているユーザが一人であるか複数であるかを判断できない。
【００７８】
そこで、人感センサー１０２の検知エリアを複数の領域に分割して（以下、分割して領域を「サブエリア」という）、検知させることが好ましい。このとき、サブエリアにはカメラ１０３の撮影範囲を含めなければよい。
【００７９】
つまり、人感センサー１０２は、図３の（ａ）においてカメラ１０３の撮影範囲を示す三角の点線で囲ったエリアを含まないようにサブユーザの動きを検知すればよい。これにより、人感センサー１０２が検知する領域と、カメラ１０３によって撮影している領域と重複することなく、カメラ１０３の撮影範囲にいるメインユーザをサブユーザとして誤認することがない。
【００８０】
また、検知エリアを図３の（ｂ）に示すように複数のサブエリアに分割し、各サブエリア（ａ〜ｆ）ごとの検知情報を取得することによって、コンテンツを視聴しているユーザの人数を把握することが可能である。このとき取得した検知情報を図３の（ｃ）に示す。
【００８１】
図３の（ｃ）では、ラインが下がっている期間そのサブエリアにユーザが存在していることを示している。つまり、サブエリアｃにユーザが存在している期間が最も長く、この間、サブエリアａ及びサブエリアｂにそれぞれ異なる期間でユーザが存在している。このことから、例えば、検知エリア内にはユーザが２人存在し、検知期間内に１人のユーザがサブエリアａからサブエリアｂに移動したと判断し得る。
【００８２】
いずれにしても、サブエリア内に存在しているユーザをそれぞれ独立して検知することによって、コンテンツを視聴しているユーザが１人であるか複数であるかを判断することができる。
【００８３】
なお、コンテンツを視聴しているユーザの人数を把握する方法はこれ以外にも、例えば、検知エリアを複数のサブエリアに分割し、所定時間ごとにいずれかのサブエリアを検知するように設定することも可能である。この場合、所定時間は任意の時間であればよく、特に限定されるものではない。これにより、検知エリア内に存在しているサブユーザの人数を把握することができる。
【００８４】
〔３．コンテンツ処理〕
次に、表示装置１０におけるコンテンツ処理の流れの一例について以下に説明する。以下に示すコンテンツ処理では、コンテンツのジャンル情報、メインユーザの表情情報、サブユーザの検知情報及び設定情報が図４に示す表のように対応づけられている対応情報を用いる。図４は、表示装置１０においてコンテンツ処理に用いる対応情報を示す表である。
【００８５】
図４の表に示すように、本実施形態では、コンテンツのジャンルが「スポーツ」であり、ユーザＡの表情が「興奮」を示すものであり、ユーザＢ又はユーザＣの動きを検知する検知信号を受け取った（「有」と示す）とき、カメラ１０３が撮影したユーザＡの画像を子画面表示したり、音声の歓声音のボリュームを大きくしたりするという付加効果をつける。
【００８６】
また、コンテンツのジャンルが「バラエティ」であり、ユーザＡの表情が「笑顔」を示すものであり、ユーザＢ又はユーザＣの動きを検知する検知信号を受け取ったとき、タイムシフト再生機能を実行するか否かの指示を促す画面を表示したり、拍手音を追加したりするという付加効果をつける。
【００８７】
ここで、ユーザがスポーツを視聴中であり、かつ、ユーザＡの表情から興奮状態を検出したときの処理の流れを、図５に基づいて説明する。図５は、表示装置１０におけるコンテンツ処理の流れの一例を示すシーケンス図である。
【００８８】
まず、チューナー１１がアンテナ１００を介してコンテンツが含まれる放送信号を受信し（ステップＳ１）、各種の処理を経て、映像信号をコンテンツ処理部２２の映像処理部２４に送り、音声信号をコンテンツ処理部２２の音声処理部２５に送る。このとき、ジャンル情報取得部２１はコンテンツのジャンル情報を取得する（ステップＳ２）。ここでは、ジャンル情報取得部２１は「スポーツ」のジャンルを示すジャンル情報を取得している。
【００８９】
また、ステップＳ１及びＳ２と同時期に、画像取得部１４はカメラ１０３からユーザを撮影した画像を取得しており、表情検出部２３は画像取得部１４が取得した画像からユーザＡの顔を顔トレースとして認識し（ステップＳ３）、認識した顔トレースから表情を検出する（ステップＳ４）。
【００９０】
一方、検知信号受信部１３は、人感センサー１０２から検知信号を受信すると、カメラ１０３の撮影範囲外にユーザＢ又はユーザＣが存在すると判断し、制御部２０のコンテンツ処理部２２に対してサブユーザの検出データを通知する（ステップＳ５）。コンテンツ処理部２２はこの通知を受け取ると、ジャンル情報取得部２１に対してジャンル情報の取得要求をし、表情検出部２３に対して表情情報（表情データ）の取得要求をする。
【００９１】
そして、コンテンツ処理部２２は、取得したジャンル情報、表情データ及び検出データに基づいて動作を決定する。ここでは、図４の表に示すように、スポーツ、興奮状態及びユーザＢ又はユーザＣの存在が「有」という情報から、カメラ１０３が撮影したユーザＡの画像を子画面表示し、音声の歓声音のボリュームを大きくするという動作を決定する。
【００９２】
コンテンツ処理部２２は、決定した動作を実行するために、画像取得部１４に対してユーザＡの画像の取得要求をし、画像取得後、取得した画像を記録部１７に保存する（ステップＳ７）。
【００９３】
その後、コンテンツ処理部２２は、コンテンツの映像に取得したユーザＡの画像を重ね合わせて合成映像を作成し、映像出力部１５に供給すると共に、コンテンツの音声信号から歓声音を検出し、検出した歓声音のボリュームを上げるように調整して音声出力部１６に供給する（ステップＳ８）。これにより、コンテンツに面白みを持たせ、複数のユーザで楽しみを共有することができる。
【００９４】
次に、ユーザがバラエティを視聴中であり、かつ、ユーザＡの表情から笑顔を検出したときの処理の流れを、図６に基づいて説明する。図６は、表示装置１０におけるコンテンツ処理の流れの別の例を示すシーケンス図である。
【００９５】
まず、チューナー１１がアンテナ１００を介してコンテンツが含まれる放送信号を受信し（ステップＳ１０）、各種の処理を経て、映像信号をコンテンツ処理部２２の映像処理部２４に送り、音声信号をコンテンツ処理部２２の音声処理部２５に送る。このとき、ジャンル情報取得部２１がコンテンツのジャンル情報を取得する（ステップＳ１１）。ここでは、ジャンル情報取得部２１は「バラエティ」のジャンルを示すジャンル情報を取得している。
【００９６】
また、上述した例とは異なり、取得したコンテンツをタイムシフト再生用に録画する（ステップＳ１２）。録画先は、記録部１７であってもよいし、ＤＶＤ、ＨＤＤ又はＢＤ等の外付け記録装置であってもよい。
【００９７】
ステップＳ１０〜Ｓ１２と同時期に、画像取得部１４はカメラ１０３からユーザＡを撮影した画像を取得しており、表情検出部２３は画像取得部１４が取得した画像からユーザＡの顔を顔トレースとして認識し（ステップＳ１３）、認識した顔トレースから表情を検出する（ステップＳ１４）。
【００９８】
一方、検知信号受信部１３は、人感センサー１０２から検知信号を受信すると、カメラ１０３の撮影範囲外にユーザＢ又はユーザＣが存在すると判断し、制御部２０のコンテンツ処理部２２に対してサブユーザの検出データを通知する（ステップＳ１５）。コンテンツ処理部２２はこの通知を受け取ると、ジャンル情報取得部２１に対してジャンル情報の取得要求をし、表情検出部２３に対して表情情報（表情データ）の取得要求をする。
【００９９】
そして、コンテンツ処理部２２は、取得したジャンル情報、表情データ及び検出データに基づいて動作を決定する。ここでは、図４の表に示すように、バラエティ、笑顔及びユーザＢ又はユーザＣの存在が「有」という情報から、タイムシフト再生機能を実行するか否かの指示を促す画面を表示するという動作を決定する。
【０１００】
コンテンツ処理部２２は、「笑顔」の表情データを検出したときのコンテンツのシーンをもう一度再生するか（タイムシフト再生機能を実行するか）を問いかける画面を作成して、映像出力部１５に提供する。すると、映像出力部１５は提供された画面を表示部１８に表示する（ステップＳ１７）。ここでは、「面白場面スタート」と書かれた画面が表示される。なお、表示時間は特に限定されるものではなく、例えば１分程度であってもよい。
【０１０１】
その後、ユーザが、例えばリモコン１０１に設けられた「Ｅｎｔｅｒ」キーを押すことにより、リモコン１０１からタイムシフト再生を実行するという指示が送信され、該指示を受け付けると、数分前からの映像を再生する（ステップＳ１８）。これにより、ユーザＡが楽しいと感じているシーンをユーザＢ又はユーザＣが見逃している場合であっても、タイムシフト再生というお薦め機能を実行するか否かを問う画面を表示して実行させることにより、複数のユーザで楽しみを共有することができる。
【０１０２】
以上のように、表示装置１０によれば、コンテンツに付加効果をつけることにより、エンターテイメント性を出し、複数のユーザが楽しみを共有することができる。
【０１０３】
（プログラム及び記録媒体）
最後に、表示装置１０に含まれている各部は、ハードウェアロジックによって構成すればよい。又は、次のように、ＣＰＵを用いてソフトウェアによって実現してもよい。
【０１０４】
すなわち表示装置１０は、各機能を実現するプログラムの命令を実行するＣＰＵ、このプログラムを格納したＲＯＭ、上記プログラムを実行可能な形式に展開するＲＡＭ、及び、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。この構成により、本発明の目的は、所定の記録媒体によっても達成できる。
【０１０５】
この記録媒体は、上述した機能を実現するソフトウェアである表示装置１０のプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。表示装置１０にこの記録媒体を供給する。これにより、コンピュータとしての表示装置１０（又はＣＰＵやＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。
【０１０６】
プログラムコードを表示装置１０に供給する記録媒体は、特定の構造又は種類のものに限定されない。すなわちこの記録媒体は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。
【０１０７】
また、表示装置１０を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して表示装置１０に供給する。この通信ネットワークは表示装置１０にプログラムコードを供給できるものであればよく、特定の種類又は形態に限定されない。例えばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等であればよい。
【０１０８】
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成又は種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１０９】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１１０】
本発明は、ＤＶＤ内蔵テレビ、ＢＤ内蔵テレビ又はＰＣ内蔵テレビ等のテレビジョン受像機を含む表示装置として好適に利用することができる。
【符号の説明】
【０１１１】
１０ 表示装置
１１ チューナー
１２ リモコン受光部
１３ 検知信号受信部（受信部）
１４ 画像取得部
１５ 映像出力部
１６ 音声出力部
１７ 記録部
１８ 表示部
１９ スピーカー
２０ 制御部
２１ ジャンル情報取得部（ジャンル情報取得手段）
２２ コンテンツ処理部（実行手段）
２３ 表情検出部（検出手段）
２４ 映像処理部
２５ 音声処理部
【技術分野】
【０００１】
本発明は、表示装置及びその制御方法、プログラム並びに記録媒体に関し、具体的には、自装置の周囲に複数のユーザが存在する場合、ユーザの表情に応じて所定の動作を実行する表示装置及びその制御方法、プログラム並びに記録媒体に関するものである。
【背景技術】
【０００２】
テレビなどの表示装置において、ユーザの顔を撮影し、撮影した顔画像から評価したユーザの状態に基づいて様々な処理を行なう技術が知られている。
【０００３】
例えば、特許文献１には、カメラによって撮影したユーザの顔画像から顔画像情報を抽出し、所定のコンテンツが再生されたときのユーザの注目度及び表情を数値化して評価することが記載されている。
【０００４】
また、特許文献２には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラによって撮影したユーザの顔画像から瞬きをする回数を検出してユーザの覚醒度を推定し、覚醒度に応じて表示画像の色合いを制御することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２６７４４５号公報（２００９年１１月１２日公開）
【特許文献２】特開２００７−３６１８号公報（２００７年１月１１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、テレビ番組等のコンテンツを複数のユーザが視聴している場合、撮影した任意のユーザの表情に応じた動作を実行するだけでは十分ではなく、例えば一人で視聴しているときよりもエンターテイメント性が要求される等、ユーザが複数のときには一人のときと異なる動作が要求されることがある。
【０００７】
これに対し、特許文献１，２では、撮影したユーザの顔画像に基づいてユーザの嗜好性に当てはまるコンテンツを案内したり、表示画像の色合いを制御したりするが、ユーザが一人であるか複数であるかに応じた動作は行なわない。
【０００８】
また、一般に、テレビ等の表示装置に用いられるカメラは視野角が９０°に満たないものが多い。そのため、複数のユーザが視聴している場合、カメラの視野角の範囲内に位置するユーザ以外はカメラで撮影することができない。よって、カメラだけではユーザが一人なのか複数なのかを把握できず、それに応じて動作を制御することはできない。また、より視野角の広い広角カメラは高額であり、コストがかかる。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、その目的は、コンテンツを視聴しているユーザが複数である場合、任意のユーザの表情に応じてユーザが求める動作を実行することができる表示装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係る表示装置は、上記課題を解決するために、コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部を備えた表示装置であって、所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部と、上記画像取得部が取得した上記画像から任意のユーザの表情を検出する検出手段と、上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、上記検出手段が検出した任意のユーザの表情に対応する上記設定情報を取得し、取得した設定情報に基づいて所定の動作を実行する実行手段とを備え、上記画像取得部は、取得した画像から、上記ユーザが一人であるか複数であるかを判定し、上記実行手段は、上記受信部が上記検知信号を受信したとき、及び上記画像取得部が上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行することを特徴としている。
【００１１】
本発明に係る制御方法は、上記課題を解決するために、コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部と、所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部とを備える表示装置の制御方法であって、上記画像取得部が取得した上記画像から、上記ユーザが一人であるか複数であるかを判定する判定ステップと、上記判定ステップの後、上記画像から任意のユーザの表情を検出する表情検出ステップと、上記表情検出ステップの後、上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、検出した任意のユーザの表情に対応する上記設定情報を取得する設定情報取得ステップと、上記設定情報取得ステップにおいて取得した設定情報に基づいて所定の動作を実行する動作実行ステップとを含み、上記動作実行ステップでは、上記受信部が上記検知信号を受信したとき、及び上記判定ステップにおいて上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行することを特徴としている。
【００１２】
上記の構成及び方法によれば、表示装置では、検知部から検知信号を受信したとき、及び撮影部によって撮影されたユーザが複数であると判定されたとき、の少なくともいずれかのとき、コンテンツを視聴しているユーザが複数であると判断する。
【００１３】
また、表示装置では、撮影部が撮影した画像からユーザの表情を検出しており、コンテンツを視聴しているユーザが複数であると判断した場合、検出した表情に応じて対応情報から設定情報を取得し、取得した設定情報に基づいて所定の動作を実行する。
【００１４】
例えば、複数のユーザがコンテンツを視聴している場合、一人で視聴している場合よりもエンターテイメント性が要求される等、ユーザが複数のときには一人のときと異なる動作が要求されることがある。
【００１５】
よって、本発明によれば、コンテンツを視聴しているユーザが複数である場合、任意のユーザの表情に応じてユーザが求める動作を実行することができる。
【００１６】
また、本発明に係る表示装置では、上記実行手段は、上記画像取得部が取得した画像を上記映像に重ね合わせて合成映像を作成し、作成した合成映像を上記表示部に表示することが好ましい。
【００１７】
上記の構成によれば、例えばスポーツ番組等、盛り上がるコンテンツを表示しているとき、撮影部が撮影したユーザの顔（例えば、興奮時の表情）を表示部に表示する映像に重ね合わせて子画面表示する。これにより、コンテンツに面白みを持たせることができる。
【００１８】
また、本発明に係る表示装置では、上記実行手段は、上記表示部が表示した過去の上記映像を再び表示するか否かの指示を上記ユーザに促すための表示情報を作成し、作成した表示情報を上記表示部に表示することが好ましい。
【００１９】
例えば、表情の検出対象となるユーザが楽しいと感じているシーンを検出対象外のユーザが見逃している場合であっても、該シーンを再び表示するか否かの指示を促す表示情報を表示して実行させることにより、複数のユーザで楽しみを共有することができる。
【００２０】
また、本発明に係る表示装置では、上記コンテンツは音声を含み、上記音声を出力する音声出力部を備え、上記実行手段は、上記音声から歓声音を検出し、検出した歓声音の音量を調整して上記音声出力部に出力することが好ましい。
【００２１】
上記の構成によれば、例えばスポーツ番組等盛り上がるコンテンツにおいて、コンテンツに含まれる音声から歓声音を検出した場合、検出した歓声音の音量を大きくする等の効果を付与する。これにより、コンテンツのエンターテイメント性を高めることができる。
【００２２】
また、本発明に係る表示装置では、上記記録部は、効果音を上記対応情報と対応づけて記録し、上記実行手段は、上記記録部から上記効果音を取得し、取得した効果音を上記音声出力部に出力することが好ましい。
【００２３】
上記の構成によれば、例えばバラエティ番組等のコンテンツにおいて、効果音をつけてコンテンツを表示することによって、コンテンツにより面白みを持たせ、複数のユーザで楽しみを共有することができる。
【００２４】
また、本発明に係る表示装置では、上記コンテンツのジャンルを示すジャンル情報を取得するジャンル情報取得手段を備え、上記記録部は上記ジャンル情報を上記対応情報と対応づけて記録し、上記実行手段は、上記ジャンル情報取得手段が取得した上記ジャンル情報に対応する上記設定情報を上記記録部の対応情報から取得し、取得した設定情報に基づいて上記所定の動作を実行することが好ましい。
【００２５】
これにより、コンテンツのジャンルに合った効果を付与することができる。
【００２６】
また、本発明に係る表示装置では、上記検知部は、上記自装置の周囲を複数の領域に分割し、所定時間ごとに上記複数の領域のいずれかを検知することが好ましい。
【００２７】
上記の構成によれば、自装置の周囲に存在しているユーザの人数を把握することができる。
【００２８】
また、本発明に係る表示装置では、上記検知部が検知する領域は、上記所定範囲内を含まないことが好ましい。
【００２９】
上記の構成によれば、検知部が検知する領域と、撮影部が撮影している領域とが重複することなく、検知部が撮影部の視野角の範囲にいるユーザを他のユーザとして誤認することがない。
【００３０】
なお、上記表示装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させるためのプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３１】
本発明は、コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部を備えた表示装置であって、所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部と、上記画像取得部が取得した上記画像から任意のユーザの表情を検出する検出手段と、上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、上記検出手段が検出した任意のユーザの表情に対応する上記設定情報を取得し、取得した設定情報に基づいて所定の動作を実行する実行手段とを備え、上記画像取得部は、取得した画像から、上記ユーザが一人であるか複数であるかを判定し、上記実行手段は、上記受信部が上記検知信号を受信したとき、及び上記画像取得部が上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行するため、コンテンツを視聴しているユーザが複数である場合、任意のユーザの表情に応じてユーザが求める動作を実行することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係る表示装置の要部構成を示すブロック図である。
【図２】図１に示す表示装置に搭載されるカメラの視野角及び人感センサーの検知エリアを示す図である。
【図３】図１に示す表示装置に搭載される人感センサーの検知エリアを複数の領域に分割したときの様子を示す図である。
【図４】図１に示す表示装置においてコンテンツ処理に用いる対応情報を示す表である。
【図５】図１に示す表示装置におけるコンテンツ処理の流れの一例を示すシーケンス図である。
【図６】図１に示す表示装置におけるコンテンツ処理の流れの別の例を示すシーケンス図である。
【発明を実施するための形態】
【００３３】
本発明に係る表示装置の一実施形態について、図１〜６を参照して以下に説明する。なお、以下の説明では本発明を実施するために好ましい種々の限定が付与されているが、本発明の技術的範囲は以下の実施の形態及び図面の記載に限定されるものではない。
【００３４】
〔１．表示装置の構成〕
図１は、本発明の一実施形態に係る表示装置１０の構成を示すブロック図である。図１に示すように、表示装置１０は、チューナー１１、リモコン受光部１２、検知信号受信部１３（受信部）、画像取得部１４、映像出力部１５、音声出力部１６、記録部１７、表示部１８、スピーカー１９及び制御部２０を備える。また、制御部２０は、ジャンル情報取得部２１（ジャンル情報取得手段）、コンテンツ処理部２２（実行手段）及び表情検出部２３（検出手段）を含み、コンテンツ処理部２２は映像処理部２４及び音声処理部２５を備える。さらに、表示装置１０は、人感センサー１０２（検知部）及びカメラ１０３（撮影部）と接続されている。
【００３５】
表示装置１０では、カメラ１０３が撮影したユーザの表情を検出することによってコンテンツを視聴しているときのユーザの表情を判別し、人感センサー１０２から検知信号を受信するか否かによってコンテンツを視聴しているユーザが一人であるか複数であるかを判断する。ここでいう「複数」とは、二人以上であることを意味する。
【００３６】
カメラ１０３は、コンテンツを視聴している任意のユーザの表情を検出するために、所定範囲内に存在するユーザを撮影する。本明細書において「所定範囲」とは、カメラ１０３の視野角の範囲を指し、カメラ１０３の種類又は性能に応じてその数値範囲は異なり得る。この所定範囲は、例えば、表示部１８の正面周辺であればよい。
【００３７】
カメラ１０３の具体例としては、例えばウェブカメラが挙げられる。ウェブカメラとは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）もしくはＩＥＥＥ１３９４等のインターフェースを有するカメラ、又はネットワークインターフェースを有するカメラ等を指す。カメラ１０３としては映像データが表示装置１０に出力されるものであれば特に限定されるものではなく、他にも、映像の出力インターフェースを持つ、携帯電話に内蔵されたカメラ又はデジタルビデオカメラ等を用いることができる。
【００３８】
カメラ１０３が撮影する画像は、静止画であってもよいし動画であってもよい。また、撮影された画像はリアルタイム又は一定間隔で保存され得る。画像の保存先は、例えばメモリを搭載したカメラ１０３であれば該メモリであってもよいし、表示装置１０３の記録部１７であってもよい。
【００３９】
人感センサー１０２は、表示装置１０の周囲であり、かつ、所定範囲（すなわち、カメラ１０３の視野角の範囲）の外に他のユーザが存在するか否かを検知する。また、表示装置１０の周囲とは、ユーザが表示部１８に表示される映像を見ることが可能な範囲である。
【００４０】
以下、説明の便宜のため、カメラ１０３によって撮影されるユーザを「メインユーザ」といい、カメラ１０３によって撮影されない他のユーザを「サブユーザ」という。また、メインユーザ又はサブユーザのいずれのユーザも指す場合は、単に「ユーザ」という。
【００４１】
人感センサー１０２の具体例としては、例えば、検知エリア内の熱源の変化を検知する焦電型赤外線センサーが挙げられる。この場合、周囲の温度と温度差がある物体が検知エリア内で動いたとき、その温度変化を検知し、検知した変化を検知信号として検知信号受信部１３に送信する。
【００４２】
つまり、人感センサー１０２は検知エリア（すなわち、自装置の周囲であり、かつ、所定範囲の外）内の人間の動きを検知するものであり、検知信号受信部１３が検知信号を受信することにより、表示装置１０ではサブユーザが存在すると判断する。
【００４３】
人感センサー１０２の具体例としては、焦電型赤外線センサーに限定されず、例えば、３６０°の撮影が可能なカメラ、天井部に設置したカメラ、又は床の圧力の変化を検出することが可能なセンサー等が挙げられる。人感センサー１０２が検知エリア内の変化を検知すると、検知信号として検知信号受信部１３に送る。
【００４４】
また、人感センサー１０２は、表示装置１０の周囲を複数の領域に分割し、所定時間ごとに複数の領域のいずれかを検知することが好ましい。これにより、分割したそれぞれの領域における変化の有無を検知することによって、検知エリア内に存在しているサブユーザの人数を把握することができる。
【００４５】
このとき、人感センサー１０２の検知エリアには、カメラ１０３が撮影する領域を含まないことがより好ましい。これにより、人感センサー１０２が検知する領域と、カメラ１０３によって撮影している領域とが重複することなく、人感センサー１０２がカメラ１０３の撮影範囲にいるメインユーザをサブユーザとして誤認することがない。
【００４６】
本実施形態では、人感センサー１０２及びカメラ１０３は外付けされているが、この構成に限定されるものではなく、いずれか一つ又は両方が表示装置１０に内蔵されている構成であってもよい。
【００４７】
チューナー１１は、アンテナ１００を介してコンテンツが含まれる放送信号を受信する。アンテナ１００は、例えばアナログ放送受信用アンテナ、デジタル放送受信用アンテナ又はＩＰ放送受信用アンテナなど、様々なアンテナであってよい。チューナー１１において受信された放送信号は、セレクタ、分離及びデコード等の各種の処理を経て映像信号及び音声信号に変換され、映像信号がコンテンツ処理部２２の映像処理部２４に送られ、音声信号がコンテンツ処理部２２の音声処理部２５に送られる。
【００４８】
なお、本実施形態では、放送コンテンツを取得するが、これに限定されるものではなく、例えば、ＤＶＤ、ＢＤ及びＨＤＤ等の表示装置１０と接続された外部機器から取得したコンテンツであってもよいし、インターネットを介して取得したコンテンツであってもよい。
【００４９】
リモコン受光部１２は、ユーザの操作によりリモコン１０１から送信されるリモコン信号を、赤外線等の光によって受信する。このリモコン信号には、例えば、スピーカー１９から出力される音量の調節指示又はテレビのチャンネル切り替え指示等、表示装置１０の動作を指定する様々なユーザの指示情報を含む。なお、指示情報は、例えば、表示装置１０の本体に設けられているボタン等の入力機構をユーザが操作することによって受け付けることも可能である。リモコン受光部１２はリモコン信号に含まれるユーザからの指示を制御部２０に通知する。
【００５０】
検知信号受信部１３は、人感センサー１０２から送信された検知信号を受信し、人感センサー１０２の検知エリア内にサブユーザが存在していることをコンテンツ処理部２２に通知する。つまり、複数のユーザがコンテンツを視聴していることを通知する。検知信号受信部１３と人感センサー１０２とのインターフェースは、例えば、ＵＳＢ等が挙げられ、また、直接Ａ／Ｄコンバータを持ったＩＣで検出してもよいし、ある閾値でラインをＨ／Ｌに変更するものでもよい。
【００５１】
画像取得部１４は、カメラ１０３によって撮影されたメインユーザの画像を取得する。画像取得部１４とカメラ１０３とのインターフェースは、例えば、ＵＳＢ又はＩＥＥＥ１３９４等であってもよいし、ネットワークインターフェースであってもよい。
【００５２】
ところで、カメラ１０３の視野角の範囲内には複数のユーザが存在している場合がある。そのため、画像取得部１４は、取得した画像から、撮影されたユーザが一人であるか複数であるかを判定し、判定結果をコンテンツ処理部２２に通知する。
【００５３】
制御部２０は、表示装置１０の各種構成を統括的に制御する。制御部２０の機能は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はフラッシュメモリなどの記録装置に記録されたプログラムを、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することによって実現される。制御部２０が備えるジャンル情報取得部２１、コンテンツ処理部２２及び表情検出部２３について以下に説明する。
【００５４】
ジャンル情報取得部２１は、チューナー１１が受信した放送信号に含まれるコンテンツのジャンルを示すジャンル情報を取得する。ジャンルは、例えば、「スポーツ」、「映画」、「ニュース」又は「ドラマ」などに分類される。また、これらのジャンル情報を、予め記録部１７の対応情報と対応づけて記録しておいてもよい。ジャンル情報取得部２１は、コンテンツ処理部２２からの要求に応じて、取得したジャンル情報をコンテンツ処理部２２に通知する。
【００５５】
コンテンツ処理部２２は、チューナー１１を介して取得したコンテンツの映像信号に対して画質調整等の所定の処理を行なって、映像出力部１５に供給する。また、該コンテンツの音声信号に対して音質調整等の所定の処理を行なって、音声出力部１６に供給する。本実施形態では、映像信号の処理は映像処理部２４が行ない、音声信号の処理は音声処理部２５が行なう。
【００５６】
また、コンテンツ処理部２２は、映像の表示中に検知信号受信部１３から上述した通知を受けるか、又は画像取得部１４から撮影されたユーザが複数であるとの判定結果の通知を受けると、後述する表情検出部２３が検出した表情に対応する設定情報を記録部１７の対応情報から取得し、取得した設定情報に基づいて所定の動作を行なう。
【００５７】
つまり、コンテンツ処理部２２は、カメラ１０３により撮影されたユーザが一人であり、且つ、人感センサー１０２から検知信号がある場合、カメラ１０３により撮影されたユーザが複数であり、且つ、人感センサー１０２から検知信号がない場合、又は、カメラ１０３により撮影されたユーザが複数であり、且つ、人感センサー１０２から検知信号がある場合に、所定の動作を実行する。
【００５８】
本実施形態では、コンテンツ処理部２２は、検知信号受信部１３又は画像取得部１４から通知を受けると、表情検出部２３が検出した表情に対応する特殊効果を取得したコンテンツに付加したり、表示装置１０が有するお薦め機能をユーザに提示する表示情報を作成したりして、映像出力部１５又は音声出力部１６に供給する。
【００５９】
特殊効果としては、例えば、画像取得部１４が取得したメインユーザの画像を、コンテンツに含まれる映像に重ね合わせて合成映像を作成して表示したり、音声から歓声音を検出して検出した歓声音の音量を調整したり、予め記録部１７に記録された効果音を音声出力部１６に提供したりする等の効果が挙げられる。
【００６０】
お薦め機能の表示では、例えば、過去に再生した映像をもう一度再生する機能（タイムシフト再生機能ともいう）を実行するか否かをユーザに問いかける画面を作成して、映像出力部１５に提供する。なお、本明細書では特殊効果及びお薦め機能の表示を総称して「付加効果」ということもある。
【００６１】
また、コンテンツ処理部２２が所定の動作を実行する際の設定情報は、コンテンツのジャンル情報に対応づけられたものであってもよい。この場合、コンテンツ処理部２２は、ジャンル情報取得部２１が取得したコンテンツのジャンル情報に対応する設定情報を記録部１７の対応情報から取得し、取得した設定情報に基づいて所定の動作を行なう。なお、コンテンツ処理部２２による所定の動作の詳細については後述する。
【００６２】
表情検出部２３は、カメラ１０３により撮影されるユーザのうち、任意のユーザの表情を検出する。例えば、画像取得部１４が取得した画像からメインユーザの顔を顔トレースとして認識し、認識した顔トレースから表情を検出する。
【００６３】
ここで、カメラ１０３により撮影されたユーザが一人である場合には、撮影されたユーザがそのまま任意のユーザとし、ユーザが複数である場合には、例えば顔認識の技術を用いて認識された顔の面積が一番大きいユーザを任意のユーザとするが、予め各ユーザの優先順位をメニューで設定しておく等、これ以外の取り決めにより任意のユーザを設定するようにしてもよい。
【００６４】
表情検出部２３は、コンテンツ処理部２２からの取得要求に応じて、検出した表情を表情データ（表情情報）としてコンテンツ処理部２２に通知する。ここでいう「表情データ」とは、例えば、「興奮」又は「笑顔」等の感情を表す表情として示される。
【００６５】
記録部１７は、各種データ及びプログラムを記録する。記録部１７としては、例えば、制御部２０が動作を制御するときに必要なプログラムなどの固定データを記録する、読出し専用の半導体メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、演算に使用するデータ及び演算結果のデータなどを一時的に記録する、いわゆるワーキングメモリとしてのＲＡＭとが挙げられる。
【００６６】
本実施形態において、記録部１７は、複数の異なる表情を示す表情情報と、コンテンツ処理部２２が所定の動作を実行するための設定情報との対応情報を記録する。ここで「表情情報」とは、上述したように「興奮」又は「笑顔」等の感情を表す表情を示す情報であり、設定情報とは、例えば「カメラ１０３で撮影したユーザの画像の子画面表示」又は「効果音の付加」等の付加効果を示す情報である。
【００６７】
なお、本実施形態では対応情報が記録部１７に記録されているが、例えば、外部の記録装置（図示せず）に記録することが可能であり、コンテンツ処理部２２が所定の動作を実行するたびに該記録装置から取得してもよい。
【００６８】
また、記録部１７は、コンテンツ処理部２２が所定の動作を行なう際の効果音を記録していてもよい。この効果音も対応情報と同様に、外部の記録装置から取得されてもよい。
【００６９】
映像出力部１５は、映像処理部２４において処理された映像信号、及びコンテンツ処理部２２において作成された合成映像又は表示情報を表示部１８に出力する。
【００７０】
表示部１８は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等の表示素子と、受信した映像信号に基づいて表示素子を駆動するドライバ回路とを備える構成である。なお、映像には、絵や図形の他、文字も含まれ、また、静止画及び動画も含まれる。
【００７１】
音声出力部１６は、音声処理部２５において処理された音声信号、及びコンテンツ処理部２２が記録部１７から取得した効果音をスピーカー１９から出力する。
【００７２】
なお、当初のカメラ１０３の視野角外にユーザが存在し、人感センサー１０２がその存在を検知し、アプリケーションの仕様のために当該ユーザの表情等の撮影が必要な場合は、当該ユーザが視野角内に入るようにカメラ１０３の向きを変更するための駆動部を設けてもよい。
【００７３】
〔２．カメラの撮影範囲と人感センサーの検知エリアとの関係〕
ここで、表示装置１０に具備されるカメラ１０３の撮影範囲と人感センサー１０２の検知エリアとの関係について、図２，３を参照して説明する。図２は、表示装置１０に搭載されるカメラ１０３の視野角及び人感センサー１０２の検知エリアを示す図であり、図３は、表示装置１０に搭載される人感センサー１０２の検知エリアを複数の領域に分割したときの様子を示す図である。
【００７４】
なお、以下の実施形態では、カメラ１０３の撮影範囲内に存在するユーザは一人であるという前提で説明するが、撮影範囲内に複数のユーザが存在することもある。つまり、画像取得部１４が、撮影されたユーザが複数であると判定した場合、コンテンツ処理部２２がその判定結果の通知を受けることによってコンテンツを視聴しているユーザが複数であると判断し、所定の動作を実行すればよい。
【００７５】
上述したように、表示装置１０では、カメラ１０３が撮影したユーザの表情を検出することによってコンテンツを視聴しているときのユーザの表情を判別し、人感センサー１０２から検知信号を受信することによってコンテンツを視聴しているユーザが複数であると判断する。このように、カメラ１０３と人感センサー１０２とを組み合わせることによって、ユーザが一人であるか複数であるかを判断することができ、任意のユーザの表情に応じてユーザが求める動作を実行することができる。
【００７６】
図２において、「Φ」はカメラ１０３の視野角を表し、「θ」は人感センサー１０２の検知エリアを表す。ここでは、カメラ１０３の視野角内にメインユーザ（以下、「ユーザＡ」と呼ぶ）が存在し、カメラ１０３の視野角の外であって、人感センサー１０２の検知エリア内に２人のサブユーザ（以下、「ユーザＢ」及び「ユーザＣ」と呼ぶ）が存在する。つまり、カメラ１０３はユーザＡを撮影し、ユーザＢ及びユーザＣは人感センサー１０２によって動きを検知される。
【００７７】
一般に、人感センサー１０２は検知エリア内の動きを検知するものであるため、カメラ１０３の撮影範囲（視野角）を検知エリアに含めてしまうと、カメラ１０３の撮影範囲のみにユーザがいる場合であっても人感センサー１０２は検知信号を通知してしまう。よって、コンテンツを視聴しているユーザが一人であるか複数であるかを判断できない。
【００７８】
そこで、人感センサー１０２の検知エリアを複数の領域に分割して（以下、分割して領域を「サブエリア」という）、検知させることが好ましい。このとき、サブエリアにはカメラ１０３の撮影範囲を含めなければよい。
【００７９】
つまり、人感センサー１０２は、図３の（ａ）においてカメラ１０３の撮影範囲を示す三角の点線で囲ったエリアを含まないようにサブユーザの動きを検知すればよい。これにより、人感センサー１０２が検知する領域と、カメラ１０３によって撮影している領域と重複することなく、カメラ１０３の撮影範囲にいるメインユーザをサブユーザとして誤認することがない。
【００８０】
また、検知エリアを図３の（ｂ）に示すように複数のサブエリアに分割し、各サブエリア（ａ〜ｆ）ごとの検知情報を取得することによって、コンテンツを視聴しているユーザの人数を把握することが可能である。このとき取得した検知情報を図３の（ｃ）に示す。
【００８１】
図３の（ｃ）では、ラインが下がっている期間そのサブエリアにユーザが存在していることを示している。つまり、サブエリアｃにユーザが存在している期間が最も長く、この間、サブエリアａ及びサブエリアｂにそれぞれ異なる期間でユーザが存在している。このことから、例えば、検知エリア内にはユーザが２人存在し、検知期間内に１人のユーザがサブエリアａからサブエリアｂに移動したと判断し得る。
【００８２】
いずれにしても、サブエリア内に存在しているユーザをそれぞれ独立して検知することによって、コンテンツを視聴しているユーザが１人であるか複数であるかを判断することができる。
【００８３】
なお、コンテンツを視聴しているユーザの人数を把握する方法はこれ以外にも、例えば、検知エリアを複数のサブエリアに分割し、所定時間ごとにいずれかのサブエリアを検知するように設定することも可能である。この場合、所定時間は任意の時間であればよく、特に限定されるものではない。これにより、検知エリア内に存在しているサブユーザの人数を把握することができる。
【００８４】
〔３．コンテンツ処理〕
次に、表示装置１０におけるコンテンツ処理の流れの一例について以下に説明する。以下に示すコンテンツ処理では、コンテンツのジャンル情報、メインユーザの表情情報、サブユーザの検知情報及び設定情報が図４に示す表のように対応づけられている対応情報を用いる。図４は、表示装置１０においてコンテンツ処理に用いる対応情報を示す表である。
【００８５】
図４の表に示すように、本実施形態では、コンテンツのジャンルが「スポーツ」であり、ユーザＡの表情が「興奮」を示すものであり、ユーザＢ又はユーザＣの動きを検知する検知信号を受け取った（「有」と示す）とき、カメラ１０３が撮影したユーザＡの画像を子画面表示したり、音声の歓声音のボリュームを大きくしたりするという付加効果をつける。
【００８６】
また、コンテンツのジャンルが「バラエティ」であり、ユーザＡの表情が「笑顔」を示すものであり、ユーザＢ又はユーザＣの動きを検知する検知信号を受け取ったとき、タイムシフト再生機能を実行するか否かの指示を促す画面を表示したり、拍手音を追加したりするという付加効果をつける。
【００８７】
ここで、ユーザがスポーツを視聴中であり、かつ、ユーザＡの表情から興奮状態を検出したときの処理の流れを、図５に基づいて説明する。図５は、表示装置１０におけるコンテンツ処理の流れの一例を示すシーケンス図である。
【００８８】
まず、チューナー１１がアンテナ１００を介してコンテンツが含まれる放送信号を受信し（ステップＳ１）、各種の処理を経て、映像信号をコンテンツ処理部２２の映像処理部２４に送り、音声信号をコンテンツ処理部２２の音声処理部２５に送る。このとき、ジャンル情報取得部２１はコンテンツのジャンル情報を取得する（ステップＳ２）。ここでは、ジャンル情報取得部２１は「スポーツ」のジャンルを示すジャンル情報を取得している。
【００８９】
また、ステップＳ１及びＳ２と同時期に、画像取得部１４はカメラ１０３からユーザを撮影した画像を取得しており、表情検出部２３は画像取得部１４が取得した画像からユーザＡの顔を顔トレースとして認識し（ステップＳ３）、認識した顔トレースから表情を検出する（ステップＳ４）。
【００９０】
一方、検知信号受信部１３は、人感センサー１０２から検知信号を受信すると、カメラ１０３の撮影範囲外にユーザＢ又はユーザＣが存在すると判断し、制御部２０のコンテンツ処理部２２に対してサブユーザの検出データを通知する（ステップＳ５）。コンテンツ処理部２２はこの通知を受け取ると、ジャンル情報取得部２１に対してジャンル情報の取得要求をし、表情検出部２３に対して表情情報（表情データ）の取得要求をする。
【００９１】
そして、コンテンツ処理部２２は、取得したジャンル情報、表情データ及び検出データに基づいて動作を決定する。ここでは、図４の表に示すように、スポーツ、興奮状態及びユーザＢ又はユーザＣの存在が「有」という情報から、カメラ１０３が撮影したユーザＡの画像を子画面表示し、音声の歓声音のボリュームを大きくするという動作を決定する。
【００９２】
コンテンツ処理部２２は、決定した動作を実行するために、画像取得部１４に対してユーザＡの画像の取得要求をし、画像取得後、取得した画像を記録部１７に保存する（ステップＳ７）。
【００９３】
その後、コンテンツ処理部２２は、コンテンツの映像に取得したユーザＡの画像を重ね合わせて合成映像を作成し、映像出力部１５に供給すると共に、コンテンツの音声信号から歓声音を検出し、検出した歓声音のボリュームを上げるように調整して音声出力部１６に供給する（ステップＳ８）。これにより、コンテンツに面白みを持たせ、複数のユーザで楽しみを共有することができる。
【００９４】
次に、ユーザがバラエティを視聴中であり、かつ、ユーザＡの表情から笑顔を検出したときの処理の流れを、図６に基づいて説明する。図６は、表示装置１０におけるコンテンツ処理の流れの別の例を示すシーケンス図である。
【００９５】
まず、チューナー１１がアンテナ１００を介してコンテンツが含まれる放送信号を受信し（ステップＳ１０）、各種の処理を経て、映像信号をコンテンツ処理部２２の映像処理部２４に送り、音声信号をコンテンツ処理部２２の音声処理部２５に送る。このとき、ジャンル情報取得部２１がコンテンツのジャンル情報を取得する（ステップＳ１１）。ここでは、ジャンル情報取得部２１は「バラエティ」のジャンルを示すジャンル情報を取得している。
【００９６】
また、上述した例とは異なり、取得したコンテンツをタイムシフト再生用に録画する（ステップＳ１２）。録画先は、記録部１７であってもよいし、ＤＶＤ、ＨＤＤ又はＢＤ等の外付け記録装置であってもよい。
【００９７】
ステップＳ１０〜Ｓ１２と同時期に、画像取得部１４はカメラ１０３からユーザＡを撮影した画像を取得しており、表情検出部２３は画像取得部１４が取得した画像からユーザＡの顔を顔トレースとして認識し（ステップＳ１３）、認識した顔トレースから表情を検出する（ステップＳ１４）。
【００９８】
一方、検知信号受信部１３は、人感センサー１０２から検知信号を受信すると、カメラ１０３の撮影範囲外にユーザＢ又はユーザＣが存在すると判断し、制御部２０のコンテンツ処理部２２に対してサブユーザの検出データを通知する（ステップＳ１５）。コンテンツ処理部２２はこの通知を受け取ると、ジャンル情報取得部２１に対してジャンル情報の取得要求をし、表情検出部２３に対して表情情報（表情データ）の取得要求をする。
【００９９】
そして、コンテンツ処理部２２は、取得したジャンル情報、表情データ及び検出データに基づいて動作を決定する。ここでは、図４の表に示すように、バラエティ、笑顔及びユーザＢ又はユーザＣの存在が「有」という情報から、タイムシフト再生機能を実行するか否かの指示を促す画面を表示するという動作を決定する。
【０１００】
コンテンツ処理部２２は、「笑顔」の表情データを検出したときのコンテンツのシーンをもう一度再生するか（タイムシフト再生機能を実行するか）を問いかける画面を作成して、映像出力部１５に提供する。すると、映像出力部１５は提供された画面を表示部１８に表示する（ステップＳ１７）。ここでは、「面白場面スタート」と書かれた画面が表示される。なお、表示時間は特に限定されるものではなく、例えば１分程度であってもよい。
【０１０１】
その後、ユーザが、例えばリモコン１０１に設けられた「Ｅｎｔｅｒ」キーを押すことにより、リモコン１０１からタイムシフト再生を実行するという指示が送信され、該指示を受け付けると、数分前からの映像を再生する（ステップＳ１８）。これにより、ユーザＡが楽しいと感じているシーンをユーザＢ又はユーザＣが見逃している場合であっても、タイムシフト再生というお薦め機能を実行するか否かを問う画面を表示して実行させることにより、複数のユーザで楽しみを共有することができる。
【０１０２】
以上のように、表示装置１０によれば、コンテンツに付加効果をつけることにより、エンターテイメント性を出し、複数のユーザが楽しみを共有することができる。
【０１０３】
（プログラム及び記録媒体）
最後に、表示装置１０に含まれている各部は、ハードウェアロジックによって構成すればよい。又は、次のように、ＣＰＵを用いてソフトウェアによって実現してもよい。
【０１０４】
すなわち表示装置１０は、各機能を実現するプログラムの命令を実行するＣＰＵ、このプログラムを格納したＲＯＭ、上記プログラムを実行可能な形式に展開するＲＡＭ、及び、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。この構成により、本発明の目的は、所定の記録媒体によっても達成できる。
【０１０５】
この記録媒体は、上述した機能を実現するソフトウェアである表示装置１０のプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。表示装置１０にこの記録媒体を供給する。これにより、コンピュータとしての表示装置１０（又はＣＰＵやＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。
【０１０６】
プログラムコードを表示装置１０に供給する記録媒体は、特定の構造又は種類のものに限定されない。すなわちこの記録媒体は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。
【０１０７】
また、表示装置１０を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して表示装置１０に供給する。この通信ネットワークは表示装置１０にプログラムコードを供給できるものであればよく、特定の種類又は形態に限定されない。例えばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等であればよい。
【０１０８】
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成又は種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１０９】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１１０】
本発明は、ＤＶＤ内蔵テレビ、ＢＤ内蔵テレビ又はＰＣ内蔵テレビ等のテレビジョン受像機を含む表示装置として好適に利用することができる。
【符号の説明】
【０１１１】
１０ 表示装置
１１ チューナー
１２ リモコン受光部
１３ 検知信号受信部（受信部）
１４ 画像取得部
１５ 映像出力部
１６ 音声出力部
１７ 記録部
１８ 表示部
１９ スピーカー
２０ 制御部
２１ ジャンル情報取得部（ジャンル情報取得手段）
２２ コンテンツ処理部（実行手段）
２３ 表情検出部（検出手段）
２４ 映像処理部
２５ 音声処理部
【特許請求の範囲】
【請求項１】
コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部を備えた表示装置であって、
所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、
自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部と、
上記画像取得部が取得した上記画像から任意のユーザの表情を検出する検出手段と、
上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、上記検出手段が検出した任意のユーザの表情に対応する上記設定情報を取得し、取得した設定情報に基づいて所定の動作を実行する実行手段とを備え、
上記画像取得部は、取得した画像から、上記ユーザが一人であるか複数であるかを判定し、
上記実行手段は、上記受信部が上記検知信号を受信したとき、及び上記画像取得部が上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行することを特徴とする表示装置。
【請求項２】
上記実行手段は、上記画像取得部が取得した画像を上記映像に重ね合わせて合成映像を作成し、作成した合成映像を上記表示部に表示することを特徴とする請求項１に記載の表示装置。
【請求項３】
上記実行手段は、上記表示部が表示した過去の上記映像を再び表示するか否かの指示を上記ユーザに促すための表示情報を作成し、作成した表示情報を上記表示部に表示することを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
上記コンテンツは音声を含み、上記音声を出力する音声出力部を備え、
上記実行手段は、上記音声から歓声音を検出し、検出した歓声音の音量を調整して上記音声出力部に出力することを特徴とする請求項１から３のいずれか１項に記載の表示装置。
【請求項５】
上記記録部は、効果音を上記対応情報と対応づけて記録し、
上記実行手段は、上記記録部から上記効果音を取得し、取得した効果音を上記音声出力部に出力することを特徴とする請求項４に記載の表示装置。
【請求項６】
上記コンテンツのジャンルを示すジャンル情報を取得するジャンル情報取得手段を備え、
上記記録部は上記ジャンル情報を上記対応情報と対応づけて記録し、
上記実行手段は、上記ジャンル情報取得手段が取得した上記ジャンル情報に対応する上記設定情報を上記記録部の対応情報から取得し、取得した設定情報に基づいて上記所定の動作を実行することを特徴とする請求項１から５のいずれか１項に記載の表示装置。
【請求項７】
上記検知部は、上記自装置の周囲を複数の領域に分割し、所定時間ごとに上記複数の領域のいずれかを検知することを特徴とする請求項１から６のいずれか１項に記載の表示装置。
【請求項８】
上記検知部が検知する領域は、上記所定範囲内を含まないことを特徴とする請求項７に記載の表示装置。
【請求項９】
コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部と、
所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、
自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部とを備える表示装置の制御方法であって、
上記画像取得部が取得した上記画像から、上記ユーザが一人であるか複数であるかを判定する判定ステップと、
上記判定ステップの後、上記画像から任意のユーザの表情を検出する表情検出ステップと、
上記表情検出ステップの後、上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、検出した任意のユーザの表情に対応する上記設定情報を取得する設定情報取得ステップと、
上記設定情報取得ステップにおいて取得した設定情報に基づいて所定の動作を実行する動作実行ステップとを含み、
上記動作実行ステップでは、上記受信部が上記検知信号を受信したとき、及び上記判定ステップにおいて上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行することを特徴とする制御方法。
【請求項１０】
請求項１から８のいずれか１項に記載の表示装置の各手段としてコンピュータを動作させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記載したコンピュータ読み取り可能な記録媒体。
【請求項１】
コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部を備えた表示装置であって、
所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、
自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部と、
上記画像取得部が取得した上記画像から任意のユーザの表情を検出する検出手段と、
上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、上記検出手段が検出した任意のユーザの表情に対応する上記設定情報を取得し、取得した設定情報に基づいて所定の動作を実行する実行手段とを備え、
上記画像取得部は、取得した画像から、上記ユーザが一人であるか複数であるかを判定し、
上記実行手段は、上記受信部が上記検知信号を受信したとき、及び上記画像取得部が上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行することを特徴とする表示装置。
【請求項２】
上記実行手段は、上記画像取得部が取得した画像を上記映像に重ね合わせて合成映像を作成し、作成した合成映像を上記表示部に表示することを特徴とする請求項１に記載の表示装置。
【請求項３】
上記実行手段は、上記表示部が表示した過去の上記映像を再び表示するか否かの指示を上記ユーザに促すための表示情報を作成し、作成した表示情報を上記表示部に表示することを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
上記コンテンツは音声を含み、上記音声を出力する音声出力部を備え、
上記実行手段は、上記音声から歓声音を検出し、検出した歓声音の音量を調整して上記音声出力部に出力することを特徴とする請求項１から３のいずれか１項に記載の表示装置。
【請求項５】
上記記録部は、効果音を上記対応情報と対応づけて記録し、
上記実行手段は、上記記録部から上記効果音を取得し、取得した効果音を上記音声出力部に出力することを特徴とする請求項４に記載の表示装置。
【請求項６】
上記コンテンツのジャンルを示すジャンル情報を取得するジャンル情報取得手段を備え、
上記記録部は上記ジャンル情報を上記対応情報と対応づけて記録し、
上記実行手段は、上記ジャンル情報取得手段が取得した上記ジャンル情報に対応する上記設定情報を上記記録部の対応情報から取得し、取得した設定情報に基づいて上記所定の動作を実行することを特徴とする請求項１から５のいずれか１項に記載の表示装置。
【請求項７】
上記検知部は、上記自装置の周囲を複数の領域に分割し、所定時間ごとに上記複数の領域のいずれかを検知することを特徴とする請求項１から６のいずれか１項に記載の表示装置。
【請求項８】
上記検知部が検知する領域は、上記所定範囲内を含まないことを特徴とする請求項７に記載の表示装置。
【請求項９】
コンテンツを取得し、取得したコンテンツに含まれる映像を表示する表示部と、
所定範囲内に存在するユーザを撮影する撮影部が撮影した、上記ユーザの画像を取得する画像取得部と、
自装置の周囲であり、かつ、上記所定範囲の外に他のユーザが存在するか否かを検知する検知部から、上記他のユーザが存在することを示す検知信号を受信する受信部とを備える表示装置の制御方法であって、
上記画像取得部が取得した上記画像から、上記ユーザが一人であるか複数であるかを判定する判定ステップと、
上記判定ステップの後、上記画像から任意のユーザの表情を検出する表情検出ステップと、
上記表情検出ステップの後、上記映像の表示中に、複数の異なる表情を示す表情情報と、所定の動作を実行するための設定情報との対応情報を予め記録する記録部の上記対応情報から、検出した任意のユーザの表情に対応する上記設定情報を取得する設定情報取得ステップと、
上記設定情報取得ステップにおいて取得した設定情報に基づいて所定の動作を実行する動作実行ステップとを含み、
上記動作実行ステップでは、上記受信部が上記検知信号を受信したとき、及び上記判定ステップにおいて上記ユーザが複数であると判定したとき、の少なくともいずれかのとき、上記所定の動作を実行することを特徴とする制御方法。
【請求項１０】
請求項１から８のいずれか１項に記載の表示装置の各手段としてコンピュータを動作させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記載したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２５９２３２（Ｐ２０１１−２５９２３２Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３２１９４（Ｐ２０１０−１３２１９４）
【出願日】平成２２年６月９日（２０１０．６．９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月９日（２０１０．６．９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]