映像表示装置
【課題】映像表示装置において、視聴エリアに対してカメラ撮影範囲が限られる場合においても、視聴者に不快感を与えることなく、低価格で効果的に電力低減を実現する。
【解決手段】映像表示装置に、映像を撮影するカメラと人の在不在を検知する人感センサとを備えるようにし、カメラで撮影した映像を解析して、映像表示装置に対する注視の有無を判定し、人感センサで検知した人の在不在を解析して、映像表示装置の周囲のユーザの有無を判定する。そして、判定された注視の有無と、よって判定されたユーザの有無とによってユーザの映像表示装置に対する視聴状態を判定し、その視聴状態に基づき、映像表示装置の省電力制御をおこなうか否かを決定する。人感センサの検知対象エリアは、カメラの撮影対象エリアとは重ならず、かつ、カメラの撮影対象エリアと隣接するエリアであるようにとる。
【解決手段】映像表示装置に、映像を撮影するカメラと人の在不在を検知する人感センサとを備えるようにし、カメラで撮影した映像を解析して、映像表示装置に対する注視の有無を判定し、人感センサで検知した人の在不在を解析して、映像表示装置の周囲のユーザの有無を判定する。そして、判定された注視の有無と、よって判定されたユーザの有無とによってユーザの映像表示装置に対する視聴状態を判定し、その視聴状態に基づき、映像表示装置の省電力制御をおこなうか否かを決定する。人感センサの検知対象エリアは、カメラの撮影対象エリアとは重ならず、かつ、カメラの撮影対象エリアと隣接するエリアであるようにとる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置に係り、映像を表示するテレビを視聴する視聴者の状況に応じて省電力制御をおこなうのに好適な映像表示装置に関する。
【背景技術】
【０００２】
近年、テレビジョン受像機（以下、単に「テレビ」という）に対する新しい消費電力低減の試みとして、人感センサとカメラなどの撮像手段を用いてテレビの前の視聴者の状況に応じて、テレビの省電力制御をする技術が注目されている。
【０００３】
例えば、特許文献１では、人感センサにより視聴者が視聴可能領域にいることを検出すると、撮像手段は、視聴者の顔の位置を判別し、顔の撮影を開始する（段落番号００２７）。
【０００４】
そして、画像認識により、視聴者の状態を検出し、例えば、視聴者が睡眠状態に入ったときには、映像表示の輝度を下げ、必要に応じて、受像機の電源をオフにする。これにより、視聴者が睡眠中の電力消費を無くして省電力効果を上げることができるとしている（段落番号００３５）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４４９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の特許文献１には、視聴者が睡眠中などの状態でテレビを視聴中していない間は、その視聴者の状態に基づいて消費電力低減を実現する技術が開示されている。
【０００７】
上記従来技術のように、視聴者がテレビ視聴中に画面を注視しているかを判定するために、カメラで撮影した視聴者の映像を利用することは可能であるが、視聴者がカメラの画角外に居る場合には判定をおこなうことができないという問題点がある。この場合、視聴者を不在と判定して省電力モードなどに移行すると、カメラの画角外からテレビを視聴している視聴者の視聴を妨げてしまう。特許文献１でも、視聴者を検出するのは、人感センサであるが、撮像のためには、視聴者はカメラの撮影可能な領域にいる必要がある。
【０００８】
また、一台のカメラの画角を広げると、それに伴って撮影できる距離が縮み、テレビから離れたところに居る視聴者を認識できなくなってしまう。さらに、複数台のカメラを並べて撮影範囲を広げると、それぞれのカメラから得られる映像の画像処理をおこなうため、処理負荷が高くなってしまう。
【０００９】
本発明は、上記従来技術の問題点を解決するためになされたもので、その目的は、視聴エリアに対してカメラ撮影範囲が限られる場合においても、視聴者に不快感を与えることなく、低価格で効果的に電力低減を実現することのできる映像表示装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の映像表示装置においては、映像を撮影するカメラと人の在不在を検知する人感センサとを備えるようにする。
【００１１】
カメラで撮影した映像を解析して、映像表示装置に対する注視の有無を判定し、人感センサで検知した人の在不在を解析して、映像表示装置の周囲のユーザの有無を判定する。
【００１２】
そして、判定された注視の有無と、よって判定されたユーザの有無とによってユーザの映像表示装置に対する視聴状態を判定し、その視聴状態に基づき、映像表示装置の省電力制御をおこなうか否かを決定する。
【００１３】
ここで、人感センサの検知対象エリアは、カメラの撮影対象エリアとは重ならず、かつ、カメラの撮影対象エリアと隣接するエリアであるようにとる。
【００１４】
実際の省電力制御としては、視聴状態を判定によって、カメラの撮影対象エリア内でユーザの注視がない状態であり、かつ、人感センサの検知対象エリア内にユーザが居ない状態であると判定した場合で、該状態が一定期間継続した後に、映像表示装置の消費電力を節減する制御をおこない、一方、カメラの撮影対象エリア内でユーザの注視がある状態であるか、または、人感センサの検知対象エリア内にユーザが居る状態であると判定した場合には、消費電力を節減する制御をおこなわないようにする。
【００１５】
また、カメラの撮影対象エリア内でユーザの注視がある状態から前記カメラの撮影対象エリア内でユーザの注視がない状態になった判定する判定時間を、人感センサの検知対象エリア内にユーザが居る状態から人感センサの検知対象エリア内にユーザが居ない状態になった判定する判定時間より小さくとる。
【００１６】
この映像表示装置の構成によれば、カメラで撮影したユーザの映像からユーザがテレビを注視しているか判定し、その判定に基づいてテレビの表示を適応的に制御することにより、テレビの消費電力を低減することが可能となる。また、カメラの画角外からテレビを視聴しているユーザに対しても、不快感を与えずに消費電力を低減することが可能となる。
【発明の効果】
【００１７】
本発明によれば視聴エリアに対してカメラ撮影範囲が限られる場合においても、視聴者に不快感を与えることなく、低価格で効果的に電力低減を実現することのできる映像表示装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第一の実施形態に係る映像表示装置の視聴環境の概要を説明する図である。
【図２】本発明の第一の実施形態に係る映像表示装置の構成を示すブロック図である。
【図３】本発明の第一の実施形態に係る映像表示装置の人感センサとカメラの観測エリアを説明する図である。
【図４】人感センサの観測エリアとカメラの観測エリアとユーザがいるときの状態の関係を示した図である。
【図５】人感センサの観測エリアとカメラの観測エリアとユーザが二人いるときの状態の一例を示した図である。
【図６】視聴状態認識部７２０の構成を示すブロック図である。
【図７】視聴状態認識部７２０の中の視聴状態判定部７２３の判定処理を説明する図である。
【図８】注視フラグＯＮかつ人感フラグをＯＮの状態（Ａ状態）を説明する図である。
【図９】省電力制御部７３０の構成を示すブロック図である。
【図１０】各視聴状態における映像モード、パネル制御命令と映像音声出力制御命令の出力の関係を説明する図である。
【図１１】ユーザに省電力効果を提示する省電力レポートを表示している画面を示す図である。
【図１２】カメラ観測エリアの外にユーザが居ることを警告する画面を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る各実施形態を、図１ないし図１２を用いて説明する。
【００２０】
〔実施形態１〕
以下、本発明に係る第一の実施形態を、図１ないし図１０を用いて説明する。
先ず、図１および図２を用いて本発明の第一の実施形態に係る映像表示装置の構成について説明する。
図１は、本発明の第一の実施形態に係る映像表示装置の視聴環境の概要を説明する図である。
図２は、本発明の第一の実施形態に係る映像表示装置の構成を示すブロック図である。
【００２１】
本実施形態の映像表示装置は、ユーザの視聴状態によってテレビの映像表示を適用的に切り替えることにより、消費電力の低減を図るものである。
【００２２】
テレビ１００は、映像を表示するパネル２００と音声を出力するスピーカ５００を備え、アンテナ９００から得られる放送波やインターネット１０００から得られる配信映像、ＨＤＤ（Hard Disk Drive）などから成る記録装置６００に記録された映像を再生する。
【００２３】
ユーザは、リモコン３００を用いてテレビ１００の電源オンオフ、音量調整、チャンネル切り替えなどの操作をおこなう。リモコン３００からの信号は、リモコン信号入力部４００で受信され、これらのユーザ操作が実行される。
【００２４】
カメラ７００は、検知エリア内の映像から、顔認識や動体検知の処理をおこなうことにより、視聴者の顔や動きを検知し、ユーザの視聴状態を観測するための映像を撮影するための装置である。カメラ７００で撮影したユーザの映像により、顔認識処理をおこない、例えば、顔認識できない場合には、よそ見をしてテレビを注視していないなどの視聴状態を観測することができる。
【００２５】
また、人感センサ７１０は、ユーザの在不在状態を観測する手段である。人感センサとは、人間の動きを検知する検知器の一種であり、人の在不在や、検知エリア内における人やものの動きを検知することができる。人感センサの代表的な例としては、温度の絶対値を測定できるサーモパイル型赤外線センサや、焦電効果を利用し物体から放射される赤外線エネルギーを電気信号に変換する焦電センサがあり、また光センサを使っても人やものの検知が可能である。本実施形態のテレビ１００では、後に説明するように、カメラ７００と人感センサ７１０の両センサの特徴を組合せることにより、広範囲の視聴エリアをカバーし、ユーザにとっても視聴環境が良好で、省電力効果も高いテレビ１００を提供することができる。
【００２６】
本実施形態におけるテレビ１００は、図２に示されるように、テレビの基本機能部分に加え、ユーザの視聴状態を観測するための手段と、観測された視聴状態により省電力制御をおこなうための手段から構成される。
【００２７】
テレビの基本機能部分は、テレビ制御部１１０、映像音声出力部１２０、パネル２００、パネル制御部２１０、スピーカ５００、リモコン信号入力部４００、記録装置６００により実現される。テレビ制御部１１０は、リモコン３００からリモコン信号入力部４００を経由して入力されるユーザ操作指示に基づき、電源のオンオフ、放送波やインターネット配信映像または記録装置６００上の録画映像など様々な映像ソースの選択切り替え、スピーカ５００から出力される音声ボリュームの調整など、テレビ１００全体の制御を司る部分である。映像音声出力部１２０は、ユーザが選択した映像ソースの符号化された映像ストリームを復号化して、非圧縮の映像信号／音声信号に変換する部分である。映像信号／音声信号は、パネル２００、パネル制御部２１０、スピーカ５００を通して出力される。
【００２８】
ユーザの視聴状態を観測するための手段は、カメラ７００、人感センサ７１０、視聴状態認識部７２０から構成される。カメラ７００により得られたユーザ映像と、人感センサ７１０により得られたセンサ情報から視聴状態認識部７２０で認識処理をおこない、ユーザの視聴状態を観測する。
【００２９】
省電力制御をおこなうための手段は、省電力制御部７３０である。省電力制御部７３０では、観測されたユーザの視聴状態により、パネル制御部２１０や映像音声出力部１２０、テレビ制御部１３０に制御命令を発行して、テレビ１００全体の省電力制御をおこなう。テレビ制御部１３０においては、視聴状態認識部７２０の認識結果と、現在の動作状況録画や視聴予約状況を考慮して、省電力制御をおこなうことができる。この構成により、センサで視聴状態を認識し、不在時やよそ見時には、映像出力の輝度を低下させたり、パネルを消すことにより、省電力化をおこなうことができる。
【００３０】
次に、図３ないし図５を用いて本発明の第一の実施形態に係る映像表示装置のユーザの視聴状態の観測について説明する。
図３は、本発明の第一の実施形態に係る映像表示装置の人感センサとカメラの観測エリアを説明する図である。
図４は、人感センサの観測エリアとカメラの観測エリアとユーザがいるときの状態の関係を示した図である。
図５は、人感センサの観測エリアとカメラの観測エリアとユーザが二人いるときの状態の一例を示した図である。
【００３１】
カメラ７００による観測が可能であるカメラ観測エリアは、図３（ａ）に示されるように、テレビ１００を中心とした扇形に類する形状をしている。扇形の中心角はカメラ７００の画角に相当し、カメラ観測エリアでは、この画角内に居るユーザを観測することができる。カメラ観測エリアは、カメラ仕様に依存し、画角が狭い場合には、カメラ観測エリアだけではテレビ１００を視聴しているユーザをカバーしきれない場合がある。カメラの画角を広げると、カメラの解像度にも依存し、遠くのものが小さくなり、遠くのものの認識処理が困難になる課題がある。また、画角を広げるために、カメラを複数台用いて、それらの画像を接合して広い範囲を検知する方法もあるが、処理負荷が高く、コストが高い課題がある。また、現状、携帯電話などで広く使われている５０度〜６０度の画角に比べ、広角のレンズはコストが高い課題もある。さらに、人感センサは、エリア内の熱源の動きを検知できるが、位置を特定できないため、カメラセンサによる視聴状態判定と、人感センサによる視聴状態判定を切り分ける処理が複雑になる。そこで、本実施形態では、カメラ観測エリア外でテレビ１００を視聴しているユーザをカバーするために、カメラ観測エリアを中心として、その外側に、人感センサ７１０による観測が可能である人感センサ観測エリアを設ける。
【００３２】
人感センサ観測エリアは、図３（ｂ）に示されるように、カメラ観測エリアと重ならないように、左右二つのエリアに分ける。人感センサの左右二つのエリアに分ける方法としては、たとえば、人感センサ一つを用いて、広角のレンズの中央部分を物理的に覆うなどして、カメラ観測エリアに居るユーザを人感センサで検出しないようにする方法などで実現できる。あるいは、二つの人感センサを用いて、それぞれのセンサが二つのエリアを観測するようにしても実現できる。
【００３３】
このようにカメラ７００と人感センサ７１０を併用することにより、図３（ｃ）に示される観測エリアを得ることができる。これにより、画角を広げ、多くのユーザの視聴状態を観測できるのみでなく、広角のレンズ利用や、複数台のカメラ利用にくらべ、コストを抑えることができる。さらに、複数台のカメラ利用時には、複数の画像処理とそれらを接合する処理も加わり、高い処理負荷が求められるが、１台のカメラと処理負荷の軽い人感センサの利用により、処理負荷を抑えて広角な検知エリアを実現できるメリットがある。
【００３４】
また、人感センサ観測エリアとカメラ観測エリアが重ならないように配置することにより、カメラ観測エリアでは、ユーザがテレビ１００を注視しているかに応じてきめ細かく省電力制御をおこなうことができ、一方、人感センサエリアでは不在時の消し忘れ防止を優先しながら省電力制御をおこなうことができる。逆に両エリアが重なると、後述するユーザの注視の有無による省電力制御がおこなえなくなる場合がある。例えば、ユーザがカメラ観測エリアにいて、ユーザの注視の有無を、カメラセンサによる顔検知の有無でよそ見を判断し、よそ見をして、ユーザが人感センサエリア内に移動したとする。このとき、カメラで、顔検知はできないが、人感センサでの検知されることになる。これは、人感センサエリア内で重複しているカメラ検知エリア内でのよそ見（顔検知なし、動き有り）なのか、人感センサエリア内のカメラ検知エリア外での視聴（顔検知なし、動き有り）なのかいずれかを判定することができなくなり、よそ見時のきめ細かい省電力制御をおこなえなくなってしまう。
【００３５】
また、複数のユーザが居る場合にも、よそ見か不在かを判定できないと、省電力制御により消画してしまい、一部のユーザの視聴を妨げたりするので、本実施形態においては、人感センサ観測エリアとカメラ観測エリアを重ならないように配置することが重要となる。
【００３６】
次に、図４および図５を用いて人感センサの観測エリアとカメラの観測エリアとユーザがいるときの状態の関係について説明する。
【００３７】
先ず、図４（ａ）（ｂ）に示すように、注視状態の観測が可能なカメラ観測エリア内にユーザが居るときは、カメラで人の顔や視線を検知するなどして、ユーザがテレビを注視しているか否かを判別する。図４（ａ）に示すように、カメラで人の顔検出などができ、ユーザがテレビ１００を注視していると確認できた場合には映像と音声を出力する。図４（ｂ）に示すように、ユーザがカメラ観測エリア内にいて、注視していない場合には、きめ細かい（レスポンスの速い）省電力制御をおこなう。例えば、雑誌を見ながらテレビを視聴している状況時に、雑誌を読んで下を向いてよそ見をしている短い期間でも、省電力制御を有効にするために、よそ見をして、例えば５秒後に、映像の輝度を低下させたり、バックライトを消灯するなどをしてきめ細かく消費電力を低減する。
【００３８】
また、図４（ｃ）に示すように、人感センサ観測エリア内（すなわち、カメラ観測エリア外）にユーザが居るときは、カメラでの顔検知ができないため、注視／非注視の判定ができなくなり、ユーザがテレビを注視しているか否かは分からない。このため、ユーザがテレビ１００を注視していることを保証できないという意味では、ユーザがカメラ観測エリア内にいて、よそ見している図４（ｂ）と同じ状況となるが、人感センサでの動き検知があるため、映像と音声を出力する。この場合は、人感センサでの動き検知を優先して、カメラでのきめ細かい省電力制御（５秒後）をキャンセルして、消し忘れ防止の不在検知処理を開始する。そして、不在検知から、数分後（例えば、５分後）に映像の輝度を低下させたり、バックライトを消灯するなどして、消費電力を低減するように制御する。これにより、カメラ観測エリア外でテレビ１００を視聴しているユーザに対して、バックライト消灯などによる視聴している人の視聴妨害を防ぐことができる。
【００３９】
本方法は、複数人での視聴時も有効に機能し、例えば、図５に示されるように、カメラ観測エリアに１人（Ａ）、人感センサ観測エリアに１人（Ｂ）の２人がテレビを視聴している場合に、カメラ観測エリアにてＡがよそ見をした場合に、人感センサ観測エリアにて、Ｂの動きを検知するので、Ａのよそ見によるきめ細かい省電力（５秒後消画）を無効にして、Ｂの不在検知による省電力（不在検知後、５分後消画）が有効になり、Ｂがいる間は、消画することはなく、２人での視聴が可能となる。
【００４０】
さらに、図４（ｄ）に示すようにカメラ観測エリア、人感センサ観測エリアのいずれにもユーザがいない場合は、パネルのバックライトを消灯するなどして消費電力を低減する。
【００４１】
これにより、カメラの画角外からテレビ１００を視聴しているユーザに対しても、不快感を与えずに消費電力を低減する効果が得られる。
【００４２】
次に、図６ないし図８を用いて視聴状態認識部の構成と処理について説明する。
図６は、視聴状態認識部７２０の構成を示すブロック図である。
図７は、視聴状態認識部７２０の中の視聴状態判定部７２３の判定処理を説明する図である。
図８は、注視フラグＯＮかつ人感フラグをＯＮの状態（Ａ状態）を説明する図である。
【００４３】
視聴状態認識部７２０は、図６に示されるように、注視有無判定部７２１、人有無判定部７２２、視聴状態判定部７２３から構成される。
【００４４】
注視有無判定部７２１では、カメラ７００から入力された映像信号からユーザの顔領域を検出し、ユーザの視線の方向などからテレビ１００を注視しているか否かを判定する。注視していると判定した場合には、注視フラグをＯＮとして、注視していないと判定した場合には、注視フラグをＯＦＦとして出力する。
【００４５】
人有無判定部７２２では、人感センサ７１０から入力されたセンサ信号から特定温度の動きを検出し、人の有無を判定する。人が居ると判定した場合には、人感フラグをＯＮとして、人が居ないと判定した場合には、人感フラグをＯＦＦとして出力する。
【００４６】
視聴状態判定部７２３では、注視有無判定部７２１から入力される注視フラグと、人有無判定部７２２から入力される人感フラグから、ユーザの視聴状態を判定して、視聴状態情報を出力する。人の有無を判定は、消し忘れ防止の役割があり、長い時間に人が居ない場合や居眠りをしてしまった場合などに消画をするなどの省電力制御をするので、数分程度動きがなかった場合に省電力制御をする。注視の有無に関しては、きめ細かい制御をする役割があり、数秒のよそ見検知により省電力制御をおこなう。これにより、人感センサ観測エリアとカメラ観測エリアの制御を切り替え、見ているユーザにとっても快適であり、しかも、電力低減効果の高い省電力制御をおこなうことができる。
【００４７】
視聴状態判定部７２３における判定処理としては、以下にしめされるようになる。
【００４８】
先ず、テレビ１００が起動されたときなどには、注視フラグおよび人感フラグから、図７（ａ）に示すように初期視聴状態を決定する。
【００４９】
注視フラグＯＮかつ人感フラグＯＮの場合は、人感センサ観測エリア内存在かつカメラ観測エリア内注視の状態（Ａ状態）と判定する。図８に示されるように、複数のユーザがカメラ観測エリアと人感センサ観測エリアに分かれて存在している場合や、一人のユーザがカメラ観測エリアと人感センサ観測エリアにまたがって存在している場合にＡ状態は起こり得る。
【００５０】
注視フラグＯＮかつ人感フラグＯＦＦの場合は、カメラ観測エリア内注視の状態（Ｂ状態）と判定する。
【００５１】
注視フラグＯＦＦかつ人感フラグＯＮの場合は、人感センサ観測エリア内存在の状態（Ｃ状態）と判定する。
【００５２】
注視フラグＯＦＦかつ人感フラグＯＦＦの場合は、不在または非注視の状態（Ｄ状態）と判定する。
【００５３】
次に、初期視聴状態を決定した後には、注視フラグおよび人感フラグの変化から図７（ｂ）に示すように視聴状態の遷移をおこなう。
【００５４】
Ａ状態のときには、人感フラグがＯＦＦになり一定時間（ΔＴｓ）が経過した場合はＢ状態へ、注視フラグがＯＦＦになり一定時間（ΔＴｃ）が経過した場合はＣ状態へ遷移する。
【００５５】
Ｂ状態のときには、人感フラグがＯＮになった場合はＡ状態へ、注視フラグがＯＦＦになり一定時間（ΔＴｃ）が経過した場合はＤ状態へ遷移する。
【００５６】
Ｃ状態のときには、注視フラグがＯＮになった場合はＡ状態へ、人感フラグがＯＦＦになり一定時間（ΔＴｓ）が経過した場合はＤ状態へ遷移する。
【００５７】
Ｄ状態のときには、注視フラグがＯＮになった場合はＢ状態へ、人感フラグがＯＮになった場合はＣ状態へ遷移する。
【００５８】
ここで、たとえばΔＴｓを５分、ΔＴｃを５秒と設定すると、人感フラグがＯＦＦの状態が５分以上かつ注視フラグがＯＦＦの状態が５秒以上経過すると、視聴状態はＤ状態となる。ΔＴｓとΔＴｃは同じ値、異なる値のいずれであってもよいものとし、ΔＴｓとΔＴｃの大小関係も問わないが、通常は、上述のように、ΔＴｓ＞ΔＴｃであることが現実的である。
【００５９】
次に、図９および図１０を用いて視聴状態認識部の構成と処理について説明する。
【００６０】
図９は、省電力制御部７３０の構成を示すブロック図である。
【００６１】
図１０は、各視聴状態における映像モード、パネル制御命令と映像音声出力制御命令の出力の関係を説明する図である。
【００６２】
省電力制御部７３０は、図９に示されるように、映像モード判定部７３１、パネル制御命令生成部７３２、映像音声出力命令生成部７３３から構成される。
【００６３】
映像モード判定部７３１では、視聴状態認識部７２０から入力された視聴状態情報から、映像モードを判定する。視聴状態情報が上述のＡ状態、Ｂ状態、Ｃ状態のいずれかである場合は、「通常モード」、Ｄ状態の場合は、「省電力モード」と判定し、ここで判定した映像モード情報を出力する。
【００６４】
パネル制御命令生成部７３２では、映像モード判定部７３１から入力された映像モード情報からパネル点灯制御信号を生成し、出力する。
【００６５】
映像音声出力制御命令７３３では、映像モード判定部７３１から入力された映像モード情報から映像音声出力制御信号を生成し、出力する。
【００６６】
ここで、各視聴状態における映像モード、パネル制御命令と映像音声出力制御命令の出力の関係は、図１０に示されるようになる。
【００６７】
映像モードが「通常モード」である場合には、パネル制御命令生成部７３２は点灯する命令を、映像音声出力制御命令部７３３は映像、音声ともに出力する命令をそれぞれ生成し、出力する。
【００６８】
一方、映像モードが「省電力モード」である場合には、パネル制御命令生成部７３２は消灯する命令を、映像音声出力制御命令部７３３は映像、音声ともに出力する命令をそれぞれ生成し、出力する。ここで、映像音声出力制御命令部７３３は音声のみを出力する命令を生成、出力し、これを受けた映像音声出力制御部１２０が音声のみを出力するように制御をおこなうと、さらに高い省電力効果が得られる可能性がある。
【００６９】
さらに、Ｄ状態が一定時間経過（例えば、３０分）した後には、電源オフなどの制御をするようにしてもよい。
【００７０】
本実施形態の映像表示装置により、テレビの視聴エリアに対してカメラ撮影範囲が限られる場合においても、ユーザに不快感を与えることなく効果的に電力低減をおこなうことが可能となる。本実施形態の映像表示装置では、複数のユーザがテレビを視聴している場合でも、少なくとも一人のユーザがカメラ観測エリアで注視していれば注視フラグＯＮ、少なくとも一人のユーザが人感センサ観測エリアに居れば人感フラグＯＮとすることで同様にユーザの視聴を妨げることなく省電力効果を得ることができる。
【００７１】
また、カメラ７００の映像信号に基づき、視聴状態認識部７２０の注視有無判定部７２１により、注視の有無を判定する代わりに、カメラ７００の映像信号を入力させる人有無判定部を設けて、カメラ７００により、撮影した映像からユーザの有無を判定し、ユーザが存在すると判定する形態も考えられる。例えば、カメラ７００の撮影した映像のフレーム間の動き量から、ある大きさ以上の動きの動体を検知して、ユーザがいると判定する。この場合、人感センサよりカメラの方が分解能が高いので、一度検知した動きを追跡して、ユーザ在不在の検知精度を向上することができるため、人感センサよりも精度良くユーザの検出ができる。ユーザが居る場合には、動体フラグＯＮ、ユーザが不在と判定した場合には、動体フラグＯＦＦとすると、カメラ観測エリアにおけるユーザの有無に応じた省電力制御が可能となる。この場合、カメラ観測エリアにおいては、在不在を人感センサよりも精度を高く検知できるので、省電力制御移行までの時間を短縮でき、人感センサよりも省電力効果を高めることができる。
【００７２】
カメラ観測エリアでは、動体検知と注視検知の両方を実施し、注視フラグと動体フラグを用いることにより、さらなる省エネ効果が得られる。
【００７３】
〔実施形態２〕
以下、本発明の係る第二の実施形態を、図１１を用いて説明する。
図１１は、ユーザに省電力効果を提示する省電力レポートを表示している画面を示す図である。
【００７４】
本実施形態の映像表示装置では、第一の実施形態で示した省電力制御により、どの程度の省電力効果が得られたかを、図１１に示されるように、消費電力や省電力モードに移行した時間などによってユーザ省電力レポートとして画面に提示する。このような提示画面は、省電力モードの最中に表示しても、ユーザがテレビ１００を注視していない、あるいは不在のため見逃す可能性が高い。そのため、テレビ１００を起動してから、ある一定の時間が経過した後に初めてユーザの注視が認められた場合、ある定められた時刻を過ぎた後に初めてユーザの注視が認められた場合、ユーザが提示画面を表示させる操作をおこなった場合などに提示画面を表示すると、ユーザは画面を確認することができ、ユーザの省電力に対する意識を高めることができる。
【００７５】
また、このような提示画面の表示可否、表示開始タイミング、表示時間などをユーザが設定できるようにすれば、ユーザの嗜好に合わせて提示をおこなうことが可能となる。
【００７６】
〔実施形態３〕
以下、本発明の係る第三の実施形態を、図１２を用いて説明する。
図１２は、カメラ観測エリアの外にユーザが居ることを警告する画面を示す図である。
【００７７】
本実施形態の映像表示装置では、カメラ観測エリアの外にユーザが居ることを、図１２に示されるように警告する。図３に示したカメラ観測エリア、人感センサ観測エリアは、ユーザの目には見えないため、ユーザがカメラ観測エリア内に居ると思いこんでいても、実際には人感センサ観測エリア内（すなわち、カメラ観測エリア外）におり、注視の有無による省電力効果が得られない場合がある。このような状況を、図６に示す視聴状態認識部７２０の中の人有無判定部７２２において人感フラグがＯＮになっていることにより認識して、図１２に示されるように、警告画面として表示することでカメラ観測エリア外にユーザが居ることを通知することができる。この警告画面を表示する代わりに、ＬＥＤランプを点灯させるなどしても、カメラ観測エリア外にユーザが居ることを通知することができる。
【００７８】
また、このような警告画面の表示可否や表示時間、ＬＥＤランプの点灯色や点灯時間などをユーザが設定できるようにすれば、ユーザの嗜好に合わせて提示をおこなうことが可能となる。
【符号の説明】
【００７９】
１００…テレビ、２００…パネル、３００…リモコン、４００…リモコン信号入力部、５００…スピーカ、６００…記録装置、７００…カメラ、７１０…人感センサ、９００…アンテナ、１０００…インターネット。
【技術分野】
【０００１】
本発明は、映像表示装置に係り、映像を表示するテレビを視聴する視聴者の状況に応じて省電力制御をおこなうのに好適な映像表示装置に関する。
【背景技術】
【０００２】
近年、テレビジョン受像機（以下、単に「テレビ」という）に対する新しい消費電力低減の試みとして、人感センサとカメラなどの撮像手段を用いてテレビの前の視聴者の状況に応じて、テレビの省電力制御をする技術が注目されている。
【０００３】
例えば、特許文献１では、人感センサにより視聴者が視聴可能領域にいることを検出すると、撮像手段は、視聴者の顔の位置を判別し、顔の撮影を開始する（段落番号００２７）。
【０００４】
そして、画像認識により、視聴者の状態を検出し、例えば、視聴者が睡眠状態に入ったときには、映像表示の輝度を下げ、必要に応じて、受像機の電源をオフにする。これにより、視聴者が睡眠中の電力消費を無くして省電力効果を上げることができるとしている（段落番号００３５）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４４９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の特許文献１には、視聴者が睡眠中などの状態でテレビを視聴中していない間は、その視聴者の状態に基づいて消費電力低減を実現する技術が開示されている。
【０００７】
上記従来技術のように、視聴者がテレビ視聴中に画面を注視しているかを判定するために、カメラで撮影した視聴者の映像を利用することは可能であるが、視聴者がカメラの画角外に居る場合には判定をおこなうことができないという問題点がある。この場合、視聴者を不在と判定して省電力モードなどに移行すると、カメラの画角外からテレビを視聴している視聴者の視聴を妨げてしまう。特許文献１でも、視聴者を検出するのは、人感センサであるが、撮像のためには、視聴者はカメラの撮影可能な領域にいる必要がある。
【０００８】
また、一台のカメラの画角を広げると、それに伴って撮影できる距離が縮み、テレビから離れたところに居る視聴者を認識できなくなってしまう。さらに、複数台のカメラを並べて撮影範囲を広げると、それぞれのカメラから得られる映像の画像処理をおこなうため、処理負荷が高くなってしまう。
【０００９】
本発明は、上記従来技術の問題点を解決するためになされたもので、その目的は、視聴エリアに対してカメラ撮影範囲が限られる場合においても、視聴者に不快感を与えることなく、低価格で効果的に電力低減を実現することのできる映像表示装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の映像表示装置においては、映像を撮影するカメラと人の在不在を検知する人感センサとを備えるようにする。
【００１１】
カメラで撮影した映像を解析して、映像表示装置に対する注視の有無を判定し、人感センサで検知した人の在不在を解析して、映像表示装置の周囲のユーザの有無を判定する。
【００１２】
そして、判定された注視の有無と、よって判定されたユーザの有無とによってユーザの映像表示装置に対する視聴状態を判定し、その視聴状態に基づき、映像表示装置の省電力制御をおこなうか否かを決定する。
【００１３】
ここで、人感センサの検知対象エリアは、カメラの撮影対象エリアとは重ならず、かつ、カメラの撮影対象エリアと隣接するエリアであるようにとる。
【００１４】
実際の省電力制御としては、視聴状態を判定によって、カメラの撮影対象エリア内でユーザの注視がない状態であり、かつ、人感センサの検知対象エリア内にユーザが居ない状態であると判定した場合で、該状態が一定期間継続した後に、映像表示装置の消費電力を節減する制御をおこない、一方、カメラの撮影対象エリア内でユーザの注視がある状態であるか、または、人感センサの検知対象エリア内にユーザが居る状態であると判定した場合には、消費電力を節減する制御をおこなわないようにする。
【００１５】
また、カメラの撮影対象エリア内でユーザの注視がある状態から前記カメラの撮影対象エリア内でユーザの注視がない状態になった判定する判定時間を、人感センサの検知対象エリア内にユーザが居る状態から人感センサの検知対象エリア内にユーザが居ない状態になった判定する判定時間より小さくとる。
【００１６】
この映像表示装置の構成によれば、カメラで撮影したユーザの映像からユーザがテレビを注視しているか判定し、その判定に基づいてテレビの表示を適応的に制御することにより、テレビの消費電力を低減することが可能となる。また、カメラの画角外からテレビを視聴しているユーザに対しても、不快感を与えずに消費電力を低減することが可能となる。
【発明の効果】
【００１７】
本発明によれば視聴エリアに対してカメラ撮影範囲が限られる場合においても、視聴者に不快感を与えることなく、低価格で効果的に電力低減を実現することのできる映像表示装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第一の実施形態に係る映像表示装置の視聴環境の概要を説明する図である。
【図２】本発明の第一の実施形態に係る映像表示装置の構成を示すブロック図である。
【図３】本発明の第一の実施形態に係る映像表示装置の人感センサとカメラの観測エリアを説明する図である。
【図４】人感センサの観測エリアとカメラの観測エリアとユーザがいるときの状態の関係を示した図である。
【図５】人感センサの観測エリアとカメラの観測エリアとユーザが二人いるときの状態の一例を示した図である。
【図６】視聴状態認識部７２０の構成を示すブロック図である。
【図７】視聴状態認識部７２０の中の視聴状態判定部７２３の判定処理を説明する図である。
【図８】注視フラグＯＮかつ人感フラグをＯＮの状態（Ａ状態）を説明する図である。
【図９】省電力制御部７３０の構成を示すブロック図である。
【図１０】各視聴状態における映像モード、パネル制御命令と映像音声出力制御命令の出力の関係を説明する図である。
【図１１】ユーザに省電力効果を提示する省電力レポートを表示している画面を示す図である。
【図１２】カメラ観測エリアの外にユーザが居ることを警告する画面を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る各実施形態を、図１ないし図１２を用いて説明する。
【００２０】
〔実施形態１〕
以下、本発明に係る第一の実施形態を、図１ないし図１０を用いて説明する。
先ず、図１および図２を用いて本発明の第一の実施形態に係る映像表示装置の構成について説明する。
図１は、本発明の第一の実施形態に係る映像表示装置の視聴環境の概要を説明する図である。
図２は、本発明の第一の実施形態に係る映像表示装置の構成を示すブロック図である。
【００２１】
本実施形態の映像表示装置は、ユーザの視聴状態によってテレビの映像表示を適用的に切り替えることにより、消費電力の低減を図るものである。
【００２２】
テレビ１００は、映像を表示するパネル２００と音声を出力するスピーカ５００を備え、アンテナ９００から得られる放送波やインターネット１０００から得られる配信映像、ＨＤＤ（Hard Disk Drive）などから成る記録装置６００に記録された映像を再生する。
【００２３】
ユーザは、リモコン３００を用いてテレビ１００の電源オンオフ、音量調整、チャンネル切り替えなどの操作をおこなう。リモコン３００からの信号は、リモコン信号入力部４００で受信され、これらのユーザ操作が実行される。
【００２４】
カメラ７００は、検知エリア内の映像から、顔認識や動体検知の処理をおこなうことにより、視聴者の顔や動きを検知し、ユーザの視聴状態を観測するための映像を撮影するための装置である。カメラ７００で撮影したユーザの映像により、顔認識処理をおこない、例えば、顔認識できない場合には、よそ見をしてテレビを注視していないなどの視聴状態を観測することができる。
【００２５】
また、人感センサ７１０は、ユーザの在不在状態を観測する手段である。人感センサとは、人間の動きを検知する検知器の一種であり、人の在不在や、検知エリア内における人やものの動きを検知することができる。人感センサの代表的な例としては、温度の絶対値を測定できるサーモパイル型赤外線センサや、焦電効果を利用し物体から放射される赤外線エネルギーを電気信号に変換する焦電センサがあり、また光センサを使っても人やものの検知が可能である。本実施形態のテレビ１００では、後に説明するように、カメラ７００と人感センサ７１０の両センサの特徴を組合せることにより、広範囲の視聴エリアをカバーし、ユーザにとっても視聴環境が良好で、省電力効果も高いテレビ１００を提供することができる。
【００２６】
本実施形態におけるテレビ１００は、図２に示されるように、テレビの基本機能部分に加え、ユーザの視聴状態を観測するための手段と、観測された視聴状態により省電力制御をおこなうための手段から構成される。
【００２７】
テレビの基本機能部分は、テレビ制御部１１０、映像音声出力部１２０、パネル２００、パネル制御部２１０、スピーカ５００、リモコン信号入力部４００、記録装置６００により実現される。テレビ制御部１１０は、リモコン３００からリモコン信号入力部４００を経由して入力されるユーザ操作指示に基づき、電源のオンオフ、放送波やインターネット配信映像または記録装置６００上の録画映像など様々な映像ソースの選択切り替え、スピーカ５００から出力される音声ボリュームの調整など、テレビ１００全体の制御を司る部分である。映像音声出力部１２０は、ユーザが選択した映像ソースの符号化された映像ストリームを復号化して、非圧縮の映像信号／音声信号に変換する部分である。映像信号／音声信号は、パネル２００、パネル制御部２１０、スピーカ５００を通して出力される。
【００２８】
ユーザの視聴状態を観測するための手段は、カメラ７００、人感センサ７１０、視聴状態認識部７２０から構成される。カメラ７００により得られたユーザ映像と、人感センサ７１０により得られたセンサ情報から視聴状態認識部７２０で認識処理をおこない、ユーザの視聴状態を観測する。
【００２９】
省電力制御をおこなうための手段は、省電力制御部７３０である。省電力制御部７３０では、観測されたユーザの視聴状態により、パネル制御部２１０や映像音声出力部１２０、テレビ制御部１３０に制御命令を発行して、テレビ１００全体の省電力制御をおこなう。テレビ制御部１３０においては、視聴状態認識部７２０の認識結果と、現在の動作状況録画や視聴予約状況を考慮して、省電力制御をおこなうことができる。この構成により、センサで視聴状態を認識し、不在時やよそ見時には、映像出力の輝度を低下させたり、パネルを消すことにより、省電力化をおこなうことができる。
【００３０】
次に、図３ないし図５を用いて本発明の第一の実施形態に係る映像表示装置のユーザの視聴状態の観測について説明する。
図３は、本発明の第一の実施形態に係る映像表示装置の人感センサとカメラの観測エリアを説明する図である。
図４は、人感センサの観測エリアとカメラの観測エリアとユーザがいるときの状態の関係を示した図である。
図５は、人感センサの観測エリアとカメラの観測エリアとユーザが二人いるときの状態の一例を示した図である。
【００３１】
カメラ７００による観測が可能であるカメラ観測エリアは、図３（ａ）に示されるように、テレビ１００を中心とした扇形に類する形状をしている。扇形の中心角はカメラ７００の画角に相当し、カメラ観測エリアでは、この画角内に居るユーザを観測することができる。カメラ観測エリアは、カメラ仕様に依存し、画角が狭い場合には、カメラ観測エリアだけではテレビ１００を視聴しているユーザをカバーしきれない場合がある。カメラの画角を広げると、カメラの解像度にも依存し、遠くのものが小さくなり、遠くのものの認識処理が困難になる課題がある。また、画角を広げるために、カメラを複数台用いて、それらの画像を接合して広い範囲を検知する方法もあるが、処理負荷が高く、コストが高い課題がある。また、現状、携帯電話などで広く使われている５０度〜６０度の画角に比べ、広角のレンズはコストが高い課題もある。さらに、人感センサは、エリア内の熱源の動きを検知できるが、位置を特定できないため、カメラセンサによる視聴状態判定と、人感センサによる視聴状態判定を切り分ける処理が複雑になる。そこで、本実施形態では、カメラ観測エリア外でテレビ１００を視聴しているユーザをカバーするために、カメラ観測エリアを中心として、その外側に、人感センサ７１０による観測が可能である人感センサ観測エリアを設ける。
【００３２】
人感センサ観測エリアは、図３（ｂ）に示されるように、カメラ観測エリアと重ならないように、左右二つのエリアに分ける。人感センサの左右二つのエリアに分ける方法としては、たとえば、人感センサ一つを用いて、広角のレンズの中央部分を物理的に覆うなどして、カメラ観測エリアに居るユーザを人感センサで検出しないようにする方法などで実現できる。あるいは、二つの人感センサを用いて、それぞれのセンサが二つのエリアを観測するようにしても実現できる。
【００３３】
このようにカメラ７００と人感センサ７１０を併用することにより、図３（ｃ）に示される観測エリアを得ることができる。これにより、画角を広げ、多くのユーザの視聴状態を観測できるのみでなく、広角のレンズ利用や、複数台のカメラ利用にくらべ、コストを抑えることができる。さらに、複数台のカメラ利用時には、複数の画像処理とそれらを接合する処理も加わり、高い処理負荷が求められるが、１台のカメラと処理負荷の軽い人感センサの利用により、処理負荷を抑えて広角な検知エリアを実現できるメリットがある。
【００３４】
また、人感センサ観測エリアとカメラ観測エリアが重ならないように配置することにより、カメラ観測エリアでは、ユーザがテレビ１００を注視しているかに応じてきめ細かく省電力制御をおこなうことができ、一方、人感センサエリアでは不在時の消し忘れ防止を優先しながら省電力制御をおこなうことができる。逆に両エリアが重なると、後述するユーザの注視の有無による省電力制御がおこなえなくなる場合がある。例えば、ユーザがカメラ観測エリアにいて、ユーザの注視の有無を、カメラセンサによる顔検知の有無でよそ見を判断し、よそ見をして、ユーザが人感センサエリア内に移動したとする。このとき、カメラで、顔検知はできないが、人感センサでの検知されることになる。これは、人感センサエリア内で重複しているカメラ検知エリア内でのよそ見（顔検知なし、動き有り）なのか、人感センサエリア内のカメラ検知エリア外での視聴（顔検知なし、動き有り）なのかいずれかを判定することができなくなり、よそ見時のきめ細かい省電力制御をおこなえなくなってしまう。
【００３５】
また、複数のユーザが居る場合にも、よそ見か不在かを判定できないと、省電力制御により消画してしまい、一部のユーザの視聴を妨げたりするので、本実施形態においては、人感センサ観測エリアとカメラ観測エリアを重ならないように配置することが重要となる。
【００３６】
次に、図４および図５を用いて人感センサの観測エリアとカメラの観測エリアとユーザがいるときの状態の関係について説明する。
【００３７】
先ず、図４（ａ）（ｂ）に示すように、注視状態の観測が可能なカメラ観測エリア内にユーザが居るときは、カメラで人の顔や視線を検知するなどして、ユーザがテレビを注視しているか否かを判別する。図４（ａ）に示すように、カメラで人の顔検出などができ、ユーザがテレビ１００を注視していると確認できた場合には映像と音声を出力する。図４（ｂ）に示すように、ユーザがカメラ観測エリア内にいて、注視していない場合には、きめ細かい（レスポンスの速い）省電力制御をおこなう。例えば、雑誌を見ながらテレビを視聴している状況時に、雑誌を読んで下を向いてよそ見をしている短い期間でも、省電力制御を有効にするために、よそ見をして、例えば５秒後に、映像の輝度を低下させたり、バックライトを消灯するなどをしてきめ細かく消費電力を低減する。
【００３８】
また、図４（ｃ）に示すように、人感センサ観測エリア内（すなわち、カメラ観測エリア外）にユーザが居るときは、カメラでの顔検知ができないため、注視／非注視の判定ができなくなり、ユーザがテレビを注視しているか否かは分からない。このため、ユーザがテレビ１００を注視していることを保証できないという意味では、ユーザがカメラ観測エリア内にいて、よそ見している図４（ｂ）と同じ状況となるが、人感センサでの動き検知があるため、映像と音声を出力する。この場合は、人感センサでの動き検知を優先して、カメラでのきめ細かい省電力制御（５秒後）をキャンセルして、消し忘れ防止の不在検知処理を開始する。そして、不在検知から、数分後（例えば、５分後）に映像の輝度を低下させたり、バックライトを消灯するなどして、消費電力を低減するように制御する。これにより、カメラ観測エリア外でテレビ１００を視聴しているユーザに対して、バックライト消灯などによる視聴している人の視聴妨害を防ぐことができる。
【００３９】
本方法は、複数人での視聴時も有効に機能し、例えば、図５に示されるように、カメラ観測エリアに１人（Ａ）、人感センサ観測エリアに１人（Ｂ）の２人がテレビを視聴している場合に、カメラ観測エリアにてＡがよそ見をした場合に、人感センサ観測エリアにて、Ｂの動きを検知するので、Ａのよそ見によるきめ細かい省電力（５秒後消画）を無効にして、Ｂの不在検知による省電力（不在検知後、５分後消画）が有効になり、Ｂがいる間は、消画することはなく、２人での視聴が可能となる。
【００４０】
さらに、図４（ｄ）に示すようにカメラ観測エリア、人感センサ観測エリアのいずれにもユーザがいない場合は、パネルのバックライトを消灯するなどして消費電力を低減する。
【００４１】
これにより、カメラの画角外からテレビ１００を視聴しているユーザに対しても、不快感を与えずに消費電力を低減する効果が得られる。
【００４２】
次に、図６ないし図８を用いて視聴状態認識部の構成と処理について説明する。
図６は、視聴状態認識部７２０の構成を示すブロック図である。
図７は、視聴状態認識部７２０の中の視聴状態判定部７２３の判定処理を説明する図である。
図８は、注視フラグＯＮかつ人感フラグをＯＮの状態（Ａ状態）を説明する図である。
【００４３】
視聴状態認識部７２０は、図６に示されるように、注視有無判定部７２１、人有無判定部７２２、視聴状態判定部７２３から構成される。
【００４４】
注視有無判定部７２１では、カメラ７００から入力された映像信号からユーザの顔領域を検出し、ユーザの視線の方向などからテレビ１００を注視しているか否かを判定する。注視していると判定した場合には、注視フラグをＯＮとして、注視していないと判定した場合には、注視フラグをＯＦＦとして出力する。
【００４５】
人有無判定部７２２では、人感センサ７１０から入力されたセンサ信号から特定温度の動きを検出し、人の有無を判定する。人が居ると判定した場合には、人感フラグをＯＮとして、人が居ないと判定した場合には、人感フラグをＯＦＦとして出力する。
【００４６】
視聴状態判定部７２３では、注視有無判定部７２１から入力される注視フラグと、人有無判定部７２２から入力される人感フラグから、ユーザの視聴状態を判定して、視聴状態情報を出力する。人の有無を判定は、消し忘れ防止の役割があり、長い時間に人が居ない場合や居眠りをしてしまった場合などに消画をするなどの省電力制御をするので、数分程度動きがなかった場合に省電力制御をする。注視の有無に関しては、きめ細かい制御をする役割があり、数秒のよそ見検知により省電力制御をおこなう。これにより、人感センサ観測エリアとカメラ観測エリアの制御を切り替え、見ているユーザにとっても快適であり、しかも、電力低減効果の高い省電力制御をおこなうことができる。
【００４７】
視聴状態判定部７２３における判定処理としては、以下にしめされるようになる。
【００４８】
先ず、テレビ１００が起動されたときなどには、注視フラグおよび人感フラグから、図７（ａ）に示すように初期視聴状態を決定する。
【００４９】
注視フラグＯＮかつ人感フラグＯＮの場合は、人感センサ観測エリア内存在かつカメラ観測エリア内注視の状態（Ａ状態）と判定する。図８に示されるように、複数のユーザがカメラ観測エリアと人感センサ観測エリアに分かれて存在している場合や、一人のユーザがカメラ観測エリアと人感センサ観測エリアにまたがって存在している場合にＡ状態は起こり得る。
【００５０】
注視フラグＯＮかつ人感フラグＯＦＦの場合は、カメラ観測エリア内注視の状態（Ｂ状態）と判定する。
【００５１】
注視フラグＯＦＦかつ人感フラグＯＮの場合は、人感センサ観測エリア内存在の状態（Ｃ状態）と判定する。
【００５２】
注視フラグＯＦＦかつ人感フラグＯＦＦの場合は、不在または非注視の状態（Ｄ状態）と判定する。
【００５３】
次に、初期視聴状態を決定した後には、注視フラグおよび人感フラグの変化から図７（ｂ）に示すように視聴状態の遷移をおこなう。
【００５４】
Ａ状態のときには、人感フラグがＯＦＦになり一定時間（ΔＴｓ）が経過した場合はＢ状態へ、注視フラグがＯＦＦになり一定時間（ΔＴｃ）が経過した場合はＣ状態へ遷移する。
【００５５】
Ｂ状態のときには、人感フラグがＯＮになった場合はＡ状態へ、注視フラグがＯＦＦになり一定時間（ΔＴｃ）が経過した場合はＤ状態へ遷移する。
【００５６】
Ｃ状態のときには、注視フラグがＯＮになった場合はＡ状態へ、人感フラグがＯＦＦになり一定時間（ΔＴｓ）が経過した場合はＤ状態へ遷移する。
【００５７】
Ｄ状態のときには、注視フラグがＯＮになった場合はＢ状態へ、人感フラグがＯＮになった場合はＣ状態へ遷移する。
【００５８】
ここで、たとえばΔＴｓを５分、ΔＴｃを５秒と設定すると、人感フラグがＯＦＦの状態が５分以上かつ注視フラグがＯＦＦの状態が５秒以上経過すると、視聴状態はＤ状態となる。ΔＴｓとΔＴｃは同じ値、異なる値のいずれであってもよいものとし、ΔＴｓとΔＴｃの大小関係も問わないが、通常は、上述のように、ΔＴｓ＞ΔＴｃであることが現実的である。
【００５９】
次に、図９および図１０を用いて視聴状態認識部の構成と処理について説明する。
【００６０】
図９は、省電力制御部７３０の構成を示すブロック図である。
【００６１】
図１０は、各視聴状態における映像モード、パネル制御命令と映像音声出力制御命令の出力の関係を説明する図である。
【００６２】
省電力制御部７３０は、図９に示されるように、映像モード判定部７３１、パネル制御命令生成部７３２、映像音声出力命令生成部７３３から構成される。
【００６３】
映像モード判定部７３１では、視聴状態認識部７２０から入力された視聴状態情報から、映像モードを判定する。視聴状態情報が上述のＡ状態、Ｂ状態、Ｃ状態のいずれかである場合は、「通常モード」、Ｄ状態の場合は、「省電力モード」と判定し、ここで判定した映像モード情報を出力する。
【００６４】
パネル制御命令生成部７３２では、映像モード判定部７３１から入力された映像モード情報からパネル点灯制御信号を生成し、出力する。
【００６５】
映像音声出力制御命令７３３では、映像モード判定部７３１から入力された映像モード情報から映像音声出力制御信号を生成し、出力する。
【００６６】
ここで、各視聴状態における映像モード、パネル制御命令と映像音声出力制御命令の出力の関係は、図１０に示されるようになる。
【００６７】
映像モードが「通常モード」である場合には、パネル制御命令生成部７３２は点灯する命令を、映像音声出力制御命令部７３３は映像、音声ともに出力する命令をそれぞれ生成し、出力する。
【００６８】
一方、映像モードが「省電力モード」である場合には、パネル制御命令生成部７３２は消灯する命令を、映像音声出力制御命令部７３３は映像、音声ともに出力する命令をそれぞれ生成し、出力する。ここで、映像音声出力制御命令部７３３は音声のみを出力する命令を生成、出力し、これを受けた映像音声出力制御部１２０が音声のみを出力するように制御をおこなうと、さらに高い省電力効果が得られる可能性がある。
【００６９】
さらに、Ｄ状態が一定時間経過（例えば、３０分）した後には、電源オフなどの制御をするようにしてもよい。
【００７０】
本実施形態の映像表示装置により、テレビの視聴エリアに対してカメラ撮影範囲が限られる場合においても、ユーザに不快感を与えることなく効果的に電力低減をおこなうことが可能となる。本実施形態の映像表示装置では、複数のユーザがテレビを視聴している場合でも、少なくとも一人のユーザがカメラ観測エリアで注視していれば注視フラグＯＮ、少なくとも一人のユーザが人感センサ観測エリアに居れば人感フラグＯＮとすることで同様にユーザの視聴を妨げることなく省電力効果を得ることができる。
【００７１】
また、カメラ７００の映像信号に基づき、視聴状態認識部７２０の注視有無判定部７２１により、注視の有無を判定する代わりに、カメラ７００の映像信号を入力させる人有無判定部を設けて、カメラ７００により、撮影した映像からユーザの有無を判定し、ユーザが存在すると判定する形態も考えられる。例えば、カメラ７００の撮影した映像のフレーム間の動き量から、ある大きさ以上の動きの動体を検知して、ユーザがいると判定する。この場合、人感センサよりカメラの方が分解能が高いので、一度検知した動きを追跡して、ユーザ在不在の検知精度を向上することができるため、人感センサよりも精度良くユーザの検出ができる。ユーザが居る場合には、動体フラグＯＮ、ユーザが不在と判定した場合には、動体フラグＯＦＦとすると、カメラ観測エリアにおけるユーザの有無に応じた省電力制御が可能となる。この場合、カメラ観測エリアにおいては、在不在を人感センサよりも精度を高く検知できるので、省電力制御移行までの時間を短縮でき、人感センサよりも省電力効果を高めることができる。
【００７２】
カメラ観測エリアでは、動体検知と注視検知の両方を実施し、注視フラグと動体フラグを用いることにより、さらなる省エネ効果が得られる。
【００７３】
〔実施形態２〕
以下、本発明の係る第二の実施形態を、図１１を用いて説明する。
図１１は、ユーザに省電力効果を提示する省電力レポートを表示している画面を示す図である。
【００７４】
本実施形態の映像表示装置では、第一の実施形態で示した省電力制御により、どの程度の省電力効果が得られたかを、図１１に示されるように、消費電力や省電力モードに移行した時間などによってユーザ省電力レポートとして画面に提示する。このような提示画面は、省電力モードの最中に表示しても、ユーザがテレビ１００を注視していない、あるいは不在のため見逃す可能性が高い。そのため、テレビ１００を起動してから、ある一定の時間が経過した後に初めてユーザの注視が認められた場合、ある定められた時刻を過ぎた後に初めてユーザの注視が認められた場合、ユーザが提示画面を表示させる操作をおこなった場合などに提示画面を表示すると、ユーザは画面を確認することができ、ユーザの省電力に対する意識を高めることができる。
【００７５】
また、このような提示画面の表示可否、表示開始タイミング、表示時間などをユーザが設定できるようにすれば、ユーザの嗜好に合わせて提示をおこなうことが可能となる。
【００７６】
〔実施形態３〕
以下、本発明の係る第三の実施形態を、図１２を用いて説明する。
図１２は、カメラ観測エリアの外にユーザが居ることを警告する画面を示す図である。
【００７７】
本実施形態の映像表示装置では、カメラ観測エリアの外にユーザが居ることを、図１２に示されるように警告する。図３に示したカメラ観測エリア、人感センサ観測エリアは、ユーザの目には見えないため、ユーザがカメラ観測エリア内に居ると思いこんでいても、実際には人感センサ観測エリア内（すなわち、カメラ観測エリア外）におり、注視の有無による省電力効果が得られない場合がある。このような状況を、図６に示す視聴状態認識部７２０の中の人有無判定部７２２において人感フラグがＯＮになっていることにより認識して、図１２に示されるように、警告画面として表示することでカメラ観測エリア外にユーザが居ることを通知することができる。この警告画面を表示する代わりに、ＬＥＤランプを点灯させるなどしても、カメラ観測エリア外にユーザが居ることを通知することができる。
【００７８】
また、このような警告画面の表示可否や表示時間、ＬＥＤランプの点灯色や点灯時間などをユーザが設定できるようにすれば、ユーザの嗜好に合わせて提示をおこなうことが可能となる。
【符号の説明】
【００７９】
１００…テレビ、２００…パネル、３００…リモコン、４００…リモコン信号入力部、５００…スピーカ、６００…記録装置、７００…カメラ、７１０…人感センサ、９００…アンテナ、１０００…インターネット。
【特許請求の範囲】
【請求項１】
映像を撮影するカメラと人の在不在を検知する人感センサとを備える映像表示装置において、
前記カメラで撮影した映像を解析して、該映像表示装置に対する注視の有無を判定する手段と、
前記人感センサで検知した人の在不在を解析して、該映像表示装置の周囲のユーザの有無を判定する手段と、
前記注視の有無を判定する手段によって判定された注視の有無と、前記周囲のユーザの有無を判定する手段によって判定されたユーザの有無とによってユーザの該映像表示装置に対する視聴状態を判定する手段と、
前記ユーザの視聴状態に基づき、該映像表示装置を制御する手段とを有することを特徴とする映像表示装置。
【請求項２】
前記人感センサの検知対象エリアは、前記カメラの撮影対象エリアとは重ならず、かつ、前記カメラの撮影対象エリアと隣接するエリアであることを特徴とする請求項１記載の映像表示装置。
【請求項３】
前記視聴状態を判定する手段において、
前記カメラの撮影対象エリア内でユーザの注視がない状態であり、かつ、前記人感センサの検知対象エリア内にユーザが居ない状態であると判定した場合で、該状態が一定期間継続した後に、前記映像表示装置を制御する手段により、該映像表示装置の消費電力を節減する制御をおこない、
前記視聴状態を判定する手段において、
前記カメラの撮影対象エリア内でユーザの注視がある状態であるか、または、前記人感センサの検知対象エリア内にユーザが居る状態であると判定した場合には、前記映像表示装置を制御する手段による消費電力を節減する制御をおこなわないことを特徴とする請求項１記載の映像表示装置。
【請求項４】
前記カメラの撮影対象エリア内でユーザの注視がある状態から前記カメラの撮影対象エリア内でユーザの注視がない状態になった判定する第一の判定時間と、前記人感センサの検知対象エリア内にユーザが居る状態から前記人感センサの検知対象エリア内にユーザが居ない状態になった判定する第二の判定時間とにおいて、前記第一の判定時間を前記第二の判定時間を小さくとり、
前記カメラの撮影対象エリア内でユーザの注視がない状態が前記第一の判定時間を超えたとき、かつ、前記人感センサの検知対象エリア内にユーザが居ない状態が第二の判定時間を超えたときに、該映像表示装置の消費電力を節減しない制御から該映像表示装置の消費電力を節減する制御に移行することを特徴とする請求項１記載の映像表示装置。
【請求項５】
該映像表示装置を起動してからある一定の時間が経過した後に、前記視聴状態を判定する手段において初めてユーザの注視が認められた場合、ある定められた時刻を過ぎた後に、前記視聴状態を判定する手段において初めてユーザの注視が認められた場合のうちのいずれかを満たす場合に、
該映像表示装置の省電力情報を提示する画面を表示することを特徴とする請求項１記載の映像表示装置。
【請求項６】
前記省電力情報の通知可否、通知開始タイミング、通知時間のうちの少なくとも一つをユーザが設定することを特徴とする請求項１記載の映像表示装置。
【請求項７】
ユーザが前記カメラの撮影対象エリアに居らず、かつ、前記人感センサの検知対象エリア内に居る場合に、
ユーザに対して、該映像表示装置の画面内の表示、該映像表示装置の画面外の点灯、音声のうちのいずれかによって、前記カメラの撮影対象エリア外にユーザが居ることを通知することを特徴とする請求項１記載の映像表示装置。
【請求項８】
前記カメラの撮影対象エリア外にユーザが居ることの通知の通知可否、通知開始タイミング、通知時間のうちの少なくとも一つをユーザが設定することを特徴とする請求項１記載の映像表示装置。
【請求項１】
映像を撮影するカメラと人の在不在を検知する人感センサとを備える映像表示装置において、
前記カメラで撮影した映像を解析して、該映像表示装置に対する注視の有無を判定する手段と、
前記人感センサで検知した人の在不在を解析して、該映像表示装置の周囲のユーザの有無を判定する手段と、
前記注視の有無を判定する手段によって判定された注視の有無と、前記周囲のユーザの有無を判定する手段によって判定されたユーザの有無とによってユーザの該映像表示装置に対する視聴状態を判定する手段と、
前記ユーザの視聴状態に基づき、該映像表示装置を制御する手段とを有することを特徴とする映像表示装置。
【請求項２】
前記人感センサの検知対象エリアは、前記カメラの撮影対象エリアとは重ならず、かつ、前記カメラの撮影対象エリアと隣接するエリアであることを特徴とする請求項１記載の映像表示装置。
【請求項３】
前記視聴状態を判定する手段において、
前記カメラの撮影対象エリア内でユーザの注視がない状態であり、かつ、前記人感センサの検知対象エリア内にユーザが居ない状態であると判定した場合で、該状態が一定期間継続した後に、前記映像表示装置を制御する手段により、該映像表示装置の消費電力を節減する制御をおこない、
前記視聴状態を判定する手段において、
前記カメラの撮影対象エリア内でユーザの注視がある状態であるか、または、前記人感センサの検知対象エリア内にユーザが居る状態であると判定した場合には、前記映像表示装置を制御する手段による消費電力を節減する制御をおこなわないことを特徴とする請求項１記載の映像表示装置。
【請求項４】
前記カメラの撮影対象エリア内でユーザの注視がある状態から前記カメラの撮影対象エリア内でユーザの注視がない状態になった判定する第一の判定時間と、前記人感センサの検知対象エリア内にユーザが居る状態から前記人感センサの検知対象エリア内にユーザが居ない状態になった判定する第二の判定時間とにおいて、前記第一の判定時間を前記第二の判定時間を小さくとり、
前記カメラの撮影対象エリア内でユーザの注視がない状態が前記第一の判定時間を超えたとき、かつ、前記人感センサの検知対象エリア内にユーザが居ない状態が第二の判定時間を超えたときに、該映像表示装置の消費電力を節減しない制御から該映像表示装置の消費電力を節減する制御に移行することを特徴とする請求項１記載の映像表示装置。
【請求項５】
該映像表示装置を起動してからある一定の時間が経過した後に、前記視聴状態を判定する手段において初めてユーザの注視が認められた場合、ある定められた時刻を過ぎた後に、前記視聴状態を判定する手段において初めてユーザの注視が認められた場合のうちのいずれかを満たす場合に、
該映像表示装置の省電力情報を提示する画面を表示することを特徴とする請求項１記載の映像表示装置。
【請求項６】
前記省電力情報の通知可否、通知開始タイミング、通知時間のうちの少なくとも一つをユーザが設定することを特徴とする請求項１記載の映像表示装置。
【請求項７】
ユーザが前記カメラの撮影対象エリアに居らず、かつ、前記人感センサの検知対象エリア内に居る場合に、
ユーザに対して、該映像表示装置の画面内の表示、該映像表示装置の画面外の点灯、音声のうちのいずれかによって、前記カメラの撮影対象エリア外にユーザが居ることを通知することを特徴とする請求項１記載の映像表示装置。
【請求項８】
前記カメラの撮影対象エリア外にユーザが居ることの通知の通知可否、通知開始タイミング、通知時間のうちの少なくとも一つをユーザが設定することを特徴とする請求項１記載の映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−６０５０４（Ｐ２０１２−６０５０４Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０３０３９（Ｐ２０１０−２０３０３９）
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]