映像表示装置
【課題】
より好適に消費電力の低減制御をおこなう。
【解決手段】
映像信号を入力する入力部と、前記入力部に入力した映像信号の再生処理を行う出力制御部と、前記出力制御部が再生した映像信号に基づいて映像を表示する表示部と、前記映像表示装置の利用者を撮像する撮像部と、前記撮像部が撮像した画像を解析し、前記利用者が前記表示部の表示画面を注視しているか否かを判定する注視有無判定部と、前記注視有無判定部の判定結果に基づいて、前記表示部の光源の光量制御処理または前記出力制御部における再生処理を、通常モード処理と省電力モード処理とで切り替える制御部とを備える。
より好適に消費電力の低減制御をおこなう。
【解決手段】
映像信号を入力する入力部と、前記入力部に入力した映像信号の再生処理を行う出力制御部と、前記出力制御部が再生した映像信号に基づいて映像を表示する表示部と、前記映像表示装置の利用者を撮像する撮像部と、前記撮像部が撮像した画像を解析し、前記利用者が前記表示部の表示画面を注視しているか否かを判定する注視有無判定部と、前記注視有無判定部の判定結果に基づいて、前記表示部の光源の光量制御処理または前記出力制御部における再生処理を、通常モード処理と省電力モード処理とで切り替える制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部により撮像した映像やセンサの検出結果に基づいて算出した利用者の状態に応じて映像表示装置を制御する技術に関する。
【背景技術】
【０００２】
撮像部により撮像した映像やセンサの検出結果に基づいて算出した利用者の状態に応じて映像表示装置を制御する技術として、例えば、特許文献１の段落００１７には、「撮像手段１で撮影した視聴者の映像のうち、顔部分や首部分を肌色として検出し、この肌色が検出された空間内の位置を映像パターン内に求めて視聴者位置」を検出する「視聴者位置検出手段」が開示されている。段落００２０には、「視聴者が覚醒状態にあるか、睡眠状態であるかを、撮像手段１で撮影した視聴者の眼球や瞳孔の動きを検出する」ことにより、「視聴者の状態情報を検出」する「視聴者状態検出手段」ことが開示されている。段落００３２には、「視聴者１８が視聴可能領域１７から離れた場合には、これを前記複数の人感センサ１２の出力に基づいて、視聴者位置検出手段９が検出し、受像機制御手段１１は映像表示手段２の画面の輝度を段階的に下げる」ことにより「消費電力を抑制する」ことが開示されている。段落００３５には、「視聴者状態検出手段１０により、撮影画像中で瞳孔が動かないか、見えないため、睡眠に入ったと判断して、視聴者の睡眠状態が検出されると、受像機制御手段１１は、映像表示手段２の輝度を下げ、必要に応じて受像機Ｂの電源をオフにする。これにより、視聴者が睡眠中の電力消費を無くして省電力効果を上げる」ことが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-244917
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像表示装置の利用者は、映像表示装置から離れた位置にいる場合でも、映像表示装置の表示画面を注視していることもあり、映像表示装置の利用者の瞳孔が撮像部から見える場合でも、映像表示装置の表示画面を注視していない場合もある。
すると、特許文献１に開示の技術では、ユーザが表示画面を注視しているにも関わらず画面の輝度を下げてしまったり、利用者が表示画面を注視していないにも関わらず画面の輝度を下げないままとしてしまうなど、好適な消費電力の低減制御を行うことができないという課題があった。
【０００５】
本発明は上記課題を鑑みてなされたものであり、その目的は、より好適に消費電力の低減制御をおこなうことにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の一実施の形態は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【０００７】
本発明によれば、より好適に消費電力の低減制御をおこなうことが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例に係る映像表示装置及びシステムの一例の説明図
【図２】本発明の一実施例に係る注視判定によるバックライト制御の一例の説明図
【図３】本発明の一実施例に係る映像表示装置の構成の一例の説明図
【図４】本発明の一実施例に係る注視認識部の構成の一例の説明図
【図５】本発明の一実施例に係る省電力制御部の構成の一例の説明図
【図６】本発明の一実施例に係る表示パネルの構成の一例の説明図
【図７】本発明の一実施例に係る表示パネル及びパネル制御部の構成の一例の説明図
【図８】本発明の一実施例に係る映像音声出力制御部の一例の説明図
【図９】本発明の一実施例に係る映像音声出力制御部の映像出力制御の一例の説明図
【図１０】本発明の一実施例に係る映像認識部の一例の説明図
【図１１】本発明の一実施例に係る字幕表示制御の一例の説明図
【図１２】本発明の一実施例に係る省電力モード切替フローチャートの一例の説明図
【図１３】本発明の一実施例に係る注視判定フローチャートの一例の説明図
【図１４】本発明の一実施例に係る注視判定フローチャートの一例の説明図
【図１５】本発明の一実施例に係る注視判定フローチャートの一例の説明図
【図１６】本発明の一実施例に係るバックライト点灯制御の一例の説明図
【図１７】本発明の一実施例に係るバックライト点灯制御フローチャートの一例の説明図
【図１８】本発明の一実施例に係る注目認識処理制御の一例の説明図
【発明を実施するための形態】
【０００９】
以下、本発明の実施例を、図面を参照して説明する。
【実施例１】
【００１０】
図１は本発明の実施例１に係る映像表示装置及びシステムの一例を示すものである。本発明の実施例１に係る映像表示装置及びシステムは映像表示装置に対するユーザの注視状況によりバックライトの点灯、映像表示または音声出力を適用的に切り替えることにより、消費電力の低減を図るものである。
【００１１】
映像表示装置100は映像を表示する表示パネル200と音声を出力するスピーカ500を備え、アンテナ800から得られる放送波やインターネット900から得られる配信映像、HDD(Hard Disk Drive)やSSD(Solid State Disk)から成る記録装置600に録画された映像を再生する。ユーザはリモコン300を使って映像表示装置100を操作し、電源のオンオフや音量ボリュームの調整、チャンネルの切替などの操作を行う。リモコン300からの赤外線信号はリモコン信号入力部400で受信され、これらのユーザ操作が実行される。ユーザ操作のオプション的な機器としてWi-Fi等の無線LAN機能を備えた携帯電話1000を使うこともある。携帯電話100の操作命令は無線インターフェイス1100を通じて映像表示装置100に入力される。
【００１２】
カメラ700またはセンサ710がユーザの映像表示装置への注視を判定するためにユーザの状態を計測する手段である。これらは注視を判定するアルゴリズムにより個数が変わる。それぞれ1つずつでも良いし、複数あってもよい。また、どちらか一方だけでもよい。例えばカメラを２つ並べることにより広い視野のユーザ映像を取得すると共に、ユーザと映像表示装置との距離を三角測量に基づくステレオカメラの原理から測定することができる。こうして得られたユーザ映像を映像表示装置内部で認識処理することで、映像表示装置に対する注視の有無を判別し、例えば、通常モードと省電力モードをとを切り替えて、する省電力制御が可能となる。
【００１３】
また、インターネット900を介して複数の映像表示装置(1300、1400)をデータセンタ1200に接続して、それぞれの映像表示装置における消費電力情報（消費電力の節減情報）を共有する消費電力情報共有システムを構成してもよい。
【００１４】
具体的には、複数の映像表示装置はそれぞれの消費電力情報をデータセンタ1200に送信し、データセンタ1200は受信したそれぞれの消費電力情報を集計して、消費電力の節減量の総計データ、平均節減量データなどの消費電力集計結果情報を算出する。データセンタ1200は、算出した消費電力集計結果情報をインターネット900を介して、複数の映像表示装置(1300、1400)に送信する。複数の映像表示装置(1300、1400)は、受信した消費電力集計結果情報を表示することにより、消費電力情報共有システムに接続した複数の映像表示装置のユーザは、当該複数の映像表示装置について消費電力の節減量の情報を共有することが可能となる。
【００１５】
図２は本発明の実施例１における注視判定によるバックライト制御の一例を示すものである。映像表示装置100は、カメラ700またはセンサ710により計測したユーザの状態の情報に基づいて、内蔵する注視判定手段により、ユーザが映像表示装置を注視しているかどうかを判別する。映像表示装置を注視している場合は通常どおり映像と音声を出力する。映像表示装置を注視していない場合には、表示パネルのバックライトを消灯し消費電力を節減する。ユーザによる一般的な映像表示装置視聴においては、必ずしもユーザは映像表示装置の前に座っているとは限らず、座っていてもユーザは常に映像表示装置を注視していない。映像表示装置に映像が表示されても何かしら別のことをしながら視聴することが多く、映像が表示がされている時間のうちユーザが映像表示装置の視聴とその他の動作を同時に行っている時間の割合は６５％ともいわれる。ここで映像表示装置全体の消費電力に占めるバックライトの消費電力の割合は８０％であり、ユーザが映像表示装置の視聴以外の動作を行っている時間のバックライトの消費電力を節減することにより、表示装置全体の消費電力のうち最大５０％近くを削減可能である。一方、映像表示装置100における注視判定手段の注視判定処理は、市販されている顔認識機能付きビデオカメラの消費電力同様の１W程度であることから、消費電力は十分小さく問題とならない。
【００１６】
バックライトを消して省電力状態になっているときに、図中に示すようにバックライト消灯による電力節減効果を表示することで、ユーザの省エネ意識を高めることが期待できる。
【００１７】
図３は本発明の実施例１における映像表示装置の構成の一例を示すものである。本発明を有する映像表示装置100は映像表示装置の基本機能部分に加え、ユーザの注目度を計測するための手段と計測された注目度により省電力制御を行うための手段から構成される。
【００１８】
映像表示装置の基本機能部分は、映像表示装置制御部110、映像音声出力部120、表示パネル200、パネル制御部210、スピーカ500、リモコン信号入力部400、記録装置600により実現される。システム制御部110は、リモコン300からリモコン信号入力部400を経由して入力されるユーザ操作指示に基づき、電源のオンオフ、放送波やインターネット配信映像または記録装置600上の録画映像など様々な映像ソースの選択切り替え、スピーカ500から出力される音声ボリュームの調整等、映像表示装置100全体の制御を司る部分である。映像音声出力部120は、ユーザが選択した映像ソースの符号化された映像ストリームを復号化して、非圧縮の映像信号／音声信号に変換する部分である。映像信号／音声信号は、表示パネル200、パネル制御部210、スピーカ500を通して出力される。
【００１９】
ユーザの注目度を計測するための手段は、カメラ700、センサ710、注目度認識部720から構成される。カメラ700によりユーザ映像を撮像し、センサ710から得られたセンサ情報と映像から注目度認識部720で認識処理を行って、映像表示装置への注目度を計測する。
【００２０】
計測された注目度により省電力制御を行う手段は、省電力制御部730、映像認識部740から構成される。映像認識部740はオプションで無くても良い。映像認識部740は表示パネルに表示される放送映像を認識し、省電力状態に移行しても出力すべき情報の有無（例えば字幕表示）を判断して省電力制御部730に伝える。省電力制御部730は、注目度認識部720から得られた注目度や、映像認識部730から字幕表示位置範囲情報を用いて、パネル制御部210や映像音声出力部120に制御命令を出力して、映像表示装置100全体の省電力制御を行う。
【００２１】
また、省電力制御部730は、省電力制御により節減した消費電力量を測定して、消費電力情報として格納する。格納した消費電力情報はネットワーク通信部130を介して図１のデータセンタ1200に送信する。これにより、データセンタ1200は、消費電力情報共有システムの消費電力の収集処理が可能となる。
【００２２】
また、映像表示装置100は、データセンタ1200が集計した複数の映像表示装置の消費電力集計情報を、インターネットを介してネットワーク通信部130から受信し、映像音声出力制御部120が表示映像に変換して、パネル200に表示する。これにより、ユーザがデータセンタ1200に接続される複数の映像表示装置の消費電力の節減量の総計データ、平均節減量データなどを認識することができる。
【００２３】
図４は注視認識部720の構成を示すものである。注視認識部720は、制御部721、顔検出部722、顔・視線角度算出部723、注視位置算出部724、注視有無判定部725、視聴者識別部726から構成される。視聴者識別部726はオプションで無くても良い。注視認識部720は、システム制御部110からの制御信号の他、カメラ700からの映像信号とセンサ710からの距離情報を入力とし、省電力制御部730に対して制御信号として注視有無フラグを出力する。
【００２４】
顔検出部722はカメラ700から入力された映像信号からユーザの顔領域を検出し、検出した顔位置情報１を顔・視線角度算出部723と視聴者識別部726へ出力する。顔・視線角度算出部723は入力された顔位置情報１と映像信号から顔または視線の方向角度３を算出し、注視位置算出部724へ出力する。注視位置算出部724ではユーザの顔または視線の方向角度３とユーザの位置、距離情報２から映像表示装置方向の注視場所４を算出し、注視有無判定部726へ出力する。注視有無判定部726では予め決められた閾値(映像表示装置への注視と判定できる範囲情報)と注視場所４を比較し、閾値内であれば注視有フラグを閾値外であれば注視無しフラグを省電力制御部730へ出力する。
【００２５】
なお、本実施例では、上記の注視認識動作は基本的に全てカメラからのフレームレート（例えば３０ＦＰＳ）で動作する。
【００２６】
視聴者識別部726はユーザを識別して顔検出部722から入力された顔位置情報からユーザを識別するための特徴ベクトルを算出し、過去に抽出した特徴ベクトルと比較してユーザの追跡を実現する部分である。これによりユーザ毎の過去の視聴履歴をまとめ、ユーザ毎の注視判定パラメータを自動的に調整できるようになる。
【００２７】
図５は省電力制御部730の構成を示すものである。省電力制御部730は制御部731、パネル制御命令生成部732、映像音声出力制御命令生成部733、消費電力節減量記録部734から構成される。省電力制御部730はシステム制御部110からの制御命令と注視認識部720から注視有無フラグ、映像認識部740からの字幕表示位置範囲情報を入力とし、パネル制御部210にパネル点灯制御命令を、映像音声出力制御部120に映像音声出力制御信号を出力する。また、消費電力節減量を算出して消費電力情報としてネットワーク通信部130に出力する。
【００２８】
パネル制御命令生成部732は、注視認識部720から入力された注視有無フラグと、後述の判定アルゴリズムに基づいて、表示パネル200のバックライトを制御する信号を生成し、パネル制御部210に送信する。
【００２９】
映像音声出力制御命令生成部733は、注視認識部720から入力された注視有無フラグと、後述の判定アルゴリズムに基づいて、映像表示装置１００が出力する映像と音声を制御する映像音声出力制御部120に映像音声出力制御信号を出力する。
【００３０】
制御部731は、システム制御部110からの制御命令と注視認識部720から入力された注視有無フラグに基づいて、パネル制御命令生成部732と映像音声出力制御命令生成部733の制御を通常モードと省電力モードとで切り替える。
【００３１】
なお、当該通常モードと省電力モードの切り替えは、パネル制御命令生成部732、映像音声出力制御命令生成部733のそれぞれで行ってもよい。
【００３２】
消費電力節減量記録部734は、制御部731によるパネル制御命令生成部732と映像音声出力制御命令生成部733の制御状態に基づいて、映像表示装置100の消費電力の節減量を計測して記録する。記録した消費電力節減量は、消費電力情報として、ネットワーク通信部130に出力される。
【００３３】
また、消費電力節減量の計測は、例えば、以下の動作で実現することが可能となる。制御部731によるパネル制御命令生成部732と映像音声出力制御命令生成部733の複数の制御状態のそれぞれについて単位時間当たりの消費電力節減量を格納したテーブル情報を予め格納しておく。次に、制御部731による制御状態ごとの経過時間を計測する。計測した各制御状態の経過時間に上記テーブル情報に示される各制御状態の単位時間当たりの消費電力節減量を乗じた積から各制御状態による消費電力節減量を算出する。算出した各消費電力節減量を合計して、映像表示装置100の消費電力節減量を算出することが可能となる。
【００３４】
図６は表示パネル200の物理的な構成を示すものである。表示パネル部200は映像表示を司る部分で、映像を表現する液晶部201と映像の明るさを調整するバックライト部202が前後に張り合わさって構成される。バックライト部は離散的にLED203が配置されており、映像内で部分的に照度差を作れるようになっている。
【００３５】
図７は表示パネル200およびパネル制御部210の構成を示すものである。表示パネル200は前述のように液晶部201とバックライト部202から構成される。
【００３６】
パネル制御部210は表示パネル200の表示を制御する部分で、制御部211、液晶制御部212、バックライト制御部213から構成される。制御部211は、映像音声出力制御部120から入力される映像信号、システム制御部110から入力される制御信号、省電力制御部730から入力されるパネル点灯制御信号を受けとる。液晶制御部212に対しては映像信号と制御信号を出力し、バックライト制御部213に対しては映像信号とパネル点灯制御信号を出力する。液晶制御部212は入力された映像信号と制御信号から液晶制御信号を生成して液晶部201へ出力する。バックライト制御部213は入力された映像信号とパネル点灯制御信号からバックライト制御信号を生成し、バックライト部202に出力する。これら入出力制御は映像フィールド信号時間単位(=1/60秒)で繰り返される。
【００３７】
次に、映像表示装置100による表示パネル200の省電力制御動作の一例について説明する。例えば、パネル制御部210が省電力制御部730からパネル点灯制御命令として「パネル消灯」または「パネル減光」の命令を受けると、バックライト制御部213は制御部211から映像信号の有無にかかわらず、バックライト制御信号としてバックライトを消灯または減光する命令を出し、バックライトを消灯または減光してバックライトの消費電力を最小化または低減する。パネル制御部210が省電力制御部730からパネル点灯制御命令として「パネル点灯」または「パネル光量増加」の命令を受けると、通常どおり、映像信号に基づいてバックライトの点灯制御または光量増光制御を行う。
【００３８】
図８は映像音声出力制御部120の構成を示すものである。映像音声出力制御部120は、制御部121、映像音声復号部122、チューナー123、通信部124、記録再生制御部125から構成される。制御部121はシステム制御部110からの制御信号と省電力制御部730からの映像音声出力制御信号に基づいて映像音声出力制御部120全体の動作を制御する。映像音声復号部122は、チューナー123を介して得られる放送波、通信部124を介して得られるインターネット配信映像、記録再生制御125を介して得られる記録装置600上の録画映像等の符号化された映像ストリームを復号化して非圧縮の映像信号／音声信号に変換、パネル制御部210やスピーカ500に出力する。
【００３９】
映像表示装置100による映像音声出力の省電力制御動作の一例について説明する。ユーザが映像表示装置を注視しなくなるなどして、制御部121が省電力制御部730から映像音声制御信号として省電力状態へ移行するよう命令を受けると、映像音声復号部122に制御信号を発行し、映像の復号処理を停止して音声のみを復号させて、音声のみがスピーカ500から出力されるように映像表示装置100の動作を変更する。ユーザが映像表示装置への注視を再開して、省電力制御部730から映像音声制御信号として通常状態へ移行するよう命令を受けると、映像音声復号部122に制御信号を発行し、映像の復号処理を再開させて通常通りの映像と音声が出力されるように映像表示装置100の動作を変更する。
【００４０】
映像表示装置100による映像音声出力の省電力制御動作の別の一例について説明する。ユーザが映像表示装置のある部屋からいなくなったり寝てしまったりして、省電力状態が一定時間以上継続した場合、映像の復号処理を停止させるだけでなく、以下のような方法で映像再生を一時停止し、再びユーザが映像表示装置を注視したときに映像再生を再開するようにできる。
【００４１】
映像ソースがインターネット配信映像または記録装置600に録画された映像の場合、通信部124や記録再生制御125に映像ストリームの取得停止命令を制御信号として送り、映像および音声の出力を一時停止させる。このとき、停止位置情報を制御部121内に記録しておく。再びユーザが注視を開始するなどして省電力制御部730から映像音声制御信号として通常状態へ移行するよう命令を受けると、先述の停止位置情報に基づいて、通信部124や記録再生制御125に映像ストリームの取得命令を制御信号として送り、前回停止した部分から映像および音声を再生する。再生停止時間が数時間以上と長い場合には、いきなり再生を開始せず、「再生中断中のコンテンツがあります」など、再生中断中のコンテンツがあることを示す表示を行い、再生を再開するか別のチャンネルに切り替えるかをユーザに選択させてもよい。
【００４２】
映像ソースがチューナー123の場合、映像ストリームの再生を停止する代わりに記録装置600に録画する。録画する時間長は予めユーザが設定しておいた時間長でも録画対象となった放送番組の終わりまでであっても良い。再びユーザが注視を開始するなどして省電力制御部730から映像音声制御信号として通常状態へ移行するよう命令を受けた際の動作は上記記録映像の再生再開と同じ動作となる。
【００４３】
映像表示装置100による映像音声出力の省電力制御動作の別の一例について説明する。図９は省電力モードから通常モードに復帰する際の再生遅延を防止するための制御例に関する説明である。図8説明では映像の復号処理を停止する制御例について述べたが、この例では、省電力モードから通常モードに復帰する際、最大約0.5秒の遅延が発生する。これはほとんどの映像ソースがMPEG-2あるいはH.264と呼ばれる符号化方式ならびに放送規格によって規格化されていることに起因する。これらの符号化方式では動画を構成するフレーム画像の前後の類似性（相関）に基づいて情報圧縮を行っており圧縮の最小時間単位であるGOP（Group of Picture）が0.5秒単位に規定されているためである。特に放送波の場合、再生を行うために復号を行おうとすると、チューナー123経由で与えられる映像ストリームの次のGOPを取得するまでに最大0.5秒待つ必要が生ずる。これが遅延発生の理由である。
【００４４】
これを回避するためには、復号処理をしなくても直近の映像ストリームをバッファ等に保存しておき、図9に有るようにGOPの先頭フレームであるIフレーム画像のみを復号してパネル制御部210中におくり、液晶部201で低いフレームレートでIフレーム画像のみを再生しておけばよい。バックライトが消灯している状態では、再生しているIフレーム画像は画面上には表示されないが、ユーザが再び注視してバックライトが点灯されると即座にその映像の最新のIフレーム画像をユーザが視聴することが可能となる。これにより、ユーザに対して、レスポンスが低い、待たされている、といった印象を与えることを防ぐことができる。
【００４５】
また、映像音声出力の省電力制御動作の別の例として、復号開始命令と共に先頭フレームから順に次々と復号し、各フレームに付与されている時刻情報(PTS: Presentation Time Stamp)が再生している音声に同期するまで繰り返してもいい。この場合、復号処理を行う映像音声復号部122が表示レート(６０フィールド／秒)よりも高速に動作できるように構成する必要がある。
【００４６】
図１０は映像認識部740の構成を示すものである。映像認識部740は制御部741と字幕表示検出部742から構成される。映像認識部740はシステム制御部110から字幕表示検出を行うかどうかの制御信号を受けて字幕表示検出部742を制御する。字幕表示検出部742は表示パネルに表示される放送映像を認識し、字幕表示領域の位置及び範囲を検出、算出し、字幕表示位置範囲情報として省電力制御部730に伝える。
【００４７】
図１１はバックライト消灯または減光時の字幕表示制御の説明である。以下の動作は、字幕表示位置範囲情報に基づいて省電力制御部730が制御する。まず、映像に含まれる字幕表示領域1000には、省電力モードであっても常に表示しておいた方が良い情報がある。例えば、朝の番組で映像表示装置画面の左上等に表示される時刻や、臨時の地震／津波速報などがそれにあたる。これらの情報については、省電力モードに移行した際、単に画面全体のバックライトを消灯もしくは減光してしまうのではなく、映像認識部740で検出された字幕表示領域1000にあたるバックライト部202のＬＥＤ203は点灯もしくは光量を維持し、他の非字幕表示領域1001にあたるバックライト部202のＬＥＤ203を消灯または減光する。これにより、字幕表示領域については通常表示の時と同じく表示し、ユーザの利便性を損なうことがなく、非字幕表示領域については消灯または減光することで電力削減を実現できる。なお、これら字幕表示領域は時間経過による画像変化が比較的少ないため、映像音声出力制御部120における省電力モード時の復号処理制御（処理間隔）のままでもユーザにとって違和感なく表示を行うことが可能となる。この場合、映像音声出力制御部120における消費電力は、全体のバックライトを消灯または減光した場合と同等まで低減することが可能となる。
【００４８】
なお、上記の図１０、図１１の例では、映像認識部740が字幕表示領域を検出、算出し、省電力制御部730が字幕表示領域とその他の領域とでバックライトの消灯、減光の有無を変化させる例を説明した。しかし、この例に変えて、単に放送信号に含まれる時刻情報または映像表示装置100内の内部管理の時刻情報を所定の領域に表示し、当該所定の表示領域についてバックライトを点灯または増光し、その他の領域については消灯、減光する構成としてもよい。この場合は、映像認識処理を行うことなく、より簡便に省電力化とユーザに対する時刻の伝達機能を両立することが可能となる。
【００４９】
図１２は注視判定により映像表示装置100が映像表示の省電力制御動作を行う際のフローチャートである。
【００５０】
まず、ユーザがリモコン300から「ユーザ注視判定」モードを開始する指示を行い、節電動作を開始する。システム制御部110は注視認識部720、省電力制御部730、映像認識部740、パネル制御部210に「ユーザ注視判定」モードを指示する制御信号を送信し、ユーザ注視判定を用いた省電力動作を開始する(ステップS01001)。
【００５１】
注視認識部720は、カメラ700より取得したユーザ映像からユーザが映像表示装置を注視しているかどうかを判定する（ステップS01002）。判定結果は省電力制御部720に注視有無フラグとして出力される。省電力制御部730では、ユーザの映像表示装置への注視を検出しなければ「省電力モード」への移行処理(ステップS01003)を実施し、検出すれば「通常モード」への移行処理(ステップS01004)を実施する。
【００５２】
次に、省電力制御部730にある制御部731またはパネル制御命令生成部732では、現在の制御モードが「省電力モード」であるかどうかを判別する（ステップS01003）。「省電力モード」であればステップS01008に進む。「省電力モード」で無ければ「省電力モード」へ移行すべきかどうかの判定処理(ステップS01006)を行う。移行すべきと判断されれば「省電力モード」への移行処理(ステップS01007)を実行する。具体的には、パネル制御部に対して表示パネルを消灯する旨のパネル点灯制御信号を出力する。信号出力後はステップS01008に進む。移行すべきでないと判断されれば、そのままステップS01008に進む。
【００５３】
一方、「通常モード」への移行処理(ステップS01004)を実施する際には、制御部731またはパネル制御命令生成部732で現在の制御モードが「省電力モード」であるかどうかを判別する。「省電力モード」であれば「通常モード」への移行処理（ステップS01006）を行う。具体的には、パネル制御部に対して表示パネルを点灯する旨のパネル点灯制御信号を出力する。信号出力後はステップS01008に進む。「省電力モード」でなければ、そのままステップS01008に進む。
【００５４】
最後にステップS01008ではユーザからの「ユーザ注視判定」モード終了命令の有無を判定する。し、終了命令があればステップS01009に進んで「ユーザ注視判定」モードを終了する。終了命令が無ければステップS01002に戻って処理を繰り返す。
【００５５】
図１３は注視判定アルゴリズムのフローチャートの一例である。注視認識部７２０中の顔検出部722の動作であり、図１２中のステップS01002の処理の詳細にあたる。
【００５６】
まず、カメラ700よりユーザ映像を取得する（ステップS02001）。次にユーザ映像に対して顔検出処理を行い、顔の有無を調べる（ステップS02002）。顔があれば映像表示装置を注視していると判断してステップS02003へ進み、顔が無ければ映像表示装置を注視していないと判断してステップS02004へと進む。
【００５７】
ステップS02003に到達した場合は注視「有」フラグを省電力制御部730に出力する。一方、ステップS02004に到達した場合は注視「無」フラグを省電力制御部730に出力する。
【００５８】
図１４は注視判定アルゴリズムのフローチャートの別の一例である。ユーザの顔方向を計測して映像表示装置への注視有無を判定する。注視認識部720中の顔・視線角度算出部723の動作であり、図１２中のステップS01002の処理の詳細にあたる。
【００５９】
まず、カメラ700よりユーザ映像を取得する（ステップS03001）。次にユーザ映像に対して顔検出処理を行い、顔の有無を調べる（ステップS03002）。顔があればステップS03003へ進み、無ければステップS03006へと進む。
【００６０】
ステップS03003では検出した顔の方向を計測する。顔方向の計測には例えば参考文献１に開示されている方法を用いればよい。顔は3つの回転自由度を持つので、それぞれ三種類の方向角度が得られるが、ここではカメラに対する上下と左右の顔方向を使う。
〔参考文献１〕特開2007-286995
次に得られたカメラに対する上下と左右の顔方向が、予め設定しておいた閾値よりも小さいかどうかを判定する（ステップS03004）。これはユーザが映像表示装置の方向に顔が向いているかどうかの判定と同値である。カメラに対する顔方向が閾値よりも小さければ、映像表示装置を注視していると判断してステップS03005へすすみ、大きければ映像表示装置を注視していないと判断してステップS03006へ進む。
【００６１】
ステップS03005に到達した場合は注視「有」フラグを省電力制御部730に出力する。一方、ステップS03006に到達した場合は注視「無」フラグを省電力制御部730に出力する。
【００６２】
図１４の例では、判定処理において顔の有無のみならず顔の方向まで算出しているのでより高精度の注視判定が可能となる。
【００６３】
図１５は注視判定アルゴリズムのフローチャートの別の一例である。ユーザの視線方向を計測して映像表示装置への注視有無を判定する。視線計測には例えば上述の参考文献１に開示されている方法を使う。注視認識部720中の顔・視線角度算出部723と注視位置算出部724の動作であり、図１２中のステップS01002の処理の詳細にあたる。
【００６４】
まず、カメラ700よりユーザ映像を取得する（ステップS04001）。次にユーザ映像に対して顔検出処理を行い、顔の有無を調べる（ステップS04002）。顔があればステップS04003へ進み、無ければステップS04012へと進む。
【００６５】
ステップS04003ではまず検出が簡単な瞳（または黒目）検出処理を行い、瞳の有無を調べる。瞳があれば、ステップS04004へ移動する。瞳がなければステップS04012へ移動する。
【００６６】
ステップS04004では、眼球姿勢を推定するために必要となる目領域検出処理を行う。左右それぞれでこの目領域検出処理を行い、両目とも検出できなかった場合はS04012へと移動する。両目が検出できた場合はS04006へ、片目だけが検出できた場合はS04007へ移動する。ステップS04006／S04007では検出したそれぞれの目について視線方向を求める。ステップS04006の場合は、左右それぞれの視線方向を算出したあと、左右の方向を加算平均し、両目としての方向を求める(S04008)。最後にセンサ710などで得られた距離情報から映像表示装置のパネル面を仮想的に拡張した平面上での視線位置を検出する（ステップS04009）。最後に、視線位置が予め設定しておいた範囲内で有るかどうかで映像表示装置を注視しているかどうかを判定し（ステップS04010）、ステップS04011に到達した場合は注視「有」フラグを省電力制御部730に出力する。一方、ステップS04012に到達した場合は注視「無」フラグを省電力制御部730に出力する。
【００６７】
図１５の例では、判定処理において顔の有無、顔の方向のみならず、視線方向まで算出しているのでより高精度の判定が可能となる。
【００６８】
図１６はバックライトの点灯制御の一例の説明図である。表中の第１行はユーザの注視挙動の時間変化を示している。第1行において、ユーザーの視線が上方向の場合は、ユーザーが映像表示装置を注視しているときを示している。ユーザーの視線が下方向の場合は、ユーザーが映像表示装置を注視していないときを示している。第2行、第3行はこうしたユーザ挙動を理想的に認識できる場合のフレーム毎の認識結果とそれに従って単純にバックライトを点灯・消灯する場合の状態変化を示している。理想的な認識精度が得られる場合は、ユーザが映像表示装置を見ているときは表示パネルを点灯し、映像表示装置を見ていないときは消灯するという単純制御で、ユーザにとって全くストレス無く映像表示装置の省電力制御を行うことができる。
【００６９】
しかし、実際には、認識精度は１００％にならず、例えば第3行目に示すような、理想状態と異なる認識結果が得られることがしばしばある。この場合、フレーム毎の認識に応じて単純にオンオフするだけでは第4行目に示すような表示パネルの点灯パタンになり、ユーザが映像表示装置を見ている最中に頻繁にバックライトが消えたり、映像表示装置を見ていないのに表示パネルがついたりと、ユーザに対してストレスを与えることになり、ユーザ注視判定を用いた省電力制御を利用してもらえなくなる恐れがある。
【００７０】
そこで第5行目に示すように、フレーム毎の注視認識結果に対して所定の判定制御を用いたバックライト消灯・点灯制御を行うことにより、この問題を解決できる。所定の判定制御の一例としては、所定の複数のフレーム数または時間の閾値を設定し、当該閾値のフレーム数または時間以上連続して注視を検知した場合に初めて表示パネルを点灯し、注視が検出されなくなって消灯する際も、第２の閾値以上のフレーム数または時間連続して注視が非検出となるまで消灯しないようにする。これにより、ユーザ動作に対する表示パネル点灯・消灯動作に若干の遅延が発生するが、頻繁にバックライトが明滅する動作を回避できるようになる。これにより、ユーザに対する使い勝手と注視判定による省電力化を両立できるようになる。
【００７１】
以上の図１６の説明では、バックライトの消灯・点灯制御として説明したが、同様のバックライトの減光・増光制御を行ってもかまわない。この場合、以上の図１６の説明において、消灯を減光に、点灯を増光に変更すればよい。
【００７２】
以上の図１６の説明では、バックライトの消灯・点灯制御として説明したが、図８及び図９において説明した映像音声出力の省電力制御動作においても、同様に図１６において説した閾値を用いた所定の判定制御を行ってもよい。この場合もユーザに対する使い勝手と注視判定による省電力化を両立できる。
【００７３】
図１７は、図１６で説明したバックライトの消灯・点灯制御例における動作をフローチャートで説明するものである。以下の動作は制御部７３１またはパネル制御命令生成部７３２にて行う。
【００７４】
まず、省電力制御部７３０中の制御部７３１が「ユーザ注視判定」モードを指示する制御信号を受信して処理が始まる。
【００７５】
制御部７３１またはパネル制御命令生成部７３２では、例えば内部にもつ二種類のカウンタ、点灯カウンタと消灯カウンタをそれぞれ予め設定しておいた値Con、Coffで初期化し(ステップS06001)、次のステップS06002へ進む。ステップS06002では図１２にて説明した状態移行判定の結果に基づき、「省電力モード」移行ならばステップS06003へ、「通常モード」移行ならばステップS06004へと進む。
【００７６】
ステップS06003では点灯カウンタを1減らし、消灯カウンタを再初期化して次のステップに進む。ステップS06005では、点灯カウンタが０になったかどうかを調べる。０であればステップS06006へ進み、非０であればS06002に戻る。ステップS06006では、パネル制御部２１０にバックライト消灯を命令し、S06002に戻る。
【００７７】
一方、ステップS06004では消灯カウンタを1減らし、点灯カウンタを再初期化して次のステップに進む。ステップS06007では、点灯カウンタが０になったかどうかを調べる。０であればステップS06008へ進み、非０であればS06002に戻る。ステップS06008では、パネル制御部２１０にバックライト点灯を命令し、S06002に戻る。
【００７８】
以上により、図１６で述べたユーザに取ってストレスの少ないバックライトの消灯・点灯制御が可能となる。
【００７９】
以上の図１７の説明では、バックライトの消灯・点灯制御として説明したが、同様のバックライトの減光・増光制御を行ってもかまわない。この場合、以上の図１７の説明において、消灯を減光に、点灯を増光に変更すればよい。
【００８０】
図１８は、注視認識部720における消費電力をさらに低減するための制御例を説明するものである。図１８において、ユーザーの視線が上方向の場合は、ユーザーが映像表示装置を注視しているときを示している。ユーザーの視線が下方向の場合は、ユーザーが映像表示装置を注視していないときを示している。
【００８１】
注視認識部720での処理は基本的にカメラから入力された画像を処理して映像表示装置への注視を判定するものであり、注視判定の応答性の観点からは、可能な限りカメラのフレームレートと同じ頻度で処理できることが望ましい。しかし、消費電力低減の観点から見ると処理量を減らすことが望ましい。そこで、現在の状態が省電力モードか通常モードかに基づいてユーザ状態をサンプリングするカメラのフレームレートを変更することにより、電力低減と省電力モードから通常モードへの復帰時の応答速度を両立することが可能となる。
【００８２】
そこで、ユーザが映像表示装置を注視しているのとき（＝通常モード）には、低いフレームレートで注視認識を行い、認識処理に要する消費電力を低減する。ユーザが注視しなくなったときのバックライト消灯への応答速度は若干悪くなるが、もともと別のところを見ているので問題はない。一方、ユーザが映像表示装置を注視していないとき（＝省電力モード）は高いフレームレートで注視認識を行う。これにより、バックライトを点灯または増光させる際の応答速度を高くし、使い勝手の劣化を最小限にとどめることが可能となる。
【００８３】
すなわち、ユーザが映像表示装置を注視しているときの注視認識の頻度を、ユーザが映像表示装置を注視していないときの注視認識の頻度よりも低減することにより、認識処理に要する消費電力を低減とユーザの使い勝手の両立を実現することが可能となる。
【００８４】
また、リモートコントローラー300に、省電力モードから通常モードへの変更指示を出力するボタンを設け、映像表示装置は、省電力モードである場合には、当該変更指示に基づいて通常モードへ切り替える構成としてもよい。これにより、ユーザが注視しているにも関わらず、映像表示装置100が省電力モードのままである場合など、ユーザの求める通常モードへ強制的に移行するように構成すれば、想定外の要因で省電力モードになっている場合でも、ユーザの不快感を低減することが可能となる。
【００８５】
また、リモートコントローラー300を振動センサまたは方位センサを有する構成とし、当該振動センサまたは方位センサが振動または方位の変化を感知した場合に、省電力モードから通常モードへの変更指示を出力し、映像表示装置は、省電力モードである場合には、当該変更指示に基づいて通常モードへ切り替える構成としてもよい。ユーザがリモコンを操作する場合は、映像表示装置を注視しているまたは今後注視する可能性が高い。よってこのような構成にすることにより、ユーザが注視しているのにも関わらず、省電力モードのままであったり、通常モードへの移行の応答性が下がることを防止することが可能となる。
【００８６】
また、映像表示装置100は、省電力モードの場合にバックライトの一部を点灯、増光し、当該部分に省電力モード処理中である旨の文字または図形を表示してもよい。これにより、ユーザに電源が入っていないのか、電源は入っているが、省電力モード処理中なのかを確実に伝えることが可能となる。また、バックライトの一部を点灯、増光して文字または図形を表示するかわりに、表示パネル200よりも小さい第２の表示部を設けて省電力モード処理中である旨の文字または図形を表示してもよく、また小型のLED光源などを映像表示装置100に設けて、点灯の有無または点灯色などにより省電力モード処理中である旨の表示をおこなってもよい。
【００８７】
また、映像表示装置100は、省電力モードの場合にバックライトの一部を点灯、増光し、当該部分に、消費電力節減量記録部７３４に記憶する消費電力節減量またはこれに基づいて算出した消費電力節減量に関する情報を示す文字または図形を表示してもよい。これにより、ユーザは、消費電力の節減量を実感することが可能となる。バックライトの一部を点灯、増光して文字または図形を表示するかわりに、表示パネル200よりも小さい第２の表示部を設けて消費電力の節減量またはこれに関する情報を示す文字または図形を表示してもよい。
【００８８】
以上説明した本発明の映像表示装置によれば、より好適に消費電力の低減制御をおこなうことが可能となる。
【符号の説明】
【００８９】
１００ 映像表示装置
２００ 表示パネル
３００ リモートコントローラー
４００ リモコン信号入力部
５００ スピーカ
６００ 記録装置
７００ カメラ
７１０ センサ
８００ アンテナ
９００ インターネット
１０００ 携帯電話
１１００ 無線インターフェイス
１２００ サーバ
１３００ 映像表示装置
１４００ 映像表示装置
【技術分野】
【０００１】
本発明は、撮像部により撮像した映像やセンサの検出結果に基づいて算出した利用者の状態に応じて映像表示装置を制御する技術に関する。
【背景技術】
【０００２】
撮像部により撮像した映像やセンサの検出結果に基づいて算出した利用者の状態に応じて映像表示装置を制御する技術として、例えば、特許文献１の段落００１７には、「撮像手段１で撮影した視聴者の映像のうち、顔部分や首部分を肌色として検出し、この肌色が検出された空間内の位置を映像パターン内に求めて視聴者位置」を検出する「視聴者位置検出手段」が開示されている。段落００２０には、「視聴者が覚醒状態にあるか、睡眠状態であるかを、撮像手段１で撮影した視聴者の眼球や瞳孔の動きを検出する」ことにより、「視聴者の状態情報を検出」する「視聴者状態検出手段」ことが開示されている。段落００３２には、「視聴者１８が視聴可能領域１７から離れた場合には、これを前記複数の人感センサ１２の出力に基づいて、視聴者位置検出手段９が検出し、受像機制御手段１１は映像表示手段２の画面の輝度を段階的に下げる」ことにより「消費電力を抑制する」ことが開示されている。段落００３５には、「視聴者状態検出手段１０により、撮影画像中で瞳孔が動かないか、見えないため、睡眠に入ったと判断して、視聴者の睡眠状態が検出されると、受像機制御手段１１は、映像表示手段２の輝度を下げ、必要に応じて受像機Ｂの電源をオフにする。これにより、視聴者が睡眠中の電力消費を無くして省電力効果を上げる」ことが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-244917
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像表示装置の利用者は、映像表示装置から離れた位置にいる場合でも、映像表示装置の表示画面を注視していることもあり、映像表示装置の利用者の瞳孔が撮像部から見える場合でも、映像表示装置の表示画面を注視していない場合もある。
すると、特許文献１に開示の技術では、ユーザが表示画面を注視しているにも関わらず画面の輝度を下げてしまったり、利用者が表示画面を注視していないにも関わらず画面の輝度を下げないままとしてしまうなど、好適な消費電力の低減制御を行うことができないという課題があった。
【０００５】
本発明は上記課題を鑑みてなされたものであり、その目的は、より好適に消費電力の低減制御をおこなうことにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の一実施の形態は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【０００７】
本発明によれば、より好適に消費電力の低減制御をおこなうことが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例に係る映像表示装置及びシステムの一例の説明図
【図２】本発明の一実施例に係る注視判定によるバックライト制御の一例の説明図
【図３】本発明の一実施例に係る映像表示装置の構成の一例の説明図
【図４】本発明の一実施例に係る注視認識部の構成の一例の説明図
【図５】本発明の一実施例に係る省電力制御部の構成の一例の説明図
【図６】本発明の一実施例に係る表示パネルの構成の一例の説明図
【図７】本発明の一実施例に係る表示パネル及びパネル制御部の構成の一例の説明図
【図８】本発明の一実施例に係る映像音声出力制御部の一例の説明図
【図９】本発明の一実施例に係る映像音声出力制御部の映像出力制御の一例の説明図
【図１０】本発明の一実施例に係る映像認識部の一例の説明図
【図１１】本発明の一実施例に係る字幕表示制御の一例の説明図
【図１２】本発明の一実施例に係る省電力モード切替フローチャートの一例の説明図
【図１３】本発明の一実施例に係る注視判定フローチャートの一例の説明図
【図１４】本発明の一実施例に係る注視判定フローチャートの一例の説明図
【図１５】本発明の一実施例に係る注視判定フローチャートの一例の説明図
【図１６】本発明の一実施例に係るバックライト点灯制御の一例の説明図
【図１７】本発明の一実施例に係るバックライト点灯制御フローチャートの一例の説明図
【図１８】本発明の一実施例に係る注目認識処理制御の一例の説明図
【発明を実施するための形態】
【０００９】
以下、本発明の実施例を、図面を参照して説明する。
【実施例１】
【００１０】
図１は本発明の実施例１に係る映像表示装置及びシステムの一例を示すものである。本発明の実施例１に係る映像表示装置及びシステムは映像表示装置に対するユーザの注視状況によりバックライトの点灯、映像表示または音声出力を適用的に切り替えることにより、消費電力の低減を図るものである。
【００１１】
映像表示装置100は映像を表示する表示パネル200と音声を出力するスピーカ500を備え、アンテナ800から得られる放送波やインターネット900から得られる配信映像、HDD(Hard Disk Drive)やSSD(Solid State Disk)から成る記録装置600に録画された映像を再生する。ユーザはリモコン300を使って映像表示装置100を操作し、電源のオンオフや音量ボリュームの調整、チャンネルの切替などの操作を行う。リモコン300からの赤外線信号はリモコン信号入力部400で受信され、これらのユーザ操作が実行される。ユーザ操作のオプション的な機器としてWi-Fi等の無線LAN機能を備えた携帯電話1000を使うこともある。携帯電話100の操作命令は無線インターフェイス1100を通じて映像表示装置100に入力される。
【００１２】
カメラ700またはセンサ710がユーザの映像表示装置への注視を判定するためにユーザの状態を計測する手段である。これらは注視を判定するアルゴリズムにより個数が変わる。それぞれ1つずつでも良いし、複数あってもよい。また、どちらか一方だけでもよい。例えばカメラを２つ並べることにより広い視野のユーザ映像を取得すると共に、ユーザと映像表示装置との距離を三角測量に基づくステレオカメラの原理から測定することができる。こうして得られたユーザ映像を映像表示装置内部で認識処理することで、映像表示装置に対する注視の有無を判別し、例えば、通常モードと省電力モードをとを切り替えて、する省電力制御が可能となる。
【００１３】
また、インターネット900を介して複数の映像表示装置(1300、1400)をデータセンタ1200に接続して、それぞれの映像表示装置における消費電力情報（消費電力の節減情報）を共有する消費電力情報共有システムを構成してもよい。
【００１４】
具体的には、複数の映像表示装置はそれぞれの消費電力情報をデータセンタ1200に送信し、データセンタ1200は受信したそれぞれの消費電力情報を集計して、消費電力の節減量の総計データ、平均節減量データなどの消費電力集計結果情報を算出する。データセンタ1200は、算出した消費電力集計結果情報をインターネット900を介して、複数の映像表示装置(1300、1400)に送信する。複数の映像表示装置(1300、1400)は、受信した消費電力集計結果情報を表示することにより、消費電力情報共有システムに接続した複数の映像表示装置のユーザは、当該複数の映像表示装置について消費電力の節減量の情報を共有することが可能となる。
【００１５】
図２は本発明の実施例１における注視判定によるバックライト制御の一例を示すものである。映像表示装置100は、カメラ700またはセンサ710により計測したユーザの状態の情報に基づいて、内蔵する注視判定手段により、ユーザが映像表示装置を注視しているかどうかを判別する。映像表示装置を注視している場合は通常どおり映像と音声を出力する。映像表示装置を注視していない場合には、表示パネルのバックライトを消灯し消費電力を節減する。ユーザによる一般的な映像表示装置視聴においては、必ずしもユーザは映像表示装置の前に座っているとは限らず、座っていてもユーザは常に映像表示装置を注視していない。映像表示装置に映像が表示されても何かしら別のことをしながら視聴することが多く、映像が表示がされている時間のうちユーザが映像表示装置の視聴とその他の動作を同時に行っている時間の割合は６５％ともいわれる。ここで映像表示装置全体の消費電力に占めるバックライトの消費電力の割合は８０％であり、ユーザが映像表示装置の視聴以外の動作を行っている時間のバックライトの消費電力を節減することにより、表示装置全体の消費電力のうち最大５０％近くを削減可能である。一方、映像表示装置100における注視判定手段の注視判定処理は、市販されている顔認識機能付きビデオカメラの消費電力同様の１W程度であることから、消費電力は十分小さく問題とならない。
【００１６】
バックライトを消して省電力状態になっているときに、図中に示すようにバックライト消灯による電力節減効果を表示することで、ユーザの省エネ意識を高めることが期待できる。
【００１７】
図３は本発明の実施例１における映像表示装置の構成の一例を示すものである。本発明を有する映像表示装置100は映像表示装置の基本機能部分に加え、ユーザの注目度を計測するための手段と計測された注目度により省電力制御を行うための手段から構成される。
【００１８】
映像表示装置の基本機能部分は、映像表示装置制御部110、映像音声出力部120、表示パネル200、パネル制御部210、スピーカ500、リモコン信号入力部400、記録装置600により実現される。システム制御部110は、リモコン300からリモコン信号入力部400を経由して入力されるユーザ操作指示に基づき、電源のオンオフ、放送波やインターネット配信映像または記録装置600上の録画映像など様々な映像ソースの選択切り替え、スピーカ500から出力される音声ボリュームの調整等、映像表示装置100全体の制御を司る部分である。映像音声出力部120は、ユーザが選択した映像ソースの符号化された映像ストリームを復号化して、非圧縮の映像信号／音声信号に変換する部分である。映像信号／音声信号は、表示パネル200、パネル制御部210、スピーカ500を通して出力される。
【００１９】
ユーザの注目度を計測するための手段は、カメラ700、センサ710、注目度認識部720から構成される。カメラ700によりユーザ映像を撮像し、センサ710から得られたセンサ情報と映像から注目度認識部720で認識処理を行って、映像表示装置への注目度を計測する。
【００２０】
計測された注目度により省電力制御を行う手段は、省電力制御部730、映像認識部740から構成される。映像認識部740はオプションで無くても良い。映像認識部740は表示パネルに表示される放送映像を認識し、省電力状態に移行しても出力すべき情報の有無（例えば字幕表示）を判断して省電力制御部730に伝える。省電力制御部730は、注目度認識部720から得られた注目度や、映像認識部730から字幕表示位置範囲情報を用いて、パネル制御部210や映像音声出力部120に制御命令を出力して、映像表示装置100全体の省電力制御を行う。
【００２１】
また、省電力制御部730は、省電力制御により節減した消費電力量を測定して、消費電力情報として格納する。格納した消費電力情報はネットワーク通信部130を介して図１のデータセンタ1200に送信する。これにより、データセンタ1200は、消費電力情報共有システムの消費電力の収集処理が可能となる。
【００２２】
また、映像表示装置100は、データセンタ1200が集計した複数の映像表示装置の消費電力集計情報を、インターネットを介してネットワーク通信部130から受信し、映像音声出力制御部120が表示映像に変換して、パネル200に表示する。これにより、ユーザがデータセンタ1200に接続される複数の映像表示装置の消費電力の節減量の総計データ、平均節減量データなどを認識することができる。
【００２３】
図４は注視認識部720の構成を示すものである。注視認識部720は、制御部721、顔検出部722、顔・視線角度算出部723、注視位置算出部724、注視有無判定部725、視聴者識別部726から構成される。視聴者識別部726はオプションで無くても良い。注視認識部720は、システム制御部110からの制御信号の他、カメラ700からの映像信号とセンサ710からの距離情報を入力とし、省電力制御部730に対して制御信号として注視有無フラグを出力する。
【００２４】
顔検出部722はカメラ700から入力された映像信号からユーザの顔領域を検出し、検出した顔位置情報１を顔・視線角度算出部723と視聴者識別部726へ出力する。顔・視線角度算出部723は入力された顔位置情報１と映像信号から顔または視線の方向角度３を算出し、注視位置算出部724へ出力する。注視位置算出部724ではユーザの顔または視線の方向角度３とユーザの位置、距離情報２から映像表示装置方向の注視場所４を算出し、注視有無判定部726へ出力する。注視有無判定部726では予め決められた閾値(映像表示装置への注視と判定できる範囲情報)と注視場所４を比較し、閾値内であれば注視有フラグを閾値外であれば注視無しフラグを省電力制御部730へ出力する。
【００２５】
なお、本実施例では、上記の注視認識動作は基本的に全てカメラからのフレームレート（例えば３０ＦＰＳ）で動作する。
【００２６】
視聴者識別部726はユーザを識別して顔検出部722から入力された顔位置情報からユーザを識別するための特徴ベクトルを算出し、過去に抽出した特徴ベクトルと比較してユーザの追跡を実現する部分である。これによりユーザ毎の過去の視聴履歴をまとめ、ユーザ毎の注視判定パラメータを自動的に調整できるようになる。
【００２７】
図５は省電力制御部730の構成を示すものである。省電力制御部730は制御部731、パネル制御命令生成部732、映像音声出力制御命令生成部733、消費電力節減量記録部734から構成される。省電力制御部730はシステム制御部110からの制御命令と注視認識部720から注視有無フラグ、映像認識部740からの字幕表示位置範囲情報を入力とし、パネル制御部210にパネル点灯制御命令を、映像音声出力制御部120に映像音声出力制御信号を出力する。また、消費電力節減量を算出して消費電力情報としてネットワーク通信部130に出力する。
【００２８】
パネル制御命令生成部732は、注視認識部720から入力された注視有無フラグと、後述の判定アルゴリズムに基づいて、表示パネル200のバックライトを制御する信号を生成し、パネル制御部210に送信する。
【００２９】
映像音声出力制御命令生成部733は、注視認識部720から入力された注視有無フラグと、後述の判定アルゴリズムに基づいて、映像表示装置１００が出力する映像と音声を制御する映像音声出力制御部120に映像音声出力制御信号を出力する。
【００３０】
制御部731は、システム制御部110からの制御命令と注視認識部720から入力された注視有無フラグに基づいて、パネル制御命令生成部732と映像音声出力制御命令生成部733の制御を通常モードと省電力モードとで切り替える。
【００３１】
なお、当該通常モードと省電力モードの切り替えは、パネル制御命令生成部732、映像音声出力制御命令生成部733のそれぞれで行ってもよい。
【００３２】
消費電力節減量記録部734は、制御部731によるパネル制御命令生成部732と映像音声出力制御命令生成部733の制御状態に基づいて、映像表示装置100の消費電力の節減量を計測して記録する。記録した消費電力節減量は、消費電力情報として、ネットワーク通信部130に出力される。
【００３３】
また、消費電力節減量の計測は、例えば、以下の動作で実現することが可能となる。制御部731によるパネル制御命令生成部732と映像音声出力制御命令生成部733の複数の制御状態のそれぞれについて単位時間当たりの消費電力節減量を格納したテーブル情報を予め格納しておく。次に、制御部731による制御状態ごとの経過時間を計測する。計測した各制御状態の経過時間に上記テーブル情報に示される各制御状態の単位時間当たりの消費電力節減量を乗じた積から各制御状態による消費電力節減量を算出する。算出した各消費電力節減量を合計して、映像表示装置100の消費電力節減量を算出することが可能となる。
【００３４】
図６は表示パネル200の物理的な構成を示すものである。表示パネル部200は映像表示を司る部分で、映像を表現する液晶部201と映像の明るさを調整するバックライト部202が前後に張り合わさって構成される。バックライト部は離散的にLED203が配置されており、映像内で部分的に照度差を作れるようになっている。
【００３５】
図７は表示パネル200およびパネル制御部210の構成を示すものである。表示パネル200は前述のように液晶部201とバックライト部202から構成される。
【００３６】
パネル制御部210は表示パネル200の表示を制御する部分で、制御部211、液晶制御部212、バックライト制御部213から構成される。制御部211は、映像音声出力制御部120から入力される映像信号、システム制御部110から入力される制御信号、省電力制御部730から入力されるパネル点灯制御信号を受けとる。液晶制御部212に対しては映像信号と制御信号を出力し、バックライト制御部213に対しては映像信号とパネル点灯制御信号を出力する。液晶制御部212は入力された映像信号と制御信号から液晶制御信号を生成して液晶部201へ出力する。バックライト制御部213は入力された映像信号とパネル点灯制御信号からバックライト制御信号を生成し、バックライト部202に出力する。これら入出力制御は映像フィールド信号時間単位(=1/60秒)で繰り返される。
【００３７】
次に、映像表示装置100による表示パネル200の省電力制御動作の一例について説明する。例えば、パネル制御部210が省電力制御部730からパネル点灯制御命令として「パネル消灯」または「パネル減光」の命令を受けると、バックライト制御部213は制御部211から映像信号の有無にかかわらず、バックライト制御信号としてバックライトを消灯または減光する命令を出し、バックライトを消灯または減光してバックライトの消費電力を最小化または低減する。パネル制御部210が省電力制御部730からパネル点灯制御命令として「パネル点灯」または「パネル光量増加」の命令を受けると、通常どおり、映像信号に基づいてバックライトの点灯制御または光量増光制御を行う。
【００３８】
図８は映像音声出力制御部120の構成を示すものである。映像音声出力制御部120は、制御部121、映像音声復号部122、チューナー123、通信部124、記録再生制御部125から構成される。制御部121はシステム制御部110からの制御信号と省電力制御部730からの映像音声出力制御信号に基づいて映像音声出力制御部120全体の動作を制御する。映像音声復号部122は、チューナー123を介して得られる放送波、通信部124を介して得られるインターネット配信映像、記録再生制御125を介して得られる記録装置600上の録画映像等の符号化された映像ストリームを復号化して非圧縮の映像信号／音声信号に変換、パネル制御部210やスピーカ500に出力する。
【００３９】
映像表示装置100による映像音声出力の省電力制御動作の一例について説明する。ユーザが映像表示装置を注視しなくなるなどして、制御部121が省電力制御部730から映像音声制御信号として省電力状態へ移行するよう命令を受けると、映像音声復号部122に制御信号を発行し、映像の復号処理を停止して音声のみを復号させて、音声のみがスピーカ500から出力されるように映像表示装置100の動作を変更する。ユーザが映像表示装置への注視を再開して、省電力制御部730から映像音声制御信号として通常状態へ移行するよう命令を受けると、映像音声復号部122に制御信号を発行し、映像の復号処理を再開させて通常通りの映像と音声が出力されるように映像表示装置100の動作を変更する。
【００４０】
映像表示装置100による映像音声出力の省電力制御動作の別の一例について説明する。ユーザが映像表示装置のある部屋からいなくなったり寝てしまったりして、省電力状態が一定時間以上継続した場合、映像の復号処理を停止させるだけでなく、以下のような方法で映像再生を一時停止し、再びユーザが映像表示装置を注視したときに映像再生を再開するようにできる。
【００４１】
映像ソースがインターネット配信映像または記録装置600に録画された映像の場合、通信部124や記録再生制御125に映像ストリームの取得停止命令を制御信号として送り、映像および音声の出力を一時停止させる。このとき、停止位置情報を制御部121内に記録しておく。再びユーザが注視を開始するなどして省電力制御部730から映像音声制御信号として通常状態へ移行するよう命令を受けると、先述の停止位置情報に基づいて、通信部124や記録再生制御125に映像ストリームの取得命令を制御信号として送り、前回停止した部分から映像および音声を再生する。再生停止時間が数時間以上と長い場合には、いきなり再生を開始せず、「再生中断中のコンテンツがあります」など、再生中断中のコンテンツがあることを示す表示を行い、再生を再開するか別のチャンネルに切り替えるかをユーザに選択させてもよい。
【００４２】
映像ソースがチューナー123の場合、映像ストリームの再生を停止する代わりに記録装置600に録画する。録画する時間長は予めユーザが設定しておいた時間長でも録画対象となった放送番組の終わりまでであっても良い。再びユーザが注視を開始するなどして省電力制御部730から映像音声制御信号として通常状態へ移行するよう命令を受けた際の動作は上記記録映像の再生再開と同じ動作となる。
【００４３】
映像表示装置100による映像音声出力の省電力制御動作の別の一例について説明する。図９は省電力モードから通常モードに復帰する際の再生遅延を防止するための制御例に関する説明である。図8説明では映像の復号処理を停止する制御例について述べたが、この例では、省電力モードから通常モードに復帰する際、最大約0.5秒の遅延が発生する。これはほとんどの映像ソースがMPEG-2あるいはH.264と呼ばれる符号化方式ならびに放送規格によって規格化されていることに起因する。これらの符号化方式では動画を構成するフレーム画像の前後の類似性（相関）に基づいて情報圧縮を行っており圧縮の最小時間単位であるGOP（Group of Picture）が0.5秒単位に規定されているためである。特に放送波の場合、再生を行うために復号を行おうとすると、チューナー123経由で与えられる映像ストリームの次のGOPを取得するまでに最大0.5秒待つ必要が生ずる。これが遅延発生の理由である。
【００４４】
これを回避するためには、復号処理をしなくても直近の映像ストリームをバッファ等に保存しておき、図9に有るようにGOPの先頭フレームであるIフレーム画像のみを復号してパネル制御部210中におくり、液晶部201で低いフレームレートでIフレーム画像のみを再生しておけばよい。バックライトが消灯している状態では、再生しているIフレーム画像は画面上には表示されないが、ユーザが再び注視してバックライトが点灯されると即座にその映像の最新のIフレーム画像をユーザが視聴することが可能となる。これにより、ユーザに対して、レスポンスが低い、待たされている、といった印象を与えることを防ぐことができる。
【００４５】
また、映像音声出力の省電力制御動作の別の例として、復号開始命令と共に先頭フレームから順に次々と復号し、各フレームに付与されている時刻情報(PTS: Presentation Time Stamp)が再生している音声に同期するまで繰り返してもいい。この場合、復号処理を行う映像音声復号部122が表示レート(６０フィールド／秒)よりも高速に動作できるように構成する必要がある。
【００４６】
図１０は映像認識部740の構成を示すものである。映像認識部740は制御部741と字幕表示検出部742から構成される。映像認識部740はシステム制御部110から字幕表示検出を行うかどうかの制御信号を受けて字幕表示検出部742を制御する。字幕表示検出部742は表示パネルに表示される放送映像を認識し、字幕表示領域の位置及び範囲を検出、算出し、字幕表示位置範囲情報として省電力制御部730に伝える。
【００４７】
図１１はバックライト消灯または減光時の字幕表示制御の説明である。以下の動作は、字幕表示位置範囲情報に基づいて省電力制御部730が制御する。まず、映像に含まれる字幕表示領域1000には、省電力モードであっても常に表示しておいた方が良い情報がある。例えば、朝の番組で映像表示装置画面の左上等に表示される時刻や、臨時の地震／津波速報などがそれにあたる。これらの情報については、省電力モードに移行した際、単に画面全体のバックライトを消灯もしくは減光してしまうのではなく、映像認識部740で検出された字幕表示領域1000にあたるバックライト部202のＬＥＤ203は点灯もしくは光量を維持し、他の非字幕表示領域1001にあたるバックライト部202のＬＥＤ203を消灯または減光する。これにより、字幕表示領域については通常表示の時と同じく表示し、ユーザの利便性を損なうことがなく、非字幕表示領域については消灯または減光することで電力削減を実現できる。なお、これら字幕表示領域は時間経過による画像変化が比較的少ないため、映像音声出力制御部120における省電力モード時の復号処理制御（処理間隔）のままでもユーザにとって違和感なく表示を行うことが可能となる。この場合、映像音声出力制御部120における消費電力は、全体のバックライトを消灯または減光した場合と同等まで低減することが可能となる。
【００４８】
なお、上記の図１０、図１１の例では、映像認識部740が字幕表示領域を検出、算出し、省電力制御部730が字幕表示領域とその他の領域とでバックライトの消灯、減光の有無を変化させる例を説明した。しかし、この例に変えて、単に放送信号に含まれる時刻情報または映像表示装置100内の内部管理の時刻情報を所定の領域に表示し、当該所定の表示領域についてバックライトを点灯または増光し、その他の領域については消灯、減光する構成としてもよい。この場合は、映像認識処理を行うことなく、より簡便に省電力化とユーザに対する時刻の伝達機能を両立することが可能となる。
【００４９】
図１２は注視判定により映像表示装置100が映像表示の省電力制御動作を行う際のフローチャートである。
【００５０】
まず、ユーザがリモコン300から「ユーザ注視判定」モードを開始する指示を行い、節電動作を開始する。システム制御部110は注視認識部720、省電力制御部730、映像認識部740、パネル制御部210に「ユーザ注視判定」モードを指示する制御信号を送信し、ユーザ注視判定を用いた省電力動作を開始する(ステップS01001)。
【００５１】
注視認識部720は、カメラ700より取得したユーザ映像からユーザが映像表示装置を注視しているかどうかを判定する（ステップS01002）。判定結果は省電力制御部720に注視有無フラグとして出力される。省電力制御部730では、ユーザの映像表示装置への注視を検出しなければ「省電力モード」への移行処理(ステップS01003)を実施し、検出すれば「通常モード」への移行処理(ステップS01004)を実施する。
【００５２】
次に、省電力制御部730にある制御部731またはパネル制御命令生成部732では、現在の制御モードが「省電力モード」であるかどうかを判別する（ステップS01003）。「省電力モード」であればステップS01008に進む。「省電力モード」で無ければ「省電力モード」へ移行すべきかどうかの判定処理(ステップS01006)を行う。移行すべきと判断されれば「省電力モード」への移行処理(ステップS01007)を実行する。具体的には、パネル制御部に対して表示パネルを消灯する旨のパネル点灯制御信号を出力する。信号出力後はステップS01008に進む。移行すべきでないと判断されれば、そのままステップS01008に進む。
【００５３】
一方、「通常モード」への移行処理(ステップS01004)を実施する際には、制御部731またはパネル制御命令生成部732で現在の制御モードが「省電力モード」であるかどうかを判別する。「省電力モード」であれば「通常モード」への移行処理（ステップS01006）を行う。具体的には、パネル制御部に対して表示パネルを点灯する旨のパネル点灯制御信号を出力する。信号出力後はステップS01008に進む。「省電力モード」でなければ、そのままステップS01008に進む。
【００５４】
最後にステップS01008ではユーザからの「ユーザ注視判定」モード終了命令の有無を判定する。し、終了命令があればステップS01009に進んで「ユーザ注視判定」モードを終了する。終了命令が無ければステップS01002に戻って処理を繰り返す。
【００５５】
図１３は注視判定アルゴリズムのフローチャートの一例である。注視認識部７２０中の顔検出部722の動作であり、図１２中のステップS01002の処理の詳細にあたる。
【００５６】
まず、カメラ700よりユーザ映像を取得する（ステップS02001）。次にユーザ映像に対して顔検出処理を行い、顔の有無を調べる（ステップS02002）。顔があれば映像表示装置を注視していると判断してステップS02003へ進み、顔が無ければ映像表示装置を注視していないと判断してステップS02004へと進む。
【００５７】
ステップS02003に到達した場合は注視「有」フラグを省電力制御部730に出力する。一方、ステップS02004に到達した場合は注視「無」フラグを省電力制御部730に出力する。
【００５８】
図１４は注視判定アルゴリズムのフローチャートの別の一例である。ユーザの顔方向を計測して映像表示装置への注視有無を判定する。注視認識部720中の顔・視線角度算出部723の動作であり、図１２中のステップS01002の処理の詳細にあたる。
【００５９】
まず、カメラ700よりユーザ映像を取得する（ステップS03001）。次にユーザ映像に対して顔検出処理を行い、顔の有無を調べる（ステップS03002）。顔があればステップS03003へ進み、無ければステップS03006へと進む。
【００６０】
ステップS03003では検出した顔の方向を計測する。顔方向の計測には例えば参考文献１に開示されている方法を用いればよい。顔は3つの回転自由度を持つので、それぞれ三種類の方向角度が得られるが、ここではカメラに対する上下と左右の顔方向を使う。
〔参考文献１〕特開2007-286995
次に得られたカメラに対する上下と左右の顔方向が、予め設定しておいた閾値よりも小さいかどうかを判定する（ステップS03004）。これはユーザが映像表示装置の方向に顔が向いているかどうかの判定と同値である。カメラに対する顔方向が閾値よりも小さければ、映像表示装置を注視していると判断してステップS03005へすすみ、大きければ映像表示装置を注視していないと判断してステップS03006へ進む。
【００６１】
ステップS03005に到達した場合は注視「有」フラグを省電力制御部730に出力する。一方、ステップS03006に到達した場合は注視「無」フラグを省電力制御部730に出力する。
【００６２】
図１４の例では、判定処理において顔の有無のみならず顔の方向まで算出しているのでより高精度の注視判定が可能となる。
【００６３】
図１５は注視判定アルゴリズムのフローチャートの別の一例である。ユーザの視線方向を計測して映像表示装置への注視有無を判定する。視線計測には例えば上述の参考文献１に開示されている方法を使う。注視認識部720中の顔・視線角度算出部723と注視位置算出部724の動作であり、図１２中のステップS01002の処理の詳細にあたる。
【００６４】
まず、カメラ700よりユーザ映像を取得する（ステップS04001）。次にユーザ映像に対して顔検出処理を行い、顔の有無を調べる（ステップS04002）。顔があればステップS04003へ進み、無ければステップS04012へと進む。
【００６５】
ステップS04003ではまず検出が簡単な瞳（または黒目）検出処理を行い、瞳の有無を調べる。瞳があれば、ステップS04004へ移動する。瞳がなければステップS04012へ移動する。
【００６６】
ステップS04004では、眼球姿勢を推定するために必要となる目領域検出処理を行う。左右それぞれでこの目領域検出処理を行い、両目とも検出できなかった場合はS04012へと移動する。両目が検出できた場合はS04006へ、片目だけが検出できた場合はS04007へ移動する。ステップS04006／S04007では検出したそれぞれの目について視線方向を求める。ステップS04006の場合は、左右それぞれの視線方向を算出したあと、左右の方向を加算平均し、両目としての方向を求める(S04008)。最後にセンサ710などで得られた距離情報から映像表示装置のパネル面を仮想的に拡張した平面上での視線位置を検出する（ステップS04009）。最後に、視線位置が予め設定しておいた範囲内で有るかどうかで映像表示装置を注視しているかどうかを判定し（ステップS04010）、ステップS04011に到達した場合は注視「有」フラグを省電力制御部730に出力する。一方、ステップS04012に到達した場合は注視「無」フラグを省電力制御部730に出力する。
【００６７】
図１５の例では、判定処理において顔の有無、顔の方向のみならず、視線方向まで算出しているのでより高精度の判定が可能となる。
【００６８】
図１６はバックライトの点灯制御の一例の説明図である。表中の第１行はユーザの注視挙動の時間変化を示している。第1行において、ユーザーの視線が上方向の場合は、ユーザーが映像表示装置を注視しているときを示している。ユーザーの視線が下方向の場合は、ユーザーが映像表示装置を注視していないときを示している。第2行、第3行はこうしたユーザ挙動を理想的に認識できる場合のフレーム毎の認識結果とそれに従って単純にバックライトを点灯・消灯する場合の状態変化を示している。理想的な認識精度が得られる場合は、ユーザが映像表示装置を見ているときは表示パネルを点灯し、映像表示装置を見ていないときは消灯するという単純制御で、ユーザにとって全くストレス無く映像表示装置の省電力制御を行うことができる。
【００６９】
しかし、実際には、認識精度は１００％にならず、例えば第3行目に示すような、理想状態と異なる認識結果が得られることがしばしばある。この場合、フレーム毎の認識に応じて単純にオンオフするだけでは第4行目に示すような表示パネルの点灯パタンになり、ユーザが映像表示装置を見ている最中に頻繁にバックライトが消えたり、映像表示装置を見ていないのに表示パネルがついたりと、ユーザに対してストレスを与えることになり、ユーザ注視判定を用いた省電力制御を利用してもらえなくなる恐れがある。
【００７０】
そこで第5行目に示すように、フレーム毎の注視認識結果に対して所定の判定制御を用いたバックライト消灯・点灯制御を行うことにより、この問題を解決できる。所定の判定制御の一例としては、所定の複数のフレーム数または時間の閾値を設定し、当該閾値のフレーム数または時間以上連続して注視を検知した場合に初めて表示パネルを点灯し、注視が検出されなくなって消灯する際も、第２の閾値以上のフレーム数または時間連続して注視が非検出となるまで消灯しないようにする。これにより、ユーザ動作に対する表示パネル点灯・消灯動作に若干の遅延が発生するが、頻繁にバックライトが明滅する動作を回避できるようになる。これにより、ユーザに対する使い勝手と注視判定による省電力化を両立できるようになる。
【００７１】
以上の図１６の説明では、バックライトの消灯・点灯制御として説明したが、同様のバックライトの減光・増光制御を行ってもかまわない。この場合、以上の図１６の説明において、消灯を減光に、点灯を増光に変更すればよい。
【００７２】
以上の図１６の説明では、バックライトの消灯・点灯制御として説明したが、図８及び図９において説明した映像音声出力の省電力制御動作においても、同様に図１６において説した閾値を用いた所定の判定制御を行ってもよい。この場合もユーザに対する使い勝手と注視判定による省電力化を両立できる。
【００７３】
図１７は、図１６で説明したバックライトの消灯・点灯制御例における動作をフローチャートで説明するものである。以下の動作は制御部７３１またはパネル制御命令生成部７３２にて行う。
【００７４】
まず、省電力制御部７３０中の制御部７３１が「ユーザ注視判定」モードを指示する制御信号を受信して処理が始まる。
【００７５】
制御部７３１またはパネル制御命令生成部７３２では、例えば内部にもつ二種類のカウンタ、点灯カウンタと消灯カウンタをそれぞれ予め設定しておいた値Con、Coffで初期化し(ステップS06001)、次のステップS06002へ進む。ステップS06002では図１２にて説明した状態移行判定の結果に基づき、「省電力モード」移行ならばステップS06003へ、「通常モード」移行ならばステップS06004へと進む。
【００７６】
ステップS06003では点灯カウンタを1減らし、消灯カウンタを再初期化して次のステップに進む。ステップS06005では、点灯カウンタが０になったかどうかを調べる。０であればステップS06006へ進み、非０であればS06002に戻る。ステップS06006では、パネル制御部２１０にバックライト消灯を命令し、S06002に戻る。
【００７７】
一方、ステップS06004では消灯カウンタを1減らし、点灯カウンタを再初期化して次のステップに進む。ステップS06007では、点灯カウンタが０になったかどうかを調べる。０であればステップS06008へ進み、非０であればS06002に戻る。ステップS06008では、パネル制御部２１０にバックライト点灯を命令し、S06002に戻る。
【００７８】
以上により、図１６で述べたユーザに取ってストレスの少ないバックライトの消灯・点灯制御が可能となる。
【００７９】
以上の図１７の説明では、バックライトの消灯・点灯制御として説明したが、同様のバックライトの減光・増光制御を行ってもかまわない。この場合、以上の図１７の説明において、消灯を減光に、点灯を増光に変更すればよい。
【００８０】
図１８は、注視認識部720における消費電力をさらに低減するための制御例を説明するものである。図１８において、ユーザーの視線が上方向の場合は、ユーザーが映像表示装置を注視しているときを示している。ユーザーの視線が下方向の場合は、ユーザーが映像表示装置を注視していないときを示している。
【００８１】
注視認識部720での処理は基本的にカメラから入力された画像を処理して映像表示装置への注視を判定するものであり、注視判定の応答性の観点からは、可能な限りカメラのフレームレートと同じ頻度で処理できることが望ましい。しかし、消費電力低減の観点から見ると処理量を減らすことが望ましい。そこで、現在の状態が省電力モードか通常モードかに基づいてユーザ状態をサンプリングするカメラのフレームレートを変更することにより、電力低減と省電力モードから通常モードへの復帰時の応答速度を両立することが可能となる。
【００８２】
そこで、ユーザが映像表示装置を注視しているのとき（＝通常モード）には、低いフレームレートで注視認識を行い、認識処理に要する消費電力を低減する。ユーザが注視しなくなったときのバックライト消灯への応答速度は若干悪くなるが、もともと別のところを見ているので問題はない。一方、ユーザが映像表示装置を注視していないとき（＝省電力モード）は高いフレームレートで注視認識を行う。これにより、バックライトを点灯または増光させる際の応答速度を高くし、使い勝手の劣化を最小限にとどめることが可能となる。
【００８３】
すなわち、ユーザが映像表示装置を注視しているときの注視認識の頻度を、ユーザが映像表示装置を注視していないときの注視認識の頻度よりも低減することにより、認識処理に要する消費電力を低減とユーザの使い勝手の両立を実現することが可能となる。
【００８４】
また、リモートコントローラー300に、省電力モードから通常モードへの変更指示を出力するボタンを設け、映像表示装置は、省電力モードである場合には、当該変更指示に基づいて通常モードへ切り替える構成としてもよい。これにより、ユーザが注視しているにも関わらず、映像表示装置100が省電力モードのままである場合など、ユーザの求める通常モードへ強制的に移行するように構成すれば、想定外の要因で省電力モードになっている場合でも、ユーザの不快感を低減することが可能となる。
【００８５】
また、リモートコントローラー300を振動センサまたは方位センサを有する構成とし、当該振動センサまたは方位センサが振動または方位の変化を感知した場合に、省電力モードから通常モードへの変更指示を出力し、映像表示装置は、省電力モードである場合には、当該変更指示に基づいて通常モードへ切り替える構成としてもよい。ユーザがリモコンを操作する場合は、映像表示装置を注視しているまたは今後注視する可能性が高い。よってこのような構成にすることにより、ユーザが注視しているのにも関わらず、省電力モードのままであったり、通常モードへの移行の応答性が下がることを防止することが可能となる。
【００８６】
また、映像表示装置100は、省電力モードの場合にバックライトの一部を点灯、増光し、当該部分に省電力モード処理中である旨の文字または図形を表示してもよい。これにより、ユーザに電源が入っていないのか、電源は入っているが、省電力モード処理中なのかを確実に伝えることが可能となる。また、バックライトの一部を点灯、増光して文字または図形を表示するかわりに、表示パネル200よりも小さい第２の表示部を設けて省電力モード処理中である旨の文字または図形を表示してもよく、また小型のLED光源などを映像表示装置100に設けて、点灯の有無または点灯色などにより省電力モード処理中である旨の表示をおこなってもよい。
【００８７】
また、映像表示装置100は、省電力モードの場合にバックライトの一部を点灯、増光し、当該部分に、消費電力節減量記録部７３４に記憶する消費電力節減量またはこれに基づいて算出した消費電力節減量に関する情報を示す文字または図形を表示してもよい。これにより、ユーザは、消費電力の節減量を実感することが可能となる。バックライトの一部を点灯、増光して文字または図形を表示するかわりに、表示パネル200よりも小さい第２の表示部を設けて消費電力の節減量またはこれに関する情報を示す文字または図形を表示してもよい。
【００８８】
以上説明した本発明の映像表示装置によれば、より好適に消費電力の低減制御をおこなうことが可能となる。
【符号の説明】
【００８９】
１００ 映像表示装置
２００ 表示パネル
３００ リモートコントローラー
４００ リモコン信号入力部
５００ スピーカ
６００ 記録装置
７００ カメラ
７１０ センサ
８００ アンテナ
９００ インターネット
１０００ 携帯電話
１１００ 無線インターフェイス
１２００ サーバ
１３００ 映像表示装置
１４００ 映像表示装置
【特許請求の範囲】
【請求項１】
映像表示装置であって、
映像信号を入力する入力部と、
前記入力部に入力した映像信号の再生処理を行う出力制御部と、
前記出力制御部が再生した映像信号に基づいて映像を表示する表示部と、
前記映像表示装置の利用者を撮像する撮像部と、
前記撮像部が撮像した画像を解析し、前記利用者が前記表示部の表示画面を注視しているか否かを判定する注視有無判定部と、
前記注視有無判定部の判定結果に基づいて、前記表示部の光源の光量制御処理または前記出力制御部における再生処理を、通常モード処理と省電力モード処理とで切り替える制御部と
を備えることを特徴とする映像表示装置。
【請求項２】
請求項１の映像表示装置であって、
前記制御部は、前記表示部の光源の光量制御処理を通常モード処理から省電力モード処理へ切り替えた場合に、前記表示部の画面全体または一部に対応する光源の光量を通常モード処理での光量よりも小さくする制御または光源を消灯する制御を行うことを特徴とする映像表示装置。
【請求項３】
請求項２の映像表示装置であって、
前記注視有無判定部は、前記撮像部が撮像した画像から前記利用者の顔方向または視線方向を検出し、検出した方向が閾値範囲以内であれば、前記利用者が前記表示部の表示画面を注視していると判定し、検出した方向が閾値範囲を超えている場合は、前記利用者が前記表示部の表示画面を注視していないと判定することを特徴とする映像表示装置。
【請求項４】
請求項１の映像表示装置であって、
前記制御部は、前記注視有無判定部が前記利用者が前記表示画面を注視していないと判定する状態が所定時間連続した場合に、前記表示部の光源の光量制御処理または前記出力制御部における再生処理を、通常モード処理から省電力モード処理へ切り替えることを特徴とする映像表示装置。
【請求項５】
請求項１の映像表示装置であって、
前記入力部に入力される映像信号は符号化映像信号であって、該符号化映像信号には画面内予測画像と画面間予測画像が含まれ、
前記出力制御部は、省電力モード処理の場合に、前記画面内予測画像のみを再生することを特徴とする映像表示装置。
【請求項６】
請求項１の映像表示装置であって、
前記入力部には、映像信号とともに音声信号が入力され、
前記出力制御部は、前記映像信号の再生処理に加え前記音声信号の再生処理を行い、
前記出力制御部により再生処理された音声信号を出力する音声出力部とをさらに備え、
前記出力制御部は、前記制御部が前記出力制御部における再生処理を通常モード処理から省電力モード処理へ切り替えた場合に、前記映像信号の再生処理を停止し、前記音声信号の再生処理は停止せずに継続することを特徴とする映像表示装置。
【請求項７】
請求項１の映像表示装置であって、
前記注視有無判定部は、前記利用者が前記表示部の表示画面を注視しているか否かを判定する判定処理の実行頻度を、通常モード処理の場合に省電力モード処理の場合よりも低頻度とすることを特徴とする映像表示装置。
【請求項８】
請求項１の映像表示装置であって、
前記映像表示装置には、外部からの制御信号を入力する外部制御信号入力部を備え、
前記制御信号は、前記制御部に省電力モード処理から通常モードへの切り替えを指示する信号であることを特徴とする映像表示装置。
【請求項９】
請求項８の映像表示装置であって、
前記外部制御信号入力部に前記制御信号は、振動センサまたは方位センサを有する外部端末から入力される信号であって、前記振動センサが振動を検知した場合または前記方位センサが方位の変化を感知した場合に、前記外部端末から省電力モード処理から通常モードへの切り替えを指示する制御信号が前記外部制御信号入力部に入力されることを特徴とする映像表示装置。
【請求項１０】
請求項１の映像表示装置であって、
前記出力制御部は、前記省電力モード処理の場合に、前記映像表示装置が前記省電力モード処理中であることを示す文字情報または図形情報を前記表示部に表示することを特徴とする映像表示装置。
【請求項１１】
請求項１の映像表示装置であって、
前記出力制御部は、前記省電力モード処理の場合に、消費電力の節減量を示す文字情報または図形情報を映像信号に重畳して前記表示部に表示することを特徴とする映像表示装置。
【請求項１２】
請求項２の映像表示装置であって、
前記入力部に入力された映像信号に含まれる映像に重畳された字幕情報、または前記入力部に入力された映像信号とともに入力される字幕情報の前記表示部における表示領域を算出する字幕表示領域算出部を備え、
前記制御部は、前記省電力モード処理の場合に、前記字幕表示領域算出部が算出した前記字幕情報の表示領域に対応する光源の光量を、その他の光源の光量よりも大きくすることを特徴とする映像表示装置。
【請求項１３】
請求項２の映像表示装置であって、
前記出力制御部は、前記省電力モード処理の場合に、現在時刻情報を前記表示部に表示することを特徴とする映像表示装置。
【請求項１４】
請求項１の映像表示装置であって、
インターネットを介してデータセンタサーバ装置とデータの送受信を行うネットワーク通信部を備え、
前記制御部は、前記省電力モード処理によって節減した消費電力の節減量の情報である消費電力節減量情報を記録する記録部を有し、
前記ネットワーク通信部は、前記記録部に記録された消費電力節減量情報を前記データセンタサーバ装置に送信し、前記データセンタサーバ装置が前記データセンタサーバ装置にインターネットを介して接続される複数の映像表示装置から受信した消費電力の節減量情報を集計した集計結果情報を、前記前記データセンタサーバ装置から受信し、
前記表示部は、前記集計結果情報に基づいて前記複数の映像表示装置による消費電力の節減量の情報を表示することを特徴とする映像表示装置。
【請求項１】
映像表示装置であって、
映像信号を入力する入力部と、
前記入力部に入力した映像信号の再生処理を行う出力制御部と、
前記出力制御部が再生した映像信号に基づいて映像を表示する表示部と、
前記映像表示装置の利用者を撮像する撮像部と、
前記撮像部が撮像した画像を解析し、前記利用者が前記表示部の表示画面を注視しているか否かを判定する注視有無判定部と、
前記注視有無判定部の判定結果に基づいて、前記表示部の光源の光量制御処理または前記出力制御部における再生処理を、通常モード処理と省電力モード処理とで切り替える制御部と
を備えることを特徴とする映像表示装置。
【請求項２】
請求項１の映像表示装置であって、
前記制御部は、前記表示部の光源の光量制御処理を通常モード処理から省電力モード処理へ切り替えた場合に、前記表示部の画面全体または一部に対応する光源の光量を通常モード処理での光量よりも小さくする制御または光源を消灯する制御を行うことを特徴とする映像表示装置。
【請求項３】
請求項２の映像表示装置であって、
前記注視有無判定部は、前記撮像部が撮像した画像から前記利用者の顔方向または視線方向を検出し、検出した方向が閾値範囲以内であれば、前記利用者が前記表示部の表示画面を注視していると判定し、検出した方向が閾値範囲を超えている場合は、前記利用者が前記表示部の表示画面を注視していないと判定することを特徴とする映像表示装置。
【請求項４】
請求項１の映像表示装置であって、
前記制御部は、前記注視有無判定部が前記利用者が前記表示画面を注視していないと判定する状態が所定時間連続した場合に、前記表示部の光源の光量制御処理または前記出力制御部における再生処理を、通常モード処理から省電力モード処理へ切り替えることを特徴とする映像表示装置。
【請求項５】
請求項１の映像表示装置であって、
前記入力部に入力される映像信号は符号化映像信号であって、該符号化映像信号には画面内予測画像と画面間予測画像が含まれ、
前記出力制御部は、省電力モード処理の場合に、前記画面内予測画像のみを再生することを特徴とする映像表示装置。
【請求項６】
請求項１の映像表示装置であって、
前記入力部には、映像信号とともに音声信号が入力され、
前記出力制御部は、前記映像信号の再生処理に加え前記音声信号の再生処理を行い、
前記出力制御部により再生処理された音声信号を出力する音声出力部とをさらに備え、
前記出力制御部は、前記制御部が前記出力制御部における再生処理を通常モード処理から省電力モード処理へ切り替えた場合に、前記映像信号の再生処理を停止し、前記音声信号の再生処理は停止せずに継続することを特徴とする映像表示装置。
【請求項７】
請求項１の映像表示装置であって、
前記注視有無判定部は、前記利用者が前記表示部の表示画面を注視しているか否かを判定する判定処理の実行頻度を、通常モード処理の場合に省電力モード処理の場合よりも低頻度とすることを特徴とする映像表示装置。
【請求項８】
請求項１の映像表示装置であって、
前記映像表示装置には、外部からの制御信号を入力する外部制御信号入力部を備え、
前記制御信号は、前記制御部に省電力モード処理から通常モードへの切り替えを指示する信号であることを特徴とする映像表示装置。
【請求項９】
請求項８の映像表示装置であって、
前記外部制御信号入力部に前記制御信号は、振動センサまたは方位センサを有する外部端末から入力される信号であって、前記振動センサが振動を検知した場合または前記方位センサが方位の変化を感知した場合に、前記外部端末から省電力モード処理から通常モードへの切り替えを指示する制御信号が前記外部制御信号入力部に入力されることを特徴とする映像表示装置。
【請求項１０】
請求項１の映像表示装置であって、
前記出力制御部は、前記省電力モード処理の場合に、前記映像表示装置が前記省電力モード処理中であることを示す文字情報または図形情報を前記表示部に表示することを特徴とする映像表示装置。
【請求項１１】
請求項１の映像表示装置であって、
前記出力制御部は、前記省電力モード処理の場合に、消費電力の節減量を示す文字情報または図形情報を映像信号に重畳して前記表示部に表示することを特徴とする映像表示装置。
【請求項１２】
請求項２の映像表示装置であって、
前記入力部に入力された映像信号に含まれる映像に重畳された字幕情報、または前記入力部に入力された映像信号とともに入力される字幕情報の前記表示部における表示領域を算出する字幕表示領域算出部を備え、
前記制御部は、前記省電力モード処理の場合に、前記字幕表示領域算出部が算出した前記字幕情報の表示領域に対応する光源の光量を、その他の光源の光量よりも大きくすることを特徴とする映像表示装置。
【請求項１３】
請求項２の映像表示装置であって、
前記出力制御部は、前記省電力モード処理の場合に、現在時刻情報を前記表示部に表示することを特徴とする映像表示装置。
【請求項１４】
請求項１の映像表示装置であって、
インターネットを介してデータセンタサーバ装置とデータの送受信を行うネットワーク通信部を備え、
前記制御部は、前記省電力モード処理によって節減した消費電力の節減量の情報である消費電力節減量情報を記録する記録部を有し、
前記ネットワーク通信部は、前記記録部に記録された消費電力節減量情報を前記データセンタサーバ装置に送信し、前記データセンタサーバ装置が前記データセンタサーバ装置にインターネットを介して接続される複数の映像表示装置から受信した消費電力の節減量情報を集計した集計結果情報を、前記前記データセンタサーバ装置から受信し、
前記表示部は、前記集計結果情報に基づいて前記複数の映像表示装置による消費電力の節減量の情報を表示することを特徴とする映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１０−２７１３３９（Ｐ２０１０−２７１３３９Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２０４７２（Ｐ２００９−１２０４７２）
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]