表示装置および制御方法
【課題】ユーザの動体検出と顔検出とを組み合わせることで、省電力制御を精度良く、また効果的に実行することが可能な、表示装置および制御方法を提供すること。
【解決手段】画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出部と、撮像部が撮像した動画像を解析して顔の存在の有無を検出する画像解析部と、画像解析部が検出した顔の存在の有無と、検出部が検出した動体の存在の有無とを組み合わせることにより設定される複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御部と、を備える、表示装置が提供される。
【解決手段】画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出部と、撮像部が撮像した動画像を解析して顔の存在の有無を検出する画像解析部と、画像解析部が検出した顔の存在の有無と、検出部が検出した動体の存在の有無とを組み合わせることにより設定される複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御部と、を備える、表示装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置および制御方法に関する。
【背景技術】
【０００２】
ＪＥＩＴＡ（Ｊａｐａｎ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｄｕｓｔｒｉｅｓ Ａｓｓｏｃｉａｔｉｏｎ；社団法人 電子情報技術産業協会）の調査によれば、１日のテレビの平均の視聴時間は４．５時間であるという数字がある。しかし、昨今ではライフスタイルの変化もあり、その４．５時間の間、常にテレビを見続けている訳ではないことが分かっている。
【０００３】
例えば、朝に会社や学校へ出かける用意をしながら、または食事をしながらのテレビの視聴などでは、テレビの画面をずっと見たままではなく、天気予報などの音声からの入力で十分な番組が放送されているときには視線を外していたり、人と話をしていたりしていることがある。そして、時事ニュースやスポーツニュース等において流される興味のあるキーワードをきっかけとして、再びテレビの画面を見始めるといった行動があることが多い。
【０００４】
つまり、代表的なテレビの視聴形態として、朝は時計代わりにテレビがついているだけの、また最近では、夜にＰＣ（パーソナルコンピュータ）を操作しながらテレビの音を聴いている、いわゆる『ながら視聴』が増加している状況にある。このような『ながら視聴』が行われている場合には、テレビの画面がついた状態では無駄に電力を消費していることになる。そこで、テレビ画面の周辺部に撮像素子を設け、この撮像素子によって顔検出を行うことで、ユーザの視聴状態を解析し視聴状態に最適な省電力制御を実行する表示装置が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、顔検出のみでの省電力制御では、テレビの設置環境によってユーザの顔が検出しにくい場合、もしくは一定時間よそ見している場合など、表示装置を継続利用したいと考えている場合においても、視聴つまりは顔の存在なしとして表示が消されてしまいかねないという問題があった。また、顔検出処理は動体検出と比較して相対的に画像処理時間が長くなるため、計算速度やリソースに制限のある環境においては、ユーザが視聴のために表示装置の前にきてから画像が表示されるまでの反応に遅延が生じてしまうという問題があった。
【０００６】
また、撮像素子や焦電式赤外線素子によって動体またはユーザの動作検出を行い、ユーザの視聴状態を解析し、省電力制御をおこなう表示装置もあるが、ユーザが動かずに視聴を継続する場合、誤ってユーザが存在しないと判断されてしまい、画面表示が消されてしまうという問題もあった。このような誤動作を回避するために、結果として省電力制御を開始するまでの時間を伸ばすこととなり、省電力効果が下がってしまっていた。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの動体検出と顔検出とを組み合わせることで、省電力制御を精度良く、また効果的に実行することが可能な、新規かつ改良された表示装置および制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出部と、前記撮像部が撮像した動画像を解析して顔の存在の有無を検出する画像解析部と、前記画像解析部が検出した顔の存在の有無と、前記検出部が検出した動体の存在の有無とを組み合わせることにより設定される複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御部と、を備える、表示装置が提供される。
【０００９】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無によってのみ表示装置の消費電力を制御し、前記画像解析部が顔の存在を所定の時間検出できなかった場合に消費電力を低下させる第１のモードを有していてもよい。
【００１０】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無と、前記動体検出部が検出した動体の存在の有無とを用いて表示装置の消費電力を制御し、前記画像解析部が顔の存在を第１の所定の時間検出できなかった場合に所定のレベルまで消費電力を低下させ、該低下後、前記動体検出部が動体の存在を第２の所定の時間検出できなかった場合にさらに消費電力を低下させる第２のモードを有していてもよい。
【００１１】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無と、前記動体検出部が検出した動体の存在の有無とを用いて表示装置の消費電力を制御し、前記画像解析部が顔の存在を所定の時間検出できず、かつ前記動体検出部が動体の存在を前記所定の時間検出できなかった場合に消費電力を低下させる第３のモードを有していてもよい。
【００１２】
前記電力制御部は、画像を表示する表示パネルの輝度を上下させることで表示装置の消費電力を制御してもよい。
【００１３】
前記電力制御部は、音声を表示するスピーカの音量を上下させることで表示装置の消費電力を制御してもよい。
【００１４】
前記電力制御部は、表示画像を高画質化するための回路の動作を制御することで消費電力を制御してもよい。
【００１５】
前記電力制御部が表示装置の消費電力の制御を停止する場合に、消費電力の制御を停止していることを通知する通知部をさらに備えていてもよい。
【００１６】
前記画像解析部は、前記撮像部が撮像した動画像の解析によって個人を特定し、前記電力制御部は前記画像解析部が特定した個人に応じて前記モードを自動的に選択してもよい。
【００１７】
前記電力制御部は、表示されるコンテンツの内容に応じて前記モードを自動的に選択してもよい。
【００１８】
前記電力制御部は、電源が投入されてから最初に顔または動体が検出されるまでは、表示装置の消費電力の制御を開始しないようにしてもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像ステップと、画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出ステップと、前記撮像された動画像を解析して顔の存在の有無を検出する顔検出ステップと、顔の存在の有無と、動体の存在の有無をとを組み合わせることで複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御ステップと、を含む、制御方法が提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、ユーザの動体検出と顔検出とを組み合わせることで、省電力制御を精度良く、また効果的に実行することが可能な、新規かつ改良された表示装置および制御方法を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態にかかる画像表示装置１００の外観について説明する説明図である。
【図２】本発明の一実施形態にかかる画像表示装置１００の構成について示す説明図である。
【図３】制御部１１０の構成について説明する説明図である。
【図４】本発明の一実施形態にかかる画像表示装置１００による省電力処理の一例について示す流れ図である。
【図５】本発明の一実施形態にかかる画像表示装置１００における各省電力モードでの省電力動作を示す説明図である。
【図６】画像表示装置１００での省電力動作を示す流れ図である。
【図７】画像表示装置１００での省電力動作を示す流れ図である。
【図８】画像表示装置１００での省電力動作を示す流れ図である。
【図９】電力モードを意図的に抑制している場合の画像表示装置１００の動作例を示す説明図である。
【図１０】電力モードを意図的に抑制している場合の画像表示装置１００の動作例を示す説明図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
なお、説明は以下の順序で行うものとする。
＜１．本発明の一実施形態＞
［１−１．画像表示装置の構成］
［１−２．制御部の構成］
［１−３．省電力処理］
＜２．まとめ＞
【００２４】
＜１．本発明の一実施形態＞
［１−１．画像表示装置の構成］
まず、本発明の一実施形態にかかる画像表示装置の構成について説明する。図１は、本発明の一実施形態にかかる画像表示装置１００の外観について説明する説明図である。図１は、画像表示装置１００を正面から見た場合の正面図である。以下、図１を用いて本発明の一実施形態にかかる画像表示装置１００の外観について説明する。
【００２５】
図１に示したように、本発明の一実施形態に係る画像表示装置１００は、静止画像または動画像を表示する表示パネル１０２の上方中央部及び左右中央部に、動画像を撮像する撮像部１０４が備えられている。撮像部１０４は、画像表示装置１００が表示パネル１０２で静止画像または動画像を表示する方向に対して、動画像の撮像を行うものである。本実施形態にかかる画像表示装置１００は、撮像部１０４で撮像された画像を解析し、画像に映っているユーザの顔を検出する。そして、撮像部１０４が撮像した動画像にユーザの顔が含まれているかどうかで、画像表示装置１００は内部の動作状態を変化させることを特徴としている。
【００２６】
また、本発明の一実施形態に係る画像表示装置１００は、表示パネル１０２の下方中央部にセンサ１０６を備えている。センサ１０６は、画像表示装置１００の前方の人間の有無を検知するものである。画像表示装置１００は、画像表示装置１００の前方に人間が存在しているか否かによっても、内部の動作状態を変化させることを特徴としている。
【００２７】
また、本発明の一実施形態に係る画像表示装置１００は、ＬＥＤ１０９を備えている。ＬＥＤ１０９は、点灯状態によって、また発光色によって画像表示装置１００の状態をユーザに通知するものである。
【００２８】
なお、図１では、画像表示装置１００は、画像の表示パネル１０２の周囲の３箇所に、動画像を撮像する撮像部１０４を備えていたが、本発明においては動画像を撮影する画像入力の場所はかかる例に限定されないことは言うまでもなく、例えば、画像表示装置１００とは別の装置を設け、画像表示装置１００に当該装置を接続して、当該装置において動画像を撮影してもよい。また、画像入力部の数も３つに限られないことは言うまでもなく、２つ以下、または４つ以上の画像入力部を設けて撮像してもよい。さらに、センサ１０６の数も１つに限られないことは言うまでも無く、２つ以上のセンサを設けて人間の有無を検知してもよい。
【００２９】
また、図１には図示しないが、画像表示装置１００は、リモートコントローラ（図示せず）からの赤外線や無線等による制御信号を受信することができる信号受信部をさらに備えていてもよい。
【００３０】
以上、図１を用いて本発明の一実施形態にかかる画像表示装置１００の外観について説明した。次に、本発明の一実施形態にかかる画像表示装置１００の構成について説明する。
【００３１】
図２は、本発明の一実施形態にかかる画像表示装置１００の構成について示す説明図である。以下、図２を用いて本発明の一実施形態にかかる画像表示装置１００の構成について説明する。
【００３２】
図２に示したように、本発明の一実施形態にかかる画像表示装置１００は、表示パネル１０２と、撮像部１０４と、センサ１０６と、スピーカ１０８と、制御部１１０と、を含んで構成される。
【００３３】
そして制御部１１０は、画像入力部１１２と、画像処理部１１４と、視聴状態解析部１１６と、視聴状態記録部１１８と、システム最適化処理部１２０と、システム制御部１２２と、を含んで構成される。
【００３４】
表示パネル１０２は、パネル駆動信号に基づいて静止画像または動画像を表示するものである。本実施形態においては、表示パネル１０２は液晶によって静止画像または動画像を表示する。もちろん発明においては、表示パネル１０２はかかる例に限定されないことは言うまでもない。表示パネル１０２は、有機ＥＬ（エレクトロルミネセンス）のような自発光型の表示デバイスによって静止画像または動画像を表示するものであってもよい。
【００３５】
撮像部１０４は、上述したように、静止画像または動画像を表示する表示パネル１０２の上方中央部および左右中央部に備えられるものであり、表示パネル１０２にパネル駆動信号が供給され、表示パネル１０２において動画像を表示している際に、画像表示装置１００が表示パネル１０２で動画像を表示する方向に対して動画像の撮像を行うものである。撮像部１０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサによって動画像の撮像を行うものであってもよく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサによって動画像の撮像を行うものであってもよい。撮像部１０４で撮像された動画像は制御部１１０に送られる。
【００３６】
センサ１０６は、上述したように、静止画像または動画像を表示する表示パネル１０２の下方中央部に備えられるものであり、画像表示装置１００の前方の人間の有無を検知するものである。また、センサ１０６は、画像表示装置１００の前方に人間が存在している場合には、画像表示装置１００とその人間との間の距離を検出することができる。センサ１０６による検知結果及び距離情報は制御部１１０に送られる。スピーカ１０８は、音声出力信号に基づいて音声を出力するものである。
【００３７】
制御部１１０は、画像表示装置１００の各部の動作を制御するものである。以下で制御部１１０の各部について説明する。
【００３８】
画像入力部１１２は、撮像部１０４で撮像された動画像を受け取るものである。画像入力部１１２が受け取った動画像は画像処理部１１４に送られ、画像処理部１１４での画像処理に用いられる。
【００３９】
画像処理部１１４は、本発明の画像解析部の一例であり、画像入力部１１２から送られてきた、撮像部１０４で撮像された動画像に対する各種画像処理を実行するものである。画像処理部１１４が実行する画像処理には、撮像部１０４で撮像された動画像に含まれている動体の検出処理、動画像に含まれている人間の人数の検出処理、動画像に含まれている顔および顔の表情の検出処理が含まれる。画像処理部１１４による各種画像処理の結果は、視聴状態解析部１１６に送られて、画像表示装置１００を視聴している人物の有無や視聴している人物の状態の解析に用いられる。
【００４０】
画像処理部１１４における、画像中に含まれる顔を検出する顔検出処理については、例えば特開２００７−６５７６６号公報や、特開２００５−４４３３０号公報に掲載されている技術を用いることができる。以下、顔検出処理について簡単に説明する。
【００４１】
画像からユーザの顔を検出するには、まず供給された画像における顔の位置、顔の大きさ、顔の方向を、それぞれ検出する。顔の位置と大きさが検出されることにより、顔画像の部分を画像から切り出すことができる。そして切り出した顔画像と、顔の方向の情報とから、顔の特徴的な部分（顔特徴位置）、例えば、眉毛、目、鼻、口といった特徴的な部分を検出する。顔特徴位置の検出には、例えば、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ）と呼ばれる方法を適用して、特徴位置を検出するようにすることが可能である。
【００４２】
顔特徴位置を検出すると、検出した顔特徴位置のそれぞれに対して局所特徴量を算出する。局所特徴量を算出し、算出した局所特徴量を顔画像と併せて記憶しておくことで、撮像部１０４で撮影された画像から顔の識別が可能となる。顔の識別方法については、例えば特開２００７−６５７６６号公報や、特開２００５−４４３３０号公報に掲載されている技術を用いることが出来るので、ここでは詳細な説明は省略する。また、顔画像や顔特徴位置によって、供給された画像に写っている顔が男性なのか女性なのか、また大人なのか子供なのかを判別することも可能である。また、予め顔の情報を記録しておくことで、供給された画像に写っている人物を記録された顔の中から探し出して、個人を特定することが可能である。
【００４３】
視聴状態解析部１１６は、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を受け取り、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を用いて、画像表示装置１００が表示している画像を視聴している人物の有無や視聴している人物の状態の解析を実行するものである。視聴状態解析部１１６が人物の有無や視聴している人物の状態を解析することで、画像表示装置１００は、画像表示装置１００を視聴している人の有無によって表示パネル１０２の輝度を低下させたり、表示パネル１０２の方向を制御したりすることができる。視聴状態解析部１１６での解析処理による解析結果は、視聴状態記録部１１８及びシステム最適化処理部１２０に送られる。
【００４４】
なお、視聴状態解析部１１６は、センサ１０６の検知による検知結果及び距離情報から、動体は検知できているが、センサ１０６とその動体との距離が所定の距離以上離れている場合には、その動体は検出の対象外としてもよい。
【００４５】
視聴状態記録部１１８は、視聴状態解析部１１６の解析処理によって得られる解析結果を記録するものである。視聴状態記録部１１８が記録した視聴状態解析部１１６での解析結果は、システム最適化処理部１２０におけるシステム最適化処理に用いられる。また、視聴状態記録部１１８が記録した視聴状態解析部１１６での解析結果は、外部の情報収集サーバ２００に送られるようにしてもよい。
【００４６】
システム最適化処理部１２０は、本発明の電力制御部の一例であり、視聴状態解析部１１６の解析処理によって得られる解析結果を用いて、画像表示装置１００の各部に対するシステム最適化処理を実行するためのシステム制御情報を算出するものである。画像表示装置１００の各部に対するシステム最適化処理には、画像表示装置１００の電源制御、表示パネル１０２の輝度制御、表示パネル１０２の方向制御、表示パネル１０２の表示内容の制御、スピーカ１０８から出力される音声の音量制御、表示パネル１０２に表示する動画像を高画質化するための回路（図示せず）の動作制御等がある。
【００４７】
表示パネル１０２に表示する動画像を高画質化するための回路としては、例えばフレームレートを２倍、３倍等に向上させる倍速化回路がある。このような倍速化回路等の動画像を高画質化するための回路については、回路動作の一部または全部を停止することで、画像表示装置１００の電力消費を制御してもよい。
【００４８】
画像表示装置１００は、システム最適化処理部１２０が算出したシステム制御情報に基づいて、省電力処理を実行することができる。システム最適化処理部１２０が算出したシステム制御情報はシステム制御部１２２に送られる。
【００４９】
なお、本実施形態にかかる画像表示装置１００は、後に説明するように複数の省電力モードによって省電力動作を実行する。そして各省電力モードは、視聴状態解析部１１６の解析結果に応じてシステム最適化処理部１２０が異なるパターンで作成するシステム制御情報に基づいて省電力動作を実行するものである。
【００５０】
システム制御部１２２は、システム最適化処理部１２０が算出したシステム制御情報に基づいて、画像表示装置１００の各部に対するシステム最適化処理を実行するものである。具体的には、システム制御部１２２は、システム最適化処理部１２０が算出したシステム制御情報に基づいて、表示パネル１０２の輝度制御、表示パネル１０２の方向制御、表示パネル１０２の表示内容の制御、スピーカ１０８から出力される音声の音量制御等を実行する。
【００５１】
以上、図２を用いて本発明の一実施形態にかかる画像表示装置１００の構成について説明した。このように、本発明の一実施形態にかかる画像表示装置１００は、撮像部１０４及びセンサ１０６によって、ユーザの視聴状態を解析する。従来においては、撮像部１０４で撮像処理を行い、撮像部１０４が撮像した画像に顔が含まれているかどうかを判断する顔検出処理によってのみ、ユーザの視聴状態を解析していた。しかし、顔検出処理によってのみユーザの視聴状態を解析すると、ユーザの顔が検出しにくい場合、もしくは一定時間よそ見している場合など、表示装置を継続利用したいと考えている場合においても視聴つまりは存在なしとして表示が消されてしまうという問題が生じていた。また、顔検出処理は、センサ等による動体検出処理と比較して、相対的に画像処理時間が長くなるため、計算速度やリソースに制限のある環境においては、ユーザが視聴のために表示装置の前にきてから画像が表示されるまでの反応に遅延が生じていた。
【００５２】
一方、焦電式赤外線素子その他のセンサによって、動体またはユーザの動作検出を行いユーザの視聴状態を解析し、省電力制御をおこなう装置も存在するが、ユーザが動かずに視聴を継続する場合等に、ユーザが存在していないとして表示が消される等の問題があった。誤動作を回避するために、省電力制御を開始するまでの時間を伸ばすこととなり、結果として省電力効果が下がってしまっていた。
【００５３】
そこで、本発明の一実施形態にかかる画像表示装置１００は、撮像部１０４が撮像した画像に対する顔検出処理と、センサ１０６による動体検出処理とを組み合わせることで、より効果的にユーザの視聴状態を解析することを可能としている。
【００５４】
次に、本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について、より詳細に説明する。
【００５５】
［１−２．制御部の構成］
図３は、本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について説明する説明図である。図３は、制御部１１０の中でも、制御部１１０に含まれる視聴状態解析部１１６と、システム最適化処理部１２０の構成について説明するものである。以下、図３を用いて、視聴状態解析部１１６と、システム最適化処理部１２０の構成について説明する。
【００５６】
図３に示したように、視聴状態解析部１１６は、ユーザ視聴有無解析部１３２と、ユーザ動作解析部１３４と、を含んで構成される。そして、システム最適化処理部１２０は、パネル最適化処理算出部１４２と、スピーカ最適化処理算出部１４４と、を含んで構成される。
【００５７】
ユーザ視聴有無解析部１３２は、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を受け取り、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を用いて、画像表示装置１００を視聴している人間の有無、画像表示装置１００を視聴している人間の顔の向きや大きさを検出するものである。
【００５８】
ユーザ動作解析部１３４は、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を受け取り、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を用いて、ユーザの動作の時系列的・空間的な状態・履歴から、画像表示装置１００を視聴している人間の有無を解析するものである。
【００５９】
ここで、画像処理部１１４からは、撮像画像と、撮像画像内における、画像表示装置１００を利用しているユーザごとの顔検出情報（例えば、中心座標［ａ１，ｂ１］、顔の大きさ［ｗ１，ｈ１］、顔の向き［ｉ１］等の情報）及び動体検出情報（例えば、中心座標［ｃ１，ｄ１］、顔領域の大きさ［ｓ１］等の情報）とが、視聴状態解析部１１６に送られる。視聴状態解析部１１６では、ユーザ視聴有無解析部１３２及びユーザ動作解析部１３４において、画像処理部１１４から送られてくる情報を用いた、画像表示装置１００を視聴している人間の有無の解析処理が行われる。
【００６０】
パネル最適化処理算出部１４２は、ユーザ視聴有無解析部１３２及びユーザ動作解析部１３４による解析処理の結果を用いて、表示パネル１０２において最適な省電力化が実現できる処理（省電力化実現処理）を算出するものである。表示パネル１０２において最適な省電力化が実現できる処理とは、例えば、画像表示装置１００を視聴している人間の有無、および画像表示装置１００を視聴している人間が存在していない時間に応じた表示パネル１０２の輝度を上下させて電力消費を制御したり、スピーカ１０６から出力する音声の音量を上下させて電力消費を制御したりする処理がある。パネル最適化処理算出部１４２が算出した省電力化実現処理はシステム制御部１２２に送られ、表示パネル１０２の省電力処理に用いられる。
【００６１】
スピーカ最適化処理算出部１４４は、ユーザ視聴有無解析部１３２及びユーザ動作解析部１３４による解析処理の結果を用いて、スピーカ１０８において最適な省電力化が実現可能な処理（省電力化実現処理）を算出するものである。スピーカ１０８において最適な省電力化が実現できる処理とは、例えば、画像表示装置１００を視聴している人間の有無、および画像表示装置１００を視聴している人間が存在していない時間に応じたスピーカ１０８の音量を制御する処理がある。スピーカ最適化処理算出部１４４が算出した省電力化実現処理はシステム制御部１２２に送られ、スピーカ１０８の省電力処理に用いられる。
【００６２】
なお、システム最適化処理部１２０における省電力化実現処理の算出に際しては、最適化処理効果算出部１５２を用いても良い。最適化処理効果算出部１５２は、視聴状態解析部１１６での解析結果を用いて、またシステム最適化処理部１２０での省電力化実現処理の算出結果を用いて、ユーザの視聴状況に応じた最適な省電力処理のための制御情報を算出する。
【００６３】
以上、図３を用いて本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置１００による省電力処理について説明する。
【００６４】
［１−３．省電力処理］
図４は、本発明の一実施形態にかかる画像表示装置１００による省電力処理の一例について示す流れ図である。以下、図４を用いて本発明の一実施形態にかかる画像表示装置１００による省電力処理について説明する。
【００６５】
図４に示した流れ図は、画像表示装置１００の消費電力を抑えるモード（省電力モード）への移行処理の一例を示したものである。以下、本発明の一実施形態にかかる画像表示装置１００による省電力モードへの移行処理について詳細に説明する。画像表示装置１００の電源が投入されると、システム最適化処理部１２０によって抑制フラグに１がセットされる（ステップＳ１０１）。この抑制フラグは、画像表示装置１００において省電力モードが実行されるか否かを決めるフラグである。フラグが１の場合は、省電力モードは実行されず、フラグが０の場合は、省電力モードは実行される。そして、視聴状態解析部１１６によって顔検出処理及び動体検出処理が行われ、画像表示装置１００を視聴している人物がいるかどうかを判断する（ステップＳ１０２）。
【００６６】
上記ステップＳ１０２の顔検出処理及び動体検出処理の結果、画像表示装置１００を視聴している人物の存在を検出できたかどうかを視聴状態解析部１１６で判定する（ステップＳ１０３）。ステップＳ１０３の判定の結果、画像表示装置１００を視聴している人物の存在を視聴状態解析部１１６で検出できた場合には、システム最適化処理部１２０によって抑制フラグを０にセットする（ステップＳ１０４）。一方、ステップＳ１０３の判定の結果、画像表示装置１００を視聴している人物の存在を視聴状態解析部１１６で検出できなかった場合には、抑制フラグは１のままとする。
【００６７】
続いて、画像表示装置１００を操作するためのリモートコントローラによる、画像表示装置１００に対する操作がユーザから行われたかどうかを判定する（ステップＳ１０５）。かかる操作判定は視聴状態解析部１１６で実行しても良い。
【００６８】
上記ステップＳ１０５の判定の結果、リモートコントローラによる画像表示装置１００に対する操作がユーザから行われたと判断した場合には、画像表示装置１００の内部で保持する最終操作時刻の情報を現在時刻に設定する（ステップＳ１０６）。最終操作時刻の情報の現在時刻への設定は、例えば視聴状態解析部１１６で実行しても良い。
【００６９】
上記ステップＳ１０６で、画像表示装置１００の内部で保持する最終操作時刻の情報を現在時刻に設定すると、続いてシステム最適化処理部１２０は省電力モードを解除する（ステップＳ１０７）。
【００７０】
一方、上記ステップＳ１０５の判定の結果、リモートコントローラによる画像表示装置１００に対する操作がユーザから行われていないと判断した場合には、上記ステップＳ１０６及びステップＳ１０７はスキップする。
【００７１】
続いて、システム最適化処理部１２０は省電力モード開始条件を満たしているかどうかを判断する（ステップＳ１０８）。省電力モード開始条件は、ユーザによって指定された省電力モードによって異なるものである。以下において、本発明の一実施形態にかかる画像表示装置１００における省電力モード開始条件の一例を示すが、本発明においては、省電力モードの数、及び各省電力モードにおける省電力モード開始条件はかかる例に限定されないことは言うまでも無い。
【００７２】
本発明の一実施形態にかかる画像表示装置１００は、省電力モードとして「Ｈｉｇｈ」、「Ｍｉｄｄｌｅ」、「Ｌｏｗ」の３種類を有している。システム最適化処理部１２０は、各省電力モードに応じたシステム制御情報を算出して、算出したシステム制御情報に基づいてシステム制御部１２２が各種制御を実行することで、画像表示装置１００の各部の消費電力を異なるパターンでコントロールすることができる。
【００７３】
「Ｈｉｇｈ」は、一定時間、視聴状態解析部１１６で顔が認識できなかった場合に消費電力を抑える省電力動作に移行する省電力モードである。
【００７４】
「Ｍｉｄｄｌｅ」は、一定時間、視聴状態解析部１１６で顔が認識できなかった場合に消費電力を抑え、さらに一定時間、視聴状態解析部１１６で顔及び動体が認識できなかった場合に、さらに消費電力を抑える省電力動作に移行する省電力モードである。
【００７５】
「Ｌｏｗ」は、一定時間、視聴状態解析部１１６で顔及び動体が認識できなかった場合に、消費電力を抑える省電力動作に移行する省電力モードである。
【００７６】
図５は、本発明の一実施形態にかかる画像表示装置１００における各省電力モードでの省電力動作を示す説明図である。図５の最上行に示したグラフは、顔検出及び動体検出の様子を時系列で示したものであり、図５のその他の各グラフは、横軸が時間を示しており、縦軸が消費電力を示している。
【００７７】
図５に示したように、省電力モードが「Ｈｉｇｈ」の場合には、一定時間（例えば３秒〜１０秒の間）、視聴状態解析部１１６で顔が認識できないと、表示パネル１０２の輝度を落としたり、スピーカ１０８の音量を下げたりする等して、徐々に消費電力を抑えていく。そして、視聴状態解析部１１６で顔が認識でき、リモートコントローラによる画像表示装置１００に対する操作が行われた場合には、省電力モードを解除する。
【００７８】
また、省電力モードが「Ｍｉｄｄｌｅ」の場合には、一定時間（例えば１０秒〜３０秒の間）、視聴状態解析部１１６で顔が認識できないと、表示パネル１０２の輝度を落としたり、スピーカ１０８の音量を下げたりする等して、半分程度まで徐々に消費電力を抑えていく。そして、さらに一定時間（例えば１分〜３分の間）、視聴状態解析部１１６で顔及び動体が認識できないと、表示パネル１０２の輝度をさらに落としたり、スピーカ１０８の音量をさらに下げたりする等して、さらに消費電力を抑えていく。そして、視聴状態解析部１１６で顔が認識でき、リモートコントローラによる画像表示装置１００に対する操作が行われた場合には、省電力モードを解除する。
【００７９】
そして、省電力モードが「Ｌｏｗ」の場合には、一定時間（例えば３分〜１０分の間）、視聴状態解析部１１６で顔及び動体が認識できないと、表示パネル１０２の輝度を落としたり、スピーカ１０８の音量を下げたりする等して、徐々に消費電力を抑えていく。そして、視聴状態解析部１１６で顔が認識でき、リモートコントローラによる画像表示装置１００に対する操作が行われた場合には、省電力モードを解除する。
【００８０】
図５では、２通りの顔検出・動体検出のパターンを用いて、各省電力モードにおける省電力動作を示している。図５の中央の列で示したパターンは、顔が検出されなくなった後に動体が検出されなくなり、その後動体が検出され、該検出の後に顔が検出される場合を示している。このパターンを「パターン１」と称する。また図５の右側の列で示したパターンは、顔が検出されなくなった後に再び顔が検出され、その後再度顔が検出されなくなり、その後に動体が検出されなくなり、さらに、その後にまず顔が検出され、続いて動体が検出される場合を示している。このパターンを「パターン２」と称する。
【００８１】
省電力モードが「Ｈｉｇｈ」の場合には、顔の有無によってのみ省電力モードに移行するので、パターン１の場合、パターン２の場合のそれぞれについて、図５の上から２段目のグラフに示したような省電力動作が行われる。省電力モードが「Ｍｉｄｄｌｅ」の場合には、まず顔の有無によって省電力モードに移行して消費電力を抑え、続いて動体の有無によってさらに消費電力を抑えているので、パターン１の場合、パターン２の場合のそれぞれについて、図５の上から３段目のグラフに示したような省電力動作が行われる。省電力モードが「Ｌｏｗ」の場合には、顔の有無及び動体の有無によって省電力モードに移行して消費電力を抑えているので、パターン１の場合、パターン２の場合のそれぞれについて、図５の上から４段目に示したような省電力動作が行われる。
【００８２】
上記ステップＳ１０８において、システム最適化処理部１２０が省電力モード開始条件を満たしていると判断すると、続いてシステム最適化処理部１２０は、抑制フラグが０にセットされているかどうかを判断する（ステップＳ１０９）。
【００８３】
上記ステップＳ１０９において、システム最適化処理部１２０が、抑制フラグが０にセットされていると判断すると、続いて現在時刻から、上記ステップＳ１０６で設定された最終操作時刻を引いた時間がある一定の時間を上回っているかどうかをシステム最適化処理部１２０で判断する（ステップＳ１１０）。例えば、画像表示装置１００の省電力モードが「Ｈｉｇｈ」に設定されている場合には、現在時刻から、上記ステップＳ１０６で設定された最終操作時刻を引いた時間が１０秒を超えているかどうかをシステム最適化処理部１２０で判断する。
【００８４】
上記ステップＳ１１０において、現在時刻から最終操作時刻を引いた時間がある一定の時間を上回っているとシステム最適化処理部１２０が判断した場合には、画像表示装置１００は省電力モードを開始する（ステップＳ１１１）。例えば、画像表示装置１００の省電力モードが「Ｈｉｇｈ」に設定されている場合には、現在時刻から、上記ステップＳ１０６で設定された最終操作時刻を引いた時間が１０秒を超えていた場合には、画像表示装置１００は省電力モードを開始して、表示パネル１０２の輝度を落としたり、スピーカ１０８の音量を下げたりする等して、徐々に消費電力を抑えていく。
【００８５】
上記ステップＳ１１１で省電力モードを開始した後に、または、上記ステップＳ１０８において、システム最適化処理部１２０が省電力モード開始条件を満たしていないと判断した場合、上記ステップＳ１０９において、抑制フラグが０にセットされていないとシステム最適化処理部１２０が判断した場合、及び上記ステップＳ１１０において、現在時刻から最終操作時刻を引いた時間がある一定の時間を上回っていないとシステム最適化処理部１２０が判断した場合には、続いて、電源のオフ等により、画像表示装置１００の動作が終了したかどうかを判断する（ステップＳ１１２）。画像表示装置１００の動作が終了していればそのまま処理を終了する。一方、画像表示装置１００の動作が終了していなければ、上記ステップＳ１０２に戻り、視聴状態解析部１１６による顔検出処理及び動体検出処理の実行を継続する。
【００８６】
以上、図４を用いて本発明の一実施形態にかかる画像表示装置１００による省電力処理について説明した。次に、本発明の一実施形態にかかる画像表示装置１００における各省電力モードでの省電力動作について説明する。
【００８７】
図６は、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｈｉｇｈ」の場合における省電力動作を示す流れ図である。以下、図６を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｈｉｇｈ」の場合における省電力動作について説明する。
【００８８】
まず、省電力動作に入る前に予め、画像表示装置１００の内部で保持しているタイマーをリセットしておく（ステップＳ１２１）。ステップＳ１２１でのタイマーのリセットは、例えば視聴状態解析部１１６が実行しても良い。
【００８９】
続いて、視聴状態解析部１１６で顔検出処理を実行する（ステップＳ１２２）。そして、視聴状態解析部１１６で顔検出処理を実行した結果、画像入力部１１２に送られてきた画像に人間の顔が含まれているかどうかを視聴状態解析部１１６で判断する（ステップＳ１２３）。
【００９０】
上記ステップＳ１２３において、画像入力部１１２に送られてきた画像に人間の顔が含まれていたと視聴状態解析部１１６が判断した場合には、再び画像表示装置１００の内部で保持しているタイマーをリセットする（ステップＳ１２４）。このステップＳ１２４でのタイマーのリセットは、ステップＳ１２１でのタイマーのリセット同様に、例えば視聴状態解析部１１６が実行しても良い。
【００９１】
上記ステップＳ１２４でタイマーをリセットすると、続いてシステム最適化処理部１２０で、表示パネル１０２の明るさを標準の明るさ（通常使用時の明るさ）に設定する（ステップＳ１２５）。
【００９２】
一方、上記ステップＳ１２３において、画像入力部１１２に送られてきた画像に人間の顔が含まれていなかったと視聴状態解析部１１６が判断した場合には、続いて、タイマーがＴ１秒（例えば、１０秒）経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１２６）。
【００９３】
上記ステップＳ１２６で、タイマーがＴ１秒経過したとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は、表示パネル１０２の明るさを暗くする、または０となるように設定する（ステップＳ１２７）。
【００９４】
上記ステップＳ１２７でシステム最適化処理部１２０が表示パネル１０２の明るさを０、または最も暗くなるように設定すると、または、上記ステップＳ１２６で、タイマーがまだＴ１秒経過していないとシステム最適化処理部１２０が判断すると、続いて、タイマーがＴ２秒（ただし、Ｔ２＞Ｔ１）経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１２８）。
【００９５】
上記ステップＳ１２８で、タイマーがＴ２秒経過したとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は画像表示装置１００の主電源を切る処理を実行する（ステップＳ１２９）。一方、上記ステップＳ１２８で、タイマーがまだＴ２秒経過していないとシステム最適化処理部１２０が判断すると、上記ステップＳ１２２に戻って視聴状態解析部１１６での顔検出処理を継続する。
【００９６】
以上、図６を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｈｉｇｈ」の場合における省電力動作について説明した。次に、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｍｉｄｄｌｅ」の場合における省電力動作について説明する。
【００９７】
図７は、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｍｉｄｄｌｅ」の場合における省電力動作について示す流れ図である。以下、図７を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｍｉｄｄｌｅ」の場合における省電力動作について説明する。
【００９８】
まず、省電力動作に入る前に予め、画像表示装置１００の内部で保持している２つのタイマー（以下では、説明の便宜上、２つのタイマーをそれぞれタイマー１、２とする）をそれぞれリセットしておく（ステップＳ１３１）。このステップＳ１３１でのタイマー１、２のリセットは、例えば視聴状態解析部１１６が実行しても良い。タイマー１は、視聴状態解析部１１６が顔を検出できなかった時間を計測するためのものであり、タイマー２は、視聴状態解析部１１６が動体の存在を検出できなかった時間を計測するためのものである。
【００９９】
続いて、視聴状態解析部１１６で顔検出処理及び動体検出処理を実行する（ステップＳ１３２）。そして、視聴状態解析部１１６で顔検出処理を実行した結果、画像入力部１１２に送られてきた画像に人間の顔が含まれているかどうかを視聴状態解析部１１６で判断する（ステップＳ１３３）。
【０１００】
上記ステップＳ１３３において、画像入力部１１２に送られてきた画像に人間の顔が含まれていたと視聴状態解析部１１６が判断した場合には、再び画像表示装置１００の内部で保持しているタイマー１、２をそれぞれリセットする（ステップＳ１３４）。このステップＳ１３４でのタイマーのリセットは、ステップＳ１３１でのタイマーのリセット同様に、例えば視聴状態解析部１１６が実行しても良い。
【０１０１】
上記ステップＳ１３４でタイマーをリセットすると、続いてシステム最適化処理部１２０で、表示パネル１０２の明るさを標準の明るさ（通常使用時の明るさ）に設定する（ステップＳ１３５）。
【０１０２】
一方、上記ステップＳ１３３において、画像入力部１１２に送られてきた画像に人間の顔が含まれていなかったと視聴状態解析部１１６が判断した場合には、続いて、センサ１０６が動体を検出したかどうかを視聴状態解析部１１６で判断する（ステップＳ１３６）。
【０１０３】
上記ステップＳ１３６において、センサ１０６が動体を検出したと視聴状態解析部１１６が判断すると、続いてタイマー２をリセットする（ステップＳ１３７）。このステップＳ１３７でのタイマー２のリセットは、ステップＳ１３１、ステップＳ１３４でのタイマーのリセット同様に、例えば視聴状態解析部１１６が実行しても良い。
【０１０４】
上記ステップＳ１３７でタイマー２をリセットすると、続いて表示パネル１０２の明るさが０であるかどうかを判断する（ステップＳ１３８）。この表示パネル１０２の明るさの判断は、例えばシステム最適化処理部１２０が実行しても良い。
【０１０５】
上記ステップＳ１３８において、表示パネル１０２の明るさが０であるとシステム最適化処理部１２０が判断すると、画像表示装置１００の前にユーザはいるが、そのユーザの顔は表示パネルの方向を向いていないものとみなし、システム最適化処理部１２０は、表示パネル１０２の明るさを暗くするように制御するためのシステム制御情報を算出し、表示パネル１０２の明るさを暗くする（ステップＳ１３９）。
【０１０６】
続いて、タイマー１がＴ３秒（例えば、３０秒）を経過し、かつ、タイマー２がＴ３秒よりも長いＴ４秒（例えば、１８０秒）をまだ経過していないかどうかをシステム最適化処理部１２０で判断する（ステップＳ１４０）。
【０１０７】
上記ステップＳ１４０において、タイマー１はＴ３秒を経過し、かつ、タイマー２がＴ４秒をまだ経過していないとシステム最適化処理部１２０が判断すると、画像表示装置１００の前にユーザはいるが、そのユーザの顔は表示パネルの方向を向いていないものとみなし、システム最適化処理部１２０は、表示パネル１０２の明るさを暗くするように制御するためのシステム制御情報を算出し、表示パネル１０２の明るさを暗くする（ステップＳ１４１）。
【０１０８】
一方、上記ステップＳ１４０において、タイマー１はＴ３秒をまだ経過していないとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は上記ステップＳ１４１をスキップする。
【０１０９】
続いて、タイマー２がＴ４秒を経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１４２）。ステップＳ１４２において、タイマー２がＴ４秒を経過したとシステム最適化処理部１２０が判断すると、画像表示装置１００の前にユーザがいないものとみなし、システム最適化処理部１２０は、表示パネル１０２の明るさを０にするように制御するためのシステム制御情報を算出し、表示パネル１０２の明るさを０にする（ステップＳ１４３）。
【０１１０】
一方、上記ステップＳ１４２において、タイマー２はＴ４秒をまだ経過していないとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は上記ステップＳ１４２をスキップする。
【０１１１】
続いて、タイマー２がＴ４秒より長いＴ５秒を経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１４４）。ステップＳ１４４において、タイマー２がＴ５秒を経過したとシステム最適化処理部１２０が判断すると、画像表示装置１００の前にユーザがいないものとみなし、システム最適化処理部１２０は、画像表示装置１００の主電源を切る処理を実行する（ステップＳ１４５）。一方、ステップＳ１４４において、タイマー２がＴ５秒を経過していないとシステム最適化処理部１２０が判断すると、上記ステップＳ１３２に戻って、視聴状態解析部１１６で顔検出処理及び動体検出処理を継続する。
【０１１２】
以上、図７を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｍｉｄｄｌｅ」の場合における省電力動作について説明した。次に、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｌｏｗ」の場合における省電力動作について説明する。
【０１１３】
図８は、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｌｏｗ」の場合における省電力動作について示す流れ図である。以下、図８を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｌｏｗ」の場合における省電力動作について説明する。
【０１１４】
まず、省電力動作に入る前に予め、画像表示装置１００の内部で保持しているタイマーをリセットしておく（ステップＳ１５１）。ステップＳ１５１でのタイマーのリセットは、例えば視聴状態解析部１１６が実行しても良い。
【０１１５】
続いて、視聴状態解析部１１６で顔検出処理及び動体検出処理を実行する（ステップＳ１５２）。そして、視聴状態解析部１１６で顔検出処理及び動体検出処理を実行した結果、顔または動体を検出して、画像表示装置１００の前方に人間が存在しているかを視聴状態解析部１１６で判断する（ステップＳ１５３）。
【０１１６】
上記ステップＳ１５３において、顔または動体を検出したと視聴状態解析部１１６が判断した場合には、再び画像表示装置１００の内部で保持しているタイマーをリセットする（ステップＳ１５４）。このステップＳ１５４でのタイマーのリセットは、ステップＳ１５１でのタイマーのリセット同様に、例えば視聴状態解析部１１６が実行しても良い。
【０１１７】
上記ステップＳ１５４で、画像表示装置１００の内部で保持しているタイマーをリセットすると、続いてシステム最適化処理部１２０で、表示パネル１０２の明るさを標準の明るさ（通常使用時の明るさ）に設定する（ステップＳ１５５）。
【０１１８】
一方、上記ステップＳ１５３において、顔及び動体を検出できなかったと視聴状態解析部１１６が判断した場合には、続いて、タイマーがＴ６秒（例えば、６００秒）経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１５６）。
【０１１９】
上記ステップＳ１５６で、タイマーがＴ６秒経過したとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は、表示パネル１０２の明るさを暗くする、または０となるように設定する（ステップＳ１５７）。
【０１２０】
上記ステップＳ１５７でシステム最適化処理部１２０が表示パネル１０２の明るさを０、または最も暗くなるように設定すると、または、上記ステップＳ１５６で、タイマーがまだＴ７秒経過していないとシステム最適化処理部１２０が判断すると、続いて、タイマーがＴ８秒（ただし、Ｔ８＞Ｔ７）経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１５８）。
【０１２１】
上記ステップＳ１５８で、タイマーがＴ８秒経過したとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は画像表示装置１００の主電源を切る処理を実行する（ステップＳ１５９）。一方、上記ステップＳ１５８で、タイマーがまだＴ２秒経過していないとシステム最適化処理部１２０が判断すると、上記ステップＳ１５２に戻って視聴状態解析部１１６での顔検出処理及び動体検出処理を継続する。
【０１２２】
以上、図８を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｌｏｗ」の場合における省電力動作について説明した。
【０１２３】
＜２．まとめ＞
以上説明したように本発明の一実施形態にかかる画像表示装置１００によれば、撮像部１０４で撮像した画像に人間の顔が含まれていたかによって、及びセンサ１０６によって動体の存在を検知したかによって、画像表示装置１００の前にユーザがいるかどうかを判断する。このように、顔検出処理と動体検出処理とを組み合わせることで、画像表示装置１００の前にいるユーザの存在を精度良く検出することができる。
【０１２４】
そして、本発明の一実施形態にかかる画像表示装置１００によれば、顔検出処理と動体検出処理とを組み合わせることで複数の省電力モードを実現することが出来る。すなわち、本発明の一実施形態にかかる画像表示装置１００は、顔検出処理のみを用いた省電力モードを実行することもでき、顔検出処理と動体検出処理とを組み合わせた省電力モードを実行することもできる。このように複数の省電力モードを実現可能とすることで、画像表示装置１００のユーザの利用状況に適合した省電力モードを実行することができる。
【０１２５】
なお、上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１２６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２７】
例えば、ユーザの利用状況を画像表示装置１００の内部に逐次記録し、記録したユーザの利用状況を学習した結果を用いて、複数の省電力モードの中から自動的に省電力モードをシステム最適化処理部１２０が選択するようにしてもよい。以下において、省電力モードの自動選択処理の例について説明する。
【０１２８】
例えば、撮像部１０４で撮影した画像に対する顔認識処理によってユーザを特定し、特定したユーザごとに省電力モードをステム最適化処理部１２０が自動選択してもよい。一例を挙げれば、お父さんはあまり消画しないが省電力効果が低い省電力モード、お母さんは頻繁に消画する省電力効果が低い省電力モードを事前に画像表示装置１００に設定しておき、撮像部１０４で撮影した画像に含まれている人物がお父さんなのかお母さんなのかに応じて、省電力モードをステム最適化処理部１２０が自動選択してもよい。
【０１２９】
また例えば、特定個人の視聴スタイルを分析し、最適な省電力モードをステム最適化処理部１２０が自動選択してもよい。一例を挙げれば、長時間テレビをつけっ放しにしてあまりテレビを見ていない傾向が強いユーザの場合消画に移行しやすくする。一方で短時間の番組を注視して視聴する傾向が強いユーザの場合、消画に移行しにくくするなど。視聴スタイルの分析にあたっては、一定期間ユーザの視聴形態を記録する必要があるため使い始めにおいては自動設定が使用できないが、必要なデータが取得され次第、自動設定の選択肢が有効になり使用できるようになる。
【０１３０】
また例えば、画像表示装置１００で視聴されているコンテンツによって自動的にモードを選択する。例えば、画像表示装置１００で映画などのコンテンツを視聴する際には、視聴継続を優先して消画までの時間を長くしたり、一定間隔でコマーシャルなどのコンテンツと異なる情報が提示されるような場合には、コンテンツ部分とそれ以外の部分で消画までの時間を長くしたり短くしたりしてもよい。なお、画像表示装置１００でどのようなコンテンツを視聴しているかの情報は、例えば、電子番組表（ＥＰＧ）のデータから取得してもよく、画像表示装置１００のユーザが画像表示装置１００に対して設定した現在視聴中のコンテンツのジャンルから取得してもよい。
【０１３１】
また例えば、逆光や遮蔽等によって正常な画像処理ができなかったり、ユーザが画角外から装置を視聴している等の環境において、ユーザが視聴をしているにも関わらず省電力モードが開始してしまい誤作動が発生してしまったりするような状況を考慮して、システム最適化処理部１２０は、省電力処理を開始してから最初に少なくとも一つの顔が検出されるまでは、顔や動体検出が無くとも省電力モードを開始しないようにしてもよい。
【０１３２】
そして、顔が少なくとも一度検出され、画像表示装置１００が省電力モードを開始してから、ユーザがリモートコントローラなどによって画像表示装置１００の電源の投入や、表示パネル１０２に表示される内容切り替えなどの能動的な操作を実行していると考えられる期間（またはその後一定期間）においては、誤動作を回避するために、システム最適化処理部１２０は、顔や動体検出が無くとも省電力モードを開始しないようにしてもよい。
【０１３３】
また、上述のように省電力モードを意図的に抑制している場合においては、画像表示装置１００が具備している状態通知手段（例えば、ＬＥＤや画面内でのＵＩ表示）によって、省電力モードの抑制状態をユーザに通知するようにしてもよい。図９及び図１０は、省電力モードを意図的に抑制している場合の画像表示装置１００の動作例を示す説明図である。図９は、省電力モードを意図的に抑制している場合に、省電力モードが抑制されていることを表すインジケータとしてＬＥＤ１０９を所定の色で発光させる例を示している。図１０は、省電力モードを意図的に抑制している場合に、省電力モードが抑制されていることを表すＧＵＩインジケータ１０３を表示パネル１０２に表示する例を示している。
【符号の説明】
【０１３４】
１００ 画像表示装置
１０２ 表示パネル
１０４ 撮像部
１０６ センサ
１０８ スピーカ
１０９ ＬＥＤ
１１０ 制御部
１１２ 画像入力部
１１４ 画像処理部
１１６ 視聴状態解析部
１１８ 視聴状態記録部
１２０ システム最適化処理部
１２２ システム制御部
１３２ ユーザ視聴有無解析部
１３４ ユーザ動作解析部
１４２ パネル最適化処理算出部
１４４ スピーカ最適化処理算出部
１５２ 最適化処理効果算出部
【技術分野】
【０００１】
本発明は、表示装置および制御方法に関する。
【背景技術】
【０００２】
ＪＥＩＴＡ（Ｊａｐａｎ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｄｕｓｔｒｉｅｓ Ａｓｓｏｃｉａｔｉｏｎ；社団法人 電子情報技術産業協会）の調査によれば、１日のテレビの平均の視聴時間は４．５時間であるという数字がある。しかし、昨今ではライフスタイルの変化もあり、その４．５時間の間、常にテレビを見続けている訳ではないことが分かっている。
【０００３】
例えば、朝に会社や学校へ出かける用意をしながら、または食事をしながらのテレビの視聴などでは、テレビの画面をずっと見たままではなく、天気予報などの音声からの入力で十分な番組が放送されているときには視線を外していたり、人と話をしていたりしていることがある。そして、時事ニュースやスポーツニュース等において流される興味のあるキーワードをきっかけとして、再びテレビの画面を見始めるといった行動があることが多い。
【０００４】
つまり、代表的なテレビの視聴形態として、朝は時計代わりにテレビがついているだけの、また最近では、夜にＰＣ（パーソナルコンピュータ）を操作しながらテレビの音を聴いている、いわゆる『ながら視聴』が増加している状況にある。このような『ながら視聴』が行われている場合には、テレビの画面がついた状態では無駄に電力を消費していることになる。そこで、テレビ画面の周辺部に撮像素子を設け、この撮像素子によって顔検出を行うことで、ユーザの視聴状態を解析し視聴状態に最適な省電力制御を実行する表示装置が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、顔検出のみでの省電力制御では、テレビの設置環境によってユーザの顔が検出しにくい場合、もしくは一定時間よそ見している場合など、表示装置を継続利用したいと考えている場合においても、視聴つまりは顔の存在なしとして表示が消されてしまいかねないという問題があった。また、顔検出処理は動体検出と比較して相対的に画像処理時間が長くなるため、計算速度やリソースに制限のある環境においては、ユーザが視聴のために表示装置の前にきてから画像が表示されるまでの反応に遅延が生じてしまうという問題があった。
【０００６】
また、撮像素子や焦電式赤外線素子によって動体またはユーザの動作検出を行い、ユーザの視聴状態を解析し、省電力制御をおこなう表示装置もあるが、ユーザが動かずに視聴を継続する場合、誤ってユーザが存在しないと判断されてしまい、画面表示が消されてしまうという問題もあった。このような誤動作を回避するために、結果として省電力制御を開始するまでの時間を伸ばすこととなり、省電力効果が下がってしまっていた。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの動体検出と顔検出とを組み合わせることで、省電力制御を精度良く、また効果的に実行することが可能な、新規かつ改良された表示装置および制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出部と、前記撮像部が撮像した動画像を解析して顔の存在の有無を検出する画像解析部と、前記画像解析部が検出した顔の存在の有無と、前記検出部が検出した動体の存在の有無とを組み合わせることにより設定される複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御部と、を備える、表示装置が提供される。
【０００９】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無によってのみ表示装置の消費電力を制御し、前記画像解析部が顔の存在を所定の時間検出できなかった場合に消費電力を低下させる第１のモードを有していてもよい。
【００１０】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無と、前記動体検出部が検出した動体の存在の有無とを用いて表示装置の消費電力を制御し、前記画像解析部が顔の存在を第１の所定の時間検出できなかった場合に所定のレベルまで消費電力を低下させ、該低下後、前記動体検出部が動体の存在を第２の所定の時間検出できなかった場合にさらに消費電力を低下させる第２のモードを有していてもよい。
【００１１】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無と、前記動体検出部が検出した動体の存在の有無とを用いて表示装置の消費電力を制御し、前記画像解析部が顔の存在を所定の時間検出できず、かつ前記動体検出部が動体の存在を前記所定の時間検出できなかった場合に消費電力を低下させる第３のモードを有していてもよい。
【００１２】
前記電力制御部は、画像を表示する表示パネルの輝度を上下させることで表示装置の消費電力を制御してもよい。
【００１３】
前記電力制御部は、音声を表示するスピーカの音量を上下させることで表示装置の消費電力を制御してもよい。
【００１４】
前記電力制御部は、表示画像を高画質化するための回路の動作を制御することで消費電力を制御してもよい。
【００１５】
前記電力制御部が表示装置の消費電力の制御を停止する場合に、消費電力の制御を停止していることを通知する通知部をさらに備えていてもよい。
【００１６】
前記画像解析部は、前記撮像部が撮像した動画像の解析によって個人を特定し、前記電力制御部は前記画像解析部が特定した個人に応じて前記モードを自動的に選択してもよい。
【００１７】
前記電力制御部は、表示されるコンテンツの内容に応じて前記モードを自動的に選択してもよい。
【００１８】
前記電力制御部は、電源が投入されてから最初に顔または動体が検出されるまでは、表示装置の消費電力の制御を開始しないようにしてもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像ステップと、画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出ステップと、前記撮像された動画像を解析して顔の存在の有無を検出する顔検出ステップと、顔の存在の有無と、動体の存在の有無をとを組み合わせることで複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御ステップと、を含む、制御方法が提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、ユーザの動体検出と顔検出とを組み合わせることで、省電力制御を精度良く、また効果的に実行することが可能な、新規かつ改良された表示装置および制御方法を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態にかかる画像表示装置１００の外観について説明する説明図である。
【図２】本発明の一実施形態にかかる画像表示装置１００の構成について示す説明図である。
【図３】制御部１１０の構成について説明する説明図である。
【図４】本発明の一実施形態にかかる画像表示装置１００による省電力処理の一例について示す流れ図である。
【図５】本発明の一実施形態にかかる画像表示装置１００における各省電力モードでの省電力動作を示す説明図である。
【図６】画像表示装置１００での省電力動作を示す流れ図である。
【図７】画像表示装置１００での省電力動作を示す流れ図である。
【図８】画像表示装置１００での省電力動作を示す流れ図である。
【図９】電力モードを意図的に抑制している場合の画像表示装置１００の動作例を示す説明図である。
【図１０】電力モードを意図的に抑制している場合の画像表示装置１００の動作例を示す説明図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
なお、説明は以下の順序で行うものとする。
＜１．本発明の一実施形態＞
［１−１．画像表示装置の構成］
［１−２．制御部の構成］
［１−３．省電力処理］
＜２．まとめ＞
【００２４】
＜１．本発明の一実施形態＞
［１−１．画像表示装置の構成］
まず、本発明の一実施形態にかかる画像表示装置の構成について説明する。図１は、本発明の一実施形態にかかる画像表示装置１００の外観について説明する説明図である。図１は、画像表示装置１００を正面から見た場合の正面図である。以下、図１を用いて本発明の一実施形態にかかる画像表示装置１００の外観について説明する。
【００２５】
図１に示したように、本発明の一実施形態に係る画像表示装置１００は、静止画像または動画像を表示する表示パネル１０２の上方中央部及び左右中央部に、動画像を撮像する撮像部１０４が備えられている。撮像部１０４は、画像表示装置１００が表示パネル１０２で静止画像または動画像を表示する方向に対して、動画像の撮像を行うものである。本実施形態にかかる画像表示装置１００は、撮像部１０４で撮像された画像を解析し、画像に映っているユーザの顔を検出する。そして、撮像部１０４が撮像した動画像にユーザの顔が含まれているかどうかで、画像表示装置１００は内部の動作状態を変化させることを特徴としている。
【００２６】
また、本発明の一実施形態に係る画像表示装置１００は、表示パネル１０２の下方中央部にセンサ１０６を備えている。センサ１０６は、画像表示装置１００の前方の人間の有無を検知するものである。画像表示装置１００は、画像表示装置１００の前方に人間が存在しているか否かによっても、内部の動作状態を変化させることを特徴としている。
【００２７】
また、本発明の一実施形態に係る画像表示装置１００は、ＬＥＤ１０９を備えている。ＬＥＤ１０９は、点灯状態によって、また発光色によって画像表示装置１００の状態をユーザに通知するものである。
【００２８】
なお、図１では、画像表示装置１００は、画像の表示パネル１０２の周囲の３箇所に、動画像を撮像する撮像部１０４を備えていたが、本発明においては動画像を撮影する画像入力の場所はかかる例に限定されないことは言うまでもなく、例えば、画像表示装置１００とは別の装置を設け、画像表示装置１００に当該装置を接続して、当該装置において動画像を撮影してもよい。また、画像入力部の数も３つに限られないことは言うまでもなく、２つ以下、または４つ以上の画像入力部を設けて撮像してもよい。さらに、センサ１０６の数も１つに限られないことは言うまでも無く、２つ以上のセンサを設けて人間の有無を検知してもよい。
【００２９】
また、図１には図示しないが、画像表示装置１００は、リモートコントローラ（図示せず）からの赤外線や無線等による制御信号を受信することができる信号受信部をさらに備えていてもよい。
【００３０】
以上、図１を用いて本発明の一実施形態にかかる画像表示装置１００の外観について説明した。次に、本発明の一実施形態にかかる画像表示装置１００の構成について説明する。
【００３１】
図２は、本発明の一実施形態にかかる画像表示装置１００の構成について示す説明図である。以下、図２を用いて本発明の一実施形態にかかる画像表示装置１００の構成について説明する。
【００３２】
図２に示したように、本発明の一実施形態にかかる画像表示装置１００は、表示パネル１０２と、撮像部１０４と、センサ１０６と、スピーカ１０８と、制御部１１０と、を含んで構成される。
【００３３】
そして制御部１１０は、画像入力部１１２と、画像処理部１１４と、視聴状態解析部１１６と、視聴状態記録部１１８と、システム最適化処理部１２０と、システム制御部１２２と、を含んで構成される。
【００３４】
表示パネル１０２は、パネル駆動信号に基づいて静止画像または動画像を表示するものである。本実施形態においては、表示パネル１０２は液晶によって静止画像または動画像を表示する。もちろん発明においては、表示パネル１０２はかかる例に限定されないことは言うまでもない。表示パネル１０２は、有機ＥＬ（エレクトロルミネセンス）のような自発光型の表示デバイスによって静止画像または動画像を表示するものであってもよい。
【００３５】
撮像部１０４は、上述したように、静止画像または動画像を表示する表示パネル１０２の上方中央部および左右中央部に備えられるものであり、表示パネル１０２にパネル駆動信号が供給され、表示パネル１０２において動画像を表示している際に、画像表示装置１００が表示パネル１０２で動画像を表示する方向に対して動画像の撮像を行うものである。撮像部１０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサによって動画像の撮像を行うものであってもよく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサによって動画像の撮像を行うものであってもよい。撮像部１０４で撮像された動画像は制御部１１０に送られる。
【００３６】
センサ１０６は、上述したように、静止画像または動画像を表示する表示パネル１０２の下方中央部に備えられるものであり、画像表示装置１００の前方の人間の有無を検知するものである。また、センサ１０６は、画像表示装置１００の前方に人間が存在している場合には、画像表示装置１００とその人間との間の距離を検出することができる。センサ１０６による検知結果及び距離情報は制御部１１０に送られる。スピーカ１０８は、音声出力信号に基づいて音声を出力するものである。
【００３７】
制御部１１０は、画像表示装置１００の各部の動作を制御するものである。以下で制御部１１０の各部について説明する。
【００３８】
画像入力部１１２は、撮像部１０４で撮像された動画像を受け取るものである。画像入力部１１２が受け取った動画像は画像処理部１１４に送られ、画像処理部１１４での画像処理に用いられる。
【００３９】
画像処理部１１４は、本発明の画像解析部の一例であり、画像入力部１１２から送られてきた、撮像部１０４で撮像された動画像に対する各種画像処理を実行するものである。画像処理部１１４が実行する画像処理には、撮像部１０４で撮像された動画像に含まれている動体の検出処理、動画像に含まれている人間の人数の検出処理、動画像に含まれている顔および顔の表情の検出処理が含まれる。画像処理部１１４による各種画像処理の結果は、視聴状態解析部１１６に送られて、画像表示装置１００を視聴している人物の有無や視聴している人物の状態の解析に用いられる。
【００４０】
画像処理部１１４における、画像中に含まれる顔を検出する顔検出処理については、例えば特開２００７−６５７６６号公報や、特開２００５−４４３３０号公報に掲載されている技術を用いることができる。以下、顔検出処理について簡単に説明する。
【００４１】
画像からユーザの顔を検出するには、まず供給された画像における顔の位置、顔の大きさ、顔の方向を、それぞれ検出する。顔の位置と大きさが検出されることにより、顔画像の部分を画像から切り出すことができる。そして切り出した顔画像と、顔の方向の情報とから、顔の特徴的な部分（顔特徴位置）、例えば、眉毛、目、鼻、口といった特徴的な部分を検出する。顔特徴位置の検出には、例えば、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ）と呼ばれる方法を適用して、特徴位置を検出するようにすることが可能である。
【００４２】
顔特徴位置を検出すると、検出した顔特徴位置のそれぞれに対して局所特徴量を算出する。局所特徴量を算出し、算出した局所特徴量を顔画像と併せて記憶しておくことで、撮像部１０４で撮影された画像から顔の識別が可能となる。顔の識別方法については、例えば特開２００７−６５７６６号公報や、特開２００５−４４３３０号公報に掲載されている技術を用いることが出来るので、ここでは詳細な説明は省略する。また、顔画像や顔特徴位置によって、供給された画像に写っている顔が男性なのか女性なのか、また大人なのか子供なのかを判別することも可能である。また、予め顔の情報を記録しておくことで、供給された画像に写っている人物を記録された顔の中から探し出して、個人を特定することが可能である。
【００４３】
視聴状態解析部１１６は、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を受け取り、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を用いて、画像表示装置１００が表示している画像を視聴している人物の有無や視聴している人物の状態の解析を実行するものである。視聴状態解析部１１６が人物の有無や視聴している人物の状態を解析することで、画像表示装置１００は、画像表示装置１００を視聴している人の有無によって表示パネル１０２の輝度を低下させたり、表示パネル１０２の方向を制御したりすることができる。視聴状態解析部１１６での解析処理による解析結果は、視聴状態記録部１１８及びシステム最適化処理部１２０に送られる。
【００４４】
なお、視聴状態解析部１１６は、センサ１０６の検知による検知結果及び距離情報から、動体は検知できているが、センサ１０６とその動体との距離が所定の距離以上離れている場合には、その動体は検出の対象外としてもよい。
【００４５】
視聴状態記録部１１８は、視聴状態解析部１１６の解析処理によって得られる解析結果を記録するものである。視聴状態記録部１１８が記録した視聴状態解析部１１６での解析結果は、システム最適化処理部１２０におけるシステム最適化処理に用いられる。また、視聴状態記録部１１８が記録した視聴状態解析部１１６での解析結果は、外部の情報収集サーバ２００に送られるようにしてもよい。
【００４６】
システム最適化処理部１２０は、本発明の電力制御部の一例であり、視聴状態解析部１１６の解析処理によって得られる解析結果を用いて、画像表示装置１００の各部に対するシステム最適化処理を実行するためのシステム制御情報を算出するものである。画像表示装置１００の各部に対するシステム最適化処理には、画像表示装置１００の電源制御、表示パネル１０２の輝度制御、表示パネル１０２の方向制御、表示パネル１０２の表示内容の制御、スピーカ１０８から出力される音声の音量制御、表示パネル１０２に表示する動画像を高画質化するための回路（図示せず）の動作制御等がある。
【００４７】
表示パネル１０２に表示する動画像を高画質化するための回路としては、例えばフレームレートを２倍、３倍等に向上させる倍速化回路がある。このような倍速化回路等の動画像を高画質化するための回路については、回路動作の一部または全部を停止することで、画像表示装置１００の電力消費を制御してもよい。
【００４８】
画像表示装置１００は、システム最適化処理部１２０が算出したシステム制御情報に基づいて、省電力処理を実行することができる。システム最適化処理部１２０が算出したシステム制御情報はシステム制御部１２２に送られる。
【００４９】
なお、本実施形態にかかる画像表示装置１００は、後に説明するように複数の省電力モードによって省電力動作を実行する。そして各省電力モードは、視聴状態解析部１１６の解析結果に応じてシステム最適化処理部１２０が異なるパターンで作成するシステム制御情報に基づいて省電力動作を実行するものである。
【００５０】
システム制御部１２２は、システム最適化処理部１２０が算出したシステム制御情報に基づいて、画像表示装置１００の各部に対するシステム最適化処理を実行するものである。具体的には、システム制御部１２２は、システム最適化処理部１２０が算出したシステム制御情報に基づいて、表示パネル１０２の輝度制御、表示パネル１０２の方向制御、表示パネル１０２の表示内容の制御、スピーカ１０８から出力される音声の音量制御等を実行する。
【００５１】
以上、図２を用いて本発明の一実施形態にかかる画像表示装置１００の構成について説明した。このように、本発明の一実施形態にかかる画像表示装置１００は、撮像部１０４及びセンサ１０６によって、ユーザの視聴状態を解析する。従来においては、撮像部１０４で撮像処理を行い、撮像部１０４が撮像した画像に顔が含まれているかどうかを判断する顔検出処理によってのみ、ユーザの視聴状態を解析していた。しかし、顔検出処理によってのみユーザの視聴状態を解析すると、ユーザの顔が検出しにくい場合、もしくは一定時間よそ見している場合など、表示装置を継続利用したいと考えている場合においても視聴つまりは存在なしとして表示が消されてしまうという問題が生じていた。また、顔検出処理は、センサ等による動体検出処理と比較して、相対的に画像処理時間が長くなるため、計算速度やリソースに制限のある環境においては、ユーザが視聴のために表示装置の前にきてから画像が表示されるまでの反応に遅延が生じていた。
【００５２】
一方、焦電式赤外線素子その他のセンサによって、動体またはユーザの動作検出を行いユーザの視聴状態を解析し、省電力制御をおこなう装置も存在するが、ユーザが動かずに視聴を継続する場合等に、ユーザが存在していないとして表示が消される等の問題があった。誤動作を回避するために、省電力制御を開始するまでの時間を伸ばすこととなり、結果として省電力効果が下がってしまっていた。
【００５３】
そこで、本発明の一実施形態にかかる画像表示装置１００は、撮像部１０４が撮像した画像に対する顔検出処理と、センサ１０６による動体検出処理とを組み合わせることで、より効果的にユーザの視聴状態を解析することを可能としている。
【００５４】
次に、本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について、より詳細に説明する。
【００５５】
［１−２．制御部の構成］
図３は、本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について説明する説明図である。図３は、制御部１１０の中でも、制御部１１０に含まれる視聴状態解析部１１６と、システム最適化処理部１２０の構成について説明するものである。以下、図３を用いて、視聴状態解析部１１６と、システム最適化処理部１２０の構成について説明する。
【００５６】
図３に示したように、視聴状態解析部１１６は、ユーザ視聴有無解析部１３２と、ユーザ動作解析部１３４と、を含んで構成される。そして、システム最適化処理部１２０は、パネル最適化処理算出部１４２と、スピーカ最適化処理算出部１４４と、を含んで構成される。
【００５７】
ユーザ視聴有無解析部１３２は、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を受け取り、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を用いて、画像表示装置１００を視聴している人間の有無、画像表示装置１００を視聴している人間の顔の向きや大きさを検出するものである。
【００５８】
ユーザ動作解析部１３４は、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を受け取り、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を用いて、ユーザの動作の時系列的・空間的な状態・履歴から、画像表示装置１００を視聴している人間の有無を解析するものである。
【００５９】
ここで、画像処理部１１４からは、撮像画像と、撮像画像内における、画像表示装置１００を利用しているユーザごとの顔検出情報（例えば、中心座標［ａ１，ｂ１］、顔の大きさ［ｗ１，ｈ１］、顔の向き［ｉ１］等の情報）及び動体検出情報（例えば、中心座標［ｃ１，ｄ１］、顔領域の大きさ［ｓ１］等の情報）とが、視聴状態解析部１１６に送られる。視聴状態解析部１１６では、ユーザ視聴有無解析部１３２及びユーザ動作解析部１３４において、画像処理部１１４から送られてくる情報を用いた、画像表示装置１００を視聴している人間の有無の解析処理が行われる。
【００６０】
パネル最適化処理算出部１４２は、ユーザ視聴有無解析部１３２及びユーザ動作解析部１３４による解析処理の結果を用いて、表示パネル１０２において最適な省電力化が実現できる処理（省電力化実現処理）を算出するものである。表示パネル１０２において最適な省電力化が実現できる処理とは、例えば、画像表示装置１００を視聴している人間の有無、および画像表示装置１００を視聴している人間が存在していない時間に応じた表示パネル１０２の輝度を上下させて電力消費を制御したり、スピーカ１０６から出力する音声の音量を上下させて電力消費を制御したりする処理がある。パネル最適化処理算出部１４２が算出した省電力化実現処理はシステム制御部１２２に送られ、表示パネル１０２の省電力処理に用いられる。
【００６１】
スピーカ最適化処理算出部１４４は、ユーザ視聴有無解析部１３２及びユーザ動作解析部１３４による解析処理の結果を用いて、スピーカ１０８において最適な省電力化が実現可能な処理（省電力化実現処理）を算出するものである。スピーカ１０８において最適な省電力化が実現できる処理とは、例えば、画像表示装置１００を視聴している人間の有無、および画像表示装置１００を視聴している人間が存在していない時間に応じたスピーカ１０８の音量を制御する処理がある。スピーカ最適化処理算出部１４４が算出した省電力化実現処理はシステム制御部１２２に送られ、スピーカ１０８の省電力処理に用いられる。
【００６２】
なお、システム最適化処理部１２０における省電力化実現処理の算出に際しては、最適化処理効果算出部１５２を用いても良い。最適化処理効果算出部１５２は、視聴状態解析部１１６での解析結果を用いて、またシステム最適化処理部１２０での省電力化実現処理の算出結果を用いて、ユーザの視聴状況に応じた最適な省電力処理のための制御情報を算出する。
【００６３】
以上、図３を用いて本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置１００による省電力処理について説明する。
【００６４】
［１−３．省電力処理］
図４は、本発明の一実施形態にかかる画像表示装置１００による省電力処理の一例について示す流れ図である。以下、図４を用いて本発明の一実施形態にかかる画像表示装置１００による省電力処理について説明する。
【００６５】
図４に示した流れ図は、画像表示装置１００の消費電力を抑えるモード（省電力モード）への移行処理の一例を示したものである。以下、本発明の一実施形態にかかる画像表示装置１００による省電力モードへの移行処理について詳細に説明する。画像表示装置１００の電源が投入されると、システム最適化処理部１２０によって抑制フラグに１がセットされる（ステップＳ１０１）。この抑制フラグは、画像表示装置１００において省電力モードが実行されるか否かを決めるフラグである。フラグが１の場合は、省電力モードは実行されず、フラグが０の場合は、省電力モードは実行される。そして、視聴状態解析部１１６によって顔検出処理及び動体検出処理が行われ、画像表示装置１００を視聴している人物がいるかどうかを判断する（ステップＳ１０２）。
【００６６】
上記ステップＳ１０２の顔検出処理及び動体検出処理の結果、画像表示装置１００を視聴している人物の存在を検出できたかどうかを視聴状態解析部１１６で判定する（ステップＳ１０３）。ステップＳ１０３の判定の結果、画像表示装置１００を視聴している人物の存在を視聴状態解析部１１６で検出できた場合には、システム最適化処理部１２０によって抑制フラグを０にセットする（ステップＳ１０４）。一方、ステップＳ１０３の判定の結果、画像表示装置１００を視聴している人物の存在を視聴状態解析部１１６で検出できなかった場合には、抑制フラグは１のままとする。
【００６７】
続いて、画像表示装置１００を操作するためのリモートコントローラによる、画像表示装置１００に対する操作がユーザから行われたかどうかを判定する（ステップＳ１０５）。かかる操作判定は視聴状態解析部１１６で実行しても良い。
【００６８】
上記ステップＳ１０５の判定の結果、リモートコントローラによる画像表示装置１００に対する操作がユーザから行われたと判断した場合には、画像表示装置１００の内部で保持する最終操作時刻の情報を現在時刻に設定する（ステップＳ１０６）。最終操作時刻の情報の現在時刻への設定は、例えば視聴状態解析部１１６で実行しても良い。
【００６９】
上記ステップＳ１０６で、画像表示装置１００の内部で保持する最終操作時刻の情報を現在時刻に設定すると、続いてシステム最適化処理部１２０は省電力モードを解除する（ステップＳ１０７）。
【００７０】
一方、上記ステップＳ１０５の判定の結果、リモートコントローラによる画像表示装置１００に対する操作がユーザから行われていないと判断した場合には、上記ステップＳ１０６及びステップＳ１０７はスキップする。
【００７１】
続いて、システム最適化処理部１２０は省電力モード開始条件を満たしているかどうかを判断する（ステップＳ１０８）。省電力モード開始条件は、ユーザによって指定された省電力モードによって異なるものである。以下において、本発明の一実施形態にかかる画像表示装置１００における省電力モード開始条件の一例を示すが、本発明においては、省電力モードの数、及び各省電力モードにおける省電力モード開始条件はかかる例に限定されないことは言うまでも無い。
【００７２】
本発明の一実施形態にかかる画像表示装置１００は、省電力モードとして「Ｈｉｇｈ」、「Ｍｉｄｄｌｅ」、「Ｌｏｗ」の３種類を有している。システム最適化処理部１２０は、各省電力モードに応じたシステム制御情報を算出して、算出したシステム制御情報に基づいてシステム制御部１２２が各種制御を実行することで、画像表示装置１００の各部の消費電力を異なるパターンでコントロールすることができる。
【００７３】
「Ｈｉｇｈ」は、一定時間、視聴状態解析部１１６で顔が認識できなかった場合に消費電力を抑える省電力動作に移行する省電力モードである。
【００７４】
「Ｍｉｄｄｌｅ」は、一定時間、視聴状態解析部１１６で顔が認識できなかった場合に消費電力を抑え、さらに一定時間、視聴状態解析部１１６で顔及び動体が認識できなかった場合に、さらに消費電力を抑える省電力動作に移行する省電力モードである。
【００７５】
「Ｌｏｗ」は、一定時間、視聴状態解析部１１６で顔及び動体が認識できなかった場合に、消費電力を抑える省電力動作に移行する省電力モードである。
【００７６】
図５は、本発明の一実施形態にかかる画像表示装置１００における各省電力モードでの省電力動作を示す説明図である。図５の最上行に示したグラフは、顔検出及び動体検出の様子を時系列で示したものであり、図５のその他の各グラフは、横軸が時間を示しており、縦軸が消費電力を示している。
【００７７】
図５に示したように、省電力モードが「Ｈｉｇｈ」の場合には、一定時間（例えば３秒〜１０秒の間）、視聴状態解析部１１６で顔が認識できないと、表示パネル１０２の輝度を落としたり、スピーカ１０８の音量を下げたりする等して、徐々に消費電力を抑えていく。そして、視聴状態解析部１１６で顔が認識でき、リモートコントローラによる画像表示装置１００に対する操作が行われた場合には、省電力モードを解除する。
【００７８】
また、省電力モードが「Ｍｉｄｄｌｅ」の場合には、一定時間（例えば１０秒〜３０秒の間）、視聴状態解析部１１６で顔が認識できないと、表示パネル１０２の輝度を落としたり、スピーカ１０８の音量を下げたりする等して、半分程度まで徐々に消費電力を抑えていく。そして、さらに一定時間（例えば１分〜３分の間）、視聴状態解析部１１６で顔及び動体が認識できないと、表示パネル１０２の輝度をさらに落としたり、スピーカ１０８の音量をさらに下げたりする等して、さらに消費電力を抑えていく。そして、視聴状態解析部１１６で顔が認識でき、リモートコントローラによる画像表示装置１００に対する操作が行われた場合には、省電力モードを解除する。
【００７９】
そして、省電力モードが「Ｌｏｗ」の場合には、一定時間（例えば３分〜１０分の間）、視聴状態解析部１１６で顔及び動体が認識できないと、表示パネル１０２の輝度を落としたり、スピーカ１０８の音量を下げたりする等して、徐々に消費電力を抑えていく。そして、視聴状態解析部１１６で顔が認識でき、リモートコントローラによる画像表示装置１００に対する操作が行われた場合には、省電力モードを解除する。
【００８０】
図５では、２通りの顔検出・動体検出のパターンを用いて、各省電力モードにおける省電力動作を示している。図５の中央の列で示したパターンは、顔が検出されなくなった後に動体が検出されなくなり、その後動体が検出され、該検出の後に顔が検出される場合を示している。このパターンを「パターン１」と称する。また図５の右側の列で示したパターンは、顔が検出されなくなった後に再び顔が検出され、その後再度顔が検出されなくなり、その後に動体が検出されなくなり、さらに、その後にまず顔が検出され、続いて動体が検出される場合を示している。このパターンを「パターン２」と称する。
【００８１】
省電力モードが「Ｈｉｇｈ」の場合には、顔の有無によってのみ省電力モードに移行するので、パターン１の場合、パターン２の場合のそれぞれについて、図５の上から２段目のグラフに示したような省電力動作が行われる。省電力モードが「Ｍｉｄｄｌｅ」の場合には、まず顔の有無によって省電力モードに移行して消費電力を抑え、続いて動体の有無によってさらに消費電力を抑えているので、パターン１の場合、パターン２の場合のそれぞれについて、図５の上から３段目のグラフに示したような省電力動作が行われる。省電力モードが「Ｌｏｗ」の場合には、顔の有無及び動体の有無によって省電力モードに移行して消費電力を抑えているので、パターン１の場合、パターン２の場合のそれぞれについて、図５の上から４段目に示したような省電力動作が行われる。
【００８２】
上記ステップＳ１０８において、システム最適化処理部１２０が省電力モード開始条件を満たしていると判断すると、続いてシステム最適化処理部１２０は、抑制フラグが０にセットされているかどうかを判断する（ステップＳ１０９）。
【００８３】
上記ステップＳ１０９において、システム最適化処理部１２０が、抑制フラグが０にセットされていると判断すると、続いて現在時刻から、上記ステップＳ１０６で設定された最終操作時刻を引いた時間がある一定の時間を上回っているかどうかをシステム最適化処理部１２０で判断する（ステップＳ１１０）。例えば、画像表示装置１００の省電力モードが「Ｈｉｇｈ」に設定されている場合には、現在時刻から、上記ステップＳ１０６で設定された最終操作時刻を引いた時間が１０秒を超えているかどうかをシステム最適化処理部１２０で判断する。
【００８４】
上記ステップＳ１１０において、現在時刻から最終操作時刻を引いた時間がある一定の時間を上回っているとシステム最適化処理部１２０が判断した場合には、画像表示装置１００は省電力モードを開始する（ステップＳ１１１）。例えば、画像表示装置１００の省電力モードが「Ｈｉｇｈ」に設定されている場合には、現在時刻から、上記ステップＳ１０６で設定された最終操作時刻を引いた時間が１０秒を超えていた場合には、画像表示装置１００は省電力モードを開始して、表示パネル１０２の輝度を落としたり、スピーカ１０８の音量を下げたりする等して、徐々に消費電力を抑えていく。
【００８５】
上記ステップＳ１１１で省電力モードを開始した後に、または、上記ステップＳ１０８において、システム最適化処理部１２０が省電力モード開始条件を満たしていないと判断した場合、上記ステップＳ１０９において、抑制フラグが０にセットされていないとシステム最適化処理部１２０が判断した場合、及び上記ステップＳ１１０において、現在時刻から最終操作時刻を引いた時間がある一定の時間を上回っていないとシステム最適化処理部１２０が判断した場合には、続いて、電源のオフ等により、画像表示装置１００の動作が終了したかどうかを判断する（ステップＳ１１２）。画像表示装置１００の動作が終了していればそのまま処理を終了する。一方、画像表示装置１００の動作が終了していなければ、上記ステップＳ１０２に戻り、視聴状態解析部１１６による顔検出処理及び動体検出処理の実行を継続する。
【００８６】
以上、図４を用いて本発明の一実施形態にかかる画像表示装置１００による省電力処理について説明した。次に、本発明の一実施形態にかかる画像表示装置１００における各省電力モードでの省電力動作について説明する。
【００８７】
図６は、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｈｉｇｈ」の場合における省電力動作を示す流れ図である。以下、図６を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｈｉｇｈ」の場合における省電力動作について説明する。
【００８８】
まず、省電力動作に入る前に予め、画像表示装置１００の内部で保持しているタイマーをリセットしておく（ステップＳ１２１）。ステップＳ１２１でのタイマーのリセットは、例えば視聴状態解析部１１６が実行しても良い。
【００８９】
続いて、視聴状態解析部１１６で顔検出処理を実行する（ステップＳ１２２）。そして、視聴状態解析部１１６で顔検出処理を実行した結果、画像入力部１１２に送られてきた画像に人間の顔が含まれているかどうかを視聴状態解析部１１６で判断する（ステップＳ１２３）。
【００９０】
上記ステップＳ１２３において、画像入力部１１２に送られてきた画像に人間の顔が含まれていたと視聴状態解析部１１６が判断した場合には、再び画像表示装置１００の内部で保持しているタイマーをリセットする（ステップＳ１２４）。このステップＳ１２４でのタイマーのリセットは、ステップＳ１２１でのタイマーのリセット同様に、例えば視聴状態解析部１１６が実行しても良い。
【００９１】
上記ステップＳ１２４でタイマーをリセットすると、続いてシステム最適化処理部１２０で、表示パネル１０２の明るさを標準の明るさ（通常使用時の明るさ）に設定する（ステップＳ１２５）。
【００９２】
一方、上記ステップＳ１２３において、画像入力部１１２に送られてきた画像に人間の顔が含まれていなかったと視聴状態解析部１１６が判断した場合には、続いて、タイマーがＴ１秒（例えば、１０秒）経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１２６）。
【００９３】
上記ステップＳ１２６で、タイマーがＴ１秒経過したとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は、表示パネル１０２の明るさを暗くする、または０となるように設定する（ステップＳ１２７）。
【００９４】
上記ステップＳ１２７でシステム最適化処理部１２０が表示パネル１０２の明るさを０、または最も暗くなるように設定すると、または、上記ステップＳ１２６で、タイマーがまだＴ１秒経過していないとシステム最適化処理部１２０が判断すると、続いて、タイマーがＴ２秒（ただし、Ｔ２＞Ｔ１）経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１２８）。
【００９５】
上記ステップＳ１２８で、タイマーがＴ２秒経過したとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は画像表示装置１００の主電源を切る処理を実行する（ステップＳ１２９）。一方、上記ステップＳ１２８で、タイマーがまだＴ２秒経過していないとシステム最適化処理部１２０が判断すると、上記ステップＳ１２２に戻って視聴状態解析部１１６での顔検出処理を継続する。
【００９６】
以上、図６を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｈｉｇｈ」の場合における省電力動作について説明した。次に、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｍｉｄｄｌｅ」の場合における省電力動作について説明する。
【００９７】
図７は、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｍｉｄｄｌｅ」の場合における省電力動作について示す流れ図である。以下、図７を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｍｉｄｄｌｅ」の場合における省電力動作について説明する。
【００９８】
まず、省電力動作に入る前に予め、画像表示装置１００の内部で保持している２つのタイマー（以下では、説明の便宜上、２つのタイマーをそれぞれタイマー１、２とする）をそれぞれリセットしておく（ステップＳ１３１）。このステップＳ１３１でのタイマー１、２のリセットは、例えば視聴状態解析部１１６が実行しても良い。タイマー１は、視聴状態解析部１１６が顔を検出できなかった時間を計測するためのものであり、タイマー２は、視聴状態解析部１１６が動体の存在を検出できなかった時間を計測するためのものである。
【００９９】
続いて、視聴状態解析部１１６で顔検出処理及び動体検出処理を実行する（ステップＳ１３２）。そして、視聴状態解析部１１６で顔検出処理を実行した結果、画像入力部１１２に送られてきた画像に人間の顔が含まれているかどうかを視聴状態解析部１１６で判断する（ステップＳ１３３）。
【０１００】
上記ステップＳ１３３において、画像入力部１１２に送られてきた画像に人間の顔が含まれていたと視聴状態解析部１１６が判断した場合には、再び画像表示装置１００の内部で保持しているタイマー１、２をそれぞれリセットする（ステップＳ１３４）。このステップＳ１３４でのタイマーのリセットは、ステップＳ１３１でのタイマーのリセット同様に、例えば視聴状態解析部１１６が実行しても良い。
【０１０１】
上記ステップＳ１３４でタイマーをリセットすると、続いてシステム最適化処理部１２０で、表示パネル１０２の明るさを標準の明るさ（通常使用時の明るさ）に設定する（ステップＳ１３５）。
【０１０２】
一方、上記ステップＳ１３３において、画像入力部１１２に送られてきた画像に人間の顔が含まれていなかったと視聴状態解析部１１６が判断した場合には、続いて、センサ１０６が動体を検出したかどうかを視聴状態解析部１１６で判断する（ステップＳ１３６）。
【０１０３】
上記ステップＳ１３６において、センサ１０６が動体を検出したと視聴状態解析部１１６が判断すると、続いてタイマー２をリセットする（ステップＳ１３７）。このステップＳ１３７でのタイマー２のリセットは、ステップＳ１３１、ステップＳ１３４でのタイマーのリセット同様に、例えば視聴状態解析部１１６が実行しても良い。
【０１０４】
上記ステップＳ１３７でタイマー２をリセットすると、続いて表示パネル１０２の明るさが０であるかどうかを判断する（ステップＳ１３８）。この表示パネル１０２の明るさの判断は、例えばシステム最適化処理部１２０が実行しても良い。
【０１０５】
上記ステップＳ１３８において、表示パネル１０２の明るさが０であるとシステム最適化処理部１２０が判断すると、画像表示装置１００の前にユーザはいるが、そのユーザの顔は表示パネルの方向を向いていないものとみなし、システム最適化処理部１２０は、表示パネル１０２の明るさを暗くするように制御するためのシステム制御情報を算出し、表示パネル１０２の明るさを暗くする（ステップＳ１３９）。
【０１０６】
続いて、タイマー１がＴ３秒（例えば、３０秒）を経過し、かつ、タイマー２がＴ３秒よりも長いＴ４秒（例えば、１８０秒）をまだ経過していないかどうかをシステム最適化処理部１２０で判断する（ステップＳ１４０）。
【０１０７】
上記ステップＳ１４０において、タイマー１はＴ３秒を経過し、かつ、タイマー２がＴ４秒をまだ経過していないとシステム最適化処理部１２０が判断すると、画像表示装置１００の前にユーザはいるが、そのユーザの顔は表示パネルの方向を向いていないものとみなし、システム最適化処理部１２０は、表示パネル１０２の明るさを暗くするように制御するためのシステム制御情報を算出し、表示パネル１０２の明るさを暗くする（ステップＳ１４１）。
【０１０８】
一方、上記ステップＳ１４０において、タイマー１はＴ３秒をまだ経過していないとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は上記ステップＳ１４１をスキップする。
【０１０９】
続いて、タイマー２がＴ４秒を経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１４２）。ステップＳ１４２において、タイマー２がＴ４秒を経過したとシステム最適化処理部１２０が判断すると、画像表示装置１００の前にユーザがいないものとみなし、システム最適化処理部１２０は、表示パネル１０２の明るさを０にするように制御するためのシステム制御情報を算出し、表示パネル１０２の明るさを０にする（ステップＳ１４３）。
【０１１０】
一方、上記ステップＳ１４２において、タイマー２はＴ４秒をまだ経過していないとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は上記ステップＳ１４２をスキップする。
【０１１１】
続いて、タイマー２がＴ４秒より長いＴ５秒を経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１４４）。ステップＳ１４４において、タイマー２がＴ５秒を経過したとシステム最適化処理部１２０が判断すると、画像表示装置１００の前にユーザがいないものとみなし、システム最適化処理部１２０は、画像表示装置１００の主電源を切る処理を実行する（ステップＳ１４５）。一方、ステップＳ１４４において、タイマー２がＴ５秒を経過していないとシステム最適化処理部１２０が判断すると、上記ステップＳ１３２に戻って、視聴状態解析部１１６で顔検出処理及び動体検出処理を継続する。
【０１１２】
以上、図７を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｍｉｄｄｌｅ」の場合における省電力動作について説明した。次に、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｌｏｗ」の場合における省電力動作について説明する。
【０１１３】
図８は、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｌｏｗ」の場合における省電力動作について示す流れ図である。以下、図８を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｌｏｗ」の場合における省電力動作について説明する。
【０１１４】
まず、省電力動作に入る前に予め、画像表示装置１００の内部で保持しているタイマーをリセットしておく（ステップＳ１５１）。ステップＳ１５１でのタイマーのリセットは、例えば視聴状態解析部１１６が実行しても良い。
【０１１５】
続いて、視聴状態解析部１１６で顔検出処理及び動体検出処理を実行する（ステップＳ１５２）。そして、視聴状態解析部１１６で顔検出処理及び動体検出処理を実行した結果、顔または動体を検出して、画像表示装置１００の前方に人間が存在しているかを視聴状態解析部１１６で判断する（ステップＳ１５３）。
【０１１６】
上記ステップＳ１５３において、顔または動体を検出したと視聴状態解析部１１６が判断した場合には、再び画像表示装置１００の内部で保持しているタイマーをリセットする（ステップＳ１５４）。このステップＳ１５４でのタイマーのリセットは、ステップＳ１５１でのタイマーのリセット同様に、例えば視聴状態解析部１１６が実行しても良い。
【０１１７】
上記ステップＳ１５４で、画像表示装置１００の内部で保持しているタイマーをリセットすると、続いてシステム最適化処理部１２０で、表示パネル１０２の明るさを標準の明るさ（通常使用時の明るさ）に設定する（ステップＳ１５５）。
【０１１８】
一方、上記ステップＳ１５３において、顔及び動体を検出できなかったと視聴状態解析部１１６が判断した場合には、続いて、タイマーがＴ６秒（例えば、６００秒）経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１５６）。
【０１１９】
上記ステップＳ１５６で、タイマーがＴ６秒経過したとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は、表示パネル１０２の明るさを暗くする、または０となるように設定する（ステップＳ１５７）。
【０１２０】
上記ステップＳ１５７でシステム最適化処理部１２０が表示パネル１０２の明るさを０、または最も暗くなるように設定すると、または、上記ステップＳ１５６で、タイマーがまだＴ７秒経過していないとシステム最適化処理部１２０が判断すると、続いて、タイマーがＴ８秒（ただし、Ｔ８＞Ｔ７）経過したかどうかをシステム最適化処理部１２０で判断する（ステップＳ１５８）。
【０１２１】
上記ステップＳ１５８で、タイマーがＴ８秒経過したとシステム最適化処理部１２０が判断すると、システム最適化処理部１２０は画像表示装置１００の主電源を切る処理を実行する（ステップＳ１５９）。一方、上記ステップＳ１５８で、タイマーがまだＴ２秒経過していないとシステム最適化処理部１２０が判断すると、上記ステップＳ１５２に戻って視聴状態解析部１１６での顔検出処理及び動体検出処理を継続する。
【０１２２】
以上、図８を用いて、本発明の一実施形態にかかる画像表示装置１００における省電力モードが「Ｌｏｗ」の場合における省電力動作について説明した。
【０１２３】
＜２．まとめ＞
以上説明したように本発明の一実施形態にかかる画像表示装置１００によれば、撮像部１０４で撮像した画像に人間の顔が含まれていたかによって、及びセンサ１０６によって動体の存在を検知したかによって、画像表示装置１００の前にユーザがいるかどうかを判断する。このように、顔検出処理と動体検出処理とを組み合わせることで、画像表示装置１００の前にいるユーザの存在を精度良く検出することができる。
【０１２４】
そして、本発明の一実施形態にかかる画像表示装置１００によれば、顔検出処理と動体検出処理とを組み合わせることで複数の省電力モードを実現することが出来る。すなわち、本発明の一実施形態にかかる画像表示装置１００は、顔検出処理のみを用いた省電力モードを実行することもでき、顔検出処理と動体検出処理とを組み合わせた省電力モードを実行することもできる。このように複数の省電力モードを実現可能とすることで、画像表示装置１００のユーザの利用状況に適合した省電力モードを実行することができる。
【０１２５】
なお、上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１２６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２７】
例えば、ユーザの利用状況を画像表示装置１００の内部に逐次記録し、記録したユーザの利用状況を学習した結果を用いて、複数の省電力モードの中から自動的に省電力モードをシステム最適化処理部１２０が選択するようにしてもよい。以下において、省電力モードの自動選択処理の例について説明する。
【０１２８】
例えば、撮像部１０４で撮影した画像に対する顔認識処理によってユーザを特定し、特定したユーザごとに省電力モードをステム最適化処理部１２０が自動選択してもよい。一例を挙げれば、お父さんはあまり消画しないが省電力効果が低い省電力モード、お母さんは頻繁に消画する省電力効果が低い省電力モードを事前に画像表示装置１００に設定しておき、撮像部１０４で撮影した画像に含まれている人物がお父さんなのかお母さんなのかに応じて、省電力モードをステム最適化処理部１２０が自動選択してもよい。
【０１２９】
また例えば、特定個人の視聴スタイルを分析し、最適な省電力モードをステム最適化処理部１２０が自動選択してもよい。一例を挙げれば、長時間テレビをつけっ放しにしてあまりテレビを見ていない傾向が強いユーザの場合消画に移行しやすくする。一方で短時間の番組を注視して視聴する傾向が強いユーザの場合、消画に移行しにくくするなど。視聴スタイルの分析にあたっては、一定期間ユーザの視聴形態を記録する必要があるため使い始めにおいては自動設定が使用できないが、必要なデータが取得され次第、自動設定の選択肢が有効になり使用できるようになる。
【０１３０】
また例えば、画像表示装置１００で視聴されているコンテンツによって自動的にモードを選択する。例えば、画像表示装置１００で映画などのコンテンツを視聴する際には、視聴継続を優先して消画までの時間を長くしたり、一定間隔でコマーシャルなどのコンテンツと異なる情報が提示されるような場合には、コンテンツ部分とそれ以外の部分で消画までの時間を長くしたり短くしたりしてもよい。なお、画像表示装置１００でどのようなコンテンツを視聴しているかの情報は、例えば、電子番組表（ＥＰＧ）のデータから取得してもよく、画像表示装置１００のユーザが画像表示装置１００に対して設定した現在視聴中のコンテンツのジャンルから取得してもよい。
【０１３１】
また例えば、逆光や遮蔽等によって正常な画像処理ができなかったり、ユーザが画角外から装置を視聴している等の環境において、ユーザが視聴をしているにも関わらず省電力モードが開始してしまい誤作動が発生してしまったりするような状況を考慮して、システム最適化処理部１２０は、省電力処理を開始してから最初に少なくとも一つの顔が検出されるまでは、顔や動体検出が無くとも省電力モードを開始しないようにしてもよい。
【０１３２】
そして、顔が少なくとも一度検出され、画像表示装置１００が省電力モードを開始してから、ユーザがリモートコントローラなどによって画像表示装置１００の電源の投入や、表示パネル１０２に表示される内容切り替えなどの能動的な操作を実行していると考えられる期間（またはその後一定期間）においては、誤動作を回避するために、システム最適化処理部１２０は、顔や動体検出が無くとも省電力モードを開始しないようにしてもよい。
【０１３３】
また、上述のように省電力モードを意図的に抑制している場合においては、画像表示装置１００が具備している状態通知手段（例えば、ＬＥＤや画面内でのＵＩ表示）によって、省電力モードの抑制状態をユーザに通知するようにしてもよい。図９及び図１０は、省電力モードを意図的に抑制している場合の画像表示装置１００の動作例を示す説明図である。図９は、省電力モードを意図的に抑制している場合に、省電力モードが抑制されていることを表すインジケータとしてＬＥＤ１０９を所定の色で発光させる例を示している。図１０は、省電力モードを意図的に抑制している場合に、省電力モードが抑制されていることを表すＧＵＩインジケータ１０３を表示パネル１０２に表示する例を示している。
【符号の説明】
【０１３４】
１００ 画像表示装置
１０２ 表示パネル
１０４ 撮像部
１０６ センサ
１０８ スピーカ
１０９ ＬＥＤ
１１０ 制御部
１１２ 画像入力部
１１４ 画像処理部
１１６ 視聴状態解析部
１１８ 視聴状態記録部
１２０ システム最適化処理部
１２２ システム制御部
１３２ ユーザ視聴有無解析部
１３４ ユーザ動作解析部
１４２ パネル最適化処理算出部
１４４ スピーカ最適化処理算出部
１５２ 最適化処理効果算出部
【特許請求の範囲】
【請求項１】
画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、
画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出部と、
前記撮像部が撮像した動画像を解析して顔の存在の有無を検出する画像解析部と、
前記画像解析部が検出した顔の存在の有無と、前記検出部が検出した動体の存在の有無とを組み合わせることにより設定される複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御部と、
を備える、表示装置。
【請求項２】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無によってのみ消費電力を制御し、前記画像解析部が顔の存在を所定の時間検出できなかった場合に消費電力を低下させる第１のモードを有する、請求項１に記載の表示装置。
【請求項３】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無と、前記動体検出部が検出した動体の存在の有無とを用いて消費電力を制御し、前記画像解析部が顔の存在を第１の所定の時間検出できなかった場合に所定のレベルまで消費電力を低下させ、該低下後、前記動体検出部が動体の存在を第２の所定の時間検出できなかった場合にさらに消費電力を低下させる第２のモードを有する、請求項１に記載の表示装置。
【請求項４】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無と、前記動体検出部が検出した動体の存在の有無とを用いて消費電力を制御し、前記画像解析部が顔の存在を所定の時間検出できず、かつ前記動体検出部が動体の存在を前記所定の時間検出できなかった場合に消費電力を低下させる第３のモードを有する、請求項１に記載の表示装置。
【請求項５】
前記電力制御部は、画像を表示する表示パネルの輝度を上下させることで消費電力を制御する、請求項１に記載の表示装置。
【請求項６】
前記電力制御部は、音声を表示するスピーカの音量を上下させることで消費電力を制御する、請求項１に記載の表示装置。
【請求項７】
前記電力制御部は、表示画像を高画質化するための回路の動作を制御することで消費電力を制御する、請求項１に記載の表示装置。
【請求項８】
前記電力制御部が消費電力の制御を停止する場合に、消費電力の制御を停止していることを通知する通知部をさらに備える、請求項１に記載の表示装置。
【請求項９】
前記画像解析部は、前記撮像部が撮像した動画像の解析によって個人を特定し、前記電力制御部は前記画像解析部が特定した個人に応じて前記モードを自動的に選択する、請求項１に記載の表示装置。
【請求項１０】
前記電力制御部は、表示されるコンテンツの内容に応じて前記モードを自動的に選択する、請求項１に記載の表示装置。
【請求項１１】
前記電力制御部は、電源が投入されてから最初に顔または動体が検出されるまでは、消費電力の制御を開始しない、請求項１に記載の表示装置。
【請求項１２】
画像表示方向に対する所定の範囲の動画像を撮像する撮像ステップと、
画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出ステップと、
前記撮像された動画像を解析して顔の存在の有無を検出する顔検出ステップと、
顔の存在の有無と、動体の存在の有無をとを組み合わせることで複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御ステップと、
を含む、制御方法。
【請求項１】
画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、
画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出部と、
前記撮像部が撮像した動画像を解析して顔の存在の有無を検出する画像解析部と、
前記画像解析部が検出した顔の存在の有無と、前記検出部が検出した動体の存在の有無とを組み合わせることにより設定される複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御部と、
を備える、表示装置。
【請求項２】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無によってのみ消費電力を制御し、前記画像解析部が顔の存在を所定の時間検出できなかった場合に消費電力を低下させる第１のモードを有する、請求項１に記載の表示装置。
【請求項３】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無と、前記動体検出部が検出した動体の存在の有無とを用いて消費電力を制御し、前記画像解析部が顔の存在を第１の所定の時間検出できなかった場合に所定のレベルまで消費電力を低下させ、該低下後、前記動体検出部が動体の存在を第２の所定の時間検出できなかった場合にさらに消費電力を低下させる第２のモードを有する、請求項１に記載の表示装置。
【請求項４】
前記電力制御部は、前記画像解析部が検出した顔の存在の有無と、前記動体検出部が検出した動体の存在の有無とを用いて消費電力を制御し、前記画像解析部が顔の存在を所定の時間検出できず、かつ前記動体検出部が動体の存在を前記所定の時間検出できなかった場合に消費電力を低下させる第３のモードを有する、請求項１に記載の表示装置。
【請求項５】
前記電力制御部は、画像を表示する表示パネルの輝度を上下させることで消費電力を制御する、請求項１に記載の表示装置。
【請求項６】
前記電力制御部は、音声を表示するスピーカの音量を上下させることで消費電力を制御する、請求項１に記載の表示装置。
【請求項７】
前記電力制御部は、表示画像を高画質化するための回路の動作を制御することで消費電力を制御する、請求項１に記載の表示装置。
【請求項８】
前記電力制御部が消費電力の制御を停止する場合に、消費電力の制御を停止していることを通知する通知部をさらに備える、請求項１に記載の表示装置。
【請求項９】
前記画像解析部は、前記撮像部が撮像した動画像の解析によって個人を特定し、前記電力制御部は前記画像解析部が特定した個人に応じて前記モードを自動的に選択する、請求項１に記載の表示装置。
【請求項１０】
前記電力制御部は、表示されるコンテンツの内容に応じて前記モードを自動的に選択する、請求項１に記載の表示装置。
【請求項１１】
前記電力制御部は、電源が投入されてから最初に顔または動体が検出されるまでは、消費電力の制御を開始しない、請求項１に記載の表示装置。
【請求項１２】
画像表示方向に対する所定の範囲の動画像を撮像する撮像ステップと、
画像表示方向に対する所定の範囲の動体の存在の有無を検出する動体検出ステップと、
前記撮像された動画像を解析して顔の存在の有無を検出する顔検出ステップと、
顔の存在の有無と、動体の存在の有無をとを組み合わせることで複数のモードによってそれぞれ異なるパターンで消費電力を制御する電力制御ステップと、
を含む、制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−６１３００（Ｐ２０１１−６１３００Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２０５９９７（Ｐ２００９−２０５９９７）
【出願日】平成２１年９月７日（２００９．９．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月７日（２００９．９．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]