表示装置および制御方法
【課題】ユーザによる視聴に不適な位置での視聴を防止することが可能な、新規かつ改良された表示装置および制御方法を提供すること。
【解決手段】画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、撮像部が撮像した動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する画像解析部と、画像解析部が算出した対象の位置が視聴に不適な位置である場合、対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御部とを備える表示装置が提供される。
【解決手段】画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、撮像部が撮像した動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する画像解析部と、画像解析部が算出した対象の位置が視聴に不適な位置である場合、対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御部とを備える表示装置が提供される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置および制御方法に関する。
【背景技術】
【0002】
近年、薄型テレビの市場拡大に伴い、例えばリビングルームに設置するための大画面テレビなどの画像表示装置の需要が高まっている。このような中、様々な機能を備えた画像表示装置が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ところで、画像表示装置に表示された画像をユーザは任意の位置で視聴することができるため、ユーザが視聴に不適な位置で画像表示装置に表示された画像を視聴することがある。
【0004】
例えば、子供は、放送内容にのめり込み易い傾向にあるため、テレビの画面に接近することがある。テレビの画面に接近して視聴し続けると、フォーカスが固定することに起因する視力の低下や癲癇の発生の虞がある。また、テレビの画面に過度に接近すると、テレビが転倒してけがをする虞がある。子供は、このような危険性を認識しがたいため、テレビの画面に接近させないようにする必要がある。また、子供は、テレビの画面に接近してテレビの表示部分を破壊したり、破損したテレビの表示部分によってけがをしたりする虞があるため、テレビの画面に接近させないようにする必要がある。
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザによる視聴に不適な位置での視聴を防止することが可能な、新規かつ改良された表示装置および制御方法を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、前記撮像部が撮像した動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する画像解析部と、前記画像解析部が算出した前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御部と、を備える、表示装置が提供される。
【0007】
前記表示制御部は、前記対象を適切な視聴位置に誘導するためのメッセージの表示を前記表示部に行わせてもよい。
【0008】
前記表示制御部は、前記対象と前記表示部との間の距離を示すグラフ表示を前記表示部に行わせてもよい。
【0009】
前記表示制御部は、前記表示部の輝度を低下させてもよい。
【0010】
さらに、前記画像解析部が検出した前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための音を音声出力部から出力させる音声制御部を備えてもよい。
【0011】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象であるか否かの判定において、適切な視聴位置に誘導すべき対象であるか否かの判定と、適切な視聴位置に誘導する必要のない対象であるか否かの判定とを組み合わせて判定を行ってもよい。
【0012】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象であるか否かの判定において、過去の判定履歴を用いて判定を行ってもよい。
【0013】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象の位置の算出において、過去の算出履歴を用いて位置の算出を行ってもよい。
【0014】
また、上記課題を解決するために、本発明の別の観点によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像ステップと、前記撮像された動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する算出ステップと、前記算出された前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御ステップとを備える制御方法が提供される。
【発明の効果】
【0015】
以上説明したように本発明によれば、ユーザによる視聴に不適な位置での視聴を防止することが可能な、新規かつ改良された表示装置および制御方法を提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態にかかる画像表示装置100の外観について説明する説明図である。
【図2】本発明の一実施形態にかかる画像表示装置100の構成について説明する説明図である。
【図3】制御部110の構成について説明する説明図である。
【図4】(A)は、撮像部104の撮像範囲内にユーザ1およびユーザ2が存在する場合を説明する説明図であり、(B)は、撮像部104で撮像された画像中に含まれるユーザ1の顔検出位置[a1,b1]、顔サイズ[w1,h1]とユーザ2の顔検出位置[a2,b2]、顔サイズ[w2,h2]を説明する説明図である。
【図5】(A)は、撮像部104の撮像範囲内における基準距離d0と距離d1にユーザが存在する場合を説明する説明図であり、(B)は、撮像部104で撮像された画像における距離d1のユーザの顔サイズ[w1,h1]を説明する説明図であり、(C)は、撮像部104で撮像された画像における基準距離d0のユーザの基準顔サイズ[w0,h0]を説明する説明図である。
【図6】本発明の一実施形態にかかる画像表示装置100による子供接近防止処理の一例について示す流れ図である。
【図7】(A)〜(D)は、最適な視聴位置への誘導方法を説明するための説明図である。
【図8】(A)〜(C)は、ユーザ距離の算出において、基準距離d0における基準顔サイズ[w0,h0]の補正方法を説明するための説明図である。
【図9】ユーザの属性情報の時系列的な変動を説明するための説明図である。
【図10】(A)および(B)は、ユーザが撮像部104に接近しすぎて、ユーザの顔が撮像部104の画角外に出てしまう場合を説明するための説明図である。
【図11】ユーザが子供であるか否かの判定結果を説明するための説明図である。
【図12】ユーザが子供であるか否かの判定方法を説明するための説明図である。
【発明を実施するための形態】
【0017】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0018】
なお、説明は以下の順序で行うものとする。
<1.本発明の一実施形態>
[1−1.画像表示装置の構成]
[1−2.制御部の構成]
[1−3.子供接近防止処理]
【0019】
<1.本発明の一実施形態>
[1−1.画像表示装置の構成]
まず、本発明の一実施形態にかかる画像表示装置の構成について説明する。図1は、本発明の一実施形態にかかる画像表示装置100の外観について説明する説明図である。図1は、画像表示装置100を正面から見た場合の正面図である。以下、図1を用いて本発明の一実施形態にかかる画像表示装置100の外観について説明する。
【0020】
図1に示したように、本発明の一実施形態に係る画像表示装置100は、静止画像または動画像を表示する表示パネル102の上方中央部及び左右中央部に、動画像を撮像する撮像部104が備えられている。撮像部104は、画像表示装置100が表示パネル102で静止画像または動画像を表示する方向に対して、動画像の撮像を行うものである。本実施形態にかかる画像表示装置100は、撮像部104で撮像された画像を解析し、画像に映っているユーザの顔を検出する。また、画像表示装置100は、検出されたユーザの顔の画像を解析し、年齢や性別などのその他の属性情報を算出する。そして、画像表示装置100は、算出された属性情報に基づいて、ユーザが子供なのか大人なのかを判定する。また、画像表示装置100は、検出されたユーザの顔画像を解析し、顔検出位置や顔サイズを検出する。そして、画像表示装置100は、ユーザが子供なのか大人なのかの判定結果と、ユーザの顔検出位置や顔サイズの検出結果とに基づいて、ユーザの位置を算出する。本実施形態にかかる画像表示装置100は、ユーザが子供であって、子供が画像表示装置100の視聴に不適な位置、例えば表示パネル102から1mの範囲内にいる場合に、子供を最適な視聴位置、例えば表示パネル102から1m以上離れた位置に誘導するための表示や音を出力させることを特徴としている。
【0021】
また、本発明の一実施形態に係る画像表示装置100は、表示パネル102の下方中央部にセンサ106を備えている。センサ106は、画像表示装置100の前方の人間の有無を検知するものである。
【0022】
なお、図1では、画像表示装置100は、画像の表示パネル102の周囲の3箇所に、動画像を撮像する撮像部104を備えていたが、本発明においては動画像を撮影する撮像部104の場所はかかる例に限定されないことは言うまでもなく、例えば、画像表示装置100とは別の装置を設け、画像表示装置100に当該装置を接続して、当該装置において動画像を撮影してもよい。また、撮像部104の数も3つに限られないことは言うまでもなく、2つ以下、または4つ以上の撮像部104を設けて撮像してもよい。さらに、センサ106の数も1つに限られないことは言うまでも無く、2つ以上のセンサを設けてもよい。
【0023】
また、図1には図示しないが、画像表示装置100は、リモートコントローラ(図示せず)からの赤外線や無線等による制御信号を受信することができる信号受信部をさらに備えていてもよい。
【0024】
以上、図1を用いて本発明の一実施形態にかかる画像表示装置100の外観について説明した。次に、本発明の一実施形態にかかる画像表示装置100の構成について説明する。
【0025】
図2は、本発明の一実施形態にかかる画像表示装置100の構成について説明する説明図である。以下、図2を用いて本発明の一実施形態にかかる画像表示装置100の構成について説明する。
【0026】
図2に示したように、本発明の一実施形態にかかる画像表示装置100は、表示パネル102と、撮像部104と、センサ106と、スピーカ108と、制御部110と、を含んで構成される。
【0027】
そして制御部110は、画像入力部112と、画像処理部114と、視聴状態解析部116と、視聴状態記録部118と、システム最適化処理部120と、システム制御部122と、を含んで構成される。
【0028】
表示パネル102は、本発明の表示部の一例であり、パネル駆動信号に基づいて静止画像または動画像を表示するものである。本実施形態においては、表示パネル102は液晶によって静止画像または動画像を表示する。もちろん発明においては、表示パネル102はかかる例に限定されないことは言うまでもない。表示パネル102は、有機EL(エレクトロルミネセンス)のような自発光型の表示デバイスによって静止画像または動画像を表示するものであってもよい。
【0029】
撮像部104は、上述したように、静止画像または動画像を表示する表示パネル102の上方中央部および左右中央部に備えられるものであり、表示パネル102にパネル駆動信号が供給され、表示パネル102において動画像を表示している際に、画像表示装置100が表示パネル102で動画像を表示する方向に対して動画像の撮像を行うものである。撮像部104は、CCD(Charge Coupled Device)イメージセンサによって動画像の撮像を行うものであってもよく、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサによって動画像の撮像を行うものであってもよい。撮像部104で撮像された動画像は制御部110に送られる。
【0030】
センサ106は、上述したように、静止画像または動画像を表示する表示パネル102の下方中央部に備えられるものであり、例えば、画像表示装置100の前方の人間の有無を検知するものである。また、センサ106は、画像表示装置100の前方に人間が存在している場合には、画像表示装置100とその人間との間の距離を検出することができる。センサ106による検知結果及び距離情報は制御部110に送られる。スピーカ108は、本発明の音声出力部の一例であり、音声出力信号に基づいて音声を出力するものである。
【0031】
制御部110は、画像表示装置100の動作を制御するものである。以下で制御部110の各部について説明する。
【0032】
画像入力部112は、撮像部104で撮像された動画像を受け取るものである。画像入力部112が受け取った動画像は画像処理部114に送られ、画像処理部114での画像処理に用いられる。
【0033】
画像処理部114は、本発明の画像解析部の一例であり、画像入力部112から送られてきた、撮像部104で撮像された動画像に対する各種画像処理を実行するものである。画像処理部114が実行する画像処理には、撮像部104で撮像された動画像に含まれている動体の検出処理、動画像に含まれている人間の人数の検出処理、動画像に含まれている顔および顔の表情の検出処理が含まれる。画像処理部114による各種画像処理の結果は、視聴状態解析部116に送られて、画像表示装置100を視聴している人物の有無や視聴している人物の視聴状態や視聴位置の解析に用いられる。
【0034】
画像処理部114における、画像中に含まれる顔を検出する顔検出処理については、例えば特開2007−65766号公報や、特開2005−44330号公報に掲載されている技術を用いることができる。以下、顔検出処理について簡単に説明する。
【0035】
画像からユーザの顔を検出するには、まず供給された画像における顔の位置、顔の大きさ、顔の方向を、それぞれ検出する。顔の位置と大きさが検出されることにより、顔画像の部分を画像から切り出すことができる。そして切り出した顔画像と、顔の方向の情報とから、顔の特徴的な部分(顔特徴位置)、例えば、眉毛、目、鼻、口といった特徴的な部分を検出する。顔特徴位置の検出には、例えば、AAM(Active Appearance Models)と呼ばれる方法を適用して、特徴位置を検出するようにすることが可能である。
【0036】
顔特徴位置を検出すると、検出した顔特徴位置のそれぞれに対して局所特徴量を算出する。局所特徴量を算出し、算出した局所特徴量を顔画像と併せて記憶しておくことで、撮像部104で撮影された画像から顔の識別が可能となる。顔の識別方法については、例えば特開2007−65766号公報や、特開2005−44330号公報に掲載されている技術を用いることが出来るので、ここでは詳細な説明は省略する。また、顔画像や顔特徴位置によって、供給された画像に写っている顔が男性なのか女性なのか、また人物が何歳くらいなのかを判別することも可能である。また、予め顔の情報を記録しておくことで、供給された画像に写っている人物を記録された顔の中から探し出して、個人を特定することが可能である。
【0037】
視聴状態解析部116は、本発明の画像解析部の一例であり、画像処理部114による各種画像処理の結果、並びにセンサ106の検知による検知結果及び距離情報を受け取り、画像処理部114による各種画像処理の結果、並びにセンサ106の検知による検知結果及び距離情報を用いて、画像表示装置100が表示している画像を視聴している人物が子供であるか大人であるかや視聴している人物の視聴状態や視聴位置の解析を実行するものである。視聴状態解析部116が人物が子供であるか大人であるかや視聴している人物の視聴状態や視聴位置を解析することで、画像表示装置100は、画像表示装置100を視聴している人物が子供であるか大人であるかや人物の視聴位置によって表示パネル102の輝度を低下させたり、表示パネル102の表示内容を制御したり、音声内容を制御したりすることができる。視聴状態解析部116での解析処理による解析結果は、視聴状態記録部118及びシステム最適化処理部120に送られる。
【0038】
なお、視聴状態解析部116は、センサ106の検知による検知結果及び距離情報から、動体は検知できているが、センサ106とその動体との距離が所定の距離以上離れている場合には、その動体は検出の対象外としてもよい。
【0039】
視聴状態記録部118は、視聴状態解析部116の解析処理によって得られる解析結果を記録するものである。視聴状態記録部118が記録した視聴状態解析部116での解析結果は、システム最適化処理部120におけるシステム最適化処理に用いられる。また、視聴状態記録部118が記録した視聴状態解析部116での解析結果は、外部の情報収集サーバ200に送られるようにしてもよい。
【0040】
システム最適化処理部120は、本発明の画像解析部の一例であり、視聴状態解析部116の解析処理によって得られる解析結果を用いて、画像表示装置100の各部に対するシステム最適化処理を実行するためのシステム制御情報を算出するものである。画像表示装置100の各部に対するシステム最適化処理には、表示パネル102の輝度制御、表示パネル102の表示内容の制御、スピーカ108から出力される音声内容の制御や音声の音量制御等がある。
【0041】
画像表示装置100は、システム最適化処理部120が算出したシステム制御情報に基づいて、子供接近防止処理を実行することができる。システム最適化処理部120が算出したシステム制御情報はシステム制御部122に送られる。
【0042】
システム制御部122は、本発明の表示制御部、音声制御部の一例であり、システム最適化処理部120が算出したシステム制御情報に基づいて、画像表示装置100の各部に対するシステム最適化処理を実行するものである。具体的には、システム制御部122は、システム最適化処理部120が算出したシステム制御情報に基づいて、表示パネル102の輝度制御、表示パネル102の表示内容の制御、スピーカ108から出力される音声内容の制御や音声の音量制御等を実行する。
【0043】
以上、図2を用いて本発明の一実施形態にかかる画像表示装置100の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置100に含まれる制御部110の構成について、より詳細に説明する。
【0044】
[1−2.制御部の構成]
図3は、本発明の一実施形態にかかる画像表示装置100に含まれる制御部110の構成について説明する説明図である。図3は、制御部110の中でも、制御部110に含まれる視聴状態解析部116の構成について説明するものである。以下、図3を用いて、視聴状態解析部116の構成について説明する。
【0045】
図3に示したように、視聴状態解析部116は、ユーザ方向/距離算出部132と、ユーザ属性算出部134と、を含んで構成される。
【0046】
ユーザ方向/距離算出部132は、画像処理部114による各種画像処理の結果、並びに撮像部104の画角や解像度の情報等の光学情報を受け取り、画像処理部114による各種画像処理の結果、並びに撮像部104の光学情報を用いて、撮像部104の光軸に対するユーザの相対位置(方向[φ1,θ1]、距離d1)を算出する。図4(A)は、撮像部104の撮像範囲内にユーザ1およびユーザ2が存在する場合を説明する説明図であり、図4(B)は、撮像部104で撮像された画像中に含まれるユーザ1の顔検出位置[a1,b1]、顔サイズ[w1,h1]とユーザ2の顔検出位置[a2,b2]、顔サイズ[w2,h2]を説明する説明図である。また、図5(A)は、撮像部104の撮像範囲内における基準距離d0と距離d1にユーザが存在する場合を説明する説明図であり、図5(B)は、撮像部104で撮像された画像における距離d1のユーザの顔サイズ[w1,h1]を説明する説明図であり、図5(C)は、撮像部104で撮像された画像における基準距離d0のユーザの基準顔サイズ[w0,h0]を説明する説明図である。
【0047】
方向[φ1,θ1]は撮像画像サイズ[xmax,ymax]で正規化された顔検出位置[a1,b1]と撮像部104の画角[φ0,θ0]とから、
水平方向:φ1=φ0*a1
垂直方向:θ1=θ0*b1
として算出する。また、距離d1は基準距離d0における基準顔サイズ[w0,h0]から、
距離:d1=d0*(w0/w1)
として算出する。
【0048】
ユーザ属性算出部134は、画像処理部114による各種画像処理の結果、並びに画像処理部114より得られたユーザの年齢などの属性情報を受け取り、画像処理部114による各種画像処理の結果、並びに画像処理部114より得られた属性情報を用いて、ユーザが子供であるか大人であるかを判定する。
【0049】
ここで、画像処理部114からは、撮像画像と、撮像画像内における、画像表示装置100を利用しているユーザごとの顔検出情報(例えば、顔検出位置[a1,b1]、顔サイズ[w1,h1]、年齢や性別などのその他の属性情報等の情報)が、視聴状態解析部116のユーザ方向/距離算出部132やユーザ属性算出部134に送られる。視聴状態解析部116では、ユーザ方向/距離算出部132において、画像処理部114から送られてくる情報を用いた、画像表示装置100を視聴している人間の視聴位置の解析処理が行われる。また、ユーザ属性算出部134において、画像処理部114から送られてくる情報を用いた、画像表示装置100を視聴している人間が子供であるか大人であるかの解析処理が行われる。
【0050】
システム最適化処理部120は、ユーザ方向/算出部132及びユーザ属性算出部134による解析処理の結果を用いて、子供が画像表示装置100の視聴に適さない位置にいる場合に、子供を画像表示装置100の視聴に適した位置へ誘導するための処理(子供誘導実現処理)のためのシステム制御情報を算出するものである。子供を画像表示装置100の視聴に適した位置へ誘導することができる処理とは、例えば、表示パネル102の輝度を低下させるとともに、表示パネル102において最適な視聴位置への誘導メッセージを表示したり、表示パネル102において接近距離のグラフ表示と警告メッセージを表示したりする処理がある。また、例えば、表示パネル102の明るさをオフにするとともに、表示パネル102において最適な視聴位置への誘導メッセージを表示したり、スピーカ108から警告音声を発生させたりする処理がある。システム最適化処理部120が算出した子供誘導実現処理のためのシステム制御情報はシステム制御部122に送られ、子供接近防止処理に用いられる。
【0051】
以上、図3を用いて本発明の一実施形態にかかる画像表示装置100に含まれる制御部110の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置100による子供接近防止処理について説明する。
【0052】
[1−3.子供接近防止処理]
図6は、本発明の一実施形態にかかる画像表示装置100による子供接近防止処理の一例について示す流れ図である。以下、図6を用いて本発明の一実施形態にかかる画像表示装置100による子供接近防止処理について説明する。
【0053】
図6において、まず、画像表示装置100の撮像部104が撮像を開始すると、画像表示装置100の画像処理部114は、撮像部104で撮像された画像に含まれる顔の検出処理などを実行して、画像表示装置100が表示している画像を視聴している人物の顔を認識する(ステップS602)。
【0054】
次いで、画像表示装置100の視聴状態解析部116は、画像処理部114から送られてくる情報を用いた、画像表示装置100を視聴している人間の視聴位置の解析処理や子供であるか大人であるかの解析処理を行う。そして、画像表示装置100のシステム最適化処理部120は、視聴状態解析部116による解析処理の結果を用いて、子供が画像表示装置100の視聴に適さない位置にいるか、すなわち画像表示装置100に接近しているか否かを判別する。具体的には、システム最適化処理部120は、子供の顔を検出したか、かつ子供の顔の大きさ、すなわち顔サイズが所定値以上であるか否かを判別する(ステップS604)。なお、画像表示装置100には、基準位置における子供の基準顔サイズが予め登録されているものとする。また、所定値は画像表示装置100の視聴に適しない位置での子供の顔サイズである。
【0055】
ステップS604の判別の結果、子供の顔を検出し、かつ子供の顔サイズが所定値以上であるときは(ステップS604でYES)、システム最適化処理部120は、過去所定時間内に検出された子供接近の回数が所定数以上であるか否かを判別し(ステップS606)、過去所定時間内に検出された子供接近の回数が所定数以上でないときは(ステップS606でNO)、ステップS602の処理に戻る。また、所定時間は、適宜設定することができる。また、所定数は、設定された所定時間によって適宜変更することができる。
【0056】
ステップS606の判別の結果、過去所定時間内に検出された子供接近の回数が所定数以上であるときは(ステップステップS606でYES)、システム最適化処理部120は、画像表示装置100に子供が接近していると判断する(ステップS608)。
【0057】
次いで、システム最適化処理部120は、上述した子供誘導実現処理のためのシステム制御情報を算出して、算出したシステム制御情報をシステム制御部122に送る。そして、システム制御部122は、システム最適化処理部120から受け取ったシステム制御情報に基づいて、表示パネル102の輝度制御、表示パネル102の表示内容の制御、スピーカ108から出力される音声内容の制御等を実行する(ステップS610)。例えば、図7(A)に示すように、表示パネル102の輝度を低下させるとともに、表示パネル102において最適な視聴位置への誘導メッセージを表示する。また、図7(B)に示すように、表示パネル102の明るさをオフにするとともに、表示パネル102において最適な視聴位置への誘導メッセージを表示する。また、図7(C)に示すように、表示パネル102の輝度を低下させるとともに、表示パネル102において画像表示処理100とユーザとの接近距離のグラフ表示と警告メッセージを表示する。また、図7(D)に示すように、表示パネル102の明るさをオフにするとともに、スピーカ108から警告音声を発生させる。また、上述した処理とともに、リモートコントローラ(図示せず)を振動させてもよい。そして、ステップS602の処理に戻る。
【0058】
ステップS604の判別の結果、子供の顔を検出し、かつ子供の顔サイズが所定値以上でないときは(ステップS604でNO)、システム最適化処理部120は、所定値以下の顔サイズの子供を検出したか、もしくは子供以外の顔を検出したか否かを判別し(ステップS612)、所定値以下の顔サイズの子供や子供以外の顔を検出していないときは(ステップS612でNO)、ステップS602の処理に戻る。
【0059】
ステップS612の判別の結果、所定値以下の顔サイズの子供、もしくは子供以外の顔を検出したときは(ステップS612でYES)、システム最適化処理部120は、過去所定時間内に検出された子供接近の回数が所定数以下であるか否かを判別し(ステップS614)、過去所定時間内に検出された子供接近の回数が所定数以下でないときは(ステップS614でNO)、ステップS602の処理に戻る。
【0060】
ステップS614の判別の結果、過去所定時間内に検出された子供接近の回数が所定数以下であるときは(ステップS614でYES)、システム最適化処理部120は、画像表示装置100に子供が接近していないと判断する(ステップS616)。
【0061】
次いで、システム最適化処理部120は、システム制御部122が上述した子供誘導実現処理のためのシステム制御情報に基づいて、表示パネル102の輝度制御、表示パネル102の表示内容の制御、スピーカから出力される音声内容の制御等を実行している場合には、通常の表示処理に戻すためのシステム制御情報を算出して、算出したシステム制御情報をシステム制御部122に送る。そして、システム制御部122は、システム最適化処理部120から受け取ったシステム制御情報に基づいて、表示パネル102の輝度や表示内容、スピーカ108から出力される音声内容を通常の状態に戻す処理を実行する(ステップS618)。そして、ステップS602の処理に戻る。
【0062】
図6の子供接近防止処理によれば、過去所定時間内に検出された子供接近の回数が所定数以上であるときに、システム最適化処理部120が画像表示装置100に子供が接近していると判断する。そして、システム制御部122が子供を画像表示装置100の視聴に適した位置へ誘導するための処理、例えば、図7(A)に示す表示パネル102の輝度を低下させるとともに、表示パネル102において誘導メッセージを表示する処理を実行する。これにより、子供が画像表示装置100に接近して、子供が画像表示装置100の視聴に不適な位置で視聴するのを防止することができる。したがって、子供が画像表示装置100に接近して視聴し続けることによる、フォーカスが固定することに起因する視力の低下や癲癇の発生を防止することができる。また、子供が画像表示装置100に過度に接近することによる、画像表示装置100の転倒を防止することができる。また、子供が画像表示装置100に接近して画像表示装置100の表示部分を破壊したり、破損した画像表示装置100の表示部分によってけがをしたりする虞をなくすことができる。
【0063】
また、本実施の形態では、図8(A)〜図8(C)に示すように、ユーザの視聴位置の算出において、基準距離d0における基準顔サイズ[w0,h0]を以下のような補正テーブルを用いることで顔サイズのバラつきを補正してもよい。例えば、ユーザの年齢などの属性情報から、その年齢における平均的な顔サイズのデータテーブルを予め記憶しておき、例えばユーザが子供であれば基準顔サイズ[w0,h0]を図8(C)に示す基準顔サイズよりも小さい顔サイズ[w0C,h0C]にし、ユーザが大人であれば基準顔サイズ[w0,h0]を図8(B)に示す基準顔サイズよりも大きい顔サイズ[w0A,h0A]にしてもよい。
【0064】
また、本実施の形態では、ユーザの視聴位置の算出において、画像表示装置100を利用するユーザ、例えば画像表示装置100の設置場所の家族などを予め画像表示装置100に登録する際に、ユーザ毎の顔サイズをデータテーブルとして登録してもよい。これにより、ユーザ毎に基準顔サイズを変更することができる。ユーザ毎の顔サイズの登録方法としては、別の距離センサ(図示せず)と連動して距離情報とともに撮影することや、ユーザを一定距離に誘導してから撮影することや、基準となる尺度と同じ距離で撮影することなどで実現可能である。
【0065】
また、図9に示すように、同一のユーザであっても、ユーザの属性情報は時系列的に変動が生ずることがあるため、本実施の形態では、システム最適化処理部120におけるユーザが子供であるか大人であるかの判定においては、時系列的な傾向をもとに、すなわち過去の判定履歴を用いて判定を行う。例えば、図9に示すように、t1時点においては、ユーザの属性情報は子供の属性情報であり、t2時点においては、ユーザの属性情報は大人の属性情報であり、t3時点においては、ユーザの属性情報は子供の属性情報であるとする。この場合、所定時間の間、すなわちt1〜t3の間における子供の判定が一定数、例えば2以上であるので子供であると判定することができる。
【0066】
また、本実施の形態では、過去所定時間内に検出された子供接近の回数が所定数以上であるときに、子供接近と判定したが、図10(A)及び図10(B)に示すように、ユーザがt3時点でのように撮像部104に接近しすぎて、ユーザの顔が撮像部104の画角外に出てしまい顔を検出できなくなる場合がある。このため、本実施の形態では、ユーザの顔が検出されなくなったt3時点の直前のt1時点及びt2時点での情報、すなわち過去の位置の算出履歴を用いてt3時点での位置を算出または推測して、ユーザが撮像部104の撮像範囲を超えて接近していると判断してもよい。また、ユーザの身体の一部が撮像部104を覆っている場合には、背景差分や動体検出(動き領域の大きさ)等によって、上述したユーザが撮像部104の撮像範囲を超えて接近していることの判定精度を向上させることができる。
【0067】
また、本実施の形態では、ユーザの年齢などの属性情報を用いた、ユーザが子供であるか大人であるかの判定において、ユーザが子供であるか否かの判定と、ユーザが大人であるか否かの判定とを組み合わせて行うことにより、子供判定における誤判定の割合を低減する。以下、具体的に子供判定における誤判定の割合の低減方法について説明する。
【0068】
まず、ユーザが子供であるか否かの判定の結果としては、図11に示すように、以下の4つのケースがある。
ケースA:TruePositive(正しく子供と判定した。)
ケースB:FalseNegative(子供と判定すべきところを子供と判定しなかった。)
ケースC:FalsePositive(子供と判定すべきでないところを子供と判定した。)
ケースD:TrueNegative(正しく子供と判定しなかった。)
【0069】
本実施の形態では、子供が画像表示装置100に接近することを正しく検知したいため、ユーザが子供であるか否かの判定では、ケースCの子供と判定すべきでないところを子供と判定するのを削減したい。例えば、子供であるか否かの判定精度が85%@FPR10%とする。ここで、
FPR(False Positive Rate)=ケースC/(ケースC+ケースD)、
精度(Precision)=ケースA/(ケースA+ケースC)
とする。
【0070】
実際に子供である100人の人物と、実際に大人である150人の人物とを上述した判定精度で子供であるか否かの判定を行った場合において、100人が子供であると判定されたときは、ケースAに該当するのは85人となり、ケースBに該当するのは15人となり、ケースCに該当するのは15人となり、ケースDに該当するのは135人となる。したがって、実際に子供である100人の人物の内、85人を正しく子供と判定し、実際に大人である150人の人物の内、15人を間違って子供と判定することになる。
【0071】
本実施の形態では、図12に示すように、子供であるか否かの判定を行った後に、大人であるか否かの判定を行う。例えば、上述したように、子供であるか否かの判定において、子供と判定された実際に子供である85人の人物と、実際には大人である15人の人物とを大人であるか否かの判定を行った場合、実際に大人である人物は実際には子供である人物よりも大人と判定されやすいと期待できるため、例えば、実際には子供である85人の人物の内、10人を間違って大人と判定し、実際に大人である15人の人物の内、10人を正しく大人と判定することが期待できる。したがって、実際に子供である85人の人物の内、75人を正しく大人でないと判定し、実際に大人である15人の人物の内、5人を間違って大人でないと判定することになる。このように、本実施の形態では、子供であるか否かの判定と、大人であるか否かの判定とを組み合わせて子供であるか否かの判定を行うので、図12に示すように、子供であるか否かの判定精度を、子供であるか否かのみでの判定精度85%から、子供であるか否かの判定と大人であるか否かの判定との組み合わせでの判定精度93.75%に向上させることができる。
【0072】
なお、上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0073】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0074】
100 画像表示装置
102 表示パネル
104 撮像部
106 センサ
108 スピーカ
110 制御部
112 画像入力部
114 画像処理部
116 視聴状態解析部
118 視聴状態記録部
120 システム最適化処理部
122 システム制御部
132 ユーザ方向/距離算出部
134 ユーザ属性解析部
【技術分野】
【0001】
本発明は、表示装置および制御方法に関する。
【背景技術】
【0002】
近年、薄型テレビの市場拡大に伴い、例えばリビングルームに設置するための大画面テレビなどの画像表示装置の需要が高まっている。このような中、様々な機能を備えた画像表示装置が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ところで、画像表示装置に表示された画像をユーザは任意の位置で視聴することができるため、ユーザが視聴に不適な位置で画像表示装置に表示された画像を視聴することがある。
【0004】
例えば、子供は、放送内容にのめり込み易い傾向にあるため、テレビの画面に接近することがある。テレビの画面に接近して視聴し続けると、フォーカスが固定することに起因する視力の低下や癲癇の発生の虞がある。また、テレビの画面に過度に接近すると、テレビが転倒してけがをする虞がある。子供は、このような危険性を認識しがたいため、テレビの画面に接近させないようにする必要がある。また、子供は、テレビの画面に接近してテレビの表示部分を破壊したり、破損したテレビの表示部分によってけがをしたりする虞があるため、テレビの画面に接近させないようにする必要がある。
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザによる視聴に不適な位置での視聴を防止することが可能な、新規かつ改良された表示装置および制御方法を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、前記撮像部が撮像した動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する画像解析部と、前記画像解析部が算出した前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御部と、を備える、表示装置が提供される。
【0007】
前記表示制御部は、前記対象を適切な視聴位置に誘導するためのメッセージの表示を前記表示部に行わせてもよい。
【0008】
前記表示制御部は、前記対象と前記表示部との間の距離を示すグラフ表示を前記表示部に行わせてもよい。
【0009】
前記表示制御部は、前記表示部の輝度を低下させてもよい。
【0010】
さらに、前記画像解析部が検出した前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための音を音声出力部から出力させる音声制御部を備えてもよい。
【0011】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象であるか否かの判定において、適切な視聴位置に誘導すべき対象であるか否かの判定と、適切な視聴位置に誘導する必要のない対象であるか否かの判定とを組み合わせて判定を行ってもよい。
【0012】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象であるか否かの判定において、過去の判定履歴を用いて判定を行ってもよい。
【0013】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象の位置の算出において、過去の算出履歴を用いて位置の算出を行ってもよい。
【0014】
また、上記課題を解決するために、本発明の別の観点によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像ステップと、前記撮像された動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する算出ステップと、前記算出された前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御ステップとを備える制御方法が提供される。
【発明の効果】
【0015】
以上説明したように本発明によれば、ユーザによる視聴に不適な位置での視聴を防止することが可能な、新規かつ改良された表示装置および制御方法を提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態にかかる画像表示装置100の外観について説明する説明図である。
【図2】本発明の一実施形態にかかる画像表示装置100の構成について説明する説明図である。
【図3】制御部110の構成について説明する説明図である。
【図4】(A)は、撮像部104の撮像範囲内にユーザ1およびユーザ2が存在する場合を説明する説明図であり、(B)は、撮像部104で撮像された画像中に含まれるユーザ1の顔検出位置[a1,b1]、顔サイズ[w1,h1]とユーザ2の顔検出位置[a2,b2]、顔サイズ[w2,h2]を説明する説明図である。
【図5】(A)は、撮像部104の撮像範囲内における基準距離d0と距離d1にユーザが存在する場合を説明する説明図であり、(B)は、撮像部104で撮像された画像における距離d1のユーザの顔サイズ[w1,h1]を説明する説明図であり、(C)は、撮像部104で撮像された画像における基準距離d0のユーザの基準顔サイズ[w0,h0]を説明する説明図である。
【図6】本発明の一実施形態にかかる画像表示装置100による子供接近防止処理の一例について示す流れ図である。
【図7】(A)〜(D)は、最適な視聴位置への誘導方法を説明するための説明図である。
【図8】(A)〜(C)は、ユーザ距離の算出において、基準距離d0における基準顔サイズ[w0,h0]の補正方法を説明するための説明図である。
【図9】ユーザの属性情報の時系列的な変動を説明するための説明図である。
【図10】(A)および(B)は、ユーザが撮像部104に接近しすぎて、ユーザの顔が撮像部104の画角外に出てしまう場合を説明するための説明図である。
【図11】ユーザが子供であるか否かの判定結果を説明するための説明図である。
【図12】ユーザが子供であるか否かの判定方法を説明するための説明図である。
【発明を実施するための形態】
【0017】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0018】
なお、説明は以下の順序で行うものとする。
<1.本発明の一実施形態>
[1−1.画像表示装置の構成]
[1−2.制御部の構成]
[1−3.子供接近防止処理]
【0019】
<1.本発明の一実施形態>
[1−1.画像表示装置の構成]
まず、本発明の一実施形態にかかる画像表示装置の構成について説明する。図1は、本発明の一実施形態にかかる画像表示装置100の外観について説明する説明図である。図1は、画像表示装置100を正面から見た場合の正面図である。以下、図1を用いて本発明の一実施形態にかかる画像表示装置100の外観について説明する。
【0020】
図1に示したように、本発明の一実施形態に係る画像表示装置100は、静止画像または動画像を表示する表示パネル102の上方中央部及び左右中央部に、動画像を撮像する撮像部104が備えられている。撮像部104は、画像表示装置100が表示パネル102で静止画像または動画像を表示する方向に対して、動画像の撮像を行うものである。本実施形態にかかる画像表示装置100は、撮像部104で撮像された画像を解析し、画像に映っているユーザの顔を検出する。また、画像表示装置100は、検出されたユーザの顔の画像を解析し、年齢や性別などのその他の属性情報を算出する。そして、画像表示装置100は、算出された属性情報に基づいて、ユーザが子供なのか大人なのかを判定する。また、画像表示装置100は、検出されたユーザの顔画像を解析し、顔検出位置や顔サイズを検出する。そして、画像表示装置100は、ユーザが子供なのか大人なのかの判定結果と、ユーザの顔検出位置や顔サイズの検出結果とに基づいて、ユーザの位置を算出する。本実施形態にかかる画像表示装置100は、ユーザが子供であって、子供が画像表示装置100の視聴に不適な位置、例えば表示パネル102から1mの範囲内にいる場合に、子供を最適な視聴位置、例えば表示パネル102から1m以上離れた位置に誘導するための表示や音を出力させることを特徴としている。
【0021】
また、本発明の一実施形態に係る画像表示装置100は、表示パネル102の下方中央部にセンサ106を備えている。センサ106は、画像表示装置100の前方の人間の有無を検知するものである。
【0022】
なお、図1では、画像表示装置100は、画像の表示パネル102の周囲の3箇所に、動画像を撮像する撮像部104を備えていたが、本発明においては動画像を撮影する撮像部104の場所はかかる例に限定されないことは言うまでもなく、例えば、画像表示装置100とは別の装置を設け、画像表示装置100に当該装置を接続して、当該装置において動画像を撮影してもよい。また、撮像部104の数も3つに限られないことは言うまでもなく、2つ以下、または4つ以上の撮像部104を設けて撮像してもよい。さらに、センサ106の数も1つに限られないことは言うまでも無く、2つ以上のセンサを設けてもよい。
【0023】
また、図1には図示しないが、画像表示装置100は、リモートコントローラ(図示せず)からの赤外線や無線等による制御信号を受信することができる信号受信部をさらに備えていてもよい。
【0024】
以上、図1を用いて本発明の一実施形態にかかる画像表示装置100の外観について説明した。次に、本発明の一実施形態にかかる画像表示装置100の構成について説明する。
【0025】
図2は、本発明の一実施形態にかかる画像表示装置100の構成について説明する説明図である。以下、図2を用いて本発明の一実施形態にかかる画像表示装置100の構成について説明する。
【0026】
図2に示したように、本発明の一実施形態にかかる画像表示装置100は、表示パネル102と、撮像部104と、センサ106と、スピーカ108と、制御部110と、を含んで構成される。
【0027】
そして制御部110は、画像入力部112と、画像処理部114と、視聴状態解析部116と、視聴状態記録部118と、システム最適化処理部120と、システム制御部122と、を含んで構成される。
【0028】
表示パネル102は、本発明の表示部の一例であり、パネル駆動信号に基づいて静止画像または動画像を表示するものである。本実施形態においては、表示パネル102は液晶によって静止画像または動画像を表示する。もちろん発明においては、表示パネル102はかかる例に限定されないことは言うまでもない。表示パネル102は、有機EL(エレクトロルミネセンス)のような自発光型の表示デバイスによって静止画像または動画像を表示するものであってもよい。
【0029】
撮像部104は、上述したように、静止画像または動画像を表示する表示パネル102の上方中央部および左右中央部に備えられるものであり、表示パネル102にパネル駆動信号が供給され、表示パネル102において動画像を表示している際に、画像表示装置100が表示パネル102で動画像を表示する方向に対して動画像の撮像を行うものである。撮像部104は、CCD(Charge Coupled Device)イメージセンサによって動画像の撮像を行うものであってもよく、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサによって動画像の撮像を行うものであってもよい。撮像部104で撮像された動画像は制御部110に送られる。
【0030】
センサ106は、上述したように、静止画像または動画像を表示する表示パネル102の下方中央部に備えられるものであり、例えば、画像表示装置100の前方の人間の有無を検知するものである。また、センサ106は、画像表示装置100の前方に人間が存在している場合には、画像表示装置100とその人間との間の距離を検出することができる。センサ106による検知結果及び距離情報は制御部110に送られる。スピーカ108は、本発明の音声出力部の一例であり、音声出力信号に基づいて音声を出力するものである。
【0031】
制御部110は、画像表示装置100の動作を制御するものである。以下で制御部110の各部について説明する。
【0032】
画像入力部112は、撮像部104で撮像された動画像を受け取るものである。画像入力部112が受け取った動画像は画像処理部114に送られ、画像処理部114での画像処理に用いられる。
【0033】
画像処理部114は、本発明の画像解析部の一例であり、画像入力部112から送られてきた、撮像部104で撮像された動画像に対する各種画像処理を実行するものである。画像処理部114が実行する画像処理には、撮像部104で撮像された動画像に含まれている動体の検出処理、動画像に含まれている人間の人数の検出処理、動画像に含まれている顔および顔の表情の検出処理が含まれる。画像処理部114による各種画像処理の結果は、視聴状態解析部116に送られて、画像表示装置100を視聴している人物の有無や視聴している人物の視聴状態や視聴位置の解析に用いられる。
【0034】
画像処理部114における、画像中に含まれる顔を検出する顔検出処理については、例えば特開2007−65766号公報や、特開2005−44330号公報に掲載されている技術を用いることができる。以下、顔検出処理について簡単に説明する。
【0035】
画像からユーザの顔を検出するには、まず供給された画像における顔の位置、顔の大きさ、顔の方向を、それぞれ検出する。顔の位置と大きさが検出されることにより、顔画像の部分を画像から切り出すことができる。そして切り出した顔画像と、顔の方向の情報とから、顔の特徴的な部分(顔特徴位置)、例えば、眉毛、目、鼻、口といった特徴的な部分を検出する。顔特徴位置の検出には、例えば、AAM(Active Appearance Models)と呼ばれる方法を適用して、特徴位置を検出するようにすることが可能である。
【0036】
顔特徴位置を検出すると、検出した顔特徴位置のそれぞれに対して局所特徴量を算出する。局所特徴量を算出し、算出した局所特徴量を顔画像と併せて記憶しておくことで、撮像部104で撮影された画像から顔の識別が可能となる。顔の識別方法については、例えば特開2007−65766号公報や、特開2005−44330号公報に掲載されている技術を用いることが出来るので、ここでは詳細な説明は省略する。また、顔画像や顔特徴位置によって、供給された画像に写っている顔が男性なのか女性なのか、また人物が何歳くらいなのかを判別することも可能である。また、予め顔の情報を記録しておくことで、供給された画像に写っている人物を記録された顔の中から探し出して、個人を特定することが可能である。
【0037】
視聴状態解析部116は、本発明の画像解析部の一例であり、画像処理部114による各種画像処理の結果、並びにセンサ106の検知による検知結果及び距離情報を受け取り、画像処理部114による各種画像処理の結果、並びにセンサ106の検知による検知結果及び距離情報を用いて、画像表示装置100が表示している画像を視聴している人物が子供であるか大人であるかや視聴している人物の視聴状態や視聴位置の解析を実行するものである。視聴状態解析部116が人物が子供であるか大人であるかや視聴している人物の視聴状態や視聴位置を解析することで、画像表示装置100は、画像表示装置100を視聴している人物が子供であるか大人であるかや人物の視聴位置によって表示パネル102の輝度を低下させたり、表示パネル102の表示内容を制御したり、音声内容を制御したりすることができる。視聴状態解析部116での解析処理による解析結果は、視聴状態記録部118及びシステム最適化処理部120に送られる。
【0038】
なお、視聴状態解析部116は、センサ106の検知による検知結果及び距離情報から、動体は検知できているが、センサ106とその動体との距離が所定の距離以上離れている場合には、その動体は検出の対象外としてもよい。
【0039】
視聴状態記録部118は、視聴状態解析部116の解析処理によって得られる解析結果を記録するものである。視聴状態記録部118が記録した視聴状態解析部116での解析結果は、システム最適化処理部120におけるシステム最適化処理に用いられる。また、視聴状態記録部118が記録した視聴状態解析部116での解析結果は、外部の情報収集サーバ200に送られるようにしてもよい。
【0040】
システム最適化処理部120は、本発明の画像解析部の一例であり、視聴状態解析部116の解析処理によって得られる解析結果を用いて、画像表示装置100の各部に対するシステム最適化処理を実行するためのシステム制御情報を算出するものである。画像表示装置100の各部に対するシステム最適化処理には、表示パネル102の輝度制御、表示パネル102の表示内容の制御、スピーカ108から出力される音声内容の制御や音声の音量制御等がある。
【0041】
画像表示装置100は、システム最適化処理部120が算出したシステム制御情報に基づいて、子供接近防止処理を実行することができる。システム最適化処理部120が算出したシステム制御情報はシステム制御部122に送られる。
【0042】
システム制御部122は、本発明の表示制御部、音声制御部の一例であり、システム最適化処理部120が算出したシステム制御情報に基づいて、画像表示装置100の各部に対するシステム最適化処理を実行するものである。具体的には、システム制御部122は、システム最適化処理部120が算出したシステム制御情報に基づいて、表示パネル102の輝度制御、表示パネル102の表示内容の制御、スピーカ108から出力される音声内容の制御や音声の音量制御等を実行する。
【0043】
以上、図2を用いて本発明の一実施形態にかかる画像表示装置100の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置100に含まれる制御部110の構成について、より詳細に説明する。
【0044】
[1−2.制御部の構成]
図3は、本発明の一実施形態にかかる画像表示装置100に含まれる制御部110の構成について説明する説明図である。図3は、制御部110の中でも、制御部110に含まれる視聴状態解析部116の構成について説明するものである。以下、図3を用いて、視聴状態解析部116の構成について説明する。
【0045】
図3に示したように、視聴状態解析部116は、ユーザ方向/距離算出部132と、ユーザ属性算出部134と、を含んで構成される。
【0046】
ユーザ方向/距離算出部132は、画像処理部114による各種画像処理の結果、並びに撮像部104の画角や解像度の情報等の光学情報を受け取り、画像処理部114による各種画像処理の結果、並びに撮像部104の光学情報を用いて、撮像部104の光軸に対するユーザの相対位置(方向[φ1,θ1]、距離d1)を算出する。図4(A)は、撮像部104の撮像範囲内にユーザ1およびユーザ2が存在する場合を説明する説明図であり、図4(B)は、撮像部104で撮像された画像中に含まれるユーザ1の顔検出位置[a1,b1]、顔サイズ[w1,h1]とユーザ2の顔検出位置[a2,b2]、顔サイズ[w2,h2]を説明する説明図である。また、図5(A)は、撮像部104の撮像範囲内における基準距離d0と距離d1にユーザが存在する場合を説明する説明図であり、図5(B)は、撮像部104で撮像された画像における距離d1のユーザの顔サイズ[w1,h1]を説明する説明図であり、図5(C)は、撮像部104で撮像された画像における基準距離d0のユーザの基準顔サイズ[w0,h0]を説明する説明図である。
【0047】
方向[φ1,θ1]は撮像画像サイズ[xmax,ymax]で正規化された顔検出位置[a1,b1]と撮像部104の画角[φ0,θ0]とから、
水平方向:φ1=φ0*a1
垂直方向:θ1=θ0*b1
として算出する。また、距離d1は基準距離d0における基準顔サイズ[w0,h0]から、
距離:d1=d0*(w0/w1)
として算出する。
【0048】
ユーザ属性算出部134は、画像処理部114による各種画像処理の結果、並びに画像処理部114より得られたユーザの年齢などの属性情報を受け取り、画像処理部114による各種画像処理の結果、並びに画像処理部114より得られた属性情報を用いて、ユーザが子供であるか大人であるかを判定する。
【0049】
ここで、画像処理部114からは、撮像画像と、撮像画像内における、画像表示装置100を利用しているユーザごとの顔検出情報(例えば、顔検出位置[a1,b1]、顔サイズ[w1,h1]、年齢や性別などのその他の属性情報等の情報)が、視聴状態解析部116のユーザ方向/距離算出部132やユーザ属性算出部134に送られる。視聴状態解析部116では、ユーザ方向/距離算出部132において、画像処理部114から送られてくる情報を用いた、画像表示装置100を視聴している人間の視聴位置の解析処理が行われる。また、ユーザ属性算出部134において、画像処理部114から送られてくる情報を用いた、画像表示装置100を視聴している人間が子供であるか大人であるかの解析処理が行われる。
【0050】
システム最適化処理部120は、ユーザ方向/算出部132及びユーザ属性算出部134による解析処理の結果を用いて、子供が画像表示装置100の視聴に適さない位置にいる場合に、子供を画像表示装置100の視聴に適した位置へ誘導するための処理(子供誘導実現処理)のためのシステム制御情報を算出するものである。子供を画像表示装置100の視聴に適した位置へ誘導することができる処理とは、例えば、表示パネル102の輝度を低下させるとともに、表示パネル102において最適な視聴位置への誘導メッセージを表示したり、表示パネル102において接近距離のグラフ表示と警告メッセージを表示したりする処理がある。また、例えば、表示パネル102の明るさをオフにするとともに、表示パネル102において最適な視聴位置への誘導メッセージを表示したり、スピーカ108から警告音声を発生させたりする処理がある。システム最適化処理部120が算出した子供誘導実現処理のためのシステム制御情報はシステム制御部122に送られ、子供接近防止処理に用いられる。
【0051】
以上、図3を用いて本発明の一実施形態にかかる画像表示装置100に含まれる制御部110の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置100による子供接近防止処理について説明する。
【0052】
[1−3.子供接近防止処理]
図6は、本発明の一実施形態にかかる画像表示装置100による子供接近防止処理の一例について示す流れ図である。以下、図6を用いて本発明の一実施形態にかかる画像表示装置100による子供接近防止処理について説明する。
【0053】
図6において、まず、画像表示装置100の撮像部104が撮像を開始すると、画像表示装置100の画像処理部114は、撮像部104で撮像された画像に含まれる顔の検出処理などを実行して、画像表示装置100が表示している画像を視聴している人物の顔を認識する(ステップS602)。
【0054】
次いで、画像表示装置100の視聴状態解析部116は、画像処理部114から送られてくる情報を用いた、画像表示装置100を視聴している人間の視聴位置の解析処理や子供であるか大人であるかの解析処理を行う。そして、画像表示装置100のシステム最適化処理部120は、視聴状態解析部116による解析処理の結果を用いて、子供が画像表示装置100の視聴に適さない位置にいるか、すなわち画像表示装置100に接近しているか否かを判別する。具体的には、システム最適化処理部120は、子供の顔を検出したか、かつ子供の顔の大きさ、すなわち顔サイズが所定値以上であるか否かを判別する(ステップS604)。なお、画像表示装置100には、基準位置における子供の基準顔サイズが予め登録されているものとする。また、所定値は画像表示装置100の視聴に適しない位置での子供の顔サイズである。
【0055】
ステップS604の判別の結果、子供の顔を検出し、かつ子供の顔サイズが所定値以上であるときは(ステップS604でYES)、システム最適化処理部120は、過去所定時間内に検出された子供接近の回数が所定数以上であるか否かを判別し(ステップS606)、過去所定時間内に検出された子供接近の回数が所定数以上でないときは(ステップS606でNO)、ステップS602の処理に戻る。また、所定時間は、適宜設定することができる。また、所定数は、設定された所定時間によって適宜変更することができる。
【0056】
ステップS606の判別の結果、過去所定時間内に検出された子供接近の回数が所定数以上であるときは(ステップステップS606でYES)、システム最適化処理部120は、画像表示装置100に子供が接近していると判断する(ステップS608)。
【0057】
次いで、システム最適化処理部120は、上述した子供誘導実現処理のためのシステム制御情報を算出して、算出したシステム制御情報をシステム制御部122に送る。そして、システム制御部122は、システム最適化処理部120から受け取ったシステム制御情報に基づいて、表示パネル102の輝度制御、表示パネル102の表示内容の制御、スピーカ108から出力される音声内容の制御等を実行する(ステップS610)。例えば、図7(A)に示すように、表示パネル102の輝度を低下させるとともに、表示パネル102において最適な視聴位置への誘導メッセージを表示する。また、図7(B)に示すように、表示パネル102の明るさをオフにするとともに、表示パネル102において最適な視聴位置への誘導メッセージを表示する。また、図7(C)に示すように、表示パネル102の輝度を低下させるとともに、表示パネル102において画像表示処理100とユーザとの接近距離のグラフ表示と警告メッセージを表示する。また、図7(D)に示すように、表示パネル102の明るさをオフにするとともに、スピーカ108から警告音声を発生させる。また、上述した処理とともに、リモートコントローラ(図示せず)を振動させてもよい。そして、ステップS602の処理に戻る。
【0058】
ステップS604の判別の結果、子供の顔を検出し、かつ子供の顔サイズが所定値以上でないときは(ステップS604でNO)、システム最適化処理部120は、所定値以下の顔サイズの子供を検出したか、もしくは子供以外の顔を検出したか否かを判別し(ステップS612)、所定値以下の顔サイズの子供や子供以外の顔を検出していないときは(ステップS612でNO)、ステップS602の処理に戻る。
【0059】
ステップS612の判別の結果、所定値以下の顔サイズの子供、もしくは子供以外の顔を検出したときは(ステップS612でYES)、システム最適化処理部120は、過去所定時間内に検出された子供接近の回数が所定数以下であるか否かを判別し(ステップS614)、過去所定時間内に検出された子供接近の回数が所定数以下でないときは(ステップS614でNO)、ステップS602の処理に戻る。
【0060】
ステップS614の判別の結果、過去所定時間内に検出された子供接近の回数が所定数以下であるときは(ステップS614でYES)、システム最適化処理部120は、画像表示装置100に子供が接近していないと判断する(ステップS616)。
【0061】
次いで、システム最適化処理部120は、システム制御部122が上述した子供誘導実現処理のためのシステム制御情報に基づいて、表示パネル102の輝度制御、表示パネル102の表示内容の制御、スピーカから出力される音声内容の制御等を実行している場合には、通常の表示処理に戻すためのシステム制御情報を算出して、算出したシステム制御情報をシステム制御部122に送る。そして、システム制御部122は、システム最適化処理部120から受け取ったシステム制御情報に基づいて、表示パネル102の輝度や表示内容、スピーカ108から出力される音声内容を通常の状態に戻す処理を実行する(ステップS618)。そして、ステップS602の処理に戻る。
【0062】
図6の子供接近防止処理によれば、過去所定時間内に検出された子供接近の回数が所定数以上であるときに、システム最適化処理部120が画像表示装置100に子供が接近していると判断する。そして、システム制御部122が子供を画像表示装置100の視聴に適した位置へ誘導するための処理、例えば、図7(A)に示す表示パネル102の輝度を低下させるとともに、表示パネル102において誘導メッセージを表示する処理を実行する。これにより、子供が画像表示装置100に接近して、子供が画像表示装置100の視聴に不適な位置で視聴するのを防止することができる。したがって、子供が画像表示装置100に接近して視聴し続けることによる、フォーカスが固定することに起因する視力の低下や癲癇の発生を防止することができる。また、子供が画像表示装置100に過度に接近することによる、画像表示装置100の転倒を防止することができる。また、子供が画像表示装置100に接近して画像表示装置100の表示部分を破壊したり、破損した画像表示装置100の表示部分によってけがをしたりする虞をなくすことができる。
【0063】
また、本実施の形態では、図8(A)〜図8(C)に示すように、ユーザの視聴位置の算出において、基準距離d0における基準顔サイズ[w0,h0]を以下のような補正テーブルを用いることで顔サイズのバラつきを補正してもよい。例えば、ユーザの年齢などの属性情報から、その年齢における平均的な顔サイズのデータテーブルを予め記憶しておき、例えばユーザが子供であれば基準顔サイズ[w0,h0]を図8(C)に示す基準顔サイズよりも小さい顔サイズ[w0C,h0C]にし、ユーザが大人であれば基準顔サイズ[w0,h0]を図8(B)に示す基準顔サイズよりも大きい顔サイズ[w0A,h0A]にしてもよい。
【0064】
また、本実施の形態では、ユーザの視聴位置の算出において、画像表示装置100を利用するユーザ、例えば画像表示装置100の設置場所の家族などを予め画像表示装置100に登録する際に、ユーザ毎の顔サイズをデータテーブルとして登録してもよい。これにより、ユーザ毎に基準顔サイズを変更することができる。ユーザ毎の顔サイズの登録方法としては、別の距離センサ(図示せず)と連動して距離情報とともに撮影することや、ユーザを一定距離に誘導してから撮影することや、基準となる尺度と同じ距離で撮影することなどで実現可能である。
【0065】
また、図9に示すように、同一のユーザであっても、ユーザの属性情報は時系列的に変動が生ずることがあるため、本実施の形態では、システム最適化処理部120におけるユーザが子供であるか大人であるかの判定においては、時系列的な傾向をもとに、すなわち過去の判定履歴を用いて判定を行う。例えば、図9に示すように、t1時点においては、ユーザの属性情報は子供の属性情報であり、t2時点においては、ユーザの属性情報は大人の属性情報であり、t3時点においては、ユーザの属性情報は子供の属性情報であるとする。この場合、所定時間の間、すなわちt1〜t3の間における子供の判定が一定数、例えば2以上であるので子供であると判定することができる。
【0066】
また、本実施の形態では、過去所定時間内に検出された子供接近の回数が所定数以上であるときに、子供接近と判定したが、図10(A)及び図10(B)に示すように、ユーザがt3時点でのように撮像部104に接近しすぎて、ユーザの顔が撮像部104の画角外に出てしまい顔を検出できなくなる場合がある。このため、本実施の形態では、ユーザの顔が検出されなくなったt3時点の直前のt1時点及びt2時点での情報、すなわち過去の位置の算出履歴を用いてt3時点での位置を算出または推測して、ユーザが撮像部104の撮像範囲を超えて接近していると判断してもよい。また、ユーザの身体の一部が撮像部104を覆っている場合には、背景差分や動体検出(動き領域の大きさ)等によって、上述したユーザが撮像部104の撮像範囲を超えて接近していることの判定精度を向上させることができる。
【0067】
また、本実施の形態では、ユーザの年齢などの属性情報を用いた、ユーザが子供であるか大人であるかの判定において、ユーザが子供であるか否かの判定と、ユーザが大人であるか否かの判定とを組み合わせて行うことにより、子供判定における誤判定の割合を低減する。以下、具体的に子供判定における誤判定の割合の低減方法について説明する。
【0068】
まず、ユーザが子供であるか否かの判定の結果としては、図11に示すように、以下の4つのケースがある。
ケースA:TruePositive(正しく子供と判定した。)
ケースB:FalseNegative(子供と判定すべきところを子供と判定しなかった。)
ケースC:FalsePositive(子供と判定すべきでないところを子供と判定した。)
ケースD:TrueNegative(正しく子供と判定しなかった。)
【0069】
本実施の形態では、子供が画像表示装置100に接近することを正しく検知したいため、ユーザが子供であるか否かの判定では、ケースCの子供と判定すべきでないところを子供と判定するのを削減したい。例えば、子供であるか否かの判定精度が85%@FPR10%とする。ここで、
FPR(False Positive Rate)=ケースC/(ケースC+ケースD)、
精度(Precision)=ケースA/(ケースA+ケースC)
とする。
【0070】
実際に子供である100人の人物と、実際に大人である150人の人物とを上述した判定精度で子供であるか否かの判定を行った場合において、100人が子供であると判定されたときは、ケースAに該当するのは85人となり、ケースBに該当するのは15人となり、ケースCに該当するのは15人となり、ケースDに該当するのは135人となる。したがって、実際に子供である100人の人物の内、85人を正しく子供と判定し、実際に大人である150人の人物の内、15人を間違って子供と判定することになる。
【0071】
本実施の形態では、図12に示すように、子供であるか否かの判定を行った後に、大人であるか否かの判定を行う。例えば、上述したように、子供であるか否かの判定において、子供と判定された実際に子供である85人の人物と、実際には大人である15人の人物とを大人であるか否かの判定を行った場合、実際に大人である人物は実際には子供である人物よりも大人と判定されやすいと期待できるため、例えば、実際には子供である85人の人物の内、10人を間違って大人と判定し、実際に大人である15人の人物の内、10人を正しく大人と判定することが期待できる。したがって、実際に子供である85人の人物の内、75人を正しく大人でないと判定し、実際に大人である15人の人物の内、5人を間違って大人でないと判定することになる。このように、本実施の形態では、子供であるか否かの判定と、大人であるか否かの判定とを組み合わせて子供であるか否かの判定を行うので、図12に示すように、子供であるか否かの判定精度を、子供であるか否かのみでの判定精度85%から、子供であるか否かの判定と大人であるか否かの判定との組み合わせでの判定精度93.75%に向上させることができる。
【0072】
なお、上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0073】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0074】
100 画像表示装置
102 表示パネル
104 撮像部
106 センサ
108 スピーカ
110 制御部
112 画像入力部
114 画像処理部
116 視聴状態解析部
118 視聴状態記録部
120 システム最適化処理部
122 システム制御部
132 ユーザ方向/距離算出部
134 ユーザ属性解析部
【特許請求の範囲】
【請求項1】
画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、
前記撮像部が撮像した動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する画像解析部と、
前記画像解析部が算出した前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御部と、
を備える、表示装置。
【請求項2】
前記表示制御部は、前記対象を適切な視聴位置に誘導するためのメッセージの表示を前記表示部に行わせる、請求項1に記載の表示装置。
【請求項3】
前記表示制御部は、前記対象と前記表示部との間の距離を示すグラフ表示を前記表示部に行わせる、請求項1に記載の表示装置。
【請求項4】
前記表示制御部は、前記表示部の輝度を低下させる、請求項1に記載の表示装置。
【請求項5】
さらに、前記画像解析部が検出した前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための音を音声出力部から出力させる音声制御部を備える、請求項1に記載の表示装置。
【請求項6】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象であるか否かの判定において、適切な視聴位置に誘導すべき対象であるか否かの判定と、適切な視聴位置に誘導する必要のない対象であるか否かの判定とを組み合わせて判定を行う、請求項1に記載の表示装置。
【請求項7】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象であるか否かの判定において、過去の判定履歴を用いて判定を行う、請求項1に記載の表示装置。
【請求項8】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象の位置の算出において、過去の算出履歴を用いて位置の算出を行う、請求項1に記載の表示装置。
【請求項9】
画像表示方向に対する所定の範囲の動画像を撮像する撮像ステップと、
前記撮像された動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する算出ステップと、
前記算出された前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御ステップと、
を備える、制御方法。
【請求項1】
画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、
前記撮像部が撮像した動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する画像解析部と、
前記画像解析部が算出した前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御部と、
を備える、表示装置。
【請求項2】
前記表示制御部は、前記対象を適切な視聴位置に誘導するためのメッセージの表示を前記表示部に行わせる、請求項1に記載の表示装置。
【請求項3】
前記表示制御部は、前記対象と前記表示部との間の距離を示すグラフ表示を前記表示部に行わせる、請求項1に記載の表示装置。
【請求項4】
前記表示制御部は、前記表示部の輝度を低下させる、請求項1に記載の表示装置。
【請求項5】
さらに、前記画像解析部が検出した前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための音を音声出力部から出力させる音声制御部を備える、請求項1に記載の表示装置。
【請求項6】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象であるか否かの判定において、適切な視聴位置に誘導すべき対象であるか否かの判定と、適切な視聴位置に誘導する必要のない対象であるか否かの判定とを組み合わせて判定を行う、請求項1に記載の表示装置。
【請求項7】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象であるか否かの判定において、過去の判定履歴を用いて判定を行う、請求項1に記載の表示装置。
【請求項8】
前記画像解析部は、前記撮像部が撮像した動画像の解析における、適切な視聴位置に誘導すべき対象の位置の算出において、過去の算出履歴を用いて位置の算出を行う、請求項1に記載の表示装置。
【請求項9】
画像表示方向に対する所定の範囲の動画像を撮像する撮像ステップと、
前記撮像された動画像を解析して、適切な視聴位置に誘導すべき対象の位置を算出する算出ステップと、
前記算出された前記対象の位置が視聴に不適な位置である場合、前記対象を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御ステップと、
を備える、制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−59528(P2011−59528A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−210988(P2009−210988)
【出願日】平成21年9月11日(2009.9.11)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成21年9月11日(2009.9.11)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]