説明

表示装置、表示方法、プログラムおよび記録媒体

【課題】小まめに表示装置の電源のオンオフを行うよう、ユーザの行動改善を促すことができる表示装置を提案する。
【解決手段】表示装置は、映像を表示する表示手段としての映像信号表示部110と、撮影して画像データを生成する撮影手段としてのカメラ部160、カメラ部160で生成された画像データが示す画像内の視聴者を検出する検出手段としての画像認識部170と、映像信号表示部110が映像を表示しており、かつ、画像認識部170が視聴者を検出していないときの時間である非視聴時間を計測する計測手段と、前記計測された時間を記録する記録手段としての視聴情報管理部180と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、省電力の観点において表示装置が表示している映像の視聴状況を提示できる表示装置に関する。
【背景技術】
【0002】
近年、環境問題に対する意識の高まりより、各種の電気機器の省電力化が図られている。省電力化の例としては、電気機器の各部品の消費電力を低減させるのはもちろんのこと、ユーザからの指令が一定時間行われない場合に省電力状態、あるいはスタンバイ状態と呼ばれる、消費電力を抑えた動作モードに移行する機能を設けている電気機器も多い。
【0003】
こうした中、省電力制御を効率的に行うために、特許文献1のような放送信号受信システム(テレビ)が開示されている。
図13は、特許文献1における放送信号受信システムの全体構成を示すブロック図である。図13において、テレビ放送を受信するチューナ部11は、入力端子11aよりテレビ放送波を受信する。チューナ部11の出力側部分は、デジタルの映像信号をアナログの映像信号に変換する映像デコーダ12と、デジタルの音声信号をアナログの音声信号に変換する音声デコーダ13とに接続されている。OSD(On−Screen Display)回路14は、映像デコーダ12から出力されるアナログの映像信号に、チャネル番号などの各種の表示信号を重畳する回路である。OSD回路14から出力されるアナログの映像信号は、映像入力端子15aを通して、テレビモニタ15に入力されて表示される。また、音声デコーダ13から出力されるアナログの音声信号は、音声入力端子15bを通してテレビモニタ15に入力される。
【0004】
制御部18は、図示されていないCPU、ROM、RAM等により構成されており、チューナ部11、映像デコーダ12、音声デコーダ13、OSD回路14をそれぞれ制御する。
【0005】
キー入力部21は、特許文献1における放送信号受信システムの装置に備えられた各種ボタン類操作による操作情報と、受信部22で受信したリモコン23からのキー操作信号とを、制御部18に出力して通知する。カメラ部25は、特許文献1における放送信号受信システムの装置に備えられたカメラであり、視聴者を撮影できるよう設置されている。カメラ部25で撮影された画像の信号は、個人認証部26に入力される。個人認証部26では、撮影画像から顔画像が検出され、検出された顔画像を元に、誰が視聴者となっているかを判定する個人認証および目の開閉状態の判別処理が行われる。認証結果や目の開閉状態を表す信号は制御部18に入力されて通知される。
【0006】
時計部28は、現在時刻を制御部18に通知する。タイマー回路部29は、制御部18の指令によって動作し、所定の時間の計測を行う。
録画再生装置40は、ハードディスクドライブやDVD等の記録媒体に放送信号を記録し、また記録媒体に記録された放送信号を再生する。そして、この録画再生装置40に対して制御部18により録画、または再生の制御が行われる。
【0007】
以上のように構成された放送信号受信システムにおいて、リモコン23の操作によって放送信号受信システムであるテレビの電源がオンされると、制御部18の制御により、チューナ部11が受信した放送信号が映像デコーダ12、音声デコーダ13、OSD回路14を通過し、リモコン23で指定されたテレビ番組がテレビモニタ15に表示される。また、制御部18は、録画再生装置40を制御し、後述するように視聴者がテレビモニタ15の前から離れた間の映像を後で再生できるよう、タイムシフト機能による録画を開始するとともに、カメラ部25に対して撮影開始を指示する。カメラ部25で撮影された撮影画像は個人認証部26にて画像認識処理が行われ、顔の有無と、顔が誰であるかを識別する個人認証処理とが行われるとともに目の開閉状態が取得される。個人認証部26で得られた顔の検出結果、認証結果、および目の開閉状態は制御部18に通知される。
【0008】
制御部18は、個人認証部26から通知される情報を監視しており、もしカメラ部25で撮影された画像の中に顔画像が含まれていない場合、時計部28から時刻を取得するとともに、タイマー回路部29を用いて経過時間の計測を開始する。顔画像が検出されない状態が一定時間続いた場合、制御部18は、視聴者がテレビの前にいない、すなわち誰もテレビを見ていない状態であると判断し、テレビモニタ15の表示をオフして消費電力を低減させる省電力モードに切り替える。その後、再び顔画像が検出された場合は、テレビモニタ15の表示をオンし、通常の動作モードに切り替える。もし検出された顔画像が、前に検出されていた顔画像と同一人物であるなら、顔画像が検出されなくなった時刻から録画再生装置40を用いて番組の再生を行う。
【0009】
一定時間が経過するまでの間に再び顔画像が検出された場合、制御部18は、タイマー回路部29で行われている経過時間の計測処理を停止させる。
以上のように、特許文献1記載の放送信号受信システムは、カメラ部25を用いてテレビモニタ15の前に視聴者がいるかどうかを判定し、視聴者がいないと判定した場合、一定時間経過後に省電力モードに入り、無駄な電力消費を抑えるよう構成されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特許第3862027号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、このような従来の放送信号受信システムの場合、テレビモニタ15が省電力状態に入ってもなお、制御部18や録画再生装置40などの稼動のため電力は消費されている。電力消費を必要最小限にするためには小まめにユーザ自身が放送信号受信システム(テレビ)の電源をオフにすることが好ましい。したがって、小まめに電源のオンオフを行うようなユーザの行動改善を促すことが考えられる。しかし、そのような提案はこれまで存在しなかった。
【0012】
また、上記の特許文献1記載の放送信号受信システムは、家庭などに置かれているテレビなどの放送信号受信システムを想定している。このような設置環境と異なる設置環境にものとして、近年、駅前などの公共の場や人が多く集まる場所などで、大型スクリーンなどの大画面を有する表示装置が設けられ、広告用映像などが表示される場合がある。しかしながら、このような表示装置により、人が前記表示装置を視聴しており(見ており)、前記表示装置が効率的に見られて、広告できているかどうかを確認することはできなかった。
【0013】
本発明は、上記課題を解決するもので、効率的に利用されている(視聴されている)かどうかを確認することができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
前記課題を解決するために、本発明の表示装置または表示方法は、表示装置を視聴しているユーザを監視し、表示装置または表示システムが動作しているにもかかわらず、視聴されていない時間を記録する。
【発明の効果】
【0015】
本発明によれば、表示装置が効率的に利用されているかどうかを記録することができる。これにより、効率的に利用されている(視聴されている)かどうかを確認することができる表示装置を提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施の形態1に係るデジタルテレビの構成を示すブロック図
【図2】同実施の形態1に係るデジタルテレビの視聴情報管理部にて管理される視聴情報を示す図
【図3】同実施の形態1に係るデジタルテレビの視聴情報管理部にて管理される視聴情報の作成処理を示すフローチャート
【図4】本発明の実施の形態1に係るデジタルテレビの映像信号表示部での表示の一例(視聴情報の月別表示)を示す図
【図5】本発明の実施の形態1に係るデジタルテレビの映像信号表示部での表示の別の一例(視聴情報の週別表示)を示す図
【図6】本発明の実施の形態1に係るデジタルテレビの映像信号表示部での表示の別の一例(特定の視聴者に関する視聴情報の週別表示)を示す図
【図7】本発明の実施の形態1に係るデジタルテレビの映像信号表示部での表示の別の一例(特定の視聴者に関する視聴情報の曜日別表示)を示す図
【図8】本発明の実施の形態1に係るデジタルテレビの映像信号表示部での表示の別の一例(特定の視聴者に関する視聴情報のタイムライン表示)を示す図
【図9】本発明の実施の形態2に係る大型表示装置の構成を示すブロック図
【図10】同実施の形態2に係る大型表示装置を視聴している視聴者の属性、広告種別、時間帯の例を示す図
【図11】同実施の形態2に係る大型表示装置の視聴情報管理部にて管理される視聴情報を示す図
【図12】同実施の形態2に係る大型表示装置の視聴情報管理部にて管理される視聴情報の作成処理を示すフローチャート
【図13】従来のカメラを備えた放送信号受信システムの構成を示すブロック図
【発明を実施するための形態】
【0017】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る表示装置の一例であるデジタルテレビのブロック図である。
【0018】
図1に示すように、表示装置の一例であるデジタルテレビは、映像を表示する表示手段としての映像信号表示部110と、映像信号表示部110に対向する領域、すなわち、視聴者が映像を見ると想定される映像信号表示部110の前方の領域を撮影して、画像データを生成する撮影手段としてのカメラ部160と、前記カメラ部160で生成された画像データが示す画像内の視聴者を検出する検出手段としての画像認識部170と、映像信号表示部110が映像を表示しており、かつ、前記検出手段が視聴者を検出していないときの時間である非視聴時間を計測する計測手段としても機能する制御部138と、前記計測された時間を記録する不揮発性メモリなどの記録手段を有する視聴情報管理部180などを備えている。また、デジタルテレビは、映像信号表示部110に表示される映像に関する情報を取得する映像情報取得手段としてのEPGデータ蓄積部135と、前記非視聴時間に消費された非視聴状態消費電力を計測する記消費電力計測手段としての消費電力計測部175なども備えている。さらに、デジタルテレビは、アンテナ101、信号分離部105、音声信号処理部120、音声信号出力部130、映像信号処理部106、OSD部(On−Screen Display)107、リモコン185、受信部109なども備えている。
【0019】
画像認識部170は、撮影手段であるカメラ部160によって生成された画像データが示す画像より顔画像を検出する顔検出手段としても機能する他、個人を識別して特定できる(視聴者が誰であるかを判別する)個人識別手段や、視聴者が、映像信号表示部110に表示されている映像を見ているかどうかを判定する判定手段としても機能する。また、制御部138は、時計部140からの時刻を随時入力しながら非視聴時間などを計測するほか、視聴者の属性(個人情報を含む)を抽出する抽出手段や、非視聴状態消費電力を金額に変換する金額変換手段などとしても機能する。
【0020】
以下、図1を参照しながら、デジタルテレビの各構成要素を詳しく説明する。
図1において、アンテナ101は放送波を受信するアンテナである。チューナ部102は、アンテナ101で受信した放送波から希望のチャネルを選択した後、デジタル放送信号に復調するチューナ部である。信号分離部105は、チューナ部102で選択したチャネルから放送多重化信号を抽出して映像信号と音声信号、および番組情報であるEPG(Electric Program Guide)データとを分離する信号分離部である。映像信号処理部106は、信号分離部105で分離された映像信号の信号列をデコードして伸張されたデジタル映像信号を再生する。OSD部107は、チャネル番号等の各種表示信号を映像信号処理部106の出力に重畳する。映像信号表示部110は、典型的にはプラズマディスプレイパネルや液晶ディスプレイパネルなどの表示パネルと、この表示パネルを制御するコントローラ装置などとから構成され、OSD部107から出力されるデジタル映像信号をアナログの映像信号に変換して、表示パネルに表示する。
【0021】
一方、音声信号処理部120は、信号分離部105で分離された音声信号の信号列をデコードしてデジタル音声信号を出力する音声信号処理部であり、音声信号出力部130は、音声信号処理部120から入力されたデジタル音声信号をアナログの音声信号に変換し出力するスピーカーである。また、信号分離部105で抽出されたEPG(Electric Program Guide)データは、EPGデータ蓄積部135に蓄積され、適宜、制御部138から参照される。時計部140は、現在時刻を制御部138に通知する。カメラ部160は、映像信号表示部110の前方の領域を撮影できるよう設置されており、デジタルテレビの視聴者を撮影できる。カメラ部160で撮影された画像は、画像認識部170に入力される。画像認識部170では、撮影画像から顔画像を検出し、検出された顔画像が誰であるかを判定する個人識別処理を行う。顔検出結果や個人識別結果は制御部138に通知される。制御部138には、図示していないCPUや、ROM、RAMなどからなるメモリなどが備えられている。
【0022】
顔の検出手法については、P.ViolaおよびM.Jonesによって発表されたブースティングによる顔画像の訓練学習手法をはじめとして、各種手法が既知となっている。個人識別処理についても同様に既知の処理であり、あらかじめカメラ部160を用いて撮影された視聴者の顔画像から目の間隔やの鼻の位置などの特徴量を登録しておき、現在撮影された画像から検出された顔画像の特徴量と比較し、同一の人物であるかどうかを判定する。
【0023】
消費電力計測部175は、デジタルテレビに電力を供給する、図示していない電源部と接続されており、図1に示すデジタルテレビの消費電力をリアルタイムに計測する。
視聴情報管理部180は、画像認識部170による画像認識結果とEPGデータ蓄積部135のEPGデータ情報、および消費電力計測部175で計測されたデジタルテレビの消費電力情報とを統合して蓄積する。視聴情報管理部180は不揮発性メモリを備えているため、本実施の形態におけるデジタルテレビの電源をオフし通電を遮断しても、蓄積した情報は消失しない。
【0024】
リモコン185は、本実施の形態におけるデジタルテレビを操作するための各種ボタンを備えている。リモコン185の入力は、赤外線等を用いて受信部190に通知される。受信部190では受信した信号をデジタルテレビの操作コマンドに変換し、制御部138に通知する。
【0025】
以上のように構成されたデジタルテレビにおいて、以下その動作について説明を行う。
まず、リモコン185によってデジタルテレビの電源がオンされると、アンテナ部101により受信した放送波がチューナ部102を通して信号処理部105に入力され、EPGデータと、リモコン185から入力されたチャネル番号に対応する番組の映像信号と音声信号とが、放送多重化信号から分離される。映像信号は、映像信号処理部106を通してデコードされ、OSD表示部107にてOSD表示が重畳された後、映像信号表示部110に表示される。一方、信号分離部105で放送多重化信号から分離された音声信号は、音声信号処理部120にてデコードされ、音声信号出力部130にて音声出力される。EPGデータは、信号分離部105からEPGデータ蓄積部135に蓄積される。これら一連の動作は、一般的なデジタルテレビの動作と同様であるが、本実施の形態においては更に、カメラ部160によってデジタルテレビ前面の撮影を行い、視聴者が確かにデジタルテレビに表示されている番組を視聴しているかどうかが判定され、その判定結果が消費電力計測部175の消費電力情報とともに、視聴情報管理部180に蓄積される。
【0026】
視聴情報管理部180にて管理される視聴情報を図2に示す。本実施の形態において視聴情報は、図2に示すようにテーブル形式となっており、1つのレコードは、放送日、放送曜日、放送時間帯、番組名、ジャンル、非視聴時間、削減可能消費電力から構成される。放送日、放送曜日、放送時間帯、番組名、ジャンルはEPGデータ蓄積部135より取得される情報である。非視聴時間は、カメラ部160の画像を画像認識部170にて顔検出処理を行い、顔(顔の画像)が検出されなかった時間、すなわち、デジタルテレビが番組を表示しているにもかかわらず、その内容を視聴者が視聴していない時間を示す。削減可能消費電力は、非視聴時間におけるデジタルテレビの消費電力である。視聴者とは、非視聴時間に入る直前までデジタルテレビを視聴していた人物であり、画像認識部170の個人識別処理によって取得される。
【0027】
図3のフローチャートは、デジタルテレビの電源がオンになった場合、リモコン185によってチャネルが切り替えられた場合、または現在視聴中の番組が終了し、新しい番組の放送が始まった場合に実施される処理を示している。まずステップS300にて、制御部138はEPGデータ蓄積部135から、現在選択されているチャネルの番組情報を取得する。続くステップS302では、カメラ部160にてデジタルテレビの前方空間の状況が撮影される。続くステップS305では、画像認識部170にて、カメラ部160で撮影された画像に対して顔検出処理が行われる。顔検出処理S305の後に実施されるステップS307での個人識別処理では、顔検出処理のステップS305で検出された顔画像の特徴量を、あらかじめ記憶されている視聴者の顔の特徴量と比較し、誰がデジタルテレビを視聴しているかを判定する。続くステップS310にて、顔が存在するかどうか、すなわち顔検出処理が成功したかどうかが判定される。顔検出処理が失敗していた場合、すなわち検出された顔の個数が0であった場合、ステップS313に進み、個人識別処理ステップS307で最後に識別されていた視聴者の名前を、制御部138内に備えられた、図示されていないメモリ上に保持する。続くステップS315にて制御部138は時計部140から現在時刻を取得し、続くステップS317にて消費電力計測部175に対して、消費電力の計測を開始するよう指示する。消費電力計測部175は、制御部138の指示によりデジタルテレビの消費電力の計測を開始する。ステップS317での消費電力計測開始処理完了後、処理はステップS320へと続く。
【0028】
一方、ステップS310において画像認識部170にて、カメラ部160で撮影された画像に対して顔検出処理が行われた結果、顔が検出された場合、ステップS310からステップS324へと処理が進む。ステップS324では消費電力計測終了処理が行われる。
【0029】
消費電力計測終了処理のステップS324は複数のステップから構成される。具体的には、まずステップS325にて消費電力計測中であるかどうかが判定される。消費電力計測中でなければ処理は終了し、消費電力計測中であればステップS335へと進む。ステップS335では制御部138は時計部140から現在時刻を取得する。続くステップS340では、制御部138は消費電力計測部175に対して、消費電力の計測を終了するよう指示する。消費電力計測部175は、制御部138の指示によりデジタルテレビの消費電力の計測を終了し、消費電力計測結果を制御部138に通知する。その後、ステップS345にて視聴情報管理部180の視聴情報の更新を行う。具体的には、ステップS300で取得したEPGデータである放送日、放送曜日、放送時間帯、番組名、ジャンル、およびステップS315とステップS335とで取得した2つの時刻情報の差である非視聴時間、更にはステップS340で得られる消費電力量を元に、制御部138にて新しいレコードを作成し、視聴情報管理部180に通知する。視聴情報管理部180では、放送日、放送曜日、放送時間帯、番組名、ジャンル、が合致するレコードを検索し、もし合致するレコードが存在した場合、検索の結果得られたレコードの非視聴時間に制御部138から通知されたレコードの非視聴時間を加算するとともに、検索の結果得られたレコードの削減可能消費電力に、制御部138から通知されたレコードの削減可能消費電力を加算する。もし合致するレコードが存在しなかった場合、制御部138から通知されたレコードを視聴情報管理部180の視聴情報に新規追加する。
【0030】
ステップS320では、現在の番組の表示を終了すべきかどうかが判定される。具体的には、デジタルテレビの電源がオフされた場合、または別のチャネルを表示するようリモコン185によって指示された場合、あるいは現在の番組の放送が終了し、次の時間帯の番組が始まる場合にはYESで示されたステップS350へ進み、そうでない場合はステップS302に戻り、再びカメラ部160での画像撮影が行われる。
【0031】
ステップS350における消費電力計測終了処理は、ステップS324と同一なので説明を省略する。
以上で図3に示したフローチャートに基づく、視聴情報の蓄積処理について説明した。
【0032】
図3のフローチャートに示した処理を行うことにより、視聴情報管理部180に、デジタルテレビにて表示した番組に関する、図2に示した視聴情報レコードが作成される。
図4は、視聴情報管理部180に蓄積された視聴情報に基づく映像信号表示部110での表示の一例であり、ある月の、視聴者ごとの非視聴時間をグラフで示したものである。図4において、期間表示部410は、グラフ表示の対象となっている年と月とを表示している。表示対象とする月は、矢印420aおよび矢印420bをリモコン185によって選択することにより変更することができる。集計表示部430は、期間表示部410が表示している月の非視聴時間の総計を表示している。グラフ表示領域440には、期間表示部410が表示している月に関して、各視聴者のデジタルテレビの非視聴時間が描画されている。グラフ表示領域440に描画されているグラフは積み上げグラフとなっており、EPGデータに含まれる番組のジャンルごとにおける非視聴時間が集計されている。積み上げグラフの表示と、番組のジャンルとの対応はジャンル表示部445に表示されている。また、リモコン185によってカーソル447を用いながら、グラフ表示領域440に表示されている視聴者の名前を選択可能である。リモコン185によって、ある視聴者を選択すると、後述するように、視聴者ごとの非視聴時間または削減可能消費電力を映像信号表示部110に表示することができる。
【0033】
月別表示ボタン450は、表示期間を1ヶ月単位に切り替えるためのボタンであり、図4においては、現在、月別表示ボタン450が押下された状態となっている。週別表示ボタン452は、表示期間を1週間に切り替えるためのボタンであり、日別表示ボタン455は、表示期間を1日に切り替えるためのボタンである。単位切り替えボタン470は、グラフ表示領域440の表示単位を、時間、または消費電力にトグル切り替えするためのボタンである。図4においては、集計表示部430およびグラフ表示領域440の単位は時間となっているため、単位切り替えボタン470には「電力表示に切替」と表示されている。集計表示部430およびグラフ表示領域440の表示単位が電力であった場合、単位切り替えボタン470には「時間表示に切替」と表示される。
【0034】
図4における情報表示に必要な数値は、視聴情報管理部180に格納された視聴情報から制御部138が算出する。具体的には、集計表示部430は、期間表示部410に表示されている期間に合致するレコード群を視聴情報管理部180から抽出し、抽出したレコード群の非視聴時間を合計することで算出することができる。また、グラフ表示領域440の表示に必要な数値は、前述した抽出レコード群を視聴者および番組のジャンルでグループ化し、グループごとに非視聴時間を合計することで求めることができる。
【0035】
なお、視聴情報管理部180に格納された視聴情報から、集計表示430として表示する値や、グラフ表示領域440に表示する値を作成する処理は、制御部138が行う。また、制御部138は、OSD部107に対して各種の画面描画命令を発行し、図4に示す表示を映像信号表示部110に表示するようOSD部107を制御する。
【0036】
図4において、単位切り替えボタン470がリモコン185によって選択されて押下された場合、集計表示部430およびグラフ表示領域440には削減可能消費電力が表示されるようになる。具体的には、集計表示部430は、期間表示部410に表示されている期間に合致するレコード群を抽出し、抽出したレコード群の削減可能消費電力を合計することで最終的な削減可能消費電力の値を算出する。グラフ表示領域440は、前述した抽出レコード群を、視聴者および番組のジャンルでグループ化し、グループごとに削減可能消費電力を合計することでグラフ表示に必要なデータを求める。
【0037】
図4において、週別表示ボタン452をリモコン185によって選択して押下した場合の表示例を図5に示す。図5は、特定の週の非視聴時間を視聴者ごとに集計し、映像信号表示部110に表示した例である。なお、図5において図4と同様の構成要素については同一の番号を付与し、説明を省略する。
【0038】
図5において、図4で月が表示されていた期間表示部410には、現在選択されている週を表示している。集計表示部430には、期間表示部410が表示している週における、全視聴者の削減可能消費電力の総計が表示されている。グラフ表示領域440には、期間表示部410が表示している週における、視聴者ごとの削減可能消費電力がグラフ表示されている。図5における集計表示部430の値、およびグラフ表示領域440における非視聴時間は、図4に示した画面表示内容の作成時と同様に、制御部138が、視聴情報管理部180に格納された視聴情報を、指定期間で集計することで算出される。
【0039】
なお、図示はしないが、図4または図5において、日別表示ボタン455をリモコン185によって選択して押下した場合、期間表示部410に特定の日が表示され、期間表示部410に表示されている日付における、全視聴者の非視聴時間または削減可能消費電力が集計表示部430に表示され、期間表示部410に表示されている日付における、視聴者ごとの非視聴時間または削減可能消費電力がグラフ表示領域440に表示される。
【0040】
図6は、図4において、リモコン185によってカーソル447を用いて視聴者を選択して押下した場合における、視聴情報管理部180に蓄積された視聴情報に基づく映像信号表示部110での表示の一例である。なお、図6において図4と同様の構成要素については同一の番号を付与し、説明を省略する。
【0041】
図6において、視聴者表示領域610には、図4におけるカーソル447にて選択した視聴者名(図6においてはAさん)が表示される。視聴者表示領域610に表示されている視聴者に関して、期間表示部410における月の週ごとの非視聴時間がグラフ表示領域440に表示される。なお、戻るボタン620をリモコン185によって選択・押下した場合、図4に示した画面表示に戻る。
【0042】
図6における情報表示に必要な数値は、視聴情報管理部180に格納された視聴情報から制御部138が算出する。具体的には、集計表示部430は、期間表示部410に表示されている期間および視聴者表示領域610に表示されている視聴者に合致するレコード群を視聴情報管理部180から抽出し、抽出したレコード群の非視聴時間を合計することで算出する。また、グラフ表示領域440の表示に必要な数値は、前述した抽出レコード群を週ごと、および番組のジャンルでグループ化し、グループごとに非視聴時間を合計することで求める。
【0043】
図6において、カーソル447は、グラフ表示領域440に表示されている週を選択できるようになっている。リモコン185によってカーソル447の指す週を選択して押下した場合における表示例を図7に示す。なお、図7において図4と同様の構成要素については同一の番号を付与し、説明を省略する。
【0044】
図7では、視聴者表示領域610に表示されている視聴者に関して、期間表示部410に表示されている週の非視聴時間の総計を集計表示部430に表示し、期間表示410に表示されている週の曜日ごとの非視聴時間をグラフ表示領域440に表示している。グラフ表示領域440の表示は、図4〜図6と同様に、番組ジャンルごとの積み上げグラフとなっている。図7における表示例では、図7における表示形式を切り替えるタイムライン切り替えボタン710を備えている。タイムライン切り替えボタン710をリモコン185によって選択して押下すると、図8に示す画面表示が、映像信号表示部110に表示される。
【0045】
図8は、視聴者表示領域610に表示されている視聴者に関して、期間表示部410に表示されている週における、非視聴時間の総計を集計表示部430に表示し、期間表示部410に表示されている週の曜日ごとの非視聴時間をタイムラインで表示した画面表示である。図8において、図4および図6と同様の構成要素については同一の番号を付与し、説明を省略する。
【0046】
図8では、タイムライン切り替えボタン710が押下済みである。再度タイムライン切り替えボタン710を押下することで、図7に示す表示に切り替えることができる。カーソル810は、グラフ表示領域440内に表示されている非視聴時間の領域をリモコン185によって選択可能なカーソルであり、カーソル810によって選択された非視聴時間領域に関する情報は詳細情報部820に表示される。詳細情報部820には、番組名と、その時間の長さとが表示される。図8における情報表示に必要な数値についても、図4〜図7における表示例と同様に、視聴情報管理部180に格納された視聴情報から制御部138が算出する。
【0047】
なお、本実施の形態における変形例として、例えば、制御部138内に備えられた、図示されていないROM(Read Only Memory)の中に、消費電力と金額との換算レートを保持しておき、削減可能消費電力表示を金額に換算して表示してもよい。また、図5から図8にかけて示した画面表示はいずれも、非視聴期間に関する時間また電力のみを表示していたが、デジタルテレビを視聴していた全体の時間、またはデジタルテレビを視聴していた全体の時間に消費された電力も表示するようにし、全体のデジタルテレビ視聴時間に対する非視聴時間の割合、全体のデジタルテレビの消費電力に対する、削減可能消費電力の割合を把握できるようにしてもよい。
【0048】
以上のようなデジタルテレビ(表示装置)および表示方法を用いることで、ユーザが表示装置の表示内容を視聴しているかどうかを監視し、ユーザが表示装置の表示内容を視聴していないにも関わらず表示装置が表示処理を行っている時間、またはその時間に消費された電力を提示することができる。すなわち、非視聴時間の割合や、非視聴時間が多いジャンルや人、削減可能消費電力の割合などの、デジタルテレビが効率的に利用されているかどうかの状態をユーザに提示できるため、小まめに表示装置の電源のオンオフを行うよう、ユーザの行動改善を促して、ユーザの節電意識を高めることができる。そして、これにより、必要な場合だけデジタルテレビ表示装置をオンして、表示装置を効率的に使用することができ、無駄なエネルギーの削減をより一層進めることができる。
【0049】
以上、本発明に好適な実施の形態について説明を行った。なお、本発明は上記実施の形態に限ることなく、その他、この発明の要旨を逸脱しない範囲で種々の変形を実施し得ることは言うまでもない。特に、映像信号表示部110に表示したグラフの表示形式や、ボタンの配置や種別などのユーザインタフェース、視聴情報管理部180に蓄積される視聴情報などは様々な変形が考えられる。更には、EPGデータを表示する番組表に、非視聴時間または削減可能消費電力を重畳表示し、ながら見の多い番組がどれか把握しやすくするなど、グラフ以外の情報表示方法を用いてもなんら問題はない。
【0050】
また、顔検出方法、個人識別方法については公知の方法が種々存在するが、本発明はこれらの技術の種別には依存していない。
なお、以上の実施の形態においてはカメラ部160による撮影により、視聴者がデジタルテレビを視聴しているかどうかを判断したが、高画素のカメラを用いて目の開閉状態を取得することで、顔が検出されていても、目が閉じられた状態であれば、居眠りをしているためデジタルテレビを観ていない(視聴者ではない)と判定し、当該時間を非視聴時間として扱うように構成してもよい。更には、顔検出に加えて瞳の位置を検出し、視聴者の視線を取得することで、視聴者がデジタルテレビを視聴しているかどうかを判定するように構成してもよい。
【0051】
以上の実施の形態においてはカメラ部160として1台のカメラを想定したが、顔の検出精度を高めるために複数台のカメラを用いてもよい。また、カメラ自体も、可視光を撮影できるものに限らず、低照度の状況で顔の検出精度を高めるために、赤外線を撮影できるカメラでもよい。
【0052】
また、上記実施の形態では、顔画像が存在すると視聴者であるとみなして判別した場合を述べたが、これに限るものでない。つまり、撮影画像(赤外線を撮影できるカメラでの撮影画像の場合を含む)や別途に設けた赤外線センサなどより、まず人の存在を判別し、人の存在の有無を情報として得た状態で、人が存在すると判別した場合において、前記人が視聴している状態か否かを、顔検出、目の開閉状態の取得、視線の取得などにより検出する。そして、顔を検出した場合、または目が開状態である場合、または視線を取得した場合に視聴者であると判定してもよい。
【0053】
なお、以上の実施の形態においては現在放送中の番組についてのみ視聴情報を作成するようにしたが、デジタルテレビに接続されているレコーダーや、デジタルテレビ本体に内蔵されたHDD(Hard Disk Drive)に録画された番組に対しても視聴情報を作成するよう構成してもよい。レコーダーやデジタルテレビ本体に対して録画予約を行う際、予約対象の番組のEPG情報が保存されるため、以上説明した実施の形態と同様に、録画番組の視聴においても、視聴情報を作成することが可能である。
【0054】
また、以上の実施の形態においては、複数人の家庭などに置かれた1台のデジタルテレビについてのみ視聴情報を作成するようにしたがこれに限らず、複数の表示装置をLANなどで接続し、情報の送受信ができるよう構成し、それぞれの表示装置において視聴情報の収集を行い、視聴情報の表示は各表示装置における視聴情報を統合的に表示するよう構成してもなんら問題はない。
【0055】
また、以上の実施の形態においてはカメラ部160による撮影にて、顔が検出されなかった場合に電力計測を開始するなどしていたが、顔が検出されなかった期間が一定時間経過した後に、電力計測を開始するよう構成してもなんら問題はない。顔が検出されなかった期間が一定時間経過した後、省電力モードに入る機能をデジタルテレビが備えていた場合、省電力モードに入るタイミングで電力計測を開始するよう構成してもよい。
【0056】
また、以上の実施の形態においては表示装置としてデジタルテレビを想定したが対象はこれに限らず、PCのモニタなど、種々の表示デバイスに対して本発明が適用可能であることは言うまでもない。
【0057】
(実施の形態2)
上記実施の形態では、表示装置が、複数人の家庭などに置かれたデジタルテレビの場合について述べたが、これに限るものではない。この実施の形態2では、上記実施の形態1の場合の設置環境と異なる設置環境に配設された例として、表示装置が、駅前などの公共の場や人が多く集まる場所に設置された、大型スクリーンなどの大画面を有する表示装置(大型表示装置とも称する)である場合を説明する。そして、この大型表示装置により、広告用映像などを音声とともに順次表示(出力)している。
【0058】
図9は、本発明の実施の形態2に係る表示装置の一例である大型表示装置のブロック図である。なお、本発明の実施の形態1に係るデジタルテレビの構成要素と同様な機能を有するものには同符号を付す。
【0059】
図9に示すように、表示装置の一例である大型表示装置は、映像を表示する表示手段としての映像信号表示部110と、映像信号表示部110に対向する領域、すなわち、視聴者が映像を見ると想定される映像信号表示部110の前方の領域を撮影して、画像データを生成する撮影手段としてのカメラ部160と、前記カメラ部160で生成された画像データが示す画像内の視聴者を検出する検出手段としての画像認識部170と、映像信号表示部110が映像を表示しており、かつ、前記検出手段が視聴者を検出していないときの時間である非視聴時間を計測する計測手段としても機能する制御部138と、前記計測された時間を記録する不揮発性メモリなどの記録手段を有する視聴情報管理部180などを備えている。また、大型表示装置は、インターネット210などの外部ネットワーク回線と通信する通信部220、音声信号処理部120、音声信号出力部130、映像信号処理部106、OSD部(On−Screen Display)107なども備えている。なお、カメラ部160は複数台のカメラで構成されていてもよい。
【0060】
画像認識部170は、撮影手段によって生成された画像データが示す画像より顔画像を検出する顔検出手段としても機能する他、個人を識別して特定できる(視聴者が誰であるかを判別する)個人識別手段や、視聴者が、映像信号表示部110に表示されている映像を見ているかどうかを判定する判定手段としても機能する。また、制御部138は、視聴者の属性(性別および年代)を抽出する抽出手段としても機能するほか、時計部140からの時刻を随時入力しながら視聴者の属性ごとに非視聴時間などを計測する。
【0061】
以下、図9を参照しながら、大型表示装置の各構成要素について説明する。
図9において、通信部220はインターネット210などの外部ネットワーク回線と通信して、広告用映像を入力するともに、広告用映像に対応する広告種別情報なども得る。制御部138は、通信部220から入力した信号から広告用映像に対応する映像信号や音声信号、これらの広告用映像に関する情報などを認識して分離等を行う。映像信号処理部106は、通信部220を通して制御部138から入力した映像信号の信号列を変換してデジタル映像信号を再生する。OSD部107は、必要に応じて、広告種別情報等の各種表示信号を映像信号処理部106の出力に重畳する。映像信号表示部110は、典型的にはプロジェクタなどからなるスクリーン装置やプラズマディスプレイパネル、液晶ディスプレイパネルなどの表示部と、この表示パネルを制御するコントローラ装置などとから構成され、OSD部107から出力されるデジタル映像信号をアナログの映像信号に変換して、表示パネルに表示する。
【0062】
一方、音声信号処理部120は、通信部220を通して制御部138から出力された信号をデジタル音声信号に変換して出力する。音声信号出力部130は、音声信号処理部120から入力されたデジタル音声信号をアナログの音声信号に変換し出力するスピーカーである。また、入力された広告用映像に関する情報は、制御部138内に設けられた図示しない記憶部(記録部)内に蓄積され、参照される。時計部140は、現在時刻を制御部138に通知する。カメラ部160は、映像信号表示部110の前方の領域を撮影できるよう設置されており、映像信号表示部110の前方の領域に居る人を撮影する。カメラ部160で撮影された画像は、画像認識部170に入力される。画像認識部170では、撮影画像から顔画像を検出し、検出された顔画像から、その人(顔画像が得られた場合には視聴者であるとみなす)の属性である、性別および年代を抽出する抽出処理を行う。制御部138には図示していないCPUや、ROM、RAMなどからなるメモリなどが備えられている。また、制御部138は通信部220を介して得た情報を、当該大型表示装置を設置して契約する広告会社や顧客先などに通知可能とされている。
【0063】
以上のように構成された大型表示装置の動作について説明する。
まず、インターネット210などの外部ネットワーク回線および通信部220を通して、制御部138において広告用映像や、広告用映像に対応する音声信号情報、これらに関連する広告種別情報などが取得され、広告用映像が映像信号表示部110に表示されるとともにこれに対応する音声が音声信号出力部130から出力される。これら一連の動作は、一般的なデジタルテレビの動作と類似した動作であるが、本実施の形態においては更に、カメラ部160によって大型表示装置の前方箇所の撮影を行い、視聴者の検出(顔画像の検出)および視聴者の属性(性別および年代)と、各視聴者が大型表示装置に表示されている映像を視聴しているかどうかが判定され、その判定結果が視聴情報管理部180に蓄積される。
【0064】
すなわち、カメラ部160により撮影した画像から顔画像を検出するとともに、その顔画像から視聴者の属性を判別し、属性ごとの視聴者(例えば、「未成年の男性」)を検出できた場合は、その属性の視聴者が広告用映像を見ていると判断する。そして、その属性の人(顔画像)を検出できなくなった場合は、その属性の人は広告用映像を見ていないと判断し、非視聴時間の計測を開始する。そして、再度、同じ属性の人(例えば、「未成年の男性」)が検出されたら、視聴していると判断し、非視聴時間の計測を終了する。このようにして、ある属性の人が検出されていない時間を計測することで、非視聴時間を計測する。
【0065】
大型表示装置を視聴している視聴者の属性、広告種別、時間帯の例を図10に示し、これに対応して、視聴情報管理部180にて管理される視聴情報の例を図11に示す。これらの図に示す例では、例えば、広告用映像が9時から再生開始し20時で再生を終了する場合を示し、商品Aに関する広告用映像を9時から12時まで再生し、商品Bに関する広告用映像を12時から17時まで再生し、商品Cに関する広告用映像を17時から20時まで再生する場合を示している。図10において、長方形状で示している部分が視聴している時間帯を示し、直線状で示している部分が視聴していない時間帯を示す。また、視聴者はその顔画像から、属性1として、年代(未成年、成人、高齢者)が判別され、属性2として性別(男女)が判別される。図10では、未成年の男性の視聴者が、商品Aについての広告用映像を9時から10時まで、および11時から12時まで視聴している場合を示している。
【0066】
本実施の形態において視聴情報は、図11に示すようにテーブル形式となっており、1つのレコードは視聴者の属性1(年代)、属性2(性別)、広告種別、非視聴開始時間、非視聴終了時間から構成される。なお、図示しないが、非視聴開始時間および非視聴終了時間の情報から非視聴時間も情報として管理することが好ましい。非視聴開始時間および非視聴終了時間は、カメラ部160の画像を画像認識部170にて顔検出処理を行い、視聴者の属性1(年代)、属性2(性別)ごとに、顔(顔の画像)が検出されなかった開始時間および終了時間であり、大型表示装置が広告用映像番組を表示しているにもかかわらず、その内容を、該当する属性の視聴者が視聴していない非視聴開始時間および非視聴終了時間を示す。
【0067】
以下、図12のフローチャートを参照しながら当該大型表示装置の動作をより詳しく説明する。
まずステップS501にて、カメラ部160にて大型表示装置(映像信号表示部110)の前方空間の状況が撮影される。続くステップS502では、画像認識部170にて、カメラ部160で撮影された画像に対して顔検出処理が行われるとともに、顔画像が検出された場合は、検出手段としての画像認識部170により属性(年代および性別)の検出が行われる。続くステップS503では、画像認識部170により指定属性の検出ができたかどうかが判定される。上記したように、本実施の形態での指定する属性とは、図10に示すように、「未成年の男性」「未成年の女性」「成人の男性」「成人の女性」「高齢者の男性」「高齢者の女性」の6種類である。以下、指定された属性が「未成年の男性」を例に挙げて説明するが、同様の処理が他の5種類の属性についても行われる。
【0068】
ステップS503において、「未成年の男性」という属性(属性の画像)を検出できなかった場合(すなわち、「未成年の男性」が広告用映像を見ていない場合)、ステップS504に処理が進み、非視聴時間の開始時刻が取得済みかどうかが確認される。非視聴時間の開始時刻が取得されていない場合、ステップ505へ処理が進み、現在の時刻を取得し、非視聴時間の開始時刻を設定する。一方、ステップS504において、非視聴時間の開始時刻が取得されている場合は、処理がステップS501に戻る。
【0069】
ステップS503において、「未成年の男性」という属性(属性の画像)を検出できた場合(すなわち、「未成年の男性」が広告用映像を見ている場合)、ステップS506に処理が進み、非視聴時間の開始時刻が取得済みかどうか確認される。
【0070】
ステップS506において、非視聴時間の開始時刻が取得されている場合は、今まで視聴していなかった「未成年の男性」が広告用映像を視聴し始めたということになる。すなわち、非視聴時間が終了したことになる。その場合、処理がステップS507へ進み、現在時刻を取得することで非視聴時間の終了時刻を設定する。そして、ステップS508で視聴情報を更新することで、非視聴時間の開始時刻と終了時刻とが設定される(この状態を図11に示す)。
【0071】
ステップS506において、非視聴時間の開始時刻が取得されていない場合は、「未成年の男性」が視聴し続けていることになるので、処理がステップS501に戻る。そして、「未成年の男性」が検出されなくなるまで(「未成年の男性」が広告用映像を見なくなるまで)、ステップS501→ステップS502→ステップS503→ステップS506→ステップS501のループ処理を続ける。
【0072】
このように、本実施の形態では、指定の属性の視聴者を検出できなくなった時間を非視聴時間の開始時刻として抽出し、指定属性を検出できた時刻を非視聴時間の終了時刻として抽出することで、指定の属性の人(視聴者)の非視聴時間を計測することができる。この結果、広告用映像の表示を依頼した依頼主は、各属性に係る人が広告用映像をどの程度視聴して、広告用映像が有効に視聴されているかどうかを確認できたり、広告用映像がどのような属性の視聴者に視聴されているかどうかを確認できたり、広告用映像をどのような時間に表示すると、より効率的に視聴されるかを確認できたりする。これにより、本実施の形態に係る表示装置が効率的に利用されている(視聴されている)かどうかを確認することができて、広告用映像の有効性や、視聴者の属性(この実施の形態では年代と性別)による広告用映像の有効性の差や、広告用映像の効率的な利用の向上に役立てることができる。
【0073】
なお、上記の実施の形態では、広告用映像をインターネット210などの外部ネットワーク回線と通信して入力する場合を述べたが、これに限るものではなく、広告用映像を記録したディスクなどの記録媒体から入力してもよい。また、上記の実施の形態では、年代の属性として、「未成年」「成人」「高齢者」という属性を設定した場合を述べたが、これに限るものではなく、「10代」、「20代」、「30代」・・・などで区切るようにしてもよい。
【0074】
また、図1や図9で示したデジタルテレビのブロック図に示した処理ブロックはいずれも専用のハードウェアであるとは限らず、ソフトウェアで実行できるよう構成されていてもなんら問題はない。
【0075】
また、上記実施の形態では、画像だけでなく音声も出力されるデジタルテレビを視聴している視聴者を想定した場合を述べたが、これに限るものではない。つまり、単に映像だけを表示する表示装置を見ている者にも同様に適用することができる。
【産業上の利用可能性】
【0076】
本発明にかかる表示装置または表示方法は、ユーザが表示装置の表示内容を視聴する表示装置や表示方法として利用することができる。
【符号の説明】
【0077】
110 映像信号表示部(表示手段)
135 EPGデータ蓄積部(映像情報取得手段)
138 制御部(変換手段)
160 カメラ部(撮影手段)
170 画像認識部(検出手段、個人識別手段、判定手段、顔検出手段)
175 消費電力計測部(消費電力計測手段)
180 視聴情報管理部(記録手段)
210 インターネット(外部ネットワーク回線)
220 通信部
S302 撮影ステップ
S305 検出ステップ
S307 個人識別ステップ
S310 判定ステップ
S317 計測ステップ
S345 記録ステップ
S501 撮影ステップ
S502 属性検出(抽出)ステップ
S503 判定ステップ
S508 記録ステップ

【特許請求の範囲】
【請求項1】
映像を表示する表示手段と、
撮影して画像データを生成する撮影手段と、
前記撮影手段で生成された画像データが示す画像内の視聴者を検出する検出手段と、
前記表示手段が映像を表示しており、かつ、前記検出手段が視聴者を検出していないときの時間である非視聴時間を計測する計測手段と、
前記計測された時間を記録する記録手段と、
を備える表示装置。
【請求項2】
前記検出手段は、前記撮影手段によって生成された画像データが示す画像より顔を検出する顔検出手段である、
請求項1に記載の表示装置。
【請求項3】
前記検出された視聴者の属性を抽出する抽出手段をさらに備え、
前記計測手段は、前記抽出された属性で特定される視聴者毎に前記非視聴時間を計測する、
請求項1に記載の表示装置。
【請求項4】
前記抽出手段として個人を識別して特定できる個人識別手段をさらに備え、
前記計測手段は、前記個人識別手段で特定される視聴者毎に前記非視聴時間を計測する、
請求項3に記載の表示装置。
【請求項5】
非視聴時間を表示する非視聴時間表示手段をさらに備えた、
請求項1に記載の表示装置。
【請求項6】
前記検出手段は、前記撮影手段で生成された画像データが示す画像内から人の存在を判別し、人が存在すると判別した場合において、前記人が視聴している状態か否かを検出する、
請求項1に記載の表示装置。
【請求項7】
前記検出手段は、顔の画像を検出することに加えて、前記顔の画像より目の開閉状態を検出し、
画像データの画像に顔が存在しない時間に加えて、顔の目が閉じていた時間も前記非視聴時間とする、
請求項2記載の表示装置。
【請求項8】
前記検出手段は、顔の画像を検出することに加えて、前記顔の画像より視線を検出し、
画像データの画像に顔が存在しない時間に加えて、視線が前記表示手段の方向を向いていない時間も前記非視聴時間とする、
請求項2記載の表示装置。
【請求項9】
前記非視聴時間に消費された非視聴状態消費電力を計測する記消費電力計測手段をさらに備え、
前記非視聴状態消費電力と前記非視聴時間と関連付けて前記記録手段に記録し、
前記非視聴状態消費電力を前記表示手段に表示する、
請求項1記載の表示装置。
【請求項10】
非視聴状態消費電力を金額に変換する金額変換手段をさらに備え、
非視聴状態消費電力に対応する金額を、前記表示手段に表示する、
請求項9記載の表示装置。
【請求項11】
前記表示手段に表示される映像に関する情報を取得する、映像情報取得手段をさらに備え、前記非視聴時間に対応する映像に関する情報を関連付けて前記記録手段に記録する、請求項1記載の表示装置。
【請求項12】
前記視聴者の属性が、視聴者の年齢および性別の少なくとも一方に関するものである、
請求項1に記載の表示装置。
【請求項13】
人が多く集まる場所に配設される、
請求項1に記載の表示装置。
【請求項14】
映像を表示する表示ステップと、
撮影して画像データを生成する撮影ステップと、
前記撮影ステップで生成された画像データが示す画像内の視聴者を検出する検出ステップと、
前記表示手段が映像を表示しており、かつ、前記検出手段が視聴者を検出していないときの時間である非視聴時間を計測する計測ステップと、
前記計測された時間を記録する記録ステップと、
を有する表示方法。
【請求項15】
請求項14記載の表示方法をコンピュータで実現可能なプログラム。
【請求項16】
請求項15記載のプログラムを記憶した、コンピュータが読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2011−223551(P2011−223551A)
【公開日】平成23年11月4日(2011.11.4)
【国際特許分類】
【出願番号】特願2010−283908(P2010−283908)
【出願日】平成22年12月21日(2010.12.21)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】