携帯端末
【課題】表示画像内で注目している箇所や内容など、表示画像を視聴する側の動向を把握することのできる携帯端末を得る。
【解決手段】表示手段１は画像情報７を表示し、撮像手段３は視聴者の画像を撮影する。視線検出手段４は、撮像手段３で撮影された画像から、表示手段１で表示されている画像情報への視線を検出する。注目情報判定手段５は、表示手段１で表示されている画像情報と視線情報とに基づいて、注目している情報を判定する。
【解決手段】表示手段１は画像情報７を表示し、撮像手段３は視聴者の画像を撮影する。視線検出手段４は、撮像手段３で撮影された画像から、表示手段１で表示されている画像情報への視線を検出する。注目情報判定手段５は、表示手段１で表示されている画像情報と視線情報とに基づいて、注目している情報を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、視聴率やアクセスログだけでは判らない、コンテンツ内で注目している箇所、内容など、コンテンツを視聴する側の動向を取得することのできる携帯端末に関するものである。
【背景技術】
【０００２】
テレビ放送の視聴率調査は、主に世帯視聴率と個人視聴率がある。世帯視聴率とは調査対象のテレビ所有世帯のうち、どれくらいの世帯がテレビをつけていたかを示す割合であり、一般的に使われる「視聴率」とは、この世帯視聴率である。また、個人視聴率とは、どのような人がどれくらいテレビを視聴したかを示す割合であり、視聴者を、性別・年齢別・職業別などに分けて、どれくらい見られていたかを知りたいときに利用される。
これらの調査には、主にピープルメータを用いて行われ、各世帯で収集されたデータは、電話回線を通して調査会社に送られる。収集されたデータは、毎分視聴率、世帯単位や年齢区分毎の番組視聴率や時間区分視聴率として集計され、テレビ局や広告会社、広告主にマーケティング情報として提供される。
【０００３】
従来、このような視聴率を調査する方法として、コンテンツの再生情報に基づいて、マーケティング情報を生成するようにしたものがあった（例えば、特許文献１参照）。
また、ネットワークを介してテレビ番組に関する調査を行うようにしたものがあった（例えば、非特許文献１参照）。
【０００４】
【特許文献１】特開２００５−１１７１１８号公報
【非特許文献１】テレビ番組視聴質調査 リサーチＱ、［平成１９年５月２８日検索］、インターネット＜ＵＲＬ：http://www.rq-tv.com/＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
近年、携帯電話機、カーナビゲーションなどを対象とした移動体向け放送サービスの開始し、映像や音声以外のデータ放送も行われ、ディスプレイ上には、映像以外にデータ放送の各種データが表示されるようになった。
従来の調査方法では、視聴率などのマーケティング情報は、そのコンテンツ番組を見たか見ていないかだけの情報であり、１画面中に様々な情報があるコンテンツの場合、視聴者がどの情報に注目しているかまでは測定できない。
また、ネットワークを用いてテレビ番組に関する調査を行う方法では、視聴率だけではわからない「番組がどのように見られているのか」という視聴の質をアンケート式で調査を行っている。しかしながら、アンケートの内容、質問項目にもよるが、番組全体に対する「期待度」「満足度」「集中度」の３つの要素に、番組全体の質を測定しているため、１画面中に様々な情報があるコンテンツの場合、視聴者がどこに注目しているかまでは測定することができなかった。
【０００６】
即ち、従来の調査方法では、例えば、データ放送の一部に情報や広告を掲載した場合でも、コンテンツ全体の視聴率などの情報を測定するだけであり、コンテンツ内に記載された情報や広告に対し、どれだけの視聴者が注目したかといったことまでは測定できず、その情報や広告による効果を見極めることが困難であった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、視聴率やアンケート形式の調査だけでは判らない、表示画像内で注目している箇所や内容など、表示画像を視聴する側の動向を把握することのできる携帯端末を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る携帯端末は、表示手段の視聴者の画像を撮影する撮像手段と、撮像手段で撮影された画像から、表示手段で表示されている画像情報への視線を検出する視線検出手段と、表示手段で表示されている画像情報と視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えたものである。
【発明の効果】
【０００９】
この発明の携帯端末は、表示手段で表示されている画像情報と視聴者の視線情報とに基づいて、注目している情報を判定するようにしたので、表示画像内で注目している箇所や内容など表示画像を視聴する側の動向を把握することができる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による携帯端末を示す機能ブロック図である。
図において、携帯端末は、表示手段１、表示制御手段２、撮像手段３、視線検出手段４、注目情報判定手段５、感情情報抽出手段６を備えている。表示手段１は、表示制御手段２によって制御され、画像情報７を表示する手段である。表示制御手段２は、与えられた画像情報７を表示手段１に表示すると共に、表示手段１に表示している画像の情報を注目情報判定手段５に通知する手段である。撮像手段３は、表示手段１で表示されている画像情報の視聴者を撮影する手段であり、表示手段１の前面側の画像を撮影するよう構成されている。視線検出手段４は、撮像手段３で撮影された画像から、表示手段１で表示されている画像情報への視線を検出する手段である。注目情報判定手段５は、視線検出手段４で検出された視線情報と、表示制御手段２から取得した表示手段１で表示されている画像情報に基づいて、注目している情報を判定する手段である。感情情報抽出手段６は、撮像手段３で撮影された画像から、視聴者の感情情報を抽出する手段である。また、画像情報７は、テレビ放送から取得したコンテンツや後述する携帯端末内の記憶部に記憶されたコンテンツおよび広告情報等を含む全ての画像の情報である。
【００１１】
図２は、図１の携帯端末における各機能ブロックを実現するための構成を示す図である。また、図３は、携帯端末の正面図である。
図示の携帯端末１０１は、撮像手段３としての自画像を撮影できるインカメラ１１、視線検出手段４と感情情報抽出手段６を実現し、顔検出と視線検出および感情情報の抽出を行う画像処理部１２、表示制御手段２および注目情報判定手段５を実現するための制御部１３、制御部１３を制御するためのプログラムおよびデータの記憶手段としての内部メモリ部１４、メモリカードといった携帯端末１０１に対して着脱自在な記憶部である外部メモリ部１５、各種の操作を行うためのキー等からなる操作部１６、携帯端末１０１を振動させるためのバイブレータ１７、通信データの送受信およびインターネット接続手段としての通信制御部１８、通信用アンテナ１９、表示制御手段２を構成し、表示するデータを作成する表示処理部２０、画像やデータを表示する表示手段１であるＬＣＤ部（液晶表示装置）２１、音声の入出力の処理手段としての音声処理部２２、音声表示手段としてのスピーカ２３、音声入力手段としてのマイク２４、テレビ放送受信手段としてのテレビ放送信号受信部２５を備え、テレビ放送信号受信部２５は、テレビ用アンテナ部２６、チューニングおよび復調手段としてのフロントエンド部２７、受信したテレビ放送信号を音声データ、映像データおよびデータ放送用データに分離するバックエンド部２８、音声デコーダ２９、映像デコーダ３０から構成されている。
【００１２】
インカメラ１１は、図３に示すように、ＬＣＤ部２１と同じ側に設けられ、制御部１３の指示により制御され、視聴者の顔画像の撮影を行う。画像処理部１２は、インカメラ１１にて撮影された画像を取り込み、視聴者の視線の抽出を行うと共に、視聴者がＬＣＤ部２１上のどこを見ているかを検出し、制御部１３へ視線情報として渡す。また、視聴者の表情から感情を推測し、感情情報として制御部１３へ渡す。ここで、視聴者の視線情報の抽出方法としては、例えば、特開２００６−２０４８５５号公報等に示される視線検出方法を用いることができる。また、視聴者の表情から感情を推測する方法としては、例えば、特許２８３９８５５号公報等に示される方法を用いることができる。
【００１３】
制御部１３は、内部メモリ部１４に記憶されているプログラムおよび操作部１６からの入力操作に従って各種の処理を行う。内部メモリ部１４は、通常の端末で必要とされるプログラムや設定情報および画像処理部１２で検出された視線情報や感情情報を記憶する。また、操作部１６からの入力操作により、通信制御部１８による電子メールやインターネットなどで取得した文字情報、制御情報、テレビ放送信号受信部２５により取得した映像データ、音声データおよび、データ放送用データなどの情報を記憶する。
外部メモリ部１５は、他の端末や図示しないビデオレコーダといった外部装置とデータ交換を行うための可搬性の着脱自在なメモリである。この外部メモリ部１５は、他の端末やビデオレコーダにて再生を行うために、テレビ放送信号受信部２５により取得したテレビ放送を記録したり、他の端末やビデオレコーダにて記録されたテレビ放送を携帯端末で再生するためのデータを記録したりする。
【００１４】
操作部１６は、「０」キーから「９」キーのテンキーや、「上」キー、「下」キー、「左」キー、「右」キーといった一般的な携帯電話等の携帯端末が備えている各種キー（ボタン）を備え、ＬＣＤ部２１に表示される操作画面と連動して、入力操作に応じたキー入力信号を出力し、制御部１３に指示を送る。バイブレータ１７は、制御部１３からの指示により振動モータを回転し、携帯端末を振動させる。
通信制御部１８は、操作部１６からの入力操作により、通信用アンテナ１９を通して、電話や電子メール、ブラウザなどの通信データとして、音声情報、文字情報、静止画情報、動画情報の送受信を行うと共に、画像処理部１２にて検出された視線情報や感情情報を、通信用アンテナ１９を通して、調査センタ（これについては後述する）宛に送信する。表示処理部２０は、通信制御部１８で受信された文字情報、静止画情報、動画情報および、テレビ放送信号受信部２５で受信された映像データやデータ放送データを復号、合成し、ＬＣＤ部２１に表示するためデータを生成する。生成されたデータは、ＬＣＤ部２１にて表示される。
【００１５】
音声処理部２２は、通信制御部１８を介して受信された音声情報や、テレビ放送信号受信部２５で受信された音声データに対して復号、合成、Ｄ／Ａ変換処理を実施する。Ｄ／Ａ変換された音声データは、スピーカ２３から再生される。また、マイク２４から入力された音声は、音声処理部２２にて、Ａ／Ｄ変換され、符号化後、通信制御部１８によって送信される。
テレビ放送信号受信部２５は、操作部１６からの入力操作により、テレビ用アンテナ部２６を通してテレビ放送を受信し、受信した放送波をフロントエンド部２７にて復調後、バックエンド部２８にて、映像データ、音声データ、データ放送用データに分離する。テレビ放送信号受信部２５で分離された映像データは、表示処理部２０にてデコードされ、ＬＣＤ部２１にて表示され、音声データは、音声処理部２２にてデコード後、スピーカ２３から出力され、データ放送用データは、制御部１３にて解析され、各種制御が行われる。
【００１６】
次に、本実施の形態１の携帯端末における具体的な動作について説明する。
先ず、図４のフローチャートに従い、テレビ放送を視聴する場合について説明する。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。この状態で、操作部１６からの入力操作により、テレビ放送の視聴が指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ１０１）、テレビ放送のコンテンツをＬＣＤ部２１にて表示する。
続いて、インカメラ１１を起動し（ステップＳＴ１０２）、インカメラ１１より画像処理部１２に映像を取り込み（ステップＳＴ１０３）、視聴者の視線と表情の解析を開始する（ステップＳＴ１０４）。
解析された結果は、時刻データや画像の識別情報と共に、視聴情報として内部メモリ部１４に保存される。そして、保存された視聴情報は、その都度、または、ある程度まとまってから、通信制御部１８を通して、調査センタに送信される（ステップＳＴ１０５）。尚、ステップＳＴ１０３からステップＳＴ１０５までの作業は、テレビの視聴中、定期的に繰り返し実施される（ステップＳＴ１０６）。
【００１７】
ステップＳＴ１０６において、操作部１６からの入力操作により、テレビ放送の視聴終了が指示されると、制御部１３は、インカメラの終了処理（ステップＳＴ１０７）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ１０８）。
【００１８】
図５は、本実施の形態１における視聴者１００、携帯端末１０１、通信事業者１０２、調査センタ１０３、放送事業者１０４、広告主１０５の関係を示す説明図である。
ここで、通信事業者１０２とは、携帯端末１０１の電話通信サービスを提供する事業者であり、調査センタ１０３は、視聴率の調査を行う事業者である。また放送事業者１０４は、テレビ放送を行う事業者であり、広告主１０５は、放送されるテレビ放送に含まれる広告を放送事業者１０４に依頼する事業者である。また、通信事業者１０２と調査センタ１０３および放送事業者１０４は、ネットワーク（インターネット）１０６を介して相互に通信接続されている。
【００１９】
携帯端末１０１にて、視聴者１００の視聴情報と感情情報を抽出し、これらの情報は通信事業者１０２を介して調査センタ１０３に送信される。調査センタ１０３では、送られてきたデータを解析し、解析結果を放送事業者１０４や広告主１０５へ調査報告として提示する。
図６に、報告書の一例として、画面を９分割し、分割画面毎の注目度について、時間単位で集計した結果を示す。
このような視線情報と感情情報とを取得することにより、放送事業者１０４は、テレビ番組、コマーシャルなどのコンテンツの質の定量的な調査が可能となる。例えば、テレビドラマ内で感動させたいシーンでは、視聴者の感情と注目する領域を同時に測定することにより、視聴者が感動する前後の行動（視線の動き）を客観的に測定することが可能となる。このとき、どのような演出効果により、視聴者が感動し始めたか、逆に感動していない視聴者は、どの辺りから醒めた感じで見ていたかだけでなく、画面上のどの部分を見ていたか（例えば、ドラマではなく、データ放送を見ていた）など、注目する領域と感情情報を同時に解析することにより演出の効果を知ることができ、番組の演出や質の改善に役立てることができる。
【００２０】
また、分割画面毎の注目度、即ち、視聴者が画面上のどこに注目しているかを知ることができることにより、複数の出演者が出ている場合、視聴者は、どの出演者に注目しているかといったことも測定することができる。その結果、出演者毎の注目度を測定することができ、これを用いて出演者（俳優）のランク付けをするといったことも可能となる。また、テレビ放送とデータ放送とを同時表示している場合、視聴者が注目している情報に対し、適切な情報を提供することができる。
更に、画面内に広告を表示している場合、その広告の注目度を測定することも可能である。これにより、広告主１０５は、表示する広告がどの程度効果的であるかを知ることができ、広告の質の向上に役立てることができる。
尚、ここでは画面を９分割したが、分割数や分割の形状（領域）は、調査の対象等に基づいてどのようなものであってもよい。
【００２１】
このように、実施の形態１では、従来の調査方法では不可能であったテレビ視聴時の視聴者の動向を調査できるようになり、テレビ番組や広告の質の向上や演出効果の確認、広告の効果確認につながる。一方、視聴者は、視聴データを提供する対価として、ポイントを貯めて、ポイントサービスの提供を受けたり、換金したりする事ができる。
【００２２】
尚、上記実施の形態１では、画面情報７がテレビ放送によって提供される例を説明したがこれに限定されるものではない。これ以外にも、例えば、外部メモリ部１５といった記憶部に所定のコンテンツ配信事業者から配信されるコンテンツを保存すると共に、携帯端末１０１がコンテンツ再生用アプリケーションの実行機能を備え、このコンテンツ再生用アプリケーションを実行した場合の画面情報を用いてもよい。
【００２３】
また、携帯端末１０１が、ゲームアプリケーションとこのゲームアプリケーションの実行機能を備え、画像情報７としてゲーム画面情報を含むよう構成してもよい。例えば、ゲーム画面としてロールプレイングゲームやレースゲームがＬＣＤ部２１で表示され、その背景に広告を表示しているような場合、広告への注目度を測定することができる。
【００２４】
更に、携帯端末１０１がインターネット（ＩＰプロトコルを用いたネットワーク）への接続機能とＷｅｂページの閲覧機能とを備え、インターネットから画像情報７を取得するよう構成してもよい。このように構成することにより、インターネットを介した種々のコンテンツに対しても、視聴する側の動向を把握することができる。
【００２５】
また、テレビ放送だけでなく、デジタルラジオ放送に対して適用してもよい。即ち、デジタルラジオ放送では、音声だけでなく、文字や画像も受信できるため、例えば、ラジオ番組内で商品の紹介を画像表示しながら実施しているような場合、視聴者が画像（商品）をどれだけ注目したかを測定することができる。
【００２６】
以上のように、実施の形態１の携帯端末によれば、画像情報を表示する表示手段と、表示手段の視聴者の画像を撮影する撮像手段と、撮像手段で撮影された画像から、表示手段で表示されている画像情報への視線を検出する視線検出手段と、表示手段で表示されている画像情報と視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えたので、視聴率やアンケート形式の調査だけでは判らない、表示画像内で注目している箇所や内容など、表示画像を視聴する側の動向を把握することができる。
【００２７】
また、実施の形態１の携帯端末によれば、撮像手段で撮影された画像から、視聴者の感情情報を抽出する感情情報抽出手段を備えたので、視聴者の感情の変化といったことも取得することができ、その結果、画像情報を提供する側にとって、提供する画像情報の質の向上といったことに役立てることができる。
【００２８】
また、実施の形態１の携帯端末によれば、テレビ放送を受信するテレビ放送受信手段を備え、画像情報はテレビ放送受信手段で受信した情報としたので、テレビ放送で提供される画像情報に対して、視聴する側の動向を把握することができ、画像情報を提供するテレビ放送事業者にとって、提供する番組等の質の向上に役立てることができる。
【００２９】
また、実施の形態１の携帯端末によれば、コンテンツを格納するコンテンツ格納部を備え、画像情報はコンテンツの表示情報としたので、保存されたコンテンツを再生する場合の視聴する側の動向を把握することができ、画像情報を提供するコンテンツ配信事業者にとって、提供するコンテンツの質の向上に役立てることができる。
【００３０】
また、実施の形態１の携帯端末によれば、画像情報は、ゲーム画面情報を含むようにしたので、例えば、ゲーム画面と共に広告情報を表示している場合に、その広告への注目度といった情報を取得することができる。
【００３１】
また、実施の形態１の携帯端末によれば、画像情報をインターネットを介して受け取るようにしたので、インターネットを介した種々の画像情報に対しても、視聴する側の動向を把握することができる。
【００３２】
実施の形態２．
実施の形態１の場合、視聴者がテレビをつけている間は、常に視聴者の動向をチェックし、視聴者の視線および表情の解析を実施することになる。そのため、視聴情報が膨大になり、通信ネットワークの負荷や調査センタの処理負荷が大きい。また、各放送事業者や広告主は、膨大な量の調査結果全てが有益な情報とは限らないため、有益な情報を取り出さなければならない。
これを回避する手段として、実施の形態２では、テレビ放送のデータ部にインカメラ１１を制御するスクリプトを埋め込み、各放送事業者や広告主による任意のタイミングで視聴者の反応を調査するようにしたものである。即ち、実施の形態２の注目情報判定手段５は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うよう構成されている。これ以外の構成は、実施の形態１と同様であるため、図１〜３、５、６を援用して説明する。
【００３３】
次に、図７のフローチャートに従い実施の形態２の動作を説明する。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。
テレビ放送の視聴が、操作部１６からの入力操作により指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ２０１）、テレビ放送の内容をＬＣＤ部２１に表示する。続いて、インカメラ１１を起動する（ステップＳＴ２０２）。
制御部１３では、バックエンド部２８にて分離されたデータ放送のデータの解析を行い（ステップＳＴ２０３）、視聴情報の調査開始指示があるかどうかを確認する（ステップＳＴ２０４）。視聴情報の調査開始指示があれば、インカメラ１１より映像を取り込み（ステップＳＴ２０５）、画像処理部１２にて、視聴者の視線および表情の解析を開始する（ステップＳＴ２０６）。
【００３４】
ステップＳＴ２０６において解析された結果は、時刻データと共に、視聴情報として内部メモリ部１４に保存され、その都度、またはある程度纏め、通信制御部１８を通して、調査センタ宛に送信される（ステップＳＴ２０７）。尚、ステップＳＴ２０５からステップＳＴ２０７までの作業は、視聴情報の調査中、繰り返し、実施される（ステップＳＴ２０８）。
【００３５】
操作部１６からの入力操作により、テレビ放送の視聴終了指示が指示されると、制御部１３は、インカメラ１１の終了処理（ステップＳＴ２０９）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ２１０）。
【００３６】
尚、本実施の形態は、テレビ放送視聴時やラジオ放送受信時だけでなく、起動するアプリケーションをテレビ放送視聴用アプリケーションから、コンテンツ再生用アプリケーション、インターネット閲覧用アプリケーション、ゲームアプリケーションなどとすることにより、これらのアプリケーションが実行された場合の画像情報に対しても同様に適用可能である。
【００３７】
本実施の形態では、以上のように構成されているため、放送事業者１０４やコンテンツ配信事業者、広告主１０５による任意のタイミングで視聴者の反応を調査できるようになり、コンテンツやゲームの質の向上や、広告の質の向上や演出効果の確認、広告の効果確認が容易にできるようになる。一方、視聴者は、視聴データを提供する対価として、ポイントを貯めて、ポイントサービスの提供を受けたり、換金したりする事ができる。
また、本実施の形態は、また、ネットワーク１０６や調査センタ１０３の負荷が分散化され、設備の効率的な投資と運用が可能である。
【００３８】
以上のように、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うようにしたので、テレビ放送において、注目度を取得したい部分を指定することができるため、効率的な視聴データの収集を行うことができる。
【００３９】
また、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、コンテンツに含まれた制御情報に基づいて行うようにしたので、コンテンツを配信する側が、注目度を取得したい部分を指定することができるため、効率的な視聴データの収集を行うことができる。
【００４０】
また、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、ゲーム画面情報と共に与えられる制御情報に基づいて行うようにしたので、ゲーム画面と広告等の情報が表示される場合の注目度を取得したい部分を指定することができるため、広告等の情報に対する注目度の情報収集を効率的に行うことができる。
【００４１】
実施の形態３．
実施の形態３では、画面に注目していない視聴者に対し、画面に注目することを促すための通知手段を設けたものである。図面上の構成は、実施の形態１と同様であるため、図１〜３、５、６を援用して説明する。
【００４２】
実施の形態３における通知手段は、図２におけるバイブレータ１７を用いて構成する。即ち、通知手段は、視聴者に対して表示手段１への視認操作を促すための手段である。また、注目情報判定手段５は、通知手段による通知時に視線情報や感情情報を判定するよう構成されている。これ以外の構成は、実施の形態１または２と同様であるため、ここでの説明は省略する。
【００４３】
次に、実施の形態３の動作について説明する。
図８は、実施の形態３の携帯端末の動作を示すフローチャートである。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。このような状態で、テレビ放送の視聴が、操作部１６からの入力操作により指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ３０１）、テレビ放送のコンテンツをＬＣＤ部２１に表示する。続いて、インカメラ１１を起動する（ステップＳＴ３０２）。
【００４４】
制御部１３では、バックエンド部２８にて分離されたデータ放送のデータの解析を行い（ステップＳＴ３０３）、視聴者に画面に注目をさせる指示があるかどうかを確認する（ステップＳＴ３０４）。視聴者に画面に注目をさせる指示があれば、インカメラ１１より映像を取り込み（ステップＳＴ３０５）、画像処理部１２にて、視聴者の視線の解析を開始し（ステップＳＴ３０６）、画面に注目しているかを判定する（ステップＳＴ３０７）。解析された結果、視聴者が画面に注目をしていないと判断された場合、画面に注目を促す手段として、バイブレータを振動させる（ステップＳＴ３０８）。尚、ステップＳＴ３０５からステップＳＴ３０８までの作業は、視聴者が画面に注目したと判断されるか、視聴者に画面に注目をさせる指示がある間、繰り返し、実施される（ステップＳＴ３０９）。
視聴者が画面に注目したかどうかを、視聴情報として内部メモリ部１４に格納し、通信制御部１８を通して、調査センタ宛に送信する（ステップＳＴ３１０）。
操作部１６からの入力操作によりテレビ放送の視聴終了指示が指示されると、制御部１３は、インカメラ１１の終了処理（ステップＳＴ３１１）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ３１２）。
【００４５】
このように、本実施の形態では、携帯端末１０１をバイブレータ１７により振動させ、視聴者に視聴を促すことにより、注目してほしい内容を伝達する事ができ、テレビ番組や広告効果の向上につながる。また、緊急放送やニュース速報においても画面に注目させることを促すことが可能である。
例えば、遊園地、博物館、大学等で地区を限定して構内案内やショッピングの案内を行うコミュニティ放送にて、ある場所で特別な情報を提供する場合、視聴者が画面に注目したとき、情報の提供を開始し、視聴者が最後までその情報を注目したかを調査し、視聴者にとっての情報の有用性や提供方法の問題点を確認することができる。
【００４６】
尚、本実施の形態は、テレビ放送視聴時やラジオ放送受信時だけでなく、起動するアプリケーションをテレビ放送視聴用アプリケーションから、コンテンツ再生用アプリケーション、インターネット閲覧用アプリケーション、ゲームアプリケーションなどとすることにより、これらのアプリケーションが実行された場合の画像情報に対しても同様に適用可能である。
【００４７】
以上のように、実施の形態３の携帯端末によれば、表示手段への視認操作を促すための通知手段を備え、注目情報判定手段は、通知手段による通知時に、注目している情報を判定するようにしたので、視聴者に対して確実に表示情報を伝えることができると共に、通知手段で通知したことによる視聴の効果を知ることができる。
【００４８】
尚、上記各実施の形態では、携帯端末１０１として携帯電話を例として説明したが、携帯電話以外にも、ＰＤＡ（Personal Digital Assistants）やノートパソコン、携帯型ゲーム機等であってもよい。また、インカメラ１１やテレビ放送信号受信部２５は、本体に対して外付けされるタイプであってもよい。
【図面の簡単な説明】
【００４９】
【図１】この発明の実施の形態１による携帯端末を示す機能ブロック図である。
【図２】この発明の実施の形態１による携帯端末の構成図である。
【図３】この発明の実施の形態１による携帯端末の正面図である。
【図４】この発明の実施の形態１による携帯端末の動作を示すフローチャートである。
【図５】この発明の実施の形態１による携帯端末を用いたデータの流れを示す説明図である。
【図６】この発明の実施の形態１による携帯端末の分割画面と注目度の説明図である。
【図７】この発明の実施の形態２による携帯端末の動作を示すフローチャートである。
【図８】この発明の実施の形態３による携帯端末の動作を示すフローチャートである。
【符号の説明】
【００５０】
１ 表示手段、２ 表示制御手段、３ 撮像手段、４ 視線検出手段、５ 注目情報判定手段、６ 感情情報抽出手段、７ 画像情報、１１ インカメラ、１２ 画像処理部、１３ 制御部、１５ 外部メモリ部、１７ バイブレータ、２０ 表示処理部、２１ ＬＣＤ部、２５ テレビ放送信号受信部。
【技術分野】
【０００１】
この発明は、視聴率やアクセスログだけでは判らない、コンテンツ内で注目している箇所、内容など、コンテンツを視聴する側の動向を取得することのできる携帯端末に関するものである。
【背景技術】
【０００２】
テレビ放送の視聴率調査は、主に世帯視聴率と個人視聴率がある。世帯視聴率とは調査対象のテレビ所有世帯のうち、どれくらいの世帯がテレビをつけていたかを示す割合であり、一般的に使われる「視聴率」とは、この世帯視聴率である。また、個人視聴率とは、どのような人がどれくらいテレビを視聴したかを示す割合であり、視聴者を、性別・年齢別・職業別などに分けて、どれくらい見られていたかを知りたいときに利用される。
これらの調査には、主にピープルメータを用いて行われ、各世帯で収集されたデータは、電話回線を通して調査会社に送られる。収集されたデータは、毎分視聴率、世帯単位や年齢区分毎の番組視聴率や時間区分視聴率として集計され、テレビ局や広告会社、広告主にマーケティング情報として提供される。
【０００３】
従来、このような視聴率を調査する方法として、コンテンツの再生情報に基づいて、マーケティング情報を生成するようにしたものがあった（例えば、特許文献１参照）。
また、ネットワークを介してテレビ番組に関する調査を行うようにしたものがあった（例えば、非特許文献１参照）。
【０００４】
【特許文献１】特開２００５−１１７１１８号公報
【非特許文献１】テレビ番組視聴質調査 リサーチＱ、［平成１９年５月２８日検索］、インターネット＜ＵＲＬ：http://www.rq-tv.com/＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
近年、携帯電話機、カーナビゲーションなどを対象とした移動体向け放送サービスの開始し、映像や音声以外のデータ放送も行われ、ディスプレイ上には、映像以外にデータ放送の各種データが表示されるようになった。
従来の調査方法では、視聴率などのマーケティング情報は、そのコンテンツ番組を見たか見ていないかだけの情報であり、１画面中に様々な情報があるコンテンツの場合、視聴者がどの情報に注目しているかまでは測定できない。
また、ネットワークを用いてテレビ番組に関する調査を行う方法では、視聴率だけではわからない「番組がどのように見られているのか」という視聴の質をアンケート式で調査を行っている。しかしながら、アンケートの内容、質問項目にもよるが、番組全体に対する「期待度」「満足度」「集中度」の３つの要素に、番組全体の質を測定しているため、１画面中に様々な情報があるコンテンツの場合、視聴者がどこに注目しているかまでは測定することができなかった。
【０００６】
即ち、従来の調査方法では、例えば、データ放送の一部に情報や広告を掲載した場合でも、コンテンツ全体の視聴率などの情報を測定するだけであり、コンテンツ内に記載された情報や広告に対し、どれだけの視聴者が注目したかといったことまでは測定できず、その情報や広告による効果を見極めることが困難であった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、視聴率やアンケート形式の調査だけでは判らない、表示画像内で注目している箇所や内容など、表示画像を視聴する側の動向を把握することのできる携帯端末を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る携帯端末は、表示手段の視聴者の画像を撮影する撮像手段と、撮像手段で撮影された画像から、表示手段で表示されている画像情報への視線を検出する視線検出手段と、表示手段で表示されている画像情報と視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えたものである。
【発明の効果】
【０００９】
この発明の携帯端末は、表示手段で表示されている画像情報と視聴者の視線情報とに基づいて、注目している情報を判定するようにしたので、表示画像内で注目している箇所や内容など表示画像を視聴する側の動向を把握することができる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による携帯端末を示す機能ブロック図である。
図において、携帯端末は、表示手段１、表示制御手段２、撮像手段３、視線検出手段４、注目情報判定手段５、感情情報抽出手段６を備えている。表示手段１は、表示制御手段２によって制御され、画像情報７を表示する手段である。表示制御手段２は、与えられた画像情報７を表示手段１に表示すると共に、表示手段１に表示している画像の情報を注目情報判定手段５に通知する手段である。撮像手段３は、表示手段１で表示されている画像情報の視聴者を撮影する手段であり、表示手段１の前面側の画像を撮影するよう構成されている。視線検出手段４は、撮像手段３で撮影された画像から、表示手段１で表示されている画像情報への視線を検出する手段である。注目情報判定手段５は、視線検出手段４で検出された視線情報と、表示制御手段２から取得した表示手段１で表示されている画像情報に基づいて、注目している情報を判定する手段である。感情情報抽出手段６は、撮像手段３で撮影された画像から、視聴者の感情情報を抽出する手段である。また、画像情報７は、テレビ放送から取得したコンテンツや後述する携帯端末内の記憶部に記憶されたコンテンツおよび広告情報等を含む全ての画像の情報である。
【００１１】
図２は、図１の携帯端末における各機能ブロックを実現するための構成を示す図である。また、図３は、携帯端末の正面図である。
図示の携帯端末１０１は、撮像手段３としての自画像を撮影できるインカメラ１１、視線検出手段４と感情情報抽出手段６を実現し、顔検出と視線検出および感情情報の抽出を行う画像処理部１２、表示制御手段２および注目情報判定手段５を実現するための制御部１３、制御部１３を制御するためのプログラムおよびデータの記憶手段としての内部メモリ部１４、メモリカードといった携帯端末１０１に対して着脱自在な記憶部である外部メモリ部１５、各種の操作を行うためのキー等からなる操作部１６、携帯端末１０１を振動させるためのバイブレータ１７、通信データの送受信およびインターネット接続手段としての通信制御部１８、通信用アンテナ１９、表示制御手段２を構成し、表示するデータを作成する表示処理部２０、画像やデータを表示する表示手段１であるＬＣＤ部（液晶表示装置）２１、音声の入出力の処理手段としての音声処理部２２、音声表示手段としてのスピーカ２３、音声入力手段としてのマイク２４、テレビ放送受信手段としてのテレビ放送信号受信部２５を備え、テレビ放送信号受信部２５は、テレビ用アンテナ部２６、チューニングおよび復調手段としてのフロントエンド部２７、受信したテレビ放送信号を音声データ、映像データおよびデータ放送用データに分離するバックエンド部２８、音声デコーダ２９、映像デコーダ３０から構成されている。
【００１２】
インカメラ１１は、図３に示すように、ＬＣＤ部２１と同じ側に設けられ、制御部１３の指示により制御され、視聴者の顔画像の撮影を行う。画像処理部１２は、インカメラ１１にて撮影された画像を取り込み、視聴者の視線の抽出を行うと共に、視聴者がＬＣＤ部２１上のどこを見ているかを検出し、制御部１３へ視線情報として渡す。また、視聴者の表情から感情を推測し、感情情報として制御部１３へ渡す。ここで、視聴者の視線情報の抽出方法としては、例えば、特開２００６−２０４８５５号公報等に示される視線検出方法を用いることができる。また、視聴者の表情から感情を推測する方法としては、例えば、特許２８３９８５５号公報等に示される方法を用いることができる。
【００１３】
制御部１３は、内部メモリ部１４に記憶されているプログラムおよび操作部１６からの入力操作に従って各種の処理を行う。内部メモリ部１４は、通常の端末で必要とされるプログラムや設定情報および画像処理部１２で検出された視線情報や感情情報を記憶する。また、操作部１６からの入力操作により、通信制御部１８による電子メールやインターネットなどで取得した文字情報、制御情報、テレビ放送信号受信部２５により取得した映像データ、音声データおよび、データ放送用データなどの情報を記憶する。
外部メモリ部１５は、他の端末や図示しないビデオレコーダといった外部装置とデータ交換を行うための可搬性の着脱自在なメモリである。この外部メモリ部１５は、他の端末やビデオレコーダにて再生を行うために、テレビ放送信号受信部２５により取得したテレビ放送を記録したり、他の端末やビデオレコーダにて記録されたテレビ放送を携帯端末で再生するためのデータを記録したりする。
【００１４】
操作部１６は、「０」キーから「９」キーのテンキーや、「上」キー、「下」キー、「左」キー、「右」キーといった一般的な携帯電話等の携帯端末が備えている各種キー（ボタン）を備え、ＬＣＤ部２１に表示される操作画面と連動して、入力操作に応じたキー入力信号を出力し、制御部１３に指示を送る。バイブレータ１７は、制御部１３からの指示により振動モータを回転し、携帯端末を振動させる。
通信制御部１８は、操作部１６からの入力操作により、通信用アンテナ１９を通して、電話や電子メール、ブラウザなどの通信データとして、音声情報、文字情報、静止画情報、動画情報の送受信を行うと共に、画像処理部１２にて検出された視線情報や感情情報を、通信用アンテナ１９を通して、調査センタ（これについては後述する）宛に送信する。表示処理部２０は、通信制御部１８で受信された文字情報、静止画情報、動画情報および、テレビ放送信号受信部２５で受信された映像データやデータ放送データを復号、合成し、ＬＣＤ部２１に表示するためデータを生成する。生成されたデータは、ＬＣＤ部２１にて表示される。
【００１５】
音声処理部２２は、通信制御部１８を介して受信された音声情報や、テレビ放送信号受信部２５で受信された音声データに対して復号、合成、Ｄ／Ａ変換処理を実施する。Ｄ／Ａ変換された音声データは、スピーカ２３から再生される。また、マイク２４から入力された音声は、音声処理部２２にて、Ａ／Ｄ変換され、符号化後、通信制御部１８によって送信される。
テレビ放送信号受信部２５は、操作部１６からの入力操作により、テレビ用アンテナ部２６を通してテレビ放送を受信し、受信した放送波をフロントエンド部２７にて復調後、バックエンド部２８にて、映像データ、音声データ、データ放送用データに分離する。テレビ放送信号受信部２５で分離された映像データは、表示処理部２０にてデコードされ、ＬＣＤ部２１にて表示され、音声データは、音声処理部２２にてデコード後、スピーカ２３から出力され、データ放送用データは、制御部１３にて解析され、各種制御が行われる。
【００１６】
次に、本実施の形態１の携帯端末における具体的な動作について説明する。
先ず、図４のフローチャートに従い、テレビ放送を視聴する場合について説明する。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。この状態で、操作部１６からの入力操作により、テレビ放送の視聴が指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ１０１）、テレビ放送のコンテンツをＬＣＤ部２１にて表示する。
続いて、インカメラ１１を起動し（ステップＳＴ１０２）、インカメラ１１より画像処理部１２に映像を取り込み（ステップＳＴ１０３）、視聴者の視線と表情の解析を開始する（ステップＳＴ１０４）。
解析された結果は、時刻データや画像の識別情報と共に、視聴情報として内部メモリ部１４に保存される。そして、保存された視聴情報は、その都度、または、ある程度まとまってから、通信制御部１８を通して、調査センタに送信される（ステップＳＴ１０５）。尚、ステップＳＴ１０３からステップＳＴ１０５までの作業は、テレビの視聴中、定期的に繰り返し実施される（ステップＳＴ１０６）。
【００１７】
ステップＳＴ１０６において、操作部１６からの入力操作により、テレビ放送の視聴終了が指示されると、制御部１３は、インカメラの終了処理（ステップＳＴ１０７）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ１０８）。
【００１８】
図５は、本実施の形態１における視聴者１００、携帯端末１０１、通信事業者１０２、調査センタ１０３、放送事業者１０４、広告主１０５の関係を示す説明図である。
ここで、通信事業者１０２とは、携帯端末１０１の電話通信サービスを提供する事業者であり、調査センタ１０３は、視聴率の調査を行う事業者である。また放送事業者１０４は、テレビ放送を行う事業者であり、広告主１０５は、放送されるテレビ放送に含まれる広告を放送事業者１０４に依頼する事業者である。また、通信事業者１０２と調査センタ１０３および放送事業者１０４は、ネットワーク（インターネット）１０６を介して相互に通信接続されている。
【００１９】
携帯端末１０１にて、視聴者１００の視聴情報と感情情報を抽出し、これらの情報は通信事業者１０２を介して調査センタ１０３に送信される。調査センタ１０３では、送られてきたデータを解析し、解析結果を放送事業者１０４や広告主１０５へ調査報告として提示する。
図６に、報告書の一例として、画面を９分割し、分割画面毎の注目度について、時間単位で集計した結果を示す。
このような視線情報と感情情報とを取得することにより、放送事業者１０４は、テレビ番組、コマーシャルなどのコンテンツの質の定量的な調査が可能となる。例えば、テレビドラマ内で感動させたいシーンでは、視聴者の感情と注目する領域を同時に測定することにより、視聴者が感動する前後の行動（視線の動き）を客観的に測定することが可能となる。このとき、どのような演出効果により、視聴者が感動し始めたか、逆に感動していない視聴者は、どの辺りから醒めた感じで見ていたかだけでなく、画面上のどの部分を見ていたか（例えば、ドラマではなく、データ放送を見ていた）など、注目する領域と感情情報を同時に解析することにより演出の効果を知ることができ、番組の演出や質の改善に役立てることができる。
【００２０】
また、分割画面毎の注目度、即ち、視聴者が画面上のどこに注目しているかを知ることができることにより、複数の出演者が出ている場合、視聴者は、どの出演者に注目しているかといったことも測定することができる。その結果、出演者毎の注目度を測定することができ、これを用いて出演者（俳優）のランク付けをするといったことも可能となる。また、テレビ放送とデータ放送とを同時表示している場合、視聴者が注目している情報に対し、適切な情報を提供することができる。
更に、画面内に広告を表示している場合、その広告の注目度を測定することも可能である。これにより、広告主１０５は、表示する広告がどの程度効果的であるかを知ることができ、広告の質の向上に役立てることができる。
尚、ここでは画面を９分割したが、分割数や分割の形状（領域）は、調査の対象等に基づいてどのようなものであってもよい。
【００２１】
このように、実施の形態１では、従来の調査方法では不可能であったテレビ視聴時の視聴者の動向を調査できるようになり、テレビ番組や広告の質の向上や演出効果の確認、広告の効果確認につながる。一方、視聴者は、視聴データを提供する対価として、ポイントを貯めて、ポイントサービスの提供を受けたり、換金したりする事ができる。
【００２２】
尚、上記実施の形態１では、画面情報７がテレビ放送によって提供される例を説明したがこれに限定されるものではない。これ以外にも、例えば、外部メモリ部１５といった記憶部に所定のコンテンツ配信事業者から配信されるコンテンツを保存すると共に、携帯端末１０１がコンテンツ再生用アプリケーションの実行機能を備え、このコンテンツ再生用アプリケーションを実行した場合の画面情報を用いてもよい。
【００２３】
また、携帯端末１０１が、ゲームアプリケーションとこのゲームアプリケーションの実行機能を備え、画像情報７としてゲーム画面情報を含むよう構成してもよい。例えば、ゲーム画面としてロールプレイングゲームやレースゲームがＬＣＤ部２１で表示され、その背景に広告を表示しているような場合、広告への注目度を測定することができる。
【００２４】
更に、携帯端末１０１がインターネット（ＩＰプロトコルを用いたネットワーク）への接続機能とＷｅｂページの閲覧機能とを備え、インターネットから画像情報７を取得するよう構成してもよい。このように構成することにより、インターネットを介した種々のコンテンツに対しても、視聴する側の動向を把握することができる。
【００２５】
また、テレビ放送だけでなく、デジタルラジオ放送に対して適用してもよい。即ち、デジタルラジオ放送では、音声だけでなく、文字や画像も受信できるため、例えば、ラジオ番組内で商品の紹介を画像表示しながら実施しているような場合、視聴者が画像（商品）をどれだけ注目したかを測定することができる。
【００２６】
以上のように、実施の形態１の携帯端末によれば、画像情報を表示する表示手段と、表示手段の視聴者の画像を撮影する撮像手段と、撮像手段で撮影された画像から、表示手段で表示されている画像情報への視線を検出する視線検出手段と、表示手段で表示されている画像情報と視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えたので、視聴率やアンケート形式の調査だけでは判らない、表示画像内で注目している箇所や内容など、表示画像を視聴する側の動向を把握することができる。
【００２７】
また、実施の形態１の携帯端末によれば、撮像手段で撮影された画像から、視聴者の感情情報を抽出する感情情報抽出手段を備えたので、視聴者の感情の変化といったことも取得することができ、その結果、画像情報を提供する側にとって、提供する画像情報の質の向上といったことに役立てることができる。
【００２８】
また、実施の形態１の携帯端末によれば、テレビ放送を受信するテレビ放送受信手段を備え、画像情報はテレビ放送受信手段で受信した情報としたので、テレビ放送で提供される画像情報に対して、視聴する側の動向を把握することができ、画像情報を提供するテレビ放送事業者にとって、提供する番組等の質の向上に役立てることができる。
【００２９】
また、実施の形態１の携帯端末によれば、コンテンツを格納するコンテンツ格納部を備え、画像情報はコンテンツの表示情報としたので、保存されたコンテンツを再生する場合の視聴する側の動向を把握することができ、画像情報を提供するコンテンツ配信事業者にとって、提供するコンテンツの質の向上に役立てることができる。
【００３０】
また、実施の形態１の携帯端末によれば、画像情報は、ゲーム画面情報を含むようにしたので、例えば、ゲーム画面と共に広告情報を表示している場合に、その広告への注目度といった情報を取得することができる。
【００３１】
また、実施の形態１の携帯端末によれば、画像情報をインターネットを介して受け取るようにしたので、インターネットを介した種々の画像情報に対しても、視聴する側の動向を把握することができる。
【００３２】
実施の形態２．
実施の形態１の場合、視聴者がテレビをつけている間は、常に視聴者の動向をチェックし、視聴者の視線および表情の解析を実施することになる。そのため、視聴情報が膨大になり、通信ネットワークの負荷や調査センタの処理負荷が大きい。また、各放送事業者や広告主は、膨大な量の調査結果全てが有益な情報とは限らないため、有益な情報を取り出さなければならない。
これを回避する手段として、実施の形態２では、テレビ放送のデータ部にインカメラ１１を制御するスクリプトを埋め込み、各放送事業者や広告主による任意のタイミングで視聴者の反応を調査するようにしたものである。即ち、実施の形態２の注目情報判定手段５は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うよう構成されている。これ以外の構成は、実施の形態１と同様であるため、図１〜３、５、６を援用して説明する。
【００３３】
次に、図７のフローチャートに従い実施の形態２の動作を説明する。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。
テレビ放送の視聴が、操作部１６からの入力操作により指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ２０１）、テレビ放送の内容をＬＣＤ部２１に表示する。続いて、インカメラ１１を起動する（ステップＳＴ２０２）。
制御部１３では、バックエンド部２８にて分離されたデータ放送のデータの解析を行い（ステップＳＴ２０３）、視聴情報の調査開始指示があるかどうかを確認する（ステップＳＴ２０４）。視聴情報の調査開始指示があれば、インカメラ１１より映像を取り込み（ステップＳＴ２０５）、画像処理部１２にて、視聴者の視線および表情の解析を開始する（ステップＳＴ２０６）。
【００３４】
ステップＳＴ２０６において解析された結果は、時刻データと共に、視聴情報として内部メモリ部１４に保存され、その都度、またはある程度纏め、通信制御部１８を通して、調査センタ宛に送信される（ステップＳＴ２０７）。尚、ステップＳＴ２０５からステップＳＴ２０７までの作業は、視聴情報の調査中、繰り返し、実施される（ステップＳＴ２０８）。
【００３５】
操作部１６からの入力操作により、テレビ放送の視聴終了指示が指示されると、制御部１３は、インカメラ１１の終了処理（ステップＳＴ２０９）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ２１０）。
【００３６】
尚、本実施の形態は、テレビ放送視聴時やラジオ放送受信時だけでなく、起動するアプリケーションをテレビ放送視聴用アプリケーションから、コンテンツ再生用アプリケーション、インターネット閲覧用アプリケーション、ゲームアプリケーションなどとすることにより、これらのアプリケーションが実行された場合の画像情報に対しても同様に適用可能である。
【００３７】
本実施の形態では、以上のように構成されているため、放送事業者１０４やコンテンツ配信事業者、広告主１０５による任意のタイミングで視聴者の反応を調査できるようになり、コンテンツやゲームの質の向上や、広告の質の向上や演出効果の確認、広告の効果確認が容易にできるようになる。一方、視聴者は、視聴データを提供する対価として、ポイントを貯めて、ポイントサービスの提供を受けたり、換金したりする事ができる。
また、本実施の形態は、また、ネットワーク１０６や調査センタ１０３の負荷が分散化され、設備の効率的な投資と運用が可能である。
【００３８】
以上のように、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うようにしたので、テレビ放送において、注目度を取得したい部分を指定することができるため、効率的な視聴データの収集を行うことができる。
【００３９】
また、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、コンテンツに含まれた制御情報に基づいて行うようにしたので、コンテンツを配信する側が、注目度を取得したい部分を指定することができるため、効率的な視聴データの収集を行うことができる。
【００４０】
また、実施の形態２の携帯端末によれば、注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、ゲーム画面情報と共に与えられる制御情報に基づいて行うようにしたので、ゲーム画面と広告等の情報が表示される場合の注目度を取得したい部分を指定することができるため、広告等の情報に対する注目度の情報収集を効率的に行うことができる。
【００４１】
実施の形態３．
実施の形態３では、画面に注目していない視聴者に対し、画面に注目することを促すための通知手段を設けたものである。図面上の構成は、実施の形態１と同様であるため、図１〜３、５、６を援用して説明する。
【００４２】
実施の形態３における通知手段は、図２におけるバイブレータ１７を用いて構成する。即ち、通知手段は、視聴者に対して表示手段１への視認操作を促すための手段である。また、注目情報判定手段５は、通知手段による通知時に視線情報や感情情報を判定するよう構成されている。これ以外の構成は、実施の形態１または２と同様であるため、ここでの説明は省略する。
【００４３】
次に、実施の形態３の動作について説明する。
図８は、実施の形態３の携帯端末の動作を示すフローチャートである。
携帯端末１０１は、操作部１６の一つの電源ボタンからの入力操作により、電源をＯＮにして、待受け状態にある。このような状態で、テレビ放送の視聴が、操作部１６からの入力操作により指示されると、制御部１３はテレビ放送視聴用アプリケーションを起動し（ステップＳＴ３０１）、テレビ放送のコンテンツをＬＣＤ部２１に表示する。続いて、インカメラ１１を起動する（ステップＳＴ３０２）。
【００４４】
制御部１３では、バックエンド部２８にて分離されたデータ放送のデータの解析を行い（ステップＳＴ３０３）、視聴者に画面に注目をさせる指示があるかどうかを確認する（ステップＳＴ３０４）。視聴者に画面に注目をさせる指示があれば、インカメラ１１より映像を取り込み（ステップＳＴ３０５）、画像処理部１２にて、視聴者の視線の解析を開始し（ステップＳＴ３０６）、画面に注目しているかを判定する（ステップＳＴ３０７）。解析された結果、視聴者が画面に注目をしていないと判断された場合、画面に注目を促す手段として、バイブレータを振動させる（ステップＳＴ３０８）。尚、ステップＳＴ３０５からステップＳＴ３０８までの作業は、視聴者が画面に注目したと判断されるか、視聴者に画面に注目をさせる指示がある間、繰り返し、実施される（ステップＳＴ３０９）。
視聴者が画面に注目したかどうかを、視聴情報として内部メモリ部１４に格納し、通信制御部１８を通して、調査センタ宛に送信する（ステップＳＴ３１０）。
操作部１６からの入力操作によりテレビ放送の視聴終了指示が指示されると、制御部１３は、インカメラ１１の終了処理（ステップＳＴ３１１）、テレビ放送視聴用アプリケーションの終了処理を実施する（ステップＳＴ３１２）。
【００４５】
このように、本実施の形態では、携帯端末１０１をバイブレータ１７により振動させ、視聴者に視聴を促すことにより、注目してほしい内容を伝達する事ができ、テレビ番組や広告効果の向上につながる。また、緊急放送やニュース速報においても画面に注目させることを促すことが可能である。
例えば、遊園地、博物館、大学等で地区を限定して構内案内やショッピングの案内を行うコミュニティ放送にて、ある場所で特別な情報を提供する場合、視聴者が画面に注目したとき、情報の提供を開始し、視聴者が最後までその情報を注目したかを調査し、視聴者にとっての情報の有用性や提供方法の問題点を確認することができる。
【００４６】
尚、本実施の形態は、テレビ放送視聴時やラジオ放送受信時だけでなく、起動するアプリケーションをテレビ放送視聴用アプリケーションから、コンテンツ再生用アプリケーション、インターネット閲覧用アプリケーション、ゲームアプリケーションなどとすることにより、これらのアプリケーションが実行された場合の画像情報に対しても同様に適用可能である。
【００４７】
以上のように、実施の形態３の携帯端末によれば、表示手段への視認操作を促すための通知手段を備え、注目情報判定手段は、通知手段による通知時に、注目している情報を判定するようにしたので、視聴者に対して確実に表示情報を伝えることができると共に、通知手段で通知したことによる視聴の効果を知ることができる。
【００４８】
尚、上記各実施の形態では、携帯端末１０１として携帯電話を例として説明したが、携帯電話以外にも、ＰＤＡ（Personal Digital Assistants）やノートパソコン、携帯型ゲーム機等であってもよい。また、インカメラ１１やテレビ放送信号受信部２５は、本体に対して外付けされるタイプであってもよい。
【図面の簡単な説明】
【００４９】
【図１】この発明の実施の形態１による携帯端末を示す機能ブロック図である。
【図２】この発明の実施の形態１による携帯端末の構成図である。
【図３】この発明の実施の形態１による携帯端末の正面図である。
【図４】この発明の実施の形態１による携帯端末の動作を示すフローチャートである。
【図５】この発明の実施の形態１による携帯端末を用いたデータの流れを示す説明図である。
【図６】この発明の実施の形態１による携帯端末の分割画面と注目度の説明図である。
【図７】この発明の実施の形態２による携帯端末の動作を示すフローチャートである。
【図８】この発明の実施の形態３による携帯端末の動作を示すフローチャートである。
【符号の説明】
【００５０】
１ 表示手段、２ 表示制御手段、３ 撮像手段、４ 視線検出手段、５ 注目情報判定手段、６ 感情情報抽出手段、７ 画像情報、１１ インカメラ、１２ 画像処理部、１３ 制御部、１５ 外部メモリ部、１７ バイブレータ、２０ 表示処理部、２１ ＬＣＤ部、２５ テレビ放送信号受信部。
【特許請求の範囲】
【請求項１】
画像情報を表示する表示手段と、
前記表示手段の視聴者の画像を撮影する撮像手段と、
前記撮像手段で撮影された画像から、前記表示手段で表示されている画像情報への視線を検出する視線検出手段と、
前記表示手段で表示されている画像情報と前記視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えた携帯端末。
【請求項２】
撮像手段で撮影された画像から、視聴者の感情情報を抽出する感情情報抽出手段を備えたことを特徴とする請求項１記載の携帯端末。
【請求項３】
テレビ放送を受信するテレビ放送受信手段を備え、画像情報は当該テレビ放送受信手段で受信した情報であることを特徴とする請求項１または請求項２記載の携帯端末。
【請求項４】
注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うことを特徴とする請求項３記載の携帯端末。
【請求項５】
コンテンツを格納するコンテンツ格納部を備え、画像情報は前記コンテンツの表示情報であることを特徴とする請求項１または請求項２記載の携帯端末。
【請求項６】
注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、コンテンツに含まれた制御情報に基づいて行うことを特徴とする請求項５記載の携帯端末。
【請求項７】
画像情報は、ゲーム画面情報を含むことを特徴とする請求項１または請求項２記載の携帯端末。
【請求項８】
注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、ゲーム画面情報と共に与えられる制御情報に基づいて行うことを特徴とする請求項７記載の携帯端末。
【請求項９】
画像情報は、インターネットを介して受け取ることを特徴とする請求項１または請求項２記載の携帯端末。
【請求項１０】
表示手段への視認操作を促すための通知手段を備え、注目情報判定手段は、前記通知手段による通知時に注目している情報を判定することを特徴とする請求項１または請求項２記載の携帯端末。
【請求項１】
画像情報を表示する表示手段と、
前記表示手段の視聴者の画像を撮影する撮像手段と、
前記撮像手段で撮影された画像から、前記表示手段で表示されている画像情報への視線を検出する視線検出手段と、
前記表示手段で表示されている画像情報と前記視線情報とに基づいて、注目している情報を判定する注目情報判定手段とを備えた携帯端末。
【請求項２】
撮像手段で撮影された画像から、視聴者の感情情報を抽出する感情情報抽出手段を備えたことを特徴とする請求項１記載の携帯端末。
【請求項３】
テレビ放送を受信するテレビ放送受信手段を備え、画像情報は当該テレビ放送受信手段で受信した情報であることを特徴とする請求項１または請求項２記載の携帯端末。
【請求項４】
注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、テレビ放送から受信した制御情報に基づいて行うことを特徴とする請求項３記載の携帯端末。
【請求項５】
コンテンツを格納するコンテンツ格納部を備え、画像情報は前記コンテンツの表示情報であることを特徴とする請求項１または請求項２記載の携帯端末。
【請求項６】
注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、コンテンツに含まれた制御情報に基づいて行うことを特徴とする請求項５記載の携帯端末。
【請求項７】
画像情報は、ゲーム画面情報を含むことを特徴とする請求項１または請求項２記載の携帯端末。
【請求項８】
注目情報判定手段は、注目している情報を判定するための情報収集の開始および終了を、ゲーム画面情報と共に与えられる制御情報に基づいて行うことを特徴とする請求項７記載の携帯端末。
【請求項９】
画像情報は、インターネットを介して受け取ることを特徴とする請求項１または請求項２記載の携帯端末。
【請求項１０】
表示手段への視認操作を促すための通知手段を備え、注目情報判定手段は、前記通知手段による通知時に注目している情報を判定することを特徴とする請求項１または請求項２記載の携帯端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−５０９４（Ｐ２００９−５０９４Ａ）
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００７−１６４１２３（Ｐ２００７−１６４１２３）
【出願日】平成１９年６月２１日（２００７．６．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１９年６月２１日（２００７．６．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]