画像表示装置、画像表示システム及びテレビジョン受像機
【課題】画面上に複数の画像表示領域がある場合において、リモコンが操作された際、リモコンの操作者を特定し、特定した操作者に対応する画面に対してリモコン操作の内容を反映させる画像表示装置等を提供する。
【解決手段】画像表示装置において、表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶する対応記憶部と、位置特定部により特定した音声出力装置の位置、及び第２位置特定部により特定した信号の発信源の位置に基づき、該信号の発信源の位置に最も近い位置にある音声出力装置を特定する装置特定部と、該装置特定部により特定された音声出力装置に対応した表示領域を、前記対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部とを備える。
【解決手段】画像表示装置において、表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶する対応記憶部と、位置特定部により特定した音声出力装置の位置、及び第２位置特定部により特定した信号の発信源の位置に基づき、該信号の発信源の位置に最も近い位置にある音声出力装置を特定する装置特定部と、該装置特定部により特定された音声出力装置に対応した表示領域を、前記対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示し、リモートコントローラ（以下、「リモコン」と記す。）からの制御信号による制御を、適切な表示領域に適用する画像表示装置、該画像表示装置を備えた画像表示システム及びテレビジョン受像機に関する。
【背景技術】
【０００２】
現在、画像表示装置の高精細度化に伴い、マルチ画面表示、すなわち、１つの画面に複数の領域を設定し、各領域に異なる画像を表示することの需要が高まっている。
【０００３】
従来、マルチ画面表示において、複数人が違う映像を鑑賞している場合、入力切替や音量切替をしようとするとき、リモコンで特定した操作対象表示領域しか直接操作を行えなかった。特定した操作対象表示領域以外の表示領域を鑑賞している人が、表示領域に対する操作を行うには、自分が鑑賞している表示領域を操作対象表示領域として、リモコンで指定する操作が必要となる。さらに、自分が鑑賞している表示領域が操作対象表示領域ではないのに、操作を行った場合には、他の人が鑑賞している表示領域（操作対象表示領域）が操作されてしまうこととなる。
【０００４】
このような問題を解決するため、リモコンを表示領域の数だけ用意する構成が考えられる。しかし、リモコンの数が増えると共に、画像表示装置が判別すべきリモコン信号の種類が増えることとなる。また、リモコンと表示領域との対応関係がわかりにくく、誤って違う表示領域を操作してしまうことも考えられ、上述の問題は必ずしも解決には至らない。
【０００５】
一方、特許文献１には、複数のヘッドフォンを互いに識別可能に成された微弱電流を、ヘッドフォンからリモコンに人体経由で流すシステムが記載されている。該微弱電流を受け取ったリモコンは、自らの識別情報とヘッドフォンの識別情報とを画像表示装置に送信する。２つの識別情報を受信した画像表示装置は、識別情報により示されるヘッドフォンとリモコン、自分との組み合わせで使用するように設定変更を行うための制御情報を生成して電子機器に送信する。電子機器において設定変更を実行することにより、以降、電子機器において、ヘッドフォン、リモコン、画像表示装置との対応付けがなされ、リモコンによる操作が適切な画像表示装置又はヘッドフォンに反映される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１４１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載のシステムは、画像表示装置、リモコン、及びヘッドフォンの対応付けがされるため、リモコン操作によりユーザが意図しない画像表示装置が制御されることは発生しない。しかしながら、画像表示装置、リモコン、及びヘッドフォンの対応付けがなされた後は、リモコンは特定の画像表示装置に対してだけ操作可能で、それ以外の画像表示装置に対しては操作が行えない。したがって、画像表示装置またはヘッドフォンの数のリモコンを必要とし、リモコン信号の種類も画像表示装置またはヘッドフォンの数だけ必要となる。それにより、システムの複雑化、コストの上昇を招く。
従って、複数の表示領域を設定した画像表示装置に、特許文献１に記載の技術を適用したとしても、上述の問題解決には至らない。
【０００８】
本発明は、上述のごとき事情に鑑みてなされたものであり、画面上に複数の画像表示領域を設定した場合において、リモコンが操作されたとき、リモコンの操作者を特定し、特定した操作者に対応する表示領域に対してリモコン操作の内容を反映させる画像表示装置等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像表示装置は、表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示すると共に、表示する画像に付随した音声を各別の音声出力装置へ出力する画像表示装置において、前記表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶する対応記憶部と、信号を受信する信号受信部と、前記音声出力装置それぞれの位置を特定する位置特定部と、前記信号の発信源の位置を特定する第２位置特定部と、前記位置特定部により特定した音声出力装置の位置、及び前記第２位置特定部により特定した前記信号の発信源の位置に基づき、該信号の発信源の位置に最も近い位置にある音声出力装置を特定する装置特定部と、該装置特定部により特定された音声出力装置に対応した表示領域を、前記対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部とを備えることを特徴とする。
【００１０】
本発明にあっては、音声出力装置の位置と、信号の発信源との位置に基づき、信号の発信源の最も近い位置にある音声出力装置を特定する。特定された音声出力装置に対応した表示領域を、対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、受信した信号に対応した制御を行うので、操作したユーザが鑑賞している表示領域を確実に操作することが可能となる。
【００１１】
本発明に係る画像表示装置は、前記位置特定部は、前記音声出力装置を撮像した画像を取得し、取得した画像に基づいて、前記音声出力装置の位置を特定するようにしてあることを特徴とする。
【００１２】
本発明にあっては、音声出力装置を撮像することにより、音声出力装置の位置を特定し、操作したユーザを特定するので、操作したユーザが鑑賞している表示領域を確実に操作することが可能となる。
【００１３】
本発明に係る画像表示装置は、表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示する画像表示装置において、前記表示領域及び該表示領域のそれぞれに対応した人の顔の対応関係を記憶する第２対応記憶部と、信号を受信する信号受信部と、前記信号の発信源の位置を特定する第２位置特定部と、前記人の顔のそれぞれの位置を特定する第３位置特定部と、前記第２位置特定部により特定した前記信号の発信源の位置及び前記第３位置特定部により特定した前記人の顔の位置に基づき、前記信号の発信源の位置に最も近い位置にある人の顔を特定する特定部と、該特定部により特定された人の顔に対応した表示領域を、前記第２対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部とを備えることを特徴とする。
【００１４】
本発明にあっては、人の顔の位置と、信号の発信源との位置に基づき、信号の発信源の最も近い位置にある人を特定する。特定された人に対応した表示領域を、第２対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、受信した信号に対応した制御を行うので、操作した人が鑑賞している表示領域を確実に操作することが可能となる。
【００１５】
本発明に係る画像表示装置は、前記第２位置特定部は、前記信号の発信源を撮像した画像を取得し、取得した画像に基づいて、前記発信源の位置を特定するようにしてあることを特徴とする。
【００１６】
本発明にあっては、信号を撮像した画像を利用して、信号の発信源の位置を特定するので、容易に位置を特定することが可能となる。
【００１７】
本発明に係る画像表示装置は、前記第２対応記憶部は、前記表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶してあり、前記表示領域のそれぞれに対応した音声をそれぞれ対応した音声出力装置に送信する音声送信部を更に備えることを特徴とする。
【００１８】
本発明にあっては、ユーザが鑑賞している表示領域と対応した音声を確実にユーザに提供できる。
【００１９】
本発明に係る画像表示システムは、上述の画像表示装置と、該画像表示装置へ前記信号を送信する操作入力手段と、前記表示領域と対応付けられた少なくとも１つの音声出力装置とを備えることを特徴とする。
【００２０】
本発明にあっては、操作入力手段を操作したユーザが鑑賞している表示領域を確実に操作することが可能となる。
【００２１】
本発明に係るテレビジョン受像機は、上述の画像表示装置と、テレビジョン放送を受信するチューナ部とを備え、該チューナ部が受信したテレビジョン放送に係る画像を前記画像表示装置に表示するようにしてあることを特徴とする。
【００２２】
本発明にあっては、操作したユーザが鑑賞している表示領域を確実に操作することが可能となる。
【発明の効果】
【００２３】
本発明にあっては、音声出力装置の位置と、信号の発信源との位置に基づき、信号の発信源の最も近い位置にある音声出力装置を特定する。特定された音声出力装置に対応した表示領域を、対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、受信した信号に対応した制御を行うので、操作した人が鑑賞している表示領域を確実に操作することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】実施の形態１に係るテレビジョン受像機のハードウェア構成例を示すブロック図である。
【図２】ヘッドフォンの発光部の発光パターンの例を示す波形図である。
【図３】実施の形態１に係るテレビジョン受像機の動作についてのフローチャートである。
【図４】マルチ画面データベースのレコードレイアウトの一例を概念的に示す説明図である。
【図５】ヘッドフォン及びリモコンの位置を表す画像の一例を示す説明図である。
【図６】操作信号に対応した制御の例を概念的に示す説明図である。
【図７】実施の形態２に係るテレビジョン受像機のハードウェア構成例を示すブロック図である。
【図８】実施の形態２に係るマルチ画面データベースのレコードレイアウトの一例を概念的に示す説明図である。
【図９】実施の形態２に係るテレビジョン受像機の動作についてのフローチャートである。
【図１０】ユーザの顔及びリモコンの位置を表す画像の一例を示す説明図である。
【発明を実施するための形態】
【００２５】
以下に、本発明の実施の形態に係る画像表示装置を、該画像表示装置を備えたテレビジョン受像機を例として説明する。
実施の形態１
図１は、実施の形態１に係るテレビジョン受像機１（画像表示装置）のハードウェア構成例を示すブロック図である。本実施の形態に係るテレビジョン受像機１は、制御部２、表示部３、カメラ４、画像処理部５、マルチ画面データベース６、リモコン受光部７、音声送信部８、チューナ部９を含む。
また、音声出力先（音声出力装置）としてヘッドフォンＨ１、Ｈ２が備えられている。
【００２６】
制御部２は、各構成部の動作を制御する。制御部２は、ＣＰＵ（Central Processing Unit）２ａを備え、バスを介してＲＯＭ（Read Only Memory）２ｂ及びＲＡＭ（Random Access Memory）２ｃが、接続されている。制御部２は、ＲＯＭ２ｂに記録されたコンピュータプログラムをＲＡＭ２ｃに読み出して実行することにより、本実施の形態に係るテレビジョン受像機１の処理を実現する。
【００２７】
ＲＯＭ２ｂは、コンピュータの動作に必要な制御プログラムを記憶したマスクＲＯＭ、ＥＥＰ（Electrically Erasable Programmable）ＲＯＭ等の不揮発性メモリである。
【００２８】
ＲＡＭ２ｃは、制御部２の演算処理を実行する際に生ずる各種データを一時記憶するＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）等の揮発性メモリである。
【００２９】
表示部３は、チューナ部９が受信したテレビ放送の画像又は、外部機器からの入力画像を表示する。マルチ画面モードの場合は、画面（表示画面）を複数の表示領域に分割し、表示領域毎に画像を表示する。
【００３０】
カメラ４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又は、ＣＣＤ（Charge Coupled Device Image Sensor)等の撮像素子とレンズ等の光学系を備えている。カメラ４は、テレビジョン受像機１の前方を撮影し、ヘッドフォンＨ１の発光部Ｌ１が発する赤外線信号、ヘッドフォンＨ２の発光部Ｌ２が発する赤外線信号、及びリモコンＲが発する制御信号である赤外線信号を撮影する。本実施の形態においては赤外線を捉えるので、赤外線に高い感度をもつカメラを用いることが、望ましい。
なお、カメラ４は、テレビジョン受像機１が備えているものとしているが、それに限られない。テレビジョン受像機１に、例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＨＤＭＩ（High-Definition Multimedia Interface）、ＤＶＩ（Digital Visual Interface）、Ｓ−ＶＩＤＥＯなどの画像入力に用いるインタフェースを設け、別途用意したカメラを接続することとしても良い。
【００３１】
画像処理部５は、ＤＳＰ（Digital Signal Processor）などから構成され、カメラ４で撮像した画像の処理を行う。
【００３２】
マルチ画面データベース６（対応記憶部）は、画面の各表示領域と音声出力先であるヘッドフォンＨ１、Ｈ２との対応関係を記憶している。
【００３３】
リモコン受光部７（信号受信部）は、リモコンＲ（発信源）からのリモコン信号（信号）を受信し、制御部２に出力する。
音声送信部８は、マルチ画面データベース６に記憶された対応関係に基づき、各表示領域に対応した音声を適切なヘッドフォン（音声出力装置）に送信する。
チューナ部９は、テレビ放送信号を受信し、受信したテレビ放送信号から画像情報及び音声信号を取り出す。取り出された画像情報は、表示部３の然るべき表示領域に表示され、取り出された音声情報は、スピーカに出力されるか、または、音声送信部８により然るべきヘッドフォンへ送信される。
【００３４】
ヘッドフォンＨ１、Ｈ２は、それぞれ発光部Ｌ１、Ｌ２を備えている。発光部Ｌ１、L２は、発光素子としての赤外線ＬＥＤ（Light Emitting Diode）を含み、点滅間隔により互いの識別が可能となっている。
なお、発光素子は赤外線ＬＥＤに限られるものではない。可視光ＬＥＤや小型の電球でも良い。赤外線ＬＥＤ以外の発光素子を用いる場合は、カメラ４の特性もそれに合わせて見直しすることとする。
【００３５】
図２は、ヘッドフォンＨ１、Ｈ２の発光部Ｌ１、Ｌ２の発光パターンの例を示す波形図である。図２Ａは、ヘッドフォンＨ１の発光部Ｌ１の発光パターンを示したものであり、図２Ｂは、ヘッドフォンＨ２の発光部Ｌ２の発光パターンを示したものである。図２Ａ及び２Ｂにおいて、縦軸は信号強度（発光強度）ｉであり、横軸は時間ｔを示している。図２に示すように発光部Ｌ１の発光周期ｔ１と、発光部Ｌ２の発光周期ｔ２とは、異なる時間となっている。なお、図２では発光部Ｌ２が光るときに、発光部Ｌ１も同時に光るように時間軸上で同期が取られているが、必ずしも同期が取れている必要はない。
【００３６】
リモコン信号と発光部Ｌ１、Ｌ２からの信号は共に、赤外線を用いているために、リモコン受光部７で混信しないようにするための対策が必要となる。
リモコン信号は、周波数33kHzから40kHzの搬送波を用いてＰＰＭ（Pulse Position Modulation）変調されている。リモコン受光部７は周波数フィルタにて搬送波周波数のみを通過させるようにしてある。したがって、混信しないようにするために、発光部Ｌ１、Ｌ２は、33kHzから40kHz以外の搬送波周波数を用いれば良い。
【００３７】
次に、テレビジョン受像機１の動作について説明する。ここでは、表示部３の画面上に２つの表示領域ｄ１、ｄ２を表示し、それぞれの表示領域ｄ１、ｄ２を視聴するユーザは各１人ずつ（Ａ、Ｂ）とする。２人のユーザＡ、ＢはそれぞれヘッドフォンＨ１、Ｈ２を着けるものとする。
図３は、実施の形態１に係るテレビジョン受像機１の動作についてのフローチャートである。図４は、マルチ画面データベース６のレコードレイアウトの一例を概念的に示す説明図である。
【００３８】
テレビジョン受像機１が備える制御部２のＣＰＵ２ａは、表示領域ｄ１、ｄ２とヘッドフォンＨ１、Ｈ２との対応関係をマルチ画面データベース６に格納する（Ｓ１）。図４に示したように表示領域ｄ１とヘッドフォンＨ１が、表示領域ｄ２とヘッドフォンＨ２が、対応付けられている。表示領域とヘッドフォンとの対応関係は、表示領域の数に応じて予め規定されていても良いし、テレビジョン受像機１の電源投入時、マルチ画面表示開始時、ユーザが視聴を開始する時などに、ユーザが設定を行なっても良い。
予め規定する場合は、テレビジョン受像機１の電源投入時又はマルチ画面表示操作を行ったときに、表示領域ｄ１には「ヘッドフォン１へ音声送信します。」、表示領域ｄ２には「ヘッドフォン２へ音声送信します。」などと表示することにより、ユーザに表示領域とヘッドフォンとの対応関係を通知する。
【００３９】
ＣＰＵ２ａ（位置特定部）は、ヘッドフォンＨ１、Ｈ２の位置特定を行う（Ｓ２）。ＣＰＵ２ａは、カメラ４にて撮影した画像を画像処理部５にて処理させる。画像処理部５は、フィルタリング等によるノイズ除去や、閾値による２値化処理などを行う。ＣＰＵ２ａは、処理後の画像を複数フレーム用いて、ヘッドフォンＨ１、Ｈ２それぞれが備える発光部Ｌ１、Ｌ２の位置を特定する。発光部Ｌ１、Ｌ２は発光周期が異なるため、ＣＰＵ２ａは、時系列に並べた複数フレームの画像を解析することにより、発光部Ｌ１、Ｌ２の位置を、画像上の座標値として、特定することが可能となる。発光部Ｌ１、Ｌ２の位置が特定できた場合、発光部Ｌ１又はＬ２の位置が示されている画像、例えば、発光部Ｌ１又はＬ２が発光している状態の画像をＲＡＭ２ｃに記憶しておく。
画像ではなく、発光部Ｌ１又はＬ２の位置を画像上の座標値として記憶しても良い。また、画像と座標値を共に記憶することとしても良い。
【００４０】
ＣＰＵ２ａは、リモコン信号を受信したか否かを判定する（Ｓ３）。ＣＰＵ２ａは、リモコン受光部７をポーリングすることにより、またはリモコン受光部７からの割り込みにより、リモコン信号を受信したか否かを判定することが可能である。
【００４１】
リモコン信号を受信していない場合（Ｓ３でＮＯ）、ＣＰＵ２ａは処理をＳ２に戻す。
【００４２】
リモコン信号を受信した場合（Ｓ３でＹＥＳ）、ＣＰＵ２ａ（第２位置特定部）は、リモコンＲの位置特定を行う（Ｓ４）。リモコン信号はヘッドフォンＨ１、Ｈ２の発光部Ｌ１、Ｌ２と同様に赤外線ＬＥＤの点滅により構成されている。よって、ヘッドフォンＨ１、Ｈ２の位置特定と同様に、複数のフレームの画像を用いて、リモコンＲの位置を、画像上の座標値として、特定することが可能である。リモコンＲの位置を特定できた場合、リモコンＲの位置が示されている画像、例えば、リモコンＲの発光部が発光している状態の画像をＲＡＭ２ｃに記憶する。リモコンＲの発光部の位置座標を画像の属性として、記憶しても良い。
画像は記憶せずに、リモコンＲの位置を画像上の座標値として記憶しても良い。
なお、リモコン信号をリモコン受光部７が受光してから、その受信をＣＰＵ２ａが検知するまでにタイムラグがある場合、ＣＰＵ２ａが検知後の画像では、リモコンＲの位置が特定できないことが想定される。そのため、画像処理部５に備えるＲＡＭ（図示しない）または制御部２の備えるＲＡＭ２ｃ等の記憶部に、過去一定時間の画像を記憶しておくこととしても良い。最新の画像でリモコンＲの位置が特定できない場合は、過去の画像を用いる。
【００４３】
ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１、Ｈ２との位置関係を判定する。図５は、ヘッドフォンＨ１、Ｈ２及びリモコンＲの位置を表す画像の一例を示す説明図である。ＲＡＭ２ｃに記憶したリモコンＲ及びヘッドフォンＨ１、Ｈ２の位置を示した画像を合成することにより、図５に示した画像を得ることが可能である。以下の説明において、次の座標系を用いる。画像の左上を原点とし、原点から横方向をＸ軸、原点から縦方向をＹ軸とする。
【００４４】
まず、ＣＰＵ２ａ（装置特定部）は、ヘッドフォンＨ１と、リモコンＲの位置関係を判定する。ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１とが、Ｙ軸上で、ほぼ一直線上に位置しているかを判定する（Ｓ５）。ヘッドフォンＨ１の発光部Ｌ１を含むＸ軸方向に所定の幅をもつ領域、ここではＸ座標がＸ１以上、Ｘ２以下の領域（Ｘ１＜Ｘ２）にリモコンＲがあるかを判定する。
ＣＰＵ２ａは、リモコンＲが所定の領域に含まれている場合、リモコンＲとヘッドフォンＨ１との位置関係が、ほぼ一直線上にあると判定する。ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１とがほぼ一直線上に位置していると判定した場合（Ｓ５でＹＥＳ）、処理をＳ６に進める。
【００４５】
図５の例において、リモコンＲは、ヘッドフォンＨ１の発光部Ｌ１を含むＸ軸方向に所定の幅をもつ表示領域に含まれている。よって、ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１とがほぼ一直線上に位置していると判定する（Ｓ５でＹＥＳ）。ＣＰＵ２ａは、ヘッドフォンＨ１を着けているユーザがリモコンＲを操作したものと判定し、処理をＳ６に進める。
【００４６】
ヘッドフォンＨ１とリモコンＲとの位置関係が、ほぼ一直線上にないと判定した場合（Ｓ５でＮＯ）、ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１が近い距離にあるか否かを判定する（Ｓ８）。リモコンＲとヘッドフォンＨ１の発光部Ｌ１との距離を算出する。算出した距離が所定の距離以下である場合、リモコンＲとヘッドフォンＨ１とは近いと判定する（Ｓ８でＹＥＳ）。算出した距離が所定の距離より大きい場合は、リモコンＲとヘッドフォンＨ１とは近くはないと判定する（Ｓ８でＮＯ）。なお、距離は、リモコンＲ及びヘッドフォンＨ１の発光部Ｌ１が写っている表示領域の中心点間又は重心点間のユークリッド距離とする。すなわち、２点のＸ座標の差分及びＹ座標の差分を二乗和し、平方根をとった値である。
【００４７】
ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１が近くはないと判定した場合（Ｓ８でＮＯ）、処理をＳ９に進める。ＣＰＵ２ａは、すべてのヘッドフォンについて調べたかを判定する（Ｓ９）。すべてのヘッドフォンについて調べていない場合（Ｓ９でＮＯ）、処理をＳ５に戻して、他のヘッドフォンについて判定する。
【００４８】
ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１が近いと判定した場合（Ｓ８でＹＥＳ）、ヘッドフォンＨ１を着けているユーザがリモコンＲを操作したものと判定し、処理をＳ６に進める。
【００４９】
ＣＰＵ２ａ（制御部）は、マルチ画面データベース６を参照し、ヘッドフォンＨ１と対応する表示領域ｄ１を取得する（Ｓ６）。ＣＰＵ２ａは、表示領域ｄ１に対してリモコン信号より得た操作信号に対応した制御を実行する（Ｓ７）。
【００５０】
すべてのヘッドフォンについて調べても、リモコンＲとほぼ一直線上にあるヘッドフォンが見つからず、かつ、リモコンＲと近いヘッドフォンが見つからなかった場合（Ｓ９でＹＥＳ）、ＣＰＵ２ａはエラー処理を行う（Ｓ１０）。例えば、リモコン信号を無視すると共に、リモコンＲの操作者が検出できずに操作は無視された旨のメッセージを表示部３に表示する。
【００５１】
なお、上述の説明においては、ヘッドフォンＨ１、Ｈ２のいずれがリモコンＲに近いかを判定するために、まず、リモコンＲとヘッドフォンＨ１が直線上に位置するかを調べている（Ｓ５）。リモコンＲとヘッドフォンＨ１が、直線上に位置しなければ、リモコンＲとヘッドフォンＨ１との距離を計算することとしているが、それに限られない。直線上に位置するか否かを判定する処理を省き、リモコンＲとヘッドフォンＨ１との距離を計算し、その距離が所定の値以下であれば、リモコンＲとヘッドフォンＨ１が近いと判断しても良い。また、直線上に位置するか否かを判定する処理を省き、リモコンＲとヘッドフォンＨ１との距離、及びリモコンＲとヘッドフォンＨ２との距離を計算し、リモコンＲから最も距離の短いヘッドフォンを、リモコンＲに最も近いヘッドフォンとしても良い。
【００５２】
図６は、操作信号に対応した制御の例を概念的に示す説明図である。
図６Ａは、操作信号としてチャンネル切替を受信した場合であり、表示領域ｄ１の表示チャンネルがＣｈ１より、Ｃｈ２に変更されている。図６Ｂは、操作信号として入力切替を受信した場合であり、表示領域ｄ１の入力ソースが入力１より、入力２に変更されている。図６Ｃは、操作信号として音量切替を受信した場合であり、表示領域ｄ１の音量が１０から２０に変更されている。
【００５３】
なお、上述の説明において、表示領域とヘッドフォンは１対１の関係としたが、それに限られない。例えば、表示領域がｄ１とｄ２の２つであり、ユーザが３人であり、それぞれヘッドフォンＨ１、Ｈ２、Ｈ３を着けているものとする。このような場合に、表示領域ｄ１とヘッドフォンＨ１、ヘッドフォンＨ２とが対応付けられ、表示領域ｄ２とヘッドフォンＨ３が対応付けられていても良い。ヘッドフォンＨ１又はヘッドフォンＨ２を着けているユーザがリモコンＲを操作したとき、その操作は表示領域ｄ１に反映される。ヘッドフォンＨ３を着けているユーザがリモコンＲを操作したとき、その操作は表示領域ｄ２に反映される。
【００５４】
また、ユーザのすべてがヘッドフォンを着けていなくても良く、スピーカで音声を聞いているユーザが居ても良い。そのような場合、マルチ画面データベース６には、ヘッドフォンと対応付けがされていないレコードが格納されることとなる。動作においては、図３において、Ｓ１０はエラー処理ではなく、以下の処理となる。ヘッドフォンと対応付けがされていない表示領域をマルチ画面データベース６より取得する。取得した表示領域について、リモコン信号より得た操作信号に対応した制御を実行する。
【００５５】
以上に説明したように、本実施の形態に係るテレビジョン受像機１においては、ヘッドフォンＨ１、Ｈ２の位置と、リモコンＲとの位置に基づき、リモコンＲに対応したヘッドフォンＨｘ（ｘ=１又は２）を特定する。特定されたヘッドフォンＨｘに対応した表示領域ｄｘ（ｘ=１又は２）を、マルチ画面データベース６より抽出し、抽出した表示領域ｄｘに対応した画像又は音声に対して、リモコン信号より得た操作信号に対応した制御を行う。従って、リモコンＲを操作したユーザが鑑賞している画面を確実に操作することが可能となる。
【００５６】
実施の形態２
図７は、実施の形態２に係るテレビジョン受像機１０のハードウェア構成例を示すブロック図である。図１に示した実施の形態１に係るテレビジョン受像機と同様な構成については、同一の符号を付し、説明を省略する。
本実施の形態に係るテレビジョン受像機１０は、リモコンＲを操作したユーザを、ユーザが着けているヘッドフォンではなく、顔認識を用いて特定する。
【００５７】
図８は、実施の形態２に係るマルチ画面データベース６０のレコードレイアウトの一例を概念的に示す説明図である。マルチ画面データベース６０（第２対応記憶部）は、ユーザの顔に関するデータと、ユーザが視聴している画面の表示領域との対応関係を格納している。ユーザの顔に関するデータは、例えば、顔画像データであるが、顔の特徴量を示すデータなど認識に必要なデータであれば良い。
マルチ画面データベース６０に格納するデータとして、視聴開始時にリモコンＲを操作し、ユーザの顔データを登録する必要がある。
【００５８】
次に、テレビジョン受像機１０の動作について説明する。実施の形態１と同様に、画面に２つの画像表示領域を表示し、それぞれの表示領域を視聴するユーザは各１人ずつとする。２人のユーザはＡ、Ｂとする。
図９は、実施の形態２に係るテレビジョン受像機１０の動作についてのフローチャートである。
テレビジョン受像機１０の備える制御部２のＣＰＵ２ａは、表示領域とユーザの顔との対応関係をマルチ画面データベース６０に格納する（Ｓ１１）。表示部３にカメラ４で撮影した映像を表示し、ユーザがリモコンＲで自分の顔が表示されている表示領域を指定した後に、どの表示領域に表示されている画像を視聴するのか、指定する。ＣＰＵ２ａはユーザが指定した表示領域の画像を顔画像とし、ユーザが指定した表示領域を、顔画像に対応した表示領域として、マルチ画面データベース６０に格納する。同様な操作を全てのユーザについて行う。
なお、上記の動作は、テレビジョン受像機１０の電源投入時、マルチ画面に切り替えた時、表示領域を増やした時など、必要に応じて適宜行えば良い。また、電源投入直後にマルチ画面表示とするか否かは、電源切断時の状態に沿うこととしても良い。すなわち、マルチ画面で電源が切断された場合は、電源投入直後はマルチ画面表示とし、単一画面で電源が切断された場合は、電源投入直後の表示は単一画面とする。さらにまた、電源切断時の状態に関わらず、電源投入直後は、常に単一画面表示としても良い。
【００５９】
次に、ＣＰＵ２ａ（第３位置特定部）は、ユーザの位置特定を行う（Ｓ１２）。ＣＰＵ２ａはカメラ４で撮影した画像と、マルチ画面データベース６０に登録されているユーザの顔画像又は顔の特徴量を用いて、画像処理部５に顔認識処理を行わせる。顔認識処理は例えば、テンプレートマッチング、主成分分析等の公知の技術を用いれば良い。ＣＰＵ２ａは、各ユーザの顔の画像内での位置をユーザが視聴する表示領域と対応付けて、記憶する。記憶先は、画像処理部５に備えるＲＡＭ（図示しない）または制御部２の備えるＲＡＭ２ｃ等である。
【００６０】
ＣＰＵ２ａは、リモコン信号を受信したか否かを判定する（Ｓ１３）。ＣＰＵ２ａは、リモコン受光部７をポーリングすることにより、またはリモコン受光部７からの割り込みにより、リモコン信号を受信した否かを判定することが可能である。
【００６１】
リモコン信号を受信していない場合（Ｓ１３でＮＯ）、ＣＰＵ２ａは処理をＳ１２に戻す。
【００６２】
リモコン信号を受信した場合（Ｓ１３でＹＥＳ）、ＣＰＵ２ａは、リモコンＲの位置特定を行う（Ｓ１４）。ＣＰＵ２ａは、カメラ４が撮影した画像よりリモコンＲの発光位置を、画像処理部５に特定させる。リモコンＲの位置を特定できた場合、リモコンＲの位置が示されている画像、例えば、リモコンＲの発光部が発光している状態の画像をＲＡＭ２ｃに記憶する。このとき、リモコンＲの発光部の位置座標を画像の属性として、記憶しても良い。
なお、リモコン信号をリモコン受光部７が受光してから、その受信をＣＰＵ２ａが検知するまでにタイムラグがある場合、ＣＰＵ２ａが検知後の画像では、リモコンＲの位置が特定できないことが想定される。そのため、画像処理部５に備えるＲＡＭ（図示しない）または制御部２の備えるＲＡＭ２ｃ等の記憶部に、過去一定時間の画像を記憶しておくこととしても良い。最新の画像でリモコンＲの位置が特定できない場合は、過去の画像を用いる。
【００６３】
ＣＰＵ２ａは、ユーザの顔位置とリモコンＲとの位置関係を判定する。図１０は、ユーザＡ、Ｂの顔及びリモコンＲの位置を表す画像の一例を示す説明図である。リモコンＲ及びユーザＡ、Ｂの顔が撮像されている。以下の説明において、実施の形態１と同様な座標系を用いる。
【００６４】
ＣＰＵ２ａ（特定部）は、ユーザＡの顔とリモコンＲとの位置関係を判定する。ＣＰＵ２ａは、ユーザＡの顔とリモコンＲとが、Ｙ軸上で、ほぼ一直線上に位置しているかを判定する（Ｓ１５）。ユーザＡの顔を含むＸ軸方向に所定の幅を持つ表示領域、Ｘ座標がＸ３以上、Ｘ４以下の表示領域（Ｘ３＜Ｘ４）にリモコンＲがあるかを判定する。
ＣＰＵ２ａは、リモコンＲが所定の表示領域に含まれている場合、ユーザＡの顔とリモコンＲとの位置関係が、ほぼ一直線上にあると判定する。ＣＰＵ２ａは、ほぼ一直線上にあると判定した場合（Ｓ１５でＹＥＳ）、処理をＳ１６に進める。
【００６５】
図１０の例において、リモコンＲは、ユーザＡの顔を含むＸ軸方向に所定の幅をもつ領域に含まれている。よって、ＣＰＵ２ａは、ユーザＡの顔とリモコンＲとがほぼ一直線上に位置していると判定する（Ｓ１５でＹＥＳ）。ＣＰＵ２ａは、ユーザＡがリモコンＲを操作したものとして判定し、処理をＳ１６に進める。
【００６６】
ユーザＡの顔とリモコンＲとの位置関係が、ほぼ一直線上にないと判定した場合（Ｓ１５でＮＯ）、ＣＰＵ２ａは、ユーザＡの顔とリモコンＲが近い距離にあるか否かを判定する（Ｓ１８）。ユーザＡの顔とリモコンＲとの距離を算出する。算出した距離が所定の距離以下である場合、ユーザＡの顔とリモコンＲとは近いと判定する（Ｓ１８でＹＥＳ）。算出した距離が所定の距離より大きい場合は、ユーザＡの顔とリモコンＲとは近くはないと判定する（Ｓ１８でＮＯ）。なお、距離は実施の形態１と同様に、リモコンＲ及びユーザＡの顔が写っている領域の中心点間又は重心点間のユークリッド距離とする。
【００６７】
ＣＰＵ２ａは、ユーザＡの顔とリモコンＲとが近くはないと判定した場合（Ｓ１８でＮＯ）、処理をＳ１９に進める。ＣＰＵ２ａは、すべてのユーザの顔について調べたかを判定する（Ｓ１９）。すべてのユーザの顔について調べていない場合（Ｓ１９でＮＯ）、処理をＳ１５に戻して、他のユーザの顔について判定する。
【００６８】
ＣＰＵ２ａは、ユーザＡの顔とリモコンＲとが近いと判定した場合（Ｓ１８でＹＥＳ）、ユーザＡがリモコンＲを操作したものと判定し、処理をＳ１６に進める。
【００６９】
ＣＰＵ２ａは、ＲＡＭ２ｃ等の記憶部に記憶した、画像内での各ユーザの顔位置とユーザが視聴する表示領域とを対応付けたデータより、ユーザＡの顔と対応する表示領域ｄ１を取得する（Ｓ１６）。ＣＰＵ２ａは、表示領域ｄ１に対してリモコン信号より得た操作信号に対応した制御を実行する（Ｓ１７）。
【００７０】
すべてのユーザについて調べても、リモコンＲとほぼ一直線上にあるユーザの顔が見つからず、かつ、リモコンＲと近いユーザの顔が見つからなかった場合（Ｓ１９でＹＥＳ）、ＣＰＵ２ａはエラー処理を行う（Ｓ２０）。例えば、リモコン信号を無視すると共に、リモコンＲの操作者が検出できずに操作は無視された旨のメッセージを表示部３に表示する。
【００７１】
上述の説明において、リモコンＲに一番近いユーザの顔を特定する際に、まず、顔とリモコンＲとが直線上に位置するか否かを判定後に、顔とリモコンＲが近いかを判定しているが、それに限られない。顔とリモコンＲとが直線上に位置するか否かを判定する処理を省き、顔とリモコンＲとの距離を計算し、距離が所定の値以下であれば、顔とリモコンＲとの距離が近いと判定しても良い。また、顔とリモコンＲとが直線上に位置するか否かを判定する処理を省き、全てのユーザの顔とリモコンＲとの距離をそれぞれ求め、最も距離値が小さいユーザの顔を、リモコンＲに一番近いユーザの顔として特定することとしても良い。
【００７２】
上述の説明において、Ｓ１２では顔認識処理を行い、各ユーザの顔が画像内のどの位置にあるかを特定することとした。しかし、顔認識を行わず、画像上のどの位置に人の顔が写っているかの特定のみでも良い。Ｓ１６において、リモコンＲと一直線上に位置するユーザの顔又はリモコンＲと近いユーザの顔が確定した時点で、顔認識を行い、対応した表示領域を取得しても良い。このような場合、Ｓ１２で顔認識処理が不要となるので、処理が効率化される。
【００７３】
また、上述の説明において、表示領域とユーザ（の顔）は１対１の関係としたが、それに限られない。例えば、表示領域ｄ１とユーザＡ（の顔）、ユーザＢ（の顔）とが対応付けられ、表示領域ｄ２とユーザＣ（の顔）が対応付けられていても良い。このような場合、ユーザＡ又はユーザＢがリモコンＲを操作した場合、その操作は表示領域ｄ１に反映される。ユーザＣがリモコンＲを操作した場合は、その操作は表示領域ｄ２に反映される。
【００７４】
さらにまた、上述の説明において、マルチ画面データベース６０は、ユーザの顔に関するデータと、ユーザが視聴している画面の表示領域との対応関係を格納しているものとしたが、それに限られない。実施の形態１と同様に画面の各表示領域に対応した音声を音声出力先であるヘッドフォンＨ１、Ｈ２との対応関係を格納したテーブル（テーブルＴ１）を備えていても良い。ヘッドフォンＨ１、Ｈ２とユーザの顔に関するデータとの対応関係を格納したテーブル（テーブルＴ２）を持つこととしても良い。
この場合、ＣＰＵ２ａは、リモコンＲと対応したユーザの顔を特定する。ＣＰＵ２ａは、特定したユーザの顔と対応するヘッドフォンを、テーブルＴ２を用いて特定する。ＣＰＵ２ａは、特定したヘッドフォンと対応する表示領域を、テーブルＴ１を用いて特定する。
あるいは、表示領域、ヘッドフォン、及びユーザの顔を対応付けた１つのテーブルをマルチ画面データベースとして備えることとしても良い。
各表示領域とヘッドフォンとの対応関係を記憶しておくことにより、音声送信部８は、各表示領域と対応付けられた音声を、適切なヘッドフォンに送信することが可能となる。
【００７５】
以上に説明したように、本実施の形態に係るテレビジョン受像機１０においては、ユーザの顔認識技術を用いて、ユーザＡ、Ｂの顔の位置と、リモコンＲとの位置に基づき、リモコンＲに対応したユーザを特定する。特定されたユーザの顔と対応した表示領域を、マルチ画面データベース６０より抽出し、抽出した表示領域に対応した画像又は音声に対して、リモコンＲより受信した操作信号に対応した制御を行う。従って、リモコンＲを操作したユーザが鑑賞している画面を確実に操作することが可能となる。
【００７６】
上述の実施の形態１においてはヘッドフォンＨ１、Ｈ２に取り付けた発光部Ｌ１、Ｌ２により、実施の形態２においては顔認識により、ユーザの識別をつけて行ったが、それに限られない。
例えば、ヘッドフォン毎に固有のマークを付け、マークの違いでヘッドフォンを識別する、各ヘッドフォンの色や形状を異ならせることで識別しても良い。
【００７７】
また、ユーザが着けるのは単体のヘッドフォンに限らず、３次元映像試聴用の眼鏡とヘッドフォンが一体化されたものでも良い。この場合、発光部やマークを眼鏡に取り付けても良い。また、眼鏡の色や形状により識別が行えるようにしても良い。
【００７８】
なお、上述した実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７９】
１、１０ テレビジョン受像機
２ 制御部
２ａ ＣＰＵ
２ｂ ＲＯＭ
２ｃ ＲＡＭ
３ 表示部
４ カメラ
５ 画像処理部
６ 、６０ マルチ画面データベース
７ リモコン受光部
８ 音声送信部
９ チューナ部
【技術分野】
【０００１】
本発明は、表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示し、リモートコントローラ（以下、「リモコン」と記す。）からの制御信号による制御を、適切な表示領域に適用する画像表示装置、該画像表示装置を備えた画像表示システム及びテレビジョン受像機に関する。
【背景技術】
【０００２】
現在、画像表示装置の高精細度化に伴い、マルチ画面表示、すなわち、１つの画面に複数の領域を設定し、各領域に異なる画像を表示することの需要が高まっている。
【０００３】
従来、マルチ画面表示において、複数人が違う映像を鑑賞している場合、入力切替や音量切替をしようとするとき、リモコンで特定した操作対象表示領域しか直接操作を行えなかった。特定した操作対象表示領域以外の表示領域を鑑賞している人が、表示領域に対する操作を行うには、自分が鑑賞している表示領域を操作対象表示領域として、リモコンで指定する操作が必要となる。さらに、自分が鑑賞している表示領域が操作対象表示領域ではないのに、操作を行った場合には、他の人が鑑賞している表示領域（操作対象表示領域）が操作されてしまうこととなる。
【０００４】
このような問題を解決するため、リモコンを表示領域の数だけ用意する構成が考えられる。しかし、リモコンの数が増えると共に、画像表示装置が判別すべきリモコン信号の種類が増えることとなる。また、リモコンと表示領域との対応関係がわかりにくく、誤って違う表示領域を操作してしまうことも考えられ、上述の問題は必ずしも解決には至らない。
【０００５】
一方、特許文献１には、複数のヘッドフォンを互いに識別可能に成された微弱電流を、ヘッドフォンからリモコンに人体経由で流すシステムが記載されている。該微弱電流を受け取ったリモコンは、自らの識別情報とヘッドフォンの識別情報とを画像表示装置に送信する。２つの識別情報を受信した画像表示装置は、識別情報により示されるヘッドフォンとリモコン、自分との組み合わせで使用するように設定変更を行うための制御情報を生成して電子機器に送信する。電子機器において設定変更を実行することにより、以降、電子機器において、ヘッドフォン、リモコン、画像表示装置との対応付けがなされ、リモコンによる操作が適切な画像表示装置又はヘッドフォンに反映される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１４１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載のシステムは、画像表示装置、リモコン、及びヘッドフォンの対応付けがされるため、リモコン操作によりユーザが意図しない画像表示装置が制御されることは発生しない。しかしながら、画像表示装置、リモコン、及びヘッドフォンの対応付けがなされた後は、リモコンは特定の画像表示装置に対してだけ操作可能で、それ以外の画像表示装置に対しては操作が行えない。したがって、画像表示装置またはヘッドフォンの数のリモコンを必要とし、リモコン信号の種類も画像表示装置またはヘッドフォンの数だけ必要となる。それにより、システムの複雑化、コストの上昇を招く。
従って、複数の表示領域を設定した画像表示装置に、特許文献１に記載の技術を適用したとしても、上述の問題解決には至らない。
【０００８】
本発明は、上述のごとき事情に鑑みてなされたものであり、画面上に複数の画像表示領域を設定した場合において、リモコンが操作されたとき、リモコンの操作者を特定し、特定した操作者に対応する表示領域に対してリモコン操作の内容を反映させる画像表示装置等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像表示装置は、表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示すると共に、表示する画像に付随した音声を各別の音声出力装置へ出力する画像表示装置において、前記表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶する対応記憶部と、信号を受信する信号受信部と、前記音声出力装置それぞれの位置を特定する位置特定部と、前記信号の発信源の位置を特定する第２位置特定部と、前記位置特定部により特定した音声出力装置の位置、及び前記第２位置特定部により特定した前記信号の発信源の位置に基づき、該信号の発信源の位置に最も近い位置にある音声出力装置を特定する装置特定部と、該装置特定部により特定された音声出力装置に対応した表示領域を、前記対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部とを備えることを特徴とする。
【００１０】
本発明にあっては、音声出力装置の位置と、信号の発信源との位置に基づき、信号の発信源の最も近い位置にある音声出力装置を特定する。特定された音声出力装置に対応した表示領域を、対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、受信した信号に対応した制御を行うので、操作したユーザが鑑賞している表示領域を確実に操作することが可能となる。
【００１１】
本発明に係る画像表示装置は、前記位置特定部は、前記音声出力装置を撮像した画像を取得し、取得した画像に基づいて、前記音声出力装置の位置を特定するようにしてあることを特徴とする。
【００１２】
本発明にあっては、音声出力装置を撮像することにより、音声出力装置の位置を特定し、操作したユーザを特定するので、操作したユーザが鑑賞している表示領域を確実に操作することが可能となる。
【００１３】
本発明に係る画像表示装置は、表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示する画像表示装置において、前記表示領域及び該表示領域のそれぞれに対応した人の顔の対応関係を記憶する第２対応記憶部と、信号を受信する信号受信部と、前記信号の発信源の位置を特定する第２位置特定部と、前記人の顔のそれぞれの位置を特定する第３位置特定部と、前記第２位置特定部により特定した前記信号の発信源の位置及び前記第３位置特定部により特定した前記人の顔の位置に基づき、前記信号の発信源の位置に最も近い位置にある人の顔を特定する特定部と、該特定部により特定された人の顔に対応した表示領域を、前記第２対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部とを備えることを特徴とする。
【００１４】
本発明にあっては、人の顔の位置と、信号の発信源との位置に基づき、信号の発信源の最も近い位置にある人を特定する。特定された人に対応した表示領域を、第２対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、受信した信号に対応した制御を行うので、操作した人が鑑賞している表示領域を確実に操作することが可能となる。
【００１５】
本発明に係る画像表示装置は、前記第２位置特定部は、前記信号の発信源を撮像した画像を取得し、取得した画像に基づいて、前記発信源の位置を特定するようにしてあることを特徴とする。
【００１６】
本発明にあっては、信号を撮像した画像を利用して、信号の発信源の位置を特定するので、容易に位置を特定することが可能となる。
【００１７】
本発明に係る画像表示装置は、前記第２対応記憶部は、前記表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶してあり、前記表示領域のそれぞれに対応した音声をそれぞれ対応した音声出力装置に送信する音声送信部を更に備えることを特徴とする。
【００１８】
本発明にあっては、ユーザが鑑賞している表示領域と対応した音声を確実にユーザに提供できる。
【００１９】
本発明に係る画像表示システムは、上述の画像表示装置と、該画像表示装置へ前記信号を送信する操作入力手段と、前記表示領域と対応付けられた少なくとも１つの音声出力装置とを備えることを特徴とする。
【００２０】
本発明にあっては、操作入力手段を操作したユーザが鑑賞している表示領域を確実に操作することが可能となる。
【００２１】
本発明に係るテレビジョン受像機は、上述の画像表示装置と、テレビジョン放送を受信するチューナ部とを備え、該チューナ部が受信したテレビジョン放送に係る画像を前記画像表示装置に表示するようにしてあることを特徴とする。
【００２２】
本発明にあっては、操作したユーザが鑑賞している表示領域を確実に操作することが可能となる。
【発明の効果】
【００２３】
本発明にあっては、音声出力装置の位置と、信号の発信源との位置に基づき、信号の発信源の最も近い位置にある音声出力装置を特定する。特定された音声出力装置に対応した表示領域を、対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、受信した信号に対応した制御を行うので、操作した人が鑑賞している表示領域を確実に操作することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】実施の形態１に係るテレビジョン受像機のハードウェア構成例を示すブロック図である。
【図２】ヘッドフォンの発光部の発光パターンの例を示す波形図である。
【図３】実施の形態１に係るテレビジョン受像機の動作についてのフローチャートである。
【図４】マルチ画面データベースのレコードレイアウトの一例を概念的に示す説明図である。
【図５】ヘッドフォン及びリモコンの位置を表す画像の一例を示す説明図である。
【図６】操作信号に対応した制御の例を概念的に示す説明図である。
【図７】実施の形態２に係るテレビジョン受像機のハードウェア構成例を示すブロック図である。
【図８】実施の形態２に係るマルチ画面データベースのレコードレイアウトの一例を概念的に示す説明図である。
【図９】実施の形態２に係るテレビジョン受像機の動作についてのフローチャートである。
【図１０】ユーザの顔及びリモコンの位置を表す画像の一例を示す説明図である。
【発明を実施するための形態】
【００２５】
以下に、本発明の実施の形態に係る画像表示装置を、該画像表示装置を備えたテレビジョン受像機を例として説明する。
実施の形態１
図１は、実施の形態１に係るテレビジョン受像機１（画像表示装置）のハードウェア構成例を示すブロック図である。本実施の形態に係るテレビジョン受像機１は、制御部２、表示部３、カメラ４、画像処理部５、マルチ画面データベース６、リモコン受光部７、音声送信部８、チューナ部９を含む。
また、音声出力先（音声出力装置）としてヘッドフォンＨ１、Ｈ２が備えられている。
【００２６】
制御部２は、各構成部の動作を制御する。制御部２は、ＣＰＵ（Central Processing Unit）２ａを備え、バスを介してＲＯＭ（Read Only Memory）２ｂ及びＲＡＭ（Random Access Memory）２ｃが、接続されている。制御部２は、ＲＯＭ２ｂに記録されたコンピュータプログラムをＲＡＭ２ｃに読み出して実行することにより、本実施の形態に係るテレビジョン受像機１の処理を実現する。
【００２７】
ＲＯＭ２ｂは、コンピュータの動作に必要な制御プログラムを記憶したマスクＲＯＭ、ＥＥＰ（Electrically Erasable Programmable）ＲＯＭ等の不揮発性メモリである。
【００２８】
ＲＡＭ２ｃは、制御部２の演算処理を実行する際に生ずる各種データを一時記憶するＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）等の揮発性メモリである。
【００２９】
表示部３は、チューナ部９が受信したテレビ放送の画像又は、外部機器からの入力画像を表示する。マルチ画面モードの場合は、画面（表示画面）を複数の表示領域に分割し、表示領域毎に画像を表示する。
【００３０】
カメラ４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又は、ＣＣＤ（Charge Coupled Device Image Sensor)等の撮像素子とレンズ等の光学系を備えている。カメラ４は、テレビジョン受像機１の前方を撮影し、ヘッドフォンＨ１の発光部Ｌ１が発する赤外線信号、ヘッドフォンＨ２の発光部Ｌ２が発する赤外線信号、及びリモコンＲが発する制御信号である赤外線信号を撮影する。本実施の形態においては赤外線を捉えるので、赤外線に高い感度をもつカメラを用いることが、望ましい。
なお、カメラ４は、テレビジョン受像機１が備えているものとしているが、それに限られない。テレビジョン受像機１に、例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＨＤＭＩ（High-Definition Multimedia Interface）、ＤＶＩ（Digital Visual Interface）、Ｓ−ＶＩＤＥＯなどの画像入力に用いるインタフェースを設け、別途用意したカメラを接続することとしても良い。
【００３１】
画像処理部５は、ＤＳＰ（Digital Signal Processor）などから構成され、カメラ４で撮像した画像の処理を行う。
【００３２】
マルチ画面データベース６（対応記憶部）は、画面の各表示領域と音声出力先であるヘッドフォンＨ１、Ｈ２との対応関係を記憶している。
【００３３】
リモコン受光部７（信号受信部）は、リモコンＲ（発信源）からのリモコン信号（信号）を受信し、制御部２に出力する。
音声送信部８は、マルチ画面データベース６に記憶された対応関係に基づき、各表示領域に対応した音声を適切なヘッドフォン（音声出力装置）に送信する。
チューナ部９は、テレビ放送信号を受信し、受信したテレビ放送信号から画像情報及び音声信号を取り出す。取り出された画像情報は、表示部３の然るべき表示領域に表示され、取り出された音声情報は、スピーカに出力されるか、または、音声送信部８により然るべきヘッドフォンへ送信される。
【００３４】
ヘッドフォンＨ１、Ｈ２は、それぞれ発光部Ｌ１、Ｌ２を備えている。発光部Ｌ１、L２は、発光素子としての赤外線ＬＥＤ（Light Emitting Diode）を含み、点滅間隔により互いの識別が可能となっている。
なお、発光素子は赤外線ＬＥＤに限られるものではない。可視光ＬＥＤや小型の電球でも良い。赤外線ＬＥＤ以外の発光素子を用いる場合は、カメラ４の特性もそれに合わせて見直しすることとする。
【００３５】
図２は、ヘッドフォンＨ１、Ｈ２の発光部Ｌ１、Ｌ２の発光パターンの例を示す波形図である。図２Ａは、ヘッドフォンＨ１の発光部Ｌ１の発光パターンを示したものであり、図２Ｂは、ヘッドフォンＨ２の発光部Ｌ２の発光パターンを示したものである。図２Ａ及び２Ｂにおいて、縦軸は信号強度（発光強度）ｉであり、横軸は時間ｔを示している。図２に示すように発光部Ｌ１の発光周期ｔ１と、発光部Ｌ２の発光周期ｔ２とは、異なる時間となっている。なお、図２では発光部Ｌ２が光るときに、発光部Ｌ１も同時に光るように時間軸上で同期が取られているが、必ずしも同期が取れている必要はない。
【００３６】
リモコン信号と発光部Ｌ１、Ｌ２からの信号は共に、赤外線を用いているために、リモコン受光部７で混信しないようにするための対策が必要となる。
リモコン信号は、周波数33kHzから40kHzの搬送波を用いてＰＰＭ（Pulse Position Modulation）変調されている。リモコン受光部７は周波数フィルタにて搬送波周波数のみを通過させるようにしてある。したがって、混信しないようにするために、発光部Ｌ１、Ｌ２は、33kHzから40kHz以外の搬送波周波数を用いれば良い。
【００３７】
次に、テレビジョン受像機１の動作について説明する。ここでは、表示部３の画面上に２つの表示領域ｄ１、ｄ２を表示し、それぞれの表示領域ｄ１、ｄ２を視聴するユーザは各１人ずつ（Ａ、Ｂ）とする。２人のユーザＡ、ＢはそれぞれヘッドフォンＨ１、Ｈ２を着けるものとする。
図３は、実施の形態１に係るテレビジョン受像機１の動作についてのフローチャートである。図４は、マルチ画面データベース６のレコードレイアウトの一例を概念的に示す説明図である。
【００３８】
テレビジョン受像機１が備える制御部２のＣＰＵ２ａは、表示領域ｄ１、ｄ２とヘッドフォンＨ１、Ｈ２との対応関係をマルチ画面データベース６に格納する（Ｓ１）。図４に示したように表示領域ｄ１とヘッドフォンＨ１が、表示領域ｄ２とヘッドフォンＨ２が、対応付けられている。表示領域とヘッドフォンとの対応関係は、表示領域の数に応じて予め規定されていても良いし、テレビジョン受像機１の電源投入時、マルチ画面表示開始時、ユーザが視聴を開始する時などに、ユーザが設定を行なっても良い。
予め規定する場合は、テレビジョン受像機１の電源投入時又はマルチ画面表示操作を行ったときに、表示領域ｄ１には「ヘッドフォン１へ音声送信します。」、表示領域ｄ２には「ヘッドフォン２へ音声送信します。」などと表示することにより、ユーザに表示領域とヘッドフォンとの対応関係を通知する。
【００３９】
ＣＰＵ２ａ（位置特定部）は、ヘッドフォンＨ１、Ｈ２の位置特定を行う（Ｓ２）。ＣＰＵ２ａは、カメラ４にて撮影した画像を画像処理部５にて処理させる。画像処理部５は、フィルタリング等によるノイズ除去や、閾値による２値化処理などを行う。ＣＰＵ２ａは、処理後の画像を複数フレーム用いて、ヘッドフォンＨ１、Ｈ２それぞれが備える発光部Ｌ１、Ｌ２の位置を特定する。発光部Ｌ１、Ｌ２は発光周期が異なるため、ＣＰＵ２ａは、時系列に並べた複数フレームの画像を解析することにより、発光部Ｌ１、Ｌ２の位置を、画像上の座標値として、特定することが可能となる。発光部Ｌ１、Ｌ２の位置が特定できた場合、発光部Ｌ１又はＬ２の位置が示されている画像、例えば、発光部Ｌ１又はＬ２が発光している状態の画像をＲＡＭ２ｃに記憶しておく。
画像ではなく、発光部Ｌ１又はＬ２の位置を画像上の座標値として記憶しても良い。また、画像と座標値を共に記憶することとしても良い。
【００４０】
ＣＰＵ２ａは、リモコン信号を受信したか否かを判定する（Ｓ３）。ＣＰＵ２ａは、リモコン受光部７をポーリングすることにより、またはリモコン受光部７からの割り込みにより、リモコン信号を受信したか否かを判定することが可能である。
【００４１】
リモコン信号を受信していない場合（Ｓ３でＮＯ）、ＣＰＵ２ａは処理をＳ２に戻す。
【００４２】
リモコン信号を受信した場合（Ｓ３でＹＥＳ）、ＣＰＵ２ａ（第２位置特定部）は、リモコンＲの位置特定を行う（Ｓ４）。リモコン信号はヘッドフォンＨ１、Ｈ２の発光部Ｌ１、Ｌ２と同様に赤外線ＬＥＤの点滅により構成されている。よって、ヘッドフォンＨ１、Ｈ２の位置特定と同様に、複数のフレームの画像を用いて、リモコンＲの位置を、画像上の座標値として、特定することが可能である。リモコンＲの位置を特定できた場合、リモコンＲの位置が示されている画像、例えば、リモコンＲの発光部が発光している状態の画像をＲＡＭ２ｃに記憶する。リモコンＲの発光部の位置座標を画像の属性として、記憶しても良い。
画像は記憶せずに、リモコンＲの位置を画像上の座標値として記憶しても良い。
なお、リモコン信号をリモコン受光部７が受光してから、その受信をＣＰＵ２ａが検知するまでにタイムラグがある場合、ＣＰＵ２ａが検知後の画像では、リモコンＲの位置が特定できないことが想定される。そのため、画像処理部５に備えるＲＡＭ（図示しない）または制御部２の備えるＲＡＭ２ｃ等の記憶部に、過去一定時間の画像を記憶しておくこととしても良い。最新の画像でリモコンＲの位置が特定できない場合は、過去の画像を用いる。
【００４３】
ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１、Ｈ２との位置関係を判定する。図５は、ヘッドフォンＨ１、Ｈ２及びリモコンＲの位置を表す画像の一例を示す説明図である。ＲＡＭ２ｃに記憶したリモコンＲ及びヘッドフォンＨ１、Ｈ２の位置を示した画像を合成することにより、図５に示した画像を得ることが可能である。以下の説明において、次の座標系を用いる。画像の左上を原点とし、原点から横方向をＸ軸、原点から縦方向をＹ軸とする。
【００４４】
まず、ＣＰＵ２ａ（装置特定部）は、ヘッドフォンＨ１と、リモコンＲの位置関係を判定する。ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１とが、Ｙ軸上で、ほぼ一直線上に位置しているかを判定する（Ｓ５）。ヘッドフォンＨ１の発光部Ｌ１を含むＸ軸方向に所定の幅をもつ領域、ここではＸ座標がＸ１以上、Ｘ２以下の領域（Ｘ１＜Ｘ２）にリモコンＲがあるかを判定する。
ＣＰＵ２ａは、リモコンＲが所定の領域に含まれている場合、リモコンＲとヘッドフォンＨ１との位置関係が、ほぼ一直線上にあると判定する。ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１とがほぼ一直線上に位置していると判定した場合（Ｓ５でＹＥＳ）、処理をＳ６に進める。
【００４５】
図５の例において、リモコンＲは、ヘッドフォンＨ１の発光部Ｌ１を含むＸ軸方向に所定の幅をもつ表示領域に含まれている。よって、ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１とがほぼ一直線上に位置していると判定する（Ｓ５でＹＥＳ）。ＣＰＵ２ａは、ヘッドフォンＨ１を着けているユーザがリモコンＲを操作したものと判定し、処理をＳ６に進める。
【００４６】
ヘッドフォンＨ１とリモコンＲとの位置関係が、ほぼ一直線上にないと判定した場合（Ｓ５でＮＯ）、ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１が近い距離にあるか否かを判定する（Ｓ８）。リモコンＲとヘッドフォンＨ１の発光部Ｌ１との距離を算出する。算出した距離が所定の距離以下である場合、リモコンＲとヘッドフォンＨ１とは近いと判定する（Ｓ８でＹＥＳ）。算出した距離が所定の距離より大きい場合は、リモコンＲとヘッドフォンＨ１とは近くはないと判定する（Ｓ８でＮＯ）。なお、距離は、リモコンＲ及びヘッドフォンＨ１の発光部Ｌ１が写っている表示領域の中心点間又は重心点間のユークリッド距離とする。すなわち、２点のＸ座標の差分及びＹ座標の差分を二乗和し、平方根をとった値である。
【００４７】
ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１が近くはないと判定した場合（Ｓ８でＮＯ）、処理をＳ９に進める。ＣＰＵ２ａは、すべてのヘッドフォンについて調べたかを判定する（Ｓ９）。すべてのヘッドフォンについて調べていない場合（Ｓ９でＮＯ）、処理をＳ５に戻して、他のヘッドフォンについて判定する。
【００４８】
ＣＰＵ２ａは、リモコンＲとヘッドフォンＨ１が近いと判定した場合（Ｓ８でＹＥＳ）、ヘッドフォンＨ１を着けているユーザがリモコンＲを操作したものと判定し、処理をＳ６に進める。
【００４９】
ＣＰＵ２ａ（制御部）は、マルチ画面データベース６を参照し、ヘッドフォンＨ１と対応する表示領域ｄ１を取得する（Ｓ６）。ＣＰＵ２ａは、表示領域ｄ１に対してリモコン信号より得た操作信号に対応した制御を実行する（Ｓ７）。
【００５０】
すべてのヘッドフォンについて調べても、リモコンＲとほぼ一直線上にあるヘッドフォンが見つからず、かつ、リモコンＲと近いヘッドフォンが見つからなかった場合（Ｓ９でＹＥＳ）、ＣＰＵ２ａはエラー処理を行う（Ｓ１０）。例えば、リモコン信号を無視すると共に、リモコンＲの操作者が検出できずに操作は無視された旨のメッセージを表示部３に表示する。
【００５１】
なお、上述の説明においては、ヘッドフォンＨ１、Ｈ２のいずれがリモコンＲに近いかを判定するために、まず、リモコンＲとヘッドフォンＨ１が直線上に位置するかを調べている（Ｓ５）。リモコンＲとヘッドフォンＨ１が、直線上に位置しなければ、リモコンＲとヘッドフォンＨ１との距離を計算することとしているが、それに限られない。直線上に位置するか否かを判定する処理を省き、リモコンＲとヘッドフォンＨ１との距離を計算し、その距離が所定の値以下であれば、リモコンＲとヘッドフォンＨ１が近いと判断しても良い。また、直線上に位置するか否かを判定する処理を省き、リモコンＲとヘッドフォンＨ１との距離、及びリモコンＲとヘッドフォンＨ２との距離を計算し、リモコンＲから最も距離の短いヘッドフォンを、リモコンＲに最も近いヘッドフォンとしても良い。
【００５２】
図６は、操作信号に対応した制御の例を概念的に示す説明図である。
図６Ａは、操作信号としてチャンネル切替を受信した場合であり、表示領域ｄ１の表示チャンネルがＣｈ１より、Ｃｈ２に変更されている。図６Ｂは、操作信号として入力切替を受信した場合であり、表示領域ｄ１の入力ソースが入力１より、入力２に変更されている。図６Ｃは、操作信号として音量切替を受信した場合であり、表示領域ｄ１の音量が１０から２０に変更されている。
【００５３】
なお、上述の説明において、表示領域とヘッドフォンは１対１の関係としたが、それに限られない。例えば、表示領域がｄ１とｄ２の２つであり、ユーザが３人であり、それぞれヘッドフォンＨ１、Ｈ２、Ｈ３を着けているものとする。このような場合に、表示領域ｄ１とヘッドフォンＨ１、ヘッドフォンＨ２とが対応付けられ、表示領域ｄ２とヘッドフォンＨ３が対応付けられていても良い。ヘッドフォンＨ１又はヘッドフォンＨ２を着けているユーザがリモコンＲを操作したとき、その操作は表示領域ｄ１に反映される。ヘッドフォンＨ３を着けているユーザがリモコンＲを操作したとき、その操作は表示領域ｄ２に反映される。
【００５４】
また、ユーザのすべてがヘッドフォンを着けていなくても良く、スピーカで音声を聞いているユーザが居ても良い。そのような場合、マルチ画面データベース６には、ヘッドフォンと対応付けがされていないレコードが格納されることとなる。動作においては、図３において、Ｓ１０はエラー処理ではなく、以下の処理となる。ヘッドフォンと対応付けがされていない表示領域をマルチ画面データベース６より取得する。取得した表示領域について、リモコン信号より得た操作信号に対応した制御を実行する。
【００５５】
以上に説明したように、本実施の形態に係るテレビジョン受像機１においては、ヘッドフォンＨ１、Ｈ２の位置と、リモコンＲとの位置に基づき、リモコンＲに対応したヘッドフォンＨｘ（ｘ=１又は２）を特定する。特定されたヘッドフォンＨｘに対応した表示領域ｄｘ（ｘ=１又は２）を、マルチ画面データベース６より抽出し、抽出した表示領域ｄｘに対応した画像又は音声に対して、リモコン信号より得た操作信号に対応した制御を行う。従って、リモコンＲを操作したユーザが鑑賞している画面を確実に操作することが可能となる。
【００５６】
実施の形態２
図７は、実施の形態２に係るテレビジョン受像機１０のハードウェア構成例を示すブロック図である。図１に示した実施の形態１に係るテレビジョン受像機と同様な構成については、同一の符号を付し、説明を省略する。
本実施の形態に係るテレビジョン受像機１０は、リモコンＲを操作したユーザを、ユーザが着けているヘッドフォンではなく、顔認識を用いて特定する。
【００５７】
図８は、実施の形態２に係るマルチ画面データベース６０のレコードレイアウトの一例を概念的に示す説明図である。マルチ画面データベース６０（第２対応記憶部）は、ユーザの顔に関するデータと、ユーザが視聴している画面の表示領域との対応関係を格納している。ユーザの顔に関するデータは、例えば、顔画像データであるが、顔の特徴量を示すデータなど認識に必要なデータであれば良い。
マルチ画面データベース６０に格納するデータとして、視聴開始時にリモコンＲを操作し、ユーザの顔データを登録する必要がある。
【００５８】
次に、テレビジョン受像機１０の動作について説明する。実施の形態１と同様に、画面に２つの画像表示領域を表示し、それぞれの表示領域を視聴するユーザは各１人ずつとする。２人のユーザはＡ、Ｂとする。
図９は、実施の形態２に係るテレビジョン受像機１０の動作についてのフローチャートである。
テレビジョン受像機１０の備える制御部２のＣＰＵ２ａは、表示領域とユーザの顔との対応関係をマルチ画面データベース６０に格納する（Ｓ１１）。表示部３にカメラ４で撮影した映像を表示し、ユーザがリモコンＲで自分の顔が表示されている表示領域を指定した後に、どの表示領域に表示されている画像を視聴するのか、指定する。ＣＰＵ２ａはユーザが指定した表示領域の画像を顔画像とし、ユーザが指定した表示領域を、顔画像に対応した表示領域として、マルチ画面データベース６０に格納する。同様な操作を全てのユーザについて行う。
なお、上記の動作は、テレビジョン受像機１０の電源投入時、マルチ画面に切り替えた時、表示領域を増やした時など、必要に応じて適宜行えば良い。また、電源投入直後にマルチ画面表示とするか否かは、電源切断時の状態に沿うこととしても良い。すなわち、マルチ画面で電源が切断された場合は、電源投入直後はマルチ画面表示とし、単一画面で電源が切断された場合は、電源投入直後の表示は単一画面とする。さらにまた、電源切断時の状態に関わらず、電源投入直後は、常に単一画面表示としても良い。
【００５９】
次に、ＣＰＵ２ａ（第３位置特定部）は、ユーザの位置特定を行う（Ｓ１２）。ＣＰＵ２ａはカメラ４で撮影した画像と、マルチ画面データベース６０に登録されているユーザの顔画像又は顔の特徴量を用いて、画像処理部５に顔認識処理を行わせる。顔認識処理は例えば、テンプレートマッチング、主成分分析等の公知の技術を用いれば良い。ＣＰＵ２ａは、各ユーザの顔の画像内での位置をユーザが視聴する表示領域と対応付けて、記憶する。記憶先は、画像処理部５に備えるＲＡＭ（図示しない）または制御部２の備えるＲＡＭ２ｃ等である。
【００６０】
ＣＰＵ２ａは、リモコン信号を受信したか否かを判定する（Ｓ１３）。ＣＰＵ２ａは、リモコン受光部７をポーリングすることにより、またはリモコン受光部７からの割り込みにより、リモコン信号を受信した否かを判定することが可能である。
【００６１】
リモコン信号を受信していない場合（Ｓ１３でＮＯ）、ＣＰＵ２ａは処理をＳ１２に戻す。
【００６２】
リモコン信号を受信した場合（Ｓ１３でＹＥＳ）、ＣＰＵ２ａは、リモコンＲの位置特定を行う（Ｓ１４）。ＣＰＵ２ａは、カメラ４が撮影した画像よりリモコンＲの発光位置を、画像処理部５に特定させる。リモコンＲの位置を特定できた場合、リモコンＲの位置が示されている画像、例えば、リモコンＲの発光部が発光している状態の画像をＲＡＭ２ｃに記憶する。このとき、リモコンＲの発光部の位置座標を画像の属性として、記憶しても良い。
なお、リモコン信号をリモコン受光部７が受光してから、その受信をＣＰＵ２ａが検知するまでにタイムラグがある場合、ＣＰＵ２ａが検知後の画像では、リモコンＲの位置が特定できないことが想定される。そのため、画像処理部５に備えるＲＡＭ（図示しない）または制御部２の備えるＲＡＭ２ｃ等の記憶部に、過去一定時間の画像を記憶しておくこととしても良い。最新の画像でリモコンＲの位置が特定できない場合は、過去の画像を用いる。
【００６３】
ＣＰＵ２ａは、ユーザの顔位置とリモコンＲとの位置関係を判定する。図１０は、ユーザＡ、Ｂの顔及びリモコンＲの位置を表す画像の一例を示す説明図である。リモコンＲ及びユーザＡ、Ｂの顔が撮像されている。以下の説明において、実施の形態１と同様な座標系を用いる。
【００６４】
ＣＰＵ２ａ（特定部）は、ユーザＡの顔とリモコンＲとの位置関係を判定する。ＣＰＵ２ａは、ユーザＡの顔とリモコンＲとが、Ｙ軸上で、ほぼ一直線上に位置しているかを判定する（Ｓ１５）。ユーザＡの顔を含むＸ軸方向に所定の幅を持つ表示領域、Ｘ座標がＸ３以上、Ｘ４以下の表示領域（Ｘ３＜Ｘ４）にリモコンＲがあるかを判定する。
ＣＰＵ２ａは、リモコンＲが所定の表示領域に含まれている場合、ユーザＡの顔とリモコンＲとの位置関係が、ほぼ一直線上にあると判定する。ＣＰＵ２ａは、ほぼ一直線上にあると判定した場合（Ｓ１５でＹＥＳ）、処理をＳ１６に進める。
【００６５】
図１０の例において、リモコンＲは、ユーザＡの顔を含むＸ軸方向に所定の幅をもつ領域に含まれている。よって、ＣＰＵ２ａは、ユーザＡの顔とリモコンＲとがほぼ一直線上に位置していると判定する（Ｓ１５でＹＥＳ）。ＣＰＵ２ａは、ユーザＡがリモコンＲを操作したものとして判定し、処理をＳ１６に進める。
【００６６】
ユーザＡの顔とリモコンＲとの位置関係が、ほぼ一直線上にないと判定した場合（Ｓ１５でＮＯ）、ＣＰＵ２ａは、ユーザＡの顔とリモコンＲが近い距離にあるか否かを判定する（Ｓ１８）。ユーザＡの顔とリモコンＲとの距離を算出する。算出した距離が所定の距離以下である場合、ユーザＡの顔とリモコンＲとは近いと判定する（Ｓ１８でＹＥＳ）。算出した距離が所定の距離より大きい場合は、ユーザＡの顔とリモコンＲとは近くはないと判定する（Ｓ１８でＮＯ）。なお、距離は実施の形態１と同様に、リモコンＲ及びユーザＡの顔が写っている領域の中心点間又は重心点間のユークリッド距離とする。
【００６７】
ＣＰＵ２ａは、ユーザＡの顔とリモコンＲとが近くはないと判定した場合（Ｓ１８でＮＯ）、処理をＳ１９に進める。ＣＰＵ２ａは、すべてのユーザの顔について調べたかを判定する（Ｓ１９）。すべてのユーザの顔について調べていない場合（Ｓ１９でＮＯ）、処理をＳ１５に戻して、他のユーザの顔について判定する。
【００６８】
ＣＰＵ２ａは、ユーザＡの顔とリモコンＲとが近いと判定した場合（Ｓ１８でＹＥＳ）、ユーザＡがリモコンＲを操作したものと判定し、処理をＳ１６に進める。
【００６９】
ＣＰＵ２ａは、ＲＡＭ２ｃ等の記憶部に記憶した、画像内での各ユーザの顔位置とユーザが視聴する表示領域とを対応付けたデータより、ユーザＡの顔と対応する表示領域ｄ１を取得する（Ｓ１６）。ＣＰＵ２ａは、表示領域ｄ１に対してリモコン信号より得た操作信号に対応した制御を実行する（Ｓ１７）。
【００７０】
すべてのユーザについて調べても、リモコンＲとほぼ一直線上にあるユーザの顔が見つからず、かつ、リモコンＲと近いユーザの顔が見つからなかった場合（Ｓ１９でＹＥＳ）、ＣＰＵ２ａはエラー処理を行う（Ｓ２０）。例えば、リモコン信号を無視すると共に、リモコンＲの操作者が検出できずに操作は無視された旨のメッセージを表示部３に表示する。
【００７１】
上述の説明において、リモコンＲに一番近いユーザの顔を特定する際に、まず、顔とリモコンＲとが直線上に位置するか否かを判定後に、顔とリモコンＲが近いかを判定しているが、それに限られない。顔とリモコンＲとが直線上に位置するか否かを判定する処理を省き、顔とリモコンＲとの距離を計算し、距離が所定の値以下であれば、顔とリモコンＲとの距離が近いと判定しても良い。また、顔とリモコンＲとが直線上に位置するか否かを判定する処理を省き、全てのユーザの顔とリモコンＲとの距離をそれぞれ求め、最も距離値が小さいユーザの顔を、リモコンＲに一番近いユーザの顔として特定することとしても良い。
【００７２】
上述の説明において、Ｓ１２では顔認識処理を行い、各ユーザの顔が画像内のどの位置にあるかを特定することとした。しかし、顔認識を行わず、画像上のどの位置に人の顔が写っているかの特定のみでも良い。Ｓ１６において、リモコンＲと一直線上に位置するユーザの顔又はリモコンＲと近いユーザの顔が確定した時点で、顔認識を行い、対応した表示領域を取得しても良い。このような場合、Ｓ１２で顔認識処理が不要となるので、処理が効率化される。
【００７３】
また、上述の説明において、表示領域とユーザ（の顔）は１対１の関係としたが、それに限られない。例えば、表示領域ｄ１とユーザＡ（の顔）、ユーザＢ（の顔）とが対応付けられ、表示領域ｄ２とユーザＣ（の顔）が対応付けられていても良い。このような場合、ユーザＡ又はユーザＢがリモコンＲを操作した場合、その操作は表示領域ｄ１に反映される。ユーザＣがリモコンＲを操作した場合は、その操作は表示領域ｄ２に反映される。
【００７４】
さらにまた、上述の説明において、マルチ画面データベース６０は、ユーザの顔に関するデータと、ユーザが視聴している画面の表示領域との対応関係を格納しているものとしたが、それに限られない。実施の形態１と同様に画面の各表示領域に対応した音声を音声出力先であるヘッドフォンＨ１、Ｈ２との対応関係を格納したテーブル（テーブルＴ１）を備えていても良い。ヘッドフォンＨ１、Ｈ２とユーザの顔に関するデータとの対応関係を格納したテーブル（テーブルＴ２）を持つこととしても良い。
この場合、ＣＰＵ２ａは、リモコンＲと対応したユーザの顔を特定する。ＣＰＵ２ａは、特定したユーザの顔と対応するヘッドフォンを、テーブルＴ２を用いて特定する。ＣＰＵ２ａは、特定したヘッドフォンと対応する表示領域を、テーブルＴ１を用いて特定する。
あるいは、表示領域、ヘッドフォン、及びユーザの顔を対応付けた１つのテーブルをマルチ画面データベースとして備えることとしても良い。
各表示領域とヘッドフォンとの対応関係を記憶しておくことにより、音声送信部８は、各表示領域と対応付けられた音声を、適切なヘッドフォンに送信することが可能となる。
【００７５】
以上に説明したように、本実施の形態に係るテレビジョン受像機１０においては、ユーザの顔認識技術を用いて、ユーザＡ、Ｂの顔の位置と、リモコンＲとの位置に基づき、リモコンＲに対応したユーザを特定する。特定されたユーザの顔と対応した表示領域を、マルチ画面データベース６０より抽出し、抽出した表示領域に対応した画像又は音声に対して、リモコンＲより受信した操作信号に対応した制御を行う。従って、リモコンＲを操作したユーザが鑑賞している画面を確実に操作することが可能となる。
【００７６】
上述の実施の形態１においてはヘッドフォンＨ１、Ｈ２に取り付けた発光部Ｌ１、Ｌ２により、実施の形態２においては顔認識により、ユーザの識別をつけて行ったが、それに限られない。
例えば、ヘッドフォン毎に固有のマークを付け、マークの違いでヘッドフォンを識別する、各ヘッドフォンの色や形状を異ならせることで識別しても良い。
【００７７】
また、ユーザが着けるのは単体のヘッドフォンに限らず、３次元映像試聴用の眼鏡とヘッドフォンが一体化されたものでも良い。この場合、発光部やマークを眼鏡に取り付けても良い。また、眼鏡の色や形状により識別が行えるようにしても良い。
【００７８】
なお、上述した実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７９】
１、１０ テレビジョン受像機
２ 制御部
２ａ ＣＰＵ
２ｂ ＲＯＭ
２ｃ ＲＡＭ
３ 表示部
４ カメラ
５ 画像処理部
６ 、６０ マルチ画面データベース
７ リモコン受光部
８ 音声送信部
９ チューナ部
【特許請求の範囲】
【請求項１】
表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示すると共に、表示する画像に付随した音声を各別の音声出力装置へ出力する画像表示装置において、
前記表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶する対応記憶部と、
信号を受信する信号受信部と、
前記音声出力装置それぞれの位置を特定する位置特定部と、
前記信号の発信源の位置を特定する第２位置特定部と、
前記位置特定部により特定した音声出力装置の位置、及び前記第２位置特定部により特定した前記信号の発信源の位置に基づき、該信号の発信源の位置に最も近い位置にある音声出力装置を特定する装置特定部と、
該装置特定部により特定された音声出力装置に対応した表示領域を、前記対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部と
を備えることを特徴とする画像表示装置。
【請求項２】
前記位置特定部は、前記音声出力装置を撮像した画像を取得し、取得した画像に基づいて、前記音声出力装置の位置を特定するようにしてあること
を特徴とする請求項１に記載の画像表示装置。
【請求項３】
表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示する画像表示装置において、
前記表示領域及び該表示領域のそれぞれに対応した人の顔の対応関係を記憶する第２対応記憶部と、
信号を受信する信号受信部と、
前記信号の発信源の位置を特定する第２位置特定部と、
前記人の顔のそれぞれの位置を特定する第３位置特定部と、
前記第２位置特定部により特定した前記信号の発信源の位置及び前記第３位置特定部により特定した前記人の顔の位置に基づき、前記信号の発信源の位置に最も近い位置にある人の顔を特定する特定部と、
該特定部により特定された人の顔に対応した表示領域を、前記第２対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部と
を備えることを特徴とする画像表示装置。
【請求項４】
前記第２位置特定部は、前記信号の発信源を撮像した画像を取得し、取得した画像に基づいて、前記発信源の位置を特定するようにしてあること
を特徴とする請求項１から３のいずれか一項に記載の画像表示装置。
【請求項５】
前記第２対応記憶部は、前記表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶してあり、
前記表示領域のそれぞれに対応した音声をそれぞれ対応した音声出力装置に送信する音声送信部を更に備えること
を特徴とする請求項３又は４に記載の画像表示装置。
【請求項６】
請求項１から５のいずれか一項に記載の画像表示装置と、
該画像表示装置へ前記信号を送信する操作入力手段と、
前記表示領域と対応付けられた少なくとも１つの音声出力装置と
を備えることを特徴とする画像表示システム。
【請求項７】
請求項１から５のいずれか一項に記載の画像表示装置と、
テレビジョン放送を受信するチューナ部と
を備え、
該チューナ部が受信したテレビジョン放送に係る画像を前記画像表示装置に表示するようにしてあること
を特徴とするテレビジョン受像機。
【請求項１】
表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示すると共に、表示する画像に付随した音声を各別の音声出力装置へ出力する画像表示装置において、
前記表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶する対応記憶部と、
信号を受信する信号受信部と、
前記音声出力装置それぞれの位置を特定する位置特定部と、
前記信号の発信源の位置を特定する第２位置特定部と、
前記位置特定部により特定した音声出力装置の位置、及び前記第２位置特定部により特定した前記信号の発信源の位置に基づき、該信号の発信源の位置に最も近い位置にある音声出力装置を特定する装置特定部と、
該装置特定部により特定された音声出力装置に対応した表示領域を、前記対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部と
を備えることを特徴とする画像表示装置。
【請求項２】
前記位置特定部は、前記音声出力装置を撮像した画像を取得し、取得した画像に基づいて、前記音声出力装置の位置を特定するようにしてあること
を特徴とする請求項１に記載の画像表示装置。
【請求項３】
表示画面に複数の表示領域を設定し、該複数の表示領域それぞれに画像を表示する画像表示装置において、
前記表示領域及び該表示領域のそれぞれに対応した人の顔の対応関係を記憶する第２対応記憶部と、
信号を受信する信号受信部と、
前記信号の発信源の位置を特定する第２位置特定部と、
前記人の顔のそれぞれの位置を特定する第３位置特定部と、
前記第２位置特定部により特定した前記信号の発信源の位置及び前記第３位置特定部により特定した前記人の顔の位置に基づき、前記信号の発信源の位置に最も近い位置にある人の顔を特定する特定部と、
該特定部により特定された人の顔に対応した表示領域を、前記第２対応記憶部より抽出し、抽出した表示領域に対応した画像又は音声に対して、前記信号受信部が受信した信号に対応した制御を行う制御部と
を備えることを特徴とする画像表示装置。
【請求項４】
前記第２位置特定部は、前記信号の発信源を撮像した画像を取得し、取得した画像に基づいて、前記発信源の位置を特定するようにしてあること
を特徴とする請求項１から３のいずれか一項に記載の画像表示装置。
【請求項５】
前記第２対応記憶部は、前記表示領域及び該表示領域のそれぞれに対応した画像に付随した音声を出力すべき音声出力装置の対応関係を記憶してあり、
前記表示領域のそれぞれに対応した音声をそれぞれ対応した音声出力装置に送信する音声送信部を更に備えること
を特徴とする請求項３又は４に記載の画像表示装置。
【請求項６】
請求項１から５のいずれか一項に記載の画像表示装置と、
該画像表示装置へ前記信号を送信する操作入力手段と、
前記表示領域と対応付けられた少なくとも１つの音声出力装置と
を備えることを特徴とする画像表示システム。
【請求項７】
請求項１から５のいずれか一項に記載の画像表示装置と、
テレビジョン放送を受信するチューナ部と
を備え、
該チューナ部が受信したテレビジョン放送に係る画像を前記画像表示装置に表示するようにしてあること
を特徴とするテレビジョン受像機。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１１５７６１（Ｐ２０１３−１１５７６１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２７１２（Ｐ２０１１−２６２７１２）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]