画像表示装置、表示制御方法及びプログラム
【課題】ＰｉｎＰなどの複合的な画面表示におけるユーザの操作性を一層向上させること。
【解決手段】第１画像を取得する第１取得部と、前記第１画像に重畳される第２画像を取得する第２取得部と、前記第１画像に前記第２画像を重畳することにより出力画像を生成し、生成した前記出力画像を表示する再生部と、ユーザにより操作されるカーソルの前記出力画像内での位置を検出する検出部と、前記出力画像内での前記第２画像の表示位置と前記検出部により検出されるカーソル位置との間の位置関係に応じて、前記再生部による前記第２画像の表示を制御する再生制御部と、を備える画像表示装置を提供する。
【解決手段】第１画像を取得する第１取得部と、前記第１画像に重畳される第２画像を取得する第２取得部と、前記第１画像に前記第２画像を重畳することにより出力画像を生成し、生成した前記出力画像を表示する再生部と、ユーザにより操作されるカーソルの前記出力画像内での位置を検出する検出部と、前記出力画像内での前記第２画像の表示位置と前記検出部により検出されるカーソル位置との間の位置関係に応じて、前記再生部による前記第２画像の表示を制御する再生制御部と、を備える画像表示装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、１つの表示装置のスクリーン上に複数の画像又は映像を同時に表示させるためのピクチャーインピクチャー（以下、「ＰｉｎＰ」と略称する。）と呼ばれる技術が存在する。ＰｉｎＰでは、例えば、１つの主画面（main picture）に１つ以上の副画面（sub-picture）が重畳され、これら画面がスクリーン上に同時に表示される。主画面及び副画面の内容は、例えば、ＰＣ（Personal Computer）のユーザインタフェース画像、テレビジョン番組の映像、及びＢＤ（Blu-ray Disc：登録商標）又はＤＶＤなどの媒体から再生される映像など、様々である。
【０００３】
ＰｉｎＰにおいて、副画面が重畳される位置は、典型的には、ユーザにより指定される。例えば、ユーザは、表示装置のリモートコントローラの方向キーを用いて副画面の位置を決定又は変更することができる。また、下記特許文献１に記載された技術を応用し、表示装置ではなく、表示装置に接続されたコンピュータの周辺機器を用いて表示装置の設定を変更することも可能である。さらに、ＰｉｎＰに関連する技術として、下記特許文献２は、副画面の位置又は大きさをユーザが操作する際に副画面を透過させることにより、主画面の視認性を向上させることを提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７５３７８号公報
【特許文献２】特開２００９−２８９１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特に主画面に表示されるオブジェクト（コンテンツ、メニュー又はアイコンなど）をユーザが操作しようとする場合には、上記特許文献１及び２に記載された手法を用いるのみでは、ユーザの操作性が十分に確保されるとは言い難い。例えば、副画面の背後にある主画面のオブジェクトをユーザが操作しようとする場合、ユーザは、副画面の位置又は大きさを変更して主画面の所望のオブジェクトを表示させた後でなければ、そのオブジェクトを正確に操作することができない。このような冗長な操作は、それ自体ユーザにとって面倒である。また、ユーザが副画面を操作してみて初めて、副画面の背後に主画面の所望のオブジェクトが存在しないことに気付く可能性もある。
【０００６】
そこで、本発明は、上述した課題を解決してＰｉｎＰなどの複合的な画面表示におけるユーザの操作性を一層向上させることのできる、新規かつ改良された画像表示装置、表示制御方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、第１画像を取得する第１取得部と、上記第１画像に重畳される第２画像を取得する第２取得部と、上記第１画像に上記第２画像を重畳することにより出力画像を生成し、生成した上記出力画像を表示する再生部と、ユーザにより操作されるカーソルの上記出力画像内での位置を検出する検出部と、上記出力画像内での上記第２画像の表示位置と上記検出部により検出されるカーソル位置との間の位置関係に応じて、上記再生部による上記第２画像の表示を制御する再生制御部と、を備える画像表示装置が提供される。
【０００８】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離に応じて、上記第２画像の表示を制御してもよい。
【０００９】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離に応じて、上記第２画像の透過率を変化させてもよい。
【００１０】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離が所定の閾値よりも小さい場合に、上記第２画像を透過させてもよい。
【００１１】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離が上記所定の閾値よりも小さい場合に、当該距離が小さくなるほど上記第２画像の透過率を上昇させてもよい。
【００１２】
また、上記検出部が上記カーソルの移動とは異なるユーザ入力をさらに検出可能である場合に、上記再生制御部は、上記ユーザ入力が検出されたときには、上記カーソル位置に関わらず上記第２画像を透過させなくてもよい。
【００１３】
また、上記検出部が上記カーソルの移動とは異なるユーザ入力をさらに検出可能である場合に、上記再生制御部は、上記ユーザ入力が検出されていないときには、上記カーソル位置に関わらず上記第２画像を透過させなくてもよい。
【００１４】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離がゼロ又は所定の閾値よりも小さい場合に、上記第２画像を出力画像内で他の位置へ移動させてもよい。
【００１５】
また、上記第２取得部は、上記第２画像と関連付けられる音声信号をさらに取得し、上記再生部は、上記第２取得部により取得される上記音声信号を再生し、上記再生制御部は、上記位置関係に応じて、上記再生部による上記音声信号の再生をさらに制御してもよい。
【００１６】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離が所定の閾値よりも大きい場合に、上記再生部に上記音声信号を再生させなくてもよい。
【００１７】
また、本発明の別の実施形態によれば、第１画像を取得するステップと、上記第１画像に重畳される第２画像を取得するステップと、上記第１画像に上記第２画像を重畳することにより出力画像を生成するステップと、生成した上記出力画像を表示するステップと、ユーザにより操作されるカーソルの上記出力画像内での位置を検出するステップと、上記出力画像内での上記第２画像の表示位置と検出されたカーソル位置との間の位置関係に応じて、上記出力画像内での上記第２画像の表示を制御するステップと、を含む表示制御方法が提供される。
【００１８】
また、本発明の別の実施形態によれば、第１画像に第２画像を重畳することにより生成される出力画像を表示する画像表示装置を制御するコンピュータを、上記第１画像を取得する第１取得部と、上記第２画像を取得する第２取得部と、ユーザにより操作されるカーソルの上記出力画像内での位置を検出する検出部と、上記出力画像内での上記第２画像の表示位置と上記検出部により検出されるカーソル位置との間の位置関係に応じて、上記出力画像内での上記第２画像の表示を制御する再生制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１９】
以上説明したように、本発明に係る画像表示装置、表示制御方法及びプログラムによれば、ＰｉｎＰなどの複合的な画面表示におけるユーザの操作性を一層向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】一実施形態に係る表示制御システムの概要を示す模式図である。
【図２】一実施形態に係る画像表示装置のハードウェア構成の一例を示すブロック図である。
【図３】一実施形態に係る制御装置のハードウェア構成の一例を示すブロック図である。
【図４】一実施形態に係る画像表示装置の論理的な構成の一例を示すブロック図である。
【図５】一実施形態に係る画像表示装置により表示される出力画像の一例を示す説明図である。
【図６】第２画像の表示位置とカーソル位置との間の距離の一例を示す説明図である。
【図７】第２画像の表示位置とカーソル位置との間の距離に応じた透過率について説明するための説明図である。
【図８】第１のシナリオにおける出力画像の一例について説明するための説明図である。
【図９】第１のシナリオにおける画像表示装置による処理の流れの一例を示すフローチャートである。
【図１０】第１のシナリオの変形例について説明するための第１の説明図である。
【図１１】第１のシナリオの変形例について説明するための第２の説明図である。
【図１２】第１のシナリオの変形例における画像表示装置による処理の流れの一例を示すフローチャートである。
【図１３】第１のシナリオの変形例における制御装置による処理の流れの一例を示すフローチャートである。
【図１４】第２のシナリオにおける出力画像の一例について説明するための説明図である。
【図１５】第２のシナリオにおける画像表示装置による処理の流れの一例を示すフローチャートである。
【図１６】第２画像の表示位置とカーソル位置との間の距離に応じた音量について説明するための説明図である。
【図１７】第３のシナリオにおける画像表示装置による処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２２】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．表示制御システムの概要
２．一実施形態に係る装置の構成例
２−１．画像表示装置のハードウェア構成
２−２．制御装置のハードウェア構成
２−３．論理的な構成
３．制御シナリオの例
３−１．位置関係
３−２．第１のシナリオ
３−３．変形例
３−４．第２のシナリオ
３−５．第３のシナリオ
４．まとめ
【００２３】
＜１．表示制御システムの概要＞
図１は、本発明の一実施形態に係る表示制御システム１の概要を示す模式図である。図１を参照すると、表示制御システム１は、接続線１０によって互いに接続される画像表示装置１００及び制御装置２００を含む。画像表示装置１００は、画像を表示するためのスクリーン１０２を有する。制御装置２００は、ユーザ入力を受け付けるための入力手段の一例として、ポインティングデバイス２０２及びキーボード２０４と接続される。画像表示装置１００及び制御装置２００は、さらに、ネットワーク装置２５０とも接続され得る。
【００２４】
接続線１０は、画像表示装置１００と制御装置２００との間の通信を可能とする通信線である。接続線１０は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）標準仕様に準拠するマルチメディア出力線であってよい。その代わりに、接続線１０は、例えば、ＵＳＢ（Universal Serial Bus）又はイーサネット（登録商標）などのその他の種類の通信線であってもよい。さらに、接続線１０は、有線通信ではなく、例えば超広帯域無線（ＵＷＢ：Ultra Wide Band）などの高速無線通信により実現されてもよい。
【００２５】
画像表示装置１００は、複数の画像が重畳された出力画像をスクリーン１０２上に表示する装置である。従って、画像表示装置１００が表示する出力画像は、少なくとも第１画像及び第２画像を含む。本明細書では、スクリーン１０２上に表示される第１画像（又はその表示領域）を主画面、第２画像（又はその表示領域）を副画面という場合がある。主画面及び副画面は、いわゆるＰｉｎＰを構成する。但し、ＰｉｎＰとは異なる名前で言及される複合的な画面も、本発明の範囲内に含まれ得ることは理解されたい。後に詳しく説明するように、画像表示装置１００におけるこれらの画像の表示は、ユーザによる操作に応じて、制御装置２００を介して制御される。
【００２６】
第１画像及び第２画像は、それぞれ、画像表示装置１００の内部のソースから取得されてもよく、画像表示装置１００の外部のソースから取得されてもよい。画像表示装置１００の内部のソースとは、例えば、画像表示装置１００が内蔵するハードディスク又はＢＤなどの記録媒体からの映像出力を含み得る。また、画像表示装置１００の外部のソースとは、例えば、制御装置２００からの映像出力、ＡＶレコーダ（図示せず）からの映像出力、ストリーミングサーバからの配信、又はテレビジョン放送などを含み得る。
【００２７】
なお、本明細書では、画像表示装置１００がテレビジョン受像機である例について主に説明する。しかしながら、その代わりに、画像表示装置１００は、例えば、ＰＣ（Personal Computer）用のモニタ、スクリーンを有するコンテンツプレーヤ、又はその他の種類の表示装置であってもよい。
【００２８】
制御装置２００は、ユーザによる操作に応じて、画像表示装置１００における複合的な画像の表示を制御するための装置である。制御装置２００は、例えば、ポインティングデバイス２０２又はキーボード２０４において発生する操作イベントを検出する。そして、制御装置２００は、検出した操作イベントを接続線１０を介して画像表示装置１００へ送信する。制御装置２００から画像表示装置１００へ送信される操作イベントは、例えば、ポインティングデバイス２０２によるカーソルの移動、ドラッグ及びクリック、キーボード２０４における様々な種類のボタン（あるいはキー）の押下などを含み得る。
【００２９】
また、制御装置２００は、画像表示装置１００に映像を出力してもよい。例えば、制御装置２００がＰＣである場合には、ＰＣのデスクトップ画面又はＰＣ上で動作するアプリケーション画面を表す映像が、制御装置２００から画像表示装置１００へ出力され得る。その場合、制御装置２００からの出力映像は、ポインティングデバイス２０２により操作されるカーソルの画像をも含む。一方、制御装置２００から画像表示装置１００へ映像を出力しない場合には、ポインティングデバイス２０２により操作されるカーソルの画像は、画像表示装置１００が生成し得る。
【００３０】
なお、本明細書では、制御装置２００がポインティングデバイス２０２及びキーボード２０４と接続されるＰＣである例について主に説明する。しかしながら、ポインティングデバイス２０２として、図１に例示したマウスの代わりに、タッチパッド、スティックポイント又はトラックボールなどが使用されてもよい。また、表示制御システム１の構成からキーボード２０４が省略されてもよい。さらに、制御装置２００は、ＰＣである代わりに、例えば、入力手段としてのコントローラを有するゲーム機器又はデジタル家電機器などであってもよい。
【００３１】
ネットワーク装置２５０は、画像表示装置１００及び制御装置２００が外部のネットワークにアクセスするための装置である。ネットワーク装置２５０は、例えば、モデム、ＤＳＵ（Digital Service Unit）、ブロードバンドルータ、又は無線アクセスポイントなどであってもよい。画像表示装置１００は、例えば、ネットワーク装置２５０を介してコンテンツサーバから映像コンテンツを受信してもよい。
【００３２】
＜２．一実施形態に係る装置の構成例＞
次に、図２〜図５を用いて、表示制御システム１の画像表示装置１００及び制御装置２００の具体的な構成の一例を説明する。
【００３３】
［２−１．画像表示装置のハードウェア構成］
図２は、本実施形態に係る画像表示装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像表示装置１００は、ＣＰＵ（Central Processing Unit）１１０、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１４、バス１１６、マルチメディアインタフェース（Ｉ／Ｆ）１２０、チューナ１２４、マルチメディア処理部１２６、スクリーン１０２、スピーカ１２８、及び通信Ｉ／Ｆ１３０を備える。
【００３４】
ＣＰＵ１１０は、画像表示装置１００の動作全般を制御する。ＲＯＭ１１２には、画像表示装置１００の動作を制御するためのプログラム及びデータが格納される。ＲＡＭ１１４は、ＣＰＵ１１０による処理の実行時にプログラム及びデータを一時的に記憶する。バス１１６は、ＣＰＵ１１０、ＲＯＭ１１２及びＲＡＭ１１４を相互に接続する。バス１１６には、さらに、マルチメディアＩ／Ｆ１２０、チューナ１２４、マルチメディア処理部１２６、スクリーン１０２、スピーカ１２８、及び通信Ｉ／Ｆ１３０が接続される。
【００３５】
マルチメディアＩ／Ｆ１２０は、制御装置２００から出力される映像信号Ｖｉｎ１を接続線１０を介して受信する。マルチメディアＩ／Ｆ１２０は、例えば、ＨＤＭＩ標準仕様に準拠するインタフェース、又はＵＳＢインタフェースなどであってよい。また、マルチメディアＩ／Ｆ１２０は、制御装置２００から出力される映像信号Ｖｉｎ１に加えて映像信号Ｖｉｎ１と関連付けられる音声信号Ａｉｎ１を受信してもよい。そして、マルチメディアＩ／Ｆ１２０は、受信した映像信号Ｖｉｎ１及び音声信号Ａｉｎ１を、マルチメディア処理部１２６へ出力する。
【００３６】
チューナ１２４は、アンテナ１２２と接続され、アンテナ１２２を介して映像信号Ｖｉｎ２を受信する。また、チューナ１２４は、アンテナ１２２を介して映像信号Ｖｉｎ２に加えて映像信号Ｖｉｎ２と関連付けられる音声信号Ａｉｎ２を受信してもよい。そして、チューナ１２４は、受信した映像信号Ｖｉｎ２及び音声信号Ａｉｎ２を、マルチメディア処理部１２６へ出力する。
【００３７】
マルチメディア処理部１２６は、マルチメディアＩ／Ｆ１２０、チューナ１２４又は通信Ｉ／Ｆ１３０から入力される映像信号を復号し、当該映像信号に含まれる一連の画像を再生する。また、マルチメディア処理部１２６は、いわゆるＰｉｎＰ機能を有し、再生される複数の画像を重畳することにより出力画像を生成し、生成した出力画像をスクリーン１０２上に表示させる。マルチメディア処理部１２６は、ＣＰＵ１１０による制御の下、重畳する画像の透過率及び表示位置を変化させることができる。さらに、マルチメディア処理部１２６は、マルチメディアＩ／Ｆ１２０、チューナ１２４又は通信Ｉ／Ｆ１３０から入力される音声信号を復号して音声を再生し、再生した音声をスピーカ１２８に出力する。マルチメディア処理部１２６は、ＣＰＵ１１０による制御の下、再生する音声の音量を変化させ、又は音声入力を切り替えてもよい。
【００３８】
通信Ｉ／Ｆ１３０は、画像表示装置１００と他の装置との間の通信を仲介する。通信Ｉ／Ｆ１３０は、例えば、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮインタフェースであってもよい。
【００３９】
マルチメディアＩ／Ｆ１２０又は通信Ｉ／Ｆ１３０は、制御装置２００から画像表示装置１００へ送信される操作イベントＥｖを受信する。そして、マルチメディアＩ／Ｆ１２０又は通信Ｉ／Ｆ１３０により受信された操作イベントＥｖは、後にさらに説明するように、ＣＰＵ１１０により処理される。
【００４０】
操作イベントＥｖは、例えば、次のいずれかの手法で、制御装置２００から画像表示装置１００へ送信され得る。なお、ここで説明するイベント送信方法は一例に過ぎず、他の手法もまた使用され得る。
−手法１：ＨＤＭＩ信号フォーマットの“AVIINFOframe”フィールドに含まれる拡張用の領域にイベント情報（典型的には、操作の種類を表すコード及びカーソルの位置座標を含む）を記述する。
−手法２：ＨＤＭＩバージョン１．２ａ以降でサポートされる制御チャネルであるＣＥＣ（Consumer Electronics Control）の拡張用の領域にイベント情報を記述する。
−手法３：イベント情報をデータとして含むＩＰパケットを、ＨＤＭＩバージョン１．４でサポートされるイーサネットチャネル、又は一般的なＬＡＮ回線を介して伝送する。
【００４１】
［２−２．制御装置のハードウェア構成］
図３は、本実施形態に係る制御装置２００のハードウェア構成の一例を示すブロック図である。図３を参照すると、制御装置２００は、ＣＰＵ２１０、ＲＯＭ２１２、ＲＡＭ２１４、バス２１６、記憶装置２１８、通信Ｉ／Ｆ２３０、マルチメディアＩ／Ｆ２３２、及び入力Ｉ／Ｆ２３４を備える。
【００４２】
ＣＰＵ２１０は、制御装置２００の動作全般を制御する。ＲＯＭ２１２には、制御装置２００の動作を制御するためのプログラム及びデータが格納される。ＲＡＭ２１４は、ＣＰＵ２１０による処理の実行時にプログラム及びデータを一時的に記憶する。バス２１６は、ＣＰＵ２１０、ＲＯＭ２１２及びＲＡＭ２１４を相互に接続する。バス２１６には、さらに、記憶装置２１８、通信Ｉ／Ｆ２３０、マルチメディアＩ／Ｆ２３２、及び入力Ｉ／Ｆ２３４が接続される。
【００４３】
記憶装置２１８は、ハードディスク又は半導体メモリなどの記憶媒体を用いて実現される。記憶装置２１８は、制御装置２００上で動作するＯＳ（Operating System）及びアプリケーション用のプログラムを記憶する。さらに、記憶装置２１８は、映像及び音声を含むコンテンツデータを記憶してもよい。
【００４４】
通信Ｉ／Ｆ２３０は、制御装置２００と他の装置との間の通信を仲介する。通信Ｉ／Ｆ２３０は、例えば、有線ＬＡＮ又は無線ＬＡＮインタフェースであってもよい。
【００４５】
マルチメディアＩ／Ｆ２３２は、ＣＰＵ２１０が生成する映像信号Ｖｉｎ１を接続線１０を介して画像表示装置１００へ送信する。ＣＰＵ２１０が生成する映像信号Ｖｉｎ１は、例えば、デスクトップ画面又はアプリケーション画面を表す一連の画像信号であってもよく、記憶装置２１８に記憶されているコンテンツデータから復号される映像信号であってもよい。また、マルチメディアＩ／Ｆ２３２は、映像信号Ｖｉｎ１に加えて映像信号Ｖｉｎ１と関連付けられる音声信号Ａｉｎ１を送信してもよい。
【００４６】
入力Ｉ／Ｆ２３４は、ポインティングデバイス２０２及びキーボード２０４とそれぞれ接続される１つ以上の接続端子を含む。ポインティングデバイス２０２又はキーボード２０４において発生する操作イベントは、ＣＰＵ２１０上で動作するイベントリスナにより入力Ｉ／Ｆ２３４を介して検出される。そして、ＣＰＵ２１０は、検出した操作イベントＥｖを通信Ｉ／Ｆ２３０又はマルチメディアＩ／Ｆ２３２を介して画像表示装置１００へ送信する。また、制御装置２００が処理すべき操作イベントは、ＣＰＵ２１０上で動作するイベントハンドラにより処理される。
【００４７】
［２−３．論理的な構成］
図４は、本実施形態に係る画像表示装置１００の論理的な構成の一例を示すブロック図である。図４を参照すると、画像表示装置１００は、第１取得部１４０、第２取得部１５０、再生部１６０、検出部１７０及び再生制御部１８０を備える。
【００４８】
（第１取得部）
第１取得部１４０は、画像表示装置１００のスクリーン１０２上に出力されるべき出力画像内で主画面を構成するための第１画像を取得する。後に説明するシナリオにおいて、第１画像は、マルチメディアＩ／Ｆ１２０により制御装置２００から受信される映像信号Ｖｉｎ１に含まれる画像である。従って、第１画像は、ポインティングデバイス２０２により操作されるカーソルの画像をも含む。そして、第１取得部１４０は、取得した第１画像を再生部１６０へ出力する。また、第１取得部１４０は、第１画像と関連付けられる音声信号が入力される場合には、当該音声信号（例えば、音声信号Ａｉｎ１）をさらに取得して再生部１６０へ出力する。
【００４９】
（第２取得部）
第２取得部１５０は、画像表示装置１００のスクリーン１０２上に出力されるべき出力画像内で副画面を構成するための第２画像を取得する。第２画像は、出力画像内で第１画像に重畳される画像である。後に説明するシナリオにおいて、第２画像は、チューナ１２４によりアンテナ１２２を介して受信される映像信号Ｖｉｎ２に含まれる画像である。そして、第２取得部１５０は、取得した第２画像を再生部１６０へ出力する。また、第２取得部１５０は、第２画像と関連付けられる音声信号（例えば、音声信号Ａｉｎ２）をさらに取得して再生部１６０へ出力する。
【００５０】
（再生部）
再生部１６０は、第１画像に第２画像を重畳することにより出力画像を生成し、生成した出力画像をスクリーン１０２上に表示する。再生部１６０は、出力画像の生成に際して、再生制御部１８０により設定される透過率で第２画像を透過させて、第１画像に第２画像を重畳する。また、再生部１６０は、再生制御部１８０により決定される出力画像内の表示位置に第２画像を表示させる。また、再生部１６０は、第１取得部１４０により取得される音声信号若しくは第２取得部１５０により取得される音声信号又はその双方を、スピーカ１２８を用いて再生し得る。
【００５１】
（検出部）
検出部１７０は、ユーザにより操作されるカーソルの出力画像内での位置を検出する。より具体的には、検出部１７０は、通信Ｉ／Ｆ２３０又はマルチメディアＩ／Ｆ２３２を介して制御装置２００から受信される操作イベントＥｖを監視する。そして、検出部１７０は、イベントの発生後に受信される操作イベントＥｖを検出する。操作イベントＥｖは、イベント情報として、例えば操作の種類を表すコード及びカーソルの位置座標を含む。本実施形態において、操作の種類を表すコードは、少なくともカーソルの移動を表すコード（例えば“MouseMoved”など）を含む。即ち、検出部１７０がカーソルの移動を表すコードを含む操作イベントＥｖを検出することにより、画像表示装置１００は、カーソルの移動を意図したユーザによる操作を認識することができる。また、検出部１７０は、カーソルの移動を表すコードとは異なるコードを含む操作イベントをも検出可能である。このような操作イベントは、例えば、ポインティングデバイス２０２又はキーボード２０４に設けられたボタンの押下及び解放などを含む。
【００５２】
（再生制御部）
再生制御部１８０は、出力画像内での第２画像の表示位置と検出部１７０により検出されるカーソル位置との間の位置関係に応じて、再生部１６０による第２画像の表示を制御する。より具体的には、本実施形態において、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の距離に応じて、再生部１６０による第２画像の表示を制御する。再生制御部１８０により制御される第２画像の表示パラメータは、例えば、第２画像の透過率及び表示位置を含む。また、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の位置関係に応じて、再生部１６０による音声信号の再生をさらに制御してもよい。
【００５３】
（出力画像の例）
図５は、画像表示装置１００により表示される一例としての出力画像Ｉｍ０を示す説明図である。図５を参照すると、出力画像Ｉｍ０は、第１画像Ｉｍ１に第２画像Ｉｍ２が重畳された画像である。図５の例において、第１画像Ｉｍ１は、制御装置２００から受信されるＰＣのデスクトップの画像である。第１画像Ｉｍ１は、アイコンＩｔ１、Ｉｔ２、Ｉｔ３及びＩｔ４、並びにメニューバーＩｔ５を含む。また、第２画像Ｉｍ２は、何らかのテレビジョン番組の映像の１シーンを表示する画像である。さらに、出力画像Ｉｍ０内に、カーソル１７２が表示されている。
【００５４】
図５の出力画像Ｉｍ０において、第２画像Ｉｍ２の透過率はゼロである。従って、ユーザは、第２画像Ｉｍ２の背後で第１画像Ｉｍ１に何が表示されているかを視認することができない。第２画像Ｉｍ２の背後には、例えば、ユーザが操作しようとするアイコン又はメニューなどのオブジェクトが隠れている可能性がある。このような状況において、ユーザが隠れたオブジェクトを操作したい場合、そのオブジェクトを操作する前に第２画像の表示位置又は大きさを変更して所望のオブジェクトを表示させなければならないとすれば、そのような冗長な操作はユーザにとって面倒である。また、ユーザが冗長な操作をした後に初めて、第２画像Ｉｍ２の背後に所望のオブジェクトが存在しないことに気付く可能性もある。そこで、本実施形態に係る画像表示装置１００の再生制御部１８０は、次節において説明する例示的なシナリオのように第２画像の表示を制御することで、上述したユーザビリティの不都合を改善する。
【００５５】
＜３．制御シナリオの例＞
［３−１．位置関係］
上述したように、再生制御部１８０は、出力画像内での第２画像の表示位置と検出部１７０により検出されるカーソル位置との間の位置関係に応じて、再生部１６０による第２画像の表示を制御する。本節で説明するシナリオにおいては、第２画像の表示位置と検出部１７０により検出されるカーソル位置との間の位置関係は、第２画像の表示位置とカーソル位置との間の距離により表される。第２画像の表示位置とカーソル位置との間の距離は、例えば、第２画像内の基準点とカーソル位置との間の直線距離であってよい。
【００５６】
より具体的には、例えば、出力画像の座標系（Ｘ，Ｙ）におけるカーソル位置Ｐcurを次のように定義する。
【００５７】
【数１】
【００５８】
また、第２画像の左上のコーナーの座標Ｐpic_lt＿及び右下のコーナーの座標Ｐpic_rbを次のように定義する。
【００５９】
【数２】
【００６０】
例えば、第２画像内の基準点Ｐpicを第２画像内で最もカーソル位置の近くに位置する点とすると、基準点Ｐpicは次のように与えられる。なお、出力画像の座標系（Ｘ，Ｙ）の原点は出力画像の左上のコーナーにあるものとする。
【００６１】
【数３】
【００６２】
その代わりに、基準点Ｐpicは、第２画像の中心の点、又は第２画像の４つのコーナーのうち最もカーソル位置に近いコーナーであってもよい。
【００６３】
第２画像の表示位置とカーソル位置との間の距離Ｄは、次式により算出される。
【００６４】
【数４】
【００６５】
図６は、第２画像の表示位置とカーソル位置との間の距離の一例を示す説明図である。図６の例では、カーソル１７２が第２画像Ｉｍ２の左上方に位置しているため、基準点Ｐpicは、第２画像の左上のコーナーＰpic_lt＿に一致する。従って、第２画像の表示位置とカーソル位置との間の距離Ｄは、カーソル位置ＰcurとコーナーＰpic_lt＿との間の直線距離に等しい。
【００６６】
再生制御部１８０は、例えば、第２画像の表示位置とカーソル位置との間の距離Ｄを上述した計算式に従って算出し、算出した距離Ｄに応じて再生部１６０による第２画像の表示を制御する。
【００６７】
なお、第２画像の表示位置とカーソル位置との間の位置関係は、上述した距離Ｄとは異なるパラメータによって表現されてもよい。例えば、スクリーン１０２が複数の部分領域に分割されるという前提の下、第２画像の表示位置が属する部分領域とカーソル位置が属する部分領域との組合せのタイプ（例えば、同じ部分領域か異なる部分領域か、など）に応じて、第２画像の表示が制御されてもよい。
【００６８】
［３−２．第１のシナリオ］
第１のシナリオにおいて、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の距離Ｄに応じて、第２画像の透過率を変化させる。より具体的には、再生制御部１８０は、例えば、距離Ｄが所定の閾値よりも小さい場合に、第２画像を透過させる。また、再生制御部１８０は、距離Ｄが所定の閾値よりも小さい場合において、距離Ｄが小さくなるほど第２画像の透過率を上昇させる。
【００６９】
図７は、第２画像の表示位置とカーソル位置との間の距離に応じた透過率について説明するための説明図である。図７を参照すると、横軸を距離Ｄ、縦軸を透過率αとする透過率決定グラフの２つの例が示されている。横軸の距離Ｄの単位は画素数（ｐｉｘｅｌ）、縦軸の透過率αの単位はパーセント（％）である。
【００７０】
グラフＧ１によれば、距離Ｄ＝０のとき透過率α＝２０、距離Ｄ＝５０のとき透過率α＝０である。距離Ｄが０から５０に変化する間、透過率αは２０から０まで直線的に減少する。そして、距離Ｄが５０を超えると、透過率αは常にゼロである。このような透過率決定グラフＧ１は、カーソルが第２画像の近傍に位置する場合に第２画像が透過され、カーソルが第２画像に近付くにつれてその透過率が増すことを意味している。一方、グラフＧ２によれば、距離Ｄが０≦Ｄ＜３０のとき透過率α＝２０、距離Ｄ＝８０のとき透過率α＝０である。距離Ｄが３０から８０に変化する間、透過率αは２０から０まで直線的に減少する。そして、距離Ｄが８０を超えると、透過率αは常にゼロである。なお、これら透過率決定グラフは一例に過ぎない。即ち、再生制御部１８０は、他の閾値、他の透過率の傾き、又は他の透過率決定グラフに従って、距離Ｄに応じて透過率αを設定してもよい。また、画像表示装置１００は、透過率決定グラフをユーザに予め設定させてもよい。
【００７１】
図８は、第１のシナリオにおける出力画像の一例について説明するための説明図である。
【００７２】
図８を参照すると、図５の例と同様に第１画像Ｉｍ１に第２画像Ｉｍ２が重畳された出力画像Ｉｍ０が示されている。但し、図８の例では、カーソル１７２が第２画像Ｉｍ２に近付いたことにより、第２画像Ｉｍ２が透過している。その結果、第２画像Ｉｍ２の背後に隠れていた第１画像Ｉｍ１のアイコンＩｔ６が視認可能となっている。
【００７３】
ユーザは、さらにカーソル１７２をアイコンＩｔ６上に移動させてアイコンＩｔ６をクリックすることにより、例えば、アイコンＩｔ６と対応付けられたアプリケーションを起動させることができる。また、ユーザがカーソル１７２を第２画像Ｉｍ２から遠ざけた場合には、図５の例のように第２画像Ｉｍ２は透過されない。従って、ユーザが第２画像Ｉｍ２を視聴することを望む場合にも、第１画像Ｉｍ１を操作することを望む場合にも、カーソル１７２の移動のみの簡単な操作で出力画像Ｉｍ０内の第２画像Ｉｍ２の表示状態を適切に変化させることができる。
【００７４】
図９は、本シナリオにおける画像表示装置１００による処理の流れの一例を示すフローチャートである。
【００７５】
図９を参照すると、まず、画像表示装置１００の検出部１７０は、制御装置２００から送信される操作イベントＥｖを検出する（ステップＳ１０２）。次に、再生制御部１８０は、カーソル位置（操作イベントＥｖのイベント情報に含まれる位置座標）と第２画像の表示位置との間の距離Ｄを算出する（ステップＳ１０６）。次に、再生制御部１８０は、例えば図７に例示した透過率決定グラフＧ１又はＧ２を参照し、ステップＳ１０６において算出した距離Ｄに応じて、第２画像の透過率αを設定する（ステップＳ１０８）。次に、再生部１６０は、第２画像を透過率αを用いて第１画像に重畳することにより、出力画像を生成する（ステップＳ１１４）。そして、再生部１６０は、生成した出力画像をスクリーン１０２上に表示する（ステップＳ１１６）。
【００７６】
［３−３．変形例］
上述した第１のシナリオでは、ユーザは、第２画像をカーソルを用いて操作しない。即ち、第２画像が表示されている領域にカーソルが存在する場合でも、ユーザがカーソルを用いて操作する対象となるのは、第２画像の背後の第１画像上のオブジェクトである。これに対し、カーソルを用いて第２画像を操作可能とするための１つの手法は、第１のシナリオのような表示制御のオン／オフを切り替えるメニューを提供することである。即ち、第１のシナリオのような表示制御をオンにした場合には、第２画像の背後の第１画像上のオブジェクトが操作可能となる。また、当該表示制御をオフにした場合には、第２画像が操作可能となる。しかし、ユーザにとっては、このような事前の設定がなくとも自らが望む２種類の操作の双方を簡易に行い得る方が好ましい。そこで、このような課題を解決する第１のシナリオの変形例について以下に説明する。
【００７７】
本変形例において、検出部１７０は、カーソルの移動とは異なるユーザ入力をさらに検出可能である。カーソルの移動とは異なるユーザ入力とは、例えば、ポインティングデバイス２０２又はキーボード２０４に設けられたいずれかのボタン（例えばキーボード２０４のＣｔｒｌキー又はＳｈｉｆｔキーなど）の押下及び解放などであってよい。このようなユーザ入力もまた、制御装置２００により検出され、制御装置２００から画像表示装置１００へ操作イベントＥｖとして送信される。検出部１７０は、このように送信される操作イベントＥｖを監視し、操作イベントＥｖのイベント情報に含まれるコードから所定のボタンが押下又は解放されたことを検出し得る。
【００７８】
再生制御部１８０は、上述したユーザ入力が検出されたか否かに応じて、第１のシナリオのような表示制御のオン／オフを切り替える。即ち、例えば、再生制御部１８０は、所定のボタンが押下されていない状態でカーソルの移動を表す操作イベントＥｖが検出された場合には、カーソル位置に応じて第２画像を透過させる（“オン”の状態）。また、再生制御部１８０は、所定のボタンが押下されている状態でカーソルの移動を表す操作イベントＥｖが検出された場合には、カーソル位置に関わらず第２画像を透過させない（“オフ”の状態）。
【００７９】
図１０及び図１１は、それぞれ、本変形例における出力画像の一例について説明するための説明図である。図１０及び図１１は、出力画像のうち第２画像Ｉｍ２が表示されている部分を拡大して示している。
【００８０】
図１０は、カーソルの移動を表す操作イベントＥｖのみが検出された場合の出力画像の一例を示している。図１０の例において、カーソル１７２は、第２画像Ｉｍ２と重なる位置に表示されている。また、第２画像Ｉｍ２が透過した結果、第２画像Ｉｍ２の背後に隠れていた第１画像Ｉｍ１のアイコンＩｔ６が視認可能となっている。従って、ユーザは、アイコンＩｔ６をクリックすることにより、例えば、アイコンＩｔ６と対応付けられたアプリケーションを起動させることができる。
【００８１】
一方、図１１は、カーソルの移動を表す操作イベントＥｖ及び所定のボタンの押下を表す操作イベントＥｖが検出された場合の出力画像の一例を示している。図１１の例において、カーソル１７２は、第２画像Ｉｍ２と重なる位置に表示されている。また、第２画像Ｉｍ２は透過しておらず、第２画像Ｉｍ２の背後に隠れている第１画像Ｉｍ１のオブジェクトは視認されない。このような状態において、ユーザは、例えば第２画像上のオブジェクトである音量調節バーＩｔ０（第２画像と関連付けて再生される音声の音量を調節するためのバー）を操作することができる。また、第２画像の操作は、かかる例に限定されず、例えば第２画像の大きさの変更又は移動などであってもよい。
【００８２】
本変形例に係る構成によれば、表示制御のオン／オフを事前に設定することなく、ユーザが、第２画像又は第２画像の背後の第１画像上のオブジェクトのいずれかを簡易に選択的に操作することが可能となる。
【００８３】
図１２は、本変形例における画像表示装置１００による処理の流れの一例を示すフローチャートである。
【００８４】
図１２を参照すると、まず、画像表示装置１００の検出部１７０は、カーソルの移動を表す操作イベントＥｖを検出する（ステップＳ１０２）。次に、再生制御部１８０は、その時点で所定のボタン（例えばキーボード２０４のＣｔｒｌキー又はＳｈｉｆｔキーなど）が押下されているか否かを判定する（ステップＳ１０４）。ここで、所定のボタンが押下されていると判定された場合（例えば、当該ボタンが押下された後未だ解放されていない場合など）には、処理はステップＳ１１０へ進む。一方、所定のボタンが押下されていないと判定された場合には、処理はステップＳ１０６へ進む。
【００８５】
ステップＳ１０６では、再生制御部１８０は、カーソル位置と第２画像の表示位置との間の距離Ｄを算出する（ステップＳ１０６）。次に、再生制御部１８０は、例えば図７に例示した透過率決定グラフＧ１又はＧ２を参照し、ステップＳ１０６において算出した距離Ｄに応じて、第２画像の透過率αを設定する（ステップＳ１０８）。
【００８６】
一方、ステップＳ１１０では、再生制御部１８０は、第２画像の透過率αをゼロに設定する（ステップＳ１１０）。次に、再生制御部１８０は、操作イベントに応じたイベント処理を行う（ステップＳ１１２）。ここでのイベント処理は、例えば、音量の変更、又は第２画像の大きさ若しくは位置の変更などに相当する。
【００８７】
次に、再生部１６０は、第２取得部１５０により取得される第２画像を、透過率αを用いて第１取得部１４０により取得される第１画像に重畳することにより、出力画像を生成する（ステップＳ１１４）。なお、ステップＳ１０４において所定のボタンが押下されていると判定された場合には、ステップＳ１１０において透過率αはゼロに設定されるため、第２画像は実質的に透過されない。そして、再生部１６０は、生成した出力画像をスクリーン１０２上に表示する（ステップＳ１１６）。
【００８８】
図１３は、本変形例における制御装置２００による処理の流れの一例を示すフローチャートである。
【００８９】
図１３を参照すると、まず、制御装置２００は、ポインティングデバイス２０２又はキーボード２０４で発生する操作イベントを検出する（ステップＳ２０２）。次に、制御装置２００は、検出した操作イベントを画像表示装置１００へ送信する（ステップＳ２０４）。また、制御装置２００は、その時点で上記所定のボタンが押下されているか否かを判定する（ステップＳ２０６）。ここで、所定のボタンが押下されていないと判定された場合には、制御装置２００は、操作イベントに応じたイベント処理を行う（ステップＳ２０８）。ここでのイベント処理は、例えば、ポインティングされたアイコンと対応付けられたアプリケーションの起動若しくはファイルのオープン、又はポインティングされたメニューの実行などに相当する。一方、ステップＳ２０６において所定のボタンが押下されていると判定された場合には、画像表示装置１００が副画面のためのイベント処理を行うため、制御装置２００による主画面のためのイベント処理は行われない。
【００９０】
なお、ここでは、所定のボタンが押下されていない場合に第１のシナリオのような表示制御をオンにする例について主に説明したが、当然ながら、所定のボタンが押下されている場合に当該表示制御をオンにしてもよい。
【００９１】
［３−４．第２のシナリオ］
第２のシナリオにおいて、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の距離Ｄがゼロ又は所定の閾値よりも小さい場合に、第２画像を出力画像内で他の位置へ移動させる。より具体的には、再生制御部１８０は、例えば、第２画像の表示位置とカーソル位置との間の距離Ｄが所定の閾値（例えば２０画素）未満となった場合に、第２画像の表示位置をそれまでの位置から他の位置へ移動させる。第２画像の移動先は、例えば、出力画像の上下方向中央の水平線を挟んで反対側の位置など、最新のカーソル位置から離れた任意の位置であってよい。
【００９２】
図１４は、第２のシナリオにおける出力画像の一例について説明するための説明図である。
【００９３】
図１４を参照すると、第１画像Ｉｍ１に第２画像Ｉｍ２ｂが重畳された出力画像Ｉｍ０が示されている。第２画像Ｉｍ２ｂの表示位置は、カーソル１７２が近付いたことにより、もとの位置Ｉｍ２ａから上方向に移動している。その結果、第２画像の背後に隠れていた第１画像Ｉｍ１のアイコンＩｔ６が視認可能となっている。
【００９４】
ユーザは、さらにカーソル１７２をアイコンＩｔ６上に移動させてアイコンＩｔ６をクリックすることにより、例えば、アイコンＩｔ６と対応付けられたアプリケーションを起動させることができる。
【００９５】
図１５は、本シナリオにおける画像表示装置１００による処理の流れの一例を示すフローチャートである。
【００９６】
図１５を参照すると、まず、画像表示装置１００の検出部１７０は、制御装置２００から送信される操作イベントＥｖを検出する（ステップＳ３０２）。次に、再生制御部１８０は、カーソル位置と第２画像の表示位置との間の距離Ｄを算出する（ステップＳ３０６）。次に、再生制御部１８０は、ステップＳ３０６において算出した距離Ｄが所定の閾値よりも小さいか否かを判定する（ステップＳ３０８）。そして、再生制御部１８０は、距離Ｄが所定の閾値よりも小さい場合には、第２画像の表示位置を移動させる（ステップＳ３１０）。一方、再生制御部１８０は、距離Ｄが所定の閾値よりも小さくない場合には、第２画像の表示位置を移動させない。次に、再生部１６０は、第２画像を再生制御部１８０により指定される表示位置において第１画像に重畳することにより、出力画像を生成する（ステップＳ３１４）。そして、再生部１６０は、生成した出力画像をスクリーン１０２上に表示する（ステップＳ３１６）。
【００９７】
なお、図１５には示していないが、上述した第１のシナリオの変形例を、本シナリオと組み合わせてもよい。即ち、再生制御部１８０は、所定のボタンの押下の有無に応じて、第２画像の表示位置の制御のオン／オフを切り替えてもよい。
【００９８】
また、再生制御部１８０は、例えば、距離Ｄの時間変化量を算出し、算出した当該時間変化量にさらに基づいて、第２画像の表示位置を移動させるか否かを判定してもよい。例えば、距離Ｄが第１の閾値（例えば２０画素）未満であって、距離Ｄの時間変化量が第２の閾値（例えば１フレームあたりマイナス５画素）を上回る場合に、再生制御部１８０は、第２画像の表示位置を移動させる。かかる構成によれば、例えば、ユーザは、カーソルを第２画像に素早く近付けるという簡易な操作によって第２画像の表示位置を他の位置に移動させることができると共に、第２画像を移動させたくない場合にもカーソルを第２画像に（ゆっくりと移動させることにより）近付けることができる。
【００９９】
［３−５．第３のシナリオ］
第３のシナリオにおいて、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の位置関係に応じて、再生部１６０による音声信号の再生を制御する。より具体的には、再生制御部１８０は、例えば、第２画像の表示位置とカーソル位置との間の距離Ｄが所定の閾値よりも大きい場合に、再生部１６０に第２画像と関連付けられる音声信号を再生させない。また、再生制御部１８０は、例えば、第２画像の表示位置とカーソル位置との間の距離Ｄが所定の閾値よりも小さい場合に、再生部１６０により再生される第２画像と関連付けられる音声信号の音量を、距離Ｄが小さいほど上昇させる。
【０１００】
図１６は、第２画像の表示位置とカーソル位置との間の距離に応じた音量について説明するための説明図である。図１６を参照すると、横軸を距離Ｄ、縦軸を第２画像と関連付けられる音声信号の音量Ｖｏｌとする、一例としての音量決定グラフＧ３が示されている。
【０１０１】
グラフＧ３によれば、距離Ｄ＝０のとき音量Ｖｏｌ＝ｖ１、距離Ｄ＝２００のとき音量Ｖｏｌ＝０である。距離Ｄが０から２００に変化する間、音量Ｖｏｌはｖ１から０まで直線的に減少する。そして、距離Ｄが２００を超えると、音量Ｖｏｌは常にゼロである。なお、図１６に示した音量決定グラフＧ３は一例に過ぎない。即ち、再生制御部１８０は、他の閾値、他の音量の傾き、又は他の音量決定グラフに従って、距離Ｄに応じて音量Ｖｏｌを設定してもよい。また、画像表示装置１００は、音量決定グラフをユーザに予め設定させてもよい。
【０１０２】
また、図１６において破線で示されたグラフＧ４は、縦軸を第１画像と関連付けられる音声信号の音量Ｖｏｌとする音量決定グラフである。グラフＧ４によれば、距離Ｄ＝０のとき音量Ｖｏｌ＝０、距離Ｄ＝２００のとき音量Ｖｏｌ＝ｖ１である。距離Ｄが０から２００に変化する間、音量Ｖｏｌは０からｖ１まで直線的に増加する。そして、距離Ｄが２００を超えると、音量Ｖｏｌは常にｖ１である。例えば、再生制御部１８０は、第１取得部１４０により第１画像と関連付けられる音声信号が取得される場合に、音量決定グラフＧ３及びＧ４に従って距離Ｄに応じて２つの音声信号の音量を決定し、決定した音量でこれら音声信号を重畳して再生してもよい。また、再生制御部１８０は、距離Ｄと閾値との比較の結果に応じて、単純に２つの音声信号の再生を切り替えてもよい。
【０１０３】
このような音量の制御により、ユーザは、視覚のみならず聴覚を通じて第２画像の表示位置とカーソル位置との間の位置関係を認識することができる。それにより、ユーザは、カーソルを操作することによる表示の制御を、より容易に行うことができる。また、カーソル位置を移動させるのみの簡易な操作で音声入力を切り替え、又は音量のバランスを変更することもできる。
【０１０４】
図１７は、本シナリオにおける画像表示装置１００による処理の流れの一例を示すフローチャートである。なお、ここでは、第１のシナリオによる透過率の制御と上述した第３のシナリオによる音量の制御とを組み合わせた例を説明する。
【０１０５】
図１７を参照すると、まず、画像表示装置１００の検出部１７０は、制御装置２００から送信される操作イベントＥｖを検出する（ステップＳ４０２）。次に、再生制御部１８０は、カーソル位置と第２画像の表示位置との間の距離Ｄを算出する（ステップＳ４０６）。次に、再生制御部１８０は、例えば図７に例示した透過率決定グラフＧ１又はＧ２を参照し、ステップＳ４０６において算出した距離Ｄに応じて、第２画像の透過率αを設定する（ステップＳ４０８）。次に、再生制御部１８０は、例えば図１６に例示した音量決定グラフＧ３を参照し、ステップＳ４０６において算出した距離Ｄに応じて、第２画像と関連付けられる音声信号の再生時の音量Ｖｏｌを設定する（ステップＳ４１０）。次に、再生部１６０は、第２画像を透過率αを用いて第１画像に重畳することにより、出力画像を生成する（ステップＳ４１４）。そして、再生部１６０は、生成した出力画像をスクリーン１０２上に表示する（ステップＳ４１６）。また、再生部１６０は、ステップＳ４１０において設定された音量で、第２画像と関連付けられる音声信号をスピーカ１２８を用いて再生する（ステップＳ４１８）。
【０１０６】
＜４．まとめ＞
ここまで、図１〜図１７を用いて、本発明の一実施形態に係る表示制御システム１、画像表示装置１００及び制御装置２００について説明した。本実施形態によれば、画像表示装置１００は、ユーザにより操作されるカーソルの出力画像内での位置を検出し、ＰｉｎＰにおける副画面を構成する第２画像の表示位置と検出したカーソル位置との間の位置関係に応じて、第２画像の透過率又は表示位置を制御する。それにより、ユーザは、カーソルを移動させる簡易な操作のみで、例えば、第２画像の背後に隠れた第１画像上のオブジェクトを発見し、これを操作することができる。従って、ＰｉｎＰなどの複合的な画面表示におけるユーザの操作性が一層向上される。
【０１０７】
また、本実施形態によれば、第２画像の表示位置とカーソル位置との間の位置関係は、第２画像の表示位置とカーソル位置との間の距離により表される。従って、画像表示装置１００は、第２画像の表示位置とカーソル位置との間の距離に応じて、第２画像の透過率又は表示位置を制御する。それにより、ユーザがカーソルを第２画像に近付けた場合に第２画像の背後の第１画像を視認可能とするような制御が可能となる。また、上記距離が小さくなるにつれて第２画像の透過率を上昇させ、又は第２画像に関連して再生される音声の音量を上昇させることで、第２画像の表示位置とカーソル位置との間の位置関係をユーザにより容易に認識させることが可能となり、ユーザによる操作がより良好に支援される。
【０１０８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０９】
１ 表示制御システム
１００ 画像表示装置
１４０ 第１取得部
１５０ 第２取得部
１６０ 再生部
１７０ 検出部
１８０ 再生制御部
２００ 制御装置
【技術分野】
【０００１】
本発明は、画像表示装置、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、１つの表示装置のスクリーン上に複数の画像又は映像を同時に表示させるためのピクチャーインピクチャー（以下、「ＰｉｎＰ」と略称する。）と呼ばれる技術が存在する。ＰｉｎＰでは、例えば、１つの主画面（main picture）に１つ以上の副画面（sub-picture）が重畳され、これら画面がスクリーン上に同時に表示される。主画面及び副画面の内容は、例えば、ＰＣ（Personal Computer）のユーザインタフェース画像、テレビジョン番組の映像、及びＢＤ（Blu-ray Disc：登録商標）又はＤＶＤなどの媒体から再生される映像など、様々である。
【０００３】
ＰｉｎＰにおいて、副画面が重畳される位置は、典型的には、ユーザにより指定される。例えば、ユーザは、表示装置のリモートコントローラの方向キーを用いて副画面の位置を決定又は変更することができる。また、下記特許文献１に記載された技術を応用し、表示装置ではなく、表示装置に接続されたコンピュータの周辺機器を用いて表示装置の設定を変更することも可能である。さらに、ＰｉｎＰに関連する技術として、下記特許文献２は、副画面の位置又は大きさをユーザが操作する際に副画面を透過させることにより、主画面の視認性を向上させることを提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７５３７８号公報
【特許文献２】特開２００９−２８９１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特に主画面に表示されるオブジェクト（コンテンツ、メニュー又はアイコンなど）をユーザが操作しようとする場合には、上記特許文献１及び２に記載された手法を用いるのみでは、ユーザの操作性が十分に確保されるとは言い難い。例えば、副画面の背後にある主画面のオブジェクトをユーザが操作しようとする場合、ユーザは、副画面の位置又は大きさを変更して主画面の所望のオブジェクトを表示させた後でなければ、そのオブジェクトを正確に操作することができない。このような冗長な操作は、それ自体ユーザにとって面倒である。また、ユーザが副画面を操作してみて初めて、副画面の背後に主画面の所望のオブジェクトが存在しないことに気付く可能性もある。
【０００６】
そこで、本発明は、上述した課題を解決してＰｉｎＰなどの複合的な画面表示におけるユーザの操作性を一層向上させることのできる、新規かつ改良された画像表示装置、表示制御方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、第１画像を取得する第１取得部と、上記第１画像に重畳される第２画像を取得する第２取得部と、上記第１画像に上記第２画像を重畳することにより出力画像を生成し、生成した上記出力画像を表示する再生部と、ユーザにより操作されるカーソルの上記出力画像内での位置を検出する検出部と、上記出力画像内での上記第２画像の表示位置と上記検出部により検出されるカーソル位置との間の位置関係に応じて、上記再生部による上記第２画像の表示を制御する再生制御部と、を備える画像表示装置が提供される。
【０００８】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離に応じて、上記第２画像の表示を制御してもよい。
【０００９】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離に応じて、上記第２画像の透過率を変化させてもよい。
【００１０】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離が所定の閾値よりも小さい場合に、上記第２画像を透過させてもよい。
【００１１】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離が上記所定の閾値よりも小さい場合に、当該距離が小さくなるほど上記第２画像の透過率を上昇させてもよい。
【００１２】
また、上記検出部が上記カーソルの移動とは異なるユーザ入力をさらに検出可能である場合に、上記再生制御部は、上記ユーザ入力が検出されたときには、上記カーソル位置に関わらず上記第２画像を透過させなくてもよい。
【００１３】
また、上記検出部が上記カーソルの移動とは異なるユーザ入力をさらに検出可能である場合に、上記再生制御部は、上記ユーザ入力が検出されていないときには、上記カーソル位置に関わらず上記第２画像を透過させなくてもよい。
【００１４】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離がゼロ又は所定の閾値よりも小さい場合に、上記第２画像を出力画像内で他の位置へ移動させてもよい。
【００１５】
また、上記第２取得部は、上記第２画像と関連付けられる音声信号をさらに取得し、上記再生部は、上記第２取得部により取得される上記音声信号を再生し、上記再生制御部は、上記位置関係に応じて、上記再生部による上記音声信号の再生をさらに制御してもよい。
【００１６】
また、上記再生制御部は、上記第２画像の表示位置と上記カーソル位置との間の距離が所定の閾値よりも大きい場合に、上記再生部に上記音声信号を再生させなくてもよい。
【００１７】
また、本発明の別の実施形態によれば、第１画像を取得するステップと、上記第１画像に重畳される第２画像を取得するステップと、上記第１画像に上記第２画像を重畳することにより出力画像を生成するステップと、生成した上記出力画像を表示するステップと、ユーザにより操作されるカーソルの上記出力画像内での位置を検出するステップと、上記出力画像内での上記第２画像の表示位置と検出されたカーソル位置との間の位置関係に応じて、上記出力画像内での上記第２画像の表示を制御するステップと、を含む表示制御方法が提供される。
【００１８】
また、本発明の別の実施形態によれば、第１画像に第２画像を重畳することにより生成される出力画像を表示する画像表示装置を制御するコンピュータを、上記第１画像を取得する第１取得部と、上記第２画像を取得する第２取得部と、ユーザにより操作されるカーソルの上記出力画像内での位置を検出する検出部と、上記出力画像内での上記第２画像の表示位置と上記検出部により検出されるカーソル位置との間の位置関係に応じて、上記出力画像内での上記第２画像の表示を制御する再生制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１９】
以上説明したように、本発明に係る画像表示装置、表示制御方法及びプログラムによれば、ＰｉｎＰなどの複合的な画面表示におけるユーザの操作性を一層向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】一実施形態に係る表示制御システムの概要を示す模式図である。
【図２】一実施形態に係る画像表示装置のハードウェア構成の一例を示すブロック図である。
【図３】一実施形態に係る制御装置のハードウェア構成の一例を示すブロック図である。
【図４】一実施形態に係る画像表示装置の論理的な構成の一例を示すブロック図である。
【図５】一実施形態に係る画像表示装置により表示される出力画像の一例を示す説明図である。
【図６】第２画像の表示位置とカーソル位置との間の距離の一例を示す説明図である。
【図７】第２画像の表示位置とカーソル位置との間の距離に応じた透過率について説明するための説明図である。
【図８】第１のシナリオにおける出力画像の一例について説明するための説明図である。
【図９】第１のシナリオにおける画像表示装置による処理の流れの一例を示すフローチャートである。
【図１０】第１のシナリオの変形例について説明するための第１の説明図である。
【図１１】第１のシナリオの変形例について説明するための第２の説明図である。
【図１２】第１のシナリオの変形例における画像表示装置による処理の流れの一例を示すフローチャートである。
【図１３】第１のシナリオの変形例における制御装置による処理の流れの一例を示すフローチャートである。
【図１４】第２のシナリオにおける出力画像の一例について説明するための説明図である。
【図１５】第２のシナリオにおける画像表示装置による処理の流れの一例を示すフローチャートである。
【図１６】第２画像の表示位置とカーソル位置との間の距離に応じた音量について説明するための説明図である。
【図１７】第３のシナリオにおける画像表示装置による処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２２】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．表示制御システムの概要
２．一実施形態に係る装置の構成例
２−１．画像表示装置のハードウェア構成
２−２．制御装置のハードウェア構成
２−３．論理的な構成
３．制御シナリオの例
３−１．位置関係
３−２．第１のシナリオ
３−３．変形例
３−４．第２のシナリオ
３−５．第３のシナリオ
４．まとめ
【００２３】
＜１．表示制御システムの概要＞
図１は、本発明の一実施形態に係る表示制御システム１の概要を示す模式図である。図１を参照すると、表示制御システム１は、接続線１０によって互いに接続される画像表示装置１００及び制御装置２００を含む。画像表示装置１００は、画像を表示するためのスクリーン１０２を有する。制御装置２００は、ユーザ入力を受け付けるための入力手段の一例として、ポインティングデバイス２０２及びキーボード２０４と接続される。画像表示装置１００及び制御装置２００は、さらに、ネットワーク装置２５０とも接続され得る。
【００２４】
接続線１０は、画像表示装置１００と制御装置２００との間の通信を可能とする通信線である。接続線１０は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）標準仕様に準拠するマルチメディア出力線であってよい。その代わりに、接続線１０は、例えば、ＵＳＢ（Universal Serial Bus）又はイーサネット（登録商標）などのその他の種類の通信線であってもよい。さらに、接続線１０は、有線通信ではなく、例えば超広帯域無線（ＵＷＢ：Ultra Wide Band）などの高速無線通信により実現されてもよい。
【００２５】
画像表示装置１００は、複数の画像が重畳された出力画像をスクリーン１０２上に表示する装置である。従って、画像表示装置１００が表示する出力画像は、少なくとも第１画像及び第２画像を含む。本明細書では、スクリーン１０２上に表示される第１画像（又はその表示領域）を主画面、第２画像（又はその表示領域）を副画面という場合がある。主画面及び副画面は、いわゆるＰｉｎＰを構成する。但し、ＰｉｎＰとは異なる名前で言及される複合的な画面も、本発明の範囲内に含まれ得ることは理解されたい。後に詳しく説明するように、画像表示装置１００におけるこれらの画像の表示は、ユーザによる操作に応じて、制御装置２００を介して制御される。
【００２６】
第１画像及び第２画像は、それぞれ、画像表示装置１００の内部のソースから取得されてもよく、画像表示装置１００の外部のソースから取得されてもよい。画像表示装置１００の内部のソースとは、例えば、画像表示装置１００が内蔵するハードディスク又はＢＤなどの記録媒体からの映像出力を含み得る。また、画像表示装置１００の外部のソースとは、例えば、制御装置２００からの映像出力、ＡＶレコーダ（図示せず）からの映像出力、ストリーミングサーバからの配信、又はテレビジョン放送などを含み得る。
【００２７】
なお、本明細書では、画像表示装置１００がテレビジョン受像機である例について主に説明する。しかしながら、その代わりに、画像表示装置１００は、例えば、ＰＣ（Personal Computer）用のモニタ、スクリーンを有するコンテンツプレーヤ、又はその他の種類の表示装置であってもよい。
【００２８】
制御装置２００は、ユーザによる操作に応じて、画像表示装置１００における複合的な画像の表示を制御するための装置である。制御装置２００は、例えば、ポインティングデバイス２０２又はキーボード２０４において発生する操作イベントを検出する。そして、制御装置２００は、検出した操作イベントを接続線１０を介して画像表示装置１００へ送信する。制御装置２００から画像表示装置１００へ送信される操作イベントは、例えば、ポインティングデバイス２０２によるカーソルの移動、ドラッグ及びクリック、キーボード２０４における様々な種類のボタン（あるいはキー）の押下などを含み得る。
【００２９】
また、制御装置２００は、画像表示装置１００に映像を出力してもよい。例えば、制御装置２００がＰＣである場合には、ＰＣのデスクトップ画面又はＰＣ上で動作するアプリケーション画面を表す映像が、制御装置２００から画像表示装置１００へ出力され得る。その場合、制御装置２００からの出力映像は、ポインティングデバイス２０２により操作されるカーソルの画像をも含む。一方、制御装置２００から画像表示装置１００へ映像を出力しない場合には、ポインティングデバイス２０２により操作されるカーソルの画像は、画像表示装置１００が生成し得る。
【００３０】
なお、本明細書では、制御装置２００がポインティングデバイス２０２及びキーボード２０４と接続されるＰＣである例について主に説明する。しかしながら、ポインティングデバイス２０２として、図１に例示したマウスの代わりに、タッチパッド、スティックポイント又はトラックボールなどが使用されてもよい。また、表示制御システム１の構成からキーボード２０４が省略されてもよい。さらに、制御装置２００は、ＰＣである代わりに、例えば、入力手段としてのコントローラを有するゲーム機器又はデジタル家電機器などであってもよい。
【００３１】
ネットワーク装置２５０は、画像表示装置１００及び制御装置２００が外部のネットワークにアクセスするための装置である。ネットワーク装置２５０は、例えば、モデム、ＤＳＵ（Digital Service Unit）、ブロードバンドルータ、又は無線アクセスポイントなどであってもよい。画像表示装置１００は、例えば、ネットワーク装置２５０を介してコンテンツサーバから映像コンテンツを受信してもよい。
【００３２】
＜２．一実施形態に係る装置の構成例＞
次に、図２〜図５を用いて、表示制御システム１の画像表示装置１００及び制御装置２００の具体的な構成の一例を説明する。
【００３３】
［２−１．画像表示装置のハードウェア構成］
図２は、本実施形態に係る画像表示装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像表示装置１００は、ＣＰＵ（Central Processing Unit）１１０、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１４、バス１１６、マルチメディアインタフェース（Ｉ／Ｆ）１２０、チューナ１２４、マルチメディア処理部１２６、スクリーン１０２、スピーカ１２８、及び通信Ｉ／Ｆ１３０を備える。
【００３４】
ＣＰＵ１１０は、画像表示装置１００の動作全般を制御する。ＲＯＭ１１２には、画像表示装置１００の動作を制御するためのプログラム及びデータが格納される。ＲＡＭ１１４は、ＣＰＵ１１０による処理の実行時にプログラム及びデータを一時的に記憶する。バス１１６は、ＣＰＵ１１０、ＲＯＭ１１２及びＲＡＭ１１４を相互に接続する。バス１１６には、さらに、マルチメディアＩ／Ｆ１２０、チューナ１２４、マルチメディア処理部１２６、スクリーン１０２、スピーカ１２８、及び通信Ｉ／Ｆ１３０が接続される。
【００３５】
マルチメディアＩ／Ｆ１２０は、制御装置２００から出力される映像信号Ｖｉｎ１を接続線１０を介して受信する。マルチメディアＩ／Ｆ１２０は、例えば、ＨＤＭＩ標準仕様に準拠するインタフェース、又はＵＳＢインタフェースなどであってよい。また、マルチメディアＩ／Ｆ１２０は、制御装置２００から出力される映像信号Ｖｉｎ１に加えて映像信号Ｖｉｎ１と関連付けられる音声信号Ａｉｎ１を受信してもよい。そして、マルチメディアＩ／Ｆ１２０は、受信した映像信号Ｖｉｎ１及び音声信号Ａｉｎ１を、マルチメディア処理部１２６へ出力する。
【００３６】
チューナ１２４は、アンテナ１２２と接続され、アンテナ１２２を介して映像信号Ｖｉｎ２を受信する。また、チューナ１２４は、アンテナ１２２を介して映像信号Ｖｉｎ２に加えて映像信号Ｖｉｎ２と関連付けられる音声信号Ａｉｎ２を受信してもよい。そして、チューナ１２４は、受信した映像信号Ｖｉｎ２及び音声信号Ａｉｎ２を、マルチメディア処理部１２６へ出力する。
【００３７】
マルチメディア処理部１２６は、マルチメディアＩ／Ｆ１２０、チューナ１２４又は通信Ｉ／Ｆ１３０から入力される映像信号を復号し、当該映像信号に含まれる一連の画像を再生する。また、マルチメディア処理部１２６は、いわゆるＰｉｎＰ機能を有し、再生される複数の画像を重畳することにより出力画像を生成し、生成した出力画像をスクリーン１０２上に表示させる。マルチメディア処理部１２６は、ＣＰＵ１１０による制御の下、重畳する画像の透過率及び表示位置を変化させることができる。さらに、マルチメディア処理部１２６は、マルチメディアＩ／Ｆ１２０、チューナ１２４又は通信Ｉ／Ｆ１３０から入力される音声信号を復号して音声を再生し、再生した音声をスピーカ１２８に出力する。マルチメディア処理部１２６は、ＣＰＵ１１０による制御の下、再生する音声の音量を変化させ、又は音声入力を切り替えてもよい。
【００３８】
通信Ｉ／Ｆ１３０は、画像表示装置１００と他の装置との間の通信を仲介する。通信Ｉ／Ｆ１３０は、例えば、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮインタフェースであってもよい。
【００３９】
マルチメディアＩ／Ｆ１２０又は通信Ｉ／Ｆ１３０は、制御装置２００から画像表示装置１００へ送信される操作イベントＥｖを受信する。そして、マルチメディアＩ／Ｆ１２０又は通信Ｉ／Ｆ１３０により受信された操作イベントＥｖは、後にさらに説明するように、ＣＰＵ１１０により処理される。
【００４０】
操作イベントＥｖは、例えば、次のいずれかの手法で、制御装置２００から画像表示装置１００へ送信され得る。なお、ここで説明するイベント送信方法は一例に過ぎず、他の手法もまた使用され得る。
−手法１：ＨＤＭＩ信号フォーマットの“AVIINFOframe”フィールドに含まれる拡張用の領域にイベント情報（典型的には、操作の種類を表すコード及びカーソルの位置座標を含む）を記述する。
−手法２：ＨＤＭＩバージョン１．２ａ以降でサポートされる制御チャネルであるＣＥＣ（Consumer Electronics Control）の拡張用の領域にイベント情報を記述する。
−手法３：イベント情報をデータとして含むＩＰパケットを、ＨＤＭＩバージョン１．４でサポートされるイーサネットチャネル、又は一般的なＬＡＮ回線を介して伝送する。
【００４１】
［２−２．制御装置のハードウェア構成］
図３は、本実施形態に係る制御装置２００のハードウェア構成の一例を示すブロック図である。図３を参照すると、制御装置２００は、ＣＰＵ２１０、ＲＯＭ２１２、ＲＡＭ２１４、バス２１６、記憶装置２１８、通信Ｉ／Ｆ２３０、マルチメディアＩ／Ｆ２３２、及び入力Ｉ／Ｆ２３４を備える。
【００４２】
ＣＰＵ２１０は、制御装置２００の動作全般を制御する。ＲＯＭ２１２には、制御装置２００の動作を制御するためのプログラム及びデータが格納される。ＲＡＭ２１４は、ＣＰＵ２１０による処理の実行時にプログラム及びデータを一時的に記憶する。バス２１６は、ＣＰＵ２１０、ＲＯＭ２１２及びＲＡＭ２１４を相互に接続する。バス２１６には、さらに、記憶装置２１８、通信Ｉ／Ｆ２３０、マルチメディアＩ／Ｆ２３２、及び入力Ｉ／Ｆ２３４が接続される。
【００４３】
記憶装置２１８は、ハードディスク又は半導体メモリなどの記憶媒体を用いて実現される。記憶装置２１８は、制御装置２００上で動作するＯＳ（Operating System）及びアプリケーション用のプログラムを記憶する。さらに、記憶装置２１８は、映像及び音声を含むコンテンツデータを記憶してもよい。
【００４４】
通信Ｉ／Ｆ２３０は、制御装置２００と他の装置との間の通信を仲介する。通信Ｉ／Ｆ２３０は、例えば、有線ＬＡＮ又は無線ＬＡＮインタフェースであってもよい。
【００４５】
マルチメディアＩ／Ｆ２３２は、ＣＰＵ２１０が生成する映像信号Ｖｉｎ１を接続線１０を介して画像表示装置１００へ送信する。ＣＰＵ２１０が生成する映像信号Ｖｉｎ１は、例えば、デスクトップ画面又はアプリケーション画面を表す一連の画像信号であってもよく、記憶装置２１８に記憶されているコンテンツデータから復号される映像信号であってもよい。また、マルチメディアＩ／Ｆ２３２は、映像信号Ｖｉｎ１に加えて映像信号Ｖｉｎ１と関連付けられる音声信号Ａｉｎ１を送信してもよい。
【００４６】
入力Ｉ／Ｆ２３４は、ポインティングデバイス２０２及びキーボード２０４とそれぞれ接続される１つ以上の接続端子を含む。ポインティングデバイス２０２又はキーボード２０４において発生する操作イベントは、ＣＰＵ２１０上で動作するイベントリスナにより入力Ｉ／Ｆ２３４を介して検出される。そして、ＣＰＵ２１０は、検出した操作イベントＥｖを通信Ｉ／Ｆ２３０又はマルチメディアＩ／Ｆ２３２を介して画像表示装置１００へ送信する。また、制御装置２００が処理すべき操作イベントは、ＣＰＵ２１０上で動作するイベントハンドラにより処理される。
【００４７】
［２−３．論理的な構成］
図４は、本実施形態に係る画像表示装置１００の論理的な構成の一例を示すブロック図である。図４を参照すると、画像表示装置１００は、第１取得部１４０、第２取得部１５０、再生部１６０、検出部１７０及び再生制御部１８０を備える。
【００４８】
（第１取得部）
第１取得部１４０は、画像表示装置１００のスクリーン１０２上に出力されるべき出力画像内で主画面を構成するための第１画像を取得する。後に説明するシナリオにおいて、第１画像は、マルチメディアＩ／Ｆ１２０により制御装置２００から受信される映像信号Ｖｉｎ１に含まれる画像である。従って、第１画像は、ポインティングデバイス２０２により操作されるカーソルの画像をも含む。そして、第１取得部１４０は、取得した第１画像を再生部１６０へ出力する。また、第１取得部１４０は、第１画像と関連付けられる音声信号が入力される場合には、当該音声信号（例えば、音声信号Ａｉｎ１）をさらに取得して再生部１６０へ出力する。
【００４９】
（第２取得部）
第２取得部１５０は、画像表示装置１００のスクリーン１０２上に出力されるべき出力画像内で副画面を構成するための第２画像を取得する。第２画像は、出力画像内で第１画像に重畳される画像である。後に説明するシナリオにおいて、第２画像は、チューナ１２４によりアンテナ１２２を介して受信される映像信号Ｖｉｎ２に含まれる画像である。そして、第２取得部１５０は、取得した第２画像を再生部１６０へ出力する。また、第２取得部１５０は、第２画像と関連付けられる音声信号（例えば、音声信号Ａｉｎ２）をさらに取得して再生部１６０へ出力する。
【００５０】
（再生部）
再生部１６０は、第１画像に第２画像を重畳することにより出力画像を生成し、生成した出力画像をスクリーン１０２上に表示する。再生部１６０は、出力画像の生成に際して、再生制御部１８０により設定される透過率で第２画像を透過させて、第１画像に第２画像を重畳する。また、再生部１６０は、再生制御部１８０により決定される出力画像内の表示位置に第２画像を表示させる。また、再生部１６０は、第１取得部１４０により取得される音声信号若しくは第２取得部１５０により取得される音声信号又はその双方を、スピーカ１２８を用いて再生し得る。
【００５１】
（検出部）
検出部１７０は、ユーザにより操作されるカーソルの出力画像内での位置を検出する。より具体的には、検出部１７０は、通信Ｉ／Ｆ２３０又はマルチメディアＩ／Ｆ２３２を介して制御装置２００から受信される操作イベントＥｖを監視する。そして、検出部１７０は、イベントの発生後に受信される操作イベントＥｖを検出する。操作イベントＥｖは、イベント情報として、例えば操作の種類を表すコード及びカーソルの位置座標を含む。本実施形態において、操作の種類を表すコードは、少なくともカーソルの移動を表すコード（例えば“MouseMoved”など）を含む。即ち、検出部１７０がカーソルの移動を表すコードを含む操作イベントＥｖを検出することにより、画像表示装置１００は、カーソルの移動を意図したユーザによる操作を認識することができる。また、検出部１７０は、カーソルの移動を表すコードとは異なるコードを含む操作イベントをも検出可能である。このような操作イベントは、例えば、ポインティングデバイス２０２又はキーボード２０４に設けられたボタンの押下及び解放などを含む。
【００５２】
（再生制御部）
再生制御部１８０は、出力画像内での第２画像の表示位置と検出部１７０により検出されるカーソル位置との間の位置関係に応じて、再生部１６０による第２画像の表示を制御する。より具体的には、本実施形態において、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の距離に応じて、再生部１６０による第２画像の表示を制御する。再生制御部１８０により制御される第２画像の表示パラメータは、例えば、第２画像の透過率及び表示位置を含む。また、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の位置関係に応じて、再生部１６０による音声信号の再生をさらに制御してもよい。
【００５３】
（出力画像の例）
図５は、画像表示装置１００により表示される一例としての出力画像Ｉｍ０を示す説明図である。図５を参照すると、出力画像Ｉｍ０は、第１画像Ｉｍ１に第２画像Ｉｍ２が重畳された画像である。図５の例において、第１画像Ｉｍ１は、制御装置２００から受信されるＰＣのデスクトップの画像である。第１画像Ｉｍ１は、アイコンＩｔ１、Ｉｔ２、Ｉｔ３及びＩｔ４、並びにメニューバーＩｔ５を含む。また、第２画像Ｉｍ２は、何らかのテレビジョン番組の映像の１シーンを表示する画像である。さらに、出力画像Ｉｍ０内に、カーソル１７２が表示されている。
【００５４】
図５の出力画像Ｉｍ０において、第２画像Ｉｍ２の透過率はゼロである。従って、ユーザは、第２画像Ｉｍ２の背後で第１画像Ｉｍ１に何が表示されているかを視認することができない。第２画像Ｉｍ２の背後には、例えば、ユーザが操作しようとするアイコン又はメニューなどのオブジェクトが隠れている可能性がある。このような状況において、ユーザが隠れたオブジェクトを操作したい場合、そのオブジェクトを操作する前に第２画像の表示位置又は大きさを変更して所望のオブジェクトを表示させなければならないとすれば、そのような冗長な操作はユーザにとって面倒である。また、ユーザが冗長な操作をした後に初めて、第２画像Ｉｍ２の背後に所望のオブジェクトが存在しないことに気付く可能性もある。そこで、本実施形態に係る画像表示装置１００の再生制御部１８０は、次節において説明する例示的なシナリオのように第２画像の表示を制御することで、上述したユーザビリティの不都合を改善する。
【００５５】
＜３．制御シナリオの例＞
［３−１．位置関係］
上述したように、再生制御部１８０は、出力画像内での第２画像の表示位置と検出部１７０により検出されるカーソル位置との間の位置関係に応じて、再生部１６０による第２画像の表示を制御する。本節で説明するシナリオにおいては、第２画像の表示位置と検出部１７０により検出されるカーソル位置との間の位置関係は、第２画像の表示位置とカーソル位置との間の距離により表される。第２画像の表示位置とカーソル位置との間の距離は、例えば、第２画像内の基準点とカーソル位置との間の直線距離であってよい。
【００５６】
より具体的には、例えば、出力画像の座標系（Ｘ，Ｙ）におけるカーソル位置Ｐcurを次のように定義する。
【００５７】
【数１】
【００５８】
また、第２画像の左上のコーナーの座標Ｐpic_lt＿及び右下のコーナーの座標Ｐpic_rbを次のように定義する。
【００５９】
【数２】
【００６０】
例えば、第２画像内の基準点Ｐpicを第２画像内で最もカーソル位置の近くに位置する点とすると、基準点Ｐpicは次のように与えられる。なお、出力画像の座標系（Ｘ，Ｙ）の原点は出力画像の左上のコーナーにあるものとする。
【００６１】
【数３】
【００６２】
その代わりに、基準点Ｐpicは、第２画像の中心の点、又は第２画像の４つのコーナーのうち最もカーソル位置に近いコーナーであってもよい。
【００６３】
第２画像の表示位置とカーソル位置との間の距離Ｄは、次式により算出される。
【００６４】
【数４】
【００６５】
図６は、第２画像の表示位置とカーソル位置との間の距離の一例を示す説明図である。図６の例では、カーソル１７２が第２画像Ｉｍ２の左上方に位置しているため、基準点Ｐpicは、第２画像の左上のコーナーＰpic_lt＿に一致する。従って、第２画像の表示位置とカーソル位置との間の距離Ｄは、カーソル位置ＰcurとコーナーＰpic_lt＿との間の直線距離に等しい。
【００６６】
再生制御部１８０は、例えば、第２画像の表示位置とカーソル位置との間の距離Ｄを上述した計算式に従って算出し、算出した距離Ｄに応じて再生部１６０による第２画像の表示を制御する。
【００６７】
なお、第２画像の表示位置とカーソル位置との間の位置関係は、上述した距離Ｄとは異なるパラメータによって表現されてもよい。例えば、スクリーン１０２が複数の部分領域に分割されるという前提の下、第２画像の表示位置が属する部分領域とカーソル位置が属する部分領域との組合せのタイプ（例えば、同じ部分領域か異なる部分領域か、など）に応じて、第２画像の表示が制御されてもよい。
【００６８】
［３−２．第１のシナリオ］
第１のシナリオにおいて、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の距離Ｄに応じて、第２画像の透過率を変化させる。より具体的には、再生制御部１８０は、例えば、距離Ｄが所定の閾値よりも小さい場合に、第２画像を透過させる。また、再生制御部１８０は、距離Ｄが所定の閾値よりも小さい場合において、距離Ｄが小さくなるほど第２画像の透過率を上昇させる。
【００６９】
図７は、第２画像の表示位置とカーソル位置との間の距離に応じた透過率について説明するための説明図である。図７を参照すると、横軸を距離Ｄ、縦軸を透過率αとする透過率決定グラフの２つの例が示されている。横軸の距離Ｄの単位は画素数（ｐｉｘｅｌ）、縦軸の透過率αの単位はパーセント（％）である。
【００７０】
グラフＧ１によれば、距離Ｄ＝０のとき透過率α＝２０、距離Ｄ＝５０のとき透過率α＝０である。距離Ｄが０から５０に変化する間、透過率αは２０から０まで直線的に減少する。そして、距離Ｄが５０を超えると、透過率αは常にゼロである。このような透過率決定グラフＧ１は、カーソルが第２画像の近傍に位置する場合に第２画像が透過され、カーソルが第２画像に近付くにつれてその透過率が増すことを意味している。一方、グラフＧ２によれば、距離Ｄが０≦Ｄ＜３０のとき透過率α＝２０、距離Ｄ＝８０のとき透過率α＝０である。距離Ｄが３０から８０に変化する間、透過率αは２０から０まで直線的に減少する。そして、距離Ｄが８０を超えると、透過率αは常にゼロである。なお、これら透過率決定グラフは一例に過ぎない。即ち、再生制御部１８０は、他の閾値、他の透過率の傾き、又は他の透過率決定グラフに従って、距離Ｄに応じて透過率αを設定してもよい。また、画像表示装置１００は、透過率決定グラフをユーザに予め設定させてもよい。
【００７１】
図８は、第１のシナリオにおける出力画像の一例について説明するための説明図である。
【００７２】
図８を参照すると、図５の例と同様に第１画像Ｉｍ１に第２画像Ｉｍ２が重畳された出力画像Ｉｍ０が示されている。但し、図８の例では、カーソル１７２が第２画像Ｉｍ２に近付いたことにより、第２画像Ｉｍ２が透過している。その結果、第２画像Ｉｍ２の背後に隠れていた第１画像Ｉｍ１のアイコンＩｔ６が視認可能となっている。
【００７３】
ユーザは、さらにカーソル１７２をアイコンＩｔ６上に移動させてアイコンＩｔ６をクリックすることにより、例えば、アイコンＩｔ６と対応付けられたアプリケーションを起動させることができる。また、ユーザがカーソル１７２を第２画像Ｉｍ２から遠ざけた場合には、図５の例のように第２画像Ｉｍ２は透過されない。従って、ユーザが第２画像Ｉｍ２を視聴することを望む場合にも、第１画像Ｉｍ１を操作することを望む場合にも、カーソル１７２の移動のみの簡単な操作で出力画像Ｉｍ０内の第２画像Ｉｍ２の表示状態を適切に変化させることができる。
【００７４】
図９は、本シナリオにおける画像表示装置１００による処理の流れの一例を示すフローチャートである。
【００７５】
図９を参照すると、まず、画像表示装置１００の検出部１７０は、制御装置２００から送信される操作イベントＥｖを検出する（ステップＳ１０２）。次に、再生制御部１８０は、カーソル位置（操作イベントＥｖのイベント情報に含まれる位置座標）と第２画像の表示位置との間の距離Ｄを算出する（ステップＳ１０６）。次に、再生制御部１８０は、例えば図７に例示した透過率決定グラフＧ１又はＧ２を参照し、ステップＳ１０６において算出した距離Ｄに応じて、第２画像の透過率αを設定する（ステップＳ１０８）。次に、再生部１６０は、第２画像を透過率αを用いて第１画像に重畳することにより、出力画像を生成する（ステップＳ１１４）。そして、再生部１６０は、生成した出力画像をスクリーン１０２上に表示する（ステップＳ１１６）。
【００７６】
［３−３．変形例］
上述した第１のシナリオでは、ユーザは、第２画像をカーソルを用いて操作しない。即ち、第２画像が表示されている領域にカーソルが存在する場合でも、ユーザがカーソルを用いて操作する対象となるのは、第２画像の背後の第１画像上のオブジェクトである。これに対し、カーソルを用いて第２画像を操作可能とするための１つの手法は、第１のシナリオのような表示制御のオン／オフを切り替えるメニューを提供することである。即ち、第１のシナリオのような表示制御をオンにした場合には、第２画像の背後の第１画像上のオブジェクトが操作可能となる。また、当該表示制御をオフにした場合には、第２画像が操作可能となる。しかし、ユーザにとっては、このような事前の設定がなくとも自らが望む２種類の操作の双方を簡易に行い得る方が好ましい。そこで、このような課題を解決する第１のシナリオの変形例について以下に説明する。
【００７７】
本変形例において、検出部１７０は、カーソルの移動とは異なるユーザ入力をさらに検出可能である。カーソルの移動とは異なるユーザ入力とは、例えば、ポインティングデバイス２０２又はキーボード２０４に設けられたいずれかのボタン（例えばキーボード２０４のＣｔｒｌキー又はＳｈｉｆｔキーなど）の押下及び解放などであってよい。このようなユーザ入力もまた、制御装置２００により検出され、制御装置２００から画像表示装置１００へ操作イベントＥｖとして送信される。検出部１７０は、このように送信される操作イベントＥｖを監視し、操作イベントＥｖのイベント情報に含まれるコードから所定のボタンが押下又は解放されたことを検出し得る。
【００７８】
再生制御部１８０は、上述したユーザ入力が検出されたか否かに応じて、第１のシナリオのような表示制御のオン／オフを切り替える。即ち、例えば、再生制御部１８０は、所定のボタンが押下されていない状態でカーソルの移動を表す操作イベントＥｖが検出された場合には、カーソル位置に応じて第２画像を透過させる（“オン”の状態）。また、再生制御部１８０は、所定のボタンが押下されている状態でカーソルの移動を表す操作イベントＥｖが検出された場合には、カーソル位置に関わらず第２画像を透過させない（“オフ”の状態）。
【００７９】
図１０及び図１１は、それぞれ、本変形例における出力画像の一例について説明するための説明図である。図１０及び図１１は、出力画像のうち第２画像Ｉｍ２が表示されている部分を拡大して示している。
【００８０】
図１０は、カーソルの移動を表す操作イベントＥｖのみが検出された場合の出力画像の一例を示している。図１０の例において、カーソル１７２は、第２画像Ｉｍ２と重なる位置に表示されている。また、第２画像Ｉｍ２が透過した結果、第２画像Ｉｍ２の背後に隠れていた第１画像Ｉｍ１のアイコンＩｔ６が視認可能となっている。従って、ユーザは、アイコンＩｔ６をクリックすることにより、例えば、アイコンＩｔ６と対応付けられたアプリケーションを起動させることができる。
【００８１】
一方、図１１は、カーソルの移動を表す操作イベントＥｖ及び所定のボタンの押下を表す操作イベントＥｖが検出された場合の出力画像の一例を示している。図１１の例において、カーソル１７２は、第２画像Ｉｍ２と重なる位置に表示されている。また、第２画像Ｉｍ２は透過しておらず、第２画像Ｉｍ２の背後に隠れている第１画像Ｉｍ１のオブジェクトは視認されない。このような状態において、ユーザは、例えば第２画像上のオブジェクトである音量調節バーＩｔ０（第２画像と関連付けて再生される音声の音量を調節するためのバー）を操作することができる。また、第２画像の操作は、かかる例に限定されず、例えば第２画像の大きさの変更又は移動などであってもよい。
【００８２】
本変形例に係る構成によれば、表示制御のオン／オフを事前に設定することなく、ユーザが、第２画像又は第２画像の背後の第１画像上のオブジェクトのいずれかを簡易に選択的に操作することが可能となる。
【００８３】
図１２は、本変形例における画像表示装置１００による処理の流れの一例を示すフローチャートである。
【００８４】
図１２を参照すると、まず、画像表示装置１００の検出部１７０は、カーソルの移動を表す操作イベントＥｖを検出する（ステップＳ１０２）。次に、再生制御部１８０は、その時点で所定のボタン（例えばキーボード２０４のＣｔｒｌキー又はＳｈｉｆｔキーなど）が押下されているか否かを判定する（ステップＳ１０４）。ここで、所定のボタンが押下されていると判定された場合（例えば、当該ボタンが押下された後未だ解放されていない場合など）には、処理はステップＳ１１０へ進む。一方、所定のボタンが押下されていないと判定された場合には、処理はステップＳ１０６へ進む。
【００８５】
ステップＳ１０６では、再生制御部１８０は、カーソル位置と第２画像の表示位置との間の距離Ｄを算出する（ステップＳ１０６）。次に、再生制御部１８０は、例えば図７に例示した透過率決定グラフＧ１又はＧ２を参照し、ステップＳ１０６において算出した距離Ｄに応じて、第２画像の透過率αを設定する（ステップＳ１０８）。
【００８６】
一方、ステップＳ１１０では、再生制御部１８０は、第２画像の透過率αをゼロに設定する（ステップＳ１１０）。次に、再生制御部１８０は、操作イベントに応じたイベント処理を行う（ステップＳ１１２）。ここでのイベント処理は、例えば、音量の変更、又は第２画像の大きさ若しくは位置の変更などに相当する。
【００８７】
次に、再生部１６０は、第２取得部１５０により取得される第２画像を、透過率αを用いて第１取得部１４０により取得される第１画像に重畳することにより、出力画像を生成する（ステップＳ１１４）。なお、ステップＳ１０４において所定のボタンが押下されていると判定された場合には、ステップＳ１１０において透過率αはゼロに設定されるため、第２画像は実質的に透過されない。そして、再生部１６０は、生成した出力画像をスクリーン１０２上に表示する（ステップＳ１１６）。
【００８８】
図１３は、本変形例における制御装置２００による処理の流れの一例を示すフローチャートである。
【００８９】
図１３を参照すると、まず、制御装置２００は、ポインティングデバイス２０２又はキーボード２０４で発生する操作イベントを検出する（ステップＳ２０２）。次に、制御装置２００は、検出した操作イベントを画像表示装置１００へ送信する（ステップＳ２０４）。また、制御装置２００は、その時点で上記所定のボタンが押下されているか否かを判定する（ステップＳ２０６）。ここで、所定のボタンが押下されていないと判定された場合には、制御装置２００は、操作イベントに応じたイベント処理を行う（ステップＳ２０８）。ここでのイベント処理は、例えば、ポインティングされたアイコンと対応付けられたアプリケーションの起動若しくはファイルのオープン、又はポインティングされたメニューの実行などに相当する。一方、ステップＳ２０６において所定のボタンが押下されていると判定された場合には、画像表示装置１００が副画面のためのイベント処理を行うため、制御装置２００による主画面のためのイベント処理は行われない。
【００９０】
なお、ここでは、所定のボタンが押下されていない場合に第１のシナリオのような表示制御をオンにする例について主に説明したが、当然ながら、所定のボタンが押下されている場合に当該表示制御をオンにしてもよい。
【００９１】
［３−４．第２のシナリオ］
第２のシナリオにおいて、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の距離Ｄがゼロ又は所定の閾値よりも小さい場合に、第２画像を出力画像内で他の位置へ移動させる。より具体的には、再生制御部１８０は、例えば、第２画像の表示位置とカーソル位置との間の距離Ｄが所定の閾値（例えば２０画素）未満となった場合に、第２画像の表示位置をそれまでの位置から他の位置へ移動させる。第２画像の移動先は、例えば、出力画像の上下方向中央の水平線を挟んで反対側の位置など、最新のカーソル位置から離れた任意の位置であってよい。
【００９２】
図１４は、第２のシナリオにおける出力画像の一例について説明するための説明図である。
【００９３】
図１４を参照すると、第１画像Ｉｍ１に第２画像Ｉｍ２ｂが重畳された出力画像Ｉｍ０が示されている。第２画像Ｉｍ２ｂの表示位置は、カーソル１７２が近付いたことにより、もとの位置Ｉｍ２ａから上方向に移動している。その結果、第２画像の背後に隠れていた第１画像Ｉｍ１のアイコンＩｔ６が視認可能となっている。
【００９４】
ユーザは、さらにカーソル１７２をアイコンＩｔ６上に移動させてアイコンＩｔ６をクリックすることにより、例えば、アイコンＩｔ６と対応付けられたアプリケーションを起動させることができる。
【００９５】
図１５は、本シナリオにおける画像表示装置１００による処理の流れの一例を示すフローチャートである。
【００９６】
図１５を参照すると、まず、画像表示装置１００の検出部１７０は、制御装置２００から送信される操作イベントＥｖを検出する（ステップＳ３０２）。次に、再生制御部１８０は、カーソル位置と第２画像の表示位置との間の距離Ｄを算出する（ステップＳ３０６）。次に、再生制御部１８０は、ステップＳ３０６において算出した距離Ｄが所定の閾値よりも小さいか否かを判定する（ステップＳ３０８）。そして、再生制御部１８０は、距離Ｄが所定の閾値よりも小さい場合には、第２画像の表示位置を移動させる（ステップＳ３１０）。一方、再生制御部１８０は、距離Ｄが所定の閾値よりも小さくない場合には、第２画像の表示位置を移動させない。次に、再生部１６０は、第２画像を再生制御部１８０により指定される表示位置において第１画像に重畳することにより、出力画像を生成する（ステップＳ３１４）。そして、再生部１６０は、生成した出力画像をスクリーン１０２上に表示する（ステップＳ３１６）。
【００９７】
なお、図１５には示していないが、上述した第１のシナリオの変形例を、本シナリオと組み合わせてもよい。即ち、再生制御部１８０は、所定のボタンの押下の有無に応じて、第２画像の表示位置の制御のオン／オフを切り替えてもよい。
【００９８】
また、再生制御部１８０は、例えば、距離Ｄの時間変化量を算出し、算出した当該時間変化量にさらに基づいて、第２画像の表示位置を移動させるか否かを判定してもよい。例えば、距離Ｄが第１の閾値（例えば２０画素）未満であって、距離Ｄの時間変化量が第２の閾値（例えば１フレームあたりマイナス５画素）を上回る場合に、再生制御部１８０は、第２画像の表示位置を移動させる。かかる構成によれば、例えば、ユーザは、カーソルを第２画像に素早く近付けるという簡易な操作によって第２画像の表示位置を他の位置に移動させることができると共に、第２画像を移動させたくない場合にもカーソルを第２画像に（ゆっくりと移動させることにより）近付けることができる。
【００９９】
［３−５．第３のシナリオ］
第３のシナリオにおいて、再生制御部１８０は、第２画像の表示位置とカーソル位置との間の位置関係に応じて、再生部１６０による音声信号の再生を制御する。より具体的には、再生制御部１８０は、例えば、第２画像の表示位置とカーソル位置との間の距離Ｄが所定の閾値よりも大きい場合に、再生部１６０に第２画像と関連付けられる音声信号を再生させない。また、再生制御部１８０は、例えば、第２画像の表示位置とカーソル位置との間の距離Ｄが所定の閾値よりも小さい場合に、再生部１６０により再生される第２画像と関連付けられる音声信号の音量を、距離Ｄが小さいほど上昇させる。
【０１００】
図１６は、第２画像の表示位置とカーソル位置との間の距離に応じた音量について説明するための説明図である。図１６を参照すると、横軸を距離Ｄ、縦軸を第２画像と関連付けられる音声信号の音量Ｖｏｌとする、一例としての音量決定グラフＧ３が示されている。
【０１０１】
グラフＧ３によれば、距離Ｄ＝０のとき音量Ｖｏｌ＝ｖ１、距離Ｄ＝２００のとき音量Ｖｏｌ＝０である。距離Ｄが０から２００に変化する間、音量Ｖｏｌはｖ１から０まで直線的に減少する。そして、距離Ｄが２００を超えると、音量Ｖｏｌは常にゼロである。なお、図１６に示した音量決定グラフＧ３は一例に過ぎない。即ち、再生制御部１８０は、他の閾値、他の音量の傾き、又は他の音量決定グラフに従って、距離Ｄに応じて音量Ｖｏｌを設定してもよい。また、画像表示装置１００は、音量決定グラフをユーザに予め設定させてもよい。
【０１０２】
また、図１６において破線で示されたグラフＧ４は、縦軸を第１画像と関連付けられる音声信号の音量Ｖｏｌとする音量決定グラフである。グラフＧ４によれば、距離Ｄ＝０のとき音量Ｖｏｌ＝０、距離Ｄ＝２００のとき音量Ｖｏｌ＝ｖ１である。距離Ｄが０から２００に変化する間、音量Ｖｏｌは０からｖ１まで直線的に増加する。そして、距離Ｄが２００を超えると、音量Ｖｏｌは常にｖ１である。例えば、再生制御部１８０は、第１取得部１４０により第１画像と関連付けられる音声信号が取得される場合に、音量決定グラフＧ３及びＧ４に従って距離Ｄに応じて２つの音声信号の音量を決定し、決定した音量でこれら音声信号を重畳して再生してもよい。また、再生制御部１８０は、距離Ｄと閾値との比較の結果に応じて、単純に２つの音声信号の再生を切り替えてもよい。
【０１０３】
このような音量の制御により、ユーザは、視覚のみならず聴覚を通じて第２画像の表示位置とカーソル位置との間の位置関係を認識することができる。それにより、ユーザは、カーソルを操作することによる表示の制御を、より容易に行うことができる。また、カーソル位置を移動させるのみの簡易な操作で音声入力を切り替え、又は音量のバランスを変更することもできる。
【０１０４】
図１７は、本シナリオにおける画像表示装置１００による処理の流れの一例を示すフローチャートである。なお、ここでは、第１のシナリオによる透過率の制御と上述した第３のシナリオによる音量の制御とを組み合わせた例を説明する。
【０１０５】
図１７を参照すると、まず、画像表示装置１００の検出部１７０は、制御装置２００から送信される操作イベントＥｖを検出する（ステップＳ４０２）。次に、再生制御部１８０は、カーソル位置と第２画像の表示位置との間の距離Ｄを算出する（ステップＳ４０６）。次に、再生制御部１８０は、例えば図７に例示した透過率決定グラフＧ１又はＧ２を参照し、ステップＳ４０６において算出した距離Ｄに応じて、第２画像の透過率αを設定する（ステップＳ４０８）。次に、再生制御部１８０は、例えば図１６に例示した音量決定グラフＧ３を参照し、ステップＳ４０６において算出した距離Ｄに応じて、第２画像と関連付けられる音声信号の再生時の音量Ｖｏｌを設定する（ステップＳ４１０）。次に、再生部１６０は、第２画像を透過率αを用いて第１画像に重畳することにより、出力画像を生成する（ステップＳ４１４）。そして、再生部１６０は、生成した出力画像をスクリーン１０２上に表示する（ステップＳ４１６）。また、再生部１６０は、ステップＳ４１０において設定された音量で、第２画像と関連付けられる音声信号をスピーカ１２８を用いて再生する（ステップＳ４１８）。
【０１０６】
＜４．まとめ＞
ここまで、図１〜図１７を用いて、本発明の一実施形態に係る表示制御システム１、画像表示装置１００及び制御装置２００について説明した。本実施形態によれば、画像表示装置１００は、ユーザにより操作されるカーソルの出力画像内での位置を検出し、ＰｉｎＰにおける副画面を構成する第２画像の表示位置と検出したカーソル位置との間の位置関係に応じて、第２画像の透過率又は表示位置を制御する。それにより、ユーザは、カーソルを移動させる簡易な操作のみで、例えば、第２画像の背後に隠れた第１画像上のオブジェクトを発見し、これを操作することができる。従って、ＰｉｎＰなどの複合的な画面表示におけるユーザの操作性が一層向上される。
【０１０７】
また、本実施形態によれば、第２画像の表示位置とカーソル位置との間の位置関係は、第２画像の表示位置とカーソル位置との間の距離により表される。従って、画像表示装置１００は、第２画像の表示位置とカーソル位置との間の距離に応じて、第２画像の透過率又は表示位置を制御する。それにより、ユーザがカーソルを第２画像に近付けた場合に第２画像の背後の第１画像を視認可能とするような制御が可能となる。また、上記距離が小さくなるにつれて第２画像の透過率を上昇させ、又は第２画像に関連して再生される音声の音量を上昇させることで、第２画像の表示位置とカーソル位置との間の位置関係をユーザにより容易に認識させることが可能となり、ユーザによる操作がより良好に支援される。
【０１０８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０９】
１ 表示制御システム
１００ 画像表示装置
１４０ 第１取得部
１５０ 第２取得部
１６０ 再生部
１７０ 検出部
１８０ 再生制御部
２００ 制御装置
【特許請求の範囲】
【請求項１】
第１画像を取得する第１取得部と；
前記第１画像に重畳される第２画像を取得する第２取得部と；
前記第１画像に前記第２画像を重畳することにより出力画像を生成し、生成した前記出力画像を表示する再生部と；
ユーザにより操作されるカーソルの前記出力画像内での位置を検出する検出部と；
前記出力画像内での前記第２画像の表示位置と前記検出部により検出されるカーソル位置との間の位置関係に応じて、前記再生部による前記第２画像の表示を制御する再生制御部と；
を備える画像表示装置。
【請求項２】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離に応じて、前記第２画像の表示を制御する、請求項１に記載の画像表示装置。
【請求項３】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離に応じて、前記第２画像の透過率を変化させる、請求項２に記載の画像表示装置。
【請求項４】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離が所定の閾値よりも小さい場合に、前記第２画像を透過させる、請求項３に記載の画像表示装置。
【請求項５】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離が前記所定の閾値よりも小さい場合に、当該距離が小さくなるほど前記第２画像の透過率を上昇させる、請求項４に記載の画像表示装置。
【請求項６】
前記検出部は、前記カーソルの移動とは異なるユーザ入力をさらに検出可能であり、
前記再生制御部は、前記ユーザ入力が検出された場合には、前記カーソル位置に関わらず前記第２画像を透過させない、
請求項３〜５のいずれか１項に記載の画像表示装置。
【請求項７】
前記検出部は、前記カーソルの移動とは異なるユーザ入力をさらに検出可能であり、
前記再生制御部は、前記ユーザ入力が検出されていない場合には、前記カーソル位置に関わらず前記第２画像を透過させない、
請求項３〜５のいずれか１項に記載の画像表示装置。
【請求項８】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離がゼロ又は所定の閾値よりも小さい場合に、前記第２画像を出力画像内で他の位置へ移動させる、請求項２に記載の画像表示装置。
【請求項９】
前記第２取得部は、前記第２画像と関連付けられる音声信号をさらに取得し、
前記再生部は、前記第２取得部により取得される前記音声信号を再生し、
前記再生制御部は、前記位置関係に応じて、前記再生部による前記音声信号の再生をさらに制御する、
請求項１に記載の画像表示装置。
【請求項１０】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離が所定の閾値よりも大きい場合に、前記再生部に前記音声信号を再生させない、請求項９に記載の画像表示装置。
【請求項１１】
第１画像を取得するステップと；
前記第１画像に重畳される第２画像を取得するステップと；
前記第１画像に前記第２画像を重畳することにより出力画像を生成するステップと；
生成した前記出力画像を表示するステップと；
ユーザにより操作されるカーソルの前記出力画像内での位置を検出するステップと；
前記出力画像内での前記第２画像の表示位置と検出されたカーソル位置との間の位置関係に応じて、前記出力画像内での前記第２画像の表示を制御するステップと；
を含む表示制御方法。
【請求項１２】
第１画像に第２画像を重畳することにより生成される出力画像を表示する画像表示装置を制御するコンピュータを：
前記第１画像を取得する第１取得部と；
前記第２画像を取得する第２取得部と；
ユーザにより操作されるカーソルの前記出力画像内での位置を検出する検出部と；
前記出力画像内での前記第２画像の表示位置と前記検出部により検出されるカーソル位置との間の位置関係に応じて、前記出力画像内での前記第２画像の表示を制御する再生制御部と；
として機能させるためのプログラム。
【請求項１】
第１画像を取得する第１取得部と；
前記第１画像に重畳される第２画像を取得する第２取得部と；
前記第１画像に前記第２画像を重畳することにより出力画像を生成し、生成した前記出力画像を表示する再生部と；
ユーザにより操作されるカーソルの前記出力画像内での位置を検出する検出部と；
前記出力画像内での前記第２画像の表示位置と前記検出部により検出されるカーソル位置との間の位置関係に応じて、前記再生部による前記第２画像の表示を制御する再生制御部と；
を備える画像表示装置。
【請求項２】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離に応じて、前記第２画像の表示を制御する、請求項１に記載の画像表示装置。
【請求項３】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離に応じて、前記第２画像の透過率を変化させる、請求項２に記載の画像表示装置。
【請求項４】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離が所定の閾値よりも小さい場合に、前記第２画像を透過させる、請求項３に記載の画像表示装置。
【請求項５】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離が前記所定の閾値よりも小さい場合に、当該距離が小さくなるほど前記第２画像の透過率を上昇させる、請求項４に記載の画像表示装置。
【請求項６】
前記検出部は、前記カーソルの移動とは異なるユーザ入力をさらに検出可能であり、
前記再生制御部は、前記ユーザ入力が検出された場合には、前記カーソル位置に関わらず前記第２画像を透過させない、
請求項３〜５のいずれか１項に記載の画像表示装置。
【請求項７】
前記検出部は、前記カーソルの移動とは異なるユーザ入力をさらに検出可能であり、
前記再生制御部は、前記ユーザ入力が検出されていない場合には、前記カーソル位置に関わらず前記第２画像を透過させない、
請求項３〜５のいずれか１項に記載の画像表示装置。
【請求項８】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離がゼロ又は所定の閾値よりも小さい場合に、前記第２画像を出力画像内で他の位置へ移動させる、請求項２に記載の画像表示装置。
【請求項９】
前記第２取得部は、前記第２画像と関連付けられる音声信号をさらに取得し、
前記再生部は、前記第２取得部により取得される前記音声信号を再生し、
前記再生制御部は、前記位置関係に応じて、前記再生部による前記音声信号の再生をさらに制御する、
請求項１に記載の画像表示装置。
【請求項１０】
前記再生制御部は、前記第２画像の表示位置と前記カーソル位置との間の距離が所定の閾値よりも大きい場合に、前記再生部に前記音声信号を再生させない、請求項９に記載の画像表示装置。
【請求項１１】
第１画像を取得するステップと；
前記第１画像に重畳される第２画像を取得するステップと；
前記第１画像に前記第２画像を重畳することにより出力画像を生成するステップと；
生成した前記出力画像を表示するステップと；
ユーザにより操作されるカーソルの前記出力画像内での位置を検出するステップと；
前記出力画像内での前記第２画像の表示位置と検出されたカーソル位置との間の位置関係に応じて、前記出力画像内での前記第２画像の表示を制御するステップと；
を含む表示制御方法。
【請求項１２】
第１画像に第２画像を重畳することにより生成される出力画像を表示する画像表示装置を制御するコンピュータを：
前記第１画像を取得する第１取得部と；
前記第２画像を取得する第２取得部と；
ユーザにより操作されるカーソルの前記出力画像内での位置を検出する検出部と；
前記出力画像内での前記第２画像の表示位置と前記検出部により検出されるカーソル位置との間の位置関係に応じて、前記出力画像内での前記第２画像の表示を制御する再生制御部と；
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−８６２８（Ｐ２０１２−８６２８Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４１４５３（Ｐ２０１０−１４１４５３）
【出願日】平成２２年６月２２日（２０１０．６．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２２日（２０１０．６．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]