表示装置及び表示方法
【課題】ユーザの位置に追随してコンテンツが表示されるようにして、視聴が邪魔されるのを最小限に抑えることができるようにする。
【解決手段】表示装置において、複数の映像コンテンツを入力する手段と、複数のユーザを識別する手段と、ユーザの位置を検出する検出手段と、ユーザと視聴する映像コンテンツを関連付ける手段と、ユーザの位置に応じて優先度を決定する手段と、該優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、該表示画面を表示する手段とを設け、複数ユーザの位置関係を検出し、最も画面に近いユーザのコンテンツに最も高い表示優先度を与えるように重ね合わせて表示する。
【解決手段】表示装置において、複数の映像コンテンツを入力する手段と、複数のユーザを識別する手段と、ユーザの位置を検出する検出手段と、ユーザと視聴する映像コンテンツを関連付ける手段と、ユーザの位置に応じて優先度を決定する手段と、該優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、該表示画面を表示する手段とを設け、複数ユーザの位置関係を検出し、最も画面に近いユーザのコンテンツに最も高い表示優先度を与えるように重ね合わせて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示装置及び表示方法に関し、特に、複数のユーザが視聴する表示装置に用いて好適な技術に関する。
【背景技術】
【０００２】
従来、液晶ディスプレイや投射型ディスプレイに代表される、大画面ディスプレイが普及している。一台又は複数台のディスプレイを組合せて、壁面全体に表示するような表示システムも実用化されている。
【０００３】
壁面の表示システムにおいて、複数のユーザがそれぞれ異なるコンテンツを視聴するための方法として、リモコンを操作する毎にユーザの位置を検出し、その最寄りの位置に画面を表示する方法が考案されている。これによれば、複数のユーザがいた場合は人数割りしたサイズで表示を行なうようにしている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−９４９００号公報
【特許文献２】特開平０８−１５３１８７号公報
【特許文献３】特開２００１−２５０１２１号公報
【特許文献４】特開２００５−１００３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した従来例においては、複数のユーザの位置が近付いた場合に、他のユーザのコンテンツに上書きされて視聴が妨げられてしまう場合があった。例えば、他のユーザが横切る場合に、他のユーザのコンテンツ画面によって自分の視聴するコンテンツ画面が隠されてしまう問題点があった。
本発明は前述の問題点に鑑み、ユーザの位置に追随してコンテンツが表示されるようにして、視聴が邪魔されるのを最小限に抑えることができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の表示装置は、複数の映像コンテンツを入力する手段と、複数のユーザを識別する手段と、ユーザの位置を検出する検出手段と、ユーザと視聴する映像コンテンツを関連付ける手段と、ユーザの位置に応じて優先度を決定する手段と、前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、前記表示画面を表示する手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、最も近くで視聴するユーザのコンテンツを最も高い優先度で表示することが可能となり、視聴の邪魔を最小限に抑えることができるという効果がある。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の表示装置の特徴的な構成例を示すブロック図である。
【図２】ウインドウ間の干渉がない場合の表示例を示す図である。
【図３】ユーザが移動した場合の表示例を示す図である。
【図４】ユーザが後ろを横切った場合の表示例を示す図である。
【図５】ユーザが前を横切った場合の表示例を示す図である。
【図６】表示装置の詳細な構成例を示すブロック図である。
【図７】ユーザ位置検出の処理の流れを示すフローチャートである。
【図８】ユーザリストの構成例を示す図である。
【図９】ユーザとウインドウの関連付け処理の流れを示すフローチャートである。
【図１０】ウインドウリストの構成例を示す図である。
【図１１】映像表示の処理の流れを示すフローチャートである。
【図１２】ユーザが後ろを横切った場合の表示例を示す図である。
【図１３】ユーザが後ろを横切った場合の表示例を示す図である。
【図１４】第２の実施形態の表示装置の特徴的な構成例を示すブロック図である。
【図１５】第２の実施形態の表示装置の詳細な構成例を示すブロック図である。
【図１６】ユーザ位置検出の処理の流れを示すフローチャートである。
【図１７】第２の実施形態のユーザリストの構成例を示す図である。
【図１８】第２の実施形態の映像表示の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は図示された構成に限定されるものではない。
（第１の実施形態）
本実施形態では、大型のディスプレイを複数のユーザが視聴する場合に、ユーザの移動に追随してコンテンツ画面の表示位置が移動する例を説明する。本実施形態においては、コンテンツ画面の表示位置が干渉する場合には、ユーザの位置を検出し、最も画面に近いユーザの視聴コンテンツを優先して表示する、という特徴的な動作を行なう。
【００１０】
＜コンテンツウインドウ表示の動作画面例（図２〜図５）＞
以下、図２〜５の動作画面例を表す図面を用い、本実施形態の表示制御の動作例を説明する。本実施形態では、ウインドウ間の表示位置が干渉した場合に、ディスプレイに最も近いユーザの視聴ウインドウが最も前面になるように重ね合わせて表示する。
【００１１】
図２は、ウインドウ間の干渉がない場合の表示例を示す図である。表示ディスプレイを２人のユーザが視聴している。
まず、表示ディスプレイの構成に関し、１は表示ディスプレイ本体であり、３１は表示パネルである。表示ディスプレイ１の上辺には、水平方向にリモコン位置検出部２１が複数個設置されている。２２はカメラであり、表示ディスプレイ１が設置された部屋の上部に設置されており、表示ディスプレイ１の周囲の映像を撮影する。なお、ユーザの位置を表す座標系として、表示面の水平方向をＸ軸、垂直方向をＹ軸、表示面と鉛直の方向をＺ軸と定義する。
【００１２】
表示ディスプレイ１の周囲には２名のユーザがおり、５０はユーザＡ、５１はユーザＢである。表示パネル３１上には、視聴するユーザの最寄りの位置にコンテンツウインドウが表示されている。ユーザＡが視聴するウインドウＡ（５２）は、ユーザＡの最寄りの位置に表示される。ユーザＢが視聴するウインドウＢ（５３）は、ユーザＢの最寄りの位置に表示される。
【００１３】
図３は、ユーザが移動した場合の表示例を示す。図３は、ユーザＢ（５１）が表示ディスプレイ１に向かって右方向に移動した様子を示す。ユーザの移動に追随してウインドウＢ（５３）の表示位置も右方向に移動し、ユーザＢ（５１）の新たな位置の最寄りに表示される。
【００１４】
図４は、ユーザが他のユーザの後ろを横切った場合の表示例を示す。ユーザＡ（５０）とユーザＢ（５１）の位置が近接した結果、ウインドウＡとウインドウＢの表示位置が干渉している。ユーザＡの身体が邪魔になって、ユーザＢの視聴が妨げられている。本実施形態では、ウインドウＡ（５２）を最前面に表示することで、ユーザＡ（５０）の視聴を継続できるようにした。
【００１５】
図５は、ユーザが他のユーザの前を横切った場合の表示例を示す。この場合も、ウインドウＡ（５２）とウインドウＢ（５３）の表示位置が干渉する。ユーザＢ（５１）の身体が邪魔になって、ユーザＡの視聴が妨げられている。この場合には、ウインドウＢ（５３）を最前面に表示することで、最も画面近くにいるユーザＢの視聴を継続できるようにした。
以上のように、本実施形態では、最も近いユーザの視聴するコンテンツ画面が最も前面になるように表示する動作を行なう。
【００１６】
＜表示装置の構成（図１、図６）＞
図１は、本実施形態の表示装置の特徴的な構成例を示すブロック図であり、図１を用いて表示装置の構成を説明する。
図１において、１は表示装置の本体であり、大型の表示面を持ち、複数の映像コンテンツの画面を表示できる表示ディスプレイである。２はユーザ位置検出部であり、表示ディスプレイ１の周囲にいるユーザの位置を検出する。また、コンテンツの操作を行なったユーザがどの位置のユーザであるかを検出する。
【００１７】
３はユーザ識別部であり、検出されたユーザにＩＤを振って、それぞれのユーザを識別する。４はウインドウ関連付け部であり、コンテンツウインドウとユーザとを関連付けする。コンテンツウインドウの生成や操作を行なったユーザを当該ウインドウのオーナーであるとして、関連付けを行なう。
【００１８】
５は優先度判定部であり、各ウインドウの表示優先度を判定する。ウインドウに関連付けられたユーザの距離を判定基準に用い、距離が近いウインドウに高い優先度を割当てる。６は映像入力部であり、放送波やビデオ信号等、外部から映像コンテンツのデータを入力する。７は表示画面作成部であり、決定された優先度に従ってコンテンツウインドウのレイアウトを行なって、表示画面データを作成する。
【００１９】
本実施形態では、各ウインドウの表示位置が干渉した場合に、最も優先度の高いウインドウが最も前面になるように重ね合わせを行なう。８は表示部であり、表示画面データを表示パネル３２に表示する。
【００２０】
図６は、本実施形態の表示装置の詳細な構成例を示すブロック図である。図１と共通の要素には同一番号を付し、説明を省略する。
本実施形態では、ＲＦＩＤで検出したリモコン２０の位置と画像認識で検出した人物の位置をマッチングさせることで、コンテンツを視聴するユーザの位置を特定する。
図６において、２０はリモコンであり、ユーザに指示されたコマンドを赤外光に変調したデータ形式で出力する。また、リモコン２０はＲＦＩＤを内蔵しており、ディスプレイ側にリモコン２０のＩＤを検出させることができる。
【００２１】
３３はリモコン受光部であり、リモコン２０から送信される赤外光を受信して電気信号に変換する。２１はリモコン位置検出部であり、複数のＲＦＩＤ受信部で構成され、リモコン２０の位置を検出する。図２で説明したように、表示ディスプレイ１の上辺に複数個が設置されている。最も受信感度が高かったＲＦＩＤ受信部の位置がリモコン２０の位置として検出される。リモコン位置検出は、複数の赤外受光部を配置して検出するようにしてもよい。
【００２２】
２２はカメラであり、ディスプレイ周囲の光景を撮影する。２３は画像認識部であり、撮影された画像の認識を行って、人物の位置を検出する。画像認識の方法は、任意の公知のアルゴリズムを使用することができる。例えば、特許文献２に示されるように、背景画像との差分から人物のシルエット関数を作成し、人体各部の寸法の閾値と比較することで、複数の人物を分離して抽出することができる。
【００２３】
これに加えて、位置が既知である床上の物体と各人物の足位置を比較することで、人物の位置を特定することができる。２４はユーザリストであり、認識された各ユーザの位置を記録する。２５はウインドウリストであり、ウインドウに関連付けられたユーザのＩＤやウインドウを表示するための情報を記録する。両リストの詳細は後述する。
【００２４】
次に、映像コンテンツの表示に関わる要素を説明する。
２６は映像入力部６を構成するビデオ入力インタフェースであり、外部からの映像コンテンツを入力する。例えば、アナログコンポジット信号やアナログコンポーネント信号、ＨＤＭＩやＤＶＩ等のデジタルビデオ信号規格のインタフェースで構成され、各種の映像コンテンツを入力する。
【００２５】
２７は放送チューナであり、アンテナから入力された放送波から選択されたチャンネルの信号を抽出し、復調する。また、復調されたストリームデータのデコードを行なって、ビデオデータを出力する。
【００２６】
２８は高画質化処理部であり、入力された画像データに対して拡大縮小や輪郭補正、色補正等の画像処理を施す。２９は重ね合せ制御部であり、視聴中のコンテンツウインドウを重ね合わせて描画することにより、表示パネル３２に表示する画面データを作成する。３０はＯＳＤ合成部であり、ビデオポート番号や音量設定など各種の操作情報を表示画面データにさらに重ね合わせる。
【００２７】
３１は表示パネル制御部であり、表示パネル３２に画面を表示するための制御を行なう。表示パネル３２の特性に合わせたタイミングの同期信号を生成し、同期信号に合わせて表示画面データを読み出して出力する。また、信号電圧レベルの変換や補助信号の作成も行なう。３２は表示パネルであり、液晶やプラズマ、プロジェクション、ＣＲＴ、有機ＥＬ、ＳＥＤ等の任意の表示方式で構成される。
【００２８】
３４は全体制御部であり、ユーザ位置検出や関連付け、映像表示制御を含め、表示ディスプレイ１の装置全体の制御を行なう。全体制御部３４は、ＣＰＵと周辺回路、メモリ等から構成される。また、図示されていないが、表示ディスプレイ１は、音声データを再生するための音声処理部、アンプ、スピーカ、通信インタフェース、ユーザインタフェース、電源等を含む。
【００２９】
＜ユーザ位置検出の処理の流れ（図７、図８）＞
図７のフローチャートを用いて、ユーザ位置検出の処理の流れを説明する。ユーザ位置検出においては、ディスプレイ周囲の画像を画像認識して人物を抽出し、人物の位置を算出してユーザリストに登録する。なお、図７のフローチャートの各ステップの処理は、本実施形態の全体制御部３４内の、不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵなどにより読み出されるプログラムにより実行される。
図７中、Ｓ７０１では、カメラ２２を駆動してディスプレイ周囲の画像を撮影する。Ｓ７０２では、画像認識部２３を駆動して人物を抽出する。Ｓ７０３では、ユーザ位置抽出部３５を駆動して、人物の位置を算出する。Ｓ７０４では、算出した位置座標をユーザリスト２４に登録し、Ｓ７０１へ戻る。前記の処理を、一定周期毎に繰り返すことで、ディスプレイ周囲にいるユーザの位置を追尾することができる。
【００３０】
図８は、ユーザリストの構成例を示す図である。リストには人物毎の位置座標が記録されている。８１はユーザＩＤであり、人物を識別するユニークな識別名が割当てられる。８２はＸ座標であり、ディスプレイ左端から水平方向の距離が記録される。８３はＹ座標であり、ディスプレイ上端から垂直方向の距離が記録される。８４はＺ座標であり、ディスプレイ面から鉛直方向の距離が記録される。図８の例では、ユーザＡはＸ座標が１０００、Ｙ座標が５００、Ｚ座標が１７００の場所にいることが記録されている。
【００３１】
＜コンテンツウインドウ関連付けの処理の流れ（図９、図１０）＞
図９のフローチャートを用いて、ユーザとウインドウの関連付け処理の流れを説明する。図９のフローチャートの各ステップの処理は、本実施形態の全体制御部３４内の、不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵなどにより読み出されるプログラムにより実行される。
リモコン２０が操作された時にリモコン位置を検出し、操作したユーザとユーザリスト中のユーザをマッチングする。リモコン２０によって生成・操作されたウインドウをユーザに関連付け、ウインドウリストに登録する。
【００３２】
Ｓ９０１では、リモコン受信があったかを判定し、肯定であればＳ９０２へ進み、否定であればＳ９０１の実行を繰返す（待機状態）。
Ｓ９０２では、リモコン受光部３３を用いて、リモコン２０のコマンドを受信する。
Ｓ９０３では、リモコン位置検出部２１を用いて、リモコン２０の位置を検出する。
Ｓ９０４では、リモコン位置の最も近傍にいるユーザをユーザリスト２４から検索する。
Ｓ９０５では、検索されたユーザをウインドウリスト２５に追加する。
Ｓ９０６では、リモコン２０で指示されたコマンドをウインドウに対して実行し、Ｓ９０１へ戻る。
【００３３】
図１０は、ウインドウリスト２５の構成例を示す図である。ウインドウリスト２５には、関連付けられたユーザＩＤ、表示コンテンツ名、表示座標、優先順位が記録される。
図１０において、１００１はウインドウＩＤであり、ウインドウを識別するＩＤ番号が割当てられる。１００２はユーザＩＤであり、ウインドウに関連付けられたユーザＩＤが記録される。１００３はコンテンツ名であり、ウインドウで表示する入力ソース名やチャンネル名が記録される。
【００３４】
１００４はＸ座標、１００５はＹ座標であり、表示画面上でウインドウがレイアウトされる領域の座標が記録される。１００６は優先順位であり、後述の映像表示処理で決定された優先順位が記録される。図１０の例では、ウインドウ１は、ユーザＡに関連付けられており、ＶＩＤＥＯ３のソースを表示する。また、表示位置はＸ座標が７００、Ｙ座標が４００であり、優先順位は１である。
以上の処理により、ユーザとユーザが操作指示したコンテンツを関連付けることができる。
【００３５】
＜映像表示の処理の流れ（図１１）＞
図１１のフローチャートを用いて映像表示の処理の流れを説明する。この映像表示処理は、ディスプレイが１フレームを表示する毎に実行される。各ウインドウの表示位置と優先順位を決定した後に、優先順位の順にコンテンツを描画して表示出力する。
【００３６】
Ｓ１１０１では、ウインドウリスト２５からウインドウＩＤを順に取り出す。当該ウインドウに関連付けられたユーザＩＤを取り出す。
Ｓ１１０２では、ユーザリスト２４からユーザＩＤを検索し、当該ユーザの位置座標を取り出す。
Ｓ１１０３では、ユーザの位置が中心となるように、ウインドウの表示位置を決定する。
Ｓ１１０４では、関連付けられたユーザの距離が近い順にウインドウの優先順位を並べ替える。ユーザの距離はユーザリストのＺ座標フィールド８４の値を用い、並べ替えられた優先順位はウインドウリスト２５の優先順位フィールド１００６に記録される。
【００３７】
Ｓ１１０５では、優先度判定したウインドウが最後のウインドウか判定し、肯定であればＳ１１０６へ、否定であればＳ１１０１へ進む。
Ｓ１１０６では、優先順位が低いウインドウから順に、コンテンツ画面を表示用メモリに描画する。優先順位が低いウインドウほど背面に描画される。
Ｓ１１０７では、描画されたウインドウが最後のウインドウか判定し、肯定であればＳ１１０８へ、否定であればＳ１１０６へ進む。
Ｓ１１０８では、全てのコンテンツ画面が描画された１フレーム分の画面データを表示パネルに出力し、ディスプレイ画面に表示させる。
【００３８】
以上の処理により、ユーザの最寄りの位置に追随してコンテンツ画面を表示することができる。ウインドウ位置が干渉した場合は、最も近いユーザが視聴するウインドウを最前面に重ね合わせて表示することができる。
以上説明したように、本実施形態によれば、最も近くで視聴するユーザのコンテンツを優先して表示するので、視聴の邪魔を最小限に抑えることができる。
【００３９】
本発明は、前述の実施形態に限定されるものではなく、幅広く応用することが可能である。
優先されたウインドウの表示レイアウトは、以下のようにしてもよい。図１２に示すように、高優先度のウインドウ（５２）を迂回する位置に低優先度のウインドウ（５３）をレイアウトしてもよい。図１３に示すように、低優先度のウインドウ（５３）を縮小表示してもよい。低優先度のウインドウの表示を薄くして表示してもよい。
【００４０】
３次元映像を表示可能なディスプレイにおいて、低優先度の３次元コンテンツを３次元的に遠方にレイアウトしてもよい。ユーザは遠方よりも近くのオブジェクトを注視する可能性が高いから、低優先度の３次元コンテンツを遠方にレイアウトすることで、視聴の妨げを減らすことができる。また、ウインドウ自体を遠方にレイアウトするのではなく、主要な被写体が遠方に配置されるようにコンテンツ画像をブレンド表示するようにしてもよい。
また、前述した表示レイアウト方法を組み合わせてもよい。例えば、低優先度のウインドウを縮小した上で迂回するようにレイアウトしてもよい。
【００４１】
本実施形態でのユーザ位置検出はリモコンの位置検出と画像認識を併用して行なったが、画像認識だけで行なうようにしてもよい。リモコンの形状をマッチングさせ、撮影画像のどこに位置するかを検出すればよい。また、ＣＭＯＳエリアセンサや超音波センサ等の距離センサを併用して位置検出するようにしてもよい。
【００４２】
本実施形態でのユーザの関連付けはリモコン位置の検出と画像認識を併用して行なったが、リモコンのＲＦＩＤだけで行なうようにしてもよい。ユニークなＩＤを持つ複数のリモコンが存在して一人一台持っていた場合には、操作が行なわれたリモコンのＲＦＩＤで関連付けを行なうことができる。
さらに、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパソコン等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【００４３】
（第２の実施形態）
本実施形態では、ウインドウが視聴中か否かを検出し、見られていないウインドウを優先制御の対象から外す例を説明する。撮影画像を画像認識してユーザの顔の向きを検出し、ユーザがウインドウを向いている場合を視聴中と判定する。
【００４４】
＜表示装置の構成（図１４、図１５）＞
図１４は、本実施形態の表示装置の特徴的な構成例を示すブロック図である。図１と共通の要素には同一番号を付し、説明を省略する。図１４では、ユーザ視聴検出部９が追加されている。ユーザ視聴検出部９は、各ユーザがウインドウを見ているか否かを検出し、検出結果をユーザ識別部３に通知する。
【００４５】
図１５は、本実施形態の表示装置の詳細な構成例を示すブロック図である。図１５では、図６の構成にユーザ視聴検出部９が追加されている。ユーザ視聴検出部９は、ユーザ顔方向抽出部３６で構成される。ユーザ顔方向抽出部３６は、画像認識部２３の認識結果からユーザの顔の方向を検出する。顔方向の検出は、任意の公知のアルゴリズムを使用してよい。例えば、特許文献３に示されるように、顔の向きごとに算出した平均特徴ベクトルと、認識対象の画像データから抽出した特徴データを使用してマッチングを行なうことで、顔の向きを検出できる。
【００４６】
＜ユーザ位置検出の処理の流れ（図１６、図１７）＞
図１６は、ユーザ位置検出の処理の流れを示すフローチャートである。図１６のフローチャートは、図７のフローチャートにＳ１６０１を追加した。Ｓ１６０１では、画像認識部２３の結果を用いて、ユーザの顔の方向を判定する。続くＳ７０４では、従前のフィールドに加えて、ユーザの顔方向の判定結果を視聴有無のフィールドに登録する。
図１７は、本実施形態におけるユーザリストの構成例を示す図である。図１７は、図８のユーザリストに視聴有無フィールド８５を追加した。視聴有無フィールド８５は、ユーザ視聴検出部９の結果を記録する。図１７の例では、ユーザＡはウインドウを見ており、ユーザＢは見ていないことを示す。
【００４７】
＜映像表示の処理の流れ（図１８）＞
図１８は、映像表示の処理の流れを示すフローチャートである。図１８は、図１１のフローチャートにＳ１８０１及びＳ１８０２を追加した。Ｓ１８０１では、関連付けられているユーザが当該ウインドウを見ているかを判定し、肯定であればＳ１１０４へ、否定であればＳ１８０２へ進む。
【００４８】
Ｓ１１０４では、前述の実施形態と同様にウインドウの優先度の並べ替えを行ない、Ｓ１１０５へ進む。Ｓ１８０２では、優先度制御の対象から外れた場合の処理であり、当該ウインドウを優先度を最も低く設定し、Ｓ１１０５へ進む。これにより、優先度制御の対象から外れたウインドウは、背面にレイアウトされる。以上の処理により、ユーザがウインドウを見ているか判定して、見られていないウインドウを優先度制御の対象から外して背面にレイアウトすることができる。
【００４９】
以上説明したように、本実施形態によれば前述の実施形態と同様な効果を得ることができる。さらに、画面を見ていないユーザを優先度制御の対象から外せるので、本当に視聴しているユーザの視聴の邪魔をさらに低減することが可能になる。
【００５０】
本発明は、前述の実施形態に限定されるものではなく、幅広く応用することが可能である。
本実施形態では視聴しているか否かの判定を顔の向きで行なったが、視線の方向で行なってもよい。この場合、ユーザ視聴検出部９は、撮影された画像の画像認識結果から視線方向を検出する。視線方向の検出は、任意の公知のアルゴリズムを使用してよい。例えば、特許文献４に示されるように、被験者の目の開閉画像でキャリブレーションを行い、目と眉のテンプレートと入力画像を比較することで、視線方向を検出できる。
【００５１】
また、画像認識によらず、角度センサなど各種センサを使用して視聴検出するようにしてもよい。ユーザの頭部に眼球の動きを検出するようなセンサを装着して、視線を検出するようにしてもよい。
【００５２】
また、見られていないウインドウを一旦、表示画面から消去するようにしてもよい。一定時間以上、見られていないことを検出して、ウインドウリストに記録する。映像表示の処理では、見られていないウインドウの描画をスキップする。再びユーザが表示画面を見た場合には、その最寄りの位置にコンテンツ画面を改めて描画するようにしてもよい。また、再度のリモコン処理でウインドウの表示を再開するようにしてもよい。
【００５３】
本実施形態では、ユーザが見ていない場合に優先度を下げる処理を行なったが、ユーザが移動速度に応じて優先度を下げるようにしてもよい。移動中は前方の光景を注視する可能性が高いから、優先度を下げても視聴への影響度合いは少ない。ユーザ位置抽出部３５は、前回のユーザ位置との差分からユーザの移動速度を検出し、ユーザリスト２４に記録する。映像表示処理では、ユーザの移動速度が一定以上の場合は、優先度並べ替えの対象から外して背面にレイアウトする。以上のようにすることで、ユーザの移動速度を考慮した優先度制御を行なうことができる。
【００５４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５５】
１ 表示装置、２ ユーザ位置検出部、３ ユーザ識別部、４ ウインドウ関連付け部、５ 優先度判定部、６ 映像入力部、７ 表示画面作成部、８ 表示部、９ ユーザ視聴検出部、２０ リモコン、２１ リモコン位置検出部、２２ カメラ、２３ 画像認識部、２４ ユーザリスト、２５ ウインドウリスト、２６ ビデオ入力インタフェース、２７ 放送チューナ、２８ 高画質化処理部、２９ 重ね合せ制御部、３０ ＯＳＤ合成部、３１ 表示パネル制御部、３２ 表示パネル、３３ リモコン受光部、３４ 全体制御部、３５ ユーザ位置抽出部、３６ ユーザ顔方向抽出部、５０ ユーザＡ、５１ ユーザＢ、５２ ウインドウＡ、５３ ウインドウＢ
【技術分野】
【０００１】
本発明は表示装置及び表示方法に関し、特に、複数のユーザが視聴する表示装置に用いて好適な技術に関する。
【背景技術】
【０００２】
従来、液晶ディスプレイや投射型ディスプレイに代表される、大画面ディスプレイが普及している。一台又は複数台のディスプレイを組合せて、壁面全体に表示するような表示システムも実用化されている。
【０００３】
壁面の表示システムにおいて、複数のユーザがそれぞれ異なるコンテンツを視聴するための方法として、リモコンを操作する毎にユーザの位置を検出し、その最寄りの位置に画面を表示する方法が考案されている。これによれば、複数のユーザがいた場合は人数割りしたサイズで表示を行なうようにしている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−９４９００号公報
【特許文献２】特開平０８−１５３１８７号公報
【特許文献３】特開２００１−２５０１２１号公報
【特許文献４】特開２００５−１００３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した従来例においては、複数のユーザの位置が近付いた場合に、他のユーザのコンテンツに上書きされて視聴が妨げられてしまう場合があった。例えば、他のユーザが横切る場合に、他のユーザのコンテンツ画面によって自分の視聴するコンテンツ画面が隠されてしまう問題点があった。
本発明は前述の問題点に鑑み、ユーザの位置に追随してコンテンツが表示されるようにして、視聴が邪魔されるのを最小限に抑えることができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の表示装置は、複数の映像コンテンツを入力する手段と、複数のユーザを識別する手段と、ユーザの位置を検出する検出手段と、ユーザと視聴する映像コンテンツを関連付ける手段と、ユーザの位置に応じて優先度を決定する手段と、前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、前記表示画面を表示する手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、最も近くで視聴するユーザのコンテンツを最も高い優先度で表示することが可能となり、視聴の邪魔を最小限に抑えることができるという効果がある。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の表示装置の特徴的な構成例を示すブロック図である。
【図２】ウインドウ間の干渉がない場合の表示例を示す図である。
【図３】ユーザが移動した場合の表示例を示す図である。
【図４】ユーザが後ろを横切った場合の表示例を示す図である。
【図５】ユーザが前を横切った場合の表示例を示す図である。
【図６】表示装置の詳細な構成例を示すブロック図である。
【図７】ユーザ位置検出の処理の流れを示すフローチャートである。
【図８】ユーザリストの構成例を示す図である。
【図９】ユーザとウインドウの関連付け処理の流れを示すフローチャートである。
【図１０】ウインドウリストの構成例を示す図である。
【図１１】映像表示の処理の流れを示すフローチャートである。
【図１２】ユーザが後ろを横切った場合の表示例を示す図である。
【図１３】ユーザが後ろを横切った場合の表示例を示す図である。
【図１４】第２の実施形態の表示装置の特徴的な構成例を示すブロック図である。
【図１５】第２の実施形態の表示装置の詳細な構成例を示すブロック図である。
【図１６】ユーザ位置検出の処理の流れを示すフローチャートである。
【図１７】第２の実施形態のユーザリストの構成例を示す図である。
【図１８】第２の実施形態の映像表示の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は図示された構成に限定されるものではない。
（第１の実施形態）
本実施形態では、大型のディスプレイを複数のユーザが視聴する場合に、ユーザの移動に追随してコンテンツ画面の表示位置が移動する例を説明する。本実施形態においては、コンテンツ画面の表示位置が干渉する場合には、ユーザの位置を検出し、最も画面に近いユーザの視聴コンテンツを優先して表示する、という特徴的な動作を行なう。
【００１０】
＜コンテンツウインドウ表示の動作画面例（図２〜図５）＞
以下、図２〜５の動作画面例を表す図面を用い、本実施形態の表示制御の動作例を説明する。本実施形態では、ウインドウ間の表示位置が干渉した場合に、ディスプレイに最も近いユーザの視聴ウインドウが最も前面になるように重ね合わせて表示する。
【００１１】
図２は、ウインドウ間の干渉がない場合の表示例を示す図である。表示ディスプレイを２人のユーザが視聴している。
まず、表示ディスプレイの構成に関し、１は表示ディスプレイ本体であり、３１は表示パネルである。表示ディスプレイ１の上辺には、水平方向にリモコン位置検出部２１が複数個設置されている。２２はカメラであり、表示ディスプレイ１が設置された部屋の上部に設置されており、表示ディスプレイ１の周囲の映像を撮影する。なお、ユーザの位置を表す座標系として、表示面の水平方向をＸ軸、垂直方向をＹ軸、表示面と鉛直の方向をＺ軸と定義する。
【００１２】
表示ディスプレイ１の周囲には２名のユーザがおり、５０はユーザＡ、５１はユーザＢである。表示パネル３１上には、視聴するユーザの最寄りの位置にコンテンツウインドウが表示されている。ユーザＡが視聴するウインドウＡ（５２）は、ユーザＡの最寄りの位置に表示される。ユーザＢが視聴するウインドウＢ（５３）は、ユーザＢの最寄りの位置に表示される。
【００１３】
図３は、ユーザが移動した場合の表示例を示す。図３は、ユーザＢ（５１）が表示ディスプレイ１に向かって右方向に移動した様子を示す。ユーザの移動に追随してウインドウＢ（５３）の表示位置も右方向に移動し、ユーザＢ（５１）の新たな位置の最寄りに表示される。
【００１４】
図４は、ユーザが他のユーザの後ろを横切った場合の表示例を示す。ユーザＡ（５０）とユーザＢ（５１）の位置が近接した結果、ウインドウＡとウインドウＢの表示位置が干渉している。ユーザＡの身体が邪魔になって、ユーザＢの視聴が妨げられている。本実施形態では、ウインドウＡ（５２）を最前面に表示することで、ユーザＡ（５０）の視聴を継続できるようにした。
【００１５】
図５は、ユーザが他のユーザの前を横切った場合の表示例を示す。この場合も、ウインドウＡ（５２）とウインドウＢ（５３）の表示位置が干渉する。ユーザＢ（５１）の身体が邪魔になって、ユーザＡの視聴が妨げられている。この場合には、ウインドウＢ（５３）を最前面に表示することで、最も画面近くにいるユーザＢの視聴を継続できるようにした。
以上のように、本実施形態では、最も近いユーザの視聴するコンテンツ画面が最も前面になるように表示する動作を行なう。
【００１６】
＜表示装置の構成（図１、図６）＞
図１は、本実施形態の表示装置の特徴的な構成例を示すブロック図であり、図１を用いて表示装置の構成を説明する。
図１において、１は表示装置の本体であり、大型の表示面を持ち、複数の映像コンテンツの画面を表示できる表示ディスプレイである。２はユーザ位置検出部であり、表示ディスプレイ１の周囲にいるユーザの位置を検出する。また、コンテンツの操作を行なったユーザがどの位置のユーザであるかを検出する。
【００１７】
３はユーザ識別部であり、検出されたユーザにＩＤを振って、それぞれのユーザを識別する。４はウインドウ関連付け部であり、コンテンツウインドウとユーザとを関連付けする。コンテンツウインドウの生成や操作を行なったユーザを当該ウインドウのオーナーであるとして、関連付けを行なう。
【００１８】
５は優先度判定部であり、各ウインドウの表示優先度を判定する。ウインドウに関連付けられたユーザの距離を判定基準に用い、距離が近いウインドウに高い優先度を割当てる。６は映像入力部であり、放送波やビデオ信号等、外部から映像コンテンツのデータを入力する。７は表示画面作成部であり、決定された優先度に従ってコンテンツウインドウのレイアウトを行なって、表示画面データを作成する。
【００１９】
本実施形態では、各ウインドウの表示位置が干渉した場合に、最も優先度の高いウインドウが最も前面になるように重ね合わせを行なう。８は表示部であり、表示画面データを表示パネル３２に表示する。
【００２０】
図６は、本実施形態の表示装置の詳細な構成例を示すブロック図である。図１と共通の要素には同一番号を付し、説明を省略する。
本実施形態では、ＲＦＩＤで検出したリモコン２０の位置と画像認識で検出した人物の位置をマッチングさせることで、コンテンツを視聴するユーザの位置を特定する。
図６において、２０はリモコンであり、ユーザに指示されたコマンドを赤外光に変調したデータ形式で出力する。また、リモコン２０はＲＦＩＤを内蔵しており、ディスプレイ側にリモコン２０のＩＤを検出させることができる。
【００２１】
３３はリモコン受光部であり、リモコン２０から送信される赤外光を受信して電気信号に変換する。２１はリモコン位置検出部であり、複数のＲＦＩＤ受信部で構成され、リモコン２０の位置を検出する。図２で説明したように、表示ディスプレイ１の上辺に複数個が設置されている。最も受信感度が高かったＲＦＩＤ受信部の位置がリモコン２０の位置として検出される。リモコン位置検出は、複数の赤外受光部を配置して検出するようにしてもよい。
【００２２】
２２はカメラであり、ディスプレイ周囲の光景を撮影する。２３は画像認識部であり、撮影された画像の認識を行って、人物の位置を検出する。画像認識の方法は、任意の公知のアルゴリズムを使用することができる。例えば、特許文献２に示されるように、背景画像との差分から人物のシルエット関数を作成し、人体各部の寸法の閾値と比較することで、複数の人物を分離して抽出することができる。
【００２３】
これに加えて、位置が既知である床上の物体と各人物の足位置を比較することで、人物の位置を特定することができる。２４はユーザリストであり、認識された各ユーザの位置を記録する。２５はウインドウリストであり、ウインドウに関連付けられたユーザのＩＤやウインドウを表示するための情報を記録する。両リストの詳細は後述する。
【００２４】
次に、映像コンテンツの表示に関わる要素を説明する。
２６は映像入力部６を構成するビデオ入力インタフェースであり、外部からの映像コンテンツを入力する。例えば、アナログコンポジット信号やアナログコンポーネント信号、ＨＤＭＩやＤＶＩ等のデジタルビデオ信号規格のインタフェースで構成され、各種の映像コンテンツを入力する。
【００２５】
２７は放送チューナであり、アンテナから入力された放送波から選択されたチャンネルの信号を抽出し、復調する。また、復調されたストリームデータのデコードを行なって、ビデオデータを出力する。
【００２６】
２８は高画質化処理部であり、入力された画像データに対して拡大縮小や輪郭補正、色補正等の画像処理を施す。２９は重ね合せ制御部であり、視聴中のコンテンツウインドウを重ね合わせて描画することにより、表示パネル３２に表示する画面データを作成する。３０はＯＳＤ合成部であり、ビデオポート番号や音量設定など各種の操作情報を表示画面データにさらに重ね合わせる。
【００２７】
３１は表示パネル制御部であり、表示パネル３２に画面を表示するための制御を行なう。表示パネル３２の特性に合わせたタイミングの同期信号を生成し、同期信号に合わせて表示画面データを読み出して出力する。また、信号電圧レベルの変換や補助信号の作成も行なう。３２は表示パネルであり、液晶やプラズマ、プロジェクション、ＣＲＴ、有機ＥＬ、ＳＥＤ等の任意の表示方式で構成される。
【００２８】
３４は全体制御部であり、ユーザ位置検出や関連付け、映像表示制御を含め、表示ディスプレイ１の装置全体の制御を行なう。全体制御部３４は、ＣＰＵと周辺回路、メモリ等から構成される。また、図示されていないが、表示ディスプレイ１は、音声データを再生するための音声処理部、アンプ、スピーカ、通信インタフェース、ユーザインタフェース、電源等を含む。
【００２９】
＜ユーザ位置検出の処理の流れ（図７、図８）＞
図７のフローチャートを用いて、ユーザ位置検出の処理の流れを説明する。ユーザ位置検出においては、ディスプレイ周囲の画像を画像認識して人物を抽出し、人物の位置を算出してユーザリストに登録する。なお、図７のフローチャートの各ステップの処理は、本実施形態の全体制御部３４内の、不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵなどにより読み出されるプログラムにより実行される。
図７中、Ｓ７０１では、カメラ２２を駆動してディスプレイ周囲の画像を撮影する。Ｓ７０２では、画像認識部２３を駆動して人物を抽出する。Ｓ７０３では、ユーザ位置抽出部３５を駆動して、人物の位置を算出する。Ｓ７０４では、算出した位置座標をユーザリスト２４に登録し、Ｓ７０１へ戻る。前記の処理を、一定周期毎に繰り返すことで、ディスプレイ周囲にいるユーザの位置を追尾することができる。
【００３０】
図８は、ユーザリストの構成例を示す図である。リストには人物毎の位置座標が記録されている。８１はユーザＩＤであり、人物を識別するユニークな識別名が割当てられる。８２はＸ座標であり、ディスプレイ左端から水平方向の距離が記録される。８３はＹ座標であり、ディスプレイ上端から垂直方向の距離が記録される。８４はＺ座標であり、ディスプレイ面から鉛直方向の距離が記録される。図８の例では、ユーザＡはＸ座標が１０００、Ｙ座標が５００、Ｚ座標が１７００の場所にいることが記録されている。
【００３１】
＜コンテンツウインドウ関連付けの処理の流れ（図９、図１０）＞
図９のフローチャートを用いて、ユーザとウインドウの関連付け処理の流れを説明する。図９のフローチャートの各ステップの処理は、本実施形態の全体制御部３４内の、不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵなどにより読み出されるプログラムにより実行される。
リモコン２０が操作された時にリモコン位置を検出し、操作したユーザとユーザリスト中のユーザをマッチングする。リモコン２０によって生成・操作されたウインドウをユーザに関連付け、ウインドウリストに登録する。
【００３２】
Ｓ９０１では、リモコン受信があったかを判定し、肯定であればＳ９０２へ進み、否定であればＳ９０１の実行を繰返す（待機状態）。
Ｓ９０２では、リモコン受光部３３を用いて、リモコン２０のコマンドを受信する。
Ｓ９０３では、リモコン位置検出部２１を用いて、リモコン２０の位置を検出する。
Ｓ９０４では、リモコン位置の最も近傍にいるユーザをユーザリスト２４から検索する。
Ｓ９０５では、検索されたユーザをウインドウリスト２５に追加する。
Ｓ９０６では、リモコン２０で指示されたコマンドをウインドウに対して実行し、Ｓ９０１へ戻る。
【００３３】
図１０は、ウインドウリスト２５の構成例を示す図である。ウインドウリスト２５には、関連付けられたユーザＩＤ、表示コンテンツ名、表示座標、優先順位が記録される。
図１０において、１００１はウインドウＩＤであり、ウインドウを識別するＩＤ番号が割当てられる。１００２はユーザＩＤであり、ウインドウに関連付けられたユーザＩＤが記録される。１００３はコンテンツ名であり、ウインドウで表示する入力ソース名やチャンネル名が記録される。
【００３４】
１００４はＸ座標、１００５はＹ座標であり、表示画面上でウインドウがレイアウトされる領域の座標が記録される。１００６は優先順位であり、後述の映像表示処理で決定された優先順位が記録される。図１０の例では、ウインドウ１は、ユーザＡに関連付けられており、ＶＩＤＥＯ３のソースを表示する。また、表示位置はＸ座標が７００、Ｙ座標が４００であり、優先順位は１である。
以上の処理により、ユーザとユーザが操作指示したコンテンツを関連付けることができる。
【００３５】
＜映像表示の処理の流れ（図１１）＞
図１１のフローチャートを用いて映像表示の処理の流れを説明する。この映像表示処理は、ディスプレイが１フレームを表示する毎に実行される。各ウインドウの表示位置と優先順位を決定した後に、優先順位の順にコンテンツを描画して表示出力する。
【００３６】
Ｓ１１０１では、ウインドウリスト２５からウインドウＩＤを順に取り出す。当該ウインドウに関連付けられたユーザＩＤを取り出す。
Ｓ１１０２では、ユーザリスト２４からユーザＩＤを検索し、当該ユーザの位置座標を取り出す。
Ｓ１１０３では、ユーザの位置が中心となるように、ウインドウの表示位置を決定する。
Ｓ１１０４では、関連付けられたユーザの距離が近い順にウインドウの優先順位を並べ替える。ユーザの距離はユーザリストのＺ座標フィールド８４の値を用い、並べ替えられた優先順位はウインドウリスト２５の優先順位フィールド１００６に記録される。
【００３７】
Ｓ１１０５では、優先度判定したウインドウが最後のウインドウか判定し、肯定であればＳ１１０６へ、否定であればＳ１１０１へ進む。
Ｓ１１０６では、優先順位が低いウインドウから順に、コンテンツ画面を表示用メモリに描画する。優先順位が低いウインドウほど背面に描画される。
Ｓ１１０７では、描画されたウインドウが最後のウインドウか判定し、肯定であればＳ１１０８へ、否定であればＳ１１０６へ進む。
Ｓ１１０８では、全てのコンテンツ画面が描画された１フレーム分の画面データを表示パネルに出力し、ディスプレイ画面に表示させる。
【００３８】
以上の処理により、ユーザの最寄りの位置に追随してコンテンツ画面を表示することができる。ウインドウ位置が干渉した場合は、最も近いユーザが視聴するウインドウを最前面に重ね合わせて表示することができる。
以上説明したように、本実施形態によれば、最も近くで視聴するユーザのコンテンツを優先して表示するので、視聴の邪魔を最小限に抑えることができる。
【００３９】
本発明は、前述の実施形態に限定されるものではなく、幅広く応用することが可能である。
優先されたウインドウの表示レイアウトは、以下のようにしてもよい。図１２に示すように、高優先度のウインドウ（５２）を迂回する位置に低優先度のウインドウ（５３）をレイアウトしてもよい。図１３に示すように、低優先度のウインドウ（５３）を縮小表示してもよい。低優先度のウインドウの表示を薄くして表示してもよい。
【００４０】
３次元映像を表示可能なディスプレイにおいて、低優先度の３次元コンテンツを３次元的に遠方にレイアウトしてもよい。ユーザは遠方よりも近くのオブジェクトを注視する可能性が高いから、低優先度の３次元コンテンツを遠方にレイアウトすることで、視聴の妨げを減らすことができる。また、ウインドウ自体を遠方にレイアウトするのではなく、主要な被写体が遠方に配置されるようにコンテンツ画像をブレンド表示するようにしてもよい。
また、前述した表示レイアウト方法を組み合わせてもよい。例えば、低優先度のウインドウを縮小した上で迂回するようにレイアウトしてもよい。
【００４１】
本実施形態でのユーザ位置検出はリモコンの位置検出と画像認識を併用して行なったが、画像認識だけで行なうようにしてもよい。リモコンの形状をマッチングさせ、撮影画像のどこに位置するかを検出すればよい。また、ＣＭＯＳエリアセンサや超音波センサ等の距離センサを併用して位置検出するようにしてもよい。
【００４２】
本実施形態でのユーザの関連付けはリモコン位置の検出と画像認識を併用して行なったが、リモコンのＲＦＩＤだけで行なうようにしてもよい。ユニークなＩＤを持つ複数のリモコンが存在して一人一台持っていた場合には、操作が行なわれたリモコンのＲＦＩＤで関連付けを行なうことができる。
さらに、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパソコン等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【００４３】
（第２の実施形態）
本実施形態では、ウインドウが視聴中か否かを検出し、見られていないウインドウを優先制御の対象から外す例を説明する。撮影画像を画像認識してユーザの顔の向きを検出し、ユーザがウインドウを向いている場合を視聴中と判定する。
【００４４】
＜表示装置の構成（図１４、図１５）＞
図１４は、本実施形態の表示装置の特徴的な構成例を示すブロック図である。図１と共通の要素には同一番号を付し、説明を省略する。図１４では、ユーザ視聴検出部９が追加されている。ユーザ視聴検出部９は、各ユーザがウインドウを見ているか否かを検出し、検出結果をユーザ識別部３に通知する。
【００４５】
図１５は、本実施形態の表示装置の詳細な構成例を示すブロック図である。図１５では、図６の構成にユーザ視聴検出部９が追加されている。ユーザ視聴検出部９は、ユーザ顔方向抽出部３６で構成される。ユーザ顔方向抽出部３６は、画像認識部２３の認識結果からユーザの顔の方向を検出する。顔方向の検出は、任意の公知のアルゴリズムを使用してよい。例えば、特許文献３に示されるように、顔の向きごとに算出した平均特徴ベクトルと、認識対象の画像データから抽出した特徴データを使用してマッチングを行なうことで、顔の向きを検出できる。
【００４６】
＜ユーザ位置検出の処理の流れ（図１６、図１７）＞
図１６は、ユーザ位置検出の処理の流れを示すフローチャートである。図１６のフローチャートは、図７のフローチャートにＳ１６０１を追加した。Ｓ１６０１では、画像認識部２３の結果を用いて、ユーザの顔の方向を判定する。続くＳ７０４では、従前のフィールドに加えて、ユーザの顔方向の判定結果を視聴有無のフィールドに登録する。
図１７は、本実施形態におけるユーザリストの構成例を示す図である。図１７は、図８のユーザリストに視聴有無フィールド８５を追加した。視聴有無フィールド８５は、ユーザ視聴検出部９の結果を記録する。図１７の例では、ユーザＡはウインドウを見ており、ユーザＢは見ていないことを示す。
【００４７】
＜映像表示の処理の流れ（図１８）＞
図１８は、映像表示の処理の流れを示すフローチャートである。図１８は、図１１のフローチャートにＳ１８０１及びＳ１８０２を追加した。Ｓ１８０１では、関連付けられているユーザが当該ウインドウを見ているかを判定し、肯定であればＳ１１０４へ、否定であればＳ１８０２へ進む。
【００４８】
Ｓ１１０４では、前述の実施形態と同様にウインドウの優先度の並べ替えを行ない、Ｓ１１０５へ進む。Ｓ１８０２では、優先度制御の対象から外れた場合の処理であり、当該ウインドウを優先度を最も低く設定し、Ｓ１１０５へ進む。これにより、優先度制御の対象から外れたウインドウは、背面にレイアウトされる。以上の処理により、ユーザがウインドウを見ているか判定して、見られていないウインドウを優先度制御の対象から外して背面にレイアウトすることができる。
【００４９】
以上説明したように、本実施形態によれば前述の実施形態と同様な効果を得ることができる。さらに、画面を見ていないユーザを優先度制御の対象から外せるので、本当に視聴しているユーザの視聴の邪魔をさらに低減することが可能になる。
【００５０】
本発明は、前述の実施形態に限定されるものではなく、幅広く応用することが可能である。
本実施形態では視聴しているか否かの判定を顔の向きで行なったが、視線の方向で行なってもよい。この場合、ユーザ視聴検出部９は、撮影された画像の画像認識結果から視線方向を検出する。視線方向の検出は、任意の公知のアルゴリズムを使用してよい。例えば、特許文献４に示されるように、被験者の目の開閉画像でキャリブレーションを行い、目と眉のテンプレートと入力画像を比較することで、視線方向を検出できる。
【００５１】
また、画像認識によらず、角度センサなど各種センサを使用して視聴検出するようにしてもよい。ユーザの頭部に眼球の動きを検出するようなセンサを装着して、視線を検出するようにしてもよい。
【００５２】
また、見られていないウインドウを一旦、表示画面から消去するようにしてもよい。一定時間以上、見られていないことを検出して、ウインドウリストに記録する。映像表示の処理では、見られていないウインドウの描画をスキップする。再びユーザが表示画面を見た場合には、その最寄りの位置にコンテンツ画面を改めて描画するようにしてもよい。また、再度のリモコン処理でウインドウの表示を再開するようにしてもよい。
【００５３】
本実施形態では、ユーザが見ていない場合に優先度を下げる処理を行なったが、ユーザが移動速度に応じて優先度を下げるようにしてもよい。移動中は前方の光景を注視する可能性が高いから、優先度を下げても視聴への影響度合いは少ない。ユーザ位置抽出部３５は、前回のユーザ位置との差分からユーザの移動速度を検出し、ユーザリスト２４に記録する。映像表示処理では、ユーザの移動速度が一定以上の場合は、優先度並べ替えの対象から外して背面にレイアウトする。以上のようにすることで、ユーザの移動速度を考慮した優先度制御を行なうことができる。
【００５４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５５】
１ 表示装置、２ ユーザ位置検出部、３ ユーザ識別部、４ ウインドウ関連付け部、５ 優先度判定部、６ 映像入力部、７ 表示画面作成部、８ 表示部、９ ユーザ視聴検出部、２０ リモコン、２１ リモコン位置検出部、２２ カメラ、２３ 画像認識部、２４ ユーザリスト、２５ ウインドウリスト、２６ ビデオ入力インタフェース、２７ 放送チューナ、２８ 高画質化処理部、２９ 重ね合せ制御部、３０ ＯＳＤ合成部、３１ 表示パネル制御部、３２ 表示パネル、３３ リモコン受光部、３４ 全体制御部、３５ ユーザ位置抽出部、３６ ユーザ顔方向抽出部、５０ ユーザＡ、５１ ユーザＢ、５２ ウインドウＡ、５３ ウインドウＢ
【特許請求の範囲】
【請求項１】
複数の映像コンテンツを入力する手段と、
複数のユーザを識別する手段と、
ユーザの位置を検出する検出手段と、
ユーザと視聴する映像コンテンツを関連付ける手段と、
ユーザの位置に応じて優先度を決定する手段と、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、
前記表示画面を表示する手段と、
を備えたことを特徴とする表示装置。
【請求項２】
前記作成手段は、関連付けられたコンテンツをユーザの最寄りの位置に表示することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記優先度を決定する手段は、装置とユーザとの距離が近いほど、関連付けられたコンテンツに高い優先度を与えるように制御することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
ユーザが移動しているかを判定する判定手段をさらに設け、
前記優先度を決定する手段は、前記判定手段による判定の結果に応じて、移動の速度が低いユーザほど高い優先度を与えることを特徴とする請求項１〜３の何れか１項に記載の表示装置。
【請求項５】
ユーザの映像コンテンツを見ているかを検出する手段をさらに設け、
前記優先度を決定する手段は、前記検出手段の検出結果に応じて、映像コンテンツを見ているユーザのみを優先度の制御の対象とすることを特徴とする請求項１〜４の何れか１項に記載の表示装置。
【請求項６】
前記映像コンテンツを見ているかを検出する手段は、撮影手段と画像認識手段とを含み、ユーザの顔が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項５に記載の表示装置。
【請求項７】
前記映像コンテンツを見ているかを検出する手段は、撮影手段と画像認識手段とを含み、ユーザの視線が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項５に記載の表示装置。
【請求項８】
前記作成手段は、優先度の低い映像コンテンツが背面になるようにコンテンツ画面を重ね合わせることを特徴とする請求項１〜７の何れか１項に記載の表示装置。
【請求項９】
前記作成手段は、優先度の低い映像コンテンツを縮小してレイアウトすることを特徴とする請求項１〜７の何れか１項に記載の表示装置。
【請求項１０】
前記作成手段は、優先度の低い映像コンテンツの色を薄くしてレイアウトすることを特徴とする請求項１〜７の何れか１項に記載の表示装置。
【請求項１１】
前記作成手段は、３次元の表示画面を作成するものであって、優先度の低い映像コンテンツが遠方に位置するようにレイアウトすることを特徴とする請求項１〜７の何れか１項に記載の表示装置。
【請求項１２】
複数の映像コンテンツを入力するステップと、
複数のユーザを識別するステップと、
ユーザの位置を検出する検出ステップと、
ユーザと視聴する映像コンテンツを関連付けるステップと、
ユーザの位置に応じて優先度を決定するステップと、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成ステップと、
前記表示画面を表示するステップと、
を備えたことを特徴とする表示方法。
【請求項１３】
前記作成ステップは、関連付けられたコンテンツをユーザの最寄りの位置に表示することを特徴とする請求項１２に記載の表示方法。
【請求項１４】
前記優先度を決定するステップは、装置とユーザとの距離が近いほど、関連付けられたコンテンツに高い優先度を与えるように制御することを特徴とする請求項１２または１３に記載の表示方法。
【請求項１５】
ユーザが移動しているかを判定する判定ステップをさらに設け、
前記優先度を決定するステップは、前記判定ステップによる判定の結果に応じて、移動の速度が低いユーザほど高い優先度を与えることを特徴とする請求項１２〜１４の何れか１項に記載の表示方法。
【請求項１６】
ユーザの映像コンテンツを見ているかを検出するステップをさらに設け、
前記優先度を決定するステップは、前記検出ステップの検出結果に応じて、映像コンテンツを見ているユーザのみを優先度の制御の対象とすることを特徴とする請求項１２〜１５の何れか１項に記載の表示方法。
【請求項１７】
前記映像コンテンツを見ているかを検出するステップは、撮影ステップと画像認識ステップとを含み、ユーザの顔が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項１６に記載の表示方法。
【請求項１８】
前記映像コンテンツを見ているかを検出するステップは、撮影ステップと画像認識ステップとを含み、ユーザの視線が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項１６に記載の表示方法。
【請求項１９】
前記作成ステップは、優先度の低い映像コンテンツが背面になるようにコンテンツ画面を重ね合わせることを特徴とする請求項１２〜１８の何れか１項に記載の表示方法。
【請求項２０】
前記作成ステップは、優先度の低い映像コンテンツを縮小してレイアウトすることを特徴とする請求項１２〜１８の何れか１項に記載の表示方法。
【請求項２１】
前記作成ステップは、優先度の低い映像コンテンツの色を薄くしてレイアウトすることを特徴とする請求項１２〜１８の何れか１項に記載の表示方法。
【請求項２２】
前記作成ステップは、３次元の表示画面を作成するものであって、優先度の低い映像コンテンツが遠方に位置するようにレイアウトすることを特徴とする請求項１２〜１８の何れか１項に記載の表示方法。
【請求項２３】
複数の映像コンテンツを入力するステップと、
複数のユーザを識別するステップと、
ユーザの位置を検出する検出ステップと、
ユーザと視聴する映像コンテンツを関連付けるステップと、
ユーザの位置に応じて優先度を決定するステップと、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成ステップと、
前記表示画面を表示するステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項２４】
請求項２３に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
複数の映像コンテンツを入力する手段と、
複数のユーザを識別する手段と、
ユーザの位置を検出する検出手段と、
ユーザと視聴する映像コンテンツを関連付ける手段と、
ユーザの位置に応じて優先度を決定する手段と、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、
前記表示画面を表示する手段と、
を備えたことを特徴とする表示装置。
【請求項２】
前記作成手段は、関連付けられたコンテンツをユーザの最寄りの位置に表示することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記優先度を決定する手段は、装置とユーザとの距離が近いほど、関連付けられたコンテンツに高い優先度を与えるように制御することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
ユーザが移動しているかを判定する判定手段をさらに設け、
前記優先度を決定する手段は、前記判定手段による判定の結果に応じて、移動の速度が低いユーザほど高い優先度を与えることを特徴とする請求項１〜３の何れか１項に記載の表示装置。
【請求項５】
ユーザの映像コンテンツを見ているかを検出する手段をさらに設け、
前記優先度を決定する手段は、前記検出手段の検出結果に応じて、映像コンテンツを見ているユーザのみを優先度の制御の対象とすることを特徴とする請求項１〜４の何れか１項に記載の表示装置。
【請求項６】
前記映像コンテンツを見ているかを検出する手段は、撮影手段と画像認識手段とを含み、ユーザの顔が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項５に記載の表示装置。
【請求項７】
前記映像コンテンツを見ているかを検出する手段は、撮影手段と画像認識手段とを含み、ユーザの視線が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項５に記載の表示装置。
【請求項８】
前記作成手段は、優先度の低い映像コンテンツが背面になるようにコンテンツ画面を重ね合わせることを特徴とする請求項１〜７の何れか１項に記載の表示装置。
【請求項９】
前記作成手段は、優先度の低い映像コンテンツを縮小してレイアウトすることを特徴とする請求項１〜７の何れか１項に記載の表示装置。
【請求項１０】
前記作成手段は、優先度の低い映像コンテンツの色を薄くしてレイアウトすることを特徴とする請求項１〜７の何れか１項に記載の表示装置。
【請求項１１】
前記作成手段は、３次元の表示画面を作成するものであって、優先度の低い映像コンテンツが遠方に位置するようにレイアウトすることを特徴とする請求項１〜７の何れか１項に記載の表示装置。
【請求項１２】
複数の映像コンテンツを入力するステップと、
複数のユーザを識別するステップと、
ユーザの位置を検出する検出ステップと、
ユーザと視聴する映像コンテンツを関連付けるステップと、
ユーザの位置に応じて優先度を決定するステップと、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成ステップと、
前記表示画面を表示するステップと、
を備えたことを特徴とする表示方法。
【請求項１３】
前記作成ステップは、関連付けられたコンテンツをユーザの最寄りの位置に表示することを特徴とする請求項１２に記載の表示方法。
【請求項１４】
前記優先度を決定するステップは、装置とユーザとの距離が近いほど、関連付けられたコンテンツに高い優先度を与えるように制御することを特徴とする請求項１２または１３に記載の表示方法。
【請求項１５】
ユーザが移動しているかを判定する判定ステップをさらに設け、
前記優先度を決定するステップは、前記判定ステップによる判定の結果に応じて、移動の速度が低いユーザほど高い優先度を与えることを特徴とする請求項１２〜１４の何れか１項に記載の表示方法。
【請求項１６】
ユーザの映像コンテンツを見ているかを検出するステップをさらに設け、
前記優先度を決定するステップは、前記検出ステップの検出結果に応じて、映像コンテンツを見ているユーザのみを優先度の制御の対象とすることを特徴とする請求項１２〜１５の何れか１項に記載の表示方法。
【請求項１７】
前記映像コンテンツを見ているかを検出するステップは、撮影ステップと画像認識ステップとを含み、ユーザの顔が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項１６に記載の表示方法。
【請求項１８】
前記映像コンテンツを見ているかを検出するステップは、撮影ステップと画像認識ステップとを含み、ユーザの視線が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項１６に記載の表示方法。
【請求項１９】
前記作成ステップは、優先度の低い映像コンテンツが背面になるようにコンテンツ画面を重ね合わせることを特徴とする請求項１２〜１８の何れか１項に記載の表示方法。
【請求項２０】
前記作成ステップは、優先度の低い映像コンテンツを縮小してレイアウトすることを特徴とする請求項１２〜１８の何れか１項に記載の表示方法。
【請求項２１】
前記作成ステップは、優先度の低い映像コンテンツの色を薄くしてレイアウトすることを特徴とする請求項１２〜１８の何れか１項に記載の表示方法。
【請求項２２】
前記作成ステップは、３次元の表示画面を作成するものであって、優先度の低い映像コンテンツが遠方に位置するようにレイアウトすることを特徴とする請求項１２〜１８の何れか１項に記載の表示方法。
【請求項２３】
複数の映像コンテンツを入力するステップと、
複数のユーザを識別するステップと、
ユーザの位置を検出する検出ステップと、
ユーザと視聴する映像コンテンツを関連付けるステップと、
ユーザの位置に応じて優先度を決定するステップと、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成ステップと、
前記表示画面を表示するステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項２４】
請求項２３に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−１１５６４４（Ｐ２０１３−１１５６４４Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０５９１（Ｐ２０１１−２６０５９１）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]