表示制御装置および表示制御方法
【課題】視聴者の距離や位置に応じて適切にサムネイル表示をする。
【解決手段】表示制御装置１０は、表示画像を視聴している視聴者の撮像画像を取得する撮像画像取得部１５２と、前記撮像画像取得部１５２により取得された前記視聴者の撮像画像に基づいて、前記表示画像に対する前記視聴者の視聴位置および視聴距離を検出する検出部１５８と、前記検出部１５８により検出された前記視聴者の視聴位置と前記表示画像の表示位置とを対応させながら、前記検出部１５８により検出された前記視聴者の視聴距離に応じて前記表示画像の大きさを変更する、表示制御部１６０と、を備える。
【解決手段】表示制御装置１０は、表示画像を視聴している視聴者の撮像画像を取得する撮像画像取得部１５２と、前記撮像画像取得部１５２により取得された前記視聴者の撮像画像に基づいて、前記表示画像に対する前記視聴者の視聴位置および視聴距離を検出する検出部１５８と、前記検出部１５８により検出された前記視聴者の視聴位置と前記表示画像の表示位置とを対応させながら、前記検出部１５８により検出された前記視聴者の視聴距離に応じて前記表示画像の大きさを変更する、表示制御部１６０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置および表示制御方法に関し、特に、視聴位置に応じて表示画像の表示を制御する表示制御装置および表示制御方法に関する。
【背景技術】
【０００２】
一般的に、多くのコンテンツを表示画面に一覧表示するために、コンテンツを代表する静止画を縮小して表示することが行われている。このように、コンテンツを代表する静止画を縮小表示することをサムネイル表示という。サムネイル表示は、一画面内で多くのコンテンツを確認することができる一方、視聴距離の関係によっては非常に視認性が悪かったり、コンテンツの内容が判別し難かったりするという問題があった。例えば、大画面化したテレビに多くのサムネイルが表示され、視聴者が表示画面から離れた場所に位置している場合には、サムネイル表示が小さすぎてコンテンツの内容を把握することができないという問題があった。
【０００３】
そこで、コンテンツの視認性を高めるために、視聴者の周辺の環境や表示装置と視聴者の距離に応じて音声出力を調整したり、画質の品質を調整したりする技術が開示されている（例えば特許文献１、特許文献２）。例えば、特許文献１では、視聴者の鼻等の体の一部を認識して、表示装置に鼻を近づけると表示画像を拡大させたり、遠ざけると表示画像を縮小させたりしている。また、特許文献２では、表示画面と視聴者との距離に応じて、画質品質や文字のサイズ調整を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−９３０８９号公報
【特許文献２】特開２００８−７２５６１号公報
【特許文献３】特開２００８−１８１１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１および特許文献２では、表示装置と視聴者との距離に応じて表示画像を拡大・縮小することはできるが、視聴者の位置に応じてサムネイル画像の大きさや数を適切に調整し、視聴者の位置から判別しやすいサムネイル表示をすることはできないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、視聴者の距離や位置に応じて適切にサムネイル表示をすることが可能な、新規かつ改良された表示制御装置および表示制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、表示画像を視聴している視聴者の撮像画像を取得する撮像画像取得部と、撮像画像取得部により取得された視聴者の撮像画像に基づいて、表示画像に対する視聴者の視聴位置および視聴距離を検出する検出部と、検出部により検出された視聴者の視聴位置と表示画像の表示位置とを対応させながら、検出部により検出された視聴者の視聴距離に応じて表示画像の大きさを変更する、表示制御部と、を備える、表示制御装置が提供される。
【０００７】
かかる構成によれば、表示画像を視聴している視聴者の撮像画像に基づいて、表示画像に対する視聴者の視聴位置及び視聴距離を検出し、検出した視聴者の視聴位置と表示画像の表示位置とを対応させながら、視聴距離に応じて表示画像の大きさを変更することができる。これにより、視聴者の距離や位置に応じて適切にサムネイル等の表示画像を表示させることが可能となる。
【０００８】
また、表示制御部は、表示画面に複数の表示画像を表示させ、複数の表示画像のうち一の表示画像の表示位置と視聴者の視聴位置とを対応させて、一の表示画像の周囲に他の表示画像を表示させてもよい。
【０００９】
また、表示制御部は、視聴者の視聴距離に応じて複数の表示画像の表示数を制御するようにしてもよい。
【００１０】
また、表示制御部は、複数の表示画像のうち一の表示画像の表示位置と視聴者の視聴位置とを対応させながら、視聴者の視聴距離に応じて複数の表示画像の表示数を変更するようにしてもよい。
【００１１】
また、一の表示画像は再生されているコンテンツであってもよい。
【００１２】
また、一の表示画像は、表示画面の全画面に表示されていた表示画像であってもよい。
【００１３】
また、検出部は、撮像画像取得部により取得された視聴者の撮像画像に基づいて、視聴者の視線位置を検出し、表示制御部は、検出部により検出された視聴者の視線位置に応じて複数の表示画像のうち一の表示画像を選択表示するようにしてもよい。
【００１４】
また、表示制御部は、視聴者の視線位置に応じて、所定時間以上一の表示画像が選択表示されていた場合に、一の表示画像に紐付くコンテンツを表示画面に再生させるようにしてもよい。
【００１５】
また、検出部は、撮像画像取得部により取得された視聴者の撮像画像に基づいて、視聴者の顔方向を測定し、表示制御部は、視聴者の顔方向または視聴者の視線位置に応じて、表示画面に表示された複数の表示画像をスクロールさせてもよい。
【００１６】
また、表示制御部は、複数の表示画像を水平方向にスクロールさせて、表示画面の表示可能領域外に位置する表示画像を消去し、複数の表示画像が表示されていない表示画面の表示可能領域に複数の表示画像とは別の表示画像を表示させてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、表示画像を視聴している視聴者の撮像画像を取得するステップと、取得された視聴者の撮像画像に基づいて、表示画像に対する視聴者の視聴位置および視聴距離を検出するステップと、検出された視聴者の視聴位置と表示画像の表示位置とを対応させながら、検出された視聴者の視聴距離に応じて表示画像の大きさを変更するステップと、を含む表示制御方法が提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、視聴者の距離や位置に応じて適切にサムネイル表示をすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる表示制御装置のハードウェア構成の一例を示した説明図である。
【図２】同実施形態にかかる表示制御装置の機能構成を示すブロック図である。
【図３Ａ】同実施形態にかかる表示画像の表示位置と表示数について説明する説明図である。
【図３Ｂ】同実施形態にかかる表示画像の表示位置と表示数について説明する説明図である。
【図４】同実施形態にかかるサムネイルの表示数および大きさについて説明する説明図である。
【図５】同実施形態にかかるサムネイルの表示数および大きさについて説明する説明図である。
【図６】同実施形態にかかる視聴者の視線位置に応じたサムネイルの表示について説明する説明図である。
【図７】同実施形態にかかる視聴者の顔方向に応じたサムネイルの表示について説明する説明図である。
【図８】同実施形態にかかる視聴者の位置に応じた画像表示処理を示すフローチャートである。
【図９】同実施形態にかかる視聴者の視線に応じた画像表示処理を示すフローチャートである。
【図１０】同実施形態にかかる視聴者の顔方向に応じた画像表示処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕表示制御装置のハードウェア構成
〔３〕表示制御装置の機能構成
〔４〕表示制御装置における画像表示処理の詳細
【００２２】
〔１〕本実施形態の目的
【００２３】
一般的に、多くのコンテンツを表示画面に一覧表示するために、コンテンツを代表する静止画を縮小して表示することが行われている。このように、コンテンツを代表する静止画を縮小表示することをサムネイル表示という。サムネイル表示は、一画面内で多くのコンテンツを確認することができる一方、視聴距離の関係によっては非常に視認性が悪かったり、コンテンツの内容が判別し難かったりするという問題があった。例えば、大画面化したテレビに多くのサムネイルが表示され、視聴者が表示画面から離れた場所に位置している場合には、サムネイル表示が小さすぎてコンテンツの内容を把握することができないという問題があった。
【００２４】
そこで、コンテンツの視認性を高めるために、視聴者の周辺の環境や表示装置と視聴者の距離に応じて音声出力を調整したり、画質の品質を調整したりする技術が開示されている。例えば、視聴者の鼻等の体の一部を認識して、表示装置に鼻を近づけると表示画像を拡大させたり、遠ざけると表示画像を縮小させたりする技術が開示されている。また、表示画面と視聴者との距離に応じて、画質品質や文字のサイズ調整を行う技術も開示されている。
【００２５】
しかし、上記の従来技術では、表示装置と視聴者との距離に応じて表示画像を拡大・縮小することはできるが、視聴者の位置に応じてサムネイル画像の大きさや数を適切に調整し、視聴者の位置から判別しやすいサムネイル表示をすることはできないという問題があった。そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる表示制御装置１０が創作されるに至った。本実施形態にかかる表示制御装置１０によれば、視聴者の距離や位置に応じて適切にサムネイル表示をすることが可能となる。
【００２６】
また、従来、テレビ受像機により受信した番組や録画されたコンテンツを再生中に、他の番組をチェックしたり、他の録画コンテンツを視聴したりするためには、再生中のコンテンツを中断しなければならなかった。この場合、コンテンツを視聴しながら他のコンテンツの確認をしたり、他のコンテンツを選択したりすることが難しかった。しかし、本実施形態にかかる表示制御装置１０によれば、再生中のコンテンツがある場合、その再生を中断することなく、他のコンテンツをサムネイル表示させることが可能となる。さらに、他のコンテンツをサムネイル表示させる際に、視聴者の位置に合わせてサムネイルの位置を調整したり縮小したりすることが可能となる。
【００２７】
また、最近では、テレビ放送のデジタル化に伴って、テレビ受像機において、テレビ放送の受信や表示だけでなく、ネットワークを介したコンテンツの提供や、静止画や音楽の再生、記録媒体からの映像再生といった多数のマルチメディアコンテンツを扱うようになってきている。それに伴って、テレビ受像機の操作が複雑化し、リモコンのボタン数が増加したりして使い勝手が低下するという問題があった。また、リモコンはその可搬性ゆえに、どこにあるのかわからなくなることも多く、リモコンを探すのが手間であったり、操作するたびにリモコンを取りに行ったりしなければならないという問題があった。
【００２８】
本実施形態によれば、上記したように、リモコン操作をせずとも、視聴者の位置に応じてサムネイル表示を調整することができる。また、視聴者の顔の向きや視線を認識することにより、サムネイル表示の位置を変更したり、サムネイルに紐付いたコンテンツを選択したりすることが可能となる。また、視聴者が表示画面から遠ざかる場合には、縮小されたサムネイル表示を拡大することにより、リモコン操作せずにサムネイルの視認性を改善することができる。
【００２９】
〔２〕表示制御装置のハードウェア構成
次に、図１を参照して、表示制御装置１０のハードウェア構成について説明する。図１は、本実施形態にかかる表示制御装置１０のハードウェア構成の一例を示した説明図である。
【００３０】
表示制御装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１０９と、ストレージ装置（ＨＤＤ）１１０と、ドライブ１１１と、通信装置１１２とを備える。
【００３１】
ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。
【００３２】
ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【００３３】
入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。表示制御装置１０のユーザは、該入力装置１０８を操作することにより、表示制御装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００３４】
出力装置１０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
【００３５】
ストレージ装置１１０は、本実施形態にかかる表示制御装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
【００３６】
ドライブ１１１は、記憶媒体用リーダライタであり、表示制御装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体１２０に記録されている情報を読み出して、ＲＡＭ１０３に出力する。
【００３７】
通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００３８】
〔３〕表示制御装置の機能構成
以上、表示制御装置１０のハードウェア構成について説明した。次に、図２を参照して、表示制御装置１０の機能構成について説明する。図２に示したように、表示制御装置１０は、撮像画像取得部１５２、画像処理部１５４、検出部１５８、表示制御部１６０、映像音声処理部１６２などを主に備える。
【００３９】
撮像画像取得部１５２は、表示画像を視聴している視聴者の撮像画像を取得する機能を有する。視聴者の撮像画像は、撮像装置２０により撮像されて撮像画像取得部１５２に提供される。本実施形態では、撮像装置２０を表示制御装置１０と別体の装置としたが、かかる例に限定されず、撮像装置２０と表示制御装置１０とを一体の装置として構成してもよい。撮像装置２０により視聴者が撮像されることにより、視聴者と表示制御装置１０との距離や位置、顔の向き、視線など視聴者の動作を検出することが可能となる。撮像装置２０は、視聴者の動作をより正確に検出するために、表示装置３０の外枠部分に備えるようにしてもよい。
【００４０】
撮像画像取得部１５２は、所定の間隔で撮像画像を取得してもよいし、ユーザ操作等に応じて撮像画像を取得してもよい。例えば、ユーザ操作により表示画像を表示する表示装置３０に電源が投入された後に、所定の間隔で撮像画像を取得するようにしてもよい。また、ユーザの動作を検出した場合に視聴者の撮像画像を取得するようにしてもよい。撮像画像取得部１５２は、視聴者の撮像画像を画像処理部１５４に提供する。
【００４１】
画像処理部１５４は、撮像画像取得部１５２から提供された視聴者の撮像画像から視聴者の特徴点を処理する機能を有する。視聴者の特徴点とは、例えば、視聴者の位置、距離、顔の向き、視線などである。画像処理部１５４には、視聴位置処理部１５５、視線位置処理部１５６、顔方向処理部１５７などが含まれている。
【００４２】
視聴位置処理部１５５は、視聴者の撮像画像から、表示装置３０と視聴者との位置関係や距離を表す特徴点を抽出する機能を有する。視聴位置処理部１５５は、視聴者の撮像画像そのものから、視聴者の体の輪郭画像等用いてを表示装置３０と視聴者との位置関係や距離を表す特徴点を抽出する。例えば、視聴者の画像全体に対する顔領域の大きさを特徴点として抽出し、該特徴点から距離を算出するようにしてもよい。また、視聴位置処理部１５５は、赤外線等を利用した距離センサを用いて表示装置３０と視聴者との位置関係や距離を表す特徴点を抽出するようにしてもよい。
【００４３】
視線位置処理部１５６は、視聴者の撮像画像から、視聴者の視線位置を表す特徴点を抽出する機能を有する。視線位置処理部１５６は、例えば、視聴者の目の部分画像を、視線位置を特定する特徴点として抽出するようにしてもよい。視線位置処理部１５６は、視聴者の目の部分画像から画像上の視線の座標を算出する。顔方向処理部１５７は、視聴者の撮像画像から、視聴者の顔方向を表す特徴点を抽出する機能を有する。顔方向処理部１５７は、例えば、画像中の顔領域の位置を特定し、顔領域の皮膚の色や目、口などの輪郭を、顔方向を特定する特徴点として抽出するようにしてもよい。
【００４４】
画像処理部１５４は、視聴位置処理部１５５、視線位置処理部１５６、顔方向処理部１５７により抽出したそれぞれの特徴点を検出部１５８に提供する。検出部１５８は、画像処理部１５４により提供された視聴者の撮像画像に基づく特徴点から、視聴者の動作に関する情報を検出する機能を有する。視聴者の動作に関する情報とは、例えば、視聴者の位置情報や距離情報、顔の向きの情報、視線の情報などである。
【００４５】
例えば、検出部１５８は、視聴位置処理部１５５により抽出された画像全体に対する顔領域の大きさから視聴者の位置情報や距離情報を算出する。また、検出部１５８は、視線位置処理部１５６により抽出された視聴者の目の部分画像から画面上の視線位置の座標を算出する。また、検出部１５８は、顔方向処理部１５７により抽出された顔領域の皮膚の色や目、口など輪郭などから視聴者の顔方向を特定する。
【００４６】
また、検出部１５８は、視聴位置処理部１５５により抽出された情報と視線位置処理部１５６により抽出された情報とから、位置情報や距離情報を算出するようにしてもよい。また、視聴位置処理部１５５により抽出された情報と顔方向処理部１５７により抽出された情報とから視聴者の顔方向を算出するようにしてもよい。検出部１５８は、検出した視聴者の動作に関する情報を表示制御部１６０に提供する。
【００４７】
表示制御部１６０は、検出部１５８により検出された視聴者の視聴位置と表示画像の表示位置とを対応させながら、検出部１５８により検出された視聴者の視聴距離に応じて表示画像の大きさを変更する機能を有する。例えば、表示制御部１６０は、複数の表示画像が表示画面に表示されている場合には、複数の表示画像のうち一の表示画像の表示位置と視聴者の視聴位置とを対応させて、一の表示画像の周囲に他の表示画像を表示させる。また、表示制御部１６０は、視聴者の視聴距離に応じて複数の表示画像の表示数を変更する。
【００４８】
さらに、表示制御部１６０は、複数の表示画像のうち一の表示画像の表示位置と視聴者の視聴位置とを対応させながら、視聴者の視聴距離に応じて複数の表示画像の表示数を変更する機能を有する。また、表示制御部１６０は、検出部１５８により検出された視聴者の視線位置に応じて複数の表示画像のうち一の表示画像を選択表示する。例えば、表示画面に複数のサムネイルが表示されていた場合に、複数のサムネイルのうちの一つに視聴者の視線位置が合った場合には、当該サムネイルを選択して全画面表示するようにしてもよい。また、視聴者の視線位置が合ったサムネイルを再生するようにしてもよい。
【００４９】
また、検出部１５８により、視聴者の顔方向が検出された場合には、視聴者の顔方向に応じて表示画面に表示された複数のサムネイルをスクロールさせるようにしてもよい。例えば、視聴者の顔方向が左方向であった場合には、複数のサムネイルを左側にスクロールさせてもよい。この場合、表示可能領域外、すなわち表示画面の外側に位置することとなるサムネイルを消去させ、表示されているサムネイルとは別のサムネイルを順次左側に表示させていく。
【００５０】
ここで、図３〜図７を参照して、表示制御部１６０によるサムネイルの表示について説明する。まず、図３Ａおよび図３Ｂを参照して、表示制御部１６０により制御される表示画像の表示位置と表示数について説明する。以下では、複数の表示画像を一画面内に縮小表示するサムネイル表示について説明する。
【００５１】
図３Ａは、視聴者の距離とサムネイル表示の関係について説明する説明図である。図３Ａに示したように、視聴者４０は、表示画面３０１の中央に位置しており、表示画面３０１に徐々に近づいていくとする。表示画面３０１上では、視聴者４０が視聴しているコンテンツが再生されている。表示画面３０１では、再生しているコンテンツが全画面表示されている。
【００５２】
視聴者４０が表示画面３０１に近づくと、表示制御部１６０は、表示画面３０１の表示を表示画面３０２のように表示される。すなわち、表示画面３０１において再生されていたコンテンツの表示サイズが縮小されて、該コンテンツとともに他のコンテンツが表示される（表示画面３０２）。視聴者４０が視聴しているコンテンツの表示位置は、検出部１５８により検出された視聴者の位置に応じて決定される。また、表示画面３０２に表示されるサムネイルの数および大きさは、検出部１５８により検出された視聴者と表示装置３０との距離に応じて決定される。
【００５３】
図３Ａにおいては、視聴者４０は表示画面３０１の中央に位置しているため、表示画面３０２では、視聴していたコンテンツが中央下に配置される。また、表示画面３０２には、３つのサムネイルが表示される。表示画面３０２に表示されるサムネイルが、動画像であった場合には、例えば、視聴していたコンテンツは表示領域が縮小されてそのまま再生され、その他のコンテンツは静止画のサムネイルであってもよい。
【００５４】
さらに、視聴者４０が表示画面３０２に近づいた場合には、視聴者４０が視聴していたサムネイルが縮小されて中央に配置され、表示画面３０３に９個のサムネイルが表示される。さらに、視聴者４０が表示画面３０３に近づいた場合には、視聴者４０が視聴していたサムネイルが縮小されて中央に配置され、表示画面３０４に１５個のサムネイルが表示される。上記したように、視聴者４０が視聴していたサムネイルの表示位置は、視聴者の位置に応じて決定され、サムネイルの表示数と大きさは視聴者４０と表示装置３０との距離に応じて決定される。
【００５５】
また、図３Ｂにおいては、視聴者４０は表示画面３１１の左側に位置しているものとする。この場合においても、視聴者４０が視聴していたコンテンツの表示位置は、検出部１５８により検出された視聴者の位置に応じて決定される。すなわち、視聴者４０が表示画面３１１の左側に位置しながら表示画面３１１に近づくと、表示画面３１１において再生されていたコンテンツの表示サイズが縮小されて、該コンテンツとともに他のコンテンツが表示される
【００５６】
上記したように、視聴者４０は表示画面３１１の左側に位置しているため、視聴者４０が表示画面３１１に近づくと、表示画面３１２に示したように、視聴していたコンテンツが左側に配置されて３つのサムネイルが表示される。さらに、視聴者４０が表示画面３１２に近づくと、視聴者４０が視聴していたサムネイルが左側中央に配置され、表示画面３１３に９個のサムネイルが表示される。さらに、視聴者４０が表示画面３１３に近づいた場合には、視聴者４０が視聴していたサムネイルが縮小された左側中央に配置され、表示画面３１４に１５個のサムネイルが表示される。
【００５７】
ここで、図４および図５を参照して、サムネイルの表示数および大きさについて説明する。図４は、サムネイルの表示数および大きさについて説明する説明図である。図４に示したように、例えば、距離の閾値群が０〜１００の１０刻みであった場合について説明する。距離の閾値群は、例えば、０〜９をｈ１とし、１０〜１９をｈ２とし、２０〜２９をｈ３とし、３０〜３９をｈ４とし、４０〜４９をｈ５とし、５０〜５９をｈ６とし、６０〜６９をｈ７とし、７０〜７９をｈ８とし、８０〜８９をｈ９とし、９０〜９９をｈ１０とする。検出部１５８により検出された視聴者４０と表示装置３０との距離が６５であった場合には、距離情報は閾値情報と比較されて閾値情報がｈ７であると判断される。
【００５８】
図５に示したように、距離の情報と表示数と大きさが関連付けられている場合には、距離の情報から表示画面に表示すべきサムネイルの表示数と大きさを決定することができる。図５は、距離に対するサムネイルの表示数と大きさのマッピング例を説明する説明図である。例えば、距離が６０〜７０の間であった場合には、距離情報（No.）が「ｈ７」であるため、サムネイルの表示数が５、大きさが１６０×１６０に決定される。サムネイルの表示数と大きさの決定方法については後で詳細に説明する。
【００５９】
次に、図６を参照して、表示制御部１６０により制御される視聴者の視線位置に応じたサムネイルの表示について説明する。図６に示したように、表示画面３２１に表示された複数のサムネイルのうち、視聴者の視線４１が矢印の指し示すサムネイルに合っていたとする。そうすると、表示画面３２２において、視聴者の視線４１が合ったサムネイルが選択されたことを示す表示となる。
【００６０】
表示画面３２２においては、サムネイルが選択されたことが視認可能なように、選択されたサムネイルの表示枠が２重となってもよいし、他のサムネイルと異なる色が配色されてもよい。また、矢印等でサムネイルが選択されたことが認識可能なようにしてもよい。そして、視聴者の視線４１が所定時間選択されたサムネイルに合っていた場合には、該サムネイルを全画面表示させて、コンテンツを再生する(表示画面３２４)。
【００６１】
次に、図７を参照して、表示制御部１６０により制御される視聴者の顔方向に応じたサムネイルの表示について説明する。図７に示したように、表示画面３３１には、表示画面内に表示可能な最大数のサムネイルが複数表示されている。そして、視聴者の顔方向４２が左側に向いていることが検出された場合には、表示画面３３２に示したように、視聴者の顔方向４２とは反対方向の右方向にサムネイルがスクロールされる。図７では、視聴者の顔方向に応じてサムネイルをスクロールさせているが、視聴者の視線方向に応じてサムネイルをスクロールさせるようにしてもよい。また、表示画面３３３に示したように、表示すべきサムネイルがすべて表示された場合には、スクロールを停止してもよい。また、視聴者が正面を向いた場合にスクロールを停止するようにしてもよい。以上、表示制御部１６０によるサムネイルの表示について説明した。
【００６２】
図２に戻り、表示制御装置１０の機能構成の説明を続ける。表示制御部１６０は、サムネイルの数や大きさ、サムネイルの位置等の表示制御情報を映像音声処理部１６２に提供する。映像音声処理部１６２は、映像音声受信部１６３、映像信号処理部１６４、映像用メモリ１６５、映像スケーラ１６６、音声処理部１６７などを含む。映像音声受信部１６３により受信された映像および音声は、受信した信号を増幅及び検波し映像信号と音声信号に分離し、それぞれ、映像信号処理部１６４と音声処理部１６７に出力する。
【００６３】
映像信号処理部１６４は、映像音声受信部１６３から出力された映像信号の調整、符号化等を行って、映像用メモリ１６５に調整後の映像信号を出力する。音声処理部１６７は、映像音声受信部１６３から出力された音声信号の調整、符号化等を行う。映像用メモリ１６５に出力された映像信号は、映像スケーラ１６６により表示制御部１６０により指示された大きさまたは表示装置３０のディスプレイの大きさに応じた大きさに映像を調整して表示装置３０に出力する。
【００６４】
〔４〕表示制御装置における画像表示処理の詳細
以上、表示制御装置１０の機能構成について説明した。次に、図８〜図１０を参照して、表示制御装置１０における画像表示処理の詳細について説明する。図８は、視聴者の位置に応じた画像表示処理を示すフローチャートである。図８に示したように、まず、視聴位置処理部１５５により撮像装置２０により撮像された視聴者の顔の大きさが認識され、検出部１５８により視聴者と表示装置３０との距離を測定する（Ｓ１０２）。ステップＳ１０２においては、視聴者の顔の大きさに基づいて距離を測定しているが、かかる例に限定されず、視聴者の鼻等、顔の大きさ以外のいずれかの大きさに基づいて距離を測定するようにしてもよい。
【００６５】
次に、表示制御部１６０は、ステップＳ１０２において測定された距離情報と予め登録されている閾値情報との比較を行う（Ｓ１０４）。具体的には、閾値情報Ｎと視聴距離との大きさを比較する。視聴距離が閾値Ｎより大きい場合には、閾値Ｎの値を加算していく（Ｓ１０６）。例えば、ステップＳ１０４において算出された距離が１０で、予め登録された閾値郡が０〜１００の１０刻みであったとする。この場合、まず、ステップＳ１０４において閾値０と距離１０が比較される。ステップＳ１０４の比較において閾値０より距離１０が大きいため、閾値０に１が加算される。この場合、閾値１０となった場合にステップＳ１０８の処理が実行される。
【００６６】
そして、ステップＳ１０２において測定された視聴距離と、前回測定された視聴距離とが同じか否かを判定する（Ｓ１０８）。ステップＳ１０８において、前回測定された視聴距離の測定値と同じであった場合には処理を終了する。また、ステップＳ１０８において、前回測定された視聴距離の測定値と同じではないと判断された場合には、図５に示した閾値と表示数等とのマッピングにしたがって、画像の表示数と大きさを決定する（Ｓ１１０）。
【００６７】
次に、コンテンツが再生中であるか否かを判定する（Ｓ１１２）。ステップＳ１１２において、コンテンツが再生中であると判定された場合には、視聴者の位置を測定する（Ｓ１１４）。ステップＳ１１４における位置の測定は、表示装置３０に対する視聴者の左右の位置である。そして、視聴者が視聴中のコンテンツを縮小表示して、視聴者の位置に応じてコンテンツを移動させる（Ｓ１１６）。
【００６８】
例えば、視聴者が表示装置３０に対して右側に位置していた場合には、縮小したコンテンツを右に移動する。また、視聴者が表示装置３０に対して左側に位置していた場合には、縮小したコンテンツを左に移動する。ステップＳ１１６におけるコンテンツの縮小率は、ステップＳ１１０において決定された画像の大きさに応じて変更される。
【００６９】
また、コンテンツの移動位置は、ステップＳ１１０において決定された画像の表示数に応じて最適な位置に配置される。表示数に応じた最適な位置とは、例えば、図３Ｂに示したように、視聴者が左側に位置している場合には、表示画面３１２に示したように、再生しているコンテンツが左側に配置される。また、表示数が増えた場合には、表示画面３１３および３１４に示したように、再生しているコンテンツが左側の中央に配置される。
【００７０】
そして、ステップＳ１１０において決定された視聴距離が閾値Ｎ−１以上Ｎ以下の場合の表示数と大きさで複数のサムネイルを表示する（Ｓ１１８）。また、ステップＳ１１８において、コンテンツの数が表示画面に表示されるコンテンツの最大数であった場合には、
再生中のコンテンツを中断するようにしてもよい。表示画面に多数のコンテンツが表示され、一つ一つのコンテンツの大きさが最小となる場合には、コンテンツを再生しても内容を視認できないと考えられるからである。
【００７１】
このように、本実施形態によれば、視聴者と表示装置３０との距離や位置に応じて、サムネイルの表示数や大きさを変更したり、再生しているサムネイルの配置位置を視聴者から見やすい位置に配置したりすることが可能となる。
【００７２】
次に、図９を参照して、視聴者の視線に応じた画像表示処理の詳細について説明する。図９は、視聴者の視線に応じた画像表示処理を示すフローチャートである。図９に示したように、まず、表示画面上にサムネイルが表示されているか否かを判定する（Ｓ２０２）。ステップＳ２０２において、サムネイルが表示されていると判定された場合には、検出部１５８は、視線位置処理部１５６により抽出された目の部分画像から画面上の視線位置の座標を算出する（Ｓ２０４）。
【００７３】
そして、ステップＳ２０４において算出された視聴者の視線位置が、表示中のサムネイルのいずれかに一致しているか否かを判定する（Ｓ２０６）。ステップＳ２０６において、視聴者の視線位置が表示中のサムネイルのいずれかに位置していると判定された場合には、前回のカーソルの表示位置と同じか否かを判定する（Ｓ２１０）。ステップＳ２１０におけるカーソルの表示とは、サムネイルを選択していることが認識可能な表示である。ステップＳ２０６において、視聴者の視線位置が表示中のサムネイルのいずれかに位置していないと判定された場合については、後で詳細に説明する。
【００７４】
そして、ステップＳ２１０において、前回のカーソルの表示位置と同じであると判定された場合には、カーソルの表示が一定時間経過したか否かを判定する（Ｓ２１２）。また、ステップＳ２１０において、前回のカーソルの表示位置と同じではないと判定された場合には、現在視聴位置座標にあるサムネイルをカーソル表示する（Ｓ２０８）。そして、ステップＳ２０２〜ステップＳ２１０の処理を繰り返す。
【００７５】
ステップＳ２１２において、カーソルの表示が一定時間経過したと判定された場合には、カーソル表示に位置しているサムネイルに紐付いているコンテンツを選択する（Ｓ２１４）。ステップＳ２１４においては、選択されたサムネイルに紐付くコンテンツを全画面表示にして再生させるようにしてもよい。これにより、リモコン等を使用しなくとも、視聴者が再生したいと考えるコンテンツを自動的に再生させることが可能となる。
【００７６】
ステップＳ２０６において、表示中のサムネイルのいずれかに視聴者の視線が一致しないと判定された場合、次に、現在カーソル表示がなされているか否かを判定する（Ｓ２１６）。ステップＳ２１６において、現在カーソル表示がなされていると判定された場合には、該カーソル表示を消去する（Ｓ２１８）。ステップＳ２１６において視聴者の視線がサムネイルのいずれにも一致しない場合には、視聴者がサムネイルを見ていないため１つのサムネイルを選択するカーソル表示を消去する。また、ステップＳ２１６において、現在カーソル表示がなされていないと判定された場合には、ステップＳ２２０の処理を実行する。
【００７７】
そして、一定時間が経過したか否かを判定する（Ｓ２２０）。ステップＳ２２０において、一定時間が経過した場合には、視聴者はサムネイルで表示しているコンテンツを見ていないと判断して、サムネイルの一覧表示を解除し、現在視聴中のコンテンツまたはサムネイル表示前に視聴していたコンテンツの再生を全画面で行う（Ｓ２２２）。ステップＳ２２０において、一定時間が経過していない場合には、ステップＳ２０２の処理に戻る。
【００７８】
以上、視聴者の視線に応じた画像表示処理の詳細について説明した。次に、図１０を参照して、視聴者の顔方向に応じた画像表示処理の詳細について説明する。図１０は、視聴者の顔方向に応じた画像表示処理を示すフローチャートである。図１０に示したように、まず、サムネイルが全画面に表示されているか、すなわち、表示画面内に表示可能な最大数のサムネイルが表示されているか否かを判定する（Ｓ３０２）。ステップＳ３０２において、サムネイルが全画面に表示されている場合とは、視聴者が表示画面に近づいていき、表示画面に表示されるサムネイルの数が増えて最終的に表示画面内に表示可能な最大数のサムネイルが表示されている場合である。
【００７９】
ステップＳ３０２において、サムネイルが全画面に表示されていると判定された場合には、検出部１５８は視聴者の顔方向を測定する（Ｓ３０４）。ステップＳ３０４においては、検出部１５８は、顔方向処理部１５７により抽出された画像中の顔領域の皮膚の色や目、口などの輪郭から顔方向を算出する。そして、ステップＳ３０４において測定された顔方向が正面を向いているか否かを判定する（Ｓ３０６）。
【００８０】
ステップＳ３０６において、顔方向が正面ではないと判定された場合には、サムネイルを顔方向と逆の方向にスクロールする（Ｓ３０８）。ステップＳ３０８においては、例えば、視聴者の顔の向きが右方向の場合には、サムネイルを左方向にスクロールさせる。また、視聴者の顔の向きが左方向の場合には、サムネイルを右方向にスクロールさせる。
【００８１】
ここで、サムネイルをスクロールさせるとは、サムネイルを平行移動して、その結果、表示画面の表示可能領域外となるサムネイル画像を消去し、サムネイルの平行移動によって開いたスペースに新たなサムネイルを表示することをいう。これにより、表示画面内に表示可能なすべてのサムネイルを表示できない場合でも、リモコン等の煩わしい操作をせずに、順次新しいサムネイルを視認することが可能となる。
【００８２】
以上、視聴者の顔方向に応じた画像表示処理の詳細について説明した。上記したように、本実施形態にかかる表示制御装置１０によれば、表示画像を視聴している視聴者の撮像画像に基づいて、表示画像に対する視聴者の視聴位置及び視聴距離を検出し、検出した視聴者の視聴位置と表示画像の表示位置とを対応させながら、視聴距離に応じて表示画像の大きさを変更することができる。これにより、視聴者の距離や位置に応じて適切にサムネイル等の表示画像を表示させることが可能となる。
【００８３】
また、再生中のコンテンツがある場合、その再生を中断することなく、他のコンテンツをサムネイル表示させることが可能となる。さらに、他のコンテンツをサムネイル表示させる際に、視聴者の位置に合わせてサムネイルの位置を調整したり縮小したりすることが可能となる。
【００８４】
さらに、視聴者によるリモコン操作がなくとも、視聴者の位置に応じてサムネイル表示を調整することができる。また、視聴者の顔の向きや視線を認識することにより、サムネイル表示の位置を変更したり、サムネイルに紐付いたコンテンツを選択したりすることが可能となる。また、視聴者が表示画面から遠ざかる場合には、縮小されたサムネイル表示を拡大することにより、リモコン操作せずにサムネイルの視認性を改善することができる。
【００８５】
また、視聴者の位置や顔や視線の向きなどによってサムネイルの表示数や大きさを変更したり、コンテンツを再生したりすることが可能となる。したがって、手などによる複雑な操作や大振りなジェスチャをせずとも、視聴者の位置や顔や視線の向きによって、適切に画像を表示制御することができる。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８７】
例えば、本明細書の表示制御装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、表示制御装置１０の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。
【００８８】
また、表示制御装置１０などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した表示制御装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【００８９】
１０ 表示制御装置
１５２ 撮像画像取得部
１５４ 画像処理部
１５５ 視聴位置処理部
１５６ 視線位置処理部
１５７ 顔方向処理部
１５８ 検出部
１６０ 表示制御部
１６２ 映像音声処理部
１６３ 映像音声受信部
１６４ 映像信号処理部
１６５ 映像用メモリ
１６６ 映像スケーラ
１６７ 音声処理部
【技術分野】
【０００１】
本発明は、表示制御装置および表示制御方法に関し、特に、視聴位置に応じて表示画像の表示を制御する表示制御装置および表示制御方法に関する。
【背景技術】
【０００２】
一般的に、多くのコンテンツを表示画面に一覧表示するために、コンテンツを代表する静止画を縮小して表示することが行われている。このように、コンテンツを代表する静止画を縮小表示することをサムネイル表示という。サムネイル表示は、一画面内で多くのコンテンツを確認することができる一方、視聴距離の関係によっては非常に視認性が悪かったり、コンテンツの内容が判別し難かったりするという問題があった。例えば、大画面化したテレビに多くのサムネイルが表示され、視聴者が表示画面から離れた場所に位置している場合には、サムネイル表示が小さすぎてコンテンツの内容を把握することができないという問題があった。
【０００３】
そこで、コンテンツの視認性を高めるために、視聴者の周辺の環境や表示装置と視聴者の距離に応じて音声出力を調整したり、画質の品質を調整したりする技術が開示されている（例えば特許文献１、特許文献２）。例えば、特許文献１では、視聴者の鼻等の体の一部を認識して、表示装置に鼻を近づけると表示画像を拡大させたり、遠ざけると表示画像を縮小させたりしている。また、特許文献２では、表示画面と視聴者との距離に応じて、画質品質や文字のサイズ調整を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−９３０８９号公報
【特許文献２】特開２００８−７２５６１号公報
【特許文献３】特開２００８−１８１１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１および特許文献２では、表示装置と視聴者との距離に応じて表示画像を拡大・縮小することはできるが、視聴者の位置に応じてサムネイル画像の大きさや数を適切に調整し、視聴者の位置から判別しやすいサムネイル表示をすることはできないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、視聴者の距離や位置に応じて適切にサムネイル表示をすることが可能な、新規かつ改良された表示制御装置および表示制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、表示画像を視聴している視聴者の撮像画像を取得する撮像画像取得部と、撮像画像取得部により取得された視聴者の撮像画像に基づいて、表示画像に対する視聴者の視聴位置および視聴距離を検出する検出部と、検出部により検出された視聴者の視聴位置と表示画像の表示位置とを対応させながら、検出部により検出された視聴者の視聴距離に応じて表示画像の大きさを変更する、表示制御部と、を備える、表示制御装置が提供される。
【０００７】
かかる構成によれば、表示画像を視聴している視聴者の撮像画像に基づいて、表示画像に対する視聴者の視聴位置及び視聴距離を検出し、検出した視聴者の視聴位置と表示画像の表示位置とを対応させながら、視聴距離に応じて表示画像の大きさを変更することができる。これにより、視聴者の距離や位置に応じて適切にサムネイル等の表示画像を表示させることが可能となる。
【０００８】
また、表示制御部は、表示画面に複数の表示画像を表示させ、複数の表示画像のうち一の表示画像の表示位置と視聴者の視聴位置とを対応させて、一の表示画像の周囲に他の表示画像を表示させてもよい。
【０００９】
また、表示制御部は、視聴者の視聴距離に応じて複数の表示画像の表示数を制御するようにしてもよい。
【００１０】
また、表示制御部は、複数の表示画像のうち一の表示画像の表示位置と視聴者の視聴位置とを対応させながら、視聴者の視聴距離に応じて複数の表示画像の表示数を変更するようにしてもよい。
【００１１】
また、一の表示画像は再生されているコンテンツであってもよい。
【００１２】
また、一の表示画像は、表示画面の全画面に表示されていた表示画像であってもよい。
【００１３】
また、検出部は、撮像画像取得部により取得された視聴者の撮像画像に基づいて、視聴者の視線位置を検出し、表示制御部は、検出部により検出された視聴者の視線位置に応じて複数の表示画像のうち一の表示画像を選択表示するようにしてもよい。
【００１４】
また、表示制御部は、視聴者の視線位置に応じて、所定時間以上一の表示画像が選択表示されていた場合に、一の表示画像に紐付くコンテンツを表示画面に再生させるようにしてもよい。
【００１５】
また、検出部は、撮像画像取得部により取得された視聴者の撮像画像に基づいて、視聴者の顔方向を測定し、表示制御部は、視聴者の顔方向または視聴者の視線位置に応じて、表示画面に表示された複数の表示画像をスクロールさせてもよい。
【００１６】
また、表示制御部は、複数の表示画像を水平方向にスクロールさせて、表示画面の表示可能領域外に位置する表示画像を消去し、複数の表示画像が表示されていない表示画面の表示可能領域に複数の表示画像とは別の表示画像を表示させてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、表示画像を視聴している視聴者の撮像画像を取得するステップと、取得された視聴者の撮像画像に基づいて、表示画像に対する視聴者の視聴位置および視聴距離を検出するステップと、検出された視聴者の視聴位置と表示画像の表示位置とを対応させながら、検出された視聴者の視聴距離に応じて表示画像の大きさを変更するステップと、を含む表示制御方法が提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、視聴者の距離や位置に応じて適切にサムネイル表示をすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる表示制御装置のハードウェア構成の一例を示した説明図である。
【図２】同実施形態にかかる表示制御装置の機能構成を示すブロック図である。
【図３Ａ】同実施形態にかかる表示画像の表示位置と表示数について説明する説明図である。
【図３Ｂ】同実施形態にかかる表示画像の表示位置と表示数について説明する説明図である。
【図４】同実施形態にかかるサムネイルの表示数および大きさについて説明する説明図である。
【図５】同実施形態にかかるサムネイルの表示数および大きさについて説明する説明図である。
【図６】同実施形態にかかる視聴者の視線位置に応じたサムネイルの表示について説明する説明図である。
【図７】同実施形態にかかる視聴者の顔方向に応じたサムネイルの表示について説明する説明図である。
【図８】同実施形態にかかる視聴者の位置に応じた画像表示処理を示すフローチャートである。
【図９】同実施形態にかかる視聴者の視線に応じた画像表示処理を示すフローチャートである。
【図１０】同実施形態にかかる視聴者の顔方向に応じた画像表示処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕表示制御装置のハードウェア構成
〔３〕表示制御装置の機能構成
〔４〕表示制御装置における画像表示処理の詳細
【００２２】
〔１〕本実施形態の目的
【００２３】
一般的に、多くのコンテンツを表示画面に一覧表示するために、コンテンツを代表する静止画を縮小して表示することが行われている。このように、コンテンツを代表する静止画を縮小表示することをサムネイル表示という。サムネイル表示は、一画面内で多くのコンテンツを確認することができる一方、視聴距離の関係によっては非常に視認性が悪かったり、コンテンツの内容が判別し難かったりするという問題があった。例えば、大画面化したテレビに多くのサムネイルが表示され、視聴者が表示画面から離れた場所に位置している場合には、サムネイル表示が小さすぎてコンテンツの内容を把握することができないという問題があった。
【００２４】
そこで、コンテンツの視認性を高めるために、視聴者の周辺の環境や表示装置と視聴者の距離に応じて音声出力を調整したり、画質の品質を調整したりする技術が開示されている。例えば、視聴者の鼻等の体の一部を認識して、表示装置に鼻を近づけると表示画像を拡大させたり、遠ざけると表示画像を縮小させたりする技術が開示されている。また、表示画面と視聴者との距離に応じて、画質品質や文字のサイズ調整を行う技術も開示されている。
【００２５】
しかし、上記の従来技術では、表示装置と視聴者との距離に応じて表示画像を拡大・縮小することはできるが、視聴者の位置に応じてサムネイル画像の大きさや数を適切に調整し、視聴者の位置から判別しやすいサムネイル表示をすることはできないという問題があった。そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる表示制御装置１０が創作されるに至った。本実施形態にかかる表示制御装置１０によれば、視聴者の距離や位置に応じて適切にサムネイル表示をすることが可能となる。
【００２６】
また、従来、テレビ受像機により受信した番組や録画されたコンテンツを再生中に、他の番組をチェックしたり、他の録画コンテンツを視聴したりするためには、再生中のコンテンツを中断しなければならなかった。この場合、コンテンツを視聴しながら他のコンテンツの確認をしたり、他のコンテンツを選択したりすることが難しかった。しかし、本実施形態にかかる表示制御装置１０によれば、再生中のコンテンツがある場合、その再生を中断することなく、他のコンテンツをサムネイル表示させることが可能となる。さらに、他のコンテンツをサムネイル表示させる際に、視聴者の位置に合わせてサムネイルの位置を調整したり縮小したりすることが可能となる。
【００２７】
また、最近では、テレビ放送のデジタル化に伴って、テレビ受像機において、テレビ放送の受信や表示だけでなく、ネットワークを介したコンテンツの提供や、静止画や音楽の再生、記録媒体からの映像再生といった多数のマルチメディアコンテンツを扱うようになってきている。それに伴って、テレビ受像機の操作が複雑化し、リモコンのボタン数が増加したりして使い勝手が低下するという問題があった。また、リモコンはその可搬性ゆえに、どこにあるのかわからなくなることも多く、リモコンを探すのが手間であったり、操作するたびにリモコンを取りに行ったりしなければならないという問題があった。
【００２８】
本実施形態によれば、上記したように、リモコン操作をせずとも、視聴者の位置に応じてサムネイル表示を調整することができる。また、視聴者の顔の向きや視線を認識することにより、サムネイル表示の位置を変更したり、サムネイルに紐付いたコンテンツを選択したりすることが可能となる。また、視聴者が表示画面から遠ざかる場合には、縮小されたサムネイル表示を拡大することにより、リモコン操作せずにサムネイルの視認性を改善することができる。
【００２９】
〔２〕表示制御装置のハードウェア構成
次に、図１を参照して、表示制御装置１０のハードウェア構成について説明する。図１は、本実施形態にかかる表示制御装置１０のハードウェア構成の一例を示した説明図である。
【００３０】
表示制御装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１０９と、ストレージ装置（ＨＤＤ）１１０と、ドライブ１１１と、通信装置１１２とを備える。
【００３１】
ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。
【００３２】
ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【００３３】
入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。表示制御装置１０のユーザは、該入力装置１０８を操作することにより、表示制御装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００３４】
出力装置１０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
【００３５】
ストレージ装置１１０は、本実施形態にかかる表示制御装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
【００３６】
ドライブ１１１は、記憶媒体用リーダライタであり、表示制御装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体１２０に記録されている情報を読み出して、ＲＡＭ１０３に出力する。
【００３７】
通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００３８】
〔３〕表示制御装置の機能構成
以上、表示制御装置１０のハードウェア構成について説明した。次に、図２を参照して、表示制御装置１０の機能構成について説明する。図２に示したように、表示制御装置１０は、撮像画像取得部１５２、画像処理部１５４、検出部１５８、表示制御部１６０、映像音声処理部１６２などを主に備える。
【００３９】
撮像画像取得部１５２は、表示画像を視聴している視聴者の撮像画像を取得する機能を有する。視聴者の撮像画像は、撮像装置２０により撮像されて撮像画像取得部１５２に提供される。本実施形態では、撮像装置２０を表示制御装置１０と別体の装置としたが、かかる例に限定されず、撮像装置２０と表示制御装置１０とを一体の装置として構成してもよい。撮像装置２０により視聴者が撮像されることにより、視聴者と表示制御装置１０との距離や位置、顔の向き、視線など視聴者の動作を検出することが可能となる。撮像装置２０は、視聴者の動作をより正確に検出するために、表示装置３０の外枠部分に備えるようにしてもよい。
【００４０】
撮像画像取得部１５２は、所定の間隔で撮像画像を取得してもよいし、ユーザ操作等に応じて撮像画像を取得してもよい。例えば、ユーザ操作により表示画像を表示する表示装置３０に電源が投入された後に、所定の間隔で撮像画像を取得するようにしてもよい。また、ユーザの動作を検出した場合に視聴者の撮像画像を取得するようにしてもよい。撮像画像取得部１５２は、視聴者の撮像画像を画像処理部１５４に提供する。
【００４１】
画像処理部１５４は、撮像画像取得部１５２から提供された視聴者の撮像画像から視聴者の特徴点を処理する機能を有する。視聴者の特徴点とは、例えば、視聴者の位置、距離、顔の向き、視線などである。画像処理部１５４には、視聴位置処理部１５５、視線位置処理部１５６、顔方向処理部１５７などが含まれている。
【００４２】
視聴位置処理部１５５は、視聴者の撮像画像から、表示装置３０と視聴者との位置関係や距離を表す特徴点を抽出する機能を有する。視聴位置処理部１５５は、視聴者の撮像画像そのものから、視聴者の体の輪郭画像等用いてを表示装置３０と視聴者との位置関係や距離を表す特徴点を抽出する。例えば、視聴者の画像全体に対する顔領域の大きさを特徴点として抽出し、該特徴点から距離を算出するようにしてもよい。また、視聴位置処理部１５５は、赤外線等を利用した距離センサを用いて表示装置３０と視聴者との位置関係や距離を表す特徴点を抽出するようにしてもよい。
【００４３】
視線位置処理部１５６は、視聴者の撮像画像から、視聴者の視線位置を表す特徴点を抽出する機能を有する。視線位置処理部１５６は、例えば、視聴者の目の部分画像を、視線位置を特定する特徴点として抽出するようにしてもよい。視線位置処理部１５６は、視聴者の目の部分画像から画像上の視線の座標を算出する。顔方向処理部１５７は、視聴者の撮像画像から、視聴者の顔方向を表す特徴点を抽出する機能を有する。顔方向処理部１５７は、例えば、画像中の顔領域の位置を特定し、顔領域の皮膚の色や目、口などの輪郭を、顔方向を特定する特徴点として抽出するようにしてもよい。
【００４４】
画像処理部１５４は、視聴位置処理部１５５、視線位置処理部１５６、顔方向処理部１５７により抽出したそれぞれの特徴点を検出部１５８に提供する。検出部１５８は、画像処理部１５４により提供された視聴者の撮像画像に基づく特徴点から、視聴者の動作に関する情報を検出する機能を有する。視聴者の動作に関する情報とは、例えば、視聴者の位置情報や距離情報、顔の向きの情報、視線の情報などである。
【００４５】
例えば、検出部１５８は、視聴位置処理部１５５により抽出された画像全体に対する顔領域の大きさから視聴者の位置情報や距離情報を算出する。また、検出部１５８は、視線位置処理部１５６により抽出された視聴者の目の部分画像から画面上の視線位置の座標を算出する。また、検出部１５８は、顔方向処理部１５７により抽出された顔領域の皮膚の色や目、口など輪郭などから視聴者の顔方向を特定する。
【００４６】
また、検出部１５８は、視聴位置処理部１５５により抽出された情報と視線位置処理部１５６により抽出された情報とから、位置情報や距離情報を算出するようにしてもよい。また、視聴位置処理部１５５により抽出された情報と顔方向処理部１５７により抽出された情報とから視聴者の顔方向を算出するようにしてもよい。検出部１５８は、検出した視聴者の動作に関する情報を表示制御部１６０に提供する。
【００４７】
表示制御部１６０は、検出部１５８により検出された視聴者の視聴位置と表示画像の表示位置とを対応させながら、検出部１５８により検出された視聴者の視聴距離に応じて表示画像の大きさを変更する機能を有する。例えば、表示制御部１６０は、複数の表示画像が表示画面に表示されている場合には、複数の表示画像のうち一の表示画像の表示位置と視聴者の視聴位置とを対応させて、一の表示画像の周囲に他の表示画像を表示させる。また、表示制御部１６０は、視聴者の視聴距離に応じて複数の表示画像の表示数を変更する。
【００４８】
さらに、表示制御部１６０は、複数の表示画像のうち一の表示画像の表示位置と視聴者の視聴位置とを対応させながら、視聴者の視聴距離に応じて複数の表示画像の表示数を変更する機能を有する。また、表示制御部１６０は、検出部１５８により検出された視聴者の視線位置に応じて複数の表示画像のうち一の表示画像を選択表示する。例えば、表示画面に複数のサムネイルが表示されていた場合に、複数のサムネイルのうちの一つに視聴者の視線位置が合った場合には、当該サムネイルを選択して全画面表示するようにしてもよい。また、視聴者の視線位置が合ったサムネイルを再生するようにしてもよい。
【００４９】
また、検出部１５８により、視聴者の顔方向が検出された場合には、視聴者の顔方向に応じて表示画面に表示された複数のサムネイルをスクロールさせるようにしてもよい。例えば、視聴者の顔方向が左方向であった場合には、複数のサムネイルを左側にスクロールさせてもよい。この場合、表示可能領域外、すなわち表示画面の外側に位置することとなるサムネイルを消去させ、表示されているサムネイルとは別のサムネイルを順次左側に表示させていく。
【００５０】
ここで、図３〜図７を参照して、表示制御部１６０によるサムネイルの表示について説明する。まず、図３Ａおよび図３Ｂを参照して、表示制御部１６０により制御される表示画像の表示位置と表示数について説明する。以下では、複数の表示画像を一画面内に縮小表示するサムネイル表示について説明する。
【００５１】
図３Ａは、視聴者の距離とサムネイル表示の関係について説明する説明図である。図３Ａに示したように、視聴者４０は、表示画面３０１の中央に位置しており、表示画面３０１に徐々に近づいていくとする。表示画面３０１上では、視聴者４０が視聴しているコンテンツが再生されている。表示画面３０１では、再生しているコンテンツが全画面表示されている。
【００５２】
視聴者４０が表示画面３０１に近づくと、表示制御部１６０は、表示画面３０１の表示を表示画面３０２のように表示される。すなわち、表示画面３０１において再生されていたコンテンツの表示サイズが縮小されて、該コンテンツとともに他のコンテンツが表示される（表示画面３０２）。視聴者４０が視聴しているコンテンツの表示位置は、検出部１５８により検出された視聴者の位置に応じて決定される。また、表示画面３０２に表示されるサムネイルの数および大きさは、検出部１５８により検出された視聴者と表示装置３０との距離に応じて決定される。
【００５３】
図３Ａにおいては、視聴者４０は表示画面３０１の中央に位置しているため、表示画面３０２では、視聴していたコンテンツが中央下に配置される。また、表示画面３０２には、３つのサムネイルが表示される。表示画面３０２に表示されるサムネイルが、動画像であった場合には、例えば、視聴していたコンテンツは表示領域が縮小されてそのまま再生され、その他のコンテンツは静止画のサムネイルであってもよい。
【００５４】
さらに、視聴者４０が表示画面３０２に近づいた場合には、視聴者４０が視聴していたサムネイルが縮小されて中央に配置され、表示画面３０３に９個のサムネイルが表示される。さらに、視聴者４０が表示画面３０３に近づいた場合には、視聴者４０が視聴していたサムネイルが縮小されて中央に配置され、表示画面３０４に１５個のサムネイルが表示される。上記したように、視聴者４０が視聴していたサムネイルの表示位置は、視聴者の位置に応じて決定され、サムネイルの表示数と大きさは視聴者４０と表示装置３０との距離に応じて決定される。
【００５５】
また、図３Ｂにおいては、視聴者４０は表示画面３１１の左側に位置しているものとする。この場合においても、視聴者４０が視聴していたコンテンツの表示位置は、検出部１５８により検出された視聴者の位置に応じて決定される。すなわち、視聴者４０が表示画面３１１の左側に位置しながら表示画面３１１に近づくと、表示画面３１１において再生されていたコンテンツの表示サイズが縮小されて、該コンテンツとともに他のコンテンツが表示される
【００５６】
上記したように、視聴者４０は表示画面３１１の左側に位置しているため、視聴者４０が表示画面３１１に近づくと、表示画面３１２に示したように、視聴していたコンテンツが左側に配置されて３つのサムネイルが表示される。さらに、視聴者４０が表示画面３１２に近づくと、視聴者４０が視聴していたサムネイルが左側中央に配置され、表示画面３１３に９個のサムネイルが表示される。さらに、視聴者４０が表示画面３１３に近づいた場合には、視聴者４０が視聴していたサムネイルが縮小された左側中央に配置され、表示画面３１４に１５個のサムネイルが表示される。
【００５７】
ここで、図４および図５を参照して、サムネイルの表示数および大きさについて説明する。図４は、サムネイルの表示数および大きさについて説明する説明図である。図４に示したように、例えば、距離の閾値群が０〜１００の１０刻みであった場合について説明する。距離の閾値群は、例えば、０〜９をｈ１とし、１０〜１９をｈ２とし、２０〜２９をｈ３とし、３０〜３９をｈ４とし、４０〜４９をｈ５とし、５０〜５９をｈ６とし、６０〜６９をｈ７とし、７０〜７９をｈ８とし、８０〜８９をｈ９とし、９０〜９９をｈ１０とする。検出部１５８により検出された視聴者４０と表示装置３０との距離が６５であった場合には、距離情報は閾値情報と比較されて閾値情報がｈ７であると判断される。
【００５８】
図５に示したように、距離の情報と表示数と大きさが関連付けられている場合には、距離の情報から表示画面に表示すべきサムネイルの表示数と大きさを決定することができる。図５は、距離に対するサムネイルの表示数と大きさのマッピング例を説明する説明図である。例えば、距離が６０〜７０の間であった場合には、距離情報（No.）が「ｈ７」であるため、サムネイルの表示数が５、大きさが１６０×１６０に決定される。サムネイルの表示数と大きさの決定方法については後で詳細に説明する。
【００５９】
次に、図６を参照して、表示制御部１６０により制御される視聴者の視線位置に応じたサムネイルの表示について説明する。図６に示したように、表示画面３２１に表示された複数のサムネイルのうち、視聴者の視線４１が矢印の指し示すサムネイルに合っていたとする。そうすると、表示画面３２２において、視聴者の視線４１が合ったサムネイルが選択されたことを示す表示となる。
【００６０】
表示画面３２２においては、サムネイルが選択されたことが視認可能なように、選択されたサムネイルの表示枠が２重となってもよいし、他のサムネイルと異なる色が配色されてもよい。また、矢印等でサムネイルが選択されたことが認識可能なようにしてもよい。そして、視聴者の視線４１が所定時間選択されたサムネイルに合っていた場合には、該サムネイルを全画面表示させて、コンテンツを再生する(表示画面３２４)。
【００６１】
次に、図７を参照して、表示制御部１６０により制御される視聴者の顔方向に応じたサムネイルの表示について説明する。図７に示したように、表示画面３３１には、表示画面内に表示可能な最大数のサムネイルが複数表示されている。そして、視聴者の顔方向４２が左側に向いていることが検出された場合には、表示画面３３２に示したように、視聴者の顔方向４２とは反対方向の右方向にサムネイルがスクロールされる。図７では、視聴者の顔方向に応じてサムネイルをスクロールさせているが、視聴者の視線方向に応じてサムネイルをスクロールさせるようにしてもよい。また、表示画面３３３に示したように、表示すべきサムネイルがすべて表示された場合には、スクロールを停止してもよい。また、視聴者が正面を向いた場合にスクロールを停止するようにしてもよい。以上、表示制御部１６０によるサムネイルの表示について説明した。
【００６２】
図２に戻り、表示制御装置１０の機能構成の説明を続ける。表示制御部１６０は、サムネイルの数や大きさ、サムネイルの位置等の表示制御情報を映像音声処理部１６２に提供する。映像音声処理部１６２は、映像音声受信部１６３、映像信号処理部１６４、映像用メモリ１６５、映像スケーラ１６６、音声処理部１６７などを含む。映像音声受信部１６３により受信された映像および音声は、受信した信号を増幅及び検波し映像信号と音声信号に分離し、それぞれ、映像信号処理部１６４と音声処理部１６７に出力する。
【００６３】
映像信号処理部１６４は、映像音声受信部１６３から出力された映像信号の調整、符号化等を行って、映像用メモリ１６５に調整後の映像信号を出力する。音声処理部１６７は、映像音声受信部１６３から出力された音声信号の調整、符号化等を行う。映像用メモリ１６５に出力された映像信号は、映像スケーラ１６６により表示制御部１６０により指示された大きさまたは表示装置３０のディスプレイの大きさに応じた大きさに映像を調整して表示装置３０に出力する。
【００６４】
〔４〕表示制御装置における画像表示処理の詳細
以上、表示制御装置１０の機能構成について説明した。次に、図８〜図１０を参照して、表示制御装置１０における画像表示処理の詳細について説明する。図８は、視聴者の位置に応じた画像表示処理を示すフローチャートである。図８に示したように、まず、視聴位置処理部１５５により撮像装置２０により撮像された視聴者の顔の大きさが認識され、検出部１５８により視聴者と表示装置３０との距離を測定する（Ｓ１０２）。ステップＳ１０２においては、視聴者の顔の大きさに基づいて距離を測定しているが、かかる例に限定されず、視聴者の鼻等、顔の大きさ以外のいずれかの大きさに基づいて距離を測定するようにしてもよい。
【００６５】
次に、表示制御部１６０は、ステップＳ１０２において測定された距離情報と予め登録されている閾値情報との比較を行う（Ｓ１０４）。具体的には、閾値情報Ｎと視聴距離との大きさを比較する。視聴距離が閾値Ｎより大きい場合には、閾値Ｎの値を加算していく（Ｓ１０６）。例えば、ステップＳ１０４において算出された距離が１０で、予め登録された閾値郡が０〜１００の１０刻みであったとする。この場合、まず、ステップＳ１０４において閾値０と距離１０が比較される。ステップＳ１０４の比較において閾値０より距離１０が大きいため、閾値０に１が加算される。この場合、閾値１０となった場合にステップＳ１０８の処理が実行される。
【００６６】
そして、ステップＳ１０２において測定された視聴距離と、前回測定された視聴距離とが同じか否かを判定する（Ｓ１０８）。ステップＳ１０８において、前回測定された視聴距離の測定値と同じであった場合には処理を終了する。また、ステップＳ１０８において、前回測定された視聴距離の測定値と同じではないと判断された場合には、図５に示した閾値と表示数等とのマッピングにしたがって、画像の表示数と大きさを決定する（Ｓ１１０）。
【００６７】
次に、コンテンツが再生中であるか否かを判定する（Ｓ１１２）。ステップＳ１１２において、コンテンツが再生中であると判定された場合には、視聴者の位置を測定する（Ｓ１１４）。ステップＳ１１４における位置の測定は、表示装置３０に対する視聴者の左右の位置である。そして、視聴者が視聴中のコンテンツを縮小表示して、視聴者の位置に応じてコンテンツを移動させる（Ｓ１１６）。
【００６８】
例えば、視聴者が表示装置３０に対して右側に位置していた場合には、縮小したコンテンツを右に移動する。また、視聴者が表示装置３０に対して左側に位置していた場合には、縮小したコンテンツを左に移動する。ステップＳ１１６におけるコンテンツの縮小率は、ステップＳ１１０において決定された画像の大きさに応じて変更される。
【００６９】
また、コンテンツの移動位置は、ステップＳ１１０において決定された画像の表示数に応じて最適な位置に配置される。表示数に応じた最適な位置とは、例えば、図３Ｂに示したように、視聴者が左側に位置している場合には、表示画面３１２に示したように、再生しているコンテンツが左側に配置される。また、表示数が増えた場合には、表示画面３１３および３１４に示したように、再生しているコンテンツが左側の中央に配置される。
【００７０】
そして、ステップＳ１１０において決定された視聴距離が閾値Ｎ−１以上Ｎ以下の場合の表示数と大きさで複数のサムネイルを表示する（Ｓ１１８）。また、ステップＳ１１８において、コンテンツの数が表示画面に表示されるコンテンツの最大数であった場合には、
再生中のコンテンツを中断するようにしてもよい。表示画面に多数のコンテンツが表示され、一つ一つのコンテンツの大きさが最小となる場合には、コンテンツを再生しても内容を視認できないと考えられるからである。
【００７１】
このように、本実施形態によれば、視聴者と表示装置３０との距離や位置に応じて、サムネイルの表示数や大きさを変更したり、再生しているサムネイルの配置位置を視聴者から見やすい位置に配置したりすることが可能となる。
【００７２】
次に、図９を参照して、視聴者の視線に応じた画像表示処理の詳細について説明する。図９は、視聴者の視線に応じた画像表示処理を示すフローチャートである。図９に示したように、まず、表示画面上にサムネイルが表示されているか否かを判定する（Ｓ２０２）。ステップＳ２０２において、サムネイルが表示されていると判定された場合には、検出部１５８は、視線位置処理部１５６により抽出された目の部分画像から画面上の視線位置の座標を算出する（Ｓ２０４）。
【００７３】
そして、ステップＳ２０４において算出された視聴者の視線位置が、表示中のサムネイルのいずれかに一致しているか否かを判定する（Ｓ２０６）。ステップＳ２０６において、視聴者の視線位置が表示中のサムネイルのいずれかに位置していると判定された場合には、前回のカーソルの表示位置と同じか否かを判定する（Ｓ２１０）。ステップＳ２１０におけるカーソルの表示とは、サムネイルを選択していることが認識可能な表示である。ステップＳ２０６において、視聴者の視線位置が表示中のサムネイルのいずれかに位置していないと判定された場合については、後で詳細に説明する。
【００７４】
そして、ステップＳ２１０において、前回のカーソルの表示位置と同じであると判定された場合には、カーソルの表示が一定時間経過したか否かを判定する（Ｓ２１２）。また、ステップＳ２１０において、前回のカーソルの表示位置と同じではないと判定された場合には、現在視聴位置座標にあるサムネイルをカーソル表示する（Ｓ２０８）。そして、ステップＳ２０２〜ステップＳ２１０の処理を繰り返す。
【００７５】
ステップＳ２１２において、カーソルの表示が一定時間経過したと判定された場合には、カーソル表示に位置しているサムネイルに紐付いているコンテンツを選択する（Ｓ２１４）。ステップＳ２１４においては、選択されたサムネイルに紐付くコンテンツを全画面表示にして再生させるようにしてもよい。これにより、リモコン等を使用しなくとも、視聴者が再生したいと考えるコンテンツを自動的に再生させることが可能となる。
【００７６】
ステップＳ２０６において、表示中のサムネイルのいずれかに視聴者の視線が一致しないと判定された場合、次に、現在カーソル表示がなされているか否かを判定する（Ｓ２１６）。ステップＳ２１６において、現在カーソル表示がなされていると判定された場合には、該カーソル表示を消去する（Ｓ２１８）。ステップＳ２１６において視聴者の視線がサムネイルのいずれにも一致しない場合には、視聴者がサムネイルを見ていないため１つのサムネイルを選択するカーソル表示を消去する。また、ステップＳ２１６において、現在カーソル表示がなされていないと判定された場合には、ステップＳ２２０の処理を実行する。
【００７７】
そして、一定時間が経過したか否かを判定する（Ｓ２２０）。ステップＳ２２０において、一定時間が経過した場合には、視聴者はサムネイルで表示しているコンテンツを見ていないと判断して、サムネイルの一覧表示を解除し、現在視聴中のコンテンツまたはサムネイル表示前に視聴していたコンテンツの再生を全画面で行う（Ｓ２２２）。ステップＳ２２０において、一定時間が経過していない場合には、ステップＳ２０２の処理に戻る。
【００７８】
以上、視聴者の視線に応じた画像表示処理の詳細について説明した。次に、図１０を参照して、視聴者の顔方向に応じた画像表示処理の詳細について説明する。図１０は、視聴者の顔方向に応じた画像表示処理を示すフローチャートである。図１０に示したように、まず、サムネイルが全画面に表示されているか、すなわち、表示画面内に表示可能な最大数のサムネイルが表示されているか否かを判定する（Ｓ３０２）。ステップＳ３０２において、サムネイルが全画面に表示されている場合とは、視聴者が表示画面に近づいていき、表示画面に表示されるサムネイルの数が増えて最終的に表示画面内に表示可能な最大数のサムネイルが表示されている場合である。
【００７９】
ステップＳ３０２において、サムネイルが全画面に表示されていると判定された場合には、検出部１５８は視聴者の顔方向を測定する（Ｓ３０４）。ステップＳ３０４においては、検出部１５８は、顔方向処理部１５７により抽出された画像中の顔領域の皮膚の色や目、口などの輪郭から顔方向を算出する。そして、ステップＳ３０４において測定された顔方向が正面を向いているか否かを判定する（Ｓ３０６）。
【００８０】
ステップＳ３０６において、顔方向が正面ではないと判定された場合には、サムネイルを顔方向と逆の方向にスクロールする（Ｓ３０８）。ステップＳ３０８においては、例えば、視聴者の顔の向きが右方向の場合には、サムネイルを左方向にスクロールさせる。また、視聴者の顔の向きが左方向の場合には、サムネイルを右方向にスクロールさせる。
【００８１】
ここで、サムネイルをスクロールさせるとは、サムネイルを平行移動して、その結果、表示画面の表示可能領域外となるサムネイル画像を消去し、サムネイルの平行移動によって開いたスペースに新たなサムネイルを表示することをいう。これにより、表示画面内に表示可能なすべてのサムネイルを表示できない場合でも、リモコン等の煩わしい操作をせずに、順次新しいサムネイルを視認することが可能となる。
【００８２】
以上、視聴者の顔方向に応じた画像表示処理の詳細について説明した。上記したように、本実施形態にかかる表示制御装置１０によれば、表示画像を視聴している視聴者の撮像画像に基づいて、表示画像に対する視聴者の視聴位置及び視聴距離を検出し、検出した視聴者の視聴位置と表示画像の表示位置とを対応させながら、視聴距離に応じて表示画像の大きさを変更することができる。これにより、視聴者の距離や位置に応じて適切にサムネイル等の表示画像を表示させることが可能となる。
【００８３】
また、再生中のコンテンツがある場合、その再生を中断することなく、他のコンテンツをサムネイル表示させることが可能となる。さらに、他のコンテンツをサムネイル表示させる際に、視聴者の位置に合わせてサムネイルの位置を調整したり縮小したりすることが可能となる。
【００８４】
さらに、視聴者によるリモコン操作がなくとも、視聴者の位置に応じてサムネイル表示を調整することができる。また、視聴者の顔の向きや視線を認識することにより、サムネイル表示の位置を変更したり、サムネイルに紐付いたコンテンツを選択したりすることが可能となる。また、視聴者が表示画面から遠ざかる場合には、縮小されたサムネイル表示を拡大することにより、リモコン操作せずにサムネイルの視認性を改善することができる。
【００８５】
また、視聴者の位置や顔や視線の向きなどによってサムネイルの表示数や大きさを変更したり、コンテンツを再生したりすることが可能となる。したがって、手などによる複雑な操作や大振りなジェスチャをせずとも、視聴者の位置や顔や視線の向きによって、適切に画像を表示制御することができる。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８７】
例えば、本明細書の表示制御装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、表示制御装置１０の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。
【００８８】
また、表示制御装置１０などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した表示制御装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【００８９】
１０ 表示制御装置
１５２ 撮像画像取得部
１５４ 画像処理部
１５５ 視聴位置処理部
１５６ 視線位置処理部
１５７ 顔方向処理部
１５８ 検出部
１６０ 表示制御部
１６２ 映像音声処理部
１６３ 映像音声受信部
１６４ 映像信号処理部
１６５ 映像用メモリ
１６６ 映像スケーラ
１６７ 音声処理部
【特許請求の範囲】
【請求項１】
表示画像を視聴している視聴者の撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部により取得された前記視聴者の撮像画像に基づいて、前記表示画像に対する前記視聴者の視聴位置および視聴距離を検出する検出部と、
前記検出部により検出された前記視聴者の視聴位置と前記表示画像の表示位置とを対応させながら、前記検出部により検出された前記視聴者の視聴距離に応じて前記表示画像の大きさを変更する、表示制御部と、
を備える、表示制御装置。
【請求項２】
前記表示制御部は、前記表示画面に複数の表示画像を表示させ、
前記複数の表示画像のうち一の表示画像の表示位置と前記視聴者の視聴位置とを対応させて、前記一の表示画像の周囲に他の表示画像を表示させる、請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、前記視聴者の視聴距離に応じて前記複数の表示画像の表示数を制御する、請求項２に記載の表示制御装置。
【請求項４】
前記表示制御部は、前記複数の表示画像のうち一の表示画像の表示位置と前記視聴者の視聴位置とを対応させながら、前記視聴者の視聴距離に応じて前記複数の表示画像の表示数を変更する、請求項３に記載の表示制御装置。
【請求項５】
前記一の表示画像は再生されているコンテンツである、請求項２〜４のいずれかに記載の表示制御装置。
【請求項６】
前記一の表示画像は、前記表示画面の全画面に表示されていた表示画像である、請求項２〜４のいずれかに記載の表示制御装置。
【請求項７】
前記検出部は、前記撮像画像取得部により取得された前記視聴者の撮像画像に基づいて、前記視聴者の視線位置を検出し、
前記表示制御部は、前記検出部により検出された前記視聴者の視線位置に応じて前記複数の表示画像のうち一の表示画像を選択表示する、請求項２に記載の表示制御装置。
【請求項８】
前記表示制御部は、前記視聴者の視線位置に応じて、所定時間以上前記一の表示画像が選択表示されていた場合に、前記一の表示画像に紐付くコンテンツを表示画面に再生させる、請求項７に記載の表示制御装置。
【請求項９】
前記検出部は、前記撮像画像取得部により取得された前記視聴者の撮像画像に基づいて、前記視聴者の顔方向を測定し、
前記表示制御部は、前記視聴者の顔方向または前記視聴者の視線位置に応じて、前記表示画面に表示された前記複数の表示画像をスクロールさせる、請求項８に記載の表示制御装置。
【請求項１０】
前記表示制御部は、前記複数の表示画像を水平方向にスクロールさせて、前記表示画面の表示可能領域外に位置する前記表示画像を消去し、前記複数の表示画像が表示されていない前記表示画面の表示可能領域に前記複数の表示画像とは別の表示画像を表示させる、請求項２に記載の表示制御装置。
【請求項１１】
表示画像を視聴している視聴者の撮像画像を取得するステップと、
前記取得された前記視聴者の撮像画像に基づいて、前記表示画像に対する前記視聴者の視聴位置および視聴距離を検出するステップと、
前記検出された前記視聴者の視聴位置と前記表示画像の表示位置とを対応させながら、前記検出された前記視聴者の視聴距離に応じて前記表示画像の大きさを変更するステップと、
を含む表示制御方法。
【請求項１】
表示画像を視聴している視聴者の撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部により取得された前記視聴者の撮像画像に基づいて、前記表示画像に対する前記視聴者の視聴位置および視聴距離を検出する検出部と、
前記検出部により検出された前記視聴者の視聴位置と前記表示画像の表示位置とを対応させながら、前記検出部により検出された前記視聴者の視聴距離に応じて前記表示画像の大きさを変更する、表示制御部と、
を備える、表示制御装置。
【請求項２】
前記表示制御部は、前記表示画面に複数の表示画像を表示させ、
前記複数の表示画像のうち一の表示画像の表示位置と前記視聴者の視聴位置とを対応させて、前記一の表示画像の周囲に他の表示画像を表示させる、請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、前記視聴者の視聴距離に応じて前記複数の表示画像の表示数を制御する、請求項２に記載の表示制御装置。
【請求項４】
前記表示制御部は、前記複数の表示画像のうち一の表示画像の表示位置と前記視聴者の視聴位置とを対応させながら、前記視聴者の視聴距離に応じて前記複数の表示画像の表示数を変更する、請求項３に記載の表示制御装置。
【請求項５】
前記一の表示画像は再生されているコンテンツである、請求項２〜４のいずれかに記載の表示制御装置。
【請求項６】
前記一の表示画像は、前記表示画面の全画面に表示されていた表示画像である、請求項２〜４のいずれかに記載の表示制御装置。
【請求項７】
前記検出部は、前記撮像画像取得部により取得された前記視聴者の撮像画像に基づいて、前記視聴者の視線位置を検出し、
前記表示制御部は、前記検出部により検出された前記視聴者の視線位置に応じて前記複数の表示画像のうち一の表示画像を選択表示する、請求項２に記載の表示制御装置。
【請求項８】
前記表示制御部は、前記視聴者の視線位置に応じて、所定時間以上前記一の表示画像が選択表示されていた場合に、前記一の表示画像に紐付くコンテンツを表示画面に再生させる、請求項７に記載の表示制御装置。
【請求項９】
前記検出部は、前記撮像画像取得部により取得された前記視聴者の撮像画像に基づいて、前記視聴者の顔方向を測定し、
前記表示制御部は、前記視聴者の顔方向または前記視聴者の視線位置に応じて、前記表示画面に表示された前記複数の表示画像をスクロールさせる、請求項８に記載の表示制御装置。
【請求項１０】
前記表示制御部は、前記複数の表示画像を水平方向にスクロールさせて、前記表示画面の表示可能領域外に位置する前記表示画像を消去し、前記複数の表示画像が表示されていない前記表示画面の表示可能領域に前記複数の表示画像とは別の表示画像を表示させる、請求項２に記載の表示制御装置。
【請求項１１】
表示画像を視聴している視聴者の撮像画像を取得するステップと、
前記取得された前記視聴者の撮像画像に基づいて、前記表示画像に対する前記視聴者の視聴位置および視聴距離を検出するステップと、
前記検出された前記視聴者の視聴位置と前記表示画像の表示位置とを対応させながら、前記検出された前記視聴者の視聴距離に応じて前記表示画像の大きさを変更するステップと、
を含む表示制御方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１５３０１（Ｐ２０１１−１５３０１Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５９１４９（Ｐ２００９−１５９１４９）
【出願日】平成２１年７月３日（２００９．７．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年７月３日（２００９．７．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]