映像再生装置及び映像再生方法
【課題】立体的な表示上の操作位置と、立体的な表示上の操作位置に対する利用者の操作位置との関係を認識させることができる映像再生装置及び映像再生方法を提供する。
【解決手段】映像再生装置１は、複数の画素に利用者との距離情報を関連付けた距離画像を取得する距離画像センサ３と、距離情報に基づいて前記利用者との距離の重心を算出する重心算出部２１ｃと、重心との関係に基づいて距離画像から利用者が操作を指示する位置を示す指示座標を算出する両手座標算出部２１ｂと、距離情報と重心とに基づいて利用者に対する基準面及び仮想的な基準面を設定する基準面算出部２１ｄと、基準面の距離を基準として距離画像の画素を取捨選択し指示画像を生成するとともに、操作用画像を生成し、仮想的な操作面と指示座標との位置関係に基づいて操作用画像に対して指示画像を配置して合成する表示制御部２２とを有する。
【解決手段】映像再生装置１は、複数の画素に利用者との距離情報を関連付けた距離画像を取得する距離画像センサ３と、距離情報に基づいて前記利用者との距離の重心を算出する重心算出部２１ｃと、重心との関係に基づいて距離画像から利用者が操作を指示する位置を示す指示座標を算出する両手座標算出部２１ｂと、距離情報と重心とに基づいて利用者に対する基準面及び仮想的な基準面を設定する基準面算出部２１ｄと、基準面の距離を基準として距離画像の画素を取捨選択し指示画像を生成するとともに、操作用画像を生成し、仮想的な操作面と指示座標との位置関係に基づいて操作用画像に対して指示画像を配置して合成する表示制御部２２とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生装置及び映像再生方法に関する。
【背景技術】
【０００２】
従来の技術として、表示画面に表示されたＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に実際に触れているかのように操作することができる映像再生装置がある（例えば、特許文献１参照）。
【０００３】
この映像再生装置は、ＧＵＩを含む画像を作成する表示情報作成部と、タッチパッドに対する利用者の特定の入力操作を検出する操作内容決定部と、ＧＵＩに対する操作位置としてタッチパッドに対する利用者の接触領域を示す画像を作成する身体位置表示部と、身体位置表示部によって作成された画像と表示情報作成部によって作成された表示情報とを合成する画像合成部とを有し、身体位置表示部により作成される接触領域を示す画像が、利用者の操作位置、つまりタッチパッドに利用者の手が触れた位置から推定して作成され、影とともに立体的に表示されるため、利用者は表示画面に表示されたＧＵＩに実際に触れているかのように操作することができる。
【０００４】
しかし、従来の映像再生装置によると利用者はタッチパッドに触れて操作を入力するため、平面的な表示上の操作位置とタッチパッドにおける利用者の操作位置との関係を認識させることができるが、タッチパッド上に操作範囲が限定されるという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−７２８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、本発明の目的は、従来に比べて利用者の操作を限定することなく、表示上の操作位置に対する利用者の操作位置を認識させることができる映像再生装置及び映像再生方法を提供することにある。
【課題を解決するための手段】
【０００７】
（１）本発明の一態様は、上記目的を達成するため、距離センサの画素毎に利用者との距離情報を関連付けた距離画像を取得する距離画像取得部と、前記距離画像に関連付けられた前記距離情報に基づいて前記利用者の距離の重心を算出する重心算出部と、前記重心との関係に基づいて前記距離画像に関連付けられた前記距離情報から利用者が操作を指示する位置を示す指示座標を算出する指示座標算出部と、前記距離画像に関連付けられた前記距離情報と前記重心とに基づいて基準面を設定し、当該基準面と前記距離画像センサとの距離を算出する基準面算出部と、前記距離画像から前記基準面より距離センサ側に位置する画像を取得し、取得した当該画像から指示画像を生成する指示画像生成部と、前記指示画像の操作対象である操作用画像を生成する操作用画像生成部と、前記基準面から予め定めた位置に設定される仮想的な操作面と前記指示座標との位置関係に基づいて前記操作用画像に対して前記指示画像を配置して合成する表示制御部とを有することを特徴とする映像再生装置を提供する。
【０００８】
上記した構成によれば、操作用画像に対する指示画像の操作位置と、操作用画像に対応した仮想的な操作面に対する利用者の操作位置との関係を認識させることができる。
【０００９】
（２）また、本発明の他の態様は、上記目的を達成するため、距離センサの画素毎に利用者との距離情報を関連付けた距離画像を取得する距離画像取得ステップと、前記距離画像に関連付けられた前記距離情報に基づいて前記利用者の距離の重心を算出する重心算出ステップと、前記重心との関係に基づいて前記距離画像に関連付けられた前記距離情報から利用者が操作を指示する位置を示す指示座標を算出する指示座標算出ステップと、前記距離画像に関連付けられた前記距離情報と前記重心とに基づいて基準面を設定し、当該基準面と前記距離画像センサとの距離を算出する基準面算出ステップと、前記距離画像から前記基準面より距離センサ側に位置する画像を取得し、取得した当該画像から指示画像を生成する指示画像生成ステップと、前記指示画像の操作対象である操作用画像を生成する操作用画像生成ステップと、前記基準面から予め定めた位置に設定される仮想的な操作面と前記指示座標との位置関係に基づいて前記操作用画像に対して前記指示画像を配置して合成する表示制御ステップとを有することを特徴とする映像再生方法を提供する。
【００１０】
上記した構成によれば、（１）と同様の効果を有する映像再生方法を達成することができる。
【発明の効果】
【００１１】
本発明によれば、従来に比べて利用者の操作を限定することなく、表示上の操作位置に対する利用者の操作位置を認識させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る映像再生装置の構成を示す概略図である。
【図２】映像再生装置の本体の構成を示すブロック図である。
【図３】（ａ）〜（ｆ）は、距離画像取得部の距離情報の取得動作を示す概略図である。
【図４】（ａ）〜（ｃ）は、両手座標の算出動作及び重心の算出動作における距離画像の例を示す概略図である。
【図５】（ａ）〜（ｄ）は、重心と操作基準面との関係及び距離画像と操作基準面との関係の一例を示す概略図である。
【図６】（ａ）〜（ｃ）は、距離画像から指示画像を作成する動作及び指示画像とＧＵＩ画像との合成動作の一例を示す概略図である。
【図７】（ａ）〜（ｆ）は、指示画像とＧＵＩ画像との合成動作の他の例を示す概略図である。
【図８】（ａ）〜（ｆ）は、指示画像とＧＵＩ画像との合成動作の他の例を示す概略図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の映像再生装置及び映像再生方法の実施の形態を、図面を参照して詳細に説明する。
【００１４】
［実施の形態］
（映像再生装置の構成）
図１は、本発明の実施の形態に係る映像再生装置の構成を示す概略図である。
【００１５】
この映像再生装置１は、本体２の内部に備えられたチューナによって受信した映像コンテンツ等を再生可能であり、再生した映像を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示画面を備える表示部２３に表示する。
【００１６】
また、映像再生装置１は、映像再生装置１に対面する利用者４を含む物体の距離情報を取得する距離センサ３を有し、距離センサ３が取得した距離情報に基づいて動作する。距離センサ３は、例えば、赤外線レーザーと複数の受光素子からなる赤外線カメラを備え、赤外線レーザーが放射した赤外線の反射を赤外線カメラで撮影することで距離情報を画像形式で取得する。なお、後述するように、映像再生装置１は、距離情報によって認識される利用者４のジェスチャ等によって動作する。
【００１７】
また、映像再生装置１は、複数の操作スイッチからなるリモコン２Ａと、本体２にリモコン２Ａから操作スイッチの操作に基づいて送信される操作信号を受信する図示しないリモコン受信部とを有し、操作信号に基づいて動作する。
【００１８】
図２は、映像再生装置１の本体２の構成を示すブロック図である。
【００１９】
映像再生装置１の本体２は、距離画像取得部２０と、距離画像処理部２１と、表示制御部２２と、表示部２３と、入力制御部２４と、リモコン情報取得部２５とを有する。
【００２０】
距離画像取得部２０は、距離センサ３が取得した複数画素の距離情報を距離画像として取得する。
【００２１】
距離画像処理部２１は、距離画像取得部２０が取得した距離画像を、画像分割部２１ａ、重心算出部２１ｃ、基準面算出部２１ｄ及び両手座標算出部２１ｂによって処理する。
【００２２】
画像分割部２１ａは、距離画像を各画素の距離情報に応じて複数の領域に分割する。両手座標算出部２１ｂは、距離画像から操作用の指示位置として利用者の両手を検出する。重心算出部２１ｃは、距離画像の奥行きの重心、及び画像面の重心を算出する。基準面算出部２１ｄは、利用者にとっての仮想的な操作基準面を設定する。
【００２３】
表示制御部２２は、ＧＵＩ生成部２２ａ及び指示画像生成部２２ｂを有し、表示用画像を生成する。
【００２４】
ＧＵＩ生成部２２ａは、操作対象としてのスイッチ等のＧＵＩ画像を生成する。指示画像生成部２２ｂは、画像分割部２１ａが出力する画像を基準面算出部２１ｄが算出する基準面情報に基づいて加工し、利用者の手を模した指示画像を生成する。また、指示画像生成部２２ｂは、両手座標算出部２１ｂが検出する両手の座標と基準面情報との関係に応じて指示画像と対になる影の画像を生成する。
【００２５】
表示部２３は、チューナによって受信した映像や、表示制御部２２によって合成された指示画像及びＧＵＩ画像を表示する。
【００２６】
入力制御部２４は、表示制御部２２が出力する制御信号に基づいて、映像再生装置１の各部を制御する。また、後述するリモコン情報取得部２５が出力する制御信号に基づいて映像再生装置１の各部を制御する。
【００２７】
リモコン情報取得部２５は、リモコン受信部を介してリモコン２Ａから操作信号を受信する。
【００２８】
（動作）
以下に、本発明の実施の形態における映像再生装置の動作を図１〜図８を参照しつつ、（１）距離情報の取得動作、（２）距離画像の分割動作、（３）両手座標の算出動作、（４）重心の算出動作、（５）操作基準面及び仮想操作面の決定動作、（６）指示画像の生成動作及び画像合成動作及び（７）その他の動作に分けて説明する。
【００２９】
利用者４が、距離センサ３の検知面３０に対向すると、距離センサ３は利用者４を被検知物として検知し、その距離情報を取得する。以下に、距離センサ３の距離情報の取得動作を説明する。
【００３０】
（１）距離情報の取得動作
図３（ａ）〜（ｆ）は、距離画像取得部２０の距離情報の取得動作を示す概略図であり、図３（ａ）は、斜視図、図３（ｂ）は、ｙ軸の正方向からの平面図、図３（ｃ）は、ｘ軸の負方向からの側面図である。
【００３１】
図３（ａ）〜（ｃ）に示すように、距離センサ３は、ｘ−ｙ平面（ｚ＝０）に検知面３０を有する。被検知物３Ａ及び３Ｂが検知面３０に対向する位置に配置されている場合、距離センサ３は、図３（ｄ）に示すように、各画素毎にそれぞれ距離情報を取得する。
【００３２】
図３（ｄ）に示す距離情報は、距離センサ３の検知面３０を、例えば、２５分割して、分割された各検知面に対向する被検知物との距離を記述したものである。なお、単位はｃｍである。また、被検知物がない場合、又は、被検知物が、例えば、検知面３０〜４０ｃｍの位置の基準面３Ｃより遠方にある場合、距離を０ｃｍと表す。なお、検知面の分割数は、説明の簡略化のため２５個にしたが、例えば、６４０×４８０ドットからなるＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）の解像度等で検知面を分割する。また分割数（画素数）の上限は、距離センサ３の受光素子の数である。
【００３３】
（２）距離画像の分割動作
次に、距離画像処理部２１の画像分割部２１ａは、距離画像取得部２０から図３（ｄ）に示す距離情報を取得すると、分割された各検知面の距離をそれぞれ近い値でグループ化して、図３（ｅ）に示すように分割領域３０Ａ及び３０Ｂに分割する。
【００３４】
次に、距離画像取得部２０は、図３（ｆ）に示すように、取得した距離の値を奥行き基準面３Ｃ（４０ｃｍ）からの距離に変換する。つまり、図３（ｅ）の各画素の値をｄｎとすると４０−ｄｎによって図３（ｆ）に示す距離情報が得られる。なお、奥行き基準面３０Ｃの値、４０ｃｍは一例であり、映像表示装置の画面サイズ等に比例して工場出荷時に決定するものであり、例えば、５０インチのテレビに付属する距離センサを用いる場合は５ｍ、といったように決定する。
【００３５】
（３）両手座標の算出動作
図４（ａ）〜（ｃ）は、両手座標の算出動作及び重心の算出動作における距離画像の例を示す概略図である。
【００３６】
距離画像取得部２０は、距離センサ３から図４（ａ）に示すような距離画像を取得する。次に、画像分割部２１ａは、図３に説明した方法を用い、距離情報同士が近いものでグループ化して分割領域３２ａ〜３２ｃとして分割し、図４（ｂ）に示す距離画像３１Ｂを得る。各分割領域３２ａ〜３２ｃと距離センサ３との距離は、例えば、分割領域３２ａが２ｍ、分割領域３２ｂが２．３ｍ、分割領域３２ｃが２ｍであるとする。
【００３７】
次に、両手座標算出部２１ｂは、図４（ｃ）の距離画像３１Ｃに示すように、例えば、分割領域３２ａ〜３２ｃのうち、距離が最も近いものを右手３１０及び左手３１１として検知し、分割領域３２ｂの中心から右手の指示座標を、分割領域３２ａの中心から左手の指示座標を取得する。
【００３８】
また、右手３１０及び左手３１１の区別は、右手の指示座標及び左手の指示座標が、重心３１２より右側に位置するか左側に位置するかで区別されるが、重心３１２は以下に説明する方法で算出される。
【００３９】
（４）重心の算出動作
距離画像３１Ｂの分割された各検知面を（ｘ，ｙ）で表し、奥行き基準面からの距離に変換された奥行をＤ（ｘ，ｙ）としたとき、重心３１２の座標（ｘＣｅｎｔｅｒ，ｙＣｅｎｔｅｒ，ｚＣｅｎｔｅｒ）は、以下の数１〜数３で示される。
【数１】
【数２】
【数３】
ただし、Ｄ（ｘ，ｙ）＝０の場合、ｎ（ｘ，ｙ）＝０、Ｄ（ｘ，ｙ）＞０の場合、ｎ（ｘ，ｙ）＝１であるとする。
【００４０】
（５）操作基準面及び仮想操作面の決定動作
図５（ａ）〜（ｄ）は、重心と操作基準面との関係及び距離画像と操作基準面との関係の一例を示す概略図である。
【００４１】
表示制御部２２の基準面算出部２１ｄは、図５（ａ）に示すように、重心算出部２１ｃが算出した距離方向の重心Ｇｚから予め定めた間隔ｄｚだけ検知面３０側に操作基準面Ｓｚを設定する。また、基準面算出部２１ｄは、操作基準面Ｓｚから予め定めた間隔ｄｍだけ検知面３０側に仮想操作面Ｓｖを設定する。
【００４２】
図５（ｂ）に示す距離画像３１Ｃは、図４（ｃ）に示すものと同一である。表示制御部２２の指示画像生成部２２ｂは、距離画像３１Ｃの分割領域である右手３１０及び左手３１１を操作基準面Ｓｚに該当する距離の位置で分割し、それぞれ図５（ｃ）に示す手前右手３１０ａ及び奥右手３１０ｂ並びに手前左手３１１ａ及び奥左手３１１ｂとする。
【００４３】
次に、指示画像生成部２２ｂは、操作基準面Ｓｚより検知面３０側の利用者４の左手４Ｌ及び右手４Ｒに該当する手前右手３１０ａ及び手前左手３１１ａを距離画像３１Ｄから抽出し、図５（ｄ）に示す距離画像３１Ｅを得る。
【００４４】
（６）指示画像の生成動作及び画像合成動作
図６（ａ）〜（ｃ）は、距離画像から指示画像を作成する動作及び指示画像とＧＵＩ画像との合成動作の一例を示す概略図である。
【００４５】
指示画像生成部２２ｂは、図６（ａ）に示す距離画像３１Ｆを左右反転して図５（ｃ）に示す距離画像３１Ｅを得る。次に、指示画像生成部２２ｂは、距離画像３１Ｆの手前右手３１０ａ及び手前左手３１１ａをそれぞれ左右反転して立体処理を施すことで、指示画像として図６（ｂ）に示す左手画像２４０ａ及び右手画像２４１ａを生成する。立体処理は、手前右手３１０ａ及び手前左手３１１ａをそれぞれ左右反転したものの輪郭に対し、奥行きを感じるよう立体処理を施すものである。立体処理は、例えば、手前右手３１０ａ及び手前左手３１１ａの各座標の距離に応じて予め濃淡値を設定し、その濃淡値と予め定めた標準の肌色とに基づいて生成される色で着色することで実現できる。
【００４６】
次に、指示画像生成部２２ｂは、図５（ａ）に示す利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離関係に基づいて、左手画像２４０ａ及び右手画像２４１ａから図６（ｂ）に示す影画像２４０ｂ及び２４１ｂを補助画像として生成する。
【００４７】
また、上記の指示画像生成部２２ｂの左手画像２４０ａ及び右手画像２４１ａと、影画像２４０ｂ及び２４１ｂの生成動作と同時に、表示制御部２２のＧＵＩ生成部２２ａは、操作用画像２４２ａ〜２４２ｃを含むＧＵＩ画像２４２を生成する。
【００４８】
次に、表示制御部２２は、左手画像２４０ａ及び右手画像２４１ａと、影画像２４０ｂ及び２４１ｂと、ＧＵＩ画像２４２とを合成し、表示画像２４Ａを生成し、映像情報を表示部２３に出力する。表示部２３は、表示制御部２２から入力した映像情報を表示する。なお、左手画像２４０ａ及び右手画像２４１ａ並びに影画像２４０ｂ及び２４１ｂは、ＧＵＩ画像２４２の視認性を考慮して半透明にしてもよい。
【００４９】
また、左手画像２４０ａ及び右手画像２４１ａは、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離が大きいほど大きく描画し、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離が小さいほど小さく描画する。つまり、例えば、図６（ｃ）に示すように、左手４Ｌと仮想操作面Ｓｖとの距離が右手４Ｒに比べて小さい場合、左手画像２４０ａは、右手画像２４１ａに比べて小さく描画されて生成される。
【００５０】
また、影画像２４０ｂ及び２４１ｂは、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離が大きいほど大きく描画し、左手画像２４０ａ及び右手画像２４１ａから離れた位置に配置する。つまり、例えば、図６（ｃ）に示す左手画像２４０ａと影画像２４０ｂのように生成される。
【００５１】
また、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離が小さいほど左手画像２４０ａ及び右手画像２４１ａに近い大きさで描画し、左手画像２４０ａ及び右手画像２４１ａに近づいた位置に配置する。つまり、例えば、利用者４の右手４Ｒが仮想操作面Ｓｖの位置と一致している場合、図６（ｃ）に示す右手画像２４１ａと影画像２４１ｂのように生成される。
【００５２】
また、表示制御部２２は、利用者４の左手４Ｌ及び右手４Ｒが仮想操作面Ｓｖと一致している場合、入力制御部に２４に対して操作信号を出力する。操作信号は、左手画像２４ａ及び右手画像２４１ａが指示する位置に依存し、例えば、図６（ｃ）に示すように、操作対象２４１ｂを右手画像２４１ａが指示している場合は、操作用画像２４２ｂに対応したものとなる。同様に、操作用画像２４２ａ及び操作用画像２４２ｃに対してもそれぞれ異なる操作信号が対応付けられており、左手画像２４ａ及び右手画像２４１ａが指示することで、表示制御部２２は、対応した制御信号を入力制御部２４に対して出力する。
【００５３】
入力制御部２４は、表示制御部２２から入力した制御信号に基づいて本体２の各部を制御する。また、同様にリモコン情報取得部２５から入力した制御信号に基づいて本体２の各部を制御する。
【００５４】
（７）その他の動作
図７（ａ）〜（ｆ）は、指示画像とＧＵＩ画像との合成動作の他の例を示す概略図である。
【００５５】
指示画像生成部２２ｂは、例えば、利用者４の左手４Ｌが差し出されると、左手画像２４０ａ及び影画像２４０ｂを生成するが、図７（ａ）及び（ｄ）に示すように、表示画像２４Ｂが複数のＧＵＩ画像２４３〜２４５を画面奥行き方向に含んでいる場合であって、左手画像２４０ａがＧＵＩ画像２４３より画面手前側にある場合は、表示制御部２２は、ＧＵＩ画像２４３に対して影画像２４０ｂを合成する。
【００５６】
また同様に、図７（ｂ）及び（ｅ）に示すように、左手画像２４０ａがＧＵＩ画像２４３より画面奥、かつＧＵＩ画像２４４より画面手前側にある場合は、表示制御部２２は、ＧＵＩ画像２４４に対して影画像２４０ｂを合成する。
【００５７】
また、図７（ｃ）及び（ｆ）に示すように、左手画像２４０ａがＧＵＩ画像２４４より画面奥、かつＧＵＩ画像２４５より画面手前側にある場合は、表示制御部２２は、ＧＵＩ画像２４５に対して影画像２４０ｂを合成する。
【００５８】
図８（ａ）〜（ｆ）は、指示画像とＧＵＩ画像との合成動作の他の例を示す概略図である。
【００５９】
指示画像生成部２２ｂは、例えば、利用者４の左手４Ｌが差し出されると、左手画像２４０ａ及び影画像２４０ｂを生成するが、図８（ｄ）に示すように、仮想照明Ｌｖが利用者の左後方に位置する場合、表示制御部２２は、図８（ａ）に示すように、左手画像２４０ａより画面左側に位置するように影画像２４０ｂをＧＵＩ画像２４６に合成して表示画像２４Ｃを生成する。
【００６０】
また同様に、図８（ｅ）に示すように、仮想照明Ｌｖが利用者の後方に位置する場合、表示制御部２２は、図８（ｂ）に示すように、左手画像２４０ａと画面横方向で同位置に影画像２４０ｂをＧＵＩ画像２４６に合成する。
【００６１】
また、図８（ｆ）に示すように、仮想照明Ｌｖが利用者の右後方に位置する場合、表示制御部２２は、図８（ｃ）に示すように、左手画像２４０ａより画面左側に位置するように影画像２４０ｂをＧＵＩ画像２４６に合成する。
【００６２】
（実施の形態の効果）
上記した実施の形態によると、映像再生装置１は、利用者４の近くに操作基準面Ｓｚ及び仮想操作面Ｓｖを設定し、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離関係に応じて、ＧＵＩ画像２４２と左手画像２４０ａ及び右手画像２４１ａとの表示関係を変化させるため、立体的な表示上の操作位置と、立体的な表示上の操作位置に対する利用者の操作位置との関係を認識させることができる。
【００６３】
また、映像再生装置１は、上記したＧＵＩ画像２４２と左手画像２４０ａ及び右手画像２４１ａとの表示関係として、影画像２４０ｂ及び２４１ｂを生成するとともに配置するため、利用者４により直感的に立体的な表示上の操作位置と、立体的な表示上の操作位置に対する利用者の操作位置との関係を認識させることができる。
【００６４】
なお、左手画像２４０ａ及び右手画像２４１ａ並びに影画像２４０ｂ及び２４１ｂの描画サイズ等は、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの関係に基づいて変化するものであれば、実施例に示した以外の方法を用いてもよい。また、左手画像２４０ａ及び右手画像２４１ａ並びに影画像２４０ｂ及び２４１ｂは、ポインタやアイコン等の他の画像で置き換えてもよい。
【符号の説明】
【００６５】
１…映像再生装置、２…本体、２Ａ…リモコン、３…距離センサ、３Ａ、３Ｂ…被検知物、３Ｃ…基準面、４…利用者、４Ｌ…左手、４Ｒ…右手、２０…距離画像取得部、２１…距離画像処理部、２１ａ…画像分割部、２１ｂ…両手座標算出部、２１ｃ…重心算出部、２１ｄ…基準面算出部、２２…表示制御部、２２ａ…ＧＵＩ生成部、２２ｂ…指示画像生成部、２３…表示部、２４…入力制御部、２４Ａ-２４Ｃ…表示画像、２５…リモコン情報取得部、３０…検知面、３０Ａ、３０Ｂ…分割領域、３０Ｃ…奥行き基準面、３１Ａ-３１Ｆ…距離画像、３２ａ-３２ｃ…分割領域、２４０ａ…左手画像、２４０ｂ…影画像、２４１ａ…右手画像、２４１ａ…操作対象、２４１ａ…右手画像、２４１ｂ…影画像、２４２ａ-２４２ｃ…操作対象、２４２-２４６…ＧＵＩ画像、３１０…右手、３１０ａ…手前右手、３１０ｂ…奥右手、３１１…左手、３１１ａ…手前左手、３１１ｂ…奥左手、３１２…重心、Ｇｚ…重心、Ｌｖ…仮想照明、Ｓｖ…仮想操作面、Ｓｚ…操作基準面、ｄｍ…間隔、ｄｚ…間隔
【技術分野】
【０００１】
本発明は、映像再生装置及び映像再生方法に関する。
【背景技術】
【０００２】
従来の技術として、表示画面に表示されたＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に実際に触れているかのように操作することができる映像再生装置がある（例えば、特許文献１参照）。
【０００３】
この映像再生装置は、ＧＵＩを含む画像を作成する表示情報作成部と、タッチパッドに対する利用者の特定の入力操作を検出する操作内容決定部と、ＧＵＩに対する操作位置としてタッチパッドに対する利用者の接触領域を示す画像を作成する身体位置表示部と、身体位置表示部によって作成された画像と表示情報作成部によって作成された表示情報とを合成する画像合成部とを有し、身体位置表示部により作成される接触領域を示す画像が、利用者の操作位置、つまりタッチパッドに利用者の手が触れた位置から推定して作成され、影とともに立体的に表示されるため、利用者は表示画面に表示されたＧＵＩに実際に触れているかのように操作することができる。
【０００４】
しかし、従来の映像再生装置によると利用者はタッチパッドに触れて操作を入力するため、平面的な表示上の操作位置とタッチパッドにおける利用者の操作位置との関係を認識させることができるが、タッチパッド上に操作範囲が限定されるという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−７２８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、本発明の目的は、従来に比べて利用者の操作を限定することなく、表示上の操作位置に対する利用者の操作位置を認識させることができる映像再生装置及び映像再生方法を提供することにある。
【課題を解決するための手段】
【０００７】
（１）本発明の一態様は、上記目的を達成するため、距離センサの画素毎に利用者との距離情報を関連付けた距離画像を取得する距離画像取得部と、前記距離画像に関連付けられた前記距離情報に基づいて前記利用者の距離の重心を算出する重心算出部と、前記重心との関係に基づいて前記距離画像に関連付けられた前記距離情報から利用者が操作を指示する位置を示す指示座標を算出する指示座標算出部と、前記距離画像に関連付けられた前記距離情報と前記重心とに基づいて基準面を設定し、当該基準面と前記距離画像センサとの距離を算出する基準面算出部と、前記距離画像から前記基準面より距離センサ側に位置する画像を取得し、取得した当該画像から指示画像を生成する指示画像生成部と、前記指示画像の操作対象である操作用画像を生成する操作用画像生成部と、前記基準面から予め定めた位置に設定される仮想的な操作面と前記指示座標との位置関係に基づいて前記操作用画像に対して前記指示画像を配置して合成する表示制御部とを有することを特徴とする映像再生装置を提供する。
【０００８】
上記した構成によれば、操作用画像に対する指示画像の操作位置と、操作用画像に対応した仮想的な操作面に対する利用者の操作位置との関係を認識させることができる。
【０００９】
（２）また、本発明の他の態様は、上記目的を達成するため、距離センサの画素毎に利用者との距離情報を関連付けた距離画像を取得する距離画像取得ステップと、前記距離画像に関連付けられた前記距離情報に基づいて前記利用者の距離の重心を算出する重心算出ステップと、前記重心との関係に基づいて前記距離画像に関連付けられた前記距離情報から利用者が操作を指示する位置を示す指示座標を算出する指示座標算出ステップと、前記距離画像に関連付けられた前記距離情報と前記重心とに基づいて基準面を設定し、当該基準面と前記距離画像センサとの距離を算出する基準面算出ステップと、前記距離画像から前記基準面より距離センサ側に位置する画像を取得し、取得した当該画像から指示画像を生成する指示画像生成ステップと、前記指示画像の操作対象である操作用画像を生成する操作用画像生成ステップと、前記基準面から予め定めた位置に設定される仮想的な操作面と前記指示座標との位置関係に基づいて前記操作用画像に対して前記指示画像を配置して合成する表示制御ステップとを有することを特徴とする映像再生方法を提供する。
【００１０】
上記した構成によれば、（１）と同様の効果を有する映像再生方法を達成することができる。
【発明の効果】
【００１１】
本発明によれば、従来に比べて利用者の操作を限定することなく、表示上の操作位置に対する利用者の操作位置を認識させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る映像再生装置の構成を示す概略図である。
【図２】映像再生装置の本体の構成を示すブロック図である。
【図３】（ａ）〜（ｆ）は、距離画像取得部の距離情報の取得動作を示す概略図である。
【図４】（ａ）〜（ｃ）は、両手座標の算出動作及び重心の算出動作における距離画像の例を示す概略図である。
【図５】（ａ）〜（ｄ）は、重心と操作基準面との関係及び距離画像と操作基準面との関係の一例を示す概略図である。
【図６】（ａ）〜（ｃ）は、距離画像から指示画像を作成する動作及び指示画像とＧＵＩ画像との合成動作の一例を示す概略図である。
【図７】（ａ）〜（ｆ）は、指示画像とＧＵＩ画像との合成動作の他の例を示す概略図である。
【図８】（ａ）〜（ｆ）は、指示画像とＧＵＩ画像との合成動作の他の例を示す概略図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の映像再生装置及び映像再生方法の実施の形態を、図面を参照して詳細に説明する。
【００１４】
［実施の形態］
（映像再生装置の構成）
図１は、本発明の実施の形態に係る映像再生装置の構成を示す概略図である。
【００１５】
この映像再生装置１は、本体２の内部に備えられたチューナによって受信した映像コンテンツ等を再生可能であり、再生した映像を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示画面を備える表示部２３に表示する。
【００１６】
また、映像再生装置１は、映像再生装置１に対面する利用者４を含む物体の距離情報を取得する距離センサ３を有し、距離センサ３が取得した距離情報に基づいて動作する。距離センサ３は、例えば、赤外線レーザーと複数の受光素子からなる赤外線カメラを備え、赤外線レーザーが放射した赤外線の反射を赤外線カメラで撮影することで距離情報を画像形式で取得する。なお、後述するように、映像再生装置１は、距離情報によって認識される利用者４のジェスチャ等によって動作する。
【００１７】
また、映像再生装置１は、複数の操作スイッチからなるリモコン２Ａと、本体２にリモコン２Ａから操作スイッチの操作に基づいて送信される操作信号を受信する図示しないリモコン受信部とを有し、操作信号に基づいて動作する。
【００１８】
図２は、映像再生装置１の本体２の構成を示すブロック図である。
【００１９】
映像再生装置１の本体２は、距離画像取得部２０と、距離画像処理部２１と、表示制御部２２と、表示部２３と、入力制御部２４と、リモコン情報取得部２５とを有する。
【００２０】
距離画像取得部２０は、距離センサ３が取得した複数画素の距離情報を距離画像として取得する。
【００２１】
距離画像処理部２１は、距離画像取得部２０が取得した距離画像を、画像分割部２１ａ、重心算出部２１ｃ、基準面算出部２１ｄ及び両手座標算出部２１ｂによって処理する。
【００２２】
画像分割部２１ａは、距離画像を各画素の距離情報に応じて複数の領域に分割する。両手座標算出部２１ｂは、距離画像から操作用の指示位置として利用者の両手を検出する。重心算出部２１ｃは、距離画像の奥行きの重心、及び画像面の重心を算出する。基準面算出部２１ｄは、利用者にとっての仮想的な操作基準面を設定する。
【００２３】
表示制御部２２は、ＧＵＩ生成部２２ａ及び指示画像生成部２２ｂを有し、表示用画像を生成する。
【００２４】
ＧＵＩ生成部２２ａは、操作対象としてのスイッチ等のＧＵＩ画像を生成する。指示画像生成部２２ｂは、画像分割部２１ａが出力する画像を基準面算出部２１ｄが算出する基準面情報に基づいて加工し、利用者の手を模した指示画像を生成する。また、指示画像生成部２２ｂは、両手座標算出部２１ｂが検出する両手の座標と基準面情報との関係に応じて指示画像と対になる影の画像を生成する。
【００２５】
表示部２３は、チューナによって受信した映像や、表示制御部２２によって合成された指示画像及びＧＵＩ画像を表示する。
【００２６】
入力制御部２４は、表示制御部２２が出力する制御信号に基づいて、映像再生装置１の各部を制御する。また、後述するリモコン情報取得部２５が出力する制御信号に基づいて映像再生装置１の各部を制御する。
【００２７】
リモコン情報取得部２５は、リモコン受信部を介してリモコン２Ａから操作信号を受信する。
【００２８】
（動作）
以下に、本発明の実施の形態における映像再生装置の動作を図１〜図８を参照しつつ、（１）距離情報の取得動作、（２）距離画像の分割動作、（３）両手座標の算出動作、（４）重心の算出動作、（５）操作基準面及び仮想操作面の決定動作、（６）指示画像の生成動作及び画像合成動作及び（７）その他の動作に分けて説明する。
【００２９】
利用者４が、距離センサ３の検知面３０に対向すると、距離センサ３は利用者４を被検知物として検知し、その距離情報を取得する。以下に、距離センサ３の距離情報の取得動作を説明する。
【００３０】
（１）距離情報の取得動作
図３（ａ）〜（ｆ）は、距離画像取得部２０の距離情報の取得動作を示す概略図であり、図３（ａ）は、斜視図、図３（ｂ）は、ｙ軸の正方向からの平面図、図３（ｃ）は、ｘ軸の負方向からの側面図である。
【００３１】
図３（ａ）〜（ｃ）に示すように、距離センサ３は、ｘ−ｙ平面（ｚ＝０）に検知面３０を有する。被検知物３Ａ及び３Ｂが検知面３０に対向する位置に配置されている場合、距離センサ３は、図３（ｄ）に示すように、各画素毎にそれぞれ距離情報を取得する。
【００３２】
図３（ｄ）に示す距離情報は、距離センサ３の検知面３０を、例えば、２５分割して、分割された各検知面に対向する被検知物との距離を記述したものである。なお、単位はｃｍである。また、被検知物がない場合、又は、被検知物が、例えば、検知面３０〜４０ｃｍの位置の基準面３Ｃより遠方にある場合、距離を０ｃｍと表す。なお、検知面の分割数は、説明の簡略化のため２５個にしたが、例えば、６４０×４８０ドットからなるＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）の解像度等で検知面を分割する。また分割数（画素数）の上限は、距離センサ３の受光素子の数である。
【００３３】
（２）距離画像の分割動作
次に、距離画像処理部２１の画像分割部２１ａは、距離画像取得部２０から図３（ｄ）に示す距離情報を取得すると、分割された各検知面の距離をそれぞれ近い値でグループ化して、図３（ｅ）に示すように分割領域３０Ａ及び３０Ｂに分割する。
【００３４】
次に、距離画像取得部２０は、図３（ｆ）に示すように、取得した距離の値を奥行き基準面３Ｃ（４０ｃｍ）からの距離に変換する。つまり、図３（ｅ）の各画素の値をｄｎとすると４０−ｄｎによって図３（ｆ）に示す距離情報が得られる。なお、奥行き基準面３０Ｃの値、４０ｃｍは一例であり、映像表示装置の画面サイズ等に比例して工場出荷時に決定するものであり、例えば、５０インチのテレビに付属する距離センサを用いる場合は５ｍ、といったように決定する。
【００３５】
（３）両手座標の算出動作
図４（ａ）〜（ｃ）は、両手座標の算出動作及び重心の算出動作における距離画像の例を示す概略図である。
【００３６】
距離画像取得部２０は、距離センサ３から図４（ａ）に示すような距離画像を取得する。次に、画像分割部２１ａは、図３に説明した方法を用い、距離情報同士が近いものでグループ化して分割領域３２ａ〜３２ｃとして分割し、図４（ｂ）に示す距離画像３１Ｂを得る。各分割領域３２ａ〜３２ｃと距離センサ３との距離は、例えば、分割領域３２ａが２ｍ、分割領域３２ｂが２．３ｍ、分割領域３２ｃが２ｍであるとする。
【００３７】
次に、両手座標算出部２１ｂは、図４（ｃ）の距離画像３１Ｃに示すように、例えば、分割領域３２ａ〜３２ｃのうち、距離が最も近いものを右手３１０及び左手３１１として検知し、分割領域３２ｂの中心から右手の指示座標を、分割領域３２ａの中心から左手の指示座標を取得する。
【００３８】
また、右手３１０及び左手３１１の区別は、右手の指示座標及び左手の指示座標が、重心３１２より右側に位置するか左側に位置するかで区別されるが、重心３１２は以下に説明する方法で算出される。
【００３９】
（４）重心の算出動作
距離画像３１Ｂの分割された各検知面を（ｘ，ｙ）で表し、奥行き基準面からの距離に変換された奥行をＤ（ｘ，ｙ）としたとき、重心３１２の座標（ｘＣｅｎｔｅｒ，ｙＣｅｎｔｅｒ，ｚＣｅｎｔｅｒ）は、以下の数１〜数３で示される。
【数１】
【数２】
【数３】
ただし、Ｄ（ｘ，ｙ）＝０の場合、ｎ（ｘ，ｙ）＝０、Ｄ（ｘ，ｙ）＞０の場合、ｎ（ｘ，ｙ）＝１であるとする。
【００４０】
（５）操作基準面及び仮想操作面の決定動作
図５（ａ）〜（ｄ）は、重心と操作基準面との関係及び距離画像と操作基準面との関係の一例を示す概略図である。
【００４１】
表示制御部２２の基準面算出部２１ｄは、図５（ａ）に示すように、重心算出部２１ｃが算出した距離方向の重心Ｇｚから予め定めた間隔ｄｚだけ検知面３０側に操作基準面Ｓｚを設定する。また、基準面算出部２１ｄは、操作基準面Ｓｚから予め定めた間隔ｄｍだけ検知面３０側に仮想操作面Ｓｖを設定する。
【００４２】
図５（ｂ）に示す距離画像３１Ｃは、図４（ｃ）に示すものと同一である。表示制御部２２の指示画像生成部２２ｂは、距離画像３１Ｃの分割領域である右手３１０及び左手３１１を操作基準面Ｓｚに該当する距離の位置で分割し、それぞれ図５（ｃ）に示す手前右手３１０ａ及び奥右手３１０ｂ並びに手前左手３１１ａ及び奥左手３１１ｂとする。
【００４３】
次に、指示画像生成部２２ｂは、操作基準面Ｓｚより検知面３０側の利用者４の左手４Ｌ及び右手４Ｒに該当する手前右手３１０ａ及び手前左手３１１ａを距離画像３１Ｄから抽出し、図５（ｄ）に示す距離画像３１Ｅを得る。
【００４４】
（６）指示画像の生成動作及び画像合成動作
図６（ａ）〜（ｃ）は、距離画像から指示画像を作成する動作及び指示画像とＧＵＩ画像との合成動作の一例を示す概略図である。
【００４５】
指示画像生成部２２ｂは、図６（ａ）に示す距離画像３１Ｆを左右反転して図５（ｃ）に示す距離画像３１Ｅを得る。次に、指示画像生成部２２ｂは、距離画像３１Ｆの手前右手３１０ａ及び手前左手３１１ａをそれぞれ左右反転して立体処理を施すことで、指示画像として図６（ｂ）に示す左手画像２４０ａ及び右手画像２４１ａを生成する。立体処理は、手前右手３１０ａ及び手前左手３１１ａをそれぞれ左右反転したものの輪郭に対し、奥行きを感じるよう立体処理を施すものである。立体処理は、例えば、手前右手３１０ａ及び手前左手３１１ａの各座標の距離に応じて予め濃淡値を設定し、その濃淡値と予め定めた標準の肌色とに基づいて生成される色で着色することで実現できる。
【００４６】
次に、指示画像生成部２２ｂは、図５（ａ）に示す利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離関係に基づいて、左手画像２４０ａ及び右手画像２４１ａから図６（ｂ）に示す影画像２４０ｂ及び２４１ｂを補助画像として生成する。
【００４７】
また、上記の指示画像生成部２２ｂの左手画像２４０ａ及び右手画像２４１ａと、影画像２４０ｂ及び２４１ｂの生成動作と同時に、表示制御部２２のＧＵＩ生成部２２ａは、操作用画像２４２ａ〜２４２ｃを含むＧＵＩ画像２４２を生成する。
【００４８】
次に、表示制御部２２は、左手画像２４０ａ及び右手画像２４１ａと、影画像２４０ｂ及び２４１ｂと、ＧＵＩ画像２４２とを合成し、表示画像２４Ａを生成し、映像情報を表示部２３に出力する。表示部２３は、表示制御部２２から入力した映像情報を表示する。なお、左手画像２４０ａ及び右手画像２４１ａ並びに影画像２４０ｂ及び２４１ｂは、ＧＵＩ画像２４２の視認性を考慮して半透明にしてもよい。
【００４９】
また、左手画像２４０ａ及び右手画像２４１ａは、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離が大きいほど大きく描画し、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離が小さいほど小さく描画する。つまり、例えば、図６（ｃ）に示すように、左手４Ｌと仮想操作面Ｓｖとの距離が右手４Ｒに比べて小さい場合、左手画像２４０ａは、右手画像２４１ａに比べて小さく描画されて生成される。
【００５０】
また、影画像２４０ｂ及び２４１ｂは、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離が大きいほど大きく描画し、左手画像２４０ａ及び右手画像２４１ａから離れた位置に配置する。つまり、例えば、図６（ｃ）に示す左手画像２４０ａと影画像２４０ｂのように生成される。
【００５１】
また、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離が小さいほど左手画像２４０ａ及び右手画像２４１ａに近い大きさで描画し、左手画像２４０ａ及び右手画像２４１ａに近づいた位置に配置する。つまり、例えば、利用者４の右手４Ｒが仮想操作面Ｓｖの位置と一致している場合、図６（ｃ）に示す右手画像２４１ａと影画像２４１ｂのように生成される。
【００５２】
また、表示制御部２２は、利用者４の左手４Ｌ及び右手４Ｒが仮想操作面Ｓｖと一致している場合、入力制御部に２４に対して操作信号を出力する。操作信号は、左手画像２４ａ及び右手画像２４１ａが指示する位置に依存し、例えば、図６（ｃ）に示すように、操作対象２４１ｂを右手画像２４１ａが指示している場合は、操作用画像２４２ｂに対応したものとなる。同様に、操作用画像２４２ａ及び操作用画像２４２ｃに対してもそれぞれ異なる操作信号が対応付けられており、左手画像２４ａ及び右手画像２４１ａが指示することで、表示制御部２２は、対応した制御信号を入力制御部２４に対して出力する。
【００５３】
入力制御部２４は、表示制御部２２から入力した制御信号に基づいて本体２の各部を制御する。また、同様にリモコン情報取得部２５から入力した制御信号に基づいて本体２の各部を制御する。
【００５４】
（７）その他の動作
図７（ａ）〜（ｆ）は、指示画像とＧＵＩ画像との合成動作の他の例を示す概略図である。
【００５５】
指示画像生成部２２ｂは、例えば、利用者４の左手４Ｌが差し出されると、左手画像２４０ａ及び影画像２４０ｂを生成するが、図７（ａ）及び（ｄ）に示すように、表示画像２４Ｂが複数のＧＵＩ画像２４３〜２４５を画面奥行き方向に含んでいる場合であって、左手画像２４０ａがＧＵＩ画像２４３より画面手前側にある場合は、表示制御部２２は、ＧＵＩ画像２４３に対して影画像２４０ｂを合成する。
【００５６】
また同様に、図７（ｂ）及び（ｅ）に示すように、左手画像２４０ａがＧＵＩ画像２４３より画面奥、かつＧＵＩ画像２４４より画面手前側にある場合は、表示制御部２２は、ＧＵＩ画像２４４に対して影画像２４０ｂを合成する。
【００５７】
また、図７（ｃ）及び（ｆ）に示すように、左手画像２４０ａがＧＵＩ画像２４４より画面奥、かつＧＵＩ画像２４５より画面手前側にある場合は、表示制御部２２は、ＧＵＩ画像２４５に対して影画像２４０ｂを合成する。
【００５８】
図８（ａ）〜（ｆ）は、指示画像とＧＵＩ画像との合成動作の他の例を示す概略図である。
【００５９】
指示画像生成部２２ｂは、例えば、利用者４の左手４Ｌが差し出されると、左手画像２４０ａ及び影画像２４０ｂを生成するが、図８（ｄ）に示すように、仮想照明Ｌｖが利用者の左後方に位置する場合、表示制御部２２は、図８（ａ）に示すように、左手画像２４０ａより画面左側に位置するように影画像２４０ｂをＧＵＩ画像２４６に合成して表示画像２４Ｃを生成する。
【００６０】
また同様に、図８（ｅ）に示すように、仮想照明Ｌｖが利用者の後方に位置する場合、表示制御部２２は、図８（ｂ）に示すように、左手画像２４０ａと画面横方向で同位置に影画像２４０ｂをＧＵＩ画像２４６に合成する。
【００６１】
また、図８（ｆ）に示すように、仮想照明Ｌｖが利用者の右後方に位置する場合、表示制御部２２は、図８（ｃ）に示すように、左手画像２４０ａより画面左側に位置するように影画像２４０ｂをＧＵＩ画像２４６に合成する。
【００６２】
（実施の形態の効果）
上記した実施の形態によると、映像再生装置１は、利用者４の近くに操作基準面Ｓｚ及び仮想操作面Ｓｖを設定し、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの距離関係に応じて、ＧＵＩ画像２４２と左手画像２４０ａ及び右手画像２４１ａとの表示関係を変化させるため、立体的な表示上の操作位置と、立体的な表示上の操作位置に対する利用者の操作位置との関係を認識させることができる。
【００６３】
また、映像再生装置１は、上記したＧＵＩ画像２４２と左手画像２４０ａ及び右手画像２４１ａとの表示関係として、影画像２４０ｂ及び２４１ｂを生成するとともに配置するため、利用者４により直感的に立体的な表示上の操作位置と、立体的な表示上の操作位置に対する利用者の操作位置との関係を認識させることができる。
【００６４】
なお、左手画像２４０ａ及び右手画像２４１ａ並びに影画像２４０ｂ及び２４１ｂの描画サイズ等は、利用者４の左手４Ｌ及び右手４Ｒと仮想操作面Ｓｖとの関係に基づいて変化するものであれば、実施例に示した以外の方法を用いてもよい。また、左手画像２４０ａ及び右手画像２４１ａ並びに影画像２４０ｂ及び２４１ｂは、ポインタやアイコン等の他の画像で置き換えてもよい。
【符号の説明】
【００６５】
１…映像再生装置、２…本体、２Ａ…リモコン、３…距離センサ、３Ａ、３Ｂ…被検知物、３Ｃ…基準面、４…利用者、４Ｌ…左手、４Ｒ…右手、２０…距離画像取得部、２１…距離画像処理部、２１ａ…画像分割部、２１ｂ…両手座標算出部、２１ｃ…重心算出部、２１ｄ…基準面算出部、２２…表示制御部、２２ａ…ＧＵＩ生成部、２２ｂ…指示画像生成部、２３…表示部、２４…入力制御部、２４Ａ-２４Ｃ…表示画像、２５…リモコン情報取得部、３０…検知面、３０Ａ、３０Ｂ…分割領域、３０Ｃ…奥行き基準面、３１Ａ-３１Ｆ…距離画像、３２ａ-３２ｃ…分割領域、２４０ａ…左手画像、２４０ｂ…影画像、２４１ａ…右手画像、２４１ａ…操作対象、２４１ａ…右手画像、２４１ｂ…影画像、２４２ａ-２４２ｃ…操作対象、２４２-２４６…ＧＵＩ画像、３１０…右手、３１０ａ…手前右手、３１０ｂ…奥右手、３１１…左手、３１１ａ…手前左手、３１１ｂ…奥左手、３１２…重心、Ｇｚ…重心、Ｌｖ…仮想照明、Ｓｖ…仮想操作面、Ｓｚ…操作基準面、ｄｍ…間隔、ｄｚ…間隔
【特許請求の範囲】
【請求項１】
距離センサの画素毎に利用者との距離情報を関連付けた距離画像を取得する距離画像取得部と、
前記距離画像に関連付けられた前記距離情報に基づいて前記利用者の距離の重心を算出する重心算出部と、
前記重心との関係に基づいて前記距離画像に関連付けられた前記距離情報から利用者が操作を指示する位置を示す指示座標を算出する指示座標算出部と、
前記距離画像に関連付けられた前記距離情報と前記重心とに基づいて基準面を設定し、当該基準面と前記距離画像センサとの距離を算出する基準面算出部と、
前記距離画像から前記基準面より距離センサ側に位置する画像を取得し、取得した当該画像から指示画像を生成する指示画像生成部と、
前記指示画像の操作対象である操作用画像を生成する操作用画像生成部と、
前記基準面から予め定めた位置に設定される仮想的な操作面と前記指示座標との位置関係に基づいて前記操作用画像に対して前記指示画像を配置して合成する表示制御部とを有することを特徴とする映像再生装置。
【請求項２】
前記画像生成部は、前記操作用画像に対する前記指示画像の配置に応じて補助画像を生成し、
前記表示制御部は、当該補助画像を前記操作用画像に対して前記指示画像とともに配置して合成することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記表示制御部は、前記指示座標が前記操作用画像の位置と一致した場合、当該操作用画像に対応した制御信号を出力することを特徴とする請求項１に記載の映像再生装置。
【請求項４】
距離センサの画素毎に利用者との距離情報を関連付けた距離画像を取得する距離画像取得ステップと、
前記距離画像に関連付けられた前記距離情報に基づいて前記利用者の距離の重心を算出する重心算出ステップと、
前記重心との関係に基づいて前記距離画像に関連付けられた前記距離情報から利用者が操作を指示する位置を示す指示座標を算出する指示座標算出ステップと、
前記距離画像に関連付けられた前記距離情報と前記重心とに基づいて基準面を設定し、当該基準面と前記距離画像センサとの距離を算出する基準面算出ステップと、
前記距離画像から前記基準面より距離センサ側に位置する画像を取得し、取得した当該画像から指示画像を生成する指示画像生成ステップと、
前記指示画像の操作対象である操作用画像を生成する操作用画像生成ステップと、
前記基準面から予め定めた位置に設定される仮想的な操作面と前記指示座標との位置関係に基づいて前記操作用画像に対して前記指示画像を配置して合成する表示制御ステップとを有することを特徴とする映像再生方法。
【請求項１】
距離センサの画素毎に利用者との距離情報を関連付けた距離画像を取得する距離画像取得部と、
前記距離画像に関連付けられた前記距離情報に基づいて前記利用者の距離の重心を算出する重心算出部と、
前記重心との関係に基づいて前記距離画像に関連付けられた前記距離情報から利用者が操作を指示する位置を示す指示座標を算出する指示座標算出部と、
前記距離画像に関連付けられた前記距離情報と前記重心とに基づいて基準面を設定し、当該基準面と前記距離画像センサとの距離を算出する基準面算出部と、
前記距離画像から前記基準面より距離センサ側に位置する画像を取得し、取得した当該画像から指示画像を生成する指示画像生成部と、
前記指示画像の操作対象である操作用画像を生成する操作用画像生成部と、
前記基準面から予め定めた位置に設定される仮想的な操作面と前記指示座標との位置関係に基づいて前記操作用画像に対して前記指示画像を配置して合成する表示制御部とを有することを特徴とする映像再生装置。
【請求項２】
前記画像生成部は、前記操作用画像に対する前記指示画像の配置に応じて補助画像を生成し、
前記表示制御部は、当該補助画像を前記操作用画像に対して前記指示画像とともに配置して合成することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記表示制御部は、前記指示座標が前記操作用画像の位置と一致した場合、当該操作用画像に対応した制御信号を出力することを特徴とする請求項１に記載の映像再生装置。
【請求項４】
距離センサの画素毎に利用者との距離情報を関連付けた距離画像を取得する距離画像取得ステップと、
前記距離画像に関連付けられた前記距離情報に基づいて前記利用者の距離の重心を算出する重心算出ステップと、
前記重心との関係に基づいて前記距離画像に関連付けられた前記距離情報から利用者が操作を指示する位置を示す指示座標を算出する指示座標算出ステップと、
前記距離画像に関連付けられた前記距離情報と前記重心とに基づいて基準面を設定し、当該基準面と前記距離画像センサとの距離を算出する基準面算出ステップと、
前記距離画像から前記基準面より距離センサ側に位置する画像を取得し、取得した当該画像から指示画像を生成する指示画像生成ステップと、
前記指示画像の操作対象である操作用画像を生成する操作用画像生成ステップと、
前記基準面から予め定めた位置に設定される仮想的な操作面と前記指示座標との位置関係に基づいて前記操作用画像に対して前記指示画像を配置して合成する表示制御ステップとを有することを特徴とする映像再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１３３９５５（Ｐ２０１１−１３３９５５Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９０４５７（Ｐ２００９−２９０４５７）
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]