映像表示装置及びそれを用いた映像領域選択方法
【課題】映像中の形状領域に対する処理をリアルタイムで実行する。
【解決手段】一つの実施形態によれば、映像表示装置は、撮像部、ジェスチャ認識部、映像生成部、及び表示部を有し、操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる。撮像部は操作者の手を含む映像を撮像する。ジェスチャ認識部は、撮像された操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、操作者の提示する両手の手形状から構成される第１の形状領域と表示画面を対比して第１の形状領域を表示画面座標における第２の形状領域として認識する。映像生成部は表示画面に表示される第２の形状領域の映像を強調処理する。表示部は強調処理された第２の形状領域の映像を表示画面に表示する。
【解決手段】一つの実施形態によれば、映像表示装置は、撮像部、ジェスチャ認識部、映像生成部、及び表示部を有し、操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる。撮像部は操作者の手を含む映像を撮像する。ジェスチャ認識部は、撮像された操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、操作者の提示する両手の手形状から構成される第１の形状領域と表示画面を対比して第１の形状領域を表示画面座標における第２の形状領域として認識する。映像生成部は表示画面に表示される第２の形状領域の映像を強調処理する。表示部は強調処理された第２の形状領域の映像を表示画面に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像表示装置及びそれを用いた映像領域選択方法に関する。
【背景技術】
【０００２】
映像表示装置に表示される映像コンテンツやＧＵＩ（graphical user interface）を操作するジェスチャ認識装置には、指差し動作によって映像表示装置上の単一オブジェクトを選択するもの、或いは手指の一連の動作によって複数のオブジェクトを選択するものなどが多数知られている。
【０００３】
指差し動作によって単一オブジェクトを選択する場合、操作者（ユーザ）が注目する座標を点で指定するのでＧＵＩのアイコンをクリックする操作には好適であるが、映像の特定領域を任意に選択することは困難であるという問題点がある。手指の一連の動作によって複数のオブジェクトを選択する場合、ジェスチャ認識装置は操作者が提示するジェスチャの一連の映像を解析する必要がある。このため、操作者が一連の動作を終了してから初めて操作内容が映像表示装置に反映されるので、操作者による操作の開始から終了までのタイムラグが発生するという問題点がある。また、映像の特定領域を選択しながら、選択された特定領域を移動、拡大、縮小、或いは回転などの編集処理を実行することが困難であるという問題点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７８９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、映像中の形状領域に対する処理をリアルタイムで実行できる映像表示装置及びそれを用いた映像領域選択方法を提供することにある。
【課題を解決するための手段】
【０００６】
一つの実施形態によれば、映像表示装置は、撮像部、ジェスチャ認識部、映像生成部、及び表示部を有し、操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる。撮像部は操作者の手を含む映像を撮像する。ジェスチャ認識部は、撮像された操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、操作者の提示する両手の手形状から構成される第１の形状領域と表示画面を対比して第１の形状領域を表示画面座標における第２の形状領域として認識する。映像生成部は表示画面に表示される第２の形状領域の映像を強調処理する。表示部は強調処理された第２の形状領域の映像を表示画面に表示する。
【０００７】
他の実施形態によれば、映像表示装置を用いた映像領域選択方法は、表示部、撮像部、ジェスチャ認識部、及び映像生成部を有する映像表示装置において、操作者が提示する両手の手形状によって前記表示部の表示画面の映像領域選択が第１乃至４の工程で行われる。第１の工程では操作者の手を含む映像が撮像される。第２の工程では操作者の右手で形成される第１のL字型ジェスチャと第１のL字型ジェスチャに対して対角をなす左手で形成される第２のL字型ジェスチャから構成される撮像映像が第１の矩形領域として認識される。第３の工程では第１の矩形領域と表示画面を対比して第１の矩形領域を表示画面座標における第２の矩形領域として認識され、第２の矩形領域が表示画面に対して平行或いは垂直に配置される。第４の工程では表示画面に表示される第２の矩形領域の映像が強調表示される。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る映像表示装置の構成を示すブロック図である。
【図２】第１の実施形態に係るジェスチャ認識部の構成を示すブロック図である。
【図３】第１の実施形態に係るジェスチャ判別方法を説明する動作フローである。
【図４】第１の実施形態に係るトリガ動作の一例を示す図である。
【図５】第１の実施形態に係る矩形の映像領域選択方法を説明する動作フローである。
【図６】変形例の映像表示装置の構成を示すブロック図である。
【図７】第２の実施形態に係る映像表示装置の構成を示すブロック図である。
【図８】第２の実施形態に係る矩形映像領域の編集処理方法を説明する動作フローである。
【図９】第２の実施形態に係る選択された矩形映像領域の境界強調処理示す図である。
【図１０】第３の実施形態に係る映像表示装置の構成を示すブロック図である。
【図１１】第４の実施形態に係る表示画面レイアウトを説明するブロック図である。
【発明を実施するための形態】
【０００９】
以下本発明の実施形態について図面を参照しながら説明する。
【００１０】
（第１の実施形態）
まず、本発明の第１の実施形態に係る映像表示装置及びそれを用いた映像領域選択方法について、図面を参照して説明する。図１は映像表示装置の構成を示すブロック図である。図２はジェスチャ認識部の構成を示すブロック図である。本実施形態では、操作者（ユーザ）の両手でそれぞれ形成されるL字型ジェスチャから構成される第１の矩形領域を映像表示装置が認識し、第１の矩形領域と表示画面を対比して第１の矩形領域を表示画面座標における第２の矩形領域として映像表示装置が認識し、表示画面に表示される第２の矩形領域の映像が強調表示される。
【００１１】
図１に示すように、映像表示装置９０には、ジェスチャ認識部１、映像生成部２、映像復号部３、映像信号発生部４、表示部５、撮像部６、及び撮像部７が設けられる。ここでは、映像表示装置９０はデジタルＴＶに適用しているが、ＤＶＤレコーダなどのデジタル家電、アミューズメント機器、デジタルサイネージ、携帯端末、車載機器、超音波診断装置、電子ペーパ、パソコンなどに適用することができる。
【００１２】
映像表示装置９０では、操作者（ユーザ）の提示する両手の手形状や両手の動きによって表示部５に表示される表示画面５１の映像処理の指示が与えられる。例えば、図１に示すように、操作者の右手１３の親指と人差し指で形成される第１のＬ字型ジェスチャと第１のＬ字型ジェスチャと対角をなす操作者の左手１４の親指と人差し指で形成される第２のＬ字型ジェスチャから矩形領域１１（第１の形状領域）が提示される。提示された矩形領域１１に対応する表示画面５１の矩形領域１２（第２の形状領域）が認識される。認識された矩形領域１２の映像が強調表示される（詳細は後述する）。矩形領域１１及び矩形領域１２は、長方形或いは正方形をなす。
【００１３】
ここでは、L字型ジェスチャを用いているが必ずしもこれに限定されるものではない。例えば、両手の人差し指を提示してそれぞれの指先を矩形の２頂点とする方式などを用いてもよい。映像とは、静止画像或いは動画像のことを言う。
【００１４】
映像信号発生部４は、記憶部或いは放送信号受信機からなる。記憶部の場合、記憶される映像情報が映像信号である信号ＳＧ１１として映像復号部３に出力される。放送信号受信機の場合、受信された映像情報が映像信号である信号ＳＧ１１として映像復号部３に出力される。
【００１５】
映像復号部３は、映像信号発生部４と映像生成部２の間に設けられる。映像復号部３は、映像信号発生部４から出力される信号ＳＧ１１が入力され、復号映像信号である信号ＳＧ１２を映像生成部２に出力する。
【００１６】
撮像部６は、表示部５の上端に配置される。撮像部７は、撮像部６と間隔Lだけ離間して表示部５の上端に配置される。撮像部６及び撮像部７は表示部５の表示側前方の操作者（ユーザ）を認識し、手、指を含む映像及びその動きを撮像する。間隔Lは、撮像される映像の視差から操作者の手の３次元位置と姿勢を推定するのに十分なだけの距離に設定される。撮像部６及び撮像部７を設けることにより、操作者の手、指を含む映像情報及び動きを３次元的に認識することが可能となる。ここでは、撮像部６及び撮像部７にビデオカメラを用いているが、代わりにｗｅｂカメラやＶＧＡカメラなどを適用してもよい。
【００１７】
ジェスチャ認識部１は、撮像部６及び撮像部７と映像生成部２の間に設けられる。図２に示すように、ジェスチャ認識部１には、フレームバッファ２１、手領域検出部２２、指位置検出部２３、形状決定部２４、記憶部２５、及び座標変換部２６が設けられる。
【００１８】
フレームバッファ２１は、撮像部６及び撮像部７と手領域検出部２２の間に設けられる。フレームバッファ２１は、撮像部６から出力される撮像情報信号である信号ＳＧ１と撮像部７から出力される撮像情報信号である信号ＳＧ２が入力される。フレームバッファ２１は、信号ＳＧ１と信号ＳＧ２から操作者の映像情報を抽出する。
【００１９】
手領域検出部２２は、フレームバッファ２１と指位置検出部２３の間に設けられる。手領域検出部２２は、操作者の映像情報信号である信号ＳＧ２１が入力され、操作者の映像情報から操作者の両手に対応する映像情報を抽出する。
【００２０】
指位置検出部２３は、手領域検出部２２と形状決定部２４の間に設けられる。指位置検出部２３は、両手の映像情報信号である信号ＳＧ２２が入力され、両手の映像情報から右手の指及び左手の指に対応する映像情報を抽出する。
【００２１】
形状決定部２４は、指位置検出部２３と座標変換部２６の間に設けられ、記憶部２５に記憶される手及び指から構成される１種類以上のジェスチャ情報が入力される。形状決定部２４は、両手の指の映像情報信号である信号ＳＧ２３が入力され、両手の指の映像情報から両手の指から構成される形状領域を推定し、予め記憶部２５に記憶されるジェスチャ形状と比較し、一致する場合はその形状領域を認定する。また、一連の両手の指の動画像情報から予め記憶部２５に記憶されるジェスチャ動作と比較し、一致する場合はその動作を認定する。
【００２２】
また、認定されなかった形状領域情報やジェスチャ動作は、記憶部２５に適宜格納される。認定されなかった形状領域情報やジェスチャ動作は、両手の指から構成される形状領域との比較に適宜使用される。
【００２３】
座標変換部２６は、形状決定部２４と映像生成部２の間に設けられる。座標変換部２６は、形状決定部２４で決定されたジェスチャ形状やジェスチャ動作であって、表示画面５から手までの距離情報信号が含まれる信号ＳＧ２４が入力される。座標変換部２６は、ジェスチャ形状の場合、両手の指で形成される矩形領域１１と表示画面５１を対比して表示画面座標における矩形領域１２として認識し、また他のジェスチャ形状から矩形領域１２を活性化する。活性化とは次のジェスチャ動作を可能化するものである。ジェスチャ動作の場合、両手の指で形成される矩形領域１１の動きを表示画面５１の表示画面座標における動きとして認識する。矩形領域１１の動きとしては、例えば、両手の指から形成される形状を固定したままの移動、両手の指から形成される形状間隔の変化や回転などがある。ジェスチャ動作の認識方法として、時系列パターンと入力パターンのマッチング（認識）するＣＤＰ（continuous dynamic programming）法やＤＰ（dynamic programming）法などがある。
【００２４】
映像生成部２は、ジェスチャ認識部１の座標変換部２６及び映像復号部３と表示部５の間に設けられる。映像生成部２は、映像復号部３から出力される映像復号信号である信号ＳＧ１２と座標変換部２６から出力される座標変換情報である信号ＳＧ３が入力される。
【００２５】
映像生成部２は、信号ＳＧ１２が入力され、信号ＳＧ３が入力されない場合、映像復号情報信号である信号Ｓ４を表示部５に出力する。表示部５では映像復号情報信号である信号Ｓ４に基づいて１フレーム毎の映像が表示される。映像生成部２は、復号された映像が表示画面５１に表示され、信号ＳＧ３が入力される場合、信号ＳＧ３に基づいて表示画面５１に矩形領域１２の映像が強調表示される。或いは信号ＳＧ３に基づいて編集処理された矩形領域１２の映像が表示される。矩形領域１２は、例えば表示画面５１に対して水平或いは垂直に配置される。
【００２６】
次に、ジェスチャ判別方法について図３及び図４を参照して説明する。図３はジェスチャ判別方法を説明する動作フローである。図３では、ステップＳ１において事前処理が実行され、ステップＳ２乃至５において位置判別が実行され、ステップＳ６乃至８において手、指動作判別が実行される。
【００２７】
図３に示すように、ジェスチャ判別はフレームバッファ２１に入力される操作者（ユーザ）の映像情報での手に対応する映像領域を、例えば背景差分、色に基づく領域抽出などの処理を行う（ステップＳ１）。
【００２８】
次に、手領域の幾何学的特徴に基づいて手の３次元位置と姿勢を推定する。この場合、事前にカメラキャリブレーション手法を用いてカメラパラメータを算出しておく（ステップＳ２）。
【００２９】
そして、投影中心から手の３次元位置への方向ベクトルを決定する（ステップＳ３）。
【００３０】
次に、手、指の３次元姿勢を元にＲｏｌｌ、Ｐｉｔｃｈ、Ｙａｗの回転角度を算出する。ＲｏｌｌのほかにＰｉｔｃｈ、Ｙａｗの回転角度を利用することにより、例えば図４に示す種々のジェスチャ動作判別に対応することが可能となる（ステップＳ４）。
【００３１】
続いて、例えばバックプロパゲーション法を用いて両手の動作判別を行う（ステップＳ５）。
【００３２】
そして、正規化処理を実行する。具体的には、手、指領域が画像中央になるように平行移動及び回転して、アスペクト比が１になるように拡大或いは縮小処理を実行する（ステップＳ６）。
【００３３】
次に、平滑化、間引き処理などにより画像の簡略化処理を実行する。正規化処理や画像の簡素化処理を実行することにより、画像の情報量を削減できＣＰＵ（central processing unit）やプロセッサの容量を削減することができる。このため、ジェスチャ判別の迅速化、低コスト化が図られる（ステップＳ７）。
【００３４】
続いて、手、指の形状判別を実行する。例えば、矩形領域の判別ではＨｏｕｇｈ変換などを用いて親指と人差し指の角度を算出し、Ｌ字型ジェスチャであるかを判別する。判別された両手の手形状や両手の動きは、記憶データとの比較が行われ、一致するかどうかの判定が行われる。一致したものはジェスチャ判別情報として用いられる（ステップＳ８）。
【００３５】
図４はトリガ動作の一例を示す図である。図４に示すように、ジェスチャ判別として使用されるトリガ動作の情報は、ジェスチャ認識部１の記憶部２５に格納される。ここでは、代表例として動作モード１乃至１１について説明する。
【００３６】
動作モード１は矩形領域の設定である。手及び指の動作は、両手の親指と人差し指でそれぞれＬ字型ジェスチャを形成し、両手を対角線上に配置する。例えば、右手の親指を垂直方向に配置し、右手の人差し指を水平方向に配置する。左手の親指を水平方向に配置し、左手の人差し指を垂直方向に配置する。このモードのとき、表示画面５１の矩形領域１２は常にハイライト表示される（以降、この動作をジェスチャＩとする）。
【００３７】
動作モード２は矩形領域の選択（活性化）と境界強調である。ジェスチャＩから両手の親指と人差し指をくっつけて離すという動作により、この矩形領域の映像が活性化され、この矩形領域の映像は編集処理動作が可能となる。選択された矩形領域は、例えば外周領域に太線枠が追加されることで境界強調される。
【００３８】
動作モード３は選択領域の移動である。ジェスチャＩの状態を保ちながら両手を移動することにより、選択（活性化）された矩形領域の映像を表示画面５１上に移動（例えば、水平方向、垂直方向など）することが可能となる。
【００３９】
動作モード４は選択領域の拡大である。ジェスチャＩの状態を保ちながら両手の間隔を広げることにより、選択（活性化）された矩形領域の映像を表示画面５１上に拡大表示することが可能となる。
【００４０】
動作モード５は選択領域の縮小である。ジェスチャＩの状態を保ちながら両手の間隔を狭めることにより、選択（活性化）された矩形領域の映像を表示画面５１上に縮小表示することが可能となる。
【００４１】
動作モード６は選択領域の回転である。ジェスチャＩの状態を保ちながら両手を回転することにより、選択（活性化）された矩形領域の映像を表示画面５１上に回転表示することが可能となる。
【００４２】
動作モード７は選択状態の解除である。操作者が両手を合わせることにより、選択された形状領域の解除を行うことが可能となる。
【００４３】
動作モード８は選択領域の消去である。操作者が両手で×印を形成することにより、選択（活性化）された形状領域の映像を消去することが可能となる。
【００４４】
動作モード９はスナップショットの設定である。右手の親指と左手の親指を水平方向に配置及び接して、右手の人差し指、中指、薬指、及び小指を親指に対して９０°開く。左手の人差し指、中指、薬指、及び小指を親指に対して９０°開く。
【００４５】
動作モード１０はハイライト表示の切り出しである。操作者が両手の人差し指と中指でそれぞれ挟印を形成することにより、ハイライト表示された形状領域の映像を切り出すことが可能となる。
【００４６】
動作モード１１は三角形領域の設定である。右手の親指を水平方向に配置し、右手の人差し指、中指、薬指、及び小指を親指に対して６０°開く。左手の親指を水平方向に配置し、あわせて右手の親指に対して一直線上に配置し、左手の人差し指、中指、薬指、及び小指を親指に対して６０°開く。
【００４７】
ここで説明した動作モードの手、指の動作は一例であり、必ずしもこれに限定されるものではない。例えば、矩形領域の設定には、親指と人差し指でＬ字型ジェスチャを形成しているが代わりに親指と他の４つの指でＬ字型ジェスチャを形成してもよい。
【００４８】
このように両手で形成される種々の動作モードを予め記憶部２５に格納することにより、複数人でデジタルＴＶなどの映像コンテンツを視聴中に、ある視聴者が映像中の特定の対象について他の視聴者に説明したいと考えた場合に、自分が注目している対象が映像中のどこに表示されているのかを正確に伝えることが可能となる。また、視聴者間のコミュニケーションが円滑化される効果が見込まれる。
【００４９】
次に、矩形の映像領域選択方法について図５を参照して説明する。図５は矩形の映像領域選択方法を説明する動作フローである。
【００５０】
図５に示すように、映像復号部３から出力される映像復号信号である信号ＳＧ１２が、映像生成部２に入力されて１フレーム分の映像が表示画面５１に表示された後、矩形提示の有無が確認される（ステップＳ１１）。
【００５１】
矩形提示信号である信号ＳＧ３がジェスチャ認識部１から提示されると、操作者の操作で形成される矩形領域１１に対応する矩形領域１２が表示画面５１上に設定される。提示されない場合は、１フレーム分の映像が保持される（ステップＳ１２）。
【００５２】
次に、矩形領域１２の映像は選択され（ステップＳ１３）、表示画面５１にハイライト表示される。ハイライト表示としては、例えば周囲よりも輝度を明るくする、或いはカラー映像の場合周囲の色調に対して矩形領域１２の色調を変化させてコントラストを強調するなどがある（ステップＳ１４）。
【００５３】
上述したように、本実施形態の映像表示装置及びそれを用いた映像領域選択方法では、ジェスチャ認識部１、映像生成部２、映像復号部３、映像信号発生部４、表示部５、撮像部６、及び撮像部７が設けられる。操作者の提示する両手の手形状や両手の動きによって表示部５に表示される表示画面５１の映像処理の指示が与えられる。
【００５４】
このため、リモコン、キーボード、マウス、或いは画面上のアイコンなどの入力装置を用いることなく、表示画面５１の矩形領域をリアルタイムに任意に選択表示することができる。
【００５５】
なお、本実施形態では、映像部６及び７としてのカメラを２台設けているが必ずしもこれに限定されるものではない。３台以上のカメラを設けてもよい。また、変形例である図６に示す映像表示装置９０ａのように、撮像部６ａにＴＯＦ（time of flight）カメラを用いてもよい。ＴＯＦカメラは距離センサとＲＧＢカメラなどから構成され、操作者が提示する両手の手形状或いは両手の動きを３次元的に把握することができる。このため、映像部としてのＴＯＦカメラは１台で対応することができる。
【００５６】
（第２の実施形態）
次に、本発明の第２の実施形態に係る映像表示装置及びそれを用いた映像領域選択方法について、図面を参照して説明する。図７は映像表示装置の構成を示すブロック図である。本実施形態では、選択された矩形領域の映像が操作者の両手で形成されるジェスチャ動作により編集処理される。
【００５７】
以下、第１の実施形態と同一構成部分には、同一符号を付してその部分の説明を省略し、異なる部分のみ説明する。
【００５８】
図７に示すように、本実施形態の映像表示装置９０は第１の実施形態と同一な構成を有する。本実施形態の映像表示装置９０では、部分映像の編集や映像の編集などが実行される。
【００５９】
映像表示装置９０では、操作者の提示する両手の動作により矩形領域１２ａが選択される。選択された矩形領域１２ａの映像は拡大処理され、移動処理されて表示画面５１に編集領域１５ａとして表示される。また、操作者の提示する両手の動作により表示画面５１に形成される矩形領域１２ｂが選択される。選択された矩形領域１２ｂの映像は縮小処理され、移動処理されて表示画面５１に編集領域１５ｂとして表示される。
【００６０】
次に、矩形領域の編集処理について図８及び９を参照して説明する。図８は矩形領域の編集処理方法を説明する動作フローである。図９は矩形映像領域の境界強調処理を示す図である。
【００６１】
図８に示すように、矩形領域の編集処理では、ステップＳ１１乃至ステップＳ１５までは第１の実施形態と同様なので説明を省略する。
【００６２】
選択され、映像表示された矩形領域の映像は選択の解除の有無が確認される（ステップＳ１６）。
【００６３】
次に、選択の解除が行われないと選択された矩形領域の編集処理の有無が確認される（ステップＳ１７）。
【００６４】
続いて、編集処理が確認されると、操作者が提示する両手の動き（例えば、図４に示す動作モード３乃至６のいずれか選択）に対応する編集処理が実行され、編集処理された矩形領域の映像が表示画面５１に表示される（ステップＳ１８）。
【００６５】
そして、編集処理された矩形領域の映像と選択の解除が行われた矩形領域の映像は図示しない記憶部に登録される（ステップＳ１９）。
【００６６】
なお、矩形領域のハイライト表示として、図９に示すように、矩形領域１２の外周領域に太線枠を追加した編集領域１５ｃとする処理（境界強調処理）を実行してもよい。
【００６７】
編集処理機能を利用することで、例えば、映像中で操作者（ユーザ）が注目している領域を表示画面の端に拡大表示や縮小表示するといった表示形式の変更操作を、リモコン、キーボード、マウス、或いは画面上のアイコンなどの入力装置を用いることなく実現できる。この編集操作は映像の再生と並行して実行できるため、操作者（ユーザ）は映像コンテンツの表示方法を、再生を一時停止する必要なくシームレスに行うことが可能となる。また、本機能は記憶部での映像再生時、放送波からの映像再生時を問わず利用可能である。
【００６８】
ここでは、映像表示装置９０上で映像コンテンツが再生されるデジタルＴＶを想定しているが、このような編集処理はデスクトップ画面やブラウザなどのGUIにも適用できる。例えば、提示矩形を拡大縮小することで、選択状態にあるウィンドウのサイズを変更、或いは矩形領域内にある複数のアイコンを選択した状態で提示矩形を移動すると、アイコンの集合をまとめて移動するといった操作が可能となる。
【００６９】
上述したように、本実施形態の映像表示装置及びそれを用いた映像領域選択方法では、操作者の提示する両手の手形状や両手の動きによって矩形領域が選択され、選択された矩形領域の映像が編集処理される。
【００７０】
このため、リモコン、キーボード、マウス、或いは画面上のアイコンなどの入力装置を用いることなく、表示画面５１の矩形領域の映像を移動、拡大、縮小、或いは回転処理をリアルタイムで実行することができる。また、操作者による操作の開始から終了までのタイムラグを大幅に抑制することができる。
【００７１】
（第３の実施形態）
次に、本発明の第３の実施形態に係る映像表示装置について、図面を参照して説明する。図１０は映像表示装置の構成を示すブロック図である。本実施形態では、操作者の両手の提示に基づいて形成される矩形領域が切り出され、符号化されて記憶部に格納される。
【００７２】
以下、第１の実施形態と同一構成部分には、同一符号を付してその部分の説明を省略し、異なる部分のみ説明する。
【００７３】
図１０に示すように、映像表示装置９１には、ジェスチャ認識部１、映像生成部２、映像復号部３、映像信号発生部４、表示部５、撮像部６、撮像部７、切り出し部３１、映像符号部３２、及び記憶部３３が設けられる。ここでは、映像表示装置９１はデジタルＴＶに適用しているが、ＤＶＤレコーダなどのデジタル家電、アミューズメント機器、デジタルサイネージ、携帯端末、車載機器、超音波診断装置、電子ペーパ、パソコンなどに適用することができる。
【００７４】
切り出し部３１は、ジェスチャ認識部１及び映像復号部３と映像符号部３２の間に設けられる。切り出し部３１は、ジェスチャ認識部１から出力される信号ＳＧ２１と映像復号部３から出力される信号ＳＧ２２が入力される。切り出し部３１は、ジェスチャ認識部１で認識された表示画面５１上の矩形領域などの形状領域の映像情報を切り出す。切り出し部３１は、映像復号部３で復号された映像情報を、例えば１フレーム分毎に切り出す。切り出し部３１は、切り出しの開始や停止をトグルするトリガ動作を制御する。
【００７５】
映像符号部３２は、切り出し部３１と記憶部３３の間に設けられる。映像符号部３２は、切り出し部３１から出力される信号ＳＧ２３が入力される。映像符号部３２は、切り出し部３１で切り出された映像情報を符号化する。
【００７６】
記憶部３３は、映像符号部３２から出力される信号ＳＧ２４が入力される。記憶部３３は、映像符号部３２で符号化された映像情報を格納する。
【００７７】
映像表示装置９１では、例えば、表示画面５１内の注目する対象物（人物など）に向かって、操作者が両手で図４に示す動作モード１（矩形領域の設定）、動作モード２（矩形領域の選択）を提示すると選択された矩形領域が表示画面５１にハイライト表示される。この状態で操作者が両手で図４に示す動作モード１０（ハイライト表示⇒切り出し）を提示すると、映像表示装置９１は切り出し状態に移行する。
【００７８】
切り出し状態では表示画面５１上の矩形領域をハイライトすると同時に、選択された矩形領域の映像が切り出し部３１で切り出され、映像符号器３２で符号化された上で記憶部３３に格納される。操作者が両手で図４に示す動作モード３（選択領域の移動）を提示すると、それに従って切り出し部３１で切り出される領域も動的に移動する。同様に、動作モード4(選択領域の拡大)、または動作モード5(選択領域の縮小)を提示すると、切り出される領域が広がる、または狭まる。
【００７９】
なお、動作モード３を提示しても切り出し領域を移動させたくない場合、切り出し領域が動的に変化するモードと固定されるモードを用意して、両者を切り替える動作モードを新たに追加してもよい。
【００８０】
切り出し部３１を設けることにより、映像中で操作者（ユーザ）が注目している対象のみを切り出す映像編集処理が実現できる。操作者が提示する矩形を移動させることで、切り出す領域も移動することができるため、注目している対象が表示画面内を移動していても切り出しが可能である。この編集作業においては、映像を止めたり巻き戻したりする作業が不要であるため、映像信号発生部４に格納される映像をオフラインで処理するのみでなく、放送波の映像をオンラインで処理することもできる。
【００８１】
上述したように、本実施形態の映像表示装置では、ジェスチャ認識部１、映像生成部２、映像復号部３、映像信号発生部４、表示部５、撮像部６、撮像部７、切り出し部３１、映像符号部３２、及び記憶部３３が設けられる。切り出し部３１はジェスチャ認識部１で認識された表示画面５１上の矩形領域の映像情報を切り出す。映像符号部３２は切り出された矩形領域の映像情報を符号化する。記憶部３３は符号化された矩形領域の映像情報を格納する。
【００８２】
このため、操作者が注目している矩形領域のみ切り出して映像編集処理を容易に実行することができる。
【００８３】
（第４の実施形態）
次に、本発明の第４の実施形態に係る映像表示装置について、図面を参照して説明する。図１１は表示画面レイアウトを説明するブロック図である。本実施形態では、操作者の両手で形成される提示形状に基づいて表示画面上にスナップショット表示領域が設けられる。
【００８４】
本実施形態では、映像表示装置は第１の実施形態の映像表示装置９０と同様な構成を有する。図１１に示すように、表示画面５１は映像生成部２が生成した映像情報が表示される映像表示領域４２と操作者（ユーザ）の両手の提示に基づいて表示されるスナップショット表示領域４３に分割される。映像表示領域４２は表示画面５１上部に表示される。スナップショット表示領域４３は表示画面下部に表示される。
【００８５】
ここでは、操作者が両手で図４に示す動作モード１（矩形領域の設定）、動作モード２（矩形領域の選択）を提示すると選択された矩形領域が表示画面５１にハイライト表示される。この状態で操作者が両手で図４に示す動作モード９（スナップショットの設定）を提示すると、選択された矩形領域に対応する表示画面において、その時刻に表示されている矩形領域の映像が静止画のスナップショットとして切り出され、スナップショット表示領域４３の中央部に表示される。操作者が例えばｎ回トリガ動作（動作モード９）を行うと、その都度矩形領域のスナップショットが生成され、スナップショット表示領域４３に追加される。
【００８６】
例えば、最初のスナップショットの設定動作では、画面表示領域４２の矩形領域４１ａの映像がスナップショット４４ａとしてスナップショット表示領域４３の中央部に表示される。同様に、ｎ回目のスナップショットの設定動作では、画面表示領域４２の中央の矩形領域４１ｎの映像がスナップショット４４ｎとしてスナップショット表示領域４３の中央に表示される。つまり、最新のスナップショットがスナップショット表示領域４３の中央部に常に表示されることになる。
【００８７】
上述したように、本実施形態の映像表示装置では、操作者の提示する両手の手形状によって矩形領域が選択され、選択された矩形領域の映像が表示画面５１上のスナップショット表示領域４３にスナップショットとして表示される。
【００８８】
このため、リモコン、キーボード、マウス、或いは画面上のアイコンなどの入力装置を用いることなく、表示画面５１上のスナップショット表示領域４３に時系列的に複数スナップショットを表示することができる。
【００８９】
本発明は、上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、種々、変更してもよい。
【００９０】
実施形態では、操作者の両手で提示される形状領域を矩形領域にしているが必ずしもこれに限定されるものではない。例えば三角形領域、円形領域、或いは表示画面５１に対して平行或いは垂直ではない任意の矩形領域であってもよい。
【００９１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９２】
本発明は、以下の付記に記載されているような構成が考えられる。
（付記１） 操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる映像表示装置であって、前記操作者の手を含む映像を撮像する第１のカメラと、前記第１のカメラと離間して配置され、前記操作者の手を含む映像を撮像する第２のカメラと、前記第１及び第２のカメラから撮像された前記操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、前記操作者の提示する両手の手形状から構成される第１の形状領域と前記表示画面を対比して前記第１の形状領域を表示画面座標における第２の形状領域として認識するジェスチャ認識部と、前記表示画面に表示される前記第２の形状領域の映像を強調処理する映像生成部と、強調処理された前記第２の形状領域の映像を前記表示画面に表示する表示部とを具備する映像表示装置。
【００９３】
（付記２） 映像情報を出力する映像信号発生部と、前記映像情報を復号し、復号された復号映像信号を前記映像情報部に出力する映像復号部とを更に具備する付記１に記載の映像表示装置。
【００９４】
（付記３） 操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる映像表示装置であって、前記操作者の手を含む映像を撮像する撮像部と、撮像された前記操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、前記操作者の提示する両手の手形状から構成される第１の形状領域と前記表示画面を対比して前記第１の形状領域を表示画面座標における第２の形状領域として認識するジェスチャ認識部と、前記表示画面に表示される前記第２の形状領域の映像を強調処理する映像生成部と、強調処理された前記第２の形状領域の映像を前記表示画面に表示する表示部と、前記ジェスチャ認識部で認識された前記第２の形状領域の映像を切り出し、切り出しの開始及び停止をトグルするトリガ動作を制御する切り出し部と、切り出された前記第２の形状領域の映像を符号化する映像符号部と、符号化された前記第２の形状領域の映像情報を格納する記憶部とを具備することを特徴とする映像表示装置。
【００９５】
（付記４） 前記操作者が提示する両手の手形状によって、前記表示画面にスナップショット表示領域が設けられ、前記スナップショット表示領域にスナップショットが表示される付記１乃至３のいずれかに記載の映像表示装置。
【符号の説明】
【００９６】
１ ジェスチャ認識部
２ 映像生成部
３ 映像複合部
４ 映像信号発生部
５ 表示部
６、６ａ、７ 撮像部
１１、１２、１２ａ、１２ｂ、４１ａ、４１ｎ 矩形領域
１３ 右手
１４ 左手
１５ａ、１５ｂ、１５ｃ 編集領域
２１ フレームバッファ
２２ 手領域検出部
２３ 指位置検出部
２４ 形状決定部
２５、３３ 記憶部
２６ 座標変換部
３１ 切り出し部
３２ 映像符号部
４２ 映像表示領域
４３ スナップショット表示領域
４４ａ、４４ｎ スナップショット
５１ 表示画面
９０、９０ａ、９１ 映像表示装置
Ｌ 間隔
ＳＧ１〜３、ＳＧ１ａ、ＳＧ１１、ＳＧ１２、ＳＧ２１〜２４ 信号
【技術分野】
【０００１】
本発明の実施形態は、映像表示装置及びそれを用いた映像領域選択方法に関する。
【背景技術】
【０００２】
映像表示装置に表示される映像コンテンツやＧＵＩ（graphical user interface）を操作するジェスチャ認識装置には、指差し動作によって映像表示装置上の単一オブジェクトを選択するもの、或いは手指の一連の動作によって複数のオブジェクトを選択するものなどが多数知られている。
【０００３】
指差し動作によって単一オブジェクトを選択する場合、操作者（ユーザ）が注目する座標を点で指定するのでＧＵＩのアイコンをクリックする操作には好適であるが、映像の特定領域を任意に選択することは困難であるという問題点がある。手指の一連の動作によって複数のオブジェクトを選択する場合、ジェスチャ認識装置は操作者が提示するジェスチャの一連の映像を解析する必要がある。このため、操作者が一連の動作を終了してから初めて操作内容が映像表示装置に反映されるので、操作者による操作の開始から終了までのタイムラグが発生するという問題点がある。また、映像の特定領域を選択しながら、選択された特定領域を移動、拡大、縮小、或いは回転などの編集処理を実行することが困難であるという問題点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７８９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、映像中の形状領域に対する処理をリアルタイムで実行できる映像表示装置及びそれを用いた映像領域選択方法を提供することにある。
【課題を解決するための手段】
【０００６】
一つの実施形態によれば、映像表示装置は、撮像部、ジェスチャ認識部、映像生成部、及び表示部を有し、操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる。撮像部は操作者の手を含む映像を撮像する。ジェスチャ認識部は、撮像された操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、操作者の提示する両手の手形状から構成される第１の形状領域と表示画面を対比して第１の形状領域を表示画面座標における第２の形状領域として認識する。映像生成部は表示画面に表示される第２の形状領域の映像を強調処理する。表示部は強調処理された第２の形状領域の映像を表示画面に表示する。
【０００７】
他の実施形態によれば、映像表示装置を用いた映像領域選択方法は、表示部、撮像部、ジェスチャ認識部、及び映像生成部を有する映像表示装置において、操作者が提示する両手の手形状によって前記表示部の表示画面の映像領域選択が第１乃至４の工程で行われる。第１の工程では操作者の手を含む映像が撮像される。第２の工程では操作者の右手で形成される第１のL字型ジェスチャと第１のL字型ジェスチャに対して対角をなす左手で形成される第２のL字型ジェスチャから構成される撮像映像が第１の矩形領域として認識される。第３の工程では第１の矩形領域と表示画面を対比して第１の矩形領域を表示画面座標における第２の矩形領域として認識され、第２の矩形領域が表示画面に対して平行或いは垂直に配置される。第４の工程では表示画面に表示される第２の矩形領域の映像が強調表示される。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る映像表示装置の構成を示すブロック図である。
【図２】第１の実施形態に係るジェスチャ認識部の構成を示すブロック図である。
【図３】第１の実施形態に係るジェスチャ判別方法を説明する動作フローである。
【図４】第１の実施形態に係るトリガ動作の一例を示す図である。
【図５】第１の実施形態に係る矩形の映像領域選択方法を説明する動作フローである。
【図６】変形例の映像表示装置の構成を示すブロック図である。
【図７】第２の実施形態に係る映像表示装置の構成を示すブロック図である。
【図８】第２の実施形態に係る矩形映像領域の編集処理方法を説明する動作フローである。
【図９】第２の実施形態に係る選択された矩形映像領域の境界強調処理示す図である。
【図１０】第３の実施形態に係る映像表示装置の構成を示すブロック図である。
【図１１】第４の実施形態に係る表示画面レイアウトを説明するブロック図である。
【発明を実施するための形態】
【０００９】
以下本発明の実施形態について図面を参照しながら説明する。
【００１０】
（第１の実施形態）
まず、本発明の第１の実施形態に係る映像表示装置及びそれを用いた映像領域選択方法について、図面を参照して説明する。図１は映像表示装置の構成を示すブロック図である。図２はジェスチャ認識部の構成を示すブロック図である。本実施形態では、操作者（ユーザ）の両手でそれぞれ形成されるL字型ジェスチャから構成される第１の矩形領域を映像表示装置が認識し、第１の矩形領域と表示画面を対比して第１の矩形領域を表示画面座標における第２の矩形領域として映像表示装置が認識し、表示画面に表示される第２の矩形領域の映像が強調表示される。
【００１１】
図１に示すように、映像表示装置９０には、ジェスチャ認識部１、映像生成部２、映像復号部３、映像信号発生部４、表示部５、撮像部６、及び撮像部７が設けられる。ここでは、映像表示装置９０はデジタルＴＶに適用しているが、ＤＶＤレコーダなどのデジタル家電、アミューズメント機器、デジタルサイネージ、携帯端末、車載機器、超音波診断装置、電子ペーパ、パソコンなどに適用することができる。
【００１２】
映像表示装置９０では、操作者（ユーザ）の提示する両手の手形状や両手の動きによって表示部５に表示される表示画面５１の映像処理の指示が与えられる。例えば、図１に示すように、操作者の右手１３の親指と人差し指で形成される第１のＬ字型ジェスチャと第１のＬ字型ジェスチャと対角をなす操作者の左手１４の親指と人差し指で形成される第２のＬ字型ジェスチャから矩形領域１１（第１の形状領域）が提示される。提示された矩形領域１１に対応する表示画面５１の矩形領域１２（第２の形状領域）が認識される。認識された矩形領域１２の映像が強調表示される（詳細は後述する）。矩形領域１１及び矩形領域１２は、長方形或いは正方形をなす。
【００１３】
ここでは、L字型ジェスチャを用いているが必ずしもこれに限定されるものではない。例えば、両手の人差し指を提示してそれぞれの指先を矩形の２頂点とする方式などを用いてもよい。映像とは、静止画像或いは動画像のことを言う。
【００１４】
映像信号発生部４は、記憶部或いは放送信号受信機からなる。記憶部の場合、記憶される映像情報が映像信号である信号ＳＧ１１として映像復号部３に出力される。放送信号受信機の場合、受信された映像情報が映像信号である信号ＳＧ１１として映像復号部３に出力される。
【００１５】
映像復号部３は、映像信号発生部４と映像生成部２の間に設けられる。映像復号部３は、映像信号発生部４から出力される信号ＳＧ１１が入力され、復号映像信号である信号ＳＧ１２を映像生成部２に出力する。
【００１６】
撮像部６は、表示部５の上端に配置される。撮像部７は、撮像部６と間隔Lだけ離間して表示部５の上端に配置される。撮像部６及び撮像部７は表示部５の表示側前方の操作者（ユーザ）を認識し、手、指を含む映像及びその動きを撮像する。間隔Lは、撮像される映像の視差から操作者の手の３次元位置と姿勢を推定するのに十分なだけの距離に設定される。撮像部６及び撮像部７を設けることにより、操作者の手、指を含む映像情報及び動きを３次元的に認識することが可能となる。ここでは、撮像部６及び撮像部７にビデオカメラを用いているが、代わりにｗｅｂカメラやＶＧＡカメラなどを適用してもよい。
【００１７】
ジェスチャ認識部１は、撮像部６及び撮像部７と映像生成部２の間に設けられる。図２に示すように、ジェスチャ認識部１には、フレームバッファ２１、手領域検出部２２、指位置検出部２３、形状決定部２４、記憶部２５、及び座標変換部２６が設けられる。
【００１８】
フレームバッファ２１は、撮像部６及び撮像部７と手領域検出部２２の間に設けられる。フレームバッファ２１は、撮像部６から出力される撮像情報信号である信号ＳＧ１と撮像部７から出力される撮像情報信号である信号ＳＧ２が入力される。フレームバッファ２１は、信号ＳＧ１と信号ＳＧ２から操作者の映像情報を抽出する。
【００１９】
手領域検出部２２は、フレームバッファ２１と指位置検出部２３の間に設けられる。手領域検出部２２は、操作者の映像情報信号である信号ＳＧ２１が入力され、操作者の映像情報から操作者の両手に対応する映像情報を抽出する。
【００２０】
指位置検出部２３は、手領域検出部２２と形状決定部２４の間に設けられる。指位置検出部２３は、両手の映像情報信号である信号ＳＧ２２が入力され、両手の映像情報から右手の指及び左手の指に対応する映像情報を抽出する。
【００２１】
形状決定部２４は、指位置検出部２３と座標変換部２６の間に設けられ、記憶部２５に記憶される手及び指から構成される１種類以上のジェスチャ情報が入力される。形状決定部２４は、両手の指の映像情報信号である信号ＳＧ２３が入力され、両手の指の映像情報から両手の指から構成される形状領域を推定し、予め記憶部２５に記憶されるジェスチャ形状と比較し、一致する場合はその形状領域を認定する。また、一連の両手の指の動画像情報から予め記憶部２５に記憶されるジェスチャ動作と比較し、一致する場合はその動作を認定する。
【００２２】
また、認定されなかった形状領域情報やジェスチャ動作は、記憶部２５に適宜格納される。認定されなかった形状領域情報やジェスチャ動作は、両手の指から構成される形状領域との比較に適宜使用される。
【００２３】
座標変換部２６は、形状決定部２４と映像生成部２の間に設けられる。座標変換部２６は、形状決定部２４で決定されたジェスチャ形状やジェスチャ動作であって、表示画面５から手までの距離情報信号が含まれる信号ＳＧ２４が入力される。座標変換部２６は、ジェスチャ形状の場合、両手の指で形成される矩形領域１１と表示画面５１を対比して表示画面座標における矩形領域１２として認識し、また他のジェスチャ形状から矩形領域１２を活性化する。活性化とは次のジェスチャ動作を可能化するものである。ジェスチャ動作の場合、両手の指で形成される矩形領域１１の動きを表示画面５１の表示画面座標における動きとして認識する。矩形領域１１の動きとしては、例えば、両手の指から形成される形状を固定したままの移動、両手の指から形成される形状間隔の変化や回転などがある。ジェスチャ動作の認識方法として、時系列パターンと入力パターンのマッチング（認識）するＣＤＰ（continuous dynamic programming）法やＤＰ（dynamic programming）法などがある。
【００２４】
映像生成部２は、ジェスチャ認識部１の座標変換部２６及び映像復号部３と表示部５の間に設けられる。映像生成部２は、映像復号部３から出力される映像復号信号である信号ＳＧ１２と座標変換部２６から出力される座標変換情報である信号ＳＧ３が入力される。
【００２５】
映像生成部２は、信号ＳＧ１２が入力され、信号ＳＧ３が入力されない場合、映像復号情報信号である信号Ｓ４を表示部５に出力する。表示部５では映像復号情報信号である信号Ｓ４に基づいて１フレーム毎の映像が表示される。映像生成部２は、復号された映像が表示画面５１に表示され、信号ＳＧ３が入力される場合、信号ＳＧ３に基づいて表示画面５１に矩形領域１２の映像が強調表示される。或いは信号ＳＧ３に基づいて編集処理された矩形領域１２の映像が表示される。矩形領域１２は、例えば表示画面５１に対して水平或いは垂直に配置される。
【００２６】
次に、ジェスチャ判別方法について図３及び図４を参照して説明する。図３はジェスチャ判別方法を説明する動作フローである。図３では、ステップＳ１において事前処理が実行され、ステップＳ２乃至５において位置判別が実行され、ステップＳ６乃至８において手、指動作判別が実行される。
【００２７】
図３に示すように、ジェスチャ判別はフレームバッファ２１に入力される操作者（ユーザ）の映像情報での手に対応する映像領域を、例えば背景差分、色に基づく領域抽出などの処理を行う（ステップＳ１）。
【００２８】
次に、手領域の幾何学的特徴に基づいて手の３次元位置と姿勢を推定する。この場合、事前にカメラキャリブレーション手法を用いてカメラパラメータを算出しておく（ステップＳ２）。
【００２９】
そして、投影中心から手の３次元位置への方向ベクトルを決定する（ステップＳ３）。
【００３０】
次に、手、指の３次元姿勢を元にＲｏｌｌ、Ｐｉｔｃｈ、Ｙａｗの回転角度を算出する。ＲｏｌｌのほかにＰｉｔｃｈ、Ｙａｗの回転角度を利用することにより、例えば図４に示す種々のジェスチャ動作判別に対応することが可能となる（ステップＳ４）。
【００３１】
続いて、例えばバックプロパゲーション法を用いて両手の動作判別を行う（ステップＳ５）。
【００３２】
そして、正規化処理を実行する。具体的には、手、指領域が画像中央になるように平行移動及び回転して、アスペクト比が１になるように拡大或いは縮小処理を実行する（ステップＳ６）。
【００３３】
次に、平滑化、間引き処理などにより画像の簡略化処理を実行する。正規化処理や画像の簡素化処理を実行することにより、画像の情報量を削減できＣＰＵ（central processing unit）やプロセッサの容量を削減することができる。このため、ジェスチャ判別の迅速化、低コスト化が図られる（ステップＳ７）。
【００３４】
続いて、手、指の形状判別を実行する。例えば、矩形領域の判別ではＨｏｕｇｈ変換などを用いて親指と人差し指の角度を算出し、Ｌ字型ジェスチャであるかを判別する。判別された両手の手形状や両手の動きは、記憶データとの比較が行われ、一致するかどうかの判定が行われる。一致したものはジェスチャ判別情報として用いられる（ステップＳ８）。
【００３５】
図４はトリガ動作の一例を示す図である。図４に示すように、ジェスチャ判別として使用されるトリガ動作の情報は、ジェスチャ認識部１の記憶部２５に格納される。ここでは、代表例として動作モード１乃至１１について説明する。
【００３６】
動作モード１は矩形領域の設定である。手及び指の動作は、両手の親指と人差し指でそれぞれＬ字型ジェスチャを形成し、両手を対角線上に配置する。例えば、右手の親指を垂直方向に配置し、右手の人差し指を水平方向に配置する。左手の親指を水平方向に配置し、左手の人差し指を垂直方向に配置する。このモードのとき、表示画面５１の矩形領域１２は常にハイライト表示される（以降、この動作をジェスチャＩとする）。
【００３７】
動作モード２は矩形領域の選択（活性化）と境界強調である。ジェスチャＩから両手の親指と人差し指をくっつけて離すという動作により、この矩形領域の映像が活性化され、この矩形領域の映像は編集処理動作が可能となる。選択された矩形領域は、例えば外周領域に太線枠が追加されることで境界強調される。
【００３８】
動作モード３は選択領域の移動である。ジェスチャＩの状態を保ちながら両手を移動することにより、選択（活性化）された矩形領域の映像を表示画面５１上に移動（例えば、水平方向、垂直方向など）することが可能となる。
【００３９】
動作モード４は選択領域の拡大である。ジェスチャＩの状態を保ちながら両手の間隔を広げることにより、選択（活性化）された矩形領域の映像を表示画面５１上に拡大表示することが可能となる。
【００４０】
動作モード５は選択領域の縮小である。ジェスチャＩの状態を保ちながら両手の間隔を狭めることにより、選択（活性化）された矩形領域の映像を表示画面５１上に縮小表示することが可能となる。
【００４１】
動作モード６は選択領域の回転である。ジェスチャＩの状態を保ちながら両手を回転することにより、選択（活性化）された矩形領域の映像を表示画面５１上に回転表示することが可能となる。
【００４２】
動作モード７は選択状態の解除である。操作者が両手を合わせることにより、選択された形状領域の解除を行うことが可能となる。
【００４３】
動作モード８は選択領域の消去である。操作者が両手で×印を形成することにより、選択（活性化）された形状領域の映像を消去することが可能となる。
【００４４】
動作モード９はスナップショットの設定である。右手の親指と左手の親指を水平方向に配置及び接して、右手の人差し指、中指、薬指、及び小指を親指に対して９０°開く。左手の人差し指、中指、薬指、及び小指を親指に対して９０°開く。
【００４５】
動作モード１０はハイライト表示の切り出しである。操作者が両手の人差し指と中指でそれぞれ挟印を形成することにより、ハイライト表示された形状領域の映像を切り出すことが可能となる。
【００４６】
動作モード１１は三角形領域の設定である。右手の親指を水平方向に配置し、右手の人差し指、中指、薬指、及び小指を親指に対して６０°開く。左手の親指を水平方向に配置し、あわせて右手の親指に対して一直線上に配置し、左手の人差し指、中指、薬指、及び小指を親指に対して６０°開く。
【００４７】
ここで説明した動作モードの手、指の動作は一例であり、必ずしもこれに限定されるものではない。例えば、矩形領域の設定には、親指と人差し指でＬ字型ジェスチャを形成しているが代わりに親指と他の４つの指でＬ字型ジェスチャを形成してもよい。
【００４８】
このように両手で形成される種々の動作モードを予め記憶部２５に格納することにより、複数人でデジタルＴＶなどの映像コンテンツを視聴中に、ある視聴者が映像中の特定の対象について他の視聴者に説明したいと考えた場合に、自分が注目している対象が映像中のどこに表示されているのかを正確に伝えることが可能となる。また、視聴者間のコミュニケーションが円滑化される効果が見込まれる。
【００４９】
次に、矩形の映像領域選択方法について図５を参照して説明する。図５は矩形の映像領域選択方法を説明する動作フローである。
【００５０】
図５に示すように、映像復号部３から出力される映像復号信号である信号ＳＧ１２が、映像生成部２に入力されて１フレーム分の映像が表示画面５１に表示された後、矩形提示の有無が確認される（ステップＳ１１）。
【００５１】
矩形提示信号である信号ＳＧ３がジェスチャ認識部１から提示されると、操作者の操作で形成される矩形領域１１に対応する矩形領域１２が表示画面５１上に設定される。提示されない場合は、１フレーム分の映像が保持される（ステップＳ１２）。
【００５２】
次に、矩形領域１２の映像は選択され（ステップＳ１３）、表示画面５１にハイライト表示される。ハイライト表示としては、例えば周囲よりも輝度を明るくする、或いはカラー映像の場合周囲の色調に対して矩形領域１２の色調を変化させてコントラストを強調するなどがある（ステップＳ１４）。
【００５３】
上述したように、本実施形態の映像表示装置及びそれを用いた映像領域選択方法では、ジェスチャ認識部１、映像生成部２、映像復号部３、映像信号発生部４、表示部５、撮像部６、及び撮像部７が設けられる。操作者の提示する両手の手形状や両手の動きによって表示部５に表示される表示画面５１の映像処理の指示が与えられる。
【００５４】
このため、リモコン、キーボード、マウス、或いは画面上のアイコンなどの入力装置を用いることなく、表示画面５１の矩形領域をリアルタイムに任意に選択表示することができる。
【００５５】
なお、本実施形態では、映像部６及び７としてのカメラを２台設けているが必ずしもこれに限定されるものではない。３台以上のカメラを設けてもよい。また、変形例である図６に示す映像表示装置９０ａのように、撮像部６ａにＴＯＦ（time of flight）カメラを用いてもよい。ＴＯＦカメラは距離センサとＲＧＢカメラなどから構成され、操作者が提示する両手の手形状或いは両手の動きを３次元的に把握することができる。このため、映像部としてのＴＯＦカメラは１台で対応することができる。
【００５６】
（第２の実施形態）
次に、本発明の第２の実施形態に係る映像表示装置及びそれを用いた映像領域選択方法について、図面を参照して説明する。図７は映像表示装置の構成を示すブロック図である。本実施形態では、選択された矩形領域の映像が操作者の両手で形成されるジェスチャ動作により編集処理される。
【００５７】
以下、第１の実施形態と同一構成部分には、同一符号を付してその部分の説明を省略し、異なる部分のみ説明する。
【００５８】
図７に示すように、本実施形態の映像表示装置９０は第１の実施形態と同一な構成を有する。本実施形態の映像表示装置９０では、部分映像の編集や映像の編集などが実行される。
【００５９】
映像表示装置９０では、操作者の提示する両手の動作により矩形領域１２ａが選択される。選択された矩形領域１２ａの映像は拡大処理され、移動処理されて表示画面５１に編集領域１５ａとして表示される。また、操作者の提示する両手の動作により表示画面５１に形成される矩形領域１２ｂが選択される。選択された矩形領域１２ｂの映像は縮小処理され、移動処理されて表示画面５１に編集領域１５ｂとして表示される。
【００６０】
次に、矩形領域の編集処理について図８及び９を参照して説明する。図８は矩形領域の編集処理方法を説明する動作フローである。図９は矩形映像領域の境界強調処理を示す図である。
【００６１】
図８に示すように、矩形領域の編集処理では、ステップＳ１１乃至ステップＳ１５までは第１の実施形態と同様なので説明を省略する。
【００６２】
選択され、映像表示された矩形領域の映像は選択の解除の有無が確認される（ステップＳ１６）。
【００６３】
次に、選択の解除が行われないと選択された矩形領域の編集処理の有無が確認される（ステップＳ１７）。
【００６４】
続いて、編集処理が確認されると、操作者が提示する両手の動き（例えば、図４に示す動作モード３乃至６のいずれか選択）に対応する編集処理が実行され、編集処理された矩形領域の映像が表示画面５１に表示される（ステップＳ１８）。
【００６５】
そして、編集処理された矩形領域の映像と選択の解除が行われた矩形領域の映像は図示しない記憶部に登録される（ステップＳ１９）。
【００６６】
なお、矩形領域のハイライト表示として、図９に示すように、矩形領域１２の外周領域に太線枠を追加した編集領域１５ｃとする処理（境界強調処理）を実行してもよい。
【００６７】
編集処理機能を利用することで、例えば、映像中で操作者（ユーザ）が注目している領域を表示画面の端に拡大表示や縮小表示するといった表示形式の変更操作を、リモコン、キーボード、マウス、或いは画面上のアイコンなどの入力装置を用いることなく実現できる。この編集操作は映像の再生と並行して実行できるため、操作者（ユーザ）は映像コンテンツの表示方法を、再生を一時停止する必要なくシームレスに行うことが可能となる。また、本機能は記憶部での映像再生時、放送波からの映像再生時を問わず利用可能である。
【００６８】
ここでは、映像表示装置９０上で映像コンテンツが再生されるデジタルＴＶを想定しているが、このような編集処理はデスクトップ画面やブラウザなどのGUIにも適用できる。例えば、提示矩形を拡大縮小することで、選択状態にあるウィンドウのサイズを変更、或いは矩形領域内にある複数のアイコンを選択した状態で提示矩形を移動すると、アイコンの集合をまとめて移動するといった操作が可能となる。
【００６９】
上述したように、本実施形態の映像表示装置及びそれを用いた映像領域選択方法では、操作者の提示する両手の手形状や両手の動きによって矩形領域が選択され、選択された矩形領域の映像が編集処理される。
【００７０】
このため、リモコン、キーボード、マウス、或いは画面上のアイコンなどの入力装置を用いることなく、表示画面５１の矩形領域の映像を移動、拡大、縮小、或いは回転処理をリアルタイムで実行することができる。また、操作者による操作の開始から終了までのタイムラグを大幅に抑制することができる。
【００７１】
（第３の実施形態）
次に、本発明の第３の実施形態に係る映像表示装置について、図面を参照して説明する。図１０は映像表示装置の構成を示すブロック図である。本実施形態では、操作者の両手の提示に基づいて形成される矩形領域が切り出され、符号化されて記憶部に格納される。
【００７２】
以下、第１の実施形態と同一構成部分には、同一符号を付してその部分の説明を省略し、異なる部分のみ説明する。
【００７３】
図１０に示すように、映像表示装置９１には、ジェスチャ認識部１、映像生成部２、映像復号部３、映像信号発生部４、表示部５、撮像部６、撮像部７、切り出し部３１、映像符号部３２、及び記憶部３３が設けられる。ここでは、映像表示装置９１はデジタルＴＶに適用しているが、ＤＶＤレコーダなどのデジタル家電、アミューズメント機器、デジタルサイネージ、携帯端末、車載機器、超音波診断装置、電子ペーパ、パソコンなどに適用することができる。
【００７４】
切り出し部３１は、ジェスチャ認識部１及び映像復号部３と映像符号部３２の間に設けられる。切り出し部３１は、ジェスチャ認識部１から出力される信号ＳＧ２１と映像復号部３から出力される信号ＳＧ２２が入力される。切り出し部３１は、ジェスチャ認識部１で認識された表示画面５１上の矩形領域などの形状領域の映像情報を切り出す。切り出し部３１は、映像復号部３で復号された映像情報を、例えば１フレーム分毎に切り出す。切り出し部３１は、切り出しの開始や停止をトグルするトリガ動作を制御する。
【００７５】
映像符号部３２は、切り出し部３１と記憶部３３の間に設けられる。映像符号部３２は、切り出し部３１から出力される信号ＳＧ２３が入力される。映像符号部３２は、切り出し部３１で切り出された映像情報を符号化する。
【００７６】
記憶部３３は、映像符号部３２から出力される信号ＳＧ２４が入力される。記憶部３３は、映像符号部３２で符号化された映像情報を格納する。
【００７７】
映像表示装置９１では、例えば、表示画面５１内の注目する対象物（人物など）に向かって、操作者が両手で図４に示す動作モード１（矩形領域の設定）、動作モード２（矩形領域の選択）を提示すると選択された矩形領域が表示画面５１にハイライト表示される。この状態で操作者が両手で図４に示す動作モード１０（ハイライト表示⇒切り出し）を提示すると、映像表示装置９１は切り出し状態に移行する。
【００７８】
切り出し状態では表示画面５１上の矩形領域をハイライトすると同時に、選択された矩形領域の映像が切り出し部３１で切り出され、映像符号器３２で符号化された上で記憶部３３に格納される。操作者が両手で図４に示す動作モード３（選択領域の移動）を提示すると、それに従って切り出し部３１で切り出される領域も動的に移動する。同様に、動作モード4(選択領域の拡大)、または動作モード5(選択領域の縮小)を提示すると、切り出される領域が広がる、または狭まる。
【００７９】
なお、動作モード３を提示しても切り出し領域を移動させたくない場合、切り出し領域が動的に変化するモードと固定されるモードを用意して、両者を切り替える動作モードを新たに追加してもよい。
【００８０】
切り出し部３１を設けることにより、映像中で操作者（ユーザ）が注目している対象のみを切り出す映像編集処理が実現できる。操作者が提示する矩形を移動させることで、切り出す領域も移動することができるため、注目している対象が表示画面内を移動していても切り出しが可能である。この編集作業においては、映像を止めたり巻き戻したりする作業が不要であるため、映像信号発生部４に格納される映像をオフラインで処理するのみでなく、放送波の映像をオンラインで処理することもできる。
【００８１】
上述したように、本実施形態の映像表示装置では、ジェスチャ認識部１、映像生成部２、映像復号部３、映像信号発生部４、表示部５、撮像部６、撮像部７、切り出し部３１、映像符号部３２、及び記憶部３３が設けられる。切り出し部３１はジェスチャ認識部１で認識された表示画面５１上の矩形領域の映像情報を切り出す。映像符号部３２は切り出された矩形領域の映像情報を符号化する。記憶部３３は符号化された矩形領域の映像情報を格納する。
【００８２】
このため、操作者が注目している矩形領域のみ切り出して映像編集処理を容易に実行することができる。
【００８３】
（第４の実施形態）
次に、本発明の第４の実施形態に係る映像表示装置について、図面を参照して説明する。図１１は表示画面レイアウトを説明するブロック図である。本実施形態では、操作者の両手で形成される提示形状に基づいて表示画面上にスナップショット表示領域が設けられる。
【００８４】
本実施形態では、映像表示装置は第１の実施形態の映像表示装置９０と同様な構成を有する。図１１に示すように、表示画面５１は映像生成部２が生成した映像情報が表示される映像表示領域４２と操作者（ユーザ）の両手の提示に基づいて表示されるスナップショット表示領域４３に分割される。映像表示領域４２は表示画面５１上部に表示される。スナップショット表示領域４３は表示画面下部に表示される。
【００８５】
ここでは、操作者が両手で図４に示す動作モード１（矩形領域の設定）、動作モード２（矩形領域の選択）を提示すると選択された矩形領域が表示画面５１にハイライト表示される。この状態で操作者が両手で図４に示す動作モード９（スナップショットの設定）を提示すると、選択された矩形領域に対応する表示画面において、その時刻に表示されている矩形領域の映像が静止画のスナップショットとして切り出され、スナップショット表示領域４３の中央部に表示される。操作者が例えばｎ回トリガ動作（動作モード９）を行うと、その都度矩形領域のスナップショットが生成され、スナップショット表示領域４３に追加される。
【００８６】
例えば、最初のスナップショットの設定動作では、画面表示領域４２の矩形領域４１ａの映像がスナップショット４４ａとしてスナップショット表示領域４３の中央部に表示される。同様に、ｎ回目のスナップショットの設定動作では、画面表示領域４２の中央の矩形領域４１ｎの映像がスナップショット４４ｎとしてスナップショット表示領域４３の中央に表示される。つまり、最新のスナップショットがスナップショット表示領域４３の中央部に常に表示されることになる。
【００８７】
上述したように、本実施形態の映像表示装置では、操作者の提示する両手の手形状によって矩形領域が選択され、選択された矩形領域の映像が表示画面５１上のスナップショット表示領域４３にスナップショットとして表示される。
【００８８】
このため、リモコン、キーボード、マウス、或いは画面上のアイコンなどの入力装置を用いることなく、表示画面５１上のスナップショット表示領域４３に時系列的に複数スナップショットを表示することができる。
【００８９】
本発明は、上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、種々、変更してもよい。
【００９０】
実施形態では、操作者の両手で提示される形状領域を矩形領域にしているが必ずしもこれに限定されるものではない。例えば三角形領域、円形領域、或いは表示画面５１に対して平行或いは垂直ではない任意の矩形領域であってもよい。
【００９１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９２】
本発明は、以下の付記に記載されているような構成が考えられる。
（付記１） 操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる映像表示装置であって、前記操作者の手を含む映像を撮像する第１のカメラと、前記第１のカメラと離間して配置され、前記操作者の手を含む映像を撮像する第２のカメラと、前記第１及び第２のカメラから撮像された前記操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、前記操作者の提示する両手の手形状から構成される第１の形状領域と前記表示画面を対比して前記第１の形状領域を表示画面座標における第２の形状領域として認識するジェスチャ認識部と、前記表示画面に表示される前記第２の形状領域の映像を強調処理する映像生成部と、強調処理された前記第２の形状領域の映像を前記表示画面に表示する表示部とを具備する映像表示装置。
【００９３】
（付記２） 映像情報を出力する映像信号発生部と、前記映像情報を復号し、復号された復号映像信号を前記映像情報部に出力する映像復号部とを更に具備する付記１に記載の映像表示装置。
【００９４】
（付記３） 操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる映像表示装置であって、前記操作者の手を含む映像を撮像する撮像部と、撮像された前記操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、前記操作者の提示する両手の手形状から構成される第１の形状領域と前記表示画面を対比して前記第１の形状領域を表示画面座標における第２の形状領域として認識するジェスチャ認識部と、前記表示画面に表示される前記第２の形状領域の映像を強調処理する映像生成部と、強調処理された前記第２の形状領域の映像を前記表示画面に表示する表示部と、前記ジェスチャ認識部で認識された前記第２の形状領域の映像を切り出し、切り出しの開始及び停止をトグルするトリガ動作を制御する切り出し部と、切り出された前記第２の形状領域の映像を符号化する映像符号部と、符号化された前記第２の形状領域の映像情報を格納する記憶部とを具備することを特徴とする映像表示装置。
【００９５】
（付記４） 前記操作者が提示する両手の手形状によって、前記表示画面にスナップショット表示領域が設けられ、前記スナップショット表示領域にスナップショットが表示される付記１乃至３のいずれかに記載の映像表示装置。
【符号の説明】
【００９６】
１ ジェスチャ認識部
２ 映像生成部
３ 映像複合部
４ 映像信号発生部
５ 表示部
６、６ａ、７ 撮像部
１１、１２、１２ａ、１２ｂ、４１ａ、４１ｎ 矩形領域
１３ 右手
１４ 左手
１５ａ、１５ｂ、１５ｃ 編集領域
２１ フレームバッファ
２２ 手領域検出部
２３ 指位置検出部
２４ 形状決定部
２５、３３ 記憶部
２６ 座標変換部
３１ 切り出し部
３２ 映像符号部
４２ 映像表示領域
４３ スナップショット表示領域
４４ａ、４４ｎ スナップショット
５１ 表示画面
９０、９０ａ、９１ 映像表示装置
Ｌ 間隔
ＳＧ１〜３、ＳＧ１ａ、ＳＧ１１、ＳＧ１２、ＳＧ２１〜２４ 信号
【特許請求の範囲】
【請求項１】
操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる映像表示装置であって、
前記操作者の手を含む映像を撮像する撮像部と、
撮像された前記操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、前記操作者の提示する両手の手形状から構成される第１の形状領域と前記表示画面を対比して前記第１の形状領域を表示画面座標における第２の形状領域として認識するジェスチャ認識部と、
前記表示画面に表示される前記第２の形状領域の映像を強調処理する映像生成部と、
強調処理された前記第２の形状領域の映像を前記表示画面に表示する表示部と、
を具備することを特徴とする映像表示装置。
【請求項２】
操作者が提示する両手の手形状或いは両手の動きによって表示画面の映像処理の指示が与えられる映像表示装置であって、
前記操作者の手を含む映像を撮像する撮像部と、
撮像された前記操作者の映像から認識対象として１種類以上の前記両手の手形状或いは前記両手の動きを認識し、前記両手の手形状では前記操作者の提示する両手の手形状から構成される第１の形状領域と前記表示画面を対比して前記第１の形状領域を表示画面座標における第２の形状領域として認識し、前記両手の動きでは前記第２の形状領域の編集操作として認識するジェスチャ認識部と、
前記両手の手形状では前記表示画面に表示される前記第２の形状領域の映像を強調処理し、前記両手の動きでは強調処理された前記第２の形状領域の映像を編集処理する映像生成部と、
強調処理された前記第２の形状領域の映像を前記表示画面に表示し、編集処理された前記第２の形状領域の映像を前記表示画面に表示する表示部と、
を具備することを特徴とする映像表示装置。
【請求項３】
前記編集処理は、前記第２の形状領域の映像を移動、拡大、縮小、或いは回転であることを特徴とする請求項２に記載の映像表示装置。
【請求項４】
前記第１の形状領域は、矩形形状であることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
【請求項５】
前記強調処理は、前記第２の形状領域の映像の輝度を明るくする、或いは前記第２の形状領域の外周領域に太線枠を追加することを特徴とする請求項１乃至４のいずれか１項に記載の映像表示装置。
【請求項６】
表示部、撮像部、ジェスチャ認識部、及び映像生成部を有する映像表示装置において、操作者が提示する両手の手形状によって前記表示部の表示画面の映像領域選択が行われる映像表示装置を用いた映像領域選択方法であって、
前記操作者の手を含む映像を撮像する工程と、
前記操作者の右手で形成される第１のL字型ジェスチャと前記第１のL字型ジェスチャに対して対角をなす左手で形成される第２のL字型ジェスチャから構成される撮像映像を第１の矩形領域と認識する工程と、
前記第１の矩形領域と前記表示画面を対比して第１の矩形領域を表示画面座標における第２の矩形領域として認識し、前記第２の矩形領域を前記表示画面に対して平行或いは垂直に配置する工程と、
前記表示画面に表示される第２の矩形領域の映像を強調表示する工程と、
を具備することを特徴とする映像表示装置を用いた映像領域選択方法。
【請求項７】
強調表示された前記第２の矩形領域を選択する工程と、
選択された前記第２の矩形領域の映像を編集処理する工程と、
編集処理された前記第２の矩形領域の映像を前記表示画面に表示する工程と、
を更に具備することを特徴とする映像表示装置を用いた映像領域選択方法。
【請求項１】
操作者が提示する両手の手形状によって表示画面の映像処理の指示が与えられる映像表示装置であって、
前記操作者の手を含む映像を撮像する撮像部と、
撮像された前記操作者の映像から認識対象として１種類以上の前記両手の手形状を認識し、前記操作者の提示する両手の手形状から構成される第１の形状領域と前記表示画面を対比して前記第１の形状領域を表示画面座標における第２の形状領域として認識するジェスチャ認識部と、
前記表示画面に表示される前記第２の形状領域の映像を強調処理する映像生成部と、
強調処理された前記第２の形状領域の映像を前記表示画面に表示する表示部と、
を具備することを特徴とする映像表示装置。
【請求項２】
操作者が提示する両手の手形状或いは両手の動きによって表示画面の映像処理の指示が与えられる映像表示装置であって、
前記操作者の手を含む映像を撮像する撮像部と、
撮像された前記操作者の映像から認識対象として１種類以上の前記両手の手形状或いは前記両手の動きを認識し、前記両手の手形状では前記操作者の提示する両手の手形状から構成される第１の形状領域と前記表示画面を対比して前記第１の形状領域を表示画面座標における第２の形状領域として認識し、前記両手の動きでは前記第２の形状領域の編集操作として認識するジェスチャ認識部と、
前記両手の手形状では前記表示画面に表示される前記第２の形状領域の映像を強調処理し、前記両手の動きでは強調処理された前記第２の形状領域の映像を編集処理する映像生成部と、
強調処理された前記第２の形状領域の映像を前記表示画面に表示し、編集処理された前記第２の形状領域の映像を前記表示画面に表示する表示部と、
を具備することを特徴とする映像表示装置。
【請求項３】
前記編集処理は、前記第２の形状領域の映像を移動、拡大、縮小、或いは回転であることを特徴とする請求項２に記載の映像表示装置。
【請求項４】
前記第１の形状領域は、矩形形状であることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
【請求項５】
前記強調処理は、前記第２の形状領域の映像の輝度を明るくする、或いは前記第２の形状領域の外周領域に太線枠を追加することを特徴とする請求項１乃至４のいずれか１項に記載の映像表示装置。
【請求項６】
表示部、撮像部、ジェスチャ認識部、及び映像生成部を有する映像表示装置において、操作者が提示する両手の手形状によって前記表示部の表示画面の映像領域選択が行われる映像表示装置を用いた映像領域選択方法であって、
前記操作者の手を含む映像を撮像する工程と、
前記操作者の右手で形成される第１のL字型ジェスチャと前記第１のL字型ジェスチャに対して対角をなす左手で形成される第２のL字型ジェスチャから構成される撮像映像を第１の矩形領域と認識する工程と、
前記第１の矩形領域と前記表示画面を対比して第１の矩形領域を表示画面座標における第２の矩形領域として認識し、前記第２の矩形領域を前記表示画面に対して平行或いは垂直に配置する工程と、
前記表示画面に表示される第２の矩形領域の映像を強調表示する工程と、
を具備することを特徴とする映像表示装置を用いた映像領域選択方法。
【請求項７】
強調表示された前記第２の矩形領域を選択する工程と、
選択された前記第２の矩形領域の映像を編集処理する工程と、
編集処理された前記第２の矩形領域の映像を前記表示画面に表示する工程と、
を更に具備することを特徴とする映像表示装置を用いた映像領域選択方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２４３００７（Ｐ２０１２−２４３００７Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１１２４９（Ｐ２０１１−１１１２４９）
【出願日】平成２３年５月１８日（２０１１．５．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１８日（２０１１．５．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]