コマンド発行装置、方法及びプログラム
【課題】ユーザ操作を片手で完結する。
【解決手段】実施形態のコマンド発行装置は、取得部と、投影領域認識部と、投影部と、操作領域認識部と、選択判定部と、発行部と、を備える。取得部は、操作者の手を撮像した動画像を取得する。投影領域認識部は、前記動画像から、投影に用いられる投影指の投影領域を認識する。投影部は、前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する。操作領域認識部は、前記動画像から、操作に用いられる操作指の操作領域を認識する。選択判定部は、前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する。発行部は、前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する。
【解決手段】実施形態のコマンド発行装置は、取得部と、投影領域認識部と、投影部と、操作領域認識部と、選択判定部と、発行部と、を備える。取得部は、操作者の手を撮像した動画像を取得する。投影領域認識部は、前記動画像から、投影に用いられる投影指の投影領域を認識する。投影部は、前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する。操作領域認識部は、前記動画像から、操作に用いられる操作指の操作領域を認識する。選択判定部は、前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する。発行部は、前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、コマンド発行装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、映像投影技術、撮像技術、及び物体認識技術などを組み合わせてユーザ操作を実現するユーザインタフェースが知られている。このようなユーザインタフェースとして、例えば、操作者の一方の手の掌にＧＵＩ（Graphical User Interface）の映像を投影するとともに当該掌の動画像を撮像し、撮像された動画像から、掌に投影されたＧＵＩを操作者が他方の手の指でタッチしていることを認識することでユーザ操作を実現するものがある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】山本豪志朗，佐藤宏介，「ＰＡＬＭｂｉｔ：掌への光投影を利用した身体インタフェース」，映像情報メディア学会誌，Ｖｏｌ．６１，Ｎｏ．６，ｐｐ．７９７−８０４，２００７．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような技術では、操作者の両手を用いた操作が前提となっている。
【課題を解決するための手段】
【０００５】
実施形態のコマンド発行装置は、取得部と、投影領域認識部と、投影部と、操作領域認識部と、選択判定部と、発行部と、を備える。取得部は、操作者の手を撮像した動画像を取得する。投影領域認識部は、前記動画像から、投影に用いられる投影指の投影領域を認識する。投影部は、前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する。操作領域認識部は、前記動画像から、操作に用いられる操作指の操作領域を認識する。選択判定部は、前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する。発行部は、前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する。
【図面の簡単な説明】
【０００６】
【図１】第１実施形態のコマンド発行装置の利用形態例を示す外観図。
【図２】第１実施形態のコマンド発行装置例を示す構成図。
【図３】第１実施形態の取得部により取得された動画像の例を示す図。
【図４】第１実施形態の動画像から投影指を抽出した画像例を示す図。
【図５】第１実施形態の動画像から操作指を抽出した画像例を示す図。
【図６Ａ】第１実施形態のＧＵＩの情報例を示す図。
【図６Ｂ】第１実施形態のＧＵＩの情報例を示す図。
【図７Ａ】第１実施形態のＧＵＩの情報例を示す図。
【図７Ｂ】第１実施形態のＧＵＩの情報例を示す図。
【図７Ｃ】第１実施形態のＧＵＩの情報例を示す図。
【図８Ａ】第１実施形態のＧＵＩの情報例を示す図。
【図８Ｂ】第１実施形態のＧＵＩの情報例を示す図。
【図９】第１実施形態の投影部の投影手法例を示す説明図。
【図１０】第１実施形態の操作領域の認識手法例の説明図。
【図１１】第１実施形態の処理例を示すフローチャート。
【図１２】第１実施形態の取得部により取得された動画像の例を示す図。
【図１３】第１実施形態の投影指の事前特徴量の抽出手法例を示す説明図。
【図１４】第１実施形態の投影領域認識処理例を示すフローチャート。
【図１５】第１実施形態の投影領域認識手法例の説明図。
【図１６】第１実施形態の投影領域認識手法例の説明図。
【図１７】第１実施形態の投影領域認識手法例の説明図。
【図１８】第１実施形態の投影領域認識手法例の説明図。
【図１９】第１実施形態の投影処理例を示すフローチャート。
【図２０】第１実施形態の選択判定処理例を示すフローチャート。
【図２１】変形例１のコマンド発行装置例を示す構成図。
【図２２】変形例２のコマンド発行装置例を示す構成図。
【図２３】変形例２の分割部の分割手法例を示す説明図。
【図２４】第２実施形態のコマンド発行装置例を示す構成図。
【図２５】第２実施形態の掌領域認識部の掌領域認識手法例を示す説明図。
【図２６Ａ】第２実施形態のＧＵＩの情報例を示す図。
【図２６Ｂ】第２実施形態のＧＵＩの情報例を示す図。
【図２６Ｃ】第２実施形態のＧＵＩの情報例を示す図。
【図２６Ｄ】第２実施形態のＧＵＩの情報例を示す図。
【図２７Ａ】第２実施形態のＧＵＩの切替例を示す図。
【図２７Ｂ】第２実施形態のＧＵＩの切替例を示す図。
【図２８】変形例５のコマンド発行装置例を示す構成図。
【図２９Ａ】変形例５のＧＵＩの切替例を示す図。
【図２９Ｂ】変形例５のＧＵＩの切替例を示す図。
【図３０】変形例６のコマンド発行装置例を示す構成図。
【図３１Ａ】変形例６のＧＵＩの切替例を示す図。
【図３１Ｂ】変形例６のＧＵＩの切替例を示す図。
【図３２】変形例７のコマンド発行装置例を示す構成図。
【図３３Ａ】変形例７のＧＵＩの切替例を示す図。
【図３３Ｂ】変形例７のＧＵＩの切替例を示す図。
【図３４】第３実施形態のコマンド発行装置例を示す構成図。
【図３５】第３実施形態のフィードバック映像の投影例を示す図。
【図３６】第３実施形態のフィードバック映像の投影例を示す図。
【図３７】第３実施形態のフィードバック映像の投影例を示す図。
【図３８】第３実施形態のフィードバック映像の投影手法の説明図。
【図３９】第４実施形態のコマンド発行装置例を示す構成図。
【図４０】第５実施形態のコマンド発行装置の利用形態例を示す外観図。
【図４１】第５実施形態の取得部により取得された動画像と提示手法の例を示す図。
【図４２】第５実施形態のコマンド発行装置例を示す構成図。
【図４３】第５実施形態の提示手法の説明図。
【発明を実施するための形態】
【０００７】
（第１実施形態）
図１は、第１実施形態のコマンド発行装置１の利用形態の一例を示す外観図である。本実施形態では、図１に示すように、コマンド発行装置１が取り付けられたストラップなどを操作者２１が首にかけることにより、コマンド発行装置１を操作者２１の胸の前に位置させるペンダント型での利用形態を想定している。コマンド発行装置１が備える取得部１０１は、操作者２１の手２２の動画像を撮像可能に配置されているととともに、コマンド発行装置１が備える投影部１０８は、手２２にＧＵＩ（Graphical User Interface）の映像を投影可能に配置されている。そして、取得部１０１により手２２の動画像が撮像されるとともに、投影部１０８により手２２にＧＵＩの映像が投影される。
【０００８】
ここで、本実施形態では、手２２の親指２３が操作に用いられる操作指であり、手２２の人差指２４−１、中指２４−２、薬指２４−３、及び小指２４−４がＧＵＩの映像の投影に用いられる投影指であるものとするが、これに限定されるものではない。なお、図１に示す例では、人差指２４−１にＧＵＩの映像が投影されている。そして、操作者２１が、人差指２４−１に投影されているＧＵＩの映像を視認し、親指２３を人差指２４−１のＧＵＩの映像上に重ねることで、コマンド発行装置１は、ＧＵＩに応じたコマンドを発行する。これにより、ＧＵＩが示すユーザ操作が実行される。なお、以下では、人差指２４−１、中指２４−２、薬指２４−３、及び小指２４−４を各々区別する必要がない場合は、親指以外の指２４と称する場合がある。
【０００９】
図２は、第１実施形態のコマンド発行装置１の一例を示す構成図である。図２に示すように、コマンド発行装置１は、取得部１０１と、抽出部１０２と、投影領域認識部１０３と、ＧＵＩ情報記憶部１０４と、管理部１０５と、位置対応テーブル記憶部１０６と、投影映像生成部１０７と、投影部１０８と、操作領域認識部１０９と、選択判定部１１０と、通信部１１１とを、備える。
【００１０】
取得部１０１は、操作者の手を撮像した動画像を取得する。取得部１０１は、動画像を撮像できるデバイスであればよく、本実施形態ではビデオカメラにより実現されるものとするが、これに限定されるものではない。本実施形態では、取得部１０１は、毎秒６０フレームの動画像をカラー撮影でき、手２２を十分撮影可能な撮影画角を有し、焦点距離を自動的に合わせられる機構を有し、レンズが原因で撮影像に発生したひずみを補正するひずみ補正機能を有するものとする。
【００１１】
ここで、本実施形態では、操作者２１の親指２３の先端部分、及び操作者２１の親指以外の指２４の全体部分（根本から先端までの部分）に、カラーマーカが装着されているものとする。カラーマーカは、単色であり、手の表面と区別可能な色であり、鏡面反射をしない拡散反射素材でできているものとする。また、各指のカラーマーカの色は、それぞれ異なるものとする。
【００１２】
図３は、取得部１０１により取得された動画像の一例を示す図である。図３は、親指２３の先端部分にカラーマーカ３０が装着され、人差指２４−１、中指２４−２、薬指２４−３、小指２４−４に、それぞれカラーマーカ３１−１、カラーマーカ３１−２、カラーマーカ３１−３、カラーマーカ３１−４が装着された操作者２１の手２２を、撮像した動画像となっている。
【００１３】
抽出部１０２は、取得部１０１により取得された動画像に画像処理を施し、投影指と操作指とを抽出する。具体的には、抽出部１０２は、取得部１０１により取得された動画像にカラーフィルタを施し、特定の色相の範囲内の色の画素のみを非ゼロとし、それ以外の色の画素を０とすることで、投影指と操作指とを抽出する。なお、操作者２１の各指に装着されたカラーマーカの色は既知であり、抽出部１０２は、取得部１０１により取得された動画像におけるカラーマーカの輝度の分布を予め保持しているものとする。
【００１４】
図４は、取得部１０１により取得された動画像から投影指である親指以外の指２４（カラーマーカ３１−１〜３１−４）を抽出した画像（ビットマップ画像）の一例を示す図である。図５は、取得部１０１により取得された動画像から操作指である親指２３（カラーマーカ３０）を抽出した画像（ビットマップ画像）の一例を示す図である。
【００１５】
このように本実施形態では、操作者２１の各指にカラーマーカを装着することで、操作指と投影指とを抽出する手法について説明しているが、操作指と投影指との抽出手法は、これに限定されるものではない。例えば、レーザー測距方式を用いるレンジファインダーなどによりコマンド発行装置１から操作者２１の手２２までの距離分布を測定し、指の長さや太さなど既知の手の形状情報の当てはめを行うことで、操作指と投影指とを抽出するようにしてもよい。コマンド発行装置１から操作者２１の手２２までの距離分布を測定する場合には、複数のカメラを用いたステレオマッチングなどの手法を利用できる。また例えば、Ｈａａｒ−Ｌｉｋｅ特徴にもとづく画像認識の検出器を用いて指の領域を検出し、操作指と投影指とを抽出するようにすれば、操作者２１の各指にカラーマーカを装着する必要はない。
【００１６】
投影領域認識部１０３は、取得部１０１により取得された動画像から、投影指の投影領域を認識する。具体的には、投影領域認識部１０３は、抽出部１０２により抽出された投影指の画像から、投影指の付け根から指先までの形状特徴量を抽出し、抽出した形状特徴量で示される領域を投影領域として認識する。なお、投影領域の認識手法の詳細については、後述する。
【００１７】
ＧＵＩ情報記憶部１０４は、投影指の投影領域に投影されるＧＵＩの情報を記憶する。 図６Ａ及び図６Ｂは、コマンド発行装置１が家庭内の機器を制御するコマンドを発行するユーザインタフェースである場合のＧＵＩの情報の一例を示す図である。図７Ａ〜図７Ｃは、コマンド発行装置１が音楽プレーヤーを制御するコマンドを発行するユーザインタフェースである場合のＧＵＩの情報の一例を示す図である。
【００１８】
ＧＵＩの情報は、指ＩＤと、表示形式と、表示内容と、表示属性と、コマンドＩＤとを、対応付けたテーブルとなっている。“指ＩＤ”は、投影指を識別するインデックスであり、例えば、指ＩＤが１の場合は人差指２４−１を示し、指ＩＤが２の場合は中指２４−２を示し、指ＩＤが３の場合は薬指２４−３を示し、指ＩＤが４の場合は小指２４−４を示す。但し、図６Ｂ及び図７Ｃに示す例では、指ＩＤが２〜４の場合の情報の記載を省略している。“表示形式”は、指ＩＤが示す投影指へのＧＵＩの表示形式を示し、図６Ａ及び図６Ｂに示す例ではテキストとなっており、図７Ａ及び図７Ｃに示す例ではビットマップ画像となっている。“表示内容”は、指ＩＤが示す投影指へのＧＵＩの表示内容を示し、図６Ａ及び図６Ｂに示す例では表示されるテキストが設定されており、図７Ａ及び図７Ｃに示す例では表示される画像ファイルが設定されている。なお、表示される画像ファイルは、図７Ｂに示すとおりである。“表示属性”は、指ＩＤが示す投影指へのＧＵＩの表示色を示す。但し、図７Ａ及び図７Ｃに示す例では、ＧＵＩが画像であるため、表示属性は、設定されていない。“コマンドＩＤ”は、指ＩＤが示す投影指へ投影されたＧＵＩが選択された場合に発行されるコマンドを示す。
【００１９】
本実施形態では、ＧＵＩの情報が、投影指とＧＵＩ要素とを一意に結びつけている例について説明したが、これに限定されるものではない。例えば、コマンド発行装置１が投影する内容や、コマンド発行装置１の制御対象機器によっては、ＧＵＩ要素の数が投影指の数よりも少ない場合がある。また、ＧＵＩ要素の数が投影指の数と同じであったとしても、指同士の隠蔽により、一部の投影指しか認識されない場合もある。このため、ＧＵＩの情報は、投影指とＧＵＩ要素とを一意に結びつけないようにしてもよい。
【００２０】
図８Ａ及び図８Ｂは、投影指とＧＵＩ要素とを一意に結びつけないＧＵＩの情報の一例を示す図である。図８Ａ及び図８Ｂに示すＧＵＩの情報では、指ＩＤに代えて優先順位が設定されている。ここでは、優先順位の数値が小さいほど優先順位が高いものとする。
【００２１】
管理部１０５は、投影領域に投影されるＧＵＩの管理や、ＧＵＩが選択されることにより発行するコマンドを管理する。管理部１０５は、発行部１０５Ａを備える。なお、発行部１０５Ａの詳細については、後述する。
【００２２】
管理部１０５は、例えば、図６Ａに示すＧＵＩの情報である場合、人差指２４−１の投影領域に「照明“ＯＮ”」というテキストを割り当てるとともに、テキストの表示色を水色、背景色を白色に設定する。なお、「照明“ＯＮ”」は、照明をＯＮすることを示している。
【００２３】
また管理部１０５は、例えば、図６Ｂに示すＧＵＩの情報である場合、人差指２４−１の投影領域に「照明“ＯＦＦ”」というテキストを割り当てるとともに、テキストの表示色を黄色、背景色を白色に設定する。なお、「照明“ＯＦＦ”」は、照明をＯＦＦすることを示している。
【００２４】
また管理部１０５は、例えば、図７Ａに示すＧＵＩの情報である場合、中指２４−２の投影領域に「Ｐｌａｙ．ｊｐｇ」が示すアイコン画像を割り当てる。なお、「Ｐｌａｙ．ｊｐｇ」は、音声を再生することを示している。
【００２５】
また管理部１０５は、例えば、図７Ｃに示すＧＵＩの情報である場合、人差指２４−２の投影領域に「Ｐａｕｓｅ．ｊｐｇ」が示すアイコン画像を割り当てる。なお、「Ｐａｕｓｅ．ｊｐｇ」は、音声を一時停止することを示している。
【００２６】
また管理部１０５は、例えば、図８Ａや図８Ｂに示すＧＵＩの情報である場合、投影指についても別途優先順位を定める。例えば本実施形態のように、操作指を親指２３、投影指を親指以外の指２４としている場合には、親指以外の指２４が親指２３に近いほど、ＧＵＩを選択する際の親指２３の曲げ量が小さく、選択操作を行いやすいという身体的特性がある。この場合、管理部１０５は、人差指２４−１、中指２４−２、薬指２４−３、小指２４−４の順番で優先順位を高くする。具体的には、管理部１０５は、事前に操作指のカラーマーカ３０の中心位置と投影指それぞれの根元位置との距離を算出し、算出した距離が短いほど優先順位を高くする。なお、投影指それぞれの根元位置は、投影領域認識部１０３により算出され、操作指のカラーマーカ３０の中心位置は、操作領域認識部１０９により算出される。そして、管理部１０５は、優先順位の高い投影指から順番に図８Ａや図８Ｂに示す未割り当てのＧＵＩのうち最も優先順位の高いＧＵＩを割り当てていく。このようにすることで、選択操作が行いやすい投影指に、優先順位が高いＧＵＩを割り当てることができる。
【００２７】
位置対応テーブル記憶部１０６は、取得部１０１により取得される動画像の撮像面上の座標位置と投影部１０８の投影面上の座標位置とを対応付ける位置対応テーブルを記憶する。取得部１０１の撮像画角及び光軸と投影部１０８の投影画角及び光軸とが一致していない場合、取得部１０１の撮像範囲と投影部１０８の投影範囲とは一致しない。このため、位置対応テーブル記憶部１０６は、上記のように取得部１０１の撮像面と投影部１０８の投影面との位置の対応関係を保持する。
【００２８】
本実施形態では、投影部１０８が投影面の２次元座標で表現される予め定めた位置にパターンを投影するととともに取得部１０１が当該パターンを撮像して、投影面上の位置と撮像面上の位置とを対応付けることにより、位置対応テーブルが得られる。
【００２９】
本実施形態では、位置対応テーブルは、投影映像生成部１０７による投影映像の形状変換処理に用いられる。なお、投影映像生成部１０７が投影映像の形状変換処理に透視投影変換を用いる場合には、位置対応テーブルは、最低４つの対応関係を用意すればよく、各点についての撮像面上の位置と投影面上の位置とを保持する。これらの処理の具体的内容は、コンピュータビジョンの分野で公知の手法を用いることができ、例えば一般に入手可能なソフトウェアライブラリＯｐｅｎＣＶに含まれるｃｖＧｅｔＰｅｒｓｐｅｃｔｉｖｅＴｒａｎｓｆｏｒｍやｃｖＷａｒｐＰｅｒｓｐｅｃｔｉｖｅという命令を用いて行うことができるため、詳細な説明は省略する。
【００３０】
投影映像生成部１０７は、管理部１０５のＧＵＩの情報の設定に従って、投影領域認識部１０３により認識された投影領域に投影される投影映像を生成する。具体的には、投影映像生成部１０７は、投影指毎に、管理部１０５のＧＵＩの情報の設定に従って映像を生成し、生成した映像を位置対応テーブルに従って変換することにより、投影領域認識部１０３により認識された投影領域に一致する投影映像を生成する。これにより、投影部１０８は、投影領域に一致する投影映像を投影することができる。なお、投影映像生成部１０７は、グラフィックス処理プロセッサにより実現できる。
【００３１】
投影部１０８は、投影領域認識部１０３により認識された投影領域にＧＵＩの映像を投影する。具体的には、投影部１０８は、図９に示すように、投影映像生成部１０７により生成されたＧＵＩの投影映像５１−１〜５１−４を、それぞれ、投影領域認識部１０３により認識された投影指の投影領域４１−１〜４１−４に投影する。なお、人差指２４−１の投影領域４１−１は、矩形Ｆ１０Ｆ１１Ｆ１２Ｆ１３となっている。本実施形態では、投影部１０８は、プロジェクタにより実現されるものとするが、これに限定されるものではない。なお、操作者２１が手２２上の映像を視認するためには、プロジェクタの焦点が手２２への投影に合わせられている必要があるが、これは常に焦点が合うレーザ投影方式のプロジェクタを用いるか、プロジェクタに備えられている自動的に焦点距離を合わせる機構を利用すればよい。また、投影映像は、投影輝度が十分明るく、カラーマーカや掌表面の色に隠れない色である必要があるが、これらは事前に合わせておけばよい。また、プロジェクタによる投影面のゆがみ補正などは予め行われているものとする。なお投影部１０８は、プロジェクタの光源を常に投光するのではなく、投影領域認識部１０３により投影領域が認識された場合に投光を開始し、投影領域認識部１０３により投影領域が認識されなくなった場合に投光を停止するようにしてもよい。
【００３２】
操作領域認識部１０９は、取得部１０１により取得された動画像から、操作指の操作領域を認識する。具体的には、操作領域認識部１０９は、抽出部１０２により抽出された操作指の画像から、操作指の先端の形状特徴量を抽出し、抽出した形状特徴量で示される領域を操作領域として認識する。
【００３３】
図１０は、操作領域の認識手法の一例の説明図である。操作領域認識部１０９は、抽出部１０２により抽出されたカラーマーカ３０の領域を円４０に近似し、円４０の中心位置と半径を算出することで操作領域を認識する。具体的には、操作領域認識部１０９は、カラーマーカ３０の領域の重心を求め、円４０の中心位置とし、カラーマーカ３０の領域の面積である画素数をπで割り平方根を求めることで円４０の半径とする。
【００３４】
なお、操作領域認識部１０９が認識する操作領域の指標としては、このように親指２３の先端領域を円で近似する方法のほか、中心位置、長径方向と長さ、及び長径と垂直に交わる矩形の長さからなる楕円形状で近似する方法、長方形で近似する方法、又は複数の連結した線分の輪郭内の領域として近似する方法などを用いてもよい。
【００３５】
選択判定部１１０は、投影領域認識部１０３により認識された投影領域と操作領域認識部１０９により認識された操作領域との重なり度合いを評価して、投影領域に投影されているＧＵＩを選択したか否かを判定する。
【００３６】
ここで、発行部１０５Ａについて説明する。発行部１０５Ａは、選択判定部１１０によりＧＵＩを選択したと判定された場合、当該ＧＵＩに応じたコマンドを発行する。
【００３７】
例えば、図６Ａに示すＧＵＩの情報であり、人差指２４−１の投影領域に「照明“ＯＮ”」というＧＵＩの映像が投影され、人差指２４−１の投影領域に投影されているＧＵＩが選択されたと判定されたとする。この場合、発行部１０５Ａは、コマンド「ＬＩＧＨＴ＿ＯＮ」を発行する。
【００３８】
また例えば、図６Ｂに示すＧＵＩの情報であり、人差指２４−１の投影領域に「照明“ＯＦＦ”」というＧＵＩの映像が投影され、人差指２４−１の投影領域に投影されているＧＵＩが選択されたと判定されたとする。この場合、発行部１０５Ａは、コマンド「ＬＩＧＨＴ＿ＯＦＦ」を発行する。
【００３９】
通信部１１１は、発行部１０５Ａにより発行されたコマンドを外部の制御対象機器に送信する。また、通信部１１１は、コマンドを送信した外部の制御対象機器から、コマンド送信の結果としてＧＵＩの情報の変更通知を受信すると、管理部１０５へ通知する。これにより、管理部１０５は、ＧＵＩ情報記憶部１０４に記憶されているＧＵＩの情報のうち使用するＧＵＩの情報を切り替える。例えば、管理部１０５は、図６Ａに示すＧＵＩの情報を使用しており、発行部１０５Ａがコマンド「ＬＩＧＨＴ＿ＯＮ」を発行した場合には、外部の制御対象機器からの変更通知を受け、図６Ｂに示すＧＵＩの情報に切り替える。
【００４０】
図１１は、第１実施形態のコマンド発行装置１で実行される処理の一例を示すフローチャートである。なお、図１１に示す処理フローは、例えば、毎秒３０回又は６０回実行される。このため、操作者２１によるＧＵＩの選択操作の判定は、即時実行されるとともに、操作者２１の投影指が動いたとしても投影指に投影されている投影映像は投影指に即時追従する。
【００４１】
まず、取得部１０１は、操作者の手を撮像した動画像を取得する取得処理を行う（ステップＳ１０１）。
【００４２】
続いて、抽出部１０２は、取得部１０１により取得された動画像に画像処理を施し、投影指と操作指とを抽出する抽出処理を行う（ステップＳ１０２）。
【００４３】
続いて、投影領域認識部１０３は、抽出部１０２により抽出された投影指の画像から、投影指の投影領域を認識する投影領域認識処理を行う（ステップＳ１０３）。
【００４４】
ここで、投影領域認識処理の詳細について説明する。
【００４５】
まず本実施形態では、投影指の投影領域に投影されているＧＵＩの映像上に操作指の操作領域を重ねることによりＧＵＩの選択を行うため、図１２に示すように、抽出部１０２により抽出された投影指の画像では、投影指に装着されているカラーマーカが操作指により隠蔽される場合がある。図１２に示す例では、人差指２４−１に装着されているカラーマーカ３１−１が親指２３により隠蔽されている。このように、投影指に装着されているカラーマーカが隠蔽されている場合には、投影領域認識部１０３は、隠蔽されているカラーマーカの領域を推定する必要がある。このため、投影領域認識部１０３は、事前処理として、投影指に装着されているカラーマーカが隠蔽されていない状態での投影指の特徴量である事前特徴量を抽出しておく必要がある。
【００４６】
図１３は、第１実施形態の投影指の事前特徴量の抽出手法の一例を示す説明図である。投影領域認識部１０３は、図１３に示すように、抽出部１０２により抽出された投影指に装着されているカラーマーカが隠蔽されていない画像に対して、画像の左上の点を原点とし、水平方向をｘ軸、鉛直方向をｙ軸とする座標系を設定する。
【００４７】
ここで、投影領域認識処理の詳細について説明する。
投影領域認識部１０３は、投影指の事前特徴量を、当該投影指に装着されたカラーマーカの先端側の点と根本側の点の位置とにより特定する。ここで、投影領域認識部１０３は、投影指のＩＤをｎ（ｎ＝１〜４）とし、本実施形態では、人差指２４−１のＩＤをｎ＝１、中指２４−２のＩＤをｎ＝２、薬指２４−３のＩＤをｎ＝３、小指２４−４のＩＤをｎ＝４とする。また、投影領域認識部１０３は、投影指の根本側の点をＰｎ、投影指の先端側の点をＰ’ｎとする。具体的には、投影領域認識部１０３は、投影指のＩＤ毎に、ｘ座標の値が一番大きい画素の座標をＰ’ｎ、ｘ座要の値が一番小さい画素の座標をＰｎとする。
【００４８】
そして、投影領域認識部１０３は、Ｐ１〜Ｐ４の重心点Ｇを求め、方向ベクトルＰ１Ｐ’１〜Ｐ４Ｐ’４の平均の方向ベクトルＶを求める。更に、投影領域認識部１０３は、投影指のＩＤ毎に、方向ベクトルＰｎＰ’ｎと垂直に交わる直線方向で当該線分ＰｎＰ’ｎと最も離れる画素を探索し、当該画素と線分ＰｎＰ’ｎとの距離を、線分ＰｎＰ’ｎから反時計回りの方向については特徴量ｅｎ、線分ＰｎＰ’ｎから時計回りの方向については特徴量ｆｎに格納する。
【００４９】
図１４は、第１実施形態の投影領域認識処理の一例を示すフローチャートである。
【００５０】
まず、投影領域認識部１０３は、投影指の特徴点Ｒｎ、Ｒ’ｎを抽出する（ステップＳ２０１）。具体的には、投影領域認識部１０３は、図１５に示すように、投影指に装着されたカラーマーカの領域３２−ｎの根本側の点Ｒｎと先端側の点Ｒ’ｎを抽出する。この処理の内容は、事前特徴量の抽出の内容と同様であるため、詳細な説明は省略する。
【００５１】
続いて、投影領域認識部１０３は、事前特徴点Ｐｎ、Ｐ’ｎに基づいて、隠蔽を考慮した根本側の推定点Ｒ’’ｎを算出する（ステップＳ２０２）。具体的には、投影領域認識部１０３は、図１５に示すように、Ｒ’ｎを基点としてＲ’ｎからＲｎ方向に線分ＰｎＰ’ｎの長さだけ伸ばした点をＲ’’ｎとする。
【００５２】
続いて、投影領域認識部１０３は、根本側の推定点Ｒ’’ｎの補正点Ｓｎを算出する（ステップＳ２０３）。具体的には、まず、投影領域認識部１０３は、図１６に示すように、Ｒ’’１〜Ｒ’’４の重心点Ｇ’’を求める。次に、投影領域認識部１０３は、方向ベクトルＲ’’１Ｒ’１〜Ｒ’’４Ｒ’４の平均の方向ベクトルＶ’’を求める。次に、投影領域認識部１０３は、方向ベクトルＧ’’Ｒｎそれぞれと方向ベクトルＶ’’との内積ｄｎを求め、ｄｎが最も小さいＩＤをｍとする。ここでは、ｍ＝４となる。また、このｍについて、Ｓｍ＝Ｒ’’ｍとする。次に、投影領域認識部１０３は、ｍ以外の投影指については、直線ＰｍＰｎ（ｎ≠ｍ）それぞれと、当該直線ＰｍＰｎとＶの交わる角度ａｎ（ｎ≠ｍ）を求める。そして、投影領域認識部１０３は、図１７に示すように、Ｓｍをとおり、方向ベクトルＶ’’と角度ａｎで交わる直線Ｌｎ（ｎ≠ｍ）、線分Ｒ’’ｎＲｎ（ｎ≠ｍ）との交点Ｓｎ（ｎ＝ｍ以外のｎ）を求める。図１７では、ｎ＝３の場合を示している。なお投影領域認識部１０３は、あるｎについて、線分Ｒ’’ｎＲｎがＬｎと交わらない場合には、Ｓｎ=Ｒ’’ｎとする。
【００５３】
続いて、投影領域認識部１０３は、図１８に示すように、投影指のＩＤ毎に、線分ＳｎＲ’ｎの端点Ｓｎ及びＲ’ｎから直交する方向に、あらかじめ算出した指の太さを示す特徴量ｅｎ、ｆｎの分だけ離れた点Ｆｎｉ（ｉ＝０〜３）を求める。そして、投影領域認識部１０３は、投影指のＩＤ毎に、矩形Ｆｎ０Ｆｎ１Ｆｎ２Ｆｎ３を投影領域として認識する（ステップＳ２０４）。
【００５４】
なお、投影領域の指標としては、このように投影領域を矩形で近似する方法のほか、中心位置、長径方向と長さ、及び長径と垂直に交わる矩形の長さからなる楕円形状で近似する方法、複数の連結した線分の輪郭内の領域として近似する方法などを用いることもできる。
【００５５】
図１１に戻り、続いて、投影映像生成部１０７は、投影指毎に、管理部１０５のＧＵＩの情報の設定に従って映像を生成し、生成した映像を位置対応テーブルに従って変換することにより、投影領域認識部１０３により認識された投影領域に一致する投影映像を生成する投影映像生成処理を行う（ステップＳ１０４）。
【００５６】
続いて、投影部１０８は、投影映像生成部１０７により生成されたＧＵＩの投影映像を、投影領域認識部１０３により認識された投影領域に投影する投影処理を行う（ステップＳ１０５）。
【００５７】
ここで、投影処理の詳細について説明する。
【００５８】
図１９は、第１実施形態の投影処理の一例を示すフローチャートである。
【００５９】
まず、投影部１０８は、自身によって投影される投影映像を格納する領域をフレームメモリ上に確保し初期化する（ステップＳ３０１）。例えば、投影部１０８は、プロジェクタにおいて、黒色を表示する領域は映像が投影されないため、全体を黒色で初期化する。
【００６０】
続いて、投影映像生成部１０７は、投影領域認識部１０３から入力された各投影指の投影領域の情報を得、ＩＤ＝ｎの投影指の投影領域である矩形Ｆｎ０Ｆｎ１Ｆｎ２Ｆｎ３の各頂点の座標を用いたポリゴンを定義し、ポリゴンの各頂点にテクスチャ座標（ｕ，ｖ)を割り当てる（図９参照、ステップＳ３０２）。
【００６１】
続いて、投影映像生成部１０７は、位置対応テーブル記憶部１０６の情報を用いて、透視投影変換処理を行い、ポリゴンの各頂点Ｆｎ０Ｆｎ１Ｆｎ２Ｆｎ３を、Ｆ’ｎ０Ｆｎ’１Ｆ’ｎ２Ｆ’ｎ３に変換する（ステップＳ３０３）。この処理はグラフィックス処理プロセッサの頂点シェーダ機能により実現できる。
【００６２】
続いて、投影映像生成部１０７は、各投影指の投影領域に対するテクスチャ画像（ＧＵＩの画像）を生成する（ステップＳ３０４）。例えば、投影指の先端に比べ、投影指の根本のほうが操作指によって隠れやすいという身体的特徴を利用して、投影指の先端側に文字列や画像を寄せて描画してもよい。例えば、左手を操作に利用する場合には右側に寄せればよい。
【００６３】
続いて、投影映像生成部１０７は、テクスチャ画像をポリゴン領域にマッピングする（ステップＳ３０５）。この処理は、グラフィックス処理プロセッサのテクスチャマッピング機能により実現できる。
【００６４】
これにより、図９に示すような投影画像がグラフィックス処理プロセッサのフレームメモリ上に生成されるので、投影部１０８は、この投影画像を投影する（ステップＳ３０６）。
【００６５】
図１１に戻り、続いて、操作領域認識部１０９は、抽出部１０２により抽出された操作指の画像から操作領域を認識する操作領域認識処理を行う（ステップＳ１０６）。
【００６６】
続いて、選択判定部１１０は、投影領域認識部１０３により認識された投影領域と操作領域認識部１０９により認識された操作領域との重なり度合いを評価して、投影領域に投影されているＧＵＩを選択したか否かを判定する選択判定処理を行う（ステップＳ１０７）。
【００６７】
ここで、選択判定処理の詳細について説明する。
【００６８】
図２０は、第１実施形態の選択判定処理の一例を示すフローチャートである。図２０に示す例では、選択判定部１１０は、操作指と重なった投影指のＩＤを格納する変数ＳＩＤと、重なりが開始されてからの経過時間を格納する変数ＳＴｉｍｅという内部変数を有する。ＳＩＤが取り得る値は、１〜４、又はいずれの投影指にも操作指が重なっていないことを示す無効の値−１である。ＳＴｉｍｅが取り得る値は、０以上の実数である。なお、コマンド発行装置１の起動時に、選択判定部１１０は、ＳＩＤを−１、ＳＴｉｍｅを０に初期化する。
【００６９】
まず、選択判定部１１０は、各投影指のＩＤ毎に、操作指の操作領域と投影指の投影領域とが撮像面上で重なっている領域の面積Ｒ（ＩＤ）を求める（ステップＳ４０１）。
【００７０】
続いて、選択判定部１１０は、最も重なり面積が多い投影指のＩＤを求め、この値をＣＩＤとし、このＩＤの投影指の重なり面積をＲとする（ステップＳ４０２）。
【００７１】
続いて、選択判定部１１０は、Ｒと閾値ＲＴを比較する（ステップＳ４０３）。
【００７２】
Ｒ＞＝ＲＴであれば（ステップＳ４０３でＹｅｓ）、選択判定部１１０は、ＣＩＤとＳＩＤが等しいか否か判定する（ステップＳ４０４）。
【００７３】
ＣＩＤ＝ＳＩＤであれば（ステップＳ４０４でＹｅｓ）、選択判定部１１０は、ＳＴｉｍｅに、前回判定時刻から現在時刻までの経過時間を加算する（ステップＳ４０５）。
【００７４】
続いて、選択判定部１１０は、ＳＴｉｍｅと選択時間の閾値ＳＴｉｍｅＴとを比較する（ステップＳ４０６）。
【００７５】
ＳＴｉｍｅ＞＝ＳＴｉｍｅＴであれば（ステップＳ４０６でＹｅｓ）、選択判定部１１０は、操作者２１がＳＩＤのＧＵＩを選択したと判定し、ＳＩＤを発行部１０５Ａへ出力し（ステップＳ４０７）、処理を終了する。
【００７６】
一方、Ｒ＞＝ＲＴでない（ステップＳ４０３でＮｏ）、または、ＣＩＤ＝ＳＩＤでないなら（ステップＳ４０４でＮｏ）、選択判定部１１０は、操作者２１がＧＵＩを選択していないと判定し、ＳＩＤを−１、ＳＴｉｍｅを０に初期化し（ステップＳ４０８）、処理を終了する。また、ＳＴｉｍｅ＞＝ＳＴｉｍｅＴでないなら（ステップＳ４０６でＮｏ）、選択判定部１１０は、処理を終了する。
【００７７】
以上のように第１実施形態によれば、外部の制御対象機器の操作を、投影指に投影されたＧＵＩ映像を視認し、操作指により当該ＧＵＩ映像をタッチするという片手操作で完結できる。また、外部の制御対象機器の状態をＧＵＩ映像として表示することも可能であるため、外部の制御対象機器を投影指に投影された映像から確認することもできる。なお第１実施形態では、片手に操作指と投影指がある場合について説明したが、両手を利用し、投影指がある指と反対の手の指を操作指とする場合でも、投影指がある指と反対側の手の操作指にカラーマーカを付加することによって、操作領域の位置を検出可能であり、上述の手法により実施可能である。また、操作指と投影指を片手の指に配置しながら、その手と逆の手にさらに操作指を割り当ててもよいし、投影指を割り当ててもよいし、操作指と投影指の双方を割り当てることも同様に可能である。
【００７８】
（変形例１）
上記第１実施形態では、操作者２１が操作指を投影指のＧＵＩの映像上に重ねることで、ＧＵＩを選択する例について説明したが、変形例１では、操作者２１が操作指を用いるのではなく、操作者２１が選択対象のＧＵＩの映像が投影されている投影指を折り曲げることで、ＧＵＩを選択する例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００７９】
図２１は、変形例１のコマンド発行装置２の一例を示す構成図である。変形例１では、選択判定部１１２の処理内容が第１実施形態と相違する。
【００８０】
選択判定部１１２は、投影指の曲げ具合を評価して、ＧＵＩを選択したか否かを判定する。具体的には、選択判定部１１２は、各投影指それぞれについて、矩形Ｆｎ０Ｆｎ１Ｆｎ２Ｆｎ３（投影領域）の各点うち、最もｘ軸の座標が大きいものをｂｎに代入する。なお、ｎ＝１〜４である。次に、選択判定部１１２は、ｂｎの平均値ｂＡｖｇを求め、ｂｎ−ｂＡｖｇを折り曲げ量とみなす。そして、選択判定部１１２は、折り曲げ量ｂｎ−ｂＡｖｇを予め定めた閾値ｂＴと比較し、ｂｎ−ｂＡｖｇ＜＝ｂＴであれば、ＩＤがｎの投影指が折り曲げられている、即ち、ＩＤがｎの投影指の投影領域に投影されているＧＵＩを選択したと判定し、判定結果を管理部１０５へ出力する。一方、選択判定部１１２は、すべての指についてｂｎ−ｂＡｖｇ＞ｂＴであれば、いずれの投影指も折り曲げられていない、即ち、いずれのＧＵＩも選択されていないと判定し、判定結果を管理部１０５へ出力する。
【００８１】
これにより、操作者２１は、選択対象のＧＵＩの映像が投影されている投影指を折り曲げることで、ＧＵＩを選択することができる。
【００８２】
なお、選択可能なＧＵＩは複数であってもよく、選択判定部１１２は、折り曲げ量が大きい順に投影指を順位付けし、例えば、順位が高い順に２つ以上の投影指の投影領域に投影されているＧＵＩを同時に選択するとしてもよい。
【００８３】
また上記第１実施形態と変形例１とを組み合わせ、操作指を投影指のＧＵＩの映像上に重ねることによるＧＵＩの選択と、操作者２１が選択対象のＧＵＩの映像が投影されている投影指を折り曲げることによるＧＵＩの選択とを、併用するようにしてもよい。
【００８４】
（変形例２）
上記第１実施形態では、１本の投影指に１つのＧＵＩを投影する例について説明したが、変形例２では、１本の投影指に複数のＧＵＩを投影する例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００８５】
図２２は、変形例２のコマンド発行装置３の一例を示す構成図である。変形例２では、コマンド発行装置３が分割部１１３を更に備える点が第１実施形態と相違する。
【００８６】
分割部１１３は、投影領域認識部１０３により認識された投影領域を複数の分割投影領域に分割する。図２３は、変形例２の分割部１１３の分割手法の一例を示す説明図である。図２３に示す例では、分割部１１３は、投影領域認識部１０３により認識された投影領域４１−１である矩形Ｆ１０Ｆ１１Ｆ１２Ｆ１３を、１つ目の分割投影領域である矩形Ｆ１０Ｆ１１Ｆ１ｃＦ１ａと、２つ目の分割投影領域である矩形Ｆ１ａＦ１ｃＦ１ｄＦ１ｂと、３つ目の分割投影領域である矩形Ｆ１ｂＦ１ｄＦ１２Ｆ１３とに、３分割している。なお、分割部１１３は、投影領域を投影指の関節位置に基づいて分割してもよいし、投影領域を単純に等分してもよい。
【００８７】
なお図２３に示す例では、ＧＵＩ情報記憶部１０４には、ＧＵＩの情報としてテンキーの情報が記憶されており、１つ目の分割投影領域である矩形Ｆ１０Ｆ１１Ｆ１ｃＦ１ａには、ボタン１が割り当てられ、２つ目の分割投影領域である矩形Ｆ１ａＦ１ｃＦ１ｄＦ１ｂには、ボタン２が割り当てられ、３つ目の分割投影領域である矩形Ｆ１ｂＦ１ｄＦ１２Ｆ１３には、ボタン３が割り当てられている。このため、投影部１０８は、１つ目の分割投影領である矩形Ｆ１０Ｆ１１Ｆ１ｃＦ１ａにボタン１のＧＵＩの映像５２−１を投影し、２つ目の分割投影領である矩形Ｆ１ａＦ１ｃＦ１ｄＦ１ｂにボタン２のＧＵＩの映像５２−２を投影し、３つ目の分割投影領である矩形Ｆ１ｂＦ１ｄＦ１２Ｆ１３にボタン３のＧＵＩの映像５２−３を投影している。
【００８８】
なお、選択判定部１１０は、操作領域と分割投影領域との重なり具合を評価することで、ＧＵＩが選択されたか否かを判定する。
【００８９】
これにより、テンキーなどを投影指上に投影することや、より多様なメニューなどを投影することが可能となる。
【００９０】
（変形例３）
変形例１のように、操作者２１が選択対象のＧＵＩの映像が投影されている投影指を折り曲げることで、ＧＵＩを選択する場合には、赤外線センサで取得したシルエット画像を特徴量として用いることもできる。
【００９１】
この場合、取得部１０１は、可視光カメラの代わりに赤外線光源により手２２に赤外光を照射し、赤外線のみを透過するフィルタを取り付けた赤外線カメラによって手２２の表面で拡散反射した赤外光を撮像する。
【００９２】
また、抽出部１０２は、手２２以外の背景領域では赤外線の反射光が減衰するため、赤外線がある閾値以上の強さで反射した領域のみを抽出することで、手２２の領域を手２２以外の背景領域から分離することができる。これにより、抽出部１０２は、手２２のシルエット画像を抽出する。
【００９３】
また、投影領域認識部１０３は、手２２のシルエットの輪郭線をたどりながら輪郭線の変曲点を抽出することで、手２２のシルエット画像から投影指の投影領域を認識することができる。
【００９４】
これにより、操作者２１は、投影指にカラーマーカを装着しなくても、投影指を折り曲げることによりＧＵＩを選択することができる。
【００９５】
（変形例４）
上記第１実施形態では、可視光カメラを用いて操作者２１が各指に装着したカラーマーカの色を認識することで操作指と投影指との撮像面上の位置を認識したが、変形例４では可視光カメラの代わりに距離センサを用いて操作指と投影指との撮像面上の位置を認識する例について説明する。
【００９６】
ここで、距離センサとは、カメラから物体までの距離を画像として取得するセンサである。例えば、赤外線カメラ付近に取り付けた赤外線光源により手２２を照射し、距離が遠くなるにつれて反射光が減衰することを利用して反射光の強さを距離として求める方法がある。また、レーザ光源などにより特定のパターンを投影して、距離に応じて物体表面の反射パターンが変化することを利用して距離を求める方法もある。また、距離を離して設置した２台の可視光カメラで撮像した画像における視差が、距離が近い物体ほど大きくなることを利用して画像処理で距離を求める方法もある。変形例４では、取得部１０１はいずれの方法で距離を取得してもよい。
【００９７】
このように、変形例４では、取得部１０１は、コマンド発行装置１から手２２又は背景までの距離を輝度として表現した画像（以下、距離画像と称する）を取得するものとする。
【００９８】
ここで、距離画像の各画素には、コマンド発行装置１から手２２又は背景までの距離ｄが数値として格納されている。なお、距離が近いほどｄの値は小さく、距離が離れているほどｄの値は大きい。
【００９９】
抽出部１０２は、距離ｄの分布を元に、閾値ｄＴｓ及びｄＴｐを用いて、距離画像を、折り曲げられた操作指の領域と投影指及び掌の領域と背景領域とに分離する。そして、抽出部１０２は、ｄ＜ｄＴｓの領域を、折り曲げられた操作指の領域として抽出し、当該領域のシルエットの輪郭線の変曲点を判定することにより、操作指の先端領域を操作領域認識部１０９に出力する。また、抽出部１０２は、ｄＴｓ＜＝ｄ＜ｄＴｐの領域を、投影指及び掌の領域として抽出し、当該領域のシルエットの輪郭線の変曲点を判定することにより、投影指の根本から先端までの領域を投影領域認識部１０３に出力する。
【０１００】
このようにすれば、カラーマーカを使用せずに操作指と投影指との撮像面上の位置を認識することができる。
【０１０１】
（第２実施形態）
第２実施形態では、手の姿勢に応じて投影指に投影されているＧＵＩの映像を切り替える例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１０２】
図２４は、第２実施形態のコマンド発行装置４の一例を示す構成図である。第２実施形態では、コマンド発行装置４が掌領域認識部１１４、切替判定部１１５、及び切替部１１６を更に備える点が第１実施形態と相違する。
【０１０３】
掌領域認識部１１４は、投影領域認識部１０３により認識された投影領域を用いて、掌領域を認識する。具体的には、掌領域認識部１１４は、投影領域認識部１０３により認識された投影領域を用いて、掌の形状特徴量を抽出し、抽出した形状特徴量で示される領域を掌領域として認識する。
【０１０４】
図２５は、第２実施形態の掌領域認識部１１４の掌領域認識手法の一例を示す説明図である。図２５に示す例では、掌領域認識部１１４は、掌を示す掌領域３６を正方形Ｈ０Ｈ１Ｈ２Ｈ３として認識している。ここで、Ｈ３は、投影領域認識部１０３により設定されたＰ１（人差し指２４−１の根本）であり、Ｈ２は、投影領域認識部１０３により設定されたＰ４（小指２４−４の根本）である。つまり、掌領域認識部１１４は、線分Ｈ２Ｈ３を求め、線分Ｈ２Ｈ３を１辺とする正方形Ｈ０Ｈ１Ｈ２Ｈ３を認識する。なお、線分Ｈ０Ｈ１は、線分Ｈ２Ｈ３と長さが等しく直交する線分である。なお、掌領域３６の認識手法はこれに限定されるものではなく、掌表面の色情報などの情報を用いて認識してもよい。
【０１０５】
切替判定部１１５は、掌領域認識部１１４により認識された掌領域と操作領域認識部１０９により認識された操作領域との重なり度合いを評価して、投影領域への投影対象のＧＵＩを切り替えるか否かを判定する。切替判定部１１５は、選択判定部１１０同様の判定手法で判定し、一定時間ＨＴｉｍｅＴ以上、掌領域と操作領域との重なり面積がＨＴ以上であれば、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１５は、一定時間ＨＴｉｍｅＴ以上、掌領域と操作領域との重なり面積がＨＴ以上でなければ、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１０６】
切替部１１６は、切替判定部１１５によりＧＵＩの映像を第１状態のＧＵＩに切り替えると判定された場合に、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替え、切替判定部１１５によりＧＵＩの映像を第２状態のＧＵＩに切り替えると判定された場合に、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替える。
【０１０７】
例えば、ＧＵＩ情報記憶部１０４は、図２６Ａ〜図２６Ｄに示すＧＵＩの情報を記憶しており、図２６Ａ〜図２６Ｂに示すＧＵＩの情報が第１状態のＧＵＩであり、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報が第２状態のＧＵＩであるとする。
【０１０８】
この場合、操作者２１が親指２３を掌領域３６に重ね、切替判定部１１５により第１状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ａ〜図２６Ｂに示すＧＵＩの情報を設定し、図２７Ａに示すように、ＧＵＩ５３〜１〜５３〜４がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１０９】
一方、操作者２１が親指２３を掌領域３６に重ねておらず、切替判定部１１５により第２状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報を設定し、図２７Ｂに示すように、ＧＵＩ５３〜５〜５３〜８がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１１０】
なお、切替判定部１１５は、操作者２１が、操作指を掌上に重ねてから投影指上に移動させた場合には、操作指が掌上に重なっていなくても掌に操作指を重ねたという前状態を保持するなどとして切替判定を行ってもよい。
【０１１１】
これにより、操作者２１が操作指を掌上に重ねる手の姿勢をとるか否かに応じてＧＵＩの表示内容を切り替えることができる。なお、操作者２１が操作指を掌上に重ねていない場合には、投影指にＧＵＩを投影せず、操作者２１が操作指を掌上に重ねている場合に、投影指にＧＵＩを投影するようにしてもよい。
【０１１２】
第２実施形態によれば、投影するＧＵＩの要素が多数存在し、かつＧＵＩ要素の個数が固定でない場合でも、表示内容を切り替えながら複数のＧＵＩ要素を表示することができる。
【０１１３】
（変形例５）
上記第２実施形態では、操作者２１が操作指を掌に重ねることで、ＧＵＩを切り替える例について説明したが、変形例５では、操作者２１が投影指を開閉することで、ＧＵＩを切り替える例について説明する。なお以下では、第２実施形態との相違点の説明を主に行い、第２実施形態と同様の機能を有する構成要素については、第２実施形態と同様の名称・符号を付し、その説明を省略する。
【０１１４】
図２８は、変形例５のコマンド発行装置５の一例を示す構成図である。変形例５では、切替判定部１１７の処理内容が第２実施形態と相違する。
【０１１５】
切替判定部１１７は、投影指の開き具合を評価して、投影領域への投影対象のＧＵＩを切り替えるか否かを判定する。切替判定部１１７は、投影指が開かれていれば、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１７は、投影指が開かれていなければ、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１１６】
具体的には、切替判定部１１７は、推定した投影指の根本位置Ｓｎに関する方向ベクトルＳｎＲ’ｎの和の方向ベクトルＶｓと各投影指の方向ベクトルＳｎＲ’ｎとの内積ｄｎの絶対値の和ｄＳｕｍを閾値ｄＴと比較する。そして、切替判定部１１７は、ｄＳｕｍ＜＝ｄＴの場合には指が開いていると判定し、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１７は、ｄＳｕｍ＞ｄＴの場合には指が閉じていると判定し、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１１７】
例えば、操作者２１が投影指を開き、切替判定部１１７により第１状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ａ〜図２６Ｂに示すＧＵＩの情報を設定し、図２９Ａに示すように、ＧＵＩ５３〜１〜５３〜４がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１１８】
一方、操作者２１が投影指を閉じ、切替判定部１１７により第２状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報を設定し、図２９Ｂに示すように、ＧＵＩ５３〜５〜５３〜８がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１１９】
これにより、操作者２１が投影指を開く手の姿勢をとるか否かに応じてＧＵＩの表示内容を切り替えることができる。なお、操作者２１が投影指を閉じた場合には、投影指にＧＵＩを投影せず、操作者２１が投影指を開いている場合に、投影指にＧＵＩを投影するようにしてもよい。
【０１２０】
（変形例６）
上記第２実施形態では、操作者２１が操作指を掌に重ねることで、ＧＵＩを切り替える例について説明したが、変形例６では、操作者２１が投影指の方向を変更することで、ＧＵＩを切り替える例について説明する。なお以下では、第２実施形態との相違点の説明を主に行い、第２実施形態と同様の機能を有する構成要素については、第２実施形態と同様の名称・符号を付し、その説明を省略する。
【０１２１】
図３０は、変形例６のコマンド発行装置６の一例を示す構成図である。変形例６では、切替判定部１１８の処理内容が第２実施形態と相違する。
【０１２２】
切替判定部１１８は、投影指の方向を評価して、投影領域への投影対象のＧＵＩを切り替えるか否かを判定する。切替判定部１１８は、投影指が鉛直方向に向けられていれば、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１８は、投影指が水平方向に向けられていれば、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１２３】
具体的には、切替判定部１１８は、推定した指の根本位置Ｓｎに関する方向ベクトルＳｎＲ’ｎの和の方向ベクトルＶｓの撮像面の水平方向に対するなす角度ａＳを求め、ａＳと閾値ａＳＴとを比較する。そして、切替判定部１１８は、ａＳ>＝ａＳＴであれば投影指を鉛直方向に向けていると判定し、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１８は、ａＳ<ａＳＴであれば手を水平方向に向けていると判定し、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１２４】
例えば、操作者２１が投影指をを鉛直方向に向け、切替判定部１１８により第１状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ａ〜図２６Ｂに示すＧＵＩの情報を設定し、図３１Ａに示すように、ＧＵＩ５３〜１〜５３〜４がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１２５】
一方、操作者２１が投影指を水平方向に向け、切替判定部１１８により第２状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報を設定し、図３１Ｂに示すように、ＧＵＩ５３〜５〜５３〜８がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１２６】
これにより、操作者２１が投影指を向ける方向（手の姿勢）に応じてＧＵＩの表示内容を切り替えることができる。なお、操作者２１が投影指を水平方向に向けた場合には、投影指にＧＵＩを投影せず、操作者２１が投影指を鉛直方向に向けている場合に、投影指にＧＵＩを投影するようにしてもよい。
【０１２７】
（変形例７）
上記第２実施形態では、操作者２１が操作指を掌に重ねることで、ＧＵＩを切り替える例について説明したが、変形例７では、操作者２１が操作指の投影指に対する相対位置を変更することで、ＧＵＩを切り替える例について説明する。なお以下では、第２実施形態との相違点の説明を主に行い、第２実施形態と同様の機能を有する構成要素については、第２実施形態と同様の名称・符号を付し、その説明を省略する。
【０１２８】
図３２は、変形例７のコマンド発行装置７の一例を示す構成図である。変形例７では、切替判定部１１９の処理内容が第２実施形態と相違する。
【０１２９】
切替判定部１１９は、操作領域と投影領域との相対位置を評価して、投影領域への投影対象のＧＵＩを切り替えるか否かを判定する。切替判定部１１９は、操作領域と投影領域との距離が閾値以上離れていれば操作指と投影指とが離れていると判定し、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１９は、操作領域と投領域との距離が閾値以上離れていなければ操作指と投影指とが離れていないと判定し、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１３０】
例えば、操作者２１が操作指と投影指とを離し、切替判定部１１９により第１状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ａ〜図２６Ｂに示すＧＵＩの情報を設定し、図３３Ａに示すように、ＧＵＩ５３〜１〜５３〜４がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１３１】
一方、操作者２１が操作指と投影指とをくっ付け、切替判定部１１９により第２状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報を設定し、図３３Ｂに示すように、ＧＵＩ５３〜５〜５３〜８がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１３２】
これにより、操作指と投影指との相対位置（手の姿勢）に応じてＧＵＩの表示内容を切り替えることができる。なお、操作者２１が操作指と投影指とをくっ付けた場合には、投影指にＧＵＩを投影せず、操作者２１が投影指を操作指と投影指とを離している場合に、投影指にＧＵＩを投影するようにしてもよい。
【０１３３】
また、操作者２１が操作指で投影指をなぞる操作を行った場合に、操作指の移動方向を検出し、投影指の付け根から指先の方向へなぞった場合と、投影指の指先から付け根の方向へなぞった場合で、ＧＵＩを切り替えるようにしてもよい。
【０１３４】
（第３実施形態）
第３実施形態では、操作者に現在の操作内容を視認させるフィードバック映像を投影する例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１３５】
図３４は、第３実施形態のコマンド発行装置８の一例を示す構成図である。第３実施形態では、コマンド発行装置８がフィードバック映像生成部１２０、及び重畳部１２１を更に備える点が第１実施形態と相違する。
【０１３６】
フィードバック映像生成部１２０は、選択判定部１１０により操作領域が重なっていると判定されている投影領域に投影されているＧＵＩの映像のフィードバック映像を、生成する。ここで、フィードバック映像とは、操作者２１に現在の操作内容を視認させるための投影映像である。
【０１３７】
操作者２１が投影指上のＧＵＩの映像に操作指を重ねた場合、操作指と投影指に投影映像が横断的に投影されてしまい、投影指上のＧＵＩの映像の視認性が低下してしまう。このため、フィードバック映像生成部１２０は、操作者２１が現在選択しようとしている投影指上のＧＵＩの映像を、当該投影指以外の場所に投影するか、当該投影指の投影領域のうち操作指が重なっていない領域に短縮して投影する。
【０１３８】
ここで、選択判定部１１０では、操作領域と投影領域とが一定時間以上重なっている場合にＧＵＩを選択したと判定したが、フィードバック映像生成部１２０は、操作領域と投影領域とが重なっていれば、フィードバック映像を生成する。
【０１３９】
つまり、フィードバック映像生成部１２０は、図２０に示すフローチャートのステップＳ４０３及びＳ４０４の条件判定のみを行い、経過時間については判定を行わない。そして、閾値を上回ったＩＤの投影指に投影されているＧＵＩの映像のフィードバック映像を生成する。
【０１４０】
例えば、投影部１０８は、図３５に示すように、操作者２１が選択使用としているＧＵＩ５１−１のフィードバック映像５１−５を、操作指の根本に投影する。フィードバック映像生成部１２０は、フィードバック映像５１−５の投影位置を、操作指により投影指の根本側を選択した場合と、投影指の先端側を選択した場合とに分類して決定する。この分類は、投影領域を先端側と根本側の２領域に等分し、どちらの領域に操作指の中心位置が重なっているかを判定すればよい。操作者２１が投影指の根本側を選択した場合には、人差し指２４−１の根本位置から人差し指２４−１の長さの分だけ掌方向へ移動した点（図１８において、Ｓ１を起点として、線分Ｒ’１Ｓ１の長さの分だけ、方向ベクトルＲ’１Ｓ１の方向へ延長した点）とする。一方、操作者２１が投影指の先端側を選択した場合には、操作指によって選択した投影指の根元位置の点と、人差し指２４−１の根本位置の点の中点から、人差し指２４−１の長さの分だけ掌方向へ移動した点（操作指によって選択した投影指の根元位置の点と、人差し指２４−１の根本位置の点の中点を起点として、図１８に示した線分Ｒ’１Ｓ１の長さの分だけ、方向ベクトル線分Ｒ’１Ｓ１の方向へ延長した点）とする。
【０１４１】
また例えば、投影部１０８は、図３６に示すように、操作者２１が選択しようとしているＧＵＩ５１−１のフィードバック映像５１−６を、掌に投影してもよい。
【０１４２】
また例えば、投影部１０８は、図３７に示すように、操作者２１が選択しようとしているＧＵＩ５１−１を短縮又は縮小したものを投影するようにしてもよい。
【０１４３】
この場合、ＧＵＩ情報記憶部１０４には、各ＧＵＩ情報に対応する短縮テキスト又は縮小映像が記憶されている。例えば、ＧＵＩ情報記憶部１０４は、「照明“ＯＮ”」の短縮テキストが「照ＯＮ」を記憶しており、操作者２１がＧＵＩ５１−１を選択使用としている場合には、投影部１０８は、「照明“ＯＮ”」の短縮テキスト「照ＯＮ」を投影する。操作指が乗っていない投影指の領域６１−１は、図３８に示すように、選択されようとしている投影指のＩＤ＝ｊ（ｊ＝１〜４）の方向ベクトルＲ’ｊＳｊと、操作指の近似した円との交点Ｑを求め、線分Ｒ’ｊＱの端点ＱからＲ’ｊＱと直交する方向に、予め算出した指の太さを示す特徴量ｅｊ、ｆｊの分だけ離れた点Ｑａ、Ｑｂを求めることで、矩形ＱａＱｂＦｊ２Ｆｊ３として求められる。操作指が乗っていない投影指の領域６１−１に投影するテキストは、投影領域を定義する線分ＱＲ’ｊの長さに応じて、動的に文字数を変更される。例えば、閾値Ｌａ、Ｌｂ（｜Ｐ１Ｐ’１｜＞Ｌａ＞Ｌｂ＞０）を予め定め、投影部１０８は、｜ＱＲ’ｊ｜＞＝Ｌａでは「照明“ＯＮ”」を投影し、Ｌａ＞｜ＱＲ’ｊ｜＞＝Ｌｂでは「照ＯＮ」を投影する。なお、Ｌｂ＞｜ＱＲ’ｊ｜では、投影領域が狭すぎるため文字列の代わりに投影領域に収まるサイズのアイコン画像を表示するようにしてもよい。
【０１４４】
重畳部１２１は、投影映像生成部１０７により生成された投影映像とフィードバック映像生成部１２０により生成されたフィードバック映像とを重畳し、合成映像を生成する。
【０１４５】
第３実施形態によれば、本実施例により、操作者２１は、選択を行ったＧＵＩ要素の内容を視認しやすくなり、誤った操作を行う可能性を低減することができる。
【０１４６】
（第４実施形態）
第４実施形態では、投影指に応じたＧＵＩの情報を割り付ける例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１４７】
図３９は、第４実施形態のコマンド発行装置９の一例を示す構成図である。第４実施形態では、コマンド発行装置９が割付決定部１２３を更に備える点が第１実施形態と相違する。
【０１４８】
割付決定部１２３は、ＧＵＩ情報記憶部１０４に記憶されているＧＵＩの情報に基づいて、投影指の投影領域それぞれに対するＧＵＩの割付を決定する。これにより、各投影指の大きさの違いに基づく表示可能面積の違いや、投影指の位置関係による選択操作の容易さの違いにもとづき、投影指に割り当てるＧＵＩ情報を変更することができる。
【０１４９】
例えば、親指２３を操作指とし、親指以外の指２４を投影指とする場合に、指ごとに選択操作容易度を表現した値を予めＧＵＩ映像の投影指への割付決定部１２３に保持させておくとともに、ＧＵＩごとの操作履歴を記録した情報からＧＵＩごとの操作頻度を求め、同様に割付決定部１２３に保持させておく。これにより、割付決定部１２３は、ＧＵＩを投影指に割り付け時には、操作頻度が高いＧＵＩから順に選択操作容易度が高い投影指に割り当ててゆくので、頻繁に選択操作を行うＧＵＩを容易に操作できるようになり、操作ミスを軽減できる。
【０１５０】
また例えば、ＧＵＩの映像としてテキスト文字列を表示する場合には、ＧＵＩごとのテキスト文字列の文字数を予め割付決定部１２３で計測しておく。そして、割付決定部１２３は、投影領域認識部１０３から得られた投影指に対して、投影指ごとの投影領域の水平方向の画素数の大きいものから、ＧＵＩのテキスト文字列の文字数の多い順に割り当てる。即ち、割付決定部１２３は、文字数の多いＧＵＩ要素を人差指２４−１や中指２４−２などの長い指から割り当て、文字数の少ないＧＵＩ要素を小指２４−４などの短い指から割り当てられるようになるので、ＧＵＩ文字列の視認性を向上させることができ、操作ミスを軽減できる。
【０１５１】
また例えば、テキストなどの複数行からなる文書を投影指に投影する場合には、割付決定部１２３は、テキストの１行が指の１行になるように割り当てを行う。この場合、割付決定部１２３は、投影領域認識部１０３から得られた各投影指の投影領域を用いて、投影指の長さに応じてテキスト途中に改行を挿入し、テキストを複数行に分割したのち、各行を各投影指に割り当てる。これにより、長文の文章なども投影指上に投影し、視認することができるようになる。
【０１５２】
このように第４実施形態によれば、投影指の本数に限定されない多様なＧＵＩを指上に割り当てることが可能となる。
【０１５３】
（第５実施形態）
第５実施形態では、ＨＭＤ（ヘッドマウントディスプレイ）を用いる例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１５４】
図４０は、第５実施形態のコマンド発行装置１０の利用形態の一例を示す外観図である。本実施形態では、図４０に示すように、コマンド発行装置１０は、操作者２１の頭部に装着可能なメガネ型の形態をとる。取得部１２４は、操作者２１が手２２の方向へ頭を向けることにより手２２の方向を向き、手２２の動画像を撮像する。提示部１２５は、操作者２１が頭部に装着できるメガネ型ディスプレイであり、操作者２１が見ている風景に重畳する形で映像を提示する。従って、第５実施形態では、図４１に示すように、操作者２１が手２２を見ている状態で手２２の位置に合うように提示部１２５が映像１２７を提示することで、操作者２１には手２２の上に映像１２７が重畳されているように視認される。
【０１５５】
図４２は、第５実施形態のコマンド発行装置１０の一例を示す構成図である。第５実施形態では、コマンド発行装置１０が取得部１２４、提示部１２５、及び位置決定部１２６を更に備える点が第１実施形態と相違する。
【０１５６】
取得部１２４は、操作者２１の頭部に装着され、操作者２１の手２２を動画像として撮像する。
【０１５７】
提示部１２５は、投影映像生成部１０７により生成された映像を、操作者２１が頭部に装着しているメガネ型ディスプレイ装置に提示する。
【０１５８】
位置決定部１２６は、投影領域認識部１０３で認識された提示指に提示される提示映像の提示位置を決定する。
【０１５９】
第５実施形態では、提示部１２５は、操作者２１が頭部に装着するメガネ型ディスプレイであるため、映像の提示領域は手２２上など実際に存在する物体表面上に制限されない。従って、提示部１２５は、図４３に示すように、操作指との重なり判定を行う提示指の領域とＧＵＩの映像を提示する領域とを、分離し、提示指の先側にＧＵＩ映像を提示することもできる。このような、ＧＵＩの映像の投影を行うため、位置決定部１２６は、投影映像生成部１０７での処理を行う前処理として、投影領域認識部１０３で算出された提示領域の位置を提示指の先端側に外挿し出力する。
【０１６０】
第５実施形態では、操作者２１が頭部に装着するコマンド発行装置１０について説明を行ったが、取得部１２４で撮像した動画像を提示部１２５であるディスプレイに表示するとともに、動画像上に取得部１２４で撮像した手の映像位置に合わせてＧＵＩを重畳表示すれば、携帯型情報端末でも実現できる。
【０１６１】
上記各実施形態及び上記各変形例のコマンド発行装置は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤやＳＳＤなどの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信Ｉ／Ｆなどの通信装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１６２】
上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
【０１６３】
また、上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【０１６４】
上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【０１６５】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【０１６６】
以上説明したとおり、上記各実施形態及び上記各変形例によれば、ユーザ操作を片手で完結することができる。
【符号の説明】
【０１６７】
１、２、３、４、５、６、７、８、９、１０ コマンド発行装置
１０１、１２４ 取得部
１０２ 抽出部
１０３ 投影領域認識部
１０４ ＧＵＩ情報記憶部
１０５ 管理部
１０５Ａ 発行部
１０６ 位置対応テーブル記憶部
１０７ 投影映像生成部
１０８ 投影部
１０９ 操作領域認識部
１１０、１１２ 選択判定部
１１１ 通信部
１１３ 分割部
１１４ 掌影領域認識部
１１５、１１７、１１８、１１９ 切替判定部
１１６ 切替部
１２０ フィードバック映像生成部
１２１ 重畳部
１２３ 割付決定部
１２５ 提示部
１２６ 位置決定部
１２７ 提示映像
【技術分野】
【０００１】
本発明の実施形態は、コマンド発行装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、映像投影技術、撮像技術、及び物体認識技術などを組み合わせてユーザ操作を実現するユーザインタフェースが知られている。このようなユーザインタフェースとして、例えば、操作者の一方の手の掌にＧＵＩ（Graphical User Interface）の映像を投影するとともに当該掌の動画像を撮像し、撮像された動画像から、掌に投影されたＧＵＩを操作者が他方の手の指でタッチしていることを認識することでユーザ操作を実現するものがある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】山本豪志朗，佐藤宏介，「ＰＡＬＭｂｉｔ：掌への光投影を利用した身体インタフェース」，映像情報メディア学会誌，Ｖｏｌ．６１，Ｎｏ．６，ｐｐ．７９７−８０４，２００７．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような技術では、操作者の両手を用いた操作が前提となっている。
【課題を解決するための手段】
【０００５】
実施形態のコマンド発行装置は、取得部と、投影領域認識部と、投影部と、操作領域認識部と、選択判定部と、発行部と、を備える。取得部は、操作者の手を撮像した動画像を取得する。投影領域認識部は、前記動画像から、投影に用いられる投影指の投影領域を認識する。投影部は、前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する。操作領域認識部は、前記動画像から、操作に用いられる操作指の操作領域を認識する。選択判定部は、前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する。発行部は、前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する。
【図面の簡単な説明】
【０００６】
【図１】第１実施形態のコマンド発行装置の利用形態例を示す外観図。
【図２】第１実施形態のコマンド発行装置例を示す構成図。
【図３】第１実施形態の取得部により取得された動画像の例を示す図。
【図４】第１実施形態の動画像から投影指を抽出した画像例を示す図。
【図５】第１実施形態の動画像から操作指を抽出した画像例を示す図。
【図６Ａ】第１実施形態のＧＵＩの情報例を示す図。
【図６Ｂ】第１実施形態のＧＵＩの情報例を示す図。
【図７Ａ】第１実施形態のＧＵＩの情報例を示す図。
【図７Ｂ】第１実施形態のＧＵＩの情報例を示す図。
【図７Ｃ】第１実施形態のＧＵＩの情報例を示す図。
【図８Ａ】第１実施形態のＧＵＩの情報例を示す図。
【図８Ｂ】第１実施形態のＧＵＩの情報例を示す図。
【図９】第１実施形態の投影部の投影手法例を示す説明図。
【図１０】第１実施形態の操作領域の認識手法例の説明図。
【図１１】第１実施形態の処理例を示すフローチャート。
【図１２】第１実施形態の取得部により取得された動画像の例を示す図。
【図１３】第１実施形態の投影指の事前特徴量の抽出手法例を示す説明図。
【図１４】第１実施形態の投影領域認識処理例を示すフローチャート。
【図１５】第１実施形態の投影領域認識手法例の説明図。
【図１６】第１実施形態の投影領域認識手法例の説明図。
【図１７】第１実施形態の投影領域認識手法例の説明図。
【図１８】第１実施形態の投影領域認識手法例の説明図。
【図１９】第１実施形態の投影処理例を示すフローチャート。
【図２０】第１実施形態の選択判定処理例を示すフローチャート。
【図２１】変形例１のコマンド発行装置例を示す構成図。
【図２２】変形例２のコマンド発行装置例を示す構成図。
【図２３】変形例２の分割部の分割手法例を示す説明図。
【図２４】第２実施形態のコマンド発行装置例を示す構成図。
【図２５】第２実施形態の掌領域認識部の掌領域認識手法例を示す説明図。
【図２６Ａ】第２実施形態のＧＵＩの情報例を示す図。
【図２６Ｂ】第２実施形態のＧＵＩの情報例を示す図。
【図２６Ｃ】第２実施形態のＧＵＩの情報例を示す図。
【図２６Ｄ】第２実施形態のＧＵＩの情報例を示す図。
【図２７Ａ】第２実施形態のＧＵＩの切替例を示す図。
【図２７Ｂ】第２実施形態のＧＵＩの切替例を示す図。
【図２８】変形例５のコマンド発行装置例を示す構成図。
【図２９Ａ】変形例５のＧＵＩの切替例を示す図。
【図２９Ｂ】変形例５のＧＵＩの切替例を示す図。
【図３０】変形例６のコマンド発行装置例を示す構成図。
【図３１Ａ】変形例６のＧＵＩの切替例を示す図。
【図３１Ｂ】変形例６のＧＵＩの切替例を示す図。
【図３２】変形例７のコマンド発行装置例を示す構成図。
【図３３Ａ】変形例７のＧＵＩの切替例を示す図。
【図３３Ｂ】変形例７のＧＵＩの切替例を示す図。
【図３４】第３実施形態のコマンド発行装置例を示す構成図。
【図３５】第３実施形態のフィードバック映像の投影例を示す図。
【図３６】第３実施形態のフィードバック映像の投影例を示す図。
【図３７】第３実施形態のフィードバック映像の投影例を示す図。
【図３８】第３実施形態のフィードバック映像の投影手法の説明図。
【図３９】第４実施形態のコマンド発行装置例を示す構成図。
【図４０】第５実施形態のコマンド発行装置の利用形態例を示す外観図。
【図４１】第５実施形態の取得部により取得された動画像と提示手法の例を示す図。
【図４２】第５実施形態のコマンド発行装置例を示す構成図。
【図４３】第５実施形態の提示手法の説明図。
【発明を実施するための形態】
【０００７】
（第１実施形態）
図１は、第１実施形態のコマンド発行装置１の利用形態の一例を示す外観図である。本実施形態では、図１に示すように、コマンド発行装置１が取り付けられたストラップなどを操作者２１が首にかけることにより、コマンド発行装置１を操作者２１の胸の前に位置させるペンダント型での利用形態を想定している。コマンド発行装置１が備える取得部１０１は、操作者２１の手２２の動画像を撮像可能に配置されているととともに、コマンド発行装置１が備える投影部１０８は、手２２にＧＵＩ（Graphical User Interface）の映像を投影可能に配置されている。そして、取得部１０１により手２２の動画像が撮像されるとともに、投影部１０８により手２２にＧＵＩの映像が投影される。
【０００８】
ここで、本実施形態では、手２２の親指２３が操作に用いられる操作指であり、手２２の人差指２４−１、中指２４−２、薬指２４−３、及び小指２４−４がＧＵＩの映像の投影に用いられる投影指であるものとするが、これに限定されるものではない。なお、図１に示す例では、人差指２４−１にＧＵＩの映像が投影されている。そして、操作者２１が、人差指２４−１に投影されているＧＵＩの映像を視認し、親指２３を人差指２４−１のＧＵＩの映像上に重ねることで、コマンド発行装置１は、ＧＵＩに応じたコマンドを発行する。これにより、ＧＵＩが示すユーザ操作が実行される。なお、以下では、人差指２４−１、中指２４−２、薬指２４−３、及び小指２４−４を各々区別する必要がない場合は、親指以外の指２４と称する場合がある。
【０００９】
図２は、第１実施形態のコマンド発行装置１の一例を示す構成図である。図２に示すように、コマンド発行装置１は、取得部１０１と、抽出部１０２と、投影領域認識部１０３と、ＧＵＩ情報記憶部１０４と、管理部１０５と、位置対応テーブル記憶部１０６と、投影映像生成部１０７と、投影部１０８と、操作領域認識部１０９と、選択判定部１１０と、通信部１１１とを、備える。
【００１０】
取得部１０１は、操作者の手を撮像した動画像を取得する。取得部１０１は、動画像を撮像できるデバイスであればよく、本実施形態ではビデオカメラにより実現されるものとするが、これに限定されるものではない。本実施形態では、取得部１０１は、毎秒６０フレームの動画像をカラー撮影でき、手２２を十分撮影可能な撮影画角を有し、焦点距離を自動的に合わせられる機構を有し、レンズが原因で撮影像に発生したひずみを補正するひずみ補正機能を有するものとする。
【００１１】
ここで、本実施形態では、操作者２１の親指２３の先端部分、及び操作者２１の親指以外の指２４の全体部分（根本から先端までの部分）に、カラーマーカが装着されているものとする。カラーマーカは、単色であり、手の表面と区別可能な色であり、鏡面反射をしない拡散反射素材でできているものとする。また、各指のカラーマーカの色は、それぞれ異なるものとする。
【００１２】
図３は、取得部１０１により取得された動画像の一例を示す図である。図３は、親指２３の先端部分にカラーマーカ３０が装着され、人差指２４−１、中指２４−２、薬指２４−３、小指２４−４に、それぞれカラーマーカ３１−１、カラーマーカ３１−２、カラーマーカ３１−３、カラーマーカ３１−４が装着された操作者２１の手２２を、撮像した動画像となっている。
【００１３】
抽出部１０２は、取得部１０１により取得された動画像に画像処理を施し、投影指と操作指とを抽出する。具体的には、抽出部１０２は、取得部１０１により取得された動画像にカラーフィルタを施し、特定の色相の範囲内の色の画素のみを非ゼロとし、それ以外の色の画素を０とすることで、投影指と操作指とを抽出する。なお、操作者２１の各指に装着されたカラーマーカの色は既知であり、抽出部１０２は、取得部１０１により取得された動画像におけるカラーマーカの輝度の分布を予め保持しているものとする。
【００１４】
図４は、取得部１０１により取得された動画像から投影指である親指以外の指２４（カラーマーカ３１−１〜３１−４）を抽出した画像（ビットマップ画像）の一例を示す図である。図５は、取得部１０１により取得された動画像から操作指である親指２３（カラーマーカ３０）を抽出した画像（ビットマップ画像）の一例を示す図である。
【００１５】
このように本実施形態では、操作者２１の各指にカラーマーカを装着することで、操作指と投影指とを抽出する手法について説明しているが、操作指と投影指との抽出手法は、これに限定されるものではない。例えば、レーザー測距方式を用いるレンジファインダーなどによりコマンド発行装置１から操作者２１の手２２までの距離分布を測定し、指の長さや太さなど既知の手の形状情報の当てはめを行うことで、操作指と投影指とを抽出するようにしてもよい。コマンド発行装置１から操作者２１の手２２までの距離分布を測定する場合には、複数のカメラを用いたステレオマッチングなどの手法を利用できる。また例えば、Ｈａａｒ−Ｌｉｋｅ特徴にもとづく画像認識の検出器を用いて指の領域を検出し、操作指と投影指とを抽出するようにすれば、操作者２１の各指にカラーマーカを装着する必要はない。
【００１６】
投影領域認識部１０３は、取得部１０１により取得された動画像から、投影指の投影領域を認識する。具体的には、投影領域認識部１０３は、抽出部１０２により抽出された投影指の画像から、投影指の付け根から指先までの形状特徴量を抽出し、抽出した形状特徴量で示される領域を投影領域として認識する。なお、投影領域の認識手法の詳細については、後述する。
【００１７】
ＧＵＩ情報記憶部１０４は、投影指の投影領域に投影されるＧＵＩの情報を記憶する。 図６Ａ及び図６Ｂは、コマンド発行装置１が家庭内の機器を制御するコマンドを発行するユーザインタフェースである場合のＧＵＩの情報の一例を示す図である。図７Ａ〜図７Ｃは、コマンド発行装置１が音楽プレーヤーを制御するコマンドを発行するユーザインタフェースである場合のＧＵＩの情報の一例を示す図である。
【００１８】
ＧＵＩの情報は、指ＩＤと、表示形式と、表示内容と、表示属性と、コマンドＩＤとを、対応付けたテーブルとなっている。“指ＩＤ”は、投影指を識別するインデックスであり、例えば、指ＩＤが１の場合は人差指２４−１を示し、指ＩＤが２の場合は中指２４−２を示し、指ＩＤが３の場合は薬指２４−３を示し、指ＩＤが４の場合は小指２４−４を示す。但し、図６Ｂ及び図７Ｃに示す例では、指ＩＤが２〜４の場合の情報の記載を省略している。“表示形式”は、指ＩＤが示す投影指へのＧＵＩの表示形式を示し、図６Ａ及び図６Ｂに示す例ではテキストとなっており、図７Ａ及び図７Ｃに示す例ではビットマップ画像となっている。“表示内容”は、指ＩＤが示す投影指へのＧＵＩの表示内容を示し、図６Ａ及び図６Ｂに示す例では表示されるテキストが設定されており、図７Ａ及び図７Ｃに示す例では表示される画像ファイルが設定されている。なお、表示される画像ファイルは、図７Ｂに示すとおりである。“表示属性”は、指ＩＤが示す投影指へのＧＵＩの表示色を示す。但し、図７Ａ及び図７Ｃに示す例では、ＧＵＩが画像であるため、表示属性は、設定されていない。“コマンドＩＤ”は、指ＩＤが示す投影指へ投影されたＧＵＩが選択された場合に発行されるコマンドを示す。
【００１９】
本実施形態では、ＧＵＩの情報が、投影指とＧＵＩ要素とを一意に結びつけている例について説明したが、これに限定されるものではない。例えば、コマンド発行装置１が投影する内容や、コマンド発行装置１の制御対象機器によっては、ＧＵＩ要素の数が投影指の数よりも少ない場合がある。また、ＧＵＩ要素の数が投影指の数と同じであったとしても、指同士の隠蔽により、一部の投影指しか認識されない場合もある。このため、ＧＵＩの情報は、投影指とＧＵＩ要素とを一意に結びつけないようにしてもよい。
【００２０】
図８Ａ及び図８Ｂは、投影指とＧＵＩ要素とを一意に結びつけないＧＵＩの情報の一例を示す図である。図８Ａ及び図８Ｂに示すＧＵＩの情報では、指ＩＤに代えて優先順位が設定されている。ここでは、優先順位の数値が小さいほど優先順位が高いものとする。
【００２１】
管理部１０５は、投影領域に投影されるＧＵＩの管理や、ＧＵＩが選択されることにより発行するコマンドを管理する。管理部１０５は、発行部１０５Ａを備える。なお、発行部１０５Ａの詳細については、後述する。
【００２２】
管理部１０５は、例えば、図６Ａに示すＧＵＩの情報である場合、人差指２４−１の投影領域に「照明“ＯＮ”」というテキストを割り当てるとともに、テキストの表示色を水色、背景色を白色に設定する。なお、「照明“ＯＮ”」は、照明をＯＮすることを示している。
【００２３】
また管理部１０５は、例えば、図６Ｂに示すＧＵＩの情報である場合、人差指２４−１の投影領域に「照明“ＯＦＦ”」というテキストを割り当てるとともに、テキストの表示色を黄色、背景色を白色に設定する。なお、「照明“ＯＦＦ”」は、照明をＯＦＦすることを示している。
【００２４】
また管理部１０５は、例えば、図７Ａに示すＧＵＩの情報である場合、中指２４−２の投影領域に「Ｐｌａｙ．ｊｐｇ」が示すアイコン画像を割り当てる。なお、「Ｐｌａｙ．ｊｐｇ」は、音声を再生することを示している。
【００２５】
また管理部１０５は、例えば、図７Ｃに示すＧＵＩの情報である場合、人差指２４−２の投影領域に「Ｐａｕｓｅ．ｊｐｇ」が示すアイコン画像を割り当てる。なお、「Ｐａｕｓｅ．ｊｐｇ」は、音声を一時停止することを示している。
【００２６】
また管理部１０５は、例えば、図８Ａや図８Ｂに示すＧＵＩの情報である場合、投影指についても別途優先順位を定める。例えば本実施形態のように、操作指を親指２３、投影指を親指以外の指２４としている場合には、親指以外の指２４が親指２３に近いほど、ＧＵＩを選択する際の親指２３の曲げ量が小さく、選択操作を行いやすいという身体的特性がある。この場合、管理部１０５は、人差指２４−１、中指２４−２、薬指２４−３、小指２４−４の順番で優先順位を高くする。具体的には、管理部１０５は、事前に操作指のカラーマーカ３０の中心位置と投影指それぞれの根元位置との距離を算出し、算出した距離が短いほど優先順位を高くする。なお、投影指それぞれの根元位置は、投影領域認識部１０３により算出され、操作指のカラーマーカ３０の中心位置は、操作領域認識部１０９により算出される。そして、管理部１０５は、優先順位の高い投影指から順番に図８Ａや図８Ｂに示す未割り当てのＧＵＩのうち最も優先順位の高いＧＵＩを割り当てていく。このようにすることで、選択操作が行いやすい投影指に、優先順位が高いＧＵＩを割り当てることができる。
【００２７】
位置対応テーブル記憶部１０６は、取得部１０１により取得される動画像の撮像面上の座標位置と投影部１０８の投影面上の座標位置とを対応付ける位置対応テーブルを記憶する。取得部１０１の撮像画角及び光軸と投影部１０８の投影画角及び光軸とが一致していない場合、取得部１０１の撮像範囲と投影部１０８の投影範囲とは一致しない。このため、位置対応テーブル記憶部１０６は、上記のように取得部１０１の撮像面と投影部１０８の投影面との位置の対応関係を保持する。
【００２８】
本実施形態では、投影部１０８が投影面の２次元座標で表現される予め定めた位置にパターンを投影するととともに取得部１０１が当該パターンを撮像して、投影面上の位置と撮像面上の位置とを対応付けることにより、位置対応テーブルが得られる。
【００２９】
本実施形態では、位置対応テーブルは、投影映像生成部１０７による投影映像の形状変換処理に用いられる。なお、投影映像生成部１０７が投影映像の形状変換処理に透視投影変換を用いる場合には、位置対応テーブルは、最低４つの対応関係を用意すればよく、各点についての撮像面上の位置と投影面上の位置とを保持する。これらの処理の具体的内容は、コンピュータビジョンの分野で公知の手法を用いることができ、例えば一般に入手可能なソフトウェアライブラリＯｐｅｎＣＶに含まれるｃｖＧｅｔＰｅｒｓｐｅｃｔｉｖｅＴｒａｎｓｆｏｒｍやｃｖＷａｒｐＰｅｒｓｐｅｃｔｉｖｅという命令を用いて行うことができるため、詳細な説明は省略する。
【００３０】
投影映像生成部１０７は、管理部１０５のＧＵＩの情報の設定に従って、投影領域認識部１０３により認識された投影領域に投影される投影映像を生成する。具体的には、投影映像生成部１０７は、投影指毎に、管理部１０５のＧＵＩの情報の設定に従って映像を生成し、生成した映像を位置対応テーブルに従って変換することにより、投影領域認識部１０３により認識された投影領域に一致する投影映像を生成する。これにより、投影部１０８は、投影領域に一致する投影映像を投影することができる。なお、投影映像生成部１０７は、グラフィックス処理プロセッサにより実現できる。
【００３１】
投影部１０８は、投影領域認識部１０３により認識された投影領域にＧＵＩの映像を投影する。具体的には、投影部１０８は、図９に示すように、投影映像生成部１０７により生成されたＧＵＩの投影映像５１−１〜５１−４を、それぞれ、投影領域認識部１０３により認識された投影指の投影領域４１−１〜４１−４に投影する。なお、人差指２４−１の投影領域４１−１は、矩形Ｆ１０Ｆ１１Ｆ１２Ｆ１３となっている。本実施形態では、投影部１０８は、プロジェクタにより実現されるものとするが、これに限定されるものではない。なお、操作者２１が手２２上の映像を視認するためには、プロジェクタの焦点が手２２への投影に合わせられている必要があるが、これは常に焦点が合うレーザ投影方式のプロジェクタを用いるか、プロジェクタに備えられている自動的に焦点距離を合わせる機構を利用すればよい。また、投影映像は、投影輝度が十分明るく、カラーマーカや掌表面の色に隠れない色である必要があるが、これらは事前に合わせておけばよい。また、プロジェクタによる投影面のゆがみ補正などは予め行われているものとする。なお投影部１０８は、プロジェクタの光源を常に投光するのではなく、投影領域認識部１０３により投影領域が認識された場合に投光を開始し、投影領域認識部１０３により投影領域が認識されなくなった場合に投光を停止するようにしてもよい。
【００３２】
操作領域認識部１０９は、取得部１０１により取得された動画像から、操作指の操作領域を認識する。具体的には、操作領域認識部１０９は、抽出部１０２により抽出された操作指の画像から、操作指の先端の形状特徴量を抽出し、抽出した形状特徴量で示される領域を操作領域として認識する。
【００３３】
図１０は、操作領域の認識手法の一例の説明図である。操作領域認識部１０９は、抽出部１０２により抽出されたカラーマーカ３０の領域を円４０に近似し、円４０の中心位置と半径を算出することで操作領域を認識する。具体的には、操作領域認識部１０９は、カラーマーカ３０の領域の重心を求め、円４０の中心位置とし、カラーマーカ３０の領域の面積である画素数をπで割り平方根を求めることで円４０の半径とする。
【００３４】
なお、操作領域認識部１０９が認識する操作領域の指標としては、このように親指２３の先端領域を円で近似する方法のほか、中心位置、長径方向と長さ、及び長径と垂直に交わる矩形の長さからなる楕円形状で近似する方法、長方形で近似する方法、又は複数の連結した線分の輪郭内の領域として近似する方法などを用いてもよい。
【００３５】
選択判定部１１０は、投影領域認識部１０３により認識された投影領域と操作領域認識部１０９により認識された操作領域との重なり度合いを評価して、投影領域に投影されているＧＵＩを選択したか否かを判定する。
【００３６】
ここで、発行部１０５Ａについて説明する。発行部１０５Ａは、選択判定部１１０によりＧＵＩを選択したと判定された場合、当該ＧＵＩに応じたコマンドを発行する。
【００３７】
例えば、図６Ａに示すＧＵＩの情報であり、人差指２４−１の投影領域に「照明“ＯＮ”」というＧＵＩの映像が投影され、人差指２４−１の投影領域に投影されているＧＵＩが選択されたと判定されたとする。この場合、発行部１０５Ａは、コマンド「ＬＩＧＨＴ＿ＯＮ」を発行する。
【００３８】
また例えば、図６Ｂに示すＧＵＩの情報であり、人差指２４−１の投影領域に「照明“ＯＦＦ”」というＧＵＩの映像が投影され、人差指２４−１の投影領域に投影されているＧＵＩが選択されたと判定されたとする。この場合、発行部１０５Ａは、コマンド「ＬＩＧＨＴ＿ＯＦＦ」を発行する。
【００３９】
通信部１１１は、発行部１０５Ａにより発行されたコマンドを外部の制御対象機器に送信する。また、通信部１１１は、コマンドを送信した外部の制御対象機器から、コマンド送信の結果としてＧＵＩの情報の変更通知を受信すると、管理部１０５へ通知する。これにより、管理部１０５は、ＧＵＩ情報記憶部１０４に記憶されているＧＵＩの情報のうち使用するＧＵＩの情報を切り替える。例えば、管理部１０５は、図６Ａに示すＧＵＩの情報を使用しており、発行部１０５Ａがコマンド「ＬＩＧＨＴ＿ＯＮ」を発行した場合には、外部の制御対象機器からの変更通知を受け、図６Ｂに示すＧＵＩの情報に切り替える。
【００４０】
図１１は、第１実施形態のコマンド発行装置１で実行される処理の一例を示すフローチャートである。なお、図１１に示す処理フローは、例えば、毎秒３０回又は６０回実行される。このため、操作者２１によるＧＵＩの選択操作の判定は、即時実行されるとともに、操作者２１の投影指が動いたとしても投影指に投影されている投影映像は投影指に即時追従する。
【００４１】
まず、取得部１０１は、操作者の手を撮像した動画像を取得する取得処理を行う（ステップＳ１０１）。
【００４２】
続いて、抽出部１０２は、取得部１０１により取得された動画像に画像処理を施し、投影指と操作指とを抽出する抽出処理を行う（ステップＳ１０２）。
【００４３】
続いて、投影領域認識部１０３は、抽出部１０２により抽出された投影指の画像から、投影指の投影領域を認識する投影領域認識処理を行う（ステップＳ１０３）。
【００４４】
ここで、投影領域認識処理の詳細について説明する。
【００４５】
まず本実施形態では、投影指の投影領域に投影されているＧＵＩの映像上に操作指の操作領域を重ねることによりＧＵＩの選択を行うため、図１２に示すように、抽出部１０２により抽出された投影指の画像では、投影指に装着されているカラーマーカが操作指により隠蔽される場合がある。図１２に示す例では、人差指２４−１に装着されているカラーマーカ３１−１が親指２３により隠蔽されている。このように、投影指に装着されているカラーマーカが隠蔽されている場合には、投影領域認識部１０３は、隠蔽されているカラーマーカの領域を推定する必要がある。このため、投影領域認識部１０３は、事前処理として、投影指に装着されているカラーマーカが隠蔽されていない状態での投影指の特徴量である事前特徴量を抽出しておく必要がある。
【００４６】
図１３は、第１実施形態の投影指の事前特徴量の抽出手法の一例を示す説明図である。投影領域認識部１０３は、図１３に示すように、抽出部１０２により抽出された投影指に装着されているカラーマーカが隠蔽されていない画像に対して、画像の左上の点を原点とし、水平方向をｘ軸、鉛直方向をｙ軸とする座標系を設定する。
【００４７】
ここで、投影領域認識処理の詳細について説明する。
投影領域認識部１０３は、投影指の事前特徴量を、当該投影指に装着されたカラーマーカの先端側の点と根本側の点の位置とにより特定する。ここで、投影領域認識部１０３は、投影指のＩＤをｎ（ｎ＝１〜４）とし、本実施形態では、人差指２４−１のＩＤをｎ＝１、中指２４−２のＩＤをｎ＝２、薬指２４−３のＩＤをｎ＝３、小指２４−４のＩＤをｎ＝４とする。また、投影領域認識部１０３は、投影指の根本側の点をＰｎ、投影指の先端側の点をＰ’ｎとする。具体的には、投影領域認識部１０３は、投影指のＩＤ毎に、ｘ座標の値が一番大きい画素の座標をＰ’ｎ、ｘ座要の値が一番小さい画素の座標をＰｎとする。
【００４８】
そして、投影領域認識部１０３は、Ｐ１〜Ｐ４の重心点Ｇを求め、方向ベクトルＰ１Ｐ’１〜Ｐ４Ｐ’４の平均の方向ベクトルＶを求める。更に、投影領域認識部１０３は、投影指のＩＤ毎に、方向ベクトルＰｎＰ’ｎと垂直に交わる直線方向で当該線分ＰｎＰ’ｎと最も離れる画素を探索し、当該画素と線分ＰｎＰ’ｎとの距離を、線分ＰｎＰ’ｎから反時計回りの方向については特徴量ｅｎ、線分ＰｎＰ’ｎから時計回りの方向については特徴量ｆｎに格納する。
【００４９】
図１４は、第１実施形態の投影領域認識処理の一例を示すフローチャートである。
【００５０】
まず、投影領域認識部１０３は、投影指の特徴点Ｒｎ、Ｒ’ｎを抽出する（ステップＳ２０１）。具体的には、投影領域認識部１０３は、図１５に示すように、投影指に装着されたカラーマーカの領域３２−ｎの根本側の点Ｒｎと先端側の点Ｒ’ｎを抽出する。この処理の内容は、事前特徴量の抽出の内容と同様であるため、詳細な説明は省略する。
【００５１】
続いて、投影領域認識部１０３は、事前特徴点Ｐｎ、Ｐ’ｎに基づいて、隠蔽を考慮した根本側の推定点Ｒ’’ｎを算出する（ステップＳ２０２）。具体的には、投影領域認識部１０３は、図１５に示すように、Ｒ’ｎを基点としてＲ’ｎからＲｎ方向に線分ＰｎＰ’ｎの長さだけ伸ばした点をＲ’’ｎとする。
【００５２】
続いて、投影領域認識部１０３は、根本側の推定点Ｒ’’ｎの補正点Ｓｎを算出する（ステップＳ２０３）。具体的には、まず、投影領域認識部１０３は、図１６に示すように、Ｒ’’１〜Ｒ’’４の重心点Ｇ’’を求める。次に、投影領域認識部１０３は、方向ベクトルＲ’’１Ｒ’１〜Ｒ’’４Ｒ’４の平均の方向ベクトルＶ’’を求める。次に、投影領域認識部１０３は、方向ベクトルＧ’’Ｒｎそれぞれと方向ベクトルＶ’’との内積ｄｎを求め、ｄｎが最も小さいＩＤをｍとする。ここでは、ｍ＝４となる。また、このｍについて、Ｓｍ＝Ｒ’’ｍとする。次に、投影領域認識部１０３は、ｍ以外の投影指については、直線ＰｍＰｎ（ｎ≠ｍ）それぞれと、当該直線ＰｍＰｎとＶの交わる角度ａｎ（ｎ≠ｍ）を求める。そして、投影領域認識部１０３は、図１７に示すように、Ｓｍをとおり、方向ベクトルＶ’’と角度ａｎで交わる直線Ｌｎ（ｎ≠ｍ）、線分Ｒ’’ｎＲｎ（ｎ≠ｍ）との交点Ｓｎ（ｎ＝ｍ以外のｎ）を求める。図１７では、ｎ＝３の場合を示している。なお投影領域認識部１０３は、あるｎについて、線分Ｒ’’ｎＲｎがＬｎと交わらない場合には、Ｓｎ=Ｒ’’ｎとする。
【００５３】
続いて、投影領域認識部１０３は、図１８に示すように、投影指のＩＤ毎に、線分ＳｎＲ’ｎの端点Ｓｎ及びＲ’ｎから直交する方向に、あらかじめ算出した指の太さを示す特徴量ｅｎ、ｆｎの分だけ離れた点Ｆｎｉ（ｉ＝０〜３）を求める。そして、投影領域認識部１０３は、投影指のＩＤ毎に、矩形Ｆｎ０Ｆｎ１Ｆｎ２Ｆｎ３を投影領域として認識する（ステップＳ２０４）。
【００５４】
なお、投影領域の指標としては、このように投影領域を矩形で近似する方法のほか、中心位置、長径方向と長さ、及び長径と垂直に交わる矩形の長さからなる楕円形状で近似する方法、複数の連結した線分の輪郭内の領域として近似する方法などを用いることもできる。
【００５５】
図１１に戻り、続いて、投影映像生成部１０７は、投影指毎に、管理部１０５のＧＵＩの情報の設定に従って映像を生成し、生成した映像を位置対応テーブルに従って変換することにより、投影領域認識部１０３により認識された投影領域に一致する投影映像を生成する投影映像生成処理を行う（ステップＳ１０４）。
【００５６】
続いて、投影部１０８は、投影映像生成部１０７により生成されたＧＵＩの投影映像を、投影領域認識部１０３により認識された投影領域に投影する投影処理を行う（ステップＳ１０５）。
【００５７】
ここで、投影処理の詳細について説明する。
【００５８】
図１９は、第１実施形態の投影処理の一例を示すフローチャートである。
【００５９】
まず、投影部１０８は、自身によって投影される投影映像を格納する領域をフレームメモリ上に確保し初期化する（ステップＳ３０１）。例えば、投影部１０８は、プロジェクタにおいて、黒色を表示する領域は映像が投影されないため、全体を黒色で初期化する。
【００６０】
続いて、投影映像生成部１０７は、投影領域認識部１０３から入力された各投影指の投影領域の情報を得、ＩＤ＝ｎの投影指の投影領域である矩形Ｆｎ０Ｆｎ１Ｆｎ２Ｆｎ３の各頂点の座標を用いたポリゴンを定義し、ポリゴンの各頂点にテクスチャ座標（ｕ，ｖ)を割り当てる（図９参照、ステップＳ３０２）。
【００６１】
続いて、投影映像生成部１０７は、位置対応テーブル記憶部１０６の情報を用いて、透視投影変換処理を行い、ポリゴンの各頂点Ｆｎ０Ｆｎ１Ｆｎ２Ｆｎ３を、Ｆ’ｎ０Ｆｎ’１Ｆ’ｎ２Ｆ’ｎ３に変換する（ステップＳ３０３）。この処理はグラフィックス処理プロセッサの頂点シェーダ機能により実現できる。
【００６２】
続いて、投影映像生成部１０７は、各投影指の投影領域に対するテクスチャ画像（ＧＵＩの画像）を生成する（ステップＳ３０４）。例えば、投影指の先端に比べ、投影指の根本のほうが操作指によって隠れやすいという身体的特徴を利用して、投影指の先端側に文字列や画像を寄せて描画してもよい。例えば、左手を操作に利用する場合には右側に寄せればよい。
【００６３】
続いて、投影映像生成部１０７は、テクスチャ画像をポリゴン領域にマッピングする（ステップＳ３０５）。この処理は、グラフィックス処理プロセッサのテクスチャマッピング機能により実現できる。
【００６４】
これにより、図９に示すような投影画像がグラフィックス処理プロセッサのフレームメモリ上に生成されるので、投影部１０８は、この投影画像を投影する（ステップＳ３０６）。
【００６５】
図１１に戻り、続いて、操作領域認識部１０９は、抽出部１０２により抽出された操作指の画像から操作領域を認識する操作領域認識処理を行う（ステップＳ１０６）。
【００６６】
続いて、選択判定部１１０は、投影領域認識部１０３により認識された投影領域と操作領域認識部１０９により認識された操作領域との重なり度合いを評価して、投影領域に投影されているＧＵＩを選択したか否かを判定する選択判定処理を行う（ステップＳ１０７）。
【００６７】
ここで、選択判定処理の詳細について説明する。
【００６８】
図２０は、第１実施形態の選択判定処理の一例を示すフローチャートである。図２０に示す例では、選択判定部１１０は、操作指と重なった投影指のＩＤを格納する変数ＳＩＤと、重なりが開始されてからの経過時間を格納する変数ＳＴｉｍｅという内部変数を有する。ＳＩＤが取り得る値は、１〜４、又はいずれの投影指にも操作指が重なっていないことを示す無効の値−１である。ＳＴｉｍｅが取り得る値は、０以上の実数である。なお、コマンド発行装置１の起動時に、選択判定部１１０は、ＳＩＤを−１、ＳＴｉｍｅを０に初期化する。
【００６９】
まず、選択判定部１１０は、各投影指のＩＤ毎に、操作指の操作領域と投影指の投影領域とが撮像面上で重なっている領域の面積Ｒ（ＩＤ）を求める（ステップＳ４０１）。
【００７０】
続いて、選択判定部１１０は、最も重なり面積が多い投影指のＩＤを求め、この値をＣＩＤとし、このＩＤの投影指の重なり面積をＲとする（ステップＳ４０２）。
【００７１】
続いて、選択判定部１１０は、Ｒと閾値ＲＴを比較する（ステップＳ４０３）。
【００７２】
Ｒ＞＝ＲＴであれば（ステップＳ４０３でＹｅｓ）、選択判定部１１０は、ＣＩＤとＳＩＤが等しいか否か判定する（ステップＳ４０４）。
【００７３】
ＣＩＤ＝ＳＩＤであれば（ステップＳ４０４でＹｅｓ）、選択判定部１１０は、ＳＴｉｍｅに、前回判定時刻から現在時刻までの経過時間を加算する（ステップＳ４０５）。
【００７４】
続いて、選択判定部１１０は、ＳＴｉｍｅと選択時間の閾値ＳＴｉｍｅＴとを比較する（ステップＳ４０６）。
【００７５】
ＳＴｉｍｅ＞＝ＳＴｉｍｅＴであれば（ステップＳ４０６でＹｅｓ）、選択判定部１１０は、操作者２１がＳＩＤのＧＵＩを選択したと判定し、ＳＩＤを発行部１０５Ａへ出力し（ステップＳ４０７）、処理を終了する。
【００７６】
一方、Ｒ＞＝ＲＴでない（ステップＳ４０３でＮｏ）、または、ＣＩＤ＝ＳＩＤでないなら（ステップＳ４０４でＮｏ）、選択判定部１１０は、操作者２１がＧＵＩを選択していないと判定し、ＳＩＤを−１、ＳＴｉｍｅを０に初期化し（ステップＳ４０８）、処理を終了する。また、ＳＴｉｍｅ＞＝ＳＴｉｍｅＴでないなら（ステップＳ４０６でＮｏ）、選択判定部１１０は、処理を終了する。
【００７７】
以上のように第１実施形態によれば、外部の制御対象機器の操作を、投影指に投影されたＧＵＩ映像を視認し、操作指により当該ＧＵＩ映像をタッチするという片手操作で完結できる。また、外部の制御対象機器の状態をＧＵＩ映像として表示することも可能であるため、外部の制御対象機器を投影指に投影された映像から確認することもできる。なお第１実施形態では、片手に操作指と投影指がある場合について説明したが、両手を利用し、投影指がある指と反対の手の指を操作指とする場合でも、投影指がある指と反対側の手の操作指にカラーマーカを付加することによって、操作領域の位置を検出可能であり、上述の手法により実施可能である。また、操作指と投影指を片手の指に配置しながら、その手と逆の手にさらに操作指を割り当ててもよいし、投影指を割り当ててもよいし、操作指と投影指の双方を割り当てることも同様に可能である。
【００７８】
（変形例１）
上記第１実施形態では、操作者２１が操作指を投影指のＧＵＩの映像上に重ねることで、ＧＵＩを選択する例について説明したが、変形例１では、操作者２１が操作指を用いるのではなく、操作者２１が選択対象のＧＵＩの映像が投影されている投影指を折り曲げることで、ＧＵＩを選択する例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００７９】
図２１は、変形例１のコマンド発行装置２の一例を示す構成図である。変形例１では、選択判定部１１２の処理内容が第１実施形態と相違する。
【００８０】
選択判定部１１２は、投影指の曲げ具合を評価して、ＧＵＩを選択したか否かを判定する。具体的には、選択判定部１１２は、各投影指それぞれについて、矩形Ｆｎ０Ｆｎ１Ｆｎ２Ｆｎ３（投影領域）の各点うち、最もｘ軸の座標が大きいものをｂｎに代入する。なお、ｎ＝１〜４である。次に、選択判定部１１２は、ｂｎの平均値ｂＡｖｇを求め、ｂｎ−ｂＡｖｇを折り曲げ量とみなす。そして、選択判定部１１２は、折り曲げ量ｂｎ−ｂＡｖｇを予め定めた閾値ｂＴと比較し、ｂｎ−ｂＡｖｇ＜＝ｂＴであれば、ＩＤがｎの投影指が折り曲げられている、即ち、ＩＤがｎの投影指の投影領域に投影されているＧＵＩを選択したと判定し、判定結果を管理部１０５へ出力する。一方、選択判定部１１２は、すべての指についてｂｎ−ｂＡｖｇ＞ｂＴであれば、いずれの投影指も折り曲げられていない、即ち、いずれのＧＵＩも選択されていないと判定し、判定結果を管理部１０５へ出力する。
【００８１】
これにより、操作者２１は、選択対象のＧＵＩの映像が投影されている投影指を折り曲げることで、ＧＵＩを選択することができる。
【００８２】
なお、選択可能なＧＵＩは複数であってもよく、選択判定部１１２は、折り曲げ量が大きい順に投影指を順位付けし、例えば、順位が高い順に２つ以上の投影指の投影領域に投影されているＧＵＩを同時に選択するとしてもよい。
【００８３】
また上記第１実施形態と変形例１とを組み合わせ、操作指を投影指のＧＵＩの映像上に重ねることによるＧＵＩの選択と、操作者２１が選択対象のＧＵＩの映像が投影されている投影指を折り曲げることによるＧＵＩの選択とを、併用するようにしてもよい。
【００８４】
（変形例２）
上記第１実施形態では、１本の投影指に１つのＧＵＩを投影する例について説明したが、変形例２では、１本の投影指に複数のＧＵＩを投影する例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００８５】
図２２は、変形例２のコマンド発行装置３の一例を示す構成図である。変形例２では、コマンド発行装置３が分割部１１３を更に備える点が第１実施形態と相違する。
【００８６】
分割部１１３は、投影領域認識部１０３により認識された投影領域を複数の分割投影領域に分割する。図２３は、変形例２の分割部１１３の分割手法の一例を示す説明図である。図２３に示す例では、分割部１１３は、投影領域認識部１０３により認識された投影領域４１−１である矩形Ｆ１０Ｆ１１Ｆ１２Ｆ１３を、１つ目の分割投影領域である矩形Ｆ１０Ｆ１１Ｆ１ｃＦ１ａと、２つ目の分割投影領域である矩形Ｆ１ａＦ１ｃＦ１ｄＦ１ｂと、３つ目の分割投影領域である矩形Ｆ１ｂＦ１ｄＦ１２Ｆ１３とに、３分割している。なお、分割部１１３は、投影領域を投影指の関節位置に基づいて分割してもよいし、投影領域を単純に等分してもよい。
【００８７】
なお図２３に示す例では、ＧＵＩ情報記憶部１０４には、ＧＵＩの情報としてテンキーの情報が記憶されており、１つ目の分割投影領域である矩形Ｆ１０Ｆ１１Ｆ１ｃＦ１ａには、ボタン１が割り当てられ、２つ目の分割投影領域である矩形Ｆ１ａＦ１ｃＦ１ｄＦ１ｂには、ボタン２が割り当てられ、３つ目の分割投影領域である矩形Ｆ１ｂＦ１ｄＦ１２Ｆ１３には、ボタン３が割り当てられている。このため、投影部１０８は、１つ目の分割投影領である矩形Ｆ１０Ｆ１１Ｆ１ｃＦ１ａにボタン１のＧＵＩの映像５２−１を投影し、２つ目の分割投影領である矩形Ｆ１ａＦ１ｃＦ１ｄＦ１ｂにボタン２のＧＵＩの映像５２−２を投影し、３つ目の分割投影領である矩形Ｆ１ｂＦ１ｄＦ１２Ｆ１３にボタン３のＧＵＩの映像５２−３を投影している。
【００８８】
なお、選択判定部１１０は、操作領域と分割投影領域との重なり具合を評価することで、ＧＵＩが選択されたか否かを判定する。
【００８９】
これにより、テンキーなどを投影指上に投影することや、より多様なメニューなどを投影することが可能となる。
【００９０】
（変形例３）
変形例１のように、操作者２１が選択対象のＧＵＩの映像が投影されている投影指を折り曲げることで、ＧＵＩを選択する場合には、赤外線センサで取得したシルエット画像を特徴量として用いることもできる。
【００９１】
この場合、取得部１０１は、可視光カメラの代わりに赤外線光源により手２２に赤外光を照射し、赤外線のみを透過するフィルタを取り付けた赤外線カメラによって手２２の表面で拡散反射した赤外光を撮像する。
【００９２】
また、抽出部１０２は、手２２以外の背景領域では赤外線の反射光が減衰するため、赤外線がある閾値以上の強さで反射した領域のみを抽出することで、手２２の領域を手２２以外の背景領域から分離することができる。これにより、抽出部１０２は、手２２のシルエット画像を抽出する。
【００９３】
また、投影領域認識部１０３は、手２２のシルエットの輪郭線をたどりながら輪郭線の変曲点を抽出することで、手２２のシルエット画像から投影指の投影領域を認識することができる。
【００９４】
これにより、操作者２１は、投影指にカラーマーカを装着しなくても、投影指を折り曲げることによりＧＵＩを選択することができる。
【００９５】
（変形例４）
上記第１実施形態では、可視光カメラを用いて操作者２１が各指に装着したカラーマーカの色を認識することで操作指と投影指との撮像面上の位置を認識したが、変形例４では可視光カメラの代わりに距離センサを用いて操作指と投影指との撮像面上の位置を認識する例について説明する。
【００９６】
ここで、距離センサとは、カメラから物体までの距離を画像として取得するセンサである。例えば、赤外線カメラ付近に取り付けた赤外線光源により手２２を照射し、距離が遠くなるにつれて反射光が減衰することを利用して反射光の強さを距離として求める方法がある。また、レーザ光源などにより特定のパターンを投影して、距離に応じて物体表面の反射パターンが変化することを利用して距離を求める方法もある。また、距離を離して設置した２台の可視光カメラで撮像した画像における視差が、距離が近い物体ほど大きくなることを利用して画像処理で距離を求める方法もある。変形例４では、取得部１０１はいずれの方法で距離を取得してもよい。
【００９７】
このように、変形例４では、取得部１０１は、コマンド発行装置１から手２２又は背景までの距離を輝度として表現した画像（以下、距離画像と称する）を取得するものとする。
【００９８】
ここで、距離画像の各画素には、コマンド発行装置１から手２２又は背景までの距離ｄが数値として格納されている。なお、距離が近いほどｄの値は小さく、距離が離れているほどｄの値は大きい。
【００９９】
抽出部１０２は、距離ｄの分布を元に、閾値ｄＴｓ及びｄＴｐを用いて、距離画像を、折り曲げられた操作指の領域と投影指及び掌の領域と背景領域とに分離する。そして、抽出部１０２は、ｄ＜ｄＴｓの領域を、折り曲げられた操作指の領域として抽出し、当該領域のシルエットの輪郭線の変曲点を判定することにより、操作指の先端領域を操作領域認識部１０９に出力する。また、抽出部１０２は、ｄＴｓ＜＝ｄ＜ｄＴｐの領域を、投影指及び掌の領域として抽出し、当該領域のシルエットの輪郭線の変曲点を判定することにより、投影指の根本から先端までの領域を投影領域認識部１０３に出力する。
【０１００】
このようにすれば、カラーマーカを使用せずに操作指と投影指との撮像面上の位置を認識することができる。
【０１０１】
（第２実施形態）
第２実施形態では、手の姿勢に応じて投影指に投影されているＧＵＩの映像を切り替える例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１０２】
図２４は、第２実施形態のコマンド発行装置４の一例を示す構成図である。第２実施形態では、コマンド発行装置４が掌領域認識部１１４、切替判定部１１５、及び切替部１１６を更に備える点が第１実施形態と相違する。
【０１０３】
掌領域認識部１１４は、投影領域認識部１０３により認識された投影領域を用いて、掌領域を認識する。具体的には、掌領域認識部１１４は、投影領域認識部１０３により認識された投影領域を用いて、掌の形状特徴量を抽出し、抽出した形状特徴量で示される領域を掌領域として認識する。
【０１０４】
図２５は、第２実施形態の掌領域認識部１１４の掌領域認識手法の一例を示す説明図である。図２５に示す例では、掌領域認識部１１４は、掌を示す掌領域３６を正方形Ｈ０Ｈ１Ｈ２Ｈ３として認識している。ここで、Ｈ３は、投影領域認識部１０３により設定されたＰ１（人差し指２４−１の根本）であり、Ｈ２は、投影領域認識部１０３により設定されたＰ４（小指２４−４の根本）である。つまり、掌領域認識部１１４は、線分Ｈ２Ｈ３を求め、線分Ｈ２Ｈ３を１辺とする正方形Ｈ０Ｈ１Ｈ２Ｈ３を認識する。なお、線分Ｈ０Ｈ１は、線分Ｈ２Ｈ３と長さが等しく直交する線分である。なお、掌領域３６の認識手法はこれに限定されるものではなく、掌表面の色情報などの情報を用いて認識してもよい。
【０１０５】
切替判定部１１５は、掌領域認識部１１４により認識された掌領域と操作領域認識部１０９により認識された操作領域との重なり度合いを評価して、投影領域への投影対象のＧＵＩを切り替えるか否かを判定する。切替判定部１１５は、選択判定部１１０同様の判定手法で判定し、一定時間ＨＴｉｍｅＴ以上、掌領域と操作領域との重なり面積がＨＴ以上であれば、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１５は、一定時間ＨＴｉｍｅＴ以上、掌領域と操作領域との重なり面積がＨＴ以上でなければ、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１０６】
切替部１１６は、切替判定部１１５によりＧＵＩの映像を第１状態のＧＵＩに切り替えると判定された場合に、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替え、切替判定部１１５によりＧＵＩの映像を第２状態のＧＵＩに切り替えると判定された場合に、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替える。
【０１０７】
例えば、ＧＵＩ情報記憶部１０４は、図２６Ａ〜図２６Ｄに示すＧＵＩの情報を記憶しており、図２６Ａ〜図２６Ｂに示すＧＵＩの情報が第１状態のＧＵＩであり、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報が第２状態のＧＵＩであるとする。
【０１０８】
この場合、操作者２１が親指２３を掌領域３６に重ね、切替判定部１１５により第１状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ａ〜図２６Ｂに示すＧＵＩの情報を設定し、図２７Ａに示すように、ＧＵＩ５３〜１〜５３〜４がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１０９】
一方、操作者２１が親指２３を掌領域３６に重ねておらず、切替判定部１１５により第２状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報を設定し、図２７Ｂに示すように、ＧＵＩ５３〜５〜５３〜８がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１１０】
なお、切替判定部１１５は、操作者２１が、操作指を掌上に重ねてから投影指上に移動させた場合には、操作指が掌上に重なっていなくても掌に操作指を重ねたという前状態を保持するなどとして切替判定を行ってもよい。
【０１１１】
これにより、操作者２１が操作指を掌上に重ねる手の姿勢をとるか否かに応じてＧＵＩの表示内容を切り替えることができる。なお、操作者２１が操作指を掌上に重ねていない場合には、投影指にＧＵＩを投影せず、操作者２１が操作指を掌上に重ねている場合に、投影指にＧＵＩを投影するようにしてもよい。
【０１１２】
第２実施形態によれば、投影するＧＵＩの要素が多数存在し、かつＧＵＩ要素の個数が固定でない場合でも、表示内容を切り替えながら複数のＧＵＩ要素を表示することができる。
【０１１３】
（変形例５）
上記第２実施形態では、操作者２１が操作指を掌に重ねることで、ＧＵＩを切り替える例について説明したが、変形例５では、操作者２１が投影指を開閉することで、ＧＵＩを切り替える例について説明する。なお以下では、第２実施形態との相違点の説明を主に行い、第２実施形態と同様の機能を有する構成要素については、第２実施形態と同様の名称・符号を付し、その説明を省略する。
【０１１４】
図２８は、変形例５のコマンド発行装置５の一例を示す構成図である。変形例５では、切替判定部１１７の処理内容が第２実施形態と相違する。
【０１１５】
切替判定部１１７は、投影指の開き具合を評価して、投影領域への投影対象のＧＵＩを切り替えるか否かを判定する。切替判定部１１７は、投影指が開かれていれば、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１７は、投影指が開かれていなければ、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１１６】
具体的には、切替判定部１１７は、推定した投影指の根本位置Ｓｎに関する方向ベクトルＳｎＲ’ｎの和の方向ベクトルＶｓと各投影指の方向ベクトルＳｎＲ’ｎとの内積ｄｎの絶対値の和ｄＳｕｍを閾値ｄＴと比較する。そして、切替判定部１１７は、ｄＳｕｍ＜＝ｄＴの場合には指が開いていると判定し、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１７は、ｄＳｕｍ＞ｄＴの場合には指が閉じていると判定し、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１１７】
例えば、操作者２１が投影指を開き、切替判定部１１７により第１状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ａ〜図２６Ｂに示すＧＵＩの情報を設定し、図２９Ａに示すように、ＧＵＩ５３〜１〜５３〜４がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１１８】
一方、操作者２１が投影指を閉じ、切替判定部１１７により第２状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報を設定し、図２９Ｂに示すように、ＧＵＩ５３〜５〜５３〜８がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１１９】
これにより、操作者２１が投影指を開く手の姿勢をとるか否かに応じてＧＵＩの表示内容を切り替えることができる。なお、操作者２１が投影指を閉じた場合には、投影指にＧＵＩを投影せず、操作者２１が投影指を開いている場合に、投影指にＧＵＩを投影するようにしてもよい。
【０１２０】
（変形例６）
上記第２実施形態では、操作者２１が操作指を掌に重ねることで、ＧＵＩを切り替える例について説明したが、変形例６では、操作者２１が投影指の方向を変更することで、ＧＵＩを切り替える例について説明する。なお以下では、第２実施形態との相違点の説明を主に行い、第２実施形態と同様の機能を有する構成要素については、第２実施形態と同様の名称・符号を付し、その説明を省略する。
【０１２１】
図３０は、変形例６のコマンド発行装置６の一例を示す構成図である。変形例６では、切替判定部１１８の処理内容が第２実施形態と相違する。
【０１２２】
切替判定部１１８は、投影指の方向を評価して、投影領域への投影対象のＧＵＩを切り替えるか否かを判定する。切替判定部１１８は、投影指が鉛直方向に向けられていれば、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１８は、投影指が水平方向に向けられていれば、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１２３】
具体的には、切替判定部１１８は、推定した指の根本位置Ｓｎに関する方向ベクトルＳｎＲ’ｎの和の方向ベクトルＶｓの撮像面の水平方向に対するなす角度ａＳを求め、ａＳと閾値ａＳＴとを比較する。そして、切替判定部１１８は、ａＳ>＝ａＳＴであれば投影指を鉛直方向に向けていると判定し、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１８は、ａＳ<ａＳＴであれば手を水平方向に向けていると判定し、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１２４】
例えば、操作者２１が投影指をを鉛直方向に向け、切替判定部１１８により第１状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ａ〜図２６Ｂに示すＧＵＩの情報を設定し、図３１Ａに示すように、ＧＵＩ５３〜１〜５３〜４がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１２５】
一方、操作者２１が投影指を水平方向に向け、切替判定部１１８により第２状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報を設定し、図３１Ｂに示すように、ＧＵＩ５３〜５〜５３〜８がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１２６】
これにより、操作者２１が投影指を向ける方向（手の姿勢）に応じてＧＵＩの表示内容を切り替えることができる。なお、操作者２１が投影指を水平方向に向けた場合には、投影指にＧＵＩを投影せず、操作者２１が投影指を鉛直方向に向けている場合に、投影指にＧＵＩを投影するようにしてもよい。
【０１２７】
（変形例７）
上記第２実施形態では、操作者２１が操作指を掌に重ねることで、ＧＵＩを切り替える例について説明したが、変形例７では、操作者２１が操作指の投影指に対する相対位置を変更することで、ＧＵＩを切り替える例について説明する。なお以下では、第２実施形態との相違点の説明を主に行い、第２実施形態と同様の機能を有する構成要素については、第２実施形態と同様の名称・符号を付し、その説明を省略する。
【０１２８】
図３２は、変形例７のコマンド発行装置７の一例を示す構成図である。変形例７では、切替判定部１１９の処理内容が第２実施形態と相違する。
【０１２９】
切替判定部１１９は、操作領域と投影領域との相対位置を評価して、投影領域への投影対象のＧＵＩを切り替えるか否かを判定する。切替判定部１１９は、操作領域と投影領域との距離が閾値以上離れていれば操作指と投影指とが離れていると判定し、投影領域への投影対象のＧＵＩを第１状態のＧＵＩに切り替えると判定する。一方、切替判定部１１９は、操作領域と投領域との距離が閾値以上離れていなければ操作指と投影指とが離れていないと判定し、投影領域への投影対象のＧＵＩを第２状態のＧＵＩに切り替えると判定する。
【０１３０】
例えば、操作者２１が操作指と投影指とを離し、切替判定部１１９により第１状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ａ〜図２６Ｂに示すＧＵＩの情報を設定し、図３３Ａに示すように、ＧＵＩ５３〜１〜５３〜４がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１３１】
一方、操作者２１が操作指と投影指とをくっ付け、切替判定部１１９により第２状態のＧＵＩに切り替えると判定されれば、切替部１１６は、図２６Ｃ〜図２６Ｄに示すＧＵＩの情報を設定し、図３３Ｂに示すように、ＧＵＩ５３〜５〜５３〜８がそれぞれ投影領域４１〜１〜４１〜４に投影される。
【０１３２】
これにより、操作指と投影指との相対位置（手の姿勢）に応じてＧＵＩの表示内容を切り替えることができる。なお、操作者２１が操作指と投影指とをくっ付けた場合には、投影指にＧＵＩを投影せず、操作者２１が投影指を操作指と投影指とを離している場合に、投影指にＧＵＩを投影するようにしてもよい。
【０１３３】
また、操作者２１が操作指で投影指をなぞる操作を行った場合に、操作指の移動方向を検出し、投影指の付け根から指先の方向へなぞった場合と、投影指の指先から付け根の方向へなぞった場合で、ＧＵＩを切り替えるようにしてもよい。
【０１３４】
（第３実施形態）
第３実施形態では、操作者に現在の操作内容を視認させるフィードバック映像を投影する例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１３５】
図３４は、第３実施形態のコマンド発行装置８の一例を示す構成図である。第３実施形態では、コマンド発行装置８がフィードバック映像生成部１２０、及び重畳部１２１を更に備える点が第１実施形態と相違する。
【０１３６】
フィードバック映像生成部１２０は、選択判定部１１０により操作領域が重なっていると判定されている投影領域に投影されているＧＵＩの映像のフィードバック映像を、生成する。ここで、フィードバック映像とは、操作者２１に現在の操作内容を視認させるための投影映像である。
【０１３７】
操作者２１が投影指上のＧＵＩの映像に操作指を重ねた場合、操作指と投影指に投影映像が横断的に投影されてしまい、投影指上のＧＵＩの映像の視認性が低下してしまう。このため、フィードバック映像生成部１２０は、操作者２１が現在選択しようとしている投影指上のＧＵＩの映像を、当該投影指以外の場所に投影するか、当該投影指の投影領域のうち操作指が重なっていない領域に短縮して投影する。
【０１３８】
ここで、選択判定部１１０では、操作領域と投影領域とが一定時間以上重なっている場合にＧＵＩを選択したと判定したが、フィードバック映像生成部１２０は、操作領域と投影領域とが重なっていれば、フィードバック映像を生成する。
【０１３９】
つまり、フィードバック映像生成部１２０は、図２０に示すフローチャートのステップＳ４０３及びＳ４０４の条件判定のみを行い、経過時間については判定を行わない。そして、閾値を上回ったＩＤの投影指に投影されているＧＵＩの映像のフィードバック映像を生成する。
【０１４０】
例えば、投影部１０８は、図３５に示すように、操作者２１が選択使用としているＧＵＩ５１−１のフィードバック映像５１−５を、操作指の根本に投影する。フィードバック映像生成部１２０は、フィードバック映像５１−５の投影位置を、操作指により投影指の根本側を選択した場合と、投影指の先端側を選択した場合とに分類して決定する。この分類は、投影領域を先端側と根本側の２領域に等分し、どちらの領域に操作指の中心位置が重なっているかを判定すればよい。操作者２１が投影指の根本側を選択した場合には、人差し指２４−１の根本位置から人差し指２４−１の長さの分だけ掌方向へ移動した点（図１８において、Ｓ１を起点として、線分Ｒ’１Ｓ１の長さの分だけ、方向ベクトルＲ’１Ｓ１の方向へ延長した点）とする。一方、操作者２１が投影指の先端側を選択した場合には、操作指によって選択した投影指の根元位置の点と、人差し指２４−１の根本位置の点の中点から、人差し指２４−１の長さの分だけ掌方向へ移動した点（操作指によって選択した投影指の根元位置の点と、人差し指２４−１の根本位置の点の中点を起点として、図１８に示した線分Ｒ’１Ｓ１の長さの分だけ、方向ベクトル線分Ｒ’１Ｓ１の方向へ延長した点）とする。
【０１４１】
また例えば、投影部１０８は、図３６に示すように、操作者２１が選択しようとしているＧＵＩ５１−１のフィードバック映像５１−６を、掌に投影してもよい。
【０１４２】
また例えば、投影部１０８は、図３７に示すように、操作者２１が選択しようとしているＧＵＩ５１−１を短縮又は縮小したものを投影するようにしてもよい。
【０１４３】
この場合、ＧＵＩ情報記憶部１０４には、各ＧＵＩ情報に対応する短縮テキスト又は縮小映像が記憶されている。例えば、ＧＵＩ情報記憶部１０４は、「照明“ＯＮ”」の短縮テキストが「照ＯＮ」を記憶しており、操作者２１がＧＵＩ５１−１を選択使用としている場合には、投影部１０８は、「照明“ＯＮ”」の短縮テキスト「照ＯＮ」を投影する。操作指が乗っていない投影指の領域６１−１は、図３８に示すように、選択されようとしている投影指のＩＤ＝ｊ（ｊ＝１〜４）の方向ベクトルＲ’ｊＳｊと、操作指の近似した円との交点Ｑを求め、線分Ｒ’ｊＱの端点ＱからＲ’ｊＱと直交する方向に、予め算出した指の太さを示す特徴量ｅｊ、ｆｊの分だけ離れた点Ｑａ、Ｑｂを求めることで、矩形ＱａＱｂＦｊ２Ｆｊ３として求められる。操作指が乗っていない投影指の領域６１−１に投影するテキストは、投影領域を定義する線分ＱＲ’ｊの長さに応じて、動的に文字数を変更される。例えば、閾値Ｌａ、Ｌｂ（｜Ｐ１Ｐ’１｜＞Ｌａ＞Ｌｂ＞０）を予め定め、投影部１０８は、｜ＱＲ’ｊ｜＞＝Ｌａでは「照明“ＯＮ”」を投影し、Ｌａ＞｜ＱＲ’ｊ｜＞＝Ｌｂでは「照ＯＮ」を投影する。なお、Ｌｂ＞｜ＱＲ’ｊ｜では、投影領域が狭すぎるため文字列の代わりに投影領域に収まるサイズのアイコン画像を表示するようにしてもよい。
【０１４４】
重畳部１２１は、投影映像生成部１０７により生成された投影映像とフィードバック映像生成部１２０により生成されたフィードバック映像とを重畳し、合成映像を生成する。
【０１４５】
第３実施形態によれば、本実施例により、操作者２１は、選択を行ったＧＵＩ要素の内容を視認しやすくなり、誤った操作を行う可能性を低減することができる。
【０１４６】
（第４実施形態）
第４実施形態では、投影指に応じたＧＵＩの情報を割り付ける例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１４７】
図３９は、第４実施形態のコマンド発行装置９の一例を示す構成図である。第４実施形態では、コマンド発行装置９が割付決定部１２３を更に備える点が第１実施形態と相違する。
【０１４８】
割付決定部１２３は、ＧＵＩ情報記憶部１０４に記憶されているＧＵＩの情報に基づいて、投影指の投影領域それぞれに対するＧＵＩの割付を決定する。これにより、各投影指の大きさの違いに基づく表示可能面積の違いや、投影指の位置関係による選択操作の容易さの違いにもとづき、投影指に割り当てるＧＵＩ情報を変更することができる。
【０１４９】
例えば、親指２３を操作指とし、親指以外の指２４を投影指とする場合に、指ごとに選択操作容易度を表現した値を予めＧＵＩ映像の投影指への割付決定部１２３に保持させておくとともに、ＧＵＩごとの操作履歴を記録した情報からＧＵＩごとの操作頻度を求め、同様に割付決定部１２３に保持させておく。これにより、割付決定部１２３は、ＧＵＩを投影指に割り付け時には、操作頻度が高いＧＵＩから順に選択操作容易度が高い投影指に割り当ててゆくので、頻繁に選択操作を行うＧＵＩを容易に操作できるようになり、操作ミスを軽減できる。
【０１５０】
また例えば、ＧＵＩの映像としてテキスト文字列を表示する場合には、ＧＵＩごとのテキスト文字列の文字数を予め割付決定部１２３で計測しておく。そして、割付決定部１２３は、投影領域認識部１０３から得られた投影指に対して、投影指ごとの投影領域の水平方向の画素数の大きいものから、ＧＵＩのテキスト文字列の文字数の多い順に割り当てる。即ち、割付決定部１２３は、文字数の多いＧＵＩ要素を人差指２４−１や中指２４−２などの長い指から割り当て、文字数の少ないＧＵＩ要素を小指２４−４などの短い指から割り当てられるようになるので、ＧＵＩ文字列の視認性を向上させることができ、操作ミスを軽減できる。
【０１５１】
また例えば、テキストなどの複数行からなる文書を投影指に投影する場合には、割付決定部１２３は、テキストの１行が指の１行になるように割り当てを行う。この場合、割付決定部１２３は、投影領域認識部１０３から得られた各投影指の投影領域を用いて、投影指の長さに応じてテキスト途中に改行を挿入し、テキストを複数行に分割したのち、各行を各投影指に割り当てる。これにより、長文の文章なども投影指上に投影し、視認することができるようになる。
【０１５２】
このように第４実施形態によれば、投影指の本数に限定されない多様なＧＵＩを指上に割り当てることが可能となる。
【０１５３】
（第５実施形態）
第５実施形態では、ＨＭＤ（ヘッドマウントディスプレイ）を用いる例について説明する。なお以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１５４】
図４０は、第５実施形態のコマンド発行装置１０の利用形態の一例を示す外観図である。本実施形態では、図４０に示すように、コマンド発行装置１０は、操作者２１の頭部に装着可能なメガネ型の形態をとる。取得部１２４は、操作者２１が手２２の方向へ頭を向けることにより手２２の方向を向き、手２２の動画像を撮像する。提示部１２５は、操作者２１が頭部に装着できるメガネ型ディスプレイであり、操作者２１が見ている風景に重畳する形で映像を提示する。従って、第５実施形態では、図４１に示すように、操作者２１が手２２を見ている状態で手２２の位置に合うように提示部１２５が映像１２７を提示することで、操作者２１には手２２の上に映像１２７が重畳されているように視認される。
【０１５５】
図４２は、第５実施形態のコマンド発行装置１０の一例を示す構成図である。第５実施形態では、コマンド発行装置１０が取得部１２４、提示部１２５、及び位置決定部１２６を更に備える点が第１実施形態と相違する。
【０１５６】
取得部１２４は、操作者２１の頭部に装着され、操作者２１の手２２を動画像として撮像する。
【０１５７】
提示部１２５は、投影映像生成部１０７により生成された映像を、操作者２１が頭部に装着しているメガネ型ディスプレイ装置に提示する。
【０１５８】
位置決定部１２６は、投影領域認識部１０３で認識された提示指に提示される提示映像の提示位置を決定する。
【０１５９】
第５実施形態では、提示部１２５は、操作者２１が頭部に装着するメガネ型ディスプレイであるため、映像の提示領域は手２２上など実際に存在する物体表面上に制限されない。従って、提示部１２５は、図４３に示すように、操作指との重なり判定を行う提示指の領域とＧＵＩの映像を提示する領域とを、分離し、提示指の先側にＧＵＩ映像を提示することもできる。このような、ＧＵＩの映像の投影を行うため、位置決定部１２６は、投影映像生成部１０７での処理を行う前処理として、投影領域認識部１０３で算出された提示領域の位置を提示指の先端側に外挿し出力する。
【０１６０】
第５実施形態では、操作者２１が頭部に装着するコマンド発行装置１０について説明を行ったが、取得部１２４で撮像した動画像を提示部１２５であるディスプレイに表示するとともに、動画像上に取得部１２４で撮像した手の映像位置に合わせてＧＵＩを重畳表示すれば、携帯型情報端末でも実現できる。
【０１６１】
上記各実施形態及び上記各変形例のコマンド発行装置は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤやＳＳＤなどの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信Ｉ／Ｆなどの通信装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１６２】
上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
【０１６３】
また、上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【０１６４】
上記各実施形態及び上記各変形例のコマンド発行装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【０１６５】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【０１６６】
以上説明したとおり、上記各実施形態及び上記各変形例によれば、ユーザ操作を片手で完結することができる。
【符号の説明】
【０１６７】
１、２、３、４、５、６、７、８、９、１０ コマンド発行装置
１０１、１２４ 取得部
１０２ 抽出部
１０３ 投影領域認識部
１０４ ＧＵＩ情報記憶部
１０５ 管理部
１０５Ａ 発行部
１０６ 位置対応テーブル記憶部
１０７ 投影映像生成部
１０８ 投影部
１０９ 操作領域認識部
１１０、１１２ 選択判定部
１１１ 通信部
１１３ 分割部
１１４ 掌影領域認識部
１１５、１１７、１１８、１１９ 切替判定部
１１６ 切替部
１２０ フィードバック映像生成部
１２１ 重畳部
１２３ 割付決定部
１２５ 提示部
１２６ 位置決定部
１２７ 提示映像
【特許請求の範囲】
【請求項１】
操作者の手を撮像した動画像を取得する取得部と、
前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識部と、
前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影部と、
前記動画像から、操作に用いられる操作指の操作領域を認識する操作領域認識部と、
前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する選択判定部と、
前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行部と、
を備えることを特徴とするコマンド発行装置。
【請求項２】
前記投影領域を複数の分割投影領域に分割する分割部を更に備え、
前記投影部は、前記複数の分割投影領域それぞれに異なるＧＵＩの映像を投影することを特徴とする請求項１に記載のコマンド発行装置。
【請求項３】
操作者の手を撮像した動画像を取得する取得部と、
前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識部と、
前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影部と、
前記投影指の曲げ具合を評価して、前記ＧＵＩを選択したか否かを判定する選択判定部と、
前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行部と、
を備えることを特徴とするコマンド発行装置。
【請求項４】
前記投影領域は、前記投影指の形状特徴量で示される領域であることを特徴とする請求項１〜３のいずれか１つに記載のコマンド発行装置。
【請求項５】
前記手の姿勢から、前記投影領域に投影されている前記ＧＵＩの映像を切り替えるか否かを判定する切替判定部と、
前記ＧＵＩの映像を切り替えると判定された場合に、前記投影領域への投影対象の前記ＧＵＩを切り替える切替部と、を備え、
前記投影部は、前記投影領域に切替後のＧＵＩの映像を投影することを特徴とする請求項１〜４のいずれか１つに記載のコマンド発行装置。
【請求項６】
前記投影部は、前記操作領域が重なっている前記投影領域に投影されている前記ＧＵＩの映像のフィードバック映像を、前記手のいずれかの領域に投影することを特徴とする請求項１〜５のいずれか１つに記載のコマンド発行装置。
【請求項７】
前記投影領域に対してＧＵＩの割付を決定する割付決定部を更に備え、
前記投影部は、決定された割付に従って、前記投影領域に前記ＧＵＩの映像を投影することを特徴とする請求項１〜６のいずれか１つに記載のコマンド発行装置。
【請求項８】
取得部が、操作者の手を撮像した動画像を取得する取得ステップと、
投影領域認識部が、前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識ステップと、
投影部が、前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影ステップと、
操作領域認識部が、前記動画像から、操作に用いられる操作指の操作領域を認識する操作領域認識ステップと、
選択判定部が、前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する選択判定ステップと、
発行部が、前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行ステップと、
を含むことを特徴とするコマンド発行方法。
【請求項９】
取得部が、操作者の手を撮像した動画像を取得する取得ステップと、
投影領域認識部が、前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識ステップと、
投影部が、前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影ステップと、
選択判定部が、前記投影指の曲げ具合を評価して、前記ＧＵＩを選択したか否かを判定する選択判定ステップと、
発行部が、前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行ステップと、
を含むことを特徴とするコマンド発行方法。
【請求項１０】
操作者の手を撮像した動画像を取得する取得ステップと、
前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識ステップと、
前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影ステップと、
前記動画像から、操作に用いられる操作指の操作領域を認識する操作領域認識ステップと、
前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する選択判定ステップと、
前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行ステップと、
をコンピュータに実行させるためのコマンド発行プログラム。
【請求項１１】
操作者の手を撮像した動画像を取得する取得ステップと、
前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識ステップと、
前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影ステップと、
前記投影指の曲げ具合を評価して、前記ＧＵＩを選択したか否かを判定する選択判定ステップと、
前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行ステップと、
をコンピュータに実行させるためのコマンド発行プログラム。
【請求項１】
操作者の手を撮像した動画像を取得する取得部と、
前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識部と、
前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影部と、
前記動画像から、操作に用いられる操作指の操作領域を認識する操作領域認識部と、
前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する選択判定部と、
前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行部と、
を備えることを特徴とするコマンド発行装置。
【請求項２】
前記投影領域を複数の分割投影領域に分割する分割部を更に備え、
前記投影部は、前記複数の分割投影領域それぞれに異なるＧＵＩの映像を投影することを特徴とする請求項１に記載のコマンド発行装置。
【請求項３】
操作者の手を撮像した動画像を取得する取得部と、
前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識部と、
前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影部と、
前記投影指の曲げ具合を評価して、前記ＧＵＩを選択したか否かを判定する選択判定部と、
前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行部と、
を備えることを特徴とするコマンド発行装置。
【請求項４】
前記投影領域は、前記投影指の形状特徴量で示される領域であることを特徴とする請求項１〜３のいずれか１つに記載のコマンド発行装置。
【請求項５】
前記手の姿勢から、前記投影領域に投影されている前記ＧＵＩの映像を切り替えるか否かを判定する切替判定部と、
前記ＧＵＩの映像を切り替えると判定された場合に、前記投影領域への投影対象の前記ＧＵＩを切り替える切替部と、を備え、
前記投影部は、前記投影領域に切替後のＧＵＩの映像を投影することを特徴とする請求項１〜４のいずれか１つに記載のコマンド発行装置。
【請求項６】
前記投影部は、前記操作領域が重なっている前記投影領域に投影されている前記ＧＵＩの映像のフィードバック映像を、前記手のいずれかの領域に投影することを特徴とする請求項１〜５のいずれか１つに記載のコマンド発行装置。
【請求項７】
前記投影領域に対してＧＵＩの割付を決定する割付決定部を更に備え、
前記投影部は、決定された割付に従って、前記投影領域に前記ＧＵＩの映像を投影することを特徴とする請求項１〜６のいずれか１つに記載のコマンド発行装置。
【請求項８】
取得部が、操作者の手を撮像した動画像を取得する取得ステップと、
投影領域認識部が、前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識ステップと、
投影部が、前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影ステップと、
操作領域認識部が、前記動画像から、操作に用いられる操作指の操作領域を認識する操作領域認識ステップと、
選択判定部が、前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する選択判定ステップと、
発行部が、前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行ステップと、
を含むことを特徴とするコマンド発行方法。
【請求項９】
取得部が、操作者の手を撮像した動画像を取得する取得ステップと、
投影領域認識部が、前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識ステップと、
投影部が、前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影ステップと、
選択判定部が、前記投影指の曲げ具合を評価して、前記ＧＵＩを選択したか否かを判定する選択判定ステップと、
発行部が、前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行ステップと、
を含むことを特徴とするコマンド発行方法。
【請求項１０】
操作者の手を撮像した動画像を取得する取得ステップと、
前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識ステップと、
前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影ステップと、
前記動画像から、操作に用いられる操作指の操作領域を認識する操作領域認識ステップと、
前記投影領域と前記操作領域との重なり度合いを評価して、前記ＧＵＩを選択したか否かを判定する選択判定ステップと、
前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行ステップと、
をコンピュータに実行させるためのコマンド発行プログラム。
【請求項１１】
操作者の手を撮像した動画像を取得する取得ステップと、
前記動画像から、投影に用いられる投影指の投影領域を認識する投影領域認識ステップと、
前記投影領域にＧＵＩ（Graphical User Interface）の映像を投影する投影ステップと、
前記投影指の曲げ具合を評価して、前記ＧＵＩを選択したか否かを判定する選択判定ステップと、
前記ＧＵＩを選択したと判定された場合、前記ＧＵＩに応じたコマンドを発行する発行ステップと、
をコンピュータに実行させるためのコマンド発行プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６Ａ】
【図２６Ｂ】
【図２６Ｃ】
【図２６Ｄ】
【図２７Ａ】
【図２７Ｂ】
【図２８】
【図２９Ａ】
【図２９Ｂ】
【図３０】
【図３１Ａ】
【図３１Ｂ】
【図３２】
【図３３Ａ】
【図３３Ｂ】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６Ａ】
【図２６Ｂ】
【図２６Ｃ】
【図２６Ｄ】
【図２７Ａ】
【図２７Ｂ】
【図２８】
【図２９Ａ】
【図２９Ｂ】
【図３０】
【図３１Ａ】
【図３１Ｂ】
【図３２】
【図３３Ａ】
【図３３Ｂ】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【公開番号】特開２０１３−７３５５６（Ｐ２０１３−７３５５６Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１３９９８（Ｐ２０１１−２１３９９８）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]