情報処理装置およびその制御方法
【課題】 仮想的な手の影を用いた操作とタッチ操作との両方を選択的に用いる場合に、操作者が操作しやすい効果的な表示制御方法を提供する。
【解決手段】 ディスプレイに表示されたオブジェクト画像を操作する情報処理装置であって、
操作者の手の位置および形状を検出する検出手段と、仮想光源および前記操作者の手の位置により定まる前記ディスプレイにおける位置に、前記手の影に相当する仮想画像を表示させる表示制御手段と、前記操作者の手と前記ディスプレイとの距離を計測する計測手段と、前記表示制御手段は、前記距離が所定値以上のときに前記仮想画像を表示させるよう制御する。
【解決手段】 ディスプレイに表示されたオブジェクト画像を操作する情報処理装置であって、
操作者の手の位置および形状を検出する検出手段と、仮想光源および前記操作者の手の位置により定まる前記ディスプレイにおける位置に、前記手の影に相当する仮想画像を表示させる表示制御手段と、前記操作者の手と前記ディスプレイとの距離を計測する計測手段と、前記表示制御手段は、前記距離が所定値以上のときに前記仮想画像を表示させるよう制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面上に表示されたオブジェクト画像を操作するグラフィカルユーザインターフェースに関する。
【背景技術】
【０００２】
近年、テーブル型のディスプレイなどが登場し、操作者は、このディスプレイにタッチするなどしてこのディスプレイ上に表示されたオブジェクト画像を操作することができる。
操作者の手が届かないところにあるオブジェクト画像を操作する技術として、仮想的な手の影などを用いて、オブジェクト画像を操作することが知られている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｓｈｏｅｍａｋｅｒ，Ｇ．，Ｔａｎｇ，Ａ．ａｎｄ Ｂｏｏｔｈ，Ｉｎ Ｐｒｏｃ．ｏｆ ＵＩＳＴ'０７，ｐｐ．５３−５６（２００７）
【特許文献】
【０００４】
【特許文献１】特開２０１０−０７２８４０
【特許文献２】特開２０１０−０３６７３１
【特許文献３】特開２００９−２３０１６８
【特許文献４】特開２００７−２７６６１５
【特許文献５】特開２００７−２３７９８６
【特許文献６】特開２００４−２９７７６６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような仮想的な手の影をポインタとして投影する操作方法より、タッチ操作のほうが、より直感的な操作が可能である。ただし、タッチ操作は、操作できる範囲が手の届く範囲に限られるため、大型ディスプレイなどではタッチ操作と手の影をポインタとする方法とを状況に応じて選択的に利用することが有効である。例えば、近くのオブジェクトに対してはタッチ操作を用い、遠くのオブジェクトに対しては仮想的な手の影を使った操作を行うことが有効である。
【０００６】
本発明は上記点に鑑みて成されたものであり、仮想的な手の影を用いた操作とタッチ操作との両方を選択的に用いるような場合に、操作者が操作しやすい効果的な表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の情報処理装置によれば、ディスプレイに表示されたオブジェクト画像を操作する情報処理装置であって、操作者の手の位置および形状を検出する検出手段と、仮想光源および前記操作者の手の位置により定まる前記ディスプレイにおける位置に、前記手の影に相当する仮想画像を表示させる表示制御手段と、前記操作者の手と前記ディスプレイとの距離を計測する計測手段と、前記表示制御手段は、前記距離が所定値以上のときに前記仮想画像を表示させるよう制御することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想的な手の影を用いた操作とタッチ操作との両方を選択的に用いるような場合に、操作者が操作しやすい効果的な表示制御方法を提供できる。特に、操作者の手がディスプレイに近い場合には、仮想的な手の影が操作者による操作の邪魔にならないで済む。
【図面の簡単な説明】
【０００９】
【図１】ユーザインタフェース表示装置の機能構成図
【図２】ユーザインタフェース表示装置のフローチャート
【図３】手の影画像の位置を算出する方法を説明する図
【図４】オブジェクトを選択する方法を説明する図
【図５】オブジェクトを選択する方法を説明する図
【図６】距離に応じて手の影画像を変更する様子を説明するた図
【図７】「手とディスプレイとの間の距離」と、「各距離に応じて生成する手の影画像」と「それぞれの距離において、オブジェクトの選択と非選択とを認識させる方法」との対応関係を示す図
【図８】手の影画像として使用される手のグラフィック要素を表す図
【図９】ユーザインタフェース表示装置のフローチャート
【発明を実施するための形態】
【００１０】
［実施形態１］
図１は、本発明を適用できる情報処理装置（以後、ユーザインタフェース表示装置と呼ぶ）の機能構成図である。ユーザインタフェース表示装置１０１は、装置外部のディスプレイ１０２とカメラ１０３に接続している。また、ディスプレイ１０２は、表示画面上に指などの物体が接触した場合に、その画面における接触位置（座標）を示す座標情報を後述する表示部１０４を経由して検出部１０５に出力する機能を備える。なお、ここでは、ユーザインタフェース表示装置１０１は、ディスプレイ１０２とカメラ１０３を装置内部に備えていないものとして説明するが、本発明はこれに限らない。例えば、ユーザインタフェース表示装置１０１は、ディスプレイ１０２を装置内部に備えていても良いし、カメラ１０３を装置内部に備えていても良い。カメラ１０３は、操作者、特に操作者の手を撮影するものである。また、この手の位置や形状は、装置内部の検出部１０５によって検出される。本実施形態では、カメラ１０３ではなく、検出部１０５によって操作者の手の位置や形状の詳細を検出することとするが、本発明はこれに限らない。例えば、カメラ１０３が上記検出機能を備え、検出部１０５のほうは検出結果を示す情報だけを取得しても良いであろう。検出部１０５で検出された手の位置を表す情報（位置情報）は、生成部１０７および計測部１０９に出力される。また検出部１０５で検出された手の形状を示す情報（形状情報）は、認識部１０６に送られる。なお、上述したように検出部１０５はディスプレイ１０２に指が接触した位置を示す座標情報も保持しているため、この座標情報を手の位置を表す補間情報として認識部１０６に送っても良い。認識部１０６では、公知の技術により操作者の手の形状を認識し、操作者の指示がどのような操作コマンドであるかを認識することができる。例えば、このジェスチャ認識が「選択状態」、「開放状態」を認識するべき場合には、手の形状は、上記２つの認識結果の何れかに対応付けられることになる。「選択状態」の手の形状とは、何かを掴んでいるような手の形状であり、「開放状態」の手の形状とは、「選択状態」以外の手の形状を設定しておく必要がある。認識部１０６で認識された操作者の手の形状は、操作部１０８に送られる。また上記認識部１０６はジェスチャ認識以外に、後述するタッチ認識も行うことができる。認識部１０６がタッチ認識をする場合には、検出部１０５が保持する上記位置情報あるいは上記座標情報に基づいて、手および指の位置を認識し、特定の操作コマンド（単なる座標情報なども含む）が入力されたことを認識する。
【００１１】
生成部１０７では、上記手の位置（位置情報）に応じて、操作者の手の影を模した仮想画像（以下、手の影画像と呼ぶ）を生成する。この生成部１０７は、手の位置に応じて大きさが異なる手の影画像を生成する。この詳細は後述する。その一方で、もし手の位置がディスプレイ１０２に所定の距離よりも接近している場合には、この手の影画像を生成しない。なお、この距離判定は後述する計測部１０９が行う。
【００１２】
以下に、手の影画像を生成する場合の生成例を示す。図３は、手の影画像を生成する例を示す図である。まず、ディスプレイ１０２（図３におけるディスプレイ３０３）に表示する手の影画像の位置を算出する。本実施形態では、手の影画像を生成するための基準となる仮想光源を設定する。この仮想光源３０１の位置は、ＸＹＺ座標として（Ａ，Ｂ，Ｃ）とする。また、検出部１０５が検出する操作者の手の位置３０２は、ＸＹＺ座標として（ａ，ｂ，ｃ）であるとする。このとき、この２点を通る直線の方程式は、
（ｘ−Ａ）／（ａ−Ａ）＝（ｙ−Ｂ）／（ｂ−Ｂ）＝（ｚ−Ｃ）／（ｃ−Ｃ） ．．．（１）
である。このときのｘは、Ｘ軸上の変数、ｙはＹ軸上の変数、ｚはＺ軸上の変数である。
【００１３】
ここで、ディスプレイ（３０３）の高さｚをＴｃと置くと、上記式（１）は
（ｘ−Ａ）／（ａ−Ａ）＝（ｙ−Ｂ）／（ｂ−Ｂ）＝（Ｔｃ−Ｃ）／（ｃ−Ｃ）．．．（２）
となる。そしてｘ、ｙの値を求めると、
ｘ＝（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ａ−Ａ）＋Ａ ．．．（３）
ｙ＝（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ｂ−Ｂ）＋Ｂ ．．．（４）
となる。
【００１４】
以上から、仮想光源３０１から出た光が操作者の手を照らしたときの、ディスプレイ上の手の影画像３０４の座標は、
（（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ａ−Ａ）＋Ａ，（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ｂ−Ｂ）＋Ｂ，Ｔｃ） ．．．（５）
となる。
【００１５】
ここで、ディスプレイ３０３はテーブル型デバイスであることを想定しているので、ディスプレイ３０３上では、Ｚ軸は考慮しなくても良い。よって、（５）の３次元座標からＺ軸は無視して、
（（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ａ−Ａ）＋Ａ，（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ｂ−Ｂ）＋Ｂ） ．．．（６）
の２次元上の位置に手の影画像３０４を表示すれば良い。ディスプレイ３０３の高さをＴｃと、仮想光源の位置（Ａ，Ｂ，Ｃ）については、設計時に予め決定することが可能である。よって、手の影画像３０４を表示するべき座標は、上述したような計算によって算出できるであろう。
【００１６】
生成部１０７は、ディスプレイ上に投影する手の影画像３０４の大きさも決定する。手の影画像の大きさは、操作者の手の大きさを直径Ｍの球、仮想光源が面積０の点と仮定すると、
手の影の大きさ＝Ｍ＊仮想光源から手の影までの距離／仮想光源から手までの距離．．．（７）
となる。さらに、式（７）を展開すると、
手の影の大きさ＝
Ｍ＊（（（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ａ−Ａ））＾２＋（（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ｂ−Ｂ））＾２＋（Ｃ−Ｔｃ）＾２）＾０．５／（（Ａ−ａ）＾２＋（Ｂ−ｂ）＾２＋（Ｃ−ｃ）＾２）＾０．５＝Ｍ＊（Ｔｃ−Ｃ）／（ｃ−Ｃ） ．．．（８）
となる。
【００１７】
仮に、仮想光源の位置が（３００，０，２００）であり、操作者の手の位置が（２５０，０，１２０）であり、テーブルの高さが７０ｃｍ、操作者の手が直径１０ｃｍの球である場合を考える。このとき、高さ７０ｃｍのディスプレイ上に表示される手の影画像の座標は、式（５）により（Ｘ＝２１８．７５，Ｙ＝０，Ｚ＝７０）となり、その手の影画像の大きさは、式（８）により直径１６．２５となる。
【００１８】
以上の方法によって、生成部１０７は「手の影画像」を生成し、これをディスプレイ１０２上に表示させる。
【００１９】
操作部１０８は、認識部１０６で認識された認識結果と、生成部１０７で生成された手の影画像に基づき、ディスプレイ１０２（図３ではディスプレイ３０３）上に表示されているオブジェクト画像の操作を行う。以下では、このオブジェクト画像をオブジェクトと呼ぶ。このオブジェクトとは、写真や動画や文書などのコンテンツであり、それらを画面上で変形あるいは移動できるような状態で表示している画像に相当する。例えば、認識部１０６によるジェスチャ認識結果として、操作者の手の形状が「選択状態」に変わったと判断された場合には、手の影画像の下にあるオブジェクトを選択状態にする。さらに、そのときの手の影画像の大きさも内部データとして保持しておく。一方、ジェスチャ認識結果として、操作者の手の形状が「開放状態」に変わったと判断された場合には、上記選択状態にあるオブジェクトを開放する。ここで開放とは、次にそのオブジェクトが選択状態になるまで、現在表示されているディスプレイ上の位置への表示を継続することに相当する。
【００２０】
表示部１０４は、種々の表示制御機能を備えており、特に本実施形態では、ディスプレイ１０２上に表示されているオブジェクトに重ねるようにして、上述した手の影画像の表示を行う。また、ディスプレイ１０２から、画面上に指などの物体が接触した位置（座標）を示す座標情報を受信した場合には、この座標情報を検出部１０５などの他の処理部へ供給する。
【００２１】
計測部１０９は、操作者の手とディスプレイ１０２との間の距離を計測する。即ち、操作者の手がディスプレイ１０２にタッチしている状態、タッチしようとしている状態に相当するほど手がディスプレイ１０２に接近していることを検知する。本実施形態では、上記距離が所定値以上か所定値未満かを判断するものとするが、本発明はこれに限らず、例えば上記距離が所定値より大きいか所定値以下かを判断しても良い。また上記所定値は、操作者の手がディスプレイ１０２にタッチしようとしているかどうかの判断の分かれ目になる値であり、例えば１０ｃｍである。
【００２２】
もし、上記距離が所定値以上の場合には、手の位置を表す情報（位置情報）を生成部１０７に送ると共に、認識部１０６による認識方法を上述した「ハンドジェスチャ認識」と設定する。即ち、あまりディスプレイ１０２に手が接近していないのであれば、操作者によるハンドジェスチャを入力コマンドとして受け付けるようにする。このハンドジェスチャ認識とは、カメラ１０３などの入力機器から取得した手の形状、および手の形状が変化する過程に対応する、何らかの操作コマンドを特定する機能であり、ジェスチャ入力などとも呼ばれる。上記認識技術は公知であるので詳細説明は省略する。
【００２３】
一方、もし、上記距離が所定値未満の場合（例えば０ｃｍ、あるいは５ｃｍの場合）には、手の位置を表す情報（位置情報）を生成部１０７には送らず、上記認識部１０６による認識方法を「タッチ認識」と設定する。生成部１０７は、手の位置を表す情報（位置情報）が送られないので、手の影画像を生成せず、結果的に、表示部１０４では手の影画像を表示させないことになる。タッチ認識とは、ディスプレイ１０２の表面に指などの物体が接触したことおよびその接触位置を検知し、何らかの操作コマンド（単なる座標情報なども含む）を特定する機能であり、タッチ入力などとも呼ばれる。なお、このタッチ入力機能は、タッチパネルディスプレイなどで利用されているものであり、その認識技術は公知であるので詳細説明は省略する。
【００２４】
図２は、ユーザインタフェース表示装置１０１の動作手順を示すフローチャートである。この装置１０１が起動すると、ステップＳ２０１以降の処理を開始する。ステップＳ２０１では、カメラ１０３および検出部１０５によって、操作者の手の位置・形状を取得する。ステップＳ２０２では、計測部１０９によって、操作者の手の位置とディスプレイとの間の距離を計測する。ステップＳ２０３では、計測部１０９によって、上記操作者の手の位置とディスプレイとの間の距離が所定値以上かどうかを判定する。もし距離が所定値以上であればステップＳ２０４に進み、もし距離が所定値未満であればステップＳ２０７に進む。ステップＳ２０４では、生成部１０７によって、上述したような方法を用いて、操作者の手の位置から手の影画像を生成する。ステップＳ２０５では、ユーザインタフェース表示部１０４およびディスプレイ１０２によって、以上で生成された手の影画像が表示される。操作者は、この手の影画像を用いて種々の操作を行うことができる。ステップＳ２０６では、認識部１０６によって、操作者の手の形状に基づいて上述したハンドジェスチャ認識を行う。ステップＳ２０７では、認識部１０６によって、操作者の手がディスプレイ１０２の画面の何処に接触しているかを示す座標情報に基づいて、上述したタッチ認識を行う。特にここでは、ステップＳ２０７におけるタッチ認識が行われる際には、ステップＳ２０４、Ｓ２０５による手の影画像の生成と表示が行われない。これにより、タッチしようとしている画面上のオブジェクトが見え難いといった問題を解消できる。ステップＳ２０８では、ハンドジェスチャ認識あるいはタッチ認識による認識結果として、装置１０１が予め準備していた特定コマンドに相当する認識結果が出たかどうか判定する。もし特定コマンドに相当する認識結果が出た場合にはステップＳ２０９に進み、出ない場合にはステップＳ２０１に戻り、上述した処理を繰り返す。ステップＳ２０９では、装置１０１が特定のコマンドの実行を行い、ステップＳ２０１に戻る。この特定コマンドとは、例えば、「オブジェクトの選択」、あるいは「選択中のオブジェクトの開放」、あるいは「オブジェクトの移動」などが相当する。
【００２５】
以下では、操作者の手とディスプレイとの間の距離に応じて、上記「手の影画像」を表示するか否かを切り替える具体例を説明する。
【００２６】
図４は、上記具体例を示した図である。また、図５は図４のディスプレイを頭上の正面から見た図である。図４（ａ）と図５（ａ）は、装置１０１がハンドジェスチャ認識をしているときの様子を示す。また、図４（ｂ）と図５（ｂ）は、装置１０１がタッチ認識をしているときの様子を示す。ハンドジェスチャ認識による操作は、主に、操作者４０１の手が届かない位置にあるオブジェクトを操作したい場合に、操作者が大きな移動をしなくても良いので便利である。一方、タッチ認識による操作は、主に、操作者４０１の手が届く位置にあるオブジェクトを操作したい場合に、より直感的な操作ができるので便利である。なお、図４、図５では同じ部材には同じ番号を付与している。また、これらの図におけるディスプレイ４０６は、前述のディスプレイ１０２に相当するものであり、操作者４０１は、前述の操作者３０５に相当するものである。
【００２７】
本実施形態において、図４（ａ）、図５（ａ）に示すように、ハンドジェスチャ認識をしているときには、操作者４０１の手４０３が存在する位置と仮想光源４０２との位置に基づいて、上述した方法で、手の影画像４０４を生成する。そして、この手の影画像４０４は、ディスプレイ４０６上に表示される。ディスプレイ４０６には、手の影画像４０４以外にも、オブジェクト４０５が表示されている。ハンドジェスチャ認識をしている際には、操作者４０１は、手４０３を微少に動かすことで、ポインタの役割となる手の影画像４０４を大きく動かすことができる。例えば、操作者４０１がオブジェクト４０５に重なるように手の影画像４０４を移動させ、「選択状態」に相当するジェスチャ（例えば何かを掴むようなジェスチャ）を行うと、装置１０１は「選択状態」を指示するコマンドを入力したと認識する。そして、このオブジェクト４０５を選択状態とする。また、もし上記選択中に、操作者が手４０３の位置を移動した場合には、手の影画像４０４とともにオブジェクト４０５が移動する。また、もし上記選択中に、操作者が「開放状態」に相当するジェスチャ（例えば掴むジェスチャをやめること）を行うと、装置１０１は「開放状態」を指示するコマンドを入力したと認識する。そして、この選択中のオブジェクト４０５を現在の位置に表示したまま、非選択状態に変更する。
【００２８】
ここで、操作者の手４０７とディスプレイ４０６との距離が所定値未満に近づいたときには、タッチ認識の準備状態に移行する。即ち、この状態のときには、図４（ｂ）、図５（ｂ）に示すように、手の影画像４０４が非表示となる。また、もし何らかのオブジェクトにタッチしているときには、オブジェクト４０８のように、タッチされていることが判るような特別の表示を行う。
【００２９】
もし、操作者の手４０７とディスプレイ４０６との距離が所定値以上に遠ざかったときには、タッチ認識の準備状態を解除し、図４（ａ）、図５（ａ）に示すハンドジェスチャ認識の状態に移行する。
【００３０】
［実施形態２］
なお、以上では、説明を簡単にするために、「上述した距離に応じて、手の影画像を表示するか、非表示にするかを制御する技術」を説明した。しかしながら、本発明はこれに限らない。例えば、図６に示すように、「上述した距離に応じて、複数の表示方法のいずれか１つで表示するか、非表示にするかを制御する技術」であっても良いであろう。以下に、その一例を簡単に説明する。なお、本実施形態に用いる装置１０１の機能構成図は、実施形態１で説明した図１の装置１０１と同様である。よってこれらの説明は省略する。実施形態１と本実施形態とにおいて主に異なる点は、上述した距離に応じて生成部１０７が生成する手の影画像が多段階である点である。
【００３１】
図６は、ディスプレイに近づけた操作者の手と、それに対応する手の影画像の様子を示した図である。図７は、「手とディスプレイとの間の距離」と、「各距離に応じて生成部１０７が生成する手の影画像」と「それぞれの距離において、オブジェクトの選択と非選択とを認識させる方法」との対応関係を表したものである。図８は、生成部１０７で生成される手の影画像を詳細に示したものである。図９は、本実施形態においてユーザインタフェース表示装置１０１が動作する手順を示すフローチャートである。なお、図９では、図２の判定ステップＳ２０３と生成ステップＳ２０４から、判定ステップＳ９０１〜９０３と生成ステップＳ９０４〜Ｓ９０６に置換されている。その他の図２と同じ処理工程については同じ番号を付与し、説明を省略する。なお、以下では距離の比較対象となる境界値として、第１の閾値（実施形態１の所定値に相当）＝１０ｃｍ、第２の閾値＝２０ｃｍ、第３の閾値＝３０ｃｍとするが、上記各閾値は、それらの大小関係を維持していれば他の数値に変更しても良いであろう。
【００３２】
図９において、ステップＳ９０１では、計測部１０９によって、手とディスプレイとの間の距離が３０ｃｍ以上かどうか判定する。もし、距離が３０ｃｍ以上であった場合、ステップＳ９０４に進む。もし距離が３０ｃｍ未満のときにはステップＳ９０２に進む。
【００３３】
ステップＳ９０２では、上記距離が２０ｃｍ以上かどうか判定する。もし距離が２０ｃｍ以上であった場合にはステップＳ９０３に進む。もし距離が２０ｃｍ未満のときにはステップＳ９０３に進む。
【００３４】
ステップＳ９０３では、上記距離が１０ｃｍ以上かどうか判定する。もし距離が１０ｃｍ以上であった場合にはステップＳ９０６に進む。もし距離が２０ｃｍ未満のときにはステップＳ２０７に進む。この場合には、図６（ｄ）に示すように、手の影画像は表示されない。
【００３５】
ステップＳ９０４では、生成部１０７によって、図６（ａ）に示すような、操作者の指先から手首までを含む手の影画像（図８の８０２に相当）を生成する。
【００３６】
ステップＳ９０５では、生成部１０７によって、図６（ｂ）に示すような、操作者の指先から手のひらまでを含む手の影画像（図８の８０３に相当）を生成する。
【００３７】
ステップＳ９０６では、生成部１０７によって、図６（ｃ）に示すような、操作者の指先だけを含む手の影画像（図８の８０４に相当）を生成する。
【００３８】
以上の動作を行うことによって、例えば、上記距離が３５ｃｍ、２５ｃｍ、１５ｃｍのときで、それぞれ異なる手の影画像を表示すると共に、タッチ認識の準備状態（例えば距離５ｃｍのとき）では手の影画像を表示しない。
【００３９】
なお、本実施形態では、上記図６（ａ）〜（ｄ）のそれぞれの表示状態に応じて、図７に示すような、各状態に最適なジェスチャを割当てることとする。これを実現するため、本実施形態における認識部１０６は、図７に示す６種類の認識（ジェスチャ認識４種類、タッチ認識２種類）の判別が出来る機能を備える。そして、上述した計測部１０９の計測結果（ステップＳ９０１〜Ｓ９０３の判断結果）を受け取ることにより、その距離に適した２種類の認識を行うように動作するものとする。
【００４０】
例えば、上記距離が３５ｃｍの場合には、認識部１０６は、認識可能な６種類のうち、「何かを握るジェスチャ」と「握るジェスチャの状態をやめるジェスチャ」の２種類のみを、その時点で認識可能なジェスチャとする。また例えば、上記距離が１５ｃｍの場合には、認識部１０６は、認識可能な６種類のうち、「指を揃えるジェスチャ」と「揃った指を互いに離すジェスチャ」の２種類のみを、その時点で認識可能なジェスチャとする。また例えば、上記距離が５ｃｍの場合には、認識部１０６は、認識可能な６種類のうち、「画面に物体をタッチするジェスチャ」と「タッチした物体を離すジェスチャ」の２種類のみを、その時点で認識可能なジェスチャとする。以上のように、距離に応じて、そのときに認識可能なジェスチャを絞り込むことにより、認識精度を向上することができ、また認識のための装置の演算負荷なども軽減できる。
【００４１】
以上では、実施形態１における所定値を第１の閾値としたとき、上記距離が第１の閾値以上であり第２の閾値未満であるか、上記距離が第２の閾値以上であり第３の閾値未満であるか、上記距離が第３の閾値以上であるかを判断している。そして、上記距離が第１の閾値以上であり第２の閾値未満である場合には第１の仮想画像を表示させ、上記距離が第２の閾値以上であり第３の閾値未満である場合には第２の仮想画像を表示させ、上記距離が第３の閾値以上である場合には第３の仮想画像を表示させる。
【００４２】
［変形例］
なお、以上の実施形態では、仮想光源の位置は予め設定していたが、本発明はこれに限らない。例えば、この仮想光源は、操作者の姿勢や、顔の向き、あるいは背の高さに応じて、適宜変更しても構わない。具体的には、本実施形態のユーザインタフェース表示装置１０１が操作者の頭頂部の位置を検出し、さらに操作者の顔の向きを取得できる機能を備える。そして、頭頂部の位置から顔の向きの反対方向に例えば５０ｃｍだけ移動した位置を仮想光源とする。このようにすれば、操作者の身長に合わせて適切な仮想光源が設定される。また、操作者が意図的に顔の向きを変更することによって、仮想光源の位置までもジェスチャ入力によって設定できることになる。
【００４３】
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（制御プログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【技術分野】
【０００１】
本発明は、画面上に表示されたオブジェクト画像を操作するグラフィカルユーザインターフェースに関する。
【背景技術】
【０００２】
近年、テーブル型のディスプレイなどが登場し、操作者は、このディスプレイにタッチするなどしてこのディスプレイ上に表示されたオブジェクト画像を操作することができる。
操作者の手が届かないところにあるオブジェクト画像を操作する技術として、仮想的な手の影などを用いて、オブジェクト画像を操作することが知られている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｓｈｏｅｍａｋｅｒ，Ｇ．，Ｔａｎｇ，Ａ．ａｎｄ Ｂｏｏｔｈ，Ｉｎ Ｐｒｏｃ．ｏｆ ＵＩＳＴ'０７，ｐｐ．５３−５６（２００７）
【特許文献】
【０００４】
【特許文献１】特開２０１０−０７２８４０
【特許文献２】特開２０１０−０３６７３１
【特許文献３】特開２００９−２３０１６８
【特許文献４】特開２００７−２７６６１５
【特許文献５】特開２００７−２３７９８６
【特許文献６】特開２００４−２９７７６６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような仮想的な手の影をポインタとして投影する操作方法より、タッチ操作のほうが、より直感的な操作が可能である。ただし、タッチ操作は、操作できる範囲が手の届く範囲に限られるため、大型ディスプレイなどではタッチ操作と手の影をポインタとする方法とを状況に応じて選択的に利用することが有効である。例えば、近くのオブジェクトに対してはタッチ操作を用い、遠くのオブジェクトに対しては仮想的な手の影を使った操作を行うことが有効である。
【０００６】
本発明は上記点に鑑みて成されたものであり、仮想的な手の影を用いた操作とタッチ操作との両方を選択的に用いるような場合に、操作者が操作しやすい効果的な表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の情報処理装置によれば、ディスプレイに表示されたオブジェクト画像を操作する情報処理装置であって、操作者の手の位置および形状を検出する検出手段と、仮想光源および前記操作者の手の位置により定まる前記ディスプレイにおける位置に、前記手の影に相当する仮想画像を表示させる表示制御手段と、前記操作者の手と前記ディスプレイとの距離を計測する計測手段と、前記表示制御手段は、前記距離が所定値以上のときに前記仮想画像を表示させるよう制御することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想的な手の影を用いた操作とタッチ操作との両方を選択的に用いるような場合に、操作者が操作しやすい効果的な表示制御方法を提供できる。特に、操作者の手がディスプレイに近い場合には、仮想的な手の影が操作者による操作の邪魔にならないで済む。
【図面の簡単な説明】
【０００９】
【図１】ユーザインタフェース表示装置の機能構成図
【図２】ユーザインタフェース表示装置のフローチャート
【図３】手の影画像の位置を算出する方法を説明する図
【図４】オブジェクトを選択する方法を説明する図
【図５】オブジェクトを選択する方法を説明する図
【図６】距離に応じて手の影画像を変更する様子を説明するた図
【図７】「手とディスプレイとの間の距離」と、「各距離に応じて生成する手の影画像」と「それぞれの距離において、オブジェクトの選択と非選択とを認識させる方法」との対応関係を示す図
【図８】手の影画像として使用される手のグラフィック要素を表す図
【図９】ユーザインタフェース表示装置のフローチャート
【発明を実施するための形態】
【００１０】
［実施形態１］
図１は、本発明を適用できる情報処理装置（以後、ユーザインタフェース表示装置と呼ぶ）の機能構成図である。ユーザインタフェース表示装置１０１は、装置外部のディスプレイ１０２とカメラ１０３に接続している。また、ディスプレイ１０２は、表示画面上に指などの物体が接触した場合に、その画面における接触位置（座標）を示す座標情報を後述する表示部１０４を経由して検出部１０５に出力する機能を備える。なお、ここでは、ユーザインタフェース表示装置１０１は、ディスプレイ１０２とカメラ１０３を装置内部に備えていないものとして説明するが、本発明はこれに限らない。例えば、ユーザインタフェース表示装置１０１は、ディスプレイ１０２を装置内部に備えていても良いし、カメラ１０３を装置内部に備えていても良い。カメラ１０３は、操作者、特に操作者の手を撮影するものである。また、この手の位置や形状は、装置内部の検出部１０５によって検出される。本実施形態では、カメラ１０３ではなく、検出部１０５によって操作者の手の位置や形状の詳細を検出することとするが、本発明はこれに限らない。例えば、カメラ１０３が上記検出機能を備え、検出部１０５のほうは検出結果を示す情報だけを取得しても良いであろう。検出部１０５で検出された手の位置を表す情報（位置情報）は、生成部１０７および計測部１０９に出力される。また検出部１０５で検出された手の形状を示す情報（形状情報）は、認識部１０６に送られる。なお、上述したように検出部１０５はディスプレイ１０２に指が接触した位置を示す座標情報も保持しているため、この座標情報を手の位置を表す補間情報として認識部１０６に送っても良い。認識部１０６では、公知の技術により操作者の手の形状を認識し、操作者の指示がどのような操作コマンドであるかを認識することができる。例えば、このジェスチャ認識が「選択状態」、「開放状態」を認識するべき場合には、手の形状は、上記２つの認識結果の何れかに対応付けられることになる。「選択状態」の手の形状とは、何かを掴んでいるような手の形状であり、「開放状態」の手の形状とは、「選択状態」以外の手の形状を設定しておく必要がある。認識部１０６で認識された操作者の手の形状は、操作部１０８に送られる。また上記認識部１０６はジェスチャ認識以外に、後述するタッチ認識も行うことができる。認識部１０６がタッチ認識をする場合には、検出部１０５が保持する上記位置情報あるいは上記座標情報に基づいて、手および指の位置を認識し、特定の操作コマンド（単なる座標情報なども含む）が入力されたことを認識する。
【００１１】
生成部１０７では、上記手の位置（位置情報）に応じて、操作者の手の影を模した仮想画像（以下、手の影画像と呼ぶ）を生成する。この生成部１０７は、手の位置に応じて大きさが異なる手の影画像を生成する。この詳細は後述する。その一方で、もし手の位置がディスプレイ１０２に所定の距離よりも接近している場合には、この手の影画像を生成しない。なお、この距離判定は後述する計測部１０９が行う。
【００１２】
以下に、手の影画像を生成する場合の生成例を示す。図３は、手の影画像を生成する例を示す図である。まず、ディスプレイ１０２（図３におけるディスプレイ３０３）に表示する手の影画像の位置を算出する。本実施形態では、手の影画像を生成するための基準となる仮想光源を設定する。この仮想光源３０１の位置は、ＸＹＺ座標として（Ａ，Ｂ，Ｃ）とする。また、検出部１０５が検出する操作者の手の位置３０２は、ＸＹＺ座標として（ａ，ｂ，ｃ）であるとする。このとき、この２点を通る直線の方程式は、
（ｘ−Ａ）／（ａ−Ａ）＝（ｙ−Ｂ）／（ｂ−Ｂ）＝（ｚ−Ｃ）／（ｃ−Ｃ） ．．．（１）
である。このときのｘは、Ｘ軸上の変数、ｙはＹ軸上の変数、ｚはＺ軸上の変数である。
【００１３】
ここで、ディスプレイ（３０３）の高さｚをＴｃと置くと、上記式（１）は
（ｘ−Ａ）／（ａ−Ａ）＝（ｙ−Ｂ）／（ｂ−Ｂ）＝（Ｔｃ−Ｃ）／（ｃ−Ｃ）．．．（２）
となる。そしてｘ、ｙの値を求めると、
ｘ＝（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ａ−Ａ）＋Ａ ．．．（３）
ｙ＝（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ｂ−Ｂ）＋Ｂ ．．．（４）
となる。
【００１４】
以上から、仮想光源３０１から出た光が操作者の手を照らしたときの、ディスプレイ上の手の影画像３０４の座標は、
（（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ａ−Ａ）＋Ａ，（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ｂ−Ｂ）＋Ｂ，Ｔｃ） ．．．（５）
となる。
【００１５】
ここで、ディスプレイ３０３はテーブル型デバイスであることを想定しているので、ディスプレイ３０３上では、Ｚ軸は考慮しなくても良い。よって、（５）の３次元座標からＺ軸は無視して、
（（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ａ−Ａ）＋Ａ，（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ｂ−Ｂ）＋Ｂ） ．．．（６）
の２次元上の位置に手の影画像３０４を表示すれば良い。ディスプレイ３０３の高さをＴｃと、仮想光源の位置（Ａ，Ｂ，Ｃ）については、設計時に予め決定することが可能である。よって、手の影画像３０４を表示するべき座標は、上述したような計算によって算出できるであろう。
【００１６】
生成部１０７は、ディスプレイ上に投影する手の影画像３０４の大きさも決定する。手の影画像の大きさは、操作者の手の大きさを直径Ｍの球、仮想光源が面積０の点と仮定すると、
手の影の大きさ＝Ｍ＊仮想光源から手の影までの距離／仮想光源から手までの距離．．．（７）
となる。さらに、式（７）を展開すると、
手の影の大きさ＝
Ｍ＊（（（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ａ−Ａ））＾２＋（（Ｔｃ−Ｃ）／（ｃ−Ｃ）＊（ｂ−Ｂ））＾２＋（Ｃ−Ｔｃ）＾２）＾０．５／（（Ａ−ａ）＾２＋（Ｂ−ｂ）＾２＋（Ｃ−ｃ）＾２）＾０．５＝Ｍ＊（Ｔｃ−Ｃ）／（ｃ−Ｃ） ．．．（８）
となる。
【００１７】
仮に、仮想光源の位置が（３００，０，２００）であり、操作者の手の位置が（２５０，０，１２０）であり、テーブルの高さが７０ｃｍ、操作者の手が直径１０ｃｍの球である場合を考える。このとき、高さ７０ｃｍのディスプレイ上に表示される手の影画像の座標は、式（５）により（Ｘ＝２１８．７５，Ｙ＝０，Ｚ＝７０）となり、その手の影画像の大きさは、式（８）により直径１６．２５となる。
【００１８】
以上の方法によって、生成部１０７は「手の影画像」を生成し、これをディスプレイ１０２上に表示させる。
【００１９】
操作部１０８は、認識部１０６で認識された認識結果と、生成部１０７で生成された手の影画像に基づき、ディスプレイ１０２（図３ではディスプレイ３０３）上に表示されているオブジェクト画像の操作を行う。以下では、このオブジェクト画像をオブジェクトと呼ぶ。このオブジェクトとは、写真や動画や文書などのコンテンツであり、それらを画面上で変形あるいは移動できるような状態で表示している画像に相当する。例えば、認識部１０６によるジェスチャ認識結果として、操作者の手の形状が「選択状態」に変わったと判断された場合には、手の影画像の下にあるオブジェクトを選択状態にする。さらに、そのときの手の影画像の大きさも内部データとして保持しておく。一方、ジェスチャ認識結果として、操作者の手の形状が「開放状態」に変わったと判断された場合には、上記選択状態にあるオブジェクトを開放する。ここで開放とは、次にそのオブジェクトが選択状態になるまで、現在表示されているディスプレイ上の位置への表示を継続することに相当する。
【００２０】
表示部１０４は、種々の表示制御機能を備えており、特に本実施形態では、ディスプレイ１０２上に表示されているオブジェクトに重ねるようにして、上述した手の影画像の表示を行う。また、ディスプレイ１０２から、画面上に指などの物体が接触した位置（座標）を示す座標情報を受信した場合には、この座標情報を検出部１０５などの他の処理部へ供給する。
【００２１】
計測部１０９は、操作者の手とディスプレイ１０２との間の距離を計測する。即ち、操作者の手がディスプレイ１０２にタッチしている状態、タッチしようとしている状態に相当するほど手がディスプレイ１０２に接近していることを検知する。本実施形態では、上記距離が所定値以上か所定値未満かを判断するものとするが、本発明はこれに限らず、例えば上記距離が所定値より大きいか所定値以下かを判断しても良い。また上記所定値は、操作者の手がディスプレイ１０２にタッチしようとしているかどうかの判断の分かれ目になる値であり、例えば１０ｃｍである。
【００２２】
もし、上記距離が所定値以上の場合には、手の位置を表す情報（位置情報）を生成部１０７に送ると共に、認識部１０６による認識方法を上述した「ハンドジェスチャ認識」と設定する。即ち、あまりディスプレイ１０２に手が接近していないのであれば、操作者によるハンドジェスチャを入力コマンドとして受け付けるようにする。このハンドジェスチャ認識とは、カメラ１０３などの入力機器から取得した手の形状、および手の形状が変化する過程に対応する、何らかの操作コマンドを特定する機能であり、ジェスチャ入力などとも呼ばれる。上記認識技術は公知であるので詳細説明は省略する。
【００２３】
一方、もし、上記距離が所定値未満の場合（例えば０ｃｍ、あるいは５ｃｍの場合）には、手の位置を表す情報（位置情報）を生成部１０７には送らず、上記認識部１０６による認識方法を「タッチ認識」と設定する。生成部１０７は、手の位置を表す情報（位置情報）が送られないので、手の影画像を生成せず、結果的に、表示部１０４では手の影画像を表示させないことになる。タッチ認識とは、ディスプレイ１０２の表面に指などの物体が接触したことおよびその接触位置を検知し、何らかの操作コマンド（単なる座標情報なども含む）を特定する機能であり、タッチ入力などとも呼ばれる。なお、このタッチ入力機能は、タッチパネルディスプレイなどで利用されているものであり、その認識技術は公知であるので詳細説明は省略する。
【００２４】
図２は、ユーザインタフェース表示装置１０１の動作手順を示すフローチャートである。この装置１０１が起動すると、ステップＳ２０１以降の処理を開始する。ステップＳ２０１では、カメラ１０３および検出部１０５によって、操作者の手の位置・形状を取得する。ステップＳ２０２では、計測部１０９によって、操作者の手の位置とディスプレイとの間の距離を計測する。ステップＳ２０３では、計測部１０９によって、上記操作者の手の位置とディスプレイとの間の距離が所定値以上かどうかを判定する。もし距離が所定値以上であればステップＳ２０４に進み、もし距離が所定値未満であればステップＳ２０７に進む。ステップＳ２０４では、生成部１０７によって、上述したような方法を用いて、操作者の手の位置から手の影画像を生成する。ステップＳ２０５では、ユーザインタフェース表示部１０４およびディスプレイ１０２によって、以上で生成された手の影画像が表示される。操作者は、この手の影画像を用いて種々の操作を行うことができる。ステップＳ２０６では、認識部１０６によって、操作者の手の形状に基づいて上述したハンドジェスチャ認識を行う。ステップＳ２０７では、認識部１０６によって、操作者の手がディスプレイ１０２の画面の何処に接触しているかを示す座標情報に基づいて、上述したタッチ認識を行う。特にここでは、ステップＳ２０７におけるタッチ認識が行われる際には、ステップＳ２０４、Ｓ２０５による手の影画像の生成と表示が行われない。これにより、タッチしようとしている画面上のオブジェクトが見え難いといった問題を解消できる。ステップＳ２０８では、ハンドジェスチャ認識あるいはタッチ認識による認識結果として、装置１０１が予め準備していた特定コマンドに相当する認識結果が出たかどうか判定する。もし特定コマンドに相当する認識結果が出た場合にはステップＳ２０９に進み、出ない場合にはステップＳ２０１に戻り、上述した処理を繰り返す。ステップＳ２０９では、装置１０１が特定のコマンドの実行を行い、ステップＳ２０１に戻る。この特定コマンドとは、例えば、「オブジェクトの選択」、あるいは「選択中のオブジェクトの開放」、あるいは「オブジェクトの移動」などが相当する。
【００２５】
以下では、操作者の手とディスプレイとの間の距離に応じて、上記「手の影画像」を表示するか否かを切り替える具体例を説明する。
【００２６】
図４は、上記具体例を示した図である。また、図５は図４のディスプレイを頭上の正面から見た図である。図４（ａ）と図５（ａ）は、装置１０１がハンドジェスチャ認識をしているときの様子を示す。また、図４（ｂ）と図５（ｂ）は、装置１０１がタッチ認識をしているときの様子を示す。ハンドジェスチャ認識による操作は、主に、操作者４０１の手が届かない位置にあるオブジェクトを操作したい場合に、操作者が大きな移動をしなくても良いので便利である。一方、タッチ認識による操作は、主に、操作者４０１の手が届く位置にあるオブジェクトを操作したい場合に、より直感的な操作ができるので便利である。なお、図４、図５では同じ部材には同じ番号を付与している。また、これらの図におけるディスプレイ４０６は、前述のディスプレイ１０２に相当するものであり、操作者４０１は、前述の操作者３０５に相当するものである。
【００２７】
本実施形態において、図４（ａ）、図５（ａ）に示すように、ハンドジェスチャ認識をしているときには、操作者４０１の手４０３が存在する位置と仮想光源４０２との位置に基づいて、上述した方法で、手の影画像４０４を生成する。そして、この手の影画像４０４は、ディスプレイ４０６上に表示される。ディスプレイ４０６には、手の影画像４０４以外にも、オブジェクト４０５が表示されている。ハンドジェスチャ認識をしている際には、操作者４０１は、手４０３を微少に動かすことで、ポインタの役割となる手の影画像４０４を大きく動かすことができる。例えば、操作者４０１がオブジェクト４０５に重なるように手の影画像４０４を移動させ、「選択状態」に相当するジェスチャ（例えば何かを掴むようなジェスチャ）を行うと、装置１０１は「選択状態」を指示するコマンドを入力したと認識する。そして、このオブジェクト４０５を選択状態とする。また、もし上記選択中に、操作者が手４０３の位置を移動した場合には、手の影画像４０４とともにオブジェクト４０５が移動する。また、もし上記選択中に、操作者が「開放状態」に相当するジェスチャ（例えば掴むジェスチャをやめること）を行うと、装置１０１は「開放状態」を指示するコマンドを入力したと認識する。そして、この選択中のオブジェクト４０５を現在の位置に表示したまま、非選択状態に変更する。
【００２８】
ここで、操作者の手４０７とディスプレイ４０６との距離が所定値未満に近づいたときには、タッチ認識の準備状態に移行する。即ち、この状態のときには、図４（ｂ）、図５（ｂ）に示すように、手の影画像４０４が非表示となる。また、もし何らかのオブジェクトにタッチしているときには、オブジェクト４０８のように、タッチされていることが判るような特別の表示を行う。
【００２９】
もし、操作者の手４０７とディスプレイ４０６との距離が所定値以上に遠ざかったときには、タッチ認識の準備状態を解除し、図４（ａ）、図５（ａ）に示すハンドジェスチャ認識の状態に移行する。
【００３０】
［実施形態２］
なお、以上では、説明を簡単にするために、「上述した距離に応じて、手の影画像を表示するか、非表示にするかを制御する技術」を説明した。しかしながら、本発明はこれに限らない。例えば、図６に示すように、「上述した距離に応じて、複数の表示方法のいずれか１つで表示するか、非表示にするかを制御する技術」であっても良いであろう。以下に、その一例を簡単に説明する。なお、本実施形態に用いる装置１０１の機能構成図は、実施形態１で説明した図１の装置１０１と同様である。よってこれらの説明は省略する。実施形態１と本実施形態とにおいて主に異なる点は、上述した距離に応じて生成部１０７が生成する手の影画像が多段階である点である。
【００３１】
図６は、ディスプレイに近づけた操作者の手と、それに対応する手の影画像の様子を示した図である。図７は、「手とディスプレイとの間の距離」と、「各距離に応じて生成部１０７が生成する手の影画像」と「それぞれの距離において、オブジェクトの選択と非選択とを認識させる方法」との対応関係を表したものである。図８は、生成部１０７で生成される手の影画像を詳細に示したものである。図９は、本実施形態においてユーザインタフェース表示装置１０１が動作する手順を示すフローチャートである。なお、図９では、図２の判定ステップＳ２０３と生成ステップＳ２０４から、判定ステップＳ９０１〜９０３と生成ステップＳ９０４〜Ｓ９０６に置換されている。その他の図２と同じ処理工程については同じ番号を付与し、説明を省略する。なお、以下では距離の比較対象となる境界値として、第１の閾値（実施形態１の所定値に相当）＝１０ｃｍ、第２の閾値＝２０ｃｍ、第３の閾値＝３０ｃｍとするが、上記各閾値は、それらの大小関係を維持していれば他の数値に変更しても良いであろう。
【００３２】
図９において、ステップＳ９０１では、計測部１０９によって、手とディスプレイとの間の距離が３０ｃｍ以上かどうか判定する。もし、距離が３０ｃｍ以上であった場合、ステップＳ９０４に進む。もし距離が３０ｃｍ未満のときにはステップＳ９０２に進む。
【００３３】
ステップＳ９０２では、上記距離が２０ｃｍ以上かどうか判定する。もし距離が２０ｃｍ以上であった場合にはステップＳ９０３に進む。もし距離が２０ｃｍ未満のときにはステップＳ９０３に進む。
【００３４】
ステップＳ９０３では、上記距離が１０ｃｍ以上かどうか判定する。もし距離が１０ｃｍ以上であった場合にはステップＳ９０６に進む。もし距離が２０ｃｍ未満のときにはステップＳ２０７に進む。この場合には、図６（ｄ）に示すように、手の影画像は表示されない。
【００３５】
ステップＳ９０４では、生成部１０７によって、図６（ａ）に示すような、操作者の指先から手首までを含む手の影画像（図８の８０２に相当）を生成する。
【００３６】
ステップＳ９０５では、生成部１０７によって、図６（ｂ）に示すような、操作者の指先から手のひらまでを含む手の影画像（図８の８０３に相当）を生成する。
【００３７】
ステップＳ９０６では、生成部１０７によって、図６（ｃ）に示すような、操作者の指先だけを含む手の影画像（図８の８０４に相当）を生成する。
【００３８】
以上の動作を行うことによって、例えば、上記距離が３５ｃｍ、２５ｃｍ、１５ｃｍのときで、それぞれ異なる手の影画像を表示すると共に、タッチ認識の準備状態（例えば距離５ｃｍのとき）では手の影画像を表示しない。
【００３９】
なお、本実施形態では、上記図６（ａ）〜（ｄ）のそれぞれの表示状態に応じて、図７に示すような、各状態に最適なジェスチャを割当てることとする。これを実現するため、本実施形態における認識部１０６は、図７に示す６種類の認識（ジェスチャ認識４種類、タッチ認識２種類）の判別が出来る機能を備える。そして、上述した計測部１０９の計測結果（ステップＳ９０１〜Ｓ９０３の判断結果）を受け取ることにより、その距離に適した２種類の認識を行うように動作するものとする。
【００４０】
例えば、上記距離が３５ｃｍの場合には、認識部１０６は、認識可能な６種類のうち、「何かを握るジェスチャ」と「握るジェスチャの状態をやめるジェスチャ」の２種類のみを、その時点で認識可能なジェスチャとする。また例えば、上記距離が１５ｃｍの場合には、認識部１０６は、認識可能な６種類のうち、「指を揃えるジェスチャ」と「揃った指を互いに離すジェスチャ」の２種類のみを、その時点で認識可能なジェスチャとする。また例えば、上記距離が５ｃｍの場合には、認識部１０６は、認識可能な６種類のうち、「画面に物体をタッチするジェスチャ」と「タッチした物体を離すジェスチャ」の２種類のみを、その時点で認識可能なジェスチャとする。以上のように、距離に応じて、そのときに認識可能なジェスチャを絞り込むことにより、認識精度を向上することができ、また認識のための装置の演算負荷なども軽減できる。
【００４１】
以上では、実施形態１における所定値を第１の閾値としたとき、上記距離が第１の閾値以上であり第２の閾値未満であるか、上記距離が第２の閾値以上であり第３の閾値未満であるか、上記距離が第３の閾値以上であるかを判断している。そして、上記距離が第１の閾値以上であり第２の閾値未満である場合には第１の仮想画像を表示させ、上記距離が第２の閾値以上であり第３の閾値未満である場合には第２の仮想画像を表示させ、上記距離が第３の閾値以上である場合には第３の仮想画像を表示させる。
【００４２】
［変形例］
なお、以上の実施形態では、仮想光源の位置は予め設定していたが、本発明はこれに限らない。例えば、この仮想光源は、操作者の姿勢や、顔の向き、あるいは背の高さに応じて、適宜変更しても構わない。具体的には、本実施形態のユーザインタフェース表示装置１０１が操作者の頭頂部の位置を検出し、さらに操作者の顔の向きを取得できる機能を備える。そして、頭頂部の位置から顔の向きの反対方向に例えば５０ｃｍだけ移動した位置を仮想光源とする。このようにすれば、操作者の身長に合わせて適切な仮想光源が設定される。また、操作者が意図的に顔の向きを変更することによって、仮想光源の位置までもジェスチャ入力によって設定できることになる。
【００４３】
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（制御プログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【特許請求の範囲】
【請求項１】
ディスプレイに表示されたオブジェクト画像を操作する情報処理装置であって、
操作者の手の位置および形状を検出する検出手段と、
仮想光源および前記操作者の手の位置により定まる前記ディスプレイにおける位置に、前記手の影に相当する仮想画像を表示させる表示制御手段と、
前記操作者の手と前記ディスプレイとの距離を計測する計測手段と、
前記表示制御手段は、前記距離が所定値以上のときに前記仮想画像を表示させるよう制御することを特徴とする情報処理装置。
【請求項２】
更に、前記手の位置および形状に基づいて、前記オブジェクト画像を選択する選択手段と、
前記手の位置および形状に基づいて、前記選択中のオブジェクト画像を開放する開放手段とを備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記所定値を第１の閾値としたとき、前記表示制御手段は、前記距離が前記第１の閾値以上であり第２の閾値未満である場合には第１の仮想画像を表示させ、前記距離が前記第２の閾値以上であり第３の閾値未満である場合には第２の仮想画像を表示させ、前記距離が前記第３の閾値以上である場合には第３の仮想画像を表示させることを特徴とする請求項１または２のいずれか１項に記載の情報処理装置。
【請求項４】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至３のいずれか１項に記載の表示制御装置として機能させるコンピュータプログラム。
【請求項５】
請求項４に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項６】
ディスプレイに表示されたオブジェクト画像を操作する情報処理装置の制御方法であって、
検出手段によって、操作者の手の位置および形状を検出する検出工程と、
表示制御手段によって、仮想光源および前記操作者の手の位置により定まる前記ディスプレイにおける位置に、前記手の影に相当する仮想画像を表示させる表示制御工程と、
計測手段によって、前記操作者の手と前記ディスプレイとの距離を計測する計測工程と、
前記表示制御工程では、前記距離が所定値以上のときに前記仮想画像を表示させるよう制御することを特徴とする制御方法。
【請求項１】
ディスプレイに表示されたオブジェクト画像を操作する情報処理装置であって、
操作者の手の位置および形状を検出する検出手段と、
仮想光源および前記操作者の手の位置により定まる前記ディスプレイにおける位置に、前記手の影に相当する仮想画像を表示させる表示制御手段と、
前記操作者の手と前記ディスプレイとの距離を計測する計測手段と、
前記表示制御手段は、前記距離が所定値以上のときに前記仮想画像を表示させるよう制御することを特徴とする情報処理装置。
【請求項２】
更に、前記手の位置および形状に基づいて、前記オブジェクト画像を選択する選択手段と、
前記手の位置および形状に基づいて、前記選択中のオブジェクト画像を開放する開放手段とを備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記所定値を第１の閾値としたとき、前記表示制御手段は、前記距離が前記第１の閾値以上であり第２の閾値未満である場合には第１の仮想画像を表示させ、前記距離が前記第２の閾値以上であり第３の閾値未満である場合には第２の仮想画像を表示させ、前記距離が前記第３の閾値以上である場合には第３の仮想画像を表示させることを特徴とする請求項１または２のいずれか１項に記載の情報処理装置。
【請求項４】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至３のいずれか１項に記載の表示制御装置として機能させるコンピュータプログラム。
【請求項５】
請求項４に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項６】
ディスプレイに表示されたオブジェクト画像を操作する情報処理装置の制御方法であって、
検出手段によって、操作者の手の位置および形状を検出する検出工程と、
表示制御手段によって、仮想光源および前記操作者の手の位置により定まる前記ディスプレイにおける位置に、前記手の影に相当する仮想画像を表示させる表示制御工程と、
計測手段によって、前記操作者の手と前記ディスプレイとの距離を計測する計測工程と、
前記表示制御工程では、前記距離が所定値以上のときに前記仮想画像を表示させるよう制御することを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２２４５８（Ｐ２０１２−２２４５８Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１５９０１０（Ｐ２０１０−１５９０１０）
【出願日】平成２２年７月１３日（２０１０．７．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１３日（２０１０．７．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]