操作入力装置、プログラム
【課題】手で物品を掴む際の手の形の変化を手に装置を装着することなく検出することを可能にした操作入力装置を提供する。
【解決手段】距離画像生成手段１０は、手に相当する対象物について対象物までの距離を画素値に持つ距離画像の動画像を生成する。要素抽出手段２は、距離画像から対象物に対応する領域を抽出するとともに対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する。動作抽出手段３は、第１要素と第２要素との相対位置の変化を距離画像の動画像から抽出する。動作抽出手段３は、距離画像により形成される３次元の仮想空間において、第１要素の主軸上の先端である第１指先点と第２要素の主軸上の先端である第２指先点との間を対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに手で物品を掴む動作が行われたと判断する。
【解決手段】距離画像生成手段１０は、手に相当する対象物について対象物までの距離を画素値に持つ距離画像の動画像を生成する。要素抽出手段２は、距離画像から対象物に対応する領域を抽出するとともに対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する。動作抽出手段３は、第１要素と第２要素との相対位置の変化を距離画像の動画像から抽出する。動作抽出手段３は、距離画像により形成される３次元の仮想空間において、第１要素の主軸上の先端である第１指先点と第２要素の主軸上の先端である第２指先点との間を対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに手で物品を掴む動作が行われたと判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物までの距離を画素値に持つ距離画像を用いることにより対象物が規定の動作を行っているか否かを判断し、その判断結果に応じて制御対象の対応制御を行う操作入力装置、およびこの操作入力装置を実現するためのプログラムに関するものである。
【背景技術】
【０００２】
従来から、対象物までの距離を画素値に持つ距離画像を用いて対象物の動作を検出し、対象物の動作に応じて制御対象の対応制御を行うようにした入力装置が提案されている（たとえば、特許文献１参照）。特許文献１に記載された技術は、距離画像の中で距離の極小点を求め、極小点の位置変化に応じて制御対象に指示を与えている。すなわち、特許文献１に記載された技術は、距離の極小点を前方に差し出した指先の位置とみなし、指先の位置を追跡することによって、リモコン装置などを持つことなく、機器から離れた場所から機器の操作を可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５４４７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載された技術では、距離が極小になる１点のみの位置検出を行っているから、手の形の変化を認識することはできない。手の形の変化を認識するために、手に装着される手袋状の装置が提案されているが、装置を手に装着する必要があるから、簡便に用いることができないという問題がある。
【０００５】
この種の装置を用いることなく手の形の変化を認識することができれば、たとえば、コンピュータグラフィックスにより形成される仮想空間に配置された物品を掴む操作が可能になり、仮想現実の技術において利便性が得られる。あるいはまた、人の動きに合わせてロボットを操作する用途にも利用可能になる。
【０００６】
本発明は、手で物品を掴む際の手の形の変化を手に装置を装着することなく検出することを可能にした操作入力装置、およびこの操作入力装置を実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る操作入力装置は、上述の目的を達成するために、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、距離画像から対象物に対応する領域を抽出するとともに対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する要素抽出手段と、第１要素と第２要素との相対位置の変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、動作抽出手段は、距離画像により形成される３次元の仮想空間において、第１要素の主軸上の先端である第１指先点と第２要素の主軸上の先端である第２指先点との間を対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに前記規定の動作が行われたと判断することを特徴とする。
【０００８】
この操作入力装置において、要素抽出手段は、対象物において手のひらに相当する対象面を抽出するとともに対象面の法線ベクトルの向きを抽出する機能を有し、動作抽出手段は、対象面の法線ベクトルの向きが距離画像の距離値を小さくする向きで規定の方向範囲内である検出期間に、曲率を閾値と比較することが好ましい。
【０００９】
この操作入力装置において、動作抽出手段は、曲率が閾値を超えた後、仮想空間において、第２要素において対象面に連続する第１面の面積の時間経過に伴う規定割合以上の減少と、第２要素において第１面の裏面になる第２面の面積の時間経過に伴う規定割合以上の増加との少なくとも一方を検出すると、前記規定の動作が行われたと判断することが好ましい。
【００１０】
この操作入力装置において、動作抽出手段は、曲率が閾値を超えた後、仮想空間に規定した仮想の基準面に対して時間経過に伴って第２指先点の距離が１つの極小値を持つように変位したことを検出すると、前記規定の動作が行われたと判断することが好ましい。
【００１１】
この操作入力装置において、制御対象は、モニタ装置に仮想空間を表示する仮想現実生成装置であって、制御手段は、対象物に対応付けてモニタ装置に表示される仮想効果器の大きさを、モニタ装置の画面と対象物との距離に応じて変化させることが好ましい。
【００１２】
本発明に係るプログラムは、コンピュータを、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から距離画像を取得するとともに、対象物の規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、距離画像から対象物に対応する領域を抽出するとともに対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する要素抽出手段と、第１要素と第２要素との相対位置の変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、動作抽出手段は、距離画像により形成される３次元の仮想空間において、第１要素の主軸上の先端である第１指先点と第２要素の主軸上の先端である第２指先点との間を対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに前記規定の動作が行われたと判断する演算処理装置として機能させるものである。
【発明の効果】
【００１３】
本発明の構成によれば、手に相当する対象物について、親指に相当する第１要素と残りの指に相当する第２要素とを検出し、手で物品を掴む際の手の形の変化を認識することができるから、手に装置を装着せずに物品を手で掴む際の普通の動作をするだけで、制御対象に対応制御を行わせることができるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上の使用例を示す図である。
【図４】同上の使用例を示す図である。
【図５】同上の動作説明図である。
【発明を実施するための形態】
【００１５】
以下に説明する操作入力装置は、図１に示すように、距離画像の動画像を生成する距離画像生成手段１０と、距離画像生成手段１０から距離画像を取得するとともに対象物の規定の動作を検出したときに制御対象５への対応制御を行う演算処理装置２０とを備える。演算処理装置２０は、ハードウェア要素としてのコンピュータを備え、適宜のプログラムをコンピュータで実行することにより以下に説明する機能を実現する。
【００１６】
本実施形態では、距離画像生成手段１０は、少なくとも人体の手に相当する対象物に関する距離を画素値に持つ距離画像を生成する。ただし、対象物は人型のロボットや人形であってもよく、親指と残りの指として認識される形状を有していれば、対象物が人体か否かは問わない。たとえば、手は露出していることが望ましいが、手にミトンが装着されている場合でも、手で掴む際の動きを認識することが可能である。したがって、屋内で使用する場合だけでなく、屋外であっても季節を問わずに手で掴む動作を認識することが可能である。
【００１７】
距離画像生成手段１０は、実空間における対象物までの距離を計測するセンサ部１１と、センサ部１１が計測した対象物までの距離を画素値に持つ距離画像を生成する距離演算部１２とを備える。
【００１８】
センサ部１１は、アクティブ型の構成とパッシブ型の構成とのいずれでも採用可能である。本実施形態のセンサ部１１は、対象物が存在する空間に投光するとともに、空間に存在する物体からの反射光を受光し、投光から受光までの時間差に相当する情報を用いて物体までの距離を検出するアクティブ型の構成を備える。すなわち、センサ部１１は、飛行時間（ＴＯＦ＝Time Of Flight）法により対象物までの距離を計測する。
【００１９】
以下では、センサ部１１の一例として、発光源から空間に投光し、空間に存在する対象物からの反射光を撮像素子で受光するアクティブ型の構成を想定する。
【００２０】
発光源は、時間とともに強度が変化する強度変調光を投光し、対象物で反射され撮像素子で受光された強度変調光（反射光）と投光した強度変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形は、正弦波が望ましいが、三角波、鋸歯状波、方形波などから選択することも可能である。また、変調光の周期は一定とする。
【００２１】
一方、撮像素子は、複数個の受光領域（画素）が２次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサのような周知の構成のものが用いられる。ただし、撮像素子は、センサ部１１に適する特別な構造を有するように設計されていてもよい。撮像素子の受光のタイミングは、発光源が投光する強度変調光の周期に同期させて設定され、たとえば、強度変調光の周期内において９０度ずつ異なる位相に相当するタイミングの受光量を個別に取り出す。強度変調光の強度変化の周波数は、実用上は数ＭＨｚ〜数十ＭＨｚに設定され、撮像素子が受光する受光量は、強度変調光の１周期分の反射光の光量では不十分である。したがって、撮像素子では複数周期分（たとえば、１００００周期分）の受光量に相当する電荷を蓄積した後、蓄積した電荷を前記位相の受光量に相当する電荷として出力する。
【００２２】
ところで、発光源が強度変調光を投光し撮像素子が反射光を受光する構成のセンサ部１１は、撮像素子の視野全体において対象物までの距離を一括して計測することができるから、比較的短い時間で１枚の距離画像に相当する情報が得られる。したがって、通常の濃淡画像やカラー画像と同様に、１秒間に３０フレーム以上を得ることが可能である。
【００２３】
センサ部１１では強度変調光の各位相に対応する複数種類（たとえば、４種類）の電荷量が得られ、これらの電荷量は、強度変調光の位相を示す信号とともに距離演算部１２に入力される。
【００２４】
いま、強度変調光が正弦波であって、センサ部１１からは９０度ずつ異なる４位相に対応する電荷量が得られるとする。各電荷量をＡ０，Ａ１，Ａ２，Ａ３とすると、投受光の位相差φ［ｒａｄ］は下式で表される。
φ＝ｔａｎ−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
強度変調光の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差φを用いて、Δｔ＝φ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・φ／４π・ｆと表される。すなわち、４種類の電荷量Ａ０，Ａ１，Ａ２，Ａ３により対象物までの距離を求めることができる。
【００２５】
距離演算部１２は、センサ部１１から得られた情報を用いて、各画素ごとに上述した計算を行うことにより、各画素の画素値として距離を対応付けた距離画像を生成する。ただし、得られた距離画像は、センサ部１１から対象物を見込む方向における距離であって、画素の位置が角度に対応している。画素の位置に対応する角度は既知であるから、距離演算部１２は、画素の位置と画素値である距離とを用いることにより、対象物の位置が実空間に対応する３次元の直交座標系で表されるように座標変換を行う。したがって、距離演算部１２からは、対象物の位置が直交座標系で表された距離画像の動画像が得られる。言い換えると、撮像素子の画素に距離を対応付けた距離画像を、直交座標系で表される３次元の仮想空間にマッピングした距離画像が得られる。なお、上述した距離画像生成手段１０の構成は周知であるから詳述しない。
【００２６】
距離画像生成手段１０は、距離画像の動画像を要素抽出手段２に与える。要素抽出手段２は、図２のように、距離画像の視野内において手に相当する対象物Ｏｂを抽出する。すなわち、距離画像は少なくとも手に相当する領域を含んでいる必要がある。さらに、要素抽出手段２は、対象物Ｏｂの領域から親指に相当する第１要素２１と、残りの４本の指全体に相当する第２要素２２とを抽出する。第２要素２２は、個々の指として認識するのではなく、４本の指の全体を認識する。したがって、要素抽出手段２は、手にミトンを装着している場合や一部の指が欠けている場合でも第２要素２２として抽出する。
【００２７】
要素抽出手段２は、手に相当する対象物Ｏｂを距離画像から抽出するために距離の分布を求めるとともに、距離画像から対象物Ｏｂの輪郭の抽出を行う。つまり、要素抽出手段２は、距離の分布においてクラスタを形成する画素群であって、画素に連続性がある場合に当該画素群を対象物Ｏｂの領域と認識する。ここに、距離画像において、隣接する各一対の画素の間の距離が規定した範囲内であるときに両画素は連続していると判断され、連続している画素からなる領域について形状および他の領域との接続関係を用いて対象物Ｏｂと判断される。また、抽出された領域の包絡線が対象物Ｏｂの輪郭になる。
【００２８】
さらに、要素抽出手段２は、対象物Ｏｂの領域内において、距離画像から距離の分布を求めることにより、クラスタを形成する画素群について画素の連続性を利用して、第１要素２１と第２要素２２とを分離する。また、要素抽出手段２は、対象物Ｏｂの領域のうち第１要素２１および第２要素２２を除く部分を第３要素２３として分離する。第３要素２３は、手のひらあるいは手の甲に相当する。本実施形態は、原則として、手のひらをセンサ部１１に向けて使用することを想定しており、第３要素２３は手のひらになる。要素抽出手段２は、実際には、第３要素２３を手のひらと推定するために、第１要素２１および第２要素２２の関係を用いる。この技術については後述する。
【００２９】
要素抽出手段２は、常時動作させることが可能であるが、センサ部１１の視野内に設定された規定の空間領域において物体が検出されるようになるまでは、要素抽出手段２を動作させないようにするのが望ましい。すなわち、演算処理装置２０は、要素抽出手段２の機能を停止させている動作モードと、要素抽出手段２を作動させる動作モードとの２段階の動作モードを切り替えるのが好ましい。
【００３０】
要素抽出手段２は、距離画像の１フレーム毎に対象物Ｏｂの有無を検出する。対象物Ｏｂの存在が検出されると、第１要素２１と第２要素２２とが抽出され、さらに第３要素２３も抽出される。第３要素２３からは、手のひらに相当する面領域である対象面Ｓｂが抽出され、この対象面Ｓｂの向きから手のひらの向きに相当する法線ベクトルＶ１が決定される。法線ベクトルＶ１は、たとえば、手のひらとして抽出した対象面Ｓｂの重心を求め、この重心の近傍において小面積の面要素を複数設定し、各面要素の法線ベクトルを合成して得られる向きを対象面Ｓｂの法線ベクトルＶ１の向きとして採用する。対象面Ｓｂの法線ベクトルＶ１は向きのみが必要であって大きさは問わない。
【００３１】
上述のようにして要素抽出手段２で求められた情報は動作抽出手段３に入力される。動作抽出手段３は、要素抽出手段２が抽出した第１要素２１と第２要素２２との相対位置の変化を距離画像の動画像から抽出する。
【００３２】
動作抽出手段３は、第１要素２１の主軸Ａｘ１と、第２要素２２の主軸Ａｘ２とを抽出する主軸抽出部３１を備える。また、動作抽出手段３は、第１要素２１における主軸Ａｘ１の上での先端である第１指先点Ｐ１と、第２要素２２における主軸Ａｘ２の上での先端である第２指先点Ｐ２とを抽出する指先点抽出部３２を備える。
【００３３】
指先点抽出部３２が抽出した第１指先点Ｐ１の位置および第２指先点Ｐ２の位置は、動作抽出手段３に設けられた曲率算出部３３に入力される。曲率算出部３３は、第１指先点Ｐ１と第２指先点Ｐ２との間を対象物Ｏｂの表面に沿って最短距離で結ぶ曲線（図２に二点鎖線で示す曲線）の曲率を求める。第１指先点Ｐ１と第２指先点Ｐ２との間を対象物Ｏｂの表面に沿って結ぶ曲線は、第１指先点Ｐ１と第２指先点Ｐ２とを含む平面と対象物Ｏｂの表面との交線になる。交線の長さは上記平面と対象物Ｏｂとが交差する角度により変化する。本実施形態では、曲率を求める曲線として、交線の長さが最小になるときの交線を用いている。ただし、曲率を求める曲線は、親指（第１要素２１）の側面と人差し指の側面（第２要素２２の側面）とに跨るとともに対象面Ｓｂの側縁を含む曲線であってもよい。
【００３４】
曲率算出部３３は距離画像のフレームごとに上述した曲率を求め、曲率算出部３３が求めた曲率は、動作抽出手段３に設けた比較部３４においてあらかじめ設定されている規定の閾値と比較される。曲率算出部３３で求められた曲率が規定の閾値を超えていると比較部３４が判断すると、物品を掴む動作に相当する規定の動作が行われたと判断する。
【００３５】
曲率算出部３３が曲率を求める期間は、要素抽出手段２が抽出した対象面Ｓｂの法線ベクトルＶ１が距離画像の距離値を小さくする向きであって、しかも規定の方向範囲内である検出期間のみとすることが好ましい。このように、検出期間が規定されていると、曲率算出部３３が曲率を求める演算に無駄なく、結果的に処理量が軽減されることになる。
【００３６】
比較部３４において物品を掴む動作と判断された後、動作抽出手段３に設けられた動作追跡部３５において、第１要素２１から抽出した第１指先点Ｐ１の位置と、第２要素２２から抽出した第２指先点Ｐ２の位置との時間経過に伴う変化が監視される。動作追跡部３５は、第２指先点Ｐ２の位置が第１指先点Ｐ１の位置に対して規定の閾値以上に変化し、かつ第２指先点Ｐ２の位置が第１指先点Ｐ１の周囲で弧を描くように変化したとき、物品を回転させる動作に相当する規定の動作が行われたと判断する。このような動作を検出することができるのは、対象物Ｏｂの３次元の情報を検出しているからである。
【００３７】
上述したように、動作抽出手段３は、曲率算出部３３がフレームごとに算出した曲率によって物品を掴む動作を判断し、指先点抽出部３２が抽出した第１指先点Ｐ１および第２指先点Ｐ２の位置によって物品を回転させる動作を判断する。なお、動作抽出手段３が上述した動作を判定する際の曲率、回転の角度、動作の開始から終了までの時間には制限が規定される。たとえば、曲率は、上述した閾値により下限が制限されるだけではなく、物品を掴むか手を握るかの相違を区別するために上限も制限される。また、回転の角度は、下限が設定されており、下限を超えている場合に物品を回転させる動作と判断される。人体の手首の可動範囲には制限があるから、回転の角度に上限を設けなくてもよいが、人体以外の代替物の手首を用いる場合に備えて回転の角度についても上限を設定することが好ましい。さらに、動作抽出手段３は、動作の開始からの経過時間に対する判定時間を定めており、動作の開始から判定時間に達しても（フレームが所定枚数に達しても）曲率が前記閾値に達しない場合、規定の動作が行われていないと判断し、経過時間の計時を停止する。
【００３８】
ここに、物品を回転させる動作における回転軸（回転中心）は、第１指先点Ｐ１に対する第２指先点Ｐ２の移動軌跡によって変化する。たとえば、瓶や缶のような物品を掴む動作の後に、当該物品を回転させる場合を想定すると、瓶や缶のような物品の前面側を掴んだ後、背面側を表に向けるように回転する動作が考えられる。つまり、瓶の口と底とを結ぶ方向を回転の中心として回転させるか、円筒状の缶の上蓋と底とを結ぶ方向を回転の中心として回転させる動作に相当する。このような動作は、実空間では、陳列棚に並んだ商品の前面側に記載された商品名を確認した後に、商品の向きを返して、背面側に記載された説明を読む場合などに相当する。
【００３９】
本実施形態は、物品を掴む動作と物品を回転させる動作とを検出するから、制御対象５は、これらの動作に対して対応制御を行うものが望ましい。ここでは、制御対象５が、仮想空間を構築するコンピュータを用いた仮想現実生成装置であって、図３に示すように、棚４１に物品４２を陳列した仮想空間を構築してモニタ装置５１に表示している場合を想定する。すなわち、仮想現実生成装置（制御対象５）は、仮想物体として棚４１と物品４２とを含む仮想空間をモニタ装置５１に表示させる。
【００４０】
また、制御手段４は、対象物（人体の手に相当する物体）の形状に相当する仮想効果器（図示せず）を仮想空間に表示させる。仮想効果器は、対象物の位置変化だけではなく形状や向きの変化も反映させてモニタ装置５１に表示される。すなわち、制御手段４は、動作抽出手段３が抽出した対象物の情報に基づいて、モニタ装置５１に仮想効果器を表示するための画像データを生成する。
【００４１】
また、制御手段４は、動作抽出手段３が抽出した対象物とモニタ装置５１との距離に応じて、仮想効果器および仮想効果器が掴んでいる仮想物体のサイズを変化させる。仮想空間における仮想効果器および仮想物体のサイズは、実空間における人体との距離が近いほど大きくなるように表示される。したがって、実空間において手を動かすことによって仮想効果器によりいずれかの仮想物体（物品４２）を掴んだ後に、手を人体側に近づけると仮想効果器が掴んでいる仮想物体（物品４２）が拡大して表示され、あたかも仮想物体が人体側に近付いたかのように表示されることになる。
【００４２】
上述した動作により、仮想空間において棚４１に陳列されている所望の物品４２に仮想効果器が近付くように実空間で手を動かし、所望の物品４２に仮想効果器が触れたときに手で物品４２を掴む動作を行うと、当該物品４２を仮想効果器で掴むことが可能になる。仮想効果器で物品４２を掴んだ後に、実空間において手を人体側に近づけると物品４２が拡大して表示され、図４（ａ）のように、物品４２の前面に設けたラベル４２１が画面に表示される。その後、物品４２を回転させるように手を動かすと、図４（ｂ）のように、物品４２の背面に設けたラベル４２２が画面に表示される。
【００４３】
物品４２が多数個存在している場合に、どの物品４２を仮想効果器で掴めるかを明示的に示すために、仮想効果器によって掴むことができる物品４２に近付いたときに、当該物品４２の表示を他の物品４２と異ならせることが好ましい。このような表示としては、たとえば、物品４２の少なくとも一部をハイライトや別色とする表示、物品４２を通常のサイズよりも少し大きくする表示、物品４２の位置を上方にずらす表示などから適宜に選択すればよい。
【００４４】
また、選択した物品４２を棚４１に戻す処理は、制御手段４において、物品４２の背面を表示させたときとは逆向きに物品４２を回転させる手の動き、あるいは、掴んでいる物品４２を離す手の動きなどに対応付けておけばよい。
【００４５】
上述のように、実空間において対象物としての手を動かすだけで、仮想空間に表示されている物品４２を掴むとともに、物品４２を移動させたり、回転させたりすることが可能になる。しかも、所望の物品４２の背面側の情報を拡大して表示させることが可能であるから、仮想空間に商品を陳列し、購買者が興味を持った商品についてのみ説明（特長、使用方法、材料、成分、効果、注意事項など）を見せることが可能になる。しかも、実空間の現実の動きを仮想空間で同じ動きを伴う作業に結びつけているので、仮想世界を操作するインターフェースとして直観的な操作が可能になる。
【００４６】
このようなインターフェースは、商品の陳列方法を検討する用途、自動販売機において非接触で商品を選択する用途、ウェブ上で商品を購入する際の意思決定を支援する用途などに用いることができる。
【００４７】
ところで、上述した構成例では、動作抽出手段３が物品の回転と判断する条件として、第１指先点Ｐ１と第２指先点Ｐ２との位置の時間変化を用いているが、以下の条件を用いて、物品を回転させる動作を判定してもよい。
【００４８】
本実施形態は、対象物が手であるから、対象物には手のひらと手の甲との２面がある。ここで、手のひらを第１面、手の甲を第２面とし、要素抽出手段２に第１面と第２面とを抽出する機能を付加する。要素抽出手段２は対象面Ｓｂを抽出しているから、対象物に相当する領域に関して、対象面Ｓｂに連続する面を第１面とし、その裏面を第２面とすることにより容易に抽出される。
【００４９】
第１面と第２面とが抽出されていると、物品を回転させる動作は、第１面の面積の時間経過に伴う減少と、第２面の面積の時間経過に伴う増加との少なくとも一方によって判断することが可能である。したがって、動作抽出手段３は、第１面の面積の時間経過に伴う規定割合以上の減少と、第２面の面積の時間経過に伴う規定割合以上の増加との少なくとも一方を検出すると、物品の回転に相当する規定の動作と判断するように構成されていてもよい。
【００５０】
また、第１指先点Ｐ１と第２指先点Ｐ２との位置関係を用いて物品の回転に相当する規定の動作と判断する代わりに、簡易的には、第２指先点Ｐ２にのみ着目して物品の回転に相当する動作と判断してもよい。すなわち、動作抽出手段３は、図５に示すように、仮想空間に規定した仮想の基準面に対して時間経過に伴って第２指先点Ｐ２の距離が１つの極小値を持つように変位したことを検出したときに、物品の回転に相当する規定の動作と判断するように構成されていてもよい。
【符号の説明】
【００５１】
２ 要素抽出手段
３ 動作抽出手段
４ 制御手段
１０ 距離画像生成手段
２０ 演算処理装置
２１ 第１要素
２２ 第２要素
３１ 主軸抽出部
３２ 指先点抽出部
３３ 曲率算出部
３４ 比較部
３５ 動作追跡部
Ｏｂ 対象物
Ｓｂ 対象面
Ｖ１ 法線ベクトル
【技術分野】
【０００１】
本発明は、対象物までの距離を画素値に持つ距離画像を用いることにより対象物が規定の動作を行っているか否かを判断し、その判断結果に応じて制御対象の対応制御を行う操作入力装置、およびこの操作入力装置を実現するためのプログラムに関するものである。
【背景技術】
【０００２】
従来から、対象物までの距離を画素値に持つ距離画像を用いて対象物の動作を検出し、対象物の動作に応じて制御対象の対応制御を行うようにした入力装置が提案されている（たとえば、特許文献１参照）。特許文献１に記載された技術は、距離画像の中で距離の極小点を求め、極小点の位置変化に応じて制御対象に指示を与えている。すなわち、特許文献１に記載された技術は、距離の極小点を前方に差し出した指先の位置とみなし、指先の位置を追跡することによって、リモコン装置などを持つことなく、機器から離れた場所から機器の操作を可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５４４７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載された技術では、距離が極小になる１点のみの位置検出を行っているから、手の形の変化を認識することはできない。手の形の変化を認識するために、手に装着される手袋状の装置が提案されているが、装置を手に装着する必要があるから、簡便に用いることができないという問題がある。
【０００５】
この種の装置を用いることなく手の形の変化を認識することができれば、たとえば、コンピュータグラフィックスにより形成される仮想空間に配置された物品を掴む操作が可能になり、仮想現実の技術において利便性が得られる。あるいはまた、人の動きに合わせてロボットを操作する用途にも利用可能になる。
【０００６】
本発明は、手で物品を掴む際の手の形の変化を手に装置を装着することなく検出することを可能にした操作入力装置、およびこの操作入力装置を実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る操作入力装置は、上述の目的を達成するために、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、距離画像から対象物に対応する領域を抽出するとともに対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する要素抽出手段と、第１要素と第２要素との相対位置の変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、動作抽出手段は、距離画像により形成される３次元の仮想空間において、第１要素の主軸上の先端である第１指先点と第２要素の主軸上の先端である第２指先点との間を対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに前記規定の動作が行われたと判断することを特徴とする。
【０００８】
この操作入力装置において、要素抽出手段は、対象物において手のひらに相当する対象面を抽出するとともに対象面の法線ベクトルの向きを抽出する機能を有し、動作抽出手段は、対象面の法線ベクトルの向きが距離画像の距離値を小さくする向きで規定の方向範囲内である検出期間に、曲率を閾値と比較することが好ましい。
【０００９】
この操作入力装置において、動作抽出手段は、曲率が閾値を超えた後、仮想空間において、第２要素において対象面に連続する第１面の面積の時間経過に伴う規定割合以上の減少と、第２要素において第１面の裏面になる第２面の面積の時間経過に伴う規定割合以上の増加との少なくとも一方を検出すると、前記規定の動作が行われたと判断することが好ましい。
【００１０】
この操作入力装置において、動作抽出手段は、曲率が閾値を超えた後、仮想空間に規定した仮想の基準面に対して時間経過に伴って第２指先点の距離が１つの極小値を持つように変位したことを検出すると、前記規定の動作が行われたと判断することが好ましい。
【００１１】
この操作入力装置において、制御対象は、モニタ装置に仮想空間を表示する仮想現実生成装置であって、制御手段は、対象物に対応付けてモニタ装置に表示される仮想効果器の大きさを、モニタ装置の画面と対象物との距離に応じて変化させることが好ましい。
【００１２】
本発明に係るプログラムは、コンピュータを、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から距離画像を取得するとともに、対象物の規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、距離画像から対象物に対応する領域を抽出するとともに対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する要素抽出手段と、第１要素と第２要素との相対位置の変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、動作抽出手段は、距離画像により形成される３次元の仮想空間において、第１要素の主軸上の先端である第１指先点と第２要素の主軸上の先端である第２指先点との間を対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに前記規定の動作が行われたと判断する演算処理装置として機能させるものである。
【発明の効果】
【００１３】
本発明の構成によれば、手に相当する対象物について、親指に相当する第１要素と残りの指に相当する第２要素とを検出し、手で物品を掴む際の手の形の変化を認識することができるから、手に装置を装着せずに物品を手で掴む際の普通の動作をするだけで、制御対象に対応制御を行わせることができるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上の使用例を示す図である。
【図４】同上の使用例を示す図である。
【図５】同上の動作説明図である。
【発明を実施するための形態】
【００１５】
以下に説明する操作入力装置は、図１に示すように、距離画像の動画像を生成する距離画像生成手段１０と、距離画像生成手段１０から距離画像を取得するとともに対象物の規定の動作を検出したときに制御対象５への対応制御を行う演算処理装置２０とを備える。演算処理装置２０は、ハードウェア要素としてのコンピュータを備え、適宜のプログラムをコンピュータで実行することにより以下に説明する機能を実現する。
【００１６】
本実施形態では、距離画像生成手段１０は、少なくとも人体の手に相当する対象物に関する距離を画素値に持つ距離画像を生成する。ただし、対象物は人型のロボットや人形であってもよく、親指と残りの指として認識される形状を有していれば、対象物が人体か否かは問わない。たとえば、手は露出していることが望ましいが、手にミトンが装着されている場合でも、手で掴む際の動きを認識することが可能である。したがって、屋内で使用する場合だけでなく、屋外であっても季節を問わずに手で掴む動作を認識することが可能である。
【００１７】
距離画像生成手段１０は、実空間における対象物までの距離を計測するセンサ部１１と、センサ部１１が計測した対象物までの距離を画素値に持つ距離画像を生成する距離演算部１２とを備える。
【００１８】
センサ部１１は、アクティブ型の構成とパッシブ型の構成とのいずれでも採用可能である。本実施形態のセンサ部１１は、対象物が存在する空間に投光するとともに、空間に存在する物体からの反射光を受光し、投光から受光までの時間差に相当する情報を用いて物体までの距離を検出するアクティブ型の構成を備える。すなわち、センサ部１１は、飛行時間（ＴＯＦ＝Time Of Flight）法により対象物までの距離を計測する。
【００１９】
以下では、センサ部１１の一例として、発光源から空間に投光し、空間に存在する対象物からの反射光を撮像素子で受光するアクティブ型の構成を想定する。
【００２０】
発光源は、時間とともに強度が変化する強度変調光を投光し、対象物で反射され撮像素子で受光された強度変調光（反射光）と投光した強度変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形は、正弦波が望ましいが、三角波、鋸歯状波、方形波などから選択することも可能である。また、変調光の周期は一定とする。
【００２１】
一方、撮像素子は、複数個の受光領域（画素）が２次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサのような周知の構成のものが用いられる。ただし、撮像素子は、センサ部１１に適する特別な構造を有するように設計されていてもよい。撮像素子の受光のタイミングは、発光源が投光する強度変調光の周期に同期させて設定され、たとえば、強度変調光の周期内において９０度ずつ異なる位相に相当するタイミングの受光量を個別に取り出す。強度変調光の強度変化の周波数は、実用上は数ＭＨｚ〜数十ＭＨｚに設定され、撮像素子が受光する受光量は、強度変調光の１周期分の反射光の光量では不十分である。したがって、撮像素子では複数周期分（たとえば、１００００周期分）の受光量に相当する電荷を蓄積した後、蓄積した電荷を前記位相の受光量に相当する電荷として出力する。
【００２２】
ところで、発光源が強度変調光を投光し撮像素子が反射光を受光する構成のセンサ部１１は、撮像素子の視野全体において対象物までの距離を一括して計測することができるから、比較的短い時間で１枚の距離画像に相当する情報が得られる。したがって、通常の濃淡画像やカラー画像と同様に、１秒間に３０フレーム以上を得ることが可能である。
【００２３】
センサ部１１では強度変調光の各位相に対応する複数種類（たとえば、４種類）の電荷量が得られ、これらの電荷量は、強度変調光の位相を示す信号とともに距離演算部１２に入力される。
【００２４】
いま、強度変調光が正弦波であって、センサ部１１からは９０度ずつ異なる４位相に対応する電荷量が得られるとする。各電荷量をＡ０，Ａ１，Ａ２，Ａ３とすると、投受光の位相差φ［ｒａｄ］は下式で表される。
φ＝ｔａｎ−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
強度変調光の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差φを用いて、Δｔ＝φ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・φ／４π・ｆと表される。すなわち、４種類の電荷量Ａ０，Ａ１，Ａ２，Ａ３により対象物までの距離を求めることができる。
【００２５】
距離演算部１２は、センサ部１１から得られた情報を用いて、各画素ごとに上述した計算を行うことにより、各画素の画素値として距離を対応付けた距離画像を生成する。ただし、得られた距離画像は、センサ部１１から対象物を見込む方向における距離であって、画素の位置が角度に対応している。画素の位置に対応する角度は既知であるから、距離演算部１２は、画素の位置と画素値である距離とを用いることにより、対象物の位置が実空間に対応する３次元の直交座標系で表されるように座標変換を行う。したがって、距離演算部１２からは、対象物の位置が直交座標系で表された距離画像の動画像が得られる。言い換えると、撮像素子の画素に距離を対応付けた距離画像を、直交座標系で表される３次元の仮想空間にマッピングした距離画像が得られる。なお、上述した距離画像生成手段１０の構成は周知であるから詳述しない。
【００２６】
距離画像生成手段１０は、距離画像の動画像を要素抽出手段２に与える。要素抽出手段２は、図２のように、距離画像の視野内において手に相当する対象物Ｏｂを抽出する。すなわち、距離画像は少なくとも手に相当する領域を含んでいる必要がある。さらに、要素抽出手段２は、対象物Ｏｂの領域から親指に相当する第１要素２１と、残りの４本の指全体に相当する第２要素２２とを抽出する。第２要素２２は、個々の指として認識するのではなく、４本の指の全体を認識する。したがって、要素抽出手段２は、手にミトンを装着している場合や一部の指が欠けている場合でも第２要素２２として抽出する。
【００２７】
要素抽出手段２は、手に相当する対象物Ｏｂを距離画像から抽出するために距離の分布を求めるとともに、距離画像から対象物Ｏｂの輪郭の抽出を行う。つまり、要素抽出手段２は、距離の分布においてクラスタを形成する画素群であって、画素に連続性がある場合に当該画素群を対象物Ｏｂの領域と認識する。ここに、距離画像において、隣接する各一対の画素の間の距離が規定した範囲内であるときに両画素は連続していると判断され、連続している画素からなる領域について形状および他の領域との接続関係を用いて対象物Ｏｂと判断される。また、抽出された領域の包絡線が対象物Ｏｂの輪郭になる。
【００２８】
さらに、要素抽出手段２は、対象物Ｏｂの領域内において、距離画像から距離の分布を求めることにより、クラスタを形成する画素群について画素の連続性を利用して、第１要素２１と第２要素２２とを分離する。また、要素抽出手段２は、対象物Ｏｂの領域のうち第１要素２１および第２要素２２を除く部分を第３要素２３として分離する。第３要素２３は、手のひらあるいは手の甲に相当する。本実施形態は、原則として、手のひらをセンサ部１１に向けて使用することを想定しており、第３要素２３は手のひらになる。要素抽出手段２は、実際には、第３要素２３を手のひらと推定するために、第１要素２１および第２要素２２の関係を用いる。この技術については後述する。
【００２９】
要素抽出手段２は、常時動作させることが可能であるが、センサ部１１の視野内に設定された規定の空間領域において物体が検出されるようになるまでは、要素抽出手段２を動作させないようにするのが望ましい。すなわち、演算処理装置２０は、要素抽出手段２の機能を停止させている動作モードと、要素抽出手段２を作動させる動作モードとの２段階の動作モードを切り替えるのが好ましい。
【００３０】
要素抽出手段２は、距離画像の１フレーム毎に対象物Ｏｂの有無を検出する。対象物Ｏｂの存在が検出されると、第１要素２１と第２要素２２とが抽出され、さらに第３要素２３も抽出される。第３要素２３からは、手のひらに相当する面領域である対象面Ｓｂが抽出され、この対象面Ｓｂの向きから手のひらの向きに相当する法線ベクトルＶ１が決定される。法線ベクトルＶ１は、たとえば、手のひらとして抽出した対象面Ｓｂの重心を求め、この重心の近傍において小面積の面要素を複数設定し、各面要素の法線ベクトルを合成して得られる向きを対象面Ｓｂの法線ベクトルＶ１の向きとして採用する。対象面Ｓｂの法線ベクトルＶ１は向きのみが必要であって大きさは問わない。
【００３１】
上述のようにして要素抽出手段２で求められた情報は動作抽出手段３に入力される。動作抽出手段３は、要素抽出手段２が抽出した第１要素２１と第２要素２２との相対位置の変化を距離画像の動画像から抽出する。
【００３２】
動作抽出手段３は、第１要素２１の主軸Ａｘ１と、第２要素２２の主軸Ａｘ２とを抽出する主軸抽出部３１を備える。また、動作抽出手段３は、第１要素２１における主軸Ａｘ１の上での先端である第１指先点Ｐ１と、第２要素２２における主軸Ａｘ２の上での先端である第２指先点Ｐ２とを抽出する指先点抽出部３２を備える。
【００３３】
指先点抽出部３２が抽出した第１指先点Ｐ１の位置および第２指先点Ｐ２の位置は、動作抽出手段３に設けられた曲率算出部３３に入力される。曲率算出部３３は、第１指先点Ｐ１と第２指先点Ｐ２との間を対象物Ｏｂの表面に沿って最短距離で結ぶ曲線（図２に二点鎖線で示す曲線）の曲率を求める。第１指先点Ｐ１と第２指先点Ｐ２との間を対象物Ｏｂの表面に沿って結ぶ曲線は、第１指先点Ｐ１と第２指先点Ｐ２とを含む平面と対象物Ｏｂの表面との交線になる。交線の長さは上記平面と対象物Ｏｂとが交差する角度により変化する。本実施形態では、曲率を求める曲線として、交線の長さが最小になるときの交線を用いている。ただし、曲率を求める曲線は、親指（第１要素２１）の側面と人差し指の側面（第２要素２２の側面）とに跨るとともに対象面Ｓｂの側縁を含む曲線であってもよい。
【００３４】
曲率算出部３３は距離画像のフレームごとに上述した曲率を求め、曲率算出部３３が求めた曲率は、動作抽出手段３に設けた比較部３４においてあらかじめ設定されている規定の閾値と比較される。曲率算出部３３で求められた曲率が規定の閾値を超えていると比較部３４が判断すると、物品を掴む動作に相当する規定の動作が行われたと判断する。
【００３５】
曲率算出部３３が曲率を求める期間は、要素抽出手段２が抽出した対象面Ｓｂの法線ベクトルＶ１が距離画像の距離値を小さくする向きであって、しかも規定の方向範囲内である検出期間のみとすることが好ましい。このように、検出期間が規定されていると、曲率算出部３３が曲率を求める演算に無駄なく、結果的に処理量が軽減されることになる。
【００３６】
比較部３４において物品を掴む動作と判断された後、動作抽出手段３に設けられた動作追跡部３５において、第１要素２１から抽出した第１指先点Ｐ１の位置と、第２要素２２から抽出した第２指先点Ｐ２の位置との時間経過に伴う変化が監視される。動作追跡部３５は、第２指先点Ｐ２の位置が第１指先点Ｐ１の位置に対して規定の閾値以上に変化し、かつ第２指先点Ｐ２の位置が第１指先点Ｐ１の周囲で弧を描くように変化したとき、物品を回転させる動作に相当する規定の動作が行われたと判断する。このような動作を検出することができるのは、対象物Ｏｂの３次元の情報を検出しているからである。
【００３７】
上述したように、動作抽出手段３は、曲率算出部３３がフレームごとに算出した曲率によって物品を掴む動作を判断し、指先点抽出部３２が抽出した第１指先点Ｐ１および第２指先点Ｐ２の位置によって物品を回転させる動作を判断する。なお、動作抽出手段３が上述した動作を判定する際の曲率、回転の角度、動作の開始から終了までの時間には制限が規定される。たとえば、曲率は、上述した閾値により下限が制限されるだけではなく、物品を掴むか手を握るかの相違を区別するために上限も制限される。また、回転の角度は、下限が設定されており、下限を超えている場合に物品を回転させる動作と判断される。人体の手首の可動範囲には制限があるから、回転の角度に上限を設けなくてもよいが、人体以外の代替物の手首を用いる場合に備えて回転の角度についても上限を設定することが好ましい。さらに、動作抽出手段３は、動作の開始からの経過時間に対する判定時間を定めており、動作の開始から判定時間に達しても（フレームが所定枚数に達しても）曲率が前記閾値に達しない場合、規定の動作が行われていないと判断し、経過時間の計時を停止する。
【００３８】
ここに、物品を回転させる動作における回転軸（回転中心）は、第１指先点Ｐ１に対する第２指先点Ｐ２の移動軌跡によって変化する。たとえば、瓶や缶のような物品を掴む動作の後に、当該物品を回転させる場合を想定すると、瓶や缶のような物品の前面側を掴んだ後、背面側を表に向けるように回転する動作が考えられる。つまり、瓶の口と底とを結ぶ方向を回転の中心として回転させるか、円筒状の缶の上蓋と底とを結ぶ方向を回転の中心として回転させる動作に相当する。このような動作は、実空間では、陳列棚に並んだ商品の前面側に記載された商品名を確認した後に、商品の向きを返して、背面側に記載された説明を読む場合などに相当する。
【００３９】
本実施形態は、物品を掴む動作と物品を回転させる動作とを検出するから、制御対象５は、これらの動作に対して対応制御を行うものが望ましい。ここでは、制御対象５が、仮想空間を構築するコンピュータを用いた仮想現実生成装置であって、図３に示すように、棚４１に物品４２を陳列した仮想空間を構築してモニタ装置５１に表示している場合を想定する。すなわち、仮想現実生成装置（制御対象５）は、仮想物体として棚４１と物品４２とを含む仮想空間をモニタ装置５１に表示させる。
【００４０】
また、制御手段４は、対象物（人体の手に相当する物体）の形状に相当する仮想効果器（図示せず）を仮想空間に表示させる。仮想効果器は、対象物の位置変化だけではなく形状や向きの変化も反映させてモニタ装置５１に表示される。すなわち、制御手段４は、動作抽出手段３が抽出した対象物の情報に基づいて、モニタ装置５１に仮想効果器を表示するための画像データを生成する。
【００４１】
また、制御手段４は、動作抽出手段３が抽出した対象物とモニタ装置５１との距離に応じて、仮想効果器および仮想効果器が掴んでいる仮想物体のサイズを変化させる。仮想空間における仮想効果器および仮想物体のサイズは、実空間における人体との距離が近いほど大きくなるように表示される。したがって、実空間において手を動かすことによって仮想効果器によりいずれかの仮想物体（物品４２）を掴んだ後に、手を人体側に近づけると仮想効果器が掴んでいる仮想物体（物品４２）が拡大して表示され、あたかも仮想物体が人体側に近付いたかのように表示されることになる。
【００４２】
上述した動作により、仮想空間において棚４１に陳列されている所望の物品４２に仮想効果器が近付くように実空間で手を動かし、所望の物品４２に仮想効果器が触れたときに手で物品４２を掴む動作を行うと、当該物品４２を仮想効果器で掴むことが可能になる。仮想効果器で物品４２を掴んだ後に、実空間において手を人体側に近づけると物品４２が拡大して表示され、図４（ａ）のように、物品４２の前面に設けたラベル４２１が画面に表示される。その後、物品４２を回転させるように手を動かすと、図４（ｂ）のように、物品４２の背面に設けたラベル４２２が画面に表示される。
【００４３】
物品４２が多数個存在している場合に、どの物品４２を仮想効果器で掴めるかを明示的に示すために、仮想効果器によって掴むことができる物品４２に近付いたときに、当該物品４２の表示を他の物品４２と異ならせることが好ましい。このような表示としては、たとえば、物品４２の少なくとも一部をハイライトや別色とする表示、物品４２を通常のサイズよりも少し大きくする表示、物品４２の位置を上方にずらす表示などから適宜に選択すればよい。
【００４４】
また、選択した物品４２を棚４１に戻す処理は、制御手段４において、物品４２の背面を表示させたときとは逆向きに物品４２を回転させる手の動き、あるいは、掴んでいる物品４２を離す手の動きなどに対応付けておけばよい。
【００４５】
上述のように、実空間において対象物としての手を動かすだけで、仮想空間に表示されている物品４２を掴むとともに、物品４２を移動させたり、回転させたりすることが可能になる。しかも、所望の物品４２の背面側の情報を拡大して表示させることが可能であるから、仮想空間に商品を陳列し、購買者が興味を持った商品についてのみ説明（特長、使用方法、材料、成分、効果、注意事項など）を見せることが可能になる。しかも、実空間の現実の動きを仮想空間で同じ動きを伴う作業に結びつけているので、仮想世界を操作するインターフェースとして直観的な操作が可能になる。
【００４６】
このようなインターフェースは、商品の陳列方法を検討する用途、自動販売機において非接触で商品を選択する用途、ウェブ上で商品を購入する際の意思決定を支援する用途などに用いることができる。
【００４７】
ところで、上述した構成例では、動作抽出手段３が物品の回転と判断する条件として、第１指先点Ｐ１と第２指先点Ｐ２との位置の時間変化を用いているが、以下の条件を用いて、物品を回転させる動作を判定してもよい。
【００４８】
本実施形態は、対象物が手であるから、対象物には手のひらと手の甲との２面がある。ここで、手のひらを第１面、手の甲を第２面とし、要素抽出手段２に第１面と第２面とを抽出する機能を付加する。要素抽出手段２は対象面Ｓｂを抽出しているから、対象物に相当する領域に関して、対象面Ｓｂに連続する面を第１面とし、その裏面を第２面とすることにより容易に抽出される。
【００４９】
第１面と第２面とが抽出されていると、物品を回転させる動作は、第１面の面積の時間経過に伴う減少と、第２面の面積の時間経過に伴う増加との少なくとも一方によって判断することが可能である。したがって、動作抽出手段３は、第１面の面積の時間経過に伴う規定割合以上の減少と、第２面の面積の時間経過に伴う規定割合以上の増加との少なくとも一方を検出すると、物品の回転に相当する規定の動作と判断するように構成されていてもよい。
【００５０】
また、第１指先点Ｐ１と第２指先点Ｐ２との位置関係を用いて物品の回転に相当する規定の動作と判断する代わりに、簡易的には、第２指先点Ｐ２にのみ着目して物品の回転に相当する動作と判断してもよい。すなわち、動作抽出手段３は、図５に示すように、仮想空間に規定した仮想の基準面に対して時間経過に伴って第２指先点Ｐ２の距離が１つの極小値を持つように変位したことを検出したときに、物品の回転に相当する規定の動作と判断するように構成されていてもよい。
【符号の説明】
【００５１】
２ 要素抽出手段
３ 動作抽出手段
４ 制御手段
１０ 距離画像生成手段
２０ 演算処理装置
２１ 第１要素
２２ 第２要素
３１ 主軸抽出部
３２ 指先点抽出部
３３ 曲率算出部
３４ 比較部
３５ 動作追跡部
Ｏｂ 対象物
Ｓｂ 対象面
Ｖ１ 法線ベクトル
【特許請求の範囲】
【請求項１】
少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記対象物に対応する領域を抽出するとともに前記対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する要素抽出手段と、前記第１要素と前記第２要素との相対位置の変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、前記動作抽出手段は、前記距離画像により形成される３次元の仮想空間において、前記第１要素の主軸上の先端である第１指先点と前記第２要素の主軸上の先端である第２指先点との間を前記対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに前記規定の動作が行われたと判断することを特徴とする操作入力装置。
【請求項２】
前記要素抽出手段は、前記対象物において手のひらに相当する対象面を抽出するとともに前記対象面の法線ベクトルの向きを抽出する機能を有し、前記動作抽出手段は、前記対象面の法線ベクトルの向きが前記距離画像の距離値を小さくする向きで規定の方向範囲内である検出期間に、前記曲率を前記閾値と比較することを特徴とする請求項１記載の操作入力装置。
【請求項３】
前記動作抽出手段は、前記曲率が前記閾値を超えた後、前記仮想空間において、前記第２要素において前記対象面に連続する第１面の面積の時間経過に伴う規定割合以上の減少と、前記第２要素において前記第１面の裏面になる第２面の面積の時間経過に伴う規定割合以上の増加との少なくとも一方を検出すると、前記規定の動作が行われたと判断することを特徴とする請求項２記載の操作入力装置。
【請求項４】
前記動作抽出手段は、前記曲率が前記閾値を超えた後、前記仮想空間に規定した仮想の基準面に対して時間経過に伴って前記第２指先点の距離が１つの極小値を持つように変位したことを検出すると、前記規定の動作が行われたと判断することを特徴とする請求項２記載の操作入力装置。
【請求項５】
前記制御対象は、モニタ装置に仮想空間を表示する仮想現実生成装置であって、前記制御手段は、前記対象物に対応付けて前記モニタ装置に表示される仮想効果器の大きさを、前記モニタ装置の画面と前記対象物との距離に応じて変化させることを特徴とする請求項２〜４のいずれか１項に記載の操作入力装置。
【請求項６】
コンピュータを、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から前記距離画像を取得するとともに、前記対象物の規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、前記距離画像から前記対象物に対応する領域を抽出するとともに前記対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する要素抽出手段と、前記第１要素と前記第２要素との相対位置の変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、前記動作抽出手段は、前記距離画像により形成される３次元の仮想空間において、前記第１要素の主軸上の先端である第１指先点と前記第２要素の主軸上の先端である第２指先点との間を前記対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに前記規定の動作が行われたと判断する演算処理装置として機能させるプログラム。
【請求項１】
少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記対象物に対応する領域を抽出するとともに前記対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する要素抽出手段と、前記第１要素と前記第２要素との相対位置の変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、前記動作抽出手段は、前記距離画像により形成される３次元の仮想空間において、前記第１要素の主軸上の先端である第１指先点と前記第２要素の主軸上の先端である第２指先点との間を前記対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに前記規定の動作が行われたと判断することを特徴とする操作入力装置。
【請求項２】
前記要素抽出手段は、前記対象物において手のひらに相当する対象面を抽出するとともに前記対象面の法線ベクトルの向きを抽出する機能を有し、前記動作抽出手段は、前記対象面の法線ベクトルの向きが前記距離画像の距離値を小さくする向きで規定の方向範囲内である検出期間に、前記曲率を前記閾値と比較することを特徴とする請求項１記載の操作入力装置。
【請求項３】
前記動作抽出手段は、前記曲率が前記閾値を超えた後、前記仮想空間において、前記第２要素において前記対象面に連続する第１面の面積の時間経過に伴う規定割合以上の減少と、前記第２要素において前記第１面の裏面になる第２面の面積の時間経過に伴う規定割合以上の増加との少なくとも一方を検出すると、前記規定の動作が行われたと判断することを特徴とする請求項２記載の操作入力装置。
【請求項４】
前記動作抽出手段は、前記曲率が前記閾値を超えた後、前記仮想空間に規定した仮想の基準面に対して時間経過に伴って前記第２指先点の距離が１つの極小値を持つように変位したことを検出すると、前記規定の動作が行われたと判断することを特徴とする請求項２記載の操作入力装置。
【請求項５】
前記制御対象は、モニタ装置に仮想空間を表示する仮想現実生成装置であって、前記制御手段は、前記対象物に対応付けて前記モニタ装置に表示される仮想効果器の大きさを、前記モニタ装置の画面と前記対象物との距離に応じて変化させることを特徴とする請求項２〜４のいずれか１項に記載の操作入力装置。
【請求項６】
コンピュータを、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から前記距離画像を取得するとともに、前記対象物の規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、前記距離画像から前記対象物に対応する領域を抽出するとともに前記対象物の領域から親指に相当する第１要素と残りの指全体に相当する第２要素とを抽出する要素抽出手段と、前記第１要素と前記第２要素との相対位置の変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、前記動作抽出手段は、前記距離画像により形成される３次元の仮想空間において、前記第１要素の主軸上の先端である第１指先点と前記第２要素の主軸上の先端である第２指先点との間を前記対象物の表面に沿って最短距離で結ぶ曲線の曲率が閾値を超えるときに前記規定の動作が行われたと判断する演算処理装置として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２４７９６５（Ｐ２０１２−２４７９６５Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１８６６８（Ｐ２０１１−１１８６６８）
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]