入力体の動き検出方法およびそれを用いた入力デバイス
【課題】１台の光学的撮像手段を用いた画像解析から、人の手先の三次元的な動きを検出することのできる入力体の動き検出方法と、この動き検出方法を用いた指示操作用の入力デバイスを提供する。
【解決手段】光源Ｌと、手先Ｈに対して光源Ｌと同じ側に配置された光学的撮像手段（カメラＣ）と、制御手段と、上記カメラＣで得られた二次元画像から、拳の形状の分布重心の座標Ｇと指の先端の座標Ｔとを算出する形状認識手段と、上記拳の重心座標Ｇと指先座標Ｔの間の距離（ｄ）を比較する動き判定手段と、を備えている。これにより、上記拳の重心座標Ｇと指先座標Ｔの間の距離（ｄ）が、計測前後で縮小または拡大した場合に、その際の手先Ｈの動きを、上記カメラＣの仮想撮影平面Ｐに対する指の上下動（Ｚ方向の動き）として判断することができる。
【解決手段】光源Ｌと、手先Ｈに対して光源Ｌと同じ側に配置された光学的撮像手段（カメラＣ）と、制御手段と、上記カメラＣで得られた二次元画像から、拳の形状の分布重心の座標Ｇと指の先端の座標Ｔとを算出する形状認識手段と、上記拳の重心座標Ｇと指先座標Ｔの間の距離（ｄ）を比較する動き判定手段と、を備えている。これにより、上記拳の重心座標Ｇと指先座標Ｔの間の距離（ｄ）が、計測前後で縮小または拡大した場合に、その際の手先Ｈの動きを、上記カメラＣの仮想撮影平面Ｐに対する指の上下動（Ｚ方向の動き）として判断することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力デバイスにおいて座標の入力に用いられる手先の動きの検出方法と、それを用いた入力デバイスに関するものである。
【背景技術】
【０００２】
表示された二次元映像または三次元映像とインタラクションすることのできる装置のユーザインタフェースとして、人の手先や指等を操作用の入力体として用いる入力デバイスが開発されている。この入力デバイスは、カメラ等の光学的撮像手段を複数有する三次元位置計測システムを備えており、撮影位置や撮影角度が決められた各カメラから得られる画像（二次元画像）にもとづいて、対象となる物体（入力体）の三次元位置や三軸（ＸＹＺ軸）座標等を演算により求め、その座標値を、表示装置等の制御手段（コンピュータ等）に出力する（例えば、特許文献１，２を参照）。
【０００３】
例えば、図８に示すような、互いに直交する三軸（ＸＹＺ軸）方向の入力体（手先Ｈ）の座標を検出する入力デバイスの場合、入力体を撮影する光学的撮像手段として、上記入力体を下方（Ｚ軸方向）から撮影するカメラＣ１と、この入力体を上記カメラＣ１の撮影方向と直交する方向（図では左方：Ｘ軸方向）から撮影するカメラＣ２の２台のカメラを備えている。そして、光源（図示省略）から投射された光の入力体（手先Ｈ）による反射光（像）を、上記下方のカメラＣ１に対応する二次元画像（仮想撮影平面Ｐ１，ＸＹ方向）と、上記左方のカメラＣ２に対応する二次元画像（仮想撮影平面Ｐ２，ＹＺ方向）として取得するとともに、得られた各画像にもとづいて、コンピュータ等を用いた演算により、手先Ｈの指先等の形状を認識して抽出し、各画像に共通のパラメータ（この例ではＹ軸方向の座標値）を用いてデータを合成することにより、上記手先Ｈの三軸（ＸＹＺ軸）方向の座標を検知・出力することができる。また、上記画像取得−形状認識−座標合成の各ステップを繰り返すことにより、上記手先Ｈの三次元的な動き（座標および軌跡）を検知・出力することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−５３９１４号公報
【特許文献２】特開平１１−２３２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来の入力デバイスに用いられる三次元位置計測システムは、必ず複数台のカメラが必要で、設備が大掛かりかつ高価になってしまう場合が多い。しかも、周囲の環境や装置の構造によっては、各カメラを、撮影に最適な位置に配設できるとは限らず、操作者が違和感を感じる位置に配置される場合もある。さらに、そのカメラが、操作者の認識できる視野内に入ってしまう場合は、操作に慣れていない人の手の動きが、不自然になったり、滑らかでなくなってしまうおそれもある。
【０００６】
本発明は、このような事情に鑑みなされたもので、１台の光学的撮像手段を用いた画像解析から、人の手先の三次元的な動きを検出することのできる入力体の動き検出方法と、この動き検出方法を用いた指示操作用の入力デバイスの提供をその目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明は、入力デバイスにおいて座標の入力に用いられる手先の三次元の動きをひとつの光学的撮像手段で検出する方法であって、拳を含む手先の上方または下方に配置された光源から、この手先に向けて光を投射するステップと、上記手先に対して光源と同じ側に光学的撮像手段を配置して、この手先による上記光の反射を、仮想撮影平面上の二次元画像として取得するステップと、上記二次元画像に、互いに直交する二軸の座標を割り当て、この画像のなかから、拳の形状とこの拳から突出する指の先端位置とを認識して抽出した後、演算により、拳の面積の分布重心の座標と指先の座標とを算出するステップと、上記光を投射するステップと二次元画像を取得するステップと拳の重心座標および指先座標を算出するステップとを繰り返し、この繰り返しの前後における上記拳の重心座標と指先座標の間の距離とを比較するとともに、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変化していない場合は、上記拳を含む手先が上記仮想撮影平面方向にスライド移動したと判定し、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変化している場合は、この指先が上記手先の手首または肘を支点に上下方向に回動したと判定するステップと、を備える入力体の動き検出方法を第１の要旨とする。
【０００８】
また、同じ目的を達成するために、本発明は、デバイスの入力体として使用する拳を含む手先の上方または下方に配置された光源と、上記手先に対して上記光源と同じ側に配置された光学的撮像手段と、これら光源と光学的撮像手段を制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像から、拳の形状の分布重心に相当する座標とこの拳から突出する指の先端位置に相当する座標とを算出する形状認識手段と、所定の時間間隔の前後で、上記拳の重心座標と上記指先座標の間の距離を比較し、この距離が上記時間間隔の前後で縮小または拡大した場合に、その際の手先の動きを、上記光学的撮像手段の仮想撮影平面に対する指の上下動として判断する動き判定手段と、を備える入力デバイスを第２の要旨とする。
【０００９】
すなわち、本発明者は、前記課題を解決するため鋭意研究を重ね、１台のカメラで撮影した時の手先の動き（画像）を詳細に検証した。そして、手先のなかでも、指先部分の動き方と、拳（掌）部分の動き方に違いがあること発見し、そこに着目して、さらに研究を重ねた。その結果、手先を傾けた時でも比較的移動の少ない拳の重心座標（画像上のドット分布の重心点であり、手首の回動支点に近い略不動点）を基準に、手先を傾けた時に大きく移動する指先の座標の動きを追跡することにより、上記カメラの撮影面に対して垂直な方向成分を含む指先の動き（すなわち「上下動」）を検出できることを見出し、本発明に到達した。
【発明の効果】
【００１０】
本発明は、以上のような知見にもとづきなされたものであり、本発明の入力体の動き検出方法は、拳を含む手先に向けて光を投射するステップと、１台の光学的撮像手段で、この手先による上記光の反射を二次元画像として取得するステップと、この画像のなかから、拳の面積の分布重心の座標と指先の座標とを認識するステップと、上記各ステップを繰り返し、その繰り返しの前後における上記拳の重心座標と指先座標の間の距離を比較するとともに、この比較結果から、上記指先および拳の動きを判定するステップと、を備える。これにより、本発明の入力体の動き検出方法は、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変わらない場合は、上記拳を含む手先全体が上記光学的撮像手段の撮影平面（仮想平面）方向にスライド移動したと判定し、上記拳の重心座標と指先座標の間の距離が変化した場合は、この指先が上記手先の手首または肘を支点に、上記撮影平面に対して上下方向に回動したと判定する。したがって、本発明の入力体の動き検出方法は、１台の光学的撮像手段のみを用いて、その画像解析から、人の手先の三次元的な動きを検出することができる。
【００１１】
また、本発明の入力デバイスは、光源と、上記光源と同じ側に配置された光学的撮像手段と、制御手段と、上記学的撮像手段で得られた二次元画像から、拳の形状の分布重心の座標と指の先端の座標とを算出する形状認識手段と、所定の時間間隔の前後で、上記拳の重心座標と上記指先座標の間の距離を比較する動き判定手段と、を備えている。そのため、上記拳の重心座標と上記指先座標の間の距離が、上記時間間隔の前後で縮小または拡大した場合に、その際の手先の動きを、上記光学的撮像手段の仮想撮影平面に対する指の上下動（光学的撮像手段に対して垂直方向の動き）として判断することができる。これにより、本発明の入力デバイスは、装備している１台の光学的撮像手段のみを用いて、その画像解析から、人の手先の三次元的な動きを検出することが可能になる。
【００１２】
また、本発明の入力デバイスは、上記のように、１台の光学的撮像手段のみで済むことから、簡単な設備かつ低コストで、三次元的な動きを検出する入力デバイスを構成することができる。しかも、上記光学的撮像手段（カメラ等）の配置の自由度が向上するため、このカメラ等を、操作者が意識することのない位置に配設する（隠す）ことが可能になる。したがって、本発明の入力デバイスは、操作初心者でも入力が容易な、直感的でユーザフレンドリーなデバイスとすることができる。
【図面の簡単な説明】
【００１３】
【図１】（ａ）〜（ｃ）は、本発明の実施形態の入力デバイスにおける手先の座標の検出方法を説明する図である。
【図２】本発明の入力デバイス内における手先の動きの第１のパターンを示す図である。
【図３】（ａ），（ｂ）は、本発明の実施形態の入力デバイスにおける手先の動き（ＸＹ方向）の検出方法を説明する図である。
【図４】本発明の入力デバイス内における手先の動きの第２のパターンを示す図である。
【図５】（ａ），（ｂ）は、本発明の実施形態の入力デバイスにおける手先の動き（Ｚ方向）の検出方法を説明する別の図である。
【図６】本発明の入力デバイスにおけるカメラユニットの他の配置例を示す図である。
【図７】本発明の入力デバイスにおけるカメラユニットのさらに他の配置例を示す図である。
【図８】従来の入力デバイスにおける三次元位置計測システムを説明する図である。
【発明を実施するための形態】
【００１４】
つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。
【００１５】
図１（ａ）は、本発明の実施形態の入力デバイスにおける手先Ｈの座標の検出方法を説明する図であり、図１（ｂ）は上記入力デバイスの光学的撮像手段（カメラＣ）で撮影した二次元（仮想撮影平面Ｐ）の画像Ｈ’の模式図、図１（ｃ）は上記手先Ｈの二次元画像Ｈ’を二値化した画像Ｈ”の模式図である。なお、図１を含め、後記の各図においては、カメラＣと光源Ｌを制御する制御手段や形状認識手段，動き判定手段等の機能を備え、上記カメラＣと接続されるコンピュータの図示を省略している。
【００１６】
本実施形態における入力デバイスは、デバイスの入力体として使用する、拳を含む手先Ｈの三次元の動きを、ひとつの光学的撮像手段（カメラＣ）で検出するためのものであり、図１（ａ）のように、上記手先Ｈの下方（略鉛直下方）に、イメージセンサを備えるカメラＣと、このカメラＣの周囲に配置された複数の光源Ｌとからなるカメラユニットが、配設されている。
【００１７】
そして、この入力デバイスは、形状認識手段（図示省略）により、上記各光源Ｌから手先Ｈに向かって投射された光の反射（像）を、図１（ｂ）に示すように、ＸＹ方向の座標軸を有する仮想撮影平面Ｐ上の二次元画像Ｈ’として取得した後、この取得した二次元画像Ｈ’を、図１（ｃ）のように、しきい値にもとづいて二値化したうえで、その二値化画像Ｈ”のなかから、上記手先Ｈの拳の形状（図中の実線斜線部分）を識別して、この拳の面積分布の重心に相当する座標（重心座標Ｇ）を算出・特定するとともに、上記二値化画像Ｈ”のなかから、拳から突出する指（図中の点線斜線部分）を識別し、その先端位置に相当する座標（指先座標Ｔ）を算出・特定する。
【００１８】
さらに、上記入力デバイスは、上記光源Ｌからの光の投射と、カメラＣによる二次元画像Ｈ’の取得と、この二次元画像にもとづく拳の重心座標Ｇおよび指先座標Ｔの算出とを繰り返すとともに、動き判定手段（図示省略）により、上記繰り返しの前後で、拳の重心座標Ｇと指先座標Ｔの間の距離が変化した場合〔図４および図５（ａ）参照〕に、その際の手先Ｈの動きを、上記カメラＣの仮想撮影平面Ｐに対する指の上下動（Ｚ方向の動き）として判断するようになっている。これが、本発明の入力デバイスの特徴である。
【００１９】
上記入力デバイスおよびその入力体（手先Ｈ）の動きの検出に用いられる検出方法を、より詳しく説明すると、上記手先Ｈの下方に配置されるカメラユニットは、図１（ａ）のように、カメラＣと、このカメラＣの周囲に配置された複数（この例では３個）の光源Ｌとから構成されている。上記カメラＣとしては、ＣＭＯＳあるいはＣＣＤ等のイメージセンサを用いることができる。なお、本発明の入力デバイスで使用する光学的撮像手段としては、上記ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを用いたカメラＣの他、フォトダイオード，フォトトランジスタ，フォトＩＣ，フォトリフレクタ等の光電変換素子を用いた各種光学式センサ、具体的には、１次元または２次元ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）や、焦電型赤外線センサ，ＣｄＳセンサ等を用いることができる。
【００２０】
また、上記光源Ｌとしては、例えば、赤外ＬＥＤ等の発光体あるいはランプ等を用いることができる。なお、上記光源Ｌとしては、入力する操作者の視界を妨げないように、可視光以外の領域の光を発する発光体を使用することが望ましい。さらに、上記カメラユニットは、入力体（手先Ｈ）の下方に手先Ｈに対して傾斜して配置（図６参照）してもよく、上記手先Ｈの上方に配設（図７参照）してもよい。
【００２１】
上記入力デバイスの検知領域内に差し入れた手先Ｈの動きの検出方法を、その過程（ステップ）ごとに順を追って説明する。
【００２２】
上記手先Ｈの動きを検出する際は、まず、図１（ａ）に示すように、拳を含む手先Ｈの下方（または上方）に配置された各光源Ｌから、この手先Ｈに向けて光を投射する。なお、この投光は間欠発光でもよい〔投光ステップ〕。ついで、光を投射した状態で、上記手先Ｈに対して光源Ｌと同じ側（この例では下方）に配設されたカメラＣによりこの手先Ｈを撮影し、その手先Ｈによる上記光の反射（反射光あるいは反射像）を、図１（ｂ）に示すように、互いに直交するＸＹ方向の座標軸を有する二次元画像Ｈ’（仮想撮影平面Ｐに対応する画像）として取得する〔撮像ステップ〕。
【００２３】
つぎに、得られた上記二次元画像Ｈ’を、しきい値にもとづいて二値化した後、図１（ｃ）に示すように、その二値化画像Ｈ”のなかから、上記手先Ｈの拳の形状（図中の実線斜線部分）を識別し、この拳の面積の分布重心に相当する座標（重心座標Ｇ）を、演算により算出する。同様に、上記二値化画像Ｈ”のなかから、拳から突出する指（図中の点線斜線部分）を識別し、その先端位置に相当する座標（指先座標Ｔ）を、演算により算出する。そして、これら拳の重心座標Ｇおよび指先座標Ｔを、制御手段（コンピュータ）等の記憶手段に記憶する〔座標特定ステップ〕。
【００２４】
その後、決められた時間間隔で、上記光を投射するステップ〔投光ステップ〕と、二次元画像を取得するステップ〔撮像ステップ〕と、拳の重心座標Ｇおよび指先座標Ｔを算出するステップ〔座標特定ステップ〕とを繰り返し、この繰り返し後の拳の重心座標Ｇおよび指先座標Ｔを改めて計測する〔計測ステップ〕。
【００２５】
そして、上記繰り返しの経過前後の拳の重心座標Ｇ（Ｘｍ，Ｙｎ）と指先座標Ｔ（Ｘｐ，Ｙｑ）の値を用いて、上記拳の重心座標Ｇと指先座標Ｔの間の距離の変化を算出し、その結果により、上記手先Ｈの動きを、後記の２つのパターン、すなわち、手先Ｈが水平にスライドした第１のパターン（図２参照）か、手先Ｈが上下に振れた第２のパターン（図４参照）かを判定し、上記指先座標Ｔの移動方向（ＸＹＺ方向）とその移動量を、制御手段等を介して表示装置等の外部に出力する〔判定ステップ〕。
【００２６】
上記手先Ｈの動きを判定する第１のパターンとして、まず、図２に示すような、手先（入力体）が水平方向にスライド移動（Ｈ0→Ｈ1）した場合を説明する。このように、手先Ｈ0がＨ1までスライドした場合、先に述べた拳の重心座標Ｇと指先座標Ｔは、図３（ａ）の二値化画像のように移動する。すなわち、拳の重心座標Ｇは、図中に二点鎖線で示される移動前の最初の位置（座標Ｇ0）から、実線で示す移動後の位置（座標Ｇ1）まで移動し、上記指先座標Ｔは、上記拳の重心座標Ｇと平行に、移動前の最初の位置（座標Ｔ0）から、実線で示す移動後の位置（座標Ｔ1）まで移動する。この際、上記〔計測ステップ〕の繰り返しにより、移動前の手先Ｈ0の拳の重心座標Ｇ0と指先座標Ｔ0の間の距離ｄ0と、移動後の手先Ｈ1の拳の重心座標Ｇ1と指先座標Ｔ1の間の距離ｄ1が算出される。そして、上記〔判定ステップ〕により、上記移動前の座標Ｇ0−座標Ｔ0間の距離ｄ0と、移動後の座標Ｇ1−座標Ｔ1間の距離ｄ1とを比較して、これら間に差がなければ（変化がなければ）、この入力デバイスの動き判定手段が、手先Ｈが図２のように水平方向にスライド移動したと判断し、移動後の指先座標Ｔ1のＸＹ座標値あるいは指先座標Ｔの移動方向と距離（座標Ｔ0−座標Ｔ1間）を、入力体のデータとして外部に出力する。
【００２７】
なお、上記手先Ｈの動きを判定する際に、図３（ｂ）に示すように、ＸＹ方向の座標軸を有する仮想撮影平面Ｐ上に、上記指先座標Ｔの動き（Ｔ0→Ｔ1）をエリアごとに４つの方向〔Ｘ（＋），Ｘ（−），Ｙ（＋），Ｙ（−）〕に割り当てる識別領域を設定しておいてもよい。このように構成すれば、上記〔判定ステップ〕による手先Ｈの動きの判定と同時に、上記入力デバイスを、コンピュータ等におけるマウス装置やタブレット装置等のように、上記手先Ｈの動きに対応して、この指先座標Ｔの移動により４方向（ＸＹそれぞれの＋−方向）の信号を簡易的に出力する、ポインティングデバイスとして機能させることができる。なお、上記識別領域におけるエリアの設定角度αや形状，配置等は、上記信号を出力する機器やアプリケーション等に応じて設定すればよい。
【００２８】
つぎに、上記〔判定ステップ〕において手先Ｈの動きを判定する第２のパターンとして、図４に示すように、手先（入力体）が上下動（Ｈ0→Ｈ2）した場合は、上記拳の重心座標Ｇと指先座標Ｔは、図５（ａ）の二値化画像のように移動する。すなわち、上記のような場合、上記手先Ｈの動きは、手首または肘等を支点にした回動運動であるため、拳の重心座標Ｇは、図中に二点鎖線で示される移動前の最初の位置（座標Ｇ0）からほとんど移動せず、近傍の実線で示す位置（座標Ｇ2）に留まる。一方、指先座標Ｔは、上記のような手首または肘等を支点にした回動運動であっても、移動前の最初の位置（座標Ｔ0）から比較的離れた、実線で示す移動後の位置（座標Ｔ2）まで移動し、拳の重心座標Ｇ位置に近づくように動く。この際、先に述べたスライド移動のパターンと同様、上記〔計測ステップ〕の繰り返しにより、移動前の手先Ｈ0の拳の重心座標Ｇ0と指先座標Ｔ0の間の距離ｄ0と、移動後の手先Ｈ2の拳の重心座標Ｇ2と指先座標Ｔ2の間の距離ｄ2を算出し、上記〔判定ステップ〕により、上記移動前の距離ｄ0と移動後の距離ｄ2とを比較してみると、移動後の距離ｄ2が短く（ｄ2＜ｄ0）なっていることがわかる。これにより、上記入力デバイスおよびその動き判定手段は、上記手先Ｈが図４のように上下方向（Ｚ方向）に揺動したと判断し、その信号を入力体のデータとして外部に出力する。
【００２９】
上記手先ＨのＺ軸方向への上下動、すなわち、二値化画像上において上記指先座標Ｔが重心座標Ｇへ近づく動きの検出方法（画像処理のフロー）をより詳しく説明すると、まず、先に述べたように、拳を含む手先Ｈの下方に配置された各光源Ｌ（赤外ＬＥＤ）から赤外線を投射し、同様に手先Ｈの下方に配置されたカメラＣで、手先Ｈの反射（二次元画像）を撮影し、この二次元画像に、ＸＹ方向の座標軸を割り振る。ついで、形状認識手段（プログラム）により、二値化するための明るさ（輝度）のしきい値を最適に設定し、上記二次元画像に二値化処理を施したうえで、細線化処理により、図５（ａ）のように、手先Ｈの外形形状を鮮明化する。
【００３０】
つぎに、上記鮮明化した二値化画像を用いて、形状認識手段（プログラム）により指の部位を識別し、その先端部分に相当する座標〔指先座標Ｔ（Ｘｐ，Ｙｑ）〕を算出する。ついで、同様のプログラムにより、上記手先Ｈの拳の形状（図１（ｃ）の実線斜線部分を参照）を識別して、この拳の面積分布の重心に相当する座標〔重心座標Ｇ（Ｘｍ，Ｙｎ）〕を算出する。
【００３１】
この算出の際、重心座標ＧのＸ軸方向の座標の演算には、下記式（１）が用いられる。
重心座標ＧのＸｍ＝拳の形状内に存在する画素のＸ座標の値の合計値／拳の形状内に存在する画素の数・・・（１）
【００３２】
また、重心座標ＧのＹ軸方向の座標の演算には、下記式（２）が用いられる。
重心座標ＧのＹｎ＝拳の形状内に存在する画素のＹ座標の値の合計値／拳の形状内に存在する画素の数・・・（２）
【００３３】
つぎに、指先座標Ｔ（Ｘｐ，Ｙｑ）および拳の重心座標Ｇ（Ｘｍ，Ｙｎ）が特定されたところで、先に述べたように、上記光を投射するステップ〔投光ステップ〕と、二次元画像を取得するステップ〔撮像ステップ〕と、拳の重心座標Ｇおよび指先座標Ｔを算出するステップ〔座標特定ステップ〕とを繰り返し、図５（ａ）のように、移動前の手先Ｈ0の拳の重心座標Ｇ0と指先座標Ｔ0の間の距離ｄ0と、移動後の手先Ｈ2の拳の重心座標Ｇ2と指先座標Ｔ2の間の距離ｄ2とを、比較する。
【００３４】
これら拳の重心座標Ｇと指先座標Ｔの間の距離ｄの比較方法について、さらに詳しく説明する。図５（ｂ）は、上記拳の重心座標Ｇと指先座標Ｔの間の距離ｄの比較方法を、原理的に説明する図である。
【００３５】
上記拳の重心座標Ｇと指先座標Ｔの間の距離ｄを比較して、手先Ｈが上下動したと判断する場合、本例では、この距離ｄの差にしきい値（下限）を設ける他に、もう１つの条件が設けられている。その条件とは、図５（ｂ）に示すように、移動前の手先Ｈ0の拳の重心座標Ｇ0と指先座標Ｔ0を結んだ線分Ａと、移動後の手先Ｈ2の拳の重心座標Ｇ2と指先座標Ｔ2を結んだ線分Ｂとの間の角度θ〔図面上では、基準線と線分Ａがなす角度θ１と、同じ基準線と線分Ｂがなす角度θ２の差（θ１−θ２）の絶対値、として表される〕が、所定のしきい値以下であることである。この条件は、指の折り曲げ等の動作を、上記手先Ｈの上下動と誤判定しないために設けられているもので、このように、上記動き判定手段または動き判定プログラムに、上記「距離ｄの差」が設定値以上で、かつ、「角度θ１と角度θ２の差」が設定値以上、との判断基準を設定することにより、上記手先Ｈの上下動の誤判定を防止することができる。なお、手先Ｈの動きが上記２つの条件を同時に満たさない場合、その手先の動きは、先に述べた手先Ｈのスライド移動（前記第１のパターン）として判断されるようになっている。
【００３６】
上記のように、本発明の入力体の動き検出方法は、上記拳の重心座標Ｇと上記指先座標Ｔの間の距離が計測の前後で縮小または拡大した場合に、その際の手先Ｈの動きを、上記光学的撮像手段（カメラＣ）の仮想撮影平面Ｐに対する指の上下動として判断することができる。
【００３７】
また、上記入力体の動き検出方法を用いた本発明の入力デバイスは、上記手先Ｈの下方または上方に配置された１台のカメラＣのみを用いて、その画像解析から、人の手先ＨのＺ軸方向への動き、すなわち三次元的な動きを検出することができる。
【００３８】
さらに、上記入力デバイスは、Ｚ軸方向への動きが検出可能なことから、例えば、手先Ｈの水平方向（ＸＹ方向）への動きを、表示装置等のカーソル移動操作に割り当て、上記Ｚ軸方向への動きを、決定（クリック）操作に割り当てることも可能である。
【００３９】
また、別の操作方法として、Ｘ軸（左右）方向およびＺ軸（上下）方向の手先Ｈの動きを、表示装置上の対象物の移動操作に割り当て、Ｙ軸（前後）方向の動きを、上記対象物の拡大・縮小操作に割り当てることができる。このように、本発明の入力デバイスは、三次元（３Ｄ）映像等に対しても、本来の三次元（ＸＹＺの三軸）情報に見合った操作が可能である。また、現実の三次元空間と同じ操作環境に近づくことで、より直感的な操作が可能になるというメリットもある。
【００４０】
なお、先にも述べたように、本発明の入力体の動き検出方法は、上記カメラユニットを、入力体（手先Ｈ）の下方に傾斜状に配置（図６）しても、上記手先Ｈの上方に配置（図７）しても、同様に、人の手先Ｈの三次元的な動きを検出することができる。すなわち、図６のように、手先Ｈの下方に傾斜状に配置した場合、この光学的撮像手段（カメラＣ）は、上記手先Ｈの真下に配設した場合（図４）と同様にして、仮想撮影平面Ｐ’に対する手先Ｈの上下動（Ｚ方向の動き）を認識・判定することができる。
【００４１】
また、図７のように、手先Ｈの上方に配置した場合でも、同様に、光学的撮像手段（カメラＣ）が、仮想撮影平面Ｐ”に対する手先Ｈの上下動（Ｚ方向の動き）を認識・判定することが可能である。したがって、上記カメラユニットは、手先Ｈが、腕やその他の撮像の障害となるものに隠れて影とならない位置であれば、どのようにでも配設することができる。ただし、本発明の光学的撮像手段は、上記手先Ｈの反射光を撮像・認識するものであるため、カメラユニットを構成するカメラＣと光源Ｌとは、入力体（手先Ｈ）に対して上方または下方の同じ側に配置される。
【産業上の利用可能性】
【００４２】
本発明の入力体の動き検出方法およびそれを用いた入力デバイスは、複数台のカメラを用いることなく、１台のカメラのみを用いて、人の手先の三次元的な動きを検出することができる。これにより、三次元（３Ｄ）映像等に対しても、現実の三次元空間と同様、より直感的な操作が可能になる。
【符号の説明】
【００４３】
Ｈ 手先
Ｃ カメラ
Ｌ 光源
Ｐ 仮想撮影平面
Ｇ 拳の重心座標
Ｔ 指先座標
【技術分野】
【０００１】
本発明は、入力デバイスにおいて座標の入力に用いられる手先の動きの検出方法と、それを用いた入力デバイスに関するものである。
【背景技術】
【０００２】
表示された二次元映像または三次元映像とインタラクションすることのできる装置のユーザインタフェースとして、人の手先や指等を操作用の入力体として用いる入力デバイスが開発されている。この入力デバイスは、カメラ等の光学的撮像手段を複数有する三次元位置計測システムを備えており、撮影位置や撮影角度が決められた各カメラから得られる画像（二次元画像）にもとづいて、対象となる物体（入力体）の三次元位置や三軸（ＸＹＺ軸）座標等を演算により求め、その座標値を、表示装置等の制御手段（コンピュータ等）に出力する（例えば、特許文献１，２を参照）。
【０００３】
例えば、図８に示すような、互いに直交する三軸（ＸＹＺ軸）方向の入力体（手先Ｈ）の座標を検出する入力デバイスの場合、入力体を撮影する光学的撮像手段として、上記入力体を下方（Ｚ軸方向）から撮影するカメラＣ１と、この入力体を上記カメラＣ１の撮影方向と直交する方向（図では左方：Ｘ軸方向）から撮影するカメラＣ２の２台のカメラを備えている。そして、光源（図示省略）から投射された光の入力体（手先Ｈ）による反射光（像）を、上記下方のカメラＣ１に対応する二次元画像（仮想撮影平面Ｐ１，ＸＹ方向）と、上記左方のカメラＣ２に対応する二次元画像（仮想撮影平面Ｐ２，ＹＺ方向）として取得するとともに、得られた各画像にもとづいて、コンピュータ等を用いた演算により、手先Ｈの指先等の形状を認識して抽出し、各画像に共通のパラメータ（この例ではＹ軸方向の座標値）を用いてデータを合成することにより、上記手先Ｈの三軸（ＸＹＺ軸）方向の座標を検知・出力することができる。また、上記画像取得−形状認識−座標合成の各ステップを繰り返すことにより、上記手先Ｈの三次元的な動き（座標および軌跡）を検知・出力することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−５３９１４号公報
【特許文献２】特開平１１−２３２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来の入力デバイスに用いられる三次元位置計測システムは、必ず複数台のカメラが必要で、設備が大掛かりかつ高価になってしまう場合が多い。しかも、周囲の環境や装置の構造によっては、各カメラを、撮影に最適な位置に配設できるとは限らず、操作者が違和感を感じる位置に配置される場合もある。さらに、そのカメラが、操作者の認識できる視野内に入ってしまう場合は、操作に慣れていない人の手の動きが、不自然になったり、滑らかでなくなってしまうおそれもある。
【０００６】
本発明は、このような事情に鑑みなされたもので、１台の光学的撮像手段を用いた画像解析から、人の手先の三次元的な動きを検出することのできる入力体の動き検出方法と、この動き検出方法を用いた指示操作用の入力デバイスの提供をその目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明は、入力デバイスにおいて座標の入力に用いられる手先の三次元の動きをひとつの光学的撮像手段で検出する方法であって、拳を含む手先の上方または下方に配置された光源から、この手先に向けて光を投射するステップと、上記手先に対して光源と同じ側に光学的撮像手段を配置して、この手先による上記光の反射を、仮想撮影平面上の二次元画像として取得するステップと、上記二次元画像に、互いに直交する二軸の座標を割り当て、この画像のなかから、拳の形状とこの拳から突出する指の先端位置とを認識して抽出した後、演算により、拳の面積の分布重心の座標と指先の座標とを算出するステップと、上記光を投射するステップと二次元画像を取得するステップと拳の重心座標および指先座標を算出するステップとを繰り返し、この繰り返しの前後における上記拳の重心座標と指先座標の間の距離とを比較するとともに、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変化していない場合は、上記拳を含む手先が上記仮想撮影平面方向にスライド移動したと判定し、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変化している場合は、この指先が上記手先の手首または肘を支点に上下方向に回動したと判定するステップと、を備える入力体の動き検出方法を第１の要旨とする。
【０００８】
また、同じ目的を達成するために、本発明は、デバイスの入力体として使用する拳を含む手先の上方または下方に配置された光源と、上記手先に対して上記光源と同じ側に配置された光学的撮像手段と、これら光源と光学的撮像手段を制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像から、拳の形状の分布重心に相当する座標とこの拳から突出する指の先端位置に相当する座標とを算出する形状認識手段と、所定の時間間隔の前後で、上記拳の重心座標と上記指先座標の間の距離を比較し、この距離が上記時間間隔の前後で縮小または拡大した場合に、その際の手先の動きを、上記光学的撮像手段の仮想撮影平面に対する指の上下動として判断する動き判定手段と、を備える入力デバイスを第２の要旨とする。
【０００９】
すなわち、本発明者は、前記課題を解決するため鋭意研究を重ね、１台のカメラで撮影した時の手先の動き（画像）を詳細に検証した。そして、手先のなかでも、指先部分の動き方と、拳（掌）部分の動き方に違いがあること発見し、そこに着目して、さらに研究を重ねた。その結果、手先を傾けた時でも比較的移動の少ない拳の重心座標（画像上のドット分布の重心点であり、手首の回動支点に近い略不動点）を基準に、手先を傾けた時に大きく移動する指先の座標の動きを追跡することにより、上記カメラの撮影面に対して垂直な方向成分を含む指先の動き（すなわち「上下動」）を検出できることを見出し、本発明に到達した。
【発明の効果】
【００１０】
本発明は、以上のような知見にもとづきなされたものであり、本発明の入力体の動き検出方法は、拳を含む手先に向けて光を投射するステップと、１台の光学的撮像手段で、この手先による上記光の反射を二次元画像として取得するステップと、この画像のなかから、拳の面積の分布重心の座標と指先の座標とを認識するステップと、上記各ステップを繰り返し、その繰り返しの前後における上記拳の重心座標と指先座標の間の距離を比較するとともに、この比較結果から、上記指先および拳の動きを判定するステップと、を備える。これにより、本発明の入力体の動き検出方法は、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変わらない場合は、上記拳を含む手先全体が上記光学的撮像手段の撮影平面（仮想平面）方向にスライド移動したと判定し、上記拳の重心座標と指先座標の間の距離が変化した場合は、この指先が上記手先の手首または肘を支点に、上記撮影平面に対して上下方向に回動したと判定する。したがって、本発明の入力体の動き検出方法は、１台の光学的撮像手段のみを用いて、その画像解析から、人の手先の三次元的な動きを検出することができる。
【００１１】
また、本発明の入力デバイスは、光源と、上記光源と同じ側に配置された光学的撮像手段と、制御手段と、上記学的撮像手段で得られた二次元画像から、拳の形状の分布重心の座標と指の先端の座標とを算出する形状認識手段と、所定の時間間隔の前後で、上記拳の重心座標と上記指先座標の間の距離を比較する動き判定手段と、を備えている。そのため、上記拳の重心座標と上記指先座標の間の距離が、上記時間間隔の前後で縮小または拡大した場合に、その際の手先の動きを、上記光学的撮像手段の仮想撮影平面に対する指の上下動（光学的撮像手段に対して垂直方向の動き）として判断することができる。これにより、本発明の入力デバイスは、装備している１台の光学的撮像手段のみを用いて、その画像解析から、人の手先の三次元的な動きを検出することが可能になる。
【００１２】
また、本発明の入力デバイスは、上記のように、１台の光学的撮像手段のみで済むことから、簡単な設備かつ低コストで、三次元的な動きを検出する入力デバイスを構成することができる。しかも、上記光学的撮像手段（カメラ等）の配置の自由度が向上するため、このカメラ等を、操作者が意識することのない位置に配設する（隠す）ことが可能になる。したがって、本発明の入力デバイスは、操作初心者でも入力が容易な、直感的でユーザフレンドリーなデバイスとすることができる。
【図面の簡単な説明】
【００１３】
【図１】（ａ）〜（ｃ）は、本発明の実施形態の入力デバイスにおける手先の座標の検出方法を説明する図である。
【図２】本発明の入力デバイス内における手先の動きの第１のパターンを示す図である。
【図３】（ａ），（ｂ）は、本発明の実施形態の入力デバイスにおける手先の動き（ＸＹ方向）の検出方法を説明する図である。
【図４】本発明の入力デバイス内における手先の動きの第２のパターンを示す図である。
【図５】（ａ），（ｂ）は、本発明の実施形態の入力デバイスにおける手先の動き（Ｚ方向）の検出方法を説明する別の図である。
【図６】本発明の入力デバイスにおけるカメラユニットの他の配置例を示す図である。
【図７】本発明の入力デバイスにおけるカメラユニットのさらに他の配置例を示す図である。
【図８】従来の入力デバイスにおける三次元位置計測システムを説明する図である。
【発明を実施するための形態】
【００１４】
つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。
【００１５】
図１（ａ）は、本発明の実施形態の入力デバイスにおける手先Ｈの座標の検出方法を説明する図であり、図１（ｂ）は上記入力デバイスの光学的撮像手段（カメラＣ）で撮影した二次元（仮想撮影平面Ｐ）の画像Ｈ’の模式図、図１（ｃ）は上記手先Ｈの二次元画像Ｈ’を二値化した画像Ｈ”の模式図である。なお、図１を含め、後記の各図においては、カメラＣと光源Ｌを制御する制御手段や形状認識手段，動き判定手段等の機能を備え、上記カメラＣと接続されるコンピュータの図示を省略している。
【００１６】
本実施形態における入力デバイスは、デバイスの入力体として使用する、拳を含む手先Ｈの三次元の動きを、ひとつの光学的撮像手段（カメラＣ）で検出するためのものであり、図１（ａ）のように、上記手先Ｈの下方（略鉛直下方）に、イメージセンサを備えるカメラＣと、このカメラＣの周囲に配置された複数の光源Ｌとからなるカメラユニットが、配設されている。
【００１７】
そして、この入力デバイスは、形状認識手段（図示省略）により、上記各光源Ｌから手先Ｈに向かって投射された光の反射（像）を、図１（ｂ）に示すように、ＸＹ方向の座標軸を有する仮想撮影平面Ｐ上の二次元画像Ｈ’として取得した後、この取得した二次元画像Ｈ’を、図１（ｃ）のように、しきい値にもとづいて二値化したうえで、その二値化画像Ｈ”のなかから、上記手先Ｈの拳の形状（図中の実線斜線部分）を識別して、この拳の面積分布の重心に相当する座標（重心座標Ｇ）を算出・特定するとともに、上記二値化画像Ｈ”のなかから、拳から突出する指（図中の点線斜線部分）を識別し、その先端位置に相当する座標（指先座標Ｔ）を算出・特定する。
【００１８】
さらに、上記入力デバイスは、上記光源Ｌからの光の投射と、カメラＣによる二次元画像Ｈ’の取得と、この二次元画像にもとづく拳の重心座標Ｇおよび指先座標Ｔの算出とを繰り返すとともに、動き判定手段（図示省略）により、上記繰り返しの前後で、拳の重心座標Ｇと指先座標Ｔの間の距離が変化した場合〔図４および図５（ａ）参照〕に、その際の手先Ｈの動きを、上記カメラＣの仮想撮影平面Ｐに対する指の上下動（Ｚ方向の動き）として判断するようになっている。これが、本発明の入力デバイスの特徴である。
【００１９】
上記入力デバイスおよびその入力体（手先Ｈ）の動きの検出に用いられる検出方法を、より詳しく説明すると、上記手先Ｈの下方に配置されるカメラユニットは、図１（ａ）のように、カメラＣと、このカメラＣの周囲に配置された複数（この例では３個）の光源Ｌとから構成されている。上記カメラＣとしては、ＣＭＯＳあるいはＣＣＤ等のイメージセンサを用いることができる。なお、本発明の入力デバイスで使用する光学的撮像手段としては、上記ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを用いたカメラＣの他、フォトダイオード，フォトトランジスタ，フォトＩＣ，フォトリフレクタ等の光電変換素子を用いた各種光学式センサ、具体的には、１次元または２次元ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）や、焦電型赤外線センサ，ＣｄＳセンサ等を用いることができる。
【００２０】
また、上記光源Ｌとしては、例えば、赤外ＬＥＤ等の発光体あるいはランプ等を用いることができる。なお、上記光源Ｌとしては、入力する操作者の視界を妨げないように、可視光以外の領域の光を発する発光体を使用することが望ましい。さらに、上記カメラユニットは、入力体（手先Ｈ）の下方に手先Ｈに対して傾斜して配置（図６参照）してもよく、上記手先Ｈの上方に配設（図７参照）してもよい。
【００２１】
上記入力デバイスの検知領域内に差し入れた手先Ｈの動きの検出方法を、その過程（ステップ）ごとに順を追って説明する。
【００２２】
上記手先Ｈの動きを検出する際は、まず、図１（ａ）に示すように、拳を含む手先Ｈの下方（または上方）に配置された各光源Ｌから、この手先Ｈに向けて光を投射する。なお、この投光は間欠発光でもよい〔投光ステップ〕。ついで、光を投射した状態で、上記手先Ｈに対して光源Ｌと同じ側（この例では下方）に配設されたカメラＣによりこの手先Ｈを撮影し、その手先Ｈによる上記光の反射（反射光あるいは反射像）を、図１（ｂ）に示すように、互いに直交するＸＹ方向の座標軸を有する二次元画像Ｈ’（仮想撮影平面Ｐに対応する画像）として取得する〔撮像ステップ〕。
【００２３】
つぎに、得られた上記二次元画像Ｈ’を、しきい値にもとづいて二値化した後、図１（ｃ）に示すように、その二値化画像Ｈ”のなかから、上記手先Ｈの拳の形状（図中の実線斜線部分）を識別し、この拳の面積の分布重心に相当する座標（重心座標Ｇ）を、演算により算出する。同様に、上記二値化画像Ｈ”のなかから、拳から突出する指（図中の点線斜線部分）を識別し、その先端位置に相当する座標（指先座標Ｔ）を、演算により算出する。そして、これら拳の重心座標Ｇおよび指先座標Ｔを、制御手段（コンピュータ）等の記憶手段に記憶する〔座標特定ステップ〕。
【００２４】
その後、決められた時間間隔で、上記光を投射するステップ〔投光ステップ〕と、二次元画像を取得するステップ〔撮像ステップ〕と、拳の重心座標Ｇおよび指先座標Ｔを算出するステップ〔座標特定ステップ〕とを繰り返し、この繰り返し後の拳の重心座標Ｇおよび指先座標Ｔを改めて計測する〔計測ステップ〕。
【００２５】
そして、上記繰り返しの経過前後の拳の重心座標Ｇ（Ｘｍ，Ｙｎ）と指先座標Ｔ（Ｘｐ，Ｙｑ）の値を用いて、上記拳の重心座標Ｇと指先座標Ｔの間の距離の変化を算出し、その結果により、上記手先Ｈの動きを、後記の２つのパターン、すなわち、手先Ｈが水平にスライドした第１のパターン（図２参照）か、手先Ｈが上下に振れた第２のパターン（図４参照）かを判定し、上記指先座標Ｔの移動方向（ＸＹＺ方向）とその移動量を、制御手段等を介して表示装置等の外部に出力する〔判定ステップ〕。
【００２６】
上記手先Ｈの動きを判定する第１のパターンとして、まず、図２に示すような、手先（入力体）が水平方向にスライド移動（Ｈ0→Ｈ1）した場合を説明する。このように、手先Ｈ0がＨ1までスライドした場合、先に述べた拳の重心座標Ｇと指先座標Ｔは、図３（ａ）の二値化画像のように移動する。すなわち、拳の重心座標Ｇは、図中に二点鎖線で示される移動前の最初の位置（座標Ｇ0）から、実線で示す移動後の位置（座標Ｇ1）まで移動し、上記指先座標Ｔは、上記拳の重心座標Ｇと平行に、移動前の最初の位置（座標Ｔ0）から、実線で示す移動後の位置（座標Ｔ1）まで移動する。この際、上記〔計測ステップ〕の繰り返しにより、移動前の手先Ｈ0の拳の重心座標Ｇ0と指先座標Ｔ0の間の距離ｄ0と、移動後の手先Ｈ1の拳の重心座標Ｇ1と指先座標Ｔ1の間の距離ｄ1が算出される。そして、上記〔判定ステップ〕により、上記移動前の座標Ｇ0−座標Ｔ0間の距離ｄ0と、移動後の座標Ｇ1−座標Ｔ1間の距離ｄ1とを比較して、これら間に差がなければ（変化がなければ）、この入力デバイスの動き判定手段が、手先Ｈが図２のように水平方向にスライド移動したと判断し、移動後の指先座標Ｔ1のＸＹ座標値あるいは指先座標Ｔの移動方向と距離（座標Ｔ0−座標Ｔ1間）を、入力体のデータとして外部に出力する。
【００２７】
なお、上記手先Ｈの動きを判定する際に、図３（ｂ）に示すように、ＸＹ方向の座標軸を有する仮想撮影平面Ｐ上に、上記指先座標Ｔの動き（Ｔ0→Ｔ1）をエリアごとに４つの方向〔Ｘ（＋），Ｘ（−），Ｙ（＋），Ｙ（−）〕に割り当てる識別領域を設定しておいてもよい。このように構成すれば、上記〔判定ステップ〕による手先Ｈの動きの判定と同時に、上記入力デバイスを、コンピュータ等におけるマウス装置やタブレット装置等のように、上記手先Ｈの動きに対応して、この指先座標Ｔの移動により４方向（ＸＹそれぞれの＋−方向）の信号を簡易的に出力する、ポインティングデバイスとして機能させることができる。なお、上記識別領域におけるエリアの設定角度αや形状，配置等は、上記信号を出力する機器やアプリケーション等に応じて設定すればよい。
【００２８】
つぎに、上記〔判定ステップ〕において手先Ｈの動きを判定する第２のパターンとして、図４に示すように、手先（入力体）が上下動（Ｈ0→Ｈ2）した場合は、上記拳の重心座標Ｇと指先座標Ｔは、図５（ａ）の二値化画像のように移動する。すなわち、上記のような場合、上記手先Ｈの動きは、手首または肘等を支点にした回動運動であるため、拳の重心座標Ｇは、図中に二点鎖線で示される移動前の最初の位置（座標Ｇ0）からほとんど移動せず、近傍の実線で示す位置（座標Ｇ2）に留まる。一方、指先座標Ｔは、上記のような手首または肘等を支点にした回動運動であっても、移動前の最初の位置（座標Ｔ0）から比較的離れた、実線で示す移動後の位置（座標Ｔ2）まで移動し、拳の重心座標Ｇ位置に近づくように動く。この際、先に述べたスライド移動のパターンと同様、上記〔計測ステップ〕の繰り返しにより、移動前の手先Ｈ0の拳の重心座標Ｇ0と指先座標Ｔ0の間の距離ｄ0と、移動後の手先Ｈ2の拳の重心座標Ｇ2と指先座標Ｔ2の間の距離ｄ2を算出し、上記〔判定ステップ〕により、上記移動前の距離ｄ0と移動後の距離ｄ2とを比較してみると、移動後の距離ｄ2が短く（ｄ2＜ｄ0）なっていることがわかる。これにより、上記入力デバイスおよびその動き判定手段は、上記手先Ｈが図４のように上下方向（Ｚ方向）に揺動したと判断し、その信号を入力体のデータとして外部に出力する。
【００２９】
上記手先ＨのＺ軸方向への上下動、すなわち、二値化画像上において上記指先座標Ｔが重心座標Ｇへ近づく動きの検出方法（画像処理のフロー）をより詳しく説明すると、まず、先に述べたように、拳を含む手先Ｈの下方に配置された各光源Ｌ（赤外ＬＥＤ）から赤外線を投射し、同様に手先Ｈの下方に配置されたカメラＣで、手先Ｈの反射（二次元画像）を撮影し、この二次元画像に、ＸＹ方向の座標軸を割り振る。ついで、形状認識手段（プログラム）により、二値化するための明るさ（輝度）のしきい値を最適に設定し、上記二次元画像に二値化処理を施したうえで、細線化処理により、図５（ａ）のように、手先Ｈの外形形状を鮮明化する。
【００３０】
つぎに、上記鮮明化した二値化画像を用いて、形状認識手段（プログラム）により指の部位を識別し、その先端部分に相当する座標〔指先座標Ｔ（Ｘｐ，Ｙｑ）〕を算出する。ついで、同様のプログラムにより、上記手先Ｈの拳の形状（図１（ｃ）の実線斜線部分を参照）を識別して、この拳の面積分布の重心に相当する座標〔重心座標Ｇ（Ｘｍ，Ｙｎ）〕を算出する。
【００３１】
この算出の際、重心座標ＧのＸ軸方向の座標の演算には、下記式（１）が用いられる。
重心座標ＧのＸｍ＝拳の形状内に存在する画素のＸ座標の値の合計値／拳の形状内に存在する画素の数・・・（１）
【００３２】
また、重心座標ＧのＹ軸方向の座標の演算には、下記式（２）が用いられる。
重心座標ＧのＹｎ＝拳の形状内に存在する画素のＹ座標の値の合計値／拳の形状内に存在する画素の数・・・（２）
【００３３】
つぎに、指先座標Ｔ（Ｘｐ，Ｙｑ）および拳の重心座標Ｇ（Ｘｍ，Ｙｎ）が特定されたところで、先に述べたように、上記光を投射するステップ〔投光ステップ〕と、二次元画像を取得するステップ〔撮像ステップ〕と、拳の重心座標Ｇおよび指先座標Ｔを算出するステップ〔座標特定ステップ〕とを繰り返し、図５（ａ）のように、移動前の手先Ｈ0の拳の重心座標Ｇ0と指先座標Ｔ0の間の距離ｄ0と、移動後の手先Ｈ2の拳の重心座標Ｇ2と指先座標Ｔ2の間の距離ｄ2とを、比較する。
【００３４】
これら拳の重心座標Ｇと指先座標Ｔの間の距離ｄの比較方法について、さらに詳しく説明する。図５（ｂ）は、上記拳の重心座標Ｇと指先座標Ｔの間の距離ｄの比較方法を、原理的に説明する図である。
【００３５】
上記拳の重心座標Ｇと指先座標Ｔの間の距離ｄを比較して、手先Ｈが上下動したと判断する場合、本例では、この距離ｄの差にしきい値（下限）を設ける他に、もう１つの条件が設けられている。その条件とは、図５（ｂ）に示すように、移動前の手先Ｈ0の拳の重心座標Ｇ0と指先座標Ｔ0を結んだ線分Ａと、移動後の手先Ｈ2の拳の重心座標Ｇ2と指先座標Ｔ2を結んだ線分Ｂとの間の角度θ〔図面上では、基準線と線分Ａがなす角度θ１と、同じ基準線と線分Ｂがなす角度θ２の差（θ１−θ２）の絶対値、として表される〕が、所定のしきい値以下であることである。この条件は、指の折り曲げ等の動作を、上記手先Ｈの上下動と誤判定しないために設けられているもので、このように、上記動き判定手段または動き判定プログラムに、上記「距離ｄの差」が設定値以上で、かつ、「角度θ１と角度θ２の差」が設定値以上、との判断基準を設定することにより、上記手先Ｈの上下動の誤判定を防止することができる。なお、手先Ｈの動きが上記２つの条件を同時に満たさない場合、その手先の動きは、先に述べた手先Ｈのスライド移動（前記第１のパターン）として判断されるようになっている。
【００３６】
上記のように、本発明の入力体の動き検出方法は、上記拳の重心座標Ｇと上記指先座標Ｔの間の距離が計測の前後で縮小または拡大した場合に、その際の手先Ｈの動きを、上記光学的撮像手段（カメラＣ）の仮想撮影平面Ｐに対する指の上下動として判断することができる。
【００３７】
また、上記入力体の動き検出方法を用いた本発明の入力デバイスは、上記手先Ｈの下方または上方に配置された１台のカメラＣのみを用いて、その画像解析から、人の手先ＨのＺ軸方向への動き、すなわち三次元的な動きを検出することができる。
【００３８】
さらに、上記入力デバイスは、Ｚ軸方向への動きが検出可能なことから、例えば、手先Ｈの水平方向（ＸＹ方向）への動きを、表示装置等のカーソル移動操作に割り当て、上記Ｚ軸方向への動きを、決定（クリック）操作に割り当てることも可能である。
【００３９】
また、別の操作方法として、Ｘ軸（左右）方向およびＺ軸（上下）方向の手先Ｈの動きを、表示装置上の対象物の移動操作に割り当て、Ｙ軸（前後）方向の動きを、上記対象物の拡大・縮小操作に割り当てることができる。このように、本発明の入力デバイスは、三次元（３Ｄ）映像等に対しても、本来の三次元（ＸＹＺの三軸）情報に見合った操作が可能である。また、現実の三次元空間と同じ操作環境に近づくことで、より直感的な操作が可能になるというメリットもある。
【００４０】
なお、先にも述べたように、本発明の入力体の動き検出方法は、上記カメラユニットを、入力体（手先Ｈ）の下方に傾斜状に配置（図６）しても、上記手先Ｈの上方に配置（図７）しても、同様に、人の手先Ｈの三次元的な動きを検出することができる。すなわち、図６のように、手先Ｈの下方に傾斜状に配置した場合、この光学的撮像手段（カメラＣ）は、上記手先Ｈの真下に配設した場合（図４）と同様にして、仮想撮影平面Ｐ’に対する手先Ｈの上下動（Ｚ方向の動き）を認識・判定することができる。
【００４１】
また、図７のように、手先Ｈの上方に配置した場合でも、同様に、光学的撮像手段（カメラＣ）が、仮想撮影平面Ｐ”に対する手先Ｈの上下動（Ｚ方向の動き）を認識・判定することが可能である。したがって、上記カメラユニットは、手先Ｈが、腕やその他の撮像の障害となるものに隠れて影とならない位置であれば、どのようにでも配設することができる。ただし、本発明の光学的撮像手段は、上記手先Ｈの反射光を撮像・認識するものであるため、カメラユニットを構成するカメラＣと光源Ｌとは、入力体（手先Ｈ）に対して上方または下方の同じ側に配置される。
【産業上の利用可能性】
【００４２】
本発明の入力体の動き検出方法およびそれを用いた入力デバイスは、複数台のカメラを用いることなく、１台のカメラのみを用いて、人の手先の三次元的な動きを検出することができる。これにより、三次元（３Ｄ）映像等に対しても、現実の三次元空間と同様、より直感的な操作が可能になる。
【符号の説明】
【００４３】
Ｈ 手先
Ｃ カメラ
Ｌ 光源
Ｐ 仮想撮影平面
Ｇ 拳の重心座標
Ｔ 指先座標
【特許請求の範囲】
【請求項１】
入力デバイスにおいて座標の入力に用いられる手先の三次元の動きをひとつの光学的撮像手段で検出する方法であって、拳を含む手先の上方または下方に配置された光源から、この手先に向けて光を投射するステップと、上記手先に対して光源と同じ側に光学的撮像手段を配置して、この手先による上記光の反射を、仮想撮影平面上の二次元画像として取得するステップと、上記二次元画像に、互いに直交する二軸の座標を割り当て、この画像のなかから、拳の形状とこの拳から突出する指の先端位置とを認識して抽出した後、演算により、拳の面積の分布重心の座標と指先の座標とを算出するステップと、上記光を投射するステップと二次元画像を取得するステップと拳の重心座標および指先座標を算出するステップとを繰り返し、この繰り返しの前後における上記拳の重心座標と指先座標の間の距離とを比較するとともに、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変化していない場合は、上記拳を含む手先が上記仮想撮影平面方向にスライド移動したと判定し、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変化している場合は、この指先が上記手先の手首または肘を支点に上下方向に回動したと判定するステップと、を備えることを特徴とする入力体の動き検出方法。
【請求項２】
デバイスの入力体として使用する拳を含む手先の上方または下方に配置された光源と、上記手先に対して上記光源と同じ側に配置された光学的撮像手段と、これら光源と光学的撮像手段を制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像から、拳の形状の分布重心に相当する座標とこの拳から突出する指の先端位置に相当する座標とを算出する形状認識手段と、所定の時間間隔の前後で、上記拳の重心座標と上記指先座標の間の距離を比較し、この距離が上記時間間隔の前後で縮小または拡大した場合に、その際の手先の動きを、上記光学的撮像手段の仮想撮影平面に対する指の上下動として判断する動き判定手段と、を備えることを特徴とする入力デバイス。
【請求項１】
入力デバイスにおいて座標の入力に用いられる手先の三次元の動きをひとつの光学的撮像手段で検出する方法であって、拳を含む手先の上方または下方に配置された光源から、この手先に向けて光を投射するステップと、上記手先に対して光源と同じ側に光学的撮像手段を配置して、この手先による上記光の反射を、仮想撮影平面上の二次元画像として取得するステップと、上記二次元画像に、互いに直交する二軸の座標を割り当て、この画像のなかから、拳の形状とこの拳から突出する指の先端位置とを認識して抽出した後、演算により、拳の面積の分布重心の座標と指先の座標とを算出するステップと、上記光を投射するステップと二次元画像を取得するステップと拳の重心座標および指先座標を算出するステップとを繰り返し、この繰り返しの前後における上記拳の重心座標と指先座標の間の距離とを比較するとともに、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変化していない場合は、上記拳を含む手先が上記仮想撮影平面方向にスライド移動したと判定し、上記繰り返しの前後で上記拳の重心座標と指先座標の間の距離が変化している場合は、この指先が上記手先の手首または肘を支点に上下方向に回動したと判定するステップと、を備えることを特徴とする入力体の動き検出方法。
【請求項２】
デバイスの入力体として使用する拳を含む手先の上方または下方に配置された光源と、上記手先に対して上記光源と同じ側に配置された光学的撮像手段と、これら光源と光学的撮像手段を制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像から、拳の形状の分布重心に相当する座標とこの拳から突出する指の先端位置に相当する座標とを算出する形状認識手段と、所定の時間間隔の前後で、上記拳の重心座標と上記指先座標の間の距離を比較し、この距離が上記時間間隔の前後で縮小または拡大した場合に、その際の手先の動きを、上記光学的撮像手段の仮想撮影平面に対する指の上下動として判断する動き判定手段と、を備えることを特徴とする入力デバイス。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−６９２７３（Ｐ２０１３−６９２７３Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−１８５１９９（Ｐ２０１２−１８５１９９）
【出願日】平成２４年８月２４日（２０１２．８．２４）
【出願人】（０００００３９６４）日東電工株式会社 (5,557)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２４年８月２４日（２０１２．８．２４）
【出願人】（０００００３９６４）日東電工株式会社 (5,557)
【Ｆターム（参考）】
[ Back to top ]