カラーリストバンドを用いた手指形状推定装置及び手指形状推定方法、並びにプログラム
【課題】手指をカメラで撮影した画像から、その手指の前腕回旋を含んだ形状をより正確に検出できるようにする。
【解決手段】手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋を含んだ手指の形状データとを記憶してデータベースを構成させる。そして、検出対象の手指を撮影して得た画像データから、カラーリストバンドの色データを検出し、その検出された色データを、データベースに記憶された色データと照合する。さらに、その照合でほぼ一致が検出された色データに基づいて、その色データに対応してデータベースに記憶された画像データを読み出し、その画像データで示される手指形状を、検出対象の手指の形状として判定する。
【解決手段】手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋を含んだ手指の形状データとを記憶してデータベースを構成させる。そして、検出対象の手指を撮影して得た画像データから、カラーリストバンドの色データを検出し、その検出された色データを、データベースに記憶された色データと照合する。さらに、その照合でほぼ一致が検出された色データに基づいて、その色データに対応してデータベースに記憶された画像データを読み出し、その画像データで示される手指形状を、検出対象の手指の形状として判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえばロボットの腕および手首並びに手指の駆動、あるいは仮想の腕および手首並びに手指を操作するのに適した手指形状推定装置及び手指形状推定方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、仮想世界とその操作が広く開発されている。人間が仮想世界上で物体操作を行う際には、手による情報入力がある。推定した手指の形状に基づいて、仮想空間上の手の３次元ＣＧモデルを人間の手と同様に動かすことにより、仮想物体を掴むことや自在に変形するなどの高度な作業が簡単に行える。この仮想上の手を操作する手法の一つとして、操作者の手をカメラで撮影して、そのカメラで撮影した手指の画像から手指形状を推定することが提案されている。
特許文献１には、本発明の発明者らが先に提案した、手指の画像から手指の形状を推定する手法についての記載がある。特許文献１に記載された手法では、手指を撮影した画像から、手指の輪郭を検出し、その輪郭から手指の形状を推定するようにしている。
【特許文献１】特開２００６−２９４０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載したように、手指を撮影した画像から、手指の輪郭を検出することで、手指の形状を推定することができるが、前腕回旋動作を伴った手指形状推定では、手指の各関節角度を、誤って推定してしまうことがあった。つまり、精度よく手指の形状推定を行うためには、手指の撮影位置や前腕回旋の角度は固定しなければならなかった。
【０００４】
本発明はかかる点に鑑みてなされたものであり、腕および手首並びに手指をカメラで撮影した画像から、その腕および手首並びに手指の形状をより正確に推定できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶してデータベースを構成させる。
また、前腕回旋角度データに対応した手指の画像と手指の形状とを記憶してデータベースを構成させる。
そして、検出対象の手指の撮影をして得た画像データから、前記カラーリストバンドの色データの色データを検出し、その検出された色データを、データベースに記憶された前腕回旋角度データと照合する。さらに、その前腕回旋角度データに基づいて、その前腕回旋角度データに対応してデータベースに記憶された手指の画像を読み出し、その手指の画像で示される手指の形状を、検出対象の手指の形状として判定するようにしたものである。
【発明の効果】
【０００６】
本発明によるとカラーリストバンドを装着することにより、正確な前腕回旋を含んだ手指の形状の推定が可能となり、カラーリストバンドにより形状の推定のためのデータ探索領域が狭まるため、従来技術と比べ推定速度が１０倍以上となる。
【０００７】
この場合、撮影した画像から推定した手指の形状に基づいて、各種機器の高度な駆動と制御、並びに操作が可能となる。
例えば、推定した手指の形状を、ロボットハンドに再現させる制御を行うことで、ロボットハンドの制御を、操作者の手指の動きから簡単かつ正確に行えるようになる。
また、撮影した画像から推定した手指の形状に基づいて、手の３次元ＣＧモデルを動作させることが可能となる。手の３次元ＣＧモデルに当たり判定などの機能を付加することにより、コンピュータ内の仮想世界で３次元の物体操作が行えるようになる。
【０００８】
さらに、手指の形状推定の際に、装用者の撮影位置や前腕回旋運動に拘束を与えなくて済む。従って、通常の人間が行っている運動を正しく計測することができる。
【０００９】
カラーリストバンドに描画される色は、前腕回旋方向に向かってスペクトルカラーと同じく変化するため、カラーリストバンドの色のデータを表色系で数値化することができ、データベース構築が容易となる。
この場合、その色変化の粒度が細かいほど前腕回旋の微弱な変化をより正確に推定することができる。
【００１０】
手指の輪郭情報を用いることにより、データベースの規模を縮小できる。
また、前腕回旋角度データに応じた手指の輪郭情報と手指の各関節角度とを併せて記憶し、前記データベースに記憶された手指の輪郭情報を照会に用いることにより、皺や色や手の陰影などの余計なデータの影響が少なくなり、手指の各関節角度の角度を正確に推定できるようになる。
【００１１】
この場合、データベースとして、画像データに対応した手指の関節角度データまたは３次元座標データを記憶して、照会で一致が検出された前腕回旋角度データに応じた手指の輪郭情報と関節の角度データまたは３次元座標データから、手指の関節角度を推定することで、ロボットハンドや手指のＣＧを正確に駆動することが可能となる。
【００１２】
また、データベースに記憶された手指の関節角度データあるいは３次元座標データは、手指の各関節にセンサを取り付けたいわゆるデータグローブや磁気センサなどを使用して、簡単にデータベース用の関節角度データあるいは３次元座標データを得ることが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
本実施の形態においては、カラーリストバンドを含む検出対象の腕および手首並びに手指をカラーカメラで撮影して、その撮影した画像から、前腕回旋角度と手指の形状や関節の角度を推定するものである。推定した前腕回旋角度と手指の形状や関節の角度は、ロボットハンドや手の３次元ＣＧモデルなどの各種装置の制御に使用する。
カラースペクトルを描画したカラーリストバンドとカラーカメラを用いて、事前に、カラーリストバンドを手首に装着した状態で撮影される色と前腕回旋角度の対応付けを行う。その後、カラーリストバンドを手首に装着した状態をカラーカメラで撮影することにより前腕回旋角度の推定を行う。
【００１４】
まず、図１を参照して装置のシステム構成を説明する。本実施の形態の装置は、図１に示すように、手指の形状などのデータを記憶したデータベース装置１０と、そのデータベース装置１０に記憶されたデータを参照しながら手指の形状を推定する手指推定装置２０とで構成される。データベース装置１０と手指推定装置２０は、図１では別体の装置として構成させてあるが、一体化して構成してもよい。
【００１５】
データベース装置１０は、手指の様々な形状についてのデータを記憶する手段である。本例の場合には、ビデオカメラ３１が撮影した画像データと、データグローブ４０に取り付けられた各センサのデータとが供給される。ビデオカメラ３１は、データベース用の手指の画像を撮影するものである。データグローブ４０は、その画像を撮影する際に、手指に装着されたデータグローブである。
図２はデータグローブ４０の一例を示したものであり、指の各関節に相当する箇所に、その関節が動いた角度を検出するセンサ４１が配置してある。また、手首の動きを検出するために、掌の部分にもセンサ４１が配置してある。以下の説明で手指の関節の動きと述べた場合には、この手首の動きも含まれる。センサ４１は、たとえば歪みセンサを使用する。また、本例のデータグローブ４０の上には、手の形状推定時と同じく、カラーリストバンド４３を装着している。
【００１６】
図１の説明に戻ると、ビデオカメラ３１が撮影した画像データは、画像データ記憶手段１１に供給されて、一旦記憶される。記憶された画像データは、画像特徴量抽出手段１２に供給されて、画像中の手指の輪郭を抽出するための特徴量の抽出処理が行われる。特徴量の抽出処理については後述する。
カラーリストバンドの色データ抽出手段１３では、画像中のカラーリストバンドの色データを抽出する処理を行う。カラーリストバンドの色データ抽出処理の詳細についても後述するが、簡単に述べるとデータグローブ４０と同様に装着しているカラーリストバンド４３の色データを抽出する。
画像特徴量抽出手段１２で検出された特徴量のデータと、カラーリストバンドの色データ抽出手段１３で検出された色データは、画像及び色データ対応動作指令記憶手段１４に供給して、データベース化して記憶させる。
【００１７】
また、データグローブ４０の各センサの出力を、サンプリング手段１５で周期的にサンプリングし、そのサンプリングされたセンサ出力を、時系列関節角度データ記憶手段１６に供給して、時系列の関節角度データとして記憶させる。記憶された時系列の関節角度データについても、画像及び色データ対応動作指令記憶手段１４に供給して、データベース化して記憶させる。
【００１８】
画像及び色データ対応動作指令記憶手段１４でデータベース化する際には、カラーリストバンドの色データと、その際の手指の形状のデータと、その形状の際の手指の各関節の角度データとを、対応づけてデータベース化する。
この記憶手段１４に記憶されたデータベースは、手指形状推定装置２０からの指示で読み出される。
【００１９】
次に、図１の手指形状推定装置と図５データベース構成を参照して、手指形状推定の流れを説明する。
手指形状推定装置２０は、カラーカメラ３２で撮影した手指の画像データから画像特徴量抽出手段２４で画像特徴量が抽出され、手指の輪郭が抽出される。また、画像データ記憶手段２３に記憶された画像データからカラーリストバンド色データ抽出手段２５で色データが抽出される。
画像特徴量抽出手段２４で抽出された特徴量のデータと、カラーリストバンド色データ抽出手段２５で抽出された色のデータは、データ特定及び動作指令発生手段２６に送られる。データ特定及び動作指令発生手段２６では、供給された特徴量のデータと、カラーリストバンドの色データとから、データベース装置１０に記憶されたデータベース上の類似したデータを検索し、最も近いデータに対応して記憶された前腕回旋角度を含んだ関節角度のデータをデータベースから読み出す。
【００２０】
そして、データベースから読み出された関節角度のデータを、撮影した手指の各関節の角度として推定する。その推定された関節の角度のデータを、ロボットハンドの各関節の動作指令として生成させ、その動作指令をロボットハンドの駆動手段２７に送り、対応した状態にロボットハンド５０内の各関節のアクチュエータを駆動させる。
なお、図１の構成では、データベース構築用のビデオカメラ３１と、実際に手指の形状を判別（推定）する際に使用するビデオカメラ３２は、別のものを使用したが、同一のカメラを使用してもよい。また、各ビデオカメラ３１，３２は、例えば毎秒１５０フレーム程度の高速撮影が可能なものを使用するのが好ましいが、毎秒６０フレーム程度の撮影を行う通常のビデオカメラを使用してもよい。
【００２１】
図３は、本例の手指形状記憶手段２０で推定した手指の形状に基づいて駆動されるロボットハンド５０の一例を示したものである。
この図３に示すように、ロボットハンド５０は、実際の手指の関節の位置に対応した位置に、関節用アクチュエータ５２が配置されたものが、支持部材５１で支持される構成としてある。支持部材５１内にもアクチュエータ（図示せず）が設けてあり、手首を曲げた状態に対応して、支持部材５１でロボットハンドを支持させる角度も調整できる構成としてある。各関節用アクチュエータ５２が、データベースから読み出された各関節角度のデータで、対応した角度に設定されるように駆動される。
【００２２】
次に、本実施の形態による手指判定処理のおおまかな流れを、図４と図６のフローチャートを参照して説明する。
まず、データベース装置でデータベースを構築させる処理の流れを、図４を参照して説明する。
データベースの構築時には、まず図２に示したデータグローブ４０を装着した手指の画像を取り込み、その手指の画像から手指の形状とカラーリストバンドの色データを抽出し、さらにそのときのデータグローブ４０のセンサ４１の出力を関節の角度に変換して読み込む（ステップＳ１０１）。そして、その読み込んだ手指の形状とカラーリストバンドの色データと前腕回旋角度を含んだ関節の角度とを対応づけて、データベース化する（ステップＳ１０２）。その後、データベースの構築を続行するか否か判断して（ステップＳ１０３）、データベースの構築を続行する場合には、ステップＳ１０１に戻って、別の形状（即ち手指の関節の曲げ具合などが異なる形状）の手指を取り込ませる。このようにして、様々な手指の形状をデータベース化し、ステップＳ１０３でデータベースの構築が終了であると判断した場合に、このデータベース構築処理を終了する。
【００２３】
次に、データベース装置のデータベース構成の例を、図５を参照して説明する。データベースはカラーリストバンドの色データと手指の形状データの２階層となる。
まず、カラーリストバンドの色データ６１をカラースペクトル順に並べる。カラーリストバンドにはカラースペクトルの順に色が描画されているため、例えばＨＳＶ表色系などで表すと前腕回旋角度に比例した値となる。従って、データベース構成時にはカラースペクトル順に色データを並べるだけで、前腕回旋角度順に並べられる。
次に、その下の階層に手指の形状データ６２が関節角度順並べられる。そして、各々の色データ６１と手指の形状データ６２に対応する前腕回旋角度を含んだ関節の角度データ６３が出力データとして付属する。
つまり、図１のデータ特定及び動作指令発生手段２６では、図５のデータ探索開始点６０から探索を開始し、カラーリストバンドの色データ抽出手段２５で得られた色データからデータベース内の色データ６１の一つを特定し、画像特徴量抽出手段２４で得られた手指の形状データからデータベース内の手指の形状データ６２を特定し、それに付属する前腕回旋角度を含んだ関節の角度データ６３から手指の関節動作指令を発生させる。
【００２４】
図６のフローチャートは、検出対象者の手指を撮影して、形状を推定する処理の流れを示したものである。
手指の形状の推定処理としては、ビデオカメラ３２により撮影された手指の画像データを取り込み（ステップＳ１２１）、手指とカラーリストバンドの背景画像からの切り出しを行う（ステップＳ１２２）。そして、手指画像を検出する（ステップＳ１２３）と共に、カラーリストバンドの色データの検出を行う（ステップＳ１２４）。
各データが検出されると、検出されたそれぞれデータに基づいて、データベースから最も類似度が高いデータを検索し、検索されたデータに対応した全ての関節の角度データを読み出す（ステップＳ１２５）。各関節のデータを読み出すと、その読み出した関節の角度に、ロボットハンド５０の各関節用アクチュエータ５２を対応した角度に設定させる指令を生成させる（ステップＳ１２６）。ここまでの処理が終了すると、ステップＳ１２１に戻って、画像の読み込みから繰り返し処理される。ステップＳ１２５で読み出した各関節の角度で示される形状が、推定された手指の形状に相当する。
【００２５】
次に、各処理の詳細を、図７以降を参照して説明する。
まず、データベース構築時に、画像特徴量抽出手段１２で行われる画像の特徴量を抽出する処理の詳細を、図７のフローチャートを参照して説明する。ここでは、画像データのノイズ除去処理を行い（ステップＳ１１）、そのノイズ除去した画像データを２値化する（ステップＳ１２）。２値化した画像データからは、手領域の輪郭線を検出する（ステップＳ１３）。この輪郭線の検出処理を行うために、画像データで示される全ての画素について、高次局所自己相関パターンを算出する（ステップＳ１４）。
図８は、高次局所自己相関特徴を検出するための局所パターンの例を示したものである。この例では、縦３画素×横３画素の９画素のブロック単位で示してあり、パターンＭ１からパターンＭ２５までの２５種類のパターンに分類してあり、輪郭線が黒色で示した画素配列である場合に、該当する番号のパターンであると算出し、そのパターンの組み合わせで、手指の輪郭線を示すようにしてある。なお、輪郭情報の特徴量化は、輪郭情報の低次元化が目的であり、低次元化の手段は高次局所自己相関関数による特徴量化に限らない。
このようにして得た手指の輪郭線のデータを、データベースに登録させる。
なお、図７のフローチャートでは、画像からの手指の形状検出処理として、輪郭線の検出処理を行うようにしたが、例えば、画像中の手指の領域そのものを検出するようにしてもよい。例えば、画像中の手指の色の部分（データグローブの色の部分）を検出して、手指の輪郭ではなく、手指が存在する領域を検出するようにしてもよい。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図２】本発明の一実施の形態によるデータベースの構築に利用するデータグローブの例を示す説明図である。
【図３】本発明の一実施の形態により制御されるロボットハンドの例を示す斜視図である。
【図４】本発明の一実施の形態によるデータベース構築処理の流れを示すフローチャートである。
【図５】本発明の一実施の形態によるデータベースの構成の一例を示す図である。
【図６】本発明の一実施の形態による手指判別処理の流れを示すフローチャートである。
【図７】本発明の一実施の形態によるデータベース構築時の画像特徴量抽出処理例を示すフローチャートである。
【図８】本発明の一実施の形態による高次局所自己相関特徴のための局所パターンの例を示す説明図である。
【符号の説明】
【００２７】
１０…データベース装置、１１…画像データ記憶手段、１２…画像特徴量抽出手段、１３…カラーリストバンドの色データ抽出手段、１４…画像及び色データ対応動作指令記憶手段、１５…サンプリング手段、１６…時系列関節角度データ記憶手段、２０…手指形状記憶手段、２３…画像データ記憶手段、２４…画像特徴量抽出手段、２５…カラーリストバンドの色データ抽出手段、２６…データ特定及び動作指令発生手段、２７…駆動手段、３１，３２…ビデオカメラ、４０…データグローブ、４１…角度センサ、５０…ロボットハンド、５１…支持部、５２…関節用アクチュエータ、６０…データ探索開始点、６１…カラーリストバンドの色データ、６２…手指の形状データ、６３…前腕回旋角度を含んだ関節の角度データ
【技術分野】
【０００１】
本発明は、たとえばロボットの腕および手首並びに手指の駆動、あるいは仮想の腕および手首並びに手指を操作するのに適した手指形状推定装置及び手指形状推定方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、仮想世界とその操作が広く開発されている。人間が仮想世界上で物体操作を行う際には、手による情報入力がある。推定した手指の形状に基づいて、仮想空間上の手の３次元ＣＧモデルを人間の手と同様に動かすことにより、仮想物体を掴むことや自在に変形するなどの高度な作業が簡単に行える。この仮想上の手を操作する手法の一つとして、操作者の手をカメラで撮影して、そのカメラで撮影した手指の画像から手指形状を推定することが提案されている。
特許文献１には、本発明の発明者らが先に提案した、手指の画像から手指の形状を推定する手法についての記載がある。特許文献１に記載された手法では、手指を撮影した画像から、手指の輪郭を検出し、その輪郭から手指の形状を推定するようにしている。
【特許文献１】特開２００６−２９４０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載したように、手指を撮影した画像から、手指の輪郭を検出することで、手指の形状を推定することができるが、前腕回旋動作を伴った手指形状推定では、手指の各関節角度を、誤って推定してしまうことがあった。つまり、精度よく手指の形状推定を行うためには、手指の撮影位置や前腕回旋の角度は固定しなければならなかった。
【０００４】
本発明はかかる点に鑑みてなされたものであり、腕および手首並びに手指をカメラで撮影した画像から、その腕および手首並びに手指の形状をより正確に推定できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶してデータベースを構成させる。
また、前腕回旋角度データに対応した手指の画像と手指の形状とを記憶してデータベースを構成させる。
そして、検出対象の手指の撮影をして得た画像データから、前記カラーリストバンドの色データの色データを検出し、その検出された色データを、データベースに記憶された前腕回旋角度データと照合する。さらに、その前腕回旋角度データに基づいて、その前腕回旋角度データに対応してデータベースに記憶された手指の画像を読み出し、その手指の画像で示される手指の形状を、検出対象の手指の形状として判定するようにしたものである。
【発明の効果】
【０００６】
本発明によるとカラーリストバンドを装着することにより、正確な前腕回旋を含んだ手指の形状の推定が可能となり、カラーリストバンドにより形状の推定のためのデータ探索領域が狭まるため、従来技術と比べ推定速度が１０倍以上となる。
【０００７】
この場合、撮影した画像から推定した手指の形状に基づいて、各種機器の高度な駆動と制御、並びに操作が可能となる。
例えば、推定した手指の形状を、ロボットハンドに再現させる制御を行うことで、ロボットハンドの制御を、操作者の手指の動きから簡単かつ正確に行えるようになる。
また、撮影した画像から推定した手指の形状に基づいて、手の３次元ＣＧモデルを動作させることが可能となる。手の３次元ＣＧモデルに当たり判定などの機能を付加することにより、コンピュータ内の仮想世界で３次元の物体操作が行えるようになる。
【０００８】
さらに、手指の形状推定の際に、装用者の撮影位置や前腕回旋運動に拘束を与えなくて済む。従って、通常の人間が行っている運動を正しく計測することができる。
【０００９】
カラーリストバンドに描画される色は、前腕回旋方向に向かってスペクトルカラーと同じく変化するため、カラーリストバンドの色のデータを表色系で数値化することができ、データベース構築が容易となる。
この場合、その色変化の粒度が細かいほど前腕回旋の微弱な変化をより正確に推定することができる。
【００１０】
手指の輪郭情報を用いることにより、データベースの規模を縮小できる。
また、前腕回旋角度データに応じた手指の輪郭情報と手指の各関節角度とを併せて記憶し、前記データベースに記憶された手指の輪郭情報を照会に用いることにより、皺や色や手の陰影などの余計なデータの影響が少なくなり、手指の各関節角度の角度を正確に推定できるようになる。
【００１１】
この場合、データベースとして、画像データに対応した手指の関節角度データまたは３次元座標データを記憶して、照会で一致が検出された前腕回旋角度データに応じた手指の輪郭情報と関節の角度データまたは３次元座標データから、手指の関節角度を推定することで、ロボットハンドや手指のＣＧを正確に駆動することが可能となる。
【００１２】
また、データベースに記憶された手指の関節角度データあるいは３次元座標データは、手指の各関節にセンサを取り付けたいわゆるデータグローブや磁気センサなどを使用して、簡単にデータベース用の関節角度データあるいは３次元座標データを得ることが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
本実施の形態においては、カラーリストバンドを含む検出対象の腕および手首並びに手指をカラーカメラで撮影して、その撮影した画像から、前腕回旋角度と手指の形状や関節の角度を推定するものである。推定した前腕回旋角度と手指の形状や関節の角度は、ロボットハンドや手の３次元ＣＧモデルなどの各種装置の制御に使用する。
カラースペクトルを描画したカラーリストバンドとカラーカメラを用いて、事前に、カラーリストバンドを手首に装着した状態で撮影される色と前腕回旋角度の対応付けを行う。その後、カラーリストバンドを手首に装着した状態をカラーカメラで撮影することにより前腕回旋角度の推定を行う。
【００１４】
まず、図１を参照して装置のシステム構成を説明する。本実施の形態の装置は、図１に示すように、手指の形状などのデータを記憶したデータベース装置１０と、そのデータベース装置１０に記憶されたデータを参照しながら手指の形状を推定する手指推定装置２０とで構成される。データベース装置１０と手指推定装置２０は、図１では別体の装置として構成させてあるが、一体化して構成してもよい。
【００１５】
データベース装置１０は、手指の様々な形状についてのデータを記憶する手段である。本例の場合には、ビデオカメラ３１が撮影した画像データと、データグローブ４０に取り付けられた各センサのデータとが供給される。ビデオカメラ３１は、データベース用の手指の画像を撮影するものである。データグローブ４０は、その画像を撮影する際に、手指に装着されたデータグローブである。
図２はデータグローブ４０の一例を示したものであり、指の各関節に相当する箇所に、その関節が動いた角度を検出するセンサ４１が配置してある。また、手首の動きを検出するために、掌の部分にもセンサ４１が配置してある。以下の説明で手指の関節の動きと述べた場合には、この手首の動きも含まれる。センサ４１は、たとえば歪みセンサを使用する。また、本例のデータグローブ４０の上には、手の形状推定時と同じく、カラーリストバンド４３を装着している。
【００１６】
図１の説明に戻ると、ビデオカメラ３１が撮影した画像データは、画像データ記憶手段１１に供給されて、一旦記憶される。記憶された画像データは、画像特徴量抽出手段１２に供給されて、画像中の手指の輪郭を抽出するための特徴量の抽出処理が行われる。特徴量の抽出処理については後述する。
カラーリストバンドの色データ抽出手段１３では、画像中のカラーリストバンドの色データを抽出する処理を行う。カラーリストバンドの色データ抽出処理の詳細についても後述するが、簡単に述べるとデータグローブ４０と同様に装着しているカラーリストバンド４３の色データを抽出する。
画像特徴量抽出手段１２で検出された特徴量のデータと、カラーリストバンドの色データ抽出手段１３で検出された色データは、画像及び色データ対応動作指令記憶手段１４に供給して、データベース化して記憶させる。
【００１７】
また、データグローブ４０の各センサの出力を、サンプリング手段１５で周期的にサンプリングし、そのサンプリングされたセンサ出力を、時系列関節角度データ記憶手段１６に供給して、時系列の関節角度データとして記憶させる。記憶された時系列の関節角度データについても、画像及び色データ対応動作指令記憶手段１４に供給して、データベース化して記憶させる。
【００１８】
画像及び色データ対応動作指令記憶手段１４でデータベース化する際には、カラーリストバンドの色データと、その際の手指の形状のデータと、その形状の際の手指の各関節の角度データとを、対応づけてデータベース化する。
この記憶手段１４に記憶されたデータベースは、手指形状推定装置２０からの指示で読み出される。
【００１９】
次に、図１の手指形状推定装置と図５データベース構成を参照して、手指形状推定の流れを説明する。
手指形状推定装置２０は、カラーカメラ３２で撮影した手指の画像データから画像特徴量抽出手段２４で画像特徴量が抽出され、手指の輪郭が抽出される。また、画像データ記憶手段２３に記憶された画像データからカラーリストバンド色データ抽出手段２５で色データが抽出される。
画像特徴量抽出手段２４で抽出された特徴量のデータと、カラーリストバンド色データ抽出手段２５で抽出された色のデータは、データ特定及び動作指令発生手段２６に送られる。データ特定及び動作指令発生手段２６では、供給された特徴量のデータと、カラーリストバンドの色データとから、データベース装置１０に記憶されたデータベース上の類似したデータを検索し、最も近いデータに対応して記憶された前腕回旋角度を含んだ関節角度のデータをデータベースから読み出す。
【００２０】
そして、データベースから読み出された関節角度のデータを、撮影した手指の各関節の角度として推定する。その推定された関節の角度のデータを、ロボットハンドの各関節の動作指令として生成させ、その動作指令をロボットハンドの駆動手段２７に送り、対応した状態にロボットハンド５０内の各関節のアクチュエータを駆動させる。
なお、図１の構成では、データベース構築用のビデオカメラ３１と、実際に手指の形状を判別（推定）する際に使用するビデオカメラ３２は、別のものを使用したが、同一のカメラを使用してもよい。また、各ビデオカメラ３１，３２は、例えば毎秒１５０フレーム程度の高速撮影が可能なものを使用するのが好ましいが、毎秒６０フレーム程度の撮影を行う通常のビデオカメラを使用してもよい。
【００２１】
図３は、本例の手指形状記憶手段２０で推定した手指の形状に基づいて駆動されるロボットハンド５０の一例を示したものである。
この図３に示すように、ロボットハンド５０は、実際の手指の関節の位置に対応した位置に、関節用アクチュエータ５２が配置されたものが、支持部材５１で支持される構成としてある。支持部材５１内にもアクチュエータ（図示せず）が設けてあり、手首を曲げた状態に対応して、支持部材５１でロボットハンドを支持させる角度も調整できる構成としてある。各関節用アクチュエータ５２が、データベースから読み出された各関節角度のデータで、対応した角度に設定されるように駆動される。
【００２２】
次に、本実施の形態による手指判定処理のおおまかな流れを、図４と図６のフローチャートを参照して説明する。
まず、データベース装置でデータベースを構築させる処理の流れを、図４を参照して説明する。
データベースの構築時には、まず図２に示したデータグローブ４０を装着した手指の画像を取り込み、その手指の画像から手指の形状とカラーリストバンドの色データを抽出し、さらにそのときのデータグローブ４０のセンサ４１の出力を関節の角度に変換して読み込む（ステップＳ１０１）。そして、その読み込んだ手指の形状とカラーリストバンドの色データと前腕回旋角度を含んだ関節の角度とを対応づけて、データベース化する（ステップＳ１０２）。その後、データベースの構築を続行するか否か判断して（ステップＳ１０３）、データベースの構築を続行する場合には、ステップＳ１０１に戻って、別の形状（即ち手指の関節の曲げ具合などが異なる形状）の手指を取り込ませる。このようにして、様々な手指の形状をデータベース化し、ステップＳ１０３でデータベースの構築が終了であると判断した場合に、このデータベース構築処理を終了する。
【００２３】
次に、データベース装置のデータベース構成の例を、図５を参照して説明する。データベースはカラーリストバンドの色データと手指の形状データの２階層となる。
まず、カラーリストバンドの色データ６１をカラースペクトル順に並べる。カラーリストバンドにはカラースペクトルの順に色が描画されているため、例えばＨＳＶ表色系などで表すと前腕回旋角度に比例した値となる。従って、データベース構成時にはカラースペクトル順に色データを並べるだけで、前腕回旋角度順に並べられる。
次に、その下の階層に手指の形状データ６２が関節角度順並べられる。そして、各々の色データ６１と手指の形状データ６２に対応する前腕回旋角度を含んだ関節の角度データ６３が出力データとして付属する。
つまり、図１のデータ特定及び動作指令発生手段２６では、図５のデータ探索開始点６０から探索を開始し、カラーリストバンドの色データ抽出手段２５で得られた色データからデータベース内の色データ６１の一つを特定し、画像特徴量抽出手段２４で得られた手指の形状データからデータベース内の手指の形状データ６２を特定し、それに付属する前腕回旋角度を含んだ関節の角度データ６３から手指の関節動作指令を発生させる。
【００２４】
図６のフローチャートは、検出対象者の手指を撮影して、形状を推定する処理の流れを示したものである。
手指の形状の推定処理としては、ビデオカメラ３２により撮影された手指の画像データを取り込み（ステップＳ１２１）、手指とカラーリストバンドの背景画像からの切り出しを行う（ステップＳ１２２）。そして、手指画像を検出する（ステップＳ１２３）と共に、カラーリストバンドの色データの検出を行う（ステップＳ１２４）。
各データが検出されると、検出されたそれぞれデータに基づいて、データベースから最も類似度が高いデータを検索し、検索されたデータに対応した全ての関節の角度データを読み出す（ステップＳ１２５）。各関節のデータを読み出すと、その読み出した関節の角度に、ロボットハンド５０の各関節用アクチュエータ５２を対応した角度に設定させる指令を生成させる（ステップＳ１２６）。ここまでの処理が終了すると、ステップＳ１２１に戻って、画像の読み込みから繰り返し処理される。ステップＳ１２５で読み出した各関節の角度で示される形状が、推定された手指の形状に相当する。
【００２５】
次に、各処理の詳細を、図７以降を参照して説明する。
まず、データベース構築時に、画像特徴量抽出手段１２で行われる画像の特徴量を抽出する処理の詳細を、図７のフローチャートを参照して説明する。ここでは、画像データのノイズ除去処理を行い（ステップＳ１１）、そのノイズ除去した画像データを２値化する（ステップＳ１２）。２値化した画像データからは、手領域の輪郭線を検出する（ステップＳ１３）。この輪郭線の検出処理を行うために、画像データで示される全ての画素について、高次局所自己相関パターンを算出する（ステップＳ１４）。
図８は、高次局所自己相関特徴を検出するための局所パターンの例を示したものである。この例では、縦３画素×横３画素の９画素のブロック単位で示してあり、パターンＭ１からパターンＭ２５までの２５種類のパターンに分類してあり、輪郭線が黒色で示した画素配列である場合に、該当する番号のパターンであると算出し、そのパターンの組み合わせで、手指の輪郭線を示すようにしてある。なお、輪郭情報の特徴量化は、輪郭情報の低次元化が目的であり、低次元化の手段は高次局所自己相関関数による特徴量化に限らない。
このようにして得た手指の輪郭線のデータを、データベースに登録させる。
なお、図７のフローチャートでは、画像からの手指の形状検出処理として、輪郭線の検出処理を行うようにしたが、例えば、画像中の手指の領域そのものを検出するようにしてもよい。例えば、画像中の手指の色の部分（データグローブの色の部分）を検出して、手指の輪郭ではなく、手指が存在する領域を検出するようにしてもよい。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図２】本発明の一実施の形態によるデータベースの構築に利用するデータグローブの例を示す説明図である。
【図３】本発明の一実施の形態により制御されるロボットハンドの例を示す斜視図である。
【図４】本発明の一実施の形態によるデータベース構築処理の流れを示すフローチャートである。
【図５】本発明の一実施の形態によるデータベースの構成の一例を示す図である。
【図６】本発明の一実施の形態による手指判別処理の流れを示すフローチャートである。
【図７】本発明の一実施の形態によるデータベース構築時の画像特徴量抽出処理例を示すフローチャートである。
【図８】本発明の一実施の形態による高次局所自己相関特徴のための局所パターンの例を示す説明図である。
【符号の説明】
【００２７】
１０…データベース装置、１１…画像データ記憶手段、１２…画像特徴量抽出手段、１３…カラーリストバンドの色データ抽出手段、１４…画像及び色データ対応動作指令記憶手段、１５…サンプリング手段、１６…時系列関節角度データ記憶手段、２０…手指形状記憶手段、２３…画像データ記憶手段、２４…画像特徴量抽出手段、２５…カラーリストバンドの色データ抽出手段、２６…データ特定及び動作指令発生手段、２７…駆動手段、３１，３２…ビデオカメラ、４０…データグローブ、４１…角度センサ、５０…ロボットハンド、５１…支持部、５２…関節用アクチュエータ、６０…データ探索開始点、６１…カラーリストバンドの色データ、６２…手指の形状データ、６３…前腕回旋角度を含んだ関節の角度データ
【特許請求の範囲】
【請求項１】
手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベースと、
検出対象の手を撮影して得た画像データ中の前記カラーリストバンドの色データから前記データベースに記憶された前記前腕回旋角度データと照合する照合手段と、
前記照合手段で検出された前記前腕回旋角度データに基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状とのデータベースによる手指形状を推定する推定手段とを備えることを特徴とする手指形状推定装置。
【請求項２】
請求項１記載の手指形状推定装置において、
前記カラーリストバンドは、前腕回旋方向に向かって変化する色が描画されていることを特徴とする手指形状推定装置。
【請求項３】
請求項１記載の手指形状推定装置において、
前記カラーリストバンドは、前腕回旋方向に向かってスペクトルカラーと同じく変化する色が描画されていることを特徴とする手指形状推定装置。
【請求項４】
請求項１記載の手指形状推定装置において、
前記手指の画像と手指の形状とのデータベースは、手指の輪郭情報を記憶することを特徴とする手指形状推定装置。
【請求項５】
請求項３に記載の手指形状推定装置において、
前記手指の形状データは、手指の関節角度データを記憶し、前記照合手段で照合された手指の輪郭情報に対応して前記データベースに記憶された関節角度データから、前記推定手段で手指の関節角度を推定することを特徴とする手指形状推定装置。
【請求項６】
請求項３に記載の手指形状推定装置において、
前記手指の形状データは、３次元座標データを記憶し、前記照合手段で照合された手指の輪郭情報に対応して前記データベースに記憶された３次元座標データから、前記推定手段で手指の３次元座標データを推定することを特徴とする手指形状推定装置。
【請求項７】
手首に装着したカラーリストバンドをカメラで撮影したときのカラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベース構成処理と、
検出対象の手を撮影して得た画像データ中のカラーリストバンドの色データから前記データベースに記憶された前腕回旋角度と照合する照合処理と、
前記照合手法で検出された前腕回旋角度に基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状データベースによる手指形状の判定手段とを備えることを特徴とする手指形状推定方法。
【請求項８】
コンピュータ装置に実装して処理を実行させるプログラムにおいて、
手首に装着したカラーリストバンドをカメラで撮影したときのカラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベース構成処理と、
検出対象の手を撮影して得た画像データ中のカラーリストバンドの色データから前記データベースに記憶された前腕回旋角度と照合する照合処理と、
前記照合手法で検出された前腕回旋角度に基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状データベースによる手指形状の推定処理とを備えることを特徴とするプログラム。
【請求項１】
手首に装着したカラーリストバンドをカメラで撮影したときの前記カラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベースと、
検出対象の手を撮影して得た画像データ中の前記カラーリストバンドの色データから前記データベースに記憶された前記前腕回旋角度データと照合する照合手段と、
前記照合手段で検出された前記前腕回旋角度データに基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状とのデータベースによる手指形状を推定する推定手段とを備えることを特徴とする手指形状推定装置。
【請求項２】
請求項１記載の手指形状推定装置において、
前記カラーリストバンドは、前腕回旋方向に向かって変化する色が描画されていることを特徴とする手指形状推定装置。
【請求項３】
請求項１記載の手指形状推定装置において、
前記カラーリストバンドは、前腕回旋方向に向かってスペクトルカラーと同じく変化する色が描画されていることを特徴とする手指形状推定装置。
【請求項４】
請求項１記載の手指形状推定装置において、
前記手指の画像と手指の形状とのデータベースは、手指の輪郭情報を記憶することを特徴とする手指形状推定装置。
【請求項５】
請求項３に記載の手指形状推定装置において、
前記手指の形状データは、手指の関節角度データを記憶し、前記照合手段で照合された手指の輪郭情報に対応して前記データベースに記憶された関節角度データから、前記推定手段で手指の関節角度を推定することを特徴とする手指形状推定装置。
【請求項６】
請求項３に記載の手指形状推定装置において、
前記手指の形状データは、３次元座標データを記憶し、前記照合手段で照合された手指の輪郭情報に対応して前記データベースに記憶された３次元座標データから、前記推定手段で手指の３次元座標データを推定することを特徴とする手指形状推定装置。
【請求項７】
手首に装着したカラーリストバンドをカメラで撮影したときのカラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベース構成処理と、
検出対象の手を撮影して得た画像データ中のカラーリストバンドの色データから前記データベースに記憶された前腕回旋角度と照合する照合処理と、
前記照合手法で検出された前腕回旋角度に基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状データベースによる手指形状の判定手段とを備えることを特徴とする手指形状推定方法。
【請求項８】
コンピュータ装置に実装して処理を実行させるプログラムにおいて、
手首に装着したカラーリストバンドをカメラで撮影したときのカラーリストバンドの色データと、前記色データの取得時の前腕回旋角度データとを記憶するデータベース構成処理と、
検出対象の手を撮影して得た画像データ中のカラーリストバンドの色データから前記データベースに記憶された前腕回旋角度と照合する照合処理と、
前記照合手法で検出された前腕回旋角度に基づいて、前腕回旋角度ごとに用意された手指の画像と手指の形状データベースによる手指形状の推定処理とを備えることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１０４５６９（Ｐ２００９−１０４５６９Ａ）
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願番号】特願２００７−２９７２５８（Ｐ２００７−２９７２５８）
【出願日】平成１９年１０月２０日（２００７．１０．２０）
【出願人】（５０４１７１１３４）国立大学法人 筑波大学 (510)
【Ｆターム（参考）】
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願日】平成１９年１０月２０日（２００７．１０．２０）
【出願人】（５０４１７１１３４）国立大学法人 筑波大学 (510)
【Ｆターム（参考）】
[ Back to top ]