手位置追跡方法、装置、およびプログラム
【課題】 カメラ撮影画像中から手の２次元位置を特定する方法において、類似物体誤認識を減らす。
【解決手段】 撮像部１１からの画像を入力とし、追跡する範囲を限定領域設定部１２Ａで決定して、その限定範囲内の情報にのみ限ったカメラ画像（限定領域画像）を限定領域画像作成部１４で作成する。肌色追跡部１５で限定領域画像を用いて肌色情報により手の位置を追跡する。
【解決手段】 撮像部１１からの画像を入力とし、追跡する範囲を限定領域設定部１２Ａで決定して、その限定範囲内の情報にのみ限ったカメラ画像（限定領域画像）を限定領域画像作成部１４で作成する。肌色追跡部１５で限定領域画像を用いて肌色情報により手の位置を追跡する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の手の動きと位置によってコンピュータ、家電等を操作するインタフェース方法および装置に関する。
【背景技術】
【０００２】
素手を認識して手の動きと位置によってコンピュータや家電などを操作するインタフェースが研究されている。手の位置と動きで操作するインタフェースの利用シーンとしては、画面から少し離れた場所にユーザが複数いて、背景は特に規定しない普通の部屋などが想定され、また、ユーザが何も身体に装着しなくても使えることが望ましい。さらに、手の動きに追随できる程度の実時間性が要求される。
【０００３】
このような状況で手の位置認識をすることは実は難しい。
【０００４】
アプローチとして、ステレオ視などの形状復元技術を利用し手の形状の特徴を検出する手法もあるが、直接手をクローズアップするなどの手段を用いなければ十分な精度で手の形状を認識することは困難である。クローズアップなどをせずに撮像する場合、人物全体の大まかな形状（カメラからの距離情報）を利用することとなる。しかし、大まかな形状のみでは手の認識が困難なため、誤認識が発生しやすい。また、３次元的に指差しを行うシステムの場合に、指先位置の計測誤差が指されている物体との距離に比例して拡大することによる指差し位置の誤認識も発生する。また、肌色情報を主に用いて手の位置を検出・追跡するものは、顔や周りの物体など手以外に条件に当てはまるものが出てきてしまうため、やはり誤認識の発生が避けられない。
【０００５】
ここで、代表的な従来技術の問題点について説明する。非特許文献１に記載の技術は、Ｃｏｎｔｉｎｕｏｕｓｌｙ Ａｄｓａｐｔｉｖｅ Ｍｅａｎ Ｓｈｉｆｔ（ＣＡＭＳＨＩＦＴ）と呼ばれるアルゴリズムを用いて対象物をリアルタイムに追跡するものであるが、指定色分布領域の追跡を時系列的に前の画像での指定色検出位置を起点とする近傍追跡背景に同色のものがあると誤認識することがある。特に物体に照明の影響で影などが入った場合色情報の精度が落ちる。非特許文献２に記載の技術は、距離（一番手前にあるもの）と背景差分（カメラと手の間に置いてあるものなどは無視）と顔の近くにあるという条件と肌色情報を用いて手を認識するもので、顔検出は他人が肩越しに覗いている等の複雑な背景では操作者の特定等が難しく、顔の誤認識の影響を強く受ける。非特許文献３に記載の技術は、指定色領域の時系列の各画像毎を追跡するもので、指定色マーカを使わなくてはいけない。背景にない可能性が高い色情報を使っており、背景に指定色がある場合、位置認識は失敗する。
【非特許文献１】Ｇａｒｙ Ｒ．Ｂｒａｄｓｋｉ，“Ｒｅａｌ Ｔｉｍｅ Ｆａｃｅ ａｎｄ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ａｓ ａ Ｃｏｍｐｏｎｅｎｔ ｏｆ ａ Ｐｅｒｃｅｐｔｕａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ” １９９８ ＩＥＥＥ ｐ．ｐ．２１４〜２１９
【非特許文献２】金次保明ら「指さしポインターにおけるカーソル位置の特定法」 ＩＥＩＣＥ ＩＴＳ研究会 ２００２．１
【非特許文献３】細谷英一ら「ミラーインタフェースを用いた遠隔地間の実世界インタラクション」 ＦＩＴ（情報科学技術フォーラム）２００３，ｐ．ｐ．５９１〜５９２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、類似物体誤認識を減らす手位置追跡方法、装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、手位置追跡方法は、
撮像手段で撮像された撮像画像を入力として手の探索範囲を限定するための画像内の限定領域を決定する限定領域決定段階と、
該撮像画像から該限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成段階と、
該限定領域画像を探索範囲とし、肌色領域の色を指定する肌色情報に適合する画像上の領域を追跡する肌色追跡段階と
を有する。
【０００８】
本態様は、手の位置を追跡する範囲を決定して、その限定範囲内の情報にのみ限ったカメラ画像（限定領域画像）を作成し、限定領域画像を用いて肌色情報により手の位置を追跡するものである。追跡する範囲を限定することにより、処理対象の情報が減り、誤認識の可能性が減るとともに、計算コストも減る。
【０００９】
本発明の第２の態様によれば、前記限定領域決定段階が、第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって画像各画素の距離情報を作成する距離情報作成段階と、該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて限定領域として出力する限定領域作成段階を含む。
【００１０】
本態様は、撮像手段を２つ用いてステレオ視の手法により距離情報を作成し、対象距離設定部から得られる対象距離情報に基づき限定領域を算出するものである。
【００１１】
本発明の第３の態様によれば、限定領域決定段階が、前記撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出する動き情報作成段階と、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を限定領域として出力する限定領域作成段階を含む。
【００１２】
本態様は、１つの撮像手段の画像を入力とし、時系列的に連続する画像の差分を用いて動き情報を作成し、動きのある範囲を限定領域とするものである。
【００１３】
本発明の第４の態様によれば、手位置追跡方法は、
第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって画像各画素の距離情報を作成し、該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて第１の限定領域として出力する第１の限定領域決定段階と、
第１の撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出し、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を第２の限定領域として出力する第２の限定領域決定段階と、
該撮像画像から前記第１と第２の限定領域の積集合である限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成段階と、
該限定領域画像を探索範囲とし、肌色領域の色を指定する肌色情報に適合する画像上の領域を追跡する肌色追跡段階と
を有する。
【００１４】
本態様は、動き情報と距離情報をあわせて用いて、動きがあり、一定の距離範囲にある領域を探索範囲として限定するものである。
【発明の効果】
【００１５】
本発明は、追跡する範囲を限定することにより、色ベース手法の欠点である類似色物体誤認識の削減、さらに計算コストの低減が可能になる。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の実施の形態について図面を参照して説明する。
【００１７】
［第１の実施形態］
図１を参照すると、本発明の第１の実施形態の手位置追跡装置は、撮像部１１と限定領域設定部１２Ａと限定領域画像作成部１３と肌色追跡部１４と表示部１５とで構成されている。
【００１８】
本実施形態は撮像部１１からの画像を入力とし、ユーザが追跡する範囲を決定して、その限定範囲内の情報にのみ限ったカメラ画像（限定領域画像）を作成し、限定領域画像を用いて肌色情報により手の位置を追跡するものである。本実施形態は、動きや距離情報で限定領域を自動的に決めるのではなく、手動（ファイル入力またはアプリケーションのユーザインタフェースより入力）によって領域を指定する方法を示しており、メニューアイコンなどがあるエリアなどだけを認識対象とする場合などに使える。
【００１９】
本実施形態は特に、ミラーインタフェースへの適用を考えたもので、画面上のメニューアイコン（タッチされてコマンドが入力されるオブジェクト）を触るための方法の１つである。メニューを認識対象とするのは、それ以外の場所で手が見つかってもアプリケーション側がコマンドをメニューからしか受け付けない場合には意味がないからである。また、メニューアイコンの場所以外にシステムを設置した場合に背景にドアがあってよく動き、人が通ることがわかっていて、その場所で手を認識する必要がない場合、ドアのある位置以外の場所を認識対象として指定することによってドアの開閉と背景の人をノイズとして無視することができるようになり、そのような場合にも本実施形態を使用することができる。
【００２０】
次に、各部の機能を図２のフローチャートも参照しながら説明する。
【００２１】
限定領域決定部１２Ａはユーザが画面上の特定領域を限定領域として予め指定するためのものである（ステップ１０１、１０２）。四角形の限定領域の場合、四角形の対角線の２点の座標を指定する、または１点の座標と四角形の幅と高さを指定することによって、限定領域を指定することができる。また、四角形以外の限定領域の場合、座標、大きさなどを指定することによって、限定領域を指定することができる。ユーザインタフェースとして本手位置追跡装置を用いることを想定した場合、ユーザが選択可能な画面上のコマンド指定領域（アイコンなど）を含む範囲を予め限定領域に設定することが可能である。限定領域決定部１２Ａの出力のうち限定範囲内の画素は“１”の値を持ち、それ以外の画素は“０”の値をもつ。図１では、３つの正方形の領域が限定領域となっている。
【００２２】
撮像部１１はカメラで、手を含む人体の画像を入力する（ステップ１０３）。
【００２３】
限定領域画像作成部１３は撮像部１１（カメラ）からのカメラ画像（基準画像）を入力し、限定領域決定部１２Ａで作成された限定領域を用いて、この限定領域内に限定された領域のみの情報を持った限定領域画像を作成する（ステップ１０４）。この限定領域画像では、限定領域内の画素に関しては、カメラ画像（基準画像）の同じ画素の位置のカラー画素値を保持し、限定領域外の画素に関しては、カメラ画像（基準画像）の同じ画素の位置のカラー画素値は“０”となる。図１では、３つの正方形の限定領域のうち、右の限定領域に手の一部の画像が入っている。
【００２４】
肌色追跡部１４は限定領域画像作成部１３で作成された限定領域画像において肌色により手の位置を追跡し（ステップ１０５）、表示部１５に表示する（ステップ１０６）。肌色追跡部１４はＣＡＭＳＨＩＦＴ等の既存の方法を用いて実現することができる。
【００２５】
なお、ユーザが限定領域を指定する代わりに、領域を指定する座標等（限定領域指定情報）が保存されたファイルから、限定領域指定情報を限定領域決定部１１Ａが読み出すことによって行なってもよい。
【００２６】
本実施形態は、ユーザインタフェースとして必要な領域にのみ追跡を限定することにより、計算コストを削減するとともに、誤認識を削減して、コマンドの選択を確実にする効果がある。
【００２７】
［第２の実施形態］
図３を参照すると、本発明の第２の実施形態の手位置追跡装置は撮像部１１1，１１2と限定領域決定部１２Ｂと限定領域画像作成部１３と肌色追跡部１４と表示部１５とから構成されている。また、図４に示すように、限定領域決定部１２Ｂは距離情報作成部２１と対象距離設定部２２と限定領域作成部２３とで構成されている。
【００２８】
限定領域画像作成部１３と肌色追跡部１４と表示部１５は第１の実施形態のものと同じである。
【００２９】
本実施形態は、撮像部を２つ用いてステレオ視の手法により距離情報を作成し、対象距離設定部２２から得られる対象距離情報に基づき限定領域を算出するものである。
【００３０】
撮像部１１1，１１2としては市販のカメラを用いることができる。例えばセンサーテクノロジー（株）ＳＴＣ−Ｒ６４０などである。市販のカメラ２つを用いて距離情報を作成する場合、ノンインタレースの同期制御の可能である市販のカメラを用いる。また、特別な複数のカメラがあらかじめ設置された市販の複眼カメラも用いることができる。例えば、Ｐｏｉｎｔ Ｇｒｅｙ Ｒｅｓｅｒｃｈ Ｉｎｃ． Ｄｉｇｉｃｌｏｐｓのようなあらかじめステレオ視用にキャリブレーションされたカメラである。
【００３１】
対象距離設定部２２は手を認識する対象距離範囲（カメラからの距離と範囲）を設定する。対象距離範囲は、ステレオ視で得られるカメラと物体との距離の情報のなかで、どこからどこまでを対象とするか、を指定する値で、カメラから距離１（手前）と距離２（奥）の２つの地点を間にはさむ範囲からなる（図６参照）。設定のインタフェースとしては、距離を２つの数値（例えば１ｍと３ｍの間など）で設定する方法がある。これに対して、「距離情報」はステレオ視のいわゆるｄｅｐｔｈ Ｍａｐ（カメラから見えている全体の画像の奥行き情報）である。各画素が持つ距離情報を輝度に変えてグレースケール画像で、近いところが明るく（白く）、遠いところが暗く（黒）で示されている。つまりグラデーションのある絵というのが距離画像である。
【００３２】
なお、対象距離設定部２２の構成は上記に限定されるものではない。例えば、カメラ前方の２地点でパタン（物体）を提示してそのパタン（物体）のカメラからの距離をステレオ視機能で測定して設定範囲の２点とする方法、任意に撮影された画像から距離画像を作成し試行錯誤により設定範囲を変更しながら距離画像を見て範囲を決定する方法、等がある。
【００３３】
また、対象距離を設定するもう一つの方法は、ステレオ視の機能を動的に用い、撮像部に最も近い画素の距離を基準にその距離から何ｍ〜何ｍという形で時系列に連続する各画像毎に動的に対象距離を変更することである。また、最近画素と最遠画素の距離範囲の中の一定範囲をパーセンテージ（割合）で設定することで、動的に距離範囲を設定する方法もある。
【００３４】
なお、対象となる距離Ｚは後述する距離情報作成部２１で用いられるカメラの焦点距離ｆ、カメラのベースライン距離Ｂを用いてｄ＝ｆ×Ｂ／Ｚなる変換式で視差値ｄに変換して（図７参照）記録することで限定領域作成部２３の処理量を削減することができる。
【００３５】
距離情報作成部２１では、２つ以上の画像から同一の点が撮影されている画像上の位置を画像の類似度から判定し、複数画像間での位置のずれ（視差）から三角測量の原理で基準画像上でのカメラからの距離を求めるステレオ視を行う（図５のステップ１０７）。
【００３６】
以下では、カメラ（撮像手段）が２つで平行に置いてある場合を例として説明する。時間的に同期された２つの一定距離離れて、水平方向に平行に置かれたカメラ１１1（右）とカメラ１１2（左）で撮像した２枚のカメラ画像の視差を、カメラから撮像対象までの距離情報とする。
【００３７】
視差の計算の方法としては、例えば以下のような方法がある。カメラ１１1を基準として、基準のカメラ１１1で撮像されたカメラ画像（基準画像）と、カメラ１１2で撮像されたカメラ画像とで、特定の大きさの画像小領域（ブロック）同士の類似度を計算することによって、対応する画素を求めるブロックマッチングを行うことで視差を計算する。視差をｄとした時、撮像手段と撮像物体間の距離ＺはＺ＝ｆ×Ｂ／ｄ、という関係になる（参考文献：辻 三郎、徐 剛 著「３次元ビジョン」共立出版 ９５−９７頁）。ｄ＝ｕ−ｕ’であり、Ｂはカメラ１１1とカメラ１１2との距離、ｆはカメラの焦点距離である。図７に説明図を示す。ここで、左画像、右画像とはそれぞれ左側のカメラ、右側のカメラに写っている画像である。
【００３８】
距離画像は、同時刻に撮像された右カメラ画像と左カメラ画像との視差を、画像全体の各画素の画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ１１1に近いことを表し、値が小さいほど人物の位置がカメラ１１1から遠いことを表している。
【００３９】
なお、距離情報作成部２１の構成は上記に限定されるものではない。例えば、Ｄｉｇｉｃｌｏｐｓのような市販のステレオカメラを用いた場合は、ステレオカメラとその付属プログラムから距離情報を作成することも可能である。
【００４０】
図６は限定領域作成部２３の動作を説明する図である。限定領域作成部２３は、距離情報作成部２１にて作成された距離画像と、対象距離設定部２２にて設定された対象距離の範囲を入力し、距離画像において、各画素の画素値として表された距離情報を用いて、対象距離設定部２２で設定された範囲にある距離（視差）の画素のみを抽出する（図５のステップ１０８）。
【００４１】
例えば、対象距離設定部２２で設定された範囲内にある画素には、手のある一定範囲の中にあるものとして“１”を与え、それ以外の画素には手のある一定範囲外にあるものとして“０”の値を与えるなどの方法により、一定距離範囲に限られた限定領域を作成する。
【００４２】
図８はカメラ画像１（右）とカメラ画像２（左）から対象距離に限定した限定領域が得られ、さらに限定領域内のみ画像情報をもつ限定領域画像が得られる様子を示している。
【００４３】
［第３の実施形態］
図９を参照すると、本発明の第３の実施形態の手位置追跡装置は、撮像部１１と限定領域決定部１２Ｃと限定領域画像作成部１３と肌色追跡部１４と表示部１５で構成されている。限定領域決定部１２Ｃは、図１０に示すように、動き情報作成部３１と限定領域作成部３２で構成されている。
【００４４】
本実施形態は、図１１に示すように。１つの撮像部（カメラ）の画像（Ａt）を入力とし、限定領域決定部１２Ｃにおいて、時系列的に連続する画像の差分を用いて動き情報を作成し（ステップ１０９）、動きのある範囲を限定領域とするものである（ステップ１１０）。
【００４５】
限定領域の算出後の限定領域画像作成部１３での限定領域画像の生成ならびに肌色追跡部１４の肌色追跡は第１の実施形態と同じである。
【００４６】
以下、限定領域決定部１２Ｃの動き情報作成部３１と限定領域作成部３２について図１２により詳細に説明する。
【００４７】
動き情報作成部３１は、時系列に連続する複数（ｋ＋１個）の撮像画像（Ａt-k，Ａt-k+1，…，Ａt）を入力とし、時系列上隣接（連続）する２つの撮像画像の差分絶対値（｜Ａt-k+1−Ａt-k｜，…，｜Ａt−Ａt-1｜）を計算し、画素毎の和からなる画像
【００４８】
【数１】
【００４９】
を求め、Ｓtの画素毎にその値が既定値を超える画素を１とし、そうでない画素を０とする、ビットマップＢtを作成する。
【００５０】
なお、動き情報作成部３１の構成は上記に限定されるものではない。例えば、動きのある画素を求める方法として、上記では、画像の差分絶対値の総和Ｓtによって動き領域を検出しているが、差分２乗和
【００５１】
【数２】
【００５２】
によって検出する方法もある。さらに、あらかじめ撮像しておいた背景画像とカメラ入力画像の差分である背景差分を作成することにより、動きを検出する方法もある。また、オプティカルフローを計算することにより、動きのある画素を求めることもできる。
【００５３】
限定領域作成部３２は、動き情報作成部３１にて作成された、Ｂt内で画素を隣接関係のある画素集合（連結集合）に分割し、各連結集合のうちその領域に属する画素数があらかじめ決められた閾値以下の大きさになる領域は誤差として、動きがない領域と同じ扱い（値を“０”とする等）とすることにより、限定領域を作成する。これは、「ラベリング」をして、１つの物体として区切られたものの面積を求めて、面積があまり小さいものを無視することを意味している。
【００５４】
図１３はカメラ画像Ａtとカメラ画像Ａt-1から、動きのある範囲に限定した限定領域が得られ、さらに動きのある限定領域内のみ画像情報をもつ限定領域画像が得られる様子を示している。
【００５５】
本実施形態によれば、動きを用いて限定領域を決定することによって、例えば、カメラからの距離範囲が手と同じ範囲に、肌色と色相の値の近い色の物体が存在した場合にも、その物体が静物であれば、または動きの大きさが少なければ無視することができ、その肌色物体を誤検出することを抑制することができる。
【００５６】
［第４の実施形態］
図１４を参照すると、本発明の第４の実施形態の手位置追跡装置は撮像部１１1，１１2と、それぞれ第２、第３の実施形態における限定領域決定部１２Ｂ，１２Ｃと、ＡＮＤ回路１６と、限定領域画像作成部１３と、肌色追跡部１４と、表示部１５で構成されている。
【００５７】
本実施形態では、第１の実施形態の内容に加え、第１の実施形態で示した限定領域決定部１３において、動き情報と距離情報をあわせて用いて、動きがあり、一定の距離範囲にある領域を探索範囲として限定するものである（ステップ１０２Ｂ、１０２Ｃ、１１１）。
【００５８】
すなわち、限定領域決定部１２Ｂ，１２Ｃそれぞれから出力される第２の実施形態および第３の実施形態で用いられる限定領域の論理積を限定領域として出力する。
【００５９】
図１６は、カメラ画像１（右）とカメラ画像２（左）から距離による限定領域が作成され、カメラ画像Ａtとカメラ画像Ａt-1から動きによる限定領域が作成され、両限定領域の積がとられて、限定領域画像作成部１３にて、動きがあり一定の距離範囲にある領域内のみ画像情報をもつ限定領域画像が得られることを示している。
【００６０】
なお、以上説明した手位置追跡装置の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施形態の手位置追跡装置の構成図である。
【図２】第１の実施形態の手位置追跡装置の処理の流れを示すフローチャートである。
【図３】本発明の第２の実施形態の手位置追跡装置の構成図である。
【図４】図３中の限定領域決定部の構成図である。
【図５】第２の実施形態の手位置追跡装置の処理の流れを示すフローチャートである。
【図６】第２の実施形態における限定領域作成の説明図である。
【図７】視差の計算方法の説明図である。
【図８】第２の実施形態における限定領域画像作成までの説明図である。
【図９】本発明の第３の実施形態の手位置追跡装置の構成図である。
【図１０】図９中の限定領域決定部の構成図である。
【図１１】第３の実施形態の手位置追跡装置の処理の流れを示すフローチャートである。
【図１２】第３の実施形態における限定領域作成の説明図である。
【図１３】第３の実施形態における限定領域画像作成までの説明図である。
【図１４】本発明の第４の実施形態の手位置追跡装置の構成図である。
【図１５】第４の実施形態の手位置追跡装置の処理の流れを示すフローチャートである。
【図１６】第４の実施形態における限定領域画像作成までの説明図である。
【符号の説明】
【００６２】
１１，１１1，１１2 撮像部
１２Ａ、１２Ｂ、１２Ｃ 限定領域決定部
１３ 限定領域画像作成部
１４ 肌色追跡部
１５ 表示部
１６ ＡＮＤ回路
２１ 距離情報作成部
２２ 対象距離設定部
２３ 限定領域作成部
３１ 動き情報作成部
３２ 限定領域作成部
１０１〜１１１ ステップ
【技術分野】
【０００１】
本発明は、人間の手の動きと位置によってコンピュータ、家電等を操作するインタフェース方法および装置に関する。
【背景技術】
【０００２】
素手を認識して手の動きと位置によってコンピュータや家電などを操作するインタフェースが研究されている。手の位置と動きで操作するインタフェースの利用シーンとしては、画面から少し離れた場所にユーザが複数いて、背景は特に規定しない普通の部屋などが想定され、また、ユーザが何も身体に装着しなくても使えることが望ましい。さらに、手の動きに追随できる程度の実時間性が要求される。
【０００３】
このような状況で手の位置認識をすることは実は難しい。
【０００４】
アプローチとして、ステレオ視などの形状復元技術を利用し手の形状の特徴を検出する手法もあるが、直接手をクローズアップするなどの手段を用いなければ十分な精度で手の形状を認識することは困難である。クローズアップなどをせずに撮像する場合、人物全体の大まかな形状（カメラからの距離情報）を利用することとなる。しかし、大まかな形状のみでは手の認識が困難なため、誤認識が発生しやすい。また、３次元的に指差しを行うシステムの場合に、指先位置の計測誤差が指されている物体との距離に比例して拡大することによる指差し位置の誤認識も発生する。また、肌色情報を主に用いて手の位置を検出・追跡するものは、顔や周りの物体など手以外に条件に当てはまるものが出てきてしまうため、やはり誤認識の発生が避けられない。
【０００５】
ここで、代表的な従来技術の問題点について説明する。非特許文献１に記載の技術は、Ｃｏｎｔｉｎｕｏｕｓｌｙ Ａｄｓａｐｔｉｖｅ Ｍｅａｎ Ｓｈｉｆｔ（ＣＡＭＳＨＩＦＴ）と呼ばれるアルゴリズムを用いて対象物をリアルタイムに追跡するものであるが、指定色分布領域の追跡を時系列的に前の画像での指定色検出位置を起点とする近傍追跡背景に同色のものがあると誤認識することがある。特に物体に照明の影響で影などが入った場合色情報の精度が落ちる。非特許文献２に記載の技術は、距離（一番手前にあるもの）と背景差分（カメラと手の間に置いてあるものなどは無視）と顔の近くにあるという条件と肌色情報を用いて手を認識するもので、顔検出は他人が肩越しに覗いている等の複雑な背景では操作者の特定等が難しく、顔の誤認識の影響を強く受ける。非特許文献３に記載の技術は、指定色領域の時系列の各画像毎を追跡するもので、指定色マーカを使わなくてはいけない。背景にない可能性が高い色情報を使っており、背景に指定色がある場合、位置認識は失敗する。
【非特許文献１】Ｇａｒｙ Ｒ．Ｂｒａｄｓｋｉ，“Ｒｅａｌ Ｔｉｍｅ Ｆａｃｅ ａｎｄ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ａｓ ａ Ｃｏｍｐｏｎｅｎｔ ｏｆ ａ Ｐｅｒｃｅｐｔｕａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ” １９９８ ＩＥＥＥ ｐ．ｐ．２１４〜２１９
【非特許文献２】金次保明ら「指さしポインターにおけるカーソル位置の特定法」 ＩＥＩＣＥ ＩＴＳ研究会 ２００２．１
【非特許文献３】細谷英一ら「ミラーインタフェースを用いた遠隔地間の実世界インタラクション」 ＦＩＴ（情報科学技術フォーラム）２００３，ｐ．ｐ．５９１〜５９２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、類似物体誤認識を減らす手位置追跡方法、装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、手位置追跡方法は、
撮像手段で撮像された撮像画像を入力として手の探索範囲を限定するための画像内の限定領域を決定する限定領域決定段階と、
該撮像画像から該限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成段階と、
該限定領域画像を探索範囲とし、肌色領域の色を指定する肌色情報に適合する画像上の領域を追跡する肌色追跡段階と
を有する。
【０００８】
本態様は、手の位置を追跡する範囲を決定して、その限定範囲内の情報にのみ限ったカメラ画像（限定領域画像）を作成し、限定領域画像を用いて肌色情報により手の位置を追跡するものである。追跡する範囲を限定することにより、処理対象の情報が減り、誤認識の可能性が減るとともに、計算コストも減る。
【０００９】
本発明の第２の態様によれば、前記限定領域決定段階が、第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって画像各画素の距離情報を作成する距離情報作成段階と、該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて限定領域として出力する限定領域作成段階を含む。
【００１０】
本態様は、撮像手段を２つ用いてステレオ視の手法により距離情報を作成し、対象距離設定部から得られる対象距離情報に基づき限定領域を算出するものである。
【００１１】
本発明の第３の態様によれば、限定領域決定段階が、前記撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出する動き情報作成段階と、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を限定領域として出力する限定領域作成段階を含む。
【００１２】
本態様は、１つの撮像手段の画像を入力とし、時系列的に連続する画像の差分を用いて動き情報を作成し、動きのある範囲を限定領域とするものである。
【００１３】
本発明の第４の態様によれば、手位置追跡方法は、
第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって画像各画素の距離情報を作成し、該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて第１の限定領域として出力する第１の限定領域決定段階と、
第１の撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出し、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を第２の限定領域として出力する第２の限定領域決定段階と、
該撮像画像から前記第１と第２の限定領域の積集合である限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成段階と、
該限定領域画像を探索範囲とし、肌色領域の色を指定する肌色情報に適合する画像上の領域を追跡する肌色追跡段階と
を有する。
【００１４】
本態様は、動き情報と距離情報をあわせて用いて、動きがあり、一定の距離範囲にある領域を探索範囲として限定するものである。
【発明の効果】
【００１５】
本発明は、追跡する範囲を限定することにより、色ベース手法の欠点である類似色物体誤認識の削減、さらに計算コストの低減が可能になる。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の実施の形態について図面を参照して説明する。
【００１７】
［第１の実施形態］
図１を参照すると、本発明の第１の実施形態の手位置追跡装置は、撮像部１１と限定領域設定部１２Ａと限定領域画像作成部１３と肌色追跡部１４と表示部１５とで構成されている。
【００１８】
本実施形態は撮像部１１からの画像を入力とし、ユーザが追跡する範囲を決定して、その限定範囲内の情報にのみ限ったカメラ画像（限定領域画像）を作成し、限定領域画像を用いて肌色情報により手の位置を追跡するものである。本実施形態は、動きや距離情報で限定領域を自動的に決めるのではなく、手動（ファイル入力またはアプリケーションのユーザインタフェースより入力）によって領域を指定する方法を示しており、メニューアイコンなどがあるエリアなどだけを認識対象とする場合などに使える。
【００１９】
本実施形態は特に、ミラーインタフェースへの適用を考えたもので、画面上のメニューアイコン（タッチされてコマンドが入力されるオブジェクト）を触るための方法の１つである。メニューを認識対象とするのは、それ以外の場所で手が見つかってもアプリケーション側がコマンドをメニューからしか受け付けない場合には意味がないからである。また、メニューアイコンの場所以外にシステムを設置した場合に背景にドアがあってよく動き、人が通ることがわかっていて、その場所で手を認識する必要がない場合、ドアのある位置以外の場所を認識対象として指定することによってドアの開閉と背景の人をノイズとして無視することができるようになり、そのような場合にも本実施形態を使用することができる。
【００２０】
次に、各部の機能を図２のフローチャートも参照しながら説明する。
【００２１】
限定領域決定部１２Ａはユーザが画面上の特定領域を限定領域として予め指定するためのものである（ステップ１０１、１０２）。四角形の限定領域の場合、四角形の対角線の２点の座標を指定する、または１点の座標と四角形の幅と高さを指定することによって、限定領域を指定することができる。また、四角形以外の限定領域の場合、座標、大きさなどを指定することによって、限定領域を指定することができる。ユーザインタフェースとして本手位置追跡装置を用いることを想定した場合、ユーザが選択可能な画面上のコマンド指定領域（アイコンなど）を含む範囲を予め限定領域に設定することが可能である。限定領域決定部１２Ａの出力のうち限定範囲内の画素は“１”の値を持ち、それ以外の画素は“０”の値をもつ。図１では、３つの正方形の領域が限定領域となっている。
【００２２】
撮像部１１はカメラで、手を含む人体の画像を入力する（ステップ１０３）。
【００２３】
限定領域画像作成部１３は撮像部１１（カメラ）からのカメラ画像（基準画像）を入力し、限定領域決定部１２Ａで作成された限定領域を用いて、この限定領域内に限定された領域のみの情報を持った限定領域画像を作成する（ステップ１０４）。この限定領域画像では、限定領域内の画素に関しては、カメラ画像（基準画像）の同じ画素の位置のカラー画素値を保持し、限定領域外の画素に関しては、カメラ画像（基準画像）の同じ画素の位置のカラー画素値は“０”となる。図１では、３つの正方形の限定領域のうち、右の限定領域に手の一部の画像が入っている。
【００２４】
肌色追跡部１４は限定領域画像作成部１３で作成された限定領域画像において肌色により手の位置を追跡し（ステップ１０５）、表示部１５に表示する（ステップ１０６）。肌色追跡部１４はＣＡＭＳＨＩＦＴ等の既存の方法を用いて実現することができる。
【００２５】
なお、ユーザが限定領域を指定する代わりに、領域を指定する座標等（限定領域指定情報）が保存されたファイルから、限定領域指定情報を限定領域決定部１１Ａが読み出すことによって行なってもよい。
【００２６】
本実施形態は、ユーザインタフェースとして必要な領域にのみ追跡を限定することにより、計算コストを削減するとともに、誤認識を削減して、コマンドの選択を確実にする効果がある。
【００２７】
［第２の実施形態］
図３を参照すると、本発明の第２の実施形態の手位置追跡装置は撮像部１１1，１１2と限定領域決定部１２Ｂと限定領域画像作成部１３と肌色追跡部１４と表示部１５とから構成されている。また、図４に示すように、限定領域決定部１２Ｂは距離情報作成部２１と対象距離設定部２２と限定領域作成部２３とで構成されている。
【００２８】
限定領域画像作成部１３と肌色追跡部１４と表示部１５は第１の実施形態のものと同じである。
【００２９】
本実施形態は、撮像部を２つ用いてステレオ視の手法により距離情報を作成し、対象距離設定部２２から得られる対象距離情報に基づき限定領域を算出するものである。
【００３０】
撮像部１１1，１１2としては市販のカメラを用いることができる。例えばセンサーテクノロジー（株）ＳＴＣ−Ｒ６４０などである。市販のカメラ２つを用いて距離情報を作成する場合、ノンインタレースの同期制御の可能である市販のカメラを用いる。また、特別な複数のカメラがあらかじめ設置された市販の複眼カメラも用いることができる。例えば、Ｐｏｉｎｔ Ｇｒｅｙ Ｒｅｓｅｒｃｈ Ｉｎｃ． Ｄｉｇｉｃｌｏｐｓのようなあらかじめステレオ視用にキャリブレーションされたカメラである。
【００３１】
対象距離設定部２２は手を認識する対象距離範囲（カメラからの距離と範囲）を設定する。対象距離範囲は、ステレオ視で得られるカメラと物体との距離の情報のなかで、どこからどこまでを対象とするか、を指定する値で、カメラから距離１（手前）と距離２（奥）の２つの地点を間にはさむ範囲からなる（図６参照）。設定のインタフェースとしては、距離を２つの数値（例えば１ｍと３ｍの間など）で設定する方法がある。これに対して、「距離情報」はステレオ視のいわゆるｄｅｐｔｈ Ｍａｐ（カメラから見えている全体の画像の奥行き情報）である。各画素が持つ距離情報を輝度に変えてグレースケール画像で、近いところが明るく（白く）、遠いところが暗く（黒）で示されている。つまりグラデーションのある絵というのが距離画像である。
【００３２】
なお、対象距離設定部２２の構成は上記に限定されるものではない。例えば、カメラ前方の２地点でパタン（物体）を提示してそのパタン（物体）のカメラからの距離をステレオ視機能で測定して設定範囲の２点とする方法、任意に撮影された画像から距離画像を作成し試行錯誤により設定範囲を変更しながら距離画像を見て範囲を決定する方法、等がある。
【００３３】
また、対象距離を設定するもう一つの方法は、ステレオ視の機能を動的に用い、撮像部に最も近い画素の距離を基準にその距離から何ｍ〜何ｍという形で時系列に連続する各画像毎に動的に対象距離を変更することである。また、最近画素と最遠画素の距離範囲の中の一定範囲をパーセンテージ（割合）で設定することで、動的に距離範囲を設定する方法もある。
【００３４】
なお、対象となる距離Ｚは後述する距離情報作成部２１で用いられるカメラの焦点距離ｆ、カメラのベースライン距離Ｂを用いてｄ＝ｆ×Ｂ／Ｚなる変換式で視差値ｄに変換して（図７参照）記録することで限定領域作成部２３の処理量を削減することができる。
【００３５】
距離情報作成部２１では、２つ以上の画像から同一の点が撮影されている画像上の位置を画像の類似度から判定し、複数画像間での位置のずれ（視差）から三角測量の原理で基準画像上でのカメラからの距離を求めるステレオ視を行う（図５のステップ１０７）。
【００３６】
以下では、カメラ（撮像手段）が２つで平行に置いてある場合を例として説明する。時間的に同期された２つの一定距離離れて、水平方向に平行に置かれたカメラ１１1（右）とカメラ１１2（左）で撮像した２枚のカメラ画像の視差を、カメラから撮像対象までの距離情報とする。
【００３７】
視差の計算の方法としては、例えば以下のような方法がある。カメラ１１1を基準として、基準のカメラ１１1で撮像されたカメラ画像（基準画像）と、カメラ１１2で撮像されたカメラ画像とで、特定の大きさの画像小領域（ブロック）同士の類似度を計算することによって、対応する画素を求めるブロックマッチングを行うことで視差を計算する。視差をｄとした時、撮像手段と撮像物体間の距離ＺはＺ＝ｆ×Ｂ／ｄ、という関係になる（参考文献：辻 三郎、徐 剛 著「３次元ビジョン」共立出版 ９５−９７頁）。ｄ＝ｕ−ｕ’であり、Ｂはカメラ１１1とカメラ１１2との距離、ｆはカメラの焦点距離である。図７に説明図を示す。ここで、左画像、右画像とはそれぞれ左側のカメラ、右側のカメラに写っている画像である。
【００３８】
距離画像は、同時刻に撮像された右カメラ画像と左カメラ画像との視差を、画像全体の各画素の画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ１１1に近いことを表し、値が小さいほど人物の位置がカメラ１１1から遠いことを表している。
【００３９】
なお、距離情報作成部２１の構成は上記に限定されるものではない。例えば、Ｄｉｇｉｃｌｏｐｓのような市販のステレオカメラを用いた場合は、ステレオカメラとその付属プログラムから距離情報を作成することも可能である。
【００４０】
図６は限定領域作成部２３の動作を説明する図である。限定領域作成部２３は、距離情報作成部２１にて作成された距離画像と、対象距離設定部２２にて設定された対象距離の範囲を入力し、距離画像において、各画素の画素値として表された距離情報を用いて、対象距離設定部２２で設定された範囲にある距離（視差）の画素のみを抽出する（図５のステップ１０８）。
【００４１】
例えば、対象距離設定部２２で設定された範囲内にある画素には、手のある一定範囲の中にあるものとして“１”を与え、それ以外の画素には手のある一定範囲外にあるものとして“０”の値を与えるなどの方法により、一定距離範囲に限られた限定領域を作成する。
【００４２】
図８はカメラ画像１（右）とカメラ画像２（左）から対象距離に限定した限定領域が得られ、さらに限定領域内のみ画像情報をもつ限定領域画像が得られる様子を示している。
【００４３】
［第３の実施形態］
図９を参照すると、本発明の第３の実施形態の手位置追跡装置は、撮像部１１と限定領域決定部１２Ｃと限定領域画像作成部１３と肌色追跡部１４と表示部１５で構成されている。限定領域決定部１２Ｃは、図１０に示すように、動き情報作成部３１と限定領域作成部３２で構成されている。
【００４４】
本実施形態は、図１１に示すように。１つの撮像部（カメラ）の画像（Ａt）を入力とし、限定領域決定部１２Ｃにおいて、時系列的に連続する画像の差分を用いて動き情報を作成し（ステップ１０９）、動きのある範囲を限定領域とするものである（ステップ１１０）。
【００４５】
限定領域の算出後の限定領域画像作成部１３での限定領域画像の生成ならびに肌色追跡部１４の肌色追跡は第１の実施形態と同じである。
【００４６】
以下、限定領域決定部１２Ｃの動き情報作成部３１と限定領域作成部３２について図１２により詳細に説明する。
【００４７】
動き情報作成部３１は、時系列に連続する複数（ｋ＋１個）の撮像画像（Ａt-k，Ａt-k+1，…，Ａt）を入力とし、時系列上隣接（連続）する２つの撮像画像の差分絶対値（｜Ａt-k+1−Ａt-k｜，…，｜Ａt−Ａt-1｜）を計算し、画素毎の和からなる画像
【００４８】
【数１】
【００４９】
を求め、Ｓtの画素毎にその値が既定値を超える画素を１とし、そうでない画素を０とする、ビットマップＢtを作成する。
【００５０】
なお、動き情報作成部３１の構成は上記に限定されるものではない。例えば、動きのある画素を求める方法として、上記では、画像の差分絶対値の総和Ｓtによって動き領域を検出しているが、差分２乗和
【００５１】
【数２】
【００５２】
によって検出する方法もある。さらに、あらかじめ撮像しておいた背景画像とカメラ入力画像の差分である背景差分を作成することにより、動きを検出する方法もある。また、オプティカルフローを計算することにより、動きのある画素を求めることもできる。
【００５３】
限定領域作成部３２は、動き情報作成部３１にて作成された、Ｂt内で画素を隣接関係のある画素集合（連結集合）に分割し、各連結集合のうちその領域に属する画素数があらかじめ決められた閾値以下の大きさになる領域は誤差として、動きがない領域と同じ扱い（値を“０”とする等）とすることにより、限定領域を作成する。これは、「ラベリング」をして、１つの物体として区切られたものの面積を求めて、面積があまり小さいものを無視することを意味している。
【００５４】
図１３はカメラ画像Ａtとカメラ画像Ａt-1から、動きのある範囲に限定した限定領域が得られ、さらに動きのある限定領域内のみ画像情報をもつ限定領域画像が得られる様子を示している。
【００５５】
本実施形態によれば、動きを用いて限定領域を決定することによって、例えば、カメラからの距離範囲が手と同じ範囲に、肌色と色相の値の近い色の物体が存在した場合にも、その物体が静物であれば、または動きの大きさが少なければ無視することができ、その肌色物体を誤検出することを抑制することができる。
【００５６】
［第４の実施形態］
図１４を参照すると、本発明の第４の実施形態の手位置追跡装置は撮像部１１1，１１2と、それぞれ第２、第３の実施形態における限定領域決定部１２Ｂ，１２Ｃと、ＡＮＤ回路１６と、限定領域画像作成部１３と、肌色追跡部１４と、表示部１５で構成されている。
【００５７】
本実施形態では、第１の実施形態の内容に加え、第１の実施形態で示した限定領域決定部１３において、動き情報と距離情報をあわせて用いて、動きがあり、一定の距離範囲にある領域を探索範囲として限定するものである（ステップ１０２Ｂ、１０２Ｃ、１１１）。
【００５８】
すなわち、限定領域決定部１２Ｂ，１２Ｃそれぞれから出力される第２の実施形態および第３の実施形態で用いられる限定領域の論理積を限定領域として出力する。
【００５９】
図１６は、カメラ画像１（右）とカメラ画像２（左）から距離による限定領域が作成され、カメラ画像Ａtとカメラ画像Ａt-1から動きによる限定領域が作成され、両限定領域の積がとられて、限定領域画像作成部１３にて、動きがあり一定の距離範囲にある領域内のみ画像情報をもつ限定領域画像が得られることを示している。
【００６０】
なお、以上説明した手位置追跡装置の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施形態の手位置追跡装置の構成図である。
【図２】第１の実施形態の手位置追跡装置の処理の流れを示すフローチャートである。
【図３】本発明の第２の実施形態の手位置追跡装置の構成図である。
【図４】図３中の限定領域決定部の構成図である。
【図５】第２の実施形態の手位置追跡装置の処理の流れを示すフローチャートである。
【図６】第２の実施形態における限定領域作成の説明図である。
【図７】視差の計算方法の説明図である。
【図８】第２の実施形態における限定領域画像作成までの説明図である。
【図９】本発明の第３の実施形態の手位置追跡装置の構成図である。
【図１０】図９中の限定領域決定部の構成図である。
【図１１】第３の実施形態の手位置追跡装置の処理の流れを示すフローチャートである。
【図１２】第３の実施形態における限定領域作成の説明図である。
【図１３】第３の実施形態における限定領域画像作成までの説明図である。
【図１４】本発明の第４の実施形態の手位置追跡装置の構成図である。
【図１５】第４の実施形態の手位置追跡装置の処理の流れを示すフローチャートである。
【図１６】第４の実施形態における限定領域画像作成までの説明図である。
【符号の説明】
【００６２】
１１，１１1，１１2 撮像部
１２Ａ、１２Ｂ、１２Ｃ 限定領域決定部
１３ 限定領域画像作成部
１４ 肌色追跡部
１５ 表示部
１６ ＡＮＤ回路
２１ 距離情報作成部
２２ 対象距離設定部
２３ 限定領域作成部
３１ 動き情報作成部
３２ 限定領域作成部
１０１〜１１１ ステップ
【特許請求の範囲】
【請求項１】
撮像手段によって撮像対象を撮像した撮像動画像上の肌色領域を追跡することによって手位置を追跡する方法であって、
該撮像手段で撮像された撮像画像を入力として手の探索範囲を限定するための画像内の限定領域を決定する限定領域決定段階と、
該撮像画像から該限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成段階と、
該限定領域画像を探索範囲とし、肌色領域の色を指定する肌色情報に適合する画像上の領域を追跡する肌色追跡段階と
を有する手位置追跡方法。
【請求項２】
前記限定領域決定段階が、第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって該画像の各画素の距離情報を作成する距離情報作成段階と、該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて前記限定領域として出力する限定領域作成段階を含む、請求項１記載の手位置追跡方法。
【請求項３】
前記限定領域決定段階が、前記撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出する動き情報作成段階と、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を前記限定領域として出力する限定領域作成段階を含む、請求項１記載の手位置追跡方法。
【請求項４】
撮像手段によって撮像対象を撮像した撮像動画像上の肌色領域を追跡することによって手位置を追跡する方法であって、
第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって該画像の各画素の距離情報を作成し、該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて第１の限定領域として出力する第１の限定領域決定段階と、
第１の撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出し、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を第２の限定領域として出力する第２の限定領域決定段階と、
該撮像画像から前記第１と第２の限定領域の積集合である限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成段階と、
該限定領域画像を探索範囲とし、肌色領域の色を指定する肌色情報に適合する画像上の領域を追跡する肌色追跡段階と
を有する手位置追跡方法。
【請求項５】
撮像手段によって撮像対象を撮像した撮像動画像上の肌色領域を追跡することによって手位置を追跡する装置であって、
該撮像手段で撮像された撮像画像を入力として手の探索範囲を限定するための画像内の限定領域を決定する限定領域決定手段と、
該撮像画像から該限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成手段と、
探索対象となる肌色情報を保持する肌色情報設定手段と、
前記限定領域画像を探索範囲とし、肌色領域の色を指定する前記肌色情報に適合する画像上の領域を追跡する肌色追跡手段と
を有する手位置追跡装置。
【請求項６】
前記限定領域決定手段が、第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって該画像の各画素の距離情報を作成する距離情報作成手段と、探索範囲を指定するための対象距離情報を保持する対象距離設定手段と、前記距離情報から該対象距離情報に合致する画像上の領域を求めて前記限定領域として出力する限定領域作成手段を含む、請求項５記載の手位置追跡装置。
【請求項７】
前記限定領域決定手段が、前記撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出する動き情報作成手段と、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を限定領域として出力する限定領域作成手段を含む、請求項５記載の手位置追跡装置。
【請求項８】
撮像手段によって撮像対象を撮像した撮像動画像上の肌色領域を追跡することによって手位置を追跡する装置であって、
第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって画像各画素の距離情報を作成する対象距離作成手段と、
該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて第１の限定領域として出力する限定領域作成手段を含む第１の限定領域決定手段と、
第１の撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出し、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を第２の限定領域として出力する限定領域作成手段を含む第２の限定領域決定手段と、
該撮像画像から前記第１と第２の限定領域の積集合である限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成手段と、
探索対象となる肌色情報を保持する肌色情報設定手段と、
前記限定領域画像を探索範囲とし、肌色領域の色を指定する前記肌色情報に適合する画像上の領域を追跡する肌色追跡手段と
を有する手位置追跡装置。
【請求項９】
請求項１から４のいずれかに記載の手位置追跡方法をコンピュータに実行させるための手位置追跡プログラム。
【請求項１】
撮像手段によって撮像対象を撮像した撮像動画像上の肌色領域を追跡することによって手位置を追跡する方法であって、
該撮像手段で撮像された撮像画像を入力として手の探索範囲を限定するための画像内の限定領域を決定する限定領域決定段階と、
該撮像画像から該限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成段階と、
該限定領域画像を探索範囲とし、肌色領域の色を指定する肌色情報に適合する画像上の領域を追跡する肌色追跡段階と
を有する手位置追跡方法。
【請求項２】
前記限定領域決定段階が、第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって該画像の各画素の距離情報を作成する距離情報作成段階と、該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて前記限定領域として出力する限定領域作成段階を含む、請求項１記載の手位置追跡方法。
【請求項３】
前記限定領域決定段階が、前記撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出する動き情報作成段階と、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を前記限定領域として出力する限定領域作成段階を含む、請求項１記載の手位置追跡方法。
【請求項４】
撮像手段によって撮像対象を撮像した撮像動画像上の肌色領域を追跡することによって手位置を追跡する方法であって、
第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって該画像の各画素の距離情報を作成し、該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて第１の限定領域として出力する第１の限定領域決定段階と、
第１の撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出し、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を第２の限定領域として出力する第２の限定領域決定段階と、
該撮像画像から前記第１と第２の限定領域の積集合である限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成段階と、
該限定領域画像を探索範囲とし、肌色領域の色を指定する肌色情報に適合する画像上の領域を追跡する肌色追跡段階と
を有する手位置追跡方法。
【請求項５】
撮像手段によって撮像対象を撮像した撮像動画像上の肌色領域を追跡することによって手位置を追跡する装置であって、
該撮像手段で撮像された撮像画像を入力として手の探索範囲を限定するための画像内の限定領域を決定する限定領域決定手段と、
該撮像画像から該限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成手段と、
探索対象となる肌色情報を保持する肌色情報設定手段と、
前記限定領域画像を探索範囲とし、肌色領域の色を指定する前記肌色情報に適合する画像上の領域を追跡する肌色追跡手段と
を有する手位置追跡装置。
【請求項６】
前記限定領域決定手段が、第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって該画像の各画素の距離情報を作成する距離情報作成手段と、探索範囲を指定するための対象距離情報を保持する対象距離設定手段と、前記距離情報から該対象距離情報に合致する画像上の領域を求めて前記限定領域として出力する限定領域作成手段を含む、請求項５記載の手位置追跡装置。
【請求項７】
前記限定領域決定手段が、前記撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出する動き情報作成手段と、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を限定領域として出力する限定領域作成手段を含む、請求項５記載の手位置追跡装置。
【請求項８】
撮像手段によって撮像対象を撮像した撮像動画像上の肌色領域を追跡することによって手位置を追跡する装置であって、
第１および第２の撮像手段から得られる複数の画像からステレオ視技術によって画像各画素の距離情報を作成する対象距離作成手段と、
該距離情報から探索範囲を指定するための対象距離情報に合致する画像上の領域を求めて第１の限定領域として出力する限定領域作成手段を含む第１の限定領域決定手段と、
第１の撮像手段から得られる時系列上で連続する複数の画像列に対し、隣接する２画像毎の各画素値の差分絶対値の総和が一定値以上である画像上の点を抽出し、該抽出点の画像上の隣接関係によって定義される連結領域の面積が一定値以上である連結領域集合を第２の限定領域として出力する限定領域作成手段を含む第２の限定領域決定手段と、
該撮像画像から前記第１と第２の限定領域の積集合である限定領域外の情報を削除した画像情報である限定領域画像を作成する限定領域画像作成手段と、
探索対象となる肌色情報を保持する肌色情報設定手段と、
前記限定領域画像を探索範囲とし、肌色領域の色を指定する前記肌色情報に適合する画像上の領域を追跡する肌色追跡手段と
を有する手位置追跡装置。
【請求項９】
請求項１から４のいずれかに記載の手位置追跡方法をコンピュータに実行させるための手位置追跡プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−２４４２７２（Ｐ２００６−２４４２７２Ａ）
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願番号】特願２００５−６０９５２（Ｐ２００５−６０９５２）
【出願日】平成１７年３月４日（２００５．３．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願日】平成１７年３月４日（２００５．３．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]