オブジェクト追跡方法及びオブジェクト追跡装置
【課題】オブジェクト追跡方法及び装置を提供する。
【解決手段】かかる方法は、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する連通域取得ステップと、初期深度画像におけるオブジェクトの既知の現位置からオブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定ステップと、前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストの各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡ステップと、前記追跡ステップで識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決めステップとを有する。
【解決手段】かかる方法は、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する連通域取得ステップと、初期深度画像におけるオブジェクトの既知の現位置からオブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定ステップと、前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストの各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡ステップと、前記追跡ステップで識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決めステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト追跡方法及びオブジェクト追跡装置に関する。
【背景技術】
【０００２】
オブジェクト追跡は、画像分析と機械視覚の分野における最も重要な技術の一つであり、該オブジェクト追跡においては、主に、連続した映像フレームにおけるオブジェクトの関連付けが難しく、特に、オブジェクト対象の移動がフレームレートよりも早くなる場合のオブジェクトの追跡が困難という問題があり、また、運動期間中に追跡されたオブジェクトの向きが変わったことにより一定程度の歪みが生じた場合は、該問題の複雑度がより増してしまうという難点がある。
【０００３】
非特許文献１である「Mathias Kolsch, Doctoral Dissertation, “Vision Based Hand Gesture Interfaces for Wearable Computing and Virtual Environments”, UNIVERSITY OF CALIFORNIA, Santa Barbara, 2004」には、２Ｄ（２次元）画像におけるフロック特徴（Flocks of Features）による手追跡方法が提案されている。該方法においては、オプティカル・フロー・ベクトル算出をもとにした、ＫＬＴ追跡器による複数の特徴点の追跡を行うとともに、ルーズで全体的な制限によるオプティカル・フロー・ベクトルの群分けを行い、オブジェクト位置を予測している。該方法においては、肌色が特徴の群分けで重要な役割を果たし、肌色確率密度関数を特徴点の補充に用いている。このため、手が動き中に肌色近似領域（例えば、顔）を掠めて通ると、追跡結果が目標物から逸れてしまう問題がある。
【０００４】
実際に、従来の２Ｄ追跡技術においては、特徴の安定性に劣るという問題と、特徴間の不一致が生じやすいという問題がうまく解決できていない。２Ｄオブジェクト追跡技術に比べて、３Ｄ（３次元）カメラは、３Ｄ世界の各対象にさらに深度情報を与えることができ、該深度情報により、座標系のＺ軸上の、近似色や形状を有する異なる対象の区別が可能になる。
【０００５】
図１Ａ〜１Ｄは、３Ｄカメラの画像処理工程を示した図であり、ここでは、Prime Sense 3Dカメラを例に説明を行う。
【０００６】
図１Ａは、シーンを示し、図１Ｂに示されたPrime Sense 3Dカメラにより、図１Ａのシーンが採集され、図１Ｃに示された深度画像が得られる。深度画像の各画素点には、該画素点に対応する実際の対象の深度座標データ（深度値）が含まれ、例えば、図１Ｄに示された画素マトリクスにおいて、該マトリクス中の各要素が深度画像中の１画素点に対応し、該画素の値が、ワールド座標における該画素点に対応する対象表面からカメラまでの距離を表し、距離単位は、例えば、ｍｍでもよい。
【０００７】
Prime Sense 3Dカメラの深度値の測定技術の原理としては、先ず、図１Ｂに示されたカメラで赤外光源から、１グループの非可視赤外線からなるパターン点を図１Ａに示されたシーンの対象表面に投射するとともに、ＣＭＯＳセンサーにより投射後のパターン画像を取得してから、プロセッサにより、パターン光中の点のずれから、三角測定技術による対象表面上の各点の深度値の算出を行う。深度画像は、色情報がないが、例えば、図１Ｃに示された白黒階調化のように、各種方法で可視化することができる。深度データストリームと画像ストリームを混合することにより、カラーの３Ｄ画像を生成することができ、３Ｄカメラで同期的にＲＧＢ画像ストリームとそれぞれに応じた深度値ストリームを出力することができる。
【０００８】
特許文献1であるUS 20100194741 A1には、深度画像におけるオプティカル・フローによるオブジェクト追跡方法が提案されている。該方法においては、孤立領域における各画素点に、それぞれの深度値に応じた白黒階調値付けが行われ、これにより、白黒階調化の方法で、「縞模様（zebra）」パターンを生成し、その後、オプティカル・フロー算法により、各領域中の各画素点の新規位置を決定している。該方法では、速度予測により追跡を安定化させているが、このような単一点の追跡結果のみに依存するボトムアップの処理方法には、エラー伝播の阻止といったポリシーに欠けていることから、該方法によると、特に、長時間の複雑運動追跡の場合は、安定的な追跡結果が得られない。
【０００９】
なお、前記従来技術では、オブジェクト追跡期間中のオブジェクトの結像面内の縮拡尺の判定方法が考慮されていない。イメージ尺度の判定を考慮した従来技術が存在したとしても、用いられている対象尺度予測手段は、通常、確率ブロックマッチングであり、例えば、通常、粒子フィルタ追跡においては現状態へのランダム変化（オブジェクトの尺度を含む）が生じ、変化後のブロックと変化前のブロックの関連係数により、変換後のブロックの重み算出を行い、算出後の平均状態から、その尺度が決められるが、このような尺度処理法は、信頼性が低く、最終追跡結果の正確性に影響を及ぼしてしまう。
【００１０】
特に、マン・マシン・インタラクションシステムの場合、その背景は、通常、任意かつ複雑なものであり、対象の動きも比較的に複雑であるため、運動方向と速度の変化のみならず、運動対象自身の形状調整も存在している。特に、長時間の連続追跡において、如何にこのような環境で、確実かつ安定な追跡結果を得られるかは、極めて重要でかつチャレンジ的なことになっている。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、従来技術における前述の問題を解決するためになされたものである。本発明によると、深度画像列からオブジェクト追跡を行い、オブジェクトの位置を取得することができ、さらに、オブジェクトの結像面内の縮拡尺を得ることができる。
【解題を解決するための手段】
【００１２】
前記問題を解決するために、本発明の実施例においては、深度画像に3DCCA（Three-Dimension Connected Component Analysis，３次元連通域解析）技術を適用し、全連通域のリストを取得するとともに、リストから追跡オブジェクトに関連するオブジェクト連通域を最終決定する。3DCCAにおいては、画素の連通性に応じて、近接の画素点への同一のマーク付けを行うことにより、画像を複数の異なる連通域に群分けすることができ、同一連通域内の任意の２画素点間には、少なくとも1本のＤ−連通路が存在することになる。深度画像への３ＤＣＣＡにより、複雑な背景環境から異なる深度値を有する対象を識別することができ、オブジェクトのマスク画像を得ることができる。
【００１３】
３ＤＣＣＡ技術を用いると、複雑な背景からの対象の分離が効率よく行えるとともに、オブジェクトの移動履歴情報によるオブジェクトの大略位置の予測が可能になる。オブジェクト所在連通域の予測結果により、さらにオブジェクト所在連通域にオプティカル・フロー方法を用いた特徴点の追跡により、オプティカル・フロー・ベクトルを取得するとともに、複数の特徴点のオプティカル・フロー・ベクトルから、最終オブジェクト位置を抽出することができる。
【００１４】
さらに、３ＤＣＣＡと深度情報により、オブジェクトの結像面上の縮拡尺の判定、即ち、イメージ尺度の判定が可能になる。初期状態時のオブジェクトの尺度、初期状態時の深度情報、及び現深度情報により、近似三角形理論から、現オブジェクトのイメージ尺度を予測することができる。
【００１５】
本発明の一態様によると、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する連通域取得ステップと、初期深度画像におけるオブジェクトの既知の現位置から、オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定ステップと、前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡ステップと、前記追跡ステップで識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決めステップと、を有する、オブジェクト追跡方法が提供される。
【００１６】
本発明の他の態様においては、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する連通域取得装置と、初期深度画像におけるオブジェクトの既知の現位置から、オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定装置と、前記初期深度画像後に入力される後続の深度画像の、3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡装置と、前記追跡装置で識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決め装置と、を有する、オブジェクト追跡装置が提供される。
【００１７】
本発明の実施例においては、３ＤＣＣＡ（３次元連通域解析）技術により、被追跡対象所在の連通域を分割し、各特徴点のオプティカル・フロー追跡結果を、評価する参考基準とする。本発明の実施例は、各種マン・マシンインタラクション応用システムに適用することができ、例えば、マン・マシン・インタラクションゲーム、仮想現実の遠隔制御等の技術方向に適用することができる。
【００１８】
本発明の実施例によると、デプスカメラによるマン・マシンインタラクション応用におけるオブジェクト追跡課題を解決することができ、本発明の実施例の実行は、追跡されるオブジェクトへの特別な要求がなく、特殊なマークや手袋が不要で、外形が明らかなオブジェクトのみならず、非固定オブジェクトにも適用することができ、リアルタイム処理が可能になるとともに、安定かつ確かな追跡結果が得られる。
【図面の簡単な説明】
【００１９】
【図１】図１Ａは、３Ｄカメラの画像処理工程におけるシーンを示す図である。図１Ｂは、図１Ａのシーンを採集する３Ｄカメラを示す図である。図１Ｃは、図１Ａのシーンの深度画像を示すである。図１Ｄは、図１Ｃにおける深度画像の画素マトリクスである。
【図２】本発明の実施例におけるオブジェクト追跡処理の全体フローチャートである。
【図３Ａ】深度画像を示す図である。
【図３Ｂ】図３Ａに示された深度画像への３ＤＣＣＡ実行結果である。
【図４】画像からのオブジェクト決定結果を示す図である。
【図５】追跡段階のオブジェクトの結像面上の縮拡尺算出の基本原理図である。
【図６Ａ】頭部オブジェクト追跡時の頭部オブジェクトイメージ尺度変化図である。
【図６Ｂ】頭部オブジェクト追跡時の他の頭部オブジェクトイメージ尺度変化図である。
【図７】本発明の実施例におけるオブジェクト正確位置決めステップのフローチャートである。
【図８Ａ】追跡ターゲットが手の場合の追跡結果を示した図である。
【図８Ｂ】追跡ターゲットが手の場合の他の追跡結果を示した図である。
【図９】本発明の実施例におけるオブジェクト追跡装置のブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施例を説明する。
【００２１】
図２は、本発明の実施例におけるオブジェクト追跡方法の全体フローチャートである。図２に示されたように、該オブジェクト追跡方法は、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する連通域取得ステップＳ１００と、初期深度画像におけるオブジェクトの既知の現位置から、オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定ステップＳ２００と、前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡ステップＳ３００と、前記追跡ステップで識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決めステップＳ４００と、を有する。
【００２２】
本発明の実施例で処理される深度画像は、各種公知の入力技術により入力され、例えば、各種深度画像採集装置や保存装置から読み込まれるか、ネットワークにより得られ、処理後に得られる結果は、各種公知の出力技術により出力され、例えば、直接制御情報に変換されるか、各種保存装置に保存され、ネットワーク経由で出力されるか、プリンタにより出力される。
【００２３】
前述の連通域取得ステップＳ１００と初期オブジェクト決定ステップＳ２００は、大略初期化段階と見なすことができ、初期化段階においては、深度画像列における最初の１深度画像を選択して処理を施しているが、任意の深度画像を選択して初期化段階操作を行う場合も、該初期化段階の操作対象となる深度画像を、初期深度画像と称することができる。
【００２４】
前述の追跡ステップＳ３００とオブジェクト位置決めステップＳ４００は、大略追跡段階と見なすことができ、前記初期深度画像後の後続の深度画像となる各深度画像に対し、順次或いは一定間隔で、繰り返し処理を施し、毎回処理される深度画像は、すべて現深度画像と見なすことができ、利用された前回の処理結果が、前回の結果と称され、前回の処理は、後続の深度画像を対象とすることもあり、初期深度画像を対象とすることもある（現在第１の後続の深度画像を処理する場合）。
【００２５】
連通域取得ステップＳ１００は、３ＤＣＣＡ手段により、該深度画像中に含まれるＣＣ（連通域）のリストを取得する。初期化段階、追跡段階に関わらず、先ず図中の全連通域情報を含むリストを取得するための深度画像への３ＤＣＣＡ操作が必要となる。３ＤＣＣＡ（即ち、３次元連通域解析）においては、入力される深度画像に対し、画像座標系のＸ軸、Ｙ軸方向に近接点を検知するとともに、Ｚ軸上の間隔が一定範囲内の近接点画素に同一の数字番号付けを行い、同一番号の画素が１つの連通域を構成することから、３ＤＣＣＡの出力は、連通した形状コンポーネントの集合となる。深度画像の３ＤＣＣＡ操作により、３Ｄカメラから得られる画素レベルの深度情報が少ない数の対象集合に統合され、これらの対象集合を用いることにより、Ｚ軸上の異なる深度の対象の決定や、他のシーンコンテンツの解析が可能になる。
【００２６】
本発明の実施例には、下記のような具体的な3ＤＣＣＡ実施法を用いることができ、該方法は、一般的に用いられる２ＤＣＣＡをベースに、３Ｄ画像データを適用するための変更を加えて得られたものである。
【００２７】
先ず、３ＤＣＣ（３次元連通域）は、以下のように定義される。
【００２８】
２つの３Ｄ点のＸＹ面における投影が近接し、かつその深度変化が一定の閾値D_TH未満であると、該2つの点は、Ｄ−連通されているとし、
２つの３Ｄ点のＰとＱにおいて、１グループの３Ｄ点リスト(P, p1, p2, . . . pN, Q)が存在し、該リストにおける任意の２つの隣接点がＤ−連通されていると、該２つの点間にＤ−連通路が存在するとし、
１つの３Ｄ点のＤ−連通集合において、該集合における各点ｐにつき、ＸＹ面上に該集合の連通条件を満たす状態で該連通集合に加えられるｐの近接点が存在しないと、該Ｄ−連通集合は、最大Ｄ−連通集合とし、即ち、Ｄ−連通域とする。
【００２９】
Ｄ−連通域を探す方法、即ち、最大限ＣＣを探す３ＤＣＣＡ方法は、以下の通りである。
【００３０】
１．各点(x,y)に、所属する連通域（ＣＣ）の番号を付し、LABEL(x,y)と記する。
【００３１】
２．深度差の閾値D_THを定義する。
【００３２】
３．１行列データ構造（先入れ先出し）を定義し、QUEUEと記する。
【００３３】
４．全ての点LABEL(x,y)を、−１に初期化する。
【００３４】
５．現連通域の番号cur_labelを１に設定する。
【００３５】
６．次のLABELが-1となるCCの起点p-startを検索し始め、このような点が存在しないと、繰り返しを停止する。
【００３６】
７．LABEL(p_start)をcur_labelに設定する。
【００３７】
８．全ての点p_startを行列QUEUEに入れる。
【００３８】
９．QUEUEが空でないと、下記ステップを繰り返す。
【００３９】
ａ．行列からヘッドノードp_head(x,y)を除去する。
【００４０】
ｂ．p_headのm個近接点に対し、順次、
i.LABEL(k)>0（kは、m個近接点の索引値）場合は、次の近接点に進み、
ii.ｋの近接点の深度とp_headの深度差がD_THであると、第ｋ個近接点を行列に入れるとともに、LABEL(k)をcur_labelとする。
【００４１】
１０．cur_labelを1ずつ増やし、ステップ６から繰り返し実行する。
【００４２】
前述の方法において、点(x,y)の近接点は、座標が以下のような点に定義される：(x-1,y-1)、(x-1,y)、(x-1,y+1)、(x,y-1)、(x,y+1)、(x+1,y-1)、(x+1,y)、(x+1,y+1)。近接点の座標位置が画像範囲を超えている（マイナス値か、画像の解像度を超えている）と、処理は行わない。
【００４３】
図３Ａ、３Ｂは、深度画像への３ＤＣＣＡ実行結果であり、図３Ａが深度画像を示し、図中の各画素点のそれぞれの濃淡階調値が、それぞれの深度の遠近情報を表している。図３Ｂは、図３Ａに示された深度画像への３ＤＣＣＡ実行結果であり、得られたそれぞれの連通域は、それぞれの階調（色）で区分されている。これにより、手が伸ばされると、図３Ｂの矩形フレームＱ１で示されたように、３ＤＣＣＡにより、身体と環境から手を確実に分割することが可能になる。
【００４４】
３ＤＣＣＡは、算法の最適化により、その実行効率の改善が可能であり、さらに、実際の需要に応じて、３ＤＣＣＡを局所領域に適用し、より高い効率を得ることができる。
【００４５】
初期オブジェクト決定ステップＳ２００においては、初期化段階であるため、外部入力により、オブジェクト位置を指定し、簡単に四角い枠でオブジェクトを囲むか、リアルタイムな検知演算子により、オブジェクトを検知識別することができる。該段階において、オブジェクトの位置が予め分かるため、オブジェクトに関連付けられたＣＣリストから簡単にオブジェクトの所在するＣＣを確定することができる。
【００４６】
なお、例えば、最近接最大連通域原則等の啓発式規則により、オブジェクトの所在するＣＣを自動確定してもよい。
【００４７】
図４は、画像からのオブジェクト決定結果を示す図である。図４において、矩形フレームＱ２の白領域が、オブジェクトが手の場合のオブジェクトに関連付けられた連通域を表す。初期段階であるため、図４における手オブジェクトを分割する目的であれば、図４に矩形フレームＱ２を引き、矩形フレームＱ２の領域内で局所３ＤＣＣＡ操作を行えばよい。図４における矩形フレームＱ２においては、３ＤＣＣＡ後に手ＣＣと背景ＣＣの２つのＣＣ領域を有することになり、最近接でかつ大面積の手ＣＣが追跡すべきオブジェクトの所在するＣＣとなる。
【００４８】
オブジェクト所在のＣＣ決定後は、オブジェクトのマスク画像を得ることができる。マスク画像に対応する階調画像（このときの階調画像は、深度画像の可視化後に得られる画像を指し、該階調画像によりオプティカル・フローの追跡が可能になる）や、マスク画像に対応する深度画像と同期するＲＧＢカラー画像から、以後のオプティカル追跡のためのｎ個特徴点を選択する。即ち、前記対応する画像部分が位置する深度画像或いは深度画像と同期する色画像から、前記ｎ個特徴点を抽出する。
【００４９】
この時の特徴点は、階調画像（ＲＧＢカラー画像もカラー除去操作により階調画像に変換することができる）に比較的に大きな応答値を持つコーナーを指し、例えば、harrisコーナーを指している。ｎ個特徴点の相互間隔は、一定の閾値（第１の閾値とする）以上であり、任意の２つの特徴点の空間上の間隔が近すぎないように、相互間の間隔の最小距離を制限することで、各自の追跡結果の有効性を確保することができる。換言すると、前記ｎ個特徴点の相互間隔が第１の閾値以上であり、かつ前記ｎ個特徴点のそれぞれが、特定の追跡演算子において隣接画素点と区別されるコーナーとなる。
【００５０】
オープン・ソース・アイテムOpenCV中の関数GoodFeaturesToTrackを用いて、要求を満たす特徴点を選出することができる。
【００５１】
次に、オブジェクト工程は、追跡段階に進む。
【００５２】
追跡段階において、初期深度画像後に入力される各深度画像（後続深度画像）に対し、先ず、３ＤＣＣＡ操作を行い、各深度画像のＣＣリストを取得してから、オブジェクトＣＣを決定する。具体的に、前記追跡ステップＳ３００において、後続の深度画像の連通域リストの各候補連通域から、オブジェクトの前回決められた位置に、動き予測後の状態変化を加算した結果と類似度が最も高くなる候補連通域を検索し、前記オブジェクトの現在所在するオブジェクト連通域とする。
後続深度画像の配列における現在処理される深度画像に対し、初期深度画像に用いられる手段と同様の手段により３ＤＣＣＡ操作を施し、該現在深度画像のＣＣリストを取得する。しかし、オブジェクトＣＣの決定工程においては、初期化段階と異なり、この時はオブジェクトＣＣの位置が未知であり、ＣＣリストにおける全連通域がオブジェクト候補連通域となる。追跡ステップＳ３００におけるオブジェクト所在のＣＣの確定は、ＣＣリストからの１ＣＣの検索により行われ、該ＣＣは、被追跡オブジェクトの前回の所在位置に動き予測後の状態変化を加算した結果と最も類似した特徴を有するべきであり、即ち、類似度が最も高くなるべきである。
【００５３】
前記類似度は、候補連通域の位置の、オブジェクトの前回の確定位置にx軸、y軸、z軸方向の予測動き変位を加算した後に得られる予測位置との位置差（運動速度ベクトル差と同等である）と、候補連通域の前回の確定オブジェクト連通域との面積差により、決められる。
【００５４】
ここで、オブジェクトCCの検索は、オブジェクトCCの識別や、オブジェクトCCの粗位置決め予測と見なすことができる。深度画像への3DCCAにより、画素レベルの深度情報がオブジェクトCCのリストに集約され、オブジェクトの画素レベルでの単独の識別よりも処理が容易となる。簡単な手段により、オブジェクト所在のＣＣを検索することができ、例えば、以下の距離算出式（１）により、前回のオブジェクトCCまでの位置と最も近似するCCを検索することができる。
【数１】
【００５５】
式中、||.||は、ユークリッドノルム演算子であり、nは、深度画像列における各フレーム深度画像の索引値であり、現在第nフレーム深度画像を処理するとした場合、iは、現在の第nフレーム深度画像から得られた候補連通域の索引値であり、V(n-1)は、前回の第(n-1)フレーム深度画像のオブジェクト追跡結果のx軸、y軸、z軸方向における速度ベクトルであり、Vi(n)は、現在第nフレーム深度画像の場合、第iの候補連通域がオブジェクト連通域時のx軸、y軸、z軸方向における運動速度ベクトルであり、A(n-1)は、前回の第(n-1)フレーム深度画像におけるオブジェクト連通域の面積であり、Ai(n)は、現在の第nフレームの第iの候補連通域の面積であり、aは、重みであり、ユーザの体験やテスト統計解析結果から決められ、Diは、現在の第iの候補CCと前回のオブジェクトCC間の類似度の度量距離である。
【００５６】
Diの値が小さくなるほど、該候補連通域と、前回のオブジェクト連通域との類似度が高くなると判断することができ、最小のDi値が得られた第iの候補連通域が現在のオブジェクト連通域となる。
【００５７】
オブジェクト連通域の検索工程において、考慮されるオブジェクト状態には、x軸、y軸、z軸方向の運動速度ベクトルとオブジェクトに関連付けられたCC面積のみならず、他のCCに対応付けられた階調や、カラー画像の色ヒストグラムのような特徴量が含まれてもよい。
【００５８】
なお、他の手段により、オブジェクトＣＣの決定を行ってもよく、例えば、マシン学習方法により実現してもよい。具体的には、分類器の訓練により、オブジェクトＣＣの識別を行ってもよい。分類器の訓練工程においては、速度ベクトルと連通域面積や、他の特徴量を分類器訓練時の入力としてもよい。
【００５９】
追跡ステップＳ３００後は、オブジェクトＣＣが、対象レベルのリストから、オブジェクト位置の大略予測が得られ、前記追跡ステップで識別されたオブジェクトの初期深度画像におけるオブジェクトのイメージ尺度を決定するイメージ尺度決定ステップをさらに有してもよい。現在の追跡オブジェクトイメージ尺度の計算により、オブジェクトの現在の状態へのより正確な記述が行いやすくなる。特に、追跡オブジェクトが背景と同等深度の位置に動いた場合、オブジェクトは、大範囲ＣＣにおける局所部分となり、周囲とはっきり区別されるような周囲との完全な孤立ができない場合、大きなＣＣからのオブジェクト所在の部分ＣＣの境界定めのためのオブジェクトイメージ尺度の算出がより必要となる。
【００６０】
追跡段階におけるオブジェクトの結像面上の尺度変化を算出するためには、オブジェクトＣＣの平均深度値の算出が必要となるとともに、その初期状態における平均深度及び初期状態におけるオブジェクトのイメージ尺度の記録が必要となる。
【００６１】
図５は、追跡段階のオブジェクト結像面上の縮拡尺算出の基本原理図である。
図５に示されたように、オブジェクトObjをカメラCameraの左側に載置し、最初フレームの深度画像中の平均深度がd0で、後続のあるフレームにおける第nフレーム（nは、１ではない自然数）の深度画像中の平均深度がdnである。カメラCameraの右側が結像面Planであり、オブジェクトObjのカメラCameraまでの距離がd0（平均深度d0）時、結像面上のイメージ尺度がS0となり、オブジェクトObjのカメラCameraまでの距離がdn（平均深度dn）時、結像面上のイメージ尺度がSnとなる。オブジェクトObjの実際の尺度はHであり、オブジェクトObjのカメラCameraまでの距離がd0時に、オブジェクトObjのdnにおける投影尺度はLとなる(カメラ位置を点光源とした投影)。これにより、近似三角形原理により、S0/Sn=L/Hとなり、L/H=dn/d0であることから、S0/Sn=dn/d0から、オブジェクトの所在位置の結像面上のイメージ縮拡尺を算出する式（2）を導出することができる。
【数２】
【００６２】
前記イメージ尺度決定ステップにおいては、式（2）のSn=d0/dn*S0により、イメージ尺度を算出し、式中、dnは、前記追跡ステップで識別された前記オブジェクト所在のオブジェクト連通域の平均深度であり、d0は、初期深度画像中の決定オブジェクト所在のオブジェクト連通域の平均深度であり、S0は、初期深度画像中のオブジェクトのイメージ尺度であり、Snは、前記オブジェクトの該後続深度画像におけるイメージ尺度である。
【００６３】
式（2）により、図５に示された場合を算出し、図５におけるdnがd0の２倍であると、dn位置上のオブジェクトのイメージ尺度Snは、d0位置時のイメージ尺度S0の半分となる。該式（2）の算出結果が人間の直感感受と一致することは言うまでもない。
【００６４】
図６Ａ、６Ｂは、頭部オブジェクト追跡時の頭部オブジェクトイメージ尺度変化図であり、図６Ａ、図６Ｂは、それぞれ異なるフレームを表し、図６Ａにおける矩形フレームＱ３が、追跡ターゲットを表し、図６Ｂにおける矩形フレームＱ４も、追跡ターゲットを表しているが、図６Ａに示された追跡ターゲットは、図６Ｂにおいてはイメージ尺度の変化がある。
【００６５】
オブジェクト連通域の予測により、オブジェクトの大略位置と、結像面内のイメージ縮拡尺の予測のみならず、オブジェクトの大略の形状記述も可能になり、非固定対象の追跡が容易になる。
【００６６】
次に、オブジェクト位置決めステップＳ４００において、例えばオプティカル・フロー方法により、より正確なオブジェクト位置決め点の予測を得ることができる（画像座標において、オブジェクトの尺度を省略して１位置決め点に抽象化し、該点の位置がオブジェクトの画像における位置を表すことになる）。本発明の実施例においては、オブジェクトレベル上の情報が、オブジェクト位置の正確予測に用いられ、このような情報には、オブジェクト連通域の形状のみならず、オブジェクト連通域内の複数点のオプティカル・フロー追跡と中間値特徴の抽出で共通に表されるオブジェクトレベルの情報が含まれている。
【００６７】
図７は、本発明の実施例におけるオブジェクト正確位置決めステップのフローチャートである。
【００６８】
図７に示されたように、前記オブジェクト位置決めステップＳ４００において、前記後続の深度画像から、ＫＬＴ追跡器による前記ｎ個特徴点の追跡を行う特徴点追跡ステップＳ４２０と、オブジェクト連通域のマスク画像情報から、追跡された各特徴点の階級量子化を行い、追跡された各特徴点の重み付けを行う階級量子化ステップＳ４４０と、追跡特徴点の群分けを行うとともに、群の中心点を算出し、前記オブジェクトの現位置を更新する群分けステップＳ４６０と、を有する。
【００６９】
特徴点追跡ステップＳ４２０において、ＫＬＴ追跡器による各特徴点の追跡を行い、各特徴点の現在処理した後続深度画像上の新規位置点を取得する。例えば、OpenCVの関数cvCalcOpticalFlowPyrLKにより、特徴点のオプティカル・フロー・ベクトルを算出し、特徴点の該後続の深度画像上の対応する新規位置を取得する。
【００７０】
前記特徴点追跡ステップＳ４２０後で、前記階級量子化ステップＳ４４０前に、追跡特徴点における、特徴点の追跡中の誤差が第２の所定閾値を超えた特徴点の除去を行う第１の除去ステップをさらに有する。例えば、OpenCVの関数cvCalcOpticalFlowPyrLKにより、特徴点のオプティカル・フロー・ベクトルを算出する場合、最大の誤差パラメータ（第２の閾値）の値を１１５０に設定することができ、誤差パラメータが該値を超える追跡結果は除去することにより、最初に、特徴点オプティカル・フロー追跡中の誤差の高い、または関連性の低い追跡特徴点を除去することができる。１１５０は、第２閾値の１例にすぎず、第２閾値は、例えば、１１００、１２００等の他の値でもよいことは言うまでもない。
【００７１】
階級量子化ステップＳ４４０において、オブジェクト連通域のマスク画像情報により、各追跡特徴点の階級量子化を行い、前記第１の除去ステップを行った場合は、第１の除去後の残りの各追跡特徴点の重み算出を行う。用いられる簡単な処理方法としては、追跡特徴点の新規位置がオブジェクト連通域の予測領域内にあると、重み付けを１とし、それ以外は、０とする。
【００７２】
前記階級量子化ステップＳ４４０後で、前記群分けステップＳ４６０前に、追跡特徴点における追跡特徴点の重心との間隔が最も大きくなる所定比例数の特徴点の除去を行う第２の除去ステップをさらに有する。
【００７３】
群分けステップＳ４６０において、存在する追跡特徴点（前記第２の除去ステップを行った場合は、前記第２の除去操作後の残りの追跡特徴点）により、各特徴点までも総距離は最も短くなるその群の中心点を算出し、該群の中心点を、比較的正確にオブジェクト追跡のオブジェクト位置決め点とすることができる。用いられる群分け実施方式としては、例えば、P1,P2,P3,…,Pmのように、残りのm（mは、自然数）の追跡特徴点の番号付けを行い、第iの点（iは、索引値であり、1……mである）を群の中心点とし、該第iの特徴点から他の各特徴点までの距離の総長
【数３】
を算出し、最後に、i=1……mにおいて、Dtiが最小値となる時の特徴点位置を探し、最終群分けの中心点とする。このときの最終群分けの中心点位置を前記オブジェクトの現位置とする。
【００７４】
各追跡サイクルにおいて、前記操作後に追跡特徴点の数が減少する場合があることから、新規特徴点を特徴点集合に補充することで、次のフレームの深度画像の追跡に必要な数の特徴点を満足することができる。
【００７５】
換言すると、前記群分けステップＳ４６０後に、オブジェクトの特徴点総数がｎとなるように、また、前記オブジェクト内に位置し、かつ補充後のｎ個特徴点の相互間隔が、第１の所定閾値以上になるように、新規特徴点を補充する補充ステップをさらに有してもよい。
【００７６】
前述の具体的なオプティカル・フロー追跡方法には、予測したオブジェクト連通域の形状情報が十分用いられており、下層から得られた画素点のオプティカル・フロー情報が用いられるとともに、上層の対象レベルの情報が組み合わせられ、追跡結果の正確性、特に非固定オブジェクトの追跡結果の信頼性を確保することができる。
【００７７】
図８Ａ、８Ｂは、追跡ターゲットが手の場合の追跡結果を示した図である。図８Ａにおいて、矩形フレームQ5 は、追跡ターゲットの手を表し、e1を例とした複数の微小点で追跡特徴点を表し、比較的に大きな点T1でターゲット位置決め点の予測結果を表している。図８Ｂにおいて、矩形フレームQ6 は、追跡ターゲットの手を表し、e2を例とした複数の微小点で追跡特徴点を表し、比較的に大きな点T2でターゲット位置決め点の予測結果を表している。
【００７８】
本発明は、さらに、前述のオブジェクト追跡方法を実行するオブジェクト追跡装置として実施することが可能である。図９は、本発明の実施例におけるオブジェクト追跡装置のブロック図である。
【００７９】
図９に示されたように、本発明の実施例によるオブジェクト追跡装置は、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する、前述の連通域取得ステップＳ１００を実行する連通域取得装置１００と、初期深度画像におけるオブジェクトの既知の現位置から、オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する、前記初期オブジェクト決定ステップＳ２００を実行する初期オブジェクト決定装置２００と、前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する、前記追跡ステップＳ３００を実行する追跡装置３００と、前記追跡装置３００で識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新する、前記オブジェクト位置決めステップＳ４００を実行するオブジェクト位置決め装置４００と、を有する。
【００８０】
ここで、前記ｎ個特徴点の相互間隔が、第１の所定閾値以上であり、前記ｎ個特徴点のそれぞれが、特定の追跡演算子において、隣接画素点のコーナーと区別されるようにしてもよい。
【００８１】
また、前記ｎ個特徴点が抽出された前記対応画像部分が、深度画像に位置するか、深度画像と同期する色画像に位置するようにしてもよい。
【００８２】
前記追跡装置３００は、後続の深度画像の連通域リストの各候補連通域から、オブジェクトの前回決められた位置に、動き予測後の状態変化を加算した結果と類似度が最も高くなる候補連通域を検索し、前記オブジェクトの現在所在するオブジェクト連通域とする。
【００８３】
本発明の実施例におけるオブジェクト追跡装置は、さらに、前記追跡装置３００で識別されたオブジェクト連通域の、初期深度画像におけるオブジェクトのイメージ尺度を決定する、前記イメージ尺度決定ステップ実行するイメージ尺度決定装置を有する。
【００８４】
ここで、前記イメージ尺度決定装置は、前記追跡装置３００で識別された前記オブジェクト所在のオブジェクト連通域の平均深度をｄｎとし、初期深度画像から決められたオブジェクト所在のオブジェクト連通域の平均深度をｄ０とし、初期深度画像におけるオブジェクトのイメージ尺度をＳ０とし、前記オブジェクトの該後続の深度画像におけるイメージ尺度をＳｎとした時、Ｓｎ＝ｄ０/ｄｎ*Ｓ０により、イメージ尺度を計算するようにしてもよい。
【００８５】
ここで、前記オブジェクト位置決め装置４００は、前記後続の深度画像から、ＫＬＴ追跡器による前記ｎ個特徴点の追跡を行う、前記特徴点追跡ステップＳ４２０を行う特徴点追跡装置と、オブジェクト連通域のマスク画像情報から、追跡された各特徴点の階級量子化を行い、追跡された各特徴点の重み付けを行う、前記階級量子化ステップを行う階級量子化装置と、追跡特徴点の群分けを行うとともに、群の中心点を算出し、前記オブジェクトの現位置を更新する、前記群分けステップＳ４６０を行う群分け装置と、を有してもよい。
【００８６】
ここで、前記特徴点追跡装置と、前記階級量子化装置との間に、追跡特徴点における、特徴点の追跡中の誤差が第２の所定閾値を超えた特徴点の除去を行う、前記第１の除去ステップを実行する第１の除去装置をさらに有し、前記階級量子化装置と、前記群分け装置の間に、追跡特徴点における追跡特徴点の重心との間隔が最も大きくなる所定比例数の特徴点の除去を行う、第２の除去ステップを実行する第２の除去装置さらに有するようにしてもよい。
【００８７】
本発明の実施例におけるオブジェクト追跡装置は、前記群分けステップ後に、オブジェクトの特徴点総数がｎとなるように、また、前記オブジェクト内に位置し、かつ補充後のｎ個特徴点の相互間隔が、第１の所定閾値以上になるように、新規特徴点を補充する、前記補充ステップを実行する補充装置をさらに有するようにしてもよい。
【００８８】
本発明の実施例におけるオブジェクト追跡方法及びオブジェクト追跡装置においては、深度画像への３次元連通域解析を行い、全連通域リストを取得し、連通域の動き予測を行い、連通域リストから、オブジェクト所在の連通域を識別するとともに、オブジェクトの結像面におけるイメージ尺度の予測を行い、信頼性のある対象レベルの情報（オブジェクト連通域）を提供することにより、特徴群分け処理における各追跡特徴点の評価に重要な基準情報を提供することができ、複数の特徴点のオプティカル・フロー追跡における特徴点の補充を実現可能にする。連通域の分割と複数点追跡の相互補充により、誤差の伝播を効率よく防止することができ、安定した追跡結果を得ることができる。
【００８９】
本発明の実施例においては、非特許文献１と比べて、オブジェクトの分割が、深度図への３ＤＣＣＡ操作及び運動の連続性により行われるため、２Ｄ追跡における色干渉の影響を無くすことができ、より高信頼性の追跡結果を得ることができる。
【００９０】
本発明の実施例においては、特許文献１に比べて、オブジェクトに関連付けられた連通域の確定により、大略位置を先ず粗予測し、粗予測のもと、オプティカル・フロー方法を用いて、より正確な位置を得ている。本発明の実施例は、全体と局部の情報が組み合わせられており、アップからボトムへ、及びボトムからアップへの処理が用いられているため、特許文献１における方法よりも、安定した追跡がより容易に実現可能となる。なお、連通域から、形状エッジ情報が得られるとともに、連通域マスクに対応する画像に、相互間隔が所定値以上の複数特徴点の追跡が用いられ、追跡中のオブジェクトの形状変化が反映されているため、本発明の実施例によると、非固定対象の追跡処理がより容易に行える。
【００９１】
また、本発明の実施例は、深度情報と近似三角形理論により、結像面のオブジェクトのイメージ尺度を計算することにより、より正確なオブジェクト表示と特徴抽出が容易に行えるとともに、より安定した追跡が可能になる。
【００９２】
また、本明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアによる該一連の動作の実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
【００９３】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
【００９４】
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内の実施例への修正や代替が可能なことは言うまでもない。換言すると、本発明は、説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された特許請求の範囲で判断されるべきである。
【技術分野】
【０００１】
本発明は、オブジェクト追跡方法及びオブジェクト追跡装置に関する。
【背景技術】
【０００２】
オブジェクト追跡は、画像分析と機械視覚の分野における最も重要な技術の一つであり、該オブジェクト追跡においては、主に、連続した映像フレームにおけるオブジェクトの関連付けが難しく、特に、オブジェクト対象の移動がフレームレートよりも早くなる場合のオブジェクトの追跡が困難という問題があり、また、運動期間中に追跡されたオブジェクトの向きが変わったことにより一定程度の歪みが生じた場合は、該問題の複雑度がより増してしまうという難点がある。
【０００３】
非特許文献１である「Mathias Kolsch, Doctoral Dissertation, “Vision Based Hand Gesture Interfaces for Wearable Computing and Virtual Environments”, UNIVERSITY OF CALIFORNIA, Santa Barbara, 2004」には、２Ｄ（２次元）画像におけるフロック特徴（Flocks of Features）による手追跡方法が提案されている。該方法においては、オプティカル・フロー・ベクトル算出をもとにした、ＫＬＴ追跡器による複数の特徴点の追跡を行うとともに、ルーズで全体的な制限によるオプティカル・フロー・ベクトルの群分けを行い、オブジェクト位置を予測している。該方法においては、肌色が特徴の群分けで重要な役割を果たし、肌色確率密度関数を特徴点の補充に用いている。このため、手が動き中に肌色近似領域（例えば、顔）を掠めて通ると、追跡結果が目標物から逸れてしまう問題がある。
【０００４】
実際に、従来の２Ｄ追跡技術においては、特徴の安定性に劣るという問題と、特徴間の不一致が生じやすいという問題がうまく解決できていない。２Ｄオブジェクト追跡技術に比べて、３Ｄ（３次元）カメラは、３Ｄ世界の各対象にさらに深度情報を与えることができ、該深度情報により、座標系のＺ軸上の、近似色や形状を有する異なる対象の区別が可能になる。
【０００５】
図１Ａ〜１Ｄは、３Ｄカメラの画像処理工程を示した図であり、ここでは、Prime Sense 3Dカメラを例に説明を行う。
【０００６】
図１Ａは、シーンを示し、図１Ｂに示されたPrime Sense 3Dカメラにより、図１Ａのシーンが採集され、図１Ｃに示された深度画像が得られる。深度画像の各画素点には、該画素点に対応する実際の対象の深度座標データ（深度値）が含まれ、例えば、図１Ｄに示された画素マトリクスにおいて、該マトリクス中の各要素が深度画像中の１画素点に対応し、該画素の値が、ワールド座標における該画素点に対応する対象表面からカメラまでの距離を表し、距離単位は、例えば、ｍｍでもよい。
【０００７】
Prime Sense 3Dカメラの深度値の測定技術の原理としては、先ず、図１Ｂに示されたカメラで赤外光源から、１グループの非可視赤外線からなるパターン点を図１Ａに示されたシーンの対象表面に投射するとともに、ＣＭＯＳセンサーにより投射後のパターン画像を取得してから、プロセッサにより、パターン光中の点のずれから、三角測定技術による対象表面上の各点の深度値の算出を行う。深度画像は、色情報がないが、例えば、図１Ｃに示された白黒階調化のように、各種方法で可視化することができる。深度データストリームと画像ストリームを混合することにより、カラーの３Ｄ画像を生成することができ、３Ｄカメラで同期的にＲＧＢ画像ストリームとそれぞれに応じた深度値ストリームを出力することができる。
【０００８】
特許文献1であるUS 20100194741 A1には、深度画像におけるオプティカル・フローによるオブジェクト追跡方法が提案されている。該方法においては、孤立領域における各画素点に、それぞれの深度値に応じた白黒階調値付けが行われ、これにより、白黒階調化の方法で、「縞模様（zebra）」パターンを生成し、その後、オプティカル・フロー算法により、各領域中の各画素点の新規位置を決定している。該方法では、速度予測により追跡を安定化させているが、このような単一点の追跡結果のみに依存するボトムアップの処理方法には、エラー伝播の阻止といったポリシーに欠けていることから、該方法によると、特に、長時間の複雑運動追跡の場合は、安定的な追跡結果が得られない。
【０００９】
なお、前記従来技術では、オブジェクト追跡期間中のオブジェクトの結像面内の縮拡尺の判定方法が考慮されていない。イメージ尺度の判定を考慮した従来技術が存在したとしても、用いられている対象尺度予測手段は、通常、確率ブロックマッチングであり、例えば、通常、粒子フィルタ追跡においては現状態へのランダム変化（オブジェクトの尺度を含む）が生じ、変化後のブロックと変化前のブロックの関連係数により、変換後のブロックの重み算出を行い、算出後の平均状態から、その尺度が決められるが、このような尺度処理法は、信頼性が低く、最終追跡結果の正確性に影響を及ぼしてしまう。
【００１０】
特に、マン・マシン・インタラクションシステムの場合、その背景は、通常、任意かつ複雑なものであり、対象の動きも比較的に複雑であるため、運動方向と速度の変化のみならず、運動対象自身の形状調整も存在している。特に、長時間の連続追跡において、如何にこのような環境で、確実かつ安定な追跡結果を得られるかは、極めて重要でかつチャレンジ的なことになっている。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、従来技術における前述の問題を解決するためになされたものである。本発明によると、深度画像列からオブジェクト追跡を行い、オブジェクトの位置を取得することができ、さらに、オブジェクトの結像面内の縮拡尺を得ることができる。
【解題を解決するための手段】
【００１２】
前記問題を解決するために、本発明の実施例においては、深度画像に3DCCA（Three-Dimension Connected Component Analysis，３次元連通域解析）技術を適用し、全連通域のリストを取得するとともに、リストから追跡オブジェクトに関連するオブジェクト連通域を最終決定する。3DCCAにおいては、画素の連通性に応じて、近接の画素点への同一のマーク付けを行うことにより、画像を複数の異なる連通域に群分けすることができ、同一連通域内の任意の２画素点間には、少なくとも1本のＤ−連通路が存在することになる。深度画像への３ＤＣＣＡにより、複雑な背景環境から異なる深度値を有する対象を識別することができ、オブジェクトのマスク画像を得ることができる。
【００１３】
３ＤＣＣＡ技術を用いると、複雑な背景からの対象の分離が効率よく行えるとともに、オブジェクトの移動履歴情報によるオブジェクトの大略位置の予測が可能になる。オブジェクト所在連通域の予測結果により、さらにオブジェクト所在連通域にオプティカル・フロー方法を用いた特徴点の追跡により、オプティカル・フロー・ベクトルを取得するとともに、複数の特徴点のオプティカル・フロー・ベクトルから、最終オブジェクト位置を抽出することができる。
【００１４】
さらに、３ＤＣＣＡと深度情報により、オブジェクトの結像面上の縮拡尺の判定、即ち、イメージ尺度の判定が可能になる。初期状態時のオブジェクトの尺度、初期状態時の深度情報、及び現深度情報により、近似三角形理論から、現オブジェクトのイメージ尺度を予測することができる。
【００１５】
本発明の一態様によると、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する連通域取得ステップと、初期深度画像におけるオブジェクトの既知の現位置から、オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定ステップと、前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡ステップと、前記追跡ステップで識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決めステップと、を有する、オブジェクト追跡方法が提供される。
【００１６】
本発明の他の態様においては、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する連通域取得装置と、初期深度画像におけるオブジェクトの既知の現位置から、オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定装置と、前記初期深度画像後に入力される後続の深度画像の、3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡装置と、前記追跡装置で識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決め装置と、を有する、オブジェクト追跡装置が提供される。
【００１７】
本発明の実施例においては、３ＤＣＣＡ（３次元連通域解析）技術により、被追跡対象所在の連通域を分割し、各特徴点のオプティカル・フロー追跡結果を、評価する参考基準とする。本発明の実施例は、各種マン・マシンインタラクション応用システムに適用することができ、例えば、マン・マシン・インタラクションゲーム、仮想現実の遠隔制御等の技術方向に適用することができる。
【００１８】
本発明の実施例によると、デプスカメラによるマン・マシンインタラクション応用におけるオブジェクト追跡課題を解決することができ、本発明の実施例の実行は、追跡されるオブジェクトへの特別な要求がなく、特殊なマークや手袋が不要で、外形が明らかなオブジェクトのみならず、非固定オブジェクトにも適用することができ、リアルタイム処理が可能になるとともに、安定かつ確かな追跡結果が得られる。
【図面の簡単な説明】
【００１９】
【図１】図１Ａは、３Ｄカメラの画像処理工程におけるシーンを示す図である。図１Ｂは、図１Ａのシーンを採集する３Ｄカメラを示す図である。図１Ｃは、図１Ａのシーンの深度画像を示すである。図１Ｄは、図１Ｃにおける深度画像の画素マトリクスである。
【図２】本発明の実施例におけるオブジェクト追跡処理の全体フローチャートである。
【図３Ａ】深度画像を示す図である。
【図３Ｂ】図３Ａに示された深度画像への３ＤＣＣＡ実行結果である。
【図４】画像からのオブジェクト決定結果を示す図である。
【図５】追跡段階のオブジェクトの結像面上の縮拡尺算出の基本原理図である。
【図６Ａ】頭部オブジェクト追跡時の頭部オブジェクトイメージ尺度変化図である。
【図６Ｂ】頭部オブジェクト追跡時の他の頭部オブジェクトイメージ尺度変化図である。
【図７】本発明の実施例におけるオブジェクト正確位置決めステップのフローチャートである。
【図８Ａ】追跡ターゲットが手の場合の追跡結果を示した図である。
【図８Ｂ】追跡ターゲットが手の場合の他の追跡結果を示した図である。
【図９】本発明の実施例におけるオブジェクト追跡装置のブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施例を説明する。
【００２１】
図２は、本発明の実施例におけるオブジェクト追跡方法の全体フローチャートである。図２に示されたように、該オブジェクト追跡方法は、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する連通域取得ステップＳ１００と、初期深度画像におけるオブジェクトの既知の現位置から、オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定ステップＳ２００と、前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡ステップＳ３００と、前記追跡ステップで識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決めステップＳ４００と、を有する。
【００２２】
本発明の実施例で処理される深度画像は、各種公知の入力技術により入力され、例えば、各種深度画像採集装置や保存装置から読み込まれるか、ネットワークにより得られ、処理後に得られる結果は、各種公知の出力技術により出力され、例えば、直接制御情報に変換されるか、各種保存装置に保存され、ネットワーク経由で出力されるか、プリンタにより出力される。
【００２３】
前述の連通域取得ステップＳ１００と初期オブジェクト決定ステップＳ２００は、大略初期化段階と見なすことができ、初期化段階においては、深度画像列における最初の１深度画像を選択して処理を施しているが、任意の深度画像を選択して初期化段階操作を行う場合も、該初期化段階の操作対象となる深度画像を、初期深度画像と称することができる。
【００２４】
前述の追跡ステップＳ３００とオブジェクト位置決めステップＳ４００は、大略追跡段階と見なすことができ、前記初期深度画像後の後続の深度画像となる各深度画像に対し、順次或いは一定間隔で、繰り返し処理を施し、毎回処理される深度画像は、すべて現深度画像と見なすことができ、利用された前回の処理結果が、前回の結果と称され、前回の処理は、後続の深度画像を対象とすることもあり、初期深度画像を対象とすることもある（現在第１の後続の深度画像を処理する場合）。
【００２５】
連通域取得ステップＳ１００は、３ＤＣＣＡ手段により、該深度画像中に含まれるＣＣ（連通域）のリストを取得する。初期化段階、追跡段階に関わらず、先ず図中の全連通域情報を含むリストを取得するための深度画像への３ＤＣＣＡ操作が必要となる。３ＤＣＣＡ（即ち、３次元連通域解析）においては、入力される深度画像に対し、画像座標系のＸ軸、Ｙ軸方向に近接点を検知するとともに、Ｚ軸上の間隔が一定範囲内の近接点画素に同一の数字番号付けを行い、同一番号の画素が１つの連通域を構成することから、３ＤＣＣＡの出力は、連通した形状コンポーネントの集合となる。深度画像の３ＤＣＣＡ操作により、３Ｄカメラから得られる画素レベルの深度情報が少ない数の対象集合に統合され、これらの対象集合を用いることにより、Ｚ軸上の異なる深度の対象の決定や、他のシーンコンテンツの解析が可能になる。
【００２６】
本発明の実施例には、下記のような具体的な3ＤＣＣＡ実施法を用いることができ、該方法は、一般的に用いられる２ＤＣＣＡをベースに、３Ｄ画像データを適用するための変更を加えて得られたものである。
【００２７】
先ず、３ＤＣＣ（３次元連通域）は、以下のように定義される。
【００２８】
２つの３Ｄ点のＸＹ面における投影が近接し、かつその深度変化が一定の閾値D_TH未満であると、該2つの点は、Ｄ−連通されているとし、
２つの３Ｄ点のＰとＱにおいて、１グループの３Ｄ点リスト(P, p1, p2, . . . pN, Q)が存在し、該リストにおける任意の２つの隣接点がＤ−連通されていると、該２つの点間にＤ−連通路が存在するとし、
１つの３Ｄ点のＤ−連通集合において、該集合における各点ｐにつき、ＸＹ面上に該集合の連通条件を満たす状態で該連通集合に加えられるｐの近接点が存在しないと、該Ｄ−連通集合は、最大Ｄ−連通集合とし、即ち、Ｄ−連通域とする。
【００２９】
Ｄ−連通域を探す方法、即ち、最大限ＣＣを探す３ＤＣＣＡ方法は、以下の通りである。
【００３０】
１．各点(x,y)に、所属する連通域（ＣＣ）の番号を付し、LABEL(x,y)と記する。
【００３１】
２．深度差の閾値D_THを定義する。
【００３２】
３．１行列データ構造（先入れ先出し）を定義し、QUEUEと記する。
【００３３】
４．全ての点LABEL(x,y)を、−１に初期化する。
【００３４】
５．現連通域の番号cur_labelを１に設定する。
【００３５】
６．次のLABELが-1となるCCの起点p-startを検索し始め、このような点が存在しないと、繰り返しを停止する。
【００３６】
７．LABEL(p_start)をcur_labelに設定する。
【００３７】
８．全ての点p_startを行列QUEUEに入れる。
【００３８】
９．QUEUEが空でないと、下記ステップを繰り返す。
【００３９】
ａ．行列からヘッドノードp_head(x,y)を除去する。
【００４０】
ｂ．p_headのm個近接点に対し、順次、
i.LABEL(k)>0（kは、m個近接点の索引値）場合は、次の近接点に進み、
ii.ｋの近接点の深度とp_headの深度差がD_THであると、第ｋ個近接点を行列に入れるとともに、LABEL(k)をcur_labelとする。
【００４１】
１０．cur_labelを1ずつ増やし、ステップ６から繰り返し実行する。
【００４２】
前述の方法において、点(x,y)の近接点は、座標が以下のような点に定義される：(x-1,y-1)、(x-1,y)、(x-1,y+1)、(x,y-1)、(x,y+1)、(x+1,y-1)、(x+1,y)、(x+1,y+1)。近接点の座標位置が画像範囲を超えている（マイナス値か、画像の解像度を超えている）と、処理は行わない。
【００４３】
図３Ａ、３Ｂは、深度画像への３ＤＣＣＡ実行結果であり、図３Ａが深度画像を示し、図中の各画素点のそれぞれの濃淡階調値が、それぞれの深度の遠近情報を表している。図３Ｂは、図３Ａに示された深度画像への３ＤＣＣＡ実行結果であり、得られたそれぞれの連通域は、それぞれの階調（色）で区分されている。これにより、手が伸ばされると、図３Ｂの矩形フレームＱ１で示されたように、３ＤＣＣＡにより、身体と環境から手を確実に分割することが可能になる。
【００４４】
３ＤＣＣＡは、算法の最適化により、その実行効率の改善が可能であり、さらに、実際の需要に応じて、３ＤＣＣＡを局所領域に適用し、より高い効率を得ることができる。
【００４５】
初期オブジェクト決定ステップＳ２００においては、初期化段階であるため、外部入力により、オブジェクト位置を指定し、簡単に四角い枠でオブジェクトを囲むか、リアルタイムな検知演算子により、オブジェクトを検知識別することができる。該段階において、オブジェクトの位置が予め分かるため、オブジェクトに関連付けられたＣＣリストから簡単にオブジェクトの所在するＣＣを確定することができる。
【００４６】
なお、例えば、最近接最大連通域原則等の啓発式規則により、オブジェクトの所在するＣＣを自動確定してもよい。
【００４７】
図４は、画像からのオブジェクト決定結果を示す図である。図４において、矩形フレームＱ２の白領域が、オブジェクトが手の場合のオブジェクトに関連付けられた連通域を表す。初期段階であるため、図４における手オブジェクトを分割する目的であれば、図４に矩形フレームＱ２を引き、矩形フレームＱ２の領域内で局所３ＤＣＣＡ操作を行えばよい。図４における矩形フレームＱ２においては、３ＤＣＣＡ後に手ＣＣと背景ＣＣの２つのＣＣ領域を有することになり、最近接でかつ大面積の手ＣＣが追跡すべきオブジェクトの所在するＣＣとなる。
【００４８】
オブジェクト所在のＣＣ決定後は、オブジェクトのマスク画像を得ることができる。マスク画像に対応する階調画像（このときの階調画像は、深度画像の可視化後に得られる画像を指し、該階調画像によりオプティカル・フローの追跡が可能になる）や、マスク画像に対応する深度画像と同期するＲＧＢカラー画像から、以後のオプティカル追跡のためのｎ個特徴点を選択する。即ち、前記対応する画像部分が位置する深度画像或いは深度画像と同期する色画像から、前記ｎ個特徴点を抽出する。
【００４９】
この時の特徴点は、階調画像（ＲＧＢカラー画像もカラー除去操作により階調画像に変換することができる）に比較的に大きな応答値を持つコーナーを指し、例えば、harrisコーナーを指している。ｎ個特徴点の相互間隔は、一定の閾値（第１の閾値とする）以上であり、任意の２つの特徴点の空間上の間隔が近すぎないように、相互間の間隔の最小距離を制限することで、各自の追跡結果の有効性を確保することができる。換言すると、前記ｎ個特徴点の相互間隔が第１の閾値以上であり、かつ前記ｎ個特徴点のそれぞれが、特定の追跡演算子において隣接画素点と区別されるコーナーとなる。
【００５０】
オープン・ソース・アイテムOpenCV中の関数GoodFeaturesToTrackを用いて、要求を満たす特徴点を選出することができる。
【００５１】
次に、オブジェクト工程は、追跡段階に進む。
【００５２】
追跡段階において、初期深度画像後に入力される各深度画像（後続深度画像）に対し、先ず、３ＤＣＣＡ操作を行い、各深度画像のＣＣリストを取得してから、オブジェクトＣＣを決定する。具体的に、前記追跡ステップＳ３００において、後続の深度画像の連通域リストの各候補連通域から、オブジェクトの前回決められた位置に、動き予測後の状態変化を加算した結果と類似度が最も高くなる候補連通域を検索し、前記オブジェクトの現在所在するオブジェクト連通域とする。
後続深度画像の配列における現在処理される深度画像に対し、初期深度画像に用いられる手段と同様の手段により３ＤＣＣＡ操作を施し、該現在深度画像のＣＣリストを取得する。しかし、オブジェクトＣＣの決定工程においては、初期化段階と異なり、この時はオブジェクトＣＣの位置が未知であり、ＣＣリストにおける全連通域がオブジェクト候補連通域となる。追跡ステップＳ３００におけるオブジェクト所在のＣＣの確定は、ＣＣリストからの１ＣＣの検索により行われ、該ＣＣは、被追跡オブジェクトの前回の所在位置に動き予測後の状態変化を加算した結果と最も類似した特徴を有するべきであり、即ち、類似度が最も高くなるべきである。
【００５３】
前記類似度は、候補連通域の位置の、オブジェクトの前回の確定位置にx軸、y軸、z軸方向の予測動き変位を加算した後に得られる予測位置との位置差（運動速度ベクトル差と同等である）と、候補連通域の前回の確定オブジェクト連通域との面積差により、決められる。
【００５４】
ここで、オブジェクトCCの検索は、オブジェクトCCの識別や、オブジェクトCCの粗位置決め予測と見なすことができる。深度画像への3DCCAにより、画素レベルの深度情報がオブジェクトCCのリストに集約され、オブジェクトの画素レベルでの単独の識別よりも処理が容易となる。簡単な手段により、オブジェクト所在のＣＣを検索することができ、例えば、以下の距離算出式（１）により、前回のオブジェクトCCまでの位置と最も近似するCCを検索することができる。
【数１】
【００５５】
式中、||.||は、ユークリッドノルム演算子であり、nは、深度画像列における各フレーム深度画像の索引値であり、現在第nフレーム深度画像を処理するとした場合、iは、現在の第nフレーム深度画像から得られた候補連通域の索引値であり、V(n-1)は、前回の第(n-1)フレーム深度画像のオブジェクト追跡結果のx軸、y軸、z軸方向における速度ベクトルであり、Vi(n)は、現在第nフレーム深度画像の場合、第iの候補連通域がオブジェクト連通域時のx軸、y軸、z軸方向における運動速度ベクトルであり、A(n-1)は、前回の第(n-1)フレーム深度画像におけるオブジェクト連通域の面積であり、Ai(n)は、現在の第nフレームの第iの候補連通域の面積であり、aは、重みであり、ユーザの体験やテスト統計解析結果から決められ、Diは、現在の第iの候補CCと前回のオブジェクトCC間の類似度の度量距離である。
【００５６】
Diの値が小さくなるほど、該候補連通域と、前回のオブジェクト連通域との類似度が高くなると判断することができ、最小のDi値が得られた第iの候補連通域が現在のオブジェクト連通域となる。
【００５７】
オブジェクト連通域の検索工程において、考慮されるオブジェクト状態には、x軸、y軸、z軸方向の運動速度ベクトルとオブジェクトに関連付けられたCC面積のみならず、他のCCに対応付けられた階調や、カラー画像の色ヒストグラムのような特徴量が含まれてもよい。
【００５８】
なお、他の手段により、オブジェクトＣＣの決定を行ってもよく、例えば、マシン学習方法により実現してもよい。具体的には、分類器の訓練により、オブジェクトＣＣの識別を行ってもよい。分類器の訓練工程においては、速度ベクトルと連通域面積や、他の特徴量を分類器訓練時の入力としてもよい。
【００５９】
追跡ステップＳ３００後は、オブジェクトＣＣが、対象レベルのリストから、オブジェクト位置の大略予測が得られ、前記追跡ステップで識別されたオブジェクトの初期深度画像におけるオブジェクトのイメージ尺度を決定するイメージ尺度決定ステップをさらに有してもよい。現在の追跡オブジェクトイメージ尺度の計算により、オブジェクトの現在の状態へのより正確な記述が行いやすくなる。特に、追跡オブジェクトが背景と同等深度の位置に動いた場合、オブジェクトは、大範囲ＣＣにおける局所部分となり、周囲とはっきり区別されるような周囲との完全な孤立ができない場合、大きなＣＣからのオブジェクト所在の部分ＣＣの境界定めのためのオブジェクトイメージ尺度の算出がより必要となる。
【００６０】
追跡段階におけるオブジェクトの結像面上の尺度変化を算出するためには、オブジェクトＣＣの平均深度値の算出が必要となるとともに、その初期状態における平均深度及び初期状態におけるオブジェクトのイメージ尺度の記録が必要となる。
【００６１】
図５は、追跡段階のオブジェクト結像面上の縮拡尺算出の基本原理図である。
図５に示されたように、オブジェクトObjをカメラCameraの左側に載置し、最初フレームの深度画像中の平均深度がd0で、後続のあるフレームにおける第nフレーム（nは、１ではない自然数）の深度画像中の平均深度がdnである。カメラCameraの右側が結像面Planであり、オブジェクトObjのカメラCameraまでの距離がd0（平均深度d0）時、結像面上のイメージ尺度がS0となり、オブジェクトObjのカメラCameraまでの距離がdn（平均深度dn）時、結像面上のイメージ尺度がSnとなる。オブジェクトObjの実際の尺度はHであり、オブジェクトObjのカメラCameraまでの距離がd0時に、オブジェクトObjのdnにおける投影尺度はLとなる(カメラ位置を点光源とした投影)。これにより、近似三角形原理により、S0/Sn=L/Hとなり、L/H=dn/d0であることから、S0/Sn=dn/d0から、オブジェクトの所在位置の結像面上のイメージ縮拡尺を算出する式（2）を導出することができる。
【数２】
【００６２】
前記イメージ尺度決定ステップにおいては、式（2）のSn=d0/dn*S0により、イメージ尺度を算出し、式中、dnは、前記追跡ステップで識別された前記オブジェクト所在のオブジェクト連通域の平均深度であり、d0は、初期深度画像中の決定オブジェクト所在のオブジェクト連通域の平均深度であり、S0は、初期深度画像中のオブジェクトのイメージ尺度であり、Snは、前記オブジェクトの該後続深度画像におけるイメージ尺度である。
【００６３】
式（2）により、図５に示された場合を算出し、図５におけるdnがd0の２倍であると、dn位置上のオブジェクトのイメージ尺度Snは、d0位置時のイメージ尺度S0の半分となる。該式（2）の算出結果が人間の直感感受と一致することは言うまでもない。
【００６４】
図６Ａ、６Ｂは、頭部オブジェクト追跡時の頭部オブジェクトイメージ尺度変化図であり、図６Ａ、図６Ｂは、それぞれ異なるフレームを表し、図６Ａにおける矩形フレームＱ３が、追跡ターゲットを表し、図６Ｂにおける矩形フレームＱ４も、追跡ターゲットを表しているが、図６Ａに示された追跡ターゲットは、図６Ｂにおいてはイメージ尺度の変化がある。
【００６５】
オブジェクト連通域の予測により、オブジェクトの大略位置と、結像面内のイメージ縮拡尺の予測のみならず、オブジェクトの大略の形状記述も可能になり、非固定対象の追跡が容易になる。
【００６６】
次に、オブジェクト位置決めステップＳ４００において、例えばオプティカル・フロー方法により、より正確なオブジェクト位置決め点の予測を得ることができる（画像座標において、オブジェクトの尺度を省略して１位置決め点に抽象化し、該点の位置がオブジェクトの画像における位置を表すことになる）。本発明の実施例においては、オブジェクトレベル上の情報が、オブジェクト位置の正確予測に用いられ、このような情報には、オブジェクト連通域の形状のみならず、オブジェクト連通域内の複数点のオプティカル・フロー追跡と中間値特徴の抽出で共通に表されるオブジェクトレベルの情報が含まれている。
【００６７】
図７は、本発明の実施例におけるオブジェクト正確位置決めステップのフローチャートである。
【００６８】
図７に示されたように、前記オブジェクト位置決めステップＳ４００において、前記後続の深度画像から、ＫＬＴ追跡器による前記ｎ個特徴点の追跡を行う特徴点追跡ステップＳ４２０と、オブジェクト連通域のマスク画像情報から、追跡された各特徴点の階級量子化を行い、追跡された各特徴点の重み付けを行う階級量子化ステップＳ４４０と、追跡特徴点の群分けを行うとともに、群の中心点を算出し、前記オブジェクトの現位置を更新する群分けステップＳ４６０と、を有する。
【００６９】
特徴点追跡ステップＳ４２０において、ＫＬＴ追跡器による各特徴点の追跡を行い、各特徴点の現在処理した後続深度画像上の新規位置点を取得する。例えば、OpenCVの関数cvCalcOpticalFlowPyrLKにより、特徴点のオプティカル・フロー・ベクトルを算出し、特徴点の該後続の深度画像上の対応する新規位置を取得する。
【００７０】
前記特徴点追跡ステップＳ４２０後で、前記階級量子化ステップＳ４４０前に、追跡特徴点における、特徴点の追跡中の誤差が第２の所定閾値を超えた特徴点の除去を行う第１の除去ステップをさらに有する。例えば、OpenCVの関数cvCalcOpticalFlowPyrLKにより、特徴点のオプティカル・フロー・ベクトルを算出する場合、最大の誤差パラメータ（第２の閾値）の値を１１５０に設定することができ、誤差パラメータが該値を超える追跡結果は除去することにより、最初に、特徴点オプティカル・フロー追跡中の誤差の高い、または関連性の低い追跡特徴点を除去することができる。１１５０は、第２閾値の１例にすぎず、第２閾値は、例えば、１１００、１２００等の他の値でもよいことは言うまでもない。
【００７１】
階級量子化ステップＳ４４０において、オブジェクト連通域のマスク画像情報により、各追跡特徴点の階級量子化を行い、前記第１の除去ステップを行った場合は、第１の除去後の残りの各追跡特徴点の重み算出を行う。用いられる簡単な処理方法としては、追跡特徴点の新規位置がオブジェクト連通域の予測領域内にあると、重み付けを１とし、それ以外は、０とする。
【００７２】
前記階級量子化ステップＳ４４０後で、前記群分けステップＳ４６０前に、追跡特徴点における追跡特徴点の重心との間隔が最も大きくなる所定比例数の特徴点の除去を行う第２の除去ステップをさらに有する。
【００７３】
群分けステップＳ４６０において、存在する追跡特徴点（前記第２の除去ステップを行った場合は、前記第２の除去操作後の残りの追跡特徴点）により、各特徴点までも総距離は最も短くなるその群の中心点を算出し、該群の中心点を、比較的正確にオブジェクト追跡のオブジェクト位置決め点とすることができる。用いられる群分け実施方式としては、例えば、P1,P2,P3,…,Pmのように、残りのm（mは、自然数）の追跡特徴点の番号付けを行い、第iの点（iは、索引値であり、1……mである）を群の中心点とし、該第iの特徴点から他の各特徴点までの距離の総長
【数３】
を算出し、最後に、i=1……mにおいて、Dtiが最小値となる時の特徴点位置を探し、最終群分けの中心点とする。このときの最終群分けの中心点位置を前記オブジェクトの現位置とする。
【００７４】
各追跡サイクルにおいて、前記操作後に追跡特徴点の数が減少する場合があることから、新規特徴点を特徴点集合に補充することで、次のフレームの深度画像の追跡に必要な数の特徴点を満足することができる。
【００７５】
換言すると、前記群分けステップＳ４６０後に、オブジェクトの特徴点総数がｎとなるように、また、前記オブジェクト内に位置し、かつ補充後のｎ個特徴点の相互間隔が、第１の所定閾値以上になるように、新規特徴点を補充する補充ステップをさらに有してもよい。
【００７６】
前述の具体的なオプティカル・フロー追跡方法には、予測したオブジェクト連通域の形状情報が十分用いられており、下層から得られた画素点のオプティカル・フロー情報が用いられるとともに、上層の対象レベルの情報が組み合わせられ、追跡結果の正確性、特に非固定オブジェクトの追跡結果の信頼性を確保することができる。
【００７７】
図８Ａ、８Ｂは、追跡ターゲットが手の場合の追跡結果を示した図である。図８Ａにおいて、矩形フレームQ5 は、追跡ターゲットの手を表し、e1を例とした複数の微小点で追跡特徴点を表し、比較的に大きな点T1でターゲット位置決め点の予測結果を表している。図８Ｂにおいて、矩形フレームQ6 は、追跡ターゲットの手を表し、e2を例とした複数の微小点で追跡特徴点を表し、比較的に大きな点T2でターゲット位置決め点の予測結果を表している。
【００７８】
本発明は、さらに、前述のオブジェクト追跡方法を実行するオブジェクト追跡装置として実施することが可能である。図９は、本発明の実施例におけるオブジェクト追跡装置のブロック図である。
【００７９】
図９に示されたように、本発明の実施例によるオブジェクト追跡装置は、入力された初期深度画像への3次元の連通域解析を行い、初期深度画像の連通域リストを取得する、前述の連通域取得ステップＳ１００を実行する連通域取得装置１００と、初期深度画像におけるオブジェクトの既知の現位置から、オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する、前記初期オブジェクト決定ステップＳ２００を実行する初期オブジェクト決定装置２００と、前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する、前記追跡ステップＳ３００を実行する追跡装置３００と、前記追跡装置３００で識別されたオブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新する、前記オブジェクト位置決めステップＳ４００を実行するオブジェクト位置決め装置４００と、を有する。
【００８０】
ここで、前記ｎ個特徴点の相互間隔が、第１の所定閾値以上であり、前記ｎ個特徴点のそれぞれが、特定の追跡演算子において、隣接画素点のコーナーと区別されるようにしてもよい。
【００８１】
また、前記ｎ個特徴点が抽出された前記対応画像部分が、深度画像に位置するか、深度画像と同期する色画像に位置するようにしてもよい。
【００８２】
前記追跡装置３００は、後続の深度画像の連通域リストの各候補連通域から、オブジェクトの前回決められた位置に、動き予測後の状態変化を加算した結果と類似度が最も高くなる候補連通域を検索し、前記オブジェクトの現在所在するオブジェクト連通域とする。
【００８３】
本発明の実施例におけるオブジェクト追跡装置は、さらに、前記追跡装置３００で識別されたオブジェクト連通域の、初期深度画像におけるオブジェクトのイメージ尺度を決定する、前記イメージ尺度決定ステップ実行するイメージ尺度決定装置を有する。
【００８４】
ここで、前記イメージ尺度決定装置は、前記追跡装置３００で識別された前記オブジェクト所在のオブジェクト連通域の平均深度をｄｎとし、初期深度画像から決められたオブジェクト所在のオブジェクト連通域の平均深度をｄ０とし、初期深度画像におけるオブジェクトのイメージ尺度をＳ０とし、前記オブジェクトの該後続の深度画像におけるイメージ尺度をＳｎとした時、Ｓｎ＝ｄ０/ｄｎ*Ｓ０により、イメージ尺度を計算するようにしてもよい。
【００８５】
ここで、前記オブジェクト位置決め装置４００は、前記後続の深度画像から、ＫＬＴ追跡器による前記ｎ個特徴点の追跡を行う、前記特徴点追跡ステップＳ４２０を行う特徴点追跡装置と、オブジェクト連通域のマスク画像情報から、追跡された各特徴点の階級量子化を行い、追跡された各特徴点の重み付けを行う、前記階級量子化ステップを行う階級量子化装置と、追跡特徴点の群分けを行うとともに、群の中心点を算出し、前記オブジェクトの現位置を更新する、前記群分けステップＳ４６０を行う群分け装置と、を有してもよい。
【００８６】
ここで、前記特徴点追跡装置と、前記階級量子化装置との間に、追跡特徴点における、特徴点の追跡中の誤差が第２の所定閾値を超えた特徴点の除去を行う、前記第１の除去ステップを実行する第１の除去装置をさらに有し、前記階級量子化装置と、前記群分け装置の間に、追跡特徴点における追跡特徴点の重心との間隔が最も大きくなる所定比例数の特徴点の除去を行う、第２の除去ステップを実行する第２の除去装置さらに有するようにしてもよい。
【００８７】
本発明の実施例におけるオブジェクト追跡装置は、前記群分けステップ後に、オブジェクトの特徴点総数がｎとなるように、また、前記オブジェクト内に位置し、かつ補充後のｎ個特徴点の相互間隔が、第１の所定閾値以上になるように、新規特徴点を補充する、前記補充ステップを実行する補充装置をさらに有するようにしてもよい。
【００８８】
本発明の実施例におけるオブジェクト追跡方法及びオブジェクト追跡装置においては、深度画像への３次元連通域解析を行い、全連通域リストを取得し、連通域の動き予測を行い、連通域リストから、オブジェクト所在の連通域を識別するとともに、オブジェクトの結像面におけるイメージ尺度の予測を行い、信頼性のある対象レベルの情報（オブジェクト連通域）を提供することにより、特徴群分け処理における各追跡特徴点の評価に重要な基準情報を提供することができ、複数の特徴点のオプティカル・フロー追跡における特徴点の補充を実現可能にする。連通域の分割と複数点追跡の相互補充により、誤差の伝播を効率よく防止することができ、安定した追跡結果を得ることができる。
【００８９】
本発明の実施例においては、非特許文献１と比べて、オブジェクトの分割が、深度図への３ＤＣＣＡ操作及び運動の連続性により行われるため、２Ｄ追跡における色干渉の影響を無くすことができ、より高信頼性の追跡結果を得ることができる。
【００９０】
本発明の実施例においては、特許文献１に比べて、オブジェクトに関連付けられた連通域の確定により、大略位置を先ず粗予測し、粗予測のもと、オプティカル・フロー方法を用いて、より正確な位置を得ている。本発明の実施例は、全体と局部の情報が組み合わせられており、アップからボトムへ、及びボトムからアップへの処理が用いられているため、特許文献１における方法よりも、安定した追跡がより容易に実現可能となる。なお、連通域から、形状エッジ情報が得られるとともに、連通域マスクに対応する画像に、相互間隔が所定値以上の複数特徴点の追跡が用いられ、追跡中のオブジェクトの形状変化が反映されているため、本発明の実施例によると、非固定対象の追跡処理がより容易に行える。
【００９１】
また、本発明の実施例は、深度情報と近似三角形理論により、結像面のオブジェクトのイメージ尺度を計算することにより、より正確なオブジェクト表示と特徴抽出が容易に行えるとともに、より安定した追跡が可能になる。
【００９２】
また、本明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアによる該一連の動作の実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
【００９３】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
【００９４】
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内の実施例への修正や代替が可能なことは言うまでもない。換言すると、本発明は、説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された特許請求の範囲で判断されるべきである。
【特許請求の範囲】
【請求項１】
入力された初期深度画像への3次元の連通域解析を行い、前記初期深度画像の連通域リストを取得する連通域取得ステップと、
前記初期深度画像におけるオブジェクトの既知の現位置から、前記オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定ステップと、
前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡ステップと、
前記追跡ステップで識別された前記オブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決めステップと、を有する、オブジェクト追跡方法。
【請求項２】
前記ｎ個特徴点の相互間隔が第１の所定閾値以上であり、前記ｎ個特徴点のそれぞれが、特定の追跡演算子において、隣接画素点のコーナーと区別される、請求項１に記載のオブジェクト追跡方法。
【請求項３】
前記ｎ個特徴点が抽出された前記対応画像部分が、深度画像に位置するか、深度画像と同期する色画像に位置する、請求項２に記載のオブジェクト追跡方法。
【請求項４】
前記追跡ステップにおいて、前記後続の深度画像の連通域リストの各候補連通域から、前記オブジェクトの前回決められた位置に動き予測後の状態変化を加算した結果と類似度が最も高くなる候補連通域を検索し、前記オブジェクトの現在所在するオブジェクト連通域とする、請求項１に記載のオブジェクト追跡方法。
【請求項５】
前記追跡ステップ後に、さらに、前記追跡ステップで識別された前記オブジェクト連通域の前記初期深度画像における前記オブジェクトのイメージ尺度を決定するイメージ尺度決定ステップを有する、請求項１に記載のオブジェクト追跡方法。
【請求項６】
前記イメージ尺度決定ステップにおいて、
前記追跡ステップで識別された前記オブジェクト所在のオブジェクト連通域の平均深度をｄｎとし、前記初期深度画像から決められた前記オブジェクト所在のオブジェクト連通域の平均深度をｄ０とし、前記初期深度画像における前記オブジェクトのイメージ尺度をＳ０とし、前記オブジェクトの前記後続の深度画像におけるイメージ尺度をＳｎとしたとき、Ｓｎ＝ｄ０/ｄｎ*Ｓ０により、前記イメージ尺度を計算する、請求項５に記載のオブジェクト追跡方法。
【請求項７】
前記オブジェクト位置決めステップにおいて、
前記後続の深度画像から、ＫＬＴ追跡器による前記ｎ個特徴点の追跡を行う特徴点追跡ステップと、
前記オブジェクト連通域のマスク画像情報から、追跡された各特徴点の階級量子化を行い、追跡された各特徴点の重み付けを行う階級量子化ステップと、
追跡特徴点の群分けを行うとともに、群の中心点を算出し、前記オブジェクトの現位置を更新する群分けステップと、を有する請求項１に記載のオブジェクト追跡方法。
【請求項８】
前記特徴点追跡ステップ後で、前記階級量子化ステップ前に、追跡特徴点において特徴点の追跡中の誤差が第２の所定閾値を超えた特徴点の除去を行う第１の除去ステップをさらに有し、
前記階級量子化ステップ後で、前記群分けステップ前に、追跡特徴点において追跡特徴点の重心との間隔が最も大きくなる所定比例数の特徴点の除去を行う第２の除去ステップをさらに有する、請求項７に記載のオブジェクト追跡方法。
【請求項９】
前記群分けステップ後に、オブジェクトの特徴点総数がｎとなるように、また、前記オブジェクト内に位置し、かつ補充後のｎ個特徴点の相互間隔が第１の所定閾値以上になるように、新規特徴点を補充する補充ステップをさらに有する、請求項７に記載のオブジェクト追跡方法。
【請求項１０】
入力された初期深度画像への3次元の連通域解析を行い、前記初期深度画像の連通域リストを取得する連通域取得装置と、
前記初期深度画像におけるオブジェクトの既知の現位置から、前記オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定装置と、
前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡装置と、
前記追跡装置で識別された前記オブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決め装置と、を有する、オブジェクト追跡装置。
【請求項１】
入力された初期深度画像への3次元の連通域解析を行い、前記初期深度画像の連通域リストを取得する連通域取得ステップと、
前記初期深度画像におけるオブジェクトの既知の現位置から、前記オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定ステップと、
前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡ステップと、
前記追跡ステップで識別された前記オブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決めステップと、を有する、オブジェクト追跡方法。
【請求項２】
前記ｎ個特徴点の相互間隔が第１の所定閾値以上であり、前記ｎ個特徴点のそれぞれが、特定の追跡演算子において、隣接画素点のコーナーと区別される、請求項１に記載のオブジェクト追跡方法。
【請求項３】
前記ｎ個特徴点が抽出された前記対応画像部分が、深度画像に位置するか、深度画像と同期する色画像に位置する、請求項２に記載のオブジェクト追跡方法。
【請求項４】
前記追跡ステップにおいて、前記後続の深度画像の連通域リストの各候補連通域から、前記オブジェクトの前回決められた位置に動き予測後の状態変化を加算した結果と類似度が最も高くなる候補連通域を検索し、前記オブジェクトの現在所在するオブジェクト連通域とする、請求項１に記載のオブジェクト追跡方法。
【請求項５】
前記追跡ステップ後に、さらに、前記追跡ステップで識別された前記オブジェクト連通域の前記初期深度画像における前記オブジェクトのイメージ尺度を決定するイメージ尺度決定ステップを有する、請求項１に記載のオブジェクト追跡方法。
【請求項６】
前記イメージ尺度決定ステップにおいて、
前記追跡ステップで識別された前記オブジェクト所在のオブジェクト連通域の平均深度をｄｎとし、前記初期深度画像から決められた前記オブジェクト所在のオブジェクト連通域の平均深度をｄ０とし、前記初期深度画像における前記オブジェクトのイメージ尺度をＳ０とし、前記オブジェクトの前記後続の深度画像におけるイメージ尺度をＳｎとしたとき、Ｓｎ＝ｄ０/ｄｎ*Ｓ０により、前記イメージ尺度を計算する、請求項５に記載のオブジェクト追跡方法。
【請求項７】
前記オブジェクト位置決めステップにおいて、
前記後続の深度画像から、ＫＬＴ追跡器による前記ｎ個特徴点の追跡を行う特徴点追跡ステップと、
前記オブジェクト連通域のマスク画像情報から、追跡された各特徴点の階級量子化を行い、追跡された各特徴点の重み付けを行う階級量子化ステップと、
追跡特徴点の群分けを行うとともに、群の中心点を算出し、前記オブジェクトの現位置を更新する群分けステップと、を有する請求項１に記載のオブジェクト追跡方法。
【請求項８】
前記特徴点追跡ステップ後で、前記階級量子化ステップ前に、追跡特徴点において特徴点の追跡中の誤差が第２の所定閾値を超えた特徴点の除去を行う第１の除去ステップをさらに有し、
前記階級量子化ステップ後で、前記群分けステップ前に、追跡特徴点において追跡特徴点の重心との間隔が最も大きくなる所定比例数の特徴点の除去を行う第２の除去ステップをさらに有する、請求項７に記載のオブジェクト追跡方法。
【請求項９】
前記群分けステップ後に、オブジェクトの特徴点総数がｎとなるように、また、前記オブジェクト内に位置し、かつ補充後のｎ個特徴点の相互間隔が第１の所定閾値以上になるように、新規特徴点を補充する補充ステップをさらに有する、請求項７に記載のオブジェクト追跡方法。
【請求項１０】
入力された初期深度画像への3次元の連通域解析を行い、前記初期深度画像の連通域リストを取得する連通域取得装置と、
前記初期深度画像におけるオブジェクトの既知の現位置から、前記オブジェクト所在の連通域を決定するとともに、該連通域に対応する画像部分におけるｎ個特徴点（ｎは自然数）を決定する初期オブジェクト決定装置と、
前記初期深度画像後に入力される後続の深度画像の3次元の連通域解析を行い、前記後続の深度画像の連通域リストを取得した各候補連通域から、前記オブジェクト所在のオブジェクト連通域を識別する追跡装置と、
前記追跡装置で識別された前記オブジェクト連通域から、前記ｎ個特徴点を追跡し、前記オブジェクトの現位置を更新するオブジェクト位置決め装置と、を有する、オブジェクト追跡装置。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【公開番号】特開２０１３−２０６１６（Ｐ２０１３−２０６１６Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１２−１５１６０８（Ｐ２０１２−１５１６０８）
【出願日】平成２４年７月５日（２０１２．７．５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２４年７月５日（２０１２．７．５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]