人−機械インターフェース装置システム及び方法
【課題】ユーザインターフェースの分野において、人−機械インターフェースの改善されたシステムと方法を提供すること。
【解決手段】３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）を提供するものであり、３Ｄ ＨＭＩは、（１）画像取得アッセンブリと、（２）起動モジュールと、（３）画像分割モジュールと、（４）分割データ処理モジュールと、（５）スコアリングモジュールと、（６）投影モジュールと、（７）適合モジュールと、（８）スコアリング及びエラー検出モジュールと、（９）回復モジュールと、（１０）三次元相関モジュールと、（１１）三次元骨格予測モジュールと、（１２）出力モジュールと、（１３）深度抽出モジュールと、を具える。
【解決手段】３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）を提供するものであり、３Ｄ ＨＭＩは、（１）画像取得アッセンブリと、（２）起動モジュールと、（３）画像分割モジュールと、（４）分割データ処理モジュールと、（５）スコアリングモジュールと、（６）投影モジュールと、（７）適合モジュールと、（８）スコアリング及びエラー検出モジュールと、（９）回復モジュールと、（１０）三次元相関モジュールと、（１１）三次元骨格予測モジュールと、（１２）出力モジュールと、（１３）深度抽出モジュールと、を具える。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００４年７月３０日出願の米国暫定特許出願第６０／５９２，１３６号、２００５年７月３１日出願のＰＣＴ／ＩＬ２００５／０００８１３号、２００５年１０月３１日出願の米国暫定特許出願第６０／７３１，２７４号、２００６年３月２７日出願の米国特許出願第１１／２２７，５７８号、及び２００６年１０月３１日出願のＰＣＴ／ＩＬ２００６／００１２５４号の一部継続出願である。各出願は全体に参照されて組み込まれている。
【０００２】
本発明は、一般的にユーザインターフェースに関するものであり、特に、３Ｄ人−機械インターフェース方法とシステムに関する。
【背景技術】
【０００３】
ソフトウエアの歴史における最大パターンの一つは、計算集約型（ｃｏｍｐｕｔａｔｉｏｎ−ｉｎｔｅｎｓｉｖｅ）デザインから提示集約型（ｐｒｅｓｅｎｔａｔｉｏｎ−ｉｎｔｅｎｓｉｖｅ）デザインへのシフトである。機械はどんどんパワフルになってきているため、発明者はプレゼンテーションにこのパワーの一部を着実に増やすことに労力を費やしていた。この進歩の歴史は、便宜上３つの時代に分けることができる。すなわち、バッチ（１９４５−１９６８）、コマンド−ライン（１９６９−１９８３）、そしてグラフィカル（１９８４以降）である。もちろん、このストーリィはデジタルコンピュータの発明によって始まる。後者の二つの時代の開始日は、活気のある新インターフェース技術がラボラトリから脱け出して、インターフェースに関するユーザの期待を真剣に変え始めた数年である。これらの技術は相互作用的タイムシェアリング技術とグラフィックユーザインターフェース技術であった。
【０００４】
バッチの時代は、計算能力が非常に低く、高価であった。この時代の最も大型のコンピュータがコマンドする、一秒あたりのロジックサイクルは今日の普通のトースターあるいはマイクロウエーブオーブンより少なく、今日の自動車、デジタル時計、携帯電話よりかなり少ないものであった。従って、ユーザインターフェースは未発達であった。逆に、むしろユーザがコンピュータに適用しなくてはならず、ユーザインターフェースは経費がかかると考えられており、ソフトウエアは可能な限り少ない経費でプロセッサを最大利用するように設計されていた。
【０００５】
バッチマシーン用のユーザインターフェースの入力側は主にパンチカードか、あるいは紙テープのような同等の媒体であった。出力側はこれらの媒体にプリンタをつなぐラインを足していた。システムのオペレータコンソールの制限付例外によって、人はバッチマシーンとリアルタイムで相互作用していなかった。
【０００６】
バッチマシーンにジョブを提供することには、まず、プログラムとデータセットを記述したパンチカードのデッキを準備することが含まれていた。プログラムカードのパンチングは、コンピュータ自体では行われず、非常にかさばり、許しがたい、機械的故障が多い特化したタイプライターのような機械で行われていた。ソフトウエアインターフェースも、同様に、可能な限り最小のコンパイラと翻訳者によって、語法を解析するべき構文の意味が非常に制限されているという点で、許しがたいものであった。
【０００７】
カードをパンチすると、このカードをジョブキューに入れて、待つ。結局は、オペレータは、デッキをコンピュータに押し込んで、おそらく、別のデータセットまたはヘルパーソフトウエアを供給する磁気テープを装着する。このジョブは、最終結果あるいは（非常にしばしば）エラーログを付帯する中止通知を含むプリントアウトを行う。うまく稼動すると磁気テープに結果を書き込むこともでき、あるいは、後の計算に用いるデータカードを何枚か作ることができた。
【０００８】
一つのジョブにかかる所要時間は、しばしば数日にも及んだ。非常に運がよければ数時間ですむこともあったが、リアルタイムでの応答は前代未聞のことであった。しかし、カードキューよりひどいことがあった。いくつかのコンピュータでは、コンソールスイッチを用いてバイナリコードのプログラムをトグリングするというよりつまらない、エラーを発生しがちなプロセスが必要であった。
【０００９】
初期のバッチシステムは、コンピュータ全体に現在も稼動しているジョブを与えた。プログラムデッキとテープは、Ｉ／Ｏデバイスと会話するために現在我々がオペレーティングシステムコードと考えているものを持っていなくてはならず、その他のメンテナンスを必要とするものはなんでも行っていた。バッチ時代の中ごろである１９５７年以降は、いわゆる「ロード＆実行」システムを使って様々なグループが実験を開始した。これらのシステムは、コンピュータ内に常にあるモニタープログラムを使用していた。プログラムはサービスとしてモニタをコールすることができた。モニタのもう一つの機能は、提供されたジョブについてより良好なエラーチェックを行い、より早くより賢明にエラーをキャッチして、ユーザにより使いやすいフィードバックを発生することであった。このように、モニタは、オペレーティングシステムと、明確に設計されたユーザインターフェースの両方に向けての第１ステップを代表するものであった。
【００１０】
コマンドラインインターフェース（ＣＬＩｓ）は、システムコンソールに接続されたバッチモニタから発達した。その相互作用モデルは、一連の応答を要求するトランスアクションであり、要求は、特定の語彙の中のテキストコマンドとして表わされていた。待ち時間はバッチシステムの待ち時間よりはるかに大きく、日または時間から秒へと下がった。従って、コマンドラインシステムによって、ユーザは、リアルタイムであるいはほぼリアルタイムで、前の結果に関するフィードバックに応答して、トランスアクション後のステージに対する考えを変えることができた。ソフトウエアは予備的なものであり、以前では不可能であった方法で相互作用した。しかしながら、これらのインターフェースはユーザに比較的重いニーモニック負荷を課し、マスターするのに一連の努力と学習時間を必要とした。
【００１１】
コマンドラインインターフェースは、タイムシェアリングコンピュータの台頭に非常に深く関係していた。タイムシェアリングデータの概念は１９５０年代に戻り、最も有力な初期の実験は、１９６５年以降のＭＵＬＴＩＣＳオペレーティングシステムであり、今日のコマンドラインインターフェースに最も影響のあったものは、１９６９年以降のユニックス自体のオペレーティングシステムであり、これはその後生じたほとんどのシステムに影響を与えた。
【００１２】
初期のコマンドラインシステムは、テレタイプとコンピュータを組み合わせたものであり、人と人の間のワイヤを通じた情報転送の仲介に功を奏した成熟技術に適合したものであった。テレタイプはもともと、自動電信送受信用デバイスとして開発された。テレタイプの歴史は１９０２年にさかのぼり、１９２０年にはすでにニュースルームなどに定着していた。テレタイプを再利用するに当たっては、経済的事項を検討すべきであったが、心理学と驚き最小の法則も同様である。テレタイプは、多くのエンジニアやユーザに親しまれているシステムとのインターフェースポイントを提供した。
【００１３】
１９７０年半ばにビデオディスプレイターミナル（ＶＤＴｓ）が広く採用されたことで、コマンドラインシステムは第２期に入った。これらは、プリンタヘッドやキャリッジが移動するより速く、キャラクタをスクリーンの点状ドットに投影することができたため、待ち時間が更に短くなった。ＶＤＴｓはコスト状況からインクや紙といった消耗品を削減することによって、双方向プログラミングに対する保守的な抵抗を抑え、１９５０年後半及び６０年代の最初のＴＶ世代に対して、１９４０年代のコンピュータパイオニアであったテレタイプより、より象徴的で心地の良いものであった。
【００１４】
アクセス可能なスクリーンの存在と同様に重要なことだが、ソフトウエア設計者が、迅速かつ可逆的に変形できるテキストの２次元ディスプレイが、テキストではなくビジュアルに記載できるインターフェースを展開させるのにコストがかからないようにした。この種のパイオニアであるアプリケーションは、コンピュータゲームとテキストエディタである。ｒｏｇｕｅ（６）やｖｉ（１）などの初期の例のいくつかに近い古い型のものは、いまだにユニックス様式の活電部である。
【００１５】
スクリーンビデオディスプレイは、まったく新規ではなく、１９６１年のＰＤＰ−１と同じように早期に、ミニコンピュータに登場していた。しかし、シリアルケーブルを介して取り付けたＶＤＴｓに移行するまでは、ことのほか高価なコンピュータがアドレス可能なディスプレイを一つだけそのコンソールにサポートすることができた。このような条件下では、ビジュアルＵＩの様式を開発することは困難であった。このようなインターフェースは、全てのコンピュータが少なくとも一時的に単一ユーザ専用に動くことができるというめったにない状況においてのみ生じる偶発的な出来事であった。
【００１６】
１９６２年以来我々が現在グラフィカルユーザインターフェースと呼んでいるものによる散発的な実験と、パイオニアであるＰＤＰ−１のＳＰＡＣＥＷＡＲゲームがあった。このマシーンのディスプレイは、単なるキャラクタターミナルではなく、ベクトルグラフィックスをサポートするために作られた変形オシロスコープであった。ＳＰＡＣＥＷＡＲインターフェースは、主にトグルスイッチを使用するものだったが、初期の原型トラックボールを特徴付けるものでもあり、プレーヤ自身が特注していた。１０年後の１９７０年代初期には、これらの実験がビデオゲーム産業を生み出し、これは実際にＳＰＡＣＥＷＡＲのアーケードバージョンを作成する試みと共に始まった。
【００１７】
ＰＤＰ−１コンソールディスプレイは、２０年早い第２次世界大戦のレーダー表示管から始まったものであり、マサチューセッツ工科大学（ＭＩＴ）のリンカーン研究所におけるミニコンピュータの何人かのキーパイオニアが、かつてのレーダー技術者であったことを反映している。同じ１９６２年に大陸各地で、別のかつてのレーダー技術者が、Ｓｔａｎｆｏｒｄ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅで別の先駆者となり始めていた。彼の名前は、Ｄｏｕｇ Ｅｎｇｅｌｂａｒｔである。彼は、これらの非常に初期のグラフィカルディスプレイによる個人的な経験と、１９４５年に現在ハイパーテキストとよんでいるビジョンを与えたＶａｎｎｅｖａｒ ＢｕｓｈのゼミナールエッセイであるＡｓ Ｗｅ Ｍａｙ Ｔｈｉｎｋの両方から着想を得た。
【００１８】
１９６８年１２月に、ＥｎｇｅｌｂａｒｔとＳＲＩの彼のチームは、最初のハイパーテキストシステムである、ＮＬＳ／Ａｕｇｕｍｅｎｔについて、９０分間の公開デモンストレーションを行った。このデモンストレーションは、スリーボタンマウス（Ｅｎｇｅｌｂａｒｔの発明）と、マルチウインドインターフェースのグラフィカルディスプレイと、ハイパーリンクと、スクリーン上でのビデオコンファレンスの初公開を含むものであった。このデモは、１９９１年のＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂの発明まで、および、この発明を含めて、４半世紀の間コンピュータサイエンス界に鳴り響いいたセンセーションであった。
【００１９】
このように、１９６０年初期には、グラフィカルプレゼンテーションが、ユーザを引き付けたことはすでによく理解されていた。マウスと同等のポインティングデバイスがすでに発明されており、１９６０年代後半の多くの大型汎用コンピュータは、ＰＤＰ−１に匹敵するディスプレイ容量を有していた。著者の一人は、２００４年現在購入するとすれば４千５百万ドル近くかかるであろうＵｎｉｖａｃ１１０８のコンソールで、１９６８年の非常に初期の別のビデオゲームをプレイすることについて鮮やかな記憶を有している。しかし、４千５百万ドルでは、対話形式画像の実際のカスタマはほんの数人でしかなかった。ＮＬＳ／Ａｕｇｍｅｎｔシステムのカスタムハードウエアはそれほど高価ではなかったが、それでも一般的な使用には手が出せないほど高かった。１万ドルであるＰＤＰ−１ですらも、図形処理プログラミングの様式を設立するには高すぎるマシーンであった。
【００２０】
ビデオゲームはコンピュータより早く巨大マーケットデバイスとなった。なぜなら、ゲームは非常に安価で簡単なプロセッサで、ハードワイヤに組み込まれたプログラムを稼動するためである。しかし、汎用目的のコンピュータでは、オシロスコープディスプレイが進化の終端に来た。コンピュータとの通常のインタラクションに、グラフィカルな、ビジュアルインターフェースを使用する概念は、数年を待たなくては成らず、実際のところ１９７０年後半のシリアルラインキャラクターＶＤＴの最新式グラフィックス可能なバージョンによって到来した。
【００２１】
１９７０年代の最も初期のＰＡＲＣシステム以来、ＧＵＩｓの設計は、ＡｌｔｏがさきがけとなったＷＩＭＰ（Ｗｉｎｄｏｗｓ，ｉｃｏｎｓ，Ｍｉｃｅ，Ｐｏｉｎｔｅｒ）モデルと呼ばれるようになったものによってほぼ完全に支配された。次の数十年にわたってコンピューティングとディスプレイハードウエアに大きな変化が生じたことを考えると、ＷＩＭＰを超えて考えることは驚くほど困難である。
【００２２】
いくつかの試みがなされている。おそらく、最も際立った試みは、ＶＲ（バーチャルリアリティ）インターフェースである。このインターフェースではユーザは没入グラフィカル３−Ｄ環境を移動し、その中でジェスチュアする。ＶＲは、１９８０年半ばから大きなリサーチコミュニティを引き付けた。これらをサポートする計算能力はもはや高価なものではないが、物理的なディスプレイデバイスは、ＶＲに２００４年における一般的な使用を超えた法外な値を付けている。より基本的な問題は、フライトシュミレータの設計者にはおなじみであるが、ＶＲが人間固有の感覚システムを混乱させる方法であることである。むしろ普通の速度でのＶＲの動きが、脳が動きの視覚的シミュレーションを体の現実の世界の動きについての内示の報告と一致させようとするため、めまいや吐き気を引きおこすことがある。
【００２３】
Ｊｅｆ ＲａｓｋｉｎのＴＨＥ（Ｔｈｅ Ｈｕｍａｎｅ Ｅｎｖｉｒｏｎｍｅｎｔ）プロジェクトは、ＧＵＩｓのズームワールドモデルを調査したものであり、３Ｄに行くことなく空間化することを述べている。ＴＨＩでは、スクリーンが２Ｄバーチャルワールドのウインドになり、そこでデータとプログラムが空間的位置によって組織化される。このワールドのオブジェクトは、基準面の上の高さに応じて細かな数種のレベルで表わすことができ、最もベーシックな選択動作は、ズームインとそこへの上陸である。
【００２４】
エール大学のＬｉｆｅｓｔｒｅａｍｓプロジェクトは、実際、ＧＵＩを脱空間化させるといった、完全に反対の方向に進んでいる。ユーザのドキュメントは、修正日によって組織化されたある種のワールドラインあるいは一時的なストリームとして表わされ、様々な方法でフィルタにかけることができる。
【００２５】
これらの３つのアプローチはすべて、ものに名前を付けることや、参照の主な形式として名称を用いることを回避するようにしたコンテキストを支持して、従来のファイルシステムを切り捨てるものである。このことは、最も長続きしており有効な特徴の一つであると思われるユニックスのアーキテクチュアのファイルシステムと階層名前空間に、これらのアプローチを合致させるのを困難にしている。それにもかかわらず、これらの初期の実験の一つは、いまだに、ＮＬＳ／ＡｕｇｍｅｎｔのＥｎｇｅｌｂａｒｔの１９６８年のデモと同じゼミナールであることがわかる。
【発明の概要】
【発明が解決しようとする課題】
【００２６】
ユーザインターフェースの分野では、人−機械インターフェースの改善されたシステムと方法が求められている。
【課題を解決するための手段】
【００２７】
本発明の実施例によれば、３Ｄ人機械インターフェース（「３Ｄ ＨＭＩ」）が提供されており、この３ＤＨＭＩは、（１）画像取得アッセンブリ、（２）起動モジュール、（３）画像分割モジュール、（４）分割データ処理モジュール、（５）スコアリングモジュール、（６）投影モジュール、（７）適合モジュール、（８）スコアリング及びエラー検出モジュール、（９）回復モジュール、（１０）三次元相関モジュール、（１１）三次元骨格予測モジュール、及び（１２）出力モジュール、とを具える。
【００２８】
本発明の実施例によれば、画像取得アセンブリは画像セットを取得するように構成することができ、ここで、実質的に各画像は異なる時点で使用される。本発明の更なる実施例では、この画像は、単一のユーザに関するもの、あるいは複数ユーザに関するものである。
【００２９】
本発明の実施例によれば、起動モジュールは、ユーザの（１）色、（２）器官パラメータ、環境、及びユーザに関連するその他のパラメータを検出して規定するように構成することができる。
【００３０】
本発明の実施例によれば、ユーザは人及び／又は動物及び／又はそのフレームに入る移動物体であってもよい。
【００３１】
本発明の実施例によれば、画像分割モジュールは、画像から分割したデータを抽出するように構成することができる。本発明の更なる実施例によれば、この分割したデータも：
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
【００３２】
本発明の実施例によれば、分割データ処理モジュールは、分割データを処理するように構成することができる。本発明の更なる実施例によれば、分割データは以下の方法で処理することができる：
・色−既知の色パラメータを用いて、要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
【００３３】
本発明の実施例によれば、分割データ処理モジュールは、器官の相対的サイズの偏差に応じて、画像取得アッセンブリからの器官の距離の偏差を検出するように構成されている。
【００３４】
本発明の実施例によれば、スコアリングモジュールは、（１）処理済分割データを検査する、（２）処理済分割データの品質を予測する、およびこの品質に応じて、分割データのどの部分がＨＭＩシステムによって使用するのに十分に信頼できるかを決定する、ように構成することができる。
【００３５】
本発明の実施例によれば、三次元骨格予測モジュールが、処理画像の最良の合致あるいは関係を有する三次元骨格の位置を予測するように構成することができる。
【００３６】
本発明の実施例によれば、三次元予測モジュールが、使用する骨格のタイプから得る制約、例えば、骨格が人間の指であるかどうか、骨格のヘッドが３６０度回転できるかどうか、といった制約を使用することができる。
【００３７】
本発明の更なる実施例によれば、三次元予測モジュールは、動的及び動作プロセスセットを用いて、三次元骨格の位置を予測することもできる。
【００３８】
本発明の実施例によれば、投影モジュールは、画像上に骨格を投影するように構成することができる。本発明の更なる実施例によれば、この投影を２次元平面に適用することができる。
【００３９】
本発明の実施例によれば、適合モジュールを投影した骨格に分割データを適合させるように構成することができる。本発明の更なる実施例によれば、適合モジュールは、分割データの部分を投影した骨格の部分に関連付けるように構成することができる。
【００４０】
本発明の実施例によれば、スコアリング及びエラー検出モジュールは、（１）分割データに関連付けた後処理した骨格を検査し、（２）前記骨格の適合品質を試験し、（３）骨格予測プログラムあるいは分割データの関連付けの間にエラーが発生したかどうかを決定する、ように構成することができる。
【００４１】
本発明の実施例によれば、回復モジュールは、検出したエラーから回復するように構成することができる。本発明の更なる実施例によれば、回復は、画像を再分割し、３Ｄ骨格移動歴をもちいて、正しい位置を再度予測し、３Ｄ骨格を再度投影して再度適合させる、多段処理層のプロセスであっても良い。回復モジュールは、画像情報が破損している場合、フレームをスキップするよう決定することもできる。
【００４２】
本発明の実施例によれば、三次元相関モジュールは、適合骨格の位置に応じて三次元骨格の位置を更新するように構成することができる。
【００４３】
本発明の更なる実施例によれば、前記更新プロセスは、適合骨格上の三次元３Ｄ骨格に関連し、３Ｄ骨格と適合骨格間を適合させ、３Ｄ骨格を適正な位置に更新する。
【図面の簡単な説明】
【００４４】
本発明に関する主題は、本明細書の最終部分に特に指摘されており、明確に請求されている。しかしながら、本発明は、組織と操作方法の両方に関するものであり、その対象、特徴、および利点とともに、添付する図面とともに以下の詳細な説明を参照して読むことによって最もよく理解されるであろう。
【図１】図１は、本発明の実施例によるシステムを記載したブロック図である。
【図２】図２は、本発明の実施例によるＨＭＩシステムのステップを記載したフローチャートである。
【図３】図３は、本発明の実施例によるシステムを記載したブロック図である。
【図４】図４は、本発明の実施例によるＨＭＩシステムのステップを記載したフローチャートである。
【図５】図５は、本発明の実施例によるシステムを記載したブロック図である。
【図６】図６は、本発明の実施例によるＨＭＩシステムのステップを記載したフローチャートである。
【００４５】
図を単純かつ明確なものにするために、図面に示す要素はスケールどおりである必要はない。例えば、いくつかの要素の寸法は、明確にするために他の要素に対して誇張するようにしても良い。更に、対応するあるいは類似の要素を表示するに当たり、図面間で符号を繰り返し使用することがある。
【発明を実施するための形態】
【００４６】
以下の詳細な説明において、本発明を完全に理解できるようにするため、数値で特定して詳細を示すようにしている。しかしながら、当業者には、本発明がこれらの特定な詳細なしでも理解できることは明らかである。その他の場合、公知の方法、手順、構成要素および回路は、詳細には説明されていないが、本発明を不明瞭にしない程度には説明されている。
【００４７】
特に述べられていない限り、以下の説明から明らかなとおり、本明細書を通じて、「処理する」「コンピュータで計算する」「計算する」「決定する」などの用語を用いた説明は、コンピュータまたはコンピュータシステム、または、同様の電子コンピュータ装置の動作及び／又はプロセスを意味し、これは、コンピュータシステムのレジスタ及び／又はメモリ内の電子などの物理的量として表わされるデータを、コンピュータシステムのメモリ、レジスタあるいはその他の情報保存、転送あるいは表示する装置内の物理量として同様に表わされたその他のデータに、操作する及び／又は変形する。
【００４８】
本発明の実施例は、ここに述べる動作を実行する装置を含むものである。この装置は、所望の目的のために特別に構成されているか、あるいは、コンピュータに保存されているコンピュータプログラムによって選択的に達成されるあるいは再構築される、汎用目的のコンピュータを具えていても良い。このようなコンピュータプログラムは、限定するものではないが、フロッピィディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電子的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能かつプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、磁気あるいは光カード、あるいは電子インストラクションの保存に適したその他の媒体、を含むあらゆるタイプのディスクなど、コンピュータで読み取り可能で、コンピュータシステムバスに接続可能なストレージ媒体に保存することができる。
【００４９】
本発明の実施例によれば、３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）が提供されており、この３Ｄ ＨＭＩは、（１）画像取得アッセンブリと、（２）起動モジュールと、（３）画像分割モジュールと、（４）分割データ処理モジュールと、（５）スコアリングモジュールと、（６）投影モジュールと、（７）適合モジュールと、（８）スコアリング及びエラー検出モジュールと、（９）回復モジュールと、（１０）三次元相関モジュールと、（１１）三次元骨格予測モジュールと、及び（１２）出力モジュール、とを具える。
【００５０】
本発明の実施例によれば、画像取得アッセンブリは、画像セットを取得するように構成されており、このアッセンブリでは、各画像が実質的に異なる時点で使用される。本発明の更なる実施例では、画像は単独ユーザに関するものであっても良く、あるいは複数ユーザに関するものであっても良い。
【００５１】
本発明の実施例によれば、起動モジュールは、ユーザの（１）色、（２）組織パラメータ、環境、及びユーザに関連するその他のパラメータを検出して規定し、次のステップにおいて画像分割の最良の方法（スレッシュホールド、各画像分割についてのスコア、その他）を決定するように構成することができる。
【００５２】
本発明の実施例によれば、画像分割モジュールは、画像から分割データを抽出するように構成されている。本発明の更なる実施例によれば、この分割データは：
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
【００５３】
本発明の実施例によれば、分割画像処理モジュールは、分割データを処理するように構成されている。本発明の更なる実施例によれば、この分割データは：
・色−既知の色パラメータを用いて要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動する要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
といった方法で処理を行うことができる。
【００５４】
本発明の実施例によれば、スコアリングモジュールは、（１）処理した分割データを検証する、（２）処理した分割データの品質を予測する、そして、この品質に応じて（３）分割データのどの部分がＨＭＩシステムによって使用するにたるほど信頼性があるかを決定する。
【００５５】
本発明の実施例によれば、三次元骨格予測モジュールは、処理画像に最も合致するあるいは最も関連性の高い三次元骨格の位置を予測するように構成することができる。
【００５６】
本発明の更なる実施例によれば、三次元予測モジュールは、使用した骨格のタイプから得た制限を使用することができる。例えば、骨格が人の形であれば、骨格のヘッドは３６０度回転することができない。
【００５７】
本発明の更なる実施例によれば、三次元予測モジュールは、動的かつ移動プロセスセットを用いて、三次元骨格の位置を予測することができる。
【００５８】
本発明の実施例によれば、投影モジュールは、画像上に骨格を投影するように構成することができる。本発明の更なる実施例によれば、この投影を二次元平面に適用することができる。
【００５９】
本発明の実施例によれば、適合モジュールは、分割データを投影した骨格に適合させるように構成することができる。本発明の更なる実施例によれば、適合モジュールは、分割データの部分を投影した骨格の部分に関連させるように構成することができる。
【００６０】
本発明の実施例によれば、スコアリング及びエラー検出モジュールは、（１）処理した骨格を分割データに関連付けた後、この骨格を試験して、（２）当該骨格の適合品質を評価して、（３）骨格予測プロセスまたは分割データの関連付けを行う間にエラーが生じたか否かを決定する、ように構成することができる。
【００６１】
本発明の実施例によれば、回復モジュールは、検出したエラーから回復するように構成することができる。本発明の更なる実施例によれば、この回復は層の処理、画像の再分割、３Ｄ骨格の移動歴を用いて正しい位置の予測、３Ｄ骨格の再適合といった複数のプロセスである。回復モジュールは、画像情報が破損した場合フレームをスキップするよう決定することもできる。
【００６２】
本発明の実施例によれば、三次元相関モジュールは、適合した骨格の位置に応じて三次元骨格の位置を更新するように構成することができる。
【００６３】
本発明の更なる実施例によれば、前記更新プロセスが３Ｄ骨格を適合した骨格上に関連付け、３Ｄ骨格と適合した骨格間を適合させ、３Ｄ骨格を正しい位置に更新する。
【００６４】
図１に戻ってこれを参照すると、本発明の実施例による例示的ＨＭＩシステムが示されており、このシステムは、このようなＨＭＩシステムのステップを記載したフローチャートである図２に最もよく記載されている。
【００６５】
本発明の実施例によれば、図１は、３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）を示す図であり、この３Ｄ ＨＭＩは、（１）画像取得アッセンブリ１０００と、（２）起動モジュール１１００と、（３）画像分割モジュール１２００と、（４）分割データ処理モジュール１３００と、（５）スコアリングモジュール１４００と、（６）投影モジュール１４５０と、（７）適合モジュール１５００と、（８）スコアリング及びエラー検出モジュール１５５０と、（９）回復モジュール１６００と、（１０）三次元相関モジュール１７００と、（１１）三次元骨格予測モジュール１８００と、（１２）出力モジュール１９００と、を具える。
【００６６】
本発明の実施例によれば、画像取得アッセンブリは、ステップ２０００に記載のように、画像セットを取得するように構成されており、この画像セットの各画像は実質的に異なる時点で使用される。本発明の更なる実施例によれば、この画像は、単一のユーザまたは複数ユーザの画像である。
【００６７】
本発明の更なる実施例によれば、画像取得アッセンブリは、デジタルカメラと、ウェブカメラと、フィルムカメラと、ビデオカメラと、ウェブカメラと、デジタルビデオカメラと、アナログビデオカメラと、ステレオ−カメラ及び／又は今日知られているあるいは将来出てくるであろうその他のカメラを具えていても良い。
【００６８】
本発明の実施例によれば、システムが一またはそれ以上の画像を取得した後、システムが起動モジュール１１００で実行される起動フェーズであるステップ２１００に入る。起動モジュールは、ユーザの、（１）色、（２）組織パラメータ、（３）環境、及び、ユーザに関連するその他のパラメータを検出して規定するように構成されている。
【００６９】
本発明の実施例によれば、ステップ２２００に示すように、システムは分割データを抽出するように構成されている。この分割データは、
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
【００７０】
本発明の更なる実施例によれば、画像分割モジュール１２００は、この画像から分割データを抽出するように構成されている。
【００７１】
本発明の実施例によれば、ステップ２３００に示すように、システムが分割データを処理するように構成されている。本発明の更なる実施例によれば、この分割データは：
・色−既知の色パラメータを用いて要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動する要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
といった方法で処理を行うことができる。
【００７２】
本発明の更なる実施例によれば、分割データ処理モジュール１３００は、分割データを処理するように構成されている。
【００７３】
本発明の実施例によれば、このシステムは、ステップ２４００に示すように、分割データの品質を評価するように構成されており、この評価は、（１）処理した分割データを検査するステップ、（２）処理した分割データの品質を予測するステップ、及び、この予測した品質によって（３）分割データのどの部分がＨＭＩシステムによって使用するのに十分に信頼性があるかどうかを決定するステップ、とによって行われる。
【００７４】
本発明の更なる実施例によれば、スコアリングモジュール１４００は、分割した情報の品質を評価するように構成されている。
【００７５】
本発明の更なる実施例によれば、このシステムは、ステップ２８００に示すように、三次元骨格の位置を予測するように構成されており、この位置は、処理した画像に最も合致するあるいは処理した画像と相関する。本発明の更なる実施例によれば、この予測は、使用した骨格のタイプから取り出した制限を用いてより正確に行われる。制限は、例えば、骨格が人の形であれば、骨格の頭部は、肩の動きなしでは３６０度回転することができないといったものである。
【００７６】
本発明の実施例によれば、予測シーケンスは動的な動きプロセス、その他のセットを使用することができる。
【００７７】
本発明の実施例によれば、三次元骨格予測モジュール１８００は、三次元骨格の位置を予測するように構成されている。
【００７８】
本発明の実施例によれば、このシステムは、更に、ステップ２４５０に示すように、画像上に骨格を投影するように構成することができる。本発明の更なる実施例によれば、この投影は、２次元平面に適用することができる。
【００７９】
本発明の実施例によれば、この投影モジュール１４５０は、画像上に骨格を投影するように構成することができる。
【００８０】
本発明の実施例によれば、このシステムは更に、ステップ２５００に示すように、投影した骨格を用いて、分割データを適合させるように構成することができる。本発明の更なる実施例によれば、この適合プロセスは、投影した骨格の部分と分割データの部分とを関連づけるステップを具えていても良い。
【００８１】
本発明の実施例によれば、分割データの適合ステップが、抽出した分割データを現在の骨格パラメータと関連づけるステップを具えており、この現在の骨格パラメータは、抽出した分割データの関連する部分を支持する。
【００８２】
本発明の更なる実施例によれば、この処理の結果が「適合した骨格」である。
【００８３】
本発明の更なる実施例によれば、適合モジュール１５００は、分割データを投影した骨格に関連づけるように構成されている。
【００８４】
本発明の実施例によれば、このシステムは更にステップ２５５０に示すように、適合した骨格にスコアをつけて、エラーを検出するように構成されている。本発明の実施例によれば、スコアを付けてエラーを検出するステップは、（１）適合した骨格を検査するステップと、（２）この骨格の適合品質を評価するステップと、（３）骨格予測プロセスあるいは分割データの関連づけを行う間にエラーが生じたかどうかを決定するステップと、を具える。
【００８５】
本発明の実施例によれば、このスコアリング及びエラー検出モジュール１５５０は、スコアを付けてエラーを検出するように構成されている。
【００８６】
本発明の実施例によれば、ステップ２５５０においてエラーが検出されると、ステップ２６００に示すようにシステムが回復フェーズに入る。この回復プロセスは、複数の処理層でなるプロセスである。
【００８７】
本発明の実施例によれば、回復フェーズは、画像の再分割ステップ、３Ｄ骨格位置の再予測、拡張エフォートを用いた骨格の再投影及び再適合ステップを具える。本発明の更なる実施例によれば、この拡張モジュールは、画像情報が壊れている場合一又はそれ以上のフレームをスキップするよう決定することができる。
【００８８】
本発明の実施例によれば、回復を行う間にシステムは、そのフレームに対象のトラッキングがないことを検出するよう構成されている。本発明の更なる実施例によれば、システムは、対象がそのフレームに戻るまで一またはそれ以上のフレームをスキップするよう構成することができる。
【００８９】
本発明の更なる実施例によれば、回復フェーズは、起動ステップにシステムを戻すことができる。
【００９０】
本発明の実施例によれば、回復モジュール１６００は、回復プロセスを実行するように構成されている。
【００９１】
本発明の実施例によれば、ステップ２５５０の間にエラーが検出されなければ、システムは、ステップ２７００に示すように、適合骨格の位置に応じて三次元骨格の位置を更新するように構成することができる。本発明の更なる実施例によれば、更新プロセスは、（１）適合骨格の上に３Ｄ骨格を投影するステップと、（２）３Ｄ骨格を適合骨格に関連付けるステップと、（３）３Ｄ骨格の位置を更新するステップと、を具える。
【００９２】
本発明の実施例によれば、三次元相関モジュール１７００は、三次元骨格の位置を更新するように構成することができる。
【００９３】
本発明の実施例によれば、三次元相関モジュール１７００と骨格予測モジュール１８００は、本出願と同じ譲受人に譲渡された、２００５年７月３１日に出願されたＰＣＴ出願、ＰＣＴ／ＩＬ２００５／０００８１３号に記載のアルゴリズムとプロセスのいくつかあるいは全てを用いることができる。
【００９４】
図３を参照すると、本発明の実施例による例示的ＨＭＩシステムが示されている。このシステムは、ＨＭＩシステムのステップを記載したフローチャートが示されている図４に関連付けて最もよく述べられている。
【００９５】
本発明の実施例によれば、図３は、３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）を示すものであり、この３Ｄ ＨＭＩは、（１）Ｚｌｅｎｓ画像取得アッセンブリ３０００と、（２）起動モジュール３１００と、（３）画像分割モジュール３２００と、（４）分割データ処理モジュール３３００と、（５）適合モジュール３５００と、（６）スコアリングモジュール３５５０と、（７）三次元相関モジュール３７００と、（８）出力モジュール３９００と、を具えている。
【００９６】
本発明の実施例によれば、Ｚｌｅｎｓ取得アッセンブリは、ステップ４０００に見られるように、画像セットを取得するように構成されており、各画像は実質的に異なる時間に使用している。本発明の更なる実施例によれば、画像は単一のユーザあるいは複数ユーザのものでも良い。
【００９７】
本発明の実施例によれば、Ｚｌｅｎｓ取得アッセンブリは、例えば、図１の要素１０００である、別の画像取得アッセンブリに乗せるようにしても良い。
【００９８】
本発明の更なる実施例によれば、Ｚｌｅｎｓ取得アッセンブリ（３０００）は、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６/００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに関連して最もよく述べられている。
【００９９】
本発明の実施例によれば、システムは更に、ステップ４１００に示すように起動モジュール３１００によって実行される起動フェーズに入るように構成されている。この起動モジュールは、（１）色、（２）器官パラメータ、環境、及び（３）ユーザに関連するその他のパラメータを検出して規定するように構成することができる。
【０１００】
本発明の実施例によれば、システムは、ステップ４２００に示すように、分割データを抽出するように構成することができ、この分割データは：
・色
・動き
・エッジ検出
・テキスチュア
を具える。
【０１０１】
本発明の更なる実施例によれば、画像分割モジュール３２００は、画像から分割データを抽出するように構成されている。
【０１０２】
本発明の実施例によれば、このシステムは、ステップ４３００に示すように分割データを処理するように構成されている。本発明の更なる実施例によれば、分割データは以下のように処理される：
・色−既知の色のパラメータを用いて、要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひら及び顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−各器官の輪郭を検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
【０１０３】
本発明の更なる実施例によれば、分割データ処理モジュール３３００は、分割データを処理するように構成されている。
【０１０４】
本発明の実施例によれば、本システムは更に、ステップ４５００に示すように、抽出した分割データの部分を取得した画像に適合させるように構成することができる。本発明の更なる実施例によれば、この適合プロセスは、抽出した分割データの部分を、取得した画像の専用領域に関連付けるステップを具えていても良い。
【０１０５】
本発明の更なる実施例によれば、この専用領域は、システム中に保存する、あるいは起動フェーズ中に決定することができる。本発明の更なる実施例によれば、この専用領域は、ユーザの特定の器官（手、頭、足）であっても良く、あるいは３０００で取得できるその他の要素であってもよい。
【０１０６】
本発明の更なる実施例によれば、適合プロセスは、抽出した分割データが、専用領域に関連するパラメータを決定したかどうかを試験するステップを具えていても良い。
【０１０７】
本発明の更なる実施例において、適合モジュール３５００は、分割データの部分を取得した画像に関連付けるように構成することができる。
【０１０８】
本発明の更なる実施例によれば、このプロセスの出力が「適合画像」である。
【０１０９】
本発明の実施例によれば、このシステムは、更に、ステップ４５５０に示すように、適合分割データの品質を評価するように構成することができる。本発明の実施例によれば、適合分割データの品質を評価するステップは、（１）処理した分割データを検査するステップと、（２）処理した分割データの品質を予測するステップと、この予測した品質によって（３）分割データのどの部分がＨＭＩシステムによって使用するのに十分に信頼性があるかを決定するステップと、（４）適合イメージを検査するステップと、（５）この画像の適合品質を評価するステップと、（６）分割データの関連付けを行う間にエラーが生じたかどうかを決定するステップと、を具える。
【０１１０】
本発明の実施例によれば、スコアリングモジュール３５５０は、適合分割データの品質を評価するように構成されている。
【０１１１】
本発明の更なる実施例によれば、このシステムはエラー検出メカニズムと、上述したとおりの回復メカニズムを具える。
【０１１２】
本発明の実施例によれば、このシステムは、ステップ４７００に示すように、Ｚｌｅｎｓ画像取得アッセンブリを用いて、適合画像と深度マップの外挿によって三次元身体の位置を更新するように構成することができる。本発明の更なる実施例によれば、この更新プロセスは、抽出した深度マップを、抽出した分割データに関連付けるステップと、出力モデルの三次元身体の位置を更新するステップと、を具える。
【０１１３】
本発明の実施例によれば、三次元相関モジュール３７００は、三次元身体の位置を更新するように構成されている。
【０１１４】
本発明の実施例によれば、三次元相関モジュール３７００と、Ｚｌｅｎｓ画像取得アッセンブリ３０００の機能性、特に、Ｚｌｅｎｓ装置を用いて取得した画像が、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６／００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに関連して最もよく述べられている。
【０１１５】
図５を参照すると、本発明の実施例による例示的ＨＭＩシステムが示されており、このシステムは、ＨＭＩシステムのステップを記載したフローチャートである図６に関連して最もよく述べられている。
【０１１６】
本発明の実施例によれば、図５は、３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）を示す図であり、この３Ｄ ＨＭＩは、（１）Ｚｌｅｎｓ取得アッセンブリ５０００と、（２）起動モジュール５１００と、（３）画像分割モジュール５２００と、（４）分割データ処理モジュール５３００と、（５）スコアリングモジュール５４００と、（６）投影モジュール５４５０と、（７）適合モジュール５５００と、（８）スコアリング及びエラー検出モジュール５５５０と、（９）回復モジュール５６００と、（１０）三次元相関モジュール５７００と、（１１）三次元骨格予測モジュール５８００と、（１２）出力モジュール５９００と、選択的に（１３）深度抽出モジュール５０５０と、を具えている。
【０１１７】
本発明の実施例によれば、Ｚｌｅｎｓ取得アッセンブリは、ステップ６０００に見られるように、画像セットを取得するように構成されており、各画像は実質的に異なる時間で使用されている。本発明の更なる実施例によれば、画像は単一のユーザあるいは複数ユーザのものでも良い。
【０１１８】
本発明の実施例によれば、Ｚｌｅｎｓ取得アッセンブリは、例えば、図１の要素１０００である、別の画像取得アッセンブリ上に乗せるようにしても良い。
【０１１９】
本発明の更なる実施例によれば、Ｚｌｅｎｓ取得アッセンブリ（５０００）は、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６／００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに関連して最もよく述べられている。
【０１２０】
本発明の実施例によれば、システムが一またはそれ以上の画像を取得した後、システムは更に、起動モジュール５１００によって実行される起動フェーズステップ６１００に入るように構成されている。この起動モジュールは、（１）色、（２）器官パラメータ、（３）環境、及びユーザに関連するその他のパラメータを検出して規定するように構成することができる。
【０１２１】
本発明の実施例によれば、システムは、ステップ６２００に示すように、分割データを抽出するように構成することができ、この分割データは：
・色
・動き
・エッジ検出
・テキスチュア
を具える。
【０１２２】
本発明の更なる実施例によれば、画像分割モジュール５２００は、画像から分割データを抽出するように構成されている。
【０１２３】
本発明の実施例によれば、このシステムは、ステップ６３００に示すように分割データを処理するように構成されている。本発明の更なる実施例によれば、分割データは以下のように処理される：
・色−既知の色のパラメータを用いて、要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひら及び顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−各器官の輪郭を検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
【０１２４】
本発明の更なる実施例によれば、分割データ処理モジュール５３００は、分割データを処理するように構成されている。
【０１２５】
本発明の実施例によれば、このシステムは、ステップ６４００に示すように、分割データの品質を評価するように構成することができる。この評価は、（１）処理した分割データを検査するステップと、（２）処理した分割データの品質を予測するステップと、この予測した品質によって（３）分割データのどの部分がＨＭＩシステムによって使用するのに十分に信頼性があるかを決定するステップと、を具える。
【０１２６】
本発明の実施例によれば、スコアリングモジュール５４００は、分割情報の品質を評価するように構成されている。
【０１２７】
本発明の更なる実施例によれば、このシステムは、ステップ６８００に示すように、処理した画像に最も合致するあるいは処理した画像と相関する三次元骨格の位置を予測するように構成されている。本発明の更なる実施例によれば、この予測は、使用した骨格のタイプから取り出した制限を用いてより正確に行われる。制限は、例えば、骨格が人の形であれば、骨格の頭部は、肩の動きなしでは３６０度回転することができないといったものである。
【０１２８】
本発明の実施例によれば、予測シーケンスは動的な動きプロセスのセットを使用することができる。
【０１２９】
本発明の実施例によれば、三次元骨格予測モジュール５８００は、三次元骨格の位置を予測するように構成されている。
【０１３０】
本発明の更なる実施例によれば、このシステムは更に、ステップ６０５０に示すように、Ｚｌｅｎｓ取得アッセンブリを用いて、深度を抽出するように構成することができる。このＺｌｅｎｓ取得アッセンブリは、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６／００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに記載されている。
【０１３１】
本発明の実施例によれば、深度抽出モジュール５０５０は、取得画像から深度を抽出するように構成されている。
【０１３２】
本発明の実施例によれば、システムは更に、ステップ６４５０に示すように画像上に骨格を投影するように構成することができる。本発明の更なる実施例によれば、この投影を２次元平面に適用することができる。
【０１３３】
本発明の更なる実施例によれば、モジュール５０５０を用いる場合は、この投影を三次元平面に適用することができる。
【０１３４】
本発明の実施例によれば、この投影は三次元平面及び／又は三次元点群の上にあってもよい。
【０１３５】
本発明の実施例によれば、投影モジュール５４５０は、骨格を画像上に投影するように構成することができる。
【０１３６】
本発明の実施例によれば、このシステムは更に、ステップ６５００に示すように、分割データを投影した骨格に適合させるように構成することができる。本発明の更なる実施例によれば、この適合プロセスは、分割データの部分の投影した骨格の部分への関連付けを具えていても良い。
【０１３７】
本発明の実施例によれば、分割データの適合ステップが、抽出した分割データを現在の骨格パラメータと関連づけるステップを具えており、現在の骨格パラメータは、抽出した分割データの関連する部分を支持するパラメータである。
【０１３８】
本発明の更なる実施例によれば、この処理の結果が「適合骨格」である。
【０１３９】
本発明の更なる実施例によれば、適合モジュール５５００は、分割データを投影した骨格に関連づけるように構成されている。
【０１４０】
本発明の実施例によれば、このシステムは更にステップ６５５０に示すように、適合した骨格にスコアをつけて、エラーを検出するように構成されている。本発明の実施例によれば、スコアを付けてエラーを検出するステップは、（１）適合した骨格を検査するステップと、（２）この骨格の適合品質を評価するステップと、（３）骨格予測プロセスあるいは分割データの関連づけを行う間にエラーが生じたかどうかを決定するステップと、を具える。
【０１４１】
本発明の実施例によれば、このスコアリング及びエラー検出モジュール５５５０は、スコアを付けてエラーを検出するように構成されている。
【０１４２】
本発明の実施例によれば、ステップ６５５０においてエラーが検出されると、ステップ６６００に示すようにシステムが回復フェーズに入る。この回復プロセスは、複数の処理層からなるプロセスである。
【０１４３】
本発明の実施例によれば、回復フェーズは、画像の再分割ステップ、３Ｄ骨格位置の再予測、拡張エフォートを用いた骨格の再投影及び再適合ステップを具える。本発明の更なる実施例によれば、この回復モジュールは、画像情報が壊れている場合一又はそれ以上のフレームをスキップするよう決定することができる。
【０１４４】
本発明の実施例によれば、回復を行う間システムは、そのフレームに対象のトラッキングがないことを検出するよう構成されている。本発明の更なる実施例によれば、システムは、対象がそのフレームに戻るまで一またはそれ以上のフレームをスキップするよう構成することができる。
【０１４５】
本発明の実施例によれば、回復フレーズは、システムを起動ステップに戻すことができる。
【０１４６】
本発明の実施例によれば、回復モジュール５６００は、回復プロセスを実行するように構成されている。
【０１４７】
本発明の実施例によれば、ステップ６５５０の間にエラーが検出されなければ、システムは、ステップ６７００に示すように、適合骨格の位置に応じて三次元骨格の位置を更新するように構成することができる。本発明の更なる実施例によれば、この更新プロセスは、（１）適合骨格の上に３Ｄ骨格を投影するステップと、（２）三次元骨格を適合骨格に関連付けるステップと、（３）Ｚｌｅｎｓアッセンブリを用いて深度を抽出するステップと、（４）三次元骨格を深度パラメータに関連付けるステップと、（５）３Ｄ骨格の位置を更新するステップと、を具える。
【０１４８】
本発明の実施例によれば、三次元相関モジュール５７００は、三次元骨格の位置を更新するように構成することができる。
【０１４９】
本発明の実施例によれば、三次元相関モジュール５７００と骨格予測モジュール５８００は、本出願と同じ譲受人に譲渡された、２００５年７月３１日に出願されたＰＣＴ出願、ＰＣＴ／ＩＬ２００５／０００８１３号に記載のアルゴリズムとプロセスのいくつかあるいは全てを用いることができる。
【０１５０】
本発明の実施例によれば、（１）三次元相関モジュール５７００と、（２）Ｚｌｅｎｓ画像取得アッセンブリ５０００と、（３）深度抽出モジュール５０５０と、の機能性、（４）特に、Ｚｌｅｎｓ装置を用いて取得した画像からの深度の外挿が、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６/００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに関連して最もよく述べられている。
【０１５１】
本発明の実施例によれば、上述したシステムは、外部ソースから、深度画像及び／又は３Ｄ画像を受け取るように構成することができる。本発明の更なる実施例によれば、深度画像及び／又は三次元画像をシステムから受け取る場合、このシステムは関連モジュール内のそのパラメータを抽出するように構成される。
【０１５２】
ここに提示したプロセスとディスプレイは、本質的に、特別なコンピュータあるいはその他の装置に関連するものではない。様々な汎用システムを、ここにある教示によってプログラムと共に用いることができるし、また、所望の方法を実行するためにより特殊化した装置を都合よく構成できることがわかる。これらの様々なシステムの所望の構造は、以下の記載から明らかである。更に、本発明の実施例は、特定にプログラム言語について記載されているものではない。様々なプログラム言語を用いてここに述べた発明の教示を実装することができる。当業者には、ここに記載した発明があらゆる種類の無線あるいは有線システムに使用できることが自明である。
【０１５３】
本発明のある特徴を図に示して説明したが、多くの変形、差し替え、変更、及び均等物が当業者に生じる。従って、特許請求の範囲は、本発明の真なる精神に合致する限り、これらの変形や変更を含むことを意図している。
【技術分野】
【０００１】
本出願は、２００４年７月３０日出願の米国暫定特許出願第６０／５９２，１３６号、２００５年７月３１日出願のＰＣＴ／ＩＬ２００５／０００８１３号、２００５年１０月３１日出願の米国暫定特許出願第６０／７３１，２７４号、２００６年３月２７日出願の米国特許出願第１１／２２７，５７８号、及び２００６年１０月３１日出願のＰＣＴ／ＩＬ２００６／００１２５４号の一部継続出願である。各出願は全体に参照されて組み込まれている。
【０００２】
本発明は、一般的にユーザインターフェースに関するものであり、特に、３Ｄ人−機械インターフェース方法とシステムに関する。
【背景技術】
【０００３】
ソフトウエアの歴史における最大パターンの一つは、計算集約型（ｃｏｍｐｕｔａｔｉｏｎ−ｉｎｔｅｎｓｉｖｅ）デザインから提示集約型（ｐｒｅｓｅｎｔａｔｉｏｎ−ｉｎｔｅｎｓｉｖｅ）デザインへのシフトである。機械はどんどんパワフルになってきているため、発明者はプレゼンテーションにこのパワーの一部を着実に増やすことに労力を費やしていた。この進歩の歴史は、便宜上３つの時代に分けることができる。すなわち、バッチ（１９４５−１９６８）、コマンド−ライン（１９６９−１９８３）、そしてグラフィカル（１９８４以降）である。もちろん、このストーリィはデジタルコンピュータの発明によって始まる。後者の二つの時代の開始日は、活気のある新インターフェース技術がラボラトリから脱け出して、インターフェースに関するユーザの期待を真剣に変え始めた数年である。これらの技術は相互作用的タイムシェアリング技術とグラフィックユーザインターフェース技術であった。
【０００４】
バッチの時代は、計算能力が非常に低く、高価であった。この時代の最も大型のコンピュータがコマンドする、一秒あたりのロジックサイクルは今日の普通のトースターあるいはマイクロウエーブオーブンより少なく、今日の自動車、デジタル時計、携帯電話よりかなり少ないものであった。従って、ユーザインターフェースは未発達であった。逆に、むしろユーザがコンピュータに適用しなくてはならず、ユーザインターフェースは経費がかかると考えられており、ソフトウエアは可能な限り少ない経費でプロセッサを最大利用するように設計されていた。
【０００５】
バッチマシーン用のユーザインターフェースの入力側は主にパンチカードか、あるいは紙テープのような同等の媒体であった。出力側はこれらの媒体にプリンタをつなぐラインを足していた。システムのオペレータコンソールの制限付例外によって、人はバッチマシーンとリアルタイムで相互作用していなかった。
【０００６】
バッチマシーンにジョブを提供することには、まず、プログラムとデータセットを記述したパンチカードのデッキを準備することが含まれていた。プログラムカードのパンチングは、コンピュータ自体では行われず、非常にかさばり、許しがたい、機械的故障が多い特化したタイプライターのような機械で行われていた。ソフトウエアインターフェースも、同様に、可能な限り最小のコンパイラと翻訳者によって、語法を解析するべき構文の意味が非常に制限されているという点で、許しがたいものであった。
【０００７】
カードをパンチすると、このカードをジョブキューに入れて、待つ。結局は、オペレータは、デッキをコンピュータに押し込んで、おそらく、別のデータセットまたはヘルパーソフトウエアを供給する磁気テープを装着する。このジョブは、最終結果あるいは（非常にしばしば）エラーログを付帯する中止通知を含むプリントアウトを行う。うまく稼動すると磁気テープに結果を書き込むこともでき、あるいは、後の計算に用いるデータカードを何枚か作ることができた。
【０００８】
一つのジョブにかかる所要時間は、しばしば数日にも及んだ。非常に運がよければ数時間ですむこともあったが、リアルタイムでの応答は前代未聞のことであった。しかし、カードキューよりひどいことがあった。いくつかのコンピュータでは、コンソールスイッチを用いてバイナリコードのプログラムをトグリングするというよりつまらない、エラーを発生しがちなプロセスが必要であった。
【０００９】
初期のバッチシステムは、コンピュータ全体に現在も稼動しているジョブを与えた。プログラムデッキとテープは、Ｉ／Ｏデバイスと会話するために現在我々がオペレーティングシステムコードと考えているものを持っていなくてはならず、その他のメンテナンスを必要とするものはなんでも行っていた。バッチ時代の中ごろである１９５７年以降は、いわゆる「ロード＆実行」システムを使って様々なグループが実験を開始した。これらのシステムは、コンピュータ内に常にあるモニタープログラムを使用していた。プログラムはサービスとしてモニタをコールすることができた。モニタのもう一つの機能は、提供されたジョブについてより良好なエラーチェックを行い、より早くより賢明にエラーをキャッチして、ユーザにより使いやすいフィードバックを発生することであった。このように、モニタは、オペレーティングシステムと、明確に設計されたユーザインターフェースの両方に向けての第１ステップを代表するものであった。
【００１０】
コマンドラインインターフェース（ＣＬＩｓ）は、システムコンソールに接続されたバッチモニタから発達した。その相互作用モデルは、一連の応答を要求するトランスアクションであり、要求は、特定の語彙の中のテキストコマンドとして表わされていた。待ち時間はバッチシステムの待ち時間よりはるかに大きく、日または時間から秒へと下がった。従って、コマンドラインシステムによって、ユーザは、リアルタイムであるいはほぼリアルタイムで、前の結果に関するフィードバックに応答して、トランスアクション後のステージに対する考えを変えることができた。ソフトウエアは予備的なものであり、以前では不可能であった方法で相互作用した。しかしながら、これらのインターフェースはユーザに比較的重いニーモニック負荷を課し、マスターするのに一連の努力と学習時間を必要とした。
【００１１】
コマンドラインインターフェースは、タイムシェアリングコンピュータの台頭に非常に深く関係していた。タイムシェアリングデータの概念は１９５０年代に戻り、最も有力な初期の実験は、１９６５年以降のＭＵＬＴＩＣＳオペレーティングシステムであり、今日のコマンドラインインターフェースに最も影響のあったものは、１９６９年以降のユニックス自体のオペレーティングシステムであり、これはその後生じたほとんどのシステムに影響を与えた。
【００１２】
初期のコマンドラインシステムは、テレタイプとコンピュータを組み合わせたものであり、人と人の間のワイヤを通じた情報転送の仲介に功を奏した成熟技術に適合したものであった。テレタイプはもともと、自動電信送受信用デバイスとして開発された。テレタイプの歴史は１９０２年にさかのぼり、１９２０年にはすでにニュースルームなどに定着していた。テレタイプを再利用するに当たっては、経済的事項を検討すべきであったが、心理学と驚き最小の法則も同様である。テレタイプは、多くのエンジニアやユーザに親しまれているシステムとのインターフェースポイントを提供した。
【００１３】
１９７０年半ばにビデオディスプレイターミナル（ＶＤＴｓ）が広く採用されたことで、コマンドラインシステムは第２期に入った。これらは、プリンタヘッドやキャリッジが移動するより速く、キャラクタをスクリーンの点状ドットに投影することができたため、待ち時間が更に短くなった。ＶＤＴｓはコスト状況からインクや紙といった消耗品を削減することによって、双方向プログラミングに対する保守的な抵抗を抑え、１９５０年後半及び６０年代の最初のＴＶ世代に対して、１９４０年代のコンピュータパイオニアであったテレタイプより、より象徴的で心地の良いものであった。
【００１４】
アクセス可能なスクリーンの存在と同様に重要なことだが、ソフトウエア設計者が、迅速かつ可逆的に変形できるテキストの２次元ディスプレイが、テキストではなくビジュアルに記載できるインターフェースを展開させるのにコストがかからないようにした。この種のパイオニアであるアプリケーションは、コンピュータゲームとテキストエディタである。ｒｏｇｕｅ（６）やｖｉ（１）などの初期の例のいくつかに近い古い型のものは、いまだにユニックス様式の活電部である。
【００１５】
スクリーンビデオディスプレイは、まったく新規ではなく、１９６１年のＰＤＰ−１と同じように早期に、ミニコンピュータに登場していた。しかし、シリアルケーブルを介して取り付けたＶＤＴｓに移行するまでは、ことのほか高価なコンピュータがアドレス可能なディスプレイを一つだけそのコンソールにサポートすることができた。このような条件下では、ビジュアルＵＩの様式を開発することは困難であった。このようなインターフェースは、全てのコンピュータが少なくとも一時的に単一ユーザ専用に動くことができるというめったにない状況においてのみ生じる偶発的な出来事であった。
【００１６】
１９６２年以来我々が現在グラフィカルユーザインターフェースと呼んでいるものによる散発的な実験と、パイオニアであるＰＤＰ−１のＳＰＡＣＥＷＡＲゲームがあった。このマシーンのディスプレイは、単なるキャラクタターミナルではなく、ベクトルグラフィックスをサポートするために作られた変形オシロスコープであった。ＳＰＡＣＥＷＡＲインターフェースは、主にトグルスイッチを使用するものだったが、初期の原型トラックボールを特徴付けるものでもあり、プレーヤ自身が特注していた。１０年後の１９７０年代初期には、これらの実験がビデオゲーム産業を生み出し、これは実際にＳＰＡＣＥＷＡＲのアーケードバージョンを作成する試みと共に始まった。
【００１７】
ＰＤＰ−１コンソールディスプレイは、２０年早い第２次世界大戦のレーダー表示管から始まったものであり、マサチューセッツ工科大学（ＭＩＴ）のリンカーン研究所におけるミニコンピュータの何人かのキーパイオニアが、かつてのレーダー技術者であったことを反映している。同じ１９６２年に大陸各地で、別のかつてのレーダー技術者が、Ｓｔａｎｆｏｒｄ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅで別の先駆者となり始めていた。彼の名前は、Ｄｏｕｇ Ｅｎｇｅｌｂａｒｔである。彼は、これらの非常に初期のグラフィカルディスプレイによる個人的な経験と、１９４５年に現在ハイパーテキストとよんでいるビジョンを与えたＶａｎｎｅｖａｒ ＢｕｓｈのゼミナールエッセイであるＡｓ Ｗｅ Ｍａｙ Ｔｈｉｎｋの両方から着想を得た。
【００１８】
１９６８年１２月に、ＥｎｇｅｌｂａｒｔとＳＲＩの彼のチームは、最初のハイパーテキストシステムである、ＮＬＳ／Ａｕｇｕｍｅｎｔについて、９０分間の公開デモンストレーションを行った。このデモンストレーションは、スリーボタンマウス（Ｅｎｇｅｌｂａｒｔの発明）と、マルチウインドインターフェースのグラフィカルディスプレイと、ハイパーリンクと、スクリーン上でのビデオコンファレンスの初公開を含むものであった。このデモは、１９９１年のＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂの発明まで、および、この発明を含めて、４半世紀の間コンピュータサイエンス界に鳴り響いいたセンセーションであった。
【００１９】
このように、１９６０年初期には、グラフィカルプレゼンテーションが、ユーザを引き付けたことはすでによく理解されていた。マウスと同等のポインティングデバイスがすでに発明されており、１９６０年代後半の多くの大型汎用コンピュータは、ＰＤＰ−１に匹敵するディスプレイ容量を有していた。著者の一人は、２００４年現在購入するとすれば４千５百万ドル近くかかるであろうＵｎｉｖａｃ１１０８のコンソールで、１９６８年の非常に初期の別のビデオゲームをプレイすることについて鮮やかな記憶を有している。しかし、４千５百万ドルでは、対話形式画像の実際のカスタマはほんの数人でしかなかった。ＮＬＳ／Ａｕｇｍｅｎｔシステムのカスタムハードウエアはそれほど高価ではなかったが、それでも一般的な使用には手が出せないほど高かった。１万ドルであるＰＤＰ−１ですらも、図形処理プログラミングの様式を設立するには高すぎるマシーンであった。
【００２０】
ビデオゲームはコンピュータより早く巨大マーケットデバイスとなった。なぜなら、ゲームは非常に安価で簡単なプロセッサで、ハードワイヤに組み込まれたプログラムを稼動するためである。しかし、汎用目的のコンピュータでは、オシロスコープディスプレイが進化の終端に来た。コンピュータとの通常のインタラクションに、グラフィカルな、ビジュアルインターフェースを使用する概念は、数年を待たなくては成らず、実際のところ１９７０年後半のシリアルラインキャラクターＶＤＴの最新式グラフィックス可能なバージョンによって到来した。
【００２１】
１９７０年代の最も初期のＰＡＲＣシステム以来、ＧＵＩｓの設計は、ＡｌｔｏがさきがけとなったＷＩＭＰ（Ｗｉｎｄｏｗｓ，ｉｃｏｎｓ，Ｍｉｃｅ，Ｐｏｉｎｔｅｒ）モデルと呼ばれるようになったものによってほぼ完全に支配された。次の数十年にわたってコンピューティングとディスプレイハードウエアに大きな変化が生じたことを考えると、ＷＩＭＰを超えて考えることは驚くほど困難である。
【００２２】
いくつかの試みがなされている。おそらく、最も際立った試みは、ＶＲ（バーチャルリアリティ）インターフェースである。このインターフェースではユーザは没入グラフィカル３−Ｄ環境を移動し、その中でジェスチュアする。ＶＲは、１９８０年半ばから大きなリサーチコミュニティを引き付けた。これらをサポートする計算能力はもはや高価なものではないが、物理的なディスプレイデバイスは、ＶＲに２００４年における一般的な使用を超えた法外な値を付けている。より基本的な問題は、フライトシュミレータの設計者にはおなじみであるが、ＶＲが人間固有の感覚システムを混乱させる方法であることである。むしろ普通の速度でのＶＲの動きが、脳が動きの視覚的シミュレーションを体の現実の世界の動きについての内示の報告と一致させようとするため、めまいや吐き気を引きおこすことがある。
【００２３】
Ｊｅｆ ＲａｓｋｉｎのＴＨＥ（Ｔｈｅ Ｈｕｍａｎｅ Ｅｎｖｉｒｏｎｍｅｎｔ）プロジェクトは、ＧＵＩｓのズームワールドモデルを調査したものであり、３Ｄに行くことなく空間化することを述べている。ＴＨＩでは、スクリーンが２Ｄバーチャルワールドのウインドになり、そこでデータとプログラムが空間的位置によって組織化される。このワールドのオブジェクトは、基準面の上の高さに応じて細かな数種のレベルで表わすことができ、最もベーシックな選択動作は、ズームインとそこへの上陸である。
【００２４】
エール大学のＬｉｆｅｓｔｒｅａｍｓプロジェクトは、実際、ＧＵＩを脱空間化させるといった、完全に反対の方向に進んでいる。ユーザのドキュメントは、修正日によって組織化されたある種のワールドラインあるいは一時的なストリームとして表わされ、様々な方法でフィルタにかけることができる。
【００２５】
これらの３つのアプローチはすべて、ものに名前を付けることや、参照の主な形式として名称を用いることを回避するようにしたコンテキストを支持して、従来のファイルシステムを切り捨てるものである。このことは、最も長続きしており有効な特徴の一つであると思われるユニックスのアーキテクチュアのファイルシステムと階層名前空間に、これらのアプローチを合致させるのを困難にしている。それにもかかわらず、これらの初期の実験の一つは、いまだに、ＮＬＳ／ＡｕｇｍｅｎｔのＥｎｇｅｌｂａｒｔの１９６８年のデモと同じゼミナールであることがわかる。
【発明の概要】
【発明が解決しようとする課題】
【００２６】
ユーザインターフェースの分野では、人−機械インターフェースの改善されたシステムと方法が求められている。
【課題を解決するための手段】
【００２７】
本発明の実施例によれば、３Ｄ人機械インターフェース（「３Ｄ ＨＭＩ」）が提供されており、この３ＤＨＭＩは、（１）画像取得アッセンブリ、（２）起動モジュール、（３）画像分割モジュール、（４）分割データ処理モジュール、（５）スコアリングモジュール、（６）投影モジュール、（７）適合モジュール、（８）スコアリング及びエラー検出モジュール、（９）回復モジュール、（１０）三次元相関モジュール、（１１）三次元骨格予測モジュール、及び（１２）出力モジュール、とを具える。
【００２８】
本発明の実施例によれば、画像取得アセンブリは画像セットを取得するように構成することができ、ここで、実質的に各画像は異なる時点で使用される。本発明の更なる実施例では、この画像は、単一のユーザに関するもの、あるいは複数ユーザに関するものである。
【００２９】
本発明の実施例によれば、起動モジュールは、ユーザの（１）色、（２）器官パラメータ、環境、及びユーザに関連するその他のパラメータを検出して規定するように構成することができる。
【００３０】
本発明の実施例によれば、ユーザは人及び／又は動物及び／又はそのフレームに入る移動物体であってもよい。
【００３１】
本発明の実施例によれば、画像分割モジュールは、画像から分割したデータを抽出するように構成することができる。本発明の更なる実施例によれば、この分割したデータも：
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
【００３２】
本発明の実施例によれば、分割データ処理モジュールは、分割データを処理するように構成することができる。本発明の更なる実施例によれば、分割データは以下の方法で処理することができる：
・色−既知の色パラメータを用いて、要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
【００３３】
本発明の実施例によれば、分割データ処理モジュールは、器官の相対的サイズの偏差に応じて、画像取得アッセンブリからの器官の距離の偏差を検出するように構成されている。
【００３４】
本発明の実施例によれば、スコアリングモジュールは、（１）処理済分割データを検査する、（２）処理済分割データの品質を予測する、およびこの品質に応じて、分割データのどの部分がＨＭＩシステムによって使用するのに十分に信頼できるかを決定する、ように構成することができる。
【００３５】
本発明の実施例によれば、三次元骨格予測モジュールが、処理画像の最良の合致あるいは関係を有する三次元骨格の位置を予測するように構成することができる。
【００３６】
本発明の実施例によれば、三次元予測モジュールが、使用する骨格のタイプから得る制約、例えば、骨格が人間の指であるかどうか、骨格のヘッドが３６０度回転できるかどうか、といった制約を使用することができる。
【００３７】
本発明の更なる実施例によれば、三次元予測モジュールは、動的及び動作プロセスセットを用いて、三次元骨格の位置を予測することもできる。
【００３８】
本発明の実施例によれば、投影モジュールは、画像上に骨格を投影するように構成することができる。本発明の更なる実施例によれば、この投影を２次元平面に適用することができる。
【００３９】
本発明の実施例によれば、適合モジュールを投影した骨格に分割データを適合させるように構成することができる。本発明の更なる実施例によれば、適合モジュールは、分割データの部分を投影した骨格の部分に関連付けるように構成することができる。
【００４０】
本発明の実施例によれば、スコアリング及びエラー検出モジュールは、（１）分割データに関連付けた後処理した骨格を検査し、（２）前記骨格の適合品質を試験し、（３）骨格予測プログラムあるいは分割データの関連付けの間にエラーが発生したかどうかを決定する、ように構成することができる。
【００４１】
本発明の実施例によれば、回復モジュールは、検出したエラーから回復するように構成することができる。本発明の更なる実施例によれば、回復は、画像を再分割し、３Ｄ骨格移動歴をもちいて、正しい位置を再度予測し、３Ｄ骨格を再度投影して再度適合させる、多段処理層のプロセスであっても良い。回復モジュールは、画像情報が破損している場合、フレームをスキップするよう決定することもできる。
【００４２】
本発明の実施例によれば、三次元相関モジュールは、適合骨格の位置に応じて三次元骨格の位置を更新するように構成することができる。
【００４３】
本発明の更なる実施例によれば、前記更新プロセスは、適合骨格上の三次元３Ｄ骨格に関連し、３Ｄ骨格と適合骨格間を適合させ、３Ｄ骨格を適正な位置に更新する。
【図面の簡単な説明】
【００４４】
本発明に関する主題は、本明細書の最終部分に特に指摘されており、明確に請求されている。しかしながら、本発明は、組織と操作方法の両方に関するものであり、その対象、特徴、および利点とともに、添付する図面とともに以下の詳細な説明を参照して読むことによって最もよく理解されるであろう。
【図１】図１は、本発明の実施例によるシステムを記載したブロック図である。
【図２】図２は、本発明の実施例によるＨＭＩシステムのステップを記載したフローチャートである。
【図３】図３は、本発明の実施例によるシステムを記載したブロック図である。
【図４】図４は、本発明の実施例によるＨＭＩシステムのステップを記載したフローチャートである。
【図５】図５は、本発明の実施例によるシステムを記載したブロック図である。
【図６】図６は、本発明の実施例によるＨＭＩシステムのステップを記載したフローチャートである。
【００４５】
図を単純かつ明確なものにするために、図面に示す要素はスケールどおりである必要はない。例えば、いくつかの要素の寸法は、明確にするために他の要素に対して誇張するようにしても良い。更に、対応するあるいは類似の要素を表示するに当たり、図面間で符号を繰り返し使用することがある。
【発明を実施するための形態】
【００４６】
以下の詳細な説明において、本発明を完全に理解できるようにするため、数値で特定して詳細を示すようにしている。しかしながら、当業者には、本発明がこれらの特定な詳細なしでも理解できることは明らかである。その他の場合、公知の方法、手順、構成要素および回路は、詳細には説明されていないが、本発明を不明瞭にしない程度には説明されている。
【００４７】
特に述べられていない限り、以下の説明から明らかなとおり、本明細書を通じて、「処理する」「コンピュータで計算する」「計算する」「決定する」などの用語を用いた説明は、コンピュータまたはコンピュータシステム、または、同様の電子コンピュータ装置の動作及び／又はプロセスを意味し、これは、コンピュータシステムのレジスタ及び／又はメモリ内の電子などの物理的量として表わされるデータを、コンピュータシステムのメモリ、レジスタあるいはその他の情報保存、転送あるいは表示する装置内の物理量として同様に表わされたその他のデータに、操作する及び／又は変形する。
【００４８】
本発明の実施例は、ここに述べる動作を実行する装置を含むものである。この装置は、所望の目的のために特別に構成されているか、あるいは、コンピュータに保存されているコンピュータプログラムによって選択的に達成されるあるいは再構築される、汎用目的のコンピュータを具えていても良い。このようなコンピュータプログラムは、限定するものではないが、フロッピィディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電子的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能かつプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、磁気あるいは光カード、あるいは電子インストラクションの保存に適したその他の媒体、を含むあらゆるタイプのディスクなど、コンピュータで読み取り可能で、コンピュータシステムバスに接続可能なストレージ媒体に保存することができる。
【００４９】
本発明の実施例によれば、３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）が提供されており、この３Ｄ ＨＭＩは、（１）画像取得アッセンブリと、（２）起動モジュールと、（３）画像分割モジュールと、（４）分割データ処理モジュールと、（５）スコアリングモジュールと、（６）投影モジュールと、（７）適合モジュールと、（８）スコアリング及びエラー検出モジュールと、（９）回復モジュールと、（１０）三次元相関モジュールと、（１１）三次元骨格予測モジュールと、及び（１２）出力モジュール、とを具える。
【００５０】
本発明の実施例によれば、画像取得アッセンブリは、画像セットを取得するように構成されており、このアッセンブリでは、各画像が実質的に異なる時点で使用される。本発明の更なる実施例では、画像は単独ユーザに関するものであっても良く、あるいは複数ユーザに関するものであっても良い。
【００５１】
本発明の実施例によれば、起動モジュールは、ユーザの（１）色、（２）組織パラメータ、環境、及びユーザに関連するその他のパラメータを検出して規定し、次のステップにおいて画像分割の最良の方法（スレッシュホールド、各画像分割についてのスコア、その他）を決定するように構成することができる。
【００５２】
本発明の実施例によれば、画像分割モジュールは、画像から分割データを抽出するように構成されている。本発明の更なる実施例によれば、この分割データは：
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
【００５３】
本発明の実施例によれば、分割画像処理モジュールは、分割データを処理するように構成されている。本発明の更なる実施例によれば、この分割データは：
・色−既知の色パラメータを用いて要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動する要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
といった方法で処理を行うことができる。
【００５４】
本発明の実施例によれば、スコアリングモジュールは、（１）処理した分割データを検証する、（２）処理した分割データの品質を予測する、そして、この品質に応じて（３）分割データのどの部分がＨＭＩシステムによって使用するにたるほど信頼性があるかを決定する。
【００５５】
本発明の実施例によれば、三次元骨格予測モジュールは、処理画像に最も合致するあるいは最も関連性の高い三次元骨格の位置を予測するように構成することができる。
【００５６】
本発明の更なる実施例によれば、三次元予測モジュールは、使用した骨格のタイプから得た制限を使用することができる。例えば、骨格が人の形であれば、骨格のヘッドは３６０度回転することができない。
【００５７】
本発明の更なる実施例によれば、三次元予測モジュールは、動的かつ移動プロセスセットを用いて、三次元骨格の位置を予測することができる。
【００５８】
本発明の実施例によれば、投影モジュールは、画像上に骨格を投影するように構成することができる。本発明の更なる実施例によれば、この投影を二次元平面に適用することができる。
【００５９】
本発明の実施例によれば、適合モジュールは、分割データを投影した骨格に適合させるように構成することができる。本発明の更なる実施例によれば、適合モジュールは、分割データの部分を投影した骨格の部分に関連させるように構成することができる。
【００６０】
本発明の実施例によれば、スコアリング及びエラー検出モジュールは、（１）処理した骨格を分割データに関連付けた後、この骨格を試験して、（２）当該骨格の適合品質を評価して、（３）骨格予測プロセスまたは分割データの関連付けを行う間にエラーが生じたか否かを決定する、ように構成することができる。
【００６１】
本発明の実施例によれば、回復モジュールは、検出したエラーから回復するように構成することができる。本発明の更なる実施例によれば、この回復は層の処理、画像の再分割、３Ｄ骨格の移動歴を用いて正しい位置の予測、３Ｄ骨格の再適合といった複数のプロセスである。回復モジュールは、画像情報が破損した場合フレームをスキップするよう決定することもできる。
【００６２】
本発明の実施例によれば、三次元相関モジュールは、適合した骨格の位置に応じて三次元骨格の位置を更新するように構成することができる。
【００６３】
本発明の更なる実施例によれば、前記更新プロセスが３Ｄ骨格を適合した骨格上に関連付け、３Ｄ骨格と適合した骨格間を適合させ、３Ｄ骨格を正しい位置に更新する。
【００６４】
図１に戻ってこれを参照すると、本発明の実施例による例示的ＨＭＩシステムが示されており、このシステムは、このようなＨＭＩシステムのステップを記載したフローチャートである図２に最もよく記載されている。
【００６５】
本発明の実施例によれば、図１は、３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）を示す図であり、この３Ｄ ＨＭＩは、（１）画像取得アッセンブリ１０００と、（２）起動モジュール１１００と、（３）画像分割モジュール１２００と、（４）分割データ処理モジュール１３００と、（５）スコアリングモジュール１４００と、（６）投影モジュール１４５０と、（７）適合モジュール１５００と、（８）スコアリング及びエラー検出モジュール１５５０と、（９）回復モジュール１６００と、（１０）三次元相関モジュール１７００と、（１１）三次元骨格予測モジュール１８００と、（１２）出力モジュール１９００と、を具える。
【００６６】
本発明の実施例によれば、画像取得アッセンブリは、ステップ２０００に記載のように、画像セットを取得するように構成されており、この画像セットの各画像は実質的に異なる時点で使用される。本発明の更なる実施例によれば、この画像は、単一のユーザまたは複数ユーザの画像である。
【００６７】
本発明の更なる実施例によれば、画像取得アッセンブリは、デジタルカメラと、ウェブカメラと、フィルムカメラと、ビデオカメラと、ウェブカメラと、デジタルビデオカメラと、アナログビデオカメラと、ステレオ−カメラ及び／又は今日知られているあるいは将来出てくるであろうその他のカメラを具えていても良い。
【００６８】
本発明の実施例によれば、システムが一またはそれ以上の画像を取得した後、システムが起動モジュール１１００で実行される起動フェーズであるステップ２１００に入る。起動モジュールは、ユーザの、（１）色、（２）組織パラメータ、（３）環境、及び、ユーザに関連するその他のパラメータを検出して規定するように構成されている。
【００６９】
本発明の実施例によれば、ステップ２２００に示すように、システムは分割データを抽出するように構成されている。この分割データは、
・色
・動き
・エッジ検出
・テキスチュア
を具えていても良い。
【００７０】
本発明の更なる実施例によれば、画像分割モジュール１２００は、この画像から分割データを抽出するように構成されている。
【００７１】
本発明の実施例によれば、ステップ２３００に示すように、システムが分割データを処理するように構成されている。本発明の更なる実施例によれば、この分割データは：
・色−既知の色パラメータを用いて要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひらと顔を検出する。
・動き−フレーム中の移動する要素を検出する。
・背景の除去。
・エッジ検出−画像のエッジを検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
といった方法で処理を行うことができる。
【００７２】
本発明の更なる実施例によれば、分割データ処理モジュール１３００は、分割データを処理するように構成されている。
【００７３】
本発明の実施例によれば、このシステムは、ステップ２４００に示すように、分割データの品質を評価するように構成されており、この評価は、（１）処理した分割データを検査するステップ、（２）処理した分割データの品質を予測するステップ、及び、この予測した品質によって（３）分割データのどの部分がＨＭＩシステムによって使用するのに十分に信頼性があるかどうかを決定するステップ、とによって行われる。
【００７４】
本発明の更なる実施例によれば、スコアリングモジュール１４００は、分割した情報の品質を評価するように構成されている。
【００７５】
本発明の更なる実施例によれば、このシステムは、ステップ２８００に示すように、三次元骨格の位置を予測するように構成されており、この位置は、処理した画像に最も合致するあるいは処理した画像と相関する。本発明の更なる実施例によれば、この予測は、使用した骨格のタイプから取り出した制限を用いてより正確に行われる。制限は、例えば、骨格が人の形であれば、骨格の頭部は、肩の動きなしでは３６０度回転することができないといったものである。
【００７６】
本発明の実施例によれば、予測シーケンスは動的な動きプロセス、その他のセットを使用することができる。
【００７７】
本発明の実施例によれば、三次元骨格予測モジュール１８００は、三次元骨格の位置を予測するように構成されている。
【００７８】
本発明の実施例によれば、このシステムは、更に、ステップ２４５０に示すように、画像上に骨格を投影するように構成することができる。本発明の更なる実施例によれば、この投影は、２次元平面に適用することができる。
【００７９】
本発明の実施例によれば、この投影モジュール１４５０は、画像上に骨格を投影するように構成することができる。
【００８０】
本発明の実施例によれば、このシステムは更に、ステップ２５００に示すように、投影した骨格を用いて、分割データを適合させるように構成することができる。本発明の更なる実施例によれば、この適合プロセスは、投影した骨格の部分と分割データの部分とを関連づけるステップを具えていても良い。
【００８１】
本発明の実施例によれば、分割データの適合ステップが、抽出した分割データを現在の骨格パラメータと関連づけるステップを具えており、この現在の骨格パラメータは、抽出した分割データの関連する部分を支持する。
【００８２】
本発明の更なる実施例によれば、この処理の結果が「適合した骨格」である。
【００８３】
本発明の更なる実施例によれば、適合モジュール１５００は、分割データを投影した骨格に関連づけるように構成されている。
【００８４】
本発明の実施例によれば、このシステムは更にステップ２５５０に示すように、適合した骨格にスコアをつけて、エラーを検出するように構成されている。本発明の実施例によれば、スコアを付けてエラーを検出するステップは、（１）適合した骨格を検査するステップと、（２）この骨格の適合品質を評価するステップと、（３）骨格予測プロセスあるいは分割データの関連づけを行う間にエラーが生じたかどうかを決定するステップと、を具える。
【００８５】
本発明の実施例によれば、このスコアリング及びエラー検出モジュール１５５０は、スコアを付けてエラーを検出するように構成されている。
【００８６】
本発明の実施例によれば、ステップ２５５０においてエラーが検出されると、ステップ２６００に示すようにシステムが回復フェーズに入る。この回復プロセスは、複数の処理層でなるプロセスである。
【００８７】
本発明の実施例によれば、回復フェーズは、画像の再分割ステップ、３Ｄ骨格位置の再予測、拡張エフォートを用いた骨格の再投影及び再適合ステップを具える。本発明の更なる実施例によれば、この拡張モジュールは、画像情報が壊れている場合一又はそれ以上のフレームをスキップするよう決定することができる。
【００８８】
本発明の実施例によれば、回復を行う間にシステムは、そのフレームに対象のトラッキングがないことを検出するよう構成されている。本発明の更なる実施例によれば、システムは、対象がそのフレームに戻るまで一またはそれ以上のフレームをスキップするよう構成することができる。
【００８９】
本発明の更なる実施例によれば、回復フェーズは、起動ステップにシステムを戻すことができる。
【００９０】
本発明の実施例によれば、回復モジュール１６００は、回復プロセスを実行するように構成されている。
【００９１】
本発明の実施例によれば、ステップ２５５０の間にエラーが検出されなければ、システムは、ステップ２７００に示すように、適合骨格の位置に応じて三次元骨格の位置を更新するように構成することができる。本発明の更なる実施例によれば、更新プロセスは、（１）適合骨格の上に３Ｄ骨格を投影するステップと、（２）３Ｄ骨格を適合骨格に関連付けるステップと、（３）３Ｄ骨格の位置を更新するステップと、を具える。
【００９２】
本発明の実施例によれば、三次元相関モジュール１７００は、三次元骨格の位置を更新するように構成することができる。
【００９３】
本発明の実施例によれば、三次元相関モジュール１７００と骨格予測モジュール１８００は、本出願と同じ譲受人に譲渡された、２００５年７月３１日に出願されたＰＣＴ出願、ＰＣＴ／ＩＬ２００５／０００８１３号に記載のアルゴリズムとプロセスのいくつかあるいは全てを用いることができる。
【００９４】
図３を参照すると、本発明の実施例による例示的ＨＭＩシステムが示されている。このシステムは、ＨＭＩシステムのステップを記載したフローチャートが示されている図４に関連付けて最もよく述べられている。
【００９５】
本発明の実施例によれば、図３は、３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）を示すものであり、この３Ｄ ＨＭＩは、（１）Ｚｌｅｎｓ画像取得アッセンブリ３０００と、（２）起動モジュール３１００と、（３）画像分割モジュール３２００と、（４）分割データ処理モジュール３３００と、（５）適合モジュール３５００と、（６）スコアリングモジュール３５５０と、（７）三次元相関モジュール３７００と、（８）出力モジュール３９００と、を具えている。
【００９６】
本発明の実施例によれば、Ｚｌｅｎｓ取得アッセンブリは、ステップ４０００に見られるように、画像セットを取得するように構成されており、各画像は実質的に異なる時間に使用している。本発明の更なる実施例によれば、画像は単一のユーザあるいは複数ユーザのものでも良い。
【００９７】
本発明の実施例によれば、Ｚｌｅｎｓ取得アッセンブリは、例えば、図１の要素１０００である、別の画像取得アッセンブリに乗せるようにしても良い。
【００９８】
本発明の更なる実施例によれば、Ｚｌｅｎｓ取得アッセンブリ（３０００）は、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６/００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに関連して最もよく述べられている。
【００９９】
本発明の実施例によれば、システムは更に、ステップ４１００に示すように起動モジュール３１００によって実行される起動フェーズに入るように構成されている。この起動モジュールは、（１）色、（２）器官パラメータ、環境、及び（３）ユーザに関連するその他のパラメータを検出して規定するように構成することができる。
【０１００】
本発明の実施例によれば、システムは、ステップ４２００に示すように、分割データを抽出するように構成することができ、この分割データは：
・色
・動き
・エッジ検出
・テキスチュア
を具える。
【０１０１】
本発明の更なる実施例によれば、画像分割モジュール３２００は、画像から分割データを抽出するように構成されている。
【０１０２】
本発明の実施例によれば、このシステムは、ステップ４３００に示すように分割データを処理するように構成されている。本発明の更なる実施例によれば、分割データは以下のように処理される：
・色−既知の色のパラメータを用いて、要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひら及び顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−各器官の輪郭を検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
【０１０３】
本発明の更なる実施例によれば、分割データ処理モジュール３３００は、分割データを処理するように構成されている。
【０１０４】
本発明の実施例によれば、本システムは更に、ステップ４５００に示すように、抽出した分割データの部分を取得した画像に適合させるように構成することができる。本発明の更なる実施例によれば、この適合プロセスは、抽出した分割データの部分を、取得した画像の専用領域に関連付けるステップを具えていても良い。
【０１０５】
本発明の更なる実施例によれば、この専用領域は、システム中に保存する、あるいは起動フェーズ中に決定することができる。本発明の更なる実施例によれば、この専用領域は、ユーザの特定の器官（手、頭、足）であっても良く、あるいは３０００で取得できるその他の要素であってもよい。
【０１０６】
本発明の更なる実施例によれば、適合プロセスは、抽出した分割データが、専用領域に関連するパラメータを決定したかどうかを試験するステップを具えていても良い。
【０１０７】
本発明の更なる実施例において、適合モジュール３５００は、分割データの部分を取得した画像に関連付けるように構成することができる。
【０１０８】
本発明の更なる実施例によれば、このプロセスの出力が「適合画像」である。
【０１０９】
本発明の実施例によれば、このシステムは、更に、ステップ４５５０に示すように、適合分割データの品質を評価するように構成することができる。本発明の実施例によれば、適合分割データの品質を評価するステップは、（１）処理した分割データを検査するステップと、（２）処理した分割データの品質を予測するステップと、この予測した品質によって（３）分割データのどの部分がＨＭＩシステムによって使用するのに十分に信頼性があるかを決定するステップと、（４）適合イメージを検査するステップと、（５）この画像の適合品質を評価するステップと、（６）分割データの関連付けを行う間にエラーが生じたかどうかを決定するステップと、を具える。
【０１１０】
本発明の実施例によれば、スコアリングモジュール３５５０は、適合分割データの品質を評価するように構成されている。
【０１１１】
本発明の更なる実施例によれば、このシステムはエラー検出メカニズムと、上述したとおりの回復メカニズムを具える。
【０１１２】
本発明の実施例によれば、このシステムは、ステップ４７００に示すように、Ｚｌｅｎｓ画像取得アッセンブリを用いて、適合画像と深度マップの外挿によって三次元身体の位置を更新するように構成することができる。本発明の更なる実施例によれば、この更新プロセスは、抽出した深度マップを、抽出した分割データに関連付けるステップと、出力モデルの三次元身体の位置を更新するステップと、を具える。
【０１１３】
本発明の実施例によれば、三次元相関モジュール３７００は、三次元身体の位置を更新するように構成されている。
【０１１４】
本発明の実施例によれば、三次元相関モジュール３７００と、Ｚｌｅｎｓ画像取得アッセンブリ３０００の機能性、特に、Ｚｌｅｎｓ装置を用いて取得した画像が、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６／００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに関連して最もよく述べられている。
【０１１５】
図５を参照すると、本発明の実施例による例示的ＨＭＩシステムが示されており、このシステムは、ＨＭＩシステムのステップを記載したフローチャートである図６に関連して最もよく述べられている。
【０１１６】
本発明の実施例によれば、図５は、３Ｄ人機械インターフェース（３Ｄ ＨＭＩ）を示す図であり、この３Ｄ ＨＭＩは、（１）Ｚｌｅｎｓ取得アッセンブリ５０００と、（２）起動モジュール５１００と、（３）画像分割モジュール５２００と、（４）分割データ処理モジュール５３００と、（５）スコアリングモジュール５４００と、（６）投影モジュール５４５０と、（７）適合モジュール５５００と、（８）スコアリング及びエラー検出モジュール５５５０と、（９）回復モジュール５６００と、（１０）三次元相関モジュール５７００と、（１１）三次元骨格予測モジュール５８００と、（１２）出力モジュール５９００と、選択的に（１３）深度抽出モジュール５０５０と、を具えている。
【０１１７】
本発明の実施例によれば、Ｚｌｅｎｓ取得アッセンブリは、ステップ６０００に見られるように、画像セットを取得するように構成されており、各画像は実質的に異なる時間で使用されている。本発明の更なる実施例によれば、画像は単一のユーザあるいは複数ユーザのものでも良い。
【０１１８】
本発明の実施例によれば、Ｚｌｅｎｓ取得アッセンブリは、例えば、図１の要素１０００である、別の画像取得アッセンブリ上に乗せるようにしても良い。
【０１１９】
本発明の更なる実施例によれば、Ｚｌｅｎｓ取得アッセンブリ（５０００）は、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６／００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに関連して最もよく述べられている。
【０１２０】
本発明の実施例によれば、システムが一またはそれ以上の画像を取得した後、システムは更に、起動モジュール５１００によって実行される起動フェーズステップ６１００に入るように構成されている。この起動モジュールは、（１）色、（２）器官パラメータ、（３）環境、及びユーザに関連するその他のパラメータを検出して規定するように構成することができる。
【０１２１】
本発明の実施例によれば、システムは、ステップ６２００に示すように、分割データを抽出するように構成することができ、この分割データは：
・色
・動き
・エッジ検出
・テキスチュア
を具える。
【０１２２】
本発明の更なる実施例によれば、画像分割モジュール５２００は、画像から分割データを抽出するように構成されている。
【０１２３】
本発明の実施例によれば、このシステムは、ステップ６３００に示すように分割データを処理するように構成されている。本発明の更なる実施例によれば、分割データは以下のように処理される：
・色−既知の色のパラメータを用いて、要素及び／又は光の変化を検出する。例えば、皮膚の色を用いて手のひら及び顔を検出する。
・動き−フレーム中の移動要素を検出する。
・背景の除去。
・エッジ検出−各器官の輪郭を検出する。
・テキスチュア−既知のテキスチュアパラメータを用いて要素を検出する。
【０１２４】
本発明の更なる実施例によれば、分割データ処理モジュール５３００は、分割データを処理するように構成されている。
【０１２５】
本発明の実施例によれば、このシステムは、ステップ６４００に示すように、分割データの品質を評価するように構成することができる。この評価は、（１）処理した分割データを検査するステップと、（２）処理した分割データの品質を予測するステップと、この予測した品質によって（３）分割データのどの部分がＨＭＩシステムによって使用するのに十分に信頼性があるかを決定するステップと、を具える。
【０１２６】
本発明の実施例によれば、スコアリングモジュール５４００は、分割情報の品質を評価するように構成されている。
【０１２７】
本発明の更なる実施例によれば、このシステムは、ステップ６８００に示すように、処理した画像に最も合致するあるいは処理した画像と相関する三次元骨格の位置を予測するように構成されている。本発明の更なる実施例によれば、この予測は、使用した骨格のタイプから取り出した制限を用いてより正確に行われる。制限は、例えば、骨格が人の形であれば、骨格の頭部は、肩の動きなしでは３６０度回転することができないといったものである。
【０１２８】
本発明の実施例によれば、予測シーケンスは動的な動きプロセスのセットを使用することができる。
【０１２９】
本発明の実施例によれば、三次元骨格予測モジュール５８００は、三次元骨格の位置を予測するように構成されている。
【０１３０】
本発明の更なる実施例によれば、このシステムは更に、ステップ６０５０に示すように、Ｚｌｅｎｓ取得アッセンブリを用いて、深度を抽出するように構成することができる。このＺｌｅｎｓ取得アッセンブリは、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６／００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに記載されている。
【０１３１】
本発明の実施例によれば、深度抽出モジュール５０５０は、取得画像から深度を抽出するように構成されている。
【０１３２】
本発明の実施例によれば、システムは更に、ステップ６４５０に示すように画像上に骨格を投影するように構成することができる。本発明の更なる実施例によれば、この投影を２次元平面に適用することができる。
【０１３３】
本発明の更なる実施例によれば、モジュール５０５０を用いる場合は、この投影を三次元平面に適用することができる。
【０１３４】
本発明の実施例によれば、この投影は三次元平面及び／又は三次元点群の上にあってもよい。
【０１３５】
本発明の実施例によれば、投影モジュール５４５０は、骨格を画像上に投影するように構成することができる。
【０１３６】
本発明の実施例によれば、このシステムは更に、ステップ６５００に示すように、分割データを投影した骨格に適合させるように構成することができる。本発明の更なる実施例によれば、この適合プロセスは、分割データの部分の投影した骨格の部分への関連付けを具えていても良い。
【０１３７】
本発明の実施例によれば、分割データの適合ステップが、抽出した分割データを現在の骨格パラメータと関連づけるステップを具えており、現在の骨格パラメータは、抽出した分割データの関連する部分を支持するパラメータである。
【０１３８】
本発明の更なる実施例によれば、この処理の結果が「適合骨格」である。
【０１３９】
本発明の更なる実施例によれば、適合モジュール５５００は、分割データを投影した骨格に関連づけるように構成されている。
【０１４０】
本発明の実施例によれば、このシステムは更にステップ６５５０に示すように、適合した骨格にスコアをつけて、エラーを検出するように構成されている。本発明の実施例によれば、スコアを付けてエラーを検出するステップは、（１）適合した骨格を検査するステップと、（２）この骨格の適合品質を評価するステップと、（３）骨格予測プロセスあるいは分割データの関連づけを行う間にエラーが生じたかどうかを決定するステップと、を具える。
【０１４１】
本発明の実施例によれば、このスコアリング及びエラー検出モジュール５５５０は、スコアを付けてエラーを検出するように構成されている。
【０１４２】
本発明の実施例によれば、ステップ６５５０においてエラーが検出されると、ステップ６６００に示すようにシステムが回復フェーズに入る。この回復プロセスは、複数の処理層からなるプロセスである。
【０１４３】
本発明の実施例によれば、回復フェーズは、画像の再分割ステップ、３Ｄ骨格位置の再予測、拡張エフォートを用いた骨格の再投影及び再適合ステップを具える。本発明の更なる実施例によれば、この回復モジュールは、画像情報が壊れている場合一又はそれ以上のフレームをスキップするよう決定することができる。
【０１４４】
本発明の実施例によれば、回復を行う間システムは、そのフレームに対象のトラッキングがないことを検出するよう構成されている。本発明の更なる実施例によれば、システムは、対象がそのフレームに戻るまで一またはそれ以上のフレームをスキップするよう構成することができる。
【０１４５】
本発明の実施例によれば、回復フレーズは、システムを起動ステップに戻すことができる。
【０１４６】
本発明の実施例によれば、回復モジュール５６００は、回復プロセスを実行するように構成されている。
【０１４７】
本発明の実施例によれば、ステップ６５５０の間にエラーが検出されなければ、システムは、ステップ６７００に示すように、適合骨格の位置に応じて三次元骨格の位置を更新するように構成することができる。本発明の更なる実施例によれば、この更新プロセスは、（１）適合骨格の上に３Ｄ骨格を投影するステップと、（２）三次元骨格を適合骨格に関連付けるステップと、（３）Ｚｌｅｎｓアッセンブリを用いて深度を抽出するステップと、（４）三次元骨格を深度パラメータに関連付けるステップと、（５）３Ｄ骨格の位置を更新するステップと、を具える。
【０１４８】
本発明の実施例によれば、三次元相関モジュール５７００は、三次元骨格の位置を更新するように構成することができる。
【０１４９】
本発明の実施例によれば、三次元相関モジュール５７００と骨格予測モジュール５８００は、本出願と同じ譲受人に譲渡された、２００５年７月３１日に出願されたＰＣＴ出願、ＰＣＴ／ＩＬ２００５／０００８１３号に記載のアルゴリズムとプロセスのいくつかあるいは全てを用いることができる。
【０１５０】
本発明の実施例によれば、（１）三次元相関モジュール５７００と、（２）Ｚｌｅｎｓ画像取得アッセンブリ５０００と、（３）深度抽出モジュール５０５０と、の機能性、（４）特に、Ｚｌｅｎｓ装置を用いて取得した画像からの深度の外挿が、本出願と同じ譲受人に譲渡された、２００６年１０月３１日に出願された、ＰＣＴ／ＩＬ２００６/００１２５４号と、本出願と同じ譲受人に譲渡された、２００５年１０月３１日に出願された米国特許出願６０／７３１，２７４号とに関連して最もよく述べられている。
【０１５１】
本発明の実施例によれば、上述したシステムは、外部ソースから、深度画像及び／又は３Ｄ画像を受け取るように構成することができる。本発明の更なる実施例によれば、深度画像及び／又は三次元画像をシステムから受け取る場合、このシステムは関連モジュール内のそのパラメータを抽出するように構成される。
【０１５２】
ここに提示したプロセスとディスプレイは、本質的に、特別なコンピュータあるいはその他の装置に関連するものではない。様々な汎用システムを、ここにある教示によってプログラムと共に用いることができるし、また、所望の方法を実行するためにより特殊化した装置を都合よく構成できることがわかる。これらの様々なシステムの所望の構造は、以下の記載から明らかである。更に、本発明の実施例は、特定にプログラム言語について記載されているものではない。様々なプログラム言語を用いてここに述べた発明の教示を実装することができる。当業者には、ここに記載した発明があらゆる種類の無線あるいは有線システムに使用できることが自明である。
【０１５３】
本発明のある特徴を図に示して説明したが、多くの変形、差し替え、変更、及び均等物が当業者に生じる。従って、特許請求の範囲は、本発明の真なる精神に合致する限り、これらの変形や変更を含むことを意図している。
【特許請求の範囲】
【請求項１】
３Ｄ人機械インターフェースにおいて：
二次元画像セットから一又はそれ以上の予測したユーザ身体座標を取り出すように構成された処理ユニットと；
二又はそれ以上の光路を用いて一又はそれ以上の二次元画像データセットを取得するように構成された画像取得アッセンブリであって、前記各光路が、レンズ、ミラー、及びダイヤフラム構造体を具え、各光路が共通の投影平面から二次元光画像情報を回収するように構成されている、画像取得アッセンブリと；
を具えることを特徴とする３Ｄ人機械インターフェース。
【請求項１】
３Ｄ人機械インターフェースにおいて：
二次元画像セットから一又はそれ以上の予測したユーザ身体座標を取り出すように構成された処理ユニットと；
二又はそれ以上の光路を用いて一又はそれ以上の二次元画像データセットを取得するように構成された画像取得アッセンブリであって、前記各光路が、レンズ、ミラー、及びダイヤフラム構造体を具え、各光路が共通の投影平面から二次元光画像情報を回収するように構成されている、画像取得アッセンブリと；
を具えることを特徴とする３Ｄ人機械インターフェース。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−４７９６１（Ｐ２０１３−４７９６１Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−２１８５２５（Ｐ２０１２−２１８５２５）
【出願日】平成２４年９月２８日（２０１２．９．２８）
【分割の表示】特願２０１０−５０２６３３（Ｐ２０１０−５０２６３３）の分割
【原出願日】平成１９年４月１５日（２００７．４．１５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
【出願人】（５０７０３１９７４）エクストリーム リアリティー エルティーディー． (5)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２４年９月２８日（２０１２．９．２８）
【分割の表示】特願２０１０−５０２６３３（Ｐ２０１０−５０２６３３）の分割
【原出願日】平成１９年４月１５日（２００７．４．１５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
【出願人】（５０７０３１９７４）エクストリーム リアリティー エルティーディー． (5)
【Ｆターム（参考）】
[ Back to top ]