説明

姿勢推定装置、姿勢推定方法及びプログラム

【課題】高速かつ高精度に初期姿勢を推定すること。
【解決手段】姿勢推定装置は、第1対象物と第1対象物に近接する第2対象物とを撮影する撮影手段と、第1対象物の構成要素と、第2対象物の構成要素と、第1及び第2対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を予め記憶する記憶手段と、撮影された第1及び第2対象物を含む撮影画像と、記憶手段により記憶された接触情報と、に基づいて、確率の高い順で、第1対象物の構成要素と、第2対象物の構成要素との接触を検出する接触検出手段と、接触検出手段により検出された第1及び第2対象物の位置と、複数のリンクを相互に接続して第1対象物を表現した簡易モデルと、に基づいて、第1対象物の初期姿勢を算出し、算出した初期姿勢と、簡易モデルを第1対象物の形状により近似した詳細モデルと、に基づいて、最終的な第1対象物の初期姿勢を推定する推定手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高速かつ高精度に人などの初期姿勢を推定できる姿勢推定装置、姿勢推定方法及びプログラムに関するものである。
【背景技術】
【0002】
カメラなどの距離センサを用いて人の姿勢や動作を推定し、あるいは、人のジェスチャを認識する際に、人体モデルを用いて2次元画像や3次元画像に対してフィッティングを行っている。その際、人体モデルの関節パラメータなどを設定した初期姿勢の推定が重要となり、その初期姿勢の推定精度が最終的な精度や計算時間などに対して大きな影響を及ぼすこととなる。
【0003】
これに対し、例えば、画像取得部から取得した画像情報と予め記憶されたシルエット画像とのマッチングを行い、姿勢が類似しているフレームを選択することで、初期姿勢を推定する動画像生成システムが知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4695275号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に示す動画像生成システムにおいては、上記マッチングやフレーム選択を行うためにその処理に多くの計算時間を要し、膨大な記憶容量も必要となる。
【0006】
本発明は、このような問題点を解決するためになされたものであり、高速かつ高精度に初期姿勢を推定できる姿勢推定装置、姿勢推定方法及びプログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するための本発明の一態様は、第1対象物と該第1対象物に近接する第2対象物とを撮影する撮影手段と、少なくとも、前記第1対象物の構成要素と、前記第2対象物の構成要素と、前記第1及び第2対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を予め記憶する記憶手段と、前記撮影手段により撮影された前記第1及び第2対象物を含む撮影画像と、前記記憶手段により記憶された前記接触情報と、に基づいて、前記確率の高い順で、前記第1対象物の構成要素と、前記第2対象物の構成要素との接触を検出する接触検出手段と、前記接触検出手段により検出された前記第1対象物の位置と、複数のリンクを相互に接続して前記第1対象物を表現した簡易モデルと、に基づいて、前記第1対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第1対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第1対象物の初期姿勢を推定する推定手段と、を備える、ことを特徴とする姿勢推定装置である。
この一態様において、前記撮影手段により撮影された前記撮影画像から前記第1対象物の存在する確率が高い領域を検出する第1検出手段と、前記第1検出手段により検出された前記第1対象物の存在する確率の高い領域近傍にある前記第2対象物の領域を検出する第2検出手段と、を更に備え、前記接触検出手段は、前記第1検出部により検出された前記領域の第1対象物の構成要素と、前記第2検出部により検出された前記領域の第2対象物の構成要素と、の接触を前記確率の高い順に検索し、検出してもよい。
この一態様において、前記第1対象物は人であり、前記第2対象物は物体であり、前記確率は、前記人の人体部位と前記物体の物体構成要素とが夫々接触している事前確率と、該人体部位と物体構成要素とが接触しているときにさらに所定の人体部位間で接触している条件付確率と、を含み、前記接触検出手段は、前記事前確率及び条件付確率が高い順に、前記人体部位と前記物体構成要素との接触を検出してもよい。
この一態様において、前記推定手段は、前記接触検出手段により検出された第1対象物の構成要素の位置と、前記記憶手段に記憶された前記簡易モデルと、に基づいて、逆運動学を行って前記第1対象物の初期姿勢を算出し、該算出した第1対象物の初期姿勢を含む画像と、前記記憶手段に記憶され前記簡易モデルの各リンク周りに所定の立体を付与して前記第1対象物の形状により近似した詳細モデルと、に基づいて詳細なフィッティングを行い、最終的な前記第1対象物の初期姿勢を推定してもよい。
この一態様において、前記推定手段により推定された前記初期姿勢に対して姿勢のトラッキングを行い、前記第1対象物の状態推定を行う状態推定手段を更に備えていてもよい。
他方、上記目的を達成するための本発明の一態様は、第1対象物と該第1対象物に近接する第2対象物とを撮影するステップと、少なくとも、前記第1対象物の構成要素と、前記第2対象物の構成要素と、前記第1及び第2対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を記憶するステップと、前記撮影された第1及び第2対象物を含む撮影画像と、前記記憶された接触情報と、に基づいて、前記確率の高い順で、前記第1対象物の構成要素と、前記第2対象物の構成要素との接触を検出するステップと、前記検出された第1対象物の位置と、複数のリンクを相互に接続して前記第1対象物を表現した簡易モデルと、に基づいて、前記第1対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第1対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第1対象物の初期姿勢を推定するステップと、を含む、ことを特徴とする姿勢推定方法であってもよい。
この一態様において、前記撮影された撮影画像から前記第1対象物の存在する確率が高い領域を検出するステップと、前記検出された第1対象物の存在する確率の高い領域近傍にある前記第2対象物の領域を検出するステップと、を更に含み、前記検出された前記領域の第1対象物の構成要素と、前記検出された前記領域の第2対象物の構成要素と、の接触を前記確率の高い順に検索し、検出してもよい。
この一態様において、前記推定された前記初期姿勢に対して姿勢のトラッキングを行い、前記第1対象物の状態推定を行うステップを更に含む、前記姿勢のトラッキングが外れたとき、前記検出された前記領域の第1対象物の構成要素と、前記検出された前記領域の第2対象物の構成要素と、の接触を前記確率の高い順に検索し、検出することを繰り返してもよい。
また、上記目的を達成するための本発明の一態様は、撮影された第1対象物と該第1対象物に近接する第2対象物を含む撮影画像と、予め記憶された少なくとも、前記第1対象物の構成要素と、前記第2対象物の構成要素と、前記第1及び第2対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報と、に基づいて、前記確率の高い順で、前記第1対象物の構成要素と、前記第2対象物の構成要素との接触を検出する処理と、前記検出された第1対象物の位置と、複数のリンクを相互に接続して前記第1対象物を表現した簡易モデルと、に基づいて、前記第1対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第1対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第1対象物の初期姿勢を推定する処理と、をコンピュータに実行させる、ことを特徴とするプログラムであってもよい。
【発明の効果】
【0008】
本発明によれば、高速かつ高精度に初期姿勢を推定できる姿勢推定装置、姿勢推定方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施の形態に係る姿勢推定装置の概略的構成を示すブロック図である。
【図2】物体構成要素−人体部位の接触情報の一例を示す図である。
【図3】人体部位の構成の一例を示す図である。
【図4】初期推定用の人体モデルの一例を示す図である。
【図5】モデルフィット部により算出された初期姿勢を含む画像の一例を示す図である。
【図6】詳細人体モデルを用いて詳細なフィッティングを行った図である。
【図7】詳細モデルの一例を示す図である。
【図8】本発明の一実施の形態に係る姿勢推定装置の処理フローを示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明の一実施の形態に係る姿勢推定装置の概略的構成を示すブロック図である。本実施の形態に係る姿勢推定装置1は、人や物体などの初期姿勢を高速かつ高精度に推定できるものである。例えば、人が椅子に座っている姿勢やベッドで寝ている姿勢などの独特の姿勢を高速かつ高精度に推定することができる。
【0011】
姿勢推定装置1は、例えば、演算処理等と行うCPU(Central Processing Unit)と、CPUによって実行される演算プログラム等が記憶されたROM(Read Only Memory)と、処理データ等を一時的に記憶するRAM(Random Access Memory)と、を有するマイクロコンピュータを中心にして、ハードウェア構成されている。また、これらCPU、ROM、及びRAMは、データバス等によって相互に接続されている。
【0012】
姿勢推定装置1は、画像入力部2と、第1検出部3と、第2検出部4と、データベース5と、接触部位検出部6と、モデルフィット部7と、状態推定部8と、を備えている。
【0013】
画像入力部2は、撮影手段の一具体例であり、例えば、ロボットなどに搭載されたステレオカメラ、デプスイメージャ等を用いて、周囲環境の撮影画像を入力し、入力された撮影画像を第1検出部3に対して出力する。
【0014】
第1検出部3は、第1検出手段の一具体例であり、周知の画像処理技術を用いて、画像入力部2により入力された撮影画像の中から、人(第1対象物の一具体例)の存在確率の高い領域(以下、人存在領域と称す)を検出し、検出した人存在領域を第2検出部4に対して出力する。
【0015】
第1検出部3は、例えば、画像入力部2により入力された撮影画像に基づいて、エッジ画像を生成し、生成したエッジ画像に対してハフ変換などを行い、人の顔領域を検出し、その顔領域近傍の形状特徴を利用して、肩領域を検出する。
【0016】
第2検出部4は、第2検出手段の一具体例であり、周知の画像処理技術を用いて、第1検出部3により検出された人存在領域に基づいて、その人存在領域近傍にある物体(第2対象物の一具体例、例えば、机や椅子など)の領域(以下、物体領域と称す)を検出し、検出した物体領域を接触部位検出部6に対して出力する。
【0017】
ここで、人が使用する物体は、一般に、椅子や机など環境に固定されている物が多く存在する。そのような物体の位置情報は、例えば、その物体の3次元形状と共にロボットなどの自律移動用のマップ情報の中に予め記憶されている。なお、物体の位置が移動した場合でも、既知物体として形状マッチングなどを行うことにより、その移動位置及び姿勢が適宜算出され、マップ情報を逐次更新することができる。第2検出部4は、例えば、そのような予め記憶されたマップ情報をロボットなどから適宜取得し、取得したマップ情報に基づいて、物体領域を検出することもできる。
【0018】
また、物体に可視マーカなどを貼付し、その可視マーカをカメラにより撮影した場合、第2検出部4は、カメラにより撮影され、画像入力部2により入力された撮影画像の可視マーカの位置に基づいて、物体領域を検出してもよい。さらに、第2検出部4は、RFID(Radio Frequency Identification)などのタグ情報を用いて、物体領域を検出してもよく、撮影画像のパターンマッチングを用いて物体領域を検出してもよく、任意の方法を適用できる。
【0019】
データベース5は、記憶手段の一具体例であり、物体を機能的に分解した構成要素(物体構成要素)と、その物体構成要素と近接する人体部位(ノード)との接触情報を記憶する。データベース5は、例えば、磁気ディスク装置や光ディスク装置などにより構成されている。
【0020】
上述の物体構成要素と人体部位との接触関係を示す物体構成要素−人体部位の接触情報は、例えば、図2に示すように、物体の名称、物体の位置、物体の姿勢、物体構成要素、その物体構成要素と近接する人体部位(近接人体部位)、事前確率、部位間接触、条件付確率など、を含み、これら情報が夫々対応付けられている。また、人体部位は、例えば、図3に示すような部位によって構成されている。
【0021】
ここで、上記事前確率とは、例えば、相互生起確率を指し、その物体構成要素と対応する近接人体部位とが接触している確率である。また、上記条件付確率とは、例えば、物体構成要素と対応する近接人体部位とが接触しているときに、さらに、所定の人体部位間で接触が生じている確率を指す。(例えば、人が肘をついたときの手と頭とが接触する確率など)
【0022】
なお、姿勢推定装置1は、画像入力部2から予め入力された複数の撮影画像に基づいて、事前確率及び条件付確率を、予め統計的に学習し自動的に算出してもよい。データベース5には、そのようにして算出された事前確率及び条件付確率が接触情報の中に予め記憶される。
【0023】
接触部位検出部6は、接触検出手段の一具体例であり、第1検出部3により検出された人存在領域と、第2検出部4により検出された物体領域と、データベース5に記憶された物体構成要素−人体部位の接触情報と、に基づいて、物体構成要素と人体部位との接触を検出する。
【0024】
例えば、接触部位検出部6は、第1検出部3により検出された人存在領域の人体部位と第2検出部4により検出された物体領域の物体構成要素と、の接触を、データベース5に記憶された物体構成要素−人体部位の接触情報に含まれる事前確率及び条件付確率を用いて、検出する。より具体的には、接触部位検出部6は、データベース5に記憶された物体構成要素−人体部位の接触情報に含まれる事前確率及び条件付確率の高い順(接触している可能性が高い順)に従って、人体部位と物体構成要素との組合せの検索順序を決定し、その検索順序に従って、その人体部位と物体構成要素との接触を検出する。これにより、効率良く、人体部位と物体構成要素との接触を検出することができる。
【0025】
また、接触部位検出部6は、第2検出部4により検出された物体位置と、その差分情報と、に基づいて、第2検出部4により検出された物体構成要素に接触している人体部位の位置を算出することができる。
【0026】
モデルフィット部7は、推定手段の一具体例であり、接触部位検出部6により検出された物体構成要素に接触している人体部位の位置と、初期推定用の人体モデルと、に基づいて、下記(1)式に示す逆運動学を用いて初期姿勢を算出する。このように、物体構成要素−人体部位の接触情報を用いて初期姿勢を算出することで、物体構成要素と人体部位間の接触関係のみをモデル化できる。したがって、その記憶容量及び計算量を効果的に低減することができるため、初期姿勢を高速に推定できる。
【0027】
上記初期推定用の人体モデルは、簡易モデルの一具体例であり、例えば、図4に示すような、複数のリンクを相互に接続して人を表現したモデルであり、データベース5に予め記憶されている。
θ=Jx+(I−JJ)z (1)式
なお、下記(1)式において、θは関節パラメータであり、Jはヤコビ行列であり、Jはヤコビ行列の一般化逆行列である。
【0028】
モデルフィット部7は、算出した初期姿勢を含む画像(図5)と、詳細人体モデルと、に基づいて、詳細なフィッティングを行い、最適化処理を行うことで、最終的な初期姿勢の推定を行う(図6)。これにより、より高精度に初期姿勢を推定することができる。なお、上記詳細人体モデルは、詳細モデルの一具体例であり、例えば、図7に示すような、初期推定用の人体モデルの各リンク周りに半径r、高さ1の円柱(所定の立体の一具体例)を夫々付与して人の形状により近似したモデルであり、データベース5などに予め記憶されている。
【0029】
ここで、上記詳細フィッティングにおいて、曲面の残差情報をエネルギー関数Eとして、下記(2)式に示すような、一般的な降下法を用いることができる。下記(2)式において、kはステップ幅である。
θ(n)=θ(n−1)+k(n−1)・∇E (2)式
【0030】
状態推定部8は、状態推定手段の一具体例であり、モデルフィット部7により推定された初期姿勢に対して姿勢トラッキングを行い、人の状態推定を行う。なお、本実施の形態に係る姿勢推定装置1は状態推定部8を備えない構成であってもよい。
【0031】
ところで、カメラなどを用いて人の姿勢や動作を推定する際に、人体モデルを用いて画像に対してフィッティングを行っている。その際、人体モデルの関節パラメータなどを設定した初期姿勢の推定が重要となり、その初期姿勢の推定精度が最終的な精度や計算時間などに対して大きな影響を及ぼすこととなる。また、人の姿勢の自由度は大きく、全てのパターンを記憶するとその記憶容量が膨大となり、多くの計算時間を要することとなる。
【0032】
そこで、本実施の形態に係る姿勢推定装置1においては、物体構成要素と人体部位との接触情報を用いて初期姿勢を算出することで、物体構成要素と人体部位間の接触関係のみをモデル化し、その記憶容量及び計算量を効果的に低減することができ、処理の高速化を図ることができる。さらに、算出した初期姿勢を含む画像を用いて詳細なフィッティングを行うことで最終的な初期姿勢を高精度に推定することができる。
【0033】
次に、本実施の形態に係る姿勢推定装置1による姿勢推定方法について、詳細に説明する。図8は、本実施の形態に係る姿勢推定装置の処理フローの一例を示すフローチャートである。
【0034】
まず、画像入力部2は、ロボットなどに搭載されたカメラ等を用いて、周囲環境の撮影画像を入力し、入力された撮影画像を第1検出部に対して出力する(ステップS101)。
【0035】
次に、第1検出部3は、周知の画像処理技術を用いて、画像入力部2により入力された撮影画像の中から、人の存在確率の高い人存在領域を検出し、検出した人存在領域を第2検出部4に対して出力する(ステップS102)。
【0036】
その後、第2検出部4は、第1検出部3により検出された人存在領域に基づいて、その人存在領域近傍にある物体領域を検出し、検出した物体領域を接触部位検出部6に対して出力する(ステップS103)。
【0037】
接触部位検出部6は、データベース5に記憶された物体構成要素−人体部位の接触情報の中から、事前確率及び条件付確率の高い順に、物体構成要素と人体部位の組合せを選択し(ステップS104)、物体構成要素と人体部位とが実際に接触している組合せを効率的に検出する(ステップS105)。
【0038】
モデルフィット部7は、接触部位検出部6により検出された物体構成要素に接触している人体部位の位置と、初期推定用の人体モデルと、に基づいて、逆運動学を用いて初期姿勢を高速に算出する(ステップS106)。
【0039】
モデルフィット部7は、算出した初期姿勢を含む画像と詳細人体モデルとに基づいて、詳細フィッティングを行い、最終的な初期姿勢の推定を高精度に行う(ステップS107)。
【0040】
状態推定部8は、モデルフィット部7により推定された初期姿勢に対して姿勢のトラッキングを行い(ステップS108)、人の状態推定を行う(ステップS109)。なお、状態推定部8における姿勢のトラッキングが外れた場合は、上記(ステップS104)の処理に戻り以降の処理を繰り返してもよい。
【0041】
以上、本実施の形態に係る姿勢推定装置1において、物体構成要素と人体部位との接触情報を用いて初期姿勢を算出することで、物体構成要素と人体部位間の接触関係のみをモデル化し、その記憶容量及び計算量を効果的に低減することができ、処理の高速化を図ることができる。さらに、算出した初期姿勢を含む画像を用いて詳細なフィッティングを行うことで最終的な初期姿勢を高精度に推定することができる。すなわち、高速かつ高精度に初期姿勢を推定できる。
【0042】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0043】
例えば、上記一実施の形態において、物体に接触する人の初期姿勢を推定しているが、これに限らず、例えば、人に接触する物体の初期姿勢を推定してもよい。
【0044】
また、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、例えば、図8に示す処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
【0045】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。
【0046】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【0047】
1 姿勢推定装置
2 画像入力部
3 第1検出部
4 第2検出部
5 データベース
6 接触部位検出部
7 モデルフィット部
8 状態推定部

【特許請求の範囲】
【請求項1】
第1対象物と該第1対象物に近接する第2対象物とを撮影する撮影手段と、
少なくとも、前記第1対象物の構成要素と、前記第2対象物の構成要素と、前記第1及び第2対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を予め記憶する記憶手段と、
前記撮影手段により撮影された前記第1及び第2対象物を含む撮影画像と、前記記憶手段により記憶された前記接触情報と、に基づいて、前記確率の高い順で、前記第1対象物の構成要素と、前記第2対象物の構成要素との接触を検出する接触検出手段と、
前記接触検出手段により検出された前記第1対象物の位置と、複数のリンクを相互に接続して前記第1対象物を表現した簡易モデルと、に基づいて、前記第1対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第1対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第1対象物の初期姿勢を推定する推定手段と、
を備える、ことを特徴とする姿勢推定装置。
【請求項2】
請求項1記載の姿勢推定装置であって、
前記撮影手段により撮影された前記撮影画像から前記第1対象物の存在する確率が高い領域を検出する第1検出手段と、
前記第1検出手段により検出された前記第1対象物の存在する確率の高い領域近傍にある前記第2対象物の領域を検出する第2検出手段と、を更に備え、
前記接触検出手段は、前記第1検出部により検出された前記領域の第1対象物の構成要素と、前記第2検出部により検出された前記領域の第2対象物の構成要素と、の接触を前記確率の高い順に検索し、検出する、
ことを特徴とする姿勢推定装置。
【請求項3】
請求項2記載の姿勢推定装置であって、
前記第1対象物は人であり、前記第2対象物は物体であり、
前記確率は、前記人の人体部位と前記物体の物体構成要素とが夫々接触している事前確率と、該人体部位と物体構成要素とが接触しているときにさらに所定の人体部位間で接触している条件付確率と、を含み、
前記接触検出手段は、前記事前確率及び条件付確率が高い順に、前記人体部位と前記物体構成要素との接触を検出する、
ことを特徴とする姿勢推定装置。
【請求項4】
請求項1乃至3のうちいずれか1項記載の姿勢推定装置であって、
前記推定手段は、
前記接触検出手段により検出された第1対象物の構成要素の位置と、前記記憶手段に記憶された前記簡易モデルと、に基づいて、逆運動学を行って前記第1対象物の初期姿勢を算出し、
該算出した第1対象物の初期姿勢を含む画像と、前記記憶手段に記憶され前記簡易モデルの各リンク周りに所定の立体を付与して前記第1対象物の形状により近似した詳細モデルと、に基づいて詳細なフィッティングを行い、最終的な前記第1対象物の初期姿勢を推定する、
ことを特徴とする姿勢推定装置。
【請求項5】
請求項1乃至4のうちいずれか1項記載の姿勢推定装置であって、
前記推定手段により推定された前記初期姿勢に対して姿勢のトラッキングを行い、前記第1対象物の状態推定を行う状態推定手段を更に備える、
ことを特徴とする姿勢推定装置。
【請求項6】
第1対象物と該第1対象物に近接する第2対象物とを撮影するステップと、
少なくとも、前記第1対象物の構成要素と、前記第2対象物の構成要素と、前記第1及び第2対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報を記憶するステップと、
前記撮影された第1及び第2対象物を含む撮影画像と、前記記憶された接触情報と、に基づいて、前記確率の高い順で、前記第1対象物の構成要素と、前記第2対象物の構成要素との接触を検出するステップと、
前記検出された第1対象物の位置と、複数のリンクを相互に接続して前記第1対象物を表現した簡易モデルと、に基づいて、前記第1対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第1対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第1対象物の初期姿勢を推定するステップと、
を含む、ことを特徴とする姿勢推定方法。
【請求項7】
請求項6記載の姿勢推定方法であって、
前記撮影された撮影画像から前記第1対象物の存在する確率が高い領域を検出するステップと、
前記検出された第1対象物の存在する確率の高い領域近傍にある前記第2対象物の領域を検出するステップと、を更に含み、
前記検出された前記領域の第1対象物の構成要素と、前記検出された前記領域の第2対象物の構成要素と、の接触を前記確率の高い順に検索し、検出する、
ことを特徴とする姿勢推定方法。
【請求項8】
請求項6又は7記載の姿勢推定方法であって、
前記推定された前記初期姿勢に対して姿勢のトラッキングを行い、前記第1対象物の状態推定を行うステップを更に含む、
前記姿勢のトラッキングが外れたとき、前記検出された前記領域の第1対象物の構成要素と、前記検出された前記領域の第2対象物の構成要素と、の接触を前記確率の高い順に検索し、検出することを繰り返す、
ことを特徴とする姿勢推定方法。
【請求項9】
撮影された第1対象物と該第1対象物に近接する第2対象物を含む撮影画像と、予め記憶された少なくとも、前記第1対象物の構成要素と、前記第2対象物の構成要素と、前記第1及び第2対象物の構成要素間で接触している確率と、が複数組、対応付けられた接触情報と、に基づいて、前記確率の高い順で、前記第1対象物の構成要素と、前記第2対象物の構成要素との接触を検出する処理と、
前記検出された第1対象物の位置と、複数のリンクを相互に接続して前記第1対象物を表現した簡易モデルと、に基づいて、前記第1対象物の初期姿勢を算出し、該算出した初期姿勢と、前記簡易モデルを前記第1対象物の形状により近似した詳細モデルと、に基づいて、最終的な前記第1対象物の初期姿勢を推定する処理と、
をコンピュータに実行させる、ことを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−109696(P2013−109696A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−256001(P2011−256001)
【出願日】平成23年11月24日(2011.11.24)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】