電磁波を用いた生物体に関する情報の推定方法および装置
【課題】人物等の位置、３次元姿勢、行動などの情報を推定する際に、「照明」、「気温」、「人物の着用する衣服や靴」などの影響を受けることなく、比較的精度高く推定すること。
【解決手段】生物体１に関する情報の推定において、生物体１のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波８を照射して、生物体１により反射される反射電磁波９を検出することによって生物体１の少なくとも一部位の方向と距離を含むデータを得、生物体１の少なくとも一部位の空間位置を求める。ミリ波からテラヘルツ領域の周波数を含む電磁波は、物体は透過するが生物体ではその水分等のために透過せずに一部は反射される特性を持つ。
【解決手段】生物体１に関する情報の推定において、生物体１のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波８を照射して、生物体１により反射される反射電磁波９を検出することによって生物体１の少なくとも一部位の方向と距離を含むデータを得、生物体１の少なくとも一部位の空間位置を求める。ミリ波からテラヘルツ領域の周波数を含む電磁波は、物体は透過するが生物体ではその水分等のために透過せずに一部は反射される特性を持つ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電磁波を用いた生物体に関する情報の推定方法および装置に関し、特にミリ波からテラヘルツ領域の周波数を含む電磁波を用いて人物等の生物体の位置、姿勢、行動などの情報を推定する方法および装置に関する。
【背景技術】
【０００２】
従来、人物に特別な器具を取り付けることなく人物の姿勢を推定する方法として、ビデオレート・ステレオマシンから得られるカラー画像と距離画像を用いる方法（特許文献１参照）や熱カメラ（赤外線カメラ）を用いる方法（特許文献２参照）があった。
【特許文献１】特開平９−２３７３４８号公報
【特許文献２】特開平１０−２５８０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ビデオレート・ステレオマシンを用いる方式では、まずカラー画像から肌色領域を抽出し、頭部および両手の３次元位置を決定する必要があった。そのため、照明の影響や手袋などにより両手の肌色が抽出できない場合には姿勢が推定できないという問題があった。一方、熱カメラを用いる方式では、気温が高いところでは周囲と人物を見分けることが難しくなるという問題や、人物の一部位、例えば腕が他の部位、例えば胴体と重なるような場合にはその部位の検出が難しくなるという問題があった。また、これらの方式に共通する問題として、人物が衣服や靴を着用した状態では、カラー画像では人物そのものではなく衣服や靴が映し出されるため、また、熱カメラでは衣服や靴が熱を遮断するため、人物の全身の精度の高い姿勢推定が難しくなるという問題があった。
【課題を解決するための手段】
【０００４】
上記課題に鑑み、本発明の生物体に関する情報の推定方法は、人物等の生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射して、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求める第１のステップを少なくとも有することを特徴とする。推定すべき情報に生物体の姿勢が含まれる場合には、前記第１のステップで得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定する第２のステップを更に有する。また、推定すべき情報に生物体の行動が含まれる場合には、前記第２のステップで得られた生物体の姿勢の時間的位置変化から生物体の行動を推定する第３のステップを更に有する。
【０００５】
また、上記課題に鑑み、本発明の生物体に関する情報の推定装置は、生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射する電磁波照射手段、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求める位置検出手段を有することを特徴とする。ここでも、推定すべき情報に生物体の姿勢が含まれる場合には、前記位置検出手段で得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定する姿勢推定手段を更に有する。また、推定すべき情報に生物体の行動が含まれる場合には、前記姿勢推定手段で得られた生物体の姿勢の時間的位置変化から生物体の行動を推定する行動推定手段を更に有する。
【発明の効果】
【０００６】
この発明によれば、物体は透過するが生物体ではその水分等のために透過せずに一部は反射される特性を持つミリ波からテラヘルツ領域の周波数を含む電磁波を用いて人物等の位置、３次元姿勢、行動などの情報を推定するため、「照明」、「気温」、「人物の着用する衣服や靴」などの影響をあまり受けることなく、比較的精度の高い人物等の３次元姿勢、行動等の推定ができる。
【発明を実施するための最良の形態】
【０００７】
以下に、ミリ波からテラヘルツ領域の周波数を含む電磁波を用いた人物の姿勢、行動推定方法ないし装置の実施形態について説明する。
【０００８】
本発明では、人物等の生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射して、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求めたり、得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定したり、得られた生物体の姿勢の時間的位置変化から生物体の行動を推定したりするが、典型的な一実施形態では、人物の皮膚表面で反射した反射電磁波から得られる画像データから頭頂点、手先点、足先点を含む人物の特徴部位の位置を求め、前記人物の特徴部位の位置関係から人物の姿勢を推定し、さらに前記姿勢の時間的位置変化から人物の行動を推定する。
【０００９】
上記人物の特徴部位の位置を求めるにあたっては、人物の少なくとも一部の皮膚表面の空間的な距離画像を求め、この距離画像を信号処理することによって頭頂点、手先点、足先点を含む人物の特徴部位の代表点の３次元位置情報を求めることができる。
【００１０】
また、人物の姿勢を推定するにあたっては、頭頂点、手先点、足先点を含む人物の特徴部位の代表点の３次元位置情報から人物の特徴部位の代表点間のベクトルを算出し、この代表点間のベクトルから人物の姿勢を推定することができる。
【００１１】
さらに、人物の行動を推定するにあたっては、人物の特徴部位の代表点間のベクトルの時間的変化から人物の行動を推定することができる。
【００１２】
また、推定装置の一実施形態は、人物のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射して、人物により反射される反射電磁波を検出することによって、人物の皮膚表面形状に関する情報を検出する装置であって、人物の皮膚表面で反射した反射電磁波から得られる画像データから頭頂点、手先点、足先点を含む人物の特徴部位の位置を求めるための手段、前記人物の特徴部位の位置関係から人物の姿勢を推定するための手段、および前記姿勢の時間的位置変化から人物の行動を推定する手段を含む形態を採り得る。
【００１３】
ここにおいて、画像データは、例えば、反射電磁波の遅延時間から求められる人物の皮膚表面までの３次元位置情報を含む画像データである。また、電磁波は、連続的に発生する電磁波パルスであり得る。連続的に発生する電磁波パルスを用いることで連続した画像が得られる。
【００１４】
電磁波は、その波長程度に絞られたビーム状で空間を伝播し、ビーム位置を２次元スキャンすることで面内方向の一部または全体情報を検知する形態を採り得る。ビーム位置を２次元スキャンすることで画像を形成することができる。また、電磁波は、取得したい人物領域にスポットサイズで照射できるようにエキスパンドしたビーム状で空間を伝播し、面内方向の一部または全体情報を検知する形態も採り得る。エキスパンドしたビームを用いても、画像を形成することができる。
【実施例】
【００１５】
以下に、より具体的な実施例を説明する。
（実施例１）
本実施例による人物の姿勢、行動などの推定方法および装置について、図１を用いて説明する。
【００１６】
ここでは、運動をしている人物１を含む空間に、ミリ波からテラヘルツ領域の周波数を含む電磁波パルス８を照射して、人物１の姿勢、行動を推定することを考える。３次元情報センシング装置１５は、電磁波発生器２、電磁波パルス８を空間に放出するアンテナ１０、人物１からの反射電磁波パルス９を受信するアンテナ１１および電磁波検出器３、電磁波発生器２からのパルス発生のタイミングを遅延させる遅延器１２、遅延器１２によって遅延させられた電磁波パルスと受信パルスをミキシングするミキサ１４、この遅延時間から人物１の各部位までの３次元位置情報（例えば、方向と距離とは、反射してくる電磁波を検出する検出部に対する物体との距離であり、また方向とは反射してくる電磁波を検出する検出部の傾きから算出された方向である。）を算出する演算器１３、演算器１３によって算出された３次元位置情報をデータとして記憶するためのデータ記憶部４から構成される。これらの要素は１つの筐体内に一体化したり、集積化したりできるが、必ずしも全てが１つに収められていなくてもよい。なお、電磁波発生器２からの発生パルスの波形は演算器１３によって制御され、後述する分解能などを考慮して最初に設定される。
【００１７】
ミキサ１４の出力は、発信パルスを時間遅延させた信号と受信パルスのタイミングが一致したところで最大出力が得られるようになっており、演算器１３によって遅延器１２による遅延量を掃引制御しながらこの出力をモニタすることで電磁波の伝播遅延時間を同定し、人物１の各部位までの距離を検知することができる。
【００１８】
テラヘルツ波は、繊維、プラスチック、ゴムなどを透過する性質があるため、姿勢や行動を推定しようとしている人物１が、厚手の服、サングラス、靴などを身に付けていてもテラヘルツ波はそれらを透過して、人物の皮膚表面で反射される。遅延器１２から求められる遅延時間をτ、電磁波の伝播する速度を光速cとすると、人物１までの直線距離ｄは
d=c・τ/2
と求まる。電磁波として0.4psec程度の半値幅をもつパルスを用い、そのパルスの半分までのパルスの分離が行なわれるとすれば、0.2psecの遅延時間τに相当する距離dは30μmとなり、人物１までの距離は30μmの分解能で測定できる。電磁波パルスの波形は、要求される仕様に応じて適宜決めればよい。
【００１９】
上記のようにして得られた距離は、人物の或る１点の皮膚表面までの直線距離情報である。人物全体の皮膚表面までの直線距離情報を得るためには、波長程度に絞られたビーム状でテラヘルツ波を空間に伝播させ、ビーム位置を２次元スキャンさせる。これには、例えば放物面鏡などを機械的に振動させるといった方法を用いればよい。ビーム伝播方向とそのときの直線距離情報が複数組得られれば、人物の少なくとも一部の皮膚表面の空間的な画像が推定できる。２次元方向の空間分解能は波長程度なので、およそ3THz（波長約100μm）の電磁波の場合は100μmの分解能の画像が得られる。
【００２０】
このようにして得られる人物全体の皮膚表面までの直線距離と方向の情報、すなわち３次元位置情報はデータ記憶部４に記憶され、人物１の姿勢および行動を推定する際に演算処理装置１６から随時呼び出される。演算処理装置１６は、人物の特徴部位検出手段５、人物の姿勢推定手段６、人物の行動推定手段７を含む。
【００２１】
人物１の特徴部位検出手段５は、データ記憶部４に記憶されている３次元位置情報から人物１の少なくとも一部の皮膚表面までの距離画像を求めるステップを実行する手段、距離画像を信号処理することによって頭頂点、手先点、足先点などを含む人物の特徴部位の代表点の３次元位置情報を求めるステップを実行する手段を含む。これらの実行手段は、例えばプログラムとしてコンピュータ中にソフト的に構成される。距離画像を信号処理することで頭頂点、手先点、足先点などを含む人物の特徴部位の代表点の３次元位置情報を求めるステップでは、例えば、エッジ検出フィルタによる特徴点の抽出および特徴点のパターンマッチングなどによって、こうした特徴部位の領域を特定し、その特定した領域の重心を代表点として選び、その代表点に対応する３次元位置情報を算出する。
【００２２】
人物１の姿勢推定手段６は、頭頂点、手先点、足先点などを含む人物の特徴部位の代表点の３次元位置情報から、人物の特徴部位の代表点間のベクトルを算出するステップを実行する手段、および代表点間のベクトルから人物の姿勢を推定するステップを実行する手段を含む。例えば、図２に示すように代表点間のベクトルとして、頭頂点１７から両手それぞれの代表点１８、１９間へのベクトル２２、２３、頭頂点１７から両足それぞれの代表点２０、２１間へのベクトル２４、２５を算出することによって、人物の姿勢を推定できる。なお、これ以外にも代表点間のベクトルとして、両手の代表点１８、１９間のベクトル、両足の代表点２０、２１間のベクトル、右手１８と右足２０の代表点間のベクトル、左手１９と左足２１の代表点間のベクトルなどを人物１の姿勢推定のために算出してもよく、またベクトルの向きは人物の姿勢を推定するのに都合の良いように自由に設定してよい。
【００２３】
人物１の行動推定手段７は、人物の特徴部位の代表点間のベクトルの時間的変化から人物の行動を推定するステップを実行する手段を含む。例えば、図３に示すように、ある瞬間に、右手の代表点の３次元位置が１８の位置にあり、そのt秒後には２６の位置であったとすると、t秒間の右手の代表点の位置の変化（すなわちベクトル２２からベクトル２７への変化）はベクトル２８で表される。このベクトル２８は３次元ベクトルであるため、人物１の立体的な動き、例えば右手を右上前方向にどれだけ動かしたかなどということまで分かる。
【００２４】
このようにミリ波からテラヘルツ領域の周波数を含む電磁波を用いることによって、厚手の服、サングラス、靴などを身に付けていても人物の少なくとも一部や全身の位置、姿勢、行動などを推定することができる。また、人物の特徴部位の代表点間のベクトルの時間的変化から、人物の３次元方向の動きも分かる。
【００２５】
（実施例２）
本発明による第２の実施例を、図４を用いて説明する。本実施例では、第１の実施例のようにビーム位置を２次元スキャンすることで面内方向の一部または全体情報を検知するのではなく、電磁波が、取得したい人物領域にスポットサイズで照射できるようにエキスパンドしたビーム状で空間を伝播し、面内方向の一部または全体情報を検知する。
【００２６】
３次元情報センシング装置１５は、電磁波発生器２、電磁波発生器２から発生するミリ波からテラヘルツ領域の周波数を含む電磁波のビーム径を広げて電磁波ビーム３２に変換するビームエクスパンダ２９、人物１からの反射電磁波ビーム３３を集光するためのレンズ３０、集光した電磁波を検出する電磁波検出アレイ３１、電磁波発生器２からのパルス発生のタイミングを遅延させる遅延器１２、遅延器１２によって遅延させられた電磁波と電磁波検出アレイ３１のそれぞれの画素とを並列にミキシングするミキサ１４、遅延時間から３次元位置情報を算出する演算器１３、演算器１３によって算出された３次元位置情報をデータとして記憶するためのデータ記憶部４から構成される。電磁波検出アレイ３１の各画素は空間の各方向に対応しているので、演算器１３で人物の各皮膚表面までの方向と直線距離情報が複数組得られて、人物の少なくとも一部の皮膚表面の空間的な画像が推定できる。
【００２７】
ここでも、電磁波発生器２からの発生パルスの波形は演算器１３によって制御される。また、これらは１つの筐体内に一体化したり、集積化したりできるが、必ずしも全てが１つに収められていなくてもよい。データ記憶部４に記憶されている３次元位置情報は随時、演算処理装置１６によって呼び出され、人物１の姿勢、行動などの推定のために利用されるが、その姿勢推定手段６、行動推定手段７などの機能は第１の実施例と同じである。
【産業上の利用可能性】
【００２８】
本発明は、種々の分野で利用できる。例えば、バーチャルリアリティシステム、ゲーム、コンピュータグラフィックスにおけるモデル作成、身体の動作を入力情報として機器の操作を行うジェスチャ入力インターフェースなどの分野での利用がある。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施例による人物の姿勢、行動などを推定する装置を説明する図。
【図２】人物の姿勢をベクトルで表現した図。
【図３】人物の行動をベクトルで表現した図。
【図４】本発明の第２の実施例による人物の姿勢、行動などを推定する装置を説明する図。
【符号の説明】
【００３０】
１・・・人物（生物体）
２、１０、２９・・・電磁波照射手段
３−５、１１−１４、３０、３１・・・位置検出手段
６・・・姿勢推定手段
７・・・行動推定手段
８、３２・・・電磁波
９、３３・・・反射電磁波
【技術分野】
【０００１】
この発明は、電磁波を用いた生物体に関する情報の推定方法および装置に関し、特にミリ波からテラヘルツ領域の周波数を含む電磁波を用いて人物等の生物体の位置、姿勢、行動などの情報を推定する方法および装置に関する。
【背景技術】
【０００２】
従来、人物に特別な器具を取り付けることなく人物の姿勢を推定する方法として、ビデオレート・ステレオマシンから得られるカラー画像と距離画像を用いる方法（特許文献１参照）や熱カメラ（赤外線カメラ）を用いる方法（特許文献２参照）があった。
【特許文献１】特開平９−２３７３４８号公報
【特許文献２】特開平１０−２５８０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ビデオレート・ステレオマシンを用いる方式では、まずカラー画像から肌色領域を抽出し、頭部および両手の３次元位置を決定する必要があった。そのため、照明の影響や手袋などにより両手の肌色が抽出できない場合には姿勢が推定できないという問題があった。一方、熱カメラを用いる方式では、気温が高いところでは周囲と人物を見分けることが難しくなるという問題や、人物の一部位、例えば腕が他の部位、例えば胴体と重なるような場合にはその部位の検出が難しくなるという問題があった。また、これらの方式に共通する問題として、人物が衣服や靴を着用した状態では、カラー画像では人物そのものではなく衣服や靴が映し出されるため、また、熱カメラでは衣服や靴が熱を遮断するため、人物の全身の精度の高い姿勢推定が難しくなるという問題があった。
【課題を解決するための手段】
【０００４】
上記課題に鑑み、本発明の生物体に関する情報の推定方法は、人物等の生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射して、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求める第１のステップを少なくとも有することを特徴とする。推定すべき情報に生物体の姿勢が含まれる場合には、前記第１のステップで得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定する第２のステップを更に有する。また、推定すべき情報に生物体の行動が含まれる場合には、前記第２のステップで得られた生物体の姿勢の時間的位置変化から生物体の行動を推定する第３のステップを更に有する。
【０００５】
また、上記課題に鑑み、本発明の生物体に関する情報の推定装置は、生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射する電磁波照射手段、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求める位置検出手段を有することを特徴とする。ここでも、推定すべき情報に生物体の姿勢が含まれる場合には、前記位置検出手段で得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定する姿勢推定手段を更に有する。また、推定すべき情報に生物体の行動が含まれる場合には、前記姿勢推定手段で得られた生物体の姿勢の時間的位置変化から生物体の行動を推定する行動推定手段を更に有する。
【発明の効果】
【０００６】
この発明によれば、物体は透過するが生物体ではその水分等のために透過せずに一部は反射される特性を持つミリ波からテラヘルツ領域の周波数を含む電磁波を用いて人物等の位置、３次元姿勢、行動などの情報を推定するため、「照明」、「気温」、「人物の着用する衣服や靴」などの影響をあまり受けることなく、比較的精度の高い人物等の３次元姿勢、行動等の推定ができる。
【発明を実施するための最良の形態】
【０００７】
以下に、ミリ波からテラヘルツ領域の周波数を含む電磁波を用いた人物の姿勢、行動推定方法ないし装置の実施形態について説明する。
【０００８】
本発明では、人物等の生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射して、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求めたり、得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定したり、得られた生物体の姿勢の時間的位置変化から生物体の行動を推定したりするが、典型的な一実施形態では、人物の皮膚表面で反射した反射電磁波から得られる画像データから頭頂点、手先点、足先点を含む人物の特徴部位の位置を求め、前記人物の特徴部位の位置関係から人物の姿勢を推定し、さらに前記姿勢の時間的位置変化から人物の行動を推定する。
【０００９】
上記人物の特徴部位の位置を求めるにあたっては、人物の少なくとも一部の皮膚表面の空間的な距離画像を求め、この距離画像を信号処理することによって頭頂点、手先点、足先点を含む人物の特徴部位の代表点の３次元位置情報を求めることができる。
【００１０】
また、人物の姿勢を推定するにあたっては、頭頂点、手先点、足先点を含む人物の特徴部位の代表点の３次元位置情報から人物の特徴部位の代表点間のベクトルを算出し、この代表点間のベクトルから人物の姿勢を推定することができる。
【００１１】
さらに、人物の行動を推定するにあたっては、人物の特徴部位の代表点間のベクトルの時間的変化から人物の行動を推定することができる。
【００１２】
また、推定装置の一実施形態は、人物のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射して、人物により反射される反射電磁波を検出することによって、人物の皮膚表面形状に関する情報を検出する装置であって、人物の皮膚表面で反射した反射電磁波から得られる画像データから頭頂点、手先点、足先点を含む人物の特徴部位の位置を求めるための手段、前記人物の特徴部位の位置関係から人物の姿勢を推定するための手段、および前記姿勢の時間的位置変化から人物の行動を推定する手段を含む形態を採り得る。
【００１３】
ここにおいて、画像データは、例えば、反射電磁波の遅延時間から求められる人物の皮膚表面までの３次元位置情報を含む画像データである。また、電磁波は、連続的に発生する電磁波パルスであり得る。連続的に発生する電磁波パルスを用いることで連続した画像が得られる。
【００１４】
電磁波は、その波長程度に絞られたビーム状で空間を伝播し、ビーム位置を２次元スキャンすることで面内方向の一部または全体情報を検知する形態を採り得る。ビーム位置を２次元スキャンすることで画像を形成することができる。また、電磁波は、取得したい人物領域にスポットサイズで照射できるようにエキスパンドしたビーム状で空間を伝播し、面内方向の一部または全体情報を検知する形態も採り得る。エキスパンドしたビームを用いても、画像を形成することができる。
【実施例】
【００１５】
以下に、より具体的な実施例を説明する。
（実施例１）
本実施例による人物の姿勢、行動などの推定方法および装置について、図１を用いて説明する。
【００１６】
ここでは、運動をしている人物１を含む空間に、ミリ波からテラヘルツ領域の周波数を含む電磁波パルス８を照射して、人物１の姿勢、行動を推定することを考える。３次元情報センシング装置１５は、電磁波発生器２、電磁波パルス８を空間に放出するアンテナ１０、人物１からの反射電磁波パルス９を受信するアンテナ１１および電磁波検出器３、電磁波発生器２からのパルス発生のタイミングを遅延させる遅延器１２、遅延器１２によって遅延させられた電磁波パルスと受信パルスをミキシングするミキサ１４、この遅延時間から人物１の各部位までの３次元位置情報（例えば、方向と距離とは、反射してくる電磁波を検出する検出部に対する物体との距離であり、また方向とは反射してくる電磁波を検出する検出部の傾きから算出された方向である。）を算出する演算器１３、演算器１３によって算出された３次元位置情報をデータとして記憶するためのデータ記憶部４から構成される。これらの要素は１つの筐体内に一体化したり、集積化したりできるが、必ずしも全てが１つに収められていなくてもよい。なお、電磁波発生器２からの発生パルスの波形は演算器１３によって制御され、後述する分解能などを考慮して最初に設定される。
【００１７】
ミキサ１４の出力は、発信パルスを時間遅延させた信号と受信パルスのタイミングが一致したところで最大出力が得られるようになっており、演算器１３によって遅延器１２による遅延量を掃引制御しながらこの出力をモニタすることで電磁波の伝播遅延時間を同定し、人物１の各部位までの距離を検知することができる。
【００１８】
テラヘルツ波は、繊維、プラスチック、ゴムなどを透過する性質があるため、姿勢や行動を推定しようとしている人物１が、厚手の服、サングラス、靴などを身に付けていてもテラヘルツ波はそれらを透過して、人物の皮膚表面で反射される。遅延器１２から求められる遅延時間をτ、電磁波の伝播する速度を光速cとすると、人物１までの直線距離ｄは
d=c・τ/2
と求まる。電磁波として0.4psec程度の半値幅をもつパルスを用い、そのパルスの半分までのパルスの分離が行なわれるとすれば、0.2psecの遅延時間τに相当する距離dは30μmとなり、人物１までの距離は30μmの分解能で測定できる。電磁波パルスの波形は、要求される仕様に応じて適宜決めればよい。
【００１９】
上記のようにして得られた距離は、人物の或る１点の皮膚表面までの直線距離情報である。人物全体の皮膚表面までの直線距離情報を得るためには、波長程度に絞られたビーム状でテラヘルツ波を空間に伝播させ、ビーム位置を２次元スキャンさせる。これには、例えば放物面鏡などを機械的に振動させるといった方法を用いればよい。ビーム伝播方向とそのときの直線距離情報が複数組得られれば、人物の少なくとも一部の皮膚表面の空間的な画像が推定できる。２次元方向の空間分解能は波長程度なので、およそ3THz（波長約100μm）の電磁波の場合は100μmの分解能の画像が得られる。
【００２０】
このようにして得られる人物全体の皮膚表面までの直線距離と方向の情報、すなわち３次元位置情報はデータ記憶部４に記憶され、人物１の姿勢および行動を推定する際に演算処理装置１６から随時呼び出される。演算処理装置１６は、人物の特徴部位検出手段５、人物の姿勢推定手段６、人物の行動推定手段７を含む。
【００２１】
人物１の特徴部位検出手段５は、データ記憶部４に記憶されている３次元位置情報から人物１の少なくとも一部の皮膚表面までの距離画像を求めるステップを実行する手段、距離画像を信号処理することによって頭頂点、手先点、足先点などを含む人物の特徴部位の代表点の３次元位置情報を求めるステップを実行する手段を含む。これらの実行手段は、例えばプログラムとしてコンピュータ中にソフト的に構成される。距離画像を信号処理することで頭頂点、手先点、足先点などを含む人物の特徴部位の代表点の３次元位置情報を求めるステップでは、例えば、エッジ検出フィルタによる特徴点の抽出および特徴点のパターンマッチングなどによって、こうした特徴部位の領域を特定し、その特定した領域の重心を代表点として選び、その代表点に対応する３次元位置情報を算出する。
【００２２】
人物１の姿勢推定手段６は、頭頂点、手先点、足先点などを含む人物の特徴部位の代表点の３次元位置情報から、人物の特徴部位の代表点間のベクトルを算出するステップを実行する手段、および代表点間のベクトルから人物の姿勢を推定するステップを実行する手段を含む。例えば、図２に示すように代表点間のベクトルとして、頭頂点１７から両手それぞれの代表点１８、１９間へのベクトル２２、２３、頭頂点１７から両足それぞれの代表点２０、２１間へのベクトル２４、２５を算出することによって、人物の姿勢を推定できる。なお、これ以外にも代表点間のベクトルとして、両手の代表点１８、１９間のベクトル、両足の代表点２０、２１間のベクトル、右手１８と右足２０の代表点間のベクトル、左手１９と左足２１の代表点間のベクトルなどを人物１の姿勢推定のために算出してもよく、またベクトルの向きは人物の姿勢を推定するのに都合の良いように自由に設定してよい。
【００２３】
人物１の行動推定手段７は、人物の特徴部位の代表点間のベクトルの時間的変化から人物の行動を推定するステップを実行する手段を含む。例えば、図３に示すように、ある瞬間に、右手の代表点の３次元位置が１８の位置にあり、そのt秒後には２６の位置であったとすると、t秒間の右手の代表点の位置の変化（すなわちベクトル２２からベクトル２７への変化）はベクトル２８で表される。このベクトル２８は３次元ベクトルであるため、人物１の立体的な動き、例えば右手を右上前方向にどれだけ動かしたかなどということまで分かる。
【００２４】
このようにミリ波からテラヘルツ領域の周波数を含む電磁波を用いることによって、厚手の服、サングラス、靴などを身に付けていても人物の少なくとも一部や全身の位置、姿勢、行動などを推定することができる。また、人物の特徴部位の代表点間のベクトルの時間的変化から、人物の３次元方向の動きも分かる。
【００２５】
（実施例２）
本発明による第２の実施例を、図４を用いて説明する。本実施例では、第１の実施例のようにビーム位置を２次元スキャンすることで面内方向の一部または全体情報を検知するのではなく、電磁波が、取得したい人物領域にスポットサイズで照射できるようにエキスパンドしたビーム状で空間を伝播し、面内方向の一部または全体情報を検知する。
【００２６】
３次元情報センシング装置１５は、電磁波発生器２、電磁波発生器２から発生するミリ波からテラヘルツ領域の周波数を含む電磁波のビーム径を広げて電磁波ビーム３２に変換するビームエクスパンダ２９、人物１からの反射電磁波ビーム３３を集光するためのレンズ３０、集光した電磁波を検出する電磁波検出アレイ３１、電磁波発生器２からのパルス発生のタイミングを遅延させる遅延器１２、遅延器１２によって遅延させられた電磁波と電磁波検出アレイ３１のそれぞれの画素とを並列にミキシングするミキサ１４、遅延時間から３次元位置情報を算出する演算器１３、演算器１３によって算出された３次元位置情報をデータとして記憶するためのデータ記憶部４から構成される。電磁波検出アレイ３１の各画素は空間の各方向に対応しているので、演算器１３で人物の各皮膚表面までの方向と直線距離情報が複数組得られて、人物の少なくとも一部の皮膚表面の空間的な画像が推定できる。
【００２７】
ここでも、電磁波発生器２からの発生パルスの波形は演算器１３によって制御される。また、これらは１つの筐体内に一体化したり、集積化したりできるが、必ずしも全てが１つに収められていなくてもよい。データ記憶部４に記憶されている３次元位置情報は随時、演算処理装置１６によって呼び出され、人物１の姿勢、行動などの推定のために利用されるが、その姿勢推定手段６、行動推定手段７などの機能は第１の実施例と同じである。
【産業上の利用可能性】
【００２８】
本発明は、種々の分野で利用できる。例えば、バーチャルリアリティシステム、ゲーム、コンピュータグラフィックスにおけるモデル作成、身体の動作を入力情報として機器の操作を行うジェスチャ入力インターフェースなどの分野での利用がある。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施例による人物の姿勢、行動などを推定する装置を説明する図。
【図２】人物の姿勢をベクトルで表現した図。
【図３】人物の行動をベクトルで表現した図。
【図４】本発明の第２の実施例による人物の姿勢、行動などを推定する装置を説明する図。
【符号の説明】
【００３０】
１・・・人物（生物体）
２、１０、２９・・・電磁波照射手段
３−５、１１−１４、３０、３１・・・位置検出手段
６・・・姿勢推定手段
７・・・行動推定手段
８、３２・・・電磁波
９、３３・・・反射電磁波
【特許請求の範囲】
【請求項１】
生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射して、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求める第１のステップを少なくとも有することを特徴とする生物体に関する情報の推定方法。
【請求項２】
前記第１のステップで得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定する第２のステップを更に有する請求項１記載の生物体に関する情報の推定方法。
【請求項３】
前記第２のステップで得られた生物体の姿勢の時間的位置変化から生物体の行動を推定する第３のステップを更に有する請求項２記載の生物体に関する情報の推定方法。
【請求項４】
前記第１のステップは、人物の皮膚表面で反射した反射電磁波から得られる画像データから頭頂点、手先点、足先点を含む人物の特徴部位の空間位置を求めるステップを含む請求項１乃至３のいずれかに記載の生物体に関する情報の推定方法。
【請求項５】
生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射する電磁波照射手段、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求める位置検出手段を有することを特徴とする生物体に関する情報の推定装置。
【請求項６】
前記位置検出手段で得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定する姿勢推定手段を更に有する請求項５記載の生物体に関する情報の推定装置。
【請求項７】
前記姿勢推定手段で得られた生物体の姿勢の時間的位置変化から生物体の行動を推定する行動推定手段を更に有する請求項６記載の生物体に関する情報の推定装置。
【請求項８】
前記照射手段は、電磁波を、その波長程度に絞られたビーム状で空間に伝播させ、ビーム位置を２次元スキャンできる様に構成された請求項５乃至７のいずれかに記載の生物体に関する情報の推定装置。
【請求項９】
前記照射手段は、電磁波を、取得したい生物体領域にスポットサイズで照射できるようにエキスパンドしたビーム状で空間に伝播させる様に構成された請求項５乃至７のいずれかに記載の生物体に関する情報の推定装置。
【請求項１】
生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射して、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求める第１のステップを少なくとも有することを特徴とする生物体に関する情報の推定方法。
【請求項２】
前記第１のステップで得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定する第２のステップを更に有する請求項１記載の生物体に関する情報の推定方法。
【請求項３】
前記第２のステップで得られた生物体の姿勢の時間的位置変化から生物体の行動を推定する第３のステップを更に有する請求項２記載の生物体に関する情報の推定方法。
【請求項４】
前記第１のステップは、人物の皮膚表面で反射した反射電磁波から得られる画像データから頭頂点、手先点、足先点を含む人物の特徴部位の空間位置を求めるステップを含む請求項１乃至３のいずれかに記載の生物体に関する情報の推定方法。
【請求項５】
生物体のいる空間にミリ波からテラヘルツ領域の周波数を含む電磁波を照射する電磁波照射手段、生物体により反射される反射電磁波を検出することによって生物体の少なくとも一部位の方向と距離を含むデータを得、生物体の少なくとも一部位の空間位置を求める位置検出手段を有することを特徴とする生物体に関する情報の推定装置。
【請求項６】
前記位置検出手段で得られた生物体の各部位の空間位置の関係から生物体の姿勢を推定する姿勢推定手段を更に有する請求項５記載の生物体に関する情報の推定装置。
【請求項７】
前記姿勢推定手段で得られた生物体の姿勢の時間的位置変化から生物体の行動を推定する行動推定手段を更に有する請求項６記載の生物体に関する情報の推定装置。
【請求項８】
前記照射手段は、電磁波を、その波長程度に絞られたビーム状で空間に伝播させ、ビーム位置を２次元スキャンできる様に構成された請求項５乃至７のいずれかに記載の生物体に関する情報の推定装置。
【請求項９】
前記照射手段は、電磁波を、取得したい生物体領域にスポットサイズで照射できるようにエキスパンドしたビーム状で空間に伝播させる様に構成された請求項５乃至７のいずれかに記載の生物体に関する情報の推定装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００６−８１７７１（Ｐ２００６−８１７７１Ａ）
【公開日】平成１８年３月３０日（２００６．３．３０）
【国際特許分類】
【出願番号】特願２００４−２７０５９３（Ｐ２００４−２７０５９３）
【出願日】平成１６年９月１７日（２００４．９．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年３月３０日（２００６．３．３０）
【国際特許分類】
【出願日】平成１６年９月１７日（２００４．９．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]