人物動作検出装置、遊具装置、人物動作検出方法、ゲーム方法、制御プログラムおよび可読記録媒体
【課題】多数の空間領域を面状に演算処理する場合に、高いフレームレートでも演算量が膨大にならず、撮像範囲における人物動作の方向と距離の変化量を高精度に検出する。
【解決手段】ＴＯＦ式距離画像センサ３１からの距離情報に基づいて人物の動作情報を検出する高速人物動作検知制御手段４は、ＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成部４３１と、少なくとも２つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレーム（背景画像フレーム）を生成する距離平衡フレーム生成部４３２と、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、フレーム差分から人物の動作情報として人物の距離の変化量と変化方向を算出するフレーム差分演算部４６とを有している。
【解決手段】ＴＯＦ式距離画像センサ３１からの距離情報に基づいて人物の動作情報を検出する高速人物動作検知制御手段４は、ＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成部４３１と、少なくとも２つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレーム（背景画像フレーム）を生成する距離平衡フレーム生成部４３２と、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、フレーム差分から人物の動作情報として人物の距離の変化量と変化方向を算出するフレーム差分演算部４６とを有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離フレームから人物の動作を検出して目的とする人物情報を抽出する人物動作検出装置および人物動作検出方法、この人物動作検出装置を用いて人物の動作を検出して、ゲーム内容の各種制御を行うテレビゲーム機などの遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体に関する。
【背景技術】
【０００２】
従来、テレビゲーム機などの遊具装置では、テニスや野球などのスポーツを題材に、人間の動きを利用した体験型ゲームが多く開発されている。これらの体験型ゲームでは、コントローラを例えばテニスのラケットや野球のバットなどに見立て、テレビジョン画面上のアニメーションの動きに合わせて、ラケットやバットなどのコントローラを振ったり突き出したりして移動させる。このコントローラの動きの速さや方向の時間変化をコントローラに搭載した加速度センサや角速度センサにより検出して、テレビジョン画面上で、ゲーム内の登場人物が動作するテニスのラケットや野球のバットなどの動き、さらには各種イベントの発生などに反映させている。
【０００３】
従来の遊具装置がコントローラを使用していることを図２９を用いて説明する。
【０００４】
図２９は、従来の遊具装置の外観図である。
【０００５】
図２９において、従来の遊具装置１１１は、表示手段の一例の家庭用テレビジョン受像機１１３（以下、モニタという）と、このモニタ１１３に接続コードを介して接続する据置型のゲーム装置本体１１２と、このゲーム装置本体１１２と無線により接続するゲームコントローラ１１４とから構成されている。このゲームコントローラ１１４は加速度センサ１１５を内蔵しており、加速度センサ１１５は上述のようにコントローラの動きの速さや方向の時間変化を検出して、その検出値を無線によりゲーム装置本体１１２に送信している。
【０００６】
しかし、上記センサによって検出できるのは、人間が移動させるコントローラの動きだけであり、人間の身体全体の３次元空間内の位置や動きは検出することができない。このため、ゲーム操作が単純化され過ぎてしまい、ユーザが充分な操作感を得られなかったり、すぐにゲーム操作に習熟して飽きてしまったりするという課題がある。
【０００７】
例えばテニスゲームでは、ラケットとしてコントローラを持つ手首を動かすだけで強い打球が得られるため、全身を用いる実際のテニスの場合と操作感が乖離してしまっている。また、例えば野球ゲームで、バットとしてのコントローラの３次元空間での高低などの位置は検出されないため、バットスウィングの高低が区別できず、バットとボールが衝突するタイミングだけがモニタされている。
【０００８】
そこで、人間の３次元空間での位置や動作を検出してゲーム内容に反映することができれば、現実のスポーツに操作感が近くて臨場感の高いゲームを提供することができたり、ゲームを通じて現実のスポーツでの技術の向上が期待できたりする。
【０００９】
しかし、人間の３次元空間での位置や動作を検出するために、従来のＲＧＢカメラを用いて、対象物体である人物と背景とのＲＧＢ画像上の相違点を解析して対象物体を抽出するという手法（例えば、単一色の背景から色差を利用して対象となる人間を切り出す）をとる場合、特殊な撮像環境が必要であったり複雑な画像認識処理が必要であったりするため、広く普及するテレビゲーム機などの遊具装置に適用することは困難であった。
【００１０】
そこで、上記目的で、距離画像センサを適用することが期待されている。この距離画像センサを用いると、設定した距離範囲内の対象物体のみを検出することが可能であるため、特殊な背景や画像認識処理を用いることなく、人物の位置や動作の検出が可能である。
【００１１】
特に、スポーツなどの体験型ゲームでは対象となる人物の動作が速いため、ユーザの操作感や動作の検出精度を向上させるためには、距離画像センサのフレームレートを高くする必要がある。
【００１２】
ところが、フレームレートを高くすると、ＣＣＤイメージセンサやＣＭＯＳイメージセンサである固体撮像素子の信号蓄積時間が減少するためＳ／Ｎ比が低下する。しかしながら、信号成分とノイズ成分を区別するために、高度なフィルタリング処理などの複雑な信号処理を行うと、演算量が増加してしまいゲーム進行に合わせたリアルタイム処理が困難になってしまうか、または、リアルタイム処理を行うには高性能のハードウェアが必要になり、部品コストが増加してしまう。
【００１３】
このため、特に、高いフレームレートでテレビゲーム機などの遊具装置で人物動作の検出を行う際には、計算的に安価な計算手段に基づいてリアルタイムに処理を行うことが求められている。
【００１４】
距離フレームを利用したこの種の従来の情報抽出装置が特許文献１に開示されている。上記従来の情報抽出装置では、反射光の強度分布により対象物体までの距離を取得している。即ち、反射光の強度は対象物体までの距離の２乗に反比例して減少する性質があるため、反射光の強度分布によって、撮像範囲の対象物体の各構成部分の遠近関係を求めている。
【００１５】
図１７は、距離フレームを利用した特許文献１に開示されている従来の情報抽出装置の要部構成例を示すブロック図である。なお、図１７では、１つの撮像領域内の複数の箇所から対象物の形状、動きおよび位置などの情報を抽出（認識）して、その抽出した情報を、例えばモグラ叩きゲームなどの他のシステムへ入力している。
【００１６】
図１７に示すように、従来の情報抽出装置１００は、反射光を受光し、距離画像を取得する距離画像取得部１０１と、取得した距離画像を別途指定された領域に分割する領域分割処理部１０２と、この領域分割処理部１０２で分割された各領域毎に距離画像を解析し、対象物の輪郭、重心の抽出や対象物までの距離の算出、対象物の移動速度、移動ベクトルの算出などの認識対象に関する目的とする情報を抽出する画像処理部１０３と、例えば大型の液晶パネルやスピーカなどから構成される呈示部１０４と、各部の制御を司る情報管理部１０５とを有している。
【００１７】
画像処理部１０３で抽出された情報は、例えば情報管理部１０５を介して他のシステムに入力される。即ち、他のシステムとして、例えばモグラ叩きゲームなどは、情報管理部５を介して他のシステムに接続されている。この他のシステムは、例えばコンピュータに実行させることのできる制御プログラムを搭載したゲームシステムであってもよい。
【００１８】
図１７に示すような情報抽出装置１００が、例えば呈示部１０４の表示画面上の任意の表示領域からモグラを出現させ、ユーザがそのモグラの出現した表示領域めがけてひっぱたく動作（ユーザは表示画面に触れるほど叩く必要はない）を行って、命中したモグラの数を競うモグラ叩きゲームに接続されている場合、１つの距離画像取得部１０１は、ユーザが呈示部１０４の表示画面上のどのモグラめがけてひっぱたこうとしているかを認識できるように（表示画面全体に対する対象物としての手の位置が認識できるように）設置されている。
【００１９】
領域分割処理部１０２では、呈示部１０４の表示画面上のモグラの出現領域に対応して、距離画像取得部１０１で取得した距離画像の領域分割を行う。
【００２０】
ここで、距離画像取得部１０１および、距離画像取得部１０１にて取得される距離画像について簡単に説明する。
【００２１】
距離画像取得部１０１の外観が図１８に示されている。図１８に示すように、中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０１ａが配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１ｂが複数個（ここでは例えば８個）、等間隔に配置されている。
【００２２】
この発光部１０１ｂから照射された光が物体に反射され、受光部１０１ａのレンズにより集光されて、レンズの後部にあるエリアセンサで受光される。このエリアセンサは、例えば２５６×２５６のマトリックス状に配列された複数のセンサ群で、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図１９に示すような各分割領域毎の反射光の強度分布としての距離画像データである。
【００２３】
図２０は、図１７の距離画像取得部１０１の要部構成例を示したブロック図であり、主に、受光部１０１ａ、発光部１０１ｂ、反射光抽出部１０１ｃおよびタイミング信号生成部１０１ｄから構成されている。
【００２４】
発光部１０１ｂは、タイミング信号生成部１０１ｄにて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部１０１ｂの前方にある対象物体に照射される。
【００２５】
受光部１０１ａは、発光部１０１ｂが発した光の対象物体による反射光の量を検出する。
【００２６】
反射光抽出部１０１ｃは、受光部１０１ａにて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを距離画像と呼ぶ。
【００２７】
受光部１０１ａは、一般的に発光部１０１ｂから発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１ｂが発光しているときに受光した光の量と、発光部１０１ｂが発光していないときに受光した光の量の差をとることによって、発光部１０１ｂからの光の対象物体による反射光成分だけを取り出すことができる。
【００２８】
反射光抽出部１０１ｃでは、受光部１０１ａにて受光された反射光から、その強度分布、即ち、図１９に示すような距離画像データを抽出する。
【００２９】
図１９では、簡単のため、２５６×２５６画素の距離画像の一部である８×８画素の距離画像の場合について示している。
【００３０】
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、距離画像１画素当たりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００３１】
図１９において、行列中のセルの値（画素値）は、取得した反射光の強さを２５６階調（８ビット）で示したものである。例えば、「２５５」の値があるセルは、距離画像取得部１０１に最も接近した状態、「０」の値があるセルは、距離画像取得部１０１から遠くにあり、反射光が距離画像取得部１０１にまで到達しないことを示している。
【００３２】
距離画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質を持つため、距離画像取得部１０１の前方に手を差し出した場合の距離画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図２１に示したような３次元的なイメージを得ることができる。
【先行技術文献】
【特許文献】
【００３３】
【特許文献１】特開２００４−３３３５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【００３４】
しかし、上記特許文献１に開示されている従来の情報抽出装置１００で求まるのは、対象物体の各構成部分の距離の相対値だけであり、距離の絶対値を得ることはできない。距離の絶対値を得る必要がある場合は、距離と反射光強度の間に基準となる対応関係を求める較正手順が必要になったり、相対値から絶対値に変換する手順が必要になったりする。
【００３５】
また、特許文献１に開示されている従来の情報抽出装置１００では、反射光の強度の強弱により距離を求めるため、対象物体の表面全体が一様な光学的性質を有する物体にしか適用できない。一般に、対象物体は表面の材質、色彩、加工処理などにより、光学的な性質（例えば、反射、散乱、吸収および屈折）が異なる。人間を対象物体とするとき、人間は光学的性質の異なる複数の構成部分（例えば、頭髪、肌、上半身の衣服および下半身の衣服）からなるため、上記従来の情報抽出装置では、人間のように光学的性質が異なる複数の構成部分からなる対象の距離情報を取得する場合、各構成部分の光学的性質を考慮に入れて距離の補正処理を行う必要性が生じる。スポーツゲームなどの遊具装置に適用するとき、距離画像センサを高いフレームレートで駆動して多数の距離フレームの演算処理を行う必要性が生じている中で、一層、演算量が増加してしまい、リアルタイム処理が困難になってしまう。
【００３６】
さらに、上記従来の情報抽出装置では、対象物体の装置に対する向きも距離に影響する。その向きによらず、光を一様に反射・散乱する物体（例えば球体）でない場合、対象物体の装置に対する向き（例えば、正対している、斜めを向いている、真横を向いている）により、それぞれ反射光の強度が異なるため、距離情報も異なって取得されてしまう。つまり、対象物体の並進運動は検出できても、回転運動は正確に検出することができない。
【００３７】
本発明は、上記従来の問題を解決するもので、多数の空間領域を面状に演算処理する場合に、高いフレームレートでも演算量が膨大にならず、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出できる人物動作検出装置および人物動作検出方法、これらを用いたテレビゲーム機などの遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法の少なくともいずれかをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００３８】
本発明の人物動作検出装置は、投射光を出射する発光手段と、該投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するＴＯＦ（タイム・オブ・フライト）式距離画像センサとを有する人物動作検出装置であって、該ＴＯＦ式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御手段を有するものであり、そのことにより上記目的が達成される。
【００３９】
また、好ましくは、本発明の人物動作検出装置における人物動作検知制御手段は、該ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する。
【００４０】
さらに、好ましくは、本発明の人物動作検出装置における人物動作検知制御手段は、該ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、少なくとも２つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する。
【００４１】
さらに、好ましくは、本発明の人物動作検出装置において、前記人物との距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分から、該人物との距離の変化の有無を検出する距離変位検出手段を更に有する。
【００４２】
さらに、好ましくは、本発明の人物動作検出装置において、前記人物との距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定手段を更に有する。
【００４３】
さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記距離平衡状態判定手段が距離平衡状態にあると判断した場合に、少なくとも２つの距離フレームの時間平均を算出して距離平衡フレームを生成する。
【００４４】
さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記人物が撮像範囲内にいる場合において、遊具装置の指示により該人物を該撮像範囲の右側または左側に移動させて、該撮像範囲の左側または右側半分の該撮像範囲に人物がいない一方側半分の距離平衡フレームを生成し、該人物を該撮像範囲の左側または右側に移動させて、該撮像範囲の右側あるいは左側半分の撮像範囲に該人物がいない他方側半分の距離平衡フレームを生成して、それらの撮像範囲に該人物がいない距離平衡フレームを合成することにより距離平衡フレームを生成する。
【００４５】
さらに、好ましくは、本発明の人物動作検出装置において、前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により人物を検出するフレーム差分演算手段を有する。
【００４６】
さらに、好ましくは、本発明の人物動作検出装置において、前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から前記人物の中心座標を求める中心座標検出手段を有する。
【００４７】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、前記距離フレーム間の中心座標の移動量を求める。
【００４８】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する。
【００４９】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を前記中心座標として算出する。
【００５０】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出する。
【００５１】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する。
【００５２】
さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記距離平衡フレームの生成処理を、装置起動時、初期化時または所定時間毎に行う。
【００５３】
さらに、好ましくは、本発明の人物動作検出装置における発光手段は、前記投射光として近赤外のパルス光を一定周期で前記投射空間に投射する。
【００５４】
さらに、好ましくは、本発明の人物動作検出装置における受光部は、光電変換部が中央に設けられ、該光電変換部の中心に対する点対称位置に、互いに相反するゲート信号が入力される二つの電荷転送ゲートをそれぞれ介して２つの画素出力電極Ｖ１，Ｖ２が設けられ、該二つの画素出力電極Ｖ１，Ｖ２から、前記人物までの距離に相当した光の飛行時間に依存して分配された信号電荷をそれぞれ出力する。
【００５５】
さらに、好ましくは、本発明の人物動作検出装置における二つの画素出力電極Ｖ１，Ｖ２からの前記信号電荷はそれぞれ前記人物までの距離に応じた出力電圧情報に変換されて、前記ＴＯＦ式距離画像センサから前記距離情報としてそれぞれ出力される。
【００５６】
さらに、好ましくは、本発明の人物動作検出装置における人物までの距離Ｌが、既知の光速をｃとして該人物までの光の飛行時間Ｔを検出して、Ｌ＝（１／２）・ｃ・Ｔから求められている。
【００５７】
さらに、好ましくは、本発明の人物動作検出装置における距離情報は、前記受光部に対応した画素毎の立体的な複数点の距離情報である。
【００５８】
本発明の遊具装置は、本発明の上記人物動作検出装置と、該人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、ゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するアプリケーションプロセッサとを有するものであり、そのことにより上記目的が達成される。
【００５９】
また、好ましくは、本発明の遊具装置において、前記アプリケーションプロセッサは、前記人物の動作の詳細情報を取得するために、上記連続して取得されるフレーム差分情報を比較して、前記人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび動作の加速度ベクトルの各種情報を抽出する人物動作検知手段を有する。
【００６０】
さらに、好ましくは、本発明の遊具装置において、前記動作領域の位置情報は前記距離フレームの水平方向および垂直方向のＸＹ座標位置および遊具装置からの距離Ｌから立体的に求められ、前記人物の動作の速度ベクトルおよび加速度ベクトルは、該動作領域の平均移動距離、該動作領域の重心位置の移動距離および該人物の特定部位位置の移動距離のいずれかから求められる。
【００６１】
さらに、好ましくは、本発明の遊具装置において、前記人物が行う動作の時刻や空間領域に関して期待値を有しており、該期待値と合致する時刻や空間の距離情報を含む距離フレームに限定して前記人物動作検知手段による処理を行う。
【００６２】
さらに、好ましくは、本発明の遊具装置における人物の中心座標の移動量が、前記期待値から設定した閾値以上であった場合に該人物の「全身移動があった」と判定し、また、該人物の中心座標の移動量が該閾値未満であった場合に該人物の「全身移動がなかった」と判定する中心座標移動判定手段を有する。
【００６３】
さらに、好ましくは、本発明の遊具装置において、前記中心座標と前記距離フレームの差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段を有する。
【００６４】
さらに、好ましくは、本発明の遊具装置における身体部位判定手段は、前記距離フレーム間のフレーム差分により検出した距離変位が、前記中心座標より右上であれば右腕の動作、前記中心座標より左上であれば左腕の動作、前記中心座標より右下であれば右足の動作、前記中心座標より左下であれば左足の動作であると判定する。
【００６５】
さらに、好ましくは、本発明の遊具装置における身体部位判定手段は、その判定結果として身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと前記期待値とを比較して、該少なくともいずれかが該期待値と一致する場合は該身体部位に「期待動作があった」と判定し、また、該少なくともいずれかが該期待値と不一致の場合は該身体部位に「期待動作がなかった」と判定する。
【００６６】
さらに、好ましくは、本発明の遊具装置における期待値として、前記人物が何らかの行動を起こすことを期待されるタイミングを期待時刻とし、該人物が移動動作を行うことを期待される空間領域を期待存在空間とし、該人物が行うであろうと期待される動作の速さや方向が期待動作変化とする。
【００６７】
さらに、好ましくは、本発明の遊具装置におけるアプリケーションプロセッサは、前記人物の動作の時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値を有しており、該期待値と合致する人物動作を検知した場合に、無線または有線を介して、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を有する。
【００６８】
さらに、好ましくは、本発明の遊具装置において、従来の遊具装置に搭載されているゲームコントローラを使用することなく前記人物動作検出装置を用いて人物動作が検知され、当該人物動作の検知結果と前記期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させる。
【００６９】
本発明の人物動作検出方法は、発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報をＴＯＦ（タイム・オブ・フライト）式距離画像センサの複数の受光部からそれぞれ出力する人物動作検出方法であって、 該ＴＯＦ式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御ステップを有するものであり、そのことにより上記目的が達成される。
【００７０】
また、好ましくは、本発明の人物動作検出方法における人物動作検知制御ステップは、前記ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する。
【００７１】
さらに、好ましくは、本発明の人物動作検出方法における人物動作検知制御ステップは、 前記ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、少なくとも２つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する。
【００７２】
さらに、好ましくは、本発明の人物動作検出方法において、前記人物の距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分から、該人物の距離の変化の有無を検出する距離変位検出ステップを更に有する。
【００７３】
さらに、好ましくは、本発明の人物動作検出方法において、前記人物の距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定ステップを更に有する。
【００７４】
さらに、好ましくは、本発明の人物動作検出方法において、前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により前記人物を検出するフレーム差分演算ステップを有する。
【００７５】
さらに、好ましくは、本発明の人物動作検出方法における距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標を求める中心座標検出ステップを有する。
【００７６】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、前記距離フレーム間の中心座標の移動量を求める。
【００７７】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する。
【００７８】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を前記中心座標として算出する。
【００７９】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出することを特徴とする。
【００８０】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する。
【００８１】
本発明のゲーム方法は、本発明の上記人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するゲーム実行ステップを有するものであり、そのことにより上記目的が達成される。
【００８２】
また、好ましくは、本発明のゲーム方法において、人物の動作詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を抽出する人物動作検知ステップを更に有し、前記人物の距離の変化量とその変化方向の情報と共に、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を用いて、前記ゲーム実行ステップとして、前記アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御する。
【００８３】
本発明の制御プログラムは、本発明の上記人物動作検出方法のステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。
【００８４】
本発明の制御プログラムは、本発明の上記ゲーム方法のステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。
【００８５】
本発明の可読記録媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。
【００８６】
上記構成により、以下、本発明の作用を説明する。
【００８７】
本発明においては、ＴＯＦ式距離画像センサからの距離情報に基づいて、時系列に複数の距離フレームを生成する距離フレーム生成手段と、少なくとも２つの距離フレームに基づいて距離の変化がないフレームである距離平衡フレームを生成する距離平衡フレーム生成手段と、各距離フレームについて距離平衡フレームとのフレーム差分を演算し、対象物体の人物との距離の変化量とその方向を算出する手段とを有して、人物として形状特定化された距離変位領域までの方向および距離を人物の動作情報として検出する。
【００８８】
これによって、多数の空間領域を面状に演算処理する場合であっても、従来の反射光の強度分布を用いた距離画像センサや三角測量式距離画像センサのように計算量が膨大にならず、フレームレートが高い場合であっても人物の動作検出をリアルタイムに行うことが可能となる。
【００８９】
したがって、この高速な人物動作の検出により、人物動作に応じてゲーム内容の制御をリアルタイムに行うことが可能となって、遊具装置において操作性の向上や動きの検出精度の向上が大いに図られる。
【発明の効果】
【００９０】
以上により、本発明によれば、ＴＯＦ式距離画像センサからの距離情報（距離に応じた出力電圧情報）に基づいて、投射光の投射空間の物体までの距離変位を検出する距離変位検出手段と、距離変位の有無を判定する距離平衡状態判定手段とを有し、距離フレームと距離平衡フレームのフレーム差分による距離変位を人物動作として検出するため、多数の空間領域を面状に演算処理する場合であっても、従来の距離画像センサのように演算量が膨大にならず、人物の動作の検出を計算的に安価に行うことができる。よって、要求されるフレームレートが高い用途であっても、人物の動作をリアルタイムに抽出し、ゲーム内容や進行状況に反映することができる。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施形態１に係る人物動作検出装置の要部構成例を示すブロック図である。
【図２】図１の人物動作検出装置で用いるＴＯＦ式距離計測原理を模式的に示す説明図である。
【図３】図１の画素アレイ部における１画素単位の受光部の平面構造図である。
【図４】図２のＴＯＦ式距離計測原理を説明するための各要部での信号波形のタイミング図である。
【図５】本発明の実施形態２に係る遊具装置の要部構成例を示すブロック図である。
【図６】本実施形態２を実施するための最良の形態における期待時刻と期待存在空間を模式的に示す図である。
【図７】本実施形態２を実施するための最良の形態における期待時刻と期待存在空間と期待動作変化を模式的に示す図である。
【図８】図５の人物動作検出装置の簡易な動作例を示すフローチャートである。
【図９】図５の人物動作検出装置の高精度な動作例を示すフローチャートである。
【図１０】図５の距離平衡フレーム生成部で取得した距離情報の具体例を示した画像図である。
【図１１】ある時刻において、図５の距離フレーム生成部で取得した距離情報の具体例を示した画像図である。
【図１２】図１０とは異なる時刻において、図５の距離フレーム生成部で取得した距離情報の具体例を示した画像図である。
【図１３】図１０の距離フレームと図１１の距離平衡フレームとのフレーム差分画像（ＲＦｓｕｂＢＲＦ）の具体例を示した画像図である。
【図１４】図１０の距離フレームと図１１の距離平衡フレームのフレーム差分画像（ＲＦｓｕｂＢＲＦ）の具体例を示した画像図である。
【図１５】図１２のＢＲＦ距離差分フレーム（ＲＦｓｕｂＢＲＦ）と図１１のＢＲＦ距離差分フレーム（ＲＦｓｕｂＢＲＦ）のフレーム差分画像の具体例を示した画像図である。
【図１６】図５のアプリケーションプロセッサの要部ハード構成例を示すブロック図である。
【図１７】距離フレームを利用した特許文献１に開示されている従来の情報抽出装置の要部構成例を示すブロック図である。
【図１８】図１７の従来の情報抽出装置における距離画像取得部の外観を模式的に示す図である。
【図１９】図１７の従来の情報抽出装置における分割領域毎の反射光の強度分布を示す距離画像のデータ図である。
【図２０】図１７の従来の情報抽出装置における距離画像取得部の要部構成例を示したブロック図である。
【図２１】図１７の従来の情報抽出装置における距離画像取得部の前方に手を差し出した場合の距離画像を示す図である。
【図２２】本発明の実施形態３に係る遊具装置の要部構成例を示すブロック図である。
【図２３】図２２の人物動作検出装置の動作例を示すフローチャートである。
【図２４】本発明の実施形態４に係る遊具装置の要部構成例を示すブロック図である。
【図２５】図２４の人物動作検出装置の動作例を示すフローチャートである。
【図２６】本発明の実施形態５に係る遊具装置の要部構成例を示すブロック図である。
【図２７】本発明の実施形態５に係る遊具装置の変形例を示すブロック図である。
【図２８】本発明の実施形態５に係る遊具装置の別の変形例を示すブロック図である。
【図２９】従来の遊具装置の外観図である。
【発明を実施するための形態】
【００９２】
以下に、本発明の人物動作検出装置の実施形態１について説明した後に、本発明の人物動作検出装置の実施形態１を、対象物体としての人物の動作内容に応じてゲームの内容や進行を制御する遊具装置に用いた場合を実施形態２とし、人物動作の検出における人物の身体全体の移動の判定方法を実施形態３とし、人物動作の検出において、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法を実施形態４とし、さらに、体感刺激発生装置を有する遊具装置について実施形態５として、図面を参照しながら詳細に説明する。
【００９３】
（実施形態１）
図１は、本発明の実施形態１に係る人物動作検出装置の要部構成例を示すブロック図である。
【００９４】
図１において、本実施形態１の人物動作検出装置１は、図２に示すように、距離計測の対象物体Ａに対して投射光を出射するための光源としての発光手段２と、その投射光の距離計測の対象物体Ａからの反射光を受光する受光手段３と、受光手段３からの受光情報に基づいて対象物体Ａとしての人物の動作を検出する人物動作検知制御手段４とを有しており、受光手段３からの受光情報に基づいて対象物体Ａまでの光の飛行時間（遅れ時間）Ｔを検出して既知の光速ｃからの演算で対象物体Ａまでの距離Ｌを求めるＴＯＦ（タイム・オブ・フライト）技術を用いて、画素毎の複数点の距離情報を用いて立体的に高精度に人物の位置や動作を検出する。
【００９５】
発光手段２は、人物動作検知制御手段４により投射光の発光タイミングが制御されるパワーＬＥＤドライバ２１と、パワーＬＥＤドライバ２１により駆動されて複数のパワーＬＥＤ２２ａから投射光を発光するパワーＬＥＤモジュール２２と、少なくとも１つ以上のパワーＬＥＤ２２ａが設けられたパワーＬＥＤモジュール２２の前方位置に配置されて対象物体Ａに対する投射光の放射角を調整可能とする放射角調整レンズ２３とを有している。
【００９６】
この場合の投射光は、投射光として近赤外のパルス光を一定周期で投射空間に投射するようにしてもよい。
【００９７】
受光手段３は、対象物体Ａからの反射光を受光して対象物体Ａまでの距離Ｌに応じた撮像信号を複数の画素でそれぞれ検出するＴＯＦ式距離画像センサ３１と、ＴＯＦ式距離画像センサ３１の前方位置に配置されて、対象物体Ａからの反射光が入射される視野角を調整可能とする視野角調整レンズ３２とを有している。
【００９８】
ＴＯＦ式距離画像センサ３１は、複数の受光部である画素アレイ部３１１と、各画素（受光部）からの信号読出用のタイミング信号を生成するタイミング生成部３１２と、各画素（受光部）を垂直方向に走査する垂直スキャナ部３１３および、各画素（受光部）を水平方向に走査する水平スキャナ部３１４と、このタイミング信号を用いて垂直スキャナ部３１３および水平スキャナ部３１４を制御して各画素（受光部）からの信号読み出しを駆動する画素ドライバ部３１５と、画素ドライバ部３１５により画素アレイ部３１１から読み出された画像信号に対してノイズキャンセル処理を行うノイズキャンセラ部３１６と、ノイズキャンセラ部３１５からの出力信号をＡ／Ｄ変換して信号出力するＡ／Ｄコンバータ３１７とを有している。
【００９９】
画素アレイ部３１１は、対象物体Ａからの反射光を受光してそれぞれ光電変換して信号電荷をそれぞれ生成する複数の受光部（例えば約８万画素）が行列方向のマトリクス状で面状に配列されているが、ここでは、本発明の特徴構成を持った１画素単位の受光部を図３の平面構造図に示している。
【０１００】
図３に示すように、その１画素単位の受光部は、対象物体Ａからの反射光を受光する受光部が中央部に光電変換領域（電荷変換領域ＰＧ）として設けられており、この電荷変換領域ＰＧの左右位置に電荷転送ゲートＴＸ１，ＴＸ２をそれぞれ介して出力電極Ｖ１，Ｖ２がそれぞれ設けられ、各出力電極Ｖ１，Ｖ２から読み出される各信号電荷を、タイミング的に電荷転送ゲートＴＸ１，ＴＸ２への相反のゲート信号によって振り分けられている。要するに、対象物体Ａまでの距離Ｌに相当した光の飛行時間（反射光の遅れ時間Ｔｄ）に依存して分配された信号電荷をそれぞれ二つの画素出力電極Ｖ１，Ｖ２から出力し、その信号電荷はそれぞれ距離Ｌに応じた出力電圧情報に変換されて、ＴＯＦ式距離画像センサ３１から距離情報としてそれぞれ出力される。即ち、図４に示すように、投射光のパルス幅Ｔ０が、反射光の遅れ時間Ｔｄのタイミングによって、二つの画素出力電極Ｖ１，Ｖ２から距離Ｌに応じた出力電圧ΔＶ１、ΔＶ２として振り分けられて出力される。なお、ＣＤは電荷変換領域ＰＧの上下位置に設けられた背景光信号排出ゲートである。
【０１０１】
ここで、図２に示すＴＯＦ（タイム・オブ・フライト）技術を用いて対象物体Ａまでの距離Ｌを複数点で立体的に求める原理について簡単に説明する。
【０１０２】
まず、電流をＩとすると、電荷Ｑは時間ΔＴの時間積分として求められ、Ｑ＝Ｉ・ΔＴで与えられる。また、電極に電圧ΔＶを印加して蓄積できる電荷Ｑは、誘電体の容量をＣとすると、Ｑ＝Ｃ・ΔＶで与えられる。これらの２つの式により、出力端子電圧Ｖは、ΔＶ＝（１／Ｃ）・Ｉ・ΔＴで与えられる。上記出力端子電圧Ｖを用いて、図４に示されるパルス投射光および信号電荷転送ゲートのタイミング図に基づいて、出力端子電圧ΔＶ１，ΔＶ２を以下に導出する。図４に示されるように、パルス投射光の点灯時間幅をＴ０、反射光の光電変換にて流れる光電流をＩｐｈ、光速をｃ、出力端子容量をＣ１，Ｃ２とすると、出力端子電圧Ｖ１，Ｖ２はそれぞれ、次の式１（数１）により求めることができる。
【０１０３】
【数１】
また、図３に示されるように、２つの出力端子の構造は同一のため、端子容量Ｃ１とＣ２は等しくなる。即ち、Ｃ１＝Ｃ２である。この条件を、上記式１（数１）に代入して距離Ｌを求めると、次の式２（数２）を求めることができる。
【０１０４】
【数２】
上記ＴＯＦ技術に基づくＴＯＦ式距離画像センサ３１を用いた人物動作検出装置１は、従来の対象物体からの反射光の強度分布を用いて距離情報を取得する距離画像センサを用いた人物動作検出装置の場合と比較して、以下の点で大幅に優れている。
【０１０５】
第１に、空間上の複数点での距離Ｌを各画素の距離の相対的な遠近ではなく、距離の絶対値で計ることができる。距離Ｌが絶対値で求まるため、Ａ／Ｄ変換後の信号処理（例えば、距離変位の有無を判定する閾値の設定）が容易である。よって、追加の演算処理が不要であり、テレビゲームなどの高いフレームレートが要求される用途でのリアルタイム処理に適している。
【０１０６】
一方、反射光の強度分布から距離を取得する従来の距離画像センサでは、距離Ｌが相対値でしか求まらないため、距離Ｌを相対値から絶対値に変換する演算が必要になり、演算量が増加してしまう。よって、テレビゲームなどの遊具装置での高いフレームレートでのリアルタイム処理に適さないことになる。
【０１０７】
第２に、対象物体Ａの表面の光学的性質の影響を受けにくいため、距離情報を取得できる対象物体Ａの適用範囲が広い。上記式２によれば、距離Ｌは出力端子電圧ΔＶ１，ΔＶ２の比で求まるため、対象物体Ａの表面の光学的性質の影響を受けにくい。即ち、対象物体Ａの表面の光学的性質が対象物体Ａの構成部分により異なる場合（例えば対象物体Ａの表面の一部分は反射率が高く、その他の部分は反射率が低い）、ΔＶ１，ΔＶ２の絶対値は上記構成部分により増減するが、ΔＶ１，ΔＶ２の比は一定であるため、距離Ｌは対象物体Ａの表面の光学的性質の影響を受けにくい。これによって、追加の演算処理が不要であり、テレビゲームなどの遊具装置での高いフレームレートでのリアルタイム処理に適することになる。
【０１０８】
一方、反射光の強度分布から距離Ｌを取得する従来の距離画像センサでは、反射光の強度分布は対象物体Ａの表面の光学的性質の影響を大きく受けるため、光学的性質が均一である対象物体にしか適用できない。このため、人物の全身動作を取得しようとする場合、光学的性質が均一の構成部位毎（例えば、手のみ、上半身の衣服のみ、下半身の衣服のみ）に変化量を見る演算処理や、構成部位毎の光学的性質を考慮に入れて距離を補正する演算処理が必要になる。これによって、追加の演算量が膨大になり、テレビゲームなどの高いフレームレートでのリアルタイム処理に適さないことになる。
【０１０９】
図１の説明に戻って、本実施形態１の特徴構成である高速人物動作検知制御手段４は、人物動作検出装置１全体を制御するために必要な各種制御部から構成されており、パワーＬＥＤドライバ２１およびＴＯＦ式距離画像センサ３１の各駆動タイミングをそれぞれ制御するタイミング制御手段としてのタイミング制御部４１と、ホスト側の遊具装置１１などのシステムと交信するためのホストインターフェイス手段としてのホストインターフェイス部４２と、ＴＯＦ式距離画像センサ３１からの距離情報（距離に応じた出力電圧情報）に基づく出力データストリームを所定のフォーマットに変換するためのデータフォーマット手段としてのデータフォーマット部４３と、投射光の投射空間の距離変位を検出する距離変位検出手段としての距離変位検出部４４と、距離変位の有無を判定する距離変位判定手段としての距離平衡状態判定部４５と、距離フレームと距離平衡フレームのフレーム差分を求めるフレーム差分演算手段としてのフレーム差分演算部４６とを有し、受光手段３からの受光情報に基づいて対象物体Ａとしての人物の動作を検出する。
タイミング制御部４１は、少なくとも１個以上のパワーＬＥＤモジュール２２を、パワーＬＥＤドライバ２１を介して発光させるタイミングを制御すると共に、図４に示すように時間経過に伴って信号を振り分けるために、画素アレイ部３１１の各受光部の転送ゲートＴＸ１，ＴＸ２の開閉タイミングをそれぞれ相反に制御する。
ホストインターフェイス部４２は、図５で後述する制御対象の遊具装置１１などのシステムのアプリケーションプロセッサ５と交信して必要な情報をやり取りするためのインターフェイスであって、例えば人物の動作を検出したときに、人物の動作情報を３次元空間座標でアプリケーションプロセッサ５に情報通信するためのインターフェイスである。
【０１１０】
データフォーマット部４３は、画素アレイ部３１１が複数の受光部として例えば８万画素からなっており、ＴＯＦ式距離画像センサ３１からのセンサ出力が、処理の高速化のために２画素単位の並列出力であり、１画素当りの出力情報が２つの端子の出力電圧のΔＶ１，ΔＶ２の形式で出力されるため、後段の信号処理として、演算処理が容易となるようにデータ形式の変換が為されている。
【０１１１】
また、データフォーマット部４３は、所定のフォーマットで距離フレーム（ＲａｎｇｅＦｒａｍｅ；ＲＦ）を生成する距離フレーム生成部４３１と、所定のフォーマットで距離平衡フレーム（背景画像フレーム）を生成する距離平衡フレーム生成部４３２とを有している。
【０１１２】
距離フレーム生成部４３１は、上記［式１］のＴＯＦ式距離画像センサ３１の出力電圧情報を基に、上記［式２］より距離Ｌを演算して距離フレームを生成する。
【０１１３】
距離平衡フレーム生成部４３２は、少なくとも２つの距離フレームを基に、人物動作検出の際にフレーム差分演算の基準（背景画像フレーム）となる距離平衡フレームを生成する。この距離平衡フレーム生成部４３２について、以下に更に詳細に説明する。
【０１１４】
距離変位検出部４４は、ＴＯＦ式距離画像センサ３１からの距離情報（距離に応じた出力電圧情報で、上記式１の情報）に基づいて投射光の投射空間の距離Ｌを上記［式２］によりリアルタイムに計測し、計測した距離Ｌ（距離フレーム）に基づいて、フレーム差分演算部４６による距離フレーム間でのフレーム差分演算処理（ＲＦｓｕｂＲＦ）により投射空間の距離の変化量を算出して所定の閾値と比較することにより距離変位の有無を検出することができる。
【０１１５】
即ち、距離変位検出部４４は、人物が動作を行ったか行っていないかを求めるのに、距離フレーム間で距離の変化があるかどうかを求める。例えば１秒間に１２０フレーム分の距離情報が距離画像センサ３１から距離変位検出部４４に入ってくるが、距離変位検出部４４において、距離Ｌの時間に対する変化量をフレーム差分演算部４６によるフレーム差分（ＲＦｓｕｂＲＦ）から求める。なお、少なくとも２つの距離フレームの間のフレーム差分の算出はここではフレーム差分演算部４６によって行っているが、距離変位検出部４４が少なくとも２つの距離フレームの間のフレーム差分を算出してもよい。
【０１１６】
各距離フレームは、ＴＯＦ式距離画像センサ３１の出力電圧情報の時間的な揺らぎ（ランダムノイズ）に由来する距離の時間的な揺らぎを持っているため、人物が全く動作せず距離Ｌの変化がなくても、上記フレーム差分（ＲＦｓｕｂＲＦ）が全画素で「０」にはならない。そこで、人物の動作があったかなかったかを確定するために、距離Ｌの変化に対する閾値（フレーム差分閾値）を設定する。上記距離Ｌの変化に対する閾値は、ＴＯＦ距離画像センサ３１の距離分解能性能を考慮して、代表的な距離Ｌ毎に、ＴＯＦ距離画像センサ３１の距離分解能以上で、複数個、テーブル形式で用意しておく。
【０１１７】
上記フレーム差分（ＲＦｓｕｂＲＦ）が設定閾値未満となった場合、距離変位検出部４４は投射光の投射空間における距離の変化がない（対象物体Ａは動いていない）と判定する。一方、上記フレーム差分（ＲＦｓｕｂＲＦ）が設定閾値以上となった場合、距離変位検出部４４は投射光の投射空間における距離の変化があった（対象物体Ａが動いている）と判定する。
【０１１８】
距離平衡状態判定部４５は、投射光の投射空間が距離平衡状態にあるかどうかを判定する。距離平衡状態判定部４５は、上記距離変位検出部４４が距離Ｌの時間変化がないと判定した期間が所定の時間以上続くかまたは、所定のフレーム数以上続けば、投射光の投射空間は距離平衡状態にあると判定する。なお、少なくとも２つの距離フレームの間のフレーム差分の算出はここではフレーム差分演算部４６によって行っているが、距離平衡状態判定部４５が少なくとも２つの距離フレームの間のフレーム差分を算出してもよい。
【０１１９】
フレーム差分演算部４６は、連続して取得される距離フレーム間でフレーム差分演算（ＲＦｓｕｂＲＦ）を行ったり、距離フレームと距離平衡フレームの間でフレーム差分演算（ＲＦｓｕｂＢＲＦ）を行ったりする。
【０１２０】
このように、フレーム差分演算部４６は、複数の距離フレームについてそれぞれ距離平衡フレーム（背景画像）とのフレーム差分を演算し、そのフレーム差分から、例えば変化した水平方向および垂直方向（ＸＹ座標）の面積が最も広い領域や、距離Ｌの変化量が最も大きい領域などを、人物の動作情報として距離の変化量と変化方向を算出するようにしている。
【０１２１】
距離平衡フレーム生成部４３２は、連続して取得される距離フレームの中から、上記距離変位検出部４４が距離の変化がないと判定した少なくとも１つの連続した距離フレームを記憶する。距離平衡状態判定手段４５が、投射光の投射空間が距離平衡状態にあると判定したら、距離平衡フレーム生成部４３２は、記憶しておいた少なくとも２つの距離フレームの時間平均を算出し、距離平衡フレーム（ＢａｌａｎｃｅｄＲａｎｇｅ Ｆｒａｍｅ；ＢＲＦ）を生成する。この時間平均をとることにより、距離平衡フレームが含む時間的なランダムノイズが減少し、距離フレームと距離平衡フレームのフレーム差分をとって人物動作を検出する際の誤検出を減少させることができる。
【０１２２】
上記距離平衡フレーム生成処理は、所定の時刻毎（例えば毎秒１回）など頻繁に行う必要はなく、例えば高速人物動作検出装置１の起動時やアプリケーションプロセッサ５によるゲームプログラムの初期化時などに行えばよい。よって、上記距離平衡フレーム生成処理の演算量は多いが頻度が少ないため、高いフレームレートでの駆動時におけるリアルタイム処理を阻害することはない。
【０１２３】
（実施形態２）
上記実施形態１では、対象物体Ａまでの距離Ｌを複数点で立体的に求める本発明の人物動作検出装置１について説明したが、本実施形態２では、上記高速人物動作検出装置１を、対象物体Ａとしての人物の動作内容に応じてゲーム内容や進行を制御する遊具装置に適用した場合について詳細に説明する。
【０１２４】
図５は、本発明の実施形態２に係る遊具装置の要部構成例を示すブロック図である。なお、図１の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。
【０１２５】
図５において、本実施形態２の遊具装置１１は、上記実施形態１の人物動作検出装置１と、ゲームプログラムの実行や人物動作検出装置１との距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ５とを有している。
【０１２６】
人物動作検出装置１は、ＴＯＦ式距離画像センサ３１を有することで、後段の信号処理での演算量を大幅に減らすことができるため、特に、テレビゲームなどの高いフレームレートが要求される遊具装置１１におけるリアルタイム処理に適している。
【０１２７】
アプリケーションプロセッサ５は、この人物の動作情報の３次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。
【０１２８】
アプリケーションプロセッサ５の人物動作検出部５１は、検出しようとする人物の動作の詳細な情報を取得するために、上記連続して取得されるフレーム差分（ＲＦｓｕｂＲＦやＲＦｓｕｂＢＲＦ）を比較して、人物の動作領域の位置（距離と方向）、人物の動作の速度ベクトル（動作の速さと方向）、人物の動作の加速度ベクトル（動作の加速度の大きさと方向）などの各種情報を抽出する。動作領域の位置は距離フレームの水平・垂直方向（ＸＹ座標）の位置および距離Ｌ（ＸＹ平面に直交する人物動作検出装置１からの距離Ｌ）から立体座標（ＸＹＺ座標）として求める。人物の動作の速度ベクトルや加速度ベクトルは動作領域の平均移動距離から求めてもよく、動作領域の重心位置の移動距離から求めてもよく、特定位置（例えば人物の頭部や腕や手）について求めてもよい。
【０１２９】
ここで、人物動作検出装置１と人物動作検出部５１の間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ５が必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部４２を介して情報のやり取りを行ってもよい。即ち、アプリケーションプロセッサ５のゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Ａである人物が動作を行うことを期待する時刻（以下、期待時刻）や、人物が存在することを期待する空間（以下、期待存在空間）、および人物が動作することを期待する空間（以下、期待動作変化）の情報を持っている。
【０１３０】
図６は、本実施形態２を実施するための最良の形態における期待時刻と期待存在空間を模式的に示す図であり、図７は、本実施形態２を実施するための最良の形態における期待時刻と期待存在空間と期待動作変化を模式的に示す図である。
【０１３１】
図６および図７において、テニスゲームを例にして期待時刻、期待存在空間および期待動作変化について詳細に説明する。対象物体Ａである人物が何らかの行動を起こすことを期待されるタイミングが期待時刻である。例えば図６の時刻ｔ０では、ゲーム内でテニスが開始されていないので対象物体Ａである人物は移動や動作を期待されていない。次の時刻ｔ１では、ゲーム内の対戦相手が返球する順番で、対象物体Ａである人物は移動の構えをとっているだけであり、ここではまだ、対象物体Ａである人物や対戦相手が移動や動作を期待されていない。更に次の時刻ｔ２において、ゲーム内のプレイヤが返球する順番であり、対象物体Ａである人物はボールに届く位置まで移動を開始することが期待されている。
【０１３２】
対象物体Ａである人物が移動するなどの動作を行うことを期待される空間領域が期待存在空間である。例えば図６の時刻ｔ２において、ゲーム内のプレイヤが返球するためにテニスコートの右に移動しなければならないとき、対象物体Ａである人物は期待存在空間Ｐ２まで右に移動することが期待されている。さらに、対象物体Ａである人物が行うであろうと期待される動作の速さや方向が期待動作変化である。
【０１３３】
図７の時刻ｔ３において、対象物体Ａである人物は期待存在空間Ｐ３まで右に移動し、図７の時刻ｔ４において、ゲーム内のプレイヤの近くにボールが来たら、対象物体Ａである人物は期待存在空間Ｐ４において手に持ったラケットで返球動作（期待動作変化Ｖ４）を行うことが期待されている。
【０１３４】
アプリケーションプロセッサ５では、ゲームプログラムの進行に合わせて期待時刻ｔでの期待存在空間Ｐにおける期待動作変化Ｖのみが意味を持つため、それ以外のモニタ量は不要と見なせる。よって、人物動作検出部５１は上記各期待値と合致する距離情報についてのみ、人物動作を検出するための演算処理を行えばよい。
【０１３５】
人物動作検出部５１は、不要な信号処理を実施しないことにより演算量を減らすことができるため、人物動作検出装置１を高いフレームレートで駆動してもリアルタイム処理を行うことが可能になる。また、対象物体Ａである人物のゲーム進行と無関係の動作や、複数人が撮像領域内にいるときに対象物体Ａである人物以外の動作を誤検出する可能性が低くなる。
【０１３６】
ここで、まず、図８に示すフローチャートを参照して、図５の人物動作検出装置１の簡易で特に高速な人物動作検知処理について説明する。
【０１３７】
図８に示すように、まず、ステップＳ１において、電源の投入または遊具装置１１のゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段４は、発光手段２や受光手段３を用いて、例えば１秒間に１２０枚程度のフレームレートで距離フレームを取得する。
【０１３８】
次に、ステップＳ２でフレーム差分を演算する。即ち、高速人物動作検知制御手段４のフレーム差分演算部４６は、距離フレーム間でフレーム演算を行う。出力端子電圧ΔＶ１，ΔＶ２の大きさが、対象物体Ａとなる人物が存在する領域と存在しない領域（背景）とで比較すると１桁から２桁違うため、人物の存在や動作を検出することが可能である。
【０１３９】
その後、演算結果の情報は、ホストインターフェイス部４２を介してアプリケーションプロセッサ５に渡される。アプリケーションプロセッサ５の人物動作検知部５１では、ステップＳ３で、距離変位がアプリケーションプロセッサ５の有する期待値と一致するかどうかを判定し、それが一致する場合は、ステップＳ４で「人物動作があった」と判定し、それが不一致の場合は、ステップＳ５で「人物動作がなかった」と判定する。
【０１４０】
以上の簡易で高速な人物動作検知制御ステップは、距離フレーム生成部４３１がＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、フレーム差分演算部４６が複数の距離フレームについてそれぞれのフレーム差分を演算し、その演算したフレーム差分から人物の動作情報として人物の距離の変化量とその変化方向を算出するフレーム差分演算ステップとを有している。
【０１４１】
次に、図９に示すフローチャートを参照して、図１の高速人物動作検出装置１の高精度な人物動作検知処理について説明する。
【０１４２】
図９に示すように、まず、ステップＳ１１において、電源の投入または遊具装置１１のゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段４は、発光手段２や受光手段３を用いて、例えば１秒間に１２０枚程度のフレームレートで距離フレームを取得する。
【０１４３】
次に、ステップＳ１２で、高速人物動作検知制御手段４が、所定のタイミングで、距離フレーム毎のフレーム差分を求める動作を開始する。
【０１４４】
ステップＳ１３で、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるかどうかが判定される。上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるとき、ステップＳ１４で、距離変位検出部４４は「距離変位がない」と判定する。また、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値以上であるとき、ステップＳ１５で、距離変位検出部４４は「距離変位有り」と判定し、その後、ステップＳ１１の距離フレーム取得処理に戻る。
【０１４５】
さらに、ステップＳ１４で、距離変位検出部４４により「距離変位がない」と判定された状態が、所定の時間以上または所定のフレーム枚数以上継続した場合、距離平衡状態判定部４５は投射光の投射空間が距離平衡状態にあると判定する。
【０１４６】
その後、ステップＳ１６で、距離平衡状態判定部４５は投射光の投射空間が距離平衡状態にあると判定すると、距離平衡フレーム生成部４３２は、少なくとも１つの距離フレームの時間平均をとり、距離平衡フレームを生成する。
【０１４７】
続いて、距離平衡フレームの具体例を示した画像を図１０に示している。図１０では対象物体Ａである人物がおらず、背景のみから距離平衡フレームを生成しているが、人物が撮像範囲にいても、例えば遊具装置１１のゲームプログラムからの指示により人物を右側に移動させて左側半分の距離フレームを生成し、続いて人物を左側に移動させて右側半分の距離フレームを生成し、最後にそれらを合成することにより距離平衡フレームを生成することができる。または、人物が静止している状態であれば、静止した人物を含めて距離平衡フレームを生成しても、フレーム差分演算（ＲＦｓｕｂＢＲＦ）により距離の変位を検出することができる。
【０１４８】
以上の高精度な人物動作検知制御ステップは、距離フレーム生成部４３１がＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、距離平衡フレーム生成部４３２が、少なくとも２つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、フレーム差分演算部４６が複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、その演算したフレーム差分から人物の動作情報として人物の距離の変化量とその変化方向を算出するフレーム差分演算ステップとを有している。
【０１４９】
図１１および図１２に、ある時刻とその後の時刻において図５の距離フレーム生成部４３１で取得した距離情報の具体例を示した画像をそれぞれ示している。
【０１５０】
ステップＳ１７において、フレーム差分演算部４６が、距離フレームと距離平衡フレームの間のフレーム差分演算を行う。図１０と図１１のフレーム差分（ＲＦｓｕｂＢＲＦ）および図１０と図１２のフレーム差分（ＲＦｓｕｂＢＲＦ）をそれぞれ図１３と図１４に示している。距離変位がない領域はフレーム差分演算により相殺され距離変位がある領域のみが残る。
【０１５１】
図１５に、図１３と図１４のフレーム差分を示している。それぞれ図１１と図１２に示す距離フレームを取得する間に対象物体Ａである人物がどれだけ移動したかが検出されることになる。
【０１５２】
その後、演算結果の情報は、ホストインターフェイス部４２を介してアプリケーションプロセッサ５に渡される。人物動作検知部５１では、ステップＳ１８で、距離変位がアプリケーションプロセッサ５の有する期待値と一致するかどうかを判定し、それが一致する場合は、ステップＳ１９で「人物動作があった」と判定し、それが不一致の場合は、ステップＳ２０で「人物動作がなかった」と判定する。
【０１５３】
（実施形態３）
上記実施形態１では、対象物体Ａまでの距離Ｌを複数点で立体的に求める本発明の人物動作検出装置１について説明し、上記実施形態２では、上記高速人物動作検出装置１を、対象物体Ａとしての人物の動作内容に応じてゲーム内容や進行を制御する遊具装置に適用した場合について説明し、本実施形態３では、上記実施形態２の図９のステップＳ１７のフレーム差分演算（ＲＦｓｕｂＲＦ）以降のステップを追加することにより、対象物体Ａである人物の身体全体が移動したかどうかを判定する方法について詳細に説明する。
【０１５４】
図２２は、本発明の実施形態３に係る遊具装置の要部構成例を示すブロック図である。なお、図１および図５の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。
【０１５５】
図２２において、本実施形態３の遊具装置１１Ａは、対象物体Ａまでの距離Ｌを複数点で立体的に求める人物動作検出装置１Ａと、ゲームプログラムの実行や人物動作検出装置１Ａとの距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ５Ａとを有している。
【０１５６】
人物動作検出装置１Ａは、上記実施形態１、２の人物動作検出装置１の構成に中心座標検出部４７をさらに有している。
【０１５７】
距離平衡フレーム生成手段よしての距離平衡フレーム生成部４３２が距離平衡フレーム（ＢＲＦ）を生成し、フレーム差分演算手段としてのフレーム差分演算部４６がＮ番目の距離フレームと距離平衡フレームとの差分（ＲＦｓｕｂＢＲＦ）を演算する。これによって、距離変化のない背景情報から、対象物体Ａである人物を切り出して検出することができる。即ち、フレーム差分演算部４６は、距離フレームと距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景情報からの距離の変化の有無により人物を検出する。
【０１５８】
この状態で、中心座標検出手段としての中心座標検出部４７は、距離フレームと距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標および中心座標の移動量を求める。つまり、中心座標検出部４７は、Ｎ番目の距離フレームについて、その検出した人物の距離情報から中心座標を求める。次のＮ＋１番目の距離フレームについても同様に中心座標を求め、Ｎ番目とＮ＋１番目の各距離フレーム間の中心座標の移動量を求める。この場合の中心座標とは、例えば、検出した人物の身体全体の距離情報から重心座標を求めてもよく、検出した人物の全身のＸ，Ｙ，Ｚ座標の最大値および最小値からそれぞれ中点座標を求めてもよく、検出した人物の輪郭の各点からの距離の和が最小になる点の座標を求めてもよい。
【０１５９】
即ち、中心座標検出部４７は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を中心座標として算出する。または、中心座標検出部４７は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を中心座標として算出する。または、中心座標検出部４７は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を中心座標として算出する。
【０１６０】
アプリケーションプロセッサ５Ａは、この人物の動作情報の３次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。
【０１６１】
アプリケーションプロセッサ５Ａの人物動作検出手段としての人物動作検出部５１Ａは、連続して取得される距離フレーム間の中心座標の移動量と、ゲーム内の期待値とを比較して、中心座標移動判定手段としての中心座標移動判定部５１１は、人物の中心座標の移動量が期待値から設定した閾値以上であった場合には人物の「全身移動があった」と判定し、また、人物の中心座標の移動量が閾値未満であった場合には人物の「全身移動がなかった」と判定する。
【０１６２】
ここで、人物動作検出装置１Ａの高速人物動作検知制御手段４Ａと人物動作検出部５１の間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ５Ａが必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部４２を介して情報のやり取りを行ってもよい。即ち、アプリケーションプロセッサ５Ａのゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Ａである人物が動作を行うことを期待する時刻（以下、期待時刻）や、人物が存在することを期待する空間（以下、期待存在空間）、および人物が動作することを期待する空間（以下、期待動作変化）の情報を持っている。
【０１６３】
次に、図２３に示すフローチャートを参照して、図２２の高速人物動作検出装置１Ａの高精度な人物動作検知処理について説明する。
【０１６４】
図２３に示すように、まず、ステップＳ１１において、電源の投入または遊具装置１１Ａのゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段４Ａは、発光手段２や受光手段３を用いて、例えば１秒間に１２０枚程度のフレームレートで距離フレームを取得する。
【０１６５】
次に、ステップＳ１２で、高速人物動作検知制御手段４Ａが、所定のタイミングで、距離フレーム毎のフレーム差分を求める動作を開始する。
【０１６６】
ステップＳ１３で、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるかどうかが判定される。上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるとき、ステップＳ１４で、距離変位検出部４４は「距離変位がない」と判定する。また、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値以上であるとき、ステップＳ１５で、距離変位検出部４４は「距離変位有り」と判定し、その後、ステップＳ１１の距離フレーム取得処理に戻る。
【０１６７】
さらに、ステップＳ１４で、距離変位検出部４４により「距離変位がない」と判定された状態が、所定の時間以上または所定のフレーム枚数以上継続した場合、距離平衡状態判定部４５は投射光の投射空間が距離平衡状態にあると判定する。
【０１６８】
その後、ステップＳ１６で、距離平衡状態判定部４５は投射光の投射空間が距離平衡状態にあると判定すると、距離平衡フレーム生成部４３２は、少なくとも１つの距離フレームの時間平均をとり、距離平衡フレームを生成する。
【０１６９】
さらに、ステップＳ１７において、フレーム差分演算部４６が、距離フレームと距離平衡フレームの間のフレーム差分演算を行う。距離変位がない領域はフレーム差分演算により相殺され距離変位がある領域のみが残っている。
【０１７０】
このように、この距離平衡フレーム生成方法に従って、距離平衡フレーム（ＢＲＦ）を求め（ステップＳ１６）、Ｎ番目の距離フレームと距離平衡フレームとの差分（ＲＦｓｕｂＢＲＦ）を演算する（ステップＳ１７）ことにより、距離が平衡状態にある、即ち距離変化のない背景情報から、対象物体Ａである人物を切り出して検出することができる。
【０１７１】
ここまでは、図９のステップＳ１７のフレーム差分演算（ＲＦｓｕｂＲＦ）までのステップと同様であるが、ステップＳ１７以降のステップを追加することにより、対象物体Ａである人物の身体の全体が移動したかどうかを判定することができる。
即ち、フレーム差分演算処理に続くステップＳ２１において、高速人物動作検知制御手段４Ａの中心座標検出部４７は、Ｎ番目の距離フレームについて、検出した人物の距離情報から中心座標を求める。中心座標とは、例えば、検出した人物の身体全体の距離情報から重心座標を求めてもよく、検出した人物の全身のＸ，Ｙ，Ｚ座標の最大値および最小値からそれぞれ中点座標を求めてもよく、検出した人物の輪郭の各点からの距離の和が最小になる点の座標を求めてもよい。これと同様に、次のＮ＋１番目の距離フレームについても同様に中心座標を求め、Ｎ番目とＮ＋１番目の距離フレーム間の中心座標の移動量を求める。例えば、テニスゲームにおいてボールの返球位置に人物が移動するために、人物が投射光の投射空間を前後左右に移動すると、人物の中心座標は距離フレーム間で移動するため、人物の身体がどこからどこに移動したのか、演算が簡易で演算量の少ない指標値とすることができる。
【０１７２】
さらに、ステップＳ２２において、中心座標の移動量の情報は、ホストインターフェイス部４２を介してアプリケーションプロセッサ５Ａに渡される。ゲームプログラム側では、ゲーム内容に応じて人物がどこにどの程度移動すべきか期待値を持っており、アプリケーションプロセッサ５Ａの人物動作検知部５１Ａは、人物の中心座標の移動量を期待値と比較する。
【０１７３】
その人物の中心座標の移動量が期待値から設定した閾値以上であった場合、次のステップＳ２３で、中心座標移動判定部５１１は、対象物体Ａである人物が単に手足を動かしただけでなく「全身移動があった」と判定する。一方、人物の中心座標の移動量が閾値未満であった場合、ステップＳ２４で、中心座標移動判定部５１１は人物の「全身移動がなかった」と判定する。このようにして、対象物体Ａである人物の身体の全体が移動したかどうかを判定することができる。
【０１７４】
（実施形態４）
上記実施形態３では、対象物体Ａである人物の身体全体が移動したかどうかを判定する方法について説明したが、本実施形態４では、人物動作の検出において、上記実施形態３の中心座標演算処理以降のステップを追加することにより、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法について説明する。
【０１７５】
図２４は、本発明の実施形態４に係る遊具装置の要部構成例を示すブロック図である。なお、図１および図５の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。
【０１７６】
図２４において、本実施形態４の遊具装置１１Ｂは、対象物体Ａまでの距離Ｌを複数点で立体的に求める人物動作検出装置１Ｂと、ゲームプログラムの実行や人物動作検出装置１Ａとの距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ５Ｂとを有している。
【０１７７】
人物動作検出装置１Ｂは、上記実施形態１、２の人物動作検出装置１の構成に中心座標検出部４７Ｂをさらに有している。
【０１７８】
中心座標検出部４７Ｂは、Ｎ番目の距離フレームとＮ＋１番目の距離フレームについて、その検出した人物の距離情報から各中心座標を求め、Ｎ番目とＮ＋１番目の距離フレーム間の中心座標の移動量を求めると共に、距離フレーム間の差分演算で求めた距離変位と、距離フレームと距離平衡フレーム間のフレーム差分演算で求めた中心座標から、距離変位と中心座標の相対位置を演算する。
【０１７９】
アプリケーションプロセッサ５Ｂは、この人物の動作情報の３次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。
【０１８０】
アプリケーションプロセッサ５Ｂの人物動作検出部５１Ｂは、連続して取得される距離フレーム間の中心座標の移動量と、ゲーム内の期待値とを比較して、中心座標移動判定手段としての中心座標移動判定部５１１は、人物の中心座標の移動量が期待値から設定した閾値以上であった場合には人物の「全身移動があった」と判定し、また、人物の中心座標の移動量が閾値未満であった場合には人物の「全身移動がなかった」と判定する。
【０１８１】
また、アプリケーションプロセッサ５Ｂの人物動作検出部５１Ｂは、中心座標と距離フレーム差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段としての身体部位判定部５１２を有している。身体部位判定部５１２は、その判定結果としての身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと期待値とを比較して、身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかが期待値と一致する場合は身体部位に「期待動作があった」と判定し、また、身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかが期待値と不一致の場合は身体部位に「期待動作がなかった」と判定する。要するに、身体部位判定部５１２は、中心座標と距離変位の座標の相対的な位置関係から、対象物体Ａである人物の身体のどの部分が動作したのかを判定する。
【０１８２】
ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位が何であるか、期待値を持っており、身体の中心部に位置する中心座標と比較して、例えば、距離フレーム間の距離変位が中心座標より右上（水平方向および垂直方向のＸＹ座標方向）であれば右腕の動作、左上であれば左腕の動作、右下であれば右足の動作、左下であれば左足の動作であると判定する。身体部位判定部５１２の判定結果が上記期待値と一致する場合は「期待動作があった」と判定し、また、身体部位判定部５１２の判定結果が上記期待値と不一致の場合は「期待動作がなかった」と判定する。
【０１８３】
ここで、人物動作検出装置１Ｂの高速人物動作検知制御手段４Ｂと人物動作検出部５１Ｂの間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ５Ｂが必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部４２を介して情報のやり取りを行ってもよい。即ち、アプリケーションプロセッサ５Ｂのゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Ａである人物が動作を行うことを期待する時刻（以下、期待時刻）や、人物が存在することを期待する空間（以下、期待存在空間）、および人物が動作することを期待する空間（以下、期待動作変化）の情報を持っている。
【０１８４】
次に、図２５に示すフローチャートを参照して、図２４の高速人物動作検出装置１Ｂの高精度な人物動作検知処理について説明する。なお、ここでは、図２３に示すフローチャートのステップと同一の作用効果を奏するステップには同一の符号を付してその説明を省略する。
人物動作の検出において、上記実施形態３の中心座標演算処理以降のステップを追加することにより、距離フレーム間の距離変位が身体のどの部分に該当するかを判定することができる。
【０１８５】
即ち、ステップＳ１２において、距離フレーム間の差分演算（ＲＦｓｕｂＲＦ）で求めた距離変位と、ステップＳ２１において、距離フレームと距離平衡フレーム間のフレーム差分演算（ＲＦｓｕｂＢＲＦ）で求めた中心座標から、ステップＳ３１において、距離変位と中心座標の相対位置を演算する。
ステップＳ２１で求めた距離フレーム間の中心座標の移動量がホストインターフェイス部４２を介してアプリケーションプロセッサ５Ｂに渡されるのと同様に、ステップＳ１２で求めた距離変位とその中心座標の相対位置がステップＳ３１で演算され、その求められた距離変位と中心座標の相対位置がホストインターフェイス部４２を介してアプリケーションプロセッサ５Ｂに渡される。ゲームプログラム側では、ゲーム内容に応じて人物がどの方向にどの程度移動すべきかの期待値を持っている。
アプリケーションプロセッサ５Ｂにおいて、まず、ステップ２２で、人物の身体の全体が移動したかどうかに関して、上記実施形態３の場合と同様に、中心座標の移動量を期待値と比較する。
【０１８６】
さらに、上記実施形態３の場合と同様に、中心座標の移動量が期待値から設定した閾値以上であった場合、ステップＳ２３で、中心座標移動判定部５１１は、対象物体Ａである人物が単に手足を動かしただけでなく人物の「全身移動があった」と判定する。一方、中心座標の移動量が閾値未満であった場合、ステップＳ２４で、中心座標移動判定部５１１は人物の「全身移動がなかった」と判定する。これによって、対象物体Ａである人物の身体の全体が移動したかどうかを判定することができる。
【０１８７】
次に、ステップ３２で、身体部位判定部５１２は、上記中心座標と上記距離変位の座標の相対的な位置関係から、対象物体Ａである人物の身体のどの部分が動作したのかを判定することができる。即ち、ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位が何であるか、期待値を持っており、身体の中心部に位置する中心座標と比較して、例えば、距離フレーム間の距離変位が中心座標より右上（水平方向および垂直方向のＸＹ座標方向）であれば右腕の動作、左上であれば左腕の動作、右下であれば右足の動作、左下であれば左足の動作であると判定する。
【０１８８】
身体部位判定部５１２の判定結果が上記期待値と一致する場合は、ステップ３３で「期待動作があった」と判定する。一方、身体部位判定部５１２の判定結果が上記期待値と不一致の場合は、ステップ３４で「期待動作がなかった」と判定する。このようにして、距離フレーム間の距離変位が身体のどの部分に該当するかを判定することができる。
このように、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する本実施形態４の方法は、従来の関節などの特徴点から人物の骨格を抽出することにより人物の全身をモデル化する方法と比べて演算量が大幅に少なく、要求されるフレームレートが高いテレビゲーム機などの遊具装置に適している。
【０１８９】
（実施形態５）
上記実施形態２では、人物動作検出装置１を、対象物体Ａの人物の動作内容に応じてゲームの内容や進行を制御する遊具装置１１に用いた場合について説明し、上記実施形態３では、対象物体Ａである人物の身体全体が移動したかどうかを判定する方法について説明し、上記実施形態４では、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法について説明したが、本実施形態５では、上記実施形態２〜４の遊具装置に、衝撃や衝撃音などを発生させて臨場感を得るための体感刺激発生装置を更に有する場合について説明する。
【０１９０】
図２６は、本発明の実施形態５に係る遊具装置の要部構成例を示すブロック図である。なお、図１および図５の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。また、図２６は、上記実施形態４の遊具装置１１Ｂに、衝撃や衝撃音などを発生させて臨場感を得るための体感刺激発生装置を更に有する場合を示しているが、上記実施形態２の遊具装置１１に体感刺激発生装置を更に有する場合を図２７に示し、上記実施形態３の遊具装置１１Ａに体感刺激発生装置を更に有する場合を図２８に示している。ここでは、図２６を用いて体感刺激発生装置の一例を説明する。
【０１９１】
図２６において、遊具装置１１Ｃのアプリケーションプロセッサ５Ｃは、ゲームの進行内容において期待値と一致する人物動作があったと判定した場合、人物動作検知部５１Ｃで動作を検知し、無線送信部５７(例えばＢｌｕｅｔｏｏｔｈを用いた無線通信)または有線を通じて体感刺激発生装置８に体感刺激制御信号を送信する。
【０１９２】
体感刺激発生装置８は、無線送信部５７からの体感刺激制御信号を受信する無線受信部８１と、例えばテニスゲームの場合テニスラケットにボールが当たる衝撃などを発生させる振動発生部８２（例えばバイブレータ）と、発光させる発光部８３（例えばＬＥＤ）と、例えばテニスゲームの場合テニスラケットにボールが当たる衝撃音などを発生させる音声出力部８４（例えばスピーカ）と、香りを発生させる香り発生部８５（例えば香りを発する物体を封入した扉の開閉）とを有しており、受信した信号に応じて体感刺激発生装置８の筐体に振動や衝撃を発生させたり、発光させたり、衝突音などの音声を出力させたり、香りを発生させたりする。これによって、体感刺激発生装置８を保持する人物（対象物体Ａである人物）は、ゲーム内容と自身の操作内容に応じたフィードバックを得て臨場感を得ることができる。要するに、体感刺激発生装置８は、振動、光、音声および香りの少なくともいずれかを発生させるようになっている。
【０１９３】
ここで、体感刺激発生装置８をラケットに見立てたテニスゲームを一例に説明する。
【０１９４】
体感刺激発生装置８であるラケットがボールに当たるときに、中心座標検出部４７Ｂが、検出した人物の距離情報から中心座標を求め、さらに、距離フレーム間の中心座標の移動量を求める、距離フレーム間の差分演算で求めた距離変位と、距離フレームと距離平衡フレーム間のフレーム差分演算で求めた中心座標から、距離変位と中心座標の相対位置を演算する。次に、アプリケーションプロセッサ５Ｃの人物動作検出部５１Ｂは、連続して取得される距離フレーム差分の距離変位と中心座標の相対的位置とゲーム内の期待値とを比較して、身体部位判定部５１２は、中心座標と距離変位の座標の相対的な位置関係から、対象物体Ａである人物の身体のどの部分、ここでは右手にラケットを持っているので、人物の右手と共にラケットが動作したのかどうかを判定する。
【０１９５】
ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位、右手およびラケットに対する期待値を持っており、身体部位判定部５１２の判定結果が上記期待値と一致する場合は「期待動作があった」と判定し、また、身体部位判定部５１２の判定結果が上記期待値と不一致の場合は「期待動作がなかった」と判定する。この場合、期待値は、人物動作において身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値である。
【０１９６】
身体部位判定部５１２が「期待動作があった」と判定した場合、即ち、ラケットがボールに当たった瞬間、アプリケーションプロセッサ５Ｃは、ゲームの進行内容において期待値と一致する人物動作（ラケットを振る動作）があったと判定した場合、人物動作検知部５１Ｂで動作を検知し、アプリケーションプロセッサ５Ｃから無線送信部５７を通じて体感刺激発生装置８に体感刺激制御信号を送信する。
【０１９７】
体感刺激発生装置８では、無線送信部５７からの体感刺激制御信号を無線受信部８１で受信すると、内部の振動発生部８２を用いて体感刺激発生装置８の筐体を、ボールが当たった衝撃を受けたように振動させたり、音声出力部８４を用いてボールが当たった衝突音を発生させたりする。
【０１９８】
これによって、ラケットである体感刺激発生装置８を保持する人物は、ラケットにボールが当たる瞬間の衝撃を手で感じることができる。また、音声もテレビジョンのスピーカから聞こえてくるのではなく、手に保持した体感刺激装置８から聞こえてくるため、より現実のテニスに近い操作感および臨場感を得ることができる。なお、ボールの速さやボールの飛ぶ向き、ラケットのスウィングスピード、衝突のタイミングのずれの有無などに応じて、振動や音声の強弱、長さ、リズムなどを変化させてもよい。
【０１９９】
本実施形態５の体感刺激発生装置８は、従来のテレビゲーム機などの遊具装置１１Ｃにおけるリモートコントローラに相当する。ただし、ユーザの操作を制御信号として遊具装置１１Ｃに無線送信するものに限らず、遊具装置１１Ｃからの制御信号を受信する機能専用のものであってもよい。
【０２００】
従来の遊具装置のように、リモートコントローラ内部に搭載した加速度センサや角速度センサにより人物動作を検出する場合、上記のようにゲーム内容に応じて、リモートコントローラ内部に搭載したバイブレータなどの振動発生装置によりリモートコントローラを振動させることができなかった。これは、加速度センサや角速度センサでは、人物の動作とリモートコントローラの振動の区別ができないため、振動させた場合、目的とする人物動作のみを検出することができなくなるためである。本実施形態５では、体感刺激発生装置８の外部の人物動作検知装置１、１Ａまたは１Ｂのみで人物動作を検知しているため、体感刺激発生装置８を振動させても上記課題は生じない。スポーツなどの体感型ゲームにおいて、ユーザへの触覚によるフィードバックは視覚や聴覚と同様に重要であり、ユーザの操作感を大きく向上させることができる。
【０２０１】
なお、上記テニスゲームを例にした説明では、ユーザがラケットとしての体感刺激発生装置８を手に保持する場合について説明したが、体感刺激発生装置８を手に保持する場合に限らず、振動であれば、身体のどの部分で保持していてもよく、光、音声、香りであればユーザが感知できる範囲に設置してあればよい。また、体感刺激発生装置８は、振動、光、音声および香りの少なくともいずれかを発生させるが、テニスゲームで「振動」は衝撃の代わりに用い「音声」はボールを打つときの衝撃音の代わりに用い、これ以外の「光」の事例については、ＬＥＤを光らせるなど、例えば「刀」同士が衝突したときの火花の代わりに刀の一部または全部を光らせるようにすることができるし、また、「香り」の事例としては、薬品をヒータで熱するなどして各種の「香り」を発生させることができるし、例えばピストルで玉を撃った後の薬莢のにおいの代わり用いることができる。
【０２０２】
以上により、上記実施形態１〜５によれば、対象物体Ａまでの距離Ｌに相当した光の飛行時間（遅れ時間）に依存して分配された信号電荷をそれぞれ二つの画素出力電極Ｖ１，Ｖ２から出力し、その信号電荷はそれぞれ距離Ｌに応じた出力電圧情報に変換されて、ＴＯＦ式距離画像センサ３１から距離情報として出力される。このＴＯＦ式距離画像センサ３１からの距離情報に基づいて、既知の光速をｃとして、光の飛行時間（遅れ時間）Ｔを検出して、Ｌ＝（１／２）・ｃ・Ｔから対象物体Ａまでの距離Ｌを求め、これに基づいて、投射光の投射空間の対象物体Ａまでの距離変位を検出する距離変位検出手段４４と、投射空間が距離平衡状態にあるかどうかを判定する距離平衡判定手段４５とを有しており、フレーム差分（ＲＦｓｕｂＢＲＦ）によって、対象物体Ａである人物が動作したかどうかを検出する。これによって、多数の空間領域を面状に演算処理する場合に、高いフレームレートでもであっても従来の距離画像センサのように演算量が膨大にならず、撮像範囲における人物の動作の検出をリアルタイムに行うと共に、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出することができる。
【０２０３】
この高精度で計算的に安価な人物動作の検出により、テレビゲームなどの遊具装置１１および１１Ａ〜１１Ｅのゲーム内容や進行状況の制御をリアルタイムに行うことができて、遊具装置１１および１１Ａ〜１１Ｅの操作性の向上を図ることができる。
【０２０４】
また、従来の遊具装置において利用されていたゲームコントローラを利用することなく人物動作検知装置１，１Ａまたは１Ｂが用いられ、人物動作検知装置１，１Ａまたは１Ｂを用いて立体的な人物動作が検知され、当該人物動作の検知結果と期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させることにより、ゲームコントローラを用いないでゲームを行うことが可能となった。これにより、ゲームコントローラ作成にかかる費用が不要になり、更に、ゲームコントローラを指で押したりする操作が不要となるため、現実のスポーツなどに操作感が近いゲームを実現できることや、ゲームを通じて現実のスポーツなどでの技術の向上を期待することもできる。
【０２０５】
なお、上記実施形態２〜５では、本発明の人物動作検出装置１、１Ａまたは１Ｂを、その人物動作に応じてゲーム内容や進行状況を制御する遊具装置１１および１１Ａ〜１１Ｅなどに用いた場合について説明したが、これに限らず、リアルタイムで３次元空間の人物動作情報を検出する人物動作検出装置１、１Ａまたは１Ｂによる人物動作検出情報を用いて制御できる電子機器であればどのようなものでもよい。
【０２０６】
なお、上記実施形態２〜５では、特に説明しなかったが、アプリケーションプロセッサ５および５Ａ〜５Ｅは、人物動作検知部５１、５１Ａおよび５１Ｂの他に各種構成部が配設されており、これについて以下に詳細に説明する。ここでは、上記実施形態２のアプリケーションプロセッサ５により代表して説明する。
【０２０７】
図１６は、図５のアプリケーションプロセッサ５の要部ハード構成例を示すブロック図である。
【０２０８】
図１６において、上記実施形態２のアプリケーションプロセッサ５は、全体の制御を行う制御手段としてのＣＰＵ（中央演算処理装置）５０と、前述したが、検出しようとする人物の動作の詳細な情報を取得するために、上記連続して取得されるフレーム差分（ＲＦｓｕｂＲＦやＲＦｓｕｂＢＲＦ）を比較して、人物の動作領域の位置（距離と方向）、人物の動作の速度ベクトル（動作の速さと方向）、人物の動作の加速度ベクトル（動作の加速度の大きさと方向）などの各種情報を抽出する人物動作検知部５１と、人物動作検知部５１による人物動作検知情報を用いてゲーム進行に必要な各種制御を行うゲーム実行部５２と、ＣＰＵ５０に対して入力指令を行うためのキーボード、マウス、タッチパネルおよびペン入力装置、さらには通信ネットワーク（例えばインターネットやイントラネット）を介して受信入力する入力装置などの操作部５３と、表示画面上に、初期画面、選択場面、ゲームプログラムに基づく制御結果画面および操作入力画面などを表示する表示部５４と、ゲームプログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体としてのＲＯＭ５５と、起動時にゲームプログラムおよびそのデータなどが読み出されて、ＣＰＵ１による制御毎にデータを読み出し・記憶するワークメモリとして働く記憶部としてのＲＡＭ５６とを有している。
【０２０９】
ＣＰＵ５０は、ＲＯＭ５５内に記憶された制御プログラムとしてのゲームプログラムおよびそのデータを装置起動時にＲＡＭ５６内に読み出して、そのゲームプログラムおよびそのデータ基づいて、人物動作検知部５１が、上記連続して取得されるフレーム差分（ＲＦｓｕｂＲＦやＲＦｓｕｂＢＲＦ）を比較して、人物の動作領域の位置（距離と方向）、人物の動作の速度ベクトル（動作の速さと方向）、人物の動作の加速度ベクトル（動作の加速度の大きさと方向）などの各種情報を抽出する人物動作検知ステップと、ゲーム実行部５２が、人物動作検知部５１による人物動作検知情報を用いてゲーム進行に必要な各種制御を行うゲーム実行ステップとを実行するようになっている。
【０２１０】
可読記録媒体としてのＲＯＭ５５としては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。このゲームプログラムおよびそのデータなどがＲＯＭ５５に記憶されるが、このゲームプログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ５５にダウンロードされてもよい。
【０２１１】
また同様に、本実施形態１〜５において、図示しない高速人物動作検知制御手段４のＣＰＵは、ＲＯＭ内に記憶された制御プログラムとしての人物動作検知プログラムおよびそのデータを装置起動時にＲＡＭ内に読み出して、その人物動作検知プログラムおよびそのデータに基づいて、タイミング制御部４１が、パワーＬＥＤドライバ２１およびＴＯＦ式距離画像センサ３１の各駆動タイミングをそれぞれ制御するタイミング制御ステップと、ホストインターフェイス部４２が、ホスト側の遊具装置１１などのシステムと交信するためのホストインターフェイスステップと、データフォーマット部４３が、ＴＯＦ式距離画像センサ３１からの距離情報（距離に応じた出力電圧情報）に基づく出力データストリームを所定のフォーマットに変換するデータフォーマットステップと、距離変位検出部４４が、投射光の投射空間の距離変位を検出する距離変位検出ステップと、距離平衡状態判定部４５が、距離変位の有無を判定する距離変位判定ステップと、フレーム差分演算部４６が、距離フレームと距離平衡フレームのフレーム差分を求めるフレーム差分演算手段としてのフレーム差分演算ステップとを実行し、受光手段３からの受光情報に基づいて対象物体Ａとしての人物の動作情報を検出する。
【０２１２】
このデータフォーマットステップは、ＲＯＭ内に記憶された制御プログラムとしての人物動作検知プログラムおよびそのデータを装置起動時にＲＡＭ内に読み出して、その人物動作検知プログラムおよびそのデータに基づいて、距離フレーム生成部４３１が、ＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、距離平衡フレーム生成部４３２が、少なくとも２つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレーム（背景画像フレーム）を生成する距離平衡フレーム生成ステップとを実行する。
【０２１３】
この場合も、前述したように、可読記録媒体としてのＲＯＭとしては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この人物動作検知プログラムおよびそのデータなどがＲＯＭに記憶されるが、この人物動作検知プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介して、そのＲＯＭにダウンロードされてもよい。
【０２１４】
なお、上記実施形態１〜５では、特に説明しなかったが、投射光を出射する発光手段２と、投射光の投射空間からの反射光を受光して、投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するＴＯＦ式距離画像センサ３１とを有する人物動作検出装置１であって、ＴＯＦ式距離画像センサ３１からの距離情報に基づいて人物の動作情報を検出する高速人物動作検知制御手段４を有している。この高速人物動作検知制御手段４は、ＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成部４３１と、少なくとも２つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレーム（背景画像フレーム）を生成する距離平衡フレーム生成部４３２と、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、フレーム差分から人物の動作情報として人物の距離変化量と変化方向を算出するするフレーム差分演算部４６とを有している。
【０２１５】
これによって、多数の空間領域を面状に演算処理する場合に、高いフレームレートでも演算量が膨大にならず、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出できる本発明の目的を達成することができる。
【０２１６】
以上のように、本発明の好ましい実施形態１〜５を用いて本発明を例示してきたが、本発明は、この実施形態１〜５に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜５の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０２１７】
本発明は、人物の動作を検出するための人物動作検出装置および人物動作検出方法、この人物動作検出装置を用いて人物の動作を検出して、ゲーム内容の各種制御を行う遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体の分野において、ＴＯＦ式距離画像センサからの距離情報（距離に応じた出力電圧情報）に基づいて、時系列に複数の距離フレームを生成する手段と、少なくとも１つの該距離フレームに基づいて、距離の変化のない距離フレームである距離平衡フレームを生成する手段と、各距離フレームについて距離平衡フレームとのフレーム差分を演算し、対象物体の距離の変化量と方向を算出する手段を有し、距離変位が生じた領域までの距離や方向の変化を人物の動作として検出するため、多数の空間領域を面状に演算処理する場合であっても、従来の反射光の強度を用いた距離画像センサや三角測量式距離画像センサのように演算量が膨大にならず、高フレームレートにおける人物の動作検出をリアルタイムに行うことができる。この人物動作検出により、人物動作に応じてゲーム内容の各種制御をリアルタイムで行うことができて、テレビゲームなどの遊具装置の操作性を大幅に向上させることができる。
【符号の説明】
【０２１８】
１、１Ａ、１Ｂ 人物動作検出装置
２ 発光手段
２１ パワーＬＥＤドライバ
２２ パワーＬＥＤモジュール
２２ａ パワーＬＥＤ
２３ 放射角調整レンズ
３ 受光手段
３１ ＴＯＦ式距離画像センサ
３１１ 画素アレイ部
３１２ タイミング生成部
３１３ 垂直スキャナ部
３１４ 水平スキャナ部
３１５ 画素ドライバ部
３１６ ノイズキャンセラ部
３１７ Ａ／Ｄコンバータ部
３２ 視野角調整レンズ
４、４Ａ、４Ｂ 高速人物動作検知制御手段
４１ タイミング制御部
４２ ホストインターフェイス部
４３ データフォーマット部
４３１ 距離フレーム生成部
４３２ 距離平衡フレーム生成部
４４ 距離変位検出部
４５ 距離平衡状態判定部
４６ フレーム差分演算部
４７、４７Ｂ 中心座標検出部
５、５Ａ〜５Ｅ アプリケーションプロセッサ
５１、５１Ａ〜５１Ｅ 人物動作検出部
５１１ 中心座標移動判定部
５１２ 身体部位判定部
５２ ゲーム実行部
５３ 操作部
５４ 表示部
５５ ＲＯＭ
５６ ＲＡＭ
５７ 無線送信部
８ 体感刺激発生装置
８１ 無線受信部
８２ 振動発生部
８３ 発光部
８４ 音声出力部
８５ 香り発生部
６ ゲーム内容の模式図
７ テレビジョン
１１、１１Ａ〜１１Ｅ 遊具装置
Ａ 対象物体
Ｔ 光の飛行時間
ｃ 光速
Ｃ１ 画素出力電極Ｖ１での容量
Ｃ２ 画素出力電極Ｖ２での容量
ＰＧ 電荷変換領域
ＴＸ１，ＴＸ２ 電荷転送ゲート
Ｖ１，Ｖ２ 画素出力電極
ΔＶ１，ΔＶ２ 画素出力電極での出力電圧
Ｔ０ パルス幅
Ｔｄ 反射光の遅れ時間
Ｉｐｈ 反射光による光電流
【技術分野】
【０００１】
本発明は、距離フレームから人物の動作を検出して目的とする人物情報を抽出する人物動作検出装置および人物動作検出方法、この人物動作検出装置を用いて人物の動作を検出して、ゲーム内容の各種制御を行うテレビゲーム機などの遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体に関する。
【背景技術】
【０００２】
従来、テレビゲーム機などの遊具装置では、テニスや野球などのスポーツを題材に、人間の動きを利用した体験型ゲームが多く開発されている。これらの体験型ゲームでは、コントローラを例えばテニスのラケットや野球のバットなどに見立て、テレビジョン画面上のアニメーションの動きに合わせて、ラケットやバットなどのコントローラを振ったり突き出したりして移動させる。このコントローラの動きの速さや方向の時間変化をコントローラに搭載した加速度センサや角速度センサにより検出して、テレビジョン画面上で、ゲーム内の登場人物が動作するテニスのラケットや野球のバットなどの動き、さらには各種イベントの発生などに反映させている。
【０００３】
従来の遊具装置がコントローラを使用していることを図２９を用いて説明する。
【０００４】
図２９は、従来の遊具装置の外観図である。
【０００５】
図２９において、従来の遊具装置１１１は、表示手段の一例の家庭用テレビジョン受像機１１３（以下、モニタという）と、このモニタ１１３に接続コードを介して接続する据置型のゲーム装置本体１１２と、このゲーム装置本体１１２と無線により接続するゲームコントローラ１１４とから構成されている。このゲームコントローラ１１４は加速度センサ１１５を内蔵しており、加速度センサ１１５は上述のようにコントローラの動きの速さや方向の時間変化を検出して、その検出値を無線によりゲーム装置本体１１２に送信している。
【０００６】
しかし、上記センサによって検出できるのは、人間が移動させるコントローラの動きだけであり、人間の身体全体の３次元空間内の位置や動きは検出することができない。このため、ゲーム操作が単純化され過ぎてしまい、ユーザが充分な操作感を得られなかったり、すぐにゲーム操作に習熟して飽きてしまったりするという課題がある。
【０００７】
例えばテニスゲームでは、ラケットとしてコントローラを持つ手首を動かすだけで強い打球が得られるため、全身を用いる実際のテニスの場合と操作感が乖離してしまっている。また、例えば野球ゲームで、バットとしてのコントローラの３次元空間での高低などの位置は検出されないため、バットスウィングの高低が区別できず、バットとボールが衝突するタイミングだけがモニタされている。
【０００８】
そこで、人間の３次元空間での位置や動作を検出してゲーム内容に反映することができれば、現実のスポーツに操作感が近くて臨場感の高いゲームを提供することができたり、ゲームを通じて現実のスポーツでの技術の向上が期待できたりする。
【０００９】
しかし、人間の３次元空間での位置や動作を検出するために、従来のＲＧＢカメラを用いて、対象物体である人物と背景とのＲＧＢ画像上の相違点を解析して対象物体を抽出するという手法（例えば、単一色の背景から色差を利用して対象となる人間を切り出す）をとる場合、特殊な撮像環境が必要であったり複雑な画像認識処理が必要であったりするため、広く普及するテレビゲーム機などの遊具装置に適用することは困難であった。
【００１０】
そこで、上記目的で、距離画像センサを適用することが期待されている。この距離画像センサを用いると、設定した距離範囲内の対象物体のみを検出することが可能であるため、特殊な背景や画像認識処理を用いることなく、人物の位置や動作の検出が可能である。
【００１１】
特に、スポーツなどの体験型ゲームでは対象となる人物の動作が速いため、ユーザの操作感や動作の検出精度を向上させるためには、距離画像センサのフレームレートを高くする必要がある。
【００１２】
ところが、フレームレートを高くすると、ＣＣＤイメージセンサやＣＭＯＳイメージセンサである固体撮像素子の信号蓄積時間が減少するためＳ／Ｎ比が低下する。しかしながら、信号成分とノイズ成分を区別するために、高度なフィルタリング処理などの複雑な信号処理を行うと、演算量が増加してしまいゲーム進行に合わせたリアルタイム処理が困難になってしまうか、または、リアルタイム処理を行うには高性能のハードウェアが必要になり、部品コストが増加してしまう。
【００１３】
このため、特に、高いフレームレートでテレビゲーム機などの遊具装置で人物動作の検出を行う際には、計算的に安価な計算手段に基づいてリアルタイムに処理を行うことが求められている。
【００１４】
距離フレームを利用したこの種の従来の情報抽出装置が特許文献１に開示されている。上記従来の情報抽出装置では、反射光の強度分布により対象物体までの距離を取得している。即ち、反射光の強度は対象物体までの距離の２乗に反比例して減少する性質があるため、反射光の強度分布によって、撮像範囲の対象物体の各構成部分の遠近関係を求めている。
【００１５】
図１７は、距離フレームを利用した特許文献１に開示されている従来の情報抽出装置の要部構成例を示すブロック図である。なお、図１７では、１つの撮像領域内の複数の箇所から対象物の形状、動きおよび位置などの情報を抽出（認識）して、その抽出した情報を、例えばモグラ叩きゲームなどの他のシステムへ入力している。
【００１６】
図１７に示すように、従来の情報抽出装置１００は、反射光を受光し、距離画像を取得する距離画像取得部１０１と、取得した距離画像を別途指定された領域に分割する領域分割処理部１０２と、この領域分割処理部１０２で分割された各領域毎に距離画像を解析し、対象物の輪郭、重心の抽出や対象物までの距離の算出、対象物の移動速度、移動ベクトルの算出などの認識対象に関する目的とする情報を抽出する画像処理部１０３と、例えば大型の液晶パネルやスピーカなどから構成される呈示部１０４と、各部の制御を司る情報管理部１０５とを有している。
【００１７】
画像処理部１０３で抽出された情報は、例えば情報管理部１０５を介して他のシステムに入力される。即ち、他のシステムとして、例えばモグラ叩きゲームなどは、情報管理部５を介して他のシステムに接続されている。この他のシステムは、例えばコンピュータに実行させることのできる制御プログラムを搭載したゲームシステムであってもよい。
【００１８】
図１７に示すような情報抽出装置１００が、例えば呈示部１０４の表示画面上の任意の表示領域からモグラを出現させ、ユーザがそのモグラの出現した表示領域めがけてひっぱたく動作（ユーザは表示画面に触れるほど叩く必要はない）を行って、命中したモグラの数を競うモグラ叩きゲームに接続されている場合、１つの距離画像取得部１０１は、ユーザが呈示部１０４の表示画面上のどのモグラめがけてひっぱたこうとしているかを認識できるように（表示画面全体に対する対象物としての手の位置が認識できるように）設置されている。
【００１９】
領域分割処理部１０２では、呈示部１０４の表示画面上のモグラの出現領域に対応して、距離画像取得部１０１で取得した距離画像の領域分割を行う。
【００２０】
ここで、距離画像取得部１０１および、距離画像取得部１０１にて取得される距離画像について簡単に説明する。
【００２１】
距離画像取得部１０１の外観が図１８に示されている。図１８に示すように、中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０１ａが配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１ｂが複数個（ここでは例えば８個）、等間隔に配置されている。
【００２２】
この発光部１０１ｂから照射された光が物体に反射され、受光部１０１ａのレンズにより集光されて、レンズの後部にあるエリアセンサで受光される。このエリアセンサは、例えば２５６×２５６のマトリックス状に配列された複数のセンサ群で、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図１９に示すような各分割領域毎の反射光の強度分布としての距離画像データである。
【００２３】
図２０は、図１７の距離画像取得部１０１の要部構成例を示したブロック図であり、主に、受光部１０１ａ、発光部１０１ｂ、反射光抽出部１０１ｃおよびタイミング信号生成部１０１ｄから構成されている。
【００２４】
発光部１０１ｂは、タイミング信号生成部１０１ｄにて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部１０１ｂの前方にある対象物体に照射される。
【００２５】
受光部１０１ａは、発光部１０１ｂが発した光の対象物体による反射光の量を検出する。
【００２６】
反射光抽出部１０１ｃは、受光部１０１ａにて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを距離画像と呼ぶ。
【００２７】
受光部１０１ａは、一般的に発光部１０１ｂから発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１ｂが発光しているときに受光した光の量と、発光部１０１ｂが発光していないときに受光した光の量の差をとることによって、発光部１０１ｂからの光の対象物体による反射光成分だけを取り出すことができる。
【００２８】
反射光抽出部１０１ｃでは、受光部１０１ａにて受光された反射光から、その強度分布、即ち、図１９に示すような距離画像データを抽出する。
【００２９】
図１９では、簡単のため、２５６×２５６画素の距離画像の一部である８×８画素の距離画像の場合について示している。
【００３０】
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、距離画像１画素当たりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００３１】
図１９において、行列中のセルの値（画素値）は、取得した反射光の強さを２５６階調（８ビット）で示したものである。例えば、「２５５」の値があるセルは、距離画像取得部１０１に最も接近した状態、「０」の値があるセルは、距離画像取得部１０１から遠くにあり、反射光が距離画像取得部１０１にまで到達しないことを示している。
【００３２】
距離画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質を持つため、距離画像取得部１０１の前方に手を差し出した場合の距離画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図２１に示したような３次元的なイメージを得ることができる。
【先行技術文献】
【特許文献】
【００３３】
【特許文献１】特開２００４−３３３５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【００３４】
しかし、上記特許文献１に開示されている従来の情報抽出装置１００で求まるのは、対象物体の各構成部分の距離の相対値だけであり、距離の絶対値を得ることはできない。距離の絶対値を得る必要がある場合は、距離と反射光強度の間に基準となる対応関係を求める較正手順が必要になったり、相対値から絶対値に変換する手順が必要になったりする。
【００３５】
また、特許文献１に開示されている従来の情報抽出装置１００では、反射光の強度の強弱により距離を求めるため、対象物体の表面全体が一様な光学的性質を有する物体にしか適用できない。一般に、対象物体は表面の材質、色彩、加工処理などにより、光学的な性質（例えば、反射、散乱、吸収および屈折）が異なる。人間を対象物体とするとき、人間は光学的性質の異なる複数の構成部分（例えば、頭髪、肌、上半身の衣服および下半身の衣服）からなるため、上記従来の情報抽出装置では、人間のように光学的性質が異なる複数の構成部分からなる対象の距離情報を取得する場合、各構成部分の光学的性質を考慮に入れて距離の補正処理を行う必要性が生じる。スポーツゲームなどの遊具装置に適用するとき、距離画像センサを高いフレームレートで駆動して多数の距離フレームの演算処理を行う必要性が生じている中で、一層、演算量が増加してしまい、リアルタイム処理が困難になってしまう。
【００３６】
さらに、上記従来の情報抽出装置では、対象物体の装置に対する向きも距離に影響する。その向きによらず、光を一様に反射・散乱する物体（例えば球体）でない場合、対象物体の装置に対する向き（例えば、正対している、斜めを向いている、真横を向いている）により、それぞれ反射光の強度が異なるため、距離情報も異なって取得されてしまう。つまり、対象物体の並進運動は検出できても、回転運動は正確に検出することができない。
【００３７】
本発明は、上記従来の問題を解決するもので、多数の空間領域を面状に演算処理する場合に、高いフレームレートでも演算量が膨大にならず、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出できる人物動作検出装置および人物動作検出方法、これらを用いたテレビゲーム機などの遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法の少なくともいずれかをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００３８】
本発明の人物動作検出装置は、投射光を出射する発光手段と、該投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するＴＯＦ（タイム・オブ・フライト）式距離画像センサとを有する人物動作検出装置であって、該ＴＯＦ式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御手段を有するものであり、そのことにより上記目的が達成される。
【００３９】
また、好ましくは、本発明の人物動作検出装置における人物動作検知制御手段は、該ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する。
【００４０】
さらに、好ましくは、本発明の人物動作検出装置における人物動作検知制御手段は、該ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、少なくとも２つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する。
【００４１】
さらに、好ましくは、本発明の人物動作検出装置において、前記人物との距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分から、該人物との距離の変化の有無を検出する距離変位検出手段を更に有する。
【００４２】
さらに、好ましくは、本発明の人物動作検出装置において、前記人物との距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定手段を更に有する。
【００４３】
さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記距離平衡状態判定手段が距離平衡状態にあると判断した場合に、少なくとも２つの距離フレームの時間平均を算出して距離平衡フレームを生成する。
【００４４】
さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記人物が撮像範囲内にいる場合において、遊具装置の指示により該人物を該撮像範囲の右側または左側に移動させて、該撮像範囲の左側または右側半分の該撮像範囲に人物がいない一方側半分の距離平衡フレームを生成し、該人物を該撮像範囲の左側または右側に移動させて、該撮像範囲の右側あるいは左側半分の撮像範囲に該人物がいない他方側半分の距離平衡フレームを生成して、それらの撮像範囲に該人物がいない距離平衡フレームを合成することにより距離平衡フレームを生成する。
【００４５】
さらに、好ましくは、本発明の人物動作検出装置において、前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により人物を検出するフレーム差分演算手段を有する。
【００４６】
さらに、好ましくは、本発明の人物動作検出装置において、前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から前記人物の中心座標を求める中心座標検出手段を有する。
【００４７】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、前記距離フレーム間の中心座標の移動量を求める。
【００４８】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する。
【００４９】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を前記中心座標として算出する。
【００５０】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出する。
【００５１】
さらに、好ましくは、本発明の人物動作検出装置における中心座標検出手段は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する。
【００５２】
さらに、好ましくは、本発明の人物動作検出装置における距離平衡フレーム生成手段は、前記距離平衡フレームの生成処理を、装置起動時、初期化時または所定時間毎に行う。
【００５３】
さらに、好ましくは、本発明の人物動作検出装置における発光手段は、前記投射光として近赤外のパルス光を一定周期で前記投射空間に投射する。
【００５４】
さらに、好ましくは、本発明の人物動作検出装置における受光部は、光電変換部が中央に設けられ、該光電変換部の中心に対する点対称位置に、互いに相反するゲート信号が入力される二つの電荷転送ゲートをそれぞれ介して２つの画素出力電極Ｖ１，Ｖ２が設けられ、該二つの画素出力電極Ｖ１，Ｖ２から、前記人物までの距離に相当した光の飛行時間に依存して分配された信号電荷をそれぞれ出力する。
【００５５】
さらに、好ましくは、本発明の人物動作検出装置における二つの画素出力電極Ｖ１，Ｖ２からの前記信号電荷はそれぞれ前記人物までの距離に応じた出力電圧情報に変換されて、前記ＴＯＦ式距離画像センサから前記距離情報としてそれぞれ出力される。
【００５６】
さらに、好ましくは、本発明の人物動作検出装置における人物までの距離Ｌが、既知の光速をｃとして該人物までの光の飛行時間Ｔを検出して、Ｌ＝（１／２）・ｃ・Ｔから求められている。
【００５７】
さらに、好ましくは、本発明の人物動作検出装置における距離情報は、前記受光部に対応した画素毎の立体的な複数点の距離情報である。
【００５８】
本発明の遊具装置は、本発明の上記人物動作検出装置と、該人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、ゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するアプリケーションプロセッサとを有するものであり、そのことにより上記目的が達成される。
【００５９】
また、好ましくは、本発明の遊具装置において、前記アプリケーションプロセッサは、前記人物の動作の詳細情報を取得するために、上記連続して取得されるフレーム差分情報を比較して、前記人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび動作の加速度ベクトルの各種情報を抽出する人物動作検知手段を有する。
【００６０】
さらに、好ましくは、本発明の遊具装置において、前記動作領域の位置情報は前記距離フレームの水平方向および垂直方向のＸＹ座標位置および遊具装置からの距離Ｌから立体的に求められ、前記人物の動作の速度ベクトルおよび加速度ベクトルは、該動作領域の平均移動距離、該動作領域の重心位置の移動距離および該人物の特定部位位置の移動距離のいずれかから求められる。
【００６１】
さらに、好ましくは、本発明の遊具装置において、前記人物が行う動作の時刻や空間領域に関して期待値を有しており、該期待値と合致する時刻や空間の距離情報を含む距離フレームに限定して前記人物動作検知手段による処理を行う。
【００６２】
さらに、好ましくは、本発明の遊具装置における人物の中心座標の移動量が、前記期待値から設定した閾値以上であった場合に該人物の「全身移動があった」と判定し、また、該人物の中心座標の移動量が該閾値未満であった場合に該人物の「全身移動がなかった」と判定する中心座標移動判定手段を有する。
【００６３】
さらに、好ましくは、本発明の遊具装置において、前記中心座標と前記距離フレームの差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段を有する。
【００６４】
さらに、好ましくは、本発明の遊具装置における身体部位判定手段は、前記距離フレーム間のフレーム差分により検出した距離変位が、前記中心座標より右上であれば右腕の動作、前記中心座標より左上であれば左腕の動作、前記中心座標より右下であれば右足の動作、前記中心座標より左下であれば左足の動作であると判定する。
【００６５】
さらに、好ましくは、本発明の遊具装置における身体部位判定手段は、その判定結果として身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと前記期待値とを比較して、該少なくともいずれかが該期待値と一致する場合は該身体部位に「期待動作があった」と判定し、また、該少なくともいずれかが該期待値と不一致の場合は該身体部位に「期待動作がなかった」と判定する。
【００６６】
さらに、好ましくは、本発明の遊具装置における期待値として、前記人物が何らかの行動を起こすことを期待されるタイミングを期待時刻とし、該人物が移動動作を行うことを期待される空間領域を期待存在空間とし、該人物が行うであろうと期待される動作の速さや方向が期待動作変化とする。
【００６７】
さらに、好ましくは、本発明の遊具装置におけるアプリケーションプロセッサは、前記人物の動作の時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値を有しており、該期待値と合致する人物動作を検知した場合に、無線または有線を介して、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を有する。
【００６８】
さらに、好ましくは、本発明の遊具装置において、従来の遊具装置に搭載されているゲームコントローラを使用することなく前記人物動作検出装置を用いて人物動作が検知され、当該人物動作の検知結果と前記期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させる。
【００６９】
本発明の人物動作検出方法は、発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報をＴＯＦ（タイム・オブ・フライト）式距離画像センサの複数の受光部からそれぞれ出力する人物動作検出方法であって、 該ＴＯＦ式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御ステップを有するものであり、そのことにより上記目的が達成される。
【００７０】
また、好ましくは、本発明の人物動作検出方法における人物動作検知制御ステップは、前記ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する。
【００７１】
さらに、好ましくは、本発明の人物動作検出方法における人物動作検知制御ステップは、 前記ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、少なくとも２つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する。
【００７２】
さらに、好ましくは、本発明の人物動作検出方法において、前記人物の距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分から、該人物の距離の変化の有無を検出する距離変位検出ステップを更に有する。
【００７３】
さらに、好ましくは、本発明の人物動作検出方法において、前記人物の距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定ステップを更に有する。
【００７４】
さらに、好ましくは、本発明の人物動作検出方法において、前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により前記人物を検出するフレーム差分演算ステップを有する。
【００７５】
さらに、好ましくは、本発明の人物動作検出方法における距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標を求める中心座標検出ステップを有する。
【００７６】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、前記距離フレーム間の中心座標の移動量を求める。
【００７７】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する。
【００７８】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を前記中心座標として算出する。
【００７９】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出することを特徴とする。
【００８０】
さらに、好ましくは、本発明の人物動作検出方法における中心座標検出ステップは、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する。
【００８１】
本発明のゲーム方法は、本発明の上記人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するゲーム実行ステップを有するものであり、そのことにより上記目的が達成される。
【００８２】
また、好ましくは、本発明のゲーム方法において、人物の動作詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を抽出する人物動作検知ステップを更に有し、前記人物の距離の変化量とその変化方向の情報と共に、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を用いて、前記ゲーム実行ステップとして、前記アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御する。
【００８３】
本発明の制御プログラムは、本発明の上記人物動作検出方法のステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。
【００８４】
本発明の制御プログラムは、本発明の上記ゲーム方法のステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。
【００８５】
本発明の可読記録媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。
【００８６】
上記構成により、以下、本発明の作用を説明する。
【００８７】
本発明においては、ＴＯＦ式距離画像センサからの距離情報に基づいて、時系列に複数の距離フレームを生成する距離フレーム生成手段と、少なくとも２つの距離フレームに基づいて距離の変化がないフレームである距離平衡フレームを生成する距離平衡フレーム生成手段と、各距離フレームについて距離平衡フレームとのフレーム差分を演算し、対象物体の人物との距離の変化量とその方向を算出する手段とを有して、人物として形状特定化された距離変位領域までの方向および距離を人物の動作情報として検出する。
【００８８】
これによって、多数の空間領域を面状に演算処理する場合であっても、従来の反射光の強度分布を用いた距離画像センサや三角測量式距離画像センサのように計算量が膨大にならず、フレームレートが高い場合であっても人物の動作検出をリアルタイムに行うことが可能となる。
【００８９】
したがって、この高速な人物動作の検出により、人物動作に応じてゲーム内容の制御をリアルタイムに行うことが可能となって、遊具装置において操作性の向上や動きの検出精度の向上が大いに図られる。
【発明の効果】
【００９０】
以上により、本発明によれば、ＴＯＦ式距離画像センサからの距離情報（距離に応じた出力電圧情報）に基づいて、投射光の投射空間の物体までの距離変位を検出する距離変位検出手段と、距離変位の有無を判定する距離平衡状態判定手段とを有し、距離フレームと距離平衡フレームのフレーム差分による距離変位を人物動作として検出するため、多数の空間領域を面状に演算処理する場合であっても、従来の距離画像センサのように演算量が膨大にならず、人物の動作の検出を計算的に安価に行うことができる。よって、要求されるフレームレートが高い用途であっても、人物の動作をリアルタイムに抽出し、ゲーム内容や進行状況に反映することができる。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施形態１に係る人物動作検出装置の要部構成例を示すブロック図である。
【図２】図１の人物動作検出装置で用いるＴＯＦ式距離計測原理を模式的に示す説明図である。
【図３】図１の画素アレイ部における１画素単位の受光部の平面構造図である。
【図４】図２のＴＯＦ式距離計測原理を説明するための各要部での信号波形のタイミング図である。
【図５】本発明の実施形態２に係る遊具装置の要部構成例を示すブロック図である。
【図６】本実施形態２を実施するための最良の形態における期待時刻と期待存在空間を模式的に示す図である。
【図７】本実施形態２を実施するための最良の形態における期待時刻と期待存在空間と期待動作変化を模式的に示す図である。
【図８】図５の人物動作検出装置の簡易な動作例を示すフローチャートである。
【図９】図５の人物動作検出装置の高精度な動作例を示すフローチャートである。
【図１０】図５の距離平衡フレーム生成部で取得した距離情報の具体例を示した画像図である。
【図１１】ある時刻において、図５の距離フレーム生成部で取得した距離情報の具体例を示した画像図である。
【図１２】図１０とは異なる時刻において、図５の距離フレーム生成部で取得した距離情報の具体例を示した画像図である。
【図１３】図１０の距離フレームと図１１の距離平衡フレームとのフレーム差分画像（ＲＦｓｕｂＢＲＦ）の具体例を示した画像図である。
【図１４】図１０の距離フレームと図１１の距離平衡フレームのフレーム差分画像（ＲＦｓｕｂＢＲＦ）の具体例を示した画像図である。
【図１５】図１２のＢＲＦ距離差分フレーム（ＲＦｓｕｂＢＲＦ）と図１１のＢＲＦ距離差分フレーム（ＲＦｓｕｂＢＲＦ）のフレーム差分画像の具体例を示した画像図である。
【図１６】図５のアプリケーションプロセッサの要部ハード構成例を示すブロック図である。
【図１７】距離フレームを利用した特許文献１に開示されている従来の情報抽出装置の要部構成例を示すブロック図である。
【図１８】図１７の従来の情報抽出装置における距離画像取得部の外観を模式的に示す図である。
【図１９】図１７の従来の情報抽出装置における分割領域毎の反射光の強度分布を示す距離画像のデータ図である。
【図２０】図１７の従来の情報抽出装置における距離画像取得部の要部構成例を示したブロック図である。
【図２１】図１７の従来の情報抽出装置における距離画像取得部の前方に手を差し出した場合の距離画像を示す図である。
【図２２】本発明の実施形態３に係る遊具装置の要部構成例を示すブロック図である。
【図２３】図２２の人物動作検出装置の動作例を示すフローチャートである。
【図２４】本発明の実施形態４に係る遊具装置の要部構成例を示すブロック図である。
【図２５】図２４の人物動作検出装置の動作例を示すフローチャートである。
【図２６】本発明の実施形態５に係る遊具装置の要部構成例を示すブロック図である。
【図２７】本発明の実施形態５に係る遊具装置の変形例を示すブロック図である。
【図２８】本発明の実施形態５に係る遊具装置の別の変形例を示すブロック図である。
【図２９】従来の遊具装置の外観図である。
【発明を実施するための形態】
【００９２】
以下に、本発明の人物動作検出装置の実施形態１について説明した後に、本発明の人物動作検出装置の実施形態１を、対象物体としての人物の動作内容に応じてゲームの内容や進行を制御する遊具装置に用いた場合を実施形態２とし、人物動作の検出における人物の身体全体の移動の判定方法を実施形態３とし、人物動作の検出において、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法を実施形態４とし、さらに、体感刺激発生装置を有する遊具装置について実施形態５として、図面を参照しながら詳細に説明する。
【００９３】
（実施形態１）
図１は、本発明の実施形態１に係る人物動作検出装置の要部構成例を示すブロック図である。
【００９４】
図１において、本実施形態１の人物動作検出装置１は、図２に示すように、距離計測の対象物体Ａに対して投射光を出射するための光源としての発光手段２と、その投射光の距離計測の対象物体Ａからの反射光を受光する受光手段３と、受光手段３からの受光情報に基づいて対象物体Ａとしての人物の動作を検出する人物動作検知制御手段４とを有しており、受光手段３からの受光情報に基づいて対象物体Ａまでの光の飛行時間（遅れ時間）Ｔを検出して既知の光速ｃからの演算で対象物体Ａまでの距離Ｌを求めるＴＯＦ（タイム・オブ・フライト）技術を用いて、画素毎の複数点の距離情報を用いて立体的に高精度に人物の位置や動作を検出する。
【００９５】
発光手段２は、人物動作検知制御手段４により投射光の発光タイミングが制御されるパワーＬＥＤドライバ２１と、パワーＬＥＤドライバ２１により駆動されて複数のパワーＬＥＤ２２ａから投射光を発光するパワーＬＥＤモジュール２２と、少なくとも１つ以上のパワーＬＥＤ２２ａが設けられたパワーＬＥＤモジュール２２の前方位置に配置されて対象物体Ａに対する投射光の放射角を調整可能とする放射角調整レンズ２３とを有している。
【００９６】
この場合の投射光は、投射光として近赤外のパルス光を一定周期で投射空間に投射するようにしてもよい。
【００９７】
受光手段３は、対象物体Ａからの反射光を受光して対象物体Ａまでの距離Ｌに応じた撮像信号を複数の画素でそれぞれ検出するＴＯＦ式距離画像センサ３１と、ＴＯＦ式距離画像センサ３１の前方位置に配置されて、対象物体Ａからの反射光が入射される視野角を調整可能とする視野角調整レンズ３２とを有している。
【００９８】
ＴＯＦ式距離画像センサ３１は、複数の受光部である画素アレイ部３１１と、各画素（受光部）からの信号読出用のタイミング信号を生成するタイミング生成部３１２と、各画素（受光部）を垂直方向に走査する垂直スキャナ部３１３および、各画素（受光部）を水平方向に走査する水平スキャナ部３１４と、このタイミング信号を用いて垂直スキャナ部３１３および水平スキャナ部３１４を制御して各画素（受光部）からの信号読み出しを駆動する画素ドライバ部３１５と、画素ドライバ部３１５により画素アレイ部３１１から読み出された画像信号に対してノイズキャンセル処理を行うノイズキャンセラ部３１６と、ノイズキャンセラ部３１５からの出力信号をＡ／Ｄ変換して信号出力するＡ／Ｄコンバータ３１７とを有している。
【００９９】
画素アレイ部３１１は、対象物体Ａからの反射光を受光してそれぞれ光電変換して信号電荷をそれぞれ生成する複数の受光部（例えば約８万画素）が行列方向のマトリクス状で面状に配列されているが、ここでは、本発明の特徴構成を持った１画素単位の受光部を図３の平面構造図に示している。
【０１００】
図３に示すように、その１画素単位の受光部は、対象物体Ａからの反射光を受光する受光部が中央部に光電変換領域（電荷変換領域ＰＧ）として設けられており、この電荷変換領域ＰＧの左右位置に電荷転送ゲートＴＸ１，ＴＸ２をそれぞれ介して出力電極Ｖ１，Ｖ２がそれぞれ設けられ、各出力電極Ｖ１，Ｖ２から読み出される各信号電荷を、タイミング的に電荷転送ゲートＴＸ１，ＴＸ２への相反のゲート信号によって振り分けられている。要するに、対象物体Ａまでの距離Ｌに相当した光の飛行時間（反射光の遅れ時間Ｔｄ）に依存して分配された信号電荷をそれぞれ二つの画素出力電極Ｖ１，Ｖ２から出力し、その信号電荷はそれぞれ距離Ｌに応じた出力電圧情報に変換されて、ＴＯＦ式距離画像センサ３１から距離情報としてそれぞれ出力される。即ち、図４に示すように、投射光のパルス幅Ｔ０が、反射光の遅れ時間Ｔｄのタイミングによって、二つの画素出力電極Ｖ１，Ｖ２から距離Ｌに応じた出力電圧ΔＶ１、ΔＶ２として振り分けられて出力される。なお、ＣＤは電荷変換領域ＰＧの上下位置に設けられた背景光信号排出ゲートである。
【０１０１】
ここで、図２に示すＴＯＦ（タイム・オブ・フライト）技術を用いて対象物体Ａまでの距離Ｌを複数点で立体的に求める原理について簡単に説明する。
【０１０２】
まず、電流をＩとすると、電荷Ｑは時間ΔＴの時間積分として求められ、Ｑ＝Ｉ・ΔＴで与えられる。また、電極に電圧ΔＶを印加して蓄積できる電荷Ｑは、誘電体の容量をＣとすると、Ｑ＝Ｃ・ΔＶで与えられる。これらの２つの式により、出力端子電圧Ｖは、ΔＶ＝（１／Ｃ）・Ｉ・ΔＴで与えられる。上記出力端子電圧Ｖを用いて、図４に示されるパルス投射光および信号電荷転送ゲートのタイミング図に基づいて、出力端子電圧ΔＶ１，ΔＶ２を以下に導出する。図４に示されるように、パルス投射光の点灯時間幅をＴ０、反射光の光電変換にて流れる光電流をＩｐｈ、光速をｃ、出力端子容量をＣ１，Ｃ２とすると、出力端子電圧Ｖ１，Ｖ２はそれぞれ、次の式１（数１）により求めることができる。
【０１０３】
【数１】
また、図３に示されるように、２つの出力端子の構造は同一のため、端子容量Ｃ１とＣ２は等しくなる。即ち、Ｃ１＝Ｃ２である。この条件を、上記式１（数１）に代入して距離Ｌを求めると、次の式２（数２）を求めることができる。
【０１０４】
【数２】
上記ＴＯＦ技術に基づくＴＯＦ式距離画像センサ３１を用いた人物動作検出装置１は、従来の対象物体からの反射光の強度分布を用いて距離情報を取得する距離画像センサを用いた人物動作検出装置の場合と比較して、以下の点で大幅に優れている。
【０１０５】
第１に、空間上の複数点での距離Ｌを各画素の距離の相対的な遠近ではなく、距離の絶対値で計ることができる。距離Ｌが絶対値で求まるため、Ａ／Ｄ変換後の信号処理（例えば、距離変位の有無を判定する閾値の設定）が容易である。よって、追加の演算処理が不要であり、テレビゲームなどの高いフレームレートが要求される用途でのリアルタイム処理に適している。
【０１０６】
一方、反射光の強度分布から距離を取得する従来の距離画像センサでは、距離Ｌが相対値でしか求まらないため、距離Ｌを相対値から絶対値に変換する演算が必要になり、演算量が増加してしまう。よって、テレビゲームなどの遊具装置での高いフレームレートでのリアルタイム処理に適さないことになる。
【０１０７】
第２に、対象物体Ａの表面の光学的性質の影響を受けにくいため、距離情報を取得できる対象物体Ａの適用範囲が広い。上記式２によれば、距離Ｌは出力端子電圧ΔＶ１，ΔＶ２の比で求まるため、対象物体Ａの表面の光学的性質の影響を受けにくい。即ち、対象物体Ａの表面の光学的性質が対象物体Ａの構成部分により異なる場合（例えば対象物体Ａの表面の一部分は反射率が高く、その他の部分は反射率が低い）、ΔＶ１，ΔＶ２の絶対値は上記構成部分により増減するが、ΔＶ１，ΔＶ２の比は一定であるため、距離Ｌは対象物体Ａの表面の光学的性質の影響を受けにくい。これによって、追加の演算処理が不要であり、テレビゲームなどの遊具装置での高いフレームレートでのリアルタイム処理に適することになる。
【０１０８】
一方、反射光の強度分布から距離Ｌを取得する従来の距離画像センサでは、反射光の強度分布は対象物体Ａの表面の光学的性質の影響を大きく受けるため、光学的性質が均一である対象物体にしか適用できない。このため、人物の全身動作を取得しようとする場合、光学的性質が均一の構成部位毎（例えば、手のみ、上半身の衣服のみ、下半身の衣服のみ）に変化量を見る演算処理や、構成部位毎の光学的性質を考慮に入れて距離を補正する演算処理が必要になる。これによって、追加の演算量が膨大になり、テレビゲームなどの高いフレームレートでのリアルタイム処理に適さないことになる。
【０１０９】
図１の説明に戻って、本実施形態１の特徴構成である高速人物動作検知制御手段４は、人物動作検出装置１全体を制御するために必要な各種制御部から構成されており、パワーＬＥＤドライバ２１およびＴＯＦ式距離画像センサ３１の各駆動タイミングをそれぞれ制御するタイミング制御手段としてのタイミング制御部４１と、ホスト側の遊具装置１１などのシステムと交信するためのホストインターフェイス手段としてのホストインターフェイス部４２と、ＴＯＦ式距離画像センサ３１からの距離情報（距離に応じた出力電圧情報）に基づく出力データストリームを所定のフォーマットに変換するためのデータフォーマット手段としてのデータフォーマット部４３と、投射光の投射空間の距離変位を検出する距離変位検出手段としての距離変位検出部４４と、距離変位の有無を判定する距離変位判定手段としての距離平衡状態判定部４５と、距離フレームと距離平衡フレームのフレーム差分を求めるフレーム差分演算手段としてのフレーム差分演算部４６とを有し、受光手段３からの受光情報に基づいて対象物体Ａとしての人物の動作を検出する。
タイミング制御部４１は、少なくとも１個以上のパワーＬＥＤモジュール２２を、パワーＬＥＤドライバ２１を介して発光させるタイミングを制御すると共に、図４に示すように時間経過に伴って信号を振り分けるために、画素アレイ部３１１の各受光部の転送ゲートＴＸ１，ＴＸ２の開閉タイミングをそれぞれ相反に制御する。
ホストインターフェイス部４２は、図５で後述する制御対象の遊具装置１１などのシステムのアプリケーションプロセッサ５と交信して必要な情報をやり取りするためのインターフェイスであって、例えば人物の動作を検出したときに、人物の動作情報を３次元空間座標でアプリケーションプロセッサ５に情報通信するためのインターフェイスである。
【０１１０】
データフォーマット部４３は、画素アレイ部３１１が複数の受光部として例えば８万画素からなっており、ＴＯＦ式距離画像センサ３１からのセンサ出力が、処理の高速化のために２画素単位の並列出力であり、１画素当りの出力情報が２つの端子の出力電圧のΔＶ１，ΔＶ２の形式で出力されるため、後段の信号処理として、演算処理が容易となるようにデータ形式の変換が為されている。
【０１１１】
また、データフォーマット部４３は、所定のフォーマットで距離フレーム（ＲａｎｇｅＦｒａｍｅ；ＲＦ）を生成する距離フレーム生成部４３１と、所定のフォーマットで距離平衡フレーム（背景画像フレーム）を生成する距離平衡フレーム生成部４３２とを有している。
【０１１２】
距離フレーム生成部４３１は、上記［式１］のＴＯＦ式距離画像センサ３１の出力電圧情報を基に、上記［式２］より距離Ｌを演算して距離フレームを生成する。
【０１１３】
距離平衡フレーム生成部４３２は、少なくとも２つの距離フレームを基に、人物動作検出の際にフレーム差分演算の基準（背景画像フレーム）となる距離平衡フレームを生成する。この距離平衡フレーム生成部４３２について、以下に更に詳細に説明する。
【０１１４】
距離変位検出部４４は、ＴＯＦ式距離画像センサ３１からの距離情報（距離に応じた出力電圧情報で、上記式１の情報）に基づいて投射光の投射空間の距離Ｌを上記［式２］によりリアルタイムに計測し、計測した距離Ｌ（距離フレーム）に基づいて、フレーム差分演算部４６による距離フレーム間でのフレーム差分演算処理（ＲＦｓｕｂＲＦ）により投射空間の距離の変化量を算出して所定の閾値と比較することにより距離変位の有無を検出することができる。
【０１１５】
即ち、距離変位検出部４４は、人物が動作を行ったか行っていないかを求めるのに、距離フレーム間で距離の変化があるかどうかを求める。例えば１秒間に１２０フレーム分の距離情報が距離画像センサ３１から距離変位検出部４４に入ってくるが、距離変位検出部４４において、距離Ｌの時間に対する変化量をフレーム差分演算部４６によるフレーム差分（ＲＦｓｕｂＲＦ）から求める。なお、少なくとも２つの距離フレームの間のフレーム差分の算出はここではフレーム差分演算部４６によって行っているが、距離変位検出部４４が少なくとも２つの距離フレームの間のフレーム差分を算出してもよい。
【０１１６】
各距離フレームは、ＴＯＦ式距離画像センサ３１の出力電圧情報の時間的な揺らぎ（ランダムノイズ）に由来する距離の時間的な揺らぎを持っているため、人物が全く動作せず距離Ｌの変化がなくても、上記フレーム差分（ＲＦｓｕｂＲＦ）が全画素で「０」にはならない。そこで、人物の動作があったかなかったかを確定するために、距離Ｌの変化に対する閾値（フレーム差分閾値）を設定する。上記距離Ｌの変化に対する閾値は、ＴＯＦ距離画像センサ３１の距離分解能性能を考慮して、代表的な距離Ｌ毎に、ＴＯＦ距離画像センサ３１の距離分解能以上で、複数個、テーブル形式で用意しておく。
【０１１７】
上記フレーム差分（ＲＦｓｕｂＲＦ）が設定閾値未満となった場合、距離変位検出部４４は投射光の投射空間における距離の変化がない（対象物体Ａは動いていない）と判定する。一方、上記フレーム差分（ＲＦｓｕｂＲＦ）が設定閾値以上となった場合、距離変位検出部４４は投射光の投射空間における距離の変化があった（対象物体Ａが動いている）と判定する。
【０１１８】
距離平衡状態判定部４５は、投射光の投射空間が距離平衡状態にあるかどうかを判定する。距離平衡状態判定部４５は、上記距離変位検出部４４が距離Ｌの時間変化がないと判定した期間が所定の時間以上続くかまたは、所定のフレーム数以上続けば、投射光の投射空間は距離平衡状態にあると判定する。なお、少なくとも２つの距離フレームの間のフレーム差分の算出はここではフレーム差分演算部４６によって行っているが、距離平衡状態判定部４５が少なくとも２つの距離フレームの間のフレーム差分を算出してもよい。
【０１１９】
フレーム差分演算部４６は、連続して取得される距離フレーム間でフレーム差分演算（ＲＦｓｕｂＲＦ）を行ったり、距離フレームと距離平衡フレームの間でフレーム差分演算（ＲＦｓｕｂＢＲＦ）を行ったりする。
【０１２０】
このように、フレーム差分演算部４６は、複数の距離フレームについてそれぞれ距離平衡フレーム（背景画像）とのフレーム差分を演算し、そのフレーム差分から、例えば変化した水平方向および垂直方向（ＸＹ座標）の面積が最も広い領域や、距離Ｌの変化量が最も大きい領域などを、人物の動作情報として距離の変化量と変化方向を算出するようにしている。
【０１２１】
距離平衡フレーム生成部４３２は、連続して取得される距離フレームの中から、上記距離変位検出部４４が距離の変化がないと判定した少なくとも１つの連続した距離フレームを記憶する。距離平衡状態判定手段４５が、投射光の投射空間が距離平衡状態にあると判定したら、距離平衡フレーム生成部４３２は、記憶しておいた少なくとも２つの距離フレームの時間平均を算出し、距離平衡フレーム（ＢａｌａｎｃｅｄＲａｎｇｅ Ｆｒａｍｅ；ＢＲＦ）を生成する。この時間平均をとることにより、距離平衡フレームが含む時間的なランダムノイズが減少し、距離フレームと距離平衡フレームのフレーム差分をとって人物動作を検出する際の誤検出を減少させることができる。
【０１２２】
上記距離平衡フレーム生成処理は、所定の時刻毎（例えば毎秒１回）など頻繁に行う必要はなく、例えば高速人物動作検出装置１の起動時やアプリケーションプロセッサ５によるゲームプログラムの初期化時などに行えばよい。よって、上記距離平衡フレーム生成処理の演算量は多いが頻度が少ないため、高いフレームレートでの駆動時におけるリアルタイム処理を阻害することはない。
【０１２３】
（実施形態２）
上記実施形態１では、対象物体Ａまでの距離Ｌを複数点で立体的に求める本発明の人物動作検出装置１について説明したが、本実施形態２では、上記高速人物動作検出装置１を、対象物体Ａとしての人物の動作内容に応じてゲーム内容や進行を制御する遊具装置に適用した場合について詳細に説明する。
【０１２４】
図５は、本発明の実施形態２に係る遊具装置の要部構成例を示すブロック図である。なお、図１の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。
【０１２５】
図５において、本実施形態２の遊具装置１１は、上記実施形態１の人物動作検出装置１と、ゲームプログラムの実行や人物動作検出装置１との距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ５とを有している。
【０１２６】
人物動作検出装置１は、ＴＯＦ式距離画像センサ３１を有することで、後段の信号処理での演算量を大幅に減らすことができるため、特に、テレビゲームなどの高いフレームレートが要求される遊具装置１１におけるリアルタイム処理に適している。
【０１２７】
アプリケーションプロセッサ５は、この人物の動作情報の３次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。
【０１２８】
アプリケーションプロセッサ５の人物動作検出部５１は、検出しようとする人物の動作の詳細な情報を取得するために、上記連続して取得されるフレーム差分（ＲＦｓｕｂＲＦやＲＦｓｕｂＢＲＦ）を比較して、人物の動作領域の位置（距離と方向）、人物の動作の速度ベクトル（動作の速さと方向）、人物の動作の加速度ベクトル（動作の加速度の大きさと方向）などの各種情報を抽出する。動作領域の位置は距離フレームの水平・垂直方向（ＸＹ座標）の位置および距離Ｌ（ＸＹ平面に直交する人物動作検出装置１からの距離Ｌ）から立体座標（ＸＹＺ座標）として求める。人物の動作の速度ベクトルや加速度ベクトルは動作領域の平均移動距離から求めてもよく、動作領域の重心位置の移動距離から求めてもよく、特定位置（例えば人物の頭部や腕や手）について求めてもよい。
【０１２９】
ここで、人物動作検出装置１と人物動作検出部５１の間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ５が必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部４２を介して情報のやり取りを行ってもよい。即ち、アプリケーションプロセッサ５のゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Ａである人物が動作を行うことを期待する時刻（以下、期待時刻）や、人物が存在することを期待する空間（以下、期待存在空間）、および人物が動作することを期待する空間（以下、期待動作変化）の情報を持っている。
【０１３０】
図６は、本実施形態２を実施するための最良の形態における期待時刻と期待存在空間を模式的に示す図であり、図７は、本実施形態２を実施するための最良の形態における期待時刻と期待存在空間と期待動作変化を模式的に示す図である。
【０１３１】
図６および図７において、テニスゲームを例にして期待時刻、期待存在空間および期待動作変化について詳細に説明する。対象物体Ａである人物が何らかの行動を起こすことを期待されるタイミングが期待時刻である。例えば図６の時刻ｔ０では、ゲーム内でテニスが開始されていないので対象物体Ａである人物は移動や動作を期待されていない。次の時刻ｔ１では、ゲーム内の対戦相手が返球する順番で、対象物体Ａである人物は移動の構えをとっているだけであり、ここではまだ、対象物体Ａである人物や対戦相手が移動や動作を期待されていない。更に次の時刻ｔ２において、ゲーム内のプレイヤが返球する順番であり、対象物体Ａである人物はボールに届く位置まで移動を開始することが期待されている。
【０１３２】
対象物体Ａである人物が移動するなどの動作を行うことを期待される空間領域が期待存在空間である。例えば図６の時刻ｔ２において、ゲーム内のプレイヤが返球するためにテニスコートの右に移動しなければならないとき、対象物体Ａである人物は期待存在空間Ｐ２まで右に移動することが期待されている。さらに、対象物体Ａである人物が行うであろうと期待される動作の速さや方向が期待動作変化である。
【０１３３】
図７の時刻ｔ３において、対象物体Ａである人物は期待存在空間Ｐ３まで右に移動し、図７の時刻ｔ４において、ゲーム内のプレイヤの近くにボールが来たら、対象物体Ａである人物は期待存在空間Ｐ４において手に持ったラケットで返球動作（期待動作変化Ｖ４）を行うことが期待されている。
【０１３４】
アプリケーションプロセッサ５では、ゲームプログラムの進行に合わせて期待時刻ｔでの期待存在空間Ｐにおける期待動作変化Ｖのみが意味を持つため、それ以外のモニタ量は不要と見なせる。よって、人物動作検出部５１は上記各期待値と合致する距離情報についてのみ、人物動作を検出するための演算処理を行えばよい。
【０１３５】
人物動作検出部５１は、不要な信号処理を実施しないことにより演算量を減らすことができるため、人物動作検出装置１を高いフレームレートで駆動してもリアルタイム処理を行うことが可能になる。また、対象物体Ａである人物のゲーム進行と無関係の動作や、複数人が撮像領域内にいるときに対象物体Ａである人物以外の動作を誤検出する可能性が低くなる。
【０１３６】
ここで、まず、図８に示すフローチャートを参照して、図５の人物動作検出装置１の簡易で特に高速な人物動作検知処理について説明する。
【０１３７】
図８に示すように、まず、ステップＳ１において、電源の投入または遊具装置１１のゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段４は、発光手段２や受光手段３を用いて、例えば１秒間に１２０枚程度のフレームレートで距離フレームを取得する。
【０１３８】
次に、ステップＳ２でフレーム差分を演算する。即ち、高速人物動作検知制御手段４のフレーム差分演算部４６は、距離フレーム間でフレーム演算を行う。出力端子電圧ΔＶ１，ΔＶ２の大きさが、対象物体Ａとなる人物が存在する領域と存在しない領域（背景）とで比較すると１桁から２桁違うため、人物の存在や動作を検出することが可能である。
【０１３９】
その後、演算結果の情報は、ホストインターフェイス部４２を介してアプリケーションプロセッサ５に渡される。アプリケーションプロセッサ５の人物動作検知部５１では、ステップＳ３で、距離変位がアプリケーションプロセッサ５の有する期待値と一致するかどうかを判定し、それが一致する場合は、ステップＳ４で「人物動作があった」と判定し、それが不一致の場合は、ステップＳ５で「人物動作がなかった」と判定する。
【０１４０】
以上の簡易で高速な人物動作検知制御ステップは、距離フレーム生成部４３１がＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、フレーム差分演算部４６が複数の距離フレームについてそれぞれのフレーム差分を演算し、その演算したフレーム差分から人物の動作情報として人物の距離の変化量とその変化方向を算出するフレーム差分演算ステップとを有している。
【０１４１】
次に、図９に示すフローチャートを参照して、図１の高速人物動作検出装置１の高精度な人物動作検知処理について説明する。
【０１４２】
図９に示すように、まず、ステップＳ１１において、電源の投入または遊具装置１１のゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段４は、発光手段２や受光手段３を用いて、例えば１秒間に１２０枚程度のフレームレートで距離フレームを取得する。
【０１４３】
次に、ステップＳ１２で、高速人物動作検知制御手段４が、所定のタイミングで、距離フレーム毎のフレーム差分を求める動作を開始する。
【０１４４】
ステップＳ１３で、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるかどうかが判定される。上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるとき、ステップＳ１４で、距離変位検出部４４は「距離変位がない」と判定する。また、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値以上であるとき、ステップＳ１５で、距離変位検出部４４は「距離変位有り」と判定し、その後、ステップＳ１１の距離フレーム取得処理に戻る。
【０１４５】
さらに、ステップＳ１４で、距離変位検出部４４により「距離変位がない」と判定された状態が、所定の時間以上または所定のフレーム枚数以上継続した場合、距離平衡状態判定部４５は投射光の投射空間が距離平衡状態にあると判定する。
【０１４６】
その後、ステップＳ１６で、距離平衡状態判定部４５は投射光の投射空間が距離平衡状態にあると判定すると、距離平衡フレーム生成部４３２は、少なくとも１つの距離フレームの時間平均をとり、距離平衡フレームを生成する。
【０１４７】
続いて、距離平衡フレームの具体例を示した画像を図１０に示している。図１０では対象物体Ａである人物がおらず、背景のみから距離平衡フレームを生成しているが、人物が撮像範囲にいても、例えば遊具装置１１のゲームプログラムからの指示により人物を右側に移動させて左側半分の距離フレームを生成し、続いて人物を左側に移動させて右側半分の距離フレームを生成し、最後にそれらを合成することにより距離平衡フレームを生成することができる。または、人物が静止している状態であれば、静止した人物を含めて距離平衡フレームを生成しても、フレーム差分演算（ＲＦｓｕｂＢＲＦ）により距離の変位を検出することができる。
【０１４８】
以上の高精度な人物動作検知制御ステップは、距離フレーム生成部４３１がＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、距離平衡フレーム生成部４３２が、少なくとも２つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、フレーム差分演算部４６が複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、その演算したフレーム差分から人物の動作情報として人物の距離の変化量とその変化方向を算出するフレーム差分演算ステップとを有している。
【０１４９】
図１１および図１２に、ある時刻とその後の時刻において図５の距離フレーム生成部４３１で取得した距離情報の具体例を示した画像をそれぞれ示している。
【０１５０】
ステップＳ１７において、フレーム差分演算部４６が、距離フレームと距離平衡フレームの間のフレーム差分演算を行う。図１０と図１１のフレーム差分（ＲＦｓｕｂＢＲＦ）および図１０と図１２のフレーム差分（ＲＦｓｕｂＢＲＦ）をそれぞれ図１３と図１４に示している。距離変位がない領域はフレーム差分演算により相殺され距離変位がある領域のみが残る。
【０１５１】
図１５に、図１３と図１４のフレーム差分を示している。それぞれ図１１と図１２に示す距離フレームを取得する間に対象物体Ａである人物がどれだけ移動したかが検出されることになる。
【０１５２】
その後、演算結果の情報は、ホストインターフェイス部４２を介してアプリケーションプロセッサ５に渡される。人物動作検知部５１では、ステップＳ１８で、距離変位がアプリケーションプロセッサ５の有する期待値と一致するかどうかを判定し、それが一致する場合は、ステップＳ１９で「人物動作があった」と判定し、それが不一致の場合は、ステップＳ２０で「人物動作がなかった」と判定する。
【０１５３】
（実施形態３）
上記実施形態１では、対象物体Ａまでの距離Ｌを複数点で立体的に求める本発明の人物動作検出装置１について説明し、上記実施形態２では、上記高速人物動作検出装置１を、対象物体Ａとしての人物の動作内容に応じてゲーム内容や進行を制御する遊具装置に適用した場合について説明し、本実施形態３では、上記実施形態２の図９のステップＳ１７のフレーム差分演算（ＲＦｓｕｂＲＦ）以降のステップを追加することにより、対象物体Ａである人物の身体全体が移動したかどうかを判定する方法について詳細に説明する。
【０１５４】
図２２は、本発明の実施形態３に係る遊具装置の要部構成例を示すブロック図である。なお、図１および図５の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。
【０１５５】
図２２において、本実施形態３の遊具装置１１Ａは、対象物体Ａまでの距離Ｌを複数点で立体的に求める人物動作検出装置１Ａと、ゲームプログラムの実行や人物動作検出装置１Ａとの距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ５Ａとを有している。
【０１５６】
人物動作検出装置１Ａは、上記実施形態１、２の人物動作検出装置１の構成に中心座標検出部４７をさらに有している。
【０１５７】
距離平衡フレーム生成手段よしての距離平衡フレーム生成部４３２が距離平衡フレーム（ＢＲＦ）を生成し、フレーム差分演算手段としてのフレーム差分演算部４６がＮ番目の距離フレームと距離平衡フレームとの差分（ＲＦｓｕｂＢＲＦ）を演算する。これによって、距離変化のない背景情報から、対象物体Ａである人物を切り出して検出することができる。即ち、フレーム差分演算部４６は、距離フレームと距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景情報からの距離の変化の有無により人物を検出する。
【０１５８】
この状態で、中心座標検出手段としての中心座標検出部４７は、距離フレームと距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標および中心座標の移動量を求める。つまり、中心座標検出部４７は、Ｎ番目の距離フレームについて、その検出した人物の距離情報から中心座標を求める。次のＮ＋１番目の距離フレームについても同様に中心座標を求め、Ｎ番目とＮ＋１番目の各距離フレーム間の中心座標の移動量を求める。この場合の中心座標とは、例えば、検出した人物の身体全体の距離情報から重心座標を求めてもよく、検出した人物の全身のＸ，Ｙ，Ｚ座標の最大値および最小値からそれぞれ中点座標を求めてもよく、検出した人物の輪郭の各点からの距離の和が最小になる点の座標を求めてもよい。
【０１５９】
即ち、中心座標検出部４７は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を中心座標として算出する。または、中心座標検出部４７は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を中心座標として算出する。または、中心座標検出部４７は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を中心座標として算出する。
【０１６０】
アプリケーションプロセッサ５Ａは、この人物の動作情報の３次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。
【０１６１】
アプリケーションプロセッサ５Ａの人物動作検出手段としての人物動作検出部５１Ａは、連続して取得される距離フレーム間の中心座標の移動量と、ゲーム内の期待値とを比較して、中心座標移動判定手段としての中心座標移動判定部５１１は、人物の中心座標の移動量が期待値から設定した閾値以上であった場合には人物の「全身移動があった」と判定し、また、人物の中心座標の移動量が閾値未満であった場合には人物の「全身移動がなかった」と判定する。
【０１６２】
ここで、人物動作検出装置１Ａの高速人物動作検知制御手段４Ａと人物動作検出部５１の間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ５Ａが必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部４２を介して情報のやり取りを行ってもよい。即ち、アプリケーションプロセッサ５Ａのゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Ａである人物が動作を行うことを期待する時刻（以下、期待時刻）や、人物が存在することを期待する空間（以下、期待存在空間）、および人物が動作することを期待する空間（以下、期待動作変化）の情報を持っている。
【０１６３】
次に、図２３に示すフローチャートを参照して、図２２の高速人物動作検出装置１Ａの高精度な人物動作検知処理について説明する。
【０１６４】
図２３に示すように、まず、ステップＳ１１において、電源の投入または遊具装置１１Ａのゲームプログラムからの動作開始の指示などにより、高速人物動作検知制御手段４Ａは、発光手段２や受光手段３を用いて、例えば１秒間に１２０枚程度のフレームレートで距離フレームを取得する。
【０１６５】
次に、ステップＳ１２で、高速人物動作検知制御手段４Ａが、所定のタイミングで、距離フレーム毎のフレーム差分を求める動作を開始する。
【０１６６】
ステップＳ１３で、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるかどうかが判定される。上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるとき、ステップＳ１４で、距離変位検出部４４は「距離変位がない」と判定する。また、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値以上であるとき、ステップＳ１５で、距離変位検出部４４は「距離変位有り」と判定し、その後、ステップＳ１１の距離フレーム取得処理に戻る。
【０１６７】
さらに、ステップＳ１４で、距離変位検出部４４により「距離変位がない」と判定された状態が、所定の時間以上または所定のフレーム枚数以上継続した場合、距離平衡状態判定部４５は投射光の投射空間が距離平衡状態にあると判定する。
【０１６８】
その後、ステップＳ１６で、距離平衡状態判定部４５は投射光の投射空間が距離平衡状態にあると判定すると、距離平衡フレーム生成部４３２は、少なくとも１つの距離フレームの時間平均をとり、距離平衡フレームを生成する。
【０１６９】
さらに、ステップＳ１７において、フレーム差分演算部４６が、距離フレームと距離平衡フレームの間のフレーム差分演算を行う。距離変位がない領域はフレーム差分演算により相殺され距離変位がある領域のみが残っている。
【０１７０】
このように、この距離平衡フレーム生成方法に従って、距離平衡フレーム（ＢＲＦ）を求め（ステップＳ１６）、Ｎ番目の距離フレームと距離平衡フレームとの差分（ＲＦｓｕｂＢＲＦ）を演算する（ステップＳ１７）ことにより、距離が平衡状態にある、即ち距離変化のない背景情報から、対象物体Ａである人物を切り出して検出することができる。
【０１７１】
ここまでは、図９のステップＳ１７のフレーム差分演算（ＲＦｓｕｂＲＦ）までのステップと同様であるが、ステップＳ１７以降のステップを追加することにより、対象物体Ａである人物の身体の全体が移動したかどうかを判定することができる。
即ち、フレーム差分演算処理に続くステップＳ２１において、高速人物動作検知制御手段４Ａの中心座標検出部４７は、Ｎ番目の距離フレームについて、検出した人物の距離情報から中心座標を求める。中心座標とは、例えば、検出した人物の身体全体の距離情報から重心座標を求めてもよく、検出した人物の全身のＸ，Ｙ，Ｚ座標の最大値および最小値からそれぞれ中点座標を求めてもよく、検出した人物の輪郭の各点からの距離の和が最小になる点の座標を求めてもよい。これと同様に、次のＮ＋１番目の距離フレームについても同様に中心座標を求め、Ｎ番目とＮ＋１番目の距離フレーム間の中心座標の移動量を求める。例えば、テニスゲームにおいてボールの返球位置に人物が移動するために、人物が投射光の投射空間を前後左右に移動すると、人物の中心座標は距離フレーム間で移動するため、人物の身体がどこからどこに移動したのか、演算が簡易で演算量の少ない指標値とすることができる。
【０１７２】
さらに、ステップＳ２２において、中心座標の移動量の情報は、ホストインターフェイス部４２を介してアプリケーションプロセッサ５Ａに渡される。ゲームプログラム側では、ゲーム内容に応じて人物がどこにどの程度移動すべきか期待値を持っており、アプリケーションプロセッサ５Ａの人物動作検知部５１Ａは、人物の中心座標の移動量を期待値と比較する。
【０１７３】
その人物の中心座標の移動量が期待値から設定した閾値以上であった場合、次のステップＳ２３で、中心座標移動判定部５１１は、対象物体Ａである人物が単に手足を動かしただけでなく「全身移動があった」と判定する。一方、人物の中心座標の移動量が閾値未満であった場合、ステップＳ２４で、中心座標移動判定部５１１は人物の「全身移動がなかった」と判定する。このようにして、対象物体Ａである人物の身体の全体が移動したかどうかを判定することができる。
【０１７４】
（実施形態４）
上記実施形態３では、対象物体Ａである人物の身体全体が移動したかどうかを判定する方法について説明したが、本実施形態４では、人物動作の検出において、上記実施形態３の中心座標演算処理以降のステップを追加することにより、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法について説明する。
【０１７５】
図２４は、本発明の実施形態４に係る遊具装置の要部構成例を示すブロック図である。なお、図１および図５の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。
【０１７６】
図２４において、本実施形態４の遊具装置１１Ｂは、対象物体Ａまでの距離Ｌを複数点で立体的に求める人物動作検出装置１Ｂと、ゲームプログラムの実行や人物動作検出装置１Ａとの距離情報のやり取りなどゲーム進行に必要な各種制御を行うアプリケーションプロセッサ５Ｂとを有している。
【０１７７】
人物動作検出装置１Ｂは、上記実施形態１、２の人物動作検出装置１の構成に中心座標検出部４７Ｂをさらに有している。
【０１７８】
中心座標検出部４７Ｂは、Ｎ番目の距離フレームとＮ＋１番目の距離フレームについて、その検出した人物の距離情報から各中心座標を求め、Ｎ番目とＮ＋１番目の距離フレーム間の中心座標の移動量を求めると共に、距離フレーム間の差分演算で求めた距離変位と、距離フレームと距離平衡フレーム間のフレーム差分演算で求めた中心座標から、距離変位と中心座標の相対位置を演算する。
【０１７９】
アプリケーションプロセッサ５Ｂは、この人物の動作情報の３次元空間座標に基づいて、人物の動作をゲーム内の登場人物の動作やイベントの発生に反映させるなどゲーム内容を制御してゲームを進行させる。
【０１８０】
アプリケーションプロセッサ５Ｂの人物動作検出部５１Ｂは、連続して取得される距離フレーム間の中心座標の移動量と、ゲーム内の期待値とを比較して、中心座標移動判定手段としての中心座標移動判定部５１１は、人物の中心座標の移動量が期待値から設定した閾値以上であった場合には人物の「全身移動があった」と判定し、また、人物の中心座標の移動量が閾値未満であった場合には人物の「全身移動がなかった」と判定する。
【０１８１】
また、アプリケーションプロセッサ５Ｂの人物動作検出部５１Ｂは、中心座標と距離フレーム差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段としての身体部位判定部５１２を有している。身体部位判定部５１２は、その判定結果としての身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと期待値とを比較して、身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかが期待値と一致する場合は身体部位に「期待動作があった」と判定し、また、身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかが期待値と不一致の場合は身体部位に「期待動作がなかった」と判定する。要するに、身体部位判定部５１２は、中心座標と距離変位の座標の相対的な位置関係から、対象物体Ａである人物の身体のどの部分が動作したのかを判定する。
【０１８２】
ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位が何であるか、期待値を持っており、身体の中心部に位置する中心座標と比較して、例えば、距離フレーム間の距離変位が中心座標より右上（水平方向および垂直方向のＸＹ座標方向）であれば右腕の動作、左上であれば左腕の動作、右下であれば右足の動作、左下であれば左足の動作であると判定する。身体部位判定部５１２の判定結果が上記期待値と一致する場合は「期待動作があった」と判定し、また、身体部位判定部５１２の判定結果が上記期待値と不一致の場合は「期待動作がなかった」と判定する。
【０１８３】
ここで、人物動作検出装置１Ｂの高速人物動作検知制御手段４Ｂと人物動作検出部５１Ｂの間で、ゲームの内容や進行状況に応じて、アプリケーションプロセッサ５Ｂが必要とする距離情報に対してのみ信号処理を限定するように、ホストインターフェイス部４２を介して情報のやり取りを行ってもよい。即ち、アプリケーションプロセッサ５Ｂのゲームプログラム側では、ゲームの内容や進行状況に応じて、対象物体Ａである人物が動作を行うことを期待する時刻（以下、期待時刻）や、人物が存在することを期待する空間（以下、期待存在空間）、および人物が動作することを期待する空間（以下、期待動作変化）の情報を持っている。
【０１８４】
次に、図２５に示すフローチャートを参照して、図２４の高速人物動作検出装置１Ｂの高精度な人物動作検知処理について説明する。なお、ここでは、図２３に示すフローチャートのステップと同一の作用効果を奏するステップには同一の符号を付してその説明を省略する。
人物動作の検出において、上記実施形態３の中心座標演算処理以降のステップを追加することにより、距離フレーム間の距離変位が身体のどの部分に該当するかを判定することができる。
【０１８５】
即ち、ステップＳ１２において、距離フレーム間の差分演算（ＲＦｓｕｂＲＦ）で求めた距離変位と、ステップＳ２１において、距離フレームと距離平衡フレーム間のフレーム差分演算（ＲＦｓｕｂＢＲＦ）で求めた中心座標から、ステップＳ３１において、距離変位と中心座標の相対位置を演算する。
ステップＳ２１で求めた距離フレーム間の中心座標の移動量がホストインターフェイス部４２を介してアプリケーションプロセッサ５Ｂに渡されるのと同様に、ステップＳ１２で求めた距離変位とその中心座標の相対位置がステップＳ３１で演算され、その求められた距離変位と中心座標の相対位置がホストインターフェイス部４２を介してアプリケーションプロセッサ５Ｂに渡される。ゲームプログラム側では、ゲーム内容に応じて人物がどの方向にどの程度移動すべきかの期待値を持っている。
アプリケーションプロセッサ５Ｂにおいて、まず、ステップ２２で、人物の身体の全体が移動したかどうかに関して、上記実施形態３の場合と同様に、中心座標の移動量を期待値と比較する。
【０１８６】
さらに、上記実施形態３の場合と同様に、中心座標の移動量が期待値から設定した閾値以上であった場合、ステップＳ２３で、中心座標移動判定部５１１は、対象物体Ａである人物が単に手足を動かしただけでなく人物の「全身移動があった」と判定する。一方、中心座標の移動量が閾値未満であった場合、ステップＳ２４で、中心座標移動判定部５１１は人物の「全身移動がなかった」と判定する。これによって、対象物体Ａである人物の身体の全体が移動したかどうかを判定することができる。
【０１８７】
次に、ステップ３２で、身体部位判定部５１２は、上記中心座標と上記距離変位の座標の相対的な位置関係から、対象物体Ａである人物の身体のどの部分が動作したのかを判定することができる。即ち、ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位が何であるか、期待値を持っており、身体の中心部に位置する中心座標と比較して、例えば、距離フレーム間の距離変位が中心座標より右上（水平方向および垂直方向のＸＹ座標方向）であれば右腕の動作、左上であれば左腕の動作、右下であれば右足の動作、左下であれば左足の動作であると判定する。
【０１８８】
身体部位判定部５１２の判定結果が上記期待値と一致する場合は、ステップ３３で「期待動作があった」と判定する。一方、身体部位判定部５１２の判定結果が上記期待値と不一致の場合は、ステップ３４で「期待動作がなかった」と判定する。このようにして、距離フレーム間の距離変位が身体のどの部分に該当するかを判定することができる。
このように、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する本実施形態４の方法は、従来の関節などの特徴点から人物の骨格を抽出することにより人物の全身をモデル化する方法と比べて演算量が大幅に少なく、要求されるフレームレートが高いテレビゲーム機などの遊具装置に適している。
【０１８９】
（実施形態５）
上記実施形態２では、人物動作検出装置１を、対象物体Ａの人物の動作内容に応じてゲームの内容や進行を制御する遊具装置１１に用いた場合について説明し、上記実施形態３では、対象物体Ａである人物の身体全体が移動したかどうかを判定する方法について説明し、上記実施形態４では、距離フレーム間の距離変位が身体のどの部分に該当するかを判定する方法について説明したが、本実施形態５では、上記実施形態２〜４の遊具装置に、衝撃や衝撃音などを発生させて臨場感を得るための体感刺激発生装置を更に有する場合について説明する。
【０１９０】
図２６は、本発明の実施形態５に係る遊具装置の要部構成例を示すブロック図である。なお、図１および図５の構成部材と同様の作用効果を奏する構成部材には同一の符号を付して説明する。また、図２６は、上記実施形態４の遊具装置１１Ｂに、衝撃や衝撃音などを発生させて臨場感を得るための体感刺激発生装置を更に有する場合を示しているが、上記実施形態２の遊具装置１１に体感刺激発生装置を更に有する場合を図２７に示し、上記実施形態３の遊具装置１１Ａに体感刺激発生装置を更に有する場合を図２８に示している。ここでは、図２６を用いて体感刺激発生装置の一例を説明する。
【０１９１】
図２６において、遊具装置１１Ｃのアプリケーションプロセッサ５Ｃは、ゲームの進行内容において期待値と一致する人物動作があったと判定した場合、人物動作検知部５１Ｃで動作を検知し、無線送信部５７(例えばＢｌｕｅｔｏｏｔｈを用いた無線通信)または有線を通じて体感刺激発生装置８に体感刺激制御信号を送信する。
【０１９２】
体感刺激発生装置８は、無線送信部５７からの体感刺激制御信号を受信する無線受信部８１と、例えばテニスゲームの場合テニスラケットにボールが当たる衝撃などを発生させる振動発生部８２（例えばバイブレータ）と、発光させる発光部８３（例えばＬＥＤ）と、例えばテニスゲームの場合テニスラケットにボールが当たる衝撃音などを発生させる音声出力部８４（例えばスピーカ）と、香りを発生させる香り発生部８５（例えば香りを発する物体を封入した扉の開閉）とを有しており、受信した信号に応じて体感刺激発生装置８の筐体に振動や衝撃を発生させたり、発光させたり、衝突音などの音声を出力させたり、香りを発生させたりする。これによって、体感刺激発生装置８を保持する人物（対象物体Ａである人物）は、ゲーム内容と自身の操作内容に応じたフィードバックを得て臨場感を得ることができる。要するに、体感刺激発生装置８は、振動、光、音声および香りの少なくともいずれかを発生させるようになっている。
【０１９３】
ここで、体感刺激発生装置８をラケットに見立てたテニスゲームを一例に説明する。
【０１９４】
体感刺激発生装置８であるラケットがボールに当たるときに、中心座標検出部４７Ｂが、検出した人物の距離情報から中心座標を求め、さらに、距離フレーム間の中心座標の移動量を求める、距離フレーム間の差分演算で求めた距離変位と、距離フレームと距離平衡フレーム間のフレーム差分演算で求めた中心座標から、距離変位と中心座標の相対位置を演算する。次に、アプリケーションプロセッサ５Ｃの人物動作検出部５１Ｂは、連続して取得される距離フレーム差分の距離変位と中心座標の相対的位置とゲーム内の期待値とを比較して、身体部位判定部５１２は、中心座標と距離変位の座標の相対的な位置関係から、対象物体Ａである人物の身体のどの部分、ここでは右手にラケットを持っているので、人物の右手と共にラケットが動作したのかどうかを判定する。
【０１９５】
ゲームプログラム側では、ゲーム内容に応じて人物が動作するべき身体部位、右手およびラケットに対する期待値を持っており、身体部位判定部５１２の判定結果が上記期待値と一致する場合は「期待動作があった」と判定し、また、身体部位判定部５１２の判定結果が上記期待値と不一致の場合は「期待動作がなかった」と判定する。この場合、期待値は、人物動作において身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値である。
【０１９６】
身体部位判定部５１２が「期待動作があった」と判定した場合、即ち、ラケットがボールに当たった瞬間、アプリケーションプロセッサ５Ｃは、ゲームの進行内容において期待値と一致する人物動作（ラケットを振る動作）があったと判定した場合、人物動作検知部５１Ｂで動作を検知し、アプリケーションプロセッサ５Ｃから無線送信部５７を通じて体感刺激発生装置８に体感刺激制御信号を送信する。
【０１９７】
体感刺激発生装置８では、無線送信部５７からの体感刺激制御信号を無線受信部８１で受信すると、内部の振動発生部８２を用いて体感刺激発生装置８の筐体を、ボールが当たった衝撃を受けたように振動させたり、音声出力部８４を用いてボールが当たった衝突音を発生させたりする。
【０１９８】
これによって、ラケットである体感刺激発生装置８を保持する人物は、ラケットにボールが当たる瞬間の衝撃を手で感じることができる。また、音声もテレビジョンのスピーカから聞こえてくるのではなく、手に保持した体感刺激装置８から聞こえてくるため、より現実のテニスに近い操作感および臨場感を得ることができる。なお、ボールの速さやボールの飛ぶ向き、ラケットのスウィングスピード、衝突のタイミングのずれの有無などに応じて、振動や音声の強弱、長さ、リズムなどを変化させてもよい。
【０１９９】
本実施形態５の体感刺激発生装置８は、従来のテレビゲーム機などの遊具装置１１Ｃにおけるリモートコントローラに相当する。ただし、ユーザの操作を制御信号として遊具装置１１Ｃに無線送信するものに限らず、遊具装置１１Ｃからの制御信号を受信する機能専用のものであってもよい。
【０２００】
従来の遊具装置のように、リモートコントローラ内部に搭載した加速度センサや角速度センサにより人物動作を検出する場合、上記のようにゲーム内容に応じて、リモートコントローラ内部に搭載したバイブレータなどの振動発生装置によりリモートコントローラを振動させることができなかった。これは、加速度センサや角速度センサでは、人物の動作とリモートコントローラの振動の区別ができないため、振動させた場合、目的とする人物動作のみを検出することができなくなるためである。本実施形態５では、体感刺激発生装置８の外部の人物動作検知装置１、１Ａまたは１Ｂのみで人物動作を検知しているため、体感刺激発生装置８を振動させても上記課題は生じない。スポーツなどの体感型ゲームにおいて、ユーザへの触覚によるフィードバックは視覚や聴覚と同様に重要であり、ユーザの操作感を大きく向上させることができる。
【０２０１】
なお、上記テニスゲームを例にした説明では、ユーザがラケットとしての体感刺激発生装置８を手に保持する場合について説明したが、体感刺激発生装置８を手に保持する場合に限らず、振動であれば、身体のどの部分で保持していてもよく、光、音声、香りであればユーザが感知できる範囲に設置してあればよい。また、体感刺激発生装置８は、振動、光、音声および香りの少なくともいずれかを発生させるが、テニスゲームで「振動」は衝撃の代わりに用い「音声」はボールを打つときの衝撃音の代わりに用い、これ以外の「光」の事例については、ＬＥＤを光らせるなど、例えば「刀」同士が衝突したときの火花の代わりに刀の一部または全部を光らせるようにすることができるし、また、「香り」の事例としては、薬品をヒータで熱するなどして各種の「香り」を発生させることができるし、例えばピストルで玉を撃った後の薬莢のにおいの代わり用いることができる。
【０２０２】
以上により、上記実施形態１〜５によれば、対象物体Ａまでの距離Ｌに相当した光の飛行時間（遅れ時間）に依存して分配された信号電荷をそれぞれ二つの画素出力電極Ｖ１，Ｖ２から出力し、その信号電荷はそれぞれ距離Ｌに応じた出力電圧情報に変換されて、ＴＯＦ式距離画像センサ３１から距離情報として出力される。このＴＯＦ式距離画像センサ３１からの距離情報に基づいて、既知の光速をｃとして、光の飛行時間（遅れ時間）Ｔを検出して、Ｌ＝（１／２）・ｃ・Ｔから対象物体Ａまでの距離Ｌを求め、これに基づいて、投射光の投射空間の対象物体Ａまでの距離変位を検出する距離変位検出手段４４と、投射空間が距離平衡状態にあるかどうかを判定する距離平衡判定手段４５とを有しており、フレーム差分（ＲＦｓｕｂＢＲＦ）によって、対象物体Ａである人物が動作したかどうかを検出する。これによって、多数の空間領域を面状に演算処理する場合に、高いフレームレートでもであっても従来の距離画像センサのように演算量が膨大にならず、撮像範囲における人物の動作の検出をリアルタイムに行うと共に、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出することができる。
【０２０３】
この高精度で計算的に安価な人物動作の検出により、テレビゲームなどの遊具装置１１および１１Ａ〜１１Ｅのゲーム内容や進行状況の制御をリアルタイムに行うことができて、遊具装置１１および１１Ａ〜１１Ｅの操作性の向上を図ることができる。
【０２０４】
また、従来の遊具装置において利用されていたゲームコントローラを利用することなく人物動作検知装置１，１Ａまたは１Ｂが用いられ、人物動作検知装置１，１Ａまたは１Ｂを用いて立体的な人物動作が検知され、当該人物動作の検知結果と期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させることにより、ゲームコントローラを用いないでゲームを行うことが可能となった。これにより、ゲームコントローラ作成にかかる費用が不要になり、更に、ゲームコントローラを指で押したりする操作が不要となるため、現実のスポーツなどに操作感が近いゲームを実現できることや、ゲームを通じて現実のスポーツなどでの技術の向上を期待することもできる。
【０２０５】
なお、上記実施形態２〜５では、本発明の人物動作検出装置１、１Ａまたは１Ｂを、その人物動作に応じてゲーム内容や進行状況を制御する遊具装置１１および１１Ａ〜１１Ｅなどに用いた場合について説明したが、これに限らず、リアルタイムで３次元空間の人物動作情報を検出する人物動作検出装置１、１Ａまたは１Ｂによる人物動作検出情報を用いて制御できる電子機器であればどのようなものでもよい。
【０２０６】
なお、上記実施形態２〜５では、特に説明しなかったが、アプリケーションプロセッサ５および５Ａ〜５Ｅは、人物動作検知部５１、５１Ａおよび５１Ｂの他に各種構成部が配設されており、これについて以下に詳細に説明する。ここでは、上記実施形態２のアプリケーションプロセッサ５により代表して説明する。
【０２０７】
図１６は、図５のアプリケーションプロセッサ５の要部ハード構成例を示すブロック図である。
【０２０８】
図１６において、上記実施形態２のアプリケーションプロセッサ５は、全体の制御を行う制御手段としてのＣＰＵ（中央演算処理装置）５０と、前述したが、検出しようとする人物の動作の詳細な情報を取得するために、上記連続して取得されるフレーム差分（ＲＦｓｕｂＲＦやＲＦｓｕｂＢＲＦ）を比較して、人物の動作領域の位置（距離と方向）、人物の動作の速度ベクトル（動作の速さと方向）、人物の動作の加速度ベクトル（動作の加速度の大きさと方向）などの各種情報を抽出する人物動作検知部５１と、人物動作検知部５１による人物動作検知情報を用いてゲーム進行に必要な各種制御を行うゲーム実行部５２と、ＣＰＵ５０に対して入力指令を行うためのキーボード、マウス、タッチパネルおよびペン入力装置、さらには通信ネットワーク（例えばインターネットやイントラネット）を介して受信入力する入力装置などの操作部５３と、表示画面上に、初期画面、選択場面、ゲームプログラムに基づく制御結果画面および操作入力画面などを表示する表示部５４と、ゲームプログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体としてのＲＯＭ５５と、起動時にゲームプログラムおよびそのデータなどが読み出されて、ＣＰＵ１による制御毎にデータを読み出し・記憶するワークメモリとして働く記憶部としてのＲＡＭ５６とを有している。
【０２０９】
ＣＰＵ５０は、ＲＯＭ５５内に記憶された制御プログラムとしてのゲームプログラムおよびそのデータを装置起動時にＲＡＭ５６内に読み出して、そのゲームプログラムおよびそのデータ基づいて、人物動作検知部５１が、上記連続して取得されるフレーム差分（ＲＦｓｕｂＲＦやＲＦｓｕｂＢＲＦ）を比較して、人物の動作領域の位置（距離と方向）、人物の動作の速度ベクトル（動作の速さと方向）、人物の動作の加速度ベクトル（動作の加速度の大きさと方向）などの各種情報を抽出する人物動作検知ステップと、ゲーム実行部５２が、人物動作検知部５１による人物動作検知情報を用いてゲーム進行に必要な各種制御を行うゲーム実行ステップとを実行するようになっている。
【０２１０】
可読記録媒体としてのＲＯＭ５５としては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。このゲームプログラムおよびそのデータなどがＲＯＭ５５に記憶されるが、このゲームプログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ５５にダウンロードされてもよい。
【０２１１】
また同様に、本実施形態１〜５において、図示しない高速人物動作検知制御手段４のＣＰＵは、ＲＯＭ内に記憶された制御プログラムとしての人物動作検知プログラムおよびそのデータを装置起動時にＲＡＭ内に読み出して、その人物動作検知プログラムおよびそのデータに基づいて、タイミング制御部４１が、パワーＬＥＤドライバ２１およびＴＯＦ式距離画像センサ３１の各駆動タイミングをそれぞれ制御するタイミング制御ステップと、ホストインターフェイス部４２が、ホスト側の遊具装置１１などのシステムと交信するためのホストインターフェイスステップと、データフォーマット部４３が、ＴＯＦ式距離画像センサ３１からの距離情報（距離に応じた出力電圧情報）に基づく出力データストリームを所定のフォーマットに変換するデータフォーマットステップと、距離変位検出部４４が、投射光の投射空間の距離変位を検出する距離変位検出ステップと、距離平衡状態判定部４５が、距離変位の有無を判定する距離変位判定ステップと、フレーム差分演算部４６が、距離フレームと距離平衡フレームのフレーム差分を求めるフレーム差分演算手段としてのフレーム差分演算ステップとを実行し、受光手段３からの受光情報に基づいて対象物体Ａとしての人物の動作情報を検出する。
【０２１２】
このデータフォーマットステップは、ＲＯＭ内に記憶された制御プログラムとしての人物動作検知プログラムおよびそのデータを装置起動時にＲＡＭ内に読み出して、その人物動作検知プログラムおよびそのデータに基づいて、距離フレーム生成部４３１が、ＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、距離平衡フレーム生成部４３２が、少なくとも２つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレーム（背景画像フレーム）を生成する距離平衡フレーム生成ステップとを実行する。
【０２１３】
この場合も、前述したように、可読記録媒体としてのＲＯＭとしては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この人物動作検知プログラムおよびそのデータなどがＲＯＭに記憶されるが、この人物動作検知プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介して、そのＲＯＭにダウンロードされてもよい。
【０２１４】
なお、上記実施形態１〜５では、特に説明しなかったが、投射光を出射する発光手段２と、投射光の投射空間からの反射光を受光して、投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するＴＯＦ式距離画像センサ３１とを有する人物動作検出装置１であって、ＴＯＦ式距離画像センサ３１からの距離情報に基づいて人物の動作情報を検出する高速人物動作検知制御手段４を有している。この高速人物動作検知制御手段４は、ＴＯＦ式距離画像センサ３１からの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成部４３１と、少なくとも２つの距離フレームに基づいて、人物に距離変化のない距離情報である距離平衡フレーム（背景画像フレーム）を生成する距離平衡フレーム生成部４３２と、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、フレーム差分から人物の動作情報として人物の距離変化量と変化方向を算出するするフレーム差分演算部４６とを有している。
【０２１５】
これによって、多数の空間領域を面状に演算処理する場合に、高いフレームレートでも演算量が膨大にならず、撮像範囲における人物動作の方向と距離の変化量の検出精度を高精度に検出できる本発明の目的を達成することができる。
【０２１６】
以上のように、本発明の好ましい実施形態１〜５を用いて本発明を例示してきたが、本発明は、この実施形態１〜５に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜５の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０２１７】
本発明は、人物の動作を検出するための人物動作検出装置および人物動作検出方法、この人物動作検出装置を用いて人物の動作を検出して、ゲーム内容の各種制御を行う遊具装置、これを用いたゲーム方法、これらの人物動作検出方法およびゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体の分野において、ＴＯＦ式距離画像センサからの距離情報（距離に応じた出力電圧情報）に基づいて、時系列に複数の距離フレームを生成する手段と、少なくとも１つの該距離フレームに基づいて、距離の変化のない距離フレームである距離平衡フレームを生成する手段と、各距離フレームについて距離平衡フレームとのフレーム差分を演算し、対象物体の距離の変化量と方向を算出する手段を有し、距離変位が生じた領域までの距離や方向の変化を人物の動作として検出するため、多数の空間領域を面状に演算処理する場合であっても、従来の反射光の強度を用いた距離画像センサや三角測量式距離画像センサのように演算量が膨大にならず、高フレームレートにおける人物の動作検出をリアルタイムに行うことができる。この人物動作検出により、人物動作に応じてゲーム内容の各種制御をリアルタイムで行うことができて、テレビゲームなどの遊具装置の操作性を大幅に向上させることができる。
【符号の説明】
【０２１８】
１、１Ａ、１Ｂ 人物動作検出装置
２ 発光手段
２１ パワーＬＥＤドライバ
２２ パワーＬＥＤモジュール
２２ａ パワーＬＥＤ
２３ 放射角調整レンズ
３ 受光手段
３１ ＴＯＦ式距離画像センサ
３１１ 画素アレイ部
３１２ タイミング生成部
３１３ 垂直スキャナ部
３１４ 水平スキャナ部
３１５ 画素ドライバ部
３１６ ノイズキャンセラ部
３１７ Ａ／Ｄコンバータ部
３２ 視野角調整レンズ
４、４Ａ、４Ｂ 高速人物動作検知制御手段
４１ タイミング制御部
４２ ホストインターフェイス部
４３ データフォーマット部
４３１ 距離フレーム生成部
４３２ 距離平衡フレーム生成部
４４ 距離変位検出部
４５ 距離平衡状態判定部
４６ フレーム差分演算部
４７、４７Ｂ 中心座標検出部
５、５Ａ〜５Ｅ アプリケーションプロセッサ
５１、５１Ａ〜５１Ｅ 人物動作検出部
５１１ 中心座標移動判定部
５１２ 身体部位判定部
５２ ゲーム実行部
５３ 操作部
５４ 表示部
５５ ＲＯＭ
５６ ＲＡＭ
５７ 無線送信部
８ 体感刺激発生装置
８１ 無線受信部
８２ 振動発生部
８３ 発光部
８４ 音声出力部
８５ 香り発生部
６ ゲーム内容の模式図
７ テレビジョン
１１、１１Ａ〜１１Ｅ 遊具装置
Ａ 対象物体
Ｔ 光の飛行時間
ｃ 光速
Ｃ１ 画素出力電極Ｖ１での容量
Ｃ２ 画素出力電極Ｖ２での容量
ＰＧ 電荷変換領域
ＴＸ１，ＴＸ２ 電荷転送ゲート
Ｖ１，Ｖ２ 画素出力電極
ΔＶ１，ΔＶ２ 画素出力電極での出力電圧
Ｔ０ パルス幅
Ｔｄ 反射光の遅れ時間
Ｉｐｈ 反射光による光電流
【特許請求の範囲】
【請求項１】
投射光を出射する発光手段と、該投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するＴＯＦ（タイム・オブ・フライト）式距離画像センサとを有する人物動作検出装置であって、
該ＴＯＦ式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御手段を有する人物動作検出装置。
【請求項２】
前記人物動作検知制御手段は、
該ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、
該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する請求項１に記載の人物動作検出装置。
【請求項３】
前記人物動作検知制御手段は、
該ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、
少なくとも２つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、
該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する請求項１に記載の人物動作検出装置。
【請求項４】
前記人物との距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分から、該人物との距離の変化の有無を検出する距離変位検出手段を更に有する請求項２または３に記載の人物動作検出装置。
【請求項５】
前記人物との距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定手段を更に有する請求項３に記載の人物動作検出装置。
【請求項６】
前記距離平衡フレーム生成手段は、前記距離平衡状態判定手段が距離平衡状態にあると判断した場合に、少なくとも２つの距離フレームの時間平均を算出して距離平衡フレームを生成する請求項５に記載の人物動作検出装置。
【請求項７】
前記距離平衡フレーム生成手段は、前記人物が撮像範囲内にいる場合において、遊具装置の指示により該人物を該撮像範囲の右側または左側に移動させて、該撮像範囲の左側または右側半分の該撮像範囲に人物がいない一方側半分の距離平衡フレームを生成し、該人物を該撮像範囲の左側または右側に移動させて、該撮像範囲の右側あるいは左側半分の撮像範囲に該人物がいない他方側半分の距離平衡フレームを生成して、それらの撮像範囲に該人物がいない距離平衡フレームを合成することにより距離平衡フレームを生成する請求項３に記載の人物動作検出装置。
【請求項８】
前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により人物を検出するフレーム差分演算手段を有する請求項５に記載の人物動作検出装置。
【請求項９】
前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から前記人物の中心座標を求める中心座標検出手段を有する請求項８に記載の人物動作検出装置。
【請求項１０】
前記中心座標検出手段は、前記距離フレーム間の中心座標の移動量を求める請求項９に記載の人物動作検出装置。
【請求項１１】
前記中心座標検出手段は、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する請求項１０に記載の人物動作検出装置。
【請求項１２】
前記中心座標検出手段は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を前記中心座標として算出する請求項９に記載の人物動作検出装置。
【請求項１３】
前記中心座標検出手段は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出する請求項９に記載の人物動作検出装置。
【請求項１４】
前記中心座標検出手段は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する請求項９に記載の人物動作検出装置。
【請求項１５】
前記距離平衡フレーム生成手段は、前記距離平衡フレームの生成処理を、装置起動時、初期化時または所定時間毎に行う請求項３または６に記載の人物動作検出装置。
【請求項１６】
前記発光手段は、前記投射光として近赤外のパルス光を一定周期で前記投射空間に投射する請求項１に記載の人物動作検出装置。
【請求項１７】
前記受光部は、光電変換部が中央に設けられ、該光電変換部の中心に対する点対称位置に、互いに相反するゲート信号が入力される二つの電荷転送ゲートをそれぞれ介して２つの画素出力電極Ｖ１，Ｖ２が設けられ、該二つの画素出力電極Ｖ１，Ｖ２から、前記人物までの距離に相当した光の飛行時間に依存して分配された信号電荷をそれぞれ出力する請求項１に記載の人物動作検出装置。
【請求項１８】
前記二つの画素出力電極Ｖ１，Ｖ２からの前記信号電荷はそれぞれ前記人物までの距離に応じた出力電圧情報に変換されて、前記ＴＯＦ式距離画像センサから前記距離情報としてそれぞれ出力される請求項１７に記載の人物動作検出装置。
【請求項１９】
前記人物までの距離Ｌが、既知の光速をｃとして該人物までの光の飛行時間Ｔを検出して、Ｌ＝（１／２）・ｃ・Ｔから求められている請求項１または１７に記載の人物動作検出装置。
【請求項２０】
前記距離情報は、前記受光部に対応した画素毎の立体的な複数点の距離情報である請求項１〜３、５および１８のいずれかに記載の人物動作検出装置。
【請求項２１】
請求項１〜２０のいずれかに記載の人物動作検出装置と、該人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、ゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するアプリケーションプロセッサとを有する遊具装置。
【請求項２２】
前記アプリケーションプロセッサは、前記人物の動作の詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび動作の加速度ベクトルの各種情報を抽出する人物動作検知手段を有する請求項２１に記載の遊具装置。
【請求項２３】
前記動作領域の位置情報は前記距離フレームの水平方向および垂直方向のＸＹ座標位置および距離から立体的に求められ、前記人物の動作の速度ベクトルおよび加速度ベクトルは、該動作領域の平均移動距離、該動作領域の重心位置の移動距離および該人物の特定部位位置の移動距離のいずれかから求められる請求項２２に記載の遊具装置。
【請求項２４】
前記人物が行う動作の身体部位の時刻、空間領域および動作変化のうちの少なくともいずれかに関して期待値を有しており、該期待値と合致する時刻、空間領域および動作変化のうちの少なくともいずれかの距離情報を含む距離フレームに限定して前記人物動作検知手段による処理を行う請求項２２に記載の遊具装置。
【請求項２５】
前記人物の中心座標の移動量が、前記期待値から設定した閾値以上であった場合に該人物の「全身移動があった」と判定し、また、該人物の中心座標の移動量が該閾値未満であった場合に該人物の「全身移動がなかった」と判定する中心座標移動判定手段を有する請求項２２または２４に記載の遊具装置。
【請求項２６】
前記中心座標と前記距離フレームの差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段を有する請求項２２または２４に記載の遊具装置。
【請求項２７】
前記身体部位判定手段は、前記距離フレーム間のフレーム差分により検出した距離変位が、前記中心座標より右上であれば右腕の動作、前記中心座標より左上であれば左腕の動作、前記中心座標より右下であれば右足の動作、前記中心座標より左下であれば左足の動作であると判定する請求項２６に記載の遊具装置。
【請求項２８】
前記身体部位判定手段は、その判定結果として身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと前記期待値とを比較して、該少なくともいずれかが該期待値と一致する場合は該身体部位に「期待動作があった」と判定し、また、該少なくともいずれかが該期待値と不一致の場合は該身体部位に「期待動作がなかった」と判定する請求項２６または２７に記載の遊具装置。
【請求項２９】
前記期待値として、前記人物が何らかの行動を起こすことを期待されるタイミングを期待時刻とし、該人物が移動動作を行うことを期待される空間領域を期待存在空間とし、該人物が行うであろうと期待される動作の速さや方向が期待動作変化とする請求項２４〜２７のいずれかに記載の遊具装置。
【請求項３０】
前記アプリケーションプロセッサは、前記人物の動作の時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値を有しており、該期待値と合致する人物動作を検知した場合に、無線または有線を介して、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を有する請求項２１に記載の遊具装置。
【請求項３１】
従来の遊具装置に搭載されているゲームコントローラを使用することなく前記人物動作検出装置を用いて人物動作が検知され、当該人物動作の検知結果と前記期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させる請求項２１に記載の遊具装置。
【請求項３２】
発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報をＴＯＦ（タイム・オブ・フライト）式距離画像センサの複数の受光部からそれぞれ出力する人物動作検出方法であって、
該ＴＯＦ式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御ステップを有する人物動作検出方法。
【請求項３３】
前記人物動作検知制御ステップは、
前記ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、
該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する請求項３２に記載の人物動作検出方法。
【請求項３４】
前記人物動作検知制御ステップは、
前記ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、
少なくとも２つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、
該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する請求項３２に記載の人物動作検出方法。
【請求項３５】
前記人物の距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分から、該人物の距離の変化の有無を検出する距離変位検出ステップを更に有する請求項３３または３４に記載の人物動作検出方法。
【請求項３６】
前記人物の距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定ステップを更に有する請求項３４に記載の人物動作検出方法。
【請求項３７】
前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により前記人物を検出するフレーム差分演算ステップを有する請求項３６に記載の人物動作検出方法。
【請求項３８】
前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標を求める中心座標検出ステップを有する請求項３７に記載の人物動作検出方法。
【請求項３９】
前記中心座標検出ステップは、前記距離フレーム間の中心座標の移動量を求める請求項３８に記載の人物動作検出方法。
【請求項４０】
前記中心座標検出ステップは、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する請求項３８または３９に記載の人物動作検出装置。
【請求項４１】
前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を前記中心座標として算出する請求項３８に記載の人物動作検出方法。
【請求項４２】
前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出することを特徴とする請求項３８に記載の人物動作検出方法。
【請求項４３】
前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する請求項３８に記載の人物動作検出方法。
【請求項４４】
請求項１〜２０のいずれかに記載の人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するゲーム実行ステップを有するゲーム方法。
【請求項４５】
前記人物の動作詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を抽出する人物動作検知ステップを更に有し、前記人物の距離の変化量とその変化方向の情報と共に、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を用いて、前記ゲーム実行ステップとして、前記アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御する請求項４４に記載のゲーム方法。
【請求項４６】
請求項３２〜４３のいずれかに記載の人物動作検出方法のステップをコンピュータに実行させるための処理手順が記述された制御プログラム。
【請求項４７】
請求項４４または４５に記載のゲーム方法のステップをコンピュータに実行させるための処理手順が記述された制御プログラム。
【請求項４８】
請求項４６または４７に記載の制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体。
【請求項１】
投射光を出射する発光手段と、該投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報を複数の受光部からそれぞれ出力するＴＯＦ（タイム・オブ・フライト）式距離画像センサとを有する人物動作検出装置であって、
該ＴＯＦ式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御手段を有する人物動作検出装置。
【請求項２】
前記人物動作検知制御手段は、
該ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、
該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する請求項１に記載の人物動作検出装置。
【請求項３】
前記人物動作検知制御手段は、
該ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、
少なくとも２つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、
該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算手段とを有する請求項１に記載の人物動作検出装置。
【請求項４】
前記人物との距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分から、該人物との距離の変化の有無を検出する距離変位検出手段を更に有する請求項２または３に記載の人物動作検出装置。
【請求項５】
前記人物との距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定手段を更に有する請求項３に記載の人物動作検出装置。
【請求項６】
前記距離平衡フレーム生成手段は、前記距離平衡状態判定手段が距離平衡状態にあると判断した場合に、少なくとも２つの距離フレームの時間平均を算出して距離平衡フレームを生成する請求項５に記載の人物動作検出装置。
【請求項７】
前記距離平衡フレーム生成手段は、前記人物が撮像範囲内にいる場合において、遊具装置の指示により該人物を該撮像範囲の右側または左側に移動させて、該撮像範囲の左側または右側半分の該撮像範囲に人物がいない一方側半分の距離平衡フレームを生成し、該人物を該撮像範囲の左側または右側に移動させて、該撮像範囲の右側あるいは左側半分の撮像範囲に該人物がいない他方側半分の距離平衡フレームを生成して、それらの撮像範囲に該人物がいない距離平衡フレームを合成することにより距離平衡フレームを生成する請求項３に記載の人物動作検出装置。
【請求項８】
前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により人物を検出するフレーム差分演算手段を有する請求項５に記載の人物動作検出装置。
【請求項９】
前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から前記人物の中心座標を求める中心座標検出手段を有する請求項８に記載の人物動作検出装置。
【請求項１０】
前記中心座標検出手段は、前記距離フレーム間の中心座標の移動量を求める請求項９に記載の人物動作検出装置。
【請求項１１】
前記中心座標検出手段は、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する請求項１０に記載の人物動作検出装置。
【請求項１２】
前記中心座標検出手段は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を前記中心座標として算出する請求項９に記載の人物動作検出装置。
【請求項１３】
前記中心座標検出手段は、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出する請求項９に記載の人物動作検出装置。
【請求項１４】
前記中心座標検出手段は、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する請求項９に記載の人物動作検出装置。
【請求項１５】
前記距離平衡フレーム生成手段は、前記距離平衡フレームの生成処理を、装置起動時、初期化時または所定時間毎に行う請求項３または６に記載の人物動作検出装置。
【請求項１６】
前記発光手段は、前記投射光として近赤外のパルス光を一定周期で前記投射空間に投射する請求項１に記載の人物動作検出装置。
【請求項１７】
前記受光部は、光電変換部が中央に設けられ、該光電変換部の中心に対する点対称位置に、互いに相反するゲート信号が入力される二つの電荷転送ゲートをそれぞれ介して２つの画素出力電極Ｖ１，Ｖ２が設けられ、該二つの画素出力電極Ｖ１，Ｖ２から、前記人物までの距離に相当した光の飛行時間に依存して分配された信号電荷をそれぞれ出力する請求項１に記載の人物動作検出装置。
【請求項１８】
前記二つの画素出力電極Ｖ１，Ｖ２からの前記信号電荷はそれぞれ前記人物までの距離に応じた出力電圧情報に変換されて、前記ＴＯＦ式距離画像センサから前記距離情報としてそれぞれ出力される請求項１７に記載の人物動作検出装置。
【請求項１９】
前記人物までの距離Ｌが、既知の光速をｃとして該人物までの光の飛行時間Ｔを検出して、Ｌ＝（１／２）・ｃ・Ｔから求められている請求項１または１７に記載の人物動作検出装置。
【請求項２０】
前記距離情報は、前記受光部に対応した画素毎の立体的な複数点の距離情報である請求項１〜３、５および１８のいずれかに記載の人物動作検出装置。
【請求項２１】
請求項１〜２０のいずれかに記載の人物動作検出装置と、該人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、ゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するアプリケーションプロセッサとを有する遊具装置。
【請求項２２】
前記アプリケーションプロセッサは、前記人物の動作の詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび動作の加速度ベクトルの各種情報を抽出する人物動作検知手段を有する請求項２１に記載の遊具装置。
【請求項２３】
前記動作領域の位置情報は前記距離フレームの水平方向および垂直方向のＸＹ座標位置および距離から立体的に求められ、前記人物の動作の速度ベクトルおよび加速度ベクトルは、該動作領域の平均移動距離、該動作領域の重心位置の移動距離および該人物の特定部位位置の移動距離のいずれかから求められる請求項２２に記載の遊具装置。
【請求項２４】
前記人物が行う動作の身体部位の時刻、空間領域および動作変化のうちの少なくともいずれかに関して期待値を有しており、該期待値と合致する時刻、空間領域および動作変化のうちの少なくともいずれかの距離情報を含む距離フレームに限定して前記人物動作検知手段による処理を行う請求項２２に記載の遊具装置。
【請求項２５】
前記人物の中心座標の移動量が、前記期待値から設定した閾値以上であった場合に該人物の「全身移動があった」と判定し、また、該人物の中心座標の移動量が該閾値未満であった場合に該人物の「全身移動がなかった」と判定する中心座標移動判定手段を有する請求項２２または２４に記載の遊具装置。
【請求項２６】
前記中心座標と前記距離フレームの差分の距離変位の相対的な位置関係から、動作した人物の身体部位を判定する身体部位判定手段を有する請求項２２または２４に記載の遊具装置。
【請求項２７】
前記身体部位判定手段は、前記距離フレーム間のフレーム差分により検出した距離変位が、前記中心座標より右上であれば右腕の動作、前記中心座標より左上であれば左腕の動作、前記中心座標より右下であれば右足の動作、前記中心座標より左下であれば左足の動作であると判定する請求項２６に記載の遊具装置。
【請求項２８】
前記身体部位判定手段は、その判定結果として身体部位が存在する時刻、空間領域および動作変化のうちの少なくともいずれかと前記期待値とを比較して、該少なくともいずれかが該期待値と一致する場合は該身体部位に「期待動作があった」と判定し、また、該少なくともいずれかが該期待値と不一致の場合は該身体部位に「期待動作がなかった」と判定する請求項２６または２７に記載の遊具装置。
【請求項２９】
前記期待値として、前記人物が何らかの行動を起こすことを期待されるタイミングを期待時刻とし、該人物が移動動作を行うことを期待される空間領域を期待存在空間とし、該人物が行うであろうと期待される動作の速さや方向が期待動作変化とする請求項２４〜２７のいずれかに記載の遊具装置。
【請求項３０】
前記アプリケーションプロセッサは、前記人物の動作の時刻、空間領域および動作変化のうちの少なくともいずれかに関する期待値を有しており、該期待値と合致する人物動作を検知した場合に、無線または有線を介して、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を有する請求項２１に記載の遊具装置。
【請求項３１】
従来の遊具装置に搭載されているゲームコントローラを使用することなく前記人物動作検出装置を用いて人物動作が検知され、当該人物動作の検知結果と前記期待値との比較処理が行わて、振動、光、音声および香りの少なくともいずれかを発生させる体感刺激発生装置を駆動させる請求項２１に記載の遊具装置。
【請求項３２】
発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の人物までの距離に応じた距離情報をＴＯＦ（タイム・オブ・フライト）式距離画像センサの複数の受光部からそれぞれ出力する人物動作検出方法であって、
該ＴＯＦ式距離画像センサからの距離情報に基づいて人物の動作情報を検出する人物動作検知制御ステップを有する人物動作検出方法。
【請求項３３】
前記人物動作検知制御ステップは、
前記ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、
該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する請求項３２に記載の人物動作検出方法。
【請求項３４】
前記人物動作検知制御ステップは、
前記ＴＯＦ式距離画像センサからの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、
少なくとも２つの該距離フレームに基づいて、前記人物に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、
該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該人物の動作情報として該人物の距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する請求項３２に記載の人物動作検出方法。
【請求項３５】
前記人物の距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分から、該人物の距離の変化の有無を検出する距離変位検出ステップを更に有する請求項３３または３４に記載の人物動作検出方法。
【請求項３６】
前記人物の距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該人物の距離情報が平衡状態にあると判定する距離平衡状態判定ステップを更に有する請求項３４に記載の人物動作検出方法。
【請求項３７】
前記距離フレームと前記距離平衡フレームのフレーム差分を演算し、距離情報が平衡状態にある背景からの距離の変化の有無により前記人物を検出するフレーム差分演算ステップを有する請求項３６に記載の人物動作検出方法。
【請求項３８】
前記距離フレームと前記距離平衡フレームのフレーム差分により検出した人物の距離情報から中心座標を求める中心座標検出ステップを有する請求項３７に記載の人物動作検出方法。
【請求項３９】
前記中心座標検出ステップは、前記距離フレーム間の中心座標の移動量を求める請求項３８に記載の人物動作検出方法。
【請求項４０】
前記中心座標検出ステップは、前記距離フレーム間の差分演算で求めた距離変位と、該距離フレームと前記距離平衡フレーム間のフレーム差分により求めた中心座標から、該距離変位と該中心座標の相対位置を演算する請求項３８または３９に記載の人物動作検出装置。
【請求項４１】
前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、３次元空間の各座標軸の重心座標を前記中心座標として算出する請求項３８に記載の人物動作検出方法。
【請求項４２】
前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、３次元空間の各座標軸方向の最大値および最小値から中点を前記中心座標として算出することを特徴とする請求項３８に記載の人物動作検出方法。
【請求項４３】
前記中心座標検出ステップは、検出した人物の身体全体の距離情報から、人物の輪郭上の各点からの距離の和が最小となる点を前記中心座標として算出する請求項３８に記載の人物動作検出方法。
【請求項４４】
請求項１〜２０のいずれかに記載の人物動作検出装置からの人物の距離の変化量とその変化方向の動作情報を用いて、アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御するゲーム実行ステップを有するゲーム方法。
【請求項４５】
前記人物の動作詳細情報を取得するために、連続して取得されるフレーム差分情報を比較して、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を抽出する人物動作検知ステップを更に有し、前記人物の距離の変化量とその変化方向の情報と共に、該人物の動作領域の位置情報、該人物の動作の速度ベクトルおよび加速度ベクトルの各種情報を用いて、前記ゲーム実行ステップとして、前記アプリケーションプロセッサがゲーム内の登場人物の動作やイベントの発生に反映させるようにゲームを制御する請求項４４に記載のゲーム方法。
【請求項４６】
請求項３２〜４３のいずれかに記載の人物動作検出方法のステップをコンピュータに実行させるための処理手順が記述された制御プログラム。
【請求項４７】
請求項４４または４５に記載のゲーム方法のステップをコンピュータに実行させるための処理手順が記述された制御プログラム。
【請求項４８】
請求項４６または４７に記載の制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２９】
【公開番号】特開２０１１−２７７０７（Ｐ２０１１−２７７０７Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−２７５９５２（Ｐ２００９−２７５９５２）
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]