姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体
【課題】ユーザの姿勢を検出する場合に、姿勢検出の精度を向上できる姿勢検出装置を提供する。
【解決手段】ユーザを含む画像を撮像する撮像手段と、ユーザの体のいずれかの部位が接触したことを検知する接触検知部材とを備え、撮像した画像に基づいてユーザの姿勢を特定する際に、当該画像を撮像した時点において接触検知部材にユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢検出装置である。
【解決手段】ユーザを含む画像を撮像する撮像手段と、ユーザの体のいずれかの部位が接触したことを検知する接触検知部材とを備え、撮像した画像に基づいてユーザの姿勢を特定する際に、当該画像を撮像した時点において接触検知部材にユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢検出装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザを撮像して得られる画像に基づいてユーザの姿勢を検出する姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体に関する。
【背景技術】
【０００２】
従来、人や動物などの姿勢や動作をデジタルデータとしてコンピュータ上に記録するモーションキャプチャ技術がある。このような技術においては、例えば人の身体の所定の箇所に反射マーカーや赤外線マーカー等を付け、この人物をビデオカメラ等の撮像手段により撮像する。そして、撮像された画像を解析して画像中のマーカーの位置を検出することによって、人物の姿勢や動作を特定することができる。また、マーカーを用いずに、撮像した画像を解析して人や動物の身体の各部位（頭、腕、足など）を特定することにより、その姿勢を特定する技術もある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来例の技術においては、カメラに対する人や動物の向きなどによって、マーカーや体の一部が隠れてしまう場合がある。このような場合、精度よく姿勢を特定できないことがあり得る。
【０００４】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザの姿勢を検出する場合に、姿勢検出の精度を向上できる姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る姿勢検出装置は、ユーザを含む画像を撮像する撮像手段と、前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材と、前記撮像した画像に基づいて前記ユーザの姿勢を特定する手段であって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢特定手段と、を含むことを特徴とする。
【０００６】
また、上記姿勢検出装置において、前記接触検知部材は複数あって、それぞれ所定の位置関係で配置され、前記姿勢特定手段は、前記画像を撮像した時点において前記複数の接触検知部材のそれぞれに前記ユーザが接触しているか否かを示す情報に応じて、前記特定する姿勢の範囲を制限することとしてもよい。
【０００７】
さらに、前記複数の接触検知部材は、床上に配置されたシート部材に取り付けられ、それぞれ前記ユーザによって踏まれたことを検知することとしてもよい。
【０００８】
また、上記姿勢検出装置は、複数の時点のそれぞれについて前記姿勢特定手段によって特定された前記ユーザの姿勢を示す情報に基づいて、前記ユーザの動作を示す動作データを生成する動作データ生成手段をさらに含むこととしてもよい。
【０００９】
また、上記姿勢検出装置は、前記接触検知部材による検知結果を前記ユーザの操作入力として、所定のゲーム処理を実行するゲーム処理実行手段をさらに含み、前記動作データ生成手段によって生成された前記動作データが、前記ゲーム処理の出力に用いられることとしてもよい。
【００１０】
また、本発明に係る姿勢検出方法は、撮像手段により撮像されたユーザを含む画像を取得するステップと、前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材による検知結果を取得するステップと、前記取得した画像に基づいて前記ユーザの姿勢を特定するステップであって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限するステップと、を含むことを特徴とする。
【００１１】
また、本発明に係るプログラムは、撮像手段により撮像されたユーザを含む画像を取得する手段、前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材による検知結果を取得する手段、及び前記取得した画像に基づいて前記ユーザの姿勢を特定する手段であって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢特定手段、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に記憶されてよい。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００１３】
図１は、本発明の一実施形態に係る姿勢検出装置１の全体概要を示す概要図である。姿勢検出装置１は、図１に示すように、コンピュータ１１と、操作デバイス１２と、エージェントデバイス１３と、表示装置１４と、を含んで構成される。なお、操作デバイス１２及びエージェントデバイス１３は、有線又は無線の通信インタフェースによって、コンピュータ１１と接続される。
【００１４】
コンピュータ１１は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、図２の構成ブロック図に示すように、制御部２１と、記憶部２２と、表示制御部２３と、インタフェース部２４と、を含んで構成される。
【００１５】
制御部２１は、ＣＰＵ等であって、記憶部２２に格納されているプログラムに従って動作する。本実施形態においては、制御部２１は、操作デバイス１２やエージェントデバイス１３から入力される情報に基づいて、ユーザの姿勢の特定を行う。制御部２１が実行する処理の具体例については、後述する。
【００１６】
記憶部２２は、ＲＡＭやＲＯＭ等のメモリ素子や、ハードディスク等のディスクデバイスなどのコンピュータ読み取り可能な情報記憶媒体を含んで構成される。記憶部２２には、制御部２１によって実行されるプログラムが格納される。また、記憶部２２は、制御部２１のワークメモリとしても動作する。
【００１７】
表示制御部２３は、制御部２１より出力された画像情報を映像信号に変換し、表示装置１４に対して出力する。表示装置１４は、例えば家庭用テレビなどであって、表示制御部２３の出力する映像信号に基づいて、画面上に映像を表示する。
【００１８】
インタフェース部２４は、例えばBluetooth（商標）規格に基づく無線通信手段などである。インタフェース部２４は、制御部２１と、操作デバイス１２及びエージェントデバイス１３と、の間のデータ送受信を中継する。
【００１９】
操作デバイス１２は、姿勢検出装置１を利用するユーザＵからの指示操作を受け付けて、その内容を示す制御信号をコンピュータ１１に出力する。本実施形態において、操作デバイス１２は、複数の接触検知部材１５を含んで構成される。これら接触検知部材１５のそれぞれは、ユーザＵの体のいずれかの部位が接触したことを検知する圧力センサ等のセンサを含んでいる。各接触検知部材１５は、その検知結果に応じた信号をユーザＵの操作入力として一定時間ごとにコンピュータ１１に出力する。
【００２０】
具体例として、本実施形態における操作デバイス１２は、ユーザＵが体を動かして遊ぶゲームに用いられるものであって、複数の接触検知部材１５が取り付けられたシート部材により構成されるものとする。この操作デバイス１２は、床上に置いて使用される。ここで各接触検知部材１５は、シート部材上に所定の位置関係で配置され、それぞれユーザＵによって踏まれたことを検知する。ユーザＵは、操作デバイス１２の上でゲームの指示に従って所定のタイミングで各接触検知部材１５を踏むことによって、ゲームをプレイする。図３は、このような操作デバイス１２の一例を示す図である。図３の例においては、シート部材に４つの接触検知部材１５ａ、１５ｂ、１５ｃ及び１５ｄが取り付けられている。
【００２１】
エージェントデバイス１３は、予め内蔵されたプログラム及びコンピュータ１１からの情報に基づいて自律的に動作するロボットシステムである。例えばエージェントデバイス１３は、人型を模した形状をしており、人の手や足に相当する可動部を備えている。また、エージェントデバイス１３は、撮像部１６を含んで構成される。
【００２２】
撮像部１６は、例えば小型のビデオカメラ等であって、ユーザＵを含む画像を撮像する。撮像された画像は、インタフェース部２４を介してコンピュータ１１の制御部２１に出力される。エージェントデバイス１３は、コンピュータ１１からの指示に基づいてユーザＵを撮像可能な位置に移動し、撮像部１６によりユーザＵを撮像する。
【００２３】
以下、姿勢検出装置１が実現する機能について説明する。姿勢検出装置１は、機能的に、図４に示すように、ゲーム処理実行部３１と、姿勢特定部３２と、動作データ生成部３３と、を含んで構成される。これらの機能は、例えば制御部２１が記憶部２２に格納されたプログラムを実行することによって実現できる。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。
【００２４】
ゲーム処理実行部３１は、所定のゲーム処理を実行する。本実施形態においては、ゲーム処理実行部３１は以下に説明するようなダンスゲームを実行する。すなわち、ゲーム処理実行部３１は、ユーザＵに動作内容を案内する画像を表示装置１４に表示させる。この画像は時間とともに変化する画像である。ユーザＵは、表示装置１４に表示される画像の案内に従って、操作デバイス１２上であたかもダンスを踊るように各接触検知部材１５を所定のタイミングで踏んでいく。このゲーム処理においては、各接触検知部材１５がユーザＵの足の接触を検知したことを示す検知結果が、ユーザＵの操作入力となる。
【００２５】
姿勢特定部３２は、撮像部１６により撮像されたユーザＵを含む撮像画像を取得し、取得した撮像画像に基づいてユーザＵの姿勢を特定する。この場合において、姿勢特定部３２は、姿勢特定の対象となる撮像画像を撮像した時点において各接触検知部材１５にユーザＵが接触しているか否かを示す情報に応じて、特定される姿勢の範囲を制限する。なお、以下では姿勢特定の対象となるユーザＵを含んだ撮像画像を処理対象画像という。図５は、撮像部１６により撮像される処理対象画像の一例を示す図である。また、以下では各接触検知部材１５による検知結果を示す情報を接触検知情報という。
【００２６】
以下、姿勢特定部３２が実行する処理の具体例について、説明する。まず姿勢特定部３２は、ユーザＵによるゲームのプレイに先立って、以下に説明する準備処理を実行する。すなわち、姿勢特定部３２は、操作デバイス１２を撮像可能な位置にエージェントデバイス１３を移動させる。そして、当該位置において撮像部１６が撮像した撮像画像に対して、所定のパターン認識処理を行うことにより、撮像画像内における各接触検知部材１５の位置を特定する。このような処理を可能にするため、各接触検知部材１５は、例えば互いに異なる色で着色されたり、異なる模様が形成されたりすることで、それぞれ識別可能な外観を備えることが望ましい。
【００２７】
なお、撮像部１６の撮像位置、撮像方向、及びズーム倍率が変化しない場合には、この準備処理は、ゲーム開始前に一度実行されればよい。その後、各接触検知部材１５の撮像画像内における位置は変化しないと考えられるからである。一方、エージェントデバイス１３がゲーム中に移動したり、撮像部１６の撮像方向やズーム倍率が変化したりする場合には、姿勢特定部３２は、その都度この準備処理を実行する。
【００２８】
さらに姿勢特定部３２は、準備処理として、操作デバイス１２の撮像画像内における大きさと、予め記憶部２２内に記憶された操作デバイス１２の実際の大きさ（実寸）の情報と、に基づいて、撮像画像内の物体の大きさと実際の大きさとの比率を算出してもよい。こうすれば、後に処理対象画像内におけるユーザＵの体の各部位を特定する際に、画像内においてユーザＵの大きさがどの程度になるか推定することができ、処理の効率化を図ることができる。
【００２９】
次に姿勢特定部３２は、ゲーム実行中に撮像された処理対象画像に基づいて、ユーザＵの姿勢を特定する処理を行う。具体的に姿勢特定部３２は、処理対象画像内におけるユーザＵの体の所定の基準部位（肘や膝などの関節や、頭頂部、手や足の先端部など）の位置を特定する画像解析処理を行う。そして、所定の骨格モデル４１を表す骨格モデルデータを用いて、ユーザＵの姿勢を特定するマッチング処理を行う。
【００３０】
ここで骨格モデル４１は、人体の骨格を模した構造体であって、前述した各基準部位に対応する複数の基準点によって構成される。図６は、骨格モデル４１と、仮想的な操作デバイス１２と、が配置された仮想３次元空間４２の一例を示す図である。この骨格モデル４１を構成する各基準点の間の位置関係は、人の身体の可動範囲に応じた所定の条件により拘束される。例えば、肘や膝などの関節によって腕や足を曲げることのできる範囲には限界がある。骨格モデルデータは、このような各基準点の位置座標が取りうる値に対する拘束条件を規定するデータを含んでいる。
【００３１】
また、図６に示すように、仮想３次元空間４２内には視点位置４３及び視線方向４４が設定される。視点位置４３及び視線方向４４は、操作デバイス１２内の各接触検知部材１５が、前述した準備処理によって特定された位置に見えるような位置及び向きに、予め決定される。この視点位置４３及び視線方向４４は、現実空間における撮像部１６の位置及び撮像方向に対応している。
【００３２】
マッチング処理は、この仮想３次元空間４２に配置された骨格モデル４１と、画像解析処理によって得られた処理対象画像内の各基準部位の位置と、をマッチングさせる処理である。具体例として、姿勢特定部３２は、前述した骨格モデルデータに含まれる拘束条件の範囲内で、処理対象画像内の各基準部位の位置と、視点位置４３から視線方向４４を見た場合の骨格モデル４１を構成する各基準点の位置と、の差が最も小さくなるように、骨格モデル４１を構成する各基準点の位置座標を決定する。このマッチング処理によって決定された各基準点の仮想３次元空間４２内の位置座標によって、ユーザＵの姿勢が特定される。
【００３３】
マッチング処理において、姿勢特定部３２は、各基準点の位置座標を決定する際の拘束条件として、骨格モデルデータのほかに、処理対象画像を撮像した時点における各接触検知部材１５の接触検知情報を用いる。例えば図５の処理対象画像の例においては、ユーザＵは接触検知部材１５ｂ及び１５ｃを踏んでいる。そのため、姿勢特定部３２は、接触検知部材１５ｂ及び１５ｃがユーザＵの接触を検知したことを示す接触検知情報を、操作デバイス１２から取得している。姿勢特定部３２は、この接触検知情報に基づいて、骨格モデル４１を構成する各基準点のうち、ユーザＵの身体の所定部位（この場合は両足の先端部）に対応する部位が、仮想３次元空間４２内において接触検知部材１５ｂ及び１５ｃに対応する位置に存在するという条件を設定する。この条件と、予め定められた骨格モデルデータの拘束条件とに基づいて、マッチング処理が実行される。
【００３４】
なお、姿勢特定部３２は、いずれかの接触検知部材１５がユーザＵの接触を検知している場合に、例えば処理対象画像の解析結果に基づいて、当該接触検知部材１５に接触したユーザＵの体の部位がどこかを特定する。また、処理対象画像が撮像された時点の前後の時点について、既に姿勢を特定する処理を実行している場合、当該前後の時点におけるユーザＵの姿勢を示す情報に基づいて、各接触検知部材１５に接触したユーザＵの体の部位を特定してもよい。
【００３５】
以上説明したように、姿勢特定部３２は、マッチング処理の際の拘束条件として接触検知情報を用いることによって、２次元的な処理対象画像の情報から、比較的精度よくユーザＵの各基準部位の位置を仮想３次元空間４２内の位置座標として推定することができる。また、処理対象画像内において、例えばユーザＵの足の一方など一部の部位が隠れてしまっている場合であっても、隠れてしまっている部位の位置を推定することができる。
【００３６】
なお、姿勢特定部３２は、ユーザＵが各接触検知部材１５に接触していることを示す情報だけでなく、ユーザＵが各接触検知部材１５に接触していないことを示す情報も、ユーザＵの姿勢特定に利用してもよい。例えば、いずれの接触検知部材１５にもユーザＵが接触していないことを示す情報が接触検知情報として得られた場合、その時点においてユーザＵはジャンプしていると推定される。この場合、全ての接触検知部材１５がユーザＵの接触を検知していない状態が続いている時間に応じて、ユーザＵの床面からの高さを推定し、拘束条件としてマッチング処理に利用してもよい。
【００３７】
また、撮像部１６の視野角によっては、ユーザＵがジャンプすると、ユーザＵの頭部が視野角からはみ出してしまい、処理対象画像内にユーザＵの全身が含まれなくなってしまうこともあり得る。このような場合、画像解析処理において存在が想定される体の部位が処理対象画像に全て含まれないため、画像解析処理の精度が悪化するおそれがある。このような場合に、例えば姿勢特定部３２は、接触検知情報からユーザＵがジャンプ中であることを推定し、これに応じてユーザＵの頭部が処理対象画像内に含まれていないと仮定して、処理対象画像の解析を行う。こうすれば、解析の精度を向上できる。
【００３８】
なお、姿勢検出装置１は、それぞれ撮像部１６を備える複数のエージェントデバイス１３を含んでもよい。この場合、複数の撮像部１６によって同じユーザＵを異なる角度から同時に撮像することにより、コンピュータ１１は複数の処理対象画像を取得できる。姿勢特定部３２は、各撮像部１６の位置及び撮像方向の情報と、複数の処理対象画像のそれぞれに対する画像解析結果と、に基づいて、骨格モデル４１を構成する各基準点の仮想３次元空間４２内の位置座標を決定する。これにより、姿勢特定部３２は、より高い精度でユーザＵの姿勢を特定できる。
【００３９】
姿勢特定部３２がユーザＵの姿勢を特定するタイミングは、例えばゲーム処理実行部３１によるゲーム処理の進行や、各接触検知部材１５の検知結果に応じて決定される。具体例として、姿勢特定部３２は、各接触検知部材１５による検知結果が変化するタイミングにおけるユーザＵの姿勢を特定する。図７は、各接触検知部材１５による検知結果の時間変化を示す説明図である。図７において、各接触検知部材１５について、実線部はユーザＵの接触を検知している状態を、破線部は接触を検知していない状態を、それぞれ表している。図７の例において、各接触検知部材１５による検知結果が変化するタイミング（すなわち、各接触検知部材１５がユーザＵの接触を検知しない状態から検知した状態に遷移したタイミング、あるいはユーザＵの接触を検知した状態から検知しない状態に遷移したタイミング）は、時刻ｔ１，ｔ２，ｔ３，ｔ４，ｔ５及びｔ６で示されている。姿勢特定部３２は、これらの時刻における撮像画像を処理対象画像として用いて、ユーザＵの姿勢を特定する処理を実行する。こうすれば、ユーザＵの姿勢が大きく変化すると推定されるタイミングで、ユーザＵの姿勢を特定することができる。
【００４０】
また、姿勢特定部３２は、所定時間ごとに処理対象画像を取得し、それぞれの時点におけるユーザＵの姿勢を特定してもよい。この場合、各接触検知部材１５による検知結果が変化しない間は、姿勢特定部３２は同じ拘束条件に基づいて処理対象画像の解析を行うことができる。例えば図７の例において、時刻ｔ２及び時刻ｔ３の間の時点においては、ユーザＵの両足が接触検知部材１５ａ及び１５ｂを踏んでいるという拘束条件を用いて、ユーザＵの姿勢を特定する。このように、姿勢検出装置１は、接触検知部材１５による検知結果が変化しない間も所定時間おきにユーザＵの姿勢を特定することにより、ユーザＵが上半身だけを動かしている場合も、ユーザＵの姿勢の変化を特定することができる。
【００４１】
また、姿勢特定部３２は、ゲーム処理の実行開始後、いずれかの接触検知部材１５がユーザＵの接触を検知するまでの間は、姿勢特定処理を行わないこととしてもよい。これにより、ユーザＵが操作デバイス１２の上でゲームのプレイを開始するまで、不要な処理を行うことを避けることができる。また、全ての接触検知部材１５がユーザＵの接触を検知しない状態が所定時間以上続いた場合にも、姿勢特定処理を行わないこととしてもよい。このような場合、ユーザＵがゲームのプレイを中断していることが推定されるからである。
【００４２】
動作データ生成部３３は、複数の時点のそれぞれについて姿勢特定部３２によって特定されたユーザＵの姿勢を示す情報に基づいて、ユーザＵの動作を示す動作データを生成する。例えば動作データは、前述した各基準点の位置座標の時間変化を示す時系列データであり、これによりユーザＵの体の動きが表される。
【００４３】
具体例として、動作データ生成部３３は、姿勢特定部３２によって特定された所定時間ごとのユーザＵの姿勢を示す情報を連結することにより、動作データを生成する。また、動作データ生成部３３は、複数の時点のそれぞれにおけるユーザＵの姿勢を示す情報を用いて補間処理を実行することにより、当該複数の時点の間の時点におけるユーザＵの姿勢を示すデータを算出し、算出したデータを動作データに含めてもよい。
【００４４】
動作データ生成部３３によって生成された動作データは、ゲーム処理実行部３１によるゲーム処理の出力として用いられてもよい。例えば、ゲーム処理実行部３１は、ユーザＵのゲームプレイ中の動きを再現するリプレイデータとしてこの動作データを使用する。この場合、ゲーム処理実行部３１は、動作データに基づいて生成されたユーザＵの動きを表す画像を、表示装置１４に表示させる。これにより、各接触検知部材１５に対するユーザＵの操作入力だけでは分からないユーザＵの上半身の動きなども含めたリプレイデータをユーザに提示することができる。
【００４５】
また、本実施形態において、エージェントデバイス１３は前述したように人の手や足に対応する可動部を備えている。そこで、姿勢検出装置１は、動作データ生成部３３が生成した動作データに基づいてエージェントデバイス１３の可動部を制御することにより、エージェントデバイス１３にユーザＵの動きを再現する動作を実行させてもよい。なお、この場合には、姿勢特定部３２が使用する骨格モデル４１を構成する複数の基準点は、エージェントデバイス１３の可動部に応じて決定されたものであってもよい。また、この場合の各基準点は、エージェントデバイス１３の可動部の可動範囲に応じた拘束条件により拘束されることとする。こうすれば、姿勢検出装置１は、エージェントデバイス１３の可動部によりユーザＵの動きを再現できる範囲で、ユーザＵの実際の動きに比較的近い動作データを生成することができる。
【００４６】
以上説明した本実施の形態によれば、姿勢検出装置１は、処理対象画像を撮像した時点における各接触検知部材１５の検知結果を示す情報を利用することにより、処理対象画像から精度よくユーザＵの姿勢を特定することができる。
【００４７】
なお、本発明の実施の形態は、以上説明した例に限定されるものではない。例えば、以上の説明においてコンピュータ１１の制御部２１が実行することとした処理のうち、一部又は全部の処理は、エージェントデバイス１３内に搭載されたコンピュータが実行することとしてもよい。
【００４８】
また、以上の説明においては、操作デバイス１２は床上に配置され、各接触検知部材１５はユーザＵの足の接触を検知するものとしたが、これに限らず例えば壁面などに配置されて、ユーザＵの手など別の部位の接触を検知してもよい。また、以上の説明においては操作デバイス１２に複数の接触検知部材１５が取り付けられ、各接触検知部材１５は単にユーザＵが接触しているか否かを示すデータを出力するものとしたが、接触検知部材１５はある程度の大きさの範囲を占める部材であって、当該範囲のうちユーザＵの体の部位が接触した位置を検知することとしてもよい。こうすれば、操作デバイス１２はユーザＵの体の部位が接触した位置を精度よく検出でき、特定されるユーザＵの姿勢の精度も向上できる。
【００４９】
また、上述した例では１人のユーザの姿勢を検出することとしたが、姿勢検出装置１は、同時に複数人のユーザの姿勢を検出してもよい。この場合において、姿勢検出装置１は、単に複数人のユーザの動作データを個別に生成するだけでなく、複数人のユーザの動きを組み合わせた動作データを生成してもよい。例えば姿勢検出装置１は、あるユーザの上半身の動きと、別のユーザの下半身の動きとを組み合わせて動作データを生成する。あるいは、あるユーザの右半身の動きと、別のユーザの左半身の動きとを組み合わせて動作データを生成してもよい。これにより、複数ユーザが協調して一つの動作を実現したり、意外性のある動きを生成したりすることができ、ゲームの娯楽性を高めることができる。
【００５０】
また、姿勢検出装置１による姿勢検出の対象となるユーザは、人に限らず、例えば犬や猫などの動物であってもよい。この場合、姿勢検出装置１は動物の身体構造に応じた骨格モデルを予め記憶部２２に記憶しておくこととする。このような骨格モデルを用いることにより、上述した処理と同様の処理によって、犬や猫の動きを再現する動作データを生成することができる。この場合において、姿勢検出装置１は動物の形状を模したエージェントデバイス１３を備え、このようなエージェントデバイス１３に動物の動きを再現する動作を実行させてもよい。また、姿勢検出装置１は、前述した複数人の動きの組み合わせに代えて、人と動物との動きを組み合わせて一つの動作データを生成してもよい。
【００５１】
なお、姿勢検出装置１は、骨格モデルを用いてユーザの動きを特定することにより、単にプレイ時間や操作デバイス１２に対する操作入力を用いる場合と比較して、ゲームプレイ中におけるユーザの運動量を精度よく見積もることができる。そこで、このような骨格モデルの動きを用いてユーザの運動による消費エネルギーを算出し、ユーザに提示してもよい。また、姿勢検出装置１は、上半身の動きも含めた動作データを生成することで、単に操作デバイス１２に対する操作入力を用いる場合と比較して、正確にユーザの動きを把握することができる。そこで、このようなデータを利用して、ユーザがゲームをプレイ中に失敗した箇所などについて、重心移動や理想的な姿勢などをアドバイスする情報を提示してもよい。さらに、姿勢検出装置１はゲームプレイの模範動作を表す動作データを予め記憶しておき、表示装置１４に表示させたり、エージェントデバイス１３に動作させたりすることで、この模範動作をユーザに提示してもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態に係る姿勢検出装置の全体概要を示す概要図である。
【図２】本発明の実施の形態に係る姿勢検出装置の構成例を示すブロック図である。
【図３】操作デバイスの一例を示す図である。
【図４】本発明の実施の形態に係る姿勢検出装置の機能例を示す機能ブロック図である。
【図５】本発明の実施の形態に係る姿勢検出装置により撮像される撮像画像の一例を示す図である。
【図６】仮想３次元空間及び骨格モデルの一例について、概念的に示す説明図である。
【図７】接触検知部材による検知結果の時間変化の一例を示す説明図である。
【符号の説明】
【００５３】
１ 姿勢検出装置、１１ コンピュータ、１２ 操作デバイス、１３ エージェントデバイス、１４ 表示装置、１５ 接触検知部材、１６ 撮像部、２１ 制御部、２２ 記憶部、２３ 表示制御部、２４ インタフェース部、３１ ゲーム処理実行部、３２ 姿勢特定部、３３ 動作データ生成部。
【技術分野】
【０００１】
本発明は、ユーザを撮像して得られる画像に基づいてユーザの姿勢を検出する姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体に関する。
【背景技術】
【０００２】
従来、人や動物などの姿勢や動作をデジタルデータとしてコンピュータ上に記録するモーションキャプチャ技術がある。このような技術においては、例えば人の身体の所定の箇所に反射マーカーや赤外線マーカー等を付け、この人物をビデオカメラ等の撮像手段により撮像する。そして、撮像された画像を解析して画像中のマーカーの位置を検出することによって、人物の姿勢や動作を特定することができる。また、マーカーを用いずに、撮像した画像を解析して人や動物の身体の各部位（頭、腕、足など）を特定することにより、その姿勢を特定する技術もある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来例の技術においては、カメラに対する人や動物の向きなどによって、マーカーや体の一部が隠れてしまう場合がある。このような場合、精度よく姿勢を特定できないことがあり得る。
【０００４】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザの姿勢を検出する場合に、姿勢検出の精度を向上できる姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る姿勢検出装置は、ユーザを含む画像を撮像する撮像手段と、前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材と、前記撮像した画像に基づいて前記ユーザの姿勢を特定する手段であって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢特定手段と、を含むことを特徴とする。
【０００６】
また、上記姿勢検出装置において、前記接触検知部材は複数あって、それぞれ所定の位置関係で配置され、前記姿勢特定手段は、前記画像を撮像した時点において前記複数の接触検知部材のそれぞれに前記ユーザが接触しているか否かを示す情報に応じて、前記特定する姿勢の範囲を制限することとしてもよい。
【０００７】
さらに、前記複数の接触検知部材は、床上に配置されたシート部材に取り付けられ、それぞれ前記ユーザによって踏まれたことを検知することとしてもよい。
【０００８】
また、上記姿勢検出装置は、複数の時点のそれぞれについて前記姿勢特定手段によって特定された前記ユーザの姿勢を示す情報に基づいて、前記ユーザの動作を示す動作データを生成する動作データ生成手段をさらに含むこととしてもよい。
【０００９】
また、上記姿勢検出装置は、前記接触検知部材による検知結果を前記ユーザの操作入力として、所定のゲーム処理を実行するゲーム処理実行手段をさらに含み、前記動作データ生成手段によって生成された前記動作データが、前記ゲーム処理の出力に用いられることとしてもよい。
【００１０】
また、本発明に係る姿勢検出方法は、撮像手段により撮像されたユーザを含む画像を取得するステップと、前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材による検知結果を取得するステップと、前記取得した画像に基づいて前記ユーザの姿勢を特定するステップであって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限するステップと、を含むことを特徴とする。
【００１１】
また、本発明に係るプログラムは、撮像手段により撮像されたユーザを含む画像を取得する手段、前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材による検知結果を取得する手段、及び前記取得した画像に基づいて前記ユーザの姿勢を特定する手段であって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢特定手段、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に記憶されてよい。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００１３】
図１は、本発明の一実施形態に係る姿勢検出装置１の全体概要を示す概要図である。姿勢検出装置１は、図１に示すように、コンピュータ１１と、操作デバイス１２と、エージェントデバイス１３と、表示装置１４と、を含んで構成される。なお、操作デバイス１２及びエージェントデバイス１３は、有線又は無線の通信インタフェースによって、コンピュータ１１と接続される。
【００１４】
コンピュータ１１は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、図２の構成ブロック図に示すように、制御部２１と、記憶部２２と、表示制御部２３と、インタフェース部２４と、を含んで構成される。
【００１５】
制御部２１は、ＣＰＵ等であって、記憶部２２に格納されているプログラムに従って動作する。本実施形態においては、制御部２１は、操作デバイス１２やエージェントデバイス１３から入力される情報に基づいて、ユーザの姿勢の特定を行う。制御部２１が実行する処理の具体例については、後述する。
【００１６】
記憶部２２は、ＲＡＭやＲＯＭ等のメモリ素子や、ハードディスク等のディスクデバイスなどのコンピュータ読み取り可能な情報記憶媒体を含んで構成される。記憶部２２には、制御部２１によって実行されるプログラムが格納される。また、記憶部２２は、制御部２１のワークメモリとしても動作する。
【００１７】
表示制御部２３は、制御部２１より出力された画像情報を映像信号に変換し、表示装置１４に対して出力する。表示装置１４は、例えば家庭用テレビなどであって、表示制御部２３の出力する映像信号に基づいて、画面上に映像を表示する。
【００１８】
インタフェース部２４は、例えばBluetooth（商標）規格に基づく無線通信手段などである。インタフェース部２４は、制御部２１と、操作デバイス１２及びエージェントデバイス１３と、の間のデータ送受信を中継する。
【００１９】
操作デバイス１２は、姿勢検出装置１を利用するユーザＵからの指示操作を受け付けて、その内容を示す制御信号をコンピュータ１１に出力する。本実施形態において、操作デバイス１２は、複数の接触検知部材１５を含んで構成される。これら接触検知部材１５のそれぞれは、ユーザＵの体のいずれかの部位が接触したことを検知する圧力センサ等のセンサを含んでいる。各接触検知部材１５は、その検知結果に応じた信号をユーザＵの操作入力として一定時間ごとにコンピュータ１１に出力する。
【００２０】
具体例として、本実施形態における操作デバイス１２は、ユーザＵが体を動かして遊ぶゲームに用いられるものであって、複数の接触検知部材１５が取り付けられたシート部材により構成されるものとする。この操作デバイス１２は、床上に置いて使用される。ここで各接触検知部材１５は、シート部材上に所定の位置関係で配置され、それぞれユーザＵによって踏まれたことを検知する。ユーザＵは、操作デバイス１２の上でゲームの指示に従って所定のタイミングで各接触検知部材１５を踏むことによって、ゲームをプレイする。図３は、このような操作デバイス１２の一例を示す図である。図３の例においては、シート部材に４つの接触検知部材１５ａ、１５ｂ、１５ｃ及び１５ｄが取り付けられている。
【００２１】
エージェントデバイス１３は、予め内蔵されたプログラム及びコンピュータ１１からの情報に基づいて自律的に動作するロボットシステムである。例えばエージェントデバイス１３は、人型を模した形状をしており、人の手や足に相当する可動部を備えている。また、エージェントデバイス１３は、撮像部１６を含んで構成される。
【００２２】
撮像部１６は、例えば小型のビデオカメラ等であって、ユーザＵを含む画像を撮像する。撮像された画像は、インタフェース部２４を介してコンピュータ１１の制御部２１に出力される。エージェントデバイス１３は、コンピュータ１１からの指示に基づいてユーザＵを撮像可能な位置に移動し、撮像部１６によりユーザＵを撮像する。
【００２３】
以下、姿勢検出装置１が実現する機能について説明する。姿勢検出装置１は、機能的に、図４に示すように、ゲーム処理実行部３１と、姿勢特定部３２と、動作データ生成部３３と、を含んで構成される。これらの機能は、例えば制御部２１が記憶部２２に格納されたプログラムを実行することによって実現できる。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。
【００２４】
ゲーム処理実行部３１は、所定のゲーム処理を実行する。本実施形態においては、ゲーム処理実行部３１は以下に説明するようなダンスゲームを実行する。すなわち、ゲーム処理実行部３１は、ユーザＵに動作内容を案内する画像を表示装置１４に表示させる。この画像は時間とともに変化する画像である。ユーザＵは、表示装置１４に表示される画像の案内に従って、操作デバイス１２上であたかもダンスを踊るように各接触検知部材１５を所定のタイミングで踏んでいく。このゲーム処理においては、各接触検知部材１５がユーザＵの足の接触を検知したことを示す検知結果が、ユーザＵの操作入力となる。
【００２５】
姿勢特定部３２は、撮像部１６により撮像されたユーザＵを含む撮像画像を取得し、取得した撮像画像に基づいてユーザＵの姿勢を特定する。この場合において、姿勢特定部３２は、姿勢特定の対象となる撮像画像を撮像した時点において各接触検知部材１５にユーザＵが接触しているか否かを示す情報に応じて、特定される姿勢の範囲を制限する。なお、以下では姿勢特定の対象となるユーザＵを含んだ撮像画像を処理対象画像という。図５は、撮像部１６により撮像される処理対象画像の一例を示す図である。また、以下では各接触検知部材１５による検知結果を示す情報を接触検知情報という。
【００２６】
以下、姿勢特定部３２が実行する処理の具体例について、説明する。まず姿勢特定部３２は、ユーザＵによるゲームのプレイに先立って、以下に説明する準備処理を実行する。すなわち、姿勢特定部３２は、操作デバイス１２を撮像可能な位置にエージェントデバイス１３を移動させる。そして、当該位置において撮像部１６が撮像した撮像画像に対して、所定のパターン認識処理を行うことにより、撮像画像内における各接触検知部材１５の位置を特定する。このような処理を可能にするため、各接触検知部材１５は、例えば互いに異なる色で着色されたり、異なる模様が形成されたりすることで、それぞれ識別可能な外観を備えることが望ましい。
【００２７】
なお、撮像部１６の撮像位置、撮像方向、及びズーム倍率が変化しない場合には、この準備処理は、ゲーム開始前に一度実行されればよい。その後、各接触検知部材１５の撮像画像内における位置は変化しないと考えられるからである。一方、エージェントデバイス１３がゲーム中に移動したり、撮像部１６の撮像方向やズーム倍率が変化したりする場合には、姿勢特定部３２は、その都度この準備処理を実行する。
【００２８】
さらに姿勢特定部３２は、準備処理として、操作デバイス１２の撮像画像内における大きさと、予め記憶部２２内に記憶された操作デバイス１２の実際の大きさ（実寸）の情報と、に基づいて、撮像画像内の物体の大きさと実際の大きさとの比率を算出してもよい。こうすれば、後に処理対象画像内におけるユーザＵの体の各部位を特定する際に、画像内においてユーザＵの大きさがどの程度になるか推定することができ、処理の効率化を図ることができる。
【００２９】
次に姿勢特定部３２は、ゲーム実行中に撮像された処理対象画像に基づいて、ユーザＵの姿勢を特定する処理を行う。具体的に姿勢特定部３２は、処理対象画像内におけるユーザＵの体の所定の基準部位（肘や膝などの関節や、頭頂部、手や足の先端部など）の位置を特定する画像解析処理を行う。そして、所定の骨格モデル４１を表す骨格モデルデータを用いて、ユーザＵの姿勢を特定するマッチング処理を行う。
【００３０】
ここで骨格モデル４１は、人体の骨格を模した構造体であって、前述した各基準部位に対応する複数の基準点によって構成される。図６は、骨格モデル４１と、仮想的な操作デバイス１２と、が配置された仮想３次元空間４２の一例を示す図である。この骨格モデル４１を構成する各基準点の間の位置関係は、人の身体の可動範囲に応じた所定の条件により拘束される。例えば、肘や膝などの関節によって腕や足を曲げることのできる範囲には限界がある。骨格モデルデータは、このような各基準点の位置座標が取りうる値に対する拘束条件を規定するデータを含んでいる。
【００３１】
また、図６に示すように、仮想３次元空間４２内には視点位置４３及び視線方向４４が設定される。視点位置４３及び視線方向４４は、操作デバイス１２内の各接触検知部材１５が、前述した準備処理によって特定された位置に見えるような位置及び向きに、予め決定される。この視点位置４３及び視線方向４４は、現実空間における撮像部１６の位置及び撮像方向に対応している。
【００３２】
マッチング処理は、この仮想３次元空間４２に配置された骨格モデル４１と、画像解析処理によって得られた処理対象画像内の各基準部位の位置と、をマッチングさせる処理である。具体例として、姿勢特定部３２は、前述した骨格モデルデータに含まれる拘束条件の範囲内で、処理対象画像内の各基準部位の位置と、視点位置４３から視線方向４４を見た場合の骨格モデル４１を構成する各基準点の位置と、の差が最も小さくなるように、骨格モデル４１を構成する各基準点の位置座標を決定する。このマッチング処理によって決定された各基準点の仮想３次元空間４２内の位置座標によって、ユーザＵの姿勢が特定される。
【００３３】
マッチング処理において、姿勢特定部３２は、各基準点の位置座標を決定する際の拘束条件として、骨格モデルデータのほかに、処理対象画像を撮像した時点における各接触検知部材１５の接触検知情報を用いる。例えば図５の処理対象画像の例においては、ユーザＵは接触検知部材１５ｂ及び１５ｃを踏んでいる。そのため、姿勢特定部３２は、接触検知部材１５ｂ及び１５ｃがユーザＵの接触を検知したことを示す接触検知情報を、操作デバイス１２から取得している。姿勢特定部３２は、この接触検知情報に基づいて、骨格モデル４１を構成する各基準点のうち、ユーザＵの身体の所定部位（この場合は両足の先端部）に対応する部位が、仮想３次元空間４２内において接触検知部材１５ｂ及び１５ｃに対応する位置に存在するという条件を設定する。この条件と、予め定められた骨格モデルデータの拘束条件とに基づいて、マッチング処理が実行される。
【００３４】
なお、姿勢特定部３２は、いずれかの接触検知部材１５がユーザＵの接触を検知している場合に、例えば処理対象画像の解析結果に基づいて、当該接触検知部材１５に接触したユーザＵの体の部位がどこかを特定する。また、処理対象画像が撮像された時点の前後の時点について、既に姿勢を特定する処理を実行している場合、当該前後の時点におけるユーザＵの姿勢を示す情報に基づいて、各接触検知部材１５に接触したユーザＵの体の部位を特定してもよい。
【００３５】
以上説明したように、姿勢特定部３２は、マッチング処理の際の拘束条件として接触検知情報を用いることによって、２次元的な処理対象画像の情報から、比較的精度よくユーザＵの各基準部位の位置を仮想３次元空間４２内の位置座標として推定することができる。また、処理対象画像内において、例えばユーザＵの足の一方など一部の部位が隠れてしまっている場合であっても、隠れてしまっている部位の位置を推定することができる。
【００３６】
なお、姿勢特定部３２は、ユーザＵが各接触検知部材１５に接触していることを示す情報だけでなく、ユーザＵが各接触検知部材１５に接触していないことを示す情報も、ユーザＵの姿勢特定に利用してもよい。例えば、いずれの接触検知部材１５にもユーザＵが接触していないことを示す情報が接触検知情報として得られた場合、その時点においてユーザＵはジャンプしていると推定される。この場合、全ての接触検知部材１５がユーザＵの接触を検知していない状態が続いている時間に応じて、ユーザＵの床面からの高さを推定し、拘束条件としてマッチング処理に利用してもよい。
【００３７】
また、撮像部１６の視野角によっては、ユーザＵがジャンプすると、ユーザＵの頭部が視野角からはみ出してしまい、処理対象画像内にユーザＵの全身が含まれなくなってしまうこともあり得る。このような場合、画像解析処理において存在が想定される体の部位が処理対象画像に全て含まれないため、画像解析処理の精度が悪化するおそれがある。このような場合に、例えば姿勢特定部３２は、接触検知情報からユーザＵがジャンプ中であることを推定し、これに応じてユーザＵの頭部が処理対象画像内に含まれていないと仮定して、処理対象画像の解析を行う。こうすれば、解析の精度を向上できる。
【００３８】
なお、姿勢検出装置１は、それぞれ撮像部１６を備える複数のエージェントデバイス１３を含んでもよい。この場合、複数の撮像部１６によって同じユーザＵを異なる角度から同時に撮像することにより、コンピュータ１１は複数の処理対象画像を取得できる。姿勢特定部３２は、各撮像部１６の位置及び撮像方向の情報と、複数の処理対象画像のそれぞれに対する画像解析結果と、に基づいて、骨格モデル４１を構成する各基準点の仮想３次元空間４２内の位置座標を決定する。これにより、姿勢特定部３２は、より高い精度でユーザＵの姿勢を特定できる。
【００３９】
姿勢特定部３２がユーザＵの姿勢を特定するタイミングは、例えばゲーム処理実行部３１によるゲーム処理の進行や、各接触検知部材１５の検知結果に応じて決定される。具体例として、姿勢特定部３２は、各接触検知部材１５による検知結果が変化するタイミングにおけるユーザＵの姿勢を特定する。図７は、各接触検知部材１５による検知結果の時間変化を示す説明図である。図７において、各接触検知部材１５について、実線部はユーザＵの接触を検知している状態を、破線部は接触を検知していない状態を、それぞれ表している。図７の例において、各接触検知部材１５による検知結果が変化するタイミング（すなわち、各接触検知部材１５がユーザＵの接触を検知しない状態から検知した状態に遷移したタイミング、あるいはユーザＵの接触を検知した状態から検知しない状態に遷移したタイミング）は、時刻ｔ１，ｔ２，ｔ３，ｔ４，ｔ５及びｔ６で示されている。姿勢特定部３２は、これらの時刻における撮像画像を処理対象画像として用いて、ユーザＵの姿勢を特定する処理を実行する。こうすれば、ユーザＵの姿勢が大きく変化すると推定されるタイミングで、ユーザＵの姿勢を特定することができる。
【００４０】
また、姿勢特定部３２は、所定時間ごとに処理対象画像を取得し、それぞれの時点におけるユーザＵの姿勢を特定してもよい。この場合、各接触検知部材１５による検知結果が変化しない間は、姿勢特定部３２は同じ拘束条件に基づいて処理対象画像の解析を行うことができる。例えば図７の例において、時刻ｔ２及び時刻ｔ３の間の時点においては、ユーザＵの両足が接触検知部材１５ａ及び１５ｂを踏んでいるという拘束条件を用いて、ユーザＵの姿勢を特定する。このように、姿勢検出装置１は、接触検知部材１５による検知結果が変化しない間も所定時間おきにユーザＵの姿勢を特定することにより、ユーザＵが上半身だけを動かしている場合も、ユーザＵの姿勢の変化を特定することができる。
【００４１】
また、姿勢特定部３２は、ゲーム処理の実行開始後、いずれかの接触検知部材１５がユーザＵの接触を検知するまでの間は、姿勢特定処理を行わないこととしてもよい。これにより、ユーザＵが操作デバイス１２の上でゲームのプレイを開始するまで、不要な処理を行うことを避けることができる。また、全ての接触検知部材１５がユーザＵの接触を検知しない状態が所定時間以上続いた場合にも、姿勢特定処理を行わないこととしてもよい。このような場合、ユーザＵがゲームのプレイを中断していることが推定されるからである。
【００４２】
動作データ生成部３３は、複数の時点のそれぞれについて姿勢特定部３２によって特定されたユーザＵの姿勢を示す情報に基づいて、ユーザＵの動作を示す動作データを生成する。例えば動作データは、前述した各基準点の位置座標の時間変化を示す時系列データであり、これによりユーザＵの体の動きが表される。
【００４３】
具体例として、動作データ生成部３３は、姿勢特定部３２によって特定された所定時間ごとのユーザＵの姿勢を示す情報を連結することにより、動作データを生成する。また、動作データ生成部３３は、複数の時点のそれぞれにおけるユーザＵの姿勢を示す情報を用いて補間処理を実行することにより、当該複数の時点の間の時点におけるユーザＵの姿勢を示すデータを算出し、算出したデータを動作データに含めてもよい。
【００４４】
動作データ生成部３３によって生成された動作データは、ゲーム処理実行部３１によるゲーム処理の出力として用いられてもよい。例えば、ゲーム処理実行部３１は、ユーザＵのゲームプレイ中の動きを再現するリプレイデータとしてこの動作データを使用する。この場合、ゲーム処理実行部３１は、動作データに基づいて生成されたユーザＵの動きを表す画像を、表示装置１４に表示させる。これにより、各接触検知部材１５に対するユーザＵの操作入力だけでは分からないユーザＵの上半身の動きなども含めたリプレイデータをユーザに提示することができる。
【００４５】
また、本実施形態において、エージェントデバイス１３は前述したように人の手や足に対応する可動部を備えている。そこで、姿勢検出装置１は、動作データ生成部３３が生成した動作データに基づいてエージェントデバイス１３の可動部を制御することにより、エージェントデバイス１３にユーザＵの動きを再現する動作を実行させてもよい。なお、この場合には、姿勢特定部３２が使用する骨格モデル４１を構成する複数の基準点は、エージェントデバイス１３の可動部に応じて決定されたものであってもよい。また、この場合の各基準点は、エージェントデバイス１３の可動部の可動範囲に応じた拘束条件により拘束されることとする。こうすれば、姿勢検出装置１は、エージェントデバイス１３の可動部によりユーザＵの動きを再現できる範囲で、ユーザＵの実際の動きに比較的近い動作データを生成することができる。
【００４６】
以上説明した本実施の形態によれば、姿勢検出装置１は、処理対象画像を撮像した時点における各接触検知部材１５の検知結果を示す情報を利用することにより、処理対象画像から精度よくユーザＵの姿勢を特定することができる。
【００４７】
なお、本発明の実施の形態は、以上説明した例に限定されるものではない。例えば、以上の説明においてコンピュータ１１の制御部２１が実行することとした処理のうち、一部又は全部の処理は、エージェントデバイス１３内に搭載されたコンピュータが実行することとしてもよい。
【００４８】
また、以上の説明においては、操作デバイス１２は床上に配置され、各接触検知部材１５はユーザＵの足の接触を検知するものとしたが、これに限らず例えば壁面などに配置されて、ユーザＵの手など別の部位の接触を検知してもよい。また、以上の説明においては操作デバイス１２に複数の接触検知部材１５が取り付けられ、各接触検知部材１５は単にユーザＵが接触しているか否かを示すデータを出力するものとしたが、接触検知部材１５はある程度の大きさの範囲を占める部材であって、当該範囲のうちユーザＵの体の部位が接触した位置を検知することとしてもよい。こうすれば、操作デバイス１２はユーザＵの体の部位が接触した位置を精度よく検出でき、特定されるユーザＵの姿勢の精度も向上できる。
【００４９】
また、上述した例では１人のユーザの姿勢を検出することとしたが、姿勢検出装置１は、同時に複数人のユーザの姿勢を検出してもよい。この場合において、姿勢検出装置１は、単に複数人のユーザの動作データを個別に生成するだけでなく、複数人のユーザの動きを組み合わせた動作データを生成してもよい。例えば姿勢検出装置１は、あるユーザの上半身の動きと、別のユーザの下半身の動きとを組み合わせて動作データを生成する。あるいは、あるユーザの右半身の動きと、別のユーザの左半身の動きとを組み合わせて動作データを生成してもよい。これにより、複数ユーザが協調して一つの動作を実現したり、意外性のある動きを生成したりすることができ、ゲームの娯楽性を高めることができる。
【００５０】
また、姿勢検出装置１による姿勢検出の対象となるユーザは、人に限らず、例えば犬や猫などの動物であってもよい。この場合、姿勢検出装置１は動物の身体構造に応じた骨格モデルを予め記憶部２２に記憶しておくこととする。このような骨格モデルを用いることにより、上述した処理と同様の処理によって、犬や猫の動きを再現する動作データを生成することができる。この場合において、姿勢検出装置１は動物の形状を模したエージェントデバイス１３を備え、このようなエージェントデバイス１３に動物の動きを再現する動作を実行させてもよい。また、姿勢検出装置１は、前述した複数人の動きの組み合わせに代えて、人と動物との動きを組み合わせて一つの動作データを生成してもよい。
【００５１】
なお、姿勢検出装置１は、骨格モデルを用いてユーザの動きを特定することにより、単にプレイ時間や操作デバイス１２に対する操作入力を用いる場合と比較して、ゲームプレイ中におけるユーザの運動量を精度よく見積もることができる。そこで、このような骨格モデルの動きを用いてユーザの運動による消費エネルギーを算出し、ユーザに提示してもよい。また、姿勢検出装置１は、上半身の動きも含めた動作データを生成することで、単に操作デバイス１２に対する操作入力を用いる場合と比較して、正確にユーザの動きを把握することができる。そこで、このようなデータを利用して、ユーザがゲームをプレイ中に失敗した箇所などについて、重心移動や理想的な姿勢などをアドバイスする情報を提示してもよい。さらに、姿勢検出装置１はゲームプレイの模範動作を表す動作データを予め記憶しておき、表示装置１４に表示させたり、エージェントデバイス１３に動作させたりすることで、この模範動作をユーザに提示してもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態に係る姿勢検出装置の全体概要を示す概要図である。
【図２】本発明の実施の形態に係る姿勢検出装置の構成例を示すブロック図である。
【図３】操作デバイスの一例を示す図である。
【図４】本発明の実施の形態に係る姿勢検出装置の機能例を示す機能ブロック図である。
【図５】本発明の実施の形態に係る姿勢検出装置により撮像される撮像画像の一例を示す図である。
【図６】仮想３次元空間及び骨格モデルの一例について、概念的に示す説明図である。
【図７】接触検知部材による検知結果の時間変化の一例を示す説明図である。
【符号の説明】
【００５３】
１ 姿勢検出装置、１１ コンピュータ、１２ 操作デバイス、１３ エージェントデバイス、１４ 表示装置、１５ 接触検知部材、１６ 撮像部、２１ 制御部、２２ 記憶部、２３ 表示制御部、２４ インタフェース部、３１ ゲーム処理実行部、３２ 姿勢特定部、３３ 動作データ生成部。
【特許請求の範囲】
【請求項１】
ユーザを含む画像を撮像する撮像手段と、
前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材と、
前記撮像した画像に基づいて前記ユーザの姿勢を特定する手段であって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢特定手段と、
を含むことを特徴とする姿勢検出装置。
【請求項２】
請求項１に記載の姿勢検出装置において、
前記接触検知部材は複数あって、それぞれ所定の位置関係で配置され、
前記姿勢特定手段は、前記画像を撮像した時点において前記複数の接触検知部材のそれぞれに前記ユーザが接触しているか否かを示す情報に応じて、前記特定する姿勢の範囲を制限する
ことを特徴とする姿勢検出装置。
【請求項３】
請求項２に記載の姿勢検出装置において、
前記複数の接触検知部材は、床上に配置されたシート部材に取り付けられ、それぞれ前記ユーザによって踏まれたことを検知する
ことを特徴とする姿勢検出装置。
【請求項４】
請求項１から３までのいずれか一項に記載の姿勢検出装置において、
複数の時点のそれぞれについて前記姿勢特定手段によって特定された前記ユーザの姿勢を示す情報に基づいて、前記ユーザの動作を示す動作データを生成する動作データ生成手段
をさらに含むことを特徴とする姿勢検出装置。
【請求項５】
請求項４に記載の姿勢検出装置において、
前記接触検知部材による検知結果を前記ユーザの操作入力として、所定のゲーム処理を実行するゲーム処理実行手段をさらに含み、
前記動作データ生成手段によって生成された前記動作データが、前記ゲーム処理の出力に用いられることを特徴とする姿勢検出装置。
【請求項６】
撮像手段により撮像されたユーザを含む画像を取得するステップと、
前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材による検知結果を取得するステップと、
前記取得した画像に基づいて前記ユーザの姿勢を特定するステップであって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限するステップと、
を含むことを特徴とする姿勢検出方法。
【請求項７】
撮像手段により撮像されたユーザを含む画像を取得する手段、
前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材による検知結果を取得する手段、及び
前記取得した画像に基づいて前記ユーザの姿勢を特定する手段であって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢特定手段、
としてコンピュータを機能させるためのプログラム。
【請求項８】
請求項７記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【請求項１】
ユーザを含む画像を撮像する撮像手段と、
前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材と、
前記撮像した画像に基づいて前記ユーザの姿勢を特定する手段であって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢特定手段と、
を含むことを特徴とする姿勢検出装置。
【請求項２】
請求項１に記載の姿勢検出装置において、
前記接触検知部材は複数あって、それぞれ所定の位置関係で配置され、
前記姿勢特定手段は、前記画像を撮像した時点において前記複数の接触検知部材のそれぞれに前記ユーザが接触しているか否かを示す情報に応じて、前記特定する姿勢の範囲を制限する
ことを特徴とする姿勢検出装置。
【請求項３】
請求項２に記載の姿勢検出装置において、
前記複数の接触検知部材は、床上に配置されたシート部材に取り付けられ、それぞれ前記ユーザによって踏まれたことを検知する
ことを特徴とする姿勢検出装置。
【請求項４】
請求項１から３までのいずれか一項に記載の姿勢検出装置において、
複数の時点のそれぞれについて前記姿勢特定手段によって特定された前記ユーザの姿勢を示す情報に基づいて、前記ユーザの動作を示す動作データを生成する動作データ生成手段
をさらに含むことを特徴とする姿勢検出装置。
【請求項５】
請求項４に記載の姿勢検出装置において、
前記接触検知部材による検知結果を前記ユーザの操作入力として、所定のゲーム処理を実行するゲーム処理実行手段をさらに含み、
前記動作データ生成手段によって生成された前記動作データが、前記ゲーム処理の出力に用いられることを特徴とする姿勢検出装置。
【請求項６】
撮像手段により撮像されたユーザを含む画像を取得するステップと、
前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材による検知結果を取得するステップと、
前記取得した画像に基づいて前記ユーザの姿勢を特定するステップであって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限するステップと、
を含むことを特徴とする姿勢検出方法。
【請求項７】
撮像手段により撮像されたユーザを含む画像を取得する手段、
前記ユーザの体のいずれかの部位が接触したことを検知する接触検知部材による検知結果を取得する手段、及び
前記取得した画像に基づいて前記ユーザの姿勢を特定する手段であって、当該画像を撮像した時点において前記接触検知部材に前記ユーザが接触しているか否かを示す情報に応じて、当該特定する姿勢の範囲を制限する姿勢特定手段、
としてコンピュータを機能させるためのプログラム。
【請求項８】
請求項７記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２５６５３２（Ｐ２００８−２５６５３２Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−９９０９１（Ｐ２００７−９９０９１）
【出願日】平成１９年４月５日（２００７．４．５）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月５日（２００７．４．５）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]