情報処理装置、情報処理方法、プログラム及び情報記憶媒体
【課題】移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間を軽減することができる情報処理装置を提供する。
【解決手段】基礎データ取得部５０が、画像と、測定結果に基づく、当該画像に表示されている物体と撮像部との距離を示す距離データと、を含む基礎データを複数取得する。画像内位置特定部５２が、取得される画像に基づいて、移動体が表示されている、その画像内の位置を特定する。距離特定部５４が、特定される画像内の位置と、距離データと、に基づいて、移動体と撮像部との距離を特定する。位置座標算出部５６が、特定される画像内の位置と特定される距離とに基づいて、移動体の三次元位置座標を算出する。モーションデータ生成部５８が、算出される三次元位置座標に基づいて、移動体の三次元空間内における動きを示すモーションデータを生成する。
【解決手段】基礎データ取得部５０が、画像と、測定結果に基づく、当該画像に表示されている物体と撮像部との距離を示す距離データと、を含む基礎データを複数取得する。画像内位置特定部５２が、取得される画像に基づいて、移動体が表示されている、その画像内の位置を特定する。距離特定部５４が、特定される画像内の位置と、距離データと、に基づいて、移動体と撮像部との距離を特定する。位置座標算出部５６が、特定される画像内の位置と特定される距離とに基づいて、移動体の三次元位置座標を算出する。モーションデータ生成部５８が、算出される三次元位置座標に基づいて、移動体の三次元空間内における動きを示すモーションデータを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラム及び情報記憶媒体に関する。
【背景技術】
【０００２】
ビデオカメラなどで撮像される人間などの移動体の動きを情報処理装置に取り込むモーションキャプチャに関する技術が知られている。例えば、ビデオカメラで移動体を撮像することにより生成される一連の画像に基づいて、その移動体の動きを示すモーションデータを生成する情報処理装置が存在する。このような情報処理装置のなかには、ユーザが、生成される画像内のいくつかの位置をマーキングし、それぞれのマークの前後関係を指定することで、移動体の立体的な動きをシミュレートしてモーションデータを生成することができるものが存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の情報処理装置では、移動体の立体的な動きをシミュレートしてモーションデータを生成する際に、ユーザが画像内の位置を指定する必要があり、手間がかかっていた。
【０００４】
本発明は、上記課題に鑑みてなされたものであって、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間を軽減することができる情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る情報処理装置は、所定の移動体の動きを示すモーションデータを生成する情報処理装置であって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段と、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段と、前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段と、前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段と、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段と、を含むことを特徴とする。
【０００６】
また、本発明に係る情報処理方法は、所定の移動体の動きを示すモーションデータを生成する情報処理方法であって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得ステップと、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定ステップと、前記画像内位置特定ステップにより特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定ステップと、前記画像内位置特定ステップにより特定される前記画像内の位置と、前記距離特定ステップにより特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出ステップと、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成ステップと、を含むことを特徴とする。
【０００７】
また、本発明に係るプログラムは、所定の移動体の動きを示すモーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムであって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段、前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段、前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段として前記コンピュータを機能させることを特徴とする。
【０００８】
また、上記のプログラムはコンピュータ読み取り可能な情報記憶媒体に格納することもできる。
【０００９】
本発明によると、距離測定手段による測定結果に基づく距離データに基づいて、移動体の三次元空間内における位置座標が算出されるので、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間を軽減することができる。
【００１０】
本発明の一態様では、前記移動体が複数の要素を含み、前記画像内位置特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素が表示されている当該画像内の位置を特定し、前記距離特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素と前記撮像手段との距離を特定し、前記位置座標算出手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素の三次元空間内における位置座標を算出し、前記位置座標算出手段により、前記基礎データに基づいて前記移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて算出することを特徴とする。こうすれば、基礎データからは三次元空間内における欠落要素の位置座標が算出されない場合に、基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて、この欠落要素の三次元空間内における位置座標を算出することができる。
【００１１】
また、この態様では、前記位置座標算出手段により前記欠落要素の位置座標が算出されない状態が所定時間にわたり継続する場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記時間の前において最後に算出される当該欠落要素の位置座標と、前記時間の後において最初に算出される当該欠落要素の位置座標と、に基づいて算出してもよい。こうすれば、三次元空間内における欠落要素の位置座標の算出が所定時間にわたりできない場合に、三次元空間内におけるこれらの欠落要素の位置座標を、この所定時間の直前及び直後に算出される当該欠落要素の位置座標に基づいて算出することができる。
【００１２】
また、この態様では、前記位置座標算出手段により前記欠落要素の位置座標が算出されない場合は、当該欠落要素の位置座標を、当該基礎データとは異なる複数の基礎データそれぞれに基づいて算出される当該欠落要素の位置座標の差分に基づいて算出してもよい。こうすれば、基礎データに基づいて三次元空間内における欠落要素の位置座標が算出されない場合に、この基礎データとは異なる複数の基礎データに基づいて算出される三次元空間内における欠落要素の位置座標の差分の情報を用いて、当該欠落要素の位置座標を算出することができる。
【００１３】
また、本発明の一態様では、前記基礎データが、複数の撮像手段それぞれにより生成される画像と、前記各画像を撮像した撮像手段と当該画像に表示されている物体との距離を示す距離データと、を含み、前記画像内位置特定手段が、前記基礎データに含まれる複数の画像それぞれに基づいて、それぞれの画像内の前記移動体が表示されている位置を特定し、前記距離特定手段が、前記移動体と前記各撮像手段との距離を特定し、前記位置座標算出手段が、前記画像内位置特定手段により特定される複数の前記画像内の位置と、前記距離特定手段により特定される複数の前記距離と、に基づいて、前記位置座標を算出することを特徴とする。こうすれば、撮像手段により物体を撮像する際における死角が少なくなるので、基礎データに基づいて移動体の三次元空間内における位置座標が算出されない可能性を減らすことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１５】
図１は、本実施形態に係る情報処理システム１のハードウェア構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置２と、携帯型ゲーム装置３と、を含んでいる。そして、図２は、本実施形態に係る携帯型ゲーム装置３の一例を示す斜視図である。
【００１６】
情報処理装置２は、制御部２１、記憶部２２、通信部２３、ユーザインタフェース（ＵＩ）部２４、を含んで構成される。制御部２１、記憶部２２、通信部２３、ＵＩ部２４、はバスを介して接続される。
【００１７】
情報処理装置２の制御部２１はＣＰＵ等のプログラム制御デバイスであり、情報処理装置２にインストールされるプログラムに従って動作する。
【００１８】
情報処理装置２の記憶部２２は、ＲＡＭ等の記憶素子やハードディスクなどである。情報処理装置２の記憶部２２には、情報処理装置２の制御部２１によって実行されるプログラムなどが記憶される。また、情報処理装置２の記憶部２２は、情報処理装置２の制御部２１のワークメモリとしても動作する。
【００１９】
情報処理装置２の通信部２３は、例えば、ネットワークインタフェースなどであり、情報処理装置２の制御部２１から入力される指示に従って、情報を送信する。また、この情報処理装置２の通信部２３は、ＬＡＮなどのネットワークを介して受信される情報を情報処理装置２の制御部２１に出力する。
【００２０】
情報処理装置２のＵＩ部２４は、ディスプレイ、マイク、スピーカ、ボタンなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部２１に出力する。また、この情報処理装置２のＵＩ部２４は、情報処理装置２の制御部２１から入力される指示に従って情報を表示出力したり音声出力したりする。
【００２１】
図２に示すように、本実施形態に係る携帯型ゲーム装置３の筐体３０の形状は、箱形である。そして、図１に示すように、本実施形態に係る携帯型ゲーム装置３は、制御部３１、記憶部３２、通信部３３、表示部３４、操作部３５、撮像部３６、距離測定部３７、を備えている。
【００２２】
携帯型ゲーム装置３の制御部３１はＣＰＵ等のプログラム制御デバイスであり、携帯型ゲーム装置３の記憶部３２に格納されたプログラムに従って動作する。
【００２３】
携帯型ゲーム装置３の記憶部３２は、ＲＡＭ等の記憶素子やハードディスクなどである。携帯型ゲーム装置３の記憶部３２には、携帯型ゲーム装置３の制御部３１によって実行されるプログラムなどが格納される。具体的には、例えば、携帯型ゲーム装置３の制御部３１で実行されるゲームプログラムが格納される。このゲームプログラムは、例えば、ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して携帯型ゲーム装置３に供給される。また、携帯型ゲーム装置３の記憶部３２は、携帯型ゲーム装置３の制御部３１のワークメモリとしても動作する。
【００２４】
携帯型ゲーム装置３の通信部３３は、例えば、ネットワークインタフェースなど（具体的には、例えば、無線ＬＡＮモジュール）であり、携帯型ゲーム装置３の制御部３１から入力される指示に従って、情報処理装置２などへ情報を送信する。また、この携帯型ゲーム装置３の通信部３３は、受信される情報を携帯型ゲーム装置３の制御部３１に出力する。
【００２５】
本実施形態においては、情報処理装置２の通信部２３、及び、携帯型ゲーム装置３の通信部３３は、ＬＡＮなどのネットワークに接続されており互いに通信することができるようになっている。なお、ネットワークは有線であっても無線であっても構わない。
【００２６】
携帯型ゲーム装置３の表示部３４は、例えば液晶ディスプレイ等であり、携帯型ゲーム装置３の制御部３１からの指示に従って、画像の表示を行う。本実施形態では、携帯型ゲーム装置３の表示部３４は、携帯型ゲーム装置３の筐体３０の正面中央部に設けられている。ここで、携帯型ゲーム装置３の制御部３１は、携帯型ゲーム装置３の表示部３４に、表示される画像の解像度やアスペクト比などといった属性を併せて指示してもよい。また、携帯型ゲーム装置３の制御部３１は、実行するプログラムに含まれる、画像の解像度やアスペクト比などといった属性を示す属性情報の内容に従って携帯型ゲーム装置３の表示部３４に表示される画像の属性を指示してもよい。
【００２７】
携帯型ゲーム装置３の操作部３５は、例えば、操作部材（具体的には、例えば、十字キーやボタン）であり、当該操作部材に対する操作に応じた出力データを携帯型ゲーム装置３の制御部３１に対して出力する。携帯型ゲーム装置３の制御部３１は、この出力データを取得することで、当該出力データを用いてプレイヤの操作部材に対する操作に応じた処理を実行する。本実施形態では、携帯型ゲーム装置３の操作部３５は、携帯型ゲーム装置３の表示部３４の左右に設けられている。すなわち、携帯型ゲーム装置３の操作部３５は、携帯型ゲーム装置３の筐体３０の正面左側及び正面右側に分かれて配置されている。
【００２８】
携帯型ゲーム装置３の撮像部３６は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。なお、携帯型ゲーム装置３の撮像部３６は、標準カメラであっても、望遠カメラであっても、広角カメラであっても構わない。本実施形態では、携帯型ゲーム装置３の撮像部３６は、携帯型ゲーム装置３の表示部３４の上側に設けられている。すなわち、携帯型ゲーム装置３の撮像部３６は、筐体３０の正面中央付近上側に設けられている。
【００２９】
携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３と、その外部に存在する外部物体との距離を測定する。携帯型ゲーム装置３の距離測定部３７は、例えば、携帯型ゲーム装置３の撮像部３６と、外部物体（より具体的には、例えば、外部物体の表面）との距離（以下、物体距離と呼ぶ。）を測定し、物体距離を示す距離データ４４を生成する（図３参照）。なお、距離データ４４の詳細については後述する。
【００３０】
本実施形態では、携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３の撮像部３６によって生成される画像に含まれる各画素と、各画素に対応する物体距離とを対応づけた距離データ４４を生成する。すなわち、本実施形態では、携帯型ゲーム装置３の撮像部３６によって生成される画像内の画素の位置と、携帯型ゲーム装置３の距離測定部３７で測定される物体距離とは一対一で対応づけられる。
【００３１】
携帯型ゲーム装置３の距離測定部３７は、具体的には、例えば、複数のレンズから構成されるステレオカメラであり、それぞれのレンズの視差に基づいて、外部物体と携帯型ゲーム装置３との距離を測定する。携帯型ゲーム装置３の距離測定部３７は、ステレオカメラにはもちろん限定されず、携帯型ゲーム装置３の距離測定部３７は、赤外線を出力して、その赤外線が撮像対象オブジェクトに反射して戻ってくるまでの時間を測定して、その測定された時間に基づいて、外部物体と携帯型ゲーム装置３との距離を測定しても構わない。また、携帯型ゲーム装置３の距離測定部３７が、焦点距離の異なる複数のレンズから構成され、これらのレンズのうち、外部物体に対してピントが合ったレンズに基づいて、外部物体と携帯型ゲーム装置３との距離を測定しても構わない。なお、本実施形態では、携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３の撮像部３６と一体的に形成されており、表示部３４の上側に設けられている。すなわち、携帯型ゲーム装置３の距離測定部３７は、正面中央付近上側に設けられている。
【００３２】
本実施形態では、携帯型ゲーム装置３は、基礎データ４０を生成し、情報処理装置２に送信する（図３参照）。図３は、基礎データ４０のデータ構造の一例を示す図である。図３に示すように、基礎データ４０は、ユーザ画像４２と距離データ４４とを含んでいる。
【００３３】
本実施形態では、携帯型ゲーム装置３の撮像部３６が、所定時間（例えば１／６０秒）ごとに、被写体ユーザ４６の動く様子を撮像し、一連のユーザ画像４２を生成する（図４Ａ〜図４Ｅ参照）。ここで、被写体ユーザ４６は移動体の一例として示しているにすぎない。撮像部３６が、被写体ユーザ４６以外の移動体が動く様子を撮像して、その移動体の画像を生成するようにしても構わない。
【００３４】
本実施形態では、具体的には、例えば、撮像部３６が、被写体ユーザ４６を撮像し、順次第ｎユーザ画像４２−ｎ（ｎ＝１，２，３・・・）を生成する。図４Ａに第１ユーザ画像４２−１の一例を、図４Ｂに第２ユーザ画像４２−２の一例を、図４Ｃに第３ユーザ画像４２−３の一例を、図４Ｄに第４ユーザ画像４２−４の一例を、図４Ｅに第５ユーザ画像４２−５の一例を示す。そして、図４Ａ〜図４Ｅに示すように、本実施形態に係るユーザ画像４２には、被写体ユーザ４６だけではなく、地面４８も表示されている。すなわち、撮像部３６により生成される画像には、被写体ユーザ４６などの移動体を含む少なくとも１つの物体が表示されている。また、携帯型ゲーム装置３の距離測定部３７は、被写体ユーザ４６と携帯型ゲーム装置３との距離を順次測定し、第ｎユーザ画像４２−ｎ内の各画素に対応する物体距離を対応づけた第ｎ距離データ４４−ｎを生成する。そして、携帯型ゲーム装置３の制御部３１が、第ｎユーザ画像４２−ｎと、そのユーザ画像４２に対応する第ｎ距離データ４４−ｎと、を含む第ｎ基礎データ４０−ｎを生成する。
【００３５】
そして、携帯型ゲーム装置３の通信部３３が基礎データ４０を情報処理装置２に送信する。そして、情報処理装置２の通信部２３がこの基礎データ４０を受信する。
【００３６】
次に、本実施形態に係る情報処理装置２により実現される機能を説明する。図５は、本実施形態に係る情報処理装置２の機能ブロック図である。図５に示すように、本実施形態に係る情報処理装置２は、機能的には、基礎データ取得部５０、画像内位置特定部５２、距離特定部５４、位置座標算出部５６、モーションデータ生成部５８を含むものとして機能する。これらの要素は、コンピュータである情報処理装置２にインストールされたプログラムを、情報処理装置２に含まれるＣＰＵ等の制御部２１で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介して情報処理装置２に供給される。
【００３７】
基礎データ取得部５０は、画像と距離データ４４とを含む基礎データ４０を複数取得する。本実施形態では、基礎データ取得部５０は、携帯型ゲーム装置３の通信部３３が送信して、情報処理装置２の通信部２３が受信する、ユーザ画像４２と距離データ４４とを含む基礎データ４０を順次取得する。
【００３８】
画像内位置特定部５２は、基礎データ４０に含まれる画像（本実施形態ではユーザ画像４２）に基づいて、所定の移動体（本実施形態では被写体ユーザ４６）が表示されている、画像（本実施形態ではユーザ画像４２）内の位置を特定する。
【００３９】
本実施形態では、被写体ユーザ４６は複数の要素６０を含んでいる（図６参照）。本実施形態では、各要素６０は、例えば、頭、胴体、左ひざ、右ひざ、左足、右足、左手、右手などといった被写体ユーザ４６の体の部位に対応している。そして、画像内位置特定部５２は、例えば、パターン認識技術を用いて、各要素６０の、ユーザ画像４２内の位置を特定する。図６は、画像内位置特定部５２により特定された、第１ユーザ画像４２−１内の、右手を示す右手要素６０ａ及び胴体を示す胴体要素６０ｂを含む各要素６０の位置の一例を示す図である。
【００４０】
ここで、画像内位置特定部５２は、ユーザ画像４２内の各画素の色に基づいて、各要素６０の位置を特定するようにしても、もちろん構わない。また、画像内位置特定部５２は、既存の光学式モーションキャプチャ技術などを利用して、各要素６０の、ユーザ画像４２内の位置を特定しても構わない。
【００４１】
なお、画像内位置特定部５２が、情報処理装置２の記憶部２２に予め記憶されている、被写体ユーザ４６に含まれる要素６０、及び、その各要素６０のユーザ画像４２内における位置を特定する方法を示す特定方法データを用いて、各要素の位置座標を特定するようにしても構わない。
【００４２】
画像内位置特定部５２は、各要素６０を代表する代表点（例えば、各要素６０が表示されている領域の重心）の位置座標を特定するようにしても構わない。本実施形態では、画像内位置特定部５２は、第ｎユーザ画像４２−ｎ内において右手要素６０ａが表示されている領域の重心（右手重心）の位置座標（右手第ｎ画像内位置座標）（Ｘｎ，Ｙｎ）を特定する。図６に、画像内位置特定部５２により特定された右手第１画像内位置座標（Ｘ１，Ｙ１）を併せて示す。ここで、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）は、第ｎユーザ画像４２−ｎの左上の点を原点とし、下方向をＸ軸、右方向をＹ軸とする二次元座標系における位置座標で表現されている。なお、画像内位置座標の表現方法は上述の方法にもちろん限定されない。
【００４３】
距離特定部５４は、画像内位置特定部５２により特定される画像内の位置と、その画像を含む基礎データ４０に含まれる距離データ４４と、に基づいて、移動体と携帯型ゲーム装置３の撮像部３６との距離を特定する。本実施形態では、距離特定部５４は、ユーザ画像４２を含む基礎データ４０に含まれる距離データ４４が示す、ユーザ画像４２内の各要素６０の代表点の位置座標に対応づけられた物体距離を特定する。具体的には、例えば、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）の画素に対応づけられる、第ｎ距離データ４４−ｎが示す物体距離を、右手第ｎ物体距離Ｚｎとして特定する。図７に、右手第１物体距離Ｚ１の一例を示す図を示す。なお、距離特定部５４は、上述とは異なる方法により物体距離を特定しても構わない。具体的には、例えば、第ｎユーザ画像４２−ｎ内において右手要素６０ａが表示されている領域内の各画素に対応づけられる物体距離の平均値を、右手第ｎ物体距離Ｚｎとして特定してもよい。
【００４４】
位置座標算出部５６は、画像内位置特定部５２により特定される画像内の位置と、距離特定部５４により特定される距離と、に基づいて、移動体の三次元空間内における位置座標を算出する。本実施形態では、位置座標算出部５６は、第ｎユーザ画像４２−ｎ内の各要素６０の代表点の位置座標と、距離特定部５４により、第ｎ距離データ４４−ｎに基づいて特定される、その位置座標に対応づけられた物体距離と、に基づいて、その代表点の第ｎ三次元位置座標を算出する。より具体的には、例えば、位置座標算出部５６は、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）と、右手第ｎ物体距離Ｚｎとに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する（図８参照）。なお、位置座標算出部５６は、同様の方法により、胴体第ｎ三次元位置座標（ｘｎ’，ｙｎ’，ｚｎ’）を算出しても構わない。なお、本実施形態では直交座標系により、三次元位置座標が表現されているが、極座標系など他の座標系により、三次元位置座標が表現されてももちろん構わない。
【００４５】
モーションデータ生成部５８は、各基礎データ４０に基づいて算出される位置座標に基づいて、移動体の三次元空間内における動きを示すモーションデータを生成する。本実施形態では、各基礎データ４０に基づいて算出される、被写体ユーザ４６に含まれる各要素６０の代表点の三次元位置座標に基づいて、被写体ユーザ４６の三次元空間内における動きを示すモーションデータを生成する。より具体的には、例えば、右手第１三次元位置座標（ｘ１，ｙ１，ｚ１）、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）などの、一連の右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を組み合わせて、右手の三次元空間内における動きを示すモーションデータを生成する。
【００４６】
なお、モーションデータ生成部５８が、例えば、情報処理装置２の記憶部２２に予め記憶されている、要素６０間の接続関係を示す接続関係データを用いて、図８に示すような、被写体ユーザ４６のワイヤーフレームモデルデータ６２を生成するようにしても構わない。このように、各要素の動きを示すモーションデータを組み合わせることで、例えば、人間が歩く様子を示すモーションデータが生成される。
【００４７】
本実施形態では、一連の三次元位置座標に基づいてモーションデータが生成される。そのため、本実施形態に係る情報処理装置２によれば、移動体の立体的な動きがシミュレートされたモーションデータを生成することができる。
【００４８】
次に、本実施形態に係る情報処理装置２の基礎データ取得部５０が取得する第ｎ基礎データ４０−ｎに基づいて、被写体ユーザ４６に含まれる右手要素６０ａの三次元空間内における第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する処理の流れの一例を、図９に示すフロー図を参照しながら説明する。
【００４９】
まず、画像内位置特定部５２が、第ｎ基礎データ４０−ｎに含まれる第ｎユーザ画像４２−ｎに基づいて、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）を特定する（Ｓ１０１）。
【００５０】
そして、距離特定部５４が、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）に対応する、基礎データ４０に含まれる距離データ４４に示される右手第ｎ物体距離Ｚｎを特定する（Ｓ１０２）。
【００５１】
そして、位置座標算出部５６が、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）と、右手第ｎ物体距離Ｚｎと、に基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する（Ｓ１０３）。
【００５２】
そして、位置座標算出部５６は、Ｓ１０３に示す処理により、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されたか否かを確認する（Ｓ１０４）。ここで、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されている場合は（Ｓ１０４：Ｙ）、この処理を終了する。
【００５３】
ここで、例えば、画像内位置特定部５２が、第ｎユーザ画像４２−ｎに基づいて右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）を特定できない場合がある。より具体的には、例えば、図４Ｃに示すように、右手要素６０ａが被写体ユーザ４６の陰に隠れているために、画像内位置特定部５２が、第ｎユーザ画像４２−３に基づいて、右手第３画像内位置座標（Ｘ３，Ｙ３）を特定できない場合がある。また、距離特定部５４が、第ｎ距離データ４４−ｎに基づいて、右手第ｎ物体距離Ｚｎを特定できない場合がある。このような場合は、Ｓ１０４に示す処理において、第ｎ基礎データ４０−ｎに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されない。
【００５４】
このように、Ｓ１０４に示す処理において、第ｎ基礎データ４０−ｎに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されていない場合は（Ｓ１０４：Ｎ）、この右手要素６０ａについては、位置座標算出部５６が、基礎データ取得部５０が取得する複数の基礎データ４０のうち、第ｎ基礎データ４０−ｎとは異なる基礎データ４０に基づいて、三次元位置座標を算出する（Ｓ１０５）。
【００５５】
具体的には、例えば、位置座標算出部５６が、胴体を示す要素６０（胴体要素６０ｂ）の三次元位置座標（胴体第ｎ三次元位置座標（ｘｎ’，ｙｎ’，ｚｎ’））から右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）へのベクトルＶｎを用いて、Ｓ１０４に示す処理により算出されていない右手要素６０ａの第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出するようにしてもよい。図１０に、位置座標算出部５６が、ベクトルＶｎを用いて第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出する方法の一例を示す。例えば、位置座標算出部５６が、まず、右手第１ベクトルＶ１と、右手第２ベクトルＶ２とがなす角θ１２に基づいて、右手第２ベクトルＶ２と右手第３ベクトルＶ３とがなす角θ２３が等しくなり（θ１２＝θ２３）、右手第２ベクトルＶ２のノルム｜Ｖ２｜と、右手第３ベクトルＶ３のノルム｜Ｖ３｜が等しくなり（｜Ｖ２｜＝｜Ｖ３｜）、右手第１ベクトルＶ１、右手第２ベクトルＶ２、右手第３ベクトルＶ３が同一平面上のベクトルとなるよう、右手第３ベクトルＶ３の値を算出する。そして、位置座標算出部５６が、胴体第３三次元位置座標（ｘ３’，ｙ３’，ｚ３’）の位置ベクトルと、右手第３ベクトルＶ３とのベクトル和に基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出する。
【００５６】
なお、Ｓ１０５に示す処理における右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）の算出方法は上述の方法に限定されない。例えば、位置座標算出部５６は、第１三次元位置座標（ｘ１，ｙ１，ｚ１）から第２三次元位置座標（ｘ２，ｙ２，ｚ２）へのベクトル（ｘ２−ｘ１，ｙ２−ｙ１，ｚ２−ｚ１）と、第２三次元位置座標（ｘ２，ｙ２，ｚ２）の位置ベクトルとのベクトル和に基づいて、第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出するようにしても構わない（（ｘ３，ｙ３，ｚ３）＝（２ｘ２−ｘ１,２ｙ２−ｙ１,２ｚ２−ｚ１））。
【００５７】
また、位置座標算出部５６は、例えば、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と、右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）とに基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出するようにしても構わない。より具体的には、例えば、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）との中点を右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）として算出するようにしても構わない。
【００５８】
このように、位置座標算出部５６により、第ｎ基礎データ４０−ｎに基づいて、移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は（Ｓ１０４参照）、位置座標算出部５６が、この欠落要素の位置座標を、基礎データ取得部５０が取得する複数の基礎データ４０のうちの、第ｎ基礎データ４０−ｎとは異なる基礎データ４０に基づいて算出するようにしても構わない（Ｓ１０５参照）。また、位置座標算出部５６が、欠落要素の三次元位置座標を、三次元位置座標の差分に基づいて算出するようにしても構わない。
【００５９】
また、Ｓ１０４に示す処理において、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）と、右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）とが算出されていないことが確認された場合は、Ｓ１０５に示す処理において、位置座標算出部５６が、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と、右手第５三次元位置座標（ｘ５，ｙ５，ｚ５）とに基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）及び右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）を算出するようにしても構わない。このように、例えば、時刻ｔ１から時刻ｔ２にわたって欠落要素の位置座標が算出されない状態が継続する場合は、位置座標算出部５６が、欠落要素の位置座標を、時刻ｔ１より前において最後に算出される欠落要素の位置座標と、時刻ｔ２後において最初に算出される欠落要素の位置座標と、に基づいて算出するようにしても構わない。
【００６０】
Ｓ１０５に示す処理でも三次元位置座標が特定されない場合には、情報処理装置２の制御部２１が、スピーカなどの、情報処理装置２のＵＩ部２４に対してアラーム音を出力するよう指示してもよい。また、携帯型ゲーム装置３がスピーカを備えている場合は、情報処理装置２の制御部２１が、情報処理装置２の通信部２３を介して、携帯型ゲーム装置３のスピーカにアラーム音を出力するよう指示してもよい。
【００６１】
上記の処理例においては、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する処理例を示したが、同様の方法により、右手要素６０ａ以外の要素６０の、三次元位置座標を算出することができるのはもちろんである。
【００６２】
このように、本実施形態においては、携帯型ゲーム装置３の撮像部３６により生成されるユーザ画像４２と、携帯型ゲーム装置３の距離測定部３７により生成される距離データ４４とに基づいて、各フレームにおける移動体の三次元位置座標が算出される。そしてこの一連の三次元位置座標に基づいてモーションデータが生成されるので、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間が軽減される。
【００６３】
さらに、第ｎ基礎データ４０−ｎだけからでは、第ｎ三次元位置座標が算出されず、他の基礎データ４０から算出される位置座標に基づいて、第ｎ三次元位置座標を算出する場合において、他の基礎データ４０から算出される三次元の位置座標に関する情報を活用することができるので、算出される第ｎ三次元位置座標の精度をより高めることができる。
【００６４】
なお、本発明は上述の実施形態に限定されるものではない。
【００６５】
例えば、図１１に示すように、複数の携帯型ゲーム装置３（第１携帯型ゲーム装置３−１、及び、第２携帯型ゲーム装置３−２）の撮像部３６が互いにタイミングを合わせて、被写体ユーザ４６などの移動体を撮像し、第１携帯型ゲーム装置３−１の距離測定部３７が、第１携帯型ゲーム装置３−１と被写体ユーザ４６などの移動体との距離を測定し、第２携帯型ゲーム装置３−２の距離測定部３７が、第２携帯型ゲーム装置３−２と被写体ユーザ４６などの移動体との距離を測定するようにしても構わない。このとき、それぞれの携帯型ゲーム装置３から送信される基礎データ４０の組合せに基づいて、位置座標算出部５６が、三次元位置座標を算出するようにしても構わない。
【００６６】
具体的には、例えば、まず、第１携帯型ゲーム装置３−１の撮像部３６で予め被写体ユーザ４６を撮像することにより生成されるユーザ画像４２を第１携帯型ゲーム装置３−１の表示部３４に表示する。そして、ユーザが、このユーザ画像４２内のある要素６０（例えば右手要素６０ａ）の位置を、第１携帯型ゲーム装置３−１の操作部３５により指定する。そして、第１携帯型ゲーム装置３−１の制御部３１が、ユーザにより指定された位置を示すデータを取得する。そして、第２携帯型ゲーム装置３−２の撮像部３６で予め被写体ユーザ４６を撮像することにより生成されるユーザ画像４２を第２携帯型ゲーム装置３−２の表示部３４に表示する。そして、ユーザが、このユーザ画像４２内の要素６０（例えば右手要素６０ａ）の位置を、第２携帯型ゲーム装置３−２の操作部３５により指定する。そして、第２携帯型ゲーム装置３−２の制御部３１が、ユーザにより指定された位置を示すデータを取得する。このようにして、それぞれの携帯型ゲーム装置３において、互いに対応する要素６０の位置を予め指定した上で、被写体ユーザ４６の動く様子をそれぞれの携帯型ゲーム装置３の撮像部３６で撮像して、一連のユーザ画像４２を生成し、それぞれの携帯型ゲーム装置３の距離測定部３７が一連の距離データ４４を生成する。そしてそれぞれの携帯型ゲーム装置３がユーザ画像４２と距離データ４４とを含む基礎データ４０を生成し、情報処理装置２へ送信する。そして、情報処理装置２がそれぞれの携帯型ゲーム装置３から送信される基礎データ４０を受信して、これらの基礎データ４０の組合せに基づいて、位置座標算出部５６が、三次元位置座標を算出する。
【００６７】
こうすれば、例えば、一方の携帯型ゲーム装置３で生成されるユーザ画像４２には表示されていない要素６０が、他方の携帯型ゲーム装置３で生成されるユーザ画像４２には表示されているような場合があるので、上述の処理例のＳ１０５に示すような、第ｎ基礎データ４０−ｎとは異なる基礎データ４０を用いて第ｎ三次元位置座標を算出する場面を減らすことができる。
【００６８】
なお、それぞれの携帯型ゲーム装置３が、その携帯型ゲーム装置３が配置されている位置を示すデータを基礎データ４０と併せて情報処理装置２へ送信するようにしても構わない。こうすれば、それぞれの携帯型ゲーム装置３の位置を示すデータに基づいて、各要素６０の三次元位置座標を算出することができる。
【００６９】
また、例えば、情報処理システム１が、携帯型ゲーム装置３の代わりに、撮像機能と距離測定機能を有するビデオカメラなどを含んでいても構わない。すなわち、携帯型ゲーム装置３の代わりとして、撮像機能と距離測定機能を有するビデオカメラを用いても構わない。
【００７０】
また、上述の情報処理装置２と携帯型ゲーム装置３とが一つの筐体により実装されていても構わない。
【００７１】
次に、このようにして生成されるモーションデータの活用例を以下に示す。
【００７２】
例えば、生成されるモーションデータが情報処理装置２の通信部２３からインターネットワークなどのネットワークを介して接続されているサーバ（図示せず）にアップロードされてもよい。その際に、ユーザが、モーションデータを使用しているゲームタイトルを示すデータ、モーションデータの作者を示すデータ、このモーションデータに基づいて生成されたＣＧのキャラクタを示すデータなどの属性データを関連付けてモーションデータを併せてアップロードできるようにしてもよい。そして、サーバでは、モーションデータと属性データとが関連付けられて記憶されるようにしても構わない。また、モーションデータは、既存のスクリプト言語で記述されたデータに変換された上で、サーバに記憶されるようにしてもよい。
【００７３】
ユーザが、サーバに記憶されているモーションデータを、例えば、ブラウザなどで閲覧できるようにしてもよい。このとき、モーションデータが、カテゴリに分類されて表示されるようにしてもよい。また、モーションデータがアイコン化されていてもよい。具体的には、例えば、モーションデータが、ワイヤーフレームや、キャラクタなどの動きとしてブラウザで表現されるようにしてもよい。
【００７４】
また、モーションデータをアップロードするユーザが、このモーションデータの公開対象となるユーザを設定して、設定されたユーザのみがモーションデータを閲覧することができるようにしてもよい。
【００７５】
そして、閲覧の対象であるモーションデータが、モーションデータのネットワークストアへのハイパーリンクとなっており、ユーザがそのハイパーリンクをクリックすることにより、モーションデータを購入することができるようになっていてもよい。
【００７６】
また、新たにサーバにアップロードされるモーションデータを、情報処理装置２が、ネットワークを介して逐次ダウンロードして、情報処理装置２の記憶部２２にキャッシュするようにしてもよい。また、例えば、ゲームのセーブデータと共に、モーションデータが情報処理装置２の記憶部２２に記憶されていても構わない。
【００７７】
また、例えば、情報処理装置２が、サーバに記憶されている、人間がダンスをしている様子や人間がゴルフのスイングをしている様子が示されているモーションデータと、携帯型ゲーム装置３の撮像部３６で撮像される一連のユーザ画像４２に基づいて生成されるモーションデータとを比較して、それぞれのモーションデータの対応度に基づく点数を算出するようにしても構わない。
【図面の簡単な説明】
【００７８】
【図１】本発明の一実施形態に係る情報処理システムのハードウェア構成の一例を示すハードウェア構成図である。
【図２】本発明の一実施形態に係る携帯型ゲーム装置の一例を示す斜視図である。
【図３】基礎データのデータ構造の一例を示す図である。
【図４Ａ】第１ユーザ画像の一例を示す図である。
【図４Ｂ】第２ユーザ画像の一例を示す図である。
【図４Ｃ】第３ユーザ画像の一例を示す図である。
【図４Ｄ】第４ユーザ画像の一例を示す図である。
【図４Ｅ】第５ユーザ画像の一例を示す図である。
【図５】本発明の一実施形態に係る情報処理装置の機能の一例を示す機能ブロック図である。
【図６】第１ユーザ画像内の各要素の位置の一例を示す図である。
【図７】右手第１物体距離の一例を示す図である。
【図８】ワイヤーフレームモデルデータの一例を示す図である。
【図９】本発明の一実施形態に係る情報処理装置で行われる処理のフローの一例を示す図である。
【図１０】第３三次元位置座標の算出方法の一例を示す図である。
【図１１】複数の携帯型ゲーム装置の撮像部によりユーザを撮像する様子の一例を示す図である。
【符号の説明】
【００７９】
１ 情報処理システム、２ 情報処理装置、２１ 制御部、２２ 記憶部、２３ 通信部、２４ ユーザインタフェース（ＵＩ）部、３ 携帯型ゲーム装置、３０ 筐体、３１ 制御部、３２ 記憶部、３３ 通信部、３４ 表示部、３５ 操作部、３６ 撮像部、３７ 距離測定部、４０ 基礎データ、４２ ユーザ画像、４４ 距離データ、４６ 被写体ユーザ、４８ 地面、５０ 基礎データ取得部、５２ 画像内位置特定部、５４ 距離特定部、５６ 位置座標算出部、５８ モーションデータ生成部、６０ 要素、６０ａ 右手要素、６０ｂ 胴体要素、６２ ワイヤーフレームモデルデータ。
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラム及び情報記憶媒体に関する。
【背景技術】
【０００２】
ビデオカメラなどで撮像される人間などの移動体の動きを情報処理装置に取り込むモーションキャプチャに関する技術が知られている。例えば、ビデオカメラで移動体を撮像することにより生成される一連の画像に基づいて、その移動体の動きを示すモーションデータを生成する情報処理装置が存在する。このような情報処理装置のなかには、ユーザが、生成される画像内のいくつかの位置をマーキングし、それぞれのマークの前後関係を指定することで、移動体の立体的な動きをシミュレートしてモーションデータを生成することができるものが存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の情報処理装置では、移動体の立体的な動きをシミュレートしてモーションデータを生成する際に、ユーザが画像内の位置を指定する必要があり、手間がかかっていた。
【０００４】
本発明は、上記課題に鑑みてなされたものであって、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間を軽減することができる情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る情報処理装置は、所定の移動体の動きを示すモーションデータを生成する情報処理装置であって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段と、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段と、前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段と、前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段と、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段と、を含むことを特徴とする。
【０００６】
また、本発明に係る情報処理方法は、所定の移動体の動きを示すモーションデータを生成する情報処理方法であって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得ステップと、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定ステップと、前記画像内位置特定ステップにより特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定ステップと、前記画像内位置特定ステップにより特定される前記画像内の位置と、前記距離特定ステップにより特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出ステップと、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成ステップと、を含むことを特徴とする。
【０００７】
また、本発明に係るプログラムは、所定の移動体の動きを示すモーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムであって、前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段、前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段、前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段、前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段、前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段として前記コンピュータを機能させることを特徴とする。
【０００８】
また、上記のプログラムはコンピュータ読み取り可能な情報記憶媒体に格納することもできる。
【０００９】
本発明によると、距離測定手段による測定結果に基づく距離データに基づいて、移動体の三次元空間内における位置座標が算出されるので、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間を軽減することができる。
【００１０】
本発明の一態様では、前記移動体が複数の要素を含み、前記画像内位置特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素が表示されている当該画像内の位置を特定し、前記距離特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素と前記撮像手段との距離を特定し、前記位置座標算出手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素の三次元空間内における位置座標を算出し、前記位置座標算出手段により、前記基礎データに基づいて前記移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて算出することを特徴とする。こうすれば、基礎データからは三次元空間内における欠落要素の位置座標が算出されない場合に、基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて、この欠落要素の三次元空間内における位置座標を算出することができる。
【００１１】
また、この態様では、前記位置座標算出手段により前記欠落要素の位置座標が算出されない状態が所定時間にわたり継続する場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記時間の前において最後に算出される当該欠落要素の位置座標と、前記時間の後において最初に算出される当該欠落要素の位置座標と、に基づいて算出してもよい。こうすれば、三次元空間内における欠落要素の位置座標の算出が所定時間にわたりできない場合に、三次元空間内におけるこれらの欠落要素の位置座標を、この所定時間の直前及び直後に算出される当該欠落要素の位置座標に基づいて算出することができる。
【００１２】
また、この態様では、前記位置座標算出手段により前記欠落要素の位置座標が算出されない場合は、当該欠落要素の位置座標を、当該基礎データとは異なる複数の基礎データそれぞれに基づいて算出される当該欠落要素の位置座標の差分に基づいて算出してもよい。こうすれば、基礎データに基づいて三次元空間内における欠落要素の位置座標が算出されない場合に、この基礎データとは異なる複数の基礎データに基づいて算出される三次元空間内における欠落要素の位置座標の差分の情報を用いて、当該欠落要素の位置座標を算出することができる。
【００１３】
また、本発明の一態様では、前記基礎データが、複数の撮像手段それぞれにより生成される画像と、前記各画像を撮像した撮像手段と当該画像に表示されている物体との距離を示す距離データと、を含み、前記画像内位置特定手段が、前記基礎データに含まれる複数の画像それぞれに基づいて、それぞれの画像内の前記移動体が表示されている位置を特定し、前記距離特定手段が、前記移動体と前記各撮像手段との距離を特定し、前記位置座標算出手段が、前記画像内位置特定手段により特定される複数の前記画像内の位置と、前記距離特定手段により特定される複数の前記距離と、に基づいて、前記位置座標を算出することを特徴とする。こうすれば、撮像手段により物体を撮像する際における死角が少なくなるので、基礎データに基づいて移動体の三次元空間内における位置座標が算出されない可能性を減らすことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１５】
図１は、本実施形態に係る情報処理システム１のハードウェア構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置２と、携帯型ゲーム装置３と、を含んでいる。そして、図２は、本実施形態に係る携帯型ゲーム装置３の一例を示す斜視図である。
【００１６】
情報処理装置２は、制御部２１、記憶部２２、通信部２３、ユーザインタフェース（ＵＩ）部２４、を含んで構成される。制御部２１、記憶部２２、通信部２３、ＵＩ部２４、はバスを介して接続される。
【００１７】
情報処理装置２の制御部２１はＣＰＵ等のプログラム制御デバイスであり、情報処理装置２にインストールされるプログラムに従って動作する。
【００１８】
情報処理装置２の記憶部２２は、ＲＡＭ等の記憶素子やハードディスクなどである。情報処理装置２の記憶部２２には、情報処理装置２の制御部２１によって実行されるプログラムなどが記憶される。また、情報処理装置２の記憶部２２は、情報処理装置２の制御部２１のワークメモリとしても動作する。
【００１９】
情報処理装置２の通信部２３は、例えば、ネットワークインタフェースなどであり、情報処理装置２の制御部２１から入力される指示に従って、情報を送信する。また、この情報処理装置２の通信部２３は、ＬＡＮなどのネットワークを介して受信される情報を情報処理装置２の制御部２１に出力する。
【００２０】
情報処理装置２のＵＩ部２４は、ディスプレイ、マイク、スピーカ、ボタンなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部２１に出力する。また、この情報処理装置２のＵＩ部２４は、情報処理装置２の制御部２１から入力される指示に従って情報を表示出力したり音声出力したりする。
【００２１】
図２に示すように、本実施形態に係る携帯型ゲーム装置３の筐体３０の形状は、箱形である。そして、図１に示すように、本実施形態に係る携帯型ゲーム装置３は、制御部３１、記憶部３２、通信部３３、表示部３４、操作部３５、撮像部３６、距離測定部３７、を備えている。
【００２２】
携帯型ゲーム装置３の制御部３１はＣＰＵ等のプログラム制御デバイスであり、携帯型ゲーム装置３の記憶部３２に格納されたプログラムに従って動作する。
【００２３】
携帯型ゲーム装置３の記憶部３２は、ＲＡＭ等の記憶素子やハードディスクなどである。携帯型ゲーム装置３の記憶部３２には、携帯型ゲーム装置３の制御部３１によって実行されるプログラムなどが格納される。具体的には、例えば、携帯型ゲーム装置３の制御部３１で実行されるゲームプログラムが格納される。このゲームプログラムは、例えば、ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して携帯型ゲーム装置３に供給される。また、携帯型ゲーム装置３の記憶部３２は、携帯型ゲーム装置３の制御部３１のワークメモリとしても動作する。
【００２４】
携帯型ゲーム装置３の通信部３３は、例えば、ネットワークインタフェースなど（具体的には、例えば、無線ＬＡＮモジュール）であり、携帯型ゲーム装置３の制御部３１から入力される指示に従って、情報処理装置２などへ情報を送信する。また、この携帯型ゲーム装置３の通信部３３は、受信される情報を携帯型ゲーム装置３の制御部３１に出力する。
【００２５】
本実施形態においては、情報処理装置２の通信部２３、及び、携帯型ゲーム装置３の通信部３３は、ＬＡＮなどのネットワークに接続されており互いに通信することができるようになっている。なお、ネットワークは有線であっても無線であっても構わない。
【００２６】
携帯型ゲーム装置３の表示部３４は、例えば液晶ディスプレイ等であり、携帯型ゲーム装置３の制御部３１からの指示に従って、画像の表示を行う。本実施形態では、携帯型ゲーム装置３の表示部３４は、携帯型ゲーム装置３の筐体３０の正面中央部に設けられている。ここで、携帯型ゲーム装置３の制御部３１は、携帯型ゲーム装置３の表示部３４に、表示される画像の解像度やアスペクト比などといった属性を併せて指示してもよい。また、携帯型ゲーム装置３の制御部３１は、実行するプログラムに含まれる、画像の解像度やアスペクト比などといった属性を示す属性情報の内容に従って携帯型ゲーム装置３の表示部３４に表示される画像の属性を指示してもよい。
【００２７】
携帯型ゲーム装置３の操作部３５は、例えば、操作部材（具体的には、例えば、十字キーやボタン）であり、当該操作部材に対する操作に応じた出力データを携帯型ゲーム装置３の制御部３１に対して出力する。携帯型ゲーム装置３の制御部３１は、この出力データを取得することで、当該出力データを用いてプレイヤの操作部材に対する操作に応じた処理を実行する。本実施形態では、携帯型ゲーム装置３の操作部３５は、携帯型ゲーム装置３の表示部３４の左右に設けられている。すなわち、携帯型ゲーム装置３の操作部３５は、携帯型ゲーム装置３の筐体３０の正面左側及び正面右側に分かれて配置されている。
【００２８】
携帯型ゲーム装置３の撮像部３６は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。なお、携帯型ゲーム装置３の撮像部３６は、標準カメラであっても、望遠カメラであっても、広角カメラであっても構わない。本実施形態では、携帯型ゲーム装置３の撮像部３６は、携帯型ゲーム装置３の表示部３４の上側に設けられている。すなわち、携帯型ゲーム装置３の撮像部３６は、筐体３０の正面中央付近上側に設けられている。
【００２９】
携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３と、その外部に存在する外部物体との距離を測定する。携帯型ゲーム装置３の距離測定部３７は、例えば、携帯型ゲーム装置３の撮像部３６と、外部物体（より具体的には、例えば、外部物体の表面）との距離（以下、物体距離と呼ぶ。）を測定し、物体距離を示す距離データ４４を生成する（図３参照）。なお、距離データ４４の詳細については後述する。
【００３０】
本実施形態では、携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３の撮像部３６によって生成される画像に含まれる各画素と、各画素に対応する物体距離とを対応づけた距離データ４４を生成する。すなわち、本実施形態では、携帯型ゲーム装置３の撮像部３６によって生成される画像内の画素の位置と、携帯型ゲーム装置３の距離測定部３７で測定される物体距離とは一対一で対応づけられる。
【００３１】
携帯型ゲーム装置３の距離測定部３７は、具体的には、例えば、複数のレンズから構成されるステレオカメラであり、それぞれのレンズの視差に基づいて、外部物体と携帯型ゲーム装置３との距離を測定する。携帯型ゲーム装置３の距離測定部３７は、ステレオカメラにはもちろん限定されず、携帯型ゲーム装置３の距離測定部３７は、赤外線を出力して、その赤外線が撮像対象オブジェクトに反射して戻ってくるまでの時間を測定して、その測定された時間に基づいて、外部物体と携帯型ゲーム装置３との距離を測定しても構わない。また、携帯型ゲーム装置３の距離測定部３７が、焦点距離の異なる複数のレンズから構成され、これらのレンズのうち、外部物体に対してピントが合ったレンズに基づいて、外部物体と携帯型ゲーム装置３との距離を測定しても構わない。なお、本実施形態では、携帯型ゲーム装置３の距離測定部３７は、携帯型ゲーム装置３の撮像部３６と一体的に形成されており、表示部３４の上側に設けられている。すなわち、携帯型ゲーム装置３の距離測定部３７は、正面中央付近上側に設けられている。
【００３２】
本実施形態では、携帯型ゲーム装置３は、基礎データ４０を生成し、情報処理装置２に送信する（図３参照）。図３は、基礎データ４０のデータ構造の一例を示す図である。図３に示すように、基礎データ４０は、ユーザ画像４２と距離データ４４とを含んでいる。
【００３３】
本実施形態では、携帯型ゲーム装置３の撮像部３６が、所定時間（例えば１／６０秒）ごとに、被写体ユーザ４６の動く様子を撮像し、一連のユーザ画像４２を生成する（図４Ａ〜図４Ｅ参照）。ここで、被写体ユーザ４６は移動体の一例として示しているにすぎない。撮像部３６が、被写体ユーザ４６以外の移動体が動く様子を撮像して、その移動体の画像を生成するようにしても構わない。
【００３４】
本実施形態では、具体的には、例えば、撮像部３６が、被写体ユーザ４６を撮像し、順次第ｎユーザ画像４２−ｎ（ｎ＝１，２，３・・・）を生成する。図４Ａに第１ユーザ画像４２−１の一例を、図４Ｂに第２ユーザ画像４２−２の一例を、図４Ｃに第３ユーザ画像４２−３の一例を、図４Ｄに第４ユーザ画像４２−４の一例を、図４Ｅに第５ユーザ画像４２−５の一例を示す。そして、図４Ａ〜図４Ｅに示すように、本実施形態に係るユーザ画像４２には、被写体ユーザ４６だけではなく、地面４８も表示されている。すなわち、撮像部３６により生成される画像には、被写体ユーザ４６などの移動体を含む少なくとも１つの物体が表示されている。また、携帯型ゲーム装置３の距離測定部３７は、被写体ユーザ４６と携帯型ゲーム装置３との距離を順次測定し、第ｎユーザ画像４２−ｎ内の各画素に対応する物体距離を対応づけた第ｎ距離データ４４−ｎを生成する。そして、携帯型ゲーム装置３の制御部３１が、第ｎユーザ画像４２−ｎと、そのユーザ画像４２に対応する第ｎ距離データ４４−ｎと、を含む第ｎ基礎データ４０−ｎを生成する。
【００３５】
そして、携帯型ゲーム装置３の通信部３３が基礎データ４０を情報処理装置２に送信する。そして、情報処理装置２の通信部２３がこの基礎データ４０を受信する。
【００３６】
次に、本実施形態に係る情報処理装置２により実現される機能を説明する。図５は、本実施形態に係る情報処理装置２の機能ブロック図である。図５に示すように、本実施形態に係る情報処理装置２は、機能的には、基礎データ取得部５０、画像内位置特定部５２、距離特定部５４、位置座標算出部５６、モーションデータ生成部５８を含むものとして機能する。これらの要素は、コンピュータである情報処理装置２にインストールされたプログラムを、情報処理装置２に含まれるＣＰＵ等の制御部２１で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介して情報処理装置２に供給される。
【００３７】
基礎データ取得部５０は、画像と距離データ４４とを含む基礎データ４０を複数取得する。本実施形態では、基礎データ取得部５０は、携帯型ゲーム装置３の通信部３３が送信して、情報処理装置２の通信部２３が受信する、ユーザ画像４２と距離データ４４とを含む基礎データ４０を順次取得する。
【００３８】
画像内位置特定部５２は、基礎データ４０に含まれる画像（本実施形態ではユーザ画像４２）に基づいて、所定の移動体（本実施形態では被写体ユーザ４６）が表示されている、画像（本実施形態ではユーザ画像４２）内の位置を特定する。
【００３９】
本実施形態では、被写体ユーザ４６は複数の要素６０を含んでいる（図６参照）。本実施形態では、各要素６０は、例えば、頭、胴体、左ひざ、右ひざ、左足、右足、左手、右手などといった被写体ユーザ４６の体の部位に対応している。そして、画像内位置特定部５２は、例えば、パターン認識技術を用いて、各要素６０の、ユーザ画像４２内の位置を特定する。図６は、画像内位置特定部５２により特定された、第１ユーザ画像４２−１内の、右手を示す右手要素６０ａ及び胴体を示す胴体要素６０ｂを含む各要素６０の位置の一例を示す図である。
【００４０】
ここで、画像内位置特定部５２は、ユーザ画像４２内の各画素の色に基づいて、各要素６０の位置を特定するようにしても、もちろん構わない。また、画像内位置特定部５２は、既存の光学式モーションキャプチャ技術などを利用して、各要素６０の、ユーザ画像４２内の位置を特定しても構わない。
【００４１】
なお、画像内位置特定部５２が、情報処理装置２の記憶部２２に予め記憶されている、被写体ユーザ４６に含まれる要素６０、及び、その各要素６０のユーザ画像４２内における位置を特定する方法を示す特定方法データを用いて、各要素の位置座標を特定するようにしても構わない。
【００４２】
画像内位置特定部５２は、各要素６０を代表する代表点（例えば、各要素６０が表示されている領域の重心）の位置座標を特定するようにしても構わない。本実施形態では、画像内位置特定部５２は、第ｎユーザ画像４２−ｎ内において右手要素６０ａが表示されている領域の重心（右手重心）の位置座標（右手第ｎ画像内位置座標）（Ｘｎ，Ｙｎ）を特定する。図６に、画像内位置特定部５２により特定された右手第１画像内位置座標（Ｘ１，Ｙ１）を併せて示す。ここで、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）は、第ｎユーザ画像４２−ｎの左上の点を原点とし、下方向をＸ軸、右方向をＹ軸とする二次元座標系における位置座標で表現されている。なお、画像内位置座標の表現方法は上述の方法にもちろん限定されない。
【００４３】
距離特定部５４は、画像内位置特定部５２により特定される画像内の位置と、その画像を含む基礎データ４０に含まれる距離データ４４と、に基づいて、移動体と携帯型ゲーム装置３の撮像部３６との距離を特定する。本実施形態では、距離特定部５４は、ユーザ画像４２を含む基礎データ４０に含まれる距離データ４４が示す、ユーザ画像４２内の各要素６０の代表点の位置座標に対応づけられた物体距離を特定する。具体的には、例えば、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）の画素に対応づけられる、第ｎ距離データ４４−ｎが示す物体距離を、右手第ｎ物体距離Ｚｎとして特定する。図７に、右手第１物体距離Ｚ１の一例を示す図を示す。なお、距離特定部５４は、上述とは異なる方法により物体距離を特定しても構わない。具体的には、例えば、第ｎユーザ画像４２−ｎ内において右手要素６０ａが表示されている領域内の各画素に対応づけられる物体距離の平均値を、右手第ｎ物体距離Ｚｎとして特定してもよい。
【００４４】
位置座標算出部５６は、画像内位置特定部５２により特定される画像内の位置と、距離特定部５４により特定される距離と、に基づいて、移動体の三次元空間内における位置座標を算出する。本実施形態では、位置座標算出部５６は、第ｎユーザ画像４２−ｎ内の各要素６０の代表点の位置座標と、距離特定部５４により、第ｎ距離データ４４−ｎに基づいて特定される、その位置座標に対応づけられた物体距離と、に基づいて、その代表点の第ｎ三次元位置座標を算出する。より具体的には、例えば、位置座標算出部５６は、右手第ｎ画像内位置座標（Ｘｎ，Ｙｎ）と、右手第ｎ物体距離Ｚｎとに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する（図８参照）。なお、位置座標算出部５６は、同様の方法により、胴体第ｎ三次元位置座標（ｘｎ’，ｙｎ’，ｚｎ’）を算出しても構わない。なお、本実施形態では直交座標系により、三次元位置座標が表現されているが、極座標系など他の座標系により、三次元位置座標が表現されてももちろん構わない。
【００４５】
モーションデータ生成部５８は、各基礎データ４０に基づいて算出される位置座標に基づいて、移動体の三次元空間内における動きを示すモーションデータを生成する。本実施形態では、各基礎データ４０に基づいて算出される、被写体ユーザ４６に含まれる各要素６０の代表点の三次元位置座標に基づいて、被写体ユーザ４６の三次元空間内における動きを示すモーションデータを生成する。より具体的には、例えば、右手第１三次元位置座標（ｘ１，ｙ１，ｚ１）、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）などの、一連の右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を組み合わせて、右手の三次元空間内における動きを示すモーションデータを生成する。
【００４６】
なお、モーションデータ生成部５８が、例えば、情報処理装置２の記憶部２２に予め記憶されている、要素６０間の接続関係を示す接続関係データを用いて、図８に示すような、被写体ユーザ４６のワイヤーフレームモデルデータ６２を生成するようにしても構わない。このように、各要素の動きを示すモーションデータを組み合わせることで、例えば、人間が歩く様子を示すモーションデータが生成される。
【００４７】
本実施形態では、一連の三次元位置座標に基づいてモーションデータが生成される。そのため、本実施形態に係る情報処理装置２によれば、移動体の立体的な動きがシミュレートされたモーションデータを生成することができる。
【００４８】
次に、本実施形態に係る情報処理装置２の基礎データ取得部５０が取得する第ｎ基礎データ４０−ｎに基づいて、被写体ユーザ４６に含まれる右手要素６０ａの三次元空間内における第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する処理の流れの一例を、図９に示すフロー図を参照しながら説明する。
【００４９】
まず、画像内位置特定部５２が、第ｎ基礎データ４０−ｎに含まれる第ｎユーザ画像４２−ｎに基づいて、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）を特定する（Ｓ１０１）。
【００５０】
そして、距離特定部５４が、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）に対応する、基礎データ４０に含まれる距離データ４４に示される右手第ｎ物体距離Ｚｎを特定する（Ｓ１０２）。
【００５１】
そして、位置座標算出部５６が、右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）と、右手第ｎ物体距離Ｚｎと、に基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する（Ｓ１０３）。
【００５２】
そして、位置座標算出部５６は、Ｓ１０３に示す処理により、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されたか否かを確認する（Ｓ１０４）。ここで、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されている場合は（Ｓ１０４：Ｙ）、この処理を終了する。
【００５３】
ここで、例えば、画像内位置特定部５２が、第ｎユーザ画像４２−ｎに基づいて右手第ｎ画像内位置座標（Ｘｎ,Ｙｎ）を特定できない場合がある。より具体的には、例えば、図４Ｃに示すように、右手要素６０ａが被写体ユーザ４６の陰に隠れているために、画像内位置特定部５２が、第ｎユーザ画像４２−３に基づいて、右手第３画像内位置座標（Ｘ３，Ｙ３）を特定できない場合がある。また、距離特定部５４が、第ｎ距離データ４４−ｎに基づいて、右手第ｎ物体距離Ｚｎを特定できない場合がある。このような場合は、Ｓ１０４に示す処理において、第ｎ基礎データ４０−ｎに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されない。
【００５４】
このように、Ｓ１０４に示す処理において、第ｎ基礎データ４０−ｎに基づいて、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）が算出されていない場合は（Ｓ１０４：Ｎ）、この右手要素６０ａについては、位置座標算出部５６が、基礎データ取得部５０が取得する複数の基礎データ４０のうち、第ｎ基礎データ４０−ｎとは異なる基礎データ４０に基づいて、三次元位置座標を算出する（Ｓ１０５）。
【００５５】
具体的には、例えば、位置座標算出部５６が、胴体を示す要素６０（胴体要素６０ｂ）の三次元位置座標（胴体第ｎ三次元位置座標（ｘｎ’，ｙｎ’，ｚｎ’））から右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）へのベクトルＶｎを用いて、Ｓ１０４に示す処理により算出されていない右手要素６０ａの第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出するようにしてもよい。図１０に、位置座標算出部５６が、ベクトルＶｎを用いて第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出する方法の一例を示す。例えば、位置座標算出部５６が、まず、右手第１ベクトルＶ１と、右手第２ベクトルＶ２とがなす角θ１２に基づいて、右手第２ベクトルＶ２と右手第３ベクトルＶ３とがなす角θ２３が等しくなり（θ１２＝θ２３）、右手第２ベクトルＶ２のノルム｜Ｖ２｜と、右手第３ベクトルＶ３のノルム｜Ｖ３｜が等しくなり（｜Ｖ２｜＝｜Ｖ３｜）、右手第１ベクトルＶ１、右手第２ベクトルＶ２、右手第３ベクトルＶ３が同一平面上のベクトルとなるよう、右手第３ベクトルＶ３の値を算出する。そして、位置座標算出部５６が、胴体第３三次元位置座標（ｘ３’，ｙ３’，ｚ３’）の位置ベクトルと、右手第３ベクトルＶ３とのベクトル和に基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出する。
【００５６】
なお、Ｓ１０５に示す処理における右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）の算出方法は上述の方法に限定されない。例えば、位置座標算出部５６は、第１三次元位置座標（ｘ１，ｙ１，ｚ１）から第２三次元位置座標（ｘ２，ｙ２，ｚ２）へのベクトル（ｘ２−ｘ１，ｙ２−ｙ１，ｚ２−ｚ１）と、第２三次元位置座標（ｘ２，ｙ２，ｚ２）の位置ベクトルとのベクトル和に基づいて、第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出するようにしても構わない（（ｘ３，ｙ３，ｚ３）＝（２ｘ２−ｘ１,２ｙ２−ｙ１,２ｚ２−ｚ１））。
【００５７】
また、位置座標算出部５６は、例えば、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と、右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）とに基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）を算出するようにしても構わない。より具体的には、例えば、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）との中点を右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）として算出するようにしても構わない。
【００５８】
このように、位置座標算出部５６により、第ｎ基礎データ４０−ｎに基づいて、移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は（Ｓ１０４参照）、位置座標算出部５６が、この欠落要素の位置座標を、基礎データ取得部５０が取得する複数の基礎データ４０のうちの、第ｎ基礎データ４０−ｎとは異なる基礎データ４０に基づいて算出するようにしても構わない（Ｓ１０５参照）。また、位置座標算出部５６が、欠落要素の三次元位置座標を、三次元位置座標の差分に基づいて算出するようにしても構わない。
【００５９】
また、Ｓ１０４に示す処理において、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）と、右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）とが算出されていないことが確認された場合は、Ｓ１０５に示す処理において、位置座標算出部５６が、右手第２三次元位置座標（ｘ２，ｙ２，ｚ２）と、右手第５三次元位置座標（ｘ５，ｙ５，ｚ５）とに基づいて、右手第３三次元位置座標（ｘ３，ｙ３，ｚ３）及び右手第４三次元位置座標（ｘ４，ｙ４，ｚ４）を算出するようにしても構わない。このように、例えば、時刻ｔ１から時刻ｔ２にわたって欠落要素の位置座標が算出されない状態が継続する場合は、位置座標算出部５６が、欠落要素の位置座標を、時刻ｔ１より前において最後に算出される欠落要素の位置座標と、時刻ｔ２後において最初に算出される欠落要素の位置座標と、に基づいて算出するようにしても構わない。
【００６０】
Ｓ１０５に示す処理でも三次元位置座標が特定されない場合には、情報処理装置２の制御部２１が、スピーカなどの、情報処理装置２のＵＩ部２４に対してアラーム音を出力するよう指示してもよい。また、携帯型ゲーム装置３がスピーカを備えている場合は、情報処理装置２の制御部２１が、情報処理装置２の通信部２３を介して、携帯型ゲーム装置３のスピーカにアラーム音を出力するよう指示してもよい。
【００６１】
上記の処理例においては、右手第ｎ三次元位置座標（ｘｎ，ｙｎ，ｚｎ）を算出する処理例を示したが、同様の方法により、右手要素６０ａ以外の要素６０の、三次元位置座標を算出することができるのはもちろんである。
【００６２】
このように、本実施形態においては、携帯型ゲーム装置３の撮像部３６により生成されるユーザ画像４２と、携帯型ゲーム装置３の距離測定部３７により生成される距離データ４４とに基づいて、各フレームにおける移動体の三次元位置座標が算出される。そしてこの一連の三次元位置座標に基づいてモーションデータが生成されるので、移動体の立体的な動きをシミュレートしてモーションデータを生成する際におけるユーザの手間が軽減される。
【００６３】
さらに、第ｎ基礎データ４０−ｎだけからでは、第ｎ三次元位置座標が算出されず、他の基礎データ４０から算出される位置座標に基づいて、第ｎ三次元位置座標を算出する場合において、他の基礎データ４０から算出される三次元の位置座標に関する情報を活用することができるので、算出される第ｎ三次元位置座標の精度をより高めることができる。
【００６４】
なお、本発明は上述の実施形態に限定されるものではない。
【００６５】
例えば、図１１に示すように、複数の携帯型ゲーム装置３（第１携帯型ゲーム装置３−１、及び、第２携帯型ゲーム装置３−２）の撮像部３６が互いにタイミングを合わせて、被写体ユーザ４６などの移動体を撮像し、第１携帯型ゲーム装置３−１の距離測定部３７が、第１携帯型ゲーム装置３−１と被写体ユーザ４６などの移動体との距離を測定し、第２携帯型ゲーム装置３−２の距離測定部３７が、第２携帯型ゲーム装置３−２と被写体ユーザ４６などの移動体との距離を測定するようにしても構わない。このとき、それぞれの携帯型ゲーム装置３から送信される基礎データ４０の組合せに基づいて、位置座標算出部５６が、三次元位置座標を算出するようにしても構わない。
【００６６】
具体的には、例えば、まず、第１携帯型ゲーム装置３−１の撮像部３６で予め被写体ユーザ４６を撮像することにより生成されるユーザ画像４２を第１携帯型ゲーム装置３−１の表示部３４に表示する。そして、ユーザが、このユーザ画像４２内のある要素６０（例えば右手要素６０ａ）の位置を、第１携帯型ゲーム装置３−１の操作部３５により指定する。そして、第１携帯型ゲーム装置３−１の制御部３１が、ユーザにより指定された位置を示すデータを取得する。そして、第２携帯型ゲーム装置３−２の撮像部３６で予め被写体ユーザ４６を撮像することにより生成されるユーザ画像４２を第２携帯型ゲーム装置３−２の表示部３４に表示する。そして、ユーザが、このユーザ画像４２内の要素６０（例えば右手要素６０ａ）の位置を、第２携帯型ゲーム装置３−２の操作部３５により指定する。そして、第２携帯型ゲーム装置３−２の制御部３１が、ユーザにより指定された位置を示すデータを取得する。このようにして、それぞれの携帯型ゲーム装置３において、互いに対応する要素６０の位置を予め指定した上で、被写体ユーザ４６の動く様子をそれぞれの携帯型ゲーム装置３の撮像部３６で撮像して、一連のユーザ画像４２を生成し、それぞれの携帯型ゲーム装置３の距離測定部３７が一連の距離データ４４を生成する。そしてそれぞれの携帯型ゲーム装置３がユーザ画像４２と距離データ４４とを含む基礎データ４０を生成し、情報処理装置２へ送信する。そして、情報処理装置２がそれぞれの携帯型ゲーム装置３から送信される基礎データ４０を受信して、これらの基礎データ４０の組合せに基づいて、位置座標算出部５６が、三次元位置座標を算出する。
【００６７】
こうすれば、例えば、一方の携帯型ゲーム装置３で生成されるユーザ画像４２には表示されていない要素６０が、他方の携帯型ゲーム装置３で生成されるユーザ画像４２には表示されているような場合があるので、上述の処理例のＳ１０５に示すような、第ｎ基礎データ４０−ｎとは異なる基礎データ４０を用いて第ｎ三次元位置座標を算出する場面を減らすことができる。
【００６８】
なお、それぞれの携帯型ゲーム装置３が、その携帯型ゲーム装置３が配置されている位置を示すデータを基礎データ４０と併せて情報処理装置２へ送信するようにしても構わない。こうすれば、それぞれの携帯型ゲーム装置３の位置を示すデータに基づいて、各要素６０の三次元位置座標を算出することができる。
【００６９】
また、例えば、情報処理システム１が、携帯型ゲーム装置３の代わりに、撮像機能と距離測定機能を有するビデオカメラなどを含んでいても構わない。すなわち、携帯型ゲーム装置３の代わりとして、撮像機能と距離測定機能を有するビデオカメラを用いても構わない。
【００７０】
また、上述の情報処理装置２と携帯型ゲーム装置３とが一つの筐体により実装されていても構わない。
【００７１】
次に、このようにして生成されるモーションデータの活用例を以下に示す。
【００７２】
例えば、生成されるモーションデータが情報処理装置２の通信部２３からインターネットワークなどのネットワークを介して接続されているサーバ（図示せず）にアップロードされてもよい。その際に、ユーザが、モーションデータを使用しているゲームタイトルを示すデータ、モーションデータの作者を示すデータ、このモーションデータに基づいて生成されたＣＧのキャラクタを示すデータなどの属性データを関連付けてモーションデータを併せてアップロードできるようにしてもよい。そして、サーバでは、モーションデータと属性データとが関連付けられて記憶されるようにしても構わない。また、モーションデータは、既存のスクリプト言語で記述されたデータに変換された上で、サーバに記憶されるようにしてもよい。
【００７３】
ユーザが、サーバに記憶されているモーションデータを、例えば、ブラウザなどで閲覧できるようにしてもよい。このとき、モーションデータが、カテゴリに分類されて表示されるようにしてもよい。また、モーションデータがアイコン化されていてもよい。具体的には、例えば、モーションデータが、ワイヤーフレームや、キャラクタなどの動きとしてブラウザで表現されるようにしてもよい。
【００７４】
また、モーションデータをアップロードするユーザが、このモーションデータの公開対象となるユーザを設定して、設定されたユーザのみがモーションデータを閲覧することができるようにしてもよい。
【００７５】
そして、閲覧の対象であるモーションデータが、モーションデータのネットワークストアへのハイパーリンクとなっており、ユーザがそのハイパーリンクをクリックすることにより、モーションデータを購入することができるようになっていてもよい。
【００７６】
また、新たにサーバにアップロードされるモーションデータを、情報処理装置２が、ネットワークを介して逐次ダウンロードして、情報処理装置２の記憶部２２にキャッシュするようにしてもよい。また、例えば、ゲームのセーブデータと共に、モーションデータが情報処理装置２の記憶部２２に記憶されていても構わない。
【００７７】
また、例えば、情報処理装置２が、サーバに記憶されている、人間がダンスをしている様子や人間がゴルフのスイングをしている様子が示されているモーションデータと、携帯型ゲーム装置３の撮像部３６で撮像される一連のユーザ画像４２に基づいて生成されるモーションデータとを比較して、それぞれのモーションデータの対応度に基づく点数を算出するようにしても構わない。
【図面の簡単な説明】
【００７８】
【図１】本発明の一実施形態に係る情報処理システムのハードウェア構成の一例を示すハードウェア構成図である。
【図２】本発明の一実施形態に係る携帯型ゲーム装置の一例を示す斜視図である。
【図３】基礎データのデータ構造の一例を示す図である。
【図４Ａ】第１ユーザ画像の一例を示す図である。
【図４Ｂ】第２ユーザ画像の一例を示す図である。
【図４Ｃ】第３ユーザ画像の一例を示す図である。
【図４Ｄ】第４ユーザ画像の一例を示す図である。
【図４Ｅ】第５ユーザ画像の一例を示す図である。
【図５】本発明の一実施形態に係る情報処理装置の機能の一例を示す機能ブロック図である。
【図６】第１ユーザ画像内の各要素の位置の一例を示す図である。
【図７】右手第１物体距離の一例を示す図である。
【図８】ワイヤーフレームモデルデータの一例を示す図である。
【図９】本発明の一実施形態に係る情報処理装置で行われる処理のフローの一例を示す図である。
【図１０】第３三次元位置座標の算出方法の一例を示す図である。
【図１１】複数の携帯型ゲーム装置の撮像部によりユーザを撮像する様子の一例を示す図である。
【符号の説明】
【００７９】
１ 情報処理システム、２ 情報処理装置、２１ 制御部、２２ 記憶部、２３ 通信部、２４ ユーザインタフェース（ＵＩ）部、３ 携帯型ゲーム装置、３０ 筐体、３１ 制御部、３２ 記憶部、３３ 通信部、３４ 表示部、３５ 操作部、３６ 撮像部、３７ 距離測定部、４０ 基礎データ、４２ ユーザ画像、４４ 距離データ、４６ 被写体ユーザ、４８ 地面、５０ 基礎データ取得部、５２ 画像内位置特定部、５４ 距離特定部、５６ 位置座標算出部、５８ モーションデータ生成部、６０ 要素、６０ａ 右手要素、６０ｂ 胴体要素、６２ ワイヤーフレームモデルデータ。
【特許請求の範囲】
【請求項１】
所定の移動体の動きを示すモーションデータを生成する情報処理装置であって、
前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段と、
前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段と、
前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段と、
前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段と、
前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段と、
を含むことを特徴とする情報処理装置。
【請求項２】
前記移動体が複数の要素を含み、
前記画像内位置特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素が表示されている当該画像内の位置を特定し、
前記距離特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素と前記撮像手段との距離を特定し、
前記位置座標算出手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素の三次元空間内における位置座標を算出し、
前記位置座標算出手段により、前記基礎データに基づいて前記移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて算出する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記位置座標算出手段により前記欠落要素の位置座標が算出されない状態が所定時間にわたり継続する場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記時間の前において最後に算出される当該欠落要素の位置座標と、前記時間の後において最初に算出される当該欠落要素の位置座標と、に基づいて算出する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記位置座標算出手段により前記欠落要素の位置座標が算出されない場合は、当該欠落要素の位置座標を、当該基礎データとは異なる複数の基礎データそれぞれに基づいて算出される当該欠落要素の位置座標の差分に基づいて算出する、
ことを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記基礎データが、複数の撮像手段それぞれにより生成される画像と、前記各画像を撮像した撮像手段と当該画像に表示されている物体との距離を示す距離データと、を含み、
前記画像内位置特定手段が、前記基礎データに含まれる複数の画像それぞれに基づいて、それぞれの画像内の前記移動体が表示されている位置を特定し、
前記距離特定手段が、前記移動体と前記各撮像手段との距離を特定し、
前記位置座標算出手段が、前記画像内位置特定手段により特定される複数の前記画像内の位置と、前記距離特定手段により特定される複数の前記距離と、に基づいて、前記位置座標を算出する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
所定の移動体の動きを示すモーションデータを生成する情報処理方法であって、
前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得ステップと、
前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定ステップと、
前記画像内位置特定ステップにより特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定ステップと、
前記画像内位置特定ステップにより特定される前記画像内の位置と、前記距離特定ステップにより特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出ステップと、
前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成ステップと、
を含むことを特徴とする情報処理方法。
【請求項７】
所定の移動体の動きを示すモーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムであって、
前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段、
前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段、
前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段、
前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段、
前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段、
として前記コンピュータを機能させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【請求項１】
所定の移動体の動きを示すモーションデータを生成する情報処理装置であって、
前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段と、
前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段と、
前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段と、
前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段と、
前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段と、
を含むことを特徴とする情報処理装置。
【請求項２】
前記移動体が複数の要素を含み、
前記画像内位置特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素が表示されている当該画像内の位置を特定し、
前記距離特定手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素と前記撮像手段との距離を特定し、
前記位置座標算出手段が、前記移動体に含まれる要素のうちの少なくとも一部の各要素の三次元空間内における位置座標を算出し、
前記位置座標算出手段により、前記基礎データに基づいて前記移動体に含まれる複数の要素のうちの欠落要素の位置座標が算出されない場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記基礎データ取得手段が取得する複数の基礎データのうちの、当該基礎データとは異なる基礎データに基づいて算出する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記位置座標算出手段により前記欠落要素の位置座標が算出されない状態が所定時間にわたり継続する場合は、前記位置座標算出手段が、当該欠落要素の位置座標を、前記時間の前において最後に算出される当該欠落要素の位置座標と、前記時間の後において最初に算出される当該欠落要素の位置座標と、に基づいて算出する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記位置座標算出手段により前記欠落要素の位置座標が算出されない場合は、当該欠落要素の位置座標を、当該基礎データとは異なる複数の基礎データそれぞれに基づいて算出される当該欠落要素の位置座標の差分に基づいて算出する、
ことを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記基礎データが、複数の撮像手段それぞれにより生成される画像と、前記各画像を撮像した撮像手段と当該画像に表示されている物体との距離を示す距離データと、を含み、
前記画像内位置特定手段が、前記基礎データに含まれる複数の画像それぞれに基づいて、それぞれの画像内の前記移動体が表示されている位置を特定し、
前記距離特定手段が、前記移動体と前記各撮像手段との距離を特定し、
前記位置座標算出手段が、前記画像内位置特定手段により特定される複数の前記画像内の位置と、前記距離特定手段により特定される複数の前記距離と、に基づいて、前記位置座標を算出する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
所定の移動体の動きを示すモーションデータを生成する情報処理方法であって、
前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得ステップと、
前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定ステップと、
前記画像内位置特定ステップにより特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定ステップと、
前記画像内位置特定ステップにより特定される前記画像内の位置と、前記距離特定ステップにより特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出ステップと、
前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成ステップと、
を含むことを特徴とする情報処理方法。
【請求項７】
所定の移動体の動きを示すモーションデータを生成する情報処理装置としてコンピュータを機能させるプログラムであって、
前記移動体を含む少なくとも１つの物体を撮像手段が撮像することにより生成される画像と、距離測定手段による測定結果に基づく、当該画像に表示されている物体と前記撮像手段との距離を示す距離データと、を含む基礎データを複数取得する基礎データ取得手段、
前記各基礎データに含まれる画像に基づいて、前記移動体が表示されている当該画像内の位置を特定する画像内位置特定手段、
前記画像内位置特定手段により特定される前記画像内の位置と、当該画像を含む基礎データに含まれる前記距離データと、に基づいて、前記移動体と前記撮像手段との距離を特定する距離特定手段、
前記画像内位置特定手段により特定される前記画像内の位置と、前記距離特定手段により特定される距離と、に基づいて、前記移動体の三次元空間内における位置座標を算出する位置座標算出手段、
前記各基礎データに基づいて算出される前記位置座標に基づいて、前記移動体の三次元空間内における動きを示すモーションデータを生成するモーションデータ生成手段、
として前記コンピュータを機能させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−８５３２２（Ｐ２０１０−８５３２２Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５６５９７（Ｐ２００８−２５６５９７）
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]