ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
【課題】 カメラから入力された映像を利用するビデオゲームにおいてプレイヤのポーズによる操作を可能とする。
【解決手段】 カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムであって、コンピュータを、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させる。
【解決手段】 カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムであって、コンピュータを、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラから入力された映像を利用するビデオゲームにおけるポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
昨今、カメラから入力された映像を利用するビデオゲームが人気を博している。この種のビデオゲームでは、カメラでプレイヤ（遊戯者）の姿態を撮影し、ボタンアイテム等の画像と合成してモニタ上に表示し、プレイヤの手（腕）などをボタンアイテム等の画像に重ね合わせて動かすことにより、ボタンアイテム等が反応してアクションが発動するようになっている。すなわち、手に持って操作するゲームコントローラ（コントロールパッド）を必要とせずに、カメラで撮影された画像のみによってコマンド入力を行い、ゲームの進行を操作することができるようになっている。
【０００３】
ところで、従来のこの種のビデオゲームでは「フレーム差分」と呼ばれる、直前フレームの画像と現フレームの画像との差分（フレーム間のピクセル単位の画素情報の差分であり、画素情報としてはＲＧＢ方式による色信号やＹＵＶ方式による輝度信号、輝度信号と赤色信号の差を示す信号、輝度信号と青色信号の差を示す信号等がある。）をとり、所定値以上の変化があった部分に動きがあったものと判断する手法が採用されている。また、ゲームの進行を操作するためのボタンアイテム等をモニタ画面上に一つもしくは複数配置し、それらのボタンアイテム等の上に手などの画像を重ねて動かすことがゲーム操作の基本になっている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、従来のカメラから入力された映像を利用するビデオゲームではボタンアイテム等の上に手などの画像を重ねて動かすことが操作の基本となっていたため、プレイヤの姿態がモニタ画面上に表示されることが必須であり、そのためモニタ画面の全面にわたってゲーム性の高いＣＧ（Computer Graphics）画面等を表示することができず、ゲーム作品として内容的に乏しいものにならざるを得ないという問題があった。
【０００５】
また、ボタンアイテム等を反応させるだけであるため、操作内容が限られており、ゲームキャラクタ等の位置や動きを連続的に制御するような、例えばゲームコントローラのアナログスティック（スティック状の操作部を指で上下左右に傾倒させることで中間値を含めた操作情報を出力）によるような、きめの細かい操作を行うことはできなかった。
【０００６】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、カメラから入力された映像を利用するビデオゲームにおいてプレイヤのポーズによる操作を可能としたポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムであって、コンピュータを、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させることを特徴とするポーズ検出プログラムを要旨としている。
【０００８】
また、請求項２に記載されるように、コンピュータを、上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する手段、算出された左右それぞれの重心位置の上下方向位置の差を計算する手段、および、算出された左右それぞれの重心位置の上下方向位置の平均値を計算する手段として機能させ、上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とするようにすることができる。
【０００９】
また、請求項３に記載されるように、コンピュータを、上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する手段、および、上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する手段として機能させ、上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成するようにすることができる。
【００１０】
また、請求項４に記載されるように、プレイヤの姿態をカメラで撮影した画像をモニタ画面内の一部に操作確認用子画面により表示するようにすることができる。
【００１１】
また、請求項５に記載されるように、上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置に認識した手の位置を示すマーカを表示するようにすることができる。
【００１２】
また、請求項６に記載されるように、カメラから入力された映像を利用するビデオゲームを実行するビデオゲーム装置であって、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段と、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段とを備えるビデオゲーム装置として構成することができる。
【００１３】
また、請求項９に記載されるように、カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出する方法であって、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する工程と、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する工程とを備えるポーズ検出方法として構成することができる。
【００１４】
また、請求項１２に記載されるように、カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータを、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することができる。
【発明の効果】
【００１５】
本発明のポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体にあっては、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分（背景画像と現画像とのピクセル単位での画素情報の差分）に基づいてポーズに対応する操作情報を生成することで、ゲームコントローラのアナログスティックによるようなきめの細かい操作を行うことが可能となり、更にカメラの画像をモニタ画面の全面に表示する必要もなくなる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施形態につき図面を参照して説明する。
【００１７】
図１は本発明の一実施形態にかかるビデオゲーム装置の構成図である。
【００１８】
図１において、ビデオゲーム装置は、ビデオゲーム装置本体１と、このビデオゲーム装置本体１にＵＳＢ（Universal Serial Bus）ケーブル等によって接続されるカメラ２と、テレビ等のディスプレイモニタ３およびスピーカ４とから構成されている。なお、カメラ２は必ずしもビデオゲーム装置本体１に直結するものでなくてもよく、ネットワーク経由等で接続されるものであってもよい。
【００１９】
また、ビデオゲーム装置本体１には、ＣＤ−ＲＯＭ、ＤＶＤ等のゲームのソフトウェア（プログラム）が装着されるプログラム記憶装置１１と、主たる制御処理を行うＣＰＵ１２と、制御の過程で使用されるプログラムおよびデータを格納するメインメモリ１３と、画像データを格納するグラフィックスメモリ１４と、ゲーム内容に応じた画像の生成および制御を行う画像処理部１５と、音声の生成および制御を行う音声処理部１６と、ディスプレイモニタ３に対して画像信号を出力する画像出力部１７と、スピーカ４に対して音声信号を出力する音声出力部１８とが含まれている。
【００２０】
図２はポーズ検出のための機能ブロック図であり、背景差分（背景画像と現画像とのピクセル単位での画素情報の差分）に関する機能部分として、カメラ２から取得した背景画像を記憶する背景画像記憶部１０１と、カメラ２の現画像と背景画像記憶部１０１に記憶された背景画像との差分（背景差分）を計算する背景差分計算部１０２と、所定の領域における背景差分の有無を判定する背景差分判定部１０３とを備えている。
【００２１】
また、フレーム差分（フレーム間のピクセル単位の画素情報の差分）に関する機能部分として、カメラ２の前フレームの画像を記憶する前フレーム画像記憶部１０４と、カメラ２の現画像と前フレーム画像記憶部１０４に記憶された前フレームの画像との差分（フレーム差分）を計算するフレーム差分計算部１０５と、所定の領域内におけるフレーム差分の重心位置を計算するフレーム差分重心計算部１０６と、フレーム差分重心計算部１０６で算出されたフレーム差分の重心位置からゲームコントローラのアナログスティック信号に相当する信号に変換するアナログスティック入力変換部１０７とを備えている。
【００２２】
また、背景差分による検出結果とフレーム差分による検出結果を統合する機能部分として、背景差分判定部１０３の判定結果とアナログスティック入力変換部１０７のアナログスティック信号とからゲームキャラクタの操作情報を生成する操作情報変換部１０８を備えている。
【００２３】
図３は上記の機能部により行われるポーズ検出のための画像処理の例を示す図である。
【００２４】
図３において、カメラ２による撮影画像２０１に対しフレーム差分計算部１０５でフレーム差分を計算し、フレーム差分重心計算部１０６により左右両端の所定幅の領域２０２および領域２０３内で検出されたプレイヤ５０１の手（腕）に相当するフレーム差分の重心２０４および重心２０５を計算する。
【００２５】
すなわち、領域２０２および領域２０３内の画像のフレーム差分の重心２０４および重心２０５の上下方向の重心位置２０６および重心位置２０７を計算し、算出された左右それぞれの重心位置２０６および重心位置２０７の差２０８と平均値２０９とを計算する。
【００２６】
そして、アナログスティック入力変換部１０７は、重心位置２０６および重心位置２０７の差２０８に所定の係数を掛けた値をアナログスティック信号の左右方向の信号として出力し、重心位置２０６および重心位置２０７の平均値２０９に所定の係数を掛けた値をアナログスティック信号の上下方向の信号として出力する。
【００２７】
また、カメラ２による撮影画像２０１に対し背景差分計算部１０２で背景差分を計算し、背景差分判定部１０３では左右両端の領域２０２および領域２０３において背景差分が存在するか否かを判定するとともに、領域２１０において背景差分が存在するか否かを判定する。すなわち、プレイヤ５０１の左右の手の重心２０４および重心２０５の位置関係のみから判定できるポーズ（例えば、手を広げた状態で左右を同時に上下するか、左右交互に上下する場合等）に検出対象が限られている場合には、これらの処理は特に必要ないが、両手を真下に下げる「停止」や両手を真上に上げる「急加速」等のポーズを検出対象とする場合、プレイヤ５０１の左右の手の重心２０４および重心２０５の検出が行えなくなるため（手を真下に下げた場合は体の画像と重なって認識ができないため検出のための領域を設けていない）、領域２０２および領域２０３に背景差分がなく、かつ領域２１０にも背景差分がない場合には両手が真下に下がっていると判定し、更に領域２０２および領域２０３に背景差分がなく、かつ領域２１０に背景差分がある場合には両手が真上に上がっていると判定するようにしている。
【００２８】
なお、プレイヤ５０１の手の重心を求めるのにフレーム差分により行う場合について説明したが、背景差分により行うようにしてもよい。フレーム差分による場合はプレイヤ５０１の手に全く動きがない場合には差分が検出されないが（この場合は以前の検出状態を維持することで問題は生じない）、背景差分による場合にはプレイヤ５０１の手に全く動きがない場合でも検出できるという利点がある。また、領域２１０についても、背景差分に代えてフレーム差分を認識に用いてもよいが、認識精度の観点からは背景差分が望ましい。
【００２９】
図４はポーズ検出に際してのモニタ画面の表示例を示す図であり、ディスプレイモニタ３（図１）のモニタ画面３３１にゲーム画面を表示するとともに、ポーズ検出のための操作確認用子画面３３５を一部に表示するようにしている。なお、このゲーム画面では、湾曲するコース３３２に沿ってゲームキャラクタ（モンキー）の乗ったボール３３３をころがしていき、コース３３２に沿って設けられたバナナ等のアイテム３３４を取得するようになっている。
【００３０】
拡大して示す操作確認用子画面３３５において、プレイヤ５０１の手（腕）の位置を認識する領域３３６および領域３３７では、認識した手の位置がマーカ３３８およびマーカ３３９によって表示されるようになっている。
【００３１】
図５は検出されるポーズの例を示す図であり、（ａ）は両手を広げた状態で上げる「減速」、（ｂ）は両手を広げて水平にする「やや加速」、（ｃ）は両手を広げた状態で下げる「加速」、（ｄ）は左側の手を上げ右側を下げる「右旋回」、（ｅ）は右側の手を上げ左側を下げる「左旋回」をそれぞれ示している。なお、図示される各ポーズの中間の状態も検出が行われるものであり、アナログ的に操作情報が生成される。
【００３２】
次に、図６はポーズ検出に際してのモニタ画面の他の表示例を示す図であり、ディスプレイモニタ３（図１）のモニタ画面３４１にゲーム画面を表示するとともに、ポーズ検出のための操作確認用子画面３４３を一部に表示するようにしている。なお、このゲーム画面では、空中をゲームキャラクタ３４２が自由自在に飛び回るようになっている。
【００３３】
拡大して示す操作確認用子画面３４３において、プレイヤ５０１の手（腕）の位置を認識する領域３４４および領域３４５では、認識した手の位置がマーカ３４６およびマーカ３４７によって表示されるようになっている。また、この例では、飛行速度を急激に上げるダッシュボタン３４８が上部に設けられている。なお、このダッシュボタン３４８は図３に示した領域２１０に対応している。
【００３４】
図７は検出されるポーズの例を示す図であり、（ａ）は両手を広げた状態で上げる「前進しながら上昇」、（ｂ）は両手を広げて水平にする「水平飛行」、（ｃ）は両手を広げた状態で下げる「前進しながら下降」、（ｄ）は左側の手を上げ右側を下げる「前進しながら右旋回」、（ｅ）は右側の手を上げ左側を下げる「前進しながら左旋回」、（ｆ）は両手を真上に上げる「急加速」、（ｇ）は左側の手を真下に下げ右側を水平に上げる「停止状態で右旋回」、（ｈ）は右側の手を真下に下げ左側を水平に上げる「停止状態で左旋回」、（ｉ）は両手を真下に下げる「停止」をそれぞれ示している。なお、図示される各ポーズの中間の状態も検出が行われるものであり、アナログ的に操作情報が生成される。
【００３５】
このように、カメラ付きビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するにあたって、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算し、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成するようにしたので、従来のようにボタンアイテム等を反応させるだけの操作と異なり、ゲームコントローラのアナログスティックによるような、きめの細かい操作を行うことができる。また、操作のためのボタンアイテム等とともに撮影した画像をモニタ画面上に表示する必要がなく、確認用操作子画面を一部に設けるのみでよいため、モニタ画面のほぼ全面を使ってゲーム性の高いＣＧ画面等を表示することができる。
【００３６】
次に、背景差分の計算に必要となる背景画像の取得について説明する。
【００３７】
図８は上記のビデオゲーム装置において背景差分を計算するために必要な背景画像取得の処理を示すフローチャートであり、ビデオゲーム装置本体１内のＣＰＵ上で実行されるプログラムにより実現されるものである。
【００３８】
図８において、ゲームの開始にあたり、ディスプレイモニタ３（図１）にゲーム選択メニューの表示を行い（ステップＳ１）、プレイヤの選択に応じてゲームを決定する（ステップＳ２）。なお、これらの処理は一つのゲームソフトに複数のミニゲームが含まれている場合を想定しているため、単一のゲームである場合には省略される。
【００３９】
次いで、左側背景画像取得のための案内をディスプレイモニタ３に表示する（ステップＳ３）。図９は左側背景画像取得時の画面例を示す図であり、モニタ画面３０１の右側の操作領域３０２にプレイヤ５０１の立ち位置の目標を示す枠３０３と確認時にプレイヤ５０１が操作するためのボタンアイテム３０４とを表示し、左側の背景取得領域３０５には「ゲームを始めるための準備をします。枠の中に入るように立ち、この領域に動くものが映らない状態でＯＫボタンの上で手を振ってください。」というメッセージ３０６を表示している。なお、背景取得領域３０５はモニタ画面３０１を２分割したものよりも若干大きく設定されており、後述する右側の背景取得領域３１１（図１１）と重なり部分が生じるようにしてある。これは、分割部分のノイズの影響をなくすとともに、重なり部分の画像の差分からカメラが途中で動いてしまっていないかを確認するためである（動作は後述）。
【００４０】
図８に戻り、ＯＫボタンが反応したか否かを判断し（ステップＳ４）、反応していない場合は左側背景画像取得のための案内表示（ステップＳ３）を続け、反応した場合には左側の背景取得領域のフレーム差分（フレーム間のピクセル単位の画素情報の差分）から動くものが存在しないか否かを判断する（ステップＳ５）。これは、動くものが映っている場合は背景差分を計算するための背景画像として使用できないため、取得前に事前にチェックするのが効率的だからである。
【００４１】
ここで、動くものが存在すると判断された場合、エラー表示を一定時間にわたって行う（ステップＳ６）。図１０は左側背景画像取得が失敗した場合の画面例を示す図であり、「画面左側の領域に動くものが映っています。動いているものは、水色の点で表示されています。動くものが映らない状態にしてやり直してください。」というメッセージ３０７を表示している。
【００４２】
図８に戻り、左側の背景取得領域に動くものが存在しないと判断された場合、背景取得領域の画像を背景画像として取得する（ステップＳ７）。
【００４３】
次いで、右側背景画像取得のための案内をディスプレイモニタ３に表示する（ステップＳ８）。図１１は右側背景画像取得時の画面例を示す図であり、モニタ画面３０１の左側の操作領域３０８にプレイヤ５０１の立ち位置の目標を示す枠３０９と確認時にプレイヤ５０１が操作するためのボタンアイテム３１０とを表示し、右側の背景取得領域３１１には「枠の中に入るように立ち、この領域に動くものが映らない状態でＯＫボタンの上で手を振ってください。」というメッセージ３１２を表示している。
【００４４】
図８に戻り、ＯＫボタンが反応したか否かを判断し（ステップＳ９）、反応していない場合は右側背景画像取得のための案内表示（ステップＳ８）を続け、反応した場合には右側の背景取得領域のフレーム差分から動くものが存在しないか否かを判断する（ステップＳ１０）。
【００４５】
ここで、動くものが存在すると判断された場合、エラー表示を一定時間にわたって行う（ステップＳ１１）。図１２は右側背景画像取得が失敗した場合の画面例を示す図であり、「画面右側の領域に動くものが映っています。動いているものは、水色の点で表示されています。動くものが映らない状態にしてやり直してください。」というメッセージ３１３を表示している。
【００４６】
図８に戻り、右側の背景取得領域に動くものが存在しないと判断された場合、背景取得領域の画像を背景画像として取得する（ステップＳ１２）。
【００４７】
次いで、左側背景画像と右側背景画像の重なり領域に一定量以上の色差分がないか否かを判断し（ステップＳ１３）、差分がある場合にはエラーを表示し（ステップＳ１４）、左側背景画像取得のための案内表示（ステップＳ３）に戻る。図１３は左側背景画像取得と右側背景画像取得との間にカメラが動いてしまった場合の画面例を示す図であり、「カメラが動いてしまいました。ゲームを始めるための準備を最初からやり直してください。」というメッセージ３１４を表示している。
【００４８】
図８に戻り、左側背景画像と右側背景画像の重なり領域に一定量以上の色差分がない場合、背景画像の取得を完了し、ゲームを開始する（ステップＳ１５）。
【００４９】
次に、図１４は左右端部の領域のみの背景画像取得時の画面例を示す図である。すなわち、図８〜図１３で説明した処理では、カメラで撮影した画像の全体について背景画像を取得するものであったが、ゲームによっては一部の領域のみしか背景差分を計算する必要がない場合があり、その場合はその部分の背景画像を取得すれば足りる。
【００５０】
図１４に示す例では、左右端部の一定幅の背景取得領域３１５、３１６についてのみ背景画像を取得するようにしており、その中央の操作領域３１７にプレイヤ５０１の立ち位置の目標を示す枠３１８と確認時にプレイヤ５０１が操作するためのボタンアイテム３１９とを表示し、「ゲームを始めるための準備をします。左右の領域に動くものが映らない状態でＯＫボタンの上で手を振ってください。」というメッセージ３２０を表示している。
【００５１】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施形態にかかるビデオゲーム装置の構成図である。
【図２】ポーズ検出のための機能ブロック図である。
【図３】ポーズ検出のための画像処理の例を示す図である。
【図４】ポーズ検出に際してのモニタ画面の表示例を示す図である。
【図５】検出されるポーズの例を示す図である。
【図６】ポーズ検出に際してのモニタ画面の他の表示例を示す図である。
【図７】検出されるポーズの他の例を示す図である。
【図８】背景画像取得の処理を示すフローチャートである。
【図９】左側背景画像取得時の画面例を示す図である。
【図１０】左側背景画像取得が失敗した場合の画面例を示す図である。
【図１１】右側背景画像取得時の画面例を示す図である。
【図１２】右側背景画像取得が失敗した場合の画面例を示す図である。
【図１３】左側背景画像取得と右側背景画像取得との間にカメラが動いてしまった場合の画面例を示す図である。
【図１４】左右端部の領域のみの背景画像取得時の画面例を示す図である。
【符号の説明】
【００５３】
１ ビデオゲーム装置本体
１１ プログラム記憶装置
１２ ＣＰＵ
１３ メインメモリ
１４ グラフィックスメモリ
１５ 画像処理部
１６ 音声処理部
１７ 画像出力部
１８ 音声出力部
１０１ 背景画像記憶部
１０２ 背景差分計算部
１０３ 背景差分判定部
１０４ 前フレーム画像記憶部
１０５ フレーム差分計算部
１０６ フレーム差分重心計算部
１０７ アナログスティック入力変換部
１０８ 操作情報変換部
２ カメラ
３ ディスプレイモニタ
４ スピーカ
【技術分野】
【０００１】
本発明はカメラから入力された映像を利用するビデオゲームにおけるポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
昨今、カメラから入力された映像を利用するビデオゲームが人気を博している。この種のビデオゲームでは、カメラでプレイヤ（遊戯者）の姿態を撮影し、ボタンアイテム等の画像と合成してモニタ上に表示し、プレイヤの手（腕）などをボタンアイテム等の画像に重ね合わせて動かすことにより、ボタンアイテム等が反応してアクションが発動するようになっている。すなわち、手に持って操作するゲームコントローラ（コントロールパッド）を必要とせずに、カメラで撮影された画像のみによってコマンド入力を行い、ゲームの進行を操作することができるようになっている。
【０００３】
ところで、従来のこの種のビデオゲームでは「フレーム差分」と呼ばれる、直前フレームの画像と現フレームの画像との差分（フレーム間のピクセル単位の画素情報の差分であり、画素情報としてはＲＧＢ方式による色信号やＹＵＶ方式による輝度信号、輝度信号と赤色信号の差を示す信号、輝度信号と青色信号の差を示す信号等がある。）をとり、所定値以上の変化があった部分に動きがあったものと判断する手法が採用されている。また、ゲームの進行を操作するためのボタンアイテム等をモニタ画面上に一つもしくは複数配置し、それらのボタンアイテム等の上に手などの画像を重ねて動かすことがゲーム操作の基本になっている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、従来のカメラから入力された映像を利用するビデオゲームではボタンアイテム等の上に手などの画像を重ねて動かすことが操作の基本となっていたため、プレイヤの姿態がモニタ画面上に表示されることが必須であり、そのためモニタ画面の全面にわたってゲーム性の高いＣＧ（Computer Graphics）画面等を表示することができず、ゲーム作品として内容的に乏しいものにならざるを得ないという問題があった。
【０００５】
また、ボタンアイテム等を反応させるだけであるため、操作内容が限られており、ゲームキャラクタ等の位置や動きを連続的に制御するような、例えばゲームコントローラのアナログスティック（スティック状の操作部を指で上下左右に傾倒させることで中間値を含めた操作情報を出力）によるような、きめの細かい操作を行うことはできなかった。
【０００６】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、カメラから入力された映像を利用するビデオゲームにおいてプレイヤのポーズによる操作を可能としたポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムであって、コンピュータを、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させることを特徴とするポーズ検出プログラムを要旨としている。
【０００８】
また、請求項２に記載されるように、コンピュータを、上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する手段、算出された左右それぞれの重心位置の上下方向位置の差を計算する手段、および、算出された左右それぞれの重心位置の上下方向位置の平均値を計算する手段として機能させ、上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とするようにすることができる。
【０００９】
また、請求項３に記載されるように、コンピュータを、上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する手段、および、上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する手段として機能させ、上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成するようにすることができる。
【００１０】
また、請求項４に記載されるように、プレイヤの姿態をカメラで撮影した画像をモニタ画面内の一部に操作確認用子画面により表示するようにすることができる。
【００１１】
また、請求項５に記載されるように、上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置に認識した手の位置を示すマーカを表示するようにすることができる。
【００１２】
また、請求項６に記載されるように、カメラから入力された映像を利用するビデオゲームを実行するビデオゲーム装置であって、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段と、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段とを備えるビデオゲーム装置として構成することができる。
【００１３】
また、請求項９に記載されるように、カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出する方法であって、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する工程と、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する工程とを備えるポーズ検出方法として構成することができる。
【００１４】
また、請求項１２に記載されるように、カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータを、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することができる。
【発明の効果】
【００１５】
本発明のポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体にあっては、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分（背景画像と現画像とのピクセル単位での画素情報の差分）に基づいてポーズに対応する操作情報を生成することで、ゲームコントローラのアナログスティックによるようなきめの細かい操作を行うことが可能となり、更にカメラの画像をモニタ画面の全面に表示する必要もなくなる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施形態につき図面を参照して説明する。
【００１７】
図１は本発明の一実施形態にかかるビデオゲーム装置の構成図である。
【００１８】
図１において、ビデオゲーム装置は、ビデオゲーム装置本体１と、このビデオゲーム装置本体１にＵＳＢ（Universal Serial Bus）ケーブル等によって接続されるカメラ２と、テレビ等のディスプレイモニタ３およびスピーカ４とから構成されている。なお、カメラ２は必ずしもビデオゲーム装置本体１に直結するものでなくてもよく、ネットワーク経由等で接続されるものであってもよい。
【００１９】
また、ビデオゲーム装置本体１には、ＣＤ−ＲＯＭ、ＤＶＤ等のゲームのソフトウェア（プログラム）が装着されるプログラム記憶装置１１と、主たる制御処理を行うＣＰＵ１２と、制御の過程で使用されるプログラムおよびデータを格納するメインメモリ１３と、画像データを格納するグラフィックスメモリ１４と、ゲーム内容に応じた画像の生成および制御を行う画像処理部１５と、音声の生成および制御を行う音声処理部１６と、ディスプレイモニタ３に対して画像信号を出力する画像出力部１７と、スピーカ４に対して音声信号を出力する音声出力部１８とが含まれている。
【００２０】
図２はポーズ検出のための機能ブロック図であり、背景差分（背景画像と現画像とのピクセル単位での画素情報の差分）に関する機能部分として、カメラ２から取得した背景画像を記憶する背景画像記憶部１０１と、カメラ２の現画像と背景画像記憶部１０１に記憶された背景画像との差分（背景差分）を計算する背景差分計算部１０２と、所定の領域における背景差分の有無を判定する背景差分判定部１０３とを備えている。
【００２１】
また、フレーム差分（フレーム間のピクセル単位の画素情報の差分）に関する機能部分として、カメラ２の前フレームの画像を記憶する前フレーム画像記憶部１０４と、カメラ２の現画像と前フレーム画像記憶部１０４に記憶された前フレームの画像との差分（フレーム差分）を計算するフレーム差分計算部１０５と、所定の領域内におけるフレーム差分の重心位置を計算するフレーム差分重心計算部１０６と、フレーム差分重心計算部１０６で算出されたフレーム差分の重心位置からゲームコントローラのアナログスティック信号に相当する信号に変換するアナログスティック入力変換部１０７とを備えている。
【００２２】
また、背景差分による検出結果とフレーム差分による検出結果を統合する機能部分として、背景差分判定部１０３の判定結果とアナログスティック入力変換部１０７のアナログスティック信号とからゲームキャラクタの操作情報を生成する操作情報変換部１０８を備えている。
【００２３】
図３は上記の機能部により行われるポーズ検出のための画像処理の例を示す図である。
【００２４】
図３において、カメラ２による撮影画像２０１に対しフレーム差分計算部１０５でフレーム差分を計算し、フレーム差分重心計算部１０６により左右両端の所定幅の領域２０２および領域２０３内で検出されたプレイヤ５０１の手（腕）に相当するフレーム差分の重心２０４および重心２０５を計算する。
【００２５】
すなわち、領域２０２および領域２０３内の画像のフレーム差分の重心２０４および重心２０５の上下方向の重心位置２０６および重心位置２０７を計算し、算出された左右それぞれの重心位置２０６および重心位置２０７の差２０８と平均値２０９とを計算する。
【００２６】
そして、アナログスティック入力変換部１０７は、重心位置２０６および重心位置２０７の差２０８に所定の係数を掛けた値をアナログスティック信号の左右方向の信号として出力し、重心位置２０６および重心位置２０７の平均値２０９に所定の係数を掛けた値をアナログスティック信号の上下方向の信号として出力する。
【００２７】
また、カメラ２による撮影画像２０１に対し背景差分計算部１０２で背景差分を計算し、背景差分判定部１０３では左右両端の領域２０２および領域２０３において背景差分が存在するか否かを判定するとともに、領域２１０において背景差分が存在するか否かを判定する。すなわち、プレイヤ５０１の左右の手の重心２０４および重心２０５の位置関係のみから判定できるポーズ（例えば、手を広げた状態で左右を同時に上下するか、左右交互に上下する場合等）に検出対象が限られている場合には、これらの処理は特に必要ないが、両手を真下に下げる「停止」や両手を真上に上げる「急加速」等のポーズを検出対象とする場合、プレイヤ５０１の左右の手の重心２０４および重心２０５の検出が行えなくなるため（手を真下に下げた場合は体の画像と重なって認識ができないため検出のための領域を設けていない）、領域２０２および領域２０３に背景差分がなく、かつ領域２１０にも背景差分がない場合には両手が真下に下がっていると判定し、更に領域２０２および領域２０３に背景差分がなく、かつ領域２１０に背景差分がある場合には両手が真上に上がっていると判定するようにしている。
【００２８】
なお、プレイヤ５０１の手の重心を求めるのにフレーム差分により行う場合について説明したが、背景差分により行うようにしてもよい。フレーム差分による場合はプレイヤ５０１の手に全く動きがない場合には差分が検出されないが（この場合は以前の検出状態を維持することで問題は生じない）、背景差分による場合にはプレイヤ５０１の手に全く動きがない場合でも検出できるという利点がある。また、領域２１０についても、背景差分に代えてフレーム差分を認識に用いてもよいが、認識精度の観点からは背景差分が望ましい。
【００２９】
図４はポーズ検出に際してのモニタ画面の表示例を示す図であり、ディスプレイモニタ３（図１）のモニタ画面３３１にゲーム画面を表示するとともに、ポーズ検出のための操作確認用子画面３３５を一部に表示するようにしている。なお、このゲーム画面では、湾曲するコース３３２に沿ってゲームキャラクタ（モンキー）の乗ったボール３３３をころがしていき、コース３３２に沿って設けられたバナナ等のアイテム３３４を取得するようになっている。
【００３０】
拡大して示す操作確認用子画面３３５において、プレイヤ５０１の手（腕）の位置を認識する領域３３６および領域３３７では、認識した手の位置がマーカ３３８およびマーカ３３９によって表示されるようになっている。
【００３１】
図５は検出されるポーズの例を示す図であり、（ａ）は両手を広げた状態で上げる「減速」、（ｂ）は両手を広げて水平にする「やや加速」、（ｃ）は両手を広げた状態で下げる「加速」、（ｄ）は左側の手を上げ右側を下げる「右旋回」、（ｅ）は右側の手を上げ左側を下げる「左旋回」をそれぞれ示している。なお、図示される各ポーズの中間の状態も検出が行われるものであり、アナログ的に操作情報が生成される。
【００３２】
次に、図６はポーズ検出に際してのモニタ画面の他の表示例を示す図であり、ディスプレイモニタ３（図１）のモニタ画面３４１にゲーム画面を表示するとともに、ポーズ検出のための操作確認用子画面３４３を一部に表示するようにしている。なお、このゲーム画面では、空中をゲームキャラクタ３４２が自由自在に飛び回るようになっている。
【００３３】
拡大して示す操作確認用子画面３４３において、プレイヤ５０１の手（腕）の位置を認識する領域３４４および領域３４５では、認識した手の位置がマーカ３４６およびマーカ３４７によって表示されるようになっている。また、この例では、飛行速度を急激に上げるダッシュボタン３４８が上部に設けられている。なお、このダッシュボタン３４８は図３に示した領域２１０に対応している。
【００３４】
図７は検出されるポーズの例を示す図であり、（ａ）は両手を広げた状態で上げる「前進しながら上昇」、（ｂ）は両手を広げて水平にする「水平飛行」、（ｃ）は両手を広げた状態で下げる「前進しながら下降」、（ｄ）は左側の手を上げ右側を下げる「前進しながら右旋回」、（ｅ）は右側の手を上げ左側を下げる「前進しながら左旋回」、（ｆ）は両手を真上に上げる「急加速」、（ｇ）は左側の手を真下に下げ右側を水平に上げる「停止状態で右旋回」、（ｈ）は右側の手を真下に下げ左側を水平に上げる「停止状態で左旋回」、（ｉ）は両手を真下に下げる「停止」をそれぞれ示している。なお、図示される各ポーズの中間の状態も検出が行われるものであり、アナログ的に操作情報が生成される。
【００３５】
このように、カメラ付きビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するにあたって、プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算し、算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成するようにしたので、従来のようにボタンアイテム等を反応させるだけの操作と異なり、ゲームコントローラのアナログスティックによるような、きめの細かい操作を行うことができる。また、操作のためのボタンアイテム等とともに撮影した画像をモニタ画面上に表示する必要がなく、確認用操作子画面を一部に設けるのみでよいため、モニタ画面のほぼ全面を使ってゲーム性の高いＣＧ画面等を表示することができる。
【００３６】
次に、背景差分の計算に必要となる背景画像の取得について説明する。
【００３７】
図８は上記のビデオゲーム装置において背景差分を計算するために必要な背景画像取得の処理を示すフローチャートであり、ビデオゲーム装置本体１内のＣＰＵ上で実行されるプログラムにより実現されるものである。
【００３８】
図８において、ゲームの開始にあたり、ディスプレイモニタ３（図１）にゲーム選択メニューの表示を行い（ステップＳ１）、プレイヤの選択に応じてゲームを決定する（ステップＳ２）。なお、これらの処理は一つのゲームソフトに複数のミニゲームが含まれている場合を想定しているため、単一のゲームである場合には省略される。
【００３９】
次いで、左側背景画像取得のための案内をディスプレイモニタ３に表示する（ステップＳ３）。図９は左側背景画像取得時の画面例を示す図であり、モニタ画面３０１の右側の操作領域３０２にプレイヤ５０１の立ち位置の目標を示す枠３０３と確認時にプレイヤ５０１が操作するためのボタンアイテム３０４とを表示し、左側の背景取得領域３０５には「ゲームを始めるための準備をします。枠の中に入るように立ち、この領域に動くものが映らない状態でＯＫボタンの上で手を振ってください。」というメッセージ３０６を表示している。なお、背景取得領域３０５はモニタ画面３０１を２分割したものよりも若干大きく設定されており、後述する右側の背景取得領域３１１（図１１）と重なり部分が生じるようにしてある。これは、分割部分のノイズの影響をなくすとともに、重なり部分の画像の差分からカメラが途中で動いてしまっていないかを確認するためである（動作は後述）。
【００４０】
図８に戻り、ＯＫボタンが反応したか否かを判断し（ステップＳ４）、反応していない場合は左側背景画像取得のための案内表示（ステップＳ３）を続け、反応した場合には左側の背景取得領域のフレーム差分（フレーム間のピクセル単位の画素情報の差分）から動くものが存在しないか否かを判断する（ステップＳ５）。これは、動くものが映っている場合は背景差分を計算するための背景画像として使用できないため、取得前に事前にチェックするのが効率的だからである。
【００４１】
ここで、動くものが存在すると判断された場合、エラー表示を一定時間にわたって行う（ステップＳ６）。図１０は左側背景画像取得が失敗した場合の画面例を示す図であり、「画面左側の領域に動くものが映っています。動いているものは、水色の点で表示されています。動くものが映らない状態にしてやり直してください。」というメッセージ３０７を表示している。
【００４２】
図８に戻り、左側の背景取得領域に動くものが存在しないと判断された場合、背景取得領域の画像を背景画像として取得する（ステップＳ７）。
【００４３】
次いで、右側背景画像取得のための案内をディスプレイモニタ３に表示する（ステップＳ８）。図１１は右側背景画像取得時の画面例を示す図であり、モニタ画面３０１の左側の操作領域３０８にプレイヤ５０１の立ち位置の目標を示す枠３０９と確認時にプレイヤ５０１が操作するためのボタンアイテム３１０とを表示し、右側の背景取得領域３１１には「枠の中に入るように立ち、この領域に動くものが映らない状態でＯＫボタンの上で手を振ってください。」というメッセージ３１２を表示している。
【００４４】
図８に戻り、ＯＫボタンが反応したか否かを判断し（ステップＳ９）、反応していない場合は右側背景画像取得のための案内表示（ステップＳ８）を続け、反応した場合には右側の背景取得領域のフレーム差分から動くものが存在しないか否かを判断する（ステップＳ１０）。
【００４５】
ここで、動くものが存在すると判断された場合、エラー表示を一定時間にわたって行う（ステップＳ１１）。図１２は右側背景画像取得が失敗した場合の画面例を示す図であり、「画面右側の領域に動くものが映っています。動いているものは、水色の点で表示されています。動くものが映らない状態にしてやり直してください。」というメッセージ３１３を表示している。
【００４６】
図８に戻り、右側の背景取得領域に動くものが存在しないと判断された場合、背景取得領域の画像を背景画像として取得する（ステップＳ１２）。
【００４７】
次いで、左側背景画像と右側背景画像の重なり領域に一定量以上の色差分がないか否かを判断し（ステップＳ１３）、差分がある場合にはエラーを表示し（ステップＳ１４）、左側背景画像取得のための案内表示（ステップＳ３）に戻る。図１３は左側背景画像取得と右側背景画像取得との間にカメラが動いてしまった場合の画面例を示す図であり、「カメラが動いてしまいました。ゲームを始めるための準備を最初からやり直してください。」というメッセージ３１４を表示している。
【００４８】
図８に戻り、左側背景画像と右側背景画像の重なり領域に一定量以上の色差分がない場合、背景画像の取得を完了し、ゲームを開始する（ステップＳ１５）。
【００４９】
次に、図１４は左右端部の領域のみの背景画像取得時の画面例を示す図である。すなわち、図８〜図１３で説明した処理では、カメラで撮影した画像の全体について背景画像を取得するものであったが、ゲームによっては一部の領域のみしか背景差分を計算する必要がない場合があり、その場合はその部分の背景画像を取得すれば足りる。
【００５０】
図１４に示す例では、左右端部の一定幅の背景取得領域３１５、３１６についてのみ背景画像を取得するようにしており、その中央の操作領域３１７にプレイヤ５０１の立ち位置の目標を示す枠３１８と確認時にプレイヤ５０１が操作するためのボタンアイテム３１９とを表示し、「ゲームを始めるための準備をします。左右の領域に動くものが映らない状態でＯＫボタンの上で手を振ってください。」というメッセージ３２０を表示している。
【００５１】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施形態にかかるビデオゲーム装置の構成図である。
【図２】ポーズ検出のための機能ブロック図である。
【図３】ポーズ検出のための画像処理の例を示す図である。
【図４】ポーズ検出に際してのモニタ画面の表示例を示す図である。
【図５】検出されるポーズの例を示す図である。
【図６】ポーズ検出に際してのモニタ画面の他の表示例を示す図である。
【図７】検出されるポーズの他の例を示す図である。
【図８】背景画像取得の処理を示すフローチャートである。
【図９】左側背景画像取得時の画面例を示す図である。
【図１０】左側背景画像取得が失敗した場合の画面例を示す図である。
【図１１】右側背景画像取得時の画面例を示す図である。
【図１２】右側背景画像取得が失敗した場合の画面例を示す図である。
【図１３】左側背景画像取得と右側背景画像取得との間にカメラが動いてしまった場合の画面例を示す図である。
【図１４】左右端部の領域のみの背景画像取得時の画面例を示す図である。
【符号の説明】
【００５３】
１ ビデオゲーム装置本体
１１ プログラム記憶装置
１２ ＣＰＵ
１３ メインメモリ
１４ グラフィックスメモリ
１５ 画像処理部
１６ 音声処理部
１７ 画像出力部
１８ 音声出力部
１０１ 背景画像記憶部
１０２ 背景差分計算部
１０３ 背景差分判定部
１０４ 前フレーム画像記憶部
１０５ フレーム差分計算部
１０６ フレーム差分重心計算部
１０７ アナログスティック入力変換部
１０８ 操作情報変換部
２ カメラ
３ ディスプレイモニタ
４ スピーカ
【特許請求の範囲】
【請求項１】
カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムであって、
コンピュータを、
プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、
算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させることを特徴とするポーズ検出プログラム。
【請求項２】
コンピュータを、
上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する手段、
算出された左右それぞれの重心位置の上下方向位置の差を計算する手段、および、
算出された左右それぞれの重心位置の上下方向位置の平均値を計算する手段として機能させ、
上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とすることを特徴とする請求項１に記載のポーズ検出プログラム。
【請求項３】
コンピュータを、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する手段、および、
上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する手段として機能させ、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成することを特徴とする請求項２に記載のポーズ検出プログラム。
【請求項４】
プレイヤの姿態をカメラで撮影した画像をモニタ画面内の一部に操作確認用子画面により表示することを特徴とする請求項１乃至３のいずれか一項に記載のポーズ検出プログラム。
【請求項５】
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置に認識した手の位置を示すマーカを表示することを特徴とする請求項２乃至４のいずれか一項に記載のポーズ検出プログラム。
【請求項６】
カメラから入力された映像を利用するビデオゲームを実行するビデオゲーム装置であって、
プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段と、
算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段とを備えたことを特徴とするビデオゲーム装置。
【請求項７】
上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する手段と、
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する手段と、
算出された左右それぞれの重心位置の上下方向位置の差を計算する手段と、
算出された左右それぞれの重心位置の上下方向位置の平均値を計算する手段とを備え、
上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とすることを特徴とする請求項６に記載のビデオゲーム装置。
【請求項８】
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する手段と、
上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する手段とを備え、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成することを特徴とする請求項７に記載のビデオゲーム装置。
【請求項９】
カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出する方法であって、
プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する工程と、
算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する工程とを備えたことを特徴とするポーズ検出方法。
【請求項１０】
上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する工程と、
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する工程と、
算出された左右それぞれの重心位置の上下方向位置の差を計算する工程と、
算出された左右それぞれの重心位置の上下方向位置の平均値を計算する工程とを備え、
上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とすることを特徴とする請求項９に記載のポーズ検出方法。
【請求項１１】
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する工程と、
上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する工程とを備え、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成することを特徴とする請求項１０に記載のポーズ検出方法。
【請求項１２】
カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
コンピュータを、
プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、
算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１３】
コンピュータを、
上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する手段、
算出された左右それぞれの重心位置の上下方向位置の差を計算する手段、および、
算出された左右それぞれの重心位置の上下方向位置の平均値を計算する手段として機能させ、
上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とすることを特徴とする請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
コンピュータを、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する手段、および、
上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する手段として機能させ、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成することを特徴とする請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムであって、
コンピュータを、
プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、
算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させることを特徴とするポーズ検出プログラム。
【請求項２】
コンピュータを、
上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する手段、
算出された左右それぞれの重心位置の上下方向位置の差を計算する手段、および、
算出された左右それぞれの重心位置の上下方向位置の平均値を計算する手段として機能させ、
上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とすることを特徴とする請求項１に記載のポーズ検出プログラム。
【請求項３】
コンピュータを、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する手段、および、
上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する手段として機能させ、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成することを特徴とする請求項２に記載のポーズ検出プログラム。
【請求項４】
プレイヤの姿態をカメラで撮影した画像をモニタ画面内の一部に操作確認用子画面により表示することを特徴とする請求項１乃至３のいずれか一項に記載のポーズ検出プログラム。
【請求項５】
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置に認識した手の位置を示すマーカを表示することを特徴とする請求項２乃至４のいずれか一項に記載のポーズ検出プログラム。
【請求項６】
カメラから入力された映像を利用するビデオゲームを実行するビデオゲーム装置であって、
プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段と、
算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段とを備えたことを特徴とするビデオゲーム装置。
【請求項７】
上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する手段と、
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する手段と、
算出された左右それぞれの重心位置の上下方向位置の差を計算する手段と、
算出された左右それぞれの重心位置の上下方向位置の平均値を計算する手段とを備え、
上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とすることを特徴とする請求項６に記載のビデオゲーム装置。
【請求項８】
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する手段と、
上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する手段とを備え、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成することを特徴とする請求項７に記載のビデオゲーム装置。
【請求項９】
カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出する方法であって、
プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する工程と、
算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する工程とを備えたことを特徴とするポーズ検出方法。
【請求項１０】
上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する工程と、
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する工程と、
算出された左右それぞれの重心位置の上下方向位置の差を計算する工程と、
算出された左右それぞれの重心位置の上下方向位置の平均値を計算する工程とを備え、
上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とすることを特徴とする請求項９に記載のポーズ検出方法。
【請求項１１】
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する工程と、
上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する工程とを備え、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成することを特徴とする請求項１０に記載のポーズ検出方法。
【請求項１２】
カメラから入力された映像を利用するビデオゲームにおけるカメラで撮影した画像を介してプレイヤのポーズを検出するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
コンピュータを、
プレイヤの姿態をカメラで撮影した画像の所定領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、および、
算出されたフレーム差分および／もしくは背景差分からプレイヤのポーズに対応する操作情報を生成する手段として機能させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１３】
コンピュータを、
上記プレイヤの姿態をカメラで撮影した画像の左側の所定幅の端部および右側の所定幅の端部の領域内における画像のフレーム差分および／もしくは背景差分を計算する手段、
上記左側の所定幅の端部および右側の所定幅の端部の領域内の画像のフレーム差分および／もしくは背景差分の重心位置を左右それぞれ計算する手段、
算出された左右それぞれの重心位置の上下方向位置の差を計算する手段、および、
算出された左右それぞれの重心位置の上下方向位置の平均値を計算する手段として機能させ、
上記重心位置の上下方向位置の差および平均値に基づいた値をアナログスティック信号に変換して操作情報とすることを特徴とする請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
コンピュータを、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分を計算する手段、および、
上記左側の所定幅の端部および右側の所定幅の端部の領域以外の所定領域における背景差分を計算する手段として機能させ、
上記左側の所定幅の端部および右側の所定幅の端部の領域の背景差分が存在しないと判断された場合に、上記所定領域における背景差分の有無に応じて特定のポーズに対応する操作情報を生成することを特徴とする請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図６】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図６】
【公開番号】特開２００６−６８３１５（Ｐ２００６−６８３１５Ａ）
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願番号】特願２００４−２５５９４８（Ｐ２００４−２５５９４８）
【出願日】平成１６年９月２日（２００４．９．２）
【出願人】（０００１３２４７１）株式会社セガ (811)
【Ｆターム（参考）】
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願日】平成１６年９月２日（２００４．９．２）
【出願人】（０００１３２４７１）株式会社セガ (811)
【Ｆターム（参考）】
[ Back to top ]