情報処理システム、プログラムおよびゲームキャラクタ移動制御方法
【課題】 カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めるための技術を提供する。
【解決手段】 プレイヤを含む鏡面動画像からプレイヤが占める領域を抽出する領域抽出手段と、ゲームキャラクタを含むコンピュータ画像を生成する制御手段と、前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、前記制御手段は、前記重畳動画像における前記プレイヤが占める領域にしたがって前記ゲームキャラクタを移動させることを特徴とする情報処理システム。
【解決手段】 プレイヤを含む鏡面動画像からプレイヤが占める領域を抽出する領域抽出手段と、ゲームキャラクタを含むコンピュータ画像を生成する制御手段と、前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、前記制御手段は、前記重畳動画像における前記プレイヤが占める領域にしたがって前記ゲームキャラクタを移動させることを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影したプレイヤの画像を用いてゲームシナリオを進行させる情報処理システムに関する。
【背景技術】
【０００２】
カメラで撮影したプレイヤの画像をコマンド等を入力するための入力インタフェースとして利用した情報処理システムが提案されている。
【０００３】
例えば、特許文献１には、プレイヤを写した鏡面動画像とメニュー画像等のコンピュータ画像との合成動画像を生成し、画像に表示されるプレイヤの手をポインティングデバイスに見立ててメニューの選択等の指示を受け付ける画像処理装置が開示されている。
【０００４】
【特許文献１】特開２００２−１９６８５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている入力インタフェースは、プレイヤの動作と画像処理装置に対する操作とが直接的に対応しているため、万人にわかりやすい操作性を有している。このため、特に、ユーザの年齢層が幅広いエンタテインメントシステムの分野での応用が期待される。一方、エンタテインメントシステムの分野での応用には、よりゲーム性を高めた工夫が要求される。
【０００６】
本発明は、カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めるための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明によれば、
プレイヤを含む鏡面動画像からプレイヤが占める領域を抽出する領域抽出手段と、
ゲームキャラクタを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、
前記制御手段は、前記重畳動画像における前記プレイヤが占める領域にしたがって前記ゲームキャラクタを移動させることを特徴とする情報処理システムが提供される。
【０００８】
なお、撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理する鏡面動画像処理手段とをさらに備えるようにしてもよい。
【０００９】
ここで、前記領域抽出手段は、あらかじめ取得したプレイヤが含まれない画像とプレイヤ動画像との差分に基づいてプレイヤが占める領域を抽出することができる。
【００１０】
このとき、前記表示制御手段は、前記プレイヤが含まれない画像を取得するために、前記撮影装置の撮影範囲外に出るようにプレイヤに促す画像を前記表示装置に表示させることが望ましい。
【００１１】
また、前記制御手段は、前記ゲームキャラクタを画面片側に設けた１または複数のスタート地点から登場させ、他方の片側に設けた１または複数のゴールに向けて移動させることにより、ゲーム性を一層高めることができる。
【００１２】
また、前記制御手段は、前記ゲームキャラクタの進行方向前面の領域および前記ゲームキャラクタの下面の領域において前記プレイヤが占める領域があるかどうかを判断し、前記ゲームキャラクタの下面に前記プレイヤが占める領域がない場合には、前記ゲームキャラクタを落下させ、前記ゲームキャラクタの前面に前記プレイヤが占める領域がある場合には、前記ゲームキャラクタを進行方向斜め上方に移動させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施例について、図面を用いて説明する。
【００１４】
本実施例に係るエンタテインメントシステムの構成の一例を図１に示す。このエンタテインメントシステムは、ディスプレイ装置３に向き合った位置にいるプレイヤ４をアナログまたはデジタルのビデオカメラ１が撮影し、これにより得られた動画像をエンタテインメント装置２が連続的に連続に取り込んで、エンタテインメント装置２が生成したコンピュータ画像（ＣＧ）と、ビデオカメラ１から取り込んだ動画像の鏡面動画像とを重ね合わせた重畳画像をディスプレイ装置３上にリアルタイムに表示させるものである。したがって、重畳画像ではプレイヤ４の動作がリアルタイムに反映されていて、この重畳画像でプレイヤ４はプレイを楽しむことができる。鏡面動画像は、ビデオカメラ１から取り込んだ動画像をエンタテインメント装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、他の方法であってもよい。例えば、ビデオカメラ１において鏡面処理を行なうようにしてもよい。
【００１５】
エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成する情報処理装置により実現される。この実施形態によるエンタテインメント装置２は、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。
【００１６】
メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ３１０と、ＲＡＭで構成されるメインメモリ３１１と、メインＤＭＡＣ（Direct Memory Access Controller）３１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）３１３と、描画用メモリとなるフレームメモリ３１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）３１４が接続される。ＧＰＵ３１４には、フレームメモリ３１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）３１６が接続される。
【００１７】
メインＣＰＵ３１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ３２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ３２７を制御するとともに、このメディアドライブ３２７に装着されたメディア３２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ３１１に記憶させる。さらに、メディア３２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状およびその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。
【００１８】
ＧＰＵ３１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ３１０から通知されるディスプレイリストにしたがって必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ３１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ３１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ３１５上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。
【００１９】
メインＤＭＡＣ３１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ３１３は、メインＣＰＵ３１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。
【００２０】
サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ３２０、ＲＡＭで構成されるサブメモリ３２１、サブＤＭＡＣ３２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ３２３、サウンドメモリ３２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））３２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）３２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア３２８を装着するためのメディアドライブ３２７および入力部３３１が接続されている。
【００２１】
サブＣＰＵ３２０は、ＲＯＭ３２３に記憶されている制御プログラムにしたがって各種動作を行う。サブＤＭＡＣ３２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３３１は、操作装置３３５からの入力信号が入力される接続端子３３２、ビデオカメラ１からの画像信号が入力される接続端子３３３、およびビデオカメラ１等からの音声信号が入力される接続端子３３４を備える。なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。
【００２２】
このように構成されるコンピュータは、メインＣＰＵ３１０、サブＣＰＵ３２０、ＧＰＵ３１４が、ＲＯＭ３２３およびメディア３２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。
【００２３】
このエンタテインメント装置２の機能ブロック図を図３に示す。すなわち、エンタテインメント装置２には、ビデオ画像入力部１０１と、画像反転部１０２と、領域抽出部１０３と、主制御部１０４と、ＣＧ生成部１０５と、重畳画像生成部１０６と、表示制御部１０７とが形成される。
【００２４】
ビデオ画像入力部１０１は、ビデオカメラ１で撮影されたビデオ画像を取り込む。ビデオ画像は動画像であり、ビデオ画像入力部１０１はビデオカメラ１から送られてくる画像を連続的に取り込む。
【００２５】
画像反転部１０２は、ビデオ画像入力部１０１が取り込んだビデオ画像に対して鏡面処理、すなわち左右反転処理を行う。プレイヤを撮影した鏡面処理されたビデオ画像２００の一例を図４（ａ）に示す。本図には、鏡面処理されたプレイヤの画像５が含まれている。これ以降の処理は、鏡面処理がされたビデオ画像に対して行われる。なお、ビデオ画像の鏡面処理をビデオカメラ１で行なうようにした場合には、画像反転部１０２は省くことができる。
【００２６】
領域抽出部１０３は、画像反転部１０２が反転したビデオ画像からプレイヤが写っている領域を抽出する処理を行なう。
【００２７】
本実施例では、領域抽出部１０３は、あらかじめプレイヤの写っていない状態のビデオ画像の１フレーム分を基準画像１０３ａとして記憶しておく。図４（ａ）に対応する基準画像１０３ａの一例を図４（ｂ）に示す。そして、その基準画像とビデオ画像との差分に基づいてプレイヤ５が写っている領域を抽出する。図４（ａ）、（ｂ）に対応するプレイヤ５が写っている領域を図４（ｃ）に示す。本図には、図４（ａ）と図４（ｂ）の差分で得られる領域６が示されている。
【００２８】
このため、エンタテインメント装置２は、プレイヤの写っていない状態の画像を撮影するために、プレイヤに対して、画面の外に出るように促し、その後、領域抽出部１０３は、画像反転部１０２が反転したビデオ画像の１フレームを抽出して基準画像１０３ａとして記憶する。
【００２９】
具体的には、プレイヤからの指示に基づいてエンタテインメント装置２でのプレイが開始される前に、画面の外に出ることを促す表示を行ない、所定の時間経過後にビデオ画像の１フレームを抽出するようにする。この際、プレイヤに撮影のタイミングを知らしめるために、カウントダウンの表示を行なうことが望ましい。
【００３０】
ただし、ビデオ画像からプレイヤが写っている領域を抽出する方法は、これに限られない。例えば、プレイヤの動作に基づいて、前後のフレームの差分を検出したり、パターン認識等を用いて、ビデオ画像からプレイヤが写っている領域を抽出するようにしてもよい。
【００３１】
領域抽出部１０３によるプレイヤが写っている領域を抽出する処理は、連続的に、リアルタイムに行なわれる。すなわち、プレイヤの動作にしたがって、図４（ｃ）に示した領域は逐次変化する。
【００３２】
主制御部１０４は、エンタテインメントシステム全体の制御を行う。例えば、エンタテインメント装置２がゲームプログラムを実行しているときは、主制御部１０４がそのプログラムにしたがってゲームのストーリーなどを決定する。また、主制御部１０４がストーリーを決定するときに、判定部１０３の判定結果を参照する場合がある。この詳細については後述する。すなわち、エンタテインメント装置２は、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体に記録されたプログラムを実行することで、図３に示したような機能ブロックを構成し、本実施例における各種処理を行なう。
【００３３】
ＣＧ生成部１０５は、主制御部１０４の指示にしたがって、ゲームのストーリーに沿った種々のコンピュータ画像を生成する。本実施例では、図５に示すようなキャラクタ１０を所定の規則にしたがって、画面上に表示する。キャラクタ１０は、主制御部１０４の制御により画面上を移動する。このとき、ＣＧ生成部１０５は、移動の態様、例えば、通常の歩行、登り、落下等によってキャラクタ１０の表示態様を変更することが望ましい。本例では、キャラクタ１０は、帽子をかぶったヒトを模したデザインとなっているが、これに限られない。例えば、動物、乗り物等であってもかまわない。
【００３４】
また、ＣＧ生成部１０５は、キャラクタ１０のスタートとなる入口のコンピュータ画像と、キャラクタ１０のゴールとなる出口のコンピュータ画像とを生成する。入口と出口とは固定画像として扱ってよい。また、それぞれ複数個設けるようにすることができる。本実施例では、画面の右端に入口を２個、画面の左端に出口を２個、それぞれ、上下に分けて配置するものとする。
【００３５】
重畳画像生成部１０６は、画像反転部１０２で鏡面処理されたビデオ画像とＣＧ生成部１０５で生成されたコンピュータ画像とを重ね合わせた重畳画像を生成する。例えば、重畳画像生成部１０６が図４（ａ）のビデオ画像２００と図５のキャラクタ１０と、入口２１および出口２２の固定画像とを重畳すると、図６の重畳画像４００が生成される。なお、わかりやすくするため、図６では、鏡面処理されたビデオ画像におけるプレイヤ５の後ろの風景は省略している。
【００３６】
図６においてプレイヤ５の写っている領域は、領域抽出部１０３が抽出した領域６（図４（ｃ）参照）と一致することになる。すなわち、主制御部１０４は、画面におけるプレイヤ５の写っている領域をリアルタイムで把握することができる。
【００３７】
表示制御部１０７は、重畳画像生成部１０６で生成された重畳画像をディスプレイ装置３に表示させる。すなわち、プレイヤは、自身の鏡面動画像とコンピュータ画像との重ね合わせ画像を見ながら、エンタテインメントシステムに対する種々の操作を行なうことができる。
【００３８】
つぎに、主制御部１０４が行なう、キャラクタ１０の移動の制御について説明する。本実施例において、キャラクタ１０は、領域抽出部１０３が抽出したプレイヤの領域にしたがって、具体的には、プレイヤの領域を通行路と見なして移動するものとする。
【００３９】
すなわち、図６に示すように、入口２１ａ、２１ｂから登場したキャラクタ１０は、プレイヤ５の領域を通行路と見なして、出口２２ａ、２２ｂに向かって右から左に移動していく。このとき、通行路がない場合にはキャラクタ１０は落下していく。なお、以下では画面の水平方向をＸ軸とし、垂直方向をＹ軸として説明する。
【００４０】
ここで、主制御部１０４は、リアルタイムにプレイヤの領域を把握できるため、プレイヤの動作による通行路の変化に対応して、キャラクタ１０の行動を随時制御する。このようにすることで、あたかも、プレイヤに沿ってキャラクタ１０が移動していくように見える。
【００４１】
一方、プレイヤは、画面に映る自身の姿勢を変化させることで、キャラクタ１０の通行路を規定することができ、この結果、それぞれのキャラクタ１０の移動先をリアルタイムでコントロールすることができる。例えば、入口２１ａから登場したキャラクタ１０を腕に乗せるような姿勢をとることで、腕を渡ってキャラクタ１０が移動するように表示される。また、入口２１ｂから登場したキャラクタ１０に対して何も施さなければ、そのキャラクタ１０は落下してしまうことになる。
【００４２】
主制御部１０４は、ゲームシナリオに応じて、キャラクタ１０ごとに目的となる出口２２を設定したり、種々のタイプのキャラクタを登場させたり、プレイヤのコントロールに応じて得点を与えること等により、エンタテインメント装置２におけるゲーム性を一層高めることができる。
【００４３】
つぎに、本実施例のキャラクタ１０の移動制御の具体例について説明する。図７（ａ）に示すようにキャラクタ１０は、水平方向については、基本的に、右から左へと一方向に進むものとする。一方、垂直方向については、前方に壁のような通行路がある場合にはそれを登るように斜め上方に移動し、また、下面に通行路がない場合には下方に落下する。ただし、落下の途中に通行路に落ちた場合には、再度、水平方向の移動を開始する。これは、例えば、落下しているキャラクタ１０をプレイヤがすくい上げる動作、キャラクタ１０が斜面を滑り落ちる動き等に対応する。
【００４４】
キャラクタ１０の移動は、プレイヤの領域抽出処理等とともにリアルタイムで行なう必要があるため、キャラクタ１０の移動制御は簡易な処理で行なうことが望ましい。
【００４５】
このため、本実施例では、キャラクタの前面と下面との通行路の状況を判断することで、次の移動方向を定めるものとする。すなわち、図７（ａ）に示すようにキャラクタ１０の進行方向前面に前方検知領域１１を設け、下面に下方検知領域１２を設けるようにする。いずれの検知領域１１、１２とも、多少キャラクタ１０が占める領域と重ならせるようにすることが望ましい。
【００４６】
これらの検知領域１１、１２は、その領域内に通行路と認められる領域がどの程度含まれているかを検出するための領域である。それぞれの検出結果は、例えば、４０％等の比率で表わすことができる。この場合、検知領域の内、通行路と認められる領域が４０％含まれていることを示している。この検出結果は、例えば、検知領域１１、１２を所定の大きさのマトリックスに分割し、それぞれのマトリックスが通行路に対応するか否かを判断し、通行路に対応するマトリクスの比率を算出することで得ることができる。
【００４７】
図７（ｂ）は、通行路１３にキャラクタ１０ａとキャラクタ１０ｂとが通行している例を示している。このとき、キャラクタ１０ａについては、前方検知領域１１ａ、下方検知領域１２ａとも５０％程度と検知され、キャラクタ１０ｂについては、前方検知領域１１ｂは５％程度であり、下方検知領域１２ｂは５０％程度と検知されることになる。
【００４８】
このような検知領域１１、１２における通行路の検出の結果に基づいて、主制御部１０４は、図８に示すようなフロー図にしたがってキャラクタ１０の移動を制御する。なお、主制御部１０４は、画面上に複数のキャラクタ１０を登場させることができ、図８に示すフロー図をキャラクタ１０ごとに繰り返し実行することで、プレイヤの動作に基づいて、各キャラクタ１０を連続的に、リアルタイムにそれぞれ独立して移動させる。
【００４９】
本フロー図において、変数Ｊを用いているが、これは下面に通行路がない場合、つまり、プレイヤがキャラクタ１０に対して通行路を与えていない場合に、すぐにキャラクタ１０を落下させずに、ある程度の時間経過後に落下を開始させるために用いる変数である。
【００５０】
主制御部１０４は、キャラクタ１０をいずれかのスタート地点（入口２１）から登場させ、以下の制御を行なうようにする。なお、ゲームシナリオにしたがって、キャラクタ１０を歩かせたり、走らせたりすることができる。
【００５１】
まず、変数Ｊを０で初期化する（Ｓ１０１）。
【００５２】
そして、現在位置がゴール（出口２２）かどうかを判断する（Ｓ１０２）。その結果、ゴールに達している場合（Ｓ１０２：Ｙ）には、ゲームシナリオにしたがったゴール処理を行なう（Ｓ１０３）。ここで、ゴール処理は、例えば、そのキャラクタ１０を画面上から消去し、あらかじめ定めた規則にしたがって、プレイヤに加点する。
【００５３】
一方、キャラクタ１０がゴールに達していない場合（Ｓ１０２：Ｎ）には、前方検知領域１１の検出結果に基づいて、前面に通行路が存在しているかどうかを判断する（Ｓ１０４）。前面に通行路が存在しているかどうかは、例えば、前方検知領域１１に占める通行路の割合が、所定の値、例えば、３０％以上の場合に前面に通行路が存在していると判断するようにすることができる。
【００５４】
この結果、前面に通行路が存在していると判断した場合（Ｓ１０４：Ｙ）には、通行路が登り坂であると見なして、Ｊをリセットし（Ｓ１０５）、登り処理を行なう（Ｓ１０６）。
【００５５】
登り処理では、図９（ａ）に示すように、キャラクタ１０を、主にＹ軸移動量を上方向に大きめに、Ｘ軸を左方向に通常の水平移動より少なめにとった移動を行なわせる。移動させる量は、ゲームシナリオにしたがった値とする。そして、処理（Ｓ１０２）に戻り、以降の処理を繰り返す。
【００５６】
前面に通行路が存在しないと判断した場合（Ｓ１０４：Ｎ）には、下方検知領域１２の検出結果に基づいて、下面に通行路が存在しているかどうかを判断する（Ｓ１０７）。下面に通行路が存在しているかどうかは、例えば、下方検知領域１２に占める通行路の割合が、所定の値、例えば、１０％以上の場合に前面に通行路が存在していると判断するようにすることができる。
【００５７】
この結果、下面に通行路が存在していると判断した場合（Ｓ１０７：Ｙ）には、通行路が水平であると見なして、Ｊをリセットする（Ｓ１０８）。
【００５８】
そして、さらに、下方検知領域１２に占める通行路の割合が所定の基準値、例えば、９０％以上であるかを判断する（Ｓ１０９）。これは、図９（ｂ）に示すように、キャラクタ１０が通行路に埋まっているような状態であるかどうかを判断するためである。すなわち、下方検知領域１２に占める通行路の割合が所定の基準値を超えている場合には、キャラクタ１０が通行路に埋まっているような状態であると判断する。
【００５９】
その結果、下方検知領域１２に占める通行路の割合が、所定の割合以上でない場合（Ｓ１０９：Ｎ）には、図９（ｃ）に示すように、通常の水平移動として、キャラクタ１０をＸ軸について左方向に移動させる（Ｓ１１０）。移動させる量は、ゲームシナリオにしたがった値とする。例えば、キャラクタが走っている場合には、歩いている場合よりも移動量を多くさせる。この際、ゲームシナリオにしたがい、キャラクタ１０について、歩く、スキップする等の表示をさせることが望ましい。
【００６０】
一方、下方検知領域１２に占める通行路の割合が、所定の割合以上の場合（Ｓ１０９：Ｙ）には、図９（ｄ）に示すように、上述の水平移動に加え、Ｙ軸についても、多少上方に移動させる（Ｓ１１１）。これは、通行路に埋まって移動するように見えるのを避けるためである。
【００６１】
下面に通行路が存在していないと判断した場合（Ｓ１０７：Ｎ）には、Ｊに１を加算する（Ｓ１１２）。そして、Ｊが所定の値に達したかどうかを判断する（Ｓ１１３）。すなわち、下面に通行路が存在していない状態が継続しているかどうかを判断する。
【００６２】
その結果、Ｊが所定の値に達していない場合（Ｓ１１３：Ｙ）には、処理（Ｓ１０２）に戻り、以降の処理を繰り返す。
【００６３】
一方、Ｊが所定の値に達した場合（Ｓ１１３：Ｎ）には、落下処理を行なう（Ｓ１１４）。落下処理では、所定の速度で、キャラクタ１０を下方に移動させる。この際、落下している表示を行なうことが望ましい。
【００６４】
なお、落下後のキャラクタ１０に対しては、以下の処理を行なう。すなわち、落下して画面の外に出た場合には、そのキャラクタ１０を制御対象から取り除く。また、落下の間も方検知領域１２による下面の検知を行ない（Ｓ１１５）、下面に通行路が検出された場合（Ｓ１１５：Ｙ）には、処理（Ｓ１０８）に戻って、水平方向の移動を再開する。例えば、キャラクタ１０は、プレイヤの頭部分の左側で下面を検出しなくなるため落下を開始する。そして、肩部分まで落ちた段階で下面の通行路を検出し、再度水平移動が開始されることになる。また、下り斜面では落下と水平移動とが短い周期で繰り返され、階段状に下っていくことになる。
【００６５】
なお、キャラクタ１０の具体的な移動規則については、上記の例に限られず、種々の方法を用いることができる。また、キャラクタ１０の通行路もプレイヤの写っている領域に限られない。例えば、プレイヤが操作する棒等のアイテムを通行路と見なして、キャラクタ１０を移動させるようにしてもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態に係るエンタテインメントシステムの全体構成図である。
【図２】エンタテインメント装置の構成図である。
【図３】エンタテインメント装置の機能構成図である。
【図４】プレイヤの鏡面画像および領域を示す図である。
【図５】キャラクタのコンピュータ画像を示す図である。
【図６】重畳画像の例を示す図である。
【図７】キャラクタの検知領域を示す図である。
【図８】キャラクタの移動の制御を示すフロー図である。
【図９】キャラクタの移動を説明する図である。
【符号の説明】
【００６７】
１…ビデオカメラ、２…エンタテインメント装置、３…ディスプレイ装置、１０１…ビデオ画像入力部、１０２…画像反転部、１０３…領域抽出部、１０４…主制御部、１０５…ＣＧ生成部、１０６…重畳画像生成部、１０７…表示制御部
【技術分野】
【０００１】
本発明は、カメラで撮影したプレイヤの画像を用いてゲームシナリオを進行させる情報処理システムに関する。
【背景技術】
【０００２】
カメラで撮影したプレイヤの画像をコマンド等を入力するための入力インタフェースとして利用した情報処理システムが提案されている。
【０００３】
例えば、特許文献１には、プレイヤを写した鏡面動画像とメニュー画像等のコンピュータ画像との合成動画像を生成し、画像に表示されるプレイヤの手をポインティングデバイスに見立ててメニューの選択等の指示を受け付ける画像処理装置が開示されている。
【０００４】
【特許文献１】特開２００２−１９６８５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている入力インタフェースは、プレイヤの動作と画像処理装置に対する操作とが直接的に対応しているため、万人にわかりやすい操作性を有している。このため、特に、ユーザの年齢層が幅広いエンタテインメントシステムの分野での応用が期待される。一方、エンタテインメントシステムの分野での応用には、よりゲーム性を高めた工夫が要求される。
【０００６】
本発明は、カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めるための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明によれば、
プレイヤを含む鏡面動画像からプレイヤが占める領域を抽出する領域抽出手段と、
ゲームキャラクタを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、
前記制御手段は、前記重畳動画像における前記プレイヤが占める領域にしたがって前記ゲームキャラクタを移動させることを特徴とする情報処理システムが提供される。
【０００８】
なお、撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理する鏡面動画像処理手段とをさらに備えるようにしてもよい。
【０００９】
ここで、前記領域抽出手段は、あらかじめ取得したプレイヤが含まれない画像とプレイヤ動画像との差分に基づいてプレイヤが占める領域を抽出することができる。
【００１０】
このとき、前記表示制御手段は、前記プレイヤが含まれない画像を取得するために、前記撮影装置の撮影範囲外に出るようにプレイヤに促す画像を前記表示装置に表示させることが望ましい。
【００１１】
また、前記制御手段は、前記ゲームキャラクタを画面片側に設けた１または複数のスタート地点から登場させ、他方の片側に設けた１または複数のゴールに向けて移動させることにより、ゲーム性を一層高めることができる。
【００１２】
また、前記制御手段は、前記ゲームキャラクタの進行方向前面の領域および前記ゲームキャラクタの下面の領域において前記プレイヤが占める領域があるかどうかを判断し、前記ゲームキャラクタの下面に前記プレイヤが占める領域がない場合には、前記ゲームキャラクタを落下させ、前記ゲームキャラクタの前面に前記プレイヤが占める領域がある場合には、前記ゲームキャラクタを進行方向斜め上方に移動させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施例について、図面を用いて説明する。
【００１４】
本実施例に係るエンタテインメントシステムの構成の一例を図１に示す。このエンタテインメントシステムは、ディスプレイ装置３に向き合った位置にいるプレイヤ４をアナログまたはデジタルのビデオカメラ１が撮影し、これにより得られた動画像をエンタテインメント装置２が連続的に連続に取り込んで、エンタテインメント装置２が生成したコンピュータ画像（ＣＧ）と、ビデオカメラ１から取り込んだ動画像の鏡面動画像とを重ね合わせた重畳画像をディスプレイ装置３上にリアルタイムに表示させるものである。したがって、重畳画像ではプレイヤ４の動作がリアルタイムに反映されていて、この重畳画像でプレイヤ４はプレイを楽しむことができる。鏡面動画像は、ビデオカメラ１から取り込んだ動画像をエンタテインメント装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、他の方法であってもよい。例えば、ビデオカメラ１において鏡面処理を行なうようにしてもよい。
【００１５】
エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成する情報処理装置により実現される。この実施形態によるエンタテインメント装置２は、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。
【００１６】
メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ３１０と、ＲＡＭで構成されるメインメモリ３１１と、メインＤＭＡＣ（Direct Memory Access Controller）３１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）３１３と、描画用メモリとなるフレームメモリ３１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）３１４が接続される。ＧＰＵ３１４には、フレームメモリ３１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）３１６が接続される。
【００１７】
メインＣＰＵ３１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ３２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ３２７を制御するとともに、このメディアドライブ３２７に装着されたメディア３２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ３１１に記憶させる。さらに、メディア３２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状およびその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。
【００１８】
ＧＰＵ３１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ３１０から通知されるディスプレイリストにしたがって必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ３１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ３１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ３１５上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。
【００１９】
メインＤＭＡＣ３１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ３１３は、メインＣＰＵ３１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。
【００２０】
サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ３２０、ＲＡＭで構成されるサブメモリ３２１、サブＤＭＡＣ３２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ３２３、サウンドメモリ３２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））３２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）３２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア３２８を装着するためのメディアドライブ３２７および入力部３３１が接続されている。
【００２１】
サブＣＰＵ３２０は、ＲＯＭ３２３に記憶されている制御プログラムにしたがって各種動作を行う。サブＤＭＡＣ３２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３３１は、操作装置３３５からの入力信号が入力される接続端子３３２、ビデオカメラ１からの画像信号が入力される接続端子３３３、およびビデオカメラ１等からの音声信号が入力される接続端子３３４を備える。なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。
【００２２】
このように構成されるコンピュータは、メインＣＰＵ３１０、サブＣＰＵ３２０、ＧＰＵ３１４が、ＲＯＭ３２３およびメディア３２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。
【００２３】
このエンタテインメント装置２の機能ブロック図を図３に示す。すなわち、エンタテインメント装置２には、ビデオ画像入力部１０１と、画像反転部１０２と、領域抽出部１０３と、主制御部１０４と、ＣＧ生成部１０５と、重畳画像生成部１０６と、表示制御部１０７とが形成される。
【００２４】
ビデオ画像入力部１０１は、ビデオカメラ１で撮影されたビデオ画像を取り込む。ビデオ画像は動画像であり、ビデオ画像入力部１０１はビデオカメラ１から送られてくる画像を連続的に取り込む。
【００２５】
画像反転部１０２は、ビデオ画像入力部１０１が取り込んだビデオ画像に対して鏡面処理、すなわち左右反転処理を行う。プレイヤを撮影した鏡面処理されたビデオ画像２００の一例を図４（ａ）に示す。本図には、鏡面処理されたプレイヤの画像５が含まれている。これ以降の処理は、鏡面処理がされたビデオ画像に対して行われる。なお、ビデオ画像の鏡面処理をビデオカメラ１で行なうようにした場合には、画像反転部１０２は省くことができる。
【００２６】
領域抽出部１０３は、画像反転部１０２が反転したビデオ画像からプレイヤが写っている領域を抽出する処理を行なう。
【００２７】
本実施例では、領域抽出部１０３は、あらかじめプレイヤの写っていない状態のビデオ画像の１フレーム分を基準画像１０３ａとして記憶しておく。図４（ａ）に対応する基準画像１０３ａの一例を図４（ｂ）に示す。そして、その基準画像とビデオ画像との差分に基づいてプレイヤ５が写っている領域を抽出する。図４（ａ）、（ｂ）に対応するプレイヤ５が写っている領域を図４（ｃ）に示す。本図には、図４（ａ）と図４（ｂ）の差分で得られる領域６が示されている。
【００２８】
このため、エンタテインメント装置２は、プレイヤの写っていない状態の画像を撮影するために、プレイヤに対して、画面の外に出るように促し、その後、領域抽出部１０３は、画像反転部１０２が反転したビデオ画像の１フレームを抽出して基準画像１０３ａとして記憶する。
【００２９】
具体的には、プレイヤからの指示に基づいてエンタテインメント装置２でのプレイが開始される前に、画面の外に出ることを促す表示を行ない、所定の時間経過後にビデオ画像の１フレームを抽出するようにする。この際、プレイヤに撮影のタイミングを知らしめるために、カウントダウンの表示を行なうことが望ましい。
【００３０】
ただし、ビデオ画像からプレイヤが写っている領域を抽出する方法は、これに限られない。例えば、プレイヤの動作に基づいて、前後のフレームの差分を検出したり、パターン認識等を用いて、ビデオ画像からプレイヤが写っている領域を抽出するようにしてもよい。
【００３１】
領域抽出部１０３によるプレイヤが写っている領域を抽出する処理は、連続的に、リアルタイムに行なわれる。すなわち、プレイヤの動作にしたがって、図４（ｃ）に示した領域は逐次変化する。
【００３２】
主制御部１０４は、エンタテインメントシステム全体の制御を行う。例えば、エンタテインメント装置２がゲームプログラムを実行しているときは、主制御部１０４がそのプログラムにしたがってゲームのストーリーなどを決定する。また、主制御部１０４がストーリーを決定するときに、判定部１０３の判定結果を参照する場合がある。この詳細については後述する。すなわち、エンタテインメント装置２は、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体に記録されたプログラムを実行することで、図３に示したような機能ブロックを構成し、本実施例における各種処理を行なう。
【００３３】
ＣＧ生成部１０５は、主制御部１０４の指示にしたがって、ゲームのストーリーに沿った種々のコンピュータ画像を生成する。本実施例では、図５に示すようなキャラクタ１０を所定の規則にしたがって、画面上に表示する。キャラクタ１０は、主制御部１０４の制御により画面上を移動する。このとき、ＣＧ生成部１０５は、移動の態様、例えば、通常の歩行、登り、落下等によってキャラクタ１０の表示態様を変更することが望ましい。本例では、キャラクタ１０は、帽子をかぶったヒトを模したデザインとなっているが、これに限られない。例えば、動物、乗り物等であってもかまわない。
【００３４】
また、ＣＧ生成部１０５は、キャラクタ１０のスタートとなる入口のコンピュータ画像と、キャラクタ１０のゴールとなる出口のコンピュータ画像とを生成する。入口と出口とは固定画像として扱ってよい。また、それぞれ複数個設けるようにすることができる。本実施例では、画面の右端に入口を２個、画面の左端に出口を２個、それぞれ、上下に分けて配置するものとする。
【００３５】
重畳画像生成部１０６は、画像反転部１０２で鏡面処理されたビデオ画像とＣＧ生成部１０５で生成されたコンピュータ画像とを重ね合わせた重畳画像を生成する。例えば、重畳画像生成部１０６が図４（ａ）のビデオ画像２００と図５のキャラクタ１０と、入口２１および出口２２の固定画像とを重畳すると、図６の重畳画像４００が生成される。なお、わかりやすくするため、図６では、鏡面処理されたビデオ画像におけるプレイヤ５の後ろの風景は省略している。
【００３６】
図６においてプレイヤ５の写っている領域は、領域抽出部１０３が抽出した領域６（図４（ｃ）参照）と一致することになる。すなわち、主制御部１０４は、画面におけるプレイヤ５の写っている領域をリアルタイムで把握することができる。
【００３７】
表示制御部１０７は、重畳画像生成部１０６で生成された重畳画像をディスプレイ装置３に表示させる。すなわち、プレイヤは、自身の鏡面動画像とコンピュータ画像との重ね合わせ画像を見ながら、エンタテインメントシステムに対する種々の操作を行なうことができる。
【００３８】
つぎに、主制御部１０４が行なう、キャラクタ１０の移動の制御について説明する。本実施例において、キャラクタ１０は、領域抽出部１０３が抽出したプレイヤの領域にしたがって、具体的には、プレイヤの領域を通行路と見なして移動するものとする。
【００３９】
すなわち、図６に示すように、入口２１ａ、２１ｂから登場したキャラクタ１０は、プレイヤ５の領域を通行路と見なして、出口２２ａ、２２ｂに向かって右から左に移動していく。このとき、通行路がない場合にはキャラクタ１０は落下していく。なお、以下では画面の水平方向をＸ軸とし、垂直方向をＹ軸として説明する。
【００４０】
ここで、主制御部１０４は、リアルタイムにプレイヤの領域を把握できるため、プレイヤの動作による通行路の変化に対応して、キャラクタ１０の行動を随時制御する。このようにすることで、あたかも、プレイヤに沿ってキャラクタ１０が移動していくように見える。
【００４１】
一方、プレイヤは、画面に映る自身の姿勢を変化させることで、キャラクタ１０の通行路を規定することができ、この結果、それぞれのキャラクタ１０の移動先をリアルタイムでコントロールすることができる。例えば、入口２１ａから登場したキャラクタ１０を腕に乗せるような姿勢をとることで、腕を渡ってキャラクタ１０が移動するように表示される。また、入口２１ｂから登場したキャラクタ１０に対して何も施さなければ、そのキャラクタ１０は落下してしまうことになる。
【００４２】
主制御部１０４は、ゲームシナリオに応じて、キャラクタ１０ごとに目的となる出口２２を設定したり、種々のタイプのキャラクタを登場させたり、プレイヤのコントロールに応じて得点を与えること等により、エンタテインメント装置２におけるゲーム性を一層高めることができる。
【００４３】
つぎに、本実施例のキャラクタ１０の移動制御の具体例について説明する。図７（ａ）に示すようにキャラクタ１０は、水平方向については、基本的に、右から左へと一方向に進むものとする。一方、垂直方向については、前方に壁のような通行路がある場合にはそれを登るように斜め上方に移動し、また、下面に通行路がない場合には下方に落下する。ただし、落下の途中に通行路に落ちた場合には、再度、水平方向の移動を開始する。これは、例えば、落下しているキャラクタ１０をプレイヤがすくい上げる動作、キャラクタ１０が斜面を滑り落ちる動き等に対応する。
【００４４】
キャラクタ１０の移動は、プレイヤの領域抽出処理等とともにリアルタイムで行なう必要があるため、キャラクタ１０の移動制御は簡易な処理で行なうことが望ましい。
【００４５】
このため、本実施例では、キャラクタの前面と下面との通行路の状況を判断することで、次の移動方向を定めるものとする。すなわち、図７（ａ）に示すようにキャラクタ１０の進行方向前面に前方検知領域１１を設け、下面に下方検知領域１２を設けるようにする。いずれの検知領域１１、１２とも、多少キャラクタ１０が占める領域と重ならせるようにすることが望ましい。
【００４６】
これらの検知領域１１、１２は、その領域内に通行路と認められる領域がどの程度含まれているかを検出するための領域である。それぞれの検出結果は、例えば、４０％等の比率で表わすことができる。この場合、検知領域の内、通行路と認められる領域が４０％含まれていることを示している。この検出結果は、例えば、検知領域１１、１２を所定の大きさのマトリックスに分割し、それぞれのマトリックスが通行路に対応するか否かを判断し、通行路に対応するマトリクスの比率を算出することで得ることができる。
【００４７】
図７（ｂ）は、通行路１３にキャラクタ１０ａとキャラクタ１０ｂとが通行している例を示している。このとき、キャラクタ１０ａについては、前方検知領域１１ａ、下方検知領域１２ａとも５０％程度と検知され、キャラクタ１０ｂについては、前方検知領域１１ｂは５％程度であり、下方検知領域１２ｂは５０％程度と検知されることになる。
【００４８】
このような検知領域１１、１２における通行路の検出の結果に基づいて、主制御部１０４は、図８に示すようなフロー図にしたがってキャラクタ１０の移動を制御する。なお、主制御部１０４は、画面上に複数のキャラクタ１０を登場させることができ、図８に示すフロー図をキャラクタ１０ごとに繰り返し実行することで、プレイヤの動作に基づいて、各キャラクタ１０を連続的に、リアルタイムにそれぞれ独立して移動させる。
【００４９】
本フロー図において、変数Ｊを用いているが、これは下面に通行路がない場合、つまり、プレイヤがキャラクタ１０に対して通行路を与えていない場合に、すぐにキャラクタ１０を落下させずに、ある程度の時間経過後に落下を開始させるために用いる変数である。
【００５０】
主制御部１０４は、キャラクタ１０をいずれかのスタート地点（入口２１）から登場させ、以下の制御を行なうようにする。なお、ゲームシナリオにしたがって、キャラクタ１０を歩かせたり、走らせたりすることができる。
【００５１】
まず、変数Ｊを０で初期化する（Ｓ１０１）。
【００５２】
そして、現在位置がゴール（出口２２）かどうかを判断する（Ｓ１０２）。その結果、ゴールに達している場合（Ｓ１０２：Ｙ）には、ゲームシナリオにしたがったゴール処理を行なう（Ｓ１０３）。ここで、ゴール処理は、例えば、そのキャラクタ１０を画面上から消去し、あらかじめ定めた規則にしたがって、プレイヤに加点する。
【００５３】
一方、キャラクタ１０がゴールに達していない場合（Ｓ１０２：Ｎ）には、前方検知領域１１の検出結果に基づいて、前面に通行路が存在しているかどうかを判断する（Ｓ１０４）。前面に通行路が存在しているかどうかは、例えば、前方検知領域１１に占める通行路の割合が、所定の値、例えば、３０％以上の場合に前面に通行路が存在していると判断するようにすることができる。
【００５４】
この結果、前面に通行路が存在していると判断した場合（Ｓ１０４：Ｙ）には、通行路が登り坂であると見なして、Ｊをリセットし（Ｓ１０５）、登り処理を行なう（Ｓ１０６）。
【００５５】
登り処理では、図９（ａ）に示すように、キャラクタ１０を、主にＹ軸移動量を上方向に大きめに、Ｘ軸を左方向に通常の水平移動より少なめにとった移動を行なわせる。移動させる量は、ゲームシナリオにしたがった値とする。そして、処理（Ｓ１０２）に戻り、以降の処理を繰り返す。
【００５６】
前面に通行路が存在しないと判断した場合（Ｓ１０４：Ｎ）には、下方検知領域１２の検出結果に基づいて、下面に通行路が存在しているかどうかを判断する（Ｓ１０７）。下面に通行路が存在しているかどうかは、例えば、下方検知領域１２に占める通行路の割合が、所定の値、例えば、１０％以上の場合に前面に通行路が存在していると判断するようにすることができる。
【００５７】
この結果、下面に通行路が存在していると判断した場合（Ｓ１０７：Ｙ）には、通行路が水平であると見なして、Ｊをリセットする（Ｓ１０８）。
【００５８】
そして、さらに、下方検知領域１２に占める通行路の割合が所定の基準値、例えば、９０％以上であるかを判断する（Ｓ１０９）。これは、図９（ｂ）に示すように、キャラクタ１０が通行路に埋まっているような状態であるかどうかを判断するためである。すなわち、下方検知領域１２に占める通行路の割合が所定の基準値を超えている場合には、キャラクタ１０が通行路に埋まっているような状態であると判断する。
【００５９】
その結果、下方検知領域１２に占める通行路の割合が、所定の割合以上でない場合（Ｓ１０９：Ｎ）には、図９（ｃ）に示すように、通常の水平移動として、キャラクタ１０をＸ軸について左方向に移動させる（Ｓ１１０）。移動させる量は、ゲームシナリオにしたがった値とする。例えば、キャラクタが走っている場合には、歩いている場合よりも移動量を多くさせる。この際、ゲームシナリオにしたがい、キャラクタ１０について、歩く、スキップする等の表示をさせることが望ましい。
【００６０】
一方、下方検知領域１２に占める通行路の割合が、所定の割合以上の場合（Ｓ１０９：Ｙ）には、図９（ｄ）に示すように、上述の水平移動に加え、Ｙ軸についても、多少上方に移動させる（Ｓ１１１）。これは、通行路に埋まって移動するように見えるのを避けるためである。
【００６１】
下面に通行路が存在していないと判断した場合（Ｓ１０７：Ｎ）には、Ｊに１を加算する（Ｓ１１２）。そして、Ｊが所定の値に達したかどうかを判断する（Ｓ１１３）。すなわち、下面に通行路が存在していない状態が継続しているかどうかを判断する。
【００６２】
その結果、Ｊが所定の値に達していない場合（Ｓ１１３：Ｙ）には、処理（Ｓ１０２）に戻り、以降の処理を繰り返す。
【００６３】
一方、Ｊが所定の値に達した場合（Ｓ１１３：Ｎ）には、落下処理を行なう（Ｓ１１４）。落下処理では、所定の速度で、キャラクタ１０を下方に移動させる。この際、落下している表示を行なうことが望ましい。
【００６４】
なお、落下後のキャラクタ１０に対しては、以下の処理を行なう。すなわち、落下して画面の外に出た場合には、そのキャラクタ１０を制御対象から取り除く。また、落下の間も方検知領域１２による下面の検知を行ない（Ｓ１１５）、下面に通行路が検出された場合（Ｓ１１５：Ｙ）には、処理（Ｓ１０８）に戻って、水平方向の移動を再開する。例えば、キャラクタ１０は、プレイヤの頭部分の左側で下面を検出しなくなるため落下を開始する。そして、肩部分まで落ちた段階で下面の通行路を検出し、再度水平移動が開始されることになる。また、下り斜面では落下と水平移動とが短い周期で繰り返され、階段状に下っていくことになる。
【００６５】
なお、キャラクタ１０の具体的な移動規則については、上記の例に限られず、種々の方法を用いることができる。また、キャラクタ１０の通行路もプレイヤの写っている領域に限られない。例えば、プレイヤが操作する棒等のアイテムを通行路と見なして、キャラクタ１０を移動させるようにしてもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態に係るエンタテインメントシステムの全体構成図である。
【図２】エンタテインメント装置の構成図である。
【図３】エンタテインメント装置の機能構成図である。
【図４】プレイヤの鏡面画像および領域を示す図である。
【図５】キャラクタのコンピュータ画像を示す図である。
【図６】重畳画像の例を示す図である。
【図７】キャラクタの検知領域を示す図である。
【図８】キャラクタの移動の制御を示すフロー図である。
【図９】キャラクタの移動を説明する図である。
【符号の説明】
【００６７】
１…ビデオカメラ、２…エンタテインメント装置、３…ディスプレイ装置、１０１…ビデオ画像入力部、１０２…画像反転部、１０３…領域抽出部、１０４…主制御部、１０５…ＣＧ生成部、１０６…重畳画像生成部、１０７…表示制御部
【特許請求の範囲】
【請求項１】
プレイヤを含む鏡面動画像からプレイヤが占める領域を抽出する領域抽出手段と、
ゲームキャラクタを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、
前記制御手段は、前記重畳動画像における前記プレイヤが占める領域にしたがって前記ゲームキャラクタを移動させることを特徴とする情報処理システム。
【請求項２】
請求項１に記載の情報処理システムであって、
撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理する鏡面動画像処理手段とをさらに備えることを特徴とする情報処理システム。
【請求項３】
請求項１に記載の情報処理システムであって、
前記領域抽出手段は、あらかじめ取得したプレイヤが含まれない画像とプレイヤ動画像との差分に基づいてプレイヤが占める領域を抽出することを特徴とする情報処理システム。
【請求項４】
請求項３に記載の情報処理システムであって、
前記表示制御手段は、前記プレイヤが含まれない画像を取得するために、前記撮影装置の撮影範囲外に出るようにプレイヤに促す画像を前記表示装置に表示させることを特徴とする情報処理システム。
【請求項５】
請求項１に記載の情報処理システムであって、
前記制御手段は、前記ゲームキャラクタを画面片側に設けた１または複数のスタート地点から登場させ、他方の片側に設けた１または複数のゴールに向けて移動させることを特徴とする情報処理システム。
【請求項６】
請求項５に記載の情報処理システムであって、
前記制御手段は、前記ゲームキャラクタの進行方向前面の領域および前記ゲームキャラクタの下面の領域において前記プレイヤが占める領域があるかどうかを判断することを特徴とする情報処理システム。
【請求項７】
請求項６に記載の情報処理システムであって、
前記制御手段は、前記ゲームキャラクタの下面に前記プレイヤが占める領域がない場合には、前記ゲームキャラクタを落下させることを特徴とする情報処理システム。
【請求項８】
請求項６に記載の情報処理システムであって、
前記制御手段は、前記ゲームキャラクタの前面に前記プレイヤが占める領域がある場合には、前記ゲームキャラクタを進行方向斜め上方に移動させることを特徴とする情報処理システム。
【請求項９】
撮影装置と表示装置とが接続される情報処理装置で実行可能なプログラムであって、
前記撮影装置で撮影したプレイヤを含む動画像に基づく鏡面動画像からプレイヤが占める領域を抽出する領域抽出手段と、
ゲームキャラクタを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段として情報処理装置を機能させ、
前記制御手段は、前記重畳動画像における前記プレイヤが占める領域にしたがって前記ゲームキャラクタを移動させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムであって、
前記撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理する鏡面動画像処理手段として情報処理装置をさらに機能させることを特徴とするプログラム。
【請求項１１】
請求項９に記載のプログラムであって、
前記領域抽出手段は、あらかじめ取得したプレイヤが含まれない画像とプレイヤ動画像との差分に基づいてプレイヤが占める領域を抽出することを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムであって、
前記表示制御手段は、前記プレイヤが含まれない画像を取得するために、前記撮影装置の撮影範囲外に出るようにプレイヤに促す画像を前記表示装置に表示させることを特徴とするプログラム。
【請求項１３】
請求項９に記載のプログラムであって、
前記制御手段は、前記ゲームキャラクタを画面片側に設けた１または複数のスタート地点から登場させ、他方の片側に設けた１または複数のゴールに向けて移動させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムであって、
前記制御手段は、前記ゲームキャラクタの進行方向前面の領域および前記ゲームキャラクタの下面の領域において前記プレイヤが占める領域があるかどうかを判断することを特徴とするプログラム。
【請求項１５】
請求項１３に記載のプログラムであって、
前記制御手段は、前記ゲームキャラクタの下面に前記プレイヤが占める領域がない場合には、前記ゲームキャラクタを落下させることを特徴とするプログラム。
【請求項１６】
請求項１３に記載のプログラムであって、
前記制御手段は、前記ゲームキャラクタの前面に前記プレイヤが占める領域がある場合には、前記ゲームキャラクタを進行方向斜め上方に移動させることを特徴とする情報処理システム。
【請求項１７】
請求項９〜１６のいずれか一項に記載されたプログラムを記録した情報処理装置読み取り可能な記録媒体。
【請求項１８】
撮影装置と表示装置とが接続される情報処理装置におけるゲームキャラクタ移動制御方法であって、
前記撮影装置で撮影したプレイヤを含む動画像に基づく鏡面動画像からプレイヤが占める領域を抽出する領域抽出処理と、
ゲームキャラクタを含むコンピュータ画像を生成する制御処理と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させ、前記重畳動画像における前記プレイヤが占める領域を通行路と見なして前記ゲームキャラクタを移動させる移動制御処理とを含むことを特徴とするゲームキャラクタ移動制御方法。
【請求項１】
プレイヤを含む鏡面動画像からプレイヤが占める領域を抽出する領域抽出手段と、
ゲームキャラクタを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、
前記制御手段は、前記重畳動画像における前記プレイヤが占める領域にしたがって前記ゲームキャラクタを移動させることを特徴とする情報処理システム。
【請求項２】
請求項１に記載の情報処理システムであって、
撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理する鏡面動画像処理手段とをさらに備えることを特徴とする情報処理システム。
【請求項３】
請求項１に記載の情報処理システムであって、
前記領域抽出手段は、あらかじめ取得したプレイヤが含まれない画像とプレイヤ動画像との差分に基づいてプレイヤが占める領域を抽出することを特徴とする情報処理システム。
【請求項４】
請求項３に記載の情報処理システムであって、
前記表示制御手段は、前記プレイヤが含まれない画像を取得するために、前記撮影装置の撮影範囲外に出るようにプレイヤに促す画像を前記表示装置に表示させることを特徴とする情報処理システム。
【請求項５】
請求項１に記載の情報処理システムであって、
前記制御手段は、前記ゲームキャラクタを画面片側に設けた１または複数のスタート地点から登場させ、他方の片側に設けた１または複数のゴールに向けて移動させることを特徴とする情報処理システム。
【請求項６】
請求項５に記載の情報処理システムであって、
前記制御手段は、前記ゲームキャラクタの進行方向前面の領域および前記ゲームキャラクタの下面の領域において前記プレイヤが占める領域があるかどうかを判断することを特徴とする情報処理システム。
【請求項７】
請求項６に記載の情報処理システムであって、
前記制御手段は、前記ゲームキャラクタの下面に前記プレイヤが占める領域がない場合には、前記ゲームキャラクタを落下させることを特徴とする情報処理システム。
【請求項８】
請求項６に記載の情報処理システムであって、
前記制御手段は、前記ゲームキャラクタの前面に前記プレイヤが占める領域がある場合には、前記ゲームキャラクタを進行方向斜め上方に移動させることを特徴とする情報処理システム。
【請求項９】
撮影装置と表示装置とが接続される情報処理装置で実行可能なプログラムであって、
前記撮影装置で撮影したプレイヤを含む動画像に基づく鏡面動画像からプレイヤが占める領域を抽出する領域抽出手段と、
ゲームキャラクタを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段として情報処理装置を機能させ、
前記制御手段は、前記重畳動画像における前記プレイヤが占める領域にしたがって前記ゲームキャラクタを移動させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムであって、
前記撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理する鏡面動画像処理手段として情報処理装置をさらに機能させることを特徴とするプログラム。
【請求項１１】
請求項９に記載のプログラムであって、
前記領域抽出手段は、あらかじめ取得したプレイヤが含まれない画像とプレイヤ動画像との差分に基づいてプレイヤが占める領域を抽出することを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムであって、
前記表示制御手段は、前記プレイヤが含まれない画像を取得するために、前記撮影装置の撮影範囲外に出るようにプレイヤに促す画像を前記表示装置に表示させることを特徴とするプログラム。
【請求項１３】
請求項９に記載のプログラムであって、
前記制御手段は、前記ゲームキャラクタを画面片側に設けた１または複数のスタート地点から登場させ、他方の片側に設けた１または複数のゴールに向けて移動させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムであって、
前記制御手段は、前記ゲームキャラクタの進行方向前面の領域および前記ゲームキャラクタの下面の領域において前記プレイヤが占める領域があるかどうかを判断することを特徴とするプログラム。
【請求項１５】
請求項１３に記載のプログラムであって、
前記制御手段は、前記ゲームキャラクタの下面に前記プレイヤが占める領域がない場合には、前記ゲームキャラクタを落下させることを特徴とするプログラム。
【請求項１６】
請求項１３に記載のプログラムであって、
前記制御手段は、前記ゲームキャラクタの前面に前記プレイヤが占める領域がある場合には、前記ゲームキャラクタを進行方向斜め上方に移動させることを特徴とする情報処理システム。
【請求項１７】
請求項９〜１６のいずれか一項に記載されたプログラムを記録した情報処理装置読み取り可能な記録媒体。
【請求項１８】
撮影装置と表示装置とが接続される情報処理装置におけるゲームキャラクタ移動制御方法であって、
前記撮影装置で撮影したプレイヤを含む動画像に基づく鏡面動画像からプレイヤが占める領域を抽出する領域抽出処理と、
ゲームキャラクタを含むコンピュータ画像を生成する制御処理と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させ、前記重畳動画像における前記プレイヤが占める領域を通行路と見なして前記ゲームキャラクタを移動させる移動制御処理とを含むことを特徴とするゲームキャラクタ移動制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−１４８７４（Ｐ２００６−１４８７４Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９４８１４（Ｐ２００４−１９４８１４）
【出願日】平成１６年６月３０日（２００４．６．３０）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１６年６月３０日（２００４．６．３０）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]