情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
【課題】 カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高める。
【解決手段】 プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする情報処理装置を提供する。
【解決手段】 プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする情報処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影したプレイヤの画像を用いてゲームシナリオを進行させる情報処理システムに関する。
【背景技術】
【０００２】
カメラで撮影したプレイヤの画像をコマンド等を入力するための入力インタフェースとして利用した情報処理システムが提案されている。
【０００３】
例えば、特許文献１には、プレイヤを写した鏡面動画像とメニュー画像等のコンピュータ画像との合成動画像を生成し、画像に表示されるプレイヤの手をポインティングデバイスに見立ててメニューの選択等の指示を受け付ける画像処理装置が開示されている。
【０００４】
【特許文献１】特開２００２−１９６８５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている入力インタフェースは、プレイヤの動作と画像処理装置に対する操作とが直接的に対応しているため、万人にわかりやすい操作性を有している。このため、特に、ユーザの年齢層が幅広いエンタテインメントシステムの分野での応用が期待される。一方、エンタテインメントシステムの分野での応用には、よりゲーム性を高めた工夫が要求される。
【０００６】
本発明は、カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めるための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明の第１の態様である情報処理装置は、
プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、
前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする。
【０００８】
本発明によれば、１つのオブジェクトについて複数の検出対象領域を設け、重畳表示されたプレイヤの動作に対する各検出対象領域の検出結果に応じてオブジェクトを移動させることにより、カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めることができる。
【０００９】
ここで、撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理して鏡面動画像を生成する鏡面動画像処理手段とをさらに備えることができる。
【００１０】
また、前記表示制御手段は、前記鏡面動画像を半透明処理して前記コンピュータ画像と重ね合わせることが望ましい。
【００１１】
具体的には、前記制御手段は、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの進行方向を決定するようにすることができる。
【００１２】
このとき、前記制御手段は、前記オブジェクトに２箇所の検出対象領域を設定し、
一方の検出対象領域で動きを検出した場合には、他方の検出対象領域側に進行するように、双方の検出対象領域で動きを検出した場合には、直進するように進行方向を決定することができる。
【００１３】
また、前記検出手段は、前記鏡面動画像のフレーム間の差分に基づいて、動きのある領域を検出することができる。
【００１４】
上記課題を解決するための本発明の第２の態様であるプログラムは、
プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを情報処理装置に機能させるプログラムであって、
前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする。
【００１５】
上記課題を解決するための本発明の第３の態様である情報処理装置におけるオブジェクト制御方法は、
プレイヤの鏡面動画像から動きのある領域を検出する検出処理と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御処理と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御処理とを含み、
前記制御処理は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について、図面を用いて説明する。
【００１７】
本実施形態に係るエンタテインメントシステムの構成の一例を図１に示す。このエンタテインメントシステムは、ディスプレイ装置３に向き合った位置にいるプレイヤ４をアナログまたはデジタルのビデオカメラ１が撮影し、これにより得られた動画像をエンタテインメント装置２が連続的に連続に取り込んで、エンタテインメント装置２が生成したコンピュータ画像（ＣＧ）と、ビデオカメラ１から取り込んだ動画像の鏡面動画像とを重ね合わせた重畳画像をディスプレイ装置３上にリアルタイムに表示させるものである。したがって、重畳画像ではプレイヤ４の動作がリアルタイムに反映されることになり、この重畳画像でプレイヤ４はプレイを楽しむことができる。鏡面動画像は、ビデオカメラ１から取り込んだ動画像をエンタテインメント装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、他の方法であってもよい。例えば、ビデオカメラ１において鏡面処理を行なうようにしてもよい。
【００１８】
エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成する情報処理装置により実現される。この実施形態によるエンタテインメント装置２は、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。
【００１９】
メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ３１０と、ＲＡＭで構成されるメインメモリ３１１と、メインＤＭＡＣ（Direct Memory Access Controller）３１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）３１３と、描画用メモリとなるフレームメモリ３１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）３１４が接続される。ＧＰＵ３１４には、フレームメモリ３１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）３１６が接続される。
【００２０】
メインＣＰＵ３１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ３２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ３２７を制御するとともに、このメディアドライブ３２７に装着されたメディア３２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ３１１に記憶させる。さらに、メディア３２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状およびその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。
【００２１】
ＧＰＵ３１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ３１０から通知されるディスプレイリストにしたがって必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ３１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ３１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ３１５上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。
【００２２】
メインＤＭＡＣ３１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ３１３は、メインＣＰＵ３１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。
【００２３】
サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ３２０、ＲＡＭで構成されるサブメモリ３２１、サブＤＭＡＣ３２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ３２３、サウンドメモリ３２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））３２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）３２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア３２８を装着するためのメディアドライブ３２７および入力部３３１が接続されている。
【００２４】
サブＣＰＵ３２０は、ＲＯＭ３２３に記憶されている制御プログラムにしたがって各種動作を行う。サブＤＭＡＣ３２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３３１は、操作装置３３５からの入力信号が入力される接続端子３３２、ビデオカメラ１からの画像信号が入力される接続端子３３３、およびビデオカメラ１等からの音声信号が入力される接続端子３３４を備える。なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。
【００２５】
このように構成されるコンピュータは、メインＣＰＵ３１０、サブＣＰＵ３２０、ＧＰＵ３１４が、ＲＯＭ３２３およびメディア３２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。
【００２６】
このエンタテインメント装置２の機能ブロック図を図３に示す。すなわち、エンタテインメント装置２には、ビデオ画像入力部１０１と、差分検出部１０２と、主制御部１０３と、オブジェクトデータ記憶部１０４と、重畳画像生成部１０５と、表示制御部１０６とが形成される。エンタテインメント装置２は、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体に記録されたプログラムを実行することで、図３に示したような機能ブロックを構成する。
【００２７】
ビデオ画像入力部１０１は、ビデオカメラ１で撮影されたビデオ画像を取り込んで、鏡面処理、すなわち左右反転処理を施して出力する。ビデオ画像は動画像であり、ビデオ画像入力部１０１はビデオカメラ１から送られてくる画像を連続的に取り込む。このため、ビデオ画像入力部１０１は、鏡面処理部１０１ａを備えている。これ以降の処理は、鏡面処理がされたビデオ画像に関して行われる。なお、ビデオ画像の鏡面処理をビデオカメラ１で行なうようにした場合には、鏡面処理部１０１ａは省くことができる。
【００２８】
差分検出部１０２は、鏡面処理されたビデオ画像を１フレーム毎に比較し、前後のフレームとの間の差分を検出する。その結果、差分値が生じている領域は、前後のフレームでビデオ画像が変化している領域である。すなわち、差分を検出することでビデオ画像の変化があった領域、具体的には、プレイヤの動作が行なわれた領域を取得することができる。
【００２９】
差分値を導出するために、差分検出部１０２は、ある鏡面動画像を他のフレームの鏡面動画像との間の「参照用画像」としてメインメモリ３１１に記憶する。記憶しておく鏡面動画像は、１フレーム分の鏡面動画像の全体でもよいが、検出対象となる領域の差分値を導出できれば足りるので、注目する一部の領域について記憶するようにしてもよい。
【００３０】
なお、差分値は、所定の期間累積加算して、ある閾値を超えた場合に差分値が検出されたものと扱うことが望ましい。これにより、プレイヤの意図しない軽微な動作を検出対象から除き、よりプレイヤの動作の明らかな領域を把握することができるからである。
【００３１】
例えば、図４（ａ）に示すように、ビデオ画像に写っているプレイヤが連続的に手を振る動作を行なう場合を例にする。すると、差分検出部１０２は、手の動きに対応する領域で差分値が生じたとして、プレイヤ動作検出領域２０１を認識する。この認識結果は、主制御部１０３に通知され、ゲームシナリオに登場するオブジェクトの移動の判断に用いられる。なお、プレイヤの動作は、特徴部分のフレーム間の差分を抽出することでパターン認識を行なうことで検出するようにしてもよい。この場合は、プレイヤの動作の方向、速さ等も把握することができる。
【００３２】
主制御部１０３は、エンタテインメントシステム全体の制御を行う。例えば、エンタテインメント装置２がゲームプログラムを実行しているときは、主制御部１０３がそのプログラムにしたがってゲームの進行などを決定する。また、主制御部１０３がゲームの進行、特に、ゲームに登場するオブジェクトの動きを決定するときに、差分検出部１０２の検出結果を参照する場合がある。
【００３３】
主制御部が差分検出部１０２の検出結果を参照する場合について説明する。まず、主制御部１０３は、ビデオ画像中に１または複数の検出対象領域を設定することができる。この検出対象領域は、その領域においてプレイヤの動作があったかどうかを判別するために用いることができる。すなわち、差分検出部１０２は、検出対象領域内において差分値を求め、プレイヤの動作を検出すれば足りる。
【００３４】
例えば、図５（ａ）は、主制御部１０３が設定した検出対象領域の例を示している。本図に例では、画像中に検出対象領域２０２と検出対象領域２０３とが設定されている。このような検出対象領域が設定されている場合において、図４（ａ）に示したプレイヤの動作に基づいて、差分検出部１０２が、図４（ｂ）に示した領域２０１を検出したとする。
【００３５】
図５（ｂ）は、検出対象領域２０２、２０３と、プレイヤ動作検出領域２０１とを重ね合わせた図である。本図の例では、右側の検出対象領域、すなわち、検出対象領域２０３において、プレイヤの動作が検出されている。この結果、主制御部１０３は、図５（ｃ）に示すように、検出対象領域２０３において、プレイヤの動作が検出されたと認識し、検出対象領域２０２では、プレイヤの動作が検出されないと認識する。なお、検出対象領域外でプレイヤの動作が検出されても、主制御部１０３は影響を受けない。
【００３６】
ここで、検出対象領域同士が隣接していたり、プレイヤの動作によっては、プレイヤが意図していない検出対象領域でもプレイヤの動作が検出される場合がある。このような事態を防止するために、検出対象領域におけるプレイヤ動作検出に閾値を設定しておき、フレームの差分値に対応する評価値が、その閾値を超えた検出対象領域についてプレイヤの動作が検出されたと認定するようにすることが望ましい。
【００３７】
また、閾値を設けた場合にも、複数の検出対象領域でプレイヤの動作が検出される場合がある。このような場合には、差分値に対応する評価値が最も大きい、すなわち、より動作が検出された領域の広い検出対象領域をプレイヤの動作が検出された検出対象領域と扱うようにしてもよいし、それぞれの検出対象領域についてプレイヤの動作が検出されたものと扱うようにしてもよい。いずれの検出方法を用いるかは、ゲームシナリオ等に応じて主制御部１０３が決定することができる。
【００３８】
検出対象領域は、例えば、ゲームシナリオの進行に応じて移動等させることができる。例えば、ゲームにおける移動対象のオブジェクトの移動にあわせて位置、形状等を変化させるようにすることができる。
【００３９】
また、主制御部１０３は、ゲームシナリオにしたがって、プレイヤに提示するためのコンピュータ画像を生成する。このため、ＣＧ生成部１０３ａを備えている。ＣＧ生成部１０３ａは、ゲームのストーリーに沿った種々のコンピュータ画像を生成する。この際に、オブジェクトデータ記憶部１０４に記録されたオブジェクトデータを参照する。
【００４０】
重畳画像生成部１０５は、画像反転部１０２で鏡面処理されたビデオ画像とＣＧ生成部１０３ａで生成されたコンピュータ画像とを重ね合わせた重畳画像を生成する。この際、プレイヤが、コンピュータ画像をより確認しやすいように、ビデオ画像を半透明処理等して重ね合わせることができる。
【００４１】
表示制御部１０６は、重畳画像生成部１０５で生成された重畳画像をディスプレイ装置３に表示させる。すなわち、プレイヤは、自身の鏡面動画像とコンピュータ画像との重ね合わせ画像を見ながら、エンタテインメントシステムに対する種々の操作を行なうことができる。
【００４２】
つぎに、主制御部１０３が主として行なうオブジェクト移動処理の第１の実施例について説明する。本実施例では、コンピュータ画像として、図６（ａ）に示すように移動対象のオブジェクトとして玉２１０を表示する。そして、この玉２１０を、プレイヤの動作にしたがってコース２１１を移動させるものとする。なお、表示上は、コース２１１および背景を玉２１０に対して変化させることで、玉２１０がコース２１１上を転がるように表示させるようにすることができる。また、コンピュータ画像には、例えば、プレイ時間（制限時間）、得点、その他ゲームシナリオに応じてプレイヤに提示する情報を含めることができる。
【００４３】
図６（ｂ）は、図６（ａ）に示したコンピュータ画像に、プレイヤの鏡面動画像を重畳したプレイ時の画面を示す図である。このとき、移動対象の玉２１０、コース２１１をプレイヤが認識しやすくするために鏡面動画像を半透明にしてコンピュータ画像に重ねて表示させるようにする。また、コース２１１は、スタート地点とゴール地点とが定められており、スタートからゴールに向かって左右に曲がる道が設定されているものとする。コース２１１には、上り坂、下り坂を設けるようにしてもよい。玉２１０の画像データ、コース２１１の画像データおよび地理データ等は、オブジェクトデータ記憶部１０４にあらかじめ格納しておくようにする。また、玉２１０の移動にあわせて、玉２１０が転がるようなコンピュータ画像を作成することが望ましい。
【００４４】
本実施例において、主制御部１０３は、図７（ａ）に示すように、玉２１０の領域に対応させて、検出対象領域２１０ａおよび検出対象領域２１０ｂを設定する。そして、右側の検出対象領域２１０ｂでプレイヤの動作を検出した場合には、図７（ｂ）に示すように玉２１０が左前に移動するような表示を行なう。また、左右の検出対象領域２１０ａ、２１０ｂでプレイヤの動作を検出した場合には、図７（ｃ）に示すように玉２１０が前に移動するような表示を行なう。また、左側の検出対象領域２１０ａでプレイヤの動作を検出した場合には、図７（ｄ）に示すように玉２１０が右前に移動するような表示を行なう。また、いずれの検出対象領域においてもプレイヤの動作を検出しない場合には、玉２１０が静止しているときはそのままの状態を保ち、玉２１０が動いているときはその速度が遅くなるような表示を行なう。
【００４５】
このとき、コースその他のコンピュータ画像を変化させることで、あたかも、玉２１０が移動しているように表示するようにしてもよい。また、コースに上り坂、下り坂等を設けた場合には、下り坂では玉２１０が加速するように、上り坂では減速するように制御することで、ゲームのエンタテインメント性がさらに高まることになる。
【００４６】
さらには、玉２１０に、ヒト、動物等のキャラクタが乗っているようなコンピュータ画像を生成することで、あたかもキャラクタが玉乗りをしているようなゲームを提供することができる。
【００４７】
本実施例において、プレイヤは、玉２１０の付近において動作、例えば、手を振ることで、玉２１０の移動をコントロールすることができる。具体的には、玉２１０の右側で動作を行なうと、玉２１０は左方向に移動し、玉２１０の左側で動作を行なうと、玉２１０は右方向に移動し、玉２１０の全面で動作を行なうと、玉２１０は直進する。これにより、プレイヤの動作でコースのスタート地点からゴール地点まで玉２１０を移動させるゲームが提供される。この際、制限時間を設けて、制限時間内にゴール地点まで到達するような課題をプレイヤに与えるようにしてもよい。
【００４８】
図９は、第１の実施例におけるエンタテインメントシステムの処理を説明するフロー図である。エンタテインメントシステムは、プレイヤの指示に基づいてプレイを開始すると、ゲームの終了まで、所定の間隔、例えば１フレーム毎に、以下の処理を繰り返す。
【００４９】
まず、エンタテインメントシステムは、検出対象領域２１０ａ、２１０ｂでプレイヤの動作が検出されたかどうかを判定する（Ｓ１０１）。
【００５０】
その検出結果に応じて、あらかじめ定めた規則にしたがって玉２１０の移動値を算出する（Ｓ１０２）。あらかじめ定めた規則は、上述のように、左右の検出対象領域２１０ａ、２１０ｂの検出の有無で玉２１０の進行方向を定めるものである。また、移動量は、あらかじめ定めた所定の値とすることができる。ただし、玉２１０の移動状況に応じて、移動量を変化させるようにしてもよい。例えば、プレイヤの動作の検出が繰り返されると、次第に玉２１０が加速していったり、プレイヤの動作が検出されないと、玉２１０が減速していくようにすることもできる。さらには、コースの状況（上り坂、下り坂、道の種類）が玉２１０の移動に影響を与えるようにすることもできる。
【００５１】
つぎに、算出された玉２１０の移動値に基づいて、玉２１０のコース上の位置を算出する（Ｓ１０３）。これは、前の時点の玉２１０の位置と算出された移動値とから求めることができる。
【００５２】
そして、玉２１０のコース上の位置に基づく表示処理を行ない、コンピュータ画面を更新する（Ｓ１０４）。具体的には、算出された位置に対応するコースの風景等をコンピュータ画像で生成する。
【００５３】
以上の処理を繰り返すことにより、プレイヤの動作に基づいて玉２１０が移動していく様子が表現される。
【００５４】
このように、本実施例では、１つのオブジェクト（玉２１０）について、複数の検出対象領域（２１０ａ、２１０ｂ）を設け、それぞれの検出対象領域の検出結果に基づいてオブジェクトを移動させることによりゲームシナリオが進行していくものである。
【００５５】
なお、玉２１０の位置を算出した結果、コースから外れてしまった場合（Ｓ１０５：Ｙ）には、コースアウト処理（Ｓ１０６）を行ない、ゲームオーバーとする。コースアウト処理では、例えば、玉が転落するコンピュータ画像を表示したり、ゲームオーバであることを示す表示を行なうようにすることができる。
【００５６】
また、玉２１０の位置を算出した結果、ゴールに到着した場合（Ｓ１０７：Ｙ）には、ゴール処理（Ｓ１０８）を行ない、ゲームクリヤとする。ゴール処理（Ｓ１０８）では、例えば、プレイヤに対して加点したり、ゲームクリアしたことを示す表示を行なうようにすることができる。
【００５７】
上記の例では、玉２１０に２箇所の検出対象領域を設けていたが、図８（ａ）に示すように３箇所設けるようにしてもよい。本図の例では、玉２１０の左側に検出対象領域２１０ｃが設けられ、中央部分に検出対象領域２１０ｄが設けられ、右側に検出対象領域２１０ｅが設けられている。
【００５８】
検出対処領域を３箇所設けた場合の、各検出対処領域における検出結果と玉２１０の動きの例について説明する。
【００５９】
本例では、複数個の検出対象領域でプレイヤの動作を検出でき、さらに、検出された差分値の大きさに対応する評価値を算出するものとする。すなわち、プレイヤの動きが検出されたそれぞれの検出対象領域について、プレイヤの動きの大きさに対応する評価値が取得される。
【００６０】
ここでは、取得された評価値を、さらに所定の基準により「大」「小」に区別するものとする。これにより、それぞれの検出対象領域について、プレイヤの動作の「大」「小」が検出されることになる。
【００６１】
このような場合においては、検出結果に応じて様々な制御を行なうことができる。例えば、中央の検出対象領域２１０ｄのみでプレイヤの動作が検出された場合には、玉２１０が直進するようにする。
【００６２】
また、右側の検出対象領域２１０ｅのみでプレイヤの大きな動作が検出された場合には、図８（ｂ）に示すように、大きく左方向に速く進むようにする。このとき、検出されたプレイヤの動作が小さい場合には図８（ｃ）に示すように大きく左方向にゆっくり進むようにする。これにより、プレイヤは動作の大きさを変化させることで玉２１０の早さを制御することができるようになる。
【００６３】
また、右側の検出対象領域２１０ｅでプレイヤの大きな動作が検出され、左側の検出対象領域２１０ｃで小さな動作が検出された場合には、図８（ｄ）に示すように少し左方向に進むようにする。これにより、プレイヤは左右の動作の大きさを変化させることで、玉２１０の進行方向を細かく制御することができるようになる。
【００６４】
この状態で、例えば、プレイヤが左側の検出対象領域２１０ｃに対応する動作を大きくすると、右側の検出対象領域２１０ｅおよび左側の検出対象領域２１０ｃでプレイヤの大きな動作が検出されることになる。この場合は、例えば、図８（ｅ）に示すように玉２２０を速く直進させるようにする。
【００６５】
このように、玉２２０により多くの検出対象領域を設けたり、プレイヤの動作の大きさに基づく評価値を算出することで、玉２２０の移動について、より細かな制御を行なうことができるようになる。
【００６６】
つぎに、主制御部１０３が主として行なうオブジェクト移動処理の第２の実施例について説明する。本実施例では、コンピュータ画像として、図１０（ａ）に示すように移動対象のオブジェクトとしてキャラクタ２２０を表示する。キャラクタ２２０は、複数存在することができるものとする。そして、これらのキャラクタ２２０を、プレイヤの動作にしたがって移動させるものとする。コンピュータ画像内にはゴールが設けられており、ゴールには開閉式の扉が設けられている。この扉は適宜開いたり閉じたりするように制御される。プレイヤは開いている扉を通ってゴールに到達するように、キャラクタ２２０を操作するものとする。また、コンピュータ画像には、例えば、制限時間、得点、その他ゲームシナリオに応じてプレイヤに提示する情報を含めることができる。
【００６７】
図１０（ｂ）は、図１０（ａ）に示したコンピュータ画像に、プレイヤの鏡面動画像を重畳したプレイ時の画面を示す図である。このとき、移動対象のキャラクタ２２０、扉２２１、ゴール等をプレイヤが認識しやすくするために鏡面動画像を半透明にしてコンピュータ画像に重ねて表示させるようにする。キャラクタ２２０の画像データ等は、オブジェクトデータ記憶部１０４にあらかじめ格納しておくようにする。
【００６８】
本実施例において、主制御部１０３は、キャラクタ２２０の存在する領域に対応させて、４箇所の検出対象領域２２０ａ、２２０ｂ、２２０ｃ、２２０ｄを設定する。すなわち、キャラクタ２２０を中心に、左上の検出対象領域２２０ａ、右上の検出領域２２０ｂ、右下の検出対象領域２２０ｃ、左下の検出対象領域２２０ｄが設定されている。
【００６９】
そして、いずれかの検出対象領域でプレイヤの動作を検出した場合には、検出対象領域から遠ざかるようにキャラクタ２２０を移動させる。すなわち、左上の検出対象領域２２０ａでプレイヤの動作を検出した場合には、図１１（ｂ）に示すように、キャラクタ２２０が右下に移動するような表示を行なう。同様に右上の検出対象領域２２０ｂでプレイヤの動作を検出した場合には、キャラクタ２２０が左下に移動するような表示を行ない、右下の検出対象領域２２０ｃでプレイヤの動作を検出した場合には、キャラクタ２２０が左上に移動するような表示を行ない、左下の検出対象領域２２０ｄでプレイヤの動作を検出した場合には、キャラクタ２２０が右上に移動するような表示を行なう。このため、本実施例では、複数の検出対象領域でプレイヤの動作が検出された場合には、差分値に対応する評価値が最も大きい、すなわち、より動作が検出された領域の広い検出対象領域をプレイヤの動作が検出された検出対象領域と扱うようにする。
【００７０】
本実施例において、プレイヤは、キャラクタ２２０の付近において動作、例えば、手を振ることで、キャラクタ２２０の移動をコントロールすることができる。キャラクタ２２０は、複数存在することができるため、プレイヤは移動対象のキャラクタ２２０を指定してから移動のための操作を行なうようにする。
【００７１】
移動対象のキャラクタ２２０の指定は、例えば、以下のように行なうことができる。すなわち、どのキャラクタ２２０も移動対象となっていない状態で、あるキャラクタ２２０のいずれかの検出対象領域においてプレイヤの動作が検出された場合に、そのキャラクタ２２０を移動対象として扱うものとする。移動対象となったキャラクタ２２０は、移動対象であることを明確にするため、例えば、色を変化させたり、マークを付すことにより、他のキャラクタ２２０と区別することが望ましい。
【００７２】
図１３は、第２の実施例におけるエンタテインメントシステムの処理を説明するフロー図である。エンタテインメントシステムは、プレイヤの指示に基づいてプレイを開始すると、ゲームの終了まで、所定の間隔、例えば１フレーム毎に、以下の処理を繰り返す。
【００７３】
まず、エンタテインメントシステムは、いずれかのキャラクタ２２０が操作対象になっているかどうかを判断する（Ｓ２０１）。
【００７４】
その結果、いずれのキャラクタ２２０も操作対象となっていない場合（Ｓ２０１：Ｎ）には、プレイヤの指示に基づいて、操作対象のキャラクタ２２０を設定する（Ｓ２０２）。すなわち、いずれかの検出対象領域においてプレイヤの動作を検出したキャラクタ２２０を操作対象とする。なお、複数のキャラクタ２２０について操作対象と設定可能としてもよい。
【００７５】
操作対象のキャラクタ２２０が設定されている場合には（Ｓ２０１：Ｙ、Ｓ２０２）、操作対象のキャラクタ２２０について、いずれかの検出対象領域でプレイヤの動作が検出されたかを判定する（Ｓ２０３）。
【００７６】
その検出結果に応じて、あらかじめ定めた規則にしたがってキャラクタ２２０の移動値を算出して（Ｓ２０４）、キャラクタ２２０の移動先の位置を算出する（Ｓ２０５）。あらかじめ定めた規則は、上述のように、左上、右上、右下、左下の検出対象領域２２０ａ〜２２０ｄの検出結果に応じてキャラクタ２２０の進行方向を定めるものである。また、移動量は、あらかじめ定めた所定の値とすることができる。
【００７７】
ただし、検出結果に基づいて、移動の目的地となる位置を決定して、順次その位置に近づくようにキャラクタ２２０を移動させるようにしてもよい。この場合は、キャラクタ２２０が目的地に到達するまで、そのキャラクタ２２０についてはフレーム単位で検出対象領域の判定を行なわなくてもよい。
【００７８】
そして、キャラクタ２２０が移動していく表示処理を行ない、コンピュータ画面を更新する（Ｓ２０６）。
【００７９】
以上の処理を制限時間が経過するまで（Ｓ２０９：Ｙ）繰り返すことにより、プレイヤの動作に基づいてキャラクタ２２０が移動していく様子が表現される。
【００８０】
このように、本実施例においても、１つのオブジェクト（キャラクタ２２０）について、複数の検出対象領域（２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ）を設け、それぞれの検出対象領域の検出結果に基づいてオブジェクトを移動させることによりゲームシナリオが進行していくことになる。
【００８１】
なお、キャラクタ２２０の位置を算出した結果、ゴールに到達した場合（Ｓ２０７：Ｙ）には、そのキャラクタ２２０についてゴール処理（Ｓ２０８）を行なう。ゴール処理では、例えば、プレイヤに対して加点を行なう。また、そのキャラクタ２２０を操作対象から除外する。
【００８２】
上記の例では、キャラクタ２２０を中心とした円の領域に４箇所の検出対象領域を設けていたが、図１２（ａ）に示すようにキャラクタ２２０の部分を除いたドーナツ状の領域に検出対象領域を設けるようにしてもよい。ここでは、キャラクタ２２０を中心に、左上の検出対象領域２２０ｅ、右上の検出領域２２０ｆ、右下の検出対象領域２２０ｇ、左下の検出対象領域２２０ｇが設定されているものとする。
【００８３】
そして、いずれかの検出対象領域でプレイヤの動作を検出した場合には、検出対象領域の方向に進むようにキャラクタ２２０を移動させる。すなわち、左上の検出対象領域２２０ａでプレイヤの動作を検出した場合には、図１２（ｂ）に示すように、キャラクタ２２０が左上に移動するような表示を行なう。同様に右上の検出対象領域２２０ｂでプレイヤの動作を検出した場合には、キャラクタ２２０が右上に移動するような表示を行ない、右下の検出対象領域２２０ｃでプレイヤの動作を検出した場合には、キャラクタ２２０が右下に移動するような表示を行ない、左下の検出対象領域２２０ｄでプレイヤの動作を検出した場合には、キャラクタ２２０が左下に移動するような表示を行なう。
【００８４】
本図に示すような検出対象領域を設定し、キャラクタ２２０の移動方向を定めると、例えば、右下の検出対象領域２２０ｇでプレイヤが動作を行なうと、キャラクタ２２０は右下方向に移動する。さらに、プレイヤが同じ位置で動作を続けると、やがてキャラクタ２２０がプレイヤの動作位置に移動してくる。すると、キャラクタ２２０の位置とプレイヤの動作位置とが重なり、プレイヤの動作が検出対象領域から外れることになる。この結果、プレイヤの動作が検出されず、キャラクタ２２０の移動が停止する。つまり、プレイヤは、移動目的の箇所で動作を行なうことで、キャラクタ２２０の移動位置を制御することができるようになる。
【００８５】
なお、実施例１および実施例２において、プレイヤの動作の検出に特徴部分の差分を検出するようにして、いわゆるパターン認識を用いた場合には、認識したプレイヤの動作の方向、速さ等を考慮して操作対象である玉２１０、キャラクタ２２０を移動させるようにしてもよい。
【００８６】
以上のように、本発明によれば、コンピュータ画像で表示された１つのオブジェクトについて複数の検出対象領域を設け、重畳表示されたプレイヤの動作に対する各検出対象領域の検出結果に応じてオブジェクトを移動させることによりゲームシナリオを進行させることで、カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めることができる。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施形態に係るエンタテインメントシステムの全体構成図である。
【図２】エンタテインメント装置の構成図である。
【図３】エンタテインメント装置の機能構成図である。
【図４】プレイヤの鏡面画像および検出された領域を示す図である。
【図５】検出対象領域を説明する図である。
【図６】第１の実施例のプレイ画面を示す図である。
【図７】第１の実施例の検出対象領域を示す図である。
【図８】第１の実施例の検出対象領域の別例を示す図である。
【図９】第１の実施例の制御を示すフロー図である。
【図１０】第２の実施例のプレイ画面を示す図である。
【図１１】第２の実施例の検出対象領域を示す図である。
【図１２】第２の実施例の検出対象領域の別例を示す図である。
【図１３】第２の実施例の制御を示すフロー図である。
【符号の説明】
【００８８】
１…ビデオカメラ、２…エンタテインメント装置、３…ディスプレイ装置、１０１…ビデオ画像入力部、１０２…差分検出部、１０３…主制御部、１０４…オブジェクトデータ記憶部、１０５…重畳画像生成部、１０６…表示制御部
【技術分野】
【０００１】
本発明は、カメラで撮影したプレイヤの画像を用いてゲームシナリオを進行させる情報処理システムに関する。
【背景技術】
【０００２】
カメラで撮影したプレイヤの画像をコマンド等を入力するための入力インタフェースとして利用した情報処理システムが提案されている。
【０００３】
例えば、特許文献１には、プレイヤを写した鏡面動画像とメニュー画像等のコンピュータ画像との合成動画像を生成し、画像に表示されるプレイヤの手をポインティングデバイスに見立ててメニューの選択等の指示を受け付ける画像処理装置が開示されている。
【０００４】
【特許文献１】特開２００２−１９６８５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている入力インタフェースは、プレイヤの動作と画像処理装置に対する操作とが直接的に対応しているため、万人にわかりやすい操作性を有している。このため、特に、ユーザの年齢層が幅広いエンタテインメントシステムの分野での応用が期待される。一方、エンタテインメントシステムの分野での応用には、よりゲーム性を高めた工夫が要求される。
【０００６】
本発明は、カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めるための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明の第１の態様である情報処理装置は、
プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、
前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする。
【０００８】
本発明によれば、１つのオブジェクトについて複数の検出対象領域を設け、重畳表示されたプレイヤの動作に対する各検出対象領域の検出結果に応じてオブジェクトを移動させることにより、カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めることができる。
【０００９】
ここで、撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理して鏡面動画像を生成する鏡面動画像処理手段とをさらに備えることができる。
【００１０】
また、前記表示制御手段は、前記鏡面動画像を半透明処理して前記コンピュータ画像と重ね合わせることが望ましい。
【００１１】
具体的には、前記制御手段は、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの進行方向を決定するようにすることができる。
【００１２】
このとき、前記制御手段は、前記オブジェクトに２箇所の検出対象領域を設定し、
一方の検出対象領域で動きを検出した場合には、他方の検出対象領域側に進行するように、双方の検出対象領域で動きを検出した場合には、直進するように進行方向を決定することができる。
【００１３】
また、前記検出手段は、前記鏡面動画像のフレーム間の差分に基づいて、動きのある領域を検出することができる。
【００１４】
上記課題を解決するための本発明の第２の態様であるプログラムは、
プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを情報処理装置に機能させるプログラムであって、
前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする。
【００１５】
上記課題を解決するための本発明の第３の態様である情報処理装置におけるオブジェクト制御方法は、
プレイヤの鏡面動画像から動きのある領域を検出する検出処理と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御処理と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御処理とを含み、
前記制御処理は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について、図面を用いて説明する。
【００１７】
本実施形態に係るエンタテインメントシステムの構成の一例を図１に示す。このエンタテインメントシステムは、ディスプレイ装置３に向き合った位置にいるプレイヤ４をアナログまたはデジタルのビデオカメラ１が撮影し、これにより得られた動画像をエンタテインメント装置２が連続的に連続に取り込んで、エンタテインメント装置２が生成したコンピュータ画像（ＣＧ）と、ビデオカメラ１から取り込んだ動画像の鏡面動画像とを重ね合わせた重畳画像をディスプレイ装置３上にリアルタイムに表示させるものである。したがって、重畳画像ではプレイヤ４の動作がリアルタイムに反映されることになり、この重畳画像でプレイヤ４はプレイを楽しむことができる。鏡面動画像は、ビデオカメラ１から取り込んだ動画像をエンタテインメント装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、他の方法であってもよい。例えば、ビデオカメラ１において鏡面処理を行なうようにしてもよい。
【００１８】
エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成する情報処理装置により実現される。この実施形態によるエンタテインメント装置２は、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。
【００１９】
メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ３１０と、ＲＡＭで構成されるメインメモリ３１１と、メインＤＭＡＣ（Direct Memory Access Controller）３１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）３１３と、描画用メモリとなるフレームメモリ３１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）３１４が接続される。ＧＰＵ３１４には、フレームメモリ３１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）３１６が接続される。
【００２０】
メインＣＰＵ３１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ３２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ３２７を制御するとともに、このメディアドライブ３２７に装着されたメディア３２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ３１１に記憶させる。さらに、メディア３２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状およびその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。
【００２１】
ＧＰＵ３１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ３１０から通知されるディスプレイリストにしたがって必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ３１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ３１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ３１５上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。
【００２２】
メインＤＭＡＣ３１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ３１３は、メインＣＰＵ３１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。
【００２３】
サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ３２０、ＲＡＭで構成されるサブメモリ３２１、サブＤＭＡＣ３２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ３２３、サウンドメモリ３２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））３２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）３２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア３２８を装着するためのメディアドライブ３２７および入力部３３１が接続されている。
【００２４】
サブＣＰＵ３２０は、ＲＯＭ３２３に記憶されている制御プログラムにしたがって各種動作を行う。サブＤＭＡＣ３２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３３１は、操作装置３３５からの入力信号が入力される接続端子３３２、ビデオカメラ１からの画像信号が入力される接続端子３３３、およびビデオカメラ１等からの音声信号が入力される接続端子３３４を備える。なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。
【００２５】
このように構成されるコンピュータは、メインＣＰＵ３１０、サブＣＰＵ３２０、ＧＰＵ３１４が、ＲＯＭ３２３およびメディア３２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。
【００２６】
このエンタテインメント装置２の機能ブロック図を図３に示す。すなわち、エンタテインメント装置２には、ビデオ画像入力部１０１と、差分検出部１０２と、主制御部１０３と、オブジェクトデータ記憶部１０４と、重畳画像生成部１０５と、表示制御部１０６とが形成される。エンタテインメント装置２は、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体に記録されたプログラムを実行することで、図３に示したような機能ブロックを構成する。
【００２７】
ビデオ画像入力部１０１は、ビデオカメラ１で撮影されたビデオ画像を取り込んで、鏡面処理、すなわち左右反転処理を施して出力する。ビデオ画像は動画像であり、ビデオ画像入力部１０１はビデオカメラ１から送られてくる画像を連続的に取り込む。このため、ビデオ画像入力部１０１は、鏡面処理部１０１ａを備えている。これ以降の処理は、鏡面処理がされたビデオ画像に関して行われる。なお、ビデオ画像の鏡面処理をビデオカメラ１で行なうようにした場合には、鏡面処理部１０１ａは省くことができる。
【００２８】
差分検出部１０２は、鏡面処理されたビデオ画像を１フレーム毎に比較し、前後のフレームとの間の差分を検出する。その結果、差分値が生じている領域は、前後のフレームでビデオ画像が変化している領域である。すなわち、差分を検出することでビデオ画像の変化があった領域、具体的には、プレイヤの動作が行なわれた領域を取得することができる。
【００２９】
差分値を導出するために、差分検出部１０２は、ある鏡面動画像を他のフレームの鏡面動画像との間の「参照用画像」としてメインメモリ３１１に記憶する。記憶しておく鏡面動画像は、１フレーム分の鏡面動画像の全体でもよいが、検出対象となる領域の差分値を導出できれば足りるので、注目する一部の領域について記憶するようにしてもよい。
【００３０】
なお、差分値は、所定の期間累積加算して、ある閾値を超えた場合に差分値が検出されたものと扱うことが望ましい。これにより、プレイヤの意図しない軽微な動作を検出対象から除き、よりプレイヤの動作の明らかな領域を把握することができるからである。
【００３１】
例えば、図４（ａ）に示すように、ビデオ画像に写っているプレイヤが連続的に手を振る動作を行なう場合を例にする。すると、差分検出部１０２は、手の動きに対応する領域で差分値が生じたとして、プレイヤ動作検出領域２０１を認識する。この認識結果は、主制御部１０３に通知され、ゲームシナリオに登場するオブジェクトの移動の判断に用いられる。なお、プレイヤの動作は、特徴部分のフレーム間の差分を抽出することでパターン認識を行なうことで検出するようにしてもよい。この場合は、プレイヤの動作の方向、速さ等も把握することができる。
【００３２】
主制御部１０３は、エンタテインメントシステム全体の制御を行う。例えば、エンタテインメント装置２がゲームプログラムを実行しているときは、主制御部１０３がそのプログラムにしたがってゲームの進行などを決定する。また、主制御部１０３がゲームの進行、特に、ゲームに登場するオブジェクトの動きを決定するときに、差分検出部１０２の検出結果を参照する場合がある。
【００３３】
主制御部が差分検出部１０２の検出結果を参照する場合について説明する。まず、主制御部１０３は、ビデオ画像中に１または複数の検出対象領域を設定することができる。この検出対象領域は、その領域においてプレイヤの動作があったかどうかを判別するために用いることができる。すなわち、差分検出部１０２は、検出対象領域内において差分値を求め、プレイヤの動作を検出すれば足りる。
【００３４】
例えば、図５（ａ）は、主制御部１０３が設定した検出対象領域の例を示している。本図に例では、画像中に検出対象領域２０２と検出対象領域２０３とが設定されている。このような検出対象領域が設定されている場合において、図４（ａ）に示したプレイヤの動作に基づいて、差分検出部１０２が、図４（ｂ）に示した領域２０１を検出したとする。
【００３５】
図５（ｂ）は、検出対象領域２０２、２０３と、プレイヤ動作検出領域２０１とを重ね合わせた図である。本図の例では、右側の検出対象領域、すなわち、検出対象領域２０３において、プレイヤの動作が検出されている。この結果、主制御部１０３は、図５（ｃ）に示すように、検出対象領域２０３において、プレイヤの動作が検出されたと認識し、検出対象領域２０２では、プレイヤの動作が検出されないと認識する。なお、検出対象領域外でプレイヤの動作が検出されても、主制御部１０３は影響を受けない。
【００３６】
ここで、検出対象領域同士が隣接していたり、プレイヤの動作によっては、プレイヤが意図していない検出対象領域でもプレイヤの動作が検出される場合がある。このような事態を防止するために、検出対象領域におけるプレイヤ動作検出に閾値を設定しておき、フレームの差分値に対応する評価値が、その閾値を超えた検出対象領域についてプレイヤの動作が検出されたと認定するようにすることが望ましい。
【００３７】
また、閾値を設けた場合にも、複数の検出対象領域でプレイヤの動作が検出される場合がある。このような場合には、差分値に対応する評価値が最も大きい、すなわち、より動作が検出された領域の広い検出対象領域をプレイヤの動作が検出された検出対象領域と扱うようにしてもよいし、それぞれの検出対象領域についてプレイヤの動作が検出されたものと扱うようにしてもよい。いずれの検出方法を用いるかは、ゲームシナリオ等に応じて主制御部１０３が決定することができる。
【００３８】
検出対象領域は、例えば、ゲームシナリオの進行に応じて移動等させることができる。例えば、ゲームにおける移動対象のオブジェクトの移動にあわせて位置、形状等を変化させるようにすることができる。
【００３９】
また、主制御部１０３は、ゲームシナリオにしたがって、プレイヤに提示するためのコンピュータ画像を生成する。このため、ＣＧ生成部１０３ａを備えている。ＣＧ生成部１０３ａは、ゲームのストーリーに沿った種々のコンピュータ画像を生成する。この際に、オブジェクトデータ記憶部１０４に記録されたオブジェクトデータを参照する。
【００４０】
重畳画像生成部１０５は、画像反転部１０２で鏡面処理されたビデオ画像とＣＧ生成部１０３ａで生成されたコンピュータ画像とを重ね合わせた重畳画像を生成する。この際、プレイヤが、コンピュータ画像をより確認しやすいように、ビデオ画像を半透明処理等して重ね合わせることができる。
【００４１】
表示制御部１０６は、重畳画像生成部１０５で生成された重畳画像をディスプレイ装置３に表示させる。すなわち、プレイヤは、自身の鏡面動画像とコンピュータ画像との重ね合わせ画像を見ながら、エンタテインメントシステムに対する種々の操作を行なうことができる。
【００４２】
つぎに、主制御部１０３が主として行なうオブジェクト移動処理の第１の実施例について説明する。本実施例では、コンピュータ画像として、図６（ａ）に示すように移動対象のオブジェクトとして玉２１０を表示する。そして、この玉２１０を、プレイヤの動作にしたがってコース２１１を移動させるものとする。なお、表示上は、コース２１１および背景を玉２１０に対して変化させることで、玉２１０がコース２１１上を転がるように表示させるようにすることができる。また、コンピュータ画像には、例えば、プレイ時間（制限時間）、得点、その他ゲームシナリオに応じてプレイヤに提示する情報を含めることができる。
【００４３】
図６（ｂ）は、図６（ａ）に示したコンピュータ画像に、プレイヤの鏡面動画像を重畳したプレイ時の画面を示す図である。このとき、移動対象の玉２１０、コース２１１をプレイヤが認識しやすくするために鏡面動画像を半透明にしてコンピュータ画像に重ねて表示させるようにする。また、コース２１１は、スタート地点とゴール地点とが定められており、スタートからゴールに向かって左右に曲がる道が設定されているものとする。コース２１１には、上り坂、下り坂を設けるようにしてもよい。玉２１０の画像データ、コース２１１の画像データおよび地理データ等は、オブジェクトデータ記憶部１０４にあらかじめ格納しておくようにする。また、玉２１０の移動にあわせて、玉２１０が転がるようなコンピュータ画像を作成することが望ましい。
【００４４】
本実施例において、主制御部１０３は、図７（ａ）に示すように、玉２１０の領域に対応させて、検出対象領域２１０ａおよび検出対象領域２１０ｂを設定する。そして、右側の検出対象領域２１０ｂでプレイヤの動作を検出した場合には、図７（ｂ）に示すように玉２１０が左前に移動するような表示を行なう。また、左右の検出対象領域２１０ａ、２１０ｂでプレイヤの動作を検出した場合には、図７（ｃ）に示すように玉２１０が前に移動するような表示を行なう。また、左側の検出対象領域２１０ａでプレイヤの動作を検出した場合には、図７（ｄ）に示すように玉２１０が右前に移動するような表示を行なう。また、いずれの検出対象領域においてもプレイヤの動作を検出しない場合には、玉２１０が静止しているときはそのままの状態を保ち、玉２１０が動いているときはその速度が遅くなるような表示を行なう。
【００４５】
このとき、コースその他のコンピュータ画像を変化させることで、あたかも、玉２１０が移動しているように表示するようにしてもよい。また、コースに上り坂、下り坂等を設けた場合には、下り坂では玉２１０が加速するように、上り坂では減速するように制御することで、ゲームのエンタテインメント性がさらに高まることになる。
【００４６】
さらには、玉２１０に、ヒト、動物等のキャラクタが乗っているようなコンピュータ画像を生成することで、あたかもキャラクタが玉乗りをしているようなゲームを提供することができる。
【００４７】
本実施例において、プレイヤは、玉２１０の付近において動作、例えば、手を振ることで、玉２１０の移動をコントロールすることができる。具体的には、玉２１０の右側で動作を行なうと、玉２１０は左方向に移動し、玉２１０の左側で動作を行なうと、玉２１０は右方向に移動し、玉２１０の全面で動作を行なうと、玉２１０は直進する。これにより、プレイヤの動作でコースのスタート地点からゴール地点まで玉２１０を移動させるゲームが提供される。この際、制限時間を設けて、制限時間内にゴール地点まで到達するような課題をプレイヤに与えるようにしてもよい。
【００４８】
図９は、第１の実施例におけるエンタテインメントシステムの処理を説明するフロー図である。エンタテインメントシステムは、プレイヤの指示に基づいてプレイを開始すると、ゲームの終了まで、所定の間隔、例えば１フレーム毎に、以下の処理を繰り返す。
【００４９】
まず、エンタテインメントシステムは、検出対象領域２１０ａ、２１０ｂでプレイヤの動作が検出されたかどうかを判定する（Ｓ１０１）。
【００５０】
その検出結果に応じて、あらかじめ定めた規則にしたがって玉２１０の移動値を算出する（Ｓ１０２）。あらかじめ定めた規則は、上述のように、左右の検出対象領域２１０ａ、２１０ｂの検出の有無で玉２１０の進行方向を定めるものである。また、移動量は、あらかじめ定めた所定の値とすることができる。ただし、玉２１０の移動状況に応じて、移動量を変化させるようにしてもよい。例えば、プレイヤの動作の検出が繰り返されると、次第に玉２１０が加速していったり、プレイヤの動作が検出されないと、玉２１０が減速していくようにすることもできる。さらには、コースの状況（上り坂、下り坂、道の種類）が玉２１０の移動に影響を与えるようにすることもできる。
【００５１】
つぎに、算出された玉２１０の移動値に基づいて、玉２１０のコース上の位置を算出する（Ｓ１０３）。これは、前の時点の玉２１０の位置と算出された移動値とから求めることができる。
【００５２】
そして、玉２１０のコース上の位置に基づく表示処理を行ない、コンピュータ画面を更新する（Ｓ１０４）。具体的には、算出された位置に対応するコースの風景等をコンピュータ画像で生成する。
【００５３】
以上の処理を繰り返すことにより、プレイヤの動作に基づいて玉２１０が移動していく様子が表現される。
【００５４】
このように、本実施例では、１つのオブジェクト（玉２１０）について、複数の検出対象領域（２１０ａ、２１０ｂ）を設け、それぞれの検出対象領域の検出結果に基づいてオブジェクトを移動させることによりゲームシナリオが進行していくものである。
【００５５】
なお、玉２１０の位置を算出した結果、コースから外れてしまった場合（Ｓ１０５：Ｙ）には、コースアウト処理（Ｓ１０６）を行ない、ゲームオーバーとする。コースアウト処理では、例えば、玉が転落するコンピュータ画像を表示したり、ゲームオーバであることを示す表示を行なうようにすることができる。
【００５６】
また、玉２１０の位置を算出した結果、ゴールに到着した場合（Ｓ１０７：Ｙ）には、ゴール処理（Ｓ１０８）を行ない、ゲームクリヤとする。ゴール処理（Ｓ１０８）では、例えば、プレイヤに対して加点したり、ゲームクリアしたことを示す表示を行なうようにすることができる。
【００５７】
上記の例では、玉２１０に２箇所の検出対象領域を設けていたが、図８（ａ）に示すように３箇所設けるようにしてもよい。本図の例では、玉２１０の左側に検出対象領域２１０ｃが設けられ、中央部分に検出対象領域２１０ｄが設けられ、右側に検出対象領域２１０ｅが設けられている。
【００５８】
検出対処領域を３箇所設けた場合の、各検出対処領域における検出結果と玉２１０の動きの例について説明する。
【００５９】
本例では、複数個の検出対象領域でプレイヤの動作を検出でき、さらに、検出された差分値の大きさに対応する評価値を算出するものとする。すなわち、プレイヤの動きが検出されたそれぞれの検出対象領域について、プレイヤの動きの大きさに対応する評価値が取得される。
【００６０】
ここでは、取得された評価値を、さらに所定の基準により「大」「小」に区別するものとする。これにより、それぞれの検出対象領域について、プレイヤの動作の「大」「小」が検出されることになる。
【００６１】
このような場合においては、検出結果に応じて様々な制御を行なうことができる。例えば、中央の検出対象領域２１０ｄのみでプレイヤの動作が検出された場合には、玉２１０が直進するようにする。
【００６２】
また、右側の検出対象領域２１０ｅのみでプレイヤの大きな動作が検出された場合には、図８（ｂ）に示すように、大きく左方向に速く進むようにする。このとき、検出されたプレイヤの動作が小さい場合には図８（ｃ）に示すように大きく左方向にゆっくり進むようにする。これにより、プレイヤは動作の大きさを変化させることで玉２１０の早さを制御することができるようになる。
【００６３】
また、右側の検出対象領域２１０ｅでプレイヤの大きな動作が検出され、左側の検出対象領域２１０ｃで小さな動作が検出された場合には、図８（ｄ）に示すように少し左方向に進むようにする。これにより、プレイヤは左右の動作の大きさを変化させることで、玉２１０の進行方向を細かく制御することができるようになる。
【００６４】
この状態で、例えば、プレイヤが左側の検出対象領域２１０ｃに対応する動作を大きくすると、右側の検出対象領域２１０ｅおよび左側の検出対象領域２１０ｃでプレイヤの大きな動作が検出されることになる。この場合は、例えば、図８（ｅ）に示すように玉２２０を速く直進させるようにする。
【００６５】
このように、玉２２０により多くの検出対象領域を設けたり、プレイヤの動作の大きさに基づく評価値を算出することで、玉２２０の移動について、より細かな制御を行なうことができるようになる。
【００６６】
つぎに、主制御部１０３が主として行なうオブジェクト移動処理の第２の実施例について説明する。本実施例では、コンピュータ画像として、図１０（ａ）に示すように移動対象のオブジェクトとしてキャラクタ２２０を表示する。キャラクタ２２０は、複数存在することができるものとする。そして、これらのキャラクタ２２０を、プレイヤの動作にしたがって移動させるものとする。コンピュータ画像内にはゴールが設けられており、ゴールには開閉式の扉が設けられている。この扉は適宜開いたり閉じたりするように制御される。プレイヤは開いている扉を通ってゴールに到達するように、キャラクタ２２０を操作するものとする。また、コンピュータ画像には、例えば、制限時間、得点、その他ゲームシナリオに応じてプレイヤに提示する情報を含めることができる。
【００６７】
図１０（ｂ）は、図１０（ａ）に示したコンピュータ画像に、プレイヤの鏡面動画像を重畳したプレイ時の画面を示す図である。このとき、移動対象のキャラクタ２２０、扉２２１、ゴール等をプレイヤが認識しやすくするために鏡面動画像を半透明にしてコンピュータ画像に重ねて表示させるようにする。キャラクタ２２０の画像データ等は、オブジェクトデータ記憶部１０４にあらかじめ格納しておくようにする。
【００６８】
本実施例において、主制御部１０３は、キャラクタ２２０の存在する領域に対応させて、４箇所の検出対象領域２２０ａ、２２０ｂ、２２０ｃ、２２０ｄを設定する。すなわち、キャラクタ２２０を中心に、左上の検出対象領域２２０ａ、右上の検出領域２２０ｂ、右下の検出対象領域２２０ｃ、左下の検出対象領域２２０ｄが設定されている。
【００６９】
そして、いずれかの検出対象領域でプレイヤの動作を検出した場合には、検出対象領域から遠ざかるようにキャラクタ２２０を移動させる。すなわち、左上の検出対象領域２２０ａでプレイヤの動作を検出した場合には、図１１（ｂ）に示すように、キャラクタ２２０が右下に移動するような表示を行なう。同様に右上の検出対象領域２２０ｂでプレイヤの動作を検出した場合には、キャラクタ２２０が左下に移動するような表示を行ない、右下の検出対象領域２２０ｃでプレイヤの動作を検出した場合には、キャラクタ２２０が左上に移動するような表示を行ない、左下の検出対象領域２２０ｄでプレイヤの動作を検出した場合には、キャラクタ２２０が右上に移動するような表示を行なう。このため、本実施例では、複数の検出対象領域でプレイヤの動作が検出された場合には、差分値に対応する評価値が最も大きい、すなわち、より動作が検出された領域の広い検出対象領域をプレイヤの動作が検出された検出対象領域と扱うようにする。
【００７０】
本実施例において、プレイヤは、キャラクタ２２０の付近において動作、例えば、手を振ることで、キャラクタ２２０の移動をコントロールすることができる。キャラクタ２２０は、複数存在することができるため、プレイヤは移動対象のキャラクタ２２０を指定してから移動のための操作を行なうようにする。
【００７１】
移動対象のキャラクタ２２０の指定は、例えば、以下のように行なうことができる。すなわち、どのキャラクタ２２０も移動対象となっていない状態で、あるキャラクタ２２０のいずれかの検出対象領域においてプレイヤの動作が検出された場合に、そのキャラクタ２２０を移動対象として扱うものとする。移動対象となったキャラクタ２２０は、移動対象であることを明確にするため、例えば、色を変化させたり、マークを付すことにより、他のキャラクタ２２０と区別することが望ましい。
【００７２】
図１３は、第２の実施例におけるエンタテインメントシステムの処理を説明するフロー図である。エンタテインメントシステムは、プレイヤの指示に基づいてプレイを開始すると、ゲームの終了まで、所定の間隔、例えば１フレーム毎に、以下の処理を繰り返す。
【００７３】
まず、エンタテインメントシステムは、いずれかのキャラクタ２２０が操作対象になっているかどうかを判断する（Ｓ２０１）。
【００７４】
その結果、いずれのキャラクタ２２０も操作対象となっていない場合（Ｓ２０１：Ｎ）には、プレイヤの指示に基づいて、操作対象のキャラクタ２２０を設定する（Ｓ２０２）。すなわち、いずれかの検出対象領域においてプレイヤの動作を検出したキャラクタ２２０を操作対象とする。なお、複数のキャラクタ２２０について操作対象と設定可能としてもよい。
【００７５】
操作対象のキャラクタ２２０が設定されている場合には（Ｓ２０１：Ｙ、Ｓ２０２）、操作対象のキャラクタ２２０について、いずれかの検出対象領域でプレイヤの動作が検出されたかを判定する（Ｓ２０３）。
【００７６】
その検出結果に応じて、あらかじめ定めた規則にしたがってキャラクタ２２０の移動値を算出して（Ｓ２０４）、キャラクタ２２０の移動先の位置を算出する（Ｓ２０５）。あらかじめ定めた規則は、上述のように、左上、右上、右下、左下の検出対象領域２２０ａ〜２２０ｄの検出結果に応じてキャラクタ２２０の進行方向を定めるものである。また、移動量は、あらかじめ定めた所定の値とすることができる。
【００７７】
ただし、検出結果に基づいて、移動の目的地となる位置を決定して、順次その位置に近づくようにキャラクタ２２０を移動させるようにしてもよい。この場合は、キャラクタ２２０が目的地に到達するまで、そのキャラクタ２２０についてはフレーム単位で検出対象領域の判定を行なわなくてもよい。
【００７８】
そして、キャラクタ２２０が移動していく表示処理を行ない、コンピュータ画面を更新する（Ｓ２０６）。
【００７９】
以上の処理を制限時間が経過するまで（Ｓ２０９：Ｙ）繰り返すことにより、プレイヤの動作に基づいてキャラクタ２２０が移動していく様子が表現される。
【００８０】
このように、本実施例においても、１つのオブジェクト（キャラクタ２２０）について、複数の検出対象領域（２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ）を設け、それぞれの検出対象領域の検出結果に基づいてオブジェクトを移動させることによりゲームシナリオが進行していくことになる。
【００８１】
なお、キャラクタ２２０の位置を算出した結果、ゴールに到達した場合（Ｓ２０７：Ｙ）には、そのキャラクタ２２０についてゴール処理（Ｓ２０８）を行なう。ゴール処理では、例えば、プレイヤに対して加点を行なう。また、そのキャラクタ２２０を操作対象から除外する。
【００８２】
上記の例では、キャラクタ２２０を中心とした円の領域に４箇所の検出対象領域を設けていたが、図１２（ａ）に示すようにキャラクタ２２０の部分を除いたドーナツ状の領域に検出対象領域を設けるようにしてもよい。ここでは、キャラクタ２２０を中心に、左上の検出対象領域２２０ｅ、右上の検出領域２２０ｆ、右下の検出対象領域２２０ｇ、左下の検出対象領域２２０ｇが設定されているものとする。
【００８３】
そして、いずれかの検出対象領域でプレイヤの動作を検出した場合には、検出対象領域の方向に進むようにキャラクタ２２０を移動させる。すなわち、左上の検出対象領域２２０ａでプレイヤの動作を検出した場合には、図１２（ｂ）に示すように、キャラクタ２２０が左上に移動するような表示を行なう。同様に右上の検出対象領域２２０ｂでプレイヤの動作を検出した場合には、キャラクタ２２０が右上に移動するような表示を行ない、右下の検出対象領域２２０ｃでプレイヤの動作を検出した場合には、キャラクタ２２０が右下に移動するような表示を行ない、左下の検出対象領域２２０ｄでプレイヤの動作を検出した場合には、キャラクタ２２０が左下に移動するような表示を行なう。
【００８４】
本図に示すような検出対象領域を設定し、キャラクタ２２０の移動方向を定めると、例えば、右下の検出対象領域２２０ｇでプレイヤが動作を行なうと、キャラクタ２２０は右下方向に移動する。さらに、プレイヤが同じ位置で動作を続けると、やがてキャラクタ２２０がプレイヤの動作位置に移動してくる。すると、キャラクタ２２０の位置とプレイヤの動作位置とが重なり、プレイヤの動作が検出対象領域から外れることになる。この結果、プレイヤの動作が検出されず、キャラクタ２２０の移動が停止する。つまり、プレイヤは、移動目的の箇所で動作を行なうことで、キャラクタ２２０の移動位置を制御することができるようになる。
【００８５】
なお、実施例１および実施例２において、プレイヤの動作の検出に特徴部分の差分を検出するようにして、いわゆるパターン認識を用いた場合には、認識したプレイヤの動作の方向、速さ等を考慮して操作対象である玉２１０、キャラクタ２２０を移動させるようにしてもよい。
【００８６】
以上のように、本発明によれば、コンピュータ画像で表示された１つのオブジェクトについて複数の検出対象領域を設け、重畳表示されたプレイヤの動作に対する各検出対象領域の検出結果に応じてオブジェクトを移動させることによりゲームシナリオを進行させることで、カメラで撮影したプレイヤの画像を入力インタフェースとして用いる情報処理システムにおいて、よりゲーム性を高めることができる。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施形態に係るエンタテインメントシステムの全体構成図である。
【図２】エンタテインメント装置の構成図である。
【図３】エンタテインメント装置の機能構成図である。
【図４】プレイヤの鏡面画像および検出された領域を示す図である。
【図５】検出対象領域を説明する図である。
【図６】第１の実施例のプレイ画面を示す図である。
【図７】第１の実施例の検出対象領域を示す図である。
【図８】第１の実施例の検出対象領域の別例を示す図である。
【図９】第１の実施例の制御を示すフロー図である。
【図１０】第２の実施例のプレイ画面を示す図である。
【図１１】第２の実施例の検出対象領域を示す図である。
【図１２】第２の実施例の検出対象領域の別例を示す図である。
【図１３】第２の実施例の制御を示すフロー図である。
【符号の説明】
【００８８】
１…ビデオカメラ、２…エンタテインメント装置、３…ディスプレイ装置、１０１…ビデオ画像入力部、１０２…差分検出部、１０３…主制御部、１０４…オブジェクトデータ記憶部、１０５…重畳画像生成部、１０６…表示制御部
【特許請求の範囲】
【請求項１】
プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、
前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理して鏡面動画像を生成する鏡面動画像処理手段とをさらに備えることを特徴とする情報処理装置。
【請求項３】
請求項１に記載の情報処理装置において、
前記表示制御手段は、前記鏡面動画像を半透明処理して前記コンピュータ画像と重ね合わせることを特徴とする情報処理装置。
【請求項４】
請求項１に記載の情報処理装置において、
前記制御手段は、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの進行方向を決定することを特徴とする情報処理装置。
【請求項５】
請求項４に記載の情報処理装置において、
前記制御手段は、プレイヤに対する前記オブジェクトの進行方向のガイダンスとなる表示を前記コンピュータ画像に含めることを特徴とする情報処理装置。
【請求項６】
請求項４に記載の情報処理装置であって、
前記制御手段は、前記複数の検出対象領域のうちの２箇所の検出対象領域について、
一方の検出対象領域で動きを検出した場合には、他方の検出対象領域側に進行するように、双方の検出対象領域で動きを検出した場合には、直進するように進行方向を決定することを特徴とする情報処理装置。
【請求項７】
請求項１に記載の情報処理装置において、
前記検出手段は、前記鏡面動画像のフレーム間の差分に基づいて、動きのある領域を検出することを特徴とする情報処理装置。
【請求項８】
プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを情報処理装置に機能させるプログラムであって、
前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムにおいて、
撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理して鏡面動画像を生成する鏡面動画像処理手段とをさらに情報処理装置に機能させることを特徴とするプログラム。
【請求項１０】
請求項８に記載のプログラムにおいて、
前記表示制御手段は、前記鏡面動画像を半透明処理して前記コンピュータ画像と重ね合わせることを特徴とするプログラム。
【請求項１１】
請求項８に記載のプログラムにおいて、
前記制御手段は、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの進行方向を決定することを特徴とするプログラム。
【請求項１２】
請求項１１に記載の情報処理装置において、
前記制御手段は、プレイヤに対する前記オブジェクトの進行方向のガイダンスとなる表示を前記コンピュータ画像に含めることを特徴とするプログラム。
【請求項１３】
請求項１１に記載のプログラムであって、
前記制御手段は、前記複数の検出対象領域のうちの２箇所の検出対象領域について、
一方の検出対象領域で動きを検出した場合には、他方の検出対象領域側に進行するように、双方の検出対象領域で動きを検出した場合には、直進するように進行方向を決定することを特徴とするプログラム。
【請求項１４】
請求項８に記載のプログラムにおいて、
前記検出手段は、前記鏡面動画像のフレーム間の差分に基づいて、動きのある領域を検出することを特徴とするプログラム。
【請求項１５】
請求項８〜１４のいずれか一項に記載のプログラムを記録した情報処理装置読み取り可能な記録媒体。
【請求項１６】
情報処理装置におけるオブジェクト制御方法であって、
プレイヤの鏡面動画像から動きのある領域を検出する検出処理と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御処理と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御処理とを含み、
前記制御処理は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とするオブジェクト制御方法。
【請求項１】
プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを備え、
前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理して鏡面動画像を生成する鏡面動画像処理手段とをさらに備えることを特徴とする情報処理装置。
【請求項３】
請求項１に記載の情報処理装置において、
前記表示制御手段は、前記鏡面動画像を半透明処理して前記コンピュータ画像と重ね合わせることを特徴とする情報処理装置。
【請求項４】
請求項１に記載の情報処理装置において、
前記制御手段は、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの進行方向を決定することを特徴とする情報処理装置。
【請求項５】
請求項４に記載の情報処理装置において、
前記制御手段は、プレイヤに対する前記オブジェクトの進行方向のガイダンスとなる表示を前記コンピュータ画像に含めることを特徴とする情報処理装置。
【請求項６】
請求項４に記載の情報処理装置であって、
前記制御手段は、前記複数の検出対象領域のうちの２箇所の検出対象領域について、
一方の検出対象領域で動きを検出した場合には、他方の検出対象領域側に進行するように、双方の検出対象領域で動きを検出した場合には、直進するように進行方向を決定することを特徴とする情報処理装置。
【請求項７】
請求項１に記載の情報処理装置において、
前記検出手段は、前記鏡面動画像のフレーム間の差分に基づいて、動きのある領域を検出することを特徴とする情報処理装置。
【請求項８】
プレイヤの鏡面動画像から動きのある領域を検出する検出手段と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御手段と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御手段とを情報処理装置に機能させるプログラムであって、
前記制御手段は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムにおいて、
撮影装置でプレイヤを撮影したプレイヤ動画像の入力を受け付けるプレイヤ動画像受付手段と、
前記プレイヤ動画像を鏡面処理して鏡面動画像を生成する鏡面動画像処理手段とをさらに情報処理装置に機能させることを特徴とするプログラム。
【請求項１０】
請求項８に記載のプログラムにおいて、
前記表示制御手段は、前記鏡面動画像を半透明処理して前記コンピュータ画像と重ね合わせることを特徴とするプログラム。
【請求項１１】
請求項８に記載のプログラムにおいて、
前記制御手段は、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの進行方向を決定することを特徴とするプログラム。
【請求項１２】
請求項１１に記載の情報処理装置において、
前記制御手段は、プレイヤに対する前記オブジェクトの進行方向のガイダンスとなる表示を前記コンピュータ画像に含めることを特徴とするプログラム。
【請求項１３】
請求項１１に記載のプログラムであって、
前記制御手段は、前記複数の検出対象領域のうちの２箇所の検出対象領域について、
一方の検出対象領域で動きを検出した場合には、他方の検出対象領域側に進行するように、双方の検出対象領域で動きを検出した場合には、直進するように進行方向を決定することを特徴とするプログラム。
【請求項１４】
請求項８に記載のプログラムにおいて、
前記検出手段は、前記鏡面動画像のフレーム間の差分に基づいて、動きのある領域を検出することを特徴とするプログラム。
【請求項１５】
請求項８〜１４のいずれか一項に記載のプログラムを記録した情報処理装置読み取り可能な記録媒体。
【請求項１６】
情報処理装置におけるオブジェクト制御方法であって、
プレイヤの鏡面動画像から動きのある領域を検出する検出処理と、
移動対象のオブジェクトを含むコンピュータ画像を生成する制御処理と、
前記鏡面動画像と、前記コンピュータ画像とを重ねた重畳動画像を表示装置に表示させる表示制御処理とを含み、
前記制御処理は、前記移動対象のオブジェクトについて、複数の検出対象領域を設定し、それぞれの検出対象領域に対応する領域における鏡面動画像の動きの検出結果に応じて、前記オブジェクトの移動態様を制御することを特徴とするオブジェクト制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−１４８７５（Ｐ２００６−１４８７５Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９４８１５（Ｐ２００４−１９４８１５）
【出願日】平成１６年６月３０日（２００４．６．３０）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１６年６月３０日（２００４．６．３０）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]