ゲーム装置
【課題】 プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得ることを可能にする。
【解決手段】 ゲーム装置には、プレーヤーの手を挿入可能な挿入口が設けられ、筐体内に挿入された手を３次元測定する３次元測定カメラ２２が設置されている。制御ユニット２０は、３次元測定カメラ２２により測定された手をもとに、手を３次元により表現する手画像を生成して、ゲーム用のオブジェクトを含むゲーム画像と共にディスプレイユニット１１において表示させる。制御ユニット２０は、プレーヤーの手の形状及び動作で変化する手画像とゲーム画像中のオブジェクトとのゲーム空間における相対関係を判別し、この判別された相対関係に応じてゲームを制御する。
【解決手段】 ゲーム装置には、プレーヤーの手を挿入可能な挿入口が設けられ、筐体内に挿入された手を３次元測定する３次元測定カメラ２２が設置されている。制御ユニット２０は、３次元測定カメラ２２により測定された手をもとに、手を３次元により表現する手画像を生成して、ゲーム用のオブジェクトを含むゲーム画像と共にディスプレイユニット１１において表示させる。制御ユニット２０は、プレーヤーの手の形状及び動作で変化する手画像とゲーム画像中のオブジェクトとのゲーム空間における相対関係を判別し、この判別された相対関係に応じてゲームを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレーヤーの手の動きを画像化して表示するゲーム装置に関する。
【背景技術】
【０００２】
仮想現実的な身体感覚を出力することの可能な感覚呈示装置が従来技術として知られている（特許文献１参照）。特許文献１に記載された感覚呈示装置は、画像に呈示された身体の映像を自分の身体の一部と錯覚させる仮想現実感を付与することができるようにするもので、左手Ｌに触覚刺激を与えるデータグローブと、この左手Ｌに対応する映像と触角刺激を想起させる映像とからなる視覚刺激を呈示する液晶ディスプレイと、これらデータグローブ及び液晶ディスプレイを制御するコンピュータとを備えている。操作人は、立体視用の偏光メガネを装着して液晶ディスプレイに表示された画像を視認する。液晶ディスプレイにより呈示された虚像の左手に加えられる仮想触覚刺激と、実像である左手Ｌにデータグローブにより加えられる触覚刺激とを同期させることで、操作人は液晶ディスプレイにより呈示された虚像の左手が自分の実像の左手であると錯覚して仮想現実的に把握する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３３０５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術による感覚呈示装置では、利用者（操作人）は、データグローブ、偏光メガネを装着する必要があった。また、データグローブは、置かれる位置を予めコンピュータにインプットしておく必要がある。すなわち、データグローブを装着している手を自由に動かして位置を移動させることができなかった。
【０００５】
このため、従来技術による感覚呈示装置をゲーム装置として利用した場合、プレーヤーに対して、ゲームをするたびにデータグローブや偏光メガネを装着させなければならず面倒である。また、ゲーム中に手を自由に動かすことができないために、ゲーム内容に変化が乏しく、プレーヤーに興味を持たれるゲームとすることができない。
【０００６】
本発明は前述した事情に考慮してなされたもので、その目的は、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得ることが可能なゲーム装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明は、プレーヤーの手を挿入可能な挿入口が設けられた筐体と、前記筐体内に挿入された手を３次元測定する測定手段と、前記測定手段により測定された手をもとに、前記手を３次元により表現する手画像を生成する手画像生成手段と、ゲーム用のオブジェクトを含むゲーム画像と前記手画像生成手段により生成された手画像とを表示させるゲーム画像表示手段と、前記ゲーム画像表示手段により表示されるゲーム画像中のオブジェクトと前記手画像生成手段により生成される手画像とのゲーム空間における相対関係を判別する画像判定手段と、前記画像判定手段により判別された相対関係に応じて、ゲームを制御するゲーム制御手段とを具備したことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得るゲーム装置を実現することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態におけるゲーム装置の外観構成を示す図。
【図２】本実施形態におけるゲーム装置を「動物かわいがりゲーム」として動作させている時の状況を示す図。
【図３】ゲーム装置の筐体内の構造を示す側面断面図。
【図４】パララックスバリア方式を用いたディスプレイユニット１１の構成例を示す図。
【図５】レンティキュラ方式を用いたディスプレイユニット１１の構成例を示す図。
【図６】目位置検出用カメラ１６を用いたディスプレイユニット１１において表示される画像（ゲーム画像、手画像）の表示位置の補正を説明するための図。
【図７】本実施形態におけるゲーム装置の機能構成を示すブロック図。
【図８】ゲーム装置により実行されるゲーム処理を示すフローチャート。
【図９】手画像表示処理を示すフローチャート。
【図１０】ゲーム装置の他の構成例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態におけるゲーム装置の外観構成を示す図である。図１に示すゲーム装置は、下部筐体１０と上部筐体１５とから構成されている。下部筐体１０の上面部には、ディスプレイユニット１１が設けられている。ディスプレイユニット１１は、プレーヤーからの視線方向に対して、ほぼ正対するように傾斜をつけて、下部筐体１０に装着されている。下部筐体１０の下方部の前面には、手挿入口１２が設けられている。手挿入口１２からはプレーヤーの手及び腕を下部筐体１０の筐体内に挿入することができる。
【００１１】
本実施形態におけるゲーム装置では、手挿入口１２から挿入された手（腕）の形状や動きを測定し、この測定された手に相当する手画像をディスプレイユニット１１において表示させる。また、ディスプレイユニット１１には、手画像の他に、ゲーム内容に応じて予め用意されたゲーム画像、すなわちゲーム内容に応じて用意され各種のオブジェクトが表示される。プレーヤーは、ゲーム画像（オブジェクト）に触れるように手を動かすことで、手画像とゲーム画像との相対関係、すなわちゲーム空間内でオブジェクトに対してどのように触れているかによってゲーム画像が変化する。これにより、実際に手を動かすことによって、ゲーム空間内に存在しているオブジェクトをあたかも触れているような仮想現実的な感覚を得ることが可能となっている。
【００１２】
また、手挿入口１２の周囲（図１では上下）には、挿入されたプレーヤーの腕に圧接するように摺動可能に圧力パッド１３が装着されている。圧力パッド１３は、例えばスポンジ状の柔らかな部材により構成され、プレーヤーの腕に圧接させたとしても痛みを感じないように構成されている。図１に示すゲーム装置は、例えば「動物かわいがりゲーム」を実行するように構成されたもので、ゲーム空間内のライオンなどの動物への触れ方が正しくない場合などに、ライオンに噛まれたことを表すように圧力パッド１３を駆動して腕を挟むことができる。
【００１３】
一方、上部筐体１５の前面側（プレーヤーと相対する側）には、目位置検出用カメラ１６（１６ａ，１６ｂ）、スピーカ１７、及びマイク１８が設けられている。目位置検出用カメラ１６は、挿入口１２に手を挿入しているプレーヤーの目を含む画像を撮影するために用いられる。目位置検出用カメラ１６によって撮影された画像は、プレーヤーが頭（目）の位置を移動させるのに合わせて、ディスプレイユニット１１において表示される画像（ゲーム画像、手画像）の表示位置を補正するために利用される。スピーカ１７は、ゲームの実行中に効果音、ＢＧＭ（back ground music）、メッセージなどを出力する。マイク１８は、プレーヤーの声を入力するために用いられる。マイク１８から入力されたプレーヤーの音声は、音声認識処理されて、この音声認識の結果に応じたゲーム処理が実行される。例えば、ゲーム空間内で使用する道具、例えば「ブラシ」と発声することで、ゲーム画面中にブラシを表すオブジェクトが表示されて、プレーヤーによる手画像によって操作できるようになる。
【００１４】
図２は、本実施形態におけるゲーム装置を「動物かわいがりゲーム」として動作させている時の状況を示す図である。
図２に示すように、「動物かわいがりゲーム」では、例えばペットなどの動物だけでなく現実では直接触れることが困難なライオンなどの猛獣まで、あらゆる動物を撫でて仲良くなることを目的としたアクションゲームであり、ディスプレイユニット１１において表示される動物を、プレーヤーの手の動きに応じて表示される手画像により触れるように操作するものである。
【００１５】
プレーヤーにより手挿入口１２から手及び腕が挿入されると、下部筐体１０の筐体内で手及び腕の形状、動きを測定し、プレーヤーの手の動きに応じた手画像をディスプレイユニット１１において表示させる。これにより、プレーヤーは、動物が存在するゲーム空間内に手を挿入して、動物を触れているような視覚的な感覚が得られる。
【００１６】
なお、一般に、視覚の情報から錯覚により触覚を補う効果があることが知られている。例えば、事故などで片腕を失った人に対して、あるはずのない腕の痛みや感覚を取り除く治療法などで利用されている。具体的には、箱の中を鏡でしきりを作り、残っている手を鏡に映して見ながら両手で同じ運動をすると、まるでそこに失った手があって動いているように感じることで、腕の痛みや感覚を取り除くことができるものである。
【００１７】
本実施形態におけるゲーム装置においても、こうした視覚の錯覚を利用して、ディスプレイユニット１１において表示された手画像がまるで自分の手のようにプレーヤーに感じさせることができる。
【００１８】
目位置検出用カメラ１６ａ，１６ｂは、筐体上部のプレーヤーの顔位置と相対する高さで左右に配置されている。これにより、プレーヤーの目の位置と共に、２つの目位置検出用カメラ１６ａ，１６ｂにより撮影される画像の差分をもとにして、目位置検出用カメラ１６ａ，１６ｂとの距離（目の奥行き方向の位置）を検出することができる。
【００１９】
図３は、ゲーム装置の筐体内の構造を示す側面断面図である。
図３に示すように、圧力パッド１３を駆動するためのパッド駆動ユニット１９が、手挿入口１２の上下にそれぞれ設けられている。パッド駆動ユニット１９は、圧力パッド１３を上下方向に摺動させることで、手挿入口１２から挿入されたプレーヤーの腕に圧力パッド１３を圧接させる。下部筐体１０の内部は、プレーヤーが手を動かすことが可能な空間が設けられてあり、その空間の下方部に手及び腕を３次元測定することができる３次元測定カメラ２２が設けられている。また、筐体内部には、各部を制御するためのモジュールが搭載された制御ユニット２０が収納されている。
【００２０】
３次元測定カメラ２２は、例えば赤外線によって距離測定を行なうもので、対象物（手）の正面からの形状を把握すると共に、赤外線を照射して対象物からの反射をもとにして対象物への奥行きを検出することができる。３次元測定カメラ２２により撮影された画像をもとにして、画像処理によりプレーヤーの手の形状や動きが検出される。
【００２１】
なお、プレーヤーの手の３次元測定は、赤外線を利用した３次元測定カメラ２２を用いるだけでなく、例えば複数（例えば二つ）の通常の２次元の画像を撮影するカメラを使った測定方法を用いても良い。すなわち、下部筐体１０の内部に異なる方向からプレーヤーの手を撮影可能となるようにカメラを設置し、各カメラによって撮影された画像（映像）を画像処理することで３次元の手の形状や動きを測定することができる。
【００２２】
目位置検出用カメラ１６（１６ａ，１６ｂ）は、左右に離して配置されている。このため、目位置検出用カメラ１６により撮影された画像をもとにして、プレーヤーの目の位置Ｐ１が後方の位置Ｐ２あるいは前方の位置Ｐ３に変化したことを検出することができる。
【００２３】
なお、プレーヤーがゲームをする際に座るシートによって、プレーヤーの頭（目）の移動範囲を制限することで、目の位置の検出を容易にすることができる。また、シートの背もたれの部分にもカメラを設けて、このカメラによって撮影されたプレーヤーの後頭部の画像と合わせて、プレーヤーの頭（目）の位置を検出するようにしても良い。
【００２４】
図４及び図５は、本実施形態におけるゲーム装置のディスプレイユニット１１の構成を説明するための図である。本実施形態におけるゲーム装置は、プレーヤーに立体視用の偏光メガネなどを装着させることなく、図４または図５に示す構成とすることで、裸眼で立体映像を見ることができるようにしている。
【００２５】
図４は、パララックスバリア方式を用いたディスプレイユニット１１の構成例を示している。図４に示すディスプレイユニット１１では、ＬＣＤ（Liquid Crystal Display）等の平面状のディスプレイ１１ａにバリア部材１１ｂが設けられている。バリア部材１１ｂにはスリットが形成されており、このスリットを通過する視線角度が両眼で異なる、この視差による視線分離現象を利用して、プレーヤーの左眼により視認可能なディスプレイ１１ａの表示位置と、右眼により視認可能な表示位置とがずれるようにしている。制御ユニット２０（後述するゲーム画像表示部３０ｄ)は、ディスプレイユニット１１（バリア部材１１ｂ）の構成に応じて、ゲーム画像と手画像とを立体視させるためのパターン、すなわちプレーヤーの左眼と右眼のそれぞれに視認させる二枚の画像を縦に細長く切断して交互に並べた立体視用の映像をディスプレイ１１ａにより表示させる。
【００２６】
これにより、プレーヤーは、偏光メガネなどを装着することなく、裸眼により立体映像を見ることができる。
【００２７】
図５は、レンティキュラ方式を用いたディスプレイユニット１１の構成例を示している。図５に示すディスプレイユニット１１では、ディスプレイ１１ａにレンティキュラ１１ｃが設けられている。レンティキュラ１１ｃは、図５に示すように、右眼と左眼のそれぞれ視線の届く位置を変化させるプリズムとして動作すると共に、線幅を広げる凸レンズとして作用し、レンズ１本が１つの画素ラインとして見えるようにするものである。パララックスバリア方式と同様に、制御ユニット２０（ゲーム画像表示部３０ｄ）は、レンティキュラ１１ｃの構成に応じて、ゲーム画像と手画像とを立体視させるためのパターンを表示させる。
【００２８】
これにより、プレーヤーは、パララックスバリア方式と同様にして、偏光メガネなどを装着することなく、裸眼により立体映像を見ることができる。
【００２９】
なお、ディスプレイユニット１１において表示される映像を立体視させるための構成として、前述したパララックスバリア方式とレンティキュラ方式に限るものではなく、他の方式を用いることも可能である。
【００３０】
図６は、目位置検出用カメラ１６を用いたディスプレイユニット１１において表示される画像（ゲーム画像、手画像）の表示位置の補正を説明するための図である。
ディスプレイユニット１１には、下部筐体１０の内部に挿入された手を３次元測定することにより手画像が表示される。このため、手の位置を動かさずに、プレーヤーの頭（目）の位置だけを変動した場合に、視線方向が変化したにも関わらずディスプレイユニット１１に表示された手画像とゲーム画像（オブジェクト）の表示位置が変化せず違和感が生じてしまう。
【００３１】
本実施形態におけるゲーム装置では、通常、プレーヤーが位置している正面中央付近の画像を撮影できるように目位置検出用カメラ１６が設置されている。制御ユニット２０は、目位置検出用カメラ１６により撮影された画像をもとに、プレーヤーの頭（目）の位置の変化、すなわち視線方向の変化を検出して、この視線方向の変化に合わせてディスプレイユニット１１に表示させる画像の表示位置を補正する。これにより、プレーヤーに対して、ディスプレイユニット１１に表示された画像が実際に存在している手やオブジェクトであるように認識させることができる。
【００３２】
図７は、本実施形態におけるゲーム装置の機能構成を示すブロック図である。
図７に示すように、ゲーム装置は、制御ユニット２０にＣＰＵ３０、メモリ３１、記録装置３２、表示制御部３３、入出力インタフェース３４等のモジュールが搭載されている。
【００３３】
ＣＰＵ３０は、ゲーム装置全体の制御を司るもので、ゲームプログラム３１ａを実行することによって各種機能を実現する。ＣＰＵ３０により実現される機能には、手形状検出部３０ａ、手画像生成部３０ｂ、ゲーム制御部３０ｃ、ゲーム画像表示部３０ｄ、画像判定部３０ｅ、及び音声認識部３０ｆを含み、各機能部が協働してゲーム処理を実行する。
【００３４】
手形状検出部３０ａは、３次元測定カメラ２２によって撮影された画像をもとに、筐体内に挿入されたプレーヤーの手の形状、動きを検出する。
【００３５】
手画像生成部３０ｂは、手形状検出部３０ａにより測定された手の形状、動きをもとに、手を３次元により表現する手画像を例えばＣＧ（computer graphics）により生成する。
【００３６】
ゲーム制御部３０ｃは、画像判定部３０ｅにより判別されたゲーム画像（オブジェクト）と手画像とのゲーム空間内における相対関係に応じてゲームを制御する。本実施形態におけるゲーム装置において「動物かわいがりゲーム」を実行する場合には、動物の画像に対して手画像がどのように触れているかによって、正しく撫でているか、あるいは動物を不快にする撫で方をしているかを判定し、この結果に応じてゲームを進行させる。ゲーム制御部３０ｃは、ゲーム中のイベントとして、所定の状態となった場合に、入出力インタフェース３４を通じてパッド駆動ユニット１９を駆動して圧力パッド１３を摺動させる。また、ゲーム制御部３０ｃは、音声認識部３０ｆによってプレーヤーにより予め決められた発声がされたことが認識された場合に、ゲーム画像表示部３０ｄによって発声内容に応じたオブジェクトをゲーム画面中に表示させる。
【００３７】
ゲーム画像表示部３０ｄは、ゲーム制御部３０ｃにより制御されるゲーム内容に応じた画像を表示させるもので、ゲーム用のオブジェクトを含むゲーム画像と手画像生成部３０ｂにより生成された手画像とを、表示制御部３３を通じてディスプレイユニット１１において表示させる。ゲーム画像表示部３０ｄは、前述したように、プレーヤーが裸眼でゲーム画像と手画像とを立体視させるためのパターンをディスプレイユニット１１に表示させる。また、ゲーム画像表示部３０ｄは、目位置検出用カメラ１６によって撮影された画像をもとに検出されたプレーヤーの目の位置をもとに、ゲーム画像と手画像との表示位置を補正して表示させる表示位置補正機能を有している。
【００３８】
画像判定部３０ｅは、ゲーム画像表示部３０ｄにより表示されるゲーム画像中のオブジェクトと、手画像生成部３０ｂにより生成される手画像とのゲーム空間における相対関係を判別する。
【００３９】
音声認識部３０ｆは、マイク１８から入力されたプレーヤーの音声について音声認識を実行し、この認識された音が予め決められた発声音、例えば、ゲーム空間内で使用可能な道具の名称であるかを認識する。
【００４０】
メモリ３１は、ＣＰＵ３０により処理されるプログラムやデータ等が記憶される。メモリ３１に記憶されるプログラムには、基本プログラム（ＯＳ）の他に、ゲーム処理を実行するためのゲームプログラム３１ａが含まれている。また、ゲームプログラム３１ａの実行に伴って、ディスプレイユニット１１においてゲーム状況に応じた画像を表示するためのゲーム画像データ３１ｂ、手画像データ３１ｃが記憶される。
【００４１】
記録装置３２は、プログラムやデータが記録される。
【００４２】
表示制御部３３は、ＣＰＵ３０の制御のもとで、ディスプレイユニット１１における画像（映像）の表示を制御する。
【００４３】
入出力インタフェース３４は、外部モジュールとのインタフェースであり、目位置検出用カメラ１６、スピーカ１７、マイク１８、パッド駆動ユニット１９、３次元測定カメラ２２等が接続される。
【００４４】
なお、入出力インタフェース３４と目位置検出用カメラ１６との間に、目位置検出用カメラ１６によって撮影された画像をもとに、プレーヤーの目の位置を示す位置データを検出する位置検出ユニットを設けるようにしても良い。位置検出ユニットは、例えば目位置検出用カメラ１６の設置位置を基準としたｘｙｚ座標系における目の位置をｘｙｚデータとして検出して、入出力インタフェース部３４を介してＣＰＵ３０に出力する。ゲーム画像表示部３０ｄは、位置検出ユニットにより検出されたプレーヤーの目の位置（ｘｙｚデータ）をもとに、ゲーム画像と手画像との表示位置を補正して表示させる。
【００４５】
次に、本実施形態におけるゲーム装置の動作について、フローチャートを参照しながら説明する。
図８は、ゲーム装置により実行されるゲーム処理を示すフローチャートである。
【００４６】
ＣＰＵ３０は、ゲームが開始されると、３次元測定カメラ２２による画像の撮影を開始して、手挿入口１２からプレーヤーの手が挿入された場合に、プレーヤーの手に応じて手画像をディスプレイユニット１１に表示させるための手画像表示処理を開始する。また、ゲーム制御部３０ｃは、ゲーム内容に応じたゲーム画像を、ゲーム画像表示部３０ｄによって表示させる。例えば、「動物かわいがりゲーム」では、かわいがりの対象とする動物としてライオンの画像をディスプレイユニット１１において表示させる。
【００４７】
図９は、手画像表示処理を示すフローチャートである。
手形状検出部３０ａは、３次元測定カメラ２２によって撮影された画像をもとに手の形状や位置を検出する（ステップＢ１）。プレーヤーが手挿入口１２から手を挿入していた場合には、画像をもとにして手形状を検出することができる（ステップＢ２、Ｙｅｓ）。
【００４８】
手画像生成部３０ｂは、手形状検出部３０ａによって検出された手形状に応じた手のＣＧ（手画像）を作成する（ステップＢ３）。なお、ここで作成される手画像は、一般的な人間の手を表す画像に限るものではなく、動物やロボットの手など任意の形状とすることが可能である。どのような形状の手画像とするかは、予めプレーヤーが指定できるようにしても良いし、ゲーム内容に応じてゲームプログラム３１ａにおいて予め決められているようにしても良い。
【００４９】
ゲーム画像表示部３０ｄは、目位置検出用カメラ１６によって撮影された画像をもとにして、プレーヤーの現在の頭（目）の位置を判別し（ステップＢ４）、頭（目）の位置に応じて手画像を表示する位置を補正する（ステップＢ５）。例えば、頭（目）が中央から左側に移動している場合には、プレーヤーからの視線方向が左側に移動することになるので、プレーヤーの視点位置と、実際の手の位置との相対的な位置関係をもとに、ディスプレイユニット１１に表示すべき手画像の位置と角度を算出して表示位置を変更する。
【００５０】
一方、画像判定部３０ｅは、手画像表示処理によって表示される手画像とゲーム画像（ゲーム空間中のライオン）との相対関係を判別する（ステップＡ２）。すなわち、ゲーム空間中の手がどのようにしてライオンに触れているかを判別する。
【００５１】
ゲーム制御部３０ｃは、画像判定部３０ｅによる判別結果に応じて、ゲーム画像をゲーム画像表示部３０ｄにより表示させる（ステップＡ５）。例えば、上手にライオンを撫でていると判別された場合には、ライオンが気持ち良さそうに反応している画像などを表示させる。
【００５２】
また、手画像とゲーム画像（ゲーム空間中のライオン）との相対関係についての判別結果からイベント発生と判別された場合（ステップＡ３、Ｙｅｓ）、ゲーム制御部３０ｃは、ゲーム状況に応じたイベント動作を実行させる（ステップＡ４）。例えば、下手にライオンを撫でていると判別された場合には、ライオンが怒っていることを表すように、パッド駆動ユニット１９を駆動させて圧力パッド１３を動かし、プレーヤーの腕に上下から圧接させる。つまり、ライオンに噛みつかれたことを表現するイベントを実行させる。
【００５３】
なお、ゲームの実行中にプレーヤーによって所定の発声がされた場合、音声認識部３０ｆは、マイク１８から入力されたプレーヤーの音声について認識処理を実行する（ステップＡ６，Ａ７）。ここで、予め決められた発声がされたことが認識された場合、ゲーム制御部３０ｃは、ゲーム画像表示部３０ｄによって発声内容に応じたオブジェクトをゲーム画面中に表示させる（ステップＡ８）。例えば、「ブラシ」と発声された場合には、ゲーム画面中にブラシを表すオブジェクトを表示させて、プレーヤーによる手画像によって操作できるようにする。
以上のような処理をゲーム終了まで実行する（ステップＡ９）。
【００５４】
こうして、プレーヤーは、手挿入口１２から挿入した手を自由に動かすことで、ゲーム空間内の動物に触れている感覚を得ることができる。ディスプレイユニット１１において表示される画像は、図４及び図５において説明したように、偏光メガネ等を装着することなく立体視できるように構成されているため、より現実のような感覚が得られる。また、プレーヤーがゲーム中に頭（目）の位置を移動させたとしても、その変化に合わせてディスプレイユニット１１に表示される動物の画像や手画像の表示位置が補正されるため、ディスプレイユニット１１に表示される画像に違和感を生じさせない。
【００５５】
本実施形態におけるゲーム装置では、手挿入口１２から挿入した手の画像を３次元測定カメラ２２により測定し、実際の手の形状や動きに合わせた手画像をディスプレイユニット１１に応じて表示させ、ゲーム空間中の動物などのオブジェクトと触れさせることができる。すなわち、プレーヤーは何の制約も受けずに手を動かしてゲームを実施することができるので、自由度の高いゲームとすることができる。また、自由に手を動かすことができるため、ゲーム内容にバリエーションを持たせることができ、プレーヤーに興味を持たれるゲームを提供することができる。
【００５６】
なお、前述した説明では、「動物かわいがりゲーム」を例にして説明しているが、任意のゲーム内容とすることができる。例えば、「手術ゲーム」「すし職人ゲーム」「美容師ゲーム」「対戦麻雀ゲーム」などを実現可能である。
【００５７】
「手術ゲーム」は、プレーヤーが外科手術の執刀医となり、重症患者の手術を時間内に行なうゲームである。ディスプレイユニット１１においては、擬似的な手術台が表示されて、筐体内に挿入した手を動かすことで手術台の患者に対して外科的処置を施すことができる。また、メス、鉗子、注射、ドレーンなどの手術道具は、プレーヤーが音声入力することで、手画像に道具を持たせて任意にゲーム空間内で使用できるようにする。「手術ゲーム」では、メインで操作するプレーヤーの他、助手となる別のプレーヤーも同時にゲームに参加できるようにする。この場合、制御ユニット２０では、それぞれのプレーヤーの手を３次元測定により検出し、個別に前述と同様に手画像を表示して制御する。
【００５８】
「すし職人ゲーム」では、プレーヤーは寿司屋の職人になり、客からの注文通りの寿司を時間内に握るゲームである。プレーヤーは、ゲーム空間内で、シャリを握る、ネタを乗せる動作をする。「美容師ゲーム」では、プレーヤーは美容師になり、お客さんのオーダーに答えてトリミングを行なう。ディスプレイユニット１１では、お客さんの頭部が表示され、手画像によって髪に触れて、ブラシやハサミを使用してカットなどをすることができる。「美容師ゲーム」では、プレーヤーが音声によって道具を選択するだけでなく、お客さんを喜ばせる会話ができているかを音声認識処理によって判別して得点を計算することもできる。「対戦麻雀ゲーム」では、対戦相手を含めた画像をディスプレイユニット１１において表示し、自分の牌を手画像によってつまむ操作をできるようにすることで、臨場感のあるゲームを提供することができる。
【００５９】
また、前述したゲーム装置の構成では、手挿入口１２から挿入された手については３次元測定カメラ２２により測定し、プレーヤーの目については目位置検出用カメラ１６によって撮影しているが、他の構成も実現可能である。
【００６０】
例えば、図１０（ａ）に示すように、筐体の背面側にミラー４０を設置して、３次元測定カメラ２２によって手だけでなく、ミラー４０に映ったプレーヤーの顔（目）も同時に測定できるようにすることができる。また、図１０（ｂ）に示すように、ディスプレイユニット１１を透過可能なスクリーンにして、赤外線カメラ４１によってプレーヤーの手と顔（目）を認識し、ディスプレイユニット１１の上部に設置されたプロジェクタ４２からディスプレイユニット１１に対して映像を投影する構成とすることも可能である。
【００６１】
また、前述した構成においては、各処理をＣＰＵ３０により実行するものとしているが、画像処理については表示制御部３３（ＧＰＵ（Graphic Processing Unit））において実行させるようにしても良い。例えば、手形状検出処理や手画像生成処理、ゲーム画像表示処理については、ＣＰＵ（ゲーム制御部）からの制御のもとで、画像処理を高速に実行可能なＧＰＵに負担させることで、ゲーム処理全体を効率的に実行可能となる。
【００６２】
このようにして、本実施形態におけるゲーム装置では、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得るゲーム装置を実現することが可能となる。
【００６３】
また、センサグローブなどプレーヤーに装着させるものがないため、不特定多数がプレイすることを想定した場合の衛生面上の問題が大幅に減少する。さらに、センサグローブを使用した場合、ディスプレイ上に現れる手はグローブの大きさになってしまうが、３次元測定カメラ２２を使用して手の形状を測定するので、子供の手であれば実寸の子供の小さな手が、大人の手であれば実寸の大人の大きな手が生成されるので、実物に近い３Ｄモデルを作ることが可能となる。
【００６４】
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６５】
１０…下部筐体、１１…ディスプレイユニット、１２…手挿入口、１３…圧力パッド、１５…上部筐体、１６…目位置検出用カメラ、１７…スピーカ、１８…マイク、１９…パッド駆動ユニット、２０…制御ユニット、２２…３次元測定カメラ、３０…ＣＰＵ、３０ａ…手形状検出部、３０ｂ…手画像生成部、３０ｃ…ゲーム制御部、３０ｄ…ゲーム画像表示部、３０ｅ…画像判定部、３０ｆ…音声認識部、３１…メモリ、３１ａ…ゲームプログラム、３１ｂ…ゲーム画像データ、３１ｃ…手画像データ、３２…記録装置、３３…表示制御部、３４…入出力インタフェース。
【技術分野】
【０００１】
本発明は、プレーヤーの手の動きを画像化して表示するゲーム装置に関する。
【背景技術】
【０００２】
仮想現実的な身体感覚を出力することの可能な感覚呈示装置が従来技術として知られている（特許文献１参照）。特許文献１に記載された感覚呈示装置は、画像に呈示された身体の映像を自分の身体の一部と錯覚させる仮想現実感を付与することができるようにするもので、左手Ｌに触覚刺激を与えるデータグローブと、この左手Ｌに対応する映像と触角刺激を想起させる映像とからなる視覚刺激を呈示する液晶ディスプレイと、これらデータグローブ及び液晶ディスプレイを制御するコンピュータとを備えている。操作人は、立体視用の偏光メガネを装着して液晶ディスプレイに表示された画像を視認する。液晶ディスプレイにより呈示された虚像の左手に加えられる仮想触覚刺激と、実像である左手Ｌにデータグローブにより加えられる触覚刺激とを同期させることで、操作人は液晶ディスプレイにより呈示された虚像の左手が自分の実像の左手であると錯覚して仮想現実的に把握する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３３０５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術による感覚呈示装置では、利用者（操作人）は、データグローブ、偏光メガネを装着する必要があった。また、データグローブは、置かれる位置を予めコンピュータにインプットしておく必要がある。すなわち、データグローブを装着している手を自由に動かして位置を移動させることができなかった。
【０００５】
このため、従来技術による感覚呈示装置をゲーム装置として利用した場合、プレーヤーに対して、ゲームをするたびにデータグローブや偏光メガネを装着させなければならず面倒である。また、ゲーム中に手を自由に動かすことができないために、ゲーム内容に変化が乏しく、プレーヤーに興味を持たれるゲームとすることができない。
【０００６】
本発明は前述した事情に考慮してなされたもので、その目的は、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得ることが可能なゲーム装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明は、プレーヤーの手を挿入可能な挿入口が設けられた筐体と、前記筐体内に挿入された手を３次元測定する測定手段と、前記測定手段により測定された手をもとに、前記手を３次元により表現する手画像を生成する手画像生成手段と、ゲーム用のオブジェクトを含むゲーム画像と前記手画像生成手段により生成された手画像とを表示させるゲーム画像表示手段と、前記ゲーム画像表示手段により表示されるゲーム画像中のオブジェクトと前記手画像生成手段により生成される手画像とのゲーム空間における相対関係を判別する画像判定手段と、前記画像判定手段により判別された相対関係に応じて、ゲームを制御するゲーム制御手段とを具備したことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得るゲーム装置を実現することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態におけるゲーム装置の外観構成を示す図。
【図２】本実施形態におけるゲーム装置を「動物かわいがりゲーム」として動作させている時の状況を示す図。
【図３】ゲーム装置の筐体内の構造を示す側面断面図。
【図４】パララックスバリア方式を用いたディスプレイユニット１１の構成例を示す図。
【図５】レンティキュラ方式を用いたディスプレイユニット１１の構成例を示す図。
【図６】目位置検出用カメラ１６を用いたディスプレイユニット１１において表示される画像（ゲーム画像、手画像）の表示位置の補正を説明するための図。
【図７】本実施形態におけるゲーム装置の機能構成を示すブロック図。
【図８】ゲーム装置により実行されるゲーム処理を示すフローチャート。
【図９】手画像表示処理を示すフローチャート。
【図１０】ゲーム装置の他の構成例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態におけるゲーム装置の外観構成を示す図である。図１に示すゲーム装置は、下部筐体１０と上部筐体１５とから構成されている。下部筐体１０の上面部には、ディスプレイユニット１１が設けられている。ディスプレイユニット１１は、プレーヤーからの視線方向に対して、ほぼ正対するように傾斜をつけて、下部筐体１０に装着されている。下部筐体１０の下方部の前面には、手挿入口１２が設けられている。手挿入口１２からはプレーヤーの手及び腕を下部筐体１０の筐体内に挿入することができる。
【００１１】
本実施形態におけるゲーム装置では、手挿入口１２から挿入された手（腕）の形状や動きを測定し、この測定された手に相当する手画像をディスプレイユニット１１において表示させる。また、ディスプレイユニット１１には、手画像の他に、ゲーム内容に応じて予め用意されたゲーム画像、すなわちゲーム内容に応じて用意され各種のオブジェクトが表示される。プレーヤーは、ゲーム画像（オブジェクト）に触れるように手を動かすことで、手画像とゲーム画像との相対関係、すなわちゲーム空間内でオブジェクトに対してどのように触れているかによってゲーム画像が変化する。これにより、実際に手を動かすことによって、ゲーム空間内に存在しているオブジェクトをあたかも触れているような仮想現実的な感覚を得ることが可能となっている。
【００１２】
また、手挿入口１２の周囲（図１では上下）には、挿入されたプレーヤーの腕に圧接するように摺動可能に圧力パッド１３が装着されている。圧力パッド１３は、例えばスポンジ状の柔らかな部材により構成され、プレーヤーの腕に圧接させたとしても痛みを感じないように構成されている。図１に示すゲーム装置は、例えば「動物かわいがりゲーム」を実行するように構成されたもので、ゲーム空間内のライオンなどの動物への触れ方が正しくない場合などに、ライオンに噛まれたことを表すように圧力パッド１３を駆動して腕を挟むことができる。
【００１３】
一方、上部筐体１５の前面側（プレーヤーと相対する側）には、目位置検出用カメラ１６（１６ａ，１６ｂ）、スピーカ１７、及びマイク１８が設けられている。目位置検出用カメラ１６は、挿入口１２に手を挿入しているプレーヤーの目を含む画像を撮影するために用いられる。目位置検出用カメラ１６によって撮影された画像は、プレーヤーが頭（目）の位置を移動させるのに合わせて、ディスプレイユニット１１において表示される画像（ゲーム画像、手画像）の表示位置を補正するために利用される。スピーカ１７は、ゲームの実行中に効果音、ＢＧＭ（back ground music）、メッセージなどを出力する。マイク１８は、プレーヤーの声を入力するために用いられる。マイク１８から入力されたプレーヤーの音声は、音声認識処理されて、この音声認識の結果に応じたゲーム処理が実行される。例えば、ゲーム空間内で使用する道具、例えば「ブラシ」と発声することで、ゲーム画面中にブラシを表すオブジェクトが表示されて、プレーヤーによる手画像によって操作できるようになる。
【００１４】
図２は、本実施形態におけるゲーム装置を「動物かわいがりゲーム」として動作させている時の状況を示す図である。
図２に示すように、「動物かわいがりゲーム」では、例えばペットなどの動物だけでなく現実では直接触れることが困難なライオンなどの猛獣まで、あらゆる動物を撫でて仲良くなることを目的としたアクションゲームであり、ディスプレイユニット１１において表示される動物を、プレーヤーの手の動きに応じて表示される手画像により触れるように操作するものである。
【００１５】
プレーヤーにより手挿入口１２から手及び腕が挿入されると、下部筐体１０の筐体内で手及び腕の形状、動きを測定し、プレーヤーの手の動きに応じた手画像をディスプレイユニット１１において表示させる。これにより、プレーヤーは、動物が存在するゲーム空間内に手を挿入して、動物を触れているような視覚的な感覚が得られる。
【００１６】
なお、一般に、視覚の情報から錯覚により触覚を補う効果があることが知られている。例えば、事故などで片腕を失った人に対して、あるはずのない腕の痛みや感覚を取り除く治療法などで利用されている。具体的には、箱の中を鏡でしきりを作り、残っている手を鏡に映して見ながら両手で同じ運動をすると、まるでそこに失った手があって動いているように感じることで、腕の痛みや感覚を取り除くことができるものである。
【００１７】
本実施形態におけるゲーム装置においても、こうした視覚の錯覚を利用して、ディスプレイユニット１１において表示された手画像がまるで自分の手のようにプレーヤーに感じさせることができる。
【００１８】
目位置検出用カメラ１６ａ，１６ｂは、筐体上部のプレーヤーの顔位置と相対する高さで左右に配置されている。これにより、プレーヤーの目の位置と共に、２つの目位置検出用カメラ１６ａ，１６ｂにより撮影される画像の差分をもとにして、目位置検出用カメラ１６ａ，１６ｂとの距離（目の奥行き方向の位置）を検出することができる。
【００１９】
図３は、ゲーム装置の筐体内の構造を示す側面断面図である。
図３に示すように、圧力パッド１３を駆動するためのパッド駆動ユニット１９が、手挿入口１２の上下にそれぞれ設けられている。パッド駆動ユニット１９は、圧力パッド１３を上下方向に摺動させることで、手挿入口１２から挿入されたプレーヤーの腕に圧力パッド１３を圧接させる。下部筐体１０の内部は、プレーヤーが手を動かすことが可能な空間が設けられてあり、その空間の下方部に手及び腕を３次元測定することができる３次元測定カメラ２２が設けられている。また、筐体内部には、各部を制御するためのモジュールが搭載された制御ユニット２０が収納されている。
【００２０】
３次元測定カメラ２２は、例えば赤外線によって距離測定を行なうもので、対象物（手）の正面からの形状を把握すると共に、赤外線を照射して対象物からの反射をもとにして対象物への奥行きを検出することができる。３次元測定カメラ２２により撮影された画像をもとにして、画像処理によりプレーヤーの手の形状や動きが検出される。
【００２１】
なお、プレーヤーの手の３次元測定は、赤外線を利用した３次元測定カメラ２２を用いるだけでなく、例えば複数（例えば二つ）の通常の２次元の画像を撮影するカメラを使った測定方法を用いても良い。すなわち、下部筐体１０の内部に異なる方向からプレーヤーの手を撮影可能となるようにカメラを設置し、各カメラによって撮影された画像（映像）を画像処理することで３次元の手の形状や動きを測定することができる。
【００２２】
目位置検出用カメラ１６（１６ａ，１６ｂ）は、左右に離して配置されている。このため、目位置検出用カメラ１６により撮影された画像をもとにして、プレーヤーの目の位置Ｐ１が後方の位置Ｐ２あるいは前方の位置Ｐ３に変化したことを検出することができる。
【００２３】
なお、プレーヤーがゲームをする際に座るシートによって、プレーヤーの頭（目）の移動範囲を制限することで、目の位置の検出を容易にすることができる。また、シートの背もたれの部分にもカメラを設けて、このカメラによって撮影されたプレーヤーの後頭部の画像と合わせて、プレーヤーの頭（目）の位置を検出するようにしても良い。
【００２４】
図４及び図５は、本実施形態におけるゲーム装置のディスプレイユニット１１の構成を説明するための図である。本実施形態におけるゲーム装置は、プレーヤーに立体視用の偏光メガネなどを装着させることなく、図４または図５に示す構成とすることで、裸眼で立体映像を見ることができるようにしている。
【００２５】
図４は、パララックスバリア方式を用いたディスプレイユニット１１の構成例を示している。図４に示すディスプレイユニット１１では、ＬＣＤ（Liquid Crystal Display）等の平面状のディスプレイ１１ａにバリア部材１１ｂが設けられている。バリア部材１１ｂにはスリットが形成されており、このスリットを通過する視線角度が両眼で異なる、この視差による視線分離現象を利用して、プレーヤーの左眼により視認可能なディスプレイ１１ａの表示位置と、右眼により視認可能な表示位置とがずれるようにしている。制御ユニット２０（後述するゲーム画像表示部３０ｄ)は、ディスプレイユニット１１（バリア部材１１ｂ）の構成に応じて、ゲーム画像と手画像とを立体視させるためのパターン、すなわちプレーヤーの左眼と右眼のそれぞれに視認させる二枚の画像を縦に細長く切断して交互に並べた立体視用の映像をディスプレイ１１ａにより表示させる。
【００２６】
これにより、プレーヤーは、偏光メガネなどを装着することなく、裸眼により立体映像を見ることができる。
【００２７】
図５は、レンティキュラ方式を用いたディスプレイユニット１１の構成例を示している。図５に示すディスプレイユニット１１では、ディスプレイ１１ａにレンティキュラ１１ｃが設けられている。レンティキュラ１１ｃは、図５に示すように、右眼と左眼のそれぞれ視線の届く位置を変化させるプリズムとして動作すると共に、線幅を広げる凸レンズとして作用し、レンズ１本が１つの画素ラインとして見えるようにするものである。パララックスバリア方式と同様に、制御ユニット２０（ゲーム画像表示部３０ｄ）は、レンティキュラ１１ｃの構成に応じて、ゲーム画像と手画像とを立体視させるためのパターンを表示させる。
【００２８】
これにより、プレーヤーは、パララックスバリア方式と同様にして、偏光メガネなどを装着することなく、裸眼により立体映像を見ることができる。
【００２９】
なお、ディスプレイユニット１１において表示される映像を立体視させるための構成として、前述したパララックスバリア方式とレンティキュラ方式に限るものではなく、他の方式を用いることも可能である。
【００３０】
図６は、目位置検出用カメラ１６を用いたディスプレイユニット１１において表示される画像（ゲーム画像、手画像）の表示位置の補正を説明するための図である。
ディスプレイユニット１１には、下部筐体１０の内部に挿入された手を３次元測定することにより手画像が表示される。このため、手の位置を動かさずに、プレーヤーの頭（目）の位置だけを変動した場合に、視線方向が変化したにも関わらずディスプレイユニット１１に表示された手画像とゲーム画像（オブジェクト）の表示位置が変化せず違和感が生じてしまう。
【００３１】
本実施形態におけるゲーム装置では、通常、プレーヤーが位置している正面中央付近の画像を撮影できるように目位置検出用カメラ１６が設置されている。制御ユニット２０は、目位置検出用カメラ１６により撮影された画像をもとに、プレーヤーの頭（目）の位置の変化、すなわち視線方向の変化を検出して、この視線方向の変化に合わせてディスプレイユニット１１に表示させる画像の表示位置を補正する。これにより、プレーヤーに対して、ディスプレイユニット１１に表示された画像が実際に存在している手やオブジェクトであるように認識させることができる。
【００３２】
図７は、本実施形態におけるゲーム装置の機能構成を示すブロック図である。
図７に示すように、ゲーム装置は、制御ユニット２０にＣＰＵ３０、メモリ３１、記録装置３２、表示制御部３３、入出力インタフェース３４等のモジュールが搭載されている。
【００３３】
ＣＰＵ３０は、ゲーム装置全体の制御を司るもので、ゲームプログラム３１ａを実行することによって各種機能を実現する。ＣＰＵ３０により実現される機能には、手形状検出部３０ａ、手画像生成部３０ｂ、ゲーム制御部３０ｃ、ゲーム画像表示部３０ｄ、画像判定部３０ｅ、及び音声認識部３０ｆを含み、各機能部が協働してゲーム処理を実行する。
【００３４】
手形状検出部３０ａは、３次元測定カメラ２２によって撮影された画像をもとに、筐体内に挿入されたプレーヤーの手の形状、動きを検出する。
【００３５】
手画像生成部３０ｂは、手形状検出部３０ａにより測定された手の形状、動きをもとに、手を３次元により表現する手画像を例えばＣＧ（computer graphics）により生成する。
【００３６】
ゲーム制御部３０ｃは、画像判定部３０ｅにより判別されたゲーム画像（オブジェクト）と手画像とのゲーム空間内における相対関係に応じてゲームを制御する。本実施形態におけるゲーム装置において「動物かわいがりゲーム」を実行する場合には、動物の画像に対して手画像がどのように触れているかによって、正しく撫でているか、あるいは動物を不快にする撫で方をしているかを判定し、この結果に応じてゲームを進行させる。ゲーム制御部３０ｃは、ゲーム中のイベントとして、所定の状態となった場合に、入出力インタフェース３４を通じてパッド駆動ユニット１９を駆動して圧力パッド１３を摺動させる。また、ゲーム制御部３０ｃは、音声認識部３０ｆによってプレーヤーにより予め決められた発声がされたことが認識された場合に、ゲーム画像表示部３０ｄによって発声内容に応じたオブジェクトをゲーム画面中に表示させる。
【００３７】
ゲーム画像表示部３０ｄは、ゲーム制御部３０ｃにより制御されるゲーム内容に応じた画像を表示させるもので、ゲーム用のオブジェクトを含むゲーム画像と手画像生成部３０ｂにより生成された手画像とを、表示制御部３３を通じてディスプレイユニット１１において表示させる。ゲーム画像表示部３０ｄは、前述したように、プレーヤーが裸眼でゲーム画像と手画像とを立体視させるためのパターンをディスプレイユニット１１に表示させる。また、ゲーム画像表示部３０ｄは、目位置検出用カメラ１６によって撮影された画像をもとに検出されたプレーヤーの目の位置をもとに、ゲーム画像と手画像との表示位置を補正して表示させる表示位置補正機能を有している。
【００３８】
画像判定部３０ｅは、ゲーム画像表示部３０ｄにより表示されるゲーム画像中のオブジェクトと、手画像生成部３０ｂにより生成される手画像とのゲーム空間における相対関係を判別する。
【００３９】
音声認識部３０ｆは、マイク１８から入力されたプレーヤーの音声について音声認識を実行し、この認識された音が予め決められた発声音、例えば、ゲーム空間内で使用可能な道具の名称であるかを認識する。
【００４０】
メモリ３１は、ＣＰＵ３０により処理されるプログラムやデータ等が記憶される。メモリ３１に記憶されるプログラムには、基本プログラム（ＯＳ）の他に、ゲーム処理を実行するためのゲームプログラム３１ａが含まれている。また、ゲームプログラム３１ａの実行に伴って、ディスプレイユニット１１においてゲーム状況に応じた画像を表示するためのゲーム画像データ３１ｂ、手画像データ３１ｃが記憶される。
【００４１】
記録装置３２は、プログラムやデータが記録される。
【００４２】
表示制御部３３は、ＣＰＵ３０の制御のもとで、ディスプレイユニット１１における画像（映像）の表示を制御する。
【００４３】
入出力インタフェース３４は、外部モジュールとのインタフェースであり、目位置検出用カメラ１６、スピーカ１７、マイク１８、パッド駆動ユニット１９、３次元測定カメラ２２等が接続される。
【００４４】
なお、入出力インタフェース３４と目位置検出用カメラ１６との間に、目位置検出用カメラ１６によって撮影された画像をもとに、プレーヤーの目の位置を示す位置データを検出する位置検出ユニットを設けるようにしても良い。位置検出ユニットは、例えば目位置検出用カメラ１６の設置位置を基準としたｘｙｚ座標系における目の位置をｘｙｚデータとして検出して、入出力インタフェース部３４を介してＣＰＵ３０に出力する。ゲーム画像表示部３０ｄは、位置検出ユニットにより検出されたプレーヤーの目の位置（ｘｙｚデータ）をもとに、ゲーム画像と手画像との表示位置を補正して表示させる。
【００４５】
次に、本実施形態におけるゲーム装置の動作について、フローチャートを参照しながら説明する。
図８は、ゲーム装置により実行されるゲーム処理を示すフローチャートである。
【００４６】
ＣＰＵ３０は、ゲームが開始されると、３次元測定カメラ２２による画像の撮影を開始して、手挿入口１２からプレーヤーの手が挿入された場合に、プレーヤーの手に応じて手画像をディスプレイユニット１１に表示させるための手画像表示処理を開始する。また、ゲーム制御部３０ｃは、ゲーム内容に応じたゲーム画像を、ゲーム画像表示部３０ｄによって表示させる。例えば、「動物かわいがりゲーム」では、かわいがりの対象とする動物としてライオンの画像をディスプレイユニット１１において表示させる。
【００４７】
図９は、手画像表示処理を示すフローチャートである。
手形状検出部３０ａは、３次元測定カメラ２２によって撮影された画像をもとに手の形状や位置を検出する（ステップＢ１）。プレーヤーが手挿入口１２から手を挿入していた場合には、画像をもとにして手形状を検出することができる（ステップＢ２、Ｙｅｓ）。
【００４８】
手画像生成部３０ｂは、手形状検出部３０ａによって検出された手形状に応じた手のＣＧ（手画像）を作成する（ステップＢ３）。なお、ここで作成される手画像は、一般的な人間の手を表す画像に限るものではなく、動物やロボットの手など任意の形状とすることが可能である。どのような形状の手画像とするかは、予めプレーヤーが指定できるようにしても良いし、ゲーム内容に応じてゲームプログラム３１ａにおいて予め決められているようにしても良い。
【００４９】
ゲーム画像表示部３０ｄは、目位置検出用カメラ１６によって撮影された画像をもとにして、プレーヤーの現在の頭（目）の位置を判別し（ステップＢ４）、頭（目）の位置に応じて手画像を表示する位置を補正する（ステップＢ５）。例えば、頭（目）が中央から左側に移動している場合には、プレーヤーからの視線方向が左側に移動することになるので、プレーヤーの視点位置と、実際の手の位置との相対的な位置関係をもとに、ディスプレイユニット１１に表示すべき手画像の位置と角度を算出して表示位置を変更する。
【００５０】
一方、画像判定部３０ｅは、手画像表示処理によって表示される手画像とゲーム画像（ゲーム空間中のライオン）との相対関係を判別する（ステップＡ２）。すなわち、ゲーム空間中の手がどのようにしてライオンに触れているかを判別する。
【００５１】
ゲーム制御部３０ｃは、画像判定部３０ｅによる判別結果に応じて、ゲーム画像をゲーム画像表示部３０ｄにより表示させる（ステップＡ５）。例えば、上手にライオンを撫でていると判別された場合には、ライオンが気持ち良さそうに反応している画像などを表示させる。
【００５２】
また、手画像とゲーム画像（ゲーム空間中のライオン）との相対関係についての判別結果からイベント発生と判別された場合（ステップＡ３、Ｙｅｓ）、ゲーム制御部３０ｃは、ゲーム状況に応じたイベント動作を実行させる（ステップＡ４）。例えば、下手にライオンを撫でていると判別された場合には、ライオンが怒っていることを表すように、パッド駆動ユニット１９を駆動させて圧力パッド１３を動かし、プレーヤーの腕に上下から圧接させる。つまり、ライオンに噛みつかれたことを表現するイベントを実行させる。
【００５３】
なお、ゲームの実行中にプレーヤーによって所定の発声がされた場合、音声認識部３０ｆは、マイク１８から入力されたプレーヤーの音声について認識処理を実行する（ステップＡ６，Ａ７）。ここで、予め決められた発声がされたことが認識された場合、ゲーム制御部３０ｃは、ゲーム画像表示部３０ｄによって発声内容に応じたオブジェクトをゲーム画面中に表示させる（ステップＡ８）。例えば、「ブラシ」と発声された場合には、ゲーム画面中にブラシを表すオブジェクトを表示させて、プレーヤーによる手画像によって操作できるようにする。
以上のような処理をゲーム終了まで実行する（ステップＡ９）。
【００５４】
こうして、プレーヤーは、手挿入口１２から挿入した手を自由に動かすことで、ゲーム空間内の動物に触れている感覚を得ることができる。ディスプレイユニット１１において表示される画像は、図４及び図５において説明したように、偏光メガネ等を装着することなく立体視できるように構成されているため、より現実のような感覚が得られる。また、プレーヤーがゲーム中に頭（目）の位置を移動させたとしても、その変化に合わせてディスプレイユニット１１に表示される動物の画像や手画像の表示位置が補正されるため、ディスプレイユニット１１に表示される画像に違和感を生じさせない。
【００５５】
本実施形態におけるゲーム装置では、手挿入口１２から挿入した手の画像を３次元測定カメラ２２により測定し、実際の手の形状や動きに合わせた手画像をディスプレイユニット１１に応じて表示させ、ゲーム空間中の動物などのオブジェクトと触れさせることができる。すなわち、プレーヤーは何の制約も受けずに手を動かしてゲームを実施することができるので、自由度の高いゲームとすることができる。また、自由に手を動かすことができるため、ゲーム内容にバリエーションを持たせることができ、プレーヤーに興味を持たれるゲームを提供することができる。
【００５６】
なお、前述した説明では、「動物かわいがりゲーム」を例にして説明しているが、任意のゲーム内容とすることができる。例えば、「手術ゲーム」「すし職人ゲーム」「美容師ゲーム」「対戦麻雀ゲーム」などを実現可能である。
【００５７】
「手術ゲーム」は、プレーヤーが外科手術の執刀医となり、重症患者の手術を時間内に行なうゲームである。ディスプレイユニット１１においては、擬似的な手術台が表示されて、筐体内に挿入した手を動かすことで手術台の患者に対して外科的処置を施すことができる。また、メス、鉗子、注射、ドレーンなどの手術道具は、プレーヤーが音声入力することで、手画像に道具を持たせて任意にゲーム空間内で使用できるようにする。「手術ゲーム」では、メインで操作するプレーヤーの他、助手となる別のプレーヤーも同時にゲームに参加できるようにする。この場合、制御ユニット２０では、それぞれのプレーヤーの手を３次元測定により検出し、個別に前述と同様に手画像を表示して制御する。
【００５８】
「すし職人ゲーム」では、プレーヤーは寿司屋の職人になり、客からの注文通りの寿司を時間内に握るゲームである。プレーヤーは、ゲーム空間内で、シャリを握る、ネタを乗せる動作をする。「美容師ゲーム」では、プレーヤーは美容師になり、お客さんのオーダーに答えてトリミングを行なう。ディスプレイユニット１１では、お客さんの頭部が表示され、手画像によって髪に触れて、ブラシやハサミを使用してカットなどをすることができる。「美容師ゲーム」では、プレーヤーが音声によって道具を選択するだけでなく、お客さんを喜ばせる会話ができているかを音声認識処理によって判別して得点を計算することもできる。「対戦麻雀ゲーム」では、対戦相手を含めた画像をディスプレイユニット１１において表示し、自分の牌を手画像によってつまむ操作をできるようにすることで、臨場感のあるゲームを提供することができる。
【００５９】
また、前述したゲーム装置の構成では、手挿入口１２から挿入された手については３次元測定カメラ２２により測定し、プレーヤーの目については目位置検出用カメラ１６によって撮影しているが、他の構成も実現可能である。
【００６０】
例えば、図１０（ａ）に示すように、筐体の背面側にミラー４０を設置して、３次元測定カメラ２２によって手だけでなく、ミラー４０に映ったプレーヤーの顔（目）も同時に測定できるようにすることができる。また、図１０（ｂ）に示すように、ディスプレイユニット１１を透過可能なスクリーンにして、赤外線カメラ４１によってプレーヤーの手と顔（目）を認識し、ディスプレイユニット１１の上部に設置されたプロジェクタ４２からディスプレイユニット１１に対して映像を投影する構成とすることも可能である。
【００６１】
また、前述した構成においては、各処理をＣＰＵ３０により実行するものとしているが、画像処理については表示制御部３３（ＧＰＵ（Graphic Processing Unit））において実行させるようにしても良い。例えば、手形状検出処理や手画像生成処理、ゲーム画像表示処理については、ＣＰＵ（ゲーム制御部）からの制御のもとで、画像処理を高速に実行可能なＧＰＵに負担させることで、ゲーム処理全体を効率的に実行可能となる。
【００６２】
このようにして、本実施形態におけるゲーム装置では、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得るゲーム装置を実現することが可能となる。
【００６３】
また、センサグローブなどプレーヤーに装着させるものがないため、不特定多数がプレイすることを想定した場合の衛生面上の問題が大幅に減少する。さらに、センサグローブを使用した場合、ディスプレイ上に現れる手はグローブの大きさになってしまうが、３次元測定カメラ２２を使用して手の形状を測定するので、子供の手であれば実寸の子供の小さな手が、大人の手であれば実寸の大人の大きな手が生成されるので、実物に近い３Ｄモデルを作ることが可能となる。
【００６４】
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６５】
１０…下部筐体、１１…ディスプレイユニット、１２…手挿入口、１３…圧力パッド、１５…上部筐体、１６…目位置検出用カメラ、１７…スピーカ、１８…マイク、１９…パッド駆動ユニット、２０…制御ユニット、２２…３次元測定カメラ、３０…ＣＰＵ、３０ａ…手形状検出部、３０ｂ…手画像生成部、３０ｃ…ゲーム制御部、３０ｄ…ゲーム画像表示部、３０ｅ…画像判定部、３０ｆ…音声認識部、３１…メモリ、３１ａ…ゲームプログラム、３１ｂ…ゲーム画像データ、３１ｃ…手画像データ、３２…記録装置、３３…表示制御部、３４…入出力インタフェース。
【特許請求の範囲】
【請求項１】
プレーヤーの手を挿入可能な挿入口が設けられた筐体と、
前記筐体内に挿入された手を３次元測定する測定手段と、
前記測定手段により測定された手をもとに、前記手を３次元により表現する手画像を生成する手画像生成手段と、
ゲーム用のオブジェクトを含むゲーム画像と前記手画像生成手段により生成された手画像とを表示させるゲーム画像表示手段と、
前記ゲーム画像表示手段により表示されるゲーム画像中のオブジェクトと前記手画像生成手段により生成される手画像とのゲーム空間における相対関係を判別する画像判定手段と、
前記画像判定手段により判別された相対関係に応じて、ゲームを制御するゲーム制御手段とを具備したことを特徴とするゲーム装置。
【請求項２】
前記ゲーム画像と前記手画像とを表示するためのディスプレイユニットをさらに具備し、
前記ゲーム画像表示手段は、前記ゲーム画像と前記手画像とを、立体視させるためのパターンによって前記ディスプレイユニットにおいて表示させ、
前記ディスプレイユニットには、前ゲーム画像表示手段によって表示されるパターンに応じた形状が設けられた、前記ゲーム画像と前記手画像とを立体視させるための部材がディスプレイ面に装着されて構成されていることを特徴とする請求項１記載のゲーム装置。
【請求項３】
前記挿入口に手を挿入しているプレーヤーの顔を含む画像を撮影するための目位置検出用カメラと、
前記目位置検出用カメラによって撮影された画像をもとにプレーヤーの目の位置を検出する顔位置検出手段と、
前記ゲーム画像表示手段によって表示される前記ゲーム画像と前記手画像との表示位置を補正する表示位置補正手段と
をさらに具備したことを特徴とする請求項１記載のゲーム装置。
【請求項４】
プレーヤーの音声を入力する音声入力手段と、
前記音声入力手段により入力された音声を認識する音声認識手段とをさらに具備し、
前記ゲーム画像表示手段は、前記音声認識手段によって認識された音声に応じたオブジェクトを表示させることを特徴とする請求項１記載のゲーム装置。
【請求項５】
前記挿入口に挿入されたプレーヤーの腕に圧接するように摺動可能に前記筐体の挿入口の周囲に設けられた部材と、
前記部材を摺動させる駆動手段とをさらに具備し、
前記駆動手段は、前記ゲーム制御手段によるゲームの制御と関連させて前記部材を摺動させることを特徴とする請求項１記載のゲーム装置。
【請求項１】
プレーヤーの手を挿入可能な挿入口が設けられた筐体と、
前記筐体内に挿入された手を３次元測定する測定手段と、
前記測定手段により測定された手をもとに、前記手を３次元により表現する手画像を生成する手画像生成手段と、
ゲーム用のオブジェクトを含むゲーム画像と前記手画像生成手段により生成された手画像とを表示させるゲーム画像表示手段と、
前記ゲーム画像表示手段により表示されるゲーム画像中のオブジェクトと前記手画像生成手段により生成される手画像とのゲーム空間における相対関係を判別する画像判定手段と、
前記画像判定手段により判別された相対関係に応じて、ゲームを制御するゲーム制御手段とを具備したことを特徴とするゲーム装置。
【請求項２】
前記ゲーム画像と前記手画像とを表示するためのディスプレイユニットをさらに具備し、
前記ゲーム画像表示手段は、前記ゲーム画像と前記手画像とを、立体視させるためのパターンによって前記ディスプレイユニットにおいて表示させ、
前記ディスプレイユニットには、前ゲーム画像表示手段によって表示されるパターンに応じた形状が設けられた、前記ゲーム画像と前記手画像とを立体視させるための部材がディスプレイ面に装着されて構成されていることを特徴とする請求項１記載のゲーム装置。
【請求項３】
前記挿入口に手を挿入しているプレーヤーの顔を含む画像を撮影するための目位置検出用カメラと、
前記目位置検出用カメラによって撮影された画像をもとにプレーヤーの目の位置を検出する顔位置検出手段と、
前記ゲーム画像表示手段によって表示される前記ゲーム画像と前記手画像との表示位置を補正する表示位置補正手段と
をさらに具備したことを特徴とする請求項１記載のゲーム装置。
【請求項４】
プレーヤーの音声を入力する音声入力手段と、
前記音声入力手段により入力された音声を認識する音声認識手段とをさらに具備し、
前記ゲーム画像表示手段は、前記音声認識手段によって認識された音声に応じたオブジェクトを表示させることを特徴とする請求項１記載のゲーム装置。
【請求項５】
前記挿入口に挿入されたプレーヤーの腕に圧接するように摺動可能に前記筐体の挿入口の周囲に設けられた部材と、
前記部材を摺動させる駆動手段とをさらに具備し、
前記駆動手段は、前記ゲーム制御手段によるゲームの制御と関連させて前記部材を摺動させることを特徴とする請求項１記載のゲーム装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−５７７３（Ｐ２０１２−５７７３Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４６６８３（Ｐ２０１０−１４６６８３）
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（３１０００９９９３）株式会社タイトー (207)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（３１０００９９９３）株式会社タイトー (207)
【Ｆターム（参考）】
[ Back to top ]