ゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、プログラム
【課題】プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、注目位置を取得できるようにするのに好適なゲーム装置等を提供する。
【解決手段】ゲーム装置３０１において、表示部３０２は、プレイヤーに提示すべき情報を画面に表示し、撮影部３０３は、プレイヤーの顔を撮影して、その顔を含む画像を取得し、推定部３０４は、取得された画像においてプレイヤーの顔が含まれる位置を推定し、変換部３０５は、推定された位置を、画面内の位置に変換し、表示部３０２は、画面内の変換された位置に、プレイヤーの注目位置を表す画像を表示する。
【解決手段】ゲーム装置３０１において、表示部３０２は、プレイヤーに提示すべき情報を画面に表示し、撮影部３０３は、プレイヤーの顔を撮影して、その顔を含む画像を取得し、推定部３０４は、取得された画像においてプレイヤーの顔が含まれる位置を推定し、変換部３０５は、推定された位置を、画面内の位置に変換し、表示部３０２は、画面内の変換された位置に、プレイヤーの注目位置を表す画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、当該プレイヤーの注目位置や所望の項目を取得できるようにするのに好適なゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、これらをコンピュータにて実現するプログラムに関する。
【背景技術】
【０００２】
従来から、カメラを用いてプレイヤーの状態を取得し、その状態に基づいてゲームを進行させるゲームシステムが提案されている。
【０００３】
たとえば、以下に掲げる特許文献１においては、プレイヤーの画像を所定時間毎に撮影し、画像の差分に基づいてプレイヤーの動作量を算出して、ある時刻以降の動作量総量が閾値を超えるか否かに基づいて、ゲームの進行を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−８７７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、ゲームにおいては、画面に表示されている複数の項目からいずれかをプレイヤーに選択させる局面が多々ある。このような場合に、ボタンやスイッチ、レバーなどの操作をしなくとも、いずれの項目をプレイヤーが希望しているか、が、知得できれば、プレイヤーの入力負担が少なくてすみ、ゲームの進行もスムースとなる。
【０００６】
また、ゲーム内のキャラクターと対話したり、他のプレイヤーと対話して協力しながらゲームを進める場合には、プレイヤーの注目位置を推定することによって、プレイヤーとその対話相手とが、一体感を高められるような演出を行いたい、との要望も強い。
【０００７】
本発明は、上記のような課題を解決するもので、プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、当該プレイヤーの注目位置や所望の項目を取得できるようにするのに好適なゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、これらをコンピュータにて実現するプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。
【０００９】
本発明の第１の観点に係るゲーム装置は、表示部、撮影部、推定部、変換部を備え、以下のように構成する。
【００１０】
すなわち、表示部は、プレイヤーに提示すべき情報を画面に表示する。
【００１１】
携帯型ゲーム装置や携帯電話、各種のＰＤＡ（Personal Data Assistant）を本発明のゲーム装置とした場合には、表示部は、液晶ディスプレイやタッチスクリーンなどで構成され、家庭用据置型ゲーム装置を本発明のゲーム装置とした場合には、表示部は、テレビジョン装置などで構成されるのが典型的である。
【００１２】
一方、撮影部は、プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する。
【００１３】
撮影部は、たとえばＣＣＤ（Charge Coupled Device）カメラを利用して構成され、プレイヤーの様子を撮影する。撮影する時間間隔は、動画を撮影する場合と同様に、毎秒１５フレームから６０フレーム程度とするのが典型的であるが、適宜間引きすることとしても良い。
【００１４】
さらに、推定部は、取得された画像においてプレイヤーの顔が含まれる位置を推定する。
【００１５】
人間の顔は、略楕円形で肌色であり、目や口といった部分を有するという特徴があるため、画像認識の技術を利用することによって、撮影された画像内において人間の顔が撮影されている位置を求めれば、プレイヤーの顔が含まれる位置が得られる。なお、複数人の顔が撮影されている場合には、最も大きい領域を占めるものを、プレイヤーの顔である、と推定すれば良い。
【００１６】
さらに、変換部は、推定された位置を、画面内の位置に変換する。
【００１７】
変換の際には、カメラで撮影された画像と、画面に表示される映像と、の対応関係を定めることとなるが、これは、カメラの撮影の向き（レンズの中心軸方向）と、画面の表示の向き（外向き法線方向）と、に依存する。
【００１８】
たとえば、プレイヤーの顔を正面からカメラで撮影する場合には、画面の表示の向きが逆向きとなるので、左右を反転させて変換することとなるし、プレイヤーを背面から撮影する場合には、左右の反転は不要である。なお、位置を変換するにあたっては、後述するように平均化処理を行って、細かい変動は除去するのが典型的である。
【００１９】
そして、表示部は、画面内の変換された位置に、プレイヤーの注目位置を表す画像を表示する。
【００２０】
ここで、プレイヤーがカメラに対する姿勢を変化させれば、それに連動して、注目位置を表す画像も移動することになる。したがって、この画像は、プレイヤーの意思に基づいて動くカーソル画像に相当するものとなる。
【００２１】
本発明によれば、プレイヤーは、自らの姿勢や位置を変化させるだけで、画面内に表示されるカーソルなどの注目画像を、自らの意思に基づいて移動させることができるようになる。
【００２２】
また、本発明のゲーム装置において、画面は、ゲーム装置に固定され、撮影部は、ゲーム装置に固定されるカメラによりプレイヤーの顔を撮影し、ゲーム装置はプレイヤーに把持されるように構成することができる。
【００２３】
本発明は上記発明の好適実施形態に係るもので、カメラを備える携帯型ゲーム装置や携帯電話、ＰＤＡなどを、本発明のゲーム装置として採用するものである。
【００２４】
本発明によれば、プレイヤーは、顔の位置をずらすことのみならず、ゲーム装置を把持する手の位置を変化させることによっても、画面に表示される注目画像の位置を、自らの意思に基づいて移動させることができるようになる。
【００２５】
また、本発明のゲーム装置において、推定部は、取得された画像においてプレイヤーの顔が含まれる位置と、当該プレイヤーの顔における当該プレイヤーの目の位置および瞳の位置と、を推定し、変換部は、推定されたプレイヤーの顔、目ならびに瞳の位置を、画面内において注目位置を表す画像が表示される位置に変換するように構成することができる。
【００２６】
上記実施形態では、顔の位置のみを利用して注目画像の表示位置を決めていたが、本発明では、人間の顔の詳細な形状認識、表情認識、視線追跡などの技術を利用して、より一層詳細に、プレイヤーが画面内のどの位置を注目しているか、を推定するものである。
【００２７】
本発明によれば、プレイヤーが画面のどこに注目しているかをより一層正確に推定して、プレイヤーが視線を移動させるだけで、プレイヤーの注目する場所に注目画像を表示することができるようになる。
【００２８】
また、本発明のゲーム装置において、変換部は、推定された位置の履歴の第１の減衰平均を求め、当該第１の減衰平均に、撮影された画像の左右を反転する座標変換を適用することにより、第１の適用済位置を得て、当該第１の適用済位置を変換された位置とするように構成することができる。
【００２９】
ここで、減衰平均とは、最新の測定値xと、直前の減衰平均値eと、を、重み付け平均した平均値yを得て、これを最新の減衰平均値とするものであり、0<p<1なる係数pを用いて、
y = p x + (1-p) e
のように計算することができる。この係数pは、減衰の度合を示す減衰度である。
【００３０】
減衰度が大きければ大きいほど（１に近ければ近いほど）、過去の履歴が速やかに減衰して最新の値に高速に収束しようとする。小さければ小さいほど（０に近ければ近いほど）、過去の履歴の影響が長い間残ることになる。
【００３１】
本発明によれば、プレイヤーの手の震えなどの影響を除去して、注目画像の移動を滑らか、緩やかにすることによって、プレイヤーは、自らの意思に基づいて、より一層注目画像を移動させやすくなる。
【００３２】
また、本発明のゲーム装置において、推定部は、取得された画像においてプレイヤーの顔が含まれる領域の大きさを推定し、変換部は、座標変換の拡大率を、推定された領域の大きさに基づいて変化させるように構成することができる。
【００３３】
プレイヤーの顔が大きく撮影されている場合には、プレイヤーと画面との距離は近いと考えられ、プレイヤーの顔が小さく撮影されている場合には、プレイヤーと画面との距離は遠いと考えられる。そこで、プレイヤーと画面との距離を考慮して座標変換を行うのである。
【００３４】
たとえば、プレイヤーの顔の大きさが所定の大きさとなるように、撮影された画像を拡縮した後、全体が所定のサイズになるように、トリミングしたり撮影された画像の周囲に余白を付加する。そして、これらの処理が済んだ後の画像の四隅が、画面の四隅に重なるように座標変換をする。
【００３５】
本発明によれば、プレイヤーの顔とゲーム装置との距離を考慮して座標変換を行うことにより、プレイヤーは、自らの意思に基づいて、より一層注目画像を移動させやすくなる。
【００３６】
また、本発明のゲーム装置において、変換部は、推定された位置の履歴の第２の減衰平均を、第１の減衰平均とは異なる減衰度で求め、当該第２の減衰平均に座標変換を適用することにより、第２の適用済位置を得て、表示部は、画面内の第２の適用済位置を注視するキャラクターの顔の画像を表示するように構成することができる。
【００３７】
上記のように、第１の減衰平均は減衰度pを用いており、第２の減衰平均は減衰度q (q≠p)を用いているので、注目画像が表示される位置（第１の適用済位置）と、キャラクターが注視する位置（第２の適用済位置）と、は、概ね同じように変化するものの、その移動に時間的なずれが生じる。一方で、プレイヤーがある一点を注目し続けると、時間の経過とともに、キャラクターが注視する位置も、その一点に収束することとなる。
【００３８】
本発明によれば、プレイヤーが注目する場所と、キャラクターが注目する場所と、を一致させることで、キャラクターに対するプレイヤーの共感を喚起することができる一方で、両者の注目点の移動にずれを持たせることで、キャラクターの視線の移動をより一層リアルにプレイヤーに提示することができるようになる。
【００３９】
また、本発明のゲーム装置は、選択部をさらに備え、表示部は、プレイヤーがいずれかを選択すべき当該複数の項目を、画面内に表示し、選択部は、複数の項目のそれぞれについて、当該項目が画面内に表示される領域に、変換された位置が、当該項目に対応付けられる閾時間だけ連続して含まれたことが検知されると、当該項目をプレイヤーが選択した項目として出力するように構成することができる。
【００４０】
すなわち、各項目に対応付けられる閾時間は、当該項目を選択するためにプレイヤーが注視すべき時間に相当するものであり、プレイヤーが姿勢や顔の位置などを変化させて所望の項目に注目画像を移動させ、その後にその姿勢や位置を当該項目の閾時間維持するだけで、当該項目が選択されるのである。なお、閾時間は、各項目で共通の値としても良いし、項目ごとに長短が異なるものとしても良い。
【００４１】
本発明によれば、プレイヤーは、ボタンやスイッチ、レバーなどを操作しなくとも、自分の顔の位置や姿勢、ゲーム装置を把持する手の位置などを変化させたり一定に保ったりするだけで、複数の項目からいずれかを選択することができるようになる。
【００４２】
また、本発明のゲーム装置は、決定部をさらに備え、決定部は、複数の項目からいずれかを、プレイヤーに対する推奨項目として決定し、推奨項目以外の項目に対応付けられる閾時間は、互いに等しく、推奨項目に対応付けられる閾時間と、推奨項目以外の項目に対応付けられる閾時間と、は、異なるように構成することができる。
【００４３】
ここで、推奨項目の決定手法としては、当該プレイヤーによる過去の項目選択の履歴から定めることとしても良いし、画面に表示されているキャラクターと同じ行動をとるか否かによって、当該キャラクターの好感度パラメータを変化させる場合等、ゲームの進行上必要とされる展開に応じて定めることとしても良い。
【００４４】
本発明によれば、推奨項目に他の項目に比べて短い閾時間を割り当てると、プレイヤーは、推奨項目を選択する場合には、他の項目に比べて、位置や姿勢を一定に保つ時間が短くてすむため、推奨項目を容易に選択することができるようになり、推奨項目に他の項目に比べて長い閾時間を割り当てると、他の項目に比べて、位置や姿勢を一定に保つ時間が長くなるため、推奨項目を選択するのに重要な判断を行う必要がある場合に、十分な確認をすることができるようになる。
【００４５】
また、本発明のゲーム装置において、表示部は、推奨項目を注視するキャラクターの顔の画像を表示するように構成することができる。
【００４６】
本発明は上記発明の好適実施形態に係るものである。推奨項目であることをプレイヤーに知らせるために、当該項目の表示色や背景色、文字フォントの大きさや太さなどの形状、項目の背景の画像などを変化させて強調表示する手法をとることも可能であるが、本発明においては、これらの手法にかえて、もしくは、これらの手法に加えて、キャラクターが推奨項目を注視するように演出する。
【００４７】
本発明によれば、キャラクターの視線が推奨項目を注視して、当該推奨項目を推奨するため、プレイヤーは、キャラクターとの共感をより一層高めることができるようになる。
【００４８】
本発明のその他の観点に係るゲームシステムは、通信可能に接続された２つのゲーム装置からなり、当該２つのゲーム装置は、上記ゲーム装置であり、２つのゲーム装置のそれぞれにおいて、決定部は、当該ゲーム装置の通信相手のゲーム装置において変換された位置に表示される項目を、当該ゲーム装置のプレイヤーに対する推奨項目とするように構成する。
【００４９】
たとえば、プレイヤーＡがゲーム装置Ｘを使用し、プレイヤーＢがゲーム装置Ｙを使用している場合を考える。ゲーム装置Ｘでは、プレイヤーＡの注目位置に注目画像が表示され、プレイヤーＢの注目位置に表示される項目が推奨項目となる。一方、ゲーム装置Ｙでは、プレイヤーＢの注目位置に注目画像が表示され、プレイヤーＡの注目位置に表示される項目が推奨項目となる。
【００５０】
したがって、プレイヤーＡとプレイヤーＢは、相手がどの項目を選ぼうとしているのか、を知ることができるとともに、推奨項目の閾時間を短く設定している場合に二人が同じ項目を選択しようとすると、異なる項目を選択しようとする場合に比べて、短い時間で選択が可能となる。
【００５１】
本発明によれば、二人のプレイヤーが同じ項目を容易に選択することができるようになり、プレイヤー同士の交流をより一層深めることができるようになる。
【００５２】
本発明のその他の観点に係るゲーム制御方法は、表示部、撮影部、推定部、変換部を備えるゲーム装置が実行し、表示工程、撮影工程、推定工程、変換工程を備え、以下のように構成する。
【００５３】
すなわち、表示工程では、表示部が、プレイヤーに提示すべき情報を画面に表示する。
【００５４】
一方、撮影工程では、撮影部が、プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する。
【００５５】
さらに、推定工程では、推定部が、取得された画像においてプレイヤーの顔が含まれる位置を推定する。
【００５６】
そして、変換工程では、変換部が、推定された位置を、画面内の位置に変換する。
【００５７】
ここで、表示工程では、画面内の変換された位置に、プレイヤーの注目位置を表す画像を表示する。
【００５８】
本発明のその他の観点に係るプログラムは、コンピュータを上記のゲーム装置として機能させるように構成する。
【００５９】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。
【００６０】
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００６１】
本発明によれば、プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、当該プレイヤーの注目位置や所望の項目を取得できるようにするのに好適なゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明に係るゲーム装置が実現される典型的な情報処理装置の概要構成を示す説明図である。
【図２】情報処理装置の外観を示す説明図である。
【図３】本実施形態に係るゲーム装置の概要構成を示す模式図である。
【図４】ゲーム装置にて実行されるゲーム制御処理の制御の流れを示すフローチャートである。
【図５】液晶ディスプレイに表示される画像の表示例を示す説明図である。
【図６】カメラによって撮影されたプレイヤーを含む画像の様子を示す説明図である。
【図７】撮影された画像内におけるプレイヤーの位置を示す説明図である。
【図８】画像の領域を左右反転して画面に重ねることにより、プレイヤーの顔の位置を座標変換した様子を示す説明図である。
【図９】液晶ディスプレイに表示される画像の表示例を示す説明図である。
【発明を実施するための形態】
【００６３】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。
【００６４】
したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの種々の実施形態も本発明の範囲に含まれる。
【実施例１】
【００６５】
図１は、本発明に係るゲーム装置が実現される典型的な情報処理装置の概要構成を示す説明図である。以下、本図を参照して説明する。
【００６６】
情報処理装置１０１は、携帯可能なマルチメディア端末であり、ＣＰＵ（Central Processing Unit）１０２、ＲＡＭ（Random Access Memory）１０３、ＲＯＭ（Read Only Memory）１０４、入力装置１０５、画像処理部１０６、液晶ディスプレイ１０７、音声処理部１０８、ヘッドホン１０９、カセットリーダ１１０、ＲＯＭカセット１１１、外部メモリ１１２、ＲＴＣ（Real Time Clock）１１３、無線ＬＡＮ（Local Area Network）インターフェース１１４、カメラ１１５を備える。
【００６７】
ここで、ＣＰＵ １０２は、情報処理装置１０１の各部を制御するとともに、各種の演算処理や判断処理を行う。
【００６８】
情報処理装置１０１に電源が投入されると、ＣＰＵ １０２は、ＲＯＭ １０４に記録されたＩＰＬ（Initial Program Loader）を実行し、その処理の過程で、カセットリーダ１１０を介して接続されたＲＯＭカセット１１１に記録されたプログラムに処理を移行する。
【００６９】
情報処理装置１０１で実行されるゲームプログラムやマルチメディア情報再生プログラムは、ＲＯＭカセット１１１によって提供されるのが一般的であるが、ＲＯＭ １０４内にあらかじめ用意しておくことも可能である。
【００７０】
また、ＲＯＭ １０４内には、ＢＩＯＳ（Basic Input Output System）と呼ばれるプログラム群が用意されており、入力装置１０５や画像処理部１０６、音声処理部１０８の制御を行うことができる。
【００７１】
ＲＡＭ １０３は、一時的な情報を記憶するための領域であり、外部メモリ１１２は、不揮発な情報を記憶するための領域である。外部メモリ１１２としては、ハードディスクなど、主として情報処理装置１０１に内蔵されるもののほか、各種のメモリカードなど、情報処理装置１０１に抜挿されるものを利用しても良い。
【００７２】
入力装置１０５は、各種のボタンやキーボード、マウス、ジョイスティック等により実現されるのが一般的であるが、液晶ディスプレイ１０７と一体に形成されたタッチスクリーンを入力装置１０５として利用することも可能である。
【００７３】
画像処理部１０６は、ＣＰＵ １０２の制御の下、各種の文字情報や画像情報を液晶ディスプレイ１０７に表示させるものであり、一般には、垂直同期割込周期（典型的には、３０分の１秒や６０分の１秒程度である。）ごとに、ＲＡＭ １０３内に用意されたフレームバッファに記憶された画素情報を液晶ディスプレイ１０７の各画素に反映させる。
【００７４】
音声処理部１０８は、ＲＡＭ １０３やＲＯＭ １０４、ＲＯＭカセット１１１、外部メモリ１１２に用意された音声データをヘッドホン１０９に出力する。音声データとしては、音声の波形データをディジタル化したＰＣＭ（Pulse Code Modulation）データや、ＰＣＭデータを圧縮してサイズを小さくしたＭＰ３（MPeg audio layer-3）データ等を利用することが可能であるほか、ＭＩＤＩ（Music Instruction Data Interface）データのように、音高、音長、音量、音色の種類を定義するデータを用意し、これにしたがって、あらかじめ用意された音源波形データを適宜選択・変形して再生する手法を採用しても良い。
【００７５】
ＲＴＣ １１３は、現在の日時を計測するもので、情報処理装置１０１を初めて利用する際に時刻合わせを行うのが一般的であるが、無線ＬＡＮインターフェース１１４を介してＮＴＰ（Network Time Protocol）サーバに接続することで、自動的に時刻合わせを行うような態様を採用することも可能である。
【００７６】
また、アラーム割込を発生させる機能を持つＲＴＣ １１３もある。設定された時刻になるとアラーム割込が発生して、ＣＰＵ １０２は、現在実行中のプログラムを一時中断し、あらかじめ設定された割込ハンドラを実行してから、中断したプログラムを再開する。
【００７７】
無線ＬＡＮインターフェース１１４は、自宅や会社、街角に用意された無線ＬＡＮアクセスポイントを介してインターネットに接続したり、近傍に配置された他の情報処理装置１０１と、アドホックに通信路を確立し、１対１で通信を行うなどが可能である。
【００７８】
カメラ１１５は、情報処理装置１０１によってディジタルカメラの機能を実現するものであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子などの技術を適用することが可能である。撮影された画像は、一時的にＲＡＭ １０３に展開された後、外部メモリ１１２等に保存される。
【００７９】
このほか、ビジネス用コンピュータ、携帯電話、ＰＤＡ（Personal Data Assistant）、携帯ゲーム装置、多機能テレビジョン装置、ＤＶＤ（Digital Versatile Disc）プレイヤー、携帯音楽プレイヤーなどを、本発明のゲーム装置が実現される情報処理装置として採用することもできる。
【００８０】
なお、一般的な情報処理装置では、プレイヤーからの指示入力は、液晶ディスプレイ１０７に表示されたカーソルを入力装置１０５の移動ボタン操作により移動して、所望のメニュー項目にカーソルを合わせ、決定ボタン操作によって当該メニュー項目を選択するが、タッチスクリーンを利用する場合にはカーソルは不要である。また、入力装置１０５の各ボタンに割り当てられる機能があらかじめ決まっている場合には、液晶ディスプレイ１０７に対する表示は、必ずしも必要ない。
【００８１】
しかしながら、本発明においては、入力装置１０５を直接用いるのではなく、ＣＰＵ １０２の制御の下、画像処理部１０６、液晶ディスプレイ１０７ならびにカメラ１１５を協調動作させることによって、プレイヤーからの意思を知得することとする。
【００８２】
図２は、情報処理装置１０１の外観を示す説明図である。以下、本図を参照して説明する。
【００８３】
本実施形態に係る情報処理装置１０１は、上側筐体２０１ａと下側筐体２０１ｂの間に蝶番２０２が配置され、折り畳みが可能な形状となっている。
【００８４】
上側筐体２０１ａと下側筐体２０１ｂのそれぞれには、液晶ディスプレイ１０７ａ、１０７ｂが配置されている。蝶番２０２の中央には、カメラ１１５が配置されており、プレイヤーの姿などを撮影することができる。
【００８５】
下側筐体２０１ｂには、入力装置１０５として機能するボタン２０３が配置されているが、本実施形態においては、ボタン２０３の押圧操作をせずに、画面に表示されるカーソルを移動したり、項目を選択したりすることができる。
【００８６】
図３は、本実施形態に係るゲーム装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００８７】
本実施形態に係るゲーム装置３０１は、情報処理装置１０１が、ＲＯＭカセット１１１に記録されたプログラムをカセットリーダ１１０を介して読み出して実行することにより実現され、表示部３０２、撮影部３０３、推定部３０４、変換部３０５を備える。さらに、本図に示すように、選択部３０６や決定部３０７を備えることとしても良い。
【００８８】
ここで、表示部３０２は、プレイヤーに提示すべき情報を画面に表示するもので、本実施形態では、ＣＰＵ １０２の制御の下、画像処理部１０６や液晶ディスプレイ１０７が協調動作することによって実現される。
【００８９】
一方、撮影部３０３は、プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得するもので、本実施形態では、ＣＰＵ １０２の制御の下、カメラ１１５が動作することによって実現される。
【００９０】
さらに、推定部３０４は、撮影部３０３により取得された画像においてプレイヤーの顔が含まれる位置を推定するもので、本実施形態では、ＣＰＵ １０２により実現される。
【００９１】
そして、変換部３０５は、推定された位置を、画面内の位置に変換するもので、本実施形態では、ＣＰＵ １０２により実現される。
【００９２】
ここでの推定および変換は、典型的には、細かい震えなどを除去する手ぶれ防止処理などを適用してから、画像におけるプレイヤーの顔の位置を推定し、撮影された画像を左右反転して画面に重ねる座標変換を施すものが典型的であるが、適宜拡大縮小を行うこととしても良い。また、顔だけでなく、目や瞳の位置も推定して、視線追跡の技術を適用することによって、撮影画像における目や瞳を含む顔の位置を、画面内の位置へ、変換することとしても良い。
【００９３】
ここで、表示部３０２は、画面内の変換された位置に、プレイヤーの注目位置を表す画像を表示する。注目位置を表す画像とは、典型的にはカーソルの画像であり、プレイヤーの顔の情報処理装置１０１に対する相対的な位置が変化すると、これに呼応して、画面内でカーソルが移動することになる。
【００９４】
したがって、本実施形態によれば、方向キーやボタン、レバーなどの操作を行わなくとも、プレイヤーは、自分の意思に基づいて、画面内でカーソルを移動させることができることになる。
【００９５】
さらに、表示部３０２が、プレイヤーがいずれかを選択すべき当該複数の項目を、画面内に表示する態様では、選択部３０６は、複数の項目のそれぞれについて、当該項目が画面内に表示される領域に、変換された位置が、当該項目に対応付けられる閾時間だけ連続して含まれたことが検知されると、当該項目をプレイヤーが選択した項目として出力する。この態様では、ＣＰＵ １０２が選択部３０６として機能する。
【００９６】
本態様では、決定部３０７が、複数の項目からいずれかを、プレイヤーに対する推奨項目として決定するように構成することができる。この場合に、推奨項目以外の項目に対応付けられる閾時間は、互いに等しく、推奨項目に対応付けられる閾時間と、推奨項目以外の項目に対応付けられる閾時間と、は、異なることが望ましい。ゲーム装置３０１が単体で動作している場合には、ＣＰＵ １０２が決定部３０７として機能する。
【００９７】
なお、表示部３０２は、推奨項目を注視するキャラクターの画像を画面に表示することとしても良い。このキャラクターには、プレイヤーと対話する役割が与えられている。本態様では、対話相手と同じものを見つめることによって、そのものが選択されることとなるから、キャラクターとの共感をプレイヤーに引き起こすことが可能となる。
【００９８】
なお、コンピュータ通信網を介して接続された他のゲーム装置３０１と協調動作をしている場合には、ＣＰＵ １０２の制御の下、無線ＬＡＮインターフェース１１４を介して接続された他のゲーム装置３０１を、決定部３０７として機能させることも可能である。当該態様については、後述する。
【００９９】
図４は、ゲーム装置３０１にて実行されるゲーム制御処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
【０１００】
本処理が開始されると、ＣＰＵ １０２は、ＲＯＭカセット１１１に記録された以下のような情報をＲＡＭ １０３に読み出す（ステップＳ４０１）。
（ａ）プレイヤーに提示する項目の情報。各項目に割り当てられる文字列やその項目を表示する画面内の位置、領域などの情報のほか、当該項目に割り当てられる閾時間の基本値の情報が含まれる。以下では、「りんご」「みかん」「バナナ」「いちご」の４種類が項目としてあげられる場合を例として説明する。
（ｂ）プレイヤーの意思に基づいて画面内を移動するカーソルの形状を表すカーソル画像の情報。通常のコンピュータでは、マウスを手で移動させることにより、マウスカーソルが画面内を移動するが、本実施形態では、プレイヤーが顔や手の相対的な位置や姿勢を変化させることによって、カーソルを移動させる。
（ｃ）プレイヤーと対話するキャラクターの画像の情報。当該キャラクターの画像は、３次元グラフィックス用の立体モデルの表面にテクスチャを貼り付けることにより構成されるものとしても良いし、２次元グラフィックスの画像を採用しても良い。キャラクターの目や瞳の位置を変化させることにより、キャラクターが注視している画面内の位置を変化させることができるように構成することが望ましい。
【０１０１】
ついで、ＣＰＵ １０２は、ＲＡＭ １０３に画面内でカーソル画像を表示すべき位置を表すカーソル座標yを記憶する記憶領域、キャラクターの画像が注視すべき位置を表す推奨座標zを記憶する記憶領域、現在選択されている項目sを表す記憶領域および当該項目が連続してプレイヤーに注目されている経過時間tを表す領域を確保する（ステップＳ４０２）。
【０１０２】
そして、項目sを「なし」に、経過時間tを０に、それぞれ初期化する（ステップＳ４０３）。なお、図中の「←」は、代入を意味する。
【０１０３】
さらに、ＣＰＵ １０２は、カーソル座標yを適当な値に初期化する（ステップＳ４０４）。カーソル座標yは、２次元のベクトルであり、液晶ディスプレイ１０７の中央の座標を初期値とするのが典型的である。
【０１０４】
さらに、ＣＰＵ １０２は、推奨座標zを各種の手法に基づいて決定する（ステップＳ４０５）。推奨座標zを決定する手法については、後述する。以下では、プレイヤーに推奨される項目が「りんご」であり、項目「りんご」が表示される領域内に推奨座標zが設定されている場合を、例として説明する。
【０１０５】
ついで、ＣＰＵ １０２は、ＲＡＭ １０３に記憶される項目の情報、カーソル画像の情報、キャラクター画像の情報ならびに、カーソル座標y、推奨座標zの情報に基づいて、画面に表示すべき画像をＲＡＭ １０３内に生成し（ステップＳ４０６）、垂直同期割込が生じるまで待機する（ステップＳ４０７）。この待機中には、コルーチン的に他の処理を実行することも可能である。
【０１０６】
割り込みが生じたら、当該画像を画像処理部１０６に処理させて、液晶ディスプレイ１０７に表示する（ステップＳ４０８）。垂直同期割込は、典型的には、１／３０秒おき、もしくは、１／６０秒おきに生じる。
【０１０７】
図５は、液晶ディスプレイ１０７に表示される画像の表示例を示す説明図である。以下、本図を参照して説明する。
【０１０８】
液晶ディスプレイ１０７ａの画面５０１には、４つの項目５０２ａ「りんご」、５０２ｂ「みかん」、５０２ｃ「バナナ」、５０２ｄ「いちご」が、キャラクター５０３の画像を囲むように配置されている。キャラクター５０３の瞳５０４は、項目５０２ａ「りんご」を注視しているが、これは、項目５０２ａ「りんご」が表示されている領域内に、推奨座標zの位置５０５が含まれるからである。
【０１０９】
一方、液晶ディスプレイ１０７ｂの画面５１１には、当該ゲームにおいてキャラクター５０３が発したと想定されるメッセージ５１２として「どの果物が好き？」が表示されている。したがって、本図に示す例では、プレイヤーは、液晶ディスプレイ１０７ａに表示される４つの項目５０２から、いずれか好きなものを選択することとなる。
【０１１０】
画面５０１の中央は、現在のカーソル座標yの位置５０６であり、ここには、カーソル５０７が表示されている。プレイヤーは、後述するように、自らの意思に基づいて、カーソル５０７を画面５０１内で移動させ、所望の項目５０２に一定時間カーソル５０７を合わせることにより、その項目５０２を選択することができる。
【０１１１】
なお、家庭用据置型ゲーム装置を情報処理装置１０１として採用してゲーム装置３０１を実現した場合には、液晶ディスプレイ１０７にかえて、テレビジョン装置などの表示装置が使用される。
【０１１２】
ついで、ＣＰＵ １０２は、カメラ１１５を駆動して、ゲーム装置３０１を把持するプレイヤーを撮影する（ステップＳ４０９）。なお、本実施例では、垂直同期割込が生じるごとにカメラ１１５による撮影が行われるが、１秒に１５回撮影することとする等、適宜間引きを行うこととしても良い。
【０１１３】
図２に示すように、カメラ１１５の撮影方向は、プレイヤーを向いているから、撮影された画像には、通常、プレイヤーの正面の姿、および、プレイヤーの背後の背景が含まれることとなる。
【０１１４】
さらに、ＣＰＵ １０２は、撮影された画像内におけるプレイヤーの顔の位置を推定する（ステップＳ４１０）。なお、この際に、プレイヤーの顔の撮影された大きさをあわせて推定するのが典型的である。人間の顔は、略楕円形で肌色であり、目や口といった部分を有するという特徴があるため、画像認識の技術を利用することによって、撮影された画像内において人間の顔が撮影されている位置を求めれば、プレイヤーの顔が含まれる位置が得られる。なお、複数人の顔が撮影されている場合には、最も大きい領域を占めるものを、プレイヤーの顔である、と推定すれば良い。
【０１１５】
図６は、カメラ１１５によって撮影されたプレイヤーを含む画像の様子を示す説明図である。図７は、撮影された画像内におけるプレイヤーの位置を示す説明図である。以下、本図を参照して説明する。
【０１１６】
図６に示すように、撮影された画像６０１には、プレイヤーの姿６０２およびその背景の様子６０３が撮影されている。適宜画像認識の技術を用いることによって、図７に示すように、画像６０１が占める領域６１１における、プレイヤーの顔の位置６１２および、プレイヤーの顔全体６１３の大きさが認識される。プレイヤーの顔全体６１３の大きさは、プレイヤーとゲーム装置３０１との距離が離れれば離れるほど小さくなり、近付けば近づくほど大きくなる。
【０１１７】
そして、ＣＰＵ １０２は、画像内におけるプレイヤーの顔の位置６１２を、座標変換して、測定座標xを得る（ステップＳ４１１）。本実施形態では、カメラの撮影の向き（レンズの中心軸方向）と、画面５０１の表示の向き（外向き法線方向）と、が逆向きになっているので、最も単純な座標変換は、画像の領域６１１の左右を反転し、その四隅が、画面５０１の四隅に重なるように変換するものである。この態様は、液晶ディスプレイ１０７の縦横比と、カメラ１１５により撮影された画像の縦横比と、が一致している場合に特に好適である。以下、この場合を例として説明する。
【０１１８】
図８は、画像の領域６１１を左右反転して画面５０１に重ねることにより、プレイヤーの顔の位置６１２を座標変換した様子を示す説明図である。以下、本図を参照して説明する。
【０１１９】
本実施例では、液晶ディスプレイ１０７の画面５０１縦横比と、カメラ１１５により撮影された画像の領域６１１の縦横比と、が一致しているので、本図に示すように、図７における画像の領域６１１を左右反転して、画面５０１と画像の領域６１１の四隅を重ねることによって、プレイヤーの顔の位置６１２が、測定座標xの位置６１２'へ、座標変換される。
【０１２０】
また、本図では、理解を容易にするため、プレイヤーの顔全体６１３に対しても同様の座標変換を行った結果を示している。プレイヤーの顔全体６１３は、左右反転して、座標変換後の顔全体６１３'に移動している。
【０１２１】
本例では、測定座標xの位置６１２'は、推奨される項目５０２ａ「りんご」の領域に含まれており、プレイヤーがキャラクターの推奨に共感している状態となっている。
【０１２２】
ついで、ＣＰＵ １０２は、測定座標xに基づいて、カーソル座標yを更新する（ステップＳ４１２）。典型的には、0<p<1を満たす係数（減衰度）pを用いて、
y ← p x + (1-p) y
のような２次元ベクトル演算を行う。ここで「←」は、代入を意味する。
【０１２３】
測定座標xと直前のカーソル座標yとの間をp対(1-p)に内分する座標が、新たなカーソル座標yとなる。
【０１２４】
減衰度pが大きければ大きいほど（１に近ければ近いほど）、過去の履歴が速やかに減衰して最新の値に高速に収束しようとする。小さければ小さいほど（０に近ければ近いほど）、過去の履歴の影響が長い間残ることになる。
【０１２５】
このような減衰平均等の平均化手法を採用すると、カーソル座標yの変化の高周波成分を除去することができ、プレイヤーの手が震えたりした場合であっても、滑らかな移動を実現することができる。
【０１２６】
図９は、図８に示す状況下で、カーソル座標yが更新された後に、画面５０１に表示されるべき画像の様子を示す説明図である。以下、本図を参照して説明する。
【０１２７】
本図に示すように、カーソル５０７が表示される位置は、直前のカーソル座標yの位置５０６ａから新たなカーソル座標yの位置５０６ｂへ移動している。位置５０６ｂは、測定座標xと、位置５０６ａとをp対(1-p)に内分する位置に配置されている。本図では、pとして、およそ０.５を採用した場合が図示されており、位置５０６ａと位置６１２'のほぼ中点に、位置５０６ｂが配置されている。
【０１２８】
プレイヤーが現在のカメラ１１５に対する位置および姿勢をそのまま継続すると、手ぶれなどが生じた場合であっても、座標変換の際に上記のように高周波成分を除去することによって、カーソル５０７は、時間の経過とともに、測定座標xの位置６１２'の周辺（手ぶれがあるため）に向かって滑らかに移動していき、最終的には、カーソル５０７は、測定座標xの位置６１２'の近傍（手ぶれがあるため）に位置し続けるようになる。そこで、本発明では、このような性質を用いて、項目の選択を行うのである。
【０１２９】
すなわち、ＣＰＵ １０２は、カーソル座標yが、画面に表示される項目５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのうちのいずれかが表示される領域に含まれるか否かを調べる（ステップＳ４１３）。
【０１３０】
含まれていない場合（ステップＳ４１３；Ｎｏ）、ＲＡＭ １０３内に記憶される項目sを「なし」に設定し、経過時間tを０に設定して（ステップＳ４１４）、ステップＳ４０５に戻る。
【０１３１】
一方、カーソル座標yが、いずれかの項目が表示される領域に含まれている場合（ステップＳ４１３；Ｙｅｓ）、ＣＰＵ １０２は、ＲＡＭ １０３内に記憶される項目sと、現在カーソル座標yが、含まれる項目とが一致するか否かを調べる（ステップＳ４１５）。
【０１３２】
一致しない場合（ステップＳ４１５；Ｎｏ）、ＣＰＵ １０２は、ＲＡＭ １０３内に記憶される項目sを、現在カーソル座標yが含まれている新たな項目に設定し、経過時間tを０に設定して（ステップＳ４１６）、ステップＳ４０５に戻る。
【０１３３】
一方、一致する場合（ステップＳ４１５；Ｙｅｓ）、ＣＰＵ １０２は、ＲＡＭ １０３内に記憶される経過時間tを１増やす（ステップＳ４１７）。
【０１３４】
そして、当該項目sに対応付けられる閾時間の基本値から、当該項目sに対応付けられる閾時間Dを計算する（ステップＳ４１８）。なお、閾時間Dとしては、閾時間の基本値をそのまま採用し、基本値は、各項目ごとに等しい値を採用するのが典型的である。閾時間の設定の変形例については後述する。
【０１３５】
さらに、ＣＰＵ １０２は、経過時間tが閾時間D以上であるか否かを判断し（ステップＳ４１９）、t<Dである場合（ステップＳ４１９；Ｎｏ）、ステップＳ４０５に戻る。一方、t≧Dである場合（ステップＳ４１９；Ｙｅｓ）、ＣＰＵ １０２は、プレイヤーによって、項目sが選択された旨を、ＲＡＭ １０３内に記録することによって出力し（ステップＳ４２０）、当該選択結果を他の処理に委ねて、本処理を終了する。
【０１３６】
上記のように、本実施形態では、プレイヤーの顔のカメラ１１５に対する相対的な位置関係に基づいて、カーソル５０７が画面５０１内を移動する。プレイヤーは、所望の項目５０２が表示される領域にカーソル５０７を移動させて、そのままの位置関係を閾時間Dだけ保つことによって、当該項目５０２を選択することができる。すなわち、プレイヤーは、ボタンやスイッチ、レバーなどを操作しなくとも、ゲーム装置３０１が有するカメラ１１５に対する自身の相対的な位置を変化させたり維持したするだけで、カーソル５０７を移動させたり、項目５０２を選択したりできるようになるのである。
【０１３７】
以下、本実施形態の種々の態様例について説明する。
【実施例２】
【０１３８】
情報処理装置１０１として、家庭用据置型ゲーム装置を採用した場合には、カメラは、必ずしも、プレイヤーに相対する位置に配置されるとは限らず、プレイヤーの背後に設置される場合もありうる。この場合には、カメラの撮影の向き（レンズの中心軸方向）と、画面の表示の向き（外向き法線方向）と、が一致することとなるので、座標変換において左右の反転は不要である。
【実施例３】
【０１３９】
推奨項目に対する閾時間は、その基本値に適当な係数を乗じたり適当な定数を加減したりした値とすることができる。
【０１４０】
推奨項目に対して、他の項目に比べて短い閾時間を割り当てると、プレイヤーは、推奨項目を選択する場合には、他の項目に比べて、位置や姿勢を一定に保つ時間が短くてすむため、推奨項目を容易に選択することができるようになる。
【０１４１】
また、推奨項目に対して、他の項目に比べて長い閾時間を割り当てると、他の項目に比べて、位置や姿勢を一定に保つ時間が長くなるため、推奨項目を選択するのに重要な判断を行う必要がある場合に、十分な確認をすることができるようになる。
【実施例４】
【０１４２】
ゲーム装置３０１の計算能力やカメラ１１５の解像度、撮影速度が十分である場合には、プレイヤーの顔の位置のみならず、視線追跡の技術を適用することによって、カーソル５０７を移動させることとしても良い。
【０１４３】
すなわち、ＣＰＵ １０２は、撮影された画像からプレイヤーの顔、目、瞳の位置を推定し、これらの履歴に基づいて、カーソル座標yを求めるのである。
【０１４４】
本態様では、人間の顔の詳細な形状認識、表情認識、視線追跡などの技術を利用して、より一層詳細に、プレイヤーが画面内のどの位置を注目しているか、を推定することとなるので、プレイヤーが画面のどこに注目しているかをより一層正確に推定して、プレイヤーが視線を移動させるだけで、プレイヤーの注目する場所に注目画像を表示することができるようになる。
【実施例５】
【０１４５】
推奨される項目や推奨位置zの決定手法としては、以下のようなものが考えられる。
【０１４６】
第１の手法は、あらかじめ、推奨項目が定められている、とするものである。これは、たとえば、キャラクターの発話に応じて選択肢からいずれかを選択することによって、異なるストーリーがプレイヤーに提示されるアドベンチャーゲームなどの場合に好適である。
【０１４７】
典型的には、キャラクターの好感度を上昇させる項目（ストーリーがハッピーエンドに近づく展開となる項目）を推奨項目とすることとなるが、当該キャラクターに設定される性格付けによっては、当該キャラクターの好感度を下降させる項目（ストーリーがバッドエンドに近づく展開となる項目）を推奨項目としても良い。
【０１４８】
第２の手法は、推奨座標zを、測定座標xに連動させる、というものである。典型的には、減衰度pとは異なる減衰度q (q≠p)を定め、ステップＳ４０５において、
z ← q x + (1-q) z
のように推奨座標zを更新する手法である。
【０１４９】
このようにすると、現在推奨座標zをその領域に含む項目が、新たな推奨項目に設定し直されることになる。
【０１５０】
本手法では、プレイヤーがある項目に注目した場合に、キャラクターは、時間的にはずれつつも、同じ項目を注視するようになる。したがって、プレイヤーとキャラクターが同じ項目を注目し続ける時間が閾時間を超えると、当該項目が選択されることになる。
【０１５１】
したがって、プレイヤーが注目する場所と、キャラクターが注目する場所と、を時間的なずれがありつつも一致させることで、キャラクターに対するプレイヤーの共感を喚起することができる一方で、両者の注目点の移動にずれを持たせることで、キャラクターの視線の移動をより一層リアルにプレイヤーに提示することができるようになる。
【０１５２】
第３の手法は、プレイヤーが過去に選択した項目の履歴に基づいて、推奨項目を定める、というものであり、プレイヤーが最近の一定期間に最も高い頻度で選択した項目を、今回も推奨する、という手法が典型的である。
【０１５３】
なお、アドベンチャーゲームなどにおいて、プレイヤーが過去に一回も選択していない選択肢を推奨項目とすることとすれば、アドベンチャーゲームにおいて提供されるシナリオをすべて読了したい希望を持つプレイヤーにとって、親切なプレイ環境を提供することができる。
【０１５４】
第４の手法は、２人のプレイヤーＡ、Ｂが、それぞれの有するゲーム装置３０１ａ、３０１ｂを用いて、２人のプレイヤーの選択結果に基づいてゲームを進行させる通信ゲームを行う場合である。
【０１５５】
２つのゲーム装置３０１ａ、３０１ｂは、通信機能を用いて、それぞれのカーソル位置yを相手方に通知する。
【０１５６】
ゲーム装置３０１ａでは、プレイヤーＡのカーソル位置yにカーソル５０７が表示され、プレイヤーＢのカーソル位置yが推奨位置zとなる。
【０１５７】
一方、ゲーム装置３０１ｂでは、プレイヤーＢのカーソル位置yにカーソル５０７が表示され、プレイヤーＡのカーソル位置yが推奨位置zとなる。
【０１５８】
したがって、プレイヤーＡとプレイヤーＢは、相手がどの項目を選ぼうとしているのか、を知ることができるとともに、推奨項目の閾時間を短く設定している場合に二人が同じ項目を選択しようとすると、異なる項目を選択しようとする場合に比べて、短い時間で選択が可能となる。
【０１５９】
したがって、二人のプレイヤーが同じ項目を容易に選択することができるようになり、プレイヤー同士の交流をより一層深めることができるようになる。
【０１６０】
このほか、これらの手法を適宜組み合わせることとしても良い。
【実施例６】
【０１６１】
カメラ１１５により撮影された画像６０１の領域の四隅と、画面５０１の四隅とを重ねるような座標変換は、両者の縦横比が等しい場合に好適であるが、異なっている場合でも、当該座標変換を適用することが可能である。
【０１６２】
このほか、カメラ１１５により撮影された画像６０１の領域に対するプレイヤーの顔全体６１３の大きさに基づいて、拡大縮小するような座標変換を行うこととしても良い。
【０１６３】
これは、以下のような、画像のトリミングを行ったり、画像の周囲に縁を付加したりする処理に相当する。すなわち、あらかじめ、プレイヤーの顔の大きさの基準値を定めておき、認識されたプレイヤーの顔全体６１３の大きさが、この基準値と一致するように、拡大率を定める。そして、画像の中心位置を固定したまま、当該拡大率で画像を拡縮し、拡縮済の画像サイズが当初の画像サイズと一致するように、トリミングもしくは周囲に余白を付加する、という処理である。
【０１６４】
なお、画像情報そのものの拡縮やトリミング、余白の付加を実際に行う必要はなく、座標変換におけるパラメータを、プレイヤーの顔全体６１３の大きさに基づいて変化させることによって、これと同等の結果を得ることができる。
【産業上の利用可能性】
【０１６５】
以上説明したように、本発明によれば、プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、当該プレイヤーの注目位置や所望の項目を取得できるようにするのに好適なゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。
【符号の説明】
【０１６６】
１０１ 情報処理装置
１０２ ＣＰＵ
１０３ ＲＡＭ
１０４ ＲＯＭ
１０５ 入力装置
１０６ 画像処理部
１０７ 液晶ディスプレイ
１０８ 音声処理部
１０９ ヘッドホン
１１０ カセットリーダ
１１１ ＲＯＭカセット
１１２ 外部メモリ
１１３ ＲＴＣ
１１４ 無線ＬＡＮインターフェース
１１５ カメラ
２０１ 筐体
２０２ 蝶番
２０３ ボタン
３０１ ゲーム装置
３０２ 表示部
３０３ 撮影部
３０４ 推定部
３０５ 変換部
３０６ 選択部
３０７ 決定部
５０１ 画面
５０２ 項目
５０３ キャラクター
５０４ 瞳
５０５ 推奨座標zの位置
５０６ カーソル座標yの位置
５０７ カーソル
５１１ 画面
５１２ メッセージ
６０１ 撮影された画像
６０２ プレイヤーの姿
６０３ 背景
６１１ 撮影された画像の領域
６１２ プレイヤーの顔の位置
６１２' 測定座標ｘの位置
６１３ プレイヤーの顔全体
６１３' 座標変換後の顔全体
【技術分野】
【０００１】
本発明は、プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、当該プレイヤーの注目位置や所望の項目を取得できるようにするのに好適なゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、これらをコンピュータにて実現するプログラムに関する。
【背景技術】
【０００２】
従来から、カメラを用いてプレイヤーの状態を取得し、その状態に基づいてゲームを進行させるゲームシステムが提案されている。
【０００３】
たとえば、以下に掲げる特許文献１においては、プレイヤーの画像を所定時間毎に撮影し、画像の差分に基づいてプレイヤーの動作量を算出して、ある時刻以降の動作量総量が閾値を超えるか否かに基づいて、ゲームの進行を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−８７７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、ゲームにおいては、画面に表示されている複数の項目からいずれかをプレイヤーに選択させる局面が多々ある。このような場合に、ボタンやスイッチ、レバーなどの操作をしなくとも、いずれの項目をプレイヤーが希望しているか、が、知得できれば、プレイヤーの入力負担が少なくてすみ、ゲームの進行もスムースとなる。
【０００６】
また、ゲーム内のキャラクターと対話したり、他のプレイヤーと対話して協力しながらゲームを進める場合には、プレイヤーの注目位置を推定することによって、プレイヤーとその対話相手とが、一体感を高められるような演出を行いたい、との要望も強い。
【０００７】
本発明は、上記のような課題を解決するもので、プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、当該プレイヤーの注目位置や所望の項目を取得できるようにするのに好適なゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、これらをコンピュータにて実現するプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。
【０００９】
本発明の第１の観点に係るゲーム装置は、表示部、撮影部、推定部、変換部を備え、以下のように構成する。
【００１０】
すなわち、表示部は、プレイヤーに提示すべき情報を画面に表示する。
【００１１】
携帯型ゲーム装置や携帯電話、各種のＰＤＡ（Personal Data Assistant）を本発明のゲーム装置とした場合には、表示部は、液晶ディスプレイやタッチスクリーンなどで構成され、家庭用据置型ゲーム装置を本発明のゲーム装置とした場合には、表示部は、テレビジョン装置などで構成されるのが典型的である。
【００１２】
一方、撮影部は、プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する。
【００１３】
撮影部は、たとえばＣＣＤ（Charge Coupled Device）カメラを利用して構成され、プレイヤーの様子を撮影する。撮影する時間間隔は、動画を撮影する場合と同様に、毎秒１５フレームから６０フレーム程度とするのが典型的であるが、適宜間引きすることとしても良い。
【００１４】
さらに、推定部は、取得された画像においてプレイヤーの顔が含まれる位置を推定する。
【００１５】
人間の顔は、略楕円形で肌色であり、目や口といった部分を有するという特徴があるため、画像認識の技術を利用することによって、撮影された画像内において人間の顔が撮影されている位置を求めれば、プレイヤーの顔が含まれる位置が得られる。なお、複数人の顔が撮影されている場合には、最も大きい領域を占めるものを、プレイヤーの顔である、と推定すれば良い。
【００１６】
さらに、変換部は、推定された位置を、画面内の位置に変換する。
【００１７】
変換の際には、カメラで撮影された画像と、画面に表示される映像と、の対応関係を定めることとなるが、これは、カメラの撮影の向き（レンズの中心軸方向）と、画面の表示の向き（外向き法線方向）と、に依存する。
【００１８】
たとえば、プレイヤーの顔を正面からカメラで撮影する場合には、画面の表示の向きが逆向きとなるので、左右を反転させて変換することとなるし、プレイヤーを背面から撮影する場合には、左右の反転は不要である。なお、位置を変換するにあたっては、後述するように平均化処理を行って、細かい変動は除去するのが典型的である。
【００１９】
そして、表示部は、画面内の変換された位置に、プレイヤーの注目位置を表す画像を表示する。
【００２０】
ここで、プレイヤーがカメラに対する姿勢を変化させれば、それに連動して、注目位置を表す画像も移動することになる。したがって、この画像は、プレイヤーの意思に基づいて動くカーソル画像に相当するものとなる。
【００２１】
本発明によれば、プレイヤーは、自らの姿勢や位置を変化させるだけで、画面内に表示されるカーソルなどの注目画像を、自らの意思に基づいて移動させることができるようになる。
【００２２】
また、本発明のゲーム装置において、画面は、ゲーム装置に固定され、撮影部は、ゲーム装置に固定されるカメラによりプレイヤーの顔を撮影し、ゲーム装置はプレイヤーに把持されるように構成することができる。
【００２３】
本発明は上記発明の好適実施形態に係るもので、カメラを備える携帯型ゲーム装置や携帯電話、ＰＤＡなどを、本発明のゲーム装置として採用するものである。
【００２４】
本発明によれば、プレイヤーは、顔の位置をずらすことのみならず、ゲーム装置を把持する手の位置を変化させることによっても、画面に表示される注目画像の位置を、自らの意思に基づいて移動させることができるようになる。
【００２５】
また、本発明のゲーム装置において、推定部は、取得された画像においてプレイヤーの顔が含まれる位置と、当該プレイヤーの顔における当該プレイヤーの目の位置および瞳の位置と、を推定し、変換部は、推定されたプレイヤーの顔、目ならびに瞳の位置を、画面内において注目位置を表す画像が表示される位置に変換するように構成することができる。
【００２６】
上記実施形態では、顔の位置のみを利用して注目画像の表示位置を決めていたが、本発明では、人間の顔の詳細な形状認識、表情認識、視線追跡などの技術を利用して、より一層詳細に、プレイヤーが画面内のどの位置を注目しているか、を推定するものである。
【００２７】
本発明によれば、プレイヤーが画面のどこに注目しているかをより一層正確に推定して、プレイヤーが視線を移動させるだけで、プレイヤーの注目する場所に注目画像を表示することができるようになる。
【００２８】
また、本発明のゲーム装置において、変換部は、推定された位置の履歴の第１の減衰平均を求め、当該第１の減衰平均に、撮影された画像の左右を反転する座標変換を適用することにより、第１の適用済位置を得て、当該第１の適用済位置を変換された位置とするように構成することができる。
【００２９】
ここで、減衰平均とは、最新の測定値xと、直前の減衰平均値eと、を、重み付け平均した平均値yを得て、これを最新の減衰平均値とするものであり、0<p<1なる係数pを用いて、
y = p x + (1-p) e
のように計算することができる。この係数pは、減衰の度合を示す減衰度である。
【００３０】
減衰度が大きければ大きいほど（１に近ければ近いほど）、過去の履歴が速やかに減衰して最新の値に高速に収束しようとする。小さければ小さいほど（０に近ければ近いほど）、過去の履歴の影響が長い間残ることになる。
【００３１】
本発明によれば、プレイヤーの手の震えなどの影響を除去して、注目画像の移動を滑らか、緩やかにすることによって、プレイヤーは、自らの意思に基づいて、より一層注目画像を移動させやすくなる。
【００３２】
また、本発明のゲーム装置において、推定部は、取得された画像においてプレイヤーの顔が含まれる領域の大きさを推定し、変換部は、座標変換の拡大率を、推定された領域の大きさに基づいて変化させるように構成することができる。
【００３３】
プレイヤーの顔が大きく撮影されている場合には、プレイヤーと画面との距離は近いと考えられ、プレイヤーの顔が小さく撮影されている場合には、プレイヤーと画面との距離は遠いと考えられる。そこで、プレイヤーと画面との距離を考慮して座標変換を行うのである。
【００３４】
たとえば、プレイヤーの顔の大きさが所定の大きさとなるように、撮影された画像を拡縮した後、全体が所定のサイズになるように、トリミングしたり撮影された画像の周囲に余白を付加する。そして、これらの処理が済んだ後の画像の四隅が、画面の四隅に重なるように座標変換をする。
【００３５】
本発明によれば、プレイヤーの顔とゲーム装置との距離を考慮して座標変換を行うことにより、プレイヤーは、自らの意思に基づいて、より一層注目画像を移動させやすくなる。
【００３６】
また、本発明のゲーム装置において、変換部は、推定された位置の履歴の第２の減衰平均を、第１の減衰平均とは異なる減衰度で求め、当該第２の減衰平均に座標変換を適用することにより、第２の適用済位置を得て、表示部は、画面内の第２の適用済位置を注視するキャラクターの顔の画像を表示するように構成することができる。
【００３７】
上記のように、第１の減衰平均は減衰度pを用いており、第２の減衰平均は減衰度q (q≠p)を用いているので、注目画像が表示される位置（第１の適用済位置）と、キャラクターが注視する位置（第２の適用済位置）と、は、概ね同じように変化するものの、その移動に時間的なずれが生じる。一方で、プレイヤーがある一点を注目し続けると、時間の経過とともに、キャラクターが注視する位置も、その一点に収束することとなる。
【００３８】
本発明によれば、プレイヤーが注目する場所と、キャラクターが注目する場所と、を一致させることで、キャラクターに対するプレイヤーの共感を喚起することができる一方で、両者の注目点の移動にずれを持たせることで、キャラクターの視線の移動をより一層リアルにプレイヤーに提示することができるようになる。
【００３９】
また、本発明のゲーム装置は、選択部をさらに備え、表示部は、プレイヤーがいずれかを選択すべき当該複数の項目を、画面内に表示し、選択部は、複数の項目のそれぞれについて、当該項目が画面内に表示される領域に、変換された位置が、当該項目に対応付けられる閾時間だけ連続して含まれたことが検知されると、当該項目をプレイヤーが選択した項目として出力するように構成することができる。
【００４０】
すなわち、各項目に対応付けられる閾時間は、当該項目を選択するためにプレイヤーが注視すべき時間に相当するものであり、プレイヤーが姿勢や顔の位置などを変化させて所望の項目に注目画像を移動させ、その後にその姿勢や位置を当該項目の閾時間維持するだけで、当該項目が選択されるのである。なお、閾時間は、各項目で共通の値としても良いし、項目ごとに長短が異なるものとしても良い。
【００４１】
本発明によれば、プレイヤーは、ボタンやスイッチ、レバーなどを操作しなくとも、自分の顔の位置や姿勢、ゲーム装置を把持する手の位置などを変化させたり一定に保ったりするだけで、複数の項目からいずれかを選択することができるようになる。
【００４２】
また、本発明のゲーム装置は、決定部をさらに備え、決定部は、複数の項目からいずれかを、プレイヤーに対する推奨項目として決定し、推奨項目以外の項目に対応付けられる閾時間は、互いに等しく、推奨項目に対応付けられる閾時間と、推奨項目以外の項目に対応付けられる閾時間と、は、異なるように構成することができる。
【００４３】
ここで、推奨項目の決定手法としては、当該プレイヤーによる過去の項目選択の履歴から定めることとしても良いし、画面に表示されているキャラクターと同じ行動をとるか否かによって、当該キャラクターの好感度パラメータを変化させる場合等、ゲームの進行上必要とされる展開に応じて定めることとしても良い。
【００４４】
本発明によれば、推奨項目に他の項目に比べて短い閾時間を割り当てると、プレイヤーは、推奨項目を選択する場合には、他の項目に比べて、位置や姿勢を一定に保つ時間が短くてすむため、推奨項目を容易に選択することができるようになり、推奨項目に他の項目に比べて長い閾時間を割り当てると、他の項目に比べて、位置や姿勢を一定に保つ時間が長くなるため、推奨項目を選択するのに重要な判断を行う必要がある場合に、十分な確認をすることができるようになる。
【００４５】
また、本発明のゲーム装置において、表示部は、推奨項目を注視するキャラクターの顔の画像を表示するように構成することができる。
【００４６】
本発明は上記発明の好適実施形態に係るものである。推奨項目であることをプレイヤーに知らせるために、当該項目の表示色や背景色、文字フォントの大きさや太さなどの形状、項目の背景の画像などを変化させて強調表示する手法をとることも可能であるが、本発明においては、これらの手法にかえて、もしくは、これらの手法に加えて、キャラクターが推奨項目を注視するように演出する。
【００４７】
本発明によれば、キャラクターの視線が推奨項目を注視して、当該推奨項目を推奨するため、プレイヤーは、キャラクターとの共感をより一層高めることができるようになる。
【００４８】
本発明のその他の観点に係るゲームシステムは、通信可能に接続された２つのゲーム装置からなり、当該２つのゲーム装置は、上記ゲーム装置であり、２つのゲーム装置のそれぞれにおいて、決定部は、当該ゲーム装置の通信相手のゲーム装置において変換された位置に表示される項目を、当該ゲーム装置のプレイヤーに対する推奨項目とするように構成する。
【００４９】
たとえば、プレイヤーＡがゲーム装置Ｘを使用し、プレイヤーＢがゲーム装置Ｙを使用している場合を考える。ゲーム装置Ｘでは、プレイヤーＡの注目位置に注目画像が表示され、プレイヤーＢの注目位置に表示される項目が推奨項目となる。一方、ゲーム装置Ｙでは、プレイヤーＢの注目位置に注目画像が表示され、プレイヤーＡの注目位置に表示される項目が推奨項目となる。
【００５０】
したがって、プレイヤーＡとプレイヤーＢは、相手がどの項目を選ぼうとしているのか、を知ることができるとともに、推奨項目の閾時間を短く設定している場合に二人が同じ項目を選択しようとすると、異なる項目を選択しようとする場合に比べて、短い時間で選択が可能となる。
【００５１】
本発明によれば、二人のプレイヤーが同じ項目を容易に選択することができるようになり、プレイヤー同士の交流をより一層深めることができるようになる。
【００５２】
本発明のその他の観点に係るゲーム制御方法は、表示部、撮影部、推定部、変換部を備えるゲーム装置が実行し、表示工程、撮影工程、推定工程、変換工程を備え、以下のように構成する。
【００５３】
すなわち、表示工程では、表示部が、プレイヤーに提示すべき情報を画面に表示する。
【００５４】
一方、撮影工程では、撮影部が、プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する。
【００５５】
さらに、推定工程では、推定部が、取得された画像においてプレイヤーの顔が含まれる位置を推定する。
【００５６】
そして、変換工程では、変換部が、推定された位置を、画面内の位置に変換する。
【００５７】
ここで、表示工程では、画面内の変換された位置に、プレイヤーの注目位置を表す画像を表示する。
【００５８】
本発明のその他の観点に係るプログラムは、コンピュータを上記のゲーム装置として機能させるように構成する。
【００５９】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。
【００６０】
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００６１】
本発明によれば、プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、当該プレイヤーの注目位置や所望の項目を取得できるようにするのに好適なゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明に係るゲーム装置が実現される典型的な情報処理装置の概要構成を示す説明図である。
【図２】情報処理装置の外観を示す説明図である。
【図３】本実施形態に係るゲーム装置の概要構成を示す模式図である。
【図４】ゲーム装置にて実行されるゲーム制御処理の制御の流れを示すフローチャートである。
【図５】液晶ディスプレイに表示される画像の表示例を示す説明図である。
【図６】カメラによって撮影されたプレイヤーを含む画像の様子を示す説明図である。
【図７】撮影された画像内におけるプレイヤーの位置を示す説明図である。
【図８】画像の領域を左右反転して画面に重ねることにより、プレイヤーの顔の位置を座標変換した様子を示す説明図である。
【図９】液晶ディスプレイに表示される画像の表示例を示す説明図である。
【発明を実施するための形態】
【００６３】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。
【００６４】
したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの種々の実施形態も本発明の範囲に含まれる。
【実施例１】
【００６５】
図１は、本発明に係るゲーム装置が実現される典型的な情報処理装置の概要構成を示す説明図である。以下、本図を参照して説明する。
【００６６】
情報処理装置１０１は、携帯可能なマルチメディア端末であり、ＣＰＵ（Central Processing Unit）１０２、ＲＡＭ（Random Access Memory）１０３、ＲＯＭ（Read Only Memory）１０４、入力装置１０５、画像処理部１０６、液晶ディスプレイ１０７、音声処理部１０８、ヘッドホン１０９、カセットリーダ１１０、ＲＯＭカセット１１１、外部メモリ１１２、ＲＴＣ（Real Time Clock）１１３、無線ＬＡＮ（Local Area Network）インターフェース１１４、カメラ１１５を備える。
【００６７】
ここで、ＣＰＵ １０２は、情報処理装置１０１の各部を制御するとともに、各種の演算処理や判断処理を行う。
【００６８】
情報処理装置１０１に電源が投入されると、ＣＰＵ １０２は、ＲＯＭ １０４に記録されたＩＰＬ（Initial Program Loader）を実行し、その処理の過程で、カセットリーダ１１０を介して接続されたＲＯＭカセット１１１に記録されたプログラムに処理を移行する。
【００６９】
情報処理装置１０１で実行されるゲームプログラムやマルチメディア情報再生プログラムは、ＲＯＭカセット１１１によって提供されるのが一般的であるが、ＲＯＭ １０４内にあらかじめ用意しておくことも可能である。
【００７０】
また、ＲＯＭ １０４内には、ＢＩＯＳ（Basic Input Output System）と呼ばれるプログラム群が用意されており、入力装置１０５や画像処理部１０６、音声処理部１０８の制御を行うことができる。
【００７１】
ＲＡＭ １０３は、一時的な情報を記憶するための領域であり、外部メモリ１１２は、不揮発な情報を記憶するための領域である。外部メモリ１１２としては、ハードディスクなど、主として情報処理装置１０１に内蔵されるもののほか、各種のメモリカードなど、情報処理装置１０１に抜挿されるものを利用しても良い。
【００７２】
入力装置１０５は、各種のボタンやキーボード、マウス、ジョイスティック等により実現されるのが一般的であるが、液晶ディスプレイ１０７と一体に形成されたタッチスクリーンを入力装置１０５として利用することも可能である。
【００７３】
画像処理部１０６は、ＣＰＵ １０２の制御の下、各種の文字情報や画像情報を液晶ディスプレイ１０７に表示させるものであり、一般には、垂直同期割込周期（典型的には、３０分の１秒や６０分の１秒程度である。）ごとに、ＲＡＭ １０３内に用意されたフレームバッファに記憶された画素情報を液晶ディスプレイ１０７の各画素に反映させる。
【００７４】
音声処理部１０８は、ＲＡＭ １０３やＲＯＭ １０４、ＲＯＭカセット１１１、外部メモリ１１２に用意された音声データをヘッドホン１０９に出力する。音声データとしては、音声の波形データをディジタル化したＰＣＭ（Pulse Code Modulation）データや、ＰＣＭデータを圧縮してサイズを小さくしたＭＰ３（MPeg audio layer-3）データ等を利用することが可能であるほか、ＭＩＤＩ（Music Instruction Data Interface）データのように、音高、音長、音量、音色の種類を定義するデータを用意し、これにしたがって、あらかじめ用意された音源波形データを適宜選択・変形して再生する手法を採用しても良い。
【００７５】
ＲＴＣ １１３は、現在の日時を計測するもので、情報処理装置１０１を初めて利用する際に時刻合わせを行うのが一般的であるが、無線ＬＡＮインターフェース１１４を介してＮＴＰ（Network Time Protocol）サーバに接続することで、自動的に時刻合わせを行うような態様を採用することも可能である。
【００７６】
また、アラーム割込を発生させる機能を持つＲＴＣ １１３もある。設定された時刻になるとアラーム割込が発生して、ＣＰＵ １０２は、現在実行中のプログラムを一時中断し、あらかじめ設定された割込ハンドラを実行してから、中断したプログラムを再開する。
【００７７】
無線ＬＡＮインターフェース１１４は、自宅や会社、街角に用意された無線ＬＡＮアクセスポイントを介してインターネットに接続したり、近傍に配置された他の情報処理装置１０１と、アドホックに通信路を確立し、１対１で通信を行うなどが可能である。
【００７８】
カメラ１１５は、情報処理装置１０１によってディジタルカメラの機能を実現するものであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子などの技術を適用することが可能である。撮影された画像は、一時的にＲＡＭ １０３に展開された後、外部メモリ１１２等に保存される。
【００７９】
このほか、ビジネス用コンピュータ、携帯電話、ＰＤＡ（Personal Data Assistant）、携帯ゲーム装置、多機能テレビジョン装置、ＤＶＤ（Digital Versatile Disc）プレイヤー、携帯音楽プレイヤーなどを、本発明のゲーム装置が実現される情報処理装置として採用することもできる。
【００８０】
なお、一般的な情報処理装置では、プレイヤーからの指示入力は、液晶ディスプレイ１０７に表示されたカーソルを入力装置１０５の移動ボタン操作により移動して、所望のメニュー項目にカーソルを合わせ、決定ボタン操作によって当該メニュー項目を選択するが、タッチスクリーンを利用する場合にはカーソルは不要である。また、入力装置１０５の各ボタンに割り当てられる機能があらかじめ決まっている場合には、液晶ディスプレイ１０７に対する表示は、必ずしも必要ない。
【００８１】
しかしながら、本発明においては、入力装置１０５を直接用いるのではなく、ＣＰＵ １０２の制御の下、画像処理部１０６、液晶ディスプレイ１０７ならびにカメラ１１５を協調動作させることによって、プレイヤーからの意思を知得することとする。
【００８２】
図２は、情報処理装置１０１の外観を示す説明図である。以下、本図を参照して説明する。
【００８３】
本実施形態に係る情報処理装置１０１は、上側筐体２０１ａと下側筐体２０１ｂの間に蝶番２０２が配置され、折り畳みが可能な形状となっている。
【００８４】
上側筐体２０１ａと下側筐体２０１ｂのそれぞれには、液晶ディスプレイ１０７ａ、１０７ｂが配置されている。蝶番２０２の中央には、カメラ１１５が配置されており、プレイヤーの姿などを撮影することができる。
【００８５】
下側筐体２０１ｂには、入力装置１０５として機能するボタン２０３が配置されているが、本実施形態においては、ボタン２０３の押圧操作をせずに、画面に表示されるカーソルを移動したり、項目を選択したりすることができる。
【００８６】
図３は、本実施形態に係るゲーム装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００８７】
本実施形態に係るゲーム装置３０１は、情報処理装置１０１が、ＲＯＭカセット１１１に記録されたプログラムをカセットリーダ１１０を介して読み出して実行することにより実現され、表示部３０２、撮影部３０３、推定部３０４、変換部３０５を備える。さらに、本図に示すように、選択部３０６や決定部３０７を備えることとしても良い。
【００８８】
ここで、表示部３０２は、プレイヤーに提示すべき情報を画面に表示するもので、本実施形態では、ＣＰＵ １０２の制御の下、画像処理部１０６や液晶ディスプレイ１０７が協調動作することによって実現される。
【００８９】
一方、撮影部３０３は、プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得するもので、本実施形態では、ＣＰＵ １０２の制御の下、カメラ１１５が動作することによって実現される。
【００９０】
さらに、推定部３０４は、撮影部３０３により取得された画像においてプレイヤーの顔が含まれる位置を推定するもので、本実施形態では、ＣＰＵ １０２により実現される。
【００９１】
そして、変換部３０５は、推定された位置を、画面内の位置に変換するもので、本実施形態では、ＣＰＵ １０２により実現される。
【００９２】
ここでの推定および変換は、典型的には、細かい震えなどを除去する手ぶれ防止処理などを適用してから、画像におけるプレイヤーの顔の位置を推定し、撮影された画像を左右反転して画面に重ねる座標変換を施すものが典型的であるが、適宜拡大縮小を行うこととしても良い。また、顔だけでなく、目や瞳の位置も推定して、視線追跡の技術を適用することによって、撮影画像における目や瞳を含む顔の位置を、画面内の位置へ、変換することとしても良い。
【００９３】
ここで、表示部３０２は、画面内の変換された位置に、プレイヤーの注目位置を表す画像を表示する。注目位置を表す画像とは、典型的にはカーソルの画像であり、プレイヤーの顔の情報処理装置１０１に対する相対的な位置が変化すると、これに呼応して、画面内でカーソルが移動することになる。
【００９４】
したがって、本実施形態によれば、方向キーやボタン、レバーなどの操作を行わなくとも、プレイヤーは、自分の意思に基づいて、画面内でカーソルを移動させることができることになる。
【００９５】
さらに、表示部３０２が、プレイヤーがいずれかを選択すべき当該複数の項目を、画面内に表示する態様では、選択部３０６は、複数の項目のそれぞれについて、当該項目が画面内に表示される領域に、変換された位置が、当該項目に対応付けられる閾時間だけ連続して含まれたことが検知されると、当該項目をプレイヤーが選択した項目として出力する。この態様では、ＣＰＵ １０２が選択部３０６として機能する。
【００９６】
本態様では、決定部３０７が、複数の項目からいずれかを、プレイヤーに対する推奨項目として決定するように構成することができる。この場合に、推奨項目以外の項目に対応付けられる閾時間は、互いに等しく、推奨項目に対応付けられる閾時間と、推奨項目以外の項目に対応付けられる閾時間と、は、異なることが望ましい。ゲーム装置３０１が単体で動作している場合には、ＣＰＵ １０２が決定部３０７として機能する。
【００９７】
なお、表示部３０２は、推奨項目を注視するキャラクターの画像を画面に表示することとしても良い。このキャラクターには、プレイヤーと対話する役割が与えられている。本態様では、対話相手と同じものを見つめることによって、そのものが選択されることとなるから、キャラクターとの共感をプレイヤーに引き起こすことが可能となる。
【００９８】
なお、コンピュータ通信網を介して接続された他のゲーム装置３０１と協調動作をしている場合には、ＣＰＵ １０２の制御の下、無線ＬＡＮインターフェース１１４を介して接続された他のゲーム装置３０１を、決定部３０７として機能させることも可能である。当該態様については、後述する。
【００９９】
図４は、ゲーム装置３０１にて実行されるゲーム制御処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
【０１００】
本処理が開始されると、ＣＰＵ １０２は、ＲＯＭカセット１１１に記録された以下のような情報をＲＡＭ １０３に読み出す（ステップＳ４０１）。
（ａ）プレイヤーに提示する項目の情報。各項目に割り当てられる文字列やその項目を表示する画面内の位置、領域などの情報のほか、当該項目に割り当てられる閾時間の基本値の情報が含まれる。以下では、「りんご」「みかん」「バナナ」「いちご」の４種類が項目としてあげられる場合を例として説明する。
（ｂ）プレイヤーの意思に基づいて画面内を移動するカーソルの形状を表すカーソル画像の情報。通常のコンピュータでは、マウスを手で移動させることにより、マウスカーソルが画面内を移動するが、本実施形態では、プレイヤーが顔や手の相対的な位置や姿勢を変化させることによって、カーソルを移動させる。
（ｃ）プレイヤーと対話するキャラクターの画像の情報。当該キャラクターの画像は、３次元グラフィックス用の立体モデルの表面にテクスチャを貼り付けることにより構成されるものとしても良いし、２次元グラフィックスの画像を採用しても良い。キャラクターの目や瞳の位置を変化させることにより、キャラクターが注視している画面内の位置を変化させることができるように構成することが望ましい。
【０１０１】
ついで、ＣＰＵ １０２は、ＲＡＭ １０３に画面内でカーソル画像を表示すべき位置を表すカーソル座標yを記憶する記憶領域、キャラクターの画像が注視すべき位置を表す推奨座標zを記憶する記憶領域、現在選択されている項目sを表す記憶領域および当該項目が連続してプレイヤーに注目されている経過時間tを表す領域を確保する（ステップＳ４０２）。
【０１０２】
そして、項目sを「なし」に、経過時間tを０に、それぞれ初期化する（ステップＳ４０３）。なお、図中の「←」は、代入を意味する。
【０１０３】
さらに、ＣＰＵ １０２は、カーソル座標yを適当な値に初期化する（ステップＳ４０４）。カーソル座標yは、２次元のベクトルであり、液晶ディスプレイ１０７の中央の座標を初期値とするのが典型的である。
【０１０４】
さらに、ＣＰＵ １０２は、推奨座標zを各種の手法に基づいて決定する（ステップＳ４０５）。推奨座標zを決定する手法については、後述する。以下では、プレイヤーに推奨される項目が「りんご」であり、項目「りんご」が表示される領域内に推奨座標zが設定されている場合を、例として説明する。
【０１０５】
ついで、ＣＰＵ １０２は、ＲＡＭ １０３に記憶される項目の情報、カーソル画像の情報、キャラクター画像の情報ならびに、カーソル座標y、推奨座標zの情報に基づいて、画面に表示すべき画像をＲＡＭ １０３内に生成し（ステップＳ４０６）、垂直同期割込が生じるまで待機する（ステップＳ４０７）。この待機中には、コルーチン的に他の処理を実行することも可能である。
【０１０６】
割り込みが生じたら、当該画像を画像処理部１０６に処理させて、液晶ディスプレイ１０７に表示する（ステップＳ４０８）。垂直同期割込は、典型的には、１／３０秒おき、もしくは、１／６０秒おきに生じる。
【０１０７】
図５は、液晶ディスプレイ１０７に表示される画像の表示例を示す説明図である。以下、本図を参照して説明する。
【０１０８】
液晶ディスプレイ１０７ａの画面５０１には、４つの項目５０２ａ「りんご」、５０２ｂ「みかん」、５０２ｃ「バナナ」、５０２ｄ「いちご」が、キャラクター５０３の画像を囲むように配置されている。キャラクター５０３の瞳５０４は、項目５０２ａ「りんご」を注視しているが、これは、項目５０２ａ「りんご」が表示されている領域内に、推奨座標zの位置５０５が含まれるからである。
【０１０９】
一方、液晶ディスプレイ１０７ｂの画面５１１には、当該ゲームにおいてキャラクター５０３が発したと想定されるメッセージ５１２として「どの果物が好き？」が表示されている。したがって、本図に示す例では、プレイヤーは、液晶ディスプレイ１０７ａに表示される４つの項目５０２から、いずれか好きなものを選択することとなる。
【０１１０】
画面５０１の中央は、現在のカーソル座標yの位置５０６であり、ここには、カーソル５０７が表示されている。プレイヤーは、後述するように、自らの意思に基づいて、カーソル５０７を画面５０１内で移動させ、所望の項目５０２に一定時間カーソル５０７を合わせることにより、その項目５０２を選択することができる。
【０１１１】
なお、家庭用据置型ゲーム装置を情報処理装置１０１として採用してゲーム装置３０１を実現した場合には、液晶ディスプレイ１０７にかえて、テレビジョン装置などの表示装置が使用される。
【０１１２】
ついで、ＣＰＵ １０２は、カメラ１１５を駆動して、ゲーム装置３０１を把持するプレイヤーを撮影する（ステップＳ４０９）。なお、本実施例では、垂直同期割込が生じるごとにカメラ１１５による撮影が行われるが、１秒に１５回撮影することとする等、適宜間引きを行うこととしても良い。
【０１１３】
図２に示すように、カメラ１１５の撮影方向は、プレイヤーを向いているから、撮影された画像には、通常、プレイヤーの正面の姿、および、プレイヤーの背後の背景が含まれることとなる。
【０１１４】
さらに、ＣＰＵ １０２は、撮影された画像内におけるプレイヤーの顔の位置を推定する（ステップＳ４１０）。なお、この際に、プレイヤーの顔の撮影された大きさをあわせて推定するのが典型的である。人間の顔は、略楕円形で肌色であり、目や口といった部分を有するという特徴があるため、画像認識の技術を利用することによって、撮影された画像内において人間の顔が撮影されている位置を求めれば、プレイヤーの顔が含まれる位置が得られる。なお、複数人の顔が撮影されている場合には、最も大きい領域を占めるものを、プレイヤーの顔である、と推定すれば良い。
【０１１５】
図６は、カメラ１１５によって撮影されたプレイヤーを含む画像の様子を示す説明図である。図７は、撮影された画像内におけるプレイヤーの位置を示す説明図である。以下、本図を参照して説明する。
【０１１６】
図６に示すように、撮影された画像６０１には、プレイヤーの姿６０２およびその背景の様子６０３が撮影されている。適宜画像認識の技術を用いることによって、図７に示すように、画像６０１が占める領域６１１における、プレイヤーの顔の位置６１２および、プレイヤーの顔全体６１３の大きさが認識される。プレイヤーの顔全体６１３の大きさは、プレイヤーとゲーム装置３０１との距離が離れれば離れるほど小さくなり、近付けば近づくほど大きくなる。
【０１１７】
そして、ＣＰＵ １０２は、画像内におけるプレイヤーの顔の位置６１２を、座標変換して、測定座標xを得る（ステップＳ４１１）。本実施形態では、カメラの撮影の向き（レンズの中心軸方向）と、画面５０１の表示の向き（外向き法線方向）と、が逆向きになっているので、最も単純な座標変換は、画像の領域６１１の左右を反転し、その四隅が、画面５０１の四隅に重なるように変換するものである。この態様は、液晶ディスプレイ１０７の縦横比と、カメラ１１５により撮影された画像の縦横比と、が一致している場合に特に好適である。以下、この場合を例として説明する。
【０１１８】
図８は、画像の領域６１１を左右反転して画面５０１に重ねることにより、プレイヤーの顔の位置６１２を座標変換した様子を示す説明図である。以下、本図を参照して説明する。
【０１１９】
本実施例では、液晶ディスプレイ１０７の画面５０１縦横比と、カメラ１１５により撮影された画像の領域６１１の縦横比と、が一致しているので、本図に示すように、図７における画像の領域６１１を左右反転して、画面５０１と画像の領域６１１の四隅を重ねることによって、プレイヤーの顔の位置６１２が、測定座標xの位置６１２'へ、座標変換される。
【０１２０】
また、本図では、理解を容易にするため、プレイヤーの顔全体６１３に対しても同様の座標変換を行った結果を示している。プレイヤーの顔全体６１３は、左右反転して、座標変換後の顔全体６１３'に移動している。
【０１２１】
本例では、測定座標xの位置６１２'は、推奨される項目５０２ａ「りんご」の領域に含まれており、プレイヤーがキャラクターの推奨に共感している状態となっている。
【０１２２】
ついで、ＣＰＵ １０２は、測定座標xに基づいて、カーソル座標yを更新する（ステップＳ４１２）。典型的には、0<p<1を満たす係数（減衰度）pを用いて、
y ← p x + (1-p) y
のような２次元ベクトル演算を行う。ここで「←」は、代入を意味する。
【０１２３】
測定座標xと直前のカーソル座標yとの間をp対(1-p)に内分する座標が、新たなカーソル座標yとなる。
【０１２４】
減衰度pが大きければ大きいほど（１に近ければ近いほど）、過去の履歴が速やかに減衰して最新の値に高速に収束しようとする。小さければ小さいほど（０に近ければ近いほど）、過去の履歴の影響が長い間残ることになる。
【０１２５】
このような減衰平均等の平均化手法を採用すると、カーソル座標yの変化の高周波成分を除去することができ、プレイヤーの手が震えたりした場合であっても、滑らかな移動を実現することができる。
【０１２６】
図９は、図８に示す状況下で、カーソル座標yが更新された後に、画面５０１に表示されるべき画像の様子を示す説明図である。以下、本図を参照して説明する。
【０１２７】
本図に示すように、カーソル５０７が表示される位置は、直前のカーソル座標yの位置５０６ａから新たなカーソル座標yの位置５０６ｂへ移動している。位置５０６ｂは、測定座標xと、位置５０６ａとをp対(1-p)に内分する位置に配置されている。本図では、pとして、およそ０.５を採用した場合が図示されており、位置５０６ａと位置６１２'のほぼ中点に、位置５０６ｂが配置されている。
【０１２８】
プレイヤーが現在のカメラ１１５に対する位置および姿勢をそのまま継続すると、手ぶれなどが生じた場合であっても、座標変換の際に上記のように高周波成分を除去することによって、カーソル５０７は、時間の経過とともに、測定座標xの位置６１２'の周辺（手ぶれがあるため）に向かって滑らかに移動していき、最終的には、カーソル５０７は、測定座標xの位置６１２'の近傍（手ぶれがあるため）に位置し続けるようになる。そこで、本発明では、このような性質を用いて、項目の選択を行うのである。
【０１２９】
すなわち、ＣＰＵ １０２は、カーソル座標yが、画面に表示される項目５０２ａ、５０２ｂ、５０２ｃ、５０２ｄのうちのいずれかが表示される領域に含まれるか否かを調べる（ステップＳ４１３）。
【０１３０】
含まれていない場合（ステップＳ４１３；Ｎｏ）、ＲＡＭ １０３内に記憶される項目sを「なし」に設定し、経過時間tを０に設定して（ステップＳ４１４）、ステップＳ４０５に戻る。
【０１３１】
一方、カーソル座標yが、いずれかの項目が表示される領域に含まれている場合（ステップＳ４１３；Ｙｅｓ）、ＣＰＵ １０２は、ＲＡＭ １０３内に記憶される項目sと、現在カーソル座標yが、含まれる項目とが一致するか否かを調べる（ステップＳ４１５）。
【０１３２】
一致しない場合（ステップＳ４１５；Ｎｏ）、ＣＰＵ １０２は、ＲＡＭ １０３内に記憶される項目sを、現在カーソル座標yが含まれている新たな項目に設定し、経過時間tを０に設定して（ステップＳ４１６）、ステップＳ４０５に戻る。
【０１３３】
一方、一致する場合（ステップＳ４１５；Ｙｅｓ）、ＣＰＵ １０２は、ＲＡＭ １０３内に記憶される経過時間tを１増やす（ステップＳ４１７）。
【０１３４】
そして、当該項目sに対応付けられる閾時間の基本値から、当該項目sに対応付けられる閾時間Dを計算する（ステップＳ４１８）。なお、閾時間Dとしては、閾時間の基本値をそのまま採用し、基本値は、各項目ごとに等しい値を採用するのが典型的である。閾時間の設定の変形例については後述する。
【０１３５】
さらに、ＣＰＵ １０２は、経過時間tが閾時間D以上であるか否かを判断し（ステップＳ４１９）、t<Dである場合（ステップＳ４１９；Ｎｏ）、ステップＳ４０５に戻る。一方、t≧Dである場合（ステップＳ４１９；Ｙｅｓ）、ＣＰＵ １０２は、プレイヤーによって、項目sが選択された旨を、ＲＡＭ １０３内に記録することによって出力し（ステップＳ４２０）、当該選択結果を他の処理に委ねて、本処理を終了する。
【０１３６】
上記のように、本実施形態では、プレイヤーの顔のカメラ１１５に対する相対的な位置関係に基づいて、カーソル５０７が画面５０１内を移動する。プレイヤーは、所望の項目５０２が表示される領域にカーソル５０７を移動させて、そのままの位置関係を閾時間Dだけ保つことによって、当該項目５０２を選択することができる。すなわち、プレイヤーは、ボタンやスイッチ、レバーなどを操作しなくとも、ゲーム装置３０１が有するカメラ１１５に対する自身の相対的な位置を変化させたり維持したするだけで、カーソル５０７を移動させたり、項目５０２を選択したりできるようになるのである。
【０１３７】
以下、本実施形態の種々の態様例について説明する。
【実施例２】
【０１３８】
情報処理装置１０１として、家庭用据置型ゲーム装置を採用した場合には、カメラは、必ずしも、プレイヤーに相対する位置に配置されるとは限らず、プレイヤーの背後に設置される場合もありうる。この場合には、カメラの撮影の向き（レンズの中心軸方向）と、画面の表示の向き（外向き法線方向）と、が一致することとなるので、座標変換において左右の反転は不要である。
【実施例３】
【０１３９】
推奨項目に対する閾時間は、その基本値に適当な係数を乗じたり適当な定数を加減したりした値とすることができる。
【０１４０】
推奨項目に対して、他の項目に比べて短い閾時間を割り当てると、プレイヤーは、推奨項目を選択する場合には、他の項目に比べて、位置や姿勢を一定に保つ時間が短くてすむため、推奨項目を容易に選択することができるようになる。
【０１４１】
また、推奨項目に対して、他の項目に比べて長い閾時間を割り当てると、他の項目に比べて、位置や姿勢を一定に保つ時間が長くなるため、推奨項目を選択するのに重要な判断を行う必要がある場合に、十分な確認をすることができるようになる。
【実施例４】
【０１４２】
ゲーム装置３０１の計算能力やカメラ１１５の解像度、撮影速度が十分である場合には、プレイヤーの顔の位置のみならず、視線追跡の技術を適用することによって、カーソル５０７を移動させることとしても良い。
【０１４３】
すなわち、ＣＰＵ １０２は、撮影された画像からプレイヤーの顔、目、瞳の位置を推定し、これらの履歴に基づいて、カーソル座標yを求めるのである。
【０１４４】
本態様では、人間の顔の詳細な形状認識、表情認識、視線追跡などの技術を利用して、より一層詳細に、プレイヤーが画面内のどの位置を注目しているか、を推定することとなるので、プレイヤーが画面のどこに注目しているかをより一層正確に推定して、プレイヤーが視線を移動させるだけで、プレイヤーの注目する場所に注目画像を表示することができるようになる。
【実施例５】
【０１４５】
推奨される項目や推奨位置zの決定手法としては、以下のようなものが考えられる。
【０１４６】
第１の手法は、あらかじめ、推奨項目が定められている、とするものである。これは、たとえば、キャラクターの発話に応じて選択肢からいずれかを選択することによって、異なるストーリーがプレイヤーに提示されるアドベンチャーゲームなどの場合に好適である。
【０１４７】
典型的には、キャラクターの好感度を上昇させる項目（ストーリーがハッピーエンドに近づく展開となる項目）を推奨項目とすることとなるが、当該キャラクターに設定される性格付けによっては、当該キャラクターの好感度を下降させる項目（ストーリーがバッドエンドに近づく展開となる項目）を推奨項目としても良い。
【０１４８】
第２の手法は、推奨座標zを、測定座標xに連動させる、というものである。典型的には、減衰度pとは異なる減衰度q (q≠p)を定め、ステップＳ４０５において、
z ← q x + (1-q) z
のように推奨座標zを更新する手法である。
【０１４９】
このようにすると、現在推奨座標zをその領域に含む項目が、新たな推奨項目に設定し直されることになる。
【０１５０】
本手法では、プレイヤーがある項目に注目した場合に、キャラクターは、時間的にはずれつつも、同じ項目を注視するようになる。したがって、プレイヤーとキャラクターが同じ項目を注目し続ける時間が閾時間を超えると、当該項目が選択されることになる。
【０１５１】
したがって、プレイヤーが注目する場所と、キャラクターが注目する場所と、を時間的なずれがありつつも一致させることで、キャラクターに対するプレイヤーの共感を喚起することができる一方で、両者の注目点の移動にずれを持たせることで、キャラクターの視線の移動をより一層リアルにプレイヤーに提示することができるようになる。
【０１５２】
第３の手法は、プレイヤーが過去に選択した項目の履歴に基づいて、推奨項目を定める、というものであり、プレイヤーが最近の一定期間に最も高い頻度で選択した項目を、今回も推奨する、という手法が典型的である。
【０１５３】
なお、アドベンチャーゲームなどにおいて、プレイヤーが過去に一回も選択していない選択肢を推奨項目とすることとすれば、アドベンチャーゲームにおいて提供されるシナリオをすべて読了したい希望を持つプレイヤーにとって、親切なプレイ環境を提供することができる。
【０１５４】
第４の手法は、２人のプレイヤーＡ、Ｂが、それぞれの有するゲーム装置３０１ａ、３０１ｂを用いて、２人のプレイヤーの選択結果に基づいてゲームを進行させる通信ゲームを行う場合である。
【０１５５】
２つのゲーム装置３０１ａ、３０１ｂは、通信機能を用いて、それぞれのカーソル位置yを相手方に通知する。
【０１５６】
ゲーム装置３０１ａでは、プレイヤーＡのカーソル位置yにカーソル５０７が表示され、プレイヤーＢのカーソル位置yが推奨位置zとなる。
【０１５７】
一方、ゲーム装置３０１ｂでは、プレイヤーＢのカーソル位置yにカーソル５０７が表示され、プレイヤーＡのカーソル位置yが推奨位置zとなる。
【０１５８】
したがって、プレイヤーＡとプレイヤーＢは、相手がどの項目を選ぼうとしているのか、を知ることができるとともに、推奨項目の閾時間を短く設定している場合に二人が同じ項目を選択しようとすると、異なる項目を選択しようとする場合に比べて、短い時間で選択が可能となる。
【０１５９】
したがって、二人のプレイヤーが同じ項目を容易に選択することができるようになり、プレイヤー同士の交流をより一層深めることができるようになる。
【０１６０】
このほか、これらの手法を適宜組み合わせることとしても良い。
【実施例６】
【０１６１】
カメラ１１５により撮影された画像６０１の領域の四隅と、画面５０１の四隅とを重ねるような座標変換は、両者の縦横比が等しい場合に好適であるが、異なっている場合でも、当該座標変換を適用することが可能である。
【０１６２】
このほか、カメラ１１５により撮影された画像６０１の領域に対するプレイヤーの顔全体６１３の大きさに基づいて、拡大縮小するような座標変換を行うこととしても良い。
【０１６３】
これは、以下のような、画像のトリミングを行ったり、画像の周囲に縁を付加したりする処理に相当する。すなわち、あらかじめ、プレイヤーの顔の大きさの基準値を定めておき、認識されたプレイヤーの顔全体６１３の大きさが、この基準値と一致するように、拡大率を定める。そして、画像の中心位置を固定したまま、当該拡大率で画像を拡縮し、拡縮済の画像サイズが当初の画像サイズと一致するように、トリミングもしくは周囲に余白を付加する、という処理である。
【０１６４】
なお、画像情報そのものの拡縮やトリミング、余白の付加を実際に行う必要はなく、座標変換におけるパラメータを、プレイヤーの顔全体６１３の大きさに基づいて変化させることによって、これと同等の結果を得ることができる。
【産業上の利用可能性】
【０１６５】
以上説明したように、本発明によれば、プレイヤーがボタンやスイッチ、レバーなどを操作しなくとも、当該プレイヤーの注目位置や所望の項目を取得できるようにするのに好適なゲーム装置、ゲームシステム、ゲーム装置の制御方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。
【符号の説明】
【０１６６】
１０１ 情報処理装置
１０２ ＣＰＵ
１０３ ＲＡＭ
１０４ ＲＯＭ
１０５ 入力装置
１０６ 画像処理部
１０７ 液晶ディスプレイ
１０８ 音声処理部
１０９ ヘッドホン
１１０ カセットリーダ
１１１ ＲＯＭカセット
１１２ 外部メモリ
１１３ ＲＴＣ
１１４ 無線ＬＡＮインターフェース
１１５ カメラ
２０１ 筐体
２０２ 蝶番
２０３ ボタン
３０１ ゲーム装置
３０２ 表示部
３０３ 撮影部
３０４ 推定部
３０５ 変換部
３０６ 選択部
３０７ 決定部
５０１ 画面
５０２ 項目
５０３ キャラクター
５０４ 瞳
５０５ 推奨座標zの位置
５０６ カーソル座標yの位置
５０７ カーソル
５１１ 画面
５１２ メッセージ
６０１ 撮影された画像
６０２ プレイヤーの姿
６０３ 背景
６１１ 撮影された画像の領域
６１２ プレイヤーの顔の位置
６１２' 測定座標ｘの位置
６１３ プレイヤーの顔全体
６１３' 座標変換後の顔全体
【特許請求の範囲】
【請求項１】
プレイヤーに提示すべき情報を画面に表示する表示部、
前記プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する撮影部、
前記取得された画像において前記プレイヤーの顔が含まれる位置を推定する推定部、
前記推定された位置を、前記画面内の位置に変換する変換部
を備え、
前記表示部は、前記画面内の前記変換された位置に、前記プレイヤーの注目位置を表す画像を表示する
ことを特徴とするゲーム装置。
【請求項２】
請求項１に記載のゲーム装置であって、
前記画面は、前記ゲーム装置に固定され、
前記撮影部は、前記ゲーム装置に固定されるカメラにより前記プレイヤーの顔を撮影し、
前記ゲーム装置は前記プレイヤーに把持される
ことを特徴とするゲーム装置。
【請求項３】
請求項１または２に記載のゲーム装置であって、
前記推定部は、前記取得された画像において前記プレイヤーの顔が含まれる位置と、当該プレイヤーの顔における当該プレイヤーの目の位置および瞳の位置と、を推定し、
前記変換部は、前記推定された前記プレイヤーの顔、目ならびに瞳の位置を、前記画面内において前記注目位置を表す画像が表示される位置に変換する
ことを特徴とするゲーム装置。
【請求項４】
請求項１または２に記載のゲーム装置であって、
前記変換部は、前記推定された位置の履歴の第１の減衰平均を求め、当該第１の減衰平均に、前記撮影された画像の左右を反転する座標変換を適用することにより、第１の適用済位置を得て、当該第１の適用済位置を前記変換された位置とする
ことを特徴とするゲーム装置。
【請求項５】
請求項４に記載のゲーム装置であって、
前記推定部は、前記取得された画像において前記プレイヤーの顔が含まれる領域の大きさを推定し、
前記変換部は、前記座標変換の拡大率を、前記推定された領域の大きさに基づいて変化させる
ことを特徴とするゲーム装置。
【請求項６】
請求項４または５に記載のゲーム装置であって、
前記変換部は、前記推定された位置の履歴の第２の減衰平均を、前記第１の減衰平均とは異なる減衰度で求め、当該第２の減衰平均に前記座標変換を適用することにより、第２の適用済位置を得て、
前記表示部は、前記画面内の前記第２の適用済位置を注視するキャラクターの顔の画像を表示する
ことを特徴とするゲーム装置。
【請求項７】
請求項１から５のいずれか１項に記載のゲーム装置であって、
前記表示部は、前記プレイヤーがいずれかを選択すべき当該複数の項目を、前記画面内に表示し、
前記複数の項目のそれぞれについて、当該項目が前記画面内に表示される領域に、前記変換された位置が、当該項目に対応付けられる閾時間だけ連続して含まれたことが検知されると、当該項目を前記プレイヤーが選択した項目として出力する選択部
をさらに備えることを特徴とするゲーム装置。
【請求項８】
請求項７に記載のゲーム装置であって、
前記複数の項目からいずれかを、前記プレイヤーに対する推奨項目として決定する決定部
をさらに備え、
前記推奨項目以外の項目に対応付けられる閾時間は、互いに等しく、前記推奨項目に対応付けられる閾時間と、前記推奨項目以外の項目に対応付けられる閾時間と、は、異なる
ことを特徴とするゲーム装置。
【請求項９】
請求項８に記載のゲーム装置であって、
前記表示部は、前記推奨項目を注視するキャラクターの顔の画像を表示する
ことを特徴とするゲーム装置。
【請求項１０】
通信可能に接続された２つのゲーム装置からなるゲームシステムであって、
当該２つのゲーム装置は、いずれも、請求項８または９に記載のゲーム装置であり、
前記２つのゲーム装置のそれぞれにおいて、前記決定部は、当該ゲーム装置の通信相手のゲーム装置において変換された位置に表示される項目を、当該ゲーム装置のプレイヤーに対する推奨項目とする
ことを特徴とするゲームシステム。
【請求項１１】
表示部、撮影部、推定部、変換部を備えるゲーム装置が実行するゲーム装置の制御方法であって、
前記表示部が、プレイヤーに提示すべき情報を画面に表示する表示工程、
前記撮影部が、前記プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する撮影工程、
前記推定部が、前記取得された画像において前記プレイヤーの顔が含まれる位置を推定する推定工程、
前記変換部が、前記推定された位置を、前記画面内の位置に変換する変換工程
を備え、
前記表示工程では、前記画面内の前記変換された位置に、前記プレイヤーの注目位置を表す画像を表示する
ことを特徴とするゲーム装置の制御方法。
【請求項１２】
コンピュータを、
前記プレイヤーに提示すべき情報を画面に表示する表示部、
前記プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する撮影部、
前記取得された画像において前記プレイヤーの顔が含まれる位置を推定する推定部、
前記推定された位置を、前記画面内の位置に変換する変換部
として機能させるプログラムであって、前記プログラムは、前記コンピュータにおいて、
前記表示部が、前記画面内の前記変換された位置に、前記プレイヤーの注目位置を表す画像を表示する
ように機能させることを特徴とするプログラム。
【請求項１】
プレイヤーに提示すべき情報を画面に表示する表示部、
前記プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する撮影部、
前記取得された画像において前記プレイヤーの顔が含まれる位置を推定する推定部、
前記推定された位置を、前記画面内の位置に変換する変換部
を備え、
前記表示部は、前記画面内の前記変換された位置に、前記プレイヤーの注目位置を表す画像を表示する
ことを特徴とするゲーム装置。
【請求項２】
請求項１に記載のゲーム装置であって、
前記画面は、前記ゲーム装置に固定され、
前記撮影部は、前記ゲーム装置に固定されるカメラにより前記プレイヤーの顔を撮影し、
前記ゲーム装置は前記プレイヤーに把持される
ことを特徴とするゲーム装置。
【請求項３】
請求項１または２に記載のゲーム装置であって、
前記推定部は、前記取得された画像において前記プレイヤーの顔が含まれる位置と、当該プレイヤーの顔における当該プレイヤーの目の位置および瞳の位置と、を推定し、
前記変換部は、前記推定された前記プレイヤーの顔、目ならびに瞳の位置を、前記画面内において前記注目位置を表す画像が表示される位置に変換する
ことを特徴とするゲーム装置。
【請求項４】
請求項１または２に記載のゲーム装置であって、
前記変換部は、前記推定された位置の履歴の第１の減衰平均を求め、当該第１の減衰平均に、前記撮影された画像の左右を反転する座標変換を適用することにより、第１の適用済位置を得て、当該第１の適用済位置を前記変換された位置とする
ことを特徴とするゲーム装置。
【請求項５】
請求項４に記載のゲーム装置であって、
前記推定部は、前記取得された画像において前記プレイヤーの顔が含まれる領域の大きさを推定し、
前記変換部は、前記座標変換の拡大率を、前記推定された領域の大きさに基づいて変化させる
ことを特徴とするゲーム装置。
【請求項６】
請求項４または５に記載のゲーム装置であって、
前記変換部は、前記推定された位置の履歴の第２の減衰平均を、前記第１の減衰平均とは異なる減衰度で求め、当該第２の減衰平均に前記座標変換を適用することにより、第２の適用済位置を得て、
前記表示部は、前記画面内の前記第２の適用済位置を注視するキャラクターの顔の画像を表示する
ことを特徴とするゲーム装置。
【請求項７】
請求項１から５のいずれか１項に記載のゲーム装置であって、
前記表示部は、前記プレイヤーがいずれかを選択すべき当該複数の項目を、前記画面内に表示し、
前記複数の項目のそれぞれについて、当該項目が前記画面内に表示される領域に、前記変換された位置が、当該項目に対応付けられる閾時間だけ連続して含まれたことが検知されると、当該項目を前記プレイヤーが選択した項目として出力する選択部
をさらに備えることを特徴とするゲーム装置。
【請求項８】
請求項７に記載のゲーム装置であって、
前記複数の項目からいずれかを、前記プレイヤーに対する推奨項目として決定する決定部
をさらに備え、
前記推奨項目以外の項目に対応付けられる閾時間は、互いに等しく、前記推奨項目に対応付けられる閾時間と、前記推奨項目以外の項目に対応付けられる閾時間と、は、異なる
ことを特徴とするゲーム装置。
【請求項９】
請求項８に記載のゲーム装置であって、
前記表示部は、前記推奨項目を注視するキャラクターの顔の画像を表示する
ことを特徴とするゲーム装置。
【請求項１０】
通信可能に接続された２つのゲーム装置からなるゲームシステムであって、
当該２つのゲーム装置は、いずれも、請求項８または９に記載のゲーム装置であり、
前記２つのゲーム装置のそれぞれにおいて、前記決定部は、当該ゲーム装置の通信相手のゲーム装置において変換された位置に表示される項目を、当該ゲーム装置のプレイヤーに対する推奨項目とする
ことを特徴とするゲームシステム。
【請求項１１】
表示部、撮影部、推定部、変換部を備えるゲーム装置が実行するゲーム装置の制御方法であって、
前記表示部が、プレイヤーに提示すべき情報を画面に表示する表示工程、
前記撮影部が、前記プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する撮影工程、
前記推定部が、前記取得された画像において前記プレイヤーの顔が含まれる位置を推定する推定工程、
前記変換部が、前記推定された位置を、前記画面内の位置に変換する変換工程
を備え、
前記表示工程では、前記画面内の前記変換された位置に、前記プレイヤーの注目位置を表す画像を表示する
ことを特徴とするゲーム装置の制御方法。
【請求項１２】
コンピュータを、
前記プレイヤーに提示すべき情報を画面に表示する表示部、
前記プレイヤーの顔を撮影して、当該撮影されたプレイヤーの顔を含む画像を取得する撮影部、
前記取得された画像において前記プレイヤーの顔が含まれる位置を推定する推定部、
前記推定された位置を、前記画面内の位置に変換する変換部
として機能させるプログラムであって、前記プログラムは、前記コンピュータにおいて、
前記表示部が、前記画面内の前記変換された位置に、前記プレイヤーの注目位置を表す画像を表示する
ように機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２４６８０９（Ｐ２０１０−２４６８０９Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−１０１４４６（Ｐ２００９−１０１４４６）
【出願日】平成２１年４月１７日（２００９．４．１７）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１７日（２００９．４．１７）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
[ Back to top ]