観客応援表示機能を有する対戦ゲーム機
【課題】プレイヤの背後に映るギャラリーにマスクを表示し、このマスクを装着したギャラリーが２人以上画面に存在した際に、２人が一定以内の距離に近づくと、２人の周辺にメッセージ性のある垂れ幕風の絵などを表示し、対戦相手に対してアピールすることができる観客応援表示機能を有する対戦ゲーム機を提供する。
【解決手段】ＣＣＤカメラ４で撮影され、マスクしたプレイヤの画像がメインモニタ２に表示されるとともに撮影範囲に入ったギャラリーもマスクをして表示される。プレイヤがパンチパッド６にパンチグローブ９で打撃すると、相手プレイヤにダメージを与えることができる。２人のギャラリーが所定の距離内に近づくとその近辺に応援のためのメッセージが表示される。
【解決手段】ＣＣＤカメラ４で撮影され、マスクしたプレイヤの画像がメインモニタ２に表示されるとともに撮影範囲に入ったギャラリーもマスクをして表示される。プレイヤがパンチパッド６にパンチグローブ９で打撃すると、相手プレイヤにダメージを与えることができる。２人のギャラリーが所定の距離内に近づくとその近辺に応援のためのメッセージが表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤカメラでゲームプレイヤおよびギャラリー（観客）を実写しその映像をモニタに表示し、顔検出センサ（市販の顔検出ツール）を用いることによりプレイヤおよびギャラリーの顔を認識してマスクで覆い、複数のギャラリーが所定の位置条件になったときプラカード風に文字や絵などを画面に表示する観客応援表示機能を有する対戦ゲーム機に関する。
【背景技術】
【０００２】
モニタ上に自らのキャラクタや相手キャラクタを表示し、パンチやキックなどを繰り出し、相手にダメージを与えて勝敗を決する対戦型格闘ゲーム機が広く普及している。
従来の対戦型ゲーム機は、対戦相手を模したキャラクタと自らを示すキャラクタをそれぞれのモニタに表示し、各プレイヤは相手のキャラクタの動作状態を見ながらジョイスティック，各ボタンを操作することにより自らのキャラクタの各部位を動かして相手に打撃を与え、相手ゲージのレベルを「０」にすることにより相手を倒すものが一般的である。
【０００３】
モニタ上に第１の遊戯者に割り当てられた第１のキャラクタと第２の遊戯者に割り当てられたキャラクタを表示し格闘する対戦型格闘ゲーム機が提案されている（特許文献１）。これは一方のキャラクタの他者攻撃動作に伴って他方のキャラクタに攻撃回避動作を行わせる際の遊戯者の判断力を鈍らせる機能を備えたことを特徴とするものである。また、遊戯者同志に多彩で奥深い対戦の駆け引きを行わせることを可能とするものでる。そのために一方の遊戯者に割り当てられた一方のキャラクタに関する他者攻撃動作の開始時の動画映像と音声との信号間に所定の時間差を生成し、当該時間差を得た状態の動画映像信号及び音声信号を、それぞれ、他方の遊戯者に割り当てられたゲーム画像表示手段およびゲーム音声放音手段に供給する時間差生成処理手段と、この時間差生成処理手段を機能させる外部命令の実行及びその解除に関する各モードを、２人の遊戯者にそれぞれ選択させるためのモード選択手段を具備することにより遊戯者自身に操作のテクニックを利用してゲームの内容を多彩で奥深いものにするものである。
【特許文献１】特開２００５−３２８８５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、本件発明者は、この種の対戦ゲームにおいて、お金を入れて遊んでいるプレイヤ以外も「応援」という形でゲームに参加することができないかを考えた。
また、プレイヤ以外のものが画面を見る対戦相手にメッセージ性のあるアピールをすることが出来ないかを考えた。
【０００５】
本発明の目的は、プレイヤの背後に映るギャラリー（観客）に「マスク」を表示し、このマスクを装着したギャラリーが２人以上画面に存在した際に、２人が一定以内の距離に近づくと、２つのパーツの周辺にメッセージ性のある画像パーツ（垂れ幕風の絵など）を表示し、対戦相手に対してアピールすることができる観客応援表示機能を有する対戦ゲーム機を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するために本発明の請求項１の発明は対戦相手を表示部に表示させ、相手と対戦を行う対戦ゲーム機において、プレイヤおよびプレイヤ背後で観戦するギャラリーをゲーム機前面側から撮影するカメラと、前記カメラが撮影した画像からプレイヤおよびギャラリーの顔を検出する顔認識手段と、検出したプレイヤの顔およびギャラリーの顔にマスクを表示するマスク装着手段と、対戦ゲームプレイ中にマスク装着表示の２人のギャラリーが所定の距離内に近づいたとき、所定のメッセージフレーズを前記表示部に表示するメッセージフレーズ表示手段と、カメラで撮影したマスク装着表示のプレイヤおよびギャラリーの画像を対戦相手のゲーム機に送り、対戦相手の表示部に表示させる送信手段とを備えたことを特徴とする。
本発明の請求項２記載の発明は請求項１記載の発明において前記マスク装着表示の２人のギャラリーが所定の距離内に近づいたとき表示されたメッセージフレーズは、所定の距離より離れたとき表示部から消去することを特徴とする。
本発明の請求項３記載の発明は請求項１または２記載の発明において前記マスク装着表示の２人のギャラリーが所定の距離内に近づいたとき、一方のギャラリーが他方のギャラリーの右側から近づいたときと、左側から近づいたとき表示されるメッセージ内容は異なるメッセージを表示することを特徴とする。
本発明の請求項４記載の発明は、請求項１，２または３記載の発明において前記対戦ゲーム機は、パンチパッドを有し、該パンチパッドにプレイヤがパンチを加えることにより、相手にダメージを与える対戦格闘ゲーム機であることを特徴とする。
本発明の請求項５記載の発明は、請求項１，２，３または４記載の発明においてゲーム機の最上部に相手ゲーム機で撮影した画像と、自ゲーム機で撮影した画像を表示するギャラリー観戦用表示部を設けたことを特徴とする。
なお、上記顔認識手段としては人物の「顔面」をセンシングし、センシングに２Ｄキャラを被せて追従させる技術が確立している。顔面のセンシングは主にＣＣＤカメラを使い、投影された顔面より「眼」と「口」の位置関係を検出する方法（市販の顔検出ツール技術）などが用いられている。
【発明の効果】
【０００７】
上記構成によれば、ゲームをプレイしているプレイヤ以外のギャラリーも無料でゲームに参加でき、プレイヤをゲームの中から応援することができる。これによりプレイヤが対戦相手に対し優位な態度がとることができる。また 顔面認証を「表示」，「移動」だけではなく、ゲームを盛り上げる「効果」へ結びつける構成（ギャラリーが応援のためのメッセージなどの表示を行うこと）にすることによりゲームプレイするプレイヤが一層の感情移入することが可能となる。
なお、顔面を２Ｄ画像で覆うことにより、投影されたプレイヤおよびギャラリーのプライバシーを守ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面等を参照して本発明の実施の形態を詳しく説明する。
図１は、本発明による観客応援表示機能を有する対戦ゲーム機の外観を示す概略図で、対戦格闘ゲーム機の例を示している。
対戦格闘ゲーム機１筐体の中央に相手プレイヤを投影しゲーム画面を表示するメインモニタ２が配置されている。メインモニタ２の上に種々の色を点灯したり、点滅したりするイルミネーション５が設けられている。さらにその上にプレイヤとギャラリーを実写するためのＣＣＤカメラ４が配置されている。
【０００９】
メインモニタ２の前部に打撃を体感する２つのパンチパッド６，７が配置され、ゲーム機１筐体の左右側面にパッチパッドを打つためのパンチグローブ９が掛けられている。
ゲームを開始すると、パンチパッド６，７はモータ制御により自動で起き上がり、ゲーム終了により元の位置、すなわち後方に倒れる。さらにパンチパッド６，７の前面側中央にコイン投入部１１が、その両側に操作ボタン１２，１２が配置されている。
ＣＣＤカメラ４の上に、ギャラリーを観戦させるためのサブモニタ３が設けられている。左側のサブモニタ３ａは当該プレイヤおよびそのギャラリーを映し出すものである。右側のサブモニタ３ｂは相手プレイヤおよびそのギャラリーを映し出すものである。
【００１０】
図２に実際にプレイヤがパンチ格闘ゲームを行っている状態を示す。
プレイヤ１０はパンチグローブを装着し左パンチを繰り出し、左側のパンチパッド７に打撃を与えている状態を示している。パンチパッド７は立ち上がった状態では、図示しないバネにより前方方向に付勢力が加えられている。このためプレイヤ１０がパンチを加えると図示するようにパンチパッド７はプレイヤのパンチの衝撃によって後方に倒れるが、プレイヤがパンチを引くとパンチパッド７は元の位置に復元し立ち上がる。
ガード１３は、プレイヤがパンチを繰り出したとき、勢い余って他の方向にパンチが振れた場合や他の方向に影響を及ぼさないようにするため、さらにパンチ格闘ゲーム機であることを注目させるために設けたものである。
【００１１】
図３Ａ，図３Ｂは第１および第２の対戦格闘ゲーム機のギャラリーの撮影状態を示す図である。
図３Ａは１Ｐ（第１のゲーム機）筐体のプレイヤ１０ａがゲームを行っているときに、３人のギャラリー２１，２２，２３が集まりＣＣＤカメラ４ａのＣＣＤカメラ撮影範囲１４ａ内に入っている状態が示されている。一方、図３Ｂは２Ｐ（第２のゲーム機）筐体のプレイヤ１０ｂがゲームを行っているときに、３人のギャラリー２４，２５，２６が集まりＣＣＤカメラ４ｂのＣＣＤカメラ撮影範囲１４ｂ内に入っている状態が示されている。このようにギャラリーがゲーム中にＣＣＤカメラ撮影範囲内に入った場合、ギャラリーもプレイヤ同様に画面に表示される。
【００１２】
図４Ａ，図４Ｂは第１および第２の対戦格闘ゲーム機でギャラリーを背景にして格闘している状態を示す図である。
図４Ａは３人のギャラリーが集まっている状態でプレイヤがパンチを繰り出しており、その撮影画像は、サブモニタ３０１ａに表示され、相手を撮影した画像がサブモニタ３０１ｂに表示されている。メインモニタ２０１には相手側の画面が表示されている。図４Ｂは１人のギャラリーが集まっている状態でプレイヤがパンチを繰り出しており、その撮影画像は、図４Ａと同様、サブモニタ３０２ａに表示され、相手を撮影した画像がサブモニタ３０２ｂに表示されている。ギャラリーはサブモニタを見ることによりこちらのプレイヤの状況および相手プレイヤの状況を把握し観戦することができる。メインモニタ２０２には相手側の画面が表示されている。
【００１３】
図５Ａは、本発明による観客応援表示機能を有する対戦ゲーム機の回路の実施の形態を示すブロック図である。
コイン投入部１１からコインが投入されるとコインが検出され、その情報はコイン関連装置３２，入出力制御部３４を介してＣＰＵ３５に伝達される。コイン投入の状態、すなわちコイン数・プレイ数などの設定値はバックアップメモリ３３に格納される。
パンチパッド６とパンチパッド７にはそれぞれ加速度センサ６ａ，７ａが内蔵され、加速度センサ６ａ，７ａに加えられたパンチ衝撃が衝撃検出器３１により数値で検知され、検知された数値は入出力制御部３４を介してＣＰＵ３５に送られる。また、操作部１２の操作情報も入出力制御部３４を介してＣＰＵ３５に送られる。
【００１４】
パンチパッド駆動回路３８はゲーム開始時にＣＰＵ３５からの指令によりパンチパッド立ち上げ駆動モータ３９を駆動し、待ち受け状態では倒れているパンチパッドを立ち上げる。またゲーム終了時にＣＰＵ３５からの指令により立ち上がっているパンチパッドを倒す。ＣＣＤカメラ４はカメラ制御部３０からの制御に基づき撮影範囲の撮影を行い、取り入れたギャラリーやプレイヤの実写映像をＣＰＵ３５に送る。
画像処理部４０はゲーム制御部３５ａの制御の下に、待ち受け時にはモニタ２にＣＣＤカメラ４の撮影範囲に入ったギャラリーを表示する待ち画面を表示しており、コイン投入によりゲーム開始のメニュー画面を表示し、マスク選択画面，対戦相手を選ぶための画面やパンチゲーム対戦のための相手プレイヤおよびそのギャラリーの姿をモニタに表示する。また、ゲーム開始により自らのプレイヤおよびそのギャラリーと、相手のプレイヤおよびそのギャラリーの画面をサブモニタ３に表示する。
【００１５】
ＲＯＭ３６はゲーム機筐体全体を制御する制御プログラム，ＣＣＤカメラで撮影した画像をエッジ画像に変換するエッジ画像変換プログラム，顔認識パターンとエッジ画像のマッチング処理を行うマッチング処理プログラム，ギャラリーによるメッセージを表示するメッセージ表示プログラム，パンチゲームを実行するパンチゲームプログラムおよび該ゲーム機に必要なデータが格納されている。また、マッチング処理の時に比較する多数の顔認識パターンが格納されている。ＲＡＭ３７はゲーム制御部，マッチング処理などで行う演算，処理の作業エリアとして用いられるとともにゲーム中の操作情報などが格納される。
【００１６】
ＣＰＵ３５はＲＯＭ３６から制御プログラム，エッジ画像変換プログラム，マッチング処理プログラム，メッセージ表示プログラム，パンチゲームプログラムを読み込むことによりゲーム制御部３５ａ，エッジ画像変換部３５ｂ，マッチング処理部３５ｃ，メッセージ表示制御部３５ｄ，パンチゲーム実行部３５ｅの機能を実現する。
【００１７】
ゲーム制御部３５ａは、ゲーム機の待ち受け状態でのメインモニタ２，サブモニタ３の待ち受け画面制御，バトルゲーム開始時の制御，バトルゲーム実行時の制御，ゲーム終了時の制御等を行う。
エッジ画像変換部３５ｂは、ＣＣＤカメラ４から取り入れた画像をエッジ画像に変換する処理を行う。マッチング処理部３５ｃはエッジ画像変換部３５ｂで変換したエッジ画像と大きさが異なる多数の顔認識パターンと照合をとる。すなわち、各大きさの顔認識パターンについて顔認識パターンを構成する目の形状，鼻の形状，口の形状と一致するか否かを判定し、顔認識パターンの各形状部の描画位置が実写したエッジ画像の描画位置と所定の許容範囲内であれば顔と認識する。この時認識した顔の画面位置（Ｘ，Ｙ）も検出する。
メッセージ表示制御部３５ｄは顔認識した２人以上のギャラリーの内のいずれか２人の顔が所定の距離に近づいたとき、その近づき方に対応してそれぞれ異なる応援のためのメッセージ（絵なども可能）を発するように制御する。パンチゲーム実行部３５ｅはパンチゲーム開始後に、相手プレイヤに対し交互に繰り出す自らのプレイヤがパンチを出したとき、検知されるその打撃の強さによってプレイヤにダメージを与えてモニタ上の体力ゲージを減少させるなどの処理をパンチゲーム終了まで行う。
【００１８】
表１にメッセージ表示制御部３５ｄが表示するメッセージフレーズの例を示す。
２人のギャラリーが所定の距離内に近づく場合、両者の近づく方向によって（イ）（ロ）（ハ）（ニ）に分類される。各分類においてダメージの受けている比率と勝利時と敗退時とによってそれぞれ異なるメッセージが表示される。
例えば、ギャラリーＡが右からギャラリーＢに近づいた場合、（イ）に該当し、ダメージが４／４である場合、「ガンバレ！」が、勝利時は「さすがだ！」が表示される。
【表１】
【００１９】
図５Ｂは顔認識処理の工程を説明するためのブロック図である。
ＲＯＭに顔認識のための目，鼻，口の形状のパターンが格納されている。目，鼻，口の形状の大きさが大から小までの複数種類に分けられた多数の顔認識パターンである。したがって、例えば、ギャラリーが遠くの位置でＣＣＤ撮影範囲に入った場合、ギャラリーの認識される顔の画像は小さく、また、近づいた位置でＣＣＤ撮影範囲に入った場合は、ギャラリーの認識される顔の画像は大きく、いずれの大きさの顔の場合でも、確実に認識できるようになっている。
ＣＣＤカメラでは撮影処理がなされ、撮影画像がエッジ画像に変換され、エッジで表現した線画の画像となる。この線画の画像は、ＲＯＭの顔認識パターンと照合され、顔認識パターンと一致すれば、一致した顔の位置の情報が出力され、マスク表示処理の前処理で、プレイヤの顔か、ギャラリーの顔かを判別し、プレイヤの顔であるならば、プレイヤが選択したマスクを認識されたプレイヤの顔に被せる。また、ギャラリーの顔であるならば、ギャラリー用のマスクを認識されたギャラリーの顔に被せる。そして、２人のギャラリーが所定の距離内に近づいたとき、近づく方向によって、それぞれ対応するメッセージなどを表示する。
【００２０】
図６はモニタの相手プレイヤ表示画面と自プレイヤの対戦状況を示す図で、図７はモニタの相手プレイヤ表示画面の一例を示す図である。
図６において、プレイヤ１０ａがパンチグローブを装着した状態でメインモニタを見ており、メインモニタの中央にマスクを付けた相手プレイヤが表示され、その後方に相手プレイヤを応援するギャラリーのメッセージ「やっちまえ！」「ガンバレ！」が表示されている。また、メインモニタの上部に体力ゲージ４３が表示され、中央から左側には第１のプレイヤ（１Ｐ）のゲージが、中央から右側には第２のプレイヤ（２Ｐ）のゲージがそれぞれ表示されている。相手からダメージを受けると、受けたダメージの大きさの分、ゲージのレベルが減少する。体力ゲージ４３の中央の上にはタイム表示４１があり、「６０」秒の数値が表示され、この値はカウントダウンされる。タイム表示が「０」になれば、ゲームオーバとなる。相手プレイヤ１０ｂの手前には相手のパンチパッド４９，５０が表示されている。
【００２１】
図８は、対戦パンチゲームの流れに対しプレイヤマスクおよびギャラリーマスク表示タイミングの関係を説明するためのフローチャートである。
コインが投入されていない状態ではゲーム制御部３５ａの制御の下、デモ画面が表示され、ゲームの概要やデモンストレーションが表示される（ステップ（以下「Ｓ」という）００１）。また、タイトル画面も表示する（Ｓ００２）。待ち受け画面でもＣＣＤカメラ４は撮影を行っており撮影範囲に入ったギャラリーが存在すると、そのギャラリーの顔を認識してマスクを表示する処理を行っている（Ｓ２０１）。そして、ギャラリーが撮影範囲から外れた場合、ギャラリー自体画面上から消えるため、ギャラリーマスク表示を外す（消去する）処理を行う（Ｓ２０２）。図９Ｄにデモ待ち受け時の処理の流れを示している。
【００２２】
つぎにコインを投入すると、ゲーム制御部３５ａはゲーム開始のためのメニュー画面を表示し、その１つとしてマスク選択画面が表示される（Ｓ００３）。プレイヤは、自らが装着するマスクを多数の種類のものから選択することができる。プレイヤは操作部１２を操作することによりマスク選択画面に表示される多数のマスクの一つを選択する。これによりプレイヤの姿は選択されたマスクがプレイヤに装着されてメインモニタ２に表示され、プレイヤがＣＣＤカメラ４の撮影範囲にいる限り、その顔位置の移動（変化）を検知してマスクを装着し続ける（Ｓ１０１）。図９Ａ，図９Ｂにこの処理の流れを示している。
【００２３】
ついで、ゲーム制御部３５ａは相手検索画面を表示し、プレイヤが相手検索画面より相手検索の操作をすると、その情報は通信部５０，ネットワーク５１を介してサーバ装置に送られる。サーバ装置にはこのゲームに対する相手を検索している情報が他のゲーム機からも送られてくるため、サーバ装置は、対戦相手を探しているゲーム機の名前などの情報をゲーム機のメインモニタに表示する。プレイヤはその相手を選択すれば対戦相手を決定することができる（Ｓ００４）。この処理をしている間、検索のための画面が表示されプレイヤの姿が表示されないため、プレイヤのマスク表示を外す処理がなされる（Ｓ１０２）。
【００２４】
対戦相手が決定するとゲーム制御部３５ａはゲームを開始する（Ｓ００５）。ゲーム開始後はパンチゲーム実行部３５ｅがプレイヤの操作に従ってパンチゲームを進行させる。 ゲームが開始すると、ＣＣＤカメラ４，エッジ画像変換部３５ｂ，マッチング処理部３５ｃによって、プレイヤおよびギャラリー（カメラ撮影範囲に入っていれば）の実写の画像を取り入れ、顔認識を行い、プレイヤおよびギャラリーにマスクを装着する（Ｓ１０３，Ｓ２０３）。ゲーム中にさらに新しいギャラリーがＣＣＤカメラ４の撮影範囲に入れば、そのギャラリーに対しても顔認識を行ってマスクを装着する（Ｓ２０４）。
さらに２人のギャラリーが一定の距離以下になった場合、近づき方によってそれぞれことなる応援のためのメッセージなどが表示される。
【００２５】
パンチゲームを行って結果画面が表示された場合、ゲーム制御部３５ａは勝ち負けを判定する（Ｓ００６）。対戦相手に勝利した場合（Ｓ００７）、つぎの対戦相手を検索するＳ００４に移行する。対戦相手に敗退した場合（Ｓ００８）、ゲームオーバとなって（Ｓ００９）、デモ画面へと戻る。
ゲームオーバまではプレイヤおよびギャラリーにそれぞれマスクが装着され、２人のギャラリーが一定の距離に近づいた場合、近づき方によって異なるメッセージなどを表示する処理は行われ、ゲームオーバによってプレイヤおよびギャラリーへのマスクは外される（Ｓ１０４，Ｓ２０５）。
【００２６】
図９Ａは、ＣＣＤカメラの画像取入から顔認識までの流れを説明するためのフローチャートである。
この処理はゲームがスタートしたときから開始する。ＣＣＤカメラ４はプレイヤやギャラリーを検知し顔を認識するため画像を取り込む（Ｓ４０１）。エッジ画像変換部３５ｂは取り込んだ画像を線画にするために画像内のエッジ部分を検出し（Ｓ４０２）、取り込んだ画像をエッジ画像に変換する（Ｓ４０３）。制御はマッチング処理部３５ｃに渡され、マッチング処理部３５ｃはＲＯＭ３６より顔認識パターンを読み出し、読み出した顔認識パターンをエッジ画像の一定の領域で表示される線画と照合する。そして線画を形成する部分と顔認識パターンの対応する領域とのズレの値を算出する（Ｓ４０４）。算出したズレの値が所定内の数値であるか否かを判定し（Ｓ４０５）、所定の数値以内であれば、線画を形成する部分は顔であると認識する（Ｓ４０６）。
【００２７】
そしてエッジ画像のすベての範囲について顔認識を行ったか否かを判定する（Ｓ４０７）。一方、Ｓ４０５で所定の数値内のズレの値でなければ、Ｓ４０７の判定に移行する。Ｓ４０７において、エッジ画像のすべての範囲について顔認識の処理を行っていなければ、Ｓ４０４に戻り、エッジ画像のつぎの領域についての顔認識処理に移行する。エッジ画像の各領域の顔認識処理は第１の顔認識パターンから行われるが、各領域で顔認識されなければ、第ｎの顔認識パターンまで使用して顔認識処理を行う。
顔認識された場合、認識された顔は１人か、または２人以上かを判定し（Ｓ４０８）、１人であれば、プレイヤの顔であると認識する（Ｓ４１１）。一方、Ｓ４０８において、認識された顔が２人以上である場合、それぞれの顔は他のものに比較し最も大きいか否かを判定する（Ｓ４０９）。最も大きい顔はプレイヤの顔と認識する（Ｓ４１１）。
最も大きい顔でなければ、ギャラリーの顔と認識する（Ｓ４１０）。
【００２８】
図９Ｂは、プレイヤマスク表示処理の流れを説明するためのフローチャートである。
認識したプレイヤの顔の位置（顔の中心）の算出（Ｘ，Ｙ）を行う（Ｓ５０１）。なお、画像は横をＸn 縦をＹn として位置表示されるので、その算出した位置にマスクを表示すれば、プレイヤの顔にマスクを被せる表示となる。既に図９Ａでプレイヤはマスクの種類を選択しているので、そのマスクの内、大きさが一致するマスクを選択する（Ｓ５０２）。そして大きさが一致したマスクを顔に重ねて表示する（Ｓ５０３）。
【００２９】
ついで、顔認識したプレイヤがＣＣＤカメラ４の撮影範囲から外れたか否かを判断する（Ｓ５０４）。プレイヤがＣＣＤカメラ４の撮影範囲から外れた場合にはプレイヤマスクを画面より消去し（Ｓ５０５）、ゲームオーバか否かの判断に移行する（Ｓ５０８）。一方、プレイヤがＣＣＤカメラ４の撮影範囲内にいる場合は、つぎにプレイヤの顔の位置が移動したか否かを判定する（Ｓ５０６）。顔の位置が移動した場合、選択したマスクの位置を顔の移動位置に追従して重ねる（Ｓ５０７）。これにより常にプレイヤの顔にマスクを被せた状態で表示することができる。つぎはゲームオーバか否かを判定し（Ｓ５０８）、ゲームオーバであれば、プレイヤマスク表示処理を終了する。ゲームオーバでなければ，Ｓ５０４に戻り、プレイヤがＣＣＤカメラ４の撮影範囲から外れたか、移動したかを判定し、プレイヤのマスク表示処理を継続する。
【００３０】
図９Ｃは、ギャラリーマスク表示処理およびメッセージフレーズ表示処理の流れを説明するためのフローチャートである。
ギャラリーの認識した顔についてその位置（Ｘ，Ｙ）を、認識したギャラリーそれぞれについて検出する（Ｓ６０１）。そして、顔検出した位置にギャラリー用マスクを重ねることによりマスク表示する（Ｓ６０２）。
つぎにギャラリーの２人が近づき所定の距離内に近づいたか否かを判定する（Ｓ６０３）。所定の距離内に近づいた場合、メッセージフレーズを表示する（Ｓ６０４）。
【００３１】
メッセージフレーズは２人の近づく過程の相違により表１に示すように異なる文言が表示される。
表１において、例えば（ロ）の場合、ギャラリーＡが左からギャラリーＢに近づいた場合の表示メッセージであり、プレイヤのダメージの状態によって表示されるメッセージが異なる。ダメージを４／４受けているときは「ファイトだ！」が、ダメージを３／４受けているときは「まだまだ！」が、ダメージを２／４受けているときは「ラッシュだ！」が、ダメージを１／４受けているときは「もうヨロヨロだな！」が、勝利したときは「君こそチャンプだ！」が、敗退したときは「ええ〜？」が表示される。
他の（イ）（ハ）（ニ）の場合についても同様に、プレイヤのダメージの状態によって表示されるメッセージが異なる。
【００３２】
図１０にプレイヤを撮影している画面にギャラリーが入った状態の例を、図１１〜図１３にギャラリーが発するメッセージの表示例をそれぞれ示す。
図１０において、ギャラリー６１は画面に入っているため顔にマスクが表示されている。しかしながらギャラリー６０は画面に顔が半分入った状態であり、まだ顔認識がされていないためマスクは表示されていない。
図１１において、マスクを付けたギャラリー６２と６３は所定の距離内にあり、「ガンバレ！」というメッセージ６４がプラカード風に表示されている。また、図１２はギャラリー６６と６７が図１１とは異なる近づき方をしているため、「マケルナ！」というメッセージ６５が表示されている。さらに図１３ではギャラリー７０と７１は所定の範囲内に近づいており、「ファイト！」というメッセージ６９が表示されている。ギャラリーはいずれのギャラリー２人が近づいてもメッセージが表示される。
【００３３】
図９ＣのＳ６０５において、所定の距離内に近づいたギャラリーが所定の距離以上に離れたか否かを判定し、離れていない場合、メッセージを表示し続ける。所定の距離以上に離れた場合はメッセージを消去する（Ｓ６０６）。
つぎに顔認識したギャラリーが画面から外れたか否かを判定する（Ｓ６０７）。ギャラリーが画面から外れていれば、画面よりギャラリーマスクを消去する（Ｓ６０９）。ギャラリーが画面から外れていない場合や、またはＳ６０９の処理の後に、画面内を移動したギャラリーがいるか否かを判定する（Ｓ６０８）。画面内に移動したギャラリーがいる場合、マスク位置をギャラリーの顔の移動位置に追従して表示する（Ｓ６１０）。
画面内に移動したギャラリーがいる場合や、またはＳ６１０の処理の後は、ゲームオーバか否かを判定する（Ｓ６１１）。ゲームオーバであれば、パンチ格闘ゲームは終了する。
【００３４】
ゲームオーバでなければ、ＣＣＤカメラ４より画像を取り込み（Ｓ６１２）、既に顔認識したギャラリー以外のギャラリーが撮影範囲に加わったか否かを判定する（Ｓ６１３）。既に顔認識されたギャラリーの顔の位置は（Ｘ，Ｙ）で把握されており、把握されていない位置に新たなギャラリーの像が生じた場合、新たにギャラリーが加わったと判定する。ついで加わったギャラリーについて顔の認識を行い（Ｓ６１４）、認識した顔位置にギャラリー用マスクを重ねることによりマスク表示を行う（Ｓ６１５）。新たなギャラリーが加わらなかった場合や、加わったギャラリーにマスク表示した後は、Ｓ６０３に戻り、２人のギャラリーが所定の距離内に近づいたか否かの判定に移る。
このようにしてギャラリーマスク表示，メッセージフレーズ表示の処理が行われる。
【００３５】
図９Ｄは、デモ待ち受け時の流れを説明するためのフローチャートである。
Ｓ７０１からＳ７０７までの処理は図９ＡのＳ４０１〜Ｓ４０７までの処理と同じである。エッジ画像のすべての範囲について顔認識を行った場合、認識した顔の位置（Ｘ，Ｙ）を検出し（Ｓ７０８）、顔の位置（Ｘ，Ｙ）にマスクを重ねることによりマスクを表示する（Ｓ７０９）。つぎに顔認識したギャラリーの内、画面から外れた者がいるか判定する（Ｓ７１０）。画面から外れた者がいれば、画面から外れたギャラリーのマスクを画面より消去する（Ｓ７１１）。Ｓ７１０で画面から外れた者がいない場合はＳ７０１に移行する。また、画面から外れたギャラリーのマスクを画面より消去した後も、Ｓ７０１に移行する。このように処理することにより、デモ画面でＣＣＤカメラの撮影範囲に入ったギャラリーにマスクを常に被せることができる。プレイヤに限らずギャラリーにマスクを被せるのは、人物の実像がモニタに表示されるため、その人物のプライバシーを保護するためである。
【００３６】
以上のような構成によって両対戦プレイヤが相手の背後にいる応援ギャラリーやその応援メッセージを見ることにより、相手に対し人気を誇示し、誇示されることにより気分が高揚する等ゲームプレイをより楽しむことが出来るアピール性の高い効果を得ることができる。
以上の実施の形態は、パンチ格闘ゲームの例について説明したが、パンチ格闘ではなく、相手が存在し、その相手をモニタ上に実写できる対戦ゲーム機であれば、本発明を同様に適用できる。
また、顔認識の方法については、顔認識パターンを大小の大きさに対応して複数用意する例を示したが、顔認識のパターンはこのような顔認識パターンでなくてもよく、１つの大きさの顔認識パターンを用意しておき、合致する際に連続的に顔認識パターンの大きさを変えて合致処理を行うこともできる。目，鼻，口の位置関係は確定的な一つのパターンだけではなく、多数の位置関係の顔パターンが存在するため、それに対応するように多数の顔認識パターンを用意することも可能である。
【産業上の利用可能性】
【００３７】
ゲームセンターやイベント会場などに設置される業務用の対戦ゲーム機である。
【図面の簡単な説明】
【００３８】
【図１】本発明による観客応援表示機能を有する対戦ゲーム機の外観を示す概略図で、対戦格闘ゲーム機の例を示している。
【図２】対戦格闘ゲーム機の格闘の方法を説明するための図である。
【図３Ａ】第１対戦格闘ゲーム機のギャラリーの撮影状態を示す図である。
【図３Ｂ】第２対戦格闘ゲーム機のギャラリーの撮影状態を示す図である。
【図４Ａ】第１対戦格闘ゲーム機でギャラリーを背景にして格闘している状態を示す図である。
【図４Ｂ】第２対戦格闘ゲーム機でギャラリーを背景にして格闘している状態を示す図である。
【図５Ａ】本発明による観客応援表示機能を有する対戦ゲーム機の回路の実施の形態を示すブロック図である。
【図５Ｂ】顔認識処理の工程を説明するためのブロック図である。
【図６】相手プレイヤ表示画面と自プレイヤの対戦状況を示す図である。
【図７】相手プレイヤ表示画面の一例を示す図である。
【図８】対戦パンチゲームの流れに対しプレイヤマスクおよびギャラリーマスク表示タイミングの関係を説明するためのフローチャートである。
【図９Ａ】ＣＣＤカメラの画像取入から顔認識までの流れを説明するためのフローチャートである。
【図９Ｂ】プレイヤマスク表示処理の流れを説明するためのフローチャートである。
【図９Ｃ】ギャラリーマスク表示処理およびメッセージフレーズ表示処理の流れを説明するためのフローチャートである。
【図９Ｄ】デモ待ち受け時の流れを説明するためのフローチャートである。
【図１０】プレイヤを撮影している範囲にギャラリーが入ったときの画像例を示す図である。
【図１１】マスクの付いているギャラリーが一定距離に近づいたときのメッセージフレーズの表示例を示す図である。
【図１２】マスクの付いているギャラリーが近づく位置の相違により表示されるメッセージフレーズの表示例を示す図である。
【図１３】マスクの付いているギャラリーが近づく位置の相違により表示されるメッセージフレーズの他の表示例を示す図である。
【符号の説明】
【００３９】
１ 対戦格闘ゲーム機
２ メインモニタ
３ サブモニタ
４，４ａ，４ｂ ＣＣＤカメラ
５ イルミネーション
６，７ パンチパッド
６ａ，７ａ 加速度センサ
８ パネル面
９ パンチグローブ
１０，１０ａ，１０ｂ プレイヤ
１１ コイン投入部
１４ａ，１４ｂ ＣＣＤカメラ撮影範囲
２１，２２，２３，２４，２５，２６ ギャラリー
３０ カメラ制御部
３１ 衝撃検出器
３２ コイン関連装置
３３ バックアップメモリ
３５ ＣＰＵ
３６ ＲＯＭ
３７ ＲＡＭ
【技術分野】
【０００１】
本発明は、ＣＣＤカメラでゲームプレイヤおよびギャラリー（観客）を実写しその映像をモニタに表示し、顔検出センサ（市販の顔検出ツール）を用いることによりプレイヤおよびギャラリーの顔を認識してマスクで覆い、複数のギャラリーが所定の位置条件になったときプラカード風に文字や絵などを画面に表示する観客応援表示機能を有する対戦ゲーム機に関する。
【背景技術】
【０００２】
モニタ上に自らのキャラクタや相手キャラクタを表示し、パンチやキックなどを繰り出し、相手にダメージを与えて勝敗を決する対戦型格闘ゲーム機が広く普及している。
従来の対戦型ゲーム機は、対戦相手を模したキャラクタと自らを示すキャラクタをそれぞれのモニタに表示し、各プレイヤは相手のキャラクタの動作状態を見ながらジョイスティック，各ボタンを操作することにより自らのキャラクタの各部位を動かして相手に打撃を与え、相手ゲージのレベルを「０」にすることにより相手を倒すものが一般的である。
【０００３】
モニタ上に第１の遊戯者に割り当てられた第１のキャラクタと第２の遊戯者に割り当てられたキャラクタを表示し格闘する対戦型格闘ゲーム機が提案されている（特許文献１）。これは一方のキャラクタの他者攻撃動作に伴って他方のキャラクタに攻撃回避動作を行わせる際の遊戯者の判断力を鈍らせる機能を備えたことを特徴とするものである。また、遊戯者同志に多彩で奥深い対戦の駆け引きを行わせることを可能とするものでる。そのために一方の遊戯者に割り当てられた一方のキャラクタに関する他者攻撃動作の開始時の動画映像と音声との信号間に所定の時間差を生成し、当該時間差を得た状態の動画映像信号及び音声信号を、それぞれ、他方の遊戯者に割り当てられたゲーム画像表示手段およびゲーム音声放音手段に供給する時間差生成処理手段と、この時間差生成処理手段を機能させる外部命令の実行及びその解除に関する各モードを、２人の遊戯者にそれぞれ選択させるためのモード選択手段を具備することにより遊戯者自身に操作のテクニックを利用してゲームの内容を多彩で奥深いものにするものである。
【特許文献１】特開２００５−３２８８５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、本件発明者は、この種の対戦ゲームにおいて、お金を入れて遊んでいるプレイヤ以外も「応援」という形でゲームに参加することができないかを考えた。
また、プレイヤ以外のものが画面を見る対戦相手にメッセージ性のあるアピールをすることが出来ないかを考えた。
【０００５】
本発明の目的は、プレイヤの背後に映るギャラリー（観客）に「マスク」を表示し、このマスクを装着したギャラリーが２人以上画面に存在した際に、２人が一定以内の距離に近づくと、２つのパーツの周辺にメッセージ性のある画像パーツ（垂れ幕風の絵など）を表示し、対戦相手に対してアピールすることができる観客応援表示機能を有する対戦ゲーム機を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するために本発明の請求項１の発明は対戦相手を表示部に表示させ、相手と対戦を行う対戦ゲーム機において、プレイヤおよびプレイヤ背後で観戦するギャラリーをゲーム機前面側から撮影するカメラと、前記カメラが撮影した画像からプレイヤおよびギャラリーの顔を検出する顔認識手段と、検出したプレイヤの顔およびギャラリーの顔にマスクを表示するマスク装着手段と、対戦ゲームプレイ中にマスク装着表示の２人のギャラリーが所定の距離内に近づいたとき、所定のメッセージフレーズを前記表示部に表示するメッセージフレーズ表示手段と、カメラで撮影したマスク装着表示のプレイヤおよびギャラリーの画像を対戦相手のゲーム機に送り、対戦相手の表示部に表示させる送信手段とを備えたことを特徴とする。
本発明の請求項２記載の発明は請求項１記載の発明において前記マスク装着表示の２人のギャラリーが所定の距離内に近づいたとき表示されたメッセージフレーズは、所定の距離より離れたとき表示部から消去することを特徴とする。
本発明の請求項３記載の発明は請求項１または２記載の発明において前記マスク装着表示の２人のギャラリーが所定の距離内に近づいたとき、一方のギャラリーが他方のギャラリーの右側から近づいたときと、左側から近づいたとき表示されるメッセージ内容は異なるメッセージを表示することを特徴とする。
本発明の請求項４記載の発明は、請求項１，２または３記載の発明において前記対戦ゲーム機は、パンチパッドを有し、該パンチパッドにプレイヤがパンチを加えることにより、相手にダメージを与える対戦格闘ゲーム機であることを特徴とする。
本発明の請求項５記載の発明は、請求項１，２，３または４記載の発明においてゲーム機の最上部に相手ゲーム機で撮影した画像と、自ゲーム機で撮影した画像を表示するギャラリー観戦用表示部を設けたことを特徴とする。
なお、上記顔認識手段としては人物の「顔面」をセンシングし、センシングに２Ｄキャラを被せて追従させる技術が確立している。顔面のセンシングは主にＣＣＤカメラを使い、投影された顔面より「眼」と「口」の位置関係を検出する方法（市販の顔検出ツール技術）などが用いられている。
【発明の効果】
【０００７】
上記構成によれば、ゲームをプレイしているプレイヤ以外のギャラリーも無料でゲームに参加でき、プレイヤをゲームの中から応援することができる。これによりプレイヤが対戦相手に対し優位な態度がとることができる。また 顔面認証を「表示」，「移動」だけではなく、ゲームを盛り上げる「効果」へ結びつける構成（ギャラリーが応援のためのメッセージなどの表示を行うこと）にすることによりゲームプレイするプレイヤが一層の感情移入することが可能となる。
なお、顔面を２Ｄ画像で覆うことにより、投影されたプレイヤおよびギャラリーのプライバシーを守ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面等を参照して本発明の実施の形態を詳しく説明する。
図１は、本発明による観客応援表示機能を有する対戦ゲーム機の外観を示す概略図で、対戦格闘ゲーム機の例を示している。
対戦格闘ゲーム機１筐体の中央に相手プレイヤを投影しゲーム画面を表示するメインモニタ２が配置されている。メインモニタ２の上に種々の色を点灯したり、点滅したりするイルミネーション５が設けられている。さらにその上にプレイヤとギャラリーを実写するためのＣＣＤカメラ４が配置されている。
【０００９】
メインモニタ２の前部に打撃を体感する２つのパンチパッド６，７が配置され、ゲーム機１筐体の左右側面にパッチパッドを打つためのパンチグローブ９が掛けられている。
ゲームを開始すると、パンチパッド６，７はモータ制御により自動で起き上がり、ゲーム終了により元の位置、すなわち後方に倒れる。さらにパンチパッド６，７の前面側中央にコイン投入部１１が、その両側に操作ボタン１２，１２が配置されている。
ＣＣＤカメラ４の上に、ギャラリーを観戦させるためのサブモニタ３が設けられている。左側のサブモニタ３ａは当該プレイヤおよびそのギャラリーを映し出すものである。右側のサブモニタ３ｂは相手プレイヤおよびそのギャラリーを映し出すものである。
【００１０】
図２に実際にプレイヤがパンチ格闘ゲームを行っている状態を示す。
プレイヤ１０はパンチグローブを装着し左パンチを繰り出し、左側のパンチパッド７に打撃を与えている状態を示している。パンチパッド７は立ち上がった状態では、図示しないバネにより前方方向に付勢力が加えられている。このためプレイヤ１０がパンチを加えると図示するようにパンチパッド７はプレイヤのパンチの衝撃によって後方に倒れるが、プレイヤがパンチを引くとパンチパッド７は元の位置に復元し立ち上がる。
ガード１３は、プレイヤがパンチを繰り出したとき、勢い余って他の方向にパンチが振れた場合や他の方向に影響を及ぼさないようにするため、さらにパンチ格闘ゲーム機であることを注目させるために設けたものである。
【００１１】
図３Ａ，図３Ｂは第１および第２の対戦格闘ゲーム機のギャラリーの撮影状態を示す図である。
図３Ａは１Ｐ（第１のゲーム機）筐体のプレイヤ１０ａがゲームを行っているときに、３人のギャラリー２１，２２，２３が集まりＣＣＤカメラ４ａのＣＣＤカメラ撮影範囲１４ａ内に入っている状態が示されている。一方、図３Ｂは２Ｐ（第２のゲーム機）筐体のプレイヤ１０ｂがゲームを行っているときに、３人のギャラリー２４，２５，２６が集まりＣＣＤカメラ４ｂのＣＣＤカメラ撮影範囲１４ｂ内に入っている状態が示されている。このようにギャラリーがゲーム中にＣＣＤカメラ撮影範囲内に入った場合、ギャラリーもプレイヤ同様に画面に表示される。
【００１２】
図４Ａ，図４Ｂは第１および第２の対戦格闘ゲーム機でギャラリーを背景にして格闘している状態を示す図である。
図４Ａは３人のギャラリーが集まっている状態でプレイヤがパンチを繰り出しており、その撮影画像は、サブモニタ３０１ａに表示され、相手を撮影した画像がサブモニタ３０１ｂに表示されている。メインモニタ２０１には相手側の画面が表示されている。図４Ｂは１人のギャラリーが集まっている状態でプレイヤがパンチを繰り出しており、その撮影画像は、図４Ａと同様、サブモニタ３０２ａに表示され、相手を撮影した画像がサブモニタ３０２ｂに表示されている。ギャラリーはサブモニタを見ることによりこちらのプレイヤの状況および相手プレイヤの状況を把握し観戦することができる。メインモニタ２０２には相手側の画面が表示されている。
【００１３】
図５Ａは、本発明による観客応援表示機能を有する対戦ゲーム機の回路の実施の形態を示すブロック図である。
コイン投入部１１からコインが投入されるとコインが検出され、その情報はコイン関連装置３２，入出力制御部３４を介してＣＰＵ３５に伝達される。コイン投入の状態、すなわちコイン数・プレイ数などの設定値はバックアップメモリ３３に格納される。
パンチパッド６とパンチパッド７にはそれぞれ加速度センサ６ａ，７ａが内蔵され、加速度センサ６ａ，７ａに加えられたパンチ衝撃が衝撃検出器３１により数値で検知され、検知された数値は入出力制御部３４を介してＣＰＵ３５に送られる。また、操作部１２の操作情報も入出力制御部３４を介してＣＰＵ３５に送られる。
【００１４】
パンチパッド駆動回路３８はゲーム開始時にＣＰＵ３５からの指令によりパンチパッド立ち上げ駆動モータ３９を駆動し、待ち受け状態では倒れているパンチパッドを立ち上げる。またゲーム終了時にＣＰＵ３５からの指令により立ち上がっているパンチパッドを倒す。ＣＣＤカメラ４はカメラ制御部３０からの制御に基づき撮影範囲の撮影を行い、取り入れたギャラリーやプレイヤの実写映像をＣＰＵ３５に送る。
画像処理部４０はゲーム制御部３５ａの制御の下に、待ち受け時にはモニタ２にＣＣＤカメラ４の撮影範囲に入ったギャラリーを表示する待ち画面を表示しており、コイン投入によりゲーム開始のメニュー画面を表示し、マスク選択画面，対戦相手を選ぶための画面やパンチゲーム対戦のための相手プレイヤおよびそのギャラリーの姿をモニタに表示する。また、ゲーム開始により自らのプレイヤおよびそのギャラリーと、相手のプレイヤおよびそのギャラリーの画面をサブモニタ３に表示する。
【００１５】
ＲＯＭ３６はゲーム機筐体全体を制御する制御プログラム，ＣＣＤカメラで撮影した画像をエッジ画像に変換するエッジ画像変換プログラム，顔認識パターンとエッジ画像のマッチング処理を行うマッチング処理プログラム，ギャラリーによるメッセージを表示するメッセージ表示プログラム，パンチゲームを実行するパンチゲームプログラムおよび該ゲーム機に必要なデータが格納されている。また、マッチング処理の時に比較する多数の顔認識パターンが格納されている。ＲＡＭ３７はゲーム制御部，マッチング処理などで行う演算，処理の作業エリアとして用いられるとともにゲーム中の操作情報などが格納される。
【００１６】
ＣＰＵ３５はＲＯＭ３６から制御プログラム，エッジ画像変換プログラム，マッチング処理プログラム，メッセージ表示プログラム，パンチゲームプログラムを読み込むことによりゲーム制御部３５ａ，エッジ画像変換部３５ｂ，マッチング処理部３５ｃ，メッセージ表示制御部３５ｄ，パンチゲーム実行部３５ｅの機能を実現する。
【００１７】
ゲーム制御部３５ａは、ゲーム機の待ち受け状態でのメインモニタ２，サブモニタ３の待ち受け画面制御，バトルゲーム開始時の制御，バトルゲーム実行時の制御，ゲーム終了時の制御等を行う。
エッジ画像変換部３５ｂは、ＣＣＤカメラ４から取り入れた画像をエッジ画像に変換する処理を行う。マッチング処理部３５ｃはエッジ画像変換部３５ｂで変換したエッジ画像と大きさが異なる多数の顔認識パターンと照合をとる。すなわち、各大きさの顔認識パターンについて顔認識パターンを構成する目の形状，鼻の形状，口の形状と一致するか否かを判定し、顔認識パターンの各形状部の描画位置が実写したエッジ画像の描画位置と所定の許容範囲内であれば顔と認識する。この時認識した顔の画面位置（Ｘ，Ｙ）も検出する。
メッセージ表示制御部３５ｄは顔認識した２人以上のギャラリーの内のいずれか２人の顔が所定の距離に近づいたとき、その近づき方に対応してそれぞれ異なる応援のためのメッセージ（絵なども可能）を発するように制御する。パンチゲーム実行部３５ｅはパンチゲーム開始後に、相手プレイヤに対し交互に繰り出す自らのプレイヤがパンチを出したとき、検知されるその打撃の強さによってプレイヤにダメージを与えてモニタ上の体力ゲージを減少させるなどの処理をパンチゲーム終了まで行う。
【００１８】
表１にメッセージ表示制御部３５ｄが表示するメッセージフレーズの例を示す。
２人のギャラリーが所定の距離内に近づく場合、両者の近づく方向によって（イ）（ロ）（ハ）（ニ）に分類される。各分類においてダメージの受けている比率と勝利時と敗退時とによってそれぞれ異なるメッセージが表示される。
例えば、ギャラリーＡが右からギャラリーＢに近づいた場合、（イ）に該当し、ダメージが４／４である場合、「ガンバレ！」が、勝利時は「さすがだ！」が表示される。
【表１】
【００１９】
図５Ｂは顔認識処理の工程を説明するためのブロック図である。
ＲＯＭに顔認識のための目，鼻，口の形状のパターンが格納されている。目，鼻，口の形状の大きさが大から小までの複数種類に分けられた多数の顔認識パターンである。したがって、例えば、ギャラリーが遠くの位置でＣＣＤ撮影範囲に入った場合、ギャラリーの認識される顔の画像は小さく、また、近づいた位置でＣＣＤ撮影範囲に入った場合は、ギャラリーの認識される顔の画像は大きく、いずれの大きさの顔の場合でも、確実に認識できるようになっている。
ＣＣＤカメラでは撮影処理がなされ、撮影画像がエッジ画像に変換され、エッジで表現した線画の画像となる。この線画の画像は、ＲＯＭの顔認識パターンと照合され、顔認識パターンと一致すれば、一致した顔の位置の情報が出力され、マスク表示処理の前処理で、プレイヤの顔か、ギャラリーの顔かを判別し、プレイヤの顔であるならば、プレイヤが選択したマスクを認識されたプレイヤの顔に被せる。また、ギャラリーの顔であるならば、ギャラリー用のマスクを認識されたギャラリーの顔に被せる。そして、２人のギャラリーが所定の距離内に近づいたとき、近づく方向によって、それぞれ対応するメッセージなどを表示する。
【００２０】
図６はモニタの相手プレイヤ表示画面と自プレイヤの対戦状況を示す図で、図７はモニタの相手プレイヤ表示画面の一例を示す図である。
図６において、プレイヤ１０ａがパンチグローブを装着した状態でメインモニタを見ており、メインモニタの中央にマスクを付けた相手プレイヤが表示され、その後方に相手プレイヤを応援するギャラリーのメッセージ「やっちまえ！」「ガンバレ！」が表示されている。また、メインモニタの上部に体力ゲージ４３が表示され、中央から左側には第１のプレイヤ（１Ｐ）のゲージが、中央から右側には第２のプレイヤ（２Ｐ）のゲージがそれぞれ表示されている。相手からダメージを受けると、受けたダメージの大きさの分、ゲージのレベルが減少する。体力ゲージ４３の中央の上にはタイム表示４１があり、「６０」秒の数値が表示され、この値はカウントダウンされる。タイム表示が「０」になれば、ゲームオーバとなる。相手プレイヤ１０ｂの手前には相手のパンチパッド４９，５０が表示されている。
【００２１】
図８は、対戦パンチゲームの流れに対しプレイヤマスクおよびギャラリーマスク表示タイミングの関係を説明するためのフローチャートである。
コインが投入されていない状態ではゲーム制御部３５ａの制御の下、デモ画面が表示され、ゲームの概要やデモンストレーションが表示される（ステップ（以下「Ｓ」という）００１）。また、タイトル画面も表示する（Ｓ００２）。待ち受け画面でもＣＣＤカメラ４は撮影を行っており撮影範囲に入ったギャラリーが存在すると、そのギャラリーの顔を認識してマスクを表示する処理を行っている（Ｓ２０１）。そして、ギャラリーが撮影範囲から外れた場合、ギャラリー自体画面上から消えるため、ギャラリーマスク表示を外す（消去する）処理を行う（Ｓ２０２）。図９Ｄにデモ待ち受け時の処理の流れを示している。
【００２２】
つぎにコインを投入すると、ゲーム制御部３５ａはゲーム開始のためのメニュー画面を表示し、その１つとしてマスク選択画面が表示される（Ｓ００３）。プレイヤは、自らが装着するマスクを多数の種類のものから選択することができる。プレイヤは操作部１２を操作することによりマスク選択画面に表示される多数のマスクの一つを選択する。これによりプレイヤの姿は選択されたマスクがプレイヤに装着されてメインモニタ２に表示され、プレイヤがＣＣＤカメラ４の撮影範囲にいる限り、その顔位置の移動（変化）を検知してマスクを装着し続ける（Ｓ１０１）。図９Ａ，図９Ｂにこの処理の流れを示している。
【００２３】
ついで、ゲーム制御部３５ａは相手検索画面を表示し、プレイヤが相手検索画面より相手検索の操作をすると、その情報は通信部５０，ネットワーク５１を介してサーバ装置に送られる。サーバ装置にはこのゲームに対する相手を検索している情報が他のゲーム機からも送られてくるため、サーバ装置は、対戦相手を探しているゲーム機の名前などの情報をゲーム機のメインモニタに表示する。プレイヤはその相手を選択すれば対戦相手を決定することができる（Ｓ００４）。この処理をしている間、検索のための画面が表示されプレイヤの姿が表示されないため、プレイヤのマスク表示を外す処理がなされる（Ｓ１０２）。
【００２４】
対戦相手が決定するとゲーム制御部３５ａはゲームを開始する（Ｓ００５）。ゲーム開始後はパンチゲーム実行部３５ｅがプレイヤの操作に従ってパンチゲームを進行させる。 ゲームが開始すると、ＣＣＤカメラ４，エッジ画像変換部３５ｂ，マッチング処理部３５ｃによって、プレイヤおよびギャラリー（カメラ撮影範囲に入っていれば）の実写の画像を取り入れ、顔認識を行い、プレイヤおよびギャラリーにマスクを装着する（Ｓ１０３，Ｓ２０３）。ゲーム中にさらに新しいギャラリーがＣＣＤカメラ４の撮影範囲に入れば、そのギャラリーに対しても顔認識を行ってマスクを装着する（Ｓ２０４）。
さらに２人のギャラリーが一定の距離以下になった場合、近づき方によってそれぞれことなる応援のためのメッセージなどが表示される。
【００２５】
パンチゲームを行って結果画面が表示された場合、ゲーム制御部３５ａは勝ち負けを判定する（Ｓ００６）。対戦相手に勝利した場合（Ｓ００７）、つぎの対戦相手を検索するＳ００４に移行する。対戦相手に敗退した場合（Ｓ００８）、ゲームオーバとなって（Ｓ００９）、デモ画面へと戻る。
ゲームオーバまではプレイヤおよびギャラリーにそれぞれマスクが装着され、２人のギャラリーが一定の距離に近づいた場合、近づき方によって異なるメッセージなどを表示する処理は行われ、ゲームオーバによってプレイヤおよびギャラリーへのマスクは外される（Ｓ１０４，Ｓ２０５）。
【００２６】
図９Ａは、ＣＣＤカメラの画像取入から顔認識までの流れを説明するためのフローチャートである。
この処理はゲームがスタートしたときから開始する。ＣＣＤカメラ４はプレイヤやギャラリーを検知し顔を認識するため画像を取り込む（Ｓ４０１）。エッジ画像変換部３５ｂは取り込んだ画像を線画にするために画像内のエッジ部分を検出し（Ｓ４０２）、取り込んだ画像をエッジ画像に変換する（Ｓ４０３）。制御はマッチング処理部３５ｃに渡され、マッチング処理部３５ｃはＲＯＭ３６より顔認識パターンを読み出し、読み出した顔認識パターンをエッジ画像の一定の領域で表示される線画と照合する。そして線画を形成する部分と顔認識パターンの対応する領域とのズレの値を算出する（Ｓ４０４）。算出したズレの値が所定内の数値であるか否かを判定し（Ｓ４０５）、所定の数値以内であれば、線画を形成する部分は顔であると認識する（Ｓ４０６）。
【００２７】
そしてエッジ画像のすベての範囲について顔認識を行ったか否かを判定する（Ｓ４０７）。一方、Ｓ４０５で所定の数値内のズレの値でなければ、Ｓ４０７の判定に移行する。Ｓ４０７において、エッジ画像のすべての範囲について顔認識の処理を行っていなければ、Ｓ４０４に戻り、エッジ画像のつぎの領域についての顔認識処理に移行する。エッジ画像の各領域の顔認識処理は第１の顔認識パターンから行われるが、各領域で顔認識されなければ、第ｎの顔認識パターンまで使用して顔認識処理を行う。
顔認識された場合、認識された顔は１人か、または２人以上かを判定し（Ｓ４０８）、１人であれば、プレイヤの顔であると認識する（Ｓ４１１）。一方、Ｓ４０８において、認識された顔が２人以上である場合、それぞれの顔は他のものに比較し最も大きいか否かを判定する（Ｓ４０９）。最も大きい顔はプレイヤの顔と認識する（Ｓ４１１）。
最も大きい顔でなければ、ギャラリーの顔と認識する（Ｓ４１０）。
【００２８】
図９Ｂは、プレイヤマスク表示処理の流れを説明するためのフローチャートである。
認識したプレイヤの顔の位置（顔の中心）の算出（Ｘ，Ｙ）を行う（Ｓ５０１）。なお、画像は横をＸn 縦をＹn として位置表示されるので、その算出した位置にマスクを表示すれば、プレイヤの顔にマスクを被せる表示となる。既に図９Ａでプレイヤはマスクの種類を選択しているので、そのマスクの内、大きさが一致するマスクを選択する（Ｓ５０２）。そして大きさが一致したマスクを顔に重ねて表示する（Ｓ５０３）。
【００２９】
ついで、顔認識したプレイヤがＣＣＤカメラ４の撮影範囲から外れたか否かを判断する（Ｓ５０４）。プレイヤがＣＣＤカメラ４の撮影範囲から外れた場合にはプレイヤマスクを画面より消去し（Ｓ５０５）、ゲームオーバか否かの判断に移行する（Ｓ５０８）。一方、プレイヤがＣＣＤカメラ４の撮影範囲内にいる場合は、つぎにプレイヤの顔の位置が移動したか否かを判定する（Ｓ５０６）。顔の位置が移動した場合、選択したマスクの位置を顔の移動位置に追従して重ねる（Ｓ５０７）。これにより常にプレイヤの顔にマスクを被せた状態で表示することができる。つぎはゲームオーバか否かを判定し（Ｓ５０８）、ゲームオーバであれば、プレイヤマスク表示処理を終了する。ゲームオーバでなければ，Ｓ５０４に戻り、プレイヤがＣＣＤカメラ４の撮影範囲から外れたか、移動したかを判定し、プレイヤのマスク表示処理を継続する。
【００３０】
図９Ｃは、ギャラリーマスク表示処理およびメッセージフレーズ表示処理の流れを説明するためのフローチャートである。
ギャラリーの認識した顔についてその位置（Ｘ，Ｙ）を、認識したギャラリーそれぞれについて検出する（Ｓ６０１）。そして、顔検出した位置にギャラリー用マスクを重ねることによりマスク表示する（Ｓ６０２）。
つぎにギャラリーの２人が近づき所定の距離内に近づいたか否かを判定する（Ｓ６０３）。所定の距離内に近づいた場合、メッセージフレーズを表示する（Ｓ６０４）。
【００３１】
メッセージフレーズは２人の近づく過程の相違により表１に示すように異なる文言が表示される。
表１において、例えば（ロ）の場合、ギャラリーＡが左からギャラリーＢに近づいた場合の表示メッセージであり、プレイヤのダメージの状態によって表示されるメッセージが異なる。ダメージを４／４受けているときは「ファイトだ！」が、ダメージを３／４受けているときは「まだまだ！」が、ダメージを２／４受けているときは「ラッシュだ！」が、ダメージを１／４受けているときは「もうヨロヨロだな！」が、勝利したときは「君こそチャンプだ！」が、敗退したときは「ええ〜？」が表示される。
他の（イ）（ハ）（ニ）の場合についても同様に、プレイヤのダメージの状態によって表示されるメッセージが異なる。
【００３２】
図１０にプレイヤを撮影している画面にギャラリーが入った状態の例を、図１１〜図１３にギャラリーが発するメッセージの表示例をそれぞれ示す。
図１０において、ギャラリー６１は画面に入っているため顔にマスクが表示されている。しかしながらギャラリー６０は画面に顔が半分入った状態であり、まだ顔認識がされていないためマスクは表示されていない。
図１１において、マスクを付けたギャラリー６２と６３は所定の距離内にあり、「ガンバレ！」というメッセージ６４がプラカード風に表示されている。また、図１２はギャラリー６６と６７が図１１とは異なる近づき方をしているため、「マケルナ！」というメッセージ６５が表示されている。さらに図１３ではギャラリー７０と７１は所定の範囲内に近づいており、「ファイト！」というメッセージ６９が表示されている。ギャラリーはいずれのギャラリー２人が近づいてもメッセージが表示される。
【００３３】
図９ＣのＳ６０５において、所定の距離内に近づいたギャラリーが所定の距離以上に離れたか否かを判定し、離れていない場合、メッセージを表示し続ける。所定の距離以上に離れた場合はメッセージを消去する（Ｓ６０６）。
つぎに顔認識したギャラリーが画面から外れたか否かを判定する（Ｓ６０７）。ギャラリーが画面から外れていれば、画面よりギャラリーマスクを消去する（Ｓ６０９）。ギャラリーが画面から外れていない場合や、またはＳ６０９の処理の後に、画面内を移動したギャラリーがいるか否かを判定する（Ｓ６０８）。画面内に移動したギャラリーがいる場合、マスク位置をギャラリーの顔の移動位置に追従して表示する（Ｓ６１０）。
画面内に移動したギャラリーがいる場合や、またはＳ６１０の処理の後は、ゲームオーバか否かを判定する（Ｓ６１１）。ゲームオーバであれば、パンチ格闘ゲームは終了する。
【００３４】
ゲームオーバでなければ、ＣＣＤカメラ４より画像を取り込み（Ｓ６１２）、既に顔認識したギャラリー以外のギャラリーが撮影範囲に加わったか否かを判定する（Ｓ６１３）。既に顔認識されたギャラリーの顔の位置は（Ｘ，Ｙ）で把握されており、把握されていない位置に新たなギャラリーの像が生じた場合、新たにギャラリーが加わったと判定する。ついで加わったギャラリーについて顔の認識を行い（Ｓ６１４）、認識した顔位置にギャラリー用マスクを重ねることによりマスク表示を行う（Ｓ６１５）。新たなギャラリーが加わらなかった場合や、加わったギャラリーにマスク表示した後は、Ｓ６０３に戻り、２人のギャラリーが所定の距離内に近づいたか否かの判定に移る。
このようにしてギャラリーマスク表示，メッセージフレーズ表示の処理が行われる。
【００３５】
図９Ｄは、デモ待ち受け時の流れを説明するためのフローチャートである。
Ｓ７０１からＳ７０７までの処理は図９ＡのＳ４０１〜Ｓ４０７までの処理と同じである。エッジ画像のすべての範囲について顔認識を行った場合、認識した顔の位置（Ｘ，Ｙ）を検出し（Ｓ７０８）、顔の位置（Ｘ，Ｙ）にマスクを重ねることによりマスクを表示する（Ｓ７０９）。つぎに顔認識したギャラリーの内、画面から外れた者がいるか判定する（Ｓ７１０）。画面から外れた者がいれば、画面から外れたギャラリーのマスクを画面より消去する（Ｓ７１１）。Ｓ７１０で画面から外れた者がいない場合はＳ７０１に移行する。また、画面から外れたギャラリーのマスクを画面より消去した後も、Ｓ７０１に移行する。このように処理することにより、デモ画面でＣＣＤカメラの撮影範囲に入ったギャラリーにマスクを常に被せることができる。プレイヤに限らずギャラリーにマスクを被せるのは、人物の実像がモニタに表示されるため、その人物のプライバシーを保護するためである。
【００３６】
以上のような構成によって両対戦プレイヤが相手の背後にいる応援ギャラリーやその応援メッセージを見ることにより、相手に対し人気を誇示し、誇示されることにより気分が高揚する等ゲームプレイをより楽しむことが出来るアピール性の高い効果を得ることができる。
以上の実施の形態は、パンチ格闘ゲームの例について説明したが、パンチ格闘ではなく、相手が存在し、その相手をモニタ上に実写できる対戦ゲーム機であれば、本発明を同様に適用できる。
また、顔認識の方法については、顔認識パターンを大小の大きさに対応して複数用意する例を示したが、顔認識のパターンはこのような顔認識パターンでなくてもよく、１つの大きさの顔認識パターンを用意しておき、合致する際に連続的に顔認識パターンの大きさを変えて合致処理を行うこともできる。目，鼻，口の位置関係は確定的な一つのパターンだけではなく、多数の位置関係の顔パターンが存在するため、それに対応するように多数の顔認識パターンを用意することも可能である。
【産業上の利用可能性】
【００３７】
ゲームセンターやイベント会場などに設置される業務用の対戦ゲーム機である。
【図面の簡単な説明】
【００３８】
【図１】本発明による観客応援表示機能を有する対戦ゲーム機の外観を示す概略図で、対戦格闘ゲーム機の例を示している。
【図２】対戦格闘ゲーム機の格闘の方法を説明するための図である。
【図３Ａ】第１対戦格闘ゲーム機のギャラリーの撮影状態を示す図である。
【図３Ｂ】第２対戦格闘ゲーム機のギャラリーの撮影状態を示す図である。
【図４Ａ】第１対戦格闘ゲーム機でギャラリーを背景にして格闘している状態を示す図である。
【図４Ｂ】第２対戦格闘ゲーム機でギャラリーを背景にして格闘している状態を示す図である。
【図５Ａ】本発明による観客応援表示機能を有する対戦ゲーム機の回路の実施の形態を示すブロック図である。
【図５Ｂ】顔認識処理の工程を説明するためのブロック図である。
【図６】相手プレイヤ表示画面と自プレイヤの対戦状況を示す図である。
【図７】相手プレイヤ表示画面の一例を示す図である。
【図８】対戦パンチゲームの流れに対しプレイヤマスクおよびギャラリーマスク表示タイミングの関係を説明するためのフローチャートである。
【図９Ａ】ＣＣＤカメラの画像取入から顔認識までの流れを説明するためのフローチャートである。
【図９Ｂ】プレイヤマスク表示処理の流れを説明するためのフローチャートである。
【図９Ｃ】ギャラリーマスク表示処理およびメッセージフレーズ表示処理の流れを説明するためのフローチャートである。
【図９Ｄ】デモ待ち受け時の流れを説明するためのフローチャートである。
【図１０】プレイヤを撮影している範囲にギャラリーが入ったときの画像例を示す図である。
【図１１】マスクの付いているギャラリーが一定距離に近づいたときのメッセージフレーズの表示例を示す図である。
【図１２】マスクの付いているギャラリーが近づく位置の相違により表示されるメッセージフレーズの表示例を示す図である。
【図１３】マスクの付いているギャラリーが近づく位置の相違により表示されるメッセージフレーズの他の表示例を示す図である。
【符号の説明】
【００３９】
１ 対戦格闘ゲーム機
２ メインモニタ
３ サブモニタ
４，４ａ，４ｂ ＣＣＤカメラ
５ イルミネーション
６，７ パンチパッド
６ａ，７ａ 加速度センサ
８ パネル面
９ パンチグローブ
１０，１０ａ，１０ｂ プレイヤ
１１ コイン投入部
１４ａ，１４ｂ ＣＣＤカメラ撮影範囲
２１，２２，２３，２４，２５，２６ ギャラリー
３０ カメラ制御部
３１ 衝撃検出器
３２ コイン関連装置
３３ バックアップメモリ
３５ ＣＰＵ
３６ ＲＯＭ
３７ ＲＡＭ
【特許請求の範囲】
【請求項１】
対戦相手を表示部に表示させ、相手と対戦を行う対戦ゲーム機において、
プレイヤおよびプレイヤ背後で観戦するギャラリーをゲーム機前面側から撮影するカメラと、
前記カメラが撮影した画像からプレイヤおよびギャラリーの顔を検出する顔認識手段と、
検出したプレイヤの顔およびギャラリーの顔にマスクを表示するマスク装着手段と、
対戦ゲームプレイ中にマスク装着表示の２人のギャラリーが所定の距離内に近づいたとき、所定のメッセージフレーズを前記表示部に表示するメッセージフレーズ表示手段と、
カメラで撮影したマスク装着表示のプレイヤおよびギャラリーの画像を対戦相手のゲーム機に送り、対戦相手の表示部に表示させる送信手段と、
を備えたことを特徴とする観客応援表示機能を有する対戦ゲーム機。
【請求項２】
前記マスク装着表示の２人のギャラリーが所定の距離内に近づいたとき表示されたメッセージフレーズは、所定の距離より離れたとき表示部から消去することを特徴とする請求項１記載の観客応援表示機能を有する対戦ゲーム機。
【請求項３】
前記マスク装着表示の２人のギャラリーが所定の距離内に近づいたとき、一方のギャラリーが他方のギャラリーの右側から近づいたときと、左側から近づいたとき表示されるメッセージ内容は異なるメッセージを表示することを特徴とする請求項１または２記載の観客応援表示機能を有する対戦ゲーム機。
【請求項４】
前記対戦ゲーム機は、パンチパッドを有し、該パンチパッドにプレイヤがパンチを加えることにより、相手にダメージを与える対戦格闘ゲーム機であることを特徴とする請求項１，２または３記載の観客応援表示機能を有する対戦ゲーム機。
【請求項５】
ゲーム機の最上部に相手ゲーム機で撮影した画像と、自ゲーム機で撮影した画像を表示するギャラリー観戦用表示部を設けたことを特徴とする請求項１，２，３または４記載の観客応援表示機能を有する対戦ゲーム機。
【請求項１】
対戦相手を表示部に表示させ、相手と対戦を行う対戦ゲーム機において、
プレイヤおよびプレイヤ背後で観戦するギャラリーをゲーム機前面側から撮影するカメラと、
前記カメラが撮影した画像からプレイヤおよびギャラリーの顔を検出する顔認識手段と、
検出したプレイヤの顔およびギャラリーの顔にマスクを表示するマスク装着手段と、
対戦ゲームプレイ中にマスク装着表示の２人のギャラリーが所定の距離内に近づいたとき、所定のメッセージフレーズを前記表示部に表示するメッセージフレーズ表示手段と、
カメラで撮影したマスク装着表示のプレイヤおよびギャラリーの画像を対戦相手のゲーム機に送り、対戦相手の表示部に表示させる送信手段と、
を備えたことを特徴とする観客応援表示機能を有する対戦ゲーム機。
【請求項２】
前記マスク装着表示の２人のギャラリーが所定の距離内に近づいたとき表示されたメッセージフレーズは、所定の距離より離れたとき表示部から消去することを特徴とする請求項１記載の観客応援表示機能を有する対戦ゲーム機。
【請求項３】
前記マスク装着表示の２人のギャラリーが所定の距離内に近づいたとき、一方のギャラリーが他方のギャラリーの右側から近づいたときと、左側から近づいたとき表示されるメッセージ内容は異なるメッセージを表示することを特徴とする請求項１または２記載の観客応援表示機能を有する対戦ゲーム機。
【請求項４】
前記対戦ゲーム機は、パンチパッドを有し、該パンチパッドにプレイヤがパンチを加えることにより、相手にダメージを与える対戦格闘ゲーム機であることを特徴とする請求項１，２または３記載の観客応援表示機能を有する対戦ゲーム機。
【請求項５】
ゲーム機の最上部に相手ゲーム機で撮影した画像と、自ゲーム機で撮影した画像を表示するギャラリー観戦用表示部を設けたことを特徴とする請求項１，２，３または４記載の観客応援表示機能を有する対戦ゲーム機。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−３５７４１（Ｐ２０１０−３５７４１Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２００６５５（Ｐ２００８−２００６５５）
【出願日】平成２０年８月４日（２００８．８．４）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月４日（２００８．８．４）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
[ Back to top ]