情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法
プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成する手段と、撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、ビデオ画像と、コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、コンピュータ画像が表示されているときのビデオ画像を解析し、複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、検出手段により所定数のタッチポイントに所定の順番で仮想的なタッチがされたことが検出されると、所定の処理を実行する手段と、を備える情報処理システムによりエンタテインメント性を高めた入力インタフェースに関する技術を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムにおけるプレーヤーからの入力を受け付けるインタフェースに関し、特に、カメラで撮影したビデオ画像を使ったインタフェースに関する。
【背景技術】
【０００２】
特開２００２−１９６８５５号公報（特許文献１）には、カメラで撮影した画像を入力インタフェースとして利用した画像処理装置が開示されている。
【発明の開示】
【０００３】
特許文献１に開示されている画像処理装置は、情報処理システム、あるいはエンタテインメントシステムの入力インタフェースに応用可能である。情報処理システム、あるいはエンタテインメントシステムでの応用に当たっては、エンタテインメント性を高めることにより、システム全体の価値を高めることができる。
【０００４】
そこで、本発明の目的は、エンタテインメント性を高めた入力インタフェースに関する技術を提供することである。
【０００５】
本発明の一つの実施態様に従う情報処理システムは、プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成する手段と、撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、前記検出手段により所定数のタッチポイントに、所定の順番で前記仮想的なタッチがされたことが検出されると、所定の処理を実行する手段と、を備える。
【０００６】
好適な実施態様では、前記検出手段は、前記ビデオ画像内のプレーヤーが身につけている特定色の物体が、前記コンピュータ画像内の前記複数のタッチポイントのいずれかと重なるときに、仮想的なタッチを検出するようにしてもよい。
【０００７】
好適な実施態様では、前記画像生成手段は、次にタッチすべき１点のタッチポイントを示すナビゲーションを含むコンピュータ画像を順次生成する。そして、前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーションを含むコンピュータ画像のそれぞれに対して、仮想的なタッチがされたことが検出されると、前記所定の処理を実行してもよい。
【０００８】
好適な実施態様では、前記画像生成手段は、次にタッチすべき２点のタッチポイントを示すコンピュータ画像を順次生成する。そして、前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーションを含むコンピュータ画像のそれぞれに対して、前記２点のタッチポイントに対して同時に仮想的なタッチがされたことが検出されると、前記所定の処理を実行してもよい。
【０００９】
好適な実施態様では、前記画像生成手段は、タッチポイントに対するタッチの順番を示すナビゲーションを含むコンピュータ画像を生成する。そして、前記所定の処理を実行する手段は、前記検出手段により前記ナビゲーションに従って仮想的なタッチがされたことが検出されると、前記所定の処理を実行するようにしてもよい。
【００１０】
本発明の一つの実施態様に従う情報処理システムは、
プレーヤーに対して、仮想的なタッチの対象となる複数のタッチポイントを示すコンピュータ画像を生成する手段と、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、
前記検出手段により、複数のタッチポイントに連続的に前記仮想的なタッチがされたことが検出されると、連続して前記仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示手段と、を備える。
【００１１】
本発明の一つの実施態様に従うエンタテインメントシステムは、複数の領域を特定するための画像を含んだコンピュータ画像を生成する手段と、撮影手段で撮影したビデオ画像の入力を受け付ける手段と、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、前記コンピュータ画像を参照して前記ビデオ画像を解析する手段と、を備えたエンタテインメントシステムであって、前記画像生成手段が、所定の順序で前記複数の領域のうちの一つの領域を選択し、選択された領域を他と異なる態様で表示した入力を促す複数の画像を連続的に生成し、前記解析手段は、それぞれの入力を促す画像が表示されているときのビデオ画像を解析し、他と異なる態様で表示された前記選択された領域と対応するビデオ画像の対応領域が所定の画像であることを検出し、前記入力を促す画像の生成、および前記対応領域が所定の画像であることの検出が所定回数行われると、所定の機能を実行する。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るエンタテインメントシステムの全体構成図である。
【図２】エンタテインメント装置の構成図である。
【図３】エンタテインメント装置の機能構成図である。
【図４】図４（ａ）は、鏡面処理後のビデオ画像の例を示す図である。図４（ｂ）は、インタフェース画像の例を示す図である。図４（ｃ）は、重畳画像の例を示す図である。
【図５】入力受け付け処理全体のフローチャートである。
【図６】シングルナビゲーションの場合のタッチ受け付け処理のフローチャートである。
【図７】タッチ判定処理のフローチャートである。
【図８】シングルナビゲーションの場合のオブジェクト画像の遷移イメージである。図８（ａ）は、フラッシュ表示された最初のタッチポイントを示す。図８（ｂ）は、フラッシュ表示された最初と２番目のタッチポイントを示す。図８（ｃ）は、１番目と２番目のタッチポイントを結ぶ光のラインと、フラッシュ表示された最後のタッチポイントを示す。図８（ｄ）は、光のラインで結ばれたタッチポイントを示す。
【図９】ダブルナビゲーションの場合のタッチ受け付け処理のフローチャートである。
【図１０】ダブルナビゲーションの場合のオブジェクト画像の遷移イメージである。図１０（ａ）は、フラッシュ表示された１番目のタッチポイントを示す。図１０（ｂ）は、光のラインで結ばれた１番目のタッチポイントと、タッチポイントとフラッシュ表示された２番目のタッチポイントを示す。図１０（ｃ）は、光のラインで結ばれた１番目のタッチポイントと、光のラインで結ばれた２番目のタッチポイントを示す。
【図１１】稲妻ナビゲーションの場合のタッチ受け付け処理のフローチャートである。
【図１２】稲妻ナビゲーションの場合のオブジェクト画像の遷移イメージである。図１２（ａ）は、タッチすべき全タッチポイントを示す。図１２（ｂ）は、１番目のタッチポイントと２番のタッチポイントとを結んでいた稲妻ラインが消去されたことを示す。図１２（ｃ）は、２番目のタッチポイントと３番のタッチポイントとを結んでいた稲妻ラインが消去されたことを示す。図１２（ｄ）は、３番目のタッチポイントと１番のタッチポイントとを結んでいた稲妻ラインが消去されたことを示す。
【図１３】ナビゲーションなしの場合のタッチ受け付け処理のフローチャートである。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態に係るエンタテインメントシステムについて、図面を用いて説明する。
【００１４】
本実施形態に係るエンタテインメントシステムの構成の一例を図１に示す。このエンタテインメントシステムは、ディスプレイ装置３に向き合った位置にいるプレーヤー４をアナログまたはデジタルのビデオカメラ１が撮影し、これにより得られた動画像をエンタテインメント装置２が連続的に連続に取り込んで、エンタテインメント装置２が生成したコンピュータ画像（ＣＧ）と、ビデオカメラ１から取り込んだビデオ画像の鏡面動画像とを重ね合わせた重畳画像をディスプレイ装置３上にリアルタイムに表示させるものである。
【００１５】
従って、重畳画像ではプレーヤー４の動作がリアルタイムに反映されていて、この重畳画像でプレーヤー４はプレーを楽しむことができる。鏡面動画像は、ビデオカメラ１から取り込んだ動画像をエンタテインメント装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、ビデオカメラ１の前に鏡を置き、操作者を映した鏡面の動画像をビデオカメラ１で撮影することによって鏡面動画像を生成するようにしてもよい。いずれにしても、ディスプレイ装置３上には、ターゲットの動きに応じてその表示形態がリアルタイムに変化する合成画像が表示されるようにする。
【００１６】
エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。この実施形態によるコンピュータは、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。
【００１７】
メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（Direct Memory Access Controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、描画用メモリとなるフレームメモリ１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）１４が接続される。ＧＰＵ１４には、フレームメモリ１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）１６が接続される。
【００１８】
メインＣＰＵ１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。
【００１９】
ＧＰＵ１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ１０から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。
【００２０】
メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。
【００２１】
サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア２８を装着するためのメディアドライブ２７及び入力部３１が接続されている。
【００２２】
サブＣＰＵ２０は、ＲＯＭ２３に記憶されている制御プログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３１は、操作装置３５からの入力信号が入力される接続端子３２、ビデオカメラ１からの画像信号が入力される接続端子３３、及びビデオカメラ１からの音声信号が入力される接続端子３４を備える。なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。
【００２３】
このように構成されるコンピュータは、メインＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯＭ２３及びメディア２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。
【００２４】
このエンタテインメント装置２の機能ブロック図を図３に示す。すなわち、エンタテインメント装置２には、ビデオ画像入力部１０１と、画像反転部１０２と、判定部１０３と、主制御部１０４と、ＣＧ生成部１０５と、重畳画像生成部１０６と、表示制御部１０７と、タッチパターン記憶部１０８とが形成される。
【００２５】
ビデオ画像入力部１０１は、ビデオカメラ１で撮影されたビデオ画像を取り込む。ビデオ画像は動画像であり、ビデオ画像入力部１０１はビデオカメラ１から送られてくる画像を連続的に取り込む。
【００２６】
画像反転部１０２は、ビデオ画像入力部１０１が取り込んだビデオ画像に対して鏡面処理、すなわち左右反転処理を行う。プレーヤーを撮影した鏡面処理されたビデオ画像２００の一例を図４（ａ）に示す。これ以降の処理は、鏡面処理がされたビデオ画像に対して行われる。
【００２７】
主制御部１０４は、エンタテインメントシステム全体の制御を行う。例えば、エンタテインメント装置２がゲームプログラムを実行しているときは、主制御部１０４がそのプログラムに従ってゲームのストーリーなどを決定する。また、主制御部１０４がストーリーを決定するときに、判定部１０３の判定結果を参照する場合がある。この詳細については後述する。
【００２８】
ＣＧ生成部１０５は、主制御部１０４の指示に従って、ゲームのストーリーに沿った種々のコンピュータ画像を生成する。例えば、図４（ｂ）に示すような、プレーヤーからのリクエストを受け付けるためのインタフェース用のコンピュータ画像（インタフェース画像）３００を生成する。ここで、インタフェース画像３００には、オブジェクト画像３１０が含まれている。
【００２９】
重畳画像生成部１０６は、画像反転部１０２で鏡面処理されたビデオ画像とＣＧ生成部１０５で生成されたコンピュータ画像とを重ね合わせた重畳画像を生成する。例えば、重畳画像生成部１０６が図４（ａ）に示したビデオ画像２００と図４（ｂ）に示したインタフェース画像３００とを重畳すると、図４（ｃ）に示した重畳画像４００が生成される。
【００３０】
表示制御部１０７は、重畳画像生成部１０６で生成された重畳画像をディスプレイ装置３に表示させる。
【００３１】
タッチパターン記憶部１０８には、後述するナビゲーションパターンおよびナビゲーションなしでタッチを受け付けたときの特定のタッチパターンが記憶されている。ナビゲーションパターンおよびタッチパターンは、プレーヤーが登録可能としても良い。
【００３２】
判定部１０３は、ＣＧ生成部１０５から取り込んだインタフェース画像３００を参照して画像反転部１０２から取り込んだビデオ画像２００を解析し、ビデオ画像２００がインタフェース画像３００に対応する所定の画像であるかを判定する。ビデオ画像２００は動画像であるから、この判定はフレーム単位に処理を行われる。例えば、判定部１０３は、フレーム間の差分をとって、インタフェース画像３００に対応する所定の動きの有無を判定する。判定部１０３は、フレーム間差分を計算する際に用いるカウンタ１０３ａを備えている。カウンタ１０３ａは、複数の値をカウントできる。
【００３３】
図４の例では、インタフェース画像３００には略環状のオブジェクト画像３１０が含まれている。オブジェクト画像３１０には、１２箇所のタッチポイント３２０が、概環状に、且つ、概等間隔に配置されている。従って、この場合、判定部１０３はビデオ画像２００のタッチポイント３２０と対応する領域に所定以上の動きがあるかどうかを判定する。
【００３４】
ここで、判定部１０３が、タッチポイント３２０と対応するビデオ画像２００の領域で所定以上の動きを検出すると、プレーヤーがそのタッチポイント３２０に仮想的にタッチ（以下、単にタッチと言う）したものと判定する。タッチしたと判定される典型的な例は、プレーヤーがディスプレイ装置３に写っているオブジェクト画像３１０と自分の姿を見ながら、タッチポイント３２０に自分の手などが重なるように動作する場合である。
【００３５】
また、タッチの有無の判定には、フレーム間差分による動きの検出以外に、所定の色の画素が所定数以上、タッチポイント３２０と対応する領域に存在するかを判定しても良い。あるいは、色の検出と動きの検出を組み合わせ、所定の色について動きの判定を行ってもよい。例えば、プレーヤーに特定色（例えば赤）のグローブをはめさせて、そのグローブの映像がタッチポイント３２０と重なり、タッチポイント３２０内の赤色の画素数が所定数以上であるときに、タッチされたと判定しても良い。さらに、タッチポイント３２０内の赤色の画素数が所定数以上であり、且つ、赤色の画素に所定以上の動きが検出されたときにタッチされたと判定してもよい。あるいは、パターン認識によりプレーヤーの腕、手、指先等あるいはグローブ等の動きを検出してタッチの有無の判定を行なうようにしてもよい。
【００３６】
なお、プレーヤーの動作がエンタテインメント装置２に認識されていることをプレーヤーに示すために、重畳画像４００中のグローブ等の検出対象が検出されたポイントを輝度を上げたり、ハイライト表示することにより強調して表示するようにしてもよい。このような表示は、タッチポイント３２０の領域付近にかかわらず、重畳画像４００内全体において行なうようにすることが望ましい。
【００３７】
このとき、強調表示を徐々に消えていくように表示させることで、プレーヤーがグローブ等を動かした場合に、あたかもその軌跡が残像のように表示され、一層、プレーヤーの動作がエンタテインメント装置２に認識されていることがプレーヤに明確に示されるとともに、エンタテインメント性が高まることになる
オブジェクト画像３１０を表示するタイミングは、主制御部１０４が決定する。そして、ＣＧ生成部１０５は主制御部１０４の指示に基づき、オブジェクト画像３１０を用いて、プレーヤーにタッチを促すために、以下に説明するようなナビゲーション画像を生成する。
【００３８】
ここで、ナビゲーションとは、プレーヤーに対してどのタッチポイントをどういう順番でタッチしていくかを誘導するものである。ここでは、プレーヤーにタッチさせるタッチポイントを通常とは異なる態様（例えば、光っているように見せるフラッシュ表示や、通常と異なる色での表示、点滅表示など）で示した画像を表示し、プレーヤーにタッチを促す。本実施形態では、タッチポイントをフラッシュ表示させて、誘導する場合について説明する。
【００３９】
ナビゲーションのパターンは複数用意されていて、タッチパターン記憶部１０８に記憶されている。そして、それぞれのナビゲーションパターン（以下、ナビパターンと言う）ごとに、どのような順番で、いくつのタッチポイントをタッチさせるかがあらかじめ定められている。
【００４０】
例えば、ナビパターンには、（１）タッチさせる順に従って、タッチポイントを１点ずつ順次フラッシュさせる第１のパターン（シングルナビゲーション）と、（２）タッチさせる順に従って、同時に２点フラッシュさせ、同時に２点にタッチさせる第２のパターン（ダブルナビゲーション）と、（３）タッチさせるすべての点を、タッチする順序を示す数字と共に同時にフラッシュさせる第３のナビゲーション（稲妻ナビゲーション）とがある。さらに、ナビゲーションを行わずに、プレーヤーが自発的に行うタッチを受け付けるナビゲーションなしパターンもある。
【００４１】
本実施形態では、オブジェクト画像３１０を利用して、プレーヤーに連続的にタッチをさせる。そして、プレーヤーがナビゲーションに従ってタッチすると、エンタテインメント装置２は、所定の入力が完了したものとして受け付け、所定の機能を実行する。所定の機能としては、例えば、キャラクタを呼び出したり、攻撃または防御を行ったりする。タッチパターンごとに異なる機能を対応させても良い。
【００４２】
また、ナビゲーションなしのときは、プレーヤーがタッチしたタッチポイントの位置および順序がタッチパターン記憶部１０８に記憶されているタッチパターンと一致すると、エンタテインメント装置２は所定の入力があったものと認識する。
【００４３】
あるいは、入力完了を示すタッチポイントを別途表示して、そのタッチポイントのタッチを受け付けた場合に入力があったものと認識するようにしてもよい。もちろん、操作装置３５から入力完了の指示を受け付けるようにしてもよい。
【００４４】
上記のような機能構成を有するエンタテインメント装置２において、プレーヤー自身の画像を使った入力受け付け処理手順を、フローチャートおよび画面遷移を示す図を用いて説明する。なお、以下の例では、エンタテインメント装置２が入力を受け付けると、キャラクタの呼び出し処理を行う場合について説明する。
【００４５】
まず、入力受け付け処理の全体の処理手順を図５に示す。ＣＧ生成部１０５は、主制御部１０４からの指示に基づいて、オブジェクト画像３１０を含むコンピュータ画像３００を生成する。そして、重畳画像生成部１０６が画像反転部１０２から獲得した鏡面処理後のビデオ画像２００（図４（ａ））とインタフェース画像３００（図４（ｂ））とを重ね合わせ、オブジェクト画像３１０を含む重畳画像４００（図４（ｃ））がディスプレイ装置３に表示される（Ｓ１０１）。次に、主制御部１０４は、ナビパターンを選択する（Ｓ１０２）。ここでは、ナビゲーションありの場合と、ナビゲーションなしの場合で処理が分かれる。
【００４６】
ナビゲーションありの場合は、主制御部１０４がタッチパターン記憶部１０８に記憶されているナビパターンを選択する。そして、エンタテインメント装置２が、選択されたナビパターンに従ったナビゲーションをディスプレイ装置３に表示させて、プレーヤーのタッチを受け付ける処理を行う（Ｓ１０３）。この処理の詳細については後述する。そして、主制御部１０４は、プレーヤーがナビゲーションに従ったタッチをして、ナビパターン通りのタッチが行われたかどうかを判定する（Ｓ１０４）。
【００４７】
ここで、ナビパターン通りのタッチが行われなかったときは（Ｓ１０４：Ｎｏ）、入力受け付け処理を終了する。一方、ナビパターン通りのタッチが行われたときは（Ｓ１０４：Ｙｅｓ）、主制御部１０４がナビパターンに対応するキャラクタを呼び出すための処理を実行する（Ｓ１０５）。
【００４８】
一方、ステップＳ１０２でナビゲーションなしが選択された場合は、主制御部１０４はナビゲーション表示の指示をしない。そして、オブジェクト画像３１０が表示された状態のままで、プレーヤーは自分の意志でタッチを行うことができる（Ｓ１０６）。この処理の詳細については後述する。
【００４９】
ステップＳ１０６のタッチ受け付け処理が終了すると、主制御部１０４はタッチパターン記憶部１０８を参照し、受け付けたタッチパターンが予め登録されているタッチパターンと一致するかを判定する（Ｓ１０７）。ここで、プレーヤーがタッチしたパターンが登録済みパターンと一致すれば、主制御部１０４は、その登録済みパターンに対応する特定のキャラクタを呼び出すための処理を行い（Ｓ１０８）、一致しなければ、一般のキャラクタを呼び出すための処理を行う（Ｓ１０９）。これにより、プレーヤー自身の画像を使った入力インタフェースが実現する。
【００５０】
なお、同じインタフェースを利用してタッチパターンを登録することができる。すなわち、登録受け付けモードのときにディスプレイ装置３に表示されているオブジェクト画像３１０を用いて、プレーヤーがタッチポイントにタッチしていき、そのときのタッチパターンをタッチパターン記憶部１０８に格納する。
【００５１】
次に、ステップＳ１０３のプレーヤーのタッチを受け付けるための詳細な処理について説明する。ここでは、シングルナビゲーション、ダブルナビゲーションおよび稲妻ナビゲーションのそれぞれのナビパターンについて説明する。
【００５２】
シングルナビゲーションの場合のフローチャートを図６に示す。主制御部１０４は、ナビパターンに従ってタッチポイントを特定し、そのタッチポイントをフラッシュ表示させる。（Ｓ２１）（図８（ａ）参照）。次に、判定部１０３はタッチがあったかどうかの判定処理を行う（Ｓ２２）。タッチ判定処理の詳細は後述する。そして、タッチ判定処理終了後、主制御部１０４はフラッシュ表示中のタッチポイントにタッチがあったかどうかを判定する（Ｓ２３）。フラッシュ表示中のタッチポイントにタッチがないときは（Ｓ２３：Ｎｏ）、処理を終了する。タッチがあったときは（Ｓ２３：Ｙｅｓ）、このタッチポイントが最初のタッチポイントであるかを判定する（Ｓ２４）。そして、最初のタッチポイントであったときは（Ｓ２４：Ｙｅｓ）、ステップＳ２１へ戻る（図８（ａ）、図８（ｂ）参照）。最初のタッチポイントでないとき、すなわち、２番目以降のタッチポイントであったときは、このタッチポイントと直前のタッチポイントを所定のオブジェクト、例えば、光のライン（光っているように見えるライン）で結んで表示する（Ｓ２５）（図８（ｂ）、図８（ｃ）参照）。また、このタッチポイントが最後のタッチポイントでないときはステップＳ２１へ戻り（Ｓ２６）、最後のタッチポイントであるときは、最後のタッチポイントと最初のタッチポイントとを光のラインで結んで表示する（Ｓ２７）（図８（ｃ）、図８（ｄ）参照）。以上のような手順でシングルナビゲーションが行われる。
【００５３】
次に、ステップＳ２２のタッチ判定処理について、図７のフローチャートを用いて説明する。判定部１０３は、ビデオ画像を解析し、インタフェース画像でフラッシュ表示しているタッチポイントの位置と重なるビデオ画像の領域を特定する（Ｓ５１）。そして、画素数をカウントするためのカウンタ１０３ａを初期化する（Ｓ５２）。
【００５４】
次に、処理対象のビデオ画像のフレームを更新する（Ｓ５３）。ここで、一つのタッチポイントについてタッチの受付可能時間が一定時間に制限されている。従って、その制限時間を超えるときはタイムアウトとなるので、判定部１０３はそれを監視する（Ｓ５４）。
【００５５】
タイムアウトしたときは（Ｓ５４：Ｙｅｓ）、処理を終了する。
【００５６】
タイムアウトしていないときは（Ｓ５４：Ｎｏ）、ビデオ画像について前フレームとのフレーム間差分をとり、ステップＳ５１で特定された領域内で変動があった画素数をカウントし、カウンタ１０３ａに累積する（Ｓ５５）。そして、カウンタに累積された値が所定値以上であるかどうかを判定する（Ｓ５６）。累積値が所定値を越えていないときは（Ｓ５６：Ｎｏ）、ステップＳ５３以降を繰り返す。累積値が所定値を越えているときは（Ｓ５６：Ｙｅｓ）、タッチが検出される（Ｓ５７）。
【００５７】
なお、上記の説明では、フレーム間差分を用いて動きを検出してタッチ判定を行っている。しかし、上述のようにプレーヤーに赤色のグローブをさせて、その色の検出によりタッチ判定するときは、ステップＳ５５において赤色の画素数をカウントし、そのカウント数が所定数以上であればタッチがあったものと判定しても良い。このとき、さらに色による判定と動きによる判定を組み合わせても良い。
【００５８】
ここで、シングルナビゲーションの場合のナビゲーション表示の様子を図８を用いて説明する。インタフェース画像にはオブジェクト画像３１０が含まれている。図８（ａ）は第１番目のタッチポイント（ここでは「タッチポイント１２」）にフラッシュ表示３１１がなされている。図８（ａ）においてタッチポイント１２にタッチされると図８（ｂ）へ遷移し、第２番目のタッチポイント（ここでは「タッチポイント４」）にもフラッシュ表示３１１が追加される。
【００５９】
さらに、図８（ｂ）においてタッチポイント４にタッチされると図８（ｃ）へ遷移し、第１番目のタッチポイントと第２番目のタッチポイントとが光のライン３１２で結ばれる。そして、第３番目のタッチポイント（ここでは「タッチポイント７」）にもフラッシュ表示３１１が追加される。
【００６０】
このとき、上記で説明したように、認識したプレーヤーの動きの軌跡を残像表示させている場合には、あたかもタッチポイントを結ぶ軌跡の残像に光のラインが覆い被さるように表示されることになり、入力インタフェースとしてのエンタテインメント効果が高まる。これは、後に説明するダブルナビゲーション等においても同様である。
【００６１】
図８（ｃ）においてタッチポイント７にタッチされると図８（ｄ）へ遷移し、第２番目のタッチポイントと第３番目のタッチポイントとが光のライン３１２で結ばれる。さらに、図８の例では第３番目のタッチポイント７が最終のタッチポイントであるから、最初タッチポイント１２との間も光のライン３１２で結ばれる。この状態でシングルナビゲーションに対するプレーヤーからの入力受け付けが完了する。
【００６２】
ところで、上記の説明では、タッチを検出するたびに、検出したタッチポイントと直前のタッチポイントとを光のラインで結ぶようにしていた（Ｓ２５、図８（ｃ））。しかし、タッチの検出のたびではなく、最後オンタッチポイントの入力を終えた時点で、タッチされたタッチポイントを一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。
【００６３】
この場合、図６における処理（Ｓ２５）は省略し、処理（Ｓ２７）に代え、「タッチされたタッチポイントを一斉に（あるいは、順次）、光のラインで結ぶ」となる。なお、いずれのも場合も最終的に表示される光のラインは、図８（ｄ）のようになる。
【００６４】
次に、ステップＳ１０３の詳細な処理として、ダブルナビゲーションの場合のフローチャートを図９に示す。主制御部１０４は、ナビパターンに従ってタッチポイントを２箇所特定し、その２箇所のタッチポイントを同時にフラッシュ表示させる（Ｓ３１）（図１０（ａ）参照）。そして、判定部１０３は２箇所のタッチポイントのそれぞれにタッチがあったかどうかの判定処理を行う（Ｓ３２）。
【００６５】
ここで、タッチ判定処理は、２箇所のタッチポイントのそれぞれについて図７に示したものと同様の処理を行う。
【００６６】
そして、タッチ判定処理終了後、主制御部１０４はフラッシュ表示中の２点のタッチポイントに対し、ほぼ同時にタッチがあったかどうかを判定する（Ｓ３３）。いずれか一方またはいずれにもタッチがないときは（Ｓ３３：Ｎｏ）終了する。２点ともタッチがあったときは（Ｓ３３：Ｙｅｓ）、タッチされた２点間を光のラインで結ぶ（Ｓ３４）（図１０（ａ）、図１０（ｂ）参照）。
【００６７】
そして、主制御部１０４が、このナビパターンの全タッチポイントにタッチされ、ナビパターンが終了したかを判定する（Ｓ３５）。そして、ナビパターンが終了していないときは（Ｓ３５：Ｎｏ）、ステップＳ３１以降を繰り返す。ナビパターンが終了しているときは（Ｓ３５：Ｙｅｓ）終了する。
【００６８】
なお、２点のタッチポイントについて、一方のタッチポイントにタッチがあった後、所定の時間内に他方にタッチがあったときは、同時にタッチがあったと判定する。さらに、一方にタッチがあると、他方のタッチポイントのタッチ判定のしきい値を下げても良い。
【００６９】
ここで、ダブルナビゲーションの場合のナビゲーション表示の様子を図１０を用いて説明する。図８の場合と同様に、ナビゲーション画像にはオブジェクト画像３１０が含まれている。
【００７０】
図１０（ａ）は第１番目のタッチポイント（ここでは「タッチポイント７および１２」）にフラッシュ表示３１１がなされている。図１０（ａ）においてタッチポイント７および１２が同時にタッチされると（ｂ）へ遷移する。すなわち、第２番目のタッチポイント（ここでは「タッチポイント２，１０」）がフラッシュ表示３１１されると共に、第１番目のタッチポイント同士、つまりタッチポイント７および１２が光のライン３１２で結ばれる。
【００７１】
さらに、図１０（ｂ）においてタッチポイント２，１０が同時にタッチされると図１０（ｃ）へ遷移し、第２番目のタッチポイント同士、つまりタッチポイント２および１０が光のライン３１２で結ばれる。この状態でダブルナビゲーションに対するプレーヤーからの入力受け付けが完了する。
【００７２】
なお、ダブルナビゲーションの場合にも、最後オンタッチポイントの入力を終えた時点で、それぞれの２点間を一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。
【００７３】
次に、ステップＳ１０３の詳細な処理として、稲妻ナビゲーションの場合のフローチャートを図１１に示す。主制御部１０４は、ナビパターンに従って、このナビパターンに含まれる全タッチポイントおよびタッチする順番を特定する。
【００７４】
そして、各タッチポイントにタッチ順を示す数字を表示し、各タッチポイントをフラッシュ表示させるとともに、各タッチポイント間を稲妻ライン（稲妻を模したライン）で結ぶ（Ｓ４１）（図１２（ａ）参照）。
【００７５】
そして、判定部１０３はタッチがあったかどうかの判定処理を行う（Ｓ４２）。ここで、タッチ判定処理は図７に示すものと同様である。そして、タッチ判定処理終了後、主制御部１０４はタッチ順序通りにタッチがあったかどうかを判定する（Ｓ４３）。
【００７６】
タッチ順通りにタッチされていないときは（Ｓ４３：Ｎｏ）終了する。タッチ順通りにタッチされているときは（Ｓ４３：Ｙｅｓ）、タッチされたタッチポイントのフラッシュおよび稲妻ラインを消去する（Ｓ４４）（図１２（ｂ）、図１２（ｃ）参照）。
【００７７】
そして、主制御部１０４が、このナビパターンの全タッチポイントにタッチされ、ナビパターンが終了したかを判定する（Ｓ４５）。そして、ナビパターンが終了していないときは（Ｓ４５：Ｎｏ）、ステップＳ４１以降を繰り返す。ナビパターンが終了しているときは（Ｓ４５：Ｙｅｓ）終了する。
【００７８】
ここで、稲妻ナビゲーションの場合のナビゲーション画像の遷移の様子を図１２を用いて説明する。図８、図１０の場合と同様に、ナビゲーション画像にはオブジェクト画像３１０が含まれている。
【００７９】
図１２（ａ）はプレーヤーがタッチすべき全タッチポイント（ここでは「タッチポイント４，７および１２」）にタッチする順序を示す数字、およびフラッシュ表示３１１がなされ、それぞれが稲妻ライン３１３で結ばれている。
【００８０】
図１２（ａ）においてタッチポイント１２（第１番目のタッチポイント）にタッチされると、図１２（ｂ）へ遷移する。すなわち、第１番目のタッチポイントのフラッシュ表示３１１、および第１番目と第２番目のタッチポイントを結んでいた稲妻ラインが消去される。
【００８１】
図１２（ｂ）においてタッチポイント４（第２番目のタッチポイント）がタッチされると、図１２（ｃ）へ遷移し、第２番目のタッチポイントのフラッシュ表示および第２および第３番目のタッチポイント間の稲妻ラインが消去される。
【００８２】
図１２（ｃ）においてタッチポイント７にタッチされると、図１２（ｄ）へ遷移し、第３番目のタッチポイントの稲妻表示および第３および第１番目の間の稲妻ラインが消去される。この状態で稲妻ナビゲーションに対するプレーヤーからの入力受け付けが完了する。
【００８３】
次に、図５のステップＳ１０６のナビゲーションなしの場合の詳細な処理について、図１３のフローチャートを用いて説明する。ナビゲーションなしでタッチを受け付けるときは、タッチ判定処理でいずれかのタッチポイントについてタッチがあったかを検出する（Ｓ６１）。つまり、図７のタッチ検出処理をすべてのタッチポイントについて行い、いずれか一つについてタッチを判定するとステップＳ６２に移行する。
【００８４】
これ以降の処理はシングルナビゲーションの場合の処理（図６）と類似する。すなわち、複数のタッチポイントに対するタッチを検出すると、タッチ済みのタッチポイント間を光のラインで結んでいく（Ｓ６２〜Ｓ６５）。このとき、タッチを受け付ける総数（Ｎ）が予め定められている。つまり、プレーヤーが自由にＮ点のタッチポイントにタッチすると（Ｓ６５：Ｙｅｓ）、Ｎ番目のタッチポイントと第１番目のタッチポイントとを光のラインで結び処理を終了する（Ｓ６６）。
【００８５】
なお、ナビゲーションなしの場合にも、最後オンタッチポイントの入力を終えた時点で、タッチされたタッチポイントを一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。
【００８６】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【００８７】
例えば、オブジェクト画像は三角形などの多角形、あるいは、様々な形状でもよい。さらには、それらの組み合わせでも良い。タッチポイントは、一定のルールに基づき、オブジェクト画像に対して等距離（均等）または非等距離（非均等）に配置される。あるいは、オブジェクト画像は表示せず、タッチポイントのみの表示しても良いし、タッチすべきタッチポイントのみを表示するようにしても良い。
【技術分野】
【０００１】
本発明は、情報処理システムにおけるプレーヤーからの入力を受け付けるインタフェースに関し、特に、カメラで撮影したビデオ画像を使ったインタフェースに関する。
【背景技術】
【０００２】
特開２００２−１９６８５５号公報（特許文献１）には、カメラで撮影した画像を入力インタフェースとして利用した画像処理装置が開示されている。
【発明の開示】
【０００３】
特許文献１に開示されている画像処理装置は、情報処理システム、あるいはエンタテインメントシステムの入力インタフェースに応用可能である。情報処理システム、あるいはエンタテインメントシステムでの応用に当たっては、エンタテインメント性を高めることにより、システム全体の価値を高めることができる。
【０００４】
そこで、本発明の目的は、エンタテインメント性を高めた入力インタフェースに関する技術を提供することである。
【０００５】
本発明の一つの実施態様に従う情報処理システムは、プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成する手段と、撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、前記検出手段により所定数のタッチポイントに、所定の順番で前記仮想的なタッチがされたことが検出されると、所定の処理を実行する手段と、を備える。
【０００６】
好適な実施態様では、前記検出手段は、前記ビデオ画像内のプレーヤーが身につけている特定色の物体が、前記コンピュータ画像内の前記複数のタッチポイントのいずれかと重なるときに、仮想的なタッチを検出するようにしてもよい。
【０００７】
好適な実施態様では、前記画像生成手段は、次にタッチすべき１点のタッチポイントを示すナビゲーションを含むコンピュータ画像を順次生成する。そして、前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーションを含むコンピュータ画像のそれぞれに対して、仮想的なタッチがされたことが検出されると、前記所定の処理を実行してもよい。
【０００８】
好適な実施態様では、前記画像生成手段は、次にタッチすべき２点のタッチポイントを示すコンピュータ画像を順次生成する。そして、前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーションを含むコンピュータ画像のそれぞれに対して、前記２点のタッチポイントに対して同時に仮想的なタッチがされたことが検出されると、前記所定の処理を実行してもよい。
【０００９】
好適な実施態様では、前記画像生成手段は、タッチポイントに対するタッチの順番を示すナビゲーションを含むコンピュータ画像を生成する。そして、前記所定の処理を実行する手段は、前記検出手段により前記ナビゲーションに従って仮想的なタッチがされたことが検出されると、前記所定の処理を実行するようにしてもよい。
【００１０】
本発明の一つの実施態様に従う情報処理システムは、
プレーヤーに対して、仮想的なタッチの対象となる複数のタッチポイントを示すコンピュータ画像を生成する手段と、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、
前記検出手段により、複数のタッチポイントに連続的に前記仮想的なタッチがされたことが検出されると、連続して前記仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示手段と、を備える。
【００１１】
本発明の一つの実施態様に従うエンタテインメントシステムは、複数の領域を特定するための画像を含んだコンピュータ画像を生成する手段と、撮影手段で撮影したビデオ画像の入力を受け付ける手段と、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、前記コンピュータ画像を参照して前記ビデオ画像を解析する手段と、を備えたエンタテインメントシステムであって、前記画像生成手段が、所定の順序で前記複数の領域のうちの一つの領域を選択し、選択された領域を他と異なる態様で表示した入力を促す複数の画像を連続的に生成し、前記解析手段は、それぞれの入力を促す画像が表示されているときのビデオ画像を解析し、他と異なる態様で表示された前記選択された領域と対応するビデオ画像の対応領域が所定の画像であることを検出し、前記入力を促す画像の生成、および前記対応領域が所定の画像であることの検出が所定回数行われると、所定の機能を実行する。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るエンタテインメントシステムの全体構成図である。
【図２】エンタテインメント装置の構成図である。
【図３】エンタテインメント装置の機能構成図である。
【図４】図４（ａ）は、鏡面処理後のビデオ画像の例を示す図である。図４（ｂ）は、インタフェース画像の例を示す図である。図４（ｃ）は、重畳画像の例を示す図である。
【図５】入力受け付け処理全体のフローチャートである。
【図６】シングルナビゲーションの場合のタッチ受け付け処理のフローチャートである。
【図７】タッチ判定処理のフローチャートである。
【図８】シングルナビゲーションの場合のオブジェクト画像の遷移イメージである。図８（ａ）は、フラッシュ表示された最初のタッチポイントを示す。図８（ｂ）は、フラッシュ表示された最初と２番目のタッチポイントを示す。図８（ｃ）は、１番目と２番目のタッチポイントを結ぶ光のラインと、フラッシュ表示された最後のタッチポイントを示す。図８（ｄ）は、光のラインで結ばれたタッチポイントを示す。
【図９】ダブルナビゲーションの場合のタッチ受け付け処理のフローチャートである。
【図１０】ダブルナビゲーションの場合のオブジェクト画像の遷移イメージである。図１０（ａ）は、フラッシュ表示された１番目のタッチポイントを示す。図１０（ｂ）は、光のラインで結ばれた１番目のタッチポイントと、タッチポイントとフラッシュ表示された２番目のタッチポイントを示す。図１０（ｃ）は、光のラインで結ばれた１番目のタッチポイントと、光のラインで結ばれた２番目のタッチポイントを示す。
【図１１】稲妻ナビゲーションの場合のタッチ受け付け処理のフローチャートである。
【図１２】稲妻ナビゲーションの場合のオブジェクト画像の遷移イメージである。図１２（ａ）は、タッチすべき全タッチポイントを示す。図１２（ｂ）は、１番目のタッチポイントと２番のタッチポイントとを結んでいた稲妻ラインが消去されたことを示す。図１２（ｃ）は、２番目のタッチポイントと３番のタッチポイントとを結んでいた稲妻ラインが消去されたことを示す。図１２（ｄ）は、３番目のタッチポイントと１番のタッチポイントとを結んでいた稲妻ラインが消去されたことを示す。
【図１３】ナビゲーションなしの場合のタッチ受け付け処理のフローチャートである。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態に係るエンタテインメントシステムについて、図面を用いて説明する。
【００１４】
本実施形態に係るエンタテインメントシステムの構成の一例を図１に示す。このエンタテインメントシステムは、ディスプレイ装置３に向き合った位置にいるプレーヤー４をアナログまたはデジタルのビデオカメラ１が撮影し、これにより得られた動画像をエンタテインメント装置２が連続的に連続に取り込んで、エンタテインメント装置２が生成したコンピュータ画像（ＣＧ）と、ビデオカメラ１から取り込んだビデオ画像の鏡面動画像とを重ね合わせた重畳画像をディスプレイ装置３上にリアルタイムに表示させるものである。
【００１５】
従って、重畳画像ではプレーヤー４の動作がリアルタイムに反映されていて、この重畳画像でプレーヤー４はプレーを楽しむことができる。鏡面動画像は、ビデオカメラ１から取り込んだ動画像をエンタテインメント装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、ビデオカメラ１の前に鏡を置き、操作者を映した鏡面の動画像をビデオカメラ１で撮影することによって鏡面動画像を生成するようにしてもよい。いずれにしても、ディスプレイ装置３上には、ターゲットの動きに応じてその表示形態がリアルタイムに変化する合成画像が表示されるようにする。
【００１６】
エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。この実施形態によるコンピュータは、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。
【００１７】
メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（Direct Memory Access Controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、描画用メモリとなるフレームメモリ１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）１４が接続される。ＧＰＵ１４には、フレームメモリ１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）１６が接続される。
【００１８】
メインＣＰＵ１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。
【００１９】
ＧＰＵ１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ１０から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。
【００２０】
メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。
【００２１】
サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア２８を装着するためのメディアドライブ２７及び入力部３１が接続されている。
【００２２】
サブＣＰＵ２０は、ＲＯＭ２３に記憶されている制御プログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３１は、操作装置３５からの入力信号が入力される接続端子３２、ビデオカメラ１からの画像信号が入力される接続端子３３、及びビデオカメラ１からの音声信号が入力される接続端子３４を備える。なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。
【００２３】
このように構成されるコンピュータは、メインＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯＭ２３及びメディア２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。
【００２４】
このエンタテインメント装置２の機能ブロック図を図３に示す。すなわち、エンタテインメント装置２には、ビデオ画像入力部１０１と、画像反転部１０２と、判定部１０３と、主制御部１０４と、ＣＧ生成部１０５と、重畳画像生成部１０６と、表示制御部１０７と、タッチパターン記憶部１０８とが形成される。
【００２５】
ビデオ画像入力部１０１は、ビデオカメラ１で撮影されたビデオ画像を取り込む。ビデオ画像は動画像であり、ビデオ画像入力部１０１はビデオカメラ１から送られてくる画像を連続的に取り込む。
【００２６】
画像反転部１０２は、ビデオ画像入力部１０１が取り込んだビデオ画像に対して鏡面処理、すなわち左右反転処理を行う。プレーヤーを撮影した鏡面処理されたビデオ画像２００の一例を図４（ａ）に示す。これ以降の処理は、鏡面処理がされたビデオ画像に対して行われる。
【００２７】
主制御部１０４は、エンタテインメントシステム全体の制御を行う。例えば、エンタテインメント装置２がゲームプログラムを実行しているときは、主制御部１０４がそのプログラムに従ってゲームのストーリーなどを決定する。また、主制御部１０４がストーリーを決定するときに、判定部１０３の判定結果を参照する場合がある。この詳細については後述する。
【００２８】
ＣＧ生成部１０５は、主制御部１０４の指示に従って、ゲームのストーリーに沿った種々のコンピュータ画像を生成する。例えば、図４（ｂ）に示すような、プレーヤーからのリクエストを受け付けるためのインタフェース用のコンピュータ画像（インタフェース画像）３００を生成する。ここで、インタフェース画像３００には、オブジェクト画像３１０が含まれている。
【００２９】
重畳画像生成部１０６は、画像反転部１０２で鏡面処理されたビデオ画像とＣＧ生成部１０５で生成されたコンピュータ画像とを重ね合わせた重畳画像を生成する。例えば、重畳画像生成部１０６が図４（ａ）に示したビデオ画像２００と図４（ｂ）に示したインタフェース画像３００とを重畳すると、図４（ｃ）に示した重畳画像４００が生成される。
【００３０】
表示制御部１０７は、重畳画像生成部１０６で生成された重畳画像をディスプレイ装置３に表示させる。
【００３１】
タッチパターン記憶部１０８には、後述するナビゲーションパターンおよびナビゲーションなしでタッチを受け付けたときの特定のタッチパターンが記憶されている。ナビゲーションパターンおよびタッチパターンは、プレーヤーが登録可能としても良い。
【００３２】
判定部１０３は、ＣＧ生成部１０５から取り込んだインタフェース画像３００を参照して画像反転部１０２から取り込んだビデオ画像２００を解析し、ビデオ画像２００がインタフェース画像３００に対応する所定の画像であるかを判定する。ビデオ画像２００は動画像であるから、この判定はフレーム単位に処理を行われる。例えば、判定部１０３は、フレーム間の差分をとって、インタフェース画像３００に対応する所定の動きの有無を判定する。判定部１０３は、フレーム間差分を計算する際に用いるカウンタ１０３ａを備えている。カウンタ１０３ａは、複数の値をカウントできる。
【００３３】
図４の例では、インタフェース画像３００には略環状のオブジェクト画像３１０が含まれている。オブジェクト画像３１０には、１２箇所のタッチポイント３２０が、概環状に、且つ、概等間隔に配置されている。従って、この場合、判定部１０３はビデオ画像２００のタッチポイント３２０と対応する領域に所定以上の動きがあるかどうかを判定する。
【００３４】
ここで、判定部１０３が、タッチポイント３２０と対応するビデオ画像２００の領域で所定以上の動きを検出すると、プレーヤーがそのタッチポイント３２０に仮想的にタッチ（以下、単にタッチと言う）したものと判定する。タッチしたと判定される典型的な例は、プレーヤーがディスプレイ装置３に写っているオブジェクト画像３１０と自分の姿を見ながら、タッチポイント３２０に自分の手などが重なるように動作する場合である。
【００３５】
また、タッチの有無の判定には、フレーム間差分による動きの検出以外に、所定の色の画素が所定数以上、タッチポイント３２０と対応する領域に存在するかを判定しても良い。あるいは、色の検出と動きの検出を組み合わせ、所定の色について動きの判定を行ってもよい。例えば、プレーヤーに特定色（例えば赤）のグローブをはめさせて、そのグローブの映像がタッチポイント３２０と重なり、タッチポイント３２０内の赤色の画素数が所定数以上であるときに、タッチされたと判定しても良い。さらに、タッチポイント３２０内の赤色の画素数が所定数以上であり、且つ、赤色の画素に所定以上の動きが検出されたときにタッチされたと判定してもよい。あるいは、パターン認識によりプレーヤーの腕、手、指先等あるいはグローブ等の動きを検出してタッチの有無の判定を行なうようにしてもよい。
【００３６】
なお、プレーヤーの動作がエンタテインメント装置２に認識されていることをプレーヤーに示すために、重畳画像４００中のグローブ等の検出対象が検出されたポイントを輝度を上げたり、ハイライト表示することにより強調して表示するようにしてもよい。このような表示は、タッチポイント３２０の領域付近にかかわらず、重畳画像４００内全体において行なうようにすることが望ましい。
【００３７】
このとき、強調表示を徐々に消えていくように表示させることで、プレーヤーがグローブ等を動かした場合に、あたかもその軌跡が残像のように表示され、一層、プレーヤーの動作がエンタテインメント装置２に認識されていることがプレーヤに明確に示されるとともに、エンタテインメント性が高まることになる
オブジェクト画像３１０を表示するタイミングは、主制御部１０４が決定する。そして、ＣＧ生成部１０５は主制御部１０４の指示に基づき、オブジェクト画像３１０を用いて、プレーヤーにタッチを促すために、以下に説明するようなナビゲーション画像を生成する。
【００３８】
ここで、ナビゲーションとは、プレーヤーに対してどのタッチポイントをどういう順番でタッチしていくかを誘導するものである。ここでは、プレーヤーにタッチさせるタッチポイントを通常とは異なる態様（例えば、光っているように見せるフラッシュ表示や、通常と異なる色での表示、点滅表示など）で示した画像を表示し、プレーヤーにタッチを促す。本実施形態では、タッチポイントをフラッシュ表示させて、誘導する場合について説明する。
【００３９】
ナビゲーションのパターンは複数用意されていて、タッチパターン記憶部１０８に記憶されている。そして、それぞれのナビゲーションパターン（以下、ナビパターンと言う）ごとに、どのような順番で、いくつのタッチポイントをタッチさせるかがあらかじめ定められている。
【００４０】
例えば、ナビパターンには、（１）タッチさせる順に従って、タッチポイントを１点ずつ順次フラッシュさせる第１のパターン（シングルナビゲーション）と、（２）タッチさせる順に従って、同時に２点フラッシュさせ、同時に２点にタッチさせる第２のパターン（ダブルナビゲーション）と、（３）タッチさせるすべての点を、タッチする順序を示す数字と共に同時にフラッシュさせる第３のナビゲーション（稲妻ナビゲーション）とがある。さらに、ナビゲーションを行わずに、プレーヤーが自発的に行うタッチを受け付けるナビゲーションなしパターンもある。
【００４１】
本実施形態では、オブジェクト画像３１０を利用して、プレーヤーに連続的にタッチをさせる。そして、プレーヤーがナビゲーションに従ってタッチすると、エンタテインメント装置２は、所定の入力が完了したものとして受け付け、所定の機能を実行する。所定の機能としては、例えば、キャラクタを呼び出したり、攻撃または防御を行ったりする。タッチパターンごとに異なる機能を対応させても良い。
【００４２】
また、ナビゲーションなしのときは、プレーヤーがタッチしたタッチポイントの位置および順序がタッチパターン記憶部１０８に記憶されているタッチパターンと一致すると、エンタテインメント装置２は所定の入力があったものと認識する。
【００４３】
あるいは、入力完了を示すタッチポイントを別途表示して、そのタッチポイントのタッチを受け付けた場合に入力があったものと認識するようにしてもよい。もちろん、操作装置３５から入力完了の指示を受け付けるようにしてもよい。
【００４４】
上記のような機能構成を有するエンタテインメント装置２において、プレーヤー自身の画像を使った入力受け付け処理手順を、フローチャートおよび画面遷移を示す図を用いて説明する。なお、以下の例では、エンタテインメント装置２が入力を受け付けると、キャラクタの呼び出し処理を行う場合について説明する。
【００４５】
まず、入力受け付け処理の全体の処理手順を図５に示す。ＣＧ生成部１０５は、主制御部１０４からの指示に基づいて、オブジェクト画像３１０を含むコンピュータ画像３００を生成する。そして、重畳画像生成部１０６が画像反転部１０２から獲得した鏡面処理後のビデオ画像２００（図４（ａ））とインタフェース画像３００（図４（ｂ））とを重ね合わせ、オブジェクト画像３１０を含む重畳画像４００（図４（ｃ））がディスプレイ装置３に表示される（Ｓ１０１）。次に、主制御部１０４は、ナビパターンを選択する（Ｓ１０２）。ここでは、ナビゲーションありの場合と、ナビゲーションなしの場合で処理が分かれる。
【００４６】
ナビゲーションありの場合は、主制御部１０４がタッチパターン記憶部１０８に記憶されているナビパターンを選択する。そして、エンタテインメント装置２が、選択されたナビパターンに従ったナビゲーションをディスプレイ装置３に表示させて、プレーヤーのタッチを受け付ける処理を行う（Ｓ１０３）。この処理の詳細については後述する。そして、主制御部１０４は、プレーヤーがナビゲーションに従ったタッチをして、ナビパターン通りのタッチが行われたかどうかを判定する（Ｓ１０４）。
【００４７】
ここで、ナビパターン通りのタッチが行われなかったときは（Ｓ１０４：Ｎｏ）、入力受け付け処理を終了する。一方、ナビパターン通りのタッチが行われたときは（Ｓ１０４：Ｙｅｓ）、主制御部１０４がナビパターンに対応するキャラクタを呼び出すための処理を実行する（Ｓ１０５）。
【００４８】
一方、ステップＳ１０２でナビゲーションなしが選択された場合は、主制御部１０４はナビゲーション表示の指示をしない。そして、オブジェクト画像３１０が表示された状態のままで、プレーヤーは自分の意志でタッチを行うことができる（Ｓ１０６）。この処理の詳細については後述する。
【００４９】
ステップＳ１０６のタッチ受け付け処理が終了すると、主制御部１０４はタッチパターン記憶部１０８を参照し、受け付けたタッチパターンが予め登録されているタッチパターンと一致するかを判定する（Ｓ１０７）。ここで、プレーヤーがタッチしたパターンが登録済みパターンと一致すれば、主制御部１０４は、その登録済みパターンに対応する特定のキャラクタを呼び出すための処理を行い（Ｓ１０８）、一致しなければ、一般のキャラクタを呼び出すための処理を行う（Ｓ１０９）。これにより、プレーヤー自身の画像を使った入力インタフェースが実現する。
【００５０】
なお、同じインタフェースを利用してタッチパターンを登録することができる。すなわち、登録受け付けモードのときにディスプレイ装置３に表示されているオブジェクト画像３１０を用いて、プレーヤーがタッチポイントにタッチしていき、そのときのタッチパターンをタッチパターン記憶部１０８に格納する。
【００５１】
次に、ステップＳ１０３のプレーヤーのタッチを受け付けるための詳細な処理について説明する。ここでは、シングルナビゲーション、ダブルナビゲーションおよび稲妻ナビゲーションのそれぞれのナビパターンについて説明する。
【００５２】
シングルナビゲーションの場合のフローチャートを図６に示す。主制御部１０４は、ナビパターンに従ってタッチポイントを特定し、そのタッチポイントをフラッシュ表示させる。（Ｓ２１）（図８（ａ）参照）。次に、判定部１０３はタッチがあったかどうかの判定処理を行う（Ｓ２２）。タッチ判定処理の詳細は後述する。そして、タッチ判定処理終了後、主制御部１０４はフラッシュ表示中のタッチポイントにタッチがあったかどうかを判定する（Ｓ２３）。フラッシュ表示中のタッチポイントにタッチがないときは（Ｓ２３：Ｎｏ）、処理を終了する。タッチがあったときは（Ｓ２３：Ｙｅｓ）、このタッチポイントが最初のタッチポイントであるかを判定する（Ｓ２４）。そして、最初のタッチポイントであったときは（Ｓ２４：Ｙｅｓ）、ステップＳ２１へ戻る（図８（ａ）、図８（ｂ）参照）。最初のタッチポイントでないとき、すなわち、２番目以降のタッチポイントであったときは、このタッチポイントと直前のタッチポイントを所定のオブジェクト、例えば、光のライン（光っているように見えるライン）で結んで表示する（Ｓ２５）（図８（ｂ）、図８（ｃ）参照）。また、このタッチポイントが最後のタッチポイントでないときはステップＳ２１へ戻り（Ｓ２６）、最後のタッチポイントであるときは、最後のタッチポイントと最初のタッチポイントとを光のラインで結んで表示する（Ｓ２７）（図８（ｃ）、図８（ｄ）参照）。以上のような手順でシングルナビゲーションが行われる。
【００５３】
次に、ステップＳ２２のタッチ判定処理について、図７のフローチャートを用いて説明する。判定部１０３は、ビデオ画像を解析し、インタフェース画像でフラッシュ表示しているタッチポイントの位置と重なるビデオ画像の領域を特定する（Ｓ５１）。そして、画素数をカウントするためのカウンタ１０３ａを初期化する（Ｓ５２）。
【００５４】
次に、処理対象のビデオ画像のフレームを更新する（Ｓ５３）。ここで、一つのタッチポイントについてタッチの受付可能時間が一定時間に制限されている。従って、その制限時間を超えるときはタイムアウトとなるので、判定部１０３はそれを監視する（Ｓ５４）。
【００５５】
タイムアウトしたときは（Ｓ５４：Ｙｅｓ）、処理を終了する。
【００５６】
タイムアウトしていないときは（Ｓ５４：Ｎｏ）、ビデオ画像について前フレームとのフレーム間差分をとり、ステップＳ５１で特定された領域内で変動があった画素数をカウントし、カウンタ１０３ａに累積する（Ｓ５５）。そして、カウンタに累積された値が所定値以上であるかどうかを判定する（Ｓ５６）。累積値が所定値を越えていないときは（Ｓ５６：Ｎｏ）、ステップＳ５３以降を繰り返す。累積値が所定値を越えているときは（Ｓ５６：Ｙｅｓ）、タッチが検出される（Ｓ５７）。
【００５７】
なお、上記の説明では、フレーム間差分を用いて動きを検出してタッチ判定を行っている。しかし、上述のようにプレーヤーに赤色のグローブをさせて、その色の検出によりタッチ判定するときは、ステップＳ５５において赤色の画素数をカウントし、そのカウント数が所定数以上であればタッチがあったものと判定しても良い。このとき、さらに色による判定と動きによる判定を組み合わせても良い。
【００５８】
ここで、シングルナビゲーションの場合のナビゲーション表示の様子を図８を用いて説明する。インタフェース画像にはオブジェクト画像３１０が含まれている。図８（ａ）は第１番目のタッチポイント（ここでは「タッチポイント１２」）にフラッシュ表示３１１がなされている。図８（ａ）においてタッチポイント１２にタッチされると図８（ｂ）へ遷移し、第２番目のタッチポイント（ここでは「タッチポイント４」）にもフラッシュ表示３１１が追加される。
【００５９】
さらに、図８（ｂ）においてタッチポイント４にタッチされると図８（ｃ）へ遷移し、第１番目のタッチポイントと第２番目のタッチポイントとが光のライン３１２で結ばれる。そして、第３番目のタッチポイント（ここでは「タッチポイント７」）にもフラッシュ表示３１１が追加される。
【００６０】
このとき、上記で説明したように、認識したプレーヤーの動きの軌跡を残像表示させている場合には、あたかもタッチポイントを結ぶ軌跡の残像に光のラインが覆い被さるように表示されることになり、入力インタフェースとしてのエンタテインメント効果が高まる。これは、後に説明するダブルナビゲーション等においても同様である。
【００６１】
図８（ｃ）においてタッチポイント７にタッチされると図８（ｄ）へ遷移し、第２番目のタッチポイントと第３番目のタッチポイントとが光のライン３１２で結ばれる。さらに、図８の例では第３番目のタッチポイント７が最終のタッチポイントであるから、最初タッチポイント１２との間も光のライン３１２で結ばれる。この状態でシングルナビゲーションに対するプレーヤーからの入力受け付けが完了する。
【００６２】
ところで、上記の説明では、タッチを検出するたびに、検出したタッチポイントと直前のタッチポイントとを光のラインで結ぶようにしていた（Ｓ２５、図８（ｃ））。しかし、タッチの検出のたびではなく、最後オンタッチポイントの入力を終えた時点で、タッチされたタッチポイントを一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。
【００６３】
この場合、図６における処理（Ｓ２５）は省略し、処理（Ｓ２７）に代え、「タッチされたタッチポイントを一斉に（あるいは、順次）、光のラインで結ぶ」となる。なお、いずれのも場合も最終的に表示される光のラインは、図８（ｄ）のようになる。
【００６４】
次に、ステップＳ１０３の詳細な処理として、ダブルナビゲーションの場合のフローチャートを図９に示す。主制御部１０４は、ナビパターンに従ってタッチポイントを２箇所特定し、その２箇所のタッチポイントを同時にフラッシュ表示させる（Ｓ３１）（図１０（ａ）参照）。そして、判定部１０３は２箇所のタッチポイントのそれぞれにタッチがあったかどうかの判定処理を行う（Ｓ３２）。
【００６５】
ここで、タッチ判定処理は、２箇所のタッチポイントのそれぞれについて図７に示したものと同様の処理を行う。
【００６６】
そして、タッチ判定処理終了後、主制御部１０４はフラッシュ表示中の２点のタッチポイントに対し、ほぼ同時にタッチがあったかどうかを判定する（Ｓ３３）。いずれか一方またはいずれにもタッチがないときは（Ｓ３３：Ｎｏ）終了する。２点ともタッチがあったときは（Ｓ３３：Ｙｅｓ）、タッチされた２点間を光のラインで結ぶ（Ｓ３４）（図１０（ａ）、図１０（ｂ）参照）。
【００６７】
そして、主制御部１０４が、このナビパターンの全タッチポイントにタッチされ、ナビパターンが終了したかを判定する（Ｓ３５）。そして、ナビパターンが終了していないときは（Ｓ３５：Ｎｏ）、ステップＳ３１以降を繰り返す。ナビパターンが終了しているときは（Ｓ３５：Ｙｅｓ）終了する。
【００６８】
なお、２点のタッチポイントについて、一方のタッチポイントにタッチがあった後、所定の時間内に他方にタッチがあったときは、同時にタッチがあったと判定する。さらに、一方にタッチがあると、他方のタッチポイントのタッチ判定のしきい値を下げても良い。
【００６９】
ここで、ダブルナビゲーションの場合のナビゲーション表示の様子を図１０を用いて説明する。図８の場合と同様に、ナビゲーション画像にはオブジェクト画像３１０が含まれている。
【００７０】
図１０（ａ）は第１番目のタッチポイント（ここでは「タッチポイント７および１２」）にフラッシュ表示３１１がなされている。図１０（ａ）においてタッチポイント７および１２が同時にタッチされると（ｂ）へ遷移する。すなわち、第２番目のタッチポイント（ここでは「タッチポイント２，１０」）がフラッシュ表示３１１されると共に、第１番目のタッチポイント同士、つまりタッチポイント７および１２が光のライン３１２で結ばれる。
【００７１】
さらに、図１０（ｂ）においてタッチポイント２，１０が同時にタッチされると図１０（ｃ）へ遷移し、第２番目のタッチポイント同士、つまりタッチポイント２および１０が光のライン３１２で結ばれる。この状態でダブルナビゲーションに対するプレーヤーからの入力受け付けが完了する。
【００７２】
なお、ダブルナビゲーションの場合にも、最後オンタッチポイントの入力を終えた時点で、それぞれの２点間を一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。
【００７３】
次に、ステップＳ１０３の詳細な処理として、稲妻ナビゲーションの場合のフローチャートを図１１に示す。主制御部１０４は、ナビパターンに従って、このナビパターンに含まれる全タッチポイントおよびタッチする順番を特定する。
【００７４】
そして、各タッチポイントにタッチ順を示す数字を表示し、各タッチポイントをフラッシュ表示させるとともに、各タッチポイント間を稲妻ライン（稲妻を模したライン）で結ぶ（Ｓ４１）（図１２（ａ）参照）。
【００７５】
そして、判定部１０３はタッチがあったかどうかの判定処理を行う（Ｓ４２）。ここで、タッチ判定処理は図７に示すものと同様である。そして、タッチ判定処理終了後、主制御部１０４はタッチ順序通りにタッチがあったかどうかを判定する（Ｓ４３）。
【００７６】
タッチ順通りにタッチされていないときは（Ｓ４３：Ｎｏ）終了する。タッチ順通りにタッチされているときは（Ｓ４３：Ｙｅｓ）、タッチされたタッチポイントのフラッシュおよび稲妻ラインを消去する（Ｓ４４）（図１２（ｂ）、図１２（ｃ）参照）。
【００７７】
そして、主制御部１０４が、このナビパターンの全タッチポイントにタッチされ、ナビパターンが終了したかを判定する（Ｓ４５）。そして、ナビパターンが終了していないときは（Ｓ４５：Ｎｏ）、ステップＳ４１以降を繰り返す。ナビパターンが終了しているときは（Ｓ４５：Ｙｅｓ）終了する。
【００７８】
ここで、稲妻ナビゲーションの場合のナビゲーション画像の遷移の様子を図１２を用いて説明する。図８、図１０の場合と同様に、ナビゲーション画像にはオブジェクト画像３１０が含まれている。
【００７９】
図１２（ａ）はプレーヤーがタッチすべき全タッチポイント（ここでは「タッチポイント４，７および１２」）にタッチする順序を示す数字、およびフラッシュ表示３１１がなされ、それぞれが稲妻ライン３１３で結ばれている。
【００８０】
図１２（ａ）においてタッチポイント１２（第１番目のタッチポイント）にタッチされると、図１２（ｂ）へ遷移する。すなわち、第１番目のタッチポイントのフラッシュ表示３１１、および第１番目と第２番目のタッチポイントを結んでいた稲妻ラインが消去される。
【００８１】
図１２（ｂ）においてタッチポイント４（第２番目のタッチポイント）がタッチされると、図１２（ｃ）へ遷移し、第２番目のタッチポイントのフラッシュ表示および第２および第３番目のタッチポイント間の稲妻ラインが消去される。
【００８２】
図１２（ｃ）においてタッチポイント７にタッチされると、図１２（ｄ）へ遷移し、第３番目のタッチポイントの稲妻表示および第３および第１番目の間の稲妻ラインが消去される。この状態で稲妻ナビゲーションに対するプレーヤーからの入力受け付けが完了する。
【００８３】
次に、図５のステップＳ１０６のナビゲーションなしの場合の詳細な処理について、図１３のフローチャートを用いて説明する。ナビゲーションなしでタッチを受け付けるときは、タッチ判定処理でいずれかのタッチポイントについてタッチがあったかを検出する（Ｓ６１）。つまり、図７のタッチ検出処理をすべてのタッチポイントについて行い、いずれか一つについてタッチを判定するとステップＳ６２に移行する。
【００８４】
これ以降の処理はシングルナビゲーションの場合の処理（図６）と類似する。すなわち、複数のタッチポイントに対するタッチを検出すると、タッチ済みのタッチポイント間を光のラインで結んでいく（Ｓ６２〜Ｓ６５）。このとき、タッチを受け付ける総数（Ｎ）が予め定められている。つまり、プレーヤーが自由にＮ点のタッチポイントにタッチすると（Ｓ６５：Ｙｅｓ）、Ｎ番目のタッチポイントと第１番目のタッチポイントとを光のラインで結び処理を終了する（Ｓ６６）。
【００８５】
なお、ナビゲーションなしの場合にも、最後オンタッチポイントの入力を終えた時点で、タッチされたタッチポイントを一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。
【００８６】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【００８７】
例えば、オブジェクト画像は三角形などの多角形、あるいは、様々な形状でもよい。さらには、それらの組み合わせでも良い。タッチポイントは、一定のルールに基づき、オブジェクト画像に対して等距離（均等）または非等距離（非均等）に配置される。あるいは、オブジェクト画像は表示せず、タッチポイントのみの表示しても良いし、タッチすべきタッチポイントのみを表示するようにしても良い。
【特許請求の範囲】
【請求項１】
情報処理システムであって、
プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成する手段と、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、
前記検出手段により、所定数のタッチポイントに所定の順番で前記仮想的なタッチがされたことが検出されると、所定の処理を実行する手段と、を備える。
【請求項２】
請求項１記載の情報処理システムであって、
前記検出手段は、前記ビデオ画像内のプレーヤーが身につけている特定色の物体が、前記コンピュータ画像内の前記複数のタッチポイントのいずれかと重なるときに、仮想的なタッチを検出する。
【請求項３】
請求項１記載の情報処理システムであって、
前記画像生成手段は、次にタッチすべき１点のタッチポイントを示すナビゲーションを含むコンピュータ画像を順次生成し、
前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーションを含むコンピュータ画像のそれぞれに対して、仮想的なタッチがされたことが検出されると、前記所定の処理を実行する。
【請求項４】
請求項１記載の情報処理システムであって、
前記画像生成手段は、次にタッチすべき２点のタッチポイントを示すコンピュータ画像を順次生成し、
前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーションを含むコンピュータ画像のそれぞれに対して、前記２点のタッチポイントに対して同時に仮想的なタッチがされたことが検出されると、前記所定の処理を実行する。
【請求項５】
請求項１記載の情報処理システムであって、
前記画像生成手段は、タッチポイントに対するタッチの順番を示すナビゲーションを含むコンピュータ画像を生成し、
前記所定の処理を実行する手段は、前記検出手段により前記ナビゲーションに従って仮想的なタッチがされたことが検出されると、前記所定の処理を実行する。
【請求項６】
エンタテインメントシステムであって、
複数の領域を特定するための画像を含んだコンピュータ画像を生成する手段と、
撮影手段で撮影したビデオ画像の入力を受け付ける手段と、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
前記コンピュータ画像を参照して前記ビデオ画像を解析する手段と、を備えるエンタテインメントシステムであって、
前記画像生成手段が、所定の順序で前記複数の領域のうちの一つの領域を選択し、選択された領域を他と異なる態様で表示した入力を促す複数の画像を連続的に生成し、
前記解析手段は、それぞれの入力を促す画像が表示されているときのビデオ画像を解析し、他と異なる態様で表示された前記選択された領域と対応するビデオ画像の対応領域が所定の画像であることを検出し、
前記入力を促す画像の生成、および前記対応領域が所定の画像であることの検出が所定回数行われると、所定の機能を実行する。
【請求項７】
情報処理システムの入力受け付け方法であって、
プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成し、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付け、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させているときに前記ビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを順次検出し、
前記仮想的なタッチにより、所定数のタッチポイントが所定の順番でタッチがされると、所定の入力があったものとして受け付ける。
【請求項８】
入力受け付けのためのコンピュータプログラムを記録した記録媒体であって、
前記コンピュータプログラムは、コンピュータに以下の処理を実行させる。
プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成する処理、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける処理、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させているときに前記ビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを順次検出する処理、
前記仮想的なタッチにより、所定数のタッチポイントが所定の順番でタッチがされると、所定の入力があったものとして受け付ける処理。
【請求項９】
情報処理システムであって、
プレーヤーに対して、仮想的なタッチの対象となる複数のタッチポイントを示すコンピュータ画像を生成する手段と、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、
前記検出手段により、複数のタッチポイントに連続的に前記仮想的なタッチがされたことが検出されると、連続して前記仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示手段と、を備える。
【請求項１０】
請求項９に記載の情報処理システムであって、
前記オブジェクト表示手段は、いずれかのタッチポイントに前記仮想的なタッチがされると、直前に前記仮想的なタッチがされたタッチポイントとを結ぶオブジェクトの表示を行なう。
【請求項１１】
請求項９に記載の情報処理システムであって、
前記オブジェクト表示手段は、所定の順序で所定のタッチポイントに仮想的なタッチがされると、連続して仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なう。
【請求項１２】
請求項９に記載の情報処理システムであって、
前記タッチポイントを結ぶオブジェクトは、光を模擬したラインである。
【請求項１３】
コンピュータプログラムを記録した記録媒体であって、
前記コンピュータプログラムは、コンピュータを以下の手段として機能させる。
プレーヤーに対して、仮想的なタッチの対象となる複数のタッチポイントを示すコンピュータ画像を生成する手段、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段、
前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段、
前記検出手段により、複数のタッチポイントに連続的に前記仮想的なタッチがされたことが検出されると、連続して前記仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示手段。
【請求項１４】
コンピュータ画像生成部と画像入力部と重畳画像生成部と判定部とを有する情報処理装置における入力インタフェース制御方法であって、
プレーヤーに対して、仮想的なタッチの対象となる複数のタッチポイントを示すコンピュータ画像をコンピュータ画像生成部が生成するステップと、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を画像入力部が受け付けるステップと、
重畳画像生成部が、前記ビデオ画像と前記コンピュータ画像とを重ねて表示装置に表示させる表示ステップと、
判定部が、前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出するステップと、
複数のタッチポイントに連続的に前記仮想的なタッチがされたことが検出されると、コンピュータ画像生成部が、連続して前記仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示ステップとを有する。
【請求項１】
情報処理システムであって、
プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成する手段と、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、
前記検出手段により、所定数のタッチポイントに所定の順番で前記仮想的なタッチがされたことが検出されると、所定の処理を実行する手段と、を備える。
【請求項２】
請求項１記載の情報処理システムであって、
前記検出手段は、前記ビデオ画像内のプレーヤーが身につけている特定色の物体が、前記コンピュータ画像内の前記複数のタッチポイントのいずれかと重なるときに、仮想的なタッチを検出する。
【請求項３】
請求項１記載の情報処理システムであって、
前記画像生成手段は、次にタッチすべき１点のタッチポイントを示すナビゲーションを含むコンピュータ画像を順次生成し、
前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーションを含むコンピュータ画像のそれぞれに対して、仮想的なタッチがされたことが検出されると、前記所定の処理を実行する。
【請求項４】
請求項１記載の情報処理システムであって、
前記画像生成手段は、次にタッチすべき２点のタッチポイントを示すコンピュータ画像を順次生成し、
前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーションを含むコンピュータ画像のそれぞれに対して、前記２点のタッチポイントに対して同時に仮想的なタッチがされたことが検出されると、前記所定の処理を実行する。
【請求項５】
請求項１記載の情報処理システムであって、
前記画像生成手段は、タッチポイントに対するタッチの順番を示すナビゲーションを含むコンピュータ画像を生成し、
前記所定の処理を実行する手段は、前記検出手段により前記ナビゲーションに従って仮想的なタッチがされたことが検出されると、前記所定の処理を実行する。
【請求項６】
エンタテインメントシステムであって、
複数の領域を特定するための画像を含んだコンピュータ画像を生成する手段と、
撮影手段で撮影したビデオ画像の入力を受け付ける手段と、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
前記コンピュータ画像を参照して前記ビデオ画像を解析する手段と、を備えるエンタテインメントシステムであって、
前記画像生成手段が、所定の順序で前記複数の領域のうちの一つの領域を選択し、選択された領域を他と異なる態様で表示した入力を促す複数の画像を連続的に生成し、
前記解析手段は、それぞれの入力を促す画像が表示されているときのビデオ画像を解析し、他と異なる態様で表示された前記選択された領域と対応するビデオ画像の対応領域が所定の画像であることを検出し、
前記入力を促す画像の生成、および前記対応領域が所定の画像であることの検出が所定回数行われると、所定の機能を実行する。
【請求項７】
情報処理システムの入力受け付け方法であって、
プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成し、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付け、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させているときに前記ビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを順次検出し、
前記仮想的なタッチにより、所定数のタッチポイントが所定の順番でタッチがされると、所定の入力があったものとして受け付ける。
【請求項８】
入力受け付けのためのコンピュータプログラムを記録した記録媒体であって、
前記コンピュータプログラムは、コンピュータに以下の処理を実行させる。
プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成する処理、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける処理、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させているときに前記ビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを順次検出する処理、
前記仮想的なタッチにより、所定数のタッチポイントが所定の順番でタッチがされると、所定の入力があったものとして受け付ける処理。
【請求項９】
情報処理システムであって、
プレーヤーに対して、仮想的なタッチの対象となる複数のタッチポイントを示すコンピュータ画像を生成する手段と、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、
前記検出手段により、複数のタッチポイントに連続的に前記仮想的なタッチがされたことが検出されると、連続して前記仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示手段と、を備える。
【請求項１０】
請求項９に記載の情報処理システムであって、
前記オブジェクト表示手段は、いずれかのタッチポイントに前記仮想的なタッチがされると、直前に前記仮想的なタッチがされたタッチポイントとを結ぶオブジェクトの表示を行なう。
【請求項１１】
請求項９に記載の情報処理システムであって、
前記オブジェクト表示手段は、所定の順序で所定のタッチポイントに仮想的なタッチがされると、連続して仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なう。
【請求項１２】
請求項９に記載の情報処理システムであって、
前記タッチポイントを結ぶオブジェクトは、光を模擬したラインである。
【請求項１３】
コンピュータプログラムを記録した記録媒体であって、
前記コンピュータプログラムは、コンピュータを以下の手段として機能させる。
プレーヤーに対して、仮想的なタッチの対象となる複数のタッチポイントを示すコンピュータ画像を生成する手段、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段、
前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段、
前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段、
前記検出手段により、複数のタッチポイントに連続的に前記仮想的なタッチがされたことが検出されると、連続して前記仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示手段。
【請求項１４】
コンピュータ画像生成部と画像入力部と重畳画像生成部と判定部とを有する情報処理装置における入力インタフェース制御方法であって、
プレーヤーに対して、仮想的なタッチの対象となる複数のタッチポイントを示すコンピュータ画像をコンピュータ画像生成部が生成するステップと、
撮影手段で前記プレーヤーを撮影したビデオ画像の入力を画像入力部が受け付けるステップと、
重畳画像生成部が、前記ビデオ画像と前記コンピュータ画像とを重ねて表示装置に表示させる表示ステップと、
判定部が、前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタッチポイントのいずれかに対する仮想的なタッチを検出するステップと、
複数のタッチポイントに連続的に前記仮想的なタッチがされたことが検出されると、コンピュータ画像生成部が、連続して前記仮想的なタッチがされたタッチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示ステップとを有する。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【国際公開番号】ＷＯ２００５／０６５７９８
【国際公開日】平成１７年７月２１日（２００５．７．２１）
【発行日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願番号】特願２００５−５１６８７１（Ｐ２００５−５１６８７１）
【国際出願番号】ＰＣＴ／ＪＰ２００５／００００３８
【国際出願日】平成１７年１月５日（２００５．１．５）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【国際公開日】平成１７年７月２１日（２００５．７．２１）
【発行日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００５／００００３８
【国際出願日】平成１７年１月５日（２００５．１．５）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]