説明

コンピュータアプリケーション及びビデオゲームアプリケーションの相互作の制御のためのパターンコード

複数のタグで定義されるパターンコードを提示するステップと、特定の時刻にパターンコードに光を照射するステップを含む。次に、光がパターンコードに照射される前にパターンコードの第1のビデオフレームを撮像し、パターンコードの第1の特性を定義する。次に、光がパターンコードに照射されたときに、パターンコードに対して第2のビデオフレームを撮像し、パターンコードの第2の特性を定義する。次に第1の特性及び第2の特性を復号化し、復号化情報を生成する。復号化情報に基づき、コンピュータゲームの相互作用命令が開始される。相互作用命令は、コンピュータゲームに対して定義された復号化情報によって定義される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータビデオゲームに関し、特に、光の照射時間に応じて異なるパターンを生成することができ、復号化されてゲームプレーとの相互作用を可能にするパターンコードに関する。
【背景技術】
【0002】
ビデオゲーム業界では、最近、多くの変化が見られる。この数年間、コンピュータ処理能力が拡大するにつれて、ビデオゲーム開発者は、コンピュータ処理能力の向上を利用したゲームソフトを開発してきた。この目的のために、ビデオゲーム開発者は、高度な操作と計算を実施して非常にリアルなゲーム体験ができるゲームをコード化してきた。
【0003】
ゲームのプラットホームの例としては、ソニーのプレーステーションまたはプレーステーション2(PS2、商標)があり、どちらもゲームコンソールの形で販売されている。よく知られているように、ゲームコンソールはモニター(通常はテレビ)に接続され、手に持ったコントローラを通じてユーザとの相互作用を可能にするように設計されている。ゲームコンソールは、CPU、膨大な画像操作を処理する画像シンセサイザ、幾何学的変換を行うベクトル装置、その他の付属ハードウェア、ファームウェア、及びソフトウェアを含む、専用の処理ハードウェアで設計されている。ゲームコンソールはさらに、ゲームコンソールを通したローカルプレー用のゲームCDを収納する光ディスクトレイをもつものとして設計されている。オンラインゲームも可能であり、ユーザは、インターネット上で、他のユーザに対し、または他のユーザと共に相互作用的にプレーできる。
【発明の開示】
【発明が解決しようとする課題】
【0004】
プレイヤはゲームの複雑さに魅せられ続けるので、ゲームおよびハードウェア製作者は技術革新を継続して、さらに相互作用性を可能にしてきた。しかしながら実際には、ユーザがゲームと相互作用する方法は、最近では大きくは変わっていない。
【0005】
上記の状況を考慮すると、ゲームプレーとのより進歩したユーザ相互作用性を可能にする方法とシステムが求められている。
【0006】
本発明の目的は広くは、パターンコードに光が照射されているかどうかによって、異なったパターン構成を定義できるパターンコードを提供することにより、これらのニーズに応えるものである。このパターンコード構成は、ビデオ撮像装置で撮像されて復号化されることができ、この復号化コードに応じて、ビデオゲームにより、特有の反応が作られる。上記反応は、命令、アクション開始、選択、ゲーム状況または状態の変更、フィーチャの開錠など、いずれの形態でも可能である。
【課題を解決するための手段】
【0007】
ひとつの実施形態は製作物を開示する。この製作物は、複数のタグを含むパターンコードで定義される。各タグは、周囲光がタグそれぞれの表面に届いているときに視認できる第1の状態を有する。また、各タグは光反射性表面を持つことができる。複数のタグそれぞれの表面に向けられた光によって光反射性表面が照射されると、光反射性表面は第2の状態を有する。パターンコードは、周囲光が存在するときには第1の特性を有し、光がタグそれぞれの表面に向けられているときは、第2の特性を有する。
【0008】
別の実施形態では、コンピュータゲームと相互作用する方法を開示する。この方法は、複数のタグによって定義されるパターンコードを提示するステップと、特定の時刻に、パターンコードに向けて光を照射するステップとを含む。つづいて、光がパターンコードに照射される前に、パターンコードの第1の特性を定める第1のビデオフレームを撮像するステップに移る。つぎに、光がパターンコードに照射されたときに、パターンコードの第2の特性を定める第2のビデオフレームが撮像される。つづいて、パターンコードの第1の特性及び第2の特性の復号化によって復号化情報を生成する。復号化情報に基いて、コンピュータゲームに対して、相互作用の命令が開始される。ここで相互作用命令のタイプは、コンピュータゲームに対して定義された復号化情報によって定義される。
【0009】
さらに別の実施形態では、コンピュータゲームとインターフェイスするシステムを開示する。このシステムにはパターンコードの使用が含まれる。システムはさらに、光照射装置、ビデオ撮像装置及びプロセッサにより定まる。プロセッサは、ゲーム命令の実行、光照射装置とのインターフェイスのための制御命令の実行、ビデオ撮像装置によってビデオ撮像するための命令の実行を行う。光照射装置はパターンコードに光を照射するように構成され、光照射装置に対する制御命令の実行により、いつ光を照射するかが決定される。光は、光照射時は第1のパターン構成を形成し、光が照射されていないときには第2のパターン構成を形成するパターンコードに照射される。ビデオ撮像の命令実行により、第1のパターン構成及び第2のパターン構成の特定が可能となり、これによって、プロセッサによる、第1パターン構成及び第2のパターン構成の復号化を可能とし、コンピュータゲームの相互作用命令が定義できる。
【0010】
コンピュータシステムのプログラムとのインターフェイスのためのシステムが提供される。このシステムには、パターンコード、光照射装置、ビデオ撮像装置及びプロセッサが備わる。プロセッサは、命令の実行、光照射装置とのインターフェイスのための制御命令の実行、ビデオ撮像装置からビデオを撮像するための命令を実行できる。光照射装置はパターンコードに光を照射するように構成され、光照射装置に対する制御命令の実行により、いつ光を照射するかが決定される。光は、光照射時は第1のパターン構成を形成し、光が照射されていないときには第2のパターン構成を形成するパターンコードに照射される。
ビデオ撮像のための命令の実行により、第1のパターン構成及び第2のパターン構成の特定が可能となり、これによって、プロセッサによる、第1のパターン構成及び第2のパターン構成の復号化を可能とし、コンピュータシステムのプログラムに対する命令が定義できる。
【0011】
一般的に、パターンコードによる相互作用の検出は、どのようなコンピュータ装置のどのようなコンピュータプログラムとのインターフェイスにも適用できる。従って、検出及び処理を実行するように構成された装置に作用するコードによって動作を駆動、指示または命令するパターンコードには、どのようなタイプのコードであっても埋め込むことができる。本発明の他の態様及び特徴については、本発明の原理を例示した添付の図面と併せて以下の詳細な記述に示す。
【0012】
本発明とその特徴は、添付の図面と併せて以下の記述を参照することにより最も理解されるであろう。
【発明を実施するための最良の形態】
【0013】
パターンコードに関する発明が開示される。パターンコードは、製作物の形態であってもよい。本発明はさらに、パターンコード利用方法を実行するシステムでのパターンコード利用方法を定義する。パターンコードはひとつまたは複数のタグによって定義される。各タグは、パターンコードの一部を定義する。獲得したいパターンコードに応じて、各タグは、光が照射されると反射するまたは、明るく輝く材料で作られる。従って、パターンコードの各タグは、光がタグに照射されていないときの状態と、光が照射されているときの状態との2つの視認状態を持つことができる。パターンコードはこのようなタグをひとつまたは複数有する。パターンコードは光の前方に置かれるようになっていて、光がオン・オフする時間は制御されている。従って、ある時刻になると光はオンまたはオフとなり、その結果生じるパターンコードは視認性を持つことになり、パターンコードのコード状態を定義する。
【0014】
上記視認性は、ビデオ撮像装置が個々のタグにおける差異を決定し、光照射時及び非照射時に各タグの状態を撮影できるように、十分に識別別可能であることが好ましい。
光が照射されていない(オフ)ときには、ゲームプレーの間通常利用される室内照明などの周囲光があることが好ましい。光がオンまたはオフのある時刻にパターンコードが撮像されれば、上記パターンコードは復号化することができる。パターンコードが復号化されることにより、ゲームプレーで可能となるものが指示される。このように、パターンコードを構成するタグの組み合わせを変えることにより、ゲームプレーとの相互作用に対して、違った可能性または機能を命令するようにパターンコードは設計される。
【0015】
本発明の完全な理解のために、以下、多くの具体的な細部を説明する。しかしながら、本発明はこれらの具体的な詳細の一部もしくはすべてがなくとも実現できることは当業者には明らかである。他の事例においては、本発明を不明瞭にしないために、既知の処理ステップは詳細には記載しない。
【0016】
以上の概要を踏まえ、図1Aは、本発明の一実施形態に係る、ゲームインターフェイスシステム100を示している。ゲームインターフェイスシステム100は、ハウジング104に接続したコンピュータ処理システム102を利用する。ハウジングは、ビデオ撮像装置105及び光照射装置110とを備えている。他の実施形態では、各装置はそれぞれ固有のハウジングに個別に設けられている。
【0017】
ビデオ撮像装置105は、撮像空間105a内の画像フレームを撮像し、コンピュータプロセッサ102に送信前に、デジタル化するビデオ撮像装置であってもよい。ビデオ撮像装置105の一例としては、ウェブカムタイプのビデオ撮像装置であってもよく、その装置は、画像を撮像し、コンピュータプロセッサ102へと送信しながら多数のフレームにデジタル化する。他の実施形態では、ビデオ撮像装置105は、アナログのビデオ撮像装置であってもよく、その装置は、連続的に生ビデオを撮像し、コンピュータ処理システム102に送信する。コンピュータ処理システム102で、生ビデオはフレームへとデジタル化される。
【0018】
光照射装置110は、好ましくは、異なったタイプの光を放つことができる発光装置である。光は、発光ダイオード(LED)から出されるようなカラー光であってもよい。周知の通り、LEDは、前面にある物体を照らすのに十分明るい光を発光できる。パターンコードを有し、照射光の前面に置かれる物体の距離例としては、近くは1cm、遠くは20mである。より標準的な中間的距離としては、50cmから約5mの間とすることができる。具体的には、光照射装置110は、作動中は赤色光を発光する。他の例では、光は何れの色とすることもでき、または単に、肉眼に無色の光(例えば、懐中電灯からの光)とすることができる。
【0019】
図示の通り、ビデオ撮像装置105及び光照射装置110のハウジング104は、ディスプレイ106の上に置かれてもよい。ハウジング104が線でコンピュータ処理システム102に接続されているところが図示されている。コンピュータ処理システム102は、コードを実行し、ビデオ撮像装置105及び光照射装置110とインターフェイスできるものであれば、どのコンピュータ装置(すなわち、プロセッサとメモリを有したもの)でもよい。コンピュータ処理システム102は、ハウジング104の近くにあってもよく、ネットワークで他のコンピュータプロセッサに遠隔で接続されていてもよい。具体例では、コンピュータ処理システム102は、ソニープレーステーション2(商標)などのゲームコンソールであってもよい。コンピュータ処理システム102は、次に、ゲームをプレーすることができ、これによってプレイヤはゲーム画面とインターフェイスできる。
【0020】
プレイヤの動きを検知して、ゲームとのインターフェイスを行う技術のより詳細な説明としては、英国特許出願 GB 0304024.3 (PCT/GB2004/000693)及び GB0304022.7 (PCT/GB2004/000703) 共に2003年2月21日出願があり、両出願共、参照により本明細書に組み込まれるものとする。
【0021】
ビデオ撮像装置105は、プレイヤ112の動きを特定し、ゲームのフィーチャとのインターフェイスを可能にするように設計されている。図示の例では、プレイヤ112は、ディスプレイ上では透明の像112’として示されている。プレイヤ112は、腕(または身体の何れかの部分あるいはプレイヤが持っている物)を、動き114で示されるように動かし、ゲームのオブジェクトとの相互作用を行うことができる。
【0022】
動き114は、透明画像112’の動きとして示され、動き領域113’ができる。動き領域113’は、フレーム間の動きの差異の処理に応じて動きがあった、と特定された領域である。次に、動き領域113’は、旗124と定義されたオブジェクトを動かす。このようにして、プレイヤ112は、ゲームキャラクタ122(もしくは、ゲームフィーチャまたは制御フィーチャの他の態様)によって保持される旗124と相互作用ができる。
【0023】
本発明による一実施形態に係り、プレイヤ112はパターンコード120を備えたシャツ121を身に着けている。パターンコード120はひとつまたは複数のタグコードによって定義され、各タグコードは、パターンコード120を構成する個々のタグに光が照射されているときは、状態を変化させることができる。図1Aに示すパターンコード120は6枚の個々のタグで示されている。各個々のタグは異なった構造または材料で形成されていてもよい。材料または構造は、パターンコード120が光照射装置110からの照射光110aによって明るくなる限りにおいては、シャツ121の何れかの場所に置かれるように、縫い付けられるように、あるいは、貼付されるように設計されていてもよい。
【0024】
またパターンコード120は、プレイヤ120上の、ビデオ撮像装置105によって撮像され特定される場所に設けられる。従って、パターンコード120は、ビデオ撮像装置105による撮像と復号化が可能な、また、特殊なパターン構成であることが理解される特定可能なパターンを持つように構成される。光照射装置110がスイッチオンのときは、照射光110aはパターンコード120上で明るくなる。パターンコード120が照射光110aで明るくなっているときは、パターンコード120は異なったパターンコード特性を持つことになる。このように、パターンコード120は光照射装置110がオフのときには、第1のパターンコード構成を持ち、光照射装置110がオンのときには第2のパターン構成を持つように設計される。上記の通り、光がオフのときには、好適には、周囲光が存在する。周囲光は、ゲームプレー中に通常存在する光とすることができる。そのような周囲光としては、室内照明であってもよく、あるいは、ディスプレイから放出される光とすることもできる。
【0025】
光照射装置110は、コンピュータ処理システム102で実行されるコードにより、オン位置及びオフ位置にコントロールされる。以下に詳細に説明する通り、コンピュータ処理システムは、光照射装置110のスイッチオン・オフのタイミングを決定するコードを実行する。個々の光のオン・オフ持続時間も制御され、ビデオ撮像装置による、パターンコード120への光の照射の有無に応じて生じるパターンコード特性撮像を可能にする。このように、ビデオ撮像装置105によって、パターンコード120の異なる視認状況が撮像され、コンピュータ処理システム102で復号化ロジックが実行されることにより、パターンコード120が表すものを決定できる。
【0026】
好適な実施形態においては、パターンコード120は、ある特殊なゲーム用にプレイヤ112が購入するシャツ121に関連付けられる。特有のパターン120が付いたシャツ121を購入したユーザは、上記シャツ121に関連したビデオゲームをプレーするときには特有の力を与えられる。例として、プレイヤ112がパターンコード120の付いたシャツ121を着れば、プレイヤ112は特別な力、例えば、ゲームキャラクタ122をスーパーマンに変えるなどの力を持つことができる。
【0027】
プレイヤ112がパターンコード120の付いたシャツ121を使用していないときは、ゲームキャラクタ122はスーパーマンにはなれないし、特別の力も持たない。広い意味では、プレイヤ112は、ビデオ撮像装置105を通じてゲームと相互作用しているときに、パターンコード120を用いて、上記ゲームの特殊な特性を可能とし、光照射装置110は、パターン120が表すものを復号化するために用いられ、このようにして、プレイヤはビデオゲームのフィーチャを動かすことができる。ある実施形態においては、パターンコード120は、ビデオゲームのある要素(例えば、車、トラック等)を「開錠」することに使用されてもよい。この要素は、そうでなければ、ユーザが使用できないものである。パターン120はどのような形態をとることもでき、ある実施形態では、全体が画像であって、その一部は反射性、その他の部分は非反射性とすることができる。
【0028】
図1Bは、形状、大きさ、方向の異なる多数のパターンコード120を有するシャツ121の例を示す。上記の通り、パターンコード120の各タグ片は特有のパターンを形成する。パターンコード120の各タグは二つの状態を有することができる。第1の状態は、光がタグに照射されていないときに識別され得る状態であり、第2の状態は、光が照射されているときに識別され得る。
【0029】
タグの材料特性または色に応じて、光がオフのときに固有に識別可能な状態を有するタグもあれば、光がオンで個別のタグに照射されているときに、固有に識別可能なタグもある。パターンコード120は、例えば、シャツ121に縫い付けられ、または、貼り付けられていてもよく、これを用いてユーザは特定のゲームと相互作用できる。別の実施形態では、シャツ121は、シャツ121の織物に縫い込まれているパターンコード120を構成する個々のタグを備えることもできる。どちらの場合にも、個々のタグは光がオフで照射されていないとき、及び光がオンでタグに照射されているときの二つの状態を持つように設計されている。光が照射されると反射するように設計されているタグでは、その反射光によってビデオ撮像装置105には異なったパターンが提示される。
【0030】
同様に、光がパターンコード120の特定のタグに照射されても反射が起こらないときには、ビデオ撮像装置105はその情報を撮像し、それをコンピュータ処理システム102に送信する。ある実施形態では、パターンコード120は、特殊な照明なしには、肉眼では容易には識別できないパターンを持つように設計される。このように、光がオフ時にパターンコード120によってユーザに表されるパターンは、光がパターンコード120に照射されているときに生じるパターンとは全く別のものになる。この方法においては、ユーザは、シャツと同じような様々に違った色合いの色でカードを単に塗るだけではパターンコード120を模造できない。これは、光がパターンコード120に照射されているときは、生じるパターンは個々のどのタグが反射材料になっているかに依存するためである。そのような反射材料は、一例では再帰性反射材と呼ばれる。
【0031】
図1Bに戻る。照射光110aによるオン・オフの状態を用いて復号されたパターンコード120は、ユーザとの相互作用に、ゲームの特別な力、能力、インターフェイスの代替物、あるいは、コントロール用パラメータ等を与えることができる。ここで、コントロール用パラメータは、プレー中のビデオゲームにパターンコード120を表示しなければ、通常は利用できないものである。この例において、ゲームキャラクタ122はスーパーマンとして示されているが、パターンコード120が違った情報を示していれば、ゲームキャラクタ122は違ったキャラクタに似るか、または違った力を持つ。実際のゲームにおけるアクションは、ゲームの環境及び各固有のパターンがゲームプレーに関連して何を意図しているかによって変わってくる。
【0032】
図1Cは、ゲームカード140上にパターンコード120が存在する例を示している。パターンコード120は身に付けずに、ゲームカード140上に設けられていてもよい。ユーザは違ったゲームカード140を集めるか使用することによって、ゲーム132との相互作用において、違った力、違った能力が可能とされてもよい。本実施例では、ユーザはアイコン134で示される特別な力を与えられている。
【0033】
ゲーム132のプレーのための特別な力はアイコン134で示され、ユーザに、さらに別の相互作用アイコン130を与えてもよい。この新たな相互作用アイコン130は、ユーザには与えずに、適切なパターンコード120によってゲームカード140が利用できる事実を示すために用いられてもよい。この例に従って、プレイヤ112の動き114により、動き領域114’を作ることができる。動き領域114’は、相互作用アイコン「E」を選択するように動作する。アイコン「E」を選択することによって、ユーザは、事前に設けられてはいないが、パターンコード120を有するゲームカード140をユーザが使用している事実によって提供される、ゲーム132との特別な相互作用を起動できてもよい。
【0034】
上記の通り、パターンコード120は個々のタグによるパターン分布を持つように構成されている。各個々のタグは反射性か非反射性のいずれかであり、光が照射されているとき及び照射されていないときに、識別可能な特性を有する。光がタグに照射されているとき、及び照射されていないときの二つの状態によって生成されるパターンコードを用いることによって、撮像装置は違ったビデオフレームに情報を取り込む。違ったパターンコードを検出するように作動するコードを用いるコンピュータ処理システム102は、ゲームカード140によっていずれの能力が設けられるかを演算する。
【0035】
図2は、プロセッサ151を備え、ゲームプログラム150を実行するコンピュータプロセッサ102の簡略図を示す。ゲームプログラム150は、パターンコード検出コード152を含むように構成される。図示の通り、コンピュータ処理システム102は、ビデオ撮像装置105及び光照射装置110にそれぞれ接続され、撮像情報は、システムに応じてデジタルまたはアナログの形でコンピュータ処理システム102に送られる。
【0036】
例えば、ビデオ撮像装置105が撮像画像をデジタル化できるものであれば、撮像された情報はデジタルの形でコンピュータ処理システム102に送られる。撮像ビデオのデジタル形式は複数のビデオフレームの形であってもよい。光照射装置110はコンピュータ処理システム102に接続され、光の制御を行う。光の制御によって、光照射装置110のスイッチオン・オフを命令する。パターンコード120を有している物品が、タグコード120aをもつものとして図示されている。タグ120のひとつは、白「W」、もうひとつは黒「B」と特定される。
【0037】
このように、パターンコード120のタグコード120aの視認的表示は、光が消えて周囲光だけになるときに白黒としての表示を有する。白色・黒色は説明のために用いられており、違った白色でも違った黒色でもよく、あるいは白色・黒色である必要もなく、周囲の色と対比できればどの色であってもよい。
【0038】
この例では、白いタグコード120aは反射性材料で作られている。上記の通り、反射性材料は、光が材料表面に当たったときに反射できる布タイプか、プラスチックタイプとすることができる。これらの材料は、表面に当たった光をいろいろな方向に反射できる。しかしながら、光が当っていないときには、白色表面のタグコード120aは、黒色の材料表面と非常に近似して見えうる。ディスプレイ106では、コンピュータ処理システム102が第1のフレーム(撮像フレーム(n))を生成し、そのフレームはパターンコード120の撮像画像を含むことが図示されている。第1のフレームは、光照射装置110がオフ時にビデオ撮像装置105によって撮像されたものである。従って、ビデオ撮像装置105は、上方のタグは薄い色を、下方のタグは暗色であるフレームを撮像したものとなる。次の撮像フレーム(n+1)では、パターンコード120は異なった状態となる。撮像フレームにおけるパターンコード120が異なる状態は、光照射装置110がオンであった結果である。
【0039】
光照射装置110がオンのときには、上方のタグは光を反射するために明るく輝くが、下方のタグはタグ部分に反射性材料を組み込んでいないために、検出されたパターンコード120は、上方のタグが下方のタグより明るい。その結果、コンピュータ処理システム102は、それぞれの撮像フレームからの情報を取得し、光がオン及びオフのそれぞれの間に、パターンコード120のタグコード120aを処理する。
【0040】
説明のために二つの簡単なタグを示したが、パターンコード120は、いかなる数のタグコード120aを備えることもでき、また違った形状、パターン、配列とすることもできる。さらに、コンピュータ処理システム102は、いかなる数のフレームを撮像してもよく、パターンコード120と、光照射装置110をコントロールした結果として撮像されたパターンコード120とを比較してもよい。
【0041】
図3Aは、光照射装置110がオフのときに、パターンコード120がパターンコードAを表す白色材料と黒色材料とを有する例を示す。ビデオ撮像装置105は、パターンコード120の画像を撮像しパターンコードAを生成する。図示の通り、パターンコードAは、白色の2つの上方タグ120a、白色の2つの下方タグ120a、黒色の2つの中央タグ120aとを有している。ある実施形態では、反射性材料で作られるタグはいかなる数であってもよい。この実施例においては、上方左の白色タグ、左の黒色タグ及び下方右の白色タグが反射性である。
【0042】
しかしながら、パターンコード120を何気なく見ている人には、光がオフのときには、パターンコードには中央列に2つの黒色タグ120があることしか見えないだろう。光がオンのときには、図3Bに示すように、反射性材料(Reflect)を持つタグは明るくなって、パターンコードBを生成する。パターンコードBは、こうしてビデオ撮像装置105で撮像される。この例から、図3AのパターンコードAは、図3BのパターンコードBとは異なることが明らかである。このように、個々のタグ120aの色及び色合いにかかわらず、図3Bに示すように、光がオンのときに希望するパターンに応じて、異なる色を反射性または非反射性にすることが可能である。図3Cは、異なったタグ120aを反射性及び非反射性とした例を示す。反射性タグ120a(R)がパターンコード120のどこに置かれているかによって、反射性タグは、光がオンのときにビデオ撮像装置105で撮像される異なるパターンを生じる。
【0043】
本発明のある態様においては、光がオンのときの画像を光がオフのときの画像から減算することができ、これによって二つの差分がわかる。減算により、画像の復号化をよりロバストなものにすることができる。本発明のこの態様において、ロバストである理由は、画像を、予想によって生成した(照明の状態等により変化する)絶対画像と比較しないため、光の変化がより容易に把握できる事実にある。このように、光による変化は、他の視覚妨害要素の影響を受けないようにすべきである。
【0044】
図4Aは、光照射状態及び、解析の対象となるパターンコードと実際に検出されたパターンコードとの比較結果、および各撮像フレームを示している。フレーム(n−3)では、光照射状態はオン、検出されたパターンコードはBである。フレーム(n−2)では、光照射状態オン、検出されたパターンコードはBである。フレーム(n−1)では、光照射状態オフ、検出されたパターンコードはAである。フレーム(n)では、光照射状態オン、検出されたパターンコードはBである。フレーム(n+1)では、光照射状態オフ、検出されたパターンコードはAである。このように、コンピュータ処理システム102は、光照射状態をオン・オフにする時刻、オン・オフの周波数、すなわち、オン・オフの継続するフレーム数を決定することができる。本実施例では5つのフレームを解析し、その結果に基づき、光照射状態がオン・オフした時刻が決定される。その後、検出されたパターンコードが生成される。ここでは、撮像され、復号された5つのフレームに対して検出されたパターンコードは「BBABA」である。
【0045】
図4Bは、光照射装置でカラー光が照射された特別の例を示す。カラー光は単色光(例えば、懐中電灯から出される光にと同様な光)に追加されていてもよい。他の実施形態では、カラー光は赤色LED、またはパターンコードに違った色を照射する違った色のレンズから照射される光であってもよい。図4Bでは、フレーム(n−3)と(n)に対する光照射の間に、カラー光がパターンコードに照射されている。ここでのカラー光は、図4Aで光照射時に照射された光とは異なっている。
【0046】
例えば、光は、図4Aでは、白色光でもよく、あるいは赤色光でもよい。しかし図4Bでのカラー光は、図4Aで照射された光以外の光である。そのような場面では、検出されたパターンコードは、フレーム(n−2)と比較して、フレーム(n−3)及び(n)では少し異なっている(即ちB’)。このように、光がオンかどうかを判断するだけでなく、解析されるパターンコード上に照射され、対比される光の異なった色合いまでも検出することが可能である。こうして、タグは2つの状態以上のものを持つことができる。タグが持てる状態数は、光がオンかオフだけではなく、用いる色に依存させることができる。さらに本発明の一実施形態は、多数の光源を備えることを含むことができ、各光源は異なる色合いの光を生成できる。このようにして各光源は、自身の符号化および復号化スキームに従ってスイッチオンまたはオフされることができる。
【0047】
図5Aは、パターンコードを用いてビデオゲームの動きをコントロールする方法についてのフローチャートを示す。この方法は操作202で始まり、そこでは、ビデオ撮像装置105の前に置かれた物品からパターンコードを検出するよう要求が行われる。その要求は、コンピュータ処理システムで実行されているソフトウェア、例えばビデオゲームの一部のソフトウェアなどから行われる。操作204で、光照射装置は、1回以上のオン・オフ期間で物品に光を照射するように、ソフトウェアから命令を受け取る。他の実施形態では、複数のオン期間の後に複数のオフ期間であってもよく、または特定のオン・オフ期間を定めるものであれば、オン・オフのいかなる組み合わせであってもよい。
【0048】
操作206では、各オン・オフ期間に、物品からパターンコードが撮像される。撮像されたパターンコードは、撮像された各オン・オフ期間に操作208にて検出される。オン・オフ期間毎のパターンコードから得られた復号化情報に基いて、ビデオゲームのソフトウェアは、復号化された撮像パターンコードに応じて、ゲーム制御を開始することができる。ゲーム制御の開始は、ゲームに特別な相互作用のフィーチャを与えることであってもよく、あるいは、ユーザが撮像装置で検出されたパターンコードを提供したときのみ開錠される、より高度なフィーチャを開錠することであってもよい。
【0049】
図5Bは、処理プロセス及びビデオゲーム環境で使用されるパターンコードとの相互作用のフローチャートを示す。操作222において、コンピュータ装置は、ゲームプレーを可能にするために準備される。コンピュータ装置は一般的なコンピュータであってもよく、あるいは、ゲームコンソール(例えば、ソニープレーステーション2、商標)のような特別なコンピュータ処理システムであってもよい。次に、操作224に進み、ここでは、ビデオフレーム撮像装置が設けられる。ビデオフレーム撮像装置はコンピュータ装置に接続され、撮像されたフレームをコンピュータ装置で処理できる。
【0050】
次に操作226に進み、ここでは、ユーザはビデオ撮像装置の前で動くことによってゲームプレーと相互作用できる。動きの例は、図1A及び1Cに関連して説明した。操作228では、パターンコードはユーザに関連付けられた物品から検出される。その物品はビデオ撮像装置の前に置かれ、パターンコードを検出できる。パターンコードが検出される時刻はゲームプレーに関連付けられた動作中のコンピュータコードによって設定される。ゲーム処理ロジックにより設定された時刻に光照射装置110に命令が送られ、操作230において、複数回の光のオン・オフ期間に物品に光が照射される。
【0051】
ビデオフレーム撮像装置は、操作232において、各オン・オフ間隔の間に物品からパターンコードを撮像する。パターンコードは次に各オン・オフ間隔の間に復号化され、操作234において、撮像されたパターンコードに関連付けられた属性を決定する。復号化されたパターンコードに従って、ビデオゲームは、ゲームプレー中のユーザに特別な力または特別な相互作用を与えたり、与えなかったりする。操作236では、撮像パターンコードに関連付けられた、決定された属性に応じてゲーム制御が開始されてもよい。ゲーム制御の開始は広く解釈されるべきで、ゲームプレー中のユーザに使用され、検出されるパターンコードに照らして許可または禁止される、どのような制御ないし属性であってもよい。
【0052】
以上、本発明の実施形態はゲームプログラムを参照して定められた。しかしながら、パターンコードはゲームプログラム以外に、多くの応用に使用され得ることを理解すべきである。パターンコードは例えば、模造の難しい符号化・復号化が求められる状況で利用される。ある例では、商品の追跡、車両の追跡、運送中の物品の追跡、在庫品の追跡、制限場所に入った人、あるいはある場所に入れる権限を持つ人の追跡、あるプログラムまたはサービスにアクセスする人の特定等に応用できる。一例では、例えば着ているかあるいは表示しているか、いずれかにてパターンコードを持つユーザは、キオスク(商標)などが提供するサービスにアクセスできる。従って、パターンコードの符号化及び復号化は広く解釈されるべきであり、ゲームプログラムだけに限定されるべきではない。
【0053】
さらに、パターンコードはデータを符号化することができ、パターンコードに保存されたデータを読んで理解するために復号化される。上記した通り、パターンコードの読み取りは光がオン・オフの間、あるいは光がオンで違った色になっている間に行われる。パターンコードにはまた、シリアルナンバ、データ、あるいは何らかの識別データを持たせることもできる。そのようなシリアルナンバ、データ、または識別情報は、次にコンピュータで用いられて、タスクまたはプログラムが開始あるいは実行されて結果が得られる。
【0054】
さらに、模造が難しいことに加えて、パターンコードはまた、より多くのデータを同じ領域に符号化するにあたって信頼できる方法である。二次元マトリクス型バーコードで使われるバイナリ形式のような特別な例においては、任意の領域は単に1ビットではなく、2ビットを符号化できる。パターンコードは2つの独立したバーコードを提示でき、二次元マトリクス型バーコードの復号化方法と同じ方法で復号化できる。その際、データの拡張が可能になる。例えば、光をオフにした在来の画像復号化を含むことができ、それによって第1の復号化データを生成する。第2のプロセスは、光をオフにした復号化を含み、次に光をオンにして復号化し、さらにその差を取る。その差は次に第2の復号化データを表す。上記の通り、この技術では、光の妨害があっても、減算処理で得られる結果が影響を受けにくいため、よりロバストな復号化方法を提供できる。
【0055】
さらに、パターンコードはどんな形状を取ることもできる。ここで示す形状空間は単に例に過ぎない。例えば、横一列または縦一列に配置されたパターンコードは、対称である必要はなく、またパターンコードの各タグは、タグが添付されるメディアの大きさに応じて大きくも小さくもできる。さらに、タグどうしは幾何的な形状に接合することもでき、そうすれば、パターンコードはそれぞれ異なった形状のみを備えることができ、あるいはそれらの形状はそれぞれ固有の正方形のパターンコードとミックスすることができる。
【0056】
ここに記述した実施形態は、オンラインゲームアプリケーションにも応用してもよい。すなわち、上述の実施形態は、インターネットなどの分散ネットワーク上の複数ユーザにビデオ信号を送信するサーバにて実施されてもよく、これによって、遠隔地のノイズの多い場所にいるプレイヤを互いに交信させることができる。さらに、ここに記述した実施形態は、ハードウェアまたはソフトウェアで実行されてもよい。すなわち、上記の機能に関する記述は、ノイズキャンセルスキームに関連した各モジュールの機能タスクを行うために構成されたロジックを有するマイクロチップを形成するために統合されてもよい。
【0057】
上記の実施形態を踏まえ、本発明は、コンピュータシステムに保存されるデータに影響する、コンピュータに実装されたさまざまな操作を用いることができる。これらの操作には、物理量の物理的操作を要求する操作が含まれる。必須ではないが、これらの量は通常、保存、送信、結合、比較、またはそれら以外の操作がなされる電気信号または磁気信号の形態をとる。さらに、実行される操作は、用語としては、生成、特定、決定あるいは比較などと呼ばれることがある。
【0058】
上述の本発明は、携帯型装置、マイクロプロセッサシステム、マイクロプロセッサベースの、あるいはプログラム可能なコンシューマ向け電子機器、ミニコンピュータ、メインフレームコンピュータ他を含む他のコンピュータシステム構成にも応用されてもよい。本発明はまた、通信ネットワークで結ばれている遠隔プロセッサで仕事が実行される分散コンピュータ環境に応用されてもよい。
【0059】
本発明はまた、コンピュータによって読み取り可能なメディア上で、コンピュータによって読み取られる判読コードとしても実施される。このメディアは、後にコンピュータが読み取れるデータを保存する何らかのデータ保存装置であり、電磁波キャリアも含む。メディアの例としては、ハードドライブ、ネットワーク付属保存装置(NAS)、読み出し専用メモリ、ランダムアクセスメモリ、CD−ROM、CR−R、CD−RW、磁気テープ、及び他の光学式または非光学式データ保存装置がある。コンピュータによって読み取り可能なメディアはさらに、コンピュータシステムに接続されたネットワーク上に分散して設けることもでき、これによって、コンピュータによって読み取り可能なコードが分散して保存され、実行される。
【0060】
以上、理解を明確にする目的で、本発明をある程度詳細に記述したが、別添の特許請求の範囲の中で変更や変形が可能である。従って、本実施形態は説明のためにあるのであって、本発明を限定するものではない。本発明はここに挙げた詳細によって限定されず、特許請求の範囲の及び均等物の範囲内で変更がなされてもよい。
【図面の簡単な説明】
【0061】
【図1A】本発明の一実施形態に係る、パターンコードを実行するゲームインターフェイスシステム示す図である。
【図1B】本発明の一実施形態に係る、形状、大きさ、色及び配置方向の異なる多数の違ったパターンコードを有するシャツの一例を示す図である。
【図1C】本発明の一実施形態に係る、パターンコードがゲームカード上に設けられた例を示す図である。
【図2】本発明の一実施形態に係る、ゲームプログラムを実行するコンピュータ処理の簡略図である。
【図3A】本発明の一実施形態に係る、反射性タグと非反射性タグとが存在するパターンコードの例を示す図である。
【図3B】本発明の一実施形態に係る、反射性タグと非反射性タグとが存在するパターンコードの例を示す図である。
【図3C】本発明の一実施形態に係る、反射性タグと非反射性タグとが存在するパターンコードの例を示す図である。
【図4A】本発明の一実施形態に係る、光照射期間及びパターンコード特性撮像期間の設定方法例を示す図である。
【図4B】本発明の一実施形態に係る、光照射期間及びパターンコード特性撮像期間の設定方法例を示す図である。
【図5A】本発明の一実施形態に係る、ビデオゲームの動作制御パターンコードの使用方法を示すフローチャート図である。
【図5B】本発明の一実施形態に係る、ビデオゲーム環境で使用可能なパターンコードの処理及びパターンコードとの相互作用を示すフローチャート図である。

【特許請求の範囲】
【請求項1】
複数のタグによって定義されるパターンコートを有する製作物であって、
複数のタグのそれぞれは、周囲光が表面に届いているときに視認できる第1の状態を有し、かつ、光反射性表面を持つことができるものであり、
複数のタグのそれぞれ表面に向けられた光によって光反射性表面が照射されているときには、当該光反射性表面は第2の状態を有し、
パターンコードは、周囲光が存在するときには第1の特性を有し、
周囲光がタグのそれぞれの表面に向けられているときには第2の特性を有することを特徴とする製作物。
【請求項2】
パターンコードは、物品に貼付されていることを特徴とする請求項1に記載の製作物。
【請求項3】
物品は衣服、ないし手に持つ物品であることを特徴とする請求項1に記載の製作物。
【請求項4】
物品が衣服のときタグのそれぞれは柔軟性材料で作られることを特徴とする請求項3に記載の製作物。
【請求項5】
柔軟性材料は、プラスチック、布、糸、またはそれらの組合せで形成されることを特徴とする請求項4に記載の製作物。
【請求項6】
タグは、ひとつまたは複数の方向に配置されることを特徴とする請求項1に記載の製作物。
【請求項7】
コンピュータゲームと相互作用をする方法であって、
複数のタグによって定義されるパターンコードを提示するステップと、
特定の時刻に、パターンコードに向けて光を照射するステップと、
光がパターンコードに照射される前に、パターンコードの第1の特性を定める第1のビデオフレームを撮像するステップと、
光がパターンコードに照射されたときに、パターンコードの第2の特性を定める第2のビデオフレームを撮像するステップと、
パターンコードの第1の特性と第2の特性を復号化して復号化情報を生成するステップと、
コンピュータゲームに対し、相互作用命令を開始するステップと、
を含み、相互作用命令のタイプは、復号化情報により定義されることを特徴とするコンピュータゲームと相互作用をする方法。
【請求項8】
複数のタグのそれぞれは、反射性表面または非反射性表面を有することを特徴とする請求項7に記載のコンピュータゲームとの相互作用方法。
【請求項9】
複数のタグのそれぞれは、特有の色を有することを特徴とする請求項7に記載のコンピュータゲームとの相互作用方法。
【請求項10】
コンピュータゲームとのインターフェイスシステムであって、
パターンコードと、
光照射装置と、
ビデオ撮像装置と、
プロセッサと、を備え、
プロセッサは、ゲームの命令を実行し、光照射装置とインターフェイスする制御命令を実行し、ビデオ撮像装置からビデオを取得する命令を実行し、
光照射装置は、パターンコードに光を照射するように構成され、
光照射装置に対する制御命令の実行は、いつ光を照射するかを決定するものであり、
光は、光照射時には第1のパターン構成を形成し、光非照射時には第2のパターン構成を形成するパターンコードに照射され、
ビデオを取得するための命令の実行は、第1のパターン構成及び第2のパターン構成を特定し、これによって、プロセッサによる第1のパターン構成及び第2のパターン構成の復号化を可能とし、コンピュータゲームとの相互作用の命令を定義することを特徴とするコンピュータゲームとのインターフェイスシステム。
【請求項11】
相互作用の命令は、復号化された第1のパターン構成及び第2のパターン構成に対応して可能となる入力を定義することを特徴とする請求項10に記載のコンピュータゲームとのインターフェイスシステム。
【請求項12】
光がパターンコードに照射されているときに定義される第1のパターン構成は、反射性であるパターンコードの少なくとも一部によって、視認される状態にて定義されることを特徴とする請求項10に記載のコンピュータゲームとのインターフェイスシステム。
【請求項13】
パターンコードに光が照射されていないときに定義される第2のパターン構成は、パターンコードの各部の特性によって、視認される状態にて定義されることを特徴とする請求項10に記載のコンピュータゲームとのインターフェイスシステム。
【請求項14】
各部の特性は、色によって定まることを特徴とする請求項10に記載のコンピュータゲームとのインターフェイスシステム。
【請求項15】
さらに、ディスプレイを備えることを特徴とする請求項10に記載のコンピュータゲームとのインターフェイスシステム。
【請求項16】
パターンコードの各部は、タグであることを特徴とする請求項12に記載のコンピュータゲームとのインターフェイスシステム。
【請求項17】
タグの中には、選択的に反射性のものが含まれることを特徴とする請求項16に記載のコンピュータゲームとのインターフェイスシステム。
【請求項18】
パターンコードは複数のタグで定義され、それらのタグの中には、選択的に反射性のものが含まれることを特徴とする請求項10に記載のコンピュータとのインターフェイスシステム。
【請求項19】
ディスプレイは、プレイヤの透明画像を表示し、コンピュータゲームの画像オブジェクトとの相互作用を可能にすることを特徴とする請求項15に記載のコンピュータゲームとのインターフェイスシステム。
【請求項20】
コンピュータゲームとの相互作用のために、コンピュータが判読可能なメディアに表現されたコンピュータプログラムであって、
複数のタグによって定義されるパターンコードが提示されることを前提に、特定の時刻に、パターンコードに向けて光を照射する命令と、
光がパターンコードに照射される前に、パターンコードの第1の特性を定める第1のビデオフレームを撮像するための命令と、
光がパターンコードに照射されたときに、パターンコードの第2の特性を定める第2のビデオフレームを撮像するための命令と、
パターンコードの第1の特性と第2の特性を復号化して復号化情報を生成するための命令と、
コンピュータゲームに対し、相互作用命令を開始するための命令と、
を含み、相互作用命令のタイプは、復号化情報により定義されることを特徴とするコンピュータプログラム。
【請求項21】
複数のタグのそれぞれは、反射性表面または非反射性表面を有することを特徴とする請求項20に記載のコンピュータプログラム。
【請求項22】
複数のタグのそれぞれは、特有の色を有することを特徴とする請求項20に記載のコンピュータプログラム。
【請求項23】
パターンコード手段と、
光照射手段と、
ビデオ撮像手段と、
処理手段と、を備え、
処理手段は、ゲームの命令を実行し、光照射手段とインターフェイスする制御命令を実行し、ビデオ撮像手段からビデオを取得する命令を実行し、
光照射手段は、パターンコード手段に光を照射するように構成され、
光照射手段に対する制御命令の実行は、いつ光を照射するかを決定するものであり、
光は、光照射時には第1のパターン構成を形成し、光非照射時には第2のパターン構成を形成するパターンコード手段に照射され、
ビデオを取得するための命令の実行は、第1のパターン構成及び第2のパターン構成を特定し、これによって、処理手段による第1のパターン構成及び第2のパターン構成の復号化を可能とし、コンピュータゲームとの相互作用の命令を定義することを特徴とするコンピュータゲームとのインターフェイスシステム。
【請求項24】
相互作用の命令は、復号化された第1のパターン構成及び第2のパターン構成に対応して可能となる入力を定義することを特徴とする請求項23に記載のコンピュータゲームとのインターフェイスシステム。
【請求項25】
光がパターンコード手段に照射されているときに定義される第1のパターン構成は、反射性であるパターンコード手段の少なくとも一部によって、視認される状態にて定義されることを特徴とする請求項23に記載のコンピュータゲームとのインターフェイスシステム。
【請求項26】
パターンコード手段に光が照射されていないときに定義される第2のパターン構成は、パターンコード手段の各部の特性によって、視認される状態にて定義されることを特徴とする請求項23に記載のコンピュータゲームとのインターフェイスシステム。
【請求項27】
各部の特性は、色によって定まることを特徴とする請求項23に記載のコンピュータゲームとのインターフェイスシステム。
【請求項28】
さらに、ディスプレイを備えることを特徴とする請求項23に記載のコンピュータゲームとのインターフェイスシステム。
【請求項29】
コンピュータシステムのプログラムとのインターフェイスシステムであって、
パターンコードと、
光照射装置と、
ビデオ撮像装置と、
プロセッサと、を備え、
プロセッサは、ゲームの命令を実行し、光照射装置とインターフェイスする制御命令を実行し、ビデオ撮像装置からビデオを取得する命令を実行し、
光照射装置は、パターンコードに光を照射するように構成され、
光照射装置に対する制御命令の実行は、いつ光を照射するかを決定するものであり、
光は、光照射時には第1のパターン構成を形成し、光非照射時には第2のパターン構成を形成するパターンコードに照射され、
ビデオを取得するための命令の実行は、第1のパターン構成及び第2のパターン構成を特定し、これによって、プロセッサによる第1のパターン構成及び第2のパターン構成の復号化を可能とし、コンピュータシステムのプログラムとのインターフェイスシステム。
【請求項30】
相互作用の命令は、復号化された第1のパターン構成及び第2のパターン構成に対応して可能となる入力を定義することを特徴とする請求項29に記載のコンピュータシステムのプログラムとのインターフェイスシステム。
【請求項31】
光がパターンコードに照射されているときに定義される第1のパターン構成は、反射性であるパターンコードの少なくとも一部によって、視認される状態にて定義されることを特徴とする請求項29に記載のコンピュータシステムのプログラムとのインターフェイスシステム。
【請求項32】
パターンコードに光が照射されていないときに定義される第2のパターン構成は、パターンコードの各部の特性によって、視認される状態にて定義されることを特徴とする請求項29に記載のコンピュータシステムのプログラムとのインターフェイスシステム。
【請求項33】
各部の特性は、色によって定まることを特徴とする請求項29に記載のコンピュータシステムのプログラムとのインターフェイスシステム。
【請求項34】
パターンコード手段と、
光照射手段と、
ビデオ撮像手段と、
処理手段と、を備え、
処理手段は、コンピュータアプリケーションの命令を実行し、光照射手段とインターフェイスする制御命令を実行し、ビデオ撮像手段からビデオを取得する命令を実行し、
光照射手段は、パターンコード手段に光を照射するように構成され、
光照射手段に対する制御命令の実行は、いつ光を照射するかを決定するものであり、
光は、光照射時には第1のパターン構成を形成し、光非照射時には第2のパターン構成を形成するパターンコード手段に照射され、
ビデオを取得するための命令の実行は、第1のパターン構成及び第2のパターン構成を特定し、これによって、処理手段による第1のパターン構成及び第2のパターン構成の復号化を可能とし、コンピュータアプリケーションとの相互作用の命令を定義することを特徴とするコンピュータアプリケーションとのインターフェイス装置。
【請求項35】
コンピュータ装置と相互作用をする方法であって、
複数のタグによって定義されるパターンコードを提示するステップと、
特定の時刻に、パターンコードに向けて光を照射するステップと、
光がパターンコードに照射される前に、パターンコードの第1の特性を定める第1のビデオフレームを撮像するステップと、
光がパターンコードに照射されたときに、パターンコードの第2の特性を定める第2のビデオフレームを撮像するステップと、
パターンコードの第1の特性と第2の特性を復号化して復号化情報を生成するステップと、
コンピュータ装置に対し、相互作用命令を開始するステップと、
を含み、相互作用命令のタイプは、復号化情報により定義されることを特徴とするコンピュータ装置と相互作用をする方法。

【図1A】
image rotate

【図1B】
image rotate

【図1C】
image rotate

【図2】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図3C】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5A】
image rotate

【図5B】
image rotate


【公表番号】特表2007−536061(P2007−536061A)
【公表日】平成19年12月13日(2007.12.13)
【国際特許分類】
【出願番号】特願2007−513179(P2007−513179)
【出願日】平成17年4月29日(2005.4.29)
【国際出願番号】PCT/US2005/014666
【国際公開番号】WO2005/113086
【国際公開日】平成17年12月1日(2005.12.1)
【出願人】(395015319)株式会社ソニー・コンピュータエンタテインメント (871)
【Fターム(参考)】