画像処理装置、ゲーム装置および画像処理方法
【課題】 実オブジェクトと仮想オブジェクトとを関連付けて表示させる画像処理技術を提供する。
【解決手段】 本発明の画像処理装置は、実オブジェクトの位置関係に基づいて、仮想オブジェクトの表示パターンを変化させる。位置関係検出部110が、撮像装置が撮像した複数の実オブジェクト画像の位置関係を検出し、条件判定部112が、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する。所定の条件が満たされた場合には、表示制御部120が、仮想オブジェクトの表示パターンを、表示パターン格納部122から読み出して決定する。表示制御部120は、決定した表示パターンによりキャラクタの表示処理を行う。
【解決手段】 本発明の画像処理装置は、実オブジェクトの位置関係に基づいて、仮想オブジェクトの表示パターンを変化させる。位置関係検出部110が、撮像装置が撮像した複数の実オブジェクト画像の位置関係を検出し、条件判定部112が、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する。所定の条件が満たされた場合には、表示制御部120が、仮想オブジェクトの表示パターンを、表示パターン格納部122から読み出して決定する。表示制御部120は、決定した表示パターンによりキャラクタの表示処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関し、特に実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術に関する。
【背景技術】
【0002】
近年、2次元コードをカメラで撮像して認識し、2次元コードのパターンに基づいた所定の処理を実行する技術が普及している。そのような技術の1つとして、2次元バーコードをビデオカメラで撮像して、2次元バーコードに対応する3次元画像を表示装置に表示させる画像処理技術が提案されている(例えば、特許文献1参照)。特許文献1では、撮像した2次元バーコードの座標およびCCDビデオカメラの焦点距離をもとに、3次元オブジェクトを表示する空間上の座標を決定し、2次元バーコードに3次元オブジェクトを重畳させて表示する。
【特許文献1】特開2000−322602号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された技術は、実世界のオブジェクトと仮想のオブジェクトとを組み合わせて表示させることで、優れた視覚効果を実現可能とする。しかしながら、特許文献1は、1つの2次元バーコードに対応付けて仮想オブジェクトを表示する技術を開示するのみであり、複数の2次元バーコードが存在するときの仮想オブジェクトの表示処理について意識するものではない。本発明者は、複数の2次元バーコードなどの実オブジェクトが実空間に存在するときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。
【0004】
本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、ゲームなどの分野において、複数の実オブジェクトの位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明のある態様は、画像処理装置に関する。この態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部とを備える。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間においてデータで表現されるものを意味する。
【0006】
この画像処理装置によると、撮像された複数の実オブジェクト画像の位置関係に基づいて仮想オブジェクトの表示態様を制御するため、複数の実オブジェクトを所定の位置関係におくことで、仮想オブジェクトの新たな視覚表現を実現できる。
【0007】
本発明の別の態様は、ゲーム装置に関する。この態様のゲーム装置は、実オブジェクトを識別するための識別情報と、ゲームキャラクタの3次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの3次元画像データを格納部から読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部とを備える。
【0008】
このゲーム装置によると、撮像された複数の実オブジェクト画像の位置関係に基づいてゲームキャラクタの表示態様を制御するため、複数の実オブジェクトを所定の位置関係におくことで、ゲームキャラクタの新たな視覚表現を実現できる。
【0009】
本発明のさらに別の態様は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定するステップと、実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出すステップと、所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定するステップと、格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップとを備える画像処理方法を提供する。
【0010】
本発明のさらに別の態様は、コンピュータに、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定させる機能と、実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出させる機能と、所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定させる機能と、格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能とを実現させるためのプログラムを提供する。
【0011】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0012】
本発明によると、複数の実オブジェクトの位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供することができる。
【発明を実施するための最良の形態】
【0013】
本発明は、撮像装置により撮像された複数の実オブジェクトの位置関係を検出し、検出した位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供する。実オブジェクトは、実在する1次元オブジェクト、2次元オブジェクトまたは3次元オブジェクトのいずれであってもよく、実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、2次元で表現されたコード情報を特徴部分として有するカードなどの2次元オブジェクトであってもよく、またユニークな立体形状を特徴部分として有する3次元オブジェクトであってもよい。なお、2次元オブジェクトの2次元形状がユニークな特徴部分を構成してもよく、また3次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において3次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す実施例は、ゲームアプリケーションにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。実施例では、プレイヤが実オブジェクト同士を接触させることで、その接触に応じたイベントが発生し、イベントを順次実行していくことで進行するゲームアプリケーションを示す。
【0014】
図1は、本発明の実施例にかかるゲームシステム1の構成を示す。ゲームシステム1は、撮像装置2、画像処理装置10および出力装置6を備える。画像処理装置10は、画像解析装置20およびゲーム装置30を備える。画像解析装置20およびゲーム装置30は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置2は、CCD撮像素子またはMOS撮像素子などから構成されるビデオカメラである。撮像装置2は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域5は撮像装置2により撮像される範囲であり、撮像装置2の高さや向きを調整することで、撮像領域5の位置や大きさが調整される。ゲームプレイヤは、撮像領域5において、実オブジェクトであるゲームカード4を指で動かす。ゲームカード4は、自身を一意に識別するための特徴部分を有して構成される。
【0015】
出力装置6は、表示装置であるディスプレイ7を有する。出力装置6は、さらにスピーカ(図示せず)を有して構成されてもよい。基本的に画像処理装置10は、撮像装置2により撮像されたフレーム画像をディスプレイ7に表示させ、その際に、ゲームカード4上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。図1の例では、撮像領域5に2枚のゲームカード4が存在し、ディスプレイ7には、それぞれのゲームカード4上にキャラクタが重畳表示されている。プレイヤは、ディスプレイ7を見ることで、ゲームカード4が撮像領域5に入っているか容易に確認でき、入っていない場合には、ゲームカード4の位置をずらしたり、また撮像装置2の向きを調整して、撮像装置2にゲームカード4を撮像させるようにする。
【0016】
実施例のゲームアプリケーションでは、プレイヤがゲームカード4に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード4とキャラクタとの一体性を認識させることが好ましく、そのため、キャラクタの画像を、ゲームカード4に重ね合わせて表示させている。
【0017】
以上のキャラクタの動きは、画像処理装置10により制御される。まず、画像解析装置20は、撮像装置2において取得されたフレーム画像から、ゲームカード4の画像情報を抽出する。さらに、画像解析装置20は、ゲームカード4の画像情報から、ゲームカード4を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置20は、ゲームカード4の画像情報から、ゲームカード4の空間における位置情報、方向情報、距離情報などを決定する。
【0018】
図2は、ゲームカード4の表面の一例を示す。ゲームカード4の表面には、方向指示部11と識別部12とが印刷されている。方向指示部11は、ゲームカード4の前部を示すために設けられ、識別部12は、ゲームカード4を一意に識別するための特徴部分を表現するために設けられる。識別部12は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、4角のブロックは複数のゲームカード4に共通して付与され、実質的には4角以外のブロックにより、特徴部分が形成される。4角のブロックは、撮像装置2からの距離を測定するために利用される。
【0019】
図1に戻って、画像解析装置20は、フレーム画像中のゲームカード4を認識すると、ゲームカード4の画像における4角のブロック間の長さをもとに、撮像装置2とゲームカード4との距離を計算して求める。また、画像解析装置20は、ゲームカード4の方向指示部11を検出して、フレーム画像においてゲームカード4が向いている方向を求める。この場合、方向指示部11が存在する方向が前方となり、キャラクタは、ゲームカード4上にて前方を向くように表示制御される。さらに、画像解析装置20は、識別部12の4角以外のブロックから、ゲームカード4の識別情報を取得する。
【0020】
画像解析装置20において画像解析された結果は、ゲーム装置30に送られる。なお、撮像装置2において撮像されたフレーム画像が、ゲーム装置30に送られて、ゲーム装置30側で画像解析を行ってもよい。この場合、画像処理装置10は、ゲーム装置30のみで構成されることになる。
【0021】
ゲーム装置30は、画像解析装置20における画像解析結果をもとに、ディスプレイ7の表示画面上で、キャラクタをゲームカード4の上に位置するように表示制御する。キャラクタは、ゲームカード4に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わることになる。本実施例では、ゲーム装置30が、複数の実オブジェクト画像の位置関係を検出し、実オブジェクト画像間の位置関係が所定の条件を満たすことを判定すると、仮想オブジェクトの表示態様を制御する。
【0022】
図3は、画像解析装置20の構成を示す。画像解析装置20は、フレーム画像取得部40、実オブジェクト抽出部42、状態決定部44、識別情報取得部46、識別情報格納部48および送出部50を備える。識別情報格納部48は、実オブジェクトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図2におけるゲームカード4の識別部12のパターン情報と、識別情報とを1対1に対応付けて記憶している。識別情報は、ゲーム装置30においてキャラクタの割当てに利用される。例えば、5枚のゲームカード4の同時使用を許可するゲームシステム1の場合、それぞれのゲームカード4に対して、1から5までの識別情報がそれぞれ割り当てられていてもよい。複数のゲームカード4のそれぞれを識別情報と紐付けすることで、個々のゲームカード4が認識可能となる。状態決定部44は、設定した座標系における実オブジェクトの状態を決定し、具体的には、ゲームカード4の位置を決定する位置決定部52、方向を決定する方向決定部54および撮像装置2からの焦点距離を決定する距離決定部56を有する。
【0023】
フレーム画像取得部40が、撮像装置2にて撮像された実空間のフレーム画像を取得する。ここでは、図1に示すように、撮像領域5に複数枚のゲームカード4が配置されている状態を想定する。撮像装置2は、周期的にフレーム画像を取得し、好適には1/60秒間隔でフレーム画像を生成する。
【0024】
実オブジェクト抽出部42は、フレーム画像から複数の実オブジェクト画像、すなわちゲームカード4の画像を抽出する。この処理は、画像情報を2進数のビット表現に変換し、このビット表現からゲームカード4の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実オブジェクト抽出部42は、マッチング処理のために、使用する実オブジェクトの画像情報をメモリ(図示せず)に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、複数のゲームカード4の画像をフレーム画像から切り出すことができる。
【0025】
状態決定部44は、ゲームカード4を置いて動かすための台3のジオメトリ情報を予め検出しておき、さらに台3の表面を基準面として、その基準面上にゲームカード4を載せた姿勢のジオメトリ情報をゲームカード4の姿勢の初期状態として記録しておく。このジオメトリ情報は、撮像装置2を基準として生成されてもよい。状態決定部44は、台3に関して取得したジオメトリ情報から、台3の位置、姿勢などを撮像空間における座標データとして把握しておく。位置決定部52は、実オブジェクト画像の位置を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標を定める。なお、位置決定部52は、ゲームカード4の位置に加えて、ゲームカード4の基準面に対するゲームカード4の傾きおよび高さを、初期状態として記録したゲームカード4の姿勢からの相対的な状態量の差分、すなわち撮像空間における座標値の差分として求めてもよい。方向決定部54は、実オブジェクト画像の方向を定める。方向決定部54は、実オブジェクト画像の中から図2に示す方向指示部11を検出して、実オブジェクトの向きを定めてもよい。距離決定部56は、ゲームカード4の画像における識別部12の4角間の長さをもとに、撮像装置2とゲームカード4との距離を決定する。識別情報取得部46は、実オブジェクト画像から特徴部分を抽出して、識別情報格納部48から対応する識別情報を取得する。
【0026】
状態決定部44において決定された位置情報、方向情報、距離情報、および識別情報取得部46において取得された識別情報は、それぞれ関連付けされて送出部50からゲーム装置30に送られる。なお、この関連付けは、それぞれのゲームカード4ごとに行われる。また、本実施例では、撮像装置2により撮像されたフレーム画像をディスプレイ7に表示させるため、フレーム画像自体も送出部50からゲーム装置30に送られる。
【0027】
図4は、ゲーム装置30の構成を示す。ゲーム装置30は、解析情報取得部100、ゲーム進行処理部102、キャラクタ決定部104、キャラクタ格納部106、位置関係検出部110、条件判定部112、表示制御部120および表示パターン格納部122を備える。
【0028】
本実施例におけるゲーム装置30の処理機能は、CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置30に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置30のCPUが、解析情報取得部100、ゲーム進行処理部102、キャラクタ決定部104、位置関係検出部110、条件判定部112、表示制御部120としての機能をもつ。
【0029】
解析情報取得部100は、画像解析装置20から、解析結果を受け取る。この解析結果は、実オブジェクトであるゲームカード4の位置情報、方向情報、距離情報、識別情報を含む。解析情報取得部100は、受け取った解析結果をゲーム進行処理部102に渡す。なお、解析情報取得部100は、撮像装置2からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置30が、画像解析装置20における機能を有して、画像解析装置20に関して説明した処理と同様の処理を実行すればよい。
【0030】
ゲーム進行処理部102は、ゲームアプリケーション全体の処理を制御する。本実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージから構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部102は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部104に、次に開始されるゲームステージ名と、解析情報取得部100から送られてきた識別情報を伝える。キャラクタ格納部106は、ゲームステージごとに、ゲームカード4の識別情報とキャラクタの3次元画像データとを対応付けて記憶する。
【0031】
図5は、キャラクタ格納部106の記憶内容を示す。本実施例のゲームシステム1は、5枚のゲームカード4を使用可能とする。キャラクタ格納部106は、ゲームステージに対応付けて、5枚のゲームカード4のそれぞれに割り当てるキャラクタの3次元画像データを記憶している。ステージ1では、識別情報1のゲームカードにキャラクタ「男」、識別情報2のゲームカードにキャラクタ「女」、識別情報3のゲームカードにキャラクタ「太鼓」、識別情報4のゲームカードにキャラクタ「レストランの建物」、識別情報5のゲームカードにキャラクタ「郵便局の建物」が割り当てられる。ステージ2では、識別情報1のゲームカードにキャラクタ「男」、識別情報2のゲームカードにキャラクタ「女」、識別情報3のゲームカードにキャラクタ「レストランのドア」、識別情報4のゲームカードにキャラクタ「ウェイター」、識別情報5のゲームカードにキャラクタ「テーブルと椅子」が割り当てられる。ステージ1およびステージ2において、識別情報3、4、5に割り当てられるキャラクタが異なっている。
【0032】
キャラクタ決定部104は、ゲームステージ名と複数の識別情報をもとに、識別情報に対応付けられた複数のキャラクタの3次元画像データをキャラクタ格納部106から読み出し、ゲーム進行処理部102に供給する。なお、読み出した3次元画像データは、表示制御部120に直接供給されてもよい。ゲーム進行処理部102は表示制御部120に、3次元画像データと、ゲームカード4の位置情報、方向情報、距離情報を供給する。表示制御部120は、3次元画像データを用いて、キャラクタをゲームカード4の表示位置に関連付けてディスプレイ7に表示させる。
【0033】
具体的に、表示制御部120は、画像解析装置20から送られるフレーム画像を受け取り、ディスプレイ7に表示させる。また、表示制御部120は、ゲームカード4の位置情報、方向情報、距離情報をもとにゲームカード4の位置、向き、距離を認識し、3次元画像データを用いてディスプレイ7に表示するキャラクタの位置、向き、および大きさを決定する。表示制御部120は、ゲームカード4に重なるのであれば、キャラクタをどの位置に配置してもよいが、通常の表示態様では、ゲームカード4の中心点の上方に位置するように、キャラクタの表示位置を定める。
【0034】
プレイヤがゲームカード4を動かすと、フレーム画像の解析結果が画像解析装置20から解析情報取得部100に逐次送られる。表示制御部120は、ゲーム進行処理部102からキャラクタの3次元画像データと、ゲームカード4の位置情報、方向情報、距離情報を受け取り、ディスプレイ7におけるゲームカード4の表示位置にキャラクタの画像が重なるように、キャラクタをゲームカード4の動きに追従させる。これにより、ディスプレイ7では、キャラクタがゲームカード4に常に乗っている表示態様となり、キャラクタとゲームカード4との一体感をプレイヤに認識させることができる。
【0035】
図6は、ステージ1におけるディスプレイの表示例を示す。ここで、ゲームカード4aは識別情報1のゲームカード、ゲームカード4bは識別情報2のゲームカード、ゲームカード4cは識別情報3のゲームカード、ゲームカード4dは識別情報4のゲームカード、ゲームカード4eは識別情報5のゲームカードを示す。
【0036】
ゲームカード4aにキャラクタ「男」が、ゲームカード4cにキャラクタ「太鼓」が、ゲームカード4dにキャラクタ「レストランの建物」が、ゲームカード4eにキャラクタ「郵便局の建物」が、それぞれ重畳表示されている。なお、ゲームカード4cには、太鼓とともに、太鼓を叩くための「ばち」も表示される。このとき、ゲームカード4bには、まだキャラクタ「女」の表示はない。
【0037】
本実施例のゲームアプリケーションでは、複数のゲームカード4の配置位置が所定の位置関係となる場合に、イベントを発生させて、そのイベントを実行することで、ゲームストーリが進行する。プレイヤが複数のゲームカード4を動かすことで、キャラクタの動作パターンなどを変化させることができ、通常のゲームコントローラなどによる操作とは違った楽しみをプレイヤに与えることができる。図6の例では、ステージ1で定められている所定のイベントを実行することで、「女」のキャラクタがゲームカード4bに登場する。
【0038】
位置関係検出部110は、撮像装置2により撮像されたフレーム画像に含まれる複数のゲームカード4の画像の位置関係を検出する。具体的には、まず、ゲーム進行処理部102が、複数のゲームカード4の位置情報、方向情報、距離情報を、位置関係検出部110に引き渡す。位置関係検出部110は、複数のゲームカード4の位置情報、距離情報をもとに、ゲームカード間の位置関係を検出する。ここでは、2つ以上のゲームカード4の全ての組合せについて、ゲームカード間の位置関係を検出することが好ましい。例えば、位置関係検出部110は、それぞれのゲームカード4の中心座標に基づいて、中心座標間の距離を算出してもよい。
【0039】
条件判定部112は、位置関係検出部110により検出された位置関係に基づいて、ゲームカード4間の位置関係が所定の条件を満足するか否かを判定する。ここでは、少なくとも2つのゲームカード4の画像について検出した位置関係が所定の条件を満たすか否かが判定される。条件判定の一例として、条件判定部112は、ゲームカード4の画像同士が接触しているか否かを判定する。単純には、2つのゲームカード画像の中心座標の距離が所定の範囲内にある場合に、条件判定部112は、ゲームカード画像の接触を判定してもよい。
【0040】
条件判定部112は、ゲームカード画像同士の接触を判定する際、ゲームカード画像の向きを考慮する。ゲームカード画像の中心座標および向きにより、空間上におけるゲームカード画像の配置を定めることができる。これにより、条件判定部112は、空間におけるゲームカード画像の配置を知ることができ、接触しているか否かを判定できる。このとき、向きを考慮することで、ゲームカード画像のどの辺が接触しているのかも知ることができる。方向決定部54によりゲームカード画像の向きは決定されているため、矩形のゲームカードが、前部の辺で接触しているのか、または左部の辺で接触しているのかを、条件判定部112は決定された方向情報により判定できる。条件判定部112が、接触判定時に、ゲームカード画像の向きを認識しておくことで、ゲームカード同士がどの向きで接触しているかで、発生させるイベントも異ならせることが可能となる。条件判定部112は、ゲームカード画像同士が接触していることを判定すると、その判定結果、接触しているゲームカード画像の識別情報と、ゲームカード画像の向きを、ゲーム進行処理部102に通知する。ゲーム進行処理部102は、表示制御部120に、これらの情報を伝える。以上の位置関係検出部110と条件判定部112の処理は、同時に実行されてよい。
【0041】
さらに条件判定部112は、例えば1つのゲームカード画像に仮想の視野角を設定し、その視野角内に他のゲームカード画像が存在するか否かの判定を行ってもよい。この条件判定は、位置関係検出部110において検出された位置関係に基づいて実行され、ゲーム中では、あるキャラクタの視野角に他のキャラクタが存在するか否かの確認に利用される。条件判定部112は、視野角内に他のゲームカード画像が存在していることを判定すると、その判定結果、視野角を設定したゲームカード画像の識別情報、および視野角内に存在するゲームカード画像の識別情報をゲーム進行処理部102に通知する。これらの情報は、表示制御部120に伝えられる。
【0042】
表示制御部120は、条件判定部112により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つのゲームカード画像の識別情報に基づいて、キャラクタの表示パターンを決定する。表示制御部120は、ゲーム進行処理部102より送られてきた判定結果、条件を満たしているゲームカード画像の識別情報、およびゲームカード画像の向きを受け取り、表示パターン格納部122を参照して、表示パターンを決定する。
【0043】
表示パターン格納部122は、仮想オブジェクトの表示パターンを格納する。表示パターンは、例えば、条件を満たす少なくとも2つのゲームカード画像の識別情報に対応するキャラクタ間の動作パターンであってよい。この動作パターンは、少なくとも2つのゲームカード画像の識別情報と、それらのゲームカード画像の向きとに対応付けられて記憶されている。具体的に表示制御部120は、例えば、識別情報1のゲームカード4aと識別情報3のゲームカード4cとを、それぞれの前辺同士で接触させた場合に、所定の動作パターンを表示パターン格納部122から読み出すことができる。換言すると、ゲームカード4aの画像とゲームカード4cの画像とが接触しており、且つ、それらが前辺同士で接触していることが、表示パターン格納部122から表示パターンを読み出すための要件として設定されている。したがって、ゲームカード4aとゲームカード4cとがそれぞれの前辺と左辺とで接触していても、表示制御部120は、表示パターンを読み出すことはできない。
【0044】
表示制御部120は、画像解析装置20から送られるフレーム画像上に、複数のキャラクタの3次元画像データを用いて、決定した表示パターンによりキャラクタの表示処理を行う。
【0045】
図7は、図6に示す状態から、2枚のゲームカードを接触させた状態を示す。ここでは、ゲームカード4aとゲームカード4cを接触させている。なお、ゲームカード4aとゲームカード4cは、それぞれ前辺同士で接触されている。「男」はゲームカード4aの前辺方向を向いており、また「太鼓」もゲームカード4cの前辺方向を向いて配置されているため、「男」は、太鼓の正面に立つことで、太鼓を叩くことができる。逆にいうと、「男」は太鼓の側面に立っても、太鼓を叩くことはできない。接触させるゲームカード4の識別情報および接触時の向きは、既述のように表示パターン格納部122から表示パターンを読み出すための要件となっている。したがって、それぞれのゲームカードの前辺同士を接触させることで、表示制御部120は所定の動作パターンを読み出し、男がゲームカード4c上に置かれていたばちを握り、太鼓を叩く表示処理を実行する。この一連の動きは、読み出された表示パターンにおいて定められたものである。
【0046】
ゲームアプリケーションにおいて、太鼓を叩く動作は「女」のキャラクタを登場させるための条件となっており、ゲーム進行処理部102は、男により太鼓が叩かれたことを認識すると、「女」をゲームカード4b上に登場させる。続いて、プレイヤは、男と女のキャラクタをレストランの前に移動させる。
【0047】
図8は、図7に示す状態から、1枚のゲームカードに2枚のゲームカードを接触させた状態を示す。ここでは、ゲームカード4dの左辺に、ゲームカード4aの前辺とゲームカード4bの前辺とを接触させている。接触させるゲームカードの識別情報および向きは、既述のように表示パターンを読み出すための要件として設定されている。ステージ1では、図8のように、男と女のキャラクタをレストランの前に移動させることが、ステージ1を終了してステージ2に進むための移行条件として設定されている。条件判定部112は、ゲームカード4a、4b、4dについて図8に示す位置関係を位置関係検出部110から通知されると、ゲームカード4dの左辺に対してゲームカード4a、4bの前辺がそれぞれ接触していることを判定し、ゲーム進行処理部102に報告する。ゲーム進行処理部102は、この報告を受けると、ステージ1の終了条件が成立したことを認識し、ゲームステージの切替処理を行う。なお、条件判定部112が、この終了条件の成立を判定してもよい。ゲーム進行処理部102は、次のステージ名(ステージ2)をキャラクタ決定部104に通知する。
【0048】
キャラクタ決定部104は、ステージ名を通知されると、図5に示す対応関係を参照して、ステージ2に割り当てられた識別情報の3次元画像データを読み出す。このように、キャラクタ決定部104が、ステージに応じて参照する対応関係を変えることで、ステージごとに新たなキャラクタを登場させることができ、ゲームストーリを充実させることが可能となる。ステージ2では、図5に示したように、識別情報3のゲームカードにキャラクタ「レストランのドア」、識別情報4のゲームカードにキャラクタ「ウェイター」、識別情報5のゲームカードにキャラクタ「テーブルと椅子」が割り当てられ、図8に示すキャラクタ表示が切り替えられる。
【0049】
本実施例のゲームシステム1では、ゲームカード画像の位置関係を利用して、上記以外の様々な画像処理技術を実現することができる。
【0050】
図9は、複数のゲームカード画像に1つのキャラクタを割り当てる処理を説明するための図である。
図9(a)は、3枚のゲームカードに建物が割り当てられている状態を示す。ゲームカード4a、4b、4cに同一の建物が割り当てられているが、ここでは、割り当てるキャラクタの対象は問題としない。図9(b)は、3枚のゲームカードを接触させた状態を示す。このとき、3枚のゲームカード上に1つの大きな建物が割り当てられている。
【0051】
表示パターン格納部122は、条件を満たす少なくとも2つのゲームカード画像に対して、1つの仮想オブジェクトを割り当てた表示パターンを記憶する。この例において、表示パターン格納部122は、3つのゲームカード画像の識別情報(識別情報1、2、3)と、それらのゲームカード画像の接触部分の向きに対応付けた表示パターンを記憶している。ここで、接触部分の向きは左右方向、すなわち、各ゲームカード画像が左辺または右辺にて他のゲームカード画像と接触していることが、表示パターンを読み出すための条件となる。
【0052】
条件判定部112は、ゲームカード4a、4b、4cが左右方向にて接触していることを判定すると、その判定結果およびゲームカード画像の識別情報、画像の向きが、ゲーム進行処理部102を介して表示制御部120に供給される。表示制御部120は、これらの情報をもとに、表示パターン格納部122から表示パターンを読み出す。表示制御部120は、表示パターンに基づいて、図9(b)に示す表示処理を行う。これにより、キャラクタを大きく表示できるため、ゲームストーリにおいて新たな視覚効果を実現できる。プレイヤは、ゲームカード同士をくっつけてみることで、予想もしないキャラクタが登場することにもなり、ゲームの面白さを高めることもできる。
【0053】
図10は、キャラクタの向きを変更する処理を説明するための図である。
図10(a)は、ゲームカード4aのキャラクタ「男」とゲームカード4bのキャラクタ「女」との位置関係を示す。キャラクタ「男」から延びる2本の破線101は、男の仮想的な視野角を示す。条件判定部112は、ゲームカード4aの位置情報および方向情報と、ゲームカード4bの位置情報から、ゲームカード4bの画像が、ゲームカード4aの仮想的な視野角に入っているかを判定する。なお、位置情報および方向情報は、位置関係検出部110より引き渡される。キャラクタ「女」が仮想的な視野角に入っていることを判定すると、その判定結果およびゲームカード4a、4bの識別情報をゲーム進行処理部102に伝える。ゲームカード4aは、以後のプレイヤの操作により、矢印の経路に沿って進められるものとする。
【0054】
図10(b)は、図10(a)に示す矢印に沿って動かした後の状態を示す。ゲームカード4aのキャラクタは、本来前方方向を向くように設定されているが、この例ではゲームカード4bのキャラクタの方向を向いている。表示制御部120は、ゲーム進行処理部102からゲームカード4a、4bの識別情報と、ゲームカード4bがゲームカード4aの視野角に入っていることを示す情報を受け取る。表示パターン格納部122は、ゲームカード4aのキャラクタがゲームカード4bのキャラクタを見続けるように向きを変えることを示す動作パターンを記憶している。この表示パターンは、これらのゲームカードと視野角の関係が成立したことを条件として読み出し可能に設定されている。表示制御部120は、この動作パターンを読み出し、図10(b)に示す表示処理を実行する。すなわち、表示制御部120は、ゲームカード4aのキャラクタの向きを、ゲームカード4bのキャラクタの位置に応じて変化させる。これによりプレイヤは、ゲームカード4aのキャラクタにとってゲームカード4bのキャラクタがゲーム進行に重要な影響を及ぼす可能性があることを認識する。このような表示態様は、プレイヤに対して、ゲームカード4aをゲームカード4bに接触させて新たなイベントを発生させる契機を与えることになる。
【0055】
図11は、仮想オブジェクトを伸縮して表示する処理を説明するための図である。
図11(a)は、ゲームカード4aとゲームカード4bとが接触した状態を示す。2枚のゲームカードを接触させると、キャラクタ同士の間に、仮想オブジェクト103が発生する。この仮想オブジェクト103は、図11(b)に示すように、ゲームカード同士を離すことにより、伸びるように表現される。一方、図11(b)に示す状態から再びゲームカード同士を近づけていくと、仮想オブジェクト103は縮むように表現される。これにより、新たな視覚効果を実現できる。なお、表示パターン格納部122は、ゲームカード4aとゲームカード4bの前辺同士が接触することで、キャラクタの間に、それらの位置関係に応じて伸縮可能な仮想オブジェクトを発生させる表示パターンを記憶している。
【0056】
位置関係検出部110が、ゲームカード画像間の位置関係が第1の状態から第2の状態に移行することを検出すると、表示制御部120が、それぞれの識別情報に対応するキャラクタ間において、それらを結ぶ仮想オブジェクトを伸縮して表示する表示パターンを表示パターン格納部122から読み出して決定する。表示制御部120は、その表示パターンを用いて、図11(a)および図11(b)に示す表示を行う。
【0057】
図12は、ゲーム性を向上するために、プレイヤに課題をだした状態を示す。例えば、その課題は、2枚のゲームカード4をくっつけたまま、ディスプレイ7に表示される矢印105にしたがって、ゲームカード4を台3上で移動させるというものである。位置関係検出部110は、ゲームカード4a、4bのそれぞれの移動ベクトルを計算し、その平均を2枚のゲームカードの移動方向とする。移動ベクトルは、ゲームカード画像の中心座標および距離情報をフレームごとにメモリ(図示せず)に保存し、前後のフレームにおけるゲームカード4の距離変化および中心座標の差分から算出される。条件判定部112は、移動ベクトルから、課題が達成されたか否かを判定し、具体的には移動ベクトルが矢印105に沿っているかを判定して、ベクトルと矢印105の向きが実質的に同一であれば、課題をクリアできたものとする。プレイヤは課題をクリアすることで、ゲーム上でオプション的なメリットなどを受けるようにしてもよい。
【0058】
図13は、実施例の画像処理フローを示す。ゲーム装置30において、位置関係検出部110が、撮像装置2により撮像されたフレーム画像に含まれる複数のゲームカード4の画像の位置関係を検出する(S10)。条件判定部112は、位置関係検出部110により検出された位置関係に基づいて、ゲームカード4間の位置関係が所定の条件を満足するか否かを判定する(S12)。所定の条件が成立した場合(S12のY)、表示制御部120が、成立した条件に対応付けられた表示パターンを決定して、表示パターン格納部122から読み出す(S14)。表示制御部120は、決定した表示パターンによりキャラクタの表示処理を行う(S16)。
【0059】
所定の条件が成立せず(S12のN)、ステージが継続する間(S18のN)、位置関係検出部110が、ゲームカード4間の位置関係を検出し続ける。ステージが切り替わると(S18のY)、このフローは終了する。次のステージが開始すると、ステージに応じたキャラクタの3次元画像データが読み出され、上記したフローが実行される。
【0060】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0061】
上記した実施例では、ゲームカード4間の位置関係に基づいて、キャラクタの表示態様を制御した。ゲームアプリケーションの興趣を高めるために、キャラクタの表示態様だけでなく、音声などによる演出を行ってもよい。この場合、条件判定部112においてゲームカード4間の位置関係が所定の条件を満たすことが判定されると、ゲーム進行処理部102は、その旨を図示しない音声制御部に通知して、音声制御部がスピーカを通じてキャラクタの聴覚的な演出を行ってもよい。このとき、ゲーム装置30は、画像処理装置として機能するだけでなく、音声処理装置としても機能するため、ゲーム装置30を、画像および音声の両方を制御可能な処理装置と呼ぶこともできる。なお、ゲーム装置30は、ゲームカード4間の位置関係に基づいて、音声制御のみを行ってもよい。
【図面の簡単な説明】
【0062】
【図1】実施例にかかるゲームシステムの構成を示す図である。
【図2】ゲームカードの表面の一例を示す図である。
【図3】画像解析装置の構成を示す図である。
【図4】ゲーム装置の構成を示す図である。
【図5】キャラクタ格納部の記憶内容を示す図である。
【図6】ステージ1におけるディスプレイの表示例を示す図である。
【図7】図6に示す状態から、2枚のゲームカードを接触させた状態を示す図である。
【図8】図7に示す状態から、1枚のゲームカードに2枚のゲームカードを接触させた状態を示す図である。
【図9】複数のゲームカード画像に1つのキャラクタを割り当てる処理を説明するための図である。
【図10】キャラクタの向きを変更する処理を説明するための図である。
【図11】仮想オブジェクトを伸縮して表示する処理を説明するための図である。
【図12】プレイヤに課題をだした状態を示す図である。
【図13】画像処理のフローチャートである。
【符号の説明】
【0063】
1・・・ゲームシステム、2・・・撮像装置、4・・・ゲームカード、5・・・撮像領域、7・・・ディスプレイ、10・・・画像処理装置、20・・・画像解析装置、30・・・ゲーム装置、40・・・フレーム画像取得部、42・・・実オブジェクト抽出部、44・・・状態決定部、46・・・識別情報取得部、48・・・識別情報格納部、50・・・送出部、52・・・位置決定部、54・・・方向決定部、56・・・距離決定部、100・・・解析情報取得部、102・・・ゲーム進行処理部、104・・・キャラクタ決定部、106・・・キャラクタ格納部、110・・・位置関係検出部、112・・・条件判定部、120・・・表示制御部、122・・・表示パターン格納部。
【技術分野】
【0001】
本発明は、画像処理技術に関し、特に実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術に関する。
【背景技術】
【0002】
近年、2次元コードをカメラで撮像して認識し、2次元コードのパターンに基づいた所定の処理を実行する技術が普及している。そのような技術の1つとして、2次元バーコードをビデオカメラで撮像して、2次元バーコードに対応する3次元画像を表示装置に表示させる画像処理技術が提案されている(例えば、特許文献1参照)。特許文献1では、撮像した2次元バーコードの座標およびCCDビデオカメラの焦点距離をもとに、3次元オブジェクトを表示する空間上の座標を決定し、2次元バーコードに3次元オブジェクトを重畳させて表示する。
【特許文献1】特開2000−322602号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された技術は、実世界のオブジェクトと仮想のオブジェクトとを組み合わせて表示させることで、優れた視覚効果を実現可能とする。しかしながら、特許文献1は、1つの2次元バーコードに対応付けて仮想オブジェクトを表示する技術を開示するのみであり、複数の2次元バーコードが存在するときの仮想オブジェクトの表示処理について意識するものではない。本発明者は、複数の2次元バーコードなどの実オブジェクトが実空間に存在するときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。
【0004】
本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、ゲームなどの分野において、複数の実オブジェクトの位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明のある態様は、画像処理装置に関する。この態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部とを備える。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間においてデータで表現されるものを意味する。
【0006】
この画像処理装置によると、撮像された複数の実オブジェクト画像の位置関係に基づいて仮想オブジェクトの表示態様を制御するため、複数の実オブジェクトを所定の位置関係におくことで、仮想オブジェクトの新たな視覚表現を実現できる。
【0007】
本発明の別の態様は、ゲーム装置に関する。この態様のゲーム装置は、実オブジェクトを識別するための識別情報と、ゲームキャラクタの3次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの3次元画像データを格納部から読み出す読出部と、条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部とを備える。
【0008】
このゲーム装置によると、撮像された複数の実オブジェクト画像の位置関係に基づいてゲームキャラクタの表示態様を制御するため、複数の実オブジェクトを所定の位置関係におくことで、ゲームキャラクタの新たな視覚表現を実現できる。
【0009】
本発明のさらに別の態様は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定するステップと、実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出すステップと、所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定するステップと、格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップとを備える画像処理方法を提供する。
【0010】
本発明のさらに別の態様は、コンピュータに、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定させる機能と、実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出させる機能と、所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定させる機能と、格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能とを実現させるためのプログラムを提供する。
【0011】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0012】
本発明によると、複数の実オブジェクトの位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供することができる。
【発明を実施するための最良の形態】
【0013】
本発明は、撮像装置により撮像された複数の実オブジェクトの位置関係を検出し、検出した位置関係に基づいて仮想オブジェクトの表示態様を制御する技術を提供する。実オブジェクトは、実在する1次元オブジェクト、2次元オブジェクトまたは3次元オブジェクトのいずれであってもよく、実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、2次元で表現されたコード情報を特徴部分として有するカードなどの2次元オブジェクトであってもよく、またユニークな立体形状を特徴部分として有する3次元オブジェクトであってもよい。なお、2次元オブジェクトの2次元形状がユニークな特徴部分を構成してもよく、また3次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において3次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す実施例は、ゲームアプリケーションにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。実施例では、プレイヤが実オブジェクト同士を接触させることで、その接触に応じたイベントが発生し、イベントを順次実行していくことで進行するゲームアプリケーションを示す。
【0014】
図1は、本発明の実施例にかかるゲームシステム1の構成を示す。ゲームシステム1は、撮像装置2、画像処理装置10および出力装置6を備える。画像処理装置10は、画像解析装置20およびゲーム装置30を備える。画像解析装置20およびゲーム装置30は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置2は、CCD撮像素子またはMOS撮像素子などから構成されるビデオカメラである。撮像装置2は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域5は撮像装置2により撮像される範囲であり、撮像装置2の高さや向きを調整することで、撮像領域5の位置や大きさが調整される。ゲームプレイヤは、撮像領域5において、実オブジェクトであるゲームカード4を指で動かす。ゲームカード4は、自身を一意に識別するための特徴部分を有して構成される。
【0015】
出力装置6は、表示装置であるディスプレイ7を有する。出力装置6は、さらにスピーカ(図示せず)を有して構成されてもよい。基本的に画像処理装置10は、撮像装置2により撮像されたフレーム画像をディスプレイ7に表示させ、その際に、ゲームカード4上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。図1の例では、撮像領域5に2枚のゲームカード4が存在し、ディスプレイ7には、それぞれのゲームカード4上にキャラクタが重畳表示されている。プレイヤは、ディスプレイ7を見ることで、ゲームカード4が撮像領域5に入っているか容易に確認でき、入っていない場合には、ゲームカード4の位置をずらしたり、また撮像装置2の向きを調整して、撮像装置2にゲームカード4を撮像させるようにする。
【0016】
実施例のゲームアプリケーションでは、プレイヤがゲームカード4に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード4とキャラクタとの一体性を認識させることが好ましく、そのため、キャラクタの画像を、ゲームカード4に重ね合わせて表示させている。
【0017】
以上のキャラクタの動きは、画像処理装置10により制御される。まず、画像解析装置20は、撮像装置2において取得されたフレーム画像から、ゲームカード4の画像情報を抽出する。さらに、画像解析装置20は、ゲームカード4の画像情報から、ゲームカード4を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置20は、ゲームカード4の画像情報から、ゲームカード4の空間における位置情報、方向情報、距離情報などを決定する。
【0018】
図2は、ゲームカード4の表面の一例を示す。ゲームカード4の表面には、方向指示部11と識別部12とが印刷されている。方向指示部11は、ゲームカード4の前部を示すために設けられ、識別部12は、ゲームカード4を一意に識別するための特徴部分を表現するために設けられる。識別部12は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、4角のブロックは複数のゲームカード4に共通して付与され、実質的には4角以外のブロックにより、特徴部分が形成される。4角のブロックは、撮像装置2からの距離を測定するために利用される。
【0019】
図1に戻って、画像解析装置20は、フレーム画像中のゲームカード4を認識すると、ゲームカード4の画像における4角のブロック間の長さをもとに、撮像装置2とゲームカード4との距離を計算して求める。また、画像解析装置20は、ゲームカード4の方向指示部11を検出して、フレーム画像においてゲームカード4が向いている方向を求める。この場合、方向指示部11が存在する方向が前方となり、キャラクタは、ゲームカード4上にて前方を向くように表示制御される。さらに、画像解析装置20は、識別部12の4角以外のブロックから、ゲームカード4の識別情報を取得する。
【0020】
画像解析装置20において画像解析された結果は、ゲーム装置30に送られる。なお、撮像装置2において撮像されたフレーム画像が、ゲーム装置30に送られて、ゲーム装置30側で画像解析を行ってもよい。この場合、画像処理装置10は、ゲーム装置30のみで構成されることになる。
【0021】
ゲーム装置30は、画像解析装置20における画像解析結果をもとに、ディスプレイ7の表示画面上で、キャラクタをゲームカード4の上に位置するように表示制御する。キャラクタは、ゲームカード4に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わることになる。本実施例では、ゲーム装置30が、複数の実オブジェクト画像の位置関係を検出し、実オブジェクト画像間の位置関係が所定の条件を満たすことを判定すると、仮想オブジェクトの表示態様を制御する。
【0022】
図3は、画像解析装置20の構成を示す。画像解析装置20は、フレーム画像取得部40、実オブジェクト抽出部42、状態決定部44、識別情報取得部46、識別情報格納部48および送出部50を備える。識別情報格納部48は、実オブジェクトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図2におけるゲームカード4の識別部12のパターン情報と、識別情報とを1対1に対応付けて記憶している。識別情報は、ゲーム装置30においてキャラクタの割当てに利用される。例えば、5枚のゲームカード4の同時使用を許可するゲームシステム1の場合、それぞれのゲームカード4に対して、1から5までの識別情報がそれぞれ割り当てられていてもよい。複数のゲームカード4のそれぞれを識別情報と紐付けすることで、個々のゲームカード4が認識可能となる。状態決定部44は、設定した座標系における実オブジェクトの状態を決定し、具体的には、ゲームカード4の位置を決定する位置決定部52、方向を決定する方向決定部54および撮像装置2からの焦点距離を決定する距離決定部56を有する。
【0023】
フレーム画像取得部40が、撮像装置2にて撮像された実空間のフレーム画像を取得する。ここでは、図1に示すように、撮像領域5に複数枚のゲームカード4が配置されている状態を想定する。撮像装置2は、周期的にフレーム画像を取得し、好適には1/60秒間隔でフレーム画像を生成する。
【0024】
実オブジェクト抽出部42は、フレーム画像から複数の実オブジェクト画像、すなわちゲームカード4の画像を抽出する。この処理は、画像情報を2進数のビット表現に変換し、このビット表現からゲームカード4の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実オブジェクト抽出部42は、マッチング処理のために、使用する実オブジェクトの画像情報をメモリ(図示せず)に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、複数のゲームカード4の画像をフレーム画像から切り出すことができる。
【0025】
状態決定部44は、ゲームカード4を置いて動かすための台3のジオメトリ情報を予め検出しておき、さらに台3の表面を基準面として、その基準面上にゲームカード4を載せた姿勢のジオメトリ情報をゲームカード4の姿勢の初期状態として記録しておく。このジオメトリ情報は、撮像装置2を基準として生成されてもよい。状態決定部44は、台3に関して取得したジオメトリ情報から、台3の位置、姿勢などを撮像空間における座標データとして把握しておく。位置決定部52は、実オブジェクト画像の位置を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標を定める。なお、位置決定部52は、ゲームカード4の位置に加えて、ゲームカード4の基準面に対するゲームカード4の傾きおよび高さを、初期状態として記録したゲームカード4の姿勢からの相対的な状態量の差分、すなわち撮像空間における座標値の差分として求めてもよい。方向決定部54は、実オブジェクト画像の方向を定める。方向決定部54は、実オブジェクト画像の中から図2に示す方向指示部11を検出して、実オブジェクトの向きを定めてもよい。距離決定部56は、ゲームカード4の画像における識別部12の4角間の長さをもとに、撮像装置2とゲームカード4との距離を決定する。識別情報取得部46は、実オブジェクト画像から特徴部分を抽出して、識別情報格納部48から対応する識別情報を取得する。
【0026】
状態決定部44において決定された位置情報、方向情報、距離情報、および識別情報取得部46において取得された識別情報は、それぞれ関連付けされて送出部50からゲーム装置30に送られる。なお、この関連付けは、それぞれのゲームカード4ごとに行われる。また、本実施例では、撮像装置2により撮像されたフレーム画像をディスプレイ7に表示させるため、フレーム画像自体も送出部50からゲーム装置30に送られる。
【0027】
図4は、ゲーム装置30の構成を示す。ゲーム装置30は、解析情報取得部100、ゲーム進行処理部102、キャラクタ決定部104、キャラクタ格納部106、位置関係検出部110、条件判定部112、表示制御部120および表示パターン格納部122を備える。
【0028】
本実施例におけるゲーム装置30の処理機能は、CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置30に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置30のCPUが、解析情報取得部100、ゲーム進行処理部102、キャラクタ決定部104、位置関係検出部110、条件判定部112、表示制御部120としての機能をもつ。
【0029】
解析情報取得部100は、画像解析装置20から、解析結果を受け取る。この解析結果は、実オブジェクトであるゲームカード4の位置情報、方向情報、距離情報、識別情報を含む。解析情報取得部100は、受け取った解析結果をゲーム進行処理部102に渡す。なお、解析情報取得部100は、撮像装置2からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置30が、画像解析装置20における機能を有して、画像解析装置20に関して説明した処理と同様の処理を実行すればよい。
【0030】
ゲーム進行処理部102は、ゲームアプリケーション全体の処理を制御する。本実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージから構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部102は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部104に、次に開始されるゲームステージ名と、解析情報取得部100から送られてきた識別情報を伝える。キャラクタ格納部106は、ゲームステージごとに、ゲームカード4の識別情報とキャラクタの3次元画像データとを対応付けて記憶する。
【0031】
図5は、キャラクタ格納部106の記憶内容を示す。本実施例のゲームシステム1は、5枚のゲームカード4を使用可能とする。キャラクタ格納部106は、ゲームステージに対応付けて、5枚のゲームカード4のそれぞれに割り当てるキャラクタの3次元画像データを記憶している。ステージ1では、識別情報1のゲームカードにキャラクタ「男」、識別情報2のゲームカードにキャラクタ「女」、識別情報3のゲームカードにキャラクタ「太鼓」、識別情報4のゲームカードにキャラクタ「レストランの建物」、識別情報5のゲームカードにキャラクタ「郵便局の建物」が割り当てられる。ステージ2では、識別情報1のゲームカードにキャラクタ「男」、識別情報2のゲームカードにキャラクタ「女」、識別情報3のゲームカードにキャラクタ「レストランのドア」、識別情報4のゲームカードにキャラクタ「ウェイター」、識別情報5のゲームカードにキャラクタ「テーブルと椅子」が割り当てられる。ステージ1およびステージ2において、識別情報3、4、5に割り当てられるキャラクタが異なっている。
【0032】
キャラクタ決定部104は、ゲームステージ名と複数の識別情報をもとに、識別情報に対応付けられた複数のキャラクタの3次元画像データをキャラクタ格納部106から読み出し、ゲーム進行処理部102に供給する。なお、読み出した3次元画像データは、表示制御部120に直接供給されてもよい。ゲーム進行処理部102は表示制御部120に、3次元画像データと、ゲームカード4の位置情報、方向情報、距離情報を供給する。表示制御部120は、3次元画像データを用いて、キャラクタをゲームカード4の表示位置に関連付けてディスプレイ7に表示させる。
【0033】
具体的に、表示制御部120は、画像解析装置20から送られるフレーム画像を受け取り、ディスプレイ7に表示させる。また、表示制御部120は、ゲームカード4の位置情報、方向情報、距離情報をもとにゲームカード4の位置、向き、距離を認識し、3次元画像データを用いてディスプレイ7に表示するキャラクタの位置、向き、および大きさを決定する。表示制御部120は、ゲームカード4に重なるのであれば、キャラクタをどの位置に配置してもよいが、通常の表示態様では、ゲームカード4の中心点の上方に位置するように、キャラクタの表示位置を定める。
【0034】
プレイヤがゲームカード4を動かすと、フレーム画像の解析結果が画像解析装置20から解析情報取得部100に逐次送られる。表示制御部120は、ゲーム進行処理部102からキャラクタの3次元画像データと、ゲームカード4の位置情報、方向情報、距離情報を受け取り、ディスプレイ7におけるゲームカード4の表示位置にキャラクタの画像が重なるように、キャラクタをゲームカード4の動きに追従させる。これにより、ディスプレイ7では、キャラクタがゲームカード4に常に乗っている表示態様となり、キャラクタとゲームカード4との一体感をプレイヤに認識させることができる。
【0035】
図6は、ステージ1におけるディスプレイの表示例を示す。ここで、ゲームカード4aは識別情報1のゲームカード、ゲームカード4bは識別情報2のゲームカード、ゲームカード4cは識別情報3のゲームカード、ゲームカード4dは識別情報4のゲームカード、ゲームカード4eは識別情報5のゲームカードを示す。
【0036】
ゲームカード4aにキャラクタ「男」が、ゲームカード4cにキャラクタ「太鼓」が、ゲームカード4dにキャラクタ「レストランの建物」が、ゲームカード4eにキャラクタ「郵便局の建物」が、それぞれ重畳表示されている。なお、ゲームカード4cには、太鼓とともに、太鼓を叩くための「ばち」も表示される。このとき、ゲームカード4bには、まだキャラクタ「女」の表示はない。
【0037】
本実施例のゲームアプリケーションでは、複数のゲームカード4の配置位置が所定の位置関係となる場合に、イベントを発生させて、そのイベントを実行することで、ゲームストーリが進行する。プレイヤが複数のゲームカード4を動かすことで、キャラクタの動作パターンなどを変化させることができ、通常のゲームコントローラなどによる操作とは違った楽しみをプレイヤに与えることができる。図6の例では、ステージ1で定められている所定のイベントを実行することで、「女」のキャラクタがゲームカード4bに登場する。
【0038】
位置関係検出部110は、撮像装置2により撮像されたフレーム画像に含まれる複数のゲームカード4の画像の位置関係を検出する。具体的には、まず、ゲーム進行処理部102が、複数のゲームカード4の位置情報、方向情報、距離情報を、位置関係検出部110に引き渡す。位置関係検出部110は、複数のゲームカード4の位置情報、距離情報をもとに、ゲームカード間の位置関係を検出する。ここでは、2つ以上のゲームカード4の全ての組合せについて、ゲームカード間の位置関係を検出することが好ましい。例えば、位置関係検出部110は、それぞれのゲームカード4の中心座標に基づいて、中心座標間の距離を算出してもよい。
【0039】
条件判定部112は、位置関係検出部110により検出された位置関係に基づいて、ゲームカード4間の位置関係が所定の条件を満足するか否かを判定する。ここでは、少なくとも2つのゲームカード4の画像について検出した位置関係が所定の条件を満たすか否かが判定される。条件判定の一例として、条件判定部112は、ゲームカード4の画像同士が接触しているか否かを判定する。単純には、2つのゲームカード画像の中心座標の距離が所定の範囲内にある場合に、条件判定部112は、ゲームカード画像の接触を判定してもよい。
【0040】
条件判定部112は、ゲームカード画像同士の接触を判定する際、ゲームカード画像の向きを考慮する。ゲームカード画像の中心座標および向きにより、空間上におけるゲームカード画像の配置を定めることができる。これにより、条件判定部112は、空間におけるゲームカード画像の配置を知ることができ、接触しているか否かを判定できる。このとき、向きを考慮することで、ゲームカード画像のどの辺が接触しているのかも知ることができる。方向決定部54によりゲームカード画像の向きは決定されているため、矩形のゲームカードが、前部の辺で接触しているのか、または左部の辺で接触しているのかを、条件判定部112は決定された方向情報により判定できる。条件判定部112が、接触判定時に、ゲームカード画像の向きを認識しておくことで、ゲームカード同士がどの向きで接触しているかで、発生させるイベントも異ならせることが可能となる。条件判定部112は、ゲームカード画像同士が接触していることを判定すると、その判定結果、接触しているゲームカード画像の識別情報と、ゲームカード画像の向きを、ゲーム進行処理部102に通知する。ゲーム進行処理部102は、表示制御部120に、これらの情報を伝える。以上の位置関係検出部110と条件判定部112の処理は、同時に実行されてよい。
【0041】
さらに条件判定部112は、例えば1つのゲームカード画像に仮想の視野角を設定し、その視野角内に他のゲームカード画像が存在するか否かの判定を行ってもよい。この条件判定は、位置関係検出部110において検出された位置関係に基づいて実行され、ゲーム中では、あるキャラクタの視野角に他のキャラクタが存在するか否かの確認に利用される。条件判定部112は、視野角内に他のゲームカード画像が存在していることを判定すると、その判定結果、視野角を設定したゲームカード画像の識別情報、および視野角内に存在するゲームカード画像の識別情報をゲーム進行処理部102に通知する。これらの情報は、表示制御部120に伝えられる。
【0042】
表示制御部120は、条件判定部112により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つのゲームカード画像の識別情報に基づいて、キャラクタの表示パターンを決定する。表示制御部120は、ゲーム進行処理部102より送られてきた判定結果、条件を満たしているゲームカード画像の識別情報、およびゲームカード画像の向きを受け取り、表示パターン格納部122を参照して、表示パターンを決定する。
【0043】
表示パターン格納部122は、仮想オブジェクトの表示パターンを格納する。表示パターンは、例えば、条件を満たす少なくとも2つのゲームカード画像の識別情報に対応するキャラクタ間の動作パターンであってよい。この動作パターンは、少なくとも2つのゲームカード画像の識別情報と、それらのゲームカード画像の向きとに対応付けられて記憶されている。具体的に表示制御部120は、例えば、識別情報1のゲームカード4aと識別情報3のゲームカード4cとを、それぞれの前辺同士で接触させた場合に、所定の動作パターンを表示パターン格納部122から読み出すことができる。換言すると、ゲームカード4aの画像とゲームカード4cの画像とが接触しており、且つ、それらが前辺同士で接触していることが、表示パターン格納部122から表示パターンを読み出すための要件として設定されている。したがって、ゲームカード4aとゲームカード4cとがそれぞれの前辺と左辺とで接触していても、表示制御部120は、表示パターンを読み出すことはできない。
【0044】
表示制御部120は、画像解析装置20から送られるフレーム画像上に、複数のキャラクタの3次元画像データを用いて、決定した表示パターンによりキャラクタの表示処理を行う。
【0045】
図7は、図6に示す状態から、2枚のゲームカードを接触させた状態を示す。ここでは、ゲームカード4aとゲームカード4cを接触させている。なお、ゲームカード4aとゲームカード4cは、それぞれ前辺同士で接触されている。「男」はゲームカード4aの前辺方向を向いており、また「太鼓」もゲームカード4cの前辺方向を向いて配置されているため、「男」は、太鼓の正面に立つことで、太鼓を叩くことができる。逆にいうと、「男」は太鼓の側面に立っても、太鼓を叩くことはできない。接触させるゲームカード4の識別情報および接触時の向きは、既述のように表示パターン格納部122から表示パターンを読み出すための要件となっている。したがって、それぞれのゲームカードの前辺同士を接触させることで、表示制御部120は所定の動作パターンを読み出し、男がゲームカード4c上に置かれていたばちを握り、太鼓を叩く表示処理を実行する。この一連の動きは、読み出された表示パターンにおいて定められたものである。
【0046】
ゲームアプリケーションにおいて、太鼓を叩く動作は「女」のキャラクタを登場させるための条件となっており、ゲーム進行処理部102は、男により太鼓が叩かれたことを認識すると、「女」をゲームカード4b上に登場させる。続いて、プレイヤは、男と女のキャラクタをレストランの前に移動させる。
【0047】
図8は、図7に示す状態から、1枚のゲームカードに2枚のゲームカードを接触させた状態を示す。ここでは、ゲームカード4dの左辺に、ゲームカード4aの前辺とゲームカード4bの前辺とを接触させている。接触させるゲームカードの識別情報および向きは、既述のように表示パターンを読み出すための要件として設定されている。ステージ1では、図8のように、男と女のキャラクタをレストランの前に移動させることが、ステージ1を終了してステージ2に進むための移行条件として設定されている。条件判定部112は、ゲームカード4a、4b、4dについて図8に示す位置関係を位置関係検出部110から通知されると、ゲームカード4dの左辺に対してゲームカード4a、4bの前辺がそれぞれ接触していることを判定し、ゲーム進行処理部102に報告する。ゲーム進行処理部102は、この報告を受けると、ステージ1の終了条件が成立したことを認識し、ゲームステージの切替処理を行う。なお、条件判定部112が、この終了条件の成立を判定してもよい。ゲーム進行処理部102は、次のステージ名(ステージ2)をキャラクタ決定部104に通知する。
【0048】
キャラクタ決定部104は、ステージ名を通知されると、図5に示す対応関係を参照して、ステージ2に割り当てられた識別情報の3次元画像データを読み出す。このように、キャラクタ決定部104が、ステージに応じて参照する対応関係を変えることで、ステージごとに新たなキャラクタを登場させることができ、ゲームストーリを充実させることが可能となる。ステージ2では、図5に示したように、識別情報3のゲームカードにキャラクタ「レストランのドア」、識別情報4のゲームカードにキャラクタ「ウェイター」、識別情報5のゲームカードにキャラクタ「テーブルと椅子」が割り当てられ、図8に示すキャラクタ表示が切り替えられる。
【0049】
本実施例のゲームシステム1では、ゲームカード画像の位置関係を利用して、上記以外の様々な画像処理技術を実現することができる。
【0050】
図9は、複数のゲームカード画像に1つのキャラクタを割り当てる処理を説明するための図である。
図9(a)は、3枚のゲームカードに建物が割り当てられている状態を示す。ゲームカード4a、4b、4cに同一の建物が割り当てられているが、ここでは、割り当てるキャラクタの対象は問題としない。図9(b)は、3枚のゲームカードを接触させた状態を示す。このとき、3枚のゲームカード上に1つの大きな建物が割り当てられている。
【0051】
表示パターン格納部122は、条件を満たす少なくとも2つのゲームカード画像に対して、1つの仮想オブジェクトを割り当てた表示パターンを記憶する。この例において、表示パターン格納部122は、3つのゲームカード画像の識別情報(識別情報1、2、3)と、それらのゲームカード画像の接触部分の向きに対応付けた表示パターンを記憶している。ここで、接触部分の向きは左右方向、すなわち、各ゲームカード画像が左辺または右辺にて他のゲームカード画像と接触していることが、表示パターンを読み出すための条件となる。
【0052】
条件判定部112は、ゲームカード4a、4b、4cが左右方向にて接触していることを判定すると、その判定結果およびゲームカード画像の識別情報、画像の向きが、ゲーム進行処理部102を介して表示制御部120に供給される。表示制御部120は、これらの情報をもとに、表示パターン格納部122から表示パターンを読み出す。表示制御部120は、表示パターンに基づいて、図9(b)に示す表示処理を行う。これにより、キャラクタを大きく表示できるため、ゲームストーリにおいて新たな視覚効果を実現できる。プレイヤは、ゲームカード同士をくっつけてみることで、予想もしないキャラクタが登場することにもなり、ゲームの面白さを高めることもできる。
【0053】
図10は、キャラクタの向きを変更する処理を説明するための図である。
図10(a)は、ゲームカード4aのキャラクタ「男」とゲームカード4bのキャラクタ「女」との位置関係を示す。キャラクタ「男」から延びる2本の破線101は、男の仮想的な視野角を示す。条件判定部112は、ゲームカード4aの位置情報および方向情報と、ゲームカード4bの位置情報から、ゲームカード4bの画像が、ゲームカード4aの仮想的な視野角に入っているかを判定する。なお、位置情報および方向情報は、位置関係検出部110より引き渡される。キャラクタ「女」が仮想的な視野角に入っていることを判定すると、その判定結果およびゲームカード4a、4bの識別情報をゲーム進行処理部102に伝える。ゲームカード4aは、以後のプレイヤの操作により、矢印の経路に沿って進められるものとする。
【0054】
図10(b)は、図10(a)に示す矢印に沿って動かした後の状態を示す。ゲームカード4aのキャラクタは、本来前方方向を向くように設定されているが、この例ではゲームカード4bのキャラクタの方向を向いている。表示制御部120は、ゲーム進行処理部102からゲームカード4a、4bの識別情報と、ゲームカード4bがゲームカード4aの視野角に入っていることを示す情報を受け取る。表示パターン格納部122は、ゲームカード4aのキャラクタがゲームカード4bのキャラクタを見続けるように向きを変えることを示す動作パターンを記憶している。この表示パターンは、これらのゲームカードと視野角の関係が成立したことを条件として読み出し可能に設定されている。表示制御部120は、この動作パターンを読み出し、図10(b)に示す表示処理を実行する。すなわち、表示制御部120は、ゲームカード4aのキャラクタの向きを、ゲームカード4bのキャラクタの位置に応じて変化させる。これによりプレイヤは、ゲームカード4aのキャラクタにとってゲームカード4bのキャラクタがゲーム進行に重要な影響を及ぼす可能性があることを認識する。このような表示態様は、プレイヤに対して、ゲームカード4aをゲームカード4bに接触させて新たなイベントを発生させる契機を与えることになる。
【0055】
図11は、仮想オブジェクトを伸縮して表示する処理を説明するための図である。
図11(a)は、ゲームカード4aとゲームカード4bとが接触した状態を示す。2枚のゲームカードを接触させると、キャラクタ同士の間に、仮想オブジェクト103が発生する。この仮想オブジェクト103は、図11(b)に示すように、ゲームカード同士を離すことにより、伸びるように表現される。一方、図11(b)に示す状態から再びゲームカード同士を近づけていくと、仮想オブジェクト103は縮むように表現される。これにより、新たな視覚効果を実現できる。なお、表示パターン格納部122は、ゲームカード4aとゲームカード4bの前辺同士が接触することで、キャラクタの間に、それらの位置関係に応じて伸縮可能な仮想オブジェクトを発生させる表示パターンを記憶している。
【0056】
位置関係検出部110が、ゲームカード画像間の位置関係が第1の状態から第2の状態に移行することを検出すると、表示制御部120が、それぞれの識別情報に対応するキャラクタ間において、それらを結ぶ仮想オブジェクトを伸縮して表示する表示パターンを表示パターン格納部122から読み出して決定する。表示制御部120は、その表示パターンを用いて、図11(a)および図11(b)に示す表示を行う。
【0057】
図12は、ゲーム性を向上するために、プレイヤに課題をだした状態を示す。例えば、その課題は、2枚のゲームカード4をくっつけたまま、ディスプレイ7に表示される矢印105にしたがって、ゲームカード4を台3上で移動させるというものである。位置関係検出部110は、ゲームカード4a、4bのそれぞれの移動ベクトルを計算し、その平均を2枚のゲームカードの移動方向とする。移動ベクトルは、ゲームカード画像の中心座標および距離情報をフレームごとにメモリ(図示せず)に保存し、前後のフレームにおけるゲームカード4の距離変化および中心座標の差分から算出される。条件判定部112は、移動ベクトルから、課題が達成されたか否かを判定し、具体的には移動ベクトルが矢印105に沿っているかを判定して、ベクトルと矢印105の向きが実質的に同一であれば、課題をクリアできたものとする。プレイヤは課題をクリアすることで、ゲーム上でオプション的なメリットなどを受けるようにしてもよい。
【0058】
図13は、実施例の画像処理フローを示す。ゲーム装置30において、位置関係検出部110が、撮像装置2により撮像されたフレーム画像に含まれる複数のゲームカード4の画像の位置関係を検出する(S10)。条件判定部112は、位置関係検出部110により検出された位置関係に基づいて、ゲームカード4間の位置関係が所定の条件を満足するか否かを判定する(S12)。所定の条件が成立した場合(S12のY)、表示制御部120が、成立した条件に対応付けられた表示パターンを決定して、表示パターン格納部122から読み出す(S14)。表示制御部120は、決定した表示パターンによりキャラクタの表示処理を行う(S16)。
【0059】
所定の条件が成立せず(S12のN)、ステージが継続する間(S18のN)、位置関係検出部110が、ゲームカード4間の位置関係を検出し続ける。ステージが切り替わると(S18のY)、このフローは終了する。次のステージが開始すると、ステージに応じたキャラクタの3次元画像データが読み出され、上記したフローが実行される。
【0060】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0061】
上記した実施例では、ゲームカード4間の位置関係に基づいて、キャラクタの表示態様を制御した。ゲームアプリケーションの興趣を高めるために、キャラクタの表示態様だけでなく、音声などによる演出を行ってもよい。この場合、条件判定部112においてゲームカード4間の位置関係が所定の条件を満たすことが判定されると、ゲーム進行処理部102は、その旨を図示しない音声制御部に通知して、音声制御部がスピーカを通じてキャラクタの聴覚的な演出を行ってもよい。このとき、ゲーム装置30は、画像処理装置として機能するだけでなく、音声処理装置としても機能するため、ゲーム装置30を、画像および音声の両方を制御可能な処理装置と呼ぶこともできる。なお、ゲーム装置30は、ゲームカード4間の位置関係に基づいて、音声制御のみを行ってもよい。
【図面の簡単な説明】
【0062】
【図1】実施例にかかるゲームシステムの構成を示す図である。
【図2】ゲームカードの表面の一例を示す図である。
【図3】画像解析装置の構成を示す図である。
【図4】ゲーム装置の構成を示す図である。
【図5】キャラクタ格納部の記憶内容を示す図である。
【図6】ステージ1におけるディスプレイの表示例を示す図である。
【図7】図6に示す状態から、2枚のゲームカードを接触させた状態を示す図である。
【図8】図7に示す状態から、1枚のゲームカードに2枚のゲームカードを接触させた状態を示す図である。
【図9】複数のゲームカード画像に1つのキャラクタを割り当てる処理を説明するための図である。
【図10】キャラクタの向きを変更する処理を説明するための図である。
【図11】仮想オブジェクトを伸縮して表示する処理を説明するための図である。
【図12】プレイヤに課題をだした状態を示す図である。
【図13】画像処理のフローチャートである。
【符号の説明】
【0063】
1・・・ゲームシステム、2・・・撮像装置、4・・・ゲームカード、5・・・撮像領域、7・・・ディスプレイ、10・・・画像処理装置、20・・・画像解析装置、30・・・ゲーム装置、40・・・フレーム画像取得部、42・・・実オブジェクト抽出部、44・・・状態決定部、46・・・識別情報取得部、48・・・識別情報格納部、50・・・送出部、52・・・位置決定部、54・・・方向決定部、56・・・距離決定部、100・・・解析情報取得部、102・・・ゲーム進行処理部、104・・・キャラクタ決定部、106・・・キャラクタ格納部、110・・・位置関係検出部、112・・・条件判定部、120・・・表示制御部、122・・・表示パターン格納部。
【特許請求の範囲】
【請求項1】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項2】
表示パターンは、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に対応する仮想オブジェクト間の動作パターンを定めることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
表示パターンは、条件を満たす少なくとも2つの実オブジェクト画像に対して、1つの仮想オブジェクトを割り当てることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
条件判定部は、実オブジェクト画像同士が接触しているか否かを判定することを特徴とする請求項1から3のいずれかに記載の画像処理装置。
【請求項5】
条件判定部は、接触判定時に、実オブジェクト画像の向きを認識することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
格納部は、実オブジェクトを識別するための識別情報と仮想オブジェクトの3次元画像データとの対応関係を複数記憶し、
前記読出部は、条件判定部により所定の条件が満たされたことが判定された場合に、格納部における別の対応関係を参照して、識別情報をもとに3次元画像データを読み出すことを特徴とする請求項1から5のいずれかに記載の画像処理装置。
【請求項7】
条件判定部により所定の条件が満たされたことが判定された場合に、前記表示制御部は、1つの実オブジェクト画像の識別情報に対応する仮想オブジェクトの向きを、他の実オブジェクト画像の識別情報に対応する仮想オブジェクトの位置に応じて変化させることを特徴とする請求項1から6のいずれかに記載の画像処理装置。
【請求項8】
位置関係検出部により検出される実オブジェクト画像間の位置関係が第1の状態から第2の状態に移行するとき、表示制御部は、それぞれの実オブジェクト画像の識別情報に対応する仮想オブジェクト間において、仮想オブジェクト同士間を結ぶ仮想オブジェクトを伸ばし又は縮めて表示する表示パターンを決定することを特徴とする請求項1から7のいずれかに記載の画像処理装置。
【請求項9】
実オブジェクト画像の移動ベクトルから、条件判定部が、所定の課題が達成されたか否かを判定することを特徴とする請求項1から8のいずれかに記載の画像処理装置。
【請求項10】
実オブジェクトを識別するための識別情報と、ゲームキャラクタの3次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部と、
を備えることを特徴とするゲーム装置。
【請求項11】
ゲーム進行が複数のステージから構成される場合に、
格納部は、ステージごとに、実オブジェクトを識別するための識別情報とゲームキャラクタの3次元画像データとを対応付けて記憶することを特徴とする請求項10に記載のゲーム装置。
【請求項12】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定するステップと、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出すステップと、
所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定するステップと、
格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップと、
を備えることを特徴とする画像処理方法。
【請求項13】
コンピュータに、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定させる機能と、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出させる機能と、
所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定させる機能と、
格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能と、
を実現させるためのプログラム。
【請求項14】
請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【特許請求の範囲】
【請求項1】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像同士が接触しているか否かを判定し、接触判定時に、平面上における実オブジェクト画像の向きを認識する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、
条件判定部により平面上における所定の向きで実オブジェクト画像同士が接触したことが判定された場合に、接触したと判定された少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項2】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとの対応関係を複数記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
を備え、
前記読出部は、条件判定部により所定の条件が満たされたことが判定された場合に、格納部における別の対応関係を参照して、識別情報をもとに3次元画像データを読み出すことを特徴とする画像処理装置。
【請求項3】
条件判定部により所定の条件が満たされたことが判定された場合に、前記表示制御部は、1つの実オブジェクト画像の識別情報に対応する仮想オブジェクトの平面上における向きを、他の実オブジェクト画像の識別情報に対応する仮想オブジェクトの位置に応じて変化させることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
実オブジェクト画像の移動ベクトルから、条件判定部が、所定の課題が達成されたか否かを判定することを特徴とする請求項2に記載の画像処理装置。
【請求項5】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
を備え、
位置関係検出部により検出される実オブジェクト画像間の位置関係が第1の状態から第2の状態に移行するとき、表示制御部は、それぞれの実オブジェクト画像の識別情報に対応する仮想オブジェクト間において、仮想オブジェクト同士間を結ぶ仮想オブジェクトを伸ばし又は縮めて表示する表示パターンを決定することを特徴とする画像処理装置。
【請求項6】
ゲーム進行が複数のステージから構成される場合に、1つの実オブジェクトを識別するための識別情報に、ステージごとに異なるゲームキャラクタの3次元画像データを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部と、
を備えることを特徴とするゲーム装置。
【請求項7】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、
少なくとも2つの実オブジェクト画像同士が接触しているか否かを判定し、接触判定時に、平面上における実オブジェクト画像の向きを認識するステップと、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出すステップと、
平面上における所定の向きで実オブジェクト画像が同士が接触したことが判定された場合に、接触したと判定された少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定するステップと、
格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップと、
を備えることを特徴とする画像処理方法。
【請求項8】
コンピュータに、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、
少なくとも2つの実オブジェクト画像同士が接触しているか否かを判定し、接触判定時に、平面上における実オブジェクト画像の向きを認識させる機能と、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出させる機能と、
平面上における所定の向きで実オブジェクト画像が同士が接触したことが判定された場合に、接触したと判定された少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定させる機能と、
格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能と、
を実現させるためのプログラム。
【請求項9】
請求項8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項2】
表示パターンは、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に対応する仮想オブジェクト間の動作パターンを定めることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
表示パターンは、条件を満たす少なくとも2つの実オブジェクト画像に対して、1つの仮想オブジェクトを割り当てることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
条件判定部は、実オブジェクト画像同士が接触しているか否かを判定することを特徴とする請求項1から3のいずれかに記載の画像処理装置。
【請求項5】
条件判定部は、接触判定時に、実オブジェクト画像の向きを認識することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
格納部は、実オブジェクトを識別するための識別情報と仮想オブジェクトの3次元画像データとの対応関係を複数記憶し、
前記読出部は、条件判定部により所定の条件が満たされたことが判定された場合に、格納部における別の対応関係を参照して、識別情報をもとに3次元画像データを読み出すことを特徴とする請求項1から5のいずれかに記載の画像処理装置。
【請求項7】
条件判定部により所定の条件が満たされたことが判定された場合に、前記表示制御部は、1つの実オブジェクト画像の識別情報に対応する仮想オブジェクトの向きを、他の実オブジェクト画像の識別情報に対応する仮想オブジェクトの位置に応じて変化させることを特徴とする請求項1から6のいずれかに記載の画像処理装置。
【請求項8】
位置関係検出部により検出される実オブジェクト画像間の位置関係が第1の状態から第2の状態に移行するとき、表示制御部は、それぞれの実オブジェクト画像の識別情報に対応する仮想オブジェクト間において、仮想オブジェクト同士間を結ぶ仮想オブジェクトを伸ばし又は縮めて表示する表示パターンを決定することを特徴とする請求項1から7のいずれかに記載の画像処理装置。
【請求項9】
実オブジェクト画像の移動ベクトルから、条件判定部が、所定の課題が達成されたか否かを判定することを特徴とする請求項1から8のいずれかに記載の画像処理装置。
【請求項10】
実オブジェクトを識別するための識別情報と、ゲームキャラクタの3次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部と、
を備えることを特徴とするゲーム装置。
【請求項11】
ゲーム進行が複数のステージから構成される場合に、
格納部は、ステージごとに、実オブジェクトを識別するための識別情報とゲームキャラクタの3次元画像データとを対応付けて記憶することを特徴とする請求項10に記載のゲーム装置。
【請求項12】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定するステップと、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出すステップと、
所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定するステップと、
格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップと、
を備えることを特徴とする画像処理方法。
【請求項13】
コンピュータに、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定させる機能と、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出させる機能と、
所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、仮想オブジェクトの表示パターンを決定させる機能と、
格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能と、
を実現させるためのプログラム。
【請求項14】
請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【特許請求の範囲】
【請求項1】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像同士が接触しているか否かを判定し、接触判定時に、平面上における実オブジェクト画像の向きを認識する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、
条件判定部により平面上における所定の向きで実オブジェクト画像同士が接触したことが判定された場合に、接触したと判定された少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項2】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとの対応関係を複数記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
を備え、
前記読出部は、条件判定部により所定の条件が満たされたことが判定された場合に、格納部における別の対応関係を参照して、識別情報をもとに3次元画像データを読み出すことを特徴とする画像処理装置。
【請求項3】
条件判定部により所定の条件が満たされたことが判定された場合に、前記表示制御部は、1つの実オブジェクト画像の識別情報に対応する仮想オブジェクトの平面上における向きを、他の実オブジェクト画像の識別情報に対応する仮想オブジェクトの位置に応じて変化させることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
実オブジェクト画像の移動ベクトルから、条件判定部が、所定の課題が達成されたか否かを判定することを特徴とする請求項2に記載の画像処理装置。
【請求項5】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行う表示制御部と、
を備え、
位置関係検出部により検出される実オブジェクト画像間の位置関係が第1の状態から第2の状態に移行するとき、表示制御部は、それぞれの実オブジェクト画像の識別情報に対応する仮想オブジェクト間において、仮想オブジェクト同士間を結ぶ仮想オブジェクトを伸ばし又は縮めて表示する表示パターンを決定することを特徴とする画像処理装置。
【請求項6】
ゲーム進行が複数のステージから構成される場合に、1つの実オブジェクトを識別するための識別情報に、ステージごとに異なるゲームキャラクタの3次元画像データを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出する位置関係検出部と、
少なくとも2つの実オブジェクト画像について検出した位置関係が所定の条件を満たすか否かを判定する条件判定部と、
フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの3次元画像データを格納部から読み出す読出部と、
条件判定部により所定の条件が満たされたことが判定された場合に、条件を満たす少なくとも2つの実オブジェクト画像の識別情報に基づいて、ゲームキャラクタの表示パターンを決定し、読み出された複数の3次元画像データを用いて、決定した表示パターンによりゲームキャラクタの表示処理を行う表示制御部と、
を備えることを特徴とするゲーム装置。
【請求項7】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出するステップと、
少なくとも2つの実オブジェクト画像同士が接触しているか否かを判定し、接触判定時に、平面上における実オブジェクト画像の向きを認識するステップと、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出すステップと、
平面上における所定の向きで実オブジェクト画像が同士が接触したことが判定された場合に、接触したと判定された少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定するステップと、
格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行うステップと、
を備えることを特徴とする画像処理方法。
【請求項8】
コンピュータに、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の位置関係を検出させる機能と、
少なくとも2つの実オブジェクト画像同士が接触しているか否かを判定し、接触判定時に、平面上における実オブジェクト画像の向きを認識させる機能と、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの3次元画像データとを対応付けて記憶する格納部から、フレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの3次元画像データを読み出させる機能と、
平面上における所定の向きで実オブジェクト画像が同士が接触したことが判定された場合に、接触したと判定された少なくとも2つの実オブジェクト画像の識別情報に基づいて仮想オブジェクトの表示パターンを決定させる機能と、
格納部から読み出した複数の3次元画像データを用いて、決定した表示パターンにより仮想オブジェクトの表示処理を行わせる機能と、
を実現させるためのプログラム。
【請求項9】
請求項8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2006−72668(P2006−72668A)
【公開日】平成18年3月16日(2006.3.16)
【国際特許分類】
【出願番号】特願2004−254887(P2004−254887)
【出願日】平成16年9月1日(2004.9.1)
【出願人】(395015319)株式会社ソニー・コンピュータエンタテインメント (871)
【Fターム(参考)】
【公開日】平成18年3月16日(2006.3.16)
【国際特許分類】
【出願日】平成16年9月1日(2004.9.1)
【出願人】(395015319)株式会社ソニー・コンピュータエンタテインメント (871)
【Fターム(参考)】
[ Back to top ]