画像処理装置、ゲーム装置および画像処理方法
【課題】 実オブジェクトと仮想オブジェクトとを関連付けて表示させる画像処理技術を提供する。
【解決手段】 本発明の画像処理装置は、仮想オブジェクト同士が重なって表示される場合に、重なりによる不可視部分を少なくするように、仮想オブジェクトの表示を制御する。重畳判定部１０８が、表示する仮想オブジェクト同士が重畳するか否かを判定する。重畳が生じている場合、表示制御部１２０が、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくする。
【解決手段】 本発明の画像処理装置は、仮想オブジェクト同士が重なって表示される場合に、重なりによる不可視部分を少なくするように、仮想オブジェクトの表示を制御する。重畳判定部１０８が、表示する仮想オブジェクト同士が重畳するか否かを判定する。重畳が生じている場合、表示制御部１２０が、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術に関する。
【背景技術】
【０００２】
近年、２次元コードをカメラで撮像して認識し、２次元コードのパターンに基づいた所定の処理を実行する技術が普及している。そのような技術の１つとして、２次元バーコードをビデオカメラで撮像して、２次元バーコードに対応する３次元画像を表示装置に表示させる画像処理技術が提案されている（例えば、特許文献１参照）。特許文献１では、撮像した２次元バーコードの座標およびＣＣＤビデオカメラの焦点距離をもとに、３次元オブジェクトを表示する空間上の座標を決定し、２次元バーコードに３次元オブジェクトを重畳させて表示する。
【特許文献１】特開２０００−３２２６０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に開示された技術は、実世界のオブジェクトと仮想のオブジェクトとを組み合わせて表示させることで、優れた視覚効果を実現可能とする。しかしながら、特許文献１は、１つの２次元バーコードに対応付けて仮想オブジェクトを表示する技術を開示するのみであり、複数の２次元バーコードが存在するときの仮想オブジェクトの表示処理について意識するものではない。本発明者は、複数の２次元バーコードなどの実オブジェクトが実空間に存在するときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。
【０００４】
本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、ゲームなどの分野において、複数の仮想オブジェクトが存在するときに仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様は、画像処理装置に関する。この態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定する重畳判定部とを備える。表示制御部は、重畳判定部により仮想オブジェクト同士が重畳することが判定された場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくする。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間においてデータで表現されるものを意味する。
【０００６】
この画像処理装置によると、画面奥側に存在して不可視部分をもつ仮想オブジェクトまたは画面手前側に存在して不可視部分を形成する仮想オブジェクトの表示態様を調整することで、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることができる。
【０００７】
本発明の別の態様は、画像処理装置に関する。この態様の画像処理装置は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、仮想オブジェクトの３次元画像データを記憶する第１格納部と、仮想オブジェクトを表示する優先順位を記憶する第２格納部と、第２格納部に記憶された優先順位に基づいて、実オブジェクト画像と仮想オブジェクトとを対応付ける仮想オブジェクト割当部と、３次元画像データを用いて、複数の仮想オブジェクトを、仮想オブジェクト割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部とを備える。
【０００８】
この画像処理装置によると、実オブジェクト画像と仮想オブジェクトとを、表示の優先順位に基づいて対応付けるため、例えば、優先順位の高い仮想オブジェクトが、優先順位の低い仮想オブジェクトに隠れて見えなくなる事態を回避することができる。
【０００９】
本発明のさらに別の態様は、ゲーム装置に関する。この態様のゲーム装置は、実オブジェクトを識別するための識別情報と、ゲームキャラクタの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、ゲームキャラクタを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、表示装置に表示するゲームキャラクタ同士が重畳するか否かを判定する重畳判定部とを備える。表示制御部は、重畳判定部によりゲームキャラクタ同士が重畳することが判定された場合に、ゲームキャラクタの表示態様を調整することにより、ゲームキャラクタ同士が重畳することにより生じるゲームキャラクタの不可視部分を少なくする。
【００１０】
このゲーム装置によると、画面奥側に存在して不可視部分をもつゲームキャラクタまたは画面手前側に存在して不可視部分を形成するゲームキャラクタの表示態様を調整することで、画面奥側に存在するゲームキャラクタの不可視部分を少なくすることができる。
【００１１】
本発明のさらに別の態様は、ゲーム装置に関する。この態様のゲーム装置は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、ゲームキャラクタの３次元画像データを記憶する第１格納部と、ゲームキャラクタを表示する優先順位を記憶する第２格納部と、第２格納部に記憶された優先順位に基づいて、実オブジェクト画像とゲームキャラクタとを対応付けるゲームキャラクタ割当部と、３次元画像データを用いて、複数のゲームキャラクタを、ゲームキャラクタ割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部とを備える。
【００１２】
このゲーム装置によると、実オブジェクト画像とゲームキャラクタとを、表示の優先順位に基づいて対応付けるため、例えば、優先順位の高いゲームキャラクタが、優先順位の低いゲームキャラクタに隠れて見えなくなる事態を回避することができる。
【００１３】
本発明のさらに別の態様は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出すステップと、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定するステップと、仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくするステップとを備える画像処理方法を提供する。
【００１４】
本発明のさらに別の態様は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得するステップと、仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出すステップと、読み出した優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けるステップと、複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させるステップとを備える画像処理方法を提供する。
【００１５】
本発明のさらに別の態様は、コンピュータに、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出させる機能と、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定させる機能と、仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくさせる機能とを実現させるためのプログラムを提供する。
【００１６】
本発明のさらに別の態様は、コンピュータに、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得させる機能と、仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出させる機能と、読み出させた優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けさせる機能と、複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる機能と、を実現させるためのプログラムを提供する。
【００１７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１８】
本発明によると、複数の仮想オブジェクトが存在するときに、仮想オブジェクトの表示態様を制御する技術を提供することができる。
【発明を実施するための最良の形態】
【００１９】
本発明は、撮像装置により撮像された複数の実オブジェクト画像に関連付けて、複数の仮想オブジェクトを表示させる技術を提供する。実オブジェクトは、実在する１次元オブジェクト、２次元オブジェクトまたは３次元オブジェクトのいずれであってもよく、実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、２次元で表現されたコード情報を特徴部分として有するカードなどの２次元オブジェクトであってもよく、またユニークな立体形状を特徴部分として有する３次元オブジェクトであってもよい。なお、２次元オブジェクトの２次元形状がユニークな特徴部分を構成してもよく、また３次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において３次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す実施例は、ゲームアプリケーションにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。
【００２０】
図１は、本発明の実施例にかかるゲームシステム１の構成を示す。ゲームシステム１は、撮像装置２、画像処理装置１０および出力装置６を備える。画像処理装置１０は、画像解析装置２０およびゲーム装置３０を備える。画像解析装置２０およびゲーム装置３０は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置２は、ＣＣＤ撮像素子またはＭＯＳ撮像素子などから構成されるビデオカメラである。撮像装置２は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域５は撮像装置２により撮像される範囲であり、撮像装置２の高さや向きを調整することで、撮像領域５の位置や大きさが調整される。ゲームプレイヤは、撮像領域５において、実オブジェクトであるゲームカード４を指で動かす。ゲームカード４は、自身を一意に識別するための特徴部分を有して構成される。
【００２１】
出力装置６は、表示装置であるディスプレイ７を有する。出力装置６は、さらにスピーカ（図示せず）を有して構成されてもよい。画像処理装置１０は、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させ、その際に、ゲームカード４上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。図１の例では、撮像領域５に２枚のゲームカード４が存在し、ディスプレイ７には、それぞれのゲームカード４上にキャラクタが重畳表示されている。プレイヤは、ディスプレイ７を見ることで、ゲームカード４が撮像領域５に入っているか容易に確認でき、入っていない場合には、ゲームカード４の位置をずらしたり、また撮像装置２の向きを調整して、撮像装置２にゲームカード４を撮像させるようにする。
【００２２】
実施例のゲームアプリケーションでは、プレイヤがゲームカード４に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード４とキャラクタとの一体性を認識させることが好ましく、そのため、キャラクタの画像を、ゲームカード４に重ね合わせて表示させている。
【００２３】
以上のキャラクタの動きは、画像処理装置１０により制御される。まず、画像解析装置２０は、撮像装置２において取得されたフレーム画像から、ゲームカード４の画像情報を抽出する。さらに、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４の空間における位置情報、方向情報、距離情報などを決定する。
【００２４】
図２は、ゲームカード４の表面の一例を示す。ゲームカード４の表面には、方向指示部１１と識別部１２とが印刷されている。方向指示部１１は、ゲームカード４の前部を示すために設けられ、識別部１２は、ゲームカード４を一意に識別するための特徴部分を表現するために設けられる。識別部１２は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、４角のブロックは複数のゲームカード４に共通して付与され、実質的には４角以外のブロックにより、特徴部分が形成される。４角のブロックは、撮像装置２からの距離を測定するために利用される。
【００２５】
図１に戻って、画像解析装置２０は、フレーム画像中のゲームカード４を認識すると、ゲームカード４の画像における４角のブロック間の長さをもとに、撮像装置２とゲームカード４との距離を計算して求める。また、画像解析装置２０は、ゲームカード４の方向指示部１１を検出して、フレーム画像においてゲームカード４が向いている方向を求める。この場合、方向指示部１１が存在する方向が前方となり、キャラクタは、ゲームカード４上にて前方を向くように表示制御される。さらに、画像解析装置２０は、識別部１２の４角以外のブロックから、ゲームカード４の識別情報を取得する。
【００２６】
画像解析装置２０において画像解析された結果は、ゲーム装置３０に送られる。なお、撮像装置２において撮像されたフレーム画像が、ゲーム装置３０に送られて、ゲーム装置３０側で画像解析を行ってもよい。この場合、画像処理装置１０は、ゲーム装置３０のみで構成されることになる。
【００２７】
ゲーム装置３０は、画像解析装置２０における画像解析結果をもとに、ディスプレイ７の表示画面上で、キャラクタをゲームカード４の上に位置するように表示制御する。キャラクタは、ゲームカード４に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わることになる。
【００２８】
図３は、画像解析装置２０の構成を示す。画像解析装置２０は、フレーム画像取得部４０、実オブジェクト抽出部４２、状態決定部４４、識別情報取得部４６、識別情報格納部４８および送出部５０を備える。識別情報格納部４８は、実オブジェクトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図２におけるゲームカード４の識別部１２のパターン情報と、識別情報とを１対１に対応付けて記憶している。例えば、５枚のゲームカード４の同時使用を許可するゲームシステム１の場合、それぞれのゲームカード４に対して、１から５までの識別情報がそれぞれ割り当てられていてもよい。複数のゲームカード４のそれぞれを識別情報と紐付けすることで、個々のゲームカード４が認識可能となる。状態決定部４４は、設定した座標系における実オブジェクトの状態を決定し、具体的には、ゲームカード４の位置を決定する位置決定部５２、方向を決定する方向決定部５４および撮像装置２からの焦点距離を決定する距離決定部５６を有する。
【００２９】
フレーム画像取得部４０が、撮像装置２にて撮像された実空間のフレーム画像を取得する。ここでは、図１に示すように、撮像領域５に複数枚のゲームカード４が配置されている状態を想定する。撮像装置２は、周期的にフレーム画像を取得し、好適には１／６０秒間隔でフレーム画像を生成する。
【００３０】
実オブジェクト抽出部４２は、フレーム画像から複数の実オブジェクト画像、すなわちゲームカード４の画像を抽出する。この処理は、画像情報を２進数のビット表現に変換し、このビット表現からゲームカード４の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実オブジェクト抽出部４２は、マッチング処理のために、使用する実オブジェクトの画像情報をメモリ（図示せず）に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、複数のゲームカード４の画像をフレーム画像から切り出すことができる。
【００３１】
状態決定部４４は、ゲームカード４を置いて動かすための台３のジオメトリ情報を予め検出しておき、さらに台３の表面を基準面として、その基準面上にゲームカード４を載せた姿勢のジオメトリ情報をゲームカード４の姿勢の初期状態として記録しておく。このジオメトリ情報は、撮像装置２を基準として生成されてもよい。状態決定部４４は、台３に関して取得したジオメトリ情報から、台３の位置、姿勢などを撮像空間における座標データとして把握しておく。位置決定部５２は、実オブジェクト画像の位置を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標を定める。なお、位置決定部５２は、ゲームカード４の位置に加えて、ゲームカード４の基準面に対するゲームカード４の傾きおよび高さを、初期状態として記録したゲームカード４の姿勢からの相対的な状態量の差分、すなわち撮像空間における座標値の差分として求めてもよい。方向決定部５４は、実オブジェクト画像の方向を定める。方向決定部５４は、実オブジェクト画像の中から図２に示す方向指示部１１を検出して、実オブジェクトの向きを定めてもよい。距離決定部５６は、ゲームカード４の画像における識別部１２の４角間の長さをもとに、撮像装置２とゲームカード４との距離を決定する。識別情報取得部４６は、実オブジェクト画像から特徴部分を抽出して、識別情報格納部４８から対応する識別情報を取得する。
【００３２】
状態決定部４４において決定された位置情報、方向情報、距離情報、および識別情報取得部４６において取得された識別情報は、それぞれ関連付けされて送出部５０からゲーム装置３０に送られる。なお、この関連付けは、それぞれのゲームカード４ごとに行われる。また、本実施例では、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させるため、フレーム画像自体も送出部５０からゲーム装置３０に送られる。
【００３３】
（実施例１）
図４は、ゲーム装置３０の構成を示す。ゲーム装置３０は、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、キャラクタ格納部１０６、重畳判定部１０８、優先順位格納部１１０および表示制御部１２０を備える。
【００３４】
実施例１におけるゲーム装置３０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置３０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置３０のＣＰＵが、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、重畳判定部１０８、表示制御部１２０としての機能をもつ。
【００３５】
解析情報取得部１００は、画像解析装置２０から、解析結果を受け取る。この解析結果は、実オブジェクトであるゲームカード４の位置情報、方向情報、距離情報、識別情報を含む。解析情報取得部１００は、受け取った解析結果をゲーム進行処理部１０２に渡す。なお、解析情報取得部１００は、撮像装置２からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置３０が、画像解析装置２０における機能を有して、画像解析装置２０に関して説明した処理と同様の処理を実行すればよい。
【００３６】
ゲーム進行処理部１０２は、ゲームアプリケーション全体の処理を制御する。本実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージから構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部１０２は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部１０４に、次に開始されるゲームステージ名と、解析情報取得部１００から送られてきた識別情報を伝える。キャラクタ格納部１０６は、ゲームステージごとに、ゲームカード４の識別情報とキャラクタの３次元画像データとを対応付けて記憶する。
【００３７】
キャラクタ決定部１０４は、ゲームステージ名と複数の識別情報をもとに、複数の識別情報に対応付けられた複数のキャラクタの３次元画像データをキャラクタ格納部１０６から読み出し、ゲーム進行処理部１０２に供給する。なお、読み出した３次元画像データは、表示制御部１２０に直接供給されてもよい。ゲーム進行処理部１０２は表示制御部１２０に、３次元画像データと、ゲームカード４の位置情報、方向情報、距離情報を供給する。表示制御部１２０は、３次元画像データを用いて、キャラクタをゲームカード画像の表示位置に関連付けてディスプレイ７に表示させる。このとき、キャラクタは、ゲームカード画像の表示範囲内に表示される。なお、表示範囲内に表示するとは、キャラクタの最下部がゲームカード画像上に位置していることを意味する。
【００３８】
具体的に、表示制御部１２０は、画像解析装置２０から送られるフレーム画像を受け取り、ディスプレイ７に表示させる。また、表示制御部１２０は、ゲームカード画像の位置情報、方向情報、距離情報をもとにゲームカード画像の位置、向き、距離を認識し、３次元画像データを用いてディスプレイ７に表示するキャラクタの位置、向き、および大きさを決定する。表示制御部１２０は、通常の表示態様では、ゲームカード画像の中心点近傍に位置するように、キャラクタの表示位置を定める。
【００３９】
プレイヤがゲームカード４を動かすと、フレーム画像の解析結果が画像解析装置２０から解析情報取得部１００に逐次送られる。表示制御部１２０は、ゲーム進行処理部１０２からキャラクタの３次元画像データと、ゲームカード４の位置情報、方向情報、距離情報を受け取り、ディスプレイ７におけるゲームカード画像の表示位置にキャラクタの画像が重なるように、キャラクタをゲームカード画像の動きに追従させる。これにより、ディスプレイ７では、キャラクタがゲームカード画像に常に乗っている表示態様となり、キャラクタとゲームカード４との一体感をプレイヤに認識させることができる。
【００４０】
図５は、キャラクタ同士が重なって表示される例を示す。ここでは、画面手前側に存在するゲームカード４ａのキャラクタ２００ａと、画面奥側に存在するゲームカード４ｂのキャラクタ２００ｂとが重畳して示される。キャラクタ２００ａは「高い建物」であり、「人」であるキャラクタ２００ｂは、キャラクタ２００ａの背後に存在するため、ほとんど見えない状態となっている。ゲームアプリケーションにおいて、主人公となるキャラクタは、建物などのキャラクタと比して小さく表示されることが多いため、実オブジェクト画像に関連付けてキャラクタを通常の表示位置でそのまま表示した場合には、図５に示すように、キャラクタが隠れてしまい、殆ど又は完全に不可視の状態になることもある。
【００４１】
そこで実施例１では、画像の表示前に、キャラクタ同士の重なりを予め判定し、手前の仮想オブジェクトの背後にいるキャラクタが見えなくなるような場合には、画面の手前側または奥側のキャラクタの表示態様を調整する。これにより、背後のキャラクタの不可視部分を少なくして、円滑なゲーム進行を実現させる。そのため実施例１では、重畳判定部１０８が、ディスプレイ７に表示するキャラクタ同士が重畳するか否かを判定する。
【００４２】
ゲーム進行処理部１０２は、キャラクタ決定部１０４により決定された複数のキャラクタの３次元画像データを受け取ると、３次元画像データ、位置情報、方向情報および距離情報をキャラクタごとに対応付けて、重畳判定部１０８に送る。重畳判定部１０８は、これらの情報をもとに複数のゲームカードを空間に配置して、それぞれの中心点に対応するキャラクタを配置する。重畳判定部１０８は、所定のカメラ視点から見た画像において、キャラクタ同士が重畳するか否かを判定する。例えば、カメラ視点から各キャラクタに線分を引いた場合に、線分が途中で他のキャラクタを通過するときには、そのキャラクタの手前に他のキャラクタが存在することが認識され、ディスプレイ７中で不可視部分が生じることが分かる。重畳判定部１０８は、重畳するキャラクタ名をゲーム進行処理部１０２に通知し、ゲーム進行処理部１０２は、キャラクタ同士が重なっていることを示す情報と、そのキャラクタ名を表示制御部１２０に伝える。表示制御部１２０は、重畳判定部１０８によりキャラクタ同士が重畳することが判定された場合に、キャラクタの表示態様を調整することにより、キャラクタ同士が重畳することにより生じるキャラクタの不可視部分を少なくする。
【００４３】
表示制御部１２０は、ゲームカード画像の表示範囲内でキャラクタの表示位置を調整する。通常の表示状態では、キャラクタがゲームカード４の中心点を基準位置としてバランスを考慮して表示されているが、ゲームカード４内の所望の位置にキャラクタの表示位置を動かすことで、画面奥側に位置するキャラクタの不可視部分を少なくすることができる。なお、キャラクタの最下部は、必ずゲームカード画像上に配置されるようにする。このように、ゲームカード画像の表示範囲内にキャラクタの表示位置を限定することで、ゲームカード４とキャラクタとの関係を維持することができる。
【００４４】
図６（ａ）は、キャラクタ２００ｂをゲームカード４ｂの左側に動かした例を示す。表示制御部１２０は、重畳するキャラクタのうち、画面奥側に存在するキャラクタ２００ｂの表示位置を調整して、キャラクタ２００ｂの不可視部分を少なくする。図示のように、表示制御部１２０がキャラクタ２００ｂの位置を調整することで、キャラクタ２００ｂの可視部分は多くなり、プレイヤは、キャラクタ２００ｂを視認して、ゲームを円滑に進行させることができる。
【００４５】
図６（ｂ）は、キャラクタ２００ｂをゲームカード４ｂの左側に動かすとともに、キャラクタ２００ａをゲームカード４ａの右側に動かした例を示す。表示制御部１２０は、重畳するキャラクタのうち、画面手前側に存在するキャラクタ２００ａの表示位置を調整して、画面奥側に存在するキャラクタ２００ｂの不可視部分を少なくしてもよい。図６（ａ）と比較すると、キャラクタ２００ａを右側に動かすことで、キャラクタ２００ｂの可視部分はさらに多くなり、プレイヤは、キャラクタ２００ｂの全表示を視認して、ゲームを一層円滑に進行させることができる。
【００４６】
図７は、画面手前側に存在するキャラクタ２００ａを半透明にした状態を示す。表示制御部１２０は、画面手前側に存在するキャラクタ２００ａの少なくとも一部分を、非表示または半透明の表示態様とすることで、画面奥側に存在するキャラクタ２００ｂの不可視部分を少なくしてもよい。これにより、キャラクタの位置を変更することなく、キャラクタ２００ａの全体を視認可能な状態にすることができる。
【００４７】
図８は、キャラクタ同士が重なって表示される別の例を示す。この例では、キャラクタ２００ｂがキャラクタ２００ａに重なっている。これにより、建物の一部分が見えなくなっているが、表示制御部１２０は、キャラクタ２００ａの不可視部分につき、上記した表示制御は実行しない。
【００４８】
複数のキャラクタには、表示の優先順位が予め設定されていることが好ましい。優先順位格納部１１０は、キャラクタを表示する優先順位を記憶する。「人」と「高い建物」のキャラクタに対しては、「人」の方が表示の優先順位を高く設定される。この優先順位を参照して、表示制御部１２０は、優先順位の高いキャラクタが優先順位の低いキャラクタの背後に位置した場合に、優先順位の高いキャラクタの不可視部分を少なくするようにキャラクタの表示態様を調整する。一方で、表示制御部１２０は、優先順位の低いキャラクタが優先順位の高いキャラクタの背後に位置した場合には、表示態様の調整を行わない。このような優先順位を設定することで、ゲーム進行上、重要なキャラクタについては、ゲームカード画像の位置にかかわらず、プレイヤが視認できるように表示制御することが可能となる。
【００４９】
（実施例２）
図９は、ゲーム装置３０の別の構成を示す。ゲーム装置３０は、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ割当部２０１、キャラクタ格納部２０２、優先順位格納部２０４、および表示制御部１２０を備える。
【００５０】
実施例２におけるゲーム装置３０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置３０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置３０のＣＰＵが、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ割当部２０１、表示制御部１２０としての機能をもつ。解析情報取得部１００およびゲーム進行処理部１０２は、実施例１に関連して説明したものと同様の処理を実行する。
【００５１】
ゲーム進行処理部１０２は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ割当部２０１に、次に開始されるゲームステージ名と、解析情報取得部１００から送られてきた位置情報、方向情報、距離情報、識別情報を伝える。キャラクタ格納部２０２は、ゲームステージごとに、キャラクタの３次元画像データを記憶する。優先順位格納部２０４は、ゲームステージごとに、キャラクタを表示する優先順位を記憶する。優先順位は、ゲーム進行において重要なキャラクタほど高く設定される。
【００５２】
キャラクタ割当部２０１は、優先順位格納部２０４に記憶された優先順位を読み出し、読み出した優先順位に基づいて、ゲームカード画像とキャラクタとを対応付ける。具体的に、キャラクタ割当部２０１は、優先順位の高いキャラクタが、優先順位の低いキャラクタと重なって不可視部分をもたないように、複数のキャラクタを複数のゲームカード画像に対応付ける。この対応付け処理を行うために、キャラクタ割当部２０１は、複数のゲームカード画像の表示位置に基づいて、ゲームカード画像とキャラクタとを対応付ける。
【００５３】
図１０は、２枚のゲームカードが配置された状態を示す。ゲームカード４ａは、ゲームカード４ｂの手前に表示される。そのため、ゲームカード４ｂに配置されるキャラクタは、ゲームカード４ａに配置される別のキャラクタにより不可視部分を形成されるおそれがある。
【００５４】
そこで、キャラクタ割当部２０１は、優先順位の高いキャラクタをゲームカード４ａに対応付け、優先順位の低いキャラクタをゲームカード４ｂに対応付ける。これにより、優先順位の高いキャラクタは、優先順位の低いキャラクタにより隠されない。なお、優先順位の高低は、相対的に定められる。
【００５５】
キャラクタ割当部２０１は、優先順位の高い順に、キャラクタを画面手前側から配置される実オブジェクト画像から順に対応付けてもよい。すなわち、複数のキャラクタを、優先順位の高い順に画面手前から奥に向かって配置する。キャラクタは、相対的に奥側の位置するキャラクタによって不可視部分を形成されることはない。このような対応付けを行うことで、キャラクタの配置時には、優先順位の高いキャラクタが、優先順位の低いキャラクタにより隠されない状況を作り出すことができる。
【００５６】
図１１は、図１０の２枚のゲームカードに対して、ゲームカード４ａにキャラクタ「人」を、ゲームカード４ｂに「高い建物」をそれぞれ対応付けた状態を示す。優先順位格納部２０４において、「人」と「高い建物」の優先順位は、「人」の方が高く設定されている。「人」を手前のゲームカード４ａに関連付けて表示することで、ゲーム中で重要な役割を担う「人」を、「高い建物」に隠されることなく、ディスプレイ７に表示することができる。
【００５７】
キャラクタ割当部２０１は、キャラクタとゲームカード画像とを対応付けた後は、その対応関係を維持することが好ましい。キャラクタの割当を頻繁に実行すると、操作中のキャラクタが入れ替わることになるため、一度決定した対応付けは、原則としてそのゲームステージ中は維持する。なお、優先度の高いキャラクタが所定時間不可視の状態におかれるような特段の事情があるときは、キャラクタとゲームカード画像との対応付け処理を再実行するようにしてもよい。この対応付け処理を例外的に実行させることで、プレイヤが、重要なキャラクタをどうしても見つけることができない事態を解決することができる。
【００５８】
なお、優先順位に基づいてキャラクタをゲームカード画像に割り当てることで、以下のメリットもある。例えば、ゲームステージにおいて、５つのキャラクタが用意されている場合に、本来であれば５枚のゲームカード４が撮像領域５に存在している必要があるが、１枚を紛失して４枚しかない状況も起こりうる。キャラクタとゲームカードとの対応が予め定められている場合、紛失したゲームカード４が重要なキャラクタに割り当てられていない場合は問題ないが、重要なキャラクタに割り当てられている場合には、ゲームの進行そのものが停止することになる。
【００５９】
優先順位に基づいてキャラクタをゲームカード画像に動的に割り当てると、１番から４番までの優先順位のキャラクタがゲームカード画像に割り当てられ、優先順位の最も低いキャラクタがゲームカード画像に割り当てられないことになる。そのため、優先順位の最も低いキャラクタによる演出はなくなるものの、ゲームのメインストーリの進行を継続できることになるため、ゲームアプリケーションとして大きなメリットがある。特に、ゲームカード４は紛失しやすいことが想定されるため、キャラクタをゲームカード画像に動的に割り当てることは、紛失時の対応として非常に有効である。
【００６０】
なお、キャラクタ割当部２０１は、フレーム画像に含まれるゲームカード画像の数が少なくなったとき、優先順位に基づいて、ゲームカード画像の識別情報とキャラクタとの対応付け処理を再実行してもよい。ゲーム中にゲームカード４が紛失したり、また識別部１２の読み取りができなくなったような場合に、再度キャラクタとゲームカード画像とを対応付けることで、ゲーム進行を円滑に進めることが可能となる。
【００６１】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６２】
例えば、キャラクタ割当部２０１は、優先順位の高いキャラクタを、画面中心に位置するゲームカード４に対応付けてもよい。ゲームの進行上、画面中心にメインキャラクタを位置させることが都合のよい場合に、キャラクタ割当部２０１が、画面中心を基準としたキャラクタの割当てを行うことが好ましい。このとき、実施例２におけるゲーム装置３０は、実施例１における重畳判定部１０８を備えてもよい。重畳判定部１０８が、予めキャラクタ同士が重なり合わないことを判定した上で、キャラクタ割当部２０１が、優先順位の高いキャラクタを画面中心に位置するゲームカード４に対応付けてもよい。また、キャラクタ割当部２０１は、視点からの距離に応じてキャラクタをゲームカード４に割り当ててもよい。また、例えば２枚のゲームカード４が近接する場合に、ゲーム進行に重大な影響を及ぼす２つのキャラクタを、その２枚のゲームカード４に割り当て、ステージの開始とともに、それらのキャラクタ間で所定の共同動作を発生させるようにしてもよい。
【図面の簡単な説明】
【００６３】
【図１】実施例にかかるゲームシステムの構成を示す図である。
【図２】ゲームカードの表面の一例を示す図である。
【図３】画像解析装置の構成を示す図である。
【図４】ゲーム装置の構成を示す図である。
【図５】キャラクタ同士が重なって表示される例を示す図である。
【図６】キャラクタをゲームカード上で動かした例を示す図である。
【図７】画面手前側に存在するキャラクタを半透明にした状態を示す図である。
【図８】キャラクタ同士が重なって表示される別の例を示す図である。
【図９】ゲーム装置の別の構成を示す図である。
【図１０】２枚のゲームカードが配置された状態を示す図である。
【図１１】キャラクタをゲームカードに対応付けた状態を示す図である。
【符号の説明】
【００６４】
１・・・ゲームシステム、２・・・撮像装置、４・・・ゲームカード、５・・・撮像領域、７・・・ディスプレイ、１０・・・画像処理装置、２０・・・画像解析装置、３０・・・ゲーム装置、４０・・・フレーム画像取得部、４２・・・実オブジェクト抽出部、４４・・・状態決定部、４６・・・識別情報取得部、４８・・・識別情報格納部、５０・・・送出部、５２・・・位置決定部、５４・・・方向決定部、５６・・・距離決定部、１００・・・解析情報取得部、１０２・・・ゲーム進行処理部、１０４・・・キャラクタ決定部、１０６・・・キャラクタ格納部、１０８・・・重畳判定部、１１０・・・優先順位格納部、１２０・・・表示制御部、２０１・・・キャラクタ割当部、２０２・・・キャラクタ格納部、２０４・・・優先順位格納部。
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術に関する。
【背景技術】
【０００２】
近年、２次元コードをカメラで撮像して認識し、２次元コードのパターンに基づいた所定の処理を実行する技術が普及している。そのような技術の１つとして、２次元バーコードをビデオカメラで撮像して、２次元バーコードに対応する３次元画像を表示装置に表示させる画像処理技術が提案されている（例えば、特許文献１参照）。特許文献１では、撮像した２次元バーコードの座標およびＣＣＤビデオカメラの焦点距離をもとに、３次元オブジェクトを表示する空間上の座標を決定し、２次元バーコードに３次元オブジェクトを重畳させて表示する。
【特許文献１】特開２０００−３２２６０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に開示された技術は、実世界のオブジェクトと仮想のオブジェクトとを組み合わせて表示させることで、優れた視覚効果を実現可能とする。しかしながら、特許文献１は、１つの２次元バーコードに対応付けて仮想オブジェクトを表示する技術を開示するのみであり、複数の２次元バーコードが存在するときの仮想オブジェクトの表示処理について意識するものではない。本発明者は、複数の２次元バーコードなどの実オブジェクトが実空間に存在するときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。
【０００４】
本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、ゲームなどの分野において、複数の仮想オブジェクトが存在するときに仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様は、画像処理装置に関する。この態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定する重畳判定部とを備える。表示制御部は、重畳判定部により仮想オブジェクト同士が重畳することが判定された場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくする。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間においてデータで表現されるものを意味する。
【０００６】
この画像処理装置によると、画面奥側に存在して不可視部分をもつ仮想オブジェクトまたは画面手前側に存在して不可視部分を形成する仮想オブジェクトの表示態様を調整することで、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることができる。
【０００７】
本発明の別の態様は、画像処理装置に関する。この態様の画像処理装置は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、仮想オブジェクトの３次元画像データを記憶する第１格納部と、仮想オブジェクトを表示する優先順位を記憶する第２格納部と、第２格納部に記憶された優先順位に基づいて、実オブジェクト画像と仮想オブジェクトとを対応付ける仮想オブジェクト割当部と、３次元画像データを用いて、複数の仮想オブジェクトを、仮想オブジェクト割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部とを備える。
【０００８】
この画像処理装置によると、実オブジェクト画像と仮想オブジェクトとを、表示の優先順位に基づいて対応付けるため、例えば、優先順位の高い仮想オブジェクトが、優先順位の低い仮想オブジェクトに隠れて見えなくなる事態を回避することができる。
【０００９】
本発明のさらに別の態様は、ゲーム装置に関する。この態様のゲーム装置は、実オブジェクトを識別するための識別情報と、ゲームキャラクタの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、ゲームキャラクタを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、表示装置に表示するゲームキャラクタ同士が重畳するか否かを判定する重畳判定部とを備える。表示制御部は、重畳判定部によりゲームキャラクタ同士が重畳することが判定された場合に、ゲームキャラクタの表示態様を調整することにより、ゲームキャラクタ同士が重畳することにより生じるゲームキャラクタの不可視部分を少なくする。
【００１０】
このゲーム装置によると、画面奥側に存在して不可視部分をもつゲームキャラクタまたは画面手前側に存在して不可視部分を形成するゲームキャラクタの表示態様を調整することで、画面奥側に存在するゲームキャラクタの不可視部分を少なくすることができる。
【００１１】
本発明のさらに別の態様は、ゲーム装置に関する。この態様のゲーム装置は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、ゲームキャラクタの３次元画像データを記憶する第１格納部と、ゲームキャラクタを表示する優先順位を記憶する第２格納部と、第２格納部に記憶された優先順位に基づいて、実オブジェクト画像とゲームキャラクタとを対応付けるゲームキャラクタ割当部と、３次元画像データを用いて、複数のゲームキャラクタを、ゲームキャラクタ割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部とを備える。
【００１２】
このゲーム装置によると、実オブジェクト画像とゲームキャラクタとを、表示の優先順位に基づいて対応付けるため、例えば、優先順位の高いゲームキャラクタが、優先順位の低いゲームキャラクタに隠れて見えなくなる事態を回避することができる。
【００１３】
本発明のさらに別の態様は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出すステップと、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定するステップと、仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくするステップとを備える画像処理方法を提供する。
【００１４】
本発明のさらに別の態様は、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得するステップと、仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出すステップと、読み出した優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けるステップと、複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させるステップとを備える画像処理方法を提供する。
【００１５】
本発明のさらに別の態様は、コンピュータに、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出させる機能と、表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定させる機能と、仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくさせる機能とを実現させるためのプログラムを提供する。
【００１６】
本発明のさらに別の態様は、コンピュータに、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得させる機能と、仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出させる機能と、読み出させた優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けさせる機能と、複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる機能と、を実現させるためのプログラムを提供する。
【００１７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１８】
本発明によると、複数の仮想オブジェクトが存在するときに、仮想オブジェクトの表示態様を制御する技術を提供することができる。
【発明を実施するための最良の形態】
【００１９】
本発明は、撮像装置により撮像された複数の実オブジェクト画像に関連付けて、複数の仮想オブジェクトを表示させる技術を提供する。実オブジェクトは、実在する１次元オブジェクト、２次元オブジェクトまたは３次元オブジェクトのいずれであってもよく、実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、２次元で表現されたコード情報を特徴部分として有するカードなどの２次元オブジェクトであってもよく、またユニークな立体形状を特徴部分として有する３次元オブジェクトであってもよい。なお、２次元オブジェクトの２次元形状がユニークな特徴部分を構成してもよく、また３次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において３次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す実施例は、ゲームアプリケーションにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。
【００２０】
図１は、本発明の実施例にかかるゲームシステム１の構成を示す。ゲームシステム１は、撮像装置２、画像処理装置１０および出力装置６を備える。画像処理装置１０は、画像解析装置２０およびゲーム装置３０を備える。画像解析装置２０およびゲーム装置３０は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置２は、ＣＣＤ撮像素子またはＭＯＳ撮像素子などから構成されるビデオカメラである。撮像装置２は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域５は撮像装置２により撮像される範囲であり、撮像装置２の高さや向きを調整することで、撮像領域５の位置や大きさが調整される。ゲームプレイヤは、撮像領域５において、実オブジェクトであるゲームカード４を指で動かす。ゲームカード４は、自身を一意に識別するための特徴部分を有して構成される。
【００２１】
出力装置６は、表示装置であるディスプレイ７を有する。出力装置６は、さらにスピーカ（図示せず）を有して構成されてもよい。画像処理装置１０は、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させ、その際に、ゲームカード４上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。図１の例では、撮像領域５に２枚のゲームカード４が存在し、ディスプレイ７には、それぞれのゲームカード４上にキャラクタが重畳表示されている。プレイヤは、ディスプレイ７を見ることで、ゲームカード４が撮像領域５に入っているか容易に確認でき、入っていない場合には、ゲームカード４の位置をずらしたり、また撮像装置２の向きを調整して、撮像装置２にゲームカード４を撮像させるようにする。
【００２２】
実施例のゲームアプリケーションでは、プレイヤがゲームカード４に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード４とキャラクタとの一体性を認識させることが好ましく、そのため、キャラクタの画像を、ゲームカード４に重ね合わせて表示させている。
【００２３】
以上のキャラクタの動きは、画像処理装置１０により制御される。まず、画像解析装置２０は、撮像装置２において取得されたフレーム画像から、ゲームカード４の画像情報を抽出する。さらに、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４の空間における位置情報、方向情報、距離情報などを決定する。
【００２４】
図２は、ゲームカード４の表面の一例を示す。ゲームカード４の表面には、方向指示部１１と識別部１２とが印刷されている。方向指示部１１は、ゲームカード４の前部を示すために設けられ、識別部１２は、ゲームカード４を一意に識別するための特徴部分を表現するために設けられる。識別部１２は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、４角のブロックは複数のゲームカード４に共通して付与され、実質的には４角以外のブロックにより、特徴部分が形成される。４角のブロックは、撮像装置２からの距離を測定するために利用される。
【００２５】
図１に戻って、画像解析装置２０は、フレーム画像中のゲームカード４を認識すると、ゲームカード４の画像における４角のブロック間の長さをもとに、撮像装置２とゲームカード４との距離を計算して求める。また、画像解析装置２０は、ゲームカード４の方向指示部１１を検出して、フレーム画像においてゲームカード４が向いている方向を求める。この場合、方向指示部１１が存在する方向が前方となり、キャラクタは、ゲームカード４上にて前方を向くように表示制御される。さらに、画像解析装置２０は、識別部１２の４角以外のブロックから、ゲームカード４の識別情報を取得する。
【００２６】
画像解析装置２０において画像解析された結果は、ゲーム装置３０に送られる。なお、撮像装置２において撮像されたフレーム画像が、ゲーム装置３０に送られて、ゲーム装置３０側で画像解析を行ってもよい。この場合、画像処理装置１０は、ゲーム装置３０のみで構成されることになる。
【００２７】
ゲーム装置３０は、画像解析装置２０における画像解析結果をもとに、ディスプレイ７の表示画面上で、キャラクタをゲームカード４の上に位置するように表示制御する。キャラクタは、ゲームカード４に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わることになる。
【００２８】
図３は、画像解析装置２０の構成を示す。画像解析装置２０は、フレーム画像取得部４０、実オブジェクト抽出部４２、状態決定部４４、識別情報取得部４６、識別情報格納部４８および送出部５０を備える。識別情報格納部４８は、実オブジェクトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図２におけるゲームカード４の識別部１２のパターン情報と、識別情報とを１対１に対応付けて記憶している。例えば、５枚のゲームカード４の同時使用を許可するゲームシステム１の場合、それぞれのゲームカード４に対して、１から５までの識別情報がそれぞれ割り当てられていてもよい。複数のゲームカード４のそれぞれを識別情報と紐付けすることで、個々のゲームカード４が認識可能となる。状態決定部４４は、設定した座標系における実オブジェクトの状態を決定し、具体的には、ゲームカード４の位置を決定する位置決定部５２、方向を決定する方向決定部５４および撮像装置２からの焦点距離を決定する距離決定部５６を有する。
【００２９】
フレーム画像取得部４０が、撮像装置２にて撮像された実空間のフレーム画像を取得する。ここでは、図１に示すように、撮像領域５に複数枚のゲームカード４が配置されている状態を想定する。撮像装置２は、周期的にフレーム画像を取得し、好適には１／６０秒間隔でフレーム画像を生成する。
【００３０】
実オブジェクト抽出部４２は、フレーム画像から複数の実オブジェクト画像、すなわちゲームカード４の画像を抽出する。この処理は、画像情報を２進数のビット表現に変換し、このビット表現からゲームカード４の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実オブジェクト抽出部４２は、マッチング処理のために、使用する実オブジェクトの画像情報をメモリ（図示せず）に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、複数のゲームカード４の画像をフレーム画像から切り出すことができる。
【００３１】
状態決定部４４は、ゲームカード４を置いて動かすための台３のジオメトリ情報を予め検出しておき、さらに台３の表面を基準面として、その基準面上にゲームカード４を載せた姿勢のジオメトリ情報をゲームカード４の姿勢の初期状態として記録しておく。このジオメトリ情報は、撮像装置２を基準として生成されてもよい。状態決定部４４は、台３に関して取得したジオメトリ情報から、台３の位置、姿勢などを撮像空間における座標データとして把握しておく。位置決定部５２は、実オブジェクト画像の位置を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標を定める。なお、位置決定部５２は、ゲームカード４の位置に加えて、ゲームカード４の基準面に対するゲームカード４の傾きおよび高さを、初期状態として記録したゲームカード４の姿勢からの相対的な状態量の差分、すなわち撮像空間における座標値の差分として求めてもよい。方向決定部５４は、実オブジェクト画像の方向を定める。方向決定部５４は、実オブジェクト画像の中から図２に示す方向指示部１１を検出して、実オブジェクトの向きを定めてもよい。距離決定部５６は、ゲームカード４の画像における識別部１２の４角間の長さをもとに、撮像装置２とゲームカード４との距離を決定する。識別情報取得部４６は、実オブジェクト画像から特徴部分を抽出して、識別情報格納部４８から対応する識別情報を取得する。
【００３２】
状態決定部４４において決定された位置情報、方向情報、距離情報、および識別情報取得部４６において取得された識別情報は、それぞれ関連付けされて送出部５０からゲーム装置３０に送られる。なお、この関連付けは、それぞれのゲームカード４ごとに行われる。また、本実施例では、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させるため、フレーム画像自体も送出部５０からゲーム装置３０に送られる。
【００３３】
（実施例１）
図４は、ゲーム装置３０の構成を示す。ゲーム装置３０は、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、キャラクタ格納部１０６、重畳判定部１０８、優先順位格納部１１０および表示制御部１２０を備える。
【００３４】
実施例１におけるゲーム装置３０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置３０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置３０のＣＰＵが、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、重畳判定部１０８、表示制御部１２０としての機能をもつ。
【００３５】
解析情報取得部１００は、画像解析装置２０から、解析結果を受け取る。この解析結果は、実オブジェクトであるゲームカード４の位置情報、方向情報、距離情報、識別情報を含む。解析情報取得部１００は、受け取った解析結果をゲーム進行処理部１０２に渡す。なお、解析情報取得部１００は、撮像装置２からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置３０が、画像解析装置２０における機能を有して、画像解析装置２０に関して説明した処理と同様の処理を実行すればよい。
【００３６】
ゲーム進行処理部１０２は、ゲームアプリケーション全体の処理を制御する。本実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージから構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部１０２は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部１０４に、次に開始されるゲームステージ名と、解析情報取得部１００から送られてきた識別情報を伝える。キャラクタ格納部１０６は、ゲームステージごとに、ゲームカード４の識別情報とキャラクタの３次元画像データとを対応付けて記憶する。
【００３７】
キャラクタ決定部１０４は、ゲームステージ名と複数の識別情報をもとに、複数の識別情報に対応付けられた複数のキャラクタの３次元画像データをキャラクタ格納部１０６から読み出し、ゲーム進行処理部１０２に供給する。なお、読み出した３次元画像データは、表示制御部１２０に直接供給されてもよい。ゲーム進行処理部１０２は表示制御部１２０に、３次元画像データと、ゲームカード４の位置情報、方向情報、距離情報を供給する。表示制御部１２０は、３次元画像データを用いて、キャラクタをゲームカード画像の表示位置に関連付けてディスプレイ７に表示させる。このとき、キャラクタは、ゲームカード画像の表示範囲内に表示される。なお、表示範囲内に表示するとは、キャラクタの最下部がゲームカード画像上に位置していることを意味する。
【００３８】
具体的に、表示制御部１２０は、画像解析装置２０から送られるフレーム画像を受け取り、ディスプレイ７に表示させる。また、表示制御部１２０は、ゲームカード画像の位置情報、方向情報、距離情報をもとにゲームカード画像の位置、向き、距離を認識し、３次元画像データを用いてディスプレイ７に表示するキャラクタの位置、向き、および大きさを決定する。表示制御部１２０は、通常の表示態様では、ゲームカード画像の中心点近傍に位置するように、キャラクタの表示位置を定める。
【００３９】
プレイヤがゲームカード４を動かすと、フレーム画像の解析結果が画像解析装置２０から解析情報取得部１００に逐次送られる。表示制御部１２０は、ゲーム進行処理部１０２からキャラクタの３次元画像データと、ゲームカード４の位置情報、方向情報、距離情報を受け取り、ディスプレイ７におけるゲームカード画像の表示位置にキャラクタの画像が重なるように、キャラクタをゲームカード画像の動きに追従させる。これにより、ディスプレイ７では、キャラクタがゲームカード画像に常に乗っている表示態様となり、キャラクタとゲームカード４との一体感をプレイヤに認識させることができる。
【００４０】
図５は、キャラクタ同士が重なって表示される例を示す。ここでは、画面手前側に存在するゲームカード４ａのキャラクタ２００ａと、画面奥側に存在するゲームカード４ｂのキャラクタ２００ｂとが重畳して示される。キャラクタ２００ａは「高い建物」であり、「人」であるキャラクタ２００ｂは、キャラクタ２００ａの背後に存在するため、ほとんど見えない状態となっている。ゲームアプリケーションにおいて、主人公となるキャラクタは、建物などのキャラクタと比して小さく表示されることが多いため、実オブジェクト画像に関連付けてキャラクタを通常の表示位置でそのまま表示した場合には、図５に示すように、キャラクタが隠れてしまい、殆ど又は完全に不可視の状態になることもある。
【００４１】
そこで実施例１では、画像の表示前に、キャラクタ同士の重なりを予め判定し、手前の仮想オブジェクトの背後にいるキャラクタが見えなくなるような場合には、画面の手前側または奥側のキャラクタの表示態様を調整する。これにより、背後のキャラクタの不可視部分を少なくして、円滑なゲーム進行を実現させる。そのため実施例１では、重畳判定部１０８が、ディスプレイ７に表示するキャラクタ同士が重畳するか否かを判定する。
【００４２】
ゲーム進行処理部１０２は、キャラクタ決定部１０４により決定された複数のキャラクタの３次元画像データを受け取ると、３次元画像データ、位置情報、方向情報および距離情報をキャラクタごとに対応付けて、重畳判定部１０８に送る。重畳判定部１０８は、これらの情報をもとに複数のゲームカードを空間に配置して、それぞれの中心点に対応するキャラクタを配置する。重畳判定部１０８は、所定のカメラ視点から見た画像において、キャラクタ同士が重畳するか否かを判定する。例えば、カメラ視点から各キャラクタに線分を引いた場合に、線分が途中で他のキャラクタを通過するときには、そのキャラクタの手前に他のキャラクタが存在することが認識され、ディスプレイ７中で不可視部分が生じることが分かる。重畳判定部１０８は、重畳するキャラクタ名をゲーム進行処理部１０２に通知し、ゲーム進行処理部１０２は、キャラクタ同士が重なっていることを示す情報と、そのキャラクタ名を表示制御部１２０に伝える。表示制御部１２０は、重畳判定部１０８によりキャラクタ同士が重畳することが判定された場合に、キャラクタの表示態様を調整することにより、キャラクタ同士が重畳することにより生じるキャラクタの不可視部分を少なくする。
【００４３】
表示制御部１２０は、ゲームカード画像の表示範囲内でキャラクタの表示位置を調整する。通常の表示状態では、キャラクタがゲームカード４の中心点を基準位置としてバランスを考慮して表示されているが、ゲームカード４内の所望の位置にキャラクタの表示位置を動かすことで、画面奥側に位置するキャラクタの不可視部分を少なくすることができる。なお、キャラクタの最下部は、必ずゲームカード画像上に配置されるようにする。このように、ゲームカード画像の表示範囲内にキャラクタの表示位置を限定することで、ゲームカード４とキャラクタとの関係を維持することができる。
【００４４】
図６（ａ）は、キャラクタ２００ｂをゲームカード４ｂの左側に動かした例を示す。表示制御部１２０は、重畳するキャラクタのうち、画面奥側に存在するキャラクタ２００ｂの表示位置を調整して、キャラクタ２００ｂの不可視部分を少なくする。図示のように、表示制御部１２０がキャラクタ２００ｂの位置を調整することで、キャラクタ２００ｂの可視部分は多くなり、プレイヤは、キャラクタ２００ｂを視認して、ゲームを円滑に進行させることができる。
【００４５】
図６（ｂ）は、キャラクタ２００ｂをゲームカード４ｂの左側に動かすとともに、キャラクタ２００ａをゲームカード４ａの右側に動かした例を示す。表示制御部１２０は、重畳するキャラクタのうち、画面手前側に存在するキャラクタ２００ａの表示位置を調整して、画面奥側に存在するキャラクタ２００ｂの不可視部分を少なくしてもよい。図６（ａ）と比較すると、キャラクタ２００ａを右側に動かすことで、キャラクタ２００ｂの可視部分はさらに多くなり、プレイヤは、キャラクタ２００ｂの全表示を視認して、ゲームを一層円滑に進行させることができる。
【００４６】
図７は、画面手前側に存在するキャラクタ２００ａを半透明にした状態を示す。表示制御部１２０は、画面手前側に存在するキャラクタ２００ａの少なくとも一部分を、非表示または半透明の表示態様とすることで、画面奥側に存在するキャラクタ２００ｂの不可視部分を少なくしてもよい。これにより、キャラクタの位置を変更することなく、キャラクタ２００ａの全体を視認可能な状態にすることができる。
【００４７】
図８は、キャラクタ同士が重なって表示される別の例を示す。この例では、キャラクタ２００ｂがキャラクタ２００ａに重なっている。これにより、建物の一部分が見えなくなっているが、表示制御部１２０は、キャラクタ２００ａの不可視部分につき、上記した表示制御は実行しない。
【００４８】
複数のキャラクタには、表示の優先順位が予め設定されていることが好ましい。優先順位格納部１１０は、キャラクタを表示する優先順位を記憶する。「人」と「高い建物」のキャラクタに対しては、「人」の方が表示の優先順位を高く設定される。この優先順位を参照して、表示制御部１２０は、優先順位の高いキャラクタが優先順位の低いキャラクタの背後に位置した場合に、優先順位の高いキャラクタの不可視部分を少なくするようにキャラクタの表示態様を調整する。一方で、表示制御部１２０は、優先順位の低いキャラクタが優先順位の高いキャラクタの背後に位置した場合には、表示態様の調整を行わない。このような優先順位を設定することで、ゲーム進行上、重要なキャラクタについては、ゲームカード画像の位置にかかわらず、プレイヤが視認できるように表示制御することが可能となる。
【００４９】
（実施例２）
図９は、ゲーム装置３０の別の構成を示す。ゲーム装置３０は、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ割当部２０１、キャラクタ格納部２０２、優先順位格納部２０４、および表示制御部１２０を備える。
【００５０】
実施例２におけるゲーム装置３０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置３０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置３０のＣＰＵが、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ割当部２０１、表示制御部１２０としての機能をもつ。解析情報取得部１００およびゲーム進行処理部１０２は、実施例１に関連して説明したものと同様の処理を実行する。
【００５１】
ゲーム進行処理部１０２は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ割当部２０１に、次に開始されるゲームステージ名と、解析情報取得部１００から送られてきた位置情報、方向情報、距離情報、識別情報を伝える。キャラクタ格納部２０２は、ゲームステージごとに、キャラクタの３次元画像データを記憶する。優先順位格納部２０４は、ゲームステージごとに、キャラクタを表示する優先順位を記憶する。優先順位は、ゲーム進行において重要なキャラクタほど高く設定される。
【００５２】
キャラクタ割当部２０１は、優先順位格納部２０４に記憶された優先順位を読み出し、読み出した優先順位に基づいて、ゲームカード画像とキャラクタとを対応付ける。具体的に、キャラクタ割当部２０１は、優先順位の高いキャラクタが、優先順位の低いキャラクタと重なって不可視部分をもたないように、複数のキャラクタを複数のゲームカード画像に対応付ける。この対応付け処理を行うために、キャラクタ割当部２０１は、複数のゲームカード画像の表示位置に基づいて、ゲームカード画像とキャラクタとを対応付ける。
【００５３】
図１０は、２枚のゲームカードが配置された状態を示す。ゲームカード４ａは、ゲームカード４ｂの手前に表示される。そのため、ゲームカード４ｂに配置されるキャラクタは、ゲームカード４ａに配置される別のキャラクタにより不可視部分を形成されるおそれがある。
【００５４】
そこで、キャラクタ割当部２０１は、優先順位の高いキャラクタをゲームカード４ａに対応付け、優先順位の低いキャラクタをゲームカード４ｂに対応付ける。これにより、優先順位の高いキャラクタは、優先順位の低いキャラクタにより隠されない。なお、優先順位の高低は、相対的に定められる。
【００５５】
キャラクタ割当部２０１は、優先順位の高い順に、キャラクタを画面手前側から配置される実オブジェクト画像から順に対応付けてもよい。すなわち、複数のキャラクタを、優先順位の高い順に画面手前から奥に向かって配置する。キャラクタは、相対的に奥側の位置するキャラクタによって不可視部分を形成されることはない。このような対応付けを行うことで、キャラクタの配置時には、優先順位の高いキャラクタが、優先順位の低いキャラクタにより隠されない状況を作り出すことができる。
【００５６】
図１１は、図１０の２枚のゲームカードに対して、ゲームカード４ａにキャラクタ「人」を、ゲームカード４ｂに「高い建物」をそれぞれ対応付けた状態を示す。優先順位格納部２０４において、「人」と「高い建物」の優先順位は、「人」の方が高く設定されている。「人」を手前のゲームカード４ａに関連付けて表示することで、ゲーム中で重要な役割を担う「人」を、「高い建物」に隠されることなく、ディスプレイ７に表示することができる。
【００５７】
キャラクタ割当部２０１は、キャラクタとゲームカード画像とを対応付けた後は、その対応関係を維持することが好ましい。キャラクタの割当を頻繁に実行すると、操作中のキャラクタが入れ替わることになるため、一度決定した対応付けは、原則としてそのゲームステージ中は維持する。なお、優先度の高いキャラクタが所定時間不可視の状態におかれるような特段の事情があるときは、キャラクタとゲームカード画像との対応付け処理を再実行するようにしてもよい。この対応付け処理を例外的に実行させることで、プレイヤが、重要なキャラクタをどうしても見つけることができない事態を解決することができる。
【００５８】
なお、優先順位に基づいてキャラクタをゲームカード画像に割り当てることで、以下のメリットもある。例えば、ゲームステージにおいて、５つのキャラクタが用意されている場合に、本来であれば５枚のゲームカード４が撮像領域５に存在している必要があるが、１枚を紛失して４枚しかない状況も起こりうる。キャラクタとゲームカードとの対応が予め定められている場合、紛失したゲームカード４が重要なキャラクタに割り当てられていない場合は問題ないが、重要なキャラクタに割り当てられている場合には、ゲームの進行そのものが停止することになる。
【００５９】
優先順位に基づいてキャラクタをゲームカード画像に動的に割り当てると、１番から４番までの優先順位のキャラクタがゲームカード画像に割り当てられ、優先順位の最も低いキャラクタがゲームカード画像に割り当てられないことになる。そのため、優先順位の最も低いキャラクタによる演出はなくなるものの、ゲームのメインストーリの進行を継続できることになるため、ゲームアプリケーションとして大きなメリットがある。特に、ゲームカード４は紛失しやすいことが想定されるため、キャラクタをゲームカード画像に動的に割り当てることは、紛失時の対応として非常に有効である。
【００６０】
なお、キャラクタ割当部２０１は、フレーム画像に含まれるゲームカード画像の数が少なくなったとき、優先順位に基づいて、ゲームカード画像の識別情報とキャラクタとの対応付け処理を再実行してもよい。ゲーム中にゲームカード４が紛失したり、また識別部１２の読み取りができなくなったような場合に、再度キャラクタとゲームカード画像とを対応付けることで、ゲーム進行を円滑に進めることが可能となる。
【００６１】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６２】
例えば、キャラクタ割当部２０１は、優先順位の高いキャラクタを、画面中心に位置するゲームカード４に対応付けてもよい。ゲームの進行上、画面中心にメインキャラクタを位置させることが都合のよい場合に、キャラクタ割当部２０１が、画面中心を基準としたキャラクタの割当てを行うことが好ましい。このとき、実施例２におけるゲーム装置３０は、実施例１における重畳判定部１０８を備えてもよい。重畳判定部１０８が、予めキャラクタ同士が重なり合わないことを判定した上で、キャラクタ割当部２０１が、優先順位の高いキャラクタを画面中心に位置するゲームカード４に対応付けてもよい。また、キャラクタ割当部２０１は、視点からの距離に応じてキャラクタをゲームカード４に割り当ててもよい。また、例えば２枚のゲームカード４が近接する場合に、ゲーム進行に重大な影響を及ぼす２つのキャラクタを、その２枚のゲームカード４に割り当て、ステージの開始とともに、それらのキャラクタ間で所定の共同動作を発生させるようにしてもよい。
【図面の簡単な説明】
【００６３】
【図１】実施例にかかるゲームシステムの構成を示す図である。
【図２】ゲームカードの表面の一例を示す図である。
【図３】画像解析装置の構成を示す図である。
【図４】ゲーム装置の構成を示す図である。
【図５】キャラクタ同士が重なって表示される例を示す図である。
【図６】キャラクタをゲームカード上で動かした例を示す図である。
【図７】画面手前側に存在するキャラクタを半透明にした状態を示す図である。
【図８】キャラクタ同士が重なって表示される別の例を示す図である。
【図９】ゲーム装置の別の構成を示す図である。
【図１０】２枚のゲームカードが配置された状態を示す図である。
【図１１】キャラクタをゲームカードに対応付けた状態を示す図である。
【符号の説明】
【００６４】
１・・・ゲームシステム、２・・・撮像装置、４・・・ゲームカード、５・・・撮像領域、７・・・ディスプレイ、１０・・・画像処理装置、２０・・・画像解析装置、３０・・・ゲーム装置、４０・・・フレーム画像取得部、４２・・・実オブジェクト抽出部、４４・・・状態決定部、４６・・・識別情報取得部、４８・・・識別情報格納部、５０・・・送出部、５２・・・位置決定部、５４・・・方向決定部、５６・・・距離決定部、１００・・・解析情報取得部、１０２・・・ゲーム進行処理部、１０４・・・キャラクタ決定部、１０６・・・キャラクタ格納部、１０８・・・重畳判定部、１１０・・・優先順位格納部、１２０・・・表示制御部、２０１・・・キャラクタ割当部、２０２・・・キャラクタ格納部、２０４・・・優先順位格納部。
【特許請求の範囲】
【請求項１】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、
読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定する重畳判定部とを備え、
表示制御部は、重畳判定部により仮想オブジェクト同士が重畳することが判定された場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくすることを特徴とする画像処理装置。
【請求項２】
表示制御部は、実オブジェクト画像の表示範囲内で仮想オブジェクトの表示位置を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
表示制御部は、表示装置において重畳する仮想オブジェクトのうち、画面奥側に存在する仮想オブジェクトの表示位置を調整して、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
表示制御部は、表示装置において重畳する仮想オブジェクトのうち、画面手前側に存在する仮想オブジェクトの表示位置を調整して、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
表示制御部は、画面手前側に存在する仮想オブジェクトの少なくとも一部分を、非表示または半透明の表示態様とすることで、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、
仮想オブジェクトの３次元画像データを記憶する第１格納部と、
仮想オブジェクトを表示する優先順位を記憶する第２格納部と、
第２格納部に記憶された優先順位に基づいて、実オブジェクト画像と仮想オブジェクトとを対応付ける仮想オブジェクト割当部と、
３次元画像データを用いて、複数の仮想オブジェクトを、仮想オブジェクト割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項７】
仮想オブジェクト割当部は、複数の実オブジェクト画像の表示位置に基づいて、実オブジェクト画像と仮想オブジェクトとを対応付けることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
仮想オブジェクト割当部は、優先順位の高い仮想オブジェクトが優先順位の低い仮想オブジェクトと重なって不可視部分をもたないように、複数の仮想オブジェクトを複数の実オブジェクト画像に対応付けることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
仮想オブジェクト割当部は、優先順位の高い順に、仮想オブジェクトを画面手前側から配置される実オブジェクト画像に対応付けることを特徴とする請求項６から８のいずれかに記載の画像処理装置。
【請求項１０】
仮想オブジェクト割当部は、仮想オブジェクトと実オブジェクトとを対応付けた後は、その対応関係を維持することを特徴とする請求項６から９のいずれかに記載の画像処理装置。
【請求項１１】
仮想オブジェクト割当部は、フレーム画像に含まれる実オブジェクト画像の数が少なくなったとき、優先順位に基づいて、実オブジェクト画像と仮想オブジェクトとの対応付け処理を再実行することを特徴とする請求項６から９のいずれかに記載の画像処理装置。
【請求項１２】
実オブジェクトを識別するための識別情報と、ゲームキャラクタの３次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの３次元画像データを格納部から読み出す読出部と、
読み出された３次元画像データを用いて、ゲームキャラクタを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
表示装置に表示するゲームキャラクタ同士が重畳するか否かを判定する重畳判定部とを備え、
表示制御部は、重畳判定部によりゲームキャラクタ同士が重畳することが判定された場合に、ゲームキャラクタの表示態様を調整することにより、ゲームキャラクタ同士が重畳することにより生じるゲームキャラクタの不可視部分を少なくすることを特徴とするゲーム装置。
【請求項１３】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、
ゲームキャラクタの３次元画像データを記憶する第１格納部と、
ゲームキャラクタを表示する優先順位を記憶する第２格納部と、
第２格納部に記憶された優先順位に基づいて、実オブジェクト画像とゲームキャラクタとを対応付けるゲームキャラクタ割当部と、
３次元画像データを用いて、複数のゲームキャラクタを、ゲームキャラクタ割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
を備えることを特徴とするゲーム装置。
【請求項１４】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出すステップと、
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定するステップと、
仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくするステップと、
を備えることを特徴とする画像処理方法。
【請求項１５】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得するステップと、
仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出すステップと、
読み出した優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けるステップと、
複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させるステップと、
を備えることを特徴とする画像処理方法。
【請求項１６】
コンピュータに、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出させる機能と、
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定させる機能と、
仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくさせる機能と、
を実現させるためのプログラム。
【請求項１７】
コンピュータに、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得させる機能と、
仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出させる機能と、
読み出させた優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けさせる機能と、
複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる機能と、
を実現させるためのプログラム。
【請求項１８】
請求項１６または１７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、
読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定する重畳判定部とを備え、
表示制御部は、重畳判定部により仮想オブジェクト同士が重畳することが判定された場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくすることを特徴とする画像処理装置。
【請求項２】
表示制御部は、実オブジェクト画像の表示範囲内で仮想オブジェクトの表示位置を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
表示制御部は、表示装置において重畳する仮想オブジェクトのうち、画面奥側に存在する仮想オブジェクトの表示位置を調整して、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
表示制御部は、表示装置において重畳する仮想オブジェクトのうち、画面手前側に存在する仮想オブジェクトの表示位置を調整して、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
表示制御部は、画面手前側に存在する仮想オブジェクトの少なくとも一部分を、非表示または半透明の表示態様とすることで、画面奥側に存在する仮想オブジェクトの不可視部分を少なくすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、
仮想オブジェクトの３次元画像データを記憶する第１格納部と、
仮想オブジェクトを表示する優先順位を記憶する第２格納部と、
第２格納部に記憶された優先順位に基づいて、実オブジェクト画像と仮想オブジェクトとを対応付ける仮想オブジェクト割当部と、
３次元画像データを用いて、複数の仮想オブジェクトを、仮想オブジェクト割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項７】
仮想オブジェクト割当部は、複数の実オブジェクト画像の表示位置に基づいて、実オブジェクト画像と仮想オブジェクトとを対応付けることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
仮想オブジェクト割当部は、優先順位の高い仮想オブジェクトが優先順位の低い仮想オブジェクトと重なって不可視部分をもたないように、複数の仮想オブジェクトを複数の実オブジェクト画像に対応付けることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
仮想オブジェクト割当部は、優先順位の高い順に、仮想オブジェクトを画面手前側から配置される実オブジェクト画像に対応付けることを特徴とする請求項６から８のいずれかに記載の画像処理装置。
【請求項１０】
仮想オブジェクト割当部は、仮想オブジェクトと実オブジェクトとを対応付けた後は、その対応関係を維持することを特徴とする請求項６から９のいずれかに記載の画像処理装置。
【請求項１１】
仮想オブジェクト割当部は、フレーム画像に含まれる実オブジェクト画像の数が少なくなったとき、優先順位に基づいて、実オブジェクト画像と仮想オブジェクトとの対応付け処理を再実行することを特徴とする請求項６から９のいずれかに記載の画像処理装置。
【請求項１２】
実オブジェクトを識別するための識別情報と、ゲームキャラクタの３次元画像データとを対応付けて記憶する格納部と、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数のゲームキャラクタの３次元画像データを格納部から読み出す読出部と、
読み出された３次元画像データを用いて、ゲームキャラクタを、実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
表示装置に表示するゲームキャラクタ同士が重畳するか否かを判定する重畳判定部とを備え、
表示制御部は、重畳判定部によりゲームキャラクタ同士が重畳することが判定された場合に、ゲームキャラクタの表示態様を調整することにより、ゲームキャラクタ同士が重畳することにより生じるゲームキャラクタの不可視部分を少なくすることを特徴とするゲーム装置。
【請求項１３】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得する識別情報取得部と、
ゲームキャラクタの３次元画像データを記憶する第１格納部と、
ゲームキャラクタを表示する優先順位を記憶する第２格納部と、
第２格納部に記憶された優先順位に基づいて、実オブジェクト画像とゲームキャラクタとを対応付けるゲームキャラクタ割当部と、
３次元画像データを用いて、複数のゲームキャラクタを、ゲームキャラクタ割当部により対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる表示制御部と、
を備えることを特徴とするゲーム装置。
【請求項１４】
実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出すステップと、
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定するステップと、
仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくするステップと、
を備えることを特徴とする画像処理方法。
【請求項１５】
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得するステップと、
仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出すステップと、
読み出した優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けるステップと、
複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させるステップと、
を備えることを特徴とする画像処理方法。
【請求項１６】
コンピュータに、
実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部から、撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報に対応付けられた複数の仮想オブジェクトの３次元画像データを読み出させる機能と、
表示装置に表示する仮想オブジェクト同士が重畳するか否かを判定させる機能と、
仮想オブジェクト同士が重畳することを判定した場合に、仮想オブジェクトの表示態様を調整することにより、仮想オブジェクト同士が重畳することにより生じる仮想オブジェクトの不可視部分を少なくさせる機能と、
を実現させるためのプログラム。
【請求項１７】
コンピュータに、
撮像装置により撮像されたフレーム画像に含まれる複数の実オブジェクト画像の識別情報を取得させる機能と、
仮想オブジェクトを表示する優先順位を記憶する格納部から優先順位を読み出させる機能と、
読み出させた優先順位に基づいて実オブジェクト画像と仮想オブジェクトとを対応付けさせる機能と、
複数の仮想オブジェクトの３次元画像データを用いて、複数の仮想オブジェクトを、それぞれ対応付けられた実オブジェクト画像の表示位置に関連付けて表示装置に表示させる機能と、
を実現させるためのプログラム。
【請求項１８】
請求項１６または１７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−７２６６９（Ｐ２００６−７２６６９Ａ）
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願番号】特願２００４−２５４８８８（Ｐ２００４−２５４８８８）
【出願日】平成１６年９月１日（２００４．９．１）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願日】平成１６年９月１日（２００４．９．１）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]