画像認識システム
【課題】利用者の手や足などに発光体を装着させる必要がなく、利用者の動きを３次元的に解析して利用者の動きを詳細に反映した処理を行うことができる画像認識システムを提供すること。
【解決手段】検出ユニット１６の撮像空間ＰＳの３次元座標系において、検出対象物の３次元形状情報や３次元位置情報を取得することにより、検出対象物の形状や位置を３次元的に解析して種々の処理を行う。
【解決手段】検出ユニット１６の撮像空間ＰＳの３次元座標系において、検出対象物の３次元形状情報や３次元位置情報を取得することにより、検出対象物の形状や位置を３次元的に解析して種々の処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識システムに関する。
【背景技術】
【０００２】
従来から、システム利用者の手や足などに発光体を装着させた上で利用者の画像を撮像し、画像における発光体の位置の変化に基づいて利用者の動きなどを検出し、利用者の動きに応じた画像を表示させる画像認識システムが知られている。
【特許文献１】特開２０００−３３１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし従来の画像認識システムでは、利用者の手や足などに発光体を装着させる必要があったため、また画像における発光体の位置の変化を２次元的に解析していたため、利用者の動きなどを簡易かつ詳細に検出して利用者の動きなどに応じた画像を生成し、これをコミュニケーションやゲームのために用いることができなかった。
【０００４】
本発明は以上のような課題に鑑みてなされたものであり、その目的とするところは、利用者などの検出対象物を簡易かつ３次元的に検出して画像を生成することにより、例えばキーボードなどが無いゲーム専用機でのネットゲームコミュニケーションに役立たせたり、キーボードがあっても、操作を簡易化したりコミュニケーションの表現の幅を広げることができる画像認識システムを提供することにある。また本発明の他の目的は、例えば実際の回路や電源、ケーブルなどが不要のコントローラにより操作入力を行うことができる画像認識システムを提供することにある。また本発明の他の目的は、操作入力を簡素化できる画像認識システムを提供することにある。また本発明の他の目的は、例えば利用者が実際に持っている物などを反映した画像を生成することができる画像認識システムを提供することにある。
【課題を解決するための手段】
【０００５】
（１）本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
所与の３次元オブジェクト空間に設定される３次元オブジェクトの形状を規定するオブジェクト形状情報を、前記検出３次元形状情報に基づいて生成するオブジェクト生成部と、
前記生成されたオブジェクト形状情報を外部装置との間で送受信する通信制御部と、
前記受信されたオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システムに関係する。
【０００６】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【０００７】
本発明において「検出３次元形状情報」とは、例えば検出部の中心点などを基準点とする座標系の座標情報とすることができ、検出対象物の形状を規定するのみならず、検出部の検出方向における検出対象物の位置、向きを規定する情報とすることができる。
【０００８】
本発明では、出力部が出力した出力波の反射波を検出部が検出し、検出した反射波に基づいて検出対象物の検出３次元形状情報を取得する。そして取得した検出３次元形状情報に基づいてオブジェクト形状情報を生成し、オブジェクト形状情報を外部装置との間で送受信する。これにより本発明によれば、自分（本人）の端末装置において取得した検出３次元形状情報に基づく３次元オブジェクトを、他人の端末装置において表示させたり、他人の端末装置において取得された検出３次元形状情報に基づく３次元オブジェクトを、自分の端末装置において表示させたりしながらコミュニケーションを行うことができる。例えば自分の端末装置において自らを検出対象物とした検出３次元形状情報を取得し、自らに対応するオブジェクト形状情報を生成し、これを他人の端末装置に送信することにより、他人の端末装置において自らに対応する３次元オブジェクト（キャラクタ）を表示させることができる。
【０００９】
（２）また本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
所与の３次元オブジェクト空間に設定される複数種類の３次元オブジェクトの形状を規定する複数種類のオブジェクト形状情報を記憶するオブジェクト形状情報記憶部と、
前記検出３次元形状情報に対応する前記オブジェクト形状情報を、前記検出３次元形状情報に基づいて選択するオブジェクト形状情報選択部と、
前記選択されたオブジェクト形状情報を外部装置との間で送受信する通信制御部と、
前記受信されたオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システムに関係する。
【００１０】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００１１】
これにより本発明によれば、自分（本人）の端末装置において取得した検出３次元形状情報に応じて選択された３次元オブジェクトを、他人の端末装置において表示させたり、他人の端末装置において取得された検出３次元形状情報に応じて選択された３次元オブジェクトを、自分の端末装置において表示させたりしながらコミュニケーションを行うことができる。例えば自分の端末装置において自らを検出対象物とした検出３次元形状情報を取得し、自らに対応するオブジェクト形状情報を選択し、これを他人の端末装置に送信することにより、他人の端末装置において自らに対応する３次元オブジェクトを表示させることができる。
【００１２】
（３）また本発明に係る画像認識システムでは、
前記オブジェクト形状情報選択部に選択されたオブジェクト形状情報を、前記検出３次元形状情報に基づいて補正するオブジェクト形状情報補正部を更に含み、
前記通信制御部が、
前記オブジェクト形状情報補正部に補正された補正後のオブジェクト形状情報を外部装置との間で送受信するようにしてもよい。
【００１３】
本発明によれば、例えば自らの検出３次元形状情報に対応するオブジェクト形状情報を選択した場合に、選択されたオブジェクト形状情報を自らの検出３次元形状情報に近づけるように補正することができる。これにより本発明によれば、予め記憶させておくオブジェクト形状情報のデータ容量を抑えつつ、検出対象物により近い３次元オブジェクトを表示させることができる。
【００１４】
（４）また本発明に係る画像認識システムでは、
前記生成されたオブジェクト形状情報の一部に所与のテクスチャをマッピングして、前記オブジェクト形状情報を前記３次元オブジェクト空間に設定するテクスチャマッピング部を更に含むようにしてもよい。
【００１５】
本発明によれば、例えば自らに対応するオブジェクト形状情報を生成した場合に、他人の端末装置において自らに対応する３次元オブジェクト（キャラクタ）を表示させる際に、例えば顔の一部に対応する部分に所与のテクスチャをマッピングすることにより、他人の端末装置において表示させる３次元オブジェクトに独自性を与えつつも匿名性を維持することができる。
【００１６】
（５）また本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、対応するコマンド信号を出力するコマンド信号出力部と、
前記コマンド信号に対応する画像情報、音情報の少なくとも一方を記憶する出力情報記憶部と、
前記出力されたコマンド信号に基づいて、対応する画像情報、音情報の少なくとも一方を出力させる出力制御部とを含むことを特徴とする画像認識システムに関係する。
【００１７】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００１８】
本発明では、取得した検出３次元形状情報と基準３次元形状情報とを比較し、比較結果に基づいて対応するコマンド信号を出力する。これにより本発明によれば、例えば手話などのように、検出部に対して利用者の体と重なる位置にある手により形成されている形状を３次元的に解析し、手の形状に応じたコマンド信号を出力することができる。こうして本発明によれば、例えば手話における手の形状を画像認識システムに認識させることができ、例えば手の形状に応じたコマンド信号に対応する文字情報や音声情報を出力して、手話を翻訳するように構成することもできる。
【００１９】
（６）また本発明に係る画像認識システムでは、
前記３次元情報取得部が、
前記出力波が反射した検出対象物の３次元形状の所定期間における変化を規定する検出３次元動作情報を、前記反射波に基づいて取得し、
前記基準情報記憶部が、
予め定められた３次元形状の所定期間における変化を規定する基準３次元動作情報を記憶し、
前記比較部が、
前記基準３次元動作情報と前記検出３次元動作情報とを比較するようにしてもよい。
【００２０】
本発明では、取得した検出３次元動作情報と基準３次元形状動作とを比較し、比較結果に基づいて対応するコマンド信号を出力する。これにより本発明によれば、例えば手の形状のみならず手の動きなどの動作を３次元的に解析し、手の３次元的な動きに応じたコマンド信号を出力することができる。こうして本発明によれば、検出対象物の２次元的な動きではなく３次元的な動きに応じて種々のコマンド信号を出力させる画像認識システムを実現することができる。
【００２１】
（７）また本発明に係る画像認識システムでは、
前記出力されたコマンド信号を外部装置との間で送受信する通信制御部を更に含み、
前記出力制御部が、
前記受信されたコマンド信号に基づいて、対応する画像情報、音情報の少なくとも一方を出力させるようにしてもよい。
【００２２】
本発明では、例えば自分の端末装置において取得した検出３次元形状情報に応じたコマンド信号に基づいて、対応する文字情報や音声情報を他人の端末装置において出力させたり、他人の端末装置において取得された検出３次元形状情報に応じたコマンド信号に基づいて、対応する文字情報や音声情報を自分の端末装置において出力させたりしながらコミュニケーションを行うことができる。
【００２３】
（８）また本発明は、
操作信号に基づいて、所与のオブジェクトの移動及び動作の少なくとも一方の制御を行う移動・動作処理部と、
前記所与のオブジェクトが移動及び動作の少なくとも一方を行う画像を描画する描画処理部と、
を含む画像認識システムであって、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報、及び前記検出対象物の３次元位置を規定する検出３次元位置情報の少なくとも一方を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、前記検出３次元形状情報に対応する前記検出対象物を操作検出対象物として設定する操作検出対象物設定部と、
前記設定された操作検出対象物について取得された前記検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、前記操作信号を出力する操作信号出力部と、
を更に含むことを特徴とする画像認識システムに関係する。
【００２４】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００２５】
本発明では、検出対象物が予め定められた３次元形状を有するものであれば、検出対象物を操作検出対象物として設定する。そして検出対象物の形状や位置が変化すると、これを操作入力として検出し、対応する操作信号を出力する。このように本発明によれば、所与のオブジェクトの移動・動作を操作するための入力インターフェースとして検出部を利用した画像認識システムを構築することができる。
【００２６】
（９）また本発明に係る画像認識システムでは、
前記基準情報記憶部に記憶された複数の基準３次元形状情報の各基準３次元形状情報に対応する操作アルゴリズムを記憶する操作アルゴリズム記憶部と、
前記比較部の比較結果に基づいて、前記検出３次元形状情報に対応する前記基準３次元形状情報に応じた操作アルゴリズムを設定する操作アルゴリズム設定部と、
を更に含み、
前記操作信号出力部が、
前記設定された操作検出対象物について取得された前記検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、前記設定された操作アルゴリズムに応じた操作信号を出力するようにしてもよい。
【００２７】
本発明では、検出対象物の３次元形状に応じて複数の操作アルゴリズムが用意されており、例えば円環状の検出対象物が検出された場合にはこれを車のハンドルという操作検出対象物に設定し、車のハンドルに対応する操作アルゴリズムを設定する。そして利用者がハンドルを回転させるように操作検出対象物を回転させると、操作検出対象物の回転量に応じて例えば車オブジェクトの向きを変化させる画像を描画する。また例えば棒状の検出対象物が検出された場合にはこれを飛行機の操縦桿という操作検出対象物に設定し、飛行機の操縦桿に対応する操作アルゴリズムを設定する。そして利用者が操縦桿を操作するように操作検出対象物を傾倒させる操作を行うと、操作検出対象物の傾倒量に応じて例えば飛行機オブジェクトの向きを変化させる画像を描画する。このように本発明によれば、操作検出対象物の３次元形状に応じて種々の操作入力を行うことができる入力インターフェースを実現することができる。
【００２８】
（１０）また本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、所与のオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システムに関係する。
【００２９】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００３０】
本発明において「基準３次元形状情報」とは、形状情報を比較判定するための３次元形状情報でもよいし、オブジェクト空間に設定されるオブジェクト形状情報そのものでもよい。
【００３１】
本発明では、取得した検出３次元形状情報と基準３次元形状情報とを比較し、比較結果に基づいてオブジェクト形状情報を３次元オブジェクト空間に設定する。例えば利用者がテニスラケットの形状をした検出対象物を持っていれば、キャラクタオブジェクトがテニスラケットを持っている画像を描画する。ここで本発明によれば、例えば利用者がテニスラケットを検出部に対して利用者の体と重なる位置に構えていても、テニスラケットの形状を３次元的に解析し、利用者が持っているものを認識することができる。従って本発明によれば、検出対象物の配置状況に関わらず検出対象物の検出３次元形状情報を取得して、対応するオブジェクト形状情報を３次元オブジェクト空間に設定することができる。
【００３２】
（１１）また本発明に係る画像認識システムでは、
前記オブジェクト形状情報記憶部が、
複数種類のオブジェクト形状情報を記憶し、
前記オブジェクト空間設定部が、
前記比較部の比較結果に基づいて、前記複数種類のオブジェクト形状情報のうち前記検出３次元形状情報に対応する前記オブジェクト形状情報を前記３次元オブジェクト空間に設定するようにしてもよい。
【００３３】
本発明によれば、例えば利用者が剣の形状をした検出対象物を持っていれば、キャラクタオブジェクトが剣アイテムを持っている画像を描画し、盾の形状をした検出対象物を持っていれば、キャラクタオブジェクトが盾アイテムを持っている画像を描画するようにすることができる。このように本発明によれば、検出対象物の３次元形状に応じて種々の３次元オブジェクトの画像を描画することができる。
【００３４】
（１２）また本発明に係る画像認識システムでは、
前記オブジェクト空間設定部が、
所与のイベントの発生に基づいて、前記３次元オブジェクト空間に設定するオブジェクト形状情報を変更するようにしてもよい。
【００３５】
本発明によれば、例えば利用者が剣の形状をした検出対象物を持っており、キャラクタオブジェクトが剣アイテムを持っている画像を描画している場合に、所与のイベントの発生に基づいて剣アイテムが壊れるような画像を描画することができる。
【００３６】
（１３）また本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記検出対象物の３次元形状を規定する検出３次元位置情報を、前記反射波に基づいて取得する３次元情報取得部と、
前記取得された検出３次元形状情報に基づいて、所与のオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システムに関係する。
【００３７】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００３８】
本発明では、出力部が出力した出力波の反射波を検出部が検出し、検出した反射波に基づいて検出対象物の検出３次元形状情報を取得する。そして取得した検出３次元形状情報に基づいて、現実世界における検出対象物の形状や位置、向きの変化に応じて、所与のオブジェクトの形状や位置、向きが変化する画像を描画することができる。例えば検出部に向かって所与の物体を投げると、投げられた物体の移動とともに対応するオブジェクトが移動する（投げられる）画像を描画することができる。
【００３９】
（１４）また本発明に係る画像認識システムでは、
前記３次元オブジェクト空間に設定された前記オブジェクト形状情報と他のオブジェクト形状情報との前記３次元オブジェクト空間における重なりを判定する判定部を更に含むようにしてもよい。
【００４０】
本発明によれば、利用者が持っている検出対象物や、利用者が投げた検出対象物に対応するオブジェクトと、その他のオブジェクトとのヒット判定を行うことにより、例えば、操作者が持つテニスラケットに対応するテニスラケットオブジェクトによりボールを打つテニスゲームを構成したり、操作者が投げた紙くずに対応する雪玉オブジェクトにより雪合戦を行う雪合戦ゲームを構成したりすることができる。
【発明を実施するための最良の形態】
【００４１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４２】
１．システム概略
図１は、本実施形態の画像認識システムを適用したゲームシステム１０の概略外観図である。本実施形態のゲームシステム１０は、表示画面１２に標的オブジェクトＴＯなどのゲーム画像を表示させる表示部１４と、表示部１４の上面に設置され表示部１４の正面方向の検出対象物の３次元形状情報と３次元位置情報とを検出するための検出ユニット１６と、検出対象物の３次元形状情報を用いて種々の処理を行うゲーム機１８とを含む。検出ユニット１６には、検出ユニット１６の左端部に設置され、表示部１４の正面方向（プレーヤＰの方向）に向けて赤外光などの所定の波長の出力波を出力する出力部２０と、検出ユニット１６の右端部に設置され、出力波の反射波を検出する検出部２２とが設けられている。特に本実施形態では、出力部２０は赤外光を出力する赤外光ＬＥＤにより構成され、検出部２２は赤外光イメージセンサにより構成されている。そして検出部２２は、表示部１４の正面方向から入射する赤外光（出力部２０が出力した赤外光の反射光）を受光面において受光して、これを画像として取得する（撮像する）。
【００４３】
更に検出ユニット１６には、ＡＳＩＣや、ＭＣＵなどで構成される３次元情報取得部２４が設けられている。３次元情報取得部２４は、反射波を受光した検出部２２の受光面における受光位置ごとの反射波の位相のずれなどに基づいて、プレーヤＰなどの撮像対象物（検出対象物）の画像を、撮像対象物を含む撮像空間の３次元座標系情報（検出３次元形状情報、検出３次元位置情報）として取得する。そしてゲーム機１８は、撮像対象物であるプレーヤＰの３次元座標情報に基づいて、プレーヤＰの姿勢や動きなどを認識して、対応する画像を表示画面１２に表示させたり、音声を出力させる。またインターネットなどのネットワークを介して、他人のゲーム機１８に３次元位置情報や３次元位置情報に基づく情報を送信して、他人の表示部１４の表示画面１２に自らに対応する画像を表示させる。
【００４４】
なお本実施形態では検出部２２の前面側に、赤外光に対応する波長帯の光（出力部２０からの光と同様の波長の光）のみを透過させるフィルタを設け、検出部２２が受光する光が所定の波長帯の光となるようにしている。なおフィルタを設けずに、赤外光（所定の波長の光）が含まれる所定範囲の波長帯の受光感度特性を有するイメージセンサを検出部２２として用いるようにしてもよい。また、ゲーム機１８に種々の操作入力を行うためのコントローラを接続するようにしてもよい。
【００４５】
２．本実施形態の手法
次に、本実施形態の検出ユニット１６が、プレーヤＰなどの撮像対象物の画像を３次元座標系情報（検出３次元形状情報、検出３次元位置情報）として取得する原理について説明する。本実施形態では３次元情報取得部２４が、検出部２２と撮像対象物であるプレーヤＰとの相対的な位置関係を規定する情報として距離情報を取得する。
【００４６】
図２は、表示部１４と、表示部１４の上面に配置された検出ユニット１６と、撮像対象物であるプレーヤＰとを真横から見た平面図である。図２に示すように本実施形態では、検出ユニット１６の出力部２０が、検出ユニット１６の検出方向（表示部１４の正面方向）に赤外光ＤＬを出力すると、検出ユニット１６の検出部２２が、検出ユニット１６の検出方向からの反射光ＲＬを検出する。ここで反射光ＲＬは、出力部２０から出力された直接光の反射光であるが、検出部２２からの距離が相対的に近いプレーヤＰの右手ＲＨで反射した反射光ＲＬ１と、相対的に遠いプレーヤＰの頭部ＨＤで反射した反射光ＲＬ２とでは、検出部２２に到達したときに位相差が発生する。そこで本実施形態の検出部２２は、検出部２２の受光面において受光した反射光ＲＬの位相差を、受光面に配列された受光素子（画素）ごとに検出する（撮像する）。そして３次元情報取得部２４が、画素ごとの位相差に基づいて、検出部２２の検出方向（撮像空間、画角θ内）に存在する撮像対象物と検出部２２との距離情報を、画素ごとに取得する。
【００４７】
図３は、３次元情報取得部２４が取得した画素ごとの距離情報を説明するための図である。本実施形態の検出部２２では、矩形の受光面上に受光素子がマトリクス状に配列されているため、３次元情報取得部２４は、図３に示す矩形の撮像領域ＰＡにマトリクス状に配列される画素ごとに、撮像対象物ＰＯ（プレーヤＰ）と検出部２２との距離情報を取得する。従って図３に示すように、プレーヤＰの右手ＲＨに対応する画素と、頭部ＨＤに対応する画素と、体ＢＤに対応する画素と、左手ＬＨに対応する画素と、背景となる壁ＷＬに対応する画素と、床面ＧＳに対応する画素とについて、画素ごとに検出部２２からの距離情報が格納される。
【００４８】
図４は、検出部２２の撮像空間ＰＳ（画角θ内）における３次元座標系情報を説明するための図である。本実施形態の３次元情報取得部２４では、図４に示すように、検出部２２の受光面の重心位置ＷＰを原点Ｏとし、受光面の法線ＮをＺ軸とした３次元座標系において、撮像空間ＰＳ内にある撮像対象物ＰＯの受光面から見える面の３次元座標情報を取得している。即ち、検出部２２から見える撮像対象物ＰＯの表面（検出した反射波が反射した面）に対応する画素ごとの３次元座標値群をメモリ領域に格納する。こうして本実施形態の検出ユニット１６では、撮像空間ＰＳの３次元座標系において、撮像対象物ＰＯの３次元形状を規定する３次元形状情報と、撮像対象物ＰＯの３次元位置を規定する３次元位置情報とを取得することができる。
【００４９】
これにより本実施形態によれば、例えば手話などのように、検出部２２に対してプレーヤＰの体と重なる位置にある手により形成されている形状をも３次元的に解析し、例えば手の形状に応じたコマンド信号を出力することができる。こうして本実施形態によれば、例えば手話における手の形状を画像認識システム１０に認識させることができ、例えば手の形状に応じたコマンド信号に対応する文字情報や音声情報を出力して、手話を翻訳するように構成することもできる。
【００５０】
なお本実施形態では１／３０秒ごとに（１／３０秒を１フレームとして）、検出部２２が反射光ＲＬを受光し（リフレッシュし）、３次元情報取得部２４が撮像領域ＳＡの３次元情報を更新する。
【００５１】
３．機能ブロック
次に、図７を用いて本実施形態における指示位置演算システム（ゲームシステム）の構成について説明する。図７は、本実施形態における指示位置演算システムの機能ブロック図の一例である。なお、本実施形態の指示位置演算システムは、図７の構成要素（各部）の一部を省略した構成としてもよい。
【００５２】
検出ユニット１６は、出力部２０、検出部２２、３次元情報取得部２４を含む。
【００５３】
出力部２０は、検出ユニット１６の検出方向に所定の出力波を出力する。具体的には赤外光ＬＥＤなどの発光部や、超音波発生部など、所定波長の出力波を出力するデバイスにより実現できる。
【００５４】
検出部２２は、出力部２０と所定の位置関係を有し、出力部２０が出力した出力波の反射波を検出する。具体的には赤外光イメージセンサなどの所定波長の反射波を検出するデバイスにより実現できる。
【００５５】
３次元情報取得部２４は、各種プロセッサ（ＣＰＵ、ＭＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現でき、出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する。また３次元情報取得部２４は、検出対象物の３次元位置を規定する検出３次元位置情報を、反射波に基づいて取得する。また３次元情報取得部２４は、検出対象物の３次元形状の所定期間における変化を規定する検出３次元動作情報を、反射波に基づいて取得する。なお３次元情報取得部２４を検出ユニット１６に設けずに、処理部１００の機能として実現するようにしてもよい。
【００５６】
操作部２４は、プレーヤが操作データを入力するためのものであり、その機能は、レバー、ボタン、ステアリング、マイク、タッチパネル型ディスプレイ、或いは筺体などにより実現できる。
【００５７】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＶＲＡＭ）などにより実現できる。そして、本実施形態の記憶部１７０は、ワーク領域として使用される主記憶部１７１と、最終的な表示画像等が記憶される描画バッファ１７２と、複数種類のオブジェクトのモデルデータ（３次元オブジェクトの形状を規定するオブジェクト形状情報）が記憶されるオブジェクトデータ記憶部１７３と、オブジェクトデータ用のテクスチャが記憶されるテクスチャ記憶部１７４と、オブジェクトの画像の生成処理時にＺ値が記憶されるＺバッファ１７５と、を含む。なお、これらの一部を省略する構成としてもよい。
【００５８】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。
【００５９】
この情報記憶媒体１８０には、処理部１００において本実施形態の種々の処理を行うためのプログラム（データ）が記憶されている。即ち、この情報記録媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶されている。
【００６０】
表示部１４は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイなどにより実現できる。
【００６１】
音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００６２】
携帯型情報記憶装置１９４には、プレーヤの個人データやゲームのセーブデータなどが記憶されるものであり、この携帯型情報記憶装置１９４としては、メモリカードや携帯型ゲーム装置などがある。
【００６３】
通信部１９６は、外部（例えばホスト装置や他の画像生成システム）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。
【００６４】
なお、本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、ホスト装置（サーバー）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（記憶部１７０）に配信してもよい。このようなホスト装置（サーバー）の情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００６５】
処理部１００（プロセッサ）は、指示体１６からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの処理を行う。ここで、ゲーム処理としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、キャラクタやマップなどのオブジェクトを配置する処理、オブジェクトを表示する処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。この処理部１００は記憶部１７０をワーク領域として各種処理を行う。処理部１００の機能は各種プロセッサ、ＡＳＩＣなどのハードウェアや、プログラムにより実現できる。
【００６６】
特に、本実施形態の処理部１００は、比較部１０１、コマンド信号出力部１０２、出力制御部１０３、操作検出対象物設定部１０４、操作アルゴリズム設定部１０５、操作信号出力部１０６、オブジェクト生成部１０７、オブジェクト空間設定部１０８、移動・動作処理部１０９、判定部１１０、テクスチャマッピング部１１１、描画処理部１２０、音生成部１３０、通信制御部１４０を含む。なお、これらの一部を省略する構成としてもよい。
【００６７】
比較部１０１は、基準情報記憶部１７６に予め記憶された３次元形状を規定する基準３次元形状情報（比較用形状情報、テンプレート情報、オブジェクト形状情報）と、検出部２２が検出した検出対象の検出３次元形状情報とを比較する。具体的には、プレーヤがとるヨガのポーズや手話の手の形状などのプレーヤの姿勢や形状、ゲーム内で用いることができる剣や盾などのアイテム、テニスラケットや野球バットなどの操作対象、車のハンドルや飛行機の操縦桿などの操作検出対象などに対応するバウンディングボリュームなどを基準情報記憶部１７６に記憶させておき、検出３次元形状情報がいずれのバウンディングボリュームと一致するか否かを判定する。
【００６８】
また比較部１０１は、予め基準情報記憶部１７６に記憶された所定の３次元形状の所定期間における変化を規定する基準３次元動作情報と、検出部２２が検出した検出対象物の３次元形状の所定期間における変化を規定する検出３次元動作情報とを比較する。具体的には、例えばお辞儀をする動作や物を投げる動作などプレーヤの動作に対応するアニメーションなどを基準情報記憶部１７６に記憶させておき、検出３次元動作情報がいずれのアニメーションと一致するか否かを判定する。
【００６９】
コマンド信号出力部１０２は、比較部１０１の比較結果に基づいて、対応するコマンド信号を出力する。具体的にはコマンド信号出力部１０２は、例えば手話における手の形状に応じたコマンド信号を出力したり、プレーヤの姿勢に応じた評価を行うコマンド信号を出力する。
【００７０】
出力制御部１０３は、出力されたコマンド信号に基づいて、コマンド信号に対応する画像情報、音情報を記憶する出力情報記憶部１７７を参照し、対応する画像情報、音情報の少なくとも一方を出力させる。具体的には、手話における手の形状に対応する文字情報や音声情報を出力し手話を翻訳したり、プレーヤの姿勢に対する評価を行う文字情報や音声情報を出力する。
【００７１】
また出力制御部１０３は、表示制御処理として、表示部１４に表示出力される表示物（オブジェクト）の表示制御を行う。具体的には、表示物（ゲームキャラクタ、背景、標的、車、ボール、アイテム、建物、樹木、柱、壁、マップ）を発生させたり、表示物の表示位置を指示したり、表示物を消滅させたりするなどの表示制御を行う。即ち発生した表示物を表示物リストに登録したり、表示物リストを描画処理部１２０等に転送したり、消滅した表示物を表示物リストから削除したりするなどの表示制御を行う。
【００７２】
操作検出対象物設定部１０４は、比較部１０１の比較結果に基づいて、検出３次元形状情報に対応する検出対象物を操作検出対象物として設定する。具体的には操作検出対象物設定部１０４は、検出対象物が予め定められた車のハンドルや飛行機の操縦桿などの３次元形状を有するものであれば、検出対象物を操作検出対象物として設定する。
【００７３】
操作アルゴリズム設定部１０５は、比較部１０１の比較結果に基づいて、検出３次元形状情報に対応する基準３次元形状情報に応じた操作アルゴリズムを設定する。具体的には操作アルゴリズム設定部１０５は、基準情報記憶部１７６に記憶された複数の基準３次元形状情報（オブジェクト形状情報）の各基準３次元形状情報に対応する操作アルゴリズムを記憶する操作アルゴリズム記憶部１７８を参照し、例えば円環状の検出対象物が検出された場合にはこれを車のハンドルとして扱って、車のハンドルに対応する操作アルゴリズムを設定する。また例えば棒状の検出対象物が検出された場合にはこれを飛行機の操縦桿として扱って、飛行機の操縦桿に対応する操作アルゴリズムを設定する。
【００７４】
操作信号出力部１０６は、設定された操作検出対象物について取得された検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、設定された操作アルゴリズムに応じた操作信号を出力する。具体的には操作信号出力部１０６は、車のハンドルに対応する操作アルゴリズムが設定されている場合には、プレーヤがハンドルを回転させるように操作検出対象物を回転させると、操作検出対象物の回転量に応じて例えば車オブジェクトの向きを変化させる操作信号を出力する。また例えば、飛行機の操縦桿に対応する操作アルゴリズムが設定されている場合には、プレーヤが操縦桿を操作するように操作検出対象物を傾倒させる操作を行うと、操作検出対象物の傾倒量に応じて例えば飛行機オブジェクトの向きを変化させる操作信号を出力する。
【００７５】
オブジェクト生成部１０７は、所与の３次元オブジェクト空間に設定される３次元オブジェクトの形状を規定するオブジェクト形状情報を、検出３次元形状情報に基づいて生成する。具体的にはオブジェクト生成部１０７は、自らを検出対象物として自らに対応するキャラクタオブジェクトを生成したり、身の回りにある種々のものにより種々のオブジェクトを生成する。また背景としての部屋などもそのままオブジェクトとして生成することができる。
【００７６】
またオブジェクト形状情報選択部１０７１を採用し、検出３次元形状情報に対応するオブジェクト形状情報を、オブジェクトデータ記憶部１７３に記憶された複数種類のオブジェクトデータから検出３次元形状情報に応じたオブジェクトデータを選択するようにしてもよい。この場合にはオブジェクト形状情報補正部１０７２を更に採用し、オブジェクト形状情報選択部に選択されたオブジェクト形状情報を、検出３次元形状情報に基づいて補正するようにしてもよい。
【００７７】
オブジェクト空間設定部１０８は、本実施形態で生成したキャラクタオブジェクト等の移動体オブジェクト、予め記憶させてあるキャラクタオブジェクト、建物、樹木、柱、壁、マップ（地形）などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ち、オブジェクト空間設定部１０８は、ワールド座標系でのオブジェクト（モデルオブジェクト）の位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。
【００７８】
特に本実施形態ではオブジェクト空間設定部１０８は、所与のイベントの発生に基づいて、前記３次元オブジェクト空間に設定するオブジェクト形状情報を変更するようにしてもよい。例えば利用者が剣の形状をした検出対象物を持っており、キャラクタオブジェクトが剣アイテムを持っている画像を描画している場合に、所与のイベントの発生に基づいて剣アイテムが壊れるような画像を描画することができる。このとき、壊れていない状態の剣アイテムのオブジェクトデータと壊れている状態のオブジェクトデータとを用意しておき、イベントの発生に基づいて、オブジェクト空間に設定するオブジェクトデータを変更するようにしてもよいし、剣アイテムのオブジェクトデータのうちダメージを受けた部位に応じた破壊シミュレーションを行うようにしてもよい。
【００７９】
移動・動作処理部１０９は、操作信号に基づいて、所与のオブジェクトの移動及び動作の少なくとも一方の制御を行う。詳細には移動・動作処理部１０９は、移動体オブジェクト（キャラクタの他、キャラクタが使用する道具等）の移動・動作演算（移動・動作シミュレーション）を行う。即ち、この移動・動作処理部１０９は、検出部２２が検出した検出３次元情報に対応する操作信号、操作部からの操作信号、設定されたパラメータや属性又はプログラム（移動・動作アルゴリズム）や各種データ（モーションデータ）などに基づいて、移動体オブジェクトをオブジェクト空間内で移動させ、又は、移動体オブジェクトの動作（モーション、アニメーション）を制御するための処理を行う。
【００８０】
具体的には、本実施形態の移動・動作処理部１０９は、オブジェクトの移動情報（位置、回転角度、速度、或いは加速度）や動作情報（各パーツオブジェクトの位置、或いは回転角度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。ここでフレームとは、オブジェクトの移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。そして、本実施形態では、フレームレートは毎フレーム固定としてもよいし、処理負荷に応じて可変としてもよい。
【００８１】
判定部１１０は、３次元オブジェクト空間に設定されたオブジェクト形状情報と他のオブジェクト形状情報との３次元オブジェクト空間における重なりを判定する。
【００８２】
描画部１２０は、処理部７０で行われる種々の処理（ゲーム処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。いわゆる３次元ゲーム画像を生成する場合には、本実施形態の描画部１２０は、まずオブジェクト（モデル）の各頂点の頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）を含むオブジェクトデータ（モデルデータ）が入力され、入力されたオブジェクトデータに含まれる頂点データに基づいて、頂点処理が行われる。なお、頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理（テッセレーション、曲面分割、ポリゴン分割）を行うようにしてもよい。
【００８３】
また、頂点処理では、頂点の移動処理や、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、あるいは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更（更新、調整）する。そして、頂点処理後の頂点データに基づいてラスタライズ（走査変換）が行われ、ポリゴン（プリミティブ）の面とピクセルとが対応づけられる。そしてラスタライズに続いて、画像を構成するピクセル（表示画面を構成するフラグメント）を描画するピクセル処理（フラグメント処理）が行われる。
【００８４】
ピクセル処理では、テクスチャの読出し（テクスチャマッピング）、色データの設定／変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色をフレームバッファ１７４（ピクセル単位で画像情報を記憶できるバッファ。ＶＲＡＭ、レンダリングターゲット）に出力（描画）する。すなわち、ピクセル処理では、画像情報（色、法線、輝度、α値等）をピクセル単位で設定あるいは変更するパーピクセル処理を行う。
【００８５】
これにより、オブジェクト空間内に設定された仮想カメラ（所与の視点）から見える画像が生成される。なお、仮想カメラ（視点）が複数存在する場合には、それぞれの仮想カメラから見える画像を分割画像として１画面に表示できるように画像を生成することができる。
【００８６】
なお、描画部１２０が行う頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン（プリミティブ）の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ（頂点シェーダやピクセルシェーダ）により実現されてもよい。プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、ハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。
【００８７】
そして、描画部１２０は、オブジェクトを描画する際に、ジオメトリ処理、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。
【００８８】
ジオメトリ処理では、オブジェクトに対して、座標変換、クリッピング処理、透視投影変換、或いは光源計算等の処理を行う。そして、ジオメトリ処理後（透視投影変換後）のオブジェクトデータ（オブジェクトの頂点の位置座標、テクスチャ座標、色データ（輝度データ）、法線ベクトル、或いはα値等）を記憶部１７０に記憶する。
【００８９】
テクスチャマッピングでは、記憶部１７０のテクスチャ記憶部１７４に記憶されるテクスチャ（テクセル値）をオブジェクトにマッピングする処理を行う。具体的には、オブジェクトの頂点に設定（付与）されるテクスチャ座標等を用いて記憶部１７０のテクスチャ記憶部１７４からテクスチャ（色（ＲＧＢ）、α値などの表面プロパティ）を読み出し、２次元の画像であるテクスチャをオブジェクトにマッピングする。この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間などを行う。特に本実施形態では、ポリゴンメッシュの表面の色が面集合ごとにテクスチャ空間に分布するテクスチャをマッピングする処理を行う。
【００９０】
なお、本実施形態では、オブジェクトを描画する際に、所与のテクスチャをマッピングする処理を行うようにしてもよい。この場合には、マッピングされるテクスチャの色分布（テクセルパターン）を動的に変化させることができる。
【００９１】
また、この場合において、色分布（ピクセルパターン）が異なるテクスチャを動的に生成してもよいし、複数の色分布が異なるテクスチャを予め用意しておき、使用するテクスチャを動的に切り替えるようにしてもよい。またオブジェクト単位でテクスチャの色分布を変化させてもよい。
【００９２】
特に本実施形態のテクスチャマッピング部１２１は、オブジェクト生成部１０７によって生成されたオブジェクト形状情報の一部に所与のテクスチャをマッピングして、前記オブジェクト形状情報を前記３次元オブジェクト空間に設定する。例えば自らに対応するオブジェクト形状情報を生成した場合に、他人の端末装置において自らに対応する３次元オブジェクト（キャラクタ）を表示させる際に、例えば顔の一部に対応する部分に所与のテクスチャをマッピングする。
【００９３】
隠面消去処理では、描画ピクセルのＺ値（奥行き情報）が格納されるＺバッファ（奥行きバッファ）を用いたＺバッファ法（奥行き比較法、Ｚテスト）による隠面消去処理を行う。すなわち、オブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Ｚバッファに格納されるＺ値を参照するとともに、当該参照されたＺバッファのＺ値と、プリミティブの描画ピクセルでのＺ値とを比較し、描画ピクセルでのＺ値が、仮想カメラから見て手前側となるＺ値（例えば小さなＺ値）である場合には、その描画ピクセルの描画処理を行うとともにＺバッファのＺ値を新たなＺ値に更新する。
【００９４】
αブレンディング（α合成）では、描画部１２０は、α値（Ａ値）に基づく半透明合成処理（通常αブレンディング、加算αブレンディング又は減算αブレンディング等）を行う。なお、α値は、各ピクセル（テクセル、ドット）に関連づけて記憶できる情報であり、例えば色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度（透明度、不透明度と等価）、バンプ情報などとして使用できる。
【００９５】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００９６】
通信制御部１４０は、操作情報（要求）やプログラム等に基づき、いかなる情報をいずれの外部装置（サーバ、端末）との間で送受信するかなどの通信制御処理を行う。具体的には通信制御部１４０は、オブジェクト生成部１０７によって生成されたオブジェクト形状情報を外部装置との間で送受信する。例えば通信制御部１４０は、自分の端末装置において自らを検出対象物とした検出３次元形状情報を取得し、自らに対応するオブジェクト形状情報を生成し、これを他人の端末装置に送信したり、他人の端末装置において他人を検出対象物とした検出３次元形状情報に基づいて生成されたオブジェクト形状情報を受信する。
【００９７】
また通信制御部１４０は、出力されたコマンド信号を外部装置との間で送受信するようにしてもよい。これにより例えば自分の端末装置において手話の手の形状を検出対象物とした検出３次元形状情報を取得し、対応するコマンド信号を他人の端末装置に送信して、他人の端末装置において手話の手の形状に対応する文字情報や音声情報を出力するようにしてもよい。
【００９８】
なお、本実施形態の画像生成システムは、１人のプレーヤのみがプレイできるシングルプレーヤモード専用のシステムにしてもよいし、複数のプレーヤがプレイできるマルチプレーヤモードも備えるシステムにしてもよい。
【００９９】
また、複数のプレーヤがプレイする場合に、これらの複数のプレーヤに提供するゲーム画像やゲーム音を、１つの端末を用いて生成してもよいし、ネットワーク（伝送ライン、通信回線）などで接続された複数の端末（ゲーム機、携帯電話）を用いて分散処理により生成してもよい。
【０１００】
４．本実施形態の処理
次に、本実施形態で行われる各種処理の流れを図面とフローチャートを用いて説明する。
【０１０１】
４−１．アバタキャラクタ制御処理
最初に、自分に対応するキャラクタを他人の端末に表示させながらメールやチャットなどのコミュニケーションを行ういわゆるアバタ（自分の分身）コミュニケーションを、本実施形態の画像認識システム１０を用いて行う一例について説明する。本実施形態では、図６に示すように、プレーヤＰ１に対応する画像認識システム１０−１と、プレーヤＰ２に対応する画像認識システム１０−２とがインターネットＩＮＴを介して接続されている状態で、図７のフローチャートに示すアバタキャラクタ制御処理を行う。なお図６においてゲーム機１８−１、１８−２は、通信機能を有するＰＣ（パーソナルコンピュータ）１８−１、１８−２により構成している。
【０１０２】
図７に示すように本実施形態では、画像認識システム１０−１の検出ユニット１６−１により、プレーヤＰ１を検出対象とする検出３次元形状情報を取得するとともに、画像認識システム１０−２の検出ユニット１６−２により、プレーヤＰ２を検出対象とする検出３次元形状情報を取得する（ステップＳ２０）。すると画像認識システム１０−１のＰＣ１８−１により、プレーヤＰ１を検出対象とする検出３次元形状情報に基づいて、プレーヤＰ１に対応するアバタキャラクタのオブジェクト形状情報を生成するとともに、画像認識システム１０−２のＰＣ１８−２により、プレーヤＰ２を検出対象とする検出３次元形状情報に基づいて、プレーヤＰ２に対応するアバタキャラクタのオブジェクト形状情報を生成する（ステップＳ２２）。
【０１０３】
すると、ＰＣ１８−１、ＰＣ１８−２により、それぞれで生成したアバタキャラクタＡＣ１、ＡＣ２のオブジェクト形状情報を互いに送受信し（ステップＳ２４、ステップＳ２６）、他の画像認識システムにおいて生成されたオブジェクト形状情報をオブジェクト空間に設定する（ステップＳ２８）。そしてプレーヤＰ１、プレーヤＰ２がそれぞれ自らに対応するアバタキャラクタＡＣ１、ＡＣ２について予め設定したテクスチャをアバタキャラクタＡＣ１、ＡＣ２の顔の一部にマッピングする（ステップＳ３０）。例えばアニメキャラクタの目や口などのテクスチャを、アバタキャラクタＡＣ１、ＡＣ２の目や口に対応する位置にマッピングする。そしてかかるアバタキャラクタＡＣ１、ＡＣ２のオブジェクト形状情報が設定されたオブジェクト空間を描画する（ステップＳ３２）。
【０１０４】
こうして本実施形態によれば、図６に示すように、画像認識システム１０−１の表示部１４−１には、プレーヤＰ２を検出対象物として取得した検出３次元形状情報に基づいて生成されたアバタキャラクタＡＣ２を表示させ、画像認識システム１０−２の表示部１４−２には、プレーヤＰ１を検出対象物として取得した検出３次元形状情報に基づいて生成されたアバタキャラクタＡＣ１を表示させていわゆるアバタコミュニケーションを行うことができる。
【０１０５】
４−２．コマンド出力処理
次に本実施形態の画像認識システム１０を用いて、取得した検出３次元形状情報と基準３次元形状情報とを比較し、比較結果に基づいて対応するコマンド信号を出力する処理を行う一例について説明する。本実施形態では、図８に示すように、検出ユニット１６の前で手話を行い、手話の手の形状に対応する文字情報を表示部１４に表示させている。
【０１０６】
図９のフローチャートに示すように本実施形態では、まず、検出ユニット１６によりプレーヤを検出対象とする検出３次元形状情報を取得する（ステップＳ４０）。すると、記憶部に記憶された手話の手の形状を規定する基準３次元形状情報と、取得された検出３次元形状情報とを比較する（ステップＳ４２）。ここで取得された検出３次元形状情報には、プレーヤの右手ＲＨの形状に対応する３次元形状情報の他、プレーヤのその他の部位に対応する３次元形状情報や、背景の３次元形状情報なども含まれる。しかも手話は手を体の前に位置させて行われる場合が多く、手が検出部に対して利用者の体と重なる位置にある場合が多い。しかし本実施形態によれば、検出ユニット１６の撮像空間の３次元座標系において、手話を構成する手の３次元形状情報を取得することができるので、手話を構成する手のみを抽出してこれを基準３次元形状情報と比較することができる。即ち本実施形態によれば、検出ユニット１６に対して重なり合う位置にある検出対象物も３次元的に形状を解析することにより、検出対象物から素早くしかも正確に所望の情報を抽出することができる。
【０１０７】
そして比較の結果、一致する基準３次元形状情報が有る場合には（ステップＳ４４のＹ）、対応するコマンド信号を出力し（ステップＳ４６）、コマンド信号に基づいて画像出力する（ステップＳ４８）。例えば図８に示すように、プレーヤＰが右手ＲＨで人差し指を立てると、かかる右手ＲＨの形状を抽出して基準３次元形状情報と比較判定し、「一番」という文字を表示部１４に表示させるコマンド信号を出力する。
【０１０８】
４−３．操作入力処理
次に本実施形態の画像認識システム１０を用いて、検出対象物が予め定められた３次元形状を有するものであれば、検出対象物を操作検出対象物として設定し、プレーヤが操作検出対象物を操作して検出対象物の形状や位置が変化すると、これを操作入力として検出し、対応する操作信号を出力する処理を行う一例について説明する。図１０（Ａ）は、円環状の操作体ＲＭを車のハンドルとして設定し、検出ユニット１６に向かう方向を回転軸として円環状の操作体ＲＭを回転させることにより、対応する操作信号を出力する例であり、図１０（Ｂ）は、棒状の操作体ＢＭを飛行機の操縦桿として設定し、検出ユニット１６に対して棒状の操作体ＢＭを前後左右に傾倒させることにより、対応する操作信号を出力する例である。
【０１０９】
図１１のフローチャートに示すように本実施形態では、ゲームを実行する前に、まず操作検出対象を設定するための設定モードを実行する（ステップＳ６０）。そして検出ユニット１６により、プレーヤが操作する操作体を検出対象とする検出３次元形状情報を取得する（ステップＳ６２）。すると、記憶部に記憶された操作体の形状を規定する基準３次元形状情報と、取得された検出３次元形状情報とを比較する（ステップＳ６４）。ここで取得された検出３次元形状情報には、操作体の形状に対応する３次元形状情報の他、プレーヤに対応する３次元形状情報や、背景の３次元形状情報なども含まれるが、上述の通り本実施形態によれば、検出ユニット１６の撮像空間の３次元座標系において、操作体の３次元形状情報を取得して、操作体のみを抽出してこれを基準３次元形状情報と比較する。
【０１１０】
そして比較の結果、一致する基準３次元形状情報が有る場合には（ステップＳ６６のＹ）、検出３次元形状情報に対応する検出対象物を操作検出対象物として設定する（ステップＳ６８）。例えば図１０（Ａ）の場合には、円環状の操作体ＲＭが車のハンドルの基準３次元形状情報と一致するので、円環状の操作体ＲＭを車のハンドルとして設定し、図１０（Ｂ）の場合には、棒状の操作体ＢＭが飛行機の操縦桿の基準３次元形状情報と一致するので、棒状の操作体ＢＭを飛行機の操縦桿として設定する。そして設定された操作検出対象物の種類に応じた操作アルゴリズムを設定する（ステップＳ６９）。例えば図１０（Ａ）の場合には、検出ユニット１６に向かう方向を回転軸としてプレーヤが円環状の操作体ＲＭを回転させる操作を行うと、オブジェクト空間に設定される車オブジェクト（移動体オブジェクト）ＭＯの移動方向を変化させる操作アルゴリズムを設定し、図１０（Ｂ）の場合には、検出ユニット１６に対してプレーヤが棒状の操作体ＢＭを前後左右に傾倒させる操作を行うと、オブジェクト空間に設定される飛行機オブジェクト（移動体オブジェクト）ＡＯの移動方向を変化させる操作アルゴリズムを設定する。
【０１１１】
こうして操作検出対象物と操作アルゴリズムが設定されると、設定された操作検出対象物と操作アルゴリズムとに対応するゲームを実行する（ステップＳ７０）。すると検出ユニット１６により、プレーヤが操作する操作体を検出対象とする検出３次元形状情報を取得する（ステップＳ７２）。そして、検出３次元形状情報の変化に基づいて操作信号を出力し（ステップＳ７４）、操作信号に基づいてオブジェクト空間に設定される移動体オブジェクトの移動・動作処理を行う（ステップＳ７６）。例えば図１０（Ａ）の場合には、検出ユニット１６に向かう方向を回転軸とした円環状の操作体ＲＭの回転量に応じて、車オブジェクト（移動体オブジェクト）の移動方向を変化させ、図１０（Ｂ）の場合には、検出ユニット１６に対する棒状の操作体ＢＭの傾倒方向と傾倒量に応じて、飛行機オブジェクト（移動体オブジェクト）の移動方向を変化させる。そして、移動体オブジェクトがオブジェクト空間を移動・動作する画像を描画する（ステップＳ７８）。
【０１１２】
４−４．アイテム認識処理
次に本実施形態の画像認識システム１０を用いて、検出対象物が予め定められた３次元形状を有するものであれば、予め定められた３次元形状に対応するオブジェクト形状情報を３次元オブジェクト空間に設定する処理を行う一例について説明する。図１２（Ａ）は、プレーヤが剣の形状をした剣アイテム体ＫＭを持っていれば、キャラクタオブジェクトＣＯが剣アイテムオブジェクトＫＯを持っている画像を描画する例であり、盾の形状をした盾アイテム体ＴＭを持っていれば、キャラクタオブジェクトＣＯが盾アイテムオブジェクトＴＯを持っている画像を描画する例である。
【０１１３】
図１３のフローチャートに示すように本実施形態では、まず検出ユニット１６により、プレーヤが持っているアイテム体を検出対象とする検出３次元形状情報を取得する（ステップＳ９０）。すると、記憶部に記憶されたアイテム体の形状を規定する基準３次元形状情報と、取得された検出３次元形状情報とを比較する（ステップＳ９２）。そして比較の結果、一致する基準３次元形状情報が有る場合には（ステップＳ９４のＹ）、検出３次元形状情報に対応するオブジェクト形状情報をオブジェクト空間に設定し（ステップＳ９６）、当該オブジェクト空間を描画する（ステップＳ９８）。例えば図１２（Ａ）の場合には、剣アイテム体ＫＭが剣アイテムオブジェクトＫＯに一致するので、キャラクタオブジェクトＣＯが剣アイテムオブジェクトＫＯを持っている画像を描画し、図１２（Ｂ）の場合には、盾アイテム体ＴＭが盾アイテムオブジェクトＴＯに一致するので、キャラクタオブジェクトＣＯが盾アイテムオブジェクトＴＯを持っている画像を描画する。そして、設定したオブジェクト形状情報が、他のオブジェクトに対応するオブジェクト形状情報とオブジェクト空間内で重なった場合には、即ちヒットしたと判定した場合には（ステップＳ１００のＹ）、他のオブジェクトが壊れるなどのヒット処理を行う（ステップＳ１０２）。
【０１１４】
４−５．移動認識処理
次に本実施形態の画像認識システム１０を用いて、検出対象物の位置の変化に応じて、所与のオブジェクトの位置が変化する画像を描画する処理を行う一例について説明する。図１４は、プレーヤが検出ユニット１６に向かって発泡スチロールや紙などでできた被投てき物ＨＭを投げると、投げられた被投てき物ＨＭの移動とともに対応するボールオブジェクトＢＯが移動する（投げられる）画像を描画する例である。
【０１１５】
図１５のフローチャートに示すように本実施形態では、まず検出ユニット１６により、プレーヤが持っている被投てき物ＨＭを検出対象とする検出３次元位置情報を取得する（ステップＳ１１０）。すると、検出３次元位置情報に基づいて、ボールオブジェクトＢＯをオブジェクト空間に設定し（ステップＳ１１２）、当該オブジェクト空間を描画する（ステップＳ１１４）。そして、設定したボールオブジェクトＢＯが他のオブジェクトとオブジェクト空間内で重なった場合には、即ちヒットしたと判定した場合には（ステップＳ１１６のＹ）、他のオブジェクトが壊れたり、ボールオブジェクトＢＯの移動方向が変化するなどのヒット処理を行う（ステップＳ１１８）。そしてステップＳ１１０〜ステップＳ１１８までの処理を１／３０秒毎に繰返し、ボールオブジェクトＢＯがオブジェクト空間を移動する画像を描画する。
【０１１６】
こうして本実施形態の画像認識システム１０では、検出ユニット１６の撮像空間の３次元座標系において、検出対象物の３次元形状情報や３次元位置情報を取得することにより、検出対象物の形状や位置を３次元的に解析して上記種々の処理を行うことができる。
【０１１７】
なお、上述の操作入力処理における操作体や、アイテム認識処理におけるアイテム体については、判定基準となる基準３次元情報を厳密に設定し、検出３次元形状情報が基準３次元情報とほぼ同一でなければ一致しないと判定するようにしてもよいし、判定基準となる基準３次元情報を厳密に設定せず、検出３次元形状情報が基準３次元情報に近似していれば一致すると判定するようにしてもよい。ここで一致判定を厳密に行う場合には、基準３次元情報とほぼ同一形状の操作体やアイテム体をプレーヤに提供するようにしてもよい。一方、一致判定を厳密に行わない場合には、基準３次元情報に近似する形状の身の回りにある物体を操作体やアイテム体として用いるようにしてもよい。
【０１１８】
また、人間の骨格や人間の動きに関する情報を予め記憶しておき、撮像空間の３次元情報のうちプレーヤに対応する３次元情報を特定することにより、手話の手に対応する３次元情報や、操作体、アイテム体、被投てき体などの３次元情報を特定するようにしてもよい。
【０１１９】
５．ハードウェア構成
図１６に本実施形態を実現できるハードウェア構成の例を示す。メインプロセッサ９００は、ＣＤ９８２（情報記憶媒体）に格納されたプログラム、通信インターフェース９９０を介してダウンロードされたプログラム、或いはＲＯＭ９５０に格納されたプログラムなどに基づき動作し、ゲーム処理、画像処理、音処理などを実行する。コプロセッサ９０２は、メインプロセッサ９００の処理を補助するものであり、マトリクス演算（ベクトル演算）を高速に実行する。例えばオブジェクトを移動させたり動作（モーション）させる物理シミュレーションに、マトリクス演算処理が必要な場合には、メインプロセッサ９００上で動作するプログラムが、その処理をコプロセッサ９０２に指示（依頼）する。
【０１２０】
ジオメトリプロセッサ９０４は、メインプロセッサ９００上で動作するプログラムからの指示に基づいて、座標変換、透視変換、光源計算、曲面生成などのジオメトリ処理を行うものであり、マトリクス演算を高速に実行する。データ伸張プロセッサ９０６は、圧縮された画像データや音データのデコード処理を行ったり、メインプロセッサ９００のデコード処理をアクセレートする。これにより、オープニング画面やゲーム画面において、ＭＰＥＧ方式等で圧縮された動画像を表示できる。
【０１２１】
描画プロセッサ９１０は、ポリゴンや曲面などのプリミティブ面で構成されるオブジェクトの描画（レンダリング）処理を実行する。オブジェクトの描画の際には、メインプロセッサ９００は、ＤＭＡコントローラ９７０を利用して、描画データを描画プロセッサ９１０に渡すと共に、必要であればテクスチャ記憶部９２４にテクスチャを転送する。すると描画プロセッサ９１０は、描画データやテクスチャに基づいて、Ｚバッファなどを利用した隠面消去を行いながら、オブジェクトをフレームバッファ９２２に描画する。また描画プロセッサ９１０は、αブレンディング（半透明処理）、デプスキューイング、ミップマッピング、フォグ処理、バイリニア・フィルタリング、トライリニア・フィルタリング、アンチエリアシング、シェーディング処理なども行う。１フレーム分の画像がフレームバッファ９２２に書き込まれるとその画像はディスプレイ９１２に表示される。
【０１２２】
サウンドプロセッサ９３０は、多チャンネルのＡＤＰＣＭ音源などを内蔵し、ＢＧＭ、効果音、音声などのゲーム音を生成し、スピーカ９３２を介して出力する。ゲームコントローラ９４２やメモリカード９４４からのデータはシリアルインターフェース９４０を介して入力される。
【０１２３】
ＲＯＭ９５０にはシステムプログラムなどが格納される。業務用ゲームシステムの場合にはＲＯＭ９５０が情報記憶媒体として機能し、ＲＯＭ９５０に各種プログラムが格納される。なおＲＯＭ９５０の代わりにハードディスクを利用してもよい。ＲＡＭ９６０は各種プロセッサの作業領域となる。ＤＭＡコントローラ９７０は、プロセッサ、メモリ間でのＤＭＡ転送を制御する。ＤＶＤドライブ９８０は、プログラム、画像データ、或いは音データなどが格納されるＤＶＤ９８２にアクセスする。通信インターフェース９９０はネットワーク（通信回線、高速シリアルバス）を介して外部との間でデータ転送を行う。
【０１２４】
なお本実施形態の各部（各手段）の処理は、その全てをハードウェアのみにより実現してもよいし、情報記憶媒体に格納されるプログラムや通信インターフェースを介して配信されるプログラムにより実現してもよい。或いは、ハードウェアとプログラムの両方により実現してもよい。
【０１２５】
そして本実施形態の各部の処理をハードウェアとプログラムの両方により実現する場合には、情報記憶媒体には、ハードウェア（コンピュータ）を本実施形態の各部として機能させるためのプログラムが格納される。より具体的には、上記プログラムが、ハードウェアである各プロセッサ９０２、９０４、９０６、９１０、９３０に処理を指示すると共に、必要であればデータを渡す。そして、各プロセッサ９０２、９０４、９０６、９１０、９３０は、その指示と渡されたデータとに基づいて本発明の各部の処理を実現する。
【０１２６】
６．変形例
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。
【０１２７】
また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【０１２８】
また本発明は種々の指示位置演算システムに適用できる。上述の実施形態では、本発明をゲームシステムに適用した場合を例に挙げて説明したが、本発明は、プレゼンテーションシステムなどの種々の指示位置演算システム、及び指示位置演算システムに用いる指示体に適用することができる。
【図面の簡単な説明】
【０１２９】
【図１】本実施形態のシステムの概略外観の一例を示す図。
【図２】本実施形態のシステムの原理を説明するための図。
【図３】本実施形態で撮像された画像の一例を説明するための図。
【図４】本実施形態のシステムの原理を説明するための図。
【図５】本実施形態のシステムの機能ブロックの一例を示す図。
【図６】本実施形態のシステムの処理の一例を説明するための図。
【図７】本実施形態の処理の一例を示すフローチャート図。
【図８】本実施形態のシステムの処理の一例を説明するための図。
【図９】本実施形態の処理の一例を示すフローチャート図。
【図１０】図１０（Ａ）、（Ｂ）は本実施形態のシステムの処理の一例を説明するための図。
【図１１】本実施形態の処理の一例を示すフローチャート図。
【図１２】図１２（Ａ）、（Ｂ）は本実施形態のシステムの処理の一例を説明するための図。
【図１３】本実施形態の処理の一例を示すフローチャート図。
【図１４】本実施形態のシステムの処理の一例を説明するための図。
【図１５】本実施形態の処理の一例を示すフローチャート図。
【図１６】本実施形態のシステムのハードウェア構成の一例を示す図。
【符号の説明】
【０１３０】
Ｐ プレーヤ、ＴＯ 標的オブジェクト、ＤＬ 出力波、ＲＬ 反射波、ＷＬ 壁、
ＰＯ 撮像対象物、ＰＡ 撮像領域、ＰＳ 撮像空間、ＷＰ 重心位置、Ｎ 法線、
１０ ゲームシステム、１２ 表示画面、１４ 表示部、１６ 検出ユニット、
１８ ゲーム機、２０ 出力部、２２ 検出部、２４ ３次元情報取得部、
１００ 処理部、１０１ 比較部、１０２ コマンド信号出力部、１０３ 出力制御部、
１０４ 操作検出対象物設定部、１０５ 操作アルゴリズム設定部、
１０６ 操作信号出力部、１０７ オブジェクト生成部、
１０８ オブジェクト空間設定部、１０９ 移動・動作処理部、１１０ 判定部、
１２０ 描画処理部、１２１ テクスチャマッピング部、１３０ 音生成部、
１４０ 通信制御部、１７０ 記憶部、１８０ 情報記憶媒体
【技術分野】
【０００１】
本発明は、画像認識システムに関する。
【背景技術】
【０００２】
従来から、システム利用者の手や足などに発光体を装着させた上で利用者の画像を撮像し、画像における発光体の位置の変化に基づいて利用者の動きなどを検出し、利用者の動きに応じた画像を表示させる画像認識システムが知られている。
【特許文献１】特開２０００−３３１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし従来の画像認識システムでは、利用者の手や足などに発光体を装着させる必要があったため、また画像における発光体の位置の変化を２次元的に解析していたため、利用者の動きなどを簡易かつ詳細に検出して利用者の動きなどに応じた画像を生成し、これをコミュニケーションやゲームのために用いることができなかった。
【０００４】
本発明は以上のような課題に鑑みてなされたものであり、その目的とするところは、利用者などの検出対象物を簡易かつ３次元的に検出して画像を生成することにより、例えばキーボードなどが無いゲーム専用機でのネットゲームコミュニケーションに役立たせたり、キーボードがあっても、操作を簡易化したりコミュニケーションの表現の幅を広げることができる画像認識システムを提供することにある。また本発明の他の目的は、例えば実際の回路や電源、ケーブルなどが不要のコントローラにより操作入力を行うことができる画像認識システムを提供することにある。また本発明の他の目的は、操作入力を簡素化できる画像認識システムを提供することにある。また本発明の他の目的は、例えば利用者が実際に持っている物などを反映した画像を生成することができる画像認識システムを提供することにある。
【課題を解決するための手段】
【０００５】
（１）本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
所与の３次元オブジェクト空間に設定される３次元オブジェクトの形状を規定するオブジェクト形状情報を、前記検出３次元形状情報に基づいて生成するオブジェクト生成部と、
前記生成されたオブジェクト形状情報を外部装置との間で送受信する通信制御部と、
前記受信されたオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システムに関係する。
【０００６】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【０００７】
本発明において「検出３次元形状情報」とは、例えば検出部の中心点などを基準点とする座標系の座標情報とすることができ、検出対象物の形状を規定するのみならず、検出部の検出方向における検出対象物の位置、向きを規定する情報とすることができる。
【０００８】
本発明では、出力部が出力した出力波の反射波を検出部が検出し、検出した反射波に基づいて検出対象物の検出３次元形状情報を取得する。そして取得した検出３次元形状情報に基づいてオブジェクト形状情報を生成し、オブジェクト形状情報を外部装置との間で送受信する。これにより本発明によれば、自分（本人）の端末装置において取得した検出３次元形状情報に基づく３次元オブジェクトを、他人の端末装置において表示させたり、他人の端末装置において取得された検出３次元形状情報に基づく３次元オブジェクトを、自分の端末装置において表示させたりしながらコミュニケーションを行うことができる。例えば自分の端末装置において自らを検出対象物とした検出３次元形状情報を取得し、自らに対応するオブジェクト形状情報を生成し、これを他人の端末装置に送信することにより、他人の端末装置において自らに対応する３次元オブジェクト（キャラクタ）を表示させることができる。
【０００９】
（２）また本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
所与の３次元オブジェクト空間に設定される複数種類の３次元オブジェクトの形状を規定する複数種類のオブジェクト形状情報を記憶するオブジェクト形状情報記憶部と、
前記検出３次元形状情報に対応する前記オブジェクト形状情報を、前記検出３次元形状情報に基づいて選択するオブジェクト形状情報選択部と、
前記選択されたオブジェクト形状情報を外部装置との間で送受信する通信制御部と、
前記受信されたオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システムに関係する。
【００１０】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００１１】
これにより本発明によれば、自分（本人）の端末装置において取得した検出３次元形状情報に応じて選択された３次元オブジェクトを、他人の端末装置において表示させたり、他人の端末装置において取得された検出３次元形状情報に応じて選択された３次元オブジェクトを、自分の端末装置において表示させたりしながらコミュニケーションを行うことができる。例えば自分の端末装置において自らを検出対象物とした検出３次元形状情報を取得し、自らに対応するオブジェクト形状情報を選択し、これを他人の端末装置に送信することにより、他人の端末装置において自らに対応する３次元オブジェクトを表示させることができる。
【００１２】
（３）また本発明に係る画像認識システムでは、
前記オブジェクト形状情報選択部に選択されたオブジェクト形状情報を、前記検出３次元形状情報に基づいて補正するオブジェクト形状情報補正部を更に含み、
前記通信制御部が、
前記オブジェクト形状情報補正部に補正された補正後のオブジェクト形状情報を外部装置との間で送受信するようにしてもよい。
【００１３】
本発明によれば、例えば自らの検出３次元形状情報に対応するオブジェクト形状情報を選択した場合に、選択されたオブジェクト形状情報を自らの検出３次元形状情報に近づけるように補正することができる。これにより本発明によれば、予め記憶させておくオブジェクト形状情報のデータ容量を抑えつつ、検出対象物により近い３次元オブジェクトを表示させることができる。
【００１４】
（４）また本発明に係る画像認識システムでは、
前記生成されたオブジェクト形状情報の一部に所与のテクスチャをマッピングして、前記オブジェクト形状情報を前記３次元オブジェクト空間に設定するテクスチャマッピング部を更に含むようにしてもよい。
【００１５】
本発明によれば、例えば自らに対応するオブジェクト形状情報を生成した場合に、他人の端末装置において自らに対応する３次元オブジェクト（キャラクタ）を表示させる際に、例えば顔の一部に対応する部分に所与のテクスチャをマッピングすることにより、他人の端末装置において表示させる３次元オブジェクトに独自性を与えつつも匿名性を維持することができる。
【００１６】
（５）また本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、対応するコマンド信号を出力するコマンド信号出力部と、
前記コマンド信号に対応する画像情報、音情報の少なくとも一方を記憶する出力情報記憶部と、
前記出力されたコマンド信号に基づいて、対応する画像情報、音情報の少なくとも一方を出力させる出力制御部とを含むことを特徴とする画像認識システムに関係する。
【００１７】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００１８】
本発明では、取得した検出３次元形状情報と基準３次元形状情報とを比較し、比較結果に基づいて対応するコマンド信号を出力する。これにより本発明によれば、例えば手話などのように、検出部に対して利用者の体と重なる位置にある手により形成されている形状を３次元的に解析し、手の形状に応じたコマンド信号を出力することができる。こうして本発明によれば、例えば手話における手の形状を画像認識システムに認識させることができ、例えば手の形状に応じたコマンド信号に対応する文字情報や音声情報を出力して、手話を翻訳するように構成することもできる。
【００１９】
（６）また本発明に係る画像認識システムでは、
前記３次元情報取得部が、
前記出力波が反射した検出対象物の３次元形状の所定期間における変化を規定する検出３次元動作情報を、前記反射波に基づいて取得し、
前記基準情報記憶部が、
予め定められた３次元形状の所定期間における変化を規定する基準３次元動作情報を記憶し、
前記比較部が、
前記基準３次元動作情報と前記検出３次元動作情報とを比較するようにしてもよい。
【００２０】
本発明では、取得した検出３次元動作情報と基準３次元形状動作とを比較し、比較結果に基づいて対応するコマンド信号を出力する。これにより本発明によれば、例えば手の形状のみならず手の動きなどの動作を３次元的に解析し、手の３次元的な動きに応じたコマンド信号を出力することができる。こうして本発明によれば、検出対象物の２次元的な動きではなく３次元的な動きに応じて種々のコマンド信号を出力させる画像認識システムを実現することができる。
【００２１】
（７）また本発明に係る画像認識システムでは、
前記出力されたコマンド信号を外部装置との間で送受信する通信制御部を更に含み、
前記出力制御部が、
前記受信されたコマンド信号に基づいて、対応する画像情報、音情報の少なくとも一方を出力させるようにしてもよい。
【００２２】
本発明では、例えば自分の端末装置において取得した検出３次元形状情報に応じたコマンド信号に基づいて、対応する文字情報や音声情報を他人の端末装置において出力させたり、他人の端末装置において取得された検出３次元形状情報に応じたコマンド信号に基づいて、対応する文字情報や音声情報を自分の端末装置において出力させたりしながらコミュニケーションを行うことができる。
【００２３】
（８）また本発明は、
操作信号に基づいて、所与のオブジェクトの移動及び動作の少なくとも一方の制御を行う移動・動作処理部と、
前記所与のオブジェクトが移動及び動作の少なくとも一方を行う画像を描画する描画処理部と、
を含む画像認識システムであって、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報、及び前記検出対象物の３次元位置を規定する検出３次元位置情報の少なくとも一方を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、前記検出３次元形状情報に対応する前記検出対象物を操作検出対象物として設定する操作検出対象物設定部と、
前記設定された操作検出対象物について取得された前記検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、前記操作信号を出力する操作信号出力部と、
を更に含むことを特徴とする画像認識システムに関係する。
【００２４】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００２５】
本発明では、検出対象物が予め定められた３次元形状を有するものであれば、検出対象物を操作検出対象物として設定する。そして検出対象物の形状や位置が変化すると、これを操作入力として検出し、対応する操作信号を出力する。このように本発明によれば、所与のオブジェクトの移動・動作を操作するための入力インターフェースとして検出部を利用した画像認識システムを構築することができる。
【００２６】
（９）また本発明に係る画像認識システムでは、
前記基準情報記憶部に記憶された複数の基準３次元形状情報の各基準３次元形状情報に対応する操作アルゴリズムを記憶する操作アルゴリズム記憶部と、
前記比較部の比較結果に基づいて、前記検出３次元形状情報に対応する前記基準３次元形状情報に応じた操作アルゴリズムを設定する操作アルゴリズム設定部と、
を更に含み、
前記操作信号出力部が、
前記設定された操作検出対象物について取得された前記検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、前記設定された操作アルゴリズムに応じた操作信号を出力するようにしてもよい。
【００２７】
本発明では、検出対象物の３次元形状に応じて複数の操作アルゴリズムが用意されており、例えば円環状の検出対象物が検出された場合にはこれを車のハンドルという操作検出対象物に設定し、車のハンドルに対応する操作アルゴリズムを設定する。そして利用者がハンドルを回転させるように操作検出対象物を回転させると、操作検出対象物の回転量に応じて例えば車オブジェクトの向きを変化させる画像を描画する。また例えば棒状の検出対象物が検出された場合にはこれを飛行機の操縦桿という操作検出対象物に設定し、飛行機の操縦桿に対応する操作アルゴリズムを設定する。そして利用者が操縦桿を操作するように操作検出対象物を傾倒させる操作を行うと、操作検出対象物の傾倒量に応じて例えば飛行機オブジェクトの向きを変化させる画像を描画する。このように本発明によれば、操作検出対象物の３次元形状に応じて種々の操作入力を行うことができる入力インターフェースを実現することができる。
【００２８】
（１０）また本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、所与のオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システムに関係する。
【００２９】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００３０】
本発明において「基準３次元形状情報」とは、形状情報を比較判定するための３次元形状情報でもよいし、オブジェクト空間に設定されるオブジェクト形状情報そのものでもよい。
【００３１】
本発明では、取得した検出３次元形状情報と基準３次元形状情報とを比較し、比較結果に基づいてオブジェクト形状情報を３次元オブジェクト空間に設定する。例えば利用者がテニスラケットの形状をした検出対象物を持っていれば、キャラクタオブジェクトがテニスラケットを持っている画像を描画する。ここで本発明によれば、例えば利用者がテニスラケットを検出部に対して利用者の体と重なる位置に構えていても、テニスラケットの形状を３次元的に解析し、利用者が持っているものを認識することができる。従って本発明によれば、検出対象物の配置状況に関わらず検出対象物の検出３次元形状情報を取得して、対応するオブジェクト形状情報を３次元オブジェクト空間に設定することができる。
【００３２】
（１１）また本発明に係る画像認識システムでは、
前記オブジェクト形状情報記憶部が、
複数種類のオブジェクト形状情報を記憶し、
前記オブジェクト空間設定部が、
前記比較部の比較結果に基づいて、前記複数種類のオブジェクト形状情報のうち前記検出３次元形状情報に対応する前記オブジェクト形状情報を前記３次元オブジェクト空間に設定するようにしてもよい。
【００３３】
本発明によれば、例えば利用者が剣の形状をした検出対象物を持っていれば、キャラクタオブジェクトが剣アイテムを持っている画像を描画し、盾の形状をした検出対象物を持っていれば、キャラクタオブジェクトが盾アイテムを持っている画像を描画するようにすることができる。このように本発明によれば、検出対象物の３次元形状に応じて種々の３次元オブジェクトの画像を描画することができる。
【００３４】
（１２）また本発明に係る画像認識システムでは、
前記オブジェクト空間設定部が、
所与のイベントの発生に基づいて、前記３次元オブジェクト空間に設定するオブジェクト形状情報を変更するようにしてもよい。
【００３５】
本発明によれば、例えば利用者が剣の形状をした検出対象物を持っており、キャラクタオブジェクトが剣アイテムを持っている画像を描画している場合に、所与のイベントの発生に基づいて剣アイテムが壊れるような画像を描画することができる。
【００３６】
（１３）また本発明は、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記検出対象物の３次元形状を規定する検出３次元位置情報を、前記反射波に基づいて取得する３次元情報取得部と、
前記取得された検出３次元形状情報に基づいて、所与のオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システムに関係する。
【００３７】
また本発明は、前記各部としてコンピュータを機能させるプログラム及びプログラムを記憶した情報記憶媒体に関係する。
【００３８】
本発明では、出力部が出力した出力波の反射波を検出部が検出し、検出した反射波に基づいて検出対象物の検出３次元形状情報を取得する。そして取得した検出３次元形状情報に基づいて、現実世界における検出対象物の形状や位置、向きの変化に応じて、所与のオブジェクトの形状や位置、向きが変化する画像を描画することができる。例えば検出部に向かって所与の物体を投げると、投げられた物体の移動とともに対応するオブジェクトが移動する（投げられる）画像を描画することができる。
【００３９】
（１４）また本発明に係る画像認識システムでは、
前記３次元オブジェクト空間に設定された前記オブジェクト形状情報と他のオブジェクト形状情報との前記３次元オブジェクト空間における重なりを判定する判定部を更に含むようにしてもよい。
【００４０】
本発明によれば、利用者が持っている検出対象物や、利用者が投げた検出対象物に対応するオブジェクトと、その他のオブジェクトとのヒット判定を行うことにより、例えば、操作者が持つテニスラケットに対応するテニスラケットオブジェクトによりボールを打つテニスゲームを構成したり、操作者が投げた紙くずに対応する雪玉オブジェクトにより雪合戦を行う雪合戦ゲームを構成したりすることができる。
【発明を実施するための最良の形態】
【００４１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４２】
１．システム概略
図１は、本実施形態の画像認識システムを適用したゲームシステム１０の概略外観図である。本実施形態のゲームシステム１０は、表示画面１２に標的オブジェクトＴＯなどのゲーム画像を表示させる表示部１４と、表示部１４の上面に設置され表示部１４の正面方向の検出対象物の３次元形状情報と３次元位置情報とを検出するための検出ユニット１６と、検出対象物の３次元形状情報を用いて種々の処理を行うゲーム機１８とを含む。検出ユニット１６には、検出ユニット１６の左端部に設置され、表示部１４の正面方向（プレーヤＰの方向）に向けて赤外光などの所定の波長の出力波を出力する出力部２０と、検出ユニット１６の右端部に設置され、出力波の反射波を検出する検出部２２とが設けられている。特に本実施形態では、出力部２０は赤外光を出力する赤外光ＬＥＤにより構成され、検出部２２は赤外光イメージセンサにより構成されている。そして検出部２２は、表示部１４の正面方向から入射する赤外光（出力部２０が出力した赤外光の反射光）を受光面において受光して、これを画像として取得する（撮像する）。
【００４３】
更に検出ユニット１６には、ＡＳＩＣや、ＭＣＵなどで構成される３次元情報取得部２４が設けられている。３次元情報取得部２４は、反射波を受光した検出部２２の受光面における受光位置ごとの反射波の位相のずれなどに基づいて、プレーヤＰなどの撮像対象物（検出対象物）の画像を、撮像対象物を含む撮像空間の３次元座標系情報（検出３次元形状情報、検出３次元位置情報）として取得する。そしてゲーム機１８は、撮像対象物であるプレーヤＰの３次元座標情報に基づいて、プレーヤＰの姿勢や動きなどを認識して、対応する画像を表示画面１２に表示させたり、音声を出力させる。またインターネットなどのネットワークを介して、他人のゲーム機１８に３次元位置情報や３次元位置情報に基づく情報を送信して、他人の表示部１４の表示画面１２に自らに対応する画像を表示させる。
【００４４】
なお本実施形態では検出部２２の前面側に、赤外光に対応する波長帯の光（出力部２０からの光と同様の波長の光）のみを透過させるフィルタを設け、検出部２２が受光する光が所定の波長帯の光となるようにしている。なおフィルタを設けずに、赤外光（所定の波長の光）が含まれる所定範囲の波長帯の受光感度特性を有するイメージセンサを検出部２２として用いるようにしてもよい。また、ゲーム機１８に種々の操作入力を行うためのコントローラを接続するようにしてもよい。
【００４５】
２．本実施形態の手法
次に、本実施形態の検出ユニット１６が、プレーヤＰなどの撮像対象物の画像を３次元座標系情報（検出３次元形状情報、検出３次元位置情報）として取得する原理について説明する。本実施形態では３次元情報取得部２４が、検出部２２と撮像対象物であるプレーヤＰとの相対的な位置関係を規定する情報として距離情報を取得する。
【００４６】
図２は、表示部１４と、表示部１４の上面に配置された検出ユニット１６と、撮像対象物であるプレーヤＰとを真横から見た平面図である。図２に示すように本実施形態では、検出ユニット１６の出力部２０が、検出ユニット１６の検出方向（表示部１４の正面方向）に赤外光ＤＬを出力すると、検出ユニット１６の検出部２２が、検出ユニット１６の検出方向からの反射光ＲＬを検出する。ここで反射光ＲＬは、出力部２０から出力された直接光の反射光であるが、検出部２２からの距離が相対的に近いプレーヤＰの右手ＲＨで反射した反射光ＲＬ１と、相対的に遠いプレーヤＰの頭部ＨＤで反射した反射光ＲＬ２とでは、検出部２２に到達したときに位相差が発生する。そこで本実施形態の検出部２２は、検出部２２の受光面において受光した反射光ＲＬの位相差を、受光面に配列された受光素子（画素）ごとに検出する（撮像する）。そして３次元情報取得部２４が、画素ごとの位相差に基づいて、検出部２２の検出方向（撮像空間、画角θ内）に存在する撮像対象物と検出部２２との距離情報を、画素ごとに取得する。
【００４７】
図３は、３次元情報取得部２４が取得した画素ごとの距離情報を説明するための図である。本実施形態の検出部２２では、矩形の受光面上に受光素子がマトリクス状に配列されているため、３次元情報取得部２４は、図３に示す矩形の撮像領域ＰＡにマトリクス状に配列される画素ごとに、撮像対象物ＰＯ（プレーヤＰ）と検出部２２との距離情報を取得する。従って図３に示すように、プレーヤＰの右手ＲＨに対応する画素と、頭部ＨＤに対応する画素と、体ＢＤに対応する画素と、左手ＬＨに対応する画素と、背景となる壁ＷＬに対応する画素と、床面ＧＳに対応する画素とについて、画素ごとに検出部２２からの距離情報が格納される。
【００４８】
図４は、検出部２２の撮像空間ＰＳ（画角θ内）における３次元座標系情報を説明するための図である。本実施形態の３次元情報取得部２４では、図４に示すように、検出部２２の受光面の重心位置ＷＰを原点Ｏとし、受光面の法線ＮをＺ軸とした３次元座標系において、撮像空間ＰＳ内にある撮像対象物ＰＯの受光面から見える面の３次元座標情報を取得している。即ち、検出部２２から見える撮像対象物ＰＯの表面（検出した反射波が反射した面）に対応する画素ごとの３次元座標値群をメモリ領域に格納する。こうして本実施形態の検出ユニット１６では、撮像空間ＰＳの３次元座標系において、撮像対象物ＰＯの３次元形状を規定する３次元形状情報と、撮像対象物ＰＯの３次元位置を規定する３次元位置情報とを取得することができる。
【００４９】
これにより本実施形態によれば、例えば手話などのように、検出部２２に対してプレーヤＰの体と重なる位置にある手により形成されている形状をも３次元的に解析し、例えば手の形状に応じたコマンド信号を出力することができる。こうして本実施形態によれば、例えば手話における手の形状を画像認識システム１０に認識させることができ、例えば手の形状に応じたコマンド信号に対応する文字情報や音声情報を出力して、手話を翻訳するように構成することもできる。
【００５０】
なお本実施形態では１／３０秒ごとに（１／３０秒を１フレームとして）、検出部２２が反射光ＲＬを受光し（リフレッシュし）、３次元情報取得部２４が撮像領域ＳＡの３次元情報を更新する。
【００５１】
３．機能ブロック
次に、図７を用いて本実施形態における指示位置演算システム（ゲームシステム）の構成について説明する。図７は、本実施形態における指示位置演算システムの機能ブロック図の一例である。なお、本実施形態の指示位置演算システムは、図７の構成要素（各部）の一部を省略した構成としてもよい。
【００５２】
検出ユニット１６は、出力部２０、検出部２２、３次元情報取得部２４を含む。
【００５３】
出力部２０は、検出ユニット１６の検出方向に所定の出力波を出力する。具体的には赤外光ＬＥＤなどの発光部や、超音波発生部など、所定波長の出力波を出力するデバイスにより実現できる。
【００５４】
検出部２２は、出力部２０と所定の位置関係を有し、出力部２０が出力した出力波の反射波を検出する。具体的には赤外光イメージセンサなどの所定波長の反射波を検出するデバイスにより実現できる。
【００５５】
３次元情報取得部２４は、各種プロセッサ（ＣＰＵ、ＭＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現でき、出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する。また３次元情報取得部２４は、検出対象物の３次元位置を規定する検出３次元位置情報を、反射波に基づいて取得する。また３次元情報取得部２４は、検出対象物の３次元形状の所定期間における変化を規定する検出３次元動作情報を、反射波に基づいて取得する。なお３次元情報取得部２４を検出ユニット１６に設けずに、処理部１００の機能として実現するようにしてもよい。
【００５６】
操作部２４は、プレーヤが操作データを入力するためのものであり、その機能は、レバー、ボタン、ステアリング、マイク、タッチパネル型ディスプレイ、或いは筺体などにより実現できる。
【００５７】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＶＲＡＭ）などにより実現できる。そして、本実施形態の記憶部１７０は、ワーク領域として使用される主記憶部１７１と、最終的な表示画像等が記憶される描画バッファ１７２と、複数種類のオブジェクトのモデルデータ（３次元オブジェクトの形状を規定するオブジェクト形状情報）が記憶されるオブジェクトデータ記憶部１７３と、オブジェクトデータ用のテクスチャが記憶されるテクスチャ記憶部１７４と、オブジェクトの画像の生成処理時にＺ値が記憶されるＺバッファ１７５と、を含む。なお、これらの一部を省略する構成としてもよい。
【００５８】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。
【００５９】
この情報記憶媒体１８０には、処理部１００において本実施形態の種々の処理を行うためのプログラム（データ）が記憶されている。即ち、この情報記録媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶されている。
【００６０】
表示部１４は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイなどにより実現できる。
【００６１】
音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００６２】
携帯型情報記憶装置１９４には、プレーヤの個人データやゲームのセーブデータなどが記憶されるものであり、この携帯型情報記憶装置１９４としては、メモリカードや携帯型ゲーム装置などがある。
【００６３】
通信部１９６は、外部（例えばホスト装置や他の画像生成システム）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。
【００６４】
なお、本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、ホスト装置（サーバー）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（記憶部１７０）に配信してもよい。このようなホスト装置（サーバー）の情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００６５】
処理部１００（プロセッサ）は、指示体１６からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの処理を行う。ここで、ゲーム処理としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、キャラクタやマップなどのオブジェクトを配置する処理、オブジェクトを表示する処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。この処理部１００は記憶部１７０をワーク領域として各種処理を行う。処理部１００の機能は各種プロセッサ、ＡＳＩＣなどのハードウェアや、プログラムにより実現できる。
【００６６】
特に、本実施形態の処理部１００は、比較部１０１、コマンド信号出力部１０２、出力制御部１０３、操作検出対象物設定部１０４、操作アルゴリズム設定部１０５、操作信号出力部１０６、オブジェクト生成部１０７、オブジェクト空間設定部１０８、移動・動作処理部１０９、判定部１１０、テクスチャマッピング部１１１、描画処理部１２０、音生成部１３０、通信制御部１４０を含む。なお、これらの一部を省略する構成としてもよい。
【００６７】
比較部１０１は、基準情報記憶部１７６に予め記憶された３次元形状を規定する基準３次元形状情報（比較用形状情報、テンプレート情報、オブジェクト形状情報）と、検出部２２が検出した検出対象の検出３次元形状情報とを比較する。具体的には、プレーヤがとるヨガのポーズや手話の手の形状などのプレーヤの姿勢や形状、ゲーム内で用いることができる剣や盾などのアイテム、テニスラケットや野球バットなどの操作対象、車のハンドルや飛行機の操縦桿などの操作検出対象などに対応するバウンディングボリュームなどを基準情報記憶部１７６に記憶させておき、検出３次元形状情報がいずれのバウンディングボリュームと一致するか否かを判定する。
【００６８】
また比較部１０１は、予め基準情報記憶部１７６に記憶された所定の３次元形状の所定期間における変化を規定する基準３次元動作情報と、検出部２２が検出した検出対象物の３次元形状の所定期間における変化を規定する検出３次元動作情報とを比較する。具体的には、例えばお辞儀をする動作や物を投げる動作などプレーヤの動作に対応するアニメーションなどを基準情報記憶部１７６に記憶させておき、検出３次元動作情報がいずれのアニメーションと一致するか否かを判定する。
【００６９】
コマンド信号出力部１０２は、比較部１０１の比較結果に基づいて、対応するコマンド信号を出力する。具体的にはコマンド信号出力部１０２は、例えば手話における手の形状に応じたコマンド信号を出力したり、プレーヤの姿勢に応じた評価を行うコマンド信号を出力する。
【００７０】
出力制御部１０３は、出力されたコマンド信号に基づいて、コマンド信号に対応する画像情報、音情報を記憶する出力情報記憶部１７７を参照し、対応する画像情報、音情報の少なくとも一方を出力させる。具体的には、手話における手の形状に対応する文字情報や音声情報を出力し手話を翻訳したり、プレーヤの姿勢に対する評価を行う文字情報や音声情報を出力する。
【００７１】
また出力制御部１０３は、表示制御処理として、表示部１４に表示出力される表示物（オブジェクト）の表示制御を行う。具体的には、表示物（ゲームキャラクタ、背景、標的、車、ボール、アイテム、建物、樹木、柱、壁、マップ）を発生させたり、表示物の表示位置を指示したり、表示物を消滅させたりするなどの表示制御を行う。即ち発生した表示物を表示物リストに登録したり、表示物リストを描画処理部１２０等に転送したり、消滅した表示物を表示物リストから削除したりするなどの表示制御を行う。
【００７２】
操作検出対象物設定部１０４は、比較部１０１の比較結果に基づいて、検出３次元形状情報に対応する検出対象物を操作検出対象物として設定する。具体的には操作検出対象物設定部１０４は、検出対象物が予め定められた車のハンドルや飛行機の操縦桿などの３次元形状を有するものであれば、検出対象物を操作検出対象物として設定する。
【００７３】
操作アルゴリズム設定部１０５は、比較部１０１の比較結果に基づいて、検出３次元形状情報に対応する基準３次元形状情報に応じた操作アルゴリズムを設定する。具体的には操作アルゴリズム設定部１０５は、基準情報記憶部１７６に記憶された複数の基準３次元形状情報（オブジェクト形状情報）の各基準３次元形状情報に対応する操作アルゴリズムを記憶する操作アルゴリズム記憶部１７８を参照し、例えば円環状の検出対象物が検出された場合にはこれを車のハンドルとして扱って、車のハンドルに対応する操作アルゴリズムを設定する。また例えば棒状の検出対象物が検出された場合にはこれを飛行機の操縦桿として扱って、飛行機の操縦桿に対応する操作アルゴリズムを設定する。
【００７４】
操作信号出力部１０６は、設定された操作検出対象物について取得された検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、設定された操作アルゴリズムに応じた操作信号を出力する。具体的には操作信号出力部１０６は、車のハンドルに対応する操作アルゴリズムが設定されている場合には、プレーヤがハンドルを回転させるように操作検出対象物を回転させると、操作検出対象物の回転量に応じて例えば車オブジェクトの向きを変化させる操作信号を出力する。また例えば、飛行機の操縦桿に対応する操作アルゴリズムが設定されている場合には、プレーヤが操縦桿を操作するように操作検出対象物を傾倒させる操作を行うと、操作検出対象物の傾倒量に応じて例えば飛行機オブジェクトの向きを変化させる操作信号を出力する。
【００７５】
オブジェクト生成部１０７は、所与の３次元オブジェクト空間に設定される３次元オブジェクトの形状を規定するオブジェクト形状情報を、検出３次元形状情報に基づいて生成する。具体的にはオブジェクト生成部１０７は、自らを検出対象物として自らに対応するキャラクタオブジェクトを生成したり、身の回りにある種々のものにより種々のオブジェクトを生成する。また背景としての部屋などもそのままオブジェクトとして生成することができる。
【００７６】
またオブジェクト形状情報選択部１０７１を採用し、検出３次元形状情報に対応するオブジェクト形状情報を、オブジェクトデータ記憶部１７３に記憶された複数種類のオブジェクトデータから検出３次元形状情報に応じたオブジェクトデータを選択するようにしてもよい。この場合にはオブジェクト形状情報補正部１０７２を更に採用し、オブジェクト形状情報選択部に選択されたオブジェクト形状情報を、検出３次元形状情報に基づいて補正するようにしてもよい。
【００７７】
オブジェクト空間設定部１０８は、本実施形態で生成したキャラクタオブジェクト等の移動体オブジェクト、予め記憶させてあるキャラクタオブジェクト、建物、樹木、柱、壁、マップ（地形）などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ち、オブジェクト空間設定部１０８は、ワールド座標系でのオブジェクト（モデルオブジェクト）の位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。
【００７８】
特に本実施形態ではオブジェクト空間設定部１０８は、所与のイベントの発生に基づいて、前記３次元オブジェクト空間に設定するオブジェクト形状情報を変更するようにしてもよい。例えば利用者が剣の形状をした検出対象物を持っており、キャラクタオブジェクトが剣アイテムを持っている画像を描画している場合に、所与のイベントの発生に基づいて剣アイテムが壊れるような画像を描画することができる。このとき、壊れていない状態の剣アイテムのオブジェクトデータと壊れている状態のオブジェクトデータとを用意しておき、イベントの発生に基づいて、オブジェクト空間に設定するオブジェクトデータを変更するようにしてもよいし、剣アイテムのオブジェクトデータのうちダメージを受けた部位に応じた破壊シミュレーションを行うようにしてもよい。
【００７９】
移動・動作処理部１０９は、操作信号に基づいて、所与のオブジェクトの移動及び動作の少なくとも一方の制御を行う。詳細には移動・動作処理部１０９は、移動体オブジェクト（キャラクタの他、キャラクタが使用する道具等）の移動・動作演算（移動・動作シミュレーション）を行う。即ち、この移動・動作処理部１０９は、検出部２２が検出した検出３次元情報に対応する操作信号、操作部からの操作信号、設定されたパラメータや属性又はプログラム（移動・動作アルゴリズム）や各種データ（モーションデータ）などに基づいて、移動体オブジェクトをオブジェクト空間内で移動させ、又は、移動体オブジェクトの動作（モーション、アニメーション）を制御するための処理を行う。
【００８０】
具体的には、本実施形態の移動・動作処理部１０９は、オブジェクトの移動情報（位置、回転角度、速度、或いは加速度）や動作情報（各パーツオブジェクトの位置、或いは回転角度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。ここでフレームとは、オブジェクトの移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。そして、本実施形態では、フレームレートは毎フレーム固定としてもよいし、処理負荷に応じて可変としてもよい。
【００８１】
判定部１１０は、３次元オブジェクト空間に設定されたオブジェクト形状情報と他のオブジェクト形状情報との３次元オブジェクト空間における重なりを判定する。
【００８２】
描画部１２０は、処理部７０で行われる種々の処理（ゲーム処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。いわゆる３次元ゲーム画像を生成する場合には、本実施形態の描画部１２０は、まずオブジェクト（モデル）の各頂点の頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）を含むオブジェクトデータ（モデルデータ）が入力され、入力されたオブジェクトデータに含まれる頂点データに基づいて、頂点処理が行われる。なお、頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理（テッセレーション、曲面分割、ポリゴン分割）を行うようにしてもよい。
【００８３】
また、頂点処理では、頂点の移動処理や、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、あるいは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更（更新、調整）する。そして、頂点処理後の頂点データに基づいてラスタライズ（走査変換）が行われ、ポリゴン（プリミティブ）の面とピクセルとが対応づけられる。そしてラスタライズに続いて、画像を構成するピクセル（表示画面を構成するフラグメント）を描画するピクセル処理（フラグメント処理）が行われる。
【００８４】
ピクセル処理では、テクスチャの読出し（テクスチャマッピング）、色データの設定／変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色をフレームバッファ１７４（ピクセル単位で画像情報を記憶できるバッファ。ＶＲＡＭ、レンダリングターゲット）に出力（描画）する。すなわち、ピクセル処理では、画像情報（色、法線、輝度、α値等）をピクセル単位で設定あるいは変更するパーピクセル処理を行う。
【００８５】
これにより、オブジェクト空間内に設定された仮想カメラ（所与の視点）から見える画像が生成される。なお、仮想カメラ（視点）が複数存在する場合には、それぞれの仮想カメラから見える画像を分割画像として１画面に表示できるように画像を生成することができる。
【００８６】
なお、描画部１２０が行う頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン（プリミティブ）の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ（頂点シェーダやピクセルシェーダ）により実現されてもよい。プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、ハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。
【００８７】
そして、描画部１２０は、オブジェクトを描画する際に、ジオメトリ処理、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。
【００８８】
ジオメトリ処理では、オブジェクトに対して、座標変換、クリッピング処理、透視投影変換、或いは光源計算等の処理を行う。そして、ジオメトリ処理後（透視投影変換後）のオブジェクトデータ（オブジェクトの頂点の位置座標、テクスチャ座標、色データ（輝度データ）、法線ベクトル、或いはα値等）を記憶部１７０に記憶する。
【００８９】
テクスチャマッピングでは、記憶部１７０のテクスチャ記憶部１７４に記憶されるテクスチャ（テクセル値）をオブジェクトにマッピングする処理を行う。具体的には、オブジェクトの頂点に設定（付与）されるテクスチャ座標等を用いて記憶部１７０のテクスチャ記憶部１７４からテクスチャ（色（ＲＧＢ）、α値などの表面プロパティ）を読み出し、２次元の画像であるテクスチャをオブジェクトにマッピングする。この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間などを行う。特に本実施形態では、ポリゴンメッシュの表面の色が面集合ごとにテクスチャ空間に分布するテクスチャをマッピングする処理を行う。
【００９０】
なお、本実施形態では、オブジェクトを描画する際に、所与のテクスチャをマッピングする処理を行うようにしてもよい。この場合には、マッピングされるテクスチャの色分布（テクセルパターン）を動的に変化させることができる。
【００９１】
また、この場合において、色分布（ピクセルパターン）が異なるテクスチャを動的に生成してもよいし、複数の色分布が異なるテクスチャを予め用意しておき、使用するテクスチャを動的に切り替えるようにしてもよい。またオブジェクト単位でテクスチャの色分布を変化させてもよい。
【００９２】
特に本実施形態のテクスチャマッピング部１２１は、オブジェクト生成部１０７によって生成されたオブジェクト形状情報の一部に所与のテクスチャをマッピングして、前記オブジェクト形状情報を前記３次元オブジェクト空間に設定する。例えば自らに対応するオブジェクト形状情報を生成した場合に、他人の端末装置において自らに対応する３次元オブジェクト（キャラクタ）を表示させる際に、例えば顔の一部に対応する部分に所与のテクスチャをマッピングする。
【００９３】
隠面消去処理では、描画ピクセルのＺ値（奥行き情報）が格納されるＺバッファ（奥行きバッファ）を用いたＺバッファ法（奥行き比較法、Ｚテスト）による隠面消去処理を行う。すなわち、オブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Ｚバッファに格納されるＺ値を参照するとともに、当該参照されたＺバッファのＺ値と、プリミティブの描画ピクセルでのＺ値とを比較し、描画ピクセルでのＺ値が、仮想カメラから見て手前側となるＺ値（例えば小さなＺ値）である場合には、その描画ピクセルの描画処理を行うとともにＺバッファのＺ値を新たなＺ値に更新する。
【００９４】
αブレンディング（α合成）では、描画部１２０は、α値（Ａ値）に基づく半透明合成処理（通常αブレンディング、加算αブレンディング又は減算αブレンディング等）を行う。なお、α値は、各ピクセル（テクセル、ドット）に関連づけて記憶できる情報であり、例えば色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度（透明度、不透明度と等価）、バンプ情報などとして使用できる。
【００９５】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００９６】
通信制御部１４０は、操作情報（要求）やプログラム等に基づき、いかなる情報をいずれの外部装置（サーバ、端末）との間で送受信するかなどの通信制御処理を行う。具体的には通信制御部１４０は、オブジェクト生成部１０７によって生成されたオブジェクト形状情報を外部装置との間で送受信する。例えば通信制御部１４０は、自分の端末装置において自らを検出対象物とした検出３次元形状情報を取得し、自らに対応するオブジェクト形状情報を生成し、これを他人の端末装置に送信したり、他人の端末装置において他人を検出対象物とした検出３次元形状情報に基づいて生成されたオブジェクト形状情報を受信する。
【００９７】
また通信制御部１４０は、出力されたコマンド信号を外部装置との間で送受信するようにしてもよい。これにより例えば自分の端末装置において手話の手の形状を検出対象物とした検出３次元形状情報を取得し、対応するコマンド信号を他人の端末装置に送信して、他人の端末装置において手話の手の形状に対応する文字情報や音声情報を出力するようにしてもよい。
【００９８】
なお、本実施形態の画像生成システムは、１人のプレーヤのみがプレイできるシングルプレーヤモード専用のシステムにしてもよいし、複数のプレーヤがプレイできるマルチプレーヤモードも備えるシステムにしてもよい。
【００９９】
また、複数のプレーヤがプレイする場合に、これらの複数のプレーヤに提供するゲーム画像やゲーム音を、１つの端末を用いて生成してもよいし、ネットワーク（伝送ライン、通信回線）などで接続された複数の端末（ゲーム機、携帯電話）を用いて分散処理により生成してもよい。
【０１００】
４．本実施形態の処理
次に、本実施形態で行われる各種処理の流れを図面とフローチャートを用いて説明する。
【０１０１】
４−１．アバタキャラクタ制御処理
最初に、自分に対応するキャラクタを他人の端末に表示させながらメールやチャットなどのコミュニケーションを行ういわゆるアバタ（自分の分身）コミュニケーションを、本実施形態の画像認識システム１０を用いて行う一例について説明する。本実施形態では、図６に示すように、プレーヤＰ１に対応する画像認識システム１０−１と、プレーヤＰ２に対応する画像認識システム１０−２とがインターネットＩＮＴを介して接続されている状態で、図７のフローチャートに示すアバタキャラクタ制御処理を行う。なお図６においてゲーム機１８−１、１８−２は、通信機能を有するＰＣ（パーソナルコンピュータ）１８−１、１８−２により構成している。
【０１０２】
図７に示すように本実施形態では、画像認識システム１０−１の検出ユニット１６−１により、プレーヤＰ１を検出対象とする検出３次元形状情報を取得するとともに、画像認識システム１０−２の検出ユニット１６−２により、プレーヤＰ２を検出対象とする検出３次元形状情報を取得する（ステップＳ２０）。すると画像認識システム１０−１のＰＣ１８−１により、プレーヤＰ１を検出対象とする検出３次元形状情報に基づいて、プレーヤＰ１に対応するアバタキャラクタのオブジェクト形状情報を生成するとともに、画像認識システム１０−２のＰＣ１８−２により、プレーヤＰ２を検出対象とする検出３次元形状情報に基づいて、プレーヤＰ２に対応するアバタキャラクタのオブジェクト形状情報を生成する（ステップＳ２２）。
【０１０３】
すると、ＰＣ１８−１、ＰＣ１８−２により、それぞれで生成したアバタキャラクタＡＣ１、ＡＣ２のオブジェクト形状情報を互いに送受信し（ステップＳ２４、ステップＳ２６）、他の画像認識システムにおいて生成されたオブジェクト形状情報をオブジェクト空間に設定する（ステップＳ２８）。そしてプレーヤＰ１、プレーヤＰ２がそれぞれ自らに対応するアバタキャラクタＡＣ１、ＡＣ２について予め設定したテクスチャをアバタキャラクタＡＣ１、ＡＣ２の顔の一部にマッピングする（ステップＳ３０）。例えばアニメキャラクタの目や口などのテクスチャを、アバタキャラクタＡＣ１、ＡＣ２の目や口に対応する位置にマッピングする。そしてかかるアバタキャラクタＡＣ１、ＡＣ２のオブジェクト形状情報が設定されたオブジェクト空間を描画する（ステップＳ３２）。
【０１０４】
こうして本実施形態によれば、図６に示すように、画像認識システム１０−１の表示部１４−１には、プレーヤＰ２を検出対象物として取得した検出３次元形状情報に基づいて生成されたアバタキャラクタＡＣ２を表示させ、画像認識システム１０−２の表示部１４−２には、プレーヤＰ１を検出対象物として取得した検出３次元形状情報に基づいて生成されたアバタキャラクタＡＣ１を表示させていわゆるアバタコミュニケーションを行うことができる。
【０１０５】
４−２．コマンド出力処理
次に本実施形態の画像認識システム１０を用いて、取得した検出３次元形状情報と基準３次元形状情報とを比較し、比較結果に基づいて対応するコマンド信号を出力する処理を行う一例について説明する。本実施形態では、図８に示すように、検出ユニット１６の前で手話を行い、手話の手の形状に対応する文字情報を表示部１４に表示させている。
【０１０６】
図９のフローチャートに示すように本実施形態では、まず、検出ユニット１６によりプレーヤを検出対象とする検出３次元形状情報を取得する（ステップＳ４０）。すると、記憶部に記憶された手話の手の形状を規定する基準３次元形状情報と、取得された検出３次元形状情報とを比較する（ステップＳ４２）。ここで取得された検出３次元形状情報には、プレーヤの右手ＲＨの形状に対応する３次元形状情報の他、プレーヤのその他の部位に対応する３次元形状情報や、背景の３次元形状情報なども含まれる。しかも手話は手を体の前に位置させて行われる場合が多く、手が検出部に対して利用者の体と重なる位置にある場合が多い。しかし本実施形態によれば、検出ユニット１６の撮像空間の３次元座標系において、手話を構成する手の３次元形状情報を取得することができるので、手話を構成する手のみを抽出してこれを基準３次元形状情報と比較することができる。即ち本実施形態によれば、検出ユニット１６に対して重なり合う位置にある検出対象物も３次元的に形状を解析することにより、検出対象物から素早くしかも正確に所望の情報を抽出することができる。
【０１０７】
そして比較の結果、一致する基準３次元形状情報が有る場合には（ステップＳ４４のＹ）、対応するコマンド信号を出力し（ステップＳ４６）、コマンド信号に基づいて画像出力する（ステップＳ４８）。例えば図８に示すように、プレーヤＰが右手ＲＨで人差し指を立てると、かかる右手ＲＨの形状を抽出して基準３次元形状情報と比較判定し、「一番」という文字を表示部１４に表示させるコマンド信号を出力する。
【０１０８】
４−３．操作入力処理
次に本実施形態の画像認識システム１０を用いて、検出対象物が予め定められた３次元形状を有するものであれば、検出対象物を操作検出対象物として設定し、プレーヤが操作検出対象物を操作して検出対象物の形状や位置が変化すると、これを操作入力として検出し、対応する操作信号を出力する処理を行う一例について説明する。図１０（Ａ）は、円環状の操作体ＲＭを車のハンドルとして設定し、検出ユニット１６に向かう方向を回転軸として円環状の操作体ＲＭを回転させることにより、対応する操作信号を出力する例であり、図１０（Ｂ）は、棒状の操作体ＢＭを飛行機の操縦桿として設定し、検出ユニット１６に対して棒状の操作体ＢＭを前後左右に傾倒させることにより、対応する操作信号を出力する例である。
【０１０９】
図１１のフローチャートに示すように本実施形態では、ゲームを実行する前に、まず操作検出対象を設定するための設定モードを実行する（ステップＳ６０）。そして検出ユニット１６により、プレーヤが操作する操作体を検出対象とする検出３次元形状情報を取得する（ステップＳ６２）。すると、記憶部に記憶された操作体の形状を規定する基準３次元形状情報と、取得された検出３次元形状情報とを比較する（ステップＳ６４）。ここで取得された検出３次元形状情報には、操作体の形状に対応する３次元形状情報の他、プレーヤに対応する３次元形状情報や、背景の３次元形状情報なども含まれるが、上述の通り本実施形態によれば、検出ユニット１６の撮像空間の３次元座標系において、操作体の３次元形状情報を取得して、操作体のみを抽出してこれを基準３次元形状情報と比較する。
【０１１０】
そして比較の結果、一致する基準３次元形状情報が有る場合には（ステップＳ６６のＹ）、検出３次元形状情報に対応する検出対象物を操作検出対象物として設定する（ステップＳ６８）。例えば図１０（Ａ）の場合には、円環状の操作体ＲＭが車のハンドルの基準３次元形状情報と一致するので、円環状の操作体ＲＭを車のハンドルとして設定し、図１０（Ｂ）の場合には、棒状の操作体ＢＭが飛行機の操縦桿の基準３次元形状情報と一致するので、棒状の操作体ＢＭを飛行機の操縦桿として設定する。そして設定された操作検出対象物の種類に応じた操作アルゴリズムを設定する（ステップＳ６９）。例えば図１０（Ａ）の場合には、検出ユニット１６に向かう方向を回転軸としてプレーヤが円環状の操作体ＲＭを回転させる操作を行うと、オブジェクト空間に設定される車オブジェクト（移動体オブジェクト）ＭＯの移動方向を変化させる操作アルゴリズムを設定し、図１０（Ｂ）の場合には、検出ユニット１６に対してプレーヤが棒状の操作体ＢＭを前後左右に傾倒させる操作を行うと、オブジェクト空間に設定される飛行機オブジェクト（移動体オブジェクト）ＡＯの移動方向を変化させる操作アルゴリズムを設定する。
【０１１１】
こうして操作検出対象物と操作アルゴリズムが設定されると、設定された操作検出対象物と操作アルゴリズムとに対応するゲームを実行する（ステップＳ７０）。すると検出ユニット１６により、プレーヤが操作する操作体を検出対象とする検出３次元形状情報を取得する（ステップＳ７２）。そして、検出３次元形状情報の変化に基づいて操作信号を出力し（ステップＳ７４）、操作信号に基づいてオブジェクト空間に設定される移動体オブジェクトの移動・動作処理を行う（ステップＳ７６）。例えば図１０（Ａ）の場合には、検出ユニット１６に向かう方向を回転軸とした円環状の操作体ＲＭの回転量に応じて、車オブジェクト（移動体オブジェクト）の移動方向を変化させ、図１０（Ｂ）の場合には、検出ユニット１６に対する棒状の操作体ＢＭの傾倒方向と傾倒量に応じて、飛行機オブジェクト（移動体オブジェクト）の移動方向を変化させる。そして、移動体オブジェクトがオブジェクト空間を移動・動作する画像を描画する（ステップＳ７８）。
【０１１２】
４−４．アイテム認識処理
次に本実施形態の画像認識システム１０を用いて、検出対象物が予め定められた３次元形状を有するものであれば、予め定められた３次元形状に対応するオブジェクト形状情報を３次元オブジェクト空間に設定する処理を行う一例について説明する。図１２（Ａ）は、プレーヤが剣の形状をした剣アイテム体ＫＭを持っていれば、キャラクタオブジェクトＣＯが剣アイテムオブジェクトＫＯを持っている画像を描画する例であり、盾の形状をした盾アイテム体ＴＭを持っていれば、キャラクタオブジェクトＣＯが盾アイテムオブジェクトＴＯを持っている画像を描画する例である。
【０１１３】
図１３のフローチャートに示すように本実施形態では、まず検出ユニット１６により、プレーヤが持っているアイテム体を検出対象とする検出３次元形状情報を取得する（ステップＳ９０）。すると、記憶部に記憶されたアイテム体の形状を規定する基準３次元形状情報と、取得された検出３次元形状情報とを比較する（ステップＳ９２）。そして比較の結果、一致する基準３次元形状情報が有る場合には（ステップＳ９４のＹ）、検出３次元形状情報に対応するオブジェクト形状情報をオブジェクト空間に設定し（ステップＳ９６）、当該オブジェクト空間を描画する（ステップＳ９８）。例えば図１２（Ａ）の場合には、剣アイテム体ＫＭが剣アイテムオブジェクトＫＯに一致するので、キャラクタオブジェクトＣＯが剣アイテムオブジェクトＫＯを持っている画像を描画し、図１２（Ｂ）の場合には、盾アイテム体ＴＭが盾アイテムオブジェクトＴＯに一致するので、キャラクタオブジェクトＣＯが盾アイテムオブジェクトＴＯを持っている画像を描画する。そして、設定したオブジェクト形状情報が、他のオブジェクトに対応するオブジェクト形状情報とオブジェクト空間内で重なった場合には、即ちヒットしたと判定した場合には（ステップＳ１００のＹ）、他のオブジェクトが壊れるなどのヒット処理を行う（ステップＳ１０２）。
【０１１４】
４−５．移動認識処理
次に本実施形態の画像認識システム１０を用いて、検出対象物の位置の変化に応じて、所与のオブジェクトの位置が変化する画像を描画する処理を行う一例について説明する。図１４は、プレーヤが検出ユニット１６に向かって発泡スチロールや紙などでできた被投てき物ＨＭを投げると、投げられた被投てき物ＨＭの移動とともに対応するボールオブジェクトＢＯが移動する（投げられる）画像を描画する例である。
【０１１５】
図１５のフローチャートに示すように本実施形態では、まず検出ユニット１６により、プレーヤが持っている被投てき物ＨＭを検出対象とする検出３次元位置情報を取得する（ステップＳ１１０）。すると、検出３次元位置情報に基づいて、ボールオブジェクトＢＯをオブジェクト空間に設定し（ステップＳ１１２）、当該オブジェクト空間を描画する（ステップＳ１１４）。そして、設定したボールオブジェクトＢＯが他のオブジェクトとオブジェクト空間内で重なった場合には、即ちヒットしたと判定した場合には（ステップＳ１１６のＹ）、他のオブジェクトが壊れたり、ボールオブジェクトＢＯの移動方向が変化するなどのヒット処理を行う（ステップＳ１１８）。そしてステップＳ１１０〜ステップＳ１１８までの処理を１／３０秒毎に繰返し、ボールオブジェクトＢＯがオブジェクト空間を移動する画像を描画する。
【０１１６】
こうして本実施形態の画像認識システム１０では、検出ユニット１６の撮像空間の３次元座標系において、検出対象物の３次元形状情報や３次元位置情報を取得することにより、検出対象物の形状や位置を３次元的に解析して上記種々の処理を行うことができる。
【０１１７】
なお、上述の操作入力処理における操作体や、アイテム認識処理におけるアイテム体については、判定基準となる基準３次元情報を厳密に設定し、検出３次元形状情報が基準３次元情報とほぼ同一でなければ一致しないと判定するようにしてもよいし、判定基準となる基準３次元情報を厳密に設定せず、検出３次元形状情報が基準３次元情報に近似していれば一致すると判定するようにしてもよい。ここで一致判定を厳密に行う場合には、基準３次元情報とほぼ同一形状の操作体やアイテム体をプレーヤに提供するようにしてもよい。一方、一致判定を厳密に行わない場合には、基準３次元情報に近似する形状の身の回りにある物体を操作体やアイテム体として用いるようにしてもよい。
【０１１８】
また、人間の骨格や人間の動きに関する情報を予め記憶しておき、撮像空間の３次元情報のうちプレーヤに対応する３次元情報を特定することにより、手話の手に対応する３次元情報や、操作体、アイテム体、被投てき体などの３次元情報を特定するようにしてもよい。
【０１１９】
５．ハードウェア構成
図１６に本実施形態を実現できるハードウェア構成の例を示す。メインプロセッサ９００は、ＣＤ９８２（情報記憶媒体）に格納されたプログラム、通信インターフェース９９０を介してダウンロードされたプログラム、或いはＲＯＭ９５０に格納されたプログラムなどに基づき動作し、ゲーム処理、画像処理、音処理などを実行する。コプロセッサ９０２は、メインプロセッサ９００の処理を補助するものであり、マトリクス演算（ベクトル演算）を高速に実行する。例えばオブジェクトを移動させたり動作（モーション）させる物理シミュレーションに、マトリクス演算処理が必要な場合には、メインプロセッサ９００上で動作するプログラムが、その処理をコプロセッサ９０２に指示（依頼）する。
【０１２０】
ジオメトリプロセッサ９０４は、メインプロセッサ９００上で動作するプログラムからの指示に基づいて、座標変換、透視変換、光源計算、曲面生成などのジオメトリ処理を行うものであり、マトリクス演算を高速に実行する。データ伸張プロセッサ９０６は、圧縮された画像データや音データのデコード処理を行ったり、メインプロセッサ９００のデコード処理をアクセレートする。これにより、オープニング画面やゲーム画面において、ＭＰＥＧ方式等で圧縮された動画像を表示できる。
【０１２１】
描画プロセッサ９１０は、ポリゴンや曲面などのプリミティブ面で構成されるオブジェクトの描画（レンダリング）処理を実行する。オブジェクトの描画の際には、メインプロセッサ９００は、ＤＭＡコントローラ９７０を利用して、描画データを描画プロセッサ９１０に渡すと共に、必要であればテクスチャ記憶部９２４にテクスチャを転送する。すると描画プロセッサ９１０は、描画データやテクスチャに基づいて、Ｚバッファなどを利用した隠面消去を行いながら、オブジェクトをフレームバッファ９２２に描画する。また描画プロセッサ９１０は、αブレンディング（半透明処理）、デプスキューイング、ミップマッピング、フォグ処理、バイリニア・フィルタリング、トライリニア・フィルタリング、アンチエリアシング、シェーディング処理なども行う。１フレーム分の画像がフレームバッファ９２２に書き込まれるとその画像はディスプレイ９１２に表示される。
【０１２２】
サウンドプロセッサ９３０は、多チャンネルのＡＤＰＣＭ音源などを内蔵し、ＢＧＭ、効果音、音声などのゲーム音を生成し、スピーカ９３２を介して出力する。ゲームコントローラ９４２やメモリカード９４４からのデータはシリアルインターフェース９４０を介して入力される。
【０１２３】
ＲＯＭ９５０にはシステムプログラムなどが格納される。業務用ゲームシステムの場合にはＲＯＭ９５０が情報記憶媒体として機能し、ＲＯＭ９５０に各種プログラムが格納される。なおＲＯＭ９５０の代わりにハードディスクを利用してもよい。ＲＡＭ９６０は各種プロセッサの作業領域となる。ＤＭＡコントローラ９７０は、プロセッサ、メモリ間でのＤＭＡ転送を制御する。ＤＶＤドライブ９８０は、プログラム、画像データ、或いは音データなどが格納されるＤＶＤ９８２にアクセスする。通信インターフェース９９０はネットワーク（通信回線、高速シリアルバス）を介して外部との間でデータ転送を行う。
【０１２４】
なお本実施形態の各部（各手段）の処理は、その全てをハードウェアのみにより実現してもよいし、情報記憶媒体に格納されるプログラムや通信インターフェースを介して配信されるプログラムにより実現してもよい。或いは、ハードウェアとプログラムの両方により実現してもよい。
【０１２５】
そして本実施形態の各部の処理をハードウェアとプログラムの両方により実現する場合には、情報記憶媒体には、ハードウェア（コンピュータ）を本実施形態の各部として機能させるためのプログラムが格納される。より具体的には、上記プログラムが、ハードウェアである各プロセッサ９０２、９０４、９０６、９１０、９３０に処理を指示すると共に、必要であればデータを渡す。そして、各プロセッサ９０２、９０４、９０６、９１０、９３０は、その指示と渡されたデータとに基づいて本発明の各部の処理を実現する。
【０１２６】
６．変形例
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。
【０１２７】
また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【０１２８】
また本発明は種々の指示位置演算システムに適用できる。上述の実施形態では、本発明をゲームシステムに適用した場合を例に挙げて説明したが、本発明は、プレゼンテーションシステムなどの種々の指示位置演算システム、及び指示位置演算システムに用いる指示体に適用することができる。
【図面の簡単な説明】
【０１２９】
【図１】本実施形態のシステムの概略外観の一例を示す図。
【図２】本実施形態のシステムの原理を説明するための図。
【図３】本実施形態で撮像された画像の一例を説明するための図。
【図４】本実施形態のシステムの原理を説明するための図。
【図５】本実施形態のシステムの機能ブロックの一例を示す図。
【図６】本実施形態のシステムの処理の一例を説明するための図。
【図７】本実施形態の処理の一例を示すフローチャート図。
【図８】本実施形態のシステムの処理の一例を説明するための図。
【図９】本実施形態の処理の一例を示すフローチャート図。
【図１０】図１０（Ａ）、（Ｂ）は本実施形態のシステムの処理の一例を説明するための図。
【図１１】本実施形態の処理の一例を示すフローチャート図。
【図１２】図１２（Ａ）、（Ｂ）は本実施形態のシステムの処理の一例を説明するための図。
【図１３】本実施形態の処理の一例を示すフローチャート図。
【図１４】本実施形態のシステムの処理の一例を説明するための図。
【図１５】本実施形態の処理の一例を示すフローチャート図。
【図１６】本実施形態のシステムのハードウェア構成の一例を示す図。
【符号の説明】
【０１３０】
Ｐ プレーヤ、ＴＯ 標的オブジェクト、ＤＬ 出力波、ＲＬ 反射波、ＷＬ 壁、
ＰＯ 撮像対象物、ＰＡ 撮像領域、ＰＳ 撮像空間、ＷＰ 重心位置、Ｎ 法線、
１０ ゲームシステム、１２ 表示画面、１４ 表示部、１６ 検出ユニット、
１８ ゲーム機、２０ 出力部、２２ 検出部、２４ ３次元情報取得部、
１００ 処理部、１０１ 比較部、１０２ コマンド信号出力部、１０３ 出力制御部、
１０４ 操作検出対象物設定部、１０５ 操作アルゴリズム設定部、
１０６ 操作信号出力部、１０７ オブジェクト生成部、
１０８ オブジェクト空間設定部、１０９ 移動・動作処理部、１１０ 判定部、
１２０ 描画処理部、１２１ テクスチャマッピング部、１３０ 音生成部、
１４０ 通信制御部、１７０ 記憶部、１８０ 情報記憶媒体
【特許請求の範囲】
【請求項１】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
所与の３次元オブジェクト空間に設定される３次元オブジェクトの形状を規定するオブジェクト形状情報を、前記検出３次元形状情報に基づいて生成するオブジェクト生成部と、
前記生成されたオブジェクト形状情報を外部装置との間で送受信する通信制御部と、
前記受信されたオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システム。
【請求項２】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
所与の３次元オブジェクト空間に設定される複数種類の３次元オブジェクトの形状を規定する複数種類のオブジェクト形状情報を記憶するオブジェクト形状情報記憶部と、
前記検出３次元形状情報に対応する前記オブジェクト形状情報を、前記検出３次元形状情報に基づいて選択するオブジェクト形状情報選択部と、
前記選択されたオブジェクト形状情報を外部装置との間で送受信する通信制御部と、
前記受信されたオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システム。
【請求項３】
請求項２において、
前記オブジェクト形状情報選択部に選択されたオブジェクト形状情報を、前記検出３次元形状情報に基づいて補正するオブジェクト形状情報補正部を更に含み、
前記通信制御部が、
前記オブジェクト形状情報補正部に補正された補正後のオブジェクト形状情報を外部装置との間で送受信することを特徴とする画像認識システム。
【請求項４】
請求項１〜３のいずれかにおいて、
前記生成されたオブジェクト形状情報の一部に所与のテクスチャをマッピングして、前記オブジェクト形状情報を前記３次元オブジェクト空間に設定するテクスチャマッピング部を更に含むことを特徴とする画像認識システム。
【請求項５】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、対応するコマンド信号を出力するコマンド信号出力部と、
前記コマンド信号に対応する画像情報、音情報の少なくとも一方を記憶する出力情報記憶部と、
前記出力されたコマンド信号に基づいて、対応する画像情報、音情報の少なくとも一方を出力させる出力制御部とを含むことを特徴とする画像認識システム。
【請求項６】
請求項５において、
前記３次元情報取得部が、
前記出力波が反射した検出対象物の３次元形状の所定期間における変化を規定する検出３次元動作情報を、前記反射波に基づいて取得し、
前記基準情報記憶部が、
予め定められた３次元形状の所定期間における変化を規定する基準３次元動作情報を記憶し、
前記比較部が、
前記基準３次元動作情報と前記検出３次元動作情報とを比較することを特徴とする画像認識システム。
【請求項７】
請求項５、６のいずれかにおいて、
前記出力されたコマンド信号を外部装置との間で送受信する通信制御部を更に含み、
前記出力制御部が、
前記受信されたコマンド信号に基づいて、対応する画像情報、音情報の少なくとも一方を出力させることを特徴とする画像認識システム。
【請求項８】
操作信号に基づいて、所与のオブジェクトの移動及び動作の少なくとも一方の制御を行う移動・動作処理部と、
前記所与のオブジェクトが移動及び動作の少なくとも一方を行う画像を描画する描画処理部と、
を含む画像認識システムであって、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報、及び前記検出対象物の３次元位置を規定する検出３次元位置情報の少なくとも一方を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、前記検出３次元形状情報に対応する前記検出対象物を操作検出対象物として設定する操作検出対象物設定部と、
前記設定された操作検出対象物について取得された前記検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、前記操作信号を出力する操作信号出力部と、
を更に含むことを特徴とする画像認識システム。
【請求項９】
請求項８において、
前記基準情報記憶部に記憶された複数の基準３次元形状情報の各基準３次元形状情報に対応する操作アルゴリズムを記憶する操作アルゴリズム記憶部と、
前記比較部の比較結果に基づいて、前記検出３次元形状情報に対応する前記基準３次元形状情報に応じた操作アルゴリズムを設定する操作アルゴリズム設定部と、
を更に含み、
前記操作信号出力部が、
前記設定された操作検出対象物について取得された前記検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、前記設定された操作アルゴリズムに応じた操作信号を出力することを特徴とする画像認識システム。
【請求項１０】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、所与のオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システム。
【請求項１１】
請求項１０において、
前記オブジェクト形状情報記憶部が、
複数種類のオブジェクト形状情報を記憶し、
前記オブジェクト空間設定部が、
前記比較部の比較結果に基づいて、前記複数種類のオブジェクト形状情報のうち前記検出３次元形状情報に対応する前記オブジェクト形状情報を前記３次元オブジェクト空間に設定することを特徴とする画像認識システム。
【請求項１２】
請求項１１において、
前記オブジェクト空間設定部が、
所与のイベントの発生に基づいて、前記３次元オブジェクト空間に設定するオブジェクト形状情報を変更することを特徴とする画像認識システム。
【請求項１３】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記検出対象物の３次元形状を規定する検出３次元位置情報を、前記反射波に基づいて取得する３次元情報取得部と、
前記取得された検出３次元形状情報に基づいて、所与のオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システム。
【請求項１４】
請求項１０〜１３のいずれかにおいて、
前記３次元オブジェクト空間に設定された前記オブジェクト形状情報と他のオブジェクト形状情報との前記３次元オブジェクト空間における重なりを判定する判定部を更に含むことを特徴とする画像認識システム。
【請求項１】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
所与の３次元オブジェクト空間に設定される３次元オブジェクトの形状を規定するオブジェクト形状情報を、前記検出３次元形状情報に基づいて生成するオブジェクト生成部と、
前記生成されたオブジェクト形状情報を外部装置との間で送受信する通信制御部と、
前記受信されたオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システム。
【請求項２】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
所与の３次元オブジェクト空間に設定される複数種類の３次元オブジェクトの形状を規定する複数種類のオブジェクト形状情報を記憶するオブジェクト形状情報記憶部と、
前記検出３次元形状情報に対応する前記オブジェクト形状情報を、前記検出３次元形状情報に基づいて選択するオブジェクト形状情報選択部と、
前記選択されたオブジェクト形状情報を外部装置との間で送受信する通信制御部と、
前記受信されたオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システム。
【請求項３】
請求項２において、
前記オブジェクト形状情報選択部に選択されたオブジェクト形状情報を、前記検出３次元形状情報に基づいて補正するオブジェクト形状情報補正部を更に含み、
前記通信制御部が、
前記オブジェクト形状情報補正部に補正された補正後のオブジェクト形状情報を外部装置との間で送受信することを特徴とする画像認識システム。
【請求項４】
請求項１〜３のいずれかにおいて、
前記生成されたオブジェクト形状情報の一部に所与のテクスチャをマッピングして、前記オブジェクト形状情報を前記３次元オブジェクト空間に設定するテクスチャマッピング部を更に含むことを特徴とする画像認識システム。
【請求項５】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、対応するコマンド信号を出力するコマンド信号出力部と、
前記コマンド信号に対応する画像情報、音情報の少なくとも一方を記憶する出力情報記憶部と、
前記出力されたコマンド信号に基づいて、対応する画像情報、音情報の少なくとも一方を出力させる出力制御部とを含むことを特徴とする画像認識システム。
【請求項６】
請求項５において、
前記３次元情報取得部が、
前記出力波が反射した検出対象物の３次元形状の所定期間における変化を規定する検出３次元動作情報を、前記反射波に基づいて取得し、
前記基準情報記憶部が、
予め定められた３次元形状の所定期間における変化を規定する基準３次元動作情報を記憶し、
前記比較部が、
前記基準３次元動作情報と前記検出３次元動作情報とを比較することを特徴とする画像認識システム。
【請求項７】
請求項５、６のいずれかにおいて、
前記出力されたコマンド信号を外部装置との間で送受信する通信制御部を更に含み、
前記出力制御部が、
前記受信されたコマンド信号に基づいて、対応する画像情報、音情報の少なくとも一方を出力させることを特徴とする画像認識システム。
【請求項８】
操作信号に基づいて、所与のオブジェクトの移動及び動作の少なくとも一方の制御を行う移動・動作処理部と、
前記所与のオブジェクトが移動及び動作の少なくとも一方を行う画像を描画する描画処理部と、
を含む画像認識システムであって、
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報、及び前記検出対象物の３次元位置を規定する検出３次元位置情報の少なくとも一方を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、前記検出３次元形状情報に対応する前記検出対象物を操作検出対象物として設定する操作検出対象物設定部と、
前記設定された操作検出対象物について取得された前記検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、前記操作信号を出力する操作信号出力部と、
を更に含むことを特徴とする画像認識システム。
【請求項９】
請求項８において、
前記基準情報記憶部に記憶された複数の基準３次元形状情報の各基準３次元形状情報に対応する操作アルゴリズムを記憶する操作アルゴリズム記憶部と、
前記比較部の比較結果に基づいて、前記検出３次元形状情報に対応する前記基準３次元形状情報に応じた操作アルゴリズムを設定する操作アルゴリズム設定部と、
を更に含み、
前記操作信号出力部が、
前記設定された操作検出対象物について取得された前記検出３次元形状情報及び前記検出３次元位置情報の少なくとも一方の変化に基づいて、前記設定された操作アルゴリズムに応じた操作信号を出力することを特徴とする画像認識システム。
【請求項１０】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記出力波が反射した検出対象物の３次元形状を規定する検出３次元形状情報を、前記反射波に基づいて取得する３次元情報取得部と、
予め定められた３次元形状を規定する基準３次元形状情報を記憶する基準情報記憶部と、
前記基準３次元形状情報と前記検出３次元形状情報とを比較する比較部と、
前記比較部の比較結果に基づいて、所与のオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システム。
【請求項１１】
請求項１０において、
前記オブジェクト形状情報記憶部が、
複数種類のオブジェクト形状情報を記憶し、
前記オブジェクト空間設定部が、
前記比較部の比較結果に基づいて、前記複数種類のオブジェクト形状情報のうち前記検出３次元形状情報に対応する前記オブジェクト形状情報を前記３次元オブジェクト空間に設定することを特徴とする画像認識システム。
【請求項１２】
請求項１１において、
前記オブジェクト空間設定部が、
所与のイベントの発生に基づいて、前記３次元オブジェクト空間に設定するオブジェクト形状情報を変更することを特徴とする画像認識システム。
【請求項１３】
所定の出力波を出力する出力部と、
前記出力部と所定の位置関係を有し、前記出力波の反射波を検出する検出部と、
前記検出対象物の３次元形状を規定する検出３次元位置情報を、前記反射波に基づいて取得する３次元情報取得部と、
前記取得された検出３次元形状情報に基づいて、所与のオブジェクト形状情報を前記３次元オブジェクト空間に設定するオブジェクト空間設定部と、
前記３次元オブジェクト空間を仮想カメラから見た画像を描画する描画処理部と、
を含むことを特徴とする画像認識システム。
【請求項１４】
請求項１０〜１３のいずれかにおいて、
前記３次元オブジェクト空間に設定された前記オブジェクト形状情報と他のオブジェクト形状情報との前記３次元オブジェクト空間における重なりを判定する判定部を更に含むことを特徴とする画像認識システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−２２５９８５（Ｐ２００８−２２５９８５Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６４９１３（Ｐ２００７−６４９１３）
【出願日】平成１９年３月１４日（２００７．３．１４）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１４日（２００７．３．１４）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]