プログラム、情報記憶媒体及び画像生成システム
【課題】形状入力指示物により入力された入力形状の形状認識を向上できるプログラム、情報記憶媒体、画像生成システム等の提供。
【解決手段】画像生成システムは、形状入力指示物の移動軌跡データを取得する移動軌跡データ取得部１０４と、取得された移動軌跡データを記憶する移動軌跡データ記憶部１７８と、移動軌跡データに基づいて、形状入力指示物により入力される入力形状の形状認識処理を行う形状認識部１０６を含む。形状認識部は、第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される第１〜第Ｎ（１≦Ｋ＜Ｎ）の判定期間の各判定期間での移動軌跡データに基づいて、形状入力指示物による入力形状の形状認識処理を行う。
【解決手段】画像生成システムは、形状入力指示物の移動軌跡データを取得する移動軌跡データ取得部１０４と、取得された移動軌跡データを記憶する移動軌跡データ記憶部１７８と、移動軌跡データに基づいて、形状入力指示物により入力される入力形状の形状認識処理を行う形状認識部１０６を含む。形状認識部は、第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される第１〜第Ｎ（１≦Ｋ＜Ｎ）の判定期間の各判定期間での移動軌跡データに基づいて、形状入力指示物による入力形状の形状認識処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤ（操作者）の直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
また、手の指やジェスチャによって空中で文字や記号を描く動作を、動画撮影用カメラで撮影して認識する従来技術についても、特許文献２に開示されている。
【０００４】
しかしながら、空中に描かれた文字を正確に認識することは、複雑な文字認識処理が必要となり、非常に困難であるという課題がある。
【０００５】
この場合に、例えば、文字を描く範囲を限定して文字認識を行うことで、文字認識率を向上させる手法も考えられる。
【０００６】
しかしながら、この手法では、プレーヤは、その特定された範囲で、文字を描かなければならないため、ユーザの利便性が低下する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１３６６９５号公報
【特許文献２】特開２００２−２５９０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の幾つかの態様によれば、形状入力指示物により入力された入力形状の形状認識を向上できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、形状入力指示物の移動軌跡データを取得する移動軌跡データ取得部と、取得された前記移動軌跡データを記憶する移動軌跡データ記憶部と、前記移動軌跡データに基づいて、前記形状入力指示物により入力される入力形状の形状認識処理を行う形状認識部を含み、前記形状認識部は、第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される第１〜第Ｎ（１≦Ｋ＜Ｎ）の判定期間の各判定期間での前記移動軌跡データに基づいて、前記形状入力指示物による前記入力形状の形状認識処理を行う画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００１０】
本発明の一態様によれば、第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間よりも時間的に遅れたタイミングになる第１〜第Ｎの判定期間が設定される。そして、第１〜第Ｎの判定期間の各判定期間での形状入力指示物の移動軌跡データに基づいて、入力形状の形状認識処理が行われる。このように本発明の一態様によれば、第１〜第Ｎの判定期間の各判定期間が時間的にずれて設定される。従って、入力形状の入力範囲が限定されたり、操作者の形状入力の自由度が奪われたりするなどの事態を抑止することができ、入力形状の形状認識を向上できる。
【００１１】
また本発明の一態様では、前記形状認識部は、前記第１〜第Ｎの判定期間の各判定期間の長さを可変に変化させて、前記入力形状の形状認識処理を行ってもよい。
【００１２】
このようにすれば、例えば操作者の形状入力の速度が様々に変化しても、これに対応することが可能になる。
【００１３】
また本発明の一態様では、前記形状認識部は、前記第Ｋ＋１の判定期間の開始タイミングの方が前記第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定され、且つ、前記各判定期間の終了タイミングが現在のタイミングに設定される前記第１〜第Ｎの判定期間を設定して、前記入力形状の形状認識処理を行ってもよい。
【００１４】
このようにすれば、各判定期間の長さが変化しながら開始タイミングが時間的にずれる判定期間の設定を実現することができ、リアルタイム処理等に適した形状認識処理の実現が可能になる。
【００１５】
また本発明の一態様では、前記移動軌跡データ記憶部は、第Ｋのバッファが前記第１〜第Ｎの判定期間の前記第Ｋの判定期間での前記移動軌跡データを記憶する第１〜第Ｎのバッファを有し、前記形状認識部は、現在のタイミングがタイミングｔｃ１からタイミングｔｃ２になった場合に、前記第１〜第Ｎのバッファの先頭から、ｔｃ２−ｔｃ１に対応する長さの期間分の前記移動軌跡データを削除する処理を行い、前記第１〜第Ｎのバッファの後方に対して、タイミングｔｃ１からタイミングｔｃ２の期間で得られた前記移動軌跡データを追加する処理を行ってもよい。
【００１６】
このようにすれば、各判定期間の長さが変化しながら開始タイミングが時間的にずれる判定期間の設定を、効率的な処理で実現することが可能になる。
【００１７】
また本発明の一態様では、前記形状入力指示物による前記入力形状の入力の開始指示情報及び終了通知情報の少なくとも１つの情報を生成する情報生成部を含んでもよい（情報生成部としてコンピュータを機能させてもよい）。
【００１８】
このようにすれば、入力形状の入力の開始指示や終了の通知を、操作者に対して行うことが可能になる。
【００１９】
また本発明の一態様では、前記形状認識部は、前記開始指示情報の出力タイミング、前記終了通知情報の出力タイミングに応じた前記第１〜第Ｎの判定期間を設定して、前記入力形状の形状認識処理を行ってもよい。
【００２０】
このようにすれば、判定期間が設定される範囲を限定することが可能になり、形状認識処理の処理負荷の軽減等が可能になる。
【００２１】
また本発明の一態様では、前記形状認識部は、形状認識の判定期間の再設定条件が満たされたか否かを判断し、前記再設定条件が満たされた場合には、前記再設定条件が満たされる前に設定された判定期間のリセット処理を行ってもよい。
【００２２】
このようにすれば、再設定条件が満たされた場合には、それまでに設定された判定期間がリセットされ、判定期間を再設定できるようになる。
【００２３】
また本発明の一態様では、前記形状認識部は、形状認識の判定期間の再設定を指示する再設定指示入力形状が、前記形状入力指示物により入力された場合に、前記再設定条件が満たされたと判断してもよい。
【００２４】
このようにすれば、操作者が、入力形状の途中まで入力したが、その入力を途中で取り消したい場合等に、これに対応することが可能になる。
【００２５】
また本発明の一態様では、前記形状認識部は、前記形状入力指示物の移動軌跡の動きベクトルに基づいて、前記再設定条件が満たされたか否かを判断してもよい。
【００２６】
このようにすれば、明らかに操作者が形状入力を行っていないと考えられる期間に対しては、判定期間が設定されないようになり、判定期間の設定処理や形状認識処理の効率化を図れる。
【００２７】
また本発明の一態様では、画像センサからの画像情報を取得する画像情報取得部を含み（画像情報取得部としてコンピュータを機能させ）、前記移動軌跡データ取得部は、前記画像センサからの前記画像情報に基づいて、前記移動軌跡データを取得してもよい。
【００２８】
このようにすれば、撮像センサからの画像情報を利用して、移動軌跡データを取得できるようになる。
【００２９】
また本発明の一態様では、前記移動軌跡データ取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記操作者の部位又は所持物である前記形状入力指示物の前記移動軌跡データを取得してもよい。
【００３０】
このようにすれば、スケルトン情報を有効活用して、操作者の部位又は所持物である形状入力指示物の移動軌跡データを取得できるようになる。
【００３１】
また本発明の一態様では、前記移動軌跡データ取得部は、前記スケルトン情報に基づいて、前記形状入力指示物となる操作者の部位を特定し、特定された前記部位の移動の軌跡データを、前記形状入力指示物の前記移動軌跡データとして取得してもよい。
【００３２】
このようにすれば、スケルトン情報を有効活用にして、形状入力指示物となる操作者の部位を特定して、移動軌跡データを取得できるようになる。
【００３３】
また本発明の一態様では、前記移動軌跡データ取得部は、前記移動軌跡データが有効なデータか無効なデータかを、前記スケルトン情報に基づいて判断してもよい。
【００３４】
このようにすれば、有効ではない移動軌跡データを用いて形状認識処理が行われるのを防止して、入力形状の誤認識等が発生するのを抑止できる。
【００３５】
また本発明の一態様では、前記形状認識部は、前記第１〜第Ｎの判定期間の各判定期間において、前記形状入力指示物による前記入力形状と候補形状とのマッチング処理を行い、前記マッチング処理で得られたマッチング率が各候補形状に対応づけられたマッチング情報を、マッチング情報記憶部に保存し、前記第１〜第Ｎの判定期間で得られた前記マッチング情報に基づいて、前記入力形状の形状認識処理を行ってもよい。
【００３６】
このようにすれば、各判定期間のマッチング処理においてマッチング情報を保存し、保存されたマッチング情報に基づいて、入力形状の形状認識処理を実行できるようになる。
【００３７】
また本発明の一態様では、前記形状認識部は、候補形状を構成する複数のパーツの各パーツ毎に、前記入力形状とのマッチング処理を行って、前記入力形状の形状認識処理を行ってもよい。
【００３８】
このようにすれば、入力形状が複雑な形状であった場合にも、正確な形状認識処理を実現できるようになる。
【図面の簡単な説明】
【００３９】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサを用いて移動軌跡データを取得して、プレーヤによる入力形状を認識する手法の説明図。
【図３】判定期間を用いた本実施形態の形状認識手法の説明図。
【図４】判定期間を用いた本実施形態の形状認識手法の説明図。
【図５】図５（Ａ）〜図５（Ｃ）は判定期間の設定手法の説明図。
【図６】図６（Ａ）〜図６（Ｄ）は判定期間の設定手法の説明図。
【図７】図７（Ａ）、図７（Ｂ）はバッファを用いる手法の説明図。
【図８】図８（Ａ）〜図８（Ｃ）は本実施形態の手法をクイズゲームに適用した例。
【図９】図９（Ａ）〜図９（Ｃ）は再設定条件についての説明図。
【図１０】画像センサを用いたカラー画像情報、デプス情報の取得手法の説明図。
【図１１】デプス情報に基づいてプレーヤのスケルトン情報を求める手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は形状入力指示物となる部位をスケルトン情報を用いて特定する手法の説明図。
【図１３】各判定期間でのマッチング処理により得られたマッチング情報を用いて入力形状を形状認識する手法の説明図。
【図１４】図１４（Ａ）〜図１４（Ｄ）はパーツ毎に形状認識処理を行う手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）は本実施形態の変形例の説明図。
【図１６】本実施形態の処理を説明するフローチャート。
【図１７】本実施形態の処理を説明するフローチャート。
【図１８】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００４０】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４１】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４２】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４３】
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。
【００４４】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４５】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４６】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００４７】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００４８】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００４９】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５０】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５１】
処理部１００は、画像情報取得部１０２、移動軌跡データ取得部１０４、形状認識部１０６、ゲーム演算部１０８、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また移動軌跡データ取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５２】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００５３】
移動軌跡データ取得部１０４は、形状入力指示部の移動軌跡データを取得する。形状入力指示物は、文字、記号、合図指示等の形状を入力するための物であり、例えば操作者（プレーヤ）の手（指）、足、臀部（お尻）等の部位や、ペン、ポインタ等の操作者の所持物である。移動軌跡データは、形状入力指示物が指示するポイントが描く軌跡を表すデータであり、例えば画像センサから見た軌跡のＸ、Ｙ座標データなどである。例えば画像センサからの画像情報が取得される各フレームにおいて、形状入力指示物が指示するポイントのＸ、Ｙ座標データ等が検出される。そして、検出されたＸ、Ｙ座標データ等を各フレームに対応づけたデータが、移動軌跡データとして移動軌跡データ記憶部１７８に保存される。また所定のフレーム期間毎の座標の変化をベクトル情報として記憶し、一連のベクトルの変化情報を移動軌跡データとして移動軌跡データ記憶部１７８に保存するようにしてもよい。
【００５４】
形状認識部１０６は、入力形状の形状認識処理を行う。例えば移動軌跡データに基づいて入力形状の形状認識処理を行う。
【００５５】
ゲーム演算部１０８はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５６】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００５７】
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。
【００５８】
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。
【００５９】
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。
【００６０】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６１】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００６２】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００６３】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００６４】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００６５】
そして本実施形態では、移動軌跡データ取得部１０４が、操作者の手等の形状入力指示物の移動軌跡データを取得する。そして移動軌跡データ記憶部１７８が、取得された移動軌跡データを記憶する。そして形状認識部１０６が、移動軌跡データに基づいて、形状入力指示物により入力される入力形状の形状認識処理を行う。
【００６６】
具体的には形状認識部１０６は、第１〜第Ｎの判定期間の各判定期間での移動軌跡データに基づいて、形状入力指示物による入力形状（文字、記号等の形状）の形状認識処理を行う。ここで、第１〜第Ｎの判定期間は、その第Ｋ＋１の判定期間の開始タイミングの方が第Ｋ（１≦Ｋ＜Ｎ）の判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される判定期間である。例えば形状認識部１０６は、各判定期間での形状入力指示物の移動軌跡データを移動軌跡データ記憶部１７８が読み出し、読み出された移動軌跡データに基づいて、対応する判定期間での入力形状の形状認識処理を行う。
【００６７】
この場合に形状認識部１０６は、第１〜第Ｎの判定期間の長さを可変に変化させて、入力形状の形状認識処理を行ってもよい。例えば初めの形状認識処理では、第１〜第Ｎの判定期間を、第１の長さに設定して、入力形状の形状認識処理を行い、次の形状認識処理では、第１〜第Ｎの判定期間を、第１の長さよりも短い第２の長さに設定して、形状認識処理を行う。
【００６８】
また形状認識部１０６は、第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定され、且つ、各判定期間の終了タイミングが現在のタイミング（現在のフレーム）となる第１〜第Ｎの判定期間を設定して、形状認識処理を行ってもよい。このようにすれば、第１〜第Ｎの判定期間の長さを変化させながら、リアルタイムの形状認識処理を実現できる。
【００６９】
この場合に、移動軌跡データ記憶部１７８は、第１〜第Ｎのバッファを有していてもよい。第１〜第Ｎのバッファの第Ｋのバッファは、第１〜第Ｎの判定期間の第Ｋの判定期間での移動軌跡データを記憶する。
【００７０】
そして形状認識部１０６は、現在のタイミングがタイミングｔｃ１からタイミンｔｃ２になった場合に、上述の第１〜第Ｎのバッファの先頭（先頭アドレス）から、ｔｃ２−ｔｃ１に対応する長さの期間分の移動軌跡データを削除する処理を行う。また、第１〜第Ｎのバッファの後方（後方アドレス）に対して、タイミングｔｃ１からタイミングｔｃ２の期間で得られた移動軌跡データを追加する処理を行う。このようにすれば、必要最小限の削除処理及び追加処理で、第１〜第Ｎのバッファの移動軌跡データを更新できるようになる。
【００７１】
また、画像生成部１２０や音生成部１３０（広義には情報生成部）は、形状入力指示物による入力形状の入力の開始指示情報及び終了通知情報の少なくとも１つを生成する。例えば画像生成部１２０は、入力形状の入力の開始を指示する画像や、終了を通知する画像を生成する。また音生成部１３０は、入力形状の入力の開始を指示する音（音声、音楽）や、終了を通知する音を生成する。
【００７２】
この場合に形状認識部１０６は、開始指示情報の出力タイミング、終了通知情報の出力タイミングに応じた第１〜第Ｎの判定期間を設定して、入力形状の形状認識処理を行う。即ち、入力形状の入力の開始を指示する画像・音や、終了を通知する画像・音の出力タイミングに応じて第１〜第Ｎの判定期間を設定して、形状認識処理を実行する。この場合に、第１〜第Ｎの判定期間は、開始指示情報の出力タイミングと終了通知情報の出力タイミングの間の期間に設定されていてもよいし、外側の期間に設定されていてもよい。
【００７３】
また形状認識部１０６は、形状認識の判定期間の再設定条件が満たされたか否かを判断する。そして、再設定条件が満たされた場合には、再設定条件が満たされる前に設定された判定期間のリセット処理を行う。例えば再設定条件が満たされる前の判定期間での移動軌跡データに基づく形状認識処理をリセットする。具体的には、形状認識の判定期間の再設定を指示する再設定指示入力形状（例えば再設定を指示する記号の形状）が、形状入力指示物により入力された場合に、再設定条件が満たされたと判断する。或いは、形状入力指示物の移動軌跡の動きベクトル（ベクトルの大きさ、方向）に基づいて、再設定条件が満たされたか否かを判断してもよい。形状認識処理のリセット処理が行われた場合には、再設定条件が満たされる前の判定期間の設定はリセットされ、新たな判定期間が設定されるようになる。また再設定条件が満たされる前の判定期間での移動軌跡データは、形状認識処理の対象にはならなくなり、例えば削除される。
【００７４】
また画像情報取得部１０２が画像センサからの画像情報を取得した場合に、移動軌跡データ取得部１０４は、画像センサからの画像情報に基づいて、移動軌跡データを取得する。例えば画像センサからの画像情報の画像認識処理を行い、形状入力指示物の移動軌跡を検出し、検出された移動軌跡のデータを移動軌跡データ記憶部１７８に保存する。
【００７５】
また移動軌跡データ取得部１０４は、画像センサからの画像情報に基づいて、画像センサから見える操作者の動作を特定するスケルトン情報を取得する。このスケルトン情報の取得はスケルトン情報取得部１０５により行われる。そして移動軌跡データ取得部１０４は、取得されたスケルトン情報に基づいて、操作者の部位（手等）又は所持物（ペン等）である形状入力指示物の移動軌跡データを取得する。具体的には、スケルトン情報に基づいて、形状入力指示物となる操作者の部位を特定し、特定された部位の移動の軌跡データを、形状入力指示物の移動軌跡データとして取得する。即ち、スケルトン情報を、形状入力指示物となる操作者の部位を特定するための情報として利用する
ここでスケルトン情報は、例えば画像センサから見える操作者の動作を特定する情報である。具体的には、このスケルトン情報は、操作者の複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。
【００７６】
また移動軌跡データ取得部１０４は、移動軌跡データが有効なデータか無効なデータかを、スケルトン情報に基づいて判断してもよい。例えば、形状入力指示物となる操作者の部位等が、入力形状の入力に適した領域には存在しないと、スケルトン情報に基づき判断された場合や、部位の動く速度が速すぎたり動く方向が適正な方向ではないと、スケルトン情報に基づき判断された場合には、当該移動軌跡データは無効なデータであると判断する。
【００７７】
また移動軌跡データ取得部１０４は、画像センサからの画像情報に基づいて、操作者の部位のデプス情報（奥行き情報）を取得し、取得されたデプス情報に基づいて、移動軌跡データが有効なデータか無効なデータかを判断してもよい。例えば画像センサであるデプスセンサにより操作者のデプス情報を取得する。そして、操作者の部位のデプス値（Ｚ値）が、適正な奥行き範囲にないと判断された場合には、移動軌跡データは無効なデータであると判断する。
【００７８】
また形状認識部１０６は、第１〜第Ｎの判定期間の各判定期間において、形状入力指示物による入力形状と候補形状とのマッチング処理を行う。例えば候補形状記憶部１８２には、直線形状や、様々な曲率の曲線形状等の複数の候補形状（候補形状パターン）が記憶されている。形状認識部１０６は、これらの複数の候補形状と入力形状（部分入力形状）とのマッチング率を求めるマッチング処理を行う。そして、マッチング処理で得られたマッチング率が各候補形状に対応づけられたマッチング情報を、マッチング情報記憶部１８４に保存する。そして第１〜第Ｎの判定期間で得られ、マッチング情報記憶部１８４に保存されたマッチング情報に基づいて、入力形状（全体入力形状）の形状認識処理を行う。ここで候補形状のデータについても、前述の移動軌跡データと同様に、候補形状を規定するＸ、Ｙ座標データ等を各フレームに対応づけたデータが、候補形状データとして、候補形状記憶部１８２に保存される。また所定のフレーム期間毎の候補形状の座標の変化をベクトル情報として記憶し、一連のベクトルの変化情報を候補形状データとして候補形状データ記憶部１８２に保存するようにしてもよい。
【００７９】
なお、形状認識部１０６は、候補形状を構成する複数の各パーツ毎に、入力形状とのマッチング処理を行って、入力形状の形状認識処理を行ってもよい。例えば文字の候補形状が複数のパーツにより構成される場合に、パーツ毎に形状認識処理を行って、その文字がどの文字であるのかを判断する。また記号の候補形状が複数のパーツにより構成される場合に、パーツ毎に形状認識処理を行って、その記号がどの記号であるのかを判断する。
【００８０】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００８１】
２．１ 第１〜第Ｎの判定期間を用いた形状認識
図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。
【００８２】
そして、画像センサＩＳＥにより得られた画像情報に基づいて、プレーヤＰＬ（広義には操作者）の手（広義には形状入力指示物）の動きを画像認識して、手（指）の移動軌跡のデータを取得する。例えば画像センサＩＳＥから見た時の手の移動軌跡のＸ、Ｙ座標を、移動軌跡データとして取得する。
【００８３】
そして、取得された移動軌跡データに基づいて、プレーヤＰＬが手を使って入力した入力形状を認識する。例えば図２（Ｂ）では、「２」の文字（広義には入力形状）が入力されたことが認識されている。
【００８４】
なお、以下では、形状入力指示物がプレーヤの手（指）であり、入力形状が文字形状である場合を主に例にとり説明するが、本実施形態はこれに限定されず、形状入力指示物は、手以外の部位や、ペン、ポインタなどの所持物であってもよい。また、入力形状は、文字以外の形状であってもよく、例えば、ゲーム等において何かの指示を行うための記号等の形状であってもよい。また、以下では、本実施形態をプレーヤがゲームをプレイするゲーム装置に適用した場合について説明するが、本実施形態は、これに限定されず、例えば操作者が操作する種々の画像生成システム（テレビ、ＨＤＤレコーダなどの録画装置、家電機器等）に適用できる。また図２では、画像センサからの画像情報に基づいて、手等の形状入力指示物の移動軌跡データを取得しているが、６軸センサなどのモーションセンサを用いて、移動軌跡データを取得してもよい。例えばプレーヤが手にモーションセンサを装着し、モーションセンサにより得られる加速度情報や角加速度情報に基づいて、手の位置座標を検出して、移動軌跡データを取得してもよい。またコントローラ等の操作デバイスに発光部を設け、この発光部の移動軌跡データ（発光部の発光色の移動軌跡データ）を取得するようにしてもよい。この場合に第１のプレーヤが所持する第１の操作デバイスの発光部の発光色と、第２のプレーヤが所持する第２の操作デバイスの発光部の発光色を、異なる色に設定することが望ましい。こうすることで、マルチプレーヤゲームにおいて、いずれのプレーヤにより入力された移動軌跡データなのかを、容易に認識することが可能になる。
【００８５】
さて、例えばタッチパネルなどでの文字認識では、指の動きは２次元に限定されるため、形状認識処理はそれほど困難ではない。
【００８６】
しかしながら、図２（Ａ）のように、３次元空間で動く手（指）の移動軌跡から、文字の形状を認識する場合には、タッチパネルなどで用いられる文字認識技術をそのまま適用したのでは、精度の高い文字認識を実現できない。
【００８７】
この場合に、例えばプレーヤの手が動く範囲を２次元的な範囲に限定し、文字認識を実現する比較例の手法も考えられる。例えば文字入力の際には手を伸ばして動かすことをプレーヤに指示する。そしてプレーヤは、手を伸ばして、プレーヤの目の前に設定された仮想的な文字入力範囲で文字を入力する。
【００８８】
しかしながら、この比較例の手法では、プレーヤが文字を入力できる範囲が限定されてしまい、プレーヤの文字入力の自由度が狭まり、プレーヤの利便性が阻害される。
【００８９】
そこで本実施形態では図３に示すような判定期間ＴＤ１〜ＴＤ１０（広義には第１〜第Ｎの判定期間）を設定して、文字等の入力形状の形状認識を行う。
【００９０】
図３に示すように、例えば判定期間ＴＤ２（第Ｋ＋１の判定期間）は、その開始タイミングｔｓ２が、判定期間ＴＤ１（第Ｋの判定期間）の開始タイミングｔｓ１よりも時間的に遅れたタイミングに設定されている。また判定期間ＴＤ３（第Ｋ＋１の判定期間）は、その開始タイミングｔｓ３が、判定期間ＴＤ２（第Ｋの判定期間）の開始タイミングｔｓ２よりも時間的に遅れたタイミングに設定されている。即ち、判定期間ＴＤ１〜ＴＤ１０は、その開始タイミングが時系列にずれた期間となっている。
【００９１】
そして本実施形態では、これらのＴＤ１〜ＴＤ１０の各判定期間での手等の移動軌跡データに基づいて、文字形状等の形状認識処理を行う。
【００９２】
例えば図４に、プレーヤの手の移動軌跡の例を示す。図２（Ａ）のようにプレーヤが文字を入力した場合、実際に「２」の文字を入力している期間は、ｔｐ２〜ｔｐ３の期間である。そして、ｔｐ１〜ｔｐ２の期間は、「２」の文字を入力するために、プレーヤが手を伸ばす等している準備期間である。また、ｔｐ３〜ｔｐ４の期間は、「２」の文字の入力を終了して、プレーヤが手を元に戻す終了期間である。従って、ｔｐ１〜ｔｐ２の期間やｔｐ３〜ｔｐ４の期間で文字形状の形状認識処理を行っても、適正な文字認識を実現できない。
【００９３】
この点、本実施形態では図３に示すように、ＴＤ１〜ＴＤ１０の各判定期間が時間的にずれて設定される。従って、例えばＴＤ１〜ＴＤ１０のいずれかの判定期間が、ｔｐ２〜ｔｐ３に相当する期間の場所に設定されることで、「２」の文字形状を適正に認識できるようになる。従って、プレーヤが、ｔｐ１〜ｔｐ２の準備期間の動作を行った場合や、ｔｐ３〜ｔｐ４の終了期間の動作を行った場合にも、これを許容にしながら、ｔｐ２〜ｔｐ３の期間で入力された文字を認識できるようになる。このため、上述の比較例の手法のように文字の入力範囲が限定されたり、プレーヤの文字入力の自由度が奪われたりするなどの事態を抑止することができ、利便性の高い形状認識を実現できる。
【００９４】
さて、図２（Ａ）のようにプレーヤが文字を入力する場合に、プレーヤが手を動かす速度は、個人によって異なり、様々である。従って、手を動かす速度が遅ければ、図４のｔｐ２〜ｔｐ３で「２」を入力する期間の長さは長くなり、手を動かす速度が速ければ、ｔｐ２〜ｔｐ３で「２」を入力する期間の長さは短くなる。従って、ＴＤ１〜ＴＤ１０の判定期間の長さが固定されていると、このような文字入力速度の変化に対応できなくなるおそれがある。
【００９５】
そこで図５（Ａ）〜図５（Ｃ）では、判定期間ＴＤ１〜ＴＤ１０（第１〜第Ｎの判定期間）の長さを可変に変化させて、形状認識処理を行う手法を採用している。
【００９６】
具体的には、まず図５（Ａ）に示すように、長さがＬ１である判定期間ＴＤ１１〜ＴＤ１７を時間的にずらしながら、ＴＤ１１〜ＴＤ１７の各判定期間において形状認識処理を行う。
【００９７】
次に図５（Ｂ）に示すように、長さがＬ２である判定期間ＴＤ２１〜ＴＤ２８を時間的にずらしながら、ＴＤ２１〜ＴＤ２８の各判定期間において形状認識処理を行う。ここで、ＴＤ２１〜ＴＤ２８の判定期間の長さＬ２は、図５（Ａ）のＴＤ１１〜ＴＤ１７の判定期間の長さＬ１よりも短くなっている。
【００９８】
次に図５（Ｃ）に示すように、長さがＬ３である判定期間ＴＤ３１〜ＴＤ３９を時間的にずらしながら、ＴＤ３１〜ＴＤ３９の各判定期間において形状認識処理を行う。ここで、ＴＤ３１〜ＴＤ３９の判定期間の長さＬ３は、図５（Ｂ）のＴＤ２１〜ＴＤ２８の判定期間の長さＬ２よりも短くなっている。なお図５（Ａ）〜図５（Ｃ）では、判定期間の長さを徐々に短くしていているが、本実施形態はこれに限定されず、例えば判定期間の長さを徐々に長くするなどの種々の変形実施が可能である。
【００９９】
図５（Ａ）〜図５（Ｃ）の手法によれば、判定期間の長さを変化させながら、各判定期間での移動軌跡データに基づいて、形状認識処理を実現できる。従って、例えばプレーヤの文字入力の速度が様々に変化しても、これに対応することが可能になる。
【０１００】
図６（Ａ）〜図６（Ｄ）に判定期間の設定手法の他の例を示す。図６（Ａ）〜図６（Ｄ）では、現在のタイミングがｔｃ１、ｔｃ２、ｔｃ３、ｔｃ４と変化している。
【０１０１】
現在のタイミングがｔｃ１である場合には、図６（Ａ）に示すように判定期間ＴＤ１１〜ＴＤ１５が設定される。図６（Ａ）では、例えば判定期間ＴＤ１２（第Ｋ＋１の判定期間）の開始タイミングｔｓ１２の方が、判定期間ＴＤ１１（第Ｋの判定期間）の開始タイミングｔｓ１１よりも時間的に遅れたタイミングに設定されている。判定期間ＴＤ１３とＴＤ１２の関係、ＴＤ１４とＴＤ１３の関係、ＴＤ１５とＴＤ１４の関係も同様である。そして図６（Ａ）では、ＴＤ１１〜ＴＤ１５の判定期間の終了タイミングが、現在のタイミングｔｃ１に設定されている。即ち、現在のタイミングｔｃ１を後ろ側の起点として、長さが異なる判定期間ＴＤ１１〜ＴＤ１５が設定されている。そして、これらのＴＤ１１〜ＴＤ１５の各判定期間での手等の移動軌跡データに基づいて、形状認識処理（候補形状とのマッチング処理）が行われる。
【０１０２】
現在のタイミングがｔｃ２である場合には、図６（Ｂ）に示すように判定期間ＴＤ２１〜ＴＤ２５が設定される。図６（Ｂ）では、例えば判定期間ＴＤ２２（第Ｋ＋１の判定期間）の開始タイミングｔｓ２２の方が、判定期間ＴＤ２１（第Ｋの判定期間）の開始タイミングｔｓ２１よりも時間的に遅れたタイミングに設定されている。他の判定期間同士の関係も同様である。そして図６（Ｂ）では、ＴＤ２１〜ＴＤ２５の判定期間の終了タイミングが、現在のタイミングｔｃ２に設定されている。そして、これらのＴＤ２１〜ＴＤ２５の各判定期間での移動軌跡データに基づいて形状認識処理が行われる。
【０１０３】
図６（Ｃ）は現在のタイミングがｔｃ３であり、図６（Ｄ）は現在のタイミングがｔｃ４である場合の例であり、判定期間の設定手法は図６（Ａ）、図６（Ｂ）と同様である。
【０１０４】
図６（Ａ）〜図６（Ｄ）の手法によれば、図５（Ａ）〜図５（Ｃ）と同様に、判定期間の長さが変化しながら、開始タイミングが時間的にずれる判定期間の設定が可能になる。即ち、図６（Ａ）〜図６（Ｄ）のＴＤ１１、ＴＤ２１、ＴＤ３１、ＴＤ４１が、図５（Ａ）のＴＤ１１〜ＴＤ１７に相当するようになる。また図６（Ａ）〜図６（Ｄ）のＴＤ１２、ＴＤ２２、ＴＤ３２、ＴＤ４２が、図５（Ｂ）のＴＤ２１〜ＴＤ２８に相当するようになる。また図６（Ａ）〜図６（Ｄ）のＴＤ１３、ＴＤ２３、ＴＤ３３、ＴＤ４３が、図５（Ｃ）のＴＤ３１〜ＴＤ３９に相当するようになる。
【０１０５】
そして図６（Ａ）〜図６（Ｄ）の手法は、ｔｃ１〜ｔｃ５の各タイミングにおいて、判定期間を設定して形状認識処理を行うため、リアルタイム処理に適しているという利点がある。
【０１０６】
図７（Ａ）、図７（Ｂ）は、図６（Ａ）〜図６（Ｄ）の手法において、バッファを用いることで処理の効率化を図る手法の説明図である。
【０１０７】
図７（Ａ）、図７（Ｂ）のバッファＢＦ１〜ＢＦ５（第１〜第Ｎのバッファ）は、図１の移動軌跡データ記憶部１７８に設けられるバッファである。例えばバッファＢＦ１（第Ｋのバッファ）は、判定期間ＴＤ１（第Ｋの判定期間）での移動軌跡データを記憶する。同様に、バッファＢＦ２、ＢＦ３、ＢＦ４、ＢＦ５は、各々、判定期間ＴＤ２、ＴＤ３、ＴＤ４、ＴＤ５での移動軌跡データを記憶する。
【０１０８】
そして図７（Ａ）は、現在のタイミングがｔｃ１の場合であり、図７（Ｂ）は、現在のタイミングがｔｃ２の場合である。
【０１０９】
このように、現在のタイミングがｔｃ１からｔｃ２になった場合には、図７（Ｂ）のＡ１に示すように、バッファＢＦ１〜ＢＦ５の先頭から、ｔｃ２−ｔｃ１に対応する長さの期間分の移動軌跡データが削除される。即ち、先頭部分の移動軌跡データであり、不要になった移動軌跡データが、バッファＢＦ１〜ＢＦ５から削除される。
【０１１０】
また図７（Ｂ）のＡ２に示すように、バッファＢＦ１〜ＢＦ５の後方に対して、ｔｃ１からｔｃ２の期間で得られた移動軌跡データを追加する処理が行われる。即ちｔｃ１〜ｔｃ２の期間で新たに取得された移動軌跡データが、全てのバッファＢＦ１〜ＢＦ５の後半部分に追加される。
【０１１１】
このようにすれば、ｔｃ１、ｔｃ２等の各判定タイミング毎に、Ａ１に示すような移動軌跡データの削除処理と、Ａ２に示すような移動軌跡データの追加処理を行うだけで、各判定期間に必要な移動軌跡データを、バッファＢＦ１〜ＢＦ５に保持しておくことが可能になる。従って、図６（Ａ）〜図６（Ｄ）の処理を、効率的な処理で実現することが可能になり、処理の効率化を図れる。
【０１１２】
２．２ ゲームへの適用例
次に、各種のゲームへの本実施形態の手法の適用例について説明する。図８（Ａ）〜図８（Ｃ）は、クイズゲームへの適用例を示す図である。このクイズゲームでは、プレーヤに対して問題を出題し、プレーヤは、図２（Ａ）のように回答を文字入力して、問題に答える。
【０１１３】
例えば図８（Ａ）では、プレーヤに対して「３＋２」の答えを文字入力することを指示する画像が、表示部１９０に表示されている。即ち、手（形状入力指示物）による文字（入力形状）の入力の開始を指示する画像（広義には開始指示情報）が生成されて、表示部１９０に表示（出力）されている。また図８（Ａ）では、プレーヤに対して制限時間である３０秒以内に、答えの文字を入力することを指示する画像が表示されている。
【０１１４】
一方、図８（Ｂ）では、制限時間がタイムアップして文字入力の期間が終了したことを通知する画像が、表示部１９０に表示されている。即ち、手（形状入力指示物）による文字（入力形状）の入力の終了を通知する画像（広義には終了通知情報）が生成されて、表示部１９０に表示（出力）されている。
【０１１５】
そして図８（Ｃ）では、図８（Ａ）の開始指示画像（開始指示情報）の出力タイミングｔｓｔと、図８（Ｂ）の終了通知画像（終了通知情報）の出力タイミングｔｅｄに応じた判定期間（ＴＤ１〜ＴＤ１０等）を設定して、入力形状の形状認識処理を行っている。即ち図３〜図６（Ｄ）の一連の判定期間（ＴＤ１〜ＴＤ１０等）が、例えば図８（Ｃ）の出力タイミングｔｓｔとｔｅｄの間に設定される。なお、一連の判定期間の開始タイミングが、開始指示画像の出力タイミングｔｓｔよりも少しだけ手前になったり、一連の判定期間の終了タイミングが、終了通知画像の出力タイミングｔｅｄよりも少しだけ後になってもよい。
【０１１６】
図８（Ａ）〜図８（Ｃ）の手法によれば、判定期間が設定される範囲を、出力タイミングｔｓｔ、ｔｅｄにより、ある程度の期間の範囲に限定できる。従って、図３等のように各判定期間をずらす範囲が限定され、処理負荷を軽減できる。
【０１１７】
即ち、判定期間の設定範囲が長くなると、その分だけ、各判定期間をずらす範囲が長くなってしまい、一連の判定期間の数が増えてしまう。これに対して図８（Ａ）〜図８（Ｃ）の手法により、判定期間の設定範囲を限定すれば、各判定期間をずらす範囲が短くなり、一連の判定期間の数も減るため、処理負荷を軽減できる。
【０１１８】
なお、図８（Ａ）、図８（Ｂ）は、開始指示情報、終了通知情報が画像である場合を例に示したが、開始指示情報、終了通知情報は音声や音楽などの音であってもよい。例えば文字入力の開始指示を音声等でプレーヤに知らせたり、文字入力の終了通知を音声等でプレーヤに知らせてもよい。
【０１１９】
また図８（Ａ）〜図８（Ｃ）はクイズゲームへの本実施形態の適用例を示したが、本実施形態が適用されるゲームは、これに限定されず、音楽ゲームやアクションゲームやＲＰＧゲームなどの様々なゲームに適用できる。
【０１２０】
例えば音楽ゲームの場合には、第１の音（第１のリズム）が出力された後、第２の音（第２のリズム）が出力されるまでの入力期間に、プレーヤが図２（Ａ）に示すように文字や記号を入力するようにする。そして、この入力期間内において、指示された文字や記号の入力に成功した場合には、プレーヤの得点を加算する。この場合には、第１の音の出力タイミングが、図２（Ｃ）の開始指示の出力タイミングｔｓｔになり、第２の音の出力タイミングが、終了通知の出力タイミングｔｅｄになる。
【０１２１】
また形状入力指示物の移動軌跡が所定の軌跡に沿っているかどうかを判断し、沿っていると判断された場合には、その所定軌跡に応じた演出情報を出力するようにしてもよい。具体的には、形状入力指示物の移動軌跡と、所定の軌跡パターンとのマッチング処理を行い、マッチングしていると判断された場合には、当該軌跡パターンに関連づけられた演出画像や演出音を出力するようにする。こうすることで、プレーヤが入力した移動軌跡に応じて、様々な演出画像や演出音が出力されるようになり、これまでにないタイプのゲーム演出を実現できる。
【０１２２】
２．３ 判定期間の再設定
図２（Ａ）のようにプレーヤの手の３次元的な移動軌跡を検出して文字入力を実現する場合、プレーヤが、文字入力以外の手の動きを行う場合が多いと考えられる。従って、このように、文字入力以外の動きが行われている期間において、図３等の判定期間に基づく形状認識処理を行っても、処理の無駄であり、判定期間を再設定することが望ましい。また、プレーヤが、文字等を途中まで入力したが、その文字入力を途中で取り消して、再度、新しい文字を入力することを望む場合も考えられる。
【０１２３】
そこで本実施形態では、形状認識の判定期間の再設定条件が満たされたか否かを判断する。そして、再設定条件が満たされると、それまでに設定された判定期間をリセットして、リセットされた判定期間での移動軌跡データに基づく形状認識処理をリセットする。
【０１２４】
再設定条件としては種々の条件を想定できる。例えば図９（Ａ）では、プレーヤは、「５」の文字を途中まで形状入力している。そして、この文字入力を途中で取り消したい場合には、プレーヤは、「×」の記号を形状入力すればよい。この場合には、「×」の記号が、形状認識の判定期間の再設定を指示する再設定指示入力形状になり、プレーヤが図２（Ａ）において、手で「×」の記号を形状入力すると、再設定条件が満たされたと判断される。
【０１２５】
このような「×」の記号が形状入力されると、判定期間の再設定条件が満たされて、それまでの判定期間がリセットされる。そして、例えば図９（Ａ）の「５」の途中までの移動軌跡データは、形状認識処理の対象から除外され、図３等のような判定期間が再設定される。そして、再設定された判定期間の移動軌跡データを用いて、再設定条件が満たされた後の文字入力の形状認識が実行される。
【０１２６】
或いは、図９（Ｂ）、図９（Ｃ）に示すように、プレーヤの手（形状入力指示物）の移動軌跡の動きベクトルに基づいて、再設定条件が満たされたか否かを判断してもよい。例えば図９（Ｂ）では、プレーヤの手の移動軌跡の動きベクトルの大きさや方向は許容範囲内であり、この場合には、再設定条件は満たされない。
【０１２７】
一方、図９（Ｃ）では、プレーヤの手の移動軌跡の動きベクトルの大きさや方向が許容範囲外である。即ち、動きベクトルの大きさが所定の閾値を超えており、方向の変化幅も変化幅の閾値を超えている。従って、この場合には、文字の形状入力を行っていないと考えられるため、再設定条件が満たされたと判断する。これにより、図９（Ｃ）での判定期間はリセットされ、リセットされた判定期間での軌跡データは、形状認識処理の対象から除外される。このようにすれば、明らかにプレーヤが文字入力を行っていない期間に対しては、判定期間が設定されないようになり、判定期間の設定処理や形状認識処理の効率化を図れる。
【０１２８】
なお、動きベクトルは、プレーヤの手等の形状入力指示物の移動軌跡を、単位時間毎にプロットした場合に、プロット点間を結ぶベクトルとして定義できる。また、再設定指示入力形状は、図９（Ａ）に示すような「×」印には限定されず、記号や文字等の種々の形状を採用できる。
【０１２９】
２．４ スケルトン情報
さて、図２（Ａ）の画像センサＩＳＥがカラー画像センサとデプスセンサを有する場合には、図１０に示すようなカラー画像情報とデプス情報を取得することができる。例えばカラー画像情報では、プレーヤやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【０１３０】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【０１３１】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づき、プレーヤの手等の移動軌跡データを取得する。即ち図１０のカラー画像情報やデプス情報を用いて、プレーヤの手等の動きを検知して、その移動軌跡データを取得する。
【０１３２】
例えば画像センサＩＳＥからの画像情報に基づいて、画像センサＩＳＥから見えるプレーヤ（操作者）の動作を特定するスケルトン情報を取得する。そして取得されたスケルトン情報に基づいて、プレーヤの部位又は所持物（形状入力指示物）の移動軌跡データを取得する。
【０１３３】
即ち本実施形態では図１１に示すように、図１０のデプス情報等の画像情報に基づいて、プレーヤの動作を特定するためのスケルトン情報を取得する。図１１ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤの関節に対応するものである。なお画像センサＩＳＥにプレーヤの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。
【０１３４】
例えば図１０のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図１１に示すようなスケルトン情報を取得する。
【０１３５】
このようなスケルトン情報を用いれば、プレーヤの動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間において、プレーヤに対応するキャラクタを動作させることも可能になる。
【０１３６】
そして本実施形態では、図１１のスケルトン情報に基づいて、形状入力指示物となる手等の部位を特定し、特定された手等の部位の移動の軌跡データを、文字の形状認識のための移動軌跡データとして取得する。
【０１３７】
例えば図１２（Ａ）のスケルトンＳＫにおいて、関節Ｃ７は右手の関節である。従って、のスケルトンＳＫの情報を取得できれば、形状入力指示物となる右手の部位を特定できる。従って、右手に対応する関節Ｃ７の位置情報を、スケルトン情報から取得することで、右手の移動軌跡を特定して、その移動軌跡データを取得できる。例えば図１２（Ａ）から図１２（Ｂ）のように関節Ｃ７の位置が移動した場合には、プレーヤの右手についても、同様に移動したと考え、画像センサＩＳＥから見た関節Ｃ７の座標位置から、右手の移動軌跡のデータを取得できる。そして、図３等の各判定期間で取得された移動軌跡データに基づいて、プレーヤが右手で入力した文字形状の形状認識処理を実現できるようになる。
【０１３８】
なお、プレーヤが、ペンやポインタなどの所持物を動かして文字入力を行う場合には、図１２（Ａ）、図１２（Ｂ）の関節Ｃ７の位置を、プレーヤが右手に持つ所持物の位置とみなして、その所持物の移動軌跡データを求めればよい。
【０１３９】
また、文字、記号等の入力を行う部位は、手の部位に限定されない。例えば図１２（Ａ）、図１２（Ｂ）の臀部の部位に対応する関節Ｃ０の位置情報に基づいて、プレーヤの臀部の移動軌跡データを求めて、臀部を動かすことによる入力形状の形状認識処理を行ってもよい。このようにすれば、プレーヤが臀部を動かして、文字や記号等を入力して、その速さを競うなどのゲームを実現することが可能になる。
【０１４０】
また、移動軌跡データが有効なデータか無効なデータかを、スケルトン情報に基づいて判断してもよい。例えば、プレーヤの右手が胴体に近づいていることが、スケルトン情報に基づいて検出された場合には、右手の移動軌跡データは無効なデータであると判断してもよい。即ち、プレーヤの右手が胴体に近づいている場合には、図１２（Ａ）、図１２（Ｂ）において右手に対応する関節Ｃ７の位置情報の情報信頼度は低くなる。従って、このような信頼度の低い関節Ｃ７の位置情報を用いて、文字形状の認識処理を行うと、文字形状の誤認識が生じるおそれがある。従って、このような場合には、取得された移動軌跡データは、形状認識処理に使用できない無効なデータであると判断して、この移動軌跡データに基づく形状認識処理は行わないようにする。
【０１４１】
また、スケルトン情報に基づいて、プレーヤの手の動きを示す動きベクトルの大きさや方向が、図９（Ｃ）で説明したように許容範囲を超えたと判断された場合には、その時に取得された移動軌跡データを無効なデータであると判断してもよい。
【０１４２】
また、図１２（Ａ）、図１２（Ｂ）に示すようなスケルトン情報を取得せずに、画像センサＩＳＥからの画像情報に基づいて、プレーヤの部位のデプス情報を取得し、取得されたデプス情報に基づいて、移動軌跡データが有効なデータか無効なデータかを判断してもよい。即ち、スケルトン情報ではなく、デプス情報自体を用いて、移動軌跡データが有効なデータか無効なデータかを判断してもよい。例えば、プレーヤの右手と胴体が近づいていると、デプス情報に基づき判断された場合には、その時に取得された移動軌跡データを無効なデータであると判定すればよい。また例えば所定期間におけるデプス情報のデプス値を判断することで、移動軌跡データが有効なデータか無効なデータかを判定してもよい。
【０１４３】
２．５ マッチング処理
次にマッチング処理による形状認識処理の具体例について説明する。
【０１４４】
図１３に示すように本実施形態では、ＴＤ１、ＴＤ２、ＴＤ３の各判定期間において、プレーヤの手等による入力形状と、候補形状とのマッチング処理を行う。即ち、複数の候補形状のパターンを予め用意しておき、入力形状と各候補形状との類似度を評価する公知のマッチング処理を行い、各候補形状と入力形状とのマッチング率を求める。このマッチング率は、例えば入力形状と候補形状の類似度が高い場合には、例えば１．０（１００％）に近づき、類似度が低い場合には、例えば０．０（０％）に近づく情報である。
【０１４５】
そして、図１３に示すように、ＴＤ１、ＴＤ２、ＴＤ３の各判定期間のマッチング処理で得られたマッチング率が、各候補形状に対応づけられたデータ構造のマッチング情報を、例えば図１のマッチング情報記憶部１８４に保存する。例えば判定期間ＴＤ１でのマッチング情報では、候補形状ＣＦ１、ＣＦ２、ＣＦ３・・・に対して、マッチング率ＭＲ１１、ＭＲ１２、ＭＲ１３が対応づけられている。また判定期間ＴＤ２でのマッチング情報では、候補形状ＣＦ１、ＣＦ２、ＣＦ３・・・に対して、マッチング率ＭＲ２１、ＭＲ２２、ＭＲ２３が対応づけられている。判定期間ＴＤ３でのマッチング情報についても同様である。
【０１４６】
そして、判定期間ＴＤ１、ＴＤ２、ＴＤ３で得られたマッチング情報に基づいて、文字形状等の入力形状の形状認識処理を実行する。
【０１４７】
例えば図４のｔｐ１〜ｔｐ２が図１３の判定期間ＴＤ１に相当し、ｔｐ２〜ｔｐ３が判定期間ＴＤ２に相当し、ｔｐ３〜ｔｐ４が判定期間ＴＤ３に相当したとする。そして、候補形状ＣＦ１、ＣＦ２、ＣＦ３が、各々、「１」、「２」、「３」の文字形状であったとする。
【０１４８】
この場合には、図４のｔｐ１〜ｔｐ２の形状は、「１」、「２」、「３」の文字の候補形状とは非類似である。従って、図１３の判定期間ＴＤ１のマッチング情報のマッチング率ＭＲ１１、ＭＲ１２、ＭＲ１３は全て低い値になる。同様に図４のｔｐ３〜ｔｐ４の形状も、「１」、「２」、「３」の文字の候補形状とは非類似である。従って、図１３の判定期間ＴＤ３のマッチング情報のマッチング率ＭＲ１１、ＭＲ１２、ＭＲ１３も全て低い値になる。
【０１４９】
一方、図４のｔｐ２〜ｔｐ３の形状は、「２」の文字の候補形状と類似する。従って、図１３の判定期間ＴＤ２のマッチング情報のマッチング率ＭＲ１１、ＭＲ１３は低い値になるが、「２」の候補形状ＣＦ２に対応づけられたマッチング率ＭＲ２２は高い値になる。従って、判定期間ＴＤ２での移動軌跡データに基づく判定結果に基づいて、プレーヤの入力形状は「２」の文字形状であると判定できるようになる。
【０１５０】
２．６ パーツ毎の認識処理
さて、図４等では、「２」などの数字の文字形状の認識処理について説明した。このような比較的な単純な文字形状であれば、その文字自体を表す候補形状と入力形状とのマッチング処理を行うことで、文字認識を実現できる。
【０１５１】
しかしながら、例えば漢字等の複雑な形状の文字等では、このような文字自体を表す候補形状と入力形状とのマッチング処理では、正確な文字認識を実現できないおそれがある。
【０１５２】
そこで本実施形態では、候補形状を複数のパーツにより構成する。そして、候補形状を構成する複数のパーツの各パーツ毎に入力形状とのマッチング処理を行って、入力形状の形状認識処理を実現する。
【０１５３】
例えば図１４（Ａ）では、「５」の文字を表す候補形状は、複数のパーツＰＴＡ１、ＰＴＡ２、ＰＴＡ３により構成される。そして、入力形状とのマッチング処理を行う場合には、これらのＰＴＡ１、ＰＴＡ２、ＰＴＡ３の各パーツ毎に、入力形状とのマッチング処理を行う。例えば入力形状と、横線のパーツＰＴＡ１と、若干だけ斜め方向の縦線のパーツＰＴＡ２と、円弧線のパーツＰＴＡ３とのマッチング処理を行い、入力形状が、パーツＰＴＡ１、ＰＴＡ２、ＰＴＡ３に対応する形状を有していた場合には、入力形状は「５」であると判定する。
【０１５４】
例えば図１４（Ｂ）に、この場合のマッチング情報の例を示す。このマッチング情報では、候補形状のパーツＰＴＡ１、ＰＴＡ２、ＰＴＡ３と、これらのパーツと入力形状の各部分とのマッチング率ＭＲＰ１、ＭＲＰ２、ＭＲＰ３が対応づけられている。このようなマッチング情報を、図１３のＴＤ１、ＴＤ２、ＴＤ３の各判定期間において求め、求められた各判定期間でのマッチング情報に基づいて、入力形状の形状認識処理を行う。例えば図１３の判定期間ＴＤ１では、パーツＰＴＡ１のマッチング率ＭＲＰ１が高い値となり、判定期間ＴＤ２では、パーツＰＴＡ２のマッチング率ＭＲＰ２が高い値となり、判定期間ＴＤ３では、パーツＰＴＡ３のマッチング率ＭＲＰ３が高い値になった場合には、入力形状は「５」の文字であると判定できる。このようにすれば、複雑な形状の文字等であっても、正確な形状認識処理を実現できるようになる。
【０１５５】
なお、図１４（Ｃ）には、「４」の候補形状を構成するパーツＰＴＢ１、ＰＴＢ２、ＰＴＢ３の例を示す。このような「４」の文字の形状認識を行う場合には、図１４（Ｃ）に示すような複数のパーツＰＴＢ１、ＰＴＢ２、ＰＴＢ３で構成される候補形状を用意して、入力形状とのマッチング処理を行って、形状認識処理を実現する。或いは、図１４（Ｄ）に示すような、一筆書きで表される候補形状を用意して、入力形状とのマッチング処理を行って、形状認識処理を実現してもよい。
【０１５６】
例えば図１４（Ｄ）では、Ｂ１に示す部分は、実際には「４」の文字を形成する部分ではない。しかしながら、図２のようにプレーヤが手を使って文字を入力する場合には、手の移動軌跡は、図１４（Ｄ）のＢ１に示すような線を有することになる。従って、図１４（Ｄ）に示すような一筆書きの候補形状を用いてマッチング処理を行うことで、より正確な形状認識処理を実現できる。
【０１５７】
また、プレーヤによっては、図１４（Ｄ）に示すような正確な書き順で「４」の文字を描かない場合も考えられる。従って、このような場合に対応するためには、図１４（Ｄ）に示すような一筆書きの第１の候補形状と、図１４のＢ１に示す部分が除かれた第２の候補形状を用意し、その各々について形状認識処理を実行すればよい。
【０１５８】
なお、以上では、プレーヤが手（指）を用いて文字等を入力する場合について説明したが、本実施形態はこれに限定されない。例えば図１５（Ａ）、図１５（Ｂ）では、プレーヤＰＬは、臀部（腰）を振る動作を行っている。そして、このような動作を行っているプレーヤの臀部の描く移動軌跡を検出し、その移動軌跡が、所定の形状に一致するか否かを判定する形状認識処理を行ってもよい。このようにすることで、これまでにないゲームを実現することが可能になる。
【０１５９】
２．７ 詳細な処理例
次に本実施形態の詳細な処理例について図１６〜図１８のフローチャートを用いて説明する。図１６は移動軌跡データの取得処理を示すフローチャートである。
【０１６０】
まず、図８（Ａ）で説明したように、文字等の形状入力の開始指示情報（開始指示画像）を出力する（ステップＳ１）。そして図２で説明したように、画像センサからの画像情報に基づいて移動軌跡データを取得する（ステップＳ２）。具体的には図１１〜図１２（Ｂ）で説明したように、画像情報に基づいてスケルトン情報を取得し、取得されたスケルトン情報に基づいて移動軌跡データを取得する。
【０１６１】
次に、取得された移動軌跡データを、図１の移動軌跡データ記憶部１７８に書き込んで保存する（ステップＳ３）。そして図８（Ｂ）で説明したように、形状入力の終了通知情報を出力する（ステップＳ４）。そして移動軌跡データの保存処理を終了する（ステップＳ５）。
【０１６２】
図１７は、図５（Ａ）〜図５（Ｃ）の判定期間設定手法による形状認識処理を示すフローチャートである。
【０１６３】
まず、ｎ＝１、ｍ＝１に設定する（ステップＳ１１）。次に、判定期間ＴＤnmの開始タイミングｔｓnmを設定する（ステップＳ１２）。例えばｎ＝１、ｍ＝１の場合には、図５（Ａ）の判定期間ＴＤ１１の開始タイミングｔｓ１１が設定される。そして、判定期間ＴＤnmの長さＬmを設定する（ステップＳ１３）。例えばｍ＝１の場合には、図５（Ａ）の判定期間ＴＤ１１の長さＬ１が設定される。
【０１６４】
次に、判定期間ＴＤnmでの移動軌跡データを移動軌跡データ記憶部１７８から読み出す（ステップＳ１４）。即ち図１６の処理により移動軌跡データ記憶部１７８に保存された移動軌跡データの中から、判定期間ＴＤnmに対応する移動軌跡データを読み出す。
【０１６５】
次に、図１３で説明したように、候補形状とのマッチング処理を行い、得られたマッチング情報ＭＩnmをマッチング情報記憶部１８４に書き込んで保存する（ステップＳ１５）。そして、ｎを１だけインクリメントする（ステップＳ１６）。
【０１６６】
次に、ｎがＮ以上になったか否かを判断し（ステップＳ１７）、Ｎ以上ではない場合には、ステップＳ１２に戻り、ステップＳ１２〜Ｓ１５の処理を繰り返す。一方、ｎ＝Ｎになった場合には、ｍを１だけインクリメントする（ステップＳ１８）。そして、ｍがＭ以上になったか否かを判断し（ステップＳ１９）、Ｍ以上ではない場合には、ステップＳ１２に戻る。一方、ｍ＝Ｍになった場合には、処理を終了する。
【０１６７】
以上のようにすることで、図５（Ａ）〜図５（Ｃ）に示すように判定期間を設定して、入力形状の形状認識処理を実現できるようになる。
【０１６８】
図１８は、図６（Ａ）〜図６（Ｄ）の判定期間設定手法による形状認識処理を示すフローチャートである。
【０１６９】
まず、ｍ＝１に設定する（ステップＳ２１）。そして、フレーム更新のタイミングが否かを判断し（ステップＳ２２）、フレーム更新のタイミングである場合には、現在のフレームが、判定期間による判定タイミングか否かを判断する（ステップＳ２３）。即ち、現在のタイミング（フレーム）が、図６（Ａ）〜図６（Ｄ）のタイミングｔｃ１、ｔｃ２、ｔｃ３、ｔｃ４であるか否かを判断する。
【０１７０】
現在のタイミングが判定タイミングである場合には、現在のタイミングｔｃmが終了タイミングとなり、タイミングｔｓm1〜ｔｓmNが開始タイミングとなる判定期間ＴＤm1〜ＴＤmNを設定する（ステップＳ２４）。例えばｍ＝１である場合には、図６（Ａ）に示すように、現在のタイミングｔｃ１が終了タイミングとなり、タイミングｔｓ１１〜ｔｓ１５が開始タイミングとなる判定期間ＴＤ１１〜ＴＤ１５が設定される。
【０１７１】
次に、判定期間ＴＤm1〜ＴＤmNでの移動軌跡データに基づいて、候補形状とのマッチング処理を行う（ステップＳ２５）。そして、得られたマッチング情報ＭＩm1〜ＭＩmNを、マッチング情報記憶部１８４に書き込んで保存する（ステップＳ２６）。そして、ｍを１だけインクリメントして（ステップＳ２７）、ステップＳ２２に戻る。
【０１７２】
以上のようにすることで、図６（Ａ）〜図６（Ｄ）に示すように判定期間を設定して、入力形状の形状認識処理を実現できるようになる。
【０１７３】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（操作者、形状入力指示物、入力形状等）と共に記載された用語（プレーヤ、手、文字等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、移動軌跡データの取得手法や、移動軌跡データに基づく形状認識手法や、判定期間の設定手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０１７４】
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、
ＴＤ１〜ＴＤ１０、ＴＤ１１〜ＴＤ４５ 判定期間、
ｔｓ１〜ｔｓ１０、ｔｓ１１〜ｔｓ４５ 開始タイミング、
ｔｅ１〜ｔｅ１０、ｔｅ１１〜ｔｅ３９ 終了タイミング、
ｔｃ１〜ｔｃ４ 現在のタイミング、ＢＦ１〜ＢＦ５ バッファ、
１００ 処理部、１０２ 画像情報取得部、１０４ 移動軌跡データ取得部、
１０５ スケルトン情報取得部、１０６ 形状認識部、１０８ ゲーム演算部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ スケルトン情報記憶部、１７５ オブジェクトデータ記憶部、
１７６ モーションデータ記憶部、１７７ モデルデータ記憶部、
１７９ 描画バッファ、１８０ 情報記憶媒体、１８２ 候補形状記憶部、
１８４ マッチング情報記憶部、１９０ 表示部、１９２ 音出力部、
１９４ 補助記憶装置、１９６ 通信部
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤ（操作者）の直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
また、手の指やジェスチャによって空中で文字や記号を描く動作を、動画撮影用カメラで撮影して認識する従来技術についても、特許文献２に開示されている。
【０００４】
しかしながら、空中に描かれた文字を正確に認識することは、複雑な文字認識処理が必要となり、非常に困難であるという課題がある。
【０００５】
この場合に、例えば、文字を描く範囲を限定して文字認識を行うことで、文字認識率を向上させる手法も考えられる。
【０００６】
しかしながら、この手法では、プレーヤは、その特定された範囲で、文字を描かなければならないため、ユーザの利便性が低下する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１３６６９５号公報
【特許文献２】特開２００２−２５９０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の幾つかの態様によれば、形状入力指示物により入力された入力形状の形状認識を向上できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、形状入力指示物の移動軌跡データを取得する移動軌跡データ取得部と、取得された前記移動軌跡データを記憶する移動軌跡データ記憶部と、前記移動軌跡データに基づいて、前記形状入力指示物により入力される入力形状の形状認識処理を行う形状認識部を含み、前記形状認識部は、第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される第１〜第Ｎ（１≦Ｋ＜Ｎ）の判定期間の各判定期間での前記移動軌跡データに基づいて、前記形状入力指示物による前記入力形状の形状認識処理を行う画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００１０】
本発明の一態様によれば、第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間よりも時間的に遅れたタイミングになる第１〜第Ｎの判定期間が設定される。そして、第１〜第Ｎの判定期間の各判定期間での形状入力指示物の移動軌跡データに基づいて、入力形状の形状認識処理が行われる。このように本発明の一態様によれば、第１〜第Ｎの判定期間の各判定期間が時間的にずれて設定される。従って、入力形状の入力範囲が限定されたり、操作者の形状入力の自由度が奪われたりするなどの事態を抑止することができ、入力形状の形状認識を向上できる。
【００１１】
また本発明の一態様では、前記形状認識部は、前記第１〜第Ｎの判定期間の各判定期間の長さを可変に変化させて、前記入力形状の形状認識処理を行ってもよい。
【００１２】
このようにすれば、例えば操作者の形状入力の速度が様々に変化しても、これに対応することが可能になる。
【００１３】
また本発明の一態様では、前記形状認識部は、前記第Ｋ＋１の判定期間の開始タイミングの方が前記第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定され、且つ、前記各判定期間の終了タイミングが現在のタイミングに設定される前記第１〜第Ｎの判定期間を設定して、前記入力形状の形状認識処理を行ってもよい。
【００１４】
このようにすれば、各判定期間の長さが変化しながら開始タイミングが時間的にずれる判定期間の設定を実現することができ、リアルタイム処理等に適した形状認識処理の実現が可能になる。
【００１５】
また本発明の一態様では、前記移動軌跡データ記憶部は、第Ｋのバッファが前記第１〜第Ｎの判定期間の前記第Ｋの判定期間での前記移動軌跡データを記憶する第１〜第Ｎのバッファを有し、前記形状認識部は、現在のタイミングがタイミングｔｃ１からタイミングｔｃ２になった場合に、前記第１〜第Ｎのバッファの先頭から、ｔｃ２−ｔｃ１に対応する長さの期間分の前記移動軌跡データを削除する処理を行い、前記第１〜第Ｎのバッファの後方に対して、タイミングｔｃ１からタイミングｔｃ２の期間で得られた前記移動軌跡データを追加する処理を行ってもよい。
【００１６】
このようにすれば、各判定期間の長さが変化しながら開始タイミングが時間的にずれる判定期間の設定を、効率的な処理で実現することが可能になる。
【００１７】
また本発明の一態様では、前記形状入力指示物による前記入力形状の入力の開始指示情報及び終了通知情報の少なくとも１つの情報を生成する情報生成部を含んでもよい（情報生成部としてコンピュータを機能させてもよい）。
【００１８】
このようにすれば、入力形状の入力の開始指示や終了の通知を、操作者に対して行うことが可能になる。
【００１９】
また本発明の一態様では、前記形状認識部は、前記開始指示情報の出力タイミング、前記終了通知情報の出力タイミングに応じた前記第１〜第Ｎの判定期間を設定して、前記入力形状の形状認識処理を行ってもよい。
【００２０】
このようにすれば、判定期間が設定される範囲を限定することが可能になり、形状認識処理の処理負荷の軽減等が可能になる。
【００２１】
また本発明の一態様では、前記形状認識部は、形状認識の判定期間の再設定条件が満たされたか否かを判断し、前記再設定条件が満たされた場合には、前記再設定条件が満たされる前に設定された判定期間のリセット処理を行ってもよい。
【００２２】
このようにすれば、再設定条件が満たされた場合には、それまでに設定された判定期間がリセットされ、判定期間を再設定できるようになる。
【００２３】
また本発明の一態様では、前記形状認識部は、形状認識の判定期間の再設定を指示する再設定指示入力形状が、前記形状入力指示物により入力された場合に、前記再設定条件が満たされたと判断してもよい。
【００２４】
このようにすれば、操作者が、入力形状の途中まで入力したが、その入力を途中で取り消したい場合等に、これに対応することが可能になる。
【００２５】
また本発明の一態様では、前記形状認識部は、前記形状入力指示物の移動軌跡の動きベクトルに基づいて、前記再設定条件が満たされたか否かを判断してもよい。
【００２６】
このようにすれば、明らかに操作者が形状入力を行っていないと考えられる期間に対しては、判定期間が設定されないようになり、判定期間の設定処理や形状認識処理の効率化を図れる。
【００２７】
また本発明の一態様では、画像センサからの画像情報を取得する画像情報取得部を含み（画像情報取得部としてコンピュータを機能させ）、前記移動軌跡データ取得部は、前記画像センサからの前記画像情報に基づいて、前記移動軌跡データを取得してもよい。
【００２８】
このようにすれば、撮像センサからの画像情報を利用して、移動軌跡データを取得できるようになる。
【００２９】
また本発明の一態様では、前記移動軌跡データ取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記操作者の部位又は所持物である前記形状入力指示物の前記移動軌跡データを取得してもよい。
【００３０】
このようにすれば、スケルトン情報を有効活用して、操作者の部位又は所持物である形状入力指示物の移動軌跡データを取得できるようになる。
【００３１】
また本発明の一態様では、前記移動軌跡データ取得部は、前記スケルトン情報に基づいて、前記形状入力指示物となる操作者の部位を特定し、特定された前記部位の移動の軌跡データを、前記形状入力指示物の前記移動軌跡データとして取得してもよい。
【００３２】
このようにすれば、スケルトン情報を有効活用にして、形状入力指示物となる操作者の部位を特定して、移動軌跡データを取得できるようになる。
【００３３】
また本発明の一態様では、前記移動軌跡データ取得部は、前記移動軌跡データが有効なデータか無効なデータかを、前記スケルトン情報に基づいて判断してもよい。
【００３４】
このようにすれば、有効ではない移動軌跡データを用いて形状認識処理が行われるのを防止して、入力形状の誤認識等が発生するのを抑止できる。
【００３５】
また本発明の一態様では、前記形状認識部は、前記第１〜第Ｎの判定期間の各判定期間において、前記形状入力指示物による前記入力形状と候補形状とのマッチング処理を行い、前記マッチング処理で得られたマッチング率が各候補形状に対応づけられたマッチング情報を、マッチング情報記憶部に保存し、前記第１〜第Ｎの判定期間で得られた前記マッチング情報に基づいて、前記入力形状の形状認識処理を行ってもよい。
【００３６】
このようにすれば、各判定期間のマッチング処理においてマッチング情報を保存し、保存されたマッチング情報に基づいて、入力形状の形状認識処理を実行できるようになる。
【００３７】
また本発明の一態様では、前記形状認識部は、候補形状を構成する複数のパーツの各パーツ毎に、前記入力形状とのマッチング処理を行って、前記入力形状の形状認識処理を行ってもよい。
【００３８】
このようにすれば、入力形状が複雑な形状であった場合にも、正確な形状認識処理を実現できるようになる。
【図面の簡単な説明】
【００３９】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサを用いて移動軌跡データを取得して、プレーヤによる入力形状を認識する手法の説明図。
【図３】判定期間を用いた本実施形態の形状認識手法の説明図。
【図４】判定期間を用いた本実施形態の形状認識手法の説明図。
【図５】図５（Ａ）〜図５（Ｃ）は判定期間の設定手法の説明図。
【図６】図６（Ａ）〜図６（Ｄ）は判定期間の設定手法の説明図。
【図７】図７（Ａ）、図７（Ｂ）はバッファを用いる手法の説明図。
【図８】図８（Ａ）〜図８（Ｃ）は本実施形態の手法をクイズゲームに適用した例。
【図９】図９（Ａ）〜図９（Ｃ）は再設定条件についての説明図。
【図１０】画像センサを用いたカラー画像情報、デプス情報の取得手法の説明図。
【図１１】デプス情報に基づいてプレーヤのスケルトン情報を求める手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は形状入力指示物となる部位をスケルトン情報を用いて特定する手法の説明図。
【図１３】各判定期間でのマッチング処理により得られたマッチング情報を用いて入力形状を形状認識する手法の説明図。
【図１４】図１４（Ａ）〜図１４（Ｄ）はパーツ毎に形状認識処理を行う手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）は本実施形態の変形例の説明図。
【図１６】本実施形態の処理を説明するフローチャート。
【図１７】本実施形態の処理を説明するフローチャート。
【図１８】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００４０】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４１】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４２】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４３】
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。
【００４４】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４５】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４６】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００４７】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００４８】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００４９】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５０】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５１】
処理部１００は、画像情報取得部１０２、移動軌跡データ取得部１０４、形状認識部１０６、ゲーム演算部１０８、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また移動軌跡データ取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５２】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００５３】
移動軌跡データ取得部１０４は、形状入力指示部の移動軌跡データを取得する。形状入力指示物は、文字、記号、合図指示等の形状を入力するための物であり、例えば操作者（プレーヤ）の手（指）、足、臀部（お尻）等の部位や、ペン、ポインタ等の操作者の所持物である。移動軌跡データは、形状入力指示物が指示するポイントが描く軌跡を表すデータであり、例えば画像センサから見た軌跡のＸ、Ｙ座標データなどである。例えば画像センサからの画像情報が取得される各フレームにおいて、形状入力指示物が指示するポイントのＸ、Ｙ座標データ等が検出される。そして、検出されたＸ、Ｙ座標データ等を各フレームに対応づけたデータが、移動軌跡データとして移動軌跡データ記憶部１７８に保存される。また所定のフレーム期間毎の座標の変化をベクトル情報として記憶し、一連のベクトルの変化情報を移動軌跡データとして移動軌跡データ記憶部１７８に保存するようにしてもよい。
【００５４】
形状認識部１０６は、入力形状の形状認識処理を行う。例えば移動軌跡データに基づいて入力形状の形状認識処理を行う。
【００５５】
ゲーム演算部１０８はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５６】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００５７】
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。
【００５８】
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。
【００５９】
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。
【００６０】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６１】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００６２】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００６３】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００６４】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００６５】
そして本実施形態では、移動軌跡データ取得部１０４が、操作者の手等の形状入力指示物の移動軌跡データを取得する。そして移動軌跡データ記憶部１７８が、取得された移動軌跡データを記憶する。そして形状認識部１０６が、移動軌跡データに基づいて、形状入力指示物により入力される入力形状の形状認識処理を行う。
【００６６】
具体的には形状認識部１０６は、第１〜第Ｎの判定期間の各判定期間での移動軌跡データに基づいて、形状入力指示物による入力形状（文字、記号等の形状）の形状認識処理を行う。ここで、第１〜第Ｎの判定期間は、その第Ｋ＋１の判定期間の開始タイミングの方が第Ｋ（１≦Ｋ＜Ｎ）の判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される判定期間である。例えば形状認識部１０６は、各判定期間での形状入力指示物の移動軌跡データを移動軌跡データ記憶部１７８が読み出し、読み出された移動軌跡データに基づいて、対応する判定期間での入力形状の形状認識処理を行う。
【００６７】
この場合に形状認識部１０６は、第１〜第Ｎの判定期間の長さを可変に変化させて、入力形状の形状認識処理を行ってもよい。例えば初めの形状認識処理では、第１〜第Ｎの判定期間を、第１の長さに設定して、入力形状の形状認識処理を行い、次の形状認識処理では、第１〜第Ｎの判定期間を、第１の長さよりも短い第２の長さに設定して、形状認識処理を行う。
【００６８】
また形状認識部１０６は、第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定され、且つ、各判定期間の終了タイミングが現在のタイミング（現在のフレーム）となる第１〜第Ｎの判定期間を設定して、形状認識処理を行ってもよい。このようにすれば、第１〜第Ｎの判定期間の長さを変化させながら、リアルタイムの形状認識処理を実現できる。
【００６９】
この場合に、移動軌跡データ記憶部１７８は、第１〜第Ｎのバッファを有していてもよい。第１〜第Ｎのバッファの第Ｋのバッファは、第１〜第Ｎの判定期間の第Ｋの判定期間での移動軌跡データを記憶する。
【００７０】
そして形状認識部１０６は、現在のタイミングがタイミングｔｃ１からタイミンｔｃ２になった場合に、上述の第１〜第Ｎのバッファの先頭（先頭アドレス）から、ｔｃ２−ｔｃ１に対応する長さの期間分の移動軌跡データを削除する処理を行う。また、第１〜第Ｎのバッファの後方（後方アドレス）に対して、タイミングｔｃ１からタイミングｔｃ２の期間で得られた移動軌跡データを追加する処理を行う。このようにすれば、必要最小限の削除処理及び追加処理で、第１〜第Ｎのバッファの移動軌跡データを更新できるようになる。
【００７１】
また、画像生成部１２０や音生成部１３０（広義には情報生成部）は、形状入力指示物による入力形状の入力の開始指示情報及び終了通知情報の少なくとも１つを生成する。例えば画像生成部１２０は、入力形状の入力の開始を指示する画像や、終了を通知する画像を生成する。また音生成部１３０は、入力形状の入力の開始を指示する音（音声、音楽）や、終了を通知する音を生成する。
【００７２】
この場合に形状認識部１０６は、開始指示情報の出力タイミング、終了通知情報の出力タイミングに応じた第１〜第Ｎの判定期間を設定して、入力形状の形状認識処理を行う。即ち、入力形状の入力の開始を指示する画像・音や、終了を通知する画像・音の出力タイミングに応じて第１〜第Ｎの判定期間を設定して、形状認識処理を実行する。この場合に、第１〜第Ｎの判定期間は、開始指示情報の出力タイミングと終了通知情報の出力タイミングの間の期間に設定されていてもよいし、外側の期間に設定されていてもよい。
【００７３】
また形状認識部１０６は、形状認識の判定期間の再設定条件が満たされたか否かを判断する。そして、再設定条件が満たされた場合には、再設定条件が満たされる前に設定された判定期間のリセット処理を行う。例えば再設定条件が満たされる前の判定期間での移動軌跡データに基づく形状認識処理をリセットする。具体的には、形状認識の判定期間の再設定を指示する再設定指示入力形状（例えば再設定を指示する記号の形状）が、形状入力指示物により入力された場合に、再設定条件が満たされたと判断する。或いは、形状入力指示物の移動軌跡の動きベクトル（ベクトルの大きさ、方向）に基づいて、再設定条件が満たされたか否かを判断してもよい。形状認識処理のリセット処理が行われた場合には、再設定条件が満たされる前の判定期間の設定はリセットされ、新たな判定期間が設定されるようになる。また再設定条件が満たされる前の判定期間での移動軌跡データは、形状認識処理の対象にはならなくなり、例えば削除される。
【００７４】
また画像情報取得部１０２が画像センサからの画像情報を取得した場合に、移動軌跡データ取得部１０４は、画像センサからの画像情報に基づいて、移動軌跡データを取得する。例えば画像センサからの画像情報の画像認識処理を行い、形状入力指示物の移動軌跡を検出し、検出された移動軌跡のデータを移動軌跡データ記憶部１７８に保存する。
【００７５】
また移動軌跡データ取得部１０４は、画像センサからの画像情報に基づいて、画像センサから見える操作者の動作を特定するスケルトン情報を取得する。このスケルトン情報の取得はスケルトン情報取得部１０５により行われる。そして移動軌跡データ取得部１０４は、取得されたスケルトン情報に基づいて、操作者の部位（手等）又は所持物（ペン等）である形状入力指示物の移動軌跡データを取得する。具体的には、スケルトン情報に基づいて、形状入力指示物となる操作者の部位を特定し、特定された部位の移動の軌跡データを、形状入力指示物の移動軌跡データとして取得する。即ち、スケルトン情報を、形状入力指示物となる操作者の部位を特定するための情報として利用する
ここでスケルトン情報は、例えば画像センサから見える操作者の動作を特定する情報である。具体的には、このスケルトン情報は、操作者の複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。
【００７６】
また移動軌跡データ取得部１０４は、移動軌跡データが有効なデータか無効なデータかを、スケルトン情報に基づいて判断してもよい。例えば、形状入力指示物となる操作者の部位等が、入力形状の入力に適した領域には存在しないと、スケルトン情報に基づき判断された場合や、部位の動く速度が速すぎたり動く方向が適正な方向ではないと、スケルトン情報に基づき判断された場合には、当該移動軌跡データは無効なデータであると判断する。
【００７７】
また移動軌跡データ取得部１０４は、画像センサからの画像情報に基づいて、操作者の部位のデプス情報（奥行き情報）を取得し、取得されたデプス情報に基づいて、移動軌跡データが有効なデータか無効なデータかを判断してもよい。例えば画像センサであるデプスセンサにより操作者のデプス情報を取得する。そして、操作者の部位のデプス値（Ｚ値）が、適正な奥行き範囲にないと判断された場合には、移動軌跡データは無効なデータであると判断する。
【００７８】
また形状認識部１０６は、第１〜第Ｎの判定期間の各判定期間において、形状入力指示物による入力形状と候補形状とのマッチング処理を行う。例えば候補形状記憶部１８２には、直線形状や、様々な曲率の曲線形状等の複数の候補形状（候補形状パターン）が記憶されている。形状認識部１０６は、これらの複数の候補形状と入力形状（部分入力形状）とのマッチング率を求めるマッチング処理を行う。そして、マッチング処理で得られたマッチング率が各候補形状に対応づけられたマッチング情報を、マッチング情報記憶部１８４に保存する。そして第１〜第Ｎの判定期間で得られ、マッチング情報記憶部１８４に保存されたマッチング情報に基づいて、入力形状（全体入力形状）の形状認識処理を行う。ここで候補形状のデータについても、前述の移動軌跡データと同様に、候補形状を規定するＸ、Ｙ座標データ等を各フレームに対応づけたデータが、候補形状データとして、候補形状記憶部１８２に保存される。また所定のフレーム期間毎の候補形状の座標の変化をベクトル情報として記憶し、一連のベクトルの変化情報を候補形状データとして候補形状データ記憶部１８２に保存するようにしてもよい。
【００７９】
なお、形状認識部１０６は、候補形状を構成する複数の各パーツ毎に、入力形状とのマッチング処理を行って、入力形状の形状認識処理を行ってもよい。例えば文字の候補形状が複数のパーツにより構成される場合に、パーツ毎に形状認識処理を行って、その文字がどの文字であるのかを判断する。また記号の候補形状が複数のパーツにより構成される場合に、パーツ毎に形状認識処理を行って、その記号がどの記号であるのかを判断する。
【００８０】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００８１】
２．１ 第１〜第Ｎの判定期間を用いた形状認識
図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。
【００８２】
そして、画像センサＩＳＥにより得られた画像情報に基づいて、プレーヤＰＬ（広義には操作者）の手（広義には形状入力指示物）の動きを画像認識して、手（指）の移動軌跡のデータを取得する。例えば画像センサＩＳＥから見た時の手の移動軌跡のＸ、Ｙ座標を、移動軌跡データとして取得する。
【００８３】
そして、取得された移動軌跡データに基づいて、プレーヤＰＬが手を使って入力した入力形状を認識する。例えば図２（Ｂ）では、「２」の文字（広義には入力形状）が入力されたことが認識されている。
【００８４】
なお、以下では、形状入力指示物がプレーヤの手（指）であり、入力形状が文字形状である場合を主に例にとり説明するが、本実施形態はこれに限定されず、形状入力指示物は、手以外の部位や、ペン、ポインタなどの所持物であってもよい。また、入力形状は、文字以外の形状であってもよく、例えば、ゲーム等において何かの指示を行うための記号等の形状であってもよい。また、以下では、本実施形態をプレーヤがゲームをプレイするゲーム装置に適用した場合について説明するが、本実施形態は、これに限定されず、例えば操作者が操作する種々の画像生成システム（テレビ、ＨＤＤレコーダなどの録画装置、家電機器等）に適用できる。また図２では、画像センサからの画像情報に基づいて、手等の形状入力指示物の移動軌跡データを取得しているが、６軸センサなどのモーションセンサを用いて、移動軌跡データを取得してもよい。例えばプレーヤが手にモーションセンサを装着し、モーションセンサにより得られる加速度情報や角加速度情報に基づいて、手の位置座標を検出して、移動軌跡データを取得してもよい。またコントローラ等の操作デバイスに発光部を設け、この発光部の移動軌跡データ（発光部の発光色の移動軌跡データ）を取得するようにしてもよい。この場合に第１のプレーヤが所持する第１の操作デバイスの発光部の発光色と、第２のプレーヤが所持する第２の操作デバイスの発光部の発光色を、異なる色に設定することが望ましい。こうすることで、マルチプレーヤゲームにおいて、いずれのプレーヤにより入力された移動軌跡データなのかを、容易に認識することが可能になる。
【００８５】
さて、例えばタッチパネルなどでの文字認識では、指の動きは２次元に限定されるため、形状認識処理はそれほど困難ではない。
【００８６】
しかしながら、図２（Ａ）のように、３次元空間で動く手（指）の移動軌跡から、文字の形状を認識する場合には、タッチパネルなどで用いられる文字認識技術をそのまま適用したのでは、精度の高い文字認識を実現できない。
【００８７】
この場合に、例えばプレーヤの手が動く範囲を２次元的な範囲に限定し、文字認識を実現する比較例の手法も考えられる。例えば文字入力の際には手を伸ばして動かすことをプレーヤに指示する。そしてプレーヤは、手を伸ばして、プレーヤの目の前に設定された仮想的な文字入力範囲で文字を入力する。
【００８８】
しかしながら、この比較例の手法では、プレーヤが文字を入力できる範囲が限定されてしまい、プレーヤの文字入力の自由度が狭まり、プレーヤの利便性が阻害される。
【００８９】
そこで本実施形態では図３に示すような判定期間ＴＤ１〜ＴＤ１０（広義には第１〜第Ｎの判定期間）を設定して、文字等の入力形状の形状認識を行う。
【００９０】
図３に示すように、例えば判定期間ＴＤ２（第Ｋ＋１の判定期間）は、その開始タイミングｔｓ２が、判定期間ＴＤ１（第Ｋの判定期間）の開始タイミングｔｓ１よりも時間的に遅れたタイミングに設定されている。また判定期間ＴＤ３（第Ｋ＋１の判定期間）は、その開始タイミングｔｓ３が、判定期間ＴＤ２（第Ｋの判定期間）の開始タイミングｔｓ２よりも時間的に遅れたタイミングに設定されている。即ち、判定期間ＴＤ１〜ＴＤ１０は、その開始タイミングが時系列にずれた期間となっている。
【００９１】
そして本実施形態では、これらのＴＤ１〜ＴＤ１０の各判定期間での手等の移動軌跡データに基づいて、文字形状等の形状認識処理を行う。
【００９２】
例えば図４に、プレーヤの手の移動軌跡の例を示す。図２（Ａ）のようにプレーヤが文字を入力した場合、実際に「２」の文字を入力している期間は、ｔｐ２〜ｔｐ３の期間である。そして、ｔｐ１〜ｔｐ２の期間は、「２」の文字を入力するために、プレーヤが手を伸ばす等している準備期間である。また、ｔｐ３〜ｔｐ４の期間は、「２」の文字の入力を終了して、プレーヤが手を元に戻す終了期間である。従って、ｔｐ１〜ｔｐ２の期間やｔｐ３〜ｔｐ４の期間で文字形状の形状認識処理を行っても、適正な文字認識を実現できない。
【００９３】
この点、本実施形態では図３に示すように、ＴＤ１〜ＴＤ１０の各判定期間が時間的にずれて設定される。従って、例えばＴＤ１〜ＴＤ１０のいずれかの判定期間が、ｔｐ２〜ｔｐ３に相当する期間の場所に設定されることで、「２」の文字形状を適正に認識できるようになる。従って、プレーヤが、ｔｐ１〜ｔｐ２の準備期間の動作を行った場合や、ｔｐ３〜ｔｐ４の終了期間の動作を行った場合にも、これを許容にしながら、ｔｐ２〜ｔｐ３の期間で入力された文字を認識できるようになる。このため、上述の比較例の手法のように文字の入力範囲が限定されたり、プレーヤの文字入力の自由度が奪われたりするなどの事態を抑止することができ、利便性の高い形状認識を実現できる。
【００９４】
さて、図２（Ａ）のようにプレーヤが文字を入力する場合に、プレーヤが手を動かす速度は、個人によって異なり、様々である。従って、手を動かす速度が遅ければ、図４のｔｐ２〜ｔｐ３で「２」を入力する期間の長さは長くなり、手を動かす速度が速ければ、ｔｐ２〜ｔｐ３で「２」を入力する期間の長さは短くなる。従って、ＴＤ１〜ＴＤ１０の判定期間の長さが固定されていると、このような文字入力速度の変化に対応できなくなるおそれがある。
【００９５】
そこで図５（Ａ）〜図５（Ｃ）では、判定期間ＴＤ１〜ＴＤ１０（第１〜第Ｎの判定期間）の長さを可変に変化させて、形状認識処理を行う手法を採用している。
【００９６】
具体的には、まず図５（Ａ）に示すように、長さがＬ１である判定期間ＴＤ１１〜ＴＤ１７を時間的にずらしながら、ＴＤ１１〜ＴＤ１７の各判定期間において形状認識処理を行う。
【００９７】
次に図５（Ｂ）に示すように、長さがＬ２である判定期間ＴＤ２１〜ＴＤ２８を時間的にずらしながら、ＴＤ２１〜ＴＤ２８の各判定期間において形状認識処理を行う。ここで、ＴＤ２１〜ＴＤ２８の判定期間の長さＬ２は、図５（Ａ）のＴＤ１１〜ＴＤ１７の判定期間の長さＬ１よりも短くなっている。
【００９８】
次に図５（Ｃ）に示すように、長さがＬ３である判定期間ＴＤ３１〜ＴＤ３９を時間的にずらしながら、ＴＤ３１〜ＴＤ３９の各判定期間において形状認識処理を行う。ここで、ＴＤ３１〜ＴＤ３９の判定期間の長さＬ３は、図５（Ｂ）のＴＤ２１〜ＴＤ２８の判定期間の長さＬ２よりも短くなっている。なお図５（Ａ）〜図５（Ｃ）では、判定期間の長さを徐々に短くしていているが、本実施形態はこれに限定されず、例えば判定期間の長さを徐々に長くするなどの種々の変形実施が可能である。
【００９９】
図５（Ａ）〜図５（Ｃ）の手法によれば、判定期間の長さを変化させながら、各判定期間での移動軌跡データに基づいて、形状認識処理を実現できる。従って、例えばプレーヤの文字入力の速度が様々に変化しても、これに対応することが可能になる。
【０１００】
図６（Ａ）〜図６（Ｄ）に判定期間の設定手法の他の例を示す。図６（Ａ）〜図６（Ｄ）では、現在のタイミングがｔｃ１、ｔｃ２、ｔｃ３、ｔｃ４と変化している。
【０１０１】
現在のタイミングがｔｃ１である場合には、図６（Ａ）に示すように判定期間ＴＤ１１〜ＴＤ１５が設定される。図６（Ａ）では、例えば判定期間ＴＤ１２（第Ｋ＋１の判定期間）の開始タイミングｔｓ１２の方が、判定期間ＴＤ１１（第Ｋの判定期間）の開始タイミングｔｓ１１よりも時間的に遅れたタイミングに設定されている。判定期間ＴＤ１３とＴＤ１２の関係、ＴＤ１４とＴＤ１３の関係、ＴＤ１５とＴＤ１４の関係も同様である。そして図６（Ａ）では、ＴＤ１１〜ＴＤ１５の判定期間の終了タイミングが、現在のタイミングｔｃ１に設定されている。即ち、現在のタイミングｔｃ１を後ろ側の起点として、長さが異なる判定期間ＴＤ１１〜ＴＤ１５が設定されている。そして、これらのＴＤ１１〜ＴＤ１５の各判定期間での手等の移動軌跡データに基づいて、形状認識処理（候補形状とのマッチング処理）が行われる。
【０１０２】
現在のタイミングがｔｃ２である場合には、図６（Ｂ）に示すように判定期間ＴＤ２１〜ＴＤ２５が設定される。図６（Ｂ）では、例えば判定期間ＴＤ２２（第Ｋ＋１の判定期間）の開始タイミングｔｓ２２の方が、判定期間ＴＤ２１（第Ｋの判定期間）の開始タイミングｔｓ２１よりも時間的に遅れたタイミングに設定されている。他の判定期間同士の関係も同様である。そして図６（Ｂ）では、ＴＤ２１〜ＴＤ２５の判定期間の終了タイミングが、現在のタイミングｔｃ２に設定されている。そして、これらのＴＤ２１〜ＴＤ２５の各判定期間での移動軌跡データに基づいて形状認識処理が行われる。
【０１０３】
図６（Ｃ）は現在のタイミングがｔｃ３であり、図６（Ｄ）は現在のタイミングがｔｃ４である場合の例であり、判定期間の設定手法は図６（Ａ）、図６（Ｂ）と同様である。
【０１０４】
図６（Ａ）〜図６（Ｄ）の手法によれば、図５（Ａ）〜図５（Ｃ）と同様に、判定期間の長さが変化しながら、開始タイミングが時間的にずれる判定期間の設定が可能になる。即ち、図６（Ａ）〜図６（Ｄ）のＴＤ１１、ＴＤ２１、ＴＤ３１、ＴＤ４１が、図５（Ａ）のＴＤ１１〜ＴＤ１７に相当するようになる。また図６（Ａ）〜図６（Ｄ）のＴＤ１２、ＴＤ２２、ＴＤ３２、ＴＤ４２が、図５（Ｂ）のＴＤ２１〜ＴＤ２８に相当するようになる。また図６（Ａ）〜図６（Ｄ）のＴＤ１３、ＴＤ２３、ＴＤ３３、ＴＤ４３が、図５（Ｃ）のＴＤ３１〜ＴＤ３９に相当するようになる。
【０１０５】
そして図６（Ａ）〜図６（Ｄ）の手法は、ｔｃ１〜ｔｃ５の各タイミングにおいて、判定期間を設定して形状認識処理を行うため、リアルタイム処理に適しているという利点がある。
【０１０６】
図７（Ａ）、図７（Ｂ）は、図６（Ａ）〜図６（Ｄ）の手法において、バッファを用いることで処理の効率化を図る手法の説明図である。
【０１０７】
図７（Ａ）、図７（Ｂ）のバッファＢＦ１〜ＢＦ５（第１〜第Ｎのバッファ）は、図１の移動軌跡データ記憶部１７８に設けられるバッファである。例えばバッファＢＦ１（第Ｋのバッファ）は、判定期間ＴＤ１（第Ｋの判定期間）での移動軌跡データを記憶する。同様に、バッファＢＦ２、ＢＦ３、ＢＦ４、ＢＦ５は、各々、判定期間ＴＤ２、ＴＤ３、ＴＤ４、ＴＤ５での移動軌跡データを記憶する。
【０１０８】
そして図７（Ａ）は、現在のタイミングがｔｃ１の場合であり、図７（Ｂ）は、現在のタイミングがｔｃ２の場合である。
【０１０９】
このように、現在のタイミングがｔｃ１からｔｃ２になった場合には、図７（Ｂ）のＡ１に示すように、バッファＢＦ１〜ＢＦ５の先頭から、ｔｃ２−ｔｃ１に対応する長さの期間分の移動軌跡データが削除される。即ち、先頭部分の移動軌跡データであり、不要になった移動軌跡データが、バッファＢＦ１〜ＢＦ５から削除される。
【０１１０】
また図７（Ｂ）のＡ２に示すように、バッファＢＦ１〜ＢＦ５の後方に対して、ｔｃ１からｔｃ２の期間で得られた移動軌跡データを追加する処理が行われる。即ちｔｃ１〜ｔｃ２の期間で新たに取得された移動軌跡データが、全てのバッファＢＦ１〜ＢＦ５の後半部分に追加される。
【０１１１】
このようにすれば、ｔｃ１、ｔｃ２等の各判定タイミング毎に、Ａ１に示すような移動軌跡データの削除処理と、Ａ２に示すような移動軌跡データの追加処理を行うだけで、各判定期間に必要な移動軌跡データを、バッファＢＦ１〜ＢＦ５に保持しておくことが可能になる。従って、図６（Ａ）〜図６（Ｄ）の処理を、効率的な処理で実現することが可能になり、処理の効率化を図れる。
【０１１２】
２．２ ゲームへの適用例
次に、各種のゲームへの本実施形態の手法の適用例について説明する。図８（Ａ）〜図８（Ｃ）は、クイズゲームへの適用例を示す図である。このクイズゲームでは、プレーヤに対して問題を出題し、プレーヤは、図２（Ａ）のように回答を文字入力して、問題に答える。
【０１１３】
例えば図８（Ａ）では、プレーヤに対して「３＋２」の答えを文字入力することを指示する画像が、表示部１９０に表示されている。即ち、手（形状入力指示物）による文字（入力形状）の入力の開始を指示する画像（広義には開始指示情報）が生成されて、表示部１９０に表示（出力）されている。また図８（Ａ）では、プレーヤに対して制限時間である３０秒以内に、答えの文字を入力することを指示する画像が表示されている。
【０１１４】
一方、図８（Ｂ）では、制限時間がタイムアップして文字入力の期間が終了したことを通知する画像が、表示部１９０に表示されている。即ち、手（形状入力指示物）による文字（入力形状）の入力の終了を通知する画像（広義には終了通知情報）が生成されて、表示部１９０に表示（出力）されている。
【０１１５】
そして図８（Ｃ）では、図８（Ａ）の開始指示画像（開始指示情報）の出力タイミングｔｓｔと、図８（Ｂ）の終了通知画像（終了通知情報）の出力タイミングｔｅｄに応じた判定期間（ＴＤ１〜ＴＤ１０等）を設定して、入力形状の形状認識処理を行っている。即ち図３〜図６（Ｄ）の一連の判定期間（ＴＤ１〜ＴＤ１０等）が、例えば図８（Ｃ）の出力タイミングｔｓｔとｔｅｄの間に設定される。なお、一連の判定期間の開始タイミングが、開始指示画像の出力タイミングｔｓｔよりも少しだけ手前になったり、一連の判定期間の終了タイミングが、終了通知画像の出力タイミングｔｅｄよりも少しだけ後になってもよい。
【０１１６】
図８（Ａ）〜図８（Ｃ）の手法によれば、判定期間が設定される範囲を、出力タイミングｔｓｔ、ｔｅｄにより、ある程度の期間の範囲に限定できる。従って、図３等のように各判定期間をずらす範囲が限定され、処理負荷を軽減できる。
【０１１７】
即ち、判定期間の設定範囲が長くなると、その分だけ、各判定期間をずらす範囲が長くなってしまい、一連の判定期間の数が増えてしまう。これに対して図８（Ａ）〜図８（Ｃ）の手法により、判定期間の設定範囲を限定すれば、各判定期間をずらす範囲が短くなり、一連の判定期間の数も減るため、処理負荷を軽減できる。
【０１１８】
なお、図８（Ａ）、図８（Ｂ）は、開始指示情報、終了通知情報が画像である場合を例に示したが、開始指示情報、終了通知情報は音声や音楽などの音であってもよい。例えば文字入力の開始指示を音声等でプレーヤに知らせたり、文字入力の終了通知を音声等でプレーヤに知らせてもよい。
【０１１９】
また図８（Ａ）〜図８（Ｃ）はクイズゲームへの本実施形態の適用例を示したが、本実施形態が適用されるゲームは、これに限定されず、音楽ゲームやアクションゲームやＲＰＧゲームなどの様々なゲームに適用できる。
【０１２０】
例えば音楽ゲームの場合には、第１の音（第１のリズム）が出力された後、第２の音（第２のリズム）が出力されるまでの入力期間に、プレーヤが図２（Ａ）に示すように文字や記号を入力するようにする。そして、この入力期間内において、指示された文字や記号の入力に成功した場合には、プレーヤの得点を加算する。この場合には、第１の音の出力タイミングが、図２（Ｃ）の開始指示の出力タイミングｔｓｔになり、第２の音の出力タイミングが、終了通知の出力タイミングｔｅｄになる。
【０１２１】
また形状入力指示物の移動軌跡が所定の軌跡に沿っているかどうかを判断し、沿っていると判断された場合には、その所定軌跡に応じた演出情報を出力するようにしてもよい。具体的には、形状入力指示物の移動軌跡と、所定の軌跡パターンとのマッチング処理を行い、マッチングしていると判断された場合には、当該軌跡パターンに関連づけられた演出画像や演出音を出力するようにする。こうすることで、プレーヤが入力した移動軌跡に応じて、様々な演出画像や演出音が出力されるようになり、これまでにないタイプのゲーム演出を実現できる。
【０１２２】
２．３ 判定期間の再設定
図２（Ａ）のようにプレーヤの手の３次元的な移動軌跡を検出して文字入力を実現する場合、プレーヤが、文字入力以外の手の動きを行う場合が多いと考えられる。従って、このように、文字入力以外の動きが行われている期間において、図３等の判定期間に基づく形状認識処理を行っても、処理の無駄であり、判定期間を再設定することが望ましい。また、プレーヤが、文字等を途中まで入力したが、その文字入力を途中で取り消して、再度、新しい文字を入力することを望む場合も考えられる。
【０１２３】
そこで本実施形態では、形状認識の判定期間の再設定条件が満たされたか否かを判断する。そして、再設定条件が満たされると、それまでに設定された判定期間をリセットして、リセットされた判定期間での移動軌跡データに基づく形状認識処理をリセットする。
【０１２４】
再設定条件としては種々の条件を想定できる。例えば図９（Ａ）では、プレーヤは、「５」の文字を途中まで形状入力している。そして、この文字入力を途中で取り消したい場合には、プレーヤは、「×」の記号を形状入力すればよい。この場合には、「×」の記号が、形状認識の判定期間の再設定を指示する再設定指示入力形状になり、プレーヤが図２（Ａ）において、手で「×」の記号を形状入力すると、再設定条件が満たされたと判断される。
【０１２５】
このような「×」の記号が形状入力されると、判定期間の再設定条件が満たされて、それまでの判定期間がリセットされる。そして、例えば図９（Ａ）の「５」の途中までの移動軌跡データは、形状認識処理の対象から除外され、図３等のような判定期間が再設定される。そして、再設定された判定期間の移動軌跡データを用いて、再設定条件が満たされた後の文字入力の形状認識が実行される。
【０１２６】
或いは、図９（Ｂ）、図９（Ｃ）に示すように、プレーヤの手（形状入力指示物）の移動軌跡の動きベクトルに基づいて、再設定条件が満たされたか否かを判断してもよい。例えば図９（Ｂ）では、プレーヤの手の移動軌跡の動きベクトルの大きさや方向は許容範囲内であり、この場合には、再設定条件は満たされない。
【０１２７】
一方、図９（Ｃ）では、プレーヤの手の移動軌跡の動きベクトルの大きさや方向が許容範囲外である。即ち、動きベクトルの大きさが所定の閾値を超えており、方向の変化幅も変化幅の閾値を超えている。従って、この場合には、文字の形状入力を行っていないと考えられるため、再設定条件が満たされたと判断する。これにより、図９（Ｃ）での判定期間はリセットされ、リセットされた判定期間での軌跡データは、形状認識処理の対象から除外される。このようにすれば、明らかにプレーヤが文字入力を行っていない期間に対しては、判定期間が設定されないようになり、判定期間の設定処理や形状認識処理の効率化を図れる。
【０１２８】
なお、動きベクトルは、プレーヤの手等の形状入力指示物の移動軌跡を、単位時間毎にプロットした場合に、プロット点間を結ぶベクトルとして定義できる。また、再設定指示入力形状は、図９（Ａ）に示すような「×」印には限定されず、記号や文字等の種々の形状を採用できる。
【０１２９】
２．４ スケルトン情報
さて、図２（Ａ）の画像センサＩＳＥがカラー画像センサとデプスセンサを有する場合には、図１０に示すようなカラー画像情報とデプス情報を取得することができる。例えばカラー画像情報では、プレーヤやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【０１３０】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【０１３１】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づき、プレーヤの手等の移動軌跡データを取得する。即ち図１０のカラー画像情報やデプス情報を用いて、プレーヤの手等の動きを検知して、その移動軌跡データを取得する。
【０１３２】
例えば画像センサＩＳＥからの画像情報に基づいて、画像センサＩＳＥから見えるプレーヤ（操作者）の動作を特定するスケルトン情報を取得する。そして取得されたスケルトン情報に基づいて、プレーヤの部位又は所持物（形状入力指示物）の移動軌跡データを取得する。
【０１３３】
即ち本実施形態では図１１に示すように、図１０のデプス情報等の画像情報に基づいて、プレーヤの動作を特定するためのスケルトン情報を取得する。図１１ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤの関節に対応するものである。なお画像センサＩＳＥにプレーヤの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。
【０１３４】
例えば図１０のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図１１に示すようなスケルトン情報を取得する。
【０１３５】
このようなスケルトン情報を用いれば、プレーヤの動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間において、プレーヤに対応するキャラクタを動作させることも可能になる。
【０１３６】
そして本実施形態では、図１１のスケルトン情報に基づいて、形状入力指示物となる手等の部位を特定し、特定された手等の部位の移動の軌跡データを、文字の形状認識のための移動軌跡データとして取得する。
【０１３７】
例えば図１２（Ａ）のスケルトンＳＫにおいて、関節Ｃ７は右手の関節である。従って、のスケルトンＳＫの情報を取得できれば、形状入力指示物となる右手の部位を特定できる。従って、右手に対応する関節Ｃ７の位置情報を、スケルトン情報から取得することで、右手の移動軌跡を特定して、その移動軌跡データを取得できる。例えば図１２（Ａ）から図１２（Ｂ）のように関節Ｃ７の位置が移動した場合には、プレーヤの右手についても、同様に移動したと考え、画像センサＩＳＥから見た関節Ｃ７の座標位置から、右手の移動軌跡のデータを取得できる。そして、図３等の各判定期間で取得された移動軌跡データに基づいて、プレーヤが右手で入力した文字形状の形状認識処理を実現できるようになる。
【０１３８】
なお、プレーヤが、ペンやポインタなどの所持物を動かして文字入力を行う場合には、図１２（Ａ）、図１２（Ｂ）の関節Ｃ７の位置を、プレーヤが右手に持つ所持物の位置とみなして、その所持物の移動軌跡データを求めればよい。
【０１３９】
また、文字、記号等の入力を行う部位は、手の部位に限定されない。例えば図１２（Ａ）、図１２（Ｂ）の臀部の部位に対応する関節Ｃ０の位置情報に基づいて、プレーヤの臀部の移動軌跡データを求めて、臀部を動かすことによる入力形状の形状認識処理を行ってもよい。このようにすれば、プレーヤが臀部を動かして、文字や記号等を入力して、その速さを競うなどのゲームを実現することが可能になる。
【０１４０】
また、移動軌跡データが有効なデータか無効なデータかを、スケルトン情報に基づいて判断してもよい。例えば、プレーヤの右手が胴体に近づいていることが、スケルトン情報に基づいて検出された場合には、右手の移動軌跡データは無効なデータであると判断してもよい。即ち、プレーヤの右手が胴体に近づいている場合には、図１２（Ａ）、図１２（Ｂ）において右手に対応する関節Ｃ７の位置情報の情報信頼度は低くなる。従って、このような信頼度の低い関節Ｃ７の位置情報を用いて、文字形状の認識処理を行うと、文字形状の誤認識が生じるおそれがある。従って、このような場合には、取得された移動軌跡データは、形状認識処理に使用できない無効なデータであると判断して、この移動軌跡データに基づく形状認識処理は行わないようにする。
【０１４１】
また、スケルトン情報に基づいて、プレーヤの手の動きを示す動きベクトルの大きさや方向が、図９（Ｃ）で説明したように許容範囲を超えたと判断された場合には、その時に取得された移動軌跡データを無効なデータであると判断してもよい。
【０１４２】
また、図１２（Ａ）、図１２（Ｂ）に示すようなスケルトン情報を取得せずに、画像センサＩＳＥからの画像情報に基づいて、プレーヤの部位のデプス情報を取得し、取得されたデプス情報に基づいて、移動軌跡データが有効なデータか無効なデータかを判断してもよい。即ち、スケルトン情報ではなく、デプス情報自体を用いて、移動軌跡データが有効なデータか無効なデータかを判断してもよい。例えば、プレーヤの右手と胴体が近づいていると、デプス情報に基づき判断された場合には、その時に取得された移動軌跡データを無効なデータであると判定すればよい。また例えば所定期間におけるデプス情報のデプス値を判断することで、移動軌跡データが有効なデータか無効なデータかを判定してもよい。
【０１４３】
２．５ マッチング処理
次にマッチング処理による形状認識処理の具体例について説明する。
【０１４４】
図１３に示すように本実施形態では、ＴＤ１、ＴＤ２、ＴＤ３の各判定期間において、プレーヤの手等による入力形状と、候補形状とのマッチング処理を行う。即ち、複数の候補形状のパターンを予め用意しておき、入力形状と各候補形状との類似度を評価する公知のマッチング処理を行い、各候補形状と入力形状とのマッチング率を求める。このマッチング率は、例えば入力形状と候補形状の類似度が高い場合には、例えば１．０（１００％）に近づき、類似度が低い場合には、例えば０．０（０％）に近づく情報である。
【０１４５】
そして、図１３に示すように、ＴＤ１、ＴＤ２、ＴＤ３の各判定期間のマッチング処理で得られたマッチング率が、各候補形状に対応づけられたデータ構造のマッチング情報を、例えば図１のマッチング情報記憶部１８４に保存する。例えば判定期間ＴＤ１でのマッチング情報では、候補形状ＣＦ１、ＣＦ２、ＣＦ３・・・に対して、マッチング率ＭＲ１１、ＭＲ１２、ＭＲ１３が対応づけられている。また判定期間ＴＤ２でのマッチング情報では、候補形状ＣＦ１、ＣＦ２、ＣＦ３・・・に対して、マッチング率ＭＲ２１、ＭＲ２２、ＭＲ２３が対応づけられている。判定期間ＴＤ３でのマッチング情報についても同様である。
【０１４６】
そして、判定期間ＴＤ１、ＴＤ２、ＴＤ３で得られたマッチング情報に基づいて、文字形状等の入力形状の形状認識処理を実行する。
【０１４７】
例えば図４のｔｐ１〜ｔｐ２が図１３の判定期間ＴＤ１に相当し、ｔｐ２〜ｔｐ３が判定期間ＴＤ２に相当し、ｔｐ３〜ｔｐ４が判定期間ＴＤ３に相当したとする。そして、候補形状ＣＦ１、ＣＦ２、ＣＦ３が、各々、「１」、「２」、「３」の文字形状であったとする。
【０１４８】
この場合には、図４のｔｐ１〜ｔｐ２の形状は、「１」、「２」、「３」の文字の候補形状とは非類似である。従って、図１３の判定期間ＴＤ１のマッチング情報のマッチング率ＭＲ１１、ＭＲ１２、ＭＲ１３は全て低い値になる。同様に図４のｔｐ３〜ｔｐ４の形状も、「１」、「２」、「３」の文字の候補形状とは非類似である。従って、図１３の判定期間ＴＤ３のマッチング情報のマッチング率ＭＲ１１、ＭＲ１２、ＭＲ１３も全て低い値になる。
【０１４９】
一方、図４のｔｐ２〜ｔｐ３の形状は、「２」の文字の候補形状と類似する。従って、図１３の判定期間ＴＤ２のマッチング情報のマッチング率ＭＲ１１、ＭＲ１３は低い値になるが、「２」の候補形状ＣＦ２に対応づけられたマッチング率ＭＲ２２は高い値になる。従って、判定期間ＴＤ２での移動軌跡データに基づく判定結果に基づいて、プレーヤの入力形状は「２」の文字形状であると判定できるようになる。
【０１５０】
２．６ パーツ毎の認識処理
さて、図４等では、「２」などの数字の文字形状の認識処理について説明した。このような比較的な単純な文字形状であれば、その文字自体を表す候補形状と入力形状とのマッチング処理を行うことで、文字認識を実現できる。
【０１５１】
しかしながら、例えば漢字等の複雑な形状の文字等では、このような文字自体を表す候補形状と入力形状とのマッチング処理では、正確な文字認識を実現できないおそれがある。
【０１５２】
そこで本実施形態では、候補形状を複数のパーツにより構成する。そして、候補形状を構成する複数のパーツの各パーツ毎に入力形状とのマッチング処理を行って、入力形状の形状認識処理を実現する。
【０１５３】
例えば図１４（Ａ）では、「５」の文字を表す候補形状は、複数のパーツＰＴＡ１、ＰＴＡ２、ＰＴＡ３により構成される。そして、入力形状とのマッチング処理を行う場合には、これらのＰＴＡ１、ＰＴＡ２、ＰＴＡ３の各パーツ毎に、入力形状とのマッチング処理を行う。例えば入力形状と、横線のパーツＰＴＡ１と、若干だけ斜め方向の縦線のパーツＰＴＡ２と、円弧線のパーツＰＴＡ３とのマッチング処理を行い、入力形状が、パーツＰＴＡ１、ＰＴＡ２、ＰＴＡ３に対応する形状を有していた場合には、入力形状は「５」であると判定する。
【０１５４】
例えば図１４（Ｂ）に、この場合のマッチング情報の例を示す。このマッチング情報では、候補形状のパーツＰＴＡ１、ＰＴＡ２、ＰＴＡ３と、これらのパーツと入力形状の各部分とのマッチング率ＭＲＰ１、ＭＲＰ２、ＭＲＰ３が対応づけられている。このようなマッチング情報を、図１３のＴＤ１、ＴＤ２、ＴＤ３の各判定期間において求め、求められた各判定期間でのマッチング情報に基づいて、入力形状の形状認識処理を行う。例えば図１３の判定期間ＴＤ１では、パーツＰＴＡ１のマッチング率ＭＲＰ１が高い値となり、判定期間ＴＤ２では、パーツＰＴＡ２のマッチング率ＭＲＰ２が高い値となり、判定期間ＴＤ３では、パーツＰＴＡ３のマッチング率ＭＲＰ３が高い値になった場合には、入力形状は「５」の文字であると判定できる。このようにすれば、複雑な形状の文字等であっても、正確な形状認識処理を実現できるようになる。
【０１５５】
なお、図１４（Ｃ）には、「４」の候補形状を構成するパーツＰＴＢ１、ＰＴＢ２、ＰＴＢ３の例を示す。このような「４」の文字の形状認識を行う場合には、図１４（Ｃ）に示すような複数のパーツＰＴＢ１、ＰＴＢ２、ＰＴＢ３で構成される候補形状を用意して、入力形状とのマッチング処理を行って、形状認識処理を実現する。或いは、図１４（Ｄ）に示すような、一筆書きで表される候補形状を用意して、入力形状とのマッチング処理を行って、形状認識処理を実現してもよい。
【０１５６】
例えば図１４（Ｄ）では、Ｂ１に示す部分は、実際には「４」の文字を形成する部分ではない。しかしながら、図２のようにプレーヤが手を使って文字を入力する場合には、手の移動軌跡は、図１４（Ｄ）のＢ１に示すような線を有することになる。従って、図１４（Ｄ）に示すような一筆書きの候補形状を用いてマッチング処理を行うことで、より正確な形状認識処理を実現できる。
【０１５７】
また、プレーヤによっては、図１４（Ｄ）に示すような正確な書き順で「４」の文字を描かない場合も考えられる。従って、このような場合に対応するためには、図１４（Ｄ）に示すような一筆書きの第１の候補形状と、図１４のＢ１に示す部分が除かれた第２の候補形状を用意し、その各々について形状認識処理を実行すればよい。
【０１５８】
なお、以上では、プレーヤが手（指）を用いて文字等を入力する場合について説明したが、本実施形態はこれに限定されない。例えば図１５（Ａ）、図１５（Ｂ）では、プレーヤＰＬは、臀部（腰）を振る動作を行っている。そして、このような動作を行っているプレーヤの臀部の描く移動軌跡を検出し、その移動軌跡が、所定の形状に一致するか否かを判定する形状認識処理を行ってもよい。このようにすることで、これまでにないゲームを実現することが可能になる。
【０１５９】
２．７ 詳細な処理例
次に本実施形態の詳細な処理例について図１６〜図１８のフローチャートを用いて説明する。図１６は移動軌跡データの取得処理を示すフローチャートである。
【０１６０】
まず、図８（Ａ）で説明したように、文字等の形状入力の開始指示情報（開始指示画像）を出力する（ステップＳ１）。そして図２で説明したように、画像センサからの画像情報に基づいて移動軌跡データを取得する（ステップＳ２）。具体的には図１１〜図１２（Ｂ）で説明したように、画像情報に基づいてスケルトン情報を取得し、取得されたスケルトン情報に基づいて移動軌跡データを取得する。
【０１６１】
次に、取得された移動軌跡データを、図１の移動軌跡データ記憶部１７８に書き込んで保存する（ステップＳ３）。そして図８（Ｂ）で説明したように、形状入力の終了通知情報を出力する（ステップＳ４）。そして移動軌跡データの保存処理を終了する（ステップＳ５）。
【０１６２】
図１７は、図５（Ａ）〜図５（Ｃ）の判定期間設定手法による形状認識処理を示すフローチャートである。
【０１６３】
まず、ｎ＝１、ｍ＝１に設定する（ステップＳ１１）。次に、判定期間ＴＤnmの開始タイミングｔｓnmを設定する（ステップＳ１２）。例えばｎ＝１、ｍ＝１の場合には、図５（Ａ）の判定期間ＴＤ１１の開始タイミングｔｓ１１が設定される。そして、判定期間ＴＤnmの長さＬmを設定する（ステップＳ１３）。例えばｍ＝１の場合には、図５（Ａ）の判定期間ＴＤ１１の長さＬ１が設定される。
【０１６４】
次に、判定期間ＴＤnmでの移動軌跡データを移動軌跡データ記憶部１７８から読み出す（ステップＳ１４）。即ち図１６の処理により移動軌跡データ記憶部１７８に保存された移動軌跡データの中から、判定期間ＴＤnmに対応する移動軌跡データを読み出す。
【０１６５】
次に、図１３で説明したように、候補形状とのマッチング処理を行い、得られたマッチング情報ＭＩnmをマッチング情報記憶部１８４に書き込んで保存する（ステップＳ１５）。そして、ｎを１だけインクリメントする（ステップＳ１６）。
【０１６６】
次に、ｎがＮ以上になったか否かを判断し（ステップＳ１７）、Ｎ以上ではない場合には、ステップＳ１２に戻り、ステップＳ１２〜Ｓ１５の処理を繰り返す。一方、ｎ＝Ｎになった場合には、ｍを１だけインクリメントする（ステップＳ１８）。そして、ｍがＭ以上になったか否かを判断し（ステップＳ１９）、Ｍ以上ではない場合には、ステップＳ１２に戻る。一方、ｍ＝Ｍになった場合には、処理を終了する。
【０１６７】
以上のようにすることで、図５（Ａ）〜図５（Ｃ）に示すように判定期間を設定して、入力形状の形状認識処理を実現できるようになる。
【０１６８】
図１８は、図６（Ａ）〜図６（Ｄ）の判定期間設定手法による形状認識処理を示すフローチャートである。
【０１６９】
まず、ｍ＝１に設定する（ステップＳ２１）。そして、フレーム更新のタイミングが否かを判断し（ステップＳ２２）、フレーム更新のタイミングである場合には、現在のフレームが、判定期間による判定タイミングか否かを判断する（ステップＳ２３）。即ち、現在のタイミング（フレーム）が、図６（Ａ）〜図６（Ｄ）のタイミングｔｃ１、ｔｃ２、ｔｃ３、ｔｃ４であるか否かを判断する。
【０１７０】
現在のタイミングが判定タイミングである場合には、現在のタイミングｔｃmが終了タイミングとなり、タイミングｔｓm1〜ｔｓmNが開始タイミングとなる判定期間ＴＤm1〜ＴＤmNを設定する（ステップＳ２４）。例えばｍ＝１である場合には、図６（Ａ）に示すように、現在のタイミングｔｃ１が終了タイミングとなり、タイミングｔｓ１１〜ｔｓ１５が開始タイミングとなる判定期間ＴＤ１１〜ＴＤ１５が設定される。
【０１７１】
次に、判定期間ＴＤm1〜ＴＤmNでの移動軌跡データに基づいて、候補形状とのマッチング処理を行う（ステップＳ２５）。そして、得られたマッチング情報ＭＩm1〜ＭＩmNを、マッチング情報記憶部１８４に書き込んで保存する（ステップＳ２６）。そして、ｍを１だけインクリメントして（ステップＳ２７）、ステップＳ２２に戻る。
【０１７２】
以上のようにすることで、図６（Ａ）〜図６（Ｄ）に示すように判定期間を設定して、入力形状の形状認識処理を実現できるようになる。
【０１７３】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（操作者、形状入力指示物、入力形状等）と共に記載された用語（プレーヤ、手、文字等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、移動軌跡データの取得手法や、移動軌跡データに基づく形状認識手法や、判定期間の設定手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０１７４】
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、
ＴＤ１〜ＴＤ１０、ＴＤ１１〜ＴＤ４５ 判定期間、
ｔｓ１〜ｔｓ１０、ｔｓ１１〜ｔｓ４５ 開始タイミング、
ｔｅ１〜ｔｅ１０、ｔｅ１１〜ｔｅ３９ 終了タイミング、
ｔｃ１〜ｔｃ４ 現在のタイミング、ＢＦ１〜ＢＦ５ バッファ、
１００ 処理部、１０２ 画像情報取得部、１０４ 移動軌跡データ取得部、
１０５ スケルトン情報取得部、１０６ 形状認識部、１０８ ゲーム演算部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ スケルトン情報記憶部、１７５ オブジェクトデータ記憶部、
１７６ モーションデータ記憶部、１７７ モデルデータ記憶部、
１７９ 描画バッファ、１８０ 情報記憶媒体、１８２ 候補形状記憶部、
１８４ マッチング情報記憶部、１９０ 表示部、１９２ 音出力部、
１９４ 補助記憶装置、１９６ 通信部
【特許請求の範囲】
【請求項１】
形状入力指示物の移動軌跡データを取得する移動軌跡データ取得部と、
取得された前記移動軌跡データを記憶する移動軌跡データ記憶部と、
前記移動軌跡データに基づいて、前記形状入力指示物により入力される入力形状の形状認識処理を行う形状認識部として、
コンピュータを機能させ、
前記形状認識部は、
第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される第１〜第Ｎ（１≦Ｋ＜Ｎ）の判定期間の各判定期間での前記移動軌跡データに基づいて、前記形状入力指示物による前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項２】
請求項１において、
前記形状認識部は、
前記第１〜第Ｎの判定期間の長さを可変に変化させて、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項３】
請求項１又は２において、
前記形状認識部は、
前記第Ｋ＋１の判定期間の開始タイミングの方が前記第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定され、且つ、前記各判定期間の終了タイミングが現在のタイミングに設定される前記第１〜第Ｎの判定期間を設定して、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項４】
請求項３において、
前記移動軌跡データ記憶部は、
第Ｋのバッファが前記第１〜第Ｎの判定期間の前記第Ｋの判定期間での前記移動軌跡データを記憶する第１〜第Ｎのバッファを有し、
前記形状認識部は、
現在のタイミングがタイミングｔｃ１からタイミングｔｃ２になった場合に、前記第１〜第Ｎのバッファの先頭から、ｔｃ２−ｔｃ１に対応する長さの期間分の前記移動軌跡データを削除する処理を行い、前記第１〜第Ｎのバッファの後方に対して、タイミングｔｃ１からタイミングｔｃ２の期間で得られた前記移動軌跡データを追加する処理を行うことを特徴とするプログラム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記形状入力指示物による前記入力形状の入力の開始指示情報及び終了通知情報の少なくとも１つの情報を生成する情報生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項６】
請求項５において、
前記形状認識部は、
前記開始指示情報の出力タイミング、前記終了通知情報の出力タイミングに応じた前記第１〜第Ｎの判定期間を設定して、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記形状認識部は、
形状認識の判定期間の再設定条件が満たされたか否かを判断し、前記再設定条件が満たされた場合には、前記再設定条件が満たされる前に設定された判定期間のリセット処理を行うことを特徴とするプログラム。
【請求項８】
請求項７において、
前記形状認識部は、
形状認識の判定期間の再設定を指示する再設定指示入力形状が、前記形状入力指示物により入力された場合に、前記再設定条件が満たされたと判断することを特徴とするプログラム。
【請求項９】
請求項７又は８において、
前記形状認識部は、
前記形状入力指示物の移動軌跡の動きベクトルに基づいて、前記再設定条件が満たされたか否かを判断することを特徴とするプログラム。
【請求項１０】
請求項１乃至９のいずれかにおいて、
画像センサからの画像情報を取得する画像情報取得部として、
コンピュータを機能させ、
前記移動軌跡データ取得部は、
前記画像センサからの前記画像情報に基づいて、前記移動軌跡データを取得すること特徴とするプログラム。
【請求項１１】
請求項１０において、
前記移動軌跡データ取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記操作者の部位又は所持物である前記形状入力指示物の前記移動軌跡データを取得することを特徴とするプログラム。
【請求項１２】
請求項１１において、
前記移動軌跡データ取得部は、
前記スケルトン情報に基づいて、前記形状入力指示物となる操作者の部位を特定し、特定された前記部位の移動の軌跡データを、前記形状入力指示物の前記移動軌跡データとして取得することを特徴とするプログラム。
【請求項１３】
請求項１１又は１２において、
前記移動軌跡データ取得部は、
前記移動軌跡データが有効なデータか無効なデータかを、前記スケルトン情報に基づいて判断することを特徴とするプログラム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記形状認識部は、
前記第１〜第Ｎの判定期間の各判定期間において、前記形状入力指示物による前記入力形状と候補形状とのマッチング処理を行い、前記マッチング処理で得られたマッチング率が各候補形状に対応づけられたマッチング情報を、マッチング情報記憶部に保存し、前記第１〜第Ｎの判定期間で得られた前記マッチング情報に基づいて、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
前記形状認識部は、
候補形状を構成する複数のパーツの各パーツ毎に、前記入力形状とのマッチング処理を行って、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項１６】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１５のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１７】
形状入力指示物の移動軌跡データを取得する移動軌跡データ取得部と、
取得された前記移動軌跡データを記憶する移動軌跡データ記憶部と、
前記移動軌跡データに基づいて、前記形状入力指示物により入力される入力形状の形状認識処理を行う形状認識部とを含み、
前記形状認識部は、
第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される第１〜第Ｎ（１≦Ｋ＜Ｎ）の判定期間の各判定期間での前記移動軌跡データに基づいて、前記形状入力指示物による前記入力形状の形状認識処理を行うことを特徴とする画像生成システム。
【請求項１】
形状入力指示物の移動軌跡データを取得する移動軌跡データ取得部と、
取得された前記移動軌跡データを記憶する移動軌跡データ記憶部と、
前記移動軌跡データに基づいて、前記形状入力指示物により入力される入力形状の形状認識処理を行う形状認識部として、
コンピュータを機能させ、
前記形状認識部は、
第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される第１〜第Ｎ（１≦Ｋ＜Ｎ）の判定期間の各判定期間での前記移動軌跡データに基づいて、前記形状入力指示物による前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項２】
請求項１において、
前記形状認識部は、
前記第１〜第Ｎの判定期間の長さを可変に変化させて、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項３】
請求項１又は２において、
前記形状認識部は、
前記第Ｋ＋１の判定期間の開始タイミングの方が前記第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定され、且つ、前記各判定期間の終了タイミングが現在のタイミングに設定される前記第１〜第Ｎの判定期間を設定して、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項４】
請求項３において、
前記移動軌跡データ記憶部は、
第Ｋのバッファが前記第１〜第Ｎの判定期間の前記第Ｋの判定期間での前記移動軌跡データを記憶する第１〜第Ｎのバッファを有し、
前記形状認識部は、
現在のタイミングがタイミングｔｃ１からタイミングｔｃ２になった場合に、前記第１〜第Ｎのバッファの先頭から、ｔｃ２−ｔｃ１に対応する長さの期間分の前記移動軌跡データを削除する処理を行い、前記第１〜第Ｎのバッファの後方に対して、タイミングｔｃ１からタイミングｔｃ２の期間で得られた前記移動軌跡データを追加する処理を行うことを特徴とするプログラム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記形状入力指示物による前記入力形状の入力の開始指示情報及び終了通知情報の少なくとも１つの情報を生成する情報生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項６】
請求項５において、
前記形状認識部は、
前記開始指示情報の出力タイミング、前記終了通知情報の出力タイミングに応じた前記第１〜第Ｎの判定期間を設定して、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記形状認識部は、
形状認識の判定期間の再設定条件が満たされたか否かを判断し、前記再設定条件が満たされた場合には、前記再設定条件が満たされる前に設定された判定期間のリセット処理を行うことを特徴とするプログラム。
【請求項８】
請求項７において、
前記形状認識部は、
形状認識の判定期間の再設定を指示する再設定指示入力形状が、前記形状入力指示物により入力された場合に、前記再設定条件が満たされたと判断することを特徴とするプログラム。
【請求項９】
請求項７又は８において、
前記形状認識部は、
前記形状入力指示物の移動軌跡の動きベクトルに基づいて、前記再設定条件が満たされたか否かを判断することを特徴とするプログラム。
【請求項１０】
請求項１乃至９のいずれかにおいて、
画像センサからの画像情報を取得する画像情報取得部として、
コンピュータを機能させ、
前記移動軌跡データ取得部は、
前記画像センサからの前記画像情報に基づいて、前記移動軌跡データを取得すること特徴とするプログラム。
【請求項１１】
請求項１０において、
前記移動軌跡データ取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記操作者の部位又は所持物である前記形状入力指示物の前記移動軌跡データを取得することを特徴とするプログラム。
【請求項１２】
請求項１１において、
前記移動軌跡データ取得部は、
前記スケルトン情報に基づいて、前記形状入力指示物となる操作者の部位を特定し、特定された前記部位の移動の軌跡データを、前記形状入力指示物の前記移動軌跡データとして取得することを特徴とするプログラム。
【請求項１３】
請求項１１又は１２において、
前記移動軌跡データ取得部は、
前記移動軌跡データが有効なデータか無効なデータかを、前記スケルトン情報に基づいて判断することを特徴とするプログラム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記形状認識部は、
前記第１〜第Ｎの判定期間の各判定期間において、前記形状入力指示物による前記入力形状と候補形状とのマッチング処理を行い、前記マッチング処理で得られたマッチング率が各候補形状に対応づけられたマッチング情報を、マッチング情報記憶部に保存し、前記第１〜第Ｎの判定期間で得られた前記マッチング情報に基づいて、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
前記形状認識部は、
候補形状を構成する複数のパーツの各パーツ毎に、前記入力形状とのマッチング処理を行って、前記入力形状の形状認識処理を行うことを特徴とするプログラム。
【請求項１６】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１５のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１７】
形状入力指示物の移動軌跡データを取得する移動軌跡データ取得部と、
取得された前記移動軌跡データを記憶する移動軌跡データ記憶部と、
前記移動軌跡データに基づいて、前記形状入力指示物により入力される入力形状の形状認識処理を行う形状認識部とを含み、
前記形状認識部は、
第Ｋ＋１の判定期間の開始タイミングの方が第Ｋの判定期間の開始タイミングよりも時間的に遅れたタイミングに設定される第１〜第Ｎ（１≦Ｋ＜Ｎ）の判定期間の各判定期間での前記移動軌跡データに基づいて、前記形状入力指示物による前記入力形状の形状認識処理を行うことを特徴とする画像生成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１０】
【公開番号】特開２０１１−２５８１３０（Ｐ２０１１−２５８１３０Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３４２１９（Ｐ２０１０−１３４２１９）
【出願日】平成２２年６月１１日（２０１０．６．１１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月１１日（２０１０．６．１１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]