情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
【課題】本発明は、検出した特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる情報処理プログラム、情報処理システム、情報処理装置および情報処理方法を提供する。
【解決手段】本発明に係る情報処理プログラムは、撮像装置および表示装置に接続された情報処理装置のコンピュータを、画像取得手段、特定対象検出手段、イベント発生手段、仮想画像生成手段、表示制御手段として機能させる。画像取得手段は、被写体の画像を取得する。特定対象検出手段は、被写体の画像から特定対象を検出する。形状認識手段は、特定対象の形状を認識する。イベント発生手段は、特定対象の形状に応じて仮想空間内にイベントを発生する。仮想画像生成手段は、発生するイベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成する。表示制御手段は、仮想画像を表示装置に表示させる。
【解決手段】本発明に係る情報処理プログラムは、撮像装置および表示装置に接続された情報処理装置のコンピュータを、画像取得手段、特定対象検出手段、イベント発生手段、仮想画像生成手段、表示制御手段として機能させる。画像取得手段は、被写体の画像を取得する。特定対象検出手段は、被写体の画像から特定対象を検出する。形状認識手段は、特定対象の形状を認識する。イベント発生手段は、特定対象の形状に応じて仮想空間内にイベントを発生する。仮想画像生成手段は、発生するイベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成する。表示制御手段は、仮想画像を表示装置に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理プログラム、情報処理システム、情報処理装置および情報処理方法に関し、特に、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用した情報処理プログラム、情報処理システム、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置では、撮像した被写体の画像（撮像画像）から所定の撮像対象を検出する技術を有している。たとえば、非特許文献１には、拡張現実技術において、カメラで撮像した撮像画像に含まれるマーカ（特定対象）に対して画像認識処理を行うことでマーカを検出する技術（マーカ検出技術）が開示されている。具体的に、非特許文献１に開示してあるマーカ検出技術は、撮像画像に対して固定の閾値を用いて２値化を行うことで連結領域を抽出し、抽出した連結領域から大きさおよび形状が適切なものを選出してマーカ候補とする。さらに、非特許文献１に開示してあるマーカ検出技術は、選出したマーカ候補に対してパターンマッチングを行うことでマーカを検出する。また、非特許文献１には、検出したマーカに対応する位置に仮想オブジェクトを表示する技術が開示してある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】加藤博一，Mark Billinghurst，浅野浩一，橘啓八郎、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌 Ｖｏｌ．４ Ｎｏ．４、１９９９年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に開示してある技術は、被写体に含まれるマーカを検出し、検出したマーカに対応する位置に仮想オブジェクトを単に表示しているだけに過ぎないので、検出したマーカを利用してユーザに拡張現実を実感する視覚効果を十分に与えることができなかった。
【０００５】
それゆえに、本発明は、検出したマーカ（特定対象）を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる情報処理プログラム、情報処理システム、情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、以下のような構成を採用し得る。
本発明の一構成例に係る情報処理プログラムは、撮像装置および表示装置に接続された情報処理装置のコンピュータを、画像取得手段、特定対象検出手段、形状認識手段、イベント発生手段、仮想画像生成手段、表示制御手段として機能させる。画像取得手段は、撮像装置により撮像した被写体の画像を取得する。特定対象検出手段は、画像取得手段で取得した被写体の画像から特定対象を検出する。形状認識手段は、特定対象検出手段で検出した特定対象の形状を認識する。イベント発生手段は、形状認識手段で認識した特定対象の形状に応じて仮想空間内にイベントを発生する。仮想画像生成手段は、イベント発生手段で発生するイベントを仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成する。表示制御手段は、被写体の画像もしくは、表示装置の画面を透過して見える被写体に重ね合わせてユーザに視認されるように、仮想画像を表示装置に表示させる。
【０００７】
上記構成例によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【０００８】
上記情報処理プログラムのさらに他の構成例として、イベント発生手段は、情報処理装置の姿勢を検出するセンサからの検出結果が当該情報処理装置の所定の姿勢を示している場合に、特定対象の形状に応じてイベントを発生する。
【０００９】
上記構成例によれば、情報処理装置の姿勢や動きを検出するセンサからの検出結果により、イベントを発生させないようにすることができるので、ユーザが情報処理装置を動かして認識した特定対象の形状を変化させることによりイベントが発生してしまうことを防止することができる。すなわち、特定対象を動かすることにより変化した特定対象の形状に応じてイベントを発生させたいという開発者の意図の通りの操作をユーザに行わせることができる。
【００１０】
上記情報処理プログラムのさらに他の構成例として、形状認識手段は、被写体の画像において特定対象の中心から特定対象の一辺へ伸びるベクトルの向きにより、特定対象の形状を認識する。
【００１１】
上記構成例によれば、被写体の画像において特定対象の中心から特定対象の一辺へ伸びるベクトルの向きを算出するだけで、特定対象の形状の変形を簡単に認識することができる。
【００１２】
上記情報処理プログラムのさらに他の構成例として、イベント発生手段は、特定対象検出手段で特定対象を検出することができたとき、第１イベントを発生し、第１イベントを発生した後、形状認識手段で認識した特定対象の形状が所定形状に変形したとき、第２イベントを発生する。
【００１３】
上記構成例によれば、特定対象を検出することができたとき、第１イベントを発生し、特定対象の形状が所定形状に変形したとき、第２イベントを発生するので、さらに特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００１４】
上記情報処理プログラムのさらに他の構成例として、仮想画像生成手段は、イベント発生手段で発生したイベントとして仮想空間内に配置した所定形状のオブジェクトを仮想カメラで撮影することにより仮想画像を生成する。
【００１５】
上記構成例によれば、イベントに応じて所定形状のオブジェクトを表示するので、特定対象に対応する位置にオブジェクトを単に表示するだけの場合に比べて、ユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００１６】
上記情報処理プログラムのさらに他の構成例として、仮想画像生成手段は、イベント発生手段で発生したイベントとして仮想空間内に配置した板状のポリゴンにテクスチャをマッピングして、仮想カメラで撮影することにより仮想画像を生成する。
【００１７】
上記構成例によれば、仮想空間内に配置した板状のポリゴンにテクスチャとしてマッピングする仮想画像を生成するので、ユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００１８】
上記情報処理プログラムのさらに他の構成例として、情報処理装置は、コンピュータを、被写体の画像から撮像装置と特定対象との位置関係を算出する位置算出手段、および位置算出手段で算出した位置関係に応じて仮想カメラを配置する仮想カメラ配置手段としてさらに機能させる。
【００１９】
上記構成例によれば、撮像装置と特定対象との位置関係に応じて配置された仮想カメラで撮像した画像を仮想画像として生成するので、あたかもイベントが実世界で発生しているような表示ができるため、ユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００２０】
本発明の一構成例に係る情報処理装置は、撮像装置および表示装置に接続された情報処理装置であって、画像取得手段と、特定対象検出手段と、形状認識手段と、イベント発生手段と、仮想画像生成手段と、表示制御手段とを備える。画像取得手段は、撮像装置により撮像した被写体の画像を取得する。特定対象検出手段は、画像取得手段で取得した被写体の画像から特定対象を検出する。形状認識手段は、特定対象検出手段で検出した特定対象の形状を認識する。イベント発生手段は、形状認識手段で認識した特定対象の形状に応じて仮想空間内にイベントを発生する。仮想画像生成手段は、イベント発生手段で発生するイベントを仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成する。表示制御手段は、被写体の画像もしくは、表示装置の画面を透過して見える被写体に重ね合わせてユーザに視認されるように、仮想画像を表示装置に表示させる。
【００２１】
上記構成例によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００２２】
本発明の一構成例に係る情報処理方法は、撮像装置および表示装置に接続された情報処理装置の制御部によって処理される情報処理方法である。制御部が、撮像装置により撮像した被写体の画像を取得するステップと、取得した被写体の画像から特定対象を検出するステップと、検出した特定対象の形状を認識するためのステップと、認識した特定対象の形状に応じて仮想空間内にイベントを発生するためのステップと、発生するイベントを仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するステップと、被写体の画像もしくは、表示装置の画面を透過して見える被写体に重ね合わせてユーザに視認されるように、仮想画像を表示装置に表示させるステップとを含む。
【００２３】
上記構成例によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００２４】
本発明の一構成例に係る情報処理システムは、被写体に配置してある特定対象と、被写体を撮像する撮像装置と、撮像装置に接続された情報処理装置と、情報処理装置に接続した表示装置とを備える情報処理システムである。情報処理装置は、撮像装置により撮像した被写体の画像を取得するための画像取得手段と、画像取得手段で取得した被写体の画像から特定対象を検出する特定対象検出手段と、特定対象検出手段で検出した特定対象の形状を認識するための形状認識手段と、形状認識手段で認識した特定対象の形状に応じて仮想空間内にイベントを発生するためのイベント発生手段と、イベント発生手段で発生するイベントを仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成する仮想画像生成手段と、被写体の画像もしくは、表示装置の画面を透過して見える被写体に重ね合わせてユーザに視認されるように、仮想画像を表示装置に表示させる表示制御手段とを備える。
【００２５】
上記構成例によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【発明の効果】
【００２６】
本発明によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係るゲーム装置の開状態における正面図である。
【図２】本発明の実施の形態に係るゲーム装置の閉状態における左側面図である。
【図３】本発明の実施の形態に係るゲーム装置の閉状態における正面図である。
【図４】本発明の実施の形態に係るゲーム装置の閉状態における右側面図である。
【図５】本発明の実施の形態に係るゲーム装置の閉状態における背面図である。
【図６】本発明の実施の形態に係るゲーム装置の内部構成を示すブロック図である。
【図７】本発明の実施の形態に係るゲーム装置のゲームプレイ中におけるゲーム画像例を示す図である。
【図８】本発明の実施の形態に係るゲーム装置のゲームプレイ中におけるゲーム画像例を示す図である。
【図９】本発明の実施の形態に係るゲーム装置のゲームプレイ中におけるゲーム画像例を示す図である。
【図１０】本発明の実施の形態に係るゲーム装置のゲームプレイ中におけるゲーム画像例を示す図である。
【図１１】本発明の実施の形態に係るゲーム装置のメインメモリのメモリマップを示す概略図である。
【図１２】本発明の実施の形態に係るゲーム装置の動作を説明するためのフローチャートである。
【図１３】本発明の実施の形態に係るゲーム装置の第１イベントの処理を説明するためのフローチャートである。
【図１４】本発明の実施の形態に係るゲーム装置のマーカの形状の認識方法を説明するための図である。
【図１５】本発明の実施の形態に係るゲーム装置の第２イベントの処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００２８】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。ゲーム装置１０は携帯型のゲーム装置である。図１は、本発明の実施の形態に係るゲーム装置１０の開状態における正面図である。図２は、本発明の実施の形態に係るゲーム装置１０の閉状態における左側面図である。図３は、本発明の実施の形態に係るゲーム装置１０の閉状態における正面図である。図４は、本発明の実施の形態に係るゲーム装置１０の閉状態における右側面図である。図５は、本発明の実施の形態に係るゲーム装置１０の閉状態における背面図である。
【００２９】
図１および図２〜図５に示されるように、ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に接続されている。
【００３０】
（下側ハウジングの説明）
図１および図２〜図５に示すように、下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ、アナログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、および、マイクロフォン用孔１８が設けられている。
【００３１】
タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。下側ハウジング１１の上側面には、タッチペン２８を収納するための挿入口１７（図１および図５に示す点線）が設けられている。
【００３２】
下側ハウジング１１の内側面（主面）には、十字ボタン（方向入力ボタン）１４Ａ、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられている。
【００３３】
アナログスティック１５は、方向を指示するデバイスである。
下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられている。マイクロフォン用孔１８の下部には後述する音声入力装置としてのマイク４２（図６参照）が設けられている。
【００３４】
図３および図５に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４ＧおよびＲボタン１４Ｈが設けられている。また、図２に示されるように、下側ハウジング１１の左側面には、ゲーム装置１０が備えるスピーカ４３（図６参照）の音量を調整するための音量ボタン１４Ｉが設けられている。
【００３５】
図２に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１１Ｃが設けられている。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部メモリ４５とを電気的に接続するためのコネクタが設けられている。
【００３６】
図５に示されるように、下側ハウジング１１の上側面には、外部メモリ４４を挿入するための挿入口１１Ｄが設けられている。
【００３７】
図１および図４に示されるように、下側ハウジング１１の下側面にはゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥＤ１６Ｂが設けられている。ゲーム装置１０は他の機器との間で無線通信を行うことが可能であり、下側ハウジング１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ１９が設けられている（図４参照）。
【００３８】
（上側ハウジングの説明）
図１および図２に示すように、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けられている。
【００３９】
上側ＬＣＤ２２は、立体視可能な画像を表示することが可能な表示装置である。具体的に、上側ＬＣＤ２２は、パララックスバリア方式の裸眼立体視可能な表示装置である。上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある画像（立体視画像（３Ｄ画像））を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる。このように、上側ＬＣＤ２２は、立体視画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、たとえば、後述する３Ｄ調整スイッチ２５によって行われる。
【００４０】
外側撮像部２３は、上側ハウジング２１の外側面２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。
【００４１】
内側撮像部２４は、上側ハウジング２１の内側面２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。
【００４２】
３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。３Ｄ調整スイッチ２５のスライダ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に応じて上側ＬＣＤ２２の表示モードが設定される。また、スライダ２５ａの位置に応じて、立体画像の見え方が調整される。
【００４３】
３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードか否かを示すＬＥＤである。
【００４４】
また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられている。後述するスピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。
【００４５】
（ゲーム装置１０の内部構成）
次に、図６は、本発明の実施の形態に係るゲーム装置１０の内部構成を示すブロック図である。図６を参照して、ゲーム装置１０の内部の電気的構成について説明する。図６に示すように、ゲーム装置１０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、およびインターフェイス回路（Ｉ／Ｆ回路）４１等の電子部品を備えている。
【００４６】
情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。ＣＰＵ３１１は、ゲーム装置１０内のメモリ（たとえば、外部メモリＩ／Ｆ３３に接続された外部メモリ４４やデータ保存用内部メモリ３５）に記憶されているプログラムを実行することによって、当該プログラムに応じた処理を実行する。なお、ＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。ＧＰＵ３１２は、ＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。ＶＲＡＭ３１３に描画された画像は、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力され、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像が表示される。
【００４７】
外部メモリＩ／Ｆ３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続するためのインターフェイスである。
【００４８】
メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶装置である。
【００４９】
外部メモリ４４は、情報処理部３１によって実行されるプログラム等を記憶するための不揮発性の記憶装置である。外部メモリ４４は、たとえば読み取り専用の半導体メモリで構成される。
【００５０】
データ保存用外部メモリ４５は、不揮発性の読み書き可能なメモリ（たとえば、ＮＡＮＤ型フラッシュメモリ）で構成され、任意のデータを保存するために用いられる。
【００５１】
データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（たとえば、ＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。たとえば、データ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
【００５２】
無線通信モジュール３６は、たとえばＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、所定の通信方式（たとえば、独自プロトコルによる通信や、赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。
【００５３】
加速度センサ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。情報処理部３１は、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置１０の姿勢や動きを検出することができる。
【００５４】
ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置１０が有する電源（充電式電池）からの電力を制御し、ゲーム装置１０の各部品に電力を供給する。
【００５５】
Ｉ／Ｆ回路４１には、タッチパネル１３、マイク４２およびスピーカ４３が接続される。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。
【００５６】
操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。
【００５７】
下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。具体的に、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的に、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可能な画像が表示される。
【００５８】
外側撮像部２３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像データを情報処理部３１に出力する。
【００５９】
３Ｄ調整スイッチ２５は、スライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。
【００６０】
情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。たとえば、情報処理部３１は、上側ＬＣＤ２２が立体表示モードである場合、３Ｄインジケータ２６を点灯させる。
【００６１】
（ゲームの概要）
次に、図７〜図１０は、本発明の実施の形態に係るゲーム装置１０のゲームプレイ中におけるゲーム画像例を示す図である。図７〜図１０を参照して、ゲーム装置１０において実行されるゲームの概要を説明する。このゲームは、ゲームソフトに同梱されているノートに描かれている所定の模様（文字、数字、記号、その他の図柄）のマーカ５０を、ゲーム装置１０の外側撮像部２３で撮像しながらプレイする、拡張現実技術を利用したゲームである。
【００６２】
図７に示すゲーム画像例は、ゲームの開始直後、マーカ５０を検出するときに上側ＬＣＤ２２および下側ＬＣＤ１２に表示されるゲーム画像を示している。
【００６３】
上側ＬＣＤ２２には、外側撮像部２３によって現在撮像されているノート（被写体）の画像と、ノートに描かれているマーカ５０の画像が表示されている。この例では、マーカ５０は、ノートの略中央部に配置してある正方形のマーカである。
【００６４】
下側ＬＣＤ１２には、マーカ５０を検出中であることを示す情報（たとえば、「マーカ検出中」）が表示される。ゲーム装置１０がマーカ５０を検出することができなかった場合、ゲーム装置１０は、下側ＬＣＤ１２に、「マーカを検出することができませんでした。再度マーカを検出する処理を行なってください。」などの情報を表示してもよい。ゲーム装置１０がマーカ５０を検出することができた場合、ゲーム装置１０は、下側ＬＣＤ１２に、「マーカを検出することができました。」などの情報を表示してもよい。
【００６５】
ゲーム装置１０は、マーカ５０を検出することができた場合、第１イベントを発生する。発生した第１イベントにより、上側ＬＣＤ２２には、図８に示すようにマーカ５０の近傍に配置されたボールオブジェクト６０が表示される。なお、ゲーム装置１０は、ゲームを演出するために、上側ＬＣＤ２２のマーカ５０ａ内の領域において動画を再生してもよい。
【００６６】
ゲーム装置１０は、下側ＬＣＤ１２に、ゲームの説明を表示してもよい。たとえば、ゲーム装置１０は、下側ＬＣＤ１２に、「ノートを傾けてボールを動かしてください。」などの情報を表示する。当該表示は、ユーザを第２イベントに移行させるためのガイドである。
【００６７】
次に、ユーザは、図９に示すように、ノートの右端を持上げてノートを傾ける。ゲーム装置１０は、ノートを傾けることで、ノートを傾ける前のマーカ５０の形状に比べて変形した形状のマーカ５０を外側撮像部２３によって撮像する。なお、ゲーム装置１０は、ノートを傾ける前の姿勢を維持したままとする。
【００６８】
ゲーム装置１０は、撮像したマーカ５０の形状が所定形状に変形した場合、第２イベントを発生する。つまり、ゲーム装置１０は、ボールが移動する程度ノートが傾いたことを、マーカ５０の変形から認識して、ボールオブジェクト６０が移動する第２イベントを発生する。図１０に示すように、ゲーム装置１０は、第２イベントを発生により、傾いたノート上をボールオブジェクト６０が移動する様子を上側ＬＣＤ２２に表示する。
【００６９】
（ゲーム装置１０の動作）
次に、ゲーム装置１０の動作についてより詳細に説明する。
【００７０】
図１１は、本発明の実施の形態に係るゲーム装置１０のメインメモリ３２のメモリマップを示す概略図である。
【００７１】
図１１に示すメインメモリ３２は、ゲームプログラムＤ１１、動画情報Ｄ１２、仮想オブジェクト情報Ｄ１３、左被写体画像Ｄ１４、右被写体画像Ｄ１５、仮想カメラ情報Ｄ１６、左仮想空間画像Ｄ１７、右仮想空間画像Ｄ１８などを含む。
【００７２】
ゲームプログラムＤ１１は、ゲームの実行に先立って外部メモリ４４またはデータ保存用内部メモリ３５等から読み出されて、メインメモリ３２に格納される。なお、無線通信機能を使ってサーバ装置または他のゲーム装置からゲームプログラムＤ１１を受信して、メインメモリ３２に格納してもよい。
【００７３】
動画情報Ｄ１２は、第１イベントなどで表示する動画情報であり、Ｈ．２６４、ＭＰＥＧ−４ ＡＶＣなどの動画圧縮規格に基づいて圧縮した動画情報である。
【００７４】
仮想オブジェクト情報Ｄ１３は、仮想空間に配置される各種仮想オブジェクト（ボールオブジェクト６０）に関連する情報であって、仮想オブジェクトの形状、色、模様、位置、姿勢などの情報を含んでいる。また、ボールオブジェクト６０については、移動方向および移動速度の情報も含まれている。
【００７５】
左被写体画像Ｄ１４は、外側撮像部（左）２３ａによって撮像された被写体の画像であり、右被写体画像Ｄ１５は、外側撮像部（右）２３ｂによって撮像された被写体の画像である。
【００７６】
仮想カメラ情報Ｄ１６は、立体視画像を生成する際に用いられる一対の仮想カメラ（後述する左仮想カメラおよび右仮想カメラ）に関する情報であって、仮想空間における各仮想カメラの位置や姿勢などの情報を含んでいる。
【００７７】
左仮想空間画像Ｄ１７は、左仮想カメラに基づいて描画された仮想画像であり、右仮想空間画像Ｄ１８は、右仮想カメラに基づいて描画された仮想画像である。
【００７８】
次に、図１２は、本発明の実施の形態に係るゲーム装置１０の動作を説明するためのフローチャートである。図１２を参照して、ゲームプログラムＤ１１に基づいてＣＰＵ３１１によって実行されるゲーム処理の流れについて説明する。当該ゲーム処理は、たとえば、外側撮像部２３によって被写体を撮像している状態で、操作ボタン１４のボタン１４Ｂが押下されたときに開始される。
【００７９】
まず、ＣＰＵ３１１は、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂから、最新の左被写体画像Ｄ１４および右被写体画像Ｄ１５を取得して、メインメモリ３２に格納する（ステップＳ１１）。
【００８０】
次に、ＣＰＵ３１１は、取得した被写体の画像からマーカ５０を検出する（ステップＳ１２）。当該マーカ検出処理では、左被写体画像Ｄ１４および右被写体画像Ｄ１５のそれぞれにおけるマーカ５０を検出する。たとえば、左被写体画像Ｄ１４および右被写体画像Ｄ１５に対して、それぞれエッジ検出処理とパターンマッチング処理を行うことによって、左被写体画像Ｄ１４および右被写体画像Ｄ１５のそれぞれにおけるマーカ５０を検出する。ここで、エッジ検出処理は、左被写体画像Ｄ１４および右被写体画像Ｄ１５から、マーカ５０の輪郭を表す一連のエッジ画素を検出し、一連のエッジ画素に基づいて複数の直線を生成して輪郭の頂点を検出する。
【００８１】
マーカ５０は、図７に示したように、ノートの略中央部に配置してある正方形のマーカに限定されるものではなく、取得した被写体の画像から検出することができる形状であればいずれの形状であってもよい。また、マーカ５０は、１つに限定されるものではなく、複数のマーカをノートに配置してあってもよい。
【００８２】
次に、ＣＰＵ３１１は、マーカ５０の４頂点から現実空間における外側撮像部２３とマーカ５０との位置関係が算出され、この算出結果に基づいて、仮想空間における仮想カメラの位置および姿勢が算出して、現実空間における外側撮像部２３と外マーカ５０ａとの位置関係と仮想カメラと仮想空間内のマーカとの位置関係が対応するように、仮想カメラが設置される（ステップＳ１３）。上記位置関係から仮想カメラの位置を算出する処理は、従来の拡張現実感技術における処理と同様であってもよい。なお、仮想空間における仮想カメラの位置および姿勢が算出、および仮想カメラを設置する処理は、一定間隔で行われており、後述する各イベントの処理中でも行われている。しかし、以降のフローチャートでは、省略して記載していない場合もあるが、当該処理は、後述する各イベントの処理中を含む一定間隔で行われているものとする。また、このとき、マーカ５０ｂについても同様の処理を行い、現実空間における外側撮像部２３と内マーカ５０ｂとの位置関係と仮想カメラと仮想空間内のマーカ５０ｂとの位置関係が対応するように、上記仮想カメラとは別の仮想カメラを仮想空間内の配置されるようにして、後述のステップＳ１７４において、その仮想カメラが用いられてもよい。
【００８３】
次に、ＣＰＵ３１１は、マーカ５０を検出することができたか否かを判断する（ステップＳ１４）。ＣＰＵ３１１は、マーカ５０を検出することができなかったと判断した場合（ステップＳ１４：ＮＯ）、処理をステップＳ１２に戻して、取得した被写体の画像からマーカ５０を検出する処理を継続する。ＣＰＵ３１１は、マーカ５０を検出することができたと判断した場合（ステップＳ１４：ＹＥＳ）、第１イベントを発生する（ステップＳ１４）。
【００８４】
次に、発生した第１イベントの処理について説明する。図１３は、本発明の実施の形態に係るゲーム装置１０の第１イベントの処理を説明するためのフローチャートである。
【００８５】
ＣＰＵ３１１は、外マーカ５０ａの中心を原点とした仮想空間内の当該原点を基準とした所定の位置に、ボールオブジェクト６０を配置する（ステップＳ１４１）。
【００８６】
ＣＰＵ３１１は、ボールオブジェクト６０を配置した後、仮想カメラでボールオブジェクト６０を含む仮想空間を撮像して仮想空間内の仮想画像を生成する（ステップＳ１４２）。具体的に、ＣＰＵ３１１は、左仮想カメラに基づいて仮想オブジェクト（ボールオブジェクト６０など）を描画することによって左仮想空間画像Ｄ１７を生成し、右仮想カメラに基づいて仮想オブジェクトを描画することによって右仮想空間画像Ｄ１８を生成する。なお、仮想空間の描画処理は、典型的には、ＣＰＵ３１１の指示に従ってＧＰＵ３１２が行う。
【００８７】
ＣＰＵ３１１は、仮想画像を生成した後、被写体の画像と仮想画像とを合成し、上側ＬＣＤ２２に表示する（ステップＳ１４３）。具体的に、ＣＰＵ３１１は、左被写体画像Ｄ１４に左仮想空間画像Ｄ１７（すなわち、左仮想カメラに基づいて描画されたボールオブジェクト６０）を上書きし、右被写体画像Ｄ１５に右仮想空間画像Ｄ１８（すなわち、右仮想カメラに基づいて描画されたボールオブジェクト６０）を上書きする。そして、合成された画像は、上側ＬＣＤ２２に表示される。つまり、ＣＰＵ３１１は、左被写体画像Ｄ１４と左仮想空間画像Ｄ１７とを合成した画像を左目用画像とし、右被写体画像Ｄ１５と右仮想空間画像Ｄ１８とを合成した画像を右目用画像として、上側ＬＣＤ２２に３Ｄ画像を表示する。第１イベントの処理は、上側ＬＣＤ２２にボールオブジェクト６０を表示することで終了する。
【００８８】
なお、ＣＰＵ３１１は、メインメモリ３２から動画情報Ｄ１２を読出し、マーカ５０内の領域で動画を再生してもよい。具体的に、マーカ５０内の領域で動画を再生する方法について説明する。ＣＰＵ３１１は、発生した第１イベントに応じて仮想空間内に板状のポリゴンを配置する。ＣＰＵ３１１は、配置した板状のポリゴンにテクスチャとして動画情報Ｄ１２の画像をマッピングすることで仮想画像を生成する。ＣＰＵ３１１は、生成した仮想画像を、被写体の画像に重ね合わせてユーザに視認されるように、仮想画像を上側ＬＣＤ２２に順次表示させることで、動画を再生する。
【００８９】
図１２に戻って、ＣＰＵ３１１は、ゲーム装置１０の姿勢や動きを検出するために、加速度センサ３９で検出した加速度を示すデータ（加速度センサ３９の値）を受信する。ＣＰＵ３１１は、受信した加速度センサ３９の値が、ゲーム装置１０が水平となっていることを示しているか否かを判断する（ステップＳ１６）。つまり、ＣＰＵ３１１は、ゲーム装置１０が水平となっているか否かを、加速度センサ３９の値により判断している。具体的に、ＣＰＵ３１１は、加速度センサ３９の値が所定値にない場合、ゲーム装置１０がが水平にないと判断し、加速度センサ３９の値が所定値にある場合、ゲーム装置１０が水平にあると判断することができる。
【００９０】
ＣＰＵ３１１は、受信した加速度センサ３９の値が一定でないと判断した場合（ステップＳ１６：ＮＯ）、加速度センサ３９の値を受信する処理を継続する。ＣＰＵ３１１は、受信した加速度センサ３９の値が一定であると判断した場合（ステップＳ１６：ＹＥＳ）、マーカ５０の形状を認識する。
【００９１】
ＣＰＵ３１１は、マーカ５０の形状を認識することで、ユーザがノートを傾けたか否かを検出することができる。図１４は、本発明の実施の形態に係るゲーム装置１０のマーカ５０の形状の認識方法を説明するための図である。図１４（ａ）に示すマーカ５０は、ノートを机に置いた状態で、マーカ５０の正面に対してやや斜め下側から外側撮像部２３によって撮像した図である。そのため、図１４（ａ）に示すマーカ５０の形状は、底辺側が長い台形となっている。
【００９２】
図１４（ｂ）に示すマーカ５０は、図９に示したようにノートの右端を持上げノートを傾けた状態で、図１４（ｂ）と同じ位置から外側撮像部２３によって撮像した図である。そのため、図１４（ｂ）に示すマーカ５０の形状は、図１４（ａ）に示すマーカ５０の形状と異なり、変形した台形となる。
【００９３】
ＣＰＵ３１１は、マーカ５０の形状を認識するために、マーカ５０の中心Ｏからマーカ５０の一辺の中点へ伸びるベクトルａの向きの情報を利用する。つまり、ＣＰＵ３１１は、マーカ５０の形状の変形を、ベクトルａの向きの変化として認識している。具体的に、図１４（ａ）に示すベクトルａは、水平方向に沿って左を向いているが、図１４（ｂ）に示すベクトルａは、水平方向に対して角度θ分だけ左下を向いている。そのため、ＣＰＵ３１１は、ベクトルａの向きでマーカ５０の形状を認識することで処理する情報量を減らして、マーカ５０の形状の変形を簡単に認識することができる。
【００９４】
なお、マーカ５０の形状の認識方法は、ベクトルａの向きを用いる方法に限定されるものではなく、外側撮像部２３によって撮像した画像を用いてパターンマッチング処理でマーカ５０の形状を認識してもよい。（※、特に、打ち合わせではありませんでいたが、あらかじめ変形した画像を認識させておけば可能かと思い記載いたしました。不要であれば削除しますのでご指示いただきますようお願いいたします。）
図１２に戻って、ＣＰＵ３１１は、認識したマーカ５０の形状が所定形状に変形したか否かを判断する（ステップＳ１７）。つまり、ＣＰＵ３１１は、図１４（ａ）に示すベクトルａの向きに対して、図１４（ｂ）に示すベクトルａの向きの角度θが所定の角度になると、認識したマーカ５０の形状が所定形状に変形したと判断する。
【００９５】
ＣＰＵ３１１は、認識したマーカ５０の形状が所定形状まで変形していないと判断した場合（ステップＳ１７：ＮＯ）、処理をステップＳ１６に戻して、加速度センサ３９の値を受信する処理を継続する。ＣＰＵ３１１は、認識したマーカ５０の形状が所定形状に変形したと判断した場合（ステップＳ１７：ＹＥＳ）、第２イベントを発生する（ステップＳ１８）。
【００９６】
ここで、ＣＰＵ３１１が、マーカ５０の形状を認識する前に、加速度センサ３９の値を受信するのは、マーカ５０の形状が変形する原因が、ノートを傾けたことによるものなのか、ゲーム装置１０本体を傾けたものなのかを区別するためである。つまり、本実施の形態に係るゲーム装置１０では、ノートを傾けたことで第２イベントを発生する仕様になっているため、ゲーム装置１０の姿勢や動きを検出する加速度センサ３９からの値（検出結果）からゲーム装置１０本体を傾けたと判断した場合、第２イベントを発生しない。しかし、本発明に係るゲーム装置１０は、上記仕様に限定されるものではなく、ゲーム装置１０の姿勢や動きを検出する加速度センサ３９からの値を考慮することなく、マーカ５０の形状を認識してもよい。つまり、ゲーム装置１０は、ノートを傾けたこと、ゲーム装置１０本体を傾けたことを区別することなく、第２イベントを発生する仕様でもよい。
【００９７】
次に、発生した第２イベントの処理について説明する。図１５は、本発明の実施の形態に係るゲーム装置１０の第２イベントの処理を説明するためのフローチャートである。まず、ＣＰＵ３１１は、配置したボールオブジェクト６０を移動する（ステップＳ１６１）。具体的に、ＣＰＵ３１１は、メインメモリ３２から読出した仮想オブジェクト情報Ｄ１３や、ノートの傾き程度（マーカ５０の形状の変形程度）などを考慮して、ボールオブジェクト６０の移動方向および移動速度を決定する。たとえば、ＣＰＵ３１１は、ボールオブジェクト６０を、左方向に、速い速度で移動させると決定する。そして、ＣＰＵ３１１は、決定に基づいてボールオブジェクト６０を移動させた場合、移動させたボールオブジェクト６０の位置を更新する。
【００９８】
ＣＰＵ３１１は、仮想カメラで移動するボールオブジェクト６０を含む仮想空間を撮像して仮想空間内の仮想画像を生成する（ステップＳ１６２）。具体的に、ＣＰＵ３１１は、左仮想カメラに基づいて移動するボールオブジェクト６０を描画することによって左仮想空間画像Ｄ１７を生成し、右仮想カメラに基づいて移動するボールオブジェクト６０を描画することによって右仮想空間画像Ｄ１８を生成する。
【００９９】
なお、仮想カメラは、第１イベントの処理で配置した仮想カメラを用いることで、再度配置する必要はない。再度仮想カメラを配置する場合、ＣＰＵ３１１は、外側撮像部２３ａ，２３ｂとマーカ５０との位置関係を再度算出し、再度算出した位置関係に基づいて仮想空間に一対の仮想カメラ（左仮想カメラおよび右仮想カメラ）を再度配置する。
【０１００】
ＣＰＵ３１１は、仮想画像を生成した後、被写体の画像と仮想画像とを合成し、上側ＬＣＤ２２に表示する（ステップＳ１６３）。具体的に、ＣＰＵ３１１は、左被写体画像Ｄ１４に、左仮想カメラに基づいて描画された移動するボールオブジェクト６０を順次上書し、右被写体画像Ｄ１５に、右仮想カメラに基づいて描画された移動するボールオブジェクト６０を順次上書きすることで、ユーザに、仮想空間内をキャラクタオブジェクト６１が移動していると認識させることができる。なお、同様に、合成された画像は、上側ＬＣＤ２２に表示される。つまり、ＣＰＵ３１１は、左被写体画像Ｄ１４と左仮想空間画像Ｄ１７とを合成した画像を左目用画像とし、右被写体画像Ｄ１５と右仮想空間画像Ｄ１８とを合成した画像を右目用画像として、上側ＬＣＤ２２に３Ｄ画像を表示する。
【０１０１】
図１２に戻って、ＣＰＵ３１１は、第２イベントの処理を終了した後、ゲームを終了する。なお、ＣＰＵ３１１は、ゲームを終了せずに、処理をステップＳ１２に戻して、取得した被写体の画像からマーカ５０を検出する処理を継続してもよい。
【０１０２】
以上のように、本発明の実施の形態に係るゲーム装置１０は、外側撮像部２３により撮像した被写体の画像を取得し、取得した被写体の画像からマーカ５０を検出し、検出したマーカ５０の形状を認識し、認識したマーカ５０の形状に応じて仮想空間内にイベントを発生し、発生するイベントに応じて仮想空間内の仮想画像を生成し、被写体の画像に重ね合わせてユーザに視認されるように、仮想画像を上側ＬＣＤ２２に表示させるので、マーカ５０を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【０１０３】
（変形例）
また、上記実施形態では、外側撮像部２３によって撮像された被写体画像に仮想画像を合成して上側ＬＣＤ２２に表示している（ビデオシースルー方式）が、本発明はこれに限定されるものではない。本発明は、透過型の表示画面に仮想オブジェクトを表示し、当該透過型の表示画面を通じて見える被写体にあたかも仮想オブジェクトが実在するかのようにユーザに視認されるような光学シースルー方式のゲーム装置（たとえば、ヘッドマウントディスプレイを備えるゲーム装置）やゲームシステムにも適用できる。
【０１０４】
また、上記実施形態では、マーカ検出処理の結果に応じて、左仮想カメラの位置および姿勢と、右仮想カメラの位置および姿勢とを個別に決定しているが、他の実施形態では、マーカ検出処理の結果に応じていずれか一方の仮想カメラの位置および姿勢を決定した後、当該一方の仮想カメラの位置および姿勢から他方の仮想カメラの位置および姿勢を決定するようにしてもよい。
【０１０５】
また、上記実施形態では、被写体画像に含まれるマーカ５０の位置および姿勢に基づいて仮想カメラの位置および姿勢を決定しているが、他の実施形態では、被写体画像に含まれるマーカ５０以外の認識対象物（たとえば、顔や、手など）の位置等に応じて仮想カメラの位置等を決定してもよい。
【０１０６】
また、上記実施形態では、上側ＬＣＤ２２に立体視画像を表示する例を説明したが、本発明はこれに限らず、平面視画像を表示する場合にも本発明は適用できる。たとえば、外側撮像部（左）２３ａまたは外側撮像部（右）２３ｂのいずれか一方から取得した被写体画像に基づいて仮想空間に１つの仮想カメラを配置して、上記実施形態と同様の処理を行えばよい。
【０１０７】
また、上記実施形態では、マーカ５０が描かれているノートを用いる例を説明したが、本発明はこれに限らず、一般的なクレジットカードや名刺等のサイズのカードにマーカ５０が描かれているものを用いる場合にも本発明は適用できる。このとき、マーカ５０が描かれているカードを単にマーカと呼ぶようにしてもよい。
【０１０８】
また、上記実施形態では、ゲームプログラムＤ１１の処理がＣＰＵ（ＣＰＵ３１１）によって実行される例を説明したが、他の実施形態では、ゲームプログラムＤ１１の少なくとも一部の処理がハードウェアのみによって実現されてもよい。
【０１０９】
また、上記実施形態では、上記ゲーム例で説明したが、本発明はこれに限らず、マーカ５０の形状が変形することでイベントを発生するような任意のゲームに適用可能である。また、本発明はゲームソフトウェアに限らず、任意のアプリケーションソフトウェアにも適用可能である。
【０１１０】
また、上記実施形態では、携帯型のゲーム装置１０について説明したが、他の実施形態では、任意の情報処理装置（据え置き型ゲーム装置、デスクトップパソコン、ノートパソコン、携帯電話など）をゲーム装置またはゲームシステムとして利用してもよい。
【０１１１】
また、上記実施形態では、ゲームプログラムＤ１１の処理が１つのＣＰＵ（ＣＰＵ３１１）によって実行される例を説明したが、他の実施形態では、ゲームプログラムＤ１１の処理が複数のプロセッサによって分担して実行されてもよい。また、これらの複数のプロセッサは、同一の情報処理装置に内蔵されていてもよいし、サーバ装置とクライアント装置のように互いに通信可能な複数の情報処理装置に分散して設けられていてもよい。
【０１１２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１３】
１０ ゲーム装置、１１ 下側ハウジング、１１Ｃ カバー部、１１Ｄ，１７ 挿入口、１２ 下側ＬＣＤ、１３ タッチパネル、１４Ａ〜１４Ｌ 操作ボタン、１５ アナログスティック、１６Ａ〜１６Ｂ ＬＥＤ、１８ マイクロフォン用孔、１９ 無線スイッチ、２１ 上側ハウジング、２１Ｂ 上側ハウジングの内側面、２１Ｄ 上側ハウジングの外側面、２１Ｅ スピーカ孔、２２ 上側ＬＣＤ、２３ 外側撮像部、２３ａ 外側撮像部（左）、２３ｂ 外側撮像部（右）、２４ 内側撮像部、２５ ３Ｄ調整スイッチ、２５ａ スライダ、２６ ３Ｄインジケータ、２８ タッチペン、３１ 情報処理部、３２ メインメモリ、３３ 外部メモリインターフェイス、３４ 、データ保存用外部メモリＩ／Ｆ、３５ データ保存用内部メモリ、３６ 無線通信モジュール、３７ ローカル通信モジュール、３８ リアルタイムクロック、３９ 加速度センサ、４０ 電源回路、４１ インターフェイス回路、４２ マイク、４３ スピーカ、４４ 外部メモリ、４５ データ保存用外部メモリ、５０ マーカ、６０ ボールオブジェクト、３１１ ＣＰＵ、３１２ ＧＰＵ、３１３ ＶＲＡＭ、Ｄ１１ ゲームプログラム、Ｄ１２ 動画情報、Ｄ１３ 仮想オブジェクト情報、Ｄ１４ 左被写体画像、Ｄ１５ 右被写体画像、Ｄ１６ 仮想カメラ情報、Ｄ１７ 左仮想画像、Ｄ１８ 右仮想画像。
【技術分野】
【０００１】
本発明は、情報処理プログラム、情報処理システム、情報処理装置および情報処理方法に関し、特に、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用した情報処理プログラム、情報処理システム、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置では、撮像した被写体の画像（撮像画像）から所定の撮像対象を検出する技術を有している。たとえば、非特許文献１には、拡張現実技術において、カメラで撮像した撮像画像に含まれるマーカ（特定対象）に対して画像認識処理を行うことでマーカを検出する技術（マーカ検出技術）が開示されている。具体的に、非特許文献１に開示してあるマーカ検出技術は、撮像画像に対して固定の閾値を用いて２値化を行うことで連結領域を抽出し、抽出した連結領域から大きさおよび形状が適切なものを選出してマーカ候補とする。さらに、非特許文献１に開示してあるマーカ検出技術は、選出したマーカ候補に対してパターンマッチングを行うことでマーカを検出する。また、非特許文献１には、検出したマーカに対応する位置に仮想オブジェクトを表示する技術が開示してある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】加藤博一，Mark Billinghurst，浅野浩一，橘啓八郎、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌 Ｖｏｌ．４ Ｎｏ．４、１９９９年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に開示してある技術は、被写体に含まれるマーカを検出し、検出したマーカに対応する位置に仮想オブジェクトを単に表示しているだけに過ぎないので、検出したマーカを利用してユーザに拡張現実を実感する視覚効果を十分に与えることができなかった。
【０００５】
それゆえに、本発明は、検出したマーカ（特定対象）を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる情報処理プログラム、情報処理システム、情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、以下のような構成を採用し得る。
本発明の一構成例に係る情報処理プログラムは、撮像装置および表示装置に接続された情報処理装置のコンピュータを、画像取得手段、特定対象検出手段、形状認識手段、イベント発生手段、仮想画像生成手段、表示制御手段として機能させる。画像取得手段は、撮像装置により撮像した被写体の画像を取得する。特定対象検出手段は、画像取得手段で取得した被写体の画像から特定対象を検出する。形状認識手段は、特定対象検出手段で検出した特定対象の形状を認識する。イベント発生手段は、形状認識手段で認識した特定対象の形状に応じて仮想空間内にイベントを発生する。仮想画像生成手段は、イベント発生手段で発生するイベントを仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成する。表示制御手段は、被写体の画像もしくは、表示装置の画面を透過して見える被写体に重ね合わせてユーザに視認されるように、仮想画像を表示装置に表示させる。
【０００７】
上記構成例によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【０００８】
上記情報処理プログラムのさらに他の構成例として、イベント発生手段は、情報処理装置の姿勢を検出するセンサからの検出結果が当該情報処理装置の所定の姿勢を示している場合に、特定対象の形状に応じてイベントを発生する。
【０００９】
上記構成例によれば、情報処理装置の姿勢や動きを検出するセンサからの検出結果により、イベントを発生させないようにすることができるので、ユーザが情報処理装置を動かして認識した特定対象の形状を変化させることによりイベントが発生してしまうことを防止することができる。すなわち、特定対象を動かすることにより変化した特定対象の形状に応じてイベントを発生させたいという開発者の意図の通りの操作をユーザに行わせることができる。
【００１０】
上記情報処理プログラムのさらに他の構成例として、形状認識手段は、被写体の画像において特定対象の中心から特定対象の一辺へ伸びるベクトルの向きにより、特定対象の形状を認識する。
【００１１】
上記構成例によれば、被写体の画像において特定対象の中心から特定対象の一辺へ伸びるベクトルの向きを算出するだけで、特定対象の形状の変形を簡単に認識することができる。
【００１２】
上記情報処理プログラムのさらに他の構成例として、イベント発生手段は、特定対象検出手段で特定対象を検出することができたとき、第１イベントを発生し、第１イベントを発生した後、形状認識手段で認識した特定対象の形状が所定形状に変形したとき、第２イベントを発生する。
【００１３】
上記構成例によれば、特定対象を検出することができたとき、第１イベントを発生し、特定対象の形状が所定形状に変形したとき、第２イベントを発生するので、さらに特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００１４】
上記情報処理プログラムのさらに他の構成例として、仮想画像生成手段は、イベント発生手段で発生したイベントとして仮想空間内に配置した所定形状のオブジェクトを仮想カメラで撮影することにより仮想画像を生成する。
【００１５】
上記構成例によれば、イベントに応じて所定形状のオブジェクトを表示するので、特定対象に対応する位置にオブジェクトを単に表示するだけの場合に比べて、ユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００１６】
上記情報処理プログラムのさらに他の構成例として、仮想画像生成手段は、イベント発生手段で発生したイベントとして仮想空間内に配置した板状のポリゴンにテクスチャをマッピングして、仮想カメラで撮影することにより仮想画像を生成する。
【００１７】
上記構成例によれば、仮想空間内に配置した板状のポリゴンにテクスチャとしてマッピングする仮想画像を生成するので、ユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００１８】
上記情報処理プログラムのさらに他の構成例として、情報処理装置は、コンピュータを、被写体の画像から撮像装置と特定対象との位置関係を算出する位置算出手段、および位置算出手段で算出した位置関係に応じて仮想カメラを配置する仮想カメラ配置手段としてさらに機能させる。
【００１９】
上記構成例によれば、撮像装置と特定対象との位置関係に応じて配置された仮想カメラで撮像した画像を仮想画像として生成するので、あたかもイベントが実世界で発生しているような表示ができるため、ユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００２０】
本発明の一構成例に係る情報処理装置は、撮像装置および表示装置に接続された情報処理装置であって、画像取得手段と、特定対象検出手段と、形状認識手段と、イベント発生手段と、仮想画像生成手段と、表示制御手段とを備える。画像取得手段は、撮像装置により撮像した被写体の画像を取得する。特定対象検出手段は、画像取得手段で取得した被写体の画像から特定対象を検出する。形状認識手段は、特定対象検出手段で検出した特定対象の形状を認識する。イベント発生手段は、形状認識手段で認識した特定対象の形状に応じて仮想空間内にイベントを発生する。仮想画像生成手段は、イベント発生手段で発生するイベントを仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成する。表示制御手段は、被写体の画像もしくは、表示装置の画面を透過して見える被写体に重ね合わせてユーザに視認されるように、仮想画像を表示装置に表示させる。
【００２１】
上記構成例によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００２２】
本発明の一構成例に係る情報処理方法は、撮像装置および表示装置に接続された情報処理装置の制御部によって処理される情報処理方法である。制御部が、撮像装置により撮像した被写体の画像を取得するステップと、取得した被写体の画像から特定対象を検出するステップと、検出した特定対象の形状を認識するためのステップと、認識した特定対象の形状に応じて仮想空間内にイベントを発生するためのステップと、発生するイベントを仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するステップと、被写体の画像もしくは、表示装置の画面を透過して見える被写体に重ね合わせてユーザに視認されるように、仮想画像を表示装置に表示させるステップとを含む。
【００２３】
上記構成例によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【００２４】
本発明の一構成例に係る情報処理システムは、被写体に配置してある特定対象と、被写体を撮像する撮像装置と、撮像装置に接続された情報処理装置と、情報処理装置に接続した表示装置とを備える情報処理システムである。情報処理装置は、撮像装置により撮像した被写体の画像を取得するための画像取得手段と、画像取得手段で取得した被写体の画像から特定対象を検出する特定対象検出手段と、特定対象検出手段で検出した特定対象の形状を認識するための形状認識手段と、形状認識手段で認識した特定対象の形状に応じて仮想空間内にイベントを発生するためのイベント発生手段と、イベント発生手段で発生するイベントを仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成する仮想画像生成手段と、被写体の画像もしくは、表示装置の画面を透過して見える被写体に重ね合わせてユーザに視認されるように、仮想画像を表示装置に表示させる表示制御手段とを備える。
【００２５】
上記構成例によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【発明の効果】
【００２６】
本発明によれば、認識した特定対象の形状に応じて仮想空間内にイベントを発生させるので、特定対象を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係るゲーム装置の開状態における正面図である。
【図２】本発明の実施の形態に係るゲーム装置の閉状態における左側面図である。
【図３】本発明の実施の形態に係るゲーム装置の閉状態における正面図である。
【図４】本発明の実施の形態に係るゲーム装置の閉状態における右側面図である。
【図５】本発明の実施の形態に係るゲーム装置の閉状態における背面図である。
【図６】本発明の実施の形態に係るゲーム装置の内部構成を示すブロック図である。
【図７】本発明の実施の形態に係るゲーム装置のゲームプレイ中におけるゲーム画像例を示す図である。
【図８】本発明の実施の形態に係るゲーム装置のゲームプレイ中におけるゲーム画像例を示す図である。
【図９】本発明の実施の形態に係るゲーム装置のゲームプレイ中におけるゲーム画像例を示す図である。
【図１０】本発明の実施の形態に係るゲーム装置のゲームプレイ中におけるゲーム画像例を示す図である。
【図１１】本発明の実施の形態に係るゲーム装置のメインメモリのメモリマップを示す概略図である。
【図１２】本発明の実施の形態に係るゲーム装置の動作を説明するためのフローチャートである。
【図１３】本発明の実施の形態に係るゲーム装置の第１イベントの処理を説明するためのフローチャートである。
【図１４】本発明の実施の形態に係るゲーム装置のマーカの形状の認識方法を説明するための図である。
【図１５】本発明の実施の形態に係るゲーム装置の第２イベントの処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００２８】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。ゲーム装置１０は携帯型のゲーム装置である。図１は、本発明の実施の形態に係るゲーム装置１０の開状態における正面図である。図２は、本発明の実施の形態に係るゲーム装置１０の閉状態における左側面図である。図３は、本発明の実施の形態に係るゲーム装置１０の閉状態における正面図である。図４は、本発明の実施の形態に係るゲーム装置１０の閉状態における右側面図である。図５は、本発明の実施の形態に係るゲーム装置１０の閉状態における背面図である。
【００２９】
図１および図２〜図５に示されるように、ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に接続されている。
【００３０】
（下側ハウジングの説明）
図１および図２〜図５に示すように、下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ、アナログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、および、マイクロフォン用孔１８が設けられている。
【００３１】
タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。下側ハウジング１１の上側面には、タッチペン２８を収納するための挿入口１７（図１および図５に示す点線）が設けられている。
【００３２】
下側ハウジング１１の内側面（主面）には、十字ボタン（方向入力ボタン）１４Ａ、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられている。
【００３３】
アナログスティック１５は、方向を指示するデバイスである。
下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられている。マイクロフォン用孔１８の下部には後述する音声入力装置としてのマイク４２（図６参照）が設けられている。
【００３４】
図３および図５に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４ＧおよびＲボタン１４Ｈが設けられている。また、図２に示されるように、下側ハウジング１１の左側面には、ゲーム装置１０が備えるスピーカ４３（図６参照）の音量を調整するための音量ボタン１４Ｉが設けられている。
【００３５】
図２に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１１Ｃが設けられている。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部メモリ４５とを電気的に接続するためのコネクタが設けられている。
【００３６】
図５に示されるように、下側ハウジング１１の上側面には、外部メモリ４４を挿入するための挿入口１１Ｄが設けられている。
【００３７】
図１および図４に示されるように、下側ハウジング１１の下側面にはゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥＤ１６Ｂが設けられている。ゲーム装置１０は他の機器との間で無線通信を行うことが可能であり、下側ハウジング１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ１９が設けられている（図４参照）。
【００３８】
（上側ハウジングの説明）
図１および図２に示すように、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けられている。
【００３９】
上側ＬＣＤ２２は、立体視可能な画像を表示することが可能な表示装置である。具体的に、上側ＬＣＤ２２は、パララックスバリア方式の裸眼立体視可能な表示装置である。上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある画像（立体視画像（３Ｄ画像））を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる。このように、上側ＬＣＤ２２は、立体視画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、たとえば、後述する３Ｄ調整スイッチ２５によって行われる。
【００４０】
外側撮像部２３は、上側ハウジング２１の外側面２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。
【００４１】
内側撮像部２４は、上側ハウジング２１の内側面２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。
【００４２】
３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。３Ｄ調整スイッチ２５のスライダ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に応じて上側ＬＣＤ２２の表示モードが設定される。また、スライダ２５ａの位置に応じて、立体画像の見え方が調整される。
【００４３】
３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードか否かを示すＬＥＤである。
【００４４】
また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられている。後述するスピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。
【００４５】
（ゲーム装置１０の内部構成）
次に、図６は、本発明の実施の形態に係るゲーム装置１０の内部構成を示すブロック図である。図６を参照して、ゲーム装置１０の内部の電気的構成について説明する。図６に示すように、ゲーム装置１０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、およびインターフェイス回路（Ｉ／Ｆ回路）４１等の電子部品を備えている。
【００４６】
情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。ＣＰＵ３１１は、ゲーム装置１０内のメモリ（たとえば、外部メモリＩ／Ｆ３３に接続された外部メモリ４４やデータ保存用内部メモリ３５）に記憶されているプログラムを実行することによって、当該プログラムに応じた処理を実行する。なお、ＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。ＧＰＵ３１２は、ＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。ＶＲＡＭ３１３に描画された画像は、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力され、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像が表示される。
【００４７】
外部メモリＩ／Ｆ３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続するためのインターフェイスである。
【００４８】
メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶装置である。
【００４９】
外部メモリ４４は、情報処理部３１によって実行されるプログラム等を記憶するための不揮発性の記憶装置である。外部メモリ４４は、たとえば読み取り専用の半導体メモリで構成される。
【００５０】
データ保存用外部メモリ４５は、不揮発性の読み書き可能なメモリ（たとえば、ＮＡＮＤ型フラッシュメモリ）で構成され、任意のデータを保存するために用いられる。
【００５１】
データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（たとえば、ＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。たとえば、データ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
【００５２】
無線通信モジュール３６は、たとえばＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、所定の通信方式（たとえば、独自プロトコルによる通信や、赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。
【００５３】
加速度センサ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。情報処理部３１は、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置１０の姿勢や動きを検出することができる。
【００５４】
ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置１０が有する電源（充電式電池）からの電力を制御し、ゲーム装置１０の各部品に電力を供給する。
【００５５】
Ｉ／Ｆ回路４１には、タッチパネル１３、マイク４２およびスピーカ４３が接続される。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。
【００５６】
操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。
【００５７】
下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。具体的に、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的に、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可能な画像が表示される。
【００５８】
外側撮像部２３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像データを情報処理部３１に出力する。
【００５９】
３Ｄ調整スイッチ２５は、スライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。
【００６０】
情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。たとえば、情報処理部３１は、上側ＬＣＤ２２が立体表示モードである場合、３Ｄインジケータ２６を点灯させる。
【００６１】
（ゲームの概要）
次に、図７〜図１０は、本発明の実施の形態に係るゲーム装置１０のゲームプレイ中におけるゲーム画像例を示す図である。図７〜図１０を参照して、ゲーム装置１０において実行されるゲームの概要を説明する。このゲームは、ゲームソフトに同梱されているノートに描かれている所定の模様（文字、数字、記号、その他の図柄）のマーカ５０を、ゲーム装置１０の外側撮像部２３で撮像しながらプレイする、拡張現実技術を利用したゲームである。
【００６２】
図７に示すゲーム画像例は、ゲームの開始直後、マーカ５０を検出するときに上側ＬＣＤ２２および下側ＬＣＤ１２に表示されるゲーム画像を示している。
【００６３】
上側ＬＣＤ２２には、外側撮像部２３によって現在撮像されているノート（被写体）の画像と、ノートに描かれているマーカ５０の画像が表示されている。この例では、マーカ５０は、ノートの略中央部に配置してある正方形のマーカである。
【００６４】
下側ＬＣＤ１２には、マーカ５０を検出中であることを示す情報（たとえば、「マーカ検出中」）が表示される。ゲーム装置１０がマーカ５０を検出することができなかった場合、ゲーム装置１０は、下側ＬＣＤ１２に、「マーカを検出することができませんでした。再度マーカを検出する処理を行なってください。」などの情報を表示してもよい。ゲーム装置１０がマーカ５０を検出することができた場合、ゲーム装置１０は、下側ＬＣＤ１２に、「マーカを検出することができました。」などの情報を表示してもよい。
【００６５】
ゲーム装置１０は、マーカ５０を検出することができた場合、第１イベントを発生する。発生した第１イベントにより、上側ＬＣＤ２２には、図８に示すようにマーカ５０の近傍に配置されたボールオブジェクト６０が表示される。なお、ゲーム装置１０は、ゲームを演出するために、上側ＬＣＤ２２のマーカ５０ａ内の領域において動画を再生してもよい。
【００６６】
ゲーム装置１０は、下側ＬＣＤ１２に、ゲームの説明を表示してもよい。たとえば、ゲーム装置１０は、下側ＬＣＤ１２に、「ノートを傾けてボールを動かしてください。」などの情報を表示する。当該表示は、ユーザを第２イベントに移行させるためのガイドである。
【００６７】
次に、ユーザは、図９に示すように、ノートの右端を持上げてノートを傾ける。ゲーム装置１０は、ノートを傾けることで、ノートを傾ける前のマーカ５０の形状に比べて変形した形状のマーカ５０を外側撮像部２３によって撮像する。なお、ゲーム装置１０は、ノートを傾ける前の姿勢を維持したままとする。
【００６８】
ゲーム装置１０は、撮像したマーカ５０の形状が所定形状に変形した場合、第２イベントを発生する。つまり、ゲーム装置１０は、ボールが移動する程度ノートが傾いたことを、マーカ５０の変形から認識して、ボールオブジェクト６０が移動する第２イベントを発生する。図１０に示すように、ゲーム装置１０は、第２イベントを発生により、傾いたノート上をボールオブジェクト６０が移動する様子を上側ＬＣＤ２２に表示する。
【００６９】
（ゲーム装置１０の動作）
次に、ゲーム装置１０の動作についてより詳細に説明する。
【００７０】
図１１は、本発明の実施の形態に係るゲーム装置１０のメインメモリ３２のメモリマップを示す概略図である。
【００７１】
図１１に示すメインメモリ３２は、ゲームプログラムＤ１１、動画情報Ｄ１２、仮想オブジェクト情報Ｄ１３、左被写体画像Ｄ１４、右被写体画像Ｄ１５、仮想カメラ情報Ｄ１６、左仮想空間画像Ｄ１７、右仮想空間画像Ｄ１８などを含む。
【００７２】
ゲームプログラムＤ１１は、ゲームの実行に先立って外部メモリ４４またはデータ保存用内部メモリ３５等から読み出されて、メインメモリ３２に格納される。なお、無線通信機能を使ってサーバ装置または他のゲーム装置からゲームプログラムＤ１１を受信して、メインメモリ３２に格納してもよい。
【００７３】
動画情報Ｄ１２は、第１イベントなどで表示する動画情報であり、Ｈ．２６４、ＭＰＥＧ−４ ＡＶＣなどの動画圧縮規格に基づいて圧縮した動画情報である。
【００７４】
仮想オブジェクト情報Ｄ１３は、仮想空間に配置される各種仮想オブジェクト（ボールオブジェクト６０）に関連する情報であって、仮想オブジェクトの形状、色、模様、位置、姿勢などの情報を含んでいる。また、ボールオブジェクト６０については、移動方向および移動速度の情報も含まれている。
【００７５】
左被写体画像Ｄ１４は、外側撮像部（左）２３ａによって撮像された被写体の画像であり、右被写体画像Ｄ１５は、外側撮像部（右）２３ｂによって撮像された被写体の画像である。
【００７６】
仮想カメラ情報Ｄ１６は、立体視画像を生成する際に用いられる一対の仮想カメラ（後述する左仮想カメラおよび右仮想カメラ）に関する情報であって、仮想空間における各仮想カメラの位置や姿勢などの情報を含んでいる。
【００７７】
左仮想空間画像Ｄ１７は、左仮想カメラに基づいて描画された仮想画像であり、右仮想空間画像Ｄ１８は、右仮想カメラに基づいて描画された仮想画像である。
【００７８】
次に、図１２は、本発明の実施の形態に係るゲーム装置１０の動作を説明するためのフローチャートである。図１２を参照して、ゲームプログラムＤ１１に基づいてＣＰＵ３１１によって実行されるゲーム処理の流れについて説明する。当該ゲーム処理は、たとえば、外側撮像部２３によって被写体を撮像している状態で、操作ボタン１４のボタン１４Ｂが押下されたときに開始される。
【００７９】
まず、ＣＰＵ３１１は、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂから、最新の左被写体画像Ｄ１４および右被写体画像Ｄ１５を取得して、メインメモリ３２に格納する（ステップＳ１１）。
【００８０】
次に、ＣＰＵ３１１は、取得した被写体の画像からマーカ５０を検出する（ステップＳ１２）。当該マーカ検出処理では、左被写体画像Ｄ１４および右被写体画像Ｄ１５のそれぞれにおけるマーカ５０を検出する。たとえば、左被写体画像Ｄ１４および右被写体画像Ｄ１５に対して、それぞれエッジ検出処理とパターンマッチング処理を行うことによって、左被写体画像Ｄ１４および右被写体画像Ｄ１５のそれぞれにおけるマーカ５０を検出する。ここで、エッジ検出処理は、左被写体画像Ｄ１４および右被写体画像Ｄ１５から、マーカ５０の輪郭を表す一連のエッジ画素を検出し、一連のエッジ画素に基づいて複数の直線を生成して輪郭の頂点を検出する。
【００８１】
マーカ５０は、図７に示したように、ノートの略中央部に配置してある正方形のマーカに限定されるものではなく、取得した被写体の画像から検出することができる形状であればいずれの形状であってもよい。また、マーカ５０は、１つに限定されるものではなく、複数のマーカをノートに配置してあってもよい。
【００８２】
次に、ＣＰＵ３１１は、マーカ５０の４頂点から現実空間における外側撮像部２３とマーカ５０との位置関係が算出され、この算出結果に基づいて、仮想空間における仮想カメラの位置および姿勢が算出して、現実空間における外側撮像部２３と外マーカ５０ａとの位置関係と仮想カメラと仮想空間内のマーカとの位置関係が対応するように、仮想カメラが設置される（ステップＳ１３）。上記位置関係から仮想カメラの位置を算出する処理は、従来の拡張現実感技術における処理と同様であってもよい。なお、仮想空間における仮想カメラの位置および姿勢が算出、および仮想カメラを設置する処理は、一定間隔で行われており、後述する各イベントの処理中でも行われている。しかし、以降のフローチャートでは、省略して記載していない場合もあるが、当該処理は、後述する各イベントの処理中を含む一定間隔で行われているものとする。また、このとき、マーカ５０ｂについても同様の処理を行い、現実空間における外側撮像部２３と内マーカ５０ｂとの位置関係と仮想カメラと仮想空間内のマーカ５０ｂとの位置関係が対応するように、上記仮想カメラとは別の仮想カメラを仮想空間内の配置されるようにして、後述のステップＳ１７４において、その仮想カメラが用いられてもよい。
【００８３】
次に、ＣＰＵ３１１は、マーカ５０を検出することができたか否かを判断する（ステップＳ１４）。ＣＰＵ３１１は、マーカ５０を検出することができなかったと判断した場合（ステップＳ１４：ＮＯ）、処理をステップＳ１２に戻して、取得した被写体の画像からマーカ５０を検出する処理を継続する。ＣＰＵ３１１は、マーカ５０を検出することができたと判断した場合（ステップＳ１４：ＹＥＳ）、第１イベントを発生する（ステップＳ１４）。
【００８４】
次に、発生した第１イベントの処理について説明する。図１３は、本発明の実施の形態に係るゲーム装置１０の第１イベントの処理を説明するためのフローチャートである。
【００８５】
ＣＰＵ３１１は、外マーカ５０ａの中心を原点とした仮想空間内の当該原点を基準とした所定の位置に、ボールオブジェクト６０を配置する（ステップＳ１４１）。
【００８６】
ＣＰＵ３１１は、ボールオブジェクト６０を配置した後、仮想カメラでボールオブジェクト６０を含む仮想空間を撮像して仮想空間内の仮想画像を生成する（ステップＳ１４２）。具体的に、ＣＰＵ３１１は、左仮想カメラに基づいて仮想オブジェクト（ボールオブジェクト６０など）を描画することによって左仮想空間画像Ｄ１７を生成し、右仮想カメラに基づいて仮想オブジェクトを描画することによって右仮想空間画像Ｄ１８を生成する。なお、仮想空間の描画処理は、典型的には、ＣＰＵ３１１の指示に従ってＧＰＵ３１２が行う。
【００８７】
ＣＰＵ３１１は、仮想画像を生成した後、被写体の画像と仮想画像とを合成し、上側ＬＣＤ２２に表示する（ステップＳ１４３）。具体的に、ＣＰＵ３１１は、左被写体画像Ｄ１４に左仮想空間画像Ｄ１７（すなわち、左仮想カメラに基づいて描画されたボールオブジェクト６０）を上書きし、右被写体画像Ｄ１５に右仮想空間画像Ｄ１８（すなわち、右仮想カメラに基づいて描画されたボールオブジェクト６０）を上書きする。そして、合成された画像は、上側ＬＣＤ２２に表示される。つまり、ＣＰＵ３１１は、左被写体画像Ｄ１４と左仮想空間画像Ｄ１７とを合成した画像を左目用画像とし、右被写体画像Ｄ１５と右仮想空間画像Ｄ１８とを合成した画像を右目用画像として、上側ＬＣＤ２２に３Ｄ画像を表示する。第１イベントの処理は、上側ＬＣＤ２２にボールオブジェクト６０を表示することで終了する。
【００８８】
なお、ＣＰＵ３１１は、メインメモリ３２から動画情報Ｄ１２を読出し、マーカ５０内の領域で動画を再生してもよい。具体的に、マーカ５０内の領域で動画を再生する方法について説明する。ＣＰＵ３１１は、発生した第１イベントに応じて仮想空間内に板状のポリゴンを配置する。ＣＰＵ３１１は、配置した板状のポリゴンにテクスチャとして動画情報Ｄ１２の画像をマッピングすることで仮想画像を生成する。ＣＰＵ３１１は、生成した仮想画像を、被写体の画像に重ね合わせてユーザに視認されるように、仮想画像を上側ＬＣＤ２２に順次表示させることで、動画を再生する。
【００８９】
図１２に戻って、ＣＰＵ３１１は、ゲーム装置１０の姿勢や動きを検出するために、加速度センサ３９で検出した加速度を示すデータ（加速度センサ３９の値）を受信する。ＣＰＵ３１１は、受信した加速度センサ３９の値が、ゲーム装置１０が水平となっていることを示しているか否かを判断する（ステップＳ１６）。つまり、ＣＰＵ３１１は、ゲーム装置１０が水平となっているか否かを、加速度センサ３９の値により判断している。具体的に、ＣＰＵ３１１は、加速度センサ３９の値が所定値にない場合、ゲーム装置１０がが水平にないと判断し、加速度センサ３９の値が所定値にある場合、ゲーム装置１０が水平にあると判断することができる。
【００９０】
ＣＰＵ３１１は、受信した加速度センサ３９の値が一定でないと判断した場合（ステップＳ１６：ＮＯ）、加速度センサ３９の値を受信する処理を継続する。ＣＰＵ３１１は、受信した加速度センサ３９の値が一定であると判断した場合（ステップＳ１６：ＹＥＳ）、マーカ５０の形状を認識する。
【００９１】
ＣＰＵ３１１は、マーカ５０の形状を認識することで、ユーザがノートを傾けたか否かを検出することができる。図１４は、本発明の実施の形態に係るゲーム装置１０のマーカ５０の形状の認識方法を説明するための図である。図１４（ａ）に示すマーカ５０は、ノートを机に置いた状態で、マーカ５０の正面に対してやや斜め下側から外側撮像部２３によって撮像した図である。そのため、図１４（ａ）に示すマーカ５０の形状は、底辺側が長い台形となっている。
【００９２】
図１４（ｂ）に示すマーカ５０は、図９に示したようにノートの右端を持上げノートを傾けた状態で、図１４（ｂ）と同じ位置から外側撮像部２３によって撮像した図である。そのため、図１４（ｂ）に示すマーカ５０の形状は、図１４（ａ）に示すマーカ５０の形状と異なり、変形した台形となる。
【００９３】
ＣＰＵ３１１は、マーカ５０の形状を認識するために、マーカ５０の中心Ｏからマーカ５０の一辺の中点へ伸びるベクトルａの向きの情報を利用する。つまり、ＣＰＵ３１１は、マーカ５０の形状の変形を、ベクトルａの向きの変化として認識している。具体的に、図１４（ａ）に示すベクトルａは、水平方向に沿って左を向いているが、図１４（ｂ）に示すベクトルａは、水平方向に対して角度θ分だけ左下を向いている。そのため、ＣＰＵ３１１は、ベクトルａの向きでマーカ５０の形状を認識することで処理する情報量を減らして、マーカ５０の形状の変形を簡単に認識することができる。
【００９４】
なお、マーカ５０の形状の認識方法は、ベクトルａの向きを用いる方法に限定されるものではなく、外側撮像部２３によって撮像した画像を用いてパターンマッチング処理でマーカ５０の形状を認識してもよい。（※、特に、打ち合わせではありませんでいたが、あらかじめ変形した画像を認識させておけば可能かと思い記載いたしました。不要であれば削除しますのでご指示いただきますようお願いいたします。）
図１２に戻って、ＣＰＵ３１１は、認識したマーカ５０の形状が所定形状に変形したか否かを判断する（ステップＳ１７）。つまり、ＣＰＵ３１１は、図１４（ａ）に示すベクトルａの向きに対して、図１４（ｂ）に示すベクトルａの向きの角度θが所定の角度になると、認識したマーカ５０の形状が所定形状に変形したと判断する。
【００９５】
ＣＰＵ３１１は、認識したマーカ５０の形状が所定形状まで変形していないと判断した場合（ステップＳ１７：ＮＯ）、処理をステップＳ１６に戻して、加速度センサ３９の値を受信する処理を継続する。ＣＰＵ３１１は、認識したマーカ５０の形状が所定形状に変形したと判断した場合（ステップＳ１７：ＹＥＳ）、第２イベントを発生する（ステップＳ１８）。
【００９６】
ここで、ＣＰＵ３１１が、マーカ５０の形状を認識する前に、加速度センサ３９の値を受信するのは、マーカ５０の形状が変形する原因が、ノートを傾けたことによるものなのか、ゲーム装置１０本体を傾けたものなのかを区別するためである。つまり、本実施の形態に係るゲーム装置１０では、ノートを傾けたことで第２イベントを発生する仕様になっているため、ゲーム装置１０の姿勢や動きを検出する加速度センサ３９からの値（検出結果）からゲーム装置１０本体を傾けたと判断した場合、第２イベントを発生しない。しかし、本発明に係るゲーム装置１０は、上記仕様に限定されるものではなく、ゲーム装置１０の姿勢や動きを検出する加速度センサ３９からの値を考慮することなく、マーカ５０の形状を認識してもよい。つまり、ゲーム装置１０は、ノートを傾けたこと、ゲーム装置１０本体を傾けたことを区別することなく、第２イベントを発生する仕様でもよい。
【００９７】
次に、発生した第２イベントの処理について説明する。図１５は、本発明の実施の形態に係るゲーム装置１０の第２イベントの処理を説明するためのフローチャートである。まず、ＣＰＵ３１１は、配置したボールオブジェクト６０を移動する（ステップＳ１６１）。具体的に、ＣＰＵ３１１は、メインメモリ３２から読出した仮想オブジェクト情報Ｄ１３や、ノートの傾き程度（マーカ５０の形状の変形程度）などを考慮して、ボールオブジェクト６０の移動方向および移動速度を決定する。たとえば、ＣＰＵ３１１は、ボールオブジェクト６０を、左方向に、速い速度で移動させると決定する。そして、ＣＰＵ３１１は、決定に基づいてボールオブジェクト６０を移動させた場合、移動させたボールオブジェクト６０の位置を更新する。
【００９８】
ＣＰＵ３１１は、仮想カメラで移動するボールオブジェクト６０を含む仮想空間を撮像して仮想空間内の仮想画像を生成する（ステップＳ１６２）。具体的に、ＣＰＵ３１１は、左仮想カメラに基づいて移動するボールオブジェクト６０を描画することによって左仮想空間画像Ｄ１７を生成し、右仮想カメラに基づいて移動するボールオブジェクト６０を描画することによって右仮想空間画像Ｄ１８を生成する。
【００９９】
なお、仮想カメラは、第１イベントの処理で配置した仮想カメラを用いることで、再度配置する必要はない。再度仮想カメラを配置する場合、ＣＰＵ３１１は、外側撮像部２３ａ，２３ｂとマーカ５０との位置関係を再度算出し、再度算出した位置関係に基づいて仮想空間に一対の仮想カメラ（左仮想カメラおよび右仮想カメラ）を再度配置する。
【０１００】
ＣＰＵ３１１は、仮想画像を生成した後、被写体の画像と仮想画像とを合成し、上側ＬＣＤ２２に表示する（ステップＳ１６３）。具体的に、ＣＰＵ３１１は、左被写体画像Ｄ１４に、左仮想カメラに基づいて描画された移動するボールオブジェクト６０を順次上書し、右被写体画像Ｄ１５に、右仮想カメラに基づいて描画された移動するボールオブジェクト６０を順次上書きすることで、ユーザに、仮想空間内をキャラクタオブジェクト６１が移動していると認識させることができる。なお、同様に、合成された画像は、上側ＬＣＤ２２に表示される。つまり、ＣＰＵ３１１は、左被写体画像Ｄ１４と左仮想空間画像Ｄ１７とを合成した画像を左目用画像とし、右被写体画像Ｄ１５と右仮想空間画像Ｄ１８とを合成した画像を右目用画像として、上側ＬＣＤ２２に３Ｄ画像を表示する。
【０１０１】
図１２に戻って、ＣＰＵ３１１は、第２イベントの処理を終了した後、ゲームを終了する。なお、ＣＰＵ３１１は、ゲームを終了せずに、処理をステップＳ１２に戻して、取得した被写体の画像からマーカ５０を検出する処理を継続してもよい。
【０１０２】
以上のように、本発明の実施の形態に係るゲーム装置１０は、外側撮像部２３により撮像した被写体の画像を取得し、取得した被写体の画像からマーカ５０を検出し、検出したマーカ５０の形状を認識し、認識したマーカ５０の形状に応じて仮想空間内にイベントを発生し、発生するイベントに応じて仮想空間内の仮想画像を生成し、被写体の画像に重ね合わせてユーザに視認されるように、仮想画像を上側ＬＣＤ２２に表示させるので、マーカ５０を利用してユーザに拡張現実を実感する視覚効果を十分に与えることができる。
【０１０３】
（変形例）
また、上記実施形態では、外側撮像部２３によって撮像された被写体画像に仮想画像を合成して上側ＬＣＤ２２に表示している（ビデオシースルー方式）が、本発明はこれに限定されるものではない。本発明は、透過型の表示画面に仮想オブジェクトを表示し、当該透過型の表示画面を通じて見える被写体にあたかも仮想オブジェクトが実在するかのようにユーザに視認されるような光学シースルー方式のゲーム装置（たとえば、ヘッドマウントディスプレイを備えるゲーム装置）やゲームシステムにも適用できる。
【０１０４】
また、上記実施形態では、マーカ検出処理の結果に応じて、左仮想カメラの位置および姿勢と、右仮想カメラの位置および姿勢とを個別に決定しているが、他の実施形態では、マーカ検出処理の結果に応じていずれか一方の仮想カメラの位置および姿勢を決定した後、当該一方の仮想カメラの位置および姿勢から他方の仮想カメラの位置および姿勢を決定するようにしてもよい。
【０１０５】
また、上記実施形態では、被写体画像に含まれるマーカ５０の位置および姿勢に基づいて仮想カメラの位置および姿勢を決定しているが、他の実施形態では、被写体画像に含まれるマーカ５０以外の認識対象物（たとえば、顔や、手など）の位置等に応じて仮想カメラの位置等を決定してもよい。
【０１０６】
また、上記実施形態では、上側ＬＣＤ２２に立体視画像を表示する例を説明したが、本発明はこれに限らず、平面視画像を表示する場合にも本発明は適用できる。たとえば、外側撮像部（左）２３ａまたは外側撮像部（右）２３ｂのいずれか一方から取得した被写体画像に基づいて仮想空間に１つの仮想カメラを配置して、上記実施形態と同様の処理を行えばよい。
【０１０７】
また、上記実施形態では、マーカ５０が描かれているノートを用いる例を説明したが、本発明はこれに限らず、一般的なクレジットカードや名刺等のサイズのカードにマーカ５０が描かれているものを用いる場合にも本発明は適用できる。このとき、マーカ５０が描かれているカードを単にマーカと呼ぶようにしてもよい。
【０１０８】
また、上記実施形態では、ゲームプログラムＤ１１の処理がＣＰＵ（ＣＰＵ３１１）によって実行される例を説明したが、他の実施形態では、ゲームプログラムＤ１１の少なくとも一部の処理がハードウェアのみによって実現されてもよい。
【０１０９】
また、上記実施形態では、上記ゲーム例で説明したが、本発明はこれに限らず、マーカ５０の形状が変形することでイベントを発生するような任意のゲームに適用可能である。また、本発明はゲームソフトウェアに限らず、任意のアプリケーションソフトウェアにも適用可能である。
【０１１０】
また、上記実施形態では、携帯型のゲーム装置１０について説明したが、他の実施形態では、任意の情報処理装置（据え置き型ゲーム装置、デスクトップパソコン、ノートパソコン、携帯電話など）をゲーム装置またはゲームシステムとして利用してもよい。
【０１１１】
また、上記実施形態では、ゲームプログラムＤ１１の処理が１つのＣＰＵ（ＣＰＵ３１１）によって実行される例を説明したが、他の実施形態では、ゲームプログラムＤ１１の処理が複数のプロセッサによって分担して実行されてもよい。また、これらの複数のプロセッサは、同一の情報処理装置に内蔵されていてもよいし、サーバ装置とクライアント装置のように互いに通信可能な複数の情報処理装置に分散して設けられていてもよい。
【０１１２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１３】
１０ ゲーム装置、１１ 下側ハウジング、１１Ｃ カバー部、１１Ｄ，１７ 挿入口、１２ 下側ＬＣＤ、１３ タッチパネル、１４Ａ〜１４Ｌ 操作ボタン、１５ アナログスティック、１６Ａ〜１６Ｂ ＬＥＤ、１８ マイクロフォン用孔、１９ 無線スイッチ、２１ 上側ハウジング、２１Ｂ 上側ハウジングの内側面、２１Ｄ 上側ハウジングの外側面、２１Ｅ スピーカ孔、２２ 上側ＬＣＤ、２３ 外側撮像部、２３ａ 外側撮像部（左）、２３ｂ 外側撮像部（右）、２４ 内側撮像部、２５ ３Ｄ調整スイッチ、２５ａ スライダ、２６ ３Ｄインジケータ、２８ タッチペン、３１ 情報処理部、３２ メインメモリ、３３ 外部メモリインターフェイス、３４ 、データ保存用外部メモリＩ／Ｆ、３５ データ保存用内部メモリ、３６ 無線通信モジュール、３７ ローカル通信モジュール、３８ リアルタイムクロック、３９ 加速度センサ、４０ 電源回路、４１ インターフェイス回路、４２ マイク、４３ スピーカ、４４ 外部メモリ、４５ データ保存用外部メモリ、５０ マーカ、６０ ボールオブジェクト、３１１ ＣＰＵ、３１２ ＧＰＵ、３１３ ＶＲＡＭ、Ｄ１１ ゲームプログラム、Ｄ１２ 動画情報、Ｄ１３ 仮想オブジェクト情報、Ｄ１４ 左被写体画像、Ｄ１５ 右被写体画像、Ｄ１６ 仮想カメラ情報、Ｄ１７ 左仮想画像、Ｄ１８ 右仮想画像。
【特許請求の範囲】
【請求項１】
撮像装置２３および表示装置２２に接続された情報処理装置のコンピュータを、
前記撮像装置２３により撮像した被写体の画像を取得するための画像取得手段、
前記画像取得手段で取得した前記被写体の画像から特定対象５０を検出するための特定対象検出手段、
前記特定対象検出手段で検出する前記特定対象５０の形状を認識するための形状認識手段、
前記形状認識手段で認識した前記特定対象５０の形状に応じて仮想空間内にイベントを発生するためのイベント発生手段、
前記イベント発生手段で発生する前記イベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するための仮想画像生成手段３１２、および
前記被写体の画像もしくは、前記表示装置２２の画面を透過して見える前記被写体に重ね合わせてユーザに視認されるように、前記仮想画像を前記表示装置２２に表示させるための表示制御手段として機能させるための情報処理プログラム。
【請求項２】
前記イベント発生手段は、前記情報処理装置の姿勢を検出するセンサからの検出結果が当該情報処理装置の所定の姿勢を示している場合に、前記特定対象５０の形状に応じて前記イベントを発生する、請求項１に記載の情報処理プログラム。
【請求項３】
前記形状認識手段は、前記被写体の画像において前記特定対象５０の中心から前記特定対象５０の一辺へ伸びるベクトルの向きにより、前記特定対象５０の形状を認識する、請求項１または２に記載の情報処理プログラム。
【請求項４】
前記イベント発生手段は、前記特定対象検出手段で前記特定対象５０を検出することができたとき、第１イベントを発生し、前記第１イベントを発生した後、前記形状認識手段で認識した前記特定対象５０の形状が所定形状に変形したとき、第２イベントを発生する、請求項１〜３のいずれか１項に記載の情報処理プログラム。
【請求項５】
前記仮想画像生成手段３１２は、前記イベント発生手段で発生した前記イベントとして前記仮想空間内に配置した所定形状のオブジェクトを前記仮想カメラで撮影することにより前記仮想画像を生成する、請求項１に記載の情報処理プログラム。
【請求項６】
前記仮想画像生成手段３１２は、前記イベント発生手段で発生した前記イベントとして前記仮想空間内に配置した板状のポリゴンにテクスチャをマッピングして、前記仮想カメラで撮影することにより前記仮想画像を生成する、請求項５に記載の情報処理プログラム。
【請求項７】
前記情報処理装置は、前記コンピュータを、
前記被写体の画像から前記撮像装置２３と前記特定対象５０との位置関係を算出するための位置算出手段、および
前記位置算出手段で算出した前記位置関係に応じて前記仮想カメラを配置するための仮想カメラ配置手段としてさらに機能させる、請求項１〜６のいずれか１項に記載の情報処理プログラム。
【請求項８】
撮像装置２３および表示装置２２に接続された情報処理装置であって、
前記撮像装置２３により撮像した被写体の画像を取得するための画像取得手段と、
前記画像取得手段で取得した前記被写体の画像から特定対象５０を検出するための特定対象検出手段と、
前記特定対象検出手段で検出した前記特定対象５０の形状を認識するための形状認識手段と、
前記形状認識手段で認識した前記特定対象５０の形状に応じて仮想空間内にイベントを発生するためのイベント発生手段と、
前記イベント発生手段で発生する前記イベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するための仮想画像生成手段３１２と、
前記被写体の画像もしくは、前記表示装置２２の画面を透過して見える前記被写体に重ね合わせてユーザに視認されるように、前記仮想画像を前記表示装置２２に表示させるための表示制御手段と
を備える情報処理装置。
【請求項９】
撮像装置２３および表示装置２２に接続された情報処理装置の制御部によって処理される情報処理方法であって、
前記制御部が、前記撮像装置２３により撮像した被写体の画像を取得するためのステップと、
取得した前記被写体の画像から特定対象５０を検出するためのステップと、
検出した前記特定対象５０の形状を認識するためのステップと、
認識した前記特定対象５０の形状に応じて仮想空間内にイベントを発生するためのステップと、
発生する前記イベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するためのステップと、
前記被写体の画像もしくは、前記表示装置２２の画面を透過して見える前記被写体に重ね合わせてユーザに視認されるように、前記仮想画像を前記表示装置２２に表示させるためのステップと
を含む情報処理方法。
【請求項１０】
被写体に配置してある特定対象５０と、
前記被写体を撮像する撮像装置２３と、
前記撮像装置２３に接続された情報処理装置と、
前記情報処理装置に接続した表示装置２２と
を備える情報処理システムであって、
前記情報処理装置は、
前記撮像装置２３により撮像した被写体の画像を取得するための画像取得手段と、
前記画像取得手段で取得した前記被写体の画像から前記特定対象５０を検出するための特定対象検出手段と、
前記特定対象検出手段で検出した前記特定対象５０の形状を認識するための形状認識手段と、
前記形状認識手段で認識した前記特定対象５０の形状に応じて仮想空間内にイベントを発生するためのイベント発生手段と、
前記イベント発生手段で発生する前記イベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するための仮想画像生成手段３１２と、
前記被写体の画像もしくは、前記表示装置２２の画面を透過して見える前記被写体に重ね合わせてユーザに視認されるように、前記仮想画像を前記表示装置２２に表示させるための表示制御手段と
を備える情報処理システム。
【請求項１】
撮像装置２３および表示装置２２に接続された情報処理装置のコンピュータを、
前記撮像装置２３により撮像した被写体の画像を取得するための画像取得手段、
前記画像取得手段で取得した前記被写体の画像から特定対象５０を検出するための特定対象検出手段、
前記特定対象検出手段で検出する前記特定対象５０の形状を認識するための形状認識手段、
前記形状認識手段で認識した前記特定対象５０の形状に応じて仮想空間内にイベントを発生するためのイベント発生手段、
前記イベント発生手段で発生する前記イベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するための仮想画像生成手段３１２、および
前記被写体の画像もしくは、前記表示装置２２の画面を透過して見える前記被写体に重ね合わせてユーザに視認されるように、前記仮想画像を前記表示装置２２に表示させるための表示制御手段として機能させるための情報処理プログラム。
【請求項２】
前記イベント発生手段は、前記情報処理装置の姿勢を検出するセンサからの検出結果が当該情報処理装置の所定の姿勢を示している場合に、前記特定対象５０の形状に応じて前記イベントを発生する、請求項１に記載の情報処理プログラム。
【請求項３】
前記形状認識手段は、前記被写体の画像において前記特定対象５０の中心から前記特定対象５０の一辺へ伸びるベクトルの向きにより、前記特定対象５０の形状を認識する、請求項１または２に記載の情報処理プログラム。
【請求項４】
前記イベント発生手段は、前記特定対象検出手段で前記特定対象５０を検出することができたとき、第１イベントを発生し、前記第１イベントを発生した後、前記形状認識手段で認識した前記特定対象５０の形状が所定形状に変形したとき、第２イベントを発生する、請求項１〜３のいずれか１項に記載の情報処理プログラム。
【請求項５】
前記仮想画像生成手段３１２は、前記イベント発生手段で発生した前記イベントとして前記仮想空間内に配置した所定形状のオブジェクトを前記仮想カメラで撮影することにより前記仮想画像を生成する、請求項１に記載の情報処理プログラム。
【請求項６】
前記仮想画像生成手段３１２は、前記イベント発生手段で発生した前記イベントとして前記仮想空間内に配置した板状のポリゴンにテクスチャをマッピングして、前記仮想カメラで撮影することにより前記仮想画像を生成する、請求項５に記載の情報処理プログラム。
【請求項７】
前記情報処理装置は、前記コンピュータを、
前記被写体の画像から前記撮像装置２３と前記特定対象５０との位置関係を算出するための位置算出手段、および
前記位置算出手段で算出した前記位置関係に応じて前記仮想カメラを配置するための仮想カメラ配置手段としてさらに機能させる、請求項１〜６のいずれか１項に記載の情報処理プログラム。
【請求項８】
撮像装置２３および表示装置２２に接続された情報処理装置であって、
前記撮像装置２３により撮像した被写体の画像を取得するための画像取得手段と、
前記画像取得手段で取得した前記被写体の画像から特定対象５０を検出するための特定対象検出手段と、
前記特定対象検出手段で検出した前記特定対象５０の形状を認識するための形状認識手段と、
前記形状認識手段で認識した前記特定対象５０の形状に応じて仮想空間内にイベントを発生するためのイベント発生手段と、
前記イベント発生手段で発生する前記イベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するための仮想画像生成手段３１２と、
前記被写体の画像もしくは、前記表示装置２２の画面を透過して見える前記被写体に重ね合わせてユーザに視認されるように、前記仮想画像を前記表示装置２２に表示させるための表示制御手段と
を備える情報処理装置。
【請求項９】
撮像装置２３および表示装置２２に接続された情報処理装置の制御部によって処理される情報処理方法であって、
前記制御部が、前記撮像装置２３により撮像した被写体の画像を取得するためのステップと、
取得した前記被写体の画像から特定対象５０を検出するためのステップと、
検出した前記特定対象５０の形状を認識するためのステップと、
認識した前記特定対象５０の形状に応じて仮想空間内にイベントを発生するためのステップと、
発生する前記イベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するためのステップと、
前記被写体の画像もしくは、前記表示装置２２の画面を透過して見える前記被写体に重ね合わせてユーザに視認されるように、前記仮想画像を前記表示装置２２に表示させるためのステップと
を含む情報処理方法。
【請求項１０】
被写体に配置してある特定対象５０と、
前記被写体を撮像する撮像装置２３と、
前記撮像装置２３に接続された情報処理装置と、
前記情報処理装置に接続した表示装置２２と
を備える情報処理システムであって、
前記情報処理装置は、
前記撮像装置２３により撮像した被写体の画像を取得するための画像取得手段と、
前記画像取得手段で取得した前記被写体の画像から前記特定対象５０を検出するための特定対象検出手段と、
前記特定対象検出手段で検出した前記特定対象５０の形状を認識するための形状認識手段と、
前記形状認識手段で認識した前記特定対象５０の形状に応じて仮想空間内にイベントを発生するためのイベント発生手段と、
前記イベント発生手段で発生する前記イベントを前記仮想空間内に配置された仮想カメラで撮影することにより仮想画像を生成するための仮想画像生成手段３１２と、
前記被写体の画像もしくは、前記表示装置２２の画面を透過して見える前記被写体に重ね合わせてユーザに視認されるように、前記仮想画像を前記表示装置２２に表示させるための表示制御手段と
を備える情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−５０８８３（Ｐ２０１３−５０８８３Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９０９９（Ｐ２０１１−１８９０９９）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]