情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
【課題】実カメラで撮像した画像と仮想モデルとを用いて、多様な表現をする。
【解決手段】２つの撮像部を有する外側撮像部を用いて、左目用実画像と右目用実画像とを取得する。実空間に存在するマーカを各実画像から検出し、当該マーカ上にマーカ座標系を設定するとともに、マーカに対する各撮像部の位置および姿勢をそれぞれ算出する。各撮像部の位置および姿勢に対応させて左右の仮想カメラを設定する。マーカ座標系に平板状の仮想モデルを配置し、左目用実画像および右目用画像から、当該仮想モデルに対応する領域を、左テクスチャ領域および右テクスチャ領域としてそれぞれ設定する。仮想モデルを変形させた変形オブジェクトに、左右のテクスチャ領域の画像をテクスチャとして適用して左右の仮想カメラでそれぞれ撮像し、撮像した２つの画像を２つの実画像に重ね合わせて、上側ＬＣＤに表示する。
【解決手段】２つの撮像部を有する外側撮像部を用いて、左目用実画像と右目用実画像とを取得する。実空間に存在するマーカを各実画像から検出し、当該マーカ上にマーカ座標系を設定するとともに、マーカに対する各撮像部の位置および姿勢をそれぞれ算出する。各撮像部の位置および姿勢に対応させて左右の仮想カメラを設定する。マーカ座標系に平板状の仮想モデルを配置し、左目用実画像および右目用画像から、当該仮想モデルに対応する領域を、左テクスチャ領域および右テクスチャ領域としてそれぞれ設定する。仮想モデルを変形させた変形オブジェクトに、左右のテクスチャ領域の画像をテクスチャとして適用して左右の仮想カメラでそれぞれ撮像し、撮像した２つの画像を２つの実画像に重ね合わせて、上側ＬＣＤに表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラによって撮像された画像と、仮想オブジェクトとを用いて立
体視画像を生成する情報処理プログラム、情報処理装置、情報処理システム、および、情
報処理方法に関する。
【背景技術】
【０００２】
近年、立体視の技術を用いてより現実空間と仮想空間との融合した表現を行う技術が存
在する。例えば、特許文献１に記載の装置では、左右の撮像部で撮像した実写画像に、Ｃ
Ｇ用のモデルを左右の仮想カメラで撮像したＣＧ画像を重ね合わせることにより、現実空
間と仮想空間とを融合させた立体映像を表示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２０５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、現実空間を撮像した画像と上記ＣＧ画像とは別々の画
像であり、これらを融合させて多様な表現を行うという点では、不十分であった。すなわ
ち、現実空間を撮像した画像に重ね合わされるＣＧ画像は、予め用意されたモデルを仮想
カメラで撮像したものであり、当該モデル自体の表示には多様性がなく、表現の幅が限ら
れていた。
【０００５】
それ故、本発明の目的は、実カメラで撮像した画像と仮想モデルとを用いて、多様な表
現をすることが可能な情報処理技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００７】
本発明は、実空間を撮像する左実カメラおよび右実カメラと、立体視画像を表示可能な
表示手段とに接続される情報処理装置のコンピュータを、実画像取得手段、仮想カメラ設
定手段、左テクスチャ領域設定手段、右テクスチャ領域設定手段、左仮想カメラ画像取得
手段、右仮想カメラ画像取得手段、および、表示制御手段として機能させる。実画像取得
手段は、前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより
撮像された右目用実画像を取得する。仮想カメラ設定手段は、前記実空間における前記左
実カメラの位置および姿勢と前記実空間における前記右実カメラの位置および姿勢とに応
じた配置となるように、仮想空間内に左仮想カメラおよび右仮想カメラを設定する。左テ
クスチャ領域設定手段は、前記仮想カメラ設定手段によって設定された左仮想カメラから
見た場合の、前記仮想空間における所定の仮想モデルに対応する領域を前記左目用実画像
から左テクスチャ領域として設定する。右テクスチャ領域設定手段は、前記仮想カメラ設
定手段によって設定された右仮想カメラから見た場合の、前記仮想空間における前記仮想
モデルに対応する領域を前記右目用実画像から右テクスチャ領域として設定する。左仮想
カメラ画像取得手段は、前記左テクスチャ領域設定手段によって設定された左テクスチャ
領域に含まれる画像を、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有
する描画用モデルに適用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カ
メラ画像を取得する。右仮想カメラ画像取得手段は、前記右テクスチャ領域設定手段によ
って設定された右テクスチャ領域に含まれる画像を、前記描画用モデルに適用して、当該
描画用モデルを前記右仮想カメラで撮像した右仮想カメラ画像を取得する。表示制御手段
は、ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を
視認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画
像を表示させる。
【０００８】
なお、仮想カメラ設定手段は、実空間に存在する所定の対象物と上記左目用実カメラと
の相対的な位置および姿勢に基づいて、左仮想カメラを設定してもよい。すなわち、実空
間の所定の対象物を基準とした左実カメラの位置および姿勢に基づいて左仮想カメラが設
定されてもよいし、左実カメラを基準とした実空間の所定の対象物の位置および姿勢に基
づいて左仮想カメラが設定されてもよい。また、絶対的な位置を検出する手段（例えば、
ＧＰＳ）や姿勢検出手段（例えば、角速度センサや加速度センサ、地磁気を検出する手段
等）によって検出された左実カメラの絶対的な位置および姿勢に基づいて左仮想カメラが
設定されてもよい。同様に、実空間に存在する上記所定の対象物と上記右実カメラとの相
対的な位置および姿勢に基づいて右仮想カメラが設定されてもよいし、右実カメラの絶対
的な位置および姿勢に基づいて右仮想カメラが設定されてもよい。
【０００９】
上記によれば、左右の実画像をそれぞれテクスチャとして仮想モデルに適用ことができ
、仮想モデルを立体的に表示するとともに、取得した実画像に応じてその表示態様を多様
にすることができる。また、左右の実画像をそれぞれテクスチャとして用いるため、一方
の実画像のみを用いる場合よりも解像度を低下させずに、左右の仮想カメラ画像を生成し
て表示することができる。
【００１０】
また、本発明の他の構成では、前記左テクスチャ領域設定手段は、前記仮想モデルを前
記左仮想カメラで撮像した場合のレンダリング画像上での当該仮想モデルの位置および輪
郭に対応する領域を左テクスチャ領域として設定してもよい。また、前記右テクスチャ領
域設定手段は、前記仮想モデルを前記右仮想カメラで撮像した場合のレンダリング画像上
での当該仮想モデルの位置および輪郭に対応する領域を右テクスチャ領域として設定して
もよい。
【００１１】
上記によれば、各仮想カメラで仮想モデルを撮像した場合において、撮像される画像に
おける仮想モデルの位置および輪郭に対応する領域を各テクスチャ領域として設定するこ
とができる。
【００１２】
また、本発明の他の構成では、上記情報処理プログラムは、上記左目用実画像と上記左
仮想カメラ画像とを重ね合わせた左目用重畳画像と、上記右目用実画像と上記右仮想カメ
ラ画像とを重ね合わせた右目用重畳画像とを生成する重畳画像生成手段、として上記コン
ピュータを更に機能させてもよい。そして、上記表示制御手段は、上記左目用重畳画像お
よび上記右目用重畳画像を上記表示手段に表示させる。
【００１３】
上記によれば、仮想モデルを撮像した左右の仮想カメラ画像と左右の実画像とを重畳し
て表示することができる。
【００１４】
また、本発明の他の構成では、上記情報処理プログラムは、上記仮想モデルを変形した
変形オブジェクトを生成し、上記仮想空間に設定する変形オブジェクト設定手段、として
上記コンピュータを更に機能させてもよい。上記左仮想カメラ画像取得手段は、上記左テ
クスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を上記変形オ
ブジェクトにテクスチャとして適用した上記変形オブジェクトを上記左仮想カメラで撮像
した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段は、上記右テクスチャ
領域設定手段によって設定された右テクスチャ領域に含まれる画像をテクスチャとして適
用した上記変形オブジェクトを上記右仮想カメラで撮像した右仮想カメラ画像を取得する
。
【００１５】
上記によれば、実空間を撮像した画像に立体的な変化を与えることができる。例えば、
平面上の仮想モデルを変形させることによって、実空間の平面が変形したような画像を表
示することができる。
【００１６】
また、本発明の他の構成では、上記仮想モデルは、平面または曲面状の仮想モデルであ
って、上記実空間の平面または曲面に沿うようにして上記仮想空間内に設定されてもよい
。上記変形オブジェクト設定手段は、上記平面または曲面状の仮想モデルを変形した変形
オブジェクトを生成して、上記仮想空間に設定する。
【００１７】
上記によれば、実空間の平面や曲面が立体的に変化する様子を表示することができる。
【００１８】
また、本発明の他の構成では、上記変形オブジェクト設定手段は、上記仮想モデルの端
部を除く部分を変形して上記変形オブジェクトを生成してもよい。
【００１９】
上記によれば、実画像と仮想カメラ画像とが重ね合わされた場合に、変形オブジェクト
の境界部分において違和感のない画像にすることができる。
【００２０】
また、本発明の他の構成では、上記情報処理プログラムは、上記仮想空間内に上記変形
オブジェクトとは異なる第２オブジェクトを当該変形オブジェクトと所定の位置関係で設
定する第２オブジェクト設定手段として、上記コンピュータを更に機能させてもよい。上
記左仮想カメラ画像取得手段は、上記変形オブジェクトおよび上記第２オブジェクトを上
記左仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段
は、上記変形オブジェクトおよび上記第２オブジェクトを上記右仮想カメラで撮像した右
仮想カメラ画像を取得する。
【００２１】
上記によれば、変形オブジェクトと所定の位置関係で第２オブジェクトを仮想空間に設
定し、実空間が変形された画像と仮想空間の第２オブジェクトの画像とが重ね合わされて
、表示される。このため、第２オブジェクトが実空間の変形された部分と所定の位置関係
で実在しているように見える。例えば、実空間の平面を変形させることで波打つ水面と、
水中に存在する魚とを表示することができる。
【００２２】
また、本発明の他の構成では、上記第２オブジェクトは、上記左仮想カメラおよび上記
右仮想カメラの撮像方向に関して上記変形オブジェクトよりも遠方に配置されてもよい。
上記情報処理プログラムは、上記変形オブジェクトの端部に上記第２オブジェクトをマス
クする所定のマスクオブジェクトを設定するマスクオブジェクト設定手段として、上記コ
ンピュータを更に機能させる。
【００２３】
上記によれば、変形オブジェクトを介して上記第２オブジェクトが見えない位置に仮想
カメラが設定される場合（斜めから第２オブジェクトを撮像した場合）、第２オブジェク
トをマスクすることができる。
【００２４】
また、本発明の他の構成では、上記左実カメラおよび右実カメラは実空間上に配置され
た所定の平板状のマーカをそれぞれ撮像してもよい。また、上記仮想カメラ設定手段は、
上記マーカの位置および姿勢を基準として、左実カメラの位置および姿勢と上記右実カメ
ラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右仮
想カメラを設定する。上記仮想モデルは、上記マーカを基準に設定されたマーカ座標系に
おいて、上記マーカが載置される平面上に配置された板状のモデルである。また、上記情
報処理プログラムは、上記仮想モデルを変形した変形オブジェクトを生成し、上記仮想空
間に設定する変形オブジェクト設定手段として、上記コンピュータを更に機能させる。上
記左仮想カメラ画像取得手段は、上記左テクスチャ領域設定手段によって設定された左テ
クスチャ領域に含まれる画像をテクスチャとして適用した上記変形オブジェクトを上記左
仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段は、
上記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像をテ
クスチャとして適用した上記変形オブジェクトを上記右仮想カメラで撮像した右仮想カメ
ラ画像を取得する。
【００２５】
上記によれば、マーカが載置された実空間の平面が変化する様子を立体的に表示するこ
とができる。これにより、例えば、実空間の平面を水面として、当該水面が波打つような
様子を表示することができる。
【００２６】
また、本発明の他の構成では、上記仮想カメラ設定手段は、上記左目用実画像に含まれ
る特定対象物を検出し、当該検出結果に基づいて、上記左実カメラと上記実空間に存在す
る上記特定対象物との相対的な位置および姿勢を取得し、当該取得した位置および姿勢に
基づいて、前記左仮想カメラを設定してもよい。また、上記仮想カメラ設定手段は、上記
右目用実画像に含まれる上記特定対象物を検出し、当該検出結果に基づいて、上記右実カ
メラと上記実空間に存在する上記特定対象物との相対的な位置および姿勢を取得し、当該
取得した位置および姿勢に基づいて、前記右仮想カメラを設定する。
【００２７】
上記によれば、上記特定対象物を撮像することにより、左右の実カメラ以外の構成を用
いなくても、当該左右の実カメラの実空間における位置および姿勢に対応させて左右の仮
想カメラを配置できる。
【００２８】
また、本発明の他の構成では、上記仮想モデルは、上記実空間における上記特定対象物
の位置に対応する、上記仮想空間における位置を基準として配置されてもよい。
【００２９】
上記によれば、上記特定対象物の位置に仮想モデルが配置されるため、上記特定対象物
が撮像される場合は、必ず仮想モデルを仮想カメラで撮像することができる。
【００３０】
また、本発明では、上記各手段を実現した情報処理装置であってもよい。また、本発明
では、上記各手段を実現する複数の要素が相互に動作することによって、１つの情報処理
システムとして構成されてもよい。当該情報処理システムは、１つの装置によって構成さ
れてもよいし、複数の装置によって構成されてもよい。
【発明の効果】
【００３１】
本発明によれば、実カメラで撮像した画像と仮想モデルとを用いて、多様な表現をする
ことができる。
【図面の簡単な説明】
【００３２】
【図１】開状態におけるゲーム装置１０の正面図
【図２】開状態におけるゲーム装置１０の右側面図
【図３】閉状態におけるゲーム装置１０の左側面図、正面図、右側面図および背面図
【図４】ゲーム装置１０の内部構成を示すブロック図
【図５】本実施形態に係るゲーム処理が実行された場合において、実空間に予め配置されたマーカ６１を外側撮像部２３で撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図
【図６】ユーザが所定の操作を行った場合に、マーカ６１が載置された平面が波打つ様子を示した図
【図７】マーカ座標系の定義を示す図
【図８】ゲーム装置１０のＲＡＭのメモリマップを示す図
【図９】本実施形態に係るゲーム処理の詳細を示すメインフローチャート
【図１０】マーカ認識処理（ステップＳ３）の詳細を示すフローチャート
【図１１】左仮想カメラ画像生成処理（ステップＳ７）の詳細を示すフローチャート
【図１２】マーカ６１と外側撮像部（左）２３ａとの位置関係を示す図
【図１３】仮想モデル５５を示す図
【図１４】変形オブジェクト５６を示す図
【図１５】頂点Ｐ（ｉ）のテクスチャ座標Ｔ（ｉ）を示す図
【図１６】ステップＳ３５における処理を概念的に表す図であり、左目用実画像７２Ｌから左テクスチャ領域の画像を切り取る様子を示す図
【図１７】ステップＳ３５における処理を概念的に表す図であり、図１６に示す切り取られた左テクスチャ領域の画像ａｉを変形オブジェクト５６に張り付ける様子を示す図
【図１８】右目用実画像７２Ｒから右テクスチャ領域の画像を切り取る様子を示す図
【図１９】図１８に示す切り取られた右テクスチャ領域の画像ｂｉを変形オブジェクト５６に張り付ける様子を示す図
【図２０】マスクオブジェクト５７によって魚オブジェクト５２がマスクされる場合を示す図
【図２１】左テクスチャ領域の画像を用いて右仮想カメラ画像を生成した場合に画素情報が失われることを説明するための図
【発明を実施するための形態】
【００３３】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。図１〜図３は、ゲーム
装置１０の外観を示す平面図である。ゲーム装置１０は携帯型のゲーム装置であり、図１
〜図３に示すように折り畳み可能に構成されている。図１および図２は、開いた状態（開
状態）におけるゲーム装置１０を示し、図３は、閉じた状態（閉状態）におけるゲーム装
置１０を示している。図１は、開状態におけるゲーム装置１０の正面図であり、図２は、
開状態におけるゲーム装置１０の右側面図である。ゲーム装置１０は、撮像部によって画
像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりする
ことが可能である。また、ゲーム装置１０は、交換可能なメモリカード内に記憶され、ま
たは、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空
間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により
生成された画像を画面に表示したりすることができる。
【００３４】
まず、図１〜図３を参照して、ゲーム装置１０の外観構成について説明する。図１〜図
３に示されるように、ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１
を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に
接続されている。本実施形態では、各ハウジング１１および２１はともに横長の長方形の
板状形状であり、互いの長辺部分で回転可能に接続されている。
【００３５】
図１および図２に示されるように、下側ハウジング１１の上側長辺部分には、下側ハウ
ジング１１の内側面（主面）１１Ｂに対して垂直な方向に突起する突起部１１Ａが設けら
れる。また、上側ハウジング２１の下側長辺部分には、上側ハウジング２１の下側面から
当該下側面に垂直な方向に突起する突起部２１Ａが設けられる。下側ハウジング１１の突
起部１１Ａと上側ハウジング２１の突起部２１Ａとが連結されることにより、下側ハウジ
ング１１と上側ハウジング２１とが、折り畳み可能に接続される。
【００３６】
（下側ハウジングの説明）
まず、下側ハウジング１１の構成について説明する。図１〜図３に示すように、下側ハ
ウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶
表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ（図１、図３）、アナ
ログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、および、マイクロフォン用孔
１８が設けられる。以下、これらの詳細について説明する。
【００３７】
図１に示すように、下側ＬＣＤ１２は下側ハウジング１１に収納される。下側ＬＣＤ１
２は横長形状であり、長辺方向が下側ハウジング１１の長辺方向に一致するように配置さ
れる。下側ＬＣＤ１２は下側ハウジング１１の中央に配置される。下側ＬＣＤ１２は、下
側ハウジング１１の内側面（主面）に設けられ、下側ハウジング１１に設けられた開口部
から当該下側ＬＣＤ１２の画面が露出される。ゲーム装置１０を使用しない場合には閉状
態としておくことによって、下側ＬＣＤ１２の画面が汚れたり傷ついたりすることを防止
することができる。下側ＬＣＤ１２の画素数は、例えば、２５６ｄｏｔ×１９２ｄｏｔ（
横×縦）であってもよい。下側ＬＣＤ１２は、後述する上側ＬＣＤ２２とは異なり、画像
を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示
装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎ
ｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また
、下側ＬＣＤ１２として、任意の解像度の表示装置を利用することができる。
【００３８】
図１に示されるように、ゲーム装置１０は、入力装置として、タッチパネル１３を備え
ている。タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。なお、本実施
形態では、タッチパネル１３は抵抗膜方式のタッチパネルである。ただし、タッチパネル
は抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いること
ができる。本実施形態では、タッチパネル１３として、下側ＬＣＤ１２の解像度と同解像
度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１３の解像度と下側Ｌ
ＣＤ１２の解像度が一致している必要はない。また、下側ハウジング１１の上側面には挿
入口１７（図１および図３（ｄ）に示す点線）が設けられている。挿入口１７は、タッチ
パネル１３に対する操作を行うために用いられるタッチペン２８を収納することができる
。なお、タッチパネル１３に対する入力は通常タッチペン２８を用いて行われるが、タッ
チペン２８に限らずユーザの指でタッチパネル１３に対する入力をすることも可能である
。
【００３９】
各操作ボタン１４Ａ〜１４Ｌは、所定の入力を行うための入力装置である。図１に示さ
れるように、下側ハウジング１１の内側面（主面）には、各操作ボタン１４Ａ〜１４Ｌの
うち、十字ボタン１４Ａ（方向入力ボタン１４Ａ）、ａボタン１４Ｂ、ｂボタン１４Ｃ、
ｘボタン１４Ｄ、ｙボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥ
ボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられる。十字ボタン１４Ａは、十字
の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン１４Ｂ、ボ
タン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅは、十字状に配置される。ボタン１４Ａ〜１４
Ｅ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌには、
ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字
ボタン１４Ａは選択操作等に用いられ、各操作ボタン１４Ｂ〜１４Ｅは例えば決定操作や
キャンセル操作等に用いられる。また、電源ボタン１４Ｆは、ゲーム装置１０の電源をオ
ン／オフするために用いられる。
【００４０】
アナログスティック１５は、方向を指示するデバイスであり、下側ハウジング１１の内
側面の下側ＬＣＤ１２より左側領域の上部領域に設けられる。図１に示すように、十字ボ
タン１４Ａは下側ＬＣＤ１２より左側領域の下部領域に設けられるので、アナログスティ
ック１５は、十字ボタン１４Ａの上方に設けられる。また、アナログスティック１５、お
よび、十字ボタン１４Ａは、下側ハウジングを把持した左手の親指で操作可能な位置に設
計される。また、アナログスティック１５を上部領域に設けたことにより、下側ハウジン
グ１１を把持する左手の親指が自然と位置するところにアナログスティック１５が配され
、十字ボタン１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティ
ック１５は、そのキートップが、下側ハウジング１１の内側面に平行にスライドするよう
に構成されている。アナログスティック１５は、ゲーム装置１０が実行するプログラムに
応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲー
ム装置１０によって実行される場合、アナログスティック１５は、当該所定のオブジェク
トを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、
所定のオブジェクトはアナログスティック１５のキートップがスライドした方向に移動さ
れる。なお、アナログスティック１５として、上下左右および斜め方向の任意の方向に所
定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
【００４１】
十字状に配置される、ａボタン１４Ｂ、ｂボタン１４Ｃ、ｘボタン１４Ｄ、ｙボタン１
４Ｅの４つのボタンは、下側ハウジング１１を把持する右手の親指が自然と位置するとこ
ろに配置される。また、これらの４つのボタンと、アナログスティック１５とは、下側Ｌ
ＣＤ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、
例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能
である。
【００４２】
また、下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられる。マイ
クロフォン用孔１８の下部には後述する音声入力装置としてのマイク（図４参照）が設け
られ、当該マイクがゲーム装置１０の外部の音を検出する。
【００４３】
図３（ａ）は閉状態におけるゲーム装置１０の左側面図であり、図３（ｂ）は閉状態に
おけるゲーム装置１０の正面図であり、図３（ｃ）は閉状態におけるゲーム装置１０の右
側面図であり、図３（ｄ）は閉状態におけるゲーム装置１０の背面図である。図３（ｂ）
および（ｄ）に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４Ｇおよ
びＲボタン１４Ｈが設けられている。Ｌボタン１４Ｇは、下側ハウジング１１の上面の左
端部に設けられ、Ｒボタン１４Ｈは、下側ハウジング１１の上面の右端部に設けられる。
また、図３（ａ）に示されるように、下側ハウジング１１の左側面には、音量ボタン１４
Ｉが設けられる。音量ボタン１４Ｉは、ゲーム装置１０が備えるスピーカの音量を調整す
るために用いられる。
【００４４】
図３（ａ）に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１
１Ｃが設けられる。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部
メモリ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存
用外部メモリ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ４５は
、例えば、ゲーム装置１０によって撮像された画像のデータを記憶（保存）するために用
いられる。なお、上記コネクタおよびそのカバー部１１Ｃは、下側ハウジング１１の右側
面に設けられてもよい。
【００４５】
また、図３（ｄ）に示されるように、下側ハウジング１１の上側面には、ゲーム装置１
０とゲームプログラムを記録した外部メモリ４４を挿入するための挿入口１１Ｄが設けら
れ、その挿入口１１Ｄの内部には、外部メモリ４４と電気的に着脱自在に接続するための
コネクタ（図示せず）が設けられる。当該外部メモリ４４がゲーム装置１０に接続される
ことにより、所定のゲームプログラムが実行される。なお、上記コネクタおよびその挿入
口１１Ｄは、下側ハウジング１１の他の側面（例えば、右側面等）に設けられてもよい。
【００４６】
また、図１および図３（ｃ）に示されるように、下側ハウジング１１の下側面にはゲー
ム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジ
ング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥ
Ｄ１６Ｂが設けられる。ゲーム装置１０は他の機器との間で無線通信を行うことが可能で
あり、第２ＬＥＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置１０は
、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接
続する機能を有する。下側ハウジング１１の右側面には、この無線通信の機能を有効／無
効にする無線スイッチ１９が設けられる（図３（ｃ）参照）。
【００４７】
なお、図示は省略するが、下側ハウジング１１には、ゲーム装置１０の電源となる充電
式電池が収納され、下側ハウジング１１の側面（例えば、上側面）に設けられた端子を介
して当該電池を充電することができる。
【００４８】
（上側ハウジングの説明）
次に、上側ハウジング２１の構成について説明する。図１〜図３に示すように、上側ハ
ウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶
表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３
ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けら
れる。以下、これらの詳細について説明する。
【００４９】
図１に示すように、上側ＬＣＤ２２は上側ハウジング２１に収納される。上側ＬＣＤ２
２は、横長形状であり、長辺方向が上側ハウジング２１の長辺方向に一致するように配置
される。上側ＬＣＤ２２は上側ハウジング２１の中央に配置される。上側ＬＣＤ２２の画
面の面積は、下側ＬＣＤ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤ２
２の画面は、下側ＬＣＤ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤ２２
の画面のアスペクト比における横幅の割合は、下側ＬＣＤ１２の画面のアスペクト比にお
ける横幅の割合よりも大きく設定される。
【００５０】
上側ＬＣＤ２２の画面は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、上
側ハウジング２１に設けられた開口部から当該上側ＬＣＤ２２の画面が露出される。また
、図２に示すように、上側ハウジング２１の内側面は、透明なスクリーンカバー２７によ
って覆われている。当該スクリーンカバー２７は、上側ＬＣＤ２２の画面を保護するとと
もに、上側ＬＣＤ２２と上側ハウジング２１の内側面と一体的にさせ、これにより統一感
を持たせている。上側ＬＣＤ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横
×縦）であってもよい。なお、本実施形態では上側ＬＣＤ２２は液晶表示装置であるとし
たが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した
表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装
置を利用することができる。
【００５１】
上側ＬＣＤ２２は、立体視可能な画像（立体視画像、立体画像ともいう）を表示するこ
とが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目
用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（
例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画
像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例で
は、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と
右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式や
パララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側
ＬＣＤ２２はパララックスバリア方式のものとする。上側ＬＣＤ２２は、右目用画像と左
目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側
ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画
像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）
を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが
可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上
述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示さ
れた同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側
ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する
（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。
この表示モードの切り替えは、後述する３Ｄ調整スイッチ２５によって行われる。
【００５２】
外側撮像部２３は、上側ハウジング２１の外側面（上側ＬＣＤ２２が設けられた主面と
反対側の背面）２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。
外側撮像部（左）２３ａと外側撮像部（右）２３ｂの撮像方向は、いずれも当該外側面２
１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤ２２の表
示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（
左）２３ａの撮像方向および外側撮像部（右）２３ｂの撮像方向は、平行である。外側撮
像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラム
によって、ステレオカメラとして使用することが可能である。また、プログラムによって
は、２つの外側撮像部（２３ａおよび２３ｂ）のいずれか一方を単独で用いて、外側撮像
部２３を非ステレオカメラとして使用することも可能である。また、プログラムによって
は、２つの外側撮像部（２３ａおよび２３ｂ）で撮像した画像を合成してまたは補完的に
使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では
、外側撮像部２３は、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの２つの撮
像部で構成される。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、それぞれ
所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメー
ジセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５３】
図１の破線および図３（ｂ）の実線で示されるように、外側撮像部２３を構成する外側
撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２の画面の横方向と
平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣＤ２２の
画面の横方向と平行になるように、外側撮像部（左）２３ａおよび外側撮像部（右）２３
ｂが配置される。図１の破線で示す２３ａおよび２３ｂは、上側ハウジング２１の内側面
とは反対側の外側面に存在する外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂを
それぞれ表している。図１に示すように、ユーザが上側ＬＣＤ２２の画面を正面から視認
した場合に、外側撮像部（左）２３ａは左側に外側撮像部（右）２３ｂは右側にそれぞれ
位置している。外側撮像部２３をステレオカメラとして機能させるプログラムが実行され
ている場合、外側撮像部（左）２３ａは、ユーザの左目で視認される左目用画像を撮像し
、外側撮像部（右）２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側撮
像部（左）２３ａおよび外側撮像部（右）２３ｂの間隔は、人間の両目の間隔程度に設定
され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側撮像部（左）
２３ａおよび外側撮像部（右）２３ｂの間隔は、この範囲に限らない。
【００５４】
なお、本実施例においては、外側撮像部（左）２３ａおよび外側撮像部（右）２３はハ
ウジングに固定されており、撮像方向を変更することはできない。
【００５５】
また、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２（上
側ハウジング２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。
すなわち、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２を
左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部（左）
２３ａおよび外側撮像部（右）２３ｂは、上側ハウジング２１を開いた状態において、上
側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方の位置の裏側
に配置される。すなわち、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上
側ハウジング２１の外側面であって、上側ＬＣＤ２２を外側面に投影した場合、投影した
上側ＬＣＤ２２の画面の上端よりも上方に配置される。
【００５６】
このように、外側撮像部２３の２つの撮像部（２３ａおよび２３ｂ）が、上側ＬＣＤ２
２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤ
２２を正視した場合に、外側撮像部２３の撮像方向をユーザの視線方向と一致させること
ができる。また、外側撮像部２３は、上側ＬＣＤ２２の画面の上端より上方の裏側の位置
に配置されるため、外側撮像部２３と上側ＬＣＤ２２とが上側ハウジング２１の内部で干
渉することがない。従って、外側撮像部２３を上側ＬＣＤ２２の画面の裏側に配置する場
合と比べて、上側ハウジング２１を薄く構成することが可能となる。
【００５７】
内側撮像部２４は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、当該内側
面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２４は、所定の解像度
を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レ
ンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５８】
図１に示すように、内側撮像部２４は、上側ハウジング２１を開いた状態において、上
側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方に配置され、
上側ハウジング２１の左右方向に関して中央の位置（上側ハウジング２１（上側ＬＣＤ２
２の画面）を左右に２等分する線の線上）に配置される。具体的には、図１および図３（
ｂ）に示されるように、内側撮像部２４は、上側ハウジング２１の内側面であって、外側
撮像部２３の左右の撮像部（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）の
中間の裏側の位置に配置される。すなわち、上側ハウジング２１の外側面に設けられた外
側撮像部２３の左右の撮像部を上側ハウジング２１の内側面に投影した場合、当該投影し
た左右の撮像部の中間に、内側撮像部２４が設けられる。図３（ｂ）で示される破線２４
は、上側ハウジング２１の内側面に存在する内側撮像部２４を表している。
【００５９】
このように、内側撮像部２４は、外側撮像部２３とは反対方向を撮像する。内側撮像部
２４は、上側ハウジング２１の内側面であって、外側撮像部２３の左右の撮像部の中間位
置の裏側に設けられる。これにより、ユーザが上側ＬＣＤ２２を正視した際、内側撮像部
２４でユーザの顔を正面から撮像することができる。また、外側撮像部２３の左右の撮像
部と内側撮像部２４とが上側ハウジング２１の内部で干渉することがないため、上側ハウ
ジング２１を薄く構成することが可能となる。
【００６０】
３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表
示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は
、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために
用いられる。図１〜図３に示されるように、３Ｄ調整スイッチ２５は、上側ハウジング２
１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤ２２を正視した場合に、
当該３Ｄ調整スイッチ２５を視認できる位置に設けられる。また、３Ｄ調整スイッチ２５
の操作部は、内側面および右側面の両方に突出しており、どちらからも視認および操作す
ることができる。なお、３Ｄ調整スイッチ２５以外のスイッチは全て下側ハウジング１１
に設けられる。
【００６１】
３Ｄ調整スイッチ２５は、図１および図２に示されるように、上側ハウジング２１の正
面および右側面から視認可能に配置される。３Ｄ調整スイッチ２５のスライダ２５ａは、
所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に
応じて上側ＬＣＤ２２の表示モードが設定されたり、立体画像の立体感が調整されてもよ
い。例えば、３Ｄ調整スイッチ２５のスライダ２５ａの位置に応じて、後述する仮想カメ
ラ（仮想ステレオカメラ）のカメラ間距離が設定されてもよい。また、当該仮想ステレオ
カメラの左仮想カメラによって撮像された左目用画像と右仮想カメラによって撮像された
右目用画像との位置関係が調整されてもよい。具体的には、例えば、３Ｄ調整スイッチ２
５のスライダ２５ａが最上点（図１および図２では上方向）に存在する場合、上記左目用
画像と右目用画像との横方向（上側ＬＣＤ２２の画面の横方向；図１の左右方向）の位置
のずれが上限値に設定される。このように左目用画像と右目用画像の横方向のずれが上限
値に設定されると、２つの画像の視差がより大きくなる。このため、ユーザが視差バリア
を通して上側ＬＣＤ２２に表示された２つの画像を見ると、上側ＬＣＤ２２の画面から画
像がより手前方向に飛び出したように見える。このように、３Ｄ調整スイッチ２５を用い
て、２つの画像の視差が調整されてもよい。
【００６２】
３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードか否かを示す。３Ｄインジ
ケータ２６は、ＬＥＤであり、上側ＬＣＤ２２の立体表示モードが有効の場合に点灯する
。なお、３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードになっており、かつ
、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにし
てもよい。図１に示されるように、３Ｄインジケータ２６は、上側ハウジング２１の内側
面に設けられ、上側ＬＣＤ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤ
２２の画面を正視した場合、ユーザは３Ｄインジケータ２６を視認しやすい。従って、ユ
ーザは上側ＬＣＤ２２の画面を視認している状態でも、上側ＬＣＤ２２の表示モードを容
易に認識することができる。
【００６３】
また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられる。後述するス
ピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。
【００６４】
（ゲーム装置１０の内部構成）
次に、図４を参照して、ゲーム装置１０の内部の電気的構成について説明する。図４は
、ゲーム装置１０の内部構成を示すブロック図である。図４に示すように、ゲーム装置１
０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインター
フェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用
内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイム
クロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、およびインターフェイス回
路（Ｉ／Ｆ回路）４１等の電子部品を備えている。これらの電子部品は、電子回路基板上
に実装されて下側ハウジング１１（または上側ハウジング２１でもよい）内に収納される
。
【００６５】
情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒ
ｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒ
ｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。本実施形態では、所
定のプログラムがゲーム装置１０内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された
外部メモリ４４やデータ保存用内部メモリ３５）に記憶されている。情報処理部３１のＣ
ＰＵ３１１は、当該所定のプログラムを実行することによって、後述する画像処理（図１
２）を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは
、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部３１は、
ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部３１のＧＰＵ３１２は、情報
処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する
。そして、情報処理部３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側Ｌ
ＣＤ２２及び／又は下側ＬＣＤ１２に出力し、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２
に当該画像が表示される。
【００６６】
情報処理部３１には、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メ
モリＩ／Ｆ３４、および、データ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ
３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、デ
ータ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続する
ためのインターフェイスである。
【００６７】
メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域
として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、上記画像処
理に用いられる各種データを一時的に記憶したり、外部（外部メモリ４４や他の機器等）
から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ３
２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
【００６８】
外部メモリ４４は、情報処理部３１によって実行されるプログラムを記憶するための不
揮発性の記憶手段である。外部メモリ４４は、例えば読み取り専用の半導体メモリで構成
される。外部メモリ４４が外部メモリＩ／Ｆ３３に接続されると、情報処理部３１は外部
メモリ４４に記憶されたプログラムを読み込むことができる。情報処理部３１が読み込ん
だプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ４
５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成さ
れ、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４５に
は、外側撮像部２３で撮像された画像や他の機器で撮像された画像が記憶される。データ
保存用外部メモリ４５がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部
３１はデータ保存用外部メモリ４５に記憶された画像を読み込み、上側ＬＣＤ２２及び／
又は下側ＬＣＤ１２に当該画像を表示することができる。
【００６９】
データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フ
ラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、デー
タ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウン
ロードされたデータやプログラムが格納される。
【００７０】
無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方
式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、
所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機
能を有する。無線通信モジュール３６およびローカル通信モジュール３７は情報処理部３
１に接続される。情報処理部３１は、無線通信モジュール３６を用いてインターネットを
介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同
種の他のゲーム装置との間でデータを送受信したりすることができる。
【００７１】
また、情報処理部３１には、加速度センサ３９が接続される。加速度センサ３９は、３
軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速
度センサ３９は、下側ハウジング１１の内部に設けられる。加速度センサ３９は、図１に
示すように、下側ハウジング１１の長辺方向をｘ軸、下側ハウジング１１の短辺方向をｙ
軸、下側ハウジング１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線
加速度の大きさを検出する。なお、加速度センサ３９は、例えば静電容量式の加速度セン
サであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度セ
ンサ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部３１は
、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム
装置１０の姿勢や動きを検出する。本実施形態では、情報処理部３１は、加速度センサ３
９が検出した加速度に基づいて、ゲーム装置１０の姿勢（傾き）を判定する。
【００７２】
また、情報処理部３１には、ＲＴＣ３８および電源回路４０が接続される。ＲＴＣ３８
は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によ
って計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置
１０が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御
し、ゲーム装置１０の各部品に電力を供給する。
【００７３】
また、情報処理部３１には、Ｉ／Ｆ回路４１が接続される。Ｉ／Ｆ回路４１には、マイ
ク４２およびスピーカ４３が接続される。具体的には、Ｉ／Ｆ回路４１には、図示しない
アンプを介してスピーカ４３が接続される。マイク４２は、ユーザの音声を検知して音声
信号をＩ／Ｆ回路４１に出力する。アンプは、Ｉ／Ｆ回路４１からの音声信号を増幅し、
音声をスピーカ４３から出力させる。また、タッチパネル１３はＩ／Ｆ回路４１に接続さ
れる。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制
御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、
音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声
データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づ
いて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置デ
ータは、タッチパネル１３の入力面において入力が行われた位置の座標を示す。なお、タ
ッチパネル制御回路は、タッチパネル１３からの信号の読み込み、および、タッチ位置デ
ータの生成を所定時間に１回の割合で行う。情報処理部３１は、タッチ位置データを取得
することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。
【００７４】
操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、情報処理部３１に接続
される。操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する
入力状況（押下されたか否か）を示す操作データが出力される。情報処理部３１は、操作
ボタン１４から操作データを取得することによって、操作ボタン１４に対する入力に従っ
た処理を実行する。
【００７５】
下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。下側ＬＣＤ１２
および上側ＬＣＤ２２は、情報処理部３１（のＧＰＵ３１２）の指示に従って画像を表示
する。
【００７６】
具体的には、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と
接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側
ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格
納された右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的には、
ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す
処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に
繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これ
により、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分
割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置さ
れた画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリア
を介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユ
ーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可
能な画像が表示される。
【００７７】
外側撮像部２３および内側撮像部２４は、情報処理部３１に接続される。外側撮像部２
３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像
データを情報処理部３１に出力する。例えば、情報処理部３１は外側撮像部２３および内
側撮像部２４のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を
撮像して画像データを情報処理部３１に送る。例えば、ユーザによるタッチパネル１３を
用いたタッチ操作によって使用する撮像部が選択される。撮像部が選択されたことを情報
処理部３１（ＣＰＵ３１１）が検知し、情報処理部３１が外側撮像部２３または内側撮像
部２４に対して撮像指示を行う。
【００７８】
３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、ス
ライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。
【００７９】
また、３Ｄインジケータ２６は、情報処理部３１に接続される。情報処理部３１は、３
Ｄインジケータ２６の点灯を制御する。本実施形態では、情報処理部３１は、上側ＬＣＤ
２２が立体表示モードである場合、３Ｄインジケータ２６を点灯させる。以上がゲーム装
置１０の内部構成の説明である。
【００８０】
また、情報処理部３１には、角速度センサ４６が接続される。角速度センサ４６は、各
軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置１０は、角速度センサ４６
が逐次検出する角速度に基づいて、実空間におけるゲーム装置１０の姿勢を算出すること
ができる。具体的には、ゲーム装置１０は、角速度センサ４６によって検出された各軸周
りの角速度を時間で積分することによって、各軸周りのゲーム装置１０の回転角を算出す
ることができる。
【００８１】
（ゲーム処理の概要）
次に、本実施形態に係るゲーム装置１０において実行されるゲームの概要について説明
する。本実施形態に係るゲームでは、実空間の平面（例えば、テーブル）上にマーカが載
置され、当該マーカを外側撮像部２３を用いて撮像した場合に、釣りざおと仮想オブジェ
クトとしての魚とが、実空間を撮像した実画像に重畳されて上側ＬＣＤ２２に表示される
。そして、ユーザが所定の操作を行うと、釣り糸の先端部分が上記平面に接触し、実空間
の平面が波打つような様子が上側ＬＣＤ２２に表示される。以下では、まず、ゲーム装置
１０に表示される画像について説明した後、実空間の平面が波打つような表示をさせるた
めの処理について、説明する。
【００８２】
図５は、本実施形態に係るゲームが実行された場合において、実空間に予め配置された
マーカ６１を外側撮像部２３で撮像したときに上側ＬＣＤ２２に表示される画像の一例を
示す図である。
【００８３】
図５に示すように、外側撮像部２３の撮像方向の実空間の平面（テーブル等（図示せず
））上には、マーカ６１が配置される。マーカ６１は、長方形の紙であって、その中心に
矢印が描かれている。マーカ６１の中心に描かれた矢印の方向は、マーカ６１の長辺と平
行である。ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、外側撮像部２３によっ
て撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって
、当該画像に含まれるマーカ６１を検出することができる。外側撮像部２３によって撮像
された画像中にマーカ６１が検出された場合、上側ＬＣＤ２２には、釣りざおオブジェク
ト５１および魚オブジェクト５２が表示される。具体的には、マーカ６１が検出された場
合、上側ＬＣＤ２２には、外側撮像部２３によって撮像された実画像（マーカ６１と背景
を含む実空間を撮像した画像）に、釣りざおオブジェクト５１および魚オブジェクト５２
が重畳表示される。外側撮像部２３によって撮像された画像中にマーカ６１が検出されな
い場合は、上側ＬＣＤ２２にマーカ６１が検出されていないことを示すメッセージが表示
されて、釣りざおオブジェクト５１は表示されない。
【００８４】
外側撮像部２３は、ユーザの左目に視認される左目用実画像と、ユーザの右目に視認さ
れる右目用実画像とを撮像し、上側ＬＣＤ２２には、これら２つの画像が表示される。従
って、図５に示す上側ＬＣＤ２２に表示された画像は、立体視可能な画像（立体画像）で
ある。
【００８５】
図５に示す画像が上側ＬＣＤ２２に表示された場合において、ユーザが所定の操作を行
うと、釣りざおオブジェクト５１の釣り糸の先端部分が下方に移動して、マーカ６１が載
置された平面と接触し、当該平面が波打つような画像が表示される。所定の操作としては
、例えば、ゲーム装置１０の外側撮像部２３をマーカ６１に近づけたり、ゲーム装置１０
をマーカ６１が載置された平面に平行になるように傾けたりする操作である。
【００８６】
図６は、ユーザが所定の操作を行った場合に、マーカ６１が載置された平面が波打つ様
子を示した図である。図６に示すように、ユーザが所定の操作を行うと、上側ＬＣＤ２２
には、マーカ６１が載置された実空間の平面が波打つような画像が表示される。具体的に
は、外側撮像部２３によって左目用実画像と右目用実画像とが撮像され、当該撮像された
２つの画像がそれぞれ変形されるため、実空間の平面が立体的に波打つように表示される
。
【００８７】
なお、マーカ６１には、マーカ座標系が設定される。図７は、マーカ座標系の定義を示
す図である。図７に示すように、マーカ座標系は、マーカ６１の中心を原点としたＸＹＺ
座標系によって定義される。マーカ６１の矢印と同じ方向（前方向）にＺ軸、当該矢印の
方向を基準として右向きに（右方向）にＸ軸、マーカ６１に対して垂直上向き（上方向）
にＹ軸が設定される。このように、実空間に配置されたマーカ６１を基準として仮想空間
の座標系（マーカ座標系）が定義されることにより、実空間と仮想空間とを対応付けるこ
とができる。
【００８８】
上記魚オブジェクト５２は、マーカ座標系で定義された仮想空間に設定される。従って
、ゲーム装置１０（外側撮像部２３）の位置や姿勢を変化させると、魚オブジェクト５２
の見え方も変化する。例えば、ユーザがマーカ６１を中心としてゲーム装置１０を９０度
回転させると（Ｙ軸周りにゲーム装置１０を９０度回転させると）、魚オブジェクト５２
は９０度回転して表示される。従って、ユーザは、魚オブジェクト５２が実空間に存在す
るような感覚を得ることができる。なお、ゲーム装置１０の位置を変化させても、釣りざ
おオブジェクト５１は変化しない（ユーザが釣りざおオブジェクト５１を把持しているよ
うに、ユーザの実空間における位置に応じて釣りざおオブジェクト５１の仮想空間におけ
る位置も変化する）。
【００８９】
以下、上述のような画像を表示するためにゲーム装置１０において行われる処理につい
て、詳細に説明する。
【００９０】
（ゲーム処理の詳細）
次に、図８から図１１を参照して、本実施形態に係る表示処理の詳細について説明する
。まず、表示処理の際にメインメモリ３２およびＶＲＡＭ３１３（以下、これらを総称し
てＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図８は、ゲーム
装置１０のＲＡＭのメモリマップを示す図である。図８に示されるように、ＲＡＭには、
ゲームプログラム７１、左目用実画像７２Ｌ、右目用実画像７２Ｒ、仮想モデル情報７３
、変形オブジェクト情報７４、左仮想カメラ情報７５Ｌ、右仮想カメラ情報７５Ｒ、左仮
想カメラ画像７６Ｌ、右仮想カメラ画像７６Ｒ、魚オブジェクト情報７７、マスクオブジ
ェクト情報７８等が記憶される。
【００９１】
ゲームプログラム７１は、後述するフローチャートに示されるゲーム処理を情報処理部
３１（ＣＰＵ３１１）に実行させるためのプログラムである。
【００９２】
左目用実画像７２Ｌは、外側撮像部（左）２３ａによって撮像された、実空間を撮像し
た画像である。
【００９３】
右目用実画像７２Ｒは、外側撮像部（右）２３ｂによって撮像された、実空間を撮像し
た画像である。
【００９４】
仮想モデル情報７３は、後述する仮想モデル５５（図１３参照）に関連する情報である
。具体的には、仮想モデル情報７３は、平板状のポリゴンを示すデータであり、頂点Ｐ（
ｉ）（ｉ＝１〜ｎ）を示す情報である。後述するように、仮想モデル５５の各点Ｐは、マ
ーカ座標系の座標値で表される。
【００９５】
変形オブジェクト情報７４は、平板状の仮想モデル５５を変形した変形オブジェクト５
６（図１４参照）に関連する情報である。具体的には、変形オブジェクト情報７４は、頂
点Ｑ（ｉ）（ｉ＝１〜ｎ）および当該頂点Ｑ（ｉ）の法線ベクトルＮ（ｉ）を示す情報で
ある。変形オブジェクト５６の各点Ｑは、マーカ座標系の座標値で表される。
【００９６】
左仮想カメラ情報７５Ｌは、仮想空間のおける左仮想カメラ５３ａ（図１２参照）の位
置および姿勢を表す情報である。具体的には、左仮想カメラ情報７５Ｌは、左目用実画像
７２Ｌにおけるマーカ６１の位置および姿勢に基づいて算出される行列である。
【００９７】
右仮想カメラ情報７５Ｒは、仮想空間のおける右仮想カメラ５３ｂ（図１２参照）の位
置および姿勢を表す情報である。具体的には、右仮想カメラ情報７５Ｒは、右目用実画像
７２Ｒにおけるマーカ６１の位置および姿勢に基づいて算出される行列である。
【００９８】
左仮想カメラ画像７６Ｌは、左仮想カメラ５３ａによって変形オブジェクト５６を撮像
した画像である。
【００９９】
右仮想カメラ画像７６Ｒは、右仮想カメラ５３ｂによって変形オブジェクト５６を撮像
した画像である。
【０１００】
魚オブジェクト情報７７は、仮想空間に配置される魚オブジェクト５２に関する情報で
あり、魚オブジェクト５２の位置や形状を示す情報である。
【０１０１】
マスクオブジェクト情報７８は、仮想空間に配置される魚オブジェクト５２が所定の方
向から見えないようにマスクするためのマスクオブジェクト５７（図２０参照）に関する
情報である。
【０１０２】
（メインフローの説明）
次に、本実施形態に係るゲーム処理の詳細について、図９から図１１を参照して説明す
る。図９は、本実施形態に係るゲーム処理の詳細を示すメインフローチャートである。ゲ
ーム装置１０の電源が投入されると、ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）
は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメ
モリ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリ４４等；コ
ンピュータ読み取り可能な記憶媒体）に記憶されたゲームプログラムがＲＡＭ（具体的に
は、メインメモリ３２）に読み込まれ、情報処理部３１のＣＰＵ３１１によって当該プロ
グラムの実行が開始される。図９のフローチャートに示す処理は、以上の処理が完了した
後に情報処理部３１（ＣＰＵ３１１又はＧＰＵ３１２）によって行われる。
【０１０３】
なお、図９では、本発明に直接関連しない処理については記載を省略する。また、図９
では、外側撮像部２３によって実空間に存在するマーカ６１が撮像されたことを前提とし
て説明する。また、図９に示すステップＳ２〜ステップＳ１０の処理ループは、１フレー
ム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に繰り返し実行される。
【０１０４】
まず、ステップＳ１において、情報処理部３１は、仮想モデル５５等を設定する。具体
的には、情報処理部３１は、仮想モデル５５を表す各点Ｐの座標（マーカ座標系における
座標）を予め定められた値に設定して、ＲＡＭに記憶する。具体的には、各点Ｐは、マー
カ座標系のＸＺ平面上に設定される。また、情報処理部３１は、変形オブジェクト５６を
表す各点Ｑの座標を予め定められた値（点Ｐと同じ値）に設定して、ＲＡＭに記憶する。
また、情報処理部３１は、仮想モデル５５の端部にマスクオブジェクト５７を設定する。
【０１０５】
図１３は、仮想モデル５５を示す図である。図１３に示すように、仮想モデル５５は、
ｎ個の頂点Ｐによって構成される平板状のポリゴンであり、マーカ座標系（ＸＹＺ座標系
）のＸＺ平面（実空間におけるマーカ６１が載置された平面）上に配置される。ステップ
Ｓ１の後、情報処理部３１は、次にステップＳ２の処理を実行する。
【０１０６】
ステップＳ２において、情報処理部３１は、実カメラ画像を取得する。具体的には、情
報処理部３１は、外側撮像部（左）２３ａによって撮像された左目用実画像７２Ｌを取得
して、ＲＡＭに記憶する。また、情報処理部３１は、外側撮像部（右）２３ｂによって撮
像された右目用実画像７２Ｒを取得して、ＲＡＭに記憶する。次に、情報処理部３１は、
ステップＳ３の処理を実行する。
【０１０７】
ステップＳ３において、情報処理部３１は、マーカ認識処理を実行する。マーカ認識処
理は、ステップＳ２で取得した左目用実画像７２Ｌおよび右目用実画像７２Ｒを用いて、
２つの画像に含まれるマーカ６１を認識して、仮想カメラ（左仮想カメラ５３ａおよび右
仮想カメラ５３ｂ）を設定する処理である。ステップＳ３におけるマーカ認識処理の詳細
を、図１０を参照して説明する。
【０１０８】
図１０は、マーカ認識処理（ステップＳ３）の詳細を示すフローチャートである。
【０１０９】
ステップＳ２１において、情報処理部３１は、実カメラとマーカとの位置関係を算出す
る。具体的には、情報処理部３１は、まず、パターンマッチング手法等によって左目用実
画像７２Ｌに含まれるマーカを認識する。そして、情報処理部３１は、左目用実画像７２
Ｌに含まれるマーカの当該左目用実画像７２Ｌにおける位置や大きさ、形状、および、マ
ーカの矢印の方向等に基づいて、外側撮像部（左）２３ａと実空間に存在するマーカ６１
との位置関係を算出する。ここで、外側撮像部（左）２３ａとマーカ６１との位置関係と
は、マーカ６１および外側撮像部（左）２３ａの何れか一方を基準とした場合の他方の３
次元の位置および姿勢である。
【０１１０】
図１２は、マーカ６１と外側撮像部（左）２３ａとの位置関係を示す図である。図１２
に示すように、上記位置関係は、マーカ６１に対する外側撮像部（左）２３ａの相対的な
位置および姿勢である。同様に、情報処理部３１は、右目用実画像７２Ｒを用いて、外側
撮像部（右）２３ｂと実空間に存在するマーカ６１との位置関係を算出する。ここでは、
マーカ６１を基準とした外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの相対的
な位置および姿勢が行列としてそれぞれ算出される。
【０１１１】
より具体的には、ステップＳ２１においては、マーカの認識結果に基づいて、マーカ座
標系が設定されるとともに、マーカ６１と外側撮像部（左）２３ａとの位置関係が算出さ
れる（図１２参照）。図１２に示すように、マーカ座標系の原点は、マーカ６１の中心に
設定される。また、マーカ座標系のＺ軸は、マーカ６１の矢印の方向と平行に設定され（
マーカ６１の長辺と平行に設定され）、マーカ座標系のＸ軸は、当該矢印の方向と垂直で
あって、当該矢印の方向を基準として右向きに設定される（マーカ６１の短辺と平行に設
定される）。また、Ｙ軸は、マーカ６１に対して垂直上向きに設定される（長方形のマー
カ６１の上向きの法線方向に設定される）。マーカ座標系は、仮想空間を定義する座標系
であり、実空間と仮想空間とを対応付ける。すなわち、マーカ座標系における原点は、仮
想空間の原点であって、実空間におけるマーカ６１の中心でもある。
【０１１２】
そして、マーカ６１に対する外側撮像部（左）２３ａの相対的な位置および姿勢を表す
行列が算出される。図１２に示すように、外側撮像部（左）２３ａの位置および姿勢を表
す行列は、仮想空間におけるマーカ座標系で表された座標を、外側撮像部（左）２３ａの
位置および姿勢を基準とした外側撮像部（左）座標系で表される座標へと変換するための
座標変換行列である。ステップＳ２１においては、左目用実画像７２Ｌに含まれるマーカ
に基づいて外側撮像部（左）２３ａの位置および姿勢を表す行列が算出され、右目用実画
像７２Ｒに含まれるマーカに基づいて外側撮像部（右）２３ｂの位置および姿勢を表す行
列が算出される。
【０１１３】
なお、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、これらの撮像方向が
平行で、かつ、撮像方向に対して回転しないようにして配設されている。すなわち、外側
撮像部（左）２３ａの姿勢と外側撮像部（右）２３ｂの姿勢とは常に一致する。また、外
側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、所定の間隔で配置されている。こ
のため、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの取りつけ誤差が全くな
いと仮定すると、例えば、左目用実画像７２Ｌに基づいて外側撮像部（左）２３ａの位置
および姿勢が算出されると、右目用実画像７２Ｒを用いなくても、外側撮像部（右）２３
ｂの位置および姿勢は算出可能である。また、外側撮像部（左）２３ａおよび外側撮像部
（右）２３ｂの取りつけ誤差を考慮して、当該誤差を求めるために、左目用実画像７２Ｌ
に基づいて外側撮像部（左）２３ａの位置および姿勢を算出し、右目用実画像７２Ｒに基
づいて外側撮像部（右）２３ｂの位置および姿勢を算出してもよい。例えば、一定期間、
左目用実画像７２Ｌおよび右目用実画像７２Ｒに基づいて、外側撮像部（左）２３ａおよ
び外側撮像部（右）２３ｂの位置等をそれぞれ算出して上記誤差を算出してもよい。そし
て、左目用実画像７２Ｌ（又は右目用実画像７２Ｒ）を用いて外側撮像部（左）２３ａの
位置および姿勢を算出するとともに、当該算出した外側撮像部（左）２３ａの位置および
姿勢と上記誤差とに基づいて、外側撮像部（右）２３ｂの位置および姿勢を算出してもよ
い。ステップＳ２１の後、情報処理部３１は、次にステップＳ２２の処理を実行する。
【０１１４】
ステップＳ２２において、情報処理部３１は、左右の仮想カメラの位置および姿勢を決
定する。ここでは、左右の仮想カメラの位置および姿勢は、外側撮像部２３の位置および
姿勢と一致する。すなわち、左仮想カメラ５３ａの仮想空間における位置および姿勢は、
外側撮像部（左）２３ａの位置および姿勢と一致するように設定される（図１２参照）。
また、右仮想カメラ５３ｂの仮想空間における位置および姿勢は、外側撮像部（右）２３
ｂの位置および姿勢と一致するように設定される。具体的には、左仮想カメラ５３ａの位
置および姿勢は、行列（左ビュー行列）として表され、ステップＳ２１で算出された外側
撮像部（左）２３ａの位置および姿勢を表す行列が、左仮想カメラ情報７５ＬとしてＲＡ
Ｍに保存される。同様に、右仮想カメラ５３ｂの位置および姿勢は、行列（右ビュー行列
）として表され、ステップＳ２１で算出された外側撮像部（右）２３ｂの位置および姿勢
を表す行列が、右仮想カメラ情報７５ＲとしてＲＡＭに保存される。なお、上述のように
外側撮像部（左）２３ａの姿勢と外側撮像部（右）２３ｂの姿勢とは常に一致するため、
左仮想カメラ５３ａの姿勢と右仮想カメラ５３ｂの姿勢とも一致する。ステップＳ２２の
処理の後、情報処理部３１は、マーカ認識処理を終了する。
【０１１５】
図９に戻り、情報処理部３１は、ステップＳ３の処理の後、ステップＳ４の処理を実行
する。
【０１１６】
ステップＳ４において、情報処理部３１は、魚オブジェクト５２を仮想空間に設定する
。具体的には、情報処理部３１は、仮想モデル５５よりもＹ軸負方向の位置に魚オブジェ
クト５２を配置する。なお、魚オブジェクト５２は、所定の規則に従って、仮想空間内を
移動する。次に、情報処理部３１は、ステップＳ５の処理を実行する。
【０１１７】
ステップＳ５において、情報処理部３１は、変形オブジェクトを変形させる。図１４は
、変形オブジェクト５６を示す図である。変形オブジェクト５６は、上記仮想モデル５５
を変形させたオブジェクトである。図１４に示すように、変形オブジェクト５６は、上記
仮想モデル５５の各点Ｐをマーカ座標系の上下方向（Ｙ軸正方向または負方向）に移動さ
せた場合に生成されるオブジェクトである。具体的には、情報処理部３１は、変形オブジ
ェクト５６の頂点Ｑ（ｉ）（ｉ＝１〜ｎ）について、所定のパターンで上下方向に移動さ
せる。例えば、情報処理部３１は、マーカ座標系の所定点から各頂点Ｑまでの距離に応じ
て、移動方向（Ｙ軸正方向または負方向）および移動距離を示す移動ベクトルを頂点Ｑ毎
に決定する。そして、情報処理部３１は、現在の各頂点Ｑの座標に決定した各移動ベクト
ルを加えることにより、各頂点Ｑを移動させる（各頂点Ｑの座標値を更新して、ＲＡＭに
記憶する）。
【０１１８】
なお、ステップＳ５において、情報処理部３１は、変形オブジェクト５６の端部を除く
点のみを移動させる。すなわち、図１４に示す変形オブジェクト５６の境界（変形オブジ
ェクト５６の外縁）の各頂点の座標は、変化しない。逆に、変形オブジェクト５６の境界
を変形させた場合において、後述するステップＳ７やＳ８において変形オブジェクト５６
を仮想カメラで撮像すると、当該仮想カメラで撮像した画像と実画像と重ね合わせた場合
に、境界部分の整合性が保たれないため、不自然な画像となることがある。具体的には、
境界部分が大きく変形すると、変形オブジェクト５６の外側の境界部分近傍では変形せず
、変形オブジェクト５６の境界部分が変形するため、当該境界部分において不連続となり
、違和感のある画像となる。しかしながら、本実施形態では、変形オブジェクト５６の境
界を変形させないため、境界部分においても自然な画像となる。
【０１１９】
情報処理部３１は、次にステップＳ６の処理を実行する。
【０１２０】
ステップＳ６において、情報処理部３１は、各頂点Ｑの法線を算出する。ここでは、情
報処理部３１は、ステップＳ５で更新した頂点Ｑ（ｉ）の法線ベクトルＮ（ｉ）を算出し
、ＲＡＭに記憶する。情報処理部３１は、次にステップＳ７の処理を実行する。
【０１２１】
ステップＳ７において、情報処理部３１は、左仮想カメラ画像生成処理を実行する。ス
テップＳ７における左仮想カメラ画像生成処理の詳細を、図１１を参照して説明する。
【０１２２】
図１１は、左仮想カメラ画像生成処理（ステップＳ７）の詳細を示すフローチャートで
ある。
【０１２３】
まず、ステップＳ３１において、情報処理部３１は、変数ｉを０にセットしてＲＡＭに
記憶する。次に、情報処理部３１は、ステップＳ３２の処理を実行する。
【０１２４】
ステップＳ３２において、情報処理部３１は、仮想モデル５５の頂点Ｐ（ｉ）のテクス
チャ座標Ｔ（ｉ）を算出する。ここでは、仮想空間に配置された仮想モデル５５の頂点Ｐ
（ｉ）（マーカ座標系）の左目用実画像７２Ｌにおける位置（Ｔ（ｉ））が算出される。
【０１２５】
図１５は、頂点Ｐ（ｉ）のテクスチャ座標Ｔ（ｉ）を示す図である。図１５に示すよう
に、テクスチャ座標Ｔ（ｉ）は、左目用実画像７２Ｌ上の位置を示す座標である。具体的
には、情報処理部３１は、マーカ座標系で表された仮想モデル５５の頂点Ｐ（ｉ）に、左
仮想カメラ５３ａの左ビュー行列（ステップＳ３で算出された行列；左仮想カメラ情報７
５Ｌ）、および、射影行列をかけることによって上側ＬＣＤ２２の表示上の座標（上側Ｌ
ＣＤ２２の画面の左下を原点とする座標）を求める。そして、情報処理部３１は、求めら
れた表示上の座標に所定の変換を行うことにより、左目用実画像７２Ｌ上の座標Ｔ（ｉ）
（左目用実画像７２Ｌの左下を原点とした位置）を算出する。図１５に示すように、左目
用実画像７２Ｌは、上側ＬＣＤ２２の画面サイズよりも大きく設定されているため、表示
上の座標を左目用実画像７２Ｌ上（ＴｘＴｙ座標系）の座標に変換することにより、テク
スチャ座標Ｔが求められる。次に、情報処理部３１は、ステップＳ３３の処理を実行する
。
【０１２６】
ステップＳ３３において、情報処理部３１は、変数ｉをインクリメントし、次に、ステ
ップＳ３４の処理を実行する。
【０１２７】
ステップＳ３４において、情報処理部３１は、ｉがｎと等しいか否かを判定し、判定結
果が肯定の場合は、次にステップＳ３５の処理を実行する。判定結果が否定の場合は、情
報処理部３１は、ステップＳ３２の処理を再び実行する。ステップＳ３２〜Ｓ３４の処理
が繰り返し実行されることによって、仮想モデル５５の全ての頂点Ｐについてテクスチャ
座標Ｔが求められる。
【０１２８】
ステップＳ３５において、情報処理部３１は、変形オブジェクト５６に左目用実画像７
２Ｌの各テクスチャ座標に対応する領域の画像をテクスチャとして適用して、左仮想カメ
ラで撮像する。具体的には、情報処理部３１は、変形オブジェクト５６の頂点Ｑ（ｉ）に
テクスチャ座標Ｔ（ｉ）を設定してテクスチャマッピングを行い、左仮想カメラ５３ａで
撮像する。そして、情報処理部３１は、撮像した画像を左仮想カメラ画像７６ＬとしてＲ
ＡＭに記憶する。ここでの処理は、ステップＳ３２〜Ｓ３４の処理で算出したテクスチャ
座標Ｔに応じた左テクスチャ領域に含まれる画像を、左目用実画像７２Ｌから切り取って
変形オブジェクト５６に貼り付けることに対応する。以下、ステップＳ３５における処理
の概要を図１６および図１７を用いて説明する。
【０１２９】
図１６は、ステップＳ３５における処理を概念的に表す図であり、左目用実画像７２Ｌ
から左テクスチャ領域の画像を切り取る様子を示す図である。図１６に示すように、テク
スチャ座標Ｔ（ｉ）に対応する左テクスチャ領域の画像ａｉ（テクスチャ座標Ｔ（ｉ）を
含む平行四辺形の画像）が、左目用実画像７２Ｌから切り取られる（コピーされる）。次
に、切り取られた各画像が変形オブジェクト５６に貼り付けられる。
【０１３０】
図１７は、ステップＳ３５における処理を概念的に表す図であり、図１６に示す切り取
られた左テクスチャ領域の画像ａｉを変形オブジェクト５６に張り付ける様子を示す図で
ある。図１７に示すように、切り取られた左テクスチャ領域の画像ａｉが変形オブジェク
ト５６にテクスチャとして適用されて左仮想カメラ５３ａで撮像されると、当該画像ａｉ
は、変形する（画像ａｉ’）。このようにして、切り取られた各左テクスチャ領域の画像
が変形オブジェクト５６に張り付けられる。
【０１３１】
ステップＳ３５で生成される左仮想カメラ画像７６Ｌは、左目用実画像７２Ｌにおける
仮想モデル５５に対応する領域（左目用実画像７２Ｌのうち、仮想モデル５５を左仮想カ
メラ５３ａで撮像した場合のレンダリング画像上の当該仮想モデル５５の位置および輪郭
に対応する領域）が変形した画像である。上述のように仮想モデル５５は、マーカ座標系
のＸＺ平面上に配置される（マーカ６１が載置された実空間の平面（テーブル）上に配置
される）。このため、左仮想カメラ画像７６Ｌは、ＸＺ平面（実空間の平面）が変形した
ような画像となる。
【０１３２】
なお、ステップＳ３５においては、変形オブジェクト５６の形状に応じて、影が付され
る。上述のようにステップＳ６において変形オブジェクト５６の各頂点Ｑの法線ベクトル
が算出されているため、仮想光源で変形オブジェクト５６を照らしたときに生成される影
を計算することができる。また、ステップＳ３５においては、魚オブジェクト５２も左仮
想カメラ５３ａで撮像されるため、上記左仮想カメラ画像７６Ｌには、魚オブジェクト５
２の画像も含まれる。
【０１３３】
以上のようにして、左仮想カメラ画像７６Ｌを生成した後、情報処理部３１は、左仮想
カメラ画像生成処理を終了する。
【０１３４】
図９に戻り、情報処理部３１は、次にステップＳ８の処理を実行する。ステップＳ８に
おいて、情報処理部３１は、右仮想カメラ画像生成処理を実行する。右仮想カメラ画像生
成処理は、ステップＳ７と同様の処理であるが、ステップＳ８では、右目用実画像７２Ｒ
から切り取られたテクスチャ領域の画像が変形オブジェクト５６にテクスチャとして適用
されて、右仮想カメラ５３ｂで撮像される。
【０１３５】
ステップＳ８では、まず、情報処理部３１は、右目用実画像７２Ｒにおけるテクスチャ
座標Ｔを算出する。より具体的には、マーカ座標系で表された仮想モデル５５の各頂点Ｐ
に、右仮想カメラ５３ｂの右ビュー行列（ステップＳ３で算出された行列；右仮想カメラ
情報７５Ｒ）、および、射影行列をかけて上側ＬＣＤ２２の表示上の座標を求め、右目用
実画像７２Ｒ上のテクスチャ座標を求める。そして、情報処理部３１は、変形オブジェク
ト５６の各頂点にテクスチャ座標を設定してテクスチャマッピングを行い、右仮想カメラ
５３ｂで撮像する（右目用実画像７２Ｒから各右テクスチャ領域の画像を切り取って、変
形オブジェクト５６に貼り付ける）。このようにして、情報処理部３１は、右仮想カメラ
画像７６Ｒを生成し、ＲＡＭに記憶する。なお、ステップＳ３５と同様に、魚オブジェク
ト５２も右仮想カメラ５３ｂで撮像されるため、上記右仮想カメラ画像７６Ｒには、魚オ
ブジェクト５２の画像も含まれる。
【０１３６】
図１８は、右目用実画像７２Ｒから右テクスチャ領域の画像を切り取る様子を示す図で
ある。右目用実画像７２Ｒと左目用実画像７２Ｌとは視差があるため、右目用実画像７２
Ｒは左目用実画像７２Ｌとは異なる画像である。図１６および図１８に示すように、仮想
モデルの頂点Ｐ（ｉ）の右目用実画像７２Ｒ上の位置Ｔ（ｉ）は、左目用実画像７２Ｌ上
の位置Ｔ（ｉ）とは異なる。従って、右目用実画像７２Ｒから切り取られる右テクスチャ
領域の画像ｂｉは、左目用実画像７２Ｌから切り取られる左テクスチャ領域の画像ａｉと
は異なる形状となる。例えば、右テクスチャ領域の画像ｂｉは、左テクスチャ領域の画像
ａｉよりも歪んだ形状となる（図１６に示す画像ａｉと図１８に示す画像ｂｉとを比較す
ると、画像ａｉの方が、画像ｂｉよりも正方形に近い形状となっている）。そして、右目
用実画像７２Ｒから切り取られた各右テクスチャ領域の画像が、変形オブジェクト５６に
テクスチャとして適用されて右仮想カメラ５３ｂで撮像されるため、上記左テクスチャ領
域の画像と同様に、各右テクスチャ領域の画像は変形する。図１９は、図１８に示す切り
取られた右テクスチャ領域の画像ｂｉを変形オブジェクト５６に張り付ける様子を示す図
である。図１９に示すように、切り取られた右テクスチャ領域の画像ｂｉが変形オブジェ
クト５６にテクスチャとして適用されて右仮想カメラ５３ｂで撮像されると、当該画像ｂ
ｉは、変形する（画像ｂｉ’）。このようにして、右目用実画像７２Ｒから切り取られた
各右テクスチャ領域の画像が変形オブジェクト５６に張り付けられる。
【０１３７】
ステップＳ８で生成される右仮想カメラ画像７６Ｒは、ステップＳ７で生成された左仮
想カメラ画像７６Ｌと同様、ＸＺ平面（実空間の平面）が変形したような画像である。右
仮想カメラ画像７６Ｒは、左仮想カメラ画像７６Ｌとは異なる画像であり、これらの画像
には視差がある。
【０１３８】
ステップＳ８の後、情報処理部３１は、次にステップＳ９の処理を実行する。
【０１３９】
ステップＳ９において、情報処理部３１は、実画像と仮想カメラ画像とを重ね合わせて
、重畳画像を生成する。具体的には、情報処理部３１は、ステップＳ２で取得した左目用
実画像７２Ｌと、ステップＳ７で生成した左仮想カメラ画像７６Ｌとを重ね合わせた左目
用重畳画像を生成する。また、情報処理部３１は、ステップＳ２で取得した右目用実画像
７２Ｒと、ステップＳ８で生成した右仮想カメラ画像７６Ｒとを重ね合わせた右目用重畳
画像を生成する。次に、情報処理部３１は、ステップＳ１０の処理を実行する。
【０１４０】
ステップＳ１０において、情報処理部３１は、出力処理を実行する。出力処理が実行さ
れることによって、上側ＬＣＤ２２に立体視可能な画像が表示される。具体的には、情報
処理部３１は、ステップＳ９で生成した２つの重畳画像を上側ＬＣＤ２２に出力する。上
側ＬＣＤ２２に表示された左目用重畳画像は視差バリアを介してユーザの左目で視認され
、右目用重畳画像は視差バリアを介してユーザの右目で視認される。これにより、ユーザ
は立体感のある画像を視認することができる。ステップＳ１０の後、情報処理部３１は、
ステップＳ２の処理を再び実行する。
【０１４１】
なお、上記ステップＳ７およびＳ８においては、仮想カメラの位置や姿勢に応じて、魚
オブジェクト５２はマスクオブジェクト５７によってマスクされて撮像されない場合があ
る。図２０は、マスクオブジェクト５７によって魚オブジェクト５２がマスクされる場合
を示す図であり、仮想空間をマーカ座標系のＸ軸に平行な方向から見た場合において、魚
オブジェクト５２と仮想カメラの位置関係を示す図である。マスクオブジェクト５７は、
仮想モデル５５（変形オブジェクト５６）の端部に設定される面状の仮想的なオブジェク
トであり、魚オブジェクト５２を非表示にする、上側ＬＣＤ２２には表示されないオブジ
ェクトである。図２０に示すように、仮想カメラＰｃ（左仮想カメラ又は右仮想カメラ）
の位置から魚オブジェクト５２を見た場合、魚オブジェクト５２は、マスクされず上側Ｌ
ＣＤ２２に表示される。しかしながら、仮想カメラＰｃ’の位置から魚オブジェクト５２
を見た場合、魚オブジェクト５２は、マスクオブジェクト５７によってマスクされて、上
側ＬＣＤ２２には表示されない。マスクオブジェクト５７が変形オブジェクト５６の端部
に配置されない場合、仮想カメラＰｃ’の位置から魚オブジェクト５２を見ると、変形オ
ブジェクト５６によって実空間の平面が変形しない領域（すなわち、波が発生しない領域
）の奥方向に魚オブジェクト５２が見え、違和感のある画像になることがある。また、現
実世界においては、水面を見る角度が小さいと（水面を垂直ではなく、水平に近い方向か
ら見ると）、光の反射によって水中の魚を見ることができない。このため、仮想モデル５
５（変形オブジェクト５６）の端部にマスクオブジェクト５７を配置して、仮想カメラＰ
ｃ’からは魚オブジェクト５２が見えないようにする。すなわち、仮想カメラと魚オブジ
ェクト５２との間に変形オブジェクト５６が存在しない場合（仮想カメラと魚オブジェク
ト５２とを結ぶ直線上に変形オブジェクト５６が存在しない場合）、当該魚オブジェクト
５２を非表示にする。
【０１４２】
以上のように、本実施形態では、マーカ６１上にマーカ座標系が設定される。当該マー
カ座標系のＸＺ平面（マーカ６１が載置された平面）に平板状の仮想モデル５５が配置さ
れ、左目用実画像７２Ｌにおける当該仮想モデル５５に対応する領域が左テクスチャ領域
として設定される（左テクスチャ領域の画像として切り出される）。そして、仮想モデル
５５を変形した変形オブジェクト５６に、左テクスチャ領域の画像がテクスチャとして適
用されて、左仮想カメラで撮像されることにより、左仮想カメラ画像が生成される。また
、右目用実画像７２Ｒにおける仮想モデル５５に対応する領域が右テクスチャ領域として
設定される（右テクスチャ領域の画像として切り出される）。そして、仮想モデル５５を
変形した変形オブジェクト５６に、右テクスチャ領域の画像がテクスチャとして適用され
て、右仮想カメラで撮像されることにより、右仮想カメラ画像が生成される。これにより
、実空間上の平面が変形したような画像を生成することができ、上記のようにあたかもマ
ーカ６１が配置された実空間の平面が波打つような様子を表示することができる。
【０１４３】
また、本実施形態では、実空間に配置されたマーカ６１上にマーカ座標系が設定され、
仮想カメラが実カメラの位置および姿勢に対応して設定される。これにより、仮想空間に
存在するオブジェクトがあたかも実空間に存在するような感覚（拡張現実感）を与えるこ
とができる。
【０１４４】
また、本実施形態では、左目用実画像７２Ｌおよび右目用実画像７２Ｒからそれぞれテ
クスチャ領域が設定されて（それぞれテクスチャ画像が切り出されて）、左仮想カメラ画
像および右仮想カメラ画像が生成される。このため、何れか一方の実画像からそれぞれ左
仮想カメラ画像および右仮想カメラ画像を生成する場合よりも、解像度の高い画像となる
。すなわち、例えば、左目用実画像７２Ｌから左テクスチャ領域の画像が切り出されて、
当該左テクスチャ領域の画像を用いて右仮想カメラ画像を生成すると、左目用実画像７２
Ｌおよび右目用実画像７２Ｒは視差があるため、左テクスチャ領域の画像を大きく変形さ
せる必要があり、より多くの画素情報が失われる。
【０１４５】
図２１は、左テクスチャ領域の画像を用いて右仮想カメラ画像を生成した場合に画素情
報が失われることを説明するための図である。図２１に示すように、左テクスチャ領域の
画像を変形して左仮想カメラ画像を生成する場合、当該左テクスチャ領域の画像を変形す
る度合いは比較的小さい。また、同様に、右テクスチャ領域の画像を変形して右仮想カメ
ラ画像を生成する場合、当該左テクスチャ領域の画像を変形する度合いは比較的小さい。
しかしながら、左テクスチャ領域の画像を変形して右仮想カメラ画像を生成する場合、当
該左テクスチャ領域の画像を大きく変形させる必要がある。画像を伸縮させて変形させる
と、当該画像の解像度は低くなる。しかしながら、本実施形態では、左目用実画像７２Ｌ
および右目用実画像７２Ｒからそれぞれテクスチャ画像を切り取るため、このような解像
度の低下を防止することができる。
【０１４６】
また、本実施形態では、変形オブジェクト５６の端部（境界）が変形しないため、実画
像と仮想カメラ画像とが重ね合わされた場合に境界において違和感のない画像にすること
ができる。すなわち、変形オブジェクト５６の境界が変形すると、当該境界において不連
続な画像となることがあるため、実画像と仮想カメラで撮像した画像とを重ね合わせた場
合に違和感のある画像になる。また、例えば、変形しない仮想モデル５５に実画像のテク
スチャを適用した仮想モデル画像と実画像とを重ね合わせると、重ね合わされた領域は一
致する。このため、実画像の一部領域（仮想モデルに対応する領域）が、仮想モデル画像
によって完全に遮られるため、重ね合わされた画像には違和感がない。しかしながら、仮
想モデル５５を変形させた変形オブジェクト５６が、その境界も含めて変形し、当該変形
オブジェクト５６を撮像した変形オブジェクト画像を実画像に重ね合わせると、変形オブ
ジェクト画像によって遮られない実画像の領域が発生する。このため、実画像と変形オブ
ジェクト画像とを重ね合わせた画像には、同じ領域が二重に存在する場合があり、不自然
な画像となる（例えば、変形オブジェクトが仮想モデルよりも小さく変形した場合）。し
かしながら、本実施形態では、変形オブジェクト５６の境界部分は変形しないため、この
ような変形オブジェクトによって遮られない領域は発生しないため、同じ領域が二重に表
示されることなく、自然な画像となる。
【０１４７】
また、左仮想カメラで変形オブジェクトを撮像するときは左目用実画像をテクスチャと
して適用し、右仮想カメラで変形オブジェクトを撮像するときは右目用実画像をテクスチ
ャとして適用することにより、境界における連続性をより保つことができる。すなわち、
例えば、左目用実画像から切り取られたテクスチャを変形オブジェクトに適用して右仮想
カメラで撮像した右仮想カメラ画像を、右目用実画像に重畳した場合、右目用実画像の背
景部分と、変形オブジェクトに対応する部分とがずれることがある（例えば、一方の実カ
メラからしか見えない領域が存在する場合など）。このため、一方の実画像から両方のテ
クスチャを生成すると、境界における連続性を保つことができない。しかしながら、本実
施形態では、両方の実画像からそれぞれテクスチャを生成するため、境界における連続性
を保つことができる。
【０１４８】
（変形例）
なお、本実施形態では、マーカ６１が載置された平面に平板状の仮想モデルを配置して
、当該平面が波打つような表示を行った。他の実施形態では、仮想モデルは平面状ではな
く、曲面状であってもよい（立体物でもよい）。例えば、実空間に存在する立体物（コッ
プや人の顔でもよい）について、当該立体物に沿うように仮想モデルを配置し、仮想モデ
ルを変形させることによって、当該実空間上の立体物が変形する様子が表示されてもよい
。例えば、赤外線等で深度（カメラの奥方向の距離）を測定可能なカメラを用いて、実空
間に存在する立体物の形状を認識し、認識した形状の仮想モデルを仮想空間に設定するこ
とにより、立体物を変形させてもよい。あるいは、外側撮像部２３によって撮像される２
つの画像の視差に基づいて、カメラの奥方向の距離を算出してもよい。また、上記方法を
用いて、実空間の壁が変形する様子を表示したり、カーテンが揺れる様子を表示したりし
てもよい。
【０１４９】
また、他の実施形態では、上述した方法を用いて、実空間の平面や曲面等（テーブルや
人の顔等）ではなく、実空間の一部の空間が変形する様子が表示されてもよい。
【０１５０】
また、本実施形態では、釣りゲームを例にして実空間の平面を水面のように変形させた
が、上述した処理はどのようなゲームにも適用可能である。
【０１５１】
また、本実施形態では、仮想モデルを変形した変形オブジェクトに左右の実画像から切
り出したテクスチャ領域の画像（テクスチャ画像）を張り付けた。他の実施形態では、仮
想モデルは変形しなくてもよい。すなわち、他の実施形態では、左目用実画像から取得し
た左テクスチャ画像を仮想モデルにテクスチャとして適用して左仮想カメラで撮像し、右
目用実画像から取得した右テクスチャ画像を仮想モデルにテクスチャとして適用して右仮
想カメラで撮像してもよい。このようにして、左右の実画像からテクスチャ画像をそれぞ
れ切り出すことにより、実カメラで撮像した画像を仮想モデルのテクスチャとして利用し
て、仮想モデルの立体視画像を生成することができる。仮想モデルとして表示することで
、仮想カメラによる撮影方向を変更したり、ライティングの色や方向を変更したりと言っ
た処理が可能となる。この場合において、本実施形態では左右の実画像からテクスチャ画
像をそれぞれ切り出してテクスチャとして適用する。このため、どちらか一方の画像から
テクスチャ画像を切り出し、当該切り出したテクスチャ画像をテクスチャとして適用して
左右の仮想カメラでそれぞれ撮像する場合に生じる解像度の低下を防止することができる
。
【０１５２】
また、本実施形態では、マーカ６１を外側撮像部２３で撮像することによって、外側撮
像部２３とマーカ６１との位置関係（相対的な位置および姿勢）を算出した。そして、算
出した位置関係に基づいて、仮想空間（マーカ座標系）を設定した。他の実施形態では、
マーカ６１に限らず、他の物体を撮像画像から認識して、上記位置関係が算出されてもよ
い。例えば、実空間に存在する所定の物体（例えば、実空間に存在する椅子やテーブル等
でもよい）をパターンマッチング等の画像認識により検出し、上記位置関係が算出されて
、仮想空間が定義されてもよい。すなわち、他の実施形態では、実空間に存在する特定対
象物（上記マーカや所定の物体）を撮像画像から認識して、当該特定対象物と外側撮像部
２３との位置関係が算出されてもよい。また、特定対象物は、実カメラによって撮像され
た画像に基づいて認識されず、他の認識手段（例えば、超音波センサ等でもよい）によっ
て認識されて、当該特定対象物と外側撮像部２３との位置関係が算出されてもよい。
【０１５３】
また、他の実施形態では、ＧＰＳや加速度センサ、角速度センサ、地磁気センサ等によ
って、実カメラの位置および姿勢が検出されてもよい。そして、検出された位置および姿
勢に基づいて、仮想空間内の仮想カメラの位置および姿勢が設定され、実カメラで撮像し
た画像と仮想カメラで仮想空間を撮像した画像とを重畳してもよい。例えば、実空間に対
応した仮想空間の所定の位置に仮想オブジェクトが配置され、当該仮想空間の所定の位置
に対応する実空間の位置を所定の方向から実カメラで撮影してもよい。この場合、ＧＰＳ
や姿勢検出手段（加速度センサや角速度センサ、地磁気センサ等）によって実カメラの位
置および姿勢を検出することができ、当該実カメラの位置および姿勢に一致するように仮
想空間に仮想カメラを設定することができる。
【０１５４】
また、本実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわ
ち、本実施形態では、外側撮像部２３によって撮像された画像と、仮想カメラ（左右の仮
想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳画
像が上側ＬＣＤ２２に表示された。他の実施形態では、光学シースルー方式により拡張現
実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラを備
えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に相当
するディスプレイ部を通して実空間を視認できるようになっている。このディプレイ部は
、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。
さらに、このディスプレイ部にはコンピュータにより生成した仮想オブジェクトの画像を
表示させることができるようになっている。
【０１５５】
また、他の実施形態では、上述した撮影処理の方法は、ゲーム装置に限らず任意の電子
機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や高
機能携帯電話、カメラ（装置としてのカメラ）等に適用されてもよい。
【０１５６】
また、本実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いら
れた。他の実施形態では、時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）など
の眼鏡を用いて立体表示を行うような場合でも、本発明は適用可能である。
【０１５７】
また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が
各処理を分担して処理することにより、上述した表示処理方法を実現する表示処理システ
ムとして構築されてもよい。例えば、外側撮像部２３が情報処理装置と分離された構成で
あって、外側撮像部２３が情報処理装置に無線等で接続されてもよい。また、情報処理装
置と表示装置が分離された構成で、互いに接続されてもよい。また、外側撮像部２３の位
置および姿勢が情報処理装置と分離した検出手段によって検出され、当該検出結果が情報
処理装置に送信されてもよい。
【０１５８】
また、上記実施形態においては、ゲーム装置１０の情報処理部３１が所定のプログラム
を実行することによって、上述したフローチャートによる処理が行われた。他の実施形態
においては、上記処理の一部又は全部は、ゲーム装置１０が備える専用回路によって行わ
れてもよい。
【０１５９】
また、上記ゲームプログラム（情報処理プログラム）は、上記メモリに限らず、光ディ
スクや磁気ディスク等、コンピュータ読み取り可能な記憶媒体に記憶されてゲーム装置１
０に提供されてもよい。また、例えば、ネットワーク上のサーバのＲＡＭに上記プログラ
ムが記憶され、ゲーム装置１０が当該ネットワークに接続されて、当該プログラムがゲー
ム装置１０に提供されてもよい。
【符号の説明】
【０１６０】
１０ ゲーム装置
１１ 下側ハウジング
１２ 下側ＬＣＤ
１３ タッチパネル
１４ 操作ボタン
１５ アナログスティック
１６ ＬＥＤ
２１ 上側ハウジング
２２ 上側ＬＣＤ
２３ 外側撮像部
２３ａ 外側撮像部（左）
２３ｂ 外側撮像部（右）
２４ 内側撮像部
２５ ３Ｄ調整スイッチ
２６ ３Ｄインジケータ
２８ タッチペン
３１ 情報処理部
３１１ ＣＰＵ
３１２ ＧＰＵ
３２ メインメモリ
５１ 釣りざおオブジェクト
５２ 魚オブジェクト
５３ａ 左仮想カメラ
５３ｂ 右仮想カメラ
５５ 仮想モデル
５６ 変形オブジェクト
５７ マスクオブジェクト
６１ マーカ
【技術分野】
【０００１】
本発明は、ステレオカメラによって撮像された画像と、仮想オブジェクトとを用いて立
体視画像を生成する情報処理プログラム、情報処理装置、情報処理システム、および、情
報処理方法に関する。
【背景技術】
【０００２】
近年、立体視の技術を用いてより現実空間と仮想空間との融合した表現を行う技術が存
在する。例えば、特許文献１に記載の装置では、左右の撮像部で撮像した実写画像に、Ｃ
Ｇ用のモデルを左右の仮想カメラで撮像したＣＧ画像を重ね合わせることにより、現実空
間と仮想空間とを融合させた立体映像を表示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２０５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、現実空間を撮像した画像と上記ＣＧ画像とは別々の画
像であり、これらを融合させて多様な表現を行うという点では、不十分であった。すなわ
ち、現実空間を撮像した画像に重ね合わされるＣＧ画像は、予め用意されたモデルを仮想
カメラで撮像したものであり、当該モデル自体の表示には多様性がなく、表現の幅が限ら
れていた。
【０００５】
それ故、本発明の目的は、実カメラで撮像した画像と仮想モデルとを用いて、多様な表
現をすることが可能な情報処理技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００７】
本発明は、実空間を撮像する左実カメラおよび右実カメラと、立体視画像を表示可能な
表示手段とに接続される情報処理装置のコンピュータを、実画像取得手段、仮想カメラ設
定手段、左テクスチャ領域設定手段、右テクスチャ領域設定手段、左仮想カメラ画像取得
手段、右仮想カメラ画像取得手段、および、表示制御手段として機能させる。実画像取得
手段は、前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより
撮像された右目用実画像を取得する。仮想カメラ設定手段は、前記実空間における前記左
実カメラの位置および姿勢と前記実空間における前記右実カメラの位置および姿勢とに応
じた配置となるように、仮想空間内に左仮想カメラおよび右仮想カメラを設定する。左テ
クスチャ領域設定手段は、前記仮想カメラ設定手段によって設定された左仮想カメラから
見た場合の、前記仮想空間における所定の仮想モデルに対応する領域を前記左目用実画像
から左テクスチャ領域として設定する。右テクスチャ領域設定手段は、前記仮想カメラ設
定手段によって設定された右仮想カメラから見た場合の、前記仮想空間における前記仮想
モデルに対応する領域を前記右目用実画像から右テクスチャ領域として設定する。左仮想
カメラ画像取得手段は、前記左テクスチャ領域設定手段によって設定された左テクスチャ
領域に含まれる画像を、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有
する描画用モデルに適用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カ
メラ画像を取得する。右仮想カメラ画像取得手段は、前記右テクスチャ領域設定手段によ
って設定された右テクスチャ領域に含まれる画像を、前記描画用モデルに適用して、当該
描画用モデルを前記右仮想カメラで撮像した右仮想カメラ画像を取得する。表示制御手段
は、ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を
視認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画
像を表示させる。
【０００８】
なお、仮想カメラ設定手段は、実空間に存在する所定の対象物と上記左目用実カメラと
の相対的な位置および姿勢に基づいて、左仮想カメラを設定してもよい。すなわち、実空
間の所定の対象物を基準とした左実カメラの位置および姿勢に基づいて左仮想カメラが設
定されてもよいし、左実カメラを基準とした実空間の所定の対象物の位置および姿勢に基
づいて左仮想カメラが設定されてもよい。また、絶対的な位置を検出する手段（例えば、
ＧＰＳ）や姿勢検出手段（例えば、角速度センサや加速度センサ、地磁気を検出する手段
等）によって検出された左実カメラの絶対的な位置および姿勢に基づいて左仮想カメラが
設定されてもよい。同様に、実空間に存在する上記所定の対象物と上記右実カメラとの相
対的な位置および姿勢に基づいて右仮想カメラが設定されてもよいし、右実カメラの絶対
的な位置および姿勢に基づいて右仮想カメラが設定されてもよい。
【０００９】
上記によれば、左右の実画像をそれぞれテクスチャとして仮想モデルに適用ことができ
、仮想モデルを立体的に表示するとともに、取得した実画像に応じてその表示態様を多様
にすることができる。また、左右の実画像をそれぞれテクスチャとして用いるため、一方
の実画像のみを用いる場合よりも解像度を低下させずに、左右の仮想カメラ画像を生成し
て表示することができる。
【００１０】
また、本発明の他の構成では、前記左テクスチャ領域設定手段は、前記仮想モデルを前
記左仮想カメラで撮像した場合のレンダリング画像上での当該仮想モデルの位置および輪
郭に対応する領域を左テクスチャ領域として設定してもよい。また、前記右テクスチャ領
域設定手段は、前記仮想モデルを前記右仮想カメラで撮像した場合のレンダリング画像上
での当該仮想モデルの位置および輪郭に対応する領域を右テクスチャ領域として設定して
もよい。
【００１１】
上記によれば、各仮想カメラで仮想モデルを撮像した場合において、撮像される画像に
おける仮想モデルの位置および輪郭に対応する領域を各テクスチャ領域として設定するこ
とができる。
【００１２】
また、本発明の他の構成では、上記情報処理プログラムは、上記左目用実画像と上記左
仮想カメラ画像とを重ね合わせた左目用重畳画像と、上記右目用実画像と上記右仮想カメ
ラ画像とを重ね合わせた右目用重畳画像とを生成する重畳画像生成手段、として上記コン
ピュータを更に機能させてもよい。そして、上記表示制御手段は、上記左目用重畳画像お
よび上記右目用重畳画像を上記表示手段に表示させる。
【００１３】
上記によれば、仮想モデルを撮像した左右の仮想カメラ画像と左右の実画像とを重畳し
て表示することができる。
【００１４】
また、本発明の他の構成では、上記情報処理プログラムは、上記仮想モデルを変形した
変形オブジェクトを生成し、上記仮想空間に設定する変形オブジェクト設定手段、として
上記コンピュータを更に機能させてもよい。上記左仮想カメラ画像取得手段は、上記左テ
クスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を上記変形オ
ブジェクトにテクスチャとして適用した上記変形オブジェクトを上記左仮想カメラで撮像
した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段は、上記右テクスチャ
領域設定手段によって設定された右テクスチャ領域に含まれる画像をテクスチャとして適
用した上記変形オブジェクトを上記右仮想カメラで撮像した右仮想カメラ画像を取得する
。
【００１５】
上記によれば、実空間を撮像した画像に立体的な変化を与えることができる。例えば、
平面上の仮想モデルを変形させることによって、実空間の平面が変形したような画像を表
示することができる。
【００１６】
また、本発明の他の構成では、上記仮想モデルは、平面または曲面状の仮想モデルであ
って、上記実空間の平面または曲面に沿うようにして上記仮想空間内に設定されてもよい
。上記変形オブジェクト設定手段は、上記平面または曲面状の仮想モデルを変形した変形
オブジェクトを生成して、上記仮想空間に設定する。
【００１７】
上記によれば、実空間の平面や曲面が立体的に変化する様子を表示することができる。
【００１８】
また、本発明の他の構成では、上記変形オブジェクト設定手段は、上記仮想モデルの端
部を除く部分を変形して上記変形オブジェクトを生成してもよい。
【００１９】
上記によれば、実画像と仮想カメラ画像とが重ね合わされた場合に、変形オブジェクト
の境界部分において違和感のない画像にすることができる。
【００２０】
また、本発明の他の構成では、上記情報処理プログラムは、上記仮想空間内に上記変形
オブジェクトとは異なる第２オブジェクトを当該変形オブジェクトと所定の位置関係で設
定する第２オブジェクト設定手段として、上記コンピュータを更に機能させてもよい。上
記左仮想カメラ画像取得手段は、上記変形オブジェクトおよび上記第２オブジェクトを上
記左仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段
は、上記変形オブジェクトおよび上記第２オブジェクトを上記右仮想カメラで撮像した右
仮想カメラ画像を取得する。
【００２１】
上記によれば、変形オブジェクトと所定の位置関係で第２オブジェクトを仮想空間に設
定し、実空間が変形された画像と仮想空間の第２オブジェクトの画像とが重ね合わされて
、表示される。このため、第２オブジェクトが実空間の変形された部分と所定の位置関係
で実在しているように見える。例えば、実空間の平面を変形させることで波打つ水面と、
水中に存在する魚とを表示することができる。
【００２２】
また、本発明の他の構成では、上記第２オブジェクトは、上記左仮想カメラおよび上記
右仮想カメラの撮像方向に関して上記変形オブジェクトよりも遠方に配置されてもよい。
上記情報処理プログラムは、上記変形オブジェクトの端部に上記第２オブジェクトをマス
クする所定のマスクオブジェクトを設定するマスクオブジェクト設定手段として、上記コ
ンピュータを更に機能させる。
【００２３】
上記によれば、変形オブジェクトを介して上記第２オブジェクトが見えない位置に仮想
カメラが設定される場合（斜めから第２オブジェクトを撮像した場合）、第２オブジェク
トをマスクすることができる。
【００２４】
また、本発明の他の構成では、上記左実カメラおよび右実カメラは実空間上に配置され
た所定の平板状のマーカをそれぞれ撮像してもよい。また、上記仮想カメラ設定手段は、
上記マーカの位置および姿勢を基準として、左実カメラの位置および姿勢と上記右実カメ
ラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右仮
想カメラを設定する。上記仮想モデルは、上記マーカを基準に設定されたマーカ座標系に
おいて、上記マーカが載置される平面上に配置された板状のモデルである。また、上記情
報処理プログラムは、上記仮想モデルを変形した変形オブジェクトを生成し、上記仮想空
間に設定する変形オブジェクト設定手段として、上記コンピュータを更に機能させる。上
記左仮想カメラ画像取得手段は、上記左テクスチャ領域設定手段によって設定された左テ
クスチャ領域に含まれる画像をテクスチャとして適用した上記変形オブジェクトを上記左
仮想カメラで撮像した左仮想カメラ画像を取得する。上記右仮想カメラ画像取得手段は、
上記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像をテ
クスチャとして適用した上記変形オブジェクトを上記右仮想カメラで撮像した右仮想カメ
ラ画像を取得する。
【００２５】
上記によれば、マーカが載置された実空間の平面が変化する様子を立体的に表示するこ
とができる。これにより、例えば、実空間の平面を水面として、当該水面が波打つような
様子を表示することができる。
【００２６】
また、本発明の他の構成では、上記仮想カメラ設定手段は、上記左目用実画像に含まれ
る特定対象物を検出し、当該検出結果に基づいて、上記左実カメラと上記実空間に存在す
る上記特定対象物との相対的な位置および姿勢を取得し、当該取得した位置および姿勢に
基づいて、前記左仮想カメラを設定してもよい。また、上記仮想カメラ設定手段は、上記
右目用実画像に含まれる上記特定対象物を検出し、当該検出結果に基づいて、上記右実カ
メラと上記実空間に存在する上記特定対象物との相対的な位置および姿勢を取得し、当該
取得した位置および姿勢に基づいて、前記右仮想カメラを設定する。
【００２７】
上記によれば、上記特定対象物を撮像することにより、左右の実カメラ以外の構成を用
いなくても、当該左右の実カメラの実空間における位置および姿勢に対応させて左右の仮
想カメラを配置できる。
【００２８】
また、本発明の他の構成では、上記仮想モデルは、上記実空間における上記特定対象物
の位置に対応する、上記仮想空間における位置を基準として配置されてもよい。
【００２９】
上記によれば、上記特定対象物の位置に仮想モデルが配置されるため、上記特定対象物
が撮像される場合は、必ず仮想モデルを仮想カメラで撮像することができる。
【００３０】
また、本発明では、上記各手段を実現した情報処理装置であってもよい。また、本発明
では、上記各手段を実現する複数の要素が相互に動作することによって、１つの情報処理
システムとして構成されてもよい。当該情報処理システムは、１つの装置によって構成さ
れてもよいし、複数の装置によって構成されてもよい。
【発明の効果】
【００３１】
本発明によれば、実カメラで撮像した画像と仮想モデルとを用いて、多様な表現をする
ことができる。
【図面の簡単な説明】
【００３２】
【図１】開状態におけるゲーム装置１０の正面図
【図２】開状態におけるゲーム装置１０の右側面図
【図３】閉状態におけるゲーム装置１０の左側面図、正面図、右側面図および背面図
【図４】ゲーム装置１０の内部構成を示すブロック図
【図５】本実施形態に係るゲーム処理が実行された場合において、実空間に予め配置されたマーカ６１を外側撮像部２３で撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図
【図６】ユーザが所定の操作を行った場合に、マーカ６１が載置された平面が波打つ様子を示した図
【図７】マーカ座標系の定義を示す図
【図８】ゲーム装置１０のＲＡＭのメモリマップを示す図
【図９】本実施形態に係るゲーム処理の詳細を示すメインフローチャート
【図１０】マーカ認識処理（ステップＳ３）の詳細を示すフローチャート
【図１１】左仮想カメラ画像生成処理（ステップＳ７）の詳細を示すフローチャート
【図１２】マーカ６１と外側撮像部（左）２３ａとの位置関係を示す図
【図１３】仮想モデル５５を示す図
【図１４】変形オブジェクト５６を示す図
【図１５】頂点Ｐ（ｉ）のテクスチャ座標Ｔ（ｉ）を示す図
【図１６】ステップＳ３５における処理を概念的に表す図であり、左目用実画像７２Ｌから左テクスチャ領域の画像を切り取る様子を示す図
【図１７】ステップＳ３５における処理を概念的に表す図であり、図１６に示す切り取られた左テクスチャ領域の画像ａｉを変形オブジェクト５６に張り付ける様子を示す図
【図１８】右目用実画像７２Ｒから右テクスチャ領域の画像を切り取る様子を示す図
【図１９】図１８に示す切り取られた右テクスチャ領域の画像ｂｉを変形オブジェクト５６に張り付ける様子を示す図
【図２０】マスクオブジェクト５７によって魚オブジェクト５２がマスクされる場合を示す図
【図２１】左テクスチャ領域の画像を用いて右仮想カメラ画像を生成した場合に画素情報が失われることを説明するための図
【発明を実施するための形態】
【００３３】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。図１〜図３は、ゲーム
装置１０の外観を示す平面図である。ゲーム装置１０は携帯型のゲーム装置であり、図１
〜図３に示すように折り畳み可能に構成されている。図１および図２は、開いた状態（開
状態）におけるゲーム装置１０を示し、図３は、閉じた状態（閉状態）におけるゲーム装
置１０を示している。図１は、開状態におけるゲーム装置１０の正面図であり、図２は、
開状態におけるゲーム装置１０の右側面図である。ゲーム装置１０は、撮像部によって画
像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりする
ことが可能である。また、ゲーム装置１０は、交換可能なメモリカード内に記憶され、ま
たは、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空
間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により
生成された画像を画面に表示したりすることができる。
【００３４】
まず、図１〜図３を参照して、ゲーム装置１０の外観構成について説明する。図１〜図
３に示されるように、ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１
を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に
接続されている。本実施形態では、各ハウジング１１および２１はともに横長の長方形の
板状形状であり、互いの長辺部分で回転可能に接続されている。
【００３５】
図１および図２に示されるように、下側ハウジング１１の上側長辺部分には、下側ハウ
ジング１１の内側面（主面）１１Ｂに対して垂直な方向に突起する突起部１１Ａが設けら
れる。また、上側ハウジング２１の下側長辺部分には、上側ハウジング２１の下側面から
当該下側面に垂直な方向に突起する突起部２１Ａが設けられる。下側ハウジング１１の突
起部１１Ａと上側ハウジング２１の突起部２１Ａとが連結されることにより、下側ハウジ
ング１１と上側ハウジング２１とが、折り畳み可能に接続される。
【００３６】
（下側ハウジングの説明）
まず、下側ハウジング１１の構成について説明する。図１〜図３に示すように、下側ハ
ウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶
表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ（図１、図３）、アナ
ログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、および、マイクロフォン用孔
１８が設けられる。以下、これらの詳細について説明する。
【００３７】
図１に示すように、下側ＬＣＤ１２は下側ハウジング１１に収納される。下側ＬＣＤ１
２は横長形状であり、長辺方向が下側ハウジング１１の長辺方向に一致するように配置さ
れる。下側ＬＣＤ１２は下側ハウジング１１の中央に配置される。下側ＬＣＤ１２は、下
側ハウジング１１の内側面（主面）に設けられ、下側ハウジング１１に設けられた開口部
から当該下側ＬＣＤ１２の画面が露出される。ゲーム装置１０を使用しない場合には閉状
態としておくことによって、下側ＬＣＤ１２の画面が汚れたり傷ついたりすることを防止
することができる。下側ＬＣＤ１２の画素数は、例えば、２５６ｄｏｔ×１９２ｄｏｔ（
横×縦）であってもよい。下側ＬＣＤ１２は、後述する上側ＬＣＤ２２とは異なり、画像
を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示
装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎ
ｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また
、下側ＬＣＤ１２として、任意の解像度の表示装置を利用することができる。
【００３８】
図１に示されるように、ゲーム装置１０は、入力装置として、タッチパネル１３を備え
ている。タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。なお、本実施
形態では、タッチパネル１３は抵抗膜方式のタッチパネルである。ただし、タッチパネル
は抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いること
ができる。本実施形態では、タッチパネル１３として、下側ＬＣＤ１２の解像度と同解像
度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１３の解像度と下側Ｌ
ＣＤ１２の解像度が一致している必要はない。また、下側ハウジング１１の上側面には挿
入口１７（図１および図３（ｄ）に示す点線）が設けられている。挿入口１７は、タッチ
パネル１３に対する操作を行うために用いられるタッチペン２８を収納することができる
。なお、タッチパネル１３に対する入力は通常タッチペン２８を用いて行われるが、タッ
チペン２８に限らずユーザの指でタッチパネル１３に対する入力をすることも可能である
。
【００３９】
各操作ボタン１４Ａ〜１４Ｌは、所定の入力を行うための入力装置である。図１に示さ
れるように、下側ハウジング１１の内側面（主面）には、各操作ボタン１４Ａ〜１４Ｌの
うち、十字ボタン１４Ａ（方向入力ボタン１４Ａ）、ａボタン１４Ｂ、ｂボタン１４Ｃ、
ｘボタン１４Ｄ、ｙボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥ
ボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられる。十字ボタン１４Ａは、十字
の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン１４Ｂ、ボ
タン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅは、十字状に配置される。ボタン１４Ａ〜１４
Ｅ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌには、
ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字
ボタン１４Ａは選択操作等に用いられ、各操作ボタン１４Ｂ〜１４Ｅは例えば決定操作や
キャンセル操作等に用いられる。また、電源ボタン１４Ｆは、ゲーム装置１０の電源をオ
ン／オフするために用いられる。
【００４０】
アナログスティック１５は、方向を指示するデバイスであり、下側ハウジング１１の内
側面の下側ＬＣＤ１２より左側領域の上部領域に設けられる。図１に示すように、十字ボ
タン１４Ａは下側ＬＣＤ１２より左側領域の下部領域に設けられるので、アナログスティ
ック１５は、十字ボタン１４Ａの上方に設けられる。また、アナログスティック１５、お
よび、十字ボタン１４Ａは、下側ハウジングを把持した左手の親指で操作可能な位置に設
計される。また、アナログスティック１５を上部領域に設けたことにより、下側ハウジン
グ１１を把持する左手の親指が自然と位置するところにアナログスティック１５が配され
、十字ボタン１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティ
ック１５は、そのキートップが、下側ハウジング１１の内側面に平行にスライドするよう
に構成されている。アナログスティック１５は、ゲーム装置１０が実行するプログラムに
応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲー
ム装置１０によって実行される場合、アナログスティック１５は、当該所定のオブジェク
トを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、
所定のオブジェクトはアナログスティック１５のキートップがスライドした方向に移動さ
れる。なお、アナログスティック１５として、上下左右および斜め方向の任意の方向に所
定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
【００４１】
十字状に配置される、ａボタン１４Ｂ、ｂボタン１４Ｃ、ｘボタン１４Ｄ、ｙボタン１
４Ｅの４つのボタンは、下側ハウジング１１を把持する右手の親指が自然と位置するとこ
ろに配置される。また、これらの４つのボタンと、アナログスティック１５とは、下側Ｌ
ＣＤ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、
例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能
である。
【００４２】
また、下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられる。マイ
クロフォン用孔１８の下部には後述する音声入力装置としてのマイク（図４参照）が設け
られ、当該マイクがゲーム装置１０の外部の音を検出する。
【００４３】
図３（ａ）は閉状態におけるゲーム装置１０の左側面図であり、図３（ｂ）は閉状態に
おけるゲーム装置１０の正面図であり、図３（ｃ）は閉状態におけるゲーム装置１０の右
側面図であり、図３（ｄ）は閉状態におけるゲーム装置１０の背面図である。図３（ｂ）
および（ｄ）に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４Ｇおよ
びＲボタン１４Ｈが設けられている。Ｌボタン１４Ｇは、下側ハウジング１１の上面の左
端部に設けられ、Ｒボタン１４Ｈは、下側ハウジング１１の上面の右端部に設けられる。
また、図３（ａ）に示されるように、下側ハウジング１１の左側面には、音量ボタン１４
Ｉが設けられる。音量ボタン１４Ｉは、ゲーム装置１０が備えるスピーカの音量を調整す
るために用いられる。
【００４４】
図３（ａ）に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１
１Ｃが設けられる。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部
メモリ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存
用外部メモリ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ４５は
、例えば、ゲーム装置１０によって撮像された画像のデータを記憶（保存）するために用
いられる。なお、上記コネクタおよびそのカバー部１１Ｃは、下側ハウジング１１の右側
面に設けられてもよい。
【００４５】
また、図３（ｄ）に示されるように、下側ハウジング１１の上側面には、ゲーム装置１
０とゲームプログラムを記録した外部メモリ４４を挿入するための挿入口１１Ｄが設けら
れ、その挿入口１１Ｄの内部には、外部メモリ４４と電気的に着脱自在に接続するための
コネクタ（図示せず）が設けられる。当該外部メモリ４４がゲーム装置１０に接続される
ことにより、所定のゲームプログラムが実行される。なお、上記コネクタおよびその挿入
口１１Ｄは、下側ハウジング１１の他の側面（例えば、右側面等）に設けられてもよい。
【００４６】
また、図１および図３（ｃ）に示されるように、下側ハウジング１１の下側面にはゲー
ム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジ
ング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥ
Ｄ１６Ｂが設けられる。ゲーム装置１０は他の機器との間で無線通信を行うことが可能で
あり、第２ＬＥＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置１０は
、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接
続する機能を有する。下側ハウジング１１の右側面には、この無線通信の機能を有効／無
効にする無線スイッチ１９が設けられる（図３（ｃ）参照）。
【００４７】
なお、図示は省略するが、下側ハウジング１１には、ゲーム装置１０の電源となる充電
式電池が収納され、下側ハウジング１１の側面（例えば、上側面）に設けられた端子を介
して当該電池を充電することができる。
【００４８】
（上側ハウジングの説明）
次に、上側ハウジング２１の構成について説明する。図１〜図３に示すように、上側ハ
ウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶
表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３
ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けら
れる。以下、これらの詳細について説明する。
【００４９】
図１に示すように、上側ＬＣＤ２２は上側ハウジング２１に収納される。上側ＬＣＤ２
２は、横長形状であり、長辺方向が上側ハウジング２１の長辺方向に一致するように配置
される。上側ＬＣＤ２２は上側ハウジング２１の中央に配置される。上側ＬＣＤ２２の画
面の面積は、下側ＬＣＤ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤ２
２の画面は、下側ＬＣＤ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤ２２
の画面のアスペクト比における横幅の割合は、下側ＬＣＤ１２の画面のアスペクト比にお
ける横幅の割合よりも大きく設定される。
【００５０】
上側ＬＣＤ２２の画面は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、上
側ハウジング２１に設けられた開口部から当該上側ＬＣＤ２２の画面が露出される。また
、図２に示すように、上側ハウジング２１の内側面は、透明なスクリーンカバー２７によ
って覆われている。当該スクリーンカバー２７は、上側ＬＣＤ２２の画面を保護するとと
もに、上側ＬＣＤ２２と上側ハウジング２１の内側面と一体的にさせ、これにより統一感
を持たせている。上側ＬＣＤ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横
×縦）であってもよい。なお、本実施形態では上側ＬＣＤ２２は液晶表示装置であるとし
たが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した
表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装
置を利用することができる。
【００５１】
上側ＬＣＤ２２は、立体視可能な画像（立体視画像、立体画像ともいう）を表示するこ
とが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目
用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（
例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画
像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例で
は、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と
右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式や
パララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側
ＬＣＤ２２はパララックスバリア方式のものとする。上側ＬＣＤ２２は、右目用画像と左
目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側
ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画
像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）
を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが
可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上
述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示さ
れた同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側
ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する
（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。
この表示モードの切り替えは、後述する３Ｄ調整スイッチ２５によって行われる。
【００５２】
外側撮像部２３は、上側ハウジング２１の外側面（上側ＬＣＤ２２が設けられた主面と
反対側の背面）２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。
外側撮像部（左）２３ａと外側撮像部（右）２３ｂの撮像方向は、いずれも当該外側面２
１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤ２２の表
示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（
左）２３ａの撮像方向および外側撮像部（右）２３ｂの撮像方向は、平行である。外側撮
像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラム
によって、ステレオカメラとして使用することが可能である。また、プログラムによって
は、２つの外側撮像部（２３ａおよび２３ｂ）のいずれか一方を単独で用いて、外側撮像
部２３を非ステレオカメラとして使用することも可能である。また、プログラムによって
は、２つの外側撮像部（２３ａおよび２３ｂ）で撮像した画像を合成してまたは補完的に
使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では
、外側撮像部２３は、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの２つの撮
像部で構成される。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、それぞれ
所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメー
ジセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５３】
図１の破線および図３（ｂ）の実線で示されるように、外側撮像部２３を構成する外側
撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２の画面の横方向と
平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣＤ２２の
画面の横方向と平行になるように、外側撮像部（左）２３ａおよび外側撮像部（右）２３
ｂが配置される。図１の破線で示す２３ａおよび２３ｂは、上側ハウジング２１の内側面
とは反対側の外側面に存在する外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂを
それぞれ表している。図１に示すように、ユーザが上側ＬＣＤ２２の画面を正面から視認
した場合に、外側撮像部（左）２３ａは左側に外側撮像部（右）２３ｂは右側にそれぞれ
位置している。外側撮像部２３をステレオカメラとして機能させるプログラムが実行され
ている場合、外側撮像部（左）２３ａは、ユーザの左目で視認される左目用画像を撮像し
、外側撮像部（右）２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側撮
像部（左）２３ａおよび外側撮像部（右）２３ｂの間隔は、人間の両目の間隔程度に設定
され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側撮像部（左）
２３ａおよび外側撮像部（右）２３ｂの間隔は、この範囲に限らない。
【００５４】
なお、本実施例においては、外側撮像部（左）２３ａおよび外側撮像部（右）２３はハ
ウジングに固定されており、撮像方向を変更することはできない。
【００５５】
また、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２（上
側ハウジング２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。
すなわち、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２を
左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部（左）
２３ａおよび外側撮像部（右）２３ｂは、上側ハウジング２１を開いた状態において、上
側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方の位置の裏側
に配置される。すなわち、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上
側ハウジング２１の外側面であって、上側ＬＣＤ２２を外側面に投影した場合、投影した
上側ＬＣＤ２２の画面の上端よりも上方に配置される。
【００５６】
このように、外側撮像部２３の２つの撮像部（２３ａおよび２３ｂ）が、上側ＬＣＤ２
２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤ
２２を正視した場合に、外側撮像部２３の撮像方向をユーザの視線方向と一致させること
ができる。また、外側撮像部２３は、上側ＬＣＤ２２の画面の上端より上方の裏側の位置
に配置されるため、外側撮像部２３と上側ＬＣＤ２２とが上側ハウジング２１の内部で干
渉することがない。従って、外側撮像部２３を上側ＬＣＤ２２の画面の裏側に配置する場
合と比べて、上側ハウジング２１を薄く構成することが可能となる。
【００５７】
内側撮像部２４は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、当該内側
面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２４は、所定の解像度
を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レ
ンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５８】
図１に示すように、内側撮像部２４は、上側ハウジング２１を開いた状態において、上
側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方に配置され、
上側ハウジング２１の左右方向に関して中央の位置（上側ハウジング２１（上側ＬＣＤ２
２の画面）を左右に２等分する線の線上）に配置される。具体的には、図１および図３（
ｂ）に示されるように、内側撮像部２４は、上側ハウジング２１の内側面であって、外側
撮像部２３の左右の撮像部（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）の
中間の裏側の位置に配置される。すなわち、上側ハウジング２１の外側面に設けられた外
側撮像部２３の左右の撮像部を上側ハウジング２１の内側面に投影した場合、当該投影し
た左右の撮像部の中間に、内側撮像部２４が設けられる。図３（ｂ）で示される破線２４
は、上側ハウジング２１の内側面に存在する内側撮像部２４を表している。
【００５９】
このように、内側撮像部２４は、外側撮像部２３とは反対方向を撮像する。内側撮像部
２４は、上側ハウジング２１の内側面であって、外側撮像部２３の左右の撮像部の中間位
置の裏側に設けられる。これにより、ユーザが上側ＬＣＤ２２を正視した際、内側撮像部
２４でユーザの顔を正面から撮像することができる。また、外側撮像部２３の左右の撮像
部と内側撮像部２４とが上側ハウジング２１の内部で干渉することがないため、上側ハウ
ジング２１を薄く構成することが可能となる。
【００６０】
３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表
示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は
、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために
用いられる。図１〜図３に示されるように、３Ｄ調整スイッチ２５は、上側ハウジング２
１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤ２２を正視した場合に、
当該３Ｄ調整スイッチ２５を視認できる位置に設けられる。また、３Ｄ調整スイッチ２５
の操作部は、内側面および右側面の両方に突出しており、どちらからも視認および操作す
ることができる。なお、３Ｄ調整スイッチ２５以外のスイッチは全て下側ハウジング１１
に設けられる。
【００６１】
３Ｄ調整スイッチ２５は、図１および図２に示されるように、上側ハウジング２１の正
面および右側面から視認可能に配置される。３Ｄ調整スイッチ２５のスライダ２５ａは、
所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に
応じて上側ＬＣＤ２２の表示モードが設定されたり、立体画像の立体感が調整されてもよ
い。例えば、３Ｄ調整スイッチ２５のスライダ２５ａの位置に応じて、後述する仮想カメ
ラ（仮想ステレオカメラ）のカメラ間距離が設定されてもよい。また、当該仮想ステレオ
カメラの左仮想カメラによって撮像された左目用画像と右仮想カメラによって撮像された
右目用画像との位置関係が調整されてもよい。具体的には、例えば、３Ｄ調整スイッチ２
５のスライダ２５ａが最上点（図１および図２では上方向）に存在する場合、上記左目用
画像と右目用画像との横方向（上側ＬＣＤ２２の画面の横方向；図１の左右方向）の位置
のずれが上限値に設定される。このように左目用画像と右目用画像の横方向のずれが上限
値に設定されると、２つの画像の視差がより大きくなる。このため、ユーザが視差バリア
を通して上側ＬＣＤ２２に表示された２つの画像を見ると、上側ＬＣＤ２２の画面から画
像がより手前方向に飛び出したように見える。このように、３Ｄ調整スイッチ２５を用い
て、２つの画像の視差が調整されてもよい。
【００６２】
３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードか否かを示す。３Ｄインジ
ケータ２６は、ＬＥＤであり、上側ＬＣＤ２２の立体表示モードが有効の場合に点灯する
。なお、３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードになっており、かつ
、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにし
てもよい。図１に示されるように、３Ｄインジケータ２６は、上側ハウジング２１の内側
面に設けられ、上側ＬＣＤ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤ
２２の画面を正視した場合、ユーザは３Ｄインジケータ２６を視認しやすい。従って、ユ
ーザは上側ＬＣＤ２２の画面を視認している状態でも、上側ＬＣＤ２２の表示モードを容
易に認識することができる。
【００６３】
また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられる。後述するス
ピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。
【００６４】
（ゲーム装置１０の内部構成）
次に、図４を参照して、ゲーム装置１０の内部の電気的構成について説明する。図４は
、ゲーム装置１０の内部構成を示すブロック図である。図４に示すように、ゲーム装置１
０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインター
フェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用
内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイム
クロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、およびインターフェイス回
路（Ｉ／Ｆ回路）４１等の電子部品を備えている。これらの電子部品は、電子回路基板上
に実装されて下側ハウジング１１（または上側ハウジング２１でもよい）内に収納される
。
【００６５】
情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒ
ｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒ
ｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。本実施形態では、所
定のプログラムがゲーム装置１０内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された
外部メモリ４４やデータ保存用内部メモリ３５）に記憶されている。情報処理部３１のＣ
ＰＵ３１１は、当該所定のプログラムを実行することによって、後述する画像処理（図１
２）を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは
、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部３１は、
ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部３１のＧＰＵ３１２は、情報
処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する
。そして、情報処理部３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側Ｌ
ＣＤ２２及び／又は下側ＬＣＤ１２に出力し、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２
に当該画像が表示される。
【００６６】
情報処理部３１には、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メ
モリＩ／Ｆ３４、および、データ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ
３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、デ
ータ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続する
ためのインターフェイスである。
【００６７】
メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域
として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、上記画像処
理に用いられる各種データを一時的に記憶したり、外部（外部メモリ４４や他の機器等）
から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ３
２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
【００６８】
外部メモリ４４は、情報処理部３１によって実行されるプログラムを記憶するための不
揮発性の記憶手段である。外部メモリ４４は、例えば読み取り専用の半導体メモリで構成
される。外部メモリ４４が外部メモリＩ／Ｆ３３に接続されると、情報処理部３１は外部
メモリ４４に記憶されたプログラムを読み込むことができる。情報処理部３１が読み込ん
だプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ４
５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成さ
れ、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４５に
は、外側撮像部２３で撮像された画像や他の機器で撮像された画像が記憶される。データ
保存用外部メモリ４５がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部
３１はデータ保存用外部メモリ４５に記憶された画像を読み込み、上側ＬＣＤ２２及び／
又は下側ＬＣＤ１２に当該画像を表示することができる。
【００６９】
データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フ
ラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、デー
タ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウン
ロードされたデータやプログラムが格納される。
【００７０】
無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方
式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、
所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機
能を有する。無線通信モジュール３６およびローカル通信モジュール３７は情報処理部３
１に接続される。情報処理部３１は、無線通信モジュール３６を用いてインターネットを
介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同
種の他のゲーム装置との間でデータを送受信したりすることができる。
【００７１】
また、情報処理部３１には、加速度センサ３９が接続される。加速度センサ３９は、３
軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速
度センサ３９は、下側ハウジング１１の内部に設けられる。加速度センサ３９は、図１に
示すように、下側ハウジング１１の長辺方向をｘ軸、下側ハウジング１１の短辺方向をｙ
軸、下側ハウジング１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線
加速度の大きさを検出する。なお、加速度センサ３９は、例えば静電容量式の加速度セン
サであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度セ
ンサ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部３１は
、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム
装置１０の姿勢や動きを検出する。本実施形態では、情報処理部３１は、加速度センサ３
９が検出した加速度に基づいて、ゲーム装置１０の姿勢（傾き）を判定する。
【００７２】
また、情報処理部３１には、ＲＴＣ３８および電源回路４０が接続される。ＲＴＣ３８
は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によ
って計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置
１０が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御
し、ゲーム装置１０の各部品に電力を供給する。
【００７３】
また、情報処理部３１には、Ｉ／Ｆ回路４１が接続される。Ｉ／Ｆ回路４１には、マイ
ク４２およびスピーカ４３が接続される。具体的には、Ｉ／Ｆ回路４１には、図示しない
アンプを介してスピーカ４３が接続される。マイク４２は、ユーザの音声を検知して音声
信号をＩ／Ｆ回路４１に出力する。アンプは、Ｉ／Ｆ回路４１からの音声信号を増幅し、
音声をスピーカ４３から出力させる。また、タッチパネル１３はＩ／Ｆ回路４１に接続さ
れる。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制
御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、
音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声
データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づ
いて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置デ
ータは、タッチパネル１３の入力面において入力が行われた位置の座標を示す。なお、タ
ッチパネル制御回路は、タッチパネル１３からの信号の読み込み、および、タッチ位置デ
ータの生成を所定時間に１回の割合で行う。情報処理部３１は、タッチ位置データを取得
することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。
【００７４】
操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、情報処理部３１に接続
される。操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する
入力状況（押下されたか否か）を示す操作データが出力される。情報処理部３１は、操作
ボタン１４から操作データを取得することによって、操作ボタン１４に対する入力に従っ
た処理を実行する。
【００７５】
下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。下側ＬＣＤ１２
および上側ＬＣＤ２２は、情報処理部３１（のＧＰＵ３１２）の指示に従って画像を表示
する。
【００７６】
具体的には、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と
接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側
ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格
納された右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的には、
ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す
処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に
繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これ
により、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分
割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置さ
れた画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリア
を介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユ
ーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可
能な画像が表示される。
【００７７】
外側撮像部２３および内側撮像部２４は、情報処理部３１に接続される。外側撮像部２
３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像
データを情報処理部３１に出力する。例えば、情報処理部３１は外側撮像部２３および内
側撮像部２４のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を
撮像して画像データを情報処理部３１に送る。例えば、ユーザによるタッチパネル１３を
用いたタッチ操作によって使用する撮像部が選択される。撮像部が選択されたことを情報
処理部３１（ＣＰＵ３１１）が検知し、情報処理部３１が外側撮像部２３または内側撮像
部２４に対して撮像指示を行う。
【００７８】
３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、ス
ライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。
【００７９】
また、３Ｄインジケータ２６は、情報処理部３１に接続される。情報処理部３１は、３
Ｄインジケータ２６の点灯を制御する。本実施形態では、情報処理部３１は、上側ＬＣＤ
２２が立体表示モードである場合、３Ｄインジケータ２６を点灯させる。以上がゲーム装
置１０の内部構成の説明である。
【００８０】
また、情報処理部３１には、角速度センサ４６が接続される。角速度センサ４６は、各
軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置１０は、角速度センサ４６
が逐次検出する角速度に基づいて、実空間におけるゲーム装置１０の姿勢を算出すること
ができる。具体的には、ゲーム装置１０は、角速度センサ４６によって検出された各軸周
りの角速度を時間で積分することによって、各軸周りのゲーム装置１０の回転角を算出す
ることができる。
【００８１】
（ゲーム処理の概要）
次に、本実施形態に係るゲーム装置１０において実行されるゲームの概要について説明
する。本実施形態に係るゲームでは、実空間の平面（例えば、テーブル）上にマーカが載
置され、当該マーカを外側撮像部２３を用いて撮像した場合に、釣りざおと仮想オブジェ
クトとしての魚とが、実空間を撮像した実画像に重畳されて上側ＬＣＤ２２に表示される
。そして、ユーザが所定の操作を行うと、釣り糸の先端部分が上記平面に接触し、実空間
の平面が波打つような様子が上側ＬＣＤ２２に表示される。以下では、まず、ゲーム装置
１０に表示される画像について説明した後、実空間の平面が波打つような表示をさせるた
めの処理について、説明する。
【００８２】
図５は、本実施形態に係るゲームが実行された場合において、実空間に予め配置された
マーカ６１を外側撮像部２３で撮像したときに上側ＬＣＤ２２に表示される画像の一例を
示す図である。
【００８３】
図５に示すように、外側撮像部２３の撮像方向の実空間の平面（テーブル等（図示せず
））上には、マーカ６１が配置される。マーカ６１は、長方形の紙であって、その中心に
矢印が描かれている。マーカ６１の中心に描かれた矢印の方向は、マーカ６１の長辺と平
行である。ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、外側撮像部２３によっ
て撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって
、当該画像に含まれるマーカ６１を検出することができる。外側撮像部２３によって撮像
された画像中にマーカ６１が検出された場合、上側ＬＣＤ２２には、釣りざおオブジェク
ト５１および魚オブジェクト５２が表示される。具体的には、マーカ６１が検出された場
合、上側ＬＣＤ２２には、外側撮像部２３によって撮像された実画像（マーカ６１と背景
を含む実空間を撮像した画像）に、釣りざおオブジェクト５１および魚オブジェクト５２
が重畳表示される。外側撮像部２３によって撮像された画像中にマーカ６１が検出されな
い場合は、上側ＬＣＤ２２にマーカ６１が検出されていないことを示すメッセージが表示
されて、釣りざおオブジェクト５１は表示されない。
【００８４】
外側撮像部２３は、ユーザの左目に視認される左目用実画像と、ユーザの右目に視認さ
れる右目用実画像とを撮像し、上側ＬＣＤ２２には、これら２つの画像が表示される。従
って、図５に示す上側ＬＣＤ２２に表示された画像は、立体視可能な画像（立体画像）で
ある。
【００８５】
図５に示す画像が上側ＬＣＤ２２に表示された場合において、ユーザが所定の操作を行
うと、釣りざおオブジェクト５１の釣り糸の先端部分が下方に移動して、マーカ６１が載
置された平面と接触し、当該平面が波打つような画像が表示される。所定の操作としては
、例えば、ゲーム装置１０の外側撮像部２３をマーカ６１に近づけたり、ゲーム装置１０
をマーカ６１が載置された平面に平行になるように傾けたりする操作である。
【００８６】
図６は、ユーザが所定の操作を行った場合に、マーカ６１が載置された平面が波打つ様
子を示した図である。図６に示すように、ユーザが所定の操作を行うと、上側ＬＣＤ２２
には、マーカ６１が載置された実空間の平面が波打つような画像が表示される。具体的に
は、外側撮像部２３によって左目用実画像と右目用実画像とが撮像され、当該撮像された
２つの画像がそれぞれ変形されるため、実空間の平面が立体的に波打つように表示される
。
【００８７】
なお、マーカ６１には、マーカ座標系が設定される。図７は、マーカ座標系の定義を示
す図である。図７に示すように、マーカ座標系は、マーカ６１の中心を原点としたＸＹＺ
座標系によって定義される。マーカ６１の矢印と同じ方向（前方向）にＺ軸、当該矢印の
方向を基準として右向きに（右方向）にＸ軸、マーカ６１に対して垂直上向き（上方向）
にＹ軸が設定される。このように、実空間に配置されたマーカ６１を基準として仮想空間
の座標系（マーカ座標系）が定義されることにより、実空間と仮想空間とを対応付けるこ
とができる。
【００８８】
上記魚オブジェクト５２は、マーカ座標系で定義された仮想空間に設定される。従って
、ゲーム装置１０（外側撮像部２３）の位置や姿勢を変化させると、魚オブジェクト５２
の見え方も変化する。例えば、ユーザがマーカ６１を中心としてゲーム装置１０を９０度
回転させると（Ｙ軸周りにゲーム装置１０を９０度回転させると）、魚オブジェクト５２
は９０度回転して表示される。従って、ユーザは、魚オブジェクト５２が実空間に存在す
るような感覚を得ることができる。なお、ゲーム装置１０の位置を変化させても、釣りざ
おオブジェクト５１は変化しない（ユーザが釣りざおオブジェクト５１を把持しているよ
うに、ユーザの実空間における位置に応じて釣りざおオブジェクト５１の仮想空間におけ
る位置も変化する）。
【００８９】
以下、上述のような画像を表示するためにゲーム装置１０において行われる処理につい
て、詳細に説明する。
【００９０】
（ゲーム処理の詳細）
次に、図８から図１１を参照して、本実施形態に係る表示処理の詳細について説明する
。まず、表示処理の際にメインメモリ３２およびＶＲＡＭ３１３（以下、これらを総称し
てＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図８は、ゲーム
装置１０のＲＡＭのメモリマップを示す図である。図８に示されるように、ＲＡＭには、
ゲームプログラム７１、左目用実画像７２Ｌ、右目用実画像７２Ｒ、仮想モデル情報７３
、変形オブジェクト情報７４、左仮想カメラ情報７５Ｌ、右仮想カメラ情報７５Ｒ、左仮
想カメラ画像７６Ｌ、右仮想カメラ画像７６Ｒ、魚オブジェクト情報７７、マスクオブジ
ェクト情報７８等が記憶される。
【００９１】
ゲームプログラム７１は、後述するフローチャートに示されるゲーム処理を情報処理部
３１（ＣＰＵ３１１）に実行させるためのプログラムである。
【００９２】
左目用実画像７２Ｌは、外側撮像部（左）２３ａによって撮像された、実空間を撮像し
た画像である。
【００９３】
右目用実画像７２Ｒは、外側撮像部（右）２３ｂによって撮像された、実空間を撮像し
た画像である。
【００９４】
仮想モデル情報７３は、後述する仮想モデル５５（図１３参照）に関連する情報である
。具体的には、仮想モデル情報７３は、平板状のポリゴンを示すデータであり、頂点Ｐ（
ｉ）（ｉ＝１〜ｎ）を示す情報である。後述するように、仮想モデル５５の各点Ｐは、マ
ーカ座標系の座標値で表される。
【００９５】
変形オブジェクト情報７４は、平板状の仮想モデル５５を変形した変形オブジェクト５
６（図１４参照）に関連する情報である。具体的には、変形オブジェクト情報７４は、頂
点Ｑ（ｉ）（ｉ＝１〜ｎ）および当該頂点Ｑ（ｉ）の法線ベクトルＮ（ｉ）を示す情報で
ある。変形オブジェクト５６の各点Ｑは、マーカ座標系の座標値で表される。
【００９６】
左仮想カメラ情報７５Ｌは、仮想空間のおける左仮想カメラ５３ａ（図１２参照）の位
置および姿勢を表す情報である。具体的には、左仮想カメラ情報７５Ｌは、左目用実画像
７２Ｌにおけるマーカ６１の位置および姿勢に基づいて算出される行列である。
【００９７】
右仮想カメラ情報７５Ｒは、仮想空間のおける右仮想カメラ５３ｂ（図１２参照）の位
置および姿勢を表す情報である。具体的には、右仮想カメラ情報７５Ｒは、右目用実画像
７２Ｒにおけるマーカ６１の位置および姿勢に基づいて算出される行列である。
【００９８】
左仮想カメラ画像７６Ｌは、左仮想カメラ５３ａによって変形オブジェクト５６を撮像
した画像である。
【００９９】
右仮想カメラ画像７６Ｒは、右仮想カメラ５３ｂによって変形オブジェクト５６を撮像
した画像である。
【０１００】
魚オブジェクト情報７７は、仮想空間に配置される魚オブジェクト５２に関する情報で
あり、魚オブジェクト５２の位置や形状を示す情報である。
【０１０１】
マスクオブジェクト情報７８は、仮想空間に配置される魚オブジェクト５２が所定の方
向から見えないようにマスクするためのマスクオブジェクト５７（図２０参照）に関する
情報である。
【０１０２】
（メインフローの説明）
次に、本実施形態に係るゲーム処理の詳細について、図９から図１１を参照して説明す
る。図９は、本実施形態に係るゲーム処理の詳細を示すメインフローチャートである。ゲ
ーム装置１０の電源が投入されると、ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）
は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメ
モリ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリ４４等；コ
ンピュータ読み取り可能な記憶媒体）に記憶されたゲームプログラムがＲＡＭ（具体的に
は、メインメモリ３２）に読み込まれ、情報処理部３１のＣＰＵ３１１によって当該プロ
グラムの実行が開始される。図９のフローチャートに示す処理は、以上の処理が完了した
後に情報処理部３１（ＣＰＵ３１１又はＧＰＵ３１２）によって行われる。
【０１０３】
なお、図９では、本発明に直接関連しない処理については記載を省略する。また、図９
では、外側撮像部２３によって実空間に存在するマーカ６１が撮像されたことを前提とし
て説明する。また、図９に示すステップＳ２〜ステップＳ１０の処理ループは、１フレー
ム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に繰り返し実行される。
【０１０４】
まず、ステップＳ１において、情報処理部３１は、仮想モデル５５等を設定する。具体
的には、情報処理部３１は、仮想モデル５５を表す各点Ｐの座標（マーカ座標系における
座標）を予め定められた値に設定して、ＲＡＭに記憶する。具体的には、各点Ｐは、マー
カ座標系のＸＺ平面上に設定される。また、情報処理部３１は、変形オブジェクト５６を
表す各点Ｑの座標を予め定められた値（点Ｐと同じ値）に設定して、ＲＡＭに記憶する。
また、情報処理部３１は、仮想モデル５５の端部にマスクオブジェクト５７を設定する。
【０１０５】
図１３は、仮想モデル５５を示す図である。図１３に示すように、仮想モデル５５は、
ｎ個の頂点Ｐによって構成される平板状のポリゴンであり、マーカ座標系（ＸＹＺ座標系
）のＸＺ平面（実空間におけるマーカ６１が載置された平面）上に配置される。ステップ
Ｓ１の後、情報処理部３１は、次にステップＳ２の処理を実行する。
【０１０６】
ステップＳ２において、情報処理部３１は、実カメラ画像を取得する。具体的には、情
報処理部３１は、外側撮像部（左）２３ａによって撮像された左目用実画像７２Ｌを取得
して、ＲＡＭに記憶する。また、情報処理部３１は、外側撮像部（右）２３ｂによって撮
像された右目用実画像７２Ｒを取得して、ＲＡＭに記憶する。次に、情報処理部３１は、
ステップＳ３の処理を実行する。
【０１０７】
ステップＳ３において、情報処理部３１は、マーカ認識処理を実行する。マーカ認識処
理は、ステップＳ２で取得した左目用実画像７２Ｌおよび右目用実画像７２Ｒを用いて、
２つの画像に含まれるマーカ６１を認識して、仮想カメラ（左仮想カメラ５３ａおよび右
仮想カメラ５３ｂ）を設定する処理である。ステップＳ３におけるマーカ認識処理の詳細
を、図１０を参照して説明する。
【０１０８】
図１０は、マーカ認識処理（ステップＳ３）の詳細を示すフローチャートである。
【０１０９】
ステップＳ２１において、情報処理部３１は、実カメラとマーカとの位置関係を算出す
る。具体的には、情報処理部３１は、まず、パターンマッチング手法等によって左目用実
画像７２Ｌに含まれるマーカを認識する。そして、情報処理部３１は、左目用実画像７２
Ｌに含まれるマーカの当該左目用実画像７２Ｌにおける位置や大きさ、形状、および、マ
ーカの矢印の方向等に基づいて、外側撮像部（左）２３ａと実空間に存在するマーカ６１
との位置関係を算出する。ここで、外側撮像部（左）２３ａとマーカ６１との位置関係と
は、マーカ６１および外側撮像部（左）２３ａの何れか一方を基準とした場合の他方の３
次元の位置および姿勢である。
【０１１０】
図１２は、マーカ６１と外側撮像部（左）２３ａとの位置関係を示す図である。図１２
に示すように、上記位置関係は、マーカ６１に対する外側撮像部（左）２３ａの相対的な
位置および姿勢である。同様に、情報処理部３１は、右目用実画像７２Ｒを用いて、外側
撮像部（右）２３ｂと実空間に存在するマーカ６１との位置関係を算出する。ここでは、
マーカ６１を基準とした外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの相対的
な位置および姿勢が行列としてそれぞれ算出される。
【０１１１】
より具体的には、ステップＳ２１においては、マーカの認識結果に基づいて、マーカ座
標系が設定されるとともに、マーカ６１と外側撮像部（左）２３ａとの位置関係が算出さ
れる（図１２参照）。図１２に示すように、マーカ座標系の原点は、マーカ６１の中心に
設定される。また、マーカ座標系のＺ軸は、マーカ６１の矢印の方向と平行に設定され（
マーカ６１の長辺と平行に設定され）、マーカ座標系のＸ軸は、当該矢印の方向と垂直で
あって、当該矢印の方向を基準として右向きに設定される（マーカ６１の短辺と平行に設
定される）。また、Ｙ軸は、マーカ６１に対して垂直上向きに設定される（長方形のマー
カ６１の上向きの法線方向に設定される）。マーカ座標系は、仮想空間を定義する座標系
であり、実空間と仮想空間とを対応付ける。すなわち、マーカ座標系における原点は、仮
想空間の原点であって、実空間におけるマーカ６１の中心でもある。
【０１１２】
そして、マーカ６１に対する外側撮像部（左）２３ａの相対的な位置および姿勢を表す
行列が算出される。図１２に示すように、外側撮像部（左）２３ａの位置および姿勢を表
す行列は、仮想空間におけるマーカ座標系で表された座標を、外側撮像部（左）２３ａの
位置および姿勢を基準とした外側撮像部（左）座標系で表される座標へと変換するための
座標変換行列である。ステップＳ２１においては、左目用実画像７２Ｌに含まれるマーカ
に基づいて外側撮像部（左）２３ａの位置および姿勢を表す行列が算出され、右目用実画
像７２Ｒに含まれるマーカに基づいて外側撮像部（右）２３ｂの位置および姿勢を表す行
列が算出される。
【０１１３】
なお、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、これらの撮像方向が
平行で、かつ、撮像方向に対して回転しないようにして配設されている。すなわち、外側
撮像部（左）２３ａの姿勢と外側撮像部（右）２３ｂの姿勢とは常に一致する。また、外
側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、所定の間隔で配置されている。こ
のため、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの取りつけ誤差が全くな
いと仮定すると、例えば、左目用実画像７２Ｌに基づいて外側撮像部（左）２３ａの位置
および姿勢が算出されると、右目用実画像７２Ｒを用いなくても、外側撮像部（右）２３
ｂの位置および姿勢は算出可能である。また、外側撮像部（左）２３ａおよび外側撮像部
（右）２３ｂの取りつけ誤差を考慮して、当該誤差を求めるために、左目用実画像７２Ｌ
に基づいて外側撮像部（左）２３ａの位置および姿勢を算出し、右目用実画像７２Ｒに基
づいて外側撮像部（右）２３ｂの位置および姿勢を算出してもよい。例えば、一定期間、
左目用実画像７２Ｌおよび右目用実画像７２Ｒに基づいて、外側撮像部（左）２３ａおよ
び外側撮像部（右）２３ｂの位置等をそれぞれ算出して上記誤差を算出してもよい。そし
て、左目用実画像７２Ｌ（又は右目用実画像７２Ｒ）を用いて外側撮像部（左）２３ａの
位置および姿勢を算出するとともに、当該算出した外側撮像部（左）２３ａの位置および
姿勢と上記誤差とに基づいて、外側撮像部（右）２３ｂの位置および姿勢を算出してもよ
い。ステップＳ２１の後、情報処理部３１は、次にステップＳ２２の処理を実行する。
【０１１４】
ステップＳ２２において、情報処理部３１は、左右の仮想カメラの位置および姿勢を決
定する。ここでは、左右の仮想カメラの位置および姿勢は、外側撮像部２３の位置および
姿勢と一致する。すなわち、左仮想カメラ５３ａの仮想空間における位置および姿勢は、
外側撮像部（左）２３ａの位置および姿勢と一致するように設定される（図１２参照）。
また、右仮想カメラ５３ｂの仮想空間における位置および姿勢は、外側撮像部（右）２３
ｂの位置および姿勢と一致するように設定される。具体的には、左仮想カメラ５３ａの位
置および姿勢は、行列（左ビュー行列）として表され、ステップＳ２１で算出された外側
撮像部（左）２３ａの位置および姿勢を表す行列が、左仮想カメラ情報７５ＬとしてＲＡ
Ｍに保存される。同様に、右仮想カメラ５３ｂの位置および姿勢は、行列（右ビュー行列
）として表され、ステップＳ２１で算出された外側撮像部（右）２３ｂの位置および姿勢
を表す行列が、右仮想カメラ情報７５ＲとしてＲＡＭに保存される。なお、上述のように
外側撮像部（左）２３ａの姿勢と外側撮像部（右）２３ｂの姿勢とは常に一致するため、
左仮想カメラ５３ａの姿勢と右仮想カメラ５３ｂの姿勢とも一致する。ステップＳ２２の
処理の後、情報処理部３１は、マーカ認識処理を終了する。
【０１１５】
図９に戻り、情報処理部３１は、ステップＳ３の処理の後、ステップＳ４の処理を実行
する。
【０１１６】
ステップＳ４において、情報処理部３１は、魚オブジェクト５２を仮想空間に設定する
。具体的には、情報処理部３１は、仮想モデル５５よりもＹ軸負方向の位置に魚オブジェ
クト５２を配置する。なお、魚オブジェクト５２は、所定の規則に従って、仮想空間内を
移動する。次に、情報処理部３１は、ステップＳ５の処理を実行する。
【０１１７】
ステップＳ５において、情報処理部３１は、変形オブジェクトを変形させる。図１４は
、変形オブジェクト５６を示す図である。変形オブジェクト５６は、上記仮想モデル５５
を変形させたオブジェクトである。図１４に示すように、変形オブジェクト５６は、上記
仮想モデル５５の各点Ｐをマーカ座標系の上下方向（Ｙ軸正方向または負方向）に移動さ
せた場合に生成されるオブジェクトである。具体的には、情報処理部３１は、変形オブジ
ェクト５６の頂点Ｑ（ｉ）（ｉ＝１〜ｎ）について、所定のパターンで上下方向に移動さ
せる。例えば、情報処理部３１は、マーカ座標系の所定点から各頂点Ｑまでの距離に応じ
て、移動方向（Ｙ軸正方向または負方向）および移動距離を示す移動ベクトルを頂点Ｑ毎
に決定する。そして、情報処理部３１は、現在の各頂点Ｑの座標に決定した各移動ベクト
ルを加えることにより、各頂点Ｑを移動させる（各頂点Ｑの座標値を更新して、ＲＡＭに
記憶する）。
【０１１８】
なお、ステップＳ５において、情報処理部３１は、変形オブジェクト５６の端部を除く
点のみを移動させる。すなわち、図１４に示す変形オブジェクト５６の境界（変形オブジ
ェクト５６の外縁）の各頂点の座標は、変化しない。逆に、変形オブジェクト５６の境界
を変形させた場合において、後述するステップＳ７やＳ８において変形オブジェクト５６
を仮想カメラで撮像すると、当該仮想カメラで撮像した画像と実画像と重ね合わせた場合
に、境界部分の整合性が保たれないため、不自然な画像となることがある。具体的には、
境界部分が大きく変形すると、変形オブジェクト５６の外側の境界部分近傍では変形せず
、変形オブジェクト５６の境界部分が変形するため、当該境界部分において不連続となり
、違和感のある画像となる。しかしながら、本実施形態では、変形オブジェクト５６の境
界を変形させないため、境界部分においても自然な画像となる。
【０１１９】
情報処理部３１は、次にステップＳ６の処理を実行する。
【０１２０】
ステップＳ６において、情報処理部３１は、各頂点Ｑの法線を算出する。ここでは、情
報処理部３１は、ステップＳ５で更新した頂点Ｑ（ｉ）の法線ベクトルＮ（ｉ）を算出し
、ＲＡＭに記憶する。情報処理部３１は、次にステップＳ７の処理を実行する。
【０１２１】
ステップＳ７において、情報処理部３１は、左仮想カメラ画像生成処理を実行する。ス
テップＳ７における左仮想カメラ画像生成処理の詳細を、図１１を参照して説明する。
【０１２２】
図１１は、左仮想カメラ画像生成処理（ステップＳ７）の詳細を示すフローチャートで
ある。
【０１２３】
まず、ステップＳ３１において、情報処理部３１は、変数ｉを０にセットしてＲＡＭに
記憶する。次に、情報処理部３１は、ステップＳ３２の処理を実行する。
【０１２４】
ステップＳ３２において、情報処理部３１は、仮想モデル５５の頂点Ｐ（ｉ）のテクス
チャ座標Ｔ（ｉ）を算出する。ここでは、仮想空間に配置された仮想モデル５５の頂点Ｐ
（ｉ）（マーカ座標系）の左目用実画像７２Ｌにおける位置（Ｔ（ｉ））が算出される。
【０１２５】
図１５は、頂点Ｐ（ｉ）のテクスチャ座標Ｔ（ｉ）を示す図である。図１５に示すよう
に、テクスチャ座標Ｔ（ｉ）は、左目用実画像７２Ｌ上の位置を示す座標である。具体的
には、情報処理部３１は、マーカ座標系で表された仮想モデル５５の頂点Ｐ（ｉ）に、左
仮想カメラ５３ａの左ビュー行列（ステップＳ３で算出された行列；左仮想カメラ情報７
５Ｌ）、および、射影行列をかけることによって上側ＬＣＤ２２の表示上の座標（上側Ｌ
ＣＤ２２の画面の左下を原点とする座標）を求める。そして、情報処理部３１は、求めら
れた表示上の座標に所定の変換を行うことにより、左目用実画像７２Ｌ上の座標Ｔ（ｉ）
（左目用実画像７２Ｌの左下を原点とした位置）を算出する。図１５に示すように、左目
用実画像７２Ｌは、上側ＬＣＤ２２の画面サイズよりも大きく設定されているため、表示
上の座標を左目用実画像７２Ｌ上（ＴｘＴｙ座標系）の座標に変換することにより、テク
スチャ座標Ｔが求められる。次に、情報処理部３１は、ステップＳ３３の処理を実行する
。
【０１２６】
ステップＳ３３において、情報処理部３１は、変数ｉをインクリメントし、次に、ステ
ップＳ３４の処理を実行する。
【０１２７】
ステップＳ３４において、情報処理部３１は、ｉがｎと等しいか否かを判定し、判定結
果が肯定の場合は、次にステップＳ３５の処理を実行する。判定結果が否定の場合は、情
報処理部３１は、ステップＳ３２の処理を再び実行する。ステップＳ３２〜Ｓ３４の処理
が繰り返し実行されることによって、仮想モデル５５の全ての頂点Ｐについてテクスチャ
座標Ｔが求められる。
【０１２８】
ステップＳ３５において、情報処理部３１は、変形オブジェクト５６に左目用実画像７
２Ｌの各テクスチャ座標に対応する領域の画像をテクスチャとして適用して、左仮想カメ
ラで撮像する。具体的には、情報処理部３１は、変形オブジェクト５６の頂点Ｑ（ｉ）に
テクスチャ座標Ｔ（ｉ）を設定してテクスチャマッピングを行い、左仮想カメラ５３ａで
撮像する。そして、情報処理部３１は、撮像した画像を左仮想カメラ画像７６ＬとしてＲ
ＡＭに記憶する。ここでの処理は、ステップＳ３２〜Ｓ３４の処理で算出したテクスチャ
座標Ｔに応じた左テクスチャ領域に含まれる画像を、左目用実画像７２Ｌから切り取って
変形オブジェクト５６に貼り付けることに対応する。以下、ステップＳ３５における処理
の概要を図１６および図１７を用いて説明する。
【０１２９】
図１６は、ステップＳ３５における処理を概念的に表す図であり、左目用実画像７２Ｌ
から左テクスチャ領域の画像を切り取る様子を示す図である。図１６に示すように、テク
スチャ座標Ｔ（ｉ）に対応する左テクスチャ領域の画像ａｉ（テクスチャ座標Ｔ（ｉ）を
含む平行四辺形の画像）が、左目用実画像７２Ｌから切り取られる（コピーされる）。次
に、切り取られた各画像が変形オブジェクト５６に貼り付けられる。
【０１３０】
図１７は、ステップＳ３５における処理を概念的に表す図であり、図１６に示す切り取
られた左テクスチャ領域の画像ａｉを変形オブジェクト５６に張り付ける様子を示す図で
ある。図１７に示すように、切り取られた左テクスチャ領域の画像ａｉが変形オブジェク
ト５６にテクスチャとして適用されて左仮想カメラ５３ａで撮像されると、当該画像ａｉ
は、変形する（画像ａｉ’）。このようにして、切り取られた各左テクスチャ領域の画像
が変形オブジェクト５６に張り付けられる。
【０１３１】
ステップＳ３５で生成される左仮想カメラ画像７６Ｌは、左目用実画像７２Ｌにおける
仮想モデル５５に対応する領域（左目用実画像７２Ｌのうち、仮想モデル５５を左仮想カ
メラ５３ａで撮像した場合のレンダリング画像上の当該仮想モデル５５の位置および輪郭
に対応する領域）が変形した画像である。上述のように仮想モデル５５は、マーカ座標系
のＸＺ平面上に配置される（マーカ６１が載置された実空間の平面（テーブル）上に配置
される）。このため、左仮想カメラ画像７６Ｌは、ＸＺ平面（実空間の平面）が変形した
ような画像となる。
【０１３２】
なお、ステップＳ３５においては、変形オブジェクト５６の形状に応じて、影が付され
る。上述のようにステップＳ６において変形オブジェクト５６の各頂点Ｑの法線ベクトル
が算出されているため、仮想光源で変形オブジェクト５６を照らしたときに生成される影
を計算することができる。また、ステップＳ３５においては、魚オブジェクト５２も左仮
想カメラ５３ａで撮像されるため、上記左仮想カメラ画像７６Ｌには、魚オブジェクト５
２の画像も含まれる。
【０１３３】
以上のようにして、左仮想カメラ画像７６Ｌを生成した後、情報処理部３１は、左仮想
カメラ画像生成処理を終了する。
【０１３４】
図９に戻り、情報処理部３１は、次にステップＳ８の処理を実行する。ステップＳ８に
おいて、情報処理部３１は、右仮想カメラ画像生成処理を実行する。右仮想カメラ画像生
成処理は、ステップＳ７と同様の処理であるが、ステップＳ８では、右目用実画像７２Ｒ
から切り取られたテクスチャ領域の画像が変形オブジェクト５６にテクスチャとして適用
されて、右仮想カメラ５３ｂで撮像される。
【０１３５】
ステップＳ８では、まず、情報処理部３１は、右目用実画像７２Ｒにおけるテクスチャ
座標Ｔを算出する。より具体的には、マーカ座標系で表された仮想モデル５５の各頂点Ｐ
に、右仮想カメラ５３ｂの右ビュー行列（ステップＳ３で算出された行列；右仮想カメラ
情報７５Ｒ）、および、射影行列をかけて上側ＬＣＤ２２の表示上の座標を求め、右目用
実画像７２Ｒ上のテクスチャ座標を求める。そして、情報処理部３１は、変形オブジェク
ト５６の各頂点にテクスチャ座標を設定してテクスチャマッピングを行い、右仮想カメラ
５３ｂで撮像する（右目用実画像７２Ｒから各右テクスチャ領域の画像を切り取って、変
形オブジェクト５６に貼り付ける）。このようにして、情報処理部３１は、右仮想カメラ
画像７６Ｒを生成し、ＲＡＭに記憶する。なお、ステップＳ３５と同様に、魚オブジェク
ト５２も右仮想カメラ５３ｂで撮像されるため、上記右仮想カメラ画像７６Ｒには、魚オ
ブジェクト５２の画像も含まれる。
【０１３６】
図１８は、右目用実画像７２Ｒから右テクスチャ領域の画像を切り取る様子を示す図で
ある。右目用実画像７２Ｒと左目用実画像７２Ｌとは視差があるため、右目用実画像７２
Ｒは左目用実画像７２Ｌとは異なる画像である。図１６および図１８に示すように、仮想
モデルの頂点Ｐ（ｉ）の右目用実画像７２Ｒ上の位置Ｔ（ｉ）は、左目用実画像７２Ｌ上
の位置Ｔ（ｉ）とは異なる。従って、右目用実画像７２Ｒから切り取られる右テクスチャ
領域の画像ｂｉは、左目用実画像７２Ｌから切り取られる左テクスチャ領域の画像ａｉと
は異なる形状となる。例えば、右テクスチャ領域の画像ｂｉは、左テクスチャ領域の画像
ａｉよりも歪んだ形状となる（図１６に示す画像ａｉと図１８に示す画像ｂｉとを比較す
ると、画像ａｉの方が、画像ｂｉよりも正方形に近い形状となっている）。そして、右目
用実画像７２Ｒから切り取られた各右テクスチャ領域の画像が、変形オブジェクト５６に
テクスチャとして適用されて右仮想カメラ５３ｂで撮像されるため、上記左テクスチャ領
域の画像と同様に、各右テクスチャ領域の画像は変形する。図１９は、図１８に示す切り
取られた右テクスチャ領域の画像ｂｉを変形オブジェクト５６に張り付ける様子を示す図
である。図１９に示すように、切り取られた右テクスチャ領域の画像ｂｉが変形オブジェ
クト５６にテクスチャとして適用されて右仮想カメラ５３ｂで撮像されると、当該画像ｂ
ｉは、変形する（画像ｂｉ’）。このようにして、右目用実画像７２Ｒから切り取られた
各右テクスチャ領域の画像が変形オブジェクト５６に張り付けられる。
【０１３７】
ステップＳ８で生成される右仮想カメラ画像７６Ｒは、ステップＳ７で生成された左仮
想カメラ画像７６Ｌと同様、ＸＺ平面（実空間の平面）が変形したような画像である。右
仮想カメラ画像７６Ｒは、左仮想カメラ画像７６Ｌとは異なる画像であり、これらの画像
には視差がある。
【０１３８】
ステップＳ８の後、情報処理部３１は、次にステップＳ９の処理を実行する。
【０１３９】
ステップＳ９において、情報処理部３１は、実画像と仮想カメラ画像とを重ね合わせて
、重畳画像を生成する。具体的には、情報処理部３１は、ステップＳ２で取得した左目用
実画像７２Ｌと、ステップＳ７で生成した左仮想カメラ画像７６Ｌとを重ね合わせた左目
用重畳画像を生成する。また、情報処理部３１は、ステップＳ２で取得した右目用実画像
７２Ｒと、ステップＳ８で生成した右仮想カメラ画像７６Ｒとを重ね合わせた右目用重畳
画像を生成する。次に、情報処理部３１は、ステップＳ１０の処理を実行する。
【０１４０】
ステップＳ１０において、情報処理部３１は、出力処理を実行する。出力処理が実行さ
れることによって、上側ＬＣＤ２２に立体視可能な画像が表示される。具体的には、情報
処理部３１は、ステップＳ９で生成した２つの重畳画像を上側ＬＣＤ２２に出力する。上
側ＬＣＤ２２に表示された左目用重畳画像は視差バリアを介してユーザの左目で視認され
、右目用重畳画像は視差バリアを介してユーザの右目で視認される。これにより、ユーザ
は立体感のある画像を視認することができる。ステップＳ１０の後、情報処理部３１は、
ステップＳ２の処理を再び実行する。
【０１４１】
なお、上記ステップＳ７およびＳ８においては、仮想カメラの位置や姿勢に応じて、魚
オブジェクト５２はマスクオブジェクト５７によってマスクされて撮像されない場合があ
る。図２０は、マスクオブジェクト５７によって魚オブジェクト５２がマスクされる場合
を示す図であり、仮想空間をマーカ座標系のＸ軸に平行な方向から見た場合において、魚
オブジェクト５２と仮想カメラの位置関係を示す図である。マスクオブジェクト５７は、
仮想モデル５５（変形オブジェクト５６）の端部に設定される面状の仮想的なオブジェク
トであり、魚オブジェクト５２を非表示にする、上側ＬＣＤ２２には表示されないオブジ
ェクトである。図２０に示すように、仮想カメラＰｃ（左仮想カメラ又は右仮想カメラ）
の位置から魚オブジェクト５２を見た場合、魚オブジェクト５２は、マスクされず上側Ｌ
ＣＤ２２に表示される。しかしながら、仮想カメラＰｃ’の位置から魚オブジェクト５２
を見た場合、魚オブジェクト５２は、マスクオブジェクト５７によってマスクされて、上
側ＬＣＤ２２には表示されない。マスクオブジェクト５７が変形オブジェクト５６の端部
に配置されない場合、仮想カメラＰｃ’の位置から魚オブジェクト５２を見ると、変形オ
ブジェクト５６によって実空間の平面が変形しない領域（すなわち、波が発生しない領域
）の奥方向に魚オブジェクト５２が見え、違和感のある画像になることがある。また、現
実世界においては、水面を見る角度が小さいと（水面を垂直ではなく、水平に近い方向か
ら見ると）、光の反射によって水中の魚を見ることができない。このため、仮想モデル５
５（変形オブジェクト５６）の端部にマスクオブジェクト５７を配置して、仮想カメラＰ
ｃ’からは魚オブジェクト５２が見えないようにする。すなわち、仮想カメラと魚オブジ
ェクト５２との間に変形オブジェクト５６が存在しない場合（仮想カメラと魚オブジェク
ト５２とを結ぶ直線上に変形オブジェクト５６が存在しない場合）、当該魚オブジェクト
５２を非表示にする。
【０１４２】
以上のように、本実施形態では、マーカ６１上にマーカ座標系が設定される。当該マー
カ座標系のＸＺ平面（マーカ６１が載置された平面）に平板状の仮想モデル５５が配置さ
れ、左目用実画像７２Ｌにおける当該仮想モデル５５に対応する領域が左テクスチャ領域
として設定される（左テクスチャ領域の画像として切り出される）。そして、仮想モデル
５５を変形した変形オブジェクト５６に、左テクスチャ領域の画像がテクスチャとして適
用されて、左仮想カメラで撮像されることにより、左仮想カメラ画像が生成される。また
、右目用実画像７２Ｒにおける仮想モデル５５に対応する領域が右テクスチャ領域として
設定される（右テクスチャ領域の画像として切り出される）。そして、仮想モデル５５を
変形した変形オブジェクト５６に、右テクスチャ領域の画像がテクスチャとして適用され
て、右仮想カメラで撮像されることにより、右仮想カメラ画像が生成される。これにより
、実空間上の平面が変形したような画像を生成することができ、上記のようにあたかもマ
ーカ６１が配置された実空間の平面が波打つような様子を表示することができる。
【０１４３】
また、本実施形態では、実空間に配置されたマーカ６１上にマーカ座標系が設定され、
仮想カメラが実カメラの位置および姿勢に対応して設定される。これにより、仮想空間に
存在するオブジェクトがあたかも実空間に存在するような感覚（拡張現実感）を与えるこ
とができる。
【０１４４】
また、本実施形態では、左目用実画像７２Ｌおよび右目用実画像７２Ｒからそれぞれテ
クスチャ領域が設定されて（それぞれテクスチャ画像が切り出されて）、左仮想カメラ画
像および右仮想カメラ画像が生成される。このため、何れか一方の実画像からそれぞれ左
仮想カメラ画像および右仮想カメラ画像を生成する場合よりも、解像度の高い画像となる
。すなわち、例えば、左目用実画像７２Ｌから左テクスチャ領域の画像が切り出されて、
当該左テクスチャ領域の画像を用いて右仮想カメラ画像を生成すると、左目用実画像７２
Ｌおよび右目用実画像７２Ｒは視差があるため、左テクスチャ領域の画像を大きく変形さ
せる必要があり、より多くの画素情報が失われる。
【０１４５】
図２１は、左テクスチャ領域の画像を用いて右仮想カメラ画像を生成した場合に画素情
報が失われることを説明するための図である。図２１に示すように、左テクスチャ領域の
画像を変形して左仮想カメラ画像を生成する場合、当該左テクスチャ領域の画像を変形す
る度合いは比較的小さい。また、同様に、右テクスチャ領域の画像を変形して右仮想カメ
ラ画像を生成する場合、当該左テクスチャ領域の画像を変形する度合いは比較的小さい。
しかしながら、左テクスチャ領域の画像を変形して右仮想カメラ画像を生成する場合、当
該左テクスチャ領域の画像を大きく変形させる必要がある。画像を伸縮させて変形させる
と、当該画像の解像度は低くなる。しかしながら、本実施形態では、左目用実画像７２Ｌ
および右目用実画像７２Ｒからそれぞれテクスチャ画像を切り取るため、このような解像
度の低下を防止することができる。
【０１４６】
また、本実施形態では、変形オブジェクト５６の端部（境界）が変形しないため、実画
像と仮想カメラ画像とが重ね合わされた場合に境界において違和感のない画像にすること
ができる。すなわち、変形オブジェクト５６の境界が変形すると、当該境界において不連
続な画像となることがあるため、実画像と仮想カメラで撮像した画像とを重ね合わせた場
合に違和感のある画像になる。また、例えば、変形しない仮想モデル５５に実画像のテク
スチャを適用した仮想モデル画像と実画像とを重ね合わせると、重ね合わされた領域は一
致する。このため、実画像の一部領域（仮想モデルに対応する領域）が、仮想モデル画像
によって完全に遮られるため、重ね合わされた画像には違和感がない。しかしながら、仮
想モデル５５を変形させた変形オブジェクト５６が、その境界も含めて変形し、当該変形
オブジェクト５６を撮像した変形オブジェクト画像を実画像に重ね合わせると、変形オブ
ジェクト画像によって遮られない実画像の領域が発生する。このため、実画像と変形オブ
ジェクト画像とを重ね合わせた画像には、同じ領域が二重に存在する場合があり、不自然
な画像となる（例えば、変形オブジェクトが仮想モデルよりも小さく変形した場合）。し
かしながら、本実施形態では、変形オブジェクト５６の境界部分は変形しないため、この
ような変形オブジェクトによって遮られない領域は発生しないため、同じ領域が二重に表
示されることなく、自然な画像となる。
【０１４７】
また、左仮想カメラで変形オブジェクトを撮像するときは左目用実画像をテクスチャと
して適用し、右仮想カメラで変形オブジェクトを撮像するときは右目用実画像をテクスチ
ャとして適用することにより、境界における連続性をより保つことができる。すなわち、
例えば、左目用実画像から切り取られたテクスチャを変形オブジェクトに適用して右仮想
カメラで撮像した右仮想カメラ画像を、右目用実画像に重畳した場合、右目用実画像の背
景部分と、変形オブジェクトに対応する部分とがずれることがある（例えば、一方の実カ
メラからしか見えない領域が存在する場合など）。このため、一方の実画像から両方のテ
クスチャを生成すると、境界における連続性を保つことができない。しかしながら、本実
施形態では、両方の実画像からそれぞれテクスチャを生成するため、境界における連続性
を保つことができる。
【０１４８】
（変形例）
なお、本実施形態では、マーカ６１が載置された平面に平板状の仮想モデルを配置して
、当該平面が波打つような表示を行った。他の実施形態では、仮想モデルは平面状ではな
く、曲面状であってもよい（立体物でもよい）。例えば、実空間に存在する立体物（コッ
プや人の顔でもよい）について、当該立体物に沿うように仮想モデルを配置し、仮想モデ
ルを変形させることによって、当該実空間上の立体物が変形する様子が表示されてもよい
。例えば、赤外線等で深度（カメラの奥方向の距離）を測定可能なカメラを用いて、実空
間に存在する立体物の形状を認識し、認識した形状の仮想モデルを仮想空間に設定するこ
とにより、立体物を変形させてもよい。あるいは、外側撮像部２３によって撮像される２
つの画像の視差に基づいて、カメラの奥方向の距離を算出してもよい。また、上記方法を
用いて、実空間の壁が変形する様子を表示したり、カーテンが揺れる様子を表示したりし
てもよい。
【０１４９】
また、他の実施形態では、上述した方法を用いて、実空間の平面や曲面等（テーブルや
人の顔等）ではなく、実空間の一部の空間が変形する様子が表示されてもよい。
【０１５０】
また、本実施形態では、釣りゲームを例にして実空間の平面を水面のように変形させた
が、上述した処理はどのようなゲームにも適用可能である。
【０１５１】
また、本実施形態では、仮想モデルを変形した変形オブジェクトに左右の実画像から切
り出したテクスチャ領域の画像（テクスチャ画像）を張り付けた。他の実施形態では、仮
想モデルは変形しなくてもよい。すなわち、他の実施形態では、左目用実画像から取得し
た左テクスチャ画像を仮想モデルにテクスチャとして適用して左仮想カメラで撮像し、右
目用実画像から取得した右テクスチャ画像を仮想モデルにテクスチャとして適用して右仮
想カメラで撮像してもよい。このようにして、左右の実画像からテクスチャ画像をそれぞ
れ切り出すことにより、実カメラで撮像した画像を仮想モデルのテクスチャとして利用し
て、仮想モデルの立体視画像を生成することができる。仮想モデルとして表示することで
、仮想カメラによる撮影方向を変更したり、ライティングの色や方向を変更したりと言っ
た処理が可能となる。この場合において、本実施形態では左右の実画像からテクスチャ画
像をそれぞれ切り出してテクスチャとして適用する。このため、どちらか一方の画像から
テクスチャ画像を切り出し、当該切り出したテクスチャ画像をテクスチャとして適用して
左右の仮想カメラでそれぞれ撮像する場合に生じる解像度の低下を防止することができる
。
【０１５２】
また、本実施形態では、マーカ６１を外側撮像部２３で撮像することによって、外側撮
像部２３とマーカ６１との位置関係（相対的な位置および姿勢）を算出した。そして、算
出した位置関係に基づいて、仮想空間（マーカ座標系）を設定した。他の実施形態では、
マーカ６１に限らず、他の物体を撮像画像から認識して、上記位置関係が算出されてもよ
い。例えば、実空間に存在する所定の物体（例えば、実空間に存在する椅子やテーブル等
でもよい）をパターンマッチング等の画像認識により検出し、上記位置関係が算出されて
、仮想空間が定義されてもよい。すなわち、他の実施形態では、実空間に存在する特定対
象物（上記マーカや所定の物体）を撮像画像から認識して、当該特定対象物と外側撮像部
２３との位置関係が算出されてもよい。また、特定対象物は、実カメラによって撮像され
た画像に基づいて認識されず、他の認識手段（例えば、超音波センサ等でもよい）によっ
て認識されて、当該特定対象物と外側撮像部２３との位置関係が算出されてもよい。
【０１５３】
また、他の実施形態では、ＧＰＳや加速度センサ、角速度センサ、地磁気センサ等によ
って、実カメラの位置および姿勢が検出されてもよい。そして、検出された位置および姿
勢に基づいて、仮想空間内の仮想カメラの位置および姿勢が設定され、実カメラで撮像し
た画像と仮想カメラで仮想空間を撮像した画像とを重畳してもよい。例えば、実空間に対
応した仮想空間の所定の位置に仮想オブジェクトが配置され、当該仮想空間の所定の位置
に対応する実空間の位置を所定の方向から実カメラで撮影してもよい。この場合、ＧＰＳ
や姿勢検出手段（加速度センサや角速度センサ、地磁気センサ等）によって実カメラの位
置および姿勢を検出することができ、当該実カメラの位置および姿勢に一致するように仮
想空間に仮想カメラを設定することができる。
【０１５４】
また、本実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわ
ち、本実施形態では、外側撮像部２３によって撮像された画像と、仮想カメラ（左右の仮
想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳画
像が上側ＬＣＤ２２に表示された。他の実施形態では、光学シースルー方式により拡張現
実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラを備
えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に相当
するディスプレイ部を通して実空間を視認できるようになっている。このディプレイ部は
、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。
さらに、このディスプレイ部にはコンピュータにより生成した仮想オブジェクトの画像を
表示させることができるようになっている。
【０１５５】
また、他の実施形態では、上述した撮影処理の方法は、ゲーム装置に限らず任意の電子
機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や高
機能携帯電話、カメラ（装置としてのカメラ）等に適用されてもよい。
【０１５６】
また、本実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いら
れた。他の実施形態では、時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）など
の眼鏡を用いて立体表示を行うような場合でも、本発明は適用可能である。
【０１５７】
また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が
各処理を分担して処理することにより、上述した表示処理方法を実現する表示処理システ
ムとして構築されてもよい。例えば、外側撮像部２３が情報処理装置と分離された構成で
あって、外側撮像部２３が情報処理装置に無線等で接続されてもよい。また、情報処理装
置と表示装置が分離された構成で、互いに接続されてもよい。また、外側撮像部２３の位
置および姿勢が情報処理装置と分離した検出手段によって検出され、当該検出結果が情報
処理装置に送信されてもよい。
【０１５８】
また、上記実施形態においては、ゲーム装置１０の情報処理部３１が所定のプログラム
を実行することによって、上述したフローチャートによる処理が行われた。他の実施形態
においては、上記処理の一部又は全部は、ゲーム装置１０が備える専用回路によって行わ
れてもよい。
【０１５９】
また、上記ゲームプログラム（情報処理プログラム）は、上記メモリに限らず、光ディ
スクや磁気ディスク等、コンピュータ読み取り可能な記憶媒体に記憶されてゲーム装置１
０に提供されてもよい。また、例えば、ネットワーク上のサーバのＲＡＭに上記プログラ
ムが記憶され、ゲーム装置１０が当該ネットワークに接続されて、当該プログラムがゲー
ム装置１０に提供されてもよい。
【符号の説明】
【０１６０】
１０ ゲーム装置
１１ 下側ハウジング
１２ 下側ＬＣＤ
１３ タッチパネル
１４ 操作ボタン
１５ アナログスティック
１６ ＬＥＤ
２１ 上側ハウジング
２２ 上側ＬＣＤ
２３ 外側撮像部
２３ａ 外側撮像部（左）
２３ｂ 外側撮像部（右）
２４ 内側撮像部
２５ ３Ｄ調整スイッチ
２６ ３Ｄインジケータ
２８ タッチペン
３１ 情報処理部
３１１ ＣＰＵ
３１２ ＧＰＵ
３２ メインメモリ
５１ 釣りざおオブジェクト
５２ 魚オブジェクト
５３ａ 左仮想カメラ
５３ｂ 右仮想カメラ
５５ 仮想モデル
５６ 変形オブジェクト
５７ マスクオブジェクト
６１ マーカ
【特許請求の範囲】
【請求項１】
実空間を撮像する左実カメラおよび右実カメラと、立体視画像を表示可能な表示手段と
に接続される情報処理装置のコンピュータを、
前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより撮像さ
れた右目用実画像を取得する実画像取得手段、
前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カ
メラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右
仮想カメラを設定する仮想カメラ設定手段、
前記仮想カメラ設定手段によって設定された左仮想カメラから見た場合の、前記仮想空
間における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域と
して設定する左テクスチャ領域設定手段、
前記仮想カメラ設定手段によって設定された右仮想カメラから見た場合の、前記仮想空
間における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域とし
て設定する右テクスチャ領域設定手段、
前記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を
、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適
用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する左
仮想カメラ画像取得手段、
前記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像を
、前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想
カメラ画像を取得する右仮想カメラ画像取得手段、および、
ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視
認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画像
を表示させる表示制御手段、として機能させる、情報処理プログラム。
【請求項２】
前記左テクスチャ領域設定手段は、前記仮想モデルを前記左仮想カメラで撮像した場合
のレンダリング画像上での当該仮想モデルの位置および輪郭に対応する領域を左テクスチ
ャ領域として設定し、
前記右テクスチャ領域設定手段は、前記仮想モデルを前記右仮想カメラで撮像した場合
のレンダリング画像上での当該仮想モデルの位置および輪郭に対応する領域を右テクスチ
ャ領域として設定する、請求項１に記載の情報処理プログラム。
【請求項３】
前記左目用実画像と前記左仮想カメラ画像とを重ね合わせた左目用重畳画像と、前記右
目用実画像と前記右仮想カメラ画像とを重ね合わせた右目用重畳画像とを生成する重畳画
像生成手段、として前記コンピュータを更に機能させ、
前記表示制御手段は、前記左目用重畳画像および前記右目用重畳画像を前記表示手段に
表示させる、請求項１又は２に記載の情報処理プログラム。
【請求項４】
前記仮想モデルを変形した変形オブジェクトを生成し、前記仮想空間に設定する変形オ
ブジェクト設定手段、として前記コンピュータを更に機能させ、
前記左仮想カメラ画像取得手段は、前記左テクスチャ領域設定手段によって設定された
左テクスチャ領域に含まれる画像をテクスチャとして適用した前記変形オブジェクトを前
記左仮想カメラで撮像した左仮想カメラ画像を取得し、
前記右仮想カメラ画像取得手段は、前記右テクスチャ領域設定手段によって設定された
右テクスチャ領域に含まれる画像をテクスチャとして適用した前記変形オブジェクトを前
記右仮想カメラで撮像した右仮想カメラ画像を取得する、請求項３に記載の情報処理プロ
グラム。
【請求項５】
前記仮想モデルは、平面または曲面状の仮想モデルであって、前記実空間の平面または
曲面に沿うようにして前記仮想空間内に設定され、
前記変形オブジェクト設定手段は、前記平面または曲面状の仮想モデルを変形した変形
オブジェクトを生成して、前記仮想空間に設定する、請求項４に記載の情報処理プログラ
ム。
【請求項６】
前記変形オブジェクト設定手段は、前記仮想モデルの端部を除く部分を変形して前記変
形オブジェクトを生成する、請求項４または５に記載の情報処理プログラム。
【請求項７】
前記仮想空間内に前記変形オブジェクトとは異なる第２オブジェクトを当該変形オブジ
ェクトと所定の位置関係で設定する第２オブジェクト設定手段として、前記コンピュータ
を更に機能させ、
前記左仮想カメラ画像取得手段は、前記変形オブジェクトおよび前記第２オブジェクト
を前記左仮想カメラで撮像した左仮想カメラ画像を取得し、
前記右仮想カメラ画像取得手段は、前記変形オブジェクトおよび前記第２オブジェクト
を前記右仮想カメラで撮像した右仮想カメラ画像を取得する、請求項４から６のいずれか
に記載の情報処理プログラム。
【請求項８】
前記第２オブジェクトは、前記左仮想カメラおよび前記右仮想カメラの撮像方向に関し
て前記変形オブジェクトよりも遠方に配置され、
前記変形オブジェクトの端部に前記第２オブジェクトをマスクする所定のマスクオブジ
ェクトを設定するマスクオブジェクト設定手段として、前記コンピュータを更に機能させ
る、請求項７に記載の情報処理プログラム。
【請求項９】
前記左実カメラおよび右実カメラは実空間上に配置された所定の平板状のマーカをそれ
ぞれ撮像し、
前記仮想カメラ設定手段は、前記マーカの位置および姿勢を基準として、左実カメラの
位置および姿勢と前記右実カメラの位置および姿勢とに応じた配置となるように、仮想空
間内に左仮想カメラおよび右仮想カメラを設定し、
前記仮想モデルは、前記マーカを基準に設定されたマーカ座標系において、前記マーカ
が載置される平面上に配置された板状のモデルであり、
前記仮想モデルを変形した変形オブジェクトを生成し、前記仮想空間に設定する変形オ
ブジェクト設定手段として、前記コンピュータを更に機能させ、
前記左仮想カメラ画像取得手段は、前記左テクスチャ領域設定手段によって設定された
左テクスチャ領域に含まれる画像をテクスチャとして適用した前記変形オブジェクトを前
記左仮想カメラで撮像した左仮想カメラ画像を取得し、
前記右仮想カメラ画像取得手段は、前記右テクスチャ領域設定手段によって設定された
右テクスチャ領域に含まれる画像をテクスチャとして適用した前記変形オブジェクトを前
記右仮想カメラで撮像した右仮想カメラ画像を取得する、請求項３に記載の情報処理プロ
グラム。
【請求項１０】
前記仮想カメラ設定手段は、
前記左目用実画像に含まれる特定対象物を検出し、当該検出結果に基づいて、前記左
実カメラと前記実空間に存在する前記特定対象物との相対的な位置および姿勢を取得し、
当該取得した位置および姿勢に基づいて、前記左仮想カメラを設定し、
前記右目用実画像に含まれる前記特定対象物を検出し、当該検出結果に基づいて、前
記右実カメラと前記実空間に存在する前記特定対象物との相対的な位置および姿勢を取得
し、当該取得した位置および姿勢に基づいて、前記右仮想カメラを設定する、請求項１か
ら８の何れかに記載の情報処理プログラム。
【請求項１１】
前記仮想モデルは、前記実空間における前記特定対象物の位置に対応する、前記仮想空
間における位置を基準として配置される、請求項１０に記載の情報処理プログラム。
【請求項１２】
実空間を撮像する左実カメラおよび右実カメラと、立体視画像を表示可能な表示手段と
に接続される情報処理装置であって、
前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより撮像さ
れた右目用実画像を取得する実画像取得手段と、
前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カ
メラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右
仮想カメラを設定する仮想カメラ設定手段と、
前記仮想カメラ設定手段によって設定された左仮想カメラから見た場合の、前記仮想空
間における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域と
して設定する左テクスチャ領域設定手段と、
前記仮想カメラ設定手段によって設定された右仮想カメラから見た場合の、前記仮想空
間における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域とし
て設定する右テクスチャ領域設定手段と、
前記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を
、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適
用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する左
仮想カメラ画像取得手段と、
前記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像を
、前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想
カメラ画像を取得する右仮想カメラ画像取得手段と、
ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視
認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画像
を表示させる表示制御手段とを備える、情報処理装置。
【請求項１３】
実空間を撮像する左実カメラおよび右実カメラと、
立体視画像を表示可能な表示手段と、
前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより撮像さ
れた右目用実画像を取得する実画像取得手段と、
前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カ
メラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右
仮想カメラを設定する仮想カメラ設定手段と、
前記仮想カメラ設定手段によって設定された左仮想カメラから見た場合の、前記仮想空
間における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域と
して設定する左テクスチャ領域設定手段と、
前記仮想カメラ設定手段によって設定された右仮想カメラから見た場合の、前記仮想空
間における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域とし
て設定する右テクスチャ領域設定手段と、
前記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を
、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適
用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する左
仮想カメラ画像取得手段と、
前記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像を
、前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想
カメラ画像を取得する右仮想カメラ画像取得手段と、
ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視
認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画像
を表示させる表示制御手段とを備える、情報処理システム。
【請求項１４】
実空間を撮像する左実カメラにより撮像された左目用実画像、および、右実カメラによ
り撮像された右目用実画像を取得する実画像取得ステップと、
前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カ
メラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右
仮想カメラを設定する仮想カメラ設定ステップと、
前記仮想カメラ設定ステップで設定された左仮想カメラから見た場合の、前記仮想空間
における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域とし
て設定する左テクスチャ領域設定ステップと、
前記仮想カメラ設定ステップで設定された右仮想カメラから見た場合の、前記仮想空間
における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域として
設定する右テクスチャ領域設定ステップと、
前記左テクスチャ領域設定ステップで設定された左テクスチャ領域に含まれる画像を、
前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適用
して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する左仮
想カメラ画像取得ステップと、
前記右テクスチャ領域設定ステップで設定された右テクスチャ領域に含まれる画像を、
前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想カ
メラ画像を取得する右仮想カメラ画像取得ステップと、
ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視
認させるようにして、立体視画像を表示可能な表示手段に前記左仮想カメラ画像および前
記右仮想カメラ画像を表示させる表示制御ステップとを備える、情報処理方法。
【請求項１】
実空間を撮像する左実カメラおよび右実カメラと、立体視画像を表示可能な表示手段と
に接続される情報処理装置のコンピュータを、
前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより撮像さ
れた右目用実画像を取得する実画像取得手段、
前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カ
メラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右
仮想カメラを設定する仮想カメラ設定手段、
前記仮想カメラ設定手段によって設定された左仮想カメラから見た場合の、前記仮想空
間における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域と
して設定する左テクスチャ領域設定手段、
前記仮想カメラ設定手段によって設定された右仮想カメラから見た場合の、前記仮想空
間における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域とし
て設定する右テクスチャ領域設定手段、
前記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を
、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適
用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する左
仮想カメラ画像取得手段、
前記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像を
、前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想
カメラ画像を取得する右仮想カメラ画像取得手段、および、
ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視
認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画像
を表示させる表示制御手段、として機能させる、情報処理プログラム。
【請求項２】
前記左テクスチャ領域設定手段は、前記仮想モデルを前記左仮想カメラで撮像した場合
のレンダリング画像上での当該仮想モデルの位置および輪郭に対応する領域を左テクスチ
ャ領域として設定し、
前記右テクスチャ領域設定手段は、前記仮想モデルを前記右仮想カメラで撮像した場合
のレンダリング画像上での当該仮想モデルの位置および輪郭に対応する領域を右テクスチ
ャ領域として設定する、請求項１に記載の情報処理プログラム。
【請求項３】
前記左目用実画像と前記左仮想カメラ画像とを重ね合わせた左目用重畳画像と、前記右
目用実画像と前記右仮想カメラ画像とを重ね合わせた右目用重畳画像とを生成する重畳画
像生成手段、として前記コンピュータを更に機能させ、
前記表示制御手段は、前記左目用重畳画像および前記右目用重畳画像を前記表示手段に
表示させる、請求項１又は２に記載の情報処理プログラム。
【請求項４】
前記仮想モデルを変形した変形オブジェクトを生成し、前記仮想空間に設定する変形オ
ブジェクト設定手段、として前記コンピュータを更に機能させ、
前記左仮想カメラ画像取得手段は、前記左テクスチャ領域設定手段によって設定された
左テクスチャ領域に含まれる画像をテクスチャとして適用した前記変形オブジェクトを前
記左仮想カメラで撮像した左仮想カメラ画像を取得し、
前記右仮想カメラ画像取得手段は、前記右テクスチャ領域設定手段によって設定された
右テクスチャ領域に含まれる画像をテクスチャとして適用した前記変形オブジェクトを前
記右仮想カメラで撮像した右仮想カメラ画像を取得する、請求項３に記載の情報処理プロ
グラム。
【請求項５】
前記仮想モデルは、平面または曲面状の仮想モデルであって、前記実空間の平面または
曲面に沿うようにして前記仮想空間内に設定され、
前記変形オブジェクト設定手段は、前記平面または曲面状の仮想モデルを変形した変形
オブジェクトを生成して、前記仮想空間に設定する、請求項４に記載の情報処理プログラ
ム。
【請求項６】
前記変形オブジェクト設定手段は、前記仮想モデルの端部を除く部分を変形して前記変
形オブジェクトを生成する、請求項４または５に記載の情報処理プログラム。
【請求項７】
前記仮想空間内に前記変形オブジェクトとは異なる第２オブジェクトを当該変形オブジ
ェクトと所定の位置関係で設定する第２オブジェクト設定手段として、前記コンピュータ
を更に機能させ、
前記左仮想カメラ画像取得手段は、前記変形オブジェクトおよび前記第２オブジェクト
を前記左仮想カメラで撮像した左仮想カメラ画像を取得し、
前記右仮想カメラ画像取得手段は、前記変形オブジェクトおよび前記第２オブジェクト
を前記右仮想カメラで撮像した右仮想カメラ画像を取得する、請求項４から６のいずれか
に記載の情報処理プログラム。
【請求項８】
前記第２オブジェクトは、前記左仮想カメラおよび前記右仮想カメラの撮像方向に関し
て前記変形オブジェクトよりも遠方に配置され、
前記変形オブジェクトの端部に前記第２オブジェクトをマスクする所定のマスクオブジ
ェクトを設定するマスクオブジェクト設定手段として、前記コンピュータを更に機能させ
る、請求項７に記載の情報処理プログラム。
【請求項９】
前記左実カメラおよび右実カメラは実空間上に配置された所定の平板状のマーカをそれ
ぞれ撮像し、
前記仮想カメラ設定手段は、前記マーカの位置および姿勢を基準として、左実カメラの
位置および姿勢と前記右実カメラの位置および姿勢とに応じた配置となるように、仮想空
間内に左仮想カメラおよび右仮想カメラを設定し、
前記仮想モデルは、前記マーカを基準に設定されたマーカ座標系において、前記マーカ
が載置される平面上に配置された板状のモデルであり、
前記仮想モデルを変形した変形オブジェクトを生成し、前記仮想空間に設定する変形オ
ブジェクト設定手段として、前記コンピュータを更に機能させ、
前記左仮想カメラ画像取得手段は、前記左テクスチャ領域設定手段によって設定された
左テクスチャ領域に含まれる画像をテクスチャとして適用した前記変形オブジェクトを前
記左仮想カメラで撮像した左仮想カメラ画像を取得し、
前記右仮想カメラ画像取得手段は、前記右テクスチャ領域設定手段によって設定された
右テクスチャ領域に含まれる画像をテクスチャとして適用した前記変形オブジェクトを前
記右仮想カメラで撮像した右仮想カメラ画像を取得する、請求項３に記載の情報処理プロ
グラム。
【請求項１０】
前記仮想カメラ設定手段は、
前記左目用実画像に含まれる特定対象物を検出し、当該検出結果に基づいて、前記左
実カメラと前記実空間に存在する前記特定対象物との相対的な位置および姿勢を取得し、
当該取得した位置および姿勢に基づいて、前記左仮想カメラを設定し、
前記右目用実画像に含まれる前記特定対象物を検出し、当該検出結果に基づいて、前
記右実カメラと前記実空間に存在する前記特定対象物との相対的な位置および姿勢を取得
し、当該取得した位置および姿勢に基づいて、前記右仮想カメラを設定する、請求項１か
ら８の何れかに記載の情報処理プログラム。
【請求項１１】
前記仮想モデルは、前記実空間における前記特定対象物の位置に対応する、前記仮想空
間における位置を基準として配置される、請求項１０に記載の情報処理プログラム。
【請求項１２】
実空間を撮像する左実カメラおよび右実カメラと、立体視画像を表示可能な表示手段と
に接続される情報処理装置であって、
前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより撮像さ
れた右目用実画像を取得する実画像取得手段と、
前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カ
メラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右
仮想カメラを設定する仮想カメラ設定手段と、
前記仮想カメラ設定手段によって設定された左仮想カメラから見た場合の、前記仮想空
間における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域と
して設定する左テクスチャ領域設定手段と、
前記仮想カメラ設定手段によって設定された右仮想カメラから見た場合の、前記仮想空
間における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域とし
て設定する右テクスチャ領域設定手段と、
前記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を
、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適
用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する左
仮想カメラ画像取得手段と、
前記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像を
、前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想
カメラ画像を取得する右仮想カメラ画像取得手段と、
ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視
認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画像
を表示させる表示制御手段とを備える、情報処理装置。
【請求項１３】
実空間を撮像する左実カメラおよび右実カメラと、
立体視画像を表示可能な表示手段と、
前記左実カメラにより撮像された左目用実画像、および、前記右実カメラにより撮像さ
れた右目用実画像を取得する実画像取得手段と、
前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カ
メラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右
仮想カメラを設定する仮想カメラ設定手段と、
前記仮想カメラ設定手段によって設定された左仮想カメラから見た場合の、前記仮想空
間における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域と
して設定する左テクスチャ領域設定手段と、
前記仮想カメラ設定手段によって設定された右仮想カメラから見た場合の、前記仮想空
間における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域とし
て設定する右テクスチャ領域設定手段と、
前記左テクスチャ領域設定手段によって設定された左テクスチャ領域に含まれる画像を
、前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適
用して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する左
仮想カメラ画像取得手段と、
前記右テクスチャ領域設定手段によって設定された右テクスチャ領域に含まれる画像を
、前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想
カメラ画像を取得する右仮想カメラ画像取得手段と、
ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視
認させるようにして、前記表示手段に前記左仮想カメラ画像および前記右仮想カメラ画像
を表示させる表示制御手段とを備える、情報処理システム。
【請求項１４】
実空間を撮像する左実カメラにより撮像された左目用実画像、および、右実カメラによ
り撮像された右目用実画像を取得する実画像取得ステップと、
前記実空間における前記左実カメラの位置および姿勢と前記実空間における前記右実カ
メラの位置および姿勢とに応じた配置となるように、仮想空間内に左仮想カメラおよび右
仮想カメラを設定する仮想カメラ設定ステップと、
前記仮想カメラ設定ステップで設定された左仮想カメラから見た場合の、前記仮想空間
における所定の仮想モデルに対応する領域を前記左目用実画像から左テクスチャ領域とし
て設定する左テクスチャ領域設定ステップと、
前記仮想カメラ設定ステップで設定された右仮想カメラから見た場合の、前記仮想空間
における前記仮想モデルに対応する領域を前記右目用実画像から右テクスチャ領域として
設定する右テクスチャ領域設定ステップと、
前記左テクスチャ領域設定ステップで設定された左テクスチャ領域に含まれる画像を、
前記仮想モデルと同一のまたは前記仮想モデルと所定の関係を有する描画用モデルに適用
して、当該描画用モデルを前記左仮想カメラで撮像した左仮想カメラ画像を取得する左仮
想カメラ画像取得ステップと、
前記右テクスチャ領域設定ステップで設定された右テクスチャ領域に含まれる画像を、
前記描画用モデルに適用して、当該描画用モデルを前記右仮想カメラで撮像した右仮想カ
メラ画像を取得する右仮想カメラ画像取得ステップと、
ユーザの左目に前記左仮想カメラ画像を、該ユーザの右目に前記右仮想カメラ画像を視
認させるようにして、立体視画像を表示可能な表示手段に前記左仮想カメラ画像および前
記右仮想カメラ画像を表示させる表示制御ステップとを備える、情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−９４１０２（Ｐ２０１２−９４１０２Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１１−７８５３（Ｐ２０１１−７８５３）
【出願日】平成２３年１月１８日（２０１１．１．１８）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【出願人】（３９１０４１７１８）株式会社ハル研究所 (38)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２３年１月１８日（２０１１．１．１８）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【出願人】（３９１０４１７１８）株式会社ハル研究所 (38)
【Ｆターム（参考）】
[ Back to top ]