情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
【課題】多様な画像を表示装置に表示させる。
【解決手段】ゲーム装置は、実オブジェクトを複数の方向から撮影した複数の画像を、撮影方向と対応させて予め記憶装置に記憶している。ゲーム装置は、実空間に配置されたマーカを外側撮像部で撮像し、撮像画像に含まれるマーカを検出する。ゲーム装置は、検出したマーカに基づいて、マーカを基準としたマーカ座標系における外側撮像部の位置を算出する。そして、ゲーム装置は外側撮像部の位置からマーカに向かうベクトルを算出し、当該ベクトルに基づいて、記憶装置に記憶された複数の画像の中から画像を選択して上側ＬＣＤに選択した画像を表示する。
【解決手段】ゲーム装置は、実オブジェクトを複数の方向から撮影した複数の画像を、撮影方向と対応させて予め記憶装置に記憶している。ゲーム装置は、実空間に配置されたマーカを外側撮像部で撮像し、撮像画像に含まれるマーカを検出する。ゲーム装置は、検出したマーカに基づいて、マーカを基準としたマーカ座標系における外側撮像部の位置を算出する。そして、ゲーム装置は外側撮像部の位置からマーカに向かうベクトルを算出し、当該ベクトルに基づいて、記憶装置に記憶された複数の画像の中から画像を選択して上側ＬＣＤに選択した画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に画像を表示させるための情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法に関する。
【背景技術】
【０００２】
従来、実空間に置かれたカードをカメラで撮像して、当該カードの表示位置に仮想オブジェクトを表示させる装置が存在する。例えば、特許文献１では、装置に接続されたカメラで実空間に置かれたカードを撮像し、撮像した画像に基づいて、実空間におけるカードの姿勢、方向、および、カメラとカードとの距離を算出する。そして、算出した姿勢、方向、および距離に応じて、表示装置に表示する仮想オブジェクトを変化させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７２６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されているように、従来は、仮想オブジェクトを仮想空間に配置して、仮想カメラで撮像することにより、仮想オブジェクトの画像を表示装置に表示させるものであった。
【０００５】
それ故、本発明の目的は、新規な方法で多様な画像を表示装置に表示させることが可能な情報処理技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００７】
本発明は、情報処理装置のコンピュータを、画像取得手段、特定対象検出手段、算出手段、画像選択手段、および、表示制御手段、として機能させる情報処理プログラムである。画像取得手段は、撮像手段によって撮像された撮像画像を取得する。特定対象検出手段は、上記画像取得手段によって取得された撮像画像から特定対象を検出する。算出手段は、上記特定対象と上記撮像手段との一方に対する他方の相対的な姿勢を算出する。画像選択手段は、上記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する。表示制御手段は、上記画像選択手段によって選択された画像を表示装置に表示させる。
【０００８】
上記によれば、撮像手段によって撮像された画像に含まれる特定対象と撮像手段との相対的な姿勢を算出し、当該姿勢に基づいて、予め記憶手段に記憶されている複数の画像（例えば、実オブジェクトの写真や仮想オブジェクトのＣＧ画像等）の中から少なくとも１つの画像を選択して表示することができる。
【０００９】
また、本発明の他の形態では、上記記憶手段に記憶されている複数の画像は、所定の対象を複数の方向から見た複数の画像であってもよい。上記画像選択手段は、上記姿勢に応じた画像を上記複数の画像の中から選択する。
【００１０】
上記によれば、特定の対象（実オブジェクトや仮想オブジェクト）を複数の方向から見た画像（撮影画像や手書き画像等を含む）を記憶手段に予め記憶しておき、これら複数の画像の中から上記姿勢に基づいて画像を選択して表示することができる。
【００１１】
また、本発明の他の形態では、上記算出手段は、上記特定対象および上記撮像手段のうちの一方を基準とした他方の相対的な位置を算出してもよい。上記画像選択手段は、上記算出手段によって算出された位置から上記特定対象と所定の位置関係にある所定の位置への方向、または、当該所定の位置から上記算出手段によって算出された位置への方向に基づいて、上記複数の画像の中から画像を選択する。
【００１２】
上記によれば、例えば、特定対象を基準として撮像手段の位置を算出し、当該位置から所定の位置（例えば特定対象の中心）への方向に基づいて、記憶手段に記憶された複数の画像の中から画像を選択することができる。これにより、特定対象を撮像手段で撮像する方向に応じて画像を選択し、当該画像を表示装置に表示することができる。
【００１３】
また、本発明の他の形態では、上記表示制御手段は、仮想カメラ設定手段と、配置手段と、画像生成手段とを含んでもよい。仮想カメラ設定手段は、上記算出手段によって算出された位置に基づいて、仮想空間に仮想カメラを設定する。配置手段は、上記選択された画像を示す画像オブジェクトが上記仮想カメラを向くようにして、上記仮想空間に上記画像オブジェクトを配置する。画像生成手段は、上記仮想空間を上記仮想カメラで撮像することによって画像を生成する。そして、上記表示制御手段は、上記画像生成手段によって生成された画像を上記表示装置に表示させる。
【００１４】
上記によれば、上記選択された画像を仮想空間に配置して、仮想空間を仮想カメラで撮像することができる。これにより、上記選択された画像を含む画像を生成して、表示装置に表示することができる。
【００１５】
また、本発明の他の形態では、上記画像オブジェクトは、上記選択された画像がテクスチャとして貼り付けられた板状のオブジェクトであってもよい。
【００１６】
上記によれば、上記選択された画像が貼り付けられた画像オブジェクトを仮想空間に配置して仮想カメラで撮像することにより、上記選択された画像を含む画像を生成することができる。
【００１７】
また、本発明の他の形態では、上記仮想空間には所定の仮想オブジェクトが配置されてもよい。上記画像生成手段は、上記仮想オブジェクトと、上記選択された画像とを含む上記仮想空間を上記仮想カメラで撮像することで画像を生成する。
【００１８】
上記によれば、仮想オブジェクトと、上記選択された画像とを含む画像を生成して、表示装置に表示することができる。
【００１９】
また、本発明の他の形態では、上記配置手段は、上記選択された画像が上記仮想オブジェクトと接触しないように、上記選択された画像を上記仮想空間に配置してもよい。
【００２０】
また、本発明の他の形態では、上記算出手段は、上記特定対象および上記撮像手段のうちの一方を基準とした他方の相対的な位置を算出してもよい。上記表示制御手段は、上記選択された画像が上記表示装置に表示された場合の当該画像の大きさが上記算出手段によって算出された位置に応じて変化するように、上記選択された画像を上記表示装置に表示させる。
【００２１】
上記によれば、上記選択された画像の表示上の大きさを算出手段によって算出された位置に応じて変化させることができる。例えば、特定対象と撮像手段とが離れている場合、選択された画像を縮小して表示装置に表示することができる。
【００２２】
上記によれば、仮想空間に仮想オブジェクトが配置される場合において、当該仮想オブジェクトと選択された画像とを表示装置に表示させる場合に、違和感のない画像を表示することができる。
【００２３】
また、本発明の他の形態では、上記表示制御手段は、上記撮像手段によって撮像された撮像画像または上記表示装置の画面を透過して視認される実空間と、上記選択された画像とを重ね合わせて、上記表示装置に表示させてもよい。
【００２４】
上記によれば、例えば、上記撮像画像と上記選択された画像とを重ね合わせて表示装置に表示することができる。また、例えば、実空間の光を透過する画面上に選択された画像を重ね合わせることにより、実空間と選択された画像とを重ね合わせて表示することができる。
【００２５】
また、本発明の他の形態では、上記撮像手段は、第１撮像部および第２撮像部を含んでもよい。上記算出手段は、上記特定対象と上記第１撮像部との一方に対する他方の相対的な姿勢を示す第１姿勢、および、上記特定対象と上記第２撮像部との一方に対する他方の相対的な姿勢を示す第２姿勢を算出する。上記画像選択手段は、上記算出手段によって算出された第１姿勢に基づいて、上記複数の画像の中から第１画像を選択し、上記算出手段によって算出された第２姿勢に基づいて、上記複数の画像の中から第２画像を選択する。上記表示制御手段は、上記画像選択手段によって選択された第１画像および第２画像を立体視表示可能な表示装置に表示させることにより、当該表示装置に立体視画像を表示させる。
【００２６】
上記によれば、第１撮像部の第１姿勢および第２撮像部の第２姿勢に基づいて、第１画像および第２画像を選択し、立体視表示可能な表示装置に表示させることができる。これにより、立体視画像を表示装置に表示することができる。
【００２７】
また、本発明の他の形態では、上記複数の画像は、実空間に配置された実オブジェクトを実カメラで撮像した画像であってもよい。
【００２８】
上記によれば、実オブジェクトの画像を記憶手段に予め記憶しておき、表示装置に表示させることができる。
【００２９】
また、本発明の他の形態では、上記複数の画像は、実空間に配置された実オブジェクトを単眼の実カメラで撮像した画像であってもよい。上記画像選択手段は、上記第１姿勢に基づいて、上記単眼の実カメラで撮影した複数の画像の中から上記第１画像を選択し、上記第２姿勢に基づいて、上記単眼の実カメラで撮影した複数の画像の中から上記第２画像を選択する。
【００３０】
上記によれば、単眼の実カメラで撮影した複数の画像を予め記憶しておき、当該複数の画像から２つの画像を選択することにより、立体視画像を表示装置に表示させることができる。
【００３１】
また、本発明の他の形態では、上記複数の画像は、仮想空間に配置された仮想オブジェクトを仮想カメラで撮像した画像であってもよい。
【００３２】
上記によれば、仮想オブジェクトの画像を記憶手段に予め記憶しておき、表示装置に表示させることができる。
【００３３】
また、本発明では、上記各手段を実現した情報処理装置であってもよい。また、本発明では、上記各手段を実現する複数の要素が相互に動作することによって、１つの情報処理システムとして構成されてもよい。当該情報処理システムは、１つの装置によって構成されてもよいし、複数の装置によって構成されてもよい。また、本発明は、上述の各手段によって実行されるステップを含む情報処理方法であってもよい。
【００３４】
また、本発明の他の形態では、情報処理装置とマーカを備えた情報処理システムであってもよい。上記情報処理装置は、画像取得手段と、特定対象検出手段と、算出手段と、画像選択手段と、表示制御手段とを備える。画像取得手段は、撮像手段によって撮像された撮像画像を取得する。特定対象検出手段は、上記画像取得手段によって取得された撮像画像から特定対象を検出する。算出手段は、上記特定対象と上記撮像手段との一方に対する他方の相対的な姿勢を算出する。画像選択手段は、上記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する。表示制御手段は、上記画像選択手段によって選択された画像を表示装置に表示させる。
【発明の効果】
【００３５】
本発明によれば、新規な方法で多様な画像を表示装置に表示させることができる。
【図面の簡単な説明】
【００３６】
【図１】開状態におけるゲーム装置１０の外観を示す正面図
【図２】閉状態におけるゲーム装置１０の左側面図、正面図、右側面図、および、背面図
【図３】ゲーム装置１０の内部構成を示すブロック図
【図４】所定の実オブジェクト５０の一例を示す図
【図５】実オブジェクト５０を複数の方向から実カメラで撮影する際に、実カメラの位置を示す図
【図６Ａ】位置Ｐ１から実オブジェクト５０を撮影した場合に取得される実画像５０１の一例を示す図
【図６Ｂ】位置Ｐ２から実オブジェクト５０を撮影した場合に取得される実画像５０２の一例を示す図
【図６Ｃ】位置Ｐｉから実オブジェクト５０を撮影した場合に取得される実画像５０ｉの一例を示す図
【図７】ゲーム装置１０に予め記憶される複数の実画像のデータを含む実画像テーブル６０を示す図
【図８】ゲーム装置１０の外側撮像部２３を用いて実空間に配置されたマーカを撮像した場合に、上側ＬＣＤ２２に表示される画像を示す図
【図９】ゲーム装置１０の外側撮像部２３を用いて実空間に配置されたマーカ５２を、図８に示す方向とは異なる方向から撮像した場合に、上側ＬＣＤ２２に表示される画像を示す図
【図１０】ゲーム装置１０のＲＡＭ（メインメモリ３２等）のメモリマップを示す図
【図１１】本実施形態に係る表示処理の詳細を示すメインフローチャート
【図１２】左仮想カメラ画像生成処理（ステップＳ１０２）の詳細を示すフローチャート
【図１３】マーカ５２上に設定されるマーカ座標系と仮想空間に設定される左仮想カメラ６３ａとの位置関係を示す図
【図１４】ステップＳ２０３で算出される左仮想カメラ方向ベクトル
【図１５】ステップＳ２０４で選択された画像６１が仮想空間に配置される様子を示す図
【図１６】他の実施形態における表示処理の概要を示す図
【発明を実施するための形態】
【００３７】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。図１は、開状態におけるゲーム装置１０の外観を示す正面図である。図２（ａ）は閉状態におけるゲーム装置１０の左側面図であり、図２（ｂ）は閉状態におけるゲーム装置１０の正面図であり、図２（ｃ）は閉状態におけるゲーム装置１０の右側面図であり、図２（ｄ）は閉状態におけるゲーム装置１０の背面図である。ゲーム装置１０は携帯型のゲーム装置であり、図１および図２に示すように折り畳み可能に構成されている。図１は、開いた状態（開状態）におけるゲーム装置１０を示し、図２は、閉じた状態（閉状態）におけるゲーム装置１０を示している。ゲーム装置１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置１０は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
【００３８】
まず、図１および図２を参照して、ゲーム装置１０の外観構成について説明する。図１および図２に示されるように、ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、下側ハウジング１１および上側ハウジング２１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
【００３９】
（下側ハウジングの説明）
まず、下側ハウジング１１の構成について説明する。図１および図２に示すように、下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ、アナログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、および、マイクロフォン用孔１８が設けられる。以下、これらの詳細について説明する。
【００４０】
図１に示すように、下側ＬＣＤ１２は下側ハウジング１１に収納される。下側ＬＣＤ１２の画素数は、例えば、３２０ｄｏｔ×２４０ｄｏｔ（横×縦）であってもよい。下側ＬＣＤ１２は、後述する上側ＬＣＤ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤ１２として、任意の解像度の表示装置を利用することができる。
【００４１】
図１に示されるように、ゲーム装置１０は、入力装置として、タッチパネル１３を備えている。タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。なお、本実施形態では、タッチパネル１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネル１３として、下側ＬＣＤ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１３の解像度と下側ＬＣＤ１２の解像度が一致している必要はない。また、下側ハウジング１１の上側面には挿入口１７（図１および図２（ｄ）に示す点線）が設けられている。挿入口１７は、タッチパネル１３に対する操作を行うために用いられるタッチペン２８を収納することができる。なお、タッチパネル１３に対する入力は通常タッチペン２８を用いて行われるが、タッチペン２８に限らずユーザの指でタッチパネル１３に対する入力をすることも可能である。
【００４２】
各操作ボタン１４Ａ〜１４Ｌは、所定の入力を行うための入力装置である。図１に示されるように、下側ハウジング１１の内側面（主面）には、各操作ボタン１４Ａ〜１４Ｌのうち、十字ボタン１４Ａ（方向入力ボタン１４Ａ）、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられる。十字ボタン１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン１４Ａ〜１４Ｅ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌには、ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは選択操作等に用いられ、各操作ボタン１４Ｂ〜１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタン１４Ｆは、ゲーム装置１０の電源をオン／オフするために用いられる。
【００４３】
アナログスティック１５は、方向を指示するデバイスである。アナログスティック１５は、そのキートップが、下側ハウジング１１の内側面に平行にスライドするように構成されている。アナログスティック１５は、ゲーム装置１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置１０によって実行される場合、アナログスティック１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティック１５のキートップがスライドした方向に移動される。なお、アナログスティック１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
【００４４】
また、下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられる。マイクロフォン用孔１８の下部には後述する音声入力装置としてのマイク４２（図３参照）が設けられ、当該マイク４２がゲーム装置１０の外部の音を検出する。
【００４５】
図２（ｂ）および（ｄ）に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４ＧおよびＲボタン１４Ｈが設けられている。Ｌボタン１４ＧおよびＲボタン１４Ｈは、例えば、撮像部のシャッターボタン（撮影指示ボタン）として機能することができる。また、図２（ａ）に示されるように、下側ハウジング１１の左側面には、音量ボタン１４Ｉが設けられる。音量ボタン１４Ｉは、ゲーム装置１０が備えるスピーカの音量を調整するために用いられる。
【００４６】
図２（ａ）に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１１Ｃが設けられる。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部メモリ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ４５は、例えば、ゲーム装置１０によって撮像された画像のデータを記憶（保存）するために用いられる。
【００４７】
また、図２（ｄ）に示されるように、下側ハウジング１１の上側面には、ゲーム装置１０とゲームプログラムを記録した外部メモリ４４を挿入するための挿入口１１Ｄが設けられ、その挿入口１１Ｄの内部には、外部メモリ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリ４４がゲーム装置１０に接続されることにより、所定のゲームプログラムが実行される。
【００４８】
また、図１および図２（ｃ）に示されるように、下側ハウジング１１の下側面にはゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥＤ１６Ｂが設けられる。ゲーム装置１０は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置１０は、例えば、ＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジング１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ１９が設けられる（図２（ｃ）参照）。
【００４９】
なお、図示は省略するが、下側ハウジング１１には、ゲーム装置１０の電源となる充電式電池が収納され、下側ハウジング１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。
【００５０】
（上側ハウジングの説明）
次に、上側ハウジング２１の構成について説明する。図１および図２に示すように、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けられる。以下、これらの詳細について説明する。
【００５１】
図１に示すように、上側ＬＣＤ２２は上側ハウジング２１に収納される。上側ＬＣＤ２２の画素数は、例えば、８００ｄｏｔ×２４０ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装置を利用することができる。
【００５２】
上側ＬＣＤ２２は、立体視可能な画像を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画像と右目用画像とが時間的に交互に表示され、メガネを用いてユーザの左目に左目用画像が右目に右目用画像が視認される方式の表示装置であってもよい。本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤ２２はパララックスバリア方式のものとする。上側ＬＣＤ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチ２５によって行われる。
【００５３】
外側撮像部２３は、上側ハウジング２１の外側面（上側ＬＣＤ２２が設けられた主面と反対側の背面）２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂの撮像方向は、いずれも当該外側面２１Ｄの外向きの法線方向である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５４】
内側撮像部２４は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５５】
３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。３Ｄ調整スイッチ２５のスライダ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に応じて上側ＬＣＤ２２の表示モードが設定される。また、スライダ２５ａの位置に応じて、立体画像の見え方が調整される。具体的には、スライダ２５ａの位置に応じて、右目用画像および左目用画像の横方向の位置のずれ量が調整される。
【００５６】
３Ｄインジケータ２６は、上側ＬＣＤ２２に立体視画像を表示可能か否かを示す。３Ｄインジケータ２６は、ＬＥＤであり、上側ＬＣＤ２２に立体視画像を表示可能な場合に点灯する。なお、３Ｄインジケータ２６は、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにしてもよい。
【００５７】
また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられる。後述するスピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。
【００５８】
（ゲーム装置１０の内部構成）
次に、図３を参照して、ゲーム装置１０の内部の電気的構成について説明する。図３は、ゲーム装置１０の内部構成を示すブロック図である。図３に示すように、ゲーム装置１０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、およびインターフェイス回路（Ｉ／Ｆ回路）４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（または上側ハウジング２１でもよい）内に収納される。
【００５９】
情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。情報処理部３１のＣＰＵ３１１は、ゲーム装置１０内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された外部メモリ４４やデータ保存用内部メモリ３５）に記憶されているプログラムを実行することによって、当該プログラムに応じた処理を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部３１のＧＰＵ３１２は、情報処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。そして、情報処理部３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力し、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像が表示される。
【００６０】
情報処理部３１には、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メモリＩ／Ｆ３４、および、データ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続するためのインターフェイスである。
【００６１】
メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、上記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部（外部メモリ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
【００６２】
外部メモリ４４は、情報処理部３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリ４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリ４４が外部メモリＩ／Ｆ３３に接続されると、情報処理部３１は外部メモリ４４に記憶されたプログラムを読み込むことができる。情報処理部３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４５には、外側撮像部２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ４５がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部３１はデータ保存用外部メモリ４５に記憶された画像を読み込み、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像を表示することができる。
【００６３】
データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
【００６４】
無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、所定の通信方式（例えば独自プロトコルによる通信や、赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール３６およびローカル通信モジュール３７は情報処理部３１に接続される。情報処理部３１は、無線通信モジュール３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
【００６５】
また、情報処理部３１には、加速度センサ３９が接続される。加速度センサ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサ３９は、下側ハウジング１１の内部に設けられる。加速度センサ３９は、図１に示すように、下側ハウジング１１の長辺方向をｘ軸、下側ハウジング１１の短辺方向をｙ軸、下側ハウジング１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサ３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部３１は、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置１０の姿勢や動きを検出することができる。
【００６６】
また、情報処理部３１には、ＲＴＣ３８および電源回路４０が接続される。ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置１０が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置１０の各部品に電力を供給する。
【００６７】
また、情報処理部３１には、Ｉ／Ｆ回路４１が接続される。Ｉ／Ｆ回路４１には、マイク４２およびスピーカ４３が接続される。具体的には、Ｉ／Ｆ回路４１には、図示しないアンプを介してスピーカ４３が接続される。マイク４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４１に出力する。アンプは、Ｉ／Ｆ回路４１からの音声信号を増幅し、音声をスピーカ４３から出力させる。また、タッチパネル１３はＩ／Ｆ回路４１に接続される。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置データは、タッチパネル１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。
【００６８】
操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、情報処理部３１に接続される。操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部３１は、操作ボタン１４から操作データを取得することによって、操作ボタン１４に対する入力に従った処理を実行する。
【００６９】
下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。下側ＬＣＤ１２および上側ＬＣＤ２２は、情報処理部３１（のＧＰＵ３１２）の指示に従って画像を表示する。本実施形態では、情報処理部３１は、上側ＬＣＤ２２に立体画像（立体視可能な画像）を表示させる。
【００７０】
具体的には、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可能な画像が表示される。
【００７１】
外側撮像部２３および内側撮像部２４は、情報処理部３１に接続される。外側撮像部２３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像データを情報処理部３１に出力する。
【００７２】
３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、スライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。
【００７３】
また、３Ｄインジケータ２６は、情報処理部３１に接続される。情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。例えば、情報処理部３１は、上側ＬＣＤ２２に立体視画像を表示可能な場合、３Ｄインジケータ２６を点灯させる。
【００７４】
また、情報処理部３１には、角速度センサ４６が接続される。角速度センサ４６は、各軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置１０は、角速度センサ４６が逐次検出する角速度に基づいて、実空間におけるゲーム装置１０の姿勢を算出することができる。具体的には、ゲーム装置１０は、角速度センサ４６によって検出された各軸周りの角速度を時間で積分することによって、各軸周りのゲーム装置１０の回転角を算出することができる。以上がゲーム装置１０の内部構成の説明である。
【００７５】
（本実施形態の表示処理の概要）
次に、図４から図９を参照して、本実施形態に係るゲーム装置１０において行われる表示処理の概要について説明する。本実施形態においては、実空間に配置された所定の実オブジェクトを予め複数の方向から撮影して保存しておき、当該複数の画像の中から２つの画像を選択して、上側ＬＣＤ２２に当該選択した２つの画像を表示する。選択された２つの画像は、具体的には、視差バリアを介してユーザの左目で視認される画像と、視差バリアを介してユーザの右目で視認される画像である。上側ＬＣＤ２２に２つの画像が表示されることによって、上側ＬＣＤ２２に立体視画像が表示される。
【００７６】
図４は、所定の実オブジェクト５０の一例を示す図である。所定の実オブジェクトは、、例えば、特定の人物のフィギュアや特定の人物の頭部であってもよい。図４に示すように、例えば実オブジェクト５０は、６つの面（面５０ａ〜面５０ｃ、および、面５０ｄ〜面５０ｆ（面５０ｄ〜面５０ｆは図示せず））から構成された立方体である。実オブジェクト５０の面５０ａには「１」、面５０ｂには「２」、面５０ｃには「３」の数字が記載されている。また、図４では示されていないが、面５０ａと対向する面５０ｄには「６」、面５０ｂと対向する面５０ｅには「５」、面５０ｃと対向する面５０ｆには「４」の数字が記載されているものとする。
【００７７】
図４に示す実オブジェクト５０が複数の方向から実カメラで撮影されて、予めゲーム装置１０に記憶される。図５は、実オブジェクト５０を複数の方向から実カメラで撮影する際に、実カメラの位置を示す図である。図５に示すように、実オブジェクト５０は、実空間の所定位置Ｏに配置され、実カメラは、当該所定位置Ｏを中心とする半球上の複数の位置（Ｐ１〜Ｐｎ）に配置される。そして、実カメラの各位置から所定位置Ｏに向かう方向に実カメラの撮像方向が設定されて、実オブジェクト５０が撮影される。例えば、実カメラが位置Ｐ１に配置され、当該実カメラの撮像方向は、位置Ｐ１から所定位置Ｏ（実オブジェクト５０が配置された位置）に向かう方向に設定される。また、実カメラが位置Ｐ２に配置され、当該実カメラの撮像方向は、位置Ｐ２から所定位置Ｏに向かう方向に設定される。このようにして複数の位置から実オブジェクト５０が撮影されて、当該撮影された複数の画像がゲーム装置１０の記憶手段（例えば、外部メモリ４４等）に記憶される。なお、実オブジェクト５０を撮影する際に、１つの実カメラを用いてもよいし、複数のカメラを用いてもよい。すなわち、１つの実カメラの位置および姿勢を順次変更しながら実オブジェクト５０を撮影してもよいし、予め複数の実カメラを異なる位置に配置しておいて、当該複数の実カメラで実オブジェクト５０を同時に撮影することによって、複数の画像を同時に取得してもよい。
【００７８】
なお、本実施形態では、実カメラの注視点は、実オブジェクト５０が置かれる位置Ｏ（半球の中心）に設定されるものとするが、他の実施形態では、実カメラの注視点は、実オブジェクト５０の中心（立方体の中心）に設定されてもよい。また、図５に示す実カメラが設定される位置は単なる例示であって、実カメラは半球上に等間隔に配置されてもよい。
【００７９】
図６Ａは、位置Ｐ１から実オブジェクト５０を撮影した場合に取得される実画像５０１の一例を示す図である。図６Ｂは、位置Ｐ２から実オブジェクト５０を撮影した場合に取得される実画像５０２の一例を示す図である。図６Ｃは、位置Ｐｉから実オブジェクト５０を撮影した場合に取得される実画像５０ｉの一例を示す図である。図６Ａに示すように、位置Ｐ１から実オブジェクト５０を撮影した場合は、面５０ａ、面５０ｂ、面５０ｆが見え、その他の面は見えない。また、図６Ｂに示すように、位置Ｐ２から実オブジェクト５０を撮影した場合は、面５０ａ、面５０ｂが見え、その他の面は見えない。また、図６Ｃに示すように、位置Ｐｉから実オブジェクト５０を撮影した場合は、面５０ａ、面５０ｂ、面５０ｃが見え、その他の面は見えない。
【００８０】
図７は、ゲーム装置１０に予め記憶される複数の実画像のデータを含む実画像テーブル６０を示す図である。図７に示すように、ゲーム装置１０には、図５に示す半球上の各位置から実オブジェクト５０を撮影して得られる画像が複数記憶される。具体的には、図７に示すように、各画像（実画像５０１〜実画像５０ｎ）は、それぞれの画像が撮影された位置および撮像方向ベクトルが関連付けられて、記憶される。撮像方向ベクトルは、実カメラの位置から所定位置Ｏ（実オブジェクト５０の位置）に向かうベクトル（単位ベクトル）であり、実画像テーブル６０に記憶される。なお、実画像テーブル６０には、撮像方向ベクトルと実画像とが関連付けられた記憶されていれば良く、実カメラが配置される位置は記憶されなくてもよい。
【００８１】
なお、実オブジェクト５０を実カメラで撮影すると、撮影された画像には、実オブジェクト５０とその背景とが含まれる。すなわち、実カメラで実オブジェクト５０を撮影して得られる画像は、通常は、正方形あるいは長方形の画像であり、実オブジェクト５０の領域と、実オブジェクト５０以外の領域とが含まれる。しかしながら、撮影された画像に含まれる背景の部分は削除されて保存される。このため、実画像テーブル６０に記憶される各画像は、実オブジェクト５０のみを撮像した画像である。従って、実画像テーブル６０に記憶される各画像の形状は、実オブジェクト５０の外縁の形状となり、例えば、図６Ａに示す画像５０１は、６角形の形状となる。
【００８２】
上述のようにして予め取得された複数の画像が、ゲーム装置１０に記憶されていることを前提として、ゲーム装置１０の上側ＬＣＤ２２に表示される画像について説明する。図８は、ゲーム装置１０の外側撮像部２３を用いて実空間に配置されたマーカ５２を撮像した場合に、上側ＬＣＤ２２に表示される画像を示す図である。
【００８３】
図８に示すように、実空間には、マーカ５２が配置される。当該マーカ５２は、長方形の紙であって、その中心に矢印が描かれている。マーカ５２の中心に描かれた矢印の方向は、マーカ５２の長辺と平行である。ゲーム装置１０は、外側撮像部２３によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカ５２を検出することができる。図８に示すように、外側撮像部２３によって撮像された画像中にマーカ５２が検出された場合、上側ＬＣＤ２２には、当該マーカ５２の画像上に実オブジェクト５０を撮像した画像５０ｘが重ね合わされて表示される。
【００８４】
具体的には、図８に示すように、マーカ５２の矢印に対して斜めになるようにして当該マーカ５２を外側撮像部２３で撮像した場合、当該マーカ５２の上に実オブジェクト５０が置かれているような画像が上側ＬＣＤ２２に表示される。例えば、実オブジェクト５０の数字「１」が書かれた面５０ａ、数字「２」が書かれた面５０ｂ、および、数字「４」が書かれた面５０ｆが見えるようにして、実オブジェクト５０の画像が表示される。
【００８５】
実空間に配置されたマーカ５２を外側撮像部２３で撮像すると、図７に示す実画像テーブル６０に予め記憶された複数の画像（実画像５０１〜実画像５０ｎ）の中から、１つの左選択画像、および、１つの右選択画像がそれぞれ選択される。ここで、「左選択画像」は、実画像テーブル６０に記憶された実画像５０１〜実画像５０ｎの中から選択された画像であって、ユーザの左目に視認される画像である。また、「右選択画像」は、実画像テーブル６０に記憶された実画像５０１〜実画像５０ｎの中から選択された画像であって、ユーザの右目に視認される画像である。左選択画像と右選択画像とが上側ＬＣＤ２２に表示されることによって、ユーザが立体的に感じる立体視画像５０ｘが表示される。
【００８６】
ゲーム装置１０は、外側撮像部（左）２３ａによって取得された画像に含まれるマーカ５２の位置および姿勢に基づいて、実画像テーブル６０に記憶された複数の画像の中から、１つの画像を左選択画像として選択する。また、ゲーム装置１０は、外側撮像部（右）２３ｂによって取得された画像に含まれるマーカ５２の位置および姿勢に基づいて、実画像テーブル６０に記憶された複数の画像の中から、１つの画像を右選択画像として選択する。具体的な画像の選択方法については、後述する。
【００８７】
図９は、ゲーム装置１０の外側撮像部２３を用いて実空間に配置されたマーカ５２を、図８に示す方向とは異なる方向から撮像した場合に、上側ＬＣＤ２２に表示される画像を示す図である。
【００８８】
図９に示すように、外側撮像部２３によって撮像された画像中にマーカ５２が検出された場合、上側ＬＣＤ２２には、当該マーカ５２の画像に実オブジェクト５０を撮像した画像５０ｙが重ね合わされて表示される。画像５０ｙは、図８と同様に立体視画像であって、実際には２つの画像を含む。
【００８９】
図９に示すように、マーカ５２の矢印方向が手前側になるようにして当該マーカ５２を配置して外側撮像部２３で撮像すると、マーカ５２の上に実オブジェクト５０が置かれているような画像が上側ＬＣＤ２２に表示される。具体的には、実オブジェクト５０の数字「１」が書かれた面５０ａ、および、数字「２」が書かれた面５０ｂが見えるようにして、実オブジェクト５０の画像が上側ＬＣＤ２２に表示される。
【００９０】
このように、外側撮像部２３でマーカ５２を撮像した場合、実際には実空間に配置されていない実オブジェクト５０が当該マーカ５２の画像の上に、表示される。上側ＬＣＤ２２に表示される実オブジェクト５０の画像は、実オブジェクト５０を実際にカメラで撮影して得られた画像である。このため、ユーザは、実オブジェクト５０があたかも実空間に配置されているように感じる。
【００９１】
（表示処理の詳細）
次に、図１０〜図１５を参照して、本実施形態に係る表示処理の詳細について説明する。まず、表示処理の際にメインメモリ３２およびＶＲＡＭ３１３（以下、これらを総称してＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図１０は、ゲーム装置１０のＲＡＭ（メインメモリ３２等）のメモリマップを示す図である。図１０に示されるように、ＲＡＭには、ゲームプログラム７０、左カメラ画像７１Ｌ、右カメラ画像７１Ｒ、左仮想カメラ行列７２Ｌ、右仮想カメラ行列７２Ｒ、左仮想カメラ方向情報７３Ｌ、右仮想カメラ方向情報７３Ｒ、実画像テーブルデータ７４、左仮想カメラ画像７５Ｌ、右仮想カメラ画像７５Ｒ等が記憶される。これらの他、ＲＡＭには、ユーザによって行われたボタン操作に関するデータ等が記憶される。
【００９２】
ゲームプログラム７０は、後述するフローチャートに示される表示処理を情報処理部３１（ＣＰＵ３１１）に実行させるためのプログラムである。
【００９３】
左カメラ画像７１Ｌは、外側撮像部（左）２３ａによって撮像された画像であり、上側ＬＣＤ２２に表示されてユーザの左目で視認される画像である。右カメラ画像７１Ｒは、外側撮像部（右）２３ｂによって撮像された画像であり、上側ＬＣＤ２２に表示されてユーザの右目で視認される画像である。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、所定の時間間隔で左カメラ画像７１Ｌおよび右カメラ画像７１Ｒを撮像し、左カメラ画像７１Ｌおよび右カメラ画像７１ＲはＲＡＭに記憶される。
【００９４】
左仮想カメラ行列７２Ｌは、マーカ５２上に設定されるマーカ座標系を基準とした左仮想カメラ６３ａ（図１３参照）の位置および姿勢を示す行列である。右仮想カメラ行列７２Ｒは、マーカ５２上に設定されるマーカ座標系を基準とした右仮想カメラ６３ｂ（図１３参照）の位置および姿勢を示す行列である。左仮想カメラ６３ａは、仮想空間に配置される仮想カメラであり、実空間におけるマーカ５２を基準とした外側撮像部（左）２３ａの位置および姿勢に対応する、仮想空間上の位置および姿勢で仮想空間に配置される。右仮想カメラ６３ｂは、仮想空間に配置される仮想カメラであり、実空間におけるマーカ５２を基準とした外側撮像部（右）２３ｂの位置および姿勢に対応する、仮想空間上の位置および姿勢で仮想空間に配置される。左仮想カメラ６３ａおよび右仮想カメラ６３ｂは、仮想ステレオカメラ６３を構成し、これらの仮想空間上の位置および姿勢は、マーカ座標系の座標値およびマーカ座標系の各軸周りの回転として表わされる。左仮想カメラ６３ａ、右仮想カメラ６３ｂ、および、マーカ座標系の設定については、後述する。
【００９５】
左仮想カメラ方向情報７３Ｌは、仮想空間における左仮想カメラ６３ａの位置から仮想空間の所定位置（マーカ座標系の原点）に向かう左仮想カメラ方向ベクトル（図１４）を表わす情報である。右仮想カメラ方向情報７３Ｒは、仮想空間における右仮想カメラ６３ｂの位置から仮想空間の所定位置（マーカ座標系の原点）に向かう右仮想カメラ方向ベクトル（図１４）を表わす情報である。左仮想カメラ方向ベクトルおよび右仮想カメラ方向ベクトルについては、後述する。
【００９６】
実画像テーブルデータ７４は、図７に示す実画像テーブル６０を示すデータである。具体的には、実画像テーブルデータ７４には、実オブジェクト５０を撮影した実画像５０１〜実画像５０ｎの画像データ、および、各画像の撮像方向を示す撮像方向ベクトルが画像毎に予め記憶されている。
【００９７】
左仮想カメラ画像７５Ｌは、仮想空間を左仮想カメラ６３ａで撮像して得られる画像であり、上側ＬＣＤ２２に表示されてユーザの左目に視認される画像である。右仮想カメラ画像７５Ｒは、仮想空間を右仮想カメラ６３ｂで撮像して得られる画像であり、上側ＬＣＤ２２に表示されてユーザの右目に視認される画像である。
【００９８】
（フローチャートの説明）
次に、表示処理の詳細について図１１を参照して説明する。図１１は、本実施形態に係る表示処理の詳細を示すメインフローチャートである。ゲーム装置１０の電源が投入されると、ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、ＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリ４４等；コンピュータ読み取り可能な記憶媒体）に記憶されたゲームプログラム７０がＲＡＭ（具体的には、メインメモリ３２）に読み込まれ、情報処理部３１のＣＰＵ３１１によって当該プログラムの実行が開始される。図１１のフローチャートに示す処理は、以上の処理が完了した後に情報処理部３１（ＣＰＵ３１１又はＧＰＵ３１２）によって行われる。
【００９９】
なお、図１１では、本発明に直接関連しない処理については記載を省略する。また、図１１に示すステップＳ１０１〜ステップＳ１０５の処理は、１フレーム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に繰り返し実行される。
【０１００】
まず、ステップＳ１０１において、情報処理部３１は、外側撮像部２３によって撮像された画像を取得する。具体的には、情報処理部３１は、外側撮像部（左）２３ａによって撮像された画像を取得して、左カメラ画像７１ＬとしてＲＡＭに保存するとともに、外側Ｍに保存する。次に、情報処理部３１は、ステップＳ１０２の処理を実行する。
【０１０１】
ステップＳ１０２において、情報処理部３１は、左仮想カメラ画像生成処理を行う。ここでは、左仮想カメラ６３ａで仮想空間を撮像することによって左仮想カメラ画像７５Ｌを生成する。ステップＳ１０２における左仮想カメラ画像生成処理の詳細を、図１２を用いて説明する。
【０１０２】
図１２は、左仮想カメラ画像生成処理（ステップＳ１０２）の詳細を示すフローチャートである。
【０１０３】
ステップＳ２０１において、情報処理部３１は、ステップＳ１０１で取得した左カメラ画像７１Ｌからマーカ５２を検出する。具体的には、情報処理部３１は、例えばパターンマッチング手法等によってステップＳ１０１で取得した左カメラ画像７１Ｌに含まれるマーカ５２を検出する。情報処理部３１は、マーカ５２を検出すると、次にステップＳ２０２の処理を実行する。なお、ステップＳ２０１において情報処理部３１がマーカ５２を検出しない場合、以降のステップＳ２０２〜ステップＳ２０６の処理は行われず、情報処理部３１は、当該左仮想カメラ画像生成処理を終了する。
【０１０４】
ステップＳ２０２において、情報処理部３１は、ステップＳ２０１で検出した左カメラ画像７１Ｌに含まれるマーカ５２の画像に基づいて、左仮想カメラ６３ａを仮想空間に設定する。具体的には、情報処理部３１は、検出したマーカ５２の画像の位置、形状や大きさ、姿勢に基づいて、マーカ５２上にマーカ座標系を設定するとともに、実空間のマーカ５２と外側撮像部（左）２３ａとの位置関係を算出する。そして、情報処理部３１は、算出した位置関係に応じて、仮想空間における左仮想カメラ６３ａの位置および姿勢を設定する。
【０１０５】
図１３は、マーカ５２上に設定されるマーカ座標系と仮想空間に設定される左仮想カメラ６３ａとの位置関係を示す図である。図１３に示すように、情報処理部３１は、左カメラ画像７１Ｌにマーカ５２を検出すると、当該マーカ５２上にマーカ座標系（ＸＹＺ座標系）を設定する。マーカ座標系の原点は、マーカ５２の中心に設定される。マーカ座標系のＺ軸は、マーカ５２の中心からマーカ５２に描かれた矢印の方向に設定される。マーカ座標系のＸ軸は、マーカ５２に描かれた矢印方向に対して右向きに設定される。また、マーカ座標系のＹ軸は、マーカ５２に対して垂直上向きに設定される。このように、マーカ５２を基準としてマーカ座標系が設定されるため、マーカ座標系によって定義される仮想空間と実空間とが対応づけられる。例えば、実空間のマーカ５２の中心は、仮想空間の所定点（マーカ座標系の原点）と対応付けられる。
【０１０６】
また、情報処理部３１は、左カメラ画像７１Ｌに含まれるマーカ５２の画像に基づいて、実空間のマーカ５２と外側撮像部（左）２３ａとの位置関係を算出する。マーカ５２と外側撮像部（左）２３ａとの位置関係は、マーカ５２を基準とした外側撮像部（左）２３ａの位置および姿勢である。具体的には、情報処理部３１は、左カメラ画像７１Ｌにおけるマーカ５２の画像の位置、形状や大きさ、姿勢等に基づいて、マーカ５２を基準とした外側撮像部（左）２３ａの位置および姿勢を示す行列を算出する。そして、情報処理部３１は、算出した外側撮像部（左）２３ａの位置および姿勢と対応するようにして、仮想空間の左仮想カメラ６３ａの位置および姿勢を設定する。具体的には、情報処理部３１は、算出した行列を左仮想カメラ行列７２ＬとしてＲＡＭに記憶する。このようにして左仮想カメラ６３ａが設定されることにより、実空間の外側撮像部（左）２３ａの位置および姿勢と仮想空間の左仮想カメラ６３ａの位置および姿勢とが対応付けられる。図１３に示すように、左仮想カメラ行列７２Ｌは、仮想空間におけるマーカ座標系（ＸＹＺ座標系）で表わされた座標を、左仮想カメラ座標系（ＸｃａＹｃａＺｃａ座標系）で表わされる座標へと変換するための座標変換行列である。左仮想カメラ座標系は、左仮想カメラ６３ａの位置を原点とし、左仮想カメラ６３ａの撮像方向をＺｃａ軸、当該Ｚｃａ軸に対して右向きの方向をＸｃａ軸、Ｚｃａ軸に対して上向きの方向をＹｃａ軸とする座標系である。
【０１０７】
情報処理部３１は、ステップＳ２０２の処理の後、次にステップＳ２０３の処理を実行する。
【０１０８】
ステップＳ２０３において、情報処理部３１は、左仮想カメラ６３ａからマーカ５２に向かうベクトルを算出する。具体的には、情報処理部３１は、左仮想カメラ６３ａの位置（左仮想カメラ行列７２Ｌによって表わされる位置）を始点とし、マーカ座標系の原点を終点とする左仮想カメラ方向ベクトルを算出する。図１４は、ステップＳ２０３で算出される左仮想カメラ方向ベクトルを示す図である。図１４に示すように、左仮想カメラ方向ベクトルは、マーカ座標系で示される左仮想カメラ６３ａの位置からマーカ座標系の原点に向かうベクトルである。そして、情報処理部３１は、算出したベクトルを左仮想カメラ方向情報７３Ｌとして、ＲＡＭに記憶する。次に、情報処理部３１は、ステップＳ２０４の処理を実行する。
【０１０９】
ステップＳ２０４において、情報処理部３１は、ステップＳ２０３で算出したベクトルに基づいて、実画像テーブル６０の中から１つの実画像を選択する。具体的には、情報処理部３１は、算出したベクトルと、実画像テーブル６０の各撮像方向ベクトルとを比較し、算出したベクトルと一致する（または最も近い）ベクトルを選出する。そして、選出したベクトルに対応する画像（実画像５０１〜実画像５０ｎのうちの１つの画像）を実画像テーブル６０の中から選択する。例えば、情報処理部３１は、ステップＳ２０３で算出したベクトルと、実画像テーブル６０の各撮像方向ベクトルとの内積の値を求め、内積の値が最も大きな撮像方向ベクトルを選出し、当該選出した撮像方向ベクトルに対応する画像を選択する。次に、情報処理部３１は、ステップＳ２０５の処理を実行する。
【０１１０】
ステップＳ２０５において、情報処理部３１は、ステップＳ２０４で選択された画像を仮想空間に配置する。図１５は、ステップＳ２０４で選択された画像６１が仮想空間に配置される様子を示す図である。
【０１１１】
図１５に示すように、選択された画像６１の位置はマーカ座標系の原点に設定される。具体的には、選択された画像６１の左右方向の中心であって当該画像の下端は、マーカ座標系の原点に設定される。また、選択された画像６１の姿勢は、左仮想カメラ６３ａの姿勢に応じて設定される。具体的には、当該画像６１が左仮想カメラ６３ａ（左仮想カメラ６３ａのカメラ座標系における原点）を向くように、当該画像６１が仮想空間に配置される。仮想空間に配置される画像６１は、２次元のオブジェクト（画像オブジェクト）として扱うことができる。当該画像オブジェクトは板状のオブジェクトに選択された画像がテクスチャとして貼り付けられたものである。ステップＳ２０４で選択された画像６１を示す２次元の画像オブジェクトを左仮想カメラ６３ａを用いて撮像する際に、当該２次元の画像オブジェクトが正面から撮像されるように、当該画像オブジェクトが仮想空間に配置される。仮に画像オブジェクトが左仮想カメラ６３ａを向くように配置されない場合、左仮想カメラ６３ａで仮想空間を撮像すると、当該画像オブジェクトを斜めから撮像することになり、その結果得られる画像は、選択された画像６１を斜めから見た画像となってしまう。しかしながら、ステップＳ２０５において、選択された画像６１を示す２次元の画像オブジェクトが左仮想カメラ６３ａを向くように仮想空間に配置される。このため、左仮想カメラ６３ａで仮想空間を撮像して得られる画像は、選択された画像６１を正面から見た画像となる。
【０１１２】
なお、上述のように、実画像テーブル６０に記憶されている各画像は、実オブジェクト５０のみを撮像した画像（実オブジェクト５０以外の背景が除かれた画像）である。このため、図１５では、仮想空間に配置された２次元の画像オブジェクトは、正方形あるいは長方形のオブジェクトのように見えるが、実際には、２次元の画像オブジェクトは、実オブジェクト５０の外縁の形状となる。すなわち、２次元の画像オブジェクトの形状は、実オブジェクト５０を実空間のマーカ５２上に実際に配置して外側撮像部（左）２３ａの位置から当該実オブジェクト５０を見たときの、実オブジェクト５０の像の外縁形状である。従って、図１５に示される画像６１は、実際には実オブジェクト５０のみ画像である。
【０１１３】
また、選択された画像６１を左仮想カメラ６３ａに向けるために、選択された画像６１を示す２次元の画像オブジェクトの法線と、左仮想カメラ６３ａの撮像方向とが平行（法線ベクトルと撮像方向ベクトルとの角度が１８０度）になるように、当該画像オブジェクトが配置されてもよい。また、選択された画像６１を左仮想カメラ６３ａに向けるために、左仮想カメラ６３ａの位置とマーカ座標系の原点とを結ぶ直線が、上記２次元の画像オブジェクトと垂直に交わるように、当該画像オブジェクトが配置されてもよい。
【０１１４】
また、予め用意された複数の画像（実画像５０１〜５０ｎ）を撮影する際の実カメラの注視点が、実オブジェクト５０の中心に設定されていた場合、選択された画像６１の中心がマーカ座標系の原点となるように、選択された画像６１が仮想空間に配置されてもよい。
【０１１５】
情報処理部３１は、ステップＳ２０５の処理の後、次にステップＳ２０６の処理を実行する。
【０１１６】
ステップＳ２０６において、情報処理部３１は、仮想空間を左仮想カメラ６３ａで撮像することにより、左仮想カメラ画像７５Ｌを生成する。情報処理部３１は、生成した左仮想カメラ画像７５ＬをＲＡＭに記憶する。ステップＳ２０６の処理の後、情報処理部３１は、左仮想カメラ画像生成処理を終了する。
【０１１７】
図１１に戻り、情報処理部３１は、ステップＳ１０３において、右仮想カメラ画像生成処理を実行する。ステップＳ１０３の右仮想カメラ画像生成処理は、ステップＳ１０２の左仮想カメラ画像生成処理と同様の処理である。ステップＳ１０３においては、情報処理部３１は、ステップＳ１０１で取得した右カメラ画像７１Ｒからマーカ５２を検出し、当該マーカ５２の画像に基づいて、仮想空間に右仮想カメラ６３ｂを設定する。次に、情報処理部３１は、右仮想カメラ６３ｂからマーカ５２に向かうベクトル（図１４に示す右仮想カメラ方向ベクトル）を算出し、当該ベクトルに基づいて、実画像テーブル６０から画像を選択する。そして、情報処理部３１は、選択した画像を示す２次元の画像オブジェクトを仮想空間に配置して、仮想空間を右仮想カメラ６３ｂで撮像することにより、右仮想カメラ画像７５Ｒを生成する。情報処理部３１は、生成した右仮想カメラ画像７５ＲをＲＡＭに記憶して、ステップＳ１０３の処理を終了する。次に、情報処理部３１は、ステップＳ１０４の処理を実行する。
【０１１８】
ステップＳ１０４において、情報処理部３１は、外側撮像部２３で撮像した画像と仮想ステレオカメラ６３で撮像した画像とを重ね合わせる。具体的には、情報処理部３１は、ステップＳ１０１で取得した左カメラ画像７１Ｌに、ステップＳ１０２で生成した左仮想カメラ画像７５Ｌを重ね合わせて、左重畳画像を生成する。また、情報処理部３１は、ステップＳ１０１で取得した右カメラ画像７１Ｒに、ステップＳ１０３で生成した右仮想カメラ画像７５Ｒを重ね合わせて、右重畳画像を生成する。次に、情報処理部３１は、ステップＳ１０５の処理を実行する。
【０１１９】
ステップＳ１０５において、情報処理部３１は、ステップＳ１０４で生成した左重畳画像および右重畳画像を上側ＬＣＤ２２に出力する。左重畳画像は、上側ＬＣＤ２２の視差バリアを介してユーザの左目に視認され、右重畳画像は、上側ＬＣＤ２２の視差バリアを介してユーザの右目に視認される。これにより、上側ＬＣＤ２２には、ユーザが立体的に感じる立体視画像が表示される。以上で、図１１に示すフローチャートの説明を終了する。
【０１２０】
以上のように、本実施形態では、実オブジェクトを複数の方向から撮影した画像が予め用意され、当該容易された複数の画像の中から、ゲーム装置１０（外側撮像部２３）から見えるマーカ５２の姿勢（向き）に応じた画像が選択される。そして、外側撮像部２３によって撮像された画像に、選択された画像が重ね合わされて上側ＬＣＤ２２に表示される。これにより、実際には実空間に存在しない実オブジェクトが当該実空間に存在するような感覚をユーザに与えることができる。
【０１２１】
また、外側撮像部２３によって撮像された画像に含まれるマーカ５２上に、選択された画像の２次元画像オブジェクトが仮想カメラを向くようにして配置されて、仮想カメラで当該画像オブジェクトを含む仮想空間が撮像される。仮想カメラは、外側撮像部２３に対応する位置および姿勢で仮想空間に配置される。これにより、実空間における外側撮像部２３とマーカ５２との距離に応じて選択された画像の大きさを変化させることができるため、あたかも実空間に実オブジェクトが存在するような感覚をユーザに与えることができる。
【０１２２】
（変形例）
なお、本実施形態では、予め用意される複数の画像は、実オブジェクト５０を実カメラで複数の方向から撮影した画像であるとした。他の実施形態では、予め用意される複数の画像は、３次元仮想オブジェクトを仮想カメラで複数の方向から撮像した画像であってもよい。３次元仮想オブジェクトは、当該仮想オブジェクトの形状や模様を示すモデル情報として、ゲーム装置１０に記憶され、ゲーム装置１０は、当該仮想オブジェクトを仮想カメラで撮像することにより、仮想オブジェクトの画像を生成することができる。しかしながら、複雑な形状の仮想オブジェクトやポリゴン数が非常に多い仮想オブジェクトを描画する場合、ゲーム装置１０の処理負荷が高くなり、描画処理が画面の更新のタイミングに間に合わないことがある。このため、特定の仮想オブジェクトを撮像した画像を予め複数用意して、当該用意された画像の中から表示する画像を選択することで、低負荷で当該仮想オブジェクトの画像を表示することができる。すなわち、所定の撮影対象（当該撮影対象は、実オブジェクトであってもよいし、仮想オブジェクトであってもよい）を複数の方向から撮影して得られた複数の画像が、予め用意されてもよい。
【０１２３】
また、他の実施形態では、予め用意される複数の画像は、実カメラや仮想カメラで撮影されたもの以外であってもよく、例えば、ユーザが手書きである対象を複数の方向から見た画像を作成してもよい。また、他の実施形態では、予め用意される複数の画像は、特定の実オブジェクト（あるいは仮想オブジェクト）を複数の方向から見た画像である必要はない。例えば、異なる実オブジェクト（あるいは仮想オブジェクト）を撮像した複数の画像が予め用意され、マーカ５２を撮像する方向に基づいて、用意された複数の画像の中から画像を選択して、表示してもよい。例えば、ある方向からマーカ５２を撮像した場合には、あるオブジェクトが表示され、別の方向からマーカ５２を撮像した場合は、別のオブジェクトが表示されてもよい。
【０１２４】
また、本実施形態では、外側撮像部２３で撮像した実画像に、選択された画像を重ね合わせて表示した。他の実施形態では、選択された画像のみを表示してもよい。
【０１２５】
また、本実施形態では、マーカ５２の中心の上に実オブジェクト５０の画像を表示した。他の実施形態では、実オブジェクト５０は、必ずしもマーカ５２の中心に配置される必要はなく、マーカ座標系の所定位置に配置されてもよい。この場合、例えば、左仮想カメラ画像を生成するときは、左仮想カメラ６３ａの位置から当該所定位置に向かうベクトルが算出され、当該ベクトルに基づいて、予め用意された画像の中から１つの画像が選択される。そして、選択された画像は、上記所定位置に配置され、当該画像は、左仮想カメラ６３ａを向くように配置される。
【０１２６】
また、本実施形態では、撮像画像に含まれるマーカ５２に基づいて、マーカ５２上にマーカ座標系を設定するとともに、当該マーカ座標系における外側撮像部２３の位置を算出した。すなわち、本実施形態では、外側撮像部２３とマーカ５２との一方を基準とした他方の相対的な姿勢および距離を算出した。他の実施形態では、外側撮像部２３とマーカ５２との相対的な姿勢のみを算出してもよい。すなわち、マーカ５２を見ている方向を算出し、当該方向に基づいて、予め記憶された複数の画像の中から１つの画像が選択されてもよい。
【０１２７】
また、本実施形態では、選択した画像を示す２次元の画像オブジェクトが仮想カメラを向くようにして仮想空間に当該画像を配置し、仮想カメラで当該仮想空間を撮像した。これにより、実オブジェクト５０が上側ＬＣＤ２２に表示された場合の実オブジェクト５０の大きさが、マーカ５２と外側撮像部との相対的な位置に応じて変化するように、実オブジェクト５０が表示された。他の実施形態では、他の方法によって、実オブジェクト５０の表示上の大きさが変更されるようにしてもよい。例えば、選択した画像は仮想空間に配置されずに、選択された画像のサイズを変更して、変更された画像がそのまま上側ＬＣＤ２２に表示されてもよい。具体的には、例えば、左カメラ画像７１Ｌに含まれるマーカ５２の画像の大きさに基づいて、選択された画像のサイズを拡大あるいは縮小し、当該拡大あるいは縮小した画像を左カメラ画像７１Ｌに含まれるマーカ５２の画像上に重ね合わせてもよい。そして、当該重ね合わされた画像が上側ＬＣＤ２２に表示されてもよい。
【０１２８】
図１６は、他の実施形態における表示処理の概要を示す図である。図１６に示すように、ゲーム装置１０は、まず、例えば外側撮像部（左）２３ａによって撮像された左カメラ画像について、当該左カメラ画像に含まれるマーカ５２の画像を検出する。次に、ゲーム装置１０は、上述と同様の方法によって、予め用意された複数の画像の中から、１つの画像を選択する。次に、ゲーム装置１０は、左カメラ画像に含まれるマーカ５２の画像の大きさに基づいて、選択した画像を縮小（あるいは拡大）する。具体的には、ゲーム装置１０は、マーカ５２の大きさが予め定められた大きさに対してどの程度の比率かを算出し、当該比率に応じて、選択した画像を縮小（あるいは拡大）する。そして、ゲーム装置１０は、左カメラ画像に当該縮小（あるいは拡大）した画像を重ね合わせる。この場合、ゲーム装置１０は、例えば、当該縮小（あるいは拡大）した画像の中心と、左カメラ画像に含まれるマーカ５２の中心とが一致するようにして、２つの画像を重ね合わせる。
【０１２９】
また、本実施形態では、仮想空間に他の仮想オブジェクトが配置されない例について説明した。他の実施形態では、仮想空間に、複数の仮想オブジェクトが配置され、当該仮想オブジェクト、実空間のマーカ５２、および、実オブジェクト５０の画像が上側ＬＣＤ２２に表示されてもよい。
【０１３０】
例えば、地面を示す地面オブジェクトがＸＺ平面上に配置されてもよい。当該地面オブジェクトは、滑らかな平面であってもよいし、凹凸のある面であってもよい。この場合において、選択された画像は、当該地面オブジェクトに接触しないように配置されてもよい。例えば、選択された画像が地面オブジェクトに接触しないように、選択された画像を地面オブジェクトから浮かせて配置してもよい。あるいは、選択された画像と地面オブジェクトとが接触する部分については、地面オブジェクトを選択された画像よりも優先して描画してもよい。例えば、選択された画像と地面オブジェクトとが接触する部分について、選択された画像を優先して描画すると、表示される画像は、地面に埋まっているはずの実オブジェクトの部分も表示されてしまい、違和感のある画像となることがある。しかしながら、選択された画像が地面オブジェクトに接触しないように配置されたり、接触しても地面オブジェクトを優先的に描画することにより、違和感のない画像を表示することができる。
【０１３１】
また、例えば、仮想空間に仮想キャラクタを配置し、記憶手段には特定の人物の顔を複数の方向から撮影した写真が記憶され、当該複数の写真の中から１つの写真を選択して、仮想キャラクタの顔を当該選択した写真と置き換えて表示してもよい。この場合において、例えば、仮想キャラクタの胴体が右を向いている場合は、右を向いた顔写真が仮想キャラクタの顔の部分に張り付けられて表示される。また、この場合、仮想空間に配置されたその他の仮想オブジェクト（あるいは当該仮想キャラクタの他の部分（手の部分等））が、仮想キャラクタの顔の部分よりも仮想カメラ側に位置している場合には、当該その他の仮想オブジェクトが優先的に表示される。これにより、現在の実空間と、仮想空間のオブジェクトと、現在は実空間には存在しない実オブジェクトとを融合させた画像を違和感なく表示することができる。
【０１３２】
また、本実施形態では、平面状で四角形のマーカ５２が用いられた。他の実施形態では、どのようなマーカが用いられてもよく、立体形状のマーカ（特定対象）が用いられてもよい。
【０１３３】
また、本実施形態では、外側撮像部（左）２３ａによって撮像された左カメラ画像７１Ｌを用いて、外側撮像部（左）２３ａとマーカ５２との位置関係（相対的な姿勢および距離）を算出し、外側撮像部（右）２３ｂによって撮像された右カメラ画像７１Ｒを用いて、外側撮像部（右）２３ｂとマーカ５２との位置関係（相対的な姿勢および距離）を算出した。他の実施形態では、どちらか一方の画像（例えば左カメラ画像７１Ｌ）を用いて、どちらか一方の撮像部（例えば外側撮像部（左）２３ａ）とマーカ５２との位置関係を算出してもよい。そして、一方の撮像部とマーカ５２との位置関係に基づいて、他方の撮像部（外側撮像部（右）２３ｂ）とマーカ５２との位置関係を算出してもよい。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、所定の距離だけ離れて、どちらも同じ姿勢でゲーム装置１０に固定されている。このため、どちらか一方の撮像部の位置および姿勢が算出されると、他方の撮像部の位置および姿勢も算出することができる。
【０１３４】
また、本実施形態では、立体視画像を上側ＬＣＤ２２に表示したが、他の実施形態では、平面視画像を上側ＬＣＤ２２あるいは下側ＬＣＤ１２に表示してもよい。例えば、１つの撮像部（外側撮像部２３の２つの撮像部のうちの何れか、または、他の１つの撮像部）で実空間のマーカ５２を撮像し、当該撮像画像に含まれるマーカ５２の姿勢に基づいて、予め記憶された複数の画像の中から１つの画像を選択してもよい。そして、撮像画像に選択した画像を重ね合わせて、上側ＬＣＤ２２に表示してもよい。
【０１３５】
また、本実施形態では、１つの撮像部によって撮像された画像に含まれるマーカ５２の姿勢に基づいて、複数の画像の中から１つの画像を選択して表示した。他の実施形態では、１つの撮像部によって撮像された画像に含まれるマーカ５２の姿勢に基づいて、複数の画像の中から１つ以上の画像を選択して表示してもよい。例えば、外側撮像部２３の２つの撮像部のうちの何れかによって撮像された画像に基づいて、当該撮像部からマーカ５２の中心に向かうベクトルを算出し、当該ベクトルに対応した２つの画像を実画像テーブル６０の中から選択する。ここで、選択される２つの画像は、互いに視差を有する画像であって、一方はユーザの左目で視認される画像であり、他方はユーザの右目で視認される画像である。選択された２つの画像が上側ＬＣＤ２２に表示されることで、実オブジェクト５０の立体視画像が表示される。また、例えば、上側ＬＣＤ２２には上述のようにして選択された画像を表示し、下側ＬＣＤ１２には上側ＬＣＤ２２に表示される画像とは異なる方向から撮像された画像を表示することにより、異なる方向から撮像された実オブジェクト５０の平面視画像を表示してもよい。具体的には、例えば、外側撮像部２３のうちの１つの撮像部からマーカ５２に向かうベクトルに応じた画像が選択されて上側ＬＣＤ２２に表示されるとともに、当該ベクトルと反対方向のベクトルに応じた画像が選択されて下側ＬＣＤ１２に表示されてもよい。また、１つの撮像部によって撮像された画像に含まれるマーカ５２の姿勢に基づいて選択された２つ（あるいはそれ以上）の画像を、１つの表示装置に表示してもよい。例えば、撮像画像に含まれるマーカ５２の姿勢に応じた実オブジェクト５０を正面から見た画像と、当該実オブジェクト５０を右側から見た画像と、当該実オブジェクト５０を左側から見た画像とが、１つの表示装置に表示されてもよい。
【０１３６】
また、本実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわち、本実施形態では、外側撮像部２３によって撮像された画像と、仮想カメラ（左右の仮想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳画像が上側ＬＣＤ２２に表示された。他の実施形態では、光学シースルー方式により拡張現実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラを備えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して実空間を視認できるようになっていてもよい。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されており、さらにコンピュータにより生成した仮想オブジェクトの画像を表示させることができるようになっている。
【０１３７】
また、他の実施形態では、上述した表示制御方法は、携帯型ゲーム装置に限らず、据置型ゲーム装置や他の任意の電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や高機能携帯電話、パーソナルコンピュータ等に適用されてもよい。
【０１３８】
また、本実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いられた。他の実施形態では、眼鏡を用いて立体視画像を表示するような方式（時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）など）や、ヘッドマウントディスプレイを用いる方式等においても、本発明は適用可能である。また、他の実施形態では、立体視画像を表示可能なＬＣＤの替わりに平面視画像を表示する表示装置が用いられてもよい。
【０１３９】
また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が各処理を分担して処理することにより、上述した表示制御方法を実現する表示制御システムとして構築されてもよい。例えば、予め用意される複数の画像は、ネットワークを介してゲーム装置１０がアクセス可能な記憶装置に記憶されてもよい。また、上記プログラムは、不揮発性メモリに限らず、磁気ディスク、光ディスク等に記憶されてもよく、ネットワークに接続されたサーバ上のＲＡＭに記憶されて、ネットワークを介して当該プログラムが提供されてもよい。
【０１４０】
また、上記実施形態においては、ゲーム装置１０の情報処理部３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施形態においては、上記処理の一部又は全部は、ゲーム装置１０が備える専用回路によって行われてもよい。
【符号の説明】
【０１４１】
１０ ゲーム装置
１２ 下側ＬＣＤ
１３ タッチパネル
１４ 操作ボタン
１５ アナログスティック
２２ 上側ＬＣＤ
２３ 外側撮像部
２３ａ 外側撮像部（左）
２３ｂ 外側撮像部（右）
２４ 内側撮像部
３１ 情報処理部
３１１ ＣＰＵ
３１２ ＧＰＵ
３２ メインメモリ
５０ 実オブジェクト
５２ マーカ
６０ 実画像テーブル
６３ 仮想ステレオカメラ
６３ａ 左仮想カメラ
６３ｂ 右仮想カメラ
【技術分野】
【０００１】
本発明は、表示装置に画像を表示させるための情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法に関する。
【背景技術】
【０００２】
従来、実空間に置かれたカードをカメラで撮像して、当該カードの表示位置に仮想オブジェクトを表示させる装置が存在する。例えば、特許文献１では、装置に接続されたカメラで実空間に置かれたカードを撮像し、撮像した画像に基づいて、実空間におけるカードの姿勢、方向、および、カメラとカードとの距離を算出する。そして、算出した姿勢、方向、および距離に応じて、表示装置に表示する仮想オブジェクトを変化させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７２６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されているように、従来は、仮想オブジェクトを仮想空間に配置して、仮想カメラで撮像することにより、仮想オブジェクトの画像を表示装置に表示させるものであった。
【０００５】
それ故、本発明の目的は、新規な方法で多様な画像を表示装置に表示させることが可能な情報処理技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００７】
本発明は、情報処理装置のコンピュータを、画像取得手段、特定対象検出手段、算出手段、画像選択手段、および、表示制御手段、として機能させる情報処理プログラムである。画像取得手段は、撮像手段によって撮像された撮像画像を取得する。特定対象検出手段は、上記画像取得手段によって取得された撮像画像から特定対象を検出する。算出手段は、上記特定対象と上記撮像手段との一方に対する他方の相対的な姿勢を算出する。画像選択手段は、上記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する。表示制御手段は、上記画像選択手段によって選択された画像を表示装置に表示させる。
【０００８】
上記によれば、撮像手段によって撮像された画像に含まれる特定対象と撮像手段との相対的な姿勢を算出し、当該姿勢に基づいて、予め記憶手段に記憶されている複数の画像（例えば、実オブジェクトの写真や仮想オブジェクトのＣＧ画像等）の中から少なくとも１つの画像を選択して表示することができる。
【０００９】
また、本発明の他の形態では、上記記憶手段に記憶されている複数の画像は、所定の対象を複数の方向から見た複数の画像であってもよい。上記画像選択手段は、上記姿勢に応じた画像を上記複数の画像の中から選択する。
【００１０】
上記によれば、特定の対象（実オブジェクトや仮想オブジェクト）を複数の方向から見た画像（撮影画像や手書き画像等を含む）を記憶手段に予め記憶しておき、これら複数の画像の中から上記姿勢に基づいて画像を選択して表示することができる。
【００１１】
また、本発明の他の形態では、上記算出手段は、上記特定対象および上記撮像手段のうちの一方を基準とした他方の相対的な位置を算出してもよい。上記画像選択手段は、上記算出手段によって算出された位置から上記特定対象と所定の位置関係にある所定の位置への方向、または、当該所定の位置から上記算出手段によって算出された位置への方向に基づいて、上記複数の画像の中から画像を選択する。
【００１２】
上記によれば、例えば、特定対象を基準として撮像手段の位置を算出し、当該位置から所定の位置（例えば特定対象の中心）への方向に基づいて、記憶手段に記憶された複数の画像の中から画像を選択することができる。これにより、特定対象を撮像手段で撮像する方向に応じて画像を選択し、当該画像を表示装置に表示することができる。
【００１３】
また、本発明の他の形態では、上記表示制御手段は、仮想カメラ設定手段と、配置手段と、画像生成手段とを含んでもよい。仮想カメラ設定手段は、上記算出手段によって算出された位置に基づいて、仮想空間に仮想カメラを設定する。配置手段は、上記選択された画像を示す画像オブジェクトが上記仮想カメラを向くようにして、上記仮想空間に上記画像オブジェクトを配置する。画像生成手段は、上記仮想空間を上記仮想カメラで撮像することによって画像を生成する。そして、上記表示制御手段は、上記画像生成手段によって生成された画像を上記表示装置に表示させる。
【００１４】
上記によれば、上記選択された画像を仮想空間に配置して、仮想空間を仮想カメラで撮像することができる。これにより、上記選択された画像を含む画像を生成して、表示装置に表示することができる。
【００１５】
また、本発明の他の形態では、上記画像オブジェクトは、上記選択された画像がテクスチャとして貼り付けられた板状のオブジェクトであってもよい。
【００１６】
上記によれば、上記選択された画像が貼り付けられた画像オブジェクトを仮想空間に配置して仮想カメラで撮像することにより、上記選択された画像を含む画像を生成することができる。
【００１７】
また、本発明の他の形態では、上記仮想空間には所定の仮想オブジェクトが配置されてもよい。上記画像生成手段は、上記仮想オブジェクトと、上記選択された画像とを含む上記仮想空間を上記仮想カメラで撮像することで画像を生成する。
【００１８】
上記によれば、仮想オブジェクトと、上記選択された画像とを含む画像を生成して、表示装置に表示することができる。
【００１９】
また、本発明の他の形態では、上記配置手段は、上記選択された画像が上記仮想オブジェクトと接触しないように、上記選択された画像を上記仮想空間に配置してもよい。
【００２０】
また、本発明の他の形態では、上記算出手段は、上記特定対象および上記撮像手段のうちの一方を基準とした他方の相対的な位置を算出してもよい。上記表示制御手段は、上記選択された画像が上記表示装置に表示された場合の当該画像の大きさが上記算出手段によって算出された位置に応じて変化するように、上記選択された画像を上記表示装置に表示させる。
【００２１】
上記によれば、上記選択された画像の表示上の大きさを算出手段によって算出された位置に応じて変化させることができる。例えば、特定対象と撮像手段とが離れている場合、選択された画像を縮小して表示装置に表示することができる。
【００２２】
上記によれば、仮想空間に仮想オブジェクトが配置される場合において、当該仮想オブジェクトと選択された画像とを表示装置に表示させる場合に、違和感のない画像を表示することができる。
【００２３】
また、本発明の他の形態では、上記表示制御手段は、上記撮像手段によって撮像された撮像画像または上記表示装置の画面を透過して視認される実空間と、上記選択された画像とを重ね合わせて、上記表示装置に表示させてもよい。
【００２４】
上記によれば、例えば、上記撮像画像と上記選択された画像とを重ね合わせて表示装置に表示することができる。また、例えば、実空間の光を透過する画面上に選択された画像を重ね合わせることにより、実空間と選択された画像とを重ね合わせて表示することができる。
【００２５】
また、本発明の他の形態では、上記撮像手段は、第１撮像部および第２撮像部を含んでもよい。上記算出手段は、上記特定対象と上記第１撮像部との一方に対する他方の相対的な姿勢を示す第１姿勢、および、上記特定対象と上記第２撮像部との一方に対する他方の相対的な姿勢を示す第２姿勢を算出する。上記画像選択手段は、上記算出手段によって算出された第１姿勢に基づいて、上記複数の画像の中から第１画像を選択し、上記算出手段によって算出された第２姿勢に基づいて、上記複数の画像の中から第２画像を選択する。上記表示制御手段は、上記画像選択手段によって選択された第１画像および第２画像を立体視表示可能な表示装置に表示させることにより、当該表示装置に立体視画像を表示させる。
【００２６】
上記によれば、第１撮像部の第１姿勢および第２撮像部の第２姿勢に基づいて、第１画像および第２画像を選択し、立体視表示可能な表示装置に表示させることができる。これにより、立体視画像を表示装置に表示することができる。
【００２７】
また、本発明の他の形態では、上記複数の画像は、実空間に配置された実オブジェクトを実カメラで撮像した画像であってもよい。
【００２８】
上記によれば、実オブジェクトの画像を記憶手段に予め記憶しておき、表示装置に表示させることができる。
【００２９】
また、本発明の他の形態では、上記複数の画像は、実空間に配置された実オブジェクトを単眼の実カメラで撮像した画像であってもよい。上記画像選択手段は、上記第１姿勢に基づいて、上記単眼の実カメラで撮影した複数の画像の中から上記第１画像を選択し、上記第２姿勢に基づいて、上記単眼の実カメラで撮影した複数の画像の中から上記第２画像を選択する。
【００３０】
上記によれば、単眼の実カメラで撮影した複数の画像を予め記憶しておき、当該複数の画像から２つの画像を選択することにより、立体視画像を表示装置に表示させることができる。
【００３１】
また、本発明の他の形態では、上記複数の画像は、仮想空間に配置された仮想オブジェクトを仮想カメラで撮像した画像であってもよい。
【００３２】
上記によれば、仮想オブジェクトの画像を記憶手段に予め記憶しておき、表示装置に表示させることができる。
【００３３】
また、本発明では、上記各手段を実現した情報処理装置であってもよい。また、本発明では、上記各手段を実現する複数の要素が相互に動作することによって、１つの情報処理システムとして構成されてもよい。当該情報処理システムは、１つの装置によって構成されてもよいし、複数の装置によって構成されてもよい。また、本発明は、上述の各手段によって実行されるステップを含む情報処理方法であってもよい。
【００３４】
また、本発明の他の形態では、情報処理装置とマーカを備えた情報処理システムであってもよい。上記情報処理装置は、画像取得手段と、特定対象検出手段と、算出手段と、画像選択手段と、表示制御手段とを備える。画像取得手段は、撮像手段によって撮像された撮像画像を取得する。特定対象検出手段は、上記画像取得手段によって取得された撮像画像から特定対象を検出する。算出手段は、上記特定対象と上記撮像手段との一方に対する他方の相対的な姿勢を算出する。画像選択手段は、上記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する。表示制御手段は、上記画像選択手段によって選択された画像を表示装置に表示させる。
【発明の効果】
【００３５】
本発明によれば、新規な方法で多様な画像を表示装置に表示させることができる。
【図面の簡単な説明】
【００３６】
【図１】開状態におけるゲーム装置１０の外観を示す正面図
【図２】閉状態におけるゲーム装置１０の左側面図、正面図、右側面図、および、背面図
【図３】ゲーム装置１０の内部構成を示すブロック図
【図４】所定の実オブジェクト５０の一例を示す図
【図５】実オブジェクト５０を複数の方向から実カメラで撮影する際に、実カメラの位置を示す図
【図６Ａ】位置Ｐ１から実オブジェクト５０を撮影した場合に取得される実画像５０１の一例を示す図
【図６Ｂ】位置Ｐ２から実オブジェクト５０を撮影した場合に取得される実画像５０２の一例を示す図
【図６Ｃ】位置Ｐｉから実オブジェクト５０を撮影した場合に取得される実画像５０ｉの一例を示す図
【図７】ゲーム装置１０に予め記憶される複数の実画像のデータを含む実画像テーブル６０を示す図
【図８】ゲーム装置１０の外側撮像部２３を用いて実空間に配置されたマーカを撮像した場合に、上側ＬＣＤ２２に表示される画像を示す図
【図９】ゲーム装置１０の外側撮像部２３を用いて実空間に配置されたマーカ５２を、図８に示す方向とは異なる方向から撮像した場合に、上側ＬＣＤ２２に表示される画像を示す図
【図１０】ゲーム装置１０のＲＡＭ（メインメモリ３２等）のメモリマップを示す図
【図１１】本実施形態に係る表示処理の詳細を示すメインフローチャート
【図１２】左仮想カメラ画像生成処理（ステップＳ１０２）の詳細を示すフローチャート
【図１３】マーカ５２上に設定されるマーカ座標系と仮想空間に設定される左仮想カメラ６３ａとの位置関係を示す図
【図１４】ステップＳ２０３で算出される左仮想カメラ方向ベクトル
【図１５】ステップＳ２０４で選択された画像６１が仮想空間に配置される様子を示す図
【図１６】他の実施形態における表示処理の概要を示す図
【発明を実施するための形態】
【００３７】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。図１は、開状態におけるゲーム装置１０の外観を示す正面図である。図２（ａ）は閉状態におけるゲーム装置１０の左側面図であり、図２（ｂ）は閉状態におけるゲーム装置１０の正面図であり、図２（ｃ）は閉状態におけるゲーム装置１０の右側面図であり、図２（ｄ）は閉状態におけるゲーム装置１０の背面図である。ゲーム装置１０は携帯型のゲーム装置であり、図１および図２に示すように折り畳み可能に構成されている。図１は、開いた状態（開状態）におけるゲーム装置１０を示し、図２は、閉じた状態（閉状態）におけるゲーム装置１０を示している。ゲーム装置１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置１０は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
【００３８】
まず、図１および図２を参照して、ゲーム装置１０の外観構成について説明する。図１および図２に示されるように、ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、下側ハウジング１１および上側ハウジング２１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
【００３９】
（下側ハウジングの説明）
まず、下側ハウジング１１の構成について説明する。図１および図２に示すように、下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ、アナログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、および、マイクロフォン用孔１８が設けられる。以下、これらの詳細について説明する。
【００４０】
図１に示すように、下側ＬＣＤ１２は下側ハウジング１１に収納される。下側ＬＣＤ１２の画素数は、例えば、３２０ｄｏｔ×２４０ｄｏｔ（横×縦）であってもよい。下側ＬＣＤ１２は、後述する上側ＬＣＤ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤ１２として、任意の解像度の表示装置を利用することができる。
【００４１】
図１に示されるように、ゲーム装置１０は、入力装置として、タッチパネル１３を備えている。タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。なお、本実施形態では、タッチパネル１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネル１３として、下側ＬＣＤ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１３の解像度と下側ＬＣＤ１２の解像度が一致している必要はない。また、下側ハウジング１１の上側面には挿入口１７（図１および図２（ｄ）に示す点線）が設けられている。挿入口１７は、タッチパネル１３に対する操作を行うために用いられるタッチペン２８を収納することができる。なお、タッチパネル１３に対する入力は通常タッチペン２８を用いて行われるが、タッチペン２８に限らずユーザの指でタッチパネル１３に対する入力をすることも可能である。
【００４２】
各操作ボタン１４Ａ〜１４Ｌは、所定の入力を行うための入力装置である。図１に示されるように、下側ハウジング１１の内側面（主面）には、各操作ボタン１４Ａ〜１４Ｌのうち、十字ボタン１４Ａ（方向入力ボタン１４Ａ）、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられる。十字ボタン１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン１４Ａ〜１４Ｅ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌには、ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは選択操作等に用いられ、各操作ボタン１４Ｂ〜１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタン１４Ｆは、ゲーム装置１０の電源をオン／オフするために用いられる。
【００４３】
アナログスティック１５は、方向を指示するデバイスである。アナログスティック１５は、そのキートップが、下側ハウジング１１の内側面に平行にスライドするように構成されている。アナログスティック１５は、ゲーム装置１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置１０によって実行される場合、アナログスティック１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティック１５のキートップがスライドした方向に移動される。なお、アナログスティック１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
【００４４】
また、下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられる。マイクロフォン用孔１８の下部には後述する音声入力装置としてのマイク４２（図３参照）が設けられ、当該マイク４２がゲーム装置１０の外部の音を検出する。
【００４５】
図２（ｂ）および（ｄ）に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４ＧおよびＲボタン１４Ｈが設けられている。Ｌボタン１４ＧおよびＲボタン１４Ｈは、例えば、撮像部のシャッターボタン（撮影指示ボタン）として機能することができる。また、図２（ａ）に示されるように、下側ハウジング１１の左側面には、音量ボタン１４Ｉが設けられる。音量ボタン１４Ｉは、ゲーム装置１０が備えるスピーカの音量を調整するために用いられる。
【００４６】
図２（ａ）に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１１Ｃが設けられる。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部メモリ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ４５は、例えば、ゲーム装置１０によって撮像された画像のデータを記憶（保存）するために用いられる。
【００４７】
また、図２（ｄ）に示されるように、下側ハウジング１１の上側面には、ゲーム装置１０とゲームプログラムを記録した外部メモリ４４を挿入するための挿入口１１Ｄが設けられ、その挿入口１１Ｄの内部には、外部メモリ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリ４４がゲーム装置１０に接続されることにより、所定のゲームプログラムが実行される。
【００４８】
また、図１および図２（ｃ）に示されるように、下側ハウジング１１の下側面にはゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥＤ１６Ｂが設けられる。ゲーム装置１０は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置１０は、例えば、ＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジング１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ１９が設けられる（図２（ｃ）参照）。
【００４９】
なお、図示は省略するが、下側ハウジング１１には、ゲーム装置１０の電源となる充電式電池が収納され、下側ハウジング１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。
【００５０】
（上側ハウジングの説明）
次に、上側ハウジング２１の構成について説明する。図１および図２に示すように、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けられる。以下、これらの詳細について説明する。
【００５１】
図１に示すように、上側ＬＣＤ２２は上側ハウジング２１に収納される。上側ＬＣＤ２２の画素数は、例えば、８００ｄｏｔ×２４０ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装置を利用することができる。
【００５２】
上側ＬＣＤ２２は、立体視可能な画像を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画像と右目用画像とが時間的に交互に表示され、メガネを用いてユーザの左目に左目用画像が右目に右目用画像が視認される方式の表示装置であってもよい。本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤ２２はパララックスバリア方式のものとする。上側ＬＣＤ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチ２５によって行われる。
【００５３】
外側撮像部２３は、上側ハウジング２１の外側面（上側ＬＣＤ２２が設けられた主面と反対側の背面）２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂの撮像方向は、いずれも当該外側面２１Ｄの外向きの法線方向である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５４】
内側撮像部２４は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５５】
３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。３Ｄ調整スイッチ２５のスライダ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に応じて上側ＬＣＤ２２の表示モードが設定される。また、スライダ２５ａの位置に応じて、立体画像の見え方が調整される。具体的には、スライダ２５ａの位置に応じて、右目用画像および左目用画像の横方向の位置のずれ量が調整される。
【００５６】
３Ｄインジケータ２６は、上側ＬＣＤ２２に立体視画像を表示可能か否かを示す。３Ｄインジケータ２６は、ＬＥＤであり、上側ＬＣＤ２２に立体視画像を表示可能な場合に点灯する。なお、３Ｄインジケータ２６は、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにしてもよい。
【００５７】
また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられる。後述するスピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。
【００５８】
（ゲーム装置１０の内部構成）
次に、図３を参照して、ゲーム装置１０の内部の電気的構成について説明する。図３は、ゲーム装置１０の内部構成を示すブロック図である。図３に示すように、ゲーム装置１０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、およびインターフェイス回路（Ｉ／Ｆ回路）４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（または上側ハウジング２１でもよい）内に収納される。
【００５９】
情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。情報処理部３１のＣＰＵ３１１は、ゲーム装置１０内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された外部メモリ４４やデータ保存用内部メモリ３５）に記憶されているプログラムを実行することによって、当該プログラムに応じた処理を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部３１のＧＰＵ３１２は、情報処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。そして、情報処理部３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力し、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像が表示される。
【００６０】
情報処理部３１には、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メモリＩ／Ｆ３４、および、データ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続するためのインターフェイスである。
【００６１】
メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、上記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部（外部メモリ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
【００６２】
外部メモリ４４は、情報処理部３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリ４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリ４４が外部メモリＩ／Ｆ３３に接続されると、情報処理部３１は外部メモリ４４に記憶されたプログラムを読み込むことができる。情報処理部３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４５には、外側撮像部２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ４５がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部３１はデータ保存用外部メモリ４５に記憶された画像を読み込み、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像を表示することができる。
【００６３】
データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
【００６４】
無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、所定の通信方式（例えば独自プロトコルによる通信や、赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール３６およびローカル通信モジュール３７は情報処理部３１に接続される。情報処理部３１は、無線通信モジュール３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
【００６５】
また、情報処理部３１には、加速度センサ３９が接続される。加速度センサ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサ３９は、下側ハウジング１１の内部に設けられる。加速度センサ３９は、図１に示すように、下側ハウジング１１の長辺方向をｘ軸、下側ハウジング１１の短辺方向をｙ軸、下側ハウジング１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサ３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部３１は、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置１０の姿勢や動きを検出することができる。
【００６６】
また、情報処理部３１には、ＲＴＣ３８および電源回路４０が接続される。ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置１０が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置１０の各部品に電力を供給する。
【００６７】
また、情報処理部３１には、Ｉ／Ｆ回路４１が接続される。Ｉ／Ｆ回路４１には、マイク４２およびスピーカ４３が接続される。具体的には、Ｉ／Ｆ回路４１には、図示しないアンプを介してスピーカ４３が接続される。マイク４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４１に出力する。アンプは、Ｉ／Ｆ回路４１からの音声信号を増幅し、音声をスピーカ４３から出力させる。また、タッチパネル１３はＩ／Ｆ回路４１に接続される。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置データは、タッチパネル１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。
【００６８】
操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、情報処理部３１に接続される。操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部３１は、操作ボタン１４から操作データを取得することによって、操作ボタン１４に対する入力に従った処理を実行する。
【００６９】
下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。下側ＬＣＤ１２および上側ＬＣＤ２２は、情報処理部３１（のＧＰＵ３１２）の指示に従って画像を表示する。本実施形態では、情報処理部３１は、上側ＬＣＤ２２に立体画像（立体視可能な画像）を表示させる。
【００７０】
具体的には、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可能な画像が表示される。
【００７１】
外側撮像部２３および内側撮像部２４は、情報処理部３１に接続される。外側撮像部２３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像データを情報処理部３１に出力する。
【００７２】
３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、スライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。
【００７３】
また、３Ｄインジケータ２６は、情報処理部３１に接続される。情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。例えば、情報処理部３１は、上側ＬＣＤ２２に立体視画像を表示可能な場合、３Ｄインジケータ２６を点灯させる。
【００７４】
また、情報処理部３１には、角速度センサ４６が接続される。角速度センサ４６は、各軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置１０は、角速度センサ４６が逐次検出する角速度に基づいて、実空間におけるゲーム装置１０の姿勢を算出することができる。具体的には、ゲーム装置１０は、角速度センサ４６によって検出された各軸周りの角速度を時間で積分することによって、各軸周りのゲーム装置１０の回転角を算出することができる。以上がゲーム装置１０の内部構成の説明である。
【００７５】
（本実施形態の表示処理の概要）
次に、図４から図９を参照して、本実施形態に係るゲーム装置１０において行われる表示処理の概要について説明する。本実施形態においては、実空間に配置された所定の実オブジェクトを予め複数の方向から撮影して保存しておき、当該複数の画像の中から２つの画像を選択して、上側ＬＣＤ２２に当該選択した２つの画像を表示する。選択された２つの画像は、具体的には、視差バリアを介してユーザの左目で視認される画像と、視差バリアを介してユーザの右目で視認される画像である。上側ＬＣＤ２２に２つの画像が表示されることによって、上側ＬＣＤ２２に立体視画像が表示される。
【００７６】
図４は、所定の実オブジェクト５０の一例を示す図である。所定の実オブジェクトは、、例えば、特定の人物のフィギュアや特定の人物の頭部であってもよい。図４に示すように、例えば実オブジェクト５０は、６つの面（面５０ａ〜面５０ｃ、および、面５０ｄ〜面５０ｆ（面５０ｄ〜面５０ｆは図示せず））から構成された立方体である。実オブジェクト５０の面５０ａには「１」、面５０ｂには「２」、面５０ｃには「３」の数字が記載されている。また、図４では示されていないが、面５０ａと対向する面５０ｄには「６」、面５０ｂと対向する面５０ｅには「５」、面５０ｃと対向する面５０ｆには「４」の数字が記載されているものとする。
【００７７】
図４に示す実オブジェクト５０が複数の方向から実カメラで撮影されて、予めゲーム装置１０に記憶される。図５は、実オブジェクト５０を複数の方向から実カメラで撮影する際に、実カメラの位置を示す図である。図５に示すように、実オブジェクト５０は、実空間の所定位置Ｏに配置され、実カメラは、当該所定位置Ｏを中心とする半球上の複数の位置（Ｐ１〜Ｐｎ）に配置される。そして、実カメラの各位置から所定位置Ｏに向かう方向に実カメラの撮像方向が設定されて、実オブジェクト５０が撮影される。例えば、実カメラが位置Ｐ１に配置され、当該実カメラの撮像方向は、位置Ｐ１から所定位置Ｏ（実オブジェクト５０が配置された位置）に向かう方向に設定される。また、実カメラが位置Ｐ２に配置され、当該実カメラの撮像方向は、位置Ｐ２から所定位置Ｏに向かう方向に設定される。このようにして複数の位置から実オブジェクト５０が撮影されて、当該撮影された複数の画像がゲーム装置１０の記憶手段（例えば、外部メモリ４４等）に記憶される。なお、実オブジェクト５０を撮影する際に、１つの実カメラを用いてもよいし、複数のカメラを用いてもよい。すなわち、１つの実カメラの位置および姿勢を順次変更しながら実オブジェクト５０を撮影してもよいし、予め複数の実カメラを異なる位置に配置しておいて、当該複数の実カメラで実オブジェクト５０を同時に撮影することによって、複数の画像を同時に取得してもよい。
【００７８】
なお、本実施形態では、実カメラの注視点は、実オブジェクト５０が置かれる位置Ｏ（半球の中心）に設定されるものとするが、他の実施形態では、実カメラの注視点は、実オブジェクト５０の中心（立方体の中心）に設定されてもよい。また、図５に示す実カメラが設定される位置は単なる例示であって、実カメラは半球上に等間隔に配置されてもよい。
【００７９】
図６Ａは、位置Ｐ１から実オブジェクト５０を撮影した場合に取得される実画像５０１の一例を示す図である。図６Ｂは、位置Ｐ２から実オブジェクト５０を撮影した場合に取得される実画像５０２の一例を示す図である。図６Ｃは、位置Ｐｉから実オブジェクト５０を撮影した場合に取得される実画像５０ｉの一例を示す図である。図６Ａに示すように、位置Ｐ１から実オブジェクト５０を撮影した場合は、面５０ａ、面５０ｂ、面５０ｆが見え、その他の面は見えない。また、図６Ｂに示すように、位置Ｐ２から実オブジェクト５０を撮影した場合は、面５０ａ、面５０ｂが見え、その他の面は見えない。また、図６Ｃに示すように、位置Ｐｉから実オブジェクト５０を撮影した場合は、面５０ａ、面５０ｂ、面５０ｃが見え、その他の面は見えない。
【００８０】
図７は、ゲーム装置１０に予め記憶される複数の実画像のデータを含む実画像テーブル６０を示す図である。図７に示すように、ゲーム装置１０には、図５に示す半球上の各位置から実オブジェクト５０を撮影して得られる画像が複数記憶される。具体的には、図７に示すように、各画像（実画像５０１〜実画像５０ｎ）は、それぞれの画像が撮影された位置および撮像方向ベクトルが関連付けられて、記憶される。撮像方向ベクトルは、実カメラの位置から所定位置Ｏ（実オブジェクト５０の位置）に向かうベクトル（単位ベクトル）であり、実画像テーブル６０に記憶される。なお、実画像テーブル６０には、撮像方向ベクトルと実画像とが関連付けられた記憶されていれば良く、実カメラが配置される位置は記憶されなくてもよい。
【００８１】
なお、実オブジェクト５０を実カメラで撮影すると、撮影された画像には、実オブジェクト５０とその背景とが含まれる。すなわち、実カメラで実オブジェクト５０を撮影して得られる画像は、通常は、正方形あるいは長方形の画像であり、実オブジェクト５０の領域と、実オブジェクト５０以外の領域とが含まれる。しかしながら、撮影された画像に含まれる背景の部分は削除されて保存される。このため、実画像テーブル６０に記憶される各画像は、実オブジェクト５０のみを撮像した画像である。従って、実画像テーブル６０に記憶される各画像の形状は、実オブジェクト５０の外縁の形状となり、例えば、図６Ａに示す画像５０１は、６角形の形状となる。
【００８２】
上述のようにして予め取得された複数の画像が、ゲーム装置１０に記憶されていることを前提として、ゲーム装置１０の上側ＬＣＤ２２に表示される画像について説明する。図８は、ゲーム装置１０の外側撮像部２３を用いて実空間に配置されたマーカ５２を撮像した場合に、上側ＬＣＤ２２に表示される画像を示す図である。
【００８３】
図８に示すように、実空間には、マーカ５２が配置される。当該マーカ５２は、長方形の紙であって、その中心に矢印が描かれている。マーカ５２の中心に描かれた矢印の方向は、マーカ５２の長辺と平行である。ゲーム装置１０は、外側撮像部２３によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカ５２を検出することができる。図８に示すように、外側撮像部２３によって撮像された画像中にマーカ５２が検出された場合、上側ＬＣＤ２２には、当該マーカ５２の画像上に実オブジェクト５０を撮像した画像５０ｘが重ね合わされて表示される。
【００８４】
具体的には、図８に示すように、マーカ５２の矢印に対して斜めになるようにして当該マーカ５２を外側撮像部２３で撮像した場合、当該マーカ５２の上に実オブジェクト５０が置かれているような画像が上側ＬＣＤ２２に表示される。例えば、実オブジェクト５０の数字「１」が書かれた面５０ａ、数字「２」が書かれた面５０ｂ、および、数字「４」が書かれた面５０ｆが見えるようにして、実オブジェクト５０の画像が表示される。
【００８５】
実空間に配置されたマーカ５２を外側撮像部２３で撮像すると、図７に示す実画像テーブル６０に予め記憶された複数の画像（実画像５０１〜実画像５０ｎ）の中から、１つの左選択画像、および、１つの右選択画像がそれぞれ選択される。ここで、「左選択画像」は、実画像テーブル６０に記憶された実画像５０１〜実画像５０ｎの中から選択された画像であって、ユーザの左目に視認される画像である。また、「右選択画像」は、実画像テーブル６０に記憶された実画像５０１〜実画像５０ｎの中から選択された画像であって、ユーザの右目に視認される画像である。左選択画像と右選択画像とが上側ＬＣＤ２２に表示されることによって、ユーザが立体的に感じる立体視画像５０ｘが表示される。
【００８６】
ゲーム装置１０は、外側撮像部（左）２３ａによって取得された画像に含まれるマーカ５２の位置および姿勢に基づいて、実画像テーブル６０に記憶された複数の画像の中から、１つの画像を左選択画像として選択する。また、ゲーム装置１０は、外側撮像部（右）２３ｂによって取得された画像に含まれるマーカ５２の位置および姿勢に基づいて、実画像テーブル６０に記憶された複数の画像の中から、１つの画像を右選択画像として選択する。具体的な画像の選択方法については、後述する。
【００８７】
図９は、ゲーム装置１０の外側撮像部２３を用いて実空間に配置されたマーカ５２を、図８に示す方向とは異なる方向から撮像した場合に、上側ＬＣＤ２２に表示される画像を示す図である。
【００８８】
図９に示すように、外側撮像部２３によって撮像された画像中にマーカ５２が検出された場合、上側ＬＣＤ２２には、当該マーカ５２の画像に実オブジェクト５０を撮像した画像５０ｙが重ね合わされて表示される。画像５０ｙは、図８と同様に立体視画像であって、実際には２つの画像を含む。
【００８９】
図９に示すように、マーカ５２の矢印方向が手前側になるようにして当該マーカ５２を配置して外側撮像部２３で撮像すると、マーカ５２の上に実オブジェクト５０が置かれているような画像が上側ＬＣＤ２２に表示される。具体的には、実オブジェクト５０の数字「１」が書かれた面５０ａ、および、数字「２」が書かれた面５０ｂが見えるようにして、実オブジェクト５０の画像が上側ＬＣＤ２２に表示される。
【００９０】
このように、外側撮像部２３でマーカ５２を撮像した場合、実際には実空間に配置されていない実オブジェクト５０が当該マーカ５２の画像の上に、表示される。上側ＬＣＤ２２に表示される実オブジェクト５０の画像は、実オブジェクト５０を実際にカメラで撮影して得られた画像である。このため、ユーザは、実オブジェクト５０があたかも実空間に配置されているように感じる。
【００９１】
（表示処理の詳細）
次に、図１０〜図１５を参照して、本実施形態に係る表示処理の詳細について説明する。まず、表示処理の際にメインメモリ３２およびＶＲＡＭ３１３（以下、これらを総称してＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図１０は、ゲーム装置１０のＲＡＭ（メインメモリ３２等）のメモリマップを示す図である。図１０に示されるように、ＲＡＭには、ゲームプログラム７０、左カメラ画像７１Ｌ、右カメラ画像７１Ｒ、左仮想カメラ行列７２Ｌ、右仮想カメラ行列７２Ｒ、左仮想カメラ方向情報７３Ｌ、右仮想カメラ方向情報７３Ｒ、実画像テーブルデータ７４、左仮想カメラ画像７５Ｌ、右仮想カメラ画像７５Ｒ等が記憶される。これらの他、ＲＡＭには、ユーザによって行われたボタン操作に関するデータ等が記憶される。
【００９２】
ゲームプログラム７０は、後述するフローチャートに示される表示処理を情報処理部３１（ＣＰＵ３１１）に実行させるためのプログラムである。
【００９３】
左カメラ画像７１Ｌは、外側撮像部（左）２３ａによって撮像された画像であり、上側ＬＣＤ２２に表示されてユーザの左目で視認される画像である。右カメラ画像７１Ｒは、外側撮像部（右）２３ｂによって撮像された画像であり、上側ＬＣＤ２２に表示されてユーザの右目で視認される画像である。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、所定の時間間隔で左カメラ画像７１Ｌおよび右カメラ画像７１Ｒを撮像し、左カメラ画像７１Ｌおよび右カメラ画像７１ＲはＲＡＭに記憶される。
【００９４】
左仮想カメラ行列７２Ｌは、マーカ５２上に設定されるマーカ座標系を基準とした左仮想カメラ６３ａ（図１３参照）の位置および姿勢を示す行列である。右仮想カメラ行列７２Ｒは、マーカ５２上に設定されるマーカ座標系を基準とした右仮想カメラ６３ｂ（図１３参照）の位置および姿勢を示す行列である。左仮想カメラ６３ａは、仮想空間に配置される仮想カメラであり、実空間におけるマーカ５２を基準とした外側撮像部（左）２３ａの位置および姿勢に対応する、仮想空間上の位置および姿勢で仮想空間に配置される。右仮想カメラ６３ｂは、仮想空間に配置される仮想カメラであり、実空間におけるマーカ５２を基準とした外側撮像部（右）２３ｂの位置および姿勢に対応する、仮想空間上の位置および姿勢で仮想空間に配置される。左仮想カメラ６３ａおよび右仮想カメラ６３ｂは、仮想ステレオカメラ６３を構成し、これらの仮想空間上の位置および姿勢は、マーカ座標系の座標値およびマーカ座標系の各軸周りの回転として表わされる。左仮想カメラ６３ａ、右仮想カメラ６３ｂ、および、マーカ座標系の設定については、後述する。
【００９５】
左仮想カメラ方向情報７３Ｌは、仮想空間における左仮想カメラ６３ａの位置から仮想空間の所定位置（マーカ座標系の原点）に向かう左仮想カメラ方向ベクトル（図１４）を表わす情報である。右仮想カメラ方向情報７３Ｒは、仮想空間における右仮想カメラ６３ｂの位置から仮想空間の所定位置（マーカ座標系の原点）に向かう右仮想カメラ方向ベクトル（図１４）を表わす情報である。左仮想カメラ方向ベクトルおよび右仮想カメラ方向ベクトルについては、後述する。
【００９６】
実画像テーブルデータ７４は、図７に示す実画像テーブル６０を示すデータである。具体的には、実画像テーブルデータ７４には、実オブジェクト５０を撮影した実画像５０１〜実画像５０ｎの画像データ、および、各画像の撮像方向を示す撮像方向ベクトルが画像毎に予め記憶されている。
【００９７】
左仮想カメラ画像７５Ｌは、仮想空間を左仮想カメラ６３ａで撮像して得られる画像であり、上側ＬＣＤ２２に表示されてユーザの左目に視認される画像である。右仮想カメラ画像７５Ｒは、仮想空間を右仮想カメラ６３ｂで撮像して得られる画像であり、上側ＬＣＤ２２に表示されてユーザの右目に視認される画像である。
【００９８】
（フローチャートの説明）
次に、表示処理の詳細について図１１を参照して説明する。図１１は、本実施形態に係る表示処理の詳細を示すメインフローチャートである。ゲーム装置１０の電源が投入されると、ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、ＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリ４４等；コンピュータ読み取り可能な記憶媒体）に記憶されたゲームプログラム７０がＲＡＭ（具体的には、メインメモリ３２）に読み込まれ、情報処理部３１のＣＰＵ３１１によって当該プログラムの実行が開始される。図１１のフローチャートに示す処理は、以上の処理が完了した後に情報処理部３１（ＣＰＵ３１１又はＧＰＵ３１２）によって行われる。
【００９９】
なお、図１１では、本発明に直接関連しない処理については記載を省略する。また、図１１に示すステップＳ１０１〜ステップＳ１０５の処理は、１フレーム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に繰り返し実行される。
【０１００】
まず、ステップＳ１０１において、情報処理部３１は、外側撮像部２３によって撮像された画像を取得する。具体的には、情報処理部３１は、外側撮像部（左）２３ａによって撮像された画像を取得して、左カメラ画像７１ＬとしてＲＡＭに保存するとともに、外側Ｍに保存する。次に、情報処理部３１は、ステップＳ１０２の処理を実行する。
【０１０１】
ステップＳ１０２において、情報処理部３１は、左仮想カメラ画像生成処理を行う。ここでは、左仮想カメラ６３ａで仮想空間を撮像することによって左仮想カメラ画像７５Ｌを生成する。ステップＳ１０２における左仮想カメラ画像生成処理の詳細を、図１２を用いて説明する。
【０１０２】
図１２は、左仮想カメラ画像生成処理（ステップＳ１０２）の詳細を示すフローチャートである。
【０１０３】
ステップＳ２０１において、情報処理部３１は、ステップＳ１０１で取得した左カメラ画像７１Ｌからマーカ５２を検出する。具体的には、情報処理部３１は、例えばパターンマッチング手法等によってステップＳ１０１で取得した左カメラ画像７１Ｌに含まれるマーカ５２を検出する。情報処理部３１は、マーカ５２を検出すると、次にステップＳ２０２の処理を実行する。なお、ステップＳ２０１において情報処理部３１がマーカ５２を検出しない場合、以降のステップＳ２０２〜ステップＳ２０６の処理は行われず、情報処理部３１は、当該左仮想カメラ画像生成処理を終了する。
【０１０４】
ステップＳ２０２において、情報処理部３１は、ステップＳ２０１で検出した左カメラ画像７１Ｌに含まれるマーカ５２の画像に基づいて、左仮想カメラ６３ａを仮想空間に設定する。具体的には、情報処理部３１は、検出したマーカ５２の画像の位置、形状や大きさ、姿勢に基づいて、マーカ５２上にマーカ座標系を設定するとともに、実空間のマーカ５２と外側撮像部（左）２３ａとの位置関係を算出する。そして、情報処理部３１は、算出した位置関係に応じて、仮想空間における左仮想カメラ６３ａの位置および姿勢を設定する。
【０１０５】
図１３は、マーカ５２上に設定されるマーカ座標系と仮想空間に設定される左仮想カメラ６３ａとの位置関係を示す図である。図１３に示すように、情報処理部３１は、左カメラ画像７１Ｌにマーカ５２を検出すると、当該マーカ５２上にマーカ座標系（ＸＹＺ座標系）を設定する。マーカ座標系の原点は、マーカ５２の中心に設定される。マーカ座標系のＺ軸は、マーカ５２の中心からマーカ５２に描かれた矢印の方向に設定される。マーカ座標系のＸ軸は、マーカ５２に描かれた矢印方向に対して右向きに設定される。また、マーカ座標系のＹ軸は、マーカ５２に対して垂直上向きに設定される。このように、マーカ５２を基準としてマーカ座標系が設定されるため、マーカ座標系によって定義される仮想空間と実空間とが対応づけられる。例えば、実空間のマーカ５２の中心は、仮想空間の所定点（マーカ座標系の原点）と対応付けられる。
【０１０６】
また、情報処理部３１は、左カメラ画像７１Ｌに含まれるマーカ５２の画像に基づいて、実空間のマーカ５２と外側撮像部（左）２３ａとの位置関係を算出する。マーカ５２と外側撮像部（左）２３ａとの位置関係は、マーカ５２を基準とした外側撮像部（左）２３ａの位置および姿勢である。具体的には、情報処理部３１は、左カメラ画像７１Ｌにおけるマーカ５２の画像の位置、形状や大きさ、姿勢等に基づいて、マーカ５２を基準とした外側撮像部（左）２３ａの位置および姿勢を示す行列を算出する。そして、情報処理部３１は、算出した外側撮像部（左）２３ａの位置および姿勢と対応するようにして、仮想空間の左仮想カメラ６３ａの位置および姿勢を設定する。具体的には、情報処理部３１は、算出した行列を左仮想カメラ行列７２ＬとしてＲＡＭに記憶する。このようにして左仮想カメラ６３ａが設定されることにより、実空間の外側撮像部（左）２３ａの位置および姿勢と仮想空間の左仮想カメラ６３ａの位置および姿勢とが対応付けられる。図１３に示すように、左仮想カメラ行列７２Ｌは、仮想空間におけるマーカ座標系（ＸＹＺ座標系）で表わされた座標を、左仮想カメラ座標系（ＸｃａＹｃａＺｃａ座標系）で表わされる座標へと変換するための座標変換行列である。左仮想カメラ座標系は、左仮想カメラ６３ａの位置を原点とし、左仮想カメラ６３ａの撮像方向をＺｃａ軸、当該Ｚｃａ軸に対して右向きの方向をＸｃａ軸、Ｚｃａ軸に対して上向きの方向をＹｃａ軸とする座標系である。
【０１０７】
情報処理部３１は、ステップＳ２０２の処理の後、次にステップＳ２０３の処理を実行する。
【０１０８】
ステップＳ２０３において、情報処理部３１は、左仮想カメラ６３ａからマーカ５２に向かうベクトルを算出する。具体的には、情報処理部３１は、左仮想カメラ６３ａの位置（左仮想カメラ行列７２Ｌによって表わされる位置）を始点とし、マーカ座標系の原点を終点とする左仮想カメラ方向ベクトルを算出する。図１４は、ステップＳ２０３で算出される左仮想カメラ方向ベクトルを示す図である。図１４に示すように、左仮想カメラ方向ベクトルは、マーカ座標系で示される左仮想カメラ６３ａの位置からマーカ座標系の原点に向かうベクトルである。そして、情報処理部３１は、算出したベクトルを左仮想カメラ方向情報７３Ｌとして、ＲＡＭに記憶する。次に、情報処理部３１は、ステップＳ２０４の処理を実行する。
【０１０９】
ステップＳ２０４において、情報処理部３１は、ステップＳ２０３で算出したベクトルに基づいて、実画像テーブル６０の中から１つの実画像を選択する。具体的には、情報処理部３１は、算出したベクトルと、実画像テーブル６０の各撮像方向ベクトルとを比較し、算出したベクトルと一致する（または最も近い）ベクトルを選出する。そして、選出したベクトルに対応する画像（実画像５０１〜実画像５０ｎのうちの１つの画像）を実画像テーブル６０の中から選択する。例えば、情報処理部３１は、ステップＳ２０３で算出したベクトルと、実画像テーブル６０の各撮像方向ベクトルとの内積の値を求め、内積の値が最も大きな撮像方向ベクトルを選出し、当該選出した撮像方向ベクトルに対応する画像を選択する。次に、情報処理部３１は、ステップＳ２０５の処理を実行する。
【０１１０】
ステップＳ２０５において、情報処理部３１は、ステップＳ２０４で選択された画像を仮想空間に配置する。図１５は、ステップＳ２０４で選択された画像６１が仮想空間に配置される様子を示す図である。
【０１１１】
図１５に示すように、選択された画像６１の位置はマーカ座標系の原点に設定される。具体的には、選択された画像６１の左右方向の中心であって当該画像の下端は、マーカ座標系の原点に設定される。また、選択された画像６１の姿勢は、左仮想カメラ６３ａの姿勢に応じて設定される。具体的には、当該画像６１が左仮想カメラ６３ａ（左仮想カメラ６３ａのカメラ座標系における原点）を向くように、当該画像６１が仮想空間に配置される。仮想空間に配置される画像６１は、２次元のオブジェクト（画像オブジェクト）として扱うことができる。当該画像オブジェクトは板状のオブジェクトに選択された画像がテクスチャとして貼り付けられたものである。ステップＳ２０４で選択された画像６１を示す２次元の画像オブジェクトを左仮想カメラ６３ａを用いて撮像する際に、当該２次元の画像オブジェクトが正面から撮像されるように、当該画像オブジェクトが仮想空間に配置される。仮に画像オブジェクトが左仮想カメラ６３ａを向くように配置されない場合、左仮想カメラ６３ａで仮想空間を撮像すると、当該画像オブジェクトを斜めから撮像することになり、その結果得られる画像は、選択された画像６１を斜めから見た画像となってしまう。しかしながら、ステップＳ２０５において、選択された画像６１を示す２次元の画像オブジェクトが左仮想カメラ６３ａを向くように仮想空間に配置される。このため、左仮想カメラ６３ａで仮想空間を撮像して得られる画像は、選択された画像６１を正面から見た画像となる。
【０１１２】
なお、上述のように、実画像テーブル６０に記憶されている各画像は、実オブジェクト５０のみを撮像した画像（実オブジェクト５０以外の背景が除かれた画像）である。このため、図１５では、仮想空間に配置された２次元の画像オブジェクトは、正方形あるいは長方形のオブジェクトのように見えるが、実際には、２次元の画像オブジェクトは、実オブジェクト５０の外縁の形状となる。すなわち、２次元の画像オブジェクトの形状は、実オブジェクト５０を実空間のマーカ５２上に実際に配置して外側撮像部（左）２３ａの位置から当該実オブジェクト５０を見たときの、実オブジェクト５０の像の外縁形状である。従って、図１５に示される画像６１は、実際には実オブジェクト５０のみ画像である。
【０１１３】
また、選択された画像６１を左仮想カメラ６３ａに向けるために、選択された画像６１を示す２次元の画像オブジェクトの法線と、左仮想カメラ６３ａの撮像方向とが平行（法線ベクトルと撮像方向ベクトルとの角度が１８０度）になるように、当該画像オブジェクトが配置されてもよい。また、選択された画像６１を左仮想カメラ６３ａに向けるために、左仮想カメラ６３ａの位置とマーカ座標系の原点とを結ぶ直線が、上記２次元の画像オブジェクトと垂直に交わるように、当該画像オブジェクトが配置されてもよい。
【０１１４】
また、予め用意された複数の画像（実画像５０１〜５０ｎ）を撮影する際の実カメラの注視点が、実オブジェクト５０の中心に設定されていた場合、選択された画像６１の中心がマーカ座標系の原点となるように、選択された画像６１が仮想空間に配置されてもよい。
【０１１５】
情報処理部３１は、ステップＳ２０５の処理の後、次にステップＳ２０６の処理を実行する。
【０１１６】
ステップＳ２０６において、情報処理部３１は、仮想空間を左仮想カメラ６３ａで撮像することにより、左仮想カメラ画像７５Ｌを生成する。情報処理部３１は、生成した左仮想カメラ画像７５ＬをＲＡＭに記憶する。ステップＳ２０６の処理の後、情報処理部３１は、左仮想カメラ画像生成処理を終了する。
【０１１７】
図１１に戻り、情報処理部３１は、ステップＳ１０３において、右仮想カメラ画像生成処理を実行する。ステップＳ１０３の右仮想カメラ画像生成処理は、ステップＳ１０２の左仮想カメラ画像生成処理と同様の処理である。ステップＳ１０３においては、情報処理部３１は、ステップＳ１０１で取得した右カメラ画像７１Ｒからマーカ５２を検出し、当該マーカ５２の画像に基づいて、仮想空間に右仮想カメラ６３ｂを設定する。次に、情報処理部３１は、右仮想カメラ６３ｂからマーカ５２に向かうベクトル（図１４に示す右仮想カメラ方向ベクトル）を算出し、当該ベクトルに基づいて、実画像テーブル６０から画像を選択する。そして、情報処理部３１は、選択した画像を示す２次元の画像オブジェクトを仮想空間に配置して、仮想空間を右仮想カメラ６３ｂで撮像することにより、右仮想カメラ画像７５Ｒを生成する。情報処理部３１は、生成した右仮想カメラ画像７５ＲをＲＡＭに記憶して、ステップＳ１０３の処理を終了する。次に、情報処理部３１は、ステップＳ１０４の処理を実行する。
【０１１８】
ステップＳ１０４において、情報処理部３１は、外側撮像部２３で撮像した画像と仮想ステレオカメラ６３で撮像した画像とを重ね合わせる。具体的には、情報処理部３１は、ステップＳ１０１で取得した左カメラ画像７１Ｌに、ステップＳ１０２で生成した左仮想カメラ画像７５Ｌを重ね合わせて、左重畳画像を生成する。また、情報処理部３１は、ステップＳ１０１で取得した右カメラ画像７１Ｒに、ステップＳ１０３で生成した右仮想カメラ画像７５Ｒを重ね合わせて、右重畳画像を生成する。次に、情報処理部３１は、ステップＳ１０５の処理を実行する。
【０１１９】
ステップＳ１０５において、情報処理部３１は、ステップＳ１０４で生成した左重畳画像および右重畳画像を上側ＬＣＤ２２に出力する。左重畳画像は、上側ＬＣＤ２２の視差バリアを介してユーザの左目に視認され、右重畳画像は、上側ＬＣＤ２２の視差バリアを介してユーザの右目に視認される。これにより、上側ＬＣＤ２２には、ユーザが立体的に感じる立体視画像が表示される。以上で、図１１に示すフローチャートの説明を終了する。
【０１２０】
以上のように、本実施形態では、実オブジェクトを複数の方向から撮影した画像が予め用意され、当該容易された複数の画像の中から、ゲーム装置１０（外側撮像部２３）から見えるマーカ５２の姿勢（向き）に応じた画像が選択される。そして、外側撮像部２３によって撮像された画像に、選択された画像が重ね合わされて上側ＬＣＤ２２に表示される。これにより、実際には実空間に存在しない実オブジェクトが当該実空間に存在するような感覚をユーザに与えることができる。
【０１２１】
また、外側撮像部２３によって撮像された画像に含まれるマーカ５２上に、選択された画像の２次元画像オブジェクトが仮想カメラを向くようにして配置されて、仮想カメラで当該画像オブジェクトを含む仮想空間が撮像される。仮想カメラは、外側撮像部２３に対応する位置および姿勢で仮想空間に配置される。これにより、実空間における外側撮像部２３とマーカ５２との距離に応じて選択された画像の大きさを変化させることができるため、あたかも実空間に実オブジェクトが存在するような感覚をユーザに与えることができる。
【０１２２】
（変形例）
なお、本実施形態では、予め用意される複数の画像は、実オブジェクト５０を実カメラで複数の方向から撮影した画像であるとした。他の実施形態では、予め用意される複数の画像は、３次元仮想オブジェクトを仮想カメラで複数の方向から撮像した画像であってもよい。３次元仮想オブジェクトは、当該仮想オブジェクトの形状や模様を示すモデル情報として、ゲーム装置１０に記憶され、ゲーム装置１０は、当該仮想オブジェクトを仮想カメラで撮像することにより、仮想オブジェクトの画像を生成することができる。しかしながら、複雑な形状の仮想オブジェクトやポリゴン数が非常に多い仮想オブジェクトを描画する場合、ゲーム装置１０の処理負荷が高くなり、描画処理が画面の更新のタイミングに間に合わないことがある。このため、特定の仮想オブジェクトを撮像した画像を予め複数用意して、当該用意された画像の中から表示する画像を選択することで、低負荷で当該仮想オブジェクトの画像を表示することができる。すなわち、所定の撮影対象（当該撮影対象は、実オブジェクトであってもよいし、仮想オブジェクトであってもよい）を複数の方向から撮影して得られた複数の画像が、予め用意されてもよい。
【０１２３】
また、他の実施形態では、予め用意される複数の画像は、実カメラや仮想カメラで撮影されたもの以外であってもよく、例えば、ユーザが手書きである対象を複数の方向から見た画像を作成してもよい。また、他の実施形態では、予め用意される複数の画像は、特定の実オブジェクト（あるいは仮想オブジェクト）を複数の方向から見た画像である必要はない。例えば、異なる実オブジェクト（あるいは仮想オブジェクト）を撮像した複数の画像が予め用意され、マーカ５２を撮像する方向に基づいて、用意された複数の画像の中から画像を選択して、表示してもよい。例えば、ある方向からマーカ５２を撮像した場合には、あるオブジェクトが表示され、別の方向からマーカ５２を撮像した場合は、別のオブジェクトが表示されてもよい。
【０１２４】
また、本実施形態では、外側撮像部２３で撮像した実画像に、選択された画像を重ね合わせて表示した。他の実施形態では、選択された画像のみを表示してもよい。
【０１２５】
また、本実施形態では、マーカ５２の中心の上に実オブジェクト５０の画像を表示した。他の実施形態では、実オブジェクト５０は、必ずしもマーカ５２の中心に配置される必要はなく、マーカ座標系の所定位置に配置されてもよい。この場合、例えば、左仮想カメラ画像を生成するときは、左仮想カメラ６３ａの位置から当該所定位置に向かうベクトルが算出され、当該ベクトルに基づいて、予め用意された画像の中から１つの画像が選択される。そして、選択された画像は、上記所定位置に配置され、当該画像は、左仮想カメラ６３ａを向くように配置される。
【０１２６】
また、本実施形態では、撮像画像に含まれるマーカ５２に基づいて、マーカ５２上にマーカ座標系を設定するとともに、当該マーカ座標系における外側撮像部２３の位置を算出した。すなわち、本実施形態では、外側撮像部２３とマーカ５２との一方を基準とした他方の相対的な姿勢および距離を算出した。他の実施形態では、外側撮像部２３とマーカ５２との相対的な姿勢のみを算出してもよい。すなわち、マーカ５２を見ている方向を算出し、当該方向に基づいて、予め記憶された複数の画像の中から１つの画像が選択されてもよい。
【０１２７】
また、本実施形態では、選択した画像を示す２次元の画像オブジェクトが仮想カメラを向くようにして仮想空間に当該画像を配置し、仮想カメラで当該仮想空間を撮像した。これにより、実オブジェクト５０が上側ＬＣＤ２２に表示された場合の実オブジェクト５０の大きさが、マーカ５２と外側撮像部との相対的な位置に応じて変化するように、実オブジェクト５０が表示された。他の実施形態では、他の方法によって、実オブジェクト５０の表示上の大きさが変更されるようにしてもよい。例えば、選択した画像は仮想空間に配置されずに、選択された画像のサイズを変更して、変更された画像がそのまま上側ＬＣＤ２２に表示されてもよい。具体的には、例えば、左カメラ画像７１Ｌに含まれるマーカ５２の画像の大きさに基づいて、選択された画像のサイズを拡大あるいは縮小し、当該拡大あるいは縮小した画像を左カメラ画像７１Ｌに含まれるマーカ５２の画像上に重ね合わせてもよい。そして、当該重ね合わされた画像が上側ＬＣＤ２２に表示されてもよい。
【０１２８】
図１６は、他の実施形態における表示処理の概要を示す図である。図１６に示すように、ゲーム装置１０は、まず、例えば外側撮像部（左）２３ａによって撮像された左カメラ画像について、当該左カメラ画像に含まれるマーカ５２の画像を検出する。次に、ゲーム装置１０は、上述と同様の方法によって、予め用意された複数の画像の中から、１つの画像を選択する。次に、ゲーム装置１０は、左カメラ画像に含まれるマーカ５２の画像の大きさに基づいて、選択した画像を縮小（あるいは拡大）する。具体的には、ゲーム装置１０は、マーカ５２の大きさが予め定められた大きさに対してどの程度の比率かを算出し、当該比率に応じて、選択した画像を縮小（あるいは拡大）する。そして、ゲーム装置１０は、左カメラ画像に当該縮小（あるいは拡大）した画像を重ね合わせる。この場合、ゲーム装置１０は、例えば、当該縮小（あるいは拡大）した画像の中心と、左カメラ画像に含まれるマーカ５２の中心とが一致するようにして、２つの画像を重ね合わせる。
【０１２９】
また、本実施形態では、仮想空間に他の仮想オブジェクトが配置されない例について説明した。他の実施形態では、仮想空間に、複数の仮想オブジェクトが配置され、当該仮想オブジェクト、実空間のマーカ５２、および、実オブジェクト５０の画像が上側ＬＣＤ２２に表示されてもよい。
【０１３０】
例えば、地面を示す地面オブジェクトがＸＺ平面上に配置されてもよい。当該地面オブジェクトは、滑らかな平面であってもよいし、凹凸のある面であってもよい。この場合において、選択された画像は、当該地面オブジェクトに接触しないように配置されてもよい。例えば、選択された画像が地面オブジェクトに接触しないように、選択された画像を地面オブジェクトから浮かせて配置してもよい。あるいは、選択された画像と地面オブジェクトとが接触する部分については、地面オブジェクトを選択された画像よりも優先して描画してもよい。例えば、選択された画像と地面オブジェクトとが接触する部分について、選択された画像を優先して描画すると、表示される画像は、地面に埋まっているはずの実オブジェクトの部分も表示されてしまい、違和感のある画像となることがある。しかしながら、選択された画像が地面オブジェクトに接触しないように配置されたり、接触しても地面オブジェクトを優先的に描画することにより、違和感のない画像を表示することができる。
【０１３１】
また、例えば、仮想空間に仮想キャラクタを配置し、記憶手段には特定の人物の顔を複数の方向から撮影した写真が記憶され、当該複数の写真の中から１つの写真を選択して、仮想キャラクタの顔を当該選択した写真と置き換えて表示してもよい。この場合において、例えば、仮想キャラクタの胴体が右を向いている場合は、右を向いた顔写真が仮想キャラクタの顔の部分に張り付けられて表示される。また、この場合、仮想空間に配置されたその他の仮想オブジェクト（あるいは当該仮想キャラクタの他の部分（手の部分等））が、仮想キャラクタの顔の部分よりも仮想カメラ側に位置している場合には、当該その他の仮想オブジェクトが優先的に表示される。これにより、現在の実空間と、仮想空間のオブジェクトと、現在は実空間には存在しない実オブジェクトとを融合させた画像を違和感なく表示することができる。
【０１３２】
また、本実施形態では、平面状で四角形のマーカ５２が用いられた。他の実施形態では、どのようなマーカが用いられてもよく、立体形状のマーカ（特定対象）が用いられてもよい。
【０１３３】
また、本実施形態では、外側撮像部（左）２３ａによって撮像された左カメラ画像７１Ｌを用いて、外側撮像部（左）２３ａとマーカ５２との位置関係（相対的な姿勢および距離）を算出し、外側撮像部（右）２３ｂによって撮像された右カメラ画像７１Ｒを用いて、外側撮像部（右）２３ｂとマーカ５２との位置関係（相対的な姿勢および距離）を算出した。他の実施形態では、どちらか一方の画像（例えば左カメラ画像７１Ｌ）を用いて、どちらか一方の撮像部（例えば外側撮像部（左）２３ａ）とマーカ５２との位置関係を算出してもよい。そして、一方の撮像部とマーカ５２との位置関係に基づいて、他方の撮像部（外側撮像部（右）２３ｂ）とマーカ５２との位置関係を算出してもよい。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、所定の距離だけ離れて、どちらも同じ姿勢でゲーム装置１０に固定されている。このため、どちらか一方の撮像部の位置および姿勢が算出されると、他方の撮像部の位置および姿勢も算出することができる。
【０１３４】
また、本実施形態では、立体視画像を上側ＬＣＤ２２に表示したが、他の実施形態では、平面視画像を上側ＬＣＤ２２あるいは下側ＬＣＤ１２に表示してもよい。例えば、１つの撮像部（外側撮像部２３の２つの撮像部のうちの何れか、または、他の１つの撮像部）で実空間のマーカ５２を撮像し、当該撮像画像に含まれるマーカ５２の姿勢に基づいて、予め記憶された複数の画像の中から１つの画像を選択してもよい。そして、撮像画像に選択した画像を重ね合わせて、上側ＬＣＤ２２に表示してもよい。
【０１３５】
また、本実施形態では、１つの撮像部によって撮像された画像に含まれるマーカ５２の姿勢に基づいて、複数の画像の中から１つの画像を選択して表示した。他の実施形態では、１つの撮像部によって撮像された画像に含まれるマーカ５２の姿勢に基づいて、複数の画像の中から１つ以上の画像を選択して表示してもよい。例えば、外側撮像部２３の２つの撮像部のうちの何れかによって撮像された画像に基づいて、当該撮像部からマーカ５２の中心に向かうベクトルを算出し、当該ベクトルに対応した２つの画像を実画像テーブル６０の中から選択する。ここで、選択される２つの画像は、互いに視差を有する画像であって、一方はユーザの左目で視認される画像であり、他方はユーザの右目で視認される画像である。選択された２つの画像が上側ＬＣＤ２２に表示されることで、実オブジェクト５０の立体視画像が表示される。また、例えば、上側ＬＣＤ２２には上述のようにして選択された画像を表示し、下側ＬＣＤ１２には上側ＬＣＤ２２に表示される画像とは異なる方向から撮像された画像を表示することにより、異なる方向から撮像された実オブジェクト５０の平面視画像を表示してもよい。具体的には、例えば、外側撮像部２３のうちの１つの撮像部からマーカ５２に向かうベクトルに応じた画像が選択されて上側ＬＣＤ２２に表示されるとともに、当該ベクトルと反対方向のベクトルに応じた画像が選択されて下側ＬＣＤ１２に表示されてもよい。また、１つの撮像部によって撮像された画像に含まれるマーカ５２の姿勢に基づいて選択された２つ（あるいはそれ以上）の画像を、１つの表示装置に表示してもよい。例えば、撮像画像に含まれるマーカ５２の姿勢に応じた実オブジェクト５０を正面から見た画像と、当該実オブジェクト５０を右側から見た画像と、当該実オブジェクト５０を左側から見た画像とが、１つの表示装置に表示されてもよい。
【０１３６】
また、本実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわち、本実施形態では、外側撮像部２３によって撮像された画像と、仮想カメラ（左右の仮想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳画像が上側ＬＣＤ２２に表示された。他の実施形態では、光学シースルー方式により拡張現実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラを備えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して実空間を視認できるようになっていてもよい。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されており、さらにコンピュータにより生成した仮想オブジェクトの画像を表示させることができるようになっている。
【０１３７】
また、他の実施形態では、上述した表示制御方法は、携帯型ゲーム装置に限らず、据置型ゲーム装置や他の任意の電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や高機能携帯電話、パーソナルコンピュータ等に適用されてもよい。
【０１３８】
また、本実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いられた。他の実施形態では、眼鏡を用いて立体視画像を表示するような方式（時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）など）や、ヘッドマウントディスプレイを用いる方式等においても、本発明は適用可能である。また、他の実施形態では、立体視画像を表示可能なＬＣＤの替わりに平面視画像を表示する表示装置が用いられてもよい。
【０１３９】
また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が各処理を分担して処理することにより、上述した表示制御方法を実現する表示制御システムとして構築されてもよい。例えば、予め用意される複数の画像は、ネットワークを介してゲーム装置１０がアクセス可能な記憶装置に記憶されてもよい。また、上記プログラムは、不揮発性メモリに限らず、磁気ディスク、光ディスク等に記憶されてもよく、ネットワークに接続されたサーバ上のＲＡＭに記憶されて、ネットワークを介して当該プログラムが提供されてもよい。
【０１４０】
また、上記実施形態においては、ゲーム装置１０の情報処理部３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施形態においては、上記処理の一部又は全部は、ゲーム装置１０が備える専用回路によって行われてもよい。
【符号の説明】
【０１４１】
１０ ゲーム装置
１２ 下側ＬＣＤ
１３ タッチパネル
１４ 操作ボタン
１５ アナログスティック
２２ 上側ＬＣＤ
２３ 外側撮像部
２３ａ 外側撮像部（左）
２３ｂ 外側撮像部（右）
２４ 内側撮像部
３１ 情報処理部
３１１ ＣＰＵ
３１２ ＧＰＵ
３２ メインメモリ
５０ 実オブジェクト
５２ マーカ
６０ 実画像テーブル
６３ 仮想ステレオカメラ
６３ａ 左仮想カメラ
６３ｂ 右仮想カメラ
【特許請求の範囲】
【請求項１】
情報処理装置のコンピュータを、
撮像手段によって撮像された撮像画像を取得する画像取得手段、
前記画像取得手段によって取得された撮像画像から特定対象を検出する特定対象検出手段、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出手段、
前記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択手段、
前記画像選択手段によって選択された画像を表示装置に表示させる表示制御手段、として機能させる、情報処理プログラム。
【請求項２】
前記記憶手段に記憶されている複数の画像は、所定の対象を複数の方向から見た複数の画像であり、
前記画像選択手段は、前記姿勢に応じた画像を前記複数の画像の中から選択する、請求項１に記載の情報処理プログラム。
【請求項３】
前記算出手段は、前記特定対象および前記撮像手段のうちの一方を基準とした他方の相対的な位置を算出し、
前記画像選択手段は、前記算出手段によって算出された位置から前記特定対象と所定の位置関係にある所定の位置への方向、または、当該所定の位置から前記算出手段によって算出された位置への方向に基づいて、前記複数の画像の中から画像を選択する、請求項１または２に記載の情報処理プログラム。
【請求項４】
前記表示制御手段は、
前記算出手段によって算出された位置に基づいて、仮想空間に仮想カメラを設定する仮想カメラ設定手段と、
前記選択された画像を示す画像オブジェクトが前記仮想カメラを向くようにして、前記仮想空間に前記画像オブジェクトを配置する配置手段と、
前記仮想空間を前記仮想カメラで撮像することによって画像を生成する画像生成手段とを含み、
前記表示制御手段は、前記画像生成手段によって生成された画像を前記表示装置に表示させる、請求項３に記載の情報処理プログラム。
【請求項５】
前記画像オブジェクトは、前記選択された画像がテクスチャとして貼り付けられた板状のオブジェクトである、請求項４に記載の情報処理プログラム。
【請求項６】
前記仮想空間には所定の仮想オブジェクトが配置され、
前記画像生成手段は、前記仮想オブジェクトと、前記選択された画像とを含む前記仮想空間を前記仮想カメラで撮像することで画像を生成する、請求項４または５に記載の情報処理プログラム。
【請求項７】
前記配置手段は、前記選択された画像が前記仮想オブジェクトと接触しないように、前記選択された画像を前記仮想空間に配置する、請求項６に記載の情報処理プログラム。
【請求項８】
前記算出手段は、前記特定対象および前記撮像手段のうちの一方を基準とした他方の相対的な位置を算出し、
前記表示制御手段は、前記選択された画像が前記表示装置に表示された場合の当該画像の大きさが前記算出手段によって算出された位置に応じて変化するように、前記選択された画像を前記表示装置に表示させる、請求項１に記載の情報処理プログラム。
【請求項９】
前記表示制御手段は、前記撮像手段によって撮像された撮像画像または前記表示装置の画面を透過して視認される実空間と、前記選択された画像とを重ね合わせて、前記表示装置に表示させる、請求項１から８の何れかに記載の情報処理プログラム。
【請求項１０】
前記撮像手段は、第１撮像部および第２撮像部を含み、
前記算出手段は、前記特定対象と前記第１撮像部との一方に対する他方の相対的な姿勢を示す第１姿勢、および、前記特定対象と前記第２撮像部との一方に対する他方の相対的な姿勢を示す第２姿勢を算出し、
前記画像選択手段は、前記算出手段によって算出された第１姿勢に基づいて、前記複数の画像の中から第１画像を選択し、前記算出手段によって算出された第２姿勢に基づいて、前記複数の画像の中から第２画像を選択し、
前記表示制御手段は、前記画像選択手段によって選択された第１画像および第２画像を立体視表示可能な表示装置に表示させることにより、当該表示装置に立体視画像を表示させる、請求項１から９の何れかに記載の情報処理プログラム。
【請求項１１】
前記複数の画像は、実空間に配置された実オブジェクトを実カメラで撮像した画像である、請求項１から１０の何れかに記載の情報処理プログラム。
【請求項１２】
前記複数の画像は、実空間に配置された実オブジェクトを単眼の実カメラで撮像した画像であり、
前記画像選択手段は、前記第１姿勢に基づいて、前記単眼の実カメラで撮影した複数の画像の中から前記第１画像を選択し、前記第２姿勢に基づいて、前記単眼の実カメラで撮影した複数の画像の中から前記第２画像を選択する、請求項１０に記載の情報処理プログラム。
【請求項１３】
前記複数の画像は、仮想空間に配置された仮想オブジェクトを仮想カメラで撮像した画像である、請求項１から１０の何れかに記載の情報処理プログラム。
【請求項１４】
撮像手段によって撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像から特定対象を検出する特定対象検出手段と、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出手段と、
前記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像を表示装置に表示させる表示制御手段とを備える、情報処理装置。
【請求項１５】
撮像手段によって撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像から特定対象を検出する特定対象検出手段と、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出手段と、
前記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像を表示装置に表示させる表示制御手段とを備える、情報処理システム。
【請求項１６】
撮像手段によって撮像された撮像画像を取得する画像取得ステップと、
前記画像取得ステップで取得された撮像画像から特定対象を検出する特定対象検出ステップと、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出ステップと、
前記算出ステップで算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択ステップと、
前記画像選択ステップで選択された画像を表示装置に表示させる表示制御手段とを含む、情報処理方法。
【請求項１７】
情報処理装置とマーカを備えた情報処理システムであって、
前記情報処理装置は、
撮像手段によって撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像から特定対象を検出する特定対象検出手段と、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出手段と、
前記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像を表示装置に表示させる表示制御手段とを備える、情報処理システム。
【請求項１】
情報処理装置のコンピュータを、
撮像手段によって撮像された撮像画像を取得する画像取得手段、
前記画像取得手段によって取得された撮像画像から特定対象を検出する特定対象検出手段、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出手段、
前記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択手段、
前記画像選択手段によって選択された画像を表示装置に表示させる表示制御手段、として機能させる、情報処理プログラム。
【請求項２】
前記記憶手段に記憶されている複数の画像は、所定の対象を複数の方向から見た複数の画像であり、
前記画像選択手段は、前記姿勢に応じた画像を前記複数の画像の中から選択する、請求項１に記載の情報処理プログラム。
【請求項３】
前記算出手段は、前記特定対象および前記撮像手段のうちの一方を基準とした他方の相対的な位置を算出し、
前記画像選択手段は、前記算出手段によって算出された位置から前記特定対象と所定の位置関係にある所定の位置への方向、または、当該所定の位置から前記算出手段によって算出された位置への方向に基づいて、前記複数の画像の中から画像を選択する、請求項１または２に記載の情報処理プログラム。
【請求項４】
前記表示制御手段は、
前記算出手段によって算出された位置に基づいて、仮想空間に仮想カメラを設定する仮想カメラ設定手段と、
前記選択された画像を示す画像オブジェクトが前記仮想カメラを向くようにして、前記仮想空間に前記画像オブジェクトを配置する配置手段と、
前記仮想空間を前記仮想カメラで撮像することによって画像を生成する画像生成手段とを含み、
前記表示制御手段は、前記画像生成手段によって生成された画像を前記表示装置に表示させる、請求項３に記載の情報処理プログラム。
【請求項５】
前記画像オブジェクトは、前記選択された画像がテクスチャとして貼り付けられた板状のオブジェクトである、請求項４に記載の情報処理プログラム。
【請求項６】
前記仮想空間には所定の仮想オブジェクトが配置され、
前記画像生成手段は、前記仮想オブジェクトと、前記選択された画像とを含む前記仮想空間を前記仮想カメラで撮像することで画像を生成する、請求項４または５に記載の情報処理プログラム。
【請求項７】
前記配置手段は、前記選択された画像が前記仮想オブジェクトと接触しないように、前記選択された画像を前記仮想空間に配置する、請求項６に記載の情報処理プログラム。
【請求項８】
前記算出手段は、前記特定対象および前記撮像手段のうちの一方を基準とした他方の相対的な位置を算出し、
前記表示制御手段は、前記選択された画像が前記表示装置に表示された場合の当該画像の大きさが前記算出手段によって算出された位置に応じて変化するように、前記選択された画像を前記表示装置に表示させる、請求項１に記載の情報処理プログラム。
【請求項９】
前記表示制御手段は、前記撮像手段によって撮像された撮像画像または前記表示装置の画面を透過して視認される実空間と、前記選択された画像とを重ね合わせて、前記表示装置に表示させる、請求項１から８の何れかに記載の情報処理プログラム。
【請求項１０】
前記撮像手段は、第１撮像部および第２撮像部を含み、
前記算出手段は、前記特定対象と前記第１撮像部との一方に対する他方の相対的な姿勢を示す第１姿勢、および、前記特定対象と前記第２撮像部との一方に対する他方の相対的な姿勢を示す第２姿勢を算出し、
前記画像選択手段は、前記算出手段によって算出された第１姿勢に基づいて、前記複数の画像の中から第１画像を選択し、前記算出手段によって算出された第２姿勢に基づいて、前記複数の画像の中から第２画像を選択し、
前記表示制御手段は、前記画像選択手段によって選択された第１画像および第２画像を立体視表示可能な表示装置に表示させることにより、当該表示装置に立体視画像を表示させる、請求項１から９の何れかに記載の情報処理プログラム。
【請求項１１】
前記複数の画像は、実空間に配置された実オブジェクトを実カメラで撮像した画像である、請求項１から１０の何れかに記載の情報処理プログラム。
【請求項１２】
前記複数の画像は、実空間に配置された実オブジェクトを単眼の実カメラで撮像した画像であり、
前記画像選択手段は、前記第１姿勢に基づいて、前記単眼の実カメラで撮影した複数の画像の中から前記第１画像を選択し、前記第２姿勢に基づいて、前記単眼の実カメラで撮影した複数の画像の中から前記第２画像を選択する、請求項１０に記載の情報処理プログラム。
【請求項１３】
前記複数の画像は、仮想空間に配置された仮想オブジェクトを仮想カメラで撮像した画像である、請求項１から１０の何れかに記載の情報処理プログラム。
【請求項１４】
撮像手段によって撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像から特定対象を検出する特定対象検出手段と、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出手段と、
前記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像を表示装置に表示させる表示制御手段とを備える、情報処理装置。
【請求項１５】
撮像手段によって撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像から特定対象を検出する特定対象検出手段と、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出手段と、
前記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像を表示装置に表示させる表示制御手段とを備える、情報処理システム。
【請求項１６】
撮像手段によって撮像された撮像画像を取得する画像取得ステップと、
前記画像取得ステップで取得された撮像画像から特定対象を検出する特定対象検出ステップと、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出ステップと、
前記算出ステップで算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択ステップと、
前記画像選択ステップで選択された画像を表示装置に表示させる表示制御手段とを含む、情報処理方法。
【請求項１７】
情報処理装置とマーカを備えた情報処理システムであって、
前記情報処理装置は、
撮像手段によって撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像から特定対象を検出する特定対象検出手段と、
前記特定対象と前記撮像手段との一方に対する他方の相対的な姿勢を算出する算出手段と、
前記算出手段によって算出された姿勢に基づいて、予め記憶手段に記憶されている複数の画像の中から少なくとも１つの画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像を表示装置に表示させる表示制御手段とを備える、情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２４３１４７（Ｐ２０１２−２４３１４７Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１３８６０（Ｐ２０１１−１１３８６０）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]