画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
【課題】実カメラで撮像した画像に仮想オブジェクトを重畳表示した場合に、より自然な表示となる画像を生成する。
【解決手段】実カメラで実空間を撮像した実カメラ画像を取得し、当該取得した画像において、複数のサンプリング点の色情報を取得する。次に、取得した複数のサンプリング点の平均色を算出し、算出した平均色に基づいて、仮想空間に設定された光源の色や明るさに関するパラメータを設定する。パラメータが設定された光源で照らされた仮想空間に存在する仮想オブジェクトを、仮想カメラで撮像することにより、仮想オブジェクト画像を生成する。そして、実カメラ画像と仮想オブジェクト画像とを重ね合わせた重畳画像を生成して、表示装置に表示する。
【解決手段】実カメラで実空間を撮像した実カメラ画像を取得し、当該取得した画像において、複数のサンプリング点の色情報を取得する。次に、取得した複数のサンプリング点の平均色を算出し、算出した平均色に基づいて、仮想空間に設定された光源の色や明るさに関するパラメータを設定する。パラメータが設定された光源で照らされた仮想空間に存在する仮想オブジェクトを、仮想カメラで撮像することにより、仮想オブジェクト画像を生成する。そして、実カメラ画像と仮想オブジェクト画像とを重ね合わせた重畳画像を生成して、表示装置に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザにより視認可能な実空間に仮想オブジェクトの画像を重ね合わせて表示させる画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法に関する。
【背景技術】
【０００２】
従来、実カメラで撮像した実空間の画像に仮想オブジェクトを重畳し、その仮想オブジェクトがあたかも実空間に存在するかのような画像を生成して表示装置に表示する装置が存在する。例えば、特許文献１に記載の装置では、実空間に配置された物体教示指標を実カメラで撮像して、実空間における位置および姿勢を算出する。そして、仮想空間において、３次元モデルを算出した位置および姿勢に配置して仮想カメラで撮像し、当該撮像した画像を実カメラで撮像した画像に重畳表示させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２５６８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、撮像する実空間の環境がどのような状況であっても、仮想オブジェクトの表示態様は変化しないため、仮想オブジェクトが不自然に見えるという問題があった。例えば、実空間が暗い場合では、実カメラで撮像した画像も全体的に暗くなるが、重畳される仮想オブジェクトの明るさは変わらないため、仮想オブジェクトのみが明るく表示され、当該仮想オブジェクトが浮いたようになり、不自然な表示になることがあった。
【０００５】
それ故、本発明の目的は、ユーザにより視認可能な実空間に仮想オブジェクトの画像を重ね合わせて表示する場合に、より自然な表示となる画像を生成する画像処理技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００７】
本発明は、実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置のコンピュータを、実画像取得手段、色情報取得手段、光源設定手段、オブジェクト画像生成手段、および、表示制御手段として機能させる画像処理プログラムである。実画像取得手段は、上記実カメラにより撮像された実空間を示す実画像を取得する。色情報取得手段は、上記実画像取得手段によって取得された実画像の少なくとも１つの画素の色情報を取得する。光源設定手段は、上記色情報取得手段により取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する。オブジェクト画像生成手段は、上記光源設定手段によって設定された光源で照らされた上記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成する。表示制御手段は、上記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、上記オブジェクト画像生成手段により生成されたオブジェクト画像を上記表示装置に表示させる。
【０００８】
上記によれば、実カメラによって撮像された実画像に基づいて、仮想空間の光源を設定し、当該光源で照らされた仮想オブジェクトを仮想カメラで撮像することができる。そして、画面上で視認可能な実空間に仮想オブジェクトを撮像して得られたオブジェクト画像を重ね合わせて、表示装置に表示させることができる。例えば、実空間を実カメラで撮像した実画像とオブジェクト画像とを重ね合わせて表示装置に表示させたり、画面を透過して視認される実空間にオブジェクト画像を重ね合わせて表示させたりすることができる。これにより、実空間の現実環境に応じたオブジェクト画像を生成することができ、実空間にオブジェクト画像を重ね合わせて表示した場合に、自然な表示にすることができる。
【０００９】
また、本発明の他の構成では、上記画像処理プログラムは、上記実画像取得手段によって取得された実画像から、色が既知の特定対象物を検出する検出手段として、上記コンピュータを更に機能させてもよい。そして、上記色情報取得手段は、上記検出手段により検出された特定対象物に対応する画像の少なくとも１つの画素の色情報を取得してもよい。
【００１０】
上記によれば、上記特定対象物に対応する画像に基づいて、色情報を取得することができる。特定対象物は、色が既知のものであるため、実環境の光の色や明るさを正確に取得することができる。
【００１１】
また、本発明の他の構成では、上記色情報取得手段は、上記検出手段により検出された特定対象物に対応する画像の複数の点の色情報を取得して、取得した色情報の平均値を算出してもよい。この場合、上記光源設定手段は、上記色情報取得手段により算出された平均値に基づいて、上記パラメータを設定する。
【００１２】
上記によれば、上記特定対象物の複数の点の色情報が取得される。このため、特定対象物の認識誤差がある場合や取得する点に上記特定対象物とは異なる所定の物体が存在する場合、取得する点に特定の光が当っている場合等であっても、その影響を低減することができる。
【００１３】
また、本発明の他の構成では、上記色情報取得手段は、上記特定対象物の中で他の部分より明度が高い部分に対応する画像の少なくとも１つの画素の色情報を取得してもよい。
【００１４】
上記によれば、比較的明度が低い部分の色情報を取得するよりも、実環境の光の色や明るさの情報を正確に取得することができる。
【００１５】
また、本発明の他の構成では、上記表示制御手段は、上記特定対象物の上またはその近傍に上記オブジェクトが表示されるように、上記オブジェクト画像を重ね合わせてもよい。
【００１６】
上記によれば、特定対象物に対応する画像の色情報が取得され、当該取得された色情報に基づいて、仮想光源が設定される。そして、設定された光源で仮想オブジェクトが照らされて、撮像される。仮想オブジェクトは、上記特定対象物の上または近傍にオブジェクトが表示される。このため、より自然な表示となる。すなわち、色情報を取得する点の近傍に仮想オブジェクトが配置されるため、その点の実環境と略一致した色や明るさで仮想オブジェクトが表示されるため、画面上で視認可能な実空間に仮想オブジェクトの画像が重ね合わせた場合に、より自然な画像となる。
【００１７】
また、本発明の他の構成では、上記画像処理プログラムは、位置姿勢情報取得手段、および、仮想カメラ設定手段、として上記コンピュータを更に機能させてもよい。位置姿勢情報取得手段は、上記実空間における上記実カメラの位置および姿勢に応じた位置姿勢情報を取得する。仮想カメラ設定手段は、上記仮想空間内において、上記位置姿勢情報取得手段によって取得された位置姿勢情報に応じて仮想カメラの位置および姿勢を設定する。上記オブジェクト画像生成手段は、上記光源設定手段により上記パラメータを設定した光源で照らされた上記オブジェクトを、上記仮想カメラ設定手段によって設定された上記仮想カメラで撮像して、上記オブジェクト画像を生成する。
【００１８】
なお、上記位置姿勢情報取得手段が取得する実カメラの位置および姿勢に応じた位置姿勢情報は、実空間に存在する所定の対象物と上記実カメラとの相対的な位置および姿勢であってもよい。すなわち、上記位置姿勢情報は、実空間の所定の対象物を基準とした実カメラの位置および姿勢であってもよいし、実カメラを基準とした実空間の所定の対象物の位置および姿勢であってもよい。また、上記位置姿勢情報は、絶対的な位置を検出する手段（例えば、ＧＰＳ）や姿勢検出手段（例えば、角速度センサや加速度センサ、地磁気を検出する手段等）によって検出された実カメラの絶対的な位置および姿勢であってもよい。
【００１９】
上記によれば、仮想オブジェクトがあたかも実空間に存在するような画像を生成することができる。すなわち、仮想カメラが実カメラの位置および姿勢と対応して設定されるため、例えば、実カメラの位置や姿勢が変化した場合に、仮想カメラの位置や姿勢も変化し、それに応じて、表示される仮想オブジェクトの見え方も変化する。従って、仮想オブジェクトがあたかも実空間に存在するかのような感覚をユーザに与えることができる。
【００２０】
また、本発明の他の構成では、上記画像処理プログラムは、算出手段、および、仮想カメラ設定手段、として上記コンピュータを更に機能させてもよい。算出手段は、上記検出手段により検出された特定対象物と上記実カメラとの相対的な位置および姿勢を算出する。仮想カメラ設定手段は、上記算出手段による算出結果に応じて、上記仮想カメラの上記仮想空間内における位置および姿勢を設定する。そして、上記オブジェクト画像生成手段は、上記光源設定手段により上記パラメータを設定した光源で照らされた上記オブジェクトを、上記仮想カメラ設定手段によって設定された上記仮想カメラで撮像して、上記オブジェクト画像を生成する。
【００２１】
上記によれば、上記特定対象物に対応する画像に基づいて、色情報を取得することができるとともに、上記特定対象物の検出結果に基づいて仮想カメラを設定することで、仮想オブジェクトがあたかも実空間に存在するような画像を生成することができる。すなわち、仮想カメラが実カメラの位置および姿勢と対応して設定されるため、例えば、実カメラの位置や姿勢が変化した場合に、仮想カメラの位置や姿勢も変化し、それに応じて、表示される仮想オブジェクトの見え方も変化する。従って、仮想オブジェクトがあたかも実空間に存在するかのような感覚をユーザに与えることができる。
【００２２】
また、本発明の他の構成では、上記画像処理プログラムは、上記色情報取得手段が取得した色情報を記憶する記憶手段として、上記コンピュータを更に機能させてもよい。この場合、上記色情報取得手段は、上記記憶手段に記憶された過去の色情報と現在の色情報とを取得する。そして、上記光源設定手段は、上記色情報取得手段により取得された過去の色情報および現在の色情報に基づいて、上記パラメータを設定する。
【００２３】
上記によれば、過去に取得された色情報と現在の色情報とに基づいて、光源のパラメータが設定される。このため、例えば、仮想オブジェクトの表示が急激に変化することを防止することができる。
【００２４】
また、本発明の他の構成では、上記色情報取得手段は、上記記憶手段に記憶された過去の色情報と現在の色情報とを取得して、取得した色情報の平均値を算出する。上記光源設定手段は、上記色情報取得手段により算出された平均値に基づいて、上記パラメータを設定する。
【００２５】
上記によれば、過去に取得された色情報と現在の色情報との平均が算出されるため、仮想オブジェクトの表示が急激に変化することを防止することができる。例えば、現在のフレームにおいて誤認識等によって誤った色情報が取得された場合であっても、仮想オブジェクトの表示は急激に変化せず、不自然な表示にならない。
【００２６】
また、本発明の他の構成では、実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置のコンピュータを、実画像取得手段、環境情報取得手段、光源設定手段、オブジェクト画像生成手段、および、表示制御手段として機能させる画像処理プログラムであってもよい。実画像取得手段は、上記実カメラにより撮像された実画像を取得する。環境情報取得手段は、上記実空間の色及び／又は明るさに関する情報を取得する。光源設定手段は、上記環境情報取得手段により取得された情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する。オブジェクト画像生成手段は、上記光源設定手段によって設定された光源で照らされた上記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成する。表示制御手段は、上記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、上記オブジェクト画像生成手段により生成されたオブジェクト画像を上記表示装置に表示させる。
【００２７】
上記によれば、実空間の色及び／又は明るさに基づいて、仮想空間の光源を設定し、当該光源で照らされた仮想オブジェクトを仮想カメラで撮像することができる。そして、画面上で視認可能な実空間に仮想オブジェクトを撮像して得られたオブジェクト画像を重ね合わせて、表示装置に表示させることができる。これにより、実空間の現実環境に応じたオブジェクト画像を生成することができ、画面上で視認可能な実空間にオブジェクト画像を重ね合わせて表示した場合に、自然な表示にすることができる。
【００２８】
また、本発明では、上記各手段を実現した画像処理装置であってもよい。また、本発明では、上記各手段を実現する複数の要素が相互に動作することによって、１つの画像処理システムとして構成されてもよい。当該画像処理システムは、１つの装置によって構成されてもよいし、複数の装置によって構成されてもよい。
【発明の効果】
【００２９】
本発明によれば、実空間の現実環境に応じたオブジェクト画像を生成することができ、画面上で視認可能な実空間にオブジェクト画像を重ね合わせて表示した場合に、自然な表示にすることができる。
【図面の簡単な説明】
【００３０】
【図１】開状態におけるゲーム装置１０の正面図
【図２】開状態におけるゲーム装置１０の右側面図
【図３】閉状態におけるゲーム装置１０の左側面図、正面図、右側面図および背面図
【図４】ゲーム装置１０の内部構成を示すブロック図
【図５】本実施形態に係る画像処理が実行された場合において、実空間に予め配置されたマーカ６１を外側撮像部２３で撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図
【図６】仮想空間上の座標系の定義を示す図
【図７】仮想空間に仮想キャラクタ５１が配置された様子を示す図
【図８】マーカ６１を図５とは反対方向から撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図
【図９】実空間の色や明るさに応じて、仮想キャラクタ５１の色や明るさが変化する様子を示す図
【図１０】ゲーム装置１０のＲＡＭのメモリマップを示す図
【図１１】本実施形態に係る画像処理の詳細を示すメインフローチャート
【図１２】マーカ認識処理（ステップＳ２）の詳細を示すフローチャート
【図１３】マーカ６１を真上から見た場合のマーカ６１のサンプリング点を示す図
【発明を実施するための形態】
【００３１】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。図１〜図３は、ゲーム装置１０の外観を示す平面図である。ゲーム装置１０は携帯型のゲーム装置であり、図１〜図３に示すように折り畳み可能に構成されている。図１および図２は、開いた状態（開状態）におけるゲーム装置１０を示し、図３は、閉じた状態（閉状態）におけるゲーム装置１０を示している。図１は、開状態におけるゲーム装置１０の正面図であり、図２は、開状態におけるゲーム装置１０の右側面図である。ゲーム装置１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置１０は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
【００３２】
まず、図１〜図３を参照して、ゲーム装置１０の外観構成について説明する。図１〜図３に示されるように、ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、各ハウジング１１および２１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
【００３３】
図１および図２に示されるように、下側ハウジング１１の上側長辺部分には、下側ハウジング１１の内側面（主面）１１Ｂに対して垂直な方向に突起する突起部１１Ａが設けられる。また、上側ハウジング２１の下側長辺部分には、上側ハウジング２１の下側面から当該下側面に垂直な方向に突起する突起部２１Ａが設けられる。下側ハウジング１１の突起部１１Ａと上側ハウジング２１の突起部２１Ａとが連結されることにより、下側ハウジング１１と上側ハウジング２１とが、折り畳み可能に接続される。
【００３４】
（下側ハウジングの説明）
まず、下側ハウジング１１の構成について説明する。図１〜図３に示すように、下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ（図１、図３）、アナログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、および、マイクロフォン用孔１８が設けられる。以下、これらの詳細について説明する。
【００３５】
図１に示すように、下側ＬＣＤ１２は下側ハウジング１１に収納される。下側ＬＣＤ１２は横長形状であり、長辺方向が下側ハウジング１１の長辺方向に一致するように配置される。下側ＬＣＤ１２は下側ハウジング１１の中央に配置される。下側ＬＣＤ１２は、下側ハウジング１１の内側面（主面）に設けられ、下側ハウジング１１に設けられた開口部から当該下側ＬＣＤ１２の画面が露出される。ゲーム装置１０を使用しない場合には閉状態としておくことによって、下側ＬＣＤ１２の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤ１２の画素数は、例えば、２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤ１２は、後述する上側ＬＣＤ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤ１２として、任意の解像度の表示装置を利用することができる。
【００３６】
図１に示されるように、ゲーム装置１０は、入力装置として、タッチパネル１３を備えている。タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。なお、本実施形態では、タッチパネル１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネル１３として、下側ＬＣＤ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１３の解像度と下側ＬＣＤ１２の解像度が一致している必要はない。また、下側ハウジング１１の上側面には挿入口１７（図１および図３（ｄ）に示す点線）が設けられている。挿入口１７は、タッチパネル１３に対する操作を行うために用いられるタッチペン２８を収納することができる。なお、タッチパネル１３に対する入力は通常タッチペン２８を用いて行われるが、タッチペン２８に限らずユーザの指でタッチパネル１３に対する入力をすることも可能である。
【００３７】
各操作ボタン１４Ａ〜１４Ｌは、所定の入力を行うための入力装置である。図１に示されるように、下側ハウジング１１の内側面（主面）には、各操作ボタン１４Ａ〜１４Ｌのうち、十字ボタン１４Ａ（方向入力ボタン１４Ａ）、ａボタン１４Ｂ、ｂボタン１４Ｃ、ｘボタン１４Ｄ、ｙボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられる。十字ボタン１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅは、十字状に配置される。ボタン１４Ａ〜１４Ｅ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌには、ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは選択操作等に用いられ、各操作ボタン１４Ｂ〜１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタン１４Ｆは、ゲーム装置１０の電源をオン／オフするために用いられる。
【００３８】
アナログスティック１５は、方向を指示するデバイスであり、下側ハウジング１１の内側面の下側ＬＣＤ１２より左側領域の上部領域に設けられる。図１に示すように、十字ボタン１４Ａは下側ＬＣＤ１２より左側領域の下部領域に設けられるので、アナログスティック１５は、十字ボタン１４Ａの上方に設けられる。また、アナログスティック１５、および、十字ボタン１４Ａは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。また、アナログスティック１５を上部領域に設けたことにより、下側ハウジング１１を把持する左手の親指が自然と位置するところにアナログスティック１５が配され、十字ボタン１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティック１５は、そのキートップが、下側ハウジング１１の内側面に平行にスライドするように構成されている。アナログスティック１５は、ゲーム装置１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置１０によって実行される場合、アナログスティック１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティック１５のキートップがスライドした方向に移動される。なお、アナログスティック１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
【００３９】
十字状に配置される、ａボタン１４Ｂ、ｂボタン１４Ｃ、ｘボタン１４Ｄ、ｙボタン１４Ｅの４つのボタンは、下側ハウジング１１を把持する右手の親指が自然と位置するところに配置される。また、これらの４つのボタンと、アナログスティック１５とは、下側ＬＣＤ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能である。
【００４０】
また、下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられる。マイクロフォン用孔１８の下部には後述する音声入力装置としてのマイク（図４参照）が設けられ、当該マイクがゲーム装置１０の外部の音を検出する。
【００４１】
図３（ａ）は閉状態におけるゲーム装置１０の左側面図であり、図３（ｂ）は閉状態におけるゲーム装置１０の正面図であり、図３（ｃ）は閉状態におけるゲーム装置１０の右側面図であり、図３（ｄ）は閉状態におけるゲーム装置１０の背面図である。図３（ｂ）および（ｄ）に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４ＧおよびＲボタン１４Ｈが設けられている。Ｌボタン１４Ｇは、下側ハウジング１１の上面の左端部に設けられ、Ｒボタン１４Ｈは、下側ハウジング１１の上面の右端部に設けられる。また、図３（ａ）に示されるように、下側ハウジング１１の左側面には、音量ボタン１４Ｉが設けられる。音量ボタン１４Ｉは、ゲーム装置１０が備えるスピーカの音量を調整するために用いられる。
【００４２】
図３（ａ）に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１１Ｃが設けられる。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部メモリ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ４５は、例えば、ゲーム装置１０によって撮像された画像のデータを記憶（保存）するために用いられる。なお、上記コネクタおよびそのカバー部１１Ｃは、下側ハウジング１１の右側面に設けられてもよい。
【００４３】
また、図３（ｄ）に示されるように、下側ハウジング１１の上側面には、ゲーム装置１０とゲームプログラムを記録した外部メモリ４４を挿入するための挿入口１１Ｄが設けられ、その挿入口１１Ｄの内部には、外部メモリ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリ４４がゲーム装置１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネクタおよびその挿入口１１Ｄは、下側ハウジング１１の他の側面（例えば、右側面等）に設けられてもよい。
【００４４】
また、図１および図３（ｃ）に示されるように、下側ハウジング１１の下側面にはゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥＤ１６Ｂが設けられる。ゲーム装置１０は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジング１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ１９が設けられる（図３（ｃ）参照）。
【００４５】
なお、図示は省略するが、下側ハウジング１１には、ゲーム装置１０の電源となる充電式電池が収納され、下側ハウジング１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。
【００４６】
（上側ハウジングの説明）
次に、上側ハウジング２１の構成について説明する。図１〜図３に示すように、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けられる。以下、これらの詳細について説明する。
【００４７】
図１に示すように、上側ＬＣＤ２２は上側ハウジング２１に収納される。上側ＬＣＤ２２は、横長形状であり、長辺方向が上側ハウジング２１の長辺方向に一致するように配置される。上側ＬＣＤ２２は上側ハウジング２１の中央に配置される。上側ＬＣＤ２２の画面の面積は、下側ＬＣＤ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤ２２の画面は、下側ＬＣＤ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤ１２の画面のアスペクト比における横幅の割合よりも大きく設定される。
【００４８】
上側ＬＣＤ２２の画面は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、上側ハウジング２１に設けられた開口部から当該上側ＬＣＤ２２の画面が露出される。また、図２に示すように、上側ハウジング２１の内側面は、透明なスクリーンカバー２７によって覆われている。当該スクリーンカバー２７は、上側ＬＣＤ２２の画面を保護するとともに、上側ＬＣＤ２２と上側ハウジング２１の内側面と一体的にさせ、これにより統一感を持たせている。上側ＬＣＤ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装置を利用することができる。
【００４９】
上側ＬＣＤ２２は、立体視可能な画像（立体視画像、立体画像ともいう）を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤ２２はパララックスバリア方式のものとする。上側ＬＣＤ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチ２５によって行われる。
【００５０】
外側撮像部２３は、上側ハウジング２１の外側面（上側ＬＣＤ２２が設けられた主面と反対側の背面）２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂの撮像方向は、いずれも当該外側面２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（左）２３ａの撮像方向および外側撮像部（右）２３ｂの撮像方向は、平行である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。また、プログラムによっては、２つの外側撮像部（２３ａおよび２３ｂ）のいずれか一方を単独で用いて、外側撮像部２３を非ステレオカメラとして使用することも可能である。また、プログラムによっては、２つの外側撮像部（２３ａおよび２３ｂ）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では、外側撮像部２３は、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの２つの撮像部で構成される。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５１】
図１の破線および図３（ｂ）の実線で示されるように、外側撮像部２３を構成する外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２の画面の横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣＤ２２の画面の横方向と平行になるように、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂが配置される。図１の破線で示す２３ａおよび２３ｂは、上側ハウジング２１の内側面とは反対側の外側面に存在する外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂをそれぞれ表している。図１に示すように、ユーザが上側ＬＣＤ２２の画面を正面から視認した場合に、外側撮像部（左）２３ａは左側に外側撮像部（右）２３ｂは右側にそれぞれ位置している。外側撮像部２３をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部（左）２３ａは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部（右）２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの間隔は、この範囲に限らない。
【００５２】
なお、本実施例においては、外側撮像部（左）２３ａおよび外側撮像部（右）２３はハウジングに固定されており、撮像方向を変更することはできない。
【００５３】
また、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２（上側ハウジング２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。すなわち、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ハウジング２１を開いた状態において、上側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ハウジング２１の外側面であって、上側ＬＣＤ２２を外側面に投影した場合、投影した上側ＬＣＤ２２の画面の上端よりも上方に配置される。
【００５４】
このように、外側撮像部２３の２つの撮像部（２３ａおよび２３ｂ）が、上側ＬＣＤ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤ２２を正視した場合に、外側撮像部２３の撮像方向をユーザの視線方向と一致させることができる。また、外側撮像部２３は、上側ＬＣＤ２２の画面の上端より上方の裏側の位置に配置されるため、外側撮像部２３と上側ＬＣＤ２２とが上側ハウジング２１の内部で干渉することがない。従って、外側撮像部２３を上側ＬＣＤ２２の画面の裏側に配置する場合と比べて、上側ハウジング２１を薄く構成することが可能となる。
【００５５】
内側撮像部２４は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５６】
図１に示すように、内側撮像部２４は、上側ハウジング２１を開いた状態において、上側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方に配置され、上側ハウジング２１の左右方向に関して中央の位置（上側ハウジング２１（上側ＬＣＤ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、図１および図３（ｂ）に示されるように、内側撮像部２４は、上側ハウジング２１の内側面であって、外側撮像部２３の左右の撮像部（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジング２１の外側面に設けられた外側撮像部２３の左右の撮像部を上側ハウジング２１の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部２４が設けられる。図３（ｂ）で示される破線２４は、上側ハウジング２１の内側面に存在する内側撮像部２４を表している。
【００５７】
このように、内側撮像部２４は、外側撮像部２３とは反対方向を撮像する。内側撮像部２４は、上側ハウジング２１の内側面であって、外側撮像部２３の左右の撮像部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤ２２を正視した際、内側撮像部２４でユーザの顔を正面から撮像することができる。また、外側撮像部２３の左右の撮像部と内側撮像部２４とが上側ハウジング２１の内部で干渉することがないため、上側ハウジング２１を薄く構成することが可能となる。
【００５８】
３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。図１〜図３に示されるように、３Ｄ調整スイッチ２５は、上側ハウジング２１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤ２２を正視した場合に、当該３Ｄ調整スイッチ２５を視認できる位置に設けられる。また、３Ｄ調整スイッチ２５の操作部は、内側面および右側面の両方に突出しており、どちらからも視認および操作することができる。なお、３Ｄ調整スイッチ２５以外のスイッチは全て下側ハウジング１１に設けられる。
【００５９】
３Ｄ調整スイッチ２５は、図１および図２に示されるように、上側ハウジング２１の正面および右側面から視認可能に配置される。３Ｄ調整スイッチ２５のスライダ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に応じて上側ＬＣＤ２２の表示モードが設定されたり、立体画像の立体感が調整されてもよい。例えば、３Ｄ調整スイッチ２５のスライダ２５ａの位置に応じて、後述する仮想カメラ（仮想ステレオカメラ）のカメラ間距離が設定されてもよい。また、当該仮想ステレオカメラの左仮想カメラによって撮像された左目用画像と右仮想カメラによって撮像された右目用画像との位置関係が調整されてもよい。具体的には、例えば、３Ｄ調整スイッチ２５のスライダ２５ａが最上点（図１および図２では上方向）に存在する場合、上記左目用画像と右目用画像との横方向（上側ＬＣＤ２２の画面の横方向；図１の左右方向）の位置のずれが上限値に設定される。このように左目用画像と右目用画像の横方向のずれが上限値に設定されると、２つの画像の視差がより大きくなる。このため、ユーザが視差バリアを通して上側ＬＣＤ２２に表示された２つの画像を見ると、上側ＬＣＤ２２の画面から画像がより手前方向に飛び出したように見える。このように、３Ｄ調整スイッチ２５を用いて、２つの画像の視差が調整されてもよい。
【００６０】
３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードか否かを示す。３Ｄインジケータ２６は、ＬＥＤであり、上側ＬＣＤ２２の立体表示モードが有効の場合に点灯する。なお、３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにしてもよい。図１に示されるように、３Ｄインジケータ２６は、上側ハウジング２１の内側面に設けられ、上側ＬＣＤ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤ２２の画面を正視した場合、ユーザは３Ｄインジケータ２６を視認しやすい。従って、ユーザは上側ＬＣＤ２２の画面を視認している状態でも、上側ＬＣＤ２２の表示モードを容易に認識することができる。
【００６１】
また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられる。後述するスピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。
【００６２】
（ゲーム装置１０の内部構成）
次に、図４を参照して、ゲーム装置１０の内部の電気的構成について説明する。図４は、ゲーム装置１０の内部構成を示すブロック図である。図４に示すように、ゲーム装置１０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、およびインターフェイス回路（Ｉ／Ｆ回路）４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（または上側ハウジング２１でもよい）内に収納される。
【００６３】
情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。本実施形態では、所定のプログラムがゲーム装置１０内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された外部メモリ４４やデータ保存用内部メモリ３５）に記憶されている。情報処理部３１のＣＰＵ３１１は、当該所定のプログラムを実行することによって、後述する画像処理（図１２）を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部３１のＧＰＵ３１２は、情報処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。そして、情報処理部３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力し、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像が表示される。
【００６４】
情報処理部３１には、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メモリＩ／Ｆ３４、および、データ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続するためのインターフェイスである。
【００６５】
メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、上記画像処理に用いられる各種データを一時的に記憶したり、外部（外部メモリ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
【００６６】
外部メモリ４４は、情報処理部３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリ４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリ４４が外部メモリＩ／Ｆ３３に接続されると、情報処理部３１は外部メモリ４４に記憶されたプログラムを読み込むことができる。情報処理部３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４５には、外側撮像部２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ４５がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部３１はデータ保存用外部メモリ４５に記憶された画像を読み込み、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像を表示することができる。
【００６７】
データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
【００６８】
無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール３６およびローカル通信モジュール３７は情報処理部３１に接続される。情報処理部３１は、無線通信モジュール３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
【００６９】
また、情報処理部３１には、加速度センサ３９が接続される。加速度センサ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサ３９は、下側ハウジング１１の内部に設けられる。加速度センサ３９は、図１に示すように、下側ハウジング１１の長辺方向をｘ軸、下側ハウジング１１の短辺方向をｙ軸、下側ハウジング１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサ３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部３１は、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置１０の姿勢や動きを検出する。本実施形態では、情報処理部３１は、加速度センサ３９が検出した加速度に基づいて、ゲーム装置１０の姿勢（傾き）を判定する。
【００７０】
また、情報処理部３１には、ＲＴＣ３８および電源回路４０が接続される。ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置１０が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置１０の各部品に電力を供給する。
【００７１】
また、情報処理部３１には、Ｉ／Ｆ回路４１が接続される。Ｉ／Ｆ回路４１には、マイク４２およびスピーカ４３が接続される。具体的には、Ｉ／Ｆ回路４１には、図示しないアンプを介してスピーカ４３が接続される。マイク４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４１に出力する。アンプは、Ｉ／Ｆ回路４１からの音声信号を増幅し、音声をスピーカ４３から出力させる。また、タッチパネル１３はＩ／Ｆ回路４１に接続される。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置データは、タッチパネル１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。
【００７２】
操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、情報処理部３１に接続される。操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部３１は、操作ボタン１４から操作データを取得することによって、操作ボタン１４に対する入力に従った処理を実行する。
【００７３】
下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。下側ＬＣＤ１２および上側ＬＣＤ２２は、情報処理部３１（のＧＰＵ３１２）の指示に従って画像を表示する。
【００７４】
具体的には、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可能な画像が表示される。
【００７５】
外側撮像部２３および内側撮像部２４は、情報処理部３１に接続される。外側撮像部２３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像データを情報処理部３１に出力する。例えば、情報処理部３１は外側撮像部２３および内側撮像部２４のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部３１に送る。例えば、ユーザによるタッチパネル１３を用いたタッチ操作によって使用する撮像部が選択される。撮像部が選択されたことを情報処理部３１（ＣＰＵ３１１）が検知し、情報処理部３１が外側撮像部２３または内側撮像部２４に対して撮像指示を行う。
【００７６】
３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、スライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。
【００７７】
また、３Ｄインジケータ２６は、情報処理部３１に接続される。情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。本実施形態では、情報処理部３１は、上側ＬＣＤ２２が立体表示モードである場合、３Ｄインジケータ２６を点灯させる。以上がゲーム装置１０の内部構成の説明である。
【００７８】
また、情報処理部３１には、角速度センサ４６が接続される。角速度センサ４６は、各軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置１０は、角速度センサ４６が逐次検出する角速度に基づいて、実空間におけるゲーム装置１０の姿勢を算出することができる。具体的には、ゲーム装置１０は、角速度センサ４６によって検出された各軸周りの角速度を時間で積分することによって、各軸周りのゲーム装置１０の回転角を算出することができる。
【００７９】
（画像処理の概要）
次に、本実施形態に係るゲーム装置１０において実行される画像処理の概要について説明する。本実施形態では、外側撮像部２３を用いて実空間に存在する特定対象物（具体的には、後述するマーカ）を撮像した場合に、仮想オブジェクトが重畳表示される。ここで表示される当該仮想オブジェクトの色や明るさは、実空間の色や明るさに応じて変化する。以下では、まず、ゲーム装置１０に表示される画像について説明した後、上記仮想オブジェクトの色や明るさが実空間の色や明るさに応じて変化することについて、説明する。
【００８０】
図５は、本実施形態に係る画像処理が実行された場合において、実空間に予め配置されたマーカ６１を外側撮像部２３で撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図である。
【００８１】
図５に示すように、ゲーム装置１０の外側撮像部２３の撮像方向の実空間には、マーカ６１が配置される。マーカ６１は、長方形の紙であって、その中心に矢印が描かれている。具体的には、マーカ６１の中心には、所定の色で塗りつぶされた、マーカ６１よりも小さな長方形の領域が形成されており、当該所定の色で塗りつぶされた長方形の領域の中心には、白抜きの矢印が描かれている。マーカ６１の中心に描かれた矢印の方向は、マーカ６１の長辺と平行である。ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、外側撮像部２３によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカ６１を検出することができる。外側撮像部２３によって撮像された画像中にマーカ６１が検出された場合、上側ＬＣＤ２２には、外側撮像部２３によって撮像された画像に仮想キャラクタが表示される。外側撮像部２３によって撮像された画像中にマーカ６１が検出されない場合は、上側ＬＣＤ２２にマーカ６１が検出されていないことを示すメッセージが表示されて、仮想キャラクタは表示されない。
【００８２】
具体的には、マーカ６１が検出された場合、上側ＬＣＤ２２には、外側撮像部２３によって撮像された実画像（マーカ６１と背景を含む実空間を撮像した画像）に、仮想キャラクタ５１が重畳表示される。仮想キャラクタ５１は、仮想空間に存在するキャラクタであり、例えば人を模した仮想オブジェクトでもよい。より具体的には、上側ＬＣＤ２２には、マーカ６１の上に仮想キャラクタ５１が乗っている様子が表示される。
【００８３】
上側ＬＣＤ２２に表示される画像は立体視可能な画像である。すなわち、外側撮像部２３によって撮像された実画像は、外側撮像部（左）２３ａによって撮像された左目用実画像と外側撮像部（右）２３ｂによって撮像された右目用実画像とを含む。また、仮想キャラクタ５１は、仮想空間に存在する仮想ステレオカメラ（左仮想カメラおよび右仮想カメラ）によって撮像されて、上記実画像に重畳表示される。具体的には、外側撮像部（左）２３ａによって撮像された左目用実画像に、左仮想カメラで仮想キャラクタ５１を撮像した画像が重ね合わされて、左目用重畳画像が生成される。また、外側撮像部（右）２３ｂによって撮像された右目用実画像に、右仮想カメラで仮想キャラクタ５１を撮像した画像が重ね合わされて、右目用重畳画像が生成される。そして、上側ＬＣＤ２２にこれら２つの重畳画像が表示されて、視差バリアを介してユーザの左目に左目用重畳画像が、ユーザの右目に右目用重畳画像が視認される。これにより、ユーザは画像を立体的に視認することができる。
【００８４】
仮想キャラクタ５１は、仮想空間に配置されたオブジェクトである。図６は、仮想空間上の座標系の定義を示す図である。仮想空間は、マーカ６１の中心を原点としたＸＹＺ座標系（マーカ座標系）によって定義される。マーカ座標系は、マーカ６１の矢印と同じ方向（前方向）にＺ軸、矢印方向を基準として右向き（右方向）にＸ軸、マーカ６１に対して垂直上向き（上方向）にＹ軸が設定される。このように、実空間に配置されたマーカ６１を基準として仮想空間の座標系が定義されることにより、実空間と仮想空間とを対応付けることができる。このようにして定義された仮想空間上に仮想キャラクタ５１が配置される。例えば、仮想キャラクタ５１は、仮想空間の座標系（マーカ座標系）の原点（０，０，０）に配置され、その向き（姿勢）は、Ｘ軸をＹ軸周りに４５度回転させた方向に設定される。
【００８５】
図７は、仮想空間に仮想キャラクタ５１が配置された様子を示す図である。図７に示すように、マーカ座標系の原点には、仮想キャラクタ５１が配置され、当該仮想キャラクタ５１は、仮想空間内に配置された左仮想カメラ５３ａおよび右仮想カメラ５３ｂによって撮像される。左仮想カメラ５３ａは、ユーザの左目で視認される仮想空間の画像を撮像するためのものであり、右仮想カメラ５３ｂは、ユーザの右目で視認される仮想空間の画像を撮像するためのものである。具体的には、左仮想カメラ５３ａのマーカ座標系における位置および姿勢は、実空間の外側撮像部（左）２３ａの位置および姿勢と一致される。また、右仮想カメラ５３ｂのマーカ座標系における位置および姿勢は、実空間の外側撮像部（右）２３ｂの位置および姿勢と一致される。
【００８６】
このようにマーカ６１に基づいて仮想空間が定義され、当該仮想空間に仮想キャラクタ５１が配置された場合において、外側撮像部２３の位置や撮像方向を変化させると、上側ＬＣＤ２２に表示される仮想キャラクタ５１も変化する。図８は、マーカ６１を図５とは反対方向から撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図である。図８では、ゲーム装置１０（外側撮像部２３）の位置および姿勢を固定して、図５に示すマーカ６１を、その中心を通り当該マーカ６１に垂直な軸の周りに１８０度回転させた場合に、上側ＬＣＤ２２に表示される画像が示されている。あるいは、図８では、図５に示すマーカ６１を固定して、ゲーム装置１０をマーカ６１の中心を通り当該マーカ６１に垂直な軸の周りに１８０度回転させた場合に、上側ＬＣＤ２２に表示される画像が示されている。
【００８７】
図８に示すように、実空間におけるゲーム装置１０（外側撮像部２３）とマーカ６１との位置関係（相対的な位置関係；距離や姿勢）が変化すると、上側ＬＣＤ２２に表示される仮想キャラクタ５１も変化する。具体的には、図５に示すゲーム装置１０とマーカ６１との位置関係では仮想キャラクタ５１の正面が表示されるが、図８に示すゲーム装置１０とマーカ６１との位置関係（図５とは反対方向）では仮想キャラクタ５１の背面が表示される。すなわち、外側撮像部２３の位置や姿勢を変化させると、その変化に応じて、左右の仮想カメラの位置や姿勢も変化する。このため、上側ＬＣＤ２２に表示される仮想キャラクタ５１の見え方も変化する。これにより、仮想キャラクタ５１は、あたかも実空間に存在するマーカ６１の上に実在するかのように見える。
【００８８】
次に、実空間の色や明るさに応じて仮想キャラクタ５１が変化することについて説明する。図９は、実空間の色や明るさに応じて、仮想キャラクタ５１の色や明るさが変化する様子を示す図である。
【００８９】
図９では、実空間が図５に示す場合よりも暗い（実空間の照明あるいは太陽の光が図５よりも弱い）場合を示している。なお、図９における長方形で描かれた「実空間の背景」は、実際にはこのような形状を有する領域ではなく、ゲーム装置１０が存在する空間全体、もしくは、外側撮像部２３の撮像範囲全体を示している。図９に示すように、実空間が比較的暗い場合、実空間に存在するマーカ６１の白色部分（矢印や外周部分）や背景の明るさ（輝度）は低くなる。このような環境でマーカ６１を外側撮像部２３で撮像すると、上側ＬＣＤ２２に表示される実画像は全体的に暗くなるとともに、仮想キャラクタ５１も暗くなる。あるいは、実空間の照明の色が白色ではなく、例えば赤色である場合、外側撮像部２３で撮像された実画像は全体的に赤色を帯びた画像となるとともに、仮想キャラクタ５１も全体的に赤色を帯びた画像となる。このように、実空間の色や明るさに応じて、重畳して表示される仮想キャラクタ５１の色や明るさも変化する。
【００９０】
具体的には、ゲーム装置１０は、外側撮像部２３で撮像した実画像（左目用実画像および右目用実画像のうちの何れか一方）の中から、所定のサンプリング点を抽出し、当該サンプリング点の色情報（ＲＧＢ値）を取得する。次に、取得されたサンプリング点の色情報に基づいて、仮想空間に設定された光源が設定される。そして、取得されたサンプリング点の色情報に基づいて設定された光源で仮想空間内の仮想キャラクタ５１が照らされ、仮想カメラ（左仮想カメラ５３ａおよび右仮想カメラ５３ｂ）で撮像される。
【００９１】
以上のように仮想空間の光源が実画像に基づいて設定されるため、実空間が暗い場合は、仮想キャラクタ５１は暗く表示され、実空間が明るい場合は、仮想キャラクタ５１も明るく表示される。また、実空間の照明が所定の色を帯びている場合、仮想キャラクタ５１も当該所定の色を帯びて表示される。このため、実画像と仮想キャラクタ５１を撮像した画像とを重ね合わせて表示した場合、仮想キャラクタ５１は実画像に馴染み、あたかも仮想キャラクタ５１が実空間に存在するような感覚をユーザに与えることができる。すなわち、例えば、実空間が暗くて実画像が暗く表示されている場合において、仮想キャラクタ５１だけが明るく表示されると、仮想キャラクタ５１が浮いたような画像となり、不自然な画像となる。このため、仮想キャラクタ５１があたかも実空間に存在するような感覚をユーザに与えることができない。しかしながら、本実施形態では、実空間と同様の色や明るさで仮想オブジェクトが表示されるため、自然な表示となる。
【００９２】
（画像処理の詳細）
次に、図１０から図１２を参照して、本実施形態に係る画像処理の詳細について説明する。まず、画像処理の際にメインメモリ３２およびＶＲＡＭ３１３（以下、これらを総称してＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図１０は、ゲーム装置１０のＲＡＭのメモリマップを示す図である。図１０に示されるように、ＲＡＭには、画像処理プログラム７１、左目用実画像７２Ｌ、右目用実画像７２Ｒ、仮想キャラクタ情報７３、左仮想カメラ情報７４Ｌ、右仮想カメラ情報７４Ｒ、左仮想オブジェクト画像７５Ｌ、右仮想オブジェクト画像７５Ｒ、色情報配列７６、光源情報７７等が格納される。
【００９３】
画像処理プログラム７１は、後述するフローチャートに示される画像処理を情報処理部３１（ＣＰＵ３１１）に実行させるためのプログラムである。
【００９４】
左目用実画像７２Ｌは、外側撮像部（左）２３ａによって撮像された、実空間を撮像した画像である。
【００９５】
右目用実画像７２Ｒは、外側撮像部（右）２３ｂによって撮像された、実空間を撮像した画像である。
【００９６】
仮想キャラクタ情報７３は、仮想キャラクタ５１に関連する情報である。具体的には、仮想キャラクタ情報７３は、仮想キャラクタ５１の形状を表す３次元モデルデータ（ポリゴンデータ）や、仮想キャラクタ５１の模様をあらわすテクスチャデータ、仮想空間における仮想キャラクタ５１の位置や姿勢の情報を含む。
【００９７】
左仮想カメラ情報７４Ｌは、仮想空間のおける左仮想カメラ５３ａの位置および姿勢を表す情報である。具体的には、左仮想カメラ情報７４Ｌは、左目用実画像におけるマーカ６１の位置および姿勢に基づいて算出される行列である。
【００９８】
右仮想カメラ情報７４Ｒは、仮想空間のおける右仮想カメラ５３ｂの位置および姿勢を表す情報である。具体的には、右仮想カメラ情報７４Ｒは、右目用実画像におけるマーカ６１の位置および姿勢に基づいて算出される行列である。
【００９９】
左仮想オブジェクト画像７５Ｌは、左仮想カメラ５３ａによって仮想キャラクタ５１を撮像した画像である。
【０１００】
右仮想オブジェクト画像７５Ｒは、右仮想カメラ５３ｂによって仮想キャラクタ５１を撮像した画像である。
【０１０１】
色情報配列７６は、実画像（左目用実画像または右目用実画像）における所定のサンプリング点の色情報（ＲＧＢ値）の集合である。実画像は、１フレーム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に取得される。ゲーム装置１０は、実画像が取得されると、実画像から上記色情報を算出する。ゲーム装置１０は、各フレームで算出した色情報を色情報配列７６に時系列に格納する。すなわち、色情報配列７６には、過去所定数フレーム分の色情報が含まれる。
【０１０２】
光源情報７７は、仮想空間の光源のパラメータ（光源の色および明るさを示す複数のパラメータ）に関する情報である。
【０１０３】
（メインフローの説明）
次に、本実施形態に係る画像処理の詳細について、図１１から図１３を参照して説明する。図１１は、本実施形態に係る画像処理の詳細を示すメインフローチャートである。ゲーム装置１０の電源が投入されると、ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリ４４等；コンピュータ読み取り可能な記憶媒体）に記憶された画像処理プログラムがＲＡＭ（具体的には、メインメモリ３２）に読み込まれ、情報処理部３１のＣＰＵ３１１によって当該プログラムの実行が開始される。図１１のフローチャートに示す処理は、以上の処理が完了した後に情報処理部３１（ＣＰＵ３１１又はＧＰＵ３１２）によって行われる。なお、図１１では、本発明に直接関連しない処理については記載を省略する。また、図１１に示すステップＳ１〜ステップＳ９の処理ループは、１フレーム毎に繰り返し実行される。
【０１０４】
まず、ステップＳ１において、情報処理部３１は、実カメラ画像を取得する。具体的には、情報処理部３１は、外側撮像部２３に対して、画像を撮像するための命令を送信する。当該命令に応じて外側撮像部（左）２３ａは左目用実画像７２Ｌを、外側撮像部（右）２３ｂは右目用実画像７２Ｒを撮像する。そして、情報処理部３１は、撮像された２つの画像（左目用実画像７２Ｌおよび右目用実画像７２Ｒ）を取得し、ＲＡＭに記憶する。次に、情報処理部３１は、ステップＳ２の処理を実行する。
【０１０５】
ステップＳ２において、情報処理部３１は、マーカ認識処理を実行する。マーカ認識処理は、ステップＳ１で取得した左目用実画像７２Ｌおよび右目用実画像７２Ｒを用いて、２つの画像に含まれるマーカ６１を認識する処理である。マーカ認識処理においては、マーカの認識結果に応じて、仮想カメラ（左仮想カメラ５３ａおよび右仮想カメラ５３ｂ）が仮想空間に設定される。マーカ認識処理の詳細については、後述する。マーカ認識処理の後、情報処理部３１は、次にステップＳ３の処理を実行する。
【０１０６】
ステップＳ３において、情報処理部３１は、取得した画像における複数のサンプリング点の色情報を取得する。具体的には、情報処理部３１は、左目用実画像７２Ｌおよび右目用実画像７２Ｒの何れか一方の画像を用いて、予め定められた全てのサンプリング点（１又は複数の画素によって表わされる点）を抽出し、当該抽出したサンプリング点の色情報（ＲＧＢ値）を取得する。ここで、サンプリング点は、図１３に示すように、マーカ６１の白色の領域における予め定められた点である。図１３は、マーカ６１を真上から見た場合のマーカ６１のサンプリング点を示す図である。図１３においては、８つのサンプリング点が示されており、ステップＳ３においてはこれら全てのサンプリング点が抽出されて、各サンプリング点の色情報が取得される。なお、サンプリングの数はいくつでもよく、例えば、１点でもよいし、１６点でもよい。情報処理部３１は、次にステップＳ４の処理を実行する。
【０１０７】
ステップＳ４において、情報処理部３１は、サンプリング点の平均色を算出する。具体的には、情報処理部３１は、取得したサンプリング点のＲＧＢ値に基づいて、全サンプリング点の平均色（平均のＲＧＢ値）を算出し、色情報配列７６に格納する。情報処理部３１は、次にステップＳ５の処理を実行する。
【０１０８】
ステップＳ５において、情報処理部３１は、過去所定数フレームとの平均色を算出する。具体的には、情報処理部３１は、ステップＳ４で算出されたＲＧＢ値と、過去所定数（例えば数十）フレームにおいてステップＳ４で算出されたＲＧＢ値（色情報配列７６に格納されている）とに基づいて、さらに平均色（ＲＧＢ値）を算出する。情報処理部３１は、次にステップＳ６の処理を実行する。
【０１０９】
ステップＳ６において、情報処理部３１は、色情報の調整を行う。ここで、情報処理部３１は、ステップＳ５で算出された平均色（ＲＧＢ値）に所定の演算を行う（例えば、予め定められた値をかける）ことにより、ステップＳ５で算出された平均色を調整する。情報処理部３１は、次にステップＳ７の処理を実行する。
【０１１０】
ステップＳ７において、情報処理部３１は、光源の設定を行う。具体的には、情報処理部３１は、ステップＳ７で調整した色情報に基づいて、仮想空間の光源（点光源または平行光源）のパラメータを設定し、光源情報７７としてＲＡＭに記憶する。光源のパラメータは、光源の色やその明るさ等を示すパラメータであって、画面全体に均一な影響を与えるパラメータや仮想キャラクタのマテリアルと相互作用して表示に影響を与えるパラメータである。情報処理部３１は、次にステップＳ８の処理を実行する。
【０１１１】
ステップＳ８において、情報処理部３１は、仮想オブジェクト画像生成処理を実行する。ここでは、仮想空間に存在する仮想キャラクタ５１が、ステップＳ７で設定された光源によって照らされて、左右の仮想カメラによって撮像される。具体的には、情報処理部３１は、仮想空間を左仮想カメラ５３ａで撮像することによって左仮想オブジェクト画像７５Ｌを生成して、ＲＡＭに格納する。また、情報処理部３１は、仮想空間を右仮想カメラ５３ｂで撮像することによって右仮想オブジェクト画像７５Ｒを生成して、ＲＡＭに格納する。上記のようにして算出された平均色に基づいて仮想空間の光源のパラメータが設定されることにより、例えば、算出された平均色が比較的暗い場合は、仮想キャラクタ５１は暗く表示され、算出された平均色が赤色であれば、仮想キャラクタ５１は赤色に表示される。情報処理部３１は、次にステップＳ９の処理を実行する。
【０１１２】
ステップＳ９において、情報処理部３１は、出力処理を実行する。出力処理が実行されることによって、上側ＬＣＤ２２に立体視可能な画像が表示される。具体的には、情報処理部３１は、ステップＳ１で取得した実カメラ画像とステップＳ８で生成した仮想オブジェクト画像とを重ね合わせた重畳画像を生成する。具体的には、情報処理部３１は、左目用実画像７２Ｌと左仮想オブジェクト画像７５Ｌとを重ね合わせた左目用重畳画像を生成し、右目用実画像７２Ｒと右仮想オブジェクト画像７５Ｒとを重ね合わせた右目用重畳画像を生成する。そして、情報処理部３１は、生成した２つの重畳画像を上側ＬＣＤ２２に出力する。上側ＬＣＤ２２に表示された左目用重畳画像は視差バリアを介してユーザの左目で視認され、右目用重畳画像は視差バリアを介してユーザの右目で視認される。これにより、ユーザは立体感のある画像を視認することができる。
【０１１３】
なお、ステップＳ２において、左目用実画像７２Ｌおよび右目用実画像７２Ｒの何れか一方（双方でもよい）に、上記マーカが検出されない場合は、ステップＳ３〜Ｓ８の処理は実行されず、ステップＳ９の処理が実行される。この場合、ステップＳ９において、ステップ１で取得された左右の実画像に、マーカが検出されていないことを示すメッセージが重畳されて、上側ＬＣＤ２２に表示される。
【０１１４】
（マーカ認識処理の説明）
次に、上記マーカ認識処理の詳細について説明する。図１２は、マーカ認識処理（ステップＳ２）の詳細を示すフローチャートである。
【０１１５】
ステップＳ２１において、情報処理部３１は、実カメラとマーカとの位置関係を算出する。具体的には、情報処理部３１は、まず、パターンマッチング手法等によって左目用実画像７２Ｌにマーカが含まれているか否かを判定する。そして、情報処理部３１は、左目用実画像７２Ｌに含まれるマーカの当該左目用実画像７２Ｌにおける位置や大きさ、形状、および、マーカの矢印の方向等に基づいて、外側撮像部（左）２３ａと実空間に存在するマーカ６１との位置関係を算出する。ここで、外側撮像部（左）２３ａとマーカ６１との位置関係とは、マーカ６１および外側撮像部（左）２３ａの何れか一方を基準とした場合の他方の３次元の位置および姿勢である。すなわち、上記位置関係は、マーカ６１に対する外側撮像部（左）２３ａの相対的な位置および姿勢である。同様に、情報処理部３１は、右目用実画像７２Ｒを用いて、外側撮像部（右）２３ｂと実空間に存在するマーカ６１との位置関係を算出する。ここでは、マーカ６１を基準とした外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの相対的な位置および姿勢が行列としてそれぞれ算出される。
【０１１６】
より具体的には、ステップＳ２１においては、マーカの認識結果に基づいて、マーカ座標系が設定されるとともに、マーカ６１と外側撮像部（左）２３ａとの位置関係が算出される（図７参照）。マーカ座標系の原点は、マーカ６１の中心に設定される。また、マーカ座標系のＺ軸は、マーカ６１の矢印の方向と平行に設定され（マーカ６１の長辺と平行に設定され）、マーカ座標系のＸ軸は、マーカ６１の短辺と平行であって、マーカの矢印の方向を基準として右向きに設定される。また、マーカ座標系のＹ軸は、マーカ６１に対して垂直上向きに設定される（長方形のマーカ６１の上向きの法線方向に設定される）。マーカ座標系は、仮想空間を定義する座標系であり、実空間と仮想空間とを対応付ける。すなわち、マーカ座標系における原点は、仮想空間の原点であって、実空間におけるマーカ６１の中心でもある。
【０１１７】
そして、マーカ６１に対する外側撮像部（左）２３ａの相対的な位置および姿勢が行列として算出される。同様に、マーカ６１に対する外側撮像部（右）２３ｂの相対的な位置および姿勢が行列として算出される。なお、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、これらの撮像方向が平行で、かつ、撮像方向に対して回転しないようにして配設されている。すなわち、外側撮像部（左）２３ａの姿勢と外側撮像部（右）２３ｂの姿勢とは常に一致する。また、外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、所定の間隔で配置されている。このため、例えば、左目用実画像７２Ｌに基づいて外側撮像部（左）２３ａの位置および姿勢が算出されると、右目用実画像７２Ｒを用いなくても、外側撮像部（右）２３ｂの位置および姿勢は算出可能である。ステップＳ２１の後、情報処理部３１は、次にステップＳ２２の処理を実行する。
【０１１８】
ステップＳ２２において、情報処理部３１は、左右の仮想カメラの位置および姿勢を決定する。ここでは、左右の仮想カメラの位置および姿勢は、外側撮像部２３の位置および姿勢と一致する。すなわち、左仮想カメラ５３ａの仮想空間における位置および姿勢は、外側撮像部（左）２３ａの位置および姿勢と一致するように設定される。また、右仮想カメラ５３ｂの仮想空間における位置および姿勢は、外側撮像部（右）２３ｂの位置および姿勢と一致するように設定される。具体的には、左仮想カメラ５３ａの位置および姿勢は、行列（左ビュー行列）として表され、ステップＳ２１で算出された外側撮像部（左）２３ａの位置および姿勢を表す行列が、左仮想カメラ情報７４ＬとしてＲＡＭに保存される。同様に、右仮想カメラ５３ｂの位置および姿勢は、行列（右ビュー行列）として表され、ステップＳ２１で算出された外側撮像部（右）２３ｂの位置および姿勢を表す行列が、右仮想カメラ情報７４ＲとしてＲＡＭに保存される。なお、上述のように外側撮像部（左）２３ａの姿勢と外側撮像部（右）２３ｂの姿勢とは常に一致するため、左仮想カメラ５３ａの姿勢および右仮想カメラ５３ｂの姿勢も一致する。
【０１１９】
以上のように、本実施形態では、実画像における所定の点の色情報が取得されて、当該取得された色情報に基づいて、仮想空間の光源のパラメータ（光源の色または明るさに関するパラメータ）が設定される。設定された光源によって仮想キャラクタが照らされて、仮想カメラによって撮像される。そして、仮想カメラによって撮像された仮想キャラクタが実画像に重畳されて表示される。これにより、実空間の環境に応じて仮想キャラクタの表示が変化するため、仮想キャラクタの表示が自然となる。また、仮想空間が実空間と対応されて設定される。そして、仮想カメラが実カメラ（外側撮像部２３）の位置および姿勢と一致して設定されるため、仮想空間に存在する仮想キャラクタが、あたかも実空間に存在するかのような感覚をユーザに与えることができる。
【０１２０】
また、本実施形態では、マーカ６１の白色領域の点をサンプリング点として抽出し、当該点の色情報を取得した。これにより、実環境の色や明るさをより正確に認識することができる。例えば、マーカ６１以外の任意の特定対象物について色情報を取得しても、当該特定対象物の元来の色（白色光を当てた時の色）が既知でなければ、どのような色の光が当該特定対象物に当たったのかを判別し難い。しかしながら、本実施形態では、既知の色、特に白色部分の色情報を取得するため、当該部分に当たった光の色や明るさを正確に知ることができる。
【０１２１】
また、本実施形態では、複数のサンプリング点の色情報を取得し、平均色を算出した。これにより、マーカ６１の一部に他の物体が存在する場合や特定の光が照射された場合であっても、実環境の光を取得する際のこれらの影響を小さくすることができる。例えば、マーカ６１上の１点のみを抽出する場合において、当該点にユーザの指がかかっている場合や当該点（当該点付近）にのみ有色の光が当たっている場合は、その点の色情報に基づいて仮想光源が設定されるため、仮想キャラクタは不自然な表示となる。しかしながら、本実施形態では、複数の点を抽出して平均色を算出するため、このような不自然な表示とはならない。
【０１２２】
また、本実施形態では、今回のフレームで算出した色情報と、過去所定数フレームで算出した色情報との平均色が算出されて、光源が設定される。このため、算出された平均色が急激に変化した場合であっても、表示される仮想キャラクタの色や明るさが急激に変化することがなく、また、誤差や誤認識による影響を小さくすることができ、自然な表示となる。
【０１２３】
また、本実施形態では、仮想キャラクタ５１は、サンプリング点の近傍に配置されて、表示された。例えば、仮想キャラクタが表示される位置とサンプリング点の位置とが異なる場合において、実環境において仮想キャラクタが表示される位置にスポットライトが当たっており、サンプリング点にスポットライトが当たっていない場合、仮想キャラクタは暗く表示されて、不自然な表示となる。しかしながら、本実施形態では、仮想キャラクタが表示される近傍の実空間の点をサンプリング点として抽出することにより、不自然な表示にならない。
【０１２４】
（変形例）
なお、本実施形態では、仮想オブジェクトとして人を模した仮想キャラクタを仮想空間に配置した。他の実施形態では、仮想オブジェクトは、どのようなオブジェクトであってもよく、例えば、動物を模したオブジェクト、植物を模したオブジェクト、ロボットのオブジェクト等であってもよい。
【０１２５】
また、本実施形態では、立体視可能な画像を表示するため、外側撮像部２３によって左右の実画像を取得し、仮想カメラによって左右の画像を取得した。他の実施形態では、実カメラによって撮像した１つの実画像に、仮想カメラによって撮像した１つの画像を重ね合わせることにより、平面画像を表示してもよい。
【０１２６】
また、本実施形態では、マーカ６１を認識することによって、実空間と対応した仮想空間を設定し（マーカ６１上にマーカ座標系を設定し）、仮想カメラを実カメラ（外側撮像部２３）の位置および姿勢に一致するように設定した。これにより、仮想空間に配置された仮想オブジェクトがあたかも実空間に存在するかのような感覚（拡張現実感）をユーザに与えた。他の実施形態では、実カメラによって撮像された実画像に、仮想オブジェクトを単に重畳表示するだけでもよい。すなわち、他の実施形態では、仮想空間は必ずしも実空間と対応されて設定される必要はない。実カメラによって撮像された実画像の一部を抽出して色情報を取得し、取得した色情報に基づいて仮想の光源が設定され、当該光源で照らされた仮想オブジェクトを実画像に重畳表示することにより、仮想オブジェクトの画像が実画像に馴染み、自然な表示となる。
【０１２７】
また、本実施形態では、マーカ６１を用いて仮想空間を設定するとともに、マーカ６１の所定点を抽出して色情報を取得したが、他の実施形態では、マーカ６１とは異なる特定対象物の所定点を抽出して色情報を取得してもよい。すなわち、仮想空間を設定するために用いられるマーカと、色情報を取得するために用いられる特定対象物とは、異なるものであってもよい。
【０１２８】
また、本実施形態では、実画像に含まれるマーカ６１の白色領域をサンプリング点として抽出し、色情報を取得したが、他の実施形態では、マーカ６１の所定の色で塗りつぶされた領域を抽出し、色情報を取得してもよい。また、他の実施形態では、マーカではなく、実画像の他の任意の領域の少なくとも１つの画素を抽出して、色情報を取得してもよい。例えば、実空間に配置された所定の色の紙を外側撮像部２３で撮像して当該紙の上に仮想オブジェクトを表示する場合、実空間の照明の光が白色であっても、仮想オブジェクトが上記紙と同系色で表示される方が、自然に見えることがある。
【０１２９】
また、本実施形態では、複数のサンプリング点の色情報を取得して、平均色を算出し、当該平均色に基づいて、仮想光源の色に関するパラメータ（色および明るさを含む）を設定した。他の実施形態では、複数のサンプリング点を抽出して、例えば、明度が最も高い点の色情報を取得し、当該取得した色情報に基づいて仮想光源が設定されてもよい。すなわち、例えば、実カメラで撮像された実画像における最も明るい領域の色情報に基づいて、仮想光源が設定されてもよい。
【０１３０】
また、本実施形態では、実画像の所定点の色情報に基づいて、仮想光源のパラメータ（色や明るさに関するパラメータ）が設定された。他の実施形態では、仮想光源の色や明るさに関するパラメータのみならず、仮想光源の位置や光源の種類等が、上記実画像の色情報に基づいて設定されてもよい。例えば、実カメラによって撮像された画像において、特定の明るい領域が存在する場合、当該領域に所定の方向からスポットライトが当っていると推定することができる。さらに、その領域の形状に基づいて、スポットライトの方向を推定することができる（例えば、明るい領域の実空間における形状が円であれば真上から、明るい領域の実空間における形状が楕円であれば斜めからスポットライトが当てられていると推定することができる）。また、例えば、マーカ６１の周辺に立体的な物体が撮像されている場合、当該物体の大きさおよび当該物体によってできる影の大きさに基づいて、実空間の照明の位置（光が照射される方向）を推定することができる。すなわち、実カメラによって撮像された実画像の中の画素の色情報を取得し、取得した色情報に基づいて、仮想光源の位置や種類、色、明るさ等を設定してもよい。
【０１３１】
また、本実施形態では、過去所定数フレームで算出された色情報と、現在のフレームで算出された色情報との平均色を算出し、当該平均色に基づいて光源のパラメータが設定された。他の実施形態では、過去所定数フレームで算出された色情報と、現在のフレームで算出された色情報とに基づいて、光源のパラメータが設定されてもよい。すなわち、必ずしも現在のフレームで算出された色情報と過去数フレームで算出された色情報との平均色が算出される必要はない。例えば、現在のフレームで算出された色情報と過去所定数フレームで算出された色情報とを比較して、その差が所定の閾値未満であれば、現在のフレームで算出された色情報を用いて、光源のパラメータが設定されてもよい。また、過去所定数フレームで算出された色情報と、現在のフレームで算出された色情報とを用いて所定の演算を行い（例えば、加重平均等）、当該演算結果に基づいて光源のパラメータが設定されてもよい。
【０１３２】
また、本実施形態では、左目用実画像および右目用実画像の何れかを用いて色情報を取得したが、他の実施形態では、左目用実画像および右目用実画像の双方を用いて色情報を取得してもよい。例えば、左目用実画像を用いて仮想光源を設定し、当該左目用実画像を用いて設定された仮想光源で照らされた仮想オブジェクトを左仮想カメラで撮像するとともに、右目用実画像を用いて仮想光源を設定し、当該右目用実画像を用いて設定された仮想光源で照らされた仮想オブジェクトを右仮想カメラで撮像してもよい。
【０１３３】
また、本実施形態では、色情報としてＲＧＢ値を取得したが、取得する色情報は、明るさ（明度）のみであってもよい。例えば、ＲＧＢ値のうち、最大明度が取得されてもよい。また、本実施形態では、仮想光源の色および明るさが設定されたが、他の実施形態では、仮想光源の色が固定（例えば、白色）されて、明るさのみが設定されてもよい。
【０１３４】
また、本実施形態では、実カメラ（外側撮像部２３）で撮像した実画像に基づいて、実空間の光の色や明るさ等を推定して、仮想光源の色や明るさ等を設定した。他の実施形態では、実空間の照明環境（光の色や明るさ）に関する情報を他の手段（例えば、光センサ等）によって取得し、当該取得した情報に基づいて、仮想光源を設定してもよい。すなわち、実空間の色や明るさに関する情報は、上述のように実画像に基づいて取得されてもよいし、光センサ等の他の検出手段の検出結果に基づいて取得されてもよい。
【０１３５】
また、本実施形態では、マーカ６１を外側撮像部２３で撮像することによって、外側撮像部２３とマーカ６１との位置関係（相対的な位置および姿勢）を算出した。そして、算出した位置関係に基づいて、仮想空間（マーカ座標系）を定義した。他の実施形態では、マーカ６１に限らず、他の物体を撮像画像から認識して、上記位置関係が算出されてもよい。例えば、実空間に存在する所定の物体（例えば、実空間に存在する椅子やテーブル等でもよい）をパターンマッチング等の画像認識により検出し、上記位置関係が算出されて、仮想空間が定義されてもよい。すなわち、他の実施形態では、実空間に存在する特定対象物（上記マーカや所定の物体）を撮像画像から認識して、当該特定対象物と外側撮像部２３との位置関係が算出されてもよい。また、特定対象物は、実カメラによって撮像された画像に基づいて認識されず、他の認識手段（例えば、超音波センサ等でもよい）によって認識されてもよい。
【０１３６】
また、他の実施形態では、ＧＰＳや加速度センサ、角速度センサ、地磁気センサ等によって、実カメラの位置および姿勢が検出されてもよい。そして、検出された位置および姿勢に基づいて、仮想空間内の仮想カメラの位置および姿勢が設定され、実カメラで撮像した画像と仮想カメラで仮想空間を撮像した画像とを重畳してもよい。例えば、実空間に対応した仮想空間の所定の位置に仮想オブジェクトが配置され、当該仮想空間の所定の位置に対応する実空間の位置を所定の方向から実カメラで撮像してもよい。この場合、ＧＰＳや姿勢検出手段（加速度センサや角速度センサ、地磁気センサ等）によって実カメラの位置および姿勢を検出することができ、当該実カメラの位置および姿勢に一致するように仮想空間に仮想カメラを設定することができる。このようにして実カメラで撮像された画像と仮想カメラで撮像された画像とを重ね合わせることにより、実空間のその位置に仮想オブジェクトが存在するような写真を撮影することができる。
【０１３７】
また、本実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわち、本実施形態では、外側撮像部２３によって撮像された画像と、仮想カメラ（左右の仮想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳画像が上側ＬＣＤ２２に表示された。他の実施形態では、光学シースルー方式により拡張現実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラを備えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して実空間を視認できるようになっている。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。さらに、このディスプレイ部は液晶表示装置等を備え、この液晶表示装置等にコンピュータにより生成した仮想オブジェクトの画像を表示させ、この液晶表示装置からの光をハーフミラー等で反射させてユーザの網膜に導くことができるようになっている。すなわち、上記ディスプレイ部は、仮想オブジェクトを撮像した画像が表示される表示画面にもなるし、現実空間を透過するメガネのレンズにもなる。これにより、ユーザは、現実空間と仮想オブジェクトの画像とが重ね合わせられた像を視認することができる。このように、レンズを介して透過される実空間に、仮想オブジェクトを仮想カメラで撮像した画像が重ね合わされてもよいし、実空間を実カメラで撮像した実画像に仮想オブジェクトを仮想カメラで撮像した画像が重ね合わされてもよい。すなわち、画面上で視認可能な実空間（画面に表示された実画像中の実空間、または、画面を透過して視認される実空間）に重ね合わせてユーザに視認されるように、仮想オブジェクトが表示されてもよい。なお、ヘッドマウンドディスプレイに備えられたカメラは仮想光源を設定するために用いられ、設定された光源に応じて仮想オブジェクトの画像が生成される。
【０１３８】
また、他の実施形態では、上述した撮影処理の方法は、ゲーム装置に限らず任意の電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や高機能携帯電話、カメラ（装置としてのカメラ）等に適用されてもよい。
【０１３９】
また、本実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いられた。他の実施形態では、時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）などの眼鏡を用いて立体表示を行うような場合でも、本発明は適用可能である。
【０１４０】
また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が各処理を分担して処理することにより、上述した画像処理方法を実現する画像処理システムとして構築されてもよい。例えば、外側撮像部２３が情報処理装置と分離された構成であって、外側撮像部２３が情報処理装置に無線等で接続されてもよい。また、情報処理装置と表示装置が分離された構成で、互いに接続されてもよい。また、外側撮像部２３の位置および姿勢が情報処理装置と分離した検出手段によって検出され、当該検出結果が情報処理装置に送信されてもよい。
【０１４１】
また、上記実施形態においては、ゲーム装置１０の情報処理部３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施形態においては、上記処理の一部又は全部は、ゲーム装置１０が備える専用回路によって行われてもよい。
【０１４２】
また、上記画像処理プログラムは、上記メモリに限らず、光ディスクや磁気ディスク等、コンピュータ読み取り可能な記憶媒体に記憶されてゲーム装置１０に提供されてもよい。また、例えば、ネットワーク上のサーバのＲＡＭに上記画像処理プログラムが記憶され、ゲーム装置１０が当該ネットワークに接続されて、当該画像処理プログラムがゲーム装置１０に提供されてもよい。
【符号の説明】
【０１４３】
１０ ゲーム装置
１１ 下側ハウジング
１２ 下側ＬＣＤ
１３ タッチパネル
１４ 操作ボタン
１５ アナログスティック
１６ ＬＥＤ
２１ 上側ハウジング
２２ 上側ＬＣＤ
２３ 外側撮像部
２３ａ 外側撮像部（左）
２３ｂ 外側撮像部（右）
２４ 内側撮像部
２５ ３Ｄ調整スイッチ
２６ ３Ｄインジケータ
２８ タッチペン
３１ 情報処理部
３１１ ＣＰＵ
３１２ ＧＰＵ
３２ メインメモリ
５１ 仮想キャラクタ
５３ａ 左仮想カメラ
５３ｂ 右仮想カメラ
６１ マーカ
【技術分野】
【０００１】
本発明は、ユーザにより視認可能な実空間に仮想オブジェクトの画像を重ね合わせて表示させる画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法に関する。
【背景技術】
【０００２】
従来、実カメラで撮像した実空間の画像に仮想オブジェクトを重畳し、その仮想オブジェクトがあたかも実空間に存在するかのような画像を生成して表示装置に表示する装置が存在する。例えば、特許文献１に記載の装置では、実空間に配置された物体教示指標を実カメラで撮像して、実空間における位置および姿勢を算出する。そして、仮想空間において、３次元モデルを算出した位置および姿勢に配置して仮想カメラで撮像し、当該撮像した画像を実カメラで撮像した画像に重畳表示させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２５６８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、撮像する実空間の環境がどのような状況であっても、仮想オブジェクトの表示態様は変化しないため、仮想オブジェクトが不自然に見えるという問題があった。例えば、実空間が暗い場合では、実カメラで撮像した画像も全体的に暗くなるが、重畳される仮想オブジェクトの明るさは変わらないため、仮想オブジェクトのみが明るく表示され、当該仮想オブジェクトが浮いたようになり、不自然な表示になることがあった。
【０００５】
それ故、本発明の目的は、ユーザにより視認可能な実空間に仮想オブジェクトの画像を重ね合わせて表示する場合に、より自然な表示となる画像を生成する画像処理技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００７】
本発明は、実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置のコンピュータを、実画像取得手段、色情報取得手段、光源設定手段、オブジェクト画像生成手段、および、表示制御手段として機能させる画像処理プログラムである。実画像取得手段は、上記実カメラにより撮像された実空間を示す実画像を取得する。色情報取得手段は、上記実画像取得手段によって取得された実画像の少なくとも１つの画素の色情報を取得する。光源設定手段は、上記色情報取得手段により取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する。オブジェクト画像生成手段は、上記光源設定手段によって設定された光源で照らされた上記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成する。表示制御手段は、上記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、上記オブジェクト画像生成手段により生成されたオブジェクト画像を上記表示装置に表示させる。
【０００８】
上記によれば、実カメラによって撮像された実画像に基づいて、仮想空間の光源を設定し、当該光源で照らされた仮想オブジェクトを仮想カメラで撮像することができる。そして、画面上で視認可能な実空間に仮想オブジェクトを撮像して得られたオブジェクト画像を重ね合わせて、表示装置に表示させることができる。例えば、実空間を実カメラで撮像した実画像とオブジェクト画像とを重ね合わせて表示装置に表示させたり、画面を透過して視認される実空間にオブジェクト画像を重ね合わせて表示させたりすることができる。これにより、実空間の現実環境に応じたオブジェクト画像を生成することができ、実空間にオブジェクト画像を重ね合わせて表示した場合に、自然な表示にすることができる。
【０００９】
また、本発明の他の構成では、上記画像処理プログラムは、上記実画像取得手段によって取得された実画像から、色が既知の特定対象物を検出する検出手段として、上記コンピュータを更に機能させてもよい。そして、上記色情報取得手段は、上記検出手段により検出された特定対象物に対応する画像の少なくとも１つの画素の色情報を取得してもよい。
【００１０】
上記によれば、上記特定対象物に対応する画像に基づいて、色情報を取得することができる。特定対象物は、色が既知のものであるため、実環境の光の色や明るさを正確に取得することができる。
【００１１】
また、本発明の他の構成では、上記色情報取得手段は、上記検出手段により検出された特定対象物に対応する画像の複数の点の色情報を取得して、取得した色情報の平均値を算出してもよい。この場合、上記光源設定手段は、上記色情報取得手段により算出された平均値に基づいて、上記パラメータを設定する。
【００１２】
上記によれば、上記特定対象物の複数の点の色情報が取得される。このため、特定対象物の認識誤差がある場合や取得する点に上記特定対象物とは異なる所定の物体が存在する場合、取得する点に特定の光が当っている場合等であっても、その影響を低減することができる。
【００１３】
また、本発明の他の構成では、上記色情報取得手段は、上記特定対象物の中で他の部分より明度が高い部分に対応する画像の少なくとも１つの画素の色情報を取得してもよい。
【００１４】
上記によれば、比較的明度が低い部分の色情報を取得するよりも、実環境の光の色や明るさの情報を正確に取得することができる。
【００１５】
また、本発明の他の構成では、上記表示制御手段は、上記特定対象物の上またはその近傍に上記オブジェクトが表示されるように、上記オブジェクト画像を重ね合わせてもよい。
【００１６】
上記によれば、特定対象物に対応する画像の色情報が取得され、当該取得された色情報に基づいて、仮想光源が設定される。そして、設定された光源で仮想オブジェクトが照らされて、撮像される。仮想オブジェクトは、上記特定対象物の上または近傍にオブジェクトが表示される。このため、より自然な表示となる。すなわち、色情報を取得する点の近傍に仮想オブジェクトが配置されるため、その点の実環境と略一致した色や明るさで仮想オブジェクトが表示されるため、画面上で視認可能な実空間に仮想オブジェクトの画像が重ね合わせた場合に、より自然な画像となる。
【００１７】
また、本発明の他の構成では、上記画像処理プログラムは、位置姿勢情報取得手段、および、仮想カメラ設定手段、として上記コンピュータを更に機能させてもよい。位置姿勢情報取得手段は、上記実空間における上記実カメラの位置および姿勢に応じた位置姿勢情報を取得する。仮想カメラ設定手段は、上記仮想空間内において、上記位置姿勢情報取得手段によって取得された位置姿勢情報に応じて仮想カメラの位置および姿勢を設定する。上記オブジェクト画像生成手段は、上記光源設定手段により上記パラメータを設定した光源で照らされた上記オブジェクトを、上記仮想カメラ設定手段によって設定された上記仮想カメラで撮像して、上記オブジェクト画像を生成する。
【００１８】
なお、上記位置姿勢情報取得手段が取得する実カメラの位置および姿勢に応じた位置姿勢情報は、実空間に存在する所定の対象物と上記実カメラとの相対的な位置および姿勢であってもよい。すなわち、上記位置姿勢情報は、実空間の所定の対象物を基準とした実カメラの位置および姿勢であってもよいし、実カメラを基準とした実空間の所定の対象物の位置および姿勢であってもよい。また、上記位置姿勢情報は、絶対的な位置を検出する手段（例えば、ＧＰＳ）や姿勢検出手段（例えば、角速度センサや加速度センサ、地磁気を検出する手段等）によって検出された実カメラの絶対的な位置および姿勢であってもよい。
【００１９】
上記によれば、仮想オブジェクトがあたかも実空間に存在するような画像を生成することができる。すなわち、仮想カメラが実カメラの位置および姿勢と対応して設定されるため、例えば、実カメラの位置や姿勢が変化した場合に、仮想カメラの位置や姿勢も変化し、それに応じて、表示される仮想オブジェクトの見え方も変化する。従って、仮想オブジェクトがあたかも実空間に存在するかのような感覚をユーザに与えることができる。
【００２０】
また、本発明の他の構成では、上記画像処理プログラムは、算出手段、および、仮想カメラ設定手段、として上記コンピュータを更に機能させてもよい。算出手段は、上記検出手段により検出された特定対象物と上記実カメラとの相対的な位置および姿勢を算出する。仮想カメラ設定手段は、上記算出手段による算出結果に応じて、上記仮想カメラの上記仮想空間内における位置および姿勢を設定する。そして、上記オブジェクト画像生成手段は、上記光源設定手段により上記パラメータを設定した光源で照らされた上記オブジェクトを、上記仮想カメラ設定手段によって設定された上記仮想カメラで撮像して、上記オブジェクト画像を生成する。
【００２１】
上記によれば、上記特定対象物に対応する画像に基づいて、色情報を取得することができるとともに、上記特定対象物の検出結果に基づいて仮想カメラを設定することで、仮想オブジェクトがあたかも実空間に存在するような画像を生成することができる。すなわち、仮想カメラが実カメラの位置および姿勢と対応して設定されるため、例えば、実カメラの位置や姿勢が変化した場合に、仮想カメラの位置や姿勢も変化し、それに応じて、表示される仮想オブジェクトの見え方も変化する。従って、仮想オブジェクトがあたかも実空間に存在するかのような感覚をユーザに与えることができる。
【００２２】
また、本発明の他の構成では、上記画像処理プログラムは、上記色情報取得手段が取得した色情報を記憶する記憶手段として、上記コンピュータを更に機能させてもよい。この場合、上記色情報取得手段は、上記記憶手段に記憶された過去の色情報と現在の色情報とを取得する。そして、上記光源設定手段は、上記色情報取得手段により取得された過去の色情報および現在の色情報に基づいて、上記パラメータを設定する。
【００２３】
上記によれば、過去に取得された色情報と現在の色情報とに基づいて、光源のパラメータが設定される。このため、例えば、仮想オブジェクトの表示が急激に変化することを防止することができる。
【００２４】
また、本発明の他の構成では、上記色情報取得手段は、上記記憶手段に記憶された過去の色情報と現在の色情報とを取得して、取得した色情報の平均値を算出する。上記光源設定手段は、上記色情報取得手段により算出された平均値に基づいて、上記パラメータを設定する。
【００２５】
上記によれば、過去に取得された色情報と現在の色情報との平均が算出されるため、仮想オブジェクトの表示が急激に変化することを防止することができる。例えば、現在のフレームにおいて誤認識等によって誤った色情報が取得された場合であっても、仮想オブジェクトの表示は急激に変化せず、不自然な表示にならない。
【００２６】
また、本発明の他の構成では、実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置のコンピュータを、実画像取得手段、環境情報取得手段、光源設定手段、オブジェクト画像生成手段、および、表示制御手段として機能させる画像処理プログラムであってもよい。実画像取得手段は、上記実カメラにより撮像された実画像を取得する。環境情報取得手段は、上記実空間の色及び／又は明るさに関する情報を取得する。光源設定手段は、上記環境情報取得手段により取得された情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する。オブジェクト画像生成手段は、上記光源設定手段によって設定された光源で照らされた上記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成する。表示制御手段は、上記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、上記オブジェクト画像生成手段により生成されたオブジェクト画像を上記表示装置に表示させる。
【００２７】
上記によれば、実空間の色及び／又は明るさに基づいて、仮想空間の光源を設定し、当該光源で照らされた仮想オブジェクトを仮想カメラで撮像することができる。そして、画面上で視認可能な実空間に仮想オブジェクトを撮像して得られたオブジェクト画像を重ね合わせて、表示装置に表示させることができる。これにより、実空間の現実環境に応じたオブジェクト画像を生成することができ、画面上で視認可能な実空間にオブジェクト画像を重ね合わせて表示した場合に、自然な表示にすることができる。
【００２８】
また、本発明では、上記各手段を実現した画像処理装置であってもよい。また、本発明では、上記各手段を実現する複数の要素が相互に動作することによって、１つの画像処理システムとして構成されてもよい。当該画像処理システムは、１つの装置によって構成されてもよいし、複数の装置によって構成されてもよい。
【発明の効果】
【００２９】
本発明によれば、実空間の現実環境に応じたオブジェクト画像を生成することができ、画面上で視認可能な実空間にオブジェクト画像を重ね合わせて表示した場合に、自然な表示にすることができる。
【図面の簡単な説明】
【００３０】
【図１】開状態におけるゲーム装置１０の正面図
【図２】開状態におけるゲーム装置１０の右側面図
【図３】閉状態におけるゲーム装置１０の左側面図、正面図、右側面図および背面図
【図４】ゲーム装置１０の内部構成を示すブロック図
【図５】本実施形態に係る画像処理が実行された場合において、実空間に予め配置されたマーカ６１を外側撮像部２３で撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図
【図６】仮想空間上の座標系の定義を示す図
【図７】仮想空間に仮想キャラクタ５１が配置された様子を示す図
【図８】マーカ６１を図５とは反対方向から撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図
【図９】実空間の色や明るさに応じて、仮想キャラクタ５１の色や明るさが変化する様子を示す図
【図１０】ゲーム装置１０のＲＡＭのメモリマップを示す図
【図１１】本実施形態に係る画像処理の詳細を示すメインフローチャート
【図１２】マーカ認識処理（ステップＳ２）の詳細を示すフローチャート
【図１３】マーカ６１を真上から見た場合のマーカ６１のサンプリング点を示す図
【発明を実施するための形態】
【００３１】
（ゲーム装置の構成）
以下、本発明の一実施形態に係るゲーム装置について説明する。図１〜図３は、ゲーム装置１０の外観を示す平面図である。ゲーム装置１０は携帯型のゲーム装置であり、図１〜図３に示すように折り畳み可能に構成されている。図１および図２は、開いた状態（開状態）におけるゲーム装置１０を示し、図３は、閉じた状態（閉状態）におけるゲーム装置１０を示している。図１は、開状態におけるゲーム装置１０の正面図であり、図２は、開状態におけるゲーム装置１０の右側面図である。ゲーム装置１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置１０は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
【００３２】
まず、図１〜図３を参照して、ゲーム装置１０の外観構成について説明する。図１〜図３に示されるように、ゲーム装置１０は、下側ハウジング１１および上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、各ハウジング１１および２１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
【００３３】
図１および図２に示されるように、下側ハウジング１１の上側長辺部分には、下側ハウジング１１の内側面（主面）１１Ｂに対して垂直な方向に突起する突起部１１Ａが設けられる。また、上側ハウジング２１の下側長辺部分には、上側ハウジング２１の下側面から当該下側面に垂直な方向に突起する突起部２１Ａが設けられる。下側ハウジング１１の突起部１１Ａと上側ハウジング２１の突起部２１Ａとが連結されることにより、下側ハウジング１１と上側ハウジング２１とが、折り畳み可能に接続される。
【００３４】
（下側ハウジングの説明）
まず、下側ハウジング１１の構成について説明する。図１〜図３に示すように、下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ（図１、図３）、アナログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、および、マイクロフォン用孔１８が設けられる。以下、これらの詳細について説明する。
【００３５】
図１に示すように、下側ＬＣＤ１２は下側ハウジング１１に収納される。下側ＬＣＤ１２は横長形状であり、長辺方向が下側ハウジング１１の長辺方向に一致するように配置される。下側ＬＣＤ１２は下側ハウジング１１の中央に配置される。下側ＬＣＤ１２は、下側ハウジング１１の内側面（主面）に設けられ、下側ハウジング１１に設けられた開口部から当該下側ＬＣＤ１２の画面が露出される。ゲーム装置１０を使用しない場合には閉状態としておくことによって、下側ＬＣＤ１２の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤ１２の画素数は、例えば、２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤ１２は、後述する上側ＬＣＤ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤ１２として、任意の解像度の表示装置を利用することができる。
【００３６】
図１に示されるように、ゲーム装置１０は、入力装置として、タッチパネル１３を備えている。タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。なお、本実施形態では、タッチパネル１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネル１３として、下側ＬＣＤ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１３の解像度と下側ＬＣＤ１２の解像度が一致している必要はない。また、下側ハウジング１１の上側面には挿入口１７（図１および図３（ｄ）に示す点線）が設けられている。挿入口１７は、タッチパネル１３に対する操作を行うために用いられるタッチペン２８を収納することができる。なお、タッチパネル１３に対する入力は通常タッチペン２８を用いて行われるが、タッチペン２８に限らずユーザの指でタッチパネル１３に対する入力をすることも可能である。
【００３７】
各操作ボタン１４Ａ〜１４Ｌは、所定の入力を行うための入力装置である。図１に示されるように、下側ハウジング１１の内側面（主面）には、各操作ボタン１４Ａ〜１４Ｌのうち、十字ボタン１４Ａ（方向入力ボタン１４Ａ）、ａボタン１４Ｂ、ｂボタン１４Ｃ、ｘボタン１４Ｄ、ｙボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌが、設けられる。十字ボタン１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅは、十字状に配置される。ボタン１４Ａ〜１４Ｅ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、およびスタートボタン１４Ｌには、ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは選択操作等に用いられ、各操作ボタン１４Ｂ〜１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタン１４Ｆは、ゲーム装置１０の電源をオン／オフするために用いられる。
【００３８】
アナログスティック１５は、方向を指示するデバイスであり、下側ハウジング１１の内側面の下側ＬＣＤ１２より左側領域の上部領域に設けられる。図１に示すように、十字ボタン１４Ａは下側ＬＣＤ１２より左側領域の下部領域に設けられるので、アナログスティック１５は、十字ボタン１４Ａの上方に設けられる。また、アナログスティック１５、および、十字ボタン１４Ａは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。また、アナログスティック１５を上部領域に設けたことにより、下側ハウジング１１を把持する左手の親指が自然と位置するところにアナログスティック１５が配され、十字ボタン１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティック１５は、そのキートップが、下側ハウジング１１の内側面に平行にスライドするように構成されている。アナログスティック１５は、ゲーム装置１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置１０によって実行される場合、アナログスティック１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティック１５のキートップがスライドした方向に移動される。なお、アナログスティック１５として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
【００３９】
十字状に配置される、ａボタン１４Ｂ、ｂボタン１４Ｃ、ｘボタン１４Ｄ、ｙボタン１４Ｅの４つのボタンは、下側ハウジング１１を把持する右手の親指が自然と位置するところに配置される。また、これらの４つのボタンと、アナログスティック１５とは、下側ＬＣＤ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能である。
【００４０】
また、下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられる。マイクロフォン用孔１８の下部には後述する音声入力装置としてのマイク（図４参照）が設けられ、当該マイクがゲーム装置１０の外部の音を検出する。
【００４１】
図３（ａ）は閉状態におけるゲーム装置１０の左側面図であり、図３（ｂ）は閉状態におけるゲーム装置１０の正面図であり、図３（ｃ）は閉状態におけるゲーム装置１０の右側面図であり、図３（ｄ）は閉状態におけるゲーム装置１０の背面図である。図３（ｂ）および（ｄ）に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４ＧおよびＲボタン１４Ｈが設けられている。Ｌボタン１４Ｇは、下側ハウジング１１の上面の左端部に設けられ、Ｒボタン１４Ｈは、下側ハウジング１１の上面の右端部に設けられる。また、図３（ａ）に示されるように、下側ハウジング１１の左側面には、音量ボタン１４Ｉが設けられる。音量ボタン１４Ｉは、ゲーム装置１０が備えるスピーカの音量を調整するために用いられる。
【００４２】
図３（ａ）に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１１Ｃが設けられる。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部メモリ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ４５は、例えば、ゲーム装置１０によって撮像された画像のデータを記憶（保存）するために用いられる。なお、上記コネクタおよびそのカバー部１１Ｃは、下側ハウジング１１の右側面に設けられてもよい。
【００４３】
また、図３（ｄ）に示されるように、下側ハウジング１１の上側面には、ゲーム装置１０とゲームプログラムを記録した外部メモリ４４を挿入するための挿入口１１Ｄが設けられ、その挿入口１１Ｄの内部には、外部メモリ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリ４４がゲーム装置１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネクタおよびその挿入口１１Ｄは、下側ハウジング１１の他の側面（例えば、右側面等）に設けられてもよい。
【００４４】
また、図１および図３（ｃ）に示されるように、下側ハウジング１１の下側面にはゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥＤ１６Ｂが設けられる。ゲーム装置１０は他の機器との間で無線通信を行うことが可能であり、第２ＬＥＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジング１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ１９が設けられる（図３（ｃ）参照）。
【００４５】
なお、図示は省略するが、下側ハウジング１１には、ゲーム装置１０の電源となる充電式電池が収納され、下側ハウジング１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。
【００４６】
（上側ハウジングの説明）
次に、上側ハウジング２１の構成について説明する。図１〜図３に示すように、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、および、３Ｄインジケータ２６が設けられる。以下、これらの詳細について説明する。
【００４７】
図１に示すように、上側ＬＣＤ２２は上側ハウジング２１に収納される。上側ＬＣＤ２２は、横長形状であり、長辺方向が上側ハウジング２１の長辺方向に一致するように配置される。上側ＬＣＤ２２は上側ハウジング２１の中央に配置される。上側ＬＣＤ２２の画面の面積は、下側ＬＣＤ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤ２２の画面は、下側ＬＣＤ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤ１２の画面のアスペクト比における横幅の割合よりも大きく設定される。
【００４８】
上側ＬＣＤ２２の画面は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、上側ハウジング２１に設けられた開口部から当該上側ＬＣＤ２２の画面が露出される。また、図２に示すように、上側ハウジング２１の内側面は、透明なスクリーンカバー２７によって覆われている。当該スクリーンカバー２７は、上側ＬＣＤ２２の画面を保護するとともに、上側ＬＣＤ２２と上側ハウジング２１の内側面と一体的にさせ、これにより統一感を持たせている。上側ＬＣＤ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装置を利用することができる。
【００４９】
上側ＬＣＤ２２は、立体視可能な画像（立体視画像、立体画像ともいう）を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。または、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤ２２はパララックスバリア方式のものとする。上側ＬＣＤ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像（立体画像）を表示する。すなわち、上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチ２５によって行われる。
【００５０】
外側撮像部２３は、上側ハウジング２１の外側面（上側ＬＣＤ２２が設けられた主面と反対側の背面）２１Ｄに設けられた２つの撮像部（２３ａおよび２３ｂ）の総称である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂの撮像方向は、いずれも当該外側面２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（左）２３ａの撮像方向および外側撮像部（右）２３ｂの撮像方向は、平行である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。また、プログラムによっては、２つの外側撮像部（２３ａおよび２３ｂ）のいずれか一方を単独で用いて、外側撮像部２３を非ステレオカメラとして使用することも可能である。また、プログラムによっては、２つの外側撮像部（２３ａおよび２３ｂ）で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では、外側撮像部２３は、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの２つの撮像部で構成される。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５１】
図１の破線および図３（ｂ）の実線で示されるように、外側撮像部２３を構成する外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２の画面の横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣＤ２２の画面の横方向と平行になるように、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂが配置される。図１の破線で示す２３ａおよび２３ｂは、上側ハウジング２１の内側面とは反対側の外側面に存在する外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂをそれぞれ表している。図１に示すように、ユーザが上側ＬＣＤ２２の画面を正面から視認した場合に、外側撮像部（左）２３ａは左側に外側撮像部（右）２３ｂは右側にそれぞれ位置している。外側撮像部２３をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部（左）２３ａは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部（右）２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの間隔は、この範囲に限らない。
【００５２】
なお、本実施例においては、外側撮像部（左）２３ａおよび外側撮像部（右）２３はハウジングに固定されており、撮像方向を変更することはできない。
【００５３】
また、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２（上側ハウジング２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。すなわち、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ＬＣＤ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ハウジング２１を開いた状態において、上側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、上側ハウジング２１の外側面であって、上側ＬＣＤ２２を外側面に投影した場合、投影した上側ＬＣＤ２２の画面の上端よりも上方に配置される。
【００５４】
このように、外側撮像部２３の２つの撮像部（２３ａおよび２３ｂ）が、上側ＬＣＤ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤ２２を正視した場合に、外側撮像部２３の撮像方向をユーザの視線方向と一致させることができる。また、外側撮像部２３は、上側ＬＣＤ２２の画面の上端より上方の裏側の位置に配置されるため、外側撮像部２３と上側ＬＣＤ２２とが上側ハウジング２１の内部で干渉することがない。従って、外側撮像部２３を上側ＬＣＤ２２の画面の裏側に配置する場合と比べて、上側ハウジング２１を薄く構成することが可能となる。
【００５５】
内側撮像部２４は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
【００５６】
図１に示すように、内側撮像部２４は、上側ハウジング２１を開いた状態において、上側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方に配置され、上側ハウジング２１の左右方向に関して中央の位置（上側ハウジング２１（上側ＬＣＤ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、図１および図３（ｂ）に示されるように、内側撮像部２４は、上側ハウジング２１の内側面であって、外側撮像部２３の左右の撮像部（外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジング２１の外側面に設けられた外側撮像部２３の左右の撮像部を上側ハウジング２１の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部２４が設けられる。図３（ｂ）で示される破線２４は、上側ハウジング２１の内側面に存在する内側撮像部２４を表している。
【００５７】
このように、内側撮像部２４は、外側撮像部２３とは反対方向を撮像する。内側撮像部２４は、上側ハウジング２１の内側面であって、外側撮像部２３の左右の撮像部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤ２２を正視した際、内側撮像部２４でユーザの顔を正面から撮像することができる。また、外側撮像部２３の左右の撮像部と内側撮像部２４とが上側ハウジング２１の内部で干渉することがないため、上側ハウジング２１を薄く構成することが可能となる。
【００５８】
３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。図１〜図３に示されるように、３Ｄ調整スイッチ２５は、上側ハウジング２１の内側面および右側面の端部に設けられ、ユーザが上側ＬＣＤ２２を正視した場合に、当該３Ｄ調整スイッチ２５を視認できる位置に設けられる。また、３Ｄ調整スイッチ２５の操作部は、内側面および右側面の両方に突出しており、どちらからも視認および操作することができる。なお、３Ｄ調整スイッチ２５以外のスイッチは全て下側ハウジング１１に設けられる。
【００５９】
３Ｄ調整スイッチ２５は、図１および図２に示されるように、上側ハウジング２１の正面および右側面から視認可能に配置される。３Ｄ調整スイッチ２５のスライダ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に応じて上側ＬＣＤ２２の表示モードが設定されたり、立体画像の立体感が調整されてもよい。例えば、３Ｄ調整スイッチ２５のスライダ２５ａの位置に応じて、後述する仮想カメラ（仮想ステレオカメラ）のカメラ間距離が設定されてもよい。また、当該仮想ステレオカメラの左仮想カメラによって撮像された左目用画像と右仮想カメラによって撮像された右目用画像との位置関係が調整されてもよい。具体的には、例えば、３Ｄ調整スイッチ２５のスライダ２５ａが最上点（図１および図２では上方向）に存在する場合、上記左目用画像と右目用画像との横方向（上側ＬＣＤ２２の画面の横方向；図１の左右方向）の位置のずれが上限値に設定される。このように左目用画像と右目用画像の横方向のずれが上限値に設定されると、２つの画像の視差がより大きくなる。このため、ユーザが視差バリアを通して上側ＬＣＤ２２に表示された２つの画像を見ると、上側ＬＣＤ２２の画面から画像がより手前方向に飛び出したように見える。このように、３Ｄ調整スイッチ２５を用いて、２つの画像の視差が調整されてもよい。
【００６０】
３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードか否かを示す。３Ｄインジケータ２６は、ＬＥＤであり、上側ＬＣＤ２２の立体表示モードが有効の場合に点灯する。なお、３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにしてもよい。図１に示されるように、３Ｄインジケータ２６は、上側ハウジング２１の内側面に設けられ、上側ＬＣＤ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤ２２の画面を正視した場合、ユーザは３Ｄインジケータ２６を視認しやすい。従って、ユーザは上側ＬＣＤ２２の画面を視認している状態でも、上側ＬＣＤ２２の表示モードを容易に認識することができる。
【００６１】
また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられる。後述するスピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。
【００６２】
（ゲーム装置１０の内部構成）
次に、図４を参照して、ゲーム装置１０の内部の電気的構成について説明する。図４は、ゲーム装置１０の内部構成を示すブロック図である。図４に示すように、ゲーム装置１０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、およびインターフェイス回路（Ｉ／Ｆ回路）４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（または上側ハウジング２１でもよい）内に収納される。
【００６３】
情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。本実施形態では、所定のプログラムがゲーム装置１０内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された外部メモリ４４やデータ保存用内部メモリ３５）に記憶されている。情報処理部３１のＣＰＵ３１１は、当該所定のプログラムを実行することによって、後述する画像処理（図１２）を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部３１のＧＰＵ３１２は、情報処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。そして、情報処理部３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力し、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像が表示される。
【００６４】
情報処理部３１には、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メモリＩ／Ｆ３４、および、データ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続するためのインターフェイスである。
【００６５】
メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、上記画像処理に用いられる各種データを一時的に記憶したり、外部（外部メモリ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。
【００６６】
外部メモリ４４は、情報処理部３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリ４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリ４４が外部メモリＩ／Ｆ３３に接続されると、情報処理部３１は外部メモリ４４に記憶されたプログラムを読み込むことができる。情報処理部３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４５には、外側撮像部２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ４５がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部３１はデータ保存用外部メモリ４５に記憶された画像を読み込み、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像を表示することができる。
【００６７】
データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。
【００６８】
無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール３６およびローカル通信モジュール３７は情報処理部３１に接続される。情報処理部３１は、無線通信モジュール３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
【００６９】
また、情報処理部３１には、加速度センサ３９が接続される。加速度センサ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサ３９は、下側ハウジング１１の内部に設けられる。加速度センサ３９は、図１に示すように、下側ハウジング１１の長辺方向をｘ軸、下側ハウジング１１の短辺方向をｙ軸、下側ハウジング１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサ３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部３１は、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置１０の姿勢や動きを検出する。本実施形態では、情報処理部３１は、加速度センサ３９が検出した加速度に基づいて、ゲーム装置１０の姿勢（傾き）を判定する。
【００７０】
また、情報処理部３１には、ＲＴＣ３８および電源回路４０が接続される。ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置１０が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置１０の各部品に電力を供給する。
【００７１】
また、情報処理部３１には、Ｉ／Ｆ回路４１が接続される。Ｉ／Ｆ回路４１には、マイク４２およびスピーカ４３が接続される。具体的には、Ｉ／Ｆ回路４１には、図示しないアンプを介してスピーカ４３が接続される。マイク４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４１に出力する。アンプは、Ｉ／Ｆ回路４１からの音声信号を増幅し、音声をスピーカ４３から出力させる。また、タッチパネル１３はＩ／Ｆ回路４１に接続される。Ｉ／Ｆ回路４１は、マイク４２およびスピーカ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換およびＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置データは、タッチパネル１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。
【００７２】
操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、情報処理部３１に接続される。操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部３１は、操作ボタン１４から操作データを取得することによって、操作ボタン１４に対する入力に従った処理を実行する。
【００７３】
下側ＬＣＤ１２および上側ＬＣＤ２２は情報処理部３１に接続される。下側ＬＣＤ１２および上側ＬＣＤ２２は、情報処理部３１（のＧＰＵ３１２）の指示に従って画像を表示する。
【００７４】
具体的には、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格納された右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像および左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可能な画像が表示される。
【００７５】
外側撮像部２３および内側撮像部２４は、情報処理部３１に接続される。外側撮像部２３および内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像データを情報処理部３１に出力する。例えば、情報処理部３１は外側撮像部２３および内側撮像部２４のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部３１に送る。例えば、ユーザによるタッチパネル１３を用いたタッチ操作によって使用する撮像部が選択される。撮像部が選択されたことを情報処理部３１（ＣＰＵ３１１）が検知し、情報処理部３１が外側撮像部２３または内側撮像部２４に対して撮像指示を行う。
【００７６】
３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、スライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。
【００７７】
また、３Ｄインジケータ２６は、情報処理部３１に接続される。情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。本実施形態では、情報処理部３１は、上側ＬＣＤ２２が立体表示モードである場合、３Ｄインジケータ２６を点灯させる。以上がゲーム装置１０の内部構成の説明である。
【００７８】
また、情報処理部３１には、角速度センサ４６が接続される。角速度センサ４６は、各軸（ｘ軸、ｙ軸、ｚ軸）周りの角速度を検出する。ゲーム装置１０は、角速度センサ４６が逐次検出する角速度に基づいて、実空間におけるゲーム装置１０の姿勢を算出することができる。具体的には、ゲーム装置１０は、角速度センサ４６によって検出された各軸周りの角速度を時間で積分することによって、各軸周りのゲーム装置１０の回転角を算出することができる。
【００７９】
（画像処理の概要）
次に、本実施形態に係るゲーム装置１０において実行される画像処理の概要について説明する。本実施形態では、外側撮像部２３を用いて実空間に存在する特定対象物（具体的には、後述するマーカ）を撮像した場合に、仮想オブジェクトが重畳表示される。ここで表示される当該仮想オブジェクトの色や明るさは、実空間の色や明るさに応じて変化する。以下では、まず、ゲーム装置１０に表示される画像について説明した後、上記仮想オブジェクトの色や明るさが実空間の色や明るさに応じて変化することについて、説明する。
【００８０】
図５は、本実施形態に係る画像処理が実行された場合において、実空間に予め配置されたマーカ６１を外側撮像部２３で撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図である。
【００８１】
図５に示すように、ゲーム装置１０の外側撮像部２３の撮像方向の実空間には、マーカ６１が配置される。マーカ６１は、長方形の紙であって、その中心に矢印が描かれている。具体的には、マーカ６１の中心には、所定の色で塗りつぶされた、マーカ６１よりも小さな長方形の領域が形成されており、当該所定の色で塗りつぶされた長方形の領域の中心には、白抜きの矢印が描かれている。マーカ６１の中心に描かれた矢印の方向は、マーカ６１の長辺と平行である。ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、外側撮像部２３によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカ６１を検出することができる。外側撮像部２３によって撮像された画像中にマーカ６１が検出された場合、上側ＬＣＤ２２には、外側撮像部２３によって撮像された画像に仮想キャラクタが表示される。外側撮像部２３によって撮像された画像中にマーカ６１が検出されない場合は、上側ＬＣＤ２２にマーカ６１が検出されていないことを示すメッセージが表示されて、仮想キャラクタは表示されない。
【００８２】
具体的には、マーカ６１が検出された場合、上側ＬＣＤ２２には、外側撮像部２３によって撮像された実画像（マーカ６１と背景を含む実空間を撮像した画像）に、仮想キャラクタ５１が重畳表示される。仮想キャラクタ５１は、仮想空間に存在するキャラクタであり、例えば人を模した仮想オブジェクトでもよい。より具体的には、上側ＬＣＤ２２には、マーカ６１の上に仮想キャラクタ５１が乗っている様子が表示される。
【００８３】
上側ＬＣＤ２２に表示される画像は立体視可能な画像である。すなわち、外側撮像部２３によって撮像された実画像は、外側撮像部（左）２３ａによって撮像された左目用実画像と外側撮像部（右）２３ｂによって撮像された右目用実画像とを含む。また、仮想キャラクタ５１は、仮想空間に存在する仮想ステレオカメラ（左仮想カメラおよび右仮想カメラ）によって撮像されて、上記実画像に重畳表示される。具体的には、外側撮像部（左）２３ａによって撮像された左目用実画像に、左仮想カメラで仮想キャラクタ５１を撮像した画像が重ね合わされて、左目用重畳画像が生成される。また、外側撮像部（右）２３ｂによって撮像された右目用実画像に、右仮想カメラで仮想キャラクタ５１を撮像した画像が重ね合わされて、右目用重畳画像が生成される。そして、上側ＬＣＤ２２にこれら２つの重畳画像が表示されて、視差バリアを介してユーザの左目に左目用重畳画像が、ユーザの右目に右目用重畳画像が視認される。これにより、ユーザは画像を立体的に視認することができる。
【００８４】
仮想キャラクタ５１は、仮想空間に配置されたオブジェクトである。図６は、仮想空間上の座標系の定義を示す図である。仮想空間は、マーカ６１の中心を原点としたＸＹＺ座標系（マーカ座標系）によって定義される。マーカ座標系は、マーカ６１の矢印と同じ方向（前方向）にＺ軸、矢印方向を基準として右向き（右方向）にＸ軸、マーカ６１に対して垂直上向き（上方向）にＹ軸が設定される。このように、実空間に配置されたマーカ６１を基準として仮想空間の座標系が定義されることにより、実空間と仮想空間とを対応付けることができる。このようにして定義された仮想空間上に仮想キャラクタ５１が配置される。例えば、仮想キャラクタ５１は、仮想空間の座標系（マーカ座標系）の原点（０，０，０）に配置され、その向き（姿勢）は、Ｘ軸をＹ軸周りに４５度回転させた方向に設定される。
【００８５】
図７は、仮想空間に仮想キャラクタ５１が配置された様子を示す図である。図７に示すように、マーカ座標系の原点には、仮想キャラクタ５１が配置され、当該仮想キャラクタ５１は、仮想空間内に配置された左仮想カメラ５３ａおよび右仮想カメラ５３ｂによって撮像される。左仮想カメラ５３ａは、ユーザの左目で視認される仮想空間の画像を撮像するためのものであり、右仮想カメラ５３ｂは、ユーザの右目で視認される仮想空間の画像を撮像するためのものである。具体的には、左仮想カメラ５３ａのマーカ座標系における位置および姿勢は、実空間の外側撮像部（左）２３ａの位置および姿勢と一致される。また、右仮想カメラ５３ｂのマーカ座標系における位置および姿勢は、実空間の外側撮像部（右）２３ｂの位置および姿勢と一致される。
【００８６】
このようにマーカ６１に基づいて仮想空間が定義され、当該仮想空間に仮想キャラクタ５１が配置された場合において、外側撮像部２３の位置や撮像方向を変化させると、上側ＬＣＤ２２に表示される仮想キャラクタ５１も変化する。図８は、マーカ６１を図５とは反対方向から撮像したときに上側ＬＣＤ２２に表示される画像の一例を示す図である。図８では、ゲーム装置１０（外側撮像部２３）の位置および姿勢を固定して、図５に示すマーカ６１を、その中心を通り当該マーカ６１に垂直な軸の周りに１８０度回転させた場合に、上側ＬＣＤ２２に表示される画像が示されている。あるいは、図８では、図５に示すマーカ６１を固定して、ゲーム装置１０をマーカ６１の中心を通り当該マーカ６１に垂直な軸の周りに１８０度回転させた場合に、上側ＬＣＤ２２に表示される画像が示されている。
【００８７】
図８に示すように、実空間におけるゲーム装置１０（外側撮像部２３）とマーカ６１との位置関係（相対的な位置関係；距離や姿勢）が変化すると、上側ＬＣＤ２２に表示される仮想キャラクタ５１も変化する。具体的には、図５に示すゲーム装置１０とマーカ６１との位置関係では仮想キャラクタ５１の正面が表示されるが、図８に示すゲーム装置１０とマーカ６１との位置関係（図５とは反対方向）では仮想キャラクタ５１の背面が表示される。すなわち、外側撮像部２３の位置や姿勢を変化させると、その変化に応じて、左右の仮想カメラの位置や姿勢も変化する。このため、上側ＬＣＤ２２に表示される仮想キャラクタ５１の見え方も変化する。これにより、仮想キャラクタ５１は、あたかも実空間に存在するマーカ６１の上に実在するかのように見える。
【００８８】
次に、実空間の色や明るさに応じて仮想キャラクタ５１が変化することについて説明する。図９は、実空間の色や明るさに応じて、仮想キャラクタ５１の色や明るさが変化する様子を示す図である。
【００８９】
図９では、実空間が図５に示す場合よりも暗い（実空間の照明あるいは太陽の光が図５よりも弱い）場合を示している。なお、図９における長方形で描かれた「実空間の背景」は、実際にはこのような形状を有する領域ではなく、ゲーム装置１０が存在する空間全体、もしくは、外側撮像部２３の撮像範囲全体を示している。図９に示すように、実空間が比較的暗い場合、実空間に存在するマーカ６１の白色部分（矢印や外周部分）や背景の明るさ（輝度）は低くなる。このような環境でマーカ６１を外側撮像部２３で撮像すると、上側ＬＣＤ２２に表示される実画像は全体的に暗くなるとともに、仮想キャラクタ５１も暗くなる。あるいは、実空間の照明の色が白色ではなく、例えば赤色である場合、外側撮像部２３で撮像された実画像は全体的に赤色を帯びた画像となるとともに、仮想キャラクタ５１も全体的に赤色を帯びた画像となる。このように、実空間の色や明るさに応じて、重畳して表示される仮想キャラクタ５１の色や明るさも変化する。
【００９０】
具体的には、ゲーム装置１０は、外側撮像部２３で撮像した実画像（左目用実画像および右目用実画像のうちの何れか一方）の中から、所定のサンプリング点を抽出し、当該サンプリング点の色情報（ＲＧＢ値）を取得する。次に、取得されたサンプリング点の色情報に基づいて、仮想空間に設定された光源が設定される。そして、取得されたサンプリング点の色情報に基づいて設定された光源で仮想空間内の仮想キャラクタ５１が照らされ、仮想カメラ（左仮想カメラ５３ａおよび右仮想カメラ５３ｂ）で撮像される。
【００９１】
以上のように仮想空間の光源が実画像に基づいて設定されるため、実空間が暗い場合は、仮想キャラクタ５１は暗く表示され、実空間が明るい場合は、仮想キャラクタ５１も明るく表示される。また、実空間の照明が所定の色を帯びている場合、仮想キャラクタ５１も当該所定の色を帯びて表示される。このため、実画像と仮想キャラクタ５１を撮像した画像とを重ね合わせて表示した場合、仮想キャラクタ５１は実画像に馴染み、あたかも仮想キャラクタ５１が実空間に存在するような感覚をユーザに与えることができる。すなわち、例えば、実空間が暗くて実画像が暗く表示されている場合において、仮想キャラクタ５１だけが明るく表示されると、仮想キャラクタ５１が浮いたような画像となり、不自然な画像となる。このため、仮想キャラクタ５１があたかも実空間に存在するような感覚をユーザに与えることができない。しかしながら、本実施形態では、実空間と同様の色や明るさで仮想オブジェクトが表示されるため、自然な表示となる。
【００９２】
（画像処理の詳細）
次に、図１０から図１２を参照して、本実施形態に係る画像処理の詳細について説明する。まず、画像処理の際にメインメモリ３２およびＶＲＡＭ３１３（以下、これらを総称してＲＡＭと呼ぶことがある）に記憶される主なデータについて説明する。図１０は、ゲーム装置１０のＲＡＭのメモリマップを示す図である。図１０に示されるように、ＲＡＭには、画像処理プログラム７１、左目用実画像７２Ｌ、右目用実画像７２Ｒ、仮想キャラクタ情報７３、左仮想カメラ情報７４Ｌ、右仮想カメラ情報７４Ｒ、左仮想オブジェクト画像７５Ｌ、右仮想オブジェクト画像７５Ｒ、色情報配列７６、光源情報７７等が格納される。
【００９３】
画像処理プログラム７１は、後述するフローチャートに示される画像処理を情報処理部３１（ＣＰＵ３１１）に実行させるためのプログラムである。
【００９４】
左目用実画像７２Ｌは、外側撮像部（左）２３ａによって撮像された、実空間を撮像した画像である。
【００９５】
右目用実画像７２Ｒは、外側撮像部（右）２３ｂによって撮像された、実空間を撮像した画像である。
【００９６】
仮想キャラクタ情報７３は、仮想キャラクタ５１に関連する情報である。具体的には、仮想キャラクタ情報７３は、仮想キャラクタ５１の形状を表す３次元モデルデータ（ポリゴンデータ）や、仮想キャラクタ５１の模様をあらわすテクスチャデータ、仮想空間における仮想キャラクタ５１の位置や姿勢の情報を含む。
【００９７】
左仮想カメラ情報７４Ｌは、仮想空間のおける左仮想カメラ５３ａの位置および姿勢を表す情報である。具体的には、左仮想カメラ情報７４Ｌは、左目用実画像におけるマーカ６１の位置および姿勢に基づいて算出される行列である。
【００９８】
右仮想カメラ情報７４Ｒは、仮想空間のおける右仮想カメラ５３ｂの位置および姿勢を表す情報である。具体的には、右仮想カメラ情報７４Ｒは、右目用実画像におけるマーカ６１の位置および姿勢に基づいて算出される行列である。
【００９９】
左仮想オブジェクト画像７５Ｌは、左仮想カメラ５３ａによって仮想キャラクタ５１を撮像した画像である。
【０１００】
右仮想オブジェクト画像７５Ｒは、右仮想カメラ５３ｂによって仮想キャラクタ５１を撮像した画像である。
【０１０１】
色情報配列７６は、実画像（左目用実画像または右目用実画像）における所定のサンプリング点の色情報（ＲＧＢ値）の集合である。実画像は、１フレーム（例えば１／３０秒又は１／６０秒。フレーム時間という）毎に取得される。ゲーム装置１０は、実画像が取得されると、実画像から上記色情報を算出する。ゲーム装置１０は、各フレームで算出した色情報を色情報配列７６に時系列に格納する。すなわち、色情報配列７６には、過去所定数フレーム分の色情報が含まれる。
【０１０２】
光源情報７７は、仮想空間の光源のパラメータ（光源の色および明るさを示す複数のパラメータ）に関する情報である。
【０１０３】
（メインフローの説明）
次に、本実施形態に係る画像処理の詳細について、図１１から図１３を参照して説明する。図１１は、本実施形態に係る画像処理の詳細を示すメインフローチャートである。ゲーム装置１０の電源が投入されると、ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ３２等の各ユニットが初期化される。次に、不揮発性メモリ（外部メモリ４４等；コンピュータ読み取り可能な記憶媒体）に記憶された画像処理プログラムがＲＡＭ（具体的には、メインメモリ３２）に読み込まれ、情報処理部３１のＣＰＵ３１１によって当該プログラムの実行が開始される。図１１のフローチャートに示す処理は、以上の処理が完了した後に情報処理部３１（ＣＰＵ３１１又はＧＰＵ３１２）によって行われる。なお、図１１では、本発明に直接関連しない処理については記載を省略する。また、図１１に示すステップＳ１〜ステップＳ９の処理ループは、１フレーム毎に繰り返し実行される。
【０１０４】
まず、ステップＳ１において、情報処理部３１は、実カメラ画像を取得する。具体的には、情報処理部３１は、外側撮像部２３に対して、画像を撮像するための命令を送信する。当該命令に応じて外側撮像部（左）２３ａは左目用実画像７２Ｌを、外側撮像部（右）２３ｂは右目用実画像７２Ｒを撮像する。そして、情報処理部３１は、撮像された２つの画像（左目用実画像７２Ｌおよび右目用実画像７２Ｒ）を取得し、ＲＡＭに記憶する。次に、情報処理部３１は、ステップＳ２の処理を実行する。
【０１０５】
ステップＳ２において、情報処理部３１は、マーカ認識処理を実行する。マーカ認識処理は、ステップＳ１で取得した左目用実画像７２Ｌおよび右目用実画像７２Ｒを用いて、２つの画像に含まれるマーカ６１を認識する処理である。マーカ認識処理においては、マーカの認識結果に応じて、仮想カメラ（左仮想カメラ５３ａおよび右仮想カメラ５３ｂ）が仮想空間に設定される。マーカ認識処理の詳細については、後述する。マーカ認識処理の後、情報処理部３１は、次にステップＳ３の処理を実行する。
【０１０６】
ステップＳ３において、情報処理部３１は、取得した画像における複数のサンプリング点の色情報を取得する。具体的には、情報処理部３１は、左目用実画像７２Ｌおよび右目用実画像７２Ｒの何れか一方の画像を用いて、予め定められた全てのサンプリング点（１又は複数の画素によって表わされる点）を抽出し、当該抽出したサンプリング点の色情報（ＲＧＢ値）を取得する。ここで、サンプリング点は、図１３に示すように、マーカ６１の白色の領域における予め定められた点である。図１３は、マーカ６１を真上から見た場合のマーカ６１のサンプリング点を示す図である。図１３においては、８つのサンプリング点が示されており、ステップＳ３においてはこれら全てのサンプリング点が抽出されて、各サンプリング点の色情報が取得される。なお、サンプリングの数はいくつでもよく、例えば、１点でもよいし、１６点でもよい。情報処理部３１は、次にステップＳ４の処理を実行する。
【０１０７】
ステップＳ４において、情報処理部３１は、サンプリング点の平均色を算出する。具体的には、情報処理部３１は、取得したサンプリング点のＲＧＢ値に基づいて、全サンプリング点の平均色（平均のＲＧＢ値）を算出し、色情報配列７６に格納する。情報処理部３１は、次にステップＳ５の処理を実行する。
【０１０８】
ステップＳ５において、情報処理部３１は、過去所定数フレームとの平均色を算出する。具体的には、情報処理部３１は、ステップＳ４で算出されたＲＧＢ値と、過去所定数（例えば数十）フレームにおいてステップＳ４で算出されたＲＧＢ値（色情報配列７６に格納されている）とに基づいて、さらに平均色（ＲＧＢ値）を算出する。情報処理部３１は、次にステップＳ６の処理を実行する。
【０１０９】
ステップＳ６において、情報処理部３１は、色情報の調整を行う。ここで、情報処理部３１は、ステップＳ５で算出された平均色（ＲＧＢ値）に所定の演算を行う（例えば、予め定められた値をかける）ことにより、ステップＳ５で算出された平均色を調整する。情報処理部３１は、次にステップＳ７の処理を実行する。
【０１１０】
ステップＳ７において、情報処理部３１は、光源の設定を行う。具体的には、情報処理部３１は、ステップＳ７で調整した色情報に基づいて、仮想空間の光源（点光源または平行光源）のパラメータを設定し、光源情報７７としてＲＡＭに記憶する。光源のパラメータは、光源の色やその明るさ等を示すパラメータであって、画面全体に均一な影響を与えるパラメータや仮想キャラクタのマテリアルと相互作用して表示に影響を与えるパラメータである。情報処理部３１は、次にステップＳ８の処理を実行する。
【０１１１】
ステップＳ８において、情報処理部３１は、仮想オブジェクト画像生成処理を実行する。ここでは、仮想空間に存在する仮想キャラクタ５１が、ステップＳ７で設定された光源によって照らされて、左右の仮想カメラによって撮像される。具体的には、情報処理部３１は、仮想空間を左仮想カメラ５３ａで撮像することによって左仮想オブジェクト画像７５Ｌを生成して、ＲＡＭに格納する。また、情報処理部３１は、仮想空間を右仮想カメラ５３ｂで撮像することによって右仮想オブジェクト画像７５Ｒを生成して、ＲＡＭに格納する。上記のようにして算出された平均色に基づいて仮想空間の光源のパラメータが設定されることにより、例えば、算出された平均色が比較的暗い場合は、仮想キャラクタ５１は暗く表示され、算出された平均色が赤色であれば、仮想キャラクタ５１は赤色に表示される。情報処理部３１は、次にステップＳ９の処理を実行する。
【０１１２】
ステップＳ９において、情報処理部３１は、出力処理を実行する。出力処理が実行されることによって、上側ＬＣＤ２２に立体視可能な画像が表示される。具体的には、情報処理部３１は、ステップＳ１で取得した実カメラ画像とステップＳ８で生成した仮想オブジェクト画像とを重ね合わせた重畳画像を生成する。具体的には、情報処理部３１は、左目用実画像７２Ｌと左仮想オブジェクト画像７５Ｌとを重ね合わせた左目用重畳画像を生成し、右目用実画像７２Ｒと右仮想オブジェクト画像７５Ｒとを重ね合わせた右目用重畳画像を生成する。そして、情報処理部３１は、生成した２つの重畳画像を上側ＬＣＤ２２に出力する。上側ＬＣＤ２２に表示された左目用重畳画像は視差バリアを介してユーザの左目で視認され、右目用重畳画像は視差バリアを介してユーザの右目で視認される。これにより、ユーザは立体感のある画像を視認することができる。
【０１１３】
なお、ステップＳ２において、左目用実画像７２Ｌおよび右目用実画像７２Ｒの何れか一方（双方でもよい）に、上記マーカが検出されない場合は、ステップＳ３〜Ｓ８の処理は実行されず、ステップＳ９の処理が実行される。この場合、ステップＳ９において、ステップ１で取得された左右の実画像に、マーカが検出されていないことを示すメッセージが重畳されて、上側ＬＣＤ２２に表示される。
【０１１４】
（マーカ認識処理の説明）
次に、上記マーカ認識処理の詳細について説明する。図１２は、マーカ認識処理（ステップＳ２）の詳細を示すフローチャートである。
【０１１５】
ステップＳ２１において、情報処理部３１は、実カメラとマーカとの位置関係を算出する。具体的には、情報処理部３１は、まず、パターンマッチング手法等によって左目用実画像７２Ｌにマーカが含まれているか否かを判定する。そして、情報処理部３１は、左目用実画像７２Ｌに含まれるマーカの当該左目用実画像７２Ｌにおける位置や大きさ、形状、および、マーカの矢印の方向等に基づいて、外側撮像部（左）２３ａと実空間に存在するマーカ６１との位置関係を算出する。ここで、外側撮像部（左）２３ａとマーカ６１との位置関係とは、マーカ６１および外側撮像部（左）２３ａの何れか一方を基準とした場合の他方の３次元の位置および姿勢である。すなわち、上記位置関係は、マーカ６１に対する外側撮像部（左）２３ａの相対的な位置および姿勢である。同様に、情報処理部３１は、右目用実画像７２Ｒを用いて、外側撮像部（右）２３ｂと実空間に存在するマーカ６１との位置関係を算出する。ここでは、マーカ６１を基準とした外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂの相対的な位置および姿勢が行列としてそれぞれ算出される。
【０１１６】
より具体的には、ステップＳ２１においては、マーカの認識結果に基づいて、マーカ座標系が設定されるとともに、マーカ６１と外側撮像部（左）２３ａとの位置関係が算出される（図７参照）。マーカ座標系の原点は、マーカ６１の中心に設定される。また、マーカ座標系のＺ軸は、マーカ６１の矢印の方向と平行に設定され（マーカ６１の長辺と平行に設定され）、マーカ座標系のＸ軸は、マーカ６１の短辺と平行であって、マーカの矢印の方向を基準として右向きに設定される。また、マーカ座標系のＹ軸は、マーカ６１に対して垂直上向きに設定される（長方形のマーカ６１の上向きの法線方向に設定される）。マーカ座標系は、仮想空間を定義する座標系であり、実空間と仮想空間とを対応付ける。すなわち、マーカ座標系における原点は、仮想空間の原点であって、実空間におけるマーカ６１の中心でもある。
【０１１７】
そして、マーカ６１に対する外側撮像部（左）２３ａの相対的な位置および姿勢が行列として算出される。同様に、マーカ６１に対する外側撮像部（右）２３ｂの相対的な位置および姿勢が行列として算出される。なお、外側撮像部（左）２３ａおよび外側撮像部（右）２３ｂは、これらの撮像方向が平行で、かつ、撮像方向に対して回転しないようにして配設されている。すなわち、外側撮像部（左）２３ａの姿勢と外側撮像部（右）２３ｂの姿勢とは常に一致する。また、外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、所定の間隔で配置されている。このため、例えば、左目用実画像７２Ｌに基づいて外側撮像部（左）２３ａの位置および姿勢が算出されると、右目用実画像７２Ｒを用いなくても、外側撮像部（右）２３ｂの位置および姿勢は算出可能である。ステップＳ２１の後、情報処理部３１は、次にステップＳ２２の処理を実行する。
【０１１８】
ステップＳ２２において、情報処理部３１は、左右の仮想カメラの位置および姿勢を決定する。ここでは、左右の仮想カメラの位置および姿勢は、外側撮像部２３の位置および姿勢と一致する。すなわち、左仮想カメラ５３ａの仮想空間における位置および姿勢は、外側撮像部（左）２３ａの位置および姿勢と一致するように設定される。また、右仮想カメラ５３ｂの仮想空間における位置および姿勢は、外側撮像部（右）２３ｂの位置および姿勢と一致するように設定される。具体的には、左仮想カメラ５３ａの位置および姿勢は、行列（左ビュー行列）として表され、ステップＳ２１で算出された外側撮像部（左）２３ａの位置および姿勢を表す行列が、左仮想カメラ情報７４ＬとしてＲＡＭに保存される。同様に、右仮想カメラ５３ｂの位置および姿勢は、行列（右ビュー行列）として表され、ステップＳ２１で算出された外側撮像部（右）２３ｂの位置および姿勢を表す行列が、右仮想カメラ情報７４ＲとしてＲＡＭに保存される。なお、上述のように外側撮像部（左）２３ａの姿勢と外側撮像部（右）２３ｂの姿勢とは常に一致するため、左仮想カメラ５３ａの姿勢および右仮想カメラ５３ｂの姿勢も一致する。
【０１１９】
以上のように、本実施形態では、実画像における所定の点の色情報が取得されて、当該取得された色情報に基づいて、仮想空間の光源のパラメータ（光源の色または明るさに関するパラメータ）が設定される。設定された光源によって仮想キャラクタが照らされて、仮想カメラによって撮像される。そして、仮想カメラによって撮像された仮想キャラクタが実画像に重畳されて表示される。これにより、実空間の環境に応じて仮想キャラクタの表示が変化するため、仮想キャラクタの表示が自然となる。また、仮想空間が実空間と対応されて設定される。そして、仮想カメラが実カメラ（外側撮像部２３）の位置および姿勢と一致して設定されるため、仮想空間に存在する仮想キャラクタが、あたかも実空間に存在するかのような感覚をユーザに与えることができる。
【０１２０】
また、本実施形態では、マーカ６１の白色領域の点をサンプリング点として抽出し、当該点の色情報を取得した。これにより、実環境の色や明るさをより正確に認識することができる。例えば、マーカ６１以外の任意の特定対象物について色情報を取得しても、当該特定対象物の元来の色（白色光を当てた時の色）が既知でなければ、どのような色の光が当該特定対象物に当たったのかを判別し難い。しかしながら、本実施形態では、既知の色、特に白色部分の色情報を取得するため、当該部分に当たった光の色や明るさを正確に知ることができる。
【０１２１】
また、本実施形態では、複数のサンプリング点の色情報を取得し、平均色を算出した。これにより、マーカ６１の一部に他の物体が存在する場合や特定の光が照射された場合であっても、実環境の光を取得する際のこれらの影響を小さくすることができる。例えば、マーカ６１上の１点のみを抽出する場合において、当該点にユーザの指がかかっている場合や当該点（当該点付近）にのみ有色の光が当たっている場合は、その点の色情報に基づいて仮想光源が設定されるため、仮想キャラクタは不自然な表示となる。しかしながら、本実施形態では、複数の点を抽出して平均色を算出するため、このような不自然な表示とはならない。
【０１２２】
また、本実施形態では、今回のフレームで算出した色情報と、過去所定数フレームで算出した色情報との平均色が算出されて、光源が設定される。このため、算出された平均色が急激に変化した場合であっても、表示される仮想キャラクタの色や明るさが急激に変化することがなく、また、誤差や誤認識による影響を小さくすることができ、自然な表示となる。
【０１２３】
また、本実施形態では、仮想キャラクタ５１は、サンプリング点の近傍に配置されて、表示された。例えば、仮想キャラクタが表示される位置とサンプリング点の位置とが異なる場合において、実環境において仮想キャラクタが表示される位置にスポットライトが当たっており、サンプリング点にスポットライトが当たっていない場合、仮想キャラクタは暗く表示されて、不自然な表示となる。しかしながら、本実施形態では、仮想キャラクタが表示される近傍の実空間の点をサンプリング点として抽出することにより、不自然な表示にならない。
【０１２４】
（変形例）
なお、本実施形態では、仮想オブジェクトとして人を模した仮想キャラクタを仮想空間に配置した。他の実施形態では、仮想オブジェクトは、どのようなオブジェクトであってもよく、例えば、動物を模したオブジェクト、植物を模したオブジェクト、ロボットのオブジェクト等であってもよい。
【０１２５】
また、本実施形態では、立体視可能な画像を表示するため、外側撮像部２３によって左右の実画像を取得し、仮想カメラによって左右の画像を取得した。他の実施形態では、実カメラによって撮像した１つの実画像に、仮想カメラによって撮像した１つの画像を重ね合わせることにより、平面画像を表示してもよい。
【０１２６】
また、本実施形態では、マーカ６１を認識することによって、実空間と対応した仮想空間を設定し（マーカ６１上にマーカ座標系を設定し）、仮想カメラを実カメラ（外側撮像部２３）の位置および姿勢に一致するように設定した。これにより、仮想空間に配置された仮想オブジェクトがあたかも実空間に存在するかのような感覚（拡張現実感）をユーザに与えた。他の実施形態では、実カメラによって撮像された実画像に、仮想オブジェクトを単に重畳表示するだけでもよい。すなわち、他の実施形態では、仮想空間は必ずしも実空間と対応されて設定される必要はない。実カメラによって撮像された実画像の一部を抽出して色情報を取得し、取得した色情報に基づいて仮想の光源が設定され、当該光源で照らされた仮想オブジェクトを実画像に重畳表示することにより、仮想オブジェクトの画像が実画像に馴染み、自然な表示となる。
【０１２７】
また、本実施形態では、マーカ６１を用いて仮想空間を設定するとともに、マーカ６１の所定点を抽出して色情報を取得したが、他の実施形態では、マーカ６１とは異なる特定対象物の所定点を抽出して色情報を取得してもよい。すなわち、仮想空間を設定するために用いられるマーカと、色情報を取得するために用いられる特定対象物とは、異なるものであってもよい。
【０１２８】
また、本実施形態では、実画像に含まれるマーカ６１の白色領域をサンプリング点として抽出し、色情報を取得したが、他の実施形態では、マーカ６１の所定の色で塗りつぶされた領域を抽出し、色情報を取得してもよい。また、他の実施形態では、マーカではなく、実画像の他の任意の領域の少なくとも１つの画素を抽出して、色情報を取得してもよい。例えば、実空間に配置された所定の色の紙を外側撮像部２３で撮像して当該紙の上に仮想オブジェクトを表示する場合、実空間の照明の光が白色であっても、仮想オブジェクトが上記紙と同系色で表示される方が、自然に見えることがある。
【０１２９】
また、本実施形態では、複数のサンプリング点の色情報を取得して、平均色を算出し、当該平均色に基づいて、仮想光源の色に関するパラメータ（色および明るさを含む）を設定した。他の実施形態では、複数のサンプリング点を抽出して、例えば、明度が最も高い点の色情報を取得し、当該取得した色情報に基づいて仮想光源が設定されてもよい。すなわち、例えば、実カメラで撮像された実画像における最も明るい領域の色情報に基づいて、仮想光源が設定されてもよい。
【０１３０】
また、本実施形態では、実画像の所定点の色情報に基づいて、仮想光源のパラメータ（色や明るさに関するパラメータ）が設定された。他の実施形態では、仮想光源の色や明るさに関するパラメータのみならず、仮想光源の位置や光源の種類等が、上記実画像の色情報に基づいて設定されてもよい。例えば、実カメラによって撮像された画像において、特定の明るい領域が存在する場合、当該領域に所定の方向からスポットライトが当っていると推定することができる。さらに、その領域の形状に基づいて、スポットライトの方向を推定することができる（例えば、明るい領域の実空間における形状が円であれば真上から、明るい領域の実空間における形状が楕円であれば斜めからスポットライトが当てられていると推定することができる）。また、例えば、マーカ６１の周辺に立体的な物体が撮像されている場合、当該物体の大きさおよび当該物体によってできる影の大きさに基づいて、実空間の照明の位置（光が照射される方向）を推定することができる。すなわち、実カメラによって撮像された実画像の中の画素の色情報を取得し、取得した色情報に基づいて、仮想光源の位置や種類、色、明るさ等を設定してもよい。
【０１３１】
また、本実施形態では、過去所定数フレームで算出された色情報と、現在のフレームで算出された色情報との平均色を算出し、当該平均色に基づいて光源のパラメータが設定された。他の実施形態では、過去所定数フレームで算出された色情報と、現在のフレームで算出された色情報とに基づいて、光源のパラメータが設定されてもよい。すなわち、必ずしも現在のフレームで算出された色情報と過去数フレームで算出された色情報との平均色が算出される必要はない。例えば、現在のフレームで算出された色情報と過去所定数フレームで算出された色情報とを比較して、その差が所定の閾値未満であれば、現在のフレームで算出された色情報を用いて、光源のパラメータが設定されてもよい。また、過去所定数フレームで算出された色情報と、現在のフレームで算出された色情報とを用いて所定の演算を行い（例えば、加重平均等）、当該演算結果に基づいて光源のパラメータが設定されてもよい。
【０１３２】
また、本実施形態では、左目用実画像および右目用実画像の何れかを用いて色情報を取得したが、他の実施形態では、左目用実画像および右目用実画像の双方を用いて色情報を取得してもよい。例えば、左目用実画像を用いて仮想光源を設定し、当該左目用実画像を用いて設定された仮想光源で照らされた仮想オブジェクトを左仮想カメラで撮像するとともに、右目用実画像を用いて仮想光源を設定し、当該右目用実画像を用いて設定された仮想光源で照らされた仮想オブジェクトを右仮想カメラで撮像してもよい。
【０１３３】
また、本実施形態では、色情報としてＲＧＢ値を取得したが、取得する色情報は、明るさ（明度）のみであってもよい。例えば、ＲＧＢ値のうち、最大明度が取得されてもよい。また、本実施形態では、仮想光源の色および明るさが設定されたが、他の実施形態では、仮想光源の色が固定（例えば、白色）されて、明るさのみが設定されてもよい。
【０１３４】
また、本実施形態では、実カメラ（外側撮像部２３）で撮像した実画像に基づいて、実空間の光の色や明るさ等を推定して、仮想光源の色や明るさ等を設定した。他の実施形態では、実空間の照明環境（光の色や明るさ）に関する情報を他の手段（例えば、光センサ等）によって取得し、当該取得した情報に基づいて、仮想光源を設定してもよい。すなわち、実空間の色や明るさに関する情報は、上述のように実画像に基づいて取得されてもよいし、光センサ等の他の検出手段の検出結果に基づいて取得されてもよい。
【０１３５】
また、本実施形態では、マーカ６１を外側撮像部２３で撮像することによって、外側撮像部２３とマーカ６１との位置関係（相対的な位置および姿勢）を算出した。そして、算出した位置関係に基づいて、仮想空間（マーカ座標系）を定義した。他の実施形態では、マーカ６１に限らず、他の物体を撮像画像から認識して、上記位置関係が算出されてもよい。例えば、実空間に存在する所定の物体（例えば、実空間に存在する椅子やテーブル等でもよい）をパターンマッチング等の画像認識により検出し、上記位置関係が算出されて、仮想空間が定義されてもよい。すなわち、他の実施形態では、実空間に存在する特定対象物（上記マーカや所定の物体）を撮像画像から認識して、当該特定対象物と外側撮像部２３との位置関係が算出されてもよい。また、特定対象物は、実カメラによって撮像された画像に基づいて認識されず、他の認識手段（例えば、超音波センサ等でもよい）によって認識されてもよい。
【０１３６】
また、他の実施形態では、ＧＰＳや加速度センサ、角速度センサ、地磁気センサ等によって、実カメラの位置および姿勢が検出されてもよい。そして、検出された位置および姿勢に基づいて、仮想空間内の仮想カメラの位置および姿勢が設定され、実カメラで撮像した画像と仮想カメラで仮想空間を撮像した画像とを重畳してもよい。例えば、実空間に対応した仮想空間の所定の位置に仮想オブジェクトが配置され、当該仮想空間の所定の位置に対応する実空間の位置を所定の方向から実カメラで撮像してもよい。この場合、ＧＰＳや姿勢検出手段（加速度センサや角速度センサ、地磁気センサ等）によって実カメラの位置および姿勢を検出することができ、当該実カメラの位置および姿勢に一致するように仮想空間に仮想カメラを設定することができる。このようにして実カメラで撮像された画像と仮想カメラで撮像された画像とを重ね合わせることにより、実空間のその位置に仮想オブジェクトが存在するような写真を撮影することができる。
【０１３７】
また、本実施形態では、ビデオシースルー方式を用いて拡張現実感を実現した。すなわち、本実施形態では、外側撮像部２３によって撮像された画像と、仮想カメラ（左右の仮想カメラ）によって撮像された画像とが重ね合わされて重畳画像が生成され、当該重畳画像が上側ＬＣＤ２２に表示された。他の実施形態では、光学シースルー方式により拡張現実感を実現してもよい。例えば、実空間に配置されたマーカを検出するためのカメラを備えたヘッドマウンドディスプレイをユーザが装着し、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して実空間を視認できるようになっている。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。さらに、このディスプレイ部は液晶表示装置等を備え、この液晶表示装置等にコンピュータにより生成した仮想オブジェクトの画像を表示させ、この液晶表示装置からの光をハーフミラー等で反射させてユーザの網膜に導くことができるようになっている。すなわち、上記ディスプレイ部は、仮想オブジェクトを撮像した画像が表示される表示画面にもなるし、現実空間を透過するメガネのレンズにもなる。これにより、ユーザは、現実空間と仮想オブジェクトの画像とが重ね合わせられた像を視認することができる。このように、レンズを介して透過される実空間に、仮想オブジェクトを仮想カメラで撮像した画像が重ね合わされてもよいし、実空間を実カメラで撮像した実画像に仮想オブジェクトを仮想カメラで撮像した画像が重ね合わされてもよい。すなわち、画面上で視認可能な実空間（画面に表示された実画像中の実空間、または、画面を透過して視認される実空間）に重ね合わせてユーザに視認されるように、仮想オブジェクトが表示されてもよい。なお、ヘッドマウンドディスプレイに備えられたカメラは仮想光源を設定するために用いられ、設定された光源に応じて仮想オブジェクトの画像が生成される。
【０１３８】
また、他の実施形態では、上述した撮影処理の方法は、ゲーム装置に限らず任意の電子機器、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や高機能携帯電話、カメラ（装置としてのカメラ）等に適用されてもよい。
【０１３９】
また、本実施形態では、表示装置として裸眼で立体視画像を表示可能なＬＣＤが用いられた。他の実施形態では、時分割方式や偏向方式、アナグリフ方式（赤青眼鏡方式）などの眼鏡を用いて立体表示を行うような場合でも、本発明は適用可能である。
【０１４０】
また、他の実施形態では、有線や無線等で通信可能に接続された複数の情報処理装置が各処理を分担して処理することにより、上述した画像処理方法を実現する画像処理システムとして構築されてもよい。例えば、外側撮像部２３が情報処理装置と分離された構成であって、外側撮像部２３が情報処理装置に無線等で接続されてもよい。また、情報処理装置と表示装置が分離された構成で、互いに接続されてもよい。また、外側撮像部２３の位置および姿勢が情報処理装置と分離した検出手段によって検出され、当該検出結果が情報処理装置に送信されてもよい。
【０１４１】
また、上記実施形態においては、ゲーム装置１０の情報処理部３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施形態においては、上記処理の一部又は全部は、ゲーム装置１０が備える専用回路によって行われてもよい。
【０１４２】
また、上記画像処理プログラムは、上記メモリに限らず、光ディスクや磁気ディスク等、コンピュータ読み取り可能な記憶媒体に記憶されてゲーム装置１０に提供されてもよい。また、例えば、ネットワーク上のサーバのＲＡＭに上記画像処理プログラムが記憶され、ゲーム装置１０が当該ネットワークに接続されて、当該画像処理プログラムがゲーム装置１０に提供されてもよい。
【符号の説明】
【０１４３】
１０ ゲーム装置
１１ 下側ハウジング
１２ 下側ＬＣＤ
１３ タッチパネル
１４ 操作ボタン
１５ アナログスティック
１６ ＬＥＤ
２１ 上側ハウジング
２２ 上側ＬＣＤ
２３ 外側撮像部
２３ａ 外側撮像部（左）
２３ｂ 外側撮像部（右）
２４ 内側撮像部
２５ ３Ｄ調整スイッチ
２６ ３Ｄインジケータ
２８ タッチペン
３１ 情報処理部
３１１ ＣＰＵ
３１２ ＧＰＵ
３２ メインメモリ
５１ 仮想キャラクタ
５３ａ 左仮想カメラ
５３ｂ 右仮想カメラ
６１ マーカ
【特許請求の範囲】
【請求項１】
実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置のコンピュータを、
前記実カメラにより撮像された実空間を示す実画像を取得する実画像取得手段、
前記実画像取得手段によって取得された実画像の少なくとも１つの画素の色情報を取得する色情報取得手段、
前記色情報取得手段により取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定手段、
前記光源設定手段によって設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成手段、および、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成手段により生成されたオブジェクト画像を前記表示装置に表示させる表示制御手段として機能させる、画像処理プログラム。
【請求項２】
前記実画像取得手段によって取得された実画像から、色が既知の特定対象物を検出する検出手段として、前記コンピュータを更に機能させ、
前記色情報取得手段は、前記検出手段により検出された特定対象物に対応する画像の少なくとも１つの画素の色情報を取得する、請求項１に記載の画像処理プログラム。
【請求項３】
前記色情報取得手段は、前記検出手段により検出された特定対象物に対応する画像の複数の点の色情報を取得して、取得した色情報の平均値を算出し、
前記光源設定手段は、前記色情報取得手段により算出された平均値に基づいて、前記パラメータを設定する、請求項２に記載の画像処理プログラム。
【請求項４】
前記色情報取得手段は、前記特定対象物の中で他の部分より明度が高い部分に対応する画像の少なくとも１つの画素の色情報を取得する、請求項２又は３に記載の画像処理プログラム。
【請求項５】
前記表示制御手段は、前記特定対象物の上またはその近傍に前記オブジェクトが表示されるように、前記オブジェクト画像を前記表示装置に表示させる、請求項２から４の何れかに記載の画像処理プログラム。
【請求項６】
前記実空間における前記実カメラの位置および姿勢に応じた位置姿勢情報を取得する位置姿勢情報取得手段、および、
前記仮想空間内において、前記位置姿勢情報取得手段によって取得された位置姿勢情報に応じて仮想カメラの位置および姿勢を設定する仮想カメラ設定手段、として前記コンピュータを更に機能させ、
前記オブジェクト画像生成手段は、前記光源設定手段により前記パラメータを設定した光源で照らされた前記オブジェクトを、前記仮想カメラ設定手段によって設定された前記仮想カメラで撮像して、前記オブジェクト画像を生成する、請求項１に記載の画像処理プログラム。
【請求項７】
前記検出手段により検出された特定対象物と前記実カメラとの相対的な位置および姿勢を算出する算出手段、および、
前記算出手段による算出結果に応じて、前記仮想カメラの前記仮想空間内における位置および姿勢を設定する仮想カメラ設定手段、として前記コンピュータを更に機能させ、
前記オブジェクト画像生成手段は、前記光源設定手段により前記パラメータを設定した光源で照らされた前記オブジェクトを、前記仮想カメラ設定手段によって設定された前記仮想カメラで撮像して、前記オブジェクト画像を生成する、請求項２から５の何れかに記載の画像処理プログラム。
【請求項８】
前記色情報取得手段が取得した色情報を記憶する記憶手段として、前記コンピュータを更に機能させ、
前記色情報取得手段は、前記記憶手段に記憶された過去の色情報と現在の色情報とを取得し、
前記光源設定手段は、前記色情報取得手段により取得された過去の色情報および現在の色情報に基づいて、前記パラメータを設定する、請求項１から７の何れかに記載の画像処理プログラム。
【請求項９】
前記色情報取得手段は、前記記憶手段に記憶された過去の色情報と現在の色情報とを取得して、取得した色情報の平均値を算出し、
前記光源設定手段は、前記色情報取得手段により算出された平均値に基づいて、前記パラメータを設定する、請求項８に記載の画像処理プログラム。
【請求項１０】
実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置のコンピュータを、
前記実カメラにより撮像された実空間を示す実画像を取得する実画像取得手段、
前記実空間の色及び／又は明るさに関する情報を取得する環境情報取得手段、
前記環境情報取得手段により取得された情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定手段、
前記光源設定手段によって設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成手段、および、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成手段により生成されたオブジェクト画像を前記表示装置に表示させる表示制御手段として機能させる、画像処理プログラム。
【請求項１１】
実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置であって、
前記実カメラにより撮像された実空間を示す実画像を取得する実画像取得手段と、
前記実画像取得手段によって取得された実画像の少なくとも１つの画素の色情報を取得する色情報取得手段と、
前記色情報取得手段により取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定手段と、
前記光源設定手段によって設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成手段と、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成手段により生成されたオブジェクト画像を前記表示装置に表示させる表示制御手段とを備える、画像処理装置。
【請求項１２】
実空間を撮像する実カメラと、
画面上で実空間を視認可能とする表示装置と、
前記実カメラにより撮像された実空間を示す実画像を取得する実画像取得手段と、
前記実画像取得手段によって取得された実画像の少なくとも１つの画素の色情報を取得する色情報取得手段と、
前記色情報取得手段により取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定手段と、
前記光源設定手段によって設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成手段と、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成手段により生成されたオブジェクト画像を前記表示装置に表示させる表示制御手段とを備える、画像処理システム。
【請求項１３】
画面上で実空間を視認可能とする表示装置に画像を表示させる画像処理方法であって、
実空間を撮像する実カメラにより撮像された実画像を取得する実画像取得ステップと、
前記実画像取得ステップで取得された実画像の少なくとも１つの画素の色情報を取得する色情報取得ステップと、
前記色情報取得ステップで取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定ステップと、
前記光源設定ステップで設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成ステップと、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成ステップで生成されたオブジェクト画像を前記表示装置に表示させる表示制御ステップとを備える、画像処理方法。
【請求項１】
実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置のコンピュータを、
前記実カメラにより撮像された実空間を示す実画像を取得する実画像取得手段、
前記実画像取得手段によって取得された実画像の少なくとも１つの画素の色情報を取得する色情報取得手段、
前記色情報取得手段により取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定手段、
前記光源設定手段によって設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成手段、および、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成手段により生成されたオブジェクト画像を前記表示装置に表示させる表示制御手段として機能させる、画像処理プログラム。
【請求項２】
前記実画像取得手段によって取得された実画像から、色が既知の特定対象物を検出する検出手段として、前記コンピュータを更に機能させ、
前記色情報取得手段は、前記検出手段により検出された特定対象物に対応する画像の少なくとも１つの画素の色情報を取得する、請求項１に記載の画像処理プログラム。
【請求項３】
前記色情報取得手段は、前記検出手段により検出された特定対象物に対応する画像の複数の点の色情報を取得して、取得した色情報の平均値を算出し、
前記光源設定手段は、前記色情報取得手段により算出された平均値に基づいて、前記パラメータを設定する、請求項２に記載の画像処理プログラム。
【請求項４】
前記色情報取得手段は、前記特定対象物の中で他の部分より明度が高い部分に対応する画像の少なくとも１つの画素の色情報を取得する、請求項２又は３に記載の画像処理プログラム。
【請求項５】
前記表示制御手段は、前記特定対象物の上またはその近傍に前記オブジェクトが表示されるように、前記オブジェクト画像を前記表示装置に表示させる、請求項２から４の何れかに記載の画像処理プログラム。
【請求項６】
前記実空間における前記実カメラの位置および姿勢に応じた位置姿勢情報を取得する位置姿勢情報取得手段、および、
前記仮想空間内において、前記位置姿勢情報取得手段によって取得された位置姿勢情報に応じて仮想カメラの位置および姿勢を設定する仮想カメラ設定手段、として前記コンピュータを更に機能させ、
前記オブジェクト画像生成手段は、前記光源設定手段により前記パラメータを設定した光源で照らされた前記オブジェクトを、前記仮想カメラ設定手段によって設定された前記仮想カメラで撮像して、前記オブジェクト画像を生成する、請求項１に記載の画像処理プログラム。
【請求項７】
前記検出手段により検出された特定対象物と前記実カメラとの相対的な位置および姿勢を算出する算出手段、および、
前記算出手段による算出結果に応じて、前記仮想カメラの前記仮想空間内における位置および姿勢を設定する仮想カメラ設定手段、として前記コンピュータを更に機能させ、
前記オブジェクト画像生成手段は、前記光源設定手段により前記パラメータを設定した光源で照らされた前記オブジェクトを、前記仮想カメラ設定手段によって設定された前記仮想カメラで撮像して、前記オブジェクト画像を生成する、請求項２から５の何れかに記載の画像処理プログラム。
【請求項８】
前記色情報取得手段が取得した色情報を記憶する記憶手段として、前記コンピュータを更に機能させ、
前記色情報取得手段は、前記記憶手段に記憶された過去の色情報と現在の色情報とを取得し、
前記光源設定手段は、前記色情報取得手段により取得された過去の色情報および現在の色情報に基づいて、前記パラメータを設定する、請求項１から７の何れかに記載の画像処理プログラム。
【請求項９】
前記色情報取得手段は、前記記憶手段に記憶された過去の色情報と現在の色情報とを取得して、取得した色情報の平均値を算出し、
前記光源設定手段は、前記色情報取得手段により算出された平均値に基づいて、前記パラメータを設定する、請求項８に記載の画像処理プログラム。
【請求項１０】
実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置のコンピュータを、
前記実カメラにより撮像された実空間を示す実画像を取得する実画像取得手段、
前記実空間の色及び／又は明るさに関する情報を取得する環境情報取得手段、
前記環境情報取得手段により取得された情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定手段、
前記光源設定手段によって設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成手段、および、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成手段により生成されたオブジェクト画像を前記表示装置に表示させる表示制御手段として機能させる、画像処理プログラム。
【請求項１１】
実空間を撮像する実カメラと画面上で実空間を視認可能とする表示装置とに接続される画像処理装置であって、
前記実カメラにより撮像された実空間を示す実画像を取得する実画像取得手段と、
前記実画像取得手段によって取得された実画像の少なくとも１つの画素の色情報を取得する色情報取得手段と、
前記色情報取得手段により取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定手段と、
前記光源設定手段によって設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成手段と、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成手段により生成されたオブジェクト画像を前記表示装置に表示させる表示制御手段とを備える、画像処理装置。
【請求項１２】
実空間を撮像する実カメラと、
画面上で実空間を視認可能とする表示装置と、
前記実カメラにより撮像された実空間を示す実画像を取得する実画像取得手段と、
前記実画像取得手段によって取得された実画像の少なくとも１つの画素の色情報を取得する色情報取得手段と、
前記色情報取得手段により取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定手段と、
前記光源設定手段によって設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成手段と、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成手段により生成されたオブジェクト画像を前記表示装置に表示させる表示制御手段とを備える、画像処理システム。
【請求項１３】
画面上で実空間を視認可能とする表示装置に画像を表示させる画像処理方法であって、
実空間を撮像する実カメラにより撮像された実画像を取得する実画像取得ステップと、
前記実画像取得ステップで取得された実画像の少なくとも１つの画素の色情報を取得する色情報取得ステップと、
前記色情報取得ステップで取得された色情報に基づいて、仮想空間内に配置される光源の色及び／又は明るさに関するパラメータを設定する光源設定ステップと、
前記光源設定ステップで設定された光源で照らされた前記仮想空間内のオブジェクトを仮想カメラで撮像して得られるオブジェクト画像を生成するオブジェクト画像生成ステップと、
前記画面上で視認可能な実空間に重ね合わせてユーザに視認されるように、前記オブジェクト画像生成ステップで生成されたオブジェクト画像を前記表示装置に表示させる表示制御ステップとを備える、画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−６９０７４（Ｐ２０１２−６９０７４Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１５６５３（Ｐ２０１０−２１５６５３）
【出願日】平成２２年９月２７日（２０１０．９．２７）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【出願人】（３９１０４１７１８）株式会社ハル研究所 (38)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２７日（２０１０．９．２７）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【出願人】（３９１０４１７１８）株式会社ハル研究所 (38)
【Ｆターム（参考）】
[ Back to top ]