【課題】ＡＲ技術を用いたアプリケーションを、より気軽にかつ快適に楽しむことができる画像表示システムを提供すること。
【解決手段】携帯型画像表示装置は、タッチパネルと、裸眼立体視可能な立体表示装置と、第１撮像部および第２撮像部が設けられている。携帯型画像表示装置は、第１撮像部および第２撮像部の少なくとも一方によって撮像された実世界画像からマーカーを検出し、当該検出結果に基づいて、仮想空間における仮想オブジェクトと一対の仮想カメラとの相対位置を決定する。そして、携帯型画像表示装置は、第１撮像部および第２撮像部によって撮像された実世界画像に、第１仮想カメラおよび第２仮想カメラに基づいて描画した仮想空間画像を合成して、立体表示装置に裸眼立体視可能な画像を表示させる。

【特許請求の範囲】
【請求項１】
実世界画像に仮想空間画像を合成表示する画像表示システムであって、
前記画像表示システムは、手持ち型の画像表示装置と、実世界に配置されるマーカーとを備え、
前記画像表示装置は、
互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状の上側ハウジングおよび下側ハウジングと、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する平面表示部と、
前記平面表示部の画面上に設けられたタッチパネルと、
前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な立体表示部と、
前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられた第１撮像部および第２撮像部と、
前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢を自動的に検出する検出手段と、
前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する決定手段と、
前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成する第１仮想空間画像生成手段と、
前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成する第２仮想空間画像生成手段と、
前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる表示制御手段とを含み、
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ、１以上の操作ボタンが設けられており、
前記画像表示装置は、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含み、
前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換える、画像表示システム。
【請求項２】
前記上側ハウジングの内側面には、前記立体表示部の画面を左右に２等分する線上に第３撮像部が設けられている、請求項１に記載の画像表示システム。
【請求項３】
前記上側ハウジングには一対のスピーカが設けられており、
前記上側ハウジングの内側面上には、左右方向に前記立体表示部の画面を挟むように、前記一対のスピーカに対応する一対のスピーカ孔が設けられている、請求項１または請求項２に記載の画像表示システム。
【請求項４】
前記下側ハウジングの長辺方向に平行な２つの側面のうちの前記上側ハウジングに接続されている側の側面の右端部および左端部には操作ボタンが設けられている、請求項１〜請求項３のいずれか１項に記載の画像表示システム。
【請求項５】
前記画像表示装置は、携帯型ゲーム装置である、請求項１〜請求項４のいずれか１項に記載の画像表示システム。
【請求項６】
実世界画像に仮想空間画像を合成表示する手持ち型の画像表示装置であって、
互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状の上側ハウジングおよび下側ハウジングと、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する平面表示部と、
前記平面表示部の画面上に設けられたタッチパネルと、
前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な立体表示部と、
前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられた第１撮像部および第２撮像部と、
前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から、実世界に配置されたマーカーの位置および姿勢を自動的に検出する検出手段と、
前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する決定手段と、
前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成する第１仮想空間画像生成手段と、
前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成する第２仮想空間画像生成手段と、
前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる表示制御手段とを備え、
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ、１以上の操作ボタンが設けられており、
前記画像表示装置は、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含み、
前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換える、画像表示装置。
【請求項７】
手持ち型の画像表示装置と、実世界に配置されるマーカーとを備えた画像表示システムにおいて、実世界画像に仮想空間画像を合成表示する画像表示方法であって、
前記画像表示装置は、
互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状の上側ハウジングおよび下側ハウジングと、
前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する平面表示部と、
前記平面表示部の画面上に設けられたタッチパネルと、
前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な立体表示部と、
前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向（以下、左右方向と称す）に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられた第１撮像部および第２撮像部と、
前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ設けられた、１以上の操作ボタンと、
前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチとを備えており、
前記画像表示方法は、
前記画像表示装置の検出手段が、前記第１撮像部および前記第２撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢に検出するステップと、
前記画像表示装置の決定手段が、前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第１仮想カメラおよび第２仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新するステップと、
前記画像表示装置の第１仮想空間画像生成手段が、前記第１仮想カメラに基づいて、前記仮想空間を描画して第１仮想空間画像を生成するステップと、
前記画像表示装置の第２仮想空間画像生成手段が、前記第２仮想カメラに基づいて、前記仮想空間を描画して第２仮想空間画像を生成するステップと、
前記画像表示装置の表示制御手段が、前記第１撮像部によって撮像された第１実世界画像に前記第１仮想空間画像を合成した第１合成画像と、前記第２撮像部によって撮像された第２実世界画像に前記第２仮想空間画像を合成した第２合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させるステップと、
前記表示制御手段が、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換えるステップとを備えた、画像表示方法。

【図１】

【図２】

【図３】

【図４】

【図５Ａ】

【図５Ｂ】

【図５Ｃ】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６Ａ】

【図４６Ｂ】

【図４６Ｃ】

【図４７】

【図４８】

【図４９】

【図５０】

【図５１】

【図５２】

【図５３】

【図５４】

【図５５】

【図５６】

【図５７】

【図５８】

【図５９】

【図６０Ａ】

【図６０Ｂ】

【図６０Ｃ】

【図６０Ｄ】

【図６１】

【図６２】

【図６３】

【図６４】

【図６５】

【図６６】

【図６７】

【図６８】

【図６９】

【図７０】

【図７１】

【図７２】

【図７３】

【図７４】

【図７５】

【図７６】

【図７７】

【図７８】

【図７９】

【図８０】

【図８１】

【図８２】

【図８３】

【図８４】

【図８５】

【図８６】

【図８７】

【図８８】

【図８９】

【図９０】

【図９１】

【図９２】

【図９３】

【図９４】

【図９５】

【図９６】

【図９７】

【図９８】

【図９９】

【図１００】

【図１０１】

【図１０２】

【図１０３】

【図１０４】

【図１０５】

【図１０６】

【図１０７】

【図１０８】

【図１０９】

【図１１０】

【図１１１】

【図１１２】

【図１１３】

【図１１４】

【図１１５】

【図１１６】

【図１１７】

【図１１８】

【図１１９Ａ】

【図１１９Ｂ】

【図１２０】

【図１２１】

【図１２２】

【公開番号】特開２０１２−９４１００（Ｐ２０１２−９４１００Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２９４５７１（Ｐ２０１０−２９４５７１）
【出願日】平成２２年１２月２９日（２０１０．１２．２９）
【特許番号】特許第４６９６１８４号（Ｐ４６９６１８４）
【特許公報発行日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】