アミューズメント装置
【課題】３次元映像を利用して、ユーザが体を動かしながらゲーム感覚で、語学などの学習を含む各種のコンテンツの実行を可能としたアミューズメント装置を提供すること。
【解決手段】複数の標的画像を含む３次元映像が表示され、ユーザは、自身が選択しようとする標的画像を触ったり、叩いたりするように手を動かすことで、いずれかの標的画像をヒットする。すると、正誤判定部１５により、ユーザが、正しい標的画像をヒットしたか否かが判定され、コンテンツ実行制御部１１により、その判定結果に基づく評価結果が表示される。従って、ユーザは、自身の体を動かしながら、ゲーム感覚で、３次元映像表示を利用した語学学習用のコンテンツを楽しむことができる。
【解決手段】複数の標的画像を含む３次元映像が表示され、ユーザは、自身が選択しようとする標的画像を触ったり、叩いたりするように手を動かすことで、いずれかの標的画像をヒットする。すると、正誤判定部１５により、ユーザが、正しい標的画像をヒットしたか否かが判定され、コンテンツ実行制御部１１により、その判定結果に基づく評価結果が表示される。従って、ユーザは、自身の体を動かしながら、ゲーム感覚で、３次元映像表示を利用した語学学習用のコンテンツを楽しむことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元映像を利用したアミューズメント装置に係り、例えば語学などの学習用途に好適なものである。
【背景技術】
【０００２】
例えば語学などの学習のため、パーソナルコンピュータ（ＰＣ）や携帯用のゲーム機などで動作する各種の学習支援ソフトが実用化されている。その中には、英語音声を再生し、読み上げられた英語音声をユーザが書き取るディクテーションを行なうものや、その英語音声をユーザに繰り返すように発声させるシャドウイングを行うものなどがある。このようなディクテーションやシャドウイングは、語学を学習する際に、記憶の定着を高めたり、発音を向上させたりする効果が期待できる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した学習支援ソフトは、ユーザが書き取りや発音を行うことで学習効果を高めることができるものではあるが、基本的にキーボードやタッチパネルなどを操作して実行するものであるため、楽しみながら学習を行うといった要素に欠ける場合が多い。
【０００４】
本発明は、このような点に鑑みてなされたもので、３次元映像を利用することにより、ユーザが体を動かしながらゲーム感覚で、語学などの学習を含む各種のコンテンツの実行を可能としたアミューズメント装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、請求項１に記載のアミューズメント装置は、
３次元映像を表示する表示装置と、
ユーザによって選択されるべき標的画像を含む複数の標的画像が、ユーザに接近した位置に浮き上がって表示される３次元映像を、表示装置に表示させる表示制御手段と、
表示装置から所定の間隔を隔てた場所にいるユーザの手の動きを検出する検出手段と、
検出手段による検出結果から、ユーザが、選択されるべき標的画像をヒットする手の動作を行ったか否かを判定する判定手段と、
判定手段による判定結果に基づいて、評価結果をユーザに提示する提示手段と、を備えることを特徴とする。
【０００６】
上述した構成を備えることにより、選択されるべき標的画像を含む複数の標的画像が、あたかもユーザの手が届くかのように近接した位置に表示される。このような３次元映像表示を見たユーザは、自身が選択しようとする標的画像を触ったり、叩いたりするように手を動かすことで、いずれかの標的画像をヒットする。すると、判定手段により、ユーザが、選択されるべき標的画像を正しくヒットしたか否かが判定され、提示手段により、その判定結果に基づいて評価結果がユーザに提示される。従って、ユーザは、自身の体を動かしながら、ゲーム感覚で、３次元映像表示を利用した各種のコンテンツを楽しむことができる。特に、コンテンツとして、語学などの学習内容を含む場合には、運動しながら学習を行うことで学習への集中度が高まり、より高い学習効果を期待できる。
【０００７】
請求項２に記載したように、判定手段は、ユーザの手の到達範囲に仮想面を設定し、ユーザの手が、いずれかの標的画像に対応したエリア内で仮想面に達したとき、対応する標的画像をヒットする手の動作を行ったと判定することが好ましい。これにより、ユーザが、いずれかの標的画像をヒットしようとして手を動かしたとき、その標的画像をヒットしようとする手の動きを確実に判定することができる。
【０００８】
請求項３に記載したように、表示制御手段は、判定手段により、ユーザが、選択されるべき標的画像をヒットする手の動作を行ったと判定されると、該当する標的画像の表示態様を変化させることが好ましい。例えば、表示態様の変化として、標的画像を破裂させたり、ユーザから遠ざかる方向に移動させたり、色を変えつつ消滅させたりする。これにより、ユーザは、正しい標的画像をヒットしたことを視覚的に認識することができる。また、視覚的にユーザを楽しませることができる。
【０００９】
請求項４に記載したように、表示制御手段は、ユーザによる標的画像の選択が複数回行われるように、３次元映像の表示を制御するものであり、提示手段は、その複数回の選択結果に関する総合的な評価結果をユーザに提示するものであっても良い。これにより、運動を行いながらの学習を適度な時間だけ継続させることが可能となり、エクササイズ効果及び学習効果の双方の向上を期待できる。なお、継続時間（標的画像の選択回数）は、ユーザが選択できるようにしても良い。
【００１０】
請求項５に記載したように、アミューズメント装置は、語学学習に用いられるものであり、文章又は単語を読み上げる読み上げ手段と、ユーザの発した音声を検出する音声検出手段と、ユーザにより文章又は単語が繰り返されたときに、その音声を音声検出手段によって検出し、その検出した音声を認識する音声認識部と、をさらに備え、提示手段は、音声認識部による認識結果も加味した評価結果を提示するように構成しても良い。これにより、本発明によるアミューズメント装置を用いてユーザが語学学習を行う際に、発音の向上効果も期待できるようになる。
【図面の簡単な説明】
【００１１】
【図１】実施形態によるアミューズメント装置の全体構成を示したブロック図である。
【図２】アミューズメント装置を構成する際の、各構成部品の配置の一例を示した図である。
【図３】（ａ）〜（ｄ）は、アミューズメント装置において表示される各種の画像の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態によるアミューズメント装置について、図面を参照しつつ説明する。なお、本実施形態においては、アミューズメント装置が語学学習用のコンテンツを実行する例について説明する。
【００１３】
図１は、本実施形態によるアミューズメント装置の全体構成を示したブロック図である。また、図２は、アミューズメント装置を構成する際の、各構成部品の配置の一例を示したものである。なお、図２に示す例では、スクリーン２とユーザの間に、天井及び側板が設けられ、スクリーン２が天井及び側板によって覆われているが、これらの天井及び側板は必ずしも設けなくても良い。また、図２においては、理解の容易のため、天板及び側板が透明化された状態で示されている。
【００１４】
図１及び図２に示すように、本実施形態のアミューズメント装置は、３次元映像を表示するための３Ｄプロジェクタ１及びスクリーン２、文章や単語の読み上げ音声を出力するためのスピーカ３、ユーザの発した音声を検出するためのマイク４、ユーザの手の動きを検出するための３Ｄカメラ５、及びコンピュータ１０から構成される。なお、図２では、一部の構成についての図示を省略している。
【００１５】
本実施形態では、３Ｄプロジェクタ１として、左右異なる角度から見た映像を交互にスクリーン２に投影可能なものを用いている。ユーザは、左右の視界が交互に遮蔽される液晶シャッターを備えた眼鏡を掛けて、その投影された映像を見る。このとき、眼鏡の液晶シャッターが２つの映像と完全に同期して開閉することで右目と左目にそれぞれ右目用の映像と左目用の映像だけが見えるようになる結果、立体感が得られるようになっている。
【００１６】
ただし、３次元映像を表示する装置として、プロジェクタではなく、液晶ディスプレイやプラズマディスプレイなどの通常のディスプレイを用いても良い。また、３次元映像を表示する装置として、他の方式、例えば偏向眼鏡方式による３次元ディスプレイや、ホログラフィックディスプレイなどを用いた裸眼式の３次元ディスプレイを採用しても良い。
【００１７】
スピーカ３は、語学学習用のコンテンツにより、文章や単語が読み上げられる際に、その読み上げ音声を出力する。そして、マイク４は、ユーザがその読み上げ音声のシャドウイングを行うときなどに、ユーザの発する音声を検出する。
【００１８】
３Ｄカメラ５は、例えば対象物までの距離を計測可能なＴＯＦ（time of flight）型距離画像センサを用いることができる。なお、ＴＯＦ型距離画像センサは、例えば赤外線を変調して投光し、反射対象物からの反射光との位相差を画素毎に計測することにより、画素ごとに反射対象物との距離を計測可能としたものである。また、３Ｄカメラ５として、いわゆるステレオカメラを用い、視差を利用して対象物までの距離を求めても良い。
【００１９】
コンピュータ１０は、内部に周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するためのバスラインを備えている。ＲＯＭには、コンピュータ１０が実行するためのプログラムが書き込まれており、このプログラムに従ってＣＰＵ等が所定の演算処理を実行する。
【００２０】
ただし、図１においては、説明の便宜上、コンピュータ１０が実行する処理（機能）をブロックにより構成的に表している。以下、図１に基づいて、コンピュータ１０により実行される機能を説明する。
【００２１】
コンピュータ１０は、コンテンツ実行制御部１１を有している。このコンテンツ実行制御部１１は、例えばディスクなどに格納されたコンテンツソフトを読み込んで、そのコンテンツの実行を制御するものである。例えば、コンテンツ実行制御部１１は、コンテンツソフトに基づき、映画のセリフなどの文章を学習対象の外国語（例えば英語）で読み上げる音声をアンプ部１２を介してスピーカ３から出力させる。その際、セリフの和訳を表示するための映像データを描画部１３に出力して、３Ｄプロジェクタ１により投影しても良い。なお、描画部１３は、３Ｄプロジェクタに対して、表示すべき映像信号を与えるものである。
【００２２】
次に、コンテンツ実行制御部１１は、映画の１シーンが背景として表示され、かつ、読み上げたセリフを細切れに分割した語句が、標的画像として、ユーザに接近した位置に浮き上がって表示される３次元映像を表示するための映像データを描画部１３に出力する。このとき、背景となる映像も３次元的に表示されても良い。これにより、図３（ａ）に示されるように、３Ｄプロジェクタ１及びスクリーン２によって、あたかもユーザの手が届くかのように近接した位置に複数の標的画像が表示される。なお、図３（ａ）では、背景となる映像の表示を省略している。
【００２３】
その際、標的画像の表示位置は、あらかじめ定められた複数の位置のいずれかにランダムに配置されても良いし、あるいは完全にランダムに配置されても良い、ただし、それぞれの標的画像は、相互に一部でも重ならないように配置される。
【００２４】
そして、ユーザが、近接した位置に表示されている複数の標的画像の中から、例文の順番通りに標的画像をヒットすれば正答とし、順番とは異なる標的画像をヒットすると誤答とする。そのため、ユーザが、選択しようとする標的画像を触ったり、叩いたりするように手を動かすことで、いずれかの標的画像をヒットすると、そのようないずれかの標的画像をヒットするユーザの手の動きを、ジェスチャ認識部１４によって認識する。
【００２５】
具体的には、コンテンツ実行制御部１１は、各標的画像の配置を決定したとき、その各標的画像の表示位置を、正誤判定部１５に出力し、正誤判定部１５は、各標的画像の表示位置に関する情報をジェスチャ認識部１４に与える。ジェスチャ認識部１４は、３Ｄカメラ５によって撮影された映像に基づいて、ユーザの手を認識する。さらに、ジェスチャ認識部１４は、プレイゾーン内のユーザの位置とスクリーン２との間であって、ユーザの手の到達範囲に仮想面を設定し、ユーザの手が、いずれかの標的画像に対応したエリア内で仮想面に達したときに、対応する標的画像をヒットする手の動作を行ったと判定する。なお、仮想面は、予め定められた位置に設定しても良いし、ユーザの立ち位置を基準として、その都度設定しても良い。
【００２６】
これにより、ユーザが、いずれかの標的画像をヒットしようとして手を動かしたとき、いずれの標的画像をヒットしようとしたかを確実に判定することができる。この判定結果、すなわち、ユーザがヒットした標的画像の情報が、正誤判定部１５に出力される。
【００２７】
正誤判定部１５は、コンテンツ実行制御部１１から与えられた各標的画像の表示位置と、ジェスチャ認識部１４によって判定されたユーザによってヒットされた標的画像とに基づいて、ユーザが正しい標的画像をヒットしたか否かを判定する。この判定結果は、コンテンツ実行制御部１１に出力される。
【００２８】
また、ユーザがいずれかの標的画像をヒットするとき、その標的画像の語句をユーザに発音させ、ユーザが発した音声をマイク４によって検出する。マイク４によって検出されたユーザの音声は、音声認識部１６によって認識される。音声認識部１６による認識結果は、評価判定部１７に出力される。評価判定部１７は、コンテンツ実行制御部１１から、ユーザがヒットした標的画像に対応する語句の情報を得て、その語句の情報と音声認識部１６による認識結果とを対比することにより、ユーザの発音の良否を評価する。
【００２９】
コンテンツ実行制御部１１は、正誤判定部１５からユーザが正しい標的画像をヒットしたとの判定結果を得た場合には、その標的画像の表示態様を変化させる。例えば、表示態様の変化の例として、標的画像を破裂させたり、ユーザから遠ざかる方向に移動させたり、色を変えつつ消滅させたりする。これにより、ユーザは、正しい標的画像をヒットしたことを視覚的に認識することができる。また、視覚的にユーザを楽しませることができる。図３（ｂ）は、最初の標的画像がユーザによって正しくヒットされ、その標的画像が破裂等により消去された状態を示している。
【００３０】
コンテンツ実行制御部１１は、その後も同様にして、ユーザが例文どおりに正しく標的画像をヒットしたか否かの判定、ユーザの発音の良否の判定、及び、正しい標的画像をヒットした場合には、その標的画像の表示態様の変更といった処理を繰り返えさせる。そして、全ての標的画像がヒットされた場合、コンテンツ実行制御部１１は、出題した例文に関する評価を示す画面を表示させるための映像データを描画部１３に出力する。図３（ｃ）は、その評価を示す映像の一例を示す画面である。
【００３１】
予め設定されていた出題数、あるいはプレイ時間が経過すると、コンテンツ実行制御部１１は、総合的な評価を算出し、その総合評価を示す画面を表示させるための映像データを描画部１３に出力する。算出される評価としては、標的画像をヒットした正解率、回答時間のほか、ユーザが発音した語句と標的画像の語句との一致率や発音自体の良否などのユーザの発音に関する評価も算出される。さらに、主にプレイ時間に基づき、ユーザが消費したカロリーも算出される。図３（ｄ）は、上述した評価項目を、例えば重み付けして合計した総合スコアと、運動によりユーザが消費したカロリーを表示する画面の一例を示すものである。
【００３２】
このように、コンテンツ実行制御部１１は、ユーザによる標的画像の選択が複数回行われるように、３次元映像の表示を制御し、最終的に、その複数回の選択結果に関する総合的な評価結果がユーザに提示される。このため、運動を行いながらの学習を適度な時間だけ継続させることが可能となり、エクササイズ効果及び学習効果の双方の向上を期待できる。なお、継続時間（出題数やプレイ時間）は、ユーザが選択できるようにしても良い。
【００３３】
以上、説明したように、本実施形態によるアミューズメント装置によれば、ユーザは、自身の体を動かしながら、ゲーム感覚で、３次元映像表示を利用した語学学習用のコンテンツを楽しむことができる。この場合、運動しながら学習を行うことで学習への集中度が高まり、より高い学習効果を期待できる。
【００３４】
上述した実施形態は、本発明によるアミューズメント装置の好ましい実施形態ではあるが、本発明によるアミューズメント装置は、上記実施形態になんら制限されることなく、本発明の趣旨を逸脱しない範囲において、種々変形して実施することが可能である。
【００３５】
例えば、上述した実施形態では、アミューズメント装置において、例文を読み上げ、その例文の語句の順序に従って標的画像をヒットする例について説明したが、アミューズメント装置は、その他の学習モードを備えることが可能である。例えば、アミューズメント装置において、単語モードを実行するようにしても良い。この単語モードでは、外国語又は日本語の単語を表示し、その単語の和訳候補又は日本語の単語に該当する外国語候補を、複数の標的画像として表示する。そして、ユーザに正解と思う和訳候補又は外国語候補の標的画像をヒットさせる。この際、外国語候補をヒットする場合には、その外国語候補の発音を同時に行わせるようにしても良い。
【００３６】
また、上述した実施形態では、アミューズメント装置が語学学習用のコンテンツを実行する例について説明したが、アミューズメント装置において実行可能なコンテンツは語学学習用のものに限られない。例えば、算数の計算問題を出題し、その回答候補を複数の標的画像として表示したり、国語の漢字問題を出題し、その読み方や漢字の候補を複数の標的画像として表示したりすることも可能である。すなわち、本発明によるアミューズメント装置は、語学学習に止まらず、学習用途に広く適用可能なものである。
【００３７】
さらに、本発明によるアミューズメント装置は、学習用途に限られることなく、例えばクイズを出題し、その回答の選択子を標的画像として表示するなど、娯楽用途にも適用可能なものである。
【符号の説明】
【００３８】
１…３Ｄプロジェクタ
２…スクリーン
３…スピーカ
４…マイク
５…３Ｄカメラ
１０…コンピュータ
１１…コンテンツ実行制御部
１２…アンプ部
１３…描画部
１４…ジェスチャ認識部
１５…正誤判定部
１６…音声認識部
１７…評価判定部
【技術分野】
【０００１】
本発明は、３次元映像を利用したアミューズメント装置に係り、例えば語学などの学習用途に好適なものである。
【背景技術】
【０００２】
例えば語学などの学習のため、パーソナルコンピュータ（ＰＣ）や携帯用のゲーム機などで動作する各種の学習支援ソフトが実用化されている。その中には、英語音声を再生し、読み上げられた英語音声をユーザが書き取るディクテーションを行なうものや、その英語音声をユーザに繰り返すように発声させるシャドウイングを行うものなどがある。このようなディクテーションやシャドウイングは、語学を学習する際に、記憶の定着を高めたり、発音を向上させたりする効果が期待できる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した学習支援ソフトは、ユーザが書き取りや発音を行うことで学習効果を高めることができるものではあるが、基本的にキーボードやタッチパネルなどを操作して実行するものであるため、楽しみながら学習を行うといった要素に欠ける場合が多い。
【０００４】
本発明は、このような点に鑑みてなされたもので、３次元映像を利用することにより、ユーザが体を動かしながらゲーム感覚で、語学などの学習を含む各種のコンテンツの実行を可能としたアミューズメント装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、請求項１に記載のアミューズメント装置は、
３次元映像を表示する表示装置と、
ユーザによって選択されるべき標的画像を含む複数の標的画像が、ユーザに接近した位置に浮き上がって表示される３次元映像を、表示装置に表示させる表示制御手段と、
表示装置から所定の間隔を隔てた場所にいるユーザの手の動きを検出する検出手段と、
検出手段による検出結果から、ユーザが、選択されるべき標的画像をヒットする手の動作を行ったか否かを判定する判定手段と、
判定手段による判定結果に基づいて、評価結果をユーザに提示する提示手段と、を備えることを特徴とする。
【０００６】
上述した構成を備えることにより、選択されるべき標的画像を含む複数の標的画像が、あたかもユーザの手が届くかのように近接した位置に表示される。このような３次元映像表示を見たユーザは、自身が選択しようとする標的画像を触ったり、叩いたりするように手を動かすことで、いずれかの標的画像をヒットする。すると、判定手段により、ユーザが、選択されるべき標的画像を正しくヒットしたか否かが判定され、提示手段により、その判定結果に基づいて評価結果がユーザに提示される。従って、ユーザは、自身の体を動かしながら、ゲーム感覚で、３次元映像表示を利用した各種のコンテンツを楽しむことができる。特に、コンテンツとして、語学などの学習内容を含む場合には、運動しながら学習を行うことで学習への集中度が高まり、より高い学習効果を期待できる。
【０００７】
請求項２に記載したように、判定手段は、ユーザの手の到達範囲に仮想面を設定し、ユーザの手が、いずれかの標的画像に対応したエリア内で仮想面に達したとき、対応する標的画像をヒットする手の動作を行ったと判定することが好ましい。これにより、ユーザが、いずれかの標的画像をヒットしようとして手を動かしたとき、その標的画像をヒットしようとする手の動きを確実に判定することができる。
【０００８】
請求項３に記載したように、表示制御手段は、判定手段により、ユーザが、選択されるべき標的画像をヒットする手の動作を行ったと判定されると、該当する標的画像の表示態様を変化させることが好ましい。例えば、表示態様の変化として、標的画像を破裂させたり、ユーザから遠ざかる方向に移動させたり、色を変えつつ消滅させたりする。これにより、ユーザは、正しい標的画像をヒットしたことを視覚的に認識することができる。また、視覚的にユーザを楽しませることができる。
【０００９】
請求項４に記載したように、表示制御手段は、ユーザによる標的画像の選択が複数回行われるように、３次元映像の表示を制御するものであり、提示手段は、その複数回の選択結果に関する総合的な評価結果をユーザに提示するものであっても良い。これにより、運動を行いながらの学習を適度な時間だけ継続させることが可能となり、エクササイズ効果及び学習効果の双方の向上を期待できる。なお、継続時間（標的画像の選択回数）は、ユーザが選択できるようにしても良い。
【００１０】
請求項５に記載したように、アミューズメント装置は、語学学習に用いられるものであり、文章又は単語を読み上げる読み上げ手段と、ユーザの発した音声を検出する音声検出手段と、ユーザにより文章又は単語が繰り返されたときに、その音声を音声検出手段によって検出し、その検出した音声を認識する音声認識部と、をさらに備え、提示手段は、音声認識部による認識結果も加味した評価結果を提示するように構成しても良い。これにより、本発明によるアミューズメント装置を用いてユーザが語学学習を行う際に、発音の向上効果も期待できるようになる。
【図面の簡単な説明】
【００１１】
【図１】実施形態によるアミューズメント装置の全体構成を示したブロック図である。
【図２】アミューズメント装置を構成する際の、各構成部品の配置の一例を示した図である。
【図３】（ａ）〜（ｄ）は、アミューズメント装置において表示される各種の画像の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態によるアミューズメント装置について、図面を参照しつつ説明する。なお、本実施形態においては、アミューズメント装置が語学学習用のコンテンツを実行する例について説明する。
【００１３】
図１は、本実施形態によるアミューズメント装置の全体構成を示したブロック図である。また、図２は、アミューズメント装置を構成する際の、各構成部品の配置の一例を示したものである。なお、図２に示す例では、スクリーン２とユーザの間に、天井及び側板が設けられ、スクリーン２が天井及び側板によって覆われているが、これらの天井及び側板は必ずしも設けなくても良い。また、図２においては、理解の容易のため、天板及び側板が透明化された状態で示されている。
【００１４】
図１及び図２に示すように、本実施形態のアミューズメント装置は、３次元映像を表示するための３Ｄプロジェクタ１及びスクリーン２、文章や単語の読み上げ音声を出力するためのスピーカ３、ユーザの発した音声を検出するためのマイク４、ユーザの手の動きを検出するための３Ｄカメラ５、及びコンピュータ１０から構成される。なお、図２では、一部の構成についての図示を省略している。
【００１５】
本実施形態では、３Ｄプロジェクタ１として、左右異なる角度から見た映像を交互にスクリーン２に投影可能なものを用いている。ユーザは、左右の視界が交互に遮蔽される液晶シャッターを備えた眼鏡を掛けて、その投影された映像を見る。このとき、眼鏡の液晶シャッターが２つの映像と完全に同期して開閉することで右目と左目にそれぞれ右目用の映像と左目用の映像だけが見えるようになる結果、立体感が得られるようになっている。
【００１６】
ただし、３次元映像を表示する装置として、プロジェクタではなく、液晶ディスプレイやプラズマディスプレイなどの通常のディスプレイを用いても良い。また、３次元映像を表示する装置として、他の方式、例えば偏向眼鏡方式による３次元ディスプレイや、ホログラフィックディスプレイなどを用いた裸眼式の３次元ディスプレイを採用しても良い。
【００１７】
スピーカ３は、語学学習用のコンテンツにより、文章や単語が読み上げられる際に、その読み上げ音声を出力する。そして、マイク４は、ユーザがその読み上げ音声のシャドウイングを行うときなどに、ユーザの発する音声を検出する。
【００１８】
３Ｄカメラ５は、例えば対象物までの距離を計測可能なＴＯＦ（time of flight）型距離画像センサを用いることができる。なお、ＴＯＦ型距離画像センサは、例えば赤外線を変調して投光し、反射対象物からの反射光との位相差を画素毎に計測することにより、画素ごとに反射対象物との距離を計測可能としたものである。また、３Ｄカメラ５として、いわゆるステレオカメラを用い、視差を利用して対象物までの距離を求めても良い。
【００１９】
コンピュータ１０は、内部に周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するためのバスラインを備えている。ＲＯＭには、コンピュータ１０が実行するためのプログラムが書き込まれており、このプログラムに従ってＣＰＵ等が所定の演算処理を実行する。
【００２０】
ただし、図１においては、説明の便宜上、コンピュータ１０が実行する処理（機能）をブロックにより構成的に表している。以下、図１に基づいて、コンピュータ１０により実行される機能を説明する。
【００２１】
コンピュータ１０は、コンテンツ実行制御部１１を有している。このコンテンツ実行制御部１１は、例えばディスクなどに格納されたコンテンツソフトを読み込んで、そのコンテンツの実行を制御するものである。例えば、コンテンツ実行制御部１１は、コンテンツソフトに基づき、映画のセリフなどの文章を学習対象の外国語（例えば英語）で読み上げる音声をアンプ部１２を介してスピーカ３から出力させる。その際、セリフの和訳を表示するための映像データを描画部１３に出力して、３Ｄプロジェクタ１により投影しても良い。なお、描画部１３は、３Ｄプロジェクタに対して、表示すべき映像信号を与えるものである。
【００２２】
次に、コンテンツ実行制御部１１は、映画の１シーンが背景として表示され、かつ、読み上げたセリフを細切れに分割した語句が、標的画像として、ユーザに接近した位置に浮き上がって表示される３次元映像を表示するための映像データを描画部１３に出力する。このとき、背景となる映像も３次元的に表示されても良い。これにより、図３（ａ）に示されるように、３Ｄプロジェクタ１及びスクリーン２によって、あたかもユーザの手が届くかのように近接した位置に複数の標的画像が表示される。なお、図３（ａ）では、背景となる映像の表示を省略している。
【００２３】
その際、標的画像の表示位置は、あらかじめ定められた複数の位置のいずれかにランダムに配置されても良いし、あるいは完全にランダムに配置されても良い、ただし、それぞれの標的画像は、相互に一部でも重ならないように配置される。
【００２４】
そして、ユーザが、近接した位置に表示されている複数の標的画像の中から、例文の順番通りに標的画像をヒットすれば正答とし、順番とは異なる標的画像をヒットすると誤答とする。そのため、ユーザが、選択しようとする標的画像を触ったり、叩いたりするように手を動かすことで、いずれかの標的画像をヒットすると、そのようないずれかの標的画像をヒットするユーザの手の動きを、ジェスチャ認識部１４によって認識する。
【００２５】
具体的には、コンテンツ実行制御部１１は、各標的画像の配置を決定したとき、その各標的画像の表示位置を、正誤判定部１５に出力し、正誤判定部１５は、各標的画像の表示位置に関する情報をジェスチャ認識部１４に与える。ジェスチャ認識部１４は、３Ｄカメラ５によって撮影された映像に基づいて、ユーザの手を認識する。さらに、ジェスチャ認識部１４は、プレイゾーン内のユーザの位置とスクリーン２との間であって、ユーザの手の到達範囲に仮想面を設定し、ユーザの手が、いずれかの標的画像に対応したエリア内で仮想面に達したときに、対応する標的画像をヒットする手の動作を行ったと判定する。なお、仮想面は、予め定められた位置に設定しても良いし、ユーザの立ち位置を基準として、その都度設定しても良い。
【００２６】
これにより、ユーザが、いずれかの標的画像をヒットしようとして手を動かしたとき、いずれの標的画像をヒットしようとしたかを確実に判定することができる。この判定結果、すなわち、ユーザがヒットした標的画像の情報が、正誤判定部１５に出力される。
【００２７】
正誤判定部１５は、コンテンツ実行制御部１１から与えられた各標的画像の表示位置と、ジェスチャ認識部１４によって判定されたユーザによってヒットされた標的画像とに基づいて、ユーザが正しい標的画像をヒットしたか否かを判定する。この判定結果は、コンテンツ実行制御部１１に出力される。
【００２８】
また、ユーザがいずれかの標的画像をヒットするとき、その標的画像の語句をユーザに発音させ、ユーザが発した音声をマイク４によって検出する。マイク４によって検出されたユーザの音声は、音声認識部１６によって認識される。音声認識部１６による認識結果は、評価判定部１７に出力される。評価判定部１７は、コンテンツ実行制御部１１から、ユーザがヒットした標的画像に対応する語句の情報を得て、その語句の情報と音声認識部１６による認識結果とを対比することにより、ユーザの発音の良否を評価する。
【００２９】
コンテンツ実行制御部１１は、正誤判定部１５からユーザが正しい標的画像をヒットしたとの判定結果を得た場合には、その標的画像の表示態様を変化させる。例えば、表示態様の変化の例として、標的画像を破裂させたり、ユーザから遠ざかる方向に移動させたり、色を変えつつ消滅させたりする。これにより、ユーザは、正しい標的画像をヒットしたことを視覚的に認識することができる。また、視覚的にユーザを楽しませることができる。図３（ｂ）は、最初の標的画像がユーザによって正しくヒットされ、その標的画像が破裂等により消去された状態を示している。
【００３０】
コンテンツ実行制御部１１は、その後も同様にして、ユーザが例文どおりに正しく標的画像をヒットしたか否かの判定、ユーザの発音の良否の判定、及び、正しい標的画像をヒットした場合には、その標的画像の表示態様の変更といった処理を繰り返えさせる。そして、全ての標的画像がヒットされた場合、コンテンツ実行制御部１１は、出題した例文に関する評価を示す画面を表示させるための映像データを描画部１３に出力する。図３（ｃ）は、その評価を示す映像の一例を示す画面である。
【００３１】
予め設定されていた出題数、あるいはプレイ時間が経過すると、コンテンツ実行制御部１１は、総合的な評価を算出し、その総合評価を示す画面を表示させるための映像データを描画部１３に出力する。算出される評価としては、標的画像をヒットした正解率、回答時間のほか、ユーザが発音した語句と標的画像の語句との一致率や発音自体の良否などのユーザの発音に関する評価も算出される。さらに、主にプレイ時間に基づき、ユーザが消費したカロリーも算出される。図３（ｄ）は、上述した評価項目を、例えば重み付けして合計した総合スコアと、運動によりユーザが消費したカロリーを表示する画面の一例を示すものである。
【００３２】
このように、コンテンツ実行制御部１１は、ユーザによる標的画像の選択が複数回行われるように、３次元映像の表示を制御し、最終的に、その複数回の選択結果に関する総合的な評価結果がユーザに提示される。このため、運動を行いながらの学習を適度な時間だけ継続させることが可能となり、エクササイズ効果及び学習効果の双方の向上を期待できる。なお、継続時間（出題数やプレイ時間）は、ユーザが選択できるようにしても良い。
【００３３】
以上、説明したように、本実施形態によるアミューズメント装置によれば、ユーザは、自身の体を動かしながら、ゲーム感覚で、３次元映像表示を利用した語学学習用のコンテンツを楽しむことができる。この場合、運動しながら学習を行うことで学習への集中度が高まり、より高い学習効果を期待できる。
【００３４】
上述した実施形態は、本発明によるアミューズメント装置の好ましい実施形態ではあるが、本発明によるアミューズメント装置は、上記実施形態になんら制限されることなく、本発明の趣旨を逸脱しない範囲において、種々変形して実施することが可能である。
【００３５】
例えば、上述した実施形態では、アミューズメント装置において、例文を読み上げ、その例文の語句の順序に従って標的画像をヒットする例について説明したが、アミューズメント装置は、その他の学習モードを備えることが可能である。例えば、アミューズメント装置において、単語モードを実行するようにしても良い。この単語モードでは、外国語又は日本語の単語を表示し、その単語の和訳候補又は日本語の単語に該当する外国語候補を、複数の標的画像として表示する。そして、ユーザに正解と思う和訳候補又は外国語候補の標的画像をヒットさせる。この際、外国語候補をヒットする場合には、その外国語候補の発音を同時に行わせるようにしても良い。
【００３６】
また、上述した実施形態では、アミューズメント装置が語学学習用のコンテンツを実行する例について説明したが、アミューズメント装置において実行可能なコンテンツは語学学習用のものに限られない。例えば、算数の計算問題を出題し、その回答候補を複数の標的画像として表示したり、国語の漢字問題を出題し、その読み方や漢字の候補を複数の標的画像として表示したりすることも可能である。すなわち、本発明によるアミューズメント装置は、語学学習に止まらず、学習用途に広く適用可能なものである。
【００３７】
さらに、本発明によるアミューズメント装置は、学習用途に限られることなく、例えばクイズを出題し、その回答の選択子を標的画像として表示するなど、娯楽用途にも適用可能なものである。
【符号の説明】
【００３８】
１…３Ｄプロジェクタ
２…スクリーン
３…スピーカ
４…マイク
５…３Ｄカメラ
１０…コンピュータ
１１…コンテンツ実行制御部
１２…アンプ部
１３…描画部
１４…ジェスチャ認識部
１５…正誤判定部
１６…音声認識部
１７…評価判定部
【特許請求の範囲】
【請求項１】
３次元映像を表示する表示装置と、
前記ユーザによって選択されるべき標的画像を含む複数の標的画像が、前記ユーザに接近した位置に浮き上がって表示される３次元映像を、前記表示装置に表示させる表示制御手段と、
前記表示装置から所定の間隔を隔てた場所にいるユーザの手の動きを検出する検出手段と、
前記検出手段による検出結果から、前記ユーザが、前記選択されるべき標的画像をヒットする手の動作を行ったか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、評価結果をユーザに提示する提示手段と、を備えることを特徴とする３次元映像を用いたアミューズメント装置。
【請求項２】
前記判定手段は、前記ユーザの手の到達範囲に仮想面を設定し、前記ユーザの手が、いずれかの前記標的画像に対応したエリア内で前記仮想面に達したとき、対応する前記標的画像をヒットする手の動作を行ったと判定することを特徴とする請求項１に記載のアミューズメント装置。
【請求項３】
前記表示制御手段は、前記判定手段により、前記ユーザが、前記選択されるべき標的画像をヒットする手の動作を行ったと判定されると、該当する標的画像の表示態様を変化させることを特徴とする請求項１又は請求項２に記載のアミューズメント装置。
【請求項４】
前記表示制御手段は、ユーザによる標的画像の選択が複数回行われるように、前記３次元映像の表示を制御するものであり、
前記提示手段は、前記複数回の選択結果に関する総合的な評価結果をユーザに提示するものであることを特徴とする請求項１乃至請求項３のいずれかに記載のアミューズメント装置。
【請求項５】
前記アミューズメント装置は、語学学習に用いられるものであり、
文章又は単語を読み上げる読み上げ手段と、
前記ユーザの発した音声を検出する音声検出手段と、
前記ユーザにより前記文章又は単語が繰り返されたときに、その音声を前記音声検出手段によって検出し、その検出した音声を認識する音声認識部と、をさらに備え、
前記提示手段は、前記音声認識部による認識結果も加味した評価結果を提示することを特徴とする請求項１乃至請求項４のいずれかに記載のアミューズメント装置。
【請求項１】
３次元映像を表示する表示装置と、
前記ユーザによって選択されるべき標的画像を含む複数の標的画像が、前記ユーザに接近した位置に浮き上がって表示される３次元映像を、前記表示装置に表示させる表示制御手段と、
前記表示装置から所定の間隔を隔てた場所にいるユーザの手の動きを検出する検出手段と、
前記検出手段による検出結果から、前記ユーザが、前記選択されるべき標的画像をヒットする手の動作を行ったか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、評価結果をユーザに提示する提示手段と、を備えることを特徴とする３次元映像を用いたアミューズメント装置。
【請求項２】
前記判定手段は、前記ユーザの手の到達範囲に仮想面を設定し、前記ユーザの手が、いずれかの前記標的画像に対応したエリア内で前記仮想面に達したとき、対応する前記標的画像をヒットする手の動作を行ったと判定することを特徴とする請求項１に記載のアミューズメント装置。
【請求項３】
前記表示制御手段は、前記判定手段により、前記ユーザが、前記選択されるべき標的画像をヒットする手の動作を行ったと判定されると、該当する標的画像の表示態様を変化させることを特徴とする請求項１又は請求項２に記載のアミューズメント装置。
【請求項４】
前記表示制御手段は、ユーザによる標的画像の選択が複数回行われるように、前記３次元映像の表示を制御するものであり、
前記提示手段は、前記複数回の選択結果に関する総合的な評価結果をユーザに提示するものであることを特徴とする請求項１乃至請求項３のいずれかに記載のアミューズメント装置。
【請求項５】
前記アミューズメント装置は、語学学習に用いられるものであり、
文章又は単語を読み上げる読み上げ手段と、
前記ユーザの発した音声を検出する音声検出手段と、
前記ユーザにより前記文章又は単語が繰り返されたときに、その音声を前記音声検出手段によって検出し、その検出した音声を認識する音声認識部と、をさらに備え、
前記提示手段は、前記音声認識部による認識結果も加味した評価結果を提示することを特徴とする請求項１乃至請求項４のいずれかに記載のアミューズメント装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−９０８０２（Ｐ２０１２−９０８０２Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４１０６６（Ｐ２０１０−２４１０６６）
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
[ Back to top ]