アミューズメントシステム
【課題】カラオケにおいて、臨場感の高いライブ演奏を疑似的に体験することができる技術を提供することを課題とする。
【解決手段】本体装置２は、楽曲データ６１と、ライブ会場に入場した観客の映像が記録された観客映像データ６２とを再生する。ユーザは、マイク４を持って、モニタ３に表示された観客に特定のフレーズを呼び掛け、特定の動作を行うことによりライブパフォーマンスを行う。マイク４は、音声データ４Ａと、マイク４の動き情報４２を本体装置２に送信する。パフォーマンス特定部２５は、ユーザが特定のフレーズを呼び掛け、かつ、特定のフレーズに対応する動作をユーザが行った場合、ユーザがライブパフォーマンスを行った判定する。反応指示部２６は、ライブパフォーマンスに対する観客の反応を示す映像及び音声が記録されたリアクションデータの再生を、再生部２３に指示する。
【解決手段】本体装置２は、楽曲データ６１と、ライブ会場に入場した観客の映像が記録された観客映像データ６２とを再生する。ユーザは、マイク４を持って、モニタ３に表示された観客に特定のフレーズを呼び掛け、特定の動作を行うことによりライブパフォーマンスを行う。マイク４は、音声データ４Ａと、マイク４の動き情報４２を本体装置２に送信する。パフォーマンス特定部２５は、ユーザが特定のフレーズを呼び掛け、かつ、特定のフレーズに対応する動作をユーザが行った場合、ユーザがライブパフォーマンスを行った判定する。反応指示部２６は、ライブパフォーマンスに対する観客の反応を示す映像及び音声が記録されたリアクションデータの再生を、再生部２３に指示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが再生される楽曲データに合わせて歌を歌うことができるアミューズメントシステムに関する。
【背景技術】
【０００２】
カラオケでは、ユーザが選択した楽曲の演奏に合わせて歌を歌う形式が一般的である。カラオケ装置のモニタには、ユーザが選択した楽曲の歌詞が、楽曲の演奏の進行に合わせて表示される。これにより、ユーザは、選択した楽曲の歌詞を全て覚えていなくても、カラオケを楽しむことができる。モニタに表示される歌詞の背景には、歌を歌うキャラクタの映像や、楽曲のイメージに合わせた映像などが表示される。
【０００３】
カラオケは、家族あるいは友人同士などの少人数のグループで楽しむことが多い。カラオケを盛り上げるために、歌を歌うユーザが好みのタイミングで効果音などを発生することができる装置が特許文献１に開示されている。
【０００４】
下記特許文献１に係る電子パーカッション装置は、マラカスなど打楽器の形状をしており、加速度センサを備えている。電子パーカッション装置は、楽曲の間奏が演奏されているときなど、自装置を操作することができるタイミングを、ＬＥＤを点灯させることによりユーザに通知する。ＬＥＤの点灯期間内にユーザが電子パーカッション装置を振ることによって、パーカッション音が再生される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２８７０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、カラオケは、少人数のグループで楽しむことが多い。ユーザが歌う歌を聞く人は、カラオケに参加した家族あるいは友人等に限られる。つまり、カラオケでは、ライブのシンガーのように、多くの観客に自分の歌を聴いてもらうという体験をすることができない。
【０００７】
そこで、本発明は、前記問題点に鑑み、臨場感の高いライブ演奏を疑似的に体験することができるアミューズメントシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、前記音声入力装置は、前記音声入力装置の動きを示す第１動き情報を出力する第１動き情報出力部、を含み、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。
【０００９】
請求項２記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部と、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。
【００１０】
請求項３記載の発明は、請求項１または請求項２に記載のアミューズメントシステムにおいて、前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択する。
【００１１】
請求項４記載の発明は、請求項３に記載のアミューズメントシステムにおいて、前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示する。
【００１２】
請求項５記載の発明は、請求項３または請求項４に記載のアミューズメントシステムにおいて、前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定する。
【００１３】
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択する。
【００１４】
請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択する。
【００１５】
請求項８記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択する。
【００１６】
請求項９記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択する。
【００１７】
請求項１０記載の発明は、請求項１、請求項３ないし請求項９のいずれかに記載のアミューズメントシステムにおいて、さらに、前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、を備え、前記コントローラは、前記コントローラの動きを示す第２動き情報を出力する第２動き情報出力部、を含み、前記パフォーマンス特定部は、前記第２動き情報に基づいて、前記ユーザのパフォーマンスを特定する。
【００１８】
請求項１１記載の発明は、請求項３ないし請求項１０のいずれかに記載のアミューズメントシステムにおいて、前記反応指示部は、前記楽曲データの第１パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第２パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点する。
【００１９】
請求項１２記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持する音声入力装置と、を備え、前記音声入力装置は、前記本体装置と無線通信を行う無線通信部、を含み、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。
【００２０】
請求項１３記載の発明は、請求項１２に記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定する。
【００２１】
請求項１４記載の発明は、請求項１２または請求項１３に記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定する。
【００２２】
請求項１５記載の発明は、請求項１ないし請求項１４のいずれかに記載のアミューズメントシステムにおいて用いられる音声入力装置である。
【００２３】
請求項１６記載の発明は、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力し、自装置の動きを示す第１動き情報を出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、通信可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。
【００２４】
請求項１７記載の発明は、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、通信可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。
【００２５】
請求項１８記載の発明は、ユーザが保持する音声入力装置と無線通信が可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。
【発明の効果】
【００２６】
本発明において、本体装置は、ライブの聴衆の状況を示す聴衆状況データを再生して、モニタなどに表示する。本体装置は、ユーザがマイクに入力したフレーズを示すフレーズ情報や、ユーザの動きを示す動き情報に基づいて、ユーザが行うライブパフォーマンスを特定し、ライブパフォーマンスに対する聴衆の反応を示すリアクションデータを再生する。これにより、ユーザは、表示された聴衆に対してライブ演奏を提供するシンガーとして振る舞いながら、カラオケを楽しむことができるとともに、臨場感の高いライブ演奏を疑似的に体験することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態によるカラオケシステムの全体図である。
【図２】本体装置の機能的構成を示すブロック図である。
【図３】マイクの機能的構成を示すブロック図である。
【図４】コントローラの機能的構成を示すブロック図である。
【図５】本体装置の動作の流れを示すフローチャートである。
【図６】モニタの画面に表示される観客の映像を示す図である。
【図７Ａ】画面内の観客に対して観客煽りを行う手順を示す図である。
【図７Ｂ】画面内の観客に対して観客煽りを行う手順を示す図である。
【図８Ａ】画面内の観客に対して合唱を先導する手順を示す図である。
【図８Ｂ】画面内の観客に対して合唱を先導する手順を示す図である。
【図９Ａ】画面内の観客に対して手拍子を先導する手順を示す図である。
【図９Ｂ】画面内の観客に対して手拍子を先導する手順を示す図である。
【図１０Ａ】画面内の観客に対してウェーブ（両手を大きく振る動作）を先導する手順を示す図である。
【図１０Ｂ】画面内の観客に対してウェーブを先導する手順を示す図である。
【図１１】ユーザがライブ会場に仮想的に入場する手順を示す図である。
【図１２】ライブの客層を設定する設定画面を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。本実施の形態では、アミューズメントシステムの一例として、カラオケシステムについて説明する。
【００２９】
｛１．カラオケシステム１の全体構成｝
図１は、カラオケシステム１の全体図である。カラオケシステム１は、本体装置２と、モニタ３と、マイク４と、コントローラ５とを備える。
【００３０】
本体装置２は、カラオケシステム１の全体制御を行う処理装置であり、ユーザが選択した楽曲に対応する楽曲データ及び映像データを再生する。ユーザは、図示しないリモコンを用いて、カラオケで歌う楽曲を選択する。
【００３１】
モニタ３は、液晶ディスプレイなどであり、本体装置２から出力される映像を表示する。モニタ３は、図示しないスピーカを備えており、本体装置２により再生される楽曲データを音声として出力する。
【００３２】
マイク４は、ユーザが歌を歌うときに音声を入力する音声入力装置である。マイク４は、自装置の動きを検出する動き検出機能を有し、ユーザの動きを示す動き情報を本体装置２に送信する。
【００３３】
コントローラ５は、自装置の動きを検出する動き検出機能を有しており、動き情報を本体装置２に送信する。ユーザは、一方の手にマイク４を持ち、他方の手にコントローラ５を持って歌を歌う。図１に示すように、コントローラ５は、直方体状の形状であるが、リストバンドのように、ユーザの腕にはめることができる形状であってもよい。この場合、ユーザがコントローラ５を誤って落とすことを防止できる。
【００３４】
本体装置２は、ユーザが選択した楽曲の演奏音を出力するとともに、大勢の観客が入場したライブ会場の様子が記録された映像をモニタ３に表示させる。つまり、モニタ３には、ライブ会場のステージに立つシンガー（ユーザ）を見ている大勢の観客の映像が表示される。
【００３５】
ユーザは、選択した楽曲の歌を歌うだけでなく、マイク４を通して画面３ａ内の観客に呼び掛けたり、マイク４を観客に向けたりすることにより、観客に対して様々なライブパフォーマンスを行う。本体装置２は、マイク４及びコントローラ５から送信される動き情報に基づいて、ユーザの両手の動きを検出する。本体装置２は、マイク４に入力された音声や、マイク４及びコントローラ５の動き情報に基づいて、ユーザのライブパフォーマンスを特定する。特定されたライブパフォーマンスに対する観客の反応を示す映像が、モニタ３に表示される。このように、ユーザは、カラオケシステム１を利用することにより、実際にライブ会場でライブを行うシンガーのように振る舞うことができるため、臨場感の高いライブ演奏を疑似的に体験することができる。
【００３６】
次に、本体装置２の構成について説明する。図２は、本体装置２の機能的構成を示すブロック図である。本体装置２は、無線通信部２１と、データ取得部２２と、再生部２３と、音声認識部２４と、パフォーマンス特定部２５と、反応指示部２６と、記憶部２７と、出力部２８とを備える。
【００３７】
無線通信部２１は、マイク４及びコントローラ５と無線通信を行い、マイク４及びコントローラ５から動き情報４２Ａ，５１Ａを取得する。無線通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信などを利用することができる。
【００３８】
データ取得部２２は、ユーザが選択した楽曲に対応する楽曲データ６１、観客映像データ６２、複数のリアクションデータ６３，６３・・・を、インターネット等を介して楽曲サーバから取得する。楽曲データ６１は、ユーザが選択した楽曲の演奏音を記録したデータである。観客映像データ６２は、ライブ会場に入場した大勢の観客（聴衆）の状況を示す聴衆状況データであり、観客の映像及び音声を記録したデータである。ここで、聴衆とは、ユーザが楽曲に合わせて歌う歌をライブ会場で鑑賞する人々を指し、観客を含む概念である。リアクションデータ６３は、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである。リアクションデータ６３は、複数のライブパフォーマンスのうちいずれか一つに対応するとともに、観客の反応レベルのいずれか一つに対応する。反応レベルの詳細については、後述する。
【００３９】
本実施の形態では、大勢の観客の状況を示す聴衆状況データとして、観客映像データ６２を用いる例を説明する。しかし、大勢の観客（聴衆）の状況を示す音声データを用いてもよい。具体的には、観客映像データ６２に代えて、観客（聴衆）の歓声などが記録された音声データなどを用いることができる。
【００４０】
再生部２３は、データ取得部２２が取得した楽曲データ６１及び観客映像データ６２を再生する。音声認識部２４は、マイク４から送信された音声データ４Ａに対し音声認識処理を行い、ユーザがマイク４に入力したフレーズを検出する。音声認識部２４は、検出したフレーズを示すフレーズ情報２４Ａを出力する。
【００４１】
パフォーマンス特定部２５は、フレーズ情報２４Ａと、動き情報４２Ａ，５１Ａとに基づいて、ユーザが行ったライブパフォーマンスを特定する。パフォーマンス特定部２５は、フレーズ情報２４Ａが特定のフレーズ（シンガーが観客に呼び掛けるフレーズ）を含み、かつ、ユーザが特定のフレーズに対応した動作を行ったと判断した場合、ユーザがライブパフォーマンスを行ったと判断する。
【００４２】
反応指示部２６は、特定されたライブパフォーマンスに対する観客の反応レベルを決定する。特定されたライブパフォーマンスと観客の反応レベルとに基づいて、観客のリアクションを示すリアクションデータ６３が選択される。反応指示部２６は、観客の反応レベルに基づいて、選択されたリアクションデータ６３の再生条件を決定する。再生条件とは、選択したリアクションデータ６３の再生時の音量などである。反応指示部２６は、選択したリアクションデータ６３を、決定した再生条件で再生することを再生部２３に指示する。
【００４３】
記憶部２７は、ハードディスク装置などであり、データ取得部２２が取得した楽曲データ６１、映像データ６２及びリアクションデータ６３，６３，・・・を格納する。出力部２８は、再生部２３により生成された音声及び映像を、モニタ３に出力する。
【００４４】
次に、マイク４の構成について説明する。図３は、マイク４の機能的構成を示すブロック図である。マイク４は、音声入力部４１と、センサ部４２と、無線通信部４３とを備える。
【００４５】
音声入力部４１は、ユーザが発する音声を入力して電気信号に変換し、音声データ４Ａを出力する。センサ部４２は、マイク４の動きの変化を検出する加速度センサを備えており、マイク４の動きを示す動き情報４２Ａを出力する。センサ部４２は、加速度センサの他に、地磁気センサやジャイロスコープなどを備えていてもよい。無線通信部４３は、本体装置２と無線通信を行い、音声データ４Ａ及び動き情報４２Ａを本体装置２に送信する。
【００４６】
次に、コントローラ５の構成について説明する。図４は、コントローラ５の機能的構成を示すブロック図である。コントローラ５は、センサ部５１と、無線通信部５２とを備える。センサ部５１は、マイク４のセンサ部４２と同様に加速度センサを備えており、コントローラ５の動きを示す動き情報５１Ａを出力する。無線通信部５２は、本体装置２と無線通信を行い、動き情報５１Ａを本体装置２に送信する。
【００４７】
なお、カラオケシステム１は、ユーザの動きを撮影するカメラを備えていてもよい。この場合、本体装置２は、映像データを解析してユーザの動きを検出する画像解析部を備える。カメラは、たとえば、モニタ３の上に設置され、ユーザを撮影した映像データをリアルタイムに本体装置２に出力する。ユーザがモニタ３及びカメラの前でライブパフォーマンスを行うことにより、画像処理部は、ユーザの動きを示す動き情報を生成して出力する。パフォーマンス特定部２５は、フレーズ情報２４Ａと、画像解析部から出力される動き情報とに基づいて、ユーザが行ったライブパフォーマンスを特定する。この場合、カラオケシステム１は、コントローラ５を備える必要はなく、マイク４にセンサ部４２を設けなくてもよい。
【００４８】
｛２．本体装置２の動作｝
以下、ユーザのライブパフォーマンスに応じて、モニタ３から出力される観客の映像及び音声が変更される処理について、本体装置２の動作を中心に説明する。以下の説明では、マイク４及びコントローラ５から送信される動き情報４２Ａ，５１Ａを用いる例について説明する。カメラを用いてユーザの動きを検出する場合であっても、同様の処理が行われる。
【００４９】
図５は、本体装置２の動作の流れを示すフローチャートである。最初に、ユーザは、図示しないリモコンを操作して、カラオケで歌いたい楽曲を選択する。データ取得部２２は、ユーザにより選択された楽曲に対応する楽曲データ６１と、観客映像データ６２と、リアクションデータ６３，６３，・・・とを楽曲サーバから取得して、記憶部２７に格納する（ステップＳ１）。
【００５０】
再生部２３は、楽曲データ６１及び観客映像データ６２の再生を開始する（ステップＳ２）。これにより、ユーザが選択した楽曲の演奏音と、ライブ会場でライブを楽しむ観客の映像及び歓声とが、モニタ３から出力される。
【００５１】
図６は、多くの観客の映像が表示されたモニタ３を示す図である。ユーザは、画面３ａに多くの観客の映像が表示されたモニタ３の前に立つことにより、画面３ａ内の多くの観客と向かい合う。すなわち、ユーザは、モニタ３に映し出された観客に対してライブを行うシンガーとして、楽曲の演奏音に合わせて歌う。ユーザは、ライブを行うシンガーとして、歌を歌いながら、様々なライブパフォーマンスを行うことができる。
【００５２】
本体装置２は、楽曲データ６１の再生が終了するまで（ステップＳ３においてＹｅｓ）、ステップＳ４〜ステップＳ９の処理を繰り返し実行する。
【００５３】
マイク４は、音声入力部４１に入力された音声フレーズを、音声データ４Ａとしてリアルタイムに本体装置２に送信している。本体装置２が音声データ４Ａを受信した場合（ステップＳ４においてＹｅｓ）、音声認識部２４は、音声データ４Ａに対する音声認識処理を実行する（ステップＳ５）。音声認識部２４は、ユーザの発した音声フレーズを記録したフレーズ情報２４Ａを出力する。パフォーマンス特定部２５は、フレーズ情報２４Ａに基づいて、ユーザが画面３ａ内の観客に対して特定のフレーズを呼び掛けた否かを判定する（ステップＳ６）。
【００５４】
フレーズ情報２４Ａが特定のフレーズを含まない場合（ステップＳ６においてＮｏ）、マイク４に入力された音声は、ユーザの歌声であると判定される。本体装置２は、ステップＳ３の処理に戻る。一方、フレーズ情報２４Ａが特定のフレーズを含む場合（ステップＳ６においてＹｅｓ）、パフォーマンス特定部２５は、ユーザが観客に特定のフレーズを呼び掛けたと判断する。そして、パフォーマンス特定部２５は、特定のフレーズに応じた動きをしたか否かを、動き情報４２Ａ，５１Ａに基づいて確認する。
【００５５】
マイク４は、センサ部４２が出力する動き情報４２Ａを本体装置２にリアルタイムに送信する。同様に、コントローラ５は、センサ部５１が出力する動き情報５１Ａを本体装置２にリアルタイムに送信する。パフォーマンス特定部２５は、動き情報４２Ａ，５１Ａに基づいて、特定のフレーズに応じた動きをユーザが行ったか否かを判定する（ステップＳ７）。
【００５６】
特定のフレーズに応じた動きが検出されなかった場合（ステップＳ７においてＮｏ）、本体装置２は、ステップＳ３の処理に戻る。
【００５７】
特定のフレーズに応じた動きが検出された場合（ステップＳ７においてＹｅｓ）、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対してライブパフォーマンスを行ったと判定する。ユーザが行うライブパフォーマンスとして、観客煽り、観客の合唱の先導、手拍子の先導などが挙げられる。
【００５８】
反応指示部２６は、フレーズ情報２４Ａ及び動き情報４２Ａ，５１Ａを用いて、ユーザのライブパフォーマンスに対する観客の反応レベルを決定する（ステップＳ８）。反応指示部２６は、ユーザが行ったライブパフォーマンスと、反応レベルとに基づいて、リアクションデータ６３を選択する。たとえば、反応レベルが高い場合、反応指示部２６は、ユーザのライブパフォーマンスに対して全観客が反応する映像が記録されたリアクションデータ６３を選択する。
【００５９】
反応指示部２６は、選択されたリアクションデータ６３の再生を、再生部２３に対して指示する。再生部２３は、指示されたリアクションデータ６３を、再生中の楽曲データ６１とともに再生する（ステップＳ９）。この結果、ユーザのライブパフォーマンスに対する観客のリアクションが画面３ａに表示されるとともに、楽曲の演奏音と、観客の歓声とが重なってモニタ３から出力される。
【００６０】
反応指示部２６は、リアクションデータ６３の再生条件を反応レベルに応じて変更してもよい。たとえば、反応レベルが高ければ、観客の歓声の音量を大きくしてもよい。反応レベルが低ければ、観客の歓声の音量を小さくしたり、観客の歓声が記録されたデータの再生速度を遅くしたりしてもよい。
【００６１】
図５に示すフローチャートでは、音声データ４Ａから特定のフレーズを検出した後に、検出した特定のフレーズに応じた動きが行われたか否かを判定している。しかし、ライブパフォーマンスの種別に応じて、ステップＳ４〜Ｓ６の処理と、動き検出（ステップＳ７）の処理の順序とを入れ替えてもよい。また、特定のフレーズ及びユーザの動きのいずれか一方に基づいて、ユーザのライブパフォーマンスを特定してもよい。
【００６２】
本実施の形態では、観客映像データ６２と、リアクションデータ６３とが異なるデータである例を説明しているが、これに限られない。たとえば、観客映像データ６２の各観客をオブジェクト化してもよい。この場合、本体装置２は、特定されたライブフォーマンと反応レベルとに基づいて、各観客オブジェクトの動きを変更する。たとえば、本体装置２は、特定されたライブパフォーマンスに対する観客の反応として、各観客オブジェクトの動作や歓声を変更することができる。また、反応指示部２６は、反応レベルに応じて、ユーザのライブパフォーマンスに対して反応する観客オブジェクトの割合を変化させることができる。
【００６３】
｛３．ライブパフォーマンスの具体例｝
以下、本体装置２が検出することができるライブパフォーマンスの具体例について説明する。
【００６４】
｛３．１．観客煽り｝
図７Ａ及び図７Ｂは、ユーザが画面３ａ内の観客３１に対して観客煽りを行う手順を示す図である。図７Ａ及び図７Ｂでは、画面３ａ内の観客３１の動きを分かりやすく説明するために、画面３ａ内に一人の観客３１のみを表示している。実際には、再生部２３が観客映像データ６２を再生することにより、ライブ会場と、ライブ会場に来ている多数の観客３１とが画面３ａに表示される。図７Ａ、図７Ｂにおいて、本体装置２及びコントローラ５の表示を省略している。
【００６５】
観客煽りとは、ライブ中のシンガーが質問形式のフレーズを観客に対して呼びかけ、観客がシンガーに対して一斉に返事をするというライブパフォーマンスである。ユーザは、楽曲の前奏あるいは間奏が再生されているときなどに、観客煽りを行うことができる。
【００６６】
本体装置２は、ライブパフォーマンスとして観客煽りを特定する場合、マイク４から送信される音声データ４Ａ及び動き情報４２Ａを使用し、コントローラ５から送信される動き情報５１Ａを使用しない。
【００６７】
本体装置２は、ライブパフォーマンスとして観客煽りを特定する場合、特定のフレーズの検出を先に行う。図７Ａに示すように、ユーザは、最初に、マイク４をユーザ自身に向けながら、たとえば、「のってるかーい？」という質問形式の特定のフレーズ（以下、「煽りフレーズ」と呼ぶ。）をマイク４に入力する。マイク４は、煽りフレーズを音声データ４Ａとして本体装置２に送信する。
【００６８】
音声認識部２４は、受信した音声データ４１Ａに対して音声認識処理を行って（ステップＳ５）、フレーズ情報２４Ａを生成する。パフォーマンス特定部２５には、シンガーがライブパフォーマンスの際に観客に呼び掛ける様々なフレーズが設定されている。パフォーマンス特定部２５は、フレーズ情報２４Ａと、設定された様々なフレーズとを比較することにより、ユーザが煽りフレーズを観客に呼び掛けたと判断する（ステップＳ６においてＹｅｓ）。
【００６９】
ユーザは、ユーザ自身に向けたマイク４に煽りフレーズを入力した後に、マイク４をユーザ自身の方向から画面３ａの方向に向ける。つまり、ユーザは、矢印４５（図７Ａ参照）に示すように、マイク４の向きを反転させる。マイク４のセンサ部４２は、ユーザの動きに応じた動き情報４２Ａを生成する。パフォーマンス特定部２５は、マイク４から送信された動き情報４２Ａに基づいて、マイク４の向きが反転されたと判定する。パフォーマンス特定部２５は、煽りフレーズがマイク４に入力され、かつ、マイク４の向きが反転されたことから、ユーザがライブパフォーマンスとして観客煽りを行ったと判定する（ステップＳ７においてＹｅｓ）。
【００７０】
反応指示部２６は、ユーザが行った観客煽りに対する観客の反応レベルを決定する（ステップＳ８）。反応指示部２６は、煽りフレーズが入力された音声入力タイミングと、マイクの反転が検出された動き検出タイミングとの時間差（検出時間差）に基づいて、反応レベルを決定する。音声入力タイミングは、フレーズ情報２４Ａに含まれている。動き検出タイミングは、動き情報４２Ａに含まれている。
【００７１】
反応指示部２６には、反応レベルが最大となる、音声検出タイミングと動き検出タイミングとの時間差（理想時間差）が設定されている。反応指示部２６は、理想時間差と、検出時間差とのずれの大きさに基づいて反応レベルを決定する。たとえば、ずれが小さい場合、反応指示部２６は、観客煽りがスムーズに行われたと判断して、反応レベルを高くする。一方、マイクを反転させるタイミングが遅い場合など、ずれが大きい場合、煽りフレーズに対する観客の反応がばらつくと考えられる。この場合、反応レベルは低下する。また、反応指示部２６は、ユーザが観客煽りを、楽曲データ６１のどの再生位置で行ったかを考慮して、反応レベルを決定してもよい。
【００７２】
反応指示部２６は、観客煽りに対するリアクションデータ６３を、決定した反応レベルに基づいて、記憶部２７に格納されたリアクションデータ６３，６３，・・・の中から選択する。反応レベルが高ければ、観客全員が観客煽りに対して反応する映像が記録されたリアクションデータ６３が選択される。反応レベルが低ければ、観客煽りに対して反応する観客の数が少ない映像が記録されたリアクションデータ６３が選択される。
【００７３】
反応指示部２６は、選択したリアクションデータ６３の再生を、再生部２３に指示する。このとき、選択されたリアクションデータ６３の再生条件も、再生部２３に通知される。再生条件は、観客煽りに対する反応レベルに基づいて決定される。たとえば、反応レベルが高ければ、リアクションデータ６３の再生時の音量が大きくなる。反応レベルが低ければ、リアクションデータ６３の再生時の音量を小さくしたり、観客の歓声の再生速度を小さくしたりすることができる。
【００７４】
再生部２３は、再生中の楽曲データに合わせて、反応指示部２６に指示されたリアクションデータ６３を再生する（ステップＳ９）。この結果、図７Ｂに示すように、観客煽りに対する観客の反応として、画面３ａ内の観客３１が右手を挙げるようすが画面３ａに表示されるとともに、「イェーイ！」という観客の歓声が再生される。実際には、画面３ａには、多くの観客が一斉に観客煽りに対して反応する様子が表示されるため、ユーザは、ライブ会場でのライブパフォーマンスを疑似的に体験することができる。観客煽りのやり方によっては、ライブ会場内の観客３１の反応が大きく変化するため、ユーザは、実際にライブを行うシンガーと同様の緊張感を楽しむことが可能となる。
【００７５】
｛３．２．合唱の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客に対して、ユーザが歌っている楽曲の合唱を先導することができる。図８Ａ及び図８Ｂは、ユーザが観客の合唱を先導する手順を示す図である。
【００７６】
図８Ａ及び図８Ｂは、図７Ａと同様に、画面３ａ内の観客の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図８Ａ、図８Ｂにおいて、本体装置２及びコントローラ５の表示を省略している。
【００７７】
本体装置２は、合唱を先導するライブパフォーマンスが行われたと判定する場合には、マイク４から送信される音声データ４Ａ及び動き情報４２Ａを使用する。コントローラ５から送信される動き情報５１Ａは、合唱の先導の判定に用いられない。
【００７８】
図８Ａに示すように、楽曲データ６１が再生されている間、画面３ａには、ライブ会場の観客の映像と、再生されている楽曲の歌詞３２とが表示されている。再生されている楽曲の中で観客の合唱が可能な部分（たとえば、楽曲のサビの部分）に対応する歌詞３２が、図８Ａに示すように、四角い枠で囲まれて表示される。これにより、ユーザは、合唱を先導するタイミングを知ることができる。
【００７９】
本体装置２は、ライブパフォーマンスとして合唱の先導を特定する場合、ユーザが合唱を観客に呼び掛ける音声フレーズ（以下、「合唱フレーズ」と呼ぶ。）を先に検出する。ユーザは、マイク４をユーザ自身に向けながら、たとえば、「一緒に歌おう！」という合唱フレーズをマイク４に入力する。マイク４は、入力された合唱フレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが合唱フレーズを呼び掛けたと判定する。
【００８０】
ユーザは、合唱フレーズをマイク４に入力した後に、マイク４を画面３ａの方向（矢印４５の方向）へ反転させる。パフォーマンス特定部２５は、マイク４から送信された動き情報４２Ａに基づいて、マイク４の向きが反転されたと判定する。パフォーマンス特定部２５は、合唱フレーズがマイク４に入力され、かつ、マイク４の向きが反転されたことから、ユーザがライブパフォーマンスとして合唱を先導していると判定する。
【００８１】
反応指示部２６は、ユーザが行った合唱の先導に対する反応レベルを決定する。反応レベルの決定手順については、上記と同様であるため、その説明を省略する。
【００８２】
反応指示部２６は、観客が合唱をするリアクションデータ６３，６３，・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。リアクションデータ６３の再生条件も再生部２３に通知される。これにより、合唱する観客の数や合唱の音量は、反応レベルに応じて変化する。図８Ｂに示すように、ユーザが行った合唱の要求に対する反応として、画面３ａ内の観客３１，３１が肩を組んで合唱する様子が表示される。また、ユーザが合唱を先導した歌詞に対応する観客の歌声が、モニタ３から出力される。実際には、画面３ａには、多くの観客が一斉に合唱をする様子が表示されるため、ユーザは、ライブ会場で、観客と一緒に歌を歌うというライブパフォーマンスを疑似的に体験することができる。
【００８３】
観客の合唱は、ユーザがマイク４を動かさない限り継続される。ユーザは、観客の合唱を停止させる場合、マイク４を画面３ａの方向からユーザ自身の方向へ反転させる。パフォーマンス特定部２５は、リアクションデータ６３の再生中にマイク４の向きが反転した場合、合唱を先導が終了したと判定する。これにより、楽曲データ６１及び観客映像データ６２の再生が再開される。
【００８４】
｛３．３．手拍子の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客３１に対して手拍子を先導する動作を行うことができる。図９Ａ及び図９Ｂは、ユーザが画面３ａ内の観客３１，３１に対して手拍子を先導する手順を示す図である。
【００８５】
図９Ａ及び図９Ｂは、図７Ａと同様に、画面３ａ内の観客３１の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図９Ａ、図９Ｂにおいて、本体装置２の表示を省略している。本体装置２は、手拍子の先導を検出する場合、マイク４から送信される音声データ４Ａ、動き情報４２Ａと、コントローラ５から送信される動き情報５１Ａを使用する。
【００８６】
図９Ａに示すように、楽曲データ６１が再生されている間、ユーザは、ライブパフォーマンスとして手拍子を先導することができる。本体装置２は、手拍子の先導を検出する場合、手拍子を先導する音声フレーズ（以下、「手拍子フレーズ」と呼ぶ。）を先に検出する（ステップＳ６においてＹｅｓ）。
【００８７】
具体的には、ユーザは、マイク４に手拍子フレーズを入力する。手拍子フレーズは、たとえば、「みんな、手拍子よろしく！！」などである。マイク４は、入力された手拍子フレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対して、手拍子フレーズを呼び掛けたと判定する。
【００８８】
ユーザは、手拍子フレーズをマイク４に入力した後に、手拍子を先導する動作を行う。図９Ｂに示すように、ユーザは、楽曲の演奏音（再生される楽曲データ６１）のリズムに合わせて手拍子をする。ユーザが右手にマイク４を、左手にコントローラ５を持っているため、マイク４及びコントローラ５は、手拍子の動きを示す動き情報４２Ａ，５１Ａを本体装置２に送信する。
【００８９】
パフォーマンス特定部２５は、受信した動き情報４２Ａ，５１Ａに基づいて、ユーザの両手の動きを検出する。たとえば、マイク４及びコントローラ５が左右に繰り返し動き、かつ、マイク４が動く方向とコントローラ５が動く方向とが反対方向である場合、パフォーマンス特定部２５は、ユーザが手拍子の動作をしていると判断することができる（ステップＳ７においてＹｅｓ）。つまり、パフォーマンス特定部２５が、手拍子フレーズと、手拍子の動作とを検出することにより、ユーザが手拍子を先導していると判断する。
【００９０】
反応指示部２６は、手拍子フレーズを検出したタイミングと、手拍子の動きを検出したタイミングとに基づいて、観客の反応レベルを決定する（ステップＳ８）。反応レベルの決定手順は、基本的には、観客煽りの反応レベルの決定と同様である。また、反応指示部２６は、動き情報４２Ａ，５１Ａを用いて、ユーザの手拍子のリズムを算出し、算出したリズムに基づいて、反応レベルを決定してもよい。たとえば、反応指示部２６は、楽曲の演奏音のリズムとユーザの手拍子のリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。
【００９１】
反応指示部２６は、観客が手拍子をするリアクションデータ６３，６３・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。リアクションデータ６３の再生条件も、再生部２３に通知される。これにより、楽曲データ６１とともに、観客が手拍子をするリアクションデータ６３が再生されることにより（ステップＳ９）、図９Ｂに示すように、画面３ａ内の観客３１，３１が頭上で手拍子をする映像が表示される。画面３ａに表示する観客のうち、手拍子をする観客の割合は、反応レベルによって変化する。また、手拍子の音量も、反応レベルに基づいて決められた再生条件によって変化する。
【００９２】
このように、ユーザが手拍子をする動きに合わせて、画面３ａ内の観客３１，３１が手拍子をする映像が表示されるため、ユーザは、ライブ会場で、観客と一体となって手拍子をするというライブパフォーマンスを疑似的に体験することができる。
【００９３】
｛３．４．ウェーブ（両手を大きく振る動作）の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客に対してウェーブを先導する動作を行うことができる。ウェーブとは、ライブ会場の観客が、ライブ中の楽曲に合わせて両手を左右に大きく振る動作である。図１０Ａ及び図１０Ｂは、ユーザがウェーブを先導する手順を示す図である。
【００９４】
図１０Ａ及び図１０Ｂは、図９Ａと同様に、画面３ａ内の観客の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図１０Ａ、図１０Ｂにおいて、本体装置２の表示を省略している。本体装置２は、ウェーブの先導を検出する場合、マイク４から送信される音声データ４Ａ，動き情報４２Ａと、コントローラ５から送信される動き情報５１Ａを使用する。
【００９５】
図１０Ａに示すように、楽曲データ６１が再生されている間、ユーザは、ライブパフォーマンスとしてウェーブを先導することができる。本体装置２は、ウェーブの先導を検出する場合、ウェーブを呼び掛ける音声フレーズ（以下、「ウェーブフレーズ」と呼ぶ。）を先に検出する。
【００９６】
具体的には、ユーザは、ウェーブフレーズをマイク４に入力する。ウェーブフレーズは、たとえば、「みんな、両手を大きく振って！！」である。マイク４は、入力されたウェーブフレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対してウェーブフレーズを呼び掛けたと判定する（ステップＳ６においてＹｅｓ）。
【００９７】
ユーザは、ウェーブフレーズをマイク４に入力した後に、ウェーブの動作を行う。図１０Ｂに示すように、ユーザは、楽曲の演奏音（再生される楽曲データ６１）のリズムに合わせて、頭上で両手を大きく振る。ユーザが右手にマイク４を、左手にコントローラ５を持っているため、マイク４及びコントローラ５は、ウェーブの動きを示す動き情報４２Ａ，５１Ａを本体装置２に送信する。
【００９８】
パフォーマンス特定部２５は、受信した動き情報４２Ａ，５１Ａに基づいて、ユーザの両手の動きを検出する。たとえば、パフォーマンス特定部２５が、マイク４及びコントローラ５が左右に繰り返し大きく動く動作を検出し、かつ、マイク４が動く方向と、コントローラ５が動く方向と一致する場合、ユーザがウェーブの動作をしていると判断する。
【００９９】
反応指示部２６は、ユーザがウェーブの先導をしていると判定した場合（ステップＳ７においてＹｅｓ）、観客の反応レベルを決定する（ステップＳ８）。ユーザが両手を振るリズムに基づいて、反応レベルが決定される。たとえば、反応指示部２６は、楽曲の演奏音のリズムと、ユーザのウェーブのリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。
【０１００】
反応指示部２６は、観客がウェーブをするリアクションデータ６３，６３，・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。これにより、再生される楽曲データ６１とともに、観客がウェーブをするリアクションデータ６３が再生されることにより（ステップＳ９）、図１０Ｂに示すように、画面３ａ内の観客３１，３１が頭上でウェーブをする映像が表示される。画面３ａに表示する観客のうち、ウェーブをする観客の割合は、反応レベルによって変化する。
【０１０１】
ユーザは、ライブパフォーマンスとして手拍子またはウェーブを先導する場合、手拍子フレーズまたはウェーブフレーズを画面３ａ内の観客に対して呼びかけなくてもよい。たとえば、本体装置２は、手拍子フレーズを検出せず、ユーザが手拍子をする動作のみを検出した場合であっても、観客が手拍子をするリアクションデータ６３を再生してもよい。
【０１０２】
ユーザは、コントローラ５を用いず、マイク４のみを用いて、手拍子またはウェーブを先導してもよい。パフォーマンス特定部２５は、マイク４が繰り返し左右に動いている場合に、ユーザが手拍子またはウェーブを先導していると判定すればよい。このとき、手拍子とウェーブとの違いは、ユーザがマイク４を左右に動かす大きさに区別すればよい。
【０１０３】
｛３．５．入場及び退場｝
ユーザは、ライブパフォーマンスとして、画面３ａに表示されているライブ会場に疑似的に入場したり、退場したりすることができる。
【０１０４】
最初に、ユーザがライブ会場に疑似的に入場するケースについて説明する。図１１は、ユーザがライブ会場に疑似的に入場する手順を示す図である。パフォーマンス特定部２５は、動き情報４２Ａ，５１Ａに代えて、マイク４からの無線信号の有無に基づいてユーザの動きを検出する。
【０１０５】
ユーザは、楽曲データ６１の再生が開始される前に、本体装置２が設置された部屋から出て待機する。このとき、本体装置２の無線通信部２１は、マイク４から送信される無線信号を検出することができない。
【０１０６】
楽曲データ６１の再生が開始された後に、ユーザは、マイク４を持って、カラオケシステム１が設置された部屋へ入る。無線通信部２１は、ユーザが入室した場合、マイク４からの無線信号を検出することができる。パフォーマンス特定部２５は、楽曲データ６１の再生が開始された後に、マイク４からの無線信号を検出した場合、ユーザがライブ会場に入場したと判定する。
【０１０７】
ユーザがライブ会場に入場したと判定された場合、反応指示部２６は、観客の反応レベルを決定する。反応指示部２６は、マイク４からの無線信号を検出したタイミングに基づいて、観客の反応レベルを決定する。
【０１０８】
反応指示部２６は、シンガーの入場時の観客の反応を示すリアクションデータ６３の再生を、再生部２３に指示する。このとき、リアクションデータ６３の再生条件も、再生部２３に指示される。再生部２３は、ユーザの入場に合わせて、観客が大きく盛り上がる映像と、観客の歓声とが記録されたリアクションデータ６３を再生する。観客の歓声の音量は、再生条件に応じて変更される。
【０１０９】
次に、ユーザのライブ会場からの退場について説明する。ユーザは、ライブ会場から疑似的に退場する場合、マイク４を持って部屋から退出する。無線通信部２１がマイク４からの無線信号を検出することができなった場合、パフォーマンス特定部２５は、ユーザがライブ会場から退出したと判定する。
【０１１０】
反応指示部２６は、ユーザがライブ会場から退場したと判定された場合、観客の反応レベルを決定する。反応指示部２６は、ユーザがライブ会場から退場したタイミングや、ユーザが退場するまでに行われたライブパフォーマンスの反応レベルに基づいて、退場時の反応レベルを決定する。反応レベルが高ければ、反応指示部２６は、観客がアンコールを要求するリアクションデータ６３の再生を再生部２３に指示する。一方、反応レベルが低ければ、反応指示部２６は、観客の歓声の音量を小さくするように再生部２３に指示したり、観客がブーイングをするリアクションデータ６３の再生を再生部２３に指示したりすることができる。
【０１１１】
また、マイク４に、ユーザが入場及び退場したことを通知するスイッチを設けてもよい。この場合、入場スイッチが押された場合、マイク４は、入場信号を本体装置２に送信する。退場スイッチが押された場合、マイク４は、退場信号を本体装置２に送信する。本体装置２は、入場信号及び退場信号の受信に応じて、観客の反応を変化させる。これにより、ユーザは、本体装置２が設置された部屋から出入りしなくてもよい。
【０１１２】
このように、ユーザは、歌を歌い出す前、あるいは、歌を歌い終わった後であっても、ライブの臨場感を疑似的に体験することが可能となる。
【０１１３】
｛３．６．その他のライブパフォーマンス｝
ユーザは、上述したライブパフォーマンスの他に、様々なライブパフォーマンスを行うことができる。
【０１１４】
たとえば、ユーザは、コントローラ５を持つ左手を大きく回しながら、右手にマイク４を持って歌ってもよい。この場合、コントローラ５は、コントローラ５が回転する動きを示す動き情報５１Ａを、本体装置２に送信する。パフォーマンス特定部２５は、動き情報５１Ａに基づいて、ユーザの左手の動きを特定する。この場合、ユーザの動きに合わせて観客が左手を回す映像が記録されたリアクションデータが、楽曲データ６１とともに再生される。
【０１１５】
ユーザは、上述のライブパフォーマンスを組み合わせたパフォーマンスを行ってもよい。たとえば、ユーザは、ライブパフォーマンスとして、合唱の先導とウェーブの先導とを同時に行ってもよい。ユーザは、合唱フレーズをマイク４に入力した後に、図１０Ｂに示すウェーブの動作を行う。パフォーマンス特定部２５は、検出した合唱フレーズに基づいて、ユーザが合唱を先導していると判定し、検出したユーザの両手の動きに基づいてウェーブを先導していると判定する。この結果、画面３ａには、観客がウェーブをする映像が表示される。また、再生中の楽曲の演奏音と、観客が合唱する歌声とが、同時にモニタ３から出力される。
【０１１６】
｛４．ライブパフォーマンス以外の機能｝
｛４．１．観客指定機能｝
ユーザは、カラオケシステム１を用いてカラオケをする場合、ライブ会場の観客の客層を指定することができる。ユーザは、設定した客層に応じたライブパフォーマンスを行う必要がある。
【０１１７】
図１２は、ライブの客層を設定する設定画面を示す図である。ユーザは、図示しないリモコンを操作して、観客の客層を性別、年齢に基づいて設定する。性別設定では、ユーザは、男性主体、女性主体、及び中間のいずれかを指定する。男性主体は、観客の男性の比率が、８０％に設定されることを示す。女性主体は、観客の女性の比率が、８０％に設定されることを示す。中間とは、観客の男性の比率と女性との比率が５０％ずつであることを示す。年齢設定では、ユーザは、１５〜２５歳、２５〜４５歳、及び４５歳以上のいずれかから選択する。年齢設定により、ユーザが選択した年齢層の観客の比率が、７０％に設定される。この結果、楽曲データ６１とともに、設定された客層に応じた観客映像データ６２が再生される。
【０１１８】
客層が設定された場合、観客の反応レベルは、ユーザが選択した楽曲や、ユーザが行うライブパフォーマンスに応じて変化する。このため、ユーザは、観客の客層を意識して、ライブパフォーマンスを行う必要がある。たとえば、ユーザは、４５歳以上で女性主体の客層を指定した場合、比較的ゆっくりとしたテンポの楽曲を選択し、観客に対して激しい動きを要求しないライブパフォーマンス（ウェーブ先導など）を行うことによって、反応レベルを上げることができる。一方、同様の客層でハードロック系の楽曲を先導し、ライブパフォーマンスとして観客煽りを繰り返し行った場合、観客の反応レベルは低くなる。このように、観客の客層を設定することにより、ユーザは、様々な観客を対象にしたライブを疑似的に経験することができる。
【０１１９】
｛４．２．対戦モード｝
カラオケシステム１は、複数のユーザがライブパフォーマンスの出来を競い合う対戦モードを実行することができる。以下、対戦モードの実行時における、本体装置２の動作について説明する。
【０１２０】
対戦モードでは、二人のユーザが交互にライブパフォーマンスを行う。ここでは、歌詞が３番まである楽曲を用いて、対戦が行われるケースを説明する。最初に、第１のユーザが、ライブパフォーマンスを行いながら、楽曲の１番を歌う。次に、第２のユーザがライブパフォーマンスを行いながら、楽曲の２番を歌う。このとき、第１のユーザ及び第２のユーザは、マイク４及びコントローラ５を共用する。しかし、複数のマイク４及びコントローラ５を、対戦モードを行う人数分用意してもよい。
【０１２１】
各ユーザが行うライブパフォーマンスは、本体装置２により採点される。第１のユーザ及び第２のユーザのうち、得点の高いユーザが、演奏中の楽曲の３番を歌うことができる。
【０１２２】
ライブパフォーマンスの採点方法について説明する。上述したように、本体装置２は、ユーザが行ったライブパフォーマンスを行うたびに反応レベルを決定している。本体装置２は、第１のユーザがライブパフォーマンスを行うたびに、決定した反応レベルに基づいて各パフォーマンスを採点する。第１ユーザが行ったライブパフォーマンスごとの点数の総和が、第１ユーザの得点として算出される。第２ユーザの得点も、同様に算出される。
【０１２３】
第２のユーザがライブパフォーマンスを終了した後に、各ユーザの得点が画面３ａに表示される。勝者となったユーザが、楽曲の３番でライブパフォーマンスを行うことができる。このように、対戦モードを設けることにより、複数のユーザがライブパフォーマンスを競い合うという新たなカラオケシステムを提供することができる。
【０１２４】
｛変形例｝
マイク４及びコントローラ５は、バイブレーション機能を備えていてもよい。たとえば、本体装置２の反応指示部２６は、観客の反応レベルが一定のレベルを超えた場合、マイク４及びコントローラ５に振動指示信号を送信する。マイク４及びコントローラ５は、振動指示信号を受信した場合、一定の時間（３秒程度）、自装置を振動させる。これにより、ユーザは、画面３ａ内の観客の映像だけでなく、マイク４及びコントローラ５を介して観客の反応を知ることができる。
【０１２５】
本体装置２は、ライブ会場の選択機能を設けてもよい。この場合、ユーザは、図示しないリモコンを操作することにより、アリーナ、野球場、及びコンサートホールなどをライブ会場として選択することができる。本体装置２は、選択された会場に応じた観客映像データを再生する。これにより、ユーザは、ライブのシンガーとして、様々なライブ会場でのライブパフォーマンスを疑似的に経験することができる。
【０１２６】
図２に示すように、本体装置２が音声認識部２４を備える例を説明したが、マイク４が音声認識部２４を備えていてもよい。マイク４は、フレーズ情報２４Ａが音声認識部２４により生成されるたびに、生成されたフレーズ情報２４をリアルタイムに本体装置２に送信する。
【０１２７】
リアクションデータ６３が、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである例を説明した。しかし、リアクションデータ６３は、聴衆の反応を示す音声のみが記録されたデータであってもよい。たとえば、観客煽りに対する観客の歓声や、手拍子の先導に対する手拍子、聴衆のブーイングなどが記録されたデータを、リアクションデータ６３として用いることができる。
【０１２８】
リアクションデータ６３は、上述のような、ライブパフォーマンスに対する観客の動作を具体的に示すデータでなく、観客の反応を象徴的に示すデータであってもよい。たとえば、リアクションデータ６３として、ライブ会場から複数の打ち上げ花火が上がる映像が記録されたデータを用いることができる。反応指示部２６が反応レベルに応じて打ち上げ花火の数を変更することにより、ユーザは、ライブパフォーマンスに対する観客の反応を知ることができる。あるいは、反応指示部２６は、反応レベルが低いときのリアクションデータ６３として、観客のいないライブ会場の映像が記録されたデータや、荒れ狂う海が記録されたデータを選択してもよい。
【符号の説明】
【０１２９】
１ カラオケシステム
２ 本体装置
３ モニタ
３ａ 画面
４ マイク
５ コントローラ
２１，４３，５２ 無線通信部
２２ データ取得部
２３ 再生部
２４ 音声認識部
２５ パフォーマンス特定部
２６ 反応指示部
４２、５１ センサ部
【技術分野】
【０００１】
本発明は、ユーザが再生される楽曲データに合わせて歌を歌うことができるアミューズメントシステムに関する。
【背景技術】
【０００２】
カラオケでは、ユーザが選択した楽曲の演奏に合わせて歌を歌う形式が一般的である。カラオケ装置のモニタには、ユーザが選択した楽曲の歌詞が、楽曲の演奏の進行に合わせて表示される。これにより、ユーザは、選択した楽曲の歌詞を全て覚えていなくても、カラオケを楽しむことができる。モニタに表示される歌詞の背景には、歌を歌うキャラクタの映像や、楽曲のイメージに合わせた映像などが表示される。
【０００３】
カラオケは、家族あるいは友人同士などの少人数のグループで楽しむことが多い。カラオケを盛り上げるために、歌を歌うユーザが好みのタイミングで効果音などを発生することができる装置が特許文献１に開示されている。
【０００４】
下記特許文献１に係る電子パーカッション装置は、マラカスなど打楽器の形状をしており、加速度センサを備えている。電子パーカッション装置は、楽曲の間奏が演奏されているときなど、自装置を操作することができるタイミングを、ＬＥＤを点灯させることによりユーザに通知する。ＬＥＤの点灯期間内にユーザが電子パーカッション装置を振ることによって、パーカッション音が再生される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２８７０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、カラオケは、少人数のグループで楽しむことが多い。ユーザが歌う歌を聞く人は、カラオケに参加した家族あるいは友人等に限られる。つまり、カラオケでは、ライブのシンガーのように、多くの観客に自分の歌を聴いてもらうという体験をすることができない。
【０００７】
そこで、本発明は、前記問題点に鑑み、臨場感の高いライブ演奏を疑似的に体験することができるアミューズメントシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、前記音声入力装置は、前記音声入力装置の動きを示す第１動き情報を出力する第１動き情報出力部、を含み、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。
【０００９】
請求項２記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、を備え、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部と、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。
【００１０】
請求項３記載の発明は、請求項１または請求項２に記載のアミューズメントシステムにおいて、前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択する。
【００１１】
請求項４記載の発明は、請求項３に記載のアミューズメントシステムにおいて、前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示する。
【００１２】
請求項５記載の発明は、請求項３または請求項４に記載のアミューズメントシステムにおいて、前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定する。
【００１３】
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択する。
【００１４】
請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択する。
【００１５】
請求項８記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択する。
【００１６】
請求項９記載の発明は、請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択する。
【００１７】
請求項１０記載の発明は、請求項１、請求項３ないし請求項９のいずれかに記載のアミューズメントシステムにおいて、さらに、前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、を備え、前記コントローラは、前記コントローラの動きを示す第２動き情報を出力する第２動き情報出力部、を含み、前記パフォーマンス特定部は、前記第２動き情報に基づいて、前記ユーザのパフォーマンスを特定する。
【００１８】
請求項１１記載の発明は、請求項３ないし請求項１０のいずれかに記載のアミューズメントシステムにおいて、前記反応指示部は、前記楽曲データの第１パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第２パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点する。
【００１９】
請求項１２記載の発明は、アミューズメントシステムであって、本体装置と、ユーザが保持する音声入力装置と、を備え、前記音声入力装置は、前記本体装置と無線通信を行う無線通信部、を含み、前記本体装置は、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、を含む。
【００２０】
請求項１３記載の発明は、請求項１２に記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定する。
【００２１】
請求項１４記載の発明は、請求項１２または請求項１３に記載のアミューズメントシステムにおいて、前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定する。
【００２２】
請求項１５記載の発明は、請求項１ないし請求項１４のいずれかに記載のアミューズメントシステムにおいて用いられる音声入力装置である。
【００２３】
請求項１６記載の発明は、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力し、自装置の動きを示す第１動き情報を出力する音声入力装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、通信可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。
【００２４】
請求項１７記載の発明は、ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、前記ユーザを撮影して映像データを出力する撮像装置と、前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、通信可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。
【００２５】
請求項１８記載の発明は、ユーザが保持する音声入力装置と無線通信が可能な本体装置に搭載されるコンピュータを、前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、として機能させるためのプログラムである。
【発明の効果】
【００２６】
本発明において、本体装置は、ライブの聴衆の状況を示す聴衆状況データを再生して、モニタなどに表示する。本体装置は、ユーザがマイクに入力したフレーズを示すフレーズ情報や、ユーザの動きを示す動き情報に基づいて、ユーザが行うライブパフォーマンスを特定し、ライブパフォーマンスに対する聴衆の反応を示すリアクションデータを再生する。これにより、ユーザは、表示された聴衆に対してライブ演奏を提供するシンガーとして振る舞いながら、カラオケを楽しむことができるとともに、臨場感の高いライブ演奏を疑似的に体験することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態によるカラオケシステムの全体図である。
【図２】本体装置の機能的構成を示すブロック図である。
【図３】マイクの機能的構成を示すブロック図である。
【図４】コントローラの機能的構成を示すブロック図である。
【図５】本体装置の動作の流れを示すフローチャートである。
【図６】モニタの画面に表示される観客の映像を示す図である。
【図７Ａ】画面内の観客に対して観客煽りを行う手順を示す図である。
【図７Ｂ】画面内の観客に対して観客煽りを行う手順を示す図である。
【図８Ａ】画面内の観客に対して合唱を先導する手順を示す図である。
【図８Ｂ】画面内の観客に対して合唱を先導する手順を示す図である。
【図９Ａ】画面内の観客に対して手拍子を先導する手順を示す図である。
【図９Ｂ】画面内の観客に対して手拍子を先導する手順を示す図である。
【図１０Ａ】画面内の観客に対してウェーブ（両手を大きく振る動作）を先導する手順を示す図である。
【図１０Ｂ】画面内の観客に対してウェーブを先導する手順を示す図である。
【図１１】ユーザがライブ会場に仮想的に入場する手順を示す図である。
【図１２】ライブの客層を設定する設定画面を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。本実施の形態では、アミューズメントシステムの一例として、カラオケシステムについて説明する。
【００２９】
｛１．カラオケシステム１の全体構成｝
図１は、カラオケシステム１の全体図である。カラオケシステム１は、本体装置２と、モニタ３と、マイク４と、コントローラ５とを備える。
【００３０】
本体装置２は、カラオケシステム１の全体制御を行う処理装置であり、ユーザが選択した楽曲に対応する楽曲データ及び映像データを再生する。ユーザは、図示しないリモコンを用いて、カラオケで歌う楽曲を選択する。
【００３１】
モニタ３は、液晶ディスプレイなどであり、本体装置２から出力される映像を表示する。モニタ３は、図示しないスピーカを備えており、本体装置２により再生される楽曲データを音声として出力する。
【００３２】
マイク４は、ユーザが歌を歌うときに音声を入力する音声入力装置である。マイク４は、自装置の動きを検出する動き検出機能を有し、ユーザの動きを示す動き情報を本体装置２に送信する。
【００３３】
コントローラ５は、自装置の動きを検出する動き検出機能を有しており、動き情報を本体装置２に送信する。ユーザは、一方の手にマイク４を持ち、他方の手にコントローラ５を持って歌を歌う。図１に示すように、コントローラ５は、直方体状の形状であるが、リストバンドのように、ユーザの腕にはめることができる形状であってもよい。この場合、ユーザがコントローラ５を誤って落とすことを防止できる。
【００３４】
本体装置２は、ユーザが選択した楽曲の演奏音を出力するとともに、大勢の観客が入場したライブ会場の様子が記録された映像をモニタ３に表示させる。つまり、モニタ３には、ライブ会場のステージに立つシンガー（ユーザ）を見ている大勢の観客の映像が表示される。
【００３５】
ユーザは、選択した楽曲の歌を歌うだけでなく、マイク４を通して画面３ａ内の観客に呼び掛けたり、マイク４を観客に向けたりすることにより、観客に対して様々なライブパフォーマンスを行う。本体装置２は、マイク４及びコントローラ５から送信される動き情報に基づいて、ユーザの両手の動きを検出する。本体装置２は、マイク４に入力された音声や、マイク４及びコントローラ５の動き情報に基づいて、ユーザのライブパフォーマンスを特定する。特定されたライブパフォーマンスに対する観客の反応を示す映像が、モニタ３に表示される。このように、ユーザは、カラオケシステム１を利用することにより、実際にライブ会場でライブを行うシンガーのように振る舞うことができるため、臨場感の高いライブ演奏を疑似的に体験することができる。
【００３６】
次に、本体装置２の構成について説明する。図２は、本体装置２の機能的構成を示すブロック図である。本体装置２は、無線通信部２１と、データ取得部２２と、再生部２３と、音声認識部２４と、パフォーマンス特定部２５と、反応指示部２６と、記憶部２７と、出力部２８とを備える。
【００３７】
無線通信部２１は、マイク４及びコントローラ５と無線通信を行い、マイク４及びコントローラ５から動き情報４２Ａ，５１Ａを取得する。無線通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信などを利用することができる。
【００３８】
データ取得部２２は、ユーザが選択した楽曲に対応する楽曲データ６１、観客映像データ６２、複数のリアクションデータ６３，６３・・・を、インターネット等を介して楽曲サーバから取得する。楽曲データ６１は、ユーザが選択した楽曲の演奏音を記録したデータである。観客映像データ６２は、ライブ会場に入場した大勢の観客（聴衆）の状況を示す聴衆状況データであり、観客の映像及び音声を記録したデータである。ここで、聴衆とは、ユーザが楽曲に合わせて歌う歌をライブ会場で鑑賞する人々を指し、観客を含む概念である。リアクションデータ６３は、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである。リアクションデータ６３は、複数のライブパフォーマンスのうちいずれか一つに対応するとともに、観客の反応レベルのいずれか一つに対応する。反応レベルの詳細については、後述する。
【００３９】
本実施の形態では、大勢の観客の状況を示す聴衆状況データとして、観客映像データ６２を用いる例を説明する。しかし、大勢の観客（聴衆）の状況を示す音声データを用いてもよい。具体的には、観客映像データ６２に代えて、観客（聴衆）の歓声などが記録された音声データなどを用いることができる。
【００４０】
再生部２３は、データ取得部２２が取得した楽曲データ６１及び観客映像データ６２を再生する。音声認識部２４は、マイク４から送信された音声データ４Ａに対し音声認識処理を行い、ユーザがマイク４に入力したフレーズを検出する。音声認識部２４は、検出したフレーズを示すフレーズ情報２４Ａを出力する。
【００４１】
パフォーマンス特定部２５は、フレーズ情報２４Ａと、動き情報４２Ａ，５１Ａとに基づいて、ユーザが行ったライブパフォーマンスを特定する。パフォーマンス特定部２５は、フレーズ情報２４Ａが特定のフレーズ（シンガーが観客に呼び掛けるフレーズ）を含み、かつ、ユーザが特定のフレーズに対応した動作を行ったと判断した場合、ユーザがライブパフォーマンスを行ったと判断する。
【００４２】
反応指示部２６は、特定されたライブパフォーマンスに対する観客の反応レベルを決定する。特定されたライブパフォーマンスと観客の反応レベルとに基づいて、観客のリアクションを示すリアクションデータ６３が選択される。反応指示部２６は、観客の反応レベルに基づいて、選択されたリアクションデータ６３の再生条件を決定する。再生条件とは、選択したリアクションデータ６３の再生時の音量などである。反応指示部２６は、選択したリアクションデータ６３を、決定した再生条件で再生することを再生部２３に指示する。
【００４３】
記憶部２７は、ハードディスク装置などであり、データ取得部２２が取得した楽曲データ６１、映像データ６２及びリアクションデータ６３，６３，・・・を格納する。出力部２８は、再生部２３により生成された音声及び映像を、モニタ３に出力する。
【００４４】
次に、マイク４の構成について説明する。図３は、マイク４の機能的構成を示すブロック図である。マイク４は、音声入力部４１と、センサ部４２と、無線通信部４３とを備える。
【００４５】
音声入力部４１は、ユーザが発する音声を入力して電気信号に変換し、音声データ４Ａを出力する。センサ部４２は、マイク４の動きの変化を検出する加速度センサを備えており、マイク４の動きを示す動き情報４２Ａを出力する。センサ部４２は、加速度センサの他に、地磁気センサやジャイロスコープなどを備えていてもよい。無線通信部４３は、本体装置２と無線通信を行い、音声データ４Ａ及び動き情報４２Ａを本体装置２に送信する。
【００４６】
次に、コントローラ５の構成について説明する。図４は、コントローラ５の機能的構成を示すブロック図である。コントローラ５は、センサ部５１と、無線通信部５２とを備える。センサ部５１は、マイク４のセンサ部４２と同様に加速度センサを備えており、コントローラ５の動きを示す動き情報５１Ａを出力する。無線通信部５２は、本体装置２と無線通信を行い、動き情報５１Ａを本体装置２に送信する。
【００４７】
なお、カラオケシステム１は、ユーザの動きを撮影するカメラを備えていてもよい。この場合、本体装置２は、映像データを解析してユーザの動きを検出する画像解析部を備える。カメラは、たとえば、モニタ３の上に設置され、ユーザを撮影した映像データをリアルタイムに本体装置２に出力する。ユーザがモニタ３及びカメラの前でライブパフォーマンスを行うことにより、画像処理部は、ユーザの動きを示す動き情報を生成して出力する。パフォーマンス特定部２５は、フレーズ情報２４Ａと、画像解析部から出力される動き情報とに基づいて、ユーザが行ったライブパフォーマンスを特定する。この場合、カラオケシステム１は、コントローラ５を備える必要はなく、マイク４にセンサ部４２を設けなくてもよい。
【００４８】
｛２．本体装置２の動作｝
以下、ユーザのライブパフォーマンスに応じて、モニタ３から出力される観客の映像及び音声が変更される処理について、本体装置２の動作を中心に説明する。以下の説明では、マイク４及びコントローラ５から送信される動き情報４２Ａ，５１Ａを用いる例について説明する。カメラを用いてユーザの動きを検出する場合であっても、同様の処理が行われる。
【００４９】
図５は、本体装置２の動作の流れを示すフローチャートである。最初に、ユーザは、図示しないリモコンを操作して、カラオケで歌いたい楽曲を選択する。データ取得部２２は、ユーザにより選択された楽曲に対応する楽曲データ６１と、観客映像データ６２と、リアクションデータ６３，６３，・・・とを楽曲サーバから取得して、記憶部２７に格納する（ステップＳ１）。
【００５０】
再生部２３は、楽曲データ６１及び観客映像データ６２の再生を開始する（ステップＳ２）。これにより、ユーザが選択した楽曲の演奏音と、ライブ会場でライブを楽しむ観客の映像及び歓声とが、モニタ３から出力される。
【００５１】
図６は、多くの観客の映像が表示されたモニタ３を示す図である。ユーザは、画面３ａに多くの観客の映像が表示されたモニタ３の前に立つことにより、画面３ａ内の多くの観客と向かい合う。すなわち、ユーザは、モニタ３に映し出された観客に対してライブを行うシンガーとして、楽曲の演奏音に合わせて歌う。ユーザは、ライブを行うシンガーとして、歌を歌いながら、様々なライブパフォーマンスを行うことができる。
【００５２】
本体装置２は、楽曲データ６１の再生が終了するまで（ステップＳ３においてＹｅｓ）、ステップＳ４〜ステップＳ９の処理を繰り返し実行する。
【００５３】
マイク４は、音声入力部４１に入力された音声フレーズを、音声データ４Ａとしてリアルタイムに本体装置２に送信している。本体装置２が音声データ４Ａを受信した場合（ステップＳ４においてＹｅｓ）、音声認識部２４は、音声データ４Ａに対する音声認識処理を実行する（ステップＳ５）。音声認識部２４は、ユーザの発した音声フレーズを記録したフレーズ情報２４Ａを出力する。パフォーマンス特定部２５は、フレーズ情報２４Ａに基づいて、ユーザが画面３ａ内の観客に対して特定のフレーズを呼び掛けた否かを判定する（ステップＳ６）。
【００５４】
フレーズ情報２４Ａが特定のフレーズを含まない場合（ステップＳ６においてＮｏ）、マイク４に入力された音声は、ユーザの歌声であると判定される。本体装置２は、ステップＳ３の処理に戻る。一方、フレーズ情報２４Ａが特定のフレーズを含む場合（ステップＳ６においてＹｅｓ）、パフォーマンス特定部２５は、ユーザが観客に特定のフレーズを呼び掛けたと判断する。そして、パフォーマンス特定部２５は、特定のフレーズに応じた動きをしたか否かを、動き情報４２Ａ，５１Ａに基づいて確認する。
【００５５】
マイク４は、センサ部４２が出力する動き情報４２Ａを本体装置２にリアルタイムに送信する。同様に、コントローラ５は、センサ部５１が出力する動き情報５１Ａを本体装置２にリアルタイムに送信する。パフォーマンス特定部２５は、動き情報４２Ａ，５１Ａに基づいて、特定のフレーズに応じた動きをユーザが行ったか否かを判定する（ステップＳ７）。
【００５６】
特定のフレーズに応じた動きが検出されなかった場合（ステップＳ７においてＮｏ）、本体装置２は、ステップＳ３の処理に戻る。
【００５７】
特定のフレーズに応じた動きが検出された場合（ステップＳ７においてＹｅｓ）、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対してライブパフォーマンスを行ったと判定する。ユーザが行うライブパフォーマンスとして、観客煽り、観客の合唱の先導、手拍子の先導などが挙げられる。
【００５８】
反応指示部２６は、フレーズ情報２４Ａ及び動き情報４２Ａ，５１Ａを用いて、ユーザのライブパフォーマンスに対する観客の反応レベルを決定する（ステップＳ８）。反応指示部２６は、ユーザが行ったライブパフォーマンスと、反応レベルとに基づいて、リアクションデータ６３を選択する。たとえば、反応レベルが高い場合、反応指示部２６は、ユーザのライブパフォーマンスに対して全観客が反応する映像が記録されたリアクションデータ６３を選択する。
【００５９】
反応指示部２６は、選択されたリアクションデータ６３の再生を、再生部２３に対して指示する。再生部２３は、指示されたリアクションデータ６３を、再生中の楽曲データ６１とともに再生する（ステップＳ９）。この結果、ユーザのライブパフォーマンスに対する観客のリアクションが画面３ａに表示されるとともに、楽曲の演奏音と、観客の歓声とが重なってモニタ３から出力される。
【００６０】
反応指示部２６は、リアクションデータ６３の再生条件を反応レベルに応じて変更してもよい。たとえば、反応レベルが高ければ、観客の歓声の音量を大きくしてもよい。反応レベルが低ければ、観客の歓声の音量を小さくしたり、観客の歓声が記録されたデータの再生速度を遅くしたりしてもよい。
【００６１】
図５に示すフローチャートでは、音声データ４Ａから特定のフレーズを検出した後に、検出した特定のフレーズに応じた動きが行われたか否かを判定している。しかし、ライブパフォーマンスの種別に応じて、ステップＳ４〜Ｓ６の処理と、動き検出（ステップＳ７）の処理の順序とを入れ替えてもよい。また、特定のフレーズ及びユーザの動きのいずれか一方に基づいて、ユーザのライブパフォーマンスを特定してもよい。
【００６２】
本実施の形態では、観客映像データ６２と、リアクションデータ６３とが異なるデータである例を説明しているが、これに限られない。たとえば、観客映像データ６２の各観客をオブジェクト化してもよい。この場合、本体装置２は、特定されたライブフォーマンと反応レベルとに基づいて、各観客オブジェクトの動きを変更する。たとえば、本体装置２は、特定されたライブパフォーマンスに対する観客の反応として、各観客オブジェクトの動作や歓声を変更することができる。また、反応指示部２６は、反応レベルに応じて、ユーザのライブパフォーマンスに対して反応する観客オブジェクトの割合を変化させることができる。
【００６３】
｛３．ライブパフォーマンスの具体例｝
以下、本体装置２が検出することができるライブパフォーマンスの具体例について説明する。
【００６４】
｛３．１．観客煽り｝
図７Ａ及び図７Ｂは、ユーザが画面３ａ内の観客３１に対して観客煽りを行う手順を示す図である。図７Ａ及び図７Ｂでは、画面３ａ内の観客３１の動きを分かりやすく説明するために、画面３ａ内に一人の観客３１のみを表示している。実際には、再生部２３が観客映像データ６２を再生することにより、ライブ会場と、ライブ会場に来ている多数の観客３１とが画面３ａに表示される。図７Ａ、図７Ｂにおいて、本体装置２及びコントローラ５の表示を省略している。
【００６５】
観客煽りとは、ライブ中のシンガーが質問形式のフレーズを観客に対して呼びかけ、観客がシンガーに対して一斉に返事をするというライブパフォーマンスである。ユーザは、楽曲の前奏あるいは間奏が再生されているときなどに、観客煽りを行うことができる。
【００６６】
本体装置２は、ライブパフォーマンスとして観客煽りを特定する場合、マイク４から送信される音声データ４Ａ及び動き情報４２Ａを使用し、コントローラ５から送信される動き情報５１Ａを使用しない。
【００６７】
本体装置２は、ライブパフォーマンスとして観客煽りを特定する場合、特定のフレーズの検出を先に行う。図７Ａに示すように、ユーザは、最初に、マイク４をユーザ自身に向けながら、たとえば、「のってるかーい？」という質問形式の特定のフレーズ（以下、「煽りフレーズ」と呼ぶ。）をマイク４に入力する。マイク４は、煽りフレーズを音声データ４Ａとして本体装置２に送信する。
【００６８】
音声認識部２４は、受信した音声データ４１Ａに対して音声認識処理を行って（ステップＳ５）、フレーズ情報２４Ａを生成する。パフォーマンス特定部２５には、シンガーがライブパフォーマンスの際に観客に呼び掛ける様々なフレーズが設定されている。パフォーマンス特定部２５は、フレーズ情報２４Ａと、設定された様々なフレーズとを比較することにより、ユーザが煽りフレーズを観客に呼び掛けたと判断する（ステップＳ６においてＹｅｓ）。
【００６９】
ユーザは、ユーザ自身に向けたマイク４に煽りフレーズを入力した後に、マイク４をユーザ自身の方向から画面３ａの方向に向ける。つまり、ユーザは、矢印４５（図７Ａ参照）に示すように、マイク４の向きを反転させる。マイク４のセンサ部４２は、ユーザの動きに応じた動き情報４２Ａを生成する。パフォーマンス特定部２５は、マイク４から送信された動き情報４２Ａに基づいて、マイク４の向きが反転されたと判定する。パフォーマンス特定部２５は、煽りフレーズがマイク４に入力され、かつ、マイク４の向きが反転されたことから、ユーザがライブパフォーマンスとして観客煽りを行ったと判定する（ステップＳ７においてＹｅｓ）。
【００７０】
反応指示部２６は、ユーザが行った観客煽りに対する観客の反応レベルを決定する（ステップＳ８）。反応指示部２６は、煽りフレーズが入力された音声入力タイミングと、マイクの反転が検出された動き検出タイミングとの時間差（検出時間差）に基づいて、反応レベルを決定する。音声入力タイミングは、フレーズ情報２４Ａに含まれている。動き検出タイミングは、動き情報４２Ａに含まれている。
【００７１】
反応指示部２６には、反応レベルが最大となる、音声検出タイミングと動き検出タイミングとの時間差（理想時間差）が設定されている。反応指示部２６は、理想時間差と、検出時間差とのずれの大きさに基づいて反応レベルを決定する。たとえば、ずれが小さい場合、反応指示部２６は、観客煽りがスムーズに行われたと判断して、反応レベルを高くする。一方、マイクを反転させるタイミングが遅い場合など、ずれが大きい場合、煽りフレーズに対する観客の反応がばらつくと考えられる。この場合、反応レベルは低下する。また、反応指示部２６は、ユーザが観客煽りを、楽曲データ６１のどの再生位置で行ったかを考慮して、反応レベルを決定してもよい。
【００７２】
反応指示部２６は、観客煽りに対するリアクションデータ６３を、決定した反応レベルに基づいて、記憶部２７に格納されたリアクションデータ６３，６３，・・・の中から選択する。反応レベルが高ければ、観客全員が観客煽りに対して反応する映像が記録されたリアクションデータ６３が選択される。反応レベルが低ければ、観客煽りに対して反応する観客の数が少ない映像が記録されたリアクションデータ６３が選択される。
【００７３】
反応指示部２６は、選択したリアクションデータ６３の再生を、再生部２３に指示する。このとき、選択されたリアクションデータ６３の再生条件も、再生部２３に通知される。再生条件は、観客煽りに対する反応レベルに基づいて決定される。たとえば、反応レベルが高ければ、リアクションデータ６３の再生時の音量が大きくなる。反応レベルが低ければ、リアクションデータ６３の再生時の音量を小さくしたり、観客の歓声の再生速度を小さくしたりすることができる。
【００７４】
再生部２３は、再生中の楽曲データに合わせて、反応指示部２６に指示されたリアクションデータ６３を再生する（ステップＳ９）。この結果、図７Ｂに示すように、観客煽りに対する観客の反応として、画面３ａ内の観客３１が右手を挙げるようすが画面３ａに表示されるとともに、「イェーイ！」という観客の歓声が再生される。実際には、画面３ａには、多くの観客が一斉に観客煽りに対して反応する様子が表示されるため、ユーザは、ライブ会場でのライブパフォーマンスを疑似的に体験することができる。観客煽りのやり方によっては、ライブ会場内の観客３１の反応が大きく変化するため、ユーザは、実際にライブを行うシンガーと同様の緊張感を楽しむことが可能となる。
【００７５】
｛３．２．合唱の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客に対して、ユーザが歌っている楽曲の合唱を先導することができる。図８Ａ及び図８Ｂは、ユーザが観客の合唱を先導する手順を示す図である。
【００７６】
図８Ａ及び図８Ｂは、図７Ａと同様に、画面３ａ内の観客の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図８Ａ、図８Ｂにおいて、本体装置２及びコントローラ５の表示を省略している。
【００７７】
本体装置２は、合唱を先導するライブパフォーマンスが行われたと判定する場合には、マイク４から送信される音声データ４Ａ及び動き情報４２Ａを使用する。コントローラ５から送信される動き情報５１Ａは、合唱の先導の判定に用いられない。
【００７８】
図８Ａに示すように、楽曲データ６１が再生されている間、画面３ａには、ライブ会場の観客の映像と、再生されている楽曲の歌詞３２とが表示されている。再生されている楽曲の中で観客の合唱が可能な部分（たとえば、楽曲のサビの部分）に対応する歌詞３２が、図８Ａに示すように、四角い枠で囲まれて表示される。これにより、ユーザは、合唱を先導するタイミングを知ることができる。
【００７９】
本体装置２は、ライブパフォーマンスとして合唱の先導を特定する場合、ユーザが合唱を観客に呼び掛ける音声フレーズ（以下、「合唱フレーズ」と呼ぶ。）を先に検出する。ユーザは、マイク４をユーザ自身に向けながら、たとえば、「一緒に歌おう！」という合唱フレーズをマイク４に入力する。マイク４は、入力された合唱フレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが合唱フレーズを呼び掛けたと判定する。
【００８０】
ユーザは、合唱フレーズをマイク４に入力した後に、マイク４を画面３ａの方向（矢印４５の方向）へ反転させる。パフォーマンス特定部２５は、マイク４から送信された動き情報４２Ａに基づいて、マイク４の向きが反転されたと判定する。パフォーマンス特定部２５は、合唱フレーズがマイク４に入力され、かつ、マイク４の向きが反転されたことから、ユーザがライブパフォーマンスとして合唱を先導していると判定する。
【００８１】
反応指示部２６は、ユーザが行った合唱の先導に対する反応レベルを決定する。反応レベルの決定手順については、上記と同様であるため、その説明を省略する。
【００８２】
反応指示部２６は、観客が合唱をするリアクションデータ６３，６３，・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。リアクションデータ６３の再生条件も再生部２３に通知される。これにより、合唱する観客の数や合唱の音量は、反応レベルに応じて変化する。図８Ｂに示すように、ユーザが行った合唱の要求に対する反応として、画面３ａ内の観客３１，３１が肩を組んで合唱する様子が表示される。また、ユーザが合唱を先導した歌詞に対応する観客の歌声が、モニタ３から出力される。実際には、画面３ａには、多くの観客が一斉に合唱をする様子が表示されるため、ユーザは、ライブ会場で、観客と一緒に歌を歌うというライブパフォーマンスを疑似的に体験することができる。
【００８３】
観客の合唱は、ユーザがマイク４を動かさない限り継続される。ユーザは、観客の合唱を停止させる場合、マイク４を画面３ａの方向からユーザ自身の方向へ反転させる。パフォーマンス特定部２５は、リアクションデータ６３の再生中にマイク４の向きが反転した場合、合唱を先導が終了したと判定する。これにより、楽曲データ６１及び観客映像データ６２の再生が再開される。
【００８４】
｛３．３．手拍子の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客３１に対して手拍子を先導する動作を行うことができる。図９Ａ及び図９Ｂは、ユーザが画面３ａ内の観客３１，３１に対して手拍子を先導する手順を示す図である。
【００８５】
図９Ａ及び図９Ｂは、図７Ａと同様に、画面３ａ内の観客３１の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図９Ａ、図９Ｂにおいて、本体装置２の表示を省略している。本体装置２は、手拍子の先導を検出する場合、マイク４から送信される音声データ４Ａ、動き情報４２Ａと、コントローラ５から送信される動き情報５１Ａを使用する。
【００８６】
図９Ａに示すように、楽曲データ６１が再生されている間、ユーザは、ライブパフォーマンスとして手拍子を先導することができる。本体装置２は、手拍子の先導を検出する場合、手拍子を先導する音声フレーズ（以下、「手拍子フレーズ」と呼ぶ。）を先に検出する（ステップＳ６においてＹｅｓ）。
【００８７】
具体的には、ユーザは、マイク４に手拍子フレーズを入力する。手拍子フレーズは、たとえば、「みんな、手拍子よろしく！！」などである。マイク４は、入力された手拍子フレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対して、手拍子フレーズを呼び掛けたと判定する。
【００８８】
ユーザは、手拍子フレーズをマイク４に入力した後に、手拍子を先導する動作を行う。図９Ｂに示すように、ユーザは、楽曲の演奏音（再生される楽曲データ６１）のリズムに合わせて手拍子をする。ユーザが右手にマイク４を、左手にコントローラ５を持っているため、マイク４及びコントローラ５は、手拍子の動きを示す動き情報４２Ａ，５１Ａを本体装置２に送信する。
【００８９】
パフォーマンス特定部２５は、受信した動き情報４２Ａ，５１Ａに基づいて、ユーザの両手の動きを検出する。たとえば、マイク４及びコントローラ５が左右に繰り返し動き、かつ、マイク４が動く方向とコントローラ５が動く方向とが反対方向である場合、パフォーマンス特定部２５は、ユーザが手拍子の動作をしていると判断することができる（ステップＳ７においてＹｅｓ）。つまり、パフォーマンス特定部２５が、手拍子フレーズと、手拍子の動作とを検出することにより、ユーザが手拍子を先導していると判断する。
【００９０】
反応指示部２６は、手拍子フレーズを検出したタイミングと、手拍子の動きを検出したタイミングとに基づいて、観客の反応レベルを決定する（ステップＳ８）。反応レベルの決定手順は、基本的には、観客煽りの反応レベルの決定と同様である。また、反応指示部２６は、動き情報４２Ａ，５１Ａを用いて、ユーザの手拍子のリズムを算出し、算出したリズムに基づいて、反応レベルを決定してもよい。たとえば、反応指示部２６は、楽曲の演奏音のリズムとユーザの手拍子のリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。
【００９１】
反応指示部２６は、観客が手拍子をするリアクションデータ６３，６３・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。リアクションデータ６３の再生条件も、再生部２３に通知される。これにより、楽曲データ６１とともに、観客が手拍子をするリアクションデータ６３が再生されることにより（ステップＳ９）、図９Ｂに示すように、画面３ａ内の観客３１，３１が頭上で手拍子をする映像が表示される。画面３ａに表示する観客のうち、手拍子をする観客の割合は、反応レベルによって変化する。また、手拍子の音量も、反応レベルに基づいて決められた再生条件によって変化する。
【００９２】
このように、ユーザが手拍子をする動きに合わせて、画面３ａ内の観客３１，３１が手拍子をする映像が表示されるため、ユーザは、ライブ会場で、観客と一体となって手拍子をするというライブパフォーマンスを疑似的に体験することができる。
【００９３】
｛３．４．ウェーブ（両手を大きく振る動作）の先導｝
ユーザは、ライブパフォーマンスとして、画面３ａ内の観客に対してウェーブを先導する動作を行うことができる。ウェーブとは、ライブ会場の観客が、ライブ中の楽曲に合わせて両手を左右に大きく振る動作である。図１０Ａ及び図１０Ｂは、ユーザがウェーブを先導する手順を示す図である。
【００９４】
図１０Ａ及び図１０Ｂは、図９Ａと同様に、画面３ａ内の観客の動きを分かりやすく説明するために、二人の観客３１，３１のみを表示している。図１０Ａ、図１０Ｂにおいて、本体装置２の表示を省略している。本体装置２は、ウェーブの先導を検出する場合、マイク４から送信される音声データ４Ａ，動き情報４２Ａと、コントローラ５から送信される動き情報５１Ａを使用する。
【００９５】
図１０Ａに示すように、楽曲データ６１が再生されている間、ユーザは、ライブパフォーマンスとしてウェーブを先導することができる。本体装置２は、ウェーブの先導を検出する場合、ウェーブを呼び掛ける音声フレーズ（以下、「ウェーブフレーズ」と呼ぶ。）を先に検出する。
【００９６】
具体的には、ユーザは、ウェーブフレーズをマイク４に入力する。ウェーブフレーズは、たとえば、「みんな、両手を大きく振って！！」である。マイク４は、入力されたウェーブフレーズを音声データ４Ａとして本体装置２に送信する。上記と同様の手順で、パフォーマンス特定部２５は、ユーザが画面３ａ内の観客に対してウェーブフレーズを呼び掛けたと判定する（ステップＳ６においてＹｅｓ）。
【００９７】
ユーザは、ウェーブフレーズをマイク４に入力した後に、ウェーブの動作を行う。図１０Ｂに示すように、ユーザは、楽曲の演奏音（再生される楽曲データ６１）のリズムに合わせて、頭上で両手を大きく振る。ユーザが右手にマイク４を、左手にコントローラ５を持っているため、マイク４及びコントローラ５は、ウェーブの動きを示す動き情報４２Ａ，５１Ａを本体装置２に送信する。
【００９８】
パフォーマンス特定部２５は、受信した動き情報４２Ａ，５１Ａに基づいて、ユーザの両手の動きを検出する。たとえば、パフォーマンス特定部２５が、マイク４及びコントローラ５が左右に繰り返し大きく動く動作を検出し、かつ、マイク４が動く方向と、コントローラ５が動く方向と一致する場合、ユーザがウェーブの動作をしていると判断する。
【００９９】
反応指示部２６は、ユーザがウェーブの先導をしていると判定した場合（ステップＳ７においてＹｅｓ）、観客の反応レベルを決定する（ステップＳ８）。ユーザが両手を振るリズムに基づいて、反応レベルが決定される。たとえば、反応指示部２６は、楽曲の演奏音のリズムと、ユーザのウェーブのリズムとのずれを検出し、検出したずれが小さいほど、反応レベルを高くすることができる。
【０１００】
反応指示部２６は、観客がウェーブをするリアクションデータ６３，６３，・・・のうち、決定した反応レベルに対応するリアクションデータ６３の再生を指示する。これにより、再生される楽曲データ６１とともに、観客がウェーブをするリアクションデータ６３が再生されることにより（ステップＳ９）、図１０Ｂに示すように、画面３ａ内の観客３１，３１が頭上でウェーブをする映像が表示される。画面３ａに表示する観客のうち、ウェーブをする観客の割合は、反応レベルによって変化する。
【０１０１】
ユーザは、ライブパフォーマンスとして手拍子またはウェーブを先導する場合、手拍子フレーズまたはウェーブフレーズを画面３ａ内の観客に対して呼びかけなくてもよい。たとえば、本体装置２は、手拍子フレーズを検出せず、ユーザが手拍子をする動作のみを検出した場合であっても、観客が手拍子をするリアクションデータ６３を再生してもよい。
【０１０２】
ユーザは、コントローラ５を用いず、マイク４のみを用いて、手拍子またはウェーブを先導してもよい。パフォーマンス特定部２５は、マイク４が繰り返し左右に動いている場合に、ユーザが手拍子またはウェーブを先導していると判定すればよい。このとき、手拍子とウェーブとの違いは、ユーザがマイク４を左右に動かす大きさに区別すればよい。
【０１０３】
｛３．５．入場及び退場｝
ユーザは、ライブパフォーマンスとして、画面３ａに表示されているライブ会場に疑似的に入場したり、退場したりすることができる。
【０１０４】
最初に、ユーザがライブ会場に疑似的に入場するケースについて説明する。図１１は、ユーザがライブ会場に疑似的に入場する手順を示す図である。パフォーマンス特定部２５は、動き情報４２Ａ，５１Ａに代えて、マイク４からの無線信号の有無に基づいてユーザの動きを検出する。
【０１０５】
ユーザは、楽曲データ６１の再生が開始される前に、本体装置２が設置された部屋から出て待機する。このとき、本体装置２の無線通信部２１は、マイク４から送信される無線信号を検出することができない。
【０１０６】
楽曲データ６１の再生が開始された後に、ユーザは、マイク４を持って、カラオケシステム１が設置された部屋へ入る。無線通信部２１は、ユーザが入室した場合、マイク４からの無線信号を検出することができる。パフォーマンス特定部２５は、楽曲データ６１の再生が開始された後に、マイク４からの無線信号を検出した場合、ユーザがライブ会場に入場したと判定する。
【０１０７】
ユーザがライブ会場に入場したと判定された場合、反応指示部２６は、観客の反応レベルを決定する。反応指示部２６は、マイク４からの無線信号を検出したタイミングに基づいて、観客の反応レベルを決定する。
【０１０８】
反応指示部２６は、シンガーの入場時の観客の反応を示すリアクションデータ６３の再生を、再生部２３に指示する。このとき、リアクションデータ６３の再生条件も、再生部２３に指示される。再生部２３は、ユーザの入場に合わせて、観客が大きく盛り上がる映像と、観客の歓声とが記録されたリアクションデータ６３を再生する。観客の歓声の音量は、再生条件に応じて変更される。
【０１０９】
次に、ユーザのライブ会場からの退場について説明する。ユーザは、ライブ会場から疑似的に退場する場合、マイク４を持って部屋から退出する。無線通信部２１がマイク４からの無線信号を検出することができなった場合、パフォーマンス特定部２５は、ユーザがライブ会場から退出したと判定する。
【０１１０】
反応指示部２６は、ユーザがライブ会場から退場したと判定された場合、観客の反応レベルを決定する。反応指示部２６は、ユーザがライブ会場から退場したタイミングや、ユーザが退場するまでに行われたライブパフォーマンスの反応レベルに基づいて、退場時の反応レベルを決定する。反応レベルが高ければ、反応指示部２６は、観客がアンコールを要求するリアクションデータ６３の再生を再生部２３に指示する。一方、反応レベルが低ければ、反応指示部２６は、観客の歓声の音量を小さくするように再生部２３に指示したり、観客がブーイングをするリアクションデータ６３の再生を再生部２３に指示したりすることができる。
【０１１１】
また、マイク４に、ユーザが入場及び退場したことを通知するスイッチを設けてもよい。この場合、入場スイッチが押された場合、マイク４は、入場信号を本体装置２に送信する。退場スイッチが押された場合、マイク４は、退場信号を本体装置２に送信する。本体装置２は、入場信号及び退場信号の受信に応じて、観客の反応を変化させる。これにより、ユーザは、本体装置２が設置された部屋から出入りしなくてもよい。
【０１１２】
このように、ユーザは、歌を歌い出す前、あるいは、歌を歌い終わった後であっても、ライブの臨場感を疑似的に体験することが可能となる。
【０１１３】
｛３．６．その他のライブパフォーマンス｝
ユーザは、上述したライブパフォーマンスの他に、様々なライブパフォーマンスを行うことができる。
【０１１４】
たとえば、ユーザは、コントローラ５を持つ左手を大きく回しながら、右手にマイク４を持って歌ってもよい。この場合、コントローラ５は、コントローラ５が回転する動きを示す動き情報５１Ａを、本体装置２に送信する。パフォーマンス特定部２５は、動き情報５１Ａに基づいて、ユーザの左手の動きを特定する。この場合、ユーザの動きに合わせて観客が左手を回す映像が記録されたリアクションデータが、楽曲データ６１とともに再生される。
【０１１５】
ユーザは、上述のライブパフォーマンスを組み合わせたパフォーマンスを行ってもよい。たとえば、ユーザは、ライブパフォーマンスとして、合唱の先導とウェーブの先導とを同時に行ってもよい。ユーザは、合唱フレーズをマイク４に入力した後に、図１０Ｂに示すウェーブの動作を行う。パフォーマンス特定部２５は、検出した合唱フレーズに基づいて、ユーザが合唱を先導していると判定し、検出したユーザの両手の動きに基づいてウェーブを先導していると判定する。この結果、画面３ａには、観客がウェーブをする映像が表示される。また、再生中の楽曲の演奏音と、観客が合唱する歌声とが、同時にモニタ３から出力される。
【０１１６】
｛４．ライブパフォーマンス以外の機能｝
｛４．１．観客指定機能｝
ユーザは、カラオケシステム１を用いてカラオケをする場合、ライブ会場の観客の客層を指定することができる。ユーザは、設定した客層に応じたライブパフォーマンスを行う必要がある。
【０１１７】
図１２は、ライブの客層を設定する設定画面を示す図である。ユーザは、図示しないリモコンを操作して、観客の客層を性別、年齢に基づいて設定する。性別設定では、ユーザは、男性主体、女性主体、及び中間のいずれかを指定する。男性主体は、観客の男性の比率が、８０％に設定されることを示す。女性主体は、観客の女性の比率が、８０％に設定されることを示す。中間とは、観客の男性の比率と女性との比率が５０％ずつであることを示す。年齢設定では、ユーザは、１５〜２５歳、２５〜４５歳、及び４５歳以上のいずれかから選択する。年齢設定により、ユーザが選択した年齢層の観客の比率が、７０％に設定される。この結果、楽曲データ６１とともに、設定された客層に応じた観客映像データ６２が再生される。
【０１１８】
客層が設定された場合、観客の反応レベルは、ユーザが選択した楽曲や、ユーザが行うライブパフォーマンスに応じて変化する。このため、ユーザは、観客の客層を意識して、ライブパフォーマンスを行う必要がある。たとえば、ユーザは、４５歳以上で女性主体の客層を指定した場合、比較的ゆっくりとしたテンポの楽曲を選択し、観客に対して激しい動きを要求しないライブパフォーマンス（ウェーブ先導など）を行うことによって、反応レベルを上げることができる。一方、同様の客層でハードロック系の楽曲を先導し、ライブパフォーマンスとして観客煽りを繰り返し行った場合、観客の反応レベルは低くなる。このように、観客の客層を設定することにより、ユーザは、様々な観客を対象にしたライブを疑似的に経験することができる。
【０１１９】
｛４．２．対戦モード｝
カラオケシステム１は、複数のユーザがライブパフォーマンスの出来を競い合う対戦モードを実行することができる。以下、対戦モードの実行時における、本体装置２の動作について説明する。
【０１２０】
対戦モードでは、二人のユーザが交互にライブパフォーマンスを行う。ここでは、歌詞が３番まである楽曲を用いて、対戦が行われるケースを説明する。最初に、第１のユーザが、ライブパフォーマンスを行いながら、楽曲の１番を歌う。次に、第２のユーザがライブパフォーマンスを行いながら、楽曲の２番を歌う。このとき、第１のユーザ及び第２のユーザは、マイク４及びコントローラ５を共用する。しかし、複数のマイク４及びコントローラ５を、対戦モードを行う人数分用意してもよい。
【０１２１】
各ユーザが行うライブパフォーマンスは、本体装置２により採点される。第１のユーザ及び第２のユーザのうち、得点の高いユーザが、演奏中の楽曲の３番を歌うことができる。
【０１２２】
ライブパフォーマンスの採点方法について説明する。上述したように、本体装置２は、ユーザが行ったライブパフォーマンスを行うたびに反応レベルを決定している。本体装置２は、第１のユーザがライブパフォーマンスを行うたびに、決定した反応レベルに基づいて各パフォーマンスを採点する。第１ユーザが行ったライブパフォーマンスごとの点数の総和が、第１ユーザの得点として算出される。第２ユーザの得点も、同様に算出される。
【０１２３】
第２のユーザがライブパフォーマンスを終了した後に、各ユーザの得点が画面３ａに表示される。勝者となったユーザが、楽曲の３番でライブパフォーマンスを行うことができる。このように、対戦モードを設けることにより、複数のユーザがライブパフォーマンスを競い合うという新たなカラオケシステムを提供することができる。
【０１２４】
｛変形例｝
マイク４及びコントローラ５は、バイブレーション機能を備えていてもよい。たとえば、本体装置２の反応指示部２６は、観客の反応レベルが一定のレベルを超えた場合、マイク４及びコントローラ５に振動指示信号を送信する。マイク４及びコントローラ５は、振動指示信号を受信した場合、一定の時間（３秒程度）、自装置を振動させる。これにより、ユーザは、画面３ａ内の観客の映像だけでなく、マイク４及びコントローラ５を介して観客の反応を知ることができる。
【０１２５】
本体装置２は、ライブ会場の選択機能を設けてもよい。この場合、ユーザは、図示しないリモコンを操作することにより、アリーナ、野球場、及びコンサートホールなどをライブ会場として選択することができる。本体装置２は、選択された会場に応じた観客映像データを再生する。これにより、ユーザは、ライブのシンガーとして、様々なライブ会場でのライブパフォーマンスを疑似的に経験することができる。
【０１２６】
図２に示すように、本体装置２が音声認識部２４を備える例を説明したが、マイク４が音声認識部２４を備えていてもよい。マイク４は、フレーズ情報２４Ａが音声認識部２４により生成されるたびに、生成されたフレーズ情報２４をリアルタイムに本体装置２に送信する。
【０１２７】
リアクションデータ６３が、ライブパフォーマンスに対する観客のリアクションを示す映像及び音声が記録されたデータである例を説明した。しかし、リアクションデータ６３は、聴衆の反応を示す音声のみが記録されたデータであってもよい。たとえば、観客煽りに対する観客の歓声や、手拍子の先導に対する手拍子、聴衆のブーイングなどが記録されたデータを、リアクションデータ６３として用いることができる。
【０１２８】
リアクションデータ６３は、上述のような、ライブパフォーマンスに対する観客の動作を具体的に示すデータでなく、観客の反応を象徴的に示すデータであってもよい。たとえば、リアクションデータ６３として、ライブ会場から複数の打ち上げ花火が上がる映像が記録されたデータを用いることができる。反応指示部２６が反応レベルに応じて打ち上げ花火の数を変更することにより、ユーザは、ライブパフォーマンスに対する観客の反応を知ることができる。あるいは、反応指示部２６は、反応レベルが低いときのリアクションデータ６３として、観客のいないライブ会場の映像が記録されたデータや、荒れ狂う海が記録されたデータを選択してもよい。
【符号の説明】
【０１２９】
１ カラオケシステム
２ 本体装置
３ モニタ
３ａ 画面
４ マイク
５ コントローラ
２１，４３，５２ 無線通信部
２２ データ取得部
２３ 再生部
２４ 音声認識部
２５ パフォーマンス特定部
２６ 反応指示部
４２、５１ センサ部
【特許請求の範囲】
【請求項１】
本体装置と、
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
前記音声入力装置は、
前記音声入力装置の動きを示す第１動き情報を出力する第１動き情報出力部、
を含み、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。
【請求項２】
本体装置と、
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記ユーザを撮影して映像データを出力する撮像装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部と、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。
【請求項３】
請求項１または請求項２に記載のアミューズメントシステムにおいて、
前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択するアミューズメントシステム。
【請求項４】
請求項３に記載のアミューズメントシステムにおいて、
前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示するアミューズメントシステム。
【請求項５】
請求項３または請求項４に記載のアミューズメントシステムにおいて、
前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、
前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定するアミューズメントシステム。
【請求項６】
請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択するアミューズメントシステム。
【請求項７】
請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択するアミューズメントシステム。
【請求項８】
請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択するアミューズメントシステム。
【請求項９】
請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択するアミューズメントシステム。
【請求項１０】
請求項１、請求項３ないし請求項９のいずれかに記載のアミューズメントシステムにおいて、さらに、
前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、
を備え、
前記コントローラは、
前記コントローラの動きを示す第２動き情報を出力する第２動き情報出力部、
を含み、
前記パフォーマンス特定部は、前記第２動き情報に基づいて、前記ユーザのパフォーマンスを特定するアミューズメントシステム。
【請求項１１】
請求項３ないし請求項１０のいずれかに記載のアミューズメントシステムにおいて、
前記反応指示部は、前記楽曲データの第１パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第２パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点するアミューズメントシステム。
【請求項１２】
本体装置と、
ユーザが保持する音声入力装置と、
を備え、
前記音声入力装置は、
前記本体装置と無線通信を行う無線通信部、
を含み、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。
【請求項１３】
請求項１２に記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定するアミューズメントシステム。
【請求項１４】
請求項１２または請求項１３に記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定するアミューズメントシステム。
【請求項１５】
請求項１ないし請求項１４のいずれかに記載のアミューズメントシステムにおいて用いられる音声入力装置。
【請求項１６】
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力し、自装置の動きを示す第１動き情報を出力する音声入力装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
通信可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。
【請求項１７】
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記ユーザを撮影して映像データを出力する撮像装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
通信可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。
【請求項１８】
ユーザが保持する音声入力装置と無線通信が可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。
【請求項１】
本体装置と、
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
前記音声入力装置は、
前記音声入力装置の動きを示す第１動き情報を出力する第１動き情報出力部、
を含み、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。
【請求項２】
本体装置と、
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記ユーザを撮影して映像データを出力する撮像装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
を備え、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部と、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。
【請求項３】
請求項１または請求項２に記載のアミューズメントシステムにおいて、
前記反応指示部は、前記特定されたパフォーマンスに対する前記聴衆の反応レベルを、前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて決定し、前記聴衆の反応レベルに基づいて、前記再生リアクションデータを選択するアミューズメントシステム。
【請求項４】
請求項３に記載のアミューズメントシステムにおいて、
前記反応指示部は、前記聴衆の反応レベルに基づいて、前記再生リアクションデータの再生条件を決定し、前記再生条件を前記再生部に指示するアミューズメントシステム。
【請求項５】
請求項３または請求項４に記載のアミューズメントシステムにおいて、
前記再生部は、前記ユーザにより設定された聴衆の客層に応じた聴衆状況データを再生し、
前記反応指示部は、前記聴衆の客層に基づいて、前記聴衆の反応レベルを決定するアミューズメントシステム。
【請求項６】
請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して質問形式の特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆を煽るパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記特定のフレーズに対して聴衆が一斉に応答をする映像及び音声が記録されたリアクションデータを選択するアミューズメントシステム。
【請求項７】
請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記フレーズ情報に基づいて、前記ユーザが前記聴衆に対して合唱を要求する特定のフレーズを呼び掛け、かつ、前記第１動き情報に基づいて、前記音声入力装置の向きが反転したと判定した場合、前記ユーザが前記聴衆に合唱を要求するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が合唱する映像及び音声が記録されたリアクションデータを選択するアミューズメントシステム。
【請求項８】
請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが手拍子を行っていると判定した場合、前記ユーザが手拍子を先導するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が手拍子する映像及び手拍子の音声が記録されたリアクションデータを選択するアミューズメントシステム。
【請求項９】
請求項１ないし請求項５のいずれかに記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記動き情報に基づいて、前記ユーザが腕を振る動作をしていると判定した場合、前記ユーザが前記聴衆に対して両手を振る動作を要求するパフォーマンスを行ったと判定し、
前記反応指示部は、前記再生リアクションデータとして、前記聴衆が両手を振る映像が記録されたリアクションデータを選択するアミューズメントシステム。
【請求項１０】
請求項１、請求項３ないし請求項９のいずれかに記載のアミューズメントシステムにおいて、さらに、
前記ユーザが前記音声入力装置を保持する手と反対の手で保持するコントローラ、
を備え、
前記コントローラは、
前記コントローラの動きを示す第２動き情報を出力する第２動き情報出力部、
を含み、
前記パフォーマンス特定部は、前記第２動き情報に基づいて、前記ユーザのパフォーマンスを特定するアミューズメントシステム。
【請求項１１】
請求項３ないし請求項１０のいずれかに記載のアミューズメントシステムにおいて、
前記反応指示部は、前記楽曲データの第１パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点し、前記楽曲データの第２パートで行われた全てのパフォーマンスを、各パフォーマンスに対する前記聴衆の反応レベルに基づいて採点するアミューズメントシステム。
【請求項１２】
本体装置と、
ユーザが保持する音声入力装置と、
を備え、
前記音声入力装置は、
前記本体装置と無線通信を行う無線通信部、
を含み、
前記本体装置は、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部と、
前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部と、
前記聴衆の反応を示す音声又は映像が記録された複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部と、
を含むアミューズメントシステム。
【請求項１３】
請求項１２に記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出した場合、前記ユーザが仮想的なライブ会場に入場したと判定するアミューズメントシステム。
【請求項１４】
請求項１２または請求項１３に記載のアミューズメントシステムにおいて、
前記パフォーマンス特定部は、前記楽曲データの再生が開始された後に、前記無線信号を検出できなくなった場合、前記ユーザが仮想的なライブ会場から退場したと判定するアミューズメントシステム。
【請求項１５】
請求項１ないし請求項１４のいずれかに記載のアミューズメントシステムにおいて用いられる音声入力装置。
【請求項１６】
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力し、自装置の動きを示す第１動き情報を出力する音声入力装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
通信可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。
【請求項１７】
ユーザが保持し、前記ユーザが入力した音声を音声データとして出力する音声入力装置と、
前記ユーザを撮影して映像データを出力する撮像装置と、
前記音声データに対する音声認識処理を行って、前記ユーザが話したフレーズを示すフレーズ情報を生成する音声認識装置と、
通信可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記映像データを解析して前記ユーザの動きを示す第１動き情報を生成する映像解析部、
前記フレーズ情報及び前記第１動き情報の少なくとも一方に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。
【請求項１８】
ユーザが保持する音声入力装置と無線通信が可能な本体装置に搭載されるコンピュータを、
前記ユーザが選択した楽曲データと、聴衆の状況を示す映像及び音声の少なくとも一方が記録された聴衆状況データとを再生する再生部、
前記音声入力装置から送信される無線信号の有無に基づいて、前記ユーザのパフォーマンスを特定するパフォーマンス特定部、
前記聴衆の反応を示す複数のリアクションデータの中から、特定されたパフォーマンスに対応する再生リアクションデータを選択し、前記再生リアクションデータの再生を前記再生部に指示する反応指示部、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【公開番号】特開２０１２−８８５２１（Ｐ２０１２−８８５２１Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３５０４３（Ｐ２０１０−２３５０４３）
【出願日】平成２２年１０月２０日（２０１０．１０．２０）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月２０日（２０１０．１０．２０）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]