カラオケサービスシステム、端末装置
【課題】他の利用者が蓄積した歌唱を利用して高音質な歌声音声を蓄積し、不特定の他の利用者に配信する。
【解決手段】データベース３８では、演奏データを含む曲データ記憶領域４１と、音声データ（歌声データ）を記憶する歌声データ記憶領域４４とが設けられる。Ｗｅｂサーバ１８は、第１の端末装置に対して演奏データを送信し、この演奏データに応じて第１の端末装置において入力された第１の音声データを受信する。Ｗｅｂサーバ１８は、第２の端末装置から第１の音声データの配信要求を受信すると、第１の音声データを同音声データと関連する演奏データと共に第２の端末装置に配信する。Ｗｅｂサーバ１８は、第２の端末装置において第１の音声データに対して入力された第２の音声データと第１の音声データとが合成された第３の音声データを生成して演奏データと関連付けてデータベース３８に記憶させる。
【解決手段】データベース３８では、演奏データを含む曲データ記憶領域４１と、音声データ（歌声データ）を記憶する歌声データ記憶領域４４とが設けられる。Ｗｅｂサーバ１８は、第１の端末装置に対して演奏データを送信し、この演奏データに応じて第１の端末装置において入力された第１の音声データを受信する。Ｗｅｂサーバ１８は、第２の端末装置から第１の音声データの配信要求を受信すると、第１の音声データを同音声データと関連する演奏データと共に第２の端末装置に配信する。Ｗｅｂサーバ１８は、第２の端末装置において第１の音声データに対して入力された第２の音声データと第１の音声データとが合成された第３の音声データを生成して演奏データと関連付けてデータベース３８に記憶させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを通じてカラオケサービスを提供するカラオケサービスシステム、同システムで使用される端末装置に関する。
【背景技術】
【０００２】
一般に、カラオケ装置が広く普及しており、カラオケ店舗や家庭内において利用されている。利用者は、カラオケ装置を利用して歌唱する際には、自分の歌いたい楽曲を選択し、その楽曲を指定するコード番号等を入力することにより、カラオケ音声が流れ始めると共に表示時画面に曲に関する映像が映し出され、所定のタイミングで歌詞が画面中に表示される。利用者は、画面中の歌詞を見ながらカラオケ音声に合わせて歌唱することができる。
【０００３】
従来では、前述のようにカラオケ装置を用いて歌唱するだけでなく、自分の歌唱を録音して、後に配信することが考えられている（例えば特許文献１参照）。
【０００４】
特許文献１に記載されたカラオケ録音配信システムでは、カラオケ店舗において利用者による歌唱が行われたときの歌唱を録音し、録音された録音データを配信手段により情報配信サービス会社に送信して蓄積する。蓄積された録音データを再生するための録音再生指示を、情報配信サービス会社が、利用者の携帯電話機または利用者側端末から受信し、受信された前記録音再生指示に従って録音データを再生して利用者の携帯電話機または利用者側端末に送信する。これにより、利用者は、携帯電話機または利用者側端末装置により、録音された歌唱を聴くことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２８８０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように従来のカラオケ録音配信システムでは、カラオケ装置において録音した歌唱を情報配信サービス会社に蓄積し、この歌唱を利用者の携帯電話機または利用者側端末において聴くことができる。
【０００７】
しかしながら、特許文献１に記載された従来のシステムでは、マイクから入力された利用者の音声と伴奏データとが合わされて録音データが生成され、また歌唱音声になんら加工がされないため、蓄積された録音データの音質を良くすることが困難となっていた。また、利用者自身が情報配信サービス会社に蓄積した歌唱を自分で聴けるだけであり、他の利用者が蓄積した歌唱を聴いたり、蓄積された歌唱を使用して加工を施すといった応用ができなかった。
【０００８】
本発明は前述した事情に考慮してなされたもので、その目的は、他の利用者が蓄積した歌唱を利用して高音質な歌声音声を蓄積し、不特定の他の利用者に配信することが可能なカラオケサービスシステム、端末装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明は、演奏データを記憶する演奏データ記憶手段と、ネットワークを介して接続された第１の端末装置に対して、前記演奏データを送信する演奏データ送信手段と、前記第１の端末装置において前記演奏データに応じて出力された演奏音に対して入力された第１の音声データを、前記第１の端末装置から受信する音声データ受信手段と、前記音声データ受信手段により受信された前記第１の音声データを前記演奏データと関連付けて記憶する音声データ記憶手段と、ネットワークを介して接続された第２の端末装置から前記音声データ記憶手段に記憶された前記第１の音声データの配信要求を受信する要求受信手段と、前記要求受信手段によって受信された要求に応じて、前記第１の音声データを同音声データと関連する前記演奏データと共に、前記第２の端末装置に配信する配信手段と、前記第２の端末装置において前記演奏データと前記第１の音声データに応じて出力された演奏音に対して入力された第２の音声データと、前記第１の音声データとが合成された第３の音声データを前記演奏データと関連付けて前記音声データ記憶手段に記憶させる合成音声データ記憶手段とを具備したことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、他の利用者が蓄積した歌唱を利用した高音質な音声データを蓄積し、不特定の他の利用者に配信することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態におけるカラオケシステムの構成を示すブロック図。
【図２】データベースサーバ１７とＷｅｂサーバ１８の機能構成を示すブロック図。
【図３】カラオケサービスシステム１０と端末装置間で送受信されるデータを説明するための図。
【図４】歌声データ録音処理を示すフローチャート。
【図５】歌声データ録音処理において実行される第１の方法による歌声合成処理を示すフローチャート。
【図６】歌声データ録音処理において実行される第２の方法による歌声合成処理を示すフローチャート。
【図７】歌のせタイプ別の歌唱音の合成割合を説明する図。
【図８】カラオケサービスシステム１０が公開している歌声データを合成してアップロードするサービスを提供するためのＷｅｂページの一例を示す図。
【図９】「コーラス募集曲」としてアップロードされた楽曲の一例を示す図。
【図１０】選択された楽曲についてコーラスに参加している利用者の詳細を表示する画面の一例を示す図。
【図１１】プロフィール画像の一覧表示の並びが変更された画面の一例を示す図。
【図１２】参加希望人数分の利用者が参加している場合の詳細画面の一例を示す図。
【図１３】新たにコーラスに参加した利用者ｆのプロフィール画像とステータス「録音中」が追加された画面の一例を示す図。
【図１４】端末装置においてポップアップ表示された楽曲再生／録音用プレーヤの画面の一例を示す図。
【図１５】編集処理を受け付けるための画面の一例を示す図。
【図１６】動画の試聴、保存有無を利用者に確認するための画面の一例を示す図。
【図１７】図１３に示す詳細画面が更新された後の表示例を示す図。
【図１８】２人の利用者Ａ，Ｂによって録音された歌声データを合成する例について示す図。
【図１９】利用者Ａ＋Ｂの歌声データに対して、利用者Ｃによって録音された歌声データを合成する例について示す図。
【図２０】利用者Ａ，Ｂ，Ｃの歌声データを合成する例について示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態におけるカラオケシステムの構成を示すブロック図である。図１に示すカラオケシステムは、カラオケサービスシステム１０と、インターネットなどのネットワーク１２を介して接続された端末装置、例えばゲーム機１３、パーソナルコンピュータ１４、家庭用カラオケ専用機１５等により構成される。端末装置には、一般的な情報処理装置に設けられる表示装置、入力装置、記憶装置などの他、マイクやスピーカを通じて音声の入出力が可能な音声処理機能、カメラを通じて画像（静止画、動画）を撮影する画像処理機能などが搭載されているものとする。
【００１３】
カラオケサービスシステム１０は、データベースサーバ１７及びＷｅｂサーバ１８（１８ａ，１８ｂ，１８ｃ）により構成される。データベースサーバ１７は、ネットワーク１２を通じて、各端末装置１３〜１５に対してカラオケサービスを提供するために必要な各種データを記録する。Ｗｅｂサーバ１８は、ネットワーク１２（ＷＷＷ（World Wide Web））を通じて、カラオケサービスに用いる各種データファイルの送受信を実行する。Ｗｅｂサーバ１８は、データベースサーバ１７に記録されたカラオケ用の楽曲（カラオケサウンド）を端末装置に配信し、端末装置においてカラオケサウンドの再生に合わせて入力（録音）された音声（歌唱音声、楽器音声等）についての歌唱データを受信してデータベースサーバ１７に記憶させる。また、Ｗｅｂサーバ１８は、端末装置から受信された歌唱データを、ネットワーク１２を通じて他の端末装置に対して配信する。
【００１４】
図２は、データベースサーバ１７とＷｅｂサーバ１８の機能構成を示すブロック図である。
Ｗｅｂサーバ１８には、プロセッサやメモリ、記憶装置などを含み、制御部２０及び通信制御部２１の機能が設けられている。制御部２０は、メモリに記憶された各種プログラムをプロセッサにより実行することで各種機能を実現する。制御部２０において実現される機能としては、歌声制御部３０、カラオケサウンド制御部３１、歌詞データ制御部３２、演奏条件制御部３３、ユーザ情報制御部３４、背景動画制御部３５、歌声データ録音処理部３６、及び歌声合成処理部３７が含まれている。
【００１５】
歌声制御部３０は、データベースサーバ１７に記憶された歌声データ（音声データ）を管理する。本実施形態におけるカラオケサービスシステムでは、楽曲を構成する曲データ（演奏音）と歌声データとが独立して管理されている。歌声制御部３０は、歌声データを、カラオケサウンドデータと対応付けてデータベースサーバ１７において管理する。
【００１６】
カラオケサウンド制御部３１は、データベースサーバ１７に記憶されたカラオケサウンドデータ（曲データ（演奏データ））を管理するもので、ネットワーク１２を通じた端末装置に対する配信等の処理を行う。
【００１７】
歌詞データ制御部３２は、データベースサーバ１７に記憶された曲データに含まれる歌詞データを管理する。
【００１８】
演奏条件制御部３３は、カラオケサウンドデータの端末装置における演奏条件を示す演奏条件データを管理するもので、端末装置において利用者により設定された各種設定内容を演奏条件データとして歌声データデータと共に受信してデータベースサーバ１７において記憶させる（図３参照）。
【００１９】
ユーザ情報制御部３４は、歌声データをデータベースサーバ１７に記憶させた（アップロードした）利用者に関するユーザ情報を管理するもので、端末装置において利用者により設定された各種設定内容をユーザ情報として歌声データデータと共に受信してデータベースサーバ１７において記憶させる（図３参照）。
【００２０】
背景動画制御部３５は、データベースサーバ１７に記憶された背景動画データを管理するもので、予め曲データに対して用意された背景動画データだけでなく、端末装置から歌声データと共に受信された動画データを背景動画データとしてデータベースサーバ１７において記憶させる。
【００２１】
歌声データ録音処理部３６は、端末装置から歌声データ等を受信してデータベースサーバ１７に記憶（録音）させるための歌声データ録音処理を実行する。歌声データ録音処理部３６は、歌声合成処理部３７により歌声合成処理を実行させて、ネットワーク１２を介して接続された端末装置に対して、データベースサーバ１７に記憶されたカラオケサウンドデータ、あるいはカラオケサウンドデータと関連する歌声データとを端末装置に配信し、また端末装置において入力された歌声データ等を受信してデータベースサーバ１７においてカラオケサウンドデータと関連付けて記憶させる。端末装置から受信される歌声データは、利用者の歌唱による歌声の他、通常の音声、楽器の演奏による演奏音、拍手などの音のデータであっても良い。
【００２２】
歌声合成処理部３７は、端末装置から受信された歌声データを他の歌声データと合成するための合成処理を実行する。
【００２３】
データベースサーバ１７には、データベース３８及び制御部３９が設けられている。制御部３９は、プロセッサやメモリなどを含み、メモリに記憶された各種プログラムをプロセッサにより実行することで各種データを管理する機能を実現する。データベース３８は、大容量の記憶装置（ハードディスク装置等）により構成されるもので、制御部３９の制御により、曲リストデータ記憶領域４０、曲データ記憶領域４１、演奏条件データ記憶領域４２、ユーザ情報記憶領域４３、歌声データ記憶領域４４、背景動画データ記憶領域４５が設けられ、各種データが記憶される。
【００２４】
曲リストデータ記憶領域４０には、曲データ記憶領域４１に記憶された曲データ、すなわちユーザに対してカラオケサウンドを提供可能な楽曲のリストを提示するための曲リストデータが記憶される。
【００２５】
曲データ記憶領域４１には、多数の楽曲についての曲データ４１−１〜４１−ｎが記憶されている。曲データは、ＭＩＤＩ（musical instruction digital interface）演奏データと歌詞データと歌詞タイミングデータを含んでいる。ＭＩＤＩ演奏データはカラオケの演奏音を再生するためのデータであり、歌詞データは、そのＭＩＤＩ演奏データの再生中に歌詞を画面に表示するためのデータであり、歌詞タイミングデータは画面上に歌詞をどのタイミングで表示し、各文字の色をどのタイミングで変化させるかを示すデータである。
【００２６】
演奏条件データ記憶領域４２は、歌声データ記憶領域４４に記憶された歌声データと関連付けられた演奏条件データが記憶される。
【００２７】
ユーザ情報記憶領域４３は、歌声データ記憶領域４４に記憶された歌声データと共に端末装置から受信されたユーザ情報が記憶される。
【００２８】
歌声データ記憶領域４４は、曲データ記憶領域４１に記憶された曲データ（カラオケサウンドデータ）と関連付けられた歌声データが記憶される。歌声データ記憶領域４４には、予めシステムで用意された歌声データ（ガイド音声など）の他、端末装置から受信された歌声データが記憶される。
【００２９】
背景動画データ記憶領域４５は、曲データ記憶領域４１に記憶された曲データ（カラオケサウンドデータ）と関連付けられた背景動画データが記憶される。背景動画データ記憶領域４５には、予めシステムで用意された背景動画データの他、端末装置から歌声データと共に受信された背景動画データが記憶される。
【００３０】
図３は、カラオケサービスシステム１０と端末装置間で送受信されるデータを説明するための図である。
通常のカラオケサービスを提供する場合には、カラオケサウンドデータ５０、背景動画データが端末装置に対して配信される。端末装置では、カラオケサウンドデータ５０をもとにしてカラオケ（演奏音）を再生出力すると共に、背景動画と歌詞を演奏音に合わせて画面において表示させる。端末装置の利用者は、カラオケに合わせて歌詞を見ながら歌唱することができる。
【００３１】
端末装置の利用者が歌声データをカラオケサービスシステム１０にアップロードする場合には、図３に示すように、カラオケサウンドデータ（曲データ）と関連付けられた歌声キャストデータ５２が１ファイルとして、端末装置からＷｅｂサーバ１８に送信される。歌声キャストデータ５２には、歌声データ５３、演奏条件データ５４、ユーザ情報５５とが含まれる。歌声データ５３は、端末装置においてカラオケサウンドに合わせて利用者が歌唱することで入力された音声データである。
【００３２】
演奏条件データ５４は、利用者が歌唱する際に設定したカラオケに対する設定内容等を示すもので、例えば対応するカラオケサウンドデータ５０を示すカラオケサウンドコード（曲番）の他、再生キー、エコー強度、マイクエフェクト（リバーブ、イコライジング等）、テンポなどのデータが含まれている。
【００３３】
ユーザ情報５５は、利用者がアップロードした歌声データを、カラオケサービスシステム１０から他の利用者に配信するために利用されるデータであり、例えば共有範囲、ユーザ名、楽曲コメント、プロフィール、顔画像、背景設定などのデータが含まれている。共有範囲は、カラオケサービスシステム１０にアップロードした歌声データを、何れの他の利用者に対してダウンロード可能とするか、またダウンロードさせた歌声データに対する加工の許容範囲を示すデータである。ダウンロード可能な範囲では、制限無し、特定のグループに属する利用者のみ、予め設定された利用者（例えば歌唱指導者）などを、歌声データをアップロードするユーザが任意に指定することができる。また、加工の許容範囲としては、歌声データをダウンロードした利用者が任意に変更可能とする「加工許可」の他、アップロードした利用者からの承認があれば加工を許可する「承認制で加工許可」、再生出力のみで加工を認めない「加工禁止」などを指定することができる。さらに、加工許可では、歌声データの合成に対する条件、例えば「上書き合成許可」「分離結合許可」などを指定することができる。
【００３４】
また、加工許可された歌声データに対しては、ダウンロード先の端末装置において利用者が入力した歌唱の歌声データを合成することができる。複数の歌声データを合成する歌声合成処理は、端末装置において動作するアプリケーションにより実行して、合成された歌声データをカラオケサービスシステム１０にアップロードする第１の方法、端末装置において入力された歌声データをカラオケサービスシステム１０にアップロードし、Ｗｅｂサーバ１８において合成する第２の方法の何れかを採用することができる。なお、図３に示す歌声キャストデータ５２をカラオケサービスシステム１０にアップロードするデータ形式は、第１の方法が用いられた場合に用いられる。第２の方法が用いられる場合には、ＭＩＤＩ演奏データが端末装置にストリーミング配信され、カラオケの再生出力と共に端末装置において入力された歌声データがリアルタイムでカラオケサービスシステム１０（Ｗｅｂサーバ１８）にアップロードされる。
【００３５】
次に、本実施形態におけるカラオケサービスシステム１０の動作について説明する。
まず、カラオケサービスシステム１０によって提供される通常のカラオケサービスについて説明する。
カラオケサービスシステム１０（Ｗｅｂサーバ１８）は、ネットワーク１２（インターネット）にカラオケサービスを提供するためのＷｅｂサイト（カラオケサービスサイト）を開設している。カラオケサービスを利用しようとする利用者は、各種端末装置（ゲーム機１３、パーソナルコンピュータ１４、家庭用カラオケ専用機１５等）を用いて、カラオケサービスサイトにアクセスして、各種用意されているサービス内容から何れかを選択する。
【００３６】
Ｗｅｂサーバ１８は、通常のカラオケ利用が選択され、アーティスト名や楽曲名が指定されると、データベースサーバ１７に記憶された該当する楽曲のカラオケサウンドデータ５０（ＭＩＤＩ演奏データ、歌詞データ、歌詞タイミングデータ）及び背景動画データ（さらに圧縮音声データが含まれていても良い）を送信する。端末装置は、カラオケサービスシステム１０から受信したカラオケサウンドデータ５０をもとにカラオケ（演奏音）を再生出力すると共に、背景画像や歌詞などを表示させる。端末装置の利用者は、カラオケに合わせて歌唱することができる。なお、カラオケサウンドデータ５０を再生出力させる再生条件として、利用者の好みに合わせて再生キー、エコー強度、マイクエフェクトなどを任意に設定することができる。端末装置は、再生条件に従って、カラオケサウンドデータ５０をもとにカラオケを再生出力させる。
【００３７】
なお、端末装置には、カラオケサービスシステム１０が提供するカラオケサービスを利用するためのアプリケーションプログラム（楽曲再生／録音用プレーヤを含む）が記憶されているものとする。このアプリケーションプログラムは、カラオケサービスシステム１０からの制御により、端末装置において起動させることができる。
【００３８】
次に、カラオケサービスシステム１０による歌声データをアップロード（録音）し、他の利用者に配信することができるサービスについて説明する。
Ｗｅｂサーバ１８は、端末装置から歌声データのアップロード（保存）が選択された場合、前述と同様にしてカラオケサウンドデータ５０等を端末装置に送信して、端末装置の利用者にカラオケに合わせて歌唱させる。端末装置では、利用者による歌唱を録音して歌声データを生成する。ここでは、端末装置のマイクから入力された歌声のみを録音することにより、カラオケサウンドを歌唱と同時に録音する従来の方法より高品質で少ないデータ量とすることができる。また、データ量が少ないことからデータ処理に要する時間も短くてすむ。カラオケの終了後、端末装置は、歌声データを圧縮して、この歌声データを含む歌声キャストデータ５２をＷｅｂサーバ１８に対して送信する。なお、歌声キャストデータ５２に含まれるユーザ情報は、別途、利用者によって端末装置に設定されるものとする。
【００３９】
Ｗｅｂサーバ１８は、端末装置から受信した歌声キャストデータ５２を、データベースサーバ１７において記憶させる。データベースサーバ１７は、歌声キャストデータ５２に含まれる各データをデータベース３８のそれぞれに対応する領域にカラオケサウンドと関連付けて記憶させる。
【００４０】
データベース３８に記憶された歌声キャストデータ５２（歌声データ）は、ユーザ情報に基づいて、カラオケサービスサイトを通じて他の利用者に配信することができる。カラオケサービスサイトでは、多数のサービス利用者によってアップロードされた歌声データが公開される。例えば、アーティスト別や楽曲別などに分類した歌声データの公開ページが用意され、ユーザ情報に含まれた各情報（ユーザ名、楽曲コメント、顔画像、プロフィールなど）と共にアップロードされた歌声データが一覧表示される。
【００４１】
この公開ページにおいて端末装置から何れかが選択されると、Ｗｅｂサーバ１８は、データベースサーバ１７に記憶されている該当する歌声キャストデータ５２とカラオケサウンドデータ５０とを、ネットワーク１２を通じて送信する。また、背景画像データが歌声データと共にアップロードされている場合には、この背景画像データも端末装置に対して送信する。
【００４２】
端末装置は、カラオケサウンドデータを演奏条件データ（再生キー、マイクエコーなど）に応じて再生出力すると共に、カラオケサウンドと同期させて歌声データを再生出力する。また、背景画像データも共に受信された場合には、カラオケサウンドの再生と同期して背景動画を表示させる。これにより、端末装置では、カラオケサービスシステム１０からダウンロードしたデータをもとに、他の利用者が歌声データを録音した時と同じ状況下でカラオケ及び歌声を再生出力することができる。
【００４３】
次に、カラオケサービスシステム１０による複数の歌声データを合成してアップロード（録音）し、他の利用者に配信することができるサービスについて説明する。図４は、このサービスを実現するための歌声データ録音処理を示すフローチャート、図５は、第１の方法を用いた場合の歌声データ録音処理において実行される歌声合成処理を示すフローチャート、図６は、第２の方法を用いた場合の歌声データ録音処理において実行される歌声合成処理を示すフローチャートである。
【００４４】
本実施形態におけるカラオケサービスでは、他の利用者によってカラオケサービスシステム１０にアップロードされた歌声データに対して、自分の歌声などを合成してアップロードし、カラオケサービスシステム１０から他の利用者に対して配信できるようにする。
【００４５】
歌声データを合成する種類（以下、歌のせタイプと称する）には、複数のタイプが予め用意されている。
図７は、歌のせタイプの一例を説明するための図である。図７に示すように、タイプには、例えば「デュエット・ハモリ」「歌唱指導」「合唱・輪唱」「コーラス・合いの手」などがある。各タイプには、歌唱人数（合成の対象とする歌声データの数）が予め決められている。例えば、「デュエット・ハモリ」と「歌唱指導」の場合には２人、「合唱・輪唱」と「コーラス・合いの手」の場合には２人以上が設定されている（最初に歌声データをアップロードした利用者が任意に参加希望人数を指定できるものとする）。「合唱・輪唱」と「コーラス・合いの手」については人数を無制限とすることも可能であるが、システム運営上、予め決められた人数上限（例えば３２人）が設定されるものとする。
【００４６】
また、各タイプに対して、歌唱人数に応じて、歌声データを合成する際の音量の調整割合が設定されている。例えば、「デュエット・ハモリ」と「歌唱指導」については歌唱人数が２人であるので、元の歌声データの音量と追加する歌声データの音量との割合が「５０：５０」に設定されている。「合唱・輪唱」については「ｎ−１／ｎ：１／ｎ」が設定されており、各利用者の歌唱の音量が同じ割合となるようにしている。「コーラス・合いの手」については「５０：５０／ｎ−１」が設定されており、参加人数に関係なく最初の歌唱者の音量が５０％に保たれるようにしている。
【００４７】
なお、図７に示すタイプの種類や、それぞれに対して設定された自動調整割合は一例であって、任意に設定することが可能である。
【００４８】
図８には、カラオケサービスシステム１０（Ｗｅｂサーバ１８）がインターネット上に公開している、歌声データを合成してアップロードするサービスを提供するためのＷｅｂページの一例を示している。図８に示すＷｅｂページでは、他の利用者によってアップロードされた、デュエットや合唱などが可能な楽曲（歌声データ）の一覧が表示されている。
【００４９】
この画面では、楽曲のタイトルやアーティスト名の他、歌声データをアップロードした利用者の顔画像やコメントなどが表示されている。また、「パートナー募集曲」については、録音／再生ボタンが表示され、「コーラス募集曲」については「詳細」ボタンが設定されている。また、「歌唱指導待ちの曲」「完成曲の紹介」については再生ボタンのみが表示されている。
【００５０】
なお、以下の説明では、第１の方法による歌声合成処理が用いられるものとして説明する。
「パートナー募集曲」に対しては、録音ボタンによって歌声の合成が要求されると、Ｗｅｂサーバ１８の歌声データ録音処理部３６は、前述したように、カラオケサウンドと歌声データとを端末装置において再生出力させる。第１の方法により歌声合成処理を実行する場合には、端末装置は、再生出力する歌声データに対して、利用者による歌唱（デュエット、ハモリ）により入力された歌声データを合成して新たな歌声データを生成してカラオケサービスシステム１０に送信する。歌声データ録音処理部３６は、端末装置から受信した歌声データを、データベースサーバ１７によりデータベース３８の歌声データ記憶領域４４において、曲データ（演奏データ）と関連付けて記憶させて、図８に示すページ画面において表示されるようにする。なお、歌声データの合成処理の詳細については後述する。
【００５１】
一方、「コーラス募集曲」については「詳細」ボタンによって歌声の合成が要求されると（図４、ステップＡ１）、歌声データ録音処理部３６は、選択された楽曲についての詳細画面を端末装置において表示させる（ステップＡ２）。
【００５２】
例えば、図９に示す「コーラス募集曲」としてアップロードされた楽曲については、残り募集人数が３人であることが表示されている。ここで、「詳細」ボタンが端末装置において選択されると、歌声データ録音処理部３６は、例えば図１０に示すような、選択された楽曲についてコーラスに参加している利用者の詳細を端末装置において表示させる。
【００５３】
この詳細画面では、コーラスに「参加する」や、新規に楽曲を作成するための「新しいコーラス曲を作る」を要求するボタンが用意されている。また、コーラスに参加している各利用者の顔画像（プロフィール画像）とニックネームの一覧表示と、各利用者のステータス（「録音中」などの状態を表す）が表示される。
【００５４】
なお、歌声データ録音処理部３６は、各利用者のステータス（録音状態）が変化した場合には、Ｗｅｂページの更新のたびに詳細画面に反映させる。例えば、図１０に示す詳細画面中に表示された利用者ｅのステータスが「録音中」から「録音完了」に変化した場合には、図１１に示すように、プロフィール画像の一覧表示の並びを変更して、録音完了済みであることを表す。また、図１０においてプロフィール画像が表示されていた利用者ｄがコーラスへの参加をキャンセルした場合には、図１１に示すように、利用者ｄのプロフィール画像一覧から削除して参加希望人数を更新する（増やす）。
【００５５】
なお、参加希望人数分の利用者が参加している場合、詳細画面は、例えば図１２に示すように表示される。すなわち、ステータスとして「現在、参加枠は埋まっています」のメッセージが表示されると共に「参加ボタン」が消去されるものとする。
【００５６】
詳細画面において「参加する」が選択された場合（ステップＡ３、Ｙｅｓ）、歌声データ録音処理部３６は、詳細画面に対して、コーラスへの参加を要求した利用者のプロフィール画像とニックネームを追加表示し、残り募集人数を１減らして表示する（ステップＡ４）。図１３には、新たにコーラスに参加した利用者ｆのプロフィール画像とステータス「録音中」が追加された画面の一例を示している。
【００５７】
ここで、歌声データ録音処理部３６は、端末装置において、楽曲再生／録音用プレーヤ（プログラム）を起動させて、表示画面中に楽曲再生／録音用プレーヤ画面をポップアップ表示させる（ステップＡ５）。そして、楽曲再生／録音用プレーヤを通じて、端末装置により歌声合成処理を実行させる（図５に示すフローチャート）。
【００５８】
図１４には、端末装置においてポップアップ表示された楽曲再生／録音用プレーヤの画面の一例を示している。
カラオケサービスシステム１０は、端末装置において楽曲再生／録音用プレーヤが起動されると、合成処理の対象とするデータベース３８に記憶された歌声データ（他の利用者によりアップロードされたデータ）を含む歌声キャストデータ５２とカラオケサウンドデータ５０とを端末装置に対してダウンロードさせる（ステップＢ１）。
【００５９】
次に、楽曲再生／録音用プレーヤは、歌声キャストデータ５２等がダウンロードされると「歌のせタイプ」を設定し（ここでは「コーラス」）（ステップＢ２）、録音開始指示の入力待ちとなる。楽曲再生／録音用プレーヤは、画面中に表示されたコントロールパネル中の録音ボタンに対する操作により録音開始指示が入力されると（ステップＢ３）、カラオケサウンドと歌声データによる音声を同期させて再生開始する（ステップＢ４）。ここでは、通常のカラオケを利用する場合と同様にして、カラオケサウンドの再生と合わせて歌詞が画面中に表示される。
【００６０】
また、楽曲再生／録音用プレーヤは、端末装置に搭載されたカメラにより動画の撮影を開始させ、撮影された動画を記録していく（ステップＢ５）。ここで、記録された動画は、歌声データと共にカラオケサービスシステム１０にアップロードすることで、他の利用者に対して歌声データがダウンロードされた際に、この歌声データの再生時に背景画像データとして再生出力させることができる。
【００６１】
楽曲再生／録音用プレーヤは、録音を開始すると、マイクを通じて入力される音声レベルを検知しており、予め設定されたレベル以上となっているかを判別する。すなわち、利用者による歌唱のための音声入力がされているかを判別する。
【００６２】
ここで、音声入力があると判別された場合には（ステップＢ６、Ｙｅｓ）、楽曲再生／録音用プレーヤは、「歌のせタイプ」に応じて予め設定されている自動調整割合（図７参照）に応じて音量調整を実行して歌声データを生成して記録する（ステップＢ７，Ｂ８）。音量調整した合成の詳細については後述する。
【００６３】
なお、歌唱音声入力があったことが検知された場合に歌声データを記録することによって、楽曲全体分の録音をする場合よりも歌声データのデータ量を削減することができる。歌声データの合成では、デュエットやハモリ、コーラス、合いの手など、楽曲全体に渡って音声の入力が連続しない状況が多いため、必要な部分のみを記録することでデータ量の削減を図り、歌声合成処理の負担を軽減し、カラオケサービスシステム１０との間のデータ送受信を効率化することができる。
【００６４】
楽曲再生／録音用プレーヤは、カラオケサウンドデータ５０の再生が終了し（ステップＢ９、Ｙｅｓ）、録音終了が指示されると（ステップＢ１０、Ｙｅｓ）、歌声データの記録を終了すると共に、動画の撮影を終了する。そして、歌声データは、録音された歌声データに対する編集処理を受け付けるための画面を表示させる。
【００６５】
図１５には、編集処理を受け付けるための画面の一例を示している。図１５に示す例では、「試聴」「部分修正」「音量・タイミング調整」の何れかを選択することができる。
【００６６】
「試聴」が指定された場合には、楽曲再生／録音用プレーヤは、ダウンロードされた所定の合成割合で音量が調整された歌声データと、新たに録音された音量調整された歌声データとを合成した歌声データを再生出力させる。「部分修正」が指定された場合には、楽曲再生／録音用プレーヤは、前述と同様にして、利用者に修正しようとする部分の音声を入力させ、この部分的に入力された音声を先に録音された歌声データに上書き合成する。「音量・タイミング調整」が指定された場合には、楽曲再生／録音用プレーヤは、例えば、音量や歌声の発声タイミングを調整するための操作画面を表示させ、この画面を通じて利用者から指示された調整内容（音量上げ／下げ、任意に指定した範囲の音声削除（音量０の指定）、カラオケサウンドに対する発声タイミングの開始位置を前後させる調整など）に応じて、歌声データを変更する。
【００６７】
なお、「部分修正」や「音量・タイミング調整」の編集についても、その後、編集済みの歌声データに対して、新たに歌唱して入力した歌声データを合成することができる。従って、第１の方法では、楽曲再生／録音用プレーヤにより、編集を加えながら繰り返して歌声を合成して利用者の好みにあった歌声データを生成することができる。
【００６８】
このような編集処理が必要に応じて実行された後（ステップＢ１２）、編集完了が指示されると（ステップＢ１２、Ｙｅｓ）、楽曲再生／録音用プレーヤは、歌声合成処理を終了する。
【００６９】
続いて楽曲再生／録音用プレーヤは、歌声データの録音中に撮影した動画の試聴、保存有無を利用者に確認するための画面を表示させる。
【００７０】
図１６には、動画の試聴、保存有無を利用者に確認するための画面の一例を示している。図１６に示す例では、「視聴」「ＯＫ」「ＮＯ」の何れかを選択することができる。
【００７１】
「視聴」が指定された場合には、楽曲再生／録音用プレーヤは、記録された動画を再生出力させる。「ＯＫ」あるいは「ＮＯ」が指定された場合には、楽曲再生／録音用プレーヤは、次の処理に移行して「ＯＫ」あるいは「ＮＯ」の指示に応じて動画データのアップロードを制御する。
【００７２】
すなわち、楽曲再生／録音用プレーヤは、動画の保存有無が利用者からの指示により確定されると（ステップＡ７）、歌声合成処理において記録された歌声データを含む歌声キャストデータをカラオケサービスシステム１０に対してアップロードする（ステップＡ８）。また、楽曲再生／録音用プレーヤは、動画データについて、動画の保存有り「ＯＫ」が指示されている場合に、カラオケサービスシステム１０にアップロードする。なお、歌声データについては、合成済みの歌声データだけでなく、新たに録音された歌声の歌声データについてもアップロードするようにしても良い。
【００７３】
歌声キャストデータ、動画データのアップロードが完了すると、楽曲再生／録音用プレーヤは、動作を終了する（ステップＡ９）。Ｗｅｂサーバ１８は、端末装置（楽曲再生／録音用プレーヤ）からアップロードされた各データを、データベースサーバ１７において記憶させる。Ｗｅｂサーバ１８は、歌声キャストデータ５２のアップロードが完了することで詳細画面を更新して、端末装置において表示させる（ステップＡ１０）。
【００７４】
図１７は、図１３に示す詳細画面が更新された後の表示例を示している。図１７に示す例では、新たにコーラスに参加した利用者ｆのステータスが「録音中」から録音完了を表すように変更され、プロフィール画面の配置が変更されている。また、コーラス参加の残り募集人数が１減らして表示されている。
【００７５】
このようにして、カラオケサービスシステム１０は、他の利用者によりアップロードされた歌声データ（歌声キャストデータ５２）を送信し、端末装置における歌声データとカラオケサウンドの再生に合わせて入力された合成対象とする音声を歌声データとしてアップロードさせることができる。
【００７６】
なお、楽曲再生／録音用プレーヤは、カラオケサービスシステム１０から受信したカラオケサウンドデータ５０を自端末装置において保存せず、歌声データ録音処理の完了と共に削除するように動作するものとする。これにより、カラオケサービスシステム１０は、特定のサービスを提供する利用者（例えば予め会員登録された利用者）に対してのみ、カラオケサウンドデータ５０を配信することができるので著作権の管理をすることもできる。
【００７７】
なお、前述した説明では、カラオケサービスシステム１０かせカラオケサウンドデータ５０と歌声キャストデータ５２を送信し、端末装置上で動作する楽曲再生／録音用プレーヤにより歌声データを御是するための歌声合成処理を実行するものとして説明しているが、カラオケサービスシステム１０側が歌声合成処理を実行するようにしても良い（第２の方法）。以下、第２の方法による歌声合成処理について説明する。
【００７８】
図６は、カラオケサービスシステム１０からカラオケサウンドデータがストリーミング配信される場合の歌声合成処理（第２の方法）を示すフローチャートである。
【００７９】
Ｗｅｂサーバ１８は、端末装置において楽曲再生／録音用プレーヤを起動させると、利用者により「歌のせタイプ」を選択させた後（ステップＣ１）、録音開始を指示させる（ステップＣ２）。
【００８０】
楽曲再生／録音用プレーヤを通じて録音開始が指示されると、Ｗｅｂサーバ１８は、合成処理の対象とするデータベース３８に記憶された歌声データ（他の利用者によりアップロードされたデータ）を含む歌声キャストデータ５２とカラオケサウンドデータ５０とを端末装置に対してストリーミング配信する（ステップＣ３）。
【００８１】
Ｗｅｂサーバ１８は、端末装置において楽曲再生／録音用プレーヤにより、カラオケサウンドと歌声データによる音声を同期して再生させる。ここでは、通常のカラオケを利用する場合と同様にして、カラオケサウンドの再生と合わせて歌詞を画面中に表示させる。
【００８２】
Ｗｅｂサーバ１８は、楽曲再生／録音用プレーヤによって、カラオケサウンドに合わせて利用者が歌唱することで歌声が入力されると（ステップＣ５）、リアルタイムで入力された歌声の歌声データをアップロードさせる（ステップＣ６）。
【００８３】
Ｗｅｂサーバ１８は、「歌のせタイプ」に応じて予め設定されている自動調整割合（図７参照）に応じて音量調整を実行して歌声データを生成して記録する（ステップＣ７，Ｃ８）。音量調整した合成の詳細については後述する。
【００８４】
Ｗｅｂサーバ１８は、端末装置に対して、カラオケサウンドデータ５０と歌声キャストデータ５２のストリーム配信（端末装置における楽曲の再生出力）が終了するまで、前述した処理を継続する。すなわち、端末装置において楽曲再生／録音用プレーヤを通じて、カラオケサウンドと他の利用者がアップロードした歌声とを同期して再生出力させながら、新たに合成しようとする音声を入力してリアルタイムでアップロードさせる。
【００８５】
Ｗｅｂサーバ１８は、ストリーム配信が終了すると（ステップＣ９）、前述した第１の方法と同様の処理を実行して処理を終了する。ただし、ステップＡ８では、歌声データのアップロードが完了しているため、歌声データ以外のデータ（演奏条件データ５４、ユーザ情報５５、動画データ等）をアップロードするものとする。
【００８６】
このようにして、第２の方法では、Ｗｅｂサーバ１８からストリーム配信されたカラオケサウンドデータ５０の再生に合わせて歌唱することで歌声データをアップロードされるので、利用者は簡単に音声合成のための操作をすることができる。また、ストリーム配信では、カラオケサウンドデータ５０が端末装置に保存されないので、第１の方法と同様に楽曲の直策件の管理をすることもできる。
【００８７】
なお、図６に示すフローチャートでは、動画の撮影についての処理を省略しているが、図５のフローチャートに示す歌声合成処理と同様にして、歌声データの録音中の様子を撮影して、歌声キャストデータ５２と共にカラオケサービスシステム１０にアップロードすることができる。
【００８８】
次に、歌声データの合成の具体例について、図１８、図１９、及び図２０に示す図を参照しながら説明する。
図１８は、２人の利用者Ａ，Ｂによって録音された歌声データを合成する例について示す図である。図１８（１）は、利用者Ａがアップロードした歌声データの歌唱された範囲（Ａ１，Ａ３，Ａ５）を示している。利用者Ｂは、カラオケサウンドと共に利用者Ａがアップロードした歌声を聞きながら、楽曲中のハモリやコーラスのための合成しようとする部分、例えば図１８（２）に示す範囲（Ｂ２，Ｂ４）において歌唱して歌声データを録音したものとする。その他の範囲（Ｂ１，Ｂ３，Ｂ５）は非歌唱範囲を示している。
【００８９】
この場合、図１８（３）に示すように、利用者Ａ，Ｂによる歌声データを、図７に示す音量の自動調整割合に応じて合成する。すなわち、利用者Ａ，Ｂの何れか一方が歌唱した範囲では元の音量で合成し、利用者Ａ，Ｂの両方が歌唱している範囲（ＡＢ１，ＡＢ２）では、それぞれの歌声データの音量を調整して（例えば５０：５０）合成している。
【００９０】
図１９は、利用者Ａ＋Ｂの歌声データに対して、利用者Ｃによって録音された歌声データを合成する例について示す図である。図１９（１）は、利用者Ａ＋Ｂの歌声データを示すもので、利用者Ａ，Ｂが単独で歌唱している部分と、合唱している部分（ＡＢ２，ＡＢ４）が含まれている。また、第１の方法では、端末装置の楽曲再生／録音用プレーヤにおいて、ダウンロードした歌声データに対して一部範囲を削除する編集を施した上で、新たに録音した歌声データを合成することができる（分離再結合）。図１９（１）には、利用者による編集処理によって削除された範囲（ＡＢ１，ＡＢ３，ＡＢ５）が含まれている。
【００９１】
この場合、図１９（２）に示すように、利用者Ｃにより合唱として範囲（Ｃ２，Ｃ４）について録音された歌声データに対して、各範囲毎に利用者Ａ，Ｂ，Ｃの歌声の音量を均等にして合成することにより、図１９（３）に示すような歌声データが合成される。範囲（ＡＢＣ１，ＡＢＣ２）では、利用者Ａ，Ｂ，Ｃの歌声データが存在するので、利用者Ａ，Ｂ，Ｃの歌声を均等に調整して合成し、範囲（ＡＣ１）では利用者Ａ，Ｃの歌声を均等に調整して合成し、範囲（ＡＢ１）では利用者Ａ，Ｂの歌声を均等に調整して合成している。
【００９２】
このように、「歌のせタイプ」に応じた自動調整割合に応じて複数の利用者の歌声データの音量を調整して合成することができる。図１９に示す例では、「歌のせタイプ」が合唱の場合を例にして示しているが、コーラス・合いの手の場合には、図７に示す自動調整割合に応じた調整を施して歌声データの合成が行われる。
【００９３】
図２０は、利用者Ａ，Ｂ，Ｃの歌声データを合成する例について示す図である。
前述した図１８、図１９に示す例は、カラオケサービスシステム１０からダウンロードした歌声データに対して、利用者自身の歌声データを合成する２チャンネルの合成となっているが、多チャンネル同時合成とすることも可能である。
【００９４】
例えば、カラオケサービスシステム１０のデータベース３８には、合成された歌声データだけでなく、各利用者がアップロードした元の歌声データを記憶しておく。第１の方法では、歌声キャストデータ５２に複数の利用者の歌声データが合成された歌声データだけでなく、合成前の各利用者がアップロードした歌声データを含める。これにより、端末装置（楽曲再生／録音用プレーヤ）において、利用者が新たに録音した歌声データと、複数の他の利用者の歌声データとによる、多チャンネルの歌声データの合成を行う。
【００９５】
また、第２の方法においても前述と同様にして、各利用者がアップロードした元の歌声データを記憶しておくことで、Ｗｅｂサーバ１８において、利用者が新たに録音した歌声データと、複数の他の利用者の歌声データとによる多チャンネルの歌声データの合成を行う。
【００９６】
図２０は、第１の方法を用いた場合を示すもので、カラオケサービスシステム１０からダウンロードした他の利用者Ｂの歌声データに対して編集を行っている。すなわち、図２０（２）に示すように、利用者Ａ，Ｂ，Ｃの歌声が合成された時の組み合わせを考慮して、利用者Ｂの不要な歌唱範囲（Ｂ３，Ｂ６）の歌声データを削除している。この結果、図２０（４）に示すように、３人の利用者の歌声データの音量が自動調整されて、新たな歌声データを生成することができる。
【００９７】
このように、多チャンネル同時合成を可能とすることで、一人のクリエイターの意志通りの作品を作成することができる。
【００９８】
なお、前述した説明では、歌声データに対して部分的に削除する編集のみについて説明しているが、他の利用者によりアップロードされた歌声データに対して、ボイスエフェクトを許可する共有範囲が設定されている場合には、歌声データに対する編集として、コーラスやリバーブ、イコライジングといったボイスエフェクトを、楽曲再生／録音用プレーヤを通じて指示することにより加えることができる。この場合、歌声データに対応する演奏条件データを指示に応じて更新することにより対応できる。
【００９９】
さらに、前述した説明では、利用者が歌唱した歌声を合成する例について説明しているが、楽器などの生演奏データを歌声データとして合成することができる。この際に、ＭＩＤＩ演奏データに含まれる特定の楽器のパートを消去するようにしても良い。例えば、生ギターを合成する場合に、ＭＩＤＩ演奏データ中のギターのパートの消去を、演奏条件データとして設定する。そして、ＭＩＤＩ演奏データを元にカラオケサウンドを再生出力させる際に、演奏条件データを参照して、消去指定された楽器パートのギターのデータを再生しないようにする。これにより、新たに利用者が追加したギターを含むカラオケサウンドを再生出力させることができるようになる。なお、１つの楽器に限らず、生ベース、生シンセなどの他の複数の楽器音を合わせて合成するようにしても良い。複数の楽器の生演奏を複数の利用者により合成することで、カラオケサービスシステム１０が提供するカラオケサービス内で高度なバーチャルセッションを行うことが可能となる。
【０１００】
次に、カラオケサービスシステム１０によって提供されるカラオケサービスの応用例について説明する。
前述した説明では、利用者がカラオケサービスサイトにアクセスして、歌声の合成対象とする楽曲（歌声データ）を選択し、この楽曲の再生に合わせて歌声データを録音することで合成処理を実行するものとしているが、例えばカラオケ教室サービス、カラオケ大会サービスなどに応用することができる。
【０１０１】
カラオケ教室サービスは、指導者となる利用者の端末装置（第２の端末装置）、生徒となる利用者の端末装置（第１の端末装置）を予め設定しておき、生徒から歌声データがアップロードされた場合に、この歌声データを指導者の端末装置に転送されるようにカラオケサービスシステム１０において管理する。なお、指導者と生徒の端末装置は、予め指導者あるいは生徒からの要求をサービスサイトを通じて受付けて、これに応じてデータベース３８のユーザ情報記憶領域４３に設定しておくものとする。
【０１０２】
指導者は、カラオケサービスシステム１０からダウンロードされた歌声データに対して、歌唱指導のための音声や楽器音（歌声データ）などを録音してカラオケサービスシステム１０にアップロードする。カラオケサービスシステム１０は、指導者からアップロードされた歌唱指導用の音声（歌声データ）を、生徒の歌声データに合成して新たな歌声データを生成し、生徒の端末装置に送信する。これにより、生徒は、自分の歌声に、指導者による音声が合成された歌声データを聴くことで、歌唱指導を受けることができる。本実施形態におけるシステムでは、カラオケサウンドと歌声データとが別に管理されており、このため歌声が高音質となっているために、指導者による指導対応も容易となる（生徒の歌唱を正確に聞き取ることができる）。
【０１０３】
カラオケ大会サービスは、複数の利用者により歌唱の順位を競うカラオケ大会を提供する。カラオケサービスシステム１０は、カラオケ大会への参加希望者を予め登録しておき、参加希望した各利用者から歌声キャストデータ５２（歌声データ）をアップロードさせる。カラオケサービスシステム１０は、アップロードされた歌声データを公開して、他の利用者（大会に参加していない利用者を含んでいても良い）にダウンロードさせる。このカラオケ大会に参加している利用者の歌声を視聴した利用者は、例えば優れていると思った楽曲（歌声データ）に対して投票をすることができる。投票の方法としては、歌声データの再生時に、前述のようにして拍手や声（声援など）を発することで、この歌声データをカラオケサービスシステム１０にアップロードしたり、Ｗｅｂページ中に設けられた所定のボタンに対する選択操作をしたりすることができる。
【０１０４】
投票のためにアップロードされた拍手や声（声援など）の歌声データは、カラオケ大会に参加している利用者がアップロードした歌声データに合成され、この利用者にダウンロードさせる。利用者は、カラオケサービスシステム１０からダウンロードした歌声データを再生出力させることで、拍手や声援が合成された自分の歌声を視聴することができ、他の利用者の反応を確認することができる。
【０１０５】
カラオケサービスシステム１０は、投票数が最も多かった歌声データをアップロードした利用者をカラオケ大会の優勝者として決定する。
【０１０６】
このように、本実施形態におけるカラオケサービスシステム１０では、単に歌声データを合成して新たな歌声データを生成するだけでなく、前述したカラオケ教室サービスやカラオケ大会サービスに適用することができる。なお、前述したサービス内容に限らず、他のサービスへの応用も可能である。
【０１０７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１０８】
また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
【符号の説明】
【０１０９】
１０…カラオケサービスシステム、１２…ネットワーク、１３…ゲーム機、１４…パーソナルコンピュータ、１５…家庭用カラオケ専用機、１７…データベースサーバ、１８（１８ａ，１８ｂ，１８ｃ）…Ｗｅｂサーバ、２０，３９…制御部、２１…通信制御部、３０…歌声制御部、３１…カラオケサウンド制御部、３２…歌詞データ制御部、３３…演奏条件制御部、３４…ユーザ情報制御部、３５…背景動画制御部、３６…歌声データ録音処理部、３７…歌声合成処理部、３８…データベース、４０…曲リストデータ記憶領域、４１…曲データ記憶領域、４２…演奏条件データ記憶領域、４３…ユーザ情報記憶領域、４４…歌声データ記憶領域、４５…背景動画データ記憶領域、５０…カラオケサウンドデータ、５２…歌声キャストデータ、５３…歌声データ、５４…演奏条件データ、５５…ユーザ情報。
【技術分野】
【０００１】
本発明は、ネットワークを通じてカラオケサービスを提供するカラオケサービスシステム、同システムで使用される端末装置に関する。
【背景技術】
【０００２】
一般に、カラオケ装置が広く普及しており、カラオケ店舗や家庭内において利用されている。利用者は、カラオケ装置を利用して歌唱する際には、自分の歌いたい楽曲を選択し、その楽曲を指定するコード番号等を入力することにより、カラオケ音声が流れ始めると共に表示時画面に曲に関する映像が映し出され、所定のタイミングで歌詞が画面中に表示される。利用者は、画面中の歌詞を見ながらカラオケ音声に合わせて歌唱することができる。
【０００３】
従来では、前述のようにカラオケ装置を用いて歌唱するだけでなく、自分の歌唱を録音して、後に配信することが考えられている（例えば特許文献１参照）。
【０００４】
特許文献１に記載されたカラオケ録音配信システムでは、カラオケ店舗において利用者による歌唱が行われたときの歌唱を録音し、録音された録音データを配信手段により情報配信サービス会社に送信して蓄積する。蓄積された録音データを再生するための録音再生指示を、情報配信サービス会社が、利用者の携帯電話機または利用者側端末から受信し、受信された前記録音再生指示に従って録音データを再生して利用者の携帯電話機または利用者側端末に送信する。これにより、利用者は、携帯電話機または利用者側端末装置により、録音された歌唱を聴くことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２８８０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように従来のカラオケ録音配信システムでは、カラオケ装置において録音した歌唱を情報配信サービス会社に蓄積し、この歌唱を利用者の携帯電話機または利用者側端末において聴くことができる。
【０００７】
しかしながら、特許文献１に記載された従来のシステムでは、マイクから入力された利用者の音声と伴奏データとが合わされて録音データが生成され、また歌唱音声になんら加工がされないため、蓄積された録音データの音質を良くすることが困難となっていた。また、利用者自身が情報配信サービス会社に蓄積した歌唱を自分で聴けるだけであり、他の利用者が蓄積した歌唱を聴いたり、蓄積された歌唱を使用して加工を施すといった応用ができなかった。
【０００８】
本発明は前述した事情に考慮してなされたもので、その目的は、他の利用者が蓄積した歌唱を利用して高音質な歌声音声を蓄積し、不特定の他の利用者に配信することが可能なカラオケサービスシステム、端末装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明は、演奏データを記憶する演奏データ記憶手段と、ネットワークを介して接続された第１の端末装置に対して、前記演奏データを送信する演奏データ送信手段と、前記第１の端末装置において前記演奏データに応じて出力された演奏音に対して入力された第１の音声データを、前記第１の端末装置から受信する音声データ受信手段と、前記音声データ受信手段により受信された前記第１の音声データを前記演奏データと関連付けて記憶する音声データ記憶手段と、ネットワークを介して接続された第２の端末装置から前記音声データ記憶手段に記憶された前記第１の音声データの配信要求を受信する要求受信手段と、前記要求受信手段によって受信された要求に応じて、前記第１の音声データを同音声データと関連する前記演奏データと共に、前記第２の端末装置に配信する配信手段と、前記第２の端末装置において前記演奏データと前記第１の音声データに応じて出力された演奏音に対して入力された第２の音声データと、前記第１の音声データとが合成された第３の音声データを前記演奏データと関連付けて前記音声データ記憶手段に記憶させる合成音声データ記憶手段とを具備したことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、他の利用者が蓄積した歌唱を利用した高音質な音声データを蓄積し、不特定の他の利用者に配信することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態におけるカラオケシステムの構成を示すブロック図。
【図２】データベースサーバ１７とＷｅｂサーバ１８の機能構成を示すブロック図。
【図３】カラオケサービスシステム１０と端末装置間で送受信されるデータを説明するための図。
【図４】歌声データ録音処理を示すフローチャート。
【図５】歌声データ録音処理において実行される第１の方法による歌声合成処理を示すフローチャート。
【図６】歌声データ録音処理において実行される第２の方法による歌声合成処理を示すフローチャート。
【図７】歌のせタイプ別の歌唱音の合成割合を説明する図。
【図８】カラオケサービスシステム１０が公開している歌声データを合成してアップロードするサービスを提供するためのＷｅｂページの一例を示す図。
【図９】「コーラス募集曲」としてアップロードされた楽曲の一例を示す図。
【図１０】選択された楽曲についてコーラスに参加している利用者の詳細を表示する画面の一例を示す図。
【図１１】プロフィール画像の一覧表示の並びが変更された画面の一例を示す図。
【図１２】参加希望人数分の利用者が参加している場合の詳細画面の一例を示す図。
【図１３】新たにコーラスに参加した利用者ｆのプロフィール画像とステータス「録音中」が追加された画面の一例を示す図。
【図１４】端末装置においてポップアップ表示された楽曲再生／録音用プレーヤの画面の一例を示す図。
【図１５】編集処理を受け付けるための画面の一例を示す図。
【図１６】動画の試聴、保存有無を利用者に確認するための画面の一例を示す図。
【図１７】図１３に示す詳細画面が更新された後の表示例を示す図。
【図１８】２人の利用者Ａ，Ｂによって録音された歌声データを合成する例について示す図。
【図１９】利用者Ａ＋Ｂの歌声データに対して、利用者Ｃによって録音された歌声データを合成する例について示す図。
【図２０】利用者Ａ，Ｂ，Ｃの歌声データを合成する例について示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態におけるカラオケシステムの構成を示すブロック図である。図１に示すカラオケシステムは、カラオケサービスシステム１０と、インターネットなどのネットワーク１２を介して接続された端末装置、例えばゲーム機１３、パーソナルコンピュータ１４、家庭用カラオケ専用機１５等により構成される。端末装置には、一般的な情報処理装置に設けられる表示装置、入力装置、記憶装置などの他、マイクやスピーカを通じて音声の入出力が可能な音声処理機能、カメラを通じて画像（静止画、動画）を撮影する画像処理機能などが搭載されているものとする。
【００１３】
カラオケサービスシステム１０は、データベースサーバ１７及びＷｅｂサーバ１８（１８ａ，１８ｂ，１８ｃ）により構成される。データベースサーバ１７は、ネットワーク１２を通じて、各端末装置１３〜１５に対してカラオケサービスを提供するために必要な各種データを記録する。Ｗｅｂサーバ１８は、ネットワーク１２（ＷＷＷ（World Wide Web））を通じて、カラオケサービスに用いる各種データファイルの送受信を実行する。Ｗｅｂサーバ１８は、データベースサーバ１７に記録されたカラオケ用の楽曲（カラオケサウンド）を端末装置に配信し、端末装置においてカラオケサウンドの再生に合わせて入力（録音）された音声（歌唱音声、楽器音声等）についての歌唱データを受信してデータベースサーバ１７に記憶させる。また、Ｗｅｂサーバ１８は、端末装置から受信された歌唱データを、ネットワーク１２を通じて他の端末装置に対して配信する。
【００１４】
図２は、データベースサーバ１７とＷｅｂサーバ１８の機能構成を示すブロック図である。
Ｗｅｂサーバ１８には、プロセッサやメモリ、記憶装置などを含み、制御部２０及び通信制御部２１の機能が設けられている。制御部２０は、メモリに記憶された各種プログラムをプロセッサにより実行することで各種機能を実現する。制御部２０において実現される機能としては、歌声制御部３０、カラオケサウンド制御部３１、歌詞データ制御部３２、演奏条件制御部３３、ユーザ情報制御部３４、背景動画制御部３５、歌声データ録音処理部３６、及び歌声合成処理部３７が含まれている。
【００１５】
歌声制御部３０は、データベースサーバ１７に記憶された歌声データ（音声データ）を管理する。本実施形態におけるカラオケサービスシステムでは、楽曲を構成する曲データ（演奏音）と歌声データとが独立して管理されている。歌声制御部３０は、歌声データを、カラオケサウンドデータと対応付けてデータベースサーバ１７において管理する。
【００１６】
カラオケサウンド制御部３１は、データベースサーバ１７に記憶されたカラオケサウンドデータ（曲データ（演奏データ））を管理するもので、ネットワーク１２を通じた端末装置に対する配信等の処理を行う。
【００１７】
歌詞データ制御部３２は、データベースサーバ１７に記憶された曲データに含まれる歌詞データを管理する。
【００１８】
演奏条件制御部３３は、カラオケサウンドデータの端末装置における演奏条件を示す演奏条件データを管理するもので、端末装置において利用者により設定された各種設定内容を演奏条件データとして歌声データデータと共に受信してデータベースサーバ１７において記憶させる（図３参照）。
【００１９】
ユーザ情報制御部３４は、歌声データをデータベースサーバ１７に記憶させた（アップロードした）利用者に関するユーザ情報を管理するもので、端末装置において利用者により設定された各種設定内容をユーザ情報として歌声データデータと共に受信してデータベースサーバ１７において記憶させる（図３参照）。
【００２０】
背景動画制御部３５は、データベースサーバ１７に記憶された背景動画データを管理するもので、予め曲データに対して用意された背景動画データだけでなく、端末装置から歌声データと共に受信された動画データを背景動画データとしてデータベースサーバ１７において記憶させる。
【００２１】
歌声データ録音処理部３６は、端末装置から歌声データ等を受信してデータベースサーバ１７に記憶（録音）させるための歌声データ録音処理を実行する。歌声データ録音処理部３６は、歌声合成処理部３７により歌声合成処理を実行させて、ネットワーク１２を介して接続された端末装置に対して、データベースサーバ１７に記憶されたカラオケサウンドデータ、あるいはカラオケサウンドデータと関連する歌声データとを端末装置に配信し、また端末装置において入力された歌声データ等を受信してデータベースサーバ１７においてカラオケサウンドデータと関連付けて記憶させる。端末装置から受信される歌声データは、利用者の歌唱による歌声の他、通常の音声、楽器の演奏による演奏音、拍手などの音のデータであっても良い。
【００２２】
歌声合成処理部３７は、端末装置から受信された歌声データを他の歌声データと合成するための合成処理を実行する。
【００２３】
データベースサーバ１７には、データベース３８及び制御部３９が設けられている。制御部３９は、プロセッサやメモリなどを含み、メモリに記憶された各種プログラムをプロセッサにより実行することで各種データを管理する機能を実現する。データベース３８は、大容量の記憶装置（ハードディスク装置等）により構成されるもので、制御部３９の制御により、曲リストデータ記憶領域４０、曲データ記憶領域４１、演奏条件データ記憶領域４２、ユーザ情報記憶領域４３、歌声データ記憶領域４４、背景動画データ記憶領域４５が設けられ、各種データが記憶される。
【００２４】
曲リストデータ記憶領域４０には、曲データ記憶領域４１に記憶された曲データ、すなわちユーザに対してカラオケサウンドを提供可能な楽曲のリストを提示するための曲リストデータが記憶される。
【００２５】
曲データ記憶領域４１には、多数の楽曲についての曲データ４１−１〜４１−ｎが記憶されている。曲データは、ＭＩＤＩ（musical instruction digital interface）演奏データと歌詞データと歌詞タイミングデータを含んでいる。ＭＩＤＩ演奏データはカラオケの演奏音を再生するためのデータであり、歌詞データは、そのＭＩＤＩ演奏データの再生中に歌詞を画面に表示するためのデータであり、歌詞タイミングデータは画面上に歌詞をどのタイミングで表示し、各文字の色をどのタイミングで変化させるかを示すデータである。
【００２６】
演奏条件データ記憶領域４２は、歌声データ記憶領域４４に記憶された歌声データと関連付けられた演奏条件データが記憶される。
【００２７】
ユーザ情報記憶領域４３は、歌声データ記憶領域４４に記憶された歌声データと共に端末装置から受信されたユーザ情報が記憶される。
【００２８】
歌声データ記憶領域４４は、曲データ記憶領域４１に記憶された曲データ（カラオケサウンドデータ）と関連付けられた歌声データが記憶される。歌声データ記憶領域４４には、予めシステムで用意された歌声データ（ガイド音声など）の他、端末装置から受信された歌声データが記憶される。
【００２９】
背景動画データ記憶領域４５は、曲データ記憶領域４１に記憶された曲データ（カラオケサウンドデータ）と関連付けられた背景動画データが記憶される。背景動画データ記憶領域４５には、予めシステムで用意された背景動画データの他、端末装置から歌声データと共に受信された背景動画データが記憶される。
【００３０】
図３は、カラオケサービスシステム１０と端末装置間で送受信されるデータを説明するための図である。
通常のカラオケサービスを提供する場合には、カラオケサウンドデータ５０、背景動画データが端末装置に対して配信される。端末装置では、カラオケサウンドデータ５０をもとにしてカラオケ（演奏音）を再生出力すると共に、背景動画と歌詞を演奏音に合わせて画面において表示させる。端末装置の利用者は、カラオケに合わせて歌詞を見ながら歌唱することができる。
【００３１】
端末装置の利用者が歌声データをカラオケサービスシステム１０にアップロードする場合には、図３に示すように、カラオケサウンドデータ（曲データ）と関連付けられた歌声キャストデータ５２が１ファイルとして、端末装置からＷｅｂサーバ１８に送信される。歌声キャストデータ５２には、歌声データ５３、演奏条件データ５４、ユーザ情報５５とが含まれる。歌声データ５３は、端末装置においてカラオケサウンドに合わせて利用者が歌唱することで入力された音声データである。
【００３２】
演奏条件データ５４は、利用者が歌唱する際に設定したカラオケに対する設定内容等を示すもので、例えば対応するカラオケサウンドデータ５０を示すカラオケサウンドコード（曲番）の他、再生キー、エコー強度、マイクエフェクト（リバーブ、イコライジング等）、テンポなどのデータが含まれている。
【００３３】
ユーザ情報５５は、利用者がアップロードした歌声データを、カラオケサービスシステム１０から他の利用者に配信するために利用されるデータであり、例えば共有範囲、ユーザ名、楽曲コメント、プロフィール、顔画像、背景設定などのデータが含まれている。共有範囲は、カラオケサービスシステム１０にアップロードした歌声データを、何れの他の利用者に対してダウンロード可能とするか、またダウンロードさせた歌声データに対する加工の許容範囲を示すデータである。ダウンロード可能な範囲では、制限無し、特定のグループに属する利用者のみ、予め設定された利用者（例えば歌唱指導者）などを、歌声データをアップロードするユーザが任意に指定することができる。また、加工の許容範囲としては、歌声データをダウンロードした利用者が任意に変更可能とする「加工許可」の他、アップロードした利用者からの承認があれば加工を許可する「承認制で加工許可」、再生出力のみで加工を認めない「加工禁止」などを指定することができる。さらに、加工許可では、歌声データの合成に対する条件、例えば「上書き合成許可」「分離結合許可」などを指定することができる。
【００３４】
また、加工許可された歌声データに対しては、ダウンロード先の端末装置において利用者が入力した歌唱の歌声データを合成することができる。複数の歌声データを合成する歌声合成処理は、端末装置において動作するアプリケーションにより実行して、合成された歌声データをカラオケサービスシステム１０にアップロードする第１の方法、端末装置において入力された歌声データをカラオケサービスシステム１０にアップロードし、Ｗｅｂサーバ１８において合成する第２の方法の何れかを採用することができる。なお、図３に示す歌声キャストデータ５２をカラオケサービスシステム１０にアップロードするデータ形式は、第１の方法が用いられた場合に用いられる。第２の方法が用いられる場合には、ＭＩＤＩ演奏データが端末装置にストリーミング配信され、カラオケの再生出力と共に端末装置において入力された歌声データがリアルタイムでカラオケサービスシステム１０（Ｗｅｂサーバ１８）にアップロードされる。
【００３５】
次に、本実施形態におけるカラオケサービスシステム１０の動作について説明する。
まず、カラオケサービスシステム１０によって提供される通常のカラオケサービスについて説明する。
カラオケサービスシステム１０（Ｗｅｂサーバ１８）は、ネットワーク１２（インターネット）にカラオケサービスを提供するためのＷｅｂサイト（カラオケサービスサイト）を開設している。カラオケサービスを利用しようとする利用者は、各種端末装置（ゲーム機１３、パーソナルコンピュータ１４、家庭用カラオケ専用機１５等）を用いて、カラオケサービスサイトにアクセスして、各種用意されているサービス内容から何れかを選択する。
【００３６】
Ｗｅｂサーバ１８は、通常のカラオケ利用が選択され、アーティスト名や楽曲名が指定されると、データベースサーバ１７に記憶された該当する楽曲のカラオケサウンドデータ５０（ＭＩＤＩ演奏データ、歌詞データ、歌詞タイミングデータ）及び背景動画データ（さらに圧縮音声データが含まれていても良い）を送信する。端末装置は、カラオケサービスシステム１０から受信したカラオケサウンドデータ５０をもとにカラオケ（演奏音）を再生出力すると共に、背景画像や歌詞などを表示させる。端末装置の利用者は、カラオケに合わせて歌唱することができる。なお、カラオケサウンドデータ５０を再生出力させる再生条件として、利用者の好みに合わせて再生キー、エコー強度、マイクエフェクトなどを任意に設定することができる。端末装置は、再生条件に従って、カラオケサウンドデータ５０をもとにカラオケを再生出力させる。
【００３７】
なお、端末装置には、カラオケサービスシステム１０が提供するカラオケサービスを利用するためのアプリケーションプログラム（楽曲再生／録音用プレーヤを含む）が記憶されているものとする。このアプリケーションプログラムは、カラオケサービスシステム１０からの制御により、端末装置において起動させることができる。
【００３８】
次に、カラオケサービスシステム１０による歌声データをアップロード（録音）し、他の利用者に配信することができるサービスについて説明する。
Ｗｅｂサーバ１８は、端末装置から歌声データのアップロード（保存）が選択された場合、前述と同様にしてカラオケサウンドデータ５０等を端末装置に送信して、端末装置の利用者にカラオケに合わせて歌唱させる。端末装置では、利用者による歌唱を録音して歌声データを生成する。ここでは、端末装置のマイクから入力された歌声のみを録音することにより、カラオケサウンドを歌唱と同時に録音する従来の方法より高品質で少ないデータ量とすることができる。また、データ量が少ないことからデータ処理に要する時間も短くてすむ。カラオケの終了後、端末装置は、歌声データを圧縮して、この歌声データを含む歌声キャストデータ５２をＷｅｂサーバ１８に対して送信する。なお、歌声キャストデータ５２に含まれるユーザ情報は、別途、利用者によって端末装置に設定されるものとする。
【００３９】
Ｗｅｂサーバ１８は、端末装置から受信した歌声キャストデータ５２を、データベースサーバ１７において記憶させる。データベースサーバ１７は、歌声キャストデータ５２に含まれる各データをデータベース３８のそれぞれに対応する領域にカラオケサウンドと関連付けて記憶させる。
【００４０】
データベース３８に記憶された歌声キャストデータ５２（歌声データ）は、ユーザ情報に基づいて、カラオケサービスサイトを通じて他の利用者に配信することができる。カラオケサービスサイトでは、多数のサービス利用者によってアップロードされた歌声データが公開される。例えば、アーティスト別や楽曲別などに分類した歌声データの公開ページが用意され、ユーザ情報に含まれた各情報（ユーザ名、楽曲コメント、顔画像、プロフィールなど）と共にアップロードされた歌声データが一覧表示される。
【００４１】
この公開ページにおいて端末装置から何れかが選択されると、Ｗｅｂサーバ１８は、データベースサーバ１７に記憶されている該当する歌声キャストデータ５２とカラオケサウンドデータ５０とを、ネットワーク１２を通じて送信する。また、背景画像データが歌声データと共にアップロードされている場合には、この背景画像データも端末装置に対して送信する。
【００４２】
端末装置は、カラオケサウンドデータを演奏条件データ（再生キー、マイクエコーなど）に応じて再生出力すると共に、カラオケサウンドと同期させて歌声データを再生出力する。また、背景画像データも共に受信された場合には、カラオケサウンドの再生と同期して背景動画を表示させる。これにより、端末装置では、カラオケサービスシステム１０からダウンロードしたデータをもとに、他の利用者が歌声データを録音した時と同じ状況下でカラオケ及び歌声を再生出力することができる。
【００４３】
次に、カラオケサービスシステム１０による複数の歌声データを合成してアップロード（録音）し、他の利用者に配信することができるサービスについて説明する。図４は、このサービスを実現するための歌声データ録音処理を示すフローチャート、図５は、第１の方法を用いた場合の歌声データ録音処理において実行される歌声合成処理を示すフローチャート、図６は、第２の方法を用いた場合の歌声データ録音処理において実行される歌声合成処理を示すフローチャートである。
【００４４】
本実施形態におけるカラオケサービスでは、他の利用者によってカラオケサービスシステム１０にアップロードされた歌声データに対して、自分の歌声などを合成してアップロードし、カラオケサービスシステム１０から他の利用者に対して配信できるようにする。
【００４５】
歌声データを合成する種類（以下、歌のせタイプと称する）には、複数のタイプが予め用意されている。
図７は、歌のせタイプの一例を説明するための図である。図７に示すように、タイプには、例えば「デュエット・ハモリ」「歌唱指導」「合唱・輪唱」「コーラス・合いの手」などがある。各タイプには、歌唱人数（合成の対象とする歌声データの数）が予め決められている。例えば、「デュエット・ハモリ」と「歌唱指導」の場合には２人、「合唱・輪唱」と「コーラス・合いの手」の場合には２人以上が設定されている（最初に歌声データをアップロードした利用者が任意に参加希望人数を指定できるものとする）。「合唱・輪唱」と「コーラス・合いの手」については人数を無制限とすることも可能であるが、システム運営上、予め決められた人数上限（例えば３２人）が設定されるものとする。
【００４６】
また、各タイプに対して、歌唱人数に応じて、歌声データを合成する際の音量の調整割合が設定されている。例えば、「デュエット・ハモリ」と「歌唱指導」については歌唱人数が２人であるので、元の歌声データの音量と追加する歌声データの音量との割合が「５０：５０」に設定されている。「合唱・輪唱」については「ｎ−１／ｎ：１／ｎ」が設定されており、各利用者の歌唱の音量が同じ割合となるようにしている。「コーラス・合いの手」については「５０：５０／ｎ−１」が設定されており、参加人数に関係なく最初の歌唱者の音量が５０％に保たれるようにしている。
【００４７】
なお、図７に示すタイプの種類や、それぞれに対して設定された自動調整割合は一例であって、任意に設定することが可能である。
【００４８】
図８には、カラオケサービスシステム１０（Ｗｅｂサーバ１８）がインターネット上に公開している、歌声データを合成してアップロードするサービスを提供するためのＷｅｂページの一例を示している。図８に示すＷｅｂページでは、他の利用者によってアップロードされた、デュエットや合唱などが可能な楽曲（歌声データ）の一覧が表示されている。
【００４９】
この画面では、楽曲のタイトルやアーティスト名の他、歌声データをアップロードした利用者の顔画像やコメントなどが表示されている。また、「パートナー募集曲」については、録音／再生ボタンが表示され、「コーラス募集曲」については「詳細」ボタンが設定されている。また、「歌唱指導待ちの曲」「完成曲の紹介」については再生ボタンのみが表示されている。
【００５０】
なお、以下の説明では、第１の方法による歌声合成処理が用いられるものとして説明する。
「パートナー募集曲」に対しては、録音ボタンによって歌声の合成が要求されると、Ｗｅｂサーバ１８の歌声データ録音処理部３６は、前述したように、カラオケサウンドと歌声データとを端末装置において再生出力させる。第１の方法により歌声合成処理を実行する場合には、端末装置は、再生出力する歌声データに対して、利用者による歌唱（デュエット、ハモリ）により入力された歌声データを合成して新たな歌声データを生成してカラオケサービスシステム１０に送信する。歌声データ録音処理部３６は、端末装置から受信した歌声データを、データベースサーバ１７によりデータベース３８の歌声データ記憶領域４４において、曲データ（演奏データ）と関連付けて記憶させて、図８に示すページ画面において表示されるようにする。なお、歌声データの合成処理の詳細については後述する。
【００５１】
一方、「コーラス募集曲」については「詳細」ボタンによって歌声の合成が要求されると（図４、ステップＡ１）、歌声データ録音処理部３６は、選択された楽曲についての詳細画面を端末装置において表示させる（ステップＡ２）。
【００５２】
例えば、図９に示す「コーラス募集曲」としてアップロードされた楽曲については、残り募集人数が３人であることが表示されている。ここで、「詳細」ボタンが端末装置において選択されると、歌声データ録音処理部３６は、例えば図１０に示すような、選択された楽曲についてコーラスに参加している利用者の詳細を端末装置において表示させる。
【００５３】
この詳細画面では、コーラスに「参加する」や、新規に楽曲を作成するための「新しいコーラス曲を作る」を要求するボタンが用意されている。また、コーラスに参加している各利用者の顔画像（プロフィール画像）とニックネームの一覧表示と、各利用者のステータス（「録音中」などの状態を表す）が表示される。
【００５４】
なお、歌声データ録音処理部３６は、各利用者のステータス（録音状態）が変化した場合には、Ｗｅｂページの更新のたびに詳細画面に反映させる。例えば、図１０に示す詳細画面中に表示された利用者ｅのステータスが「録音中」から「録音完了」に変化した場合には、図１１に示すように、プロフィール画像の一覧表示の並びを変更して、録音完了済みであることを表す。また、図１０においてプロフィール画像が表示されていた利用者ｄがコーラスへの参加をキャンセルした場合には、図１１に示すように、利用者ｄのプロフィール画像一覧から削除して参加希望人数を更新する（増やす）。
【００５５】
なお、参加希望人数分の利用者が参加している場合、詳細画面は、例えば図１２に示すように表示される。すなわち、ステータスとして「現在、参加枠は埋まっています」のメッセージが表示されると共に「参加ボタン」が消去されるものとする。
【００５６】
詳細画面において「参加する」が選択された場合（ステップＡ３、Ｙｅｓ）、歌声データ録音処理部３６は、詳細画面に対して、コーラスへの参加を要求した利用者のプロフィール画像とニックネームを追加表示し、残り募集人数を１減らして表示する（ステップＡ４）。図１３には、新たにコーラスに参加した利用者ｆのプロフィール画像とステータス「録音中」が追加された画面の一例を示している。
【００５７】
ここで、歌声データ録音処理部３６は、端末装置において、楽曲再生／録音用プレーヤ（プログラム）を起動させて、表示画面中に楽曲再生／録音用プレーヤ画面をポップアップ表示させる（ステップＡ５）。そして、楽曲再生／録音用プレーヤを通じて、端末装置により歌声合成処理を実行させる（図５に示すフローチャート）。
【００５８】
図１４には、端末装置においてポップアップ表示された楽曲再生／録音用プレーヤの画面の一例を示している。
カラオケサービスシステム１０は、端末装置において楽曲再生／録音用プレーヤが起動されると、合成処理の対象とするデータベース３８に記憶された歌声データ（他の利用者によりアップロードされたデータ）を含む歌声キャストデータ５２とカラオケサウンドデータ５０とを端末装置に対してダウンロードさせる（ステップＢ１）。
【００５９】
次に、楽曲再生／録音用プレーヤは、歌声キャストデータ５２等がダウンロードされると「歌のせタイプ」を設定し（ここでは「コーラス」）（ステップＢ２）、録音開始指示の入力待ちとなる。楽曲再生／録音用プレーヤは、画面中に表示されたコントロールパネル中の録音ボタンに対する操作により録音開始指示が入力されると（ステップＢ３）、カラオケサウンドと歌声データによる音声を同期させて再生開始する（ステップＢ４）。ここでは、通常のカラオケを利用する場合と同様にして、カラオケサウンドの再生と合わせて歌詞が画面中に表示される。
【００６０】
また、楽曲再生／録音用プレーヤは、端末装置に搭載されたカメラにより動画の撮影を開始させ、撮影された動画を記録していく（ステップＢ５）。ここで、記録された動画は、歌声データと共にカラオケサービスシステム１０にアップロードすることで、他の利用者に対して歌声データがダウンロードされた際に、この歌声データの再生時に背景画像データとして再生出力させることができる。
【００６１】
楽曲再生／録音用プレーヤは、録音を開始すると、マイクを通じて入力される音声レベルを検知しており、予め設定されたレベル以上となっているかを判別する。すなわち、利用者による歌唱のための音声入力がされているかを判別する。
【００６２】
ここで、音声入力があると判別された場合には（ステップＢ６、Ｙｅｓ）、楽曲再生／録音用プレーヤは、「歌のせタイプ」に応じて予め設定されている自動調整割合（図７参照）に応じて音量調整を実行して歌声データを生成して記録する（ステップＢ７，Ｂ８）。音量調整した合成の詳細については後述する。
【００６３】
なお、歌唱音声入力があったことが検知された場合に歌声データを記録することによって、楽曲全体分の録音をする場合よりも歌声データのデータ量を削減することができる。歌声データの合成では、デュエットやハモリ、コーラス、合いの手など、楽曲全体に渡って音声の入力が連続しない状況が多いため、必要な部分のみを記録することでデータ量の削減を図り、歌声合成処理の負担を軽減し、カラオケサービスシステム１０との間のデータ送受信を効率化することができる。
【００６４】
楽曲再生／録音用プレーヤは、カラオケサウンドデータ５０の再生が終了し（ステップＢ９、Ｙｅｓ）、録音終了が指示されると（ステップＢ１０、Ｙｅｓ）、歌声データの記録を終了すると共に、動画の撮影を終了する。そして、歌声データは、録音された歌声データに対する編集処理を受け付けるための画面を表示させる。
【００６５】
図１５には、編集処理を受け付けるための画面の一例を示している。図１５に示す例では、「試聴」「部分修正」「音量・タイミング調整」の何れかを選択することができる。
【００６６】
「試聴」が指定された場合には、楽曲再生／録音用プレーヤは、ダウンロードされた所定の合成割合で音量が調整された歌声データと、新たに録音された音量調整された歌声データとを合成した歌声データを再生出力させる。「部分修正」が指定された場合には、楽曲再生／録音用プレーヤは、前述と同様にして、利用者に修正しようとする部分の音声を入力させ、この部分的に入力された音声を先に録音された歌声データに上書き合成する。「音量・タイミング調整」が指定された場合には、楽曲再生／録音用プレーヤは、例えば、音量や歌声の発声タイミングを調整するための操作画面を表示させ、この画面を通じて利用者から指示された調整内容（音量上げ／下げ、任意に指定した範囲の音声削除（音量０の指定）、カラオケサウンドに対する発声タイミングの開始位置を前後させる調整など）に応じて、歌声データを変更する。
【００６７】
なお、「部分修正」や「音量・タイミング調整」の編集についても、その後、編集済みの歌声データに対して、新たに歌唱して入力した歌声データを合成することができる。従って、第１の方法では、楽曲再生／録音用プレーヤにより、編集を加えながら繰り返して歌声を合成して利用者の好みにあった歌声データを生成することができる。
【００６８】
このような編集処理が必要に応じて実行された後（ステップＢ１２）、編集完了が指示されると（ステップＢ１２、Ｙｅｓ）、楽曲再生／録音用プレーヤは、歌声合成処理を終了する。
【００６９】
続いて楽曲再生／録音用プレーヤは、歌声データの録音中に撮影した動画の試聴、保存有無を利用者に確認するための画面を表示させる。
【００７０】
図１６には、動画の試聴、保存有無を利用者に確認するための画面の一例を示している。図１６に示す例では、「視聴」「ＯＫ」「ＮＯ」の何れかを選択することができる。
【００７１】
「視聴」が指定された場合には、楽曲再生／録音用プレーヤは、記録された動画を再生出力させる。「ＯＫ」あるいは「ＮＯ」が指定された場合には、楽曲再生／録音用プレーヤは、次の処理に移行して「ＯＫ」あるいは「ＮＯ」の指示に応じて動画データのアップロードを制御する。
【００７２】
すなわち、楽曲再生／録音用プレーヤは、動画の保存有無が利用者からの指示により確定されると（ステップＡ７）、歌声合成処理において記録された歌声データを含む歌声キャストデータをカラオケサービスシステム１０に対してアップロードする（ステップＡ８）。また、楽曲再生／録音用プレーヤは、動画データについて、動画の保存有り「ＯＫ」が指示されている場合に、カラオケサービスシステム１０にアップロードする。なお、歌声データについては、合成済みの歌声データだけでなく、新たに録音された歌声の歌声データについてもアップロードするようにしても良い。
【００７３】
歌声キャストデータ、動画データのアップロードが完了すると、楽曲再生／録音用プレーヤは、動作を終了する（ステップＡ９）。Ｗｅｂサーバ１８は、端末装置（楽曲再生／録音用プレーヤ）からアップロードされた各データを、データベースサーバ１７において記憶させる。Ｗｅｂサーバ１８は、歌声キャストデータ５２のアップロードが完了することで詳細画面を更新して、端末装置において表示させる（ステップＡ１０）。
【００７４】
図１７は、図１３に示す詳細画面が更新された後の表示例を示している。図１７に示す例では、新たにコーラスに参加した利用者ｆのステータスが「録音中」から録音完了を表すように変更され、プロフィール画面の配置が変更されている。また、コーラス参加の残り募集人数が１減らして表示されている。
【００７５】
このようにして、カラオケサービスシステム１０は、他の利用者によりアップロードされた歌声データ（歌声キャストデータ５２）を送信し、端末装置における歌声データとカラオケサウンドの再生に合わせて入力された合成対象とする音声を歌声データとしてアップロードさせることができる。
【００７６】
なお、楽曲再生／録音用プレーヤは、カラオケサービスシステム１０から受信したカラオケサウンドデータ５０を自端末装置において保存せず、歌声データ録音処理の完了と共に削除するように動作するものとする。これにより、カラオケサービスシステム１０は、特定のサービスを提供する利用者（例えば予め会員登録された利用者）に対してのみ、カラオケサウンドデータ５０を配信することができるので著作権の管理をすることもできる。
【００７７】
なお、前述した説明では、カラオケサービスシステム１０かせカラオケサウンドデータ５０と歌声キャストデータ５２を送信し、端末装置上で動作する楽曲再生／録音用プレーヤにより歌声データを御是するための歌声合成処理を実行するものとして説明しているが、カラオケサービスシステム１０側が歌声合成処理を実行するようにしても良い（第２の方法）。以下、第２の方法による歌声合成処理について説明する。
【００７８】
図６は、カラオケサービスシステム１０からカラオケサウンドデータがストリーミング配信される場合の歌声合成処理（第２の方法）を示すフローチャートである。
【００７９】
Ｗｅｂサーバ１８は、端末装置において楽曲再生／録音用プレーヤを起動させると、利用者により「歌のせタイプ」を選択させた後（ステップＣ１）、録音開始を指示させる（ステップＣ２）。
【００８０】
楽曲再生／録音用プレーヤを通じて録音開始が指示されると、Ｗｅｂサーバ１８は、合成処理の対象とするデータベース３８に記憶された歌声データ（他の利用者によりアップロードされたデータ）を含む歌声キャストデータ５２とカラオケサウンドデータ５０とを端末装置に対してストリーミング配信する（ステップＣ３）。
【００８１】
Ｗｅｂサーバ１８は、端末装置において楽曲再生／録音用プレーヤにより、カラオケサウンドと歌声データによる音声を同期して再生させる。ここでは、通常のカラオケを利用する場合と同様にして、カラオケサウンドの再生と合わせて歌詞を画面中に表示させる。
【００８２】
Ｗｅｂサーバ１８は、楽曲再生／録音用プレーヤによって、カラオケサウンドに合わせて利用者が歌唱することで歌声が入力されると（ステップＣ５）、リアルタイムで入力された歌声の歌声データをアップロードさせる（ステップＣ６）。
【００８３】
Ｗｅｂサーバ１８は、「歌のせタイプ」に応じて予め設定されている自動調整割合（図７参照）に応じて音量調整を実行して歌声データを生成して記録する（ステップＣ７，Ｃ８）。音量調整した合成の詳細については後述する。
【００８４】
Ｗｅｂサーバ１８は、端末装置に対して、カラオケサウンドデータ５０と歌声キャストデータ５２のストリーム配信（端末装置における楽曲の再生出力）が終了するまで、前述した処理を継続する。すなわち、端末装置において楽曲再生／録音用プレーヤを通じて、カラオケサウンドと他の利用者がアップロードした歌声とを同期して再生出力させながら、新たに合成しようとする音声を入力してリアルタイムでアップロードさせる。
【００８５】
Ｗｅｂサーバ１８は、ストリーム配信が終了すると（ステップＣ９）、前述した第１の方法と同様の処理を実行して処理を終了する。ただし、ステップＡ８では、歌声データのアップロードが完了しているため、歌声データ以外のデータ（演奏条件データ５４、ユーザ情報５５、動画データ等）をアップロードするものとする。
【００８６】
このようにして、第２の方法では、Ｗｅｂサーバ１８からストリーム配信されたカラオケサウンドデータ５０の再生に合わせて歌唱することで歌声データをアップロードされるので、利用者は簡単に音声合成のための操作をすることができる。また、ストリーム配信では、カラオケサウンドデータ５０が端末装置に保存されないので、第１の方法と同様に楽曲の直策件の管理をすることもできる。
【００８７】
なお、図６に示すフローチャートでは、動画の撮影についての処理を省略しているが、図５のフローチャートに示す歌声合成処理と同様にして、歌声データの録音中の様子を撮影して、歌声キャストデータ５２と共にカラオケサービスシステム１０にアップロードすることができる。
【００８８】
次に、歌声データの合成の具体例について、図１８、図１９、及び図２０に示す図を参照しながら説明する。
図１８は、２人の利用者Ａ，Ｂによって録音された歌声データを合成する例について示す図である。図１８（１）は、利用者Ａがアップロードした歌声データの歌唱された範囲（Ａ１，Ａ３，Ａ５）を示している。利用者Ｂは、カラオケサウンドと共に利用者Ａがアップロードした歌声を聞きながら、楽曲中のハモリやコーラスのための合成しようとする部分、例えば図１８（２）に示す範囲（Ｂ２，Ｂ４）において歌唱して歌声データを録音したものとする。その他の範囲（Ｂ１，Ｂ３，Ｂ５）は非歌唱範囲を示している。
【００８９】
この場合、図１８（３）に示すように、利用者Ａ，Ｂによる歌声データを、図７に示す音量の自動調整割合に応じて合成する。すなわち、利用者Ａ，Ｂの何れか一方が歌唱した範囲では元の音量で合成し、利用者Ａ，Ｂの両方が歌唱している範囲（ＡＢ１，ＡＢ２）では、それぞれの歌声データの音量を調整して（例えば５０：５０）合成している。
【００９０】
図１９は、利用者Ａ＋Ｂの歌声データに対して、利用者Ｃによって録音された歌声データを合成する例について示す図である。図１９（１）は、利用者Ａ＋Ｂの歌声データを示すもので、利用者Ａ，Ｂが単独で歌唱している部分と、合唱している部分（ＡＢ２，ＡＢ４）が含まれている。また、第１の方法では、端末装置の楽曲再生／録音用プレーヤにおいて、ダウンロードした歌声データに対して一部範囲を削除する編集を施した上で、新たに録音した歌声データを合成することができる（分離再結合）。図１９（１）には、利用者による編集処理によって削除された範囲（ＡＢ１，ＡＢ３，ＡＢ５）が含まれている。
【００９１】
この場合、図１９（２）に示すように、利用者Ｃにより合唱として範囲（Ｃ２，Ｃ４）について録音された歌声データに対して、各範囲毎に利用者Ａ，Ｂ，Ｃの歌声の音量を均等にして合成することにより、図１９（３）に示すような歌声データが合成される。範囲（ＡＢＣ１，ＡＢＣ２）では、利用者Ａ，Ｂ，Ｃの歌声データが存在するので、利用者Ａ，Ｂ，Ｃの歌声を均等に調整して合成し、範囲（ＡＣ１）では利用者Ａ，Ｃの歌声を均等に調整して合成し、範囲（ＡＢ１）では利用者Ａ，Ｂの歌声を均等に調整して合成している。
【００９２】
このように、「歌のせタイプ」に応じた自動調整割合に応じて複数の利用者の歌声データの音量を調整して合成することができる。図１９に示す例では、「歌のせタイプ」が合唱の場合を例にして示しているが、コーラス・合いの手の場合には、図７に示す自動調整割合に応じた調整を施して歌声データの合成が行われる。
【００９３】
図２０は、利用者Ａ，Ｂ，Ｃの歌声データを合成する例について示す図である。
前述した図１８、図１９に示す例は、カラオケサービスシステム１０からダウンロードした歌声データに対して、利用者自身の歌声データを合成する２チャンネルの合成となっているが、多チャンネル同時合成とすることも可能である。
【００９４】
例えば、カラオケサービスシステム１０のデータベース３８には、合成された歌声データだけでなく、各利用者がアップロードした元の歌声データを記憶しておく。第１の方法では、歌声キャストデータ５２に複数の利用者の歌声データが合成された歌声データだけでなく、合成前の各利用者がアップロードした歌声データを含める。これにより、端末装置（楽曲再生／録音用プレーヤ）において、利用者が新たに録音した歌声データと、複数の他の利用者の歌声データとによる、多チャンネルの歌声データの合成を行う。
【００９５】
また、第２の方法においても前述と同様にして、各利用者がアップロードした元の歌声データを記憶しておくことで、Ｗｅｂサーバ１８において、利用者が新たに録音した歌声データと、複数の他の利用者の歌声データとによる多チャンネルの歌声データの合成を行う。
【００９６】
図２０は、第１の方法を用いた場合を示すもので、カラオケサービスシステム１０からダウンロードした他の利用者Ｂの歌声データに対して編集を行っている。すなわち、図２０（２）に示すように、利用者Ａ，Ｂ，Ｃの歌声が合成された時の組み合わせを考慮して、利用者Ｂの不要な歌唱範囲（Ｂ３，Ｂ６）の歌声データを削除している。この結果、図２０（４）に示すように、３人の利用者の歌声データの音量が自動調整されて、新たな歌声データを生成することができる。
【００９７】
このように、多チャンネル同時合成を可能とすることで、一人のクリエイターの意志通りの作品を作成することができる。
【００９８】
なお、前述した説明では、歌声データに対して部分的に削除する編集のみについて説明しているが、他の利用者によりアップロードされた歌声データに対して、ボイスエフェクトを許可する共有範囲が設定されている場合には、歌声データに対する編集として、コーラスやリバーブ、イコライジングといったボイスエフェクトを、楽曲再生／録音用プレーヤを通じて指示することにより加えることができる。この場合、歌声データに対応する演奏条件データを指示に応じて更新することにより対応できる。
【００９９】
さらに、前述した説明では、利用者が歌唱した歌声を合成する例について説明しているが、楽器などの生演奏データを歌声データとして合成することができる。この際に、ＭＩＤＩ演奏データに含まれる特定の楽器のパートを消去するようにしても良い。例えば、生ギターを合成する場合に、ＭＩＤＩ演奏データ中のギターのパートの消去を、演奏条件データとして設定する。そして、ＭＩＤＩ演奏データを元にカラオケサウンドを再生出力させる際に、演奏条件データを参照して、消去指定された楽器パートのギターのデータを再生しないようにする。これにより、新たに利用者が追加したギターを含むカラオケサウンドを再生出力させることができるようになる。なお、１つの楽器に限らず、生ベース、生シンセなどの他の複数の楽器音を合わせて合成するようにしても良い。複数の楽器の生演奏を複数の利用者により合成することで、カラオケサービスシステム１０が提供するカラオケサービス内で高度なバーチャルセッションを行うことが可能となる。
【０１００】
次に、カラオケサービスシステム１０によって提供されるカラオケサービスの応用例について説明する。
前述した説明では、利用者がカラオケサービスサイトにアクセスして、歌声の合成対象とする楽曲（歌声データ）を選択し、この楽曲の再生に合わせて歌声データを録音することで合成処理を実行するものとしているが、例えばカラオケ教室サービス、カラオケ大会サービスなどに応用することができる。
【０１０１】
カラオケ教室サービスは、指導者となる利用者の端末装置（第２の端末装置）、生徒となる利用者の端末装置（第１の端末装置）を予め設定しておき、生徒から歌声データがアップロードされた場合に、この歌声データを指導者の端末装置に転送されるようにカラオケサービスシステム１０において管理する。なお、指導者と生徒の端末装置は、予め指導者あるいは生徒からの要求をサービスサイトを通じて受付けて、これに応じてデータベース３８のユーザ情報記憶領域４３に設定しておくものとする。
【０１０２】
指導者は、カラオケサービスシステム１０からダウンロードされた歌声データに対して、歌唱指導のための音声や楽器音（歌声データ）などを録音してカラオケサービスシステム１０にアップロードする。カラオケサービスシステム１０は、指導者からアップロードされた歌唱指導用の音声（歌声データ）を、生徒の歌声データに合成して新たな歌声データを生成し、生徒の端末装置に送信する。これにより、生徒は、自分の歌声に、指導者による音声が合成された歌声データを聴くことで、歌唱指導を受けることができる。本実施形態におけるシステムでは、カラオケサウンドと歌声データとが別に管理されており、このため歌声が高音質となっているために、指導者による指導対応も容易となる（生徒の歌唱を正確に聞き取ることができる）。
【０１０３】
カラオケ大会サービスは、複数の利用者により歌唱の順位を競うカラオケ大会を提供する。カラオケサービスシステム１０は、カラオケ大会への参加希望者を予め登録しておき、参加希望した各利用者から歌声キャストデータ５２（歌声データ）をアップロードさせる。カラオケサービスシステム１０は、アップロードされた歌声データを公開して、他の利用者（大会に参加していない利用者を含んでいても良い）にダウンロードさせる。このカラオケ大会に参加している利用者の歌声を視聴した利用者は、例えば優れていると思った楽曲（歌声データ）に対して投票をすることができる。投票の方法としては、歌声データの再生時に、前述のようにして拍手や声（声援など）を発することで、この歌声データをカラオケサービスシステム１０にアップロードしたり、Ｗｅｂページ中に設けられた所定のボタンに対する選択操作をしたりすることができる。
【０１０４】
投票のためにアップロードされた拍手や声（声援など）の歌声データは、カラオケ大会に参加している利用者がアップロードした歌声データに合成され、この利用者にダウンロードさせる。利用者は、カラオケサービスシステム１０からダウンロードした歌声データを再生出力させることで、拍手や声援が合成された自分の歌声を視聴することができ、他の利用者の反応を確認することができる。
【０１０５】
カラオケサービスシステム１０は、投票数が最も多かった歌声データをアップロードした利用者をカラオケ大会の優勝者として決定する。
【０１０６】
このように、本実施形態におけるカラオケサービスシステム１０では、単に歌声データを合成して新たな歌声データを生成するだけでなく、前述したカラオケ教室サービスやカラオケ大会サービスに適用することができる。なお、前述したサービス内容に限らず、他のサービスへの応用も可能である。
【０１０７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１０８】
また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
【符号の説明】
【０１０９】
１０…カラオケサービスシステム、１２…ネットワーク、１３…ゲーム機、１４…パーソナルコンピュータ、１５…家庭用カラオケ専用機、１７…データベースサーバ、１８（１８ａ，１８ｂ，１８ｃ）…Ｗｅｂサーバ、２０，３９…制御部、２１…通信制御部、３０…歌声制御部、３１…カラオケサウンド制御部、３２…歌詞データ制御部、３３…演奏条件制御部、３４…ユーザ情報制御部、３５…背景動画制御部、３６…歌声データ録音処理部、３７…歌声合成処理部、３８…データベース、４０…曲リストデータ記憶領域、４１…曲データ記憶領域、４２…演奏条件データ記憶領域、４３…ユーザ情報記憶領域、４４…歌声データ記憶領域、４５…背景動画データ記憶領域、５０…カラオケサウンドデータ、５２…歌声キャストデータ、５３…歌声データ、５４…演奏条件データ、５５…ユーザ情報。
【特許請求の範囲】
【請求項１】
演奏データを記憶する演奏データ記憶手段と、
ネットワークを介して接続された第１の端末装置に対して、前記演奏データを送信する演奏データ送信手段と、
前記第１の端末装置において前記演奏データに応じて出力された演奏音に対して入力された第１の音声データを、前記第１の端末装置から受信する音声データ受信手段と、
前記音声データ受信手段により受信された前記第１の音声データを前記演奏データと関連付けて記憶する音声データ記憶手段と、
ネットワークを介して接続された第２の端末装置から、前記音声データ記憶手段に記憶された前記第１の音声データの配信要求を受信する要求受信手段と、
前記要求受信手段によって受信された要求に応じて、前記第１の音声データを同音声データと関連する前記演奏データと共に、前記第２の端末装置に配信する配信手段と、
前記第２の端末装置において前記演奏データと前記第１の音声データに応じて出力された演奏音に対して入力された第２の音声データと、前記第１の音声データとが合成された第３の音声データを前記演奏データと関連付けて前記音声データ記憶手段に記憶させる合成音声データ記憶手段と
を具備したことを特徴とするカラオケサービスシステム。
【請求項２】
前記第２の端末装置において第２の音声データと前記第１の音声データとが合成された第３の音声データを、前記第２の端末装置から受信する合成音声データ受信手段をさらに具備し、
前記合成音声データ記憶手段は、前記合成音声データ受信手段により受信された前記第３の音声データを記憶させることを特徴とする請求項１記載のカラオケサービスシステム。
【請求項３】
前記演奏データ送信手段は、前記演奏データをストリーミング送信し、
前記音声データ受信手段は、前記演奏データ送信手段による前記演奏データのストリーミング送信と連動して、前記第１の端末装置から前記第１の音声データを受信することを特徴とする請求項２記載のカラオケサービスシステム。
【請求項４】
前記第１の音声データと前記第２の音声データとを合成する合成種類の指定を前記第２の端末装置から入力させる種類指定入力手段と、
前記種類指定入力手段により入力された合成種類の指定に応じて、前記第１の音声データと前記第２の音声データの音量を調整して合成し、第３の音声データを生成する音声データ合成手段とをさらに具備し、
前記合成音声データ記憶手段は、前記音声データ合成手段により合成された前記第３の音声データを記憶させることを特徴とする請求項３記載のカラオケサービスシステム。
【請求項５】
前記第１の端末装置と前記第２の端末装置とを予め設定する設定手段と、
前記設定手段により設定された前記第１の端末装置から受信された前記第１の音声データを、前記設定手段により設定された第２の端末装置に転送し、前記第３の音声データを前記第１の端末装置に送信する音声データ送信手段とをさらに具備したことを特徴とする請求項１記載のカラオケサービスシステム。
【請求項６】
前記音声データ受信手段は、複数の前記第２の端末装置から、それぞれ前記第２の音声データを受信し、
前記音声データ合成手段は、複数の前記第２の端末装置のそれぞれから受信された前記第２の音声データと、前記第１の音声データとを合成して前記第３の音声データを生成し、
前記音声データ合成手段により生成された前記第３の音声データを前記第１の端末装置に送信する音声データ送信手段とをさらに具備したことを特徴とする請求項１記載のカラオケサービスシステム。
【請求項７】
ネットワークを介してサーバと接続された端末装置であって、
前記サーバから演奏データと第１の音声データとを個別に受信するデータ受信手段と、
前記演奏データと前記第１の音声データとを同期させて再生音声を出力する音声出力手段と、
前記音声出力手段により出力される再生音声に合わせて音声を入力する音声入力手段と、
前記音声入力手段により入力された音声の第２の音声データと、前記データ受信手段により受信された前記第１の音声データとを合成して第３の音声データを生成する音声合成手段と、
前記音声合成手段により生成された前記第３の音声データを前記サーバに送信して前記演奏データと関連付けて記憶させる音声データ送信手段と
を具備したことを特徴とする端末装置。
【請求項８】
前記第１の音声データと前記第２の音声データとを合成する合成種類の指定を入力する種類指定入力手段をさらに具備し、
前記音声合成手段は、前記種類指定入力手段により入力された合成種類の指定に応じて、前記第１の音声データと前記第２の音声データの音量を調整して合成し、前記第３の音声データを生成することを特徴とする請求項７記載の端末装置。
【請求項９】
前記第１の音声データには、前記演奏データに対する少なくとも１つの音声データを含み、
前記音声合成手段は、前記合成種類に対して予め設定される音声データの合成数に応じた割合で音量を調整することを特徴とする請求項８記載の端末装置。
【請求項１０】
前記第１の音声データの一部を削除する音声編集手段をさらに具備し、
前記音声合成手段は、前記音声編集手段によって削除された部分毎の音声データの合成数に応じた割合で音量を調整して音声データを合成することを特徴とする請求項９記載の端末装置。
【請求項１】
演奏データを記憶する演奏データ記憶手段と、
ネットワークを介して接続された第１の端末装置に対して、前記演奏データを送信する演奏データ送信手段と、
前記第１の端末装置において前記演奏データに応じて出力された演奏音に対して入力された第１の音声データを、前記第１の端末装置から受信する音声データ受信手段と、
前記音声データ受信手段により受信された前記第１の音声データを前記演奏データと関連付けて記憶する音声データ記憶手段と、
ネットワークを介して接続された第２の端末装置から、前記音声データ記憶手段に記憶された前記第１の音声データの配信要求を受信する要求受信手段と、
前記要求受信手段によって受信された要求に応じて、前記第１の音声データを同音声データと関連する前記演奏データと共に、前記第２の端末装置に配信する配信手段と、
前記第２の端末装置において前記演奏データと前記第１の音声データに応じて出力された演奏音に対して入力された第２の音声データと、前記第１の音声データとが合成された第３の音声データを前記演奏データと関連付けて前記音声データ記憶手段に記憶させる合成音声データ記憶手段と
を具備したことを特徴とするカラオケサービスシステム。
【請求項２】
前記第２の端末装置において第２の音声データと前記第１の音声データとが合成された第３の音声データを、前記第２の端末装置から受信する合成音声データ受信手段をさらに具備し、
前記合成音声データ記憶手段は、前記合成音声データ受信手段により受信された前記第３の音声データを記憶させることを特徴とする請求項１記載のカラオケサービスシステム。
【請求項３】
前記演奏データ送信手段は、前記演奏データをストリーミング送信し、
前記音声データ受信手段は、前記演奏データ送信手段による前記演奏データのストリーミング送信と連動して、前記第１の端末装置から前記第１の音声データを受信することを特徴とする請求項２記載のカラオケサービスシステム。
【請求項４】
前記第１の音声データと前記第２の音声データとを合成する合成種類の指定を前記第２の端末装置から入力させる種類指定入力手段と、
前記種類指定入力手段により入力された合成種類の指定に応じて、前記第１の音声データと前記第２の音声データの音量を調整して合成し、第３の音声データを生成する音声データ合成手段とをさらに具備し、
前記合成音声データ記憶手段は、前記音声データ合成手段により合成された前記第３の音声データを記憶させることを特徴とする請求項３記載のカラオケサービスシステム。
【請求項５】
前記第１の端末装置と前記第２の端末装置とを予め設定する設定手段と、
前記設定手段により設定された前記第１の端末装置から受信された前記第１の音声データを、前記設定手段により設定された第２の端末装置に転送し、前記第３の音声データを前記第１の端末装置に送信する音声データ送信手段とをさらに具備したことを特徴とする請求項１記載のカラオケサービスシステム。
【請求項６】
前記音声データ受信手段は、複数の前記第２の端末装置から、それぞれ前記第２の音声データを受信し、
前記音声データ合成手段は、複数の前記第２の端末装置のそれぞれから受信された前記第２の音声データと、前記第１の音声データとを合成して前記第３の音声データを生成し、
前記音声データ合成手段により生成された前記第３の音声データを前記第１の端末装置に送信する音声データ送信手段とをさらに具備したことを特徴とする請求項１記載のカラオケサービスシステム。
【請求項７】
ネットワークを介してサーバと接続された端末装置であって、
前記サーバから演奏データと第１の音声データとを個別に受信するデータ受信手段と、
前記演奏データと前記第１の音声データとを同期させて再生音声を出力する音声出力手段と、
前記音声出力手段により出力される再生音声に合わせて音声を入力する音声入力手段と、
前記音声入力手段により入力された音声の第２の音声データと、前記データ受信手段により受信された前記第１の音声データとを合成して第３の音声データを生成する音声合成手段と、
前記音声合成手段により生成された前記第３の音声データを前記サーバに送信して前記演奏データと関連付けて記憶させる音声データ送信手段と
を具備したことを特徴とする端末装置。
【請求項８】
前記第１の音声データと前記第２の音声データとを合成する合成種類の指定を入力する種類指定入力手段をさらに具備し、
前記音声合成手段は、前記種類指定入力手段により入力された合成種類の指定に応じて、前記第１の音声データと前記第２の音声データの音量を調整して合成し、前記第３の音声データを生成することを特徴とする請求項７記載の端末装置。
【請求項９】
前記第１の音声データには、前記演奏データに対する少なくとも１つの音声データを含み、
前記音声合成手段は、前記合成種類に対して予め設定される音声データの合成数に応じた割合で音量を調整することを特徴とする請求項８記載の端末装置。
【請求項１０】
前記第１の音声データの一部を削除する音声編集手段をさらに具備し、
前記音声合成手段は、前記音声編集手段によって削除された部分毎の音声データの合成数に応じた割合で音量を調整して音声データを合成することを特徴とする請求項９記載の端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−１６４９２２（Ｐ２０１０−１６４９２２Ａ）
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願番号】特願２００９−９３４１（Ｐ２００９−９３４１）
【出願日】平成２１年１月１９日（２００９．１．１９）
【出願人】（３１０００９９９３）株式会社タイトー (207)
【Ｆターム（参考）】
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願日】平成２１年１月１９日（２００９．１．１９）
【出願人】（３１０００９９９３）株式会社タイトー (207)
【Ｆターム（参考）】
[ Back to top ]