投稿データ判定装置、カラオケ装置、サーバ装置及び投稿データ判定プログラム
【課題】カラオケが行われる各室毎の契約（歌唱室、演奏室）を遵守した投稿を実行可能とする。
【解決手段】本発明に係る投稿データ判定装置は、楽音演奏に同期して録音された録音情報を含む投稿データについて、録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、楽器音判定処理において楽器音が含まれていると判定された場合、投稿データの登録もしくは通信回線を介した投稿データの送信を制限する制限処理と、を実行することを特徴としている。
【解決手段】本発明に係る投稿データ判定装置は、楽音演奏に同期して録音された録音情報を含む投稿データについて、録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、楽器音判定処理において楽器音が含まれていると判定された場合、投稿データの登録もしくは通信回線を介した投稿データの送信を制限する制限処理と、を実行することを特徴としている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ装置などにおいて、楽曲演奏に同期して録音、録画を行い投稿データを作成し、サーバ装置などに送信することのできるシステムにて投稿データの内容を判定する投稿データ判定装置、投稿データ判定プログラム、及び、これらを使用するカラオケ装置、サーバ装置に関する。
【背景技術】
【０００２】
従来、カラオケ装置では、楽曲に合わせて歌唱を楽しむのみならず、歌唱の練習あるいは他者への公開を目的として歌唱の録音が行われており、録音機能を備えたカラオケ装置もみられる。
【０００３】
特許文献１には、録音装置とともに使用されるカラオケ装置において、録音時にマイク入力音声信号に実質的に歌声が含まれているか否かを判定し、歌声が含まれていないと判定されたときには、演奏のみが録音されていることとなるため、ＣＤ−Ｒなどの記録媒体への記録を制限し、私的録音行為に反する不正録音を防止することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１６７５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在、カラオケボックスなどにおいてユーザーによる楽曲の歌唱のみならず、ギターなどの楽器演奏も行い、歌唱と演奏を同時に楽しむことが検討されている。現状、カラオケボックスの部屋利用は歌唱室としての契約が結ばれていれば、楽器演奏を行うことはできない。部屋利用の契約形態を演奏室として契約されていれば、楽器演奏をも行うこともできるが、これら契約は楽曲の権利者とカラオケボックスの管理者との間の契約なのでユーザーからは判らない。このため、歌唱室としてのカラオケボックスにギターなどの楽器を持ち込んで間違って演奏を行ってしまうユーザーもみられる。
【０００６】
一方、カラオケにおいては、ユーザーが歌唱の様子を録音、録画し、インターネットなどの通信回線を介してサーバ装置に蓄積し、ダウンロードあるいは広く一般に公開して楽しむ投稿サービスが行われている。通常、歌唱室では、カラオケ装置の演奏に合わせた歌唱が録音、録画されることとなるが、前述したようにユーザーが楽器を持ち込んで演奏して投稿を行った場合、歌唱室としての契約に違反してしまう。カラオケボックスなどの現場では、管理者などがユーザーに楽器演奏を注意を促すことも可能であるが、投稿サービスでは、通信回線を介して送信されてしまうと、歌唱室、演奏室のどちらで録音、録画されたか、すなわち、投稿情報について契約形態の判別は困難となる。また、一旦、誤ってインターネット上に投稿された録音、録画データは、後から全て削除することは非常に困難なことも知られている。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係る投稿データ判定装置は、楽音演奏に同期して録音された録音情報を含む投稿データについて、前記録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、前記楽器音判定処理において楽器音が含まれていると判定された場合、前記投稿データの登録もしくは通信回線を介した前記投稿データの送信
を制限する制限処理と、を実行することを特徴としている。
【０００８】
さらに、本発明に係る投稿データ判定装置は、前記録音情報が演奏室で録音されたか否かを判定する演奏室判定処理を実行し、前記制限処理は、前記演奏室判定処理にて演奏室で録音されたと判定された場合、前記楽器音判定処理の判定結果にかかわらず、前記投稿データの登録もしくは通信回線を介した前記投稿データの送信を許可することを特徴としている。
【０００９】
さらに、本発明に係る投稿データ判定装置において、前記楽器音判定処理は、前記録音情報を周波数解析し、解析結果に基づいて前記録音情報中に楽器音が含まれているか否かを判定することを特徴としている。
【００１０】
さらに、本発明に係る投稿データ判定装置において、前記楽器音判定処理は、前記録音情報と、録音時に同期して演奏された楽曲のガイドメロディとを比較することで判定することを特徴としている。
【００１１】
さらに、本発明に係る投稿データ判定装置において、前記楽器音判定処理は、録音時に同期して演奏された演奏音を低減した上で、前記録音情報中に楽器音が含まれているか否かを判定することを特徴としている。
【００１２】
さらに、本発明に係る投稿データ判定装置において、前記楽器音判定処理は、複数の前記投稿データを複数含むコラボデータについて、新しく追加された投稿データを対象として、前記録音情報中に楽器音が含まれているか否かを判定することを特徴としている。
【００１３】
また、本発明に係るカラオケ装置は、前述した何れか１つの投稿データ判定装置と、楽曲情報に基づいて楽音を演奏する楽曲演奏手段と、入力される音声情報を録音する録音手段と、通信回線を介して前記録音情報を含む投稿データを送信する送信手段と、を備えたことを特徴としている。
【００１４】
また、本発明に係るサーバ装置は、前述した何れか１つの投稿データ判定装置と、通信回線を介して前記投稿データを受信する受信手段と、前記投稿データをデータベースに登録する登録手段、もしくは、前記投稿データを通信回線を介して送信する送信手段と、を備えたことを特徴としている。
【００１５】
また、本発明に係る投稿データ判定プログラムは、楽音演奏に同期して録音された録音情報を含む投稿データについて、前記録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、前記楽器音判定処理において楽器音が含まれていると判定された投稿データについて、当該投稿データの登録もしくは通信回線を介した当該投稿データの送信を制限する制限処理をコンピュータに実行させることを特徴としている。
【発明の効果】
【００１６】
本発明では、カラオケ装置など、楽器演奏に同期して録音された録音情報を含む投稿データについて、録音情報中に楽器音が含まれているか否かを判定することで、当該投稿データのデータベースへの登録、もしくは、通信回線を介した送信を制限することで、歌唱室など楽器演奏が禁止されている場所において、楽器演奏が行われたか否かを自動で判断し、楽器演奏が行われた場合に制限をかけて歌唱の場における契約形態を遵守することが可能となる。
【００１７】
さらに本発明では、録音情報が演奏室で行われたか否かを判定する演奏室判定処理を実行することで、契約上、楽器演奏が許可されている演奏室において、投稿データ作成に際
し、楽器演奏を許可することが可能となる。
【００１８】
さらに本発明では、録音情報を周波数解析することで、録音情報中に楽器音が含まれているか否かを判定し、帯域制限フィルターを用いた簡易な構成で楽器音の有無を判定することが可能となる。
【００１９】
さらに本発明では、録音情報を、録音時に同期して演奏された楽曲のガイドメロディと比較することで判定し、楽器音の有無の判定精度を高めることとしている。なお、この判定処理は前述の周波数解析と合わせて行うことでさらに判定精度を高めることが可能となる。
【００２０】
さらに本発明では、録音時に同期して演奏された演奏音を低減した上で、楽器音の有無の判定を行うこととしている。録音は、カラオケ装置などの楽曲演奏装置の演奏と同期して実行されるため、歌唱音声を収音するマイクロホンには、楽曲演奏装置の演奏音が混入してしまい、録音情報中に楽器音が含まれていると誤検出される場合がある。このように録音時に同期して演奏された演奏音を低減する前処理を施すことで、楽器音判定における誤検出を抑制することが可能となる。
【００２１】
さらに本発明では、複数の投稿データを含むコラボデータを対象とすることが可能となっている。コラボデータはあるユーザーが作成した投稿データを再生させつつ、他のユーザーがさらに録音、録画を行うことで作成される。各投稿データは別の場所で録音、録画されることが多いため、新しく追加された投稿データの録音情報中に楽器音が含まれているか否かを判定することでコラボデータ作成のサービスを妨げることなく、各室での契約形態を遵守することが可能となる。
【００２２】
さらに本発明の投稿データ判定装置は、カラオケ装置、あるいは、サーバ装置に設けられることとしている。カラオケ装置に設けた場合には、投稿データの送信前に楽器音の有無を判定することで、契約に違反した投稿データの送信を制限することが可能となり、サーバ装置そして通信回線の負荷を低減することが可能となる。また、サーバ装置に設けた場合には、高い処理能力を利用することで精度の高い判定を行うことが可能となる。
【００２３】
さらに本発明の投稿データ判定プログラムは、前述の投稿データ判定装置の機能をプログラムにて提供することで、既存のカラオケ装置などに対しても機能を付加することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図。
【図２】本発明の実施形態に係るカラオケシステムを示す図。
【図３】本発明の実施形態に係る投稿処理を示すフロー図。
【図４】本発明の実施形態に係る投稿データのデータ構成を示す図。
【図５】本発明の実施形態に係る楽器音判定処理を示す図。
【図６】本発明の実施形態に係る楽器音判定処理にて利用する歌唱音声帯域を示す図。
【図７】本発明の他の実施形態に係る楽器音判定処理を示す図。
【図８】本発明の他の実施形態に係る投稿処理を示す図。
【図９】本発明の実施形態に係るコラボデータのデータ構成を示す図。
【図１０】本発明の他の実施形態に係るコラボデータのデータ構成を示す図。
【図１１】本発明の他の実施形態に係る投稿処理を示すフロー図。
【発明を実施するための形態】
【００２５】
図１は、本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図である。図中、カラオケシステムとしての主要構成は、カラオケ用ホスト（サーバ装置）、店舗などに設置されるコマンダ２などにて構成される。コマンダ２は楽曲再生機能を有した、いわゆるカラオケ装置であって、店舗内のＬＡＮ１００に接続されている。コマンダ２とカラオケ用ホストは、インターネットを介して接続され、新しく供給された楽曲情報やユーザー情報など、各種サービスに必要な情報の送受信を行う。本実施形態ではＶＰＮ（Virtual Private Network）を介して接続されており、セキュリティに優れた通信を行うこ
とが可能となっている。
【００２６】
店舗に設置されたコマンダ２は、リモコン装置１によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０ａを介してコマンダ２と無線接続される。例えば、コマンダ２ａにはリモコン装置１ａと１ｂが対応付けられており、ＬＡＮ１００ａを介した操作が可能となっている。また、リモコン装置１とコマンダ２とは赤外線を利用した近距離通信を行うことも可能である。
【００２７】
さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネット用ホストが設けられている。このインターネット用ホストは、ユーザーのパーソナルコンピュータ、携帯情報端末（携帯電話やＰＤＡなど）と接続され、これら機器を利用するユーザーに各種サービスを提供することができる。また、インターネット用ホストは、カラオケ用ホストとデータ共有することで連携を取ったサービスを提供することができる。本実施形態では、コマンダ２にて録音、録画して得られた投稿データをこのインターネット用ホストを介して、パーソナルコンピュータ、携帯情報端末などに公開することが可能である。投稿データの公開は、コマンダ２にて実行されることとしてもよい。
【００２８】
図２は、本発明の実施形態に係る店舗Ａに設置されたカラオケシステムの構成を示している。本実施形態におけるカラオケシステムは、コマンダ２（カラオケ装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。
【００２９】
コマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、楽曲指定処理、投稿処理などを実行可能としている。演奏処理は、入力部２１やリモコン装置１にて、ユーザーにより指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からは歌唱用マイク４４から入力される音声も合わせて放音される。映像再生処理は、映像再生部２９にて映像情報や歌詞情報などを再生させ、モニタ４１を介した視覚情報をユーザーに提供する処理である。
【００３０】
楽曲指定処理は、ユーザーからの指定に基づいて楽曲を選択、予約するための処理である。本実施形態ではリモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。コマンダ２とリモコン装置１では、この楽曲指定処理に限らず、ユーザーから各種入力を受付けて、ログイン処理など各種処理を実行することが可能である。
【００３１】
投稿処理は、楽曲指定処理にて指定された楽曲を演奏する際、歌唱用マイク４４から入力される音声を録音情報として記録し、カラオケ用ホストやインターネット用ホストなど
の各種サーバ装置に送信する処理である。本実施形態の録音情報は、歌唱用マイク４４からの音声だけであるため、録音情報を再生するにあたっては録音時に使用した楽曲を同時に再生させることとしている。
【００３２】
また、投稿処理においては歌唱用マイク４４からの音声のみならず、歌唱の様子を同時に録画することも可能である。本実施形態のコマンダ２には、カメラ４３が接続可能とされており、接続されたカメラ４３から歌唱者や同伴客の様子を撮像することが可能となっている。カメラ４１からの映像を表示手段（例えば、モニタ４１）にてモニタする場合には、カメラ４３は、当該表示手段の上部など、表示手段の近傍に配置することが好ましい。ユーザーは、モニタ画像を鏡のように利用することが可能となる。なお、カメラ４３を複数設け、同時に、あるいは、切り換えて撮影することで撮像情報を取得することとしても構わない。
【００３３】
本実施形態では、リモコン装置１の表示部１１に表示させ、ログイン、選曲、録音、録画、投稿など各種操作を行うユーザーに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種スイッチの他、表示部１１に表示されたアイコンを直接タッチして、各種操作を可能とするタッチパネル等を採用することができる。
【００３４】
本実施形態のカラオケシステムは、ユーザーが、録音、録画した情報を投稿データとしてホストに投稿する時に、ユーザーと投稿データとの対応付けするときに必要となる、ユーザーＩＤをリモコン装置１へ入力することでログインすることが可能となっている。ユーザーのログインに関する情報（ユーザーＩＤ）は、ログイン時にメモリ１４、ＨＤＤ３２等の記憶手段に記憶される。
【００３５】
図３は、本発明の実施形態に係る投稿処理を示すフロー図である。この投稿処理においてユーザーは、操作部１７などの入力手段にてログインした状態となっている。また、本実施形態では、歌唱音声の録音に加え、カメラ４３を利用した録画を行い、録音情報と録画情報を得ることとしているが録音情報のみであってもよい。Ｓ１０２ではユーザーによる選曲が実行される。ここでは、リモコン装置１を介して、ユーザーは所望の楽曲を検索し、目的の楽曲を選択することで選曲を行う。楽曲の検索や選択については各種周知の手法にて行うことができるため、ここではその詳細を省略する。なお、この楽曲を選択する際、投稿のために録音、録画を許可することをユーザーが指定することとしてもよい。
【００３６】
Ｓ１０３では、指定された楽曲に対応する楽曲情報（ＭＩＤＩデータ等にて構成）をＭＩＤＩ音源２６等で構成された楽曲演奏手段にて演奏させる。それと略同時に歌唱用マイク４４から入力される歌唱音声の録音、並びに、カメラ４３にて撮影される映像の録画が開始される（Ｓ１０４）。録音された歌唱音声は録音情報として、録画された映像は録画情報としてＨＤＤ３２等の記憶手段に格納される。
【００３７】
Ｓ１０５にて楽曲情報の演奏終了が判断されると、Ｓ１０６では録音、録画を終了させる。Ｓ１０７では、録音情報、録画情報を投稿するか否かをユーザーに対して問い合わせる表示が行われる。ここでは投稿することで、例えば、インターネットを介して公開されることを許諾するか等をユーザーに確認させる。Ｓ１０８にてユーザーが投稿しないことを選択した場合には、投稿処理を終了する（Ｓ１１４）。
【００３８】
一方、ユーザーが投稿することを選択した場合には、まず、Ｓ１０９にて当該録音、録画に使用された場所（部屋）が演奏室か否かが判定される。この処理は、コマンダ２が演奏室である識別子を有するか否かで判定するなど、コマンダ２単独で判定してもよい。あるいは、カラオケ用ホスト（サーバ装置）に対しコマンダ２の識別子を送信し、カラオケ
用ホストのデータベースを利用して判定するなど、コマンダ２とカラオケ用ホストとを連携させ、セキュリティの高い判定手法を用いてもよい。
【００３９】
演奏室であると判定された場合には、録音情報中に楽器音が含まれていても契約上問題ないため、録音情報そして録画情報を含んだ投稿データをカラオケ用ホストに送信する。図４に投稿データのデータ構成の一例が示されている。コマンダ２から送信したときの投稿データ（投稿前）には、録音情報、録画情報の他、楽曲ＩＤ、当該楽曲を歌唱したユーザー、すなわち、当該楽曲を予約したユーザーのユーザーＩＤ、投稿処理を実行したコマンダ２のＩＤ（製造番号、ＩＰアドレスなど）、録音日時といった属性情報が含まれている。また、投稿後の投稿データ、すなわち、カラオケ用ホスト（サーバ装置）にて受信した投稿データには、識別子としての投稿ＩＤを付与して投稿データの管理が行われる。
【００４０】
投稿データを公開する場合、これらの属性情報を検索項目に用いて検索することが可能となる。また、楽曲ＩＤは、投稿データの公開に際して録音情報、録画情報に同期して楽曲を再生するために利用される。本実施形態では録音情報に楽曲情報に基づく演奏音が含まれていないためである。コマンダＩＤは、コマンダ設置時に、設置した場所と対応付けて、サーバ装置に予め登録しておくことで、録音された場所の判定に用いることができる。カラオケ用ホストのデータベースを参照することで、投稿データが作成された店舗、地域などを判定することが可能となり検索項目として利用できる。なお、カラオケ用ホスト側にて楽器音の判定を行う場合には、予めコマンダＩＤと演奏室の関係を対応付けたデータベースを用意しておくことで、演奏情報が演奏室で録音されたものであるか否かを判定することが可能となる。
【００４１】
一方、Ｓ１０９にて演奏室ではないと判定された場合には、Ｓ１１０の楽器音判定処理が実行される。この楽器音判定処理は、録音情報中に楽器音が含まれているか否かを判定する処理であり、楽器音が含まれている、すなわち、楽器の演奏を行うことができない歌唱室にて楽器が使用されたと判定された場合には、当該録音情報を含む投稿データの送信は制限（禁止）される。
【００４２】
図５は、本発明の実施形態に係る楽器音判定処理を示す図である。この実施形態では、録音情報を周波数解析することで行われる。具体的には、録音情報から音声帯域を除去して残りの録音情報の音量レベルを判定することで楽器音が含まれているか否かが判定される。また、本実施形態では、楽曲の演奏音が歌唱用マイク４４から録音情報に混入することで生じる誤検出を考慮した前処理が実施される。録音時に利用した演奏音を録音情報から低減させることで演奏音を除去することが可能となる。その場合、前処理された録音情報が最小となるように、演奏音の大きさを調整することで効果的に演奏音を除去することができる。
【００４３】
図６は、各種音声種における歌唱音声帯域が記載されている。全ての歌唱音声帯域は、下限を約８７Ｈｚ、上限を８８０Ｈｚに有する。フィルター処理では、この歌唱音声帯域を除去することで録音情報から歌唱音声が除去される。判定処理では、例えば、フィルター処理された録音情報の音量が所定値以上か否かを検出することで、楽器音が含まれていたか否かが判定される。周波数解析を用いた楽器音判定処理には、この他、楽器特有の周波数成分を検出することなど、適宜方法を採用することができる。
【００４４】
また、楽器音判定処理には周波数解析にて行う他、録音時に利用した楽曲に対応するガイドメロディを利用することも可能である。図７には、ガイドメロディを利用した楽器音判定処理を示す図が示されている。本実施形態では、歌唱の補助、採点などを目的として利用されるガイドメロディを使用することとしている。ガイドメロディにはＭＩＤＩデータなどの楽音情報として構成されているもの、音声情報にて構成されているもの、どちら
を利用することも可能である。楽音情報で構成されている場合には基本周波数を容易に検出することが可能である。音声情報にて構成されている場合には、周波数解析を行うことで基本周波数を抽出する処理が必要となる。
【００４５】
まず、録音情報を周波数解析することで周波数成分の検出が実行される。比較処理では、この周波数成分とガイドメロディの基本周波数とが比較される。判定処理では、この比較結果に基づいて楽器音の有無が判定される。具体的には、比較処理に録音情報の周波数成分のうち、ガイドメロディの基本周波数と異なる主成分が含まれている場合、楽器音有りと判定される。この実施形態においても図５の場合と同様の前処理を行い、演奏音の除去を行ってもよい。また、本実施形態を図５の実施形態と組み合わせて、楽器音判定精度の向上を図ることとしてもよい。
【００４６】
このような楽器音判定処理（Ｓ１１０）にて楽器音有りと判定された場合には、Ｓ１１２にてユーザーに対し投稿できない旨のメッセージを表示して投稿処理を終了する。以上、本実施形態では、コマンダ２にて、録音情報中に楽器音が含まれているか否かを判定し、通信回線を介した送信を制限することで、楽器演奏が禁止された場所にて楽器音を含む投稿データの送信を禁止することが可能となる。特に、本実施形態ではコマンダ２にて実行することで、通信回線そしてサーバ装置での負荷を低減することが可能となる。なお、本実施形態では、楽器音判定処理を演奏終了後に実行することとしたが、楽器音判定処理は、楽曲演奏中、すなわち、録音、録画を実行している最中に行ってもよいし、他の楽曲の演奏中にバックグラウンドで行うなど適宜タイミングで行うことが可能である。
【００４７】
投稿データを利用したサービスは、一度の投稿で完結してもよいが、一旦、サーバ装置へ投稿された投稿データをコマンダがダウンロードし、コマンダが、ダウンロードした投稿データを再生しつつ、自装置のカラオケ演奏を録音、録画を実行することで、ユーザーが投稿データと一緒にカラオケを行いつつ、ユーザーの歌唱音を録音し、その姿を録画したデータに、さらにカラオケ演奏時に再生した投稿データ（ダウンロードした投稿データ）を加えて再投稿していくコラボサービスを行うことも考えられる。図８は、このコラボサービスにおける投稿処理を示すフロー図である。
【００４８】
まず、コマンダＡ（演奏室に設置されているとする）にて投稿処理が開始されると、カラオケ用ホストなどのサーバ装置に対し投稿データ１が送信される。投稿データ１を受信したサーバ装置は、これをデータベースに登録して管理する。次に、コマンダＢ（歌唱室に設置されているとする）にてコラボ処理が開始されると、まず、ユーザーは投稿データの選択を行う。この処理はサーバ装置が公開する投稿データの属性情報を検索するなどして実行される。投稿データを試聴させて選択させることとしてもよい。Ｓ２０６にて、ユユーザーが所望する楽曲ＩＤの投稿データ１が選択されると、コマンダＢは、サーバ装置に投稿データ１を要求する。サーバ装置では、この要求に応じる形で投稿データ１をコマンダＢに送信する。
【００４９】
コマンダＢでは、投稿データ１を受信し、投稿データ１に含まれる音声情報、録画情報を再生させつつ、投稿データ１に含まれる楽曲ＩＤを利用して、それに対応する楽曲情報をＭＩＤＩ音源等にて演奏させる。コマンダＢでは、この演奏に同期して、さらなる録音、録画が開始される（Ｓ２０９）。コマンダＢでは、コマンダＢにて歌唱するユーザーが投稿データ１のユーザーとあたかも一緒に歌唱しているような状態で録音情報、録画情報が作成される。楽曲にデュエット楽曲を使用した場合には、遠隔地のユーザーがデュエットを行っているコラボデータが作成できる。本実施例では、投稿データの楽曲ＩＤが指定されてから、コマンダＢの演奏楽曲の楽曲ＩＤが設定された。他に、Ｓ２０６にて、ユーザーがコマンダＢの演奏楽曲を指定し、コマンダＢがユーザーによって演奏設定された楽曲ＩＤと同じ楽曲ＩＤの投稿データ１をサーバ装置に要求することで、これから演奏する
楽曲ＩＤと同じ楽曲ＩＤの投稿データをＳ２０７で受信し、Ｓ２０８に遷移してもよい。
【００５０】
演奏が終了すると（Ｓ２１０）、録音、録画を終了させる（Ｓ２１１）。Ｓ２１２では、コマンダＢにて新たに録音された録音情報に対して楽器音判定処理Ｓ２１２が実行される。この処理は前述の実施形態と同様の処理であって、コマンダＢは楽器演奏が禁止されている歌唱室としての契約であることを理由として実行される。楽器音有りと判定された場合には、ユーザーに投稿できない旨のメッセージを表示（Ｓ２１８）してコラボ処理を終了する。一方、楽器音無しと判定されたときには、Ｓ２１４にて、コマンダＢにて録音、録画された情報に基づいて新たな投稿データ２が作成される。さらに、この投稿データ２と受信した投稿データ１に基づいてコラボデータを作成してサーバ装置に送信する。
【００５１】
図９には、本発明の実施形態に係るコラボデータのデータ構成が示されている。投稿前、すなわちサーバ装置に送信する前のコラボデータは、受信した投稿データ１と、新たに作成された投稿データ２を含んで構成される。投稿データ２は、前実施形態で説明したと同様、録音情報、録画情報の他、ユーザーＩＤ、コマンダＩＤ、録音日時などの属性情報を含んで構成される。このように、コラボデータの投稿データは再投稿される度に、新たな投稿データが追加されていく。
ここでは、投稿データ１の楽曲ＩＤを利用できるため、投稿データ２には楽曲ＩＤを含ませていないが、投稿データ２についても楽曲ＩＤを含ませることとしてもよい。投稿データ２単独で楽曲を再生したり、更なるコラボデータの作成を行うことが可能となる。また、投稿後のコラボデータ、すなわち、サーバ装置にて受信したコラボデータには、識別子としての投稿ＩＤを付与してコラボデータの管理が行われる。
【００５２】
サーバ装置に送信されたコラボデータは、データベースに登録（Ｓ２１６）され、通信回線を介して公開される（Ｓ２１７）。この通信回線を介した公開は、携帯用情報端末やパーソナルコンピュータ、あるいは、コマンダ２などへの送信であってもよいし、コラボデータを利用した更なる投稿処理であってもよい。コラボデータは再投稿される度に、新たな投稿データが追加されていく構成なので、コラボデータは自データに含まれる投稿データをそれぞれ弁別することができる。このため、コラボデータを元に更なる投稿処理を行うことで、複数人（３人以上）が参加するコラボデータをも作成することが可能となる。よって、１人のユーザーであっても、２種類の投稿データが含まれるコラボデータ（例えば、図９参照）を利用することで、あたかも３人でデュエットをおこなっているようなサービスも提供することができる。
【００５３】
本実施形態では、コラボデータに受信した投稿データ１を含めていたが、コラボデータには、図１０のようなデータ構成を使用してもよい。この実施形態では、投稿データ１に代え、投稿データ１の識別子（投稿データＩＤ）をコラボデータに含める構成を採用している。サーバ装置のデータベースには、投稿データ１が格納されており、投稿データ１の識別子を参照することで、投稿データ１を読み出すことが可能となる。このデータ構成では、投稿データ１をサーバ装置に送信する必要が無いため、通信量を抑えることが可能となる。
【００５４】
このように本実施形態では、一度サーバ装置に送信された投稿データをさらに使用することで、ユーザー間での共同作成作業（コラボ）を実現することが可能となる。このよう場合、新たに録音された録音情報のみを楽器音判定処理の対象とすることで、前に作成された投稿データにて楽器演奏が行われた場合においても、場所（部屋）の利用契約に的確に対処することが可能となる。
【００５５】
前述の実施形態では、コマンダ２側で楽器音判定処理が行われていたが、楽器音判定処理は、図１に示されるカラオケ用ホストやインターネット用ホストなどのサーバ装置にて
行われるものであってもよい。図１１は、楽器音判定処理をサーバ装置側で行う場合の投稿処理を示すフロー図である。コマンダ２では、前述の実施形態と同様、Ｓ３０１〜Ｓ３０８の処理にて投稿データが作成される。作成された投稿データは、Ｓ３０９にてサーバ装置に送信される。サーバ装置では、まず投稿データが演奏室で作成されたものであるか否かが判定される（Ｓ３１１）。
【００５６】
この判定は、投稿データに付されたコマンダＩＤを読み出し、サーバ装置にて管理するデータベースを参照するなどして実行できる。演奏室で作成された場合には、楽器音判定処理を行うことなく投稿データをデータベースに登録（Ｓ３１４）して公開可能とさせる。一方、演奏室でない、すなわち、歌唱室であると判定された場合には、楽器音判定処理が実行される（Ｓ３１２）。この処理はコマンダ２側で行っていたものと同等の処理である。楽器音無しと判定された場合には、投稿データをデータベースに登録（Ｓ３１４）して公開可能とする。また、楽器音有りと判定された場合には処理を終了する。（Ｓ３１５）。この場合、投稿データを送信してきたコマンダ２、あるいは、投稿データを作成したユーザーに対して登録未完了のメッセージを送信することとしてもよい。
【００５７】
本実施形態では、サーバ装置側にて楽器音判定処理を実行することで、精度の高い楽器音判定が可能となる。また、本実施形態では、投稿データに対する制限処理として、データベースへの登録の可否としたが、サーバ装置から送信を制限することとしてもよい。さらに、サーバ装置での判定は、コラボサービスに対しても利用することが可能である。
【００５８】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００５９】
１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカー、４３…カメラ、４４ａ、４４ｂ…歌唱用マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ
【技術分野】
【０００１】
本発明は、カラオケ装置などにおいて、楽曲演奏に同期して録音、録画を行い投稿データを作成し、サーバ装置などに送信することのできるシステムにて投稿データの内容を判定する投稿データ判定装置、投稿データ判定プログラム、及び、これらを使用するカラオケ装置、サーバ装置に関する。
【背景技術】
【０００２】
従来、カラオケ装置では、楽曲に合わせて歌唱を楽しむのみならず、歌唱の練習あるいは他者への公開を目的として歌唱の録音が行われており、録音機能を備えたカラオケ装置もみられる。
【０００３】
特許文献１には、録音装置とともに使用されるカラオケ装置において、録音時にマイク入力音声信号に実質的に歌声が含まれているか否かを判定し、歌声が含まれていないと判定されたときには、演奏のみが録音されていることとなるため、ＣＤ−Ｒなどの記録媒体への記録を制限し、私的録音行為に反する不正録音を防止することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１６７５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在、カラオケボックスなどにおいてユーザーによる楽曲の歌唱のみならず、ギターなどの楽器演奏も行い、歌唱と演奏を同時に楽しむことが検討されている。現状、カラオケボックスの部屋利用は歌唱室としての契約が結ばれていれば、楽器演奏を行うことはできない。部屋利用の契約形態を演奏室として契約されていれば、楽器演奏をも行うこともできるが、これら契約は楽曲の権利者とカラオケボックスの管理者との間の契約なのでユーザーからは判らない。このため、歌唱室としてのカラオケボックスにギターなどの楽器を持ち込んで間違って演奏を行ってしまうユーザーもみられる。
【０００６】
一方、カラオケにおいては、ユーザーが歌唱の様子を録音、録画し、インターネットなどの通信回線を介してサーバ装置に蓄積し、ダウンロードあるいは広く一般に公開して楽しむ投稿サービスが行われている。通常、歌唱室では、カラオケ装置の演奏に合わせた歌唱が録音、録画されることとなるが、前述したようにユーザーが楽器を持ち込んで演奏して投稿を行った場合、歌唱室としての契約に違反してしまう。カラオケボックスなどの現場では、管理者などがユーザーに楽器演奏を注意を促すことも可能であるが、投稿サービスでは、通信回線を介して送信されてしまうと、歌唱室、演奏室のどちらで録音、録画されたか、すなわち、投稿情報について契約形態の判別は困難となる。また、一旦、誤ってインターネット上に投稿された録音、録画データは、後から全て削除することは非常に困難なことも知られている。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係る投稿データ判定装置は、楽音演奏に同期して録音された録音情報を含む投稿データについて、前記録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、前記楽器音判定処理において楽器音が含まれていると判定された場合、前記投稿データの登録もしくは通信回線を介した前記投稿データの送信
を制限する制限処理と、を実行することを特徴としている。
【０００８】
さらに、本発明に係る投稿データ判定装置は、前記録音情報が演奏室で録音されたか否かを判定する演奏室判定処理を実行し、前記制限処理は、前記演奏室判定処理にて演奏室で録音されたと判定された場合、前記楽器音判定処理の判定結果にかかわらず、前記投稿データの登録もしくは通信回線を介した前記投稿データの送信を許可することを特徴としている。
【０００９】
さらに、本発明に係る投稿データ判定装置において、前記楽器音判定処理は、前記録音情報を周波数解析し、解析結果に基づいて前記録音情報中に楽器音が含まれているか否かを判定することを特徴としている。
【００１０】
さらに、本発明に係る投稿データ判定装置において、前記楽器音判定処理は、前記録音情報と、録音時に同期して演奏された楽曲のガイドメロディとを比較することで判定することを特徴としている。
【００１１】
さらに、本発明に係る投稿データ判定装置において、前記楽器音判定処理は、録音時に同期して演奏された演奏音を低減した上で、前記録音情報中に楽器音が含まれているか否かを判定することを特徴としている。
【００１２】
さらに、本発明に係る投稿データ判定装置において、前記楽器音判定処理は、複数の前記投稿データを複数含むコラボデータについて、新しく追加された投稿データを対象として、前記録音情報中に楽器音が含まれているか否かを判定することを特徴としている。
【００１３】
また、本発明に係るカラオケ装置は、前述した何れか１つの投稿データ判定装置と、楽曲情報に基づいて楽音を演奏する楽曲演奏手段と、入力される音声情報を録音する録音手段と、通信回線を介して前記録音情報を含む投稿データを送信する送信手段と、を備えたことを特徴としている。
【００１４】
また、本発明に係るサーバ装置は、前述した何れか１つの投稿データ判定装置と、通信回線を介して前記投稿データを受信する受信手段と、前記投稿データをデータベースに登録する登録手段、もしくは、前記投稿データを通信回線を介して送信する送信手段と、を備えたことを特徴としている。
【００１５】
また、本発明に係る投稿データ判定プログラムは、楽音演奏に同期して録音された録音情報を含む投稿データについて、前記録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、前記楽器音判定処理において楽器音が含まれていると判定された投稿データについて、当該投稿データの登録もしくは通信回線を介した当該投稿データの送信を制限する制限処理をコンピュータに実行させることを特徴としている。
【発明の効果】
【００１６】
本発明では、カラオケ装置など、楽器演奏に同期して録音された録音情報を含む投稿データについて、録音情報中に楽器音が含まれているか否かを判定することで、当該投稿データのデータベースへの登録、もしくは、通信回線を介した送信を制限することで、歌唱室など楽器演奏が禁止されている場所において、楽器演奏が行われたか否かを自動で判断し、楽器演奏が行われた場合に制限をかけて歌唱の場における契約形態を遵守することが可能となる。
【００１７】
さらに本発明では、録音情報が演奏室で行われたか否かを判定する演奏室判定処理を実行することで、契約上、楽器演奏が許可されている演奏室において、投稿データ作成に際
し、楽器演奏を許可することが可能となる。
【００１８】
さらに本発明では、録音情報を周波数解析することで、録音情報中に楽器音が含まれているか否かを判定し、帯域制限フィルターを用いた簡易な構成で楽器音の有無を判定することが可能となる。
【００１９】
さらに本発明では、録音情報を、録音時に同期して演奏された楽曲のガイドメロディと比較することで判定し、楽器音の有無の判定精度を高めることとしている。なお、この判定処理は前述の周波数解析と合わせて行うことでさらに判定精度を高めることが可能となる。
【００２０】
さらに本発明では、録音時に同期して演奏された演奏音を低減した上で、楽器音の有無の判定を行うこととしている。録音は、カラオケ装置などの楽曲演奏装置の演奏と同期して実行されるため、歌唱音声を収音するマイクロホンには、楽曲演奏装置の演奏音が混入してしまい、録音情報中に楽器音が含まれていると誤検出される場合がある。このように録音時に同期して演奏された演奏音を低減する前処理を施すことで、楽器音判定における誤検出を抑制することが可能となる。
【００２１】
さらに本発明では、複数の投稿データを含むコラボデータを対象とすることが可能となっている。コラボデータはあるユーザーが作成した投稿データを再生させつつ、他のユーザーがさらに録音、録画を行うことで作成される。各投稿データは別の場所で録音、録画されることが多いため、新しく追加された投稿データの録音情報中に楽器音が含まれているか否かを判定することでコラボデータ作成のサービスを妨げることなく、各室での契約形態を遵守することが可能となる。
【００２２】
さらに本発明の投稿データ判定装置は、カラオケ装置、あるいは、サーバ装置に設けられることとしている。カラオケ装置に設けた場合には、投稿データの送信前に楽器音の有無を判定することで、契約に違反した投稿データの送信を制限することが可能となり、サーバ装置そして通信回線の負荷を低減することが可能となる。また、サーバ装置に設けた場合には、高い処理能力を利用することで精度の高い判定を行うことが可能となる。
【００２３】
さらに本発明の投稿データ判定プログラムは、前述の投稿データ判定装置の機能をプログラムにて提供することで、既存のカラオケ装置などに対しても機能を付加することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図。
【図２】本発明の実施形態に係るカラオケシステムを示す図。
【図３】本発明の実施形態に係る投稿処理を示すフロー図。
【図４】本発明の実施形態に係る投稿データのデータ構成を示す図。
【図５】本発明の実施形態に係る楽器音判定処理を示す図。
【図６】本発明の実施形態に係る楽器音判定処理にて利用する歌唱音声帯域を示す図。
【図７】本発明の他の実施形態に係る楽器音判定処理を示す図。
【図８】本発明の他の実施形態に係る投稿処理を示す図。
【図９】本発明の実施形態に係るコラボデータのデータ構成を示す図。
【図１０】本発明の他の実施形態に係るコラボデータのデータ構成を示す図。
【図１１】本発明の他の実施形態に係る投稿処理を示すフロー図。
【発明を実施するための形態】
【００２５】
図１は、本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図である。図中、カラオケシステムとしての主要構成は、カラオケ用ホスト（サーバ装置）、店舗などに設置されるコマンダ２などにて構成される。コマンダ２は楽曲再生機能を有した、いわゆるカラオケ装置であって、店舗内のＬＡＮ１００に接続されている。コマンダ２とカラオケ用ホストは、インターネットを介して接続され、新しく供給された楽曲情報やユーザー情報など、各種サービスに必要な情報の送受信を行う。本実施形態ではＶＰＮ（Virtual Private Network）を介して接続されており、セキュリティに優れた通信を行うこ
とが可能となっている。
【００２６】
店舗に設置されたコマンダ２は、リモコン装置１によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０ａを介してコマンダ２と無線接続される。例えば、コマンダ２ａにはリモコン装置１ａと１ｂが対応付けられており、ＬＡＮ１００ａを介した操作が可能となっている。また、リモコン装置１とコマンダ２とは赤外線を利用した近距離通信を行うことも可能である。
【００２７】
さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネット用ホストが設けられている。このインターネット用ホストは、ユーザーのパーソナルコンピュータ、携帯情報端末（携帯電話やＰＤＡなど）と接続され、これら機器を利用するユーザーに各種サービスを提供することができる。また、インターネット用ホストは、カラオケ用ホストとデータ共有することで連携を取ったサービスを提供することができる。本実施形態では、コマンダ２にて録音、録画して得られた投稿データをこのインターネット用ホストを介して、パーソナルコンピュータ、携帯情報端末などに公開することが可能である。投稿データの公開は、コマンダ２にて実行されることとしてもよい。
【００２８】
図２は、本発明の実施形態に係る店舗Ａに設置されたカラオケシステムの構成を示している。本実施形態におけるカラオケシステムは、コマンダ２（カラオケ装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。
【００２９】
コマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、楽曲指定処理、投稿処理などを実行可能としている。演奏処理は、入力部２１やリモコン装置１にて、ユーザーにより指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からは歌唱用マイク４４から入力される音声も合わせて放音される。映像再生処理は、映像再生部２９にて映像情報や歌詞情報などを再生させ、モニタ４１を介した視覚情報をユーザーに提供する処理である。
【００３０】
楽曲指定処理は、ユーザーからの指定に基づいて楽曲を選択、予約するための処理である。本実施形態ではリモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。コマンダ２とリモコン装置１では、この楽曲指定処理に限らず、ユーザーから各種入力を受付けて、ログイン処理など各種処理を実行することが可能である。
【００３１】
投稿処理は、楽曲指定処理にて指定された楽曲を演奏する際、歌唱用マイク４４から入力される音声を録音情報として記録し、カラオケ用ホストやインターネット用ホストなど
の各種サーバ装置に送信する処理である。本実施形態の録音情報は、歌唱用マイク４４からの音声だけであるため、録音情報を再生するにあたっては録音時に使用した楽曲を同時に再生させることとしている。
【００３２】
また、投稿処理においては歌唱用マイク４４からの音声のみならず、歌唱の様子を同時に録画することも可能である。本実施形態のコマンダ２には、カメラ４３が接続可能とされており、接続されたカメラ４３から歌唱者や同伴客の様子を撮像することが可能となっている。カメラ４１からの映像を表示手段（例えば、モニタ４１）にてモニタする場合には、カメラ４３は、当該表示手段の上部など、表示手段の近傍に配置することが好ましい。ユーザーは、モニタ画像を鏡のように利用することが可能となる。なお、カメラ４３を複数設け、同時に、あるいは、切り換えて撮影することで撮像情報を取得することとしても構わない。
【００３３】
本実施形態では、リモコン装置１の表示部１１に表示させ、ログイン、選曲、録音、録画、投稿など各種操作を行うユーザーに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種スイッチの他、表示部１１に表示されたアイコンを直接タッチして、各種操作を可能とするタッチパネル等を採用することができる。
【００３４】
本実施形態のカラオケシステムは、ユーザーが、録音、録画した情報を投稿データとしてホストに投稿する時に、ユーザーと投稿データとの対応付けするときに必要となる、ユーザーＩＤをリモコン装置１へ入力することでログインすることが可能となっている。ユーザーのログインに関する情報（ユーザーＩＤ）は、ログイン時にメモリ１４、ＨＤＤ３２等の記憶手段に記憶される。
【００３５】
図３は、本発明の実施形態に係る投稿処理を示すフロー図である。この投稿処理においてユーザーは、操作部１７などの入力手段にてログインした状態となっている。また、本実施形態では、歌唱音声の録音に加え、カメラ４３を利用した録画を行い、録音情報と録画情報を得ることとしているが録音情報のみであってもよい。Ｓ１０２ではユーザーによる選曲が実行される。ここでは、リモコン装置１を介して、ユーザーは所望の楽曲を検索し、目的の楽曲を選択することで選曲を行う。楽曲の検索や選択については各種周知の手法にて行うことができるため、ここではその詳細を省略する。なお、この楽曲を選択する際、投稿のために録音、録画を許可することをユーザーが指定することとしてもよい。
【００３６】
Ｓ１０３では、指定された楽曲に対応する楽曲情報（ＭＩＤＩデータ等にて構成）をＭＩＤＩ音源２６等で構成された楽曲演奏手段にて演奏させる。それと略同時に歌唱用マイク４４から入力される歌唱音声の録音、並びに、カメラ４３にて撮影される映像の録画が開始される（Ｓ１０４）。録音された歌唱音声は録音情報として、録画された映像は録画情報としてＨＤＤ３２等の記憶手段に格納される。
【００３７】
Ｓ１０５にて楽曲情報の演奏終了が判断されると、Ｓ１０６では録音、録画を終了させる。Ｓ１０７では、録音情報、録画情報を投稿するか否かをユーザーに対して問い合わせる表示が行われる。ここでは投稿することで、例えば、インターネットを介して公開されることを許諾するか等をユーザーに確認させる。Ｓ１０８にてユーザーが投稿しないことを選択した場合には、投稿処理を終了する（Ｓ１１４）。
【００３８】
一方、ユーザーが投稿することを選択した場合には、まず、Ｓ１０９にて当該録音、録画に使用された場所（部屋）が演奏室か否かが判定される。この処理は、コマンダ２が演奏室である識別子を有するか否かで判定するなど、コマンダ２単独で判定してもよい。あるいは、カラオケ用ホスト（サーバ装置）に対しコマンダ２の識別子を送信し、カラオケ
用ホストのデータベースを利用して判定するなど、コマンダ２とカラオケ用ホストとを連携させ、セキュリティの高い判定手法を用いてもよい。
【００３９】
演奏室であると判定された場合には、録音情報中に楽器音が含まれていても契約上問題ないため、録音情報そして録画情報を含んだ投稿データをカラオケ用ホストに送信する。図４に投稿データのデータ構成の一例が示されている。コマンダ２から送信したときの投稿データ（投稿前）には、録音情報、録画情報の他、楽曲ＩＤ、当該楽曲を歌唱したユーザー、すなわち、当該楽曲を予約したユーザーのユーザーＩＤ、投稿処理を実行したコマンダ２のＩＤ（製造番号、ＩＰアドレスなど）、録音日時といった属性情報が含まれている。また、投稿後の投稿データ、すなわち、カラオケ用ホスト（サーバ装置）にて受信した投稿データには、識別子としての投稿ＩＤを付与して投稿データの管理が行われる。
【００４０】
投稿データを公開する場合、これらの属性情報を検索項目に用いて検索することが可能となる。また、楽曲ＩＤは、投稿データの公開に際して録音情報、録画情報に同期して楽曲を再生するために利用される。本実施形態では録音情報に楽曲情報に基づく演奏音が含まれていないためである。コマンダＩＤは、コマンダ設置時に、設置した場所と対応付けて、サーバ装置に予め登録しておくことで、録音された場所の判定に用いることができる。カラオケ用ホストのデータベースを参照することで、投稿データが作成された店舗、地域などを判定することが可能となり検索項目として利用できる。なお、カラオケ用ホスト側にて楽器音の判定を行う場合には、予めコマンダＩＤと演奏室の関係を対応付けたデータベースを用意しておくことで、演奏情報が演奏室で録音されたものであるか否かを判定することが可能となる。
【００４１】
一方、Ｓ１０９にて演奏室ではないと判定された場合には、Ｓ１１０の楽器音判定処理が実行される。この楽器音判定処理は、録音情報中に楽器音が含まれているか否かを判定する処理であり、楽器音が含まれている、すなわち、楽器の演奏を行うことができない歌唱室にて楽器が使用されたと判定された場合には、当該録音情報を含む投稿データの送信は制限（禁止）される。
【００４２】
図５は、本発明の実施形態に係る楽器音判定処理を示す図である。この実施形態では、録音情報を周波数解析することで行われる。具体的には、録音情報から音声帯域を除去して残りの録音情報の音量レベルを判定することで楽器音が含まれているか否かが判定される。また、本実施形態では、楽曲の演奏音が歌唱用マイク４４から録音情報に混入することで生じる誤検出を考慮した前処理が実施される。録音時に利用した演奏音を録音情報から低減させることで演奏音を除去することが可能となる。その場合、前処理された録音情報が最小となるように、演奏音の大きさを調整することで効果的に演奏音を除去することができる。
【００４３】
図６は、各種音声種における歌唱音声帯域が記載されている。全ての歌唱音声帯域は、下限を約８７Ｈｚ、上限を８８０Ｈｚに有する。フィルター処理では、この歌唱音声帯域を除去することで録音情報から歌唱音声が除去される。判定処理では、例えば、フィルター処理された録音情報の音量が所定値以上か否かを検出することで、楽器音が含まれていたか否かが判定される。周波数解析を用いた楽器音判定処理には、この他、楽器特有の周波数成分を検出することなど、適宜方法を採用することができる。
【００４４】
また、楽器音判定処理には周波数解析にて行う他、録音時に利用した楽曲に対応するガイドメロディを利用することも可能である。図７には、ガイドメロディを利用した楽器音判定処理を示す図が示されている。本実施形態では、歌唱の補助、採点などを目的として利用されるガイドメロディを使用することとしている。ガイドメロディにはＭＩＤＩデータなどの楽音情報として構成されているもの、音声情報にて構成されているもの、どちら
を利用することも可能である。楽音情報で構成されている場合には基本周波数を容易に検出することが可能である。音声情報にて構成されている場合には、周波数解析を行うことで基本周波数を抽出する処理が必要となる。
【００４５】
まず、録音情報を周波数解析することで周波数成分の検出が実行される。比較処理では、この周波数成分とガイドメロディの基本周波数とが比較される。判定処理では、この比較結果に基づいて楽器音の有無が判定される。具体的には、比較処理に録音情報の周波数成分のうち、ガイドメロディの基本周波数と異なる主成分が含まれている場合、楽器音有りと判定される。この実施形態においても図５の場合と同様の前処理を行い、演奏音の除去を行ってもよい。また、本実施形態を図５の実施形態と組み合わせて、楽器音判定精度の向上を図ることとしてもよい。
【００４６】
このような楽器音判定処理（Ｓ１１０）にて楽器音有りと判定された場合には、Ｓ１１２にてユーザーに対し投稿できない旨のメッセージを表示して投稿処理を終了する。以上、本実施形態では、コマンダ２にて、録音情報中に楽器音が含まれているか否かを判定し、通信回線を介した送信を制限することで、楽器演奏が禁止された場所にて楽器音を含む投稿データの送信を禁止することが可能となる。特に、本実施形態ではコマンダ２にて実行することで、通信回線そしてサーバ装置での負荷を低減することが可能となる。なお、本実施形態では、楽器音判定処理を演奏終了後に実行することとしたが、楽器音判定処理は、楽曲演奏中、すなわち、録音、録画を実行している最中に行ってもよいし、他の楽曲の演奏中にバックグラウンドで行うなど適宜タイミングで行うことが可能である。
【００４７】
投稿データを利用したサービスは、一度の投稿で完結してもよいが、一旦、サーバ装置へ投稿された投稿データをコマンダがダウンロードし、コマンダが、ダウンロードした投稿データを再生しつつ、自装置のカラオケ演奏を録音、録画を実行することで、ユーザーが投稿データと一緒にカラオケを行いつつ、ユーザーの歌唱音を録音し、その姿を録画したデータに、さらにカラオケ演奏時に再生した投稿データ（ダウンロードした投稿データ）を加えて再投稿していくコラボサービスを行うことも考えられる。図８は、このコラボサービスにおける投稿処理を示すフロー図である。
【００４８】
まず、コマンダＡ（演奏室に設置されているとする）にて投稿処理が開始されると、カラオケ用ホストなどのサーバ装置に対し投稿データ１が送信される。投稿データ１を受信したサーバ装置は、これをデータベースに登録して管理する。次に、コマンダＢ（歌唱室に設置されているとする）にてコラボ処理が開始されると、まず、ユーザーは投稿データの選択を行う。この処理はサーバ装置が公開する投稿データの属性情報を検索するなどして実行される。投稿データを試聴させて選択させることとしてもよい。Ｓ２０６にて、ユユーザーが所望する楽曲ＩＤの投稿データ１が選択されると、コマンダＢは、サーバ装置に投稿データ１を要求する。サーバ装置では、この要求に応じる形で投稿データ１をコマンダＢに送信する。
【００４９】
コマンダＢでは、投稿データ１を受信し、投稿データ１に含まれる音声情報、録画情報を再生させつつ、投稿データ１に含まれる楽曲ＩＤを利用して、それに対応する楽曲情報をＭＩＤＩ音源等にて演奏させる。コマンダＢでは、この演奏に同期して、さらなる録音、録画が開始される（Ｓ２０９）。コマンダＢでは、コマンダＢにて歌唱するユーザーが投稿データ１のユーザーとあたかも一緒に歌唱しているような状態で録音情報、録画情報が作成される。楽曲にデュエット楽曲を使用した場合には、遠隔地のユーザーがデュエットを行っているコラボデータが作成できる。本実施例では、投稿データの楽曲ＩＤが指定されてから、コマンダＢの演奏楽曲の楽曲ＩＤが設定された。他に、Ｓ２０６にて、ユーザーがコマンダＢの演奏楽曲を指定し、コマンダＢがユーザーによって演奏設定された楽曲ＩＤと同じ楽曲ＩＤの投稿データ１をサーバ装置に要求することで、これから演奏する
楽曲ＩＤと同じ楽曲ＩＤの投稿データをＳ２０７で受信し、Ｓ２０８に遷移してもよい。
【００５０】
演奏が終了すると（Ｓ２１０）、録音、録画を終了させる（Ｓ２１１）。Ｓ２１２では、コマンダＢにて新たに録音された録音情報に対して楽器音判定処理Ｓ２１２が実行される。この処理は前述の実施形態と同様の処理であって、コマンダＢは楽器演奏が禁止されている歌唱室としての契約であることを理由として実行される。楽器音有りと判定された場合には、ユーザーに投稿できない旨のメッセージを表示（Ｓ２１８）してコラボ処理を終了する。一方、楽器音無しと判定されたときには、Ｓ２１４にて、コマンダＢにて録音、録画された情報に基づいて新たな投稿データ２が作成される。さらに、この投稿データ２と受信した投稿データ１に基づいてコラボデータを作成してサーバ装置に送信する。
【００５１】
図９には、本発明の実施形態に係るコラボデータのデータ構成が示されている。投稿前、すなわちサーバ装置に送信する前のコラボデータは、受信した投稿データ１と、新たに作成された投稿データ２を含んで構成される。投稿データ２は、前実施形態で説明したと同様、録音情報、録画情報の他、ユーザーＩＤ、コマンダＩＤ、録音日時などの属性情報を含んで構成される。このように、コラボデータの投稿データは再投稿される度に、新たな投稿データが追加されていく。
ここでは、投稿データ１の楽曲ＩＤを利用できるため、投稿データ２には楽曲ＩＤを含ませていないが、投稿データ２についても楽曲ＩＤを含ませることとしてもよい。投稿データ２単独で楽曲を再生したり、更なるコラボデータの作成を行うことが可能となる。また、投稿後のコラボデータ、すなわち、サーバ装置にて受信したコラボデータには、識別子としての投稿ＩＤを付与してコラボデータの管理が行われる。
【００５２】
サーバ装置に送信されたコラボデータは、データベースに登録（Ｓ２１６）され、通信回線を介して公開される（Ｓ２１７）。この通信回線を介した公開は、携帯用情報端末やパーソナルコンピュータ、あるいは、コマンダ２などへの送信であってもよいし、コラボデータを利用した更なる投稿処理であってもよい。コラボデータは再投稿される度に、新たな投稿データが追加されていく構成なので、コラボデータは自データに含まれる投稿データをそれぞれ弁別することができる。このため、コラボデータを元に更なる投稿処理を行うことで、複数人（３人以上）が参加するコラボデータをも作成することが可能となる。よって、１人のユーザーであっても、２種類の投稿データが含まれるコラボデータ（例えば、図９参照）を利用することで、あたかも３人でデュエットをおこなっているようなサービスも提供することができる。
【００５３】
本実施形態では、コラボデータに受信した投稿データ１を含めていたが、コラボデータには、図１０のようなデータ構成を使用してもよい。この実施形態では、投稿データ１に代え、投稿データ１の識別子（投稿データＩＤ）をコラボデータに含める構成を採用している。サーバ装置のデータベースには、投稿データ１が格納されており、投稿データ１の識別子を参照することで、投稿データ１を読み出すことが可能となる。このデータ構成では、投稿データ１をサーバ装置に送信する必要が無いため、通信量を抑えることが可能となる。
【００５４】
このように本実施形態では、一度サーバ装置に送信された投稿データをさらに使用することで、ユーザー間での共同作成作業（コラボ）を実現することが可能となる。このよう場合、新たに録音された録音情報のみを楽器音判定処理の対象とすることで、前に作成された投稿データにて楽器演奏が行われた場合においても、場所（部屋）の利用契約に的確に対処することが可能となる。
【００５５】
前述の実施形態では、コマンダ２側で楽器音判定処理が行われていたが、楽器音判定処理は、図１に示されるカラオケ用ホストやインターネット用ホストなどのサーバ装置にて
行われるものであってもよい。図１１は、楽器音判定処理をサーバ装置側で行う場合の投稿処理を示すフロー図である。コマンダ２では、前述の実施形態と同様、Ｓ３０１〜Ｓ３０８の処理にて投稿データが作成される。作成された投稿データは、Ｓ３０９にてサーバ装置に送信される。サーバ装置では、まず投稿データが演奏室で作成されたものであるか否かが判定される（Ｓ３１１）。
【００５６】
この判定は、投稿データに付されたコマンダＩＤを読み出し、サーバ装置にて管理するデータベースを参照するなどして実行できる。演奏室で作成された場合には、楽器音判定処理を行うことなく投稿データをデータベースに登録（Ｓ３１４）して公開可能とさせる。一方、演奏室でない、すなわち、歌唱室であると判定された場合には、楽器音判定処理が実行される（Ｓ３１２）。この処理はコマンダ２側で行っていたものと同等の処理である。楽器音無しと判定された場合には、投稿データをデータベースに登録（Ｓ３１４）して公開可能とする。また、楽器音有りと判定された場合には処理を終了する。（Ｓ３１５）。この場合、投稿データを送信してきたコマンダ２、あるいは、投稿データを作成したユーザーに対して登録未完了のメッセージを送信することとしてもよい。
【００５７】
本実施形態では、サーバ装置側にて楽器音判定処理を実行することで、精度の高い楽器音判定が可能となる。また、本実施形態では、投稿データに対する制限処理として、データベースへの登録の可否としたが、サーバ装置から送信を制限することとしてもよい。さらに、サーバ装置での判定は、コラボサービスに対しても利用することが可能である。
【００５８】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００５９】
１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカー、４３…カメラ、４４ａ、４４ｂ…歌唱用マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ
【特許請求の範囲】
【請求項１】
楽音演奏に同期して録音された録音情報を含む投稿データについて、前記録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、
前記楽器音判定処理において楽器音が含まれていると判定された場合、前記投稿データの登録もしくは通信回線を介した前記投稿データの送信を制限する制限処理と、を実行することを特徴とする
投稿データ判定装置。
【請求項２】
前記録音情報が演奏室で録音されたか否かを判定する演奏室判定処理を実行し、
前記制限処理は、前記演奏室判定処理にて演奏室で録音されたと判定された場合、前記楽器音判定処理の判定結果にかかわらず、前記投稿データの登録もしくは通信回線を介した前記投稿データの送信を許可することを特徴とする
請求項１に記載の投稿データ判定装置。
【請求項３】
前記楽器音判定処理は、前記録音情報を周波数解析し、解析結果に基づいて前記録音情報中に楽器音が含まれているか否かを判定することを特徴とする
請求項１または請求項２に記載の投稿データ判定装置。
【請求項４】
前記楽器音判定処理は、前記録音情報と、録音時に同期して演奏された楽曲のガイドメロディとを比較することで判定することを特徴とする
請求項１から請求項３の何れか１項に記載の投稿データ判定装置。
【請求項５】
前記楽器音判定処理は、録音時に同期して演奏された演奏音を低減した上で、前記録音情報中に楽器音が含まれているか否かを判定することを特徴とする
請求項１から請求項４の何れか１項に記載の投稿データ判定装置。
【請求項６】
前記楽器音判定処理は、複数の前記投稿データを複数含むコラボデータについて、新しく追加された投稿データを対象として、前記録音情報中に楽器音が含まれているか否かを判定することを特徴とする
請求項１から請求項５の何れか１項に記載の投稿データ判定装置。
【請求項７】
請求項１から請求項６の何れか１項に記載の投稿データ判定装置と、
楽曲情報に基づいて楽音を演奏する楽曲演奏手段と、
入力される音声情報を録音する録音手段と、
通信回線を介して前記録音情報を含む投稿データを送信する送信手段と、を備えたことを特徴とする
カラオケ装置。
【請求項８】
請求項１から請求項６の何れか１項に記載の投稿データ判定装置と、
通信回線を介して前記投稿データを受信する受信手段と、
前記投稿データをデータベースに登録する登録手段、もしくは、前記投稿データを通信回線を介して送信する送信手段と、を備えたことを特徴とする
サーバ装置。
【請求項９】
楽音演奏に同期して録音された録音情報を含む投稿データについて、前記録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、
前記楽器音判定処理において楽器音が含まれていると判定された投稿データについて、当該投稿データの登録もしくは通信回線を介した当該投稿データの送信を制限する制限処理をコンピュータに実行させることを特徴とする
投稿データ判定プログラム。
【請求項１】
楽音演奏に同期して録音された録音情報を含む投稿データについて、前記録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、
前記楽器音判定処理において楽器音が含まれていると判定された場合、前記投稿データの登録もしくは通信回線を介した前記投稿データの送信を制限する制限処理と、を実行することを特徴とする
投稿データ判定装置。
【請求項２】
前記録音情報が演奏室で録音されたか否かを判定する演奏室判定処理を実行し、
前記制限処理は、前記演奏室判定処理にて演奏室で録音されたと判定された場合、前記楽器音判定処理の判定結果にかかわらず、前記投稿データの登録もしくは通信回線を介した前記投稿データの送信を許可することを特徴とする
請求項１に記載の投稿データ判定装置。
【請求項３】
前記楽器音判定処理は、前記録音情報を周波数解析し、解析結果に基づいて前記録音情報中に楽器音が含まれているか否かを判定することを特徴とする
請求項１または請求項２に記載の投稿データ判定装置。
【請求項４】
前記楽器音判定処理は、前記録音情報と、録音時に同期して演奏された楽曲のガイドメロディとを比較することで判定することを特徴とする
請求項１から請求項３の何れか１項に記載の投稿データ判定装置。
【請求項５】
前記楽器音判定処理は、録音時に同期して演奏された演奏音を低減した上で、前記録音情報中に楽器音が含まれているか否かを判定することを特徴とする
請求項１から請求項４の何れか１項に記載の投稿データ判定装置。
【請求項６】
前記楽器音判定処理は、複数の前記投稿データを複数含むコラボデータについて、新しく追加された投稿データを対象として、前記録音情報中に楽器音が含まれているか否かを判定することを特徴とする
請求項１から請求項５の何れか１項に記載の投稿データ判定装置。
【請求項７】
請求項１から請求項６の何れか１項に記載の投稿データ判定装置と、
楽曲情報に基づいて楽音を演奏する楽曲演奏手段と、
入力される音声情報を録音する録音手段と、
通信回線を介して前記録音情報を含む投稿データを送信する送信手段と、を備えたことを特徴とする
カラオケ装置。
【請求項８】
請求項１から請求項６の何れか１項に記載の投稿データ判定装置と、
通信回線を介して前記投稿データを受信する受信手段と、
前記投稿データをデータベースに登録する登録手段、もしくは、前記投稿データを通信回線を介して送信する送信手段と、を備えたことを特徴とする
サーバ装置。
【請求項９】
楽音演奏に同期して録音された録音情報を含む投稿データについて、前記録音情報中に楽器音が含まれているか否かを判定する楽器音判定処理と、
前記楽器音判定処理において楽器音が含まれていると判定された投稿データについて、当該投稿データの登録もしくは通信回線を介した当該投稿データの送信を制限する制限処理をコンピュータに実行させることを特徴とする
投稿データ判定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−７３４２８（Ｐ２０１２−７３４２８Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１８２９３（Ｐ２０１０−２１８２９３）
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]