楽曲盛上がり判定装置及び楽曲盛上がり判定プログラム
【課題】カラオケ装置などを利用した歌唱の場における盛上がり具合を指標化する。
【解決手段】本発明に係る楽曲盛上がり判定装置は、映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを記憶する記憶手段と、楽曲再生手段における１楽曲再生中に撮影された映像情報、楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、盛上がり条件にて規定された盛上がりの特徴を検出する検出処理と、前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理を実行する制御部と、を有することを特徴としている。
【解決手段】本発明に係る楽曲盛上がり判定装置は、映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを記憶する記憶手段と、楽曲再生手段における１楽曲再生中に撮影された映像情報、楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、盛上がり条件にて規定された盛上がりの特徴を検出する検出処理と、前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理を実行する制御部と、を有することを特徴としている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ装置など楽曲演奏装置を利用した歌唱における盛上がり具合を指標化する楽曲盛上がり判定装置及び楽曲盛上がり判定プログラムに関するものである。
【背景技術】
【０００２】
従来、カラオケ装置などの楽曲演奏装置では、歌唱音声とガイドメロディとを比較することによる採点が行われている。また、歌唱音声の音量を消費カロリーに換算し、１曲の歌唱でどれだけカロリーを消費したかをユーザーに対して表示するカラオケ装置もみられる。カラオケの採点では、ユーザーは自身の得点の記録更新、あるいは、他のユーザーの得点と競うことで歌唱意欲を高めることができる。このように、歌唱音声に基づく数値化は顧客を引きつけるための有効なサービスとなっている。
【０００３】
特許文献１には、外部からの音量を検出し、検出した音量に基づいて伴奏パターンを変更し、演奏や歌の盛上がりに応じて変化する自動伴奏を行うことができる自動伴奏装置が開示されている。
【０００４】
特許文献２には、マイクロホンから入力された入力音声に基づいて、カラオケ曲データにおけるサビや盛上がりのタイミングを設定するカラオケ装置が開示されている。このカラオケ装置によれば、設定されたタイミングを、撮影手段による撮影、歌唱者の入力音声にかけるエフェクト、あるいは、照明手段の駆動に利用することで、カラオケの場をさらに盛上げることが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３６３０２６６公報
【特許文献２】特開平１１−７３１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１、特許文献２に開示される装置は、検出した音量に基づいて自動伴奏を変化させたり、さびを検出するものであって、歌唱の場がどの程度盛上がっているかを指標化するものとはなっていない。本発明は、１楽曲の再生期間において歌唱がどの程度、盛上がったかを指標化することで、新たなサービスを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係る楽曲盛上がり判定装置は、映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、前記盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを記憶する記憶手段と、楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がりの特徴を検出する検出処理と、前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理を実行する制御手段と、を有することを特徴としている。
【０００８】
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理にて算出された盛上がりポイントは、撮影時または収音時に前記楽曲再生手段にて再生した楽曲の識別子に対応付けて管理されることを特徴としている。
【０００９】
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理は、前記楽曲再生手段で再生した楽曲に応じて補正して前記盛上がりポイントを算出することを特徴としている。
【００１０】
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理は、前記音声情報に基づいて算出された音声盛上がりポイントと、前記映像情報に基づいて算出された映像ポイントの少なくとも一方を算出することを特徴としている。
【００１１】
さらに、本発明に係る楽曲盛上がり判定装置において、前記盛上がり条件における盛上がりの特徴は、前記映像情報にて検出される顔の方向、大きさ、数、動きのうちの少なくとも１つであることを特徴としている。
【００１２】
さらに、本発明に係る楽曲盛上がり判定装置において、前記検出処理は、楽曲の再生中に実行されるとともに、前記盛上がり条件にて規定された盛上がりの特徴検出に応じて、告知を行うことを特徴としている。
【００１３】
さらに、本発明に係る楽曲盛上がり判定装置において、前記検出処理は、所定時間前に再生された楽曲を対象として実行されるとともに、前記制御手段は、前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理を実行することを特徴としている。
【００１４】
また、本発明に係る楽曲盛上がり判定プログラムは、映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを有し、楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がり条件にて規定された盛上がりの特徴を検出する検出処理と、前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理をコンピュータに実行させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、１楽曲再生中に収音された映像情報、もしくは、音声情報の少なくとも一方について盛上がり判定テーブルを参照し、盛上がりポイントを算出することで、歌唱時における新たな指標を提供するものである。また、この盛上がりポイントを楽曲選曲、盛上がりポイントを競うなど、新たなサービスを提供することも可能となる。
【００１６】
さらに、本発明では撮影時または収音時に使用した楽曲に対応付けて盛上がりポイントを管理することで、どの楽曲が盛上がるかを判定する指標とすることが可能となる。
【００１７】
さらに、本発明では、再生した楽曲に応じて補正した盛上がりポイントを算出している。この構成によれば、楽曲間において異なる条件を揃えることで、楽曲間の公平性を図ったり、特定区間でポイントを増減させることで、遊興性の向上を図ることが可能となる。
【００１８】
さらに、本発明では、盛上がりポイントを、映像に関する映像盛上がりポイント、音声に関する音声盛上がりポイントの少なくとも一方を算出することで、映像、音声、それぞれに対する盛上がり度を指標化することができる。また、映像、音声どちらか一方にしか対応できない装置においても、映像、音声両方に対応できる装置にて算出された指標と比較することが可能となる。
【００１９】
さらに、本発明では、顔認識技術を用い、映像情報から顔の方向、大きさ、数、動きのうち少なくとも１つを盛上がりの特徴として利用することで、映像情報に基づく盛上がりの状況を検出することが可能となる。
【００２０】
さらに、本発明では、盛上がりの特徴検出に応じて、表示あるいは音声を用いた告知を行うこととしている。歌唱の場にいるユーザーに対し、盛上がりの状況を伝えることが可能となる。
【００２１】
さらに、本発明では、所定時間前に再生された楽曲を対象として盛上がりポイントを算出し、算出された盛上がりポイントに基づいて楽曲を選択することで、時間貸しのカラオケボックスなどにおいて、〆（最後）の一曲として、一番盛り上がった楽曲をユーザーに勧める、あるいは、自動で演奏させることが可能となる。
【００２２】
また、本発明の楽曲盛上がり判定プログラムは、前述の楽曲盛上がり判定装置の機能をプログラムにて提供することで、コンピュータ装置や、既存の楽曲演奏装置に対しても機能を付加することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図。
【図２】本発明の実施形態に係るカラオケシステムを示す図。
【図３】本発明の実施形態に係るトップ画面を示す図。
【図４】本発明の実施形態に係るユーザー情報を示す図。
【図５】本発明の実施形態に係るメイン処理を示すフロー図。
【図６】本発明の実施形態に係る盛上がり判定テーブルを示す図。
【図７】本発明の実施形態に係る演奏時のモニタ画面を示す図。
【図８】本発明の実施形態に係る演奏時のモニタ画面を示す図。
【図９】本発明の実施形態に係るポイント補正処理を説明するための図。
【図１０】本発明の実施形態に係る盛上がり情報のデータ構成を示す図。
【図１１】本発明の実施形態に係る演奏終了後の結果発表の様子を示す図。
【図１２】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１３】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１４】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１５】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１６】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１７】本発明の実施形態に係る盛上がり楽曲推奨処理を示すフロー図。
【図１８】本発明の実施形態に係る盛上がり楽曲推奨画面を示す図。
【図１９】本発明の他の実施形態に係るメイン処理を示すフロー図。
【図２０】本発明の実施形態に係る楽曲選択画面を示す図。
【発明を実施するための形態】
【００２４】
図１は、本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図である。図中、カラオケシステムとしての主要構成は、カラオケ用ホスト（サーバ装置）、店舗などに設置されるコマンダ２などにて構成される。コマンダ２は楽曲再生機能を有した、いわゆるカラオケ装置であって、店舗内のＬＡＮ１００に接続されている。コマンダ２とカラオケ用ホストは、インターネットを介して接続され、新しく供給された楽曲情報やユーザー情報など、各種サービスに必要な情報の送受信を行う。本実施形態ではＶＰＮ（Virtual Private Network）を介して接続されており、セキュリティに優れた通信を行うこ
とが可能となっている。
【００２５】
店舗に設置されたコマンダ２は、リモコン装置１によりユーザーからの各種指示を受け
付けることが可能となっている。また、リモコン装置１は表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０ａを介してコマンダ２と無線接続される。例えば、コマンダ２ａにはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００ａを介した操作が可能となっている。また、リモコン装置１とコマンダ２とは赤外線を利用した近距離通信を行うことも可能である。
【００２６】
さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネット用ホストが設けられている。このインターネット用ホストは、ユーザーのパーソナルコンピュータ、携帯情報端末（携帯電話やＰＤＡなど）と接続され、これら機器を利用するユーザーに各種サービスを提供することができる。また、インターネット用ホストは、カラオケ用ホストとデータ共有することで連携を取ったサービスを提供することができる。
【００２７】
図２は、本発明の実施形態に係る店舗Ａに設置されたカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、コマンダ２（カラオケ装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。
【００２８】
コマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、楽曲指定処理などを実行可能としている。演奏処理は、入力部２１やリモコン装置１にて、ユーザーにより指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からは歌唱用マイク４４から入力される音声も合わせて放音される。映像再生処理は、映像再生部２９にて映像情報や歌詞情報などを再生させ、モニタ４１を介した視覚情報をユーザーに提供する処理である。
【００２９】
楽曲指定処理は、ユーザーからの指定に基づいて楽曲を選択、予約するための処理である。本実施形態ではリモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。コマンダ２とリモコン装置１は、この選曲処理に限らず、ユーザーから各種入力を受付けて、ログイン処理など各種処理を実行することが可能である。
【００３０】
本実施形態のコマンダ２には、カメラ４３が接続可能となっており、接続されたカメラ４３から歌唱者や同伴客の様子を撮影することが可能となっている。カメラ４１の映像を表示手段（例えば、モニタ４１）にてモニタする場合には、カメラ４３は、当該表示手段の上部など、表示手段の近傍に配置することが好ましい。ユーザーは、モニタ画像を鏡のように利用することが可能となる。カメラ４３にて撮影された映像情報は、コマンダ２あるいはコマンダに接続されるサーバ装置において、盛上がりポイント判定のために利用される。なお、カメラ４３を複数設け、同時に、あるいは、切り換えて撮影することで映像情報を取得することとしても構わない。
【００３１】
また、本実施形態のコマンダ２には、環境音収音マイク４４ｃが設けられている。このマイクは、歌唱が行われる場の環境音を収音するために設けられたものであり、同伴者の歓声、鳴り物などが含まれた音声情報を収音する。収音の際、この環境音収音マイク４４ｃにて収音した音声情報から、スピーカー４２から放音される音や、歌唱用マイク４４ａ、ｂにて収音された歌唱音を減算するとよい。精度の高い環境音を抽出することが可能となる。盛上がりポイント判定のためには、この環境音収音マイク４４ｃにて収音した音声
情報に限らず、歌唱用マイク４４ａ、ｂにて収音した音声情報を用いることとしてもよい。
【００３２】
このように、コマンダ２には、盛上がりポイント算出のために用いる映像情報、音声情報を取得するための、カメラ４３や各種マイク４４ａ〜ｃが設けられている。本実施形態では、映像情報、音声情報の両方に基づいて盛上がりポイントを算出することとしているが、映像情報、音声情報のどちらか一方にて算出することとしてもよい。
【００３３】
図３は、本発明の実施形態に係るトップメニューを示す図である。本実施形態では、リモコン装置１の表示部１１に表示させ、リモコン装置１を操作するユーザーに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種スイッチの他、表示部１１に表示されたアイコンを直接タッチして操作を行うタッチパネル等を採用することができる。
【００３４】
トップメニューには、楽曲選択のための各種方法（歌手名検索、曲名検索、盛上がり度検索）を指定可能の他、ユーザーのログインに関する情報が表示されている。
【００３５】
本実施形態のカラオケシステムは、複数のユーザーがログインすることが可能となっている。ユーザーのログインに関する情報は、画面上方に常時表示される。ログイン中のユーザーを示すアバターが表示される。図ではＡさん、Ｅさん、Ｃさん、３人のアバターが表示されているが、更なるユーザーをログインさせることも可能である。表示されている３人のアバター中、背景が褐色で表示されているユーザー（Ａさん）は操作ユーザーであることを示している。本実施形態では、操作ユーザーのユーザー名、並びに、操作ユーザーに対する各種メッセージも表示される。
【００３６】
操作ユーザーに対しては、当該ユーザーのユーザー情報に基づいて各種サービスを行うことが可能となっており、ユーザー情報に含まれる個人情報や操作履歴などを参照することで、それに基づくサービスを提供することが可能である。
【００３７】
操作ユーザーは、画面上方左側に表示されているユーザー切替を操作することで切り換えることができる。また、画面上方右側には、新たにユーザーをログインさせる新規ログイン、操作ユーザーをログアウトさせるログアウトが表示されており、これらを操作することで、ユーザーの追加、ログアウトを行うことができる。
【００３８】
図４は、各ユーザー毎に記憶されたユーザー情報を説明するための図である。本実施形態では、ユーザー情報として、個人情報、十八番テーブル、履歴テーブルなどを含んで構成される。個人情報には、ユーザーを識別するためのユーザーＩＤ、パスワード、そして、ユーザー名、性別、年齢等を含んで構成されている。これらの設定は、リモコン装置１、あるいは、ネットワークに接続されたパーソナルコンピュータ、携帯情報端末などにてログインすることでも設定することができる。
【００３９】
十八番テーブルは、ユーザーによって事前に登録された楽曲を示すテーブルであって、少なくとも楽曲を識別するための楽曲識別子を含んで構成されている。この他にも各楽曲識別子に、歌唱した際に採点された最高点（採点情報）や、自分の歌唱音域に合わせるための音程情報を合わせて登録しておいてもよい。また、当該楽曲に関する盛上がりポイントの最高点を登録しておいてもよい。ユーザーは、この十八番テーブルを呼び出すことで、事前に登録した楽曲を容易に呼び出して選曲を行うことが可能となる。なお、採点情報、盛上がりポイントは、最高点に限らず平均点や最低点であってもよく、点数に限らずランクにて構成してもよい。
【００４０】
履歴テーブルは、ユーザーがこれまでに選曲した履歴が記載されたテーブルであって、楽曲識別子、歌唱日時、歌唱店舗、採点情報、音程情報、盛上がりポイントなどを含んで構成されている。採点情報は、歌唱したときの採点手段による結果を示す情報であり、音程情報は歌唱したときのピッチ変更を示す情報である。
【００４１】
本実施形態では、このようなユーザー情報を利用することで、ユーザーに対し様々なサービスを提供することができる。特に、本実施形態では、十八番テーブルや履歴テーブルに盛上がりポイントを記録しておくことで、自己の十八番の内、盛上がれる楽曲、すなわち、盛上がりポイントの高い楽曲を検索したり、これまで歌唱した楽曲における平均盛上がりポイントを参照するなど、盛上がりポイントを利用した各種サービスを行うことが可能となる。
【００４２】
図５は、本発明の実施形態に係るメイン処理を示すフロー図である。本発明でいう楽曲盛上がり判定装置、または、楽曲盛上がり判定プログラムは、コマンダ２の各種構成、処理にて形成される。また、本実施形態では、コマンダ２にて楽曲再生中に随時、盛上がりの特徴を検出するものである。この実施形態では、ユーザーに対していつ盛上がりが判定されたかを迅速に伝えることが可能となる。盛上がりの特徴検出、また、盛上がりポイントの算出は、コマンダ２に限らず、コマンダ２に接続されるサーバ装置にて行うこととしてもよい。サーバ装置側で行う場合については後で他の実施形態を用いて説明を行う。
【００４３】
メイン処理がスタート（Ｓ１０１）すると、まず、Ｓ１０２にてユーザーによる選曲が実行される。この選曲は、図３に示すトップ画面にて選択された各種検索方法にて実行される。選曲、すなわち、楽曲が指定されるとＳ１０３にて、指定された楽曲に対応する楽曲情報を楽曲再生手段としてのＭＩＤＩ音源２６に再生させる。ここでは、Ｓ１０２による選曲の後、すぐに再生が開始されることとして説明しているが、予約されたものから順次再生されるものであってもよい。
【００４４】
Ｓ１０４ａ〜Ｓ１０９ａは、カメラ４３にて撮影される映像情報を用いた盛上がりの特徴を検出する処理であり、Ｓ１０４ｂ〜Ｓ１０９ｂは、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃにて収音される音声情報を用いた盛上がりの特徴を検出する処理である。これら処理については、そのどちらか一方のみ行われるものであってもよい。
【００４５】
まず、映像情報を用いた盛上がりの特徴検出について説明する。楽曲再生開始（Ｓ１０３）に伴って、カメラ４３による撮影が開始される（Ｓ１０４ａ）、Ｓ１０５ａでは、近年、デジタルカメラなどにて用いられる画像認識技術を用いて、人物の顔、表示用、手や足などの体躯、また、その動きを認識する。Ｓ１０６ａでは、認識結果が盛上がり判定テーブルに記述された盛上がり条件に該当するか否かが判定される。
【００４６】
図６には、本発明の実施形態に係る盛上がり判定テーブルが示されている。盛上がり判定テーブルには、映像、音声毎の盛上がり条件にポイントが対応付けられている。例えば、映像情報中に映った人数がｎ人である場合には、人数に応じたｎポイントが加算される（Ｓ１０７）。なお、このポイントは加算するのみならず減算してもよい。例えば、映っている顔、あるいは、視線が下向きである場合には、盛上がりと反する行為と判定してポイントを減算することとする。
【００４７】
さらに、本実施形態では、盛上がりの特徴が検出された場合に、モニタ４１に盛上がりが検出されたことを表示し、同席者に対して告知することとしている。図７は、本発明の実施形態に係る演奏時のモニタ画面である。この図では、歌詞や背景映像の表示を行うモニタ４１の画面上に、撮像映像ウィンドウを設け、カメラ４３にて撮影された映像情報を表示させている。同席者は、この撮像映像ウィンドウにて、撮像される様子をほぼリアル
タイムに確認することができる。なお、この撮像映像ウィンドウには、左右反転された映像情報を表示させることで、鏡に映っているように視認することができ、違和感を抑えることが可能となる。
【００４８】
図８は、演奏時において盛上がりの特徴が検出されたときのモニタ画面の様子を示した図である。本実施形態では、盛上がりの特徴（鳴り物検出：この場合は音声における盛上がりの特徴）並びに、その特徴に対応したポイント（＋２ポイント）を文字で表示させている。このように、盛上がりの特徴やポイント数を同席者に対して告知することで、同席者は何をすれば盛上がりと判定されたか、あるいは、どのような行為が盛上がりポイントが高いなどを認識させることができる。本実施形態では、文字を表示することで盛上がりの特徴検出を告知することとしているが、図形やアイコンを表示することとしてもよいし、表示のみならず音声にて告知するものであってもよい。また、盛上がりの特徴検出を告知せず、ポイントのみを表示、あるいは、盛上がり行為があったことのみを告知する構成であってもよい。
【００４９】
カメラ４３にて撮影される映像情報については、Ｓ１０５ａ〜Ｓ１０８ａの処理を、楽曲再生が終了するまで繰り返し実行することで、映像情報に関するポイントが加算される。歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃにて収音される音声情報を用いた盛上がりの特徴検出については、映像情報と同様、図６の盛上がり判定テーブルを用いて実行される（Ｓ１０４ｂ〜Ｓ１０８ｂ）。なお、音声情報については、音量、音高、音種などの認識、また、話者認識技術を用いた歌唱者の認識などを利用することで、盛上がりの特徴が検出される。
【００５０】
再生終了が判定される（Ｓ１０９ａ、Ｓ１０９ｂ）と、Ｓ１１０ではユーザーによる再生中断か否か、すなわち、ユーザーの操作により再生が中止されたか否かが判定される。再生中断時における盛上がりポイント算出を許可した場合、後で説明するポイント補正処理を利用した不正行為が行われる場合がある。そのため本実施形態では、楽曲が最後まで再生されたことを条件として、最終的な盛上がりポイントを算出することとしている。なお、楽曲の所定の割合以上再生を行ったことを条件としてもよい。
【００５１】
Ｓ１１１では、盛上がりポイントの算出が行われる。簡易には、Ｓ１０７ａにて積算された映像ポイントと、Ｓ１０７ｂにて積算された音声ポイントの和を取ることで総合的な盛上がりポイントとして算出できる。本実施形態では、この盛上がりポイントの算出処理において、楽曲の時間長の差異を考慮した補正処理を行い、楽曲間において盛上がりポイント算出のための条件を揃えることとしている。
【００５２】
前述したように、本実施形態では、映像情報または音声情報において盛上がりの特徴を検出する毎にポイントが加算される構成となっている。そのため、楽曲の再生時間が長いほど、ポイントを稼ぐ条件が有利なものとなる。図９（ａ）は、この楽曲時間長の差異に基づく条件を揃えるためのポイント補正処理を説明するための図である。例えば楽曲Ａが３分１４秒の時間長であるのに対し、楽曲Ｂが４分２３秒の時間長であった場合、ポイント獲得の機会は楽曲Ｂの方が有利となる。そのため、本実施形態では基準時間長Ｔ（例えば、３分３０秒）を設定し、積算されたポイントを基準時間長に規格化することで、楽曲時間長の差異による不公平を是正することとしている。例えば、楽曲Ａの時間長がＴ１、ポイントがＰ１である場合、補正後のポイントＰ２は、Ｐ１×Ｔ／Ｔ１となる。
【００５３】
時間長の補正は、この実施形態に限らず、所定時間以上のものは、所定ポイント減点するなど簡易な形態を採用することもできる。また、楽曲の時間長は、ユーザーがテンポを調整することでも変更される。この場合、テンポの度合いに応じてポイントを補正することとしてもよい。例えば、テンポがｎ倍の場合、盛上がりポイントをｎ倍とすることで、
テンポが遅い場合にはポイントを低く、テンポが速い場合にはポイントを高く補正することができる。
【００５４】
図９（ｂ）は、他のポイント補正処理の例を示した図である。この補正処理では、サビ区間を判定し、サビ区間に検出された盛上がりの特徴については、所定の割合ポイントを増加させる、いわば、ボーナスポイントを与えることとしている。この例に限らず、楽曲のジャンルに応じた補正処理を行うなど様々な形態を取ることが考えられる。算出処理では、このように再生した楽曲に応じて補正処理を実行し、最終的な盛上がりポイントを算出することとしている。
【００５５】
Ｓ１１２では、サーバ装置（図１のカラオケ用ホスト）と交信し、Ｓ１１１にて算出された盛上がりポイントに各種情報が付与された盛上がり情報として送信し、サーバ装置側で管理するユーザー情報などに登録する。図１０は、盛上がり情報のデータ構成例を示す図である。本実施形態では、歌唱ユーザーＩＤ、すなわち、楽曲指定時に操作ユーザーであったユーザーのユーザーＩＤの他、使用した楽曲を示す楽曲識別子、歌唱日時、カラオケ店舗やコマンダＩＤなどの位置情報、算出された盛上がりポイント、楽曲再生時にログインしていたユーザーのＩＤを示す同伴ユーザーＩＤなどを含んで構成される。
【００５６】
歌唱ユーザーＩＤを利用して集計することで、どのユーザーの歌唱が盛上がったかを指標化することができる。また、楽曲識別子を利用することで、どの楽曲が盛上がるかを指標化とすることができる。また、歌唱日時を利用することで、今週、盛上がった楽曲は何かといったように期間を指定して盛上がりを指標化することができる。歌唱位置を利用することで、店舗毎、地域毎の集計が可能となる。さらに、同伴ユーザーを利用して集計することで、どのユーザーが盛上げ上手かを集計することもできる。
【００５７】
このように、算出された盛上がりポイントに、再生時における各種情報を付随させておくことで、様々な観点における指標化、集計を行うことが可能となる。図１１は、本発明の実施形態に係る演奏終了後の結果発表の画面を示す図であって、図５のフロー図のＳ１１３の処理に相当している。本実施形態では、総合的な盛上がりポイントの他、映像情報に基づく映像盛上がりポイント、音声情報に基づく音声盛上がりポイントが表示されている。また、Ｓ１１２においてサーバ装置との交信で取得した全国での順位、地域（この場合、東京）での順位、カラオケ店舗での順位も併せて表示されている。本実施形態では、このようにポイントを表示して、ユーザーに告知することとしたが、ポイントに基づくランクで表示してもよいし、結果を表示することなく他のサービスのために利用するものであってもよい。
【００５８】
次に図１２〜図１６を用い、映像情報を用いた盛上がりの特徴検出について説明を行う。図１２は、撮像された映像情報を示した図であって、本実施形態では、顔認識技術を利用することで、映像情報中に何人が映り込んでいるかを判定し、盛上がりの特徴検出に用いることとしている。通常、人が多く映り込むほど、高いポイントが設定される。
【００５９】
図１３は、映像情報中に映り込む顔の大きさにて特徴検出を行う場合である。これは、カメラ４３に近づくほど盛上がっているという仮定に基づいたものであり、基準となる大きさＡよりも大きいか小さいかにて判定される。基準となる大きさを複数設け、多段階で判定するものとしてもよい。
【００６０】
図１４は、画面に映り込んでいる顔の方向で特徴検出を行う場合を示したものである。図１４（ａ）のように、眼、口、鼻が所定の位置で映り込んでいる場合、正面を向いて歌唱の場に参加しているものと判定し、ポイントが高くなるようにしている。また、図１４（ｂ）、図１４（ｃ）のように横を向いている場合や、下を向いていると判定された場合
には、歌唱の場に参加していないと判定し、ポイントを加算しない、あるいは、ポイントを減算する。顔の方向に限らず、映り込んだ人の視線を検出し、特徴検出に考慮することとしてもよい。
【００６１】
図１５は、画面に映り込んだ手の位置を判定することで特徴検出を行う場合を示したものである。ここでは、顔の基準位置Ｂに対する手の位置を判定することで、手を上げているか否かを判定している。手の位置が基準位置Ｂよりも上にあると判定することで、映っている人が手を上げて盛上がっている状況を判定することが可能となる。手の位置による判定では、この他、手の上げ下げの振幅、周期を検出して判定に用いてもよいし、左右の動きを判定することで拍手していることを検出してもよい。また、手の検出以外に足など手以外の体躯の位置、動きを特徴検出に用いてもよい。
【００６２】
図１６は、画面に映り込んだ顔の位置の動きを判定することで特徴検出を行う場合を示したものである。左右の動きを検出することでリズムに乗っているか否かを判定することが可能となる。また、縦の動きを検出することで、ジャンプしている、あるいは、椅子に乗っているなどの状況を判定することも可能となる。
【００６３】
以上、映像情報における盛上がりの特徴検出の例について説明したが、音声情報についても、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃなどを用いて収音された音声情報の音量、音高、音種などの認識、また、話者認識技術を用いた歌唱者の認識などを利用することで盛上がりの特徴を検出することが可能となる。音量を用いた場合には大きいほど盛上がり度が高いと判定することが可能である。音高を用いた場合には歓声が発生したことを判定することが可能となる。また、音種ではタンバリンなどの鳴り物が使用されたか否かを判定することが可能となる。また、歌唱者を認識することで、歌唱人数をカウントし、歌唱人数が多いほど盛上がっていると判定することが可能となる。
【００６４】
次に、算出された盛上がりポイントを利用したサービスの一例について説明する。図１７は、本発明の実施形態に係る盛上がり楽曲推奨処理を示すフロー図であり、図１８は、本発明の実施形態に係る盛上がり楽曲推奨画面を示している。このサービスでは、時間制限のあるカラオケ店舗において、退出時間が近づいたときに〆の一曲として歌唱する楽曲を推奨を行う。
【００６５】
図１７のフロー図中、Ｓ２０１にて処理が開始されると、まず、店舗の従業員、あるいは、ユーザーにより利用時間が設定される（Ｓ２０２）。この利用開始から利用するコマンダ２にて再生された楽曲の楽曲盛上がりポイントが記録される。Ｓ２０３、Ｓ２０４では、時刻と楽曲の再生状況を監視し、退出時間の１０分前であって、楽曲の曲間となった条件が判定される。
【００６６】
この条件が満たされた場合、Ｓ２０５にて図１８の楽曲推奨画面をモニタ４１に表示させる。この楽曲推奨画面では、利用開始からこれまでに再生した楽曲において盛上がりポイントの上位３曲を推奨楽曲として提示する。利用者は、リモコン装置１の操作部１７などを利用して、この中からもう一度歌唱したい楽曲を〆の一曲として選曲することが可能となる。なお、図には上位３曲が選曲可能とされているが「もっとみる」を選択することで、さらに下位の曲を閲覧し、選曲することも可能となっている。
【００６７】
Ｓ２０６では、楽曲推奨画面にて選曲されたか否かを判定し、選曲された場合にはＳ２０７にて優先予約を実行させる。通常、予約リストに順次登録された順に楽曲を再生させるが、この優先予約では、既に予約された楽曲に優先させて予約する、言い換えると、割り込み予約を行うものである。したがって、次に再生される楽曲が楽曲推奨画面にて選曲された楽曲となる。
【００６８】
以上、本実施形態では、入店してから再生した楽曲、すなわち、所定時間前に再生された楽曲の中から盛上がりポイントの高い楽曲を推奨することが可能となる。なお、図１８では盛上がった楽曲を表示してユーザーに選曲させることとしているが、盛上がった楽曲をもう一度利用するか否かだけをユーザーに問い、〆（最後）の一曲として再生することとしてもよく、どの楽曲が再生されるか分からない意外性を含んだサービスとなる。さらに、ユーザーに選曲、あるいは、再度の利用を問うことなく自動で〆の一曲を決定して再生することとしてもよい。その場合、再生時に「本日盛上がった楽曲」であることを告知することが好ましい。なお、本発明の趣旨と異なるが、本サービスを盛上がりポイント以外の他の指標を利用して行うこととしてもよい。他の指標としては、例えば、楽曲の採点情報、あるいは、歌唱音声に基づいて算出された楽曲毎の消費カロリー情報を利用して、楽曲を推奨、あるいは、自動で決定し、〆の一曲として再生することが考えられる。
【００６９】
以上説明した実施形態では、コマンダ２（カラオケ装置）にて盛上がりポイントを算出するものであったが、本発明における楽曲盛上がり判定装置、または、楽曲盛上がり判定プログラムは、サーバ装置の各種構成、処理にて形成されてもよい。この場合、盛上がりポイントの算出は、コマンダ２と通信回線を介して接続されるサーバ装置（図１のカラオケ用ホストなど）で実行される。コマンダ２側の処理負担を軽減すると共に、サーバ装置側の高い処理能力を利用して精度の高い盛上がりポイントを算出することが可能となる。また、現在、サーバ装置に対して楽曲再生時に録画、録音した映像情報、音声情報を送信し、公開するサービスが行われているが、このサービスの付加機能として利用することも可能となる。
【００７０】
図１９は、本発明の他の実施形態に係るメイン処理を示すフロー図である。コマンダ２側で処理が開始されると、前述の実施形態と同様、指定された楽曲の再生が開始される（Ｓ３０３）。再生が開始されるとほぼ同時に、カメラ４３にて撮影された映像情報の録画、そして、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃなどを用いて収音される音声情報の録音が開始される（Ｓ３０４）。この録音、録画処理は、演奏が終了するまで継続される。演奏が終了したことを判定（Ｓ３０５）すると、録音、録画処理を終了させる（Ｓ３０６）。Ｓ３０７では、ユーザーによる再生中断か否かが判定され、再生中断と判定された場合には処理を終了する。
【００７１】
一方、最後まで再生されたと判定された場合には、得られた映像情報、音声情報に、図１０にて盛上がりポイントに付帯させた各種情報を付与して録画・録音データを作成して、サーバ装置に送信する（Ｓ３０８）。サーバ装置では、受信した録画・録音データに基づいて盛上がりポイントの算出を実行する。ここでの処理は、前実施形態においてコマンダ２側で行った処理と同様である。Ｓ３１１では、他の盛上がりポイントなどと比較して、順位付けなどを行い、盛上がり度結果情報をコマンダ２に返信する。盛上がり度結果情報を受信したコマンダ２側では、図１１に示したような結果発表の画面を表示することで、ユーザに盛上がり度を告知する。
【００７２】
図２０は、本発明の実施形態に係る楽曲選択画面を示す図である。この楽曲選択画面は、図３に示す「盛上がり度で探す」という検索項目を指定することで表示される。図の例では、コマンダ２にて再生可能とする全楽曲を対象に、盛上がりポイントの平均にてランキングを行っている。ユーザーはこの中から楽曲を指定して選曲することが可能である。このような例の他、盛上がりポイントのランキングを利用した選曲としては、ジャンル別、歌手別、地域別、店舗別にて行ってもよいし、ユーザー情報（個人情報）を利用することで、男女別、年齢別に集計を取ることが可能となる。
【００７３】
また、本実施形態の盛上がりポイントは、選曲の指標のみならず、各ユーザー毎の最高
盛上がりポイント、平均盛上がりポイント、あるいは累計盛上がりポイントなどを利用して、ユーザーのランキングに利用し競わせることとしてもよい。また、歌唱ユーザー（操作ユーザーとして選曲したユーザー）のみならず、楽曲再生時に一緒にログインしていたユーザーについて集計し、盛上げ上手なユーザーを競わせることとしてもでよい。さらには、盛上がりポイントを積算することで、商品に交換するなどのポイントサービスに利用することも考えられる。
【００７４】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００７５】
１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカー、４３…カメラ、４４ａ、４４ｂ…歌唱用マイク、４４ｃ…環境音収音マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ
【技術分野】
【０００１】
本発明は、カラオケ装置など楽曲演奏装置を利用した歌唱における盛上がり具合を指標化する楽曲盛上がり判定装置及び楽曲盛上がり判定プログラムに関するものである。
【背景技術】
【０００２】
従来、カラオケ装置などの楽曲演奏装置では、歌唱音声とガイドメロディとを比較することによる採点が行われている。また、歌唱音声の音量を消費カロリーに換算し、１曲の歌唱でどれだけカロリーを消費したかをユーザーに対して表示するカラオケ装置もみられる。カラオケの採点では、ユーザーは自身の得点の記録更新、あるいは、他のユーザーの得点と競うことで歌唱意欲を高めることができる。このように、歌唱音声に基づく数値化は顧客を引きつけるための有効なサービスとなっている。
【０００３】
特許文献１には、外部からの音量を検出し、検出した音量に基づいて伴奏パターンを変更し、演奏や歌の盛上がりに応じて変化する自動伴奏を行うことができる自動伴奏装置が開示されている。
【０００４】
特許文献２には、マイクロホンから入力された入力音声に基づいて、カラオケ曲データにおけるサビや盛上がりのタイミングを設定するカラオケ装置が開示されている。このカラオケ装置によれば、設定されたタイミングを、撮影手段による撮影、歌唱者の入力音声にかけるエフェクト、あるいは、照明手段の駆動に利用することで、カラオケの場をさらに盛上げることが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３６３０２６６公報
【特許文献２】特開平１１−７３１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１、特許文献２に開示される装置は、検出した音量に基づいて自動伴奏を変化させたり、さびを検出するものであって、歌唱の場がどの程度盛上がっているかを指標化するものとはなっていない。本発明は、１楽曲の再生期間において歌唱がどの程度、盛上がったかを指標化することで、新たなサービスを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係る楽曲盛上がり判定装置は、映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、前記盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを記憶する記憶手段と、楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がりの特徴を検出する検出処理と、前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理を実行する制御手段と、を有することを特徴としている。
【０００８】
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理にて算出された盛上がりポイントは、撮影時または収音時に前記楽曲再生手段にて再生した楽曲の識別子に対応付けて管理されることを特徴としている。
【０００９】
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理は、前記楽曲再生手段で再生した楽曲に応じて補正して前記盛上がりポイントを算出することを特徴としている。
【００１０】
さらに、本発明に係る楽曲盛上がり判定装置において、前記算出処理は、前記音声情報に基づいて算出された音声盛上がりポイントと、前記映像情報に基づいて算出された映像ポイントの少なくとも一方を算出することを特徴としている。
【００１１】
さらに、本発明に係る楽曲盛上がり判定装置において、前記盛上がり条件における盛上がりの特徴は、前記映像情報にて検出される顔の方向、大きさ、数、動きのうちの少なくとも１つであることを特徴としている。
【００１２】
さらに、本発明に係る楽曲盛上がり判定装置において、前記検出処理は、楽曲の再生中に実行されるとともに、前記盛上がり条件にて規定された盛上がりの特徴検出に応じて、告知を行うことを特徴としている。
【００１３】
さらに、本発明に係る楽曲盛上がり判定装置において、前記検出処理は、所定時間前に再生された楽曲を対象として実行されるとともに、前記制御手段は、前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理を実行することを特徴としている。
【００１４】
また、本発明に係る楽曲盛上がり判定プログラムは、映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを有し、楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がり条件にて規定された盛上がりの特徴を検出する検出処理と、前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理をコンピュータに実行させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、１楽曲再生中に収音された映像情報、もしくは、音声情報の少なくとも一方について盛上がり判定テーブルを参照し、盛上がりポイントを算出することで、歌唱時における新たな指標を提供するものである。また、この盛上がりポイントを楽曲選曲、盛上がりポイントを競うなど、新たなサービスを提供することも可能となる。
【００１６】
さらに、本発明では撮影時または収音時に使用した楽曲に対応付けて盛上がりポイントを管理することで、どの楽曲が盛上がるかを判定する指標とすることが可能となる。
【００１７】
さらに、本発明では、再生した楽曲に応じて補正した盛上がりポイントを算出している。この構成によれば、楽曲間において異なる条件を揃えることで、楽曲間の公平性を図ったり、特定区間でポイントを増減させることで、遊興性の向上を図ることが可能となる。
【００１８】
さらに、本発明では、盛上がりポイントを、映像に関する映像盛上がりポイント、音声に関する音声盛上がりポイントの少なくとも一方を算出することで、映像、音声、それぞれに対する盛上がり度を指標化することができる。また、映像、音声どちらか一方にしか対応できない装置においても、映像、音声両方に対応できる装置にて算出された指標と比較することが可能となる。
【００１９】
さらに、本発明では、顔認識技術を用い、映像情報から顔の方向、大きさ、数、動きのうち少なくとも１つを盛上がりの特徴として利用することで、映像情報に基づく盛上がりの状況を検出することが可能となる。
【００２０】
さらに、本発明では、盛上がりの特徴検出に応じて、表示あるいは音声を用いた告知を行うこととしている。歌唱の場にいるユーザーに対し、盛上がりの状況を伝えることが可能となる。
【００２１】
さらに、本発明では、所定時間前に再生された楽曲を対象として盛上がりポイントを算出し、算出された盛上がりポイントに基づいて楽曲を選択することで、時間貸しのカラオケボックスなどにおいて、〆（最後）の一曲として、一番盛り上がった楽曲をユーザーに勧める、あるいは、自動で演奏させることが可能となる。
【００２２】
また、本発明の楽曲盛上がり判定プログラムは、前述の楽曲盛上がり判定装置の機能をプログラムにて提供することで、コンピュータ装置や、既存の楽曲演奏装置に対しても機能を付加することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図。
【図２】本発明の実施形態に係るカラオケシステムを示す図。
【図３】本発明の実施形態に係るトップ画面を示す図。
【図４】本発明の実施形態に係るユーザー情報を示す図。
【図５】本発明の実施形態に係るメイン処理を示すフロー図。
【図６】本発明の実施形態に係る盛上がり判定テーブルを示す図。
【図７】本発明の実施形態に係る演奏時のモニタ画面を示す図。
【図８】本発明の実施形態に係る演奏時のモニタ画面を示す図。
【図９】本発明の実施形態に係るポイント補正処理を説明するための図。
【図１０】本発明の実施形態に係る盛上がり情報のデータ構成を示す図。
【図１１】本発明の実施形態に係る演奏終了後の結果発表の様子を示す図。
【図１２】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１３】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１４】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１５】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１６】本発明の実施形態に係る盛上がりの特徴検出を説明するための図。
【図１７】本発明の実施形態に係る盛上がり楽曲推奨処理を示すフロー図。
【図１８】本発明の実施形態に係る盛上がり楽曲推奨画面を示す図。
【図１９】本発明の他の実施形態に係るメイン処理を示すフロー図。
【図２０】本発明の実施形態に係る楽曲選択画面を示す図。
【発明を実施するための形態】
【００２４】
図１は、本発明の実施形態に係るカラオケシステムのネットワーク構成を示す図である。図中、カラオケシステムとしての主要構成は、カラオケ用ホスト（サーバ装置）、店舗などに設置されるコマンダ２などにて構成される。コマンダ２は楽曲再生機能を有した、いわゆるカラオケ装置であって、店舗内のＬＡＮ１００に接続されている。コマンダ２とカラオケ用ホストは、インターネットを介して接続され、新しく供給された楽曲情報やユーザー情報など、各種サービスに必要な情報の送受信を行う。本実施形態ではＶＰＮ（Virtual Private Network）を介して接続されており、セキュリティに優れた通信を行うこ
とが可能となっている。
【００２５】
店舗に設置されたコマンダ２は、リモコン装置１によりユーザーからの各種指示を受け
付けることが可能となっている。また、リモコン装置１は表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０ａを介してコマンダ２と無線接続される。例えば、コマンダ２ａにはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００ａを介した操作が可能となっている。また、リモコン装置１とコマンダ２とは赤外線を利用した近距離通信を行うことも可能である。
【００２６】
さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネット用ホストが設けられている。このインターネット用ホストは、ユーザーのパーソナルコンピュータ、携帯情報端末（携帯電話やＰＤＡなど）と接続され、これら機器を利用するユーザーに各種サービスを提供することができる。また、インターネット用ホストは、カラオケ用ホストとデータ共有することで連携を取ったサービスを提供することができる。
【００２７】
図２は、本発明の実施形態に係る店舗Ａに設置されたカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、コマンダ２（カラオケ装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。
【００２８】
コマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、楽曲指定処理などを実行可能としている。演奏処理は、入力部２１やリモコン装置１にて、ユーザーにより指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からは歌唱用マイク４４から入力される音声も合わせて放音される。映像再生処理は、映像再生部２９にて映像情報や歌詞情報などを再生させ、モニタ４１を介した視覚情報をユーザーに提供する処理である。
【００２９】
楽曲指定処理は、ユーザーからの指定に基づいて楽曲を選択、予約するための処理である。本実施形態ではリモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。コマンダ２とリモコン装置１は、この選曲処理に限らず、ユーザーから各種入力を受付けて、ログイン処理など各種処理を実行することが可能である。
【００３０】
本実施形態のコマンダ２には、カメラ４３が接続可能となっており、接続されたカメラ４３から歌唱者や同伴客の様子を撮影することが可能となっている。カメラ４１の映像を表示手段（例えば、モニタ４１）にてモニタする場合には、カメラ４３は、当該表示手段の上部など、表示手段の近傍に配置することが好ましい。ユーザーは、モニタ画像を鏡のように利用することが可能となる。カメラ４３にて撮影された映像情報は、コマンダ２あるいはコマンダに接続されるサーバ装置において、盛上がりポイント判定のために利用される。なお、カメラ４３を複数設け、同時に、あるいは、切り換えて撮影することで映像情報を取得することとしても構わない。
【００３１】
また、本実施形態のコマンダ２には、環境音収音マイク４４ｃが設けられている。このマイクは、歌唱が行われる場の環境音を収音するために設けられたものであり、同伴者の歓声、鳴り物などが含まれた音声情報を収音する。収音の際、この環境音収音マイク４４ｃにて収音した音声情報から、スピーカー４２から放音される音や、歌唱用マイク４４ａ、ｂにて収音された歌唱音を減算するとよい。精度の高い環境音を抽出することが可能となる。盛上がりポイント判定のためには、この環境音収音マイク４４ｃにて収音した音声
情報に限らず、歌唱用マイク４４ａ、ｂにて収音した音声情報を用いることとしてもよい。
【００３２】
このように、コマンダ２には、盛上がりポイント算出のために用いる映像情報、音声情報を取得するための、カメラ４３や各種マイク４４ａ〜ｃが設けられている。本実施形態では、映像情報、音声情報の両方に基づいて盛上がりポイントを算出することとしているが、映像情報、音声情報のどちらか一方にて算出することとしてもよい。
【００３３】
図３は、本発明の実施形態に係るトップメニューを示す図である。本実施形態では、リモコン装置１の表示部１１に表示させ、リモコン装置１を操作するユーザーに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種スイッチの他、表示部１１に表示されたアイコンを直接タッチして操作を行うタッチパネル等を採用することができる。
【００３４】
トップメニューには、楽曲選択のための各種方法（歌手名検索、曲名検索、盛上がり度検索）を指定可能の他、ユーザーのログインに関する情報が表示されている。
【００３５】
本実施形態のカラオケシステムは、複数のユーザーがログインすることが可能となっている。ユーザーのログインに関する情報は、画面上方に常時表示される。ログイン中のユーザーを示すアバターが表示される。図ではＡさん、Ｅさん、Ｃさん、３人のアバターが表示されているが、更なるユーザーをログインさせることも可能である。表示されている３人のアバター中、背景が褐色で表示されているユーザー（Ａさん）は操作ユーザーであることを示している。本実施形態では、操作ユーザーのユーザー名、並びに、操作ユーザーに対する各種メッセージも表示される。
【００３６】
操作ユーザーに対しては、当該ユーザーのユーザー情報に基づいて各種サービスを行うことが可能となっており、ユーザー情報に含まれる個人情報や操作履歴などを参照することで、それに基づくサービスを提供することが可能である。
【００３７】
操作ユーザーは、画面上方左側に表示されているユーザー切替を操作することで切り換えることができる。また、画面上方右側には、新たにユーザーをログインさせる新規ログイン、操作ユーザーをログアウトさせるログアウトが表示されており、これらを操作することで、ユーザーの追加、ログアウトを行うことができる。
【００３８】
図４は、各ユーザー毎に記憶されたユーザー情報を説明するための図である。本実施形態では、ユーザー情報として、個人情報、十八番テーブル、履歴テーブルなどを含んで構成される。個人情報には、ユーザーを識別するためのユーザーＩＤ、パスワード、そして、ユーザー名、性別、年齢等を含んで構成されている。これらの設定は、リモコン装置１、あるいは、ネットワークに接続されたパーソナルコンピュータ、携帯情報端末などにてログインすることでも設定することができる。
【００３９】
十八番テーブルは、ユーザーによって事前に登録された楽曲を示すテーブルであって、少なくとも楽曲を識別するための楽曲識別子を含んで構成されている。この他にも各楽曲識別子に、歌唱した際に採点された最高点（採点情報）や、自分の歌唱音域に合わせるための音程情報を合わせて登録しておいてもよい。また、当該楽曲に関する盛上がりポイントの最高点を登録しておいてもよい。ユーザーは、この十八番テーブルを呼び出すことで、事前に登録した楽曲を容易に呼び出して選曲を行うことが可能となる。なお、採点情報、盛上がりポイントは、最高点に限らず平均点や最低点であってもよく、点数に限らずランクにて構成してもよい。
【００４０】
履歴テーブルは、ユーザーがこれまでに選曲した履歴が記載されたテーブルであって、楽曲識別子、歌唱日時、歌唱店舗、採点情報、音程情報、盛上がりポイントなどを含んで構成されている。採点情報は、歌唱したときの採点手段による結果を示す情報であり、音程情報は歌唱したときのピッチ変更を示す情報である。
【００４１】
本実施形態では、このようなユーザー情報を利用することで、ユーザーに対し様々なサービスを提供することができる。特に、本実施形態では、十八番テーブルや履歴テーブルに盛上がりポイントを記録しておくことで、自己の十八番の内、盛上がれる楽曲、すなわち、盛上がりポイントの高い楽曲を検索したり、これまで歌唱した楽曲における平均盛上がりポイントを参照するなど、盛上がりポイントを利用した各種サービスを行うことが可能となる。
【００４２】
図５は、本発明の実施形態に係るメイン処理を示すフロー図である。本発明でいう楽曲盛上がり判定装置、または、楽曲盛上がり判定プログラムは、コマンダ２の各種構成、処理にて形成される。また、本実施形態では、コマンダ２にて楽曲再生中に随時、盛上がりの特徴を検出するものである。この実施形態では、ユーザーに対していつ盛上がりが判定されたかを迅速に伝えることが可能となる。盛上がりの特徴検出、また、盛上がりポイントの算出は、コマンダ２に限らず、コマンダ２に接続されるサーバ装置にて行うこととしてもよい。サーバ装置側で行う場合については後で他の実施形態を用いて説明を行う。
【００４３】
メイン処理がスタート（Ｓ１０１）すると、まず、Ｓ１０２にてユーザーによる選曲が実行される。この選曲は、図３に示すトップ画面にて選択された各種検索方法にて実行される。選曲、すなわち、楽曲が指定されるとＳ１０３にて、指定された楽曲に対応する楽曲情報を楽曲再生手段としてのＭＩＤＩ音源２６に再生させる。ここでは、Ｓ１０２による選曲の後、すぐに再生が開始されることとして説明しているが、予約されたものから順次再生されるものであってもよい。
【００４４】
Ｓ１０４ａ〜Ｓ１０９ａは、カメラ４３にて撮影される映像情報を用いた盛上がりの特徴を検出する処理であり、Ｓ１０４ｂ〜Ｓ１０９ｂは、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃにて収音される音声情報を用いた盛上がりの特徴を検出する処理である。これら処理については、そのどちらか一方のみ行われるものであってもよい。
【００４５】
まず、映像情報を用いた盛上がりの特徴検出について説明する。楽曲再生開始（Ｓ１０３）に伴って、カメラ４３による撮影が開始される（Ｓ１０４ａ）、Ｓ１０５ａでは、近年、デジタルカメラなどにて用いられる画像認識技術を用いて、人物の顔、表示用、手や足などの体躯、また、その動きを認識する。Ｓ１０６ａでは、認識結果が盛上がり判定テーブルに記述された盛上がり条件に該当するか否かが判定される。
【００４６】
図６には、本発明の実施形態に係る盛上がり判定テーブルが示されている。盛上がり判定テーブルには、映像、音声毎の盛上がり条件にポイントが対応付けられている。例えば、映像情報中に映った人数がｎ人である場合には、人数に応じたｎポイントが加算される（Ｓ１０７）。なお、このポイントは加算するのみならず減算してもよい。例えば、映っている顔、あるいは、視線が下向きである場合には、盛上がりと反する行為と判定してポイントを減算することとする。
【００４７】
さらに、本実施形態では、盛上がりの特徴が検出された場合に、モニタ４１に盛上がりが検出されたことを表示し、同席者に対して告知することとしている。図７は、本発明の実施形態に係る演奏時のモニタ画面である。この図では、歌詞や背景映像の表示を行うモニタ４１の画面上に、撮像映像ウィンドウを設け、カメラ４３にて撮影された映像情報を表示させている。同席者は、この撮像映像ウィンドウにて、撮像される様子をほぼリアル
タイムに確認することができる。なお、この撮像映像ウィンドウには、左右反転された映像情報を表示させることで、鏡に映っているように視認することができ、違和感を抑えることが可能となる。
【００４８】
図８は、演奏時において盛上がりの特徴が検出されたときのモニタ画面の様子を示した図である。本実施形態では、盛上がりの特徴（鳴り物検出：この場合は音声における盛上がりの特徴）並びに、その特徴に対応したポイント（＋２ポイント）を文字で表示させている。このように、盛上がりの特徴やポイント数を同席者に対して告知することで、同席者は何をすれば盛上がりと判定されたか、あるいは、どのような行為が盛上がりポイントが高いなどを認識させることができる。本実施形態では、文字を表示することで盛上がりの特徴検出を告知することとしているが、図形やアイコンを表示することとしてもよいし、表示のみならず音声にて告知するものであってもよい。また、盛上がりの特徴検出を告知せず、ポイントのみを表示、あるいは、盛上がり行為があったことのみを告知する構成であってもよい。
【００４９】
カメラ４３にて撮影される映像情報については、Ｓ１０５ａ〜Ｓ１０８ａの処理を、楽曲再生が終了するまで繰り返し実行することで、映像情報に関するポイントが加算される。歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃにて収音される音声情報を用いた盛上がりの特徴検出については、映像情報と同様、図６の盛上がり判定テーブルを用いて実行される（Ｓ１０４ｂ〜Ｓ１０８ｂ）。なお、音声情報については、音量、音高、音種などの認識、また、話者認識技術を用いた歌唱者の認識などを利用することで、盛上がりの特徴が検出される。
【００５０】
再生終了が判定される（Ｓ１０９ａ、Ｓ１０９ｂ）と、Ｓ１１０ではユーザーによる再生中断か否か、すなわち、ユーザーの操作により再生が中止されたか否かが判定される。再生中断時における盛上がりポイント算出を許可した場合、後で説明するポイント補正処理を利用した不正行為が行われる場合がある。そのため本実施形態では、楽曲が最後まで再生されたことを条件として、最終的な盛上がりポイントを算出することとしている。なお、楽曲の所定の割合以上再生を行ったことを条件としてもよい。
【００５１】
Ｓ１１１では、盛上がりポイントの算出が行われる。簡易には、Ｓ１０７ａにて積算された映像ポイントと、Ｓ１０７ｂにて積算された音声ポイントの和を取ることで総合的な盛上がりポイントとして算出できる。本実施形態では、この盛上がりポイントの算出処理において、楽曲の時間長の差異を考慮した補正処理を行い、楽曲間において盛上がりポイント算出のための条件を揃えることとしている。
【００５２】
前述したように、本実施形態では、映像情報または音声情報において盛上がりの特徴を検出する毎にポイントが加算される構成となっている。そのため、楽曲の再生時間が長いほど、ポイントを稼ぐ条件が有利なものとなる。図９（ａ）は、この楽曲時間長の差異に基づく条件を揃えるためのポイント補正処理を説明するための図である。例えば楽曲Ａが３分１４秒の時間長であるのに対し、楽曲Ｂが４分２３秒の時間長であった場合、ポイント獲得の機会は楽曲Ｂの方が有利となる。そのため、本実施形態では基準時間長Ｔ（例えば、３分３０秒）を設定し、積算されたポイントを基準時間長に規格化することで、楽曲時間長の差異による不公平を是正することとしている。例えば、楽曲Ａの時間長がＴ１、ポイントがＰ１である場合、補正後のポイントＰ２は、Ｐ１×Ｔ／Ｔ１となる。
【００５３】
時間長の補正は、この実施形態に限らず、所定時間以上のものは、所定ポイント減点するなど簡易な形態を採用することもできる。また、楽曲の時間長は、ユーザーがテンポを調整することでも変更される。この場合、テンポの度合いに応じてポイントを補正することとしてもよい。例えば、テンポがｎ倍の場合、盛上がりポイントをｎ倍とすることで、
テンポが遅い場合にはポイントを低く、テンポが速い場合にはポイントを高く補正することができる。
【００５４】
図９（ｂ）は、他のポイント補正処理の例を示した図である。この補正処理では、サビ区間を判定し、サビ区間に検出された盛上がりの特徴については、所定の割合ポイントを増加させる、いわば、ボーナスポイントを与えることとしている。この例に限らず、楽曲のジャンルに応じた補正処理を行うなど様々な形態を取ることが考えられる。算出処理では、このように再生した楽曲に応じて補正処理を実行し、最終的な盛上がりポイントを算出することとしている。
【００５５】
Ｓ１１２では、サーバ装置（図１のカラオケ用ホスト）と交信し、Ｓ１１１にて算出された盛上がりポイントに各種情報が付与された盛上がり情報として送信し、サーバ装置側で管理するユーザー情報などに登録する。図１０は、盛上がり情報のデータ構成例を示す図である。本実施形態では、歌唱ユーザーＩＤ、すなわち、楽曲指定時に操作ユーザーであったユーザーのユーザーＩＤの他、使用した楽曲を示す楽曲識別子、歌唱日時、カラオケ店舗やコマンダＩＤなどの位置情報、算出された盛上がりポイント、楽曲再生時にログインしていたユーザーのＩＤを示す同伴ユーザーＩＤなどを含んで構成される。
【００５６】
歌唱ユーザーＩＤを利用して集計することで、どのユーザーの歌唱が盛上がったかを指標化することができる。また、楽曲識別子を利用することで、どの楽曲が盛上がるかを指標化とすることができる。また、歌唱日時を利用することで、今週、盛上がった楽曲は何かといったように期間を指定して盛上がりを指標化することができる。歌唱位置を利用することで、店舗毎、地域毎の集計が可能となる。さらに、同伴ユーザーを利用して集計することで、どのユーザーが盛上げ上手かを集計することもできる。
【００５７】
このように、算出された盛上がりポイントに、再生時における各種情報を付随させておくことで、様々な観点における指標化、集計を行うことが可能となる。図１１は、本発明の実施形態に係る演奏終了後の結果発表の画面を示す図であって、図５のフロー図のＳ１１３の処理に相当している。本実施形態では、総合的な盛上がりポイントの他、映像情報に基づく映像盛上がりポイント、音声情報に基づく音声盛上がりポイントが表示されている。また、Ｓ１１２においてサーバ装置との交信で取得した全国での順位、地域（この場合、東京）での順位、カラオケ店舗での順位も併せて表示されている。本実施形態では、このようにポイントを表示して、ユーザーに告知することとしたが、ポイントに基づくランクで表示してもよいし、結果を表示することなく他のサービスのために利用するものであってもよい。
【００５８】
次に図１２〜図１６を用い、映像情報を用いた盛上がりの特徴検出について説明を行う。図１２は、撮像された映像情報を示した図であって、本実施形態では、顔認識技術を利用することで、映像情報中に何人が映り込んでいるかを判定し、盛上がりの特徴検出に用いることとしている。通常、人が多く映り込むほど、高いポイントが設定される。
【００５９】
図１３は、映像情報中に映り込む顔の大きさにて特徴検出を行う場合である。これは、カメラ４３に近づくほど盛上がっているという仮定に基づいたものであり、基準となる大きさＡよりも大きいか小さいかにて判定される。基準となる大きさを複数設け、多段階で判定するものとしてもよい。
【００６０】
図１４は、画面に映り込んでいる顔の方向で特徴検出を行う場合を示したものである。図１４（ａ）のように、眼、口、鼻が所定の位置で映り込んでいる場合、正面を向いて歌唱の場に参加しているものと判定し、ポイントが高くなるようにしている。また、図１４（ｂ）、図１４（ｃ）のように横を向いている場合や、下を向いていると判定された場合
には、歌唱の場に参加していないと判定し、ポイントを加算しない、あるいは、ポイントを減算する。顔の方向に限らず、映り込んだ人の視線を検出し、特徴検出に考慮することとしてもよい。
【００６１】
図１５は、画面に映り込んだ手の位置を判定することで特徴検出を行う場合を示したものである。ここでは、顔の基準位置Ｂに対する手の位置を判定することで、手を上げているか否かを判定している。手の位置が基準位置Ｂよりも上にあると判定することで、映っている人が手を上げて盛上がっている状況を判定することが可能となる。手の位置による判定では、この他、手の上げ下げの振幅、周期を検出して判定に用いてもよいし、左右の動きを判定することで拍手していることを検出してもよい。また、手の検出以外に足など手以外の体躯の位置、動きを特徴検出に用いてもよい。
【００６２】
図１６は、画面に映り込んだ顔の位置の動きを判定することで特徴検出を行う場合を示したものである。左右の動きを検出することでリズムに乗っているか否かを判定することが可能となる。また、縦の動きを検出することで、ジャンプしている、あるいは、椅子に乗っているなどの状況を判定することも可能となる。
【００６３】
以上、映像情報における盛上がりの特徴検出の例について説明したが、音声情報についても、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃなどを用いて収音された音声情報の音量、音高、音種などの認識、また、話者認識技術を用いた歌唱者の認識などを利用することで盛上がりの特徴を検出することが可能となる。音量を用いた場合には大きいほど盛上がり度が高いと判定することが可能である。音高を用いた場合には歓声が発生したことを判定することが可能となる。また、音種ではタンバリンなどの鳴り物が使用されたか否かを判定することが可能となる。また、歌唱者を認識することで、歌唱人数をカウントし、歌唱人数が多いほど盛上がっていると判定することが可能となる。
【００６４】
次に、算出された盛上がりポイントを利用したサービスの一例について説明する。図１７は、本発明の実施形態に係る盛上がり楽曲推奨処理を示すフロー図であり、図１８は、本発明の実施形態に係る盛上がり楽曲推奨画面を示している。このサービスでは、時間制限のあるカラオケ店舗において、退出時間が近づいたときに〆の一曲として歌唱する楽曲を推奨を行う。
【００６５】
図１７のフロー図中、Ｓ２０１にて処理が開始されると、まず、店舗の従業員、あるいは、ユーザーにより利用時間が設定される（Ｓ２０２）。この利用開始から利用するコマンダ２にて再生された楽曲の楽曲盛上がりポイントが記録される。Ｓ２０３、Ｓ２０４では、時刻と楽曲の再生状況を監視し、退出時間の１０分前であって、楽曲の曲間となった条件が判定される。
【００６６】
この条件が満たされた場合、Ｓ２０５にて図１８の楽曲推奨画面をモニタ４１に表示させる。この楽曲推奨画面では、利用開始からこれまでに再生した楽曲において盛上がりポイントの上位３曲を推奨楽曲として提示する。利用者は、リモコン装置１の操作部１７などを利用して、この中からもう一度歌唱したい楽曲を〆の一曲として選曲することが可能となる。なお、図には上位３曲が選曲可能とされているが「もっとみる」を選択することで、さらに下位の曲を閲覧し、選曲することも可能となっている。
【００６７】
Ｓ２０６では、楽曲推奨画面にて選曲されたか否かを判定し、選曲された場合にはＳ２０７にて優先予約を実行させる。通常、予約リストに順次登録された順に楽曲を再生させるが、この優先予約では、既に予約された楽曲に優先させて予約する、言い換えると、割り込み予約を行うものである。したがって、次に再生される楽曲が楽曲推奨画面にて選曲された楽曲となる。
【００６８】
以上、本実施形態では、入店してから再生した楽曲、すなわち、所定時間前に再生された楽曲の中から盛上がりポイントの高い楽曲を推奨することが可能となる。なお、図１８では盛上がった楽曲を表示してユーザーに選曲させることとしているが、盛上がった楽曲をもう一度利用するか否かだけをユーザーに問い、〆（最後）の一曲として再生することとしてもよく、どの楽曲が再生されるか分からない意外性を含んだサービスとなる。さらに、ユーザーに選曲、あるいは、再度の利用を問うことなく自動で〆の一曲を決定して再生することとしてもよい。その場合、再生時に「本日盛上がった楽曲」であることを告知することが好ましい。なお、本発明の趣旨と異なるが、本サービスを盛上がりポイント以外の他の指標を利用して行うこととしてもよい。他の指標としては、例えば、楽曲の採点情報、あるいは、歌唱音声に基づいて算出された楽曲毎の消費カロリー情報を利用して、楽曲を推奨、あるいは、自動で決定し、〆の一曲として再生することが考えられる。
【００６９】
以上説明した実施形態では、コマンダ２（カラオケ装置）にて盛上がりポイントを算出するものであったが、本発明における楽曲盛上がり判定装置、または、楽曲盛上がり判定プログラムは、サーバ装置の各種構成、処理にて形成されてもよい。この場合、盛上がりポイントの算出は、コマンダ２と通信回線を介して接続されるサーバ装置（図１のカラオケ用ホストなど）で実行される。コマンダ２側の処理負担を軽減すると共に、サーバ装置側の高い処理能力を利用して精度の高い盛上がりポイントを算出することが可能となる。また、現在、サーバ装置に対して楽曲再生時に録画、録音した映像情報、音声情報を送信し、公開するサービスが行われているが、このサービスの付加機能として利用することも可能となる。
【００７０】
図１９は、本発明の他の実施形態に係るメイン処理を示すフロー図である。コマンダ２側で処理が開始されると、前述の実施形態と同様、指定された楽曲の再生が開始される（Ｓ３０３）。再生が開始されるとほぼ同時に、カメラ４３にて撮影された映像情報の録画、そして、歌唱用マイク４４ａ、４４ｂ、環境音収音マイク４４ｃなどを用いて収音される音声情報の録音が開始される（Ｓ３０４）。この録音、録画処理は、演奏が終了するまで継続される。演奏が終了したことを判定（Ｓ３０５）すると、録音、録画処理を終了させる（Ｓ３０６）。Ｓ３０７では、ユーザーによる再生中断か否かが判定され、再生中断と判定された場合には処理を終了する。
【００７１】
一方、最後まで再生されたと判定された場合には、得られた映像情報、音声情報に、図１０にて盛上がりポイントに付帯させた各種情報を付与して録画・録音データを作成して、サーバ装置に送信する（Ｓ３０８）。サーバ装置では、受信した録画・録音データに基づいて盛上がりポイントの算出を実行する。ここでの処理は、前実施形態においてコマンダ２側で行った処理と同様である。Ｓ３１１では、他の盛上がりポイントなどと比較して、順位付けなどを行い、盛上がり度結果情報をコマンダ２に返信する。盛上がり度結果情報を受信したコマンダ２側では、図１１に示したような結果発表の画面を表示することで、ユーザに盛上がり度を告知する。
【００７２】
図２０は、本発明の実施形態に係る楽曲選択画面を示す図である。この楽曲選択画面は、図３に示す「盛上がり度で探す」という検索項目を指定することで表示される。図の例では、コマンダ２にて再生可能とする全楽曲を対象に、盛上がりポイントの平均にてランキングを行っている。ユーザーはこの中から楽曲を指定して選曲することが可能である。このような例の他、盛上がりポイントのランキングを利用した選曲としては、ジャンル別、歌手別、地域別、店舗別にて行ってもよいし、ユーザー情報（個人情報）を利用することで、男女別、年齢別に集計を取ることが可能となる。
【００７３】
また、本実施形態の盛上がりポイントは、選曲の指標のみならず、各ユーザー毎の最高
盛上がりポイント、平均盛上がりポイント、あるいは累計盛上がりポイントなどを利用して、ユーザーのランキングに利用し競わせることとしてもよい。また、歌唱ユーザー（操作ユーザーとして選曲したユーザー）のみならず、楽曲再生時に一緒にログインしていたユーザーについて集計し、盛上げ上手なユーザーを競わせることとしてもでよい。さらには、盛上がりポイントを積算することで、商品に交換するなどのポイントサービスに利用することも考えられる。
【００７４】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００７５】
１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカー、４３…カメラ、４４ａ、４４ｂ…歌唱用マイク、４４ｃ…環境音収音マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ
【特許請求の範囲】
【請求項１】
映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、前記盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを記憶する記憶手段と、
楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がりの特徴を検出する検出処理と、
前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理を実行する制御手段と、を有することを特徴とする
楽曲盛上がり判定装置。
【請求項２】
前記算出処理にて算出された盛上がりポイントは、撮影時または収音時に前記楽曲再生手段にて再生した楽曲の識別子に対応付けて管理されることを特徴とする
請求項１に記載の楽曲盛上がり判定装置。
【請求項３】
前記算出処理は、前記楽曲再生手段で再生した楽曲に応じて補正して前記盛上がりポイントを算出することを特徴とする
請求項１または請求項２に記載の楽曲盛上がり判定装置。
【請求項４】
前記算出処理は、前記音声情報に基づいて算出された音声盛上がりポイントと、前記映像情報に基づいて算出された映像ポイントの少なくとも一方を算出することを特徴とする
請求項１から請求項３の何れか１項に記載の楽曲盛上がり判定装置。
【請求項５】
前記盛上がり条件における盛上がりの特徴は、前記映像情報にて検出される顔の方向、大きさ、数、動きのうちの少なくとも１つであることを特徴とする
請求項１から請求項４の何れか１項に記載の盛上がり判定装置。
【請求項６】
前記検出処理は、楽曲の再生中に実行されるとともに、前記盛上がり条件にて規定された盛上がりの特徴検出に応じて、告知を行うことを特徴とする
請求項１から請求項５の何れか１項に記載の楽曲盛上がり判定装置。
【請求項７】
前記検出処理は、所定時間前に再生された楽曲を対象として実行されるとともに、
前記制御手段は、前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理を実行することを特徴とする
請求項１から請求項６の何れか１項に記載の楽曲盛上がり判定装置。
【請求項８】
映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを有し、
楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がり条件にて規定された盛上がりの特徴を検出する検出処理と、
前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理をコンピュータに実行させることを特徴とする
楽曲盛上がり判定プログラム。
【請求項１】
映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、前記盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを記憶する記憶手段と、
楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がりの特徴を検出する検出処理と、
前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理を実行する制御手段と、を有することを特徴とする
楽曲盛上がり判定装置。
【請求項２】
前記算出処理にて算出された盛上がりポイントは、撮影時または収音時に前記楽曲再生手段にて再生した楽曲の識別子に対応付けて管理されることを特徴とする
請求項１に記載の楽曲盛上がり判定装置。
【請求項３】
前記算出処理は、前記楽曲再生手段で再生した楽曲に応じて補正して前記盛上がりポイントを算出することを特徴とする
請求項１または請求項２に記載の楽曲盛上がり判定装置。
【請求項４】
前記算出処理は、前記音声情報に基づいて算出された音声盛上がりポイントと、前記映像情報に基づいて算出された映像ポイントの少なくとも一方を算出することを特徴とする
請求項１から請求項３の何れか１項に記載の楽曲盛上がり判定装置。
【請求項５】
前記盛上がり条件における盛上がりの特徴は、前記映像情報にて検出される顔の方向、大きさ、数、動きのうちの少なくとも１つであることを特徴とする
請求項１から請求項４の何れか１項に記載の盛上がり判定装置。
【請求項６】
前記検出処理は、楽曲の再生中に実行されるとともに、前記盛上がり条件にて規定された盛上がりの特徴検出に応じて、告知を行うことを特徴とする
請求項１から請求項５の何れか１項に記載の楽曲盛上がり判定装置。
【請求項７】
前記検出処理は、所定時間前に再生された楽曲を対象として実行されるとともに、
前記制御手段は、前記算出処理にて算出される盛上がりポイントに基づいて、前記検出処理にて対象とした楽曲の中から楽曲を選択する選択処理を実行することを特徴とする
請求項１から請求項６の何れか１項に記載の楽曲盛上がり判定装置。
【請求項８】
映像情報または音声情報における盛上がりの特徴を判定するための盛上がり条件と、盛上がり条件に対応付けられたポイントを有する盛上がり判定テーブルを有し、
楽曲再生手段における１楽曲再生中に撮影された映像情報、前記楽曲再生手段における１楽曲再生中に収音された音声情報の少なくとも１方に対し、前記盛上がり条件にて規定された盛上がりの特徴を検出する検出処理と、
前記盛上がり判定テーブルと、前記検出処理で検出された盛上がりの特徴に基づいて、１楽曲における盛上がりポイントを算出する算出処理をコンピュータに実行させることを特徴とする
楽曲盛上がり判定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−６８３７３（Ｐ２０１２−６８３７３Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１２０６３（Ｐ２０１０−２１２０６３）
【出願日】平成２２年９月２２日（２０１０．９．２２）
【出願人】（３９６００４８３３）株式会社エクシング (394)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２２日（２０１０．９．２２）
【出願人】（３９６００４８３３）株式会社エクシング (394)
【Ｆターム（参考）】
[ Back to top ]