相性判断機能付きカラオケ装置
【課題】複数人の唄い手で歌った場合に複数人の協調性や息の合い具合などの相性を判断し、判断結果を得点や文字，絵などで表示することができる相性判断機能付きカラオケ装置を提供する。
【解決手段】カラオケ装置本体１５は、選曲された曲を演奏するとともにＴＶモニタ１２上に背景画および歌詞テロップを表示する。それぞれの唄い手２３，２４から入力される音声の特徴部分であるピッチ・リズムおよび音量を抽出し、両者間のこれらの波形がどの程度合っているかによって相性判断を行い、相性の適宜を示す内容がＴＶモニタ１２に表示される。
【解決手段】カラオケ装置本体１５は、選曲された曲を演奏するとともにＴＶモニタ１２上に背景画および歌詞テロップを表示する。それぞれの唄い手２３，２４から入力される音声の特徴部分であるピッチ・リズムおよび音量を抽出し、両者間のこれらの波形がどの程度合っているかによって相性判断を行い、相性の適宜を示す内容がＴＶモニタ１２に表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケを例えばデュエットで歌うときに両者の声の特徴，歌い方の特徴などから２人の協調性や息の合い具合などの相性を判断し表示する機能を有するカラオケ装置に関する。
【背景技術】
【０００２】
唄い手の歌唱力を採点する機能を搭載したカラオケ装置が従来より存在し、デュエット曲を複数人で歌う場合、それを採点するものが提案されている。
特許文献１はデュエット曲を採点できる機能を持ったカラオケ装置である。
この提案は、従前は複数のマイクロホンから入力される歌唱音声を混合した信号をボーカルパートのリファレンスと比較して行っているため、各個人の歌唱音声について正当な評価ができないという欠点を解決することを目的とたもので、その特徴は各個人の歌唱音声について正当な評価をし正確な採点結果を得ることができるようにしたものである。
【特許文献１】特開２０００−３３０５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがってデュエット歌唱を採点できる従来のカラオケ装置では、２人の平均的な結果を採点評価したり、各個人がガイドメロディに対しどれだけ忠実に歌ったか個別に評価したりするもので、２人の歌唱力の総合評価や各個人について上手，下手などを判断するものであった。従来のデュエット歌唱を採点する方法は、２人のコンビネーションは重要ではなく、また２人の歌唱が息が合っていたとしても総合の歌唱力や個別の歌唱力について点数を採点しているため、採点内容が判りづらく、盛り上がりに欠けるものであった。
【０００４】
なお、相性に注目した場合、血液型，星座などを入力して相性を占う機能をもったカラオケ装置は存在するが、これは血液型，星座によるものであり、歌の相性についてのものではない。
本発明は上記状況に鑑みなしたもので、その目的は、複数人の唄い手で歌った場合に複数人の協調性や息の合い具合などの相性を判断し、判断結果を得点や文字，絵などで表示することができる相性判断機能付きカラオケ装置を提供することにある。
【課題を解決するための手段】
【０００５】
前記目的を達成するために本発明の請求項１は、２以上の唄い手の音声をそれぞれ入力するための音声入力手段と、楽曲を演奏する楽曲演奏制御手段と、前記楽曲のメロディに従って前記音声入力手段から入力される２以上の唄い手間の音声のピッチ・リズムの差とともにそれぞれの唄い手の音量を測定するピッチ・リズム差および音量測定手段と、前記各唄い手間の音声のピッチ・リズム差をそれぞれ所定の値と比較し、かつ各唄い手でそれぞれ測定された音量の差により、２人以上の唄い手の相性を判断する相性判断手段と、前記相性判断手段による判断結果を一曲または特定の演奏範囲について採点する採点手段とを備えたことを特徴とする。
本発明の請求項２は、請求項１記載の発明において前記ピッチ・リズム差および音量測定手段は、さらに、前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズムの差を測定し、前記相性判断手段は、さらに、前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズム差をそれぞれ所定の値と比較することを特徴とする。
本発明の請求項３は、請求項１記載の発明において前記相性判断手段は、２人以上の唄い手が入力した音声間のピッチ・リズム差および音量の差を所定の時間毎に得、前記ピッチ・リズム差と音量の差がそれぞれ一致と認められる範囲であるとき、所定の時間毎にそれぞれ＋１をカウントするカウント手段を有し、前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、文字または絵で結果を表示することを特徴とする。
本発明の請求項４は、請求項２記載の発明において前記相性判断手段は、２人以上の唄い手が入力した音声間のピッチ・リズム差および前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズム差ならびに音量の差を所定の時間毎に得、前記ピッチ・リズム差と音量の差がそれぞれ一致と認められる範囲であるとき、所定の時間毎にそれぞれ＋１をカウントするカウント手段を有し、前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、文字または絵で結果を表示することを特徴とする。
本発明の請求項５は、請求項１，２，３または４記載の発明において前記相性判断手段は、前記相性診断中、相性が一致したと認めれてカウントが加算された位置または相性が一致せずカウントされない位置で、画面上に相性が合っていることを意味する文字もしくは絵または相性が合っていないことを意味する文字もしくは絵を表示する表示制御手段を有することを特徴とする。
【発明の効果】
【０００６】
上記構成によれば、採点などのように絶対的な評価ではなく、例えば２人の特徴の関連を分析・判断し、お互いの協調性や息の合い具合の評価を行うことができる。２人の歌い方の関連がポイントなため、デュエットで重要なコミュニケーションを取りながら歌う機会を増やすことができ、歌唱力の上手，下手に関わらずに楽しむことを可能にする。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施の形態を詳しく説明する。
図１は、本発明による相性判断デュエット機能付きカラオケ装置の概略を示す図である。
唄い手２３および２４がデュエットで、それぞれマイク１４ａおよび１４ｂを所持して楽曲の伴奏によって歌を唄っており、その歌声はスピーカ１３より出力されている。カラオケ装置本体１５はＴＶモニタ１２に背景画像２１とともに歌詞テロップ２２を送出しており、背景画像２１および歌詞テロップ２２がＴＶモニタ１２に表示されている。
カラオケ装置本体１５ではぞれぞれの唄い手から入力される音声の特徴部分であるピッチ・リズムおよび音量を抽出し、両者間のこれらの波形がどの程度合っているかによって相性診断を行い、診断内容をＴＶモニタ１２に表示する。
【０００８】
図２は、本発明による相性判断デュエット機能付きカラオケ装置の回路の実施の形態を示すブロック図、図３はＣＰＵの機能ブロックを説明するための図である。
カラオケ装置本体１５は前面に操作部２０を有しＴＶモニタ（ＣＲＴ）１２，スピーカ１３およびマイク１４ａ，１４ｂに接続されている。本体１５の内部回路は、ＣＰＵ１，ワークＲＡＭ２，ビデオＲＡＭ３，ＶＤＰ（ビデオ・ディスプレイ・プロセッサ）４，ＤＳＰ（ディジタル・シグナル・プロセッサ）５，音素データ格納部６，Ｄ／Ａコンバータ７，Ａ／Ｄコンバータ８，ＨＤＤコントローラ９，ＨＤＤ１０およびシステムバス１１より構成されている。
【０００９】
マイク１４ａおよび１４ｂから入力される唄い手の音声はＡ／Ｄコンバータ８でディジタル音声信号に変換される。ＤＳＰ５は楽曲データをディジタル楽曲波形信号に再生し、効果などを加えてＤ／Ａコンバータ７に送出するとともにマイク１４ａおよび１４ｂからのディジタル音声信号にエコーなどの効果を付けてＤ／Ａコンバータ７に送出し、Ｄ／Ａコンバータ７ではディジタル楽曲波形信号およびディジタル音声信号がアナログ信号に変換されてスピーカ１３より出力される。また、マイク１４ａおよび１４ｂからのディジタル音声信号はＣＰＵ１に送られ、ＣＰＵ１で特徴部分が抽出され、相性診断のための処理が行われる。
ＨＤＤコントローラ９はＣＰＵ１からのコマンドに基づきＨＤＤ１０の書き込み，読み出しの制御を行う。ＨＤＤ１０にはデュエット曲を含む多数の楽曲データ，各楽曲対応の歌詞テロップデータおよび背景画などの映像データが格納されている。
【００１０】
ＣＰＵ１はＨＤＤ１０に格納されている制御プログラム（図示されていない）を読み出し、これを実行することによりカラオケ装置全体の制御を司る。ＣＰＵ１は、選曲された楽曲の演奏スタート操作にしたがって、ＨＤＤ１０から楽曲データを読み出してＤＳＰ５でディジタル楽曲波形信号に再生し、上述したようにマイク１４ａおよび１４ｂから入力される音声信号とともにスピーカ１３よりメロディおよび音声を出力させる。また、本発明に直接関連する機能部として演奏制御部１ａ，ピッチ・リズム差および音量測定部１ｂ，相性判断・表示制御部１ｃ，採点処理部１ｄおよび採点結果表示部１ｅの各機能を備えている。
【００１１】
演奏制御部１ａは、選曲された楽曲をＨＤＤ１０から読み出し、楽曲をＤＳＰ５で再生させるとともにＶＤＰ４によってＣＲＴ１２に歌詞および背景画を表示させる。
ピッチ・リズム差および音量測定部１ｂは、マイク１４ａおよびマイク１４ｂから入力した２人の音声の特徴部分であるピッチ・リズムを示す波形成分および音量を示す波形成分を抽出する。そして２人の音声の間の音程（ピッチ）の差，２人の音声とガイドメロディとの音程の差および２人の音声のアクセント（リズム）の差ならびに２人の音量をそれぞれ求める。この測定は、所定の時間間隔で行われ、例えば８０ｍｓ毎に行われる。
【００１２】
相性判断・表示制御部１ｃは、上記２人の音声の間の音程（ピッチを比較する手段）の差，２人の音声とガイドメロディとの音程の差および２人の音声のアクセント（リズムを比較する手段）の差を所定の値Ｅ，Ｆ，Ｇとそれぞれ比較し、２人の音声の間の音程差および２人の音声とガイドメロディとの音程の差については比較した所定値Ｅ，Ｇより小さければ相性が良いと判断し、それぞれカウントを＋１し、２人の音声のアクセントの差については２人の音声の間の音程の差が所定値Ｅより小さいことを条件に、２人の音声の一方とガイドメロディとの音程の差が所定値Ｆより小さければ相性が良いと判断しカウントを＋１する。
また、２人の音声の間の音程の差および２人の音声とガイドメロディとの音程の差が所定値Ｅ，Ｆより小さくて相性が良く、かつ２人の音声のアクセントの差が所定値Ｈより小さい場合にはさらにカウントを＋１する。
同様に２人の音量の差、すなわち音量変化が同じ方向（増加する方向または減少する方向）であれば、相性が良いと判断し、カウントを＋１する。異なる方向または一方のみが音量変化しても、カウントはされない。なお、このようにカウントして所定時間間隔（例えば、２０秒）ごとにカウントの加算値が一定の値以上になれば、デュエット中に相性が合っている旨の語句をＴＶモニタ１２の一部に表示することが可能である。
【００１３】
採点処理部１ｄは、相性判断・表示制御部１ｃによる判断結果を一曲または特定の演奏範囲についてカウントされた値を得点とし、その得点が所定値より大きいか否かによって「相性が合っている」「相性が悪い」などの採点を行うものである。
一曲全体について評価採点するか、一曲の特定範囲のみにするかは当初の選曲の過程で選択することが可能である。
採点結果表示部１ｅは、採点処理部１ｄの結果をＴＶモニタ１２に表示するようにするものである。
ワークＲＡＭ２はＣＰＵ１が四則・関数演算や論理演算などをするときに作業領域として用いられ、一時的なデータの保持も行うものである。
【００１４】
ＶＤＰ４は、映像表示プロセッサであり、歌詞テロップやグラフィック（ＣＧ）を表示するためのものである。ＣＰＵ１から送られるコマンドによりビデオＲＡＭ３に画像データを展開して背景画や歌詞テロップをＴＶモニタ（ＣＲＴ）１２に送出する。ＴＶモニタ１２上には色変化していくテロップと背景画が表示される。
【００１５】
図４は、デュエット採点の流れを説明するためのフローチャートである。
待機状態（ステップ（以下「Ｓ」という）０１）においてＣＰＵ１はデュエット採点のための入力が操作部２０でなされたか否かを監視する（Ｓ０２）。デュエット採点入力がされた場合にはカラオケ装置本体１５前面に設けられている表示部１５ａを点灯することによりデュエット採点中であることを表示する（Ｓ０３）。また、ＴＶモニタ１２の一部にもその旨の表示を行う。
つぎに曲リクエストがあるか否かの監視を行い（Ｓ０４）、曲が選曲された場合には、その曲の演奏開始操作がなされた否かの監視を行う（Ｓ０５）。
【００１６】
演奏の開始操作がなされると、選択した楽曲が流れるとともにＴＶモニタ１２には歌詞テロップが表示され、唄うべきテロップ字句の色を変える。このテロップ表示にしたがって、２人の唄い手は歌を唄う。
カラオケ装置ではデュエット採点処理が行われる（Ｓ０６）。デュエット採点処理が終了すると、ＣＰＵ１はデュエット採点をキャンセルする操作がなされたか否かの判断を行う（Ｓ０７）。デュエット採点キャンセル入力があると、デュエット採点終了処理を行い（Ｓ０８）、デュエット採点入力があるか否かの監視のステップに戻る（Ｓ０２）。
【００１７】
図５は、デュエット採点表示処理の詳細を示すフローチャートである。
演奏を開始すると、ＣＰＵ１は、マイク１４ａおよび１４ｂから入力した音声それぞれからピッチ・リズムと音量の波形成分を抽出する（Ｓ０６１，Ｓ０６２）。
ＭＩＤＩガイドメロディとそれぞれの音声の音程との比較がされ、ガイドメロディに対してどれくらい音程差があるかをそれぞれ測る。そして、両者間の音声の音程の差についても測り、さらに両者間の音量波形成分の差についても測る（Ｓ０６３，Ｓ０６４）。
つぎに両者の音声の音程の差およびガイドメロディと両者それぞれの音程の差ならびにアクセントの差をそれぞれの所定値Ｅ，Ｆ，Ｇ，Ｈと比較し、さらに両者間の音量変化を比較する。そして、それぞれ所定値Ｅ，Ｇより小さければ、さらに所定値Ｅより小さく、かつ所定値Ｆより小さければ、さらには所定値Ｅ，Ｆより小さく、かつ所定値Ｈより小さければ相性が良いと判断する。また、音量変化が同じ方向であれば相性が良いと判断する。これら以外の場合は相性はイマイチと判断する（Ｓ０６５）。
【００１８】
音程（ピッチ）およびアクセント（リズム）について一定時間間隔毎に相性が良いと判断された場合、それぞれ＋１をカウントし、同様に音量について一定時間間隔毎に相性が良いと判断された場合、＋１をカウントする（Ｓ０６６）。そして、所定時間間隔（例えば、２０秒）ごとにカウントの加算値が一定の値以上になれば、相性が合っている旨の語句や絵（図８参照）をＴＶモニタ１２に表示する（Ｓ０６７）。
このようにして相性判断が進められ、つぎに演奏が終了したか否かの判断がなされる（Ｓ０６８）。演奏終了でない場合はＳ０６１，Ｓ０６２に戻ってデュエットの音声のピッチ・リズムを示す成分と音量を示す成分が抽出され、相性判断ステップが繰り返される。
【００１９】
そして、楽曲の演奏が終了すると、前もって決められたデュエット採点判断用のカウント数と上記Ｓ０６６でカウントされたカウント値（８０ｍｓ毎に判断し、相性が良いと加算されたカウント値）が比較され、その大小により相性の良し悪しを判断する（Ｓ０６９）。この採点結果に基づきＴＶモニタ１２に「相性が合っている」「相性がイマイチ」などの文字や絵の表示が行われる（Ｓ０７０）。
【００２０】
図６は、デュエット採点の得点の決定方法の一例を説明するための図である。
相性判断・表示制御部１ｃは（１）〜（６）までの相性判断基準を持っており、この基準に合致すると得点＋１をカウントする。
（１）．マイク１とマイク２から入力される音声の音程の差が半音の１／２（所定値Ｅ）以内であれば、＋１をカウントする。
（２）．（１）の条件を満たし、かつＭＩＤＩガイドメロディに対してマイク１またはマイク２のいずれかの音程の差が半音の１／２（所定値Ｆ）以内の場合、＋１をカウントする。
（３）．マイク１とマイク２のアクセントの位置が一致（所定値Ｇ以内）している場合、＋１をカウントする。
（４）．（２）の条件を満たし、ＭＩＤＩガイドメロディに対してマイク１またはマイク２のいずれかのアクセントが一致（所定値Ｈ以内）している場合、＋１をカウントする。
（５）．マイク１とマイク２の音量が共に大きくなる個所がある場合、＋１をカウントする。
（６）．マイク１とマイク２の音量が共に小さくする個所がある場合、＋１をカウントする。
【００２１】
図７Ａは、デュエット音声の具体的な波形例を示す図で、音程とアクセントの差を測定する方法を説明するための図である。
横軸は時間を表し、所定時間間隔ｔ毎に区切ったものである。また、縦軸はマイク入力の音程のレベルを示したものである。マイク入力１およびマイク入力２の波形は説明の容易化のため、波形成分を一定の時間毎に平均値をとって矩形形状に模式化して示している。この例で判断している内容は上記（１）と（３）である。
時刻Ｔ1 とＴ2 の間の時間ｔではマイク１とマイク２の音程の差が１／２以内であるので、得点＋１がカウントされ，他の時刻の間ではマイク１とマイク２の音程の差は１／２以上であるのでカウントされない。また、時刻Ｔ3 ではマイク１とマイク２のアクセント位置が一致（所定値Ｈ以内）しているので、得点＋１がカウントされ，他の時刻ではアクセント位置が所定値Ｈの範囲外であるので、カウントされない。
【００２２】
図７Ｂは、デュエット音声の具体的な波形例を示す図で、両者の音量の差（音量変化の方向）を測定する方法を説明するための図である。
横軸は上記図７Ａと同様であり、縦軸は音量レベルを示しており、波形は模式化して示したものである。時刻Ｔ2 ではマイク１とマイク２はともに音量が大きくなり、時刻Ｔ3 ，Ｔ4 ではともに音量が小さくなるため、得点＋１がカウントされる。
時刻Ｔ1 ではマイク１は音量レベルが大きくなるが、マイク２は音量レベルは変わらないため、得点はカウントされない。
【００２３】
以上の実施の形態は、各時間間隔毎に予め設定してある参照値などと比較して相性が良ければカウントを＋１とし、デュエット中に各部分の判断として相性がいい，悪いなどを画面の一部に表示し、演奏が終了した時点でトータルのカウント値が前もって設定されている採点判断用カウント値と比較して大きいか否かによって総合的に相性判断をする例を説明したが、音程（ピッチ）・アクセント（リズム）および音量の測定単位としての時間間隔は様々であり、実施の形態以外の時間間隔で測定しても同様の効果を得ることができる。
【００２４】
また、デュエットで行う場合について説明したが、３人以上で歌った場合にも同様な処理を行うことにより相性診断を行うことができる。例えば３人の場合には第１と第２の唄い手の間，第２と第３の唄い手の間および第３と第１の唄い手の間についてアクセント・音程の差および音量の差を求め、これらの組み合わせの中で差が最も大きいものについて所定値と比較することにより相性判断をすることができる。
【産業上の利用可能性】
【００２５】
複数の唄い手との間の音声の特徴部分が合っているか否かを検出することにより相性判断を行うことができる機能を有するカラオケ装置である。
【図面の簡単な説明】
【００２６】
【図１】本発明による相性判断機能付きカラオケ装置の概略を示す図である。
【図２】本発明による相性判断機能付きカラオケ装置の回路の実施の形態を示すブロック図である。
【図３】ＣＰＵの機能ブロックを説明するための図である。
【図４】デュエット採点の流れを説明するためのフローチャートである。
【図５】デュエット採点表示処理の詳細を示すフローチャートである。
【図６】デュエット採点の得点の決定方法の一例を説明するための図である。
【図７Ａ】デュエット音声の具体的な波形例を示す図で、音程とアクセントの差を測定する方法を説明するための図である。
【図７Ｂ】デュエット音声の具体的な波形例を示す図で、両者の音量の差を測定する方法を説明するための図である。
【図８】ＴＶモニタに相性が良いことを示す文字，絵の一例を示す図である。
【符号の説明】
【００２７】
１ ＣＰＵ
２ ワークＲＡＭ
３ ビデオＲＡＭ
４ ＶＤＰ（ビデオ・ディスプレイ・プロセッサ 歌詞／ＣＧ）
５ ＤＳＰ（ディジタル・シグナル・プロセッサ 楽曲再生／音声認識）
６ 音素データ格納部
７ Ｄ／Ａコンバータ
８ Ａ／Ｄコンバータ
９ ＨＤＤコントローラ
１０ ＨＤＤ（楽曲データ／テロップデータ／映像データ）
１１ システムバス
１２ ＣＲＴ（ＴＶモニタ）
１３ スピーカ
１４ａ，１４ｂ マイク
１５ カラオケ装置本体
２３ 唄い手Ａ
２４ 唄い手Ｂ
【技術分野】
【０００１】
本発明は、カラオケを例えばデュエットで歌うときに両者の声の特徴，歌い方の特徴などから２人の協調性や息の合い具合などの相性を判断し表示する機能を有するカラオケ装置に関する。
【背景技術】
【０００２】
唄い手の歌唱力を採点する機能を搭載したカラオケ装置が従来より存在し、デュエット曲を複数人で歌う場合、それを採点するものが提案されている。
特許文献１はデュエット曲を採点できる機能を持ったカラオケ装置である。
この提案は、従前は複数のマイクロホンから入力される歌唱音声を混合した信号をボーカルパートのリファレンスと比較して行っているため、各個人の歌唱音声について正当な評価ができないという欠点を解決することを目的とたもので、その特徴は各個人の歌唱音声について正当な評価をし正確な採点結果を得ることができるようにしたものである。
【特許文献１】特開２０００−３３０５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがってデュエット歌唱を採点できる従来のカラオケ装置では、２人の平均的な結果を採点評価したり、各個人がガイドメロディに対しどれだけ忠実に歌ったか個別に評価したりするもので、２人の歌唱力の総合評価や各個人について上手，下手などを判断するものであった。従来のデュエット歌唱を採点する方法は、２人のコンビネーションは重要ではなく、また２人の歌唱が息が合っていたとしても総合の歌唱力や個別の歌唱力について点数を採点しているため、採点内容が判りづらく、盛り上がりに欠けるものであった。
【０００４】
なお、相性に注目した場合、血液型，星座などを入力して相性を占う機能をもったカラオケ装置は存在するが、これは血液型，星座によるものであり、歌の相性についてのものではない。
本発明は上記状況に鑑みなしたもので、その目的は、複数人の唄い手で歌った場合に複数人の協調性や息の合い具合などの相性を判断し、判断結果を得点や文字，絵などで表示することができる相性判断機能付きカラオケ装置を提供することにある。
【課題を解決するための手段】
【０００５】
前記目的を達成するために本発明の請求項１は、２以上の唄い手の音声をそれぞれ入力するための音声入力手段と、楽曲を演奏する楽曲演奏制御手段と、前記楽曲のメロディに従って前記音声入力手段から入力される２以上の唄い手間の音声のピッチ・リズムの差とともにそれぞれの唄い手の音量を測定するピッチ・リズム差および音量測定手段と、前記各唄い手間の音声のピッチ・リズム差をそれぞれ所定の値と比較し、かつ各唄い手でそれぞれ測定された音量の差により、２人以上の唄い手の相性を判断する相性判断手段と、前記相性判断手段による判断結果を一曲または特定の演奏範囲について採点する採点手段とを備えたことを特徴とする。
本発明の請求項２は、請求項１記載の発明において前記ピッチ・リズム差および音量測定手段は、さらに、前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズムの差を測定し、前記相性判断手段は、さらに、前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズム差をそれぞれ所定の値と比較することを特徴とする。
本発明の請求項３は、請求項１記載の発明において前記相性判断手段は、２人以上の唄い手が入力した音声間のピッチ・リズム差および音量の差を所定の時間毎に得、前記ピッチ・リズム差と音量の差がそれぞれ一致と認められる範囲であるとき、所定の時間毎にそれぞれ＋１をカウントするカウント手段を有し、前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、文字または絵で結果を表示することを特徴とする。
本発明の請求項４は、請求項２記載の発明において前記相性判断手段は、２人以上の唄い手が入力した音声間のピッチ・リズム差および前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズム差ならびに音量の差を所定の時間毎に得、前記ピッチ・リズム差と音量の差がそれぞれ一致と認められる範囲であるとき、所定の時間毎にそれぞれ＋１をカウントするカウント手段を有し、前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、文字または絵で結果を表示することを特徴とする。
本発明の請求項５は、請求項１，２，３または４記載の発明において前記相性判断手段は、前記相性診断中、相性が一致したと認めれてカウントが加算された位置または相性が一致せずカウントされない位置で、画面上に相性が合っていることを意味する文字もしくは絵または相性が合っていないことを意味する文字もしくは絵を表示する表示制御手段を有することを特徴とする。
【発明の効果】
【０００６】
上記構成によれば、採点などのように絶対的な評価ではなく、例えば２人の特徴の関連を分析・判断し、お互いの協調性や息の合い具合の評価を行うことができる。２人の歌い方の関連がポイントなため、デュエットで重要なコミュニケーションを取りながら歌う機会を増やすことができ、歌唱力の上手，下手に関わらずに楽しむことを可能にする。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施の形態を詳しく説明する。
図１は、本発明による相性判断デュエット機能付きカラオケ装置の概略を示す図である。
唄い手２３および２４がデュエットで、それぞれマイク１４ａおよび１４ｂを所持して楽曲の伴奏によって歌を唄っており、その歌声はスピーカ１３より出力されている。カラオケ装置本体１５はＴＶモニタ１２に背景画像２１とともに歌詞テロップ２２を送出しており、背景画像２１および歌詞テロップ２２がＴＶモニタ１２に表示されている。
カラオケ装置本体１５ではぞれぞれの唄い手から入力される音声の特徴部分であるピッチ・リズムおよび音量を抽出し、両者間のこれらの波形がどの程度合っているかによって相性診断を行い、診断内容をＴＶモニタ１２に表示する。
【０００８】
図２は、本発明による相性判断デュエット機能付きカラオケ装置の回路の実施の形態を示すブロック図、図３はＣＰＵの機能ブロックを説明するための図である。
カラオケ装置本体１５は前面に操作部２０を有しＴＶモニタ（ＣＲＴ）１２，スピーカ１３およびマイク１４ａ，１４ｂに接続されている。本体１５の内部回路は、ＣＰＵ１，ワークＲＡＭ２，ビデオＲＡＭ３，ＶＤＰ（ビデオ・ディスプレイ・プロセッサ）４，ＤＳＰ（ディジタル・シグナル・プロセッサ）５，音素データ格納部６，Ｄ／Ａコンバータ７，Ａ／Ｄコンバータ８，ＨＤＤコントローラ９，ＨＤＤ１０およびシステムバス１１より構成されている。
【０００９】
マイク１４ａおよび１４ｂから入力される唄い手の音声はＡ／Ｄコンバータ８でディジタル音声信号に変換される。ＤＳＰ５は楽曲データをディジタル楽曲波形信号に再生し、効果などを加えてＤ／Ａコンバータ７に送出するとともにマイク１４ａおよび１４ｂからのディジタル音声信号にエコーなどの効果を付けてＤ／Ａコンバータ７に送出し、Ｄ／Ａコンバータ７ではディジタル楽曲波形信号およびディジタル音声信号がアナログ信号に変換されてスピーカ１３より出力される。また、マイク１４ａおよび１４ｂからのディジタル音声信号はＣＰＵ１に送られ、ＣＰＵ１で特徴部分が抽出され、相性診断のための処理が行われる。
ＨＤＤコントローラ９はＣＰＵ１からのコマンドに基づきＨＤＤ１０の書き込み，読み出しの制御を行う。ＨＤＤ１０にはデュエット曲を含む多数の楽曲データ，各楽曲対応の歌詞テロップデータおよび背景画などの映像データが格納されている。
【００１０】
ＣＰＵ１はＨＤＤ１０に格納されている制御プログラム（図示されていない）を読み出し、これを実行することによりカラオケ装置全体の制御を司る。ＣＰＵ１は、選曲された楽曲の演奏スタート操作にしたがって、ＨＤＤ１０から楽曲データを読み出してＤＳＰ５でディジタル楽曲波形信号に再生し、上述したようにマイク１４ａおよび１４ｂから入力される音声信号とともにスピーカ１３よりメロディおよび音声を出力させる。また、本発明に直接関連する機能部として演奏制御部１ａ，ピッチ・リズム差および音量測定部１ｂ，相性判断・表示制御部１ｃ，採点処理部１ｄおよび採点結果表示部１ｅの各機能を備えている。
【００１１】
演奏制御部１ａは、選曲された楽曲をＨＤＤ１０から読み出し、楽曲をＤＳＰ５で再生させるとともにＶＤＰ４によってＣＲＴ１２に歌詞および背景画を表示させる。
ピッチ・リズム差および音量測定部１ｂは、マイク１４ａおよびマイク１４ｂから入力した２人の音声の特徴部分であるピッチ・リズムを示す波形成分および音量を示す波形成分を抽出する。そして２人の音声の間の音程（ピッチ）の差，２人の音声とガイドメロディとの音程の差および２人の音声のアクセント（リズム）の差ならびに２人の音量をそれぞれ求める。この測定は、所定の時間間隔で行われ、例えば８０ｍｓ毎に行われる。
【００１２】
相性判断・表示制御部１ｃは、上記２人の音声の間の音程（ピッチを比較する手段）の差，２人の音声とガイドメロディとの音程の差および２人の音声のアクセント（リズムを比較する手段）の差を所定の値Ｅ，Ｆ，Ｇとそれぞれ比較し、２人の音声の間の音程差および２人の音声とガイドメロディとの音程の差については比較した所定値Ｅ，Ｇより小さければ相性が良いと判断し、それぞれカウントを＋１し、２人の音声のアクセントの差については２人の音声の間の音程の差が所定値Ｅより小さいことを条件に、２人の音声の一方とガイドメロディとの音程の差が所定値Ｆより小さければ相性が良いと判断しカウントを＋１する。
また、２人の音声の間の音程の差および２人の音声とガイドメロディとの音程の差が所定値Ｅ，Ｆより小さくて相性が良く、かつ２人の音声のアクセントの差が所定値Ｈより小さい場合にはさらにカウントを＋１する。
同様に２人の音量の差、すなわち音量変化が同じ方向（増加する方向または減少する方向）であれば、相性が良いと判断し、カウントを＋１する。異なる方向または一方のみが音量変化しても、カウントはされない。なお、このようにカウントして所定時間間隔（例えば、２０秒）ごとにカウントの加算値が一定の値以上になれば、デュエット中に相性が合っている旨の語句をＴＶモニタ１２の一部に表示することが可能である。
【００１３】
採点処理部１ｄは、相性判断・表示制御部１ｃによる判断結果を一曲または特定の演奏範囲についてカウントされた値を得点とし、その得点が所定値より大きいか否かによって「相性が合っている」「相性が悪い」などの採点を行うものである。
一曲全体について評価採点するか、一曲の特定範囲のみにするかは当初の選曲の過程で選択することが可能である。
採点結果表示部１ｅは、採点処理部１ｄの結果をＴＶモニタ１２に表示するようにするものである。
ワークＲＡＭ２はＣＰＵ１が四則・関数演算や論理演算などをするときに作業領域として用いられ、一時的なデータの保持も行うものである。
【００１４】
ＶＤＰ４は、映像表示プロセッサであり、歌詞テロップやグラフィック（ＣＧ）を表示するためのものである。ＣＰＵ１から送られるコマンドによりビデオＲＡＭ３に画像データを展開して背景画や歌詞テロップをＴＶモニタ（ＣＲＴ）１２に送出する。ＴＶモニタ１２上には色変化していくテロップと背景画が表示される。
【００１５】
図４は、デュエット採点の流れを説明するためのフローチャートである。
待機状態（ステップ（以下「Ｓ」という）０１）においてＣＰＵ１はデュエット採点のための入力が操作部２０でなされたか否かを監視する（Ｓ０２）。デュエット採点入力がされた場合にはカラオケ装置本体１５前面に設けられている表示部１５ａを点灯することによりデュエット採点中であることを表示する（Ｓ０３）。また、ＴＶモニタ１２の一部にもその旨の表示を行う。
つぎに曲リクエストがあるか否かの監視を行い（Ｓ０４）、曲が選曲された場合には、その曲の演奏開始操作がなされた否かの監視を行う（Ｓ０５）。
【００１６】
演奏の開始操作がなされると、選択した楽曲が流れるとともにＴＶモニタ１２には歌詞テロップが表示され、唄うべきテロップ字句の色を変える。このテロップ表示にしたがって、２人の唄い手は歌を唄う。
カラオケ装置ではデュエット採点処理が行われる（Ｓ０６）。デュエット採点処理が終了すると、ＣＰＵ１はデュエット採点をキャンセルする操作がなされたか否かの判断を行う（Ｓ０７）。デュエット採点キャンセル入力があると、デュエット採点終了処理を行い（Ｓ０８）、デュエット採点入力があるか否かの監視のステップに戻る（Ｓ０２）。
【００１７】
図５は、デュエット採点表示処理の詳細を示すフローチャートである。
演奏を開始すると、ＣＰＵ１は、マイク１４ａおよび１４ｂから入力した音声それぞれからピッチ・リズムと音量の波形成分を抽出する（Ｓ０６１，Ｓ０６２）。
ＭＩＤＩガイドメロディとそれぞれの音声の音程との比較がされ、ガイドメロディに対してどれくらい音程差があるかをそれぞれ測る。そして、両者間の音声の音程の差についても測り、さらに両者間の音量波形成分の差についても測る（Ｓ０６３，Ｓ０６４）。
つぎに両者の音声の音程の差およびガイドメロディと両者それぞれの音程の差ならびにアクセントの差をそれぞれの所定値Ｅ，Ｆ，Ｇ，Ｈと比較し、さらに両者間の音量変化を比較する。そして、それぞれ所定値Ｅ，Ｇより小さければ、さらに所定値Ｅより小さく、かつ所定値Ｆより小さければ、さらには所定値Ｅ，Ｆより小さく、かつ所定値Ｈより小さければ相性が良いと判断する。また、音量変化が同じ方向であれば相性が良いと判断する。これら以外の場合は相性はイマイチと判断する（Ｓ０６５）。
【００１８】
音程（ピッチ）およびアクセント（リズム）について一定時間間隔毎に相性が良いと判断された場合、それぞれ＋１をカウントし、同様に音量について一定時間間隔毎に相性が良いと判断された場合、＋１をカウントする（Ｓ０６６）。そして、所定時間間隔（例えば、２０秒）ごとにカウントの加算値が一定の値以上になれば、相性が合っている旨の語句や絵（図８参照）をＴＶモニタ１２に表示する（Ｓ０６７）。
このようにして相性判断が進められ、つぎに演奏が終了したか否かの判断がなされる（Ｓ０６８）。演奏終了でない場合はＳ０６１，Ｓ０６２に戻ってデュエットの音声のピッチ・リズムを示す成分と音量を示す成分が抽出され、相性判断ステップが繰り返される。
【００１９】
そして、楽曲の演奏が終了すると、前もって決められたデュエット採点判断用のカウント数と上記Ｓ０６６でカウントされたカウント値（８０ｍｓ毎に判断し、相性が良いと加算されたカウント値）が比較され、その大小により相性の良し悪しを判断する（Ｓ０６９）。この採点結果に基づきＴＶモニタ１２に「相性が合っている」「相性がイマイチ」などの文字や絵の表示が行われる（Ｓ０７０）。
【００２０】
図６は、デュエット採点の得点の決定方法の一例を説明するための図である。
相性判断・表示制御部１ｃは（１）〜（６）までの相性判断基準を持っており、この基準に合致すると得点＋１をカウントする。
（１）．マイク１とマイク２から入力される音声の音程の差が半音の１／２（所定値Ｅ）以内であれば、＋１をカウントする。
（２）．（１）の条件を満たし、かつＭＩＤＩガイドメロディに対してマイク１またはマイク２のいずれかの音程の差が半音の１／２（所定値Ｆ）以内の場合、＋１をカウントする。
（３）．マイク１とマイク２のアクセントの位置が一致（所定値Ｇ以内）している場合、＋１をカウントする。
（４）．（２）の条件を満たし、ＭＩＤＩガイドメロディに対してマイク１またはマイク２のいずれかのアクセントが一致（所定値Ｈ以内）している場合、＋１をカウントする。
（５）．マイク１とマイク２の音量が共に大きくなる個所がある場合、＋１をカウントする。
（６）．マイク１とマイク２の音量が共に小さくする個所がある場合、＋１をカウントする。
【００２１】
図７Ａは、デュエット音声の具体的な波形例を示す図で、音程とアクセントの差を測定する方法を説明するための図である。
横軸は時間を表し、所定時間間隔ｔ毎に区切ったものである。また、縦軸はマイク入力の音程のレベルを示したものである。マイク入力１およびマイク入力２の波形は説明の容易化のため、波形成分を一定の時間毎に平均値をとって矩形形状に模式化して示している。この例で判断している内容は上記（１）と（３）である。
時刻Ｔ1 とＴ2 の間の時間ｔではマイク１とマイク２の音程の差が１／２以内であるので、得点＋１がカウントされ，他の時刻の間ではマイク１とマイク２の音程の差は１／２以上であるのでカウントされない。また、時刻Ｔ3 ではマイク１とマイク２のアクセント位置が一致（所定値Ｈ以内）しているので、得点＋１がカウントされ，他の時刻ではアクセント位置が所定値Ｈの範囲外であるので、カウントされない。
【００２２】
図７Ｂは、デュエット音声の具体的な波形例を示す図で、両者の音量の差（音量変化の方向）を測定する方法を説明するための図である。
横軸は上記図７Ａと同様であり、縦軸は音量レベルを示しており、波形は模式化して示したものである。時刻Ｔ2 ではマイク１とマイク２はともに音量が大きくなり、時刻Ｔ3 ，Ｔ4 ではともに音量が小さくなるため、得点＋１がカウントされる。
時刻Ｔ1 ではマイク１は音量レベルが大きくなるが、マイク２は音量レベルは変わらないため、得点はカウントされない。
【００２３】
以上の実施の形態は、各時間間隔毎に予め設定してある参照値などと比較して相性が良ければカウントを＋１とし、デュエット中に各部分の判断として相性がいい，悪いなどを画面の一部に表示し、演奏が終了した時点でトータルのカウント値が前もって設定されている採点判断用カウント値と比較して大きいか否かによって総合的に相性判断をする例を説明したが、音程（ピッチ）・アクセント（リズム）および音量の測定単位としての時間間隔は様々であり、実施の形態以外の時間間隔で測定しても同様の効果を得ることができる。
【００２４】
また、デュエットで行う場合について説明したが、３人以上で歌った場合にも同様な処理を行うことにより相性診断を行うことができる。例えば３人の場合には第１と第２の唄い手の間，第２と第３の唄い手の間および第３と第１の唄い手の間についてアクセント・音程の差および音量の差を求め、これらの組み合わせの中で差が最も大きいものについて所定値と比較することにより相性判断をすることができる。
【産業上の利用可能性】
【００２５】
複数の唄い手との間の音声の特徴部分が合っているか否かを検出することにより相性判断を行うことができる機能を有するカラオケ装置である。
【図面の簡単な説明】
【００２６】
【図１】本発明による相性判断機能付きカラオケ装置の概略を示す図である。
【図２】本発明による相性判断機能付きカラオケ装置の回路の実施の形態を示すブロック図である。
【図３】ＣＰＵの機能ブロックを説明するための図である。
【図４】デュエット採点の流れを説明するためのフローチャートである。
【図５】デュエット採点表示処理の詳細を示すフローチャートである。
【図６】デュエット採点の得点の決定方法の一例を説明するための図である。
【図７Ａ】デュエット音声の具体的な波形例を示す図で、音程とアクセントの差を測定する方法を説明するための図である。
【図７Ｂ】デュエット音声の具体的な波形例を示す図で、両者の音量の差を測定する方法を説明するための図である。
【図８】ＴＶモニタに相性が良いことを示す文字，絵の一例を示す図である。
【符号の説明】
【００２７】
１ ＣＰＵ
２ ワークＲＡＭ
３ ビデオＲＡＭ
４ ＶＤＰ（ビデオ・ディスプレイ・プロセッサ 歌詞／ＣＧ）
５ ＤＳＰ（ディジタル・シグナル・プロセッサ 楽曲再生／音声認識）
６ 音素データ格納部
７ Ｄ／Ａコンバータ
８ Ａ／Ｄコンバータ
９ ＨＤＤコントローラ
１０ ＨＤＤ（楽曲データ／テロップデータ／映像データ）
１１ システムバス
１２ ＣＲＴ（ＴＶモニタ）
１３ スピーカ
１４ａ，１４ｂ マイク
１５ カラオケ装置本体
２３ 唄い手Ａ
２４ 唄い手Ｂ
【特許請求の範囲】
【請求項１】
２以上の唄い手の音声をそれぞれ入力するための音声入力手段と、
楽曲を演奏する楽曲演奏制御手段と、
前記楽曲のメロディに従って前記音声入力手段から入力される２以上の唄い手間の音声のピッチ・リズムの差とともにそれぞれの唄い手の音量を測定するピッチ・リズム差および音量測定手段と、
前記各唄い手間の音声のピッチ・リズム差をそれぞれ所定の値と比較し、かつ各唄い手でそれぞれ測定された音量の差により、２人以上の唄い手の相性を判断する相性判断手段と、
前記相性判断手段による判断結果を一曲または特定の演奏範囲について採点する採点手段と、
を備えたことを特徴とする相性判断機能付きカラオケ装置。
【請求項２】
前記ピッチ・リズム差および音量測定手段は、さらに、前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズムの差を測定し、前記相性判断手段は、さらに、前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズム差をそれぞれ所定の値と比較することを特徴とする請求項１に記載の相性判断機能付きカラオケ装置。
【請求項３】
前記相性判断手段は、２人以上の唄い手が入力した音声間のピッチ・リズム差および音量の差を所定の時間毎に得、前記ピッチ・リズム差と音量の差がそれぞれ一致と認められる範囲であるとき、所定の時間毎にそれぞれ＋１をカウントするカウント手段を有し、
前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、文字または絵で結果を表示することを特徴とする請求項１記載の相性判断機能付きカラオケ装置。
【請求項４】
前記相性判断手段は、２人以上の唄い手が入力した音声間のピッチ・リズム差および前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズム差ならびに音量の差を所定の時間毎に得、前記ピッチ・リズム差と音量の差がそれぞれ一致と認められる範囲であるとき、所定の時間毎にそれぞれ＋１をカウントするカウント手段を有し、
前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、文字または絵で結果を表示することを特徴とする請求項２記載の相性判断機能付きカラオケ装置。
【請求項５】
前記相性判断手段は、前記相性診断中、相性が一致したと認めれてカウントが加算された位置または相性が一致せずカウントされない位置で、画面上に相性が合っていることを意味する文字もしくは絵または相性が合っていないことを意味する文字もしくは絵を表示する表示制御手段を有することを特徴とする請求項１，２，３または４記載の相性判断機能付きカラオケ装置。
【請求項１】
２以上の唄い手の音声をそれぞれ入力するための音声入力手段と、
楽曲を演奏する楽曲演奏制御手段と、
前記楽曲のメロディに従って前記音声入力手段から入力される２以上の唄い手間の音声のピッチ・リズムの差とともにそれぞれの唄い手の音量を測定するピッチ・リズム差および音量測定手段と、
前記各唄い手間の音声のピッチ・リズム差をそれぞれ所定の値と比較し、かつ各唄い手でそれぞれ測定された音量の差により、２人以上の唄い手の相性を判断する相性判断手段と、
前記相性判断手段による判断結果を一曲または特定の演奏範囲について採点する採点手段と、
を備えたことを特徴とする相性判断機能付きカラオケ装置。
【請求項２】
前記ピッチ・リズム差および音量測定手段は、さらに、前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズムの差を測定し、前記相性判断手段は、さらに、前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズム差をそれぞれ所定の値と比較することを特徴とする請求項１に記載の相性判断機能付きカラオケ装置。
【請求項３】
前記相性判断手段は、２人以上の唄い手が入力した音声間のピッチ・リズム差および音量の差を所定の時間毎に得、前記ピッチ・リズム差と音量の差がそれぞれ一致と認められる範囲であるとき、所定の時間毎にそれぞれ＋１をカウントするカウント手段を有し、
前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、文字または絵で結果を表示することを特徴とする請求項１記載の相性判断機能付きカラオケ装置。
【請求項４】
前記相性判断手段は、２人以上の唄い手が入力した音声間のピッチ・リズム差および前記楽曲のメロディとそれぞれの唄い手の音声との間のピッチ・リズム差ならびに音量の差を所定の時間毎に得、前記ピッチ・リズム差と音量の差がそれぞれ一致と認められる範囲であるとき、所定の時間毎にそれぞれ＋１をカウントするカウント手段を有し、
前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、文字または絵で結果を表示することを特徴とする請求項２記載の相性判断機能付きカラオケ装置。
【請求項５】
前記相性判断手段は、前記相性診断中、相性が一致したと認めれてカウントが加算された位置または相性が一致せずカウントされない位置で、画面上に相性が合っていることを意味する文字もしくは絵または相性が合っていないことを意味する文字もしくは絵を表示する表示制御手段を有することを特徴とする請求項１，２，３または４記載の相性判断機能付きカラオケ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【公開番号】特開２００７−１５６３３０（Ｐ２００７−１５６３３０Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００５−３５４９３１（Ｐ２００５−３５４９３１）
【出願日】平成１７年１２月８日（２００５．１２．８）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１７年１２月８日（２００５．１２．８）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
[ Back to top ]