歌唱採点装置および歌唱採点プログラム
【課題】メロディーが無い曲でも歌唱採点できる歌唱採点装置を実現する。
【解決手段】伴奏データの再生により発生するカラオケ伴奏音に合せてユーザが歌唱する歌唱音をサンプリングして得たユーザ歌唱データと、伴奏データの再生に同期してカラオケデータメモリ１３から読み出される手本歌唱データとを所定のデータ数分のフレームで区切り、区切られたフレーム中の手本歌唱データから手本歌唱音の音声特徴量ＭＦＣＣを、ユーザ歌唱データからユーザ歌唱音の音声特徴量ＭＦＣＣをそれぞれ抽出する。抽出した手本歌唱音の音声特徴量ＭＦＣＣとユーザ歌唱音の音声特徴量ＭＦＣＣとの類似度から適否判定して歌唱を採点する。つまり、曲の歌詞が正しく歌唱されているかどうかを採点する為、「ラップ」と呼ばれるメロディーが無い曲でも歌唱採点できる。
【解決手段】伴奏データの再生により発生するカラオケ伴奏音に合せてユーザが歌唱する歌唱音をサンプリングして得たユーザ歌唱データと、伴奏データの再生に同期してカラオケデータメモリ１３から読み出される手本歌唱データとを所定のデータ数分のフレームで区切り、区切られたフレーム中の手本歌唱データから手本歌唱音の音声特徴量ＭＦＣＣを、ユーザ歌唱データからユーザ歌唱音の音声特徴量ＭＦＣＣをそれぞれ抽出する。抽出した手本歌唱音の音声特徴量ＭＦＣＣとユーザ歌唱音の音声特徴量ＭＦＣＣとの類似度から適否判定して歌唱を採点する。つまり、曲の歌詞が正しく歌唱されているかどうかを採点する為、「ラップ」と呼ばれるメロディーが無い曲でも歌唱採点できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ装置に用いて好適な歌唱採点装置および歌唱採点プログラムに関する。
【背景技術】
【０００２】
カラオケ伴奏の主旋律パートを構成する各音符の音高および発音タイミングを採点基準とし、この採点基準に対して歌唱者の歌声から抽出したピッチを比較することで歌唱採点する歌唱採点装置を備えたカラオケ装置が各種開発されている。この種の装置については、例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１９４７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１に開示の技術のように、採点基準と歌唱ピッチとを比較して採点する方式では、明確なメロディーを持たない「ラップ」と呼ばれるスタイルのカラオケ曲であると、採点基準が存在しないことから歌唱採点することができない、という問題がある。
【０００５】
また、採点基準と歌唱ピッチとを比較して採点する方式であっても、カラオケ曲の一部分のみを丁寧に歌唱してカラオケ伴奏を停止させると、その一部分のみについて歌唱採点されることから、高得点を得ることが出来てしまう弊害もある。そうした弊害を回避するには、一定時間以上歌唱し続けなければ、得点が無効になるようにすれば良いが、そのようにすると、今度は非常に短い曲では全て歌唱しても採点されなくなるという問題が生じる。
【０００６】
本発明は、このような事情に鑑みてなされたもので、メロディーが無い曲や、演奏時間が非常に短い曲であっても歌唱採点することができる歌唱採点装置および歌唱採点プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１に記載の発明では、手本として歌唱された手本歌唱音の音声特徴量を抽出する第１の特徴抽出手段と、ユーザが歌唱するユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出手段と、前記第１および第２の特徴抽出手段によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する採点手段とを具備することを特徴とする。
【０００８】
上記請求項１に従属する請求項２に記載の発明では、前記第１および第２の特徴抽出手段が抽出する音声特徴量は、ケプストラム領域の特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）であることを特徴とする。
【０００９】
上記請求項１に従属する請求項３に記載の発明では、前記類似度算出手段は、手本歌唱音の音声特徴量を表す第１のベクトルと、ユーザ歌唱音の音声特徴量を表す第２のベクトルとの間のユークリッド距離を類似度として算出することを特徴とする。
【００１０】
請求項４に記載の発明では、カラオケ曲の再生に同期して発生するデータであって、手本として歌唱された手本歌唱音を表す手本歌唱音データと、再生されるカラオケ曲に合せてユーザが歌唱するユーザ歌唱音から得たユーザ歌唱データとを所定データ数毎に区切りフレーム化するフレーム化手段と、前記フレーム化手段によりフレーム化された所定データ数分の手本歌唱音データから手本歌唱音の音声特徴量を抽出する第１の特徴抽出手段と、前記フレーム化手段によりフレーム化された所定データ数分のユーザ歌唱データからユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出手段と、前記第１および第２の特徴抽出手段によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否をフレーム毎に判定する判定手段と、前記判定手段がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点する採点手段とを具備することを特徴とする。
【００１１】
上記請求項４に従属する請求項５に記載の発明では、前記採点手段は、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、前記判定手段がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点することを特徴とする。
【００１２】
請求項６に記載の発明では、カラオケ曲のメロディ部分とラップ部分とを識別して再生可能なカラオケ装置において、カラオケ曲のメロディ部分が再生される場合に、ユーザが歌唱するユーザ歌唱音のピッチを抽出し、抽出したピッチと再生されるメロディ部分のピッチとを比較してユーザ歌唱音の適否を判定して採点する第１の採点手段と、カラオケ曲のラップ部分が再生される場合に、手本として歌唱される手本歌唱音の音声特徴量およびユーザが歌唱するユーザ歌唱音の音声特徴量を各々抽出し、抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する第２の採点手段とを具備することを特徴とする。
【００１３】
請求項７に記載の発明では、手本として歌唱された手本歌唱音の音声特徴量を抽出する第１の特徴抽出処理と、ユーザが歌唱するユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出処理と、前記第１および第２の特徴抽出処理によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出処理と、前記類似度算出処理により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する採点処理とをコンピュータで実行させることを特徴とする。
【００１４】
上記請求項７に従属する請求項８に記載の発明では、前記第１および第２の特徴抽出処理により抽出される音声特徴量は、ケプストラム領域の特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）であることを特徴とする。
【００１５】
上記請求項７に従属する請求項９に記載の発明では、前記類似度算出処理は、手本歌唱音の音声特徴量を表す第１のベクトルと、ユーザ歌唱音の音声特徴量を表す第２のベクトルとの間のユークリッド距離を類似度として算出することを特徴とする。
【００１６】
請求項１０に記載の発明では、カラオケ曲の再生に同期して発生するデータであって、手本として歌唱された手本歌唱音を表す手本歌唱音データと、再生されるカラオケ曲に合せてユーザが歌唱するユーザ歌唱音から得たユーザ歌唱データとを所定データ数毎に区切りフレーム化するフレーム化処理と、前記フレーム化処理によりフレーム化された所定データ数分の手本歌唱音データから手本歌唱音の音声特徴量を抽出する第１の特徴抽出処理と、前記フレーム化処理によりフレーム化された所定データ数分のユーザ歌唱データからユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出処理と、前記第１および第２の特徴抽出処理によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出処理と、前記類似度算出処理により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否をフレーム毎に判定する判定処理と、前記判定処理がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点する採点処理とをコンピュータで実行させることを特徴とする。
【００１７】
上記請求項１０に従属する請求項１１に記載の発明では、前記採点処理は、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、前記判定処理がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点することを特徴とする。
【００１８】
請求項１２に記載の発明では、カラオケ曲のメロディ部分とラップ部分とを識別して再生可能なカラオケ装置に適用されるプログラムであって、カラオケ曲のメロディ部分が再生される場合に、ユーザが歌唱するユーザ歌唱音のピッチを抽出し、抽出したピッチと再生されるメロディ部分のピッチとを比較してユーザ歌唱音の適否を判定して採点する第１の採点処理と、カラオケ曲のラップ部分が再生される場合に、手本として歌唱された手本歌唱音の音声特徴量およびユーザが歌唱するユーザ歌唱音の音声特徴量を各々抽出し、抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する第２の採点処理とをコンピュータで実行させることを特徴とする。
【発明の効果】
【００１９】
本発明では、手本として歌唱された手本歌唱音から抽出した音声特徴量と、ユーザが歌唱するユーザ歌唱音から抽出した音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点するので、曲の歌詞が正しく歌唱されているかどうかを歌唱採点できる。したがって、明確なメロディーを持たない「ラップ」と呼ばれるスタイルのカラオケ曲であっても歌唱採点することができる。
【００２０】
また、本発明では、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、フレーム毎に適否判定した結果に基づきユーザの歌唱を採点するので、演奏時間が非常に短い曲であっても歌唱採点することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明による実施の一形態の構成を示すブロック図である。
【図２】カラオケ処理の動作を示すフローチャートである。
【図３】部分採点処理の動作を示すフローチャートである。
【図４】ＭＦＣＣ算出処理の動作を示すフローチャートである。
【図５】フィルタバンクの一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態について説明する。
Ａ．構成
図１は、本発明の実施の一形態による歌唱採点装置を備えたカラオケ装置の構成を示すブロック図である。この図において、ＣＰＵ１０は、スイッチ部１４から供給されるスイッチイベントに応じて、プログラムＲＯＭ１１に記憶される所定のプログラムを実行して装置各部を制御する。本発明の要旨に係わるＣＰＵ１０の特徴的な処理動作（カラオケ処理、部分採点処理およびＭＦＣＣ算出処理）については追って述べる。
【００２３】
プログラムＲＯＭ１１には、ＣＰＵ１０により実行される各種プログラムや制御データが記憶される。プログラムＲＯＭ１１に記憶される各種プログラムとは、後述する「カラオケ処理」、「部分採点処理」および「ＭＦＣＣ算出処理」を含む。ＲＡＭ１２は、ワークエリアおよびバッファエリアを備える。ＲＡＭ１２のワークエリアには、ＣＰＵ１０の処理に用いる各種レジスタ・フラグデータが一時記憶される。ＲＡＭ１２のバッファエリアには、後述する手本歌唱データおよびユーザ歌唱データが一時記憶される。
【００２４】
カラオケデータメモリ１３は、例えばフラッシュメモリなど電気的に書き換え可能な不揮発性メモリから構成され、複数の曲のカラオケデータを記憶する。スイッチ部１４には、例えば電源スイッチの他、カラオケ伴奏する曲を選択する曲選択スイッチや、カラオケの開始／停止を指示するスタート／ストップスイッチ等の各種スイッチを備え、これらスイッチ操作に応じたスイッチイベントを発生してＣＰＵ１０に供給する。スイッチ部１４のスタート／ストップスイッチの操作によってカラオケが開始された場合、ＣＰＵ１０は曲選択スイッチの操作で予め選択される曲のカラオケデータをカラオケデータメモリ１３から読み出すようになっている。
【００２５】
カラオケデータメモリ１３に記憶される１つの曲のカラオケデータは、歌詞データおよび音声データから構成される。歌詞データは、カラオケ伴奏に同期して曲の歌詞を字幕表示させるための情報である。音声データは、カラオケトラックおよびボーカルトラックを有するデュアルモノラルモードでＭＰ３形式に圧縮符号化された伴奏データおよび手本歌唱データを含む。
【００２６】
すなわち、カラオケトラックには、カラオケ伴奏音をサンプリングしてなる伴奏データが圧縮符号化されて格納され、ボーカルトラックには、例えばカラオケ伴奏音に同期して歌手が手本として歌唱した歌唱音をサンプリングしてなる手本歌唱データが圧縮符号化されて格納されている。
【００２７】
マイク１５は、入力されるユーザの歌唱音を歌唱音声信号に変換して出力する。コーデック１６は、マイク１５から供給される歌唱音声信号をＡ／Ｄ変換して得るユーザ歌唱データを、ＣＰＵ１０の制御の下に、ＲＡＭ１２のバッファエリアにストアする。また、コーデック１６は、ＣＰＵ１０の制御の下に、カラオケデータメモリ１３から読み出されるＭＰ３形式の手本歌唱データをデコード（伸長復号）してＲＡＭ１２のバッファエリアにストアする。なお、カラオケ実行中にＲＡＭ１２のバッファエリアにストアされるユーザ歌唱データおよび手本歌唱データは、それぞれ１０２４サンプリングポイント分のフレームに相当する２５６ｍｓｅｃ毎に更新される。
【００２８】
さらに、コーデック１６は、ＣＰＵ１０の制御の下に、カラオケデータメモリ１３から読み出されるＭＰ３形式の伴奏データをデコード（伸長復号）すると共に、デコードされた伴奏データをＤ／Ａ変換して得られるカラオケ伴奏音信号と、マイク１５から供給される歌唱音声信号とを混合してオーディオ出力を発生する。オーディオ出力は、例えば図示されていないテレビジョン受像機の外部音声入力端子に供給されて音声再生される。ビデオエンコーダ１７は、ＣＰＵ１０の制御の下に、カラオケデータメモリ１３から読み出される歌詞データを字幕表示用のビデオ出力に変換する。ビデオ出力は、例えば図示されていないテレビジョン受像機のビデオ入力端子に供給されて歌詞字幕として画面表示される。
【００２９】
Ｂ．動作
次に、図２〜図５を参照して、上記構成によるカラオケ装置の動作を説明する。以下では、ＣＰＵ１０が実行するカラオケ処理、部分採点処理およびＭＦＣＣ算出処理の各動作について述べる。
【００３０】
（１）カラオケ処理の動作
図２は、カラオケ処理の動作を示すフローチャートである。装置電源が投入されると、ＣＰＵ１０は、図２に示すステップＳＡ１に処理を進め、カラオケ開始指示があるまで待機する。ここで、スイッチ部１４に設けられるスタート／ストップスイッチの操作に応じてカラオケ開始指示が発生すると、ステップＳＡ１の判断結果が「ＹＥＳ」になり、次のステップＳＡ２に進む。
【００３１】
ステップＳＡ２では、曲選択スイッチの操作で予め選択される曲のカラオケデータ（歌詞データおよび音声データ）をカラオケデータメモリ１３から読み出し、読み出したカラオケデータ中の歌詞データをビデオエンコーダ１７に供給して歌詞字幕表示用のビデオ出力に変換する。また、ステップＳＡ２では、読み出したカラオケデータ中の音声データ、すなわちＭＰ３形式で圧縮符号化されたカラオケトラックの伴奏データおよびボーカルトラックの手本歌唱データをコーデック１６に供給してデコード（伸長復号）させる。
【００３２】
次いで、ステップＳＡ３では、上記ステップＳＡ２においてデコードされた伴奏データをＤ／Ａ変換して得られるカラオケ伴奏音信号と、マイク１５から供給される歌唱音声信号とを混合してオーディオ出力を発生するようコーデック１６に指示する。これにより、例えばテレビジョン受像機（不図示）の外部音声入力端子にオーディオ出力を、ビデオ入力端子にビデオ出力をそれぞれ供給すれば、歌詞字幕が画面表示されると共に、カラオケ伴奏音が再生される。
【００３３】
こうしてカラオケ伴奏が始ると、ＣＰＵ１０はステップＳＡ４に処理を進め、上記ステップＳＡ２においてコーデック１６がデコードした手本歌唱データをＲＡＭ１２のバッファエリアにストアし、続くステップＳＡ５では、コーデック１６が発生するユーザ歌唱データをＲＡＭ１２のバッファエリアにストアする。
【００３４】
そして、ステップＳＡ６では、ＲＡＭ１２にバッファリングされた１０２４サンプリングポイント分の手本歌唱データおよびユーザ歌唱データからそれぞれ抽出する両者の音声特徴量ＭＦＣＣに基づき、手本歌唱音（手本歌唱データ）に対するユーザ歌唱音（ユーザ歌唱データ）の類似度を算出し、算出した類似度に応じて適否判定した結果に基づき歌唱採点する部分採点処理（後述する）を実行する。なお、部分採点処理は、ＲＡＭ１２にバッファリングされる１０２４サンプリングポイント分のデータを使用する為、２５６ｍｓｅｃ毎に実行される。
【００３５】
次いで、ステップＳＡ７では、カラオケ停止指示の有無を判断する。カラオケ停止指示が無ければ、判断結果は「ＮＯ」になり、上述したステップＳＡ２に処理を戻す。以後、カラオケ伴奏が曲終端に達するか、あるいはスイッチ部１４のスタート／ストップスイッチの操作によってカラオケ停止指示が発生するまで上述したステップＳＡ２〜ＳＡ６を繰り返してカラオケ伴奏を進行させながら、ユーザ歌唱音を２５６ｍｓｅｃ毎に採点する。そして、例えばカラオケ伴奏が曲終端に達してカラオケ停止指示が発生すると、ステップＳＡ７の判断結果が「ＹＥＳ」になり、ステップＳＡ８に進み、採点処理を実行する。
【００３６】
採点処理では、フレームカウンタの数と楽曲全体のフレーム数の比率が一定値以上あるか否かを判定する。なお、フレームカウンタとは、後述するように、無音状態でない手本歌唱データのフレームを計数するカウンタである。また、フレームとは、１０２４サンプリングポイント毎（２５６ｍｓｅｃ毎）にバッファリングされるデータの区切りを指す。楽曲全体のフレーム数とは、手本歌唱データをフレームで除した数に相当する。
【００３７】
したがって、採点処理では、カラオケ伴奏される曲を一定比率以上歌唱したかどうかを判断し、一定比率以上歌唱していなければ、上記ステップＳＡ６の部分採点処理で得られる部分得点を無効とし、歌唱評価を零点と採点して次のステップＳＡ９に進む。
【００３８】
一方、カラオケ伴奏される曲を一定比率以上歌唱していれば、上記ステップＳＡ６の部分採点処理で得られる部分得点をフレームカウンタの数で除し、その値の百分率を点数データとして算出する。この後、ステップＳＡ９に進み、算出した点数データをビデオエンコーダ１７にてビデオ出力に変換することでユーザの歌唱点数を画面表示して本処理を終える。
【００３９】
（２）部分採点処理の動作
次に、図３を参照して部分採点処理の動作を説明する。上述したカラオケ処理のステップＳＡ６（図２参照）を介して本処理が実行されると、ＣＰＵ１０は図３に図示するステップＳＢ１に進み、ＲＡＭ１２のバッファエリアにストアされた１０２４サンプリングポイント分の手本歌唱データが無音状態であるかをチェックする。
【００４０】
続いて、ステップＳＢ２では、上記ステップＳＢ１のチェック結果に基づき、無音状態の手本歌唱データであるかどうかを判断する。無音状態の手本歌唱データであると、歌唱部分ではないと見做し、ここでの判断結果が「ＹＥＳ」となり、一旦本処理を完了させる。この場合、無音状態の手本歌唱データを含むフレームを破棄し、次フレームまで待機する。
【００４１】
一方、無音状態でない手本歌唱データならば、上記ステップＳＢ２の判断結果は「ＮＯ」になり、ステップＳＢ３に進む。ステップＳＢ３では、フレームカウンタをインクリメントして歩進させる。フレームカウンタとは、無音状態でない手本歌唱データのフレームを計数するカウンタであり、その値は曲の進行位置を表す。次いで、ステップＳＢ４では、手本歌唱データＭＦＣＣ算出処理を実行する。
【００４２】
ここで、図４を参照してＭＦＣＣ算出処理の動作を説明する。上記ステップＳＢ４を介してＭＦＣＣ算出処理が実行されると、ＣＰＵ１０は図４に図示するステップＳＣ１に処理を進め、ＲＡＭ１２のバッファエリアにストアされた無音状態でない１０２４サンプリングポイント分の手本歌唱データ（以下、入力信号と称す）に対し、低次のハイパスフィルタリングを施して直流分（バイアスノイズ）を除去する。続いて、ステップＳＣ２では、バイアス除去された入力信号にハニング窓をかけて高速フーリエ変換ＦＦＴを施すことによって、入力信号をスペクトル領域に変換する。
【００４３】
次いで、ステップＳＣ３では、スペクトル領域に変換された入力信号にフィルタバンク処理を施し、特徴量として用いられる２０次元のスペクトル系列を発生する。すなわち、このフィルタバンク処理では、図５に図示するように、周波数軸に対して対数尺度で幅をとった２０個の三角窓を備えるフィルタバンクを用いる。続いて、ステップＳＣ４では、線形領域にある２０次元のスペクトル系列を対数スペクトル系列に変換する対数化処理を行う。そして、ステップＳＣ４では、対数スペクトル系列に離散コサイン変換ＤＣＴを施してケプストラム領域に変換するＤＣＴ処理を実行する。
【００４４】
次に、ステップＳＣ６では、上記ステップＳＣ５のＤＣＴ処理で得られたＤＣＴ係数の内からスペクトル直流成分である最低次の係数Ｃ0を除いた低次から１２個の係数を、ケプストラム領域の音声特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）として抽出する係数抽出処理を実行した後、本処理を完了させて図３に図示する部分採点処理に復帰する。
【００４５】
以上のように、ステップＳＢ４の手本歌唱データＭＦＣＣ算出処理では、ＲＡＭ１２のバッファエリアにストアされた無音状態でない１０２４サンプリングポイント分の手本歌唱データからケプストラム領域の音声特徴量ＭＦＣＣを算出するようになっている。
【００４６】
この後、図３に図示するステップＳＢ５に進み、ＲＡＭ１２のバッファエリアにストアされた１０２４サンプリングポイント分のユーザ歌唱データが無音状態であるかをチェックする。そして、ステップＳＢ６では、上記ステップＳＢ５のチェック結果に基づき、無音状態のユーザ歌唱データであるかどうかを判断する。無音状態のユーザ歌唱データであると、歌唱部分ではないと見做して判断結果が「ＹＥＳ」となり、一旦本処理を完了させる。この場合、無音状態のユーザ歌唱データを含むフレームを破棄し、次フレームまで待機する。
【００４７】
一方、無音状態でないユーザ歌唱データならば、上記ステップＳＢ６の判断結果が「ＮＯ」になり、ステップＳＢ７に進む。ステップＳＢ７では、ユーザ歌唱データＭＦＣＣ算出処理を実行する。ユーザ歌唱データＭＦＣＣ算出処理では、上述したステップＳＢ４と同様、ＲＡＭ１２のバッファエリアにストアされた無音状態でない１０２４サンプリングポイント分のユーザ歌唱データから音声特徴量ＭＦＣＣを算出する。
【００４８】
続いて、ステップＳＢ８では、上記ステップＳＢ４で算出した手本歌唱データの音声特徴量ＭＦＣＣと、上記ステップＳＢ７で算出したユーザ歌唱データの音声特徴量ＭＦＣＣとの類似度を測る尺度として、手本歌唱データの音声特徴量ＭＦＣＣを表すベクトルａ＝（ａ1，ａ2，…，ａ12）と、ユーザ歌唱データの音声特徴量ＭＦＣＣを表すベクトルｂ＝（ｂ1，ｂ2，…，ｂ12）との間のユークリッド距離ｄ（ａ，ｂ）を算出する。
【００４９】
次いで、ステップＳＢ９では、上記ステップＳＢ８にて算出したユークリッド距離ｄ（ａ，ｂ）が予め設定した閾値以下であるか否か、すなわち手本の歌唱音とユーザの歌唱音とが類似しているかどうかを判断する。上記ステップＳＢ８にて算出したユークリッド距離ｄ（ａ，ｂ）が閾値以上となり、手本の歌唱音とユーザの歌唱音との類似度が低い場合には、判断結果が「ＮＯ」となり、本処理を終える。
【００５０】
これに対し、上記ステップＳＢ８にて算出したユークリッド距離ｄ（ａ，ｂ）が閾値未満となり、手本の歌唱音とユーザの歌唱音との類似度が高い場合には、判断結果が「ＹＥＳ」となり、ステップＳＢ１０に進む。そして、ステップＳＢ１０では、採点対象としているフレームの採点結果を合格とし、部分得点をインクリメントして本処理を終える。
【００５１】
以上のように、本実施の形態では、カラオケ伴奏音をサンプリングした伴奏データと、歌手が手本として歌唱した歌唱音をサンプリングした手本歌唱データとをカラオケデータメモリ１３に記憶しておき、カラオケ開始指示に応じて、カラオケデータメモリ１３から伴奏データを読み出してカラオケ伴奏音を再生すると、再生されるカラオケ伴奏音に合せてユーザが歌唱する歌唱音をサンプリングして得たユーザ歌唱データと、上記伴奏データに同期してカラオケデータメモリ１３から読み出される手本歌唱データとを所定のデータ数分のフレームで区切り、区切られたフレーム中の手本歌唱データから手本歌唱音の音声特徴量ＭＦＣＣを、ユーザ歌唱データからユーザ歌唱音の音声特徴量ＭＦＣＣをそれぞれ抽出する。
【００５２】
そして、抽出した手本歌唱音の音声特徴量ＭＦＣＣおよびユーザ歌唱音の音声特徴量ＭＦＣＣに基づき手本歌唱音に対するユーザ歌唱音の類似度を算出して適否判定し、その結果に基づき歌唱採点するので、曲の歌詞が正しく歌唱されているかどうかを歌唱採点できる。この結果、明確なメロディーを持たない「ラップ」と呼ばれるスタイルのカラオケ曲であっても歌唱採点し得るようになる。
【００５３】
また、本実施の形態では、ユーザが歌唱したフレームの数と、カラオケ曲中で手本歌唱データが存在するフレームの数との比をとり、その比が一定値以上ある場合にのみ歌唱採点するので、演奏時間が非常に短い曲であっても歌唱採点することが可能になる。
【００５４】
なお、上述した実施形態では、音声特徴量ＭＦＣＣに基づき手本歌唱音に対するユーザ歌唱音の類似度を算出して歌唱採点したが、これに加えて、従来のピッチ抽出による歌唱採点方式を併用する態様としてもよい。例えば、カラオケ曲の伴奏データにメロディ部分とラップ部分とが混在する場合には、当該伴奏データ中にメロディ部分とラップ部分とを区別する識別フラグを設けておき、この識別フラグを参照してメロディ部分の伴奏データが再生される時にはピッチ抽出して歌唱採点を行い、一方、ラップ部分の伴奏データが再生される時には音声特徴量ＭＦＣＣを抽出して歌唱採点を行う態様となる。このようにすれば、ユーザ歌唱音の音高の適否と、歌唱した歌詞の適否とを同時に判定することができる。
【００５５】
また、上述した実施形態では、音声の特徴量を表すパラメータとして、ケプストラム領域の特徴量であるＭＦＣＣ（Mel Frequency Cepstrum Coefficient）を抽出するようにしたが、これに替えて、ＬＰＣケプストラム等の他の特徴パラメータを抽出する態様としても構わない。
【００５６】
加えて、本実施形態では、手本歌唱データの音声特徴量ＭＦＣＣと、ユーザ歌唱データの音声特徴量ＭＦＣＣとの類似度を測る尺度として、手本歌唱データの音声特徴量ＭＦＣＣを表すベクトルａ＝（ａ1，ａ2，…，ａ12）と、ユーザ歌唱データの音声特徴量ＭＦＣＣを表すベクトルｂ＝（ｂ1，ｂ2，…，ｂ12）との間のユークリッド距離ｄ（ａ，ｂ）を算出するようにしたが、これに限らず、例えば板倉距離などの他の尺度で類似度を算出しても構わない。
【００５７】
また、上述した実施形態では、カラオケ伴奏音の再生に同期してカラオケデータメモリ１３から読み出される手本歌唱データを所定のデータ数分のフレームで区切り、区切られたフレーム毎の音声特徴量ＭＦＣＣを抽出するようにしたが、これに替えて、予め手本歌唱データからフレーム毎の音声特徴量ＭＦＣＣを算出し、これを手本歌唱データの替わりにカラオケデータメモリ１３に記憶しておくこともできる。このようにすれば、前述したステップＳＢ４（図３参照）の手本歌唱データＭＦＣＣ算出処理を不要にし、ＣＰＵ１０の処理負荷低減を図ることができる。
【符号の説明】
【００５８】
１０ ＣＰＵ
１１ プログラムＲＯＭ
１２ ＲＡＭ
１３ カラオケデータメモリ
１４ スイッチ部
１５ マイク
１６ コーデック
１７ ビデオエンコーダ
【技術分野】
【０００１】
本発明は、カラオケ装置に用いて好適な歌唱採点装置および歌唱採点プログラムに関する。
【背景技術】
【０００２】
カラオケ伴奏の主旋律パートを構成する各音符の音高および発音タイミングを採点基準とし、この採点基準に対して歌唱者の歌声から抽出したピッチを比較することで歌唱採点する歌唱採点装置を備えたカラオケ装置が各種開発されている。この種の装置については、例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１９４７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１に開示の技術のように、採点基準と歌唱ピッチとを比較して採点する方式では、明確なメロディーを持たない「ラップ」と呼ばれるスタイルのカラオケ曲であると、採点基準が存在しないことから歌唱採点することができない、という問題がある。
【０００５】
また、採点基準と歌唱ピッチとを比較して採点する方式であっても、カラオケ曲の一部分のみを丁寧に歌唱してカラオケ伴奏を停止させると、その一部分のみについて歌唱採点されることから、高得点を得ることが出来てしまう弊害もある。そうした弊害を回避するには、一定時間以上歌唱し続けなければ、得点が無効になるようにすれば良いが、そのようにすると、今度は非常に短い曲では全て歌唱しても採点されなくなるという問題が生じる。
【０００６】
本発明は、このような事情に鑑みてなされたもので、メロディーが無い曲や、演奏時間が非常に短い曲であっても歌唱採点することができる歌唱採点装置および歌唱採点プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１に記載の発明では、手本として歌唱された手本歌唱音の音声特徴量を抽出する第１の特徴抽出手段と、ユーザが歌唱するユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出手段と、前記第１および第２の特徴抽出手段によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する採点手段とを具備することを特徴とする。
【０００８】
上記請求項１に従属する請求項２に記載の発明では、前記第１および第２の特徴抽出手段が抽出する音声特徴量は、ケプストラム領域の特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）であることを特徴とする。
【０００９】
上記請求項１に従属する請求項３に記載の発明では、前記類似度算出手段は、手本歌唱音の音声特徴量を表す第１のベクトルと、ユーザ歌唱音の音声特徴量を表す第２のベクトルとの間のユークリッド距離を類似度として算出することを特徴とする。
【００１０】
請求項４に記載の発明では、カラオケ曲の再生に同期して発生するデータであって、手本として歌唱された手本歌唱音を表す手本歌唱音データと、再生されるカラオケ曲に合せてユーザが歌唱するユーザ歌唱音から得たユーザ歌唱データとを所定データ数毎に区切りフレーム化するフレーム化手段と、前記フレーム化手段によりフレーム化された所定データ数分の手本歌唱音データから手本歌唱音の音声特徴量を抽出する第１の特徴抽出手段と、前記フレーム化手段によりフレーム化された所定データ数分のユーザ歌唱データからユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出手段と、前記第１および第２の特徴抽出手段によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否をフレーム毎に判定する判定手段と、前記判定手段がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点する採点手段とを具備することを特徴とする。
【００１１】
上記請求項４に従属する請求項５に記載の発明では、前記採点手段は、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、前記判定手段がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点することを特徴とする。
【００１２】
請求項６に記載の発明では、カラオケ曲のメロディ部分とラップ部分とを識別して再生可能なカラオケ装置において、カラオケ曲のメロディ部分が再生される場合に、ユーザが歌唱するユーザ歌唱音のピッチを抽出し、抽出したピッチと再生されるメロディ部分のピッチとを比較してユーザ歌唱音の適否を判定して採点する第１の採点手段と、カラオケ曲のラップ部分が再生される場合に、手本として歌唱される手本歌唱音の音声特徴量およびユーザが歌唱するユーザ歌唱音の音声特徴量を各々抽出し、抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する第２の採点手段とを具備することを特徴とする。
【００１３】
請求項７に記載の発明では、手本として歌唱された手本歌唱音の音声特徴量を抽出する第１の特徴抽出処理と、ユーザが歌唱するユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出処理と、前記第１および第２の特徴抽出処理によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出処理と、前記類似度算出処理により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する採点処理とをコンピュータで実行させることを特徴とする。
【００１４】
上記請求項７に従属する請求項８に記載の発明では、前記第１および第２の特徴抽出処理により抽出される音声特徴量は、ケプストラム領域の特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）であることを特徴とする。
【００１５】
上記請求項７に従属する請求項９に記載の発明では、前記類似度算出処理は、手本歌唱音の音声特徴量を表す第１のベクトルと、ユーザ歌唱音の音声特徴量を表す第２のベクトルとの間のユークリッド距離を類似度として算出することを特徴とする。
【００１６】
請求項１０に記載の発明では、カラオケ曲の再生に同期して発生するデータであって、手本として歌唱された手本歌唱音を表す手本歌唱音データと、再生されるカラオケ曲に合せてユーザが歌唱するユーザ歌唱音から得たユーザ歌唱データとを所定データ数毎に区切りフレーム化するフレーム化処理と、前記フレーム化処理によりフレーム化された所定データ数分の手本歌唱音データから手本歌唱音の音声特徴量を抽出する第１の特徴抽出処理と、前記フレーム化処理によりフレーム化された所定データ数分のユーザ歌唱データからユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出処理と、前記第１および第２の特徴抽出処理によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出処理と、前記類似度算出処理により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否をフレーム毎に判定する判定処理と、前記判定処理がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点する採点処理とをコンピュータで実行させることを特徴とする。
【００１７】
上記請求項１０に従属する請求項１１に記載の発明では、前記採点処理は、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、前記判定処理がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点することを特徴とする。
【００１８】
請求項１２に記載の発明では、カラオケ曲のメロディ部分とラップ部分とを識別して再生可能なカラオケ装置に適用されるプログラムであって、カラオケ曲のメロディ部分が再生される場合に、ユーザが歌唱するユーザ歌唱音のピッチを抽出し、抽出したピッチと再生されるメロディ部分のピッチとを比較してユーザ歌唱音の適否を判定して採点する第１の採点処理と、カラオケ曲のラップ部分が再生される場合に、手本として歌唱された手本歌唱音の音声特徴量およびユーザが歌唱するユーザ歌唱音の音声特徴量を各々抽出し、抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する第２の採点処理とをコンピュータで実行させることを特徴とする。
【発明の効果】
【００１９】
本発明では、手本として歌唱された手本歌唱音から抽出した音声特徴量と、ユーザが歌唱するユーザ歌唱音から抽出した音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点するので、曲の歌詞が正しく歌唱されているかどうかを歌唱採点できる。したがって、明確なメロディーを持たない「ラップ」と呼ばれるスタイルのカラオケ曲であっても歌唱採点することができる。
【００２０】
また、本発明では、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、フレーム毎に適否判定した結果に基づきユーザの歌唱を採点するので、演奏時間が非常に短い曲であっても歌唱採点することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明による実施の一形態の構成を示すブロック図である。
【図２】カラオケ処理の動作を示すフローチャートである。
【図３】部分採点処理の動作を示すフローチャートである。
【図４】ＭＦＣＣ算出処理の動作を示すフローチャートである。
【図５】フィルタバンクの一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態について説明する。
Ａ．構成
図１は、本発明の実施の一形態による歌唱採点装置を備えたカラオケ装置の構成を示すブロック図である。この図において、ＣＰＵ１０は、スイッチ部１４から供給されるスイッチイベントに応じて、プログラムＲＯＭ１１に記憶される所定のプログラムを実行して装置各部を制御する。本発明の要旨に係わるＣＰＵ１０の特徴的な処理動作（カラオケ処理、部分採点処理およびＭＦＣＣ算出処理）については追って述べる。
【００２３】
プログラムＲＯＭ１１には、ＣＰＵ１０により実行される各種プログラムや制御データが記憶される。プログラムＲＯＭ１１に記憶される各種プログラムとは、後述する「カラオケ処理」、「部分採点処理」および「ＭＦＣＣ算出処理」を含む。ＲＡＭ１２は、ワークエリアおよびバッファエリアを備える。ＲＡＭ１２のワークエリアには、ＣＰＵ１０の処理に用いる各種レジスタ・フラグデータが一時記憶される。ＲＡＭ１２のバッファエリアには、後述する手本歌唱データおよびユーザ歌唱データが一時記憶される。
【００２４】
カラオケデータメモリ１３は、例えばフラッシュメモリなど電気的に書き換え可能な不揮発性メモリから構成され、複数の曲のカラオケデータを記憶する。スイッチ部１４には、例えば電源スイッチの他、カラオケ伴奏する曲を選択する曲選択スイッチや、カラオケの開始／停止を指示するスタート／ストップスイッチ等の各種スイッチを備え、これらスイッチ操作に応じたスイッチイベントを発生してＣＰＵ１０に供給する。スイッチ部１４のスタート／ストップスイッチの操作によってカラオケが開始された場合、ＣＰＵ１０は曲選択スイッチの操作で予め選択される曲のカラオケデータをカラオケデータメモリ１３から読み出すようになっている。
【００２５】
カラオケデータメモリ１３に記憶される１つの曲のカラオケデータは、歌詞データおよび音声データから構成される。歌詞データは、カラオケ伴奏に同期して曲の歌詞を字幕表示させるための情報である。音声データは、カラオケトラックおよびボーカルトラックを有するデュアルモノラルモードでＭＰ３形式に圧縮符号化された伴奏データおよび手本歌唱データを含む。
【００２６】
すなわち、カラオケトラックには、カラオケ伴奏音をサンプリングしてなる伴奏データが圧縮符号化されて格納され、ボーカルトラックには、例えばカラオケ伴奏音に同期して歌手が手本として歌唱した歌唱音をサンプリングしてなる手本歌唱データが圧縮符号化されて格納されている。
【００２７】
マイク１５は、入力されるユーザの歌唱音を歌唱音声信号に変換して出力する。コーデック１６は、マイク１５から供給される歌唱音声信号をＡ／Ｄ変換して得るユーザ歌唱データを、ＣＰＵ１０の制御の下に、ＲＡＭ１２のバッファエリアにストアする。また、コーデック１６は、ＣＰＵ１０の制御の下に、カラオケデータメモリ１３から読み出されるＭＰ３形式の手本歌唱データをデコード（伸長復号）してＲＡＭ１２のバッファエリアにストアする。なお、カラオケ実行中にＲＡＭ１２のバッファエリアにストアされるユーザ歌唱データおよび手本歌唱データは、それぞれ１０２４サンプリングポイント分のフレームに相当する２５６ｍｓｅｃ毎に更新される。
【００２８】
さらに、コーデック１６は、ＣＰＵ１０の制御の下に、カラオケデータメモリ１３から読み出されるＭＰ３形式の伴奏データをデコード（伸長復号）すると共に、デコードされた伴奏データをＤ／Ａ変換して得られるカラオケ伴奏音信号と、マイク１５から供給される歌唱音声信号とを混合してオーディオ出力を発生する。オーディオ出力は、例えば図示されていないテレビジョン受像機の外部音声入力端子に供給されて音声再生される。ビデオエンコーダ１７は、ＣＰＵ１０の制御の下に、カラオケデータメモリ１３から読み出される歌詞データを字幕表示用のビデオ出力に変換する。ビデオ出力は、例えば図示されていないテレビジョン受像機のビデオ入力端子に供給されて歌詞字幕として画面表示される。
【００２９】
Ｂ．動作
次に、図２〜図５を参照して、上記構成によるカラオケ装置の動作を説明する。以下では、ＣＰＵ１０が実行するカラオケ処理、部分採点処理およびＭＦＣＣ算出処理の各動作について述べる。
【００３０】
（１）カラオケ処理の動作
図２は、カラオケ処理の動作を示すフローチャートである。装置電源が投入されると、ＣＰＵ１０は、図２に示すステップＳＡ１に処理を進め、カラオケ開始指示があるまで待機する。ここで、スイッチ部１４に設けられるスタート／ストップスイッチの操作に応じてカラオケ開始指示が発生すると、ステップＳＡ１の判断結果が「ＹＥＳ」になり、次のステップＳＡ２に進む。
【００３１】
ステップＳＡ２では、曲選択スイッチの操作で予め選択される曲のカラオケデータ（歌詞データおよび音声データ）をカラオケデータメモリ１３から読み出し、読み出したカラオケデータ中の歌詞データをビデオエンコーダ１７に供給して歌詞字幕表示用のビデオ出力に変換する。また、ステップＳＡ２では、読み出したカラオケデータ中の音声データ、すなわちＭＰ３形式で圧縮符号化されたカラオケトラックの伴奏データおよびボーカルトラックの手本歌唱データをコーデック１６に供給してデコード（伸長復号）させる。
【００３２】
次いで、ステップＳＡ３では、上記ステップＳＡ２においてデコードされた伴奏データをＤ／Ａ変換して得られるカラオケ伴奏音信号と、マイク１５から供給される歌唱音声信号とを混合してオーディオ出力を発生するようコーデック１６に指示する。これにより、例えばテレビジョン受像機（不図示）の外部音声入力端子にオーディオ出力を、ビデオ入力端子にビデオ出力をそれぞれ供給すれば、歌詞字幕が画面表示されると共に、カラオケ伴奏音が再生される。
【００３３】
こうしてカラオケ伴奏が始ると、ＣＰＵ１０はステップＳＡ４に処理を進め、上記ステップＳＡ２においてコーデック１６がデコードした手本歌唱データをＲＡＭ１２のバッファエリアにストアし、続くステップＳＡ５では、コーデック１６が発生するユーザ歌唱データをＲＡＭ１２のバッファエリアにストアする。
【００３４】
そして、ステップＳＡ６では、ＲＡＭ１２にバッファリングされた１０２４サンプリングポイント分の手本歌唱データおよびユーザ歌唱データからそれぞれ抽出する両者の音声特徴量ＭＦＣＣに基づき、手本歌唱音（手本歌唱データ）に対するユーザ歌唱音（ユーザ歌唱データ）の類似度を算出し、算出した類似度に応じて適否判定した結果に基づき歌唱採点する部分採点処理（後述する）を実行する。なお、部分採点処理は、ＲＡＭ１２にバッファリングされる１０２４サンプリングポイント分のデータを使用する為、２５６ｍｓｅｃ毎に実行される。
【００３５】
次いで、ステップＳＡ７では、カラオケ停止指示の有無を判断する。カラオケ停止指示が無ければ、判断結果は「ＮＯ」になり、上述したステップＳＡ２に処理を戻す。以後、カラオケ伴奏が曲終端に達するか、あるいはスイッチ部１４のスタート／ストップスイッチの操作によってカラオケ停止指示が発生するまで上述したステップＳＡ２〜ＳＡ６を繰り返してカラオケ伴奏を進行させながら、ユーザ歌唱音を２５６ｍｓｅｃ毎に採点する。そして、例えばカラオケ伴奏が曲終端に達してカラオケ停止指示が発生すると、ステップＳＡ７の判断結果が「ＹＥＳ」になり、ステップＳＡ８に進み、採点処理を実行する。
【００３６】
採点処理では、フレームカウンタの数と楽曲全体のフレーム数の比率が一定値以上あるか否かを判定する。なお、フレームカウンタとは、後述するように、無音状態でない手本歌唱データのフレームを計数するカウンタである。また、フレームとは、１０２４サンプリングポイント毎（２５６ｍｓｅｃ毎）にバッファリングされるデータの区切りを指す。楽曲全体のフレーム数とは、手本歌唱データをフレームで除した数に相当する。
【００３７】
したがって、採点処理では、カラオケ伴奏される曲を一定比率以上歌唱したかどうかを判断し、一定比率以上歌唱していなければ、上記ステップＳＡ６の部分採点処理で得られる部分得点を無効とし、歌唱評価を零点と採点して次のステップＳＡ９に進む。
【００３８】
一方、カラオケ伴奏される曲を一定比率以上歌唱していれば、上記ステップＳＡ６の部分採点処理で得られる部分得点をフレームカウンタの数で除し、その値の百分率を点数データとして算出する。この後、ステップＳＡ９に進み、算出した点数データをビデオエンコーダ１７にてビデオ出力に変換することでユーザの歌唱点数を画面表示して本処理を終える。
【００３９】
（２）部分採点処理の動作
次に、図３を参照して部分採点処理の動作を説明する。上述したカラオケ処理のステップＳＡ６（図２参照）を介して本処理が実行されると、ＣＰＵ１０は図３に図示するステップＳＢ１に進み、ＲＡＭ１２のバッファエリアにストアされた１０２４サンプリングポイント分の手本歌唱データが無音状態であるかをチェックする。
【００４０】
続いて、ステップＳＢ２では、上記ステップＳＢ１のチェック結果に基づき、無音状態の手本歌唱データであるかどうかを判断する。無音状態の手本歌唱データであると、歌唱部分ではないと見做し、ここでの判断結果が「ＹＥＳ」となり、一旦本処理を完了させる。この場合、無音状態の手本歌唱データを含むフレームを破棄し、次フレームまで待機する。
【００４１】
一方、無音状態でない手本歌唱データならば、上記ステップＳＢ２の判断結果は「ＮＯ」になり、ステップＳＢ３に進む。ステップＳＢ３では、フレームカウンタをインクリメントして歩進させる。フレームカウンタとは、無音状態でない手本歌唱データのフレームを計数するカウンタであり、その値は曲の進行位置を表す。次いで、ステップＳＢ４では、手本歌唱データＭＦＣＣ算出処理を実行する。
【００４２】
ここで、図４を参照してＭＦＣＣ算出処理の動作を説明する。上記ステップＳＢ４を介してＭＦＣＣ算出処理が実行されると、ＣＰＵ１０は図４に図示するステップＳＣ１に処理を進め、ＲＡＭ１２のバッファエリアにストアされた無音状態でない１０２４サンプリングポイント分の手本歌唱データ（以下、入力信号と称す）に対し、低次のハイパスフィルタリングを施して直流分（バイアスノイズ）を除去する。続いて、ステップＳＣ２では、バイアス除去された入力信号にハニング窓をかけて高速フーリエ変換ＦＦＴを施すことによって、入力信号をスペクトル領域に変換する。
【００４３】
次いで、ステップＳＣ３では、スペクトル領域に変換された入力信号にフィルタバンク処理を施し、特徴量として用いられる２０次元のスペクトル系列を発生する。すなわち、このフィルタバンク処理では、図５に図示するように、周波数軸に対して対数尺度で幅をとった２０個の三角窓を備えるフィルタバンクを用いる。続いて、ステップＳＣ４では、線形領域にある２０次元のスペクトル系列を対数スペクトル系列に変換する対数化処理を行う。そして、ステップＳＣ４では、対数スペクトル系列に離散コサイン変換ＤＣＴを施してケプストラム領域に変換するＤＣＴ処理を実行する。
【００４４】
次に、ステップＳＣ６では、上記ステップＳＣ５のＤＣＴ処理で得られたＤＣＴ係数の内からスペクトル直流成分である最低次の係数Ｃ0を除いた低次から１２個の係数を、ケプストラム領域の音声特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）として抽出する係数抽出処理を実行した後、本処理を完了させて図３に図示する部分採点処理に復帰する。
【００４５】
以上のように、ステップＳＢ４の手本歌唱データＭＦＣＣ算出処理では、ＲＡＭ１２のバッファエリアにストアされた無音状態でない１０２４サンプリングポイント分の手本歌唱データからケプストラム領域の音声特徴量ＭＦＣＣを算出するようになっている。
【００４６】
この後、図３に図示するステップＳＢ５に進み、ＲＡＭ１２のバッファエリアにストアされた１０２４サンプリングポイント分のユーザ歌唱データが無音状態であるかをチェックする。そして、ステップＳＢ６では、上記ステップＳＢ５のチェック結果に基づき、無音状態のユーザ歌唱データであるかどうかを判断する。無音状態のユーザ歌唱データであると、歌唱部分ではないと見做して判断結果が「ＹＥＳ」となり、一旦本処理を完了させる。この場合、無音状態のユーザ歌唱データを含むフレームを破棄し、次フレームまで待機する。
【００４７】
一方、無音状態でないユーザ歌唱データならば、上記ステップＳＢ６の判断結果が「ＮＯ」になり、ステップＳＢ７に進む。ステップＳＢ７では、ユーザ歌唱データＭＦＣＣ算出処理を実行する。ユーザ歌唱データＭＦＣＣ算出処理では、上述したステップＳＢ４と同様、ＲＡＭ１２のバッファエリアにストアされた無音状態でない１０２４サンプリングポイント分のユーザ歌唱データから音声特徴量ＭＦＣＣを算出する。
【００４８】
続いて、ステップＳＢ８では、上記ステップＳＢ４で算出した手本歌唱データの音声特徴量ＭＦＣＣと、上記ステップＳＢ７で算出したユーザ歌唱データの音声特徴量ＭＦＣＣとの類似度を測る尺度として、手本歌唱データの音声特徴量ＭＦＣＣを表すベクトルａ＝（ａ1，ａ2，…，ａ12）と、ユーザ歌唱データの音声特徴量ＭＦＣＣを表すベクトルｂ＝（ｂ1，ｂ2，…，ｂ12）との間のユークリッド距離ｄ（ａ，ｂ）を算出する。
【００４９】
次いで、ステップＳＢ９では、上記ステップＳＢ８にて算出したユークリッド距離ｄ（ａ，ｂ）が予め設定した閾値以下であるか否か、すなわち手本の歌唱音とユーザの歌唱音とが類似しているかどうかを判断する。上記ステップＳＢ８にて算出したユークリッド距離ｄ（ａ，ｂ）が閾値以上となり、手本の歌唱音とユーザの歌唱音との類似度が低い場合には、判断結果が「ＮＯ」となり、本処理を終える。
【００５０】
これに対し、上記ステップＳＢ８にて算出したユークリッド距離ｄ（ａ，ｂ）が閾値未満となり、手本の歌唱音とユーザの歌唱音との類似度が高い場合には、判断結果が「ＹＥＳ」となり、ステップＳＢ１０に進む。そして、ステップＳＢ１０では、採点対象としているフレームの採点結果を合格とし、部分得点をインクリメントして本処理を終える。
【００５１】
以上のように、本実施の形態では、カラオケ伴奏音をサンプリングした伴奏データと、歌手が手本として歌唱した歌唱音をサンプリングした手本歌唱データとをカラオケデータメモリ１３に記憶しておき、カラオケ開始指示に応じて、カラオケデータメモリ１３から伴奏データを読み出してカラオケ伴奏音を再生すると、再生されるカラオケ伴奏音に合せてユーザが歌唱する歌唱音をサンプリングして得たユーザ歌唱データと、上記伴奏データに同期してカラオケデータメモリ１３から読み出される手本歌唱データとを所定のデータ数分のフレームで区切り、区切られたフレーム中の手本歌唱データから手本歌唱音の音声特徴量ＭＦＣＣを、ユーザ歌唱データからユーザ歌唱音の音声特徴量ＭＦＣＣをそれぞれ抽出する。
【００５２】
そして、抽出した手本歌唱音の音声特徴量ＭＦＣＣおよびユーザ歌唱音の音声特徴量ＭＦＣＣに基づき手本歌唱音に対するユーザ歌唱音の類似度を算出して適否判定し、その結果に基づき歌唱採点するので、曲の歌詞が正しく歌唱されているかどうかを歌唱採点できる。この結果、明確なメロディーを持たない「ラップ」と呼ばれるスタイルのカラオケ曲であっても歌唱採点し得るようになる。
【００５３】
また、本実施の形態では、ユーザが歌唱したフレームの数と、カラオケ曲中で手本歌唱データが存在するフレームの数との比をとり、その比が一定値以上ある場合にのみ歌唱採点するので、演奏時間が非常に短い曲であっても歌唱採点することが可能になる。
【００５４】
なお、上述した実施形態では、音声特徴量ＭＦＣＣに基づき手本歌唱音に対するユーザ歌唱音の類似度を算出して歌唱採点したが、これに加えて、従来のピッチ抽出による歌唱採点方式を併用する態様としてもよい。例えば、カラオケ曲の伴奏データにメロディ部分とラップ部分とが混在する場合には、当該伴奏データ中にメロディ部分とラップ部分とを区別する識別フラグを設けておき、この識別フラグを参照してメロディ部分の伴奏データが再生される時にはピッチ抽出して歌唱採点を行い、一方、ラップ部分の伴奏データが再生される時には音声特徴量ＭＦＣＣを抽出して歌唱採点を行う態様となる。このようにすれば、ユーザ歌唱音の音高の適否と、歌唱した歌詞の適否とを同時に判定することができる。
【００５５】
また、上述した実施形態では、音声の特徴量を表すパラメータとして、ケプストラム領域の特徴量であるＭＦＣＣ（Mel Frequency Cepstrum Coefficient）を抽出するようにしたが、これに替えて、ＬＰＣケプストラム等の他の特徴パラメータを抽出する態様としても構わない。
【００５６】
加えて、本実施形態では、手本歌唱データの音声特徴量ＭＦＣＣと、ユーザ歌唱データの音声特徴量ＭＦＣＣとの類似度を測る尺度として、手本歌唱データの音声特徴量ＭＦＣＣを表すベクトルａ＝（ａ1，ａ2，…，ａ12）と、ユーザ歌唱データの音声特徴量ＭＦＣＣを表すベクトルｂ＝（ｂ1，ｂ2，…，ｂ12）との間のユークリッド距離ｄ（ａ，ｂ）を算出するようにしたが、これに限らず、例えば板倉距離などの他の尺度で類似度を算出しても構わない。
【００５７】
また、上述した実施形態では、カラオケ伴奏音の再生に同期してカラオケデータメモリ１３から読み出される手本歌唱データを所定のデータ数分のフレームで区切り、区切られたフレーム毎の音声特徴量ＭＦＣＣを抽出するようにしたが、これに替えて、予め手本歌唱データからフレーム毎の音声特徴量ＭＦＣＣを算出し、これを手本歌唱データの替わりにカラオケデータメモリ１３に記憶しておくこともできる。このようにすれば、前述したステップＳＢ４（図３参照）の手本歌唱データＭＦＣＣ算出処理を不要にし、ＣＰＵ１０の処理負荷低減を図ることができる。
【符号の説明】
【００５８】
１０ ＣＰＵ
１１ プログラムＲＯＭ
１２ ＲＡＭ
１３ カラオケデータメモリ
１４ スイッチ部
１５ マイク
１６ コーデック
１７ ビデオエンコーダ
【特許請求の範囲】
【請求項１】
手本として歌唱された手本歌唱音の音声特徴量を抽出する第１の特徴抽出手段と、
ユーザが歌唱するユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出手段と、
前記第１および第２の特徴抽出手段によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する採点手段と
を具備することを特徴とする歌唱採点装置。
【請求項２】
前記第１および第２の特徴抽出手段が抽出する音声特徴量は、ケプストラム領域の特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）であることを特徴とする請求項１記載の歌唱採点装置。
【請求項３】
前記類似度算出手段は、手本歌唱音の音声特徴量を表す第１のベクトルと、ユーザ歌唱音の音声特徴量を表す第２のベクトルとの間のユークリッド距離を類似度として算出することを特徴とする請求項１記載の歌唱採点装置。
【請求項４】
カラオケ曲の再生に同期して発生するデータであって、手本として歌唱された手本歌唱音を表す手本歌唱音データと、再生されるカラオケ曲に合せてユーザが歌唱するユーザ歌唱音から得たユーザ歌唱データとを所定データ数毎に区切りフレーム化するフレーム化手段と、
前記フレーム化手段によりフレーム化された所定データ数分の手本歌唱音データから手本歌唱音の音声特徴量を抽出する第１の特徴抽出手段と、
前記フレーム化手段によりフレーム化された所定データ数分のユーザ歌唱データからユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出手段と、
前記第１および第２の特徴抽出手段によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否をフレーム毎に判定する判定手段と、
前記判定手段がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点する採点手段と
を具備することを特徴とする歌唱採点装置。
【請求項５】
前記採点手段は、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、前記判定手段がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点することを特徴とする請求項４記載の歌唱採点装置。
【請求項６】
カラオケ曲のメロディ部分とラップ部分とを識別して再生可能なカラオケ装置において、
カラオケ曲のメロディ部分が再生される場合に、ユーザが歌唱するユーザ歌唱音のピッチを抽出し、抽出したピッチと再生されるメロディ部分のピッチとを比較してユーザ歌唱音の適否を判定して採点する第１の採点手段と、
カラオケ曲のラップ部分が再生される場合に、手本として歌唱される手本歌唱音の音声特徴量およびユーザが歌唱するユーザ歌唱音の音声特徴量を各々抽出し、抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する第２の採点手段と
を具備することを特徴とする歌唱採点装置。
【請求項７】
手本として歌唱された手本歌唱音の音声特徴量を抽出する第１の特徴抽出処理と、
ユーザが歌唱するユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出処理と、
前記第１および第２の特徴抽出処理によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出処理と、
前記類似度算出処理により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する採点処理と
をコンピュータで実行させることを特徴とする歌唱採点プログラム。
【請求項８】
前記第１および第２の特徴抽出処理により抽出される音声特徴量は、ケプストラム領域の特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）であることを特徴とする請求項７記載の歌唱採点プログラム。
【請求項９】
前記類似度算出処理は、手本歌唱音の音声特徴量を表す第１のベクトルと、ユーザ歌唱音の音声特徴量を表す第２のベクトルとの間のユークリッド距離を類似度として算出することを特徴とする請求項７記載の歌唱採点プログラム。
【請求項１０】
カラオケ曲の再生に同期して発生するデータであって、手本として歌唱された手本歌唱音を表す手本歌唱音データと、再生されるカラオケ曲に合せてユーザが歌唱するユーザ歌唱音から得たユーザ歌唱データとを所定データ数毎に区切りフレーム化するフレーム化処理と、
前記フレーム化処理によりフレーム化された所定データ数分の手本歌唱音データから手本歌唱音の音声特徴量を抽出する第１の特徴抽出処理と、
前記フレーム化処理によりフレーム化された所定データ数分のユーザ歌唱データからユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出処理と、
前記第１および第２の特徴抽出処理によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出処理と、
前記類似度算出処理により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否をフレーム毎に判定する判定処理と、
前記判定処理がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点する採点処理と
をコンピュータで実行させることを特徴とする歌唱採点プログラム。
【請求項１１】
前記採点処理は、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、前記判定処理がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点することを特徴とする請求項１０記載の歌唱採点プログラム。
【請求項１２】
カラオケ曲のメロディ部分とラップ部分とを識別して再生可能なカラオケ装置に適用されるプログラムであって、
カラオケ曲のメロディ部分が再生される場合に、ユーザが歌唱するユーザ歌唱音のピッチを抽出し、抽出したピッチと再生されるメロディ部分のピッチとを比較してユーザ歌唱音の適否を判定して採点する第１の採点処理と、
カラオケ曲のラップ部分が再生される場合に、手本として歌唱された手本歌唱音の音声特徴量およびユーザが歌唱するユーザ歌唱音の音声特徴量を各々抽出し、抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する第２の採点処理と
をコンピュータで実行させることを特徴とする歌唱採点プログラム。
【請求項１】
手本として歌唱された手本歌唱音の音声特徴量を抽出する第１の特徴抽出手段と、
ユーザが歌唱するユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出手段と、
前記第１および第２の特徴抽出手段によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する採点手段と
を具備することを特徴とする歌唱採点装置。
【請求項２】
前記第１および第２の特徴抽出手段が抽出する音声特徴量は、ケプストラム領域の特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）であることを特徴とする請求項１記載の歌唱採点装置。
【請求項３】
前記類似度算出手段は、手本歌唱音の音声特徴量を表す第１のベクトルと、ユーザ歌唱音の音声特徴量を表す第２のベクトルとの間のユークリッド距離を類似度として算出することを特徴とする請求項１記載の歌唱採点装置。
【請求項４】
カラオケ曲の再生に同期して発生するデータであって、手本として歌唱された手本歌唱音を表す手本歌唱音データと、再生されるカラオケ曲に合せてユーザが歌唱するユーザ歌唱音から得たユーザ歌唱データとを所定データ数毎に区切りフレーム化するフレーム化手段と、
前記フレーム化手段によりフレーム化された所定データ数分の手本歌唱音データから手本歌唱音の音声特徴量を抽出する第１の特徴抽出手段と、
前記フレーム化手段によりフレーム化された所定データ数分のユーザ歌唱データからユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出手段と、
前記第１および第２の特徴抽出手段によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否をフレーム毎に判定する判定手段と、
前記判定手段がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点する採点手段と
を具備することを特徴とする歌唱採点装置。
【請求項５】
前記採点手段は、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、前記判定手段がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点することを特徴とする請求項４記載の歌唱採点装置。
【請求項６】
カラオケ曲のメロディ部分とラップ部分とを識別して再生可能なカラオケ装置において、
カラオケ曲のメロディ部分が再生される場合に、ユーザが歌唱するユーザ歌唱音のピッチを抽出し、抽出したピッチと再生されるメロディ部分のピッチとを比較してユーザ歌唱音の適否を判定して採点する第１の採点手段と、
カラオケ曲のラップ部分が再生される場合に、手本として歌唱される手本歌唱音の音声特徴量およびユーザが歌唱するユーザ歌唱音の音声特徴量を各々抽出し、抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する第２の採点手段と
を具備することを特徴とする歌唱採点装置。
【請求項７】
手本として歌唱された手本歌唱音の音声特徴量を抽出する第１の特徴抽出処理と、
ユーザが歌唱するユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出処理と、
前記第１および第２の特徴抽出処理によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出処理と、
前記類似度算出処理により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する採点処理と
をコンピュータで実行させることを特徴とする歌唱採点プログラム。
【請求項８】
前記第１および第２の特徴抽出処理により抽出される音声特徴量は、ケプストラム領域の特徴量ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）であることを特徴とする請求項７記載の歌唱採点プログラム。
【請求項９】
前記類似度算出処理は、手本歌唱音の音声特徴量を表す第１のベクトルと、ユーザ歌唱音の音声特徴量を表す第２のベクトルとの間のユークリッド距離を類似度として算出することを特徴とする請求項７記載の歌唱採点プログラム。
【請求項１０】
カラオケ曲の再生に同期して発生するデータであって、手本として歌唱された手本歌唱音を表す手本歌唱音データと、再生されるカラオケ曲に合せてユーザが歌唱するユーザ歌唱音から得たユーザ歌唱データとを所定データ数毎に区切りフレーム化するフレーム化処理と、
前記フレーム化処理によりフレーム化された所定データ数分の手本歌唱音データから手本歌唱音の音声特徴量を抽出する第１の特徴抽出処理と、
前記フレーム化処理によりフレーム化された所定データ数分のユーザ歌唱データからユーザ歌唱音の音声特徴量を抽出する第２の特徴抽出処理と、
前記第１および第２の特徴抽出処理によりそれぞれ抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度を算出する類似度算出処理と、
前記類似度算出処理により算出された類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否をフレーム毎に判定する判定処理と、
前記判定処理がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点する採点処理と
をコンピュータで実行させることを特徴とする歌唱採点プログラム。
【請求項１１】
前記採点処理は、ユーザ歌唱データのフレームの数と手本歌唱音データのフレームの数との比が一定値以上の場合にのみ、前記判定処理がフレーム毎に適否判定した結果に基づきユーザの歌唱を採点することを特徴とする請求項１０記載の歌唱採点プログラム。
【請求項１２】
カラオケ曲のメロディ部分とラップ部分とを識別して再生可能なカラオケ装置に適用されるプログラムであって、
カラオケ曲のメロディ部分が再生される場合に、ユーザが歌唱するユーザ歌唱音のピッチを抽出し、抽出したピッチと再生されるメロディ部分のピッチとを比較してユーザ歌唱音の適否を判定して採点する第１の採点処理と、
カラオケ曲のラップ部分が再生される場合に、手本として歌唱された手本歌唱音の音声特徴量およびユーザが歌唱するユーザ歌唱音の音声特徴量を各々抽出し、抽出された手本歌唱音の音声特徴量とユーザ歌唱音の音声特徴量との類似度に応じて、手本歌唱音に対するユーザ歌唱音の適否を判定して採点する第２の採点処理と
をコンピュータで実行させることを特徴とする歌唱採点プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−９８７４９（Ｐ２０１２−９８７４９Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１２−７６０６（Ｐ２０１２−７６０６）
【出願日】平成２４年１月１８日（２０１２．１．１８）
【分割の表示】特願２０１０−１０１７５７（Ｐ２０１０−１０１７５７）の分割
【原出願日】平成１８年７月１３日（２００６．７．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２４年１月１８日（２０１２．１．１８）
【分割の表示】特願２０１０−１０１７５７（Ｐ２０１０−１０１７５７）の分割
【原出願日】平成１８年７月１３日（２００６．７．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]