似顔絵出力装置およびカラオケ装置
【課題】気軽なアミューズメント機能を備えたカラオケ装置を提供する。
【解決手段】複数の歌手の似顔絵データと声のフォルマントデータをデータベース化しておく。歌唱者の歌唱音声が入力されると、この歌唱音声のフォルマントを分析して、データベースのフォルマントデータとの類似度を算出する。そして、類似度の高い２，３の歌手の似顔絵を読み出してこれらを合成し、歌唱者の似顔絵を作成して表示する。または、最もフォルマントの類似度の高い歌手の似顔絵を読み出して、「あなたはこの歌手に似ています」として表示する。
【解決手段】複数の歌手の似顔絵データと声のフォルマントデータをデータベース化しておく。歌唱者の歌唱音声が入力されると、この歌唱音声のフォルマントを分析して、データベースのフォルマントデータとの類似度を算出する。そして、類似度の高い２，３の歌手の似顔絵を読み出してこれらを合成し、歌唱者の似顔絵を作成して表示する。または、最もフォルマントの類似度の高い歌手の似顔絵を読み出して、「あなたはこの歌手に似ています」として表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、歌唱音声などの音声信号を入力し、その音声から似顔絵を選択・合成する似顔絵出力装置およびカラオケ装置に関する。
【背景技術】
【０００２】
カラオケ装置には、カラオケ曲を演奏するのみならず、そのカラオケ曲を歌唱する音声を用いたゲーム機能、サービス機能を備えたものも実用化されている。たとえば、歌唱音声のピッチや音量がその曲のガイドメロディが指示する音高や音量にどの程度一致しているかによって点数を算出して表示する採点ゲームもその機能の一つである。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この採点機能は、結果的に歌唱者の歌唱の巧拙を判定するものであるため、だれでも気軽に参加できるものではなかった。また、歌唱を採点して点数を表示しても、歌唱者はその点数をどのように今後の歌唱の参考にすればよいかが分からないという問題点があった。
【０００４】
この発明は、誰でも気軽に使用できる似顔絵出力装置、および、気軽に使用でき、出力される似顔絵を選曲の参考にできるカラオケ装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１の発明は、音声を入力する音声入力手段と、入力した音声のフォルマントを分析するフォルマント分析手段と、複数のサンプルフォルマントとそのサンプルフォルマントの共鳴特性を有する顔形状の似顔絵を対応させて記憶した記憶手段と、分析したフォルマントで前記記憶手段を検索し、最も近似したサンプルフォルマントに対応する似顔絵を選択して出力する似顔絵選択手段と、を備えたことを特徴とする。
【０００６】
請求項２の発明は、音声を入力する音声入力手段と、入力した音声のフォルマントを分析するフォルマント分析手段と、似顔絵を作成するための似顔絵素材を記憶する素材記憶手段と、フォルマント分析手段が分析したフォルマントに基づき、前記似顔絵素材を用いてそのフォルマントの共鳴特性を有する顔形状の似顔絵を合成して出力する似顔絵出力手段と、を備えたことを特徴とする。
【０００７】
請求項３の発明は、歌唱音声を入力する音声入力手段と、入力した音声のフォルマントを分析するフォルマント分析手段と、入力した音声の歌唱態様を分析する歌唱分析手段と、似顔絵を作成するための似顔絵素材を記憶する素材記憶手段と、フォルマント分析手段が分析したフォルマントおよび歌唱分析手段が分析した歌唱態様に基づき、前記似顔絵素材を用いてそのフォルマントの共鳴特性を有する顔形状でその歌唱態様で歌唱する似顔絵を合成して出力する似顔絵合成手段と、を備えたことを特徴とする。
【０００８】
この発明では、入力された音声（母音）からフォルマントデータを抽出する。フォルマントデータとは、発声された母音のスペクトル上の優勢な周波数成分であり、周波数の低い順に第１フォルマント、第２フォルマント、…と呼んでいる。このうち、第３フォルマントまでが音韻性に寄与していると言われている。このフォルマントは発声者の声帯や顔などの共鳴体の形状に依存しており、顔が似ると声も似ると言われている。
【０００９】
そこで、この発明では、複数のフォルマントとそのフォルマントを有する人物の似顔絵を記憶しておき、入力された音声とフォルマントが類似する似顔絵を選択して出力する。出力された似顔絵はモニタに表示、プリンタで印刷して利用者に提示するようにすればよい。これにより、自分の声でどのような顔が想像されるかを利用者に知らせることができ、利用者に対してアミューズメントを提供することができる。フォルマントおよび似顔絵は実在の人物から採取したものを用いてもよく、頭部の共鳴体モデルからシミュレーションして作成したものでもよい。
【００１０】
また、カラオケ装置にカラオケ曲のオリジナル歌手の似顔絵とその歌手のフォルマントを記憶しておき、利用者が声を入力したとき、その声がどの歌手の声に似ているかを似顔絵の表示（印刷）で知らせるようにしてもよい。利用者は、その歌手の歌を選曲すればその曲に合った声で歌唱できるため、似顔絵の表示を選曲の参考にすることができる。
【００１１】
また、この発明では、記憶手段に似顔絵の素材を記憶しておき、音声から抽出されたフォルマントに基づいてこの似顔絵素材を用いて似顔絵を合成する。素材としては顔の輪郭、眉、眼、鼻、口などの構成部品を部品毎に複数記憶しておき、フォルマントに基づいてぞれぞれを選択するようにしてもよく、サンプル似顔絵を素材として複数記憶しておき、各似顔絵から顔の輪郭、眉、眼、鼻、口などの構成部品を取り出して組み合わせるようにしてもよい。また、素材であるサンプル似顔絵をそのまま変形して利用者の似顔絵を合成してもよい。いずれにしても、抽出されたフォルマントを共鳴周波数としてもつような似顔絵を作成することにより、利用者の顔をよく推定することができる。
【発明の効果】
【００１２】
以上のようにこの発明によれば、音声のフォルマントを抽出して、利用者（歌唱者）の似顔絵や声のよく似た歌手の似顔絵などを表示することができるため、誰でも気軽に楽しめるアミューズメントを提供することができ、また、声の似ている歌手の似顔絵が表示されれば、以後その歌手の曲を選択すればよく声質に合った歌唱をすることができるため、選曲が容易になりカラオケ歌唱の参考にすることができる。
【発明を実施するための最良の形態】
【００１３】
図面を参照してこの発明の実施形態について説明する。図１〜図３は、この発明の実施形態であるカラオケ装置の機能ブロック図である。このカラオケ装置では、歌手の似顔絵データと歌唱音声のフォルマントデータをサンプルデータとしてサンプルデータベース４に複数記憶している。このサンプルデータベース４の一例を図４に示す。カラオケ曲の演奏に合わせて歌唱した歌唱音声を入力し、この歌唱音声から抽出したフォルマントデータ（抽出フォルマントデータ）を上記サンプルデータベースのフォルマントデータ（サンプルフォルマントデータ）と比較し、声の似ている歌手を選択して、その似顔絵を表示、または、その似顔絵に基づいて歌唱者の似顔絵を合成・表示する。
図１において、歌唱音声入力部１は、カラオケ歌唱用のマイクを含んでいる。歌唱音声入力部１が電気信号に変換した歌唱音声はフォルマント抽出部２およびカラオケ演奏部６に入力される。フォルマント抽出部２は、入力された歌唱音声から母音を切り出し、各母音毎のフォルマントを抽出する。母音は周期信号であり、カラオケ歌唱においては数十ミリ秒〜数秒程度の時間継続するため、同一周期の波形区間を切り出すことによって短時間の非周期信号である子音と区別することができる。また、その周期波形の形状に基づいてア，イ，ウ，エ，オのどの母音であるかを識別することができる。フォルマントとは、母音の周波数スペクトル上の優勢な周波数成分であり、周波数の低い順に第１，第２，第３，…フォルマントと言う。フォルマント抽出部２は、切り出された母音の第１〜第３フォルマントを抽出する。このフォルマントの抽出はＦＦＴ（高速フーリエ解析）などで行えばよい。フォルマント抽出部２は、カラオケ曲全部の歌唱音声のフォルマントを抽出して、母音毎に蓄積記憶し、カラオケ曲の演奏終了後、これを平均した値を抽出フォルマントデータとして出力する。
【００１４】
この抽出フォルマントデータは、フォルマント比較部３に入力される。フォルマント比較部３は、入力した抽出フォルマントデータをサンプルデータベース４のサンプルフォルマントデータと比較する。図４に示すように、サンプルデータベース４は、複数の歌手の似顔絵データを記憶した似顔絵データベース４ｂとこれに対応して各歌手の歌唱音声のフォルマントデータを記憶したフォルマントデータベース４ａからなっており、フォルマント比較部３は、抽出フォルマントデータと各サンプルフォルマントデータとを相関比較し、抽出フォルマントデータすなわち歌唱者の声が、各サンプルフォルマントデータすなわち各歌手の声にどの程度似ているかの類似度を割り出す。そしてこの類似度を似顔絵合成部５に出力する。
【００１５】
似顔絵選択部５は、入力された類似度のうち最も高い類似度を示すサンプルの似顔絵を選択し、似顔絵データベース４ｂからこの似顔絵データを読み出す。似顔絵選択部５が選択して読み出した似顔絵データは、歌詞の表示が終了した表示部９に出力して表示するとともに、印刷部１０で印刷する。そして、このとき同時に「あなたはの声はこの歌手の○○さんに似ています」などの文言を表示・印刷し、以後の選曲の参考になるようにする。また、このときこの歌手のカラオケ曲を検索して、選曲支援をするようにしてもよい。
【００１６】
また、図１の例は、フォルマントが最も類似するサンプル（歌手）を１つ選択して、その歌手の似顔絵を表示するものであるが、フォルマントの類似度の高いサンプルの似顔絵を複数選択し、それらを組み合わせることによって１つの似顔絵を合成するようにしてもよい。
【００１７】
この似顔絵合成機能を備えたカラオケ装置の機能ブロック図を図２に示す。同図において図１の機能ブロック図と異なる点は、似顔絵合成部１５が、フォルマント比較部３から入力した類似度が最も高いサンプルの似顔絵を選択するのでなく、フォルマントの類似度の高い複数のサンプルを選択し、このサンプルの似顔絵データに基づいて１つの似顔絵を合成する点である。
【００１８】
似顔絵合成部１５は、入力された類似度に基づき、声がよく似ている２〜３人の歌手の似顔絵データを似顔絵データベース４ｂから選択し、これらの似顔絵に基づいて歌唱した歌唱者の似顔絵を合成する。この合成手法としては、部品組み合わせ法、モーフィング法などの手法を用いればよい。
【００１９】
部品組み合わせ法は、顔の輪郭、眉、眼、鼻、口などの顔の構成部品を上記選択された複数のサンプル似顔絵データから適宜選択し、これを組み合わせて似顔絵を合成する手法である。たとえば、第１フォルマントが最も類似している歌手の似顔絵から顔の輪郭を選択し、第２フォルマントが最も類似している歌手の似顔絵から口を選択し、第３フォルマントが最も類似している歌手の似顔絵から鼻を選択するなどの方法で各部品を選択すればよい。
【００２０】
また、この例では複数の似顔絵のなかから、顔の輪郭、眉、眼、鼻、口などの顔の構成部品を選択するようにしているが、顔の輪郭、眉、眼、鼻、口などの各構成部品毎にデータベースをもっておき、抽出されたフォルマントに基づいて各構成部品毎に適当なものをピックアップして似顔絵を構成するようにしてもよい。
【００２１】
モーフィング法は、上記選択された複数の似顔絵データの中間図形を合成する手法である。中間図形の合成は、顔の輪郭、眉、眼、鼻、口などの顔の構成部品毎に複数の似顔絵データの中間形状を割り出し、複数の似顔絵データにおける配置の中間的な位置に配置することによって合成される。合成は、フォルマントの類似度の高いサンプル似顔絵データにより近くなるように行う。
【００２２】
このようにして合成された似顔絵をカラオケ演奏が終了した表示部９に表示するとともに印刷部１０で印刷する。選択したサンプル歌手の氏名とその合成比率を表示することでよりアミューズメント効果を高めることもできる。
【００２３】
また、構成部品を合成して似顔絵を合成する方式以外に、頭部の共鳴体のモデルを記憶しておき、歌唱音声が入力されたとき、その音声（フォルマント）が形成されるような頭部共鳴体をシミュレートし、これに基づいて似顔絵をレンダリングするようにしてもよい。
【００２４】
図２の例では、フォルマントの類似度に応じて似顔絵を合成するようにしているが、これに加えて歌唱者の歌唱態様に応じて似顔絵の形状を調整するようにしてもよい。歌唱態様とは、レガート、アクセントなどの歌い方、音量のダイナミックなどである。
【００２５】
図３は上記機能を備えたカラオケ装置の機能ブロック図である。同図の機能ブロック図において図２のものと異なる点は、歌唱態様検出部１１を備えた点、および、歌唱態様検出部１１が検出出力する歌唱態様データに基づいて似顔絵合成部１６の似顔絵の合成動作が制御される点である。歌唱音声入力部１が電気信号に変換した歌唱音声信号はフォルマント抽出部２，演奏部６以外に歌唱態様検出部１１にも入力される。歌唱態様検出部１１は演奏部６から演奏中の曲データを入力し、この曲データに応じて歌唱者がどのような歌唱をしているかの歌唱態様を検出する。歌唱態様とは、上記のようにレガート、アクセントなどの歌い方、音量のダイナミックなどである。検出された歌唱態様情報は似顔絵合成部５′に入力される。似顔絵合成部１６は図２の例と同様にフォルマントの類似度に応じて似顔絵を合成するが、合成した似顔絵をこの歌唱態様情報に応じて変形する。たとえば、強いアクセントで大きいダイナミックで歌唱している歌唱者の場合、眉を太く変形し、レガートで歌っている歌唱者の場合目尻を下げるなどの変形を行えばよい。このようにフォルマントに加えて歌唱態様に合わせて似顔絵を作成することにより、より精度の高いまたはアミューズメント性のある似顔絵合成機能を実現することができる。
【００２６】
図５は上記機能を実現するカラオケ装置のハードウェアのブロック図である。図１〜図３に示す機能は、このハードウェア上で図６に示すようなプログラムを実行することによって実現される。
このカラオケ装置は、カラオケ装置本体２１，コントロールアンプ２２，音声信号処理装置２３，ＣＤ−ＲＯＭチェンジャ２４，スピーカ２５，モニタ２６，マイク２７、赤外線のリモコン装置２８およびプリンタ２９で構成されている。カラオケ装置本体２１はこのカラオケ装置全体の動作を制御する。該カラオケ装置本体２１の制御装置であるＣＰＵ３０には、内部バスを介してＲＯＭ３１，ＲＡＭ３２，ハードディスク記憶装置３７，通信制御部３６，リモコン受信部３３，表示パネル３４，パネルスイッチ３５，音源装置３８，音声データ処理部３９，パターン展開部４０，表示制御部４１が接続されるとともに、上記外部装置であるコントロールアンプ２２，音声信号処理装置２３およびＣＤ−ＲＯＭチェンジャ２４がインタフェースを介して接続されている。
【００２７】
ＲＯＭ３１にはこの装置を起動するために必要な起動プログラムなどが記憶されている。装置の動作を制御するシステムプログラム，カラオケ演奏実行プログラムなどはハードディスク記憶装置３７に記憶されている。カラオケ装置の電源がオンされると上記起動プログラムによってシステムプログラムやカラオケ演奏プログラムがＲＡＭ３２に読み込まれる。
【００２８】
ハードディスク記憶装置３７には、上記プログラムのプログラムファイルや多数の楽曲データからなる楽曲データベースが記憶されているほか、サンプルデータベース３７ａが記憶されている。サンプルデータベース３７ａは、カラオケ曲のオリジナル歌手のフォルマントデータを記憶したフォルマントデータベース、および、各オリジナル歌手の似顔絵を記憶した似顔絵データベースを有し、各オリジナル歌手は、歌手番号で識別される。
【００２９】
前記ＲＡＭ３２には、装置の起動時にハードディスク記憶装置３７からプログラムを読み込むプログラム記憶エリアや演奏されるカラオケ曲の楽曲データを読み込む実行曲データ記憶エリアなどが設定されるほか、カラオケ演奏中に検出されるフォルマントを蓄積記憶するフォルマント蓄積記憶エリア３２ａも設定される。
【００３０】
通信制御部３６はＩＳＤＮ回線を介して配信センタ１９と接続される。配信センタ１９は、定期的にカラオケ装置に対して電話を掛け、新曲の楽曲データやバージョンアップされた制御プログラムなどをダウンロードする。また、上記サンプルデータベース３７ａも配信センタ１９からダウンロードされる。
【００３１】
リモコン装置２８は、テンキーなどのキースイッチを備えており、利用者がこれらのスイッチを操作するとその操作に応じて曲番号などのコード信号が赤外線で出力される。リモコン受信部３３はリモコン装置１８から送られてくる赤外線信号を受信して、そのコード信号を復元しＣＰＵ３０に入力する。
【００３２】
ここで、各カラオケ曲（楽曲データ）の曲番号は、４桁の歌手番号＋２桁の歌手別曲番号の６桁で構成されている。したがって、６桁のうち上位４桁に注目することにより、そのカラオケ曲がどの歌手が歌っている曲であるかを容易に判断することができる。そして、上記サンプルデータベース３７ａに記憶されている歌手の似顔絵およびフォルマントもこの４桁の歌手番号で識別される。
【００３３】
表示パネル３４はこのカラオケ装置本体２１の前面に設けられており、現在演奏中の曲番号や予約曲数を表示するマトリクス表示器や、現在設定されているキーやテンポを表示するＬＥＤ群などを含んでいる。パネルスイッチ３５は、前記汎用のリモコン装置２８と同様の曲番号入力用のテンキーなどを備えている。
【００３４】
音源装置３８は、楽曲データに基づいて楽音信号を形成する。楽曲データは、複数トラックの演奏データを含んでおり、音源装置３８はこのデータに基づいて複数パートの楽音信号を同時に形成する。音声データ処理部３９は、楽曲データに含まれる音声データに基づき、指定された長さ、指定された音高の音声信号を形成する。音声データは、バックコーラスなどの人声など電子的に形成しにくい信号波形をそのままＰＣＭ信号として記憶したものである。前記音源装置３８が形成した楽音信号および音声データ処理部３９が再生した音声信号は、コントロールアンプ２２に入力される。
【００３５】
また、コントロールアンプ２２には、２本のマイク２７ａ，２７ｂが接続されており、カラオケ歌唱者の歌唱音声が入力される。コントロールアンプ２２はこれらのオーディオ信号に、それぞれエコーなど所定の効果を付与したのち増幅してスピーカ２５に出力する。音声信号処理装置２３は、コントロールアンプ２２から入力された歌唱音声の信号（いずれか１本のマイクの信号）をディジタルデータに変換し、周期信号（母音）を切り出してこの周期信号をＦＦＴ解析することによりフォルマントを抽出する。また、この周期波形の形状に基づきア，イ，ウ，エ，オのどの母音であるかを識別し、これを示す母音情報を発生する。抽出されたフォルマントデータおよび母音情報はＣＰＵ３０に入力される。また、音声信号処理装置２３は、歌唱音声の音程のずれを修正したり、他のパートのハーモニー歌唱を作成したりする機能を備えている。修正された歌唱音声や他のパートのハーモニー歌唱音声は再度コントロールアンプ２２に入力される。この修正機能は両方のマイクの信号に施してもよい。
【００３６】
パターン展開部４０はＶＲＡＭを備え、ＣＰＵ３０から入力されるパターンデータをモニタ２６の表示エリアに対応したマトリクスに展開する。パターンデータとしては、カラオケ曲演奏中の歌詞（文字パターン）データやカラオケ演奏終了後の似顔絵データなどがある。展開されたマトリクスデータは、順次スキャンされ映像信号として表示制御部４１に入力される。カラオケ演奏時はＣＤ−ＲＯＭチェンジャ２４は背景映像を再生し、この映像信号も表示制御部４１に入力される。表示制御部４１は、歌詞の文字パターンを背景映像にスーパーインポーズで合成してモニタ２６に表示する。カラオケ演奏終了後は、背景映像が入力されないため表示制御部４１はブルーバックとし、ＣＰＵ３０から入力される似顔絵データをそのうえに展開してモニタ２６に表示する。
【００３７】
上記構成のカラオケ装置でカラオケ演奏が実行されると、マイク２７から入力された歌唱音声がコントロールアンプ２２を介して音声信号処理装置２３に入力される。音声信号処理装置２３は、この信号をデジタルデータ化し、周期信号の区間を割り出してこれを切り出す。この区間がア，イ，ウ，エ，オのどの母音であるかを割り出す。これはア，イ，ウ，エ，オのサンプルデータとのマッチングなどで割り出せばよい。そして、ＦＦＴ解析によりその母音のフォルマントを抽出する。このフォルマントデータと前記母音情報をＣＰＵ３０に入力する。
【００３８】
ＣＰＵ３０は、フォルマントデータを各母音毎に蓄積記憶してゆく。カラオケ演奏が終了すると、ＲＡＭ３２のフォルマント蓄積記憶エリア３２ａに蓄積記憶したフォルマントデータを各母音毎に平均して抽出フォルマントデータ値を算出する。そして、この値とサンプルデータベース３７ａから読み出されるサンプルフォルマントデータとを比較して各サンプルフォルマントデータとの類似度を割り出す。そして、この類似度に基づいて似顔絵データベースにアクセスし、フォルマントが最も類似する似顔絵を１つ選択してこれを表示する。または、フォルマントが類似する似顔絵を複数読み出して部品を組み合わせまたはモーフィングして１つの似顔絵を合成する。このとき、歌唱態様に応じて似顔絵を変形してもよい。
【００３９】
図６は、同カラオケ装置の動作を示すフローチャートである。この動作は、カラオケ曲演奏時の似顔絵選択・合成動作を示すものである。カラオケ曲が演奏され、歌唱者がマイク７に歌唱音声を入力するとこの歌唱音声を取り込んで母音のフォルマントデータを抽出する（ｓ１）。そして、この抽出フォルマントとフォルマントデータベース４ａのサンプルフォルマントとを比較して類似度を求める（ｓ２）。なお、上記フォルマントデータの抽出は、カラオケ曲の開始から終了まで継続して行い、蓄積記憶したものを平均して抽出フォルマントデータを求めるが、カラオケ曲の一部区間で抽出したフォルマントデータを抽出フォルマントデータとして用いてもよい。
【００４０】
相関比較することによって求められた類似度で似顔絵を合成または選択するが、現在どちらのモードであるかを判断する（ｓ３）。このモードは利用者によって選択可能にしてもよく、また、係員またはオンラインで自動設定されるようにしてもよい。選択モードの場合には、上記比較において最も類似度の高かったサンプルの似顔絵を選択して似顔絵データベース４ｂから読み出し（ｓ４）、これをモニタ２６に表示するとともにプリントアウトする（ｓ５）。
【００４１】
一方、合成モードの場合には、上記比較において類似度が高かった２ないし３のサンプルの似顔絵データを似顔絵データベース４ｂから読み出し（ｓ６）、これに基づいて歌唱者の似顔絵を合成する（ｓ７）。合成手法は、上述したように部品組み合わせ法またはモーフィング法で行えばよい。このように合成された似顔絵をモニタ２６に表示するとともにプリントアウトする（ｓ５）。
【００４２】
なお、この実施形態では、フォルマントとして、第１、第２、第３フォルマントを用いたが、第１，第２フォルマントのみでもよく、第４フォルマント以上の高次フォルマントを用いてもよい。また、図４に示すフォルマントデータベースではフォルマント周波数とフォルマントレベルを記憶しているがフォルマント周波数のみでもよい。また、フォルマントとして連続したスペクトル波形を用いてもよい。
【００４３】
図７は同カラオケ装置の選曲支援動作を示すフローチャートである。この選曲支援動作は、利用者（歌唱者）の音声のフォルマントを抽出し、この抽出フォルマントとよく似たフォルマントの音声を有する歌手の曲を選択し、利用者に提示する動作である。
【００４４】
まず、マイク２７の入力音声からフォルマントを抽出する（ｓ１１）。この入力音声は、カラオケ曲の歌唱音声であってもよく、また、選曲のために入力された音声であってもよい。なお、このときカラオケ装置は事前にフォルマント選曲モードが設定されているものとする。抽出された利用者のフォルマントをサンプルデータベース３７ａに記憶されているサンプルフォルマントと比較し（ｓ１２）、最も類似するサンプルデータを選出する（ｓ１３）。このサンプルデータの歌手番号を読み出し（ｓ１４）、この歌手番号で曲データベースを検索し、この歌手番号のカラオケ曲を抽出する（ｓ１５）。そして、このカラオケ曲をモニタにリスト表示する（ｓ１６）。リスト表示されたカラオケ曲の番号を利用者がリモコンから入力することによって（ｓ１７）このカラオケ曲を選曲・演奏することができる（ｓ１８）。
【００４５】
また、いわゆる似顔絵データベース４ｂに記憶する似顔絵は、図４に示すようないわゆる線画以外に限定されず写真データなどを用いてもよい。
【００４６】
なお、この実施形態には、特許請求の範囲に記載した発明以外に、サンプルフォルマントをカラオケ曲の楽曲データと対応づけておき、利用者が入力した音声のフォルマントに類似するサンプルフォルマントを検索して、これに対応する楽曲データを選曲する発明を記載している。サンプルフォルマントと楽曲データの対応づけは、たとえば、歌手のフォルマント（サンプルフォルマント）とこの歌手が歌っているカラオケ曲とを対応づけるようにすればよい。また、声の質と曲の雰囲気で対応づけてもよい。
【００４７】
これにより、声を入力することによって自動的に最も適したカラオケ曲を自動選曲することができる。また選曲手段としては、１曲のみを選曲するのではなく、候補曲として複数の曲を抽出し、そのなかから利用者に１曲を選択させるようにするものも含む。いずれにても利用者は、選曲を容易にすることができ、且つ、自分の声質にあったカラオケ曲を選曲することができる。
【図面の簡単な説明】
【００４８】
【図１】この発明の実施形態であるカラオケ装置の機能ブロック図
【図２】この発明の実施形態であるカラオケ装置の機能ブロック図
【図３】この発明の実施形態であるカラオケ装置の機能ブロック図
【図４】サンプルデータベースの例を示す図
【図５】同カラオケ装置のハードウェアのブロック図
【図６】同カラオケ装置の動作を示すフローチャート
【図７】同カラオケ装置の動作を示すフローチャート
【符号の説明】
【００４９】
１…歌唱音声入力部
２…フォルマント抽出部
３…フォルマント比較部
４…サンプルデータベース
５…似顔絵選択部
９…表示部
１０…印刷部、
１１…歌唱態様検出部
１５，１６…似顔絵合成部
２３…音声信号処理装置
２７…歌唱用マイク
２９…プリンタ
３０…ＣＰＵ
３２…ＲＡＭ
３２ａ…フォルマント蓄積記憶エリア
３７…ハードディスク記憶装置
３７ａ…サンプルデータベース
４０…パターン展開部
【技術分野】
【０００１】
この発明は、歌唱音声などの音声信号を入力し、その音声から似顔絵を選択・合成する似顔絵出力装置およびカラオケ装置に関する。
【背景技術】
【０００２】
カラオケ装置には、カラオケ曲を演奏するのみならず、そのカラオケ曲を歌唱する音声を用いたゲーム機能、サービス機能を備えたものも実用化されている。たとえば、歌唱音声のピッチや音量がその曲のガイドメロディが指示する音高や音量にどの程度一致しているかによって点数を算出して表示する採点ゲームもその機能の一つである。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この採点機能は、結果的に歌唱者の歌唱の巧拙を判定するものであるため、だれでも気軽に参加できるものではなかった。また、歌唱を採点して点数を表示しても、歌唱者はその点数をどのように今後の歌唱の参考にすればよいかが分からないという問題点があった。
【０００４】
この発明は、誰でも気軽に使用できる似顔絵出力装置、および、気軽に使用でき、出力される似顔絵を選曲の参考にできるカラオケ装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１の発明は、音声を入力する音声入力手段と、入力した音声のフォルマントを分析するフォルマント分析手段と、複数のサンプルフォルマントとそのサンプルフォルマントの共鳴特性を有する顔形状の似顔絵を対応させて記憶した記憶手段と、分析したフォルマントで前記記憶手段を検索し、最も近似したサンプルフォルマントに対応する似顔絵を選択して出力する似顔絵選択手段と、を備えたことを特徴とする。
【０００６】
請求項２の発明は、音声を入力する音声入力手段と、入力した音声のフォルマントを分析するフォルマント分析手段と、似顔絵を作成するための似顔絵素材を記憶する素材記憶手段と、フォルマント分析手段が分析したフォルマントに基づき、前記似顔絵素材を用いてそのフォルマントの共鳴特性を有する顔形状の似顔絵を合成して出力する似顔絵出力手段と、を備えたことを特徴とする。
【０００７】
請求項３の発明は、歌唱音声を入力する音声入力手段と、入力した音声のフォルマントを分析するフォルマント分析手段と、入力した音声の歌唱態様を分析する歌唱分析手段と、似顔絵を作成するための似顔絵素材を記憶する素材記憶手段と、フォルマント分析手段が分析したフォルマントおよび歌唱分析手段が分析した歌唱態様に基づき、前記似顔絵素材を用いてそのフォルマントの共鳴特性を有する顔形状でその歌唱態様で歌唱する似顔絵を合成して出力する似顔絵合成手段と、を備えたことを特徴とする。
【０００８】
この発明では、入力された音声（母音）からフォルマントデータを抽出する。フォルマントデータとは、発声された母音のスペクトル上の優勢な周波数成分であり、周波数の低い順に第１フォルマント、第２フォルマント、…と呼んでいる。このうち、第３フォルマントまでが音韻性に寄与していると言われている。このフォルマントは発声者の声帯や顔などの共鳴体の形状に依存しており、顔が似ると声も似ると言われている。
【０００９】
そこで、この発明では、複数のフォルマントとそのフォルマントを有する人物の似顔絵を記憶しておき、入力された音声とフォルマントが類似する似顔絵を選択して出力する。出力された似顔絵はモニタに表示、プリンタで印刷して利用者に提示するようにすればよい。これにより、自分の声でどのような顔が想像されるかを利用者に知らせることができ、利用者に対してアミューズメントを提供することができる。フォルマントおよび似顔絵は実在の人物から採取したものを用いてもよく、頭部の共鳴体モデルからシミュレーションして作成したものでもよい。
【００１０】
また、カラオケ装置にカラオケ曲のオリジナル歌手の似顔絵とその歌手のフォルマントを記憶しておき、利用者が声を入力したとき、その声がどの歌手の声に似ているかを似顔絵の表示（印刷）で知らせるようにしてもよい。利用者は、その歌手の歌を選曲すればその曲に合った声で歌唱できるため、似顔絵の表示を選曲の参考にすることができる。
【００１１】
また、この発明では、記憶手段に似顔絵の素材を記憶しておき、音声から抽出されたフォルマントに基づいてこの似顔絵素材を用いて似顔絵を合成する。素材としては顔の輪郭、眉、眼、鼻、口などの構成部品を部品毎に複数記憶しておき、フォルマントに基づいてぞれぞれを選択するようにしてもよく、サンプル似顔絵を素材として複数記憶しておき、各似顔絵から顔の輪郭、眉、眼、鼻、口などの構成部品を取り出して組み合わせるようにしてもよい。また、素材であるサンプル似顔絵をそのまま変形して利用者の似顔絵を合成してもよい。いずれにしても、抽出されたフォルマントを共鳴周波数としてもつような似顔絵を作成することにより、利用者の顔をよく推定することができる。
【発明の効果】
【００１２】
以上のようにこの発明によれば、音声のフォルマントを抽出して、利用者（歌唱者）の似顔絵や声のよく似た歌手の似顔絵などを表示することができるため、誰でも気軽に楽しめるアミューズメントを提供することができ、また、声の似ている歌手の似顔絵が表示されれば、以後その歌手の曲を選択すればよく声質に合った歌唱をすることができるため、選曲が容易になりカラオケ歌唱の参考にすることができる。
【発明を実施するための最良の形態】
【００１３】
図面を参照してこの発明の実施形態について説明する。図１〜図３は、この発明の実施形態であるカラオケ装置の機能ブロック図である。このカラオケ装置では、歌手の似顔絵データと歌唱音声のフォルマントデータをサンプルデータとしてサンプルデータベース４に複数記憶している。このサンプルデータベース４の一例を図４に示す。カラオケ曲の演奏に合わせて歌唱した歌唱音声を入力し、この歌唱音声から抽出したフォルマントデータ（抽出フォルマントデータ）を上記サンプルデータベースのフォルマントデータ（サンプルフォルマントデータ）と比較し、声の似ている歌手を選択して、その似顔絵を表示、または、その似顔絵に基づいて歌唱者の似顔絵を合成・表示する。
図１において、歌唱音声入力部１は、カラオケ歌唱用のマイクを含んでいる。歌唱音声入力部１が電気信号に変換した歌唱音声はフォルマント抽出部２およびカラオケ演奏部６に入力される。フォルマント抽出部２は、入力された歌唱音声から母音を切り出し、各母音毎のフォルマントを抽出する。母音は周期信号であり、カラオケ歌唱においては数十ミリ秒〜数秒程度の時間継続するため、同一周期の波形区間を切り出すことによって短時間の非周期信号である子音と区別することができる。また、その周期波形の形状に基づいてア，イ，ウ，エ，オのどの母音であるかを識別することができる。フォルマントとは、母音の周波数スペクトル上の優勢な周波数成分であり、周波数の低い順に第１，第２，第３，…フォルマントと言う。フォルマント抽出部２は、切り出された母音の第１〜第３フォルマントを抽出する。このフォルマントの抽出はＦＦＴ（高速フーリエ解析）などで行えばよい。フォルマント抽出部２は、カラオケ曲全部の歌唱音声のフォルマントを抽出して、母音毎に蓄積記憶し、カラオケ曲の演奏終了後、これを平均した値を抽出フォルマントデータとして出力する。
【００１４】
この抽出フォルマントデータは、フォルマント比較部３に入力される。フォルマント比較部３は、入力した抽出フォルマントデータをサンプルデータベース４のサンプルフォルマントデータと比較する。図４に示すように、サンプルデータベース４は、複数の歌手の似顔絵データを記憶した似顔絵データベース４ｂとこれに対応して各歌手の歌唱音声のフォルマントデータを記憶したフォルマントデータベース４ａからなっており、フォルマント比較部３は、抽出フォルマントデータと各サンプルフォルマントデータとを相関比較し、抽出フォルマントデータすなわち歌唱者の声が、各サンプルフォルマントデータすなわち各歌手の声にどの程度似ているかの類似度を割り出す。そしてこの類似度を似顔絵合成部５に出力する。
【００１５】
似顔絵選択部５は、入力された類似度のうち最も高い類似度を示すサンプルの似顔絵を選択し、似顔絵データベース４ｂからこの似顔絵データを読み出す。似顔絵選択部５が選択して読み出した似顔絵データは、歌詞の表示が終了した表示部９に出力して表示するとともに、印刷部１０で印刷する。そして、このとき同時に「あなたはの声はこの歌手の○○さんに似ています」などの文言を表示・印刷し、以後の選曲の参考になるようにする。また、このときこの歌手のカラオケ曲を検索して、選曲支援をするようにしてもよい。
【００１６】
また、図１の例は、フォルマントが最も類似するサンプル（歌手）を１つ選択して、その歌手の似顔絵を表示するものであるが、フォルマントの類似度の高いサンプルの似顔絵を複数選択し、それらを組み合わせることによって１つの似顔絵を合成するようにしてもよい。
【００１７】
この似顔絵合成機能を備えたカラオケ装置の機能ブロック図を図２に示す。同図において図１の機能ブロック図と異なる点は、似顔絵合成部１５が、フォルマント比較部３から入力した類似度が最も高いサンプルの似顔絵を選択するのでなく、フォルマントの類似度の高い複数のサンプルを選択し、このサンプルの似顔絵データに基づいて１つの似顔絵を合成する点である。
【００１８】
似顔絵合成部１５は、入力された類似度に基づき、声がよく似ている２〜３人の歌手の似顔絵データを似顔絵データベース４ｂから選択し、これらの似顔絵に基づいて歌唱した歌唱者の似顔絵を合成する。この合成手法としては、部品組み合わせ法、モーフィング法などの手法を用いればよい。
【００１９】
部品組み合わせ法は、顔の輪郭、眉、眼、鼻、口などの顔の構成部品を上記選択された複数のサンプル似顔絵データから適宜選択し、これを組み合わせて似顔絵を合成する手法である。たとえば、第１フォルマントが最も類似している歌手の似顔絵から顔の輪郭を選択し、第２フォルマントが最も類似している歌手の似顔絵から口を選択し、第３フォルマントが最も類似している歌手の似顔絵から鼻を選択するなどの方法で各部品を選択すればよい。
【００２０】
また、この例では複数の似顔絵のなかから、顔の輪郭、眉、眼、鼻、口などの顔の構成部品を選択するようにしているが、顔の輪郭、眉、眼、鼻、口などの各構成部品毎にデータベースをもっておき、抽出されたフォルマントに基づいて各構成部品毎に適当なものをピックアップして似顔絵を構成するようにしてもよい。
【００２１】
モーフィング法は、上記選択された複数の似顔絵データの中間図形を合成する手法である。中間図形の合成は、顔の輪郭、眉、眼、鼻、口などの顔の構成部品毎に複数の似顔絵データの中間形状を割り出し、複数の似顔絵データにおける配置の中間的な位置に配置することによって合成される。合成は、フォルマントの類似度の高いサンプル似顔絵データにより近くなるように行う。
【００２２】
このようにして合成された似顔絵をカラオケ演奏が終了した表示部９に表示するとともに印刷部１０で印刷する。選択したサンプル歌手の氏名とその合成比率を表示することでよりアミューズメント効果を高めることもできる。
【００２３】
また、構成部品を合成して似顔絵を合成する方式以外に、頭部の共鳴体のモデルを記憶しておき、歌唱音声が入力されたとき、その音声（フォルマント）が形成されるような頭部共鳴体をシミュレートし、これに基づいて似顔絵をレンダリングするようにしてもよい。
【００２４】
図２の例では、フォルマントの類似度に応じて似顔絵を合成するようにしているが、これに加えて歌唱者の歌唱態様に応じて似顔絵の形状を調整するようにしてもよい。歌唱態様とは、レガート、アクセントなどの歌い方、音量のダイナミックなどである。
【００２５】
図３は上記機能を備えたカラオケ装置の機能ブロック図である。同図の機能ブロック図において図２のものと異なる点は、歌唱態様検出部１１を備えた点、および、歌唱態様検出部１１が検出出力する歌唱態様データに基づいて似顔絵合成部１６の似顔絵の合成動作が制御される点である。歌唱音声入力部１が電気信号に変換した歌唱音声信号はフォルマント抽出部２，演奏部６以外に歌唱態様検出部１１にも入力される。歌唱態様検出部１１は演奏部６から演奏中の曲データを入力し、この曲データに応じて歌唱者がどのような歌唱をしているかの歌唱態様を検出する。歌唱態様とは、上記のようにレガート、アクセントなどの歌い方、音量のダイナミックなどである。検出された歌唱態様情報は似顔絵合成部５′に入力される。似顔絵合成部１６は図２の例と同様にフォルマントの類似度に応じて似顔絵を合成するが、合成した似顔絵をこの歌唱態様情報に応じて変形する。たとえば、強いアクセントで大きいダイナミックで歌唱している歌唱者の場合、眉を太く変形し、レガートで歌っている歌唱者の場合目尻を下げるなどの変形を行えばよい。このようにフォルマントに加えて歌唱態様に合わせて似顔絵を作成することにより、より精度の高いまたはアミューズメント性のある似顔絵合成機能を実現することができる。
【００２６】
図５は上記機能を実現するカラオケ装置のハードウェアのブロック図である。図１〜図３に示す機能は、このハードウェア上で図６に示すようなプログラムを実行することによって実現される。
このカラオケ装置は、カラオケ装置本体２１，コントロールアンプ２２，音声信号処理装置２３，ＣＤ−ＲＯＭチェンジャ２４，スピーカ２５，モニタ２６，マイク２７、赤外線のリモコン装置２８およびプリンタ２９で構成されている。カラオケ装置本体２１はこのカラオケ装置全体の動作を制御する。該カラオケ装置本体２１の制御装置であるＣＰＵ３０には、内部バスを介してＲＯＭ３１，ＲＡＭ３２，ハードディスク記憶装置３７，通信制御部３６，リモコン受信部３３，表示パネル３４，パネルスイッチ３５，音源装置３８，音声データ処理部３９，パターン展開部４０，表示制御部４１が接続されるとともに、上記外部装置であるコントロールアンプ２２，音声信号処理装置２３およびＣＤ−ＲＯＭチェンジャ２４がインタフェースを介して接続されている。
【００２７】
ＲＯＭ３１にはこの装置を起動するために必要な起動プログラムなどが記憶されている。装置の動作を制御するシステムプログラム，カラオケ演奏実行プログラムなどはハードディスク記憶装置３７に記憶されている。カラオケ装置の電源がオンされると上記起動プログラムによってシステムプログラムやカラオケ演奏プログラムがＲＡＭ３２に読み込まれる。
【００２８】
ハードディスク記憶装置３７には、上記プログラムのプログラムファイルや多数の楽曲データからなる楽曲データベースが記憶されているほか、サンプルデータベース３７ａが記憶されている。サンプルデータベース３７ａは、カラオケ曲のオリジナル歌手のフォルマントデータを記憶したフォルマントデータベース、および、各オリジナル歌手の似顔絵を記憶した似顔絵データベースを有し、各オリジナル歌手は、歌手番号で識別される。
【００２９】
前記ＲＡＭ３２には、装置の起動時にハードディスク記憶装置３７からプログラムを読み込むプログラム記憶エリアや演奏されるカラオケ曲の楽曲データを読み込む実行曲データ記憶エリアなどが設定されるほか、カラオケ演奏中に検出されるフォルマントを蓄積記憶するフォルマント蓄積記憶エリア３２ａも設定される。
【００３０】
通信制御部３６はＩＳＤＮ回線を介して配信センタ１９と接続される。配信センタ１９は、定期的にカラオケ装置に対して電話を掛け、新曲の楽曲データやバージョンアップされた制御プログラムなどをダウンロードする。また、上記サンプルデータベース３７ａも配信センタ１９からダウンロードされる。
【００３１】
リモコン装置２８は、テンキーなどのキースイッチを備えており、利用者がこれらのスイッチを操作するとその操作に応じて曲番号などのコード信号が赤外線で出力される。リモコン受信部３３はリモコン装置１８から送られてくる赤外線信号を受信して、そのコード信号を復元しＣＰＵ３０に入力する。
【００３２】
ここで、各カラオケ曲（楽曲データ）の曲番号は、４桁の歌手番号＋２桁の歌手別曲番号の６桁で構成されている。したがって、６桁のうち上位４桁に注目することにより、そのカラオケ曲がどの歌手が歌っている曲であるかを容易に判断することができる。そして、上記サンプルデータベース３７ａに記憶されている歌手の似顔絵およびフォルマントもこの４桁の歌手番号で識別される。
【００３３】
表示パネル３４はこのカラオケ装置本体２１の前面に設けられており、現在演奏中の曲番号や予約曲数を表示するマトリクス表示器や、現在設定されているキーやテンポを表示するＬＥＤ群などを含んでいる。パネルスイッチ３５は、前記汎用のリモコン装置２８と同様の曲番号入力用のテンキーなどを備えている。
【００３４】
音源装置３８は、楽曲データに基づいて楽音信号を形成する。楽曲データは、複数トラックの演奏データを含んでおり、音源装置３８はこのデータに基づいて複数パートの楽音信号を同時に形成する。音声データ処理部３９は、楽曲データに含まれる音声データに基づき、指定された長さ、指定された音高の音声信号を形成する。音声データは、バックコーラスなどの人声など電子的に形成しにくい信号波形をそのままＰＣＭ信号として記憶したものである。前記音源装置３８が形成した楽音信号および音声データ処理部３９が再生した音声信号は、コントロールアンプ２２に入力される。
【００３５】
また、コントロールアンプ２２には、２本のマイク２７ａ，２７ｂが接続されており、カラオケ歌唱者の歌唱音声が入力される。コントロールアンプ２２はこれらのオーディオ信号に、それぞれエコーなど所定の効果を付与したのち増幅してスピーカ２５に出力する。音声信号処理装置２３は、コントロールアンプ２２から入力された歌唱音声の信号（いずれか１本のマイクの信号）をディジタルデータに変換し、周期信号（母音）を切り出してこの周期信号をＦＦＴ解析することによりフォルマントを抽出する。また、この周期波形の形状に基づきア，イ，ウ，エ，オのどの母音であるかを識別し、これを示す母音情報を発生する。抽出されたフォルマントデータおよび母音情報はＣＰＵ３０に入力される。また、音声信号処理装置２３は、歌唱音声の音程のずれを修正したり、他のパートのハーモニー歌唱を作成したりする機能を備えている。修正された歌唱音声や他のパートのハーモニー歌唱音声は再度コントロールアンプ２２に入力される。この修正機能は両方のマイクの信号に施してもよい。
【００３６】
パターン展開部４０はＶＲＡＭを備え、ＣＰＵ３０から入力されるパターンデータをモニタ２６の表示エリアに対応したマトリクスに展開する。パターンデータとしては、カラオケ曲演奏中の歌詞（文字パターン）データやカラオケ演奏終了後の似顔絵データなどがある。展開されたマトリクスデータは、順次スキャンされ映像信号として表示制御部４１に入力される。カラオケ演奏時はＣＤ−ＲＯＭチェンジャ２４は背景映像を再生し、この映像信号も表示制御部４１に入力される。表示制御部４１は、歌詞の文字パターンを背景映像にスーパーインポーズで合成してモニタ２６に表示する。カラオケ演奏終了後は、背景映像が入力されないため表示制御部４１はブルーバックとし、ＣＰＵ３０から入力される似顔絵データをそのうえに展開してモニタ２６に表示する。
【００３７】
上記構成のカラオケ装置でカラオケ演奏が実行されると、マイク２７から入力された歌唱音声がコントロールアンプ２２を介して音声信号処理装置２３に入力される。音声信号処理装置２３は、この信号をデジタルデータ化し、周期信号の区間を割り出してこれを切り出す。この区間がア，イ，ウ，エ，オのどの母音であるかを割り出す。これはア，イ，ウ，エ，オのサンプルデータとのマッチングなどで割り出せばよい。そして、ＦＦＴ解析によりその母音のフォルマントを抽出する。このフォルマントデータと前記母音情報をＣＰＵ３０に入力する。
【００３８】
ＣＰＵ３０は、フォルマントデータを各母音毎に蓄積記憶してゆく。カラオケ演奏が終了すると、ＲＡＭ３２のフォルマント蓄積記憶エリア３２ａに蓄積記憶したフォルマントデータを各母音毎に平均して抽出フォルマントデータ値を算出する。そして、この値とサンプルデータベース３７ａから読み出されるサンプルフォルマントデータとを比較して各サンプルフォルマントデータとの類似度を割り出す。そして、この類似度に基づいて似顔絵データベースにアクセスし、フォルマントが最も類似する似顔絵を１つ選択してこれを表示する。または、フォルマントが類似する似顔絵を複数読み出して部品を組み合わせまたはモーフィングして１つの似顔絵を合成する。このとき、歌唱態様に応じて似顔絵を変形してもよい。
【００３９】
図６は、同カラオケ装置の動作を示すフローチャートである。この動作は、カラオケ曲演奏時の似顔絵選択・合成動作を示すものである。カラオケ曲が演奏され、歌唱者がマイク７に歌唱音声を入力するとこの歌唱音声を取り込んで母音のフォルマントデータを抽出する（ｓ１）。そして、この抽出フォルマントとフォルマントデータベース４ａのサンプルフォルマントとを比較して類似度を求める（ｓ２）。なお、上記フォルマントデータの抽出は、カラオケ曲の開始から終了まで継続して行い、蓄積記憶したものを平均して抽出フォルマントデータを求めるが、カラオケ曲の一部区間で抽出したフォルマントデータを抽出フォルマントデータとして用いてもよい。
【００４０】
相関比較することによって求められた類似度で似顔絵を合成または選択するが、現在どちらのモードであるかを判断する（ｓ３）。このモードは利用者によって選択可能にしてもよく、また、係員またはオンラインで自動設定されるようにしてもよい。選択モードの場合には、上記比較において最も類似度の高かったサンプルの似顔絵を選択して似顔絵データベース４ｂから読み出し（ｓ４）、これをモニタ２６に表示するとともにプリントアウトする（ｓ５）。
【００４１】
一方、合成モードの場合には、上記比較において類似度が高かった２ないし３のサンプルの似顔絵データを似顔絵データベース４ｂから読み出し（ｓ６）、これに基づいて歌唱者の似顔絵を合成する（ｓ７）。合成手法は、上述したように部品組み合わせ法またはモーフィング法で行えばよい。このように合成された似顔絵をモニタ２６に表示するとともにプリントアウトする（ｓ５）。
【００４２】
なお、この実施形態では、フォルマントとして、第１、第２、第３フォルマントを用いたが、第１，第２フォルマントのみでもよく、第４フォルマント以上の高次フォルマントを用いてもよい。また、図４に示すフォルマントデータベースではフォルマント周波数とフォルマントレベルを記憶しているがフォルマント周波数のみでもよい。また、フォルマントとして連続したスペクトル波形を用いてもよい。
【００４３】
図７は同カラオケ装置の選曲支援動作を示すフローチャートである。この選曲支援動作は、利用者（歌唱者）の音声のフォルマントを抽出し、この抽出フォルマントとよく似たフォルマントの音声を有する歌手の曲を選択し、利用者に提示する動作である。
【００４４】
まず、マイク２７の入力音声からフォルマントを抽出する（ｓ１１）。この入力音声は、カラオケ曲の歌唱音声であってもよく、また、選曲のために入力された音声であってもよい。なお、このときカラオケ装置は事前にフォルマント選曲モードが設定されているものとする。抽出された利用者のフォルマントをサンプルデータベース３７ａに記憶されているサンプルフォルマントと比較し（ｓ１２）、最も類似するサンプルデータを選出する（ｓ１３）。このサンプルデータの歌手番号を読み出し（ｓ１４）、この歌手番号で曲データベースを検索し、この歌手番号のカラオケ曲を抽出する（ｓ１５）。そして、このカラオケ曲をモニタにリスト表示する（ｓ１６）。リスト表示されたカラオケ曲の番号を利用者がリモコンから入力することによって（ｓ１７）このカラオケ曲を選曲・演奏することができる（ｓ１８）。
【００４５】
また、いわゆる似顔絵データベース４ｂに記憶する似顔絵は、図４に示すようないわゆる線画以外に限定されず写真データなどを用いてもよい。
【００４６】
なお、この実施形態には、特許請求の範囲に記載した発明以外に、サンプルフォルマントをカラオケ曲の楽曲データと対応づけておき、利用者が入力した音声のフォルマントに類似するサンプルフォルマントを検索して、これに対応する楽曲データを選曲する発明を記載している。サンプルフォルマントと楽曲データの対応づけは、たとえば、歌手のフォルマント（サンプルフォルマント）とこの歌手が歌っているカラオケ曲とを対応づけるようにすればよい。また、声の質と曲の雰囲気で対応づけてもよい。
【００４７】
これにより、声を入力することによって自動的に最も適したカラオケ曲を自動選曲することができる。また選曲手段としては、１曲のみを選曲するのではなく、候補曲として複数の曲を抽出し、そのなかから利用者に１曲を選択させるようにするものも含む。いずれにても利用者は、選曲を容易にすることができ、且つ、自分の声質にあったカラオケ曲を選曲することができる。
【図面の簡単な説明】
【００４８】
【図１】この発明の実施形態であるカラオケ装置の機能ブロック図
【図２】この発明の実施形態であるカラオケ装置の機能ブロック図
【図３】この発明の実施形態であるカラオケ装置の機能ブロック図
【図４】サンプルデータベースの例を示す図
【図５】同カラオケ装置のハードウェアのブロック図
【図６】同カラオケ装置の動作を示すフローチャート
【図７】同カラオケ装置の動作を示すフローチャート
【符号の説明】
【００４９】
１…歌唱音声入力部
２…フォルマント抽出部
３…フォルマント比較部
４…サンプルデータベース
５…似顔絵選択部
９…表示部
１０…印刷部、
１１…歌唱態様検出部
１５，１６…似顔絵合成部
２３…音声信号処理装置
２７…歌唱用マイク
２９…プリンタ
３０…ＣＰＵ
３２…ＲＡＭ
３２ａ…フォルマント蓄積記憶エリア
３７…ハードディスク記憶装置
３７ａ…サンプルデータベース
４０…パターン展開部
【特許請求の範囲】
【請求項１】
音声を入力する音声入力手段と、
入力した音声のフォルマントを分析するフォルマント分析手段と、
複数のサンプルフォルマントとそのサンプルフォルマントの共鳴特性を有する顔形状の似顔絵を対応させて記憶した記憶手段と、
分析したフォルマントで前記記憶手段を検索し、最も近似したサンプルフォルマントに対応する似顔絵を選択して出力する似顔絵選択手段と、
を備えた似顔絵出力装置。
【請求項２】
音声を入力する音声入力手段と、
入力した音声のフォルマントを分析するフォルマント分析手段と、
似顔絵を作成するための似顔絵素材を記憶する素材記憶手段と、
フォルマント分析手段が分析したフォルマントに基づき、前記似顔絵素材を用いてそのフォルマントの共鳴特性を有する顔形状の似顔絵を合成して出力する似顔絵出力手段と、
を備えた似顔絵出力装置。
【請求項３】
歌唱音声を入力する音声入力手段と、
入力した音声のフォルマントを分析するフォルマント分析手段と、
入力した音声の歌唱態様を分析する歌唱分析手段と、
似顔絵を作成するための似顔絵素材を記憶する素材記憶手段と、
フォルマント分析手段が分析したフォルマントおよび歌唱分析手段が分析した歌唱態様に基づき、前記似顔絵素材を用いてそのフォルマントの共鳴特性を有する顔形状でその歌唱態様で歌唱する似顔絵を合成して出力する似顔絵合成手段と、
を備えたカラオケ装置。
【請求項１】
音声を入力する音声入力手段と、
入力した音声のフォルマントを分析するフォルマント分析手段と、
複数のサンプルフォルマントとそのサンプルフォルマントの共鳴特性を有する顔形状の似顔絵を対応させて記憶した記憶手段と、
分析したフォルマントで前記記憶手段を検索し、最も近似したサンプルフォルマントに対応する似顔絵を選択して出力する似顔絵選択手段と、
を備えた似顔絵出力装置。
【請求項２】
音声を入力する音声入力手段と、
入力した音声のフォルマントを分析するフォルマント分析手段と、
似顔絵を作成するための似顔絵素材を記憶する素材記憶手段と、
フォルマント分析手段が分析したフォルマントに基づき、前記似顔絵素材を用いてそのフォルマントの共鳴特性を有する顔形状の似顔絵を合成して出力する似顔絵出力手段と、
を備えた似顔絵出力装置。
【請求項３】
歌唱音声を入力する音声入力手段と、
入力した音声のフォルマントを分析するフォルマント分析手段と、
入力した音声の歌唱態様を分析する歌唱分析手段と、
似顔絵を作成するための似顔絵素材を記憶する素材記憶手段と、
フォルマント分析手段が分析したフォルマントおよび歌唱分析手段が分析した歌唱態様に基づき、前記似顔絵素材を用いてそのフォルマントの共鳴特性を有する顔形状でその歌唱態様で歌唱する似顔絵を合成して出力する似顔絵合成手段と、
を備えたカラオケ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−１４０５４８（Ｐ２００７−１４０５４８Ａ）
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願番号】特願２００７−１８５２６（Ｐ２００７−１８５２６）
【出願日】平成１９年１月２９日（２００７．１．２９）
【分割の表示】特願平１０−２２５８３３の分割
【原出願日】平成１０年８月１０日（１９９８．８．１０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願日】平成１９年１月２９日（２００７．１．２９）
【分割の表示】特願平１０−２２５８３３の分割
【原出願日】平成１０年８月１０日（１９９８．８．１０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]