カラオケ装置
【課題】 より簡易な画像処理を用いて、歌唱音声に対する評価結果を歌唱者に表示することのできるカラオケ装置を提供する。
【解決手段】 演奏手段１３、１６、１７、１８と、歌唱入力手段１５と、入力歌唱音声を評価する評価手段３４１、３４２と、歌唱者を撮影する撮影手段４１と、評価手段による評価結果に応じて、歌唱者の撮影画像に画像処理を施す画像処理手段３４３、４０と、画像処理手段３４３、４０で画像処理された、歌唱者の撮影画像を表示する表示手段４４とを備えたカラオケ装置１であって、歌唱者の撮影画像に付加するための付加画像を記憶する付加画像記憶手段１１２を更に備え、画像処理手段３４３、４０は、歌唱者の撮影画像における前記歌唱者の特徴部分を抽出する抽出手段３４３と、評価手段３４１、３４２による評価結果に応じて、抽出手段３４３によって抽出された特徴部分に対して付加画像を合成処理する画像合成手段４０４と備えている。
【解決手段】 演奏手段１３、１６、１７、１８と、歌唱入力手段１５と、入力歌唱音声を評価する評価手段３４１、３４２と、歌唱者を撮影する撮影手段４１と、評価手段による評価結果に応じて、歌唱者の撮影画像に画像処理を施す画像処理手段３４３、４０と、画像処理手段３４３、４０で画像処理された、歌唱者の撮影画像を表示する表示手段４４とを備えたカラオケ装置１であって、歌唱者の撮影画像に付加するための付加画像を記憶する付加画像記憶手段１１２を更に備え、画像処理手段３４３、４０は、歌唱者の撮影画像における前記歌唱者の特徴部分を抽出する抽出手段３４３と、評価手段３４１、３４２による評価結果に応じて、抽出手段３４３によって抽出された特徴部分に対して付加画像を合成処理する画像合成手段４０４と備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、歌唱者の歌唱音声を評価して、その評価に応じて画像処理が施された歌唱者の撮影画像を表示するカラオケ装置に関する。
【背景技術】
【０００２】
従来より、歌唱者の歌唱音声を評価する機能と、該評価結果を歌唱者に示す機能とを備えたカラオケ装置が実用化されている。このような評価機能を備えたカラオケ装置には、例えばビデオカメラ等で、歌唱者の顔を撮影し、この顔の画像を評価結果に応じて変形するものも提案されている（例えば、特許文献１を参照）。かかるカラオケ装置では、歌唱音声の評価結果に応じて、変形処理の度合いが変更されるため、歌唱音声の評価結果を面白く歌唱者に示すことができる。
【特許文献１】特開平１１−２３１８８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来のカラオケ装置では、歌唱者の撮影画像に変形処理を施すという複雑な画像処理が用いられていため、画像処理の負荷が大きく、高速の画像処理装置（ＤＳＰ：Digital Signal Processor等）を備えなければならないという問題点があった。特に、歌唱者の歌唱中に、逐次歌唱音声を評価し、該歌唱途中の評価結果に応じて、歌唱者の撮影画像の表示内容を変更する構成が採用される場合には、歌唱途中で逐次、歌唱者の撮影画像に対する画像処理が施されるため、さらに高速の画像処理装置が要求される。
【０００４】
そこで、本発明は、上記課題を解決するために、より簡易な画像処理を用いて、歌唱音声に対する評価結果を歌唱者に面白く表示することのできるカラオケ装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本願発明は、上記の課題を解決するための手段として、カラオケ曲を演奏する演奏手段と、歌唱者の歌唱音声を入力する歌唱入力手段と、該歌唱入力手段によって入力された歌唱音声を評価する評価手段と、歌唱者を撮影する撮影手段と、評価手段による評価結果に応じて、歌唱者の撮影画像に画像処理を施す画像処理手段と、画像処理手段によって画像処理された、歌唱者の撮影画像を表示する表示手段と、を備えるカラオケ装置において、歌唱者の撮影画像に付加するための付加画像を記憶する付加画像記憶手段を更に備え、画像処理手段は、歌唱者の撮影画像における歌唱者の特徴部分を抽出する抽出手段と、評価手段による評価結果に応じて、抽出手段によって抽出された特徴部分に対して付加画像を合成処理する画像合成手段と、を備えていることを特徴とする。
【０００６】
本願発明の構成によれば、演奏手段によってカラオケ曲が演奏され、該カラオケ曲に合わせて、歌唱者が歌唱すると、該歌唱音声が歌唱入力手段によって入力され、入力された歌唱音声は、評価手段によって評価される。そして、歌唱者が撮影手段によって撮影され、該歌唱者の撮影画像は、画像処理手段によって、評価手段による評価結果に応じて画像処理が施され、該画像処理された歌唱者の撮影画像が、表示手段によって表示される。ここで、画像処理手段による画像処理として、抽出手段によって、歌唱者の撮影画像における歌唱者の特徴部分が抽出され、該特徴部分に対して、付加画像記憶手段に記憶される付加画像が、画像合成手段によって合成処理される。これによって、歌唱者の撮影画像に変形処理を施していた従来技術と比較して、より簡易な画像処理を用いながら、歌唱者の撮影画像に歌唱音声の評価結果を反映させることが可能となる。
【０００７】
更に、上述したカラオケ装置では、上記評価手段は、上記演奏手段のカラオケ曲の演奏中に、所定時間間隔毎に歌唱音声を評価し、画像処理手段は、該評価結果が得られる毎に、画像処理を実行することを特徴としてもよい。
【０００８】
この構成によれば、カラオケ曲の演奏中に所定時間間隔毎に歌唱音声が、評価手段によって評価され、評価結果が得られる毎に、画像処理手段によって画像処理が実行されるため、該画像処理後の歌唱者の撮影画像が表示手段によって、逐次表示されることで、例えば、歌唱者や、この歌唱者の視聴者等に対して、歌唱途中時点での歌唱の評価結果を表示することが可能となる。
【０００９】
また、上述したカラオケ装置では、上記抽出手段は、歌唱者の特徴部分として、歌唱者の顔部の構成要素を抽出することを特徴としてもよい。この構成によれば、歌唱者の顔部の構成要素（例えば、目、鼻、口等）が、歌唱者の特徴部分として抽出され、付加画像（例えば、羽根つきの墨等の模様を模したものや、髭を模したもの等）が合成されるため、例えば、歌唱者や、この歌唱者の視聴者等に対して、歌唱音声の評価結果をより趣向性高く表示することが可能となる。
【００１０】
そして、上述したカラオケ装置では、上記画像合成手段は、上記評価手段による評価が低い程、歌唱者の特徴部分に対して多くの付加画像を合成することを特徴としてもよい。この構成によれば、歌唱音声の評価が低い程、歌唱者の特徴部分に対して多くの付加画像が合成されるだけの簡易な構成を用いながら、歌唱音声の評価結果を例えば、歌唱者や、この歌唱者の視聴者等に対して、視覚的に理解容易に表示することが可能となる。
【００１１】
また、上述したカラオケ装置では、上記画像処理手段は、上記抽出手段によって抽出された、歌唱者の特徴部分に対して、モザイク処理及び色変更処理のうち少なくとも１の処理を行うエフェクト処理手段を更に備えることを特徴としてもよい。この構成によれば、歌唱音声の評価結果に応じて、付加画像が合成されるのに加えて、歌唱者の評価結果に応じて、歌唱者の特徴部分に対してエフェクト処理が行われるため、歌唱音声の評価結果をより詳細に表現することが可能となる。
【００１２】
また、上述したカラオケ装置では、付加画像の合成処理がなされた、歌唱者の撮影画像を記録媒体に書き込み可能な合成画像出力手段を更に備えることを特徴としてもよい。この構成によれば、付加画像の合成処理がなされた歌唱者の撮影画像が、合成画像出力手段によって記録媒体に書き込み可能であるため、歌唱音声の評価結果を保存することが可能となる。これによって、例えば、次回以降のカラオケ曲の演奏においても、付加画像の合成処理がなされた歌唱者の撮影画像を用いることができる構成等を採用して、複数回のカラオケ曲の演奏にわたって、歌唱者の評価結果を得、該評価結果を表示することが可能となる。
【発明の効果】
【００１３】
本願発明によれば、歌唱者の撮影画像に変形処理を施していた従来技術と比較して、より簡易な画像処理を用いながら、歌唱者の撮影画像に歌唱音声の評価結果を反映させることが可能となるため、従来技術と比較してより簡易な画像処理を用いながら、歌唱者等に対して、歌唱者の撮影画像によって、歌唱音声の評価結果を表示することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施形態にかかるカラオケ装置を説明する。
【００１５】
実施形態にかかるカラオケ装置では、ユーザ（歌唱者や、この歌唱者を視聴する視聴者等）の選択操作によって、通常モードの他に、評価モードを含む複数のモードから１のモードが選択可能になっている。通常モードとは、歌唱音声の評価を行わないモードである。評価モードとは、歌唱者のカラオケの演奏に合わせた歌唱者の歌唱音声のレベルを評価するモードである。評価モードでは、カラオケ装置は、評価処理を実行する。評価処理とは、歌唱者が歌唱するときに、歌唱者を撮影するとともに、該歌唱音声を評価し、評価結果に応じて、歌唱者の撮影画像に、例えば、髭等の羽根つきの墨等を模したオブジェクトを合成して表示する、一連の処理である。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態にかかるカラオケ装置１のブロック図である。カラオケ装置１は、装置全体の動作を制御するＣＰＵ（Central Processing Unit）１０と、図略のバスやコネクタを介してこれに接続された各種機器で構成されている。ＣＰＵ１０には、ハードディスク（以下、「ＨＤＤ」と記載する）１１、ＲＡＭ（RandomAccess Memory）１２及び操作部２０が接続されている。また、ＣＰＵ１０には、音源１３、Ａ／Ｄコンバータ１４、ミキサ１６、サウンドシステム（以下、「ＳＳ」と記載する）１７及びボーカルアダプタ１９が接続されている。更に、ＣＰＵ１０は、歌唱者画像処理部４０、ＭＰＥＧ（MovingPicture Experts Group） デコーダ４２、合成回路４３が接続されている。また、カラオケ装置１は、マイクロフォン１５、スピーカ１８、ビデオカメラ４１及びモニタ４４が接続可能に構成されている。
【００１７】
ＨＤＤ１１は、カラオケ曲の演奏、歌唱音声の入出力及び該カラオケ曲の演奏に対応した画像等をモニタ４４に表示するため等の所定のプログラムを記憶するとともに、画像データや音声データを記憶するためのものであり、機能的に、曲データ記憶部１１０、映像データ記憶部１１１及び付加画像記憶部１１２を備えるものである。曲データ記憶部１１０は、カラオケ曲を演奏するための曲データを記憶する領域である。映像データ記憶部１１１は、モニタ４４に表示するための背景映像の映像データなどを記憶する領域である。付加画像記憶部１１２は、複数種類の付加画像データを記憶する領域である。付加画像データは、評価モードにおいて、歌唱者の撮影画像に付加するためのオブジェクト（以下、「付加画像」と記載する）の画像データである。付加画像は、例えば、羽子板で負けた場合に敗者の顔に、ペナルティーとして描かれる墨絵の髭や、○・×等の図形等を模したオブジェクト等である。
【００１８】
ＲＡＭ１２は、ＣＰＵ１０の作業領域であり、ＨＤＤ１１からプログラムや曲データ及び付加画像を読み出すエリアの他に、採点ログエリア１２０などが設定されている。採点ログエリア１０２は、評価モード時に採点された、歌唱音声の採点結果等を記録する領域である。
【００１９】
音源１３は、ＣＰＵ１０（後述する曲シーケンサ３２）から入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成し、ミキサ１６に出力する。Ａ／Ｄコンバータ１４は、マイクロフォン１５（歌唱入力手段の一例）によって入力された、歌唱者の歌唱音声信号をデジタル信号に変換し、ミキサ１６及びボーカルアダプタ１９に出力する。
【００２０】
ミキサ１６は、音源１３が発生した複数の楽音信号、および、マイクロフォン１５−Ａ／Ｄコンバータ１７を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキサ１６は、ミキシングしたデジタルの音声信号をＳＳ１７に出力する。ミキサ１６が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。ＳＳ１７は、Ｄ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１８から放音する。
【００２１】
ボーカルアダプタ１９は、Ａ／Ｄコンバータ１４から歌唱音声信号が入力されるとともに、ＣＰＵ１０（後述の曲シーケンサ３２１）からリファレンスが入力される。なお、リファレンスとしては、例えば、曲データに含まれるガイドメロディデータ等が用いられる。ボーカルアダプタ１９は、この入力された歌唱音声信号から、歌唱音声の声量及び歌唱周波数を割り出すとともに、入力されたリファレンスの周波数及び声量を割り出して、割り出したこれらの情報を、サンプリング間隔毎にＣＰＵ１０（後述する採点モード処理部３４）に出力する。
【００２２】
操作部２０は、例えば、パネルスイッチインターフェースや、リモコン受信回路等からなるものである。操作部２０は、パネルスイッチやリモコン装置（図略）に信号の送受信を可能に接続されるものである。パネルスイッチやリモコン装置は、種々のキースイッチを備えており、該キースイッチがユーザに押下されることで、ユーザからの曲選択の操作や、複数のモードから１のモードを選択するための操作を受け付ける。これらの装置でユーザからの操作を受け付けたときに、操作部２０は、該操作内容を示す操作信号をこれらの装置から受信し、該操作信号をＣＰＵ１０に出力する。
【００２３】
ＣＰＵ１０は、操作入力処理部３１と、シーケンサ３２と、背景映像再生部３３と、評価モード処理部３４とを機能的に含むものである。操作入力処理部３１は、操作部２０から入力された操作信号に従った処理を実行する。例えば、曲選択の操作信号が入力された場合には、選択されたカラオケ曲をシーケンサ３２に通知し、モード選択の操作信号が入力された場合には、例えば、ＲＡＭ１２における所定のフラグ記憶領域にフラグを記憶させる等して、選択されたモードを設定する。なお、モード選択の初期設定は、通常モードであり、評価モードを選択する操作信号が入力されない場合には、通常モードが設定される。
【００２４】
シーケンサ３２は、カラオケ曲の演奏に必要な処理を実行するものであり、曲シーケンサ３２１、歌詞シーケンサ３２２及び文字パターン作成部３２２ａを含む。曲シーケンサ３２１は、カラオケ曲を演奏するための処理を実行するものである。このカラオケ曲を演奏するための処理として、曲シーケンサ３２１は、例えば、操作入力処理部３１から通知された、ユーザの選択したカラオケ曲の曲データを、曲データ記憶部１１０から読み出してＲＡＭ１２に記憶させる。曲シーケンサ３２１は、ＲＡＭ１２から順次曲データを読み出し、該読み出した曲データに含まれるデータ（例えば、演奏データトラック、ガイドメロディートラックなどのトラックのデータ等）を用いて、音源１３の発音処理を制御することで、カラオケ曲の演奏音を発生させる。なお、曲シーケンサ３２１、音源１３、ミキサ１６、ＳＳ１７及びスピーカ１８で、演奏手段が構成される。
【００２５】
歌詞シーケンサ３２２は、曲シーケンサ３２１で処理されるカラオケ曲の位置に対応した歌詞トラックを、曲シーケンサ３２１に読み出されたカラオケ曲から読み出し、該歌詞トラックのデータに基づいて、文字パターン作成部３２２ａに画像パターンを作成させて、合成回路４３に出力させる。
【００２６】
背景映像再生部３３は、例えば、通常モードが設定されている場合に、シーケンサ３２からの指示に応じて、選択されたカラオケ曲に対応した背景画像データを順次読み出して、合成回路４３に出力する。
【００２７】
評価モード処理部３４は、評価モードが設定されている場合に、例えば後述のような評価処理を総括的に実行し、歌唱者の歌唱音声の評価を行うとともに、歌唱者画像処理部４０を用いて、ビデオカメラ４１に歌唱者を撮影させ、該撮影画像に対して、該評価結果に応じた画像処理を施して、モニタ４４に表示させる。評価モード処理部３４は、評価エンジン３４１、ポイント抽出部３４２及びオブジェト抽出部３４３を含む。
【００２８】
評価エンジン３４１は、評価モードが設定されている場合に、マイクロフォン１８を介して入力された歌唱音声の音程、声量等から、歌唱音声の正確さや抑揚を評価する処理を実行する。例えば、このような歌唱音声の評価は、ボーカルアダプタ１９から出力された歌唱周波数及び歌唱の声量とリファレンス周波数及びリファレンス声量とを用いて行われる（歌唱音声の評価についての詳細は、後述する）。ポイント抽出部３４２は、評価エンジン３４１での評価結果に基づいて、歌唱音声の採点を行う（歌唱音声の採点についての詳細は、後述する）。ポイント抽出部３４２は、歌唱音声の採点結果を、採点ログ記憶領域１２０に記憶させるとともに、オブジェクト抽出部３４３に出力する。なお、評価エンジン３４１及びポイント抽出部３４２とで、評価手段が構成される。
【００２９】
オブジェクト抽出部３４３は、ポイント抽出部３４２から、歌唱音声の採点結果が出力され、採点結果が所定レベルより低い場合には、ＲＡＭ１２を参照して、付加画像記憶部１１２から読み出され、ＲＡＭ１２に記憶される複数種類の付加画像のうち、該採点結果に対応した付加画像を読み出し、歌唱者画像処理部４０（後述する画像合成部４０４）に出力する。一方、採点結果が所定レベルより高い場合には、オブジェクト抽出部３４３は、付加画像を抽出しない。
【００３０】
歌唱者画像処理部４０は、例えば、ＤＳＰ等で構成され、画像記憶部４０１、映像分析部４０２、特徴部分抽出部４０３及び画像合成部４０４を備える。画像記憶部４０１は、例えば、ＲＡＭ等からなるものであり、オブジェクト抽出部３４３から出力された付加画像を格納するとともに、ビデオカメラ４１（撮影手段の一例）から出力された歌唱者の撮影画像のデータを格納する。
【００３１】
映像分析部４０２は、オブジェクト抽出部３４３で付加画像が抽出される場合に、画像記憶部４０１に格納された撮影画像データを分析し、歌唱者の撮影画像データの色情報等から歌唱者の顔を特定するとともに、顔の構成要素（例えば、顔部の輪郭、目、鼻、口、耳、鼻、眉及び髪等）を、歌唱者の特徴部分として特定する。特徴部分抽出部４０３は、本願発明の抽出手段に対応し、映像分析部４０２による歌唱者の特徴部分の特定結果が出力され、該特定結果に基づいて、画像記憶部４０１に格納されている付加画像に対応した特徴部分を抽出する。例えば、付加画像が髭オブジェクトである場合には、該髭オブジェクトに対応した特徴部分として、鼻や口等が抽出される。
【００３２】
画像合成部４０４は、本願発明の画像合成手段に対応しており、特徴部分抽出部４０３によって抽出された特徴部分に対して、該特徴部分に対応する付加画像を画像記憶部４０１から読み出して合成する（付加画像の特徴部分に対する合成については、詳しくは後述する）。画像合成部４０４は、画像処理後の歌唱者の撮影画像を合成回路４３に対して出力する。なお、オブジェクト抽出部３４３と、歌唱者画像処理部４０とで、画像処理手段が構成される。
【００３３】
ＭＰＥＧデコーダ４２は、入力されたＭＰＥＧデータをＮＴＳＣ（National Television System Committee）の映像信号に変換して合成回路４３に入力するものである。例えば、通常モードが設定されている場合に、ＭＰＥＧデコーダ４２は、背景映像再生処理部３３から出力される、ＭＰＥＧ２形式にエンコードされた背景映像データの信号変換を行い、合成回路４３に出力する。
【００３４】
合成回路４３は、通常モードでは、ＭＰＥＧデコーダ４２から出力された背景映像の映像信号に、評価モードでは、画像合成部４０４から出力された歌唱者合成画像の上に歌詞テロップや採点結果の表示などのＯＳＤ（On Screen Display）を合成する回路である。モニタ４４は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイや、ＬＣＤ（LiquidCrystal Display）等であり、合成回路４３から出力された画像を表示する。
【００３５】
図２は、図１で示すカラオケ装置１の実行する評価処理の一例を示すフローチャートである。本処理は、評価モード処理部３４が、操作入力処理部３１から評価モードを選択する操作信号を受信した場合に実行開始される。
【００３６】
まず、評価モード処理部３４が、ビデオカメラ４１を用いて歌唱者の撮影を開始させるよう、歌唱者画像処理部４０に指示する。歌唱者画像処理部４０は、所定時間間隔毎の歌唱者の撮影をビデオカメラ４１に開始させ、撮影された歌唱者の撮影画像を出力させて、出力された該歌唱者の撮影画像を画像記憶部４０１に記憶させ、これを順次更新させる（Ｓ１）。
【００３７】
次に、シーケンサ３２が、操作入力処理部３１から、曲選択の指示を受信し、曲選択に対応したカラオケ曲の演奏を開始する（Ｓ２）。そして、歌唱者画像処理部４０は、初期画像の表示処理を行う（Ｓ３）。初期画像の表示処理では、歌唱者画像処理部４０は、画像記憶部４０１に記憶されている歌唱者の撮影画像の合成回路４３への出力を開始し、シーケンサ３２から出力された歌詞テロップと、歌唱者の撮影画像とを合成回路４３に合成させ、この合成画像を初期画像として、モニタ４４に表示させる。
【００３８】
ここで、歌唱者が、表示された歌詞テロップを参考にして、カラオケ曲の演奏に合わせて歌唱すると、マイクロフォン１５には、歌唱音声が入力される。該入力された歌唱音声は、ミキサ１６によってカラオケ曲とミキシングされ、ＳＳ１７を介してスピーカ１８から出力されるとともに、Ａ／Ｄコンバータ１４を介してボーカルアダプタ１９に出力される。
【００３９】
次に、評価モード処理部３４は、歌唱音声の評価タイミングの到来を判断する（Ｓ４）。評価モード処理部３４は、例えば、時間を計時するための計時手段を内蔵し、この計時手段によって、所定の時間間隔毎に到来が通知されるようになっており、該通知があったときに、評価タイミングの到来があると判断する。
【００４０】
歌唱音声の評価タイミングの到来を判断しない場合には（Ｓ４でＮＯ）、評価モード処理部３４は、繰り返しステップＳ４を実行する。歌唱音声の評価タイミングの到来を判断する場合には（Ｓ４でＹＥＳ）、評価モード処理部３４は、歌唱音声の評価処理を行う（Ｓ５）。ここでの歌唱音声の評価処理では、評価モード処理部３４が、ボーカルアダプタ１９に対して、リフェレンスと歌唱音声との周波数及び声量を評価エンジン３４１に出力するように指示する。評価エンジン３４１は、入力されたリファレンスと歌唱音声との周波数及び声量に基づいて、歌唱音声の評価を行う。具体的には、評価エンジン３４１は、歌唱周波数とリファレンス周波数とを比較して差分を求めるとともに、歌唱音声の声量とリファレンス声量とを比較して差分を求め、この双方の差分が許容範囲内であった回数が所定の時間内において、所定回数以上である場合に合格と判定し、それ以外の場合に不合格の判定を行う。この合格・不合格の判定は、音符毎に行われる。
【００４１】
ポイント抽出部３４２は、判定した合格・不合格の判定結果に基づいて、歌唱音声の採点を行う。ここでの採点は、例えば、基準となる点数（例えば、５０点等）から、合格につき所定点数（プラスポイント）が加算され、不合格につき所定点数（マイナスポイント）が減算される等して、例えば１００点を満点として行われる。
【００４２】
オブジェクト抽出部３４３は、ポイント抽出部３４２の採点結果に応じて、複数種類の付加画像から特定の付加画像を抽出する処理を実行する（Ｓ６）。具体的には、特定の付加画像の抽出は、採点結果を複数の閾値と照らし合わされることで行われる。例えば、複数の閾値が、１０点、２０点、３０点、４０点及び５０点である場合において、歌唱音声の採点結果が３２点である場合には、５０点、４０点の閾値以下であるため、５０点の閾値に対応した付加画像と、４０点の閾値に対応した付加画像とが特定され、抽出される。このように、歌唱音声の評価結果が低い程、多くの付加画像が抽出される。一方、採点結果がいずれの閾値よりも大きい値である場合には、付加画像の抽出が行われない。
【００４３】
また、逆に評価結果が高い程、付加画像が抽出されるようにしても良い。例えば、満点の場合に、歌唱者画像の頭上に表示するための王冠オブジェクトが抽出されてもよい。
【００４４】
ポイント抽出部３４２は、画像処理の実行を指示するための制御信号を歌唱者画像処理部４０に対して出力する。ここで、制御信号には、付加画像の抽出がある場合には、抽出された付加画像の画像データが含められる。
【００４５】
歌唱者画像処理部４０は、制御信号が受信されると、制御信号に含まれる付加画像を画像記憶部４０１に記憶させる。映像分析部４０２は、付加画像の抽出があるかどうかを判断する（Ｓ７）。この付加画像の抽出の有無の判断は、例えば、画像記憶部４０１に、付加画像が記憶されているかどうかで行い、記憶されていない場合には、付加画像の抽出があると判断されない（Ｓ７でＮＯ）。
【００４６】
付加画像の抽出があると判断される場合には（Ｓ７でＹＥＳ）、映像分析部４０２は、画像記憶部４０１を参照して、歌唱者の撮影画像を分析して、歌唱者の特徴部分を特定し、特徴部分抽出部４０３が、特定された特徴部分のうち、付加画像に対応した特徴部分を抽出する（Ｓ８）。例えば、付加画像が髭オブジェクトである場合には、鼻の下等が、髭オブジェクトに対応した特徴部分として抽出される。
【００４７】
そして、画像合成部４０４は、抽出された特徴部分に対して、付加画像を合成する（Ｓ９）。その後、画像合成部４０４は、合成回路４３に歌唱者の撮影画像を出力する。ここで、出力される歌唱者の撮影画像は、付加画像の抽出がない場合には、付加画像の合成されていない画像が出力され、付加画像の抽出がある場合には、付加画像の合成画像が出力される。
【００４８】
歌唱者画像処理部４０は、合成回路４３に対して、歌唱者の撮影画像と歌詞テロップとを合成させ、この合成画像をモニタ４４に表示させることで、モニタ４４の表示を更新する（Ｓ１０）。
【００４９】
その後、評価モード処理部３４は、カラオケ演奏が終了したかどうかを判断し（Ｓ１１）、カラオケ曲の演奏が終了したと判断する場合には（Ｓ１２でＹＥＳ）、モード設定を通常モードに変更して、本処理を終了させる。一方、カラオケ曲の演奏が終了したと判断しない場合には（Ｓ１１でＮＯ）、評価モード処理部３４は、評価タイミングが到来したかどうかを判断する（Ｓ１２）。評価タイミングが到来したと判断しない場合には（Ｓ１２でＮＯ）、評価モード処理部３４は、本処理をステップＳ８に戻す。一方、評価タイミングが到来したと判断する場合には（Ｓ１２でＹＥＳ）、評価モード処理３４は、本処理をステップ５に戻す。
【００５０】
図３は、図２に示す評価処理でモニタ４４に表示される画面図Ｄの一例であり、（ａ）は、歌唱者の撮影画像Ｇに付加画像の合成のない画面図Ｄ１を示し、（ｂ）は、付加画像Ｏ１、Ｏ２の合成のある画面図Ｄ２を示す。
【００５１】
図３（ａ）を参照して、例えば、図２に示す評価処理で、ステップＳ５による歌唱音声の評価に基づいた採点点数が、６０点であった場合について説明する。ステップＳ６で、複数の閾値と、採点点数である６０点とが比較される。ここでは、複数の閾値は、１０点、２０点、３０点、４０点及び５０点であるとする。採点点数は、６０点であるため、いずれの閾値よりも大きい値であり、いずれの付加画像も抽出されず、ステップＳ８でＮＯと判断され、ステップＳ１１で、画面図Ｄ１が表示されることになる。
【００５２】
図３（ｂ）を参照して、採点点数が３２点であった場合について説明する。採点点数は、３２点であるため、複数の閾値のうち、４０点及び５０点よりも大きい値である。ゆえに、ステップＳ６で、閾値４０点及び５０点に対応した付加画像（例では、付加画像Ｏ１、Ｏ２）が抽出される。そして、ステップＳ８でＹＥＳと判断され、ステップＳ９で、付加画像Ｏ１に対応する特徴部分Ｐ１と、付加画像Ｏ２に対応する特徴部分Ｐ２とが抽出され、ステップＳ１０で、特徴部分Ｐ１に付加画像Ｏ１が合成され、特徴部分Ｐ２に付加画像Ｏ２が合成され、ステップＳ１１で、画面図Ｄ２が表示される。そして、次に、ステップＳ５が実行されることで、採点点数が変化した場合、例えば、４２点になった場合には、閾値４０点を超えるため、閾値４０点に対応する付加画像Ｏ１が抽出されない。ゆえに、更新されるモニタ４４の画面において、歌唱者の画像Ｇに合成されるのは、付加画像Ｏ２のみとなり、カラオケ曲の演奏途中における歌唱音声の評価の変化に対応して、モニタ４４の表示が順次変更される。
【００５３】
このように、採点点数が低い程、多くの付加画像が歌唱者の画像Ｇに合成されることになるため、ユーザに理解させやすく、歌唱音声の評価を表示することができる。また、カラオケ曲の演奏途中の歌唱音声の評価における変化の推移を、モニタ４４に表示させることができるため、歌唱途中において、歌唱者に緊張感を与えることができ、ユーザの歌唱音声に対する遊戯性を高めることができる。
【００５４】
なお、本図では、説明の便宜のために、特徴部分Ｐ１及びＰ２を点線で表示しているが、実際の画面図では表示されない。また、本図では、歌詞テロップを省略している。
【００５５】
上述した本実施形態の構成によれば、撮影者の撮影画像に変形処理を施していた従来技術と比較して、画像合成という簡易な画像処理を用いて、歌唱者の歌唱力（歌唱レベル）の評価を表現して、表示することができる。特に、本実施形態では、カラオケ曲の演奏途中において、歌唱者の歌唱音声が所定時間間隔毎に評価され、評価される毎に、該評価結果を踏まえて、歌唱者の撮影画像に画像処理が施されて、モニタ４４の表示が更新されるため、従来技術と比較して、迅速に画像処理を行うことができ、モニタ４４の表示の更新を比較的迅速に行うことができる。
【００５６】
（第２の実施形態）
以下、本発明の第２の実施形態を図１を用いて説明する。第２の実施形態では、第１の実施形態と比較して、特徴部分抽出部４０３によって抽出された特徴部分に対してエフェクト処理を行うことが異なっている。カラオケ装置１ａは、図１に破線で示すエフェクト処理部４０５を歌唱者画像処理部４０に機能的に備えることが、カラオケ装置１と異なっており、その他の構成については同様である。エフェクト処理部４０５は、エフェクト処理手段の一例であり、ポイント抽出部３４２から採点結果が出力されるとともに、特徴部分抽出部４０３から抽出結果が通知され、該採点結果に応じて、通知された歌唱者の特徴部分にモザイク処理及び色変更処理のうち少なくとも１の処理を含むエフェクト処理を実行する。
【００５７】
本実施の形態の構成によれば、採点結果の表現を、付加画像の合成によってだけでなく、特徴部分に対するエフェクト処理においても表現することができるため、よりきめ細やかな評価結果の表示を行うことができる。
【００５８】
（第３の実施形態）
以下、本発明の第３の実施形態を図１及び図２を用いて説明する。第３の実施形態では、第１及び第２の実施形態と比較して、歌唱者画像処理部４０で処理された、歌唱者の撮影画像を、記録媒体に記録することができることが異なっている。第３の実施形態にかかるカラオケ装置１ｂは、図１において破線で示すように、合成画像入出力部５１を更に備えることが、カラオケ装置１及びカラオケ装置１ａと異なっており、その他の構成については同様である。合成画像入出力部５１は、本願発明の合成画像出力手段に対応しており、例えば、メモリスティック（登録商標）ドライブや、ＣＤ−Ｒ（CD Recordable）ドライブ等で実現される。合成画像入出力部５１は、ユーザの操作部２０を用いた指示を受けて、例えば、メモリスティックやＣＤ−Ｒ等の書き込み可能な記録媒体５１１に、画像記憶部４０１に記憶される歌唱者の撮影画像や、採点ログエリア１０２に記憶されている点数を出力する。
【００５９】
また、合成画像入出力部５１は、評価モードが設定されている場合に、ユーザの操作部２０を用いた指示を受けて、歌唱者の撮影画像の書き込まれた記録媒体５１１から、歌唱者の撮影画像や採点点数を読み出す。合成画像入出力部５１は、読み出した歌唱者を歌唱者画像処理部４０に出力するとともに、読み出した採点点数を採点ログエリア１０２及びポイント抽出部３４２に出力する。歌唱者画像処理部４０は、合成画像入出力部５１から出力された歌唱者の撮影画像を用いる。また、ポイント抽出部３４２は、出力された採点点数を評価処理における最初の基準点数として、これに対して、ポイントの減算及び加算を行う。
【００６０】
上述の本実施形態の構成によれば、複数回のカラオケ曲の演奏にわたって、歌唱者の歌唱音声の評価を行うことができ、遊戯性の高い、歌唱音声の評価を行うことができる。
【００６１】
なお、第１〜第３の実施形態では、複数のモードから１のモードを選択的に設定可能な構成としたが、これに限定されず、常に評価モードが設定されている構成であってもよい。
【００６２】
また、第１〜第３の実施形態では、歌唱者の撮影画像のみで、歌唱音声の評価結果が表示されるが、これに加えて、採点結果を表示する構成としてもよい。これによると、ユーザにより詳細に評価結果を報知することができ、更に好ましい。
【００６３】
なお、第１〜第３の実施形態では、歌唱音声の評価結果に基づいて、採点を行っているが、必ずしも、採点する必要はなく、評価エンジンで求めた、プラスポイント及びマイナスポイント分が、付加画像の付加や消去で表現されるだけであってもよい。
【００６４】
なお、第１〜第３の実施形態では、歌唱者を撮影した画像の実写が表示されるが、これに限定されず、「歌唱者の撮影画像」には、歌唱者を撮影した画像をデフォルメしたものや、歌唱者の撮影画像をアニメ化したもの、或いは、動物等で表したものも含む。なお、第１〜第３の実施形態では、静止画が表示されるが、これに限定されず、動画が表示されてもよい。
【００６５】
また、評価モードでは、背景画像が表示されないが、これに限定されず、背景画像の一部に、歌唱者の撮影画像が表示される構成であってもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施形態にかかるカラオケ装置のブロック図である。
【図２】図１で示すカラオケ装置の実行する評価処理の一例を示すフローチャートである。
【図３】図２に示す評価処理でモニタに表示される画面図の一例であり、（ａ）は、歌唱者の撮影画像に付加画像の合成のない画面図を示し、（ｂ）は、付加画像の合成のある画面図を示す。
【符号の説明】
【００６７】
１、１ａ、１ｂ−カラオケ装置 １１２−付加画像記憶部（付加画像記憶手段の一例） １３―音源（演奏手段の一例） １５−マイクロフォン（歌唱入力手段の一例） １６−ミキサ（演奏手段の一例） １７―サウンドシステム（演奏手段の一例） １８―スピーカ（演奏手段の一例） ３４１―評価エンジン（評価手段の一例） ３４２―ポイント抽出部（評価手段の一例） ３４３―オブジェクト抽出部（画像処理手段の一例） ４０―歌唱者画像処理部（画像処理手段の一例） ４０３―特徴部分抽出部（抽出手段の一例） ４０４―画像合成部（画像合成手段の一例） ４０５―エフェクト処理部（エフェクト処理手段の一例） ４１―ビデオカメラ（撮影手段の一例） ５１―合成画像入出力部（合成画像入力手段の一例）
【技術分野】
【０００１】
この発明は、歌唱者の歌唱音声を評価して、その評価に応じて画像処理が施された歌唱者の撮影画像を表示するカラオケ装置に関する。
【背景技術】
【０００２】
従来より、歌唱者の歌唱音声を評価する機能と、該評価結果を歌唱者に示す機能とを備えたカラオケ装置が実用化されている。このような評価機能を備えたカラオケ装置には、例えばビデオカメラ等で、歌唱者の顔を撮影し、この顔の画像を評価結果に応じて変形するものも提案されている（例えば、特許文献１を参照）。かかるカラオケ装置では、歌唱音声の評価結果に応じて、変形処理の度合いが変更されるため、歌唱音声の評価結果を面白く歌唱者に示すことができる。
【特許文献１】特開平１１−２３１８８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来のカラオケ装置では、歌唱者の撮影画像に変形処理を施すという複雑な画像処理が用いられていため、画像処理の負荷が大きく、高速の画像処理装置（ＤＳＰ：Digital Signal Processor等）を備えなければならないという問題点があった。特に、歌唱者の歌唱中に、逐次歌唱音声を評価し、該歌唱途中の評価結果に応じて、歌唱者の撮影画像の表示内容を変更する構成が採用される場合には、歌唱途中で逐次、歌唱者の撮影画像に対する画像処理が施されるため、さらに高速の画像処理装置が要求される。
【０００４】
そこで、本発明は、上記課題を解決するために、より簡易な画像処理を用いて、歌唱音声に対する評価結果を歌唱者に面白く表示することのできるカラオケ装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本願発明は、上記の課題を解決するための手段として、カラオケ曲を演奏する演奏手段と、歌唱者の歌唱音声を入力する歌唱入力手段と、該歌唱入力手段によって入力された歌唱音声を評価する評価手段と、歌唱者を撮影する撮影手段と、評価手段による評価結果に応じて、歌唱者の撮影画像に画像処理を施す画像処理手段と、画像処理手段によって画像処理された、歌唱者の撮影画像を表示する表示手段と、を備えるカラオケ装置において、歌唱者の撮影画像に付加するための付加画像を記憶する付加画像記憶手段を更に備え、画像処理手段は、歌唱者の撮影画像における歌唱者の特徴部分を抽出する抽出手段と、評価手段による評価結果に応じて、抽出手段によって抽出された特徴部分に対して付加画像を合成処理する画像合成手段と、を備えていることを特徴とする。
【０００６】
本願発明の構成によれば、演奏手段によってカラオケ曲が演奏され、該カラオケ曲に合わせて、歌唱者が歌唱すると、該歌唱音声が歌唱入力手段によって入力され、入力された歌唱音声は、評価手段によって評価される。そして、歌唱者が撮影手段によって撮影され、該歌唱者の撮影画像は、画像処理手段によって、評価手段による評価結果に応じて画像処理が施され、該画像処理された歌唱者の撮影画像が、表示手段によって表示される。ここで、画像処理手段による画像処理として、抽出手段によって、歌唱者の撮影画像における歌唱者の特徴部分が抽出され、該特徴部分に対して、付加画像記憶手段に記憶される付加画像が、画像合成手段によって合成処理される。これによって、歌唱者の撮影画像に変形処理を施していた従来技術と比較して、より簡易な画像処理を用いながら、歌唱者の撮影画像に歌唱音声の評価結果を反映させることが可能となる。
【０００７】
更に、上述したカラオケ装置では、上記評価手段は、上記演奏手段のカラオケ曲の演奏中に、所定時間間隔毎に歌唱音声を評価し、画像処理手段は、該評価結果が得られる毎に、画像処理を実行することを特徴としてもよい。
【０００８】
この構成によれば、カラオケ曲の演奏中に所定時間間隔毎に歌唱音声が、評価手段によって評価され、評価結果が得られる毎に、画像処理手段によって画像処理が実行されるため、該画像処理後の歌唱者の撮影画像が表示手段によって、逐次表示されることで、例えば、歌唱者や、この歌唱者の視聴者等に対して、歌唱途中時点での歌唱の評価結果を表示することが可能となる。
【０００９】
また、上述したカラオケ装置では、上記抽出手段は、歌唱者の特徴部分として、歌唱者の顔部の構成要素を抽出することを特徴としてもよい。この構成によれば、歌唱者の顔部の構成要素（例えば、目、鼻、口等）が、歌唱者の特徴部分として抽出され、付加画像（例えば、羽根つきの墨等の模様を模したものや、髭を模したもの等）が合成されるため、例えば、歌唱者や、この歌唱者の視聴者等に対して、歌唱音声の評価結果をより趣向性高く表示することが可能となる。
【００１０】
そして、上述したカラオケ装置では、上記画像合成手段は、上記評価手段による評価が低い程、歌唱者の特徴部分に対して多くの付加画像を合成することを特徴としてもよい。この構成によれば、歌唱音声の評価が低い程、歌唱者の特徴部分に対して多くの付加画像が合成されるだけの簡易な構成を用いながら、歌唱音声の評価結果を例えば、歌唱者や、この歌唱者の視聴者等に対して、視覚的に理解容易に表示することが可能となる。
【００１１】
また、上述したカラオケ装置では、上記画像処理手段は、上記抽出手段によって抽出された、歌唱者の特徴部分に対して、モザイク処理及び色変更処理のうち少なくとも１の処理を行うエフェクト処理手段を更に備えることを特徴としてもよい。この構成によれば、歌唱音声の評価結果に応じて、付加画像が合成されるのに加えて、歌唱者の評価結果に応じて、歌唱者の特徴部分に対してエフェクト処理が行われるため、歌唱音声の評価結果をより詳細に表現することが可能となる。
【００１２】
また、上述したカラオケ装置では、付加画像の合成処理がなされた、歌唱者の撮影画像を記録媒体に書き込み可能な合成画像出力手段を更に備えることを特徴としてもよい。この構成によれば、付加画像の合成処理がなされた歌唱者の撮影画像が、合成画像出力手段によって記録媒体に書き込み可能であるため、歌唱音声の評価結果を保存することが可能となる。これによって、例えば、次回以降のカラオケ曲の演奏においても、付加画像の合成処理がなされた歌唱者の撮影画像を用いることができる構成等を採用して、複数回のカラオケ曲の演奏にわたって、歌唱者の評価結果を得、該評価結果を表示することが可能となる。
【発明の効果】
【００１３】
本願発明によれば、歌唱者の撮影画像に変形処理を施していた従来技術と比較して、より簡易な画像処理を用いながら、歌唱者の撮影画像に歌唱音声の評価結果を反映させることが可能となるため、従来技術と比較してより簡易な画像処理を用いながら、歌唱者等に対して、歌唱者の撮影画像によって、歌唱音声の評価結果を表示することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施形態にかかるカラオケ装置を説明する。
【００１５】
実施形態にかかるカラオケ装置では、ユーザ（歌唱者や、この歌唱者を視聴する視聴者等）の選択操作によって、通常モードの他に、評価モードを含む複数のモードから１のモードが選択可能になっている。通常モードとは、歌唱音声の評価を行わないモードである。評価モードとは、歌唱者のカラオケの演奏に合わせた歌唱者の歌唱音声のレベルを評価するモードである。評価モードでは、カラオケ装置は、評価処理を実行する。評価処理とは、歌唱者が歌唱するときに、歌唱者を撮影するとともに、該歌唱音声を評価し、評価結果に応じて、歌唱者の撮影画像に、例えば、髭等の羽根つきの墨等を模したオブジェクトを合成して表示する、一連の処理である。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態にかかるカラオケ装置１のブロック図である。カラオケ装置１は、装置全体の動作を制御するＣＰＵ（Central Processing Unit）１０と、図略のバスやコネクタを介してこれに接続された各種機器で構成されている。ＣＰＵ１０には、ハードディスク（以下、「ＨＤＤ」と記載する）１１、ＲＡＭ（RandomAccess Memory）１２及び操作部２０が接続されている。また、ＣＰＵ１０には、音源１３、Ａ／Ｄコンバータ１４、ミキサ１６、サウンドシステム（以下、「ＳＳ」と記載する）１７及びボーカルアダプタ１９が接続されている。更に、ＣＰＵ１０は、歌唱者画像処理部４０、ＭＰＥＧ（MovingPicture Experts Group） デコーダ４２、合成回路４３が接続されている。また、カラオケ装置１は、マイクロフォン１５、スピーカ１８、ビデオカメラ４１及びモニタ４４が接続可能に構成されている。
【００１７】
ＨＤＤ１１は、カラオケ曲の演奏、歌唱音声の入出力及び該カラオケ曲の演奏に対応した画像等をモニタ４４に表示するため等の所定のプログラムを記憶するとともに、画像データや音声データを記憶するためのものであり、機能的に、曲データ記憶部１１０、映像データ記憶部１１１及び付加画像記憶部１１２を備えるものである。曲データ記憶部１１０は、カラオケ曲を演奏するための曲データを記憶する領域である。映像データ記憶部１１１は、モニタ４４に表示するための背景映像の映像データなどを記憶する領域である。付加画像記憶部１１２は、複数種類の付加画像データを記憶する領域である。付加画像データは、評価モードにおいて、歌唱者の撮影画像に付加するためのオブジェクト（以下、「付加画像」と記載する）の画像データである。付加画像は、例えば、羽子板で負けた場合に敗者の顔に、ペナルティーとして描かれる墨絵の髭や、○・×等の図形等を模したオブジェクト等である。
【００１８】
ＲＡＭ１２は、ＣＰＵ１０の作業領域であり、ＨＤＤ１１からプログラムや曲データ及び付加画像を読み出すエリアの他に、採点ログエリア１２０などが設定されている。採点ログエリア１０２は、評価モード時に採点された、歌唱音声の採点結果等を記録する領域である。
【００１９】
音源１３は、ＣＰＵ１０（後述する曲シーケンサ３２）から入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成し、ミキサ１６に出力する。Ａ／Ｄコンバータ１４は、マイクロフォン１５（歌唱入力手段の一例）によって入力された、歌唱者の歌唱音声信号をデジタル信号に変換し、ミキサ１６及びボーカルアダプタ１９に出力する。
【００２０】
ミキサ１６は、音源１３が発生した複数の楽音信号、および、マイクロフォン１５−Ａ／Ｄコンバータ１７を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキサ１６は、ミキシングしたデジタルの音声信号をＳＳ１７に出力する。ミキサ１６が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。ＳＳ１７は、Ｄ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１８から放音する。
【００２１】
ボーカルアダプタ１９は、Ａ／Ｄコンバータ１４から歌唱音声信号が入力されるとともに、ＣＰＵ１０（後述の曲シーケンサ３２１）からリファレンスが入力される。なお、リファレンスとしては、例えば、曲データに含まれるガイドメロディデータ等が用いられる。ボーカルアダプタ１９は、この入力された歌唱音声信号から、歌唱音声の声量及び歌唱周波数を割り出すとともに、入力されたリファレンスの周波数及び声量を割り出して、割り出したこれらの情報を、サンプリング間隔毎にＣＰＵ１０（後述する採点モード処理部３４）に出力する。
【００２２】
操作部２０は、例えば、パネルスイッチインターフェースや、リモコン受信回路等からなるものである。操作部２０は、パネルスイッチやリモコン装置（図略）に信号の送受信を可能に接続されるものである。パネルスイッチやリモコン装置は、種々のキースイッチを備えており、該キースイッチがユーザに押下されることで、ユーザからの曲選択の操作や、複数のモードから１のモードを選択するための操作を受け付ける。これらの装置でユーザからの操作を受け付けたときに、操作部２０は、該操作内容を示す操作信号をこれらの装置から受信し、該操作信号をＣＰＵ１０に出力する。
【００２３】
ＣＰＵ１０は、操作入力処理部３１と、シーケンサ３２と、背景映像再生部３３と、評価モード処理部３４とを機能的に含むものである。操作入力処理部３１は、操作部２０から入力された操作信号に従った処理を実行する。例えば、曲選択の操作信号が入力された場合には、選択されたカラオケ曲をシーケンサ３２に通知し、モード選択の操作信号が入力された場合には、例えば、ＲＡＭ１２における所定のフラグ記憶領域にフラグを記憶させる等して、選択されたモードを設定する。なお、モード選択の初期設定は、通常モードであり、評価モードを選択する操作信号が入力されない場合には、通常モードが設定される。
【００２４】
シーケンサ３２は、カラオケ曲の演奏に必要な処理を実行するものであり、曲シーケンサ３２１、歌詞シーケンサ３２２及び文字パターン作成部３２２ａを含む。曲シーケンサ３２１は、カラオケ曲を演奏するための処理を実行するものである。このカラオケ曲を演奏するための処理として、曲シーケンサ３２１は、例えば、操作入力処理部３１から通知された、ユーザの選択したカラオケ曲の曲データを、曲データ記憶部１１０から読み出してＲＡＭ１２に記憶させる。曲シーケンサ３２１は、ＲＡＭ１２から順次曲データを読み出し、該読み出した曲データに含まれるデータ（例えば、演奏データトラック、ガイドメロディートラックなどのトラックのデータ等）を用いて、音源１３の発音処理を制御することで、カラオケ曲の演奏音を発生させる。なお、曲シーケンサ３２１、音源１３、ミキサ１６、ＳＳ１７及びスピーカ１８で、演奏手段が構成される。
【００２５】
歌詞シーケンサ３２２は、曲シーケンサ３２１で処理されるカラオケ曲の位置に対応した歌詞トラックを、曲シーケンサ３２１に読み出されたカラオケ曲から読み出し、該歌詞トラックのデータに基づいて、文字パターン作成部３２２ａに画像パターンを作成させて、合成回路４３に出力させる。
【００２６】
背景映像再生部３３は、例えば、通常モードが設定されている場合に、シーケンサ３２からの指示に応じて、選択されたカラオケ曲に対応した背景画像データを順次読み出して、合成回路４３に出力する。
【００２７】
評価モード処理部３４は、評価モードが設定されている場合に、例えば後述のような評価処理を総括的に実行し、歌唱者の歌唱音声の評価を行うとともに、歌唱者画像処理部４０を用いて、ビデオカメラ４１に歌唱者を撮影させ、該撮影画像に対して、該評価結果に応じた画像処理を施して、モニタ４４に表示させる。評価モード処理部３４は、評価エンジン３４１、ポイント抽出部３４２及びオブジェト抽出部３４３を含む。
【００２８】
評価エンジン３４１は、評価モードが設定されている場合に、マイクロフォン１８を介して入力された歌唱音声の音程、声量等から、歌唱音声の正確さや抑揚を評価する処理を実行する。例えば、このような歌唱音声の評価は、ボーカルアダプタ１９から出力された歌唱周波数及び歌唱の声量とリファレンス周波数及びリファレンス声量とを用いて行われる（歌唱音声の評価についての詳細は、後述する）。ポイント抽出部３４２は、評価エンジン３４１での評価結果に基づいて、歌唱音声の採点を行う（歌唱音声の採点についての詳細は、後述する）。ポイント抽出部３４２は、歌唱音声の採点結果を、採点ログ記憶領域１２０に記憶させるとともに、オブジェクト抽出部３４３に出力する。なお、評価エンジン３４１及びポイント抽出部３４２とで、評価手段が構成される。
【００２９】
オブジェクト抽出部３４３は、ポイント抽出部３４２から、歌唱音声の採点結果が出力され、採点結果が所定レベルより低い場合には、ＲＡＭ１２を参照して、付加画像記憶部１１２から読み出され、ＲＡＭ１２に記憶される複数種類の付加画像のうち、該採点結果に対応した付加画像を読み出し、歌唱者画像処理部４０（後述する画像合成部４０４）に出力する。一方、採点結果が所定レベルより高い場合には、オブジェクト抽出部３４３は、付加画像を抽出しない。
【００３０】
歌唱者画像処理部４０は、例えば、ＤＳＰ等で構成され、画像記憶部４０１、映像分析部４０２、特徴部分抽出部４０３及び画像合成部４０４を備える。画像記憶部４０１は、例えば、ＲＡＭ等からなるものであり、オブジェクト抽出部３４３から出力された付加画像を格納するとともに、ビデオカメラ４１（撮影手段の一例）から出力された歌唱者の撮影画像のデータを格納する。
【００３１】
映像分析部４０２は、オブジェクト抽出部３４３で付加画像が抽出される場合に、画像記憶部４０１に格納された撮影画像データを分析し、歌唱者の撮影画像データの色情報等から歌唱者の顔を特定するとともに、顔の構成要素（例えば、顔部の輪郭、目、鼻、口、耳、鼻、眉及び髪等）を、歌唱者の特徴部分として特定する。特徴部分抽出部４０３は、本願発明の抽出手段に対応し、映像分析部４０２による歌唱者の特徴部分の特定結果が出力され、該特定結果に基づいて、画像記憶部４０１に格納されている付加画像に対応した特徴部分を抽出する。例えば、付加画像が髭オブジェクトである場合には、該髭オブジェクトに対応した特徴部分として、鼻や口等が抽出される。
【００３２】
画像合成部４０４は、本願発明の画像合成手段に対応しており、特徴部分抽出部４０３によって抽出された特徴部分に対して、該特徴部分に対応する付加画像を画像記憶部４０１から読み出して合成する（付加画像の特徴部分に対する合成については、詳しくは後述する）。画像合成部４０４は、画像処理後の歌唱者の撮影画像を合成回路４３に対して出力する。なお、オブジェクト抽出部３４３と、歌唱者画像処理部４０とで、画像処理手段が構成される。
【００３３】
ＭＰＥＧデコーダ４２は、入力されたＭＰＥＧデータをＮＴＳＣ（National Television System Committee）の映像信号に変換して合成回路４３に入力するものである。例えば、通常モードが設定されている場合に、ＭＰＥＧデコーダ４２は、背景映像再生処理部３３から出力される、ＭＰＥＧ２形式にエンコードされた背景映像データの信号変換を行い、合成回路４３に出力する。
【００３４】
合成回路４３は、通常モードでは、ＭＰＥＧデコーダ４２から出力された背景映像の映像信号に、評価モードでは、画像合成部４０４から出力された歌唱者合成画像の上に歌詞テロップや採点結果の表示などのＯＳＤ（On Screen Display）を合成する回路である。モニタ４４は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイや、ＬＣＤ（LiquidCrystal Display）等であり、合成回路４３から出力された画像を表示する。
【００３５】
図２は、図１で示すカラオケ装置１の実行する評価処理の一例を示すフローチャートである。本処理は、評価モード処理部３４が、操作入力処理部３１から評価モードを選択する操作信号を受信した場合に実行開始される。
【００３６】
まず、評価モード処理部３４が、ビデオカメラ４１を用いて歌唱者の撮影を開始させるよう、歌唱者画像処理部４０に指示する。歌唱者画像処理部４０は、所定時間間隔毎の歌唱者の撮影をビデオカメラ４１に開始させ、撮影された歌唱者の撮影画像を出力させて、出力された該歌唱者の撮影画像を画像記憶部４０１に記憶させ、これを順次更新させる（Ｓ１）。
【００３７】
次に、シーケンサ３２が、操作入力処理部３１から、曲選択の指示を受信し、曲選択に対応したカラオケ曲の演奏を開始する（Ｓ２）。そして、歌唱者画像処理部４０は、初期画像の表示処理を行う（Ｓ３）。初期画像の表示処理では、歌唱者画像処理部４０は、画像記憶部４０１に記憶されている歌唱者の撮影画像の合成回路４３への出力を開始し、シーケンサ３２から出力された歌詞テロップと、歌唱者の撮影画像とを合成回路４３に合成させ、この合成画像を初期画像として、モニタ４４に表示させる。
【００３８】
ここで、歌唱者が、表示された歌詞テロップを参考にして、カラオケ曲の演奏に合わせて歌唱すると、マイクロフォン１５には、歌唱音声が入力される。該入力された歌唱音声は、ミキサ１６によってカラオケ曲とミキシングされ、ＳＳ１７を介してスピーカ１８から出力されるとともに、Ａ／Ｄコンバータ１４を介してボーカルアダプタ１９に出力される。
【００３９】
次に、評価モード処理部３４は、歌唱音声の評価タイミングの到来を判断する（Ｓ４）。評価モード処理部３４は、例えば、時間を計時するための計時手段を内蔵し、この計時手段によって、所定の時間間隔毎に到来が通知されるようになっており、該通知があったときに、評価タイミングの到来があると判断する。
【００４０】
歌唱音声の評価タイミングの到来を判断しない場合には（Ｓ４でＮＯ）、評価モード処理部３４は、繰り返しステップＳ４を実行する。歌唱音声の評価タイミングの到来を判断する場合には（Ｓ４でＹＥＳ）、評価モード処理部３４は、歌唱音声の評価処理を行う（Ｓ５）。ここでの歌唱音声の評価処理では、評価モード処理部３４が、ボーカルアダプタ１９に対して、リフェレンスと歌唱音声との周波数及び声量を評価エンジン３４１に出力するように指示する。評価エンジン３４１は、入力されたリファレンスと歌唱音声との周波数及び声量に基づいて、歌唱音声の評価を行う。具体的には、評価エンジン３４１は、歌唱周波数とリファレンス周波数とを比較して差分を求めるとともに、歌唱音声の声量とリファレンス声量とを比較して差分を求め、この双方の差分が許容範囲内であった回数が所定の時間内において、所定回数以上である場合に合格と判定し、それ以外の場合に不合格の判定を行う。この合格・不合格の判定は、音符毎に行われる。
【００４１】
ポイント抽出部３４２は、判定した合格・不合格の判定結果に基づいて、歌唱音声の採点を行う。ここでの採点は、例えば、基準となる点数（例えば、５０点等）から、合格につき所定点数（プラスポイント）が加算され、不合格につき所定点数（マイナスポイント）が減算される等して、例えば１００点を満点として行われる。
【００４２】
オブジェクト抽出部３４３は、ポイント抽出部３４２の採点結果に応じて、複数種類の付加画像から特定の付加画像を抽出する処理を実行する（Ｓ６）。具体的には、特定の付加画像の抽出は、採点結果を複数の閾値と照らし合わされることで行われる。例えば、複数の閾値が、１０点、２０点、３０点、４０点及び５０点である場合において、歌唱音声の採点結果が３２点である場合には、５０点、４０点の閾値以下であるため、５０点の閾値に対応した付加画像と、４０点の閾値に対応した付加画像とが特定され、抽出される。このように、歌唱音声の評価結果が低い程、多くの付加画像が抽出される。一方、採点結果がいずれの閾値よりも大きい値である場合には、付加画像の抽出が行われない。
【００４３】
また、逆に評価結果が高い程、付加画像が抽出されるようにしても良い。例えば、満点の場合に、歌唱者画像の頭上に表示するための王冠オブジェクトが抽出されてもよい。
【００４４】
ポイント抽出部３４２は、画像処理の実行を指示するための制御信号を歌唱者画像処理部４０に対して出力する。ここで、制御信号には、付加画像の抽出がある場合には、抽出された付加画像の画像データが含められる。
【００４５】
歌唱者画像処理部４０は、制御信号が受信されると、制御信号に含まれる付加画像を画像記憶部４０１に記憶させる。映像分析部４０２は、付加画像の抽出があるかどうかを判断する（Ｓ７）。この付加画像の抽出の有無の判断は、例えば、画像記憶部４０１に、付加画像が記憶されているかどうかで行い、記憶されていない場合には、付加画像の抽出があると判断されない（Ｓ７でＮＯ）。
【００４６】
付加画像の抽出があると判断される場合には（Ｓ７でＹＥＳ）、映像分析部４０２は、画像記憶部４０１を参照して、歌唱者の撮影画像を分析して、歌唱者の特徴部分を特定し、特徴部分抽出部４０３が、特定された特徴部分のうち、付加画像に対応した特徴部分を抽出する（Ｓ８）。例えば、付加画像が髭オブジェクトである場合には、鼻の下等が、髭オブジェクトに対応した特徴部分として抽出される。
【００４７】
そして、画像合成部４０４は、抽出された特徴部分に対して、付加画像を合成する（Ｓ９）。その後、画像合成部４０４は、合成回路４３に歌唱者の撮影画像を出力する。ここで、出力される歌唱者の撮影画像は、付加画像の抽出がない場合には、付加画像の合成されていない画像が出力され、付加画像の抽出がある場合には、付加画像の合成画像が出力される。
【００４８】
歌唱者画像処理部４０は、合成回路４３に対して、歌唱者の撮影画像と歌詞テロップとを合成させ、この合成画像をモニタ４４に表示させることで、モニタ４４の表示を更新する（Ｓ１０）。
【００４９】
その後、評価モード処理部３４は、カラオケ演奏が終了したかどうかを判断し（Ｓ１１）、カラオケ曲の演奏が終了したと判断する場合には（Ｓ１２でＹＥＳ）、モード設定を通常モードに変更して、本処理を終了させる。一方、カラオケ曲の演奏が終了したと判断しない場合には（Ｓ１１でＮＯ）、評価モード処理部３４は、評価タイミングが到来したかどうかを判断する（Ｓ１２）。評価タイミングが到来したと判断しない場合には（Ｓ１２でＮＯ）、評価モード処理部３４は、本処理をステップＳ８に戻す。一方、評価タイミングが到来したと判断する場合には（Ｓ１２でＹＥＳ）、評価モード処理３４は、本処理をステップ５に戻す。
【００５０】
図３は、図２に示す評価処理でモニタ４４に表示される画面図Ｄの一例であり、（ａ）は、歌唱者の撮影画像Ｇに付加画像の合成のない画面図Ｄ１を示し、（ｂ）は、付加画像Ｏ１、Ｏ２の合成のある画面図Ｄ２を示す。
【００５１】
図３（ａ）を参照して、例えば、図２に示す評価処理で、ステップＳ５による歌唱音声の評価に基づいた採点点数が、６０点であった場合について説明する。ステップＳ６で、複数の閾値と、採点点数である６０点とが比較される。ここでは、複数の閾値は、１０点、２０点、３０点、４０点及び５０点であるとする。採点点数は、６０点であるため、いずれの閾値よりも大きい値であり、いずれの付加画像も抽出されず、ステップＳ８でＮＯと判断され、ステップＳ１１で、画面図Ｄ１が表示されることになる。
【００５２】
図３（ｂ）を参照して、採点点数が３２点であった場合について説明する。採点点数は、３２点であるため、複数の閾値のうち、４０点及び５０点よりも大きい値である。ゆえに、ステップＳ６で、閾値４０点及び５０点に対応した付加画像（例では、付加画像Ｏ１、Ｏ２）が抽出される。そして、ステップＳ８でＹＥＳと判断され、ステップＳ９で、付加画像Ｏ１に対応する特徴部分Ｐ１と、付加画像Ｏ２に対応する特徴部分Ｐ２とが抽出され、ステップＳ１０で、特徴部分Ｐ１に付加画像Ｏ１が合成され、特徴部分Ｐ２に付加画像Ｏ２が合成され、ステップＳ１１で、画面図Ｄ２が表示される。そして、次に、ステップＳ５が実行されることで、採点点数が変化した場合、例えば、４２点になった場合には、閾値４０点を超えるため、閾値４０点に対応する付加画像Ｏ１が抽出されない。ゆえに、更新されるモニタ４４の画面において、歌唱者の画像Ｇに合成されるのは、付加画像Ｏ２のみとなり、カラオケ曲の演奏途中における歌唱音声の評価の変化に対応して、モニタ４４の表示が順次変更される。
【００５３】
このように、採点点数が低い程、多くの付加画像が歌唱者の画像Ｇに合成されることになるため、ユーザに理解させやすく、歌唱音声の評価を表示することができる。また、カラオケ曲の演奏途中の歌唱音声の評価における変化の推移を、モニタ４４に表示させることができるため、歌唱途中において、歌唱者に緊張感を与えることができ、ユーザの歌唱音声に対する遊戯性を高めることができる。
【００５４】
なお、本図では、説明の便宜のために、特徴部分Ｐ１及びＰ２を点線で表示しているが、実際の画面図では表示されない。また、本図では、歌詞テロップを省略している。
【００５５】
上述した本実施形態の構成によれば、撮影者の撮影画像に変形処理を施していた従来技術と比較して、画像合成という簡易な画像処理を用いて、歌唱者の歌唱力（歌唱レベル）の評価を表現して、表示することができる。特に、本実施形態では、カラオケ曲の演奏途中において、歌唱者の歌唱音声が所定時間間隔毎に評価され、評価される毎に、該評価結果を踏まえて、歌唱者の撮影画像に画像処理が施されて、モニタ４４の表示が更新されるため、従来技術と比較して、迅速に画像処理を行うことができ、モニタ４４の表示の更新を比較的迅速に行うことができる。
【００５６】
（第２の実施形態）
以下、本発明の第２の実施形態を図１を用いて説明する。第２の実施形態では、第１の実施形態と比較して、特徴部分抽出部４０３によって抽出された特徴部分に対してエフェクト処理を行うことが異なっている。カラオケ装置１ａは、図１に破線で示すエフェクト処理部４０５を歌唱者画像処理部４０に機能的に備えることが、カラオケ装置１と異なっており、その他の構成については同様である。エフェクト処理部４０５は、エフェクト処理手段の一例であり、ポイント抽出部３４２から採点結果が出力されるとともに、特徴部分抽出部４０３から抽出結果が通知され、該採点結果に応じて、通知された歌唱者の特徴部分にモザイク処理及び色変更処理のうち少なくとも１の処理を含むエフェクト処理を実行する。
【００５７】
本実施の形態の構成によれば、採点結果の表現を、付加画像の合成によってだけでなく、特徴部分に対するエフェクト処理においても表現することができるため、よりきめ細やかな評価結果の表示を行うことができる。
【００５８】
（第３の実施形態）
以下、本発明の第３の実施形態を図１及び図２を用いて説明する。第３の実施形態では、第１及び第２の実施形態と比較して、歌唱者画像処理部４０で処理された、歌唱者の撮影画像を、記録媒体に記録することができることが異なっている。第３の実施形態にかかるカラオケ装置１ｂは、図１において破線で示すように、合成画像入出力部５１を更に備えることが、カラオケ装置１及びカラオケ装置１ａと異なっており、その他の構成については同様である。合成画像入出力部５１は、本願発明の合成画像出力手段に対応しており、例えば、メモリスティック（登録商標）ドライブや、ＣＤ−Ｒ（CD Recordable）ドライブ等で実現される。合成画像入出力部５１は、ユーザの操作部２０を用いた指示を受けて、例えば、メモリスティックやＣＤ−Ｒ等の書き込み可能な記録媒体５１１に、画像記憶部４０１に記憶される歌唱者の撮影画像や、採点ログエリア１０２に記憶されている点数を出力する。
【００５９】
また、合成画像入出力部５１は、評価モードが設定されている場合に、ユーザの操作部２０を用いた指示を受けて、歌唱者の撮影画像の書き込まれた記録媒体５１１から、歌唱者の撮影画像や採点点数を読み出す。合成画像入出力部５１は、読み出した歌唱者を歌唱者画像処理部４０に出力するとともに、読み出した採点点数を採点ログエリア１０２及びポイント抽出部３４２に出力する。歌唱者画像処理部４０は、合成画像入出力部５１から出力された歌唱者の撮影画像を用いる。また、ポイント抽出部３４２は、出力された採点点数を評価処理における最初の基準点数として、これに対して、ポイントの減算及び加算を行う。
【００６０】
上述の本実施形態の構成によれば、複数回のカラオケ曲の演奏にわたって、歌唱者の歌唱音声の評価を行うことができ、遊戯性の高い、歌唱音声の評価を行うことができる。
【００６１】
なお、第１〜第３の実施形態では、複数のモードから１のモードを選択的に設定可能な構成としたが、これに限定されず、常に評価モードが設定されている構成であってもよい。
【００６２】
また、第１〜第３の実施形態では、歌唱者の撮影画像のみで、歌唱音声の評価結果が表示されるが、これに加えて、採点結果を表示する構成としてもよい。これによると、ユーザにより詳細に評価結果を報知することができ、更に好ましい。
【００６３】
なお、第１〜第３の実施形態では、歌唱音声の評価結果に基づいて、採点を行っているが、必ずしも、採点する必要はなく、評価エンジンで求めた、プラスポイント及びマイナスポイント分が、付加画像の付加や消去で表現されるだけであってもよい。
【００６４】
なお、第１〜第３の実施形態では、歌唱者を撮影した画像の実写が表示されるが、これに限定されず、「歌唱者の撮影画像」には、歌唱者を撮影した画像をデフォルメしたものや、歌唱者の撮影画像をアニメ化したもの、或いは、動物等で表したものも含む。なお、第１〜第３の実施形態では、静止画が表示されるが、これに限定されず、動画が表示されてもよい。
【００６５】
また、評価モードでは、背景画像が表示されないが、これに限定されず、背景画像の一部に、歌唱者の撮影画像が表示される構成であってもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施形態にかかるカラオケ装置のブロック図である。
【図２】図１で示すカラオケ装置の実行する評価処理の一例を示すフローチャートである。
【図３】図２に示す評価処理でモニタに表示される画面図の一例であり、（ａ）は、歌唱者の撮影画像に付加画像の合成のない画面図を示し、（ｂ）は、付加画像の合成のある画面図を示す。
【符号の説明】
【００６７】
１、１ａ、１ｂ−カラオケ装置 １１２−付加画像記憶部（付加画像記憶手段の一例） １３―音源（演奏手段の一例） １５−マイクロフォン（歌唱入力手段の一例） １６−ミキサ（演奏手段の一例） １７―サウンドシステム（演奏手段の一例） １８―スピーカ（演奏手段の一例） ３４１―評価エンジン（評価手段の一例） ３４２―ポイント抽出部（評価手段の一例） ３４３―オブジェクト抽出部（画像処理手段の一例） ４０―歌唱者画像処理部（画像処理手段の一例） ４０３―特徴部分抽出部（抽出手段の一例） ４０４―画像合成部（画像合成手段の一例） ４０５―エフェクト処理部（エフェクト処理手段の一例） ４１―ビデオカメラ（撮影手段の一例） ５１―合成画像入出力部（合成画像入力手段の一例）
【特許請求の範囲】
【請求項１】
カラオケ曲を演奏する演奏手段と、歌唱者の歌唱音声を入力する歌唱入力手段と、該歌唱入力手段によって入力された前記歌唱音声を評価する評価手段と、前記歌唱者を撮影する撮影手段と、前記評価手段による評価結果に応じて、前記歌唱者の撮影画像に画像処理を施す画像処理手段と、前記画像処理手段によって画像処理された、前記歌唱者の撮影画像を表示する表示手段と、を備えたカラオケ装置であって、
前記歌唱者の撮影画像に付加するための付加画像を記憶する付加画像記憶手段を更に備え、
前記画像処理手段は、
前記歌唱者の撮影画像における前記歌唱者の特徴部分を抽出する抽出手段と、
前記評価手段による評価結果に応じて、前記抽出手段によって抽出された特徴部分に対して前記付加画像を合成処理する画像合成手段と、を備えていることを特徴とするカラオケ装置。
【請求項２】
前記評価手段は、前記演奏手段のカラオケ曲の演奏中に、所定時間間隔毎に前記歌唱音声を評価し、前記画像処理手段は、該評価結果が得られる毎に、前記画像処理を実行することを特徴とする請求項１に記載のカラオケ装置。
【請求項３】
前記抽出手段は、前記歌唱者の特徴部分として、歌唱者の顔部の構成要素を抽出することを特徴とする請求項１又は２に記載のカラオケ装置。
【請求項４】
前記画像合成手段は、前記評価手段による評価が低い程、前記歌唱者の特徴部分に対して多くの付加画像を合成することを特徴とする請求項１〜３のいずれかに記載のカラオケ装置。
【請求項５】
前記画像処理手段は、前記抽出手段によって抽出された、前記歌唱者の特徴部分に対して、モザイク処理及び色変更処理のうち少なくとも１の処理を行うエフェクト処理手段を更に備えることを特徴とする請求項１〜４のいずれかに記載のカラオケ装置。
【請求項６】
前記付加画像の合成処理がなされた、前記歌唱者の撮影画像を記録媒体に書き込み可能な合成画像出力手段を更に備えることを特徴とする請求項１〜５のいずれかに記載のカラオケ装置。
【請求項１】
カラオケ曲を演奏する演奏手段と、歌唱者の歌唱音声を入力する歌唱入力手段と、該歌唱入力手段によって入力された前記歌唱音声を評価する評価手段と、前記歌唱者を撮影する撮影手段と、前記評価手段による評価結果に応じて、前記歌唱者の撮影画像に画像処理を施す画像処理手段と、前記画像処理手段によって画像処理された、前記歌唱者の撮影画像を表示する表示手段と、を備えたカラオケ装置であって、
前記歌唱者の撮影画像に付加するための付加画像を記憶する付加画像記憶手段を更に備え、
前記画像処理手段は、
前記歌唱者の撮影画像における前記歌唱者の特徴部分を抽出する抽出手段と、
前記評価手段による評価結果に応じて、前記抽出手段によって抽出された特徴部分に対して前記付加画像を合成処理する画像合成手段と、を備えていることを特徴とするカラオケ装置。
【請求項２】
前記評価手段は、前記演奏手段のカラオケ曲の演奏中に、所定時間間隔毎に前記歌唱音声を評価し、前記画像処理手段は、該評価結果が得られる毎に、前記画像処理を実行することを特徴とする請求項１に記載のカラオケ装置。
【請求項３】
前記抽出手段は、前記歌唱者の特徴部分として、歌唱者の顔部の構成要素を抽出することを特徴とする請求項１又は２に記載のカラオケ装置。
【請求項４】
前記画像合成手段は、前記評価手段による評価が低い程、前記歌唱者の特徴部分に対して多くの付加画像を合成することを特徴とする請求項１〜３のいずれかに記載のカラオケ装置。
【請求項５】
前記画像処理手段は、前記抽出手段によって抽出された、前記歌唱者の特徴部分に対して、モザイク処理及び色変更処理のうち少なくとも１の処理を行うエフェクト処理手段を更に備えることを特徴とする請求項１〜４のいずれかに記載のカラオケ装置。
【請求項６】
前記付加画像の合成処理がなされた、前記歌唱者の撮影画像を記録媒体に書き込み可能な合成画像出力手段を更に備えることを特徴とする請求項１〜５のいずれかに記載のカラオケ装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００６−１２６３００（Ｐ２００６−１２６３００Ａ）
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願番号】特願２００４−３１１４３１（Ｐ２００４−３１１４３１）
【出願日】平成１６年１０月２６日（２００４．１０．２６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願日】平成１６年１０月２６日（２００４．１０．２６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]