カラオケ装置、カラオケ装置の制御方法及び制御プログラム
【課題】写真データなどの画像データを用いて生成した背景動画像に合わせて演奏するのに好適なカラオケ楽曲を提示する。
【解決手段】カラオケ演奏端末１３は、所定の条件と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースを備え、解析の結果を、所定の条件に照らし合わせて推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する。そして、提示された楽曲からいずれかをユーザに選択させ、選択されたカラオケ楽曲の演奏を行う。
【解決手段】カラオケ演奏端末１３は、所定の条件と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースを備え、解析の結果を、所定の条件に照らし合わせて推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する。そして、提示された楽曲からいずれかをユーザに選択させ、選択されたカラオケ楽曲の演奏を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、カラオケ装置、カラオケ装置の制御方法及び制御プログラムに関する。
【背景技術】
【０００２】
従来、カラオケ装置は、カラオケ楽曲データを処理して伴奏音楽としてのカラオケ楽曲をスピーカなどの音響システムを介して出力するとともに、このカラオケ楽曲に同期させて歌詞画像をディスプレイに出力していた。
【０００３】
また、これらと並行して、カラオケ装置は、ビデオＣＤなどに記憶された規定の映像データを処理して、背景映像を再生し、この背景映像に歌詞画像をスーパーインポーズ表示するものが知られている。
さらに、リクエスト回数などに基づいて、推奨するカラオケ楽曲をユーザに提示するカラオケ装置も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２７５９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、背景映像として規定の映像データに基づくものではなく、外部入力画像を用いることが考えられる。
従来技術においては、このような場合に、カラオケ装置により提示されたカラオケ楽曲が必ずしも当該外部入力画像にマッチするとは限らなかった。
【０００６】
そこで、本発明の目的は、写真データなどの画像データを用いて生成した背景動画像に合わせて演奏するのに好適なカラオケ楽曲を提示することが可能なカラオケ装置、カラオケ装置の制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
実施形態のカラオケ装置は、所定の条件と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースを備えている。
また、カラオケ装置は、指定された静止画像データを解析する解析手段を備えている。
【０００８】
そして、楽曲提示手段は、解析の結果を、所定の条件に照らし合わせて推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する。
これにより選択受付手段は、提示されたカラオケ楽曲からいずれかをユーザに選択させる。
これらの結果、カラオケ装置では、ユーザに対して推奨するカラオケ楽曲のうち、ユーザにより選択されたカラオケ楽曲を再生する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係るカラオケ装置を備えた通信カラオケシステムの概要構成説明図である。
【図２】図２は、カラオケ演奏端末のブロック図である。
【図３】図３は、カラオケ装置の要部の機能構成説明図である。
【図４】図４は、素材情報の構成説明図である。
【図５】図５は、分析情報の一構成例の説明図である。
【図６】図６は、笑顔度と人数とに基づいて決定されるエフェクトの一例を説明する図である。
【図７】図７は、上述した各エフェクト集に対応する具体的なエフェクト例の説明図である。
【図８】図８は、カラオケ再生処理の処理フローチャートである。
【図９】図９は、素材分析処理の処理フローチャートである。
【図１０】図１０は、推奨楽曲データベースの構成説明図である。
【発明を実施するための形態】
【００１０】
次に実施の形態について図面を参照して説明する。
図１は、実施形態に係るカラオケ装置を備えた通信カラオケシステムの概要構成説明図である。
通信カラオケシステム１０は、カラオケ楽曲データなどを格納した図示しないカラオケデータベースを有するカラオケホスト１１と、カラオケホスト１１に対し、インターネット、ＶＰＮなどの通信ネットワーク１２を介して接続された複数のカラオケ演奏端末１３と、各カラオケ演奏端末１３に無線通信ネットワークを介して接続される複数のユーザ操作端末１４と、を備えている。
【００１１】
図２は、カラオケ演奏端末のブロック図である。
カラオケ演奏端末１３は、カラオケ演奏端末１３全体を制御するコントローラ１０１と、ユーザによるカラオケ演奏端末１３の操作入力を直接あるいはユーザ操作端末１４を介して間接に受け付けたり、ユーザ所有のＵＳＢ機器あるいはメモリカードなどからデータの入力を受け付けたりするユーザインタフェース１０２と、各種データ及びデータベースを記憶したハードディスクドライブ（ＨＤＤ）１０３と、を備えている。
【００１２】
また、カラオケ演奏端末１３は、通信ネットワーク１２を介してカラオケホスト１１との間の通信を行う通信インタフェース（Ｉ／Ｆ）１０４と、ＣＤ、ＤＶＤなどの光ディスクの記録／再生を行う光ディスクドライブ１０５と、ＶＲＡＭ１０６に格納されている表示画像データに基づいてディスプレイ１０７に各種表示を行う表示コントローラ１０８と、を備えている。
【００１３】
さらに、カラオケ演奏端末１３は、マイクロフォン１０９Ａ、１０９Ｂからの入力音声をコントローラ側から入力されるカラオケ音響データに対応するカラオケ音響信号に重畳してスピーカ１１０に出力するサウンドコントローラ１１１と、各種画像を撮像するカメラ１１２と、を備えている。
【００１４】
上記構成において、コントローラ１０１は、当該コントローラ１０１全体を制御するＣＰＵ１２１と、各種制御プログラムを不揮発的に記憶するＲＯＭ１２２と、各種データを一時的に格納し、ワーキングエリアとして機能するＲＡＭ１２３と、を備えている。
【００１５】
ユーザＩ／Ｆ１０２は、ユーザが各種操作を行う図示しない操作子が配置された操作パネル１２５と、ＵＳＢコネクタ１２６を介して接続された外部のＵＳＢ機器の制御を行うＵＳＢコントローラ１２７と、カードコネクタ１２８を介して接続された外部のメモリカードの制御を行うカードコントローラ１２９と、ユーザ操作端末１４からの無線通信により遠隔操作がなされるリモコンインタフェース（Ｉ／Ｆ）１３０と、を備えている。
【００１６】
図３は、カラオケ装置の要部の機能構成説明図である。
ここでは、動画像再生アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための機能構成について説明する。
【００１７】
この動画像生成機能は、ユーザＩ／Ｆ１０２（上述のＵＳＢコントローラ１２７、カードコントローラ１２９等）を介して外部デバイス（ＵＳＢメモリ、メモリカード等）から格納された素材データ５１だけでなく、ＨＤＤ１０３内の所定のディレクトリに格納された素材データ５１や、通信インタフェース１０４及び通信ネットワーク１２を介して格納された素材データ５１に対しても適用できる。
【００１８】
ここで、素材データ５１とは、例えば、ＨＤＤ１０３内の所定のディレクトリに格納された素材データ５１を例とすると、静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等である。
【００１９】
動画像再生アプリケーションプログラム２０２は、コントローラ１０１のＲＡＭ１２３上に展開されており、機能的に見ると、素材入力部２１、素材分析部２２及び動画再生部２３を備えている。
【００２０】
素材入力部２１は、ＵＳＢコントローラ１２７、カードコントローラ１２９等のユーザＩ／Ｆ１０２を介して、素材データ５１が入力されると、素材データ５１をＨＤＤ１０３内のデータベース１３１を構成する素材データベース３０１に格納する。ここで、素材データベース３０１は、生成される動画像に用いられる素材データ５１を格納するためのデータベースである。
【００２１】
具体的には、素材データベース３０１には、素材データ５１としての静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等が格納される。素材データベース３０１に格納された素材データ５１は、生成すべき動画像の素材候補として用いられる。
【００２２】
また、素材入力部２１は、素材データ５１がＨＤＤ１０３に格納されたことを素材分析部２２に通知する。
【００２３】
素材分析部２２は、素材入力部２１からの通知に応答して、素材データ５１の分析処理を開始する。
以下の説明においては、分析処理の分析対象である素材データ５１として、写真データが入力された場合を説明する。また、分析の目的としては、素材データ５１としての写真データに含まれる人物の表情（特に笑顔）及び人数を分析結果として出力するものとする。
【００２４】
素材分析部２２は、大別すると、顔画像検出部２２１と、表情検出部２２２と、人数検出部２２３と、を備えている。なお、以下の説明においては、分析対象の素材データ５１が静止画像データ３０１Ａである場合を想定する。
【００２５】
顔画像検出部２２１は、静止画像データ３０１Ａから顔画像を検出する顔検出処理を実行する。顔画像は、例えば、静止画像データ３０１Ａの特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。ここで、顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって抽出された特徴データである。
【００２６】
顔検出処理の実行がなされると、静止画像データ３０１Ａ内に含まれる各顔画像の位置（座標）、サイズ、正面度等が検出される。
【００２７】
さらに、顔画像検出部２２１は、静止画像データ３０１Ａから検出された複数の顔画像を、同一の人物と推定される顔画像別のグループに分類する。
【００２８】
また、顔画像検出部２２１は検出された顔画像に対応する人物を識別（特定）してもよい。その場合、顔画像検出部２２１は、例えば、識別する人物の顔画像特徴サンプルを用いて、検出された顔画像がその人物であるか否かを判定する。顔画像検出部２２１は、上述の結果に基づき、検出された顔画像に人物毎の顔ＩＤを付与する。顔画像検出部２２１は、検出した顔画像の情報（顔画像そのものおよび分類結果）を表情検出部２２２及び人数検出部２２３に出力する。
【００２９】
これにより、顔画像の情報が入力された表情検出部２２２は、顔画像検出部２２１によって検出された顔画像に対応する表情を検出する。そして、表情検出部２２２は、当該顔画像が検出された表情である尤もらしさを示す度合い（尤度）を算出する。
【００３０】
本実施形態においては、表情検出部２２２は、検出された顔画像に対応する表情が「笑顔」であるか否かを判定している。具体的には、表情検出部２２２は、例えば、「笑顔」の顔画像特徴サンプルに類似する特徴を有する顔画像を「笑顔」であると判定している。
【００３１】
そして、表情検出部２２２は、顔画像に対応する表情を「笑顔」であると判定した場合には、顔画像が笑顔であると推測する尤もらしさの度合いを笑顔度として算出することとなる。この場合において、１枚の静止画像データ３０１Ａから複数の画像が検出されている際には、表情検出部２２２は、例えば、複数の顔画像の笑顔度の平均を、静止画像データ３０１Ａの笑顔度とする。
【００３２】
なお、笑顔度は、数値に限らず、例えば「高い」、「低い」といった相対的な指標で表してもよい。笑顔度を相対的な指標で表す際に、１枚の静止画像データ３０１Ａから複数の顔画像が検出されているときには、表情検出部２２２は、例えば、より多くの顔画像に設定されている方の指標（例えば、「高い」）を、静止画像データ３０１Ａの笑顔度に決定する。
【００３３】
以下の本実施形態の説明では、説明の簡略化のため、笑顔度のみを例として説明するが、表情検出部２２２は、笑顔に限らず、怒った顔、泣き顔、驚いた顔、無表情など、あらゆる表情である尤度を算出してもよい。
【００３４】
一方、人数検出部２２３は、静止画像データ３０１Ａに含まれる人物の数を検出する。人数検出部２２３は、例えば、顔画像検出部２２１によって検出された顔画像の数を、静止画像データ３０１Ａに含まれる人物の数とする。また、人数検出部２２３は、例えば、顔画像を含む人物の全身や体の一部等を検出することにより、後ろ姿で捉えられた人物等を含む人数を算出してもよい。
【００３５】
なお、人数は、数値に限らず、例えば「多い」、「少ない」といった相対的な指標で表してもよい。人数検出部２２３は、例えば、静止画像データ３０１Ａからしきい値以上の数の顔画像が検出されているとき、静止画像データ３０１Ａの人数を「多い」に決定する。
【００３６】
素材分析部２２は、素材データ５１に付加された後述する素材情報３０２Ａ及び素材分析部２２の分析により生成された分析情報３０２Ｂを、ＨＤＤ１０３内の素材情報データベース３０２に格納する。
【００３７】
図４は、素材情報の構成説明図である。
素材情報３０２Ａは、素材ＩＤ、ファイルパス、ファイルサイズ、ファイル形式、生成日時、生成場所、種類、画像サイズ、再生時間、入力経路を示す情報を含んでいる。
【００３８】
ここで、「素材ＩＤ」は、素材データ５１を特定するために、一意に割り当てられる識別情報である。「ファイルパス」は、素材データ５１がＨＤＤ１０３上で、格納される場所を示す。「ファイルサイズ」は、素材データ５１のデータサイズを示す。「ファイル形式」は、素材データ５１のデータフォーマット（例えば、動画であれば、ｍｐｅｇフォーマット、ｗｍａフォーマット等、静止画であればｊｐｅｇフォーマット、ｂｍｐフォーマット等、音声であればｍｐ３フォーマット、ｗａｖフォーマット等）を示す。「生成日時」は、素材データ５１が生成された日時を表す情報（例えば、２０１０年１１月１０日等）を示す。「生成場所」は、素材データ５１が生成された場所を表す位置情報（例えば、ＧＰＳ測位による経度・移動情報）を示す。「種類」は、素材データ５１のデータ内容の種類（例えば、静止画像、音声、動画像等）を示す。「画像サイズ」は、素材データ５１が、静止画像データ３０１Ａ又は動画像データ３０１Ｃに対応するものであるときに、それらの表示時の画像サイズ（例えば、１０２４×７６８ピクセル等）を示す。「再生時間」は、素材データ５１が、音声データ３０１Ｂ又は動画像データ３０１Ｃに対応するものであるときに、通常速度で再生時の再生時間を示す。「入力経路」は、素材データ５１がカラオケ演奏端末１３に入力された経路（例えば、外部記憶メディア、外部記憶装置、ネットワーク上のサーバ等）を示す。
【００３９】
図５は、分析情報の一構成例の説明図である。
分析情報３０２Ｂは、図５に示すように、例えば、上述した素材ＩＤ、笑顔度、人数及び顔画像情報を含む。
【００４０】
また、顔画像情報は、上述の顔検出処理による分析結果に基づく情報を示す。したがって、顔画像情報は、例えば、顔画像、サイズ、位置、顔ＩＤを示す情報を含む。また、顔画像情報は、各顔画像の笑顔度を含んでもよい。
なお、分析情報３０２Ｂには、１つの静止画像データ３０１Ａから検出された顔画像に対応する数だけ、顔画像情報が格納される。
【００４１】
また、素材分析部２１１は、静止画像データ３０１Ａから人物（顔画像を含む全身や体の一部等）、風景（海、山、花等）、動物（犬、猫、魚等）等のオブジェクトを検出（認識）し、それら分析結果（検出結果）を示す情報を含む分析情報３０２Ｂを生成してもよい。
【００４２】
さらに、素材分析部２１１は、素材情報３０２Ａや静止画像データ３０１Ａから撮影時刻、撮影位置等を推定し、それら分析結果（推定結果）を示す情報を含む分析情報３０２Ｂを生成してもよい。その場合、図５に示すように、分析情報３０２Ｂには、人物画像、サイズ、位置、及び人物ＩＤを含む人物画像情報、風景画像、サイズ、位置、及び属性を含む風景情報、動物画像、サイズ、位置、及び属性を含む動物情報、撮影時刻、並びに撮影位置が含まれる。
【００４３】
なお、素材分析部２１１は、音声データ３０１Ｂを分析し、検出された声に対応する人物の情報及び人物の数、検出された音楽の雰囲気及びジャンル等を含む分析情報３０２Ｂを生成してもよい。
【００４４】
さらに、素材分析部２１１は、動画像データ３０１Ｃに含まれる各画像フレームを、静止画像データ３０１Ａと同様に分析し、上述の笑顔度、人数、顔画像情報等を含む分析情報３０２Ｂを生成してもよい。
【００４５】
素材分析部２１１は、入力された素材データ５１に対応する素材情報３０２Ａ及び分析情報３０２Ｂが、素材情報データベース３０２に格納されたことを動画再生部２３に通知する。
【００４６】
動画再生部２３は、素材分析部２２からの通知に応答して、素材データ５１を用いて合成動画（動画像）を生成し、生成された合成動画を再生（表示）する処理を開始する。その際、動画再生部２３は、素材情報データベース３０２を参照して、所定の条件を満たす素材データ５１を素材データベース３０１から抽出し、合成動画を生成する。
この場合において、動画再生部２３は、エフェクト抽出部２３１と、合成動画生成部２３２と、合成動画出力部２３３と、を備えている。
【００４７】
エフェクト抽出部２３１は、エフェクトデータベース３０３から、取り込んだ素材データ５１に適したエフェクトデータ３０３Ａを抽出する。ここで、エフェクトデータ３０３Ａとしては、ズーム、回転、ノイズ追加、モザイク化、輪郭抽出、エンボスなどの通常のビデオエフェクトの他、シーン間をつなぐトランジションも含まれるものとする。
【００４８】
具体的には、エフェクト抽出部２３１は、まず、素材情報データベース３０２から、抽出された素材データ５１に対応する分析情報３０２Ｂに含まれる笑顔度と人数とを抽出する。
【００４９】
そして、エフェクト抽出部２３１は、抽出した笑顔度と人数とに基づいて、抽出された素材データ５１に適したエフェクトデータ３０３Ａを選択する。エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａ（素材データ５１）の各々に対応する笑顔度と人数とから、これら複数の静止画像データ３０１Ａ全体での笑顔度の指標と人数の指標とを算出する。
【００５０】
すなわち、エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａのうち、笑顔度が第１しきい値以上である顔画像を含む静止画像データ３０１Ａの数を、複数の静止画像データ３０１Ａ全体での笑顔度の指標に決定する。
【００５１】
また、エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａの各々に対応する笑顔度の平均を、これら複数の静止画像データ３０１Ａ全体の笑顔度の指標に決定してもよい。
【００５２】
また、エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａのうち、人数が第２しきい値以上である静止画像データ３０１Ａのうちの数を、複数の静止画像データ３０１Ａ全体での人数の指標に決定する。また、エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａの各々に対応する人数の平均を、これら複数の静止画像データ３０１Ａ全体の人数の指標に決定してもよい。
【００５３】
なお、上述のように、笑顔度と人数とは相対的な指標で表されてもよい。したがって、例えば、抽出された複数の静止画像データ３０１Ａの各々に「高い」又は「低い」という笑顔度が設定されているとき、エフェクト抽出部２３１は、より多くの静止画像データ３０１Ａに設定されている方の指標（例えば、「高い」）を、これら複数の静止画像データ３０１Ａ全体の笑顔度に決定する。また、例えば、抽出された複数の静止画像データ３０１Ａのうち、所定の割合（第１しきい値）以上の静止画像データ３０１Ａに「高い」という笑顔度が設定されているとき、エフェクト抽出部２３１は、これら複数の静止画像データ３０１Ａ全体の笑顔度を「高い」に決定する。
【００５４】
同様に、例えば、抽出された複数の静止画像データ３０１Ａの各々に「多い」又は「少ない」という人数が設定されているとき、エフェクト抽出部２３１は、より多くの静止画像データ３０１Ａに設定されている方の指標（例えば、「少ない」）を、これら複数の静止画像データ３０１Ａ全体の人数に決定する。また、例えば、抽出された複数の静止画像データ３０１Ａのうち、所定の割合（第２しきい値）以上の静止画像データ３０１Ａに「多い」という人数が設定されているとき、エフェクト抽出部２３１は、これら複数の静止画像データ３０１Ａ全体の人数を「多い」に決定する。
【００５５】
エフェクト抽出部２３１は、上述のように決定される、抽出された複数の静止画像データ３０１Ａ全体に対応する笑顔度と人数とに基づいて、これら複数の静止画像データ３０１Ａに適したエフェクトデータ３０３Ａを決定する。
【００５６】
図６は、笑顔度と人数とに基づいて決定されるエフェクトの一例を説明する図である。
エフェクト抽出部２３１は、抽出された複数の静止画像データ３０１Ａ全体に対応する笑顔度と人数とに応じて、人数が多く、笑顔度が高い素材である場合には、人数が多く、笑顔度が高い素材である場合に適すると考えられるエフェクト集５１Ａを選択する。
【００５７】
また、エフェクト抽出部２３１は、人数が多く、笑顔度が低い素材である場合には、人数が多く、笑顔度が低い素材である場合に適すると考えられるエフェクト集５１Ｂを選択する。
【００５８】
また、エフェクト抽出部２３１は、人数が少なく、笑顔度が低い素材である場合には、人数が少なく、笑顔度が低い素材に適すると考えられるエフェクト集５１Ｃを選択する。
【００５９】
また、エフェクト抽出部２３１は、人数が少なく、笑顔度が高い素材である場合には、人数が少なく、笑顔度が高い素材に適すると考えられるエフェクト集５１Ｄを選択する。
【００６０】
図７は、上述した各エフェクト集に対応する具体的なエフェクト例の説明図である。
人数が多く、笑顔度が高い素材に適したエフェクト集５２Ａとしては、幸せな印象や元気な印象を想起させる効果（装飾）を有する一群のエフェクトが用いられる。したがって、その場を盛り上げることができるような効果が付与される。
【００６１】
また、人数が多く、笑顔度が低い素材に適したエフェクト集５２Ｂとしては、セレモニーを想起させる効果を有する一群のエフェクトが用いられる。したがって、例えば、荘厳な雰囲気を醸し出すような効果が付与される。
【００６２】
また、人数が少なく、笑顔度が低い素材に適したエフェクト集５２Ｃとしては、クールな印象や近未来的な印象を想起させる効果を有する一群のエフェクトが用いられる。
また、人数が少なく、笑顔度が高い素材に適したエフェクト集５２Ｄには、ファンタジーや魔法といった印象を想起させる効果を有する一群のエフェクトが用いられる。
【００６３】
これらエフェクト集５２Ａ〜５２Ｄでは、エフェクトに用いられる色、形状、動き（モーション）、オブジェクト等を変更することによって、ユーザに認識される印象が変化するように設計される。
【００６４】
したがって、例えば、幸せな印象や元気な印象を想起させる効果を有するエフェクト集５２Ａは、明るい色や鮮やかな色を用いたエフェクトを含む。また、例えば、クールな印象や近未来的な印象を想起させる効果を有するエフェクト集５２Ｃは、幾何学的な形状を用いたエフェクトを含む。
【００６５】
なお、エフェクト抽出部２３１は、抽出された複数の静止画像データ３０１Ａに適するエフェクトを、図６及び図７に示すような４種類に分類されたエフェクト集に限らず、さらに細かく分類されたエフェクト集から選択することもできる。その場合、人数及び笑顔度の値（値域）に対応する、所定の種類のエフェクト集が予め規定され、エフェクト抽出部２３１は、規定された所定の種類のエフェクト集から、抽出された複数の静止画像データ３０１Ａに適したエフェクト集を選択する。
【００６６】
また、エフェクト抽出部２３１は、人数及び笑顔度以外の指標を用いて、抽出された複数の静止画像データ３０１Ａに適したエフェクト集を選択してもよい。
【００６７】
次にエフェクト抽出部２３１は、選択したエフェクト集に対応するエフェクトデータ３０３Ａをエフェクトデータベース３０３から抽出し、抽出したエフェクトデータ３０３Ａを合成動画生成部２３２に出力する。
【００６８】
これにより、合成動画生成部２３２は、取り込まれた素材データ５１を含むカラオケ背景動画像となる合成動画を生成する。
このとき、合成動画に含まれる素材データ５１には、エフェクト抽出部２３１により抽出されたエフェクトデータ３０３Ａが施されている。
【００６９】
また、例えば、合成動画に含まれる静止画像データ３０１Ａ（素材データ５１）に登場する人物の顔画像（オブジェクト）に対して、エフェクト抽出部２３１により抽出されたエフェクトデータ３０３Ａが施されている。
合成動画生成部２３２は、例えば、エフェクトデータ３０３Ａによって規定されたタイミングで表示される静止画像データ３０１Ａを含む合成動画を生成する。
【００７０】
また、この合成動画は、所定のタイミングで出力される音声データ３０１Ｂを含んでもよい。
そして、合成動画生成部２３２は、生成した合成動画を合成動画出力部２３３に出力する。
【００７１】
なお、エフェクト抽出部２３１は、取り込まれた素材データ５１に対して、表情（例えば、笑顔度）と人数に基づくエフェクトデータ３０３Ａを施してもよい。その場合、合成動画生成部２３２は、エフェクト抽出部２３１によってエフェクトが施された複数の静止画像を含む動画像（合成動画）をカラオケ背景動画像として生成する。
【００７２】
合成動画出力部２３３は、合成動画生成部２３２によって生成された合成動画像を出力する。
合成動画出力部２３３は、合成動画を再生し、画面（ディスプレイ１０７）に表示する。
【００７３】
また、合成動画出力部２３３は、合成動画をエンコードし、エンコードした合成動画のファイルを所定の記憶装置（例えば、ＨＤＤ１０３等）に格納してもよい。
【００７４】
以上の構成により、動画像再生アプリケーションプログラム２０２は、カラオケ背景動画像としての合成動画に用いられる素材データ５１に適したエフェクトデータ（エフェクト群）３０３Ａを決定する。
【００７５】
具体的には、エフェクト抽出部２３１は、例えば、合成動画に用いられる複数の静止画像データ３０１Ａの各々の笑顔度と人数とに基づいて、これら複数の静止画像データ３０１Ａ全体の笑顔度と人数との指標を決定する。エフェクト抽出部２３１は、決定した笑顔度と人数との指標に基づいて、カラオケ背景動画像としての合成動画に用いられる複数の静止画像データ３０１Ａに適したエフェクトデータ３０３Ａを選択する。
【００７６】
したがって、合成動画に用いられるエフェクトデータ３０３Ａを選択する操作をユーザが行うことなく、合成動画生成部２３２は、適切なエフェクトデータ３０３Ａが施された複数の静止画像データ３０１Ａを含むカラオケ背景動画像（合成動画像）を生成することができる。
【００７７】
次に実施形態のカラオケ背景動画像の生成及び再生処理について説明する。
図８は、カラオケ再生処理の処理フローチャートである。
まず、カラオケ演奏端末１３のコントローラ１０１は、カラオケ背景動画像としての合成動画に用いる素材データ５１を取り込む（ステップＳ１１）。
【００７８】
素材データ５１の取込方法としては、ＵＳＢコネクタ１２６を介して外部ＵＳＢ機器から取り込む方法、カードコネクタ１２８を介して外部のメモリカードから取り込む方法、カメラ１１２により撮影して取り込む方法、ＨＤＤ１０３に記憶されている共用素材データを取り込む方法、カラオケホスト１１から通信ネットワーク１２を介して共用素材データをダウンロードする方法などが考えられる。
【００７９】
一般的なユーザにおける素材データ５１の取込方法としては、ＵＳＢコネクタ１２６、カードコネクタ１２８あるいはカメラ１１２から取り込む方法が採られる。
【００８０】
具体的には、ＵＳＢコネクタ１２６にＵＳＢメモリ、ＵＳＢ接続ハードディスク、ＵＳＢ接続ＳＳＤ（Solid State Drive）などの外部記憶装置が接続された場合には、ＵＳＢコントローラ１２７を介して、写真データなどの静止画データを素材データ５１として取り込む。
【００８１】
また、カードコネクタ１２８に外部のメモリカードが接続された場合には、カードコントローラ１２９と、カードコントローラ１２９を介して写真データなどの静止画データを素材データ５１として取り込む。
【００８２】
また、ユーザの操作によりカメラ１１２により撮影がなされた場合には、撮影した写真データを素材データ５１として取り込む。
【００８３】
次にコントローラ１０１は、動画像再生アプリケーションプログラム２０２を実行して素材分析処理を行う（ステップＳ１２）。
【００８４】
図９は、素材分析処理の処理フローチャートである。
以下では、素材分析対象の素材データ５１が写真データなどの静止画像データ３０１Ａである場合を想定する。
【００８５】
まず、素材入力部２１は、インタフェース部等を介して、静止画像データ３０１Ａが入力されたか否かを判別する（ステップＳ２１）。
ステップＳ２１の判別において、静止画像データ３０１Ａが入力されていない場合には（ステップＳ２１；Ｎｏ）、待機状態となる。
【００８６】
ステップＳ２１の判別において、静止画像データ３０１Ａが入力されている場合には（ステップＳ２１；Ｙｅｓ）、素材入力部２１は、入力された静止画像データ３０１Ａを素材データベース３０１に格納する（ステップＳ２２）。そして、素材入力部２１は、静止画像データ３０１Ａが入力されたことを素材分析部２２（顔画像検出部２２１）に通知する。
【００８７】
次に、顔画像検出部２２１は、入力された静止画像データ３０１Ａから顔画像を検出する（ステップＳ２３）。
すなわち、顔画像検出部２２１は、静止画像データ３０１Ａ内に含まれる各顔画像の位置（座標）、サイズ、正面度等を検出する。この場合において、顔画像検出部２２１により、検出した顔画像に対応する人物を認識（識別）するようにしてもよい。
そして、顔画像検出部２２１は、検出した顔画像を示す情報を表情検出部２２２及び人数検出部２２３に出力する。
【００８８】
これにより、表情検出部２２２は、顔画像検出部２２１により検出された顔画像の笑顔度を決定する（ステップＳ２４）。
ここで、笑顔度とは、検出された顔画像が笑顔である尤もらしさの合い（尤度）を示す指標である。一つの静止画像データ３０１Ａから複数の顔画像が検出されている際には、それら顔画像の笑顔度に基づいて、静止画像データ３０１Ａの笑顔度を決定する。
【００８９】
また、人数検出部２２３は、顔画像検出部２２１により検出された顔画像の数に基づいて、静止画像データ３０１Ａに含まれる人物の数を決定する（ステップＳ２５）。
これらの結果、素材分析部２２は、静止画像データ３０１Ａに対応する笑顔度、人数、顔画像情報等を含む分析情報３０２Ｂを素材情報データベース３０２に格納する（ステップＳ２６）。
【００９０】
以上の処理により、入力された静止画像データ３０１Ａに含まれる顔画像の笑顔度と人数とを決定し、これら笑顔度と人数とを含む分析情報３０２Ｂが素材情報データベース３０２に格納される。
【００９１】
ここで、ＨＤＤ１０３のデータベース１３１に格納されている推奨楽曲データベースについて説明する。
図１０は、推奨楽曲データベースの構成説明図である。
推奨楽曲データベース４０１は、大別すると、分析結果分類データベース４０１Ａと、分類別推奨楽曲データベース４０１Ｂと、を備えている。
分析結果分類データベース４０１Ａは、解析結果と、推奨楽曲の分類コードとを対応づけるデータベースである。
また、分類別推奨楽曲データベース４０１Ｂは、推奨楽曲の分類コードと、実際のカラオケ楽曲を特定するためのカラオケ楽曲特定データと、を対応づけるデータベースである。
【００９２】
分析結果分類データベース４０１Ａは、具体的には、解析結果が撮影日時の場合には、適切な季節の曲に対応する推奨楽曲の分類コードを対応づけている。例えば、撮影日が１２月であれば、クリスマスソングに分類される推奨楽曲の分類コードが紐づけられている。
【００９３】
また、解析結果が、笑顔度である場合には、笑顔度を所定範囲に区分し、それぞれの笑顔度範囲に推奨楽曲の分類コードを対応づけている。例えば、笑顔度が低い場合には、荘厳なイメージの推奨楽曲の分類コードを対応づけ、笑顔度が高い場合には、元気で場を盛り上げるような推奨楽曲の分類コードを紐付けている。
【００９４】
また、解析結果が、写真データに対応する画像に含まれる人物の年齢を推定した推定年齢である場合には、年齢範囲を複数の年齢域に分類し、各年齢域の人々のそれぞれの時代におけるヒットソング等のカラオケ楽曲を推奨楽曲とする分類コードを対応づけている。さらに、写真データに対応する画像に含まれる人物の推定年齢、写真データに対応する撮影日時および現在日時から、写真データに対応する画像に含まれる人物の現在日時時点の年齢を推定し、現在の推定年齢に基づいて、当該年齢に相応しいカラオケ楽曲を推奨楽曲とする分類コードを紐づけるようにしてもよい。
【００９５】
また、解析結果が、写真データに対応する画像に含まれる人物の人数である場合には、例えば、バラード系のカラオケ楽曲を推奨楽曲とする分類コードを紐づけるようにしてもよい。
【００９６】
また、解析結果が、写真データに対応する画像に含まれる人物の特定結果である場合には、例えば、当該人物が過去に歌ったカラオケ楽曲の履歴を記録しておき、当該ユーザの履歴に含まれる、あるいは、当該ユーザの履歴に含まれるカラオケ楽曲に類似するカラオケ楽曲を推奨楽曲とする分類コードを紐づけるようにしてもよい。
【００９７】
分類別推奨楽曲データベース４０１Ｂは、具体的には、分類コードを実際のカラオケ楽曲に紐づけるように、カラオケ楽曲の演奏コードに分類コードを紐づけている。
【００９８】
したがって、コントローラ１０１は、分析結果に基づいて取得した分類コードに基づいて、分類別推奨楽曲データベース４０１Ｂを参照し、実際のカラオケ楽曲の演奏コードを取得する推奨楽曲選択処理を実行する（ステップＳ１３）。
【００９９】
そして、得られた演奏コードに基づいて、対応するカラオケ楽曲の曲名、歌手名などを取得し、ディスプレイ１０７に推奨楽曲リストとして表示し、ユーザにいずれかのカラオケ楽曲を選択するように促す。
これにより、楽曲選択操作待ち状態となり（ステップＳ１４）、ユーザにより楽曲選択操作がなされたか否かを判別する（ステップＳ１５）。
【０１００】
ステップＳ１５の判別において、楽曲選択操作がなされていない場合には（ステップＳ１５；Ｎｏ）、待機状態となる。
なお、待機時間が所定の待機最大時間を経過した場合には、楽曲選択操作待ち状態を解除するように構成することも可能である。
【０１０１】
ステップＳ１５の判別において、ユーザによる楽曲選択操作がなされた場合には、コントローラ１０１は、エフェクト抽出部２３１として機能し、ステップＳ１２の素材分析処理結果に基づいて、動画像生成に用いる一連のエフェクトを選択する（ステップＳ１６）。すなわち、コントローラ１０１は、エフェクト抽出部２３１として機能して、取り込んだ素材データ５１に対応する分析情報３０２Ｂに基づいて、取り込んだ素材データ５１に適したエフェクト集を選択する。そして、コントローラ１０１は、選択したエフェクト集に対応するエフェクトデータ３０３Ａをエフェクトデータベース３０３から抽出する。
【０１０２】
続いて、コントローラ１０１は、合成動画生成部２３２として機能し、抽出された素材データ５１とエフェクトデータ３０３Ａとを用いて、合成動画を生成する（ステップＳ１７）。ここで、生成された合成動画には、エフェクトデータ３０３Ａが施された素材データ５１が含まれる。なお、コントローラ１０１は、エフェクト抽出部２３１として機能するに際し、取り込んだ素材データ５１に選択したエフェクトデータ３０３Ａを施すようにしてもよい。
これにより、コントローラ１０１は、合成動画生成部２３２として機能するに際し、エフェクトデータ３０３Ａが施された素材データ５１を含む合成動画を生成する。
【０１０３】
続いて、コントローラ１０１は、合成動画出力部２３３として機能し、合成動画を、カラオケ楽曲の背景動画像として、表示コントローラ１０８を介して、カラオケ楽曲に対応する歌詞とともにディスプレイ１０７に表示させる。
【０１０４】
これと並行して、コントローラ１０１は、サウンドコントローラ１１１を制御して、マイクロフォン１０９Ａ、１０９Ｂから入力された、ユーザの入力音声に、カラオケ楽曲をミキシングしてスピーカ１１０から音響出力する（ステップＳ１８）。
【０１０５】
この場合において、ユーザにより録画を行う旨の設定がなされ、あるいは、基本設定として録画を行う旨の設定がなされている場合には、カラオケ楽曲の背景動画像として合成動画及びユーザの入力音声にカラオケ楽曲をミキシングした音声をＨＤＤ１０３に録画し、あるいは、あらかじめ光ディスクドライブ１０５にセットされた書き込み可能なＣＤあるいは書き込み可能なＤＶＤなどに録画を行うようになっている。
【０１０６】
また、コントローラ１０１は、曲のテンポを変更したり、早送り等、合成動画の再生速度を変更したりするようなトリック再生が行われているか否かを判別し（ステップＳ１９）、トリック再生が行われている場合には（ステップＳ１９；Ｙｅｓ）、カラオケ楽曲の再生終了タイミングを算出して、再生終了タイミングに合わせて、カラオケ楽曲の背景動画像として合成動画の再生終了もなされるように、未再生部分の合成動画の再生成を行い（ステップＳ２０）、処理を再びステップＳ１８に移行する。
【０１０７】
また、ステップＳ１９の判別において、トリック再生が行われていない場合には（ステップＳ１９；Ｎｏ）、カラオケ楽曲の再生が終了するまで、ステップＳ１７におけるカラオケ楽曲の背景動画像を、カラオケ楽曲に対応する歌詞と合わせてディスプレイ１０７に表示させるとともに、ユーザの入力音声に、カラオケ楽曲をミキシングしてスピーカ１１０から音響出力する処理を継続することとなる。
【０１０８】
以上の処理により、取り込まれた素材データ５１と、素材データ５１に適したエフェクトデータ３０３Ａとを用いた合成動画をカラオケ楽曲の背景動画像として生成して、カラオケ再生を行うことができる。
【０１０９】
このように、本実施形態によれば、ユーザは、取り込ませた素材データ５１に適したエフェクトデータ３０３Ａを選択するための作業を何ら行わなくても、適切なエフェクトデータ３０３Ａが施された素材データ５１を含む合成動画がカラオケ楽曲の背景動画像として生成される。そして生成されたカラオケ楽曲の背景動画像がディスプレイ１０７に表示されつつ、カラオケ楽曲の再生が行われる状態で、カラオケ演奏端末１３を利用することができる。
【０１１０】
すなわち、ユーザはエフェクトデータ３０３Ａに関する知識を全く有しないにも拘わらず、動画像再生アプリケーションプログラム２０２は、適切なエフェクトデータ３０３Ａが施された素材データ５１を含む合成動画像をカラオケの背景画像として容易に生成できる。
【０１１１】
なお、本実施形態の合成動画生成処理の手順は全てソフトウェアによって実行することができる。このため、合成動画生成処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１１２】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。
例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１１３】
（実施形態の変形例）
例えば、背景動画像で使用する複数の写真について、例えば、複数のイベント（例えば、運動会、ピクニック、卒業式など）にまたがる写真データ（静止画データ）が入力された場合のように、撮影日時、撮影場所、笑顔度などにばらつきが大きい場合には、写真全体で一つの推奨カラオケ楽曲が選択できないものとして、複数の写真を複数のグループに分ける。
【０１１４】
そして、グループ毎におすすめのカラオケ楽曲を推奨カラオケ楽曲として選択し、これらの複数のカラオケ楽曲のメドレー曲を提示し、ユーザにより選択された場合には、選択した複数のカラオケ楽曲のメドレー曲をオリジナルのメドレー曲として生成するように構成することも可能である。
この場合には、各グループに対応するカラオケ楽曲が演奏される期間に対応づけて当該グループに属する写真を使って、背景動画像を生成し、それらの背景動画像をつなげてメドレー曲全体の背景動画像として生成するようにすればよい。
【０１１５】
また、写真データに対応する画像に含まれる人物の笑顔度が高く、かつ、写真データに対応する画像に含まれる人物の数が多い場合には、場を盛り上げることが可能であるとあらかじめ指定されたカラオケ楽曲を提示するようにしてもよい。
【０１１６】
以上の説明においては、解析結果が、写真データに対応する画像に含まれる人物の特定結果である場合には、当該人物が過去に歌ったカラオケ楽曲の履歴を記録しておき、当該ユーザの履歴に含まれる、あるいは、当該ユーザの履歴に含まれるカラオケ楽曲に類似するカラオケ楽曲を推奨楽曲とする構成としていた。
【０１１７】
しかしながら、カラオケの開始時に参加メンバの写真をカメラ１１２により撮影して顔認識を行って、個人を識別し、会員登録データベース等と照合して会員のこれまでの履歴や年齢から推奨するカラオケ楽曲を推奨カラオケ楽曲として提示する構成とすることも可能である。
【０１１８】
また、識別した個人の組み合わせ（グループ）毎に過去に歌ったカラオケ楽曲の履歴を記録しておき、当該グループの履歴に含まれる、あるいは、当該グループの履歴に含まれるカラオケ楽曲に類似するカラオケ楽曲を推奨カラオケ楽曲として提示したりするように構成することも可能である。
【０１１９】
同様に、素材データ５１として、写真データなどの静止画像データをユーザが持ち込んだ場合にも、静止画像データに対応する静止画像に含まれる一または複数の人物を特定して、推奨するカラオケ楽曲を提示するように構成することも可能である。
【符号の説明】
【０１２０】
１０ 通信カラオケシステム
１１ カラオケホスト
１２ 通信ネットワーク
１３ カラオケ演奏端末（カラオケ装置）
１４ ユーザ操作端末（選択受付手段）
２１ 素材入力部
２２ 素材分析部（解析手段）
２３ 動画再生部
５１ 素材データ
１０１ コントローラ（楽曲提示手段、選択受付手段、動画像生成手段）
１０７ ディスプレイ（楽曲提示手段）
１０８ 表示コントローラ（楽曲提示手段）
１１０ スピーカ（カラオケ再生手段）
１１１ サウンドコントローラ（カラオケ再生手段）
２２１ 顔画像検出部（解析手段）
２２２ 表情検出部（解析手段）
２２３ 人数検出部（解析手段）
２３１ エフェクト抽出部
２３２ 合成動画生成部（動画像生成手段）
２３３ 合成動画出力部（カラオケ再生手段）
４０１ 推奨楽曲データベース
４０１Ａ 分析結果分類データベース
４０１Ｂ 分類別推奨楽曲データベース
【技術分野】
【０００１】
本発明の実施形態は、カラオケ装置、カラオケ装置の制御方法及び制御プログラムに関する。
【背景技術】
【０００２】
従来、カラオケ装置は、カラオケ楽曲データを処理して伴奏音楽としてのカラオケ楽曲をスピーカなどの音響システムを介して出力するとともに、このカラオケ楽曲に同期させて歌詞画像をディスプレイに出力していた。
【０００３】
また、これらと並行して、カラオケ装置は、ビデオＣＤなどに記憶された規定の映像データを処理して、背景映像を再生し、この背景映像に歌詞画像をスーパーインポーズ表示するものが知られている。
さらに、リクエスト回数などに基づいて、推奨するカラオケ楽曲をユーザに提示するカラオケ装置も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２７５９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、背景映像として規定の映像データに基づくものではなく、外部入力画像を用いることが考えられる。
従来技術においては、このような場合に、カラオケ装置により提示されたカラオケ楽曲が必ずしも当該外部入力画像にマッチするとは限らなかった。
【０００６】
そこで、本発明の目的は、写真データなどの画像データを用いて生成した背景動画像に合わせて演奏するのに好適なカラオケ楽曲を提示することが可能なカラオケ装置、カラオケ装置の制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
実施形態のカラオケ装置は、所定の条件と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースを備えている。
また、カラオケ装置は、指定された静止画像データを解析する解析手段を備えている。
【０００８】
そして、楽曲提示手段は、解析の結果を、所定の条件に照らし合わせて推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する。
これにより選択受付手段は、提示されたカラオケ楽曲からいずれかをユーザに選択させる。
これらの結果、カラオケ装置では、ユーザに対して推奨するカラオケ楽曲のうち、ユーザにより選択されたカラオケ楽曲を再生する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係るカラオケ装置を備えた通信カラオケシステムの概要構成説明図である。
【図２】図２は、カラオケ演奏端末のブロック図である。
【図３】図３は、カラオケ装置の要部の機能構成説明図である。
【図４】図４は、素材情報の構成説明図である。
【図５】図５は、分析情報の一構成例の説明図である。
【図６】図６は、笑顔度と人数とに基づいて決定されるエフェクトの一例を説明する図である。
【図７】図７は、上述した各エフェクト集に対応する具体的なエフェクト例の説明図である。
【図８】図８は、カラオケ再生処理の処理フローチャートである。
【図９】図９は、素材分析処理の処理フローチャートである。
【図１０】図１０は、推奨楽曲データベースの構成説明図である。
【発明を実施するための形態】
【００１０】
次に実施の形態について図面を参照して説明する。
図１は、実施形態に係るカラオケ装置を備えた通信カラオケシステムの概要構成説明図である。
通信カラオケシステム１０は、カラオケ楽曲データなどを格納した図示しないカラオケデータベースを有するカラオケホスト１１と、カラオケホスト１１に対し、インターネット、ＶＰＮなどの通信ネットワーク１２を介して接続された複数のカラオケ演奏端末１３と、各カラオケ演奏端末１３に無線通信ネットワークを介して接続される複数のユーザ操作端末１４と、を備えている。
【００１１】
図２は、カラオケ演奏端末のブロック図である。
カラオケ演奏端末１３は、カラオケ演奏端末１３全体を制御するコントローラ１０１と、ユーザによるカラオケ演奏端末１３の操作入力を直接あるいはユーザ操作端末１４を介して間接に受け付けたり、ユーザ所有のＵＳＢ機器あるいはメモリカードなどからデータの入力を受け付けたりするユーザインタフェース１０２と、各種データ及びデータベースを記憶したハードディスクドライブ（ＨＤＤ）１０３と、を備えている。
【００１２】
また、カラオケ演奏端末１３は、通信ネットワーク１２を介してカラオケホスト１１との間の通信を行う通信インタフェース（Ｉ／Ｆ）１０４と、ＣＤ、ＤＶＤなどの光ディスクの記録／再生を行う光ディスクドライブ１０５と、ＶＲＡＭ１０６に格納されている表示画像データに基づいてディスプレイ１０７に各種表示を行う表示コントローラ１０８と、を備えている。
【００１３】
さらに、カラオケ演奏端末１３は、マイクロフォン１０９Ａ、１０９Ｂからの入力音声をコントローラ側から入力されるカラオケ音響データに対応するカラオケ音響信号に重畳してスピーカ１１０に出力するサウンドコントローラ１１１と、各種画像を撮像するカメラ１１２と、を備えている。
【００１４】
上記構成において、コントローラ１０１は、当該コントローラ１０１全体を制御するＣＰＵ１２１と、各種制御プログラムを不揮発的に記憶するＲＯＭ１２２と、各種データを一時的に格納し、ワーキングエリアとして機能するＲＡＭ１２３と、を備えている。
【００１５】
ユーザＩ／Ｆ１０２は、ユーザが各種操作を行う図示しない操作子が配置された操作パネル１２５と、ＵＳＢコネクタ１２６を介して接続された外部のＵＳＢ機器の制御を行うＵＳＢコントローラ１２７と、カードコネクタ１２８を介して接続された外部のメモリカードの制御を行うカードコントローラ１２９と、ユーザ操作端末１４からの無線通信により遠隔操作がなされるリモコンインタフェース（Ｉ／Ｆ）１３０と、を備えている。
【００１６】
図３は、カラオケ装置の要部の機能構成説明図である。
ここでは、動画像再生アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための機能構成について説明する。
【００１７】
この動画像生成機能は、ユーザＩ／Ｆ１０２（上述のＵＳＢコントローラ１２７、カードコントローラ１２９等）を介して外部デバイス（ＵＳＢメモリ、メモリカード等）から格納された素材データ５１だけでなく、ＨＤＤ１０３内の所定のディレクトリに格納された素材データ５１や、通信インタフェース１０４及び通信ネットワーク１２を介して格納された素材データ５１に対しても適用できる。
【００１８】
ここで、素材データ５１とは、例えば、ＨＤＤ１０３内の所定のディレクトリに格納された素材データ５１を例とすると、静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等である。
【００１９】
動画像再生アプリケーションプログラム２０２は、コントローラ１０１のＲＡＭ１２３上に展開されており、機能的に見ると、素材入力部２１、素材分析部２２及び動画再生部２３を備えている。
【００２０】
素材入力部２１は、ＵＳＢコントローラ１２７、カードコントローラ１２９等のユーザＩ／Ｆ１０２を介して、素材データ５１が入力されると、素材データ５１をＨＤＤ１０３内のデータベース１３１を構成する素材データベース３０１に格納する。ここで、素材データベース３０１は、生成される動画像に用いられる素材データ５１を格納するためのデータベースである。
【００２１】
具体的には、素材データベース３０１には、素材データ５１としての静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等が格納される。素材データベース３０１に格納された素材データ５１は、生成すべき動画像の素材候補として用いられる。
【００２２】
また、素材入力部２１は、素材データ５１がＨＤＤ１０３に格納されたことを素材分析部２２に通知する。
【００２３】
素材分析部２２は、素材入力部２１からの通知に応答して、素材データ５１の分析処理を開始する。
以下の説明においては、分析処理の分析対象である素材データ５１として、写真データが入力された場合を説明する。また、分析の目的としては、素材データ５１としての写真データに含まれる人物の表情（特に笑顔）及び人数を分析結果として出力するものとする。
【００２４】
素材分析部２２は、大別すると、顔画像検出部２２１と、表情検出部２２２と、人数検出部２２３と、を備えている。なお、以下の説明においては、分析対象の素材データ５１が静止画像データ３０１Ａである場合を想定する。
【００２５】
顔画像検出部２２１は、静止画像データ３０１Ａから顔画像を検出する顔検出処理を実行する。顔画像は、例えば、静止画像データ３０１Ａの特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。ここで、顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって抽出された特徴データである。
【００２６】
顔検出処理の実行がなされると、静止画像データ３０１Ａ内に含まれる各顔画像の位置（座標）、サイズ、正面度等が検出される。
【００２７】
さらに、顔画像検出部２２１は、静止画像データ３０１Ａから検出された複数の顔画像を、同一の人物と推定される顔画像別のグループに分類する。
【００２８】
また、顔画像検出部２２１は検出された顔画像に対応する人物を識別（特定）してもよい。その場合、顔画像検出部２２１は、例えば、識別する人物の顔画像特徴サンプルを用いて、検出された顔画像がその人物であるか否かを判定する。顔画像検出部２２１は、上述の結果に基づき、検出された顔画像に人物毎の顔ＩＤを付与する。顔画像検出部２２１は、検出した顔画像の情報（顔画像そのものおよび分類結果）を表情検出部２２２及び人数検出部２２３に出力する。
【００２９】
これにより、顔画像の情報が入力された表情検出部２２２は、顔画像検出部２２１によって検出された顔画像に対応する表情を検出する。そして、表情検出部２２２は、当該顔画像が検出された表情である尤もらしさを示す度合い（尤度）を算出する。
【００３０】
本実施形態においては、表情検出部２２２は、検出された顔画像に対応する表情が「笑顔」であるか否かを判定している。具体的には、表情検出部２２２は、例えば、「笑顔」の顔画像特徴サンプルに類似する特徴を有する顔画像を「笑顔」であると判定している。
【００３１】
そして、表情検出部２２２は、顔画像に対応する表情を「笑顔」であると判定した場合には、顔画像が笑顔であると推測する尤もらしさの度合いを笑顔度として算出することとなる。この場合において、１枚の静止画像データ３０１Ａから複数の画像が検出されている際には、表情検出部２２２は、例えば、複数の顔画像の笑顔度の平均を、静止画像データ３０１Ａの笑顔度とする。
【００３２】
なお、笑顔度は、数値に限らず、例えば「高い」、「低い」といった相対的な指標で表してもよい。笑顔度を相対的な指標で表す際に、１枚の静止画像データ３０１Ａから複数の顔画像が検出されているときには、表情検出部２２２は、例えば、より多くの顔画像に設定されている方の指標（例えば、「高い」）を、静止画像データ３０１Ａの笑顔度に決定する。
【００３３】
以下の本実施形態の説明では、説明の簡略化のため、笑顔度のみを例として説明するが、表情検出部２２２は、笑顔に限らず、怒った顔、泣き顔、驚いた顔、無表情など、あらゆる表情である尤度を算出してもよい。
【００３４】
一方、人数検出部２２３は、静止画像データ３０１Ａに含まれる人物の数を検出する。人数検出部２２３は、例えば、顔画像検出部２２１によって検出された顔画像の数を、静止画像データ３０１Ａに含まれる人物の数とする。また、人数検出部２２３は、例えば、顔画像を含む人物の全身や体の一部等を検出することにより、後ろ姿で捉えられた人物等を含む人数を算出してもよい。
【００３５】
なお、人数は、数値に限らず、例えば「多い」、「少ない」といった相対的な指標で表してもよい。人数検出部２２３は、例えば、静止画像データ３０１Ａからしきい値以上の数の顔画像が検出されているとき、静止画像データ３０１Ａの人数を「多い」に決定する。
【００３６】
素材分析部２２は、素材データ５１に付加された後述する素材情報３０２Ａ及び素材分析部２２の分析により生成された分析情報３０２Ｂを、ＨＤＤ１０３内の素材情報データベース３０２に格納する。
【００３７】
図４は、素材情報の構成説明図である。
素材情報３０２Ａは、素材ＩＤ、ファイルパス、ファイルサイズ、ファイル形式、生成日時、生成場所、種類、画像サイズ、再生時間、入力経路を示す情報を含んでいる。
【００３８】
ここで、「素材ＩＤ」は、素材データ５１を特定するために、一意に割り当てられる識別情報である。「ファイルパス」は、素材データ５１がＨＤＤ１０３上で、格納される場所を示す。「ファイルサイズ」は、素材データ５１のデータサイズを示す。「ファイル形式」は、素材データ５１のデータフォーマット（例えば、動画であれば、ｍｐｅｇフォーマット、ｗｍａフォーマット等、静止画であればｊｐｅｇフォーマット、ｂｍｐフォーマット等、音声であればｍｐ３フォーマット、ｗａｖフォーマット等）を示す。「生成日時」は、素材データ５１が生成された日時を表す情報（例えば、２０１０年１１月１０日等）を示す。「生成場所」は、素材データ５１が生成された場所を表す位置情報（例えば、ＧＰＳ測位による経度・移動情報）を示す。「種類」は、素材データ５１のデータ内容の種類（例えば、静止画像、音声、動画像等）を示す。「画像サイズ」は、素材データ５１が、静止画像データ３０１Ａ又は動画像データ３０１Ｃに対応するものであるときに、それらの表示時の画像サイズ（例えば、１０２４×７６８ピクセル等）を示す。「再生時間」は、素材データ５１が、音声データ３０１Ｂ又は動画像データ３０１Ｃに対応するものであるときに、通常速度で再生時の再生時間を示す。「入力経路」は、素材データ５１がカラオケ演奏端末１３に入力された経路（例えば、外部記憶メディア、外部記憶装置、ネットワーク上のサーバ等）を示す。
【００３９】
図５は、分析情報の一構成例の説明図である。
分析情報３０２Ｂは、図５に示すように、例えば、上述した素材ＩＤ、笑顔度、人数及び顔画像情報を含む。
【００４０】
また、顔画像情報は、上述の顔検出処理による分析結果に基づく情報を示す。したがって、顔画像情報は、例えば、顔画像、サイズ、位置、顔ＩＤを示す情報を含む。また、顔画像情報は、各顔画像の笑顔度を含んでもよい。
なお、分析情報３０２Ｂには、１つの静止画像データ３０１Ａから検出された顔画像に対応する数だけ、顔画像情報が格納される。
【００４１】
また、素材分析部２１１は、静止画像データ３０１Ａから人物（顔画像を含む全身や体の一部等）、風景（海、山、花等）、動物（犬、猫、魚等）等のオブジェクトを検出（認識）し、それら分析結果（検出結果）を示す情報を含む分析情報３０２Ｂを生成してもよい。
【００４２】
さらに、素材分析部２１１は、素材情報３０２Ａや静止画像データ３０１Ａから撮影時刻、撮影位置等を推定し、それら分析結果（推定結果）を示す情報を含む分析情報３０２Ｂを生成してもよい。その場合、図５に示すように、分析情報３０２Ｂには、人物画像、サイズ、位置、及び人物ＩＤを含む人物画像情報、風景画像、サイズ、位置、及び属性を含む風景情報、動物画像、サイズ、位置、及び属性を含む動物情報、撮影時刻、並びに撮影位置が含まれる。
【００４３】
なお、素材分析部２１１は、音声データ３０１Ｂを分析し、検出された声に対応する人物の情報及び人物の数、検出された音楽の雰囲気及びジャンル等を含む分析情報３０２Ｂを生成してもよい。
【００４４】
さらに、素材分析部２１１は、動画像データ３０１Ｃに含まれる各画像フレームを、静止画像データ３０１Ａと同様に分析し、上述の笑顔度、人数、顔画像情報等を含む分析情報３０２Ｂを生成してもよい。
【００４５】
素材分析部２１１は、入力された素材データ５１に対応する素材情報３０２Ａ及び分析情報３０２Ｂが、素材情報データベース３０２に格納されたことを動画再生部２３に通知する。
【００４６】
動画再生部２３は、素材分析部２２からの通知に応答して、素材データ５１を用いて合成動画（動画像）を生成し、生成された合成動画を再生（表示）する処理を開始する。その際、動画再生部２３は、素材情報データベース３０２を参照して、所定の条件を満たす素材データ５１を素材データベース３０１から抽出し、合成動画を生成する。
この場合において、動画再生部２３は、エフェクト抽出部２３１と、合成動画生成部２３２と、合成動画出力部２３３と、を備えている。
【００４７】
エフェクト抽出部２３１は、エフェクトデータベース３０３から、取り込んだ素材データ５１に適したエフェクトデータ３０３Ａを抽出する。ここで、エフェクトデータ３０３Ａとしては、ズーム、回転、ノイズ追加、モザイク化、輪郭抽出、エンボスなどの通常のビデオエフェクトの他、シーン間をつなぐトランジションも含まれるものとする。
【００４８】
具体的には、エフェクト抽出部２３１は、まず、素材情報データベース３０２から、抽出された素材データ５１に対応する分析情報３０２Ｂに含まれる笑顔度と人数とを抽出する。
【００４９】
そして、エフェクト抽出部２３１は、抽出した笑顔度と人数とに基づいて、抽出された素材データ５１に適したエフェクトデータ３０３Ａを選択する。エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａ（素材データ５１）の各々に対応する笑顔度と人数とから、これら複数の静止画像データ３０１Ａ全体での笑顔度の指標と人数の指標とを算出する。
【００５０】
すなわち、エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａのうち、笑顔度が第１しきい値以上である顔画像を含む静止画像データ３０１Ａの数を、複数の静止画像データ３０１Ａ全体での笑顔度の指標に決定する。
【００５１】
また、エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａの各々に対応する笑顔度の平均を、これら複数の静止画像データ３０１Ａ全体の笑顔度の指標に決定してもよい。
【００５２】
また、エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａのうち、人数が第２しきい値以上である静止画像データ３０１Ａのうちの数を、複数の静止画像データ３０１Ａ全体での人数の指標に決定する。また、エフェクト抽出部２３１は、例えば、抽出された複数の静止画像データ３０１Ａの各々に対応する人数の平均を、これら複数の静止画像データ３０１Ａ全体の人数の指標に決定してもよい。
【００５３】
なお、上述のように、笑顔度と人数とは相対的な指標で表されてもよい。したがって、例えば、抽出された複数の静止画像データ３０１Ａの各々に「高い」又は「低い」という笑顔度が設定されているとき、エフェクト抽出部２３１は、より多くの静止画像データ３０１Ａに設定されている方の指標（例えば、「高い」）を、これら複数の静止画像データ３０１Ａ全体の笑顔度に決定する。また、例えば、抽出された複数の静止画像データ３０１Ａのうち、所定の割合（第１しきい値）以上の静止画像データ３０１Ａに「高い」という笑顔度が設定されているとき、エフェクト抽出部２３１は、これら複数の静止画像データ３０１Ａ全体の笑顔度を「高い」に決定する。
【００５４】
同様に、例えば、抽出された複数の静止画像データ３０１Ａの各々に「多い」又は「少ない」という人数が設定されているとき、エフェクト抽出部２３１は、より多くの静止画像データ３０１Ａに設定されている方の指標（例えば、「少ない」）を、これら複数の静止画像データ３０１Ａ全体の人数に決定する。また、例えば、抽出された複数の静止画像データ３０１Ａのうち、所定の割合（第２しきい値）以上の静止画像データ３０１Ａに「多い」という人数が設定されているとき、エフェクト抽出部２３１は、これら複数の静止画像データ３０１Ａ全体の人数を「多い」に決定する。
【００５５】
エフェクト抽出部２３１は、上述のように決定される、抽出された複数の静止画像データ３０１Ａ全体に対応する笑顔度と人数とに基づいて、これら複数の静止画像データ３０１Ａに適したエフェクトデータ３０３Ａを決定する。
【００５６】
図６は、笑顔度と人数とに基づいて決定されるエフェクトの一例を説明する図である。
エフェクト抽出部２３１は、抽出された複数の静止画像データ３０１Ａ全体に対応する笑顔度と人数とに応じて、人数が多く、笑顔度が高い素材である場合には、人数が多く、笑顔度が高い素材である場合に適すると考えられるエフェクト集５１Ａを選択する。
【００５７】
また、エフェクト抽出部２３１は、人数が多く、笑顔度が低い素材である場合には、人数が多く、笑顔度が低い素材である場合に適すると考えられるエフェクト集５１Ｂを選択する。
【００５８】
また、エフェクト抽出部２３１は、人数が少なく、笑顔度が低い素材である場合には、人数が少なく、笑顔度が低い素材に適すると考えられるエフェクト集５１Ｃを選択する。
【００５９】
また、エフェクト抽出部２３１は、人数が少なく、笑顔度が高い素材である場合には、人数が少なく、笑顔度が高い素材に適すると考えられるエフェクト集５１Ｄを選択する。
【００６０】
図７は、上述した各エフェクト集に対応する具体的なエフェクト例の説明図である。
人数が多く、笑顔度が高い素材に適したエフェクト集５２Ａとしては、幸せな印象や元気な印象を想起させる効果（装飾）を有する一群のエフェクトが用いられる。したがって、その場を盛り上げることができるような効果が付与される。
【００６１】
また、人数が多く、笑顔度が低い素材に適したエフェクト集５２Ｂとしては、セレモニーを想起させる効果を有する一群のエフェクトが用いられる。したがって、例えば、荘厳な雰囲気を醸し出すような効果が付与される。
【００６２】
また、人数が少なく、笑顔度が低い素材に適したエフェクト集５２Ｃとしては、クールな印象や近未来的な印象を想起させる効果を有する一群のエフェクトが用いられる。
また、人数が少なく、笑顔度が高い素材に適したエフェクト集５２Ｄには、ファンタジーや魔法といった印象を想起させる効果を有する一群のエフェクトが用いられる。
【００６３】
これらエフェクト集５２Ａ〜５２Ｄでは、エフェクトに用いられる色、形状、動き（モーション）、オブジェクト等を変更することによって、ユーザに認識される印象が変化するように設計される。
【００６４】
したがって、例えば、幸せな印象や元気な印象を想起させる効果を有するエフェクト集５２Ａは、明るい色や鮮やかな色を用いたエフェクトを含む。また、例えば、クールな印象や近未来的な印象を想起させる効果を有するエフェクト集５２Ｃは、幾何学的な形状を用いたエフェクトを含む。
【００６５】
なお、エフェクト抽出部２３１は、抽出された複数の静止画像データ３０１Ａに適するエフェクトを、図６及び図７に示すような４種類に分類されたエフェクト集に限らず、さらに細かく分類されたエフェクト集から選択することもできる。その場合、人数及び笑顔度の値（値域）に対応する、所定の種類のエフェクト集が予め規定され、エフェクト抽出部２３１は、規定された所定の種類のエフェクト集から、抽出された複数の静止画像データ３０１Ａに適したエフェクト集を選択する。
【００６６】
また、エフェクト抽出部２３１は、人数及び笑顔度以外の指標を用いて、抽出された複数の静止画像データ３０１Ａに適したエフェクト集を選択してもよい。
【００６７】
次にエフェクト抽出部２３１は、選択したエフェクト集に対応するエフェクトデータ３０３Ａをエフェクトデータベース３０３から抽出し、抽出したエフェクトデータ３０３Ａを合成動画生成部２３２に出力する。
【００６８】
これにより、合成動画生成部２３２は、取り込まれた素材データ５１を含むカラオケ背景動画像となる合成動画を生成する。
このとき、合成動画に含まれる素材データ５１には、エフェクト抽出部２３１により抽出されたエフェクトデータ３０３Ａが施されている。
【００６９】
また、例えば、合成動画に含まれる静止画像データ３０１Ａ（素材データ５１）に登場する人物の顔画像（オブジェクト）に対して、エフェクト抽出部２３１により抽出されたエフェクトデータ３０３Ａが施されている。
合成動画生成部２３２は、例えば、エフェクトデータ３０３Ａによって規定されたタイミングで表示される静止画像データ３０１Ａを含む合成動画を生成する。
【００７０】
また、この合成動画は、所定のタイミングで出力される音声データ３０１Ｂを含んでもよい。
そして、合成動画生成部２３２は、生成した合成動画を合成動画出力部２３３に出力する。
【００７１】
なお、エフェクト抽出部２３１は、取り込まれた素材データ５１に対して、表情（例えば、笑顔度）と人数に基づくエフェクトデータ３０３Ａを施してもよい。その場合、合成動画生成部２３２は、エフェクト抽出部２３１によってエフェクトが施された複数の静止画像を含む動画像（合成動画）をカラオケ背景動画像として生成する。
【００７２】
合成動画出力部２３３は、合成動画生成部２３２によって生成された合成動画像を出力する。
合成動画出力部２３３は、合成動画を再生し、画面（ディスプレイ１０７）に表示する。
【００７３】
また、合成動画出力部２３３は、合成動画をエンコードし、エンコードした合成動画のファイルを所定の記憶装置（例えば、ＨＤＤ１０３等）に格納してもよい。
【００７４】
以上の構成により、動画像再生アプリケーションプログラム２０２は、カラオケ背景動画像としての合成動画に用いられる素材データ５１に適したエフェクトデータ（エフェクト群）３０３Ａを決定する。
【００７５】
具体的には、エフェクト抽出部２３１は、例えば、合成動画に用いられる複数の静止画像データ３０１Ａの各々の笑顔度と人数とに基づいて、これら複数の静止画像データ３０１Ａ全体の笑顔度と人数との指標を決定する。エフェクト抽出部２３１は、決定した笑顔度と人数との指標に基づいて、カラオケ背景動画像としての合成動画に用いられる複数の静止画像データ３０１Ａに適したエフェクトデータ３０３Ａを選択する。
【００７６】
したがって、合成動画に用いられるエフェクトデータ３０３Ａを選択する操作をユーザが行うことなく、合成動画生成部２３２は、適切なエフェクトデータ３０３Ａが施された複数の静止画像データ３０１Ａを含むカラオケ背景動画像（合成動画像）を生成することができる。
【００７７】
次に実施形態のカラオケ背景動画像の生成及び再生処理について説明する。
図８は、カラオケ再生処理の処理フローチャートである。
まず、カラオケ演奏端末１３のコントローラ１０１は、カラオケ背景動画像としての合成動画に用いる素材データ５１を取り込む（ステップＳ１１）。
【００７８】
素材データ５１の取込方法としては、ＵＳＢコネクタ１２６を介して外部ＵＳＢ機器から取り込む方法、カードコネクタ１２８を介して外部のメモリカードから取り込む方法、カメラ１１２により撮影して取り込む方法、ＨＤＤ１０３に記憶されている共用素材データを取り込む方法、カラオケホスト１１から通信ネットワーク１２を介して共用素材データをダウンロードする方法などが考えられる。
【００７９】
一般的なユーザにおける素材データ５１の取込方法としては、ＵＳＢコネクタ１２６、カードコネクタ１２８あるいはカメラ１１２から取り込む方法が採られる。
【００８０】
具体的には、ＵＳＢコネクタ１２６にＵＳＢメモリ、ＵＳＢ接続ハードディスク、ＵＳＢ接続ＳＳＤ（Solid State Drive）などの外部記憶装置が接続された場合には、ＵＳＢコントローラ１２７を介して、写真データなどの静止画データを素材データ５１として取り込む。
【００８１】
また、カードコネクタ１２８に外部のメモリカードが接続された場合には、カードコントローラ１２９と、カードコントローラ１２９を介して写真データなどの静止画データを素材データ５１として取り込む。
【００８２】
また、ユーザの操作によりカメラ１１２により撮影がなされた場合には、撮影した写真データを素材データ５１として取り込む。
【００８３】
次にコントローラ１０１は、動画像再生アプリケーションプログラム２０２を実行して素材分析処理を行う（ステップＳ１２）。
【００８４】
図９は、素材分析処理の処理フローチャートである。
以下では、素材分析対象の素材データ５１が写真データなどの静止画像データ３０１Ａである場合を想定する。
【００８５】
まず、素材入力部２１は、インタフェース部等を介して、静止画像データ３０１Ａが入力されたか否かを判別する（ステップＳ２１）。
ステップＳ２１の判別において、静止画像データ３０１Ａが入力されていない場合には（ステップＳ２１；Ｎｏ）、待機状態となる。
【００８６】
ステップＳ２１の判別において、静止画像データ３０１Ａが入力されている場合には（ステップＳ２１；Ｙｅｓ）、素材入力部２１は、入力された静止画像データ３０１Ａを素材データベース３０１に格納する（ステップＳ２２）。そして、素材入力部２１は、静止画像データ３０１Ａが入力されたことを素材分析部２２（顔画像検出部２２１）に通知する。
【００８７】
次に、顔画像検出部２２１は、入力された静止画像データ３０１Ａから顔画像を検出する（ステップＳ２３）。
すなわち、顔画像検出部２２１は、静止画像データ３０１Ａ内に含まれる各顔画像の位置（座標）、サイズ、正面度等を検出する。この場合において、顔画像検出部２２１により、検出した顔画像に対応する人物を認識（識別）するようにしてもよい。
そして、顔画像検出部２２１は、検出した顔画像を示す情報を表情検出部２２２及び人数検出部２２３に出力する。
【００８８】
これにより、表情検出部２２２は、顔画像検出部２２１により検出された顔画像の笑顔度を決定する（ステップＳ２４）。
ここで、笑顔度とは、検出された顔画像が笑顔である尤もらしさの合い（尤度）を示す指標である。一つの静止画像データ３０１Ａから複数の顔画像が検出されている際には、それら顔画像の笑顔度に基づいて、静止画像データ３０１Ａの笑顔度を決定する。
【００８９】
また、人数検出部２２３は、顔画像検出部２２１により検出された顔画像の数に基づいて、静止画像データ３０１Ａに含まれる人物の数を決定する（ステップＳ２５）。
これらの結果、素材分析部２２は、静止画像データ３０１Ａに対応する笑顔度、人数、顔画像情報等を含む分析情報３０２Ｂを素材情報データベース３０２に格納する（ステップＳ２６）。
【００９０】
以上の処理により、入力された静止画像データ３０１Ａに含まれる顔画像の笑顔度と人数とを決定し、これら笑顔度と人数とを含む分析情報３０２Ｂが素材情報データベース３０２に格納される。
【００９１】
ここで、ＨＤＤ１０３のデータベース１３１に格納されている推奨楽曲データベースについて説明する。
図１０は、推奨楽曲データベースの構成説明図である。
推奨楽曲データベース４０１は、大別すると、分析結果分類データベース４０１Ａと、分類別推奨楽曲データベース４０１Ｂと、を備えている。
分析結果分類データベース４０１Ａは、解析結果と、推奨楽曲の分類コードとを対応づけるデータベースである。
また、分類別推奨楽曲データベース４０１Ｂは、推奨楽曲の分類コードと、実際のカラオケ楽曲を特定するためのカラオケ楽曲特定データと、を対応づけるデータベースである。
【００９２】
分析結果分類データベース４０１Ａは、具体的には、解析結果が撮影日時の場合には、適切な季節の曲に対応する推奨楽曲の分類コードを対応づけている。例えば、撮影日が１２月であれば、クリスマスソングに分類される推奨楽曲の分類コードが紐づけられている。
【００９３】
また、解析結果が、笑顔度である場合には、笑顔度を所定範囲に区分し、それぞれの笑顔度範囲に推奨楽曲の分類コードを対応づけている。例えば、笑顔度が低い場合には、荘厳なイメージの推奨楽曲の分類コードを対応づけ、笑顔度が高い場合には、元気で場を盛り上げるような推奨楽曲の分類コードを紐付けている。
【００９４】
また、解析結果が、写真データに対応する画像に含まれる人物の年齢を推定した推定年齢である場合には、年齢範囲を複数の年齢域に分類し、各年齢域の人々のそれぞれの時代におけるヒットソング等のカラオケ楽曲を推奨楽曲とする分類コードを対応づけている。さらに、写真データに対応する画像に含まれる人物の推定年齢、写真データに対応する撮影日時および現在日時から、写真データに対応する画像に含まれる人物の現在日時時点の年齢を推定し、現在の推定年齢に基づいて、当該年齢に相応しいカラオケ楽曲を推奨楽曲とする分類コードを紐づけるようにしてもよい。
【００９５】
また、解析結果が、写真データに対応する画像に含まれる人物の人数である場合には、例えば、バラード系のカラオケ楽曲を推奨楽曲とする分類コードを紐づけるようにしてもよい。
【００９６】
また、解析結果が、写真データに対応する画像に含まれる人物の特定結果である場合には、例えば、当該人物が過去に歌ったカラオケ楽曲の履歴を記録しておき、当該ユーザの履歴に含まれる、あるいは、当該ユーザの履歴に含まれるカラオケ楽曲に類似するカラオケ楽曲を推奨楽曲とする分類コードを紐づけるようにしてもよい。
【００９７】
分類別推奨楽曲データベース４０１Ｂは、具体的には、分類コードを実際のカラオケ楽曲に紐づけるように、カラオケ楽曲の演奏コードに分類コードを紐づけている。
【００９８】
したがって、コントローラ１０１は、分析結果に基づいて取得した分類コードに基づいて、分類別推奨楽曲データベース４０１Ｂを参照し、実際のカラオケ楽曲の演奏コードを取得する推奨楽曲選択処理を実行する（ステップＳ１３）。
【００９９】
そして、得られた演奏コードに基づいて、対応するカラオケ楽曲の曲名、歌手名などを取得し、ディスプレイ１０７に推奨楽曲リストとして表示し、ユーザにいずれかのカラオケ楽曲を選択するように促す。
これにより、楽曲選択操作待ち状態となり（ステップＳ１４）、ユーザにより楽曲選択操作がなされたか否かを判別する（ステップＳ１５）。
【０１００】
ステップＳ１５の判別において、楽曲選択操作がなされていない場合には（ステップＳ１５；Ｎｏ）、待機状態となる。
なお、待機時間が所定の待機最大時間を経過した場合には、楽曲選択操作待ち状態を解除するように構成することも可能である。
【０１０１】
ステップＳ１５の判別において、ユーザによる楽曲選択操作がなされた場合には、コントローラ１０１は、エフェクト抽出部２３１として機能し、ステップＳ１２の素材分析処理結果に基づいて、動画像生成に用いる一連のエフェクトを選択する（ステップＳ１６）。すなわち、コントローラ１０１は、エフェクト抽出部２３１として機能して、取り込んだ素材データ５１に対応する分析情報３０２Ｂに基づいて、取り込んだ素材データ５１に適したエフェクト集を選択する。そして、コントローラ１０１は、選択したエフェクト集に対応するエフェクトデータ３０３Ａをエフェクトデータベース３０３から抽出する。
【０１０２】
続いて、コントローラ１０１は、合成動画生成部２３２として機能し、抽出された素材データ５１とエフェクトデータ３０３Ａとを用いて、合成動画を生成する（ステップＳ１７）。ここで、生成された合成動画には、エフェクトデータ３０３Ａが施された素材データ５１が含まれる。なお、コントローラ１０１は、エフェクト抽出部２３１として機能するに際し、取り込んだ素材データ５１に選択したエフェクトデータ３０３Ａを施すようにしてもよい。
これにより、コントローラ１０１は、合成動画生成部２３２として機能するに際し、エフェクトデータ３０３Ａが施された素材データ５１を含む合成動画を生成する。
【０１０３】
続いて、コントローラ１０１は、合成動画出力部２３３として機能し、合成動画を、カラオケ楽曲の背景動画像として、表示コントローラ１０８を介して、カラオケ楽曲に対応する歌詞とともにディスプレイ１０７に表示させる。
【０１０４】
これと並行して、コントローラ１０１は、サウンドコントローラ１１１を制御して、マイクロフォン１０９Ａ、１０９Ｂから入力された、ユーザの入力音声に、カラオケ楽曲をミキシングしてスピーカ１１０から音響出力する（ステップＳ１８）。
【０１０５】
この場合において、ユーザにより録画を行う旨の設定がなされ、あるいは、基本設定として録画を行う旨の設定がなされている場合には、カラオケ楽曲の背景動画像として合成動画及びユーザの入力音声にカラオケ楽曲をミキシングした音声をＨＤＤ１０３に録画し、あるいは、あらかじめ光ディスクドライブ１０５にセットされた書き込み可能なＣＤあるいは書き込み可能なＤＶＤなどに録画を行うようになっている。
【０１０６】
また、コントローラ１０１は、曲のテンポを変更したり、早送り等、合成動画の再生速度を変更したりするようなトリック再生が行われているか否かを判別し（ステップＳ１９）、トリック再生が行われている場合には（ステップＳ１９；Ｙｅｓ）、カラオケ楽曲の再生終了タイミングを算出して、再生終了タイミングに合わせて、カラオケ楽曲の背景動画像として合成動画の再生終了もなされるように、未再生部分の合成動画の再生成を行い（ステップＳ２０）、処理を再びステップＳ１８に移行する。
【０１０７】
また、ステップＳ１９の判別において、トリック再生が行われていない場合には（ステップＳ１９；Ｎｏ）、カラオケ楽曲の再生が終了するまで、ステップＳ１７におけるカラオケ楽曲の背景動画像を、カラオケ楽曲に対応する歌詞と合わせてディスプレイ１０７に表示させるとともに、ユーザの入力音声に、カラオケ楽曲をミキシングしてスピーカ１１０から音響出力する処理を継続することとなる。
【０１０８】
以上の処理により、取り込まれた素材データ５１と、素材データ５１に適したエフェクトデータ３０３Ａとを用いた合成動画をカラオケ楽曲の背景動画像として生成して、カラオケ再生を行うことができる。
【０１０９】
このように、本実施形態によれば、ユーザは、取り込ませた素材データ５１に適したエフェクトデータ３０３Ａを選択するための作業を何ら行わなくても、適切なエフェクトデータ３０３Ａが施された素材データ５１を含む合成動画がカラオケ楽曲の背景動画像として生成される。そして生成されたカラオケ楽曲の背景動画像がディスプレイ１０７に表示されつつ、カラオケ楽曲の再生が行われる状態で、カラオケ演奏端末１３を利用することができる。
【０１１０】
すなわち、ユーザはエフェクトデータ３０３Ａに関する知識を全く有しないにも拘わらず、動画像再生アプリケーションプログラム２０２は、適切なエフェクトデータ３０３Ａが施された素材データ５１を含む合成動画像をカラオケの背景画像として容易に生成できる。
【０１１１】
なお、本実施形態の合成動画生成処理の手順は全てソフトウェアによって実行することができる。このため、合成動画生成処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１１２】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。
例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１１３】
（実施形態の変形例）
例えば、背景動画像で使用する複数の写真について、例えば、複数のイベント（例えば、運動会、ピクニック、卒業式など）にまたがる写真データ（静止画データ）が入力された場合のように、撮影日時、撮影場所、笑顔度などにばらつきが大きい場合には、写真全体で一つの推奨カラオケ楽曲が選択できないものとして、複数の写真を複数のグループに分ける。
【０１１４】
そして、グループ毎におすすめのカラオケ楽曲を推奨カラオケ楽曲として選択し、これらの複数のカラオケ楽曲のメドレー曲を提示し、ユーザにより選択された場合には、選択した複数のカラオケ楽曲のメドレー曲をオリジナルのメドレー曲として生成するように構成することも可能である。
この場合には、各グループに対応するカラオケ楽曲が演奏される期間に対応づけて当該グループに属する写真を使って、背景動画像を生成し、それらの背景動画像をつなげてメドレー曲全体の背景動画像として生成するようにすればよい。
【０１１５】
また、写真データに対応する画像に含まれる人物の笑顔度が高く、かつ、写真データに対応する画像に含まれる人物の数が多い場合には、場を盛り上げることが可能であるとあらかじめ指定されたカラオケ楽曲を提示するようにしてもよい。
【０１１６】
以上の説明においては、解析結果が、写真データに対応する画像に含まれる人物の特定結果である場合には、当該人物が過去に歌ったカラオケ楽曲の履歴を記録しておき、当該ユーザの履歴に含まれる、あるいは、当該ユーザの履歴に含まれるカラオケ楽曲に類似するカラオケ楽曲を推奨楽曲とする構成としていた。
【０１１７】
しかしながら、カラオケの開始時に参加メンバの写真をカメラ１１２により撮影して顔認識を行って、個人を識別し、会員登録データベース等と照合して会員のこれまでの履歴や年齢から推奨するカラオケ楽曲を推奨カラオケ楽曲として提示する構成とすることも可能である。
【０１１８】
また、識別した個人の組み合わせ（グループ）毎に過去に歌ったカラオケ楽曲の履歴を記録しておき、当該グループの履歴に含まれる、あるいは、当該グループの履歴に含まれるカラオケ楽曲に類似するカラオケ楽曲を推奨カラオケ楽曲として提示したりするように構成することも可能である。
【０１１９】
同様に、素材データ５１として、写真データなどの静止画像データをユーザが持ち込んだ場合にも、静止画像データに対応する静止画像に含まれる一または複数の人物を特定して、推奨するカラオケ楽曲を提示するように構成することも可能である。
【符号の説明】
【０１２０】
１０ 通信カラオケシステム
１１ カラオケホスト
１２ 通信ネットワーク
１３ カラオケ演奏端末（カラオケ装置）
１４ ユーザ操作端末（選択受付手段）
２１ 素材入力部
２２ 素材分析部（解析手段）
２３ 動画再生部
５１ 素材データ
１０１ コントローラ（楽曲提示手段、選択受付手段、動画像生成手段）
１０７ ディスプレイ（楽曲提示手段）
１０８ 表示コントローラ（楽曲提示手段）
１１０ スピーカ（カラオケ再生手段）
１１１ サウンドコントローラ（カラオケ再生手段）
２２１ 顔画像検出部（解析手段）
２２２ 表情検出部（解析手段）
２２３ 人数検出部（解析手段）
２３１ エフェクト抽出部
２３２ 合成動画生成部（動画像生成手段）
２３３ 合成動画出力部（カラオケ再生手段）
４０１ 推奨楽曲データベース
４０１Ａ 分析結果分類データベース
４０１Ｂ 分類別推奨楽曲データベース
【特許請求の範囲】
【請求項１】
指定された静止画像データを解析する解析手段と、
所定の条件と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースと、
前記解析の結果を、前記所定の条件に照らし合わせて前記推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する楽曲提示手段と、
前記提示された楽曲からいずれかを前記ユーザに選択させる選択受付手段と、
を備えたことを特徴とするカラオケ装置。
【請求項２】
前記解析手段は、前記静止画像データに対応する静止画像を解析し、前記静止画像に含まれる人物について推定した笑顔度、前記静止画像に含まれる人物について推定した年齢、前記静止画像に含まれる人物について推定した性別、前記静止画像に含まれる人物の数、前記静止画像に含まれる文字情報のうち、いずれか少なくとも一つを前記解析の結果として出力することを特徴とする請求項１記載のカラオケ装置。
【請求項３】
前記解析手段は、前記静止画像データに対応する静止画像を解析し、前記静止画像に含まれる人物を特定し、前記解析の結果として出力することを特徴とする請求項１記載のカラオケ装置。
【請求項４】
前記解析手段は、前記静止画像データに対応する静止画像を解析し、前記静止画像に含まれる人物について推定した年齢を、当該静止画像データのメタデータに基づいて補正して、現在の年齢として推定することを特徴とする請求項１記載のカラオケ装置。
【請求項５】
前記ユーザにより選択されたカラオケ楽曲に適合させて、指定された複数の静止画像のうち少なくとも一部の静止画像を用いてカラオケ背景動画像として用いる動画像を生成する動画像生成手段と、
前記動画像生成手段により生成された動画像を、前記ユーザにより選択されたカラオケ楽曲に同期させて再生するカラオケ再生手段と、
を備えたことを特徴とする請求項１乃至請求項４のいずれかに記載のカラオケ装置。
【請求項６】
前記動画像生成手段は、前記解析の結果に基づいて、前記複数の静止画像のうち、少なくとも一部の静止画像を含む動画像の生成に用いるエフェクト設定を選択するエフェクト設定選択手段を備え、前記選択された前記エフェクト設定を用いて、当該エフェクト設定を構成するエフェクトが施された前記動画像を生成することを特徴とする請求項１乃至請求項５のいずれかに記載のカラオケ装置。
【請求項７】
前記楽曲提示手段は、前記解析の結果に基づいて、複数の前記静止画像データを複数のグループに分け、前記グループ毎に推奨するカラオケ楽曲として選択し、これらの複数のカラオケ楽曲から生成されるメドレー曲を推奨するカラオケ楽曲として提示することを特徴とする請求項１乃至請求項６のいずれかに記載のカラオケ装置。
【請求項８】
カラオケ装置において実行されるカラオケ装置の制御方法であって、
前記カラオケ装置は、静止画像データの解析の結果と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースを備え、
指定された複数の静止画像データを解析する解析過程と、
前記解析の結果に基づいて、前記推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する楽曲提示過程と、
前記提示された楽曲からいずれかを前記ユーザに選択させる選択受付過程と、
前記ユーザにより選択されたカラオケ楽曲に適合させて、指定された複数の静止画像のうち少なくとも一部の静止画像を用いてカラオケ背景動画像として用いる動画像を生成する動画像生成過程と、
を備えたことを特徴とするカラオケ装置の制御方法。
【請求項９】
所定の条件と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースを備えたカラオケ装置をコンピュータにより制御するための制御プログラムであって、
前記コンピュータを、
指定された複数の静止画像データを解析する解析手段、
前記解析の結果を、前記所定の条件に照らし合わせて前記推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する楽曲提示手段、
前記提示された楽曲からいずれかを前記ユーザに選択させる選択受付手段、
として機能させることを特徴とする制御プログラム。
【請求項１】
指定された静止画像データを解析する解析手段と、
所定の条件と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースと、
前記解析の結果を、前記所定の条件に照らし合わせて前記推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する楽曲提示手段と、
前記提示された楽曲からいずれかを前記ユーザに選択させる選択受付手段と、
を備えたことを特徴とするカラオケ装置。
【請求項２】
前記解析手段は、前記静止画像データに対応する静止画像を解析し、前記静止画像に含まれる人物について推定した笑顔度、前記静止画像に含まれる人物について推定した年齢、前記静止画像に含まれる人物について推定した性別、前記静止画像に含まれる人物の数、前記静止画像に含まれる文字情報のうち、いずれか少なくとも一つを前記解析の結果として出力することを特徴とする請求項１記載のカラオケ装置。
【請求項３】
前記解析手段は、前記静止画像データに対応する静止画像を解析し、前記静止画像に含まれる人物を特定し、前記解析の結果として出力することを特徴とする請求項１記載のカラオケ装置。
【請求項４】
前記解析手段は、前記静止画像データに対応する静止画像を解析し、前記静止画像に含まれる人物について推定した年齢を、当該静止画像データのメタデータに基づいて補正して、現在の年齢として推定することを特徴とする請求項１記載のカラオケ装置。
【請求項５】
前記ユーザにより選択されたカラオケ楽曲に適合させて、指定された複数の静止画像のうち少なくとも一部の静止画像を用いてカラオケ背景動画像として用いる動画像を生成する動画像生成手段と、
前記動画像生成手段により生成された動画像を、前記ユーザにより選択されたカラオケ楽曲に同期させて再生するカラオケ再生手段と、
を備えたことを特徴とする請求項１乃至請求項４のいずれかに記載のカラオケ装置。
【請求項６】
前記動画像生成手段は、前記解析の結果に基づいて、前記複数の静止画像のうち、少なくとも一部の静止画像を含む動画像の生成に用いるエフェクト設定を選択するエフェクト設定選択手段を備え、前記選択された前記エフェクト設定を用いて、当該エフェクト設定を構成するエフェクトが施された前記動画像を生成することを特徴とする請求項１乃至請求項５のいずれかに記載のカラオケ装置。
【請求項７】
前記楽曲提示手段は、前記解析の結果に基づいて、複数の前記静止画像データを複数のグループに分け、前記グループ毎に推奨するカラオケ楽曲として選択し、これらの複数のカラオケ楽曲から生成されるメドレー曲を推奨するカラオケ楽曲として提示することを特徴とする請求項１乃至請求項６のいずれかに記載のカラオケ装置。
【請求項８】
カラオケ装置において実行されるカラオケ装置の制御方法であって、
前記カラオケ装置は、静止画像データの解析の結果と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースを備え、
指定された複数の静止画像データを解析する解析過程と、
前記解析の結果に基づいて、前記推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する楽曲提示過程と、
前記提示された楽曲からいずれかを前記ユーザに選択させる選択受付過程と、
前記ユーザにより選択されたカラオケ楽曲に適合させて、指定された複数の静止画像のうち少なくとも一部の静止画像を用いてカラオケ背景動画像として用いる動画像を生成する動画像生成過程と、
を備えたことを特徴とするカラオケ装置の制御方法。
【請求項９】
所定の条件と、推奨するカラオケ楽曲と、をあらかじめ紐づけた推奨楽曲データベースを備えたカラオケ装置をコンピュータにより制御するための制御プログラムであって、
前記コンピュータを、
指定された複数の静止画像データを解析する解析手段、
前記解析の結果を、前記所定の条件に照らし合わせて前記推奨楽曲データベースを参照し、ユーザに対して推奨するカラオケ楽曲を提示する楽曲提示手段、
前記提示された楽曲からいずれかを前記ユーザに選択させる選択受付手段、
として機能させることを特徴とする制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３７５５９（Ｐ２０１２−１３７５５９Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８８８４２（Ｐ２０１０−２８８８４２）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]