カラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラム。
【課題】課題の一例として、あらかじめ用意されている映像素材の中から、ユーザの音声認識によって好みに応じた最適なアフレコ素材を検索することができ、視覚的に映像編集が容易に行えるカラオケシステム等を提供することにある。
【解決手段】カラオケシステムであって、ユーザ情報が入力されるユーザ情報入力手段と、ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、楽曲データ付加情報に含まれる番組情報を抽出し、番組情報に対応するカット情報を抽出するカット情報抽出手段と、ユーザの音声情報が入力されるユーザ音声情報入力手段と、音声情報から動画特定情報を抽出する動画特定情報抽出手段と、動画特定情報に合致する、カット情報に含まれる動画検索用情報を検索し、検索された動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段とを備えることを特徴とする。
【解決手段】カラオケシステムであって、ユーザ情報が入力されるユーザ情報入力手段と、ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、楽曲データ付加情報に含まれる番組情報を抽出し、番組情報に対応するカット情報を抽出するカット情報抽出手段と、ユーザの音声情報が入力されるユーザ音声情報入力手段と、音声情報から動画特定情報を抽出する動画特定情報抽出手段と、動画特定情報に合致する、カット情報に含まれる動画検索用情報を検索し、検索された動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像編集を行うカラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラムの技術分野に関する。
【背景技術】
【０００２】
近年、多数の演奏曲のうちから選択される演奏曲を出力させる情報記録再生装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置、サーバ装置等の情報記録再生装置である。このようなカラオケ装置では、予め記憶装置に記憶された多数のカラオケ演奏曲から選択されたカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の詞情報を含む映像をその出力に同期して画面に表示させることで、所望の歌のカラオ演奏を楽しむことが可能である。
【０００３】
このようなカラオケ装置において、タイトル名やシーン名等を覚えていない場合に、コンテンツの分野（ヒーロー、学園、ロボット、刑事・・・・）をユーザが選択することで、アフレコする素材を絞り込めるアフレコシステム（検索対象分野が表示され、ユーザがその検索対象分野を選択できるインターフェースが用意され、適合度に応じてコンテンツをソートしてその検索結果を表示する。）技術が特許文献１に開示されている。
【０００４】
また、再生する音楽にあった画像を選択表示し、また、順次に表示する画像に最適なＢＧＭを付加するシステム（音声データに付加されたメタデータをもとに画像データに付加されたメタデータを参照して、音声データと関連性の高い画像データを検索し、音楽と画像を関連付けて再生する。）技術が特許文献２に開示されている。
【０００５】
また、関連性のある画像、音声データを連続して再生するシステム（画像、音声それぞれのメタデータを比較して、同じ場合に両コンテンツを再生する。また、画像のテーマとなるメタデータを有する画像が存在しない場合には、その画像における次ぎのメタデータをテーマとして選択し、その選択されたテーマと同じテーマの画像を連続再生する）技術が特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０２７０５１号公報
【特許文献２】特開２００６−２４４００２号公報
【特許文献３】特開２００８−１４７９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上の技術を活用しつつ、動画共有サービスが浸透している昨今、「ユーザがパロディ映像制作」そして「その映像を共有し、評価しあう」という楽しみ方が流行している。
【０００８】
しかしながら映像の制作・編集(以下に掲げる工程作業：１；自らが吹き替えを制作したいイメージにあわせた映像を探す、２；前記１で探した映像から「自らが使用したい部分」を素材として切り出す、３； 切り出した複数素材の編集を行う、４；動画の動きに合わせて声や効果音を吹き込む)には相応のスキルとコンピュータ設備を必要とし、誰でも気軽に作れるものではなかった。
【０００９】
そこで、本発明は上記の課題に鑑みて為されたもので、その目的の一例は、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚、入力音圧レベル等）によって好みに応じた最適なアフレコ素材を検索することができ、機械に詳しくないユーザでも視覚的に映像編集が容易に行える情報記録再生装置、情報記録再生の制御方法、及び情報記録再生の制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、請求項１に記載の発明は、カラオケシステムにおいて、ユーザ情報が入力されるユーザ情報入力手段としてのユーザ情報入力部４６ａと、前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段としての楽曲データ付加情報抽出部１０１と、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するたカット情報を抽出するカット情報抽出手段としてのカット情報抽出部１０２と、ユーザの音声情報が入力されるユーザ音声情報入力手段としてのユーザ音声情報入力部４０と、前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段としての動画特定情報抽出部１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段としてのカット画像情報抽出部１０４と、前記カット画像情報を表示する表示手段としての表示部３０、前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段としてのカット画像情報選択部１０５と、前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段としての合成部１０６と、前記カット画像情報を関連付けるカット画像情報関連付手段としてのカット画像情報関連付部１０７と、を備えることを特徴とする情報記録再生装置。
【００１１】
この構成によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６またはサーバ装置２０等の情報記録再生装置に、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）するとユーザＩＤに対応する演奏曲（楽曲データ）情報から楽曲データ付加情報が楽曲データ付加情報抽出手段によって抽出される。
【００１２】
楽曲データ付加情報には、楽曲データの曲名、歌手名、作詞・作曲者名、番組情報、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）等が含まれる。
【００１３】
楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、番組情報に対応するカット情報（カット情報には静止画及び動画に対応するセリフ、音量情報、音程情報、カット内で主となる人物名、カット内で主となる人物の性別（カット情報中の動画検索用情報（図１０参照））等の情報が含まれる）を少なくとも一つ以上カット情報抽出手段が抽出する。
【００１４】
そして、ユーザの音声情報が、マイク等を介してユーザ音声情報入力手段に入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）が動画特定情報抽出手段によって抽出される。
【００１５】
動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致する、カット情報に含まれる動画検索用情報（カット画像情報におけるセリフ、音量情報、音程情報）が検索され、検索された動画検索用情報に対応する静止画情報または動画情報（カット画像情報）がカット画像情報抽出手段によって抽出される。
【００１６】
抽出されたカット画像情報が表示手段によって表示され、ユーザは表示されたカット画像情報から自分の好みのカット画像情報をカット画像情報選択手段で選択する（操作パネル４６、カラオケ装置１６の遠隔操作装置または遠隔入力装置としての電子装置２２、リモコン装置６４、携帯電話機２８等を介してユーザが選択したカット画像情報に関する情報がカラオケ装置１６等の情報記録再生装置のＣＰＵ５０のカット画像情報選択部１０５に入力されて情報記録再生装置が選択されたカット画像情報を認識する）。
【００１７】
選択されたカット画像情報と入力されたユーザの音声情報とが合成され、カット画像情報が関連づけられると、ユーザ自身の声による（複数のカット画像が繋がった）動画が作成される。
【００１８】
このようにして、請求項１に係る発明によれば、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚（音程情報）、入力音圧レベル（音量情報）等）およびユーザの好み（ユーザが選択）に応じた最適なアフレコ素材（ユーザの音声情報と合成されるべきカット画像）を検索することよって、機械に詳しくないユーザでも視覚的に映像編集が容易に行うことが可能になる。
【００１９】
また、カラオケで歌う楽曲は、好きなテレビ番組で流れる（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、有名なCMで流れる、好きな映画で流れる、または好きなアーティストが歌っている楽曲であるので、これらのユーザが選択した楽曲（カラオケで歌う楽曲）に関する情報から、関連する映像を抽出することで、ユーザの嗜好に合致していると思われる映像を抽出することが可能になる。
【００２０】
また、単なる動画の閲覧履歴等の動画の見た目に関する情報だけではなく、潜在的にユーザが好むと思われる動画を抽出する（ユーザ情報に関連付けられたカット画像）ことで、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。
【００２１】
また、ユーザが、豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽に、パロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。
【００２２】
上記課題を解決するために、請求項２に記載の発明は、請求項１に記載のカラオケシステムであって、前記ユーザが選択した前記カット画像情報の履歴を示す動画選択履歴情報に含まれる、前記ユーザ情報に対応する動画データ付加情報を抽出する動画データ付加情報抽出手段としての動画データ付加情報抽出部１０８を更に備え、前記カット情報抽出手段は、前記動画データ付加情報に含まれるカット情報を抽出し、前記動画データ付加情報に含まれる前記カット情報に対応するカット画像情報を抽出することを特徴とする。
【００２３】
このようにして、請求項２に係る発明によれば、単なる動画の閲覧履歴等の情報ではなく、ユーザが以前に選択したことのある興味のある画像（本発明のカット画像情報とユーザ音声情報が合成された吹き替え画像ＭＩＸを含む）を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報等）を抽出するので、潜在的にユーザが好むと思われる動画を抽出することができ、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。
【００２４】
上記課題を解決するために、請求項３に記載の発明は、請求項１または２に記載のカラオケシステムであって、前記カット画像情報抽出手段は、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を有し、かつ、直前に選択された前記カット画像情報に対応する前記カット情報に含まれる動画連結用情報と連結するべきカット画像情報を抽出することを特徴とする。
【００２５】
この構成によれば、カット画像情報抽出手段は、入力されたユーザの音声情報に基づいてカット画像情報を抽出するだけではなく、直前に選択されたカット画像情報に対応するカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（話者の向き、場面描写情報（室内、室外、明るい、暗い等の情報等の情報（図１０参照））に対応する連結されるべき（話者の向きであれば、一例として、直前に選択されたカット画像情報内の話者が「右向き」であれば、対応する連結されるべき画像情報内の話者は「左向き」である。場面描写情報であれば、一例として、直前に選択されたカット画像情報内の場面情報が「室内」であれば、対応する連結されるべき画像情報内の場面情報は「室内」である。）カット画像情報が抽出される。
【００２６】
このようにして、請求項３に係る発明によれば、複数の動画をつなぎ合わせたコンテンツを作成するためには、動画同士の関連性が重要であるが、直前の動画の場面描写、登場人物、登場人数、アングル情報をもとに、次に選択されるべき候補となるカット画像情報が抽出されるので、直前の動画に自然につながる次の動画（カット画像情報）を抽出することが可能である。
【００２７】
すなわち、動画同士のつなぎが自然になるように、先の動画素材（動画データ（図１０参照））に関連するものを優先的に抽出することが可能になる。
【００２８】
上記課題を解決するために、請求項４に記載の発明は、請求項１乃至３の何れかに記載のカラオケシステムであって、前記表示手段は、前記カット情報に含まれる付加情報と、楽曲データ付加情報または動画データ付加情報の少なくとも何れか一方の付加情報との関連性に基づいて前記カット画像情報を区別して表示することを特徴とする。
【００２９】
この構成によれば、ユーザがカラオケで歌唱した楽曲の付加情報（曲名、アーティスト名、番組名（主題歌、挿入歌）、発表年度、ジャンル等）およびユーザが以前に選択した動画の動画データ付加情報とは一致しない画像を、一致しない程度に応じて区別し、その区別毎にその画像を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。
【００３０】
また、付加情報に含まれる情報において一致する情報の数を全体の情報の個数で除算したものを一致割合として、一致割合ごとに区分してカット画像情報を表示することも可能である。
【００３１】
このようにして、請求項４に係る発明によれば、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【００３２】
上記課題を解決するために、請求項５に記載の発明は、請求項４に記載のカラオケシステムであって、前記付加情報にはジャンル情報および年代情報（年代情報には、発表年代／放送年代、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）が含まれる）が含まれ、前記表示手段は、前記カット画像情報の付加情報に含まれるジャンル情報および年代情報と、前記楽曲データ付加情報または前記動画データ付加情報の少なくとも何れか一方に含まれるジャンル情報および年代情報との一致する割合に基づいて前記カット画像情報を区別して表示することを特徴とする。
【００３３】
この構成によれば、ジャンル情報および年代情報が合致している場合には、関連性が大きいと判断し、ジャンル情報または年代情報の何れか一方が合致している場合には、関連性が中程度であると判断し、ジャンル情報および年代情報の何れも合致していない場合には、関連性が小さいと判断する。
【００３４】
この関連性の大きさに基づいて、区別して（優先順位を決めて）カット画像情報を表示する（図８参照）。
【００３５】
このようにして、請求項５に係る発明によれば、映像検索の場合には、ユーザと関連性の大きい動画を提示するばかりではなく、ユーザと関連性の小さい動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【００３６】
上記課題を解決するために、請求項６に記載の発明は、カラオケシステムの制御方法であって、ユーザ情報が入力されるユーザ情報入力工程と、前記ユーザ情報入力工程によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出工程と、ユーザの音声情報が入力されるユーザ音声情報入力工程と、前記ユーザ音声情報入力工程において入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出工程と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出工程と、前記カット画像情報を表示する表示工程と、前記表示工程において表示された前記カット画像情報が選択されるカット画像情報選択工程と、前記カット画像情報選択工程においてよって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、前記カット画像情報を関連付けるカット画像情報関連付工程と、を備えることを特徴とする。
【００３７】
上記課題を解決するために、請求項７に記載の発明は、カラオケシステムの制御プログラムであって、ユーザ情報が入力されるユーザ情報入力手段、前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段、ユーザの音声情報が入力されるユーザ音声情報入力手段、前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段、前記カット画像情報を表示する表示手段、前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段、前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段、前記カット画像情報を関連付けるカット画像情報関連付手段、として機能させることを特徴とする。
【００３８】
上記課題を解決するために、請求項８に記載の発明は、請求項７に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記録されていることを特徴とする記録媒体。
【００３９】
上記課題を解決するために、請求項９に記載の発明は、カラオケシステム１０において、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段としての楽曲情報入力部４６ｃと、前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段としての楽曲データ付加情報抽出部１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段としてのカット情報抽出部１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０と、前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段としての動画特定情報抽出部１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａと、前記カットデータ情報を表示する表示手段としての表示部３０と、前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段としてのカットデータ情報選択部１０５ａと、前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段としての合成部１０６と、を備えることを特徴とする。
【００４０】
この構成によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケシステムにおいて、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報を基に、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を抽出および選択し、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うことができる。
【００４１】
また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。
【００４２】
上記課題を解決するために、請求項１０に記載の発明は、請求項９に記載のカラオケシステム１０であって、前記表示手段は前記カットデータ情報選択手段によって選択された前記カットデータ情報を表示、または、前記カットデータ情報及び前記ユーザ歌唱情報を同時に表示することを特徴とする。
【００４３】
この構成によれば、ユーザはカット画像情報を表示させながら、選択された音声情報を試聴して、画像と音声とのさまざまな組み合わせを楽しむことが可能になる。
【００４４】
また、ユーザ自身が歌唱している姿だけでなく、他のユーザと一緒に楽曲を歌唱しているコラボ画像を容易に作成することができる。
【００４５】
また、他のユーザの歌唱画像情報を表示させながら、別の他のユーザの音声情報を再生させることが手軽にできるので、機械に詳しくないユーザでも視覚的に映像編集を容易に行い、カラオケを通じた映像編集を楽しむことができる。
【００４６】
さらに、他のユーザが楽曲を歌唱している姿を示す歌唱画像情報であるカット画像情報を表示させながら、ユーザは楽曲を歌唱してカラオケを楽しむことができる。
【００４７】
上記課題を解決するために、請求項１１に記載の発明は、カラオケシステム１０を制御する方法において、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力工程４６ｃと、前記楽曲情報入力工程において入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出工程１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力工程７０と、前記ユーザ歌唱情報入力工程において入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出工程１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出工程１０４ａと、前記カットデータ情報を表示する表示工程３０と、前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択工程１０５ａと、前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成工程１０６と、を備えることを特徴とする。
【００４８】
上記課題を解決するために、請求項１２に記載の発明は、カラオケシステム１０に含まれるコンピュータを制御する制御プログラムであって、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段４６ｃと、前記楽曲情報入力手段４６ｃによって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段７０と、前記ユーザ歌唱情報入力手段７０に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段１０４ａと、前記カットデータ情報を表示する表示手段３０と、前記表示手段３０に表示された前記カットデータ情報が選択されるカットデータ情報選択手段１０５ａと、前記カットデータ情報選択手段１０５ａによって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段１０６と、を備えることを特徴とする。
【００４９】
上記課題を解決するために、請求項１３に記載の発明は、請求項１２に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記憶されていることを特徴とする記憶媒体。
【発明の効果】
【００５０】
本発明によれば、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚（音程情報）、入力音圧レベル（音量情報）等）およびユーザの好み（ユーザが選択）に応じた最適なアフレコ素材（ユーザの音声情報と合成されるべきカット画像）を検索することよって、機械に詳しくないユーザでも視覚的に映像編集が容易に行うことが可能になる。
【００５１】
また、カラオケで歌う楽曲は、好きなテレビ番組で流れる（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、有名なCMで流れる、好きな映画で流れる、または好きなアーティストが歌っている楽曲であるので、これらのユーザが選択した楽曲（カラオケで歌う楽曲）に関する情報から、関連する映像を抽出することで、ユーザの嗜好に合致していると思われる映像を抽出することが可能になる。
【００５２】
また、単なる動画の閲覧履歴等の動画の見た目に関する情報だけではなく、潜在的にユーザが好むと思われる動画を抽出する（ユーザ情報に関連付けられたカット画像）ことで、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。
【００５３】
また、ユーザが、豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽に、パロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。
【００５４】
また、単なる動画の閲覧履歴等の情報ではなく、ユーザが以前に選択したことのある興味のある画像（本発明のカット画像情報とユーザ音声情報が合成された吹き替え画像ＭＩＸを含む）を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報等）を抽出するので、潜在的にユーザが好むと思われる動画を抽出でき、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。
【００５５】
また、複数の動画をつなぎ合わせたコンテンツを作成するためには、動画同士の関連性が重要であるが、直前の動画の場面描写、登場人物、登場人数、アングル情報をもとに、次に選択されるべき候補となるカット画像情報が抽出されるので、直前の動画に自然につながる次の動画（カット画像情報）を抽出することが可能である。
【００５６】
すなわち、動画同士のつなぎが自然になるように、先の動画素材（動画データ（図１０参照））に関連するものを優先的に抽出することが可能になる。
【００５７】
また、ユーザがカラオケで歌唱した楽曲の付加情報（曲名、アーティスト名、番組名（主題歌、挿入歌）、発表年度、ジャンル等）およびユーザが以前に選択した動画の動画データ付加情報とは一致しない画像を、一致しない程度に応じて区別し、その区別毎にその画像を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。
【００５８】
すなわち、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【００５９】
また、関連性の大きさに基づいて、区別して（優先順位を決めて）カット画像情報を表示することが可能である（図８参照）。
【００６０】
また、映像検索の場合には、ユーザと関連性の大きい動画を提示するばかりではなく、ユーザと関連性の小さい動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【００６１】
本発明によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケシステムにおいて、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報を基に、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を抽出および選択し、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うことができる。
【００６２】
また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。
【００６３】
さらに、ユーザはカット画像情報を表示させながら、選択された音声情報を試聴して、画像と音声とのさまざまな組み合わせを楽しむことが可能になる。
【００６４】
このように、他のユーザの歌唱画像情報を表示させながら、合成された別の他のユーザの音声情報を再生させることが手軽にできるので、機械に詳しくないユーザでも視覚的に映像編集を容易に行い、カラオケを通じた映像編集を楽しむことができる。
【００６５】
また、ユーザ自身が歌唱している姿だけでなく、他のユーザと一緒に楽曲を歌唱しているコラボ画像を容易に作成することができる。
【００６６】
また、他のユーザが楽曲を歌唱している姿を示す歌唱画像情報であるカット画像情報を表示させながら、ユーザは楽曲を歌唱してカラオケを楽しむことができる。
【００６７】
また、ユーザが歌唱した楽曲の楽曲情報に、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けることができる。
【００６８】
したがって、ユーザは楽曲情報から自分が編集した歌唱画像情報を検索することが容易になり、いつでも自由なときに、自分が編集した歌唱画像情報を利用することが可能になる。
【００６９】
また、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けたカット画像情報をカラオケシステムにアップロードすることによって他のユーザもカラオケシステムを介してカット画像情報を利用できることができ、情報をユーザ同士で共有することが可能になる。
【００７０】
さらに、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくともテンポ情報および音程情報が略同一であるので、画像情報および／または音声情報を入れ替えても、違和感のない同一の楽曲にかかわる歌唱画像情報またはカット画像情報を抽出することができる。
【００７１】
さらに、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくとも前記楽曲名称情報が同一であるので、画像情報および／または音声情報を入れ替えても、同一の楽曲にかかわる歌唱画像情報またはカット画像情報を抽出することができる。
【００７２】
なお、ユーザが歌唱した楽曲と同一楽曲とは、楽曲に関する属性情報が完全に一致する楽曲の他に、バージョン情報が異なる楽曲、演奏が異なる楽曲、収録された時刻が異なる楽曲、歌手が異なる楽曲を含んでいてもよい。
【００７３】
また、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくとも歌唱されている楽曲の歌詞が同一または類似する楽曲歌詞情報が抽出されるので、画像情報および／または音声情報を入れ替えても、違和感のない歌唱画像情報またはカット画像情報を抽出することができる。
さらに、ユーザが楽曲を歌唱している歌唱画像情報においてユーザが楽曲に合わせて体を動かせて歌唱している場合、ユーザが楽曲の振り付けに合わせて踊っている場合などに、同様の動きをしている他のユーザにかかわるカット画像情報が抽出されるので、ユーザは容易に同様の動きをしている他のユーザのカット画像情報を選択することができ、連続性のある画像編集を容易に楽しむことが可能になる。
【００７４】
さらに、歌唱画像情報にかかわる楽曲を歌唱しているユーザと、カット画像情報にかかわる楽曲を歌唱している他のユーザとユーザの嗜好情報、歌唱履歴の情報等の情報が一致するので、ユーザは同じ嗜好を持つ他のユーザからカット画像情報を選択することができ、関連性のある画像編集を容易に楽しむことが可能になる。
【００７５】
さらに、本願の図８に記載されているように、楽曲を歌唱しているユーザに関する関連情報に基づいて、動画同士のつなぎが自然になるように、先の歌唱画像情報に関連するカット画像情報を優先的に抽出することが可能になる。
【００７６】
さらに、ユーザがカラオケで歌唱した歌唱画像情報に関する動画特定情報とは一致しないカット画像情報を、一致しない程度に応じて区別し、その区別毎にそのカット画像情報を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。
【００７７】
すなわち、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【図面の簡単な説明】
【００７８】
【図１】本実施形態におけるシステム構成の一例を示す図である。
【図２】本実施形態におけるカラオケ装置のブロック図の一例である。
【図３】本実施形態におけるカラオケ装置の機能ブロック図の一例である。
【図４】本実施形態における動作を説明するフローチャートの一例である。
【図５】本実施形態における動作を説明するフローチャートの一例である。
【図６】本実施形態における動作を説明するフローチャートの一例である。
【図７】本実施形態における動作を説明するフローチャートの一例である。
【図８】（ａ）、（ｂ）、（ｃ）、（ｄ）本実施形態における表示画面の一例である。
【図９】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）本実施形態におけるデータテーブルの一例である。
【図１０】本実施形態におけるデータテーブルの一例である。
【図１１】本発明の第２実施形態におけるシステム構成の一例を示す図である。
【図１２】本発明の第２実施形態におけるカラオケ装置の機能ブロック図の一例である。
【図１３】本発明の第２実施形態における動作を説明するフローチャートの一例である。
【図１４】本発明の第２実施形態における表示部に表示される画像の一例である。
【発明を実施するための形態】
【００７９】
以下、本発明の最良の実施形態を図面に基づいて説明する。なお、本発明は、有線または無線による電子通信回線を通じて情報をダウンロードできる全ての電子情報機器に対して適用することも可能である。
【００８０】
［１．システム構成の一例］
図１は、本発明が好適に適用されるカラオケシステム１０を説明するブロック図である。この図１に示すように、カラオケシステム１０では、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ本発明の一実施例である１台乃至は複数台ずつ（図１では１台ずつ）のカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。
【００８１】
これら複数のカラオケ装置１６は、ルータ１７を介して公衆電話回線等による通信回線１８に接続されており、同じくその通信回線１８に接続されたカラオケサービス提供会社のサーバ装置（センタ装置）２０との相互間でその通信回線１８を介して情報の通信が可能になっている。
【００８２】
このカラオケサービス提供会社のサーバ装置２０は、カラオケ情報（楽曲データ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理の基本的な制御を行うサーバであり、通信回線１８を介してカラオケ装置１６に定期的にコンテンツの配信を行うと共に、そのカラオケ装置１６からの要求に応じて所定の機能制御プログラムを送信するものである。
【００８３】
また、カラオケシステム１０は、複数の電子装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子装置２２と称する）を備えており、カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台ずつの電子装置２２が貸与され、各個室１４において後述するようにカラオケ装置１６の遠隔操作装置として用いられるようになっている。
【００８４】
店舗１２内には複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、電子装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。
【００８５】
また、カラオケシステム１０は、所定のアプリがインストールされることによりカラオケ装置１６の遠隔操作装置等として機能する複数の携帯電話機２８ａ、２８ｂ、２８ｃ、・・・（以下、特に区別しない場合には単に携帯電話機２８と称する）を備えている。これら携帯電話機２８は、例えば、前記カラオケ装置１６によりカラオケ演奏を行う各利用者の個人所有に係るものである。
【００８６】
図２は、本実施例のカラオケ装置１６の構成を例示するブロック線図である。
【００８７】
この図２に示すように、カラオケ装置１６は、ＣＲＴ（Cathode-ray Tube）やＴＦＴ（Thin Film Transistor Liquid Crystal）等の映像表示装置３０と、ＣＲＴコントローラ等の映像出力制御部３２と、映像情報デコーダ３４と、ビデオミキサ３６と、音源であるシンセサイザ３８と、音声入力装置であるマイクロフォン４０と、アンプミキサ４２と、スピーカ４４と、操作パネル４６と、その操作パネル４６等からの入力信号を処理する入出力インターフェース４８と、中央演算処理装置であるＣＰＵ５０と、読出専用メモリであるＲＯＭ５２と、随時書込読出メモリであるＲＡＭ５４と、記憶装置であるハードディスク５６と、モデム５８と、ＬＡＮポート６０と、電子装置２２やリモコン装置６４等の入力装置からのリモコン信号を受信するためのリモコン受信部６２とを、備えて構成されている。
【００８８】
映像出力制御部３２は、ＣＰＵ５０において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置として機能する他に、映像表示装置３０による種々の映像表示を制御する表示制御装置として機能する。
【００８９】
また、映像情報デコーダ３４は、利用者が歌詞を参照しながら歌を歌う際にハードディスク５６に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。このような背景映像情報に基づいて映像情報デコーダ３４により再生された背景映像は、ビデオミキサ３６へ送られる。
【００９０】
また、ビデオミキサ３６は、ＣＰＵ５０において生成され且つ映像出力制御部３２から出力される文字映像と、映像情報デコーダ３４により再生される背景映像とを合成して前記映像表示装置３０に表示させる映像合成装置である。
【００９１】
シンセサイザ３８は、ハードディスク５６から読み出されて転送されるカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。
【００９２】
この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいてシンセサイザ３８により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ４２へ送られる。そのアンプミキサ４２では、送られてきた音楽信号と前記マイクロフォン４０を介して入力される利用者の歌声とがミキシングされ、それらの信号が電気的に増幅されてスピーカ４４から出力される。
【００９３】
操作パネル４６は、カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。
【００９４】
また、カラオケ装置１６には、操作パネル４６の一部機能を遠隔で実行するための入力装置として機能するリモコン装置６４が備えられている。リモコン受信部６２は、そのリモコン装置６４から送信されるリモコン信号を受信してＣＰＵ５０へ供給する。
【００９５】
また、カラオケ装置１６と電子装置２２との対応付け処理もリモコン受信部６２を介して行われ、そのようにしてカラオケ装置１６に対応付けられた電子装置２２も同様に入力装置として機能する。
【００９６】
また、前述のように、カラオケ装置１６に対する情報送信機能を有する携帯電話機２８も同様に入力装置として機能する。なお、本実施例においては、カラオケ装置１６の入力装置として機能する電子装置２２、携帯電話機２８、及びリモコン装置６４等は、そのカラオケ装置１６の一部として備えられたものとして以下の説明を行う。
【００９７】
ＣＰＵ５０は、ＲＡＭ５４の一時記憶機能を利用しつつＲＯＭ５２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。
【００９８】
電子装置２２やリモコン装置６４等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲をＲＡＭ５４に設けられた予約曲テーブルに登録する。
【００９９】
また、その予約曲テーブルの演奏順に従ってハードディスク５６からＲＡＭ５４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出し、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ５４からシンセサイザ３８へ演奏情報を送信し、歌詞情報に基づいて歌詞文字映像を生成して映像出力制御部３２へ送り、選曲時には曲名文字映像を生成して映像出力制御部３２へ送り、映像情報デコーダ３４を制御して所定の背景映像を再生させる。
【０１００】
カラオケ演奏が行われていない間、すなわち曲間においては、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させ、通信回線１８を介したサーバ装置２０との間の情報通信制御等の基本的な制御に加えて、後述するカラオケのメドレーの自動作成を実行する。
【０１０１】
モデム５８は、カラオケ装置１６を公衆電話回線等による通信回線１８に接続するための装置である。
【０１０２】
ＣＰＵ５０から出力されるディジタル信号をアナログ信号に変換して通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換してＣＰＵ５０に供給する処理を実行する。
【０１０３】
なお、店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６がルータ１７の機能を備えてマスターコマンダとして通信回線１８に接続されてもよい。
【０１０４】
この場合、モデム５８はそのマスターコマンダとして機能するカラオケ装置１６に必要とされるが、マスターコマンダを介してサーバ装置２０との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。
【０１０５】
ＬＡＮポート６０は、カラオケ装置１６がＬＡＮ２４を介して他のカラオケ装置１６や電子装置２２等の他の機器と接続するための接続器である。
【０１０６】
カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子装置２２等の他の機器との間で情報の送受信が可能となる。
【０１０７】
例えば、アクセスポイント２６を介して受信される電子早見本装置２２からの選曲入力を受け付けてＲＡＭ５４に設けられた予約曲テーブルに記憶し、そのアクセスポイント２６を介してカラオケ装置１６から電子装置２２へ所定の情報を送信するなど、電波を介してカラオケ装置１６と電子装置２２との間において相互の情報のやりとりが実行される。
【０１０８】
ハードディスク５６には、カラオケ演奏曲を出力させるための多数のカラオケデータ（楽曲データ）を記憶するカラオケデータベース１２８及び背景映像を出力させるための複数の背景映像情報（映像データ）を記憶する背景映像データベース１３０をはじめとする各種データベースが設けられている。
【０１０９】
カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６（例えばカラオケ装置１６ａ）は、モデム５８を介して通信回線１８に接続されており、複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、或いは常に新しい背景映像が出力可能とされるように、随時新たな楽曲データや映像データ等がサーバ装置２０から通信回線１８を介して配信され、ハードディスク５６のカラオケデータベース１２８等に記憶される。
【０１１０】
また、そのようにしてサーバ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間でＬＡＮ２４を介した通信が行われ、各カラオケ装置１６のハードディスク５６に記憶される情報が共有され、カラオケデータベース１２８や背景映像データベース１３０等の内容が同一のものとなる。
【０１１１】
カラオケデータベース１２８には、カラオケ装置１６のカラオケ演奏に用いられる多数（例えば、数万曲）のカラオケ情報が記憶されている。このカラオケ情報は、例えば、シンセサイザ３８により所定の出力音（楽器の演奏音）を生成するための演奏情報、その演奏曲の出力と併行してその演奏曲の歌詞文字映像を表示させるための歌詞情報、演奏曲の出力と併行してその歌詞文字映像を順次色替表示させるための歌詞色替情報、及びその歌詞文字映像の背面側レイヤに表示される背景映像を指定する背景映像指定情報等から成るものであり、コンテンツＩＤである各演奏曲に固有の選曲番号により識別される。
【０１１２】
また、背景映像データベース１３０には、映像情報デコーダ３４により所定の映像を再生するための複数の背景映像情報が記憶されている。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、各映像情報に固有の識別情報により識別される。
【０１１３】
［２．カラオケ装置の処理機能ブロックの説明］
ここで、本発明の機能を発揮するための構成について、図３に示す機能ブロック図を用いて説明する。
【０１１４】
カラオケ装置１６等の記憶部１０９は、演奏曲に対応する演奏曲（楽曲データ）情報、ユーザ情報に対応する楽曲データ情報、楽曲データ情報の楽曲データ付加情報（曲名、歌手名、作曲・作詞者名、楽曲データが使用された番組名、ジャンル名、発表年代／放送年代等の情報（図９（ｃ）参照））、楽曲データが使用された番組名に関する画像情報および、その他の付加情報（図９、１０参照）等を含ませて記憶する。
【０１１５】
これらの情報はカラオケ情報提供サービス会社等の会社がサーバ装置２０にアップロードするので、カラオケ装置１６はアップロードされた情報を予めカラオケ装置１６の記憶部１０９にダウンロードして記憶しておく。
【０１１６】
なお、これらの情報はサーバ装置２０に記憶され、必要な場合に必要な情報を、適宜、サーバ装置２０からカラオケ装置１６の記憶部１０９にダウンロードしてカラオケ装置１６がダウンロードした情報を使用することも可能である。
【０１１７】
カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）するとユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報から楽曲データ付加情報が楽曲データ付加情報抽出部１０１によって抽出される。
【０１１８】
なお、楽曲データ付加情報抽出部１０１は、ユーザ情報入力部４６ａに入力されたユーザ情報が正規の会員として登録されたものでない場合には、以降の処理を継続せずに中断、もしくは、エラーメッセージを映像表示装置３０に表示して次のユーザ情報の入力を待機することも可能である。
【０１１９】
カット情報抽出部１０２は、楽曲データ付加情報に含まれる番組情報を抽出し、番組情報に含まれる少なくとも一つ以上の静止画情報または動画画情報（カット画像情報）に対応し、その静止画情報を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報、カット内で主となる人物名、カット内で主となる人物の性別等であって、番組情報に対応される情報）を抽出する。
【０１２０】
動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。
【０１２１】
入力された音声情報の内容を示すセリフの抽出には、従来から知られている音声認識手段を使用してもよい。
【０１２２】
カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１２３】
また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１２４】
ここで、抽出されるカット画像情報は一つに限られず、動画特定情報に一致する動画検索用情報を有するカット情報に対応する複数のカット画像情報が抽出され得る。
【０１２５】
映像表示装置等の表示部３０には、カット画像情報抽出部１０４によって抽出されたカット画像情報が表示される。
【０１２６】
ユーザは、表示部３０に表示された少なくもと一つ以上のカット画像情報からユーザ好みのカット画像情報を、操作パネル４６等の入力部４６ｂを介して選択する。
【０１２７】
選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力されると、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択し、合成部１０６へ送る。
【０１２８】
合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。
【０１２９】
合成されたカット画像情報にはユーザの音声情報が合成されているので、この合成情報が再生されるとユーザ好みの画像においてユーザの音声が視聴可能になる。
【０１３０】
カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報を関連付ける（一例として、関連付けはユーザの選択順に行うことができる）。
【０１３１】
カット画像情報関連付部１０７によって関連づけられたカット画像情報を連続して再生すると、ユーザの音声で吹き替えられた動画が視聴可能になる（図８（ｄ）参照）。
【０１３２】
動画データ付加情報抽出部１０８は、ユーザが選択したカット画像情報の履歴を示す動画選択履歴情報に含まれる、ユーザ情報に対応する動画データ付加情報を抽出する。
【０１３３】
動画選択履歴情報は、ユーザが動画を過去に閲覧し選択した履歴情報であり、ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）が含まれる。
【０１３４】
このように本発明によれば、ユーザが豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声（ユーザの音声）をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽にパロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。
【０１３５】
［３．処理動作を示すフローチャートの一例］
次に、図４乃至図７を用いて、本願のカラオケ装置１６において、ユーザが、豊富に用意された動画素材の中からユーザの音声および好みに合致したシーンを選択・編集し、オリジナルの音声をアフレコ(吹込み)して、ミックスダウン(映像音声合体)を行うしくみの動作概要を説明する。
【０１３６】
なお、カラオケ装置１６に限られず、図４乃至図７に記載される機能をサーバ装置２０において実行することも可能である。この場合には、サーバ装置２０を介してネットワークサービスに発表することで、ユーザの誰でもが、気軽にパロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。
【０１３７】
また、本発明を適用した場合において実現され得る具体的な処理手順である以下に示す処理手順は、一例であってこれ以外にも実現され得る処理手順は無数に存在する。
【０１３８】
まず、図４のステップＳ１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）する。
【０１３９】
なお、ステップＳ１、Ｓ９、Ｓ１５およびＳ２２における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置はステップＳ２以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。
【０１４０】
ステップＳ２において、カラオケ装置１６はユーザＩＤを取得し、ユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報を取得する。
【０１４１】
なお、ステップＳ２以降におけるカラオケ装置１６の動作をサーバ装置２０等の情報処理装置で実行することも可能である。
【０１４２】
ステップＳ３において、カラオケ装置１６の楽曲データ付加情報抽出部１０１は、
ユーザＩＤと対応された、ユーザの歌唱履歴（演奏曲（楽曲））およびその楽曲データ付加情報を抽出する。
【０１４３】
ステップＳ４において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組情報を抽出できるか否かを判断する。
【０１４４】
楽曲データ付加情報に番組情報が含まれる場合（ステップＳ４：ＹＥＳ）にはステップＳ５に進み、楽曲データ付加情報に番組情報が含まれない場合（ステップＳ４：ＮＯ）にはステップＳ６に進む。
【０１４５】
ステップＳ５において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組名、ジャンル、発表年代、登場人物等の番組情報を抽出する。
【０１４６】
ステップＳ６において、カラオケ装置１６の動画データ付加情報抽出部１０８は、ユーザが動画閲覧または動画検索をして、画像情報を選択したか否かを判断する。画像情報を選択したか否かはユーザ情報に対応する動画選択履歴情報を検索することによって判断することが可能になる。ユーザが動画閲覧または動画検索をして、画像情報を選択した場合（ステップＳ６：ＹＥＳ）にはステップＳ７に進み、ユーザが動画閲覧または動画検索をせず、または画像情報を選択していない場合（ステップＳ６：ＮＯ）にはステップＳ１０に進む。
【０１４７】
ステップＳ７において、カラオケ装置１６の動画データ付加情報抽出部１０８は、動画データ付加情報を読み込む（抽出する）。
【０１４８】
ステップＳ８において、動画データ付加情報抽出部１０８は、読み込んだ（抽出した）ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）を取得する。
【０１４９】
ステップＳ９において、ユーザはアフレコ（吹込み）しようとするセリフをユーザ音声情報入力部４０に入力する。
【０１５０】
ステップＳ１０において、動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。
【０１５１】
ステップＳ１１において、ユーザのセリフ発音が一回目の場合（ステップＳ１１：ＹＥＳ）にはステップＳ１４に進み、ユーザのセリフ発音が一回目でない場合（ステップＳ１１：ＮＯ）にはステップＳ１２に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。
【０１５２】
ステップＳ１２において、動画選択履歴情報から直前に選択された動画データ付加情報が読み込まれる。
【０１５３】
ステップＳ１３において、動画データ付加情報からカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである。）カット画像情報を抽出する。
【０１５４】
ステップＳ１４において、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１５５】
また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１５６】
これらのカット画像情報（静止画情報または動画情報）は表示部３０に表示される。
【０１５７】
ステップＳ１５において、ユーザは表示部３０に表示されたカット画像情報から操作パネル４６等の入力インターフェースを介してユーザのお好みのカット画像情報を選択する。
【０１５８】
ステップＳ１６において、選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力され、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択する。
【０１５９】
ステップＳ１７において、ユーザのカット画像情報の選択履歴が動画選択履歴に追加される。
【０１６０】
ステップＳ１８において、合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。
【０１６１】
ステップＳ１９において、直前に合成された（繋がるべき）カット画像情報があるか否かが判断される。直前に合成された動画がある場合には（ステップＳ１９：ＹＥＳ）にはステップＳ２０に進み、直前に合成された動画がない場合には（ステップＳ１９：ＮＯ）にはステップＳ２１に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。
【０１６２】
ステップＳ２０において、カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報と直前に選択されたカット画像情報とを関連付ける（アフレコ動画を作成する）（一例として関連付けは選択順に行うことができる）。
【０１６３】
ステップＳ２１において、ユーザの次のセリフを動画特定情報抽出部１０３が検出した場合には（ステップＳ２１：ＹＥＳ）にはステップＳ１０に進み、ユーザの次のセリフを動画特定情報抽出部１０３が検出しない場合には（ステップＳ２１：ＮＯ）には処理を終了する。
【０１６４】
ステップＳ２２において、ユーザの次のセリフが検出された場合には（ステップＳ２２：ＹＥＳ）にはステップＳ９に進み、ユーザの次のセリフが検出されない場合には（ステップＳ２２：ＮＯ）には処理を終了する。
【０１６５】
次に、図６および図７を用いて、ユーザとの関連性の低い（意外性のある）動画を合成する手順を説明する。
【０１６６】
まず、図６のステップＳ３１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）する。
【０１６７】
なお、ステップＳ３１、Ｓ４１、Ｓ４８およびＳ５５における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置は、ステップＳ３２以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。
【０１６８】
ステップＳ３２において、カラオケ装置１６はユーザＩＤを取得し、ユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報を取得する。なお、ステップＳ３２以降におけるカラオケ装置１６の動作をサーバ装置２０等の情報処理装置で実行することも可能である。
【０１６９】
ステップＳ３３において、カラオケ装置１６はユーザＩＤと対応する、ユーザの歌唱履歴、その楽曲データ付加情報、動画選択履歴中の動画データ付加情報を抽出する。
【０１７０】
ステップＳ３４において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組名、ジャンル、発表年代、登場人物等の番組情報を抽出する。また、動画データ付加情報抽出部１０８は、読み込んだ（抽出した）ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）を取得する。
【０１７１】
ステップＳ３５において、カット画像情報抽出部１０４は、楽曲データ付加情報および動画データ付加情報に含まれるジャンル情報および年代情報（年代情報には、発表年代／放送年代、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）が含まれる）と、ハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された動画を構成するカット画像情報のジャンル情報および年代情報を比較する。
【０１７２】
ステップＳ３６において、ユーザ情報に対応する楽曲データ付加情報または動画データ付加情報に含まれるジャンル情報および年代情報が、動画を構成するカット画像情報のジャンル情報および年代情報と合致している場合には、関連性が大きいと判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が大きいことを示す情報が関連付けされる。
【０１７３】
ステップＳ３７において、ユーザ情報に対応する付加情報のジャンル情報が動画を構成するカット画像情報のジャンル情報と合致しており、年代情報が動画を構成するカット画像情報の年代情報と合致していない場合には、関連性が中程度であると判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が中程度であることを示す情報が関連付けされる。
【０１７４】
ステップＳ３８において、ユーザ情報に対応する付加情報の年代情報が動画を構成するカット画像情報のジャンル情報と合致しており、ジャンル情報が動画を構成するカット画像情報の年代情報と合致していない場合には、関連性が中程度であると判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が中程度であることを示す情報が関連付けされる。
【０１７５】
ステップＳ３９において、ユーザ情報に対応する楽曲データ付加情報または動画データ付加情報に含まれるジャンル情報および年代情報が、動画を構成するカット画像情報のジャンル情報および年代情報と合致しない場合には、関連性が小さい判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が小さいことを示す情報が関連付けされる。
【０１７６】
ステップＳ４０において、カット画像情報抽出部１０４は、ステップＳ３６乃至ステップＳ３９においてカット画像情報に関連付けされた関連性の大小に基づいて、カット画像情報を区別して抽出する。
【０１７７】
ステップＳ４１において、ユーザはアフレコ（吹込み）しようとするセリフをユーザ音声情報入力部４０に入力する。
【０１７８】
ステップＳ４２において、動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。
【０１７９】
ステップＳ４３において、ユーザのセリフ発音が一回目の場合（ステップＳ４３：ＹＥＳ）にはステップＳ４６に進み、ユーザのセリフ発音が一回目でない場合（ステップＳ４３：ＮＯ）にはステップＳ４４に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。
【０１８０】
ステップＳ４４において、動画選択履歴情報から直前に選択された動画データ付加情報が読み込まれる。
【０１８１】
ステップＳ４５において、動画データ付加情報からカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである。）カット画像情報を抽出する。
【０１８２】
ステップＳ４６において、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１８３】
また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１８４】
これらのカット画像情報（静止画情報または動画情報）は表示部３０で、ステップＳ３６乃至ステップＳ３９においてカット画像情報に関連付けされた関連性の大小に基づいて、カット画像情報が区別されて抽出される。
【０１８５】
ステップＳ４７において、カット画像情報に関連付けされた関連性の大小に基づいて区別して、表示部３０はカット画像情報を表示する（図８（ｂ）参照）。
【０１８６】
ステップＳ４８において、ユーザは表示部３０に表示されたカット画像情報から操作パネル４６等の入力インターフェースを介してユーザのお好みのカット画像情報を選択する。
【０１８７】
ステップＳ４９において、選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力され、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択する。
【０１８８】
ステップＳ５０において、ユーザのカット画像情報の選択履歴が動画選択履歴に追加される。
【０１８９】
ステップＳ５１において、合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。
【０１９０】
ステップＳ５２において、直前に合成されたカット画像情報が繋がった動画があるか否かが判断される。直前に合成された動画がある場合には（ステップＳ５２：ＹＥＳ）にはステップＳ５３に進み、直前に合成された動画がない場合には（ステップＳ５２：ＮＯ）にはステップＳ５４に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。
【０１９１】
ステップＳ５３において、カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報と直前に選択されたカット画像情報とを関連付ける（アフレコ動画を作成する）（一例として関連付けは選択順に行うことができる）。
【０１９２】
ステップＳ５３において、ユーザの次のセリフを動画特定情報抽出部１０３が検出した場合には（ステップＳ５３：ＹＥＳ）にはステップＳ４２に進み、ユーザの次のセリフを動画特定情報抽出部１０３が検出しない場合には（ステップＳ５３：ＮＯ）には処理を終了する。
【０１９３】
ステップＳ５５において、ユーザの次のセリフが検出された場合には（ステップＳ５５：ＹＥＳ）にはステップＳ４１に進み、ユーザの次のセリフが検出されない場合には（ステップＳ５５：ＮＯ）には処理を終了する。
【０１９４】
以上説明したように、ユーザが、豊富に用意された動画素材の中からユーザの音声および好みに合致したシーンを選択・編集し、オリジナルの音声をアフレコ(吹込み)して、ミックスダウン(映像音声合体)を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することが可能になる。
【０１９５】
［４．映像表示装置３０等に表示される画面の一例］
次に、映像表示装置３０等に表示される画面の一例を図８に示す。
【０１９６】
図８（ａ）は、ユーザであるＡさんがカラオケ装置１６にユーザ情報を入力してログインした場合に、映像表示装置３０に表示される本発明のアフレコ動画検索画面のトップページの一例である。
【０１９７】
図８（ａ）の右下には、“音声収録をスタートする場合にはここをクリック！！”等の図４乃至図７に記載されたフローチャートの実行を開始するか否かをユーザに判断させるメッセージが表示される。このメッセージをユーザがユーザインターフェースを介して選択すると図８（ｂ）の画面が表示される。
【０１９８】
図８（ｂ）では、ユーザ情報と関連性が大きいカット画像情報（映像１、映像１００等）が他のカット画像情報とは区別されて図８（ｂ）に向かって左側の画面の側面に表示され、ユーザ情報と関連性が中程度のカット画像情報（映像３２、映像２１１等）が他のカット画像情報とは区別されて図８（ｂ）に向かって画面の中央の列に表示され、ユーザ情報と関連性が小さいカット画像情報（映像１２４、映像１５０等）が他のカット画像情報とは区別されて図８（ｂ）に向かって右側の画面の側面に表示されている。
【０１９９】
また、ユーザ情報と関連性が大きいカット画像情報（映像１、映像１００等）の見出しには、ユーザ情報によって特定される“Ａ子さん”等の名前と、ユーザと関連性が大きいことを示す“ピッタリの動画です”等の文字情報が表示される。また、ユーザ情報と関連性が中程度であるカット画像情報（映像３２、映像２１１等）の見出しには、“こんな動画も面白いのでは”等のユーザと関連性が中程度であることを示唆する文字情報が表示され、ユーザ情報と関連性が小さいカット画像情報（映像１２４、映像１５０等）の見出しには、“いままで見たことが無いような動画です、意外な発見があるかもしれません”等のユーザと関連性が小さいことを示す文字情報が表示される。
【０２００】
図８（ｂ）においてユーザが所望するカット画像情報（映像１５０）を選択すると、図８（ｃ）が表示される。
【０２０１】
図８（ｃ）では、選択されたカット画像情報と入力されたユーザの音声情報との合成が実行中であることを示す情報が表示され、図８（ｃ）の右下には、アフレコ動画を作成するための音声収録を終了するか、次のカット画像情報を作成するための音声収録を開始するか否かをユーザに判断してもらうためのメッセージが表示される。
【０２０２】
次のカット画像情報を作成するための音声収録を開始するメッセージがユーザによって選択された場合には、再び図８（ａ）の表示画面に戻り、アフレコ動画を作成するための音声収録を終了するメッセージがユーザによって選択された場合には、図８（ｄ）の表示画面が表示される。
【０２０３】
図８（ｄ）では、図８（ａ）乃至図８（ｃ）の作業を通して作成されたアフレコ動画（カット画像情報にユーザの音声情報が合成された情報の繋がり）をプレビューするか否かをユーザに判断してもらうためのメッセージが表示される。
【０２０４】
図８（ｄ）のプレビューメッセージをユーザが選択すると、アフレコ動画の再生が始まり、動画閲覧メッセージをユーザが選択すると、他のアフレコ動画等の動画をユーザが閲覧することが可能になり、そこでユーザが動画の画像を選択すると動画選択履歴に選択された画像の情報がユーザ情報に関連付けされて記録される。
【０２０５】
［５．データテーブルの一例］
次に、本実施形態に使用されるデータテーブルの一例を図９および図１０に示す。
【０２０６】
なお、これらのデータテーブルはハードディスク５６の記憶部１０９またはサーバ装置２０の記憶部（図示せず）に記憶され、カラオケ装置１６のＣＰＵ５０またはカラオケ装置１６のＣＰＵ５０の機能を実行可能であるサーバ装置２０のＣＰＵ（図示せず）が、その機能を実行する場合に参照する。
【０２０７】
図９（ａ）はユーザの歌唱履歴を示すデータテーブルの一例である。ユーザ名はユーザＩＤ等のユーザ情報によって特定される。選曲した楽曲の欄には、ユーザが過去にカラオケ装置１６で歌唱した楽曲の曲名とその楽曲の選曲番号が記載されている。
【０２０８】
例えば、３番目に選曲した曲名が「森のくまさん」の場合には、選曲番号「２３４５６７」とともにユーザ情報に対応付けられて記憶されている。
【０２０９】
ここで、図９（ａ）のデータテーブルの一例の項目に「うた年齢」という欄がある。この「うた年齢」とは、ユーザの歌の好みの傾向が何歳くらいなのかを、歌唱された楽曲のデータを元に計算した数値であって、ユーザの歌唱曲履歴から算出される（カラオケ情報提供サービス会社が提供するサービスの一つである）。若年層に歌われている曲を歌えば、『うた年齢』は若くなり、年配層に歌われている曲を歌えば、『うた年齢』は高くなるものである。
【０２１０】
例えば、「うた年齢」に基づいて、カット画像情報を抽出することも可能である。一例として、楽曲の番組情報のジャンル情報に含まれている「ＴＶドラマ・青春」という情報の「青春」に対応する、「うた年齢」が１２才以上２５才以下と予め決定されていれば、ユーザ情報に対応するカット画像情報の候補を抽出することが可能になる。
【０２１１】
図９（ｂ）はユーザの動画選択履歴情報（本発明によるユーザ音声とカット画像情報が合成されたアフレコ動画の視聴選択を含む）を示すデータテーブルの一例である。動画選択履歴情報には、動画データ付加情報および動画データ付加情報に含まれるカット情報が含まれる。
【０２１２】
ユーザ名はユーザＩＤ等のユーザ情報によって特定される。選択した動画情報の欄には静止画像である動画ＩＤが映像番号として記述されている。
【０２１３】
各映像番号には、ユーザの音声情報である「セリフ」情報、「音量」情報、「音程」情報が対応して記述されている。
【０２１４】
従って、ユーザの動画選択履歴を抽出することで、ユーザ好みのカット画像情報の候補を抽出でき、カット情報に含まれるユーザの音声情報と合成処理を実行するために入力されたユーザの音声情報とを比較（合致するか否かの判断）をすることが可能となる。
【０２１５】
次に、図９（ｃ）のカラオケ楽曲データの付加情報（楽曲データ付加情報）について説明する。
【０２１６】
カラオケ楽曲データの付加情報には楽曲の基本情報と番組情報が含まれる。
【０２１７】
楽曲の基本情報には、カラオケ楽曲データの選曲番号に対応して、曲名、歌手名、作詞・作曲者名の情報が記述されている。
【０２１８】
番組情報には、カラオケ楽曲が使用されている番組名、ジャンル、発表年代（放送年代）、主に話題となった人物等が記述されている。
【０２１９】
なお、番組情報には、カラオケ楽曲がテレビ番組（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、CM、映画等で使用されていない場合には記述される内容が無い。
【０２２０】
従って、楽曲データ付加情報を抽出すれば、その楽曲データ付加情報に含まれる番組情報から、その番組で使用されるカット画像情報（動画の候補となる一枚の静止画像または動画情報）を抽出することが可能になる。
【０２２１】
次に、図９（ｄ）に記載のユーザ音声を特徴付けるパラメータの一つである音量情報について説明する。
【０２２２】
音量情報は、一例としてユーザ音声の大きさをデシベル（ｄｂ）の大きさで区分する。例えば、ユーザ音声が予め定められたデシベル値よりも小さい場合には音量を小さいと区分して音量コードを「１」で示し、ユーザ音声が予め定められた二つのデシベルで表した閾値の間である場合には音量を標準と区分して音量コードを「２」で示し、ユーザ音声が予め定められたデシベル値よりも大きい場合には音量を大きいと区分して音量コードを「３」で示す。
【０２２３】
このように区分された音量情報の音量コードを比較することによって、合致する音量情報に対応するカット画像（例えば、図９（ｂ）参照）を抽出することが可能になる。
【０２２４】
次に、図９（ｅ）に記載のユーザ音声を特徴付けるパラメータの一つである音程情報について説明する。
【０２２５】
音程情報は、一例としてユーザ音声の音程を周波数（Ｈｚ）の大きさで区分する。例えば、ユーザ音声が予め定められた周波数値よりも小さい場合には音程が低いと区分して音程コードを「１」で示し、ユーザ音声が予め定められた二つの周波数で表した閾値の間である場合には音程を標準と区分して音程コードを「２」で示し、ユーザ音声が予め定められた周波数値よりも大きい場合には音程が高いと区分して音程コードを「３」で示す。
【０２２６】
このように区分された音程コードを比較することによって、合致する音程情報に対応するカット画像（例えば、図９（ｂ）参照）を抽出することが可能になる。
次に、図１０の動画素材データの付加情報（動画データ付加情報）について説明する。
【０２２７】
動画素材データの付加情報には動画の基本情報と、カットの情報（カット情報）に含まれる動画検索用情報と動画連結用の情報（カット画像情報間の関連性を示す情報）が含まれる。
【０２２８】
動画の基本情報には、番組名、ジャンル情報、ジャンル情報に含まれる種別情報、主に話題となった人物、作者／監督、発表年代（放送年代）、が記述されている。
【０２２９】
図１０における動画素材データの付加情報中のジャンル情報およびジャンル情報に含まれる種別情報は、図９（ｃ）の楽曲データ付加情報のジャンル情報に対応する。
【０２３０】
カットの情報（カット情報）に含まれる動画検索用情報には、ユーザの音声情報である「セリフ」情報、「音量」情報、「音程」情報、カット内で主となる人物名、カット内で主となる人物の性別が対応して記述されている。
【０２３１】
従って、動画検索用情報と、ユーザ音声情報から抽出された動画特定情報（カット情報に含まれる）とを比較することで、カット画像情報を抽出することが可能になる。
【０２３２】
カットの情報（カット情報）に含まれる動画連結用の情報には、カット画像情報の画面内に登場する人数、話者のアングル、カット画像情報の場面描写タグが記述されている。
【０２３３】
従って、動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである）カット画像情報を抽出することが可能になる。
以上、述べてきたデータテーブルの一例によってカット画像（動画ＩＤによって示される映像番号）を各種の付加情報から抽出することが可能になる。
【０２３４】
また、付加情報に含まれる情報において一致する情報の数を全体の情報の個数で除算したものを一致割合として、一致割合ごとに区分してカット画像情報を表示することも可能である。
【０２３５】
入力されたユーザＩＤ情報はユーザが持つ識別（ＩＤ：Identification）情報と関連づけされているので、ネットワークに接続されている電子機器であればユーザの識別情報を入力すれば、いつでもどこでもユーザＩＤ情報によって特定される識別情報に基づいてそのユーザに関連した情報が読み出し可能になる。
【０２３６】
なお、図４乃至図７における動作手順を、ハードディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。
【０２３７】
また各電子情報機器間の情報の送受信は有線、無線に限定されず、いずれの方法においても情報の送受信を行うことができる。
【０２３８】
＜実施形態２＞
本発明の実施形態２について以下に説明する。
【０２３９】
本発明の実施形態２はカラオケシステムにおいて従来は動画編集が困難であったことに鑑みて為されたもので、その目的の一例は、あらかじめ用意されている映像素材の中から、ユーザの歌唱画像情報、ユーザの音声情報（テンポ情報、音程情報、声の抑揚、入力音圧レベル等）、楽曲情報（楽曲名称情報、歌詞情報等）およびユーザ情報に対応する関連情報（ユーザの歌唱履歴情報、嗜好情報（好みのジャンル、アーティスト等の情報））の少なくとも一つに基づいて、ユーザの好みに応じた最適なアフレコ素材を検索し、検索されたアフレコ素材の中からユーザが動画を選択することによって、機械に詳しくないユーザでも視覚的に映像編集を容易に行えるカラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラムを提供することにある。
【０２４０】
［６．システム構成の一例］
図１１は、本発明が好適に適用されるカラオケシステム１０を説明するブロック図である。この図１１に示すように、カラオケシステム１０では、通信回線１８を介して複数のカラオケ装置１６が相互に接続されており、図１１では一例として二台のカラオケ装置１６ａおよびカラオケ装置１６ｂが通信回線１８を介して相互に接続されている。
【０２４１】
例えば、カラオケ装置１６ａを使用してユーザが楽曲を歌唱し、ユーザが楽曲を歌唱している姿が撮影された歌唱画像情報がデジタルカメラ等を含むユーザ歌唱情報入力部７０を介してカラオケサービス提供会社のサーバ装置２０に送信され、ユーザが楽曲を歌唱しているユーザ音声情報がマイク等を含むユーザ歌唱情報入力部７０を介してカラオケサービス提供会社のサーバ装置２０に送信される。
【０２４２】
歌唱画像情報とユーザ音声情報はカラオケ装置１６ａにおいて関連付けされているので、他のユーザは他のカラオケ装置１６ｂを使用して、サーバ装置２０に送信された関連付された歌唱画像情報とユーザ音声情報を共有して利用することが可能になる。
【０２４３】
また、サーバ装置２０に送信された関連付された歌唱画像情報とユーザ音声情報にユーザ情報が関連付けされているので、ユーザ情報から容易に歌唱画像情報とユーザ音声情報を利用することができる。
【０２４４】
例えば、カラオケシステムへログインするためのユーザ情報に歌唱画像情報とユーザ音声情報が関連付けされることができるので、ユーザ情報から容易に歌唱画像情報とユーザ音声情報を利用することができる。
【０２４５】
［７．実施形態２にかかわるカラオケ装置の処理機能ブロックの説明］
ここで、本発明の実施形態２にかかわる機能を発揮するための構成について、図１２に示す機能ブロック図を用いて説明する。
【０２４６】
なお、図３に示す機能ブロック図と重複する部分はその説明を省略する。
【０２４７】
カラオケ装置１６の記憶部１０９には、ユーザが歌唱する楽曲に関する楽曲情報（楽曲情報には楽曲名称情報、楽曲のテンポ情報、楽曲の音程情報、楽曲の歌詞情報等の情報が含まれる）、ユーザが楽曲を歌唱しているユーザ音声情報（ユーザ音声情報には、動画特定情報抽出手段で抽出されたユーザのテンポ情報、ユーザの音程情報等の情報が含まれる）、ユーザが歌唱している姿が記録されている歌唱画像情報（歌唱画像情報には歌唱しているユーザの動き情報等の情報が含まれる）、歌唱画像情報を特定するための動画特定情報、動画特定情報に関連するカラオケシステムに送信されたカット情報に含まれる動画検索用情報、動画検索用情報に対応するカット画像情報、カット画像情報に関連付けされた関連音声情報またはユーザ音声情報が選択された選択音声情報、選択音声情報とカット画像情報との合成情報、ユーザ情報に関連付けされた関連情報（ユーザの嗜好情報、歌唱履歴の情報等の情報が含まれる）等の情報が記憶されている。
【０２４８】
なお、楽曲情報には楽曲の歌詞情報、アーティスト情報、ジャンル情報およびその他の楽曲付加情報（曲名、作曲・作詞者名、ジャンル名、発表年代／放送年代、主に話題となった人物、楽曲情報が使用された番組名等の情報）が含まれ、ユーザが歌唱した楽曲に関する楽曲情報はユーザ情報に関連付けされた関連情報に含まれる歌唱履歴情報の一部として記憶部１０９に記憶されている。
【０２４９】
これらの情報はカラオケ情報提供サービス会社等の会社がサーバ装置２０にアップロードするので、カラオケ装置１６はアップロードされた情報を予めカラオケ装置１６の記憶部１０９にダウンロードして記憶しておく。
【０２５０】
あるいは、ユーザがこれらの情報をカラオケ装置１６に入力することで、必要に応じて関連付けされて記憶部１０９に記憶されてもよい。
【０２５１】
なお、これらの情報はサーバ装置２０に記憶され、必要な場合に必要な情報を、適宜、サーバ装置２０からカラオケ装置１６の記憶部１０９にダウンロードしてカラオケ装置１６がダウンロードした情報を使用することも可能である。
【０２５２】
楽曲情報入力手段としての楽曲情報入力部４６ｂは、ユーザが歌唱する楽曲に関する楽曲情報が入力される機能を有する。
【０２５３】
楽曲情報入力部４６ｂに入力される楽曲情報は、カラオケ情報提供サービス会社等の会社によって予め定められている任意の数字または／および文字からなる情報、楽曲の名称等の任意の情報である。
【０２５４】
ユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０は、楽曲を歌唱しているユーザの画像を示す歌唱画像情報が入力される機能を有する。
【０２５５】
ユーザの歌唱画像情報は、ユーザ歌唱情報入力部７０に設けられたＡ／Ｄ（アナログ／ディジタル）変換器によってディジタル信号に変換される。
【０２５６】
また、ユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０は、楽曲情報入力部４６ｂによって入力された楽曲情報に対応する楽曲を歌唱するユーザの歌唱音声情報が入力される機能を有する。
【０２５７】
ユーザの音声情報は、ユーザ歌唱情報入力部７０に設けられたＡ／Ｄ（アナログ／ディジタル）変換器によってディジタル信号に変換される。
【０２５８】
ユーザ情報入力手段としてのユーザ情報入力部４６ａはユーザ情報が入力される機能を有する。ユーザ情報は任意の数字または／および文字からなる情報であって、ユーザを特定するための情報である。
【０２５９】
歌唱画像を特定するための動画特定情報抽出手段としての動画特定情報抽出部１０３は、楽曲情報入力部４６ｂから入力された楽曲情報、ユーザ歌唱情報入力部７０から入力されたユーザ音声情報および歌唱画像情報の少なくとも一つから動画特定情報を抽出する機能を有する。
【０２６０】
また、動画特定情報抽出部１０３は、ユーザ歌唱情報入力部７０によって入力された歌唱画像情報を予め定められた長さに分割し、歌唱画像情報が分割された分割歌唱画像情報を生成し、前記分割歌唱画像情報ごとに動画特定情報を抽出する機能を有する。
【０２６１】
すなわち、動画特定情報抽出部１０３は、ユーザが歌唱する歌唱画像情報をＡメロ、Ｂメロ、さび部分等に区分し、あらかじめ決められた小節数で歌唱画像情報を区分し、または、歌詞が連続する部分毎に歌唱画像情報を区分する。
【０２６２】
このように一つの楽曲における歌唱画像情報をいくつかの部分に区分することによって、区分された分割歌唱画像情報をつなぎ合わせて、ユーザにとって楽しみのある動画画像を生成することが可能になる。
【０２６３】
例えば、Ａメロ、Ｂメロ、さび部分毎に異なるユーザの歌唱画像をつなぎ合わせることが可能になるので、ユーザは容易に動画編集をしながらカラオケを楽しく歌唱することが可能になる。
【０２６４】
さらに、Ａメロ、Ｂメロ、さび部分毎に異なるユーザのユーザ音声をつなぎ合わせることが可能になるので、ユーザは動画編集を楽しみながらカラオケを楽しく歌唱することが可能になる。
【０２６５】
また、動画特定情報抽出部１０３は、ユーザ音声情報から少なくともテンポ情報および音程情報を動画特定情報として抽出する機能を有する。
【０２６６】
さらに、動画特定情報抽出部１０３は、楽曲情報から少なくとも楽曲名称情報を動画特定情報として抽出する機能を有する。
【０２６７】
さらに、動画特定情報抽出部１０３は、楽曲情報から少なくとも楽曲歌詞情報を動画特定情報として抽出する機能を有する。
【０２６８】
さらに、動画特定情報抽出部１０３は、歌唱画像情報からユーザの動き情報を動画特定情報として抽出する機能を有する。
【０２６９】
さらに、動画特定情報抽出部１０３は、ユーザ情報入力部４６ａから入力されるユーザ情報に対応する関連情報（ユーザの嗜好情報、歌唱履歴情報等の情報）を動画特定情報として抽出する機能を有する。
【０２７０】
カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、動画特定情報に関連する、カラオケシステムに送信されたカット画像情報に関連付けされた動画検索用情報を検索し、検索された動画検索用情報に関連付けされたカット画像情報を抽出する機能を有する。
【０２７１】
カット画像情報は、あらかじめユーザが楽曲を歌唱した歌唱画像であり、携帯端末電話、携帯端末、あるいはパソコン等の電子情報処理装置でカラオケシステムにカット画像情報に動画検索用情報を関連付けて、あらかじめ送信しておくことができる。
【０２７２】
また、カット画像情報には、現在歌唱しているユーザおよび／または他のユーザが以前にカット画像情報として選択したカット画像情報が含まれる。
【０２７３】
ここで、動画検索用情報には、動画特定情報に含まれる情報と同一種類の情報が含まれる。例えば、動画特定情報にはテンポ情報、音程情報、楽曲名称情報、動き情報、および、ユーザ情報に対応する関連情報に含まれる歌唱履歴情報並びに嗜好情報等の情報が含まれ、これらの情報は動画検索用情報にも含まれる。
【０２７４】
カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくともテンポ情報と音程情報が略同一の動画検索用情報を有するカット画像情報を抽出する機能を有する。
【０２７５】
また、カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくとも楽曲名称情報が同一の動画検索用情報を有するカット画像情報を抽出する機能を有する。
【０２７６】
さらに、カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくとも楽曲歌詞情報が類似する動画検索用情報を有するカット画像情報を抽出する機能を有する。
【０２７７】
表示手段としての表示部３０は、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報を表示する機能を有する。
【０２７８】
また、表示部３０は、カットデータ情報選択部１０５ａによって選択されたカット画像情報を表示、または、カット画像情報および歌唱画像情報を同時に表示する機能を有する。
【０２７９】
すなわち、カット画像情報の中で他人が歌唱している歌唱画像だけを表示、または、自分の歌唱画像と他人の歌唱画像を表示部３０に同時に表示して、表示部３０に表示されている歌唱画像に対応した楽曲、たとえば表示部３０に表示されている歌唱画像で歌唱されている楽曲と同一の楽曲をカラオケ装置１６に伴奏させながら、カラオケを楽しむことができる。
【０２８０】
カットデータ情報選択手段としてのカットデータ情報選択部１０５ａは、表示部３０に表示されたカット画像情報が選択される機能を有する。カットデータ情報選択部１０５ａはタッチパネル、キーボード等の入力部４６ｂを介して入力された情報に基づいてカット画像情報を選択する。ここで、カット画像情報には現在ユーザが歌唱している歌唱画像情報が含まれてもよく、歌唱画像情報が動画特定情報抽出部１０３によって区分されている場合には区分されている歌唱画像情報毎に、カットデータ情報選択部１０５ａによって選択されてもよい。
【０２８１】
また、カットデータ情報選択手段としてのカットデータ情報選択部１０５ａは、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に関連付けられた関連音声情報と、ユーザ歌唱情報入力部７０によって入力されたユーザ音声情報の何れかが、選択音声情報としてユーザによって選択される機能を有する。
【０２８２】
すなわち、ユーザ自身が楽曲を歌唱したユーザ音声情報またはカット画像情報にあらかじめ対応して記録されていた他のユーザの音声情報等の音声情報の何れかをユーザが選択し、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に選択された音声情報を新たに関連付けることができる。
【０２８３】
合成手段としての合成部１０６は、カットデータ情報選択部１０５ａによって選択された選択音声情報とカット画像情報を合成する機能を有する。合成された選択音声情報とカット画像情報とは関連付けられる。
【０２８４】
カット画像情報関連付手段としてのカット画像情報関連付部１０７は、カットデータ情報選択部１０５ａによって選択されたカット画像情報または分割歌唱画像情報をユーザが歌唱した楽曲情報と関連付ける機能を有する。すなわち、ユーザが歌唱した楽曲の楽曲情報に、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けて、記憶部１０９に記憶しておくことができる。
【０２８５】
また、カット画像情報関連付部１０７は歌唱画像情報または分割歌唱画像情報をカット画像情報とし、歌唱画像情報または分割歌唱画像情報から抽出された動画特定情報を動画検索用情報とし、カット画像情報と動画検索用情報とを関連付けてカラオケシステムにアップロードする機能を有する。
【０２８６】
すなわち、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けたカット画像情報をカラオケシステムにアップロードすることによって他のユーザもカラオケシステムを介してカット画像情報を利用できることができる。
【０２８７】
［８．処理動作を示すフローチャートの一例］
次に、図１３を用いて、本願のカラオケ装置１６において、ユーザが、豊富に用意された動画素材の中からユーザの音声、歌唱画像、またはユーザの好みの少なくとも一つに合致したシーンを選択・編集し、機械に詳しくないユーザでも視覚的にミックスダウン(映像音声合体)を行いながらカラオケを楽しむことができる動作の概要を説明する。
【０２８８】
なお、カラオケ装置１６に限られず、図１３に記載される機能をサーバ装置２０において実行することも可能である。この場合には、サーバ装置２０を介してネットワークサービスに発表することで、ユーザの誰でもが、映像と音声が合成された情報を他のユーザに見せ合うことが可能なサービスを提供できる。
【０２８９】
また、本発明を適用した場合において実現され得る具体的な処理手順である以下に示す処理手順は、一例であってこれ以外にも実現され得る処理手順は無数に存在する。
【０２９０】
まず、図１３のステップＳ６１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがユーザＩＤ等のユーザ情報を入力し、ログインする。
【０２９１】
そして、カラオケ装置１６の操作パネル４６等の楽曲情報入力部４６ｃを介して、ユーザが歌唱しようとしている楽曲情報をユーザが入力する。カラオケ装置１６は入力された楽曲情報に対応する楽曲の伴奏を再生する。
【０２９２】
なお、ステップＳ６１、Ｓ６２、Ｓ６５およびＳ６６における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置はステップＳ６３以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。
【０２９３】
ステップＳ６２において、ステップＳ６１において入力された楽曲情報に対応する楽曲の伴奏に合わせて楽曲を歌唱しているユーザの画像情報およびユーザのユーザ音声情報がユーザ歌唱情報入力部７０を介して入力される。
【０２９４】
ステップＳ６３において、動画特定情報抽出部１０３は、楽曲情報入力部４６ｂから入力された楽曲情報、ユーザ歌唱情報入力部７０から入力されたユーザ音声情報および歌唱画像情報の少なくとも一つから歌唱画像特定情報としての動画特定情報を抽出する。
【０２９５】
動画特定情報には、ユーザ音声情報から抽出されるテンポ情報および音程情報、楽曲情報から抽出される楽曲名称情報および楽曲歌詞情報、歌唱画像情報から抽出されるユーザの動き情報、ユーザ情報に対応するユーザの嗜好情報、歌唱履歴情報等の関連情報などがある。これらの情報のいずれか一つの情報を動画特定情報としてもよく、またこれらの情報のどのような組み合わせをも動画特定情報とすることができる。
【０２９６】
ステップＳ６４において、カットデータ情報抽出部１０４ａは、動画特定情報に関連する、あらかじめカラオケシステムに送信されたカット画像情報に関連付けされた動画検索用情報を検索し、検索された動画検索用情報に関連付けされたカット画像情報を抽出する。
【０２９７】
カット画像情報に関連付けされた動画検索用情報には、動画特定情報に含まれる、テンポ情報および音程情報、楽曲名称情報および楽曲歌詞情報、ユーザの動き情報、ユーザの嗜好情報、歌唱履歴情報等の関連情報が含まれ、動画特定情報に含まれる情報と動画検索用情報に含まれる情報とが同一情報または近似する情報である場合に動画検索用情報に対応するカット画像情報が抽出される。
【０２９８】
カット画像情報は、あらかじめ他のユーザが楽曲を歌唱した歌唱画像であり、携帯端末電話、携帯端末、あるいはパソコン等の電子情報処理装置でカラオケシステムにカット画像情報に動画検索用情報を対応させてあらかじめ送信しておくことができる。
【０２９９】
またカット画像情報には、現在、楽曲を歌唱しているユーザの歌唱画像情報が含まれてもよい。
【０３００】
ステップＳ６５において、ステップＳ６４でカットデータ情報抽出部１０４ａによって抽出されたカット画像情報が表示部３０に表示されるので、ユーザは好みのカット画像情報を操作パネル４６等の入力部４６ｂを介して選択する。
【０３０１】
ステップＳ６６において、ユーザは好みのカット音声情報を操作パネル４６等の入力部４６ｂを介して選択する。
【０３０２】
すなわち、カットデータ情報選択部１０５ａで、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に関連付けられた関連音声情報と、ユーザ歌唱情報入力部７０によって入力されたユーザ音声情報の何れかが、選択音声情報としてユーザによって選択される。
【０３０３】
カット画像情報に関連付けられた関連音声情報は、他のユーザが楽曲を歌唱している画像情報等のカット画像情報に関連付けられた他のユーザが楽曲を歌唱している音声情報等の情報である。
【０３０４】
ステップＳ６７において、合成部１０６はステップＳ６５においてユーザに選択されたカット画像情報とステップＳ６６においてユーザに選択された選択音声情報とを合成する。また、ユーザが歌唱した楽曲の楽曲情報も合成される。
【０３０５】
すなわち、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報が関連付けられて、カット画像情報としてカラオケシステムにアップロードされることによって他のユーザがカラオケシステムを介してこのカット画像情報を利用でき、また、ユーザ自身もこのカット画像情報を視聴して楽しむことができる。
【０３０６】
このように、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報から、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を選択して、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うができる。
【０３０７】
また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。
【０３０８】
［９．映像表示装置３０等に表示される画面の一例］
次に、映像表示装置３０等に表示される画面の一例を図１４に示す。
【０３０９】
図１４は、ユーザであるＡさんがカラオケ装置１６にユーザ情報を入力してログインし、図１３おける手順を実行した後に表示部３０に表示される本発明のページの一例である。
【０３１０】
図１４では、ユーザが楽曲を歌唱している映像と、その映像に基づいて抽出および選択された他のユーザが楽曲を歌唱している映像とを並べて一画面で表示部３０に表示している様子を示したものである。
【０３１１】
すなわち、図１４における左半分の画面は、ユーザＡさんがカラオケ装置１６を使用して楽曲を歌唱したときに、ユーザ歌唱情報入力部７０を介して入力された歌唱画像情報を表示している様子を表した画面である。
【０３１２】
図１４における右半分の画面は、左半分の画面に表示されているユーザＡさんの歌唱画像を基に、カットデータ情報抽出部１０４ａが抽出し、カットデータ情報選択部１０５ａを介してユーザが選択した他のユーザであるＢさんの歌唱画像であるカット画像情報が表示されている様子を表した画面である。
【０３１３】
図１４における左半分の画面と右半分の画面とは、ユーザが歌唱している楽曲に同期しているので、同一の楽曲をユーザＡさんと他のユーザであるＢさんが同時に歌唱している様子が再生される。したがって、ユーザＡさんは、同一の楽曲をユーザＡさんと他のユーザであるＢさんが同時に歌唱している画像を選択および再生して楽しむことが容易にできることが分かる。
【０３１４】
また、図１４における映像が再生されている間に流れる音声情報は、ユーザＡさんの音声情報または他のユーザであるＢさんの音声情報がカットデータ情報選択部１０５ａによって選択されることができる。
【０３１５】
さらに、図１４において歌唱されている楽曲が、Ａメロ、Ｂメロ、さびの部分などの小節毎に、動画特定情報抽出部１０３で区分されている場合には、区分されている部分毎にユーザＡさんの音声情報または他のユーザであるＢさんの音声情報がカットデータ情報選択部１０５ａを介して選択されることができる。
【０３１６】
また、さらに、図１４において歌唱されている楽曲が、Ａメロ、Ｂメロ、さびの部分などの小節毎に、動画特定情報抽出部１０３で区分されている場合には、区分されている部分毎にユーザＡさんの歌唱画像情報または他のユーザであるＢさんの歌唱画像情報がカットデータ情報選択部１０５ａを介して選択されることができる。
【０３１７】
このように、ユーザは、歌唱画像情報と音声情報との組み合わせをカラオケ装置１６を介して自由かつ容易に楽しむことが可能になり、機械に詳しくないユーザでも視覚的に映像編集を容易に行える。
【０３１８】
また、ユーザがカラオケ装置１６にログインする場合に使用するユーザ情報と、歌唱画像情報と音声情報とを関連付けしておくことも可能である。
【０３１９】
入力されたユーザＩＤ情報はユーザが持つ識別情報と関連づけされているので、ネットワークに接続されている電子機器であればユーザの識別情報を入力すれば、いつでもどこでもユーザＩＤ情報によって特定される識別情報に基づいてそのユーザに関連した情報が読み出し可能になる。すなわち、ユーザはカラオケシステムにユーザＩＤ情報を入力してログインすることによって、カット画像情報およびカット画像情報に関連付けされた音声情報をいつでもどこでも利用することが可能である。
【０３２０】
なお、図１３における動作手順を、ハードディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。
【０３２１】
また各電子情報機器間の情報の送受信は有線、無線に限定されず、いずれの方法においても情報の送受信を行うことができる。
【符号の説明】
【０３２２】
１６ ・・・ カラオケ装置
３０ ・・・ 表示部
７０ ・・・ ユーザ歌唱情報入力部
４６ｃ ・・・ 楽曲情報入力部
１０１ ・・・ 楽曲データ付加情報抽出部
１０２ ・・・ カット情報抽出部
１０３ ・・・ 動画特定情報抽出部
１０４ ・・・ カット画像情報抽出部
１０４ａ ・ カットデータ情報抽出部
１０５ ・・・ カット画像情報選択部
１０５ａ ・ カットデータ情報選択部
１０６ ・・・ 合成部
１０７ ・・・ カット画像情報関連付部
１０８ ・・・ 動画データ付加情報抽出部
１０９ ・・・ 記憶部
【技術分野】
【０００１】
本発明は、映像編集を行うカラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラムの技術分野に関する。
【背景技術】
【０００２】
近年、多数の演奏曲のうちから選択される演奏曲を出力させる情報記録再生装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置、サーバ装置等の情報記録再生装置である。このようなカラオケ装置では、予め記憶装置に記憶された多数のカラオケ演奏曲から選択されたカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の詞情報を含む映像をその出力に同期して画面に表示させることで、所望の歌のカラオ演奏を楽しむことが可能である。
【０００３】
このようなカラオケ装置において、タイトル名やシーン名等を覚えていない場合に、コンテンツの分野（ヒーロー、学園、ロボット、刑事・・・・）をユーザが選択することで、アフレコする素材を絞り込めるアフレコシステム（検索対象分野が表示され、ユーザがその検索対象分野を選択できるインターフェースが用意され、適合度に応じてコンテンツをソートしてその検索結果を表示する。）技術が特許文献１に開示されている。
【０００４】
また、再生する音楽にあった画像を選択表示し、また、順次に表示する画像に最適なＢＧＭを付加するシステム（音声データに付加されたメタデータをもとに画像データに付加されたメタデータを参照して、音声データと関連性の高い画像データを検索し、音楽と画像を関連付けて再生する。）技術が特許文献２に開示されている。
【０００５】
また、関連性のある画像、音声データを連続して再生するシステム（画像、音声それぞれのメタデータを比較して、同じ場合に両コンテンツを再生する。また、画像のテーマとなるメタデータを有する画像が存在しない場合には、その画像における次ぎのメタデータをテーマとして選択し、その選択されたテーマと同じテーマの画像を連続再生する）技術が特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０２７０５１号公報
【特許文献２】特開２００６−２４４００２号公報
【特許文献３】特開２００８−１４７９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上の技術を活用しつつ、動画共有サービスが浸透している昨今、「ユーザがパロディ映像制作」そして「その映像を共有し、評価しあう」という楽しみ方が流行している。
【０００８】
しかしながら映像の制作・編集(以下に掲げる工程作業：１；自らが吹き替えを制作したいイメージにあわせた映像を探す、２；前記１で探した映像から「自らが使用したい部分」を素材として切り出す、３； 切り出した複数素材の編集を行う、４；動画の動きに合わせて声や効果音を吹き込む)には相応のスキルとコンピュータ設備を必要とし、誰でも気軽に作れるものではなかった。
【０００９】
そこで、本発明は上記の課題に鑑みて為されたもので、その目的の一例は、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚、入力音圧レベル等）によって好みに応じた最適なアフレコ素材を検索することができ、機械に詳しくないユーザでも視覚的に映像編集が容易に行える情報記録再生装置、情報記録再生の制御方法、及び情報記録再生の制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、請求項１に記載の発明は、カラオケシステムにおいて、ユーザ情報が入力されるユーザ情報入力手段としてのユーザ情報入力部４６ａと、前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段としての楽曲データ付加情報抽出部１０１と、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するたカット情報を抽出するカット情報抽出手段としてのカット情報抽出部１０２と、ユーザの音声情報が入力されるユーザ音声情報入力手段としてのユーザ音声情報入力部４０と、前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段としての動画特定情報抽出部１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段としてのカット画像情報抽出部１０４と、前記カット画像情報を表示する表示手段としての表示部３０、前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段としてのカット画像情報選択部１０５と、前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段としての合成部１０６と、前記カット画像情報を関連付けるカット画像情報関連付手段としてのカット画像情報関連付部１０７と、を備えることを特徴とする情報記録再生装置。
【００１１】
この構成によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６またはサーバ装置２０等の情報記録再生装置に、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）するとユーザＩＤに対応する演奏曲（楽曲データ）情報から楽曲データ付加情報が楽曲データ付加情報抽出手段によって抽出される。
【００１２】
楽曲データ付加情報には、楽曲データの曲名、歌手名、作詞・作曲者名、番組情報、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）等が含まれる。
【００１３】
楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、番組情報に対応するカット情報（カット情報には静止画及び動画に対応するセリフ、音量情報、音程情報、カット内で主となる人物名、カット内で主となる人物の性別（カット情報中の動画検索用情報（図１０参照））等の情報が含まれる）を少なくとも一つ以上カット情報抽出手段が抽出する。
【００１４】
そして、ユーザの音声情報が、マイク等を介してユーザ音声情報入力手段に入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）が動画特定情報抽出手段によって抽出される。
【００１５】
動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致する、カット情報に含まれる動画検索用情報（カット画像情報におけるセリフ、音量情報、音程情報）が検索され、検索された動画検索用情報に対応する静止画情報または動画情報（カット画像情報）がカット画像情報抽出手段によって抽出される。
【００１６】
抽出されたカット画像情報が表示手段によって表示され、ユーザは表示されたカット画像情報から自分の好みのカット画像情報をカット画像情報選択手段で選択する（操作パネル４６、カラオケ装置１６の遠隔操作装置または遠隔入力装置としての電子装置２２、リモコン装置６４、携帯電話機２８等を介してユーザが選択したカット画像情報に関する情報がカラオケ装置１６等の情報記録再生装置のＣＰＵ５０のカット画像情報選択部１０５に入力されて情報記録再生装置が選択されたカット画像情報を認識する）。
【００１７】
選択されたカット画像情報と入力されたユーザの音声情報とが合成され、カット画像情報が関連づけられると、ユーザ自身の声による（複数のカット画像が繋がった）動画が作成される。
【００１８】
このようにして、請求項１に係る発明によれば、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚（音程情報）、入力音圧レベル（音量情報）等）およびユーザの好み（ユーザが選択）に応じた最適なアフレコ素材（ユーザの音声情報と合成されるべきカット画像）を検索することよって、機械に詳しくないユーザでも視覚的に映像編集が容易に行うことが可能になる。
【００１９】
また、カラオケで歌う楽曲は、好きなテレビ番組で流れる（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、有名なCMで流れる、好きな映画で流れる、または好きなアーティストが歌っている楽曲であるので、これらのユーザが選択した楽曲（カラオケで歌う楽曲）に関する情報から、関連する映像を抽出することで、ユーザの嗜好に合致していると思われる映像を抽出することが可能になる。
【００２０】
また、単なる動画の閲覧履歴等の動画の見た目に関する情報だけではなく、潜在的にユーザが好むと思われる動画を抽出する（ユーザ情報に関連付けられたカット画像）ことで、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。
【００２１】
また、ユーザが、豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽に、パロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。
【００２２】
上記課題を解決するために、請求項２に記載の発明は、請求項１に記載のカラオケシステムであって、前記ユーザが選択した前記カット画像情報の履歴を示す動画選択履歴情報に含まれる、前記ユーザ情報に対応する動画データ付加情報を抽出する動画データ付加情報抽出手段としての動画データ付加情報抽出部１０８を更に備え、前記カット情報抽出手段は、前記動画データ付加情報に含まれるカット情報を抽出し、前記動画データ付加情報に含まれる前記カット情報に対応するカット画像情報を抽出することを特徴とする。
【００２３】
このようにして、請求項２に係る発明によれば、単なる動画の閲覧履歴等の情報ではなく、ユーザが以前に選択したことのある興味のある画像（本発明のカット画像情報とユーザ音声情報が合成された吹き替え画像ＭＩＸを含む）を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報等）を抽出するので、潜在的にユーザが好むと思われる動画を抽出することができ、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。
【００２４】
上記課題を解決するために、請求項３に記載の発明は、請求項１または２に記載のカラオケシステムであって、前記カット画像情報抽出手段は、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を有し、かつ、直前に選択された前記カット画像情報に対応する前記カット情報に含まれる動画連結用情報と連結するべきカット画像情報を抽出することを特徴とする。
【００２５】
この構成によれば、カット画像情報抽出手段は、入力されたユーザの音声情報に基づいてカット画像情報を抽出するだけではなく、直前に選択されたカット画像情報に対応するカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（話者の向き、場面描写情報（室内、室外、明るい、暗い等の情報等の情報（図１０参照））に対応する連結されるべき（話者の向きであれば、一例として、直前に選択されたカット画像情報内の話者が「右向き」であれば、対応する連結されるべき画像情報内の話者は「左向き」である。場面描写情報であれば、一例として、直前に選択されたカット画像情報内の場面情報が「室内」であれば、対応する連結されるべき画像情報内の場面情報は「室内」である。）カット画像情報が抽出される。
【００２６】
このようにして、請求項３に係る発明によれば、複数の動画をつなぎ合わせたコンテンツを作成するためには、動画同士の関連性が重要であるが、直前の動画の場面描写、登場人物、登場人数、アングル情報をもとに、次に選択されるべき候補となるカット画像情報が抽出されるので、直前の動画に自然につながる次の動画（カット画像情報）を抽出することが可能である。
【００２７】
すなわち、動画同士のつなぎが自然になるように、先の動画素材（動画データ（図１０参照））に関連するものを優先的に抽出することが可能になる。
【００２８】
上記課題を解決するために、請求項４に記載の発明は、請求項１乃至３の何れかに記載のカラオケシステムであって、前記表示手段は、前記カット情報に含まれる付加情報と、楽曲データ付加情報または動画データ付加情報の少なくとも何れか一方の付加情報との関連性に基づいて前記カット画像情報を区別して表示することを特徴とする。
【００２９】
この構成によれば、ユーザがカラオケで歌唱した楽曲の付加情報（曲名、アーティスト名、番組名（主題歌、挿入歌）、発表年度、ジャンル等）およびユーザが以前に選択した動画の動画データ付加情報とは一致しない画像を、一致しない程度に応じて区別し、その区別毎にその画像を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。
【００３０】
また、付加情報に含まれる情報において一致する情報の数を全体の情報の個数で除算したものを一致割合として、一致割合ごとに区分してカット画像情報を表示することも可能である。
【００３１】
このようにして、請求項４に係る発明によれば、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【００３２】
上記課題を解決するために、請求項５に記載の発明は、請求項４に記載のカラオケシステムであって、前記付加情報にはジャンル情報および年代情報（年代情報には、発表年代／放送年代、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）が含まれる）が含まれ、前記表示手段は、前記カット画像情報の付加情報に含まれるジャンル情報および年代情報と、前記楽曲データ付加情報または前記動画データ付加情報の少なくとも何れか一方に含まれるジャンル情報および年代情報との一致する割合に基づいて前記カット画像情報を区別して表示することを特徴とする。
【００３３】
この構成によれば、ジャンル情報および年代情報が合致している場合には、関連性が大きいと判断し、ジャンル情報または年代情報の何れか一方が合致している場合には、関連性が中程度であると判断し、ジャンル情報および年代情報の何れも合致していない場合には、関連性が小さいと判断する。
【００３４】
この関連性の大きさに基づいて、区別して（優先順位を決めて）カット画像情報を表示する（図８参照）。
【００３５】
このようにして、請求項５に係る発明によれば、映像検索の場合には、ユーザと関連性の大きい動画を提示するばかりではなく、ユーザと関連性の小さい動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【００３６】
上記課題を解決するために、請求項６に記載の発明は、カラオケシステムの制御方法であって、ユーザ情報が入力されるユーザ情報入力工程と、前記ユーザ情報入力工程によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出工程と、ユーザの音声情報が入力されるユーザ音声情報入力工程と、前記ユーザ音声情報入力工程において入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出工程と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出工程と、前記カット画像情報を表示する表示工程と、前記表示工程において表示された前記カット画像情報が選択されるカット画像情報選択工程と、前記カット画像情報選択工程においてよって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、前記カット画像情報を関連付けるカット画像情報関連付工程と、を備えることを特徴とする。
【００３７】
上記課題を解決するために、請求項７に記載の発明は、カラオケシステムの制御プログラムであって、ユーザ情報が入力されるユーザ情報入力手段、前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段、ユーザの音声情報が入力されるユーザ音声情報入力手段、前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段、前記カット画像情報を表示する表示手段、前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段、前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段、前記カット画像情報を関連付けるカット画像情報関連付手段、として機能させることを特徴とする。
【００３８】
上記課題を解決するために、請求項８に記載の発明は、請求項７に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記録されていることを特徴とする記録媒体。
【００３９】
上記課題を解決するために、請求項９に記載の発明は、カラオケシステム１０において、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段としての楽曲情報入力部４６ｃと、前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段としての楽曲データ付加情報抽出部１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段としてのカット情報抽出部１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０と、前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段としての動画特定情報抽出部１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａと、前記カットデータ情報を表示する表示手段としての表示部３０と、前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段としてのカットデータ情報選択部１０５ａと、前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段としての合成部１０６と、を備えることを特徴とする。
【００４０】
この構成によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケシステムにおいて、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報を基に、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を抽出および選択し、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うことができる。
【００４１】
また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。
【００４２】
上記課題を解決するために、請求項１０に記載の発明は、請求項９に記載のカラオケシステム１０であって、前記表示手段は前記カットデータ情報選択手段によって選択された前記カットデータ情報を表示、または、前記カットデータ情報及び前記ユーザ歌唱情報を同時に表示することを特徴とする。
【００４３】
この構成によれば、ユーザはカット画像情報を表示させながら、選択された音声情報を試聴して、画像と音声とのさまざまな組み合わせを楽しむことが可能になる。
【００４４】
また、ユーザ自身が歌唱している姿だけでなく、他のユーザと一緒に楽曲を歌唱しているコラボ画像を容易に作成することができる。
【００４５】
また、他のユーザの歌唱画像情報を表示させながら、別の他のユーザの音声情報を再生させることが手軽にできるので、機械に詳しくないユーザでも視覚的に映像編集を容易に行い、カラオケを通じた映像編集を楽しむことができる。
【００４６】
さらに、他のユーザが楽曲を歌唱している姿を示す歌唱画像情報であるカット画像情報を表示させながら、ユーザは楽曲を歌唱してカラオケを楽しむことができる。
【００４７】
上記課題を解決するために、請求項１１に記載の発明は、カラオケシステム１０を制御する方法において、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力工程４６ｃと、前記楽曲情報入力工程において入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出工程１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力工程７０と、前記ユーザ歌唱情報入力工程において入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出工程１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出工程１０４ａと、前記カットデータ情報を表示する表示工程３０と、前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択工程１０５ａと、前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成工程１０６と、を備えることを特徴とする。
【００４８】
上記課題を解決するために、請求項１２に記載の発明は、カラオケシステム１０に含まれるコンピュータを制御する制御プログラムであって、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段４６ｃと、前記楽曲情報入力手段４６ｃによって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段７０と、前記ユーザ歌唱情報入力手段７０に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段１０４ａと、前記カットデータ情報を表示する表示手段３０と、前記表示手段３０に表示された前記カットデータ情報が選択されるカットデータ情報選択手段１０５ａと、前記カットデータ情報選択手段１０５ａによって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段１０６と、を備えることを特徴とする。
【００４９】
上記課題を解決するために、請求項１３に記載の発明は、請求項１２に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記憶されていることを特徴とする記憶媒体。
【発明の効果】
【００５０】
本発明によれば、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚（音程情報）、入力音圧レベル（音量情報）等）およびユーザの好み（ユーザが選択）に応じた最適なアフレコ素材（ユーザの音声情報と合成されるべきカット画像）を検索することよって、機械に詳しくないユーザでも視覚的に映像編集が容易に行うことが可能になる。
【００５１】
また、カラオケで歌う楽曲は、好きなテレビ番組で流れる（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、有名なCMで流れる、好きな映画で流れる、または好きなアーティストが歌っている楽曲であるので、これらのユーザが選択した楽曲（カラオケで歌う楽曲）に関する情報から、関連する映像を抽出することで、ユーザの嗜好に合致していると思われる映像を抽出することが可能になる。
【００５２】
また、単なる動画の閲覧履歴等の動画の見た目に関する情報だけではなく、潜在的にユーザが好むと思われる動画を抽出する（ユーザ情報に関連付けられたカット画像）ことで、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。
【００５３】
また、ユーザが、豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽に、パロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。
【００５４】
また、単なる動画の閲覧履歴等の情報ではなく、ユーザが以前に選択したことのある興味のある画像（本発明のカット画像情報とユーザ音声情報が合成された吹き替え画像ＭＩＸを含む）を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報等）を抽出するので、潜在的にユーザが好むと思われる動画を抽出でき、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。
【００５５】
また、複数の動画をつなぎ合わせたコンテンツを作成するためには、動画同士の関連性が重要であるが、直前の動画の場面描写、登場人物、登場人数、アングル情報をもとに、次に選択されるべき候補となるカット画像情報が抽出されるので、直前の動画に自然につながる次の動画（カット画像情報）を抽出することが可能である。
【００５６】
すなわち、動画同士のつなぎが自然になるように、先の動画素材（動画データ（図１０参照））に関連するものを優先的に抽出することが可能になる。
【００５７】
また、ユーザがカラオケで歌唱した楽曲の付加情報（曲名、アーティスト名、番組名（主題歌、挿入歌）、発表年度、ジャンル等）およびユーザが以前に選択した動画の動画データ付加情報とは一致しない画像を、一致しない程度に応じて区別し、その区別毎にその画像を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。
【００５８】
すなわち、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【００５９】
また、関連性の大きさに基づいて、区別して（優先順位を決めて）カット画像情報を表示することが可能である（図８参照）。
【００６０】
また、映像検索の場合には、ユーザと関連性の大きい動画を提示するばかりではなく、ユーザと関連性の小さい動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【００６１】
本発明によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケシステムにおいて、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報を基に、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を抽出および選択し、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うことができる。
【００６２】
また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。
【００６３】
さらに、ユーザはカット画像情報を表示させながら、選択された音声情報を試聴して、画像と音声とのさまざまな組み合わせを楽しむことが可能になる。
【００６４】
このように、他のユーザの歌唱画像情報を表示させながら、合成された別の他のユーザの音声情報を再生させることが手軽にできるので、機械に詳しくないユーザでも視覚的に映像編集を容易に行い、カラオケを通じた映像編集を楽しむことができる。
【００６５】
また、ユーザ自身が歌唱している姿だけでなく、他のユーザと一緒に楽曲を歌唱しているコラボ画像を容易に作成することができる。
【００６６】
また、他のユーザが楽曲を歌唱している姿を示す歌唱画像情報であるカット画像情報を表示させながら、ユーザは楽曲を歌唱してカラオケを楽しむことができる。
【００６７】
また、ユーザが歌唱した楽曲の楽曲情報に、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けることができる。
【００６８】
したがって、ユーザは楽曲情報から自分が編集した歌唱画像情報を検索することが容易になり、いつでも自由なときに、自分が編集した歌唱画像情報を利用することが可能になる。
【００６９】
また、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けたカット画像情報をカラオケシステムにアップロードすることによって他のユーザもカラオケシステムを介してカット画像情報を利用できることができ、情報をユーザ同士で共有することが可能になる。
【００７０】
さらに、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくともテンポ情報および音程情報が略同一であるので、画像情報および／または音声情報を入れ替えても、違和感のない同一の楽曲にかかわる歌唱画像情報またはカット画像情報を抽出することができる。
【００７１】
さらに、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくとも前記楽曲名称情報が同一であるので、画像情報および／または音声情報を入れ替えても、同一の楽曲にかかわる歌唱画像情報またはカット画像情報を抽出することができる。
【００７２】
なお、ユーザが歌唱した楽曲と同一楽曲とは、楽曲に関する属性情報が完全に一致する楽曲の他に、バージョン情報が異なる楽曲、演奏が異なる楽曲、収録された時刻が異なる楽曲、歌手が異なる楽曲を含んでいてもよい。
【００７３】
また、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくとも歌唱されている楽曲の歌詞が同一または類似する楽曲歌詞情報が抽出されるので、画像情報および／または音声情報を入れ替えても、違和感のない歌唱画像情報またはカット画像情報を抽出することができる。
さらに、ユーザが楽曲を歌唱している歌唱画像情報においてユーザが楽曲に合わせて体を動かせて歌唱している場合、ユーザが楽曲の振り付けに合わせて踊っている場合などに、同様の動きをしている他のユーザにかかわるカット画像情報が抽出されるので、ユーザは容易に同様の動きをしている他のユーザのカット画像情報を選択することができ、連続性のある画像編集を容易に楽しむことが可能になる。
【００７４】
さらに、歌唱画像情報にかかわる楽曲を歌唱しているユーザと、カット画像情報にかかわる楽曲を歌唱している他のユーザとユーザの嗜好情報、歌唱履歴の情報等の情報が一致するので、ユーザは同じ嗜好を持つ他のユーザからカット画像情報を選択することができ、関連性のある画像編集を容易に楽しむことが可能になる。
【００７５】
さらに、本願の図８に記載されているように、楽曲を歌唱しているユーザに関する関連情報に基づいて、動画同士のつなぎが自然になるように、先の歌唱画像情報に関連するカット画像情報を優先的に抽出することが可能になる。
【００７６】
さらに、ユーザがカラオケで歌唱した歌唱画像情報に関する動画特定情報とは一致しないカット画像情報を、一致しない程度に応じて区別し、その区別毎にそのカット画像情報を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。
【００７７】
すなわち、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。
【図面の簡単な説明】
【００７８】
【図１】本実施形態におけるシステム構成の一例を示す図である。
【図２】本実施形態におけるカラオケ装置のブロック図の一例である。
【図３】本実施形態におけるカラオケ装置の機能ブロック図の一例である。
【図４】本実施形態における動作を説明するフローチャートの一例である。
【図５】本実施形態における動作を説明するフローチャートの一例である。
【図６】本実施形態における動作を説明するフローチャートの一例である。
【図７】本実施形態における動作を説明するフローチャートの一例である。
【図８】（ａ）、（ｂ）、（ｃ）、（ｄ）本実施形態における表示画面の一例である。
【図９】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）本実施形態におけるデータテーブルの一例である。
【図１０】本実施形態におけるデータテーブルの一例である。
【図１１】本発明の第２実施形態におけるシステム構成の一例を示す図である。
【図１２】本発明の第２実施形態におけるカラオケ装置の機能ブロック図の一例である。
【図１３】本発明の第２実施形態における動作を説明するフローチャートの一例である。
【図１４】本発明の第２実施形態における表示部に表示される画像の一例である。
【発明を実施するための形態】
【００７９】
以下、本発明の最良の実施形態を図面に基づいて説明する。なお、本発明は、有線または無線による電子通信回線を通じて情報をダウンロードできる全ての電子情報機器に対して適用することも可能である。
【００８０】
［１．システム構成の一例］
図１は、本発明が好適に適用されるカラオケシステム１０を説明するブロック図である。この図１に示すように、カラオケシステム１０では、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ本発明の一実施例である１台乃至は複数台ずつ（図１では１台ずつ）のカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。
【００８１】
これら複数のカラオケ装置１６は、ルータ１７を介して公衆電話回線等による通信回線１８に接続されており、同じくその通信回線１８に接続されたカラオケサービス提供会社のサーバ装置（センタ装置）２０との相互間でその通信回線１８を介して情報の通信が可能になっている。
【００８２】
このカラオケサービス提供会社のサーバ装置２０は、カラオケ情報（楽曲データ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理の基本的な制御を行うサーバであり、通信回線１８を介してカラオケ装置１６に定期的にコンテンツの配信を行うと共に、そのカラオケ装置１６からの要求に応じて所定の機能制御プログラムを送信するものである。
【００８３】
また、カラオケシステム１０は、複数の電子装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子装置２２と称する）を備えており、カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台ずつの電子装置２２が貸与され、各個室１４において後述するようにカラオケ装置１６の遠隔操作装置として用いられるようになっている。
【００８４】
店舗１２内には複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、電子装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。
【００８５】
また、カラオケシステム１０は、所定のアプリがインストールされることによりカラオケ装置１６の遠隔操作装置等として機能する複数の携帯電話機２８ａ、２８ｂ、２８ｃ、・・・（以下、特に区別しない場合には単に携帯電話機２８と称する）を備えている。これら携帯電話機２８は、例えば、前記カラオケ装置１６によりカラオケ演奏を行う各利用者の個人所有に係るものである。
【００８６】
図２は、本実施例のカラオケ装置１６の構成を例示するブロック線図である。
【００８７】
この図２に示すように、カラオケ装置１６は、ＣＲＴ（Cathode-ray Tube）やＴＦＴ（Thin Film Transistor Liquid Crystal）等の映像表示装置３０と、ＣＲＴコントローラ等の映像出力制御部３２と、映像情報デコーダ３４と、ビデオミキサ３６と、音源であるシンセサイザ３８と、音声入力装置であるマイクロフォン４０と、アンプミキサ４２と、スピーカ４４と、操作パネル４６と、その操作パネル４６等からの入力信号を処理する入出力インターフェース４８と、中央演算処理装置であるＣＰＵ５０と、読出専用メモリであるＲＯＭ５２と、随時書込読出メモリであるＲＡＭ５４と、記憶装置であるハードディスク５６と、モデム５８と、ＬＡＮポート６０と、電子装置２２やリモコン装置６４等の入力装置からのリモコン信号を受信するためのリモコン受信部６２とを、備えて構成されている。
【００８８】
映像出力制御部３２は、ＣＰＵ５０において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置として機能する他に、映像表示装置３０による種々の映像表示を制御する表示制御装置として機能する。
【００８９】
また、映像情報デコーダ３４は、利用者が歌詞を参照しながら歌を歌う際にハードディスク５６に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。このような背景映像情報に基づいて映像情報デコーダ３４により再生された背景映像は、ビデオミキサ３６へ送られる。
【００９０】
また、ビデオミキサ３６は、ＣＰＵ５０において生成され且つ映像出力制御部３２から出力される文字映像と、映像情報デコーダ３４により再生される背景映像とを合成して前記映像表示装置３０に表示させる映像合成装置である。
【００９１】
シンセサイザ３８は、ハードディスク５６から読み出されて転送されるカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。
【００９２】
この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいてシンセサイザ３８により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ４２へ送られる。そのアンプミキサ４２では、送られてきた音楽信号と前記マイクロフォン４０を介して入力される利用者の歌声とがミキシングされ、それらの信号が電気的に増幅されてスピーカ４４から出力される。
【００９３】
操作パネル４６は、カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。
【００９４】
また、カラオケ装置１６には、操作パネル４６の一部機能を遠隔で実行するための入力装置として機能するリモコン装置６４が備えられている。リモコン受信部６２は、そのリモコン装置６４から送信されるリモコン信号を受信してＣＰＵ５０へ供給する。
【００９５】
また、カラオケ装置１６と電子装置２２との対応付け処理もリモコン受信部６２を介して行われ、そのようにしてカラオケ装置１６に対応付けられた電子装置２２も同様に入力装置として機能する。
【００９６】
また、前述のように、カラオケ装置１６に対する情報送信機能を有する携帯電話機２８も同様に入力装置として機能する。なお、本実施例においては、カラオケ装置１６の入力装置として機能する電子装置２２、携帯電話機２８、及びリモコン装置６４等は、そのカラオケ装置１６の一部として備えられたものとして以下の説明を行う。
【００９７】
ＣＰＵ５０は、ＲＡＭ５４の一時記憶機能を利用しつつＲＯＭ５２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。
【００９８】
電子装置２２やリモコン装置６４等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲をＲＡＭ５４に設けられた予約曲テーブルに登録する。
【００９９】
また、その予約曲テーブルの演奏順に従ってハードディスク５６からＲＡＭ５４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出し、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ５４からシンセサイザ３８へ演奏情報を送信し、歌詞情報に基づいて歌詞文字映像を生成して映像出力制御部３２へ送り、選曲時には曲名文字映像を生成して映像出力制御部３２へ送り、映像情報デコーダ３４を制御して所定の背景映像を再生させる。
【０１００】
カラオケ演奏が行われていない間、すなわち曲間においては、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させ、通信回線１８を介したサーバ装置２０との間の情報通信制御等の基本的な制御に加えて、後述するカラオケのメドレーの自動作成を実行する。
【０１０１】
モデム５８は、カラオケ装置１６を公衆電話回線等による通信回線１８に接続するための装置である。
【０１０２】
ＣＰＵ５０から出力されるディジタル信号をアナログ信号に変換して通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換してＣＰＵ５０に供給する処理を実行する。
【０１０３】
なお、店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６がルータ１７の機能を備えてマスターコマンダとして通信回線１８に接続されてもよい。
【０１０４】
この場合、モデム５８はそのマスターコマンダとして機能するカラオケ装置１６に必要とされるが、マスターコマンダを介してサーバ装置２０との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。
【０１０５】
ＬＡＮポート６０は、カラオケ装置１６がＬＡＮ２４を介して他のカラオケ装置１６や電子装置２２等の他の機器と接続するための接続器である。
【０１０６】
カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子装置２２等の他の機器との間で情報の送受信が可能となる。
【０１０７】
例えば、アクセスポイント２６を介して受信される電子早見本装置２２からの選曲入力を受け付けてＲＡＭ５４に設けられた予約曲テーブルに記憶し、そのアクセスポイント２６を介してカラオケ装置１６から電子装置２２へ所定の情報を送信するなど、電波を介してカラオケ装置１６と電子装置２２との間において相互の情報のやりとりが実行される。
【０１０８】
ハードディスク５６には、カラオケ演奏曲を出力させるための多数のカラオケデータ（楽曲データ）を記憶するカラオケデータベース１２８及び背景映像を出力させるための複数の背景映像情報（映像データ）を記憶する背景映像データベース１３０をはじめとする各種データベースが設けられている。
【０１０９】
カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６（例えばカラオケ装置１６ａ）は、モデム５８を介して通信回線１８に接続されており、複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、或いは常に新しい背景映像が出力可能とされるように、随時新たな楽曲データや映像データ等がサーバ装置２０から通信回線１８を介して配信され、ハードディスク５６のカラオケデータベース１２８等に記憶される。
【０１１０】
また、そのようにしてサーバ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間でＬＡＮ２４を介した通信が行われ、各カラオケ装置１６のハードディスク５６に記憶される情報が共有され、カラオケデータベース１２８や背景映像データベース１３０等の内容が同一のものとなる。
【０１１１】
カラオケデータベース１２８には、カラオケ装置１６のカラオケ演奏に用いられる多数（例えば、数万曲）のカラオケ情報が記憶されている。このカラオケ情報は、例えば、シンセサイザ３８により所定の出力音（楽器の演奏音）を生成するための演奏情報、その演奏曲の出力と併行してその演奏曲の歌詞文字映像を表示させるための歌詞情報、演奏曲の出力と併行してその歌詞文字映像を順次色替表示させるための歌詞色替情報、及びその歌詞文字映像の背面側レイヤに表示される背景映像を指定する背景映像指定情報等から成るものであり、コンテンツＩＤである各演奏曲に固有の選曲番号により識別される。
【０１１２】
また、背景映像データベース１３０には、映像情報デコーダ３４により所定の映像を再生するための複数の背景映像情報が記憶されている。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、各映像情報に固有の識別情報により識別される。
【０１１３】
［２．カラオケ装置の処理機能ブロックの説明］
ここで、本発明の機能を発揮するための構成について、図３に示す機能ブロック図を用いて説明する。
【０１１４】
カラオケ装置１６等の記憶部１０９は、演奏曲に対応する演奏曲（楽曲データ）情報、ユーザ情報に対応する楽曲データ情報、楽曲データ情報の楽曲データ付加情報（曲名、歌手名、作曲・作詞者名、楽曲データが使用された番組名、ジャンル名、発表年代／放送年代等の情報（図９（ｃ）参照））、楽曲データが使用された番組名に関する画像情報および、その他の付加情報（図９、１０参照）等を含ませて記憶する。
【０１１５】
これらの情報はカラオケ情報提供サービス会社等の会社がサーバ装置２０にアップロードするので、カラオケ装置１６はアップロードされた情報を予めカラオケ装置１６の記憶部１０９にダウンロードして記憶しておく。
【０１１６】
なお、これらの情報はサーバ装置２０に記憶され、必要な場合に必要な情報を、適宜、サーバ装置２０からカラオケ装置１６の記憶部１０９にダウンロードしてカラオケ装置１６がダウンロードした情報を使用することも可能である。
【０１１７】
カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）するとユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報から楽曲データ付加情報が楽曲データ付加情報抽出部１０１によって抽出される。
【０１１８】
なお、楽曲データ付加情報抽出部１０１は、ユーザ情報入力部４６ａに入力されたユーザ情報が正規の会員として登録されたものでない場合には、以降の処理を継続せずに中断、もしくは、エラーメッセージを映像表示装置３０に表示して次のユーザ情報の入力を待機することも可能である。
【０１１９】
カット情報抽出部１０２は、楽曲データ付加情報に含まれる番組情報を抽出し、番組情報に含まれる少なくとも一つ以上の静止画情報または動画画情報（カット画像情報）に対応し、その静止画情報を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報、カット内で主となる人物名、カット内で主となる人物の性別等であって、番組情報に対応される情報）を抽出する。
【０１２０】
動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。
【０１２１】
入力された音声情報の内容を示すセリフの抽出には、従来から知られている音声認識手段を使用してもよい。
【０１２２】
カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１２３】
また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１２４】
ここで、抽出されるカット画像情報は一つに限られず、動画特定情報に一致する動画検索用情報を有するカット情報に対応する複数のカット画像情報が抽出され得る。
【０１２５】
映像表示装置等の表示部３０には、カット画像情報抽出部１０４によって抽出されたカット画像情報が表示される。
【０１２６】
ユーザは、表示部３０に表示された少なくもと一つ以上のカット画像情報からユーザ好みのカット画像情報を、操作パネル４６等の入力部４６ｂを介して選択する。
【０１２７】
選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力されると、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択し、合成部１０６へ送る。
【０１２８】
合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。
【０１２９】
合成されたカット画像情報にはユーザの音声情報が合成されているので、この合成情報が再生されるとユーザ好みの画像においてユーザの音声が視聴可能になる。
【０１３０】
カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報を関連付ける（一例として、関連付けはユーザの選択順に行うことができる）。
【０１３１】
カット画像情報関連付部１０７によって関連づけられたカット画像情報を連続して再生すると、ユーザの音声で吹き替えられた動画が視聴可能になる（図８（ｄ）参照）。
【０１３２】
動画データ付加情報抽出部１０８は、ユーザが選択したカット画像情報の履歴を示す動画選択履歴情報に含まれる、ユーザ情報に対応する動画データ付加情報を抽出する。
【０１３３】
動画選択履歴情報は、ユーザが動画を過去に閲覧し選択した履歴情報であり、ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）が含まれる。
【０１３４】
このように本発明によれば、ユーザが豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声（ユーザの音声）をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽にパロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。
【０１３５】
［３．処理動作を示すフローチャートの一例］
次に、図４乃至図７を用いて、本願のカラオケ装置１６において、ユーザが、豊富に用意された動画素材の中からユーザの音声および好みに合致したシーンを選択・編集し、オリジナルの音声をアフレコ(吹込み)して、ミックスダウン(映像音声合体)を行うしくみの動作概要を説明する。
【０１３６】
なお、カラオケ装置１６に限られず、図４乃至図７に記載される機能をサーバ装置２０において実行することも可能である。この場合には、サーバ装置２０を介してネットワークサービスに発表することで、ユーザの誰でもが、気軽にパロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。
【０１３７】
また、本発明を適用した場合において実現され得る具体的な処理手順である以下に示す処理手順は、一例であってこれ以外にも実現され得る処理手順は無数に存在する。
【０１３８】
まず、図４のステップＳ１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）する。
【０１３９】
なお、ステップＳ１、Ｓ９、Ｓ１５およびＳ２２における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置はステップＳ２以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。
【０１４０】
ステップＳ２において、カラオケ装置１６はユーザＩＤを取得し、ユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報を取得する。
【０１４１】
なお、ステップＳ２以降におけるカラオケ装置１６の動作をサーバ装置２０等の情報処理装置で実行することも可能である。
【０１４２】
ステップＳ３において、カラオケ装置１６の楽曲データ付加情報抽出部１０１は、
ユーザＩＤと対応された、ユーザの歌唱履歴（演奏曲（楽曲））およびその楽曲データ付加情報を抽出する。
【０１４３】
ステップＳ４において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組情報を抽出できるか否かを判断する。
【０１４４】
楽曲データ付加情報に番組情報が含まれる場合（ステップＳ４：ＹＥＳ）にはステップＳ５に進み、楽曲データ付加情報に番組情報が含まれない場合（ステップＳ４：ＮＯ）にはステップＳ６に進む。
【０１４５】
ステップＳ５において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組名、ジャンル、発表年代、登場人物等の番組情報を抽出する。
【０１４６】
ステップＳ６において、カラオケ装置１６の動画データ付加情報抽出部１０８は、ユーザが動画閲覧または動画検索をして、画像情報を選択したか否かを判断する。画像情報を選択したか否かはユーザ情報に対応する動画選択履歴情報を検索することによって判断することが可能になる。ユーザが動画閲覧または動画検索をして、画像情報を選択した場合（ステップＳ６：ＹＥＳ）にはステップＳ７に進み、ユーザが動画閲覧または動画検索をせず、または画像情報を選択していない場合（ステップＳ６：ＮＯ）にはステップＳ１０に進む。
【０１４７】
ステップＳ７において、カラオケ装置１６の動画データ付加情報抽出部１０８は、動画データ付加情報を読み込む（抽出する）。
【０１４８】
ステップＳ８において、動画データ付加情報抽出部１０８は、読み込んだ（抽出した）ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）を取得する。
【０１４９】
ステップＳ９において、ユーザはアフレコ（吹込み）しようとするセリフをユーザ音声情報入力部４０に入力する。
【０１５０】
ステップＳ１０において、動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。
【０１５１】
ステップＳ１１において、ユーザのセリフ発音が一回目の場合（ステップＳ１１：ＹＥＳ）にはステップＳ１４に進み、ユーザのセリフ発音が一回目でない場合（ステップＳ１１：ＮＯ）にはステップＳ１２に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。
【０１５２】
ステップＳ１２において、動画選択履歴情報から直前に選択された動画データ付加情報が読み込まれる。
【０１５３】
ステップＳ１３において、動画データ付加情報からカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである。）カット画像情報を抽出する。
【０１５４】
ステップＳ１４において、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１５５】
また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１５６】
これらのカット画像情報（静止画情報または動画情報）は表示部３０に表示される。
【０１５７】
ステップＳ１５において、ユーザは表示部３０に表示されたカット画像情報から操作パネル４６等の入力インターフェースを介してユーザのお好みのカット画像情報を選択する。
【０１５８】
ステップＳ１６において、選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力され、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択する。
【０１５９】
ステップＳ１７において、ユーザのカット画像情報の選択履歴が動画選択履歴に追加される。
【０１６０】
ステップＳ１８において、合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。
【０１６１】
ステップＳ１９において、直前に合成された（繋がるべき）カット画像情報があるか否かが判断される。直前に合成された動画がある場合には（ステップＳ１９：ＹＥＳ）にはステップＳ２０に進み、直前に合成された動画がない場合には（ステップＳ１９：ＮＯ）にはステップＳ２１に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。
【０１６２】
ステップＳ２０において、カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報と直前に選択されたカット画像情報とを関連付ける（アフレコ動画を作成する）（一例として関連付けは選択順に行うことができる）。
【０１６３】
ステップＳ２１において、ユーザの次のセリフを動画特定情報抽出部１０３が検出した場合には（ステップＳ２１：ＹＥＳ）にはステップＳ１０に進み、ユーザの次のセリフを動画特定情報抽出部１０３が検出しない場合には（ステップＳ２１：ＮＯ）には処理を終了する。
【０１６４】
ステップＳ２２において、ユーザの次のセリフが検出された場合には（ステップＳ２２：ＹＥＳ）にはステップＳ９に進み、ユーザの次のセリフが検出されない場合には（ステップＳ２２：ＮＯ）には処理を終了する。
【０１６５】
次に、図６および図７を用いて、ユーザとの関連性の低い（意外性のある）動画を合成する手順を説明する。
【０１６６】
まず、図６のステップＳ３１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）する。
【０１６７】
なお、ステップＳ３１、Ｓ４１、Ｓ４８およびＳ５５における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置は、ステップＳ３２以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。
【０１６８】
ステップＳ３２において、カラオケ装置１６はユーザＩＤを取得し、ユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報を取得する。なお、ステップＳ３２以降におけるカラオケ装置１６の動作をサーバ装置２０等の情報処理装置で実行することも可能である。
【０１６９】
ステップＳ３３において、カラオケ装置１６はユーザＩＤと対応する、ユーザの歌唱履歴、その楽曲データ付加情報、動画選択履歴中の動画データ付加情報を抽出する。
【０１７０】
ステップＳ３４において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組名、ジャンル、発表年代、登場人物等の番組情報を抽出する。また、動画データ付加情報抽出部１０８は、読み込んだ（抽出した）ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）を取得する。
【０１７１】
ステップＳ３５において、カット画像情報抽出部１０４は、楽曲データ付加情報および動画データ付加情報に含まれるジャンル情報および年代情報（年代情報には、発表年代／放送年代、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）が含まれる）と、ハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された動画を構成するカット画像情報のジャンル情報および年代情報を比較する。
【０１７２】
ステップＳ３６において、ユーザ情報に対応する楽曲データ付加情報または動画データ付加情報に含まれるジャンル情報および年代情報が、動画を構成するカット画像情報のジャンル情報および年代情報と合致している場合には、関連性が大きいと判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が大きいことを示す情報が関連付けされる。
【０１７３】
ステップＳ３７において、ユーザ情報に対応する付加情報のジャンル情報が動画を構成するカット画像情報のジャンル情報と合致しており、年代情報が動画を構成するカット画像情報の年代情報と合致していない場合には、関連性が中程度であると判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が中程度であることを示す情報が関連付けされる。
【０１７４】
ステップＳ３８において、ユーザ情報に対応する付加情報の年代情報が動画を構成するカット画像情報のジャンル情報と合致しており、ジャンル情報が動画を構成するカット画像情報の年代情報と合致していない場合には、関連性が中程度であると判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が中程度であることを示す情報が関連付けされる。
【０１７５】
ステップＳ３９において、ユーザ情報に対応する楽曲データ付加情報または動画データ付加情報に含まれるジャンル情報および年代情報が、動画を構成するカット画像情報のジャンル情報および年代情報と合致しない場合には、関連性が小さい判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が小さいことを示す情報が関連付けされる。
【０１７６】
ステップＳ４０において、カット画像情報抽出部１０４は、ステップＳ３６乃至ステップＳ３９においてカット画像情報に関連付けされた関連性の大小に基づいて、カット画像情報を区別して抽出する。
【０１７７】
ステップＳ４１において、ユーザはアフレコ（吹込み）しようとするセリフをユーザ音声情報入力部４０に入力する。
【０１７８】
ステップＳ４２において、動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。
【０１７９】
ステップＳ４３において、ユーザのセリフ発音が一回目の場合（ステップＳ４３：ＹＥＳ）にはステップＳ４６に進み、ユーザのセリフ発音が一回目でない場合（ステップＳ４３：ＮＯ）にはステップＳ４４に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。
【０１８０】
ステップＳ４４において、動画選択履歴情報から直前に選択された動画データ付加情報が読み込まれる。
【０１８１】
ステップＳ４５において、動画データ付加情報からカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである。）カット画像情報を抽出する。
【０１８２】
ステップＳ４６において、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１８３】
また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。
【０１８４】
これらのカット画像情報（静止画情報または動画情報）は表示部３０で、ステップＳ３６乃至ステップＳ３９においてカット画像情報に関連付けされた関連性の大小に基づいて、カット画像情報が区別されて抽出される。
【０１８５】
ステップＳ４７において、カット画像情報に関連付けされた関連性の大小に基づいて区別して、表示部３０はカット画像情報を表示する（図８（ｂ）参照）。
【０１８６】
ステップＳ４８において、ユーザは表示部３０に表示されたカット画像情報から操作パネル４６等の入力インターフェースを介してユーザのお好みのカット画像情報を選択する。
【０１８７】
ステップＳ４９において、選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力され、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択する。
【０１８８】
ステップＳ５０において、ユーザのカット画像情報の選択履歴が動画選択履歴に追加される。
【０１８９】
ステップＳ５１において、合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。
【０１９０】
ステップＳ５２において、直前に合成されたカット画像情報が繋がった動画があるか否かが判断される。直前に合成された動画がある場合には（ステップＳ５２：ＹＥＳ）にはステップＳ５３に進み、直前に合成された動画がない場合には（ステップＳ５２：ＮＯ）にはステップＳ５４に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。
【０１９１】
ステップＳ５３において、カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報と直前に選択されたカット画像情報とを関連付ける（アフレコ動画を作成する）（一例として関連付けは選択順に行うことができる）。
【０１９２】
ステップＳ５３において、ユーザの次のセリフを動画特定情報抽出部１０３が検出した場合には（ステップＳ５３：ＹＥＳ）にはステップＳ４２に進み、ユーザの次のセリフを動画特定情報抽出部１０３が検出しない場合には（ステップＳ５３：ＮＯ）には処理を終了する。
【０１９３】
ステップＳ５５において、ユーザの次のセリフが検出された場合には（ステップＳ５５：ＹＥＳ）にはステップＳ４１に進み、ユーザの次のセリフが検出されない場合には（ステップＳ５５：ＮＯ）には処理を終了する。
【０１９４】
以上説明したように、ユーザが、豊富に用意された動画素材の中からユーザの音声および好みに合致したシーンを選択・編集し、オリジナルの音声をアフレコ(吹込み)して、ミックスダウン(映像音声合体)を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することが可能になる。
【０１９５】
［４．映像表示装置３０等に表示される画面の一例］
次に、映像表示装置３０等に表示される画面の一例を図８に示す。
【０１９６】
図８（ａ）は、ユーザであるＡさんがカラオケ装置１６にユーザ情報を入力してログインした場合に、映像表示装置３０に表示される本発明のアフレコ動画検索画面のトップページの一例である。
【０１９７】
図８（ａ）の右下には、“音声収録をスタートする場合にはここをクリック！！”等の図４乃至図７に記載されたフローチャートの実行を開始するか否かをユーザに判断させるメッセージが表示される。このメッセージをユーザがユーザインターフェースを介して選択すると図８（ｂ）の画面が表示される。
【０１９８】
図８（ｂ）では、ユーザ情報と関連性が大きいカット画像情報（映像１、映像１００等）が他のカット画像情報とは区別されて図８（ｂ）に向かって左側の画面の側面に表示され、ユーザ情報と関連性が中程度のカット画像情報（映像３２、映像２１１等）が他のカット画像情報とは区別されて図８（ｂ）に向かって画面の中央の列に表示され、ユーザ情報と関連性が小さいカット画像情報（映像１２４、映像１５０等）が他のカット画像情報とは区別されて図８（ｂ）に向かって右側の画面の側面に表示されている。
【０１９９】
また、ユーザ情報と関連性が大きいカット画像情報（映像１、映像１００等）の見出しには、ユーザ情報によって特定される“Ａ子さん”等の名前と、ユーザと関連性が大きいことを示す“ピッタリの動画です”等の文字情報が表示される。また、ユーザ情報と関連性が中程度であるカット画像情報（映像３２、映像２１１等）の見出しには、“こんな動画も面白いのでは”等のユーザと関連性が中程度であることを示唆する文字情報が表示され、ユーザ情報と関連性が小さいカット画像情報（映像１２４、映像１５０等）の見出しには、“いままで見たことが無いような動画です、意外な発見があるかもしれません”等のユーザと関連性が小さいことを示す文字情報が表示される。
【０２００】
図８（ｂ）においてユーザが所望するカット画像情報（映像１５０）を選択すると、図８（ｃ）が表示される。
【０２０１】
図８（ｃ）では、選択されたカット画像情報と入力されたユーザの音声情報との合成が実行中であることを示す情報が表示され、図８（ｃ）の右下には、アフレコ動画を作成するための音声収録を終了するか、次のカット画像情報を作成するための音声収録を開始するか否かをユーザに判断してもらうためのメッセージが表示される。
【０２０２】
次のカット画像情報を作成するための音声収録を開始するメッセージがユーザによって選択された場合には、再び図８（ａ）の表示画面に戻り、アフレコ動画を作成するための音声収録を終了するメッセージがユーザによって選択された場合には、図８（ｄ）の表示画面が表示される。
【０２０３】
図８（ｄ）では、図８（ａ）乃至図８（ｃ）の作業を通して作成されたアフレコ動画（カット画像情報にユーザの音声情報が合成された情報の繋がり）をプレビューするか否かをユーザに判断してもらうためのメッセージが表示される。
【０２０４】
図８（ｄ）のプレビューメッセージをユーザが選択すると、アフレコ動画の再生が始まり、動画閲覧メッセージをユーザが選択すると、他のアフレコ動画等の動画をユーザが閲覧することが可能になり、そこでユーザが動画の画像を選択すると動画選択履歴に選択された画像の情報がユーザ情報に関連付けされて記録される。
【０２０５】
［５．データテーブルの一例］
次に、本実施形態に使用されるデータテーブルの一例を図９および図１０に示す。
【０２０６】
なお、これらのデータテーブルはハードディスク５６の記憶部１０９またはサーバ装置２０の記憶部（図示せず）に記憶され、カラオケ装置１６のＣＰＵ５０またはカラオケ装置１６のＣＰＵ５０の機能を実行可能であるサーバ装置２０のＣＰＵ（図示せず）が、その機能を実行する場合に参照する。
【０２０７】
図９（ａ）はユーザの歌唱履歴を示すデータテーブルの一例である。ユーザ名はユーザＩＤ等のユーザ情報によって特定される。選曲した楽曲の欄には、ユーザが過去にカラオケ装置１６で歌唱した楽曲の曲名とその楽曲の選曲番号が記載されている。
【０２０８】
例えば、３番目に選曲した曲名が「森のくまさん」の場合には、選曲番号「２３４５６７」とともにユーザ情報に対応付けられて記憶されている。
【０２０９】
ここで、図９（ａ）のデータテーブルの一例の項目に「うた年齢」という欄がある。この「うた年齢」とは、ユーザの歌の好みの傾向が何歳くらいなのかを、歌唱された楽曲のデータを元に計算した数値であって、ユーザの歌唱曲履歴から算出される（カラオケ情報提供サービス会社が提供するサービスの一つである）。若年層に歌われている曲を歌えば、『うた年齢』は若くなり、年配層に歌われている曲を歌えば、『うた年齢』は高くなるものである。
【０２１０】
例えば、「うた年齢」に基づいて、カット画像情報を抽出することも可能である。一例として、楽曲の番組情報のジャンル情報に含まれている「ＴＶドラマ・青春」という情報の「青春」に対応する、「うた年齢」が１２才以上２５才以下と予め決定されていれば、ユーザ情報に対応するカット画像情報の候補を抽出することが可能になる。
【０２１１】
図９（ｂ）はユーザの動画選択履歴情報（本発明によるユーザ音声とカット画像情報が合成されたアフレコ動画の視聴選択を含む）を示すデータテーブルの一例である。動画選択履歴情報には、動画データ付加情報および動画データ付加情報に含まれるカット情報が含まれる。
【０２１２】
ユーザ名はユーザＩＤ等のユーザ情報によって特定される。選択した動画情報の欄には静止画像である動画ＩＤが映像番号として記述されている。
【０２１３】
各映像番号には、ユーザの音声情報である「セリフ」情報、「音量」情報、「音程」情報が対応して記述されている。
【０２１４】
従って、ユーザの動画選択履歴を抽出することで、ユーザ好みのカット画像情報の候補を抽出でき、カット情報に含まれるユーザの音声情報と合成処理を実行するために入力されたユーザの音声情報とを比較（合致するか否かの判断）をすることが可能となる。
【０２１５】
次に、図９（ｃ）のカラオケ楽曲データの付加情報（楽曲データ付加情報）について説明する。
【０２１６】
カラオケ楽曲データの付加情報には楽曲の基本情報と番組情報が含まれる。
【０２１７】
楽曲の基本情報には、カラオケ楽曲データの選曲番号に対応して、曲名、歌手名、作詞・作曲者名の情報が記述されている。
【０２１８】
番組情報には、カラオケ楽曲が使用されている番組名、ジャンル、発表年代（放送年代）、主に話題となった人物等が記述されている。
【０２１９】
なお、番組情報には、カラオケ楽曲がテレビ番組（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、CM、映画等で使用されていない場合には記述される内容が無い。
【０２２０】
従って、楽曲データ付加情報を抽出すれば、その楽曲データ付加情報に含まれる番組情報から、その番組で使用されるカット画像情報（動画の候補となる一枚の静止画像または動画情報）を抽出することが可能になる。
【０２２１】
次に、図９（ｄ）に記載のユーザ音声を特徴付けるパラメータの一つである音量情報について説明する。
【０２２２】
音量情報は、一例としてユーザ音声の大きさをデシベル（ｄｂ）の大きさで区分する。例えば、ユーザ音声が予め定められたデシベル値よりも小さい場合には音量を小さいと区分して音量コードを「１」で示し、ユーザ音声が予め定められた二つのデシベルで表した閾値の間である場合には音量を標準と区分して音量コードを「２」で示し、ユーザ音声が予め定められたデシベル値よりも大きい場合には音量を大きいと区分して音量コードを「３」で示す。
【０２２３】
このように区分された音量情報の音量コードを比較することによって、合致する音量情報に対応するカット画像（例えば、図９（ｂ）参照）を抽出することが可能になる。
【０２２４】
次に、図９（ｅ）に記載のユーザ音声を特徴付けるパラメータの一つである音程情報について説明する。
【０２２５】
音程情報は、一例としてユーザ音声の音程を周波数（Ｈｚ）の大きさで区分する。例えば、ユーザ音声が予め定められた周波数値よりも小さい場合には音程が低いと区分して音程コードを「１」で示し、ユーザ音声が予め定められた二つの周波数で表した閾値の間である場合には音程を標準と区分して音程コードを「２」で示し、ユーザ音声が予め定められた周波数値よりも大きい場合には音程が高いと区分して音程コードを「３」で示す。
【０２２６】
このように区分された音程コードを比較することによって、合致する音程情報に対応するカット画像（例えば、図９（ｂ）参照）を抽出することが可能になる。
次に、図１０の動画素材データの付加情報（動画データ付加情報）について説明する。
【０２２７】
動画素材データの付加情報には動画の基本情報と、カットの情報（カット情報）に含まれる動画検索用情報と動画連結用の情報（カット画像情報間の関連性を示す情報）が含まれる。
【０２２８】
動画の基本情報には、番組名、ジャンル情報、ジャンル情報に含まれる種別情報、主に話題となった人物、作者／監督、発表年代（放送年代）、が記述されている。
【０２２９】
図１０における動画素材データの付加情報中のジャンル情報およびジャンル情報に含まれる種別情報は、図９（ｃ）の楽曲データ付加情報のジャンル情報に対応する。
【０２３０】
カットの情報（カット情報）に含まれる動画検索用情報には、ユーザの音声情報である「セリフ」情報、「音量」情報、「音程」情報、カット内で主となる人物名、カット内で主となる人物の性別が対応して記述されている。
【０２３１】
従って、動画検索用情報と、ユーザ音声情報から抽出された動画特定情報（カット情報に含まれる）とを比較することで、カット画像情報を抽出することが可能になる。
【０２３２】
カットの情報（カット情報）に含まれる動画連結用の情報には、カット画像情報の画面内に登場する人数、話者のアングル、カット画像情報の場面描写タグが記述されている。
【０２３３】
従って、動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである）カット画像情報を抽出することが可能になる。
以上、述べてきたデータテーブルの一例によってカット画像（動画ＩＤによって示される映像番号）を各種の付加情報から抽出することが可能になる。
【０２３４】
また、付加情報に含まれる情報において一致する情報の数を全体の情報の個数で除算したものを一致割合として、一致割合ごとに区分してカット画像情報を表示することも可能である。
【０２３５】
入力されたユーザＩＤ情報はユーザが持つ識別（ＩＤ：Identification）情報と関連づけされているので、ネットワークに接続されている電子機器であればユーザの識別情報を入力すれば、いつでもどこでもユーザＩＤ情報によって特定される識別情報に基づいてそのユーザに関連した情報が読み出し可能になる。
【０２３６】
なお、図４乃至図７における動作手順を、ハードディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。
【０２３７】
また各電子情報機器間の情報の送受信は有線、無線に限定されず、いずれの方法においても情報の送受信を行うことができる。
【０２３８】
＜実施形態２＞
本発明の実施形態２について以下に説明する。
【０２３９】
本発明の実施形態２はカラオケシステムにおいて従来は動画編集が困難であったことに鑑みて為されたもので、その目的の一例は、あらかじめ用意されている映像素材の中から、ユーザの歌唱画像情報、ユーザの音声情報（テンポ情報、音程情報、声の抑揚、入力音圧レベル等）、楽曲情報（楽曲名称情報、歌詞情報等）およびユーザ情報に対応する関連情報（ユーザの歌唱履歴情報、嗜好情報（好みのジャンル、アーティスト等の情報））の少なくとも一つに基づいて、ユーザの好みに応じた最適なアフレコ素材を検索し、検索されたアフレコ素材の中からユーザが動画を選択することによって、機械に詳しくないユーザでも視覚的に映像編集を容易に行えるカラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラムを提供することにある。
【０２４０】
［６．システム構成の一例］
図１１は、本発明が好適に適用されるカラオケシステム１０を説明するブロック図である。この図１１に示すように、カラオケシステム１０では、通信回線１８を介して複数のカラオケ装置１６が相互に接続されており、図１１では一例として二台のカラオケ装置１６ａおよびカラオケ装置１６ｂが通信回線１８を介して相互に接続されている。
【０２４１】
例えば、カラオケ装置１６ａを使用してユーザが楽曲を歌唱し、ユーザが楽曲を歌唱している姿が撮影された歌唱画像情報がデジタルカメラ等を含むユーザ歌唱情報入力部７０を介してカラオケサービス提供会社のサーバ装置２０に送信され、ユーザが楽曲を歌唱しているユーザ音声情報がマイク等を含むユーザ歌唱情報入力部７０を介してカラオケサービス提供会社のサーバ装置２０に送信される。
【０２４２】
歌唱画像情報とユーザ音声情報はカラオケ装置１６ａにおいて関連付けされているので、他のユーザは他のカラオケ装置１６ｂを使用して、サーバ装置２０に送信された関連付された歌唱画像情報とユーザ音声情報を共有して利用することが可能になる。
【０２４３】
また、サーバ装置２０に送信された関連付された歌唱画像情報とユーザ音声情報にユーザ情報が関連付けされているので、ユーザ情報から容易に歌唱画像情報とユーザ音声情報を利用することができる。
【０２４４】
例えば、カラオケシステムへログインするためのユーザ情報に歌唱画像情報とユーザ音声情報が関連付けされることができるので、ユーザ情報から容易に歌唱画像情報とユーザ音声情報を利用することができる。
【０２４５】
［７．実施形態２にかかわるカラオケ装置の処理機能ブロックの説明］
ここで、本発明の実施形態２にかかわる機能を発揮するための構成について、図１２に示す機能ブロック図を用いて説明する。
【０２４６】
なお、図３に示す機能ブロック図と重複する部分はその説明を省略する。
【０２４７】
カラオケ装置１６の記憶部１０９には、ユーザが歌唱する楽曲に関する楽曲情報（楽曲情報には楽曲名称情報、楽曲のテンポ情報、楽曲の音程情報、楽曲の歌詞情報等の情報が含まれる）、ユーザが楽曲を歌唱しているユーザ音声情報（ユーザ音声情報には、動画特定情報抽出手段で抽出されたユーザのテンポ情報、ユーザの音程情報等の情報が含まれる）、ユーザが歌唱している姿が記録されている歌唱画像情報（歌唱画像情報には歌唱しているユーザの動き情報等の情報が含まれる）、歌唱画像情報を特定するための動画特定情報、動画特定情報に関連するカラオケシステムに送信されたカット情報に含まれる動画検索用情報、動画検索用情報に対応するカット画像情報、カット画像情報に関連付けされた関連音声情報またはユーザ音声情報が選択された選択音声情報、選択音声情報とカット画像情報との合成情報、ユーザ情報に関連付けされた関連情報（ユーザの嗜好情報、歌唱履歴の情報等の情報が含まれる）等の情報が記憶されている。
【０２４８】
なお、楽曲情報には楽曲の歌詞情報、アーティスト情報、ジャンル情報およびその他の楽曲付加情報（曲名、作曲・作詞者名、ジャンル名、発表年代／放送年代、主に話題となった人物、楽曲情報が使用された番組名等の情報）が含まれ、ユーザが歌唱した楽曲に関する楽曲情報はユーザ情報に関連付けされた関連情報に含まれる歌唱履歴情報の一部として記憶部１０９に記憶されている。
【０２４９】
これらの情報はカラオケ情報提供サービス会社等の会社がサーバ装置２０にアップロードするので、カラオケ装置１６はアップロードされた情報を予めカラオケ装置１６の記憶部１０９にダウンロードして記憶しておく。
【０２５０】
あるいは、ユーザがこれらの情報をカラオケ装置１６に入力することで、必要に応じて関連付けされて記憶部１０９に記憶されてもよい。
【０２５１】
なお、これらの情報はサーバ装置２０に記憶され、必要な場合に必要な情報を、適宜、サーバ装置２０からカラオケ装置１６の記憶部１０９にダウンロードしてカラオケ装置１６がダウンロードした情報を使用することも可能である。
【０２５２】
楽曲情報入力手段としての楽曲情報入力部４６ｂは、ユーザが歌唱する楽曲に関する楽曲情報が入力される機能を有する。
【０２５３】
楽曲情報入力部４６ｂに入力される楽曲情報は、カラオケ情報提供サービス会社等の会社によって予め定められている任意の数字または／および文字からなる情報、楽曲の名称等の任意の情報である。
【０２５４】
ユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０は、楽曲を歌唱しているユーザの画像を示す歌唱画像情報が入力される機能を有する。
【０２５５】
ユーザの歌唱画像情報は、ユーザ歌唱情報入力部７０に設けられたＡ／Ｄ（アナログ／ディジタル）変換器によってディジタル信号に変換される。
【０２５６】
また、ユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０は、楽曲情報入力部４６ｂによって入力された楽曲情報に対応する楽曲を歌唱するユーザの歌唱音声情報が入力される機能を有する。
【０２５７】
ユーザの音声情報は、ユーザ歌唱情報入力部７０に設けられたＡ／Ｄ（アナログ／ディジタル）変換器によってディジタル信号に変換される。
【０２５８】
ユーザ情報入力手段としてのユーザ情報入力部４６ａはユーザ情報が入力される機能を有する。ユーザ情報は任意の数字または／および文字からなる情報であって、ユーザを特定するための情報である。
【０２５９】
歌唱画像を特定するための動画特定情報抽出手段としての動画特定情報抽出部１０３は、楽曲情報入力部４６ｂから入力された楽曲情報、ユーザ歌唱情報入力部７０から入力されたユーザ音声情報および歌唱画像情報の少なくとも一つから動画特定情報を抽出する機能を有する。
【０２６０】
また、動画特定情報抽出部１０３は、ユーザ歌唱情報入力部７０によって入力された歌唱画像情報を予め定められた長さに分割し、歌唱画像情報が分割された分割歌唱画像情報を生成し、前記分割歌唱画像情報ごとに動画特定情報を抽出する機能を有する。
【０２６１】
すなわち、動画特定情報抽出部１０３は、ユーザが歌唱する歌唱画像情報をＡメロ、Ｂメロ、さび部分等に区分し、あらかじめ決められた小節数で歌唱画像情報を区分し、または、歌詞が連続する部分毎に歌唱画像情報を区分する。
【０２６２】
このように一つの楽曲における歌唱画像情報をいくつかの部分に区分することによって、区分された分割歌唱画像情報をつなぎ合わせて、ユーザにとって楽しみのある動画画像を生成することが可能になる。
【０２６３】
例えば、Ａメロ、Ｂメロ、さび部分毎に異なるユーザの歌唱画像をつなぎ合わせることが可能になるので、ユーザは容易に動画編集をしながらカラオケを楽しく歌唱することが可能になる。
【０２６４】
さらに、Ａメロ、Ｂメロ、さび部分毎に異なるユーザのユーザ音声をつなぎ合わせることが可能になるので、ユーザは動画編集を楽しみながらカラオケを楽しく歌唱することが可能になる。
【０２６５】
また、動画特定情報抽出部１０３は、ユーザ音声情報から少なくともテンポ情報および音程情報を動画特定情報として抽出する機能を有する。
【０２６６】
さらに、動画特定情報抽出部１０３は、楽曲情報から少なくとも楽曲名称情報を動画特定情報として抽出する機能を有する。
【０２６７】
さらに、動画特定情報抽出部１０３は、楽曲情報から少なくとも楽曲歌詞情報を動画特定情報として抽出する機能を有する。
【０２６８】
さらに、動画特定情報抽出部１０３は、歌唱画像情報からユーザの動き情報を動画特定情報として抽出する機能を有する。
【０２６９】
さらに、動画特定情報抽出部１０３は、ユーザ情報入力部４６ａから入力されるユーザ情報に対応する関連情報（ユーザの嗜好情報、歌唱履歴情報等の情報）を動画特定情報として抽出する機能を有する。
【０２７０】
カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、動画特定情報に関連する、カラオケシステムに送信されたカット画像情報に関連付けされた動画検索用情報を検索し、検索された動画検索用情報に関連付けされたカット画像情報を抽出する機能を有する。
【０２７１】
カット画像情報は、あらかじめユーザが楽曲を歌唱した歌唱画像であり、携帯端末電話、携帯端末、あるいはパソコン等の電子情報処理装置でカラオケシステムにカット画像情報に動画検索用情報を関連付けて、あらかじめ送信しておくことができる。
【０２７２】
また、カット画像情報には、現在歌唱しているユーザおよび／または他のユーザが以前にカット画像情報として選択したカット画像情報が含まれる。
【０２７３】
ここで、動画検索用情報には、動画特定情報に含まれる情報と同一種類の情報が含まれる。例えば、動画特定情報にはテンポ情報、音程情報、楽曲名称情報、動き情報、および、ユーザ情報に対応する関連情報に含まれる歌唱履歴情報並びに嗜好情報等の情報が含まれ、これらの情報は動画検索用情報にも含まれる。
【０２７４】
カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくともテンポ情報と音程情報が略同一の動画検索用情報を有するカット画像情報を抽出する機能を有する。
【０２７５】
また、カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくとも楽曲名称情報が同一の動画検索用情報を有するカット画像情報を抽出する機能を有する。
【０２７６】
さらに、カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくとも楽曲歌詞情報が類似する動画検索用情報を有するカット画像情報を抽出する機能を有する。
【０２７７】
表示手段としての表示部３０は、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報を表示する機能を有する。
【０２７８】
また、表示部３０は、カットデータ情報選択部１０５ａによって選択されたカット画像情報を表示、または、カット画像情報および歌唱画像情報を同時に表示する機能を有する。
【０２７９】
すなわち、カット画像情報の中で他人が歌唱している歌唱画像だけを表示、または、自分の歌唱画像と他人の歌唱画像を表示部３０に同時に表示して、表示部３０に表示されている歌唱画像に対応した楽曲、たとえば表示部３０に表示されている歌唱画像で歌唱されている楽曲と同一の楽曲をカラオケ装置１６に伴奏させながら、カラオケを楽しむことができる。
【０２８０】
カットデータ情報選択手段としてのカットデータ情報選択部１０５ａは、表示部３０に表示されたカット画像情報が選択される機能を有する。カットデータ情報選択部１０５ａはタッチパネル、キーボード等の入力部４６ｂを介して入力された情報に基づいてカット画像情報を選択する。ここで、カット画像情報には現在ユーザが歌唱している歌唱画像情報が含まれてもよく、歌唱画像情報が動画特定情報抽出部１０３によって区分されている場合には区分されている歌唱画像情報毎に、カットデータ情報選択部１０５ａによって選択されてもよい。
【０２８１】
また、カットデータ情報選択手段としてのカットデータ情報選択部１０５ａは、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に関連付けられた関連音声情報と、ユーザ歌唱情報入力部７０によって入力されたユーザ音声情報の何れかが、選択音声情報としてユーザによって選択される機能を有する。
【０２８２】
すなわち、ユーザ自身が楽曲を歌唱したユーザ音声情報またはカット画像情報にあらかじめ対応して記録されていた他のユーザの音声情報等の音声情報の何れかをユーザが選択し、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に選択された音声情報を新たに関連付けることができる。
【０２８３】
合成手段としての合成部１０６は、カットデータ情報選択部１０５ａによって選択された選択音声情報とカット画像情報を合成する機能を有する。合成された選択音声情報とカット画像情報とは関連付けられる。
【０２８４】
カット画像情報関連付手段としてのカット画像情報関連付部１０７は、カットデータ情報選択部１０５ａによって選択されたカット画像情報または分割歌唱画像情報をユーザが歌唱した楽曲情報と関連付ける機能を有する。すなわち、ユーザが歌唱した楽曲の楽曲情報に、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けて、記憶部１０９に記憶しておくことができる。
【０２８５】
また、カット画像情報関連付部１０７は歌唱画像情報または分割歌唱画像情報をカット画像情報とし、歌唱画像情報または分割歌唱画像情報から抽出された動画特定情報を動画検索用情報とし、カット画像情報と動画検索用情報とを関連付けてカラオケシステムにアップロードする機能を有する。
【０２８６】
すなわち、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けたカット画像情報をカラオケシステムにアップロードすることによって他のユーザもカラオケシステムを介してカット画像情報を利用できることができる。
【０２８７】
［８．処理動作を示すフローチャートの一例］
次に、図１３を用いて、本願のカラオケ装置１６において、ユーザが、豊富に用意された動画素材の中からユーザの音声、歌唱画像、またはユーザの好みの少なくとも一つに合致したシーンを選択・編集し、機械に詳しくないユーザでも視覚的にミックスダウン(映像音声合体)を行いながらカラオケを楽しむことができる動作の概要を説明する。
【０２８８】
なお、カラオケ装置１６に限られず、図１３に記載される機能をサーバ装置２０において実行することも可能である。この場合には、サーバ装置２０を介してネットワークサービスに発表することで、ユーザの誰でもが、映像と音声が合成された情報を他のユーザに見せ合うことが可能なサービスを提供できる。
【０２８９】
また、本発明を適用した場合において実現され得る具体的な処理手順である以下に示す処理手順は、一例であってこれ以外にも実現され得る処理手順は無数に存在する。
【０２９０】
まず、図１３のステップＳ６１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがユーザＩＤ等のユーザ情報を入力し、ログインする。
【０２９１】
そして、カラオケ装置１６の操作パネル４６等の楽曲情報入力部４６ｃを介して、ユーザが歌唱しようとしている楽曲情報をユーザが入力する。カラオケ装置１６は入力された楽曲情報に対応する楽曲の伴奏を再生する。
【０２９２】
なお、ステップＳ６１、Ｓ６２、Ｓ６５およびＳ６６における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置はステップＳ６３以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。
【０２９３】
ステップＳ６２において、ステップＳ６１において入力された楽曲情報に対応する楽曲の伴奏に合わせて楽曲を歌唱しているユーザの画像情報およびユーザのユーザ音声情報がユーザ歌唱情報入力部７０を介して入力される。
【０２９４】
ステップＳ６３において、動画特定情報抽出部１０３は、楽曲情報入力部４６ｂから入力された楽曲情報、ユーザ歌唱情報入力部７０から入力されたユーザ音声情報および歌唱画像情報の少なくとも一つから歌唱画像特定情報としての動画特定情報を抽出する。
【０２９５】
動画特定情報には、ユーザ音声情報から抽出されるテンポ情報および音程情報、楽曲情報から抽出される楽曲名称情報および楽曲歌詞情報、歌唱画像情報から抽出されるユーザの動き情報、ユーザ情報に対応するユーザの嗜好情報、歌唱履歴情報等の関連情報などがある。これらの情報のいずれか一つの情報を動画特定情報としてもよく、またこれらの情報のどのような組み合わせをも動画特定情報とすることができる。
【０２９６】
ステップＳ６４において、カットデータ情報抽出部１０４ａは、動画特定情報に関連する、あらかじめカラオケシステムに送信されたカット画像情報に関連付けされた動画検索用情報を検索し、検索された動画検索用情報に関連付けされたカット画像情報を抽出する。
【０２９７】
カット画像情報に関連付けされた動画検索用情報には、動画特定情報に含まれる、テンポ情報および音程情報、楽曲名称情報および楽曲歌詞情報、ユーザの動き情報、ユーザの嗜好情報、歌唱履歴情報等の関連情報が含まれ、動画特定情報に含まれる情報と動画検索用情報に含まれる情報とが同一情報または近似する情報である場合に動画検索用情報に対応するカット画像情報が抽出される。
【０２９８】
カット画像情報は、あらかじめ他のユーザが楽曲を歌唱した歌唱画像であり、携帯端末電話、携帯端末、あるいはパソコン等の電子情報処理装置でカラオケシステムにカット画像情報に動画検索用情報を対応させてあらかじめ送信しておくことができる。
【０２９９】
またカット画像情報には、現在、楽曲を歌唱しているユーザの歌唱画像情報が含まれてもよい。
【０３００】
ステップＳ６５において、ステップＳ６４でカットデータ情報抽出部１０４ａによって抽出されたカット画像情報が表示部３０に表示されるので、ユーザは好みのカット画像情報を操作パネル４６等の入力部４６ｂを介して選択する。
【０３０１】
ステップＳ６６において、ユーザは好みのカット音声情報を操作パネル４６等の入力部４６ｂを介して選択する。
【０３０２】
すなわち、カットデータ情報選択部１０５ａで、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に関連付けられた関連音声情報と、ユーザ歌唱情報入力部７０によって入力されたユーザ音声情報の何れかが、選択音声情報としてユーザによって選択される。
【０３０３】
カット画像情報に関連付けられた関連音声情報は、他のユーザが楽曲を歌唱している画像情報等のカット画像情報に関連付けられた他のユーザが楽曲を歌唱している音声情報等の情報である。
【０３０４】
ステップＳ６７において、合成部１０６はステップＳ６５においてユーザに選択されたカット画像情報とステップＳ６６においてユーザに選択された選択音声情報とを合成する。また、ユーザが歌唱した楽曲の楽曲情報も合成される。
【０３０５】
すなわち、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報が関連付けられて、カット画像情報としてカラオケシステムにアップロードされることによって他のユーザがカラオケシステムを介してこのカット画像情報を利用でき、また、ユーザ自身もこのカット画像情報を視聴して楽しむことができる。
【０３０６】
このように、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報から、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を選択して、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うができる。
【０３０７】
また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。
【０３０８】
［９．映像表示装置３０等に表示される画面の一例］
次に、映像表示装置３０等に表示される画面の一例を図１４に示す。
【０３０９】
図１４は、ユーザであるＡさんがカラオケ装置１６にユーザ情報を入力してログインし、図１３おける手順を実行した後に表示部３０に表示される本発明のページの一例である。
【０３１０】
図１４では、ユーザが楽曲を歌唱している映像と、その映像に基づいて抽出および選択された他のユーザが楽曲を歌唱している映像とを並べて一画面で表示部３０に表示している様子を示したものである。
【０３１１】
すなわち、図１４における左半分の画面は、ユーザＡさんがカラオケ装置１６を使用して楽曲を歌唱したときに、ユーザ歌唱情報入力部７０を介して入力された歌唱画像情報を表示している様子を表した画面である。
【０３１２】
図１４における右半分の画面は、左半分の画面に表示されているユーザＡさんの歌唱画像を基に、カットデータ情報抽出部１０４ａが抽出し、カットデータ情報選択部１０５ａを介してユーザが選択した他のユーザであるＢさんの歌唱画像であるカット画像情報が表示されている様子を表した画面である。
【０３１３】
図１４における左半分の画面と右半分の画面とは、ユーザが歌唱している楽曲に同期しているので、同一の楽曲をユーザＡさんと他のユーザであるＢさんが同時に歌唱している様子が再生される。したがって、ユーザＡさんは、同一の楽曲をユーザＡさんと他のユーザであるＢさんが同時に歌唱している画像を選択および再生して楽しむことが容易にできることが分かる。
【０３１４】
また、図１４における映像が再生されている間に流れる音声情報は、ユーザＡさんの音声情報または他のユーザであるＢさんの音声情報がカットデータ情報選択部１０５ａによって選択されることができる。
【０３１５】
さらに、図１４において歌唱されている楽曲が、Ａメロ、Ｂメロ、さびの部分などの小節毎に、動画特定情報抽出部１０３で区分されている場合には、区分されている部分毎にユーザＡさんの音声情報または他のユーザであるＢさんの音声情報がカットデータ情報選択部１０５ａを介して選択されることができる。
【０３１６】
また、さらに、図１４において歌唱されている楽曲が、Ａメロ、Ｂメロ、さびの部分などの小節毎に、動画特定情報抽出部１０３で区分されている場合には、区分されている部分毎にユーザＡさんの歌唱画像情報または他のユーザであるＢさんの歌唱画像情報がカットデータ情報選択部１０５ａを介して選択されることができる。
【０３１７】
このように、ユーザは、歌唱画像情報と音声情報との組み合わせをカラオケ装置１６を介して自由かつ容易に楽しむことが可能になり、機械に詳しくないユーザでも視覚的に映像編集を容易に行える。
【０３１８】
また、ユーザがカラオケ装置１６にログインする場合に使用するユーザ情報と、歌唱画像情報と音声情報とを関連付けしておくことも可能である。
【０３１９】
入力されたユーザＩＤ情報はユーザが持つ識別情報と関連づけされているので、ネットワークに接続されている電子機器であればユーザの識別情報を入力すれば、いつでもどこでもユーザＩＤ情報によって特定される識別情報に基づいてそのユーザに関連した情報が読み出し可能になる。すなわち、ユーザはカラオケシステムにユーザＩＤ情報を入力してログインすることによって、カット画像情報およびカット画像情報に関連付けされた音声情報をいつでもどこでも利用することが可能である。
【０３２０】
なお、図１３における動作手順を、ハードディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。
【０３２１】
また各電子情報機器間の情報の送受信は有線、無線に限定されず、いずれの方法においても情報の送受信を行うことができる。
【符号の説明】
【０３２２】
１６ ・・・ カラオケ装置
３０ ・・・ 表示部
７０ ・・・ ユーザ歌唱情報入力部
４６ｃ ・・・ 楽曲情報入力部
１０１ ・・・ 楽曲データ付加情報抽出部
１０２ ・・・ カット情報抽出部
１０３ ・・・ 動画特定情報抽出部
１０４ ・・・ カット画像情報抽出部
１０４ａ ・ カットデータ情報抽出部
１０５ ・・・ カット画像情報選択部
１０５ａ ・ カットデータ情報選択部
１０６ ・・・ 合成部
１０７ ・・・ カット画像情報関連付部
１０８ ・・・ 動画データ付加情報抽出部
１０９ ・・・ 記憶部
【特許請求の範囲】
【請求項１】
カラオケシステムにおいて、
ユーザ情報が入力されるユーザ情報入力手段と、
前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段と、
ユーザの音声情報が入力されるユーザ音声情報入力手段と、
前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段と、
前記カット画像情報を表示する表示手段と、
前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段と、
前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、
前記カット画像情報を関連付けるカット画像情報関連付手段と、
を備えることを特徴とするカラオケシステム。
【請求項２】
請求項１に記載のカラオケシステムであって、
前記ユーザが選択した前記カット画像情報の履歴を示す動画選択履歴情報に含まれる、前記ユーザ情報に対応した動画データ付加情報を抽出する動画データ付加情報抽出手段を更に備え、
前記カット画像情報抽出手段は、前記動画データ付加情報に含まれるカット情報を抽出し、前記動画データ付加情報に含まれる前記カット情報に対応したカット画像情報を抽出することを特徴とするカラオケシステム。
【請求項３】
請求項１または２に記載のカラオケシステムであって、
前記カット画像情報抽出手段は、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を有し、かつ、直前に選択された前記カット画像情報に対応する前記カット情報に含まれる動画連結用情報に対応する連結されるべきカット画像情報を抽出することを特徴とするカラオケシステム。
【請求項４】
請求項１乃至３の何れかに記載のカラオケシステムであって、
前記表示手段は、前記カット画像情報に含まれる付加情報と、楽曲データ付加情報または動画データ付加情報の少なくとも何れか一方の付加情報との関連性に基づいて前記カット画像情報を区別して表示することを特徴とするカラオケシステム。
【請求項５】
請求項４に記載のカラオケシステムであって、
前記付加情報にはジャンル情報および年代情報が含まれ、前記表示手段は、前記カット画像情報の付加情報に含まれるジャンル情報および年代情報と、前記楽曲データ付加情報または前記動画データ付加情報の少なくとも何れか一方に含まれるジャンル情報および年代情報との一致する割合に基づいて前記カット画像情報を区別して表示することを特徴とするカラオケシステム。
【請求項６】
カラオケシステムの制御方法であって、
ユーザ情報が入力されるユーザ情報入力工程と、
前記ユーザ情報入力工程によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、
前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出工程と、
ユーザの音声情報が入力されるユーザ音声情報入力工程と、
前記ユーザ音声情報入力工程において入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出工程と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出工程と、
前記カット画像情報を表示する表示工程と、
前記表示工程において表示された前記カット画像情報が選択されるカット画像情報選択工程と、
前記カット画像情報選択工程において選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、
前記カット画像情報を関連付けるカット画像情報関連付工程と、
を備えることを特徴とするカラオケシステムの制御方法。
【請求項７】
カラオケシステムの制御プログラムであって、
ユーザ情報が入力されるユーザ情報入力手段、
前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段、
前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段、
ユーザの音声情報が入力されるユーザ音声情報入力手段、
前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段、
前記カット画像情報を表示する表示手段、
前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段、
前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段、
前記カット画像情報を関連付けるカット画像情報関連付手段、
として機能させることを特徴とするカラオケシステムの制御プログラム。
【請求項８】
請求項７に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記録されていることを特徴とする記録媒体。
【請求項９】
カラオケシステムにおいて、
ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段と、
前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段と、
ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段と、
前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段と、
前記カットデータ情報を表示する表示手段と、
前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段と、
前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段と、
を備えることを特徴とするカラオケシステム。
【請求項１０】
請求項９に記載のカラオケシステムであって、
前記表示手段は前記カットデータ情報選択手段によって選択された前記カットデータ情報を表示、または、前記カットデータ情報及び前記ユーザ歌唱情報を同時に表示することを特徴とするカラオケシステム。
【請求項１１】
カラオケシステムを制御する方法において、
ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力工程と、
前記楽曲情報入力工程において入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、
前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出工程と、
ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力工程と、
前記ユーザ歌唱情報入力工程において入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出工程と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出工程と、
前記カットデータ情報を表示する表示工程と、
前記表示工程において表示された前記カットデータ情報が選択されるカットデータ情報選択工程と、
前記カットデータ情報選択工程において選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成工程と、
を備えることを特徴とするカラオケシステムの制御方法。
【請求項１２】
カラオケシステムに含まれるコンピュータを制御する制御プログラムであって、
ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段と、
前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段と、
ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段と、
前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段と、
前記カットデータ情報を表示する表示手段と、
前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段と、
前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段と、
を備えることを特徴とするカラオケシステムの制御プログラム。
【請求項１３】
請求項１２に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記憶されていることを特徴とする記憶媒体。
【請求項１】
カラオケシステムにおいて、
ユーザ情報が入力されるユーザ情報入力手段と、
前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段と、
ユーザの音声情報が入力されるユーザ音声情報入力手段と、
前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段と、
前記カット画像情報を表示する表示手段と、
前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段と、
前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、
前記カット画像情報を関連付けるカット画像情報関連付手段と、
を備えることを特徴とするカラオケシステム。
【請求項２】
請求項１に記載のカラオケシステムであって、
前記ユーザが選択した前記カット画像情報の履歴を示す動画選択履歴情報に含まれる、前記ユーザ情報に対応した動画データ付加情報を抽出する動画データ付加情報抽出手段を更に備え、
前記カット画像情報抽出手段は、前記動画データ付加情報に含まれるカット情報を抽出し、前記動画データ付加情報に含まれる前記カット情報に対応したカット画像情報を抽出することを特徴とするカラオケシステム。
【請求項３】
請求項１または２に記載のカラオケシステムであって、
前記カット画像情報抽出手段は、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を有し、かつ、直前に選択された前記カット画像情報に対応する前記カット情報に含まれる動画連結用情報に対応する連結されるべきカット画像情報を抽出することを特徴とするカラオケシステム。
【請求項４】
請求項１乃至３の何れかに記載のカラオケシステムであって、
前記表示手段は、前記カット画像情報に含まれる付加情報と、楽曲データ付加情報または動画データ付加情報の少なくとも何れか一方の付加情報との関連性に基づいて前記カット画像情報を区別して表示することを特徴とするカラオケシステム。
【請求項５】
請求項４に記載のカラオケシステムであって、
前記付加情報にはジャンル情報および年代情報が含まれ、前記表示手段は、前記カット画像情報の付加情報に含まれるジャンル情報および年代情報と、前記楽曲データ付加情報または前記動画データ付加情報の少なくとも何れか一方に含まれるジャンル情報および年代情報との一致する割合に基づいて前記カット画像情報を区別して表示することを特徴とするカラオケシステム。
【請求項６】
カラオケシステムの制御方法であって、
ユーザ情報が入力されるユーザ情報入力工程と、
前記ユーザ情報入力工程によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、
前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出工程と、
ユーザの音声情報が入力されるユーザ音声情報入力工程と、
前記ユーザ音声情報入力工程において入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出工程と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出工程と、
前記カット画像情報を表示する表示工程と、
前記表示工程において表示された前記カット画像情報が選択されるカット画像情報選択工程と、
前記カット画像情報選択工程において選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、
前記カット画像情報を関連付けるカット画像情報関連付工程と、
を備えることを特徴とするカラオケシステムの制御方法。
【請求項７】
カラオケシステムの制御プログラムであって、
ユーザ情報が入力されるユーザ情報入力手段、
前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段、
前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段、
ユーザの音声情報が入力されるユーザ音声情報入力手段、
前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段、
前記カット画像情報を表示する表示手段、
前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段、
前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段、
前記カット画像情報を関連付けるカット画像情報関連付手段、
として機能させることを特徴とするカラオケシステムの制御プログラム。
【請求項８】
請求項７に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記録されていることを特徴とする記録媒体。
【請求項９】
カラオケシステムにおいて、
ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段と、
前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段と、
ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段と、
前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段と、
前記カットデータ情報を表示する表示手段と、
前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段と、
前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段と、
を備えることを特徴とするカラオケシステム。
【請求項１０】
請求項９に記載のカラオケシステムであって、
前記表示手段は前記カットデータ情報選択手段によって選択された前記カットデータ情報を表示、または、前記カットデータ情報及び前記ユーザ歌唱情報を同時に表示することを特徴とするカラオケシステム。
【請求項１１】
カラオケシステムを制御する方法において、
ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力工程と、
前記楽曲情報入力工程において入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、
前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出工程と、
ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力工程と、
前記ユーザ歌唱情報入力工程において入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出工程と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出工程と、
前記カットデータ情報を表示する表示工程と、
前記表示工程において表示された前記カットデータ情報が選択されるカットデータ情報選択工程と、
前記カットデータ情報選択工程において選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成工程と、
を備えることを特徴とするカラオケシステムの制御方法。
【請求項１２】
カラオケシステムに含まれるコンピュータを制御する制御プログラムであって、
ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段と、
前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段と、
ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段と、
前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段と、
前記カットデータ情報を表示する表示手段と、
前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段と、
前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段と、
を備えることを特徴とするカラオケシステムの制御プログラム。
【請求項１３】
請求項１２に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記憶されていることを特徴とする記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図９】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図９】
【図１４】
【公開番号】特開２０１０−２５０３１０（Ｐ２０１０−２５０３１０Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２０１０−７０５７７（Ｐ２０１０−７０５７７）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（３９６００４８３３）株式会社エクシング (394)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（３９６００４８３３）株式会社エクシング (394)
【Ｆターム（参考）】
[ Back to top ]