説明

カラオケ装置、カラオケシステム、セットトップボックス

【課題】歌詞テロップ等を含む撮影映像のアップロードを禁止し得るカラオケ装置等を提供する。
【解決手段】カラオケシステムは、カラオケ装置100と、サーバ600を有し、カラオケ装置100は、コマンダ200、STB300、カメラ410、第1ディスプレイ421等を有する。著作権フラグが付帯されたカラオケデータに係る楽曲を歌唱する歌唱者Sの様子を撮影する場合、コマンダ200は、単位歌詞テロップの更新タイミングで、フレーム抽出信号Feを出力する(S7)。フレーム抽出信号Feに応じて、STB300は、撮影映像フレームRfから文字情報を抽出し(S34)、当該文字情報と、フレーム抽出信号Feに含まれる単位歌詞テロップデータを比較する(S35)。当該カラオケ装置100は、比較結果に応じて、撮影映像フレームRfを含む投稿動画データCoのサーバ600へのアップロードを許容若しくは禁止する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歌唱者の映像を記録することができるカラオケ装置、カラオケシステム、セットトップボックスに関する。
【背景技術】
【0002】
従来、歌唱者の歌唱内容を記録可能なカラオケ装置が提案されている。例えば、特許文献1記載のカラオケ録音装置は、歌唱者の歌声を伴奏音楽と共に記録する。又、当該カラオケ録音装置は、伴奏音楽のみを記録し得るように構成されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−167592号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
ここで、カラオケ装置の分野においては、歌唱者の歌声のみならず歌唱者の歌唱の様子を撮影し映像として記録することにより、サービスの多様化、充実化を図り得る。このようなサービスを提供することは、カラオケ事業者にとって、集客力の向上という観点から好ましい。
【0005】
通常、カラオケシステムにおいて、歌唱者は、ディスプレイに表示された歌詞テロップを見ながら歌唱を行う。又、楽曲の再生中、所定の背景映像が前記ディスプレイに表示される。ここで、歌唱者の歌唱の様子を撮影する場合、前記ディスプレイの内容が、歌唱者と共に撮影・記録され得る。この点、歌詞テロップや背景映像の記録が禁止されたコンテンツを用いてカラオケ歌唱が行われる場合、当該歌詞テロップや背景映像の記録(サーバ等へのアップロードを含む)を禁止し得る構成が必要である。
【0006】
本発明は、上記問題点を解決するためになされたものであり、歌唱者の歌唱の様子を撮影し映像として記録し得るカラオケ装置等であって、記録が禁止されているカラオケコンテンツを用いた場合に、撮影内容の記録を適切に制限し得るカラオケ装置等を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一側面に係るカラオケ装置は、ディスプレイ、カメラ、撮影記録手段、映像出力制御手段、音声出力手段、撮影映像認識手段、送信制御手段、映像データと楽曲データとから成るカラオケデータと、を備えるカラオケ装置であって、前記音声出力手段は、カラオケデータに含まれる楽曲データに基づいて、音声信号を出力し、前記撮影記録手段は、前記カメラが撮影した撮影信号を記録し、前記映像出力制御手段は、前記カラオケデータに含まれる映像データを、楽曲データの楽曲進行に伴って、映像信号として前記ディスプレイに出力可能であり、撮影映像認識手段は、前記カラオケデータに対応付けられた制御情報に応じて、前記カラオケデータに含まれる映像信号と、前記撮影記録手段に記録された撮影信号とを比較し、当該比較結果に基づく結果信号を前記送信制御手段へ出力し、前記送信制御手段は、前記結果信号に基づいて、当該撮影信号に係る情報を、通信網を介して接続された外部装置に対して送信することを禁止することを特徴とする。
【0008】
当該カラオケ装置は、カラオケデータに対応付けられた制御情報に応じて、当該カラオケデータを構成する映像信号と、カメラを介して、前記撮影記録手段に記録された撮影信号を比較し、比較結果に基づく結果信号を生成する。即ち、当該カラオケ装置は、撮影信号に係る映像内容がカラオケデータに係る映像信号に基づく映像とどの程度一致するか否かを判断することができ、カラオケデータに係る映像が主体的に撮影されたか否かを判断し得る。そして、当該カラオケ装置は、生成された結果信号に基づいて、当該撮影信号に係る情報を、通信網を介して外部装置へ送信することを禁止する。従って、当該カラオケ装置は、歌唱者の歌唱の様子を撮影し映像として記録し得るという魅力を提供しつつ、記録(外部装置への送信を含む)が禁止されているカラオケコンテンツ等を用いた場合は、適切に、記録を制限し得る。
【0009】
尚、本発明における「撮影記録手段に記録された撮影信号」は、撮影を完了したものに限るものではなく、撮影中に一時的に記憶されたものを含む。即ち、撮影実行中に、画像メモリ等に一時的に格納された撮影データも、本発明における「撮影記録手段に記録された撮影信号」に該当する。
【0010】
本発明の他の側面に係るカラオケ装置は、楽曲データの楽曲進行に伴い、映像出力制御手段によって、所定の文字サイズが規定された歌詞テロップデータを構成する文字範囲を、ディスプレイに表示出力する。当該カラオケ装置は、ディスプレイに表示出力される文字範囲の種類、サイズと、撮影信号における歌詞テロップとの比較に基づいて、撮影信号に占めるディスプレイの割合を算出する。更に、当該カラオケ装置は、算出されたディスプレイの割合が所定割合を超える場合、当該撮影信号に係る情報を、外部装置に対して送信することを禁止する。従って、当該カラオケ装置は、前記カメラにおける撮影がディスプレイの表示内容を主体的に撮影したものであるか否かを判別し、ディスプレイの表示内容を主体的に撮影している場合、外部装置への送信を禁止し得る。一方、ディスプレイの表示内容を主体的に撮影していない場合、カラオケ装置は、撮影信号に係る情報を外部装置へ送信することを許容し得る。この結果、当該カラオケ装置は、歌唱者の歌唱の様子を撮影し映像として記録し得るという魅力を提供しつつ、記録(外部装置への送信を含む)が禁止されているカラオケコンテンツ等を用いた場合、適切に記録を制限し得る。
【0011】
本発明の他の側面に係るカラオケ装置は、タイミングデータに示された楽曲進行に伴うタイミングで、撮影信号から静止画を抽出し、当該静止画から文字情報を抽出する。更に、当該カラオケ装置は、静止画の抽出と同じタイミングで、ディスプレイに出力される歌詞テロップに相当する文字範囲を取得する。当該カラオケ装置は、静止画から抽出した文字情報と、取得した文字範囲を比較する。従って、当該カラオケ装置は、より精度良く、撮影信号に占めるディスプレイの割合を算出することができ、ディスプレイの表示内容を主体的に撮影しているか否かを、適切に判断し得る。この結果、当該カラオケ装置は、歌唱者の歌唱の様子を撮影し映像として記録し得るという魅力を提供しつつ、記録(外部装置への送信を含む)が禁止されているカラオケコンテンツ等を用いた場合、より適切に、記録を制限し得る。
【0012】
本発明の一側面に係るカラオケシステムは、コマンダ及びセットトップボックスからなるカラオケシステムであって、前記セットトップボックスは、カメラに接続され、前記カメラが撮影した撮影信号を記録する撮影記録手段を有し、前記コマンダは、ディスプレイに接続され、映像データと楽曲データとから成るカラオケデータに基づいて、当該カラオケデータに含まれる映像データを、楽曲データの楽曲進行に伴って、映像信号として前記ディスプレイに出力可能であり、更に、前記セットトップボックスは、前記カラオケデータに対応付けられた制御情報に応じて、当該カラオケデータに含まれる映像信号と、前記撮影記録手段に記録された撮影信号とを比較し、当該比較結果に基づく結果信号を前記コマンダへ出力し、前記コマンダは、前記結果信号に基づいて、当該撮影信号に係る情報を、通信網を介して接続された外部装置に対して送信することを禁止することを特徴とする。
【0013】
当該カラオケシステムは、コマンダ及びセットトップボックスから構成される。セットトップボックスは、カラオケデータに対応付けられた制御情報に応じて、カラオケデータを構成する映像信号と、カメラを介して、前記撮影記録手段に記録された撮影信号を比較し、比較結果に基づく結果信号を、コマンダに出力する。そして、コマンダは、結果信号に基づいて、撮影信号に係る情報を、通信網を介して接続された外部装置に対して送信することを禁止する。これにより、当該カラオケシステムは、コマンダ及びセットトップボックスの協働により、撮影信号に係る映像内容がカラオケデータに係る映像信号に基づく映像とどの程度一致するか否かを判断することができ、カラオケデータに係る映像が主体的に撮影されたか否かを判断し得る。この結果、当該カラオケシステムは、歌唱者の歌唱の様子を撮影し映像として記録し得るという魅力を提供しつつ、記録(外部装置への送信を含む)が禁止されているカラオケコンテンツ等を用いた場合は、適切に記録を制限し得る。
【0014】
本発明の一側面に係るセットトップボックスは、ディスプレイに接続され、且つ、映像出力制御手段を有するコマンダに接続されるセットトップボックスであって、カメラに接続され、前記カメラが撮影した撮影信号を記録する撮影記録手段と、前記撮影記録手段に記録された撮影信号を、通信網を介して接続された外部装置に対して送信する送信手段と、前記撮影記録手段に記録された撮影信号に対して、所定の画像処理を行う撮影映像認識手段と、を有し、更に、前記撮影映像認識手段は、映像データと楽曲データとから成るカラオケデータに対応付けられた制御情報に応じて、当該カラオケデータに係る楽曲データの楽曲進行に伴い、前記映像データに基づき前記ディスプレイに出力される映像信号と、前記撮影記録手段に記録された撮影信号とを比較し、当該比較結果に基づいて、当該撮影信号に係る情報を基に、前記外部装置に対して送信することを禁止する結果信号を作成し、当該結果信号を、前記送信手段へ出力することを特徴とする。
【0015】
当該セットトップボックスは、カラオケデータに対応付けられた制御情報に応じて、カラオケデータに係る楽曲データの楽曲進行に伴い、前記映像データに基づき前記ディスプレイに出力される映像信号と、前記撮影記録手段に記録された撮影信号とを比較し、当該比較結果に基づいて、当該撮影信号に係る情報を基に、前記外部装置に対して送信することを禁止する結果信号を作成し、当該結果信号を送信手段へ出力する。これにより、当該セットトップボックスは、撮影信号に係る映像内容がカラオケデータに係る映像信号に基づく映像とどの程度一致するか否かを判断することができ、カラオケデータに係る映像が主体的に撮影されたか否かを判断し得る。この結果、当該セットトップボックスは、歌唱者の歌唱の様子を撮影し映像として記録し得るという魅力を提供しつつ、記録(外部装置への送信を含む)が禁止されているカラオケコンテンツ等を用いた場合は、適切に記録を制限し得る。
【発明の効果】
【0016】
本発明によれば、カラオケ装置等は、歌唱者の歌唱の様子を撮影し、映像として記録するという魅力を提供しつつ、記録が禁止されているカラオケコンテンツを用いた場合に、外部装置に対する撮影内容の送信を禁止する。これにより、本発明は、カラオケ事業におけるサービスの多様化・充実化に貢献し得る。
【図面の簡単な説明】
【0017】
【図1】カラオケシステムに関する説明図である。
【図2】カラオケシステムの制御構成に関する説明図である。
【図3】カラオケデータに関する説明図である。
【図4】著作権フラグに関する説明図である。
【図5】フレーム抽出信号に関する説明図である。
【図6】映像データ再生処理プログラムのフローチャートである。
【図7】認識信号確認処理プログラムのフローチャートである。
【図8】撮影映像アップロード処理プログラムのフローチャートである。
【図9】STB側制御処理プログラムのフローチャートである。
【図10】STBで行われる制御内容に関する説明図である。
【図11】ディスプレイ表示内容と撮影内容等との関係を示す説明図である。
【発明を実施するための最良の形態】
【0018】
以下、本発明の一実施形態について説明する。
(システム構成)
先ず、本発明の一実施形態に係るカラオケシステムの構成について、図1、図2を参照しつつ説明する。本実施形態に係るカラオケシステムは、各地のカラオケ店舗等に設置されたカラオケ装置100と、通信網Nを介して接続されるサーバ600と、によって基本的に構成される(図2参照)。
【0019】
(カラオケ装置の構成)
当該カラオケ装置100は、コマンダ200、STB300(セットトップボックス、Set Top Box)、カメラ410、第1ディスプレイ421、第2ディスプレイ422、マイク430、スピーカ450から構成されている。図1に示すように、歌唱者Sは、スピーカ450から出力される所望の楽曲に係る伴奏に合わせて、マイク430を用いてカラオケ歌唱を行う。この時、歌詞テロップ及び背景画像が、第1ディスプレイ421、第2ディスプレイ422に表示される(例えば、図11(a)、(c)参照)。従って、歌唱者Sは、第2ディスプレイ422等における歌詞テロップの表示に従って、カラオケ歌唱を行い得る。そして、カメラ410は、通常、歌唱者Sを撮影可能な位置に配置されている。従って、当該カラオケ装置100は、カラオケ歌唱を行う歌唱者Sを撮影し得る。尚、当該カメラ410は、自由に移動させることができるので、第2ディスプレイ422を省略して、第1ディスプレイ421のみで構成してもよい。
【0020】
(コマンダの構成)
コマンダ200は、制御部210、映像データ再生部220、カラオケデータ記憶部230、指示入力部240、音声再生部、補助記憶部を有している。
制御部210は、CPU、ROM、RAMを有している。制御部210のCPUは、種々のプログラム(例えば、後述する映像データ再生処理プログラム等)を実行する。制御部210のROMは、種々のデータを記憶する。具体的には、制御部210のROMは、映像データ再生処理プログラム等(図6〜図8参照)を記憶している。コマンダ200のRAMは、種々のデータを一時的に記憶する。
そして、制御部210は、各種制御プログラムに基づいて、後述する著作権フラグに基づく著作権信号Crの入力を受け付ける。又、制御部210は、指示入力部240からの操作信号に基づいて、撮影開始信号St、撮影終了信号En、アップロード信号Uを出力する。更に、当該制御部210は、各種制御プログラムに基づいて、後述するフレーム抽出信号Feを出力する。又、当該制御部210は、STB300の画像認識部325から出力される認識信号Reを受け付ける。
【0021】
映像データ再生部220は、カラオケデータ記憶部230に格納されているカラオケデータの再生映像データPvを読み出し、当該再生映像データPvに基づく映像の再生を行う。即ち、当該映像データ再生部220は、映像データ再生部220は、MPEGデコーダを有している。MPEGデコーダは、MPEGフォーマットで生成されている再生映像データPv(即ち、後述する背景映像データBiや歌詞テロップデータLy)をデコードし、ビデオ信号Viを出力する。
又、当該映像データ再生部220は、当該カラオケデータに係る楽曲の進行に応じて出力されるテロップ色変換信号Ccに基づいて、歌詞テロップデータLyに基づき表示された歌詞テロップの表示色を、白色から所定の色(例えば、桃色、水色等)に変更して出力する。即ち、テロップ色変換信号Ccは、カラオケデータに係る楽曲の進行度合に応じて出力され、第1ディスプレイ421等に表示される歌詞テロップの表示色を変更するタイミングを示す。更に、当該映像データ再生部220は、当該再生映像データPvに係るビデオ信号Viと共に、マイク430から入力された音声信号Voを、第1ディスプレイ421、第2ディスプレイ422へ出力する。
【0022】
そして、図2に示すように、カラオケデータ記憶部230は、カラオケ歌唱に用いられる楽曲に対応するカラオケデータを記憶している。当該カラオケデータは、楽音データMu、再生映像データPvを含んでいる。楽音データMuは、ある楽曲に係る伴奏音楽データであり、当該楽音データMuをスピーカ450から出力することにより、カラオケ歌唱に用いられる。再生映像データPvは、第1ディスプレイ421、第2ディスプレイ422へ出力される映像データであり、背景映像データBiと、歌詞テロップデータLyにより構成される。
【0023】
背景映像データBiは、カラオケ歌唱に際し、第1ディスプレイ421等に表示される画面の背景映像を構成するデータである。例えば、背景映像データBiは、図13(a)に示す場合、雷雲の映像を構成する。尚、カラオケデータに係る楽曲を歌唱するアーティストのプロモーションビデオ映像を、当該背景映像データとすることも可能である。そして、歌詞テロップデータLyは、カラオケ歌唱に際し、第1ディスプレイ421等に表示される歌詞テロップを構成するデータである。当該歌詞テロップデータは、カラオケデータに係る楽曲の歌詞を示す文字データであり、歌詞テロップを構成する文字のサイズが規定されている。ここで、背景映像データBiに基づく背景映像や、歌詞テロップデータLyに基づく歌詞テロップは、カラオケ歌唱のための「再生」は許可されているが、「記憶」が禁止されている場合がある。図1に示す歌唱態様においては、カメラ410が撮影する映像に、背景映像、歌詞テロップが映ることが想定される(図13(b)参照)。
【0024】
本実施形態に係るカラオケシステムにおいては、歌詞テロップ、背景映像の記録が禁止されている場合、著作権フラグが、当該カラオケデータに対して付帯される(図3、図4参照)。図4に示すように、カラオケデータに対する著作権フラグが「1」の場合、当該著作権フラグは、カラオケデータに係る背景映像、歌詞テロップの記憶が禁止されていることを示す。一方、著作権フラグが「0」の場合、当該著作権フラグは、カラオケデータに係る背景映像、歌詞テロップの記憶が許可されていることを示す。従って、コマンダ200のCPUは、著作権フラグを確認することで、当該カラオケデータに係る背景映像、歌詞テロップの記憶が禁止されているか否かを把握し得る。尚、本実施形態では、カラオケデータに対して著作権フラグを付帯させていたが、楽曲(カラオケデータ)毎の著作権フラグをテーブルとして定義してもよい。この場合、当該テーブルは、コマンダ200の記憶装置(例えば、カラオケデータ記憶部230や、後述する補助記憶部)に記憶される。
【0025】
指示入力部240は、カラオケ装置100に関する各種指示の入力を受け付ける。当該指示入力部240は、コマンダ200に配設されたコントロールパネルや、リモコン(図示せず)に対するユーザの操作入力を受け付ける。当該リモコンは、指示入力部240との間で、無線接続されている。そして、当該指示入力部240は、ユーザの操作に基づく撮影開始信号St、撮影終了信号En、アップロード信号Uを、STB300へ出力する。
【0026】
コマンダ200の音声再生部は、カラオケデータを構成する楽音データMuに基づいて、楽曲の伴奏音楽の再生を行う。そして、伴奏音楽は、マイク430から入力された音声信号Voと混合され、混合音声信号として、スピーカ450から放音される。
【0027】
(STBの構成)
図2に示すように、STB300は、CPU、ROM、RAM、A/Dコンバータ310、静止画抽出部320、画像認識部325、MPEGエンコーダ330、記憶部340を有している。
STB300のCPUは、各種制御プログラム(例えば、後述するSTB側制御処理プログラム)に基づいて、STB300全体を制御する。STB300のROMは、種々のデータを記憶する。具体的には、STB300のROMは、STB側制御処理プログラム(図9参照)を記憶している。STB300のRAMは、種々のデータを一時的に記憶する。
A/Dコンバータ310は、カメラ410により撮影された撮影映像信号R(即ち、アナログ信号)を、デジタル信号に変換することで、撮影映像フレームRfを出力する。そして、当該A/Dコンバータ310は、撮影映像フレームRfを、MPEGエンコーダ330及び静止画抽出部320へ出力する。
静止画抽出部320は、コマンダ200から入力されたフレーム抽出信号Feに基づくタイミングで、A/Dコンバータ310から入力された撮影映像フレームRfを、静止画として抽出する。そして、当該静止画抽出部320は、フレーム抽出信号Feに従い抽出した撮影映像フレームRfを、画像認識部325へ入力する。
【0028】
ここで、フレーム抽出信号Feについて、図5を参照しつつ説明する。フレーム抽出信号Feは、後述する映像データ再生処理プログラムに従って、コマンダ200から出力される。図5に示すように、フレーム抽出信号Feは、フレーム抽出指示と、単位歌詞テロップデータにより構成される。フレーム抽出指示は、静止画抽出部320に、一の撮影映像フレームRfを静止画として抽出することを指示する制御指示である。単位歌詞テロップデータは、歌詞テロップデータLyの一部を構成し、第1ディスプレイ421等に楽曲の進行に応じて表示される一画面に含まれる歌詞テロップ(例えば、図13(a)の場合「○△×□○△△」)に係る文字列データである。又、単位歌詞テロップデータは、文字サイズデータを含んでいる。当該文字サイズデータは、単位歌詞テロップデータを構成する各文字に規定された文字サイズを示す。当該単位歌詞テロップデータは、画像認識部325へ入力され、画像処理(後述する抽出内容比較処理(S35))に用いられる。
【0029】
図2に示すように、画像認識部325は、静止画抽出部320により静止画として抽出された撮影映像フレームRfを対象として、所定の画像処理を行う。当該画像認識部325は、静止画抽出部320からの撮影映像フレームRfに対して、文字認識処理を行う。そして、当該画像認識部325は、文字認識処理により撮影映像フレームRfから抽出された文字情報(文字種類、文字サイズ)と、コマンダ200から入力された歌詞テロップデータLy(後述する単位歌詞テロップデータ)における文字種類、文字サイズとを比較する。抽出した文字情報と歌詞テロップの比較結果が所定条件を満たす場合、画像認識部325は、認識信号Reをコマンダ200へ出力する。
【0030】
MPEGエンコーダ330は、A/Dコンバータ310から入力された撮影映像フレームRfと、マイク430から入力された音声信号Voを、MPEGフォーマットでエンコードし、投稿動画データCoを生成する。ここで、投稿動画データCoのフォーマットは適宜選択することができる。
【0031】
記憶部340は、MPEGエンコーダ330で生成された投稿動画データCoを記憶する。これにより、カメラ410からの撮影映像信号R及びマイク430からの音声信号Voは、STB300によってキャプチャされる。そして、記憶部340に記憶された投稿動画データCoは、後述するサーバ600へのアップロードの対象となる。即ち、当該投稿動画データCoは、アップロード信号Uに基づいて、通信網Nを介して、投稿動画データベース610にアップロードされる。
【0032】
尚、STB300は、コマンダ200に接続されている。そして、当該STB300は、コマンダ200に対する外部接続装置として機能する。即ち、本発明は、既存のコマンダ200に対し、STB300を接続することで実現し得る。コマンダ200と、STB300は、制御線を介して接続されており、種々の制御信号を用いて互いの機器を制御し得る。
【0033】
(カメラの構成)
カメラ410は、図2に示すデジタルビデオカメラであり、画像形成部411を有し、コマンダ200から出力された撮影開始信号St、撮影終了信号Enに応じて、カメラ410による撮影に関する制御を行うと共に、撮像面に入射された光に基づいて、アナログ信号である撮影映像信号Rを生成する。そして、当該画像形成部411は、生成した撮影映像信号Rを、STB300のA/Dコンバータ310へ出力する。当該デジタルビデオカメラの構成については、既に公知であるため、その詳細な説明を省略する。
【0034】
(その他の構成)
続いて、カラオケ装置100を構成するその他の構成について、図1、図2を参照しつつ説明する。第1ディスプレイ421、第2ディスプレイ422は、カラオケ装置100から入力された映像信号に係る映像を画面上に描画・表示する。
マイク430は、歌唱者Sの音声信号Voを、コマンダ200及びMPEGエンコーダ330に入力する。
【0035】
図2に示すように、サーバ600は、投稿動画データベース610を有している。投稿動画データベース610は、カラオケ装置100からアップロードされた投稿動画データCoを記憶している。又、投稿動画データベース610は、パソコンやコマンダ等を介して、アクセスされ得る。投稿された撮影映像(後述する投稿動画データCo)の利用者は、パソコンや他のコマンダを介して、投稿動画データベース610から投稿動画データCoを読み出して再生することで、投稿された撮影映像を閲覧できる。
【0036】
又、当該サーバ600は、カラオケデータベース(図示せず)を有している。当該カラオケデータベースは、カラオケ楽曲の再生に用いられるカラオケデータを記憶している。又、サーバ600は、カラオケデータベースに記憶されているカラオケデータを、各カラオケ店舗に配信する。
【0037】
(コマンダ側制御処理の内容)
続いて、カラオケ装置100に係るコマンダ200の制御部210により実行される映像データ再生処理プログラムについて、図6を参照して詳細に説明する。
先ず、S1においては、制御部210は、リモコン等からの操作信号に基づいて、楽曲再生指示があったか否かを判断する。楽曲再生指示があった場合(S1:YES)、制御部210は、S2に処理を移行する。楽曲再生指示がない場合(S1:NO)、制御部210は、処理を待機する。
【0038】
S2に移行すると、制御部210は、ユーザ所望の楽曲の再生を開始する。この時、制御部210は、当該楽曲に係るカラオケデータをカラオケデータ記憶部230から読み出し、当該カラオケデータに係る再生映像データPv(即ち、背景映像データBi、歌詞テロップデータLy)に基づくビデオ信号Viを、映像データ再生部220を介して、第1ディスプレイ421、第2ディスプレイ422へ出力する。同時に、制御部210は、音声再生部により、当該カラオケデータに係る楽音データMuを、スピーカ450から出力する。その後、制御部210は、S3に処理を移行する。
【0039】
S3では、制御部210は、楽曲の進行に応じて、順次、単位歌詞テロップを第1ディスプレイ421、第2ディスプレイ422に表示出力する。ここで、単位歌詞テロップは、歌詞テロップデータLyの一部を構成し、第1ディスプレイ421等の一画面に表示される歌詞テロップを意味する。即ち、当該単位歌詞テロップに係る文字列は、上述した単位歌詞テロップデータの内容に対応する。単位歌詞テロップを、所定サイズの白色文字で、第1ディスプレイ421等に表示出力した後、制御部210は、S4に処理を移行する。尚、単位歌詞テロップの表示色は、楽曲の進行に伴い出力されるテロップ色変換信号Ccに基づいて、白色から所定の色に変更される。これにより、歌唱者Sは、単位歌詞テロップに係る歌詞の歌唱タイミングを把握し得る。
【0040】
S4においては、制御部210は、リモコン等からの操作信号に基づいて、投稿指示があったか否かを判断する。投稿指示があった場合(S4:YES)、制御部210は、アップロード信号UをSTB300に出力し、S5に処理を移行する。ここで、楽曲の再生を開始した後の最初のS4において、投稿指示があったと判断した場合(S4:YES)、制御部210は、撮影開始信号Stを、STB300及びカメラ410へ出力する。これにより、カメラ410は、歌唱者Sの歌唱の様子に関する撮影を開始する。一方、投稿指示がなかった場合(S4:NO)、制御部210は、S8に処理を移行する。
【0041】
S5においては、制御部210は、当該楽曲に係るカラオケデータに、著作権フラグが付帯されているか否かを判断する。即ち、制御部210は、著作権信号Crに基づいて、当該カラオケデータの著作権フラグが「1」であるか否かを判断する。著作権フラグが付帯されている場合(S5:YES)、制御部210は、S6に処理を移行する。著作権フラグが付帯されていない場合(S5:NO)、制御部210は、S8に処理を移行する。
【0042】
S6に移行すると、制御部210は、当該カラオケデータの楽曲進行に伴って、第1ディスプレイ421等に表示されている単位歌詞テロップが更新されたか否かを判断する。表示されている単位歌詞テロップが更新されている場合(S6:YES)、制御部210は、S7に処理を移行する。一方、単位歌詞テロップが更新されていない場合(S6)、制御部210は、S8に処理を移行する。
【0043】
一般に、カラオケ装置等における歌詞テロップは、一画面分の歌詞テロップ(即ち、単位歌詞テロップ)が第1ディスプレイ421等に表示されると、楽曲の進行に伴い、表示中の歌詞テロップの表示色が変更される。そして、表示されている歌詞テロップの表示色が全て変更された時点で、第1ディスプレイ421は、新たに、一画面分の歌詞テロップを表示する。即ち、S6では、制御部210は、第1ディスプレイ421等に表示される単位歌詞テロップが、新たな単位歌詞テロップに変更されたか否かを判断する。尚、このS6の判断は、楽曲の再生開始からの経過時間によって判断し得る。
【0044】
S7では、制御部210は、フレーム抽出信号出力処理を実行する。フレーム抽出信号出力処理(S7)では、制御部210は、当該楽曲のカラオケデータに著作権フラグが付帯されているため、再生映像データPvの記録が禁止されているものと判断し、フレーム抽出信号Feを生成して出力する。具体的には、制御部210は、先ず、更新された単位歌詞テロップに係る単位歌詞テロップデータと、フレーム抽出指示により、フレーム抽出信号Feを生成する。そして、制御部210は、生成したフレーム抽出信号Feを、STB300へ出力する。尚、この時、制御部210は、フレーム抽出信号Feに係るフレーム抽出指示を、静止画抽出部320へ出力し、フレーム抽出信号Feに係る単位歌詞テロップデータを、画像認識部325へ出力する。フレーム抽出信号Feを出力した後、制御部210は、S8に処理を移行する。
【0045】
S8においては、制御部210は、当該カラオケデータに係る楽曲の再生が終了したか否かを判断する。楽曲の再生を終了した場合(S8:YES)、制御部210は、S9に処理を移行する。一方、楽曲が未だ再生中である場合(S8:NO)、制御部210は、S3に処理を戻し、当該楽曲の再生を継続する。
【0046】
S9に移行すると、制御部210は、撮影終了信号出力処理を実行する。撮影終了信号出力処理(S9)では、制御部210は、楽曲の再生終了に伴い、歌唱者Sの歌唱が終了したものと判断し、撮影終了信号EnをSTB300及びカメラ410に出力する。これにより、カメラ410は、歌唱者Sの歌唱の様子に関する撮影を終了する。撮影終了信号出力処理(S9)を終了すると、制御部210は、映像データ再生処理プログラムを終了する。
【0047】
次に、コマンダ200の制御部210により実行される認識信号確認処理プログラムについて、図7を参照しつつ詳細に説明する。ここで、認識信号Reは、STB300において、撮影映像フレームRfに占める再生映像データPvを表示する第1ディスプレイ421等の割合が所定割合以上であり、再生映像データPvを表示する第1ディスプレイ421等を主体的に撮影していると判断し得る場合に、STB300の静止画抽出部320から、コマンダ200へ出力される。即ち、当該認識信号確認処理プログラムは、著作権フラグが付帯された再生映像データPvの画面を主体的にカメラ410で撮影しているか否かを確認するプログラムである。
【0048】
先ず、S11では、制御部210は、リモコン等からの操作信号に基づいて、当該カラオケデータに係る再生映像データPvの再生が開始された否かを判断する。再生映像データPvの再生が開始されている場合(S11:YES)、制御部210は、S12に処理を移行する。一方、再生映像データPvの再生が開始されていない場合(S11:NO)、制御部210は、処理を待機する。
【0049】
S12においては、制御部210は、制御部210を構成するRAMに形成された認識信号検出メモリをリセットする。当該認識信号検出メモリの記憶内容を初期化した後、制御部210は、S13に処理を移行する。
【0050】
S13に移行すると、制御部210は、認識信号Reを受信したか否かを判断する。認識信号Reは、後述するSTB側制御処理プログラム(図9)において、撮影映像フレームRfに含まれる文字の種類、サイズと、単位歌詞テロップデータを構成する文字の種類、サイズの比較結果が所定の条件を満たす場合に、画像認識部325から出力される。認識信号Reを受信した場合(S13:YES)、制御部210は、S14に処理を移行する。一方、認識信号Reを受信していない場合(S13:NO)、制御部210は、S15に処理を移行する。
【0051】
S14では、制御部210は、認識信号Reを受信したことに伴って、認識信号検出メモリをセットする。認識信号検出メモリがセットされていることは、撮影映像フレームRfから抽出された文字と、単位歌詞テロップデータに係る文字との比較結果が所定の条件を満たすことを意味し、カメラ410によって再生映像データPvを含む映像を主体的に記録されていることを示す。識別信号検出メモリをセットした後、制御部210は、S15に処理を移行する。
【0052】
S15においては、制御部210は、再生映像データPvの再生を終了したか否かを判断する。再生映像データPvの再生を終了している場合(S15:YES)、制御部210は、認識信号確認処理プログラムを終了する。一方、再生映像データPvの再生が未だ終了していない場合(S15:NO)、制御部210は、S13に処理を戻す。
【0053】
次に、コマンダ200の制御部210により実行される撮影映像アップロード処理プログラムについて、図8を参照しつつ詳細に説明する。撮影映像アップロード処理プログラムは、カメラ410で撮影した投稿動画データCoのアップロードを行う際に実行される。
先ず、S21では、制御部210は、ユーザによる投稿指示があったか否かを判断する。具体的には、制御部210は、アップロード信号Uの出力があったか否かにより、S21の判断処理を行う。投稿指示があった場合(S21:YES)、制御部210は、S22に処理を移行する。一方、投稿指示がなかった場合(S21:NO)、制御部210は、処理を待機する。
【0054】
S22においては、制御部210は、RAMに形成された認識信号検出メモリがセットされているか否かを判断する。認識信号検出メモリがセットされている場合(S22:YES)、制御部210は、S23に処理を移行する。一方、認識信号検出メモリがセットされていない場合(S22:NO)、制御部210は、S24に処理を移行する。
【0055】
S23に移行すると、制御部210は、アップロード不許可処理を実行する。アップロード不許可処理(S23)では、記録が禁止された再生映像データPvの映像が投稿動画データCoに主体的に含まれているものと判断し、制御部210は、投稿動画データCoのアップロードを行うことなく、投稿動画データCoを記憶部340から削除するように、STB300へ制御信号を出力する。又、当該アップロード不許可処理(S23)では、制御部210は、「当該投稿動画データCoのアップロードは禁止されており、アップロードできない旨」の画像(以下、「不許可報知画像」という。)を、第1ディスプレイ421等に表示する(図11(d)参照)。アップロード不許可処理を終了すると、制御部210は、撮影映像アップロード処理プログラムを終了する。
【0056】
S24では、制御部210は、アップロード許可処理を実行する。アップロード許可処理(S24)では、制御部210は、通信網Nを介して、当該投稿動画データCoをサーバ600の投稿動画データベース610へアップロードすべく、STB300に対して、制御信号を出力する。アップロード許可処理を終了すると、制御部210は、撮影映像アップロード処理プログラムを終了する。尚、アップロード許可処理で出力された制御信号を受信すると、STB300は、制御信号が示す投稿動画データCoを記憶部340から読み出し、通信網Nを介して、投稿動画データベース610へアップロードする。
【0057】
(STB側制御処理の内容)
続いて、カラオケ装置100に係るSTB300で実行されるSTB側制御処理プログラムについて、図9を参照しつつ詳細に説明する。当該STB側制御処理プログラムは、STB300のCPUによって、実行される。
先ず、S31においては、STB300は、コマンダ200から出力された撮影開始信号Stを受信したか否かを判断する。撮影開始信号Stを受信している場合(S31:YES)、STB300は、S32に処理を移行する。撮影開始信号Stを受信していない場合(S31:NO)、STB300は、処理を待機する。
【0058】
S32に移行すると、STB300は、フレーム抽出信号Feを受信したか否かを判断する。上述したように、当該フレーム抽出信号Feは、記録が禁止された再生映像データPvを第1ディスプレイ421等の画面上で再生し、当該画面上に表示される単位歌詞テロップの内容が更新された場合に、コマンダ200から出力される(S7)。フレーム抽出信号Feを受信した場合(S32:YES)、STB300は、S33に処理を移行する。一方、フレーム抽出信号Feを受信していない場合(S32:NO)、STB300は、S39に処理を移行する。
【0059】
S33では、STB300は、撮影映像フレーム抽出処理を実行する。撮影映像フレーム抽出処理(S33)では、STB300は、受信したフレーム抽出信号Feに基づいて、カメラ410からの撮影映像信号Rに基づく一の撮影映像フレームRfを静止画として抽出し、画像認識部325に入力する。撮影映像フレームRfを静止画として抽出した後、STB300は、S34に処理を移行する。
【0060】
S34においては、STB300は、文字情報抽出処理を実行する。具体的には、STB300は、画像認識部325を制御して、S33で静止画として抽出した撮影映像フレームRfを対象として文字認識処理を行い、当該撮影映像フレームRfに含まれる文字を抽出する。そして、STB300は、抽出した文字の種類及びサイズに基づいて、文字情報を生成する。即ち、当該文字情報は、文字認識処理により抽出された文字の種類及び文字のサイズを示す。尚、文字情報抽出処理(S34)における文字認識処理の処理内容については、既に公知であるため、その詳細な説明を省略する。文字情報抽出処理の解析結果をSTB300のRAMに格納すると、STB300は、文字情報抽出処理を終了し、S35に処理を移行する。
【0061】
ここで、撮影映像フレーム抽出処理(S33)で静止画として抽出される撮影映像フレームRfは、フレーム抽出信号Feに基づいて抽出される。そして、当該フレーム抽出信号Feは、第1ディスプレイ421等に表示される単位歌詞テロップが更新された時点(S6:YES)で、STB300へ出力される。上述したように、単位歌詞テロップの表示色は、表示された当初は白色であり、楽曲の進行に伴い所定の色に変更される。従って、静止画として抽出される撮影映像フレームRfに、第1ディスプレイ421等の画面が含まれていた場合、単位歌詞テロップは、白色文字として含まれる。一般に、種々の色彩を用いて構成される背景映像データBiに係る背景映像について、文字認識処理は、歌詞テロップが白色文字である場合に、認識精度を高く行うことができる。即ち、フレーム抽出信号Feに係るタイミングで抽出された撮影映像フレームRfにも文字認識処理を行うので、当該STB300は、より高い精度で文字情報を抽出し得る。
【0062】
S35に移行すると、STB300は、抽出内容比較処理を実行する。抽出内容比較処理(S35)では、STB300は、S34で撮影映像フレームRfから抽出した文字情報と、フレーム抽出信号Feの受信に伴い入力された単位歌詞テロップデータを比較する。具体的には、STB300は、文字情報を構成する文字の種類と、単位歌詞テロップデータを構成する文字の種類に関する比較を行う。更に、STB300は、文字情報に係る文字サイズと、単位歌詞テロップデータに含まれる文字サイズデータ(図5参照)に基づく文字サイズを比較することにより、サイズ比率を算出する。その後、STB300は、文字種類の比較結果及びサイズ比率を、STB300のRAMに格納し、S36に処理を移行する。
【0063】
抽出内容比較処理(S35)で算出されるサイズ比率は、単位歌詞テロップデータに係る文字サイズに対する文字情報に係る文字サイズの比率を示す。上述したように、単位歌詞テロップデータに含まれる文字サイズは、規定値であり、当該カラオケシステムにおける第1ディスプレイ421、第2ディスプレイ422の画面サイズも特定し得る。従って、STB300は、抽出内容比較処理(S35)で算出されるサイズ比率に基づいて、抽出された撮影映像フレームRfにおける第1ディスプレイ421等のサイズを特定し得る。更に、カメラ410により撮影された撮影映像フレームRfのサイズも特定することができるので、当該STB300は、算出されたサイズ比率により、撮影映像フレームRfに占める第1ディスプレイ421等の割合を算出し、第1ディスプレイ421等の表示内容が主体的に撮影されているか否かの指標として用いることができる。
【0064】
S36では、STB300は、抽出内容比較処理(S35)の比較結果を読み出し、文字情報に係る文字の種類と、単位歌詞テロップデータを構成する文字の種類が一致するか否かを判断する。文字の種類が一致している場合(S36:YES)、STB300は、再生映像データPvを表示する第1ディスプレイ421等を撮影していると判断し、S37に処理を移行する。一方、文字の種類が一致していない場合(S36:NO)、STB300は、S39に処理を移行する。
【0065】
S37においては、STB300は、抽出内容比較処理(S35)で算出したサイズ比率が所定比率以上であるか否かを判断する。ここで、所定比率とは、撮影映像が面の中に、再生映像が映り込まれる割合であり、設計的な数値(例えば、撮影映像画面サイズ10:再生映像画面サイズ1)を決めておけばよいが、著作者毎に映像に対する考え方に応じて異なることが多い。このような場合、予め、所定比率を再生映像データPvの著作者と決定し、再生映像データPvに著作権フラグと共に、所定比率を示す情報を添付しておけば良い。
コマンダ200側の処理は、制御部210がS5において著作権フラグを検出した場合、添付された所定比率を読み取り、S5:YESからS7に至る前までの期間で、所定比率をSTB300に対してLy信号線を用いて送信することで、STB300側で所定比率を設定する。この期間は、フレーム抽出信号出力処理(S7)以前なので、STB300側も(S32)に至っていないので、処理に支障をきたすことはない。
これら、再生映像データPvの構成、コマンダ200側処理、及びSTB300側処理とによって、再生映像毎に所定比率を決定することには、再生映像データPvの著作者毎の再生映像に対する意向を反映し得る効果を生じさせる。
サイズ比率が所定比率以上である場合(S37:YES)、STB300は、再生映像データPvを表示する第1ディスプレイ421等を、主体的に撮影しているものと判断し、S38に処理を移行する。一方、サイズ比率が所定比率よりも小さい場合(S37:NO)、STB300は、S39に処理を移行する。
【0066】
S38に移行すると、STB300は、認識信号出力処理を実行する。認識信号出力処理(S38)では、STB300は、S33〜S37の処理により、再生映像データPvを表示する第1ディスプレイ421等を主体的に撮影しているものと判断し、コマンダ200の制御部210へ、認識信号Reを出力する。認識信号出力処理(S38)を終了すると、STB300は、S39へ処理を移行する。
【0067】
S39においては、STB300は、撮影終了信号Enを受信したか否かを判断する。撮影終了信号Enを受信している場合(S39:YES)、STB300は、STB側制御処理プログラムを終了する。一方、撮影終了信号Enを受信していない場合(S39:NO)、STB300は、S32に処理を戻す。
【0068】
(アップロード禁止映像再生時の制御内容)
続いて、本実施形態に係るカラオケ装置100において、STB側制御プログラムを実行した場合の制御内容について、図10を参照しつつ説明する。尚、以下の説明においては、著作権フラグが付帯されているカラオケデータの再生映像データPvに基づく映像(以下、アップロード禁止映像)を第1ディスプレイ421等に出力する場合について説明する。
【0069】
先ず、コマンダ200側で行われるアップロード禁止映像の出力に係る制御内容を説明する。上述したように、アップロード禁止映像に係るカラオケデータに対しては、カラオケデータ記憶部230において、著作権フラグ「1」が付帯されている(図3、図4参照)。そして、アップロード禁止映像の再生(例えば、図13(c)参照)を開始すると、制御部210は、当該アップロード禁止映像を第1ディスプレイ421等に描画出力する。この時、制御部210は、アップロード禁止映像における単位歌詞テロップを楽曲の進行に応じて更新するタイミングで、フレーム抽出信号FeをSTB300へ出力する(S5〜S7)。
【0070】
ここで、本実施形態に係るカラオケ装置100は、歌唱者Sの歌唱の様子をカメラ410により撮影し得る。歌唱者Sの歌唱の様子を撮影する際に、アップロード禁止映像を表示している第1ディスプレイ421等が映り込む場合がある。
【0071】
続いて、本実施形態に係るカラオケ装置100において、カメラ410による撮影に際し、アップロード禁止映像を表示する第1ディスプレイ421等(例えば、図11(c)参照)が映り込んだ場合のSTB300側の制御について説明する。
上述したように、カメラ410は、撮影開始信号Stを受信すると、歌唱者Sの歌唱の様子等を撮影する。そして、STB300は、カメラ410によって撮影された撮影映像信号Rを、A/Dコンバータ310により、撮影映像フレームRfに変換する。ここで、コマンダ200からフレーム抽出信号Feを受信すると、STB300は、当該フレーム抽出信号Feに係るフレーム抽出指示を静止画抽出部320へ、単位歌詞テロップデータを画像認識部325へ入力する(図10参照)。
【0072】
STB300は、フレーム抽出指示を静止画抽出部320へ入力することで、単位歌詞テロップが更新された時点の撮影映像フレームRfを、静止画として抽出する(S33)。フレーム抽出信号Feは単位歌詞テロップが更新されたタイミングで出力されるので、抽出した撮影映像フレームRfは、白色文字で表示された単位歌詞テロップを含み得る。その後、STB300は、静止画として抽出した撮影映像フレームRfを、画像認識部325へ入力する。
【0073】
抽出した撮影映像フレームRfを画像認識部325へ入力すると、STB300は、先ず、入力された撮影映像フレームRfを対象とした文字認識処理を行い、撮影映像フレームRfに含まれる文字を、当該撮影映像フレームRfから抽出する。例えば、当該撮影映像フレームRfが図11(c)に示す内容を含む場合、STB300は、文字認識処理により、撮影映像フレームRfから、「○○××△△△」の文字列(即ち、単位歌詞テロップ)を抽出する。その後、STB300は、抽出した文字の文字種類及び文字サイズを特定して文字情報を生成し、文字情報をSTB300のRAMに格納する(S34)。
【0074】
その後、STB300は、抽出内容比較処理(S35)により、抽出した文字情報と、フレーム抽出信号Feに係る単位歌詞テロップデータを比較する。STB300は、文字情報に係る文字と単位歌詞テロップの文字に関し、文字種類の一致・不一致を判断することにより、文字情報に係る文字が第1ディスプレイ421等に表示された単位歌詞テロップに由来するかを確認する(S36)。更に、STB300は、文字情報に係る文字サイズと、単位歌詞テロップの文字サイズデータが示す文字サイズに基づいて、サイズ比率を算出する(S37)。STB300は、サイズ比率を算出することにより、撮影映像フレームRfが、アップロード禁止映像を表示する第1ディスプレイ421等を主体的に撮影したものかを判断し得る。
【0075】
STB300は、抽出内容比較処理(S35)の比較結果により、アップロード禁止映像を表示する第1ディスプレイ421等を主体的に撮影したものと判断した場合(S36:YES、S37:YES)、画像認識部325を介して、認識信号Reを、コマンダ200の制御部210へ出力する(S38)。
【0076】
認識信号Reを受信した場合、制御部210は、認識信号検出メモリをセットする(S14)。そして、制御部210は、認識信号検出メモリがセットされている場合(S22:YES)、アップロード不許可処理(S23)を実行する。このアップロード不許可処理(S23)では、制御部210は、STB300へ制御信号を出力し、投稿動画データCoを投稿動画データベース610へアップロードすることなく、記憶部340から削除する。この時、制御部210は、不許可報知画像(図11(d)参照)を第1ディスプレイ421等に表示する。
【0077】
尚、撮影映像フレームRfが第1ディスプレイ421等の表示内容を含む場合であっても、サイズ比率に基づいて、当該第1ディスプレイ421等を主体的に撮影していなければ(S37:NO)、STB300は、認識信号Reをコマンダ200へ出力することはない。即ち、アップロード禁止映像が主体的に撮影されていない場合、当該カラオケ装置100は、当該撮影映像フレームRfを含む投稿動画データCoを、投稿動画データベース610へアップロードする(S24)。
【0078】
(アップロード許可映像再生時の制御内容)
次に、本実施形態に係るカラオケシステムにおいて、アップロード許可映像が第1ディスプレイ421等で再生されている場合における制御内容について、図面を参照しつつ詳細に説明する。ここで、アップロード許可映像とは、歌詞テロップ、背景映像の記録が許可されている映像であり、著作権フラグが「0」を示すカラオケデータに係る映像を意味する。
【0079】
ここで、アップロード許可映像に係る楽曲を歌唱する歌唱者Sの様子を撮影する場合、第1ディスプレイ421等は、当該アップロード許可映像に係る再生映像データPvに基づいて、歌詞テロップ、背景映像を含む映像を出力する(図13(a)参照)。著作権フラグが「0」を示すため、アップロード許可映像を第1ディスプレイ421等に出力する際、制御部210は、フレーム抽出信号FeをSTB300へ出力することはない。従って、STB300は、認識信号Reをコマンダ200に出力することもない。これにより、アップロード許可映像に係る楽曲の場合、カラオケ装置100は、第1ディスプレイ421等を主体的に撮影していたとしても、投稿動画データCoを投稿動画データベース610へアップロードし得る。
【0080】
以上説明したように、本発明は、カラオケ装置100と、サーバ600と、を有するカラオケシステムであって、カラオケ装置100は、コマンダ200、STB300、カメラ410等を有する。著作権フラグが付帯されているカラオケデータに係る楽曲について歌唱者Sが歌唱する様子を撮影する場合、カラオケシステムは、単位歌詞テロップが更新されたタイミングで、フレーム抽出信号FeをSTB300へ出力し(S7)、撮影映像フレームRfを静止画として抽出する(S33)。
【0081】
そして、当該カラオケシステムは、抽出した撮影映像フレームRfに対する文字認識処理により、撮影映像フレームRfに含まれている文字情報を抽出して(S34)、文字情報に係る文字種類及び文字サイズと、単位歌詞テロップデータに係る文字種類及び文字サイズを比較する(S35)。この比較結果により、撮影映像フレームRfが第1ディスプレイ421等を主体的に撮影したものと判断する場合(S37:YES)、カラオケシステムは、撮影した投稿動画データCoを、投稿動画データベース610へアップロードすることを禁止する(図7〜図9参照)。
【0082】
これにより、当該カラオケシステムは、アップロード禁止映像を主として含む投稿動画データCoのサーバ600へのアップロードを確実に禁止し得る。又、アップロード不許可処理(S23)において、カラオケ装置100は、不許可報知画像(図11(d)参照)を、第1ディスプレイ421等に表示する。これにより、歌唱者Sは、当該カラオケデータのアップロードが禁止されていること、撮影した投稿動画データCoのアップロードが行わなかったことを把握し得る。
【0083】
又、当該カラオケシステムは、アップロード禁止映像を含む投稿動画データCoであっても、アップロード禁止映像が主として含まれていない場合(例えば、偶然に第1ディスプレイ421等が映り込んだ場合)であれば、当該投稿動画データCoのアップロードを許容する(S24)。従って、当該カラオケシステムは、アップロード禁止映像を適切に保護しつつ、歌唱者の歌唱の様子を撮影し映像として記録し得るカラオケサービスを提供し得る。
【0084】
更に、著作権フラグが付帯されていないカラオケデータに係る楽曲について歌唱者Sが歌唱する様子を、カメラ410で撮影し、その内容をアップロードする場合、当該カラオケシステムは、フレーム抽出信号Feを出力することなく、再生映像データPvを第1ディスプレイ421等に出力する。この結果、当該カラオケシステムは、撮影映像フレームRfを静止画として抽出することもなく、認識信号Reを出力することもない。従って、当該カラオケシステムは、当該撮影映像フレームRfを含む投稿動画データCoをサーバ600へアップロードする(S24)。これにより、当該カラオケシステムは、アップロード許可映像の内容を含む映像データを記録し、当該映像データをサーバ600にアップロードし得る。
【0085】
この結果、カラオケシステム及びカラオケ装置は、アップロード禁止映像を用いた場合、歌唱者Sの歌唱の様子を撮影し、アップロードすることを、撮影映像フレームRfにおけるアップロード禁止映像の関係に応じて適切に禁止し得る。そして、アップロード許可映像を用いた場合、歌唱者Sの歌唱の様子と共に、第1ディスプレイ421等の表示内容を撮影し、アップロードすることができるので、カラオケシステムは、カラオケ事業におけるサービスの多様化・充実化に貢献し得る。
【0086】
以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能である。例えば、本実施形態においては、STB300において、撮影映像フレームRfの抽出(S33)、文字情報の抽出(S34)、文字情報と単位歌詞テロップデータの比較(S35)を行うように構成しているが、この態様に限定するものではない。例えば、コマンダ200によって、S33〜S37の処理を実行するように構成することも可能である。この場合、コマンダ200は、単位歌詞テロップの更新タイミングで、STB300から撮影映像フレームRfを取得し、当該コマンダ200に配設された画像認識部により、文字情報抽出処理を実行すれば、コマンダ200で、S34〜S37と同様の処理を行うことができる。
【0087】
又、本実施形態においては、撮影映像フレームRfから色情報を検出した場合、当該撮影映像フレームRfを含む投稿動画データCoをサーバ600にアップロードする際に、アップロードを禁止し、記憶部340から削除する構成であったが、この態様に限定するものではない。例えば、S37で認識信号Reを出力する時点で、カメラ410による撮影を中止するように構成することも可能である。
【0088】
更に、上述した各フローチャートは単なる一例であり、該各フローチャートの処理と同等の結果を得ることできるものであれば、他のフローチャートによって処理を実現してもよい。
【0089】
そして、上述したカラオケ装置、カラオケシステム、STBに係る方法、該方法をコンピュータに実行させるためのプログラム、該プログラムを記録した記録媒体等としても本発明は実現可能である。
【符号の説明】
【0090】
100 カラオケ装置
200 コマンダ
210 制御部
220 映像データ再生部
230 カラオケデータ記憶部
300 STB
320 静止画抽出部
325 画像認識部
340 記憶部
410 カメラ
421 第1ディスプレイ
422 第2ディスプレイ
450 スピーカ
Pv 再生映像データ
Cr 著作権信号
Fe フレーム抽出信号
Rf 撮影映像フレーム
Ly 歌詞テロップデータ
Re 認識信号

【特許請求の範囲】
【請求項1】
ディスプレイ、カメラ、撮影記録手段、映像出力制御手段、音声出力手段、撮影映像認識手段、送信制御手段、映像データと楽曲データとから成るカラオケデータと、を備えるカラオケ装置であって、
前記音声出力手段は、カラオケデータに含まれる楽曲データに基づいて、音声信号を出力し、
前記撮影記録手段は、前記カメラが撮影した撮影信号を記録し、
前記映像出力制御手段は、前記カラオケデータに含まれる映像データを、楽曲データの楽曲進行に伴って、映像信号として前記ディスプレイに出力可能であり、
撮影映像認識手段は、前記カラオケデータに対応付けられた制御情報に応じて、当該カラオケデータに含まれる映像信号と、前記撮影記録手段に記録された撮影信号とを比較し、当該比較結果に基づく結果信号を前記送信制御手段へ出力し、
前記送信制御手段は、前記結果信号に基づいて、当該撮影信号に係る情報を、通信網を介して接続された外部装置に対して送信することを禁止する
ことを特徴とするカラオケ装置。
【請求項2】
請求項1記載のカラオケ装置であって、
前記映像データは、所定の文字サイズが規定された文字から成る歌詞テロップデータを含み、
前記送信制御手段は、
前記楽曲データの楽曲進行に伴い、前記歌詞テロップデータを構成する所定の文字範囲を、順次、前記映像出力制御手段に表示指示すると共に、前記文字範囲を前記撮影映像認識手段へ送付し、
前記撮影映像認識手段は、
前記文字範囲の文字種類、及び前記文字範囲のサイズと、前記撮影記録手段に記録された撮影信号における前記歌詞テロップとの比較に基づいて、前記撮影記録手段に記録される撮影信号に占める前記ディスプレイの割合を算出し、
算出された割合が所定割合を超える場合、当該撮影信号に係る情報を、前記外部装置に対して送信することを禁止する結果信号を、前記送信制御手段へ出力する
ことを特徴とするカラオケ装置。
【請求項3】
請求項2記載のカラオケ装置であって、
前記カラオケデータは、更に、前記歌詞テロップの表示タイミングを示すタイミングデータを含み、
前記送信制御手段は、
前記タイミングデータに示された楽曲進行に伴うタイミングで、前記撮影映像認識手段に対し、静止画抽出指示と、前記ディスプレイに出力される歌詞テロップに相当する文字範囲を送付し、
前記撮影映像認識手段は、
前記静止画抽出指示に従って、前記撮影信号から静止画を抽出し、
抽出した静止画から、文字情報を抽出し、
抽出した文字情報と、前記送信制御手段から送付された文字範囲と、を比較する
ことを特徴とするカラオケ装置。
【請求項4】
コマンダ及びセットトップボックスからなるカラオケシステムであって、
前記セットトップボックスは、
カメラに接続され、
前記カメラが撮影した撮影信号を記録する撮影記録手段を有し、
前記コマンダは、
ディスプレイに接続され、
映像データと楽曲データとから成るカラオケデータに基づいて、当該カラオケデータに含まれる映像データを、楽曲データの楽曲進行に伴って、映像信号として前記ディスプレイに出力可能であり、
更に、
前記セットトップボックスは、
前記カラオケデータに対応付けられた制御情報に応じて、当該カラオケデータに含まれる映像信号と、前記撮影記録手段に記録された撮影信号とを比較し、当該比較結果に基づく結果信号を前記コマンダへ出力し、
前記コマンダは、
前記結果信号に基づいて、当該撮影信号に係る情報を、通信網を介して接続された外部装置に対して送信することを禁止する
ことを特徴とするカラオケシステム。
【請求項5】
ディスプレイに接続され、且つ、映像出力制御手段を有するコマンダに接続されるセットトップボックスであって、
カメラに接続され、
前記カメラが撮影した撮影信号を記録する撮影記録手段と、
前記撮影記録手段に記録された撮影信号を、通信網を介して接続された外部装置に対して送信する送信手段と、
前記撮影記録手段に記録された撮影信号に対して、所定の画像処理を行う撮影映像認識手段と、を有し、
更に、前記撮影映像認識手段は、
映像データと楽曲データとから成るカラオケデータに対応付けられた制御情報に応じて、
当該カラオケデータに係る楽曲データの楽曲進行に伴い、前記映像データに基づき前記ディスプレイに出力される映像信号と、前記撮影記録手段に記録された撮影信号とを比較し、当該比較結果に基づいて、当該撮影信号に係る情報を基に、前記外部装置に対して送信することを禁止する結果信号を作成し、当該結果信号を、前記送信手段へ出力する
ことを特徴とするセットトップボックス。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−158642(P2011−158642A)
【公開日】平成23年8月18日(2011.8.18)
【国際特許分類】
【出願番号】特願2010−19133(P2010−19133)
【出願日】平成22年1月29日(2010.1.29)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】