説明

動画情報配信システム

【課題】録音時に鳴らされる効果音を配信対象となる動画情報に好適に反映させる動画情報配信システムを提供する。
【解決手段】演奏曲の出力と併行して音声情報及び映像情報を記録する演奏記録制御手段148と、演奏記録制御手段148により録音された音声情報において、効果音に対応する周波数成分を抑制する音声情報編集制御手段150と、その音声情報編集制御手段150により編集された音声情報と、対応して記録された映像情報と、対応して出力された効果音の種類及び出力タイミングを表す情報とを、関連付けて動画データベース68に記憶させる投稿受付制御手段152と、配信に係る動画情報に、関連付けられた効果音を適用して出力させる動画出力制御手段160、168とを、備えたものであることから、録音時に鳴らされる効果音を配信対象となる動画情報に好適に反映させる動画情報配信システム10を提供することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の通信回線を介して複数の通信端末装置に対する動画情報の配信を行う動画情報配信システムに関し、特に、録音時に鳴らされる効果音を配信対象となる動画情報に好適に反映させるための改良に関する。
【背景技術】
【0002】
所定の通信回線を介して複数の通信端末装置に対する動画情報の配信を行う動画情報配信システムが知られており、近年における通信技術の向上に伴いコンテンツビジネスの中核として更なる発展が期待されている。そのような動画情報配信システムにおいては、通常、所謂動画投稿サイトにおいて所定の通信端末装置から投稿(アップロード)された複数の動画情報が所定のデータベースに記憶され、任意の通信端末装置によりその動画投稿サイトを介してのアクセスが可能とされる。それにより、上記所定の通信端末装置により投稿された動画情報が、任意の通信端末装置により閲覧可能とされる。
【0003】
前記動画情報配信システムの一例として、通信回線を介して接続された投稿側端末装置から、予め定められた複数の楽曲データの何れかに対応する動画情報の投稿を受け付け、その投稿された動画情報を対応する楽曲データと関連付けて動画データベースに記憶させると共に、通信回線を介して接続された配信側端末装置からの配信要求に応じてその動画データベースに記憶された動画情報を配信する動画情報配信システムが知られている。例えば、特許文献1に記載されたカラオケシステムがそれである。この技術によれば、カラオケルーム等に設置されたカラオケ装置を投稿側端末装置として、そのカラオケ装置におけるカラオケ演奏に際して記録された動画情報をホストサーバにアップロードして配信可能とすることで、パーソナルコンピュータや移動体通信端末等の情報処理端末に対して、カラオケルームにおける動画情報を配信するシステムを実現することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−60627号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、本出願人は、カラオケ装置を通信端末装置として前記動画情報配信システムに組み込み、そのカラオケ装置による所定の演奏曲の出力に際して撮像装置により撮影された映像情報及び音声入力装置により入力された音声情報の投稿を受け付けて閲覧可能とする技術を発案し、実用化している。また、この技術に関して、共通の演奏曲に関連付けられた複数の動画情報を組み合わせて共演動画情報を編集し、前記カラオケ装置のみならずパーソナルコンピュータ等の通信端末装置により閲覧可能とする共演動画(コラボ動画)のサービスを展開している。
【0006】
ここで、前記カラオケ装置においては、一般に、例えばタンバリンやシンバル等の鳴り物や、予め用意された歓声、拍手や合いの手等の効果音(サウンドエフェクト)が出力可能とされており、そのカラオケ装置に備えられた入力装置による入力操作に応じて、予め定められた複数種類の効果音から選択される効果音がカラオケ演奏中に出力される。また、前記動画情報配信システムにおいて、前記カラオケ装置によるカラオケ演奏の様子が前記動画情報として記録される場合には、上記のようにして出力された効果音が前記音声入力装置から取り込まれ、その動画情報における音声情報に含まれることが考えられる。しかし、そのように効果音が含まれる動画情報同士で前記共演動画が構成される場合、例えば効果音が重なってしまうことにより瞬間的に音量が大きくなったり、相互の効果音の出力バランスによりちぐはぐな印象となる等の不具合があった。更に、前記共演動画に限らず単体としての動画情報に関しても、カラオケ演奏としては良いのに変なタイミングで効果音が入っているため聞き苦しいものになったり、他の利用者がその動画情報に合わせてカラオケ演奏を行う際に効果音が邪魔になる等の弊害が考えられる。このような課題は、動画情報配信システムの使用性を向上させるために本発明者が鋭意研究を続ける過程において新たに見出したものである。
【0007】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、録音時に鳴らされる効果音を配信対象となる動画情報に好適に反映させる動画情報配信システムを提供することにある。
【課題を解決するための手段】
【0008】
斯かる目的を達成するために、本発明の要旨とするところは、通信回線を介して接続された投稿側端末装置から、予め定められた複数の楽曲データの何れかに対応する動画情報の投稿を受け付け、その投稿された動画情報を対応する楽曲データと関連付けて動画データベースに記憶させると共に、通信回線を介して接続された配信側端末装置からの配信要求に応じてその動画データベースに記憶された動画情報を配信する動画情報配信システムであって、前記複数の楽曲データから選択される楽曲データに対応する演奏曲を出力させる演奏制御手段と、その演奏制御手段による演奏曲の出力に際して、前記投稿側端末装置に備えられた入力装置による入力操作に応じて、予め定められた複数種類の効果音から選択される効果音を、その入力操作に対応する出力タイミングで出力させる効果音出力制御手段と、前記演奏制御手段による演奏曲の出力と併行して音声入力装置により入力される音声情報を録音する録音制御手段及び撮像装置により撮影される映像情報を記録する録画制御手段と、前記録音制御手段により録音された音声情報において、その音声情報に対応して前記効果音出力制御手段により出力された効果音に対応する周波数成分を抑制する編集を行う音声情報編集制御手段と、その音声情報編集制御手段により編集された音声情報と、その音声情報に対応して前記録画制御手段により記録された映像情報と、その音声情報に対応して前記効果音出力制御手段により出力された効果音の種類及び出力タイミングを表す情報とを、対応付けて前記動画データベースに記憶させる投稿受付制御手段と、前記配信側端末装置からの配信要求に応じて、前記動画データベースに記憶されたその配信要求に係る映像情報及び音声情報に、対応付けられた効果音の種類及び出力タイミングに基づいてその効果音を適用した動画情報を、前記配信側端末装置において出力させる動画出力制御手段とを、備えたことを特徴とするものである。
【発明の効果】
【0009】
このようにすれば、前記複数の楽曲データから選択される楽曲データに対応する演奏曲を出力させる演奏制御手段と、その演奏制御手段による演奏曲の出力に際して、前記投稿側端末装置に備えられた入力装置による入力操作に応じて、予め定められた複数種類の効果音から選択される効果音を、その入力操作に対応する出力タイミングで出力させる効果音出力制御手段と、前記演奏制御手段による演奏曲の出力と併行して音声入力装置により入力される音声情報を録音する録音制御手段及び撮像装置により撮影される映像情報を記録する録画制御手段と、前記録音制御手段により録音された音声情報において、その音声情報に対応して前記効果音出力制御手段により出力された効果音に対応する周波数成分を抑制する編集を行う音声情報編集制御手段と、その音声情報編集制御手段により編集された音声情報と、その音声情報に対応して前記録画制御手段により記録された映像情報と、その音声情報に対応して前記効果音出力制御手段により出力された効果音の種類及び出力タイミングを表す情報とを、対応付けて前記動画データベースに記憶させる投稿受付制御手段と、前記配信側端末装置からの配信要求に応じて、前記動画データベースに記憶されたその配信要求に係る映像情報及び音声情報に、対応付けられた効果音の種類及び出力タイミングに基づいてその効果音を適用した動画情報を、前記配信側端末装置において出力させる動画出力制御手段とを、備えたものであることから、カラオケ演奏に際して出力された効果音を動画情報とは別個の情報として管理することで、その動画情報における音声情報に効果音が含まれることに起因する不具合の発生を好適に防止できる。すなわち、録音時に鳴らされる効果音を配信対象となる動画情報に好適に反映させる動画情報配信システムを提供することができる。
【0010】
ここで、好適には、前記音声情報に対応して前記効果音出力制御手段により出力された、それぞれ異なる出力タイミングにおける複数の効果音のうち、前記動画出力制御手段による適用対象とする効果音を選択する効果音選択制御手段を備えたものである。このようにすれば、投稿側端末装置における動画情報の記録時、或いは配信側端末装置における動画情報の閲覧時等において、その動画情報に適用される効果音を任意に設定することができ、動画情報配信システムの利用性を更に向上させることができる。
【0011】
また、好適には、前記効果音選択制御手段は、前記音声情報に対応付けられた効果音の種類及び出力タイミングに基づいて、その音声情報の出力と併行して各効果音を出力させる視聴制御を行うと共に、各出力タイミングにおける効果音を前記動画出力制御手段による適用対象とするか否かの設定を行うものである。このようにすれば、対象となる動画情報を閲覧しつつその動画情報に適用される効果音を任意に設定することができ、動画情報配信システムの利用性を更に向上させることができる。
【0012】
また、好適には、前記効果音選択制御手段は、前記投稿側端末装置及び配信側端末装置の少なくとも一方に機能的に備えられたものである。このようにすれば、投稿側端末装置における動画情報の記録時、或いは配信側端末装置における動画情報の閲覧時等において、その動画情報に適用される効果音を任意に設定することができ、動画情報配信システムの利用性を更に向上させることができる。
【0013】
また、好適には、前記投稿受付制御手段により投稿される、共通の楽曲データに関連付けられた1対の動画情報を組み合わせて共演動画情報を編集し、その編集された共演動画情報をその共通の楽曲データと関連付けて前記動画データベースに記憶させる共演動画編集制御手段と、前記配信側端末装置からの配信要求に応じて、前記動画データベースに記憶されたその配信要求に係る動画情報及び共演動画情報をその配信側端末装置に配信する動画配信制御手段とを、備え、前記動画出力制御手段は、その動画配信制御手段により配信される共演動画情報の組み合わせに係る1対の動画情報を同期して前記配信側端末装置において出力させるものである。このようにすれば、共通の演奏曲に関連付けられた複数の動画情報を組み合わせて共演動画情報を編集し、前記カラオケ装置のみならずパーソナルコンピュータ等の通信端末装置により閲覧可能とする共演動画(コラボ動画)サービスにおいて、録音時に鳴らされる効果音を配信対象となる動画情報に好適に反映させる動画情報配信システムを提供することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施例である映像情報配信システムの構成を説明する図である。
【図2】図1の映像情報配信システムに備えられたサーバ装置の構成を例示する図である。
【図3】図1の映像情報配信システムに備えられた通信端末装置であるパーソナルコンピュータの構成を例示する図である。
【図4】図1の映像情報配信システムに備えられた通信端末装置であるカラオケ装置の構成を例示する図である。
【図5】図2のサーバ装置のCPU、図3のパーソナルコンピュータのCPU、乃至図4のカラオケ装置のCPUに備えられた制御機能の要部を説明する機能ブロック線図である。
【図6】図4のカラオケ装置による演奏曲の出力に際してビデオカメラにより撮影された映像情報を例示する図である。
【図7】図4のカラオケ装置による共演映像に係る同期演奏制御において、図6の映像情報が背景映像として用いられる様子を説明する図である。
【図8】図3に示すパーソナルコンピュータ等の通信端末装置に表示された共演映像の一例を示す図である。
【図9】図5に示す動画データベースにおける所定の動画情報に関連付けられて記憶された効果音の種類及び出力タイミングを例示する図である。
【図10】図4に示すカラオケ装置の映像表示装置や電子早見本装置のタッチパネルディスプレイ等に表示された効果音設定映像の一例を示す図である。
【図11】図4に示すカラオケ装置のCPUによる第1の動画投稿制御の要部を説明するフローチャートである。
【図12】図4に示すカラオケ装置のCPUによる第2の動画投稿制御の要部を説明するフローチャートである。
【図13】図12に示す制御におけるコラボ演奏動画投稿制御の要部を説明するフローチャートである。
【図14】図2に示すサーバ装置のCPUによる動画投稿受付制御の要部を説明するフローチャートである。
【図15】図4に示すカラオケ装置のCPU或いは図3に示すPCのCPU等による効果音選択制御の要部を説明するフローチャートである。
【図16】図2に示すサーバ装置のCPUによる動画配信/効果音適用制御の要部を説明するフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。
【実施例】
【0016】
図1は、本発明の一実施例である動画情報配信システム10の構成を説明する図である。この図1に示すように、本実施例の動画情報配信システム10は、情報配信サービス提供会社によって運営されるサーバ装置(センタ装置)12と、通信端末装置である複数(図1では2つを例示している)のパーソナルコンピュータ14(以下、PC14と称する)と、同じく通信端末装置である複数(図1では2つを例示している)の携帯電話機16と、所定の通信回線18とを、備えて構成されている。この通信回線18は、例えば公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続されたものであり、上記サーバ装置12及びPC14は、何れも上記通信回線18に接続されることで、その通信回線18を介して相互に情報の通信が可能とされている。また、上記携帯電話機16は中継基地局20を介して上記通信回線18に接続されており、上記サーバ装置12とその携帯電話機16との間でも相互に情報の通信が可能とされている。
【0017】
また、本実施例の動画情報配信システム10は、カラオケ装置を用いたカラオケシステム30を含んで構成されている。例えば、図1に示すように、カラオケボックス、スナック、旅館等の店舗32における複数の個室34a、34b、34c、・・・(以下、特に区別しない場合には単に個室34と称する)にそれぞれ1台乃至は複数台ずつ(図1では1台ずつ)カラオケ装置36a、36b、36c、・・・(以下、特に区別しない場合には単にカラオケ装置36と称する)が設置されている。これら複数のカラオケ装置36は、ルータ44を介して上記通信回線18に接続されており、上述のようにその通信回線18に接続されたサーバ装置12等との相互間でその通信回線18を介して情報の通信が可能とされている。すなわち、上記カラオケ装置36は、上記PC14及び携帯電話機16等と同様に、上記通信回線18に接続されて上記サーバ装置12との間で情報の通信を行う通信端末装置に対応する。
【0018】
前記動画情報配信システム10に含まれるカラオケシステム30において、前記サーバ装置12は、カラオケ情報(楽曲データ)、背景映像情報、曲間情報等のデジタルコンテンツ(Digital Contents)の保管や入出力管理の基本的な制御を行うサーバとして機能し、前記通信回線18を介して上記カラオケ装置36に定期的にコンテンツの配信を行うと共に、そのカラオケ装置36からの要求に応じて所定の機能制御プログラムを送信する。また、上記カラオケシステム30は、複数の電子早見本装置38a、38b、38c、・・・(以下、特に区別しない場合には単に電子早見本装置38と称する)を備えており、上記カラオケ装置36の利用に際して、各利用者(グループ)毎に1台乃至数台ずつの電子早見本装置38が貸与され、各個室34において後述するように上記カラオケ装置36の遠隔操作装置として用いられるようになっている。上記店舗32内には上記複数のカラオケ装置36を相互に接続するLAN40が敷設されており、上記電子早見本装置38からのカラオケ装置36への入力は、所定のアクセスポイント42及びLAN40を介したLAN通信等により行われる。
【0019】
図2は、前記サーバ装置12の構成を例示する図である。このサーバ装置12は、中央演算処理装置であるCPU52により随時書込読出メモリであるRAM56の一時記憶機能を利用しつつ読出専用メモリであるROM54に予め記憶されたプログラムに従って信号処理を行う所謂ノイマン式コンピュータであり、ファイルの管理や入出力制御、上記通信回線18を介してのアクセス等の管理、その通信回線18を介しての通信制御等の各種制御を実行するサーバである。また、図2に示すように、例えばTFT(Thin Film Transistor Liquid Crystal)やPDP(Plasma Display Panel)等の映像表示装置58と、その映像表示装置58による映像の表示を制御するための映像表示制御装置であるビデオボード(グラフィックスボード)60と、キーボード等の入力装置62と、その入力装置62による入力を処理するための入力インターフェイス64と、上記CPU52等を前記通信回線18に接続するためのモデム66とを、備えて構成されている。
【0020】
また、前記サーバ装置12は、前記動画情報配信システム10及びカラオケシステム30に係る各種情報を記憶するデータベースとして、動画データベース68、利用者データベース70、及び楽曲データベース(効果音データベース)72をはじめとする各種データベースを備えている。これら動画データベース68、利用者データベース70、及び楽曲データベース72それぞれの記憶内容については、図5に示す各種制御機能の説明と併せて後述する。なお、図2に示すように、本実施例では上記動画データベース68、利用者データベース70、及び楽曲データベース72がそれぞれ異なる記憶装置に設けられた態様について説明するが、それらデータベースが同一の記憶装置に設けられたものであってもよい。また、図2に示すように、上記楽曲データベース72は、後述する効果音データベースを含むものであるが、その効果音データベースは、上記楽曲データベース72から分離されて異なる記憶装置に設けられたものであってもよい。また、上記動画データベース68、利用者データベース70、及び楽曲データベース72がそれぞれ個別のサーバ装置に備えられ、それら複数のサーバ装置が相互に連繋して以下に説明する本実施例の制御を実行するものであってもよい。
【0021】
図3は、前記PC14の構成を例示する図である。このPC14は、中央演算処理装置であるCPU74により随時書込読出メモリであるRAM78の一時記憶機能を利用しつつ読出専用メモリであるROM76に予め記憶されたプログラムに従って信号処理を行う所謂ノイマン式コンピュータであり、一般にデスクトップパソコンやノートパソコン等と称される家庭用パーソナルコンピュータである。また、図3に示すように、映像表示部として機能するTFTやPDP等の映像表示装置80と、その映像表示装置80による映像の表示を制御するための映像表示制御装置であるビデオボード82と、キーボード84及びマウス86等の入力装置と、それら入力装置による入力を処理するための入力インターフェイス88と、上記CPU74等を前記通信回線18に接続するためのモデム90と、記憶装置であるハードディスク92とを、備えて構成されている。また、このPC14は、所謂WWW(World Wide Web)ウェブサイトの情報を表示させると共にそのウェブサイトに従って各種入力等を行うことができるブラウザ(WWWブラウザ)等の一般的なアプリケーションを機能的に備えたものである。
【0022】
図4は、前記カラオケ装置36の構成を例示するブロック線図である。この図4に示すように、前記カラオケ装置36は、TFTやPDP等の映像表示装置100と、その映像表示装置100による映像の表示を制御するビデオボード等の映像出力制御部102と、映像情報デコーダ104と、ビデオミキサ106と、音源であるシンセサイザ108と、音声入力装置であるマイクロフォン110と、そのマイクロフォン110から入力される音声をディジタル信号に変換するためのA/Dコンバータ112と、アンプミキサ114と、スピーカ116と、操作パネル118と、その操作パネル118等からの入力信号を処理する入出力インターフェイス120と、撮像装置であるビデオカメラ122と、中央演算処理装置であるCPU124と、読出専用メモリであるROM126と、随時書込読出メモリであるRAM128と、記憶装置であるハードディスク130と、モデム132と、LANポート134と、前記電子早見本装置38やリモコン装置98等の入力装置からのリモコン信号を受信するためのリモコン受信部136とを、備えて構成されている。
【0023】
前記映像出力制御部102は、前記CPU124において生成された歌詞文字映像等の文字映像(テロップ)を出力する文字映像出力装置として機能する他、前記映像表示装置100による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ104は、利用者が歌詞を参照しながら歌唱する際に前記ハードディスク130に記憶された背景映像情報に基づいて所定の背景映像を再生(デコード)する背景映像再生装置である。この背景映像情報は、例えば、MPEG(Moving Picture Experts Group)形式のデータであり、そのMPEGデータに基づいて前記映像情報デコーダ104により再生された背景映像は、前記ビデオミキサ106へ送られる。また、そのビデオミキサ106は、前記CPU124において生成され且つ前記映像出力制御部102から出力される文字映像と、前記映像情報デコーダ104により再生される背景映像とを合成して前記映像表示装置100に表示させる映像合成装置である。
【0024】
前記シンセサイザ108は、前記ハードディスク130から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、MIDI(Musical Instrument Digital Interface)形式のデータであり、そのMIDIデータに基づいて前記シンセサイザ108により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ114へ送られる。そのアンプミキサ114では、送られてきた音楽信号と前記マイクロフォン110を介して入力される利用者(演奏者)の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ116から出力される。また、前記A/Dコンバータ112は、音声入力装置である前記マイクロフォン110から入力されるアナログ信号としての音声情報をディジタル信号に変換して前記CPU124等へ供給する。
【0025】
前記操作パネル118は、前記カラオケ装置36の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン(スイッチ)或いはつまみを備えた入力装置である。また、前記カラオケ装置36には、前記操作パネル118の一部機能を遠隔で実行するための入力装置として機能するリモコン装置98が備えられており、前記リモコン受信部136は、そのリモコン装置98から送信されるリモコン信号を受信して前記CPU124へ供給する。また、前記カラオケ装置36と電子早見本装置38との対応付け(くくりつけ)処理も前記リモコン受信部136を介して行われ、そのようにして前記カラオケ装置36に対応付けられた電子早見本装置38も同様に入力装置として機能する。なお、本実施例においては、前記カラオケ装置36に備えられたリモコン装置98や対応付け処理の行われた電子早見本装置38等の入力装置もそのカラオケ装置36の一部を構成するものであるとして以下の説明を行う。
【0026】
前記ビデオカメラ122は、例えばCCD(charge coupled device)等の撮像素子及びレンズを備え、そのレンズから入射される映像をCCDにより検知し、その映像を電子情報(映像データ)として取得する所謂デジタルビデオカメラであり、少なくとも動画(時間の経過に従い変化する動きのある映像)を撮影し得るものであるが、必要に応じて静止画(スチル写真)を撮影できるように構成されたものであってもよい。このビデオカメラ122により撮影された映像情報は、図示しないビデオ端子等のインターフェイスを介して前記CPU124等へ供給され、例えばAVI(Audio-Video Interleaved)形式、MPEG(Moving Picture Experts Group)形式、FLV(Flash Video)形式等の映像ファイルとして前記RAM128等に記憶される。なお、このビデオカメラ122は、必ずしも前記カラオケ装置36の一部として備えられたものでなくともよく、例えば前記個室34における所定位置に固設された別体のビデオカメラ乃至前記携帯電話機16に備えられた撮像装置等により撮影された映像が所定のインターフェイスを介して前記カラオケ装置36に入力される態様も考えられる。
【0027】
前記CPU124は、前記RAM128の一時記憶機能を利用しつつ前記ROM126に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置36に係る各種制御を実行する。すなわち、前記電子早見本装置38やリモコン装置98等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を前記RAM128に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク130から前記RAM128に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報(楽曲データ)を読み出す楽曲データ読出制御、カラオケ演奏曲の演奏が進行するのに応じてそのRAM128から前記シンセサイザ108へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記RAM128に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像出力制御部102へ送信する歌詞文字映像出力制御、上記演奏出力制御に際して前記映像情報デコーダ104を制御して所定の背景映像を再生させる背景映像出力制御、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御、及び前記通信回線18を介した前記サーバ装置12との間の情報通信制御等の基本的な制御に加えて、後述する本実施例の同期演奏制御や演奏記録制御等の各種制御を実行する。
【0028】
前記モデム132は、前記カラオケ装置36を前記通信回線18に接続するための装置であり、前記CPU124から出力されるディジタル信号をアナログ信号に変換して前記通信回線18に送り出すと共に、その通信回線18を介して伝送されるアナログ信号をディジタル信号に変換して前記CPU124に供給する処理を行う。なお、前記店舗32に備えられた複数のカラオケ装置36のうち何れかのカラオケ装置36が前記ルータ44の機能を備えてマスターコマンダとして前記通信回線18に接続される態様も考えられ、その場合、前記モデム132はそのマスターコマンダとして機能するカラオケ装置36には必要とされるが、そのマスターコマンダを介して前記サーバ装置12との間で情報の通信を行う他のカラオケ装置36には必ずしも設けられなくともよい。
【0029】
前記LANポート134は、前記カラオケ装置36をLAN40を介して他のカラオケ装置36や電子早見本装置38等の他の機器に接続するための接続器であり、前記カラオケ装置36は、そのようにLAN40を介して接続されることで、他のカラオケ装置36や電子早見本装置38等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント42を介して受信される前記電子早見本装置38からの選曲入力を受け付けて前記RAM128に設けられた予約曲テーブルに記憶したり、そのアクセスポイント42を介して前記カラオケ装置36から電子早見本装置38へ所定の情報を送信したりというように、電波を介して前記カラオケ装置36と電子早見本装置38との間における相互の情報のやりとりが実行される。
【0030】
前記ハードディスク130には、楽曲データベース138及び効果音データベース140(図5を参照)をはじめとする各種データベースが設けられている。この楽曲データベース138は、前記カラオケ装置36により出力可能な演奏曲にそれぞれ対応する多数(例えば、数万曲分)の楽曲データ(カラオケデータ)を記憶する。この楽曲データは、前記シンセサイザ108により所定の楽器の演奏音を生成するためのMIDIデータ等の演奏情報と、歌詞文字映像(歌詞テロップ)を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字映像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツIDである各演奏曲に固有の選曲番号により識別される。また、上記楽曲データには、その演奏曲の曲名、アーティスト名(歌手名)、発表年月日、アルバム情報(販売時に入曲されていたアルバム)、主題歌情報(アニメやドラマの主題歌等として用いられていた場合にはそのアニメやドラマ等に関する情報)、動画データベース68において記憶された対応する動画情報の数、キー情報、ジャンル、AメロやBメロ等の曲フラグ情報、作詞・作曲者情報、デュエット曲であるか否かを示す情報、及び曲調等の情報が関連づけられて記憶されている。
【0031】
また、前記カラオケ装置36のに備えられた効果音データベース140は、前記カラオケ装置36により出力可能な効果音にそれぞれ対応する複数種類(例えば、数十種類)の効果音データを記憶する。この効果音データは、例えば、AVI(Audio-Video Interleaved)形式のファイルやWAVEサウンドファイル等であり、それぞれタンバリンやシンバル等の所定の楽器、人物の音声、拍手や手拍子、及び動物の鳴き声等の効果音(サウンドエフェクト)を出力させるための音声ファイル(音声データ)であり、コンテンツIDである各効果音に固有の識別番号(効果音ID)により識別される。上記効果音データベース140に記憶される効果音データは、前記カラオケ装置36によるカラオケ演奏に際して、複数種類の効果音を選択的に出力させるために用いられるものであり、後述するように、前記電子早見本装置38やリモコン装置98等、前記カラオケ装置36に備えられた入力装置による入力操作により、上記効果音データベース140に記憶された各効果音データに対応する複数種類の効果音から選択される効果音が前記スピーカ116から出力されるようになっている。なお、この効果音データベース140は、好適には、前記ハードディスク130に備えられたものであるが、前記RAM128に備えられたものであってもよい。
【0032】
前記サーバ装置12に備えられた前記楽曲データベース72(例えば、図5を参照)は、前記カラオケシステム30に備えられた前記カラオケ装置36に配信するための楽曲データを記憶するものであり、新しく作成された楽曲データはこの楽曲データベース72に蓄積される。カラオケボックス等の店舗32にそれぞれ備えられた複数のカラオケ装置36のうち所定のカラオケ装置36例えば前記カラオケ装置36aは、前記モデム132を介して前記通信回線18に接続されており、前記複数のカラオケ装置36によって常に新しい曲が演奏可能とされるように、随時新たな楽曲データ等が前記サーバ装置12の楽曲データベース72から前記通信回線18を介して配信され、前記ハードディスク130の楽曲データベース138等に記憶される。また、そのようにして前記サーバ装置12から情報を取得したカラオケ装置36aとその他のカラオケ装置36との間で前記LAN40を介した通信が行われることにより、各カラオケ装置36のハードディスク130に記憶される情報が共有され、上記楽曲データベース138等の内容が等価なものとされる。
【0033】
また、前記サーバ装置12に備えられた前記楽曲データベース(効果音データベース)72は、前記カラオケシステム30に備えられた前記カラオケ装置36に配信するための効果音データを記憶するものであり、新しく作成された効果音データはこの効果音データベースとしての楽曲データベース72に蓄積される。そして、前述した楽曲データと同様に、前記複数のカラオケ装置36によって常に新しい効果音が出力可能とされるように、随時新たな効果音データ等が前記サーバ装置12の楽曲データベース72から前記通信回線18を介して配信され、前記効果音データベース140に記憶される。また、そのようにして前記サーバ装置12から情報を取得したカラオケ装置36aとその他のカラオケ装置36との間で前記LAN40を介した通信が行われることにより、各カラオケ装置36の効果音データベース140の内容が等価なものとされる。
【0034】
前記サーバ装置12に備えられた動画データベース68は、投稿側端末装置としての前記カラオケ装置36、或いは前記PC14や携帯電話機16等から投稿すなわち前記通信回線18を介してアップロードされた複数の動画情報を記憶する。この動画情報は、例えばAVI(Audio-Video Interleaved)形式、MPEG(Moving Picture Experts Group)形式、FLV(Flash Video)形式等の動画ファイル(映像ファイル)であり、例えば投稿順に定められた所定の識別番号(コンテンツID)をインデックスとして前記動画データベース68に記憶される。なお、この動画情報は、複数枚の静止画像が所定の時間間隔で切替表示される所謂パラパラアニメーションや、映像が一時的に停止する静止画部分を含むものであってもよい。また、その動画データベース68には、投稿者の識別情報(ユーザID)、投稿者の名前(ニックネーム)、投稿時(投稿日時)、投稿に相前後して投稿者により設定(入力)された映像のタイトル、投稿者のコメント、削除用のパスワード、再生回数、投稿コメント数、閲覧者からの投票結果(得票数)、対応する演奏曲の識別情報(選曲番号)、曲名、アーティスト名、及び後述する効果音の種類及び出力タイミング等の情報が各動画情報毎にその動画情報と関連づけられて記憶されるようになっている。
【0035】
また、前記サーバ装置12に備えられた前記利用者データベース70は、本実施例の動画情報配信システム10の利用者の情報を記憶する。例えば、各利用者の識別情報(ユーザID)をインデックスとして、前記動画情報配信システム10を利用するためのパスワード、投稿者の名前(ニックネーム)、生年月日、性別、住所、メールアドレス、電話番号、血液型、星座、アバタ(利用者に対応する人型映像)に関する情報、パスワードを忘れたときのための質問及び解答、動画情報の閲覧履歴、動画情報のブックマーク、過去に投稿した動画情報の投稿履歴、過去に投稿した共演動画情報の投稿履歴、及び歌年齢等の属性情報が各利用者毎にその利用者と関連づけられて記憶されるようになっている。この歌年齢とは、利用者の演奏曲の好みの傾向がどの程度の年代(何歳)に相当するものかを示す仮想的な年齢情報であり、対象となる利用者が前記カラオケ装置36において過去に選曲(演奏)した演奏曲に基づいて判断される値であり、好適には、対象となる利用者が過去に選曲(演奏)した演奏曲を算出の基準として、その利用者のカラオケ演奏の傾向がどの程度の年齢に相当するかという観点から導出される値である。なお、本実施例においては、前記動画データベース68と利用者データベース70とを個別のデータベースとして備えた態様について説明するが、それらは単一のデータベースとして構成されたものであってもよく、例えば、前記利用者データベース70に記憶された各利用者に対応する情報として、その利用者が投稿した動画情報乃至後述する共演動画情報等が記憶されるものであってもよい。
【0036】
また、前記利用者データベース70には、各利用者の前記カラオケシステム30に係る情報が記憶される。例えば、各利用者が過去に利用したカラオケ装置36に対応する店舗32(そのカラオケ装置36が設置された店舗32)に関する情報である来店履歴、各利用者が前記カラオケ装置36によるカラオケ演奏において十八番曲として登録した演奏曲(簡易な操作により選曲入力を行い得るように設定された演奏曲)に関する情報、各利用者が過去に前記カラオケ装置36によるカラオケ演奏において選曲した選曲履歴(カラオケ装置36において過去に選曲された演奏曲の履歴)としての演奏曲に関する情報、各利用者が前記カラオケ装置36によるカラオケ演奏において過去に行った演奏評価の評価結果に関する情報、各利用者が前記カラオケ装置36(カラオケシステム30)における新規入力曲のリクエスト投票(入曲リクエスト)を行った対象となる演奏曲に関する情報、各利用者がフレンドとして登録した他の利用者に関する情報、各利用者の顔写真をはじめとする画像情報、各利用者が所定の演奏曲等に関して記載(入力)したレビュー、及び各利用者に対して付与された前記カラオケシステム30におけるポイント等が、各利用者毎にその利用者の識別情報(ユーザID)と関連付けられて記憶されるようになっている。また、好適には、各利用者が過去に前記カラオケ装置36によるカラオケ演奏において選曲した選曲履歴において、演奏した曲数に基づいてジャンルを分類(その利用者がどのジャンルの演奏曲をよく歌っているのかをジャンルで順位付け)した分類結果等が、各利用者毎に前記利用者データベース70に記憶される。なお、本実施例においては、前記動画情報配信システム10とカラオケシステム30とで共通の識別情報及びパスワードを用い、それら動画情報配信システム10及びカラオケシステム30に関する各利用者の情報を共通の利用者データベース70に蓄積する態様について説明するが、前記動画情報配信システム10及びカラオケシステム30それぞれに対応して個別の利用者データベース(顧客データベース)が設けられたものであってもよく、また、それら動画情報配信システム10及びカラオケシステム30それぞれに対応して個別の識別情報及びパスワードが設定されるものであってもよい。
【0037】
図5は、前記サーバ装置12のCPU52、前記PC14のCPU74、乃至前記カラオケ装置36のCPU124に備えられた制御機能の要部を説明する機能ブロック線図である。この図5に示す例において、演奏制御手段144、効果音出力制御手段146、演奏記録制御手段148、音声情報編集制御手段150、検索制御手段154、配信要求制御手段156、動画出力制御手段160、同期演奏制御手段162、及び効果音選択制御手段170は前記カラオケ装置36のCPU124に、投稿受付制御手段152、動画配信制御手段158、共演動画編集制御手段164、及び効果音適用制御手段174は前記サーバ装置12のCPU52に、配信要求制御手段166、動画出力制御手段168、及び効果音選択制御手段172は前記PC14のCPU74に、それぞれ機能的に備えられたものである。なお、上記配信要求制御手段166、動画出力制御手段168、及び効果音選択制御手段172は前記携帯電話機16のCPUにも好適に備えられるものである。また、上記検索制御手段154、配信要求制御手段156、及び動画出力制御手段160等は、前記カラオケ装置36に備えられて(対応付けられて)その一部を構成する前記電子早見本装置38のCPUに備えられたものであってもよい。
【0038】
本実施例の動画情報配信システム10は、図5に示す各種制御機能により各利用者からの動画情報の投稿を受け付けると共に、投稿された動画情報を前記通信回線18を介して配信する投稿受付制御及び映像配信制御を実行する。また、この投稿受付制御に関して、それぞれ態様の異なる第1の投稿受付制御(第1の動画投稿制御)及び第2の投稿受付制御(第2の動画投稿制御)を選択的に実行するように構成されている。すなわち、第1の投稿受付制御において、前記通信回線18を介して前記カラオケ装置36等の投稿側端末装置からの動画情報の投稿(アップロード)を受け付け、その投稿された動画情報を前記動画データベース68に蓄積する処理を行う。一方、第2の投稿受付制御において、既に前記動画データベース68に蓄積されている動画情報に対して、共演動画(コラボ動画)に係る組み合わせ対象となる動画情報の投稿を受け付け、その投稿された動画情報を前記動画データベース68に蓄積すると共に共演動画情報として組み合わせる編集処理を行う。以下、これら第1の投稿受付制御及び第2の投稿受付制御それぞれにおける各制御機能の動作を個別に説明する。
【0039】
先ず、上記第1の投稿受付制御及び第2の投稿受付制御において共通の前記演奏制御手段144、効果音出力制御手段146、演奏記録制御手段148、音声情報編集制御手段150、投稿受付制御手段152、配信要求制御手段156、166、及び動画配信制御手段158それぞれの動作について説明する。前記演奏制御手段144は、前記カラオケ装置36において、前記楽曲データベース138に記憶された前記多数の楽曲データから選択される楽曲データに対応する演奏曲を出力させるカラオケ演奏制御を行う。具体的には、前記RAM128等に記憶された予約曲テーブルにおける入力順(演奏順)に、その予約曲テーブルに記憶された演奏曲の選曲番号に対応する楽曲データを前記楽曲データベース138から読み出し、その楽曲データに含まれる演奏情報に基づいて演奏曲の出力を制御する。すなわち、演奏情報としてのMIDIデータに基づいて、前記シンセサイザ108によりそのMIDIデータにおける楽譜情報としてのトラック乃至はチャンネルに対応する楽器の演奏音(音楽情報)を出力させ、前記アンプミキサ114を介して前記スピーカ116から出力させる。また、楽曲データに含まれる歌詞情報に基づいて演奏曲に係る歌詞文字映像の出力を制御する。すなわち、歌詞情報に基づいて歌詞文字映像を生成し、前記映像出力制御部102を介してその歌詞文字映像を前記映像表示装置100に表示させる。また、カラオケ演奏の進行に伴い、その歌詞文字映像を切替表示させると共に、歌詞色替情報に基づいて歌詞文字映像を順次色替え表示させる。
【0040】
前記効果音出力制御手段146は、前記演奏制御手段144による演奏曲の出力に際して、投稿側端末装置としての前記カラオケ装置36等に備えられた入力装置による入力操作に応じて、予め定められた複数種類の効果音から選択される効果音を、その入力操作に対応する出力タイミングで出力させる。例えば、前記電子早見本装置38のタッチパネルディスプレイに表示された効果音入力画面に基づいて、予め定められた複数種類の効果音のうち所定の効果音(所定の効果音IDに対応する効果音)を出力させるための操作として上記タッチパネルディスプレイに対する利用者の指や備え付けのペン等による接触操作が行われた場合、前記効果音データベース140からその接触操作に係る効果音データを読み出し、その効果音データに対応する効果音(サウンドエフェクト)を前記スピーカ116から出力させる。この効果音の出力タイミングは、好適には、前記電子早見本装置38のタッチパネルディスプレイに対する接触操作が行われてから可及的速やかに行われるものであるが、例えば間奏に入ると同時に拍手が鳴るように設定する等、操作から所定時間後にその効果音が出力される態様も考えられる。また、前記効果音出力制御手段146による効果音の出力が行われた場合、その効果音の種類(例えば、効果音ID)及び出力タイミングが前記RAM128等に記憶される。この出力タイミングとは、好適には、効果音が出力された時点で前記演奏制御手段144により出力されていた演奏曲の演奏時間に係る相対的なタイミングであり、例えば、その演奏曲の演奏開始からの経過時間である。
【0041】
前記演奏記録制御手段148は、前記カラオケ装置36による演奏曲の出力に際して、撮像装置である前記ビデオカメラ122により撮影された映像情報及び音声入力装置であるマイクロフォン110により入力された音声情報を記録する。すなわち、前記演奏制御手段144による演奏曲の出力と併行して前記マイクロフォン110により入力される音声情報を録音する録音制御手段及び前記ビデオカメラ122により撮影される映像情報を記録する録画制御手段として機能する。前記演奏記録制御手段148は、好適には、前記ビデオカメラ122により撮影された映像情報と、音声入力装置であるマイクロフォン110により入力されて前記A/Dコンバータ112によりディジタル信号に変換された音声情報とを、例えばAVI形式、MPEG形式、FLV形式等のファイル形式にて統合し、映像情報及び音声情報を含む動画情報(動画ファイル)として記録する。図6は、前記演奏記録制御手段148により記録された、前記カラオケ装置36による演奏曲の出力に際して前記ビデオカメラ122により撮影された動画情報である第1の演奏映像180を例示している。なお、図5に示す各制御手段は、映像情報及び音声情報をそれぞれ個別の情報(ファイル)として記録、送受信、乃至蓄積等するものであってもよいが、本実施例においてはそれらを統合して動画ファイルとして記録、送受信、乃至蓄積等する態様について説明する。すなわち、以下の説明において特に言及しない場合には、本実施例における動画情報は、映像情報及びその再生に際して出力される音声に対応する音声情報を含むものである。
【0042】
前記音声情報編集制御手段150は、録音制御手段としての前記演奏記録制御手段148により録音された音声情報において、その音声情報に対応して前記効果音出力制御手段146により出力された効果音に対応する周波数成分を抑制する編集を行う。すなわち、対象となる音声情報の録音中に、前記電子早見本装置38等の入力操作に応じて出力された効果音がその音声情報に混入した場合に、その混入した効果音に対応する周波数成分を、対象となる音声情報から可及的に除去する処理を行う。例えば、前記演奏記録制御手段148により録音された、上記所定形式のファイルとして映像情報と統合する前の音声情報における対象となる効果音が出力されたタイミングに相当する部分に関して、各効果音毎に定められた周波数帯域を除去するためのバンドパスフィルタを適用すること等によりその効果音に対応する周波数成分の抑制を行う。或いは、前記音声情報における主音周波数成分すなわち前記演奏制御手段144により出力された演奏曲のガイドメロディに対応する周波数成分以外の周波数成分を抑制することにより、実質的に上記効果音に対応する周波数成分の抑制を行うものであってもよい。また、前記演奏記録制御手段148により録音された音声情報及び録画された映像情報が動画情報として統合された後、その動画情報に含まれる音声情報に関して斯かる処理を行うものであってもよい。
【0043】
前記投稿受付制御手段152は、前記通信回線18を介して前記カラオケ装置36等の投稿側端末装置からの動画情報の投稿を受け付け、その投稿された動画情報を前記動画データベース68に記憶させる。好適には、前記カラオケ装置36による所定の演奏曲の出力に際して前記演奏記録制御手段148により記録された映像情報及び音声情報に対応する動画情報(動画ファイル)の投稿を受け付け、対象となる演奏曲(映像情報及び音声情報の記録に際して出力された演奏曲)の識別情報である選曲番号及び投稿の主体となる利用者の識別情報(ユーザID)等と関連付けて前記動画データベース68に記憶させる。
【0044】
また、前記投稿受付制御手段152は、前記投稿側端末装置からの動画情報の投稿に際して、その動画情報に含まれる音声情報に対応して前記効果音出力制御手段146により出力された効果音の種類(効果音ID)及び出力タイミングをその動画情報に関連付けて前記動画データベース68に記憶させる。換言すれば、前記音声情報編集制御手段150による編集(抑制)の対象となった各効果音に関して、その効果音の種類及び出力タイミングを対象となる動画情報に関連付けて記憶させる。図9は、前記動画データベース68における所定の動画情報に関連付けられて記憶された効果音の種類及び出力タイミングを例示する図である。この図9に示すように、前記動画データベース68には、例えば、各動画情報に対応する複数の効果音それぞれに関して、その効果音の出力タイミングに相当する演奏曲(効果音が出力された際に演奏されていた演奏曲)の演奏開始からの経過時間(タイム)と、その効果音の種類に相当する効果音IDと、各効果音の説明であるコメントとが、記憶されるようになっている。
【0045】
前記配信要求制御手段156、166は、前記動画データベース68に記憶された所定の動画情報の配信要求を、前記通信回線18を介して前記サーバ装置12へ送信する。斯かる配信要求制御手段156、166による配信要求は、例えば、前記動画情報配信システム10を運営する情報配信サービス提供会社により管理されるWWWウェブサイト(所謂動画投稿サイト)にアクセスして動画情報を選択乃至識別情報(コンテンツID)を入力すること等によって行われる。すなわち、前記配信要求制御手段156、166は、好適には、前記通信回線18を介して閲覧可能とされたWWWウェブサイトの情報を表示させると共にそのWWWウェブサイトに従って各種入力等を行うことができるWWWブラウザにおける一機能に対応する。
【0046】
前記動画配信制御手段158は、前記PC14、携帯電話機16、或いはカラオケ装置36等の配信側端末装置から前記配信要求制御手段156、166等による配信要求があった場合には、その配信要求に応じて前記動画データベース68に記憶されたその配信要求に係る動画情報を要求元である配信側端末装置に前記通信回線18を介して配信する。この動画配信制御手段158により各配信側端末装置に配信された動画情報は、後述する動画出力制御手段160、168等によりその配信側端末装置の表示部(映像表示装置)に表示される。
【0047】
前記効果音適用制御手段174は、前記動画配信制御手段158により配信される動画情報に関して、前記動画情報データベース68に記憶されたその動画情報に関連付けられた効果音の種類及び出力タイミングに基づいてその効果音を適用する。すなわち、配信要求に係る動画情報を要求元である配信側端末装置に前記通信回線18を介して配信し、その配信側端末装置においてその動画情報が再生(表示)される際に、関連付けられた効果音の種類及び出力タイミングに基づいてその効果音が出力されるように制御する。具体的には、例えば前記動画配信制御手段158による動画情報の配信に際して、その動画情報に含まれる音声情報に対して、その動画情報に関連付けられた種類の効果音を前記楽曲データベース(効果音データベース)72から読み出して各出力タイミングにおいて合成し、その効果音が合成された音声情報を含む動画情報を前記配信側端末装置へ配信するように制御する。或いは、前記動画配信制御手段158による動画情報の配信に際して、その動画情報に関連付けられた効果音の種類及び出力タイミングに相当する音声情報である効果音情報を別途作成すると共に、前記動画情報の配信と併行してその効果音情報を前記配信側端末装置へ配信し、その配信側端末装置において動画情報の音声情報に上記効果音情報を合成して出力させるものであってもよい。
【0048】
次に、第2の投稿受付制御における前記演奏記録制御手段148、投稿受付制御手段152、検索制御手段154、配信要求制御手段156、動画配信制御手段158、動画出力制御手段160、同期演奏制御手段162、及び共演動画編集制御手段164それぞれの動作について説明する。前記検索制御手段154は、前記カラオケ装置36により出力可能な前記多数の演奏曲から所定の条件を満たす単数乃至複数の演奏曲を検索する。例えば、前記楽曲データベース138に記憶された多数の演奏曲(楽曲データ)のうち、前記電子早見本装置38やリモコン装置98等を介して入力される文字乃至は文字列によって示される条件に基づいて、単数乃至は複数の演奏曲を検索する曲名検索処理を実行する。例えば、入力された文字乃至文字列に少なくとも一部が一致する曲名の演奏曲(楽曲データ)を前記楽曲データベース138に記憶された多数の演奏曲から抽出する。また、好適には、前記楽曲データベース138に記憶された多数の演奏曲に係るアーティスト名(歌手名)に関して、前記電子早見本装置38やリモコン装置98等を介して入力される文字乃至は文字列によって示される条件に基づいて、単数乃至は複数のアーティスト名を検索する歌手名検索処理を実行する。例えば、入力された文字乃至文字列に少なくとも一部が一致するアーティスト名を、前記楽曲データベース138に記憶された多数の演奏曲の属性情報としてのアーティスト名から抽出する。
【0049】
また、前記検索制御手段154は、前記動画データベース68に記憶された複数の動画情報から所定の条件を満たす単数乃至複数の動画情報を検索する。好適には、上記曲名検索処理により検索された演奏曲に関連付けられた単数乃至複数の動画情報を前記動画データベース68に記憶された複数の動画情報から抽出する。また、好適には、上記歌手名検索処理により検索されたアーティスト名を属性情報とする演奏曲に関連付けられた単数乃至複数の動画情報を前記動画データベース68に記憶された複数の動画情報から抽出する。また、好適には、前記電子早見本装置38やリモコン装置98等を介して入力される文字乃至は文字列によって示される条件に基づいて、単数乃至は複数の動画情報を検索する。例えば、入力された文字乃至文字列に少なくとも一部が一致する投稿者の名前(ニックネーム)に関連付けられた単数乃至複数の動画情報を前記動画データベース68に記憶された複数の動画情報から抽出する。
【0050】
前記動画出力制御手段160は、前記動画配信制御手段158により配信された動画情報の出力を制御する。すなわち、前記サーバ12から前記通信回線18を介してダウンロードされた動画情報を再生して前記映像表示装置100に表示させる。また、動画情報とは別途前記効果音情報が配信される場合には、その動画情報の再生に同期して効果音情報を出力させるものであってもよいが、後述するように音声情報を非出力とする設定においては斯かる効果音情報も同様に非出力(ミュート)とすることが望ましい。ここで、前記カラオケ装置36においては、前記映像情報デコーダ104が斯かる動画出力制御手段160として機能するものであってもよい。
【0051】
前記同期演奏制御手段162は、前記動画出力制御手段160による動画情報の出力と同期してその動画情報と関連付けられた演奏曲を出力させる。例えば、前記動画出力制御手段160により対象となる動画情報の出力(再生)が行われる際に、その動画情報と関連付けられた演奏曲(動画データベース68において関連付けられていた選曲番号に対応する演奏曲)の楽曲データを前記楽曲データベース138から読み出し、動画情報の出力が開始されるのと同期して(同時に)その楽曲データに対応するカラオケ演奏制御を開始する。所定の演奏曲と関連付けられた動画情報は、前記演奏記録制御手段148によりその演奏曲の出力に際して前記ビデオカメラ122により撮影された動画情報を記録したものであるため、その動画情報の出力と同期して対応する演奏曲のカラオケ演奏制御を行うことで、あたかもその動画情報の歌い手と同時に歌っているような共演演奏(コラボ演奏)を実現できる。また、この同期演奏制御手段162による演奏出力に際して、前記電子早見本装置38やリモコン装置98等の入力装置により所定の入力操作が行われた場合、前記効果音出力制御手段146は、予め定められた複数種類の効果音から選択される効果音を、その入力操作に対応する出力タイミングで出力させる。
【0052】
前記動画出力制御手段160は、好適には、前記同期演奏制御手段162による演奏曲の出力と同期してその演奏曲と関連付けられた動画情報を出力させる際に、その動画情報に含まれる音声情報を出力させる。換言すれば、音声情報を含む映像情報においてその映像情報及び音声情報を共に出力させる。なお、必ずしも音声情報を出力させなくともよく、対応する映像情報の出力に際して音声情報を非出力すなわちミュートとするものであってもよい。また、前記同期演奏制御手段162は、好適には、前記動画出力制御手段160による動画情報の出力と同期してその動画情報と関連付けられた演奏曲を出力させる際に、同期再生されるその動画情報をカラオケ演奏における背景映像として前記映像表示装置100に表示させる。例えば、前述した図6に示す第1の演奏映像180の出力と同期してその第1の演奏映像180と関連付けられた演奏曲(第1の演奏映像180の記録に際して出力された演奏曲)を出力させる場合、図7に示すように、前記動画出力制御手段160により再生される第1の演奏映像180の前面側に、出力される演奏曲の歌詞情報に基づいて生成される歌詞文字映像182を前記ビデオミキサ106により合成して前記映像表示装置100に表示させる。なお、前記同期演奏制御手段162は、前記動画出力制御手段160による動画情報の出力と同期してその動画情報と関連付けられた演奏曲を出力させる際に、その演奏曲の歌詞文字映像は表示させずその動画情報のみを前記映像表示装置100に表示させるものであってもよい。
【0053】
前記演奏記録制御手段148は、前記動画出力制御手段160による動画情報の出力と同期して前記同期演奏制御手段162によりその動画情報と関連付けられた演奏曲を出力させる同期演奏制御に際して、撮像装置である前記ビデオカメラ122により撮影された映像情報及び音声入力装置であるマイクロフォン110により入力された音声情報を記録する。好適には、前記ビデオカメラ122により撮影された動画情報と、音声入力装置であるマイクロフォン110により入力されて前記A/Dコンバータ112によりディジタル信号に変換された音声情報とを、例えばAVI形式、MPEG形式、FLV形式等のファイル形式にて統合し、映像情報及び音声情報を含む動画情報(動画ファイル)として記録する。
【0054】
前記音声情報編集制御手段150は、前記同期演奏制御手段162による演奏曲の出力に際して録音制御手段としての前記演奏記録制御手段148により録音された音声情報において、前記第1の投稿受付制御における制御と同様に、その音声情報に対応して前記効果音出力制御手段146により出力された効果音に対応する周波数成分を抑制する編集を行う。すなわち、対象となる音声情報の録音中に、前記電子早見本装置38等の入力操作に応じて出力された効果音がその音声情報に混入した場合に、その混入した効果音に対応する周波数成分を、対象となる音声情報から可及的に除去する処理を行う。この処理の具体的な態様は、前記第1の投稿受付制御において前述したものと同様である。
【0055】
前記投稿受付制御手段152は、前記同期演奏制御手段162による所定の演奏曲の出力に際して前記演奏記録制御手段148により記録された映像情報及び音声情報に対応する動画情報の投稿を受け付け、対象となる演奏曲(同期演奏制御手段162により出力された演奏曲)の識別情報、投稿の主体となる利用者の識別情報(ユーザID)、及び共演演奏に係る動画情報の識別情報(コンテンツID)と関連付けて前記動画データベース68に記憶させる。また、前記第1の投稿受付制御における制御と同様に、前記投稿側端末装置からの動画情報の投稿に際して、その動画情報に含まれる音声情報に対応して前記効果音出力制御手段146により出力された効果音の種類(効果音ID)及び出力タイミングをその動画情報に関連付けて前記動画データベース68に記憶させる。
【0056】
前記共演動画編集制御手段164は、前記投稿受付制御手段152により受け付けられる複数の動画情報を組み合わせて共演動画情報を編集し、その編集された共演動画情報を前記動画データベース68に記憶させる。好適には、前記投稿受付制御手段152により受け付けられる、共通の演奏曲に関連付けられた複数の動画情報を組み合わせて共演動画情報を編集し、その編集された共演動画情報をその演奏曲の識別情報(コンテンツID)と関連付けて前記動画データベース68に記憶させる。この共演動画情報とは、上記組み合わせに係る複数(好適には1対)の動画情報を同期して(同時に)出力させるための情報であり、好適には、前記動画データベース68にそれぞれ個別に(独立した動画ファイルとして)記憶された組み合わせに係る複数の動画情報を読み出し、それら動画情報を共演映像として同期出力させるための組み合わせ情報に相当する。また、好適には、その共演動画情報の属性情報として、対象となる演奏曲の識別情報(選曲番号)、その演奏曲の曲名、アーティスト名、演奏時間、組み合わせに係る各動画情報の投稿者の識別情報(ユーザID)、各投稿者の名前(ニックネーム)、各投稿者のコメント、及び共演映像のタイトル等が対象となる共演動画情報と関連付けられて前記動画データベース68に記憶される。すなわち、前記共演動画編集制御手段164は、好適には、前記投稿受付制御手段152により先に投稿された第1の動画情報である第1の演奏映像180に対して、後に投稿された第2の動画情報である第2の演奏映像184(図8等を参照)を組み合わせて前記共演動画情報を編集するものである。
【0057】
前記動画配信制御手段158は、前記通信回線18を介しての前記PC14や携帯電話機16等の配信側端末装置からの配信要求に応じて、前記動画データベース68に記憶されたその配信要求に係る共演動画情報をその配信側端末装置に配信する。好適には、共演動画情報の配信と相前後してその共演動画情報に係る組み合わせの対象となる複数の動画情報を前記動画データベース68から読み出し、その共演動画情報と共に上記配信要求元である配信側端末装置に配信する。この動画配信制御手段158により配信された共演動画情報に係る複数の動画情報は、各配信側端末装置に備えられた動画出力制御手段160、168等によりその配信側端末装置の表示部(映像表示装置)に表示される。
【0058】
前記効果音適用制御手段174は、前記動画配信制御手段158により配信される共演動画情報に関して、前記動画情報データベース68に記憶されたその共演動画情報に係る複数の動画情報それぞれに関連付けられた効果音の種類及び出力タイミングに基づいてその効果音を適用する。すなわち、配信要求に係る共演動画情報及びその組み合わせの対象となる複数の動画情報を要求元である配信側端末装置に前記通信回線18を介して配信し、その配信側端末装置においてその動画情報が同期して再生(表示)される際に、各動画情報に関連付けられた効果音の種類及び出力タイミングに基づいてその効果音が出力されるように制御する。斯かる効果音の出力に係る具体的なの制御の態様は、前記第1の投稿受付制御において前述したものと同様である。すなわち、前記効果音適用制御手段174は、前記共演動画情報の出力に際して、その共演動画情報に係る複数の動画情報それぞれに関連付けられた効果音が併行して出力されるように制御する。
【0059】
前記動画出力制御手段168は、前記動画配信制御手段158により配信された動画情報の出力を制御する。すなわち、前記サーバ12から前記通信回線18を介してダウンロードされた動画情報を再生して前記映像表示装置80に表示させる。ここで、前記PC14のCPU74に備えられた動画出力制御手段168は、好適には、前記動画配信制御手段158により配信された動画情報をWWWブラウザ上で出力(再生)可能とするものであり、例えばMPEGデコーダやフラッシュプレイヤ等、動画ファイルの形式に応じて種々の動画再生ソフトウェア(プラグイン)が適宜用いられる。また、動画情報とは別途前記効果音情報が配信される場合には、その動画情報の再生に同期して効果音情報を出力させる。
【0060】
図8は、前記PC14や携帯電話機16等の通信端末装置に表示された共演映像186の一例を示す図である。この共演映像186においては、前述した図6に示す第1の演奏映像180と、前記動画出力制御手段160及び同期演奏制御手段162によりその第1の演奏映像180の出力と同期して実行されたカラオケ演奏の出力に際して前記演奏記録制御手段148により記録された第2の演奏映像184とが、所定のWWWウェブサイト上において同期して(同時に)出力される例を示している。この図8に示すWWWウェブサイトは、例えば、前記動画情報配信システム10を運営する情報配信サービス提供会社により管理される所謂動画投稿サイトに相当するものであり、一般的なWWWブラウザにより前記PC14や携帯電話機16等の通信端末装置において閲覧可能とされる。このWWWウェブサイト上においては、出力される共演映像に係る共通の演奏曲の曲名及びアーティスト名が表示されると共に、再生/停止ボタン188、頭出しボタン190、再生位置決定つまみ192、音量設定つまみ194、及び表示画面の全画面表示乃至等倍表示を切り替える表示切替ボタン196等が表示され、各ボタン乃至つまみにより共演映像の出力に係る各種操作が可能とされている。また、各動画情報に対応して非表示ボタン198が表示され、その非表示ボタン198が押されることで共演映像に係る2つの動画情報の何れか一方を非表示とすることができるようになっている。
【0061】
図8に示すWWWウェブサイトが前記PC14、携帯電話機16、及びカラオケ装置36等の配信側端末装置におけるWWWブラウザに表示された状態において、各配信側端末装置の操作部により上記WWWウェブサイトにおける再生/停止ボタン188が押される等の操作が行われた場合、上記共演映像186の出力すなわち前記第1の演奏映像180及び第2の演奏映像184の同期出力が開始される。この共演映像186の出力においては、前記第1の演奏映像180及び第2の演奏映像184が同期して再生されると共に、それら第1の演奏映像180及び第2の演奏映像184それぞれに含まれる音声情報も同期して出力される。この音声情報の出力に関して、前記第1の演奏映像180に対応する音声情報が左のスピーカから出力される一方、前記第2の演奏映像184に対応する音声情報が右のスピーカから出力されるといった制御を行うものであってもよいし、それらの音声情報を合成してステレオ出力させるものであってもよい。また、上記共演映像186の出力においては、前記効果音適用制御手段174により前記第1の演奏映像180及び第2の演奏映像184それぞれに適用された効果音も同期して出力される。この効果音の出力に関して、前記第1の演奏映像180に対応する効果音が左のスピーカから出力される一方、前記第2の演奏映像184に対応する効果音が右のスピーカから出力されるといった制御を行うものであってもよいし、それらの効果音を合成してステレオ出力させるものであってもよい。このように、共演動画情報の組み合わせに係る複数の動画情報及びその音声情報が同期して出力されると共に、各動画情報に対応する効果音が出力されることで、あたかも各動画情報の演奏者が同時に演奏を行っているような共演映像(コラボ動画)の出力が可能とされる。
【0062】
図5に戻って、前記効果音選択制御手段170、172は、前記音声情報に対応して前記効果音出力制御手段146により出力された、それぞれ異なる出力タイミングにおける複数の効果音のうち、前記効果音適用制御手段174による適用対象とする効果音を選択する。例えば、前記動画情報の投稿時において、その動画情報に対応付けて前記動画データベース68に記憶する効果音を選択する。或いは、前記動画データベース68における各動画情報に関連付けられて記憶された複数の効果音(複数の出力タイミングに相当する効果音)のうち、前記動画出力制御手段160、168による再生に際して適用(出力)される効果音の選択(設定)を受け付ける。ここで、本実施例においては、図5に示すように、投稿側端末装置としての前記カラオケ装置36及び配信側端末装置としての前記PC14のそれぞれに前記効果音選択制御手段170、172が備えられているが、この効果音選択制御手段170、172は、必ずしも投稿側端末装置及び配信側端末装置の両方に備えられたものでなくともよく、少なくとも一方に機能的に備えられたものであれば一応の効果を奏する。
【0063】
また、前記効果音選択制御手段170、172は、好適には、前記演奏記録制御手段148により記録された動画情報(音声情報)に対応付けられた各効果音の種類及び出力タイミングに基づいて、その音声情報の出力と併行して各効果音を出力させる視聴制御を行うと共に、各出力タイミングにおける効果音を適用対象とするか否かの設定を行う。すなわち、前記効果音選択制御手段170、172による効果音の選択に際して、録音手段としての前記演奏記録制御手段148により録音された後、前記音声情報編集制御手段150によりその音声情報に対応して前記効果音出力制御手段146により出力された効果音に対応する周波数成分を抑制する編集が行われた音声情報を出力させる。そして、その音声情報に対応付けられた効果音の種類及び出力タイミングに基づいて、その音声情報の出力と併行して前記効果音出力制御手段146により各効果音を出力させる視聴制御を行う。更に好適には、後述する図10に示すように、各効果音の出力タイミングを視覚的に確認できるように、前記音声情報(動画情報)の進行に合わせて各効果音の出力タイミングを示す表示制御を行う。
【0064】
図10は、投稿側端末装置としての前記カラオケ装置36の映像表示装置100や電子早見本装置38のタッチパネルディスプレイ等に表示された効果音設定映像200の一例を示す図である。この図10に示す効果音設定映像200は、録音手段としての前記演奏記録制御手段148により録音された後、前記音声情報編集制御手段150によりその音声情報に対応して前記効果音出力制御手段146により出力された効果音に対応する周波数成分を抑制する編集が行われた音声情報に関して、前記サーバ装置12への投稿前にその音声情報(動画情報)に対応する効果音を選択(設定)するために表示される映像を例示している。
【0065】
図10に示す例では、各効果音に対応する出力タイミングの目安として、その効果音が既に出力されたことを示す「出力終了」、現時点において出力されていることを示す「出力中!」、所定時間内に出力されることを示す「あと少しで出力」、及び未だ出力されていないことを示す「未出力」の何れかが各効果音に対応して表示される。この表示は、視聴制御に係る音声情報(動画情報)の進行に従って随時更新される。また、上記効果音設定映像200においては、各効果音に対応して投稿(動画データベース68に記憶)するか否かを示すチェック欄202が設けられており、そのチェック欄202においてチェックがつけられた効果音に関しては対応する動画情報の投稿に際して前記動画データベース68に関連付けて記憶させるが、上記チェック欄202においてチェックがつけられていない効果音に関しては斯かる記憶を行わない。すなわち、前記動画出力制御手段160、168による動画情報の出力時にその効果音が出力されないように(効果音適用制御手段174による適用対象とならないように)設定する。具体的には、図10に示す効果音設定映像200においてチェック欄202におけるチェックが外された効果音は、図9に示すような効果音リストから外され、対象となる動画情報が前記サーバ装置12へアップロードされる際に共にアップロードされない。或いは、前記効果音出力制御手段146により出力されたすべての効果音に係る種類及び出力タイミングが、対応する動画情報に関連付けられて一律に前記動画データベース68に記憶されると共に、上記チェック欄202におけるチェックの有無に応じた出力フラグ(オンである場合には出力、オフである場合には非出力)を各効果音に設定するものであってもよい。
【0066】
なお、図10においては、投稿側端末装置としての前記カラオケ装置36による効果音の選択(出力有無の設定)について説明したが、好適には、配信側端末装置としての前記PC14等においても同様の選択が可能とされる。すなわち、前記PC14のCPU74に備えられた効果音選択制御手段172は、前記動画データベース68に記憶された各動画情報に関連付けられたそれぞれ異なる出力タイミングにおける複数の効果音のうち、前記効果音適用制御手段174による適用対象とする効果音を選択する。換言すれば、前記動画データベース68に記憶された各動画情報に関連付けられたそれぞれ異なる出力タイミングにおける複数の効果音のうち、前記動画出力制御手段160、168によるその動画情報の出力(再生)に際して出力される効果音を選択する。この選択は、好適には、前記PC14の映像表示装置80に表示されたWWWブラウザに前述した図10に示すような効果音選択映像が表示され、その映像に従って入力操作が行われることにより実行される。また、このような、ひとたび前記動画データベース68に記憶された動画情報に関連付けられた効果音の選択を前記カラオケ装置36により実行可能とするものであってもよい。更に、録音時に出力されていない効果音を前記動画データベース68に記憶された動画情報にあとづけで関連付けて記憶させられるようにしてもよい。すなわち、前記カラオケ装置36に備えられた前記効果音出力制御手段146の制御とは専ら関係なく、前記動画データベース68に投稿された動画情報に対して、任意の出力タイミングで任意の種類の効果音が出力されるように、前記PC14等により事後的な設定を可能とするものであってもよい。
【0067】
図11は、前記カラオケ装置36のCPU124による第1の動画投稿制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0068】
先ず、ステップ(以下、ステップを省略する)SA1において、演奏動画撮影すなわち前記カラオケ装置36による演奏曲の出力に際しての前記ビデオカメラ122により撮影された映像情報及びマイクロフォン110により入力された音声情報の記録が開始されたか否かが判断される。このSA1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SA1の判断が肯定される場合には、SA2において、演奏動画撮影の対象となる楽曲データが前記楽曲データベース138から読み出され、その楽曲データに基づくカラオケ演奏制御が開始される。次に、SA3において、前記ビデオカメラ122により撮影された映像情報及び前記マイクロフォン110により入力された音声情報の記録処理が実行される。
【0069】
次に、SA4において、前記電子早見本装置38やリモコン装置98等の入力装置により所定の効果音出力操作が行われたか否かが判断される。このSA4の判断が否定される場合には、SA6以下の処理が実行されるが、SA4の判断が肯定される場合には、SA5において、上記効果音出力操作に係る種類の効果音が前記効果音データベース140から読み出され、その操作に対応するタイミングで出力されると共に、その効果音の種類及び出力タイミングが前記RAM128等に記憶される。次に、SA6において、カラオケ演奏終了であるか否かが判断される。このSA6の判断が否定される場合には、SA3以下の処理が再び実行されるが、SA6の判断が肯定される場合には、SA7以下の処理が実行される。
【0070】
SA7においては、SA3にて録音された音声情報において、その音声情報に対応してSA5にて出力された効果音(RAM128等に記憶された各効果音)に対応する周波数成分を抑制する編集が行われる。次に、SA8において、SA3にて記録された映像情報、SA5にて記録された効果音、及びSA7にて編集された音声情報に対応する動画の視聴が行われるか否かが判断される。このSA8の判断が否定される場合には、SA11以下の処理が実行されるが、SA8の判断が肯定される場合には、SA9において、SA3にて記録された映像情報、SA5にて記録された効果音、及びSA7にて編集された音声情報に対応する動画が前記映像情報デコーダ104等により再生されて前記映像表示装置100に表示される。
【0071】
次に、SA10において、SA3にて記録された映像情報、SA5にて記録された効果音、及びSA7にて編集された音声情報に対応する動画の再生終了であるか否かが判断される。このSA10の判断が否定される場合には、SA9以下の処理が再び実行されるが、SA10の判断が肯定される場合には、SA11において、SA3にて記録された映像情報、SA5にて記録された効果音、及びSA7にて編集された音声情報に対応する動画情報の投稿が行われるか否かが判断される。このSA11の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SA11の判断が肯定される場合には、SA12において、SA3にて記録された映像情報、SA5にて記録された効果音、及びSA7にて編集された音声情報に対応する動画情報が、投稿主体である利用者の識別情報(ユーザID)、SA2にて出力された演奏曲の識別情報(選曲番号)、及びSA5にて記憶された各効果音の種類及び出力タイミング等と関連付けられてホスト装置すなわち前記サーバ装置12へアップロードされ、それをもって本ルーチンが終了させられる。
【0072】
図12は、前記カラオケ装置36のCPU124による第2の動画投稿制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0073】
先ず、SB1において、コラボ動画検索すなわち共演動画情報の投稿に係る検索処理が開始されるか否かが判断される。このSB1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SB1の判断が肯定される場合には、SB2において、共演演奏の対象となる演奏曲の曲名、歌手名、及び共演相手となる利用者の名前(ニックネーム)等に基づいて、前記動画データベース68に記憶された複数の動画情報から条件を満たす単数乃至複数の動画情報(コラボ相手の候補)が検索される。次に、SB3において、SB2にて検索された動画情報に対応して、共演演奏の相手(コラボ相手)を募集している利用者(動画情報)のサムネイルが前記映像表示装置100に選択可能に表示される。
【0074】
次に、SB4において、SB3にて表示されたサムネイルの何れかを選択する操作が前記電子早見本装置38等により行われたか否かが判断される。このSB4の判断が否定される場合には、SB3以下の処理が再び実行されるが、SB4の判断が肯定される場合には、SB5において、選択されたサムネイルに対応する動画情報(演奏映像)が前記サーバ装置12からダウンロードされる。次に、SB6において、SB5にてダウンロードされた動画の視聴が行われるか否かが判断される。このSB6の判断が否定される場合には、SB9以下の処理が実行されるが、SB6の判断が肯定される場合には、SB7において、SB5にてダウンロードされた共演演奏相手の動画が前記映像情報デコーダ104等により再生されて前記映像表示装置100に表示される。次に、SB8において、共演演奏相手の動画の再生終了であるか否かが判断される。このSB8の判断が否定される場合には、SB7以下の処理が再び実行されるが、SB8の判断が肯定される場合には、SB9において、コラボ演奏動画すなわち共演動画情報に係る動画の記録が開始されるか否かが判断される。このSB9の判断が否定される場合には、SB6以下の処理が再び実行されるが、SB9の判断が肯定される場合には、SBSにおいて、図13に示すコラボ演奏動画投稿処理が実行された後、本ルーチンが終了させられる。
【0075】
図13は、図12に示す制御におけるコラボ演奏動画投稿制御の要部を説明するフローチャートである。先ず、SBS1において、前記映像情報デコーダ104等により共演演奏の相手(コラボ相手)の動画の再生が開始されると共に、その動画と関連付けられた演奏曲すなわち共演動画情報に係る共通の演奏曲のカラオケ演奏が開始される。次に、SBS2において、前記ビデオカメラ122により撮影された映像情報及び前記マイクロフォン110により入力された音声情報の記録処理が実行される。次に、SBS3において、前記電子早見本装置38やリモコン装置98等の入力装置により所定の効果音出力操作が行われたか否かが判断される。このSBS3の判断が否定される場合には、SBS5以下の処理が実行されるが、SBS3の判断が肯定される場合には、SBS4以下の処理が実行される。
【0076】
SBS4においては、上記効果音出力操作に係る種類の効果音が前記効果音データベース140から読み出され、その操作に対応するタイミングで出力されると共に、その効果音の種類及び出力タイミングが前記RAM128等に記憶される。次に、SBS5において、カラオケ演奏終了であるか否かが判断される。このSBS5の判断が否定される場合には、SBS2以下の処理が再び実行されるが、SBS5の判断が肯定される場合には、SBS6において、SBS2にて録音された音声情報において、その音声情報に対応してSBS4にて出力された効果音(RAM128等に記憶された各効果音)に対応する周波数成分を抑制する編集が行われる。
【0077】
次に、SBS7において、コラボ映像すなわち共演演奏相手の動画とSBS2にて記録された動画との同期出力映像の視聴が行われるか否かが判断される。このSBS7の判断が否定される場合には、SBS10以下の処理が実行されるが、SBS7の判断が肯定される場合には、SBS8において、コラボ動画すなわち共演演奏相手の動画とSBS2にて記録された動画との同期出力映像が前記映像情報デコーダ104等により再生されて前記映像表示装置100に表示される。なお、このSBS8にて再生される動画に関して、音声情報にはSBS6の処理が行われたものが適用される。次に、SBS9において、コラボ動画のの再生終了であるか否かが判断される。このSBS9の判断が否定される場合には、SBS8以下の処理が再び実行されるが、SBS9の判断が肯定される場合には、SBS10において、SBS2にて記録(撮影)された動画が投稿されるか否かが判断される。このSBS10の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SBS10の判断が肯定される場合には、SBS11において、SBS2にて記録された映像情報及びSBS6にて編集された音声情報に対応する動画が、投稿主体である利用者の識別情報(ユーザID)、共演相手である動画情報の識別情報、及びSBS1にて出力された演奏曲の識別情報(選曲番号)、及びSBS4にて記憶された各効果音の種類及び出力タイミング等と関連付けられて前記サーバ装置12へアップロードされ、それをもって図12に示すメインルーチンへ復帰させられる。
【0078】
図14は、前記サーバ装置12のCPU52による動画投稿受付制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0079】
先ず、SC1において、前記カラオケ装置36等の通信端末装置から前記通信回線18を介して所定の動画情報(動画ファイル)のアップロードがあったか否かが判断される。このSC1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SC1の判断が肯定される場合には、SC2において、アップロードされた動画情報が投稿主体である利用者の識別情報(ユーザID)、演奏曲の識別情報(選曲番号)、及び各効果音の種類及び出力タイミング等と関連付けられて前記動画データベース68に記憶される。次に、SC3において、アップロードされた動画情報はコラボ動画すなわち共演動画情報に係る組み合わせの対象となる動画情報であるか否かが判断される。このSC3の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SC3の判断が肯定される場合には、SC4において、アップロードされた動画情報及びその共演相手である動画情報に基づいてコラボ動画すなわちそれらの動画を同期して出力させるための組み合わせ情報としての共演動画情報が編集され、その組み合わせに係る各動画情報の識別情報、各動画情報の投稿主体である利用者の識別情報(ユーザID)、及び共通の演奏曲の識別情報(選曲番号)等と関連付けられて前記動画データベース68に記憶された後、本ルーチンが終了させられる。
【0080】
図15は、前記カラオケ装置36のCPU124或いは前記PC14のCPU74等による効果音選択制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0081】
先ず、SD1において、例えば図11に示す制御のSA3や図13に示す制御のSBS2にて録音された音声情報に対応して出力された、それぞれ異なる出力タイミングにおける複数の効果音のうち、配信される動画に対する適用対象とする効果音を選択するための効果音選択映像が前記映像表示装置100等に表示される。次に、SD2において、前記電子早見本装置38やリモコン装置98等の入力装置により、効果音の設定対象(選択対象)となる音声情報の視聴再生操作が行われたか否かが判断される。このSD2の判断が否定される場合には、SD3において、前記電子早見本装置38やリモコン装置98等の入力装置による入力操作に応じて設定対象となる音声情報に係る各出力タイミングにおける効果音を適用対象とするか否かの設定が受け付けられた後、SD8以下の処理が実行されるが、SD2の判断が肯定される場合には、SD4において、設定対象となる音声情報の再生(出力)が開始される。次に、SD5において、音声情報の出力に伴い、効果音選択映像における各効果音に対応する出力タイミングの目安を示す表示が随時更新される。次に、SD6において、前記電子早見本装置38やリモコン装置98等の入力装置による入力操作に応じて設定対象となる音声情報に係る各出力タイミングにおける効果音を適用対象とするか否かの設定が受け付けられた後、SD7において、設定対象となる音声情報の再生終了であるか否かが判断される。このSD7の判断が否定される場合には、SD5以下の処理が実行されるが、SD7の判断が肯定される場合には、SD8において、前記電子早見本装置38やリモコン装置98等の入力装置により所定の設定完了操作が行われたか否かが判断される。このSD8の判断が否定される場合には、SD2以下の処理が再び実行されるが、SD8の判断が肯定される場合には、SD9において、設定対象となる音声情報に係る複数の効果音に関して、各出力タイミングにおける効果音を適用対象とするか否かの設定が確定され、前記サーバ装置12における動画データベース68にその設定が反映される等の制御が行われた後、本ルーチンが終了させられる。
【0082】
図16は、前記サーバ装置12のCPU52による動画配信/効果音適用制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0083】
先ず、SE1において、前記PC14、携帯電話機16、及びカラオケ装置36等の通信端末装置から前記通信回線18を介して所定の動画情報(動画ファイル)乃至共演動画情報の配信要求があったか否かが判断される。このSE1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SE1の判断が肯定される場合には、SE2において、配信要求された動画情報はコラボ動画すなわち共演動画情報に係る組み合わせの対象となる動画情報であるか否かが判断される。このSE2の判断が否定される場合には、SE8以下の処理が実行されるが、SE2の判断が肯定される場合には、SE3において、前記通信回線18を介しての前記通信端末装置からの配信要求に応じて、前記動画データベース68に記憶されたその配信要求に係る動画情報及び共演動画情報が要求元である通信端末装置へ配信され、その共演動画情報の組み合わせに係る1対の動画情報の同期出力が開始される。
【0084】
次に、SE4において、出力されている共演動画情報の組み合わせに係る1対の動画情報それぞれに関して、前記動画データベース68に記憶された効果音の出力タイミングであるか否かが判断される。このSE4の判断が否定される場合には、SE6以下の処理が実行されるが、SE4の判断が肯定される場合には、SE5において、配信中の共演動画情報の組み合わせに係る1対の動画情報に、前記動画データベース68に記憶された種類に対応する効果音が適用される。次に、SE6において、演奏終了すなわち前記共演動画情報の組み合わせに係る1対の動画情報の同期出力終了であるか否かが判断される。このSE6の判断が否定される場合には、SE4以下の処理が再び実行されるが、SE6の判断が肯定される場合には、SE7において、前記共演動画情報の組み合わせに係る1対の動画情報の同期出力が終了させられ、それをもって本ルーチンが終了させられる。
【0085】
SE8においては、前記通信回線18を介しての前記通信端末装置からの配信要求に応じて、前記動画データベース68に記憶されたその配信要求に係る動画情報が要求元である通信端末装置へ配信された後、SE9において、出力されている動画情報に関して前記動画データベース68に記憶された効果音の出力タイミングであるか否かが判断される。このSE9の判断が否定される場合には、SE11以下の処理が実行されるが、SE9の判断が肯定される場合には、SE10において、配信中の動画情報に前記動画データベース68に記憶された種類に対応する効果音が適用される。次に、SE11において、演奏終了すなわち前記動画情報の出力終了であるか否かが判断される。このSE11の判断が否定される場合には、SE9以下の処理が再び実行されるが、SE11の判断が肯定される場合には、SE12において、前記動画情報の出力が終了させられ、それをもって本ルーチンが終了させられる。
【0086】
以上、図11〜図16に示す制御において、SA2及びSBS1が前記演奏制御手段144の動作に、SA5及びSBS4が前記効果音出力制御手段146の動作に、SA3及びSBS2が録音制御手段及び録画制御手段に相当する前記演奏記録制御手段148の動作に、SA7及びSBS6が前記音声情報編集制御手段150の動作に、SC1〜SC4が前記投稿受付制御手段152の動作に、SB2が前記検索制御手段154の動作に、SB5が前記配信要求制御手段156、166の動作に、SE3及びSE8が前記動画配信制御手段158の動作に、SA9、SB7、SBS1、及びSBS8が前記動画出力制御手段160、168の動作に、SBS1が前記同期演奏制御手段162の動作に、SC4が前記共演動画編集制御手段164の動作に、SD1〜SD9が前記効果音選択制御手段170、172の動作に、SE5及びSE10が前記効果音適用制御手段174の動作に、それぞれ対応する。
【0087】
このように、本実施例によれば、前記複数の楽曲データから選択される楽曲データに対応する演奏曲を出力させる演奏制御手段144(SA2及びSBS1)と、その演奏制御手段144による演奏曲の出力に際して、投稿側端末装置としてのカラオケ装置36に備えられた入力装置である電子早見本装置38等による入力操作に応じて、予め定められた複数種類の効果音から選択される効果音を、その入力操作に対応する出力タイミングで出力させる効果音出力制御手段146(SA5及びSBS4)と、前記演奏制御手段144による演奏曲の出力と併行して音声入力装置であるマイクロフォン110により入力される音声情報を録音する録音制御手段及び撮像装置であるビデオカメラ122により撮影される映像情報を記録する録画制御手段としての演奏記録制御手段148(SA3及びSBS2)と、その演奏記録制御手段148により録音された音声情報において、その音声情報に対応して前記効果音出力制御手段146により出力された効果音に対応する周波数成分を抑制する編集を行う音声情報編集制御手段150(SA7及びSBS6)と、その音声情報編集制御手段150により編集された音声情報と、その音声情報に対応して前記演奏記録制御手段148により記録された映像情報と、その音声情報に対応して前記効果音出力制御手段146により出力された効果音の種類及び出力タイミングを表す情報とを、対応付けて前記動画データベース68に記憶させる投稿受付制御手段152(SC1〜SC4)と、前記配信側端末装置からの配信要求に応じて、前記動画データベース68に記憶されたその配信要求に係る映像情報及び音声情報に、対応付けられた効果音の種類及び出力タイミングに基づいてその効果音を適用した動画情報を、前記配信側端末装置において出力させる動画出力制御手段160、168(SA9、SB7、SBS1、及びSBS8)とを、備えたものであることから、カラオケ演奏に際して出力された効果音を動画情報とは別個の情報として管理することで、その動画情報における音声情報に効果音が含まれることに起因する不具合の発生を好適に防止できる。すなわち、録音時に鳴らされる効果音を配信対象となる動画情報に好適に反映させる動画情報配信システム10を提供することができる。
【0088】
また、前記音声情報に対応して前記効果音出力制御手段146により出力された、それぞれ異なる出力タイミングにおける複数の効果音のうち、前記動画出力制御手段160、168による適用対象とする効果音を選択する効果音選択制御手段170、172(SD1〜SD9)を備えたものであるため、投稿側端末装置における動画情報の記録時、或いは配信側端末装置における動画情報の閲覧時等において、その動画情報に適用される効果音を任意に設定することができ、動画情報配信システム10の利用性を更に向上させることができる。
【0089】
また、前記効果音選択制御手段170、172は、前記音声情報に対応付けられた効果音の種類及び出力タイミングに基づいて、その音声情報の出力と併行して各効果音を出力させる視聴制御を行うと共に、各出力タイミングにおける効果音を前記動画出力制御手段160、168による適用対象とするか否かの設定を行うものであるため、対象となる動画情報を閲覧しつつその動画情報に適用される効果音を任意に設定することができ、動画情報配信システム10の利用性を更に向上させることができる。
【0090】
また、前記効果音選択制御手段170、172は、前記投稿側端末装置及び配信側端末装置の少なくとも一方に機能的に備えられたものであるため、投稿側端末装置における動画情報の記録時、或いは配信側端末装置における動画情報の閲覧時等において、その動画情報に適用される効果音を任意に設定することができ、動画情報配信システム10の利用性を更に向上させることができる。
【0091】
また、前記投稿受付制御手段152により投稿される、共通の楽曲データに関連付けられた1対の動画情報を組み合わせて共演動画情報を編集し、その編集された共演動画情報をその共通の楽曲データと関連付けて前記動画データベース68に記憶させる共演動画編集制御手段164(SC4)と、前記配信側端末装置からの配信要求に応じて、前記動画データベース68に記憶されたその配信要求に係る動画情報及び共演動画情報をその配信側端末装置に配信する動画配信制御手段158(SE3及びSE8)とを、備え、前記動画出力制御手段160、168は、その動画配信制御手段158により配信される共演動画情報の組み合わせに係る1対の動画情報を同期して前記配信側端末装置において出力させるものであるため、共通の演奏曲に関連付けられた複数の動画情報を組み合わせて共演動画情報を編集し、前記カラオケ装置36のみならずPC14等の通信端末装置により閲覧可能とする共演動画(コラボ動画)サービスにおいて、録音時に鳴らされる効果音を配信対象となる動画情報に好適に反映させる動画情報配信システム10を提供することができる。
【0092】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【0093】
例えば、前述の実施例において、前記演奏制御手段144、効果音出力制御手段146、演奏記録制御手段148、音声情報編集制御手段150、検索制御手段154、配信要求制御手段156、動画出力制御手段160、同期演奏制御手段162、及び効果音選択制御手段170は前記カラオケ装置36のCPU124に、投稿受付制御手段152、動画配信制御手段158、共演動画編集制御手段164、及び効果音適用制御手段174は前記サーバ装置12のCPU52に、配信要求制御手段166、動画出力制御手段168、及び効果音選択制御手段172は前記PC14のCPU74に、それぞれ機能的に備えられたものであったが、本発明はこれに限定されるものではなく、例えば、前記検索制御手段154に係る制御を実質的に前記サーバ装置12側で実行する構成においては、その検索制御手段154は前記サーバ装置12のCPU52に備えられたものであってもよいというように、図5に示す各制御機能を備える装置はシステムの構成に応じて適宜変更され得る。
【0094】
また、前述の実施例において、前記共演動画編集制御手段164は、前記サーバ装置12のCPU52に機能的に備えられたものであり、前記カラオケ装置36等の投稿側端末装置からアップロードされる複数の動画情報を組み合わせて共演動画情報を編集し、その編集された共演動画情報を前記動画データベース68に記憶させるものであったが、例えば前記カラオケ装置36において共演動画情報に係る組み合わせの対象となる動画情報(演奏動画)の記録が完了した段階において、そのカラオケ装置36のCPU124によりその動画情報と共演相手である動画情報とを組み合わせる共演動画情報を編集し、その編集された共演動画情報を前記サーバ装置12へアップロードして前記動画データベース68に記憶させるものであってもよい。すなわち、前記共演動画編集制御手段164は、実質的に前記カラオケ装置36のCPU124に機能的に備えられたものであってもよい。また、前記動画データベース68に記憶された、複数の動画情報にそれぞれ関連付けられて記憶された効果音に関し、動画情報同士を組み合わせることなく効果音のみを組み合わせ、何れかの動画情報の出力に際してその組み合わされた効果音を出力させる等、効果音のみの共演を行う態様も考えられる。
【0095】
また、前述の実施例において、前記効果音適用制御手段174は、前記サーバ装置12のCPU52に機能的に備えられたものであり、配信側端末装置による動画乃至共演動画の出力に際して対応する効果音を動画情報に適用して各配信側端末装置へ配信するものであったが、例えば、前記PC14やカラオケ装置36等の配信側端末装置の側において効果音データベース及び効果音出力制御手段を備えると共に、前記サーバ装置12側からの指令に応じてそれらPC14やカラオケ装置36等の配信側端末装置のCPUにより動画情報に効果音を適用する態様も考えられる。すなわち、前記効果音適用制御手段174は、前記PC14やカラオケ装置36等の配信側端末装置側に備えられたものであってもよい。また、前記サーバ装置12のCPU52に前記音声情報編集制御手段150が備えられ、そのサーバ装置12側で各効果音に対応する周波数成分を抑制する編集が行われる態様も考えられる。
【0096】
また、前述の実施例において、前記共演動画編集制御手段164は、前記動画データベース68にそれぞれ独立した動画情報として記憶された組み合わせに係る動画情報を読み出し、それら動画情報を共演動画として同期出力させるための組み合わせ情報としての共演動画情報を編集するものであったが、それら組み合わせに係る複数の動画情報を合成し、単一の動画情報(動画ファイル)としての共演動画情報を作成して前記動画データベース68に記憶するものであってもよい。すなわち、前記共演動画編集制御手段164により編集される共演動画情報は、複数の動画情報を共演動画として同期出力させるための組み合わせ情報であってもよいし、組み合わせに係る複数の動画情報が合成された結果としての動画情報そのものであってもよい。また、組み合わせに係る複数の動画情報を合成し、単一の共演動画情報を作成する態様においては、組み合わせに係る1対の動画情報と等価な動画ファイルの他、各動画情報の投稿者、投稿日時、及び投稿者コメント等の情報を共演動画と共に表示させるためのファイルが形成され、組み合わせを定義する共演動画情報として記録乃至配信される。更に、単一の共演動画情報を作成する態様においては、その作成の基となった複数の動画情報は、共演動画情報が作成された時点で前記動画データベース68から削除されるものであってもよい。
【0097】
また、前述の実施例において、前記共演動画編集制御手段164は、前記カラオケ装置36に備えられた動画出力制御手段160による共演相手である動画情報の出力と同期しての、前記同期演奏制御手段162による演奏曲の出力に際して記録された動画情報を、その共演相手である動画情報と組み合わせる共演動画情報を編集するものであったが、例えば前記PC14からアップロードされた複数の動画情報を組み合わせて共演動画情報を編集するものであってもよい。すなわち、前記カラオケ装置36によるカラオケ演奏に際して記録された動画情報のみならず、前記PC14に備えられたウェブカメラやマイクロフォン等により記録された動画情報(動画ファイル)も本発明の共演動画情報の編集対象となり得るものである。
【0098】
また、前述の実施例では特に言及していないが、前記動画情報配信システム10には、前記通信回線18を介して前記PC14等の通信端末装置によるコメントの投稿を受け付け、前記動画配信制御手段158による動画情報或いは共演動画情報に係る動画の配信に際して、それら動画情報或いは共演動画情報に対して過去に投稿された複数のコメントを同期して配信する等の制御を行うものであってもよい。また、各動画情報に関連付けられた効果音に関して、その出力タイミングや種類等に基づく評価(演奏評価)或いは閲覧者のコメントによる評価等を行い、その評価結果に応じてアップロード可能な効果音を定めたり、コラボできる効果音を選択させたりといった制御を行うものであってもよい。すなわち、本発明の動画情報配信システムは、前述の実施例に加えて種々のインタラクティブな機能が追加されて構成されるものである。
【0099】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【0100】
10:動画情報配信システム、14:パーソナルコンピュータ(配信側端末装置)、16:携帯電話機(配信側端末装置)、18:通信回線、36:カラオケ装置(投稿側端末装置、配信側端末装置)、38:電子早見本装置(入力装置)、68:動画データベース、98:リモコン装置(入力装置)、110:マイクロフォン(音声入力装置)、122:ビデオカメラ(撮像装置)、144:演奏制御手段、146:効果音出力制御手段、148:演奏記録制御手段(録音制御手段、録画制御手段)、150:音声情報編集制御手段、152:投稿受付制御手段、158:動画配信制御手段、160、168:動画出力制御手段、164:共演動画編集制御手段、170、172:効果音選択制御手段

【特許請求の範囲】
【請求項1】
通信回線を介して接続された投稿側端末装置から、予め定められた複数の楽曲データの何れかに対応する動画情報の投稿を受け付け、該投稿された動画情報を対応する楽曲データと関連付けて動画データベースに記憶させると共に、通信回線を介して接続された配信側端末装置からの配信要求に応じて該動画データベースに記憶された動画情報を配信する動画情報配信システムであって、
前記複数の楽曲データから選択される楽曲データに対応する演奏曲を出力させる演奏制御手段と、
該演奏制御手段による演奏曲の出力に際して、前記投稿側端末装置に備えられた入力装置による入力操作に応じて、予め定められた複数種類の効果音から選択される効果音を、該入力操作に対応する出力タイミングで出力させる効果音出力制御手段と、
前記演奏制御手段による演奏曲の出力と併行して音声入力装置により入力される音声情報を録音する録音制御手段及び撮像装置により撮影される映像情報を記録する録画制御手段と、
前記録音制御手段により録音された音声情報において、該音声情報に対応して前記効果音出力制御手段により出力された効果音に対応する周波数成分を抑制する編集を行う音声情報編集制御手段と、
該音声情報編集制御手段により編集された音声情報と、該音声情報に対応して前記録画制御手段により記録された映像情報と、該音声情報に対応して前記効果音出力制御手段により出力された効果音の種類及び出力タイミングを表す情報とを、対応付けて前記動画データベースに記憶させる投稿受付制御手段と、
前記配信側端末装置からの配信要求に応じて、前記動画データベースに記憶された該配信要求に係る映像情報及び音声情報に、対応付けられた効果音の種類及び出力タイミングに基づいて該効果音を適用した動画情報を、前記配信側端末装置において出力させる動画出力制御手段と
を、備えたものであることを特徴とする動画情報配信システム。
【請求項2】
前記音声情報に対応して前記効果音出力制御手段により出力された、それぞれ異なる出力タイミングにおける複数の効果音のうち、前記動画出力制御手段による適用対象となる効果音を選択する効果音選択制御手段を備えたものである請求項1に記載の動画情報配信システム。
【請求項3】
前記効果音選択制御手段は、前記音声情報に対応付けられた効果音の種類及び出力タイミングに基づいて、該音声情報の出力と併行して各効果音を出力させる視聴制御を行うと共に、各出力タイミングにおける効果音を前記動画出力制御手段による適用対象とするか否かの設定を行うものである請求項2に記載の動画情報配信システム。
【請求項4】
前記効果音選択制御手段は、前記投稿側端末装置及び配信側端末装置の少なくとも一方に機能的に備えられたものである請求項2又は3に記載の動画情報配信システム。
【請求項5】
前記投稿受付制御手段により投稿される、共通の楽曲データに関連付けられた1対の動画情報を組み合わせて共演動画情報を編集し、該編集された共演動画情報を該共通の楽曲データと関連付けて前記動画データベースに記憶させる共演動画編集制御手段と、
前記配信側端末装置からの配信要求に応じて、前記動画データベースに記憶された該配信要求に係る動画情報及び共演動画情報を該配信側端末装置に配信する動画配信制御手段と
を、備え、
前記動画出力制御手段は、該動画配信制御手段により配信される共演動画情報の組み合わせに係る1対の動画情報を同期して前記配信側端末装置において出力させるものである
請求項1から4の何れか1項に記載の動画情報配信システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−11700(P2013−11700A)
【公開日】平成25年1月17日(2013.1.17)
【国際特許分類】
【出願番号】特願2011−143541(P2011−143541)
【出願日】平成23年6月28日(2011.6.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FLASH
【出願人】(396004833)株式会社エクシング (394)
【Fターム(参考)】