ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
【課題】ユーザ端末を利用したステージの視聴者であっても、自身の書き込んだコメントの表示を含むステージの配信ライブ映像の視聴が可能となり、さらにそのコメントによってステージ上の演出装置を制御することが可能なステージ演出システムを提供する。
【解決手段】ステージの配信ライブ映像に対するコメントの入力をネットワーク上のユーザ端末から受付け、そのコメントを直ちに当該配信ライブ映像の視聴者に対して視認可能にディスプレイに表示するとともに、その入力コメントに応じて照明装置や音響装置、スモーク装置などの実際のステージ上の演出装置を制御する。
【解決手段】ステージの配信ライブ映像に対するコメントの入力をネットワーク上のユーザ端末から受付け、そのコメントを直ちに当該配信ライブ映像の視聴者に対して視認可能にディスプレイに表示するとともに、その入力コメントに応じて照明装置や音響装置、スモーク装置などの実際のステージ上の演出装置を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステージ上の演出を、そのステージをネットワークを介して視聴するユーザ端末からのコメント入力によって制御する技術に関する。
【背景技術】
【０００２】
従来、パフォーマンスやイベントなどを行うステージに照明装置、音響装置、スモーク装置などを設置し、それら装置を担当者が所定のブースから遠隔制御することによるステージ演出が行われている。また、ステージ上にディスプレイを設置し、いわゆるＶＪ（ビデオジョッキー）と呼ばれる者たちが、ステージ上のパフォーマンスなどの進行に合わせて、その感性で自由に映像を表示させることができるステージ演出技術なども提供されている。
【０００３】
また、特許文献１には、ネットワークを介して接続されたユーザ端末から、結婚式などに関する映像メッセージを受付け、その受付けたメッセージを式典の最中に会場内のディスプレイに表示することで式典などを盛り上げる演出技術が開示されている。
【０００４】
また現在では、このように様々に演出されるステージの映像を撮影し、個人ユーザレベルの簡単な設備や技能でネットワーク上の不特定多数のユーザ端末に対してリアルタイムに配信することができるシステムも提供されている。これにより、実際にステージまで足を運ばなくとも、ネットワークを介してライブ配信された映像をユーザ端末上で視聴して、前述のような各種ステージ演出を含むパフォーマンスなどをリアルタイムに楽しむことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２８５０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、それはあくまでも映像であるため、ユーザ端末による視聴者は上記演出を含めたパフォーマンスを身近に感じることは難しく、実際にステージを観覧しているユーザと比べるとその感じる楽しさ、特にステージで行われているパフォーマンスなどへの参加（ライブ）感は劣っている、という課題がある。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、本発明は、ステージの配信ライブ映像に対するコメントの入力をネットワーク上のユーザ端末から受付け、そのコメントを直ちに当該配信ライブ映像の視聴者に対して視認可能にディスプレイに表示するとともに、その入力コメントに応じて照明装置や音響装置、スモーク装置などの実際のステージ上の演出装置を制御することができるステージ演出システムを提供する。
【０００８】
具体的に、ステージの演出制御を行う演出制御サブシステムと、演出制御サブシステムとネットワークを介して接続されたユーザ端末と、ユーザ端末にて入力されたコメントを表示するディスプレイと、からなるステージ演出システムであって、演出制御サブシステムは、ステージを演出するための演出装置と、ステージのライブ映像をユーザ端末に配信するライブ映像配信部と、コメントに基づく演出制御を定める演出制御ルールを保持するルール保持部と、ユーザ端末から送信されたコメントを受信するコメント受信部と、受信したコメントと、保持されている演出制御ルールと、に基づいてライブのステージの演出装置の制御を行う演出制御部と、を有する。
【０００９】
また、そのユーザ端末は、配信されたライブ映像を受信するライブ映像受信部と、受信したライブ映像を表示するライブ映像表示部と、表示されたライブ映像に対するコメント入力を受付けるコメント入力受付部と、受付けたコメントを直ちに送信するコメント送信部と、を有し、ディスプレイは、ユーザ端末にて入力されたコメントを取得するコメント取得部と、取得したコメントをユーザ端末のユーザに対して視聴可能に表示するコメント表示部と、を有する、という具合である。
【００１０】
これによりユーザ端末を利用したステージの視聴者は、自身の書き込んだコメントの表示を含むステージの配信ライブ映像の視聴が可能となり、さらにそのコメントによってステージ上の演出装置を制御することが可能となるので、実際のステージの観覧者とは別の形でステージへの参加感を得ることができる。
【００１１】
また、前記コメントが表示されるディスプレイが、ステージの置かれた会場内に設置されていることを特徴とするステージ演出システムも提供する。また、前記演出制御サブシステムの演出制御部が、演出装置として前記ステージの置かれた会場内のディスプレイを制御するステージディスプレイ制御手段を有するステージ演出システムも提供する。また、前記演出制御サブシステムの演出制御部が、ステージの置かれた会場内の観覧者に配布される演出器具を演出装置として制御する観覧者演出器具制御手段を有するステージ演出システムも提供する。
また、前記ステージディスプレイ制御手段が、ステージに置かれたディスプレイに出力されるアバターのアクションを制御するアバター制御器を有するステージ演出システムも提供する。また、さらに前記演出制御部が、ステージに置かれたディスプレイに出力されるアバターにアクションを起こさせるアクション開始受付手段をさらに有するステージ演出システムも提供する。
【００１２】
また、前記ユーザ端末のコメント送信部が、ユーザＩＤ又は／及び端末ＩＤと関連付けてコメントを送信するＩＤ付コメント送信手段を有し、前記演出制御サブシステムが、前記ＩＤに基づきステージの設置された会場内のディスプレイにＩＤアバターを表示するＩＤアバター表示部を有するとともに、前記ルール保持部は、前記ＩＤアバターに対する演出制御を定めるＩＤアバター演出制御ルールを保持するＩＤアバタールール保持手段を有し、前記ステージディスプレイ制御手段は、受信したコメント及びＩＤと、保持されているＩＤアバター演出制御ルールと、に基づいてディスプレイに表示されたＩＤアバターの演出表示を行うＩＤアバター演出器を有するステージ演出システムも提供する。
【００１３】
また、上記のようなステージ演出システムの動作方法や演出制御サブシステムの動作方法、そのプログラムなども提供する。
【発明の効果】
【００１４】
以上のような構成をとる本発明によって、ユーザ端末を利用したステージの視聴者（バーチャルな視聴者）であっても、自身の書き込んだコメントの表示を含むステージの配信ライブ映像の視聴が可能となり、さらにそのコメントによってステージ上の演出装置を制御することが可能となるので、実際のステージの観覧者（リアルな視聴者）とは別の形でのステージへの参加感を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１のステージ演出システムによるステージ演出制御の一例を説明するための概念図
【図２】実施例１のステージ演出システムにおける機能ブロックの一例を表す図
【図３】実施例１の演出制御サブシステムのルール保持部にて保持されている演出制御ルールの一例を表す概念図
【図４】実施例１のユーザ端末のコメント入力受付部でのコメント入力の一例を説明するための概念図
【図５】実施例１のディスプレイの設置場所に応じたコメントの表示例を示す図
【図６】実施例１のディスプレイの設置場所に応じたコメントの、別の表示例を示す図
【図７】実施例１の演出制御サブシステムにおけるハードウェア構成の一例を表す図
【図８】実施例１のユーザ端末におけるハードウェア構成の一例を表す図
【図９】実施例１のディスプレイにおけるハードウェア構成の一例を表す図
【図１０】実施例１のステージ演出システムにおける処理の流れの一例を表すフローチャート
【図１１】実施例１のステージ演出システムによるステージ演出制御の、別の一例を説明するための概念図
【図１２】実施例２のステージ演出システムによるステージ演出制御（ＩＤアバター表示）の一例を説明するための概念図
【図１３】実施例２のステージ演出システムにおける機能ブロックの一例を表す図
【図１４】実施例２のステージ演出システムにおける処理の流れの一例を表すフローチャート
【図１５】実施例３のステージ演出システムにおける機能ブロックの一例を表す図
【図１６】実施例３のステージ演出システムによるアバターのアクション制御の一例を説明するための概念図
【図１７】実施例３のステージ演出システムにおける処理の流れの一例を表すフローチャート
【発明を実施するための形態】
【００１６】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【００１７】
なお、実施例１は、主に請求項１，２，３，７，８，９，１０，１１，１２について説明する。また、実施例２は、主に請求項３，６について説明する。また実施例３は、主に請求項４，５について説明する。
【００１８】
≪実施例１≫
<概要>
図１は、本実施例のステージ演出システムによるステージ演出制御の一例を説明するための概念図である。この図１（ａ）にあるように、イベントやパフォーマンスなどが行われているステージのライブ映像が、ネットワークを介してユーザ端末に配信されている。そして図１（ｂ）に示すように、ユーザ端末による視聴者（以下、バーチャル視聴者と記載）はステージの配信ライブ映像を見ながら、例えば「８８８８８８（拍手の擬音を表すコメント）」といったパフォーマンスの感想などを自由にコメントとして入力欄に書き込み送信ボタンをクリックする。
【００１９】
すると図１（ｃ）に示すように、書き込まれたコメント（他のユーザ端末で書き込まれたコメントも含まれて良い）は、ネットワークを介して、例えばステージ上の背面や両側面、また観客席後方などに設けられた巨大ディスプレイに取得され、そのディスプレイ上に回遊表示などされる。そしてそれとともに、図１（ｄ）に示すように、ステージ近傍に設けられた演出制御サブシステムでもそのコメント（８８８８８８）が受信され、それに応じて、例えばステージ上や天井などに設けられた音響装置から「拍手の音」が演出として出力されるよう制御する。そしてバーチャル視聴者は、そのステージ上ディスプレイでの自身の入力したコメントの表示と、そのコメントに応じた音響装置の拍手音声の出力演出と、を配信ライブ映像にて楽しむことができる、という具合である。
【００２０】
このように、ステージを実際には観覧していないバーチャル視聴者であっても、自身の書き込みによりディスプレイにコメントを表示させ、さらにその書き込みコメントによって実際のステージ上の演出装置を制御することできる。したがって実際のステージの観覧者（以下、リアル視聴者と記載）とは別の形でステージへの参加感を得ることができる。
【００２１】
また、ステージ上の拍手音声出力などの演出は当然リアル視聴者も楽しむことができるので、そのステージを媒介したバーチャル視聴者とリアル視聴者の一体感を醸成する効果も期待できる。
【００２２】
<機能的構成>
図２は、本実施例のステージ演出システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例のステージ演出システムは、「演出制御サブシステム」（０２００）と、「ユーザ端末」（０２１０）と、「ディスプレイ」（０２２０）と、からなる。
【００２３】
なお、以下に記載する本システムの各サブシステムや装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バス、あるいは二次記憶装置（ハードディスクや不揮発性メモリ、ＣＤやＤＶＤなどの記憶メディアとそれらメディアの読取ドライブなど）、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったＣＰＵの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本システムの機能ブロックは専用ハードウェアによって実現されてもよい。
【００２４】
また、この発明はシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。
【００２５】
（演出制御サブシステム）
まず「演出制御サブシステム」の構成要件について説明する。演出制御サブシステムはステージの映像配信や演出制御を行うサーバ装置や端末装置、あるいはそれらが組み合わされた一の装置などで構成されるサブシステムであって、図２にあるように、「演出装置」（０２０１）と、「ライブ映像配信部」（０２０２）と、「ルール保持部」（０２０３）と、「コメント受信部」（０２０４）と、「演出制御部」（０２０５）と、を有する。
【００２６】
「演出装置」（０２０１）は、ステージを演出するための装置であって、その演出方法に合わせて様々なものが採用されると良い。例えばライティングによる演出であれば演出装置としては各種照明／レーザー／ミラーボウル／遮光装置などが挙げられ、音響による演出であれば各種スピーカ装置が挙げられる。またその他にも、発煙による演出を行うスモーク装置、安全なレベルでの爆破発生装置、たいまつなどの発火装置、放水装置、温度調節装置、あるいは体感に関する演出を行う床の振動装置などが挙げられる。
【００２７】
また、ステージの置かれた会場内に設置される映像表示用のディスプレイも、画像表示による演出を行う演出装置の一例として挙げられる。さらに、演出装置であるディスプレイは、後述するユーザ端末から入力されたコメントが表示されるディスプレイと同一のものとして構成されても良い。
【００２８】
なお、「ステージ」とは、パフォーマンスやイベントなどが行われる空間をいうが、例えば屋外のフリースペースなどのステージのように厳密に他の空間と区別されうるものには限らない。また「ステージの演出」とは、そのパフォーマンスなどが行われる空間における演出のみならず、リアル視聴者が演出を感じることができる形態であれば、例えばステージの置かれた会場（観客席なども含む空間など）に対する演出も含むものとする。
【００２９】
「ライブ映像配信部」（０２０２）は、ステージのライブ映像をユーザ端末に配信する機能を有し、例えばカメラ装置や映像処理装置、ＣＰＵや主メモリ、通信回路、ライブ映像配信プログラムなどによって実現することができる。なお、ライブ映像の配信とはステージ上のパフォーマンスなどを略リアルタイムで配信することをいい、例えばストリーミング配信などが挙げられる。
【００３０】
そして後述するユーザ端末でこのライブ配信される映像に対するコメントが入力され、そのコメントが直ちに配信映像上で反映表示され、かつ配信映像内にコメントで制御された演出の様子が含まれることで、バーチャル視聴者はステージ上のパフォーマンスなどに対する参加感や会場との一体感を得ることができる。
【００３１】
「ルール保持部」（０２０３）は、コメントに基づく演出制御を定める演出制御ルールを保持する機能を有し、例えばＨＤＤやフラッシュメモリなどの各種記録装置によって実現することができる。
【００３２】
図３は、ここで保持されている演出制御ルールの一例を表す概念図である。この図にあるように、演出制御ルールには、例えば入力されたコメント（の一部又は全部）の文字列やコメントの属性（指定色など）と、制御先となる演出装置のＩＤと、その制御命令と、が関連付けられている。
【００３３】
具体的には、「燃える」といった文字列を含むコメントに対して、その制御先となるディスプレイに対する炎のグラフィック表示制御命令や、照明に対する赤色明滅制御命令、あるいはたいまつ装置に対する着火制御命令などが関連付けられている。また、「拍手」や「８８８８・・・（拍手の擬音を示す文字列）」を含むコメントに対しては、その制御先となるディスプレイに対するスタンディングオベーションのグラフィック表示制御命令や、音響装置に対する拍手音の出力制御命令などが関連付けられていたり、「すごい」や「うおお」などを含むコメントに対しては、その制御先となる床の振動装置に対する振動制御命令などが関連付けられていたりする、という具合である。
【００３４】
また、同じ（類義の）コメントの数をカウントし、その数に応じて、制御命令の強度（例えばグラフィックであれば表示画像の大きさ、色の濃淡、音響であれば音量の大きさ、振動であればその振幅の大きさ、またそれらの出力時間、演出による表示などの変化パターンの多寡など）を変えるようなルールであっても良い。
【００３５】
また、上記のようなコメントの内容（文字列）や数に応じた演出制御のみならず、図４に示すようにコメントに付加されている情報、例えばコメントの表示色や表示の大きさ、表示スクロール速度を示す情報、あるいはコメント入力者のランク（詳細は後述）を示す情報などに応じた制御命令を出力するルールであっても良い。例えばコメントの表示色が指定可能であれば、演出装置であるディスプレイにその指定色メインの画像を表示する制御や、照明装置を指定色に点灯させる制御などを示すルールなどが挙げられる。また、コメントの表示の大きさや速度、コメントの入力者のランクなどであれば、それに応じて前述の制御命令の「強度」を変えるようなルールであっても良い。
【００３６】
また、演出制御ルールとして制御命令を出力するための条件などが関連付けられていても良い。例えば書き込まれた類義のコメントの数や割合、あるいは内容に関わらずその表示指定色が同じコメントの数や割合が、例えばコメントの表示中や所定時間内に所定値／所定割合以上である場合に、上記のような対応する制御（例えばディスプレイの指定色メインの表示や照明の指定色明滅、後述するコンサートライトの指定色明滅など）を行うといった出力条件が含まれるルールとしても良い。あるいは書き込まれたコメントの中からランダムで抽選されたコメントに対応する制御を行うルールとしても良い。あるいはコメントに含まれるユーザＩＤと予め保持されているユーザ登録テーブルからユーザのランクを判断し、ランクの高いユーザのコメントに対応する制御を優先的に行うルールとしても良い。
また、例えば課金の有無によってコメントを演出制御に使うか否か区別して判断する制御ルールであっても良い。具体的には、コメント入力時や一括前／後払いにて課金処理を行った（行う契約を結んだ）ユーザの書き込んだコメントに課金済みフラグを含む構成として、その課金済みフラグを含むコメントによってのみ演出制御を行うといった出力条件を含むルールが挙げられる。なお、その場合課金済みフラグの無いコメントは、単に後述するディスプレイでの表示にのみ利用されると良い。
【００３７】
また、例えば「右側のギターがすごい」、「燃える」といった複数のコメントを組み合わせて、ステージ右側の演出装置に対してのみ「燃える」に対応する制御命令を出力するようなルールであっても良い。
【００３８】
以上のような様々な演出制御ルールを保持することで、この演出制御サブシステムはコメントに応じた様々な演出を行うことができる。
【００３９】
「コメント受信部」（０２０４）は、ユーザ端末から送信されたコメントを受信する機能を有し、例えばＣＰＵや主メモリ、通信回路、コメント受信プログラムなどによって実現することができる。そしてこのコメント受信部は、ユーザ端末から（転送のみを行う転送装置を介して）直接的にコメントを受信する構成であっても良い。
【００４０】
あるいは、コメントのディスプレイへの表示に係る処理を行うコメント管理サーバなどのように、コメントに関する処理を行う別装置から転送されるコメントを間接的に受信する構成であっても良い。なお、このコメント管理サーバに関しては、従来のコメント付の動画配信システムにおいて、複数のユーザ端末から配信動画に対するコメントを収集しその表示位置や表示スピードなどを適宜決定して当該配信動画と共にコメントが表示されるよう再配信するサーバ装置と同様であるので、その説明は省略する。
【００４１】
「演出制御部」（０２０５）は、受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う機能を有し、例えばＣＰＵと主メモリ、演出制御プログラムなどによって実現することができる。また、前述のように演出装置として前記ステージの置かれた会場内のディスプレイを制御するよう構成するのであれば、この演出制御部は、当該会場内のディスプレイを制御する図示しない「ステージディスプレイ制御手段」を有していても良い。
【００４２】
そして演出制御部は、具体的に、演出制御ルールがコメントの内容に応じたルールを定めるものであれば、受信したコメントの全部又は一部の文字列をキーとして、図３に示すような演出制御ルールを示すテーブル内のコメント列を対象にした検索処理を実行する。また検索処理の前に、コメントが文章などであれば形態素解析などを行ってコメントを品詞単位で分解した上で、その文章に含まれる名詞、動詞、形容詞、形容動詞、感動詞などのそれぞれについて上記検索処理を行うよう構成しても良い。
【００４３】
そして、検索にヒットしたフィールドに関連付けられている制御命令および制御先の演出装置のＩＤを特定し、その特定された演出装置宛の制御命令を出力する、という具合である。
【００４４】
また、演出制御ルールがコメントの内容に応じて制御命令を定めるルールではなく、例えばコメントの指定表示色に応じたルールであれば、例えば、まずコメントの属性情報として付加されている指定色の情報を取得する。そして、制御する演出装置がディスプレイ装置であれば、その指定色をメインとするグラフィックの描画命令が生成され出力されたり、制御する演出装置がＬＥＤ照明装置であれば、その指定色での明滅制御命令が生成され出力されたりする、といった演出制御処理を行っても良い。なお、その出力先の演出装置は色に応じて別々に定められていても良いし、順番やランダムに選択されても良いし、一の演出装置に決まっていても構わない。
【００４５】
また、演出制御ルールが前述のように制御命令の強度（グラフィック画像の大きさや色の濃淡など）を変えるようなルールであれば、その強度を変更するための情報を取得すると良い。例えば、ルールそのものを決定するコメントの文字列などとは別に、コメント内に「（赤）過ぎ／杉」などの文字列があれば、その演出装置への赤色出力制御が「濃い」赤、あるいは逆に「薄い」赤となるように色値が指定される、といった具合である。
【００４６】
そのほか、コメントに付加されている情報、例えばコメントの表示の大きさやスクロール速度を示す情報、あるいはコメント入力者のランクを示す情報などに応じて同様に制御命令の強度を変える処理を行っても良い。なお「コメント入力者のランク」とは、所定の条件に応じて定められる、このシステムに対するユーザの貢献度合いや優先度合いを示す指標値をいい、例えば本発明によるサービスの有料会員であるか否か、またサービスの登録期間の長短、コメントの書込み回数や書き込んだコメントの他者評価値などに応じて定められうる指標値である。そして、演出制御サブシステムでは、そのユーザ毎のランクを示すテーブルを予め保持しておき、コメントの属性情報として示される当該コメント書込者のユーザＩＤを利用してそのランクを特定する。そして特定されたランクに応じて演出制御の強度を変える（例えばランクの高いコメントによる照明の明滅制御はその制御時間が長かったり色の変化パターンが多かったりするなど）と良い。
【００４７】
また、例えばコメントに「右」「中央」「左」などの位置に関するパターン文字列が含まれているかをマッチング処理などで判断し、その方向に位置する演出装置や、その方向に向けて演出を行う演出装置のみを制御する処理を行っても良い。
【００４８】
また複数受信した制御命令のうちの一部を出力することとし、その出力条件を設けても良い。例えば所定時間内に受信した同じ（類義の）コメントの数をカウントし、そのカウント数とルールで示される閾値との大小判断処理などに応じて制御命令を出力するか判断しても良い。あるいは書き込まれたコメントの中からランダムでコメントを抽出する処理を行い、そのコメントに関してのみ上記のように制御命令を特定し出力する処理を行っても良い。あるいは、上記コメント入力者のランクに応じて、ランクの高いコメントによる演出の制御命令の出力を優先的に行うようにしても良い。
【００４９】
また、複数のコメントを組み合わせて制御命令を出力するようにしても良い。
【００５０】
以上のような構成により、本願の演出制御サブシステムは、ステージ映像を配信し、それに応じてユーザ端末にて入力され受信したコメントに応じたステージ上の演出制御を行うことができる。
【００５１】
（ユーザ端末）
つづいて、図２に戻りユーザ端末の構成要件について説明する。ユーザ端末は演出制御サブシステムとネットワークを介して接続されており、この図にあるように、「ライブ映像受信部」（０２１１）と、「ライブ映像表示部」（０２１２）と、「コメント入力受付部」（０２１３）と、「コメント送信部」（０２１４）と、を有する。
【００５２】
「ライブ映像受信部」（０２１１）は、配信されたライブ映像を受信する機能を有し、例えばＣＰＵや主メモリ、通信回路、ライブ映像受信プログラムなどによって実現することができる。
【００５３】
「ライブ映像表示部」（０２１２）は、受信したライブ映像を表示する機能を有し、例えばＣＰＵや主メモリ、画像処理回路やディスプレイ、ライブ映像表示プログラムなどによって実現することができる。そして、ユーザ端末によるバーチャル視聴者は、そのディスプレイに表示されたライブ映像を見ながら、その感想などをコメントとして書き込むことができる。
【００５４】
具体的には、ユーザ端末から、ライブ映像を配信するサーバ装置（演出制御サブシステムに含まれるライブ映像配信部など）にネットワークを介してライブ映像の配信リクエストを送信する。すると、サーバ装置から、例えばライブ映像を再生するための再生ウィンドウを含むＷｅｂページが返信されてくる。そして同じくサーバ装置から配信されてきたライブ映像のデータを受信すると、先に受信したＷｅｂページの再生ウィンドウ内に当該ライブ映像を再生しユーザ端末のディスプレイに表示する、という具合である。また、ユーザ端末にライブ映像を再生するためのアプリケーションがすでにインストールされていれば、上記Ｗｅｂページの送受信などを省いても良い。
【００５５】
なお、このライブ映像表示部を構成する「（ユーザ端末）ディスプレイ」と、後述する本願のステージ演出システムの構成要件である「（コメント表示用）ディスプレイ」（図２の２２０）とは、別々のハードウェア装置として実現されても良いし、同じハードウェアとして（両者の機能を兼備して）実現されても良い。
【００５６】
「コメント入力受付部」（０２１３）は、表示されたライブ映像に対するコメント入力を受付ける機能を有し、例えばＣＰＵや主メモリ、キーボードやリモコンなどの各種入力デバイス、そしてコメント入力用のＧＵＩを含むコメント入力受付プログラムによって実現することができる。
【００５７】
図４は、このコメント入力用のＧＵＩを利用したコメント入力の一例を説明するための概念図である。この図にあるように、ディスプレイには、ライブ映像の表示枠αと、例えばＷｅｂページであれば同じページ内や別ウィンドウのページ内に、アプリケーションであればそのアプリケーション内や別／重畳ウィンドウ内にコメントを入力するための入力欄βが表示されている。そして、バーチャル視聴者は、表示枠αに表示されているライブ映像を見ながら、入力欄βにキーボードなどを利用して、例えば「ここのハモリがしびれる」などのコメントを入力する、という具合である。
【００５８】
なお「ライブ映像に対するコメント入力」とは、ライブ映像のＩＤと関連付けてコメントを入力することをいう。具体的には、例えばライブ映像の表示中に、その映像表示枠（Ｗｅｂページ／アプリケーションなど）と関連するコメント入力用ＧＵＩへ入力されたコメントに対し当該ライブ映像のＩＤを関連付ける、という具合である。そして、そのように入力されライブ映像ＩＤと関連付けられたコメントであれば、例えばライブ映像に対する感想のようなライブ映像の内容などに関連するコメントには限定されない。
【００５９】
そして自他のユーザ端末にてそのように入力されたコメントは、後述するようにライブ映像の表示枠α内にライブ映像に重畳させて表示されたり、コメントリスト欄γに表示されたりすると良い。あるいはステージ上に設けられたディスプレイに表示されても良い。
【００６０】
「コメント送信部」（０２１４）は、受付けたコメントを直ちに送信する機能を有し、ＣＰＵや主メモリ、通信回路、コメント送信プログラムなどによって実現することができる。
【００６１】
なお、「直ちに送信する」とは、書込みの確定ボタンのクリックなどを契機として直ぐに送信処理を実行する形態に限定はされず、バーチャル視聴者の参加感を損なわない程度であれば、例えば１０秒ごとに書き込まれたコメントをまとめて送信するなどの形態であっても構わない。
【００６２】
また、このコメントの送信先については特に限定しない。直接、演出制御サブシステムや後述するディスプレイに送信（出力）される形態も挙げられるし、ディスプレイに表示するために複数のユーザ端末からのコメントを収集し管理するコメント管理サーバに送信される形態も挙げられる。
【００６３】
そして、ここで直ちに送信されたコメントが後述するディスプレイに表示されるとともに、前述のように演出制御サブシステムによって演出装置に対する制御に利用される。したがってバーチャル視聴者はその自身の書き込んだコメントのディスプレイ表示と、同じコメントによる演出制御がされたライブ映像を視聴することができ、リアル視聴者とは別の形でライブへの参加感を感じることができる。
【００６４】
（ディスプレイ）
最後に、図２に戻りディスプレイの構成要件について説明する。ディスプレイはユーザ端末にて入力されたコメントを表示するものであって、この図にあるように、「コメント取得部」（０２２１）と、「コメント表示部」（０２２２）と、を有する。
【００６５】
なお、このディスプレイの設置場所は、コメントをユーザ端末のユーザに対して視聴可能に表示できる場所であればいずれでも構わないが、主に２パターンの設置場所が想定されうる。すなわち前記ユーザ端末のディスプレイとして設置される場合と、ステージの置かれた会場内に設置される場合と、（あるいはその双方と）である。以下、「コメント取得部」と「コメント表示部」について、２つのパターンに分けて説明する。
【００６６】
「コメント取得部」（０２２１）は、ユーザ端末にて入力されたコメントを取得する機能を有し、ＣＰＵや主メモリ、コメント取得プログラムによって実現することができる。具体的に、ディスプレイの設置場所が上記前者のパターンの場合、ディスプレイはユーザ端末に接続されているものなので、そのまま内部的に取得する構成とすると良い。あるいは複数のユーザ端末からのコメントを受信し、それらをまとめて複数のユーザ端末に配信するコメント管理サーバなどが設けられていれば、そのコメント管理サーバから配信される自他のコメントをまとめて取得するよう構成しても良い。
【００６７】
一方、ディスプレイの設置場所が後者のパターンの場合、ネットワークを介してユーザ端末から送信されたコメントを直接受信して取得する構成が挙げられる。あるいは、上記前者のパターンと同様に、ネットワーク上に別に設けられたコメント管理サーバなどから複数のユーザ端末にて入力されたコメントを間接的に受信して取得する構成も挙げられる。
【００６８】
また、後者のパターンの場合、ディスプレイは演出制御サブシステムの制御下にあるとも想定されるので、演出制御サブシステムにて演出制御に利用されるために受信されたコメントが転送されることで取得する構成も挙げられる。なお、その場合には、演出制御サブシステムにてコメント文字列を所定の色、大きさ、アニメーションなどで表示するための画像データが生成され、その画像データをコメントとして取得する構成としても良い。また、まずディスプレイにてコメントを受信し、それが演出制御サブシステムに転送される構成も挙げられる。
【００６９】
「コメント表示部」は、取得したコメントをユーザ端末のユーザに対して視聴可能に表示する機能を有し、例えばＣＰＵや主メモリ、画質処理回路、表示パネル、コメント表示プログラムなどによって実現することができる。この、コメント表示部でのコメント表示形態としては、例えばコメントの色や大きさを変化させる形態や、コメント文字列を移動表示させる形態などが挙げられる。さらにディスプレイが複数のディスプレイを並べて構成されていれば、その複数のディスプレイ間をまたがってコメントが移動表示されても良い。そして例えばディスプレイがステージ上や観客席の側面や前面、背面など３６０度に配置されていれば、その３６０度ディスプレイ上にコメントを回遊表示することができる。
【００７０】
図５は、ディスプレイの設置場所が前者のパターンである場合のコメントの表示例を示す図である。この図にあるように、ディスプレイはユーザ端末のライブ映像表示部でもあり、その映像表示枠α内に配信ライブ映像が表示されている。そして、その映像に重畳する形やその横のコメントリスト欄γなどにリスト化された形でコメントが表示される、という具合である。また、ここで表示されるコメントは自身が書き込んだコメントのみならず、前述のコメント管理サーバで収集された他のユーザ端末で入力されたコメントも合わせて表示されても良い。
【００７１】
図６は、ディスプレイの設置場所が後者のパターンである場合のコメントの表示例を示す図である。この図にあるように、ディスプレイはステージ上の例えば背面や側面などに設置されており、配信されるライブ映像には少なくともその一部が映るようにして撮影されている。したがってステージ上のディスプレイにコメントが表示されることで、配信されるライブ映像にコメントが表示されたディスプレイが含まれ、バーチャル視聴者にそのコメントが視認される、という具合である。
【００７２】
また、このディスプレイがステージの置かれた会場内に設置されている場合、その会場内ディスプレイは演出制御サブシステムの演出制御部によって演出装置として制御されても良い。なおその場合の演出制御は「コメントを表示すること」による演出ではなく、コメントの表示に加えた、例えばディスプレイの明滅表示制御やコメント以外のディスプレイ全体の色の変更制御などによる演出制御になる。
【００７３】
以上のように、ネットワーク上のユーザ端末を利用してライブ映像を視聴しているバーチャル視聴者は自身の書き込んだコメントのディスプレイ表示と、同じコメントによる演出制御がされたライブ映像を同時に視聴することができ、リアル視聴者とは別の形でライブへの参加感を感じることができる。
【００７４】
<ハードウェア構成>
図７から９は、上記機能的な各構成要件をハードウェアとして実現した際の、演出制御サブシステム、ユーザ端末、ディスプレイにおける構成の一例を表す概略図である。この図を利用して本実施例のステージ演出システムの演出制御処理におけるそれぞれのハードウェア構成部の働きについて説明する。
【００７５】
（演出制御サブシステム）
図７は、演出制御サブシステムのハードウェア構成の一例を表す図である。この図にあるように、演出制御サブシステムは、「ＣＰＵ」（０７０１）と「主メモリ」（０７０２）とを備え、これらによって演出制御部が実現されるとともに、その他の構成に係る各種演算処理が実行されている。またルール保持部である「ＨＤＤ」（０７０３）や、ライブ映像配信部やコメント受信部である「通信回路」（０７０４）、演出装置である「照明装置」（０７０５）や「音響装置」（０７０６）なども備えられている。そしてそれらが「システムバス」や「会場内ＬＡＮ（ローカル・エリア・ネットワーク）」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【００７６】
また、「主メモリ」にはプログラムが読み出され、「ＣＰＵ」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「主メモリ」や「ＨＤＤ」にはそれぞれ複数のアドレスが割り当てられており、「ＣＰＵ」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
【００７７】
ここで、例えば野外音楽フェスティバル会場に設置されたステージ上でバンドが演奏を行っており、その演奏風景が撮影され、ネットワークを介して遠隔地にいるバーチャル視聴者のユーザ端末にライブ配信されている。そして、その配信ライブ映像に対してユーザ端末にて入力されたコメントが、いったんコメント管理サーバにて収集され、この演出制御サブシステムに送信されてくる。
【００７８】
演出制御サブシステムでは、「通信回路」にて例えば"すげえ燃える！"などのコメントを受信すると、そのコメントを「主メモリ」に格納する。そして演出制御プログラムを解釈し、その解釈結果にしたがって「ＣＰＵ」の演算処理によって例えばコメントの形態素解析処理を行い、コメント内の助詞／助動詞、接続詞などを除く名詞や動詞、形容詞、形容動詞、感動詞などを示す文字列を特定する。そして特定された文字列をキーとして、「ＨＤＤ」に保持されている制御ルールの図３に示すようなテーブルの検索処理を実行し、当該文字列のフィールドに関連付けられている演出制御の対象となる演出装置のＩＤと制御命令、例えば照明装置ＩＤと赤色明滅の制御命令を「主メモリ」に格納する。
【００７９】
そして、「主メモリ」に格納した制御命令（赤色明滅制御命令）を、同じく格納したＩＤで示される演出装置（照明装置）に対して出力し、制御命令にしたがった例えば照明装置の赤色の明滅制御が実行される、という具合である。
【００８０】
また、演出制御部にて前述の通り、例えば「ＣＰＵ」は、「ＨＤＤ」に保持されている類義語辞典などを参照し類義のコメントの数をカウントし、演出制御ルールにて定められる閾値との大小比較処理を行って演出制御を行うか否かの判断をしても良い。あるいはコメントに属性情報として付加されているコメントの表示色や表示の大きさ、表示スクロール速度、あるいはコメント入力者のランク情報を取得して「主メモリ」に格納し、その情報をキーとして「ＨＤＤ」に保持されているテーブルを検索して演出装置ＩＤや制御命令を特定する処理を行っても良い。また、その情報を示す数値から、制御命令の強度（音量のボリューム値や制御時間など）を「ＣＰＵ」の演算処理によって算出する処理を行っても良い。
【００８１】
また、例えば演出装置の設置位置を示す情報を「ＨＤＤ」に保持しておき、コメントの文字列に「右」との文字列が含まれていれば、その設置位置情報を元にした「ＣＰＵ」の演算処理によってステージ向かって右手側の演出装置のＩＤを取得し、その制御命令の出力先とするなどの処理を行っても良い。
また、この演出制御サブシステムが後述するディスプレイと映像出力線などで直接接続されている場合、「ＣＰＵ」は、図示しないコメント表示プログラムを解釈し、受信したコメントを利用してコメント文字列を所定の色、大きさ、アニメーションなどで表示するための画像データを生成し、ディスプレイに対して出力する処理を行っても良い。
【００８２】
（ユーザ端末）
図８は、ユーザ端末のハードウェア構成の一例を表す図である。この図にあるように、ユーザ端末は、各種演算処理を実行するための「ＣＰＵ」（０８０１）と「主メモリ」（０８０２）とを備えている。また各種データを保持する「フラッシュメモリ」（０８０３）や、ライブ映像受信部やコメント送信部である「通信回路」（０８０４）、コメント入力受付部である「キーボード」（０８０５）やライブ映像表示部である「ユーザ端末ディスプレイ」（０８０６）なども備えられている。
【００８３】
ここで、ステージの配信ライブ映像を見たいと思うユーザの入力操作によって例えばブラウザに所定のＵＲＬが入力される。すると「ＣＰＵ」はブラウザプログラムの解釈結果にしたがって当該ＵＲＬで示される演出制御サブシステムにアクセスし、ＨＴＴＰリクエストを「通信回路」から送信する。そして、演出制御サブシステムからのレスポンスである配信ライブ映像の視聴用Ｗｅｂページのデータ（ライブ映像表示プログラムやコメント入力受付プログラムを含む）を「通信回路」にて受信すると、「ＣＰＵ」はブラウザプログラムの解釈結果にしたがって「ユーザ端末ディスプレイ」にその視聴用Ｗｅｂページを表示する。また、それとともに「ＣＰＵ」は視聴用Ｗｅｂページのデータに含まれるライブ映像表示プログラムを解釈し、その解釈結果に従って、演出制御サブシステムからのレスポンスとして「通信回路」にて受信した配信ライブ映像のストリーミングデータなどを視聴用Ｗｅｂページの映像表示枠内に再生表示する。
【００８４】
また、視聴用Ｗｅｂページには配信ライブ映像に対するコメント入力を受付けるコメント入力欄が設けられており、「ＣＰＵ」はコメント入力受付プログラムの解釈結果にしたがってそのコメント欄へのコメント入力待ち状態となる。そして「キーボード」を介して当該入力欄にコメントが入力され送信ボタンがクリックされると、「ＣＰＵ」はコメント送信プログラムを解釈し、「通信回路」からネットワークを介してコメントを送信する処理を実行する。なお、そのコメントの送信先は、視聴用Ｗｅｂページや配信ライブ映像の送信元である演出制御サブシステムとして処理しても良いし、例えばコメント送信プログラムで指定などされる図示しない「コメント管理サーバ」などとしても良い。
【００８５】
そして後述する「ディスプレイ」が、このユーザ端末の「ユーザ端末ディスプレイ」と同一に構成されているのであれば、自他のユーザ端末からのコメントを「通信回路」にて受信し、「ＣＰＵ」の演算処理によってそのコメントを配信ライブ映像に重畳表示（コメント用レイヤーを重ねて表示）したり、視聴用Ｗｅｂページに設けられたコメントリスト内にリスト表示したりすると良い。
【００８６】
そして、このようなコメントのディスプレイ表示処理とは別に、送信されたコメントは図７などで説明したように演出制御サブシステムにて受信され、演出装置に対する演出制御に利用される。そして、そのような演出がなされたステージ風景を含む配信ライブ映像が、上記「ユーザ端末ディスプレイ」にて再生表示される、という具合である。
【００８７】
（ディスプレイ）
図９は、ディスプレイのハードウェア構成の一例を表す図である。この図にあるように、ディスプレイは、各種演算処理を実行するための「ＣＰＵ」（０９０１）と「主メモリ」（０９０２）とを備えている。また各種データを保持する「フラッシュメモリ」（０９０３）や、コメント取得部である「外部映像入力回路」（０９０４）、コメント表示部である「映像出力回路」（０９０５）なども備えられている。
【００８８】
ここでディスプレイは、例えばステージの置かれた会場内に設置されているのであれば、演出制御サブシステムにて受信され出力された前述のコメント表示のための画像データを「外部映像入力回路」にて取得し、その画像データを「映像出力回路」内のＶＲＡＭに展開する。あるいは、ユーザ端末から直接的に、あるいは図示しないコメント管理サーバを介して間接的にインターネットなどを介して送信されたコメントを図示しない「通信回路」にて受信し、そのコメントを元に表示用の画像データを生成して「映像出力回路」内のＶＲＡＭに展開しても良い。
【００８９】
また、ディスプレイがユーザ端末ディスプレイと同一に構成されていれば、図示しないコメント管理サーバを介して間接的にインターネットなどを介して送信された自他のコメントを図示しない「通信回路」にて受信しても良いし、自身に入力されたコメントを内部的に取得しても良い。
【００９０】
そして、その取得された画像データが図示しない表示パネルの所定の表示位置へ出力される、という具合である。
なお、このコメントの表示は受信した表示用画像データに従って、コメント文字列が移動表示される形態であっても良い。さらにディスプレイが複数のディスプレイを並べて構成されていれば、その複数のディスプレイ間をまたがってコメントが移動表示されても良い。そして例えばディスプレイがステージ上や観客席の側面や前面、背面など３６０度に配置されていれば、その３６０度ディスプレイ上にコメントを回遊表示することができる。
またコメント表示用の画像データの生成については、このディスプレイにて生成する構成としても良い。その場合、取得されたコメントが「主メモリ」に格納され、「ＣＰＵ」はコメント表示プログラムの解釈結果にしたがって、「主メモリ」に格納されているコメントを、例えばコメントを移動表示させる場合には複数のコメントが重ならないようにするなどの処理を行いながら「映像出力回路」から図示しない表示パネルの所定の表示位置へ出力する、という具合である。
【００９１】
そしてディスプレイがステージの置かれた会場内に設置されていれば、配信されるライブ映像に少なくともそのディスプレイの一部が映るように撮影することで、コメントをバーチャル視聴者に対して視聴可能に表示する。また、ディスプレイがユーザ端末ディスプレイと同一に構成されていれば、そのディスプレイに表示するために配信されているライブ映像に対して演出制御サブシステムのビデオスイッチャーがコメント画像データを別レイヤなどで重畳させて配信することで、あるいはユーザ端末側で同様に配信ライブ映像とコメント表示用の画像データを重畳して表示したり、表示枠近傍のコメントリストにコメントを表示したりすることで、コメントをバーチャル視聴者に対して視聴可能に表示することができる。
【００９２】
<処理の流れ>
図１０は、本実施例のステージ演出システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
【００９３】
この図にあるように、まず、例えば図示しないユーザ端末からのライブ映像配信リクエストに応じて、演出制御サブシステムにてステージのライブ映像をユーザ端末に配信する（ステップＳ１００１）。
【００９４】
そしてユーザ端末にて、前記配信されたライブ映像を受信する（ステップＳ１０１１）と、受信したライブ映像を表示する（ステップＳ１０１２）。また、例えばそのライブ映像の表示に関連付ける形態でコメントの入力欄も表示しておき、その表示されたライブ映像に対するコメント入力を受付ける（ステップＳ１０１３）。そしてコメント入力が受付けられると、そのコメントを、演出制御サブシステムや図示しないコメント管理サーバなどに直ちに送信する（ステップＳ１０１４）。
【００９５】
演出制御サブシステムでは、上記ユーザ端末から送信されたコメントを、例えばユーザ端末から直接、あるいは図示しないコメント管理サーバから間接的に受信する（ステップＳ１００２）と、例えばコメントの内容（文字列）の解析処理や類義する内容のコメント数のカウント処理、あるいはその他演出制御のための各種処理を行い、受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う（ステップＳ１００３）。そして配信終了まで、そのような演出装置の制御による演出が行われているステージのライブ映像がユーザ端末に配信され続ける。
【００９６】
また、ディスプレイでは、ユーザ端末にて入力されたコメントを、演出制御サブシステムやユーザ端末、あるいは図示しないコメント管理サーバなどから取得し（ステップＳ１０２１）、取得したコメントをユーザ端末のユーザに対して視聴可能に表示する（ステップＳ１０２２）。
【００９７】
<効果の簡単な説明>
以上のような構成を備える本実施例のステージ演出システムによって、ユーザ端末を利用したステージのバーチャル視聴者であっても、自身の書き込んだコメントの表示を含むステージの配信ライブ映像の視聴が可能となり、さらにそのコメントによってステージ上の演出装置を制御することが可能となる。したがって、ステージのリアル視聴者とは別の形でのステージへの参加感を得ることができる。
【００９８】
<その他の構成>
さらに、本実施例のステージ演出システムは、ステージの演出装置としてステージを含む会場内に固定的に設置されているものを制御するだけではなく、リアル視聴者（ステージの実際の観覧者）に配布され、リアル視聴者が手に持ったり身に付けたりする携行型の演出器具を制御するよう構成しても良い。
【００９９】
具体的には、演出制御サブシステムの演出制御部は、ステージの置かれた会場内の観覧者に配布される演出器具を演出装置として制御する「観覧者演出器具制御手段」を有していても良い。
【０１００】
図１１（ａ）は、この配布される演出器具の一例を表す外観図である。この図にあるように、配布される演出器具として、例えば一般的なコンサートなどで観覧者が手に持って利用するケミカルライトスティックを模した電子式のライトスティックが挙げられる。この電子式ライトスティックは、ＬＥＤや導光板、反射板など（１１０１）と、無線通信回路（１１０２）と、制御用マイコン（１１０３）が組み込まれており、演出制御サブシステムの演出制御部からコメントに応じて無線送信される制御命令によって、制御用マイコンの制御による各種パターンでのＬＥＤの明滅が実行される。
具体的に、前述のように例えばコメントの文字列（内容）が「燃える」であれば、このケミカルライトスティックが赤色に明滅するよう制御されたり、あるいはコメントの表示色が「青色」に指定されていれば、それに合わせて青色明滅制御されたりする、という具合である。また、前述の課金済みフラグを含むコメントによってのみ当該制御が行われても良いし、コメント入力者のランクに応じてその明滅スピードなどが変わるよう制御されても良い。
【０１０１】
また図１１（ｂ）に示すように、その出力に際しては、例えば指向性の赤外線通信を利用して、例えばステージに向かって観客席「左側」の演出器具（１１００Ｌ）と「右側」（１１００Ｒ）の演出器具とで、コメントに応じて別々の制御命令Ｌ，Ｒを出力するなどの演出制御を行っても良い。
【０１０２】
またこの演出器具は光による演出のみならず、図示しない内蔵音源や音声デコーダ、スピーカなどで構成される音声出力機能を備え、内蔵音源や外部から受信した音声データを再生出力しても良い。
【０１０３】
このようにして、バーチャル視聴者の入力したコメントによってリアル視聴者が持つなどする演出器具の演出制御がなされるので、そのステージ演出を媒介としてバーチャル視聴者とリアル視聴者の一体感を醸成する効果も期待できる。
【０１０４】
≪実施例２≫
<概要>
本実施例は、上記実施例のうちディスプレイがステージの置かれた会場内に設置され演出制御部により制御される演出装置として機能するステージ演出システムを基本とし、図１２に示すように、そのステージ上の側面や背面のディスプレイにバーチャル視聴者のＩＤアバター画像（分身画像：１２０１Ａ〜Ｄ）を表示する演出を行うことを特徴とする。
【０１０５】
このようにして、実際にはステージの観覧席などには居ないバーチャル視聴者のＩＤアバター画像がステージ上のディスプレイに表示され、自身のコメントによって例えば踊ったりジャンプしたりするなどの演出制御されることで、バーチャル視聴者はさらにステージへの参加感を感じることができる。
【０１０６】
<機能的構成>
図１３は、本実施例のステージ演出システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例のステージ演出システムは、「演出制御サブシステム」（１３００）と、「ユーザ端末」（１３１０）と、「ディスプレイ」（１３２０）と、からなる。なお、ディスプレイの構成要件は上記実施例のものと基本的に相違しないので図示を省略する。
【０１０７】
そして上記実施例を基本とし、演出制御サブシステムは「演出装置（ディスプレイを含む）」（１３０１）と、「ライブ映像配信部」（１３０２）と、「ルール保持部」（１３０３）と、「コメント受信部」（１３０４）と、「演出制御部」（１３０５）と、を有するとともに、その演出制御部が「ステージディスプレイ制御手段」（１３０６）、を有する。また同様にユーザ端末は「ライブ映像受信部」（１３１１）と、「ライブ映像表示部」（１３１２）と、「コメント入力受付部」（１３１３）と、「コメント送信部」（１３１４）と、を有する。
【０１０８】
なおこれら構成要件については、上記実施例の同名の構成要件にて記載済みであるのでその説明は省略する。
【０１０９】
そして、本実施例の特徴点は、まずユーザ端末のコメント送信部が、「ＩＤ付コメント送信手段」（１３１５）を有する点と、つづいて演出制御サブシステムが「ＩＤアバター表示部」（１３０７）を有するとともに、ルール保持部が「ＩＤアバタールール保持手段」（１３０８）を有し、さらにステージディスプレイ制御手段が「ＩＤアバター制御器」（１３０９）を有する点である。
【０１１０】
（ユーザ端末）
「ＩＤ付コメント送信手段」（１３１５）は、ユーザＩＤ又は／及び端末ＩＤと関連付けてコメントを送信する機能を有し、ＣＰＵや主メモリ、ＩＤ付コメント送信プログラムなどによって実現することができる。
【０１１１】
具体的には、例えば本実施例のステージ演出システムによるサービスの利用開始時にユーザ登録を行わせ、その登録にてユーザＩＤをユーザが任意、あるいは自動生成などで設定する。そしてその後のサービス利用時にログイン情報としてユーザＩＤを取得し、その取得したユーザＩＤを送信するコメントに関連付ける、といった具合である。また端末ＩＤであれば、同様にしてユーザが任意に設定した端末ＩＤを利用しても良いし、例えば製造番号やＭＡＣアドレスのような装置を一意に識別するためユーザ端末自身が予め保持している端末ＩＤを自動的に取得し、コメントに関連付ける構成としても良い。
【０１１２】
そして、このようにコメントにユーザＩＤ／端末ＩＤが付されているため、コメントによるＩＤアバターの演出制御をバーチャル視聴者別に実行することができる。
【０１１３】
（演出制御サブシステム）
「ＩＤアバター表示部」（１３０７）は、前記ＩＤに基づきステージの設置された会場内のディスプレイにＩＤアバターを表示する機能を有し、例えばＣＰＵや主メモリ、映像処理回路、ＩＤアバター表示プログラムなどによって実現することができる。
【０１１４】
前記ＩＤに基づくＩＤアバター表示とは、例えば演出制御サブシステムにてユーザＩＤ（あるいは端末ＩＤ）とそのユーザのＩＤアバター画像とを関連付けたＩＤアバターテーブルを保持しておく。そしてユーザがサービス利用のためログインした際に取得したＩＤをキーとしてＩＤアバターテーブルを検索し、特定されたＩＤアバターを表示する、という具合である。
【０１１５】
なお、「ＩＤアバター」とは、ユーザのバーチャルな分身となる画像をいい、ユーザ本人が自身のＩＤアバターであることを認識可能であれば、その表示画像の内容は特に限定しない。基本的には、自身の顔写真を利用したり、予め設定された顔パーツや衣装パーツなどの三次元テクスチャ画像を組み合わせたりして生成されたキャラクター画像が挙げられるが、例えば自分の愛犬や好きな花の画像などをＩＤアバターとして設定しても良い。
そして、本実施例におけるＩＤアバターはユーザＩＤと紐付けられていることで、当該ユーザＩＤで識別されるユーザからのコメントに応じて制御されることを特徴とする。
【０１１６】
「ＩＤアバター演出制御ルール」（１３０８）は、前記ＩＤアバターに対する演出制御を定めるＩＤアバター演出制御ルールを保持する機能を有し、例えばＨＤＤやフラッシュメモリなどの各種記録装置によって実現することができる。
【０１１７】
なおＩＤアバター制御ルールは、ＩＤでユーザや端末ごとに識別されるＩＤアバターのコメントによる演出制御を、そのコメントに関連付けられたＩＤによって区別して行う（すなわちバーチャル視聴者は自身のコメントで自身のＩＤアバターの演出を制御する）点と、演出制御の内容がＩＤアバターの表示制御（例えばＩＤアバターのアニメーション表示や色／大きさ変更表示など）である点を特徴とする。
【０１１８】
「ＩＤアバター演出器」（１３０９）は、受信したコメント及びＩＤと、保持されているＩＤアバター演出制御ルールとに基づいてディスプレイに表示されたＩＤアバターの演出表示を行う機能を有し、例えばＣＰＵや主メモリ、映像処理回路、ＩＤアバター演出プログラムなどによって実現することができる。
【０１１９】
具体的に、例えばユーザαの入力した「拍手音」のコメントや「アンコール」のコメントに応じて、ユーザαのＩＤアバターの手が拍手するように動くアニメーション表示を行うよう制御したり、ユーザβの入力した「燃える」などのコメントに応じて、ユーザβのＩＤアバターの頭を上下に激しく動かすアニメーション表示を行うよう制御したり顔の頬領を赤色に変化させるよう制御したりする、という具合である。
【０１２０】
<処理の流れ>
図１４は、本実施例のステージ演出システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
【０１２１】
この図にあるように、まず、例えば図示しないユーザ端末からのライブ映像配信リクエストに際して、例えばそのためのログイン処理などによって取得されたユーザＩＤや端末ＩＤに応じて、そのユーザのＩＤアバター画像をステージ上などに設置されたディスプレイに表示する（ステップＳ１４０１）。そして、その後のライブ映像配信リクエストに応じて、演出制御サブシステムにてステージのライブ映像をユーザ端末に配信する（ステップＳ１４０２）。
【０１２２】
そしてユーザ端末にて、前記配信されたライブ映像を受信する（ステップＳ１４１１）と、受信したライブ映像を表示する（ステップＳ１４１２）。また、例えばそのライブ映像の表示に関連付ける形態でコメントの入力欄も表示しておき、その表示されたライブ映像に対するコメント入力を受付ける（ステップＳ１４１３）。そしてコメント入力が受付けられると、そのコメントを、演出制御サブシステムや図示しないコメント管理サーバなどに、ユーザＩＤや端末ＩＤと関連付けて直ちに送信する（ステップＳ１４１４）。
【０１２３】
演出制御サブシステムでは、上記ユーザ端末から送信されたＩＤ付コメントを、例えばユーザ端末から直接、あるいは図示しないコメント管理サーバから間接的に受信する（ステップＳ１４０２）と、例えばコメントの内容（文字列）の解析処理や類義する内容のコメント数のカウント処理、あるいはその他演出制御のための各種処理を行い、受信したコメントと、保持されている演出制御ルールとに基づいて、そのコメントに付されたＩＤで識別されるＩＤアバターの表示制御を行う（ステップＳ１４０３）。
【０１２４】
また、ディスプレイでは、ユーザ端末にて入力されたコメントを、演出制御サブシステムやユーザ端末、あるいは図示しないコメント管理サーバなどから取得し（ステップＳ１４２１）、取得したコメントをユーザ端末のユーザに対して視聴可能に表示する（ステップＳ１４２２）。
【０１２５】
<効果の簡単な説明>
以上のような構成を備える本実施例のステージ演出システムによって、実際にはステージの観覧席などには居ないバーチャル視聴者のＩＤアバター画像がステージ上のディスプレイに表示され、自身のコメントによって例えば踊ったりジャンプしたりするなどの演出制御されることで、バーチャル視聴者はさらにステージへの参加感を感じることができる。
【０１２６】
≪実施例３≫
<概要>
本実施例は、上記実施例２と同様に、ステージに置かれたディスプレイ上のアバターを表示制御することでステージ演出を行う構成を備える。そして実施例２との相違点は、そのアバターの表示制御が、アバターとユーザＩＤで紐付けられたユーザからのコメントに基づくものではなく、不特定のユーザからのコメントに応じて行われる点である。したがって本実施例のステージ演出システムでは、一のユーザコメントなどに応じて多数のアバターの表示をまとめて制御するような演出、例えばウェーブ演出やボードを使った人文字演出などが容易に可能となる。
【０１２７】
<機能的構成>
図１５は、本実施例のステージ演出システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例のステージ演出システムは、「演出制御サブシステム」（１５００）と、「ユーザ端末」（１５１０）と、「ディスプレイ」（１５２０）と、からなる。なお、ユーザ端末およびディスプレイの構成要件は上記実施例のものと基本的に相違しないので図示を省略する。
【０１２８】
また演出制御サブシステムは「演出装置（ディスプレイを含む）」（１５０１）と、「ライブ映像配信部」（１５０２）と、「ルール保持部」（１５０３）と、「コメント受信部」（１５０４）と、「演出制御部」（１５０５）と、を有するとともに、その演出制御部が「ステージディスプレイ制御手段」（１５０６）を有するが、これら構成についても上記実施例で記載済みであるのでその説明は省略する。そして本実施例では、上記「ステージディスプレイ制御手段」が、さらに「アバター制御器」（１５０７）を有することを特徴とする。
【０１２９】
「アバター制御器」（１５０７）は、ステージに置かれたディスプレイに出力されるアバターのアクションを制御する機能を有し、例えばＣＰＵや主メモリ、映像処理回路、アバター制御プログラムなどによって実現することができる。そして演出制御部およびステージディスプレイ演出制御手段は、前述のようにコメントと演出制御ルールを利用して、ステージディスプレイの演出を制御するものであり、このアバター制御器では、特にディスプレイに表示されたアバターのアクションを、例えばコメントと演出制御ルールに基づいて様々なアニメーション表示を行うことで制御する、という具合である。
【０１３０】
なお、ここでディスプレイに出力され制御されるアバターは、上記実施例２のＩＤアバターのように特にユーザＩＤによって特定のユーザと紐付けられている必要が無い（紐付けられていても良いが、基本的にアバターと紐付けられたユーザＩＤは利用されない）ことを特徴とする。なお、このアバターの画像もＩＤアバターと同様に特に限定されず、ユーザＩＤと紐付けられていないのであれば予め定められている、あるいはランダムに選択された画像がアバターとして利用されても良いし、またその画像も人型に限定されない。
【０１３１】
図１６は、このアバター制御器によるステージディスプレイ上のアバターのアクション制御の一例を表す概念図である。この図１６（ａ）にあるように、例えばランダムに選択された、あるいは前述のランクの一番高いユーザからの「ウェーーーブ！」というコメントに対応した演出制御ルールに基づいて、ステージディスプレイに横並びに表示されている複数のアバターについて右から順に立ち上がる→しゃがむというアニメーションを行うように制御し、スタジアム観客席などでのいわゆるウェーブを再現する演出を行う。
【０１３２】
また、図１６（ｂ）にあるように、ユーザからの複数のコメントのうち最もコメント数の多い例えば「８８８８８８８」というコメントに対応した演出制御ルールに基づいて、ステージディスプレイに表示された全アバターが一斉に拍手をしたり口笛を吹いたりするアニメーションを行うよう制御し（また前述のようにスピーカから拍手音や口笛音を出力し）、観客がステージを祝福し盛り上がりっているような演出を行う、という具合である。
【０１３３】
このように本実施例のステージ演出システムでは、コメントユーザＩＤに紐付けられたアバターがコメントごとに個別に制御されるのではなく、複数のコメントのうちのいずれかのコメントを利用して複数のアバターのアクションを一斉に制御することができるので、例えばウェーブ演出やボードを用いた人文字演出のような一体感のある演出を行うことが容易に可能となる。
【０１３４】
また、本実施例のステージ演出システムは、例えばステージのイベント進行などに応じて好適なタイミングでアバターのアクション制御による演出を行うことができるよう、ユーザからのコメントとは別途にアクション開始指示を受付けるように構成しても良い。具体的に、本実施例のステージ演出システムは、その演出制御部がさらに図示しない「アクション開始受付手段」を有していても良い。この「アクション開始受付手段」は、ステージに置かれたディスプレイに出力されるアバターにアクションを起こさせるための開始タイミング指示命令の入力を受付ける機能を有し、例えばＣＰＵや主メモリ、入力デバイス、アクション開始受付プログラムなどで実現することができる。
【０１３５】
具体的には、例えば、ステージを一望できる位置に設置されている制御ルームのコンソールパネルに「アクション開始ボタン」が設けられている。そしてステージ上のマジックショーが終盤にさしかかった時点でユーザからコメント「８８８８８」が大量に入力されるが、本実施例のステージ演出システムではこのタイミングでアバターのコメントに応じたアクション制御（拍手アニメーション表示など）は行わない。
【０１３６】
そして制御ルームにいる演出担当者が進行表を確認し、最後の山場のマジックが披露されたときに、コンソールパネルの「アクション開始ボタン」が押される。すると、そのタイミングで先に入力されていたコメント「８８８８８」に応じてアバターの拍手アニメーション表示などのアクション制御が実行されショーのクライマックスを盛り上げる、という具合である。
【０１３７】
もちろん、アクション開始受付手段は上記のような実施例に限定されず、例えばコンピュータによって自動的に入力されるアクション開始命令の受付手段であっても良いし、視聴ユーザおよびコメント入力ユーザのユーザ端末上に設けられ、所定の一のユーザ（ランダムで選択されたユーザや前述のランクの高いユーザなど）から受付けたアクション開始操作によってアバターのアクション制御開始のタイミングが決定されても良い。また、コメントの表示とそのコメントによるアバターアクション演出は連動していたほうが演出効果は高いと想定されるので、ここで受付けられるアクション開始命令は、コメント表示開始命令を兼ねる命令であっても良い。
【０１３８】
<処理の流れ>
図１７は、本実施例のステージ演出システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
【０１３９】
この図にあるように、まずステージディスプレイにアバターを表示する（ステップＳ１７０１）。またユーザからのライブ映像配信リクエストに応じて、演出制御サブシステムにてステージのライブ映像をユーザ端末に配信する（ステップＳ１７０２）。そしてユーザ端末にて、前記配信されたライブ映像が受信（ステップＳ１７１１）、表示され（ステップＳ１７１２）、表示されたライブ映像に対するコメント入力が受付けられる（ステップＳ１７１３）。するとユーザ端末は、そのコメントを、演出制御サブシステムや図示しないコメント管理サーバなどに直ちに送信する（ステップＳ１７１４）。
【０１４０】
演出制御サブシステムでは、上記送信されたコメントをユーザ端末から直接、あるいはコメント管理サーバから間接的に受信する（ステップＳ１７０３）と、例えばコメントの内容（文字列）の解析処理や類義する内容のコメント数のカウント処理、あるいはその他演出制御のための各種処理を行い、受信したコメントと、保持されている演出制御ルールとに基づいてディスプレイに表示されているアバターのアクションを制御する（ステップＳ１７０４）。
【０１４１】
<効果の簡単な説明>
以上のような構成を備える本実施例のステージ演出システムによって、ユーザからのコメントを利用して、例えば複数のアバターのアクションを一斉に制御することができる。したがってウェーブ演出やボードを用いた人文字演出のような一体感のあるステージ演出を行うことが可能になる。
【符号の説明】
【０１４２】
０２００ 演出制御サブシステム
０２０１ 演出装置
０２０２ ライブ映像配信部
０２０３ ルール保持部
０２０４ コメント受信部
０２０５ 演出制御部
０２１０ ユーザ端末
０２１１ ライブ映像受信部
０２１２ ライブ映像表示部
０２１３ コメント入力受付部
０２１４ コメント送信部
０２２０ ディスプレイ
０２２１ コメント取得部
０２２２ コメント表示部
【技術分野】
【０００１】
本発明は、ステージ上の演出を、そのステージをネットワークを介して視聴するユーザ端末からのコメント入力によって制御する技術に関する。
【背景技術】
【０００２】
従来、パフォーマンスやイベントなどを行うステージに照明装置、音響装置、スモーク装置などを設置し、それら装置を担当者が所定のブースから遠隔制御することによるステージ演出が行われている。また、ステージ上にディスプレイを設置し、いわゆるＶＪ（ビデオジョッキー）と呼ばれる者たちが、ステージ上のパフォーマンスなどの進行に合わせて、その感性で自由に映像を表示させることができるステージ演出技術なども提供されている。
【０００３】
また、特許文献１には、ネットワークを介して接続されたユーザ端末から、結婚式などに関する映像メッセージを受付け、その受付けたメッセージを式典の最中に会場内のディスプレイに表示することで式典などを盛り上げる演出技術が開示されている。
【０００４】
また現在では、このように様々に演出されるステージの映像を撮影し、個人ユーザレベルの簡単な設備や技能でネットワーク上の不特定多数のユーザ端末に対してリアルタイムに配信することができるシステムも提供されている。これにより、実際にステージまで足を運ばなくとも、ネットワークを介してライブ配信された映像をユーザ端末上で視聴して、前述のような各種ステージ演出を含むパフォーマンスなどをリアルタイムに楽しむことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２８５０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、それはあくまでも映像であるため、ユーザ端末による視聴者は上記演出を含めたパフォーマンスを身近に感じることは難しく、実際にステージを観覧しているユーザと比べるとその感じる楽しさ、特にステージで行われているパフォーマンスなどへの参加（ライブ）感は劣っている、という課題がある。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、本発明は、ステージの配信ライブ映像に対するコメントの入力をネットワーク上のユーザ端末から受付け、そのコメントを直ちに当該配信ライブ映像の視聴者に対して視認可能にディスプレイに表示するとともに、その入力コメントに応じて照明装置や音響装置、スモーク装置などの実際のステージ上の演出装置を制御することができるステージ演出システムを提供する。
【０００８】
具体的に、ステージの演出制御を行う演出制御サブシステムと、演出制御サブシステムとネットワークを介して接続されたユーザ端末と、ユーザ端末にて入力されたコメントを表示するディスプレイと、からなるステージ演出システムであって、演出制御サブシステムは、ステージを演出するための演出装置と、ステージのライブ映像をユーザ端末に配信するライブ映像配信部と、コメントに基づく演出制御を定める演出制御ルールを保持するルール保持部と、ユーザ端末から送信されたコメントを受信するコメント受信部と、受信したコメントと、保持されている演出制御ルールと、に基づいてライブのステージの演出装置の制御を行う演出制御部と、を有する。
【０００９】
また、そのユーザ端末は、配信されたライブ映像を受信するライブ映像受信部と、受信したライブ映像を表示するライブ映像表示部と、表示されたライブ映像に対するコメント入力を受付けるコメント入力受付部と、受付けたコメントを直ちに送信するコメント送信部と、を有し、ディスプレイは、ユーザ端末にて入力されたコメントを取得するコメント取得部と、取得したコメントをユーザ端末のユーザに対して視聴可能に表示するコメント表示部と、を有する、という具合である。
【００１０】
これによりユーザ端末を利用したステージの視聴者は、自身の書き込んだコメントの表示を含むステージの配信ライブ映像の視聴が可能となり、さらにそのコメントによってステージ上の演出装置を制御することが可能となるので、実際のステージの観覧者とは別の形でステージへの参加感を得ることができる。
【００１１】
また、前記コメントが表示されるディスプレイが、ステージの置かれた会場内に設置されていることを特徴とするステージ演出システムも提供する。また、前記演出制御サブシステムの演出制御部が、演出装置として前記ステージの置かれた会場内のディスプレイを制御するステージディスプレイ制御手段を有するステージ演出システムも提供する。また、前記演出制御サブシステムの演出制御部が、ステージの置かれた会場内の観覧者に配布される演出器具を演出装置として制御する観覧者演出器具制御手段を有するステージ演出システムも提供する。
また、前記ステージディスプレイ制御手段が、ステージに置かれたディスプレイに出力されるアバターのアクションを制御するアバター制御器を有するステージ演出システムも提供する。また、さらに前記演出制御部が、ステージに置かれたディスプレイに出力されるアバターにアクションを起こさせるアクション開始受付手段をさらに有するステージ演出システムも提供する。
【００１２】
また、前記ユーザ端末のコメント送信部が、ユーザＩＤ又は／及び端末ＩＤと関連付けてコメントを送信するＩＤ付コメント送信手段を有し、前記演出制御サブシステムが、前記ＩＤに基づきステージの設置された会場内のディスプレイにＩＤアバターを表示するＩＤアバター表示部を有するとともに、前記ルール保持部は、前記ＩＤアバターに対する演出制御を定めるＩＤアバター演出制御ルールを保持するＩＤアバタールール保持手段を有し、前記ステージディスプレイ制御手段は、受信したコメント及びＩＤと、保持されているＩＤアバター演出制御ルールと、に基づいてディスプレイに表示されたＩＤアバターの演出表示を行うＩＤアバター演出器を有するステージ演出システムも提供する。
【００１３】
また、上記のようなステージ演出システムの動作方法や演出制御サブシステムの動作方法、そのプログラムなども提供する。
【発明の効果】
【００１４】
以上のような構成をとる本発明によって、ユーザ端末を利用したステージの視聴者（バーチャルな視聴者）であっても、自身の書き込んだコメントの表示を含むステージの配信ライブ映像の視聴が可能となり、さらにそのコメントによってステージ上の演出装置を制御することが可能となるので、実際のステージの観覧者（リアルな視聴者）とは別の形でのステージへの参加感を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１のステージ演出システムによるステージ演出制御の一例を説明するための概念図
【図２】実施例１のステージ演出システムにおける機能ブロックの一例を表す図
【図３】実施例１の演出制御サブシステムのルール保持部にて保持されている演出制御ルールの一例を表す概念図
【図４】実施例１のユーザ端末のコメント入力受付部でのコメント入力の一例を説明するための概念図
【図５】実施例１のディスプレイの設置場所に応じたコメントの表示例を示す図
【図６】実施例１のディスプレイの設置場所に応じたコメントの、別の表示例を示す図
【図７】実施例１の演出制御サブシステムにおけるハードウェア構成の一例を表す図
【図８】実施例１のユーザ端末におけるハードウェア構成の一例を表す図
【図９】実施例１のディスプレイにおけるハードウェア構成の一例を表す図
【図１０】実施例１のステージ演出システムにおける処理の流れの一例を表すフローチャート
【図１１】実施例１のステージ演出システムによるステージ演出制御の、別の一例を説明するための概念図
【図１２】実施例２のステージ演出システムによるステージ演出制御（ＩＤアバター表示）の一例を説明するための概念図
【図１３】実施例２のステージ演出システムにおける機能ブロックの一例を表す図
【図１４】実施例２のステージ演出システムにおける処理の流れの一例を表すフローチャート
【図１５】実施例３のステージ演出システムにおける機能ブロックの一例を表す図
【図１６】実施例３のステージ演出システムによるアバターのアクション制御の一例を説明するための概念図
【図１７】実施例３のステージ演出システムにおける処理の流れの一例を表すフローチャート
【発明を実施するための形態】
【００１６】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【００１７】
なお、実施例１は、主に請求項１，２，３，７，８，９，１０，１１，１２について説明する。また、実施例２は、主に請求項３，６について説明する。また実施例３は、主に請求項４，５について説明する。
【００１８】
≪実施例１≫
<概要>
図１は、本実施例のステージ演出システムによるステージ演出制御の一例を説明するための概念図である。この図１（ａ）にあるように、イベントやパフォーマンスなどが行われているステージのライブ映像が、ネットワークを介してユーザ端末に配信されている。そして図１（ｂ）に示すように、ユーザ端末による視聴者（以下、バーチャル視聴者と記載）はステージの配信ライブ映像を見ながら、例えば「８８８８８８（拍手の擬音を表すコメント）」といったパフォーマンスの感想などを自由にコメントとして入力欄に書き込み送信ボタンをクリックする。
【００１９】
すると図１（ｃ）に示すように、書き込まれたコメント（他のユーザ端末で書き込まれたコメントも含まれて良い）は、ネットワークを介して、例えばステージ上の背面や両側面、また観客席後方などに設けられた巨大ディスプレイに取得され、そのディスプレイ上に回遊表示などされる。そしてそれとともに、図１（ｄ）に示すように、ステージ近傍に設けられた演出制御サブシステムでもそのコメント（８８８８８８）が受信され、それに応じて、例えばステージ上や天井などに設けられた音響装置から「拍手の音」が演出として出力されるよう制御する。そしてバーチャル視聴者は、そのステージ上ディスプレイでの自身の入力したコメントの表示と、そのコメントに応じた音響装置の拍手音声の出力演出と、を配信ライブ映像にて楽しむことができる、という具合である。
【００２０】
このように、ステージを実際には観覧していないバーチャル視聴者であっても、自身の書き込みによりディスプレイにコメントを表示させ、さらにその書き込みコメントによって実際のステージ上の演出装置を制御することできる。したがって実際のステージの観覧者（以下、リアル視聴者と記載）とは別の形でステージへの参加感を得ることができる。
【００２１】
また、ステージ上の拍手音声出力などの演出は当然リアル視聴者も楽しむことができるので、そのステージを媒介したバーチャル視聴者とリアル視聴者の一体感を醸成する効果も期待できる。
【００２２】
<機能的構成>
図２は、本実施例のステージ演出システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例のステージ演出システムは、「演出制御サブシステム」（０２００）と、「ユーザ端末」（０２１０）と、「ディスプレイ」（０２２０）と、からなる。
【００２３】
なお、以下に記載する本システムの各サブシステムや装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バス、あるいは二次記憶装置（ハードディスクや不揮発性メモリ、ＣＤやＤＶＤなどの記憶メディアとそれらメディアの読取ドライブなど）、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったＣＰＵの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本システムの機能ブロックは専用ハードウェアによって実現されてもよい。
【００２４】
また、この発明はシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。
【００２５】
（演出制御サブシステム）
まず「演出制御サブシステム」の構成要件について説明する。演出制御サブシステムはステージの映像配信や演出制御を行うサーバ装置や端末装置、あるいはそれらが組み合わされた一の装置などで構成されるサブシステムであって、図２にあるように、「演出装置」（０２０１）と、「ライブ映像配信部」（０２０２）と、「ルール保持部」（０２０３）と、「コメント受信部」（０２０４）と、「演出制御部」（０２０５）と、を有する。
【００２６】
「演出装置」（０２０１）は、ステージを演出するための装置であって、その演出方法に合わせて様々なものが採用されると良い。例えばライティングによる演出であれば演出装置としては各種照明／レーザー／ミラーボウル／遮光装置などが挙げられ、音響による演出であれば各種スピーカ装置が挙げられる。またその他にも、発煙による演出を行うスモーク装置、安全なレベルでの爆破発生装置、たいまつなどの発火装置、放水装置、温度調節装置、あるいは体感に関する演出を行う床の振動装置などが挙げられる。
【００２７】
また、ステージの置かれた会場内に設置される映像表示用のディスプレイも、画像表示による演出を行う演出装置の一例として挙げられる。さらに、演出装置であるディスプレイは、後述するユーザ端末から入力されたコメントが表示されるディスプレイと同一のものとして構成されても良い。
【００２８】
なお、「ステージ」とは、パフォーマンスやイベントなどが行われる空間をいうが、例えば屋外のフリースペースなどのステージのように厳密に他の空間と区別されうるものには限らない。また「ステージの演出」とは、そのパフォーマンスなどが行われる空間における演出のみならず、リアル視聴者が演出を感じることができる形態であれば、例えばステージの置かれた会場（観客席なども含む空間など）に対する演出も含むものとする。
【００２９】
「ライブ映像配信部」（０２０２）は、ステージのライブ映像をユーザ端末に配信する機能を有し、例えばカメラ装置や映像処理装置、ＣＰＵや主メモリ、通信回路、ライブ映像配信プログラムなどによって実現することができる。なお、ライブ映像の配信とはステージ上のパフォーマンスなどを略リアルタイムで配信することをいい、例えばストリーミング配信などが挙げられる。
【００３０】
そして後述するユーザ端末でこのライブ配信される映像に対するコメントが入力され、そのコメントが直ちに配信映像上で反映表示され、かつ配信映像内にコメントで制御された演出の様子が含まれることで、バーチャル視聴者はステージ上のパフォーマンスなどに対する参加感や会場との一体感を得ることができる。
【００３１】
「ルール保持部」（０２０３）は、コメントに基づく演出制御を定める演出制御ルールを保持する機能を有し、例えばＨＤＤやフラッシュメモリなどの各種記録装置によって実現することができる。
【００３２】
図３は、ここで保持されている演出制御ルールの一例を表す概念図である。この図にあるように、演出制御ルールには、例えば入力されたコメント（の一部又は全部）の文字列やコメントの属性（指定色など）と、制御先となる演出装置のＩＤと、その制御命令と、が関連付けられている。
【００３３】
具体的には、「燃える」といった文字列を含むコメントに対して、その制御先となるディスプレイに対する炎のグラフィック表示制御命令や、照明に対する赤色明滅制御命令、あるいはたいまつ装置に対する着火制御命令などが関連付けられている。また、「拍手」や「８８８８・・・（拍手の擬音を示す文字列）」を含むコメントに対しては、その制御先となるディスプレイに対するスタンディングオベーションのグラフィック表示制御命令や、音響装置に対する拍手音の出力制御命令などが関連付けられていたり、「すごい」や「うおお」などを含むコメントに対しては、その制御先となる床の振動装置に対する振動制御命令などが関連付けられていたりする、という具合である。
【００３４】
また、同じ（類義の）コメントの数をカウントし、その数に応じて、制御命令の強度（例えばグラフィックであれば表示画像の大きさ、色の濃淡、音響であれば音量の大きさ、振動であればその振幅の大きさ、またそれらの出力時間、演出による表示などの変化パターンの多寡など）を変えるようなルールであっても良い。
【００３５】
また、上記のようなコメントの内容（文字列）や数に応じた演出制御のみならず、図４に示すようにコメントに付加されている情報、例えばコメントの表示色や表示の大きさ、表示スクロール速度を示す情報、あるいはコメント入力者のランク（詳細は後述）を示す情報などに応じた制御命令を出力するルールであっても良い。例えばコメントの表示色が指定可能であれば、演出装置であるディスプレイにその指定色メインの画像を表示する制御や、照明装置を指定色に点灯させる制御などを示すルールなどが挙げられる。また、コメントの表示の大きさや速度、コメントの入力者のランクなどであれば、それに応じて前述の制御命令の「強度」を変えるようなルールであっても良い。
【００３６】
また、演出制御ルールとして制御命令を出力するための条件などが関連付けられていても良い。例えば書き込まれた類義のコメントの数や割合、あるいは内容に関わらずその表示指定色が同じコメントの数や割合が、例えばコメントの表示中や所定時間内に所定値／所定割合以上である場合に、上記のような対応する制御（例えばディスプレイの指定色メインの表示や照明の指定色明滅、後述するコンサートライトの指定色明滅など）を行うといった出力条件が含まれるルールとしても良い。あるいは書き込まれたコメントの中からランダムで抽選されたコメントに対応する制御を行うルールとしても良い。あるいはコメントに含まれるユーザＩＤと予め保持されているユーザ登録テーブルからユーザのランクを判断し、ランクの高いユーザのコメントに対応する制御を優先的に行うルールとしても良い。
また、例えば課金の有無によってコメントを演出制御に使うか否か区別して判断する制御ルールであっても良い。具体的には、コメント入力時や一括前／後払いにて課金処理を行った（行う契約を結んだ）ユーザの書き込んだコメントに課金済みフラグを含む構成として、その課金済みフラグを含むコメントによってのみ演出制御を行うといった出力条件を含むルールが挙げられる。なお、その場合課金済みフラグの無いコメントは、単に後述するディスプレイでの表示にのみ利用されると良い。
【００３７】
また、例えば「右側のギターがすごい」、「燃える」といった複数のコメントを組み合わせて、ステージ右側の演出装置に対してのみ「燃える」に対応する制御命令を出力するようなルールであっても良い。
【００３８】
以上のような様々な演出制御ルールを保持することで、この演出制御サブシステムはコメントに応じた様々な演出を行うことができる。
【００３９】
「コメント受信部」（０２０４）は、ユーザ端末から送信されたコメントを受信する機能を有し、例えばＣＰＵや主メモリ、通信回路、コメント受信プログラムなどによって実現することができる。そしてこのコメント受信部は、ユーザ端末から（転送のみを行う転送装置を介して）直接的にコメントを受信する構成であっても良い。
【００４０】
あるいは、コメントのディスプレイへの表示に係る処理を行うコメント管理サーバなどのように、コメントに関する処理を行う別装置から転送されるコメントを間接的に受信する構成であっても良い。なお、このコメント管理サーバに関しては、従来のコメント付の動画配信システムにおいて、複数のユーザ端末から配信動画に対するコメントを収集しその表示位置や表示スピードなどを適宜決定して当該配信動画と共にコメントが表示されるよう再配信するサーバ装置と同様であるので、その説明は省略する。
【００４１】
「演出制御部」（０２０５）は、受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う機能を有し、例えばＣＰＵと主メモリ、演出制御プログラムなどによって実現することができる。また、前述のように演出装置として前記ステージの置かれた会場内のディスプレイを制御するよう構成するのであれば、この演出制御部は、当該会場内のディスプレイを制御する図示しない「ステージディスプレイ制御手段」を有していても良い。
【００４２】
そして演出制御部は、具体的に、演出制御ルールがコメントの内容に応じたルールを定めるものであれば、受信したコメントの全部又は一部の文字列をキーとして、図３に示すような演出制御ルールを示すテーブル内のコメント列を対象にした検索処理を実行する。また検索処理の前に、コメントが文章などであれば形態素解析などを行ってコメントを品詞単位で分解した上で、その文章に含まれる名詞、動詞、形容詞、形容動詞、感動詞などのそれぞれについて上記検索処理を行うよう構成しても良い。
【００４３】
そして、検索にヒットしたフィールドに関連付けられている制御命令および制御先の演出装置のＩＤを特定し、その特定された演出装置宛の制御命令を出力する、という具合である。
【００４４】
また、演出制御ルールがコメントの内容に応じて制御命令を定めるルールではなく、例えばコメントの指定表示色に応じたルールであれば、例えば、まずコメントの属性情報として付加されている指定色の情報を取得する。そして、制御する演出装置がディスプレイ装置であれば、その指定色をメインとするグラフィックの描画命令が生成され出力されたり、制御する演出装置がＬＥＤ照明装置であれば、その指定色での明滅制御命令が生成され出力されたりする、といった演出制御処理を行っても良い。なお、その出力先の演出装置は色に応じて別々に定められていても良いし、順番やランダムに選択されても良いし、一の演出装置に決まっていても構わない。
【００４５】
また、演出制御ルールが前述のように制御命令の強度（グラフィック画像の大きさや色の濃淡など）を変えるようなルールであれば、その強度を変更するための情報を取得すると良い。例えば、ルールそのものを決定するコメントの文字列などとは別に、コメント内に「（赤）過ぎ／杉」などの文字列があれば、その演出装置への赤色出力制御が「濃い」赤、あるいは逆に「薄い」赤となるように色値が指定される、といった具合である。
【００４６】
そのほか、コメントに付加されている情報、例えばコメントの表示の大きさやスクロール速度を示す情報、あるいはコメント入力者のランクを示す情報などに応じて同様に制御命令の強度を変える処理を行っても良い。なお「コメント入力者のランク」とは、所定の条件に応じて定められる、このシステムに対するユーザの貢献度合いや優先度合いを示す指標値をいい、例えば本発明によるサービスの有料会員であるか否か、またサービスの登録期間の長短、コメントの書込み回数や書き込んだコメントの他者評価値などに応じて定められうる指標値である。そして、演出制御サブシステムでは、そのユーザ毎のランクを示すテーブルを予め保持しておき、コメントの属性情報として示される当該コメント書込者のユーザＩＤを利用してそのランクを特定する。そして特定されたランクに応じて演出制御の強度を変える（例えばランクの高いコメントによる照明の明滅制御はその制御時間が長かったり色の変化パターンが多かったりするなど）と良い。
【００４７】
また、例えばコメントに「右」「中央」「左」などの位置に関するパターン文字列が含まれているかをマッチング処理などで判断し、その方向に位置する演出装置や、その方向に向けて演出を行う演出装置のみを制御する処理を行っても良い。
【００４８】
また複数受信した制御命令のうちの一部を出力することとし、その出力条件を設けても良い。例えば所定時間内に受信した同じ（類義の）コメントの数をカウントし、そのカウント数とルールで示される閾値との大小判断処理などに応じて制御命令を出力するか判断しても良い。あるいは書き込まれたコメントの中からランダムでコメントを抽出する処理を行い、そのコメントに関してのみ上記のように制御命令を特定し出力する処理を行っても良い。あるいは、上記コメント入力者のランクに応じて、ランクの高いコメントによる演出の制御命令の出力を優先的に行うようにしても良い。
【００４９】
また、複数のコメントを組み合わせて制御命令を出力するようにしても良い。
【００５０】
以上のような構成により、本願の演出制御サブシステムは、ステージ映像を配信し、それに応じてユーザ端末にて入力され受信したコメントに応じたステージ上の演出制御を行うことができる。
【００５１】
（ユーザ端末）
つづいて、図２に戻りユーザ端末の構成要件について説明する。ユーザ端末は演出制御サブシステムとネットワークを介して接続されており、この図にあるように、「ライブ映像受信部」（０２１１）と、「ライブ映像表示部」（０２１２）と、「コメント入力受付部」（０２１３）と、「コメント送信部」（０２１４）と、を有する。
【００５２】
「ライブ映像受信部」（０２１１）は、配信されたライブ映像を受信する機能を有し、例えばＣＰＵや主メモリ、通信回路、ライブ映像受信プログラムなどによって実現することができる。
【００５３】
「ライブ映像表示部」（０２１２）は、受信したライブ映像を表示する機能を有し、例えばＣＰＵや主メモリ、画像処理回路やディスプレイ、ライブ映像表示プログラムなどによって実現することができる。そして、ユーザ端末によるバーチャル視聴者は、そのディスプレイに表示されたライブ映像を見ながら、その感想などをコメントとして書き込むことができる。
【００５４】
具体的には、ユーザ端末から、ライブ映像を配信するサーバ装置（演出制御サブシステムに含まれるライブ映像配信部など）にネットワークを介してライブ映像の配信リクエストを送信する。すると、サーバ装置から、例えばライブ映像を再生するための再生ウィンドウを含むＷｅｂページが返信されてくる。そして同じくサーバ装置から配信されてきたライブ映像のデータを受信すると、先に受信したＷｅｂページの再生ウィンドウ内に当該ライブ映像を再生しユーザ端末のディスプレイに表示する、という具合である。また、ユーザ端末にライブ映像を再生するためのアプリケーションがすでにインストールされていれば、上記Ｗｅｂページの送受信などを省いても良い。
【００５５】
なお、このライブ映像表示部を構成する「（ユーザ端末）ディスプレイ」と、後述する本願のステージ演出システムの構成要件である「（コメント表示用）ディスプレイ」（図２の２２０）とは、別々のハードウェア装置として実現されても良いし、同じハードウェアとして（両者の機能を兼備して）実現されても良い。
【００５６】
「コメント入力受付部」（０２１３）は、表示されたライブ映像に対するコメント入力を受付ける機能を有し、例えばＣＰＵや主メモリ、キーボードやリモコンなどの各種入力デバイス、そしてコメント入力用のＧＵＩを含むコメント入力受付プログラムによって実現することができる。
【００５７】
図４は、このコメント入力用のＧＵＩを利用したコメント入力の一例を説明するための概念図である。この図にあるように、ディスプレイには、ライブ映像の表示枠αと、例えばＷｅｂページであれば同じページ内や別ウィンドウのページ内に、アプリケーションであればそのアプリケーション内や別／重畳ウィンドウ内にコメントを入力するための入力欄βが表示されている。そして、バーチャル視聴者は、表示枠αに表示されているライブ映像を見ながら、入力欄βにキーボードなどを利用して、例えば「ここのハモリがしびれる」などのコメントを入力する、という具合である。
【００５８】
なお「ライブ映像に対するコメント入力」とは、ライブ映像のＩＤと関連付けてコメントを入力することをいう。具体的には、例えばライブ映像の表示中に、その映像表示枠（Ｗｅｂページ／アプリケーションなど）と関連するコメント入力用ＧＵＩへ入力されたコメントに対し当該ライブ映像のＩＤを関連付ける、という具合である。そして、そのように入力されライブ映像ＩＤと関連付けられたコメントであれば、例えばライブ映像に対する感想のようなライブ映像の内容などに関連するコメントには限定されない。
【００５９】
そして自他のユーザ端末にてそのように入力されたコメントは、後述するようにライブ映像の表示枠α内にライブ映像に重畳させて表示されたり、コメントリスト欄γに表示されたりすると良い。あるいはステージ上に設けられたディスプレイに表示されても良い。
【００６０】
「コメント送信部」（０２１４）は、受付けたコメントを直ちに送信する機能を有し、ＣＰＵや主メモリ、通信回路、コメント送信プログラムなどによって実現することができる。
【００６１】
なお、「直ちに送信する」とは、書込みの確定ボタンのクリックなどを契機として直ぐに送信処理を実行する形態に限定はされず、バーチャル視聴者の参加感を損なわない程度であれば、例えば１０秒ごとに書き込まれたコメントをまとめて送信するなどの形態であっても構わない。
【００６２】
また、このコメントの送信先については特に限定しない。直接、演出制御サブシステムや後述するディスプレイに送信（出力）される形態も挙げられるし、ディスプレイに表示するために複数のユーザ端末からのコメントを収集し管理するコメント管理サーバに送信される形態も挙げられる。
【００６３】
そして、ここで直ちに送信されたコメントが後述するディスプレイに表示されるとともに、前述のように演出制御サブシステムによって演出装置に対する制御に利用される。したがってバーチャル視聴者はその自身の書き込んだコメントのディスプレイ表示と、同じコメントによる演出制御がされたライブ映像を視聴することができ、リアル視聴者とは別の形でライブへの参加感を感じることができる。
【００６４】
（ディスプレイ）
最後に、図２に戻りディスプレイの構成要件について説明する。ディスプレイはユーザ端末にて入力されたコメントを表示するものであって、この図にあるように、「コメント取得部」（０２２１）と、「コメント表示部」（０２２２）と、を有する。
【００６５】
なお、このディスプレイの設置場所は、コメントをユーザ端末のユーザに対して視聴可能に表示できる場所であればいずれでも構わないが、主に２パターンの設置場所が想定されうる。すなわち前記ユーザ端末のディスプレイとして設置される場合と、ステージの置かれた会場内に設置される場合と、（あるいはその双方と）である。以下、「コメント取得部」と「コメント表示部」について、２つのパターンに分けて説明する。
【００６６】
「コメント取得部」（０２２１）は、ユーザ端末にて入力されたコメントを取得する機能を有し、ＣＰＵや主メモリ、コメント取得プログラムによって実現することができる。具体的に、ディスプレイの設置場所が上記前者のパターンの場合、ディスプレイはユーザ端末に接続されているものなので、そのまま内部的に取得する構成とすると良い。あるいは複数のユーザ端末からのコメントを受信し、それらをまとめて複数のユーザ端末に配信するコメント管理サーバなどが設けられていれば、そのコメント管理サーバから配信される自他のコメントをまとめて取得するよう構成しても良い。
【００６７】
一方、ディスプレイの設置場所が後者のパターンの場合、ネットワークを介してユーザ端末から送信されたコメントを直接受信して取得する構成が挙げられる。あるいは、上記前者のパターンと同様に、ネットワーク上に別に設けられたコメント管理サーバなどから複数のユーザ端末にて入力されたコメントを間接的に受信して取得する構成も挙げられる。
【００６８】
また、後者のパターンの場合、ディスプレイは演出制御サブシステムの制御下にあるとも想定されるので、演出制御サブシステムにて演出制御に利用されるために受信されたコメントが転送されることで取得する構成も挙げられる。なお、その場合には、演出制御サブシステムにてコメント文字列を所定の色、大きさ、アニメーションなどで表示するための画像データが生成され、その画像データをコメントとして取得する構成としても良い。また、まずディスプレイにてコメントを受信し、それが演出制御サブシステムに転送される構成も挙げられる。
【００６９】
「コメント表示部」は、取得したコメントをユーザ端末のユーザに対して視聴可能に表示する機能を有し、例えばＣＰＵや主メモリ、画質処理回路、表示パネル、コメント表示プログラムなどによって実現することができる。この、コメント表示部でのコメント表示形態としては、例えばコメントの色や大きさを変化させる形態や、コメント文字列を移動表示させる形態などが挙げられる。さらにディスプレイが複数のディスプレイを並べて構成されていれば、その複数のディスプレイ間をまたがってコメントが移動表示されても良い。そして例えばディスプレイがステージ上や観客席の側面や前面、背面など３６０度に配置されていれば、その３６０度ディスプレイ上にコメントを回遊表示することができる。
【００７０】
図５は、ディスプレイの設置場所が前者のパターンである場合のコメントの表示例を示す図である。この図にあるように、ディスプレイはユーザ端末のライブ映像表示部でもあり、その映像表示枠α内に配信ライブ映像が表示されている。そして、その映像に重畳する形やその横のコメントリスト欄γなどにリスト化された形でコメントが表示される、という具合である。また、ここで表示されるコメントは自身が書き込んだコメントのみならず、前述のコメント管理サーバで収集された他のユーザ端末で入力されたコメントも合わせて表示されても良い。
【００７１】
図６は、ディスプレイの設置場所が後者のパターンである場合のコメントの表示例を示す図である。この図にあるように、ディスプレイはステージ上の例えば背面や側面などに設置されており、配信されるライブ映像には少なくともその一部が映るようにして撮影されている。したがってステージ上のディスプレイにコメントが表示されることで、配信されるライブ映像にコメントが表示されたディスプレイが含まれ、バーチャル視聴者にそのコメントが視認される、という具合である。
【００７２】
また、このディスプレイがステージの置かれた会場内に設置されている場合、その会場内ディスプレイは演出制御サブシステムの演出制御部によって演出装置として制御されても良い。なおその場合の演出制御は「コメントを表示すること」による演出ではなく、コメントの表示に加えた、例えばディスプレイの明滅表示制御やコメント以外のディスプレイ全体の色の変更制御などによる演出制御になる。
【００７３】
以上のように、ネットワーク上のユーザ端末を利用してライブ映像を視聴しているバーチャル視聴者は自身の書き込んだコメントのディスプレイ表示と、同じコメントによる演出制御がされたライブ映像を同時に視聴することができ、リアル視聴者とは別の形でライブへの参加感を感じることができる。
【００７４】
<ハードウェア構成>
図７から９は、上記機能的な各構成要件をハードウェアとして実現した際の、演出制御サブシステム、ユーザ端末、ディスプレイにおける構成の一例を表す概略図である。この図を利用して本実施例のステージ演出システムの演出制御処理におけるそれぞれのハードウェア構成部の働きについて説明する。
【００７５】
（演出制御サブシステム）
図７は、演出制御サブシステムのハードウェア構成の一例を表す図である。この図にあるように、演出制御サブシステムは、「ＣＰＵ」（０７０１）と「主メモリ」（０７０２）とを備え、これらによって演出制御部が実現されるとともに、その他の構成に係る各種演算処理が実行されている。またルール保持部である「ＨＤＤ」（０７０３）や、ライブ映像配信部やコメント受信部である「通信回路」（０７０４）、演出装置である「照明装置」（０７０５）や「音響装置」（０７０６）なども備えられている。そしてそれらが「システムバス」や「会場内ＬＡＮ（ローカル・エリア・ネットワーク）」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【００７６】
また、「主メモリ」にはプログラムが読み出され、「ＣＰＵ」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「主メモリ」や「ＨＤＤ」にはそれぞれ複数のアドレスが割り当てられており、「ＣＰＵ」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
【００７７】
ここで、例えば野外音楽フェスティバル会場に設置されたステージ上でバンドが演奏を行っており、その演奏風景が撮影され、ネットワークを介して遠隔地にいるバーチャル視聴者のユーザ端末にライブ配信されている。そして、その配信ライブ映像に対してユーザ端末にて入力されたコメントが、いったんコメント管理サーバにて収集され、この演出制御サブシステムに送信されてくる。
【００７８】
演出制御サブシステムでは、「通信回路」にて例えば"すげえ燃える！"などのコメントを受信すると、そのコメントを「主メモリ」に格納する。そして演出制御プログラムを解釈し、その解釈結果にしたがって「ＣＰＵ」の演算処理によって例えばコメントの形態素解析処理を行い、コメント内の助詞／助動詞、接続詞などを除く名詞や動詞、形容詞、形容動詞、感動詞などを示す文字列を特定する。そして特定された文字列をキーとして、「ＨＤＤ」に保持されている制御ルールの図３に示すようなテーブルの検索処理を実行し、当該文字列のフィールドに関連付けられている演出制御の対象となる演出装置のＩＤと制御命令、例えば照明装置ＩＤと赤色明滅の制御命令を「主メモリ」に格納する。
【００７９】
そして、「主メモリ」に格納した制御命令（赤色明滅制御命令）を、同じく格納したＩＤで示される演出装置（照明装置）に対して出力し、制御命令にしたがった例えば照明装置の赤色の明滅制御が実行される、という具合である。
【００８０】
また、演出制御部にて前述の通り、例えば「ＣＰＵ」は、「ＨＤＤ」に保持されている類義語辞典などを参照し類義のコメントの数をカウントし、演出制御ルールにて定められる閾値との大小比較処理を行って演出制御を行うか否かの判断をしても良い。あるいはコメントに属性情報として付加されているコメントの表示色や表示の大きさ、表示スクロール速度、あるいはコメント入力者のランク情報を取得して「主メモリ」に格納し、その情報をキーとして「ＨＤＤ」に保持されているテーブルを検索して演出装置ＩＤや制御命令を特定する処理を行っても良い。また、その情報を示す数値から、制御命令の強度（音量のボリューム値や制御時間など）を「ＣＰＵ」の演算処理によって算出する処理を行っても良い。
【００８１】
また、例えば演出装置の設置位置を示す情報を「ＨＤＤ」に保持しておき、コメントの文字列に「右」との文字列が含まれていれば、その設置位置情報を元にした「ＣＰＵ」の演算処理によってステージ向かって右手側の演出装置のＩＤを取得し、その制御命令の出力先とするなどの処理を行っても良い。
また、この演出制御サブシステムが後述するディスプレイと映像出力線などで直接接続されている場合、「ＣＰＵ」は、図示しないコメント表示プログラムを解釈し、受信したコメントを利用してコメント文字列を所定の色、大きさ、アニメーションなどで表示するための画像データを生成し、ディスプレイに対して出力する処理を行っても良い。
【００８２】
（ユーザ端末）
図８は、ユーザ端末のハードウェア構成の一例を表す図である。この図にあるように、ユーザ端末は、各種演算処理を実行するための「ＣＰＵ」（０８０１）と「主メモリ」（０８０２）とを備えている。また各種データを保持する「フラッシュメモリ」（０８０３）や、ライブ映像受信部やコメント送信部である「通信回路」（０８０４）、コメント入力受付部である「キーボード」（０８０５）やライブ映像表示部である「ユーザ端末ディスプレイ」（０８０６）なども備えられている。
【００８３】
ここで、ステージの配信ライブ映像を見たいと思うユーザの入力操作によって例えばブラウザに所定のＵＲＬが入力される。すると「ＣＰＵ」はブラウザプログラムの解釈結果にしたがって当該ＵＲＬで示される演出制御サブシステムにアクセスし、ＨＴＴＰリクエストを「通信回路」から送信する。そして、演出制御サブシステムからのレスポンスである配信ライブ映像の視聴用Ｗｅｂページのデータ（ライブ映像表示プログラムやコメント入力受付プログラムを含む）を「通信回路」にて受信すると、「ＣＰＵ」はブラウザプログラムの解釈結果にしたがって「ユーザ端末ディスプレイ」にその視聴用Ｗｅｂページを表示する。また、それとともに「ＣＰＵ」は視聴用Ｗｅｂページのデータに含まれるライブ映像表示プログラムを解釈し、その解釈結果に従って、演出制御サブシステムからのレスポンスとして「通信回路」にて受信した配信ライブ映像のストリーミングデータなどを視聴用Ｗｅｂページの映像表示枠内に再生表示する。
【００８４】
また、視聴用Ｗｅｂページには配信ライブ映像に対するコメント入力を受付けるコメント入力欄が設けられており、「ＣＰＵ」はコメント入力受付プログラムの解釈結果にしたがってそのコメント欄へのコメント入力待ち状態となる。そして「キーボード」を介して当該入力欄にコメントが入力され送信ボタンがクリックされると、「ＣＰＵ」はコメント送信プログラムを解釈し、「通信回路」からネットワークを介してコメントを送信する処理を実行する。なお、そのコメントの送信先は、視聴用Ｗｅｂページや配信ライブ映像の送信元である演出制御サブシステムとして処理しても良いし、例えばコメント送信プログラムで指定などされる図示しない「コメント管理サーバ」などとしても良い。
【００８５】
そして後述する「ディスプレイ」が、このユーザ端末の「ユーザ端末ディスプレイ」と同一に構成されているのであれば、自他のユーザ端末からのコメントを「通信回路」にて受信し、「ＣＰＵ」の演算処理によってそのコメントを配信ライブ映像に重畳表示（コメント用レイヤーを重ねて表示）したり、視聴用Ｗｅｂページに設けられたコメントリスト内にリスト表示したりすると良い。
【００８６】
そして、このようなコメントのディスプレイ表示処理とは別に、送信されたコメントは図７などで説明したように演出制御サブシステムにて受信され、演出装置に対する演出制御に利用される。そして、そのような演出がなされたステージ風景を含む配信ライブ映像が、上記「ユーザ端末ディスプレイ」にて再生表示される、という具合である。
【００８７】
（ディスプレイ）
図９は、ディスプレイのハードウェア構成の一例を表す図である。この図にあるように、ディスプレイは、各種演算処理を実行するための「ＣＰＵ」（０９０１）と「主メモリ」（０９０２）とを備えている。また各種データを保持する「フラッシュメモリ」（０９０３）や、コメント取得部である「外部映像入力回路」（０９０４）、コメント表示部である「映像出力回路」（０９０５）なども備えられている。
【００８８】
ここでディスプレイは、例えばステージの置かれた会場内に設置されているのであれば、演出制御サブシステムにて受信され出力された前述のコメント表示のための画像データを「外部映像入力回路」にて取得し、その画像データを「映像出力回路」内のＶＲＡＭに展開する。あるいは、ユーザ端末から直接的に、あるいは図示しないコメント管理サーバを介して間接的にインターネットなどを介して送信されたコメントを図示しない「通信回路」にて受信し、そのコメントを元に表示用の画像データを生成して「映像出力回路」内のＶＲＡＭに展開しても良い。
【００８９】
また、ディスプレイがユーザ端末ディスプレイと同一に構成されていれば、図示しないコメント管理サーバを介して間接的にインターネットなどを介して送信された自他のコメントを図示しない「通信回路」にて受信しても良いし、自身に入力されたコメントを内部的に取得しても良い。
【００９０】
そして、その取得された画像データが図示しない表示パネルの所定の表示位置へ出力される、という具合である。
なお、このコメントの表示は受信した表示用画像データに従って、コメント文字列が移動表示される形態であっても良い。さらにディスプレイが複数のディスプレイを並べて構成されていれば、その複数のディスプレイ間をまたがってコメントが移動表示されても良い。そして例えばディスプレイがステージ上や観客席の側面や前面、背面など３６０度に配置されていれば、その３６０度ディスプレイ上にコメントを回遊表示することができる。
またコメント表示用の画像データの生成については、このディスプレイにて生成する構成としても良い。その場合、取得されたコメントが「主メモリ」に格納され、「ＣＰＵ」はコメント表示プログラムの解釈結果にしたがって、「主メモリ」に格納されているコメントを、例えばコメントを移動表示させる場合には複数のコメントが重ならないようにするなどの処理を行いながら「映像出力回路」から図示しない表示パネルの所定の表示位置へ出力する、という具合である。
【００９１】
そしてディスプレイがステージの置かれた会場内に設置されていれば、配信されるライブ映像に少なくともそのディスプレイの一部が映るように撮影することで、コメントをバーチャル視聴者に対して視聴可能に表示する。また、ディスプレイがユーザ端末ディスプレイと同一に構成されていれば、そのディスプレイに表示するために配信されているライブ映像に対して演出制御サブシステムのビデオスイッチャーがコメント画像データを別レイヤなどで重畳させて配信することで、あるいはユーザ端末側で同様に配信ライブ映像とコメント表示用の画像データを重畳して表示したり、表示枠近傍のコメントリストにコメントを表示したりすることで、コメントをバーチャル視聴者に対して視聴可能に表示することができる。
【００９２】
<処理の流れ>
図１０は、本実施例のステージ演出システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
【００９３】
この図にあるように、まず、例えば図示しないユーザ端末からのライブ映像配信リクエストに応じて、演出制御サブシステムにてステージのライブ映像をユーザ端末に配信する（ステップＳ１００１）。
【００９４】
そしてユーザ端末にて、前記配信されたライブ映像を受信する（ステップＳ１０１１）と、受信したライブ映像を表示する（ステップＳ１０１２）。また、例えばそのライブ映像の表示に関連付ける形態でコメントの入力欄も表示しておき、その表示されたライブ映像に対するコメント入力を受付ける（ステップＳ１０１３）。そしてコメント入力が受付けられると、そのコメントを、演出制御サブシステムや図示しないコメント管理サーバなどに直ちに送信する（ステップＳ１０１４）。
【００９５】
演出制御サブシステムでは、上記ユーザ端末から送信されたコメントを、例えばユーザ端末から直接、あるいは図示しないコメント管理サーバから間接的に受信する（ステップＳ１００２）と、例えばコメントの内容（文字列）の解析処理や類義する内容のコメント数のカウント処理、あるいはその他演出制御のための各種処理を行い、受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う（ステップＳ１００３）。そして配信終了まで、そのような演出装置の制御による演出が行われているステージのライブ映像がユーザ端末に配信され続ける。
【００９６】
また、ディスプレイでは、ユーザ端末にて入力されたコメントを、演出制御サブシステムやユーザ端末、あるいは図示しないコメント管理サーバなどから取得し（ステップＳ１０２１）、取得したコメントをユーザ端末のユーザに対して視聴可能に表示する（ステップＳ１０２２）。
【００９７】
<効果の簡単な説明>
以上のような構成を備える本実施例のステージ演出システムによって、ユーザ端末を利用したステージのバーチャル視聴者であっても、自身の書き込んだコメントの表示を含むステージの配信ライブ映像の視聴が可能となり、さらにそのコメントによってステージ上の演出装置を制御することが可能となる。したがって、ステージのリアル視聴者とは別の形でのステージへの参加感を得ることができる。
【００９８】
<その他の構成>
さらに、本実施例のステージ演出システムは、ステージの演出装置としてステージを含む会場内に固定的に設置されているものを制御するだけではなく、リアル視聴者（ステージの実際の観覧者）に配布され、リアル視聴者が手に持ったり身に付けたりする携行型の演出器具を制御するよう構成しても良い。
【００９９】
具体的には、演出制御サブシステムの演出制御部は、ステージの置かれた会場内の観覧者に配布される演出器具を演出装置として制御する「観覧者演出器具制御手段」を有していても良い。
【０１００】
図１１（ａ）は、この配布される演出器具の一例を表す外観図である。この図にあるように、配布される演出器具として、例えば一般的なコンサートなどで観覧者が手に持って利用するケミカルライトスティックを模した電子式のライトスティックが挙げられる。この電子式ライトスティックは、ＬＥＤや導光板、反射板など（１１０１）と、無線通信回路（１１０２）と、制御用マイコン（１１０３）が組み込まれており、演出制御サブシステムの演出制御部からコメントに応じて無線送信される制御命令によって、制御用マイコンの制御による各種パターンでのＬＥＤの明滅が実行される。
具体的に、前述のように例えばコメントの文字列（内容）が「燃える」であれば、このケミカルライトスティックが赤色に明滅するよう制御されたり、あるいはコメントの表示色が「青色」に指定されていれば、それに合わせて青色明滅制御されたりする、という具合である。また、前述の課金済みフラグを含むコメントによってのみ当該制御が行われても良いし、コメント入力者のランクに応じてその明滅スピードなどが変わるよう制御されても良い。
【０１０１】
また図１１（ｂ）に示すように、その出力に際しては、例えば指向性の赤外線通信を利用して、例えばステージに向かって観客席「左側」の演出器具（１１００Ｌ）と「右側」（１１００Ｒ）の演出器具とで、コメントに応じて別々の制御命令Ｌ，Ｒを出力するなどの演出制御を行っても良い。
【０１０２】
またこの演出器具は光による演出のみならず、図示しない内蔵音源や音声デコーダ、スピーカなどで構成される音声出力機能を備え、内蔵音源や外部から受信した音声データを再生出力しても良い。
【０１０３】
このようにして、バーチャル視聴者の入力したコメントによってリアル視聴者が持つなどする演出器具の演出制御がなされるので、そのステージ演出を媒介としてバーチャル視聴者とリアル視聴者の一体感を醸成する効果も期待できる。
【０１０４】
≪実施例２≫
<概要>
本実施例は、上記実施例のうちディスプレイがステージの置かれた会場内に設置され演出制御部により制御される演出装置として機能するステージ演出システムを基本とし、図１２に示すように、そのステージ上の側面や背面のディスプレイにバーチャル視聴者のＩＤアバター画像（分身画像：１２０１Ａ〜Ｄ）を表示する演出を行うことを特徴とする。
【０１０５】
このようにして、実際にはステージの観覧席などには居ないバーチャル視聴者のＩＤアバター画像がステージ上のディスプレイに表示され、自身のコメントによって例えば踊ったりジャンプしたりするなどの演出制御されることで、バーチャル視聴者はさらにステージへの参加感を感じることができる。
【０１０６】
<機能的構成>
図１３は、本実施例のステージ演出システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例のステージ演出システムは、「演出制御サブシステム」（１３００）と、「ユーザ端末」（１３１０）と、「ディスプレイ」（１３２０）と、からなる。なお、ディスプレイの構成要件は上記実施例のものと基本的に相違しないので図示を省略する。
【０１０７】
そして上記実施例を基本とし、演出制御サブシステムは「演出装置（ディスプレイを含む）」（１３０１）と、「ライブ映像配信部」（１３０２）と、「ルール保持部」（１３０３）と、「コメント受信部」（１３０４）と、「演出制御部」（１３０５）と、を有するとともに、その演出制御部が「ステージディスプレイ制御手段」（１３０６）、を有する。また同様にユーザ端末は「ライブ映像受信部」（１３１１）と、「ライブ映像表示部」（１３１２）と、「コメント入力受付部」（１３１３）と、「コメント送信部」（１３１４）と、を有する。
【０１０８】
なおこれら構成要件については、上記実施例の同名の構成要件にて記載済みであるのでその説明は省略する。
【０１０９】
そして、本実施例の特徴点は、まずユーザ端末のコメント送信部が、「ＩＤ付コメント送信手段」（１３１５）を有する点と、つづいて演出制御サブシステムが「ＩＤアバター表示部」（１３０７）を有するとともに、ルール保持部が「ＩＤアバタールール保持手段」（１３０８）を有し、さらにステージディスプレイ制御手段が「ＩＤアバター制御器」（１３０９）を有する点である。
【０１１０】
（ユーザ端末）
「ＩＤ付コメント送信手段」（１３１５）は、ユーザＩＤ又は／及び端末ＩＤと関連付けてコメントを送信する機能を有し、ＣＰＵや主メモリ、ＩＤ付コメント送信プログラムなどによって実現することができる。
【０１１１】
具体的には、例えば本実施例のステージ演出システムによるサービスの利用開始時にユーザ登録を行わせ、その登録にてユーザＩＤをユーザが任意、あるいは自動生成などで設定する。そしてその後のサービス利用時にログイン情報としてユーザＩＤを取得し、その取得したユーザＩＤを送信するコメントに関連付ける、といった具合である。また端末ＩＤであれば、同様にしてユーザが任意に設定した端末ＩＤを利用しても良いし、例えば製造番号やＭＡＣアドレスのような装置を一意に識別するためユーザ端末自身が予め保持している端末ＩＤを自動的に取得し、コメントに関連付ける構成としても良い。
【０１１２】
そして、このようにコメントにユーザＩＤ／端末ＩＤが付されているため、コメントによるＩＤアバターの演出制御をバーチャル視聴者別に実行することができる。
【０１１３】
（演出制御サブシステム）
「ＩＤアバター表示部」（１３０７）は、前記ＩＤに基づきステージの設置された会場内のディスプレイにＩＤアバターを表示する機能を有し、例えばＣＰＵや主メモリ、映像処理回路、ＩＤアバター表示プログラムなどによって実現することができる。
【０１１４】
前記ＩＤに基づくＩＤアバター表示とは、例えば演出制御サブシステムにてユーザＩＤ（あるいは端末ＩＤ）とそのユーザのＩＤアバター画像とを関連付けたＩＤアバターテーブルを保持しておく。そしてユーザがサービス利用のためログインした際に取得したＩＤをキーとしてＩＤアバターテーブルを検索し、特定されたＩＤアバターを表示する、という具合である。
【０１１５】
なお、「ＩＤアバター」とは、ユーザのバーチャルな分身となる画像をいい、ユーザ本人が自身のＩＤアバターであることを認識可能であれば、その表示画像の内容は特に限定しない。基本的には、自身の顔写真を利用したり、予め設定された顔パーツや衣装パーツなどの三次元テクスチャ画像を組み合わせたりして生成されたキャラクター画像が挙げられるが、例えば自分の愛犬や好きな花の画像などをＩＤアバターとして設定しても良い。
そして、本実施例におけるＩＤアバターはユーザＩＤと紐付けられていることで、当該ユーザＩＤで識別されるユーザからのコメントに応じて制御されることを特徴とする。
【０１１６】
「ＩＤアバター演出制御ルール」（１３０８）は、前記ＩＤアバターに対する演出制御を定めるＩＤアバター演出制御ルールを保持する機能を有し、例えばＨＤＤやフラッシュメモリなどの各種記録装置によって実現することができる。
【０１１７】
なおＩＤアバター制御ルールは、ＩＤでユーザや端末ごとに識別されるＩＤアバターのコメントによる演出制御を、そのコメントに関連付けられたＩＤによって区別して行う（すなわちバーチャル視聴者は自身のコメントで自身のＩＤアバターの演出を制御する）点と、演出制御の内容がＩＤアバターの表示制御（例えばＩＤアバターのアニメーション表示や色／大きさ変更表示など）である点を特徴とする。
【０１１８】
「ＩＤアバター演出器」（１３０９）は、受信したコメント及びＩＤと、保持されているＩＤアバター演出制御ルールとに基づいてディスプレイに表示されたＩＤアバターの演出表示を行う機能を有し、例えばＣＰＵや主メモリ、映像処理回路、ＩＤアバター演出プログラムなどによって実現することができる。
【０１１９】
具体的に、例えばユーザαの入力した「拍手音」のコメントや「アンコール」のコメントに応じて、ユーザαのＩＤアバターの手が拍手するように動くアニメーション表示を行うよう制御したり、ユーザβの入力した「燃える」などのコメントに応じて、ユーザβのＩＤアバターの頭を上下に激しく動かすアニメーション表示を行うよう制御したり顔の頬領を赤色に変化させるよう制御したりする、という具合である。
【０１２０】
<処理の流れ>
図１４は、本実施例のステージ演出システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
【０１２１】
この図にあるように、まず、例えば図示しないユーザ端末からのライブ映像配信リクエストに際して、例えばそのためのログイン処理などによって取得されたユーザＩＤや端末ＩＤに応じて、そのユーザのＩＤアバター画像をステージ上などに設置されたディスプレイに表示する（ステップＳ１４０１）。そして、その後のライブ映像配信リクエストに応じて、演出制御サブシステムにてステージのライブ映像をユーザ端末に配信する（ステップＳ１４０２）。
【０１２２】
そしてユーザ端末にて、前記配信されたライブ映像を受信する（ステップＳ１４１１）と、受信したライブ映像を表示する（ステップＳ１４１２）。また、例えばそのライブ映像の表示に関連付ける形態でコメントの入力欄も表示しておき、その表示されたライブ映像に対するコメント入力を受付ける（ステップＳ１４１３）。そしてコメント入力が受付けられると、そのコメントを、演出制御サブシステムや図示しないコメント管理サーバなどに、ユーザＩＤや端末ＩＤと関連付けて直ちに送信する（ステップＳ１４１４）。
【０１２３】
演出制御サブシステムでは、上記ユーザ端末から送信されたＩＤ付コメントを、例えばユーザ端末から直接、あるいは図示しないコメント管理サーバから間接的に受信する（ステップＳ１４０２）と、例えばコメントの内容（文字列）の解析処理や類義する内容のコメント数のカウント処理、あるいはその他演出制御のための各種処理を行い、受信したコメントと、保持されている演出制御ルールとに基づいて、そのコメントに付されたＩＤで識別されるＩＤアバターの表示制御を行う（ステップＳ１４０３）。
【０１２４】
また、ディスプレイでは、ユーザ端末にて入力されたコメントを、演出制御サブシステムやユーザ端末、あるいは図示しないコメント管理サーバなどから取得し（ステップＳ１４２１）、取得したコメントをユーザ端末のユーザに対して視聴可能に表示する（ステップＳ１４２２）。
【０１２５】
<効果の簡単な説明>
以上のような構成を備える本実施例のステージ演出システムによって、実際にはステージの観覧席などには居ないバーチャル視聴者のＩＤアバター画像がステージ上のディスプレイに表示され、自身のコメントによって例えば踊ったりジャンプしたりするなどの演出制御されることで、バーチャル視聴者はさらにステージへの参加感を感じることができる。
【０１２６】
≪実施例３≫
<概要>
本実施例は、上記実施例２と同様に、ステージに置かれたディスプレイ上のアバターを表示制御することでステージ演出を行う構成を備える。そして実施例２との相違点は、そのアバターの表示制御が、アバターとユーザＩＤで紐付けられたユーザからのコメントに基づくものではなく、不特定のユーザからのコメントに応じて行われる点である。したがって本実施例のステージ演出システムでは、一のユーザコメントなどに応じて多数のアバターの表示をまとめて制御するような演出、例えばウェーブ演出やボードを使った人文字演出などが容易に可能となる。
【０１２７】
<機能的構成>
図１５は、本実施例のステージ演出システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例のステージ演出システムは、「演出制御サブシステム」（１５００）と、「ユーザ端末」（１５１０）と、「ディスプレイ」（１５２０）と、からなる。なお、ユーザ端末およびディスプレイの構成要件は上記実施例のものと基本的に相違しないので図示を省略する。
【０１２８】
また演出制御サブシステムは「演出装置（ディスプレイを含む）」（１５０１）と、「ライブ映像配信部」（１５０２）と、「ルール保持部」（１５０３）と、「コメント受信部」（１５０４）と、「演出制御部」（１５０５）と、を有するとともに、その演出制御部が「ステージディスプレイ制御手段」（１５０６）を有するが、これら構成についても上記実施例で記載済みであるのでその説明は省略する。そして本実施例では、上記「ステージディスプレイ制御手段」が、さらに「アバター制御器」（１５０７）を有することを特徴とする。
【０１２９】
「アバター制御器」（１５０７）は、ステージに置かれたディスプレイに出力されるアバターのアクションを制御する機能を有し、例えばＣＰＵや主メモリ、映像処理回路、アバター制御プログラムなどによって実現することができる。そして演出制御部およびステージディスプレイ演出制御手段は、前述のようにコメントと演出制御ルールを利用して、ステージディスプレイの演出を制御するものであり、このアバター制御器では、特にディスプレイに表示されたアバターのアクションを、例えばコメントと演出制御ルールに基づいて様々なアニメーション表示を行うことで制御する、という具合である。
【０１３０】
なお、ここでディスプレイに出力され制御されるアバターは、上記実施例２のＩＤアバターのように特にユーザＩＤによって特定のユーザと紐付けられている必要が無い（紐付けられていても良いが、基本的にアバターと紐付けられたユーザＩＤは利用されない）ことを特徴とする。なお、このアバターの画像もＩＤアバターと同様に特に限定されず、ユーザＩＤと紐付けられていないのであれば予め定められている、あるいはランダムに選択された画像がアバターとして利用されても良いし、またその画像も人型に限定されない。
【０１３１】
図１６は、このアバター制御器によるステージディスプレイ上のアバターのアクション制御の一例を表す概念図である。この図１６（ａ）にあるように、例えばランダムに選択された、あるいは前述のランクの一番高いユーザからの「ウェーーーブ！」というコメントに対応した演出制御ルールに基づいて、ステージディスプレイに横並びに表示されている複数のアバターについて右から順に立ち上がる→しゃがむというアニメーションを行うように制御し、スタジアム観客席などでのいわゆるウェーブを再現する演出を行う。
【０１３２】
また、図１６（ｂ）にあるように、ユーザからの複数のコメントのうち最もコメント数の多い例えば「８８８８８８８」というコメントに対応した演出制御ルールに基づいて、ステージディスプレイに表示された全アバターが一斉に拍手をしたり口笛を吹いたりするアニメーションを行うよう制御し（また前述のようにスピーカから拍手音や口笛音を出力し）、観客がステージを祝福し盛り上がりっているような演出を行う、という具合である。
【０１３３】
このように本実施例のステージ演出システムでは、コメントユーザＩＤに紐付けられたアバターがコメントごとに個別に制御されるのではなく、複数のコメントのうちのいずれかのコメントを利用して複数のアバターのアクションを一斉に制御することができるので、例えばウェーブ演出やボードを用いた人文字演出のような一体感のある演出を行うことが容易に可能となる。
【０１３４】
また、本実施例のステージ演出システムは、例えばステージのイベント進行などに応じて好適なタイミングでアバターのアクション制御による演出を行うことができるよう、ユーザからのコメントとは別途にアクション開始指示を受付けるように構成しても良い。具体的に、本実施例のステージ演出システムは、その演出制御部がさらに図示しない「アクション開始受付手段」を有していても良い。この「アクション開始受付手段」は、ステージに置かれたディスプレイに出力されるアバターにアクションを起こさせるための開始タイミング指示命令の入力を受付ける機能を有し、例えばＣＰＵや主メモリ、入力デバイス、アクション開始受付プログラムなどで実現することができる。
【０１３５】
具体的には、例えば、ステージを一望できる位置に設置されている制御ルームのコンソールパネルに「アクション開始ボタン」が設けられている。そしてステージ上のマジックショーが終盤にさしかかった時点でユーザからコメント「８８８８８」が大量に入力されるが、本実施例のステージ演出システムではこのタイミングでアバターのコメントに応じたアクション制御（拍手アニメーション表示など）は行わない。
【０１３６】
そして制御ルームにいる演出担当者が進行表を確認し、最後の山場のマジックが披露されたときに、コンソールパネルの「アクション開始ボタン」が押される。すると、そのタイミングで先に入力されていたコメント「８８８８８」に応じてアバターの拍手アニメーション表示などのアクション制御が実行されショーのクライマックスを盛り上げる、という具合である。
【０１３７】
もちろん、アクション開始受付手段は上記のような実施例に限定されず、例えばコンピュータによって自動的に入力されるアクション開始命令の受付手段であっても良いし、視聴ユーザおよびコメント入力ユーザのユーザ端末上に設けられ、所定の一のユーザ（ランダムで選択されたユーザや前述のランクの高いユーザなど）から受付けたアクション開始操作によってアバターのアクション制御開始のタイミングが決定されても良い。また、コメントの表示とそのコメントによるアバターアクション演出は連動していたほうが演出効果は高いと想定されるので、ここで受付けられるアクション開始命令は、コメント表示開始命令を兼ねる命令であっても良い。
【０１３８】
<処理の流れ>
図１７は、本実施例のステージ演出システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
【０１３９】
この図にあるように、まずステージディスプレイにアバターを表示する（ステップＳ１７０１）。またユーザからのライブ映像配信リクエストに応じて、演出制御サブシステムにてステージのライブ映像をユーザ端末に配信する（ステップＳ１７０２）。そしてユーザ端末にて、前記配信されたライブ映像が受信（ステップＳ１７１１）、表示され（ステップＳ１７１２）、表示されたライブ映像に対するコメント入力が受付けられる（ステップＳ１７１３）。するとユーザ端末は、そのコメントを、演出制御サブシステムや図示しないコメント管理サーバなどに直ちに送信する（ステップＳ１７１４）。
【０１４０】
演出制御サブシステムでは、上記送信されたコメントをユーザ端末から直接、あるいはコメント管理サーバから間接的に受信する（ステップＳ１７０３）と、例えばコメントの内容（文字列）の解析処理や類義する内容のコメント数のカウント処理、あるいはその他演出制御のための各種処理を行い、受信したコメントと、保持されている演出制御ルールとに基づいてディスプレイに表示されているアバターのアクションを制御する（ステップＳ１７０４）。
【０１４１】
<効果の簡単な説明>
以上のような構成を備える本実施例のステージ演出システムによって、ユーザからのコメントを利用して、例えば複数のアバターのアクションを一斉に制御することができる。したがってウェーブ演出やボードを用いた人文字演出のような一体感のあるステージ演出を行うことが可能になる。
【符号の説明】
【０１４２】
０２００ 演出制御サブシステム
０２０１ 演出装置
０２０２ ライブ映像配信部
０２０３ ルール保持部
０２０４ コメント受信部
０２０５ 演出制御部
０２１０ ユーザ端末
０２１１ ライブ映像受信部
０２１２ ライブ映像表示部
０２１３ コメント入力受付部
０２１４ コメント送信部
０２２０ ディスプレイ
０２２１ コメント取得部
０２２２ コメント表示部
【特許請求の範囲】
【請求項１】
ステージの演出制御を行う演出制御サブシステムと、演出制御サブシステムとネットワークを介して接続されたユーザ端末と、ユーザ端末にて入力されたコメントを表示するディスプレイと、からなるステージ演出システムであって、
演出制御サブシステムは、
ステージを演出するための演出装置と、
ステージのライブ映像をユーザ端末に配信するライブ映像配信部と、
コメントに基づく演出制御を定める演出制御ルールを保持するルール保持部と、
ユーザ端末から送信されたコメントを受信するコメント受信部と、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御部と、を有し、
ユーザ端末は、
配信されたライブ映像を受信するライブ映像受信部と、
受信したライブ映像を表示するライブ映像表示部と、
表示されたライブ映像に対するコメント入力を受付けるコメント入力受付部と、
受付けたコメントを直ちに送信するコメント送信部と、を有し、
ディスプレイは、
ユーザ端末にて入力されたコメントを取得するコメント取得部と、
取得したコメントをユーザ端末のユーザに対して視聴可能に表示するコメント表示部と、を有するステージ演出システム。
【請求項２】
前記ディスプレイは、ステージの置かれた会場内に設置されている請求項１に記載のステージ演出システム。
【請求項３】
前記演出制御サブシステムの演出制御部は、演出装置として前記ステージの置かれた会場内のディスプレイを制御するステージディスプレイ制御手段を有する請求項２に記載のステージ演出システム。
【請求項４】
前記ステージディスプレイ制御手段は、ステージに置かれたディスプレイに出力されるアバターのアクションを制御するアバター制御器を有する請求項３に記載のステージ演出システム。
【請求項５】
前記演出制御部は、ステージに置かれたディスプレイに出力されるアバターにアクションを起こさせるアクション開始受付手段をさらに有する請求項４に記載のステージ演出システム。
【請求項６】
前記ユーザ端末のコメント送信部は、ユーザＩＤ又は／及び端末ＩＤと関連付けてコメントを送信するＩＤ付コメント送信手段を有し、
前記演出制御サブシステムは、
前記ＩＤに基づきステージの設置された会場内のディスプレイにＩＤアバターを表示するＩＤアバター表示部を有するとともに、
前記ルール保持部は、前記ＩＤアバターに対する演出制御を定めるＩＤアバター演出制御ルールを保持するＩＤアバタールール保持手段を有し、
前記ステージディスプレイ制御手段は、受信したコメント及びＩＤと、保持されているＩＤアバター演出制御ルールとに基づいてディスプレイに表示されたＩＤアバターの演出表示を行うＩＤアバター演出器を有する請求項３に記載のステージ演出システム。
【請求項７】
前記演出制御サブシステムの演出制御部は、ステージの置かれた会場内の観覧者に配布される演出器具を演出装置として制御する観覧者演出器具制御手段を有する請求項１から６のいずれか一に記載のステージ演出システム。
【請求項８】
ステージの演出制御を行うとともに、ネットワークを介してユーザ端末と接続された演出制御サブシステムであって、
ステージを演出するための演出装置と、
ステージのライブ映像をユーザ端末に配信する映像配信部と、
ユーザ端末にて入力されるコメントに基づく演出制御を定める演出制御ルールを保持するルール保持部と、
配信したライブ映像に応じてユーザ端末にて入力が受付けられ直ちに送信されたコメントを受信するコメント受信部と、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御部と、
受信したコメントをユーザ端末のユーザに対して視聴可能にディスプレイに表示するために出力するコメント出力表示部と、を有する演出制御サブシステム。
【請求項９】
ステージの演出制御を行う演出制御サブシステムと、演出制御サブシステムとネットワークを介して接続されたユーザ端末と、ユーザ端末にて入力されたコメントを表示するディスプレイと、からなるステージ演出システムの動作方法であって、
ステージを演出するための演出装置と、コメントに基づく演出制御を定める演出制御ルールを保持するルール保持部とを含む演出制御サブシステムにて、
ステージのライブ映像をユーザ端末に配信するライブ映像配信ステップと、
ユーザ端末から送信されたコメントを受信するコメント受信ステップと、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御ステップと、を計算機に実行させ、
ユーザ端末にて、
配信されたライブ映像を受信するライブ映像受信ステップと、
受信したライブ映像を表示するライブ映像表示ステップと、
表示されたライブ映像に対するコメント入力を受付けるコメント入力受付ステップと、
受付けたコメントを直ちに送信するコメント送信ステップと、を計算機に実行させ、
ディスプレイにて、
ユーザ端末にて入力されたコメントを取得するコメント取得ステップと、
取得したコメントをユーザ端末のユーザに対して視聴可能に表示するコメント表示ステップと、を計算機に実行させるステージ演出システムの動作方法。
【請求項１０】
ネットワークを介してユーザ端末と接続されるとともに、ステージを演出するための演出装置と、ユーザ端末にて入力されるコメントに基づく演出制御を定める演出制御ルールを保持するルール保持部とを有する演出制御サブシステムの動作方法であって、
ステージのライブ映像をユーザ端末に配信する映像配信ステップと、
配信したライブ映像に応じてユーザ端末にて入力が受付けられ直ちに送信されたコメントを受信するコメント受信ステップと、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御ステップと、
受信したコメントをユーザ端末のユーザに対して視聴可能にディスプレイに表示するために出力するコメント出力表示ステップと、を計算機に実行させる演出制御サブシステムの動作方法。
【請求項１１】
ステージの演出制御を行う演出制御サブシステムと、演出制御サブシステムとネットワークを介して接続されたユーザ端末と、ユーザ端末にて入力されたコメントを表示するディスプレイと、からなるステージ演出システムを動作させるプログラムであって、
ステージを演出するための演出装置と、コメントに基づく演出制御を定める演出制御ルールを保持するルール保持部とを含む演出制御サブシステムにて、
ステージのライブ映像をユーザ端末に配信するライブ映像配信ステップと、
ユーザ端末から送信されたコメントを受信するコメント受信ステップと、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御ステップと、を計算機に実行させ、
ユーザ端末にて、
配信されたライブ映像を受信するライブ映像受信ステップと、
受信したライブ映像を表示するライブ映像表示ステップと、
表示されたライブ映像に対するコメント入力を受付けるコメント入力受付ステップと、
受付けたコメントを直ちに送信するコメント送信ステップと、を計算機に実行させ、
ディスプレイにて、
ユーザ端末にて入力されたコメントを取得するコメント取得ステップと、
取得したコメントをユーザ端末のユーザに対して視聴可能に表示するコメント表示ステップと、を計算機に実行させるプログラム。
【請求項１２】
ネットワークを介してユーザ端末と接続されるとともに、ステージを演出するための演出装置と、ユーザ端末にて入力されるコメントに基づく演出制御を定める演出制御ルールを保持するルール保持部とを有する演出制御サブシステムを動作させるプログラムであって、
ステージのライブ映像をユーザ端末に配信する映像配信ステップと、
配信したライブ映像に応じてユーザ端末にて入力が受付けられ直ちに送信されたコメントを受信するコメント受信ステップと、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御ステップと、
受信したコメントをユーザ端末のユーザに対して視聴可能にディスプレイに表示するために出力するコメント出力表示ステップと、を計算機に実行させるプログラム。
【請求項１】
ステージの演出制御を行う演出制御サブシステムと、演出制御サブシステムとネットワークを介して接続されたユーザ端末と、ユーザ端末にて入力されたコメントを表示するディスプレイと、からなるステージ演出システムであって、
演出制御サブシステムは、
ステージを演出するための演出装置と、
ステージのライブ映像をユーザ端末に配信するライブ映像配信部と、
コメントに基づく演出制御を定める演出制御ルールを保持するルール保持部と、
ユーザ端末から送信されたコメントを受信するコメント受信部と、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御部と、を有し、
ユーザ端末は、
配信されたライブ映像を受信するライブ映像受信部と、
受信したライブ映像を表示するライブ映像表示部と、
表示されたライブ映像に対するコメント入力を受付けるコメント入力受付部と、
受付けたコメントを直ちに送信するコメント送信部と、を有し、
ディスプレイは、
ユーザ端末にて入力されたコメントを取得するコメント取得部と、
取得したコメントをユーザ端末のユーザに対して視聴可能に表示するコメント表示部と、を有するステージ演出システム。
【請求項２】
前記ディスプレイは、ステージの置かれた会場内に設置されている請求項１に記載のステージ演出システム。
【請求項３】
前記演出制御サブシステムの演出制御部は、演出装置として前記ステージの置かれた会場内のディスプレイを制御するステージディスプレイ制御手段を有する請求項２に記載のステージ演出システム。
【請求項４】
前記ステージディスプレイ制御手段は、ステージに置かれたディスプレイに出力されるアバターのアクションを制御するアバター制御器を有する請求項３に記載のステージ演出システム。
【請求項５】
前記演出制御部は、ステージに置かれたディスプレイに出力されるアバターにアクションを起こさせるアクション開始受付手段をさらに有する請求項４に記載のステージ演出システム。
【請求項６】
前記ユーザ端末のコメント送信部は、ユーザＩＤ又は／及び端末ＩＤと関連付けてコメントを送信するＩＤ付コメント送信手段を有し、
前記演出制御サブシステムは、
前記ＩＤに基づきステージの設置された会場内のディスプレイにＩＤアバターを表示するＩＤアバター表示部を有するとともに、
前記ルール保持部は、前記ＩＤアバターに対する演出制御を定めるＩＤアバター演出制御ルールを保持するＩＤアバタールール保持手段を有し、
前記ステージディスプレイ制御手段は、受信したコメント及びＩＤと、保持されているＩＤアバター演出制御ルールとに基づいてディスプレイに表示されたＩＤアバターの演出表示を行うＩＤアバター演出器を有する請求項３に記載のステージ演出システム。
【請求項７】
前記演出制御サブシステムの演出制御部は、ステージの置かれた会場内の観覧者に配布される演出器具を演出装置として制御する観覧者演出器具制御手段を有する請求項１から６のいずれか一に記載のステージ演出システム。
【請求項８】
ステージの演出制御を行うとともに、ネットワークを介してユーザ端末と接続された演出制御サブシステムであって、
ステージを演出するための演出装置と、
ステージのライブ映像をユーザ端末に配信する映像配信部と、
ユーザ端末にて入力されるコメントに基づく演出制御を定める演出制御ルールを保持するルール保持部と、
配信したライブ映像に応じてユーザ端末にて入力が受付けられ直ちに送信されたコメントを受信するコメント受信部と、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御部と、
受信したコメントをユーザ端末のユーザに対して視聴可能にディスプレイに表示するために出力するコメント出力表示部と、を有する演出制御サブシステム。
【請求項９】
ステージの演出制御を行う演出制御サブシステムと、演出制御サブシステムとネットワークを介して接続されたユーザ端末と、ユーザ端末にて入力されたコメントを表示するディスプレイと、からなるステージ演出システムの動作方法であって、
ステージを演出するための演出装置と、コメントに基づく演出制御を定める演出制御ルールを保持するルール保持部とを含む演出制御サブシステムにて、
ステージのライブ映像をユーザ端末に配信するライブ映像配信ステップと、
ユーザ端末から送信されたコメントを受信するコメント受信ステップと、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御ステップと、を計算機に実行させ、
ユーザ端末にて、
配信されたライブ映像を受信するライブ映像受信ステップと、
受信したライブ映像を表示するライブ映像表示ステップと、
表示されたライブ映像に対するコメント入力を受付けるコメント入力受付ステップと、
受付けたコメントを直ちに送信するコメント送信ステップと、を計算機に実行させ、
ディスプレイにて、
ユーザ端末にて入力されたコメントを取得するコメント取得ステップと、
取得したコメントをユーザ端末のユーザに対して視聴可能に表示するコメント表示ステップと、を計算機に実行させるステージ演出システムの動作方法。
【請求項１０】
ネットワークを介してユーザ端末と接続されるとともに、ステージを演出するための演出装置と、ユーザ端末にて入力されるコメントに基づく演出制御を定める演出制御ルールを保持するルール保持部とを有する演出制御サブシステムの動作方法であって、
ステージのライブ映像をユーザ端末に配信する映像配信ステップと、
配信したライブ映像に応じてユーザ端末にて入力が受付けられ直ちに送信されたコメントを受信するコメント受信ステップと、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御ステップと、
受信したコメントをユーザ端末のユーザに対して視聴可能にディスプレイに表示するために出力するコメント出力表示ステップと、を計算機に実行させる演出制御サブシステムの動作方法。
【請求項１１】
ステージの演出制御を行う演出制御サブシステムと、演出制御サブシステムとネットワークを介して接続されたユーザ端末と、ユーザ端末にて入力されたコメントを表示するディスプレイと、からなるステージ演出システムを動作させるプログラムであって、
ステージを演出するための演出装置と、コメントに基づく演出制御を定める演出制御ルールを保持するルール保持部とを含む演出制御サブシステムにて、
ステージのライブ映像をユーザ端末に配信するライブ映像配信ステップと、
ユーザ端末から送信されたコメントを受信するコメント受信ステップと、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御ステップと、を計算機に実行させ、
ユーザ端末にて、
配信されたライブ映像を受信するライブ映像受信ステップと、
受信したライブ映像を表示するライブ映像表示ステップと、
表示されたライブ映像に対するコメント入力を受付けるコメント入力受付ステップと、
受付けたコメントを直ちに送信するコメント送信ステップと、を計算機に実行させ、
ディスプレイにて、
ユーザ端末にて入力されたコメントを取得するコメント取得ステップと、
取得したコメントをユーザ端末のユーザに対して視聴可能に表示するコメント表示ステップと、を計算機に実行させるプログラム。
【請求項１２】
ネットワークを介してユーザ端末と接続されるとともに、ステージを演出するための演出装置と、ユーザ端末にて入力されるコメントに基づく演出制御を定める演出制御ルールを保持するルール保持部とを有する演出制御サブシステムを動作させるプログラムであって、
ステージのライブ映像をユーザ端末に配信する映像配信ステップと、
配信したライブ映像に応じてユーザ端末にて入力が受付けられ直ちに送信されたコメントを受信するコメント受信ステップと、
受信したコメントと、保持されている演出制御ルールとに基づいてライブのステージの演出装置の制御を行う演出制御ステップと、
受信したコメントをユーザ端末のユーザに対して視聴可能にディスプレイに表示するために出力するコメント出力表示ステップと、を計算機に実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−３７６７０（Ｐ２０１３−３７６７０Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１２−８８７６０（Ｐ２０１２−８８７６０）
【出願日】平成２４年４月９日（２０１２．４．９）
【出願人】（５９８１３８３２７）株式会社ドワンゴ (97)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２４年４月９日（２０１２．４．９）
【出願人】（５９８１３８３２７）株式会社ドワンゴ (97)
【Ｆターム（参考）】
[ Back to top ]