映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム
【課題】従来のシステムにおいては、視聴者はライブ演奏などの映像を視聴しながら、会場の雰囲気の一端を感じ取ることができるものの、自ら会場の雰囲気を盛り上げたりすることはできず、ライブに参加しているという感覚を得ることが難しかった。
【解決手段】本発明の映像表示システムは、ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムである。具体的には、会場のライブ演奏などの映像を会場外の視聴者の視聴端末にライブ送信し、会場外の視聴者の動作を示す情報を受信して、当該動作情報に基づいてディスプレイの映像を表示制御するものである。
【解決手段】本発明の映像表示システムは、ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムである。具体的には、会場のライブ演奏などの映像を会場外の視聴者の視聴端末にライブ送信し、会場外の視聴者の動作を示す情報を受信して、当該動作情報に基づいてディスプレイの映像を表示制御するものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラムに関する
【背景技術】
【０００２】
ライブ演奏などを行う会場から、その映像を会場外の視聴端末にライブ送信することが一般的に行われている。会場外の視聴者は、ライブ演奏などの映像を視聴しながら、会場の雰囲気の一端を感じ取ることができる。
【０００３】
また、特許文献１においては、ユーザ端末により指定されたアーティストがライブ中であるか否かを判断し、視聴要求に応じてライブ演奏などの映像をユーザ端末に配信するシステムが開示されている。また、特許文献２においては、カット編集が可能な箇所でブロック分割された映像データを、映像の配信状況などに応じて適切に結合して番組を編成し、当該編成番組を視聴者に対して配信するライブ配信システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１０３５２２
【特許文献２】特開２００８−２４４８６９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような従来のシステムにおいては、視聴者はライブ演奏などの映像を視聴しながら会場の雰囲気の一端を感じ取ることができるものの、自ら会場の雰囲気を盛り上げたりすることはできず、ライブに参加しているという感覚を得ることが難しかった。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムであって、前記会場のライブ演奏などの映像を前記会場外の視聴者の視聴端末にライブ送信するライブ送信部と、前記会場外の視聴者の動作を検出する動作検出部と、前記動作検出部にて検出した動作を示す情報である動作情報を送信する動作情報送信部と、前記動作情報送信部から送信される動作情報を受信する動作情報受信部と、受信した動作情報に基づいて前記会場に設置されるディスプレイの映像を表示制御する表示制御部と、を有する映像表示システムを提案する。
【発明の効果】
【０００７】
以上のような構成をとる本発明によって、会場外の視聴者は自分の視聴端末でライブの映像を視聴しながら、生の観客のように自らの動作によってライブを盛り上げることができる。このため、会場外であってもライブに参加しているという感覚を得ることが可能になる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１の映像表示システムの機能ブロックの一例を示す図
【図２】会場の壁面をディスプレイにした場合の一例を示す斜視図
【図３】図２に関して会場の観客から見た図
【図４】図２に関してパフォーマンスをする者から見た図
【図５】会場のディスプレイに花火の映像が表示される例を示す図
【図６】動作情報の内容と表示制御の内容を関連付けたテーブルの一例を示す図
【図７】会場のディスプレイに視聴者のアバターが表示される例を示す図
【図８】実施形態１の映像表示システムの具体的な構成の一例を示す図
【図９】実施形態１の映像表示方法の一例を示すフローチャート
【図１０】実施形態２の映像表示システムの機能ブロックの一例を示す図
【図１１】会場のディスプレイにコンサートライトが表示される例を示す図
【図１２】実施形態３の映像表示システムの機能ブロックの一例を示す図
【図１３】各視聴者ＩＤとその視聴者の動作を反映した映像の表示時間の情報を関連付けたテーブルの一例を示す図
【図１４】視聴者から表示要求があった場合の処理の流れの一例を示す図
【図１５】実施形態３の映像表示方法の一例を示すフローチャート
【図１６】実施形態４の映像表示システムの機能ブロックの一例を示す図
【図１７】実施形態４の映像表示方法の一例を示すフローチャート
【図１８】実施形態５の映像表示システムの機能ブロックの一例を示す図
【図１９】視聴者から継続表示要求があった場合の処理の流れの一例を示す図
【図２０】実施形態５の映像表示方法の一例を示すフローチャート
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について説明する。実施形態と請求項の相互の関係は以下の通りである。実施形態１は主に請求項１、３、９、１０、１１に関し、実施形態２は主に請求項２、４、５に関し、実施形態３は主に請求項６に関し、実施形態４は主に請求項７に関し、実施形態５は主に請求項８に関する。なお、本発明はこれら実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、様々な態様で実施しうる。
【００１０】
<<実施形態１>>
【００１１】
<概要>
本実施形態の映像表示システムは、ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムである。具体的には、映像表示システムでは、会場のライブ演奏などの映像を会場外の視聴端末にライブ送信し、会場外の視聴者の動作を示す情報を受信して、当該動作情報に基づいてディスプレイの映像を表示制御するものである。
【００１２】
<構成>
図１は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」０１００は、「ライブ送信部」０１０１と、「動作検出部」０１０２と、「動作情報送信部」０１０３と、「動作情報受信部」０１０４と、「表示制御部」０１０５と、から構成される。ここで、動作検出部や動作情報送信部は、一つである必要はなく、視聴者や視聴端末の数などに応じて複数存在していてもよい。以下、各構成部について説明する。
【００１３】
「映像表示システム」は、ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムである。ここで、ライブ演奏などとは、ライブで行われる演奏の他に、演劇、スポーツ、漫才、コント、映画、テレビ番組、歌舞伎、落語、手品、大道芸といった、観客を前にして行われることが想定されるパフォーマンスのことをいう。また、会場とは、コンサートホール、公園、スタジオ、野球場、サッカースタジアム、陸上競技場、展示場、映画館、歌舞伎座、公民館などの、観客の収容が可能な場所のことをいう。
【００１４】
また、ディスプレイとしては、入力された映像を表示可能なものであれば足り、形状や大きさなど限定されるものではない。例えば、コンサートホールや野球場、サッカースタジアムなどの大きな会場においては数メートルから数十メートル単位の大型ディスプレイが想定される。また、ディスプレイの設置場所としては、ステージなどのパフォーマンスが行われる場所であってもよいし、観客席などであってもよい。また、会場の壁面やフロア、天井などにディスプレイを設置してもよいし、ディスプレイそのものを会場の仕切りとして用いることも可能である。
【００１５】
図２、３、４は、会場の壁面をディスプレイにした場合の一例を示す図であり、それぞれ、会場の斜視図と、「会場の観客」１から見た図、「パフォーマンスをする者」２から見た図である。この図の例では、「ステージの背景」３、「フロアの左右の壁面」４・５と、「フロア入口の壁面」６が、それぞれディスプレイになっている。この場合、パフォーマンスする者や、会場の観客は周囲をディスプレイで囲まれることになる。なお、上述のように、天井やフロアについてもディスプレイとすることも可能である。このように、会場の壁面全体をディスプレイとすることによって、会場内の観客は自らが仮想空間に入り込んだような感覚を持つことが可能になる。
【００１６】
また、会場外の視聴者とは、ライブ演奏などの映像を受信して表示可能な視聴端末の近くにいる一又は複数の視聴者のことをいう。ここで、視聴端末の場所は特に限定されるものではなく、ライブ演奏などの映像を受信可能な環境であればよく、海外であってもよい。また、会場外の視聴者の動作を反映した映像を表示するとは、会場外の視聴者の動作内容に応じて映像内容が定まることをいう。例えば、会場外の一又は複数の視聴者が手を突き上げる動作を行った場合には、図５に示すように、会場のディスプレイに一又は複数の「花火が打ち上がる様子を示す映像表示要素」０５００を表示することが考えられる。
【００１７】
「ライブ送信部」は、前記会場のライブ演奏などの映像を前記会場外の視聴者の視聴端末にライブ送信する機能を有する。ここで、会場外の視聴者の視聴端末としては、一般的なテレビ装置の他に、パーソナルコンピュータや、携帯電話や携帯ゲーム機、ＰＤＡ等の携帯端末など、映像受信機能と映像表示機能を備える種々の装置が考えられる。また、これらの視聴端末が設置される場所としては、視聴者の居住場所などの他に、会場外の商業施設や、公共スペースなど種々の場所が可能である。また、会場外の視聴者は複数存在することが一般的に考えられるが、一人であってもよい。
【００１８】
また、会場のライブ演奏などの映像をライブ送信するとは、会場にて行われるパフォーマンスの映像をリアルタイム又はリアルタイムに近いタイミング（数秒から数分程度のタイムラグがあってもよい）で送信することをいう。なお、視聴端末に対して有線又は無線の通信手段を介して送信（配信）することも可能であるが、ネットワーク上に置かれた所定のサーバ装置を介して視聴端末に送信することも可能である。
【００１９】
「動作検出部」は、前記会場外の視聴者の動作を検出する機能を有する。ここで、視聴者の動作としては、視聴者の体の全部又は一部の動きのことをいう。例えば、視聴者の手や腕、足、腰、顔の動きや、指や目、口などの動きが主として考えられる。また、視聴者が、帽子やリストバンドを身につけていたり、メガホンや団扇、旗、ペンライト、携帯電話機などを把持していたりする場合は、これらの物に対する視聴者の動きなども視聴者の動作に含まれる。例えば、視聴者が帽子を取る動きをしたことを検出したり、メガホンや団扇、旗などを振っている動きを検出したりする。
【００２０】
動作検出部は、視聴者と接触した状態で動作を検出するものであってもよいし、視聴者と非接触の状態で動作を検出するものであってもよい。視聴者と接触した状態で動作を検出するものとしては、速度センサや加速度センサなどを備えた小型端末が考えられる。当該小型端末は、コンサートなどにおいて観客が把持したり身につけたりする発光体（コンサートライト）を連想させるように、発光手段を有していてもよい。また、当該発光手段は、所定の限られた時間においてのみ発光するように制御してもよい。例えば、視聴者の動作を反映した映像が表示される時間の情報を取得して、当該表示時間内である場合においてのみ発光するよう制御する。また、表示時間内であっても残り時間が少なくなってくるにつれて発光強度が弱くなるように制御してもよい。表示時間の情報の管理については、実施形態３から５において詳述する。
【００２１】
なお、マウスやタブレットなどのコンピュータ周辺機器も手や指の動きを検出するものであるため、動作検出部に含まれるものである。また、視聴者と非接触の状態で動作を検出するものとしては、可視光や赤外線などの受光センサを備えた据置端末が考えられる。これらの据置端末は、視聴者の動作と同じ動きはしないが、視聴者又は視聴者の把持する物などからの光を捉えることが可能である。また、動作検出部は複数人の視聴者の動作を検出するものであってもよい。例えば、視聴者などからの光信号に基づいて視聴者の動作を検出する場合は、検出画面内において各視聴者の領域を特定して、各視聴者の動作を検出することが可能である。
【００２２】
「動作情報送信部」は、前記動作検出部にて検出する視聴者の動作を示す情報である動作情報を送信する機能を有する。ここで、視聴者の動作を示す情報は、動作検出部にて検出した動作そのものを表す情報であってもよいし、検出した動作を抽象化した情報であってもよい。検出した動作そのものを表す情報としては、動作の変位量・速度・加速度などの生データの情報が挙げられる。また、検出した動作を抽象化した情報としては、動作の生データに基づいて抽出される動作内容の情報が挙げられる。
【００２３】
例えば、動作情報送信部は、動作方向、動作幅、動作速度、動作加速度などの値について複数の区分の情報を保持し、動作検出部からの検出信号が示す各パラメータ値がいずれの区分に属するかを判断し、各パラメータの区分ＩＤの情報を動作情報として送信する。また、動作情報送信部は、動作内容を複数の種別（両手挙げ、右手挙げ、左手挙げなど）に分類した情報を保持し、動作検出部からの検出信号に基づいて視聴者の動作がいずれの種別に属するかを判断し、当該種別ＩＤの情報を動作情報として送信する態様も可能である。
【００２４】
なお、一の動作検出部が複数の視聴者の動作を検出している場合は、各視聴者についての動作情報を生成して送信してもよいし、各視聴者の動作の組み合わせに基づいて動作情報を生成して送信してもよい。各視聴者の動作の組み合わせとしては、複数の視聴者が肩を組んだり、手をつないだりする動作や、ハイタッチする動作など種々のものが考えられる。これらの動作内容の抽出は、画像解析プログラムによって各視聴者の領域を特定し、各視聴者の体の部位の座標を追跡することで行うことも可能である。
【００２５】
また、動作検出部又は／及び動作情報送信部は、他の動作検出部や動作情報送信部と識別可能なＩＤを有しており、当該ＩＤを視聴者ＩＤとして動作情報に含めて送信することも可能である。また、動作検出部と動作情報送信部は、別個の独立した装置として有線又は無線ＬＡＮによって接続されていてもよいし、一体の装置としてシステムバスによって接続されていてもよい。例えば、動作検出部が視聴者の動作の検出信号を赤外線インターフェイスによって動作情報送信部に通知する構成や、システム信号として動作情報送信部に通知する構成などが考えられる。ここで、動作検出対象となる会場外の視聴者が複数存在する場合は、各視聴者の動作情報送信部は常に動作情報を送信し続けることも可能であるが、視聴者ごとに割り当てられた時間帯の情報を表示時間情報管理部から取得し、当該時間帯にのみ動作情報を送信してもよい（詳しくは実施形態４にて説明する）。
【００２６】
なお、動作検出部が視聴者から発せられる音や視聴者の動作によって生じる音を検出する音検出手段を有し、動作情報送信部から動作情報として音の情報を送信する構成も可能である。また、音検出手段から得られる音の信号に基づいて、視聴者の動作内容を抽出することも考えられる。例えば、手を叩いた際に発生する特定周波数帯の音が連続して検出された場合は、視聴者が拍手動作を行っていると判断して動作情報を生成したり、特定のリズムタイミングで音が検出された場合は、視聴者をリズムに合わせた動作を行っていると判断して当該動作情報を生成したりすることが考えられる。また、動作検出部がさらに音声認識手段を有し、音検出手段からの検出信号を解析し、特定の単語や文章を示す音が認識された場合には、視聴者が特定の掛け声を発していると判断して当該動作情報を生成する。
【００２７】
「動作情報受信部」は、前記動作情報送信部から送信される動作情報を受信する機能を有する。ここで、動作情報送信部から直接的に動作情報を受信する構成も考えられるが、インターネットなどを経由して受信する構成も考えられる。ここで、対象となる会場外の視聴者が複数存在する場合は、各視聴者の動作情報送信部から動作情報を同時に受信してもよいし、タイムスケジュールを決めて視聴者ごとに割り当てられた時間帯ごとにそれぞれの動作情報を受信してもよい（詳しくは実施形態４にて説明する）。
【００２８】
ここで、受信する動作情報は、以下で説明する表示制御部で利用するのみならず、マーケティング情報として利用することも可能である。例えば、ライブ演奏などにおいて、会場外の視聴者が、特定の演奏者や、特定の曲・歌詞の部分において、どんな動作を行ったかを抽出することが可能になる。当該抽出処理は、動作情報受信部が、予め各演奏者や各曲などのＩＤ情報を保持する構成（ライブ情報保持手段）を有し、各ＩＤと受信する動作情報を関連付けたテーブル情報を生成することで行うことが可能である。当該テーブル情報は、例えばどんな演奏者やどんな曲のときに盛り上がったかを判断する情報として利用できる。
【００２９】
「表示制御部」は、受信した動作情報に基づいて前記ディスプレイの映像を表示制御する機能を有する。ここで、動作情報に基づいてディスプレイの映像を表示制御するとは、視聴者の動作を反映した映像をディスプレイに表示するよう制御することをいう。表示制御の方法としては、動作情報の内容と表示制御の内容を関連付けたテーブルを保持しておき、受信した動作情報と保持されるテーブルに基づいて表示制御の内容を決定することが考えられる。
【００３０】
図６は、動作情報の内容と表示制御の内容を関連付けたテーブルの一例を示す図である。この図の例では、右手、左手、両手をあげる動作を視聴者が行った場合には、赤色、青色、金色の花火が打ち上がる映像を表示し、右手、左手、両手を前方に突き出す動作を視聴者が行った場合には、赤色、青色、金色の炎の映像を所定時間表示し、拍手する動作を視聴者が行った場合には、桜の映像を表示する。なお、視聴者の動作をさらに具体化して、手を挙げる速度や加速度、角度に応じて異なる映像を表示したり、一定時間の間に行った動作の組み合わせによって異なる映像を表示したりすることも可能である。なお、上記ではテーブルに基づいて表示制御の内容が決定される例を示したが、視聴者の動作の速度や加速度などの値をパラメータとする数式に基づいて表示映像を定める処理を行ってもよい。
【００３１】
なお、前記表示制御部が「アバター表示手段」を有する構成も可能である。「アバター表示手段」は、前記動作情報に基づいて、アバターを含む映像を表示するよう制御する機能を有する。ここで、アバターとは、利用者の分身となる表示要素をいうが、ユーザ本人が自身のアバターであることを認識可能であれば、その内容は特に限定されない。例えば、図７に示すように人間や動物、昆虫、爬虫類、植物などをモチーフにしたものや、アニメや漫画のキャラクターをモチーフにしたものなど、種々考えられる。また、当該アバターの表示要素は、視聴者の写真などを組み合わせて生成されたものであってもよい。また、アバターは、厳密な意味で視聴者の動きを再現するものである必要はなく、視聴者の動きをアバターの動きによって連想させられるものであれば足りる。例えば、視聴者が体を左右に揺らす動きをしている場合は、当該動きを反映してアバターである花を左右に揺らすように表示することが考えられる。
【００３２】
視聴者に対してどのようなアバターを表示するかについては、動作情報送信部にて動作情報を送信する際にアバターＩＤを指定する情報が含められ、当該指定されたアバターＩＤに基づいて表示するアバターを決定することが可能である。また、視聴者の属性（性別、身長、体重、体の各パーツの大きさ、年齢、趣味、職業など）の情報を動作情報と共に動作情報受信部を介して取得し、当該属性情報に基づいて表示するアバターを決定することも可能である。表示制御部は、アバターを示す映像要素の情報として、見かけがそれぞれ異なる複数のアバターをその識別ＩＤと関連付けて保持していてもよいし、視聴者の属性値（身長や体重の値など）によって見かけが変化するアバターを生成するプログラムの情報を保持していてもよい。なお、動作情報送信部から動作情報受信部を介してアバターの表示要素の情報を取得できる場合は、当該情報をそのまま用いてもよい。
【００３３】
また、視聴者の動作を反映した表示要素をディスプレイに表示する位置は、動作情報を受信した順番に基づいて決定することも可能であるし、視聴者の属性情報に基づいて決定することも可能である。例えば、動作情報を受信した順番が早い方からディスプレイの中心付近に表示したりしてもよい。
【００３４】
<具体的なシステム構成>
図８は、本実施形態の「映像表示システム」の具体的な構成の一例を示す図である。この図において、例えば「ライブ送信部」０８０１は、ＣＰＵと、ＲＡＭ、ＲＯＭ、長期記憶装置（不揮発性メモリも含む、以下同じ）、カメラ装置、ＷＡＮインターフェイスなどから構成され、カメラ装置から取得される映像信号を、ＷＡＮインターフェイスを介して視聴要求のあった「視聴端末」０８０２に対して送信する。なお、上記ＣＰＵやＲＡＭ、ＲＯＭなどの各ハードウェアはシステムバスにより接続され、相互に信号のやり取りを行う（以下、同様である）。「視聴端末」０８０２は、ＣＰＵ、ＲＡＭ、ＧＰＵ、グラフィックメモリ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ディスプレイ部などから構成され、「ライブ送信部」０８０１から送信されるライブ映像をＷＡＮインターフェイスを介して受信し、表示出力する。
【００３５】
また、「動作検出部」０８０３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、赤外線インターフェイス、センサインターフェイス、センサなどから構成され、センサインターフェイスを介して取得される視聴者の動作信号を「動作情報送信部」０８０４に対して赤外線インターフェイスを介して送信する。また、「動作情報送信部」０８０４は、ＣＰＵ、ＲＡＭ、ＲＯＭ、長期記憶装置、赤外線インターフェイス、ＷＡＮインターフェイスなどから構成され、赤外線インターフェイスを介して受信した動作信号に基づいて動作情報を生成し、生成した動作情報をＷＡＮインターフェイスを介して「動作情報受信部」０８０５に対して送信する。
【００３６】
また、「動作情報受信部」０８０５は、ＣＰＵ、ＲＡＭ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ＬＡＮインターフェイスなどから構成され、ＷＡＮインターフェイスを介して動作情報を受信し、当該動作情報をＬＡＮインターフェイスを介して「表示制御部」０８０６に対して送信する。また、「表示制御部」０８０６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、長期記憶装置、ＬＡＮインターフェイスなどから構成され、ＬＡＮインターフェイスを介して動作情報を受信し、当該動作情報に基づいて大型ディスプレイ装置に対する表示制御情報を生成し、「大型ディスプレイ装置」０８０７に対して生成した表示制御情報を送信する。「大型ディスプレイ装置」０８０７は、受信した表示制御情報に基づいて、ディスプレイに映像信号を表示出力する。
【００３７】
<処理の流れ>
図９は、本実施形態の映像表示システムにて行われる映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ０９０１において、ライブ配信端末は、ライブ演奏などを行う会場の外にいる視聴者の視聴端末からのライブ映像配信要求に応じてライブ演奏などの映像のライブ送信を開始する（ライブ送信開始ステップ）。視聴端末は、ライブ送信部からのライブ映像を受信して表示する。次に、ステップＳ０９０２において、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の動作の検出を開始する（動作検出開始ステップ）。動作検出装置にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、ステップＳ０９０３において、利用者通信端末は、検出した動作を示す情報である動作情報を送信する（動作情報送信ステップ）。次に、ステップＳ０９０４において、制御側通信端末は、送信された前記視聴者の動作情報を受信する（動作情報受信ステップ）。ここで、制御側通信端末にて受信された動作情報は例えばＬＡＮインターフェイスを介して表示制御端末に伝送される。次に、ステップＳ０９０５において、表示制御端末は、受信した動作情報に基づいて、会場に設置されるディスプレイの映像を表示制御する（表示制御ステップ）。
【００３８】
<効果>
本実施形態の映像表示システムにおいて、会場外の視聴者は自分の視聴端末でライブの映像を視聴しながら、生の観客のように自らの動作によってライブを盛り上げることができる。このため、会場外であってもライブに参加しているという感覚を得ることが可能になる。
【００３９】
<<実施形態２>>
【００４０】
<概要>
本実施形態の映像表示システムは、基本的に実施形態１と同様であるが、会場外の視聴者の手や腕の揺動を検出し、当該視聴者の手や腕などの揺動を反映した映像をライブ会場のディスプレイに表示することを特徴とする。
【００４１】
<構成>
図１０は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」１０００は、「ライブ送信部」１００１と、「動作検出部」１００２と、「動作情報送信部」１００３と、「動作情報受信部」１００４と、「表示制御部」１００５と、から構成され、動作検出部は、「揺動検出手段」１００６を有する。以下、揺動検出手段について説明する。
【００４２】
「揺動検出手段」は、前記会場外の視聴者の揺動を検出する機能を有する。ここで、視聴者の揺動とは、視聴者の揺れ動きのことをいう。視聴者の揺れ動きとしては、手や腕を左右前後に揺らす動きの他に、頭や腰、足、体全体を左右前後に揺らす動きなどが含まれる。視聴者は、ライブ演奏などを視聴しているときに、ライブ演奏などと関係のない動作をすることもあるが、揺れ動きの動作はライブ会場の観客も一般的にとる動作であり、ライブ演奏などと関連する可能性が高い。よって、会場のディスプレイに視聴者の動作を反映させる上で、視聴者の揺動の動作を選択的に検出することに重要な意味合いが生じる。
【００４３】
揺動検出手段は、上記のように揺れ動きを検出することを目的としたものである。揺動検出手段は、視聴者と接触した状態で視聴者の揺動を検出するものであってもよいし、視聴者と非接触の状態で視聴者の揺動を検出するものであってもよい。視聴者と接触した状態で揺動を検出するものとしては、視聴者の手に把持されたり、視聴者の体の一部に身につけられたりする振動センサ付きの小型端末などが考えられる。なお、マウスやタブレットなどのコンピュータ周辺機器も手の水平方向の揺動を検出するものであるため、揺動検出手段に含まれるものである。また、視聴者と非接触の状態で揺動を検出するものとしては、可視光や赤外線などの受光センサなどを備えた据置端末が考えられる。これらの据置端末は、視聴者又は視聴者が身につける対象物からの光を捉えて揺動を検出する。
【００４４】
動作情報送信部は、動作情報として、揺動検出手段にて検出した揺動を示す情報である揺動情報を送信する。揺動情報としては、視聴者の揺動の揺れ幅や揺れ方向、揺れ周期などの値が例として挙げられる。また、揺れ幅や揺れ方向、揺れ周期などの値について予め複数の区分を設け、揺動の検出信号に基づいて揺動の各パラメータ値がいずれの区分に属するかを判断し、各パラメータの区分ＩＤの情報を揺動情報として送信することが考えられる。また、揺動の内容を複数の種別（揺れ幅：大・中・小、揺れ対象：右手・左手・両手、揺れ周期：長い・普通・短い、など）に分類し、検出信号に基づいて視聴者の動作がいずれの種別に属するかを判断し、当該種別ＩＤの情報を動作情報として送信することも可能である。
【００４５】
また、前記表示制御部が、「揺動体表示手段」を有する構成も可能である。「揺動体表示手段」は、前記動作情報に基づいて、前記視聴者の揺動と同じ動きを示す揺動体を含む映像を表示するよう制御する機能を有する。ここで、揺動体とは、揺れ動く物体のことをいう。例えば、誘導体としては、図１１に示すような「コンサートライト」１１００（観客が把持したり、身につけたりする発光体）とすることも可能であるし、人間や動物などの手・腕をモチーフにしたものや、茎を有する植物などをモチーフにしたものなど、種々考えられる。
【００４６】
また、揺動体が視聴者の揺動と同じ動きを示すとは、厳密な意味で視聴者の揺動を再現するものである必要はなく、視聴者の揺動を揺動体の動きによって連想可能なものであれば足りる。例えば、視聴者が体を左右に揺らす動きをしている場合は、当該動きを反映して揺動体である花を左右に揺らすように表示することが考えられる。揺動体表示手段は、視聴者の揺動の揺れ幅や揺れ方向、揺れ周期などの動作情報を反映するように、ディスプレイに表示される揺動体の動きを制御する。
【００４７】
視聴者に対してどのような揺動体を表示するかについては、動作情報送信部にて動作情報（揺動情報）を送信する際に揺動体ＩＤを指定する情報が含められ、当該指定された揺動体ＩＤに基づいて揺動体を決定することが可能である。この場合、表示制御部は、揺動体を示す表示要素の情報として、見かけがそれぞれ異なる揺動体をその識別ＩＤと関連付けて保持する。なお、動作情報受信部を介して揺動体の表示要素の情報を取得できる場合は、当該情報をそのまま用いてもよい。
【００４８】
<処理の流れ>
本実施形態の映像表示システムにて行われる映像表示方法の処理の流れは、図９で示した処理の流れと同様である。まず、ライブ配信端末は、ライブ演奏などを行う会場の外にいる視聴者の視聴端末からのライブ映像配信要求に応じてライブ演奏などの映像のライブ送信を開始する（ライブ送信開始ステップ）。視聴端末は、ライブ送信部からのライブ映像を受信して表示する。次に、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の揺動の検出を開始する（動作検出開始ステップ）。動作検出装置にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、利用者通信端末は、検出した揺動を示す情報である揺動情報を送信する（揺動情報送信ステップ）。次に、制御側通信端末は、送信された前記視聴者の揺動情報を受信する（揺動情報受信ステップ）。ここで、制御側通信端末にて受信された揺動情報は例えばＬＡＮインターフェイスを介して表示制御端末に伝送される。次に、表示制御端末は、受信した揺動情報に基づいて、会場に設置されるディスプレイの映像を表示制御する（表示制御ステップ）。
【００４９】
<効果>
本実施形態の映像表示システムにおいては、会場外の視聴者は自分の視聴端末でライブの様子を視聴しながら、会場にいる観客のように、例えば観客が発光体を振るように、自らの揺れ動く動作によってライブを盛り上げることが可能になる。
【００５０】
<<実施形態３>>
【００５１】
<概要>
本実施形態の映像表示システムは、基本的に実施形態１と同様であるが、視聴者の動作を反映した映像の表示時間の情報を管理し、会場外の各視聴者の表示時間内である場合にその視聴者の動作を反映した映像を表示することを特徴とする。
【００５２】
<構成>
図１２は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」１２００は、「ライブ送信部」１２０１と、「動作検出部」１２０２と、「動作情報送信部」１２０３と、「動作情報受信部」１２０４と、「表示制御部」１２０５と、「表示時間管理部」１２０６と、から構成され、表示制御部は、「第一取得手段」１２０７と、「時間表示制御手段」１２０８と、を有する。以下、「表示時間管理部」と、「第一取得手段」と、「時間表示制御手段」について説明する。
【００５３】
「表示時間管理部」は、前記視聴者の動作を反映した映像の表示時間の情報を管理する機能を有する。ここで、表示時間とは、表示を開始するタイミングや終了するタイミング、表示を継続する時間、などが挙げられる。なお、表示を開始するタイミングは、表示を開始する時刻で定められていてもよいし、ライブ演奏などのパフォーマンスの開始からの経過時間に基づいて定められていてもよい。
【００５４】
視聴者の動作を反映した映像の表示時間を管理するとは、各視聴者の動作を反映した映像とその表示時間の情報を関連付けたテーブルを保持・更新したり、各視聴者の動作を反映した映像について、各視聴者の属性情報に基づいて表示時間を決定する処理を行ったりすることが挙げられる。このように、表示時間を管理することによって、対象となる会場外の視聴者が多数になった場合であっても、それぞれの表示時間を管理することによって、各視聴者の動作を反映した表示要素をディスプレイ内に詰め込むことなく適切に表示することが可能になる。
【００５５】
図１３は、各視聴者の動作を反映した映像とその表示時間の情報を関連付けたテーブルの一例を示す図である。この図の例においては、所定の人数ごとに所定の表示時間帯を割り当てている。例えば、先頭から５０番目の視聴者に対しては、１８時００分から１８時１０分までの時間帯を割り当て、５１番目から１００番目の視聴者に対しては、１８時１０分から１８時２０分までの時間帯を割り当てている。
【００５６】
なお、上記図の例においては、表示時間帯の順に視聴者ＩＤを割り振っているが、これに限定されるものではない。例えば、予め視聴者ＩＤが各視聴者に割り振られた状態において、各視聴者が自分の希望する時間帯を表示時間管理部の管理画面において選択する態様も考えられる。この場合、希望時間帯の選択操作は、表示時間管理部の操作入力インターフェイスを介して行ってもよいし、通信端末を介して表示時間管理部にアクセスし、通信端末の操作入力インターフェイスを介して行ってもよい。なお、視聴端末が通信機能と操作入力機能を備えている場合は、視聴端末を介して行ってもよい。
【００５７】
図１４は、視聴者から自身の動作を反映した映像の表示要求があった場合の処理の流れの一例を示す。まず、ステップＳ１４０１において、視聴者から自身の動作を反映した映像の表示要求があるか否か判断する。ここで、表示要求があるとの判断である場合はステップＳ１４０２に進み、表示要求がないとの判断である場合は待機する。次に、ステップＳ１４０２において、表示要求に含まれる視聴者ＩＤと希望表示時間帯の情報を取得する。次に、ステップＳ１４０３において、希望表示時間帯に空きがあるか否か判断する。当該判断は、表示時間帯とその時間帯にて表示可能な視聴者数、その時間帯で既に予約を完了した視聴者数などの情報に基づいて行う。ここで、希望表示時間帯に空きがないとの判断である場合はステップＳ１４０４Ａに進み、空きがあるとの判断である場合はステップＳ１４０４Ｂに進む。ステップＳ１４０４Ａにおいては、視聴者に対して希望表示時間帯に空きがない旨を通知する。ステップＳ１４０４Ｂにおいては、視聴者ＩＤと表示時間帯を関連付けて保持し、表示時間帯の予約が完了した旨を視聴者に対して通知する。また、その時間帯で予約が完了した視聴者数をインクリメントする処理を行う。以上の処理は、ライブ演奏などが始まる前に行うことが考えられるが、ライブ演奏などが始まった後も残りの表示時間帯についての表示要求を受け付けた際に行うことも考えられる。
【００５８】
表示制御部の「第一取得手段」は、前記表示時間管理部から前記表示時間の情報を取得する機能を有する。ここで、表示時間管理部と表示制御部が異なる独立の装置として存在している場合は、表示制御部は、有線又は無線の通信インターフェイスを介して表示時間管理部から表示時間の情報を受信し、一体の装置として存在している場合は、内部のシステムバスを介して表示時間の情報を受信する。
【００５９】
表示制御部の「時間表示制御手段」は、前記表示時間内である場合に前記視聴者の動作を反映した映像を表示するよう制御する機能を有する。ここで、表示時間内において、残り時間の長さに応じて視聴者の動作を反映した映像を変化させることも可能である。例えば、残り時間の長さに応じて視聴者の動作を反映した表示要素の透明度を上げたり（表示要素が消えていく）、表示要素の色を変化させたり、表示要素の大きさを小さくしたり、ディスプレイ内に形成される仮想空間の奥側に移動させたりすることが考えられる。
【００６０】
なお、動作情報受信部について、前記表示時間管理部から前記表示時間の情報を取得する第三取得手段と、前記表示時間内である場合に前記視聴者の動作情報を受信する制限受信手段を設ける構成も可能である。
【００６１】
また、表示時間管理部が、視聴者ＩＤとその視聴者の所有ポイントを関連付けたテーブル情報を保持する構成（ポイントテーブル保持手段）も考えられる。この場合、表示要求受付手段は、視聴者から自身の動作を反映した映像の表示要求があった場合に基準以上のポイントが残っているか否かを判断し、基準以上のポイントが残っている場合に表示要求を受け付けて、表示に必要なポイントを所有ポイントから差し引いて、上記テーブル情報を更新する処理を行う。また、基準以上のポイントが残っていない場合は、ポイント購入を指示する通知を視聴者に対して行う。また、表示時間管理部が、視聴者ＩＤとその視聴者のクレジット番号を関連付けたテーブル情報を保持する構成（クレジットテーブル保持手段）とすることで、ポイントの購入処理をよりスムーズに行うことが可能である。当該クレジット番号などの情報は、登録時において視聴者の通信端末から受信していてもよい。
【００６２】
<具体的な構成>
「表示時間管理部」は、ＣＰＵと、ＲＡＭ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ＬＡＮインターフェイスなどから構成される。「表示時間管理部」は、「表示制御部」からの表示時間の情報の送信要求に応じて、長期記憶装置に保持されている各視聴者の動作を反映した映像の表示時間の情報をＬＡＮインターフェイスを介して「表示制御部」に対して送信する。「表示制御部」はＬＡＮインターフェイスを介して表示時間の情報を受信し、各視聴者の表示時間の情報に基づいて、いずれの時間帯にいずれの視聴者の動作を反映した映像を表示すべきか判断する。そして、「表示制御部」は、各時間帯になった場合にその時間帯で表示すべき視聴者の動作情報を「動作情報受信部」からＬＡＮインターフェイスを介して受信し、当該動作情報に基づいて大型ディスプレイ装置に対する表示制御情報を生成し、「大型ディスプレイ装置」に対して送信する。「大型ディスプレイ装置」は、受信した表示制御情報に基づいて、ディスプレイに映像信号を表示出力する。なお、上記では「表示時間管理部」は「動作情報受信部」や「表示制御部」などと独立した装置として説明したが、これらは共通のハードウェアにより実現することが可能であり、一体の装置として実現してもよい。
【００６３】
<処理の流れ>
図１５は、本実施形態の映像表示システムにて実現される映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ１５０１において、表示制御端末は、ライブ演奏などを行う会場の外の視聴者の動作を反映した映像の表示時間の情報を表示時間管理サーバから取得する（表示時間情報取得ステップ）。次に、ステップＳ１５０２において、ライブ配信端末は、ライブ演奏などを行う会場の映像のライブ送信を、ライブ演奏などを行う会場外の視聴者の視聴端末からのライブ映像配信要求に応じて開始する（ライブ送信開始ステップ）。視聴端末は、ライブ送信部からのライブ映像を受信して表示する。次に、ステップＳ１５０３において、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の動作の検出を開始する（動作検出開始ステップ）。動作検出装置にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、ステップＳ１５０４において、利用者検出端末は、検出した動作を示す情報である動作情報を送信する（動作情報送信ステップ）。次に、ステップＳ１５０５において、制御側通信端末は、送信された前記視聴者の動作情報を受信する（動作情報受信ステップ）。次に、ステップＳ１５０６において、前記会場外の視聴者の動作を反映した映像の表示時間に入った場合に、前記視聴者の動作情報に基づいて、会場に設置されるディスプレイの映像を表示制御する（表示制御ステップ）。
【００６４】
<効果>
本実施形態の映像表示システムは、実施形態１、２の効果に加えて、対象となる会場外の視聴者が多数になった場合であっても、それぞれの表示時間を管理することによって各視聴者の動作を反映した表示要素をディスプレイ内に詰め込むことなく適切に表示することが可能になる。
【００６５】
<<実施形態４>>
【００６６】
<概要>
本実施形態の映像表示システムは、基本的に実施形態１、２と同様であるが、視聴者の動作を反映した映像の表示時間を管理し、表示時間内である場合に会場外の視聴者の動作情報を送信することを特徴とする。
【００６７】
<構成>
図１６は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」１６００は、「ライブ送信部」１６０１と、「動作検出部」１６０２と、「動作情報送信部」１６０３と、「動作情報受信部」１６０４と、「表示制御部」１６０５と、「表示時間管理部」１６０６と、から構成され、動作情報送信部は、「第二取得手段」１６０７と、「制限送信手段」１６０８と、を有する。以下、各構成部について説明する。
【００６８】
「表示時間管理部」は、実施形態３で説明した通りであるが、本実施形態の映像表示システムにおいては、動作情報送信部や動作検出部と共に、各視聴者や各視聴端末について複数設ける構成も考えられる。この場合、表示時間管理部は、動作情報送信部と一体の装置として実現したり、動作情報送信部にＬＡＮ接続される装置としたりすることも可能である。この場合、各表示時間管理部は限られた数の視聴者の表示時間の情報のみを保持すればよく、他の視聴者の表示時間の情報を保持する必要はない。
【００６９】
動作情報送信部の「第二取得手段」は、前記表示時間管理部から前記表示時間情報を取得する機能を有する。ここで、動作情報送信部は、有線又は無線の通信インターフェイスを介して表示時間管理部から表示時間の情報を受信する。なお、表示時間管理部が動作情報送信部と一体の装置として存在している場合は、内部のシステムバスを介して表示時間の情報を受信する。
【００７０】
動作情報送信部の「制限送信手段」は、前記表示時間内である場合に前記動作情報を送信する機能を有する。これにより、動作情報受信部は、表示時間内にある視聴者の動作情報のみを受信することになり、表示時間外の他の視聴者の動作情報を受信することがない。また、視聴者ＩＤに基づいて受信情報の選択処理などを行う必要もない。
【００７１】
なお、上記構成の他に、動作検知部が、前記表示時間管理部から前記表示時間情報を取得する第四取得手段と、前記表示時間内である場合に前記視聴者の動作を検出する制限検出手段を有する構成も可能である。この場合、動作検知部及び動作情報送信部において余分な電力消費を抑制することが可能になる。
【００７２】
<具体的な構成>
「表示時間管理部」は、ＣＰＵと、ＲＡＭ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ＬＡＮインターフェイスなどから構成される。「表示時間管理部」は、「動作情報送信部」からの表示時間の送信要求に応じて、長期記憶装置に保持されている視聴者の動作を反映した映像の表示時間の情報をＬＡＮインターフェイス又はＷＡＮインターフェイスを介して「動作情報送信部」に対して送信する。「動作情報送信部」はＬＡＮインターフェイス又はＷＡＮインターフェイスを介して表示時間の情報を受信して、視聴者の表示時間の情報に基づいて、いずれの時間帯に動作情報を送信するべきかを判断する。そして、「動作情報送信部」は、所定の時間帯になった場合に視聴者の動作情報をＷＡＮインターフェイスを介して「動作情報受信部」に対して送信する。
【００７３】
「動作情報受信部」は、ＷＡＮインターフェイスを介して動作情報を受信し、当該動作情報に基づいて表示制御情報を生成し、「大型ディスプレイ装置」に対して送信する。「大型ディスプレイ装置」は、受信した表示制御情報に基づいて、ディスプレイに映像信号を表示出力する。なお、上記では「表示時間管理部」は「動作情報送信部」などと独立した装置として説明したが、これらは共通のハードウェアにより実現することが可能であり、一体の装置として実現してもよい。
【００７４】
<処理の流れ>
図１７は、本実施形態の映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ１７０１において、利用者通信端末は、ライブ演奏などを行う会場の外の視聴者の動作を反映した映像の表示時間の情報を表示時間管理サーバから取得する。次に、ステップＳ１７０２において、ライブ配信端末は、ライブ演奏などを行う会場の映像のライブ送信を、会場外の視聴者の視聴端末からのライブ映像配信要求に応じて開始する。次に、ステップＳ１７０３において、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の動作の検出を開始する。動作検出端末にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、ステップＳ１７０４において、利用者通信端末は、前記視聴者の動作を反映した映像の表示時間に入った場合に、当該視聴者の動作を示す情報である動作情報を送信する。次に、ステップＳ１７０５において、制御側通信端末は、送信された前記視聴者の動作情報を受信する。ここで、制御側通信端末にて受信された動作情報は例えばＬＡＮインターフェイスを介して表示制御端末に伝送される。次に、ステップＳ１７０６において、表示制御端末は、前記視聴者の動作情報に基づいて、会場に設置されるディスプレイの映像を表示制御する。
【００７５】
<効果>
本実施形態の映像表示システムは、実施形態１、２の効果に加えて、表示時間内にある視聴者の動作情報のみを受信することになるため、表示時間外の視聴者の動作情報を受信することがなく、関与する装置の処理負担を軽減することが可能である。
【００７６】
<<実施形態５>>
【００７７】
<概要>
本実施形態の映像表示システムは、基本的に実施形態３、４と同様であるが、会場外の視聴者の動作を反映した映像の表示時間の継続要求を受け付けて、継続要求に応じて表示時間を継続することを特徴とする。
【００７８】
<構成>
図１８は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」１８００は、「ライブ送信部」１８０１と、「動作検出部」１８０２と、「動作情報送信部」１８０３と、「動作情報受信部」１８０４と、「表示制御部」１８０５と、「表示時間管理部」１８０６とを有し、表示時間管理部は、「継続要求受付手段」１８０７と、「表示時間継続手段」１８０８と、を有する。
【００７９】
なお、図示しないが、実施形態３で説明したように、「表示制御部」が「第一取得手段」と「時間表示制御手段」を有していてもよいし、「動作情報受信部」が「第三取得手段」と「制限受信手段」を有していてもよい。また、実施形態４で説明したように、「動作情報送信部」が「第二取得手段」と「制限送信手段」を有していてもよいし、「動作検知部」が「第四取得手段」と「制限検知手段」を有していてもよい。これらのいずれかの構成によって表示時間の情報が用いられ、対象となる会場外の視聴者が多数になった場合でも、各視聴者の動作を反映した表示要素をディスプレイ内に詰め込むことなく適切に表示することが可能になる。
【００８０】
表示時間管理部の「継続要求受付手段」は、前記表示時間の継続要求を受け付ける機能を有する。ここで、表示時間の継続要求とは、視聴者の動作を反映した映像の表示時間を継続させる要求をいう。当該継続要求は、表示時間管理部の管理画面において受け付ける構成も可能であるが、動作情報に継続要求情報が含まれる態様も考えられる。
【００８１】
具体的には、動作検出部が、前記表示時間の継続要求を指示する動作を検出する継続要求動作検出手段を有し、動作情報送信部が、前記継続要求を指示する動作の情報である継続要求動作情報を送信する継続要求動作情報送信手段を有し、前記表示時間管理部の継続要求受付手段が、前記動作情報送信部から送信される前記継続要求動作情報を受信して継続要求を受け付ける構成とすることが考えられる。当該構成とすることにより、管理画面に対してアクセスして操作入力などをしなくても、視聴者は自らの動作によって表示時間の継続要求を行うことが可能になる。例えば、視聴者がぐるぐると腕を所定回数まわす動作を行った場合に、当該動作を検出して継続要求動作情報として送信するようにしてもよい。
【００８２】
表示時間管理部の「表示時間継続手段」は、前記継続要求の受け付けに応じて表示時間を継続する機能を有する。ここで、継続要求の受け付けに応じて表示時間を継続するとは、継続要求受付手段にて表示時間の継続要求を受け付けたことを条件として会場外の視聴者の動作を反映した映像の表示時間を継続することをいう。
【００８３】
なお、上記表示時間の継続要求があった場合において常にその要求を受け付けるものである必要はなく、表示時間の継続の可否を判断して継続が可能である場合にその要求を受け付けるものであってもよい。図１９は、視聴者から継続表示要求があった場合の処理の流れの一例を示す。まず、ステップＳ１９０１において、視聴者から自身の動作を反映した映像の表示時間の継続要求があるか否か判断する。ここで、継続要求があるとの判断である場合はステップＳ１９０２に進み、継続要求がないとの判断である場合は待機する。次に、ステップＳ１９０２において、表示時間の継続要求に含まれる視聴者ＩＤの情報を取得する。次に、ステップＳ１９０３において、継続時間帯に空きがあるか否か判断する。当該判断は、継続時間帯とその時間帯にて表示可能な視聴者数、その時間帯にて既に予約を完了した視聴者数などの情報に基づいて行う。ここで、継続時間帯に空きがないとの判断である場合はステップＳ１９０４Ａに進み、空きがあるとの判断である場合はステップＳ１９０４Ｂに進む。ステップＳ１９０４Ａにおいては、視聴者に対して継続時間帯に空きがない旨を通知する。ステップＳ１９０４Ｂにおいては、視聴者ＩＤと表示の継続時間帯を関連付けて保持し、表示時間を継続する旨を視聴者に対して通知する。また、その継続時間帯で予約が完了した視聴者数をインクリメントする処理を行う。
【００８４】
また、表示時間管理部が、視聴者ＩＤとその視聴者の所有ポイントを関連付けたテーブル情報を保持している場合、継続要求受付手段は、表示時間の継続要求があった場合に基準以上のポイントが残っているか否かを判断し、基準以上のポイントが残っている場合に継続要求を受け付けて、表示の継続に必要なポイントを所有ポイントから差し引いて、上記テーブル情報を更新する処理を行う。また、基準以上のポイントが残っていない場合は、ポイント購入を指示する通知を視聴者に対して行う。
【００８５】
<具体的な構成>
「表示時間管理部」は、ＣＰＵと、ＲＡＭ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ＬＡＮインターフェイスなどから構成される。「表示時間管理部」は、視聴者の通信端末などからＷＡＮインターフェイスを介して、視聴者の動作を反映した映像の表示時間の継続要求を受信して、表示時間の継続が可能であるか否か判断する。さらに、表示時間の継続の可否についてＷＡＮインターフェイスを介して視聴者の通信端末に通知し、継続が可能である場合は、長期記憶装置に保存されている当該視聴者の動作を反映した映像の表示時間を継続するように更新する。そして、更新された表示時間の情報をＬＡＮインターフェイスを介して「表示制御部」に対して送信する。「表示制御部」はＬＡＮインターフェイスを介して更新された表示時間の情報を受信して、各視聴者の表示時間の情報に基づいて、いずれの時間帯にいずれの視聴者の動作を反映した映像を表示するのか改めて判断する。他の処理については、実施形態１から４で説明したものと同様である。
【００８６】
<処理の流れ>
図２０は、本実施形態の映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ２００１において、表示制御端末は、ライブ演奏などを行う会場の外の視聴者の動作を反映した映像の表示時間の情報を表示時間管理サーバから取得する（表示時間情報取得ステップ）。次に、ステップＳ２００２において、ライブ配信端末は、ライブ演奏などを行う会場の映像のライブ送信を、会場外の視聴者の視聴端末からのライブ映像配信要求に応じて開始する（ライブ送信開始ステップ）。次に、ステップＳ２００３において、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の動作の検出を開始する（動作検出開始ステップ）。動作検出端末にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、ステップＳ２００４において、利用者通信端末は、検出した動作を示す情報である動作情報を送信する（動作情報送信ステップ）。次に、ステップＳ２００５において、制御側通信端末は、送信された前記視聴者の動作情報を受信する（動作情報受信ステップ）。ここで、制御側通信端末にて受信された動作情報は例えばＬＡＮインターフェイスを介して表示制御端末に伝送される。次に、ステップＳ２００６において、表示制御端末は、前記会場外の視聴者の動作を反映した映像の表示時間に入った場合に、前記視聴者の動作情報に基づいて、会場に設置されるディスプレイの映像を表示制御する（表示制御ステップ）。次に、ステップＳ２００７において、表示時間管理サーバは、前記表示時間の継続要求を受け付ける（継続要求受付ステップ）。次に、ステップＳ２００８において、表示時間管理サーバは、前記継続要求の受け付けに応じて表示時間を継続する（表示時間継続ステップ）。
【００８７】
<効果>
本実施形態の映像表示システムは、実施形態３、４などの効果に加えて、必要に応じて視聴者の動作を反映した映像の表示時間を継続させることが可能になる。
【符号の説明】
【００８８】
０１００・１０００・１２００・１６００・１８００…映像表示システム、０１０１・１００１・１２０１・１６０１・１８０１…ライブ送信部、０１０２・１００２・１２０２・１６０２・１８０２…動作検出部、０１０３・１００３・１２０３・１６０３・１８０３…動作情報送信部、０１０４・１００４・１２０４・１６０４・１８０４…動作情報受信部、０１０５・１００５・１２０５・１６０５・１８０５…表示制御部、１２０６・１６０６・１８０６…表示時間管理部、１００６…揺動検出手段、１２０７…第一取得手段、１２０８…時間表示制御手段、１６０７…第二取得手段、１６０８…制限送信手段、１８０７…継続要求受付手段、１８０８…表示時間継続手段
【技術分野】
【０００１】
本発明は、映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラムに関する
【背景技術】
【０００２】
ライブ演奏などを行う会場から、その映像を会場外の視聴端末にライブ送信することが一般的に行われている。会場外の視聴者は、ライブ演奏などの映像を視聴しながら、会場の雰囲気の一端を感じ取ることができる。
【０００３】
また、特許文献１においては、ユーザ端末により指定されたアーティストがライブ中であるか否かを判断し、視聴要求に応じてライブ演奏などの映像をユーザ端末に配信するシステムが開示されている。また、特許文献２においては、カット編集が可能な箇所でブロック分割された映像データを、映像の配信状況などに応じて適切に結合して番組を編成し、当該編成番組を視聴者に対して配信するライブ配信システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１０３５２２
【特許文献２】特開２００８−２４４８６９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような従来のシステムにおいては、視聴者はライブ演奏などの映像を視聴しながら会場の雰囲気の一端を感じ取ることができるものの、自ら会場の雰囲気を盛り上げたりすることはできず、ライブに参加しているという感覚を得ることが難しかった。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムであって、前記会場のライブ演奏などの映像を前記会場外の視聴者の視聴端末にライブ送信するライブ送信部と、前記会場外の視聴者の動作を検出する動作検出部と、前記動作検出部にて検出した動作を示す情報である動作情報を送信する動作情報送信部と、前記動作情報送信部から送信される動作情報を受信する動作情報受信部と、受信した動作情報に基づいて前記会場に設置されるディスプレイの映像を表示制御する表示制御部と、を有する映像表示システムを提案する。
【発明の効果】
【０００７】
以上のような構成をとる本発明によって、会場外の視聴者は自分の視聴端末でライブの映像を視聴しながら、生の観客のように自らの動作によってライブを盛り上げることができる。このため、会場外であってもライブに参加しているという感覚を得ることが可能になる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１の映像表示システムの機能ブロックの一例を示す図
【図２】会場の壁面をディスプレイにした場合の一例を示す斜視図
【図３】図２に関して会場の観客から見た図
【図４】図２に関してパフォーマンスをする者から見た図
【図５】会場のディスプレイに花火の映像が表示される例を示す図
【図６】動作情報の内容と表示制御の内容を関連付けたテーブルの一例を示す図
【図７】会場のディスプレイに視聴者のアバターが表示される例を示す図
【図８】実施形態１の映像表示システムの具体的な構成の一例を示す図
【図９】実施形態１の映像表示方法の一例を示すフローチャート
【図１０】実施形態２の映像表示システムの機能ブロックの一例を示す図
【図１１】会場のディスプレイにコンサートライトが表示される例を示す図
【図１２】実施形態３の映像表示システムの機能ブロックの一例を示す図
【図１３】各視聴者ＩＤとその視聴者の動作を反映した映像の表示時間の情報を関連付けたテーブルの一例を示す図
【図１４】視聴者から表示要求があった場合の処理の流れの一例を示す図
【図１５】実施形態３の映像表示方法の一例を示すフローチャート
【図１６】実施形態４の映像表示システムの機能ブロックの一例を示す図
【図１７】実施形態４の映像表示方法の一例を示すフローチャート
【図１８】実施形態５の映像表示システムの機能ブロックの一例を示す図
【図１９】視聴者から継続表示要求があった場合の処理の流れの一例を示す図
【図２０】実施形態５の映像表示方法の一例を示すフローチャート
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について説明する。実施形態と請求項の相互の関係は以下の通りである。実施形態１は主に請求項１、３、９、１０、１１に関し、実施形態２は主に請求項２、４、５に関し、実施形態３は主に請求項６に関し、実施形態４は主に請求項７に関し、実施形態５は主に請求項８に関する。なお、本発明はこれら実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、様々な態様で実施しうる。
【００１０】
<<実施形態１>>
【００１１】
<概要>
本実施形態の映像表示システムは、ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムである。具体的には、映像表示システムでは、会場のライブ演奏などの映像を会場外の視聴端末にライブ送信し、会場外の視聴者の動作を示す情報を受信して、当該動作情報に基づいてディスプレイの映像を表示制御するものである。
【００１２】
<構成>
図１は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」０１００は、「ライブ送信部」０１０１と、「動作検出部」０１０２と、「動作情報送信部」０１０３と、「動作情報受信部」０１０４と、「表示制御部」０１０５と、から構成される。ここで、動作検出部や動作情報送信部は、一つである必要はなく、視聴者や視聴端末の数などに応じて複数存在していてもよい。以下、各構成部について説明する。
【００１３】
「映像表示システム」は、ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムである。ここで、ライブ演奏などとは、ライブで行われる演奏の他に、演劇、スポーツ、漫才、コント、映画、テレビ番組、歌舞伎、落語、手品、大道芸といった、観客を前にして行われることが想定されるパフォーマンスのことをいう。また、会場とは、コンサートホール、公園、スタジオ、野球場、サッカースタジアム、陸上競技場、展示場、映画館、歌舞伎座、公民館などの、観客の収容が可能な場所のことをいう。
【００１４】
また、ディスプレイとしては、入力された映像を表示可能なものであれば足り、形状や大きさなど限定されるものではない。例えば、コンサートホールや野球場、サッカースタジアムなどの大きな会場においては数メートルから数十メートル単位の大型ディスプレイが想定される。また、ディスプレイの設置場所としては、ステージなどのパフォーマンスが行われる場所であってもよいし、観客席などであってもよい。また、会場の壁面やフロア、天井などにディスプレイを設置してもよいし、ディスプレイそのものを会場の仕切りとして用いることも可能である。
【００１５】
図２、３、４は、会場の壁面をディスプレイにした場合の一例を示す図であり、それぞれ、会場の斜視図と、「会場の観客」１から見た図、「パフォーマンスをする者」２から見た図である。この図の例では、「ステージの背景」３、「フロアの左右の壁面」４・５と、「フロア入口の壁面」６が、それぞれディスプレイになっている。この場合、パフォーマンスする者や、会場の観客は周囲をディスプレイで囲まれることになる。なお、上述のように、天井やフロアについてもディスプレイとすることも可能である。このように、会場の壁面全体をディスプレイとすることによって、会場内の観客は自らが仮想空間に入り込んだような感覚を持つことが可能になる。
【００１６】
また、会場外の視聴者とは、ライブ演奏などの映像を受信して表示可能な視聴端末の近くにいる一又は複数の視聴者のことをいう。ここで、視聴端末の場所は特に限定されるものではなく、ライブ演奏などの映像を受信可能な環境であればよく、海外であってもよい。また、会場外の視聴者の動作を反映した映像を表示するとは、会場外の視聴者の動作内容に応じて映像内容が定まることをいう。例えば、会場外の一又は複数の視聴者が手を突き上げる動作を行った場合には、図５に示すように、会場のディスプレイに一又は複数の「花火が打ち上がる様子を示す映像表示要素」０５００を表示することが考えられる。
【００１７】
「ライブ送信部」は、前記会場のライブ演奏などの映像を前記会場外の視聴者の視聴端末にライブ送信する機能を有する。ここで、会場外の視聴者の視聴端末としては、一般的なテレビ装置の他に、パーソナルコンピュータや、携帯電話や携帯ゲーム機、ＰＤＡ等の携帯端末など、映像受信機能と映像表示機能を備える種々の装置が考えられる。また、これらの視聴端末が設置される場所としては、視聴者の居住場所などの他に、会場外の商業施設や、公共スペースなど種々の場所が可能である。また、会場外の視聴者は複数存在することが一般的に考えられるが、一人であってもよい。
【００１８】
また、会場のライブ演奏などの映像をライブ送信するとは、会場にて行われるパフォーマンスの映像をリアルタイム又はリアルタイムに近いタイミング（数秒から数分程度のタイムラグがあってもよい）で送信することをいう。なお、視聴端末に対して有線又は無線の通信手段を介して送信（配信）することも可能であるが、ネットワーク上に置かれた所定のサーバ装置を介して視聴端末に送信することも可能である。
【００１９】
「動作検出部」は、前記会場外の視聴者の動作を検出する機能を有する。ここで、視聴者の動作としては、視聴者の体の全部又は一部の動きのことをいう。例えば、視聴者の手や腕、足、腰、顔の動きや、指や目、口などの動きが主として考えられる。また、視聴者が、帽子やリストバンドを身につけていたり、メガホンや団扇、旗、ペンライト、携帯電話機などを把持していたりする場合は、これらの物に対する視聴者の動きなども視聴者の動作に含まれる。例えば、視聴者が帽子を取る動きをしたことを検出したり、メガホンや団扇、旗などを振っている動きを検出したりする。
【００２０】
動作検出部は、視聴者と接触した状態で動作を検出するものであってもよいし、視聴者と非接触の状態で動作を検出するものであってもよい。視聴者と接触した状態で動作を検出するものとしては、速度センサや加速度センサなどを備えた小型端末が考えられる。当該小型端末は、コンサートなどにおいて観客が把持したり身につけたりする発光体（コンサートライト）を連想させるように、発光手段を有していてもよい。また、当該発光手段は、所定の限られた時間においてのみ発光するように制御してもよい。例えば、視聴者の動作を反映した映像が表示される時間の情報を取得して、当該表示時間内である場合においてのみ発光するよう制御する。また、表示時間内であっても残り時間が少なくなってくるにつれて発光強度が弱くなるように制御してもよい。表示時間の情報の管理については、実施形態３から５において詳述する。
【００２１】
なお、マウスやタブレットなどのコンピュータ周辺機器も手や指の動きを検出するものであるため、動作検出部に含まれるものである。また、視聴者と非接触の状態で動作を検出するものとしては、可視光や赤外線などの受光センサを備えた据置端末が考えられる。これらの据置端末は、視聴者の動作と同じ動きはしないが、視聴者又は視聴者の把持する物などからの光を捉えることが可能である。また、動作検出部は複数人の視聴者の動作を検出するものであってもよい。例えば、視聴者などからの光信号に基づいて視聴者の動作を検出する場合は、検出画面内において各視聴者の領域を特定して、各視聴者の動作を検出することが可能である。
【００２２】
「動作情報送信部」は、前記動作検出部にて検出する視聴者の動作を示す情報である動作情報を送信する機能を有する。ここで、視聴者の動作を示す情報は、動作検出部にて検出した動作そのものを表す情報であってもよいし、検出した動作を抽象化した情報であってもよい。検出した動作そのものを表す情報としては、動作の変位量・速度・加速度などの生データの情報が挙げられる。また、検出した動作を抽象化した情報としては、動作の生データに基づいて抽出される動作内容の情報が挙げられる。
【００２３】
例えば、動作情報送信部は、動作方向、動作幅、動作速度、動作加速度などの値について複数の区分の情報を保持し、動作検出部からの検出信号が示す各パラメータ値がいずれの区分に属するかを判断し、各パラメータの区分ＩＤの情報を動作情報として送信する。また、動作情報送信部は、動作内容を複数の種別（両手挙げ、右手挙げ、左手挙げなど）に分類した情報を保持し、動作検出部からの検出信号に基づいて視聴者の動作がいずれの種別に属するかを判断し、当該種別ＩＤの情報を動作情報として送信する態様も可能である。
【００２４】
なお、一の動作検出部が複数の視聴者の動作を検出している場合は、各視聴者についての動作情報を生成して送信してもよいし、各視聴者の動作の組み合わせに基づいて動作情報を生成して送信してもよい。各視聴者の動作の組み合わせとしては、複数の視聴者が肩を組んだり、手をつないだりする動作や、ハイタッチする動作など種々のものが考えられる。これらの動作内容の抽出は、画像解析プログラムによって各視聴者の領域を特定し、各視聴者の体の部位の座標を追跡することで行うことも可能である。
【００２５】
また、動作検出部又は／及び動作情報送信部は、他の動作検出部や動作情報送信部と識別可能なＩＤを有しており、当該ＩＤを視聴者ＩＤとして動作情報に含めて送信することも可能である。また、動作検出部と動作情報送信部は、別個の独立した装置として有線又は無線ＬＡＮによって接続されていてもよいし、一体の装置としてシステムバスによって接続されていてもよい。例えば、動作検出部が視聴者の動作の検出信号を赤外線インターフェイスによって動作情報送信部に通知する構成や、システム信号として動作情報送信部に通知する構成などが考えられる。ここで、動作検出対象となる会場外の視聴者が複数存在する場合は、各視聴者の動作情報送信部は常に動作情報を送信し続けることも可能であるが、視聴者ごとに割り当てられた時間帯の情報を表示時間情報管理部から取得し、当該時間帯にのみ動作情報を送信してもよい（詳しくは実施形態４にて説明する）。
【００２６】
なお、動作検出部が視聴者から発せられる音や視聴者の動作によって生じる音を検出する音検出手段を有し、動作情報送信部から動作情報として音の情報を送信する構成も可能である。また、音検出手段から得られる音の信号に基づいて、視聴者の動作内容を抽出することも考えられる。例えば、手を叩いた際に発生する特定周波数帯の音が連続して検出された場合は、視聴者が拍手動作を行っていると判断して動作情報を生成したり、特定のリズムタイミングで音が検出された場合は、視聴者をリズムに合わせた動作を行っていると判断して当該動作情報を生成したりすることが考えられる。また、動作検出部がさらに音声認識手段を有し、音検出手段からの検出信号を解析し、特定の単語や文章を示す音が認識された場合には、視聴者が特定の掛け声を発していると判断して当該動作情報を生成する。
【００２７】
「動作情報受信部」は、前記動作情報送信部から送信される動作情報を受信する機能を有する。ここで、動作情報送信部から直接的に動作情報を受信する構成も考えられるが、インターネットなどを経由して受信する構成も考えられる。ここで、対象となる会場外の視聴者が複数存在する場合は、各視聴者の動作情報送信部から動作情報を同時に受信してもよいし、タイムスケジュールを決めて視聴者ごとに割り当てられた時間帯ごとにそれぞれの動作情報を受信してもよい（詳しくは実施形態４にて説明する）。
【００２８】
ここで、受信する動作情報は、以下で説明する表示制御部で利用するのみならず、マーケティング情報として利用することも可能である。例えば、ライブ演奏などにおいて、会場外の視聴者が、特定の演奏者や、特定の曲・歌詞の部分において、どんな動作を行ったかを抽出することが可能になる。当該抽出処理は、動作情報受信部が、予め各演奏者や各曲などのＩＤ情報を保持する構成（ライブ情報保持手段）を有し、各ＩＤと受信する動作情報を関連付けたテーブル情報を生成することで行うことが可能である。当該テーブル情報は、例えばどんな演奏者やどんな曲のときに盛り上がったかを判断する情報として利用できる。
【００２９】
「表示制御部」は、受信した動作情報に基づいて前記ディスプレイの映像を表示制御する機能を有する。ここで、動作情報に基づいてディスプレイの映像を表示制御するとは、視聴者の動作を反映した映像をディスプレイに表示するよう制御することをいう。表示制御の方法としては、動作情報の内容と表示制御の内容を関連付けたテーブルを保持しておき、受信した動作情報と保持されるテーブルに基づいて表示制御の内容を決定することが考えられる。
【００３０】
図６は、動作情報の内容と表示制御の内容を関連付けたテーブルの一例を示す図である。この図の例では、右手、左手、両手をあげる動作を視聴者が行った場合には、赤色、青色、金色の花火が打ち上がる映像を表示し、右手、左手、両手を前方に突き出す動作を視聴者が行った場合には、赤色、青色、金色の炎の映像を所定時間表示し、拍手する動作を視聴者が行った場合には、桜の映像を表示する。なお、視聴者の動作をさらに具体化して、手を挙げる速度や加速度、角度に応じて異なる映像を表示したり、一定時間の間に行った動作の組み合わせによって異なる映像を表示したりすることも可能である。なお、上記ではテーブルに基づいて表示制御の内容が決定される例を示したが、視聴者の動作の速度や加速度などの値をパラメータとする数式に基づいて表示映像を定める処理を行ってもよい。
【００３１】
なお、前記表示制御部が「アバター表示手段」を有する構成も可能である。「アバター表示手段」は、前記動作情報に基づいて、アバターを含む映像を表示するよう制御する機能を有する。ここで、アバターとは、利用者の分身となる表示要素をいうが、ユーザ本人が自身のアバターであることを認識可能であれば、その内容は特に限定されない。例えば、図７に示すように人間や動物、昆虫、爬虫類、植物などをモチーフにしたものや、アニメや漫画のキャラクターをモチーフにしたものなど、種々考えられる。また、当該アバターの表示要素は、視聴者の写真などを組み合わせて生成されたものであってもよい。また、アバターは、厳密な意味で視聴者の動きを再現するものである必要はなく、視聴者の動きをアバターの動きによって連想させられるものであれば足りる。例えば、視聴者が体を左右に揺らす動きをしている場合は、当該動きを反映してアバターである花を左右に揺らすように表示することが考えられる。
【００３２】
視聴者に対してどのようなアバターを表示するかについては、動作情報送信部にて動作情報を送信する際にアバターＩＤを指定する情報が含められ、当該指定されたアバターＩＤに基づいて表示するアバターを決定することが可能である。また、視聴者の属性（性別、身長、体重、体の各パーツの大きさ、年齢、趣味、職業など）の情報を動作情報と共に動作情報受信部を介して取得し、当該属性情報に基づいて表示するアバターを決定することも可能である。表示制御部は、アバターを示す映像要素の情報として、見かけがそれぞれ異なる複数のアバターをその識別ＩＤと関連付けて保持していてもよいし、視聴者の属性値（身長や体重の値など）によって見かけが変化するアバターを生成するプログラムの情報を保持していてもよい。なお、動作情報送信部から動作情報受信部を介してアバターの表示要素の情報を取得できる場合は、当該情報をそのまま用いてもよい。
【００３３】
また、視聴者の動作を反映した表示要素をディスプレイに表示する位置は、動作情報を受信した順番に基づいて決定することも可能であるし、視聴者の属性情報に基づいて決定することも可能である。例えば、動作情報を受信した順番が早い方からディスプレイの中心付近に表示したりしてもよい。
【００３４】
<具体的なシステム構成>
図８は、本実施形態の「映像表示システム」の具体的な構成の一例を示す図である。この図において、例えば「ライブ送信部」０８０１は、ＣＰＵと、ＲＡＭ、ＲＯＭ、長期記憶装置（不揮発性メモリも含む、以下同じ）、カメラ装置、ＷＡＮインターフェイスなどから構成され、カメラ装置から取得される映像信号を、ＷＡＮインターフェイスを介して視聴要求のあった「視聴端末」０８０２に対して送信する。なお、上記ＣＰＵやＲＡＭ、ＲＯＭなどの各ハードウェアはシステムバスにより接続され、相互に信号のやり取りを行う（以下、同様である）。「視聴端末」０８０２は、ＣＰＵ、ＲＡＭ、ＧＰＵ、グラフィックメモリ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ディスプレイ部などから構成され、「ライブ送信部」０８０１から送信されるライブ映像をＷＡＮインターフェイスを介して受信し、表示出力する。
【００３５】
また、「動作検出部」０８０３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、赤外線インターフェイス、センサインターフェイス、センサなどから構成され、センサインターフェイスを介して取得される視聴者の動作信号を「動作情報送信部」０８０４に対して赤外線インターフェイスを介して送信する。また、「動作情報送信部」０８０４は、ＣＰＵ、ＲＡＭ、ＲＯＭ、長期記憶装置、赤外線インターフェイス、ＷＡＮインターフェイスなどから構成され、赤外線インターフェイスを介して受信した動作信号に基づいて動作情報を生成し、生成した動作情報をＷＡＮインターフェイスを介して「動作情報受信部」０８０５に対して送信する。
【００３６】
また、「動作情報受信部」０８０５は、ＣＰＵ、ＲＡＭ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ＬＡＮインターフェイスなどから構成され、ＷＡＮインターフェイスを介して動作情報を受信し、当該動作情報をＬＡＮインターフェイスを介して「表示制御部」０８０６に対して送信する。また、「表示制御部」０８０６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、長期記憶装置、ＬＡＮインターフェイスなどから構成され、ＬＡＮインターフェイスを介して動作情報を受信し、当該動作情報に基づいて大型ディスプレイ装置に対する表示制御情報を生成し、「大型ディスプレイ装置」０８０７に対して生成した表示制御情報を送信する。「大型ディスプレイ装置」０８０７は、受信した表示制御情報に基づいて、ディスプレイに映像信号を表示出力する。
【００３７】
<処理の流れ>
図９は、本実施形態の映像表示システムにて行われる映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ０９０１において、ライブ配信端末は、ライブ演奏などを行う会場の外にいる視聴者の視聴端末からのライブ映像配信要求に応じてライブ演奏などの映像のライブ送信を開始する（ライブ送信開始ステップ）。視聴端末は、ライブ送信部からのライブ映像を受信して表示する。次に、ステップＳ０９０２において、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の動作の検出を開始する（動作検出開始ステップ）。動作検出装置にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、ステップＳ０９０３において、利用者通信端末は、検出した動作を示す情報である動作情報を送信する（動作情報送信ステップ）。次に、ステップＳ０９０４において、制御側通信端末は、送信された前記視聴者の動作情報を受信する（動作情報受信ステップ）。ここで、制御側通信端末にて受信された動作情報は例えばＬＡＮインターフェイスを介して表示制御端末に伝送される。次に、ステップＳ０９０５において、表示制御端末は、受信した動作情報に基づいて、会場に設置されるディスプレイの映像を表示制御する（表示制御ステップ）。
【００３８】
<効果>
本実施形態の映像表示システムにおいて、会場外の視聴者は自分の視聴端末でライブの映像を視聴しながら、生の観客のように自らの動作によってライブを盛り上げることができる。このため、会場外であってもライブに参加しているという感覚を得ることが可能になる。
【００３９】
<<実施形態２>>
【００４０】
<概要>
本実施形態の映像表示システムは、基本的に実施形態１と同様であるが、会場外の視聴者の手や腕の揺動を検出し、当該視聴者の手や腕などの揺動を反映した映像をライブ会場のディスプレイに表示することを特徴とする。
【００４１】
<構成>
図１０は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」１０００は、「ライブ送信部」１００１と、「動作検出部」１００２と、「動作情報送信部」１００３と、「動作情報受信部」１００４と、「表示制御部」１００５と、から構成され、動作検出部は、「揺動検出手段」１００６を有する。以下、揺動検出手段について説明する。
【００４２】
「揺動検出手段」は、前記会場外の視聴者の揺動を検出する機能を有する。ここで、視聴者の揺動とは、視聴者の揺れ動きのことをいう。視聴者の揺れ動きとしては、手や腕を左右前後に揺らす動きの他に、頭や腰、足、体全体を左右前後に揺らす動きなどが含まれる。視聴者は、ライブ演奏などを視聴しているときに、ライブ演奏などと関係のない動作をすることもあるが、揺れ動きの動作はライブ会場の観客も一般的にとる動作であり、ライブ演奏などと関連する可能性が高い。よって、会場のディスプレイに視聴者の動作を反映させる上で、視聴者の揺動の動作を選択的に検出することに重要な意味合いが生じる。
【００４３】
揺動検出手段は、上記のように揺れ動きを検出することを目的としたものである。揺動検出手段は、視聴者と接触した状態で視聴者の揺動を検出するものであってもよいし、視聴者と非接触の状態で視聴者の揺動を検出するものであってもよい。視聴者と接触した状態で揺動を検出するものとしては、視聴者の手に把持されたり、視聴者の体の一部に身につけられたりする振動センサ付きの小型端末などが考えられる。なお、マウスやタブレットなどのコンピュータ周辺機器も手の水平方向の揺動を検出するものであるため、揺動検出手段に含まれるものである。また、視聴者と非接触の状態で揺動を検出するものとしては、可視光や赤外線などの受光センサなどを備えた据置端末が考えられる。これらの据置端末は、視聴者又は視聴者が身につける対象物からの光を捉えて揺動を検出する。
【００４４】
動作情報送信部は、動作情報として、揺動検出手段にて検出した揺動を示す情報である揺動情報を送信する。揺動情報としては、視聴者の揺動の揺れ幅や揺れ方向、揺れ周期などの値が例として挙げられる。また、揺れ幅や揺れ方向、揺れ周期などの値について予め複数の区分を設け、揺動の検出信号に基づいて揺動の各パラメータ値がいずれの区分に属するかを判断し、各パラメータの区分ＩＤの情報を揺動情報として送信することが考えられる。また、揺動の内容を複数の種別（揺れ幅：大・中・小、揺れ対象：右手・左手・両手、揺れ周期：長い・普通・短い、など）に分類し、検出信号に基づいて視聴者の動作がいずれの種別に属するかを判断し、当該種別ＩＤの情報を動作情報として送信することも可能である。
【００４５】
また、前記表示制御部が、「揺動体表示手段」を有する構成も可能である。「揺動体表示手段」は、前記動作情報に基づいて、前記視聴者の揺動と同じ動きを示す揺動体を含む映像を表示するよう制御する機能を有する。ここで、揺動体とは、揺れ動く物体のことをいう。例えば、誘導体としては、図１１に示すような「コンサートライト」１１００（観客が把持したり、身につけたりする発光体）とすることも可能であるし、人間や動物などの手・腕をモチーフにしたものや、茎を有する植物などをモチーフにしたものなど、種々考えられる。
【００４６】
また、揺動体が視聴者の揺動と同じ動きを示すとは、厳密な意味で視聴者の揺動を再現するものである必要はなく、視聴者の揺動を揺動体の動きによって連想可能なものであれば足りる。例えば、視聴者が体を左右に揺らす動きをしている場合は、当該動きを反映して揺動体である花を左右に揺らすように表示することが考えられる。揺動体表示手段は、視聴者の揺動の揺れ幅や揺れ方向、揺れ周期などの動作情報を反映するように、ディスプレイに表示される揺動体の動きを制御する。
【００４７】
視聴者に対してどのような揺動体を表示するかについては、動作情報送信部にて動作情報（揺動情報）を送信する際に揺動体ＩＤを指定する情報が含められ、当該指定された揺動体ＩＤに基づいて揺動体を決定することが可能である。この場合、表示制御部は、揺動体を示す表示要素の情報として、見かけがそれぞれ異なる揺動体をその識別ＩＤと関連付けて保持する。なお、動作情報受信部を介して揺動体の表示要素の情報を取得できる場合は、当該情報をそのまま用いてもよい。
【００４８】
<処理の流れ>
本実施形態の映像表示システムにて行われる映像表示方法の処理の流れは、図９で示した処理の流れと同様である。まず、ライブ配信端末は、ライブ演奏などを行う会場の外にいる視聴者の視聴端末からのライブ映像配信要求に応じてライブ演奏などの映像のライブ送信を開始する（ライブ送信開始ステップ）。視聴端末は、ライブ送信部からのライブ映像を受信して表示する。次に、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の揺動の検出を開始する（動作検出開始ステップ）。動作検出装置にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、利用者通信端末は、検出した揺動を示す情報である揺動情報を送信する（揺動情報送信ステップ）。次に、制御側通信端末は、送信された前記視聴者の揺動情報を受信する（揺動情報受信ステップ）。ここで、制御側通信端末にて受信された揺動情報は例えばＬＡＮインターフェイスを介して表示制御端末に伝送される。次に、表示制御端末は、受信した揺動情報に基づいて、会場に設置されるディスプレイの映像を表示制御する（表示制御ステップ）。
【００４９】
<効果>
本実施形態の映像表示システムにおいては、会場外の視聴者は自分の視聴端末でライブの様子を視聴しながら、会場にいる観客のように、例えば観客が発光体を振るように、自らの揺れ動く動作によってライブを盛り上げることが可能になる。
【００５０】
<<実施形態３>>
【００５１】
<概要>
本実施形態の映像表示システムは、基本的に実施形態１と同様であるが、視聴者の動作を反映した映像の表示時間の情報を管理し、会場外の各視聴者の表示時間内である場合にその視聴者の動作を反映した映像を表示することを特徴とする。
【００５２】
<構成>
図１２は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」１２００は、「ライブ送信部」１２０１と、「動作検出部」１２０２と、「動作情報送信部」１２０３と、「動作情報受信部」１２０４と、「表示制御部」１２０５と、「表示時間管理部」１２０６と、から構成され、表示制御部は、「第一取得手段」１２０７と、「時間表示制御手段」１２０８と、を有する。以下、「表示時間管理部」と、「第一取得手段」と、「時間表示制御手段」について説明する。
【００５３】
「表示時間管理部」は、前記視聴者の動作を反映した映像の表示時間の情報を管理する機能を有する。ここで、表示時間とは、表示を開始するタイミングや終了するタイミング、表示を継続する時間、などが挙げられる。なお、表示を開始するタイミングは、表示を開始する時刻で定められていてもよいし、ライブ演奏などのパフォーマンスの開始からの経過時間に基づいて定められていてもよい。
【００５４】
視聴者の動作を反映した映像の表示時間を管理するとは、各視聴者の動作を反映した映像とその表示時間の情報を関連付けたテーブルを保持・更新したり、各視聴者の動作を反映した映像について、各視聴者の属性情報に基づいて表示時間を決定する処理を行ったりすることが挙げられる。このように、表示時間を管理することによって、対象となる会場外の視聴者が多数になった場合であっても、それぞれの表示時間を管理することによって、各視聴者の動作を反映した表示要素をディスプレイ内に詰め込むことなく適切に表示することが可能になる。
【００５５】
図１３は、各視聴者の動作を反映した映像とその表示時間の情報を関連付けたテーブルの一例を示す図である。この図の例においては、所定の人数ごとに所定の表示時間帯を割り当てている。例えば、先頭から５０番目の視聴者に対しては、１８時００分から１８時１０分までの時間帯を割り当て、５１番目から１００番目の視聴者に対しては、１８時１０分から１８時２０分までの時間帯を割り当てている。
【００５６】
なお、上記図の例においては、表示時間帯の順に視聴者ＩＤを割り振っているが、これに限定されるものではない。例えば、予め視聴者ＩＤが各視聴者に割り振られた状態において、各視聴者が自分の希望する時間帯を表示時間管理部の管理画面において選択する態様も考えられる。この場合、希望時間帯の選択操作は、表示時間管理部の操作入力インターフェイスを介して行ってもよいし、通信端末を介して表示時間管理部にアクセスし、通信端末の操作入力インターフェイスを介して行ってもよい。なお、視聴端末が通信機能と操作入力機能を備えている場合は、視聴端末を介して行ってもよい。
【００５７】
図１４は、視聴者から自身の動作を反映した映像の表示要求があった場合の処理の流れの一例を示す。まず、ステップＳ１４０１において、視聴者から自身の動作を反映した映像の表示要求があるか否か判断する。ここで、表示要求があるとの判断である場合はステップＳ１４０２に進み、表示要求がないとの判断である場合は待機する。次に、ステップＳ１４０２において、表示要求に含まれる視聴者ＩＤと希望表示時間帯の情報を取得する。次に、ステップＳ１４０３において、希望表示時間帯に空きがあるか否か判断する。当該判断は、表示時間帯とその時間帯にて表示可能な視聴者数、その時間帯で既に予約を完了した視聴者数などの情報に基づいて行う。ここで、希望表示時間帯に空きがないとの判断である場合はステップＳ１４０４Ａに進み、空きがあるとの判断である場合はステップＳ１４０４Ｂに進む。ステップＳ１４０４Ａにおいては、視聴者に対して希望表示時間帯に空きがない旨を通知する。ステップＳ１４０４Ｂにおいては、視聴者ＩＤと表示時間帯を関連付けて保持し、表示時間帯の予約が完了した旨を視聴者に対して通知する。また、その時間帯で予約が完了した視聴者数をインクリメントする処理を行う。以上の処理は、ライブ演奏などが始まる前に行うことが考えられるが、ライブ演奏などが始まった後も残りの表示時間帯についての表示要求を受け付けた際に行うことも考えられる。
【００５８】
表示制御部の「第一取得手段」は、前記表示時間管理部から前記表示時間の情報を取得する機能を有する。ここで、表示時間管理部と表示制御部が異なる独立の装置として存在している場合は、表示制御部は、有線又は無線の通信インターフェイスを介して表示時間管理部から表示時間の情報を受信し、一体の装置として存在している場合は、内部のシステムバスを介して表示時間の情報を受信する。
【００５９】
表示制御部の「時間表示制御手段」は、前記表示時間内である場合に前記視聴者の動作を反映した映像を表示するよう制御する機能を有する。ここで、表示時間内において、残り時間の長さに応じて視聴者の動作を反映した映像を変化させることも可能である。例えば、残り時間の長さに応じて視聴者の動作を反映した表示要素の透明度を上げたり（表示要素が消えていく）、表示要素の色を変化させたり、表示要素の大きさを小さくしたり、ディスプレイ内に形成される仮想空間の奥側に移動させたりすることが考えられる。
【００６０】
なお、動作情報受信部について、前記表示時間管理部から前記表示時間の情報を取得する第三取得手段と、前記表示時間内である場合に前記視聴者の動作情報を受信する制限受信手段を設ける構成も可能である。
【００６１】
また、表示時間管理部が、視聴者ＩＤとその視聴者の所有ポイントを関連付けたテーブル情報を保持する構成（ポイントテーブル保持手段）も考えられる。この場合、表示要求受付手段は、視聴者から自身の動作を反映した映像の表示要求があった場合に基準以上のポイントが残っているか否かを判断し、基準以上のポイントが残っている場合に表示要求を受け付けて、表示に必要なポイントを所有ポイントから差し引いて、上記テーブル情報を更新する処理を行う。また、基準以上のポイントが残っていない場合は、ポイント購入を指示する通知を視聴者に対して行う。また、表示時間管理部が、視聴者ＩＤとその視聴者のクレジット番号を関連付けたテーブル情報を保持する構成（クレジットテーブル保持手段）とすることで、ポイントの購入処理をよりスムーズに行うことが可能である。当該クレジット番号などの情報は、登録時において視聴者の通信端末から受信していてもよい。
【００６２】
<具体的な構成>
「表示時間管理部」は、ＣＰＵと、ＲＡＭ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ＬＡＮインターフェイスなどから構成される。「表示時間管理部」は、「表示制御部」からの表示時間の情報の送信要求に応じて、長期記憶装置に保持されている各視聴者の動作を反映した映像の表示時間の情報をＬＡＮインターフェイスを介して「表示制御部」に対して送信する。「表示制御部」はＬＡＮインターフェイスを介して表示時間の情報を受信し、各視聴者の表示時間の情報に基づいて、いずれの時間帯にいずれの視聴者の動作を反映した映像を表示すべきか判断する。そして、「表示制御部」は、各時間帯になった場合にその時間帯で表示すべき視聴者の動作情報を「動作情報受信部」からＬＡＮインターフェイスを介して受信し、当該動作情報に基づいて大型ディスプレイ装置に対する表示制御情報を生成し、「大型ディスプレイ装置」に対して送信する。「大型ディスプレイ装置」は、受信した表示制御情報に基づいて、ディスプレイに映像信号を表示出力する。なお、上記では「表示時間管理部」は「動作情報受信部」や「表示制御部」などと独立した装置として説明したが、これらは共通のハードウェアにより実現することが可能であり、一体の装置として実現してもよい。
【００６３】
<処理の流れ>
図１５は、本実施形態の映像表示システムにて実現される映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ１５０１において、表示制御端末は、ライブ演奏などを行う会場の外の視聴者の動作を反映した映像の表示時間の情報を表示時間管理サーバから取得する（表示時間情報取得ステップ）。次に、ステップＳ１５０２において、ライブ配信端末は、ライブ演奏などを行う会場の映像のライブ送信を、ライブ演奏などを行う会場外の視聴者の視聴端末からのライブ映像配信要求に応じて開始する（ライブ送信開始ステップ）。視聴端末は、ライブ送信部からのライブ映像を受信して表示する。次に、ステップＳ１５０３において、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の動作の検出を開始する（動作検出開始ステップ）。動作検出装置にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、ステップＳ１５０４において、利用者検出端末は、検出した動作を示す情報である動作情報を送信する（動作情報送信ステップ）。次に、ステップＳ１５０５において、制御側通信端末は、送信された前記視聴者の動作情報を受信する（動作情報受信ステップ）。次に、ステップＳ１５０６において、前記会場外の視聴者の動作を反映した映像の表示時間に入った場合に、前記視聴者の動作情報に基づいて、会場に設置されるディスプレイの映像を表示制御する（表示制御ステップ）。
【００６４】
<効果>
本実施形態の映像表示システムは、実施形態１、２の効果に加えて、対象となる会場外の視聴者が多数になった場合であっても、それぞれの表示時間を管理することによって各視聴者の動作を反映した表示要素をディスプレイ内に詰め込むことなく適切に表示することが可能になる。
【００６５】
<<実施形態４>>
【００６６】
<概要>
本実施形態の映像表示システムは、基本的に実施形態１、２と同様であるが、視聴者の動作を反映した映像の表示時間を管理し、表示時間内である場合に会場外の視聴者の動作情報を送信することを特徴とする。
【００６７】
<構成>
図１６は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」１６００は、「ライブ送信部」１６０１と、「動作検出部」１６０２と、「動作情報送信部」１６０３と、「動作情報受信部」１６０４と、「表示制御部」１６０５と、「表示時間管理部」１６０６と、から構成され、動作情報送信部は、「第二取得手段」１６０７と、「制限送信手段」１６０８と、を有する。以下、各構成部について説明する。
【００６８】
「表示時間管理部」は、実施形態３で説明した通りであるが、本実施形態の映像表示システムにおいては、動作情報送信部や動作検出部と共に、各視聴者や各視聴端末について複数設ける構成も考えられる。この場合、表示時間管理部は、動作情報送信部と一体の装置として実現したり、動作情報送信部にＬＡＮ接続される装置としたりすることも可能である。この場合、各表示時間管理部は限られた数の視聴者の表示時間の情報のみを保持すればよく、他の視聴者の表示時間の情報を保持する必要はない。
【００６９】
動作情報送信部の「第二取得手段」は、前記表示時間管理部から前記表示時間情報を取得する機能を有する。ここで、動作情報送信部は、有線又は無線の通信インターフェイスを介して表示時間管理部から表示時間の情報を受信する。なお、表示時間管理部が動作情報送信部と一体の装置として存在している場合は、内部のシステムバスを介して表示時間の情報を受信する。
【００７０】
動作情報送信部の「制限送信手段」は、前記表示時間内である場合に前記動作情報を送信する機能を有する。これにより、動作情報受信部は、表示時間内にある視聴者の動作情報のみを受信することになり、表示時間外の他の視聴者の動作情報を受信することがない。また、視聴者ＩＤに基づいて受信情報の選択処理などを行う必要もない。
【００７１】
なお、上記構成の他に、動作検知部が、前記表示時間管理部から前記表示時間情報を取得する第四取得手段と、前記表示時間内である場合に前記視聴者の動作を検出する制限検出手段を有する構成も可能である。この場合、動作検知部及び動作情報送信部において余分な電力消費を抑制することが可能になる。
【００７２】
<具体的な構成>
「表示時間管理部」は、ＣＰＵと、ＲＡＭ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ＬＡＮインターフェイスなどから構成される。「表示時間管理部」は、「動作情報送信部」からの表示時間の送信要求に応じて、長期記憶装置に保持されている視聴者の動作を反映した映像の表示時間の情報をＬＡＮインターフェイス又はＷＡＮインターフェイスを介して「動作情報送信部」に対して送信する。「動作情報送信部」はＬＡＮインターフェイス又はＷＡＮインターフェイスを介して表示時間の情報を受信して、視聴者の表示時間の情報に基づいて、いずれの時間帯に動作情報を送信するべきかを判断する。そして、「動作情報送信部」は、所定の時間帯になった場合に視聴者の動作情報をＷＡＮインターフェイスを介して「動作情報受信部」に対して送信する。
【００７３】
「動作情報受信部」は、ＷＡＮインターフェイスを介して動作情報を受信し、当該動作情報に基づいて表示制御情報を生成し、「大型ディスプレイ装置」に対して送信する。「大型ディスプレイ装置」は、受信した表示制御情報に基づいて、ディスプレイに映像信号を表示出力する。なお、上記では「表示時間管理部」は「動作情報送信部」などと独立した装置として説明したが、これらは共通のハードウェアにより実現することが可能であり、一体の装置として実現してもよい。
【００７４】
<処理の流れ>
図１７は、本実施形態の映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ１７０１において、利用者通信端末は、ライブ演奏などを行う会場の外の視聴者の動作を反映した映像の表示時間の情報を表示時間管理サーバから取得する。次に、ステップＳ１７０２において、ライブ配信端末は、ライブ演奏などを行う会場の映像のライブ送信を、会場外の視聴者の視聴端末からのライブ映像配信要求に応じて開始する。次に、ステップＳ１７０３において、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の動作の検出を開始する。動作検出端末にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、ステップＳ１７０４において、利用者通信端末は、前記視聴者の動作を反映した映像の表示時間に入った場合に、当該視聴者の動作を示す情報である動作情報を送信する。次に、ステップＳ１７０５において、制御側通信端末は、送信された前記視聴者の動作情報を受信する。ここで、制御側通信端末にて受信された動作情報は例えばＬＡＮインターフェイスを介して表示制御端末に伝送される。次に、ステップＳ１７０６において、表示制御端末は、前記視聴者の動作情報に基づいて、会場に設置されるディスプレイの映像を表示制御する。
【００７５】
<効果>
本実施形態の映像表示システムは、実施形態１、２の効果に加えて、表示時間内にある視聴者の動作情報のみを受信することになるため、表示時間外の視聴者の動作情報を受信することがなく、関与する装置の処理負担を軽減することが可能である。
【００７６】
<<実施形態５>>
【００７７】
<概要>
本実施形態の映像表示システムは、基本的に実施形態３、４と同様であるが、会場外の視聴者の動作を反映した映像の表示時間の継続要求を受け付けて、継続要求に応じて表示時間を継続することを特徴とする。
【００７８】
<構成>
図１８は、本実施形態の映像表示システムの機能ブロックの一例を示す図である。この図に示されているように、「映像表示システム」１８００は、「ライブ送信部」１８０１と、「動作検出部」１８０２と、「動作情報送信部」１８０３と、「動作情報受信部」１８０４と、「表示制御部」１８０５と、「表示時間管理部」１８０６とを有し、表示時間管理部は、「継続要求受付手段」１８０７と、「表示時間継続手段」１８０８と、を有する。
【００７９】
なお、図示しないが、実施形態３で説明したように、「表示制御部」が「第一取得手段」と「時間表示制御手段」を有していてもよいし、「動作情報受信部」が「第三取得手段」と「制限受信手段」を有していてもよい。また、実施形態４で説明したように、「動作情報送信部」が「第二取得手段」と「制限送信手段」を有していてもよいし、「動作検知部」が「第四取得手段」と「制限検知手段」を有していてもよい。これらのいずれかの構成によって表示時間の情報が用いられ、対象となる会場外の視聴者が多数になった場合でも、各視聴者の動作を反映した表示要素をディスプレイ内に詰め込むことなく適切に表示することが可能になる。
【００８０】
表示時間管理部の「継続要求受付手段」は、前記表示時間の継続要求を受け付ける機能を有する。ここで、表示時間の継続要求とは、視聴者の動作を反映した映像の表示時間を継続させる要求をいう。当該継続要求は、表示時間管理部の管理画面において受け付ける構成も可能であるが、動作情報に継続要求情報が含まれる態様も考えられる。
【００８１】
具体的には、動作検出部が、前記表示時間の継続要求を指示する動作を検出する継続要求動作検出手段を有し、動作情報送信部が、前記継続要求を指示する動作の情報である継続要求動作情報を送信する継続要求動作情報送信手段を有し、前記表示時間管理部の継続要求受付手段が、前記動作情報送信部から送信される前記継続要求動作情報を受信して継続要求を受け付ける構成とすることが考えられる。当該構成とすることにより、管理画面に対してアクセスして操作入力などをしなくても、視聴者は自らの動作によって表示時間の継続要求を行うことが可能になる。例えば、視聴者がぐるぐると腕を所定回数まわす動作を行った場合に、当該動作を検出して継続要求動作情報として送信するようにしてもよい。
【００８２】
表示時間管理部の「表示時間継続手段」は、前記継続要求の受け付けに応じて表示時間を継続する機能を有する。ここで、継続要求の受け付けに応じて表示時間を継続するとは、継続要求受付手段にて表示時間の継続要求を受け付けたことを条件として会場外の視聴者の動作を反映した映像の表示時間を継続することをいう。
【００８３】
なお、上記表示時間の継続要求があった場合において常にその要求を受け付けるものである必要はなく、表示時間の継続の可否を判断して継続が可能である場合にその要求を受け付けるものであってもよい。図１９は、視聴者から継続表示要求があった場合の処理の流れの一例を示す。まず、ステップＳ１９０１において、視聴者から自身の動作を反映した映像の表示時間の継続要求があるか否か判断する。ここで、継続要求があるとの判断である場合はステップＳ１９０２に進み、継続要求がないとの判断である場合は待機する。次に、ステップＳ１９０２において、表示時間の継続要求に含まれる視聴者ＩＤの情報を取得する。次に、ステップＳ１９０３において、継続時間帯に空きがあるか否か判断する。当該判断は、継続時間帯とその時間帯にて表示可能な視聴者数、その時間帯にて既に予約を完了した視聴者数などの情報に基づいて行う。ここで、継続時間帯に空きがないとの判断である場合はステップＳ１９０４Ａに進み、空きがあるとの判断である場合はステップＳ１９０４Ｂに進む。ステップＳ１９０４Ａにおいては、視聴者に対して継続時間帯に空きがない旨を通知する。ステップＳ１９０４Ｂにおいては、視聴者ＩＤと表示の継続時間帯を関連付けて保持し、表示時間を継続する旨を視聴者に対して通知する。また、その継続時間帯で予約が完了した視聴者数をインクリメントする処理を行う。
【００８４】
また、表示時間管理部が、視聴者ＩＤとその視聴者の所有ポイントを関連付けたテーブル情報を保持している場合、継続要求受付手段は、表示時間の継続要求があった場合に基準以上のポイントが残っているか否かを判断し、基準以上のポイントが残っている場合に継続要求を受け付けて、表示の継続に必要なポイントを所有ポイントから差し引いて、上記テーブル情報を更新する処理を行う。また、基準以上のポイントが残っていない場合は、ポイント購入を指示する通知を視聴者に対して行う。
【００８５】
<具体的な構成>
「表示時間管理部」は、ＣＰＵと、ＲＡＭ、ＲＯＭ、長期記憶装置、ＷＡＮインターフェイス、ＬＡＮインターフェイスなどから構成される。「表示時間管理部」は、視聴者の通信端末などからＷＡＮインターフェイスを介して、視聴者の動作を反映した映像の表示時間の継続要求を受信して、表示時間の継続が可能であるか否か判断する。さらに、表示時間の継続の可否についてＷＡＮインターフェイスを介して視聴者の通信端末に通知し、継続が可能である場合は、長期記憶装置に保存されている当該視聴者の動作を反映した映像の表示時間を継続するように更新する。そして、更新された表示時間の情報をＬＡＮインターフェイスを介して「表示制御部」に対して送信する。「表示制御部」はＬＡＮインターフェイスを介して更新された表示時間の情報を受信して、各視聴者の表示時間の情報に基づいて、いずれの時間帯にいずれの視聴者の動作を反映した映像を表示するのか改めて判断する。他の処理については、実施形態１から４で説明したものと同様である。
【００８６】
<処理の流れ>
図２０は、本実施形態の映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ２００１において、表示制御端末は、ライブ演奏などを行う会場の外の視聴者の動作を反映した映像の表示時間の情報を表示時間管理サーバから取得する（表示時間情報取得ステップ）。次に、ステップＳ２００２において、ライブ配信端末は、ライブ演奏などを行う会場の映像のライブ送信を、会場外の視聴者の視聴端末からのライブ映像配信要求に応じて開始する（ライブ送信開始ステップ）。次に、ステップＳ２００３において、動作検出装置は、操作入力部を介した検出開始操作に応じて前記会場外の視聴者の動作の検出を開始する（動作検出開始ステップ）。動作検出端末にて検出された動作データは、例えば無線インターフェイスを介して利用者通信端末に伝送される。次に、ステップＳ２００４において、利用者通信端末は、検出した動作を示す情報である動作情報を送信する（動作情報送信ステップ）。次に、ステップＳ２００５において、制御側通信端末は、送信された前記視聴者の動作情報を受信する（動作情報受信ステップ）。ここで、制御側通信端末にて受信された動作情報は例えばＬＡＮインターフェイスを介して表示制御端末に伝送される。次に、ステップＳ２００６において、表示制御端末は、前記会場外の視聴者の動作を反映した映像の表示時間に入った場合に、前記視聴者の動作情報に基づいて、会場に設置されるディスプレイの映像を表示制御する（表示制御ステップ）。次に、ステップＳ２００７において、表示時間管理サーバは、前記表示時間の継続要求を受け付ける（継続要求受付ステップ）。次に、ステップＳ２００８において、表示時間管理サーバは、前記継続要求の受け付けに応じて表示時間を継続する（表示時間継続ステップ）。
【００８７】
<効果>
本実施形態の映像表示システムは、実施形態３、４などの効果に加えて、必要に応じて視聴者の動作を反映した映像の表示時間を継続させることが可能になる。
【符号の説明】
【００８８】
０１００・１０００・１２００・１６００・１８００…映像表示システム、０１０１・１００１・１２０１・１６０１・１８０１…ライブ送信部、０１０２・１００２・１２０２・１６０２・１８０２…動作検出部、０１０３・１００３・１２０３・１６０３・１８０３…動作情報送信部、０１０４・１００４・１２０４・１６０４・１８０４…動作情報受信部、０１０５・１００５・１２０５・１６０５・１８０５…表示制御部、１２０６・１６０６・１８０６…表示時間管理部、１００６…揺動検出手段、１２０７…第一取得手段、１２０８…時間表示制御手段、１６０７…第二取得手段、１６０８…制限送信手段、１８０７…継続要求受付手段、１８０８…表示時間継続手段
【特許請求の範囲】
【請求項１】
ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムであって、
前記会場のライブ演奏などの映像を前記会場外の視聴者の視聴端末にライブ送信するライブ送信部と、
前記会場外の視聴者の動作を検出する動作検出部と、
前記動作検出部にて検出した動作を示す情報である動作情報を送信する動作情報送信部と、
前記動作情報送信部から送信される動作情報を受信する動作情報受信部と、
受信した動作情報に基づいて前記会場に設置されるディスプレイの映像を表示制御する表示制御部と、
を有する映像表示システム。
【請求項２】
前記動作検出部は、前記会場外の視聴者の揺動を検出する揺動検出手段を有する請求項１に記載の映像表示システム。
【請求項３】
前記表示制御部は、
前記動作情報に基づいて、アバターを含む映像を表示するよう制御するアバター表示制御手段を有する請求項１又は２に記載の映像表示システム。
【請求項４】
前記表示制御部は、
前記動作情報に基づいて、前記視聴者の揺動と同じ動きを示す揺動体を含む映像を表示するよう制御する揺動体表示制御手段を有する請求項２に記載の映像表示システム。
【請求項５】
前記揺動体は、コンサートライトである請求項４に記載の映像表示システム。
【請求項６】
前記視聴者の動作を反映した映像の表示時間の情報を管理する表示時間情報管理部をさらに有し、
前記表示制御部は、
前記表示時間情報管理部から前記表示時間の情報を取得する第一取得手段と、
前記表示時間内である場合に前記視聴者の動作を反映した映像を表示するよう制御する時間表示制御手段と、
を有する請求項１から５のいずれか一に記載の映像表示システム。
【請求項７】
前記視聴者の動作を反映した映像の表示時間の情報を管理する表示時間管理部をさらに有し、
前記動作情報送信部は、
前記表示時間管理部から前記表示時間情報を取得する第二取得手段と、
前記表示時間内である場合に前記動作情報を送信する制限送信手段と、
を有する請求項１から５のいずれか一に記載の映像表示システム。
【請求項８】
前記表示時間管理部は、
前記表示時間の継続要求を受け付ける継続要求受付手段と、
前記継続要求の受け付けに応じて表示時間を継続する表示時間継続手段と、
を有する請求項６又は７に記載の映像表示システム。
【請求項９】
ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示する方法であって、
前記会場のライブ演奏などの映像のライブ送信を前記会場外の視聴者の視聴端末に対して開始するライブ送信開始ステップと、
前記会場外の視聴者の動作検出を開始する動作検出開始ステップと、
前記検出した動作を示す情報である動作情報を送信する動作情報送信ステップと、
前記送信される動作情報を受信する動作情報受信ステップと、
受信した動作情報に基づいて前記会場に設置されるディスプレイの映像を表示制御する表示制御開始ステップと、
からなる映像表示方法。
【請求項１０】
ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示させるためのプログラムであって、
前記会場外の視聴者の動作を示す情報である動作情報を送信元から受信する動作情報受信ステップと、
受信した動作情報に基づいて前記会場に設置されるディスプレイの映像を表示制御する表示制御開始ステップと、
をコンピュータに実行させるための映像表示制御プログラム。
【請求項１１】
ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示させるためのプログラムであって、
前記会場外の視聴者の動作検出を開始する動作検出開始ステップと、
前記検出した動作を示す情報である動作情報を前記会場のディスプレイの表示制御を行う端末に対して送信する動作情報送信ステップと、
をコンピュータに実行させるための動作情報送信プログラム。
【請求項１】
ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示するシステムであって、
前記会場のライブ演奏などの映像を前記会場外の視聴者の視聴端末にライブ送信するライブ送信部と、
前記会場外の視聴者の動作を検出する動作検出部と、
前記動作検出部にて検出した動作を示す情報である動作情報を送信する動作情報送信部と、
前記動作情報送信部から送信される動作情報を受信する動作情報受信部と、
受信した動作情報に基づいて前記会場に設置されるディスプレイの映像を表示制御する表示制御部と、
を有する映像表示システム。
【請求項２】
前記動作検出部は、前記会場外の視聴者の揺動を検出する揺動検出手段を有する請求項１に記載の映像表示システム。
【請求項３】
前記表示制御部は、
前記動作情報に基づいて、アバターを含む映像を表示するよう制御するアバター表示制御手段を有する請求項１又は２に記載の映像表示システム。
【請求項４】
前記表示制御部は、
前記動作情報に基づいて、前記視聴者の揺動と同じ動きを示す揺動体を含む映像を表示するよう制御する揺動体表示制御手段を有する請求項２に記載の映像表示システム。
【請求項５】
前記揺動体は、コンサートライトである請求項４に記載の映像表示システム。
【請求項６】
前記視聴者の動作を反映した映像の表示時間の情報を管理する表示時間情報管理部をさらに有し、
前記表示制御部は、
前記表示時間情報管理部から前記表示時間の情報を取得する第一取得手段と、
前記表示時間内である場合に前記視聴者の動作を反映した映像を表示するよう制御する時間表示制御手段と、
を有する請求項１から５のいずれか一に記載の映像表示システム。
【請求項７】
前記視聴者の動作を反映した映像の表示時間の情報を管理する表示時間管理部をさらに有し、
前記動作情報送信部は、
前記表示時間管理部から前記表示時間情報を取得する第二取得手段と、
前記表示時間内である場合に前記動作情報を送信する制限送信手段と、
を有する請求項１から５のいずれか一に記載の映像表示システム。
【請求項８】
前記表示時間管理部は、
前記表示時間の継続要求を受け付ける継続要求受付手段と、
前記継続要求の受け付けに応じて表示時間を継続する表示時間継続手段と、
を有する請求項６又は７に記載の映像表示システム。
【請求項９】
ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示する方法であって、
前記会場のライブ演奏などの映像のライブ送信を前記会場外の視聴者の視聴端末に対して開始するライブ送信開始ステップと、
前記会場外の視聴者の動作検出を開始する動作検出開始ステップと、
前記検出した動作を示す情報である動作情報を送信する動作情報送信ステップと、
前記送信される動作情報を受信する動作情報受信ステップと、
受信した動作情報に基づいて前記会場に設置されるディスプレイの映像を表示制御する表示制御開始ステップと、
からなる映像表示方法。
【請求項１０】
ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示させるためのプログラムであって、
前記会場外の視聴者の動作を示す情報である動作情報を送信元から受信する動作情報受信ステップと、
受信した動作情報に基づいて前記会場に設置されるディスプレイの映像を表示制御する表示制御開始ステップと、
をコンピュータに実行させるための映像表示制御プログラム。
【請求項１１】
ライブ演奏などを行う会場に設置されるディスプレイに、会場外の視聴者の動作を反映した映像を表示させるためのプログラムであって、
前記会場外の視聴者の動作検出を開始する動作検出開始ステップと、
前記検出した動作を示す情報である動作情報を前記会場のディスプレイの表示制御を行う端末に対して送信する動作情報送信ステップと、
をコンピュータに実行させるための動作情報送信プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−２１４６６（Ｐ２０１３−２１４６６Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５２３１８（Ｐ２０１１−１５２３１８）
【出願日】平成２３年７月８日（２０１１．７．８）
【出願人】（５９８１３８３２７）株式会社ドワンゴ (97)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月８日（２０１１．７．８）
【出願人】（５９８１３８３２７）株式会社ドワンゴ (97)
【Ｆターム（参考）】
[ Back to top ]