イベント参加支援システムおよびイベント参加支援サーバ
【課題】参加者が、現実のイベントには参加していなくても、当該イベントに実際に参加したような感覚を得ることができるようにするイベント参加支援システムを提供する。
【解決手段】支援サーバ2と参加者側装置1とが通信ネットワークを通じて接続されるシステムである。支援サーバ2は、参加者側装置1に、イベントの少なくとも画像情報を送信する。イベントにおける参加者の所定の仮想的な参加を支援するための支援画像の画像情報を、イベントの画像情報に代えて、あるいはイベントの画像情報に重畳して、参加者側装置1に送信する。参加者側装置1は、表示手段11に表示された支援画像に対応して参加者により入力された入力情報を受け付け、支援サーバ2に送信する。支援サーバ2は、参加者により入力された入力情報を受信して、その入力情報に応じた処理を実行する。
【解決手段】支援サーバ2と参加者側装置1とが通信ネットワークを通じて接続されるシステムである。支援サーバ2は、参加者側装置1に、イベントの少なくとも画像情報を送信する。イベントにおける参加者の所定の仮想的な参加を支援するための支援画像の画像情報を、イベントの画像情報に代えて、あるいはイベントの画像情報に重畳して、参加者側装置1に送信する。参加者側装置1は、表示手段11に表示された支援画像に対応して参加者により入力された入力情報を受け付け、支援サーバ2に送信する。支援サーバ2は、参加者により入力された入力情報を受信して、その入力情報に応じた処理を実行する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えば冠婚葬祭、式典、会議、コンサートなどのイベントへの仮想的な参加を支援するイベント参加支援システムに関する。また、このイベント参加支援システムにおいて用いられるイベント参加支援サーバに関する。
【背景技術】
【0002】
冠婚葬祭、式典、会議、コンサートなどのイベントが開催される場所が参加予定者の居住地から非常に離れている場合、参加予定者はそのイベントへの参加を躊躇してしまうことがある。また、例えば病気にかかってしまった、などの参加予定者側の事情で、開催されるイベントには直接には参加できなくなる場合がある。
【0003】
このようなイベント参加が不能である事情があるにも拘らず、イベント参加予定者が、例えば結婚式を行う花嫁の祖母などの場合、当該イベント参加予定者は、是非、そのイベントをリアルタイムに見てみたいという要求がある。
【0004】
例えばテレビ電話のように、遠隔地から画像を送ってもらい、その画像を見ることが可能となっている。また、例えば特許文献1(特開2009−272717号公報)に記載されているように、遠隔会議システムも知られている。
【0005】
そこで、このような画像伝送の技術を用いて、イベントの画像を、イベントに参加できなくなった参加予定者がリアルタイムに受信してディスプレイ画面でモニターするようにして、イベントをリアルタイムに見るようにすることは可能である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−272717号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、単に、イベントのリアルタイム画像を観るというだけでは、イベントへ仮想的にであっても自分が参加しているという気分を味わうことができない。
【0008】
また、イベントが儀礼的な冠婚葬祭などの儀礼的なものである場合、当該イベントへの参加には人間関係を維持していく、社会組織の一員としての義務を果たすという側面がある。このような側面の一つとして、冠婚葬祭などのイベントの場合、受付での参加者の住所や氏名の記帳行為、祝儀袋や不祝儀袋の受け渡し行為、葬儀における焼香する行為などがある。これらの行為により、参加者は、イベントへの参加義務を果たしたという感覚を得ることができる。
【0009】
この発明は、以上の点にかんがみ、参加者が、現実のイベントには参加していなくても、当該イベントに実際に参加したような感覚を得ることができるようにすることを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、この発明は、
イベント参加支援サーバと、イベントに仮想的に参加する参加者の側に設けられ、前記イベント参加支援サーバと通信ネットワークを通じて接続される参加者側装置とを備えるイベント参加支援システムであって、
前記イベント参加支援サーバは、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備え、
前記参加者側装置は、
前記通信ネットワークを通じて受信した前記イベントの画像情報および前記支援画像情報による画像を、前記参加者に観視させるために表示する表示手段と、
前記表示手段に表示された前記支援画像に対応して前記参加者により入力された前記入力情報を受け付ける受付手段と、
前記受付手段で受け付けた前記入力情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する入力情報送信手段と、
を備えるイベント参加支援システムを提供する。
【0011】
上述の構成のこの発明によれば、イベント参加支援サーバからは、開催されるイベントの少なくとも画像情報が通信ネットワークを通じて参加者側装置に送信され、参加者側装置の表示手段に、当該イベントの画像が表示される。これにより、参加者は、イベントの画像を、例えばリアルタイムに観ることが可能になる。
【0012】
そして、イベント参加支援サーバは、イベントにおける参加者の所定の仮想的な参加を支援するための支援画像の画像情報を、イベントの画像情報に代えて、あるいはイベントの画像情報に重畳して、参加者側装置に、通信ネットワークを通じて送信する。
【0013】
参加者側装置では、受付手段において、表示手段に表示された支援画像に対応して参加者により入力された入力情報が受け付ける。そして、参加者側装置は、受付手段で受け付けた入力情報を、通信ネットワークを通じてイベント参加支援サーバに送信する。
【0014】
イベント参加支援サーバは、参加者側装置からの入力情報を受信し、その入力情報に応じた処理を実行する。
【0015】
例えば、支援画像として、冠婚葬祭の際の受付の画像が、イベント参加支援サーバから参加者側装置に送られた場合を例に取ると、参加者の受付手段で受け付けられる入力情報およびイベント参加支援サーバの対応処理手段での対応処理は以下のようなものとすることができる。
【0016】
参加者は、受信した支援画像を見ながら、受付での自分の氏名、住所の記帳(入力行為)を行うと共に、例えば金額が明記された祝儀袋や不祝儀袋を受付に手渡す操作を仮想的に行う。参加者側装置は、参加者が入力した氏名や住所の情報をイベント参加支援サーバに入力情報の一部として送る。また、参加者側装置は、仮想的に祝儀袋や不祝儀袋を受付に手渡した画像の選択操作などの情報を、入力情報の一部として、イベント参加支援サーバに送る。
【0017】
イベント参加支援サーバは、この参加者側装置からの入力情報としての参加者の氏名、住所を記憶保持すると共に、仮想的に祝儀袋や不祝儀袋が受付に手渡された操作情報に応じて、参加者の課金のための処理を行う。
【0018】
こうして、イベント参加支援サーバからの支援画像の参加者側装置への提供と、参加者側装置からの入力情報のイベント参加支援サーバへの送信というインタラクティブ(対話型)な動作により、参加者は、イベントに対して実際に参加したような感覚を得られると期待できる。
【発明の効果】
【0019】
この発明によれば、参加者は、現実のイベントには参加していなくても、当該イベントに実際に参加したような感覚を得ることができる。
【図面の簡単な説明】
【0020】
【図1】この発明によるイベント参加支援システムの第1の実施形態の構成例を示す図である。
【図2】この発明によるイベント参加支援システムの第1の実施形態における参加者側装置の構成例のブロック図である。
【図3】この発明によるイベント参加支援システムの第1の実施形態における会場側装置の構成例のブロック図である。
【図4】この発明によるイベント参加支援システムの第1の実施形態におけるイベント参加支援サーバの構成例のブロック図である。
【図5】この発明によるイベント参加支援システムの第1の実施形態における処理動作の要部を説明するために用いる図である。
【図6】図2の参加者側装置における処理動作例を説明するためのフローチャートの一部を示す図である。
【図7】図2の参加者側装置における処理動作例を説明するためのフローチャートの一部を示す図である。
【図8】図4のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図9】図4のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図10】図4のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図11】図3の会場側装置における処理動作例を説明するためのフローチャートを示す図である。
【図12】この発明によるイベント参加支援システムの第2の実施形態の構成例を示す図である。
【図13】この発明によるイベント参加支援システムの第2の実施形態におけるイベント参加支援サーバの構成例のブロック図である。
【図14】この発明によるイベント参加支援システムの第2の実施形態における処理動作の要部を説明するために用いる図である。
【図15】図13のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図16】図13のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図17】図13のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【発明を実施するための形態】
【0021】
以下、この発明によるイベント参加支援システムおよびイベント参加支援サーバの実施形態について、図を参照しながら説明する。
【0022】
[第1の実施形態]
図1は、イベント参加支援システムの第1の実施形態の概要を説明するための図である。この第1の実施形態のイベント参加支援システムにおいては、例えば開催されるイベントが結婚式であって、諸般の事情により参加できなかった参加者(以下、バーチャル参加者という)が、ライブでその結婚式を視聴することができるようにしている。
【0023】
そして、この第1の実施形態では、現実のイベント会場では、この例では、ホログラムとして映出されるように構成されている。また、バーチャル参加者は、あたかも、当該イベント会場に出向き、受け付けで記帳を行い、祝儀袋を手渡す行為を実際に行ったような感覚を得られるように構成されている。
【0024】
図1に示すように、第1の実施形態のイベント参加支援システムは、バーチャル参加者7の居場所5に設けられる参加者側装置1と、イベント参加支援サーバ2と、イベント会場6に設けられる会場側装置3とからなる。参加者側装置1、イベント参加支援サーバ2および会場側装置3は、通信ネットワーク4に接続されている。通信ネットワーク4は、インターネット、光ケーブル網、公衆電話網などを含むものである。
【0025】
この例では、参加者側装置1からイベント参加支援サーバ(以下、支援サーバと略称する)2にアクセスすることにより、参加者側装置1と支援サーバ2とは、通信ネットワーク4を通じて接続される。また、支援サーバ2と会場側装置3とのいずれか一方から他方にアクセスすることにより、支援サーバ2と会場側装置3とは、通信ネットワーク4を通じて接続される。
【0026】
参加者側装置1は、参加者側処理装置10と、ディスプレイ装置11と、操作部12と、マイクロホン13とを備えて構成されている。参加者側処理装置10は、支援サーバ2とのやり取りをするために通信ネットワーク4に接続されている。ディスプレイ装置11は、参加者側処理装置10に接続され、支援サーバ2から送られてくる画像情報による表示画像をその表示画面に表示する。なお、このディスプレイ装置11は、音声再生用のスピーカを内蔵しており、この例では、マルチサラウンド音声、例えば5.1チャンネルのサラウンド音声を音響再生することができるものとされている。
【0027】
操作部12は、参加者側処理装置10に接続され、バーチャル参加者7からの操作入力を受け付け、その操作入力情報を参加者側処理装置10に供給する。この例では、操作部12は、タッチパネルを具備しており、バーチャル参加者7によるタッチペンを使用した文字入力操作を受け付け、参加者側処理装置10にその操作入力情報を供給する機能を備える。また、この例では、操作部12は、ジャイロを備え、バーチャル参加者7が当該操作部12を持ちながらの動き(バーチャル参加者7の所作)を検出して、その検出情報を参加者側処理装置10に供給する機能も備えている。
【0028】
マイクロホン13は、参加者側処理装置10に接続され、バーチャル参加者7が発声する音声を収音して音声信号に変換し、その音声信号を参加者側処理装置10に供給する。なお、この例では、マイクロホン13は、その音声収音動作をオン・オフするスイッチを備え、バーチャル参加者7が当該スイッチをオン状態にしたときに、音声の収音動作をする。
【0029】
会場側装置3は、会場側処理装置30と、撮像装置31と、マイクロホン32と、ホログラム映出装置33と、スピーカ34とを備えて構成されている。会場側処理装置30は、支援サーバ2とのやり取りをするために通信ネットワーク4に接続されている。撮像装置31は、この例では、3Dカメラ(3次元立体画像カメラ)からなり、イベント会場6での結婚式イベントを撮像して、その3D撮像画像を会場側処理装置30に供給する。マイクロホン32は、イベント会場6での結婚式イベントの音声を収音して音声信号に変換し、その音声信号を会場側処理装置30に供給する。図1では、1本のマイクロホン32のみを示しているが、イベント会場6の音声を臨場感のあるものとして、例えば5.1チャンネルのサラウンド音声を収音するため、マイクロホン32は6本のマイクロホンからなる。
【0030】
ホログラム映出装置33は、支援サーバ2から送られてくるホログラム映出用の画像情報に基づいて、バーチャル参加者7のホログラム35を映出する装置である。スピーカ34は、支援サーバ2から送られてくるバーチャル参加者7の音声信号を音響再生するための音響再生手段を構成する。スピーカ34は、バーチャル参加者7のホログラム35の近傍に配設されている。
【0031】
次に、参加者側装置1、支援サーバ2および会場側装置3の詳細構成例について説明する。
【0032】
<参加者側装置1の構成例>
図2は、参加者側装置1の参加者側処理装置10の具体構成例を説明するためのブロック図である。この例の参加者側処理装置10は、例えばパーソナルコンピュータで構成されており、システムバス100に対してCPU(Central Processing Unit)101と、プログラム等を格納するROM(Read Only Memory)102と、ワークエリアとして働くRAM(Random Access Memory)103とが接続されている。
【0033】
また、システムバス100には、さらに、通信インターフェース104、受信処理部105、送信処理部106、画像・音声処理部107、操作部インターフェース108、音声入力インターフェース109、が接続されている。
【0034】
CPU101は、この参加者側処理装置10の全体の動作を制御するものである。ROM102には、この参加者側処理装置10における後述するようなバーチャル参加者によるイベントへの仮想的な参加(バーチャル参加)を支援するためのプログラムが予め記憶されている。例えば、ROM2には、操作部12からのタッチパネルを通じて入力された文字をディスプレイ装置11の画面に表示するためのプログラムや、入力された文字をテキストデータに変換して、支援サーバ2に送信するためのプログラムなどが記憶されている。CPU101は、RAM103をワークエリア用のメモリとして用いて、このROM102のプログラムにしたがった制御処理を実行する。
【0035】
通信インターフェース104は、通信ネットワーク4と接続して、支援サーバ2と通信を行うためのものである。受信処理部105は、通信インターフェース104を通じて支援サーバ2から受け取った情報から、画像情報や音声情報を抽出して、画像・音声処理部107に供給する機能を備える。送信処理部6は、支援サーバ2に送信する情報を生成して、通信インターフェース104を通じて送出する機能を有する。なお、受信処理部105および送信処理部106は、CPU101が、ROM102のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【0036】
画像・音声処理部107は、受信処理部105から受け取った画像情報および音声情報をディスプレイ装置11に送出する。この例では、前述したように、会場側装置3からの画像情報は、3D画像情報であり、バーチャル参加者7は、いわゆる3D用メガネ8を装着して、ディスプレイ装置11の表示画面を見ることにより、イベント会場の画像を立体画像として観視できる。また、音声情報は、5.1チャンネルサラウンド音声などのマルチチャンネルサラウンド音声なので、バーチャル参加者7は、イベント会場の音声を臨場感豊に、聴取することができる。
【0037】
操作部インターフェース108には、操作部12が接続され、バーチャル参加者7による操作入力情報(操作部12の動きの情報を含む)が、この操作部インターフェース108を通じてシステムバス100に送出される。CPU101は、操作部インターフェース108を通じて入力される操作入力情報を監視し、タッチパネルを通じた文字入力や、ジャイロにより検知されたバーチャル参加者の動きに応じた操作部12の動きなどを検出する。
【0038】
音声入力インターフェース109には、マイクロホン13が接続されている。この例のマイクロホン13は、前述したように、音声収音動作のオン・オフスイッチがオンとされたときにのみ、バーチャル参加者7が発声する音声を収音して、その収音音声信号を、音声入力インターフェース109を通じてシステムバス100に入力する。入力された音声信号は、送信処理部106で送信信号とされ、通信インターフェース104を通じて支援サーバ2に送信される。
【0039】
<会場側装置3の構成例>
図3は、会場側装置3の会場側処理装置30の具体構成例を説明するためのブロック図である。この例の会場側処理装置30は、例えばパーソナルコンピュータで構成されており、システムバス300に対してCPU301と、プログラム等を格納するROM302と、ワークエリアとして働くRAM303とが接続されている。
【0040】
また、システムバス300には、さらに、通信インターフェース304、受信処理部305、送信処理部306、撮像装置インターフェース307、音声入力インターフェース108、音声出力インターフェース109、ホログラム用画像データ格納部310、ホログラム映出装置インターフェース311、が接続されている。
【0041】
CPU301は、この会場側処理装置30の全体の動作を制御するものである。ROM302には、この会場側処理装置30における後述するようなイベント会場のリアルタイム画像や音声(ライブ画像・音声)を支援サーバ2に送信する処理、支援サーバ2から受信したバーチャル参加者のホログラムを映出する処理、支援サーバ2から受信したバーチャル参加者の音声をスピーカ34で音響再生する処理等のプログラムが予め記憶されている。CPU301は、RAM303をワークエリア用のメモリとして用いて、このROM302のプログラムにしたがった制御処理を実行する。
【0042】
通信インターフェース304は、通信ネットワーク4と接続して、支援サーバ2と通信を行うためのものである。受信処理部305は、通信インターフェース304を通じて支援サーバ2から受け取った情報を、撮像装置インターフェース307、ホログラム用画像データ格納部310および音声出力インターフェース309に供給する機能を有する。送信処理部6は、撮像装置31からの撮像画像情報(ライブ画像情報)およびマイクロホン32からの音声情報(ライブ音声情報)を、支援サーバ2に送信する形態に変換して、通信インターフェース104を通じて送出する機能を備える。なお、受信処理部305および送信処理部306は、CPU301が、ROM302のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【0043】
撮像装置インターフェース307は撮像装置31に接続され、CPU301の制御に従い、撮像装置31で撮像されて得られる3D撮像画像情報を送信処理部306に転送する。また、撮像装置インターフェース307は、CPU301の制御に従い、受信処理部305で受信された撮像方向やズームの変更制御信号を、撮像装置31に供給する。
【0044】
音声入力インターフェース308はマイクロホン32に接続され、CPU301の制御に従い、マイクロホン32で収音されて得られる音声情報(マルチサラウンド音声情報)を送信処理部306に転送する。
【0045】
ホログラム用画像データ格納部310は、支援サーバ2から送られてくるバーチャル参加者のホログラム用画像データを格納する。そして、CPU301は、イベントが実行されている間は、このホログラム用画像データ格納部310からバーチャル参加者のホログラム用画像データを読み出して、ホログラム映出装置インターフェース311に供給するように制御する。
【0046】
ホログラム映出装置インターフェース311には、ホログラム映出装置33が接続されており、バーチャル参加者のホログラム用画像データを、このホログラム映出装置33に送出する。ホログラム映出装置33は、この画像データを受けて、バーチャル参加者のホログラムを、イベント会場6において予め設定された位置に映出する。
【0047】
<支援サーバ2の構成例>
図4は、支援サーバ2の具体構成例を説明するためのブロック図である。この例の支援サーバ2は、例えばパーソナルコンピュータで構成されており、システムバス200に対してCPU201と、プログラム等を格納するROM202と、ワークエリアとして働くRAM203とが接続されている。
【0048】
また、システムバス200には、さらに、通信インターフェース204、バーチャル参加者情報記憶部205、受信情報分配部206、受信画像・音声情報処理部207、モニターインターフェース208、支援画像・音声情報生成部209、参加者向送信情報生成部210、会場向送信情報生成部211、バーチャル参加者操作解析部212、バーチャル参加者決済処理部213、操作部インターフェース214、が接続されている。
【0049】
CPU201は、この支援サーバ2の全体の動作を制御するものである。ROM202には、この支援サーバ2における後述するようなバーチャル参加者によるイベントへの仮想的な参加(バーチャル参加)を支援するためのプログラムが予め記憶されている。例えば、ROM2には、会場側装置3から送られてくるイベント会場6におけるイベントのライブ画像および音声を、参加者側装置1に送信するプログラム、支援画像・音声情報を生成して参加者側装置1に対して送信するためのプログラム、参加者側装置1からの情報を会場側装置3に送信するプログラムなどが記憶されている。CPU201は、RAM203をワークエリア用のメモリとして用いて、このROM202のプログラムにしたがった制御処理を実行する。
【0050】
通信インターフェース204は、通信ネットワーク4と接続して、参加者側装置1や会場側装置3と通信を行うためのものである。
【0051】
バーチャル参加者情報記憶部205は、予め、イベントに対してバーチャル参加する参加者についての情報を記憶する。バーチャル参加者情報は、この例では、イベント識別子とバーチャル参加者識別子との対応情報と、バーチャル参加者7のホログラム用画像データと、バーチャル参加者7の金銭についての決済処理のための情報とを含む。
【0052】
イベント識別子とバーチャル参加者識別子とは、バーチャル参加者7によるバーチャル参加の申し込みが支援サーバ2に対してなされたとき、支援サーバ2の運営サービス事業者から、バーチャル参加者7に対して予め通知される。これらの識別子は、いずれのバーチャル参加者がいずれのイベントに参加するかを特定するための情報であり、バーチャル参加者7が、イベントにバーチャル参加するために支援サーバ2にアクセスする際に必要となる。
【0053】
バーチャル参加者7のホログラム用画像データは、支援サーバ2の運営サービス事業者により作成される。すなわち、バーチャル参加者7によるバーチャル参加の申し込みが支援サーバ2に対してなされたとき、支援サーバ2の運営サービス事業者は、バーチャル参加者7を撮影し、ホログラム用画像データを予め作成して、このバーチャル参加者情報記憶部205に記憶保持しておく。そして、イベントの開始時に、支援サーバ2は、このバーチャル参加者情報記憶部205に記憶保持されているホログラム用画像データを、会場側処理装置30に通信ネットワーク4を通じて送信する。会場側処理装置30は、受信したホログラム用画像データをホログラム用画像データ格納部310に格納して、イベント開催中は、それを読み出してホログラムとして映出する。
【0054】
バーチャル参加者7の金銭についての決済処理のための情報は、支払い方法と、それに付随する情報であり、クレジット払いの時にはクレジット番号が含まれ、振込み払い等のときには、請求書の宛先情報が含まれている。
【0055】
受信情報分配部206は、通信インターフェース104を通じて参加者側処理装置10や会場側処理装置30から受け取った情報を仕分けして、対応する各部に分配する。すなわち、受信情報分配部206は、会場側処理装置30から受信した撮像画像情報および音声情報は、受信画像・音声情報処理部207に供給する。また、受信情報分配部206は、参加者側処理装置10から受け取ったバーチャル参加者7の操作入力情報は、バーチャル参加者操作解析部212に供給する。さらに、受信情報分配部206は、参加者側処理装置10から受け取ったバーチャル参加者7の音声信号は、会場向送信情報生成部211に供給する。
【0056】
受信画像・音声情報処理部207は、会場側処理装置30からのライブ画像情報およびライブ音声情報を、参加者向送信情報生成部210に供給すると共に、モニター装置215で、再生モニターできる形式の情報に変換して、モニターインターフェース208に供給する。
【0057】
モニターインターフェース208には、モニター装置215が接続されている。モニターインターフェース208は、受信画像・音声情報処理部207からのライブ画像情報およびライブ音声情報をモニター装置215に供給する。モニター装置215は、受け取ったライブ画像情報およびライブ音声情報による画像および音声をモニター再生する。これにより、支援サーバ2のオペレータは、イベント会場の様子をリアルタイムにチェックすることができる。
【0058】
支援画像・音声情報生成部209は、バーチャル参加者7が、イベント会場で行われているイベントに、擬似的に参加しているような感覚を持つことができるようにするための支援画像・音声情報を生成する。そして、支援画像・音声情報生成部209は、操作部216を通じたオペレータの指示に基づいて、生成した支援画像・音声情報を参加者向送信情報生成部210に供給する。
【0059】
支援画像・音声情報生成部209は、この例では、イベント会場である結婚式場の受付におけるバーチャル参加者7の仮想的なイベント参加操作を支援する支援画像・音声情報を生成する。この受付の支援画像・音声情報は、イベント会場6での実際の受付を撮影した画像を含むものとして生成されるとリアルなものとなるが、全て、仮想的な画像として生成しても勿論よい。支援画像・音声情報生成部209は、この例では、支援画像情報による画像中に、バーチャル参加者7の分身となる人物キャラクター像(以下、アバターという)を登場させ、そのアバターがバーチャル参加者7の操作部12を用いた所作に応じた所作をするように、支援画像情報を生成する。
【0060】
なお、アバターとして用いられるキャラクター像は、2次元画像あるいは3次元画像のアニメーション画像として生成することができる。その場合に、バーチャル参加者7の撮像画像などが支援サーバ2に提供されれば、支援サーバ2は、その撮像画像をアバターに反映させることで、バーチャル参加者7本人に似せたアバターを生成することもできる。
【0061】
また、この例では、バーチャル参加者7が、お祝いのスピーチをすることができるように構成されている。バーチャル参加者7のスピーチ音声は、マイクロホン13で収音されて、支援サーバ2を通じて会場側処理装置30に供給され、スピーカで音響再生される。このバーチャル参加者7のスピーチの際にも、支援画像・音声情報生成部209は、イベント会場の画像情報に重畳して表示するアバターを生成するようにする。
【0062】
参加者向送信情報生成部210は、操作部216を通じたオペレータの指示に従い、受信画像・音声情報処理部207からのイベント会場のライブ画像情報およびライブ音声情報と、支援画像・音声情報生成部209からの支援画像・音声情報とから参加者側処理装置10に送る参加者向送信情報を生成する。
【0063】
すなわち、操作部216からのオペレータの指示が、「ライブ画像・音声送信」であるときには、参加者向送信情報生成部210は、受信画像・音声情報処理部207からのイベント会場のライブ画像情報およびライブ音声情報のみを、参加者向送信情報として生成する。
【0064】
また、操作部216からのオペレータの指示が、「受付支援」であるときには、参加者向送信情報生成部210は、その「受付支援」の指示期間の間は、ライブ画像情報およびライブ音声情報に代えて、支援画像・音声情報生成部209からの受付の支援画像・音声情報を、参加者向送信情報として生成する。さらに、操作部216からのオペレータの指示が、「スピーチ支援」であるときには、参加者向送信情報生成部210は、その「スピーチ支援」の指示期間の間は、ライブ画像情報に支援画像・音声情報生成部209からのアバターの画像情報を重畳した画像情報とライブ音声信号とを、参加者向送信情報として生成する。なお、バーチャル参加者7のスピーチの際には、参加者側装置1におけるバーチャル参加者7は、音声のハウリングを防ぐため、ライブ音声は、ヘッドホンで聴取するようにする。
【0065】
参加者向送信情報生成部210は、以上のようにして生成した参加者向送信情報を、参加者側処理装置10を送信先として、通信インターフェース204を通じて通信ネットワーク4に送出するようにする。
【0066】
会場向送信情報生成部211は、受信情報分配部206からのバーチャル参加者7の音声情報を会場向情報として生成する。会場向送信情報生成部211は、また、バーチャル参加者操作解析部212からの撮像装置31の向き(パンやチルトなどの撮像方向)やズームの制御信号を会場向情報として生成する。
【0067】
そして、会場向送信情報生成部211は、以上のようにして生成した会場向送信情報を、会場側処理装置30を送信先として、通信インターフェース204を通じて通信ネットワーク4に送出するようにする。
【0068】
バーチャル参加者操作解析部212は、参加者側処理装置10からのバーチャル参加者7の操作部12の操作入力情報を解析し、バーチャル参加者7による受付での記帳操作の情報は、支援画像・音声情報生成部209に送る。これを受けた支援画像・音声情報生成部209は、アバターが記帳動作をしているように、受付の支援画像を生成する。また、バーチャル参加者7の操作部12の操作入力情報が、祝儀袋に入れる金額の指定情報であり、かつ、祝儀袋を受け渡しする所作を示すものであるときには、バーチャル参加者操作解析部212は、金額情報をバーチャル参加者決済処理部213に供給すると共に、祝儀袋を受け渡しする所作を示す情報を支援画像・音声情報生成部209に送る。
【0069】
バーチャル参加者決済処理部213は、バーチャル参加者操作解析部212から受け取った金額情報で示される金額を、バーチャル参加者情報記憶部205から取得した決済処理のための情報に基づいて、決済処理する。
【0070】
また、支援画像・音声情報生成部209は、バーチャル参加者操作解析部212から受け取った祝儀袋の受け渡し所作の情報に従い、アバターが、祝儀袋を受け渡しする所作をしているように、受付の支援画像を生成する。
【0071】
操作部インターフェース214は、操作部216に接続されており、前述した支援サーバ2のオペレータの操作部216を通じた操作入力を、システムバス200を通じてCPU201に伝達する。
【0072】
なお、図4において、受信情報分配部206、受信画像・音声情報処理部207、支援画像・音声情報生成部209、参加者向送信情報生成部210、会場向送信情報生成部211、バーチャル参加者操作解析部212、バーチャル参加者決済処理部213、などの各部は、CPU101が、ROM102のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【0073】
<イベント参加支援システムにおける動作の概要>
バーチャル参加者7は、支援サーバ2の運営者にバーチャル参加を申し込み、イベント識別子と、バーチャル参加者識別子を取得すると共に、自分のホログラム用画像データを作成してもらう。支援サーバ2は、イベント識別子とバーチャル参加者識別子と、ホログラム用画像データをバーチャル参加者情報記憶部205に保持する。
【0074】
支援サーバ2の運営サービス事業者は、イベント会場6に会場側装置3を設置し、イベントのライブ情報の送信が可能となったら、準備OKを支援サーバ2に通知しておく。
【0075】
このような環境において、イベント開催時刻に合わせてバーチャル参加者7が、参加者側処理装置10を通じて支援サーバ2にアクセスすると、支援サーバ2は、バーチャル参加者識別子、イベント識別子を確認した後、バーチャル参加者7に対するイベント支援処理を開始する。
【0076】
先ず、支援サーバ2のオペレータは、操作部216を通じて「受付支援」を指示入力する。支援サーバ2は、この指示入力に応じて、支援画像・音声情報生成部209で、例えばイベント会場6の受付を予め撮影した画像を含む受付の支援画像・音声情報を生成し、参加者側処理装置10に、通信ネットワーク4を通じて送信する。参加者側処理装置10は、受信した支援画像・音声情報をディスプレイ装置11に供給して、その支援画像および音声を再生する。
【0077】
この受付の支援画像の例を図5に示す。支援サーバ2は、この例では、支援画像・音声情報生成部209で、会場側装置3の撮像装置31およびマイクロホン32で取得された受付の画像および音声情報を支援画像・音声情報として生成する(図5(A)参照)。
【0078】
次に、支援画像・音声情報生成部209は、受付での参加者の記帳画面を生成すると共に、「本日は、ご列席ありがとうございます。記帳をお願いします。」という内容の音声情報(図5(B)参照)を生成する。参加者向送信情報生成部210は、この支援画像・音声情報を、ネットワーク4を通じて参加者側処理装置10に送る。
【0079】
バーチャル参加者7が、これに対応して、操作部12を通じて記帳操作を行うと、参加者側処理装置10は、その記帳操作の情報を支援サーバ2に送る。支援サーバ2の支援画像・音声情報生成部209は、この操作入力情報を、バーチャル参加者操作解析部212を通じて受け取ると、アバターがその操作入力に応じて記帳をしているような動作をするように動く支援画像(図5(C)参照)を生成する。参加者向送信情報生成部210は、生成された支援画像・音声情報を、ネットワーク4を通じて参加者側処理装置10に送る。なお、バーチャル参加者7に実際に入力された記帳文字情報は、参加者側処理装置10で判別されて、テキスト情報に変換されて、支援サーバ2に送られる。支援サーバ2は、このテキスト情報を、バーチャル参加者情報記憶部205に記憶保持するようにする。
【0080】
次に、支援画像・音声情報生成部209は、祝儀袋を表示すると共に、バーチャル参加者7が金額を入力するための画像を生成する(図5(D)参照)。この画像には、併せて「金額を入力して下さい」というメッセージを表示する。バーチャル参加者7が、これに対応して、操作部12を通じて金額の入力操作を行うと、その操作入力情報が、支援サーバ2に送られる。
【0081】
支援サーバ2では、この金額の操作入力がバーチャル参加者操作解析部212で判別され、金額情報がバーチャル参加者決済処理部213に送られる。
【0082】
次に、バーチャル参加者7が、受付に祝儀袋を提出する所作を、操作部12を用いて行うと、その所作の操作入力情報が、参加者側処理装置10から支援サーバ2に送られる。
【0083】
支援サーバ2の支援画像・音声情報生成部209は、この操作入力情報を、バーチャル参加者操作解析部212を通じて受け取り、支援画像のアバターの動きに反映させる(図5(E)参照)。そして、支援サーバ2のバーチャル参加者操作解析部212は、この祝儀袋の受付への提出動作を、金銭の受け渡し完了と判断し、その判断結果をバーチャル参加者決済処理部213に通知する。
【0084】
支援サーバ2のバーチャル参加者決済処理部213は、バーチャル参加者情報記憶部205の当該バーチャル参加者7の決済方法を参照して、その決済方法に応じた決済を実行するようにする。
【0085】
次に、支援画像・音声情報生成部209は、記帳および祝儀袋の受け渡しの完了したバーチャル参加者に対する応答の画像を生成し(図5(F)参照)、さらに、イベント会場内に案内する画像を生成する(図5(G)参照)。これらが、参加者向送信情報生成部210から、通信インターフェース204および通信ネットワーク4を通じて参加者側処理装置10に送信される。
【0086】
そして、支援サーバ2の参加者向送信情報生成部210は、図5(G)のイベント会場内に案内する支援画像の後には、受信画像・音声情報処理部207からのライブ画像情報(図5(H)参照)およびライブ音声情報を、通信ネットワーク4を通じて参加者側処理装置10に供給するようにする。
【0087】
以上のような受付の支援画像・音声により、バーチャル参加者7は、あたかもイベント会場で受付を済ませたような感覚を得ることができる。
【0088】
この受付の支援画像が終了すると、オペレータは、操作部216を通じて「ライブ画像・音声送信」を指示入力する。この指示入力に応じて、支援サーバ2は、その後は、バーチャル参加者7のスピーチの順番になるまで、イベント会場6のライブ画像情報およびライブ音声情報を、参加者側処理装置10に送信する。
【0089】
そして、バーチャル参加者7のスピーチの順番になると、イベント会場の司会者から、バーチャル参加者7のスピーチがあることが伝えられると共に、オペレータにより操作部216を通じて「スピーチ支援」が指示入力される。この指示入力に応じて、支援サーバ2は、支援画像・音声情報生成部209により、「マイクロホンをオンにして、スピーチしてください」などのように、バーチャル参加者7にスピーチを実行するように促すメッセージ画像および音声を生成させ、そのメッセージ画像および音声を、ライブ画像およびライブ音声に重畳して、参加者側処理装置10に送信する。
【0090】
参加者側処理装置10は、これを受けて、ディスプレイ装置11において、前記メッセージを画像表示および音響再生する。このメッセージに応じてバーチャル参加者7が、マイクロホン13を通じてスピーチを行うと、参加者側処理装置10は、その音声情報を支援サーバ2に送る。
【0091】
支援サーバ2では、この音声情報を受信し、会場向送信情報生成部211が、そのバーチャル参加者7の音声信号を、通信インターフェース204を通じて会場側処理装置30に送信する。
【0092】
会場側処理装置30は、受信した音声情報をスピーカ34により音響再生する。このスピーカ34は、バーチャル参加者7のホログラムの近傍に配設されているので、バーチャル参加者7が、あたかもスピーチを述べているようになる。
【0093】
このとき支援画像・音声情報生成部209は、アバターがスピーチを行っているように振舞う支援画像を生成して、それを参加者向送信情報生成部210に供給する。参加者向送信情報生成部210は、ライブ画像に、支援画像・音声情報生成部209で生成されたアバターを重畳して表示する画像を生成し、それを参加者側処理装置10に送る。
【0094】
参加者側処理装置10のディスプレイ11には、アバターがスピーチをしているように振舞っている画像が表示される。これにより、バーチャル参加者7は、自分がイベント会場であたかもスピーチしているような感覚を得ることができる。
【0095】
そして、イベントが終了すれば、支援サーバ2から参加者側処理装置10へのライブ画像情報およびライブ音声情報の送信が停止し、支援サーバ2によるイベント参加支援サービスが終了となる。
【0096】
<イベント参加支援システムの各部の処理動作例>
〔参加者側処理装置10における処理動作例〕
図6および図7に、以上のようなシステム動作を実現するためになされる参加者側処理装置10での処理動作例のフローチャートを示す。この図6および図7の各ステップの処理は、CPU101がROM102のプログラムにしたがって実行するものである。
【0097】
CPU101は、バーチャル参加者7により、操作部12を通じた支援サーバ2へのアクセス指示がなされるのを待ち(ステップS101)、アクセス指示がなされたと判別したときには、支援サーバ2から送られてくるイベント識別子およびバーチャル参加者識別子の入力画面を受信する(ステップS102)。
【0098】
そして、CPU101は、バーチャル参加者7による操作部12を通じたイベント識別子およびバーチャル参加者識別子の入力完了を待ち(ステップS103)、識別子の入力が完了したと判別したときには、入力されたイベント識別子およびバーチャル参加者識別子を支援サーバ2に送る(ステップS104)。
【0099】
イベント識別子およびバーチャル参加者識別子が正しければ、支援サーバ2からはイベント開始準備がOKであるかNGであるかのいずれかが送られてくる。そこで、CPU101は、イベント開始準備OKを受信したか否か判別し(ステップS105)、イベント開始準備OKを受信してはいないと判別したときには、「しばらくお待ちください」をディスプレイ画面に表示して、ステップS105に戻る。
【0100】
そして、ステップS105で、イベント開始準備OKを受信したと判別したときには、CPU101は、イベントの受付のための手続の支援画像・音声情報を受信する(ステップS107)。そして、CPU101は、操作部12を通じてバーチャル参加者7による操作入力情報を受け付けたか否か判別する(ステップS108)。
【0101】
ステップS108で、操作部12を通じてバーチャル参加者7による操作入力情報を受け付けたと判別したときには、CPU101は、バーチャル参加者7の操作入力情報を、通信ネットワーク4を通じて支援サーバ2に送信する(ステップS109)。そして、次に、CPU101は、支援サーバ2からの通知情報により、支援画像・音声情報が終了したか否か判別し(ステップS110)、終了していないと判別したときには、ステップS107に戻り、このステップS107以降の処理を繰り返す。また、ステップS108で、操作部12を通じてバーチャル参加者7による操作入力情報を受け付けていないと判別したときには、ステップS109をバイパスして、ステップS110に進み、このステップS110以降の処理を繰り返す。
【0102】
ステップS109で、支援画像・音声情報が終了したと判別したときには、CPU101は、支援サーバ2からのライブ画像情報およびライブ音声情報を受信して、イベント会場6のライブ画像(3D画像)および音声(マルチサラウンド音声)のモニター再生を開始する(図7のステップS121)。
【0103】
そして、CPU101は、バーチャル参加者7から、操作部12を通じた撮像装置31の向きやズームの変更指示を受け付けたか否か判別し(ステップS122)、受け付けたと判別したときには、支援サーバ2に、撮像装置31の向きやズームの変更指示情報を送信する(ステップS123)。
【0104】
ステップS122で、バーチャル参加者7から、操作部12を通じた撮像装置31の向きやズームの変更指示を受け付けてはいないと判別したとき、また、ステップS123の次には、CPU101は、マイクロホン13がオンとされて、音声信号が入力されたか否か判別する(ステップS124)。
【0105】
すなわち、ライブ画像およびライブ音声には、バーチャル参加者7がスピーチを行う場面になると、前述したように、オペレータの「スピーチ支援」の指示入力に応じて、バーチャル参加者7に対してスピーチを実行するように促すメッセージが重畳されて送られてくる。これに応じて、バーチャル参加者7は、マイクロホン13をオンにして、スピーチ入力を実行する。そして、マイクロホン13からの音声信号の入力が検知されたときには、CPU101は、支援サーバ2に、当該マイクロホン13で収音されたバーチャル参加者7の音声信号を送信する(ステップS125)。
【0106】
次に、CPU101は、イベントが終了したか否かを支援サーバ2からの終了通知があったか否かにより判別する(ステップS126)。ステップS126で、イベントが終了してはいないと判別したときには、CPU101は、ステップS122に戻り、このステップS122以降の処理を繰り返す。
【0107】
ステップS126で、イベントが終了したと判別したときには、CPU101は、支援サーバ2からの情報の受信を停止して、イベント終了をディスプレイ表示や音声報知によりバーチャル参加者7に報知する(ステップS127)。そして、CPU101は、支援サーバ2との通信路を切断し(ステップS128)、この処理ルーチンを終了する。
【0108】
〔支援サーバ2における処理動作例〕
図8〜図10に、上述のようなシステム動作を実現するためになされる支援サーバ2での処理動作例のフローチャートを示す。この図8〜図10の各ステップの処理は、ROM202のプログラムにしたがってCPU201が各部を制御して実行するものである。
【0109】
支援サーバ2のCPU201は、参加者側処理装置10からのアクセスの受信を待ち(ステップS201)、参加者側処理装置10からのアクセスを受信したと判別したときには、イベント識別子およびバーチャル参加者識別子の入力画面を、参加者向送信情報生成部210に生成させて、参加者側処理装置10に送信させる(ステップS202)。
【0110】
そして、CPU201は、参加者側処理装置10から送られてくるイベント識別子およびバーチャル参加者識別子を受信し(ステップS203)、対応するイベントを判定し、当該イベントの開始準備ができているかどうかをチェックする(ステップS204)。そして、CPU201は、そのチェックの結果、イベント開始準備がOKであるか否か判別し(ステップS205)、イベント開始準備がOKではないと判別したときには、参加者側処理装置10にイベント開始準備NGを送信し(ステップS206)、ステップS204に戻る。
【0111】
ステップS205で、イベント開始準備がOKであると判別したときには、CPU201は、オペレータの「受付支援」の指示入力に応じて、支援画像・音声情報生成部209および参加者向送信情報生成部210を制御して、イベント会場の受付のための支援画像・音声情報を生成させると共に、生成させた支援画像・音声情報を参加者処理装置10に送信させる(ステップS207)。
【0112】
次に、CPU201は、参加者側処理装置10からの受信を監視し、受信があったときには、受信情報分配部206を制御し、その受信情報がバーチャル参加者7の操作入力情報であるか否か判別させる(ステップS208)。
【0113】
ステップS208で、受信情報がバーチャル参加者7の操作入力情報であると判別されたときには、CPU201は、受信した操作入力情報をバーチャル参加者操作解析部212で解析させる。バーチャル参加者操作解析部212は、その解析結果を支援画像・音声情報生成部209やバーチャル参加者情報記憶部205に供給する。支援画像・音声情報生成部209は、バーチャル参加者7の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者7の操作入力情報を支援画像に反映する。また、バーチャル参加者情報記憶部205は、バーチャル参加者7により入力された記帳情報などを記憶する(ステップS209)。
【0114】
ステップS208で、受信情報がバーチャル参加者7の操作入力情報ではないと判別したとき、また、ステップS209の次には、CPU201は、支援画像・音声情報生成部209での支援画像・音声情報の生成処理が終了したか否か判別し(ステップS210)、終了していないと判別したときには、ステップS207に戻って、このステップS207以降の処理を繰り返す。
【0115】
そして、ステップS210で、オペレータの操作部216を通じて「ライブ画像・ライブ音声」の指示入力に応じて、支援画像・音声情報の生成処理を終了したと判別したときには、CPU201は、バーチャル参加者操作解析部212の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者7による仮想の金銭の受け渡し行為があったか否か判別する(ステップS221)。このステップS221において、バーチャル参加者7による仮想の金銭の受け渡し行為があったと判別したときには、CPU201は、バーチャル参加者決済処理部213に、当該バーチャル参加者7についての金銭の受け渡しの決済処理をするように制御指示する(ステップS222)。
【0116】
次に、CPU201は、会場側処理装置30に通信ネットワーク4を通じてアクセスし、通信路を生成する(ステップS223)。そして、CPU201は、会場側処理装置30から送られてくるライブ撮像画像情報およびライブ音声情報の参加者側処理装置10への送信を開始させるように、受信情報分配部206、受信画像・音声情報処理部207および参加者向送信情報処理部210を制御する(ステップS224)
そして、CPU201は、バーチャル参加者情報記憶部205からバーチャル参加者7のホログラム用画像データを読み出して、会場側処理装置30に送信するように会場向送信情報生成部211および通信インターフェース204を制御する(ステップS225)。
【0117】
そして、CPU201は、受信情報分配部206で参加者側処理装置10からの情報を受信したかどうかチェックし、受信したときには、バーチャル参加者操作解析部212の解析結果から、受信した情報が、撮像装置31の向きやズームなどの変更指示情報か否か判別する(ステップS226)。このステップS226で、受信した情報が、撮像装置31の向きやズームなどの変更指示情報であると判別したときには、CPU201は、会場向送信情報生成部211を制御して、撮像装置31の向きやズームなどの変更指示情報を会場側処理装置30に送信させるようにする(ステップS227)。
【0118】
ステップS226で、受信した情報が、撮像装置31の向きやズームなどの変更指示情報ではないと判別したとき、また、ステップS227の次には、CPU201は、参加者側処理装置10から音声信号を受信したか否か判別する(ステップS228)。
【0119】
このステップS228で、参加者側処理装置10から音声信号を受信したと判別したときには、CPU201は、会場側処理装置30に、参加者側処理装置10からの音声信号を送信するように会場向送信情報生成部211および通信インターフェース204を制御する(ステップS229)。
【0120】
ステップS228で、参加者側処理装置10から音声信号を受信してはいないと判別したとき、また、ステップS229の処理の後には、CPU201は、イベントが終了したか否か判別する(図10のステップS231)。このイベント終了判別は、イベント終了時刻を判別することで、自動的に行ってよいし、モニター装置215でイベントをモニターしているオペレータによるイベント終了入力操作を判別する処理であっても良い。さらには、イベント会場6の会場側装置3からの終了指示を判別する処理であっても良い。
【0121】
このステップS231で、イベント終了ではないと判別したときには、CPU201は、ステップS226に戻り、このステップS226以降の処理を繰り返す。また、ステップS231で、イベント終了である判別したときには、CPU201は、会場側処理装置30からの撮像情報および音声情報の受信を停止し、イベント終了を参加者側処理装置10に通知する(ステップS232)。
【0122】
そして、CPU201は、参加者側処理装置10および会場側処理装置30との通信路が切断を待って(ステップS233)、この処理ルーチンを終了する。
【0123】
〔会場側処理装置30での処理動作例〕
図11に、上述のようなシステム動作を実現するためになされる会場側処理装置30での処理動作例のフローチャートを示す。この図11の各ステップの処理は、ROM302のプログラムにしたがってCPU301が各部を制御して実行するものである。
【0124】
CPU301は、先ず、撮像装置31による撮像画像およびマイクロホン32による収音音声の送信準備を行う(ステップS301)。そして、CPU301は、支援サーバ2と、通信ネットワーク4を通じて接続されるのを待ち(ステップS302)、支援サーバ2と接続されたと判別したときには、撮像装置31による撮像画像およびマイクロホン32による収音音声の支援サーバ2への送信を開始するように各部を制御する(ステップS303)。
【0125】
次に、CPU301は、支援サーバ2から送られてくるバーチャル参加者7のホログラム用画像データを受信して、ホログラム用画像データ格納部310に格納し、そのホログラム用画像データをホログラム映出装置33に送って、ホログラムの再生を開始する(ステップS303)。
【0126】
次に、CPU301は、支援サーバ2から送られてくる情報を監視して、撮像装置31の向きやズームの変更指示情報を受信したか否か判別する(ステップS305)。そして、ステップS305で、撮像装置31の向きやズームの変更指示情報を受信したと判別したときには、CPU301は、撮像装置31の向きやズームを受信した変更指示情報に応じて変更制御する(ステップS306)。
【0127】
ステップS305で、撮像装置31の向きやズームの変更指示情報を受信してはいないと判別したとき、また、ステップS306の次には、CPU301は、支援サーバ2から音声情報を受信したか否か判別する(ステップS307)。そして、ステップS307で、支援サーバ2から音声情報を受信したと判別したときには、CPU301は、受信した音声信号をスピーカ34で音響再生する(ステップS308)。
【0128】
ステップS307で、支援サーバ2から音声情報を受信してはいないと判別したとき、また、ステップS308の次には、CPU301は、イベントが終了したか否か判別する(ステップS309)。そして、ステップS309で、イベントが終了してはいないと判別したときには、CPU301は、ステップS305に戻り、このステップS305以降の処理を繰り返す。また、ステップS309で、イベントが終了したと判別したときには、CPU301は、支援サーバ2との接続を切断するなどの、イベント終了処理をし(ステップS310)、この処理ルーチンを終了する。
【0129】
以上のようにして、この実施形態においては、バーチャル参加者7は、イベント会場6において行われているイベントの光景をディスプレイ装置11で3D立体画像として観視できると共に、イベントの音声をマルチサラウンド音声として聴取できる。したがって、バーチャル参加者7は、臨場感豊にイベントの光景を視聴することができ、仮想的にイベントに参加している感覚を持つことができる。
【0130】
その上、この実施形態では、支援画像・音声情報により、イベントの画像や音声を視聴するのみではなく、あたかも実際にイベント会場に行って、受付を行い、また、スピーチなどイベントにあたかも実際に参加したような感覚を得ることができる。
【0131】
また、イベント会場6の会場側装置においては、バーチャル参加者がホログラムとして映出されるので、イベント会場6のイベント参加者は、バーチャル参加者の当該イベントへのバーチャル参加を確実に認識することができる。
【0132】
なお、上述の第1の実施形態では、バーチャル参加者7のホログラムは、予め用意したバーチャル参加者7の静止画像のホログラムとした。しかし、参加者側装置1に撮像装置を配設しておき、この撮像装置で撮像した画像情報を、イベントの開催時間中、常に、支援サーバ2に供給するようにすると共に、支援サーバ2がホログラム用画像データをリアルタイムで生成して、会場側装置1に、リアルタイムで送信するようにしても良い。
【0133】
上述の実施形態では、受付の支援画像・音声情報は、オペレータの指示に基づいて、イベント会場のリアルタイム画像・音声情報に代えて、参加者側処理部10に供給するようにしたが、例えば、イベント開催スケジュールに応じて、時間により自動的に、切り替えるように構成することもできる。
【0134】
なお、上述の実施形態は、イベントが結婚式の場合であったが、葬儀やコンサート、会議などにも、この発明は適用することができる。例えば葬儀の場合であれば、支援サーバでは、受付の支援画像・音声情報の他、焼香行為についての支援画像・音声情報を参加者側処理装置に提供することができる。その場合、焼香行為の支援画像においては、アバターがバーチャル参加者の焼香行為に応じた動きをするように、支援サーバは、支援画像を生成する。
【0135】
また、イベント会場がコンサート会場である場合には、支援サーバでは、入場受付の支援画像・音声情報の他、休憩時間やコンサート終了後のCDやDVDの販売を支援する支援画像・音声情報を生成して、バーチャル参加者に提供することもできる。そして、その場合には、CDやDVDの販売において、バーチャル参加者についての決済処理も、前述の実施形態と同様にして行うことができる。
【0136】
[第2の実施形態]
第1の実施形態は、現実空間に設営されたイベント会場で、現実にイベントが行われている場合において、バーチャル参加者の当該イベントへのバーチャル参加を支援するシステムであったが、仮想的に作成されたイベント会場で、仮想的なイベントが行われる場合において、バーチャル参加者のバーチャル参加を支援するシステムとすることもできる。第2の実施形態は、その場合の例である。
【0137】
この第2の実施形態のイベント参加支援システムの構成例を図12に示す。すなわち、この第2の実施形態では、イベント参加支援サーバ20に対して、複数の参加者側装置1が通信ネットワーク4を通じて接続される。イベントはバーチャルイベントであるので、会場側装置3は、この第2の実施形態では設けられない。
【0138】
参加者側装置1は、この第2の実施形態においても、前述した第1の実施形態と全く同様に構成されており、参加者側処理装置10と、ディスプレイ装置11と、操作部12と、マイクロホン13とを備える。
【0139】
支援サーバ20は、第1の実施形態とは異なり、通信ネットワーク4を通じた会場側装置3との情報通信が不要である。この第2の実施形態における支援サーバ20の構成例のブロック図を図13に示す。この図13において、図4に示した第1の実施形態の支援サーバ2と同一部分には、同一番号を付してある。
【0140】
すなわち、支援サーバ20においては、システムバス200に対して、第1の実施形態と同一部分として、CPU201、ROM202、RAM203、通信インターフェース204、バーチャル参加者情報記憶部205、支援画像・音声情報生成部209、参加者向送信情報生成部、バーチャル参加者操作解析部212、バーチャル参加者決済処理部213、が接続されている。
【0141】
第1の実施形態の受信情報分配部206、受信画像・音声情報処理部207、モニターインターフェース208、会場向送信情報生成部211、操作部インターフェース214、モニター装置215、操作部216は、この第2の実施形態では設けられない。そして、その代わりに、この第2の実施形態の支援サーバ20には、バーチャルイベント情報生成保持部221、時計部222およびバーチャルイベント記録情報生成部223が、システムバス200に接続されて設けられる。
【0142】
バーチャルイベント情報生成保持部221は、バーチャルイベントの開催依頼者の依頼に応じて作成されたバーチャルイベント情報を生成し、生成したバーチャルイベント情報を格納保持する。ここで、生成されたバーチャルイベント情報は、バーチャル参加者のイベント参加ポイントの情報が含まれている。バーチャルイベント参加ポイントには、バーチャルイベント情報から支援画像・音声情報に切り替えられる切り替えポイントと、支援画像・音声情報がバーチャルイベント情報に重畳される重畳ポイントとがある。この第2の実施形態では、参加者向送信情報生成部210は、CPU201の制御にしたがって、切り替えポイントではバーチャルイベント情報と支援画像・音声情報とを切り替え、重畳ポイントではバーチャルイベント情報に支援画像・音声情報を重畳する。
【0143】
時計部222は、年、月、日、時、分、秒の時間情報を提供するためのものである。バーチャルイベント記録情報生成部223は、バーチャル参加者のバーチャルイベントへの参加日時の情報、バーチャル参加者がバーチャルイベントにおいて入力した情報などを、バーチャルイベント識別子およびバーチャル参加者の識別子に対応付けて記録する。そして、バーチャルイベント記録情報生成部223は、各バーチャルイベントの開催期間が終了した後、各バーチャルイベント情報と、バーチャル参加者の入力情報とを含めた記録情報を生成する。そして、このバーチャルイベント記録情報生成部223で生成された記録情報は、バーチャルイベントの開催依頼者に提供される。
【0144】
<支援サーバ20におけるバーチャルイベント生成および提供手順>
理解を容易にするため、図14を参照して、この第2の実施形態におけるバーチャルイベントの作成から、提供終了までの手順を説明する。
【0145】
バーチャルイベントの開催依頼者(以下、単に依頼者という)は、支援サーバ20の運営サービス事業者に対して、バーチャルイベントの作成依頼の申し込みを行う(手順T1)。次に、依頼者は、結婚式、葬儀、法事、還暦祝いなど、どのような種類のバーチャルイベントの開催を希望するかについて、支援サーバ20の運営サービス事業者に伝える(手順T2)。
【0146】
次に、支援サーバ20の運営サービス事業者は、バーチャルイベントの開催条件についての依頼者の希望を聴取して開催条件を決定する(手順T3)。この例では、依頼者は、例えば結婚式であれば、神前、仏前、人前、キリスト教会などの形式、あるいは、「ハワイで」、「エベレスト山の頂上で」、「地中海で」、などの開催地などを選定依頼することができる。また、イベント参加者は何人にするか、そのうちボットを何人分用意するか、なども依頼者は選定することができる。支援サーバ20の運営サービス事業者は、依頼者のこれらの条件の選定を受け付け、さらに、アバターは、本人の画像を反映したものにするか、衣装はどのようにするかなど、詳細条件について依頼者の意向に沿って、開催条件を決定する。
【0147】
以上のようにして、バーチャルイベントを生成するための開催条件が定まったら、支援サーバ20の運営サービス事業者は、例えば支援サーバ20において、バーチャルイベント情報を生成する。なお、バーチャルイベント情報は、支援サーバ20以外の専用装置で作成しても勿論良い。そして、支援サーバ20の運営サービス事業者は、生成したバーチャルイベント情報を、その識別子と対応付けて、支援サーバ20のバーチャルイベント情報生成保持部221に格納保持する(手順T4)。なお、バーチャルイベント情報生成保持部221に格納された各バーチャルイベント情報には、依頼者により指定された各バーチャルイベントの開催期間の情報も含まれている。
【0148】
次に、支援サーバ20の運営サービス事業者は、依頼者からのイベント参加予定者リストに基づき、それらのイベント参加予定者に対して、バーチャルイベントの開催通知を、メールや郵送などで通知する(手順T5)。このバーチャルイベントの開催通知には、バーチャルイベント識別子と、各イベント参加予定者のバーチャル参加者識別子とが含まれている。イベント参加予定者は、参加者側装置1から支援サーバ20にアクセスしたときに、これらの識別子を支援サーバ20に送ることで、対応するバーチャルイベントへのバーチャル参加が可能となる。
【0149】
次に、支援サーバ20は、バーチャルイベント情報生成保持部221の各バーチャルイベント開催期間の情報を監視して、開催期間になったかどうか判別する(手順T6)。そして、開催期間になったと判別したときには、支援サーバ20は、通知したバーチャル参加予定者からのアクセスを受け付けたか否か判別する(手順T7)。
【0150】
そして、バーチャル参加予定者からのアクセスを受け付けたと判別したときには、支援サーバ20は、バーチャル参加予定者により識別子が指定されたバーチャルイベント情報を、バーチャル参加予定者に提供すると共に、バーチャル参加予定者が当該バーチャルイベントにおいて入力した情報を、そのバーチャル参加者識別子に対応して記録保持する(手順T8)。
【0151】
手順T7でバーチャル参加予定者からのアクセスを受け付けていないと判別したとき、また、手順T8で、バーチャル参加予定者にバーチャルイベント情報を提供した後には、支援サーバ20は、バーチャルイベント開催期間が終了したか否か判別する(手順T9)。
【0152】
そして、手順T9でバーチャルイベント開催期間が終了してはいないと判別したときには、支援サーバ20は、手順T7に戻って、他のバーチャル参加予定者によるアクセスを監視する。また、手順T9でバーチャルイベント開催期間が終了したと判別したときには、支援サーバ20は、バーチャルイベント情報と、当該バーチャルイベントに参加した全てのバーチャル参加者の入力情報とを含めた記録情報を生成し、イベント開催依頼者に提供する(手順T10)。
【0153】
なお、バーチャル参加予定者は、バーチャルイベントの開催期間前に、支援サーバ20の運営サービス事業者と接触し、バーチャルイベントに参加したときに登場する自分のアバターを、自分の画像にできるだけ似せるように依頼することができる。支援サーバ20は、バーチャル参加者から、アバターについて前記のような依頼があった場合には、当該バーチャル参加者の画像を取得して、予め当該バーチャル参加者のアバターを、バーチャル参加者識別子に対応付けて保存しておく。そして、支援サーバ2は、当該バーチャル参加者からのバーチャルイベントへの参加のための支援サーバ20へのアクセスがあったときには、その保存されているアバターをバーチャルイベントに登場させるようにする。
【0154】
<支援サーバ20における処理動作例>
図15〜図17は、この第2の実施形態の支援サーバ20における処理動作例のフローチャートである。この図15〜図17の各ステップは、ROM202のプログラムにしたがってCPU201が各部を制御して実行するものである。
【0155】
支援サーバ20のCPU201は、参加者側処理装置10からのアクセスの受信を待ち(ステップS401)、参加者側処理装置10からのアクセスを受信したと判別したときには、バーチャルイベント識別子およびバーチャル参加者識別子の入力画面を、参加者向送信情報生成部210に生成させて、参加者側処理装置10に送信させる(ステップS402)。
【0156】
そして、CPU201は、参加者側処理装置10から送られてくるバーチャルイベント識別子およびバーチャル参加者識別子を受信し(ステップS403)、対応するバーチャルイベントを判定する。そして、この例では、CPU201は、支援画像・音声情報生成部209および参加者向送信情報生成部210を制御して、イベント会場の受付のための支援画像・音声情報を生成させると共に、生成させた支援画像・音声情報を参加者処理装置10に送信させる(ステップS404)。
【0157】
次に、CPU201は、参加者側処理装置10から、バーチャル参加者7の操作入力情報を受信したか否か判別する(ステップS405)。
【0158】
ステップS405で、バーチャル参加者7の操作入力情報を受信したと判別したときには、CPU201は、受信した操作入力情報をバーチャル参加者操作解析部212で解析させる。バーチャル参加者操作解析部212は、その解析結果を支援画像・音声情報生成部209やバーチャルイベント記録情報生成部223に供給する。支援画像・音声情報生成部209は、バーチャル参加者7の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者7の操作入力情報を支援画像に反映する。また、バーチャルイベント記録情報生成部223は、バーチャル参加者7の参加日時情報、バーチャル参加者7により入力された記帳情報などを、バーチャル参加者識別子に対応付けて記憶する(ステップS406)。
【0159】
ステップS405で、受信情報がバーチャル参加者7の操作入力情報ではないと判別したとき、また、ステップS406の次には、CPU201は、支援画像・音声情報生成部209での支援画像・音声情報の生成処理が終了したか否か判別し(ステップS407)、終了していないと判別したときには、ステップS404に戻って、このステップS404以降の処理を繰り返す。
【0160】
そして、ステップS407で、支援画像・音声情報の生成処理が終了したと判別したときには、CPU201は、バーチャル参加者操作解析部212の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者7による仮想の金銭の受け渡し行為があったか否か判別する(図16のステップS411)。このステップS411において、バーチャル参加者7による仮想の金銭の受け渡し行為があったと判別したときには、CPU201は、バーチャル参加者決済処理部213に、当該バーチャル参加者7についての金銭の受け渡しの決済処理をするように制御指示する(ステップS412)。
【0161】
次に、CPU201は、バーチャルイベント情報生成保持部221から、バーチャル参加者により入力指示されたバーチャルイベント識別子のバーチャルイベント情報を読み出して、参加者側処理装置10に通信ネットワーク4を通じて送信する処理を開始する(ステップS413)。
【0162】
そして、CPU201は、送信中のバーチャルイベント情報において、バーチャル参加者のイベント参加ポイントになるのを待つ(ステップS414)。
【0163】
このステップS414で、バーチャル参加者のイベント参加ポイントになってはいないと判別したときには、CPU201は、バーチャルイベントが最後まで実行されて終了したか否か判別する(図17のステップS424)。このステップS424で、バーチャルイベントが終了したと判別したときには、CPU201は、バーチャルイベント情報の参加者側処理装置10への送信を停止し(ステップS425)、この処理ルーチンを終了する。また、ステップS424で、バーチャルイベントが終了してはいないと判別したときには、CPU201は、ステップS414に戻る。
【0164】
そして、ステップS414で、イベント参加ポイントになったと判別したときには、CPU201は、切り替えポイントではバーチャルイベント情報に代えて支援画像・音声情報を参加者側処理装置10に送信し、重畳ポイントではバーチャルイベント情報に支援画像・音声情報を重畳し、支援画像・音声情報と、参加者側処理装置10に送信する(ステップS415)。
【0165】
次に、CPU201は、参加者側処理装置10から、バーチャル参加者7の操作入力情報を受信したか否か判別する(ステップS416)。
【0166】
ステップS416で、バーチャル参加者7の操作入力情報を受信したと判別したときには、CPU201は、受信した操作入力情報をバーチャル参加者操作解析部212で解析させる。バーチャル参加者操作解析部212は、その解析結果を支援画像・音声情報生成部209やバーチャルイベント記録情報生成部223に供給する。支援画像・音声情報生成部209は、バーチャル参加者7の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者7の操作入力情報を支援画像に反映する。また、バーチャルイベント記録情報生成部223は、バーチャル参加者7により入力された記帳情報などを、バーチャル参加者識別子に対応付けて記憶する(ステップS417)。
【0167】
ステップS416で、受信情報がバーチャル参加者7の操作入力情報ではないと判別したとき、また、ステップS417の次には、CPU201は、支援画像・音声情報生成部209での支援画像・音声情報の生成処理が終了したか否か判別し(ステップS418)、終了していないと判別したときには、ステップS415に戻って、このステップS415以降の処理を繰り返す。
【0168】
そして、ステップS418で、支援画像・音声情報の生成処理が終了したと判別したときには、CPU201は、バーチャル参加者操作解析部212の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者7による仮想の金銭の受け渡し行為があったか否か判別する(図17のステップS421)。このステップS421において、バーチャル参加者7による仮想の金銭の受け渡し行為があったと判別したときには、CPU201は、バーチャル参加者決済処理部213に、当該バーチャル参加者7についての金銭の受け渡しの決済処理をするように制御指示する(ステップS422)。
【0169】
例えばバーチャルイベントがコンサートである場合には、前述したように、支援サーバでは、入場受付の支援画像・音声情報の他、休憩時間やコンサート終了後のCDやDVDの販売を支援する支援画像・音声情報を生成して、バーチャル参加者に提供する。その場合には、バーチャル参加者がCDやDVDを購入した場合には、当該バーチャル参加者についての決済処理が生じるので、このステップS421およびステップS422において、決済処理をする。
【0170】
次に、CPU201は、支援画像・音声情報生成部229からの支援画像・音声情報の読み出しを停止する。そして、バーチャルイベント情報生成保持部221からのバーチャルイベント情報を、参加者側処理装置10に通信ネットワーク4を通じて送信する(ステップS423)。
【0171】
次に、CPU201は、バーチャルイベントが最後まで実行されて終了したか否か判別し(ステップS424)、バーチャルイベントが終了してはいないと判別したときには、CPU201は、ステップS414に戻る。また、ステップS424で、バーチャルイベントが終了したと判別したときには、バーチャルイベント情報の参加者側処理装置10への送信を停止し(ステップS425)、この処理ルーチンを終了する。
【0172】
<参加者側処理装置10の処理動作例>
手順T8における支援サーバ20からのバーチャルイベントの提供を受けたときの参加者側処理装置10の処理動作は、支援サーバ20から受け取るイベント情報がバーチャルイベント情報である点が異なるのみで、図6および図7を用いて説明した第1の実施形態と同様である。そこで、この第2の実施形態では、参加者側処理装置10における処理動作については説明を省略する。
【0173】
以上説明した第2の実施形態によれば、バーチャル参加者は、バーチャルイベント会場に行って、受付を行い、また、スピーチなどバーチャルイベントにあたかも実際に参加したような感覚を得ることができる。
【0174】
[その他の実施形態または変形例]
上述の第1および第2の実施形態では、参加者側装置1は、パーソナルコンピュータを用いた構成としたが、携帯電話端末などの携帯装置を参加者側装置として用いることもできる。
【0175】
また、第1の実施形態において、会場側装置3に設けられる撮像装置は、よりイベント会場の臨場感をバーチャル参加者が味わえるようにするため3Dカメラを用いるようにしたが、これに限られるものではなく、通常の2Dのカメラであっても勿論よい。
【0176】
また、第1の実施形態におけるイベント会場の音声も、マルチサラウンド音声に限られるものではなく、2チャンネルステレオ音声やモノーラル音声であっても差し支えない。
【0177】
また、第1の実施形態において、現実空間でのイベントの情報は、ライブイベント情報として参加者側装置に提供するようにしたが、現実空間でのイベントを録画したものを、参加者側装置に提供するようにしても良い。
【0178】
なお、上述の実施形態では、イベント情報としては、画像情報と音声情報との両方を含むものとしたが、画像情報のみであっても良い。
【符号の説明】
【0179】
1…参加者側装置、2,20…イベント参加支援サーバ、3…会場側装置、4…通信ネットワーク、10…参加者側処理装置、11…ディスプレイ装置、12…マイクロホン、13…操作部、30…会場側処理装置、31…撮像装置、32…マイクロホン、33…ホログラム映出装置、34…スピーカ、35…ホログラム
【技術分野】
【0001】
この発明は、例えば冠婚葬祭、式典、会議、コンサートなどのイベントへの仮想的な参加を支援するイベント参加支援システムに関する。また、このイベント参加支援システムにおいて用いられるイベント参加支援サーバに関する。
【背景技術】
【0002】
冠婚葬祭、式典、会議、コンサートなどのイベントが開催される場所が参加予定者の居住地から非常に離れている場合、参加予定者はそのイベントへの参加を躊躇してしまうことがある。また、例えば病気にかかってしまった、などの参加予定者側の事情で、開催されるイベントには直接には参加できなくなる場合がある。
【0003】
このようなイベント参加が不能である事情があるにも拘らず、イベント参加予定者が、例えば結婚式を行う花嫁の祖母などの場合、当該イベント参加予定者は、是非、そのイベントをリアルタイムに見てみたいという要求がある。
【0004】
例えばテレビ電話のように、遠隔地から画像を送ってもらい、その画像を見ることが可能となっている。また、例えば特許文献1(特開2009−272717号公報)に記載されているように、遠隔会議システムも知られている。
【0005】
そこで、このような画像伝送の技術を用いて、イベントの画像を、イベントに参加できなくなった参加予定者がリアルタイムに受信してディスプレイ画面でモニターするようにして、イベントをリアルタイムに見るようにすることは可能である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−272717号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、単に、イベントのリアルタイム画像を観るというだけでは、イベントへ仮想的にであっても自分が参加しているという気分を味わうことができない。
【0008】
また、イベントが儀礼的な冠婚葬祭などの儀礼的なものである場合、当該イベントへの参加には人間関係を維持していく、社会組織の一員としての義務を果たすという側面がある。このような側面の一つとして、冠婚葬祭などのイベントの場合、受付での参加者の住所や氏名の記帳行為、祝儀袋や不祝儀袋の受け渡し行為、葬儀における焼香する行為などがある。これらの行為により、参加者は、イベントへの参加義務を果たしたという感覚を得ることができる。
【0009】
この発明は、以上の点にかんがみ、参加者が、現実のイベントには参加していなくても、当該イベントに実際に参加したような感覚を得ることができるようにすることを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、この発明は、
イベント参加支援サーバと、イベントに仮想的に参加する参加者の側に設けられ、前記イベント参加支援サーバと通信ネットワークを通じて接続される参加者側装置とを備えるイベント参加支援システムであって、
前記イベント参加支援サーバは、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備え、
前記参加者側装置は、
前記通信ネットワークを通じて受信した前記イベントの画像情報および前記支援画像情報による画像を、前記参加者に観視させるために表示する表示手段と、
前記表示手段に表示された前記支援画像に対応して前記参加者により入力された前記入力情報を受け付ける受付手段と、
前記受付手段で受け付けた前記入力情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する入力情報送信手段と、
を備えるイベント参加支援システムを提供する。
【0011】
上述の構成のこの発明によれば、イベント参加支援サーバからは、開催されるイベントの少なくとも画像情報が通信ネットワークを通じて参加者側装置に送信され、参加者側装置の表示手段に、当該イベントの画像が表示される。これにより、参加者は、イベントの画像を、例えばリアルタイムに観ることが可能になる。
【0012】
そして、イベント参加支援サーバは、イベントにおける参加者の所定の仮想的な参加を支援するための支援画像の画像情報を、イベントの画像情報に代えて、あるいはイベントの画像情報に重畳して、参加者側装置に、通信ネットワークを通じて送信する。
【0013】
参加者側装置では、受付手段において、表示手段に表示された支援画像に対応して参加者により入力された入力情報が受け付ける。そして、参加者側装置は、受付手段で受け付けた入力情報を、通信ネットワークを通じてイベント参加支援サーバに送信する。
【0014】
イベント参加支援サーバは、参加者側装置からの入力情報を受信し、その入力情報に応じた処理を実行する。
【0015】
例えば、支援画像として、冠婚葬祭の際の受付の画像が、イベント参加支援サーバから参加者側装置に送られた場合を例に取ると、参加者の受付手段で受け付けられる入力情報およびイベント参加支援サーバの対応処理手段での対応処理は以下のようなものとすることができる。
【0016】
参加者は、受信した支援画像を見ながら、受付での自分の氏名、住所の記帳(入力行為)を行うと共に、例えば金額が明記された祝儀袋や不祝儀袋を受付に手渡す操作を仮想的に行う。参加者側装置は、参加者が入力した氏名や住所の情報をイベント参加支援サーバに入力情報の一部として送る。また、参加者側装置は、仮想的に祝儀袋や不祝儀袋を受付に手渡した画像の選択操作などの情報を、入力情報の一部として、イベント参加支援サーバに送る。
【0017】
イベント参加支援サーバは、この参加者側装置からの入力情報としての参加者の氏名、住所を記憶保持すると共に、仮想的に祝儀袋や不祝儀袋が受付に手渡された操作情報に応じて、参加者の課金のための処理を行う。
【0018】
こうして、イベント参加支援サーバからの支援画像の参加者側装置への提供と、参加者側装置からの入力情報のイベント参加支援サーバへの送信というインタラクティブ(対話型)な動作により、参加者は、イベントに対して実際に参加したような感覚を得られると期待できる。
【発明の効果】
【0019】
この発明によれば、参加者は、現実のイベントには参加していなくても、当該イベントに実際に参加したような感覚を得ることができる。
【図面の簡単な説明】
【0020】
【図1】この発明によるイベント参加支援システムの第1の実施形態の構成例を示す図である。
【図2】この発明によるイベント参加支援システムの第1の実施形態における参加者側装置の構成例のブロック図である。
【図3】この発明によるイベント参加支援システムの第1の実施形態における会場側装置の構成例のブロック図である。
【図4】この発明によるイベント参加支援システムの第1の実施形態におけるイベント参加支援サーバの構成例のブロック図である。
【図5】この発明によるイベント参加支援システムの第1の実施形態における処理動作の要部を説明するために用いる図である。
【図6】図2の参加者側装置における処理動作例を説明するためのフローチャートの一部を示す図である。
【図7】図2の参加者側装置における処理動作例を説明するためのフローチャートの一部を示す図である。
【図8】図4のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図9】図4のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図10】図4のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図11】図3の会場側装置における処理動作例を説明するためのフローチャートを示す図である。
【図12】この発明によるイベント参加支援システムの第2の実施形態の構成例を示す図である。
【図13】この発明によるイベント参加支援システムの第2の実施形態におけるイベント参加支援サーバの構成例のブロック図である。
【図14】この発明によるイベント参加支援システムの第2の実施形態における処理動作の要部を説明するために用いる図である。
【図15】図13のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図16】図13のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図17】図13のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【発明を実施するための形態】
【0021】
以下、この発明によるイベント参加支援システムおよびイベント参加支援サーバの実施形態について、図を参照しながら説明する。
【0022】
[第1の実施形態]
図1は、イベント参加支援システムの第1の実施形態の概要を説明するための図である。この第1の実施形態のイベント参加支援システムにおいては、例えば開催されるイベントが結婚式であって、諸般の事情により参加できなかった参加者(以下、バーチャル参加者という)が、ライブでその結婚式を視聴することができるようにしている。
【0023】
そして、この第1の実施形態では、現実のイベント会場では、この例では、ホログラムとして映出されるように構成されている。また、バーチャル参加者は、あたかも、当該イベント会場に出向き、受け付けで記帳を行い、祝儀袋を手渡す行為を実際に行ったような感覚を得られるように構成されている。
【0024】
図1に示すように、第1の実施形態のイベント参加支援システムは、バーチャル参加者7の居場所5に設けられる参加者側装置1と、イベント参加支援サーバ2と、イベント会場6に設けられる会場側装置3とからなる。参加者側装置1、イベント参加支援サーバ2および会場側装置3は、通信ネットワーク4に接続されている。通信ネットワーク4は、インターネット、光ケーブル網、公衆電話網などを含むものである。
【0025】
この例では、参加者側装置1からイベント参加支援サーバ(以下、支援サーバと略称する)2にアクセスすることにより、参加者側装置1と支援サーバ2とは、通信ネットワーク4を通じて接続される。また、支援サーバ2と会場側装置3とのいずれか一方から他方にアクセスすることにより、支援サーバ2と会場側装置3とは、通信ネットワーク4を通じて接続される。
【0026】
参加者側装置1は、参加者側処理装置10と、ディスプレイ装置11と、操作部12と、マイクロホン13とを備えて構成されている。参加者側処理装置10は、支援サーバ2とのやり取りをするために通信ネットワーク4に接続されている。ディスプレイ装置11は、参加者側処理装置10に接続され、支援サーバ2から送られてくる画像情報による表示画像をその表示画面に表示する。なお、このディスプレイ装置11は、音声再生用のスピーカを内蔵しており、この例では、マルチサラウンド音声、例えば5.1チャンネルのサラウンド音声を音響再生することができるものとされている。
【0027】
操作部12は、参加者側処理装置10に接続され、バーチャル参加者7からの操作入力を受け付け、その操作入力情報を参加者側処理装置10に供給する。この例では、操作部12は、タッチパネルを具備しており、バーチャル参加者7によるタッチペンを使用した文字入力操作を受け付け、参加者側処理装置10にその操作入力情報を供給する機能を備える。また、この例では、操作部12は、ジャイロを備え、バーチャル参加者7が当該操作部12を持ちながらの動き(バーチャル参加者7の所作)を検出して、その検出情報を参加者側処理装置10に供給する機能も備えている。
【0028】
マイクロホン13は、参加者側処理装置10に接続され、バーチャル参加者7が発声する音声を収音して音声信号に変換し、その音声信号を参加者側処理装置10に供給する。なお、この例では、マイクロホン13は、その音声収音動作をオン・オフするスイッチを備え、バーチャル参加者7が当該スイッチをオン状態にしたときに、音声の収音動作をする。
【0029】
会場側装置3は、会場側処理装置30と、撮像装置31と、マイクロホン32と、ホログラム映出装置33と、スピーカ34とを備えて構成されている。会場側処理装置30は、支援サーバ2とのやり取りをするために通信ネットワーク4に接続されている。撮像装置31は、この例では、3Dカメラ(3次元立体画像カメラ)からなり、イベント会場6での結婚式イベントを撮像して、その3D撮像画像を会場側処理装置30に供給する。マイクロホン32は、イベント会場6での結婚式イベントの音声を収音して音声信号に変換し、その音声信号を会場側処理装置30に供給する。図1では、1本のマイクロホン32のみを示しているが、イベント会場6の音声を臨場感のあるものとして、例えば5.1チャンネルのサラウンド音声を収音するため、マイクロホン32は6本のマイクロホンからなる。
【0030】
ホログラム映出装置33は、支援サーバ2から送られてくるホログラム映出用の画像情報に基づいて、バーチャル参加者7のホログラム35を映出する装置である。スピーカ34は、支援サーバ2から送られてくるバーチャル参加者7の音声信号を音響再生するための音響再生手段を構成する。スピーカ34は、バーチャル参加者7のホログラム35の近傍に配設されている。
【0031】
次に、参加者側装置1、支援サーバ2および会場側装置3の詳細構成例について説明する。
【0032】
<参加者側装置1の構成例>
図2は、参加者側装置1の参加者側処理装置10の具体構成例を説明するためのブロック図である。この例の参加者側処理装置10は、例えばパーソナルコンピュータで構成されており、システムバス100に対してCPU(Central Processing Unit)101と、プログラム等を格納するROM(Read Only Memory)102と、ワークエリアとして働くRAM(Random Access Memory)103とが接続されている。
【0033】
また、システムバス100には、さらに、通信インターフェース104、受信処理部105、送信処理部106、画像・音声処理部107、操作部インターフェース108、音声入力インターフェース109、が接続されている。
【0034】
CPU101は、この参加者側処理装置10の全体の動作を制御するものである。ROM102には、この参加者側処理装置10における後述するようなバーチャル参加者によるイベントへの仮想的な参加(バーチャル参加)を支援するためのプログラムが予め記憶されている。例えば、ROM2には、操作部12からのタッチパネルを通じて入力された文字をディスプレイ装置11の画面に表示するためのプログラムや、入力された文字をテキストデータに変換して、支援サーバ2に送信するためのプログラムなどが記憶されている。CPU101は、RAM103をワークエリア用のメモリとして用いて、このROM102のプログラムにしたがった制御処理を実行する。
【0035】
通信インターフェース104は、通信ネットワーク4と接続して、支援サーバ2と通信を行うためのものである。受信処理部105は、通信インターフェース104を通じて支援サーバ2から受け取った情報から、画像情報や音声情報を抽出して、画像・音声処理部107に供給する機能を備える。送信処理部6は、支援サーバ2に送信する情報を生成して、通信インターフェース104を通じて送出する機能を有する。なお、受信処理部105および送信処理部106は、CPU101が、ROM102のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【0036】
画像・音声処理部107は、受信処理部105から受け取った画像情報および音声情報をディスプレイ装置11に送出する。この例では、前述したように、会場側装置3からの画像情報は、3D画像情報であり、バーチャル参加者7は、いわゆる3D用メガネ8を装着して、ディスプレイ装置11の表示画面を見ることにより、イベント会場の画像を立体画像として観視できる。また、音声情報は、5.1チャンネルサラウンド音声などのマルチチャンネルサラウンド音声なので、バーチャル参加者7は、イベント会場の音声を臨場感豊に、聴取することができる。
【0037】
操作部インターフェース108には、操作部12が接続され、バーチャル参加者7による操作入力情報(操作部12の動きの情報を含む)が、この操作部インターフェース108を通じてシステムバス100に送出される。CPU101は、操作部インターフェース108を通じて入力される操作入力情報を監視し、タッチパネルを通じた文字入力や、ジャイロにより検知されたバーチャル参加者の動きに応じた操作部12の動きなどを検出する。
【0038】
音声入力インターフェース109には、マイクロホン13が接続されている。この例のマイクロホン13は、前述したように、音声収音動作のオン・オフスイッチがオンとされたときにのみ、バーチャル参加者7が発声する音声を収音して、その収音音声信号を、音声入力インターフェース109を通じてシステムバス100に入力する。入力された音声信号は、送信処理部106で送信信号とされ、通信インターフェース104を通じて支援サーバ2に送信される。
【0039】
<会場側装置3の構成例>
図3は、会場側装置3の会場側処理装置30の具体構成例を説明するためのブロック図である。この例の会場側処理装置30は、例えばパーソナルコンピュータで構成されており、システムバス300に対してCPU301と、プログラム等を格納するROM302と、ワークエリアとして働くRAM303とが接続されている。
【0040】
また、システムバス300には、さらに、通信インターフェース304、受信処理部305、送信処理部306、撮像装置インターフェース307、音声入力インターフェース108、音声出力インターフェース109、ホログラム用画像データ格納部310、ホログラム映出装置インターフェース311、が接続されている。
【0041】
CPU301は、この会場側処理装置30の全体の動作を制御するものである。ROM302には、この会場側処理装置30における後述するようなイベント会場のリアルタイム画像や音声(ライブ画像・音声)を支援サーバ2に送信する処理、支援サーバ2から受信したバーチャル参加者のホログラムを映出する処理、支援サーバ2から受信したバーチャル参加者の音声をスピーカ34で音響再生する処理等のプログラムが予め記憶されている。CPU301は、RAM303をワークエリア用のメモリとして用いて、このROM302のプログラムにしたがった制御処理を実行する。
【0042】
通信インターフェース304は、通信ネットワーク4と接続して、支援サーバ2と通信を行うためのものである。受信処理部305は、通信インターフェース304を通じて支援サーバ2から受け取った情報を、撮像装置インターフェース307、ホログラム用画像データ格納部310および音声出力インターフェース309に供給する機能を有する。送信処理部6は、撮像装置31からの撮像画像情報(ライブ画像情報)およびマイクロホン32からの音声情報(ライブ音声情報)を、支援サーバ2に送信する形態に変換して、通信インターフェース104を通じて送出する機能を備える。なお、受信処理部305および送信処理部306は、CPU301が、ROM302のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【0043】
撮像装置インターフェース307は撮像装置31に接続され、CPU301の制御に従い、撮像装置31で撮像されて得られる3D撮像画像情報を送信処理部306に転送する。また、撮像装置インターフェース307は、CPU301の制御に従い、受信処理部305で受信された撮像方向やズームの変更制御信号を、撮像装置31に供給する。
【0044】
音声入力インターフェース308はマイクロホン32に接続され、CPU301の制御に従い、マイクロホン32で収音されて得られる音声情報(マルチサラウンド音声情報)を送信処理部306に転送する。
【0045】
ホログラム用画像データ格納部310は、支援サーバ2から送られてくるバーチャル参加者のホログラム用画像データを格納する。そして、CPU301は、イベントが実行されている間は、このホログラム用画像データ格納部310からバーチャル参加者のホログラム用画像データを読み出して、ホログラム映出装置インターフェース311に供給するように制御する。
【0046】
ホログラム映出装置インターフェース311には、ホログラム映出装置33が接続されており、バーチャル参加者のホログラム用画像データを、このホログラム映出装置33に送出する。ホログラム映出装置33は、この画像データを受けて、バーチャル参加者のホログラムを、イベント会場6において予め設定された位置に映出する。
【0047】
<支援サーバ2の構成例>
図4は、支援サーバ2の具体構成例を説明するためのブロック図である。この例の支援サーバ2は、例えばパーソナルコンピュータで構成されており、システムバス200に対してCPU201と、プログラム等を格納するROM202と、ワークエリアとして働くRAM203とが接続されている。
【0048】
また、システムバス200には、さらに、通信インターフェース204、バーチャル参加者情報記憶部205、受信情報分配部206、受信画像・音声情報処理部207、モニターインターフェース208、支援画像・音声情報生成部209、参加者向送信情報生成部210、会場向送信情報生成部211、バーチャル参加者操作解析部212、バーチャル参加者決済処理部213、操作部インターフェース214、が接続されている。
【0049】
CPU201は、この支援サーバ2の全体の動作を制御するものである。ROM202には、この支援サーバ2における後述するようなバーチャル参加者によるイベントへの仮想的な参加(バーチャル参加)を支援するためのプログラムが予め記憶されている。例えば、ROM2には、会場側装置3から送られてくるイベント会場6におけるイベントのライブ画像および音声を、参加者側装置1に送信するプログラム、支援画像・音声情報を生成して参加者側装置1に対して送信するためのプログラム、参加者側装置1からの情報を会場側装置3に送信するプログラムなどが記憶されている。CPU201は、RAM203をワークエリア用のメモリとして用いて、このROM202のプログラムにしたがった制御処理を実行する。
【0050】
通信インターフェース204は、通信ネットワーク4と接続して、参加者側装置1や会場側装置3と通信を行うためのものである。
【0051】
バーチャル参加者情報記憶部205は、予め、イベントに対してバーチャル参加する参加者についての情報を記憶する。バーチャル参加者情報は、この例では、イベント識別子とバーチャル参加者識別子との対応情報と、バーチャル参加者7のホログラム用画像データと、バーチャル参加者7の金銭についての決済処理のための情報とを含む。
【0052】
イベント識別子とバーチャル参加者識別子とは、バーチャル参加者7によるバーチャル参加の申し込みが支援サーバ2に対してなされたとき、支援サーバ2の運営サービス事業者から、バーチャル参加者7に対して予め通知される。これらの識別子は、いずれのバーチャル参加者がいずれのイベントに参加するかを特定するための情報であり、バーチャル参加者7が、イベントにバーチャル参加するために支援サーバ2にアクセスする際に必要となる。
【0053】
バーチャル参加者7のホログラム用画像データは、支援サーバ2の運営サービス事業者により作成される。すなわち、バーチャル参加者7によるバーチャル参加の申し込みが支援サーバ2に対してなされたとき、支援サーバ2の運営サービス事業者は、バーチャル参加者7を撮影し、ホログラム用画像データを予め作成して、このバーチャル参加者情報記憶部205に記憶保持しておく。そして、イベントの開始時に、支援サーバ2は、このバーチャル参加者情報記憶部205に記憶保持されているホログラム用画像データを、会場側処理装置30に通信ネットワーク4を通じて送信する。会場側処理装置30は、受信したホログラム用画像データをホログラム用画像データ格納部310に格納して、イベント開催中は、それを読み出してホログラムとして映出する。
【0054】
バーチャル参加者7の金銭についての決済処理のための情報は、支払い方法と、それに付随する情報であり、クレジット払いの時にはクレジット番号が含まれ、振込み払い等のときには、請求書の宛先情報が含まれている。
【0055】
受信情報分配部206は、通信インターフェース104を通じて参加者側処理装置10や会場側処理装置30から受け取った情報を仕分けして、対応する各部に分配する。すなわち、受信情報分配部206は、会場側処理装置30から受信した撮像画像情報および音声情報は、受信画像・音声情報処理部207に供給する。また、受信情報分配部206は、参加者側処理装置10から受け取ったバーチャル参加者7の操作入力情報は、バーチャル参加者操作解析部212に供給する。さらに、受信情報分配部206は、参加者側処理装置10から受け取ったバーチャル参加者7の音声信号は、会場向送信情報生成部211に供給する。
【0056】
受信画像・音声情報処理部207は、会場側処理装置30からのライブ画像情報およびライブ音声情報を、参加者向送信情報生成部210に供給すると共に、モニター装置215で、再生モニターできる形式の情報に変換して、モニターインターフェース208に供給する。
【0057】
モニターインターフェース208には、モニター装置215が接続されている。モニターインターフェース208は、受信画像・音声情報処理部207からのライブ画像情報およびライブ音声情報をモニター装置215に供給する。モニター装置215は、受け取ったライブ画像情報およびライブ音声情報による画像および音声をモニター再生する。これにより、支援サーバ2のオペレータは、イベント会場の様子をリアルタイムにチェックすることができる。
【0058】
支援画像・音声情報生成部209は、バーチャル参加者7が、イベント会場で行われているイベントに、擬似的に参加しているような感覚を持つことができるようにするための支援画像・音声情報を生成する。そして、支援画像・音声情報生成部209は、操作部216を通じたオペレータの指示に基づいて、生成した支援画像・音声情報を参加者向送信情報生成部210に供給する。
【0059】
支援画像・音声情報生成部209は、この例では、イベント会場である結婚式場の受付におけるバーチャル参加者7の仮想的なイベント参加操作を支援する支援画像・音声情報を生成する。この受付の支援画像・音声情報は、イベント会場6での実際の受付を撮影した画像を含むものとして生成されるとリアルなものとなるが、全て、仮想的な画像として生成しても勿論よい。支援画像・音声情報生成部209は、この例では、支援画像情報による画像中に、バーチャル参加者7の分身となる人物キャラクター像(以下、アバターという)を登場させ、そのアバターがバーチャル参加者7の操作部12を用いた所作に応じた所作をするように、支援画像情報を生成する。
【0060】
なお、アバターとして用いられるキャラクター像は、2次元画像あるいは3次元画像のアニメーション画像として生成することができる。その場合に、バーチャル参加者7の撮像画像などが支援サーバ2に提供されれば、支援サーバ2は、その撮像画像をアバターに反映させることで、バーチャル参加者7本人に似せたアバターを生成することもできる。
【0061】
また、この例では、バーチャル参加者7が、お祝いのスピーチをすることができるように構成されている。バーチャル参加者7のスピーチ音声は、マイクロホン13で収音されて、支援サーバ2を通じて会場側処理装置30に供給され、スピーカで音響再生される。このバーチャル参加者7のスピーチの際にも、支援画像・音声情報生成部209は、イベント会場の画像情報に重畳して表示するアバターを生成するようにする。
【0062】
参加者向送信情報生成部210は、操作部216を通じたオペレータの指示に従い、受信画像・音声情報処理部207からのイベント会場のライブ画像情報およびライブ音声情報と、支援画像・音声情報生成部209からの支援画像・音声情報とから参加者側処理装置10に送る参加者向送信情報を生成する。
【0063】
すなわち、操作部216からのオペレータの指示が、「ライブ画像・音声送信」であるときには、参加者向送信情報生成部210は、受信画像・音声情報処理部207からのイベント会場のライブ画像情報およびライブ音声情報のみを、参加者向送信情報として生成する。
【0064】
また、操作部216からのオペレータの指示が、「受付支援」であるときには、参加者向送信情報生成部210は、その「受付支援」の指示期間の間は、ライブ画像情報およびライブ音声情報に代えて、支援画像・音声情報生成部209からの受付の支援画像・音声情報を、参加者向送信情報として生成する。さらに、操作部216からのオペレータの指示が、「スピーチ支援」であるときには、参加者向送信情報生成部210は、その「スピーチ支援」の指示期間の間は、ライブ画像情報に支援画像・音声情報生成部209からのアバターの画像情報を重畳した画像情報とライブ音声信号とを、参加者向送信情報として生成する。なお、バーチャル参加者7のスピーチの際には、参加者側装置1におけるバーチャル参加者7は、音声のハウリングを防ぐため、ライブ音声は、ヘッドホンで聴取するようにする。
【0065】
参加者向送信情報生成部210は、以上のようにして生成した参加者向送信情報を、参加者側処理装置10を送信先として、通信インターフェース204を通じて通信ネットワーク4に送出するようにする。
【0066】
会場向送信情報生成部211は、受信情報分配部206からのバーチャル参加者7の音声情報を会場向情報として生成する。会場向送信情報生成部211は、また、バーチャル参加者操作解析部212からの撮像装置31の向き(パンやチルトなどの撮像方向)やズームの制御信号を会場向情報として生成する。
【0067】
そして、会場向送信情報生成部211は、以上のようにして生成した会場向送信情報を、会場側処理装置30を送信先として、通信インターフェース204を通じて通信ネットワーク4に送出するようにする。
【0068】
バーチャル参加者操作解析部212は、参加者側処理装置10からのバーチャル参加者7の操作部12の操作入力情報を解析し、バーチャル参加者7による受付での記帳操作の情報は、支援画像・音声情報生成部209に送る。これを受けた支援画像・音声情報生成部209は、アバターが記帳動作をしているように、受付の支援画像を生成する。また、バーチャル参加者7の操作部12の操作入力情報が、祝儀袋に入れる金額の指定情報であり、かつ、祝儀袋を受け渡しする所作を示すものであるときには、バーチャル参加者操作解析部212は、金額情報をバーチャル参加者決済処理部213に供給すると共に、祝儀袋を受け渡しする所作を示す情報を支援画像・音声情報生成部209に送る。
【0069】
バーチャル参加者決済処理部213は、バーチャル参加者操作解析部212から受け取った金額情報で示される金額を、バーチャル参加者情報記憶部205から取得した決済処理のための情報に基づいて、決済処理する。
【0070】
また、支援画像・音声情報生成部209は、バーチャル参加者操作解析部212から受け取った祝儀袋の受け渡し所作の情報に従い、アバターが、祝儀袋を受け渡しする所作をしているように、受付の支援画像を生成する。
【0071】
操作部インターフェース214は、操作部216に接続されており、前述した支援サーバ2のオペレータの操作部216を通じた操作入力を、システムバス200を通じてCPU201に伝達する。
【0072】
なお、図4において、受信情報分配部206、受信画像・音声情報処理部207、支援画像・音声情報生成部209、参加者向送信情報生成部210、会場向送信情報生成部211、バーチャル参加者操作解析部212、バーチャル参加者決済処理部213、などの各部は、CPU101が、ROM102のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【0073】
<イベント参加支援システムにおける動作の概要>
バーチャル参加者7は、支援サーバ2の運営者にバーチャル参加を申し込み、イベント識別子と、バーチャル参加者識別子を取得すると共に、自分のホログラム用画像データを作成してもらう。支援サーバ2は、イベント識別子とバーチャル参加者識別子と、ホログラム用画像データをバーチャル参加者情報記憶部205に保持する。
【0074】
支援サーバ2の運営サービス事業者は、イベント会場6に会場側装置3を設置し、イベントのライブ情報の送信が可能となったら、準備OKを支援サーバ2に通知しておく。
【0075】
このような環境において、イベント開催時刻に合わせてバーチャル参加者7が、参加者側処理装置10を通じて支援サーバ2にアクセスすると、支援サーバ2は、バーチャル参加者識別子、イベント識別子を確認した後、バーチャル参加者7に対するイベント支援処理を開始する。
【0076】
先ず、支援サーバ2のオペレータは、操作部216を通じて「受付支援」を指示入力する。支援サーバ2は、この指示入力に応じて、支援画像・音声情報生成部209で、例えばイベント会場6の受付を予め撮影した画像を含む受付の支援画像・音声情報を生成し、参加者側処理装置10に、通信ネットワーク4を通じて送信する。参加者側処理装置10は、受信した支援画像・音声情報をディスプレイ装置11に供給して、その支援画像および音声を再生する。
【0077】
この受付の支援画像の例を図5に示す。支援サーバ2は、この例では、支援画像・音声情報生成部209で、会場側装置3の撮像装置31およびマイクロホン32で取得された受付の画像および音声情報を支援画像・音声情報として生成する(図5(A)参照)。
【0078】
次に、支援画像・音声情報生成部209は、受付での参加者の記帳画面を生成すると共に、「本日は、ご列席ありがとうございます。記帳をお願いします。」という内容の音声情報(図5(B)参照)を生成する。参加者向送信情報生成部210は、この支援画像・音声情報を、ネットワーク4を通じて参加者側処理装置10に送る。
【0079】
バーチャル参加者7が、これに対応して、操作部12を通じて記帳操作を行うと、参加者側処理装置10は、その記帳操作の情報を支援サーバ2に送る。支援サーバ2の支援画像・音声情報生成部209は、この操作入力情報を、バーチャル参加者操作解析部212を通じて受け取ると、アバターがその操作入力に応じて記帳をしているような動作をするように動く支援画像(図5(C)参照)を生成する。参加者向送信情報生成部210は、生成された支援画像・音声情報を、ネットワーク4を通じて参加者側処理装置10に送る。なお、バーチャル参加者7に実際に入力された記帳文字情報は、参加者側処理装置10で判別されて、テキスト情報に変換されて、支援サーバ2に送られる。支援サーバ2は、このテキスト情報を、バーチャル参加者情報記憶部205に記憶保持するようにする。
【0080】
次に、支援画像・音声情報生成部209は、祝儀袋を表示すると共に、バーチャル参加者7が金額を入力するための画像を生成する(図5(D)参照)。この画像には、併せて「金額を入力して下さい」というメッセージを表示する。バーチャル参加者7が、これに対応して、操作部12を通じて金額の入力操作を行うと、その操作入力情報が、支援サーバ2に送られる。
【0081】
支援サーバ2では、この金額の操作入力がバーチャル参加者操作解析部212で判別され、金額情報がバーチャル参加者決済処理部213に送られる。
【0082】
次に、バーチャル参加者7が、受付に祝儀袋を提出する所作を、操作部12を用いて行うと、その所作の操作入力情報が、参加者側処理装置10から支援サーバ2に送られる。
【0083】
支援サーバ2の支援画像・音声情報生成部209は、この操作入力情報を、バーチャル参加者操作解析部212を通じて受け取り、支援画像のアバターの動きに反映させる(図5(E)参照)。そして、支援サーバ2のバーチャル参加者操作解析部212は、この祝儀袋の受付への提出動作を、金銭の受け渡し完了と判断し、その判断結果をバーチャル参加者決済処理部213に通知する。
【0084】
支援サーバ2のバーチャル参加者決済処理部213は、バーチャル参加者情報記憶部205の当該バーチャル参加者7の決済方法を参照して、その決済方法に応じた決済を実行するようにする。
【0085】
次に、支援画像・音声情報生成部209は、記帳および祝儀袋の受け渡しの完了したバーチャル参加者に対する応答の画像を生成し(図5(F)参照)、さらに、イベント会場内に案内する画像を生成する(図5(G)参照)。これらが、参加者向送信情報生成部210から、通信インターフェース204および通信ネットワーク4を通じて参加者側処理装置10に送信される。
【0086】
そして、支援サーバ2の参加者向送信情報生成部210は、図5(G)のイベント会場内に案内する支援画像の後には、受信画像・音声情報処理部207からのライブ画像情報(図5(H)参照)およびライブ音声情報を、通信ネットワーク4を通じて参加者側処理装置10に供給するようにする。
【0087】
以上のような受付の支援画像・音声により、バーチャル参加者7は、あたかもイベント会場で受付を済ませたような感覚を得ることができる。
【0088】
この受付の支援画像が終了すると、オペレータは、操作部216を通じて「ライブ画像・音声送信」を指示入力する。この指示入力に応じて、支援サーバ2は、その後は、バーチャル参加者7のスピーチの順番になるまで、イベント会場6のライブ画像情報およびライブ音声情報を、参加者側処理装置10に送信する。
【0089】
そして、バーチャル参加者7のスピーチの順番になると、イベント会場の司会者から、バーチャル参加者7のスピーチがあることが伝えられると共に、オペレータにより操作部216を通じて「スピーチ支援」が指示入力される。この指示入力に応じて、支援サーバ2は、支援画像・音声情報生成部209により、「マイクロホンをオンにして、スピーチしてください」などのように、バーチャル参加者7にスピーチを実行するように促すメッセージ画像および音声を生成させ、そのメッセージ画像および音声を、ライブ画像およびライブ音声に重畳して、参加者側処理装置10に送信する。
【0090】
参加者側処理装置10は、これを受けて、ディスプレイ装置11において、前記メッセージを画像表示および音響再生する。このメッセージに応じてバーチャル参加者7が、マイクロホン13を通じてスピーチを行うと、参加者側処理装置10は、その音声情報を支援サーバ2に送る。
【0091】
支援サーバ2では、この音声情報を受信し、会場向送信情報生成部211が、そのバーチャル参加者7の音声信号を、通信インターフェース204を通じて会場側処理装置30に送信する。
【0092】
会場側処理装置30は、受信した音声情報をスピーカ34により音響再生する。このスピーカ34は、バーチャル参加者7のホログラムの近傍に配設されているので、バーチャル参加者7が、あたかもスピーチを述べているようになる。
【0093】
このとき支援画像・音声情報生成部209は、アバターがスピーチを行っているように振舞う支援画像を生成して、それを参加者向送信情報生成部210に供給する。参加者向送信情報生成部210は、ライブ画像に、支援画像・音声情報生成部209で生成されたアバターを重畳して表示する画像を生成し、それを参加者側処理装置10に送る。
【0094】
参加者側処理装置10のディスプレイ11には、アバターがスピーチをしているように振舞っている画像が表示される。これにより、バーチャル参加者7は、自分がイベント会場であたかもスピーチしているような感覚を得ることができる。
【0095】
そして、イベントが終了すれば、支援サーバ2から参加者側処理装置10へのライブ画像情報およびライブ音声情報の送信が停止し、支援サーバ2によるイベント参加支援サービスが終了となる。
【0096】
<イベント参加支援システムの各部の処理動作例>
〔参加者側処理装置10における処理動作例〕
図6および図7に、以上のようなシステム動作を実現するためになされる参加者側処理装置10での処理動作例のフローチャートを示す。この図6および図7の各ステップの処理は、CPU101がROM102のプログラムにしたがって実行するものである。
【0097】
CPU101は、バーチャル参加者7により、操作部12を通じた支援サーバ2へのアクセス指示がなされるのを待ち(ステップS101)、アクセス指示がなされたと判別したときには、支援サーバ2から送られてくるイベント識別子およびバーチャル参加者識別子の入力画面を受信する(ステップS102)。
【0098】
そして、CPU101は、バーチャル参加者7による操作部12を通じたイベント識別子およびバーチャル参加者識別子の入力完了を待ち(ステップS103)、識別子の入力が完了したと判別したときには、入力されたイベント識別子およびバーチャル参加者識別子を支援サーバ2に送る(ステップS104)。
【0099】
イベント識別子およびバーチャル参加者識別子が正しければ、支援サーバ2からはイベント開始準備がOKであるかNGであるかのいずれかが送られてくる。そこで、CPU101は、イベント開始準備OKを受信したか否か判別し(ステップS105)、イベント開始準備OKを受信してはいないと判別したときには、「しばらくお待ちください」をディスプレイ画面に表示して、ステップS105に戻る。
【0100】
そして、ステップS105で、イベント開始準備OKを受信したと判別したときには、CPU101は、イベントの受付のための手続の支援画像・音声情報を受信する(ステップS107)。そして、CPU101は、操作部12を通じてバーチャル参加者7による操作入力情報を受け付けたか否か判別する(ステップS108)。
【0101】
ステップS108で、操作部12を通じてバーチャル参加者7による操作入力情報を受け付けたと判別したときには、CPU101は、バーチャル参加者7の操作入力情報を、通信ネットワーク4を通じて支援サーバ2に送信する(ステップS109)。そして、次に、CPU101は、支援サーバ2からの通知情報により、支援画像・音声情報が終了したか否か判別し(ステップS110)、終了していないと判別したときには、ステップS107に戻り、このステップS107以降の処理を繰り返す。また、ステップS108で、操作部12を通じてバーチャル参加者7による操作入力情報を受け付けていないと判別したときには、ステップS109をバイパスして、ステップS110に進み、このステップS110以降の処理を繰り返す。
【0102】
ステップS109で、支援画像・音声情報が終了したと判別したときには、CPU101は、支援サーバ2からのライブ画像情報およびライブ音声情報を受信して、イベント会場6のライブ画像(3D画像)および音声(マルチサラウンド音声)のモニター再生を開始する(図7のステップS121)。
【0103】
そして、CPU101は、バーチャル参加者7から、操作部12を通じた撮像装置31の向きやズームの変更指示を受け付けたか否か判別し(ステップS122)、受け付けたと判別したときには、支援サーバ2に、撮像装置31の向きやズームの変更指示情報を送信する(ステップS123)。
【0104】
ステップS122で、バーチャル参加者7から、操作部12を通じた撮像装置31の向きやズームの変更指示を受け付けてはいないと判別したとき、また、ステップS123の次には、CPU101は、マイクロホン13がオンとされて、音声信号が入力されたか否か判別する(ステップS124)。
【0105】
すなわち、ライブ画像およびライブ音声には、バーチャル参加者7がスピーチを行う場面になると、前述したように、オペレータの「スピーチ支援」の指示入力に応じて、バーチャル参加者7に対してスピーチを実行するように促すメッセージが重畳されて送られてくる。これに応じて、バーチャル参加者7は、マイクロホン13をオンにして、スピーチ入力を実行する。そして、マイクロホン13からの音声信号の入力が検知されたときには、CPU101は、支援サーバ2に、当該マイクロホン13で収音されたバーチャル参加者7の音声信号を送信する(ステップS125)。
【0106】
次に、CPU101は、イベントが終了したか否かを支援サーバ2からの終了通知があったか否かにより判別する(ステップS126)。ステップS126で、イベントが終了してはいないと判別したときには、CPU101は、ステップS122に戻り、このステップS122以降の処理を繰り返す。
【0107】
ステップS126で、イベントが終了したと判別したときには、CPU101は、支援サーバ2からの情報の受信を停止して、イベント終了をディスプレイ表示や音声報知によりバーチャル参加者7に報知する(ステップS127)。そして、CPU101は、支援サーバ2との通信路を切断し(ステップS128)、この処理ルーチンを終了する。
【0108】
〔支援サーバ2における処理動作例〕
図8〜図10に、上述のようなシステム動作を実現するためになされる支援サーバ2での処理動作例のフローチャートを示す。この図8〜図10の各ステップの処理は、ROM202のプログラムにしたがってCPU201が各部を制御して実行するものである。
【0109】
支援サーバ2のCPU201は、参加者側処理装置10からのアクセスの受信を待ち(ステップS201)、参加者側処理装置10からのアクセスを受信したと判別したときには、イベント識別子およびバーチャル参加者識別子の入力画面を、参加者向送信情報生成部210に生成させて、参加者側処理装置10に送信させる(ステップS202)。
【0110】
そして、CPU201は、参加者側処理装置10から送られてくるイベント識別子およびバーチャル参加者識別子を受信し(ステップS203)、対応するイベントを判定し、当該イベントの開始準備ができているかどうかをチェックする(ステップS204)。そして、CPU201は、そのチェックの結果、イベント開始準備がOKであるか否か判別し(ステップS205)、イベント開始準備がOKではないと判別したときには、参加者側処理装置10にイベント開始準備NGを送信し(ステップS206)、ステップS204に戻る。
【0111】
ステップS205で、イベント開始準備がOKであると判別したときには、CPU201は、オペレータの「受付支援」の指示入力に応じて、支援画像・音声情報生成部209および参加者向送信情報生成部210を制御して、イベント会場の受付のための支援画像・音声情報を生成させると共に、生成させた支援画像・音声情報を参加者処理装置10に送信させる(ステップS207)。
【0112】
次に、CPU201は、参加者側処理装置10からの受信を監視し、受信があったときには、受信情報分配部206を制御し、その受信情報がバーチャル参加者7の操作入力情報であるか否か判別させる(ステップS208)。
【0113】
ステップS208で、受信情報がバーチャル参加者7の操作入力情報であると判別されたときには、CPU201は、受信した操作入力情報をバーチャル参加者操作解析部212で解析させる。バーチャル参加者操作解析部212は、その解析結果を支援画像・音声情報生成部209やバーチャル参加者情報記憶部205に供給する。支援画像・音声情報生成部209は、バーチャル参加者7の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者7の操作入力情報を支援画像に反映する。また、バーチャル参加者情報記憶部205は、バーチャル参加者7により入力された記帳情報などを記憶する(ステップS209)。
【0114】
ステップS208で、受信情報がバーチャル参加者7の操作入力情報ではないと判別したとき、また、ステップS209の次には、CPU201は、支援画像・音声情報生成部209での支援画像・音声情報の生成処理が終了したか否か判別し(ステップS210)、終了していないと判別したときには、ステップS207に戻って、このステップS207以降の処理を繰り返す。
【0115】
そして、ステップS210で、オペレータの操作部216を通じて「ライブ画像・ライブ音声」の指示入力に応じて、支援画像・音声情報の生成処理を終了したと判別したときには、CPU201は、バーチャル参加者操作解析部212の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者7による仮想の金銭の受け渡し行為があったか否か判別する(ステップS221)。このステップS221において、バーチャル参加者7による仮想の金銭の受け渡し行為があったと判別したときには、CPU201は、バーチャル参加者決済処理部213に、当該バーチャル参加者7についての金銭の受け渡しの決済処理をするように制御指示する(ステップS222)。
【0116】
次に、CPU201は、会場側処理装置30に通信ネットワーク4を通じてアクセスし、通信路を生成する(ステップS223)。そして、CPU201は、会場側処理装置30から送られてくるライブ撮像画像情報およびライブ音声情報の参加者側処理装置10への送信を開始させるように、受信情報分配部206、受信画像・音声情報処理部207および参加者向送信情報処理部210を制御する(ステップS224)
そして、CPU201は、バーチャル参加者情報記憶部205からバーチャル参加者7のホログラム用画像データを読み出して、会場側処理装置30に送信するように会場向送信情報生成部211および通信インターフェース204を制御する(ステップS225)。
【0117】
そして、CPU201は、受信情報分配部206で参加者側処理装置10からの情報を受信したかどうかチェックし、受信したときには、バーチャル参加者操作解析部212の解析結果から、受信した情報が、撮像装置31の向きやズームなどの変更指示情報か否か判別する(ステップS226)。このステップS226で、受信した情報が、撮像装置31の向きやズームなどの変更指示情報であると判別したときには、CPU201は、会場向送信情報生成部211を制御して、撮像装置31の向きやズームなどの変更指示情報を会場側処理装置30に送信させるようにする(ステップS227)。
【0118】
ステップS226で、受信した情報が、撮像装置31の向きやズームなどの変更指示情報ではないと判別したとき、また、ステップS227の次には、CPU201は、参加者側処理装置10から音声信号を受信したか否か判別する(ステップS228)。
【0119】
このステップS228で、参加者側処理装置10から音声信号を受信したと判別したときには、CPU201は、会場側処理装置30に、参加者側処理装置10からの音声信号を送信するように会場向送信情報生成部211および通信インターフェース204を制御する(ステップS229)。
【0120】
ステップS228で、参加者側処理装置10から音声信号を受信してはいないと判別したとき、また、ステップS229の処理の後には、CPU201は、イベントが終了したか否か判別する(図10のステップS231)。このイベント終了判別は、イベント終了時刻を判別することで、自動的に行ってよいし、モニター装置215でイベントをモニターしているオペレータによるイベント終了入力操作を判別する処理であっても良い。さらには、イベント会場6の会場側装置3からの終了指示を判別する処理であっても良い。
【0121】
このステップS231で、イベント終了ではないと判別したときには、CPU201は、ステップS226に戻り、このステップS226以降の処理を繰り返す。また、ステップS231で、イベント終了である判別したときには、CPU201は、会場側処理装置30からの撮像情報および音声情報の受信を停止し、イベント終了を参加者側処理装置10に通知する(ステップS232)。
【0122】
そして、CPU201は、参加者側処理装置10および会場側処理装置30との通信路が切断を待って(ステップS233)、この処理ルーチンを終了する。
【0123】
〔会場側処理装置30での処理動作例〕
図11に、上述のようなシステム動作を実現するためになされる会場側処理装置30での処理動作例のフローチャートを示す。この図11の各ステップの処理は、ROM302のプログラムにしたがってCPU301が各部を制御して実行するものである。
【0124】
CPU301は、先ず、撮像装置31による撮像画像およびマイクロホン32による収音音声の送信準備を行う(ステップS301)。そして、CPU301は、支援サーバ2と、通信ネットワーク4を通じて接続されるのを待ち(ステップS302)、支援サーバ2と接続されたと判別したときには、撮像装置31による撮像画像およびマイクロホン32による収音音声の支援サーバ2への送信を開始するように各部を制御する(ステップS303)。
【0125】
次に、CPU301は、支援サーバ2から送られてくるバーチャル参加者7のホログラム用画像データを受信して、ホログラム用画像データ格納部310に格納し、そのホログラム用画像データをホログラム映出装置33に送って、ホログラムの再生を開始する(ステップS303)。
【0126】
次に、CPU301は、支援サーバ2から送られてくる情報を監視して、撮像装置31の向きやズームの変更指示情報を受信したか否か判別する(ステップS305)。そして、ステップS305で、撮像装置31の向きやズームの変更指示情報を受信したと判別したときには、CPU301は、撮像装置31の向きやズームを受信した変更指示情報に応じて変更制御する(ステップS306)。
【0127】
ステップS305で、撮像装置31の向きやズームの変更指示情報を受信してはいないと判別したとき、また、ステップS306の次には、CPU301は、支援サーバ2から音声情報を受信したか否か判別する(ステップS307)。そして、ステップS307で、支援サーバ2から音声情報を受信したと判別したときには、CPU301は、受信した音声信号をスピーカ34で音響再生する(ステップS308)。
【0128】
ステップS307で、支援サーバ2から音声情報を受信してはいないと判別したとき、また、ステップS308の次には、CPU301は、イベントが終了したか否か判別する(ステップS309)。そして、ステップS309で、イベントが終了してはいないと判別したときには、CPU301は、ステップS305に戻り、このステップS305以降の処理を繰り返す。また、ステップS309で、イベントが終了したと判別したときには、CPU301は、支援サーバ2との接続を切断するなどの、イベント終了処理をし(ステップS310)、この処理ルーチンを終了する。
【0129】
以上のようにして、この実施形態においては、バーチャル参加者7は、イベント会場6において行われているイベントの光景をディスプレイ装置11で3D立体画像として観視できると共に、イベントの音声をマルチサラウンド音声として聴取できる。したがって、バーチャル参加者7は、臨場感豊にイベントの光景を視聴することができ、仮想的にイベントに参加している感覚を持つことができる。
【0130】
その上、この実施形態では、支援画像・音声情報により、イベントの画像や音声を視聴するのみではなく、あたかも実際にイベント会場に行って、受付を行い、また、スピーチなどイベントにあたかも実際に参加したような感覚を得ることができる。
【0131】
また、イベント会場6の会場側装置においては、バーチャル参加者がホログラムとして映出されるので、イベント会場6のイベント参加者は、バーチャル参加者の当該イベントへのバーチャル参加を確実に認識することができる。
【0132】
なお、上述の第1の実施形態では、バーチャル参加者7のホログラムは、予め用意したバーチャル参加者7の静止画像のホログラムとした。しかし、参加者側装置1に撮像装置を配設しておき、この撮像装置で撮像した画像情報を、イベントの開催時間中、常に、支援サーバ2に供給するようにすると共に、支援サーバ2がホログラム用画像データをリアルタイムで生成して、会場側装置1に、リアルタイムで送信するようにしても良い。
【0133】
上述の実施形態では、受付の支援画像・音声情報は、オペレータの指示に基づいて、イベント会場のリアルタイム画像・音声情報に代えて、参加者側処理部10に供給するようにしたが、例えば、イベント開催スケジュールに応じて、時間により自動的に、切り替えるように構成することもできる。
【0134】
なお、上述の実施形態は、イベントが結婚式の場合であったが、葬儀やコンサート、会議などにも、この発明は適用することができる。例えば葬儀の場合であれば、支援サーバでは、受付の支援画像・音声情報の他、焼香行為についての支援画像・音声情報を参加者側処理装置に提供することができる。その場合、焼香行為の支援画像においては、アバターがバーチャル参加者の焼香行為に応じた動きをするように、支援サーバは、支援画像を生成する。
【0135】
また、イベント会場がコンサート会場である場合には、支援サーバでは、入場受付の支援画像・音声情報の他、休憩時間やコンサート終了後のCDやDVDの販売を支援する支援画像・音声情報を生成して、バーチャル参加者に提供することもできる。そして、その場合には、CDやDVDの販売において、バーチャル参加者についての決済処理も、前述の実施形態と同様にして行うことができる。
【0136】
[第2の実施形態]
第1の実施形態は、現実空間に設営されたイベント会場で、現実にイベントが行われている場合において、バーチャル参加者の当該イベントへのバーチャル参加を支援するシステムであったが、仮想的に作成されたイベント会場で、仮想的なイベントが行われる場合において、バーチャル参加者のバーチャル参加を支援するシステムとすることもできる。第2の実施形態は、その場合の例である。
【0137】
この第2の実施形態のイベント参加支援システムの構成例を図12に示す。すなわち、この第2の実施形態では、イベント参加支援サーバ20に対して、複数の参加者側装置1が通信ネットワーク4を通じて接続される。イベントはバーチャルイベントであるので、会場側装置3は、この第2の実施形態では設けられない。
【0138】
参加者側装置1は、この第2の実施形態においても、前述した第1の実施形態と全く同様に構成されており、参加者側処理装置10と、ディスプレイ装置11と、操作部12と、マイクロホン13とを備える。
【0139】
支援サーバ20は、第1の実施形態とは異なり、通信ネットワーク4を通じた会場側装置3との情報通信が不要である。この第2の実施形態における支援サーバ20の構成例のブロック図を図13に示す。この図13において、図4に示した第1の実施形態の支援サーバ2と同一部分には、同一番号を付してある。
【0140】
すなわち、支援サーバ20においては、システムバス200に対して、第1の実施形態と同一部分として、CPU201、ROM202、RAM203、通信インターフェース204、バーチャル参加者情報記憶部205、支援画像・音声情報生成部209、参加者向送信情報生成部、バーチャル参加者操作解析部212、バーチャル参加者決済処理部213、が接続されている。
【0141】
第1の実施形態の受信情報分配部206、受信画像・音声情報処理部207、モニターインターフェース208、会場向送信情報生成部211、操作部インターフェース214、モニター装置215、操作部216は、この第2の実施形態では設けられない。そして、その代わりに、この第2の実施形態の支援サーバ20には、バーチャルイベント情報生成保持部221、時計部222およびバーチャルイベント記録情報生成部223が、システムバス200に接続されて設けられる。
【0142】
バーチャルイベント情報生成保持部221は、バーチャルイベントの開催依頼者の依頼に応じて作成されたバーチャルイベント情報を生成し、生成したバーチャルイベント情報を格納保持する。ここで、生成されたバーチャルイベント情報は、バーチャル参加者のイベント参加ポイントの情報が含まれている。バーチャルイベント参加ポイントには、バーチャルイベント情報から支援画像・音声情報に切り替えられる切り替えポイントと、支援画像・音声情報がバーチャルイベント情報に重畳される重畳ポイントとがある。この第2の実施形態では、参加者向送信情報生成部210は、CPU201の制御にしたがって、切り替えポイントではバーチャルイベント情報と支援画像・音声情報とを切り替え、重畳ポイントではバーチャルイベント情報に支援画像・音声情報を重畳する。
【0143】
時計部222は、年、月、日、時、分、秒の時間情報を提供するためのものである。バーチャルイベント記録情報生成部223は、バーチャル参加者のバーチャルイベントへの参加日時の情報、バーチャル参加者がバーチャルイベントにおいて入力した情報などを、バーチャルイベント識別子およびバーチャル参加者の識別子に対応付けて記録する。そして、バーチャルイベント記録情報生成部223は、各バーチャルイベントの開催期間が終了した後、各バーチャルイベント情報と、バーチャル参加者の入力情報とを含めた記録情報を生成する。そして、このバーチャルイベント記録情報生成部223で生成された記録情報は、バーチャルイベントの開催依頼者に提供される。
【0144】
<支援サーバ20におけるバーチャルイベント生成および提供手順>
理解を容易にするため、図14を参照して、この第2の実施形態におけるバーチャルイベントの作成から、提供終了までの手順を説明する。
【0145】
バーチャルイベントの開催依頼者(以下、単に依頼者という)は、支援サーバ20の運営サービス事業者に対して、バーチャルイベントの作成依頼の申し込みを行う(手順T1)。次に、依頼者は、結婚式、葬儀、法事、還暦祝いなど、どのような種類のバーチャルイベントの開催を希望するかについて、支援サーバ20の運営サービス事業者に伝える(手順T2)。
【0146】
次に、支援サーバ20の運営サービス事業者は、バーチャルイベントの開催条件についての依頼者の希望を聴取して開催条件を決定する(手順T3)。この例では、依頼者は、例えば結婚式であれば、神前、仏前、人前、キリスト教会などの形式、あるいは、「ハワイで」、「エベレスト山の頂上で」、「地中海で」、などの開催地などを選定依頼することができる。また、イベント参加者は何人にするか、そのうちボットを何人分用意するか、なども依頼者は選定することができる。支援サーバ20の運営サービス事業者は、依頼者のこれらの条件の選定を受け付け、さらに、アバターは、本人の画像を反映したものにするか、衣装はどのようにするかなど、詳細条件について依頼者の意向に沿って、開催条件を決定する。
【0147】
以上のようにして、バーチャルイベントを生成するための開催条件が定まったら、支援サーバ20の運営サービス事業者は、例えば支援サーバ20において、バーチャルイベント情報を生成する。なお、バーチャルイベント情報は、支援サーバ20以外の専用装置で作成しても勿論良い。そして、支援サーバ20の運営サービス事業者は、生成したバーチャルイベント情報を、その識別子と対応付けて、支援サーバ20のバーチャルイベント情報生成保持部221に格納保持する(手順T4)。なお、バーチャルイベント情報生成保持部221に格納された各バーチャルイベント情報には、依頼者により指定された各バーチャルイベントの開催期間の情報も含まれている。
【0148】
次に、支援サーバ20の運営サービス事業者は、依頼者からのイベント参加予定者リストに基づき、それらのイベント参加予定者に対して、バーチャルイベントの開催通知を、メールや郵送などで通知する(手順T5)。このバーチャルイベントの開催通知には、バーチャルイベント識別子と、各イベント参加予定者のバーチャル参加者識別子とが含まれている。イベント参加予定者は、参加者側装置1から支援サーバ20にアクセスしたときに、これらの識別子を支援サーバ20に送ることで、対応するバーチャルイベントへのバーチャル参加が可能となる。
【0149】
次に、支援サーバ20は、バーチャルイベント情報生成保持部221の各バーチャルイベント開催期間の情報を監視して、開催期間になったかどうか判別する(手順T6)。そして、開催期間になったと判別したときには、支援サーバ20は、通知したバーチャル参加予定者からのアクセスを受け付けたか否か判別する(手順T7)。
【0150】
そして、バーチャル参加予定者からのアクセスを受け付けたと判別したときには、支援サーバ20は、バーチャル参加予定者により識別子が指定されたバーチャルイベント情報を、バーチャル参加予定者に提供すると共に、バーチャル参加予定者が当該バーチャルイベントにおいて入力した情報を、そのバーチャル参加者識別子に対応して記録保持する(手順T8)。
【0151】
手順T7でバーチャル参加予定者からのアクセスを受け付けていないと判別したとき、また、手順T8で、バーチャル参加予定者にバーチャルイベント情報を提供した後には、支援サーバ20は、バーチャルイベント開催期間が終了したか否か判別する(手順T9)。
【0152】
そして、手順T9でバーチャルイベント開催期間が終了してはいないと判別したときには、支援サーバ20は、手順T7に戻って、他のバーチャル参加予定者によるアクセスを監視する。また、手順T9でバーチャルイベント開催期間が終了したと判別したときには、支援サーバ20は、バーチャルイベント情報と、当該バーチャルイベントに参加した全てのバーチャル参加者の入力情報とを含めた記録情報を生成し、イベント開催依頼者に提供する(手順T10)。
【0153】
なお、バーチャル参加予定者は、バーチャルイベントの開催期間前に、支援サーバ20の運営サービス事業者と接触し、バーチャルイベントに参加したときに登場する自分のアバターを、自分の画像にできるだけ似せるように依頼することができる。支援サーバ20は、バーチャル参加者から、アバターについて前記のような依頼があった場合には、当該バーチャル参加者の画像を取得して、予め当該バーチャル参加者のアバターを、バーチャル参加者識別子に対応付けて保存しておく。そして、支援サーバ2は、当該バーチャル参加者からのバーチャルイベントへの参加のための支援サーバ20へのアクセスがあったときには、その保存されているアバターをバーチャルイベントに登場させるようにする。
【0154】
<支援サーバ20における処理動作例>
図15〜図17は、この第2の実施形態の支援サーバ20における処理動作例のフローチャートである。この図15〜図17の各ステップは、ROM202のプログラムにしたがってCPU201が各部を制御して実行するものである。
【0155】
支援サーバ20のCPU201は、参加者側処理装置10からのアクセスの受信を待ち(ステップS401)、参加者側処理装置10からのアクセスを受信したと判別したときには、バーチャルイベント識別子およびバーチャル参加者識別子の入力画面を、参加者向送信情報生成部210に生成させて、参加者側処理装置10に送信させる(ステップS402)。
【0156】
そして、CPU201は、参加者側処理装置10から送られてくるバーチャルイベント識別子およびバーチャル参加者識別子を受信し(ステップS403)、対応するバーチャルイベントを判定する。そして、この例では、CPU201は、支援画像・音声情報生成部209および参加者向送信情報生成部210を制御して、イベント会場の受付のための支援画像・音声情報を生成させると共に、生成させた支援画像・音声情報を参加者処理装置10に送信させる(ステップS404)。
【0157】
次に、CPU201は、参加者側処理装置10から、バーチャル参加者7の操作入力情報を受信したか否か判別する(ステップS405)。
【0158】
ステップS405で、バーチャル参加者7の操作入力情報を受信したと判別したときには、CPU201は、受信した操作入力情報をバーチャル参加者操作解析部212で解析させる。バーチャル参加者操作解析部212は、その解析結果を支援画像・音声情報生成部209やバーチャルイベント記録情報生成部223に供給する。支援画像・音声情報生成部209は、バーチャル参加者7の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者7の操作入力情報を支援画像に反映する。また、バーチャルイベント記録情報生成部223は、バーチャル参加者7の参加日時情報、バーチャル参加者7により入力された記帳情報などを、バーチャル参加者識別子に対応付けて記憶する(ステップS406)。
【0159】
ステップS405で、受信情報がバーチャル参加者7の操作入力情報ではないと判別したとき、また、ステップS406の次には、CPU201は、支援画像・音声情報生成部209での支援画像・音声情報の生成処理が終了したか否か判別し(ステップS407)、終了していないと判別したときには、ステップS404に戻って、このステップS404以降の処理を繰り返す。
【0160】
そして、ステップS407で、支援画像・音声情報の生成処理が終了したと判別したときには、CPU201は、バーチャル参加者操作解析部212の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者7による仮想の金銭の受け渡し行為があったか否か判別する(図16のステップS411)。このステップS411において、バーチャル参加者7による仮想の金銭の受け渡し行為があったと判別したときには、CPU201は、バーチャル参加者決済処理部213に、当該バーチャル参加者7についての金銭の受け渡しの決済処理をするように制御指示する(ステップS412)。
【0161】
次に、CPU201は、バーチャルイベント情報生成保持部221から、バーチャル参加者により入力指示されたバーチャルイベント識別子のバーチャルイベント情報を読み出して、参加者側処理装置10に通信ネットワーク4を通じて送信する処理を開始する(ステップS413)。
【0162】
そして、CPU201は、送信中のバーチャルイベント情報において、バーチャル参加者のイベント参加ポイントになるのを待つ(ステップS414)。
【0163】
このステップS414で、バーチャル参加者のイベント参加ポイントになってはいないと判別したときには、CPU201は、バーチャルイベントが最後まで実行されて終了したか否か判別する(図17のステップS424)。このステップS424で、バーチャルイベントが終了したと判別したときには、CPU201は、バーチャルイベント情報の参加者側処理装置10への送信を停止し(ステップS425)、この処理ルーチンを終了する。また、ステップS424で、バーチャルイベントが終了してはいないと判別したときには、CPU201は、ステップS414に戻る。
【0164】
そして、ステップS414で、イベント参加ポイントになったと判別したときには、CPU201は、切り替えポイントではバーチャルイベント情報に代えて支援画像・音声情報を参加者側処理装置10に送信し、重畳ポイントではバーチャルイベント情報に支援画像・音声情報を重畳し、支援画像・音声情報と、参加者側処理装置10に送信する(ステップS415)。
【0165】
次に、CPU201は、参加者側処理装置10から、バーチャル参加者7の操作入力情報を受信したか否か判別する(ステップS416)。
【0166】
ステップS416で、バーチャル参加者7の操作入力情報を受信したと判別したときには、CPU201は、受信した操作入力情報をバーチャル参加者操作解析部212で解析させる。バーチャル参加者操作解析部212は、その解析結果を支援画像・音声情報生成部209やバーチャルイベント記録情報生成部223に供給する。支援画像・音声情報生成部209は、バーチャル参加者7の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者7の操作入力情報を支援画像に反映する。また、バーチャルイベント記録情報生成部223は、バーチャル参加者7により入力された記帳情報などを、バーチャル参加者識別子に対応付けて記憶する(ステップS417)。
【0167】
ステップS416で、受信情報がバーチャル参加者7の操作入力情報ではないと判別したとき、また、ステップS417の次には、CPU201は、支援画像・音声情報生成部209での支援画像・音声情報の生成処理が終了したか否か判別し(ステップS418)、終了していないと判別したときには、ステップS415に戻って、このステップS415以降の処理を繰り返す。
【0168】
そして、ステップS418で、支援画像・音声情報の生成処理が終了したと判別したときには、CPU201は、バーチャル参加者操作解析部212の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者7による仮想の金銭の受け渡し行為があったか否か判別する(図17のステップS421)。このステップS421において、バーチャル参加者7による仮想の金銭の受け渡し行為があったと判別したときには、CPU201は、バーチャル参加者決済処理部213に、当該バーチャル参加者7についての金銭の受け渡しの決済処理をするように制御指示する(ステップS422)。
【0169】
例えばバーチャルイベントがコンサートである場合には、前述したように、支援サーバでは、入場受付の支援画像・音声情報の他、休憩時間やコンサート終了後のCDやDVDの販売を支援する支援画像・音声情報を生成して、バーチャル参加者に提供する。その場合には、バーチャル参加者がCDやDVDを購入した場合には、当該バーチャル参加者についての決済処理が生じるので、このステップS421およびステップS422において、決済処理をする。
【0170】
次に、CPU201は、支援画像・音声情報生成部229からの支援画像・音声情報の読み出しを停止する。そして、バーチャルイベント情報生成保持部221からのバーチャルイベント情報を、参加者側処理装置10に通信ネットワーク4を通じて送信する(ステップS423)。
【0171】
次に、CPU201は、バーチャルイベントが最後まで実行されて終了したか否か判別し(ステップS424)、バーチャルイベントが終了してはいないと判別したときには、CPU201は、ステップS414に戻る。また、ステップS424で、バーチャルイベントが終了したと判別したときには、バーチャルイベント情報の参加者側処理装置10への送信を停止し(ステップS425)、この処理ルーチンを終了する。
【0172】
<参加者側処理装置10の処理動作例>
手順T8における支援サーバ20からのバーチャルイベントの提供を受けたときの参加者側処理装置10の処理動作は、支援サーバ20から受け取るイベント情報がバーチャルイベント情報である点が異なるのみで、図6および図7を用いて説明した第1の実施形態と同様である。そこで、この第2の実施形態では、参加者側処理装置10における処理動作については説明を省略する。
【0173】
以上説明した第2の実施形態によれば、バーチャル参加者は、バーチャルイベント会場に行って、受付を行い、また、スピーチなどバーチャルイベントにあたかも実際に参加したような感覚を得ることができる。
【0174】
[その他の実施形態または変形例]
上述の第1および第2の実施形態では、参加者側装置1は、パーソナルコンピュータを用いた構成としたが、携帯電話端末などの携帯装置を参加者側装置として用いることもできる。
【0175】
また、第1の実施形態において、会場側装置3に設けられる撮像装置は、よりイベント会場の臨場感をバーチャル参加者が味わえるようにするため3Dカメラを用いるようにしたが、これに限られるものではなく、通常の2Dのカメラであっても勿論よい。
【0176】
また、第1の実施形態におけるイベント会場の音声も、マルチサラウンド音声に限られるものではなく、2チャンネルステレオ音声やモノーラル音声であっても差し支えない。
【0177】
また、第1の実施形態において、現実空間でのイベントの情報は、ライブイベント情報として参加者側装置に提供するようにしたが、現実空間でのイベントを録画したものを、参加者側装置に提供するようにしても良い。
【0178】
なお、上述の実施形態では、イベント情報としては、画像情報と音声情報との両方を含むものとしたが、画像情報のみであっても良い。
【符号の説明】
【0179】
1…参加者側装置、2,20…イベント参加支援サーバ、3…会場側装置、4…通信ネットワーク、10…参加者側処理装置、11…ディスプレイ装置、12…マイクロホン、13…操作部、30…会場側処理装置、31…撮像装置、32…マイクロホン、33…ホログラム映出装置、34…スピーカ、35…ホログラム
【特許請求の範囲】
【請求項1】
イベント参加支援サーバと、イベントに仮想的に参加する参加者の側に設けられ、前記イベント参加支援サーバと通信ネットワークを通じて接続される参加者側装置とを備えるイベント参加支援システムであって、
前記イベント参加支援サーバは、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備え、
前記参加者側装置は、
前記通信ネットワークを通じて受信した前記イベントの画像情報および前記支援画像情報による画像を、前記参加者に観視させるために表示する表示手段と、
前記表示手段に表示された前記支援画像に対応して前記参加者により入力された前記入力情報を受け付ける受付手段と、
前記受付手段で受け付けた前記入力情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する入力情報送信手段と、
を備えるイベント参加支援システム。
【請求項2】
請求項1に記載のイベント参加支援システムにおいて、
イベント会場に設置されると共に、前記通信ネットワークを通じて前記イベント参加支援サーバに接続される会場側装置をさらに備え、
会場側装置は、前記イベント会場において実際に行われている撮像する撮像手段と、
前記撮像手段で撮像した撮像画像情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する手段と
を備え、
前記イベント参加支援サーバの前記イベント画像送信手段は、前記会場側装置から受信した前記画像情報を、前記通信ネットワークを通じて前記参加者側装置に送信する
イベント参加支援システム。
【請求項3】
請求項1または請求項2に記載のイベント参加支援システムにおいて、
前記イベント参加支援サーバは、仮想的なイベントの画像情報のイベント画像情報生成手段を備え、
前記イベント参加支援サーバの前記イベント画像送信手段は、前記イベント画像情報生成手段で生成した前記仮想的なイベントの画像情報を、前記通信ネットワークを通じて前記参加者側装置に送信する
イベント参加支援システム。
【請求項4】
請求項1〜請求項3のいずれかに記載のイベント参加支援システムにおいて、
前記参加者により入力された前記入力情報は、イベントにおける金銭の仮想的な受け渡しについて情報を含み、
前記イベント参加支援サーバの前記対応処理手段は、前記入力情報に基づいて、前記金銭の仮想的な受け渡しにおける金銭の前記参加者への課金のための処理を行う
イベント参加支援システム。
【請求項5】
請求項1〜請求項4のいずれかに記載のイベント参加支援システムにおいて、
前記参加者により入力された入力情報は、前記参加者の所作を表わす操作入力情報であり、
前記イベント参加支援サーバの前記対応処理手段は、前記支援画像において、前記参加者の分身となる人物像を表示すると共に、前記参加者側装置から受信した前記操作入力情報に応じて前記参加者の分身となる人物像を動かすようにする
イベント参加支援システム。
【請求項6】
請求項2〜5のいずれかに記載のイベント参加支援システムにおいて、
前記参加者側装置の前記受付手段は、前記入力情報として前記参加者の発声音声の音声信号を取得する収音手段からなり、
前記イベント支援サーバの前記対応処理手段は、前記参加者側装置からの前記音声信号を、前記会場側装置に前記通信ネットワークを通じて送信する処理をし、
前記会場側装置は、前記イベント支援サーバから送信されてくる前記音声信号を音響再生する手段を備える
イベント参加支援システム。
【請求項7】
請求項1〜6のいずれかに記載のイベント参加支援システムにおいて、
前記参加者側装置の前記受付手段は、前記入力情報として前記参加者の発声音声の音声信号を取得する収音手段からなり、
前記イベント支援サーバの前記対応処理手段は、前記参加者側装置からの前記音声信号を受信して、記憶保持する
イベント参加支援システム。
【請求項8】
イベントに仮想的に参加する参加者の側に設けられる参加者側装置と通信ネットワークを通じて接続されるイベント参加支援サーバであって、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備えるイベント参加支援サーバ。
【請求項1】
イベント参加支援サーバと、イベントに仮想的に参加する参加者の側に設けられ、前記イベント参加支援サーバと通信ネットワークを通じて接続される参加者側装置とを備えるイベント参加支援システムであって、
前記イベント参加支援サーバは、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備え、
前記参加者側装置は、
前記通信ネットワークを通じて受信した前記イベントの画像情報および前記支援画像情報による画像を、前記参加者に観視させるために表示する表示手段と、
前記表示手段に表示された前記支援画像に対応して前記参加者により入力された前記入力情報を受け付ける受付手段と、
前記受付手段で受け付けた前記入力情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する入力情報送信手段と、
を備えるイベント参加支援システム。
【請求項2】
請求項1に記載のイベント参加支援システムにおいて、
イベント会場に設置されると共に、前記通信ネットワークを通じて前記イベント参加支援サーバに接続される会場側装置をさらに備え、
会場側装置は、前記イベント会場において実際に行われている撮像する撮像手段と、
前記撮像手段で撮像した撮像画像情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する手段と
を備え、
前記イベント参加支援サーバの前記イベント画像送信手段は、前記会場側装置から受信した前記画像情報を、前記通信ネットワークを通じて前記参加者側装置に送信する
イベント参加支援システム。
【請求項3】
請求項1または請求項2に記載のイベント参加支援システムにおいて、
前記イベント参加支援サーバは、仮想的なイベントの画像情報のイベント画像情報生成手段を備え、
前記イベント参加支援サーバの前記イベント画像送信手段は、前記イベント画像情報生成手段で生成した前記仮想的なイベントの画像情報を、前記通信ネットワークを通じて前記参加者側装置に送信する
イベント参加支援システム。
【請求項4】
請求項1〜請求項3のいずれかに記載のイベント参加支援システムにおいて、
前記参加者により入力された前記入力情報は、イベントにおける金銭の仮想的な受け渡しについて情報を含み、
前記イベント参加支援サーバの前記対応処理手段は、前記入力情報に基づいて、前記金銭の仮想的な受け渡しにおける金銭の前記参加者への課金のための処理を行う
イベント参加支援システム。
【請求項5】
請求項1〜請求項4のいずれかに記載のイベント参加支援システムにおいて、
前記参加者により入力された入力情報は、前記参加者の所作を表わす操作入力情報であり、
前記イベント参加支援サーバの前記対応処理手段は、前記支援画像において、前記参加者の分身となる人物像を表示すると共に、前記参加者側装置から受信した前記操作入力情報に応じて前記参加者の分身となる人物像を動かすようにする
イベント参加支援システム。
【請求項6】
請求項2〜5のいずれかに記載のイベント参加支援システムにおいて、
前記参加者側装置の前記受付手段は、前記入力情報として前記参加者の発声音声の音声信号を取得する収音手段からなり、
前記イベント支援サーバの前記対応処理手段は、前記参加者側装置からの前記音声信号を、前記会場側装置に前記通信ネットワークを通じて送信する処理をし、
前記会場側装置は、前記イベント支援サーバから送信されてくる前記音声信号を音響再生する手段を備える
イベント参加支援システム。
【請求項7】
請求項1〜6のいずれかに記載のイベント参加支援システムにおいて、
前記参加者側装置の前記受付手段は、前記入力情報として前記参加者の発声音声の音声信号を取得する収音手段からなり、
前記イベント支援サーバの前記対応処理手段は、前記参加者側装置からの前記音声信号を受信して、記憶保持する
イベント参加支援システム。
【請求項8】
イベントに仮想的に参加する参加者の側に設けられる参加者側装置と通信ネットワークを通じて接続されるイベント参加支援サーバであって、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備えるイベント参加支援サーバ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−215701(P2011−215701A)
【公開日】平成23年10月27日(2011.10.27)
【国際特許分類】
【出願番号】特願2010−80623(P2010−80623)
【出願日】平成22年3月31日(2010.3.31)
【出願人】(500578216)株式会社ゼンリンデータコム (231)
【Fターム(参考)】
【公開日】平成23年10月27日(2011.10.27)
【国際特許分類】
【出願日】平成22年3月31日(2010.3.31)
【出願人】(500578216)株式会社ゼンリンデータコム (231)
【Fターム(参考)】
[ Back to top ]