映像処理システム及び映像処理方法
【課題】躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる映像処理システムを提供すること。
【解決手段】映像処理システム１Ａは、被写体９０を撮影して被写体映像データを出力する撮影装置１０と、撮影装置１０の動作内容を示す動作データと、動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワーク８０を介して配信する配信装置２０Ａと、通信ネットワーク８０を介して配信された背景映像データと、撮影装置１０から得られた被写体映像データとの合成処理を行うとともに、合成処理により得られた合成映像データを表示装置４０上に表示させる合成再生装置３０とを備え、撮影装置１０は、配信装置２０Ａにより配信された動作データに従って被写体９０を撮影する。
【解決手段】映像処理システム１Ａは、被写体９０を撮影して被写体映像データを出力する撮影装置１０と、撮影装置１０の動作内容を示す動作データと、動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワーク８０を介して配信する配信装置２０Ａと、通信ネットワーク８０を介して配信された背景映像データと、撮影装置１０から得られた被写体映像データとの合成処理を行うとともに、合成処理により得られた合成映像データを表示装置４０上に表示させる合成再生装置３０とを備え、撮影装置１０は、配信装置２０Ａにより配信された動作データに従って被写体９０を撮影する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像合成技術が用いられる映像処理システム及び映像処理方法に関する。
【背景技術】
【０００２】
従来より、テレビや映画等の映像コンテンツの制作時において、映像合成技術（例えば、クロマキー合成技術）が用いられている。近年では、このような映像合成技術をカラオケ店等のアミューズメント施設に適用することが検討されている（特許文献１参照）。
【０００３】
特許文献１に記載の映像処理システムでは、カラオケ店に設置されたビデオカメラにより被写体（歌唱者）を撮影し、撮影により得られた被写体映像データと、予め用意された背景画像データとをクロマキー合成技術を用いて合成する。合成により得られた合成映像データは、カラオケ店に設置された表示装置上に表示される。これにより、表示装置上には、現実の背景とは異なる背景と共に歌唱者の映像が表示されるため、歌唱者は、擬似的に、テレビ出演しているような体験ができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１７５０７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の映像処理システムでは、固定された１つのビデオカメラを用いて被写体を撮影するのみであり、且つ、歌唱者の映像と共に表示される背景画像も静止画像であるため、表示される映像が単調なものになってしまい、映像の躍動感及び臨場感に乏しい。
【０００６】
したがって、特許文献１に記載の映像処理システムにおいては、当該映像処理システムが導入されたアミューズメント施設（カラオケ店等）を利用する顧客の満足度を十分に向上させることができない問題があった。
【０００７】
そこで、本発明は、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる映像処理システム及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明は以下のような特徴を有している。まず、本発明の第１の特徴は、所定の施設（例えば、カラオケ店又はテーマパーク等）に設置され、被写体（被写体９０）を撮影して被写体映像データを出力する撮影装置（撮影装置１０）と、前記撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワーク（通信ネットワーク８０）を介して配信する配信装置（配信装置２０Ａ）と、前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置（表示装置４０）上に表示させる合成再生装置（合成再生装置３０）とを備え、前記撮影装置は、前記配信装置により配信された前記動作データに従って前記被写体を撮影する映像処理システム（映像処理システム１Ａ）であることを要旨とする。
【０００９】
本発明の第２の特徴は、所定の施設（例えば、カラオケ店又はテーマパーク等）に設置され、被写体（被写体９０）を撮影して被写体映像データを出力する撮影装置（撮影装置１０）と、前記撮影装置から通信ネットワーク（通信ネットワーク８０）を介して前記被写体映像データを受信し、受信した前記被写体映像データと、背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した前記合成映像データを前記通信ネットワークを介して通信端末（携帯端末１００）に配信する配信装置（配信装置２０Ｂ）とを備え、前記撮影装置は、前記撮影装置の動作内容を示す動作データに従って前記被写体を撮影し、前記背景映像データは、前記動作データが示す動作内容と連動した映像からなる映像処理システム（映像処理システム１Ｂ）であることを要旨とする。
【００１０】
第１の特徴及び第２の特徴に係る映像処理システムによれば、撮影装置が、動作データに従った動作内容で被写体を撮影するため、例えばカメラ位置等を指定可能になり、被写体の映像についての躍動感を向上させることができる。また、被写体映像データと合成される背景映像データは、動作データが示す動作内容（撮影装置の動作内容）と連動した映像からなるため、被写体の映像の変化に連動した背景映像を提供できる。例えばカメラ位置が変化すると、その変化に応じて背景も変化させることができ、臨場感に満ちた合成映像を提供できる。
【００１１】
したがって、第１の特徴及び第２の特徴に係る映像処理システムによれば、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる。
【００１２】
本発明の第３の特徴は、本発明の第１又は第２の特徴に係り、前記撮影装置は、少なくとも１つのビデオカメラ（ビデオカメラ１１）と、前記動作データに従って前記ビデオカメラを移動させる制御ユニット（制御ユニット１２）とを有することを要旨とする。
【００１３】
本発明の第４の特徴は、本発明の第１又は第２の特徴に係り、前記撮影装置は、複数のビデオカメラ（ビデオカメラ１１ａ〜１１ｃ）と、前記動作データに従って、前記複数のビデオカメラのうち撮影に使用するビデオカメラを切り替える制御ユニット（制御ユニット１２）とを有することを要旨とする。
【００１４】
本発明の第５の特徴は、所定の施設に設置された撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワークを介して配信装置が配信するステップ（ステップＳ１０３）と、前記撮影装置が、前記配信装置により配信された前記動作データに従って被写体を撮影して被写体映像データを出力するステップ（ステップＳ１０５）と、前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させるステップ（ステップＳ１０７，Ｓ１０８）とを備える映像処理方法であることを要旨とする。
【００１５】
本発明の第６の特徴は、所定の施設に設置された撮影装置の動作内容を示す動作データに従って、前記撮影装置が被写体を撮影して被写体映像データを出力するステップ（ステップＳ２０１）と、前記撮影装置から通信ネットワークを介して配信装置が前記被写体映像データを受信するステップ（ステップＳ２０２）と、前記配信装置が、受信した前記被写体映像データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成するステップ（ステップＳ２０７）と、前記配信装置が、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信するステップ（ステップＳ２０８）とを備える映像処理方法であることを要旨とする。
【発明の効果】
【００１６】
本発明によれば、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる映像処理システム及び映像処理方法を提供できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る映像処理システムの構成を示す機能ブロック図である。
【図２】構成例１に係る撮影装置の側面図である。
【図３】構成例１に係る撮影装置の平面図である。
【図４】構成例２に係る撮影装置の概略平面図である。
【図５】動作データ及び背景映像データの作成方法を示すフローチャートである。
【図６】動作データの作成に用いられるシミュレータにおける表示画面例を示す図である。
【図７】本発明の第１実施形態に係る映像処理システムの動作シーケンスを示すシーケンス図である。
【図８】本発明の第２実施形態に係る映像処理システムの構成を示すブロック図である。
【図９】本発明の第２実施形態に係る映像処理システムの動作シーケンスを示すシーケンス図である。
【発明を実施するための形態】
【００１８】
次に、図面を参照して、本発明の第１実施形態、第２実施形態、その他の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００１９】
［第１実施形態］
以下において、（１）第１実施形態のシステム構成、（２）第１実施形態のシステム動作、（３）第１実施形態の効果について説明する。
【００２０】
（１）第１実施形態のシステム構成
まず、第１実施形態に係る映像処理システム１Ａの構成について、（１．１）全体概略構成、（１．２）配信装置２０Ａの構成、（１．３）合成再生装置３０の構成、（１．４）撮影装置１０の構成の順で説明する。
【００２１】
（１．１）全体概略構成
図１は、第１実施形態に係る映像処理システム１Ａの構成を示す機能ブロック図である。第１実施形態では、映像処理システム１Ａは、合成映像を提供可能な通信カラオケシステムとして構成されている。
【００２２】
図１に示すように、映像処理システム１Ａは、撮影装置１０、配信装置２０Ａ、合成再生装置３０、表示装置４０、マイクロフォン５０、操作装置６０、及びスピーカ７０を有する。撮影装置１０、合成再生装置３０、表示装置４０、マイクロフォン５０、操作装置６０、及びスピーカ７０は、カラオケ店５内に設置される。
【００２３】
撮影装置１０は、被写体９０を撮影して被写体映像データを出力する。撮影装置１０の詳細な構成例については後述する。第１実施形態においては、歌唱者を被写体９０とする場合について説明する。
【００２４】
表示装置４０は、入力される映像データに応じて映像を表示するディスプレイである。マイクロフォン５０は、歌唱者（被写体９０）が発する音声を電気信号に変換する。スピーカ７０は、電気信号を音声に変換する。
【００２５】
操作装置６０は、各種押ボタンを有しており、例えば歌唱者（被写体９０）からの入力操作を受け付けるリモートコントローラ（いわゆる、リモコン）である。なお、タッチパネル型の操作装置６０であってもよい。
【００２６】
合成再生装置３０と通信ネットワーク８０との間には、図示を省略するルータ装置等が設けられる。通信ネットワーク８０は、インターネット等のＷＡＮ又は専用回線等のＬＡＮ、あるいはこれらを組み合わせて構成されている。
【００２７】
配信装置２０Ａは、通信ネットワーク８０に接続されるサーバである。配信装置２０Ａは、撮影装置１０の動作内容を示す動作データと、当該動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワーク８０を介して配信する。動作データ及び背景映像データの作成方法については後述する。撮影装置１０は、配信装置２０Ａにより配信された動作データに従って被写体９０を撮影する。
【００２８】
合成再生装置３０は、通信ネットワーク８０を介して配信された背景映像データと、撮影装置１０から得られた被写体映像データとの合成処理を行うとともに、合成処理により得られた合成映像データを表示装置４０上に表示させる。
【００２９】
以下においては、合成処理としてクロマキー合成技術を使用する一例について説明するが、他の合成技術を使用してもよい。このような映像合成技術としては、例えば、（ａ）赤外光による深度測定による合成技術、（ｂ）ソフトクロマキー、（ｃ）画像分割と特徴量マッチングに基づいたオブジェクト追跡システム等がある。
【００３０】
クロマキー合成技術では、所定の色（例えば青又は緑）のカーテンまたはスクリーンなどの前に位置する被写体９０を撮影し、撮影により得られた被写体映像データから当該所定の色のデータを消去し、被写体部分のデータのみを抽出する。このようにして抽出された被写体部分のデータを背景映像データに重畳することで合成映像データが得られる。
【００３１】
一方、赤外光による深度測定による合成技術とは、赤外線を使用して奥行きを測定し、必要な人物（被写体）だけを抜き取ってリアルタイムで背景と合成する技術であり、青又は緑の布を背景とする必要のない技術である。また、ソフトクロマキーとは、ソフトウェアにより背景色と被写体の輪郭の色変化を計算し、背景を置き換える技術である。画像分割と特徴量マッチングに基づいたオブジェクト追跡システムとは、パターンマッチング等を用いた画像認識技術を応用したものであり、近年研究が進められているものである（例えば、特許第３８６１１５７号）。
【００３２】
（１．２）配信装置２０Ａの構成
引き続き図１を参照して、配信装置２０Ａの構成について説明する。配信装置２０Ａは、記憶部２１、検索部２２、及び通信部２３を有する。
【００３３】
記憶部２１は、背景映像データ、動作データ、及び楽曲データを予め記憶している。楽曲データとは、カラオケの楽曲における音声データ及び字幕データ等である。背景映像データ及び動作データは互いに対応付けられている。背景映像データ及び動作データの組は、楽曲データと対応付けられている。
【００３４】
検索部２２は、楽曲の配信を要求する配信要求に応じて、楽曲データ、背景映像データ、及び動作データを記憶部２１から検索する。
【００３５】
通信部２３は、各種の通信処理を行う。具体的には、配信要求を受信したり、検索部２２によって検索された楽曲データ、背景映像データ、及び動作データを配信したりする。
【００３６】
（１．３）合成再生装置３０の構成
引き続き図１を参照して、合成再生装置３０の構成について説明する。合成再生装置３０は、通信部３１、制御部３２、映像合成部３３、音声処理部３４を有する。第１実施形態において合成再生装置３０は通信カラオケ装置として構成されるが、本発明と関連しない構成については説明を省略する。
【００３７】
通信部３１は、各種の通信処理を行う。具体的には、配信要求を送信したり、配信された楽曲データ、背景映像データ、及び動作データを受信したりする。
【００３８】
制御部３２は、合成再生装置３０が具備する各種の機能を制御する。また、制御部３２は、各種の機能に用いるデータを記憶するメモリ等を有する。制御部３２は、操作装置６０に対する入力操作により得られた入力データに応じて、通信部３１、映像合成部３３、及び音声処理部３４を制御する。
【００３９】
映像合成部３３は、背景映像データと被写体映像データとの合成処理を行う。映像合成部３３は、合成処理により得られた合成映像データに字幕データを重畳して表示装置４０に転送する。音声処理部３４は、マイクロフォン５０から得られた音声データと、楽曲データにおける音声データとを処理してスピーカ７０に転送する。
【００４０】
（１．４）撮影装置１０の構成
次に、撮影装置１０の構成について、（１．４．１）撮影装置１０の構成例１、（１．４．２）撮影装置１０の構成例２の順で説明する。
【００４１】
（１．４．１）撮影装置１０の構成例１
撮影装置１０の構成例１においては、カメラ位置・角度を変更可能な撮影装置１０、すなわちモーションコントロール装置を使用する。図２は、構成例１に係る撮影装置１０Ａの側面図であり、図３は、撮影装置１０Ａの平面図である。
【００４２】
図２及び図３に示すように、撮影装置１０Ａは、ビデオカメラ１１、制御ユニット１２、ステージ部１３、アーム部１４、及びクロマキー背景部１５を有する。
【００４３】
ビデオカメラ１１は、アーム部１４に配設され、アーム部１４に沿う方向（ｚ軸方向）に移動可能に構成されている。制御ユニット１２は、動作データに従ってビデオカメラを移動させる。制御ユニット１２は、通信機能を有している。ステージ部１３は、上下方向に移動可能に構成されている。アーム部１４は、弓状であり、ステージ部１３に垂直な直線を中心にθ軸方向に回動可能に構成されている。クロマキー背景部１５は、アーム部１４の回動に伴って回動する。なお、撮影装置１０Ａの更に詳細な構成については、特許第４１９５６０６号公報を参照されたい。
【００４４】
（１．４．２）撮影装置１０の構成例２
撮影装置１０の構成例２においては、複数のビデオカメラのうち撮影に使用するビデオカメラを切り替え可能な構成について説明する。図４は、構成例２に係る撮影装置１０Ｂの構成を示す概略平面図である。
【００４５】
ビデオカメラ１１ａ〜１１ｃのそれぞれは、撮影角度と撮影サイズが予め定められており、図示を省略する昇降バーに取り付けられている。被写体９０の身長を入力すると、昇降バーが自動的に昇降して、被写体が撮影フレームに収まる高さに調整される。ビデオカメラ１１ａ〜１１ｃは、動作データに従って、例えば楽曲のテンポに合わせて自動的にスイッチングされる。
【００４６】
（２）第１実施形態のシステム動作
次に、映像処理システム１Ａにおける動作について、（２．１）動作データ及び背景映像データの作成方法、（２．２）映像処理システム１Ａの動作シーケンスの順で説明する。
【００４７】
（２．１）動作データ及び背景映像データの作成方法
上述したように、動作データ及び背景映像データは、互いに同期・連動した内容のデータである。以下において、動作データ及び背景映像データの作成方法について、（２．１．１）作成方法１、（２．１．２）作成方法２の２つの方法を説明する。
【００４８】
（２．１．１）作成方法１
図５（ａ）は、動作データ及び背景映像データの作成方法１を示すフローチャートである。作成方法１においては、動作データは、コンピュータを用いたシミュレーションにより作成される（図６参照）。
【００４９】
ステップＳ１０１において、シミュレータ上で動作データが作成される。当該シミュレータの表示画面においては、図６に示すように、例えば撮影装置１０の動作内容を表す波形が表示されるウィンドウＷ１と、当該動作内容に応じた撮影イメージを表す疑似的な被写体が表示されるウィンドウＷ２とを含む。なお、図６は、構成例１に係る撮影装置１０Ａを使用する場合の表示画面を示している。ウィンドウＷ１では、ｚ軸及びθ軸の動作に加えて、ビデオカメラ１１のパン・チルト動作が指定可能になっている。
【００５０】
ステップＳ１０２において、シミュレータ上で作成された動作データを用いて背景映像データが作成される。背景映像データは、コンピュータグラフィックス（ＣＧ）により作成してもよく、実際に撮影装置１０を動作データに従って動作させて任意の背景（風景又は美術セット等）を撮影させることで作成してもよい。
【００５１】
（２．１．２）作成方法２
図５（ｂ）は、動作データ及び背景映像データの作成方法２を示すフローチャートである。
【００５２】
ステップＳ１０１において、実際に撮影装置１０を例えば手動により動作させて任意の背景（風景又は美術セット等）を撮影し、背景映像データを得る。その際、撮影装置１０の動作内容をトレースして記憶しておくことで、動作データを作成することができる。
【００５３】
（２．２）映像処理システム１Ａの動作シーケンス
図７は、映像処理システム１Ａの動作シーケンスを示すシーケンス図である。
【００５４】
ステップＳ１０１において、合成再生装置３０は、操作装置６０を用いて選択された楽曲の配信を要求する配信要求を、通信ネットワーク８０を介して配信装置２０Ａに送信する。配信装置２０Ａは、当該配信要求を受信する。
【００５５】
ステップＳ１０２において、配信装置２０Ａは、配信要求で選択されている楽曲に対応する楽曲データ、背景映像データ、及び動作データを検索する。
【００５６】
検索された楽曲データ、背景映像データ、及び動作データは、ステップＳ１０３において、通信ネットワーク８０を介して配信装置２０Ａから合成再生装置３０に配信される。
【００５７】
合成再生装置３０は、楽曲データ、背景映像データ、及び動作データを受信する。合成再生装置３０は、受信した楽曲データ及び背景映像データを一旦記憶する。
【００５８】
ステップＳ１０４において、合成再生装置３０は、受信した動作データを撮影装置１０に転送する。撮影装置１０は、動作データを受信する。
【００５９】
ステップＳ１０５において、撮影装置１０は、受信した動作データに従って被写体９０の撮影を開始する。撮影により得られた被写体映像データは、撮影装置１０から合成再生装置３０にリアルタイムで転送される（ステップＳ１０６）。合成再生装置３０は、被写体映像データを受信する。
【００６０】
ステップＳ１０７において、合成再生装置３０は、撮影装置１０から受信した被写体映像データと、配信装置２０Ａから受信した背景映像データとの合成処理を開始する。
【００６１】
ステップＳ１０８において、合成再生装置３０は、合成処理により得られた合成映像データの再生を開始すると共に、配信装置２０Ａから受信した楽曲データの再生を開始する。
【００６２】
なお、ステップＳ１０５〜ステップＳ１０８の各処理は、当該楽曲の再生が完了するまで継続される。
【００６３】
（３）第１実施形態の効果
第１実施形態によれば、撮影装置１０が、配信装置２０Ａから配信される動作データに従った動作内容で被写体を撮影するため、例えばカメラ位置等を指定可能になり、被写体９０の映像についての躍動感を向上させることができる。また、被写体映像データと合成される背景映像データは、動作データが示す動作内容（撮影装置の動作内容）と連動した映像からなるため、被写体の映像の変化に連動した背景映像を提供でき、その結果、臨場感に満ちた合成映像を表示装置４０上に表示させることができる。
【００６４】
［第２実施形態］
以下において、（１）第２実施形態のシステム構成、（２）第２実施形態のシステム動作、（３）第２実施形態の効果について説明する。ただし、第１実施形態と異なる点についてのみ説明し、重複する説明を省略する。
【００６５】
（１）第２実施形態のシステム構成
図８は、第２実施形態に係る映像処理システム１Ｂの構成を示すブロック図である。第２実施形態では、映像処理システム１Ｂは、合成映像を提供可能な映像配信システムとして構成されている。
【００６６】
図８に示すように、映像処理システム１Ｂは、撮影装置１０、配信装置２０Ｂ、携帯端末１００を有する。撮影装置１０は、第１実施形態と同様にして構成される。配信装置２０Ｂは、第１実施形態で説明した構成に加え、映像合成部２４を有している。
【００６７】
携帯端末１００は、携帯電話端末又はＰＨＳ端末等、無線通信機能を有する通信端末装置である。携帯端末１００は、入力装置及び表示装置を有する。第２実施形態に係る通信ネットワーク８０は、移動体通信ネットワークを含んでいる。当該移動体通信ネットワークは、携帯端末１００との無線通信を行う無線基地局又はアクセスポイント等を具備する。
【００６８】
撮影装置１０は、テーマパークに設置される。撮影装置１０は、動作データに従って被写体９０（不図示）を撮影して被写体映像データを出力する。配信装置２０Ｂは、撮影装置１０から通信ネットワーク８０を介して被写体映像データを受信し、受信した被写体映像データと、動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した合成映像データを通信ネットワーク８０を介して携帯端末１００に配信する。
【００６９】
（２）第２実施形態のシステム動作
図９は、映像処理システム１Ｂの動作シーケンスを示すシーケンス図である。以下においては、映像処理システム１Ｂをテーマパークに適用した場合のサービス例を説明する。
【００７０】
ステップＳ２０１において、撮影装置１０は、予め撮影装置１０に記憶されている動作データに従って被写体９０（入園者）を撮影する。撮影装置１０は、所定の時間（例えば３０秒間程度）において被写体９０を撮影する。
【００７１】
ステップＳ２０２において、撮影装置１０は、撮影により得られた被写体映像データを、通信ネットワーク８０を介して配信装置２０Ｂに送信する。その際、撮影装置１０は、撮影により得られた被写体映像データを識別する識別情報を通信ネットワーク８０を介して配信装置２０Ｂに送信する。配信装置２０Ｂは、被写体映像データ及びその識別情報を受信し、受信した被写体映像データ及び識別情報を対応付けて記憶する。なお、被写体９０（入園者）には、当該識別情報と、映像配信用のＷｅｂサイトのＵＲＬ（あるいは当該ＵＲＬに対応するＱＲコード）とが記載されたカードが渡される。
【００７２】
ステップＳ２０３において、被写体９０（入園者）が所持する携帯端末１００は、通信ネットワーク８０を介して配信装置２０Ｂにアクセスする。例えば、カードに記載されたＵＲＬ（あるいは当該ＵＲＬに対応するＱＲコード）を携帯端末１００に入力することで配信装置２０Ｂにアクセス可能である。
【００７３】
ステップＳ２０４において、配信装置２０Ｂは、携帯端末１００からのアクセスに応じて、情報入力用のＷｅｂページを通信ネットワーク８０を介して携帯端末１００に送信する。
【００７４】
ステップＳ２０５において、携帯端末１００は、被写体映像データを識別する識別情報を通信ネットワーク８０を介して配信装置２０Ｂに送信する。例えば、カードに記載された識別情報を携帯端末１００に入力することで配信装置２０Ｂにアクセス可能である。配信装置２０Ｂは、識別情報を受信する。
【００７５】
ステップＳ２０６において、配信装置２０Ｂは、受信した識別情報に対応する被写体映像データを検索する。また、配信装置２０Ｂは、当該被写体映像データに対応する背景映像データを検索する。
【００７６】
ステップＳ２０７において、配信装置２０Ｂは、ステップＳ２０６において検索された被写体映像データと背景映像データとの合成処理を行う。
【００７７】
ステップＳ２０８において、配信装置２０Ｂは、合成処理により得られた合成映像データを、通信ネットワーク８０を介して携帯端末１００に配信する。例えば配信装置２０Ｂは、メール等のメッセージを利用して合成映像データを配信する。
携帯端末１００は、合成映像データを受信する。
【００７８】
ステップＳ２０９において、携帯端末１００は、受信した合成映像データを再生し、携帯端末１００のディスプレイ上に表示させる。
【００７９】
（３）第２実施形態の効果
第２実施形態によれば、第１実施形態と同様に、被写体９０の映像についての躍動感を向上させることができ、且つ、被写体の映像の変化に連動した背景映像を提供できるため、臨場感に満ちた合成映像を携帯端末１００のディスプレイ上に表示させることができる。
【００８０】
［その他の実施形態］
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
【００８１】
上述した第１実施形態及び第２実施形態は、互いに組み合わせて実施可能である。例えば、第１実施形態に係る映像処理システム１Ａを第２実施形態に係る合成映像配信システムに適用し、第２実施形態に係る映像処理システム１Ｂを第１実施形態に係る通信カラオケシステムに適用してもよい。
【００８２】
上述した第１実施形態及び第２実施形態は、オーディションシステムに応用することができる。具体的には、複数の撮影装置のそれぞれで得られた背景映像データから、当該複数の撮影装置に対応する複数の合成映像データを生成し、当該複数の合成映像データを同期再生する応用例がある。さらに、映像処理システム１Ａ及び映像処理システム１Ｂをテレビや映画等の映像コンテンツの制作に応用してもよい。また、撮影装置１０は、カラオケ店やアミューズメントパークに限らず、野球場、ファミリーレストラン、コンビニエンスストア等、任意の施設に設置してもよい。
【００８３】
上述した第１実施形態では、動作データは、配信装置２０Ａから合成再生装置３０を経由して撮影装置１０に配信されていたが、合成再生装置３０を経由せずに配信装置２０Ａから撮影装置１０に動作データが配信されてもよい。
【００８４】
上述した撮影装置１０Ａにおいては、移動可能なビデオカメラ１１を１つのみ設ける一例について説明したが、移動可能なビデオカメラ１１を複数設けてもよい。
【００８５】
上述した第２実施形態では、配信装置２０Ｂが携帯端末１００に合成映像データを配信していたが、携帯端末１００に限らず、デスクトップＰＣ等の固定型の端末に合成映像データを配信してもよい。また、上述した第２実施形態では、動作データが予め撮影装置１０に記憶されている一例について説明したが、第１実施形態と同様に配信装置２０Ｂから撮影装置１０に動作データを配信してもよい。さらに、第２実施形態では、映像処理システム１Ｂをテーマパークに適用する一例について説明したが、テーマパークに限らず、任意のアミューズメント施設に適用することができる。
【００８６】
また、映像処理システム１Ｂをアパレル関連サービスに応用することによって、顧客がマネキンとなるようなサービスを提供できる。例えば、被写体（顧客）の映像データと商品のデータとを合成することで、様々な角度からの複数の試着イメージを短時間で提供できる。あるいは、顧客の想定する行楽地や観光スポットなどを背景として、商品購入後のイメージをより鮮明にすることもできる。なお、被写体（顧客）の撮影時には専用着衣（位置マーカー）を用いることが好ましい。商品のデータベースには、複数の形状パターンを登録しておくことが好ましい。ただし、サービス効率を高めるためには、顧客を規定の姿勢で撮影してもよい。
【００８７】
このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【符号の説明】
【００８８】
１Ａ，１Ｂ…映像処理システム、５…カラオケ店、１０，１０Ａ，１０Ｂ…撮影装置、１１，１１ａ〜１１ｃ…ビデオカメラ、１２…制御ユニット、１３…ステージ部、１４…アーム部、１５…クロマキー背景部、２０Ａ，２０Ｂ…配信装置、２１…記憶部、２２…検索部、２３…通信部、２４…映像合成部、３０…合成再生装置、３１…通信部、３２…制御部、３３…映像合成部、３４…音声処理部、４０…表示装置、５０…マイクロフォン、６０…操作装置、７０…スピーカ、８０…通信ネットワーク、９０…被写体、１００…携帯端末
【技術分野】
【０００１】
本発明は、映像合成技術が用いられる映像処理システム及び映像処理方法に関する。
【背景技術】
【０００２】
従来より、テレビや映画等の映像コンテンツの制作時において、映像合成技術（例えば、クロマキー合成技術）が用いられている。近年では、このような映像合成技術をカラオケ店等のアミューズメント施設に適用することが検討されている（特許文献１参照）。
【０００３】
特許文献１に記載の映像処理システムでは、カラオケ店に設置されたビデオカメラにより被写体（歌唱者）を撮影し、撮影により得られた被写体映像データと、予め用意された背景画像データとをクロマキー合成技術を用いて合成する。合成により得られた合成映像データは、カラオケ店に設置された表示装置上に表示される。これにより、表示装置上には、現実の背景とは異なる背景と共に歌唱者の映像が表示されるため、歌唱者は、擬似的に、テレビ出演しているような体験ができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１７５０７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の映像処理システムでは、固定された１つのビデオカメラを用いて被写体を撮影するのみであり、且つ、歌唱者の映像と共に表示される背景画像も静止画像であるため、表示される映像が単調なものになってしまい、映像の躍動感及び臨場感に乏しい。
【０００６】
したがって、特許文献１に記載の映像処理システムにおいては、当該映像処理システムが導入されたアミューズメント施設（カラオケ店等）を利用する顧客の満足度を十分に向上させることができない問題があった。
【０００７】
そこで、本発明は、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる映像処理システム及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明は以下のような特徴を有している。まず、本発明の第１の特徴は、所定の施設（例えば、カラオケ店又はテーマパーク等）に設置され、被写体（被写体９０）を撮影して被写体映像データを出力する撮影装置（撮影装置１０）と、前記撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワーク（通信ネットワーク８０）を介して配信する配信装置（配信装置２０Ａ）と、前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置（表示装置４０）上に表示させる合成再生装置（合成再生装置３０）とを備え、前記撮影装置は、前記配信装置により配信された前記動作データに従って前記被写体を撮影する映像処理システム（映像処理システム１Ａ）であることを要旨とする。
【０００９】
本発明の第２の特徴は、所定の施設（例えば、カラオケ店又はテーマパーク等）に設置され、被写体（被写体９０）を撮影して被写体映像データを出力する撮影装置（撮影装置１０）と、前記撮影装置から通信ネットワーク（通信ネットワーク８０）を介して前記被写体映像データを受信し、受信した前記被写体映像データと、背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した前記合成映像データを前記通信ネットワークを介して通信端末（携帯端末１００）に配信する配信装置（配信装置２０Ｂ）とを備え、前記撮影装置は、前記撮影装置の動作内容を示す動作データに従って前記被写体を撮影し、前記背景映像データは、前記動作データが示す動作内容と連動した映像からなる映像処理システム（映像処理システム１Ｂ）であることを要旨とする。
【００１０】
第１の特徴及び第２の特徴に係る映像処理システムによれば、撮影装置が、動作データに従った動作内容で被写体を撮影するため、例えばカメラ位置等を指定可能になり、被写体の映像についての躍動感を向上させることができる。また、被写体映像データと合成される背景映像データは、動作データが示す動作内容（撮影装置の動作内容）と連動した映像からなるため、被写体の映像の変化に連動した背景映像を提供できる。例えばカメラ位置が変化すると、その変化に応じて背景も変化させることができ、臨場感に満ちた合成映像を提供できる。
【００１１】
したがって、第１の特徴及び第２の特徴に係る映像処理システムによれば、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる。
【００１２】
本発明の第３の特徴は、本発明の第１又は第２の特徴に係り、前記撮影装置は、少なくとも１つのビデオカメラ（ビデオカメラ１１）と、前記動作データに従って前記ビデオカメラを移動させる制御ユニット（制御ユニット１２）とを有することを要旨とする。
【００１３】
本発明の第４の特徴は、本発明の第１又は第２の特徴に係り、前記撮影装置は、複数のビデオカメラ（ビデオカメラ１１ａ〜１１ｃ）と、前記動作データに従って、前記複数のビデオカメラのうち撮影に使用するビデオカメラを切り替える制御ユニット（制御ユニット１２）とを有することを要旨とする。
【００１４】
本発明の第５の特徴は、所定の施設に設置された撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワークを介して配信装置が配信するステップ（ステップＳ１０３）と、前記撮影装置が、前記配信装置により配信された前記動作データに従って被写体を撮影して被写体映像データを出力するステップ（ステップＳ１０５）と、前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させるステップ（ステップＳ１０７，Ｓ１０８）とを備える映像処理方法であることを要旨とする。
【００１５】
本発明の第６の特徴は、所定の施設に設置された撮影装置の動作内容を示す動作データに従って、前記撮影装置が被写体を撮影して被写体映像データを出力するステップ（ステップＳ２０１）と、前記撮影装置から通信ネットワークを介して配信装置が前記被写体映像データを受信するステップ（ステップＳ２０２）と、前記配信装置が、受信した前記被写体映像データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成するステップ（ステップＳ２０７）と、前記配信装置が、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信するステップ（ステップＳ２０８）とを備える映像処理方法であることを要旨とする。
【発明の効果】
【００１６】
本発明によれば、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる映像処理システム及び映像処理方法を提供できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る映像処理システムの構成を示す機能ブロック図である。
【図２】構成例１に係る撮影装置の側面図である。
【図３】構成例１に係る撮影装置の平面図である。
【図４】構成例２に係る撮影装置の概略平面図である。
【図５】動作データ及び背景映像データの作成方法を示すフローチャートである。
【図６】動作データの作成に用いられるシミュレータにおける表示画面例を示す図である。
【図７】本発明の第１実施形態に係る映像処理システムの動作シーケンスを示すシーケンス図である。
【図８】本発明の第２実施形態に係る映像処理システムの構成を示すブロック図である。
【図９】本発明の第２実施形態に係る映像処理システムの動作シーケンスを示すシーケンス図である。
【発明を実施するための形態】
【００１８】
次に、図面を参照して、本発明の第１実施形態、第２実施形態、その他の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００１９】
［第１実施形態］
以下において、（１）第１実施形態のシステム構成、（２）第１実施形態のシステム動作、（３）第１実施形態の効果について説明する。
【００２０】
（１）第１実施形態のシステム構成
まず、第１実施形態に係る映像処理システム１Ａの構成について、（１．１）全体概略構成、（１．２）配信装置２０Ａの構成、（１．３）合成再生装置３０の構成、（１．４）撮影装置１０の構成の順で説明する。
【００２１】
（１．１）全体概略構成
図１は、第１実施形態に係る映像処理システム１Ａの構成を示す機能ブロック図である。第１実施形態では、映像処理システム１Ａは、合成映像を提供可能な通信カラオケシステムとして構成されている。
【００２２】
図１に示すように、映像処理システム１Ａは、撮影装置１０、配信装置２０Ａ、合成再生装置３０、表示装置４０、マイクロフォン５０、操作装置６０、及びスピーカ７０を有する。撮影装置１０、合成再生装置３０、表示装置４０、マイクロフォン５０、操作装置６０、及びスピーカ７０は、カラオケ店５内に設置される。
【００２３】
撮影装置１０は、被写体９０を撮影して被写体映像データを出力する。撮影装置１０の詳細な構成例については後述する。第１実施形態においては、歌唱者を被写体９０とする場合について説明する。
【００２４】
表示装置４０は、入力される映像データに応じて映像を表示するディスプレイである。マイクロフォン５０は、歌唱者（被写体９０）が発する音声を電気信号に変換する。スピーカ７０は、電気信号を音声に変換する。
【００２５】
操作装置６０は、各種押ボタンを有しており、例えば歌唱者（被写体９０）からの入力操作を受け付けるリモートコントローラ（いわゆる、リモコン）である。なお、タッチパネル型の操作装置６０であってもよい。
【００２６】
合成再生装置３０と通信ネットワーク８０との間には、図示を省略するルータ装置等が設けられる。通信ネットワーク８０は、インターネット等のＷＡＮ又は専用回線等のＬＡＮ、あるいはこれらを組み合わせて構成されている。
【００２７】
配信装置２０Ａは、通信ネットワーク８０に接続されるサーバである。配信装置２０Ａは、撮影装置１０の動作内容を示す動作データと、当該動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワーク８０を介して配信する。動作データ及び背景映像データの作成方法については後述する。撮影装置１０は、配信装置２０Ａにより配信された動作データに従って被写体９０を撮影する。
【００２８】
合成再生装置３０は、通信ネットワーク８０を介して配信された背景映像データと、撮影装置１０から得られた被写体映像データとの合成処理を行うとともに、合成処理により得られた合成映像データを表示装置４０上に表示させる。
【００２９】
以下においては、合成処理としてクロマキー合成技術を使用する一例について説明するが、他の合成技術を使用してもよい。このような映像合成技術としては、例えば、（ａ）赤外光による深度測定による合成技術、（ｂ）ソフトクロマキー、（ｃ）画像分割と特徴量マッチングに基づいたオブジェクト追跡システム等がある。
【００３０】
クロマキー合成技術では、所定の色（例えば青又は緑）のカーテンまたはスクリーンなどの前に位置する被写体９０を撮影し、撮影により得られた被写体映像データから当該所定の色のデータを消去し、被写体部分のデータのみを抽出する。このようにして抽出された被写体部分のデータを背景映像データに重畳することで合成映像データが得られる。
【００３１】
一方、赤外光による深度測定による合成技術とは、赤外線を使用して奥行きを測定し、必要な人物（被写体）だけを抜き取ってリアルタイムで背景と合成する技術であり、青又は緑の布を背景とする必要のない技術である。また、ソフトクロマキーとは、ソフトウェアにより背景色と被写体の輪郭の色変化を計算し、背景を置き換える技術である。画像分割と特徴量マッチングに基づいたオブジェクト追跡システムとは、パターンマッチング等を用いた画像認識技術を応用したものであり、近年研究が進められているものである（例えば、特許第３８６１１５７号）。
【００３２】
（１．２）配信装置２０Ａの構成
引き続き図１を参照して、配信装置２０Ａの構成について説明する。配信装置２０Ａは、記憶部２１、検索部２２、及び通信部２３を有する。
【００３３】
記憶部２１は、背景映像データ、動作データ、及び楽曲データを予め記憶している。楽曲データとは、カラオケの楽曲における音声データ及び字幕データ等である。背景映像データ及び動作データは互いに対応付けられている。背景映像データ及び動作データの組は、楽曲データと対応付けられている。
【００３４】
検索部２２は、楽曲の配信を要求する配信要求に応じて、楽曲データ、背景映像データ、及び動作データを記憶部２１から検索する。
【００３５】
通信部２３は、各種の通信処理を行う。具体的には、配信要求を受信したり、検索部２２によって検索された楽曲データ、背景映像データ、及び動作データを配信したりする。
【００３６】
（１．３）合成再生装置３０の構成
引き続き図１を参照して、合成再生装置３０の構成について説明する。合成再生装置３０は、通信部３１、制御部３２、映像合成部３３、音声処理部３４を有する。第１実施形態において合成再生装置３０は通信カラオケ装置として構成されるが、本発明と関連しない構成については説明を省略する。
【００３７】
通信部３１は、各種の通信処理を行う。具体的には、配信要求を送信したり、配信された楽曲データ、背景映像データ、及び動作データを受信したりする。
【００３８】
制御部３２は、合成再生装置３０が具備する各種の機能を制御する。また、制御部３２は、各種の機能に用いるデータを記憶するメモリ等を有する。制御部３２は、操作装置６０に対する入力操作により得られた入力データに応じて、通信部３１、映像合成部３３、及び音声処理部３４を制御する。
【００３９】
映像合成部３３は、背景映像データと被写体映像データとの合成処理を行う。映像合成部３３は、合成処理により得られた合成映像データに字幕データを重畳して表示装置４０に転送する。音声処理部３４は、マイクロフォン５０から得られた音声データと、楽曲データにおける音声データとを処理してスピーカ７０に転送する。
【００４０】
（１．４）撮影装置１０の構成
次に、撮影装置１０の構成について、（１．４．１）撮影装置１０の構成例１、（１．４．２）撮影装置１０の構成例２の順で説明する。
【００４１】
（１．４．１）撮影装置１０の構成例１
撮影装置１０の構成例１においては、カメラ位置・角度を変更可能な撮影装置１０、すなわちモーションコントロール装置を使用する。図２は、構成例１に係る撮影装置１０Ａの側面図であり、図３は、撮影装置１０Ａの平面図である。
【００４２】
図２及び図３に示すように、撮影装置１０Ａは、ビデオカメラ１１、制御ユニット１２、ステージ部１３、アーム部１４、及びクロマキー背景部１５を有する。
【００４３】
ビデオカメラ１１は、アーム部１４に配設され、アーム部１４に沿う方向（ｚ軸方向）に移動可能に構成されている。制御ユニット１２は、動作データに従ってビデオカメラを移動させる。制御ユニット１２は、通信機能を有している。ステージ部１３は、上下方向に移動可能に構成されている。アーム部１４は、弓状であり、ステージ部１３に垂直な直線を中心にθ軸方向に回動可能に構成されている。クロマキー背景部１５は、アーム部１４の回動に伴って回動する。なお、撮影装置１０Ａの更に詳細な構成については、特許第４１９５６０６号公報を参照されたい。
【００４４】
（１．４．２）撮影装置１０の構成例２
撮影装置１０の構成例２においては、複数のビデオカメラのうち撮影に使用するビデオカメラを切り替え可能な構成について説明する。図４は、構成例２に係る撮影装置１０Ｂの構成を示す概略平面図である。
【００４５】
ビデオカメラ１１ａ〜１１ｃのそれぞれは、撮影角度と撮影サイズが予め定められており、図示を省略する昇降バーに取り付けられている。被写体９０の身長を入力すると、昇降バーが自動的に昇降して、被写体が撮影フレームに収まる高さに調整される。ビデオカメラ１１ａ〜１１ｃは、動作データに従って、例えば楽曲のテンポに合わせて自動的にスイッチングされる。
【００４６】
（２）第１実施形態のシステム動作
次に、映像処理システム１Ａにおける動作について、（２．１）動作データ及び背景映像データの作成方法、（２．２）映像処理システム１Ａの動作シーケンスの順で説明する。
【００４７】
（２．１）動作データ及び背景映像データの作成方法
上述したように、動作データ及び背景映像データは、互いに同期・連動した内容のデータである。以下において、動作データ及び背景映像データの作成方法について、（２．１．１）作成方法１、（２．１．２）作成方法２の２つの方法を説明する。
【００４８】
（２．１．１）作成方法１
図５（ａ）は、動作データ及び背景映像データの作成方法１を示すフローチャートである。作成方法１においては、動作データは、コンピュータを用いたシミュレーションにより作成される（図６参照）。
【００４９】
ステップＳ１０１において、シミュレータ上で動作データが作成される。当該シミュレータの表示画面においては、図６に示すように、例えば撮影装置１０の動作内容を表す波形が表示されるウィンドウＷ１と、当該動作内容に応じた撮影イメージを表す疑似的な被写体が表示されるウィンドウＷ２とを含む。なお、図６は、構成例１に係る撮影装置１０Ａを使用する場合の表示画面を示している。ウィンドウＷ１では、ｚ軸及びθ軸の動作に加えて、ビデオカメラ１１のパン・チルト動作が指定可能になっている。
【００５０】
ステップＳ１０２において、シミュレータ上で作成された動作データを用いて背景映像データが作成される。背景映像データは、コンピュータグラフィックス（ＣＧ）により作成してもよく、実際に撮影装置１０を動作データに従って動作させて任意の背景（風景又は美術セット等）を撮影させることで作成してもよい。
【００５１】
（２．１．２）作成方法２
図５（ｂ）は、動作データ及び背景映像データの作成方法２を示すフローチャートである。
【００５２】
ステップＳ１０１において、実際に撮影装置１０を例えば手動により動作させて任意の背景（風景又は美術セット等）を撮影し、背景映像データを得る。その際、撮影装置１０の動作内容をトレースして記憶しておくことで、動作データを作成することができる。
【００５３】
（２．２）映像処理システム１Ａの動作シーケンス
図７は、映像処理システム１Ａの動作シーケンスを示すシーケンス図である。
【００５４】
ステップＳ１０１において、合成再生装置３０は、操作装置６０を用いて選択された楽曲の配信を要求する配信要求を、通信ネットワーク８０を介して配信装置２０Ａに送信する。配信装置２０Ａは、当該配信要求を受信する。
【００５５】
ステップＳ１０２において、配信装置２０Ａは、配信要求で選択されている楽曲に対応する楽曲データ、背景映像データ、及び動作データを検索する。
【００５６】
検索された楽曲データ、背景映像データ、及び動作データは、ステップＳ１０３において、通信ネットワーク８０を介して配信装置２０Ａから合成再生装置３０に配信される。
【００５７】
合成再生装置３０は、楽曲データ、背景映像データ、及び動作データを受信する。合成再生装置３０は、受信した楽曲データ及び背景映像データを一旦記憶する。
【００５８】
ステップＳ１０４において、合成再生装置３０は、受信した動作データを撮影装置１０に転送する。撮影装置１０は、動作データを受信する。
【００５９】
ステップＳ１０５において、撮影装置１０は、受信した動作データに従って被写体９０の撮影を開始する。撮影により得られた被写体映像データは、撮影装置１０から合成再生装置３０にリアルタイムで転送される（ステップＳ１０６）。合成再生装置３０は、被写体映像データを受信する。
【００６０】
ステップＳ１０７において、合成再生装置３０は、撮影装置１０から受信した被写体映像データと、配信装置２０Ａから受信した背景映像データとの合成処理を開始する。
【００６１】
ステップＳ１０８において、合成再生装置３０は、合成処理により得られた合成映像データの再生を開始すると共に、配信装置２０Ａから受信した楽曲データの再生を開始する。
【００６２】
なお、ステップＳ１０５〜ステップＳ１０８の各処理は、当該楽曲の再生が完了するまで継続される。
【００６３】
（３）第１実施形態の効果
第１実施形態によれば、撮影装置１０が、配信装置２０Ａから配信される動作データに従った動作内容で被写体を撮影するため、例えばカメラ位置等を指定可能になり、被写体９０の映像についての躍動感を向上させることができる。また、被写体映像データと合成される背景映像データは、動作データが示す動作内容（撮影装置の動作内容）と連動した映像からなるため、被写体の映像の変化に連動した背景映像を提供でき、その結果、臨場感に満ちた合成映像を表示装置４０上に表示させることができる。
【００６４】
［第２実施形態］
以下において、（１）第２実施形態のシステム構成、（２）第２実施形態のシステム動作、（３）第２実施形態の効果について説明する。ただし、第１実施形態と異なる点についてのみ説明し、重複する説明を省略する。
【００６５】
（１）第２実施形態のシステム構成
図８は、第２実施形態に係る映像処理システム１Ｂの構成を示すブロック図である。第２実施形態では、映像処理システム１Ｂは、合成映像を提供可能な映像配信システムとして構成されている。
【００６６】
図８に示すように、映像処理システム１Ｂは、撮影装置１０、配信装置２０Ｂ、携帯端末１００を有する。撮影装置１０は、第１実施形態と同様にして構成される。配信装置２０Ｂは、第１実施形態で説明した構成に加え、映像合成部２４を有している。
【００６７】
携帯端末１００は、携帯電話端末又はＰＨＳ端末等、無線通信機能を有する通信端末装置である。携帯端末１００は、入力装置及び表示装置を有する。第２実施形態に係る通信ネットワーク８０は、移動体通信ネットワークを含んでいる。当該移動体通信ネットワークは、携帯端末１００との無線通信を行う無線基地局又はアクセスポイント等を具備する。
【００６８】
撮影装置１０は、テーマパークに設置される。撮影装置１０は、動作データに従って被写体９０（不図示）を撮影して被写体映像データを出力する。配信装置２０Ｂは、撮影装置１０から通信ネットワーク８０を介して被写体映像データを受信し、受信した被写体映像データと、動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した合成映像データを通信ネットワーク８０を介して携帯端末１００に配信する。
【００６９】
（２）第２実施形態のシステム動作
図９は、映像処理システム１Ｂの動作シーケンスを示すシーケンス図である。以下においては、映像処理システム１Ｂをテーマパークに適用した場合のサービス例を説明する。
【００７０】
ステップＳ２０１において、撮影装置１０は、予め撮影装置１０に記憶されている動作データに従って被写体９０（入園者）を撮影する。撮影装置１０は、所定の時間（例えば３０秒間程度）において被写体９０を撮影する。
【００７１】
ステップＳ２０２において、撮影装置１０は、撮影により得られた被写体映像データを、通信ネットワーク８０を介して配信装置２０Ｂに送信する。その際、撮影装置１０は、撮影により得られた被写体映像データを識別する識別情報を通信ネットワーク８０を介して配信装置２０Ｂに送信する。配信装置２０Ｂは、被写体映像データ及びその識別情報を受信し、受信した被写体映像データ及び識別情報を対応付けて記憶する。なお、被写体９０（入園者）には、当該識別情報と、映像配信用のＷｅｂサイトのＵＲＬ（あるいは当該ＵＲＬに対応するＱＲコード）とが記載されたカードが渡される。
【００７２】
ステップＳ２０３において、被写体９０（入園者）が所持する携帯端末１００は、通信ネットワーク８０を介して配信装置２０Ｂにアクセスする。例えば、カードに記載されたＵＲＬ（あるいは当該ＵＲＬに対応するＱＲコード）を携帯端末１００に入力することで配信装置２０Ｂにアクセス可能である。
【００７３】
ステップＳ２０４において、配信装置２０Ｂは、携帯端末１００からのアクセスに応じて、情報入力用のＷｅｂページを通信ネットワーク８０を介して携帯端末１００に送信する。
【００７４】
ステップＳ２０５において、携帯端末１００は、被写体映像データを識別する識別情報を通信ネットワーク８０を介して配信装置２０Ｂに送信する。例えば、カードに記載された識別情報を携帯端末１００に入力することで配信装置２０Ｂにアクセス可能である。配信装置２０Ｂは、識別情報を受信する。
【００７５】
ステップＳ２０６において、配信装置２０Ｂは、受信した識別情報に対応する被写体映像データを検索する。また、配信装置２０Ｂは、当該被写体映像データに対応する背景映像データを検索する。
【００７６】
ステップＳ２０７において、配信装置２０Ｂは、ステップＳ２０６において検索された被写体映像データと背景映像データとの合成処理を行う。
【００７７】
ステップＳ２０８において、配信装置２０Ｂは、合成処理により得られた合成映像データを、通信ネットワーク８０を介して携帯端末１００に配信する。例えば配信装置２０Ｂは、メール等のメッセージを利用して合成映像データを配信する。
携帯端末１００は、合成映像データを受信する。
【００７８】
ステップＳ２０９において、携帯端末１００は、受信した合成映像データを再生し、携帯端末１００のディスプレイ上に表示させる。
【００７９】
（３）第２実施形態の効果
第２実施形態によれば、第１実施形態と同様に、被写体９０の映像についての躍動感を向上させることができ、且つ、被写体の映像の変化に連動した背景映像を提供できるため、臨場感に満ちた合成映像を携帯端末１００のディスプレイ上に表示させることができる。
【００８０】
［その他の実施形態］
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
【００８１】
上述した第１実施形態及び第２実施形態は、互いに組み合わせて実施可能である。例えば、第１実施形態に係る映像処理システム１Ａを第２実施形態に係る合成映像配信システムに適用し、第２実施形態に係る映像処理システム１Ｂを第１実施形態に係る通信カラオケシステムに適用してもよい。
【００８２】
上述した第１実施形態及び第２実施形態は、オーディションシステムに応用することができる。具体的には、複数の撮影装置のそれぞれで得られた背景映像データから、当該複数の撮影装置に対応する複数の合成映像データを生成し、当該複数の合成映像データを同期再生する応用例がある。さらに、映像処理システム１Ａ及び映像処理システム１Ｂをテレビや映画等の映像コンテンツの制作に応用してもよい。また、撮影装置１０は、カラオケ店やアミューズメントパークに限らず、野球場、ファミリーレストラン、コンビニエンスストア等、任意の施設に設置してもよい。
【００８３】
上述した第１実施形態では、動作データは、配信装置２０Ａから合成再生装置３０を経由して撮影装置１０に配信されていたが、合成再生装置３０を経由せずに配信装置２０Ａから撮影装置１０に動作データが配信されてもよい。
【００８４】
上述した撮影装置１０Ａにおいては、移動可能なビデオカメラ１１を１つのみ設ける一例について説明したが、移動可能なビデオカメラ１１を複数設けてもよい。
【００８５】
上述した第２実施形態では、配信装置２０Ｂが携帯端末１００に合成映像データを配信していたが、携帯端末１００に限らず、デスクトップＰＣ等の固定型の端末に合成映像データを配信してもよい。また、上述した第２実施形態では、動作データが予め撮影装置１０に記憶されている一例について説明したが、第１実施形態と同様に配信装置２０Ｂから撮影装置１０に動作データを配信してもよい。さらに、第２実施形態では、映像処理システム１Ｂをテーマパークに適用する一例について説明したが、テーマパークに限らず、任意のアミューズメント施設に適用することができる。
【００８６】
また、映像処理システム１Ｂをアパレル関連サービスに応用することによって、顧客がマネキンとなるようなサービスを提供できる。例えば、被写体（顧客）の映像データと商品のデータとを合成することで、様々な角度からの複数の試着イメージを短時間で提供できる。あるいは、顧客の想定する行楽地や観光スポットなどを背景として、商品購入後のイメージをより鮮明にすることもできる。なお、被写体（顧客）の撮影時には専用着衣（位置マーカー）を用いることが好ましい。商品のデータベースには、複数の形状パターンを登録しておくことが好ましい。ただし、サービス効率を高めるためには、顧客を規定の姿勢で撮影してもよい。
【００８７】
このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【符号の説明】
【００８８】
１Ａ，１Ｂ…映像処理システム、５…カラオケ店、１０，１０Ａ，１０Ｂ…撮影装置、１１，１１ａ〜１１ｃ…ビデオカメラ、１２…制御ユニット、１３…ステージ部、１４…アーム部、１５…クロマキー背景部、２０Ａ，２０Ｂ…配信装置、２１…記憶部、２２…検索部、２３…通信部、２４…映像合成部、３０…合成再生装置、３１…通信部、３２…制御部、３３…映像合成部、３４…音声処理部、４０…表示装置、５０…マイクロフォン、６０…操作装置、７０…スピーカ、８０…通信ネットワーク、９０…被写体、１００…携帯端末
【特許請求の範囲】
【請求項１】
所定の施設に設置され、被写体を撮影して被写体映像データを出力する撮影装置と、
前記撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワークを介して配信する配信装置と、
前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させる合成再生装置と
を備え、
前記撮影装置は、前記配信装置により配信された前記動作データに従って前記被写体を撮影する映像処理システム。
【請求項２】
所定の施設に設置され、被写体を撮影して被写体映像データを出力する撮影装置と、
前記撮影装置から通信ネットワークを介して前記被写体映像データを受信し、受信した前記被写体映像データと、背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信する配信装置と
を備え、
前記撮影装置は、前記撮影装置の動作内容を示す動作データに従って前記被写体を撮影し、
前記背景映像データは、前記動作データが示す動作内容と連動した映像からなる映像処理システム。
【請求項３】
前記撮影装置は、
少なくとも１つのビデオカメラと、
前記動作データに従って前記ビデオカメラを移動させる制御ユニットと
を有する請求項１又は２に記載の映像処理システム。
【請求項４】
前記撮影装置は、
複数のビデオカメラと、
前記動作データに従って、前記複数のビデオカメラのうち撮影に使用するビデオカメラを切り替える制御ユニットと
を有する請求項１又は２に記載の映像処理システム。
【請求項５】
所定の施設に設置された撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワークを介して配信装置が配信するステップと、
前記撮影装置が、前記配信装置により配信された前記動作データに従って被写体を撮影して被写体映像データを出力するステップと、
前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させるステップと
を備える映像処理方法。
【請求項６】
所定の施設に設置された撮影装置の動作内容を示す動作データに従って、前記撮影装置が被写体を撮影して被写体映像データを出力するステップと、
前記撮影装置から通信ネットワークを介して配信装置が前記被写体映像データを受信するステップと、
前記配信装置が、受信した前記被写体映像データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成するステップと、
前記配信装置が、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信するステップと
を備える映像処理方法。
【請求項１】
所定の施設に設置され、被写体を撮影して被写体映像データを出力する撮影装置と、
前記撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワークを介して配信する配信装置と、
前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させる合成再生装置と
を備え、
前記撮影装置は、前記配信装置により配信された前記動作データに従って前記被写体を撮影する映像処理システム。
【請求項２】
所定の施設に設置され、被写体を撮影して被写体映像データを出力する撮影装置と、
前記撮影装置から通信ネットワークを介して前記被写体映像データを受信し、受信した前記被写体映像データと、背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信する配信装置と
を備え、
前記撮影装置は、前記撮影装置の動作内容を示す動作データに従って前記被写体を撮影し、
前記背景映像データは、前記動作データが示す動作内容と連動した映像からなる映像処理システム。
【請求項３】
前記撮影装置は、
少なくとも１つのビデオカメラと、
前記動作データに従って前記ビデオカメラを移動させる制御ユニットと
を有する請求項１又は２に記載の映像処理システム。
【請求項４】
前記撮影装置は、
複数のビデオカメラと、
前記動作データに従って、前記複数のビデオカメラのうち撮影に使用するビデオカメラを切り替える制御ユニットと
を有する請求項１又は２に記載の映像処理システム。
【請求項５】
所定の施設に設置された撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワークを介して配信装置が配信するステップと、
前記撮影装置が、前記配信装置により配信された前記動作データに従って被写体を撮影して被写体映像データを出力するステップと、
前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させるステップと
を備える映像処理方法。
【請求項６】
所定の施設に設置された撮影装置の動作内容を示す動作データに従って、前記撮影装置が被写体を撮影して被写体映像データを出力するステップと、
前記撮影装置から通信ネットワークを介して配信装置が前記被写体映像データを受信するステップと、
前記配信装置が、受信した前記被写体映像データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成するステップと、
前記配信装置が、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信するステップと
を備える映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２７３３０８（Ｐ２０１０−２７３３０８Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２５８６５（Ｐ２００９−１２５８６５）
【出願日】平成２１年５月２５日（２００９．５．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５０８３３０６８５）株式会社フジテレビジョン (13)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２５日（２００９．５．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５０８３３０６８５）株式会社フジテレビジョン (13)
【Ｆターム（参考）】
[ Back to top ]