映像処理装置及びその制御方法
【課題】任意視点映像の視聴可能領域を含むマップ情報を提示することで、ユーザの利便性を向上させること。
【解決手段】受信装置２は、映像情報とその付帯情報を受信する受信部２０と、リモコン信号受信部２７と、任意視点映像のデータを生成する任意視点映像生成部２２を備える。システムコントローラ２３は、リモコン２９の操作によって指定される視点の位置や視野方向を制御するとともに、任意視点映像の視聴可能領域及び当該映像の視聴が可能でない領域を示すマップ情報を生成する。指定された視点への移動指示があった場合、視聴可能領域内に視点の初期位置が設定され、またマップ上に目的地マーカーを表示してこれを選択可能にすることで、ユーザは適切な視点移動を容易に行える。
【解決手段】受信装置２は、映像情報とその付帯情報を受信する受信部２０と、リモコン信号受信部２７と、任意視点映像のデータを生成する任意視点映像生成部２２を備える。システムコントローラ２３は、リモコン２９の操作によって指定される視点の位置や視野方向を制御するとともに、任意視点映像の視聴可能領域及び当該映像の視聴が可能でない領域を示すマップ情報を生成する。指定された視点への移動指示があった場合、視聴可能領域内に視点の初期位置が設定され、またマップ上に目的地マーカーを表示してこれを選択可能にすることで、ユーザは適切な視点移動を容易に行える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意に指定される視点での映像データを処理する映像処理装置とその制御方法に関するものである。
【背景技術】
【０００２】
現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究開発が行われている。その１つとして、ユーザがカメラ視点を自由に指定できる任意視点映像、あるいは自由視点映像と呼ばれる技術が注目されている。任意視点映像は、視聴者が指定した視点での映像データを複数のカメラにて生成し、この多視点映像のデータを元にして補間生成した映像である。任意視点映像の生成処理システムは、特許文献１に開示されている。
【０００３】
任意視点映像処理を実現する場合、被写体の周囲に全ての視点を設定して当該被写体を撮影できるとは限らない。例えばカメラからみて何かの陰になる部分では、映像データのない箇所が存在するので、視線をそこに向けても正しい映像を表示することが出来ない。また、舞台セットの裏等、放送事業者にとっては視聴者に見せたくない領域が存在する。任意視点の配置に関して制限を与える例が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７３０１号公報
【特許文献２】特開２００７−１９５０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、任意視点映像処理において視点の配置領域を制限すると、ユーザにとっては視点位置の操作が困難になる場合が生じる。例えば、街中や建物内の散策シーンにおいて、ユーザの視点配置が可能な領域を街中や建物内の形状の通りに設定した場合を想定する。ユーザはこの領域内において視点移動が可能となるが、当該領域の形状を知るための手段が講じられていない状況では視点をどちらに移動してよいのかが分からない。さらには視点移動が可能な領域の形状が複雑である場合、リモートコントローラ（以下、リモコンという）等を用いた視点移動操作が煩雑となり、ユーザは視点移動操作を思うように出来ない状況が発生する。
【０００６】
また、マラソン中継放送等において先頭集団と後続集団のそれぞれに任意視点映像の視聴領域を設定する場合、独立した複数の視聴領域が存在することになる。ところが、分断した２つの領域の間で視点を移動する方法が無いと、ユーザは視点移動を思うように制御出来ない状況が発生する。この他、放送受信装置が任意視点映像の表示を開始するときに、視点の初期位置が任意視点映像の視聴が可能な領域外である場合、表示映像として本来表示すべきでない映像が表示されてしまう虞がある。
そこで本発明は、任意視点映像の視聴が可能な領域を含むマップ情報を提示することで、ユーザの利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明に係る装置は、指定された視点での映像を処理する映像処理装置であって、前記視点での映像の視聴が可能な第１領域及び前記視点での映像の視聴が可能でない第２領域を示すマップ情報をユーザに提示する情報として生成し、前記第１領域の内部で視点移動を制御する制御手段と、前記制御手段が前記第１領域の内部に設定した視点での映像データを生成する映像生成手段と、を備える。前記制御手段は、被写体を異なる方向から撮影した複数のカメラの座標情報を少なくとも用いて、前記第１領域と前記第２領域との境界を判断して前記マップ情報を生成する。
【発明の効果】
【０００８】
本発明によれば、マップ情報を参照しながら前記第１領域の内部で視点移動操作が容易に行えるので、ユーザの利便性が向上する。
【図面の簡単な説明】
【０００９】
【図１】図２乃至７と併せて本発明の第１実施形態を説明するために、装置の概略構成を例示したブロック図である。
【図２】カメラの位置と視野を（Ａ）に例示し、視聴可能領域と視点を（Ｂ）に例示した図である。
【図３】被写体検出の説明図である。
【図４】表示映像を例示した概略図である。
【図５】装置の動作例を説明するフローチャートである。
【図６】マップ生成処理例を説明するフローチャートである。
【図７】被写体位置の検出処理例を説明するフローチャートである。
【図８】図９と併せて本発明の第２実施形態を説明するために、装置の概略構成を例示したブロック図である。
【図９】装置の動作例を説明するフローチャートである。
【図１０】図１１及び１２と併せて本発明の第３実施形態を説明するために、被写体が複数のグループに分かれている撮影状況を例示した図である。
【図１１】装置の動作例を説明するフローチャートである。
【図１２】マップ生成処理例を説明するフローチャートである。
【図１３】図１４及び１５と併せて本発明の第４実施形態を説明するために、カメラ配置と視点位置、マップ、視点変更時の目的地マーカーを例示した図である。
【図１４】装置の動作例を説明するフローチャートである。
【図１５】図１３とは異なる方法でマップ上に目的地マーカーを配置した例を示す図である。
【発明を実施するための形態】
【００１０】
［第１実施形態］
図１を用いて本発明の第１実施形態に係る装置の構成例を説明する。コンテンツ配信装置１は電波やインターネット通信網を利用してコンテンツデータを送信する。映像処理装置としての受信装置２はコンテンツデータを受信し、該データから映像や音声を再生する。伝送路３は電波やＩＰ（Internet Protocol）網によってコンテンツデータを伝送する。
【００１１】
先ず、コンテンツ配信装置１の構成を説明する。ｎ台のカメラ１０−１乃至ｎは、それぞれ異なる位置に配置され、撮像信号をコンテンツ生成部１１に出力する。コンテンツ生成部１１は、カメラ１０−１乃至ｎからの撮像信号に基づいて多視点映像の信号を生成する。多視点映像とは、複数のカメラを用いて異なる方向から被写体を撮影した映像の集合である。一方、任意視点映像とは、ユーザが任意に指定又は選択した視点で表示する映像である。この映像は、実際には存在しない仮想的なカメラによる視点での映像を、多視点映像のデータを用いて補完処理により生成することで実現される。
【００１２】
本実施形態に示すシステムでは、コンテンツ配信装置１が多視点映像の信号を生成して配信し、これを受信装置２が受信し、多視点映像を用いて任意視点映像を生成する。情報生成部１２は、カメラ１０−１乃至ｎの位置を示す座標、視野角、視野方向に関する情報を含む、カメラ情報を生成する。マルチプレクサ１５は多視点映像の信号とカメラ情報の信号をマルチプレクス処理して後段のエンコード部１３に送る。マルチプレクス処理後のデータをエンコード部１３が圧縮処理し、さらにＴＳ（トランスポートストリーム）信号を生成して送信部１４に出力する。送信部１４はＴＳ信号を受信装置２に送信する。
【００１３】
次に受信装置２の構成を説明する。受信部２０は送信部１４から信号を受信してＴＳ信号を生成する。放送波による伝送路の場合、受信部２０は放送波の選局及び復調を行ってＴＳ信号を出力する。またＩＰ放送の伝送路の場合、受信部２０は伝送路３から受信したパケットを復号することでＴＳ信号を生成する。デマルチプレクサ２１はＴＳ信号から多視点映像の信号とカメラ情報の信号を分離する。
【００１４】
受信装置２の動作を制御するシステムコントローラ２３は、任意視点映像の視聴が可能な第１領域（以下、視聴可能領域という）、及び該映像の視聴が可能でない第２領域を示すマップ情報の生成機能を有する。システムコントローラ２３はさらに、視聴可能領域内で指定された視点に応じて視点位置や視野方向を制御する機能を有する。システムコントローラ２３はデマルチプレクサ２１から取得したカメラ情報を用いて、マップ情報をユーザへの提示情報として生成し、また多視点映像のデータを用いて被写体位置を検出し、被写体位置情報と視点位置情報を出力する。
【００１５】
リモコン２９はユーザが受信装置２に対して操作指示を行うコントローラである。リモコン信号受信部２７は、リモコン２９が送信した信号を受信して、指示信号をシステムコントローラ２３に出力する。任意視点映像生成部２２はシステムコントローラ２３からの視点位置情報を用いて、該情報の示す視点で撮影された映像と等価な映像のデータを多視点映像データから生成して、ブレンド部２４に出力する。描画部２５は、システムコントローラ２３が出力するマップ情報、被写体位置情報、視点位置情報を描画データとして含むグラフィック映像データを生成する。ブレンド部２４は任意視点映像生成部２２が出力する任意視点映像データと、描画部２５が出力する前記グラフィック映像データを混合し、処理後の映像信号を表示部２８に出力する。表示部２８はブレンド部２４が出力する映像信号に従って映像を表示する。
【００１６】
次に図１のコンテンツ配信装置１の動作を説明する。コンテンツ配信装置１において、例えばカメラ１０−１乃至１６は図２（Ａ）のように配置される。本図ではｘ軸及びｙ軸の２次元座標系が設定され、ｘ１乃至７が各カメラのｘ座標値を表し、ｙ１乃至８が各カメラのｙ座標値を表す。図にはカメラ１０−１乃至１６の位置を黒点で示しており、各カメラを起点とする２つの線分はカメラの視野境界を表し、θは視野角を表す。コンテンツ生成部１１はカメラ１０−１乃至１６が出力する映像データを収集し、これを情報生成部１２及びエンコード部１３に出力する。
情報生成部１２はカメラ１０−１乃至１６の座標情報、視野角と視野方向に関する情報を取得する。図２の配置例における各カメラの座標情報、視野角、視野方向を表１に示す。
【００１７】
【表１】
【００１８】
なお、表１中の視野方向については、「ｘ」がｘ軸の正方向（図２の右方）、「−ｘ」がｘ軸の負方向（図２の左方）を示し、「ｙ」がｙ軸の正方向（図２の下方）、「−ｙ」がｙ軸の負方向（図２の上方）を示す。
エンコード部１３は多視点映像のデータを圧縮した後、圧縮した多視点映像のデータとカメラ情報を含むＴＳ信号を生成し、これを送信部１４が任意視点映像放送信号として送信する。
【００１９】
次に受信装置２の動作について、図５のフローチャートを用いて説明する。以下の処理は、システムコントローラ２３がプログラムを実行することで実現される任意視点映像の視聴処理例である。Ｓ１００にてシステムコントローラ２３は処理を開始し、Ｓ１０１にて受信装置２の各構成部の初期設定を行う。これにより受信部２０が受信したデータは、デマルチプレクサ２１により多視点映像のデータとカメラ情報に分離される。次のＳ１０２でシステムコントローラ２３は任意視点映像の視聴可能領域を含むマップのデータ生成処理を行う。マップとは任意視点映像の視聴を行う領域の形状を示す情報であり、ユーザが視点移動操作を行う際に視点移動が可能な領域をシステムコントローラ２３が判断するために用いる情報である。
【００２０】
図６はマップ生成処理例を示すフローチャートである。システムコントローラ２３はＳ１１００にてマップ生成処理を開始し、Ｓ１１０１にてデマルチプレクサ２１は各カメラの座標情報、視野角及び視野方向の情報を取得する。次のＳ１１０２でシステムコントローラ２３は、前記Ｓ１１０１で取得した情報を用いてカメラの位置を平面又は立体空間にプロットする。図２の例ではカメラ位置を２次元直交座標系内の点で表しているが、３次元直交座標系内の点で表してもよい。次のＳ１１０３にて各カメラの視野角と視野境界を示すベクトルをプロットする。これにより受信装置２において図２（Ａ）に相当するカメラ情報が再現される。
【００２１】
次に、Ｓ１１０４でシステムコントローラ２３は、視野境界を示すベクトル同士の交点の座標を求める。図２（Ａ）にてカメラ位置を基点とする各線分の交点の算出処理が行われ、システムコントローラ２３は各交点を結線する。この結線処理によって特定した領域を図２（Ｂ）に示す。斜線領域は任意視点映像の視聴可能領域３００を表し、その領域内で任意に視点移動が可能である。また視聴可能領域３００の外部領域は任意視点映像の視聴が可能でない領域である。受信情報に任意視点映像の視聴に係る禁止領域を示す情報が含まれる場合、システムコントローラ２３はその領域を視聴可能領域から除外する。禁止領域が座標で示されている場合、システムコントローラ２３はその座標を結ぶ線で囲んだ領域を特定し、これを視聴可能領域から削除する。
【００２２】
システムコントローラ２３は任意視点映像の視聴に係る初期視点位置を設定した後、Ｓ１１０５では、生成済みのマップにて任意視点映像の視聴可能領域を判断する。次のＳ１１０６でシステムコントローラ２３は、ユーザが任意視点映像を視聴する際の視点を視聴可能領域内に設定する。例えば図２（Ｂ）に示す視聴可能領域３００の場合、その内部に視点３０１が設定される。
【００２３】
Ｓ１１０７にてシステムコントローラ２３は、描画部２５に対してマップ情報や視点位置情報を伝達すると共に、生成したマップや視点位置を示すアイコンの描画を指示する。描画部２５はメモリ上にマップと視点位置の描画データを配置する。Ｓ１１０８にてマップ生成処理が終了し、システムコントローラ２３は処理を図５のＳ１０３に進め、被写体の座標検出処理を行う。多視点映像の解析後に被写体の位置を示す座標データが生成される。
【００２４】
図７は被写体位置の検出処理例を示すフローチャートである。Ｓ１２００で処理が開始し、Ｓ１２０１にて被写体検出が行われる。図３は被写体座標の生成方法を説明する図である。視聴可能領域内に被写体４００（図には丸印で位置を示す）が存在するものとし、カメラ１０−２、１０−３、１０−１５、１０−１６で被写体４００の撮像が可能であるものとする。システムコントローラ２３は各カメラの撮像信号を解析し、被写体の存在を認識する。図７のＳ１２０２でシステムコントローラ２３は、カメラと被写体との位置関係を示すベクトルデータを生成する。図３の例ではまず、カメラ１０−２で撮影した映像における被写体４００の位置情報を用いて、カメラ１０−２の位置を基準として被写体４００の方向を示すベクトル４０１のデータが算出される。同様にカメラ１０−３の位置情報と該カメラで撮影した映像における被写体４００の位置情報からベクトル４０２のデータが算出される。以下、カメラ１０−１５に関するベクトル４０３のデータと、カメラ１０−１６に関するベクトル４０４のデータが求まる。図３の「θa」は、各ベクトルがｘ軸又はｙ軸に平行な直線に対してなす角度を表す。
【００２５】
図７のＳ１２０３にてシステムコントローラ２３は被写体の位置を判定する。図３に示すベクトル４０１乃至４０４の交点の座標が被写体４００の位置座標となる。Ｓ１２０４にて被写体位置の検出処理が終了し、次にシステムコントローラ２３は処理を図５のＳ１０４に進め、描画部２５に対して被写体を示すアイコンの描画を指示する。描画部２５はマップの座標系において被写体の位置座標に相当する位置に、被写体を表すアイコンを描画する。
【００２６】
Ｓ１０５でシステムコントローラ２３は任意視点映像の生成処理を開始させ、前記Ｓ１１０６では検出した視点位置情報を任意視点映像生成部２２に送出する。任意視点映像生成部２２はシステムコントローラ２３によって指定された視点を用いて、この視点（図２（Ｂ）の３０１参照）における視野に相当する映像のデータ生成を行う。視点３０１での視野に対応する映像のデータについては、デマルチプレクサ２１が出力する多視点映像データを用いて、空間の光線情報の内挿補間法により生成可能である（前記特許文献１参照）。
【００２７】
生成後の映像データはブレンド部２４に送られ、ここで任意視点映像生成部２２が生成した任意視点映像データと描画部２５が描画したマップ情報が合成される。表示部２８は合成後の映像である任意視点映像及びマップを表示してユーザに提示する。こうして図４（Ａ）に示すように、初期設定された視点での視野に対応する映像５０にて、視聴可能領域５１及びカメラの形で示す視点アイコン５２を示すマップが表示される。図中の丸印が被写体の位置５３を表している。図４（Ａ）では検出した被写体の映像が表示されていない。そこでユーザはリモコン２９の操作により受信装置２に対して視点位置の変更を指示する。視点の変更方法としては、視点を移動する方法と視野角を変更する方法があるが、ここでユーザは視野方向の変更を装置に指示し、被写体の映像を表示させるようにリモコン操作を行ったものとする。なお、視聴可能領域のみを画面に表示する方法と、視聴可能領域を、その周囲領域、つまり任意視点映像の視聴が可能でない領域とは区別し、又は両者の境界を明示して各領域を画面に表示する方法がある。
【００２８】
リモコン信号受信部２７は操作指示を受信し、これをシステムコントローラ２３に伝える。システムコントローラ２３は図５のＳ１０６にて、ユーザのリモコン操作が行われたか否かを判断する。システムコントローラ２３はリモコン信号受信部２７から受信した信号を解析し、ユーザ操作により視点位置や視野方向の変更が指示されたことを判断すると、Ｓ１０７に進み、視点位置や視野方向を示すデータを変更する。次のＳ１０８にてシステムコントローラ２３は、描画部２５に対して視点アイコンの表示消去を指示し、新たな視点情報を用いて視点アイコンの描画を指示する。その後、処理は再びＳ１０６に戻る。任意視点映像生成部２２は、指示された視点位置及び方向における視野に対応する映像データを生成し、映像信号を出力する。ブレンド部２４は任意視点映像のデータとマップ情報を合成し、表示部２８は合成後の映像を表示する。これにより表示部２８の画面には、例えば図４（Ｂ）に示すように、被写体の映像５４とマップが表示されることになる。
【００２９】
前記Ｓ１０６において、ユーザのリモコン操作により、受信装置２の電源オフやチャンネルの変更が指示された場合、Ｓ１０９に進んで前記一連の処理が終了する。
以上のように第１実施形態によれば、ユーザは視点位置の移動を指示する際にマップを参照することで視聴可能領域を認識できる。したがって、任意視点映像の視聴が許可されていない領域に該当する視点位置への変更操作が行われないようにすることで、ユーザは視点をスムーズに決定することができる。任意視点映像の視聴が許可された領域内に視点を配置した上で任意視点映像の表示が開始されるので、開始時に領域外の不適切な映像が表示されることはない。
【００３０】
［第２実施形態］
次に本発明の第２実施形態を説明する。図８に示すコンテンツ配信装置２００１が図１のコンテンツ配信装置１と相違する部分は、情報生成部２０１２、マルチプレクサ２０１５、システムコントローラ２０１６であり、システムコントローラ２０１６はマップ生成機能を有する。また受信装置２００２と図１の受信装置２との相違点は、デマルチプレクサ２０２１と任意視点映像生成部２２及びシステムコントローラ２３との間の信号伝送及び描画部２０２５であり、システムコントローラ２３はマップ取得機能を有する。よって、以下では相違点を中心に説明し、第１実施形態の場合と同様の構成部については第１実施形態における各構成部に用いた符号を付すことによってそれらの説明を省略する。
【００３１】
情報生成部２０１２はコンテンツ生成部１１の出力からカメラ情報を取得してシステムコントローラ２０１６に出力する。システムコントローラ２０１６は視聴可能領域を含むマップ情報を生成し、マルチプレクサ２０１５に出力する。マルチプレクサ２０１５はコンテンツ生成部１１が生成した多視点映像データとシステムコントローラ２０１６が生成したマップ情報のマルチプレクス処理を行う。マップ情報は映像情報の付帯情報としてエンコード後に送信される。
【００３２】
受信装置２００２にて、受信部２０は映像情報とその付帯情報を受信し、デマルチプレクサ２０２１に出力する。デマルチプレクサ２０２１は受信部２０のＴＳ信号を受けて、多視点映像データ、マップ情報及び被写体情報に分離する。システムコントローラ２３はデマルチプレクサ２０２１からマップ情報を受信して処理し、マップの描画を描画部２０２５に対して指示する。描画部２０２５は視聴可能領域を含むマップを描画する。
【００３３】
次に各装置の動作を説明する。コンテンツ配信装置２００１にて、システムコントローラ２０１６は情報生成部２０１２からカメラ情報を取得し、これを用いてマップ生成処理を行う。生成後のマップ情報はマルチプレクサ２０１５にて多視点映像データと多重化される。多重化されたデータは、エンコード部１３で符号化され、送信部１４から送信される。
次に図９のフローチャートを用いて、受信装置２００２の動作を説明する。以下、図５と相違するＳ２０２、Ｓ２０３乃至２０５の処理のみを説明する。
Ｓ２０２にてシステムコントローラ２３はマップ情報を取得した後、Ｓ２０３にて視点位置（初期位置）を決定する。視点はマップにて任意視点映像の視聴可能領域内に設定される。さらにシステムコントローラ２３は視点位置情報を任意視点映像生成部２２に出力する。
【００３４】
Ｓ１０３での被写体座標検出処理の後、システムコントローラ２３はＳ２０４にて描画部２５に指示を出し、マップと、視点位置や被写体位置を示す各アイコンの描画を制御する。Ｓ２０５にてシステムコントローラ２３の制御下で、任意視点映像の表示が開始する。任意視点映像生成部２２が生成した映像データはブレンド部２４に送られ、ここで任意視点映像生成部２２が生成した任意視点映像データと描画部２５によるマップの描画データが合成される。表示部２８は合成後の映像を表示し、Ｓ１０６に進む。
以上のように、第２実施形態に係る受信装置２００２は、コンテンツ配信装置２００１が配信するマップ情報を受信し、該情報とともに視点位置を表示する。よって、受信装置２００２に対してマップ生成処理の負担をかけずに前記第１実施形態と同様の効果が得られる。
【００３５】
［第３実施形態］
次に本発明の第３実施形態を説明する。例えばマラソン中継放送のように、各被写体の位置が複数のグループに分かれている場合、任意視点映像の視聴を実現するには、任意視点映像の視聴可能領域を複数に分けて生成する処理が行われる。
図１０（Ａ）はマラソン中継放送におけるカメラと被写体の位置関係を例示する。本例では先頭の第１グループ５００と後続の第２グループ５０１が存在し、第１グループ５００では、丸印で示す走者５２６と５２７をカメラ５１０乃至５２５で撮影している。第２グループ５０１では、丸印で示す走者５６６と５６７をカメラ５５０乃至５６５で撮影している。このように任意視点映像の視聴可能領域が複数の領域に分かれて存在する場合、視点を一方の領域から他方の領域へと連続的に移動することが出来ない。何故なら視点の配置が許容される範囲は任意視点映像の視聴可能領域の内部に制限されるからである。第３実施形態に係る受信装置では、このような場合でも視点を容易に移動できる。なお、第３実施形態に係る装置の構成は第１実施形態の場合と同様であるため、その説明を省略し、装置の動作について図１１を用いて説明する。以下、図５と相違するＳ３０２、Ｓ３０４、Ｓ３０７乃至３０９に示す処理を説明する。
【００３６】
Ｓ１０１の初期設定後、Ｓ３０２に進み、システムコントローラ２３はマップ生成処理を開始する。以下、マップ生成処理について図１２のフローチャートを用いて説明する。なおＳ１１０１、Ｓ１１０２の処理は図６と同様であり、以下、相違点であるＳ３１０３以降の処理を説明する。Ｓ３１０３にてシステムコントローラ２３は、生成した視聴可能領域がいくつあるか、その数を認識する。領域数の取得後、Ｓ３１０４では認識済みの各視聴可能領域に対して番号を割り付ける処理が行われる。例えば図１０（Ａ）に示すグループ５００、５０１に関する各視聴可能領域に対して連続番号が順次に付与される（第１グループ５００に「１」、第２グループ５０１に「２」が割り付けられる）。
【００３７】
Ｓ３１０５にて変数ｎに領域数が代入され、Ｓ３１０６以後のループ処理に進む。Ｓ３１０６は変数ｎの値がゼロであるか否かの判定処理であり、ｎ＝０の場合Ｓ３１１０に進むが、そうでない場合、例えば図１０では領域数が２であり、Ｓ３１０７に進む。ここでシステムコントローラ２３は、第ｎ番目の領域ｎを構成する各カメラの視野を示すベクトルをプロットし、さらにＳ３１０８にてベクトル同士の交点を算出して結線する。これにより領域ｎに関する任意視点映像の視聴可能領域が確定する。Ｓ３１０９にてｎ値が１だけ減算された後、Ｓ３１０６に戻り、ｎ値がゼロになるまでＳ３１０７乃至３１０９の処理が繰り返される。
【００３８】
ループ処理が終了すると、Ｓ３１０６からＳ３１１０に進み、システムコントローラ２３は最初の領域１の内側範囲を認識し、Ｓ３１１１にてその領域内に視点位置を決定して視点を配置する。そして視点位置情報が任意視点映像生成部２２に出力される。Ｓ３１１２にてシステムコントローラ２３は、マップの描画と視点位置を示すアイコンの描画を描画部２５に指示する。描画した各視聴可能領域に対して領域番号を描画する指示が描画部２５に出され、描画処理が行われた後、前記一連の処理が終了する。
【００３９】
マップ生成処理が終了すると、図１１のＳ１０３に示す被写体座標検出の後、Ｓ３０４に進む。ここで被写体位置を示すアイコンの描画処理が行われ、Ｓ１０５を経てＳ１０６以降のループ処理に進む。Ｓ１０６にて視点位置や視野の変更についてユーザの操作指示があったと判断された場合、Ｓ３０７に進み、システムコントローラ２３は操作判定を行う。その結果、ユーザの操作指示内容が視点位置の移動である場合、例えば、リモコンのカーソル操作が行われた場合、処理はＳ１０７に進む。また、ユーザの操作指示内容が視聴可能領域の変更である場合、Ｓ３０８に進む。ここでシステムコントローラ２３はユーザ操作によって入力された値が示す番号に対応した視聴可能領域内に視点を移動させる。図１０（Ｂ）はグループ５００、５０１の各視聴可能領域と、該領域に付与した番号との対応関係を示す。丸枠内の「１」（符号５０２参照）が第１グループ５００に付与された番号を示し、丸枠内の「２」（符号５０３参照）が第２グループ５０１に付与された番号を示している。例えばリモコン２９に数字キーが設けられており、“１”ボタンが押された場合、カメラの形をしたアイコンで示す視点５０４が第１グループ５００の視聴可能領域内に移動する。任意視点映像生成部２２は指示された視点位置及び方向における視野に対応する映像データを生成して出力する。
【００４０】
Ｓ３０９にてシステムコントローラ２３はマップ上において、視点を示すアイコンを一旦消去し、今回新たに設定された視点位置に対して視点を示すアイコンを描画するように描画部２５に指示を出す。そしてＳ１０６に戻る。
以上のように、第３実施形態によれば、任意視点映像の視聴可能領域が複数の領域に分断して存在する場合であっても、各領域に対応する番号をユーザが指定するだけで、所望の視聴可能領域に変更できる。
【００４１】
［第４実施形態］
次に本発明の第４実施形態を説明する。本実施形態では、任意視点映像の視聴可能領域の形状が複雑な場合でもユーザが視点移動操作を容易に行える。例えば、観光番組や建物内の様子などを紹介する番組では、任意視点映像の視聴可能領域の形状が複雑な形をとる場合がある。図１３（Ａ）は、ある街の撮影において、複数台のカメラを配置して視聴範囲を設定した場合のマップ例を概略的に示す。街路６０１上に任意に設定可能な視点６０２（カメラの形をしたアイコンで示す）が存在し、撮影用に複数のカメラ６０３が街路６０１に沿って配置されている。この場合、ユーザがカーソル操作によって視点６０２を移動させる方法を採用すると、リモコン等の操作が煩雑となるため、この方法は面倒であり、手間がかかる。そこで、視点移動操作の負担を軽減する方法について以下に説明する。なお、第４実施形態に係る装置の構成は第１実施形態の場合と同様であるため、その説明を省略し、装置の動作について図１４を用いて説明する。以下、図１１と相違するＳ４０３、Ｓ４０４の処理を主に説明する。本実施形態に係るシステムコントローラは、視点の移動目標位置を示す目印をマップ上に生成する目標位置生成機能を有する。
【００４２】
図１４にてＳ１０２のマップ生成処理（図６参照）の後、Ｓ４０３に進み、システムコントローラ２３はマップの形状を解析し、視聴可能領域の曲がり角、分岐点、及び端点を検出する。次のＳ４０４にて、システムコントローラ２３は、前記Ｓ４０３で検出した曲がり角、分岐点、及び端点に目的地マーカーを配置し、この配置した目的地マーカーに番号を割り振る。図１３（Ａ）に示す例では、図１３（Ｂ）に示すマップが生成され、その曲がり角、分岐点、及び端点に目的地マーカーが配置される。マップには図１３（Ｃ）に示すように、丸枠内に１乃至８の数字を付して示す目的地マーカー６１１乃至６１８が配置され、この状態でマップがユーザに提示される。
【００４３】
また、目的地マーカーの配置方法の別例としては、図１５（Ａ）に示すように、視点６０２を起点として所定の設定距離（Ｌと記す）を決定して所定の間隔でマーカーを配置する方法が挙げられる。本例において、設定距離Ｌを視点６０２から最初の分岐点までの距離とした場合、システムコントローラ２３は、視点６０２からの距離がＬ、２×Ｌ、３×Ｌとなる位置を順次に算出し、各位置に目的地マーカーを配置する。これにより生成されるマップを図１５（Ｂ）に示す。丸枠内に１乃至５の数字を付して示す目的地マーカー７０１乃至７０５は、設定距離Ｌの整数倍の距離に相当する間隔をもって街路６０１上に配置され、この状態でマップがユーザに提示される。
【００４４】
その後、Ｓ３０７の操作判定において、ユーザ操作による領域変更指示が目的地マーカーに付与した番号で行われると、Ｓ３０８に進む。システムコントローラ２３は入力値の示す番号に対応した目的地マーカーに視点を移動させる処理を行う。例えばリモコン２９に数字キーが設けられており、“１”ボタンが押された場合、図１３（Ｃ）の目的地マーカー６１１に相当する位置に視点が移動する。任意視点映像生成部２２は指示された視点位置及び方向における視野に対応する映像データを生成して出力する。
以上のように、第４実施形態の受信装置によれば、任意視点映像の視聴可能領域の形状が複雑であっても、適切に配置された目的地マーカーに対応する番号を指定するだけで、ユーザは視点位置を容易に変更できる。
【００４５】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４６】
２ 受信装置
２０ 受信部
２２ 任意視点映像生成部
２３ システムコントローラ
２５ 描画部
２００２ 受信装置
２０２５ 描画部
【技術分野】
【０００１】
本発明は、任意に指定される視点での映像データを処理する映像処理装置とその制御方法に関するものである。
【背景技術】
【０００２】
現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究開発が行われている。その１つとして、ユーザがカメラ視点を自由に指定できる任意視点映像、あるいは自由視点映像と呼ばれる技術が注目されている。任意視点映像は、視聴者が指定した視点での映像データを複数のカメラにて生成し、この多視点映像のデータを元にして補間生成した映像である。任意視点映像の生成処理システムは、特許文献１に開示されている。
【０００３】
任意視点映像処理を実現する場合、被写体の周囲に全ての視点を設定して当該被写体を撮影できるとは限らない。例えばカメラからみて何かの陰になる部分では、映像データのない箇所が存在するので、視線をそこに向けても正しい映像を表示することが出来ない。また、舞台セットの裏等、放送事業者にとっては視聴者に見せたくない領域が存在する。任意視点の配置に関して制限を与える例が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７３０１号公報
【特許文献２】特開２００７−１９５０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、任意視点映像処理において視点の配置領域を制限すると、ユーザにとっては視点位置の操作が困難になる場合が生じる。例えば、街中や建物内の散策シーンにおいて、ユーザの視点配置が可能な領域を街中や建物内の形状の通りに設定した場合を想定する。ユーザはこの領域内において視点移動が可能となるが、当該領域の形状を知るための手段が講じられていない状況では視点をどちらに移動してよいのかが分からない。さらには視点移動が可能な領域の形状が複雑である場合、リモートコントローラ（以下、リモコンという）等を用いた視点移動操作が煩雑となり、ユーザは視点移動操作を思うように出来ない状況が発生する。
【０００６】
また、マラソン中継放送等において先頭集団と後続集団のそれぞれに任意視点映像の視聴領域を設定する場合、独立した複数の視聴領域が存在することになる。ところが、分断した２つの領域の間で視点を移動する方法が無いと、ユーザは視点移動を思うように制御出来ない状況が発生する。この他、放送受信装置が任意視点映像の表示を開始するときに、視点の初期位置が任意視点映像の視聴が可能な領域外である場合、表示映像として本来表示すべきでない映像が表示されてしまう虞がある。
そこで本発明は、任意視点映像の視聴が可能な領域を含むマップ情報を提示することで、ユーザの利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明に係る装置は、指定された視点での映像を処理する映像処理装置であって、前記視点での映像の視聴が可能な第１領域及び前記視点での映像の視聴が可能でない第２領域を示すマップ情報をユーザに提示する情報として生成し、前記第１領域の内部で視点移動を制御する制御手段と、前記制御手段が前記第１領域の内部に設定した視点での映像データを生成する映像生成手段と、を備える。前記制御手段は、被写体を異なる方向から撮影した複数のカメラの座標情報を少なくとも用いて、前記第１領域と前記第２領域との境界を判断して前記マップ情報を生成する。
【発明の効果】
【０００８】
本発明によれば、マップ情報を参照しながら前記第１領域の内部で視点移動操作が容易に行えるので、ユーザの利便性が向上する。
【図面の簡単な説明】
【０００９】
【図１】図２乃至７と併せて本発明の第１実施形態を説明するために、装置の概略構成を例示したブロック図である。
【図２】カメラの位置と視野を（Ａ）に例示し、視聴可能領域と視点を（Ｂ）に例示した図である。
【図３】被写体検出の説明図である。
【図４】表示映像を例示した概略図である。
【図５】装置の動作例を説明するフローチャートである。
【図６】マップ生成処理例を説明するフローチャートである。
【図７】被写体位置の検出処理例を説明するフローチャートである。
【図８】図９と併せて本発明の第２実施形態を説明するために、装置の概略構成を例示したブロック図である。
【図９】装置の動作例を説明するフローチャートである。
【図１０】図１１及び１２と併せて本発明の第３実施形態を説明するために、被写体が複数のグループに分かれている撮影状況を例示した図である。
【図１１】装置の動作例を説明するフローチャートである。
【図１２】マップ生成処理例を説明するフローチャートである。
【図１３】図１４及び１５と併せて本発明の第４実施形態を説明するために、カメラ配置と視点位置、マップ、視点変更時の目的地マーカーを例示した図である。
【図１４】装置の動作例を説明するフローチャートである。
【図１５】図１３とは異なる方法でマップ上に目的地マーカーを配置した例を示す図である。
【発明を実施するための形態】
【００１０】
［第１実施形態］
図１を用いて本発明の第１実施形態に係る装置の構成例を説明する。コンテンツ配信装置１は電波やインターネット通信網を利用してコンテンツデータを送信する。映像処理装置としての受信装置２はコンテンツデータを受信し、該データから映像や音声を再生する。伝送路３は電波やＩＰ（Internet Protocol）網によってコンテンツデータを伝送する。
【００１１】
先ず、コンテンツ配信装置１の構成を説明する。ｎ台のカメラ１０−１乃至ｎは、それぞれ異なる位置に配置され、撮像信号をコンテンツ生成部１１に出力する。コンテンツ生成部１１は、カメラ１０−１乃至ｎからの撮像信号に基づいて多視点映像の信号を生成する。多視点映像とは、複数のカメラを用いて異なる方向から被写体を撮影した映像の集合である。一方、任意視点映像とは、ユーザが任意に指定又は選択した視点で表示する映像である。この映像は、実際には存在しない仮想的なカメラによる視点での映像を、多視点映像のデータを用いて補完処理により生成することで実現される。
【００１２】
本実施形態に示すシステムでは、コンテンツ配信装置１が多視点映像の信号を生成して配信し、これを受信装置２が受信し、多視点映像を用いて任意視点映像を生成する。情報生成部１２は、カメラ１０−１乃至ｎの位置を示す座標、視野角、視野方向に関する情報を含む、カメラ情報を生成する。マルチプレクサ１５は多視点映像の信号とカメラ情報の信号をマルチプレクス処理して後段のエンコード部１３に送る。マルチプレクス処理後のデータをエンコード部１３が圧縮処理し、さらにＴＳ（トランスポートストリーム）信号を生成して送信部１４に出力する。送信部１４はＴＳ信号を受信装置２に送信する。
【００１３】
次に受信装置２の構成を説明する。受信部２０は送信部１４から信号を受信してＴＳ信号を生成する。放送波による伝送路の場合、受信部２０は放送波の選局及び復調を行ってＴＳ信号を出力する。またＩＰ放送の伝送路の場合、受信部２０は伝送路３から受信したパケットを復号することでＴＳ信号を生成する。デマルチプレクサ２１はＴＳ信号から多視点映像の信号とカメラ情報の信号を分離する。
【００１４】
受信装置２の動作を制御するシステムコントローラ２３は、任意視点映像の視聴が可能な第１領域（以下、視聴可能領域という）、及び該映像の視聴が可能でない第２領域を示すマップ情報の生成機能を有する。システムコントローラ２３はさらに、視聴可能領域内で指定された視点に応じて視点位置や視野方向を制御する機能を有する。システムコントローラ２３はデマルチプレクサ２１から取得したカメラ情報を用いて、マップ情報をユーザへの提示情報として生成し、また多視点映像のデータを用いて被写体位置を検出し、被写体位置情報と視点位置情報を出力する。
【００１５】
リモコン２９はユーザが受信装置２に対して操作指示を行うコントローラである。リモコン信号受信部２７は、リモコン２９が送信した信号を受信して、指示信号をシステムコントローラ２３に出力する。任意視点映像生成部２２はシステムコントローラ２３からの視点位置情報を用いて、該情報の示す視点で撮影された映像と等価な映像のデータを多視点映像データから生成して、ブレンド部２４に出力する。描画部２５は、システムコントローラ２３が出力するマップ情報、被写体位置情報、視点位置情報を描画データとして含むグラフィック映像データを生成する。ブレンド部２４は任意視点映像生成部２２が出力する任意視点映像データと、描画部２５が出力する前記グラフィック映像データを混合し、処理後の映像信号を表示部２８に出力する。表示部２８はブレンド部２４が出力する映像信号に従って映像を表示する。
【００１６】
次に図１のコンテンツ配信装置１の動作を説明する。コンテンツ配信装置１において、例えばカメラ１０−１乃至１６は図２（Ａ）のように配置される。本図ではｘ軸及びｙ軸の２次元座標系が設定され、ｘ１乃至７が各カメラのｘ座標値を表し、ｙ１乃至８が各カメラのｙ座標値を表す。図にはカメラ１０−１乃至１６の位置を黒点で示しており、各カメラを起点とする２つの線分はカメラの視野境界を表し、θは視野角を表す。コンテンツ生成部１１はカメラ１０−１乃至１６が出力する映像データを収集し、これを情報生成部１２及びエンコード部１３に出力する。
情報生成部１２はカメラ１０−１乃至１６の座標情報、視野角と視野方向に関する情報を取得する。図２の配置例における各カメラの座標情報、視野角、視野方向を表１に示す。
【００１７】
【表１】
【００１８】
なお、表１中の視野方向については、「ｘ」がｘ軸の正方向（図２の右方）、「−ｘ」がｘ軸の負方向（図２の左方）を示し、「ｙ」がｙ軸の正方向（図２の下方）、「−ｙ」がｙ軸の負方向（図２の上方）を示す。
エンコード部１３は多視点映像のデータを圧縮した後、圧縮した多視点映像のデータとカメラ情報を含むＴＳ信号を生成し、これを送信部１４が任意視点映像放送信号として送信する。
【００１９】
次に受信装置２の動作について、図５のフローチャートを用いて説明する。以下の処理は、システムコントローラ２３がプログラムを実行することで実現される任意視点映像の視聴処理例である。Ｓ１００にてシステムコントローラ２３は処理を開始し、Ｓ１０１にて受信装置２の各構成部の初期設定を行う。これにより受信部２０が受信したデータは、デマルチプレクサ２１により多視点映像のデータとカメラ情報に分離される。次のＳ１０２でシステムコントローラ２３は任意視点映像の視聴可能領域を含むマップのデータ生成処理を行う。マップとは任意視点映像の視聴を行う領域の形状を示す情報であり、ユーザが視点移動操作を行う際に視点移動が可能な領域をシステムコントローラ２３が判断するために用いる情報である。
【００２０】
図６はマップ生成処理例を示すフローチャートである。システムコントローラ２３はＳ１１００にてマップ生成処理を開始し、Ｓ１１０１にてデマルチプレクサ２１は各カメラの座標情報、視野角及び視野方向の情報を取得する。次のＳ１１０２でシステムコントローラ２３は、前記Ｓ１１０１で取得した情報を用いてカメラの位置を平面又は立体空間にプロットする。図２の例ではカメラ位置を２次元直交座標系内の点で表しているが、３次元直交座標系内の点で表してもよい。次のＳ１１０３にて各カメラの視野角と視野境界を示すベクトルをプロットする。これにより受信装置２において図２（Ａ）に相当するカメラ情報が再現される。
【００２１】
次に、Ｓ１１０４でシステムコントローラ２３は、視野境界を示すベクトル同士の交点の座標を求める。図２（Ａ）にてカメラ位置を基点とする各線分の交点の算出処理が行われ、システムコントローラ２３は各交点を結線する。この結線処理によって特定した領域を図２（Ｂ）に示す。斜線領域は任意視点映像の視聴可能領域３００を表し、その領域内で任意に視点移動が可能である。また視聴可能領域３００の外部領域は任意視点映像の視聴が可能でない領域である。受信情報に任意視点映像の視聴に係る禁止領域を示す情報が含まれる場合、システムコントローラ２３はその領域を視聴可能領域から除外する。禁止領域が座標で示されている場合、システムコントローラ２３はその座標を結ぶ線で囲んだ領域を特定し、これを視聴可能領域から削除する。
【００２２】
システムコントローラ２３は任意視点映像の視聴に係る初期視点位置を設定した後、Ｓ１１０５では、生成済みのマップにて任意視点映像の視聴可能領域を判断する。次のＳ１１０６でシステムコントローラ２３は、ユーザが任意視点映像を視聴する際の視点を視聴可能領域内に設定する。例えば図２（Ｂ）に示す視聴可能領域３００の場合、その内部に視点３０１が設定される。
【００２３】
Ｓ１１０７にてシステムコントローラ２３は、描画部２５に対してマップ情報や視点位置情報を伝達すると共に、生成したマップや視点位置を示すアイコンの描画を指示する。描画部２５はメモリ上にマップと視点位置の描画データを配置する。Ｓ１１０８にてマップ生成処理が終了し、システムコントローラ２３は処理を図５のＳ１０３に進め、被写体の座標検出処理を行う。多視点映像の解析後に被写体の位置を示す座標データが生成される。
【００２４】
図７は被写体位置の検出処理例を示すフローチャートである。Ｓ１２００で処理が開始し、Ｓ１２０１にて被写体検出が行われる。図３は被写体座標の生成方法を説明する図である。視聴可能領域内に被写体４００（図には丸印で位置を示す）が存在するものとし、カメラ１０−２、１０−３、１０−１５、１０−１６で被写体４００の撮像が可能であるものとする。システムコントローラ２３は各カメラの撮像信号を解析し、被写体の存在を認識する。図７のＳ１２０２でシステムコントローラ２３は、カメラと被写体との位置関係を示すベクトルデータを生成する。図３の例ではまず、カメラ１０−２で撮影した映像における被写体４００の位置情報を用いて、カメラ１０−２の位置を基準として被写体４００の方向を示すベクトル４０１のデータが算出される。同様にカメラ１０−３の位置情報と該カメラで撮影した映像における被写体４００の位置情報からベクトル４０２のデータが算出される。以下、カメラ１０−１５に関するベクトル４０３のデータと、カメラ１０−１６に関するベクトル４０４のデータが求まる。図３の「θa」は、各ベクトルがｘ軸又はｙ軸に平行な直線に対してなす角度を表す。
【００２５】
図７のＳ１２０３にてシステムコントローラ２３は被写体の位置を判定する。図３に示すベクトル４０１乃至４０４の交点の座標が被写体４００の位置座標となる。Ｓ１２０４にて被写体位置の検出処理が終了し、次にシステムコントローラ２３は処理を図５のＳ１０４に進め、描画部２５に対して被写体を示すアイコンの描画を指示する。描画部２５はマップの座標系において被写体の位置座標に相当する位置に、被写体を表すアイコンを描画する。
【００２６】
Ｓ１０５でシステムコントローラ２３は任意視点映像の生成処理を開始させ、前記Ｓ１１０６では検出した視点位置情報を任意視点映像生成部２２に送出する。任意視点映像生成部２２はシステムコントローラ２３によって指定された視点を用いて、この視点（図２（Ｂ）の３０１参照）における視野に相当する映像のデータ生成を行う。視点３０１での視野に対応する映像のデータについては、デマルチプレクサ２１が出力する多視点映像データを用いて、空間の光線情報の内挿補間法により生成可能である（前記特許文献１参照）。
【００２７】
生成後の映像データはブレンド部２４に送られ、ここで任意視点映像生成部２２が生成した任意視点映像データと描画部２５が描画したマップ情報が合成される。表示部２８は合成後の映像である任意視点映像及びマップを表示してユーザに提示する。こうして図４（Ａ）に示すように、初期設定された視点での視野に対応する映像５０にて、視聴可能領域５１及びカメラの形で示す視点アイコン５２を示すマップが表示される。図中の丸印が被写体の位置５３を表している。図４（Ａ）では検出した被写体の映像が表示されていない。そこでユーザはリモコン２９の操作により受信装置２に対して視点位置の変更を指示する。視点の変更方法としては、視点を移動する方法と視野角を変更する方法があるが、ここでユーザは視野方向の変更を装置に指示し、被写体の映像を表示させるようにリモコン操作を行ったものとする。なお、視聴可能領域のみを画面に表示する方法と、視聴可能領域を、その周囲領域、つまり任意視点映像の視聴が可能でない領域とは区別し、又は両者の境界を明示して各領域を画面に表示する方法がある。
【００２８】
リモコン信号受信部２７は操作指示を受信し、これをシステムコントローラ２３に伝える。システムコントローラ２３は図５のＳ１０６にて、ユーザのリモコン操作が行われたか否かを判断する。システムコントローラ２３はリモコン信号受信部２７から受信した信号を解析し、ユーザ操作により視点位置や視野方向の変更が指示されたことを判断すると、Ｓ１０７に進み、視点位置や視野方向を示すデータを変更する。次のＳ１０８にてシステムコントローラ２３は、描画部２５に対して視点アイコンの表示消去を指示し、新たな視点情報を用いて視点アイコンの描画を指示する。その後、処理は再びＳ１０６に戻る。任意視点映像生成部２２は、指示された視点位置及び方向における視野に対応する映像データを生成し、映像信号を出力する。ブレンド部２４は任意視点映像のデータとマップ情報を合成し、表示部２８は合成後の映像を表示する。これにより表示部２８の画面には、例えば図４（Ｂ）に示すように、被写体の映像５４とマップが表示されることになる。
【００２９】
前記Ｓ１０６において、ユーザのリモコン操作により、受信装置２の電源オフやチャンネルの変更が指示された場合、Ｓ１０９に進んで前記一連の処理が終了する。
以上のように第１実施形態によれば、ユーザは視点位置の移動を指示する際にマップを参照することで視聴可能領域を認識できる。したがって、任意視点映像の視聴が許可されていない領域に該当する視点位置への変更操作が行われないようにすることで、ユーザは視点をスムーズに決定することができる。任意視点映像の視聴が許可された領域内に視点を配置した上で任意視点映像の表示が開始されるので、開始時に領域外の不適切な映像が表示されることはない。
【００３０】
［第２実施形態］
次に本発明の第２実施形態を説明する。図８に示すコンテンツ配信装置２００１が図１のコンテンツ配信装置１と相違する部分は、情報生成部２０１２、マルチプレクサ２０１５、システムコントローラ２０１６であり、システムコントローラ２０１６はマップ生成機能を有する。また受信装置２００２と図１の受信装置２との相違点は、デマルチプレクサ２０２１と任意視点映像生成部２２及びシステムコントローラ２３との間の信号伝送及び描画部２０２５であり、システムコントローラ２３はマップ取得機能を有する。よって、以下では相違点を中心に説明し、第１実施形態の場合と同様の構成部については第１実施形態における各構成部に用いた符号を付すことによってそれらの説明を省略する。
【００３１】
情報生成部２０１２はコンテンツ生成部１１の出力からカメラ情報を取得してシステムコントローラ２０１６に出力する。システムコントローラ２０１６は視聴可能領域を含むマップ情報を生成し、マルチプレクサ２０１５に出力する。マルチプレクサ２０１５はコンテンツ生成部１１が生成した多視点映像データとシステムコントローラ２０１６が生成したマップ情報のマルチプレクス処理を行う。マップ情報は映像情報の付帯情報としてエンコード後に送信される。
【００３２】
受信装置２００２にて、受信部２０は映像情報とその付帯情報を受信し、デマルチプレクサ２０２１に出力する。デマルチプレクサ２０２１は受信部２０のＴＳ信号を受けて、多視点映像データ、マップ情報及び被写体情報に分離する。システムコントローラ２３はデマルチプレクサ２０２１からマップ情報を受信して処理し、マップの描画を描画部２０２５に対して指示する。描画部２０２５は視聴可能領域を含むマップを描画する。
【００３３】
次に各装置の動作を説明する。コンテンツ配信装置２００１にて、システムコントローラ２０１６は情報生成部２０１２からカメラ情報を取得し、これを用いてマップ生成処理を行う。生成後のマップ情報はマルチプレクサ２０１５にて多視点映像データと多重化される。多重化されたデータは、エンコード部１３で符号化され、送信部１４から送信される。
次に図９のフローチャートを用いて、受信装置２００２の動作を説明する。以下、図５と相違するＳ２０２、Ｓ２０３乃至２０５の処理のみを説明する。
Ｓ２０２にてシステムコントローラ２３はマップ情報を取得した後、Ｓ２０３にて視点位置（初期位置）を決定する。視点はマップにて任意視点映像の視聴可能領域内に設定される。さらにシステムコントローラ２３は視点位置情報を任意視点映像生成部２２に出力する。
【００３４】
Ｓ１０３での被写体座標検出処理の後、システムコントローラ２３はＳ２０４にて描画部２５に指示を出し、マップと、視点位置や被写体位置を示す各アイコンの描画を制御する。Ｓ２０５にてシステムコントローラ２３の制御下で、任意視点映像の表示が開始する。任意視点映像生成部２２が生成した映像データはブレンド部２４に送られ、ここで任意視点映像生成部２２が生成した任意視点映像データと描画部２５によるマップの描画データが合成される。表示部２８は合成後の映像を表示し、Ｓ１０６に進む。
以上のように、第２実施形態に係る受信装置２００２は、コンテンツ配信装置２００１が配信するマップ情報を受信し、該情報とともに視点位置を表示する。よって、受信装置２００２に対してマップ生成処理の負担をかけずに前記第１実施形態と同様の効果が得られる。
【００３５】
［第３実施形態］
次に本発明の第３実施形態を説明する。例えばマラソン中継放送のように、各被写体の位置が複数のグループに分かれている場合、任意視点映像の視聴を実現するには、任意視点映像の視聴可能領域を複数に分けて生成する処理が行われる。
図１０（Ａ）はマラソン中継放送におけるカメラと被写体の位置関係を例示する。本例では先頭の第１グループ５００と後続の第２グループ５０１が存在し、第１グループ５００では、丸印で示す走者５２６と５２７をカメラ５１０乃至５２５で撮影している。第２グループ５０１では、丸印で示す走者５６６と５６７をカメラ５５０乃至５６５で撮影している。このように任意視点映像の視聴可能領域が複数の領域に分かれて存在する場合、視点を一方の領域から他方の領域へと連続的に移動することが出来ない。何故なら視点の配置が許容される範囲は任意視点映像の視聴可能領域の内部に制限されるからである。第３実施形態に係る受信装置では、このような場合でも視点を容易に移動できる。なお、第３実施形態に係る装置の構成は第１実施形態の場合と同様であるため、その説明を省略し、装置の動作について図１１を用いて説明する。以下、図５と相違するＳ３０２、Ｓ３０４、Ｓ３０７乃至３０９に示す処理を説明する。
【００３６】
Ｓ１０１の初期設定後、Ｓ３０２に進み、システムコントローラ２３はマップ生成処理を開始する。以下、マップ生成処理について図１２のフローチャートを用いて説明する。なおＳ１１０１、Ｓ１１０２の処理は図６と同様であり、以下、相違点であるＳ３１０３以降の処理を説明する。Ｓ３１０３にてシステムコントローラ２３は、生成した視聴可能領域がいくつあるか、その数を認識する。領域数の取得後、Ｓ３１０４では認識済みの各視聴可能領域に対して番号を割り付ける処理が行われる。例えば図１０（Ａ）に示すグループ５００、５０１に関する各視聴可能領域に対して連続番号が順次に付与される（第１グループ５００に「１」、第２グループ５０１に「２」が割り付けられる）。
【００３７】
Ｓ３１０５にて変数ｎに領域数が代入され、Ｓ３１０６以後のループ処理に進む。Ｓ３１０６は変数ｎの値がゼロであるか否かの判定処理であり、ｎ＝０の場合Ｓ３１１０に進むが、そうでない場合、例えば図１０では領域数が２であり、Ｓ３１０７に進む。ここでシステムコントローラ２３は、第ｎ番目の領域ｎを構成する各カメラの視野を示すベクトルをプロットし、さらにＳ３１０８にてベクトル同士の交点を算出して結線する。これにより領域ｎに関する任意視点映像の視聴可能領域が確定する。Ｓ３１０９にてｎ値が１だけ減算された後、Ｓ３１０６に戻り、ｎ値がゼロになるまでＳ３１０７乃至３１０９の処理が繰り返される。
【００３８】
ループ処理が終了すると、Ｓ３１０６からＳ３１１０に進み、システムコントローラ２３は最初の領域１の内側範囲を認識し、Ｓ３１１１にてその領域内に視点位置を決定して視点を配置する。そして視点位置情報が任意視点映像生成部２２に出力される。Ｓ３１１２にてシステムコントローラ２３は、マップの描画と視点位置を示すアイコンの描画を描画部２５に指示する。描画した各視聴可能領域に対して領域番号を描画する指示が描画部２５に出され、描画処理が行われた後、前記一連の処理が終了する。
【００３９】
マップ生成処理が終了すると、図１１のＳ１０３に示す被写体座標検出の後、Ｓ３０４に進む。ここで被写体位置を示すアイコンの描画処理が行われ、Ｓ１０５を経てＳ１０６以降のループ処理に進む。Ｓ１０６にて視点位置や視野の変更についてユーザの操作指示があったと判断された場合、Ｓ３０７に進み、システムコントローラ２３は操作判定を行う。その結果、ユーザの操作指示内容が視点位置の移動である場合、例えば、リモコンのカーソル操作が行われた場合、処理はＳ１０７に進む。また、ユーザの操作指示内容が視聴可能領域の変更である場合、Ｓ３０８に進む。ここでシステムコントローラ２３はユーザ操作によって入力された値が示す番号に対応した視聴可能領域内に視点を移動させる。図１０（Ｂ）はグループ５００、５０１の各視聴可能領域と、該領域に付与した番号との対応関係を示す。丸枠内の「１」（符号５０２参照）が第１グループ５００に付与された番号を示し、丸枠内の「２」（符号５０３参照）が第２グループ５０１に付与された番号を示している。例えばリモコン２９に数字キーが設けられており、“１”ボタンが押された場合、カメラの形をしたアイコンで示す視点５０４が第１グループ５００の視聴可能領域内に移動する。任意視点映像生成部２２は指示された視点位置及び方向における視野に対応する映像データを生成して出力する。
【００４０】
Ｓ３０９にてシステムコントローラ２３はマップ上において、視点を示すアイコンを一旦消去し、今回新たに設定された視点位置に対して視点を示すアイコンを描画するように描画部２５に指示を出す。そしてＳ１０６に戻る。
以上のように、第３実施形態によれば、任意視点映像の視聴可能領域が複数の領域に分断して存在する場合であっても、各領域に対応する番号をユーザが指定するだけで、所望の視聴可能領域に変更できる。
【００４１】
［第４実施形態］
次に本発明の第４実施形態を説明する。本実施形態では、任意視点映像の視聴可能領域の形状が複雑な場合でもユーザが視点移動操作を容易に行える。例えば、観光番組や建物内の様子などを紹介する番組では、任意視点映像の視聴可能領域の形状が複雑な形をとる場合がある。図１３（Ａ）は、ある街の撮影において、複数台のカメラを配置して視聴範囲を設定した場合のマップ例を概略的に示す。街路６０１上に任意に設定可能な視点６０２（カメラの形をしたアイコンで示す）が存在し、撮影用に複数のカメラ６０３が街路６０１に沿って配置されている。この場合、ユーザがカーソル操作によって視点６０２を移動させる方法を採用すると、リモコン等の操作が煩雑となるため、この方法は面倒であり、手間がかかる。そこで、視点移動操作の負担を軽減する方法について以下に説明する。なお、第４実施形態に係る装置の構成は第１実施形態の場合と同様であるため、その説明を省略し、装置の動作について図１４を用いて説明する。以下、図１１と相違するＳ４０３、Ｓ４０４の処理を主に説明する。本実施形態に係るシステムコントローラは、視点の移動目標位置を示す目印をマップ上に生成する目標位置生成機能を有する。
【００４２】
図１４にてＳ１０２のマップ生成処理（図６参照）の後、Ｓ４０３に進み、システムコントローラ２３はマップの形状を解析し、視聴可能領域の曲がり角、分岐点、及び端点を検出する。次のＳ４０４にて、システムコントローラ２３は、前記Ｓ４０３で検出した曲がり角、分岐点、及び端点に目的地マーカーを配置し、この配置した目的地マーカーに番号を割り振る。図１３（Ａ）に示す例では、図１３（Ｂ）に示すマップが生成され、その曲がり角、分岐点、及び端点に目的地マーカーが配置される。マップには図１３（Ｃ）に示すように、丸枠内に１乃至８の数字を付して示す目的地マーカー６１１乃至６１８が配置され、この状態でマップがユーザに提示される。
【００４３】
また、目的地マーカーの配置方法の別例としては、図１５（Ａ）に示すように、視点６０２を起点として所定の設定距離（Ｌと記す）を決定して所定の間隔でマーカーを配置する方法が挙げられる。本例において、設定距離Ｌを視点６０２から最初の分岐点までの距離とした場合、システムコントローラ２３は、視点６０２からの距離がＬ、２×Ｌ、３×Ｌとなる位置を順次に算出し、各位置に目的地マーカーを配置する。これにより生成されるマップを図１５（Ｂ）に示す。丸枠内に１乃至５の数字を付して示す目的地マーカー７０１乃至７０５は、設定距離Ｌの整数倍の距離に相当する間隔をもって街路６０１上に配置され、この状態でマップがユーザに提示される。
【００４４】
その後、Ｓ３０７の操作判定において、ユーザ操作による領域変更指示が目的地マーカーに付与した番号で行われると、Ｓ３０８に進む。システムコントローラ２３は入力値の示す番号に対応した目的地マーカーに視点を移動させる処理を行う。例えばリモコン２９に数字キーが設けられており、“１”ボタンが押された場合、図１３（Ｃ）の目的地マーカー６１１に相当する位置に視点が移動する。任意視点映像生成部２２は指示された視点位置及び方向における視野に対応する映像データを生成して出力する。
以上のように、第４実施形態の受信装置によれば、任意視点映像の視聴可能領域の形状が複雑であっても、適切に配置された目的地マーカーに対応する番号を指定するだけで、ユーザは視点位置を容易に変更できる。
【００４５】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４６】
２ 受信装置
２０ 受信部
２２ 任意視点映像生成部
２３ システムコントローラ
２５ 描画部
２００２ 受信装置
２０２５ 描画部
【特許請求の範囲】
【請求項１】
指定された視点での映像を処理する映像処理装置であって、
前記視点での映像の視聴が可能な第１領域及び前記視点での映像の視聴が可能でない第２領域を示すマップ情報をユーザに提示する情報として生成し、前記第１領域の内部で視点移動を制御する制御手段と、
前記制御手段が前記第１領域の内部に設定した視点での映像データを生成する映像生成手段と、を備え、
前記制御手段は、被写体を異なる方向から撮影した複数のカメラの座標情報を少なくとも用いて、前記第１領域と前記第２領域との境界を判断して前記マップ情報を生成することを特徴とする映像処理装置。
【請求項２】
前記制御手段は、前記複数のカメラの座標情報と視野角及び視野方向の情報を用いて、前記複数のカメラに係る視野境界の交点を算出して該交点を結線することにより前記第１領域と前記第２領域との境界を特定して前記マップ情報を生成することを特徴とする、請求項１記載の映像処理装置。
【請求項３】
前記制御手段は視点の移動目標位置を示す目印を前記第１領域の内部に生成してマップ上に表示するように制御し、前記第１領域の内部で指定された移動目標位置に視点を移動させることを特徴とする、請求項１又は２記載の映像処理装置。
【請求項４】
前記制御手段は、複数の前記第１領域が存在する場合、領域ごとに前記移動目標位置を設定することを特徴とする、請求項３記載の映像処理装置。
【請求項５】
前記制御手段は、前記第１領域の内部の分岐点又は端点又は曲がり角に前記移動目標位置を設定することを特徴とする、請求項３記載の映像処理装置。
【請求項６】
前記制御手段は、予め設定された距離の整数倍の間隔をもって前記移動目標位置を設定することを特徴とする、請求項３記載の映像処理装置。
【請求項７】
指定された視点での映像を処理する映像処理装置であって、
映像情報及び付帯情報を受信する受信手段と、
前記受信手段が受信した付帯情報から前記映像の視聴が可能な第１領域と前記映像の視聴が可能でない第２領域を示すマップ情報を取得し、前記第１領域の内部で視点移動を制御する制御手段と、
前記制御手段が前記第１領域の内部に設定した視点での映像データを生成する映像生成手段と、を備えることを特徴とする映像処理装置。
【請求項８】
指定された視点での映像を処理する映像処理方法であって、
被写体を異なる方向から撮影した複数のカメラの座標情報を少なくとも用いて、前記視点での映像の視聴が可能な第１領域と前記視点での映像の視聴が可能でない第２領域を示すマップ情報をユーザに提示する情報として生成するマップ生成ステップと、
前記第１領域の内部で視点移動を制御する制御ステップと、
前記第１領域の内部に設定された視点での映像データを生成する映像生成ステップを有することを特徴とする映像処理方法。
【請求項１】
指定された視点での映像を処理する映像処理装置であって、
前記視点での映像の視聴が可能な第１領域及び前記視点での映像の視聴が可能でない第２領域を示すマップ情報をユーザに提示する情報として生成し、前記第１領域の内部で視点移動を制御する制御手段と、
前記制御手段が前記第１領域の内部に設定した視点での映像データを生成する映像生成手段と、を備え、
前記制御手段は、被写体を異なる方向から撮影した複数のカメラの座標情報を少なくとも用いて、前記第１領域と前記第２領域との境界を判断して前記マップ情報を生成することを特徴とする映像処理装置。
【請求項２】
前記制御手段は、前記複数のカメラの座標情報と視野角及び視野方向の情報を用いて、前記複数のカメラに係る視野境界の交点を算出して該交点を結線することにより前記第１領域と前記第２領域との境界を特定して前記マップ情報を生成することを特徴とする、請求項１記載の映像処理装置。
【請求項３】
前記制御手段は視点の移動目標位置を示す目印を前記第１領域の内部に生成してマップ上に表示するように制御し、前記第１領域の内部で指定された移動目標位置に視点を移動させることを特徴とする、請求項１又は２記載の映像処理装置。
【請求項４】
前記制御手段は、複数の前記第１領域が存在する場合、領域ごとに前記移動目標位置を設定することを特徴とする、請求項３記載の映像処理装置。
【請求項５】
前記制御手段は、前記第１領域の内部の分岐点又は端点又は曲がり角に前記移動目標位置を設定することを特徴とする、請求項３記載の映像処理装置。
【請求項６】
前記制御手段は、予め設定された距離の整数倍の間隔をもって前記移動目標位置を設定することを特徴とする、請求項３記載の映像処理装置。
【請求項７】
指定された視点での映像を処理する映像処理装置であって、
映像情報及び付帯情報を受信する受信手段と、
前記受信手段が受信した付帯情報から前記映像の視聴が可能な第１領域と前記映像の視聴が可能でない第２領域を示すマップ情報を取得し、前記第１領域の内部で視点移動を制御する制御手段と、
前記制御手段が前記第１領域の内部に設定した視点での映像データを生成する映像生成手段と、を備えることを特徴とする映像処理装置。
【請求項８】
指定された視点での映像を処理する映像処理方法であって、
被写体を異なる方向から撮影した複数のカメラの座標情報を少なくとも用いて、前記視点での映像の視聴が可能な第１領域と前記視点での映像の視聴が可能でない第２領域を示すマップ情報をユーザに提示する情報として生成するマップ生成ステップと、
前記第１領域の内部で視点移動を制御する制御ステップと、
前記第１領域の内部に設定された視点での映像データを生成する映像生成ステップを有することを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１７２１６９（Ｐ２０１１−１７２１６９Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３６２９６（Ｐ２０１０−３６２９６）
【出願日】平成２２年２月２２日（２０１０．２．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月２２日（２０１０．２．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]