映像処理装置およびその制御方法
【課題】任意視点番組における視点移動の際、シームレスな任意視点映像の切り換えが可能な映像処理装置及びその制御方法を提供する。
【解決手段】複数の映像から生成される任意視点映像を含む任意視点番組を表示する映像処理装置であって、取り得る視点の範囲を取得する取得部と、ユーザからの視点移動要求を受け付ける受付部と、表示中の任意視点番組における第一の視点の範囲から、他の任意視点番組における第二の視点の範囲への視点移動要求かどうかを判定する判定部とを有し、判定の結果、第二の視点の範囲への視点移動要求である場合、他の任意視点番組に表示を切り換える映像処理装置を用いる。
【解決手段】複数の映像から生成される任意視点映像を含む任意視点番組を表示する映像処理装置であって、取り得る視点の範囲を取得する取得部と、ユーザからの視点移動要求を受け付ける受付部と、表示中の任意視点番組における第一の視点の範囲から、他の任意視点番組における第二の視点の範囲への視点移動要求かどうかを判定する判定部とを有し、判定の結果、第二の視点の範囲への視点移動要求である場合、他の任意視点番組に表示を切り換える映像処理装置を用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
現在、多数のカメラで被写体を多くの方向から撮影し、撮影した多数の映像、各カメラ位置、画角情報、視点情報、視線方向情報を与えて映像補間処理を行うことにより、本来撮影されていない視点での映像を得る、任意視点映像生成の実現が検討されている。これ以降、視聴者が所望する仮想的なカメラ位置での視聴が可能な番組のことを、任意視点番組と呼ぶ。
【０００３】
既存の放送システムを流用して任意視点番組を実現するため、放送局から送信される標準映像に加えて、ネットワークに接続されたサーバから送信される任意視点映像を提供する任意視点番組の検討が進められている。この場合、放送局から送信される標準映像がデジタル放送受信機のチューナに対して送信され、合わせて任意視点映像がデジタル放送受信機のサーバ通信部に対して送信されることにより、任意視点番組放送が実現される。デジタル放送受信機は、視聴者の視点移動要求に従って、視点情報を任意視点サービス提供サーバに送信する。任意視点サービス提供サーバは、その視点情報を受取ると、受信した視点情報に対応する任意視点映像をデジタル放送受信機に送信する。そしてデジタル放送受信機は、任意視点サービス提供サーバから受信した任意視点映像を表示していく。
【０００４】
このような任意視点番組では、任意視点映像生成可能な領域の情報も合わせて放送局から送信することが考えられる。この情報を使用すれば、ユーザが要求した視点位置での任意視点映像が任意視点映像サービス提供サーバで生成可能かどうかを問い合わせることなく知ることができるため、通信時間の削減メリットが見込まれる。
【０００５】
上記任意視点番組放送においては、標準映像から任意視点映像に切り換えた際の視点や視野角の変化による視聴者の違和感を生じる課題があり、これを緩和する手法の提案がなされている。その例として、放送番組の標準映像にメタデータとして含まれる標準映像のカメラ位置、画角等の情報を利用して、視聴者が標準映像から任意視点映像に切り換えた際に、任意視点情報を生成し該当する任意視点映像を得る方式がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７―１５０７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
任意視点番組の放送が実際に行われる場合、例えばスポーツ番組における競技場のような撮影場所の任意視点番組においては、競技種目ごとに任意視点番組を分けて放送することが考えられる。つまり、隣接した領域ごとに分けて任意視点番組の放送を行うことが予想される。これは競技種目ごとに競技が行われる時間が異なったり、種目ごとに番組解説等を入れる必要があったりするためである。
【０００８】
しかしながら、上記のような隣接した視点領域を持つ複数の任意視点番組が放送されている環境において、ユーザがリモコン等を用いてユーザが望む仮想的なカメラ位置を設定し、任意視点映像を得る場合、次のような課題が生じる。つまり、ユーザが視聴中の任意
視点番組から隣接した別の任意視点番組に視点移動を行った場合、本来であれば、移動後の視点位置での任意視点映像をユーザに視聴させたい。しかし従来手法では、移動後の任意視点番組の標準映像に切り替わってしまったり、デフォルトの視点位置（番組制作者が指定したメインの視点位置）に切り替わってしまったりするといった問題が発生する。
【０００９】
本発明は、上述のような課題に鑑みてなされたものであり、任意視点番組における視点移動の際、シームレスな任意視点映像の切り換えが可能な映像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明は以下の構成を採用する。すなわち、所定の領域において撮影された複数の映像から生成される、ユーザの要求に係る任意の視点での映像である任意視点映像を含む任意視点番組を表示する映像処理装置であって、前記任意視点番組において取り得る視点の範囲を取得する取得部と、ユーザからの視点移動要求を受け付ける受付部と、複数の領域のそれぞれに対応する複数の任意視点番組が存在し、当該複数の任意視点番組のいずれかが表示されている場合に、前記視点移動要求が、表示中の任意視点番組において取り得る第一の視点の範囲から、他の任意視点番組において取り得る第二の視点の範囲へと、視点を移動させるものであるかを判定する判定部と、を有し、前記判定の結果が、前記第二の視点の範囲へと視点を移動させるものである場合、表示する任意視点番組を前記他の任意視点番組に切り換え、視点移動前の前記第一の視点の範囲における視点に対応する、前記第二の視点の範囲における視点の任意視点映像を表示することを特徴とする映像処理装置である。
【００１１】
本発明はまた、以下の構成を採用する。すなわち、所定の領域において撮影された複数の映像から生成される、ユーザの要求に係る任意の視点での映像である任意視点映像を含む任意視点番組を表示する映像処理装置の制御方法であって、前記任意視点番組において取り得る視点の範囲を取得する取得ステップと、ユーザからの視点移動要求を受け付ける受付ステップと、複数の領域のそれぞれに対応する複数の任意視点番組が存在し、当該複数の任意視点番組のいずれかが表示されている場合に、前記視点移動要求が、表示中の任意視点番組において取り得る第一の視点の範囲から、他の任意視点番組において取り得る第二の視点の範囲へと、視点を移動させるものであるかを判定する判定ステップと、を有し、前記判定の結果が、前記第二の視点の範囲へと視点を移動させるものである場合、表示する任意視点番組を前記他の任意視点番組に切り換え、視点移動前の前記第一の視点の範囲における視点に対応する、前記第二の視点の範囲における視点の任意視点映像を表示することを特徴とする映像処理装置の制御方法である。
【発明の効果】
【００１２】
本発明の映像処理装置及びその制御方法によれば、任意視点番組における視点移動の際、シームレスな任意視点映像の切り換えが可能になる。
【図面の簡単な説明】
【００１３】
【図１】実施例１に係るデジタル放送受信機の概略構成を示すブロック図。
【図２】実施例１において、視点移動可能領域情報等を扱う時のフローチャート。
【図３】実施例１において、ユーザが視点移動を要求した時のフローチャート。
【図４】実施例１における視点移動について説明する図。
【図５】実施例２に係るデジタル放送受信機の概略構成を示すブロック図。
【発明を実施するための形態】
【００１４】
以下に図面を参照しつつ、本発明を実施するための好適な形態を説明する。本発明の映像処理装置は例えば、放送を受信して表示する放送受信装置に組み込まれてその一部を構
成しても良いし、放送受信装置に接続して用いられても良い。また、以下で説明する放送受信装置は表示部を構成要素として含んでいるが、本発明はこの形式に限定されない。例えば、ＳＴＢのように、外部のディスプレイ等に接続して、そのディスプレイに信号を送信して映像を表示させるタイプの放送受信装置であっても良い。本発明の映像処理装置は、また、録画済みの放送番組コンテンツを再生する再生装置にも適用できる。本発明はさらに、映像処理装置の構成要素が行う処理の制御を各工程とする、映像処理装置の制御方法としてとらえることもできる。
【００１５】
＜実施例１＞
この実施例１では、任意視点番組の配信方法として、標準映像は放送局から送信され、任意視点映像は任意視点映像サービス提供サーバから送信されるものとする。このような構成を採ることにより、既存の放送システムを流用して任意視点番組視聴システムを構築することが可能となる。
【００１６】
実施例１において、放送番組として、任意視点番組を考える。任意視点番組の映像は、放送局から送信される標準映像と、任意視点映像サービス提供サーバから送られる任意視点映像から構成される。なお、標準映像は、従来からの放送形態で提供される映像であって、ユーザが希望する視点を選択する必要のない映像である。生放送の場合は、放送局側で番組の進行にともなって映像が随時切り換えられる。一方、任意視点映像は、多数のカメラで撮影された多数の映像を元に映像補間処理を行うことにより生成される任意の視点の映像である。任意視点映像の元となる多数のカメラの映像の中から選択されたカメラの映像が標準映像として提供されてもよいし、標準映像専用のカメラで撮影された映像が標準映像として提供されてもよい。
また、放送局から送信されるメタデータの中には、番組情報の他に、後で説明する視点移動可能領域情報、視点移動可能領域関連付け情報が含まれる。デジタル放送受信機は現在視聴している任意視点番組識別情報、視点位置、視点方向情報を任意視点映像サービス提供サーバに送信することによって、その視点と視点方向に対応する任意視点映像を受信していく。
【００１７】
ここで、視点移動可能領域情報とは、任意視点番組にて、任意視点生成が可能である領域を示す情報を指す。すなわち、任意視点番組において取り得る視点の範囲とも言える。任意視点番組が複数、送信されている場合には、各番組内のメタデータ内に視点移動可能領域情報がそれぞれ格納される。
【００１８】
また、視点移動可能領域関連付け情報とは、デジタル放送受信機が複数の任意視点番組を受信している場合に、各番組内の視点移動可能領域の位置関係を示す情報を指す。この視点移動可能領域関連付け情報を使用することにより、デジタル放送受信機は視聴中の任意視点番組の視点移動可能領域情報と、別の番組の視点移動可能領域の位置と方向の関係、任意視点番組識別情報を把握することができる。
【００１９】
以下、図面を参照して、本発明の実施例を詳細に説明する。図1は、実施例1に係るデジタル放送受信機100の機能構成と、放送受信データの流れを大まかに示すブロック図であ
る。
【００２０】
図1において、デジタル放送受信機100は、放送受信アンテナ部101、放送受信チューナ
部102、TSデコーダ部103、メモリ部109を備えている。デジタル放送受信機100はまた、サーバ通信部105、TSデコーダ部106、映像セレクタ部107、表示部108を備えている。デジタル放送受信機100はまた、リモコン受信部110、システム制御部111、視点情報変換部112、領域判定部113、送信情報切り換え部114、共通バス115を備えている。図１には、任意視
点サービス提供サーバ104も記載されている。
【００２１】
放送受信アンテナ部101は、地上波デジタル放送等の放送を受信するためのアンテナで
ある。このアンテナで受信された放送波は、後段の、放送受信チューナ部102へ送信され
る。
放送受信チューナ部102は、放送受信アンテナ部101より地上波デジタル放送信号等の放送波を受信する。そして、ユーザが選択した視聴番組の物理チャンネルに対応する周波数帯域を抽出し、抽出した信号に復調処理及び誤り訂正処理を施すことにより、ベースバンド信号に変換する。そして、ベースバンド信号を後段TSデコーダ部103へ送信する。
【００２２】
TSデコーダ部103は、放送受信チューナ部102から受信したベースバンド信号に対してDEMUX(デマルチプレクサ)処理、つまり、映像信号やメタデータの分離、抽出、取得処理を
行う。メタデータは、視点移動可能領域情報、視点移動可能領域関連付け情報や、番組情報等からなる。この番組情報により、受信した番組が任意視点番組（標準映像に加えて任意視点映像が提供されている番組）か、標準番組（標準映像のみが提供されている番組）なのかを識別することができる。DEMUX処理により抽出された映像信号は、受信している
放送番組が標準番組の場合、映像セレクタ部107に対して標準映像が出力される。受信し
ている放送番組が任意視点番組の場合、任意視点番組の標準映像が映像セレクタ部107へ
、メタデータがシステム制御部111へ送信される。TSデコーダ部は、本発明の取得部に相
当する。
【００２３】
任意視点サービス提供サーバ104はネットワークに接続されたサーバである。デジタル
放送受信機は、任意視点番組を受信時、任意視点サービス提供サーバ104に対して、任意
視点映像を要求する。それを受信した任意視点サービス提供サーバは、対応する任意視点映像をデジタル放送受信機に送りかえす。任意視点サービス提供サーバ104は、放送局が
送信する任意視点番組と連動しており、放送番組に対応した任意視点映像を提供することができる。
【００２４】
サーバ通信部105は、任意視点サービス提供サーバ104へ任意視点番組の識別情報と、任意視点番組内でのユーザが指定した任意視点、視点方向情報を送信する。そして、それに応じて任意視点サービス提供サーバが送りかえした任意視点映像を受信する。受信した任意視点映像は、後段の映像セレクタ部107に送信される。
TSデコーダ部106は、サーバ通信部105から任意視点映像データを受信する。受信した映像データはTSデコーダ部103と同様の処理がなされ、映像信号が後段の映像セレクタ部107に送信される。
【００２５】
映像セレクタ部107は、TSデコーダ部103、TSデコーダ部106から受信した映像信号を、
システム制御部111の指示により選択制御して、後段の表示部108に送信する。
表示部108は、Ｄ／Ａコンバータ、モニター制御回路、モニター（表示パネル）などを
有する（それらはいずれも不図示である）。表示部108は、映像セレクタ部107より受信した映像信号を、表示パネルに表示する。なお、表示パネルとしては、電子放出素子を有する表示パネル、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ＥＬディスプレイパネルなどを適用すればよい。
【００２６】
メモリ部109には、システム制御部111からの制御に従い、取得した視点移動可能領域情報、視点移動可能領域関連付け情報が格納される。
リモコン受信部110は、不図示のリモコン等を用いて、リモコンコードを受信する。受
信データは、下記のシステム制御部111へ送信される。このリモコンコードは、システム
制御部111にてコード解析が行われる。リモコン受信部は、本発明の受付部に相当する。
【００２７】
システム制御部111は、各ブロックの全体制御を行う。また、リモコン受信部110からリ
モコンコードを受信し、対応する処理がなされるよう各ブロックの制御を行う。例えば、このリモコンコードが、任意視点番組選局命令であった場合、放送受信チューナ部102に
選局命令を発行し、TSデコーダ部103から出力される視点移動可能領域情報、視点移動可
能領域関連付け情報をメモリ部109へ格納するように制御が行われる。またシステム制御
部111は、映像セレクタ部104を制御して、TSデコーダ103とTSデコーダ106との出力映像の切り換え制御も行う。なお、システム制御部と、システム制御部が制御する各ブロックの間では、不図示の信号線などにより制御信号のやり取りが可能となっている。
【００２８】
視点情報変換部112ではリモコンから送られた視点移動情報を、メモリ部109から受信した視点移動可能領域情報、視点移動可能領域関連付け情報を用いて、任意視点映像での視点の位置と向きを示す視点情報と視点方向情報に変換する。
【００２９】
領域判定部113は、変換された視点情報と視点方向情報、抽出された視点移動可能領域
情報と視点移動可能領域関連付け情報を用いて判定を行う。すなわち、ユーザが現在視聴している、表示中の任意視点番組の領域内視点移動要求であるか、別の任意視点番組の領域内の視点移動要求であるか、またはそれ以外の領域への視点移動要求であるかの判定である。視点移動前の、表示中の任意視点番組の領域内の視点は、本発明の第一の視点に相当する。それ以外の領域での視点は、本発明の第二の視点に相当する。
【００３０】
送信情報切り換え部114は、任意視点番組の識別情報を、視点情報、視点方向情報と併
せてサーバ通信部105に送信する。このとき、ユーザが要求した視点移動情報が、現在視
聴している、表示中の任意視点番組の領域内の視点移動要求と領域判定部113にて判定さ
れた場合には、識別情報として、現在視聴している任意視点番組の識別情報が送信される。一方、別の任意視点番組の領域内の視点移動要求と判定された場合には、識別情報として、対応する任意視点番組の識別情報が送信される。
共通バス115は、各機能ブロック間で、各種データやコマンド（制御に関する情報；制
御情報）を送受信するためのバスである。
【００３１】
次に、任意視点番組受信時に、視点移動可能領域情報、視点移動可能領域関連付け情報を受信し、メモリ部109へ書き込むまでの動作について図２を用いて説明する。
【００３２】
まず、ユーザがリモコンを用いて任意視点番組の選局情報をデジタル放送受信機100に
送信し、これをリモコン受信部110が受信する。システム制御部111はこの信号を解析し、指定番組を選局するよう放送受信チューナ102、TSデコーダ103に命令を送る(ステップS201)。
続いて、TSデコーダ部103は、受信した標準映像を映像セレクト部107に送信する。映像セレクト部107は受信した映像データを表示部108に送信して、表示パネルに表示する(ス
テップS202)。
【００３３】
TSデコーダ103は、受信したデータからメタデータとして格納されている視点移動可能
領域情報、視点移動可能領域関連付け情報を抽出し、メモリ部109に送信する。メモリ部109では受信した情報を一時保持する（ステップS203）。
システム制御部111は、TSデコーダ103から任意視点番組の視聴中に視点移動可能領域情報、視点移動可能領域関連付け情報に対して、情報更新がないか、常時監視を行う。そして、変更があった場合には、直ちにメモリ部109内の情報を更新するよう制御を行う。こ
のような制御を行うことによって、メモリ部109内のデータは常に最新の情報が格納され
る(ステップS204)。
【００３４】
次に、ユーザが任意視点番組視聴中に、リモコンを使用して視点移動を要求した場合の動作について、図３を用いて説明する。
【００３５】
まず、ユーザが任意視点番組を視聴しているとする(ステップS301)。つまり先に説明した、ステップS204が終了した状態であり、現在視聴している、表示中の任意視点番組の任意視点移動可能領域情報、現在放送中の任意視点番組群への視点移動可能領域関連付け情報が、メモリ部109に保持されている状態である。
【００３６】
次に、ユーザが視聴中の任意視点番組にて視点移動要求を行う(ステップS302)。すると、リモコン受信部109は受付けたリモコンコードをシステム制御部111に送信する。システム制御部111は、受信信号を解析し、視点移動情報を視点情報変換部112に送信する。視点情報変換部112では受信した視点移動情報を、メモリ部109から受信した視点移動可能領域情報、視点移動可能領域関連付け情報を用いて、任意視点映像での視点の位置と向きを示す視点情報と視点方向情報に変換する。
【００３７】
領域判定部113は変換された視点情報と視点方向情報、抽出された視点移動可能領域情
報と視点移動可能領域関連付け情報を用いて、視点移動要求の内容の判定を行う。すなわち、ユーザが現在視聴している、表示中の任意視点番組の領域内視点移動要求であるか、別の任意視点番組の領域内の視点移動要求であるか、またはそれ以外の領域への視点移動要求であるか、の判定である(ステップS303)。
【００３８】
送信情報切り換え部114は、この判定結果を受信し、その内容に応じて処理を切り換え
る（ステップS304）。まず、ユーザが指定した視点情報が、現在視聴中の任意視点番組の視点移動可能領域内である場合(ステップS304＝NO)、サーバ通信部105に視点情報、視点
方向情報、任意視点番組識別情報を送信する(ステップS305)。
サーバ通信部105では、受けとったデータを任意視点映像サービス提供サーバ104に送信する。そして、対応する任意視点映像を任意視点映像サービス提供サーバ104から受信し
、映像の表示を開始する。
【００３９】
一方、ユーザが指定した視点情報が、視聴中の任意視点番組の視点移動可能領域を越える視点移動要求である場合(ステップS304＝YES)、次の判断に進む（ステップS306）。ま
ず、指定された視点情報が、放送中の任意視点番組群の視点移動可能領域を越える視点移動要求であった場合(ステップS306＝NO)、任意視点映像が表示できない。そのため、領域を越えた先の映像は生成不可である旨のエラーメッセージを表示パネルに表示するよう、表示部108に指示を出す(ステップS307)。
【００４０】
一方、判定結果が、放送中の任意視点番組群の視点移動可能領域内での視点移動であった場合（ステップS306＝YES）、送信情報切り換え部114は、視点情報、方向情報、その視点に対応する任意視点番組識別情報をサーバ通信部105に送信する。サーバ通信部105では受取ったデータを任意視点映像サービス提供サーバ104に送信する(ステップS308)。
【００４１】
任意視点映像サービス提供サーバは、サーバ通信部からの要求に対応する任意視点映像を送りかえす。そして、放送受信装置は、受信した任意視点映像に基づき映像表示を開始する(ステップS309)。合わせて、システム制御部111は、メモリ部109内の視点移動可能領域情報を更新する。また、システム制御部は、受信した任意視点番組に選局するため、チャンネル変更を放送受信チューナ部102に対して命令する。
【００４２】
続いて、図面を参照しつつ、上記の処理フローについて具体的に説明する。図４は、競技場のような同一会場内で複数の競技種目が行われている場合に、各競技種目に対応した任意視点映像のストリームが放送されている様子を示す図である。例えば、図中の右領域では砲丸投げが、左領域では短距離走が行われているものとする。そして、各領域では６台のカメラ（白抜きの図形で示す）で撮影が行われている。それぞれのカメラの円形の部
分が視点の位置であり、円形の部分からつながる三角形が広がる方向が、撮影する向きである。それぞれの領域が、複数のカメラで撮影される所定の領域である。
【００４３】
なおこの例では、領域内での位置を表現するための座標系は、左右の領域で異なっている。右領域座標系では、領域の中心部分が原点である。そして、図中の左右方向がｘ軸であり、左から右にかけて値が増加する。また、図中の上下方向がｙ軸であり、下から上にかけて値が増加する。一方、左領域座標系では、原点の位置は変わらないものの、右領域座標系を９０度右に回転させた形をしている。すなわち、図中の上下方向がｘ軸であり、上から下にかけて値が増加する。また、左右方向がｙ軸であり、左から右にかけて値が増加する。
【００４４】
図４（ａ）は、ユーザによる視点移動指示の前の状態を示す図である。ユーザは右領域で行われている砲丸投げに対応する任意視点映像を視聴している(ステップS301に対応)。任意視点映像の視点の位置および視聴する方向は、黒色の図形で示されている。本図において、任意視点映像の視点の位置は、右領域座標系で(X,Y)=(-10,0)で表現される。この
視点位置は、右領域の中で最も左側であり、左領域に隣接しているものとする。また、視線の方向は左向きである。
【００４５】
ここで、ユーザがリモコンを操作して視点を左に移動するように指示する(ステップS302に対応）。ユーザの指示は、例えば、リモコンのカーソルの左のボタンを押下すること
によって行われる。このリモコン操作の後、視点情報変換部は、ユーザによる移動指示の内容と、メモリ部に保持されている視点移動可能領域情報および視点移動可能領域関連付け情報を用いて、移動後の任意視点映像の視点の位置と向きを求める。図４（ａ）の場合、移動後の視点位置は左領域に移動してしまうので、座標系の変換も必要になる。移動後の視点の座標は左領域座標系で(X,Y)=(0,10)であり、視線は左向きのままである。なお、ユーザがなんらかの手段により視線の方向を変えることを要求することも、もちろん可能である。
【００４６】
続いて、領域判定部は、この移動が現在視聴中の砲丸投げに対応するストリームの範囲を越えるものと判定する(ステップS304=YESの場合に対応)。領域判定部はさらに、この移動によって、視点位置が、短距離走に対応する別のストリームの領域に入ると判定する(
ステップS306=YESの場合に対応)。
【００４７】
この判定結果は、別ストリームへの変更および任意視点映像の生成が必要であることを示すものである。そこで、放送受信機は、チャンネル変更を行うとともに、任意視点映像サービス提供サーバに任意視点映像を要求し(ステップS308に対応)、短距離走に係る任意視点番組を表示する(ステップS309に対応)。
【００４８】
図４（ｂ）は、視点移動が行われた後の状態を示す図である。本図に示すように、移動後の任意視点映像（黒色の図形）の視点位置は、移動前の任意視点映像の視点位置（点線の図形で表現）に隣接している。このように本処理フローによれば、視点移動に伴ってストリームが変更された直後であっても、移動後の左領域の標準映像やデフォルトの視点位置の映像ではなく、移動前の右領域の視点位置に対応する左領域の視点位置の任意視点映像が表示される。表示される任意視点映像は、直前に表示されていた任意視点映像と隣接する、シームレスなものであると言える。
【００４９】
なお、これまでの例では、視点移動可能領域情報は、互いに隣接している場合について説明をした。しかし、領域間の位置関係は、隣接している場合に限らず、包含関係であっても、領域間の距離がある程度離れている場合であっても、同様の手法を適用することが可能である。
【００５０】
また、本実施例では、放送局から送信される情報として視点移動可能領域と視点移動可能領域関係付け情報を用いた。しかし、任意視点映像サービス提供サーバから受信する情報が各カメラ位置情報であった場合でも、視点移動可能領域情報、視点移動可能領域関連付け情報は、デジタル放送受信機内にて生成可能なので、これまでの説明と同じ手法を適用することが可能である。生成方法としては、例えば既存技術である座標変換手法を用いればよい。また、放送受信機がサーバから任意視点映像を受信する方式ではなく、放送受信機がサーバから各カメラの映像を受信して、任意視点映像を生成することも考えられる。この場合、必要に応じて放送波により送信された標準映像を生成に利用することも可能である。
【００５１】
以上述べたように、本実施例においては、放送局から、ユーザが視聴中の任意視点番組の任意視点移動可能領域と、隣接した領域間の位置関係を示す視点移動可能領域関連付け情報が送信される。放送受信装置はこれらの情報を一時保持しておく。そして、ユーザが視聴中の任意視点番組の視点移動要求が、視聴中の番組の移動可能領域内から、放送が行われている隣接した別の任意視点番組の視点移動可能領域への視点移動要求かどうかを判断する。別の任意視点番組への移動要求であった場合には、視点移動可能領域関連付け情報を使用することにより移動後の視点、視点方向、移動後の任意視点番組を求め、その情報を任意視点映像サービス提供サーバに送信して、移動後の視点位置での任意視点映像を得る。これにより、任意視点番組が複数の番組で放送されている場合であっても、シームレスな任意視点映像の移動が表示可能となる。
【００５２】
＜実施例２＞
実施例１では、ユーザによる視点移動要求発生時、視点移動後の任意視点映像を任意視点映像サービス提供サーバに要求する。しかし、この時に、視聴中の任意視点映像の受信をいったん停止した後、視点移動後の任意視点映像を任意視点映像サービス提供サーバに要求する必要があった。この場合、表示していた映像は停止し、何も映像が表示されないブランク期間が存在することになり、ユーザに不快感を与えてしまう課題が発生する。
【００５３】
この課題解決のため、実施例２では、視点移動要求が発生した場合も何も映像が表示されないブランク期間を避けるために、サーバ通信機能をさらに追加して対応を行う。このような構成を採ることで、視点移動要求があった場合に追加されたサーバ通信機能を使用して任意視点映像を要求し、視点移動後の任意視点映像を受信した後で映像セレクタ部の切り換えを行えるようになり、ブランク期間を避けることが可能となる。
【００５４】
本実施例に係るデジタル放送受信機200を図５に示す。図５を見て分かるように、図１
に示す実施例１の構成に加え、もう１組のサーバ通信部216とTSデコーダ部217を有する。映像セレクタ207のデータ受信先として、TSデコーダ部217が追加される。そのほかの、放送受信アンテナ部201〜共通バス215は、実施例１の放送受信アンテナ部101〜共通バス115と同様に動作する。
【００５５】
本実施例における動作フローについて、実施例１と比較した時の違いを説明する。
送信情報切り換え部は、任意視点変更時に、追加されたサーバ通信部216を使用し、任
意視点映像サービス提供サーバに対して視点に関する情報を送信する。そして、サーバ通信部216は、サーバが送信して来た、要求に対応する任意視点映像を受信する。これらの
処理を行っている間も、視点を変更する前の任意視点映像はサーバ通信部205により受信
できるので、映像のブランク期間が発生することはない。そして、視点変更後の任意視点映像を取得した後に、映像セレクタ部207にて選択映像を切り換える。その他の動作は図
３と同じになるため、説明は省略する。
【００５６】
以上述べたように、本実施例によれば、任意視点映像視聴時に視点移動要求があった時、追加したサーバ通信部を使用して新たな視点での任意視点映像を受信する。その後すばやく任意視点映像を切り換えることにより、何も映像が表示されないブランク期間の発生を避け、ユーザの不快感を低減することが可能となる。
【符号の説明】
【００５７】
１０２：放送受信チューナ部，１０５：サーバ通信部，１１０：リモコン受信部，１１１：システム制御部，１１２：視点情報変換部，１１３：領域判定部，１１４：送信情報切り換え部
【技術分野】
【０００１】
本発明は、映像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
現在、多数のカメラで被写体を多くの方向から撮影し、撮影した多数の映像、各カメラ位置、画角情報、視点情報、視線方向情報を与えて映像補間処理を行うことにより、本来撮影されていない視点での映像を得る、任意視点映像生成の実現が検討されている。これ以降、視聴者が所望する仮想的なカメラ位置での視聴が可能な番組のことを、任意視点番組と呼ぶ。
【０００３】
既存の放送システムを流用して任意視点番組を実現するため、放送局から送信される標準映像に加えて、ネットワークに接続されたサーバから送信される任意視点映像を提供する任意視点番組の検討が進められている。この場合、放送局から送信される標準映像がデジタル放送受信機のチューナに対して送信され、合わせて任意視点映像がデジタル放送受信機のサーバ通信部に対して送信されることにより、任意視点番組放送が実現される。デジタル放送受信機は、視聴者の視点移動要求に従って、視点情報を任意視点サービス提供サーバに送信する。任意視点サービス提供サーバは、その視点情報を受取ると、受信した視点情報に対応する任意視点映像をデジタル放送受信機に送信する。そしてデジタル放送受信機は、任意視点サービス提供サーバから受信した任意視点映像を表示していく。
【０００４】
このような任意視点番組では、任意視点映像生成可能な領域の情報も合わせて放送局から送信することが考えられる。この情報を使用すれば、ユーザが要求した視点位置での任意視点映像が任意視点映像サービス提供サーバで生成可能かどうかを問い合わせることなく知ることができるため、通信時間の削減メリットが見込まれる。
【０００５】
上記任意視点番組放送においては、標準映像から任意視点映像に切り換えた際の視点や視野角の変化による視聴者の違和感を生じる課題があり、これを緩和する手法の提案がなされている。その例として、放送番組の標準映像にメタデータとして含まれる標準映像のカメラ位置、画角等の情報を利用して、視聴者が標準映像から任意視点映像に切り換えた際に、任意視点情報を生成し該当する任意視点映像を得る方式がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７―１５０７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
任意視点番組の放送が実際に行われる場合、例えばスポーツ番組における競技場のような撮影場所の任意視点番組においては、競技種目ごとに任意視点番組を分けて放送することが考えられる。つまり、隣接した領域ごとに分けて任意視点番組の放送を行うことが予想される。これは競技種目ごとに競技が行われる時間が異なったり、種目ごとに番組解説等を入れる必要があったりするためである。
【０００８】
しかしながら、上記のような隣接した視点領域を持つ複数の任意視点番組が放送されている環境において、ユーザがリモコン等を用いてユーザが望む仮想的なカメラ位置を設定し、任意視点映像を得る場合、次のような課題が生じる。つまり、ユーザが視聴中の任意
視点番組から隣接した別の任意視点番組に視点移動を行った場合、本来であれば、移動後の視点位置での任意視点映像をユーザに視聴させたい。しかし従来手法では、移動後の任意視点番組の標準映像に切り替わってしまったり、デフォルトの視点位置（番組制作者が指定したメインの視点位置）に切り替わってしまったりするといった問題が発生する。
【０００９】
本発明は、上述のような課題に鑑みてなされたものであり、任意視点番組における視点移動の際、シームレスな任意視点映像の切り換えが可能な映像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明は以下の構成を採用する。すなわち、所定の領域において撮影された複数の映像から生成される、ユーザの要求に係る任意の視点での映像である任意視点映像を含む任意視点番組を表示する映像処理装置であって、前記任意視点番組において取り得る視点の範囲を取得する取得部と、ユーザからの視点移動要求を受け付ける受付部と、複数の領域のそれぞれに対応する複数の任意視点番組が存在し、当該複数の任意視点番組のいずれかが表示されている場合に、前記視点移動要求が、表示中の任意視点番組において取り得る第一の視点の範囲から、他の任意視点番組において取り得る第二の視点の範囲へと、視点を移動させるものであるかを判定する判定部と、を有し、前記判定の結果が、前記第二の視点の範囲へと視点を移動させるものである場合、表示する任意視点番組を前記他の任意視点番組に切り換え、視点移動前の前記第一の視点の範囲における視点に対応する、前記第二の視点の範囲における視点の任意視点映像を表示することを特徴とする映像処理装置である。
【００１１】
本発明はまた、以下の構成を採用する。すなわち、所定の領域において撮影された複数の映像から生成される、ユーザの要求に係る任意の視点での映像である任意視点映像を含む任意視点番組を表示する映像処理装置の制御方法であって、前記任意視点番組において取り得る視点の範囲を取得する取得ステップと、ユーザからの視点移動要求を受け付ける受付ステップと、複数の領域のそれぞれに対応する複数の任意視点番組が存在し、当該複数の任意視点番組のいずれかが表示されている場合に、前記視点移動要求が、表示中の任意視点番組において取り得る第一の視点の範囲から、他の任意視点番組において取り得る第二の視点の範囲へと、視点を移動させるものであるかを判定する判定ステップと、を有し、前記判定の結果が、前記第二の視点の範囲へと視点を移動させるものである場合、表示する任意視点番組を前記他の任意視点番組に切り換え、視点移動前の前記第一の視点の範囲における視点に対応する、前記第二の視点の範囲における視点の任意視点映像を表示することを特徴とする映像処理装置の制御方法である。
【発明の効果】
【００１２】
本発明の映像処理装置及びその制御方法によれば、任意視点番組における視点移動の際、シームレスな任意視点映像の切り換えが可能になる。
【図面の簡単な説明】
【００１３】
【図１】実施例１に係るデジタル放送受信機の概略構成を示すブロック図。
【図２】実施例１において、視点移動可能領域情報等を扱う時のフローチャート。
【図３】実施例１において、ユーザが視点移動を要求した時のフローチャート。
【図４】実施例１における視点移動について説明する図。
【図５】実施例２に係るデジタル放送受信機の概略構成を示すブロック図。
【発明を実施するための形態】
【００１４】
以下に図面を参照しつつ、本発明を実施するための好適な形態を説明する。本発明の映像処理装置は例えば、放送を受信して表示する放送受信装置に組み込まれてその一部を構
成しても良いし、放送受信装置に接続して用いられても良い。また、以下で説明する放送受信装置は表示部を構成要素として含んでいるが、本発明はこの形式に限定されない。例えば、ＳＴＢのように、外部のディスプレイ等に接続して、そのディスプレイに信号を送信して映像を表示させるタイプの放送受信装置であっても良い。本発明の映像処理装置は、また、録画済みの放送番組コンテンツを再生する再生装置にも適用できる。本発明はさらに、映像処理装置の構成要素が行う処理の制御を各工程とする、映像処理装置の制御方法としてとらえることもできる。
【００１５】
＜実施例１＞
この実施例１では、任意視点番組の配信方法として、標準映像は放送局から送信され、任意視点映像は任意視点映像サービス提供サーバから送信されるものとする。このような構成を採ることにより、既存の放送システムを流用して任意視点番組視聴システムを構築することが可能となる。
【００１６】
実施例１において、放送番組として、任意視点番組を考える。任意視点番組の映像は、放送局から送信される標準映像と、任意視点映像サービス提供サーバから送られる任意視点映像から構成される。なお、標準映像は、従来からの放送形態で提供される映像であって、ユーザが希望する視点を選択する必要のない映像である。生放送の場合は、放送局側で番組の進行にともなって映像が随時切り換えられる。一方、任意視点映像は、多数のカメラで撮影された多数の映像を元に映像補間処理を行うことにより生成される任意の視点の映像である。任意視点映像の元となる多数のカメラの映像の中から選択されたカメラの映像が標準映像として提供されてもよいし、標準映像専用のカメラで撮影された映像が標準映像として提供されてもよい。
また、放送局から送信されるメタデータの中には、番組情報の他に、後で説明する視点移動可能領域情報、視点移動可能領域関連付け情報が含まれる。デジタル放送受信機は現在視聴している任意視点番組識別情報、視点位置、視点方向情報を任意視点映像サービス提供サーバに送信することによって、その視点と視点方向に対応する任意視点映像を受信していく。
【００１７】
ここで、視点移動可能領域情報とは、任意視点番組にて、任意視点生成が可能である領域を示す情報を指す。すなわち、任意視点番組において取り得る視点の範囲とも言える。任意視点番組が複数、送信されている場合には、各番組内のメタデータ内に視点移動可能領域情報がそれぞれ格納される。
【００１８】
また、視点移動可能領域関連付け情報とは、デジタル放送受信機が複数の任意視点番組を受信している場合に、各番組内の視点移動可能領域の位置関係を示す情報を指す。この視点移動可能領域関連付け情報を使用することにより、デジタル放送受信機は視聴中の任意視点番組の視点移動可能領域情報と、別の番組の視点移動可能領域の位置と方向の関係、任意視点番組識別情報を把握することができる。
【００１９】
以下、図面を参照して、本発明の実施例を詳細に説明する。図1は、実施例1に係るデジタル放送受信機100の機能構成と、放送受信データの流れを大まかに示すブロック図であ
る。
【００２０】
図1において、デジタル放送受信機100は、放送受信アンテナ部101、放送受信チューナ
部102、TSデコーダ部103、メモリ部109を備えている。デジタル放送受信機100はまた、サーバ通信部105、TSデコーダ部106、映像セレクタ部107、表示部108を備えている。デジタル放送受信機100はまた、リモコン受信部110、システム制御部111、視点情報変換部112、領域判定部113、送信情報切り換え部114、共通バス115を備えている。図１には、任意視
点サービス提供サーバ104も記載されている。
【００２１】
放送受信アンテナ部101は、地上波デジタル放送等の放送を受信するためのアンテナで
ある。このアンテナで受信された放送波は、後段の、放送受信チューナ部102へ送信され
る。
放送受信チューナ部102は、放送受信アンテナ部101より地上波デジタル放送信号等の放送波を受信する。そして、ユーザが選択した視聴番組の物理チャンネルに対応する周波数帯域を抽出し、抽出した信号に復調処理及び誤り訂正処理を施すことにより、ベースバンド信号に変換する。そして、ベースバンド信号を後段TSデコーダ部103へ送信する。
【００２２】
TSデコーダ部103は、放送受信チューナ部102から受信したベースバンド信号に対してDEMUX(デマルチプレクサ)処理、つまり、映像信号やメタデータの分離、抽出、取得処理を
行う。メタデータは、視点移動可能領域情報、視点移動可能領域関連付け情報や、番組情報等からなる。この番組情報により、受信した番組が任意視点番組（標準映像に加えて任意視点映像が提供されている番組）か、標準番組（標準映像のみが提供されている番組）なのかを識別することができる。DEMUX処理により抽出された映像信号は、受信している
放送番組が標準番組の場合、映像セレクタ部107に対して標準映像が出力される。受信し
ている放送番組が任意視点番組の場合、任意視点番組の標準映像が映像セレクタ部107へ
、メタデータがシステム制御部111へ送信される。TSデコーダ部は、本発明の取得部に相
当する。
【００２３】
任意視点サービス提供サーバ104はネットワークに接続されたサーバである。デジタル
放送受信機は、任意視点番組を受信時、任意視点サービス提供サーバ104に対して、任意
視点映像を要求する。それを受信した任意視点サービス提供サーバは、対応する任意視点映像をデジタル放送受信機に送りかえす。任意視点サービス提供サーバ104は、放送局が
送信する任意視点番組と連動しており、放送番組に対応した任意視点映像を提供することができる。
【００２４】
サーバ通信部105は、任意視点サービス提供サーバ104へ任意視点番組の識別情報と、任意視点番組内でのユーザが指定した任意視点、視点方向情報を送信する。そして、それに応じて任意視点サービス提供サーバが送りかえした任意視点映像を受信する。受信した任意視点映像は、後段の映像セレクタ部107に送信される。
TSデコーダ部106は、サーバ通信部105から任意視点映像データを受信する。受信した映像データはTSデコーダ部103と同様の処理がなされ、映像信号が後段の映像セレクタ部107に送信される。
【００２５】
映像セレクタ部107は、TSデコーダ部103、TSデコーダ部106から受信した映像信号を、
システム制御部111の指示により選択制御して、後段の表示部108に送信する。
表示部108は、Ｄ／Ａコンバータ、モニター制御回路、モニター（表示パネル）などを
有する（それらはいずれも不図示である）。表示部108は、映像セレクタ部107より受信した映像信号を、表示パネルに表示する。なお、表示パネルとしては、電子放出素子を有する表示パネル、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ＥＬディスプレイパネルなどを適用すればよい。
【００２６】
メモリ部109には、システム制御部111からの制御に従い、取得した視点移動可能領域情報、視点移動可能領域関連付け情報が格納される。
リモコン受信部110は、不図示のリモコン等を用いて、リモコンコードを受信する。受
信データは、下記のシステム制御部111へ送信される。このリモコンコードは、システム
制御部111にてコード解析が行われる。リモコン受信部は、本発明の受付部に相当する。
【００２７】
システム制御部111は、各ブロックの全体制御を行う。また、リモコン受信部110からリ
モコンコードを受信し、対応する処理がなされるよう各ブロックの制御を行う。例えば、このリモコンコードが、任意視点番組選局命令であった場合、放送受信チューナ部102に
選局命令を発行し、TSデコーダ部103から出力される視点移動可能領域情報、視点移動可
能領域関連付け情報をメモリ部109へ格納するように制御が行われる。またシステム制御
部111は、映像セレクタ部104を制御して、TSデコーダ103とTSデコーダ106との出力映像の切り換え制御も行う。なお、システム制御部と、システム制御部が制御する各ブロックの間では、不図示の信号線などにより制御信号のやり取りが可能となっている。
【００２８】
視点情報変換部112ではリモコンから送られた視点移動情報を、メモリ部109から受信した視点移動可能領域情報、視点移動可能領域関連付け情報を用いて、任意視点映像での視点の位置と向きを示す視点情報と視点方向情報に変換する。
【００２９】
領域判定部113は、変換された視点情報と視点方向情報、抽出された視点移動可能領域
情報と視点移動可能領域関連付け情報を用いて判定を行う。すなわち、ユーザが現在視聴している、表示中の任意視点番組の領域内視点移動要求であるか、別の任意視点番組の領域内の視点移動要求であるか、またはそれ以外の領域への視点移動要求であるかの判定である。視点移動前の、表示中の任意視点番組の領域内の視点は、本発明の第一の視点に相当する。それ以外の領域での視点は、本発明の第二の視点に相当する。
【００３０】
送信情報切り換え部114は、任意視点番組の識別情報を、視点情報、視点方向情報と併
せてサーバ通信部105に送信する。このとき、ユーザが要求した視点移動情報が、現在視
聴している、表示中の任意視点番組の領域内の視点移動要求と領域判定部113にて判定さ
れた場合には、識別情報として、現在視聴している任意視点番組の識別情報が送信される。一方、別の任意視点番組の領域内の視点移動要求と判定された場合には、識別情報として、対応する任意視点番組の識別情報が送信される。
共通バス115は、各機能ブロック間で、各種データやコマンド（制御に関する情報；制
御情報）を送受信するためのバスである。
【００３１】
次に、任意視点番組受信時に、視点移動可能領域情報、視点移動可能領域関連付け情報を受信し、メモリ部109へ書き込むまでの動作について図２を用いて説明する。
【００３２】
まず、ユーザがリモコンを用いて任意視点番組の選局情報をデジタル放送受信機100に
送信し、これをリモコン受信部110が受信する。システム制御部111はこの信号を解析し、指定番組を選局するよう放送受信チューナ102、TSデコーダ103に命令を送る(ステップS201)。
続いて、TSデコーダ部103は、受信した標準映像を映像セレクト部107に送信する。映像セレクト部107は受信した映像データを表示部108に送信して、表示パネルに表示する(ス
テップS202)。
【００３３】
TSデコーダ103は、受信したデータからメタデータとして格納されている視点移動可能
領域情報、視点移動可能領域関連付け情報を抽出し、メモリ部109に送信する。メモリ部109では受信した情報を一時保持する（ステップS203）。
システム制御部111は、TSデコーダ103から任意視点番組の視聴中に視点移動可能領域情報、視点移動可能領域関連付け情報に対して、情報更新がないか、常時監視を行う。そして、変更があった場合には、直ちにメモリ部109内の情報を更新するよう制御を行う。こ
のような制御を行うことによって、メモリ部109内のデータは常に最新の情報が格納され
る(ステップS204)。
【００３４】
次に、ユーザが任意視点番組視聴中に、リモコンを使用して視点移動を要求した場合の動作について、図３を用いて説明する。
【００３５】
まず、ユーザが任意視点番組を視聴しているとする(ステップS301)。つまり先に説明した、ステップS204が終了した状態であり、現在視聴している、表示中の任意視点番組の任意視点移動可能領域情報、現在放送中の任意視点番組群への視点移動可能領域関連付け情報が、メモリ部109に保持されている状態である。
【００３６】
次に、ユーザが視聴中の任意視点番組にて視点移動要求を行う(ステップS302)。すると、リモコン受信部109は受付けたリモコンコードをシステム制御部111に送信する。システム制御部111は、受信信号を解析し、視点移動情報を視点情報変換部112に送信する。視点情報変換部112では受信した視点移動情報を、メモリ部109から受信した視点移動可能領域情報、視点移動可能領域関連付け情報を用いて、任意視点映像での視点の位置と向きを示す視点情報と視点方向情報に変換する。
【００３７】
領域判定部113は変換された視点情報と視点方向情報、抽出された視点移動可能領域情
報と視点移動可能領域関連付け情報を用いて、視点移動要求の内容の判定を行う。すなわち、ユーザが現在視聴している、表示中の任意視点番組の領域内視点移動要求であるか、別の任意視点番組の領域内の視点移動要求であるか、またはそれ以外の領域への視点移動要求であるか、の判定である(ステップS303)。
【００３８】
送信情報切り換え部114は、この判定結果を受信し、その内容に応じて処理を切り換え
る（ステップS304）。まず、ユーザが指定した視点情報が、現在視聴中の任意視点番組の視点移動可能領域内である場合(ステップS304＝NO)、サーバ通信部105に視点情報、視点
方向情報、任意視点番組識別情報を送信する(ステップS305)。
サーバ通信部105では、受けとったデータを任意視点映像サービス提供サーバ104に送信する。そして、対応する任意視点映像を任意視点映像サービス提供サーバ104から受信し
、映像の表示を開始する。
【００３９】
一方、ユーザが指定した視点情報が、視聴中の任意視点番組の視点移動可能領域を越える視点移動要求である場合(ステップS304＝YES)、次の判断に進む（ステップS306）。ま
ず、指定された視点情報が、放送中の任意視点番組群の視点移動可能領域を越える視点移動要求であった場合(ステップS306＝NO)、任意視点映像が表示できない。そのため、領域を越えた先の映像は生成不可である旨のエラーメッセージを表示パネルに表示するよう、表示部108に指示を出す(ステップS307)。
【００４０】
一方、判定結果が、放送中の任意視点番組群の視点移動可能領域内での視点移動であった場合（ステップS306＝YES）、送信情報切り換え部114は、視点情報、方向情報、その視点に対応する任意視点番組識別情報をサーバ通信部105に送信する。サーバ通信部105では受取ったデータを任意視点映像サービス提供サーバ104に送信する(ステップS308)。
【００４１】
任意視点映像サービス提供サーバは、サーバ通信部からの要求に対応する任意視点映像を送りかえす。そして、放送受信装置は、受信した任意視点映像に基づき映像表示を開始する(ステップS309)。合わせて、システム制御部111は、メモリ部109内の視点移動可能領域情報を更新する。また、システム制御部は、受信した任意視点番組に選局するため、チャンネル変更を放送受信チューナ部102に対して命令する。
【００４２】
続いて、図面を参照しつつ、上記の処理フローについて具体的に説明する。図４は、競技場のような同一会場内で複数の競技種目が行われている場合に、各競技種目に対応した任意視点映像のストリームが放送されている様子を示す図である。例えば、図中の右領域では砲丸投げが、左領域では短距離走が行われているものとする。そして、各領域では６台のカメラ（白抜きの図形で示す）で撮影が行われている。それぞれのカメラの円形の部
分が視点の位置であり、円形の部分からつながる三角形が広がる方向が、撮影する向きである。それぞれの領域が、複数のカメラで撮影される所定の領域である。
【００４３】
なおこの例では、領域内での位置を表現するための座標系は、左右の領域で異なっている。右領域座標系では、領域の中心部分が原点である。そして、図中の左右方向がｘ軸であり、左から右にかけて値が増加する。また、図中の上下方向がｙ軸であり、下から上にかけて値が増加する。一方、左領域座標系では、原点の位置は変わらないものの、右領域座標系を９０度右に回転させた形をしている。すなわち、図中の上下方向がｘ軸であり、上から下にかけて値が増加する。また、左右方向がｙ軸であり、左から右にかけて値が増加する。
【００４４】
図４（ａ）は、ユーザによる視点移動指示の前の状態を示す図である。ユーザは右領域で行われている砲丸投げに対応する任意視点映像を視聴している(ステップS301に対応)。任意視点映像の視点の位置および視聴する方向は、黒色の図形で示されている。本図において、任意視点映像の視点の位置は、右領域座標系で(X,Y)=(-10,0)で表現される。この
視点位置は、右領域の中で最も左側であり、左領域に隣接しているものとする。また、視線の方向は左向きである。
【００４５】
ここで、ユーザがリモコンを操作して視点を左に移動するように指示する(ステップS302に対応）。ユーザの指示は、例えば、リモコンのカーソルの左のボタンを押下すること
によって行われる。このリモコン操作の後、視点情報変換部は、ユーザによる移動指示の内容と、メモリ部に保持されている視点移動可能領域情報および視点移動可能領域関連付け情報を用いて、移動後の任意視点映像の視点の位置と向きを求める。図４（ａ）の場合、移動後の視点位置は左領域に移動してしまうので、座標系の変換も必要になる。移動後の視点の座標は左領域座標系で(X,Y)=(0,10)であり、視線は左向きのままである。なお、ユーザがなんらかの手段により視線の方向を変えることを要求することも、もちろん可能である。
【００４６】
続いて、領域判定部は、この移動が現在視聴中の砲丸投げに対応するストリームの範囲を越えるものと判定する(ステップS304=YESの場合に対応)。領域判定部はさらに、この移動によって、視点位置が、短距離走に対応する別のストリームの領域に入ると判定する(
ステップS306=YESの場合に対応)。
【００４７】
この判定結果は、別ストリームへの変更および任意視点映像の生成が必要であることを示すものである。そこで、放送受信機は、チャンネル変更を行うとともに、任意視点映像サービス提供サーバに任意視点映像を要求し(ステップS308に対応)、短距離走に係る任意視点番組を表示する(ステップS309に対応)。
【００４８】
図４（ｂ）は、視点移動が行われた後の状態を示す図である。本図に示すように、移動後の任意視点映像（黒色の図形）の視点位置は、移動前の任意視点映像の視点位置（点線の図形で表現）に隣接している。このように本処理フローによれば、視点移動に伴ってストリームが変更された直後であっても、移動後の左領域の標準映像やデフォルトの視点位置の映像ではなく、移動前の右領域の視点位置に対応する左領域の視点位置の任意視点映像が表示される。表示される任意視点映像は、直前に表示されていた任意視点映像と隣接する、シームレスなものであると言える。
【００４９】
なお、これまでの例では、視点移動可能領域情報は、互いに隣接している場合について説明をした。しかし、領域間の位置関係は、隣接している場合に限らず、包含関係であっても、領域間の距離がある程度離れている場合であっても、同様の手法を適用することが可能である。
【００５０】
また、本実施例では、放送局から送信される情報として視点移動可能領域と視点移動可能領域関係付け情報を用いた。しかし、任意視点映像サービス提供サーバから受信する情報が各カメラ位置情報であった場合でも、視点移動可能領域情報、視点移動可能領域関連付け情報は、デジタル放送受信機内にて生成可能なので、これまでの説明と同じ手法を適用することが可能である。生成方法としては、例えば既存技術である座標変換手法を用いればよい。また、放送受信機がサーバから任意視点映像を受信する方式ではなく、放送受信機がサーバから各カメラの映像を受信して、任意視点映像を生成することも考えられる。この場合、必要に応じて放送波により送信された標準映像を生成に利用することも可能である。
【００５１】
以上述べたように、本実施例においては、放送局から、ユーザが視聴中の任意視点番組の任意視点移動可能領域と、隣接した領域間の位置関係を示す視点移動可能領域関連付け情報が送信される。放送受信装置はこれらの情報を一時保持しておく。そして、ユーザが視聴中の任意視点番組の視点移動要求が、視聴中の番組の移動可能領域内から、放送が行われている隣接した別の任意視点番組の視点移動可能領域への視点移動要求かどうかを判断する。別の任意視点番組への移動要求であった場合には、視点移動可能領域関連付け情報を使用することにより移動後の視点、視点方向、移動後の任意視点番組を求め、その情報を任意視点映像サービス提供サーバに送信して、移動後の視点位置での任意視点映像を得る。これにより、任意視点番組が複数の番組で放送されている場合であっても、シームレスな任意視点映像の移動が表示可能となる。
【００５２】
＜実施例２＞
実施例１では、ユーザによる視点移動要求発生時、視点移動後の任意視点映像を任意視点映像サービス提供サーバに要求する。しかし、この時に、視聴中の任意視点映像の受信をいったん停止した後、視点移動後の任意視点映像を任意視点映像サービス提供サーバに要求する必要があった。この場合、表示していた映像は停止し、何も映像が表示されないブランク期間が存在することになり、ユーザに不快感を与えてしまう課題が発生する。
【００５３】
この課題解決のため、実施例２では、視点移動要求が発生した場合も何も映像が表示されないブランク期間を避けるために、サーバ通信機能をさらに追加して対応を行う。このような構成を採ることで、視点移動要求があった場合に追加されたサーバ通信機能を使用して任意視点映像を要求し、視点移動後の任意視点映像を受信した後で映像セレクタ部の切り換えを行えるようになり、ブランク期間を避けることが可能となる。
【００５４】
本実施例に係るデジタル放送受信機200を図５に示す。図５を見て分かるように、図１
に示す実施例１の構成に加え、もう１組のサーバ通信部216とTSデコーダ部217を有する。映像セレクタ207のデータ受信先として、TSデコーダ部217が追加される。そのほかの、放送受信アンテナ部201〜共通バス215は、実施例１の放送受信アンテナ部101〜共通バス115と同様に動作する。
【００５５】
本実施例における動作フローについて、実施例１と比較した時の違いを説明する。
送信情報切り換え部は、任意視点変更時に、追加されたサーバ通信部216を使用し、任
意視点映像サービス提供サーバに対して視点に関する情報を送信する。そして、サーバ通信部216は、サーバが送信して来た、要求に対応する任意視点映像を受信する。これらの
処理を行っている間も、視点を変更する前の任意視点映像はサーバ通信部205により受信
できるので、映像のブランク期間が発生することはない。そして、視点変更後の任意視点映像を取得した後に、映像セレクタ部207にて選択映像を切り換える。その他の動作は図
３と同じになるため、説明は省略する。
【００５６】
以上述べたように、本実施例によれば、任意視点映像視聴時に視点移動要求があった時、追加したサーバ通信部を使用して新たな視点での任意視点映像を受信する。その後すばやく任意視点映像を切り換えることにより、何も映像が表示されないブランク期間の発生を避け、ユーザの不快感を低減することが可能となる。
【符号の説明】
【００５７】
１０２：放送受信チューナ部，１０５：サーバ通信部，１１０：リモコン受信部，１１１：システム制御部，１１２：視点情報変換部，１１３：領域判定部，１１４：送信情報切り換え部
【特許請求の範囲】
【請求項１】
所定の領域において撮影された複数の映像から生成される、ユーザの要求に係る任意の視点での映像である任意視点映像を含む任意視点番組を表示する映像処理装置であって、
前記任意視点番組において取り得る視点の範囲を取得する取得部と、
ユーザからの視点移動要求を受け付ける受付部と、
複数の領域のそれぞれに対応する複数の任意視点番組が存在し、当該複数の任意視点番組のいずれかが表示されている場合に、前記視点移動要求が、表示中の任意視点番組において取り得る第一の視点の範囲から、他の任意視点番組において取り得る第二の視点の範囲へと、視点を移動させるものであるかを判定する判定部と、を有し、
前記判定の結果が、前記第二の視点の範囲へと視点を移動させるものである場合、表示する任意視点番組を前記他の任意視点番組に切り換え、視点移動前の前記第一の視点の範囲における視点に対応する、前記第二の視点の範囲における視点の任意視点映像を表示する
ことを特徴とする映像処理装置。
【請求項２】
前記任意視点番組は、放送波により放送される映像を含み、
前記取得部は、前記放送波から、前記任意視点番組において取り得る視点の範囲、及び、前記複数の領域の間の位置関係を取得するものであり、
前記判定部は、前記取得部が取得した位置関係を用いて判定を行う
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記受付部が受け付けた視点移動要求に基づいて、移動後の視点の位置及び視線の方向を求めてサーバに送信し、かつ、前記サーバが、受信した前記視点の位置及び視線の方向に基づいて生成した任意視点映像を受信するサーバ通信部をさらに有する
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記サーバ通信部は、表示中の任意視点番組の任意視点映像と、視点移動後の任意視点映像をともに前記サーバから受信する通信機能を有する、
ことを特徴とする請求項３に記載の映像処理装置。
【請求項５】
所定の領域において撮影された複数の映像から生成される、ユーザの要求に係る任意の視点での映像である任意視点映像を含む任意視点番組を表示する映像処理装置の制御方法であって、
前記任意視点番組において取り得る視点の範囲を取得する取得ステップと、
ユーザからの視点移動要求を受け付ける受付ステップと、
複数の領域のそれぞれに対応する複数の任意視点番組が存在し、当該複数の任意視点番組のいずれかが表示されている場合に、前記視点移動要求が、表示中の任意視点番組において取り得る第一の視点の範囲から、他の任意視点番組において取り得る第二の視点の範囲へと、視点を移動させるものであるかを判定する判定ステップと、を有し、
前記判定の結果が、前記第二の視点の範囲へと視点を移動させるものである場合、表示する任意視点番組を前記他の任意視点番組に切り換え、視点移動前の前記第一の視点の範囲における視点に対応する、前記第二の視点の範囲における視点の任意視点映像を表示する
ことを特徴とする映像処理装置の制御方法。
【請求項１】
所定の領域において撮影された複数の映像から生成される、ユーザの要求に係る任意の視点での映像である任意視点映像を含む任意視点番組を表示する映像処理装置であって、
前記任意視点番組において取り得る視点の範囲を取得する取得部と、
ユーザからの視点移動要求を受け付ける受付部と、
複数の領域のそれぞれに対応する複数の任意視点番組が存在し、当該複数の任意視点番組のいずれかが表示されている場合に、前記視点移動要求が、表示中の任意視点番組において取り得る第一の視点の範囲から、他の任意視点番組において取り得る第二の視点の範囲へと、視点を移動させるものであるかを判定する判定部と、を有し、
前記判定の結果が、前記第二の視点の範囲へと視点を移動させるものである場合、表示する任意視点番組を前記他の任意視点番組に切り換え、視点移動前の前記第一の視点の範囲における視点に対応する、前記第二の視点の範囲における視点の任意視点映像を表示する
ことを特徴とする映像処理装置。
【請求項２】
前記任意視点番組は、放送波により放送される映像を含み、
前記取得部は、前記放送波から、前記任意視点番組において取り得る視点の範囲、及び、前記複数の領域の間の位置関係を取得するものであり、
前記判定部は、前記取得部が取得した位置関係を用いて判定を行う
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記受付部が受け付けた視点移動要求に基づいて、移動後の視点の位置及び視線の方向を求めてサーバに送信し、かつ、前記サーバが、受信した前記視点の位置及び視線の方向に基づいて生成した任意視点映像を受信するサーバ通信部をさらに有する
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記サーバ通信部は、表示中の任意視点番組の任意視点映像と、視点移動後の任意視点映像をともに前記サーバから受信する通信機能を有する、
ことを特徴とする請求項３に記載の映像処理装置。
【請求項５】
所定の領域において撮影された複数の映像から生成される、ユーザの要求に係る任意の視点での映像である任意視点映像を含む任意視点番組を表示する映像処理装置の制御方法であって、
前記任意視点番組において取り得る視点の範囲を取得する取得ステップと、
ユーザからの視点移動要求を受け付ける受付ステップと、
複数の領域のそれぞれに対応する複数の任意視点番組が存在し、当該複数の任意視点番組のいずれかが表示されている場合に、前記視点移動要求が、表示中の任意視点番組において取り得る第一の視点の範囲から、他の任意視点番組において取り得る第二の視点の範囲へと、視点を移動させるものであるかを判定する判定ステップと、を有し、
前記判定の結果が、前記第二の視点の範囲へと視点を移動させるものである場合、表示する任意視点番組を前記他の任意視点番組に切り換え、視点移動前の前記第一の視点の範囲における視点に対応する、前記第二の視点の範囲における視点の任意視点映像を表示する
ことを特徴とする映像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−３４０８３（Ｐ２０１２−３４０８３Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７０３９５（Ｐ２０１０−１７０３９５）
【出願日】平成２２年７月２９日（２０１０．７．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年７月２９日（２０１０．７．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]