映像再生装置及びその制御方法、プログラム並びに記憶媒体
【課題】視点を切り替えた映像に複数の音声が存在する場合に、映像の視点を変更した結果に応じて、適した音声に容易に切り替える技術を実現する。
【解決手段】ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、複数の異なる視点位置から少なくとも１つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する任意視点映像取得手段と、ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作手段と、前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出手段と、前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有する。
【解決手段】ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、複数の異なる視点位置から少なくとも１つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する任意視点映像取得手段と、ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作手段と、前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出手段と、前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル放送波などを受信再生する技術に関する。
【背景技術】
【０００２】
現在、複数のカメラで異なる視点位置から被写体を撮影した多数の映像（以下、多視点映像）を用いて任意の視点位置の映像を補間・再構成することで、本来撮影されていない視点での映像を生成する任意視点映像生成技術の研究が行われている。
【０００３】
また、その任意視点映像を実際に標準映像の放送番組などと連携してサービスすることも検討されており、特許文献１には標準映像の放送番組と任意視点映像とを切り替える技術が開示されている。特許文献１は、標準映像のカメラの位置などをメタデータとして送出することにより、ユーザが標準映像から任意視点映像に切り替えた際に、任意視点情報を生成し、その情報から任意視点映像を得るものである。
【０００４】
また、特許文献２には複数のカメラと複数のマイクによって被写体を複数の方向から記録した多視点映像及び多聴点音声から、ユーザが所望の映像と音声を選択して視聴できるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５０７４７号公報
【特許文献２】特開２００５−１５９５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した従来技術を用いることにより、ユーザが視点位置を自由に変更して、特定の競技や被写体の映像や音声を好きな画角から視聴することが可能になる。例えば、スポーツ中継を例に取ると、自分の好きな選手や競技を常に追跡して見ることができる。また、オリンピックのような１つの競技場で複数の競技が同時に進行するような場合でも、好きなタイミングで自由に競技エリアを切り替えて視聴することができる。
【０００７】
しかし、ユーザが任意に指定した場所や方向での任意視点映像を視聴する場合、映像の視点の切り替えに応じて音声を切り替える際に、複数の音声データが存在すると、どの音声を選択したらよいかわからないという問題がある。
【０００８】
本発明は、上記課題に鑑みてなされ、その目的は、視点を切り替えた映像に複数の音声が存在する場合に、映像の視点を変更した結果に応じて、適した音声に容易に切り替えることが可能な音声切替技術を実現することである。
【課題を解決するための手段】
【０００９】
上記課題を解決し、目的を達成するために、本発明の映像再生装置は、ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、複数の異なる視点位置から少なくとも１つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する任意視点映像取得手段と、ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作手段と、前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出手段と、前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、視聴している任意視点映像の内容に応じて音声の切替方法が変わるため、ユーザは容易に音声を切り替えることができる。また、視聴している映像とは無関係の音声に切り替ってしまうことを防ぐことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施形態１のデジタル放送受信装置の構成を例示する図。
【図２】実施形態１におけるエリア情報の具体例を示す図。
【図３】実施形態１の音声切替処理を含む任意視点映像表示処理を示すフローチャート。
【図４】実施形態１の音声切替リスト作成処理を示すフローチャート。
【図５】実施形態１の画角領域の座標算出処理を説明する図。
【図６】実施形態１の音声切替処理の具体例として、ユーザが視聴している任意視点映像内に競技エリアが１つであった場合の音声が切り替わる様子を示す図。
【図７】実施形態１の音声切替処理の具体例として、ユーザが視聴している任意視点映像内に競技エリアが複数存在した場合の音声が切り替わる様子を示す図。
【図８】本発明に係る実施形態２のデジタル放送受信装置の構成を例示する図。
【図９】実施形態２の音声切替処理を含む任意視点映像表示処理を示すフローチャート。
【図１０】実施形態２の音声切替処理を示すフローチャート。
【図１１】本発明に係る実施形態３のデジタル放送受信装置の構成を例示する図。
【図１２】実施形態３の音声切替処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１３】
［実施形態１］以下に、本発明の映像再生装置を実現する実施形態１のデジタル放送受信装置について説明する。
【００１４】
実施形態１では、標準映像の放送番組をデジタル放送波で受信すると共に、複数のカメラで被写体を異なる方向から撮影した任意視点映像データを受信する構成について説明する。なお、任意視点映像データの取得方法や取得経路は、本実施形態で説明する手法に限定されるものではなく、同様の情報が取得できれば他の方法や経路であってもよい。
【００１５】
＜デジタル放送受信装置の構成＞図１を参照して、実施形態１のデジタル放送受信装置の構成について説明する。
【００１６】
図１において、デジタル放送受信装置１００は、放送局から放送された標準映像を受信し、表示するブロックと、任意視点映像データを受信し、任意視点映像を生成して表示するブロックと、視点の変更に沿って音声を切り替えるブロック、とを備える。
【００１７】
ここで、標準映像を受信し表示するブロックについて説明する。
【００１８】
デジタル放送受信装置１００はデジタル放送局から放送された放送番組をチューナ部１０１で受信する。
【００１９】
リモコン１１６とリモコンコード受信・解釈部１１５は、ユーザからの入力操作を解釈し、チャンネル選局指示の場合はチューナ部１０１に選局指示を送出する。
【００２０】
チューナ部１０１は、設定された周波数情報に応じて、周波数のチューニングを行い、デジタル放送信号を受信し、その信号を復調部１０２に出力する。
【００２１】
復調部１０２は入力されたデジタル放送信号に対し、復調、誤り訂正等の処理を行い、トランスポートストリーム（ＴＳ）を形成する。そして、そのＴＳはＴＳ処理部１０３に入力される。
【００２２】
ＴＳ処理部１０３は入力されたＴＳから、映像、音声、番組情報等を分離させる。分離された映像データの内、標準映像に関しては、標準映像処理部１０６へ出力して映像復号化処理を行い、映像出力部１０７に送出される。また、音声データは音声処理部１０４へ出力し復号化処理を行って音声出力部１０５に送出される。
【００２３】
映像出力部１０７は、復号された映像データを表示部（不図示）に適した表示解像度、表示色数、リフレッシュレート、表示タイミングに変換して、不図示の表示部（モニタ等）へ出力する。
【００２４】
音声出力部１０５は、音声データの出力レベル（音量）等を変更する機能を有し、スピーカ等へ音声データを出力する。
【００２５】
次に、任意視点映像データを受信し、任意視点映像を生成して表示するブロックについて説明する。
【００２６】
ＴＳ処理部１０３は、リモコン１１６及びリモコンコード受信・解釈部１１５からユーザの任意視点映像表示の指示を受け取ると、分離された映像データから、任意視点映像データを任意視点映像生成部１０８に送出する。
【００２７】
任意視点映像生成部１０８は、視点制御部１１０から視点の位置や視野角といった視点情報を取得し、その視点情報と任意視点映像データから任意視点映像を生成する。そして、その映像を映像出力部１０７に送出する。
【００２８】
視点制御部１１０は、リモコン１１６及びリモコンコード受信・解釈部１１５から標準映像から任意視点への変更指示や任意視点位置の変更指示を受け取ると、エリア情報取得部１０９から取得した座標空間を用いて変更先の視点情報を算出して任意視点映像生成部１０８に送出する。
【００２９】
映像出力部１０７は、任意視点映像生成部１０８から送出された任意視点映像を不図示の表示部に表示するように出力する。
【００３０】
次に、視点の変更に沿って音声を切り替えるブロックについて説明する。
【００３１】
ＴＳ処理部１０３は、リモコン１１６及びリモコンコード受信・解釈部１１５からユーザの任意視点映像表示の指示を受け取ると、番組情報をエリア情報取得部１０９に送出する。
【００３２】
視点制御部１１０は、リモコン１１６及びリモコンコード受信・解釈部１１５を通じて、任意視点映像の視点の位置を決定する指示を受け取ると、視点情報をエリア数算出部１１１へ送出する。
【００３３】
エリア情報取得部１０９は、取得した番組情報から任意視点映像に映し出される範囲内におけるエリア情報を取得する。本実施形態では、エリア情報として、図２に示すような座標情報を取得するものとして説明する。図２は、競技場を真上から見た図（Ｚ軸方向からＸＹ平面を見た図）であり、原点（Ｘ座標、Ｙ座標、Ｚ座標＝０、０、０）を中心に座標空間を示している。また、この例では３つの競技エリア（撮影エリア）の座標、及び各エリアの競技種目名と対応した音声ストリームを示す情報も含まれている。
【００３４】
エリア数算出部１１１は、視点制御部１１０から視点情報を、エリア情報取得部１０９からエリア情報を受け取り、ユーザが視聴している任意視点映像内に映っている競技エリアの数を算出する。
【００３５】
音声切替制御部１１２は、エリア数算出部１１１から受け取った競技エリアの数に応じて音声の切り替えを行う。競技エリアの数が１つの場合は、エリア情報取得部１０９からエリア情報を受け取り、そのエリアに対応する音声ストリームを受信するようにチューナ部１０１に指示する。一方、エリア数が複数の場合は、音声切替リスト作成部１１３へ音声切替リストの作成要求を送出する。そして、音声切替リスト表示制御部１１４は音声切替リスト作成部１１３が作成したリストをユーザが選択可能に表示画面に表示するように制御する。音声切替制御部１１２は、表示されたリストを用いてユーザによって選択された音声ストリームの情報をリモコンコード受信部から受け取り、チューナ部１０１にその音声ストリームを受信するように指示する。
【００３６】
音声切替リスト作成部１１３は、エリア情報取得部１０９からエリア情報を受け取り、エリア数算出部１１１から視聴中の競技エリアの数とその競技種目名を取得し、競技エリアに対応する音声ストリームのリストを作成する。そして、音声切替リスト表示制御部１１４にリストの表示要求を送出する。加えて、ユーザからリストの並び方の優先順位設定をリモコン１１６及びリモコンコード受信・解釈部１１５を通じて受け付け、設定に応じたリストの並び替えを行う。
【００３７】
＜任意視点映像表示処理＞次に、図３及び図４を参照して、実施形態１の任意視点映像表示処理及び音声切替処理について説明する。
【００３８】
図３において、デジタル放送受信装置１００は、まず、デジタル放送局から放送された標準映像と標準音声を不図示の表示部とスピーカ等に出力する（Ｓ１０１、Ｓ１０２）。
【００３９】
次に、リモコン１１６及びリモコンコード受信・解釈部１１５を通じて、ユーザから任意視点映像への変更指示があるかどうか判定する（Ｓ１０３）。
【００４０】
変更指示がある場合は、番組情報から任意視点映像のエリア情報を取得する（Ｓ１０４）。
【００４１】
次に、任意視点映像データと任意視点の視点情報から任意視点映像を生成する（Ｓ１０５）。なお、本実施形態では、任意視点映像データは、図２の座標に基づき任意視点映像を生成するためのデータである。また、任意視点の視点情報も、図２の座標空間上で計算される。
【００４２】
続いて、生成された任意視点映像を表示する（Ｓ１０６）。なお、ステップＳ１０５、Ｓ１０６では、デジタル放送受信装置で任意視点映像を生成しているが、他のサーバ等がユーザ等による視点情報を取得して生成した任意視点映像を、デジタル放送受信装置で受信し表示してもよい。すなわち、任意視点映像生成部１０８を外部に持っていてもよい。
【００４３】
次に、ユーザによって任意視点の視点位置が決定されたか判定する（Ｓ１０７）。
【００４４】
決定された場合、ユーザが観ている任意視点映像内の競技エリアの数を算出する（Ｓ１０８）。競技エリアの数は、視点の位置や視野角といった視点情報から算出される。詳細は後述する。
【００４５】
次に、上記算出の結果、競技エリア数が１つまたは複数（エリア数＞１）か判定する（Ｓ１０９）。
【００４６】
上記判定の結果、競技エリア数が１つの場合は、そのエリアに対応した音声ストリームを示す情報を取得し（Ｓ１１０）、その音声に切り替えて出力する（Ｓ１１１）。
【００４７】
一方、競技エリア数が複数存在する場合、音声切替リストを作成する（Ｓ１１２）。詳細については、図４で説明する。
【００４８】
次に、音声切替リストを表示し（Ｓ１１３）、ユーザが音声を切り替えるか決定する（Ｓ１１４）。
【００４９】
切り替える場合は音声切替リストの中から、ユーザに選択された音声に切り替えて、出力する（Ｓ１１５）。
【００５０】
次に、ユーザによって任意視点映像を終了する操作が行われたか判定する（Ｓ１１６）。終了する場合はＳ１０１へ移行し、終了しない場合は、ユーザによって任意視点の視点位置が変更されたか判定する（Ｓ１１７）。
【００５１】
視点が変更されていない場合は、Ｓ１１２に移行し、変更された場合は、Ｓ１０５へ移行する。
【００５２】
続いて、図４を参照して、音声切替リスト作成部１１３で実行される音声切替リストの作成処理について説明する。
【００５３】
図４において、音声切替リスト作成部１１３は、まず、視聴している任意視点映像内の競技エリアの数とその競技名を取得する（Ｓ２０１）。
【００５４】
次に、ユーザによって設定された音声切替リストの並び方の優先順位によって、リストの作成方法を変更する（Ｓ２０２）。
【００５５】
優先順位の設定が、現在の視点位置からの距離が短い競技エリアを優先してリストに並べる場合、視点位置と取得された競技名の各競技エリアまでの距離を算出する（Ｓ２０３）。
【００５６】
そして、距離の短い順番に各競技エリアに対応する音声ストリーム名を並べた音声切替リストを作成する（Ｓ２０４）。
【００５７】
一方、優先順位の設定が任意視点映像内に映っているエリア面積の割合が高い競技エリアを優先してリストに並べる場合、取得された競技名について競技エリア毎の全体の領域面積をそれぞれ算出する（Ｓ２０５）。
【００５８】
また、視聴している任意視点映像内に映っている面積をエリアごとに算出し（Ｓ２０６）、その面積を競技エリア毎に算出された全体の領域面積でそれぞれ除算することによって割合を算出する（Ｓ２０７）。
【００５９】
そして、割合が高い順番に各競技エリアに対応する音声ストリーム名を並べた音声切替リストを作成する（Ｓ２０８）。
【００６０】
次に、エリア数算出部１１１で算出される競技エリアの数の算出方法について説明する。
【００６１】
エリア数算出部１１１は、エリア情報取得部１０９から座標情報を取得する。その座標情報は、３次元座標空間（Ｘ軸、Ｙ軸、Ｚ軸）から構成される。また、視点制御部１１０からこの座標空間上で計算された視点の位置や視野角といった視点情報を取得する。そして、これらの情報から、ユーザが観ている任意視点映像の画角領域の座標を算出することができる。よって、その座標と競技エリアの座標とから、画角領域内に含まれる競技エリアを判別できるので、任意視点映像内に映っている競技エリアの数を求めることができる。
【００６２】
図５を参照して、画角領域の座標を求める方法について説明する。図５（Ａ）は、Ｘ軸とＺ軸の座標空間における任意視点の位置と視野角とを例示している。Ｘ１とＺ１はそれぞれＸ軸とＺ軸における視点の位置を示す。また、θＸは、ＸＺ平面におけるＺ軸から視野までの角度であり、φＸは視野角を示す。ＸαとＸβは、任意視点の画角領域のＸ座標である。それぞれ以下の式１，２によって座標を算出することができる。
Ｘα＝Ｘ１＋Ｚ１×ｔａｎθＸ…（１）
Ｘβ＝Ｘ１＋Ｚ１×ｔａｎ（θＸ＋φＸ）…（２）
同様に、図５（Ｂ）においても、Ｙ軸とＺ軸の座標空間において、画角領域のＹ座標であるＹαとＹβを以下の式３，４で算出することができる。
Ｙα＝Ｙ１＋Ｚ１×ｔａｎθＹ…（３）
Ｙβ＝Ｙ１＋Ｚ１×ｔａｎ（θＹ＋φＹ）…（４）
以上のように算出されたＸα、Ｘβ、Ｙα、Ｙβの各座標値から、図５（Ｃ）に示すようにそれぞれの座標の交わる部分で囲まれる領域が、ユーザが視聴している任意視点映像の画角領域になる。
【００６３】
図６及び図７は、実施形態１の音声切替処理の具体例として、ユーザが視聴している任意視点映像内に競技エリアが１つ又は複数存在した場合の音声が切り替わる様子を示している。図示のように、音声切替リストは、標準映像・任意視点映像と共に（重畳して）表示される。
【００６４】
図６では、競技エリアが１つであるため、ユーザが中距離走を視聴していると判断できる。よって、自動で中距離走の音声ストリームに切り替わり、出力される。
【００６５】
一方、図７では、任意視点映像内に競技エリアが３つ存在するので、音声切替リストを表示することで、ユーザに音声ストリームを選択させる。そして、選択された競技の音声に切り替わり、出力される。
【００６６】
図７（Ａ）は、音声切替リスト中の各競技名を任意視点の視点位置からの距離が近い順番に並べた例である。また、図７（Ｂ）は、競技エリアごとに算出された任意視点映像に映っているエリア面積の割合の高い順番に並べた例である。
【００６７】
以上説明した一連の処理によって、エリアごとに音声ストリームが割り当てられている場合に、ユーザの視点位置の変更に応じて適切な音声に容易に切り替えることができる。
【００６８】
なお、本発明は、実施形態１として説明したエリア情報の内容や取得方法、座標の計算方法に限定されるものではなく、また、音声切替リストの並び方の優先順位も視点からの距離やエリア面積に限定されるものではない。
【００６９】
また、上述した実施形態では、一定の広さを持つ競技エリアと音声とが対応づけられた構成となっているが、競技エリアに代えて音声を収録した地点（撮影ポイント）等にしてもよい。この場合、図３のＳ１１２（図４の音声切替リストの作成処理）において、「エリア面積優先」のリストは作成されない。
【００７０】
また、図３のＳ１０９において、視聴する映像の画角内に複数の競技エリア（音声収録地点）が存在する場合に、必ずしも音声切替リストを表示しなくてもよい。すなわち、リストを作成した際に最も優先順位が高いもの（距離優先だったら視点から近い音声、面積優先だったらエリアの広い音声）に自動的に切り替える構成としてもよい。
【００７１】
［実施形態２］次に、実施形態２について説明する。なお、以下では、実施形態１と重複する説明は省略する。
【００７２】
実施形態１では、任意視点の視点位置が決定してから音声を切り替えていたが、実施形態２では、視点を移動させている途中に音声を切り替えている。すなわち、実施形態２では、ユーザが任意視点の視点位置を移動させた場合に、一定の距離を移動するごとに任意視点映像内に映っている競技エリアの数を算出し、その競技エリア数に応じて音声を切り替える。
【００７３】
＜装置構成＞図８を参照して、実施形態２のデジタル放送受信装置の構成について説明する。
【００７４】
図８において、視点制御部２１０は、リモコン２１６及びリモコンコード受信・解釈部２１５を通じて、任意視点の位置の変更指示を受け取ると、エリア情報取得部２０９から取得した座標空間から変更先の視点情報を算出する。そして、その情報を任意視点映像生成部２０８に送出すると共に、視点移動距離算出部２１７へ変更前の視点情報と変更後の視点情報を送出する。また、視点移動距離算出部２１７から、視点の移動距離が所定の閾値を超えたことを通知された場合、音声を切り替るために視点情報をエリア数算出部１１１へ送出する。
【００７５】
視点移動距離算出部２１７は、視点制御部２１０から送出された視点の変更前と変更後の視点情報を用いて、視点の位置座標から移動距離を算出し、更にその移動距離を累積する。そして、移動距離の累積値が所定の閾値を超えた場合、視点制御部２１０に通知する。
【００７６】
＜任意視点映像表示処理＞次に、図９及び図１０を参照して、実施形態２の任意視点映像表示処理及び音声切替処理について説明する。なお、図９のＳ３０１〜Ｓ３０６、Ｓ３１４は、図１のＳ１０１〜Ｓ１０６、Ｓ１１６と同様であるため、説明を省略する。
【００７７】
図９において、Ｓ３０６で任意視点映像が表示された後、任意視点の視点位置がユーザによって移動されたか判定し（Ｓ３０７）、移動された場合は視点の移動距離を算出する（Ｓ３０８）。
【００７８】
そして、移動距離が所定の閾値を超えた場合、音声切替処理を行う（Ｓ３１０）。一方、移動距離が所定の閾値を超えていない場合は、移動距離を累積する（Ｓ３１１）。
【００７９】
次に、任意視点の移動が終了し、ユーザから視点位置を決定する指示を受け取った場合（Ｓ３１２）、Ｓ３１０と同様に音声の切替処理を行う（Ｓ３１３）。
【００８０】
次に、図９のＳ３１０、Ｓ３１３の音声切替処理について説明する。なお、図１０のＳ４０９以外の処理は、図３のＳ１０８〜Ｓ１１５と同様であるため、説明を省略する。
【００８１】
図１０において、Ｓ４０９では、音声を切り替えた後なので、Ｓ３０８で算出された視点の移動距離を”０”にリセットする。
【００８２】
以上のような一連の処理によって、ユーザが任意視点の視点位置を移動している途中であっても、容易に音声を切り替えることができる。
【００８３】
［実施形態３］次に、実施形態３について説明する。
【００８４】
実施形態３は、デジタル放送波で複数の視点位置で撮影された多視点映像を受信して表示し、多視点映像に対応する音声ストリームの数に応じて音声を切り替えるものである。
【００８５】
＜装置構成＞図１１を参照して、実施形態３のデジタル放送受信装置の構成について説明する。
【００８６】
図１１において、デジタル放送受信装置３００は、放送局から放送された標準映像と多視点映像を受信し、表示するブロックと、表示する多視点映像の変更に応じて音声を切り替えるブロック、とを備える。
【００８７】
ここで、標準映像と多視点映像を受信し、表示するブロックについて説明する。
【００８８】
デジタル放送受信装置３００は、デジタル放送局から放送された放送番組をチューナ部３０１で受信する。
【００８９】
リモコン３１３とリモコンコード受信・解釈部３１２は、ユーザからの入力操作を解釈し、チャンネル選局指示の場合はチューナ部３０１に選局指示を送出する。また、標準映像と多視点映像の切替指示も送出する。
【００９０】
チューナ部３０１は、設定された周波数情報に応じて、周波数のチューニングを行い、デジタル放送信号を受信して、その信号を復調部３０２に出力する。
【００９１】
復調部３０２は入力されたデジタル放送信号に対し、復調、誤り訂正等の処理を行い、トランスポートストリーム（ＴＳ）を形成し、ＴＳ処理部３０３に送出する。
【００９２】
ＴＳ処理部３０３は入力したＴＳから、標準映像、多視点映像、音声、番組情報等を分離させる。
【００９３】
分離された映像データのうち、標準映像と多視点映像に関しては、映像処理部３０５へ出力して映像復号化処理を行い、映像出力部３０７に送出される。また、音声データは音声処理部３０４へ出力し復号化処理を行って音声出力部３０６に送出される。
【００９４】
映像出力部３０７は、復号された映像データを表示解像度、表示色数、リフレッシュレートに適した表示データ、タイミングに変換して、映像表示を行う。
【００９５】
音声出力部３０６は、音声データの出力レベル（音量）等を変更する機能を有する。
【００９６】
次に、表示する多視点映像の変更に応じて音声を切り替えるブロックについて説明する。
【００９７】
リモコン３１３とリモコンコード受信・解釈部３１２は、複数の多視点映像から１つを選局するようにチューナ部３０１に指示を送出する。また、音声切替制御部３０９に音声の切替指示を送出する。
【００９８】
音声情報取得部３０８は、番組情報から選局されている多視点映像に対応する音声情報を取得し、音声ストリームの数を抽出する。
【００９９】
音声切替制御部３０９は、音声情報取得部３０８によって取得された音声ストリームの数に応じて音声の切り替えを行う。音声ストリームの数が１つの場合は、その音声ストリームを受信するようにチューナ部３０１に指示する。一方、音声ストリームの数が複数の場合は、音声切替リスト作成部３１０へ音声切替リストの作成要求を送出する。そして、音声切替リスト表示制御部３１１よりユーザによって選択された音声ストリームの情報を受け取り、チューナ部３０１にその音声ストリームを受信するように指示する。
【０１００】
音声切替リスト作成部３１０は、音声情報取得部３０８から音声ストリームの数とその音声名を取得し、音声ストリームのリストを作成する。そして、音声切替リスト表示制御部３１１にリストの表示要求を送出する。
【０１０１】
音声切替リスト表示制御部３１１は、音声切替リスト作成部３１０によって生成された音声切替リストを表示画面に表示するように制御し、ユーザからの音声選択指示を待つ。リモコン３１３及びリモコンコード受信・解釈部３１２から、ユーザの音声選択指示を受け取ると、選択された音声ストリームの情報を音声切替制御部３０９に送出する。
【０１０２】
＜多視点映像表示処理＞次に、図１２を参照して、実施形態３の多視点映像表示処理及び音声切替処理について説明する。
【０１０３】
図１２において、デジタル放送受信装置３００は、まず、デジタル放送局から放送された標準映像と標準音声を出力する（Ｓ５０１、Ｓ５０２）。
【０１０４】
次に、ユーザから多視点映像への変更指示があるか否かを判定する（Ｓ５０３）。
【０１０５】
変更指示がある場合は、多視点映像の１つの映像を選局する（Ｓ５０４）。
【０１０６】
続いて、選局された多視点映像を表示する（Ｓ５０５）。
【０１０７】
次に、選局された多視点映像に対応する音声ストリームの数を抽出する（Ｓ５０６）。
【０１０８】
次に抽出された音声ストリームの数が１つか、または複数（音声ストリーム数＞１？）かを判定する（Ｓ５０７）。
【０１０９】
音声ストリームの数が１つの場合は、その音声に切り替え、出力する（Ｓ５０８）。
【０１１０】
一方、抽出された音声ストリームの数が複数の場合、音声切替リストを作成する（Ｓ５０９）。
【０１１１】
次に、音声切替リストを表示し（Ｓ５１０）、ユーザが音声を切り替えるか決定する（Ｓ５１１）。
【０１１２】
切り替える場合は音声切替リストの中から、ユーザに選択された音声に切り替えて、出力する（Ｓ５１２）。
【０１１３】
次に、ユーザによって標準映像に戻る操作が行われたか否かを判定し（Ｓ５１３）、戻る場合はＳ５０１へ移行する。
【０１１４】
戻らない場合は、ユーザによって多視点映像が変更されたか否かを判定する（Ｓ５１４）。変更されていない場合は、Ｓ５１３に移行する。多視点映像が変更された場合は、Ｓ５０５へ移行する。
【０１１５】
以上のような一連の処理によって、多視点映像の選局操作に応じて適切な音声に容易に切り替えることができる。
【０１１６】
なお、上述した各実施形態では、本発明をデジタル放送受信装置に適用した例を説明したがこれに限定されるものではない。すなわち、ネットワークを介して映像コンテンツを取得する映像再生装置において、１つの映像コンテンツに対して複数の音声データが存在する場合に本発明を適用することで、本発明と同様の効果が得られる。また、１つの競技エリアに１つの音声データが関連付けられた例を説明したが、１つの競技エリアに複数の音声データを関連付けてもよい。この場合、任意視点映像内に含まれる競技エリアが１つであっても、音声切替リストが作成されることになる。
【０１１７】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、デジタル放送波などを受信再生する技術に関する。
【背景技術】
【０００２】
現在、複数のカメラで異なる視点位置から被写体を撮影した多数の映像（以下、多視点映像）を用いて任意の視点位置の映像を補間・再構成することで、本来撮影されていない視点での映像を生成する任意視点映像生成技術の研究が行われている。
【０００３】
また、その任意視点映像を実際に標準映像の放送番組などと連携してサービスすることも検討されており、特許文献１には標準映像の放送番組と任意視点映像とを切り替える技術が開示されている。特許文献１は、標準映像のカメラの位置などをメタデータとして送出することにより、ユーザが標準映像から任意視点映像に切り替えた際に、任意視点情報を生成し、その情報から任意視点映像を得るものである。
【０００４】
また、特許文献２には複数のカメラと複数のマイクによって被写体を複数の方向から記録した多視点映像及び多聴点音声から、ユーザが所望の映像と音声を選択して視聴できるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５０７４７号公報
【特許文献２】特開２００５−１５９５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した従来技術を用いることにより、ユーザが視点位置を自由に変更して、特定の競技や被写体の映像や音声を好きな画角から視聴することが可能になる。例えば、スポーツ中継を例に取ると、自分の好きな選手や競技を常に追跡して見ることができる。また、オリンピックのような１つの競技場で複数の競技が同時に進行するような場合でも、好きなタイミングで自由に競技エリアを切り替えて視聴することができる。
【０００７】
しかし、ユーザが任意に指定した場所や方向での任意視点映像を視聴する場合、映像の視点の切り替えに応じて音声を切り替える際に、複数の音声データが存在すると、どの音声を選択したらよいかわからないという問題がある。
【０００８】
本発明は、上記課題に鑑みてなされ、その目的は、視点を切り替えた映像に複数の音声が存在する場合に、映像の視点を変更した結果に応じて、適した音声に容易に切り替えることが可能な音声切替技術を実現することである。
【課題を解決するための手段】
【０００９】
上記課題を解決し、目的を達成するために、本発明の映像再生装置は、ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、複数の異なる視点位置から少なくとも１つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する任意視点映像取得手段と、ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作手段と、前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出手段と、前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、視聴している任意視点映像の内容に応じて音声の切替方法が変わるため、ユーザは容易に音声を切り替えることができる。また、視聴している映像とは無関係の音声に切り替ってしまうことを防ぐことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施形態１のデジタル放送受信装置の構成を例示する図。
【図２】実施形態１におけるエリア情報の具体例を示す図。
【図３】実施形態１の音声切替処理を含む任意視点映像表示処理を示すフローチャート。
【図４】実施形態１の音声切替リスト作成処理を示すフローチャート。
【図５】実施形態１の画角領域の座標算出処理を説明する図。
【図６】実施形態１の音声切替処理の具体例として、ユーザが視聴している任意視点映像内に競技エリアが１つであった場合の音声が切り替わる様子を示す図。
【図７】実施形態１の音声切替処理の具体例として、ユーザが視聴している任意視点映像内に競技エリアが複数存在した場合の音声が切り替わる様子を示す図。
【図８】本発明に係る実施形態２のデジタル放送受信装置の構成を例示する図。
【図９】実施形態２の音声切替処理を含む任意視点映像表示処理を示すフローチャート。
【図１０】実施形態２の音声切替処理を示すフローチャート。
【図１１】本発明に係る実施形態３のデジタル放送受信装置の構成を例示する図。
【図１２】実施形態３の音声切替処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１３】
［実施形態１］以下に、本発明の映像再生装置を実現する実施形態１のデジタル放送受信装置について説明する。
【００１４】
実施形態１では、標準映像の放送番組をデジタル放送波で受信すると共に、複数のカメラで被写体を異なる方向から撮影した任意視点映像データを受信する構成について説明する。なお、任意視点映像データの取得方法や取得経路は、本実施形態で説明する手法に限定されるものではなく、同様の情報が取得できれば他の方法や経路であってもよい。
【００１５】
＜デジタル放送受信装置の構成＞図１を参照して、実施形態１のデジタル放送受信装置の構成について説明する。
【００１６】
図１において、デジタル放送受信装置１００は、放送局から放送された標準映像を受信し、表示するブロックと、任意視点映像データを受信し、任意視点映像を生成して表示するブロックと、視点の変更に沿って音声を切り替えるブロック、とを備える。
【００１７】
ここで、標準映像を受信し表示するブロックについて説明する。
【００１８】
デジタル放送受信装置１００はデジタル放送局から放送された放送番組をチューナ部１０１で受信する。
【００１９】
リモコン１１６とリモコンコード受信・解釈部１１５は、ユーザからの入力操作を解釈し、チャンネル選局指示の場合はチューナ部１０１に選局指示を送出する。
【００２０】
チューナ部１０１は、設定された周波数情報に応じて、周波数のチューニングを行い、デジタル放送信号を受信し、その信号を復調部１０２に出力する。
【００２１】
復調部１０２は入力されたデジタル放送信号に対し、復調、誤り訂正等の処理を行い、トランスポートストリーム（ＴＳ）を形成する。そして、そのＴＳはＴＳ処理部１０３に入力される。
【００２２】
ＴＳ処理部１０３は入力されたＴＳから、映像、音声、番組情報等を分離させる。分離された映像データの内、標準映像に関しては、標準映像処理部１０６へ出力して映像復号化処理を行い、映像出力部１０７に送出される。また、音声データは音声処理部１０４へ出力し復号化処理を行って音声出力部１０５に送出される。
【００２３】
映像出力部１０７は、復号された映像データを表示部（不図示）に適した表示解像度、表示色数、リフレッシュレート、表示タイミングに変換して、不図示の表示部（モニタ等）へ出力する。
【００２４】
音声出力部１０５は、音声データの出力レベル（音量）等を変更する機能を有し、スピーカ等へ音声データを出力する。
【００２５】
次に、任意視点映像データを受信し、任意視点映像を生成して表示するブロックについて説明する。
【００２６】
ＴＳ処理部１０３は、リモコン１１６及びリモコンコード受信・解釈部１１５からユーザの任意視点映像表示の指示を受け取ると、分離された映像データから、任意視点映像データを任意視点映像生成部１０８に送出する。
【００２７】
任意視点映像生成部１０８は、視点制御部１１０から視点の位置や視野角といった視点情報を取得し、その視点情報と任意視点映像データから任意視点映像を生成する。そして、その映像を映像出力部１０７に送出する。
【００２８】
視点制御部１１０は、リモコン１１６及びリモコンコード受信・解釈部１１５から標準映像から任意視点への変更指示や任意視点位置の変更指示を受け取ると、エリア情報取得部１０９から取得した座標空間を用いて変更先の視点情報を算出して任意視点映像生成部１０８に送出する。
【００２９】
映像出力部１０７は、任意視点映像生成部１０８から送出された任意視点映像を不図示の表示部に表示するように出力する。
【００３０】
次に、視点の変更に沿って音声を切り替えるブロックについて説明する。
【００３１】
ＴＳ処理部１０３は、リモコン１１６及びリモコンコード受信・解釈部１１５からユーザの任意視点映像表示の指示を受け取ると、番組情報をエリア情報取得部１０９に送出する。
【００３２】
視点制御部１１０は、リモコン１１６及びリモコンコード受信・解釈部１１５を通じて、任意視点映像の視点の位置を決定する指示を受け取ると、視点情報をエリア数算出部１１１へ送出する。
【００３３】
エリア情報取得部１０９は、取得した番組情報から任意視点映像に映し出される範囲内におけるエリア情報を取得する。本実施形態では、エリア情報として、図２に示すような座標情報を取得するものとして説明する。図２は、競技場を真上から見た図（Ｚ軸方向からＸＹ平面を見た図）であり、原点（Ｘ座標、Ｙ座標、Ｚ座標＝０、０、０）を中心に座標空間を示している。また、この例では３つの競技エリア（撮影エリア）の座標、及び各エリアの競技種目名と対応した音声ストリームを示す情報も含まれている。
【００３４】
エリア数算出部１１１は、視点制御部１１０から視点情報を、エリア情報取得部１０９からエリア情報を受け取り、ユーザが視聴している任意視点映像内に映っている競技エリアの数を算出する。
【００３５】
音声切替制御部１１２は、エリア数算出部１１１から受け取った競技エリアの数に応じて音声の切り替えを行う。競技エリアの数が１つの場合は、エリア情報取得部１０９からエリア情報を受け取り、そのエリアに対応する音声ストリームを受信するようにチューナ部１０１に指示する。一方、エリア数が複数の場合は、音声切替リスト作成部１１３へ音声切替リストの作成要求を送出する。そして、音声切替リスト表示制御部１１４は音声切替リスト作成部１１３が作成したリストをユーザが選択可能に表示画面に表示するように制御する。音声切替制御部１１２は、表示されたリストを用いてユーザによって選択された音声ストリームの情報をリモコンコード受信部から受け取り、チューナ部１０１にその音声ストリームを受信するように指示する。
【００３６】
音声切替リスト作成部１１３は、エリア情報取得部１０９からエリア情報を受け取り、エリア数算出部１１１から視聴中の競技エリアの数とその競技種目名を取得し、競技エリアに対応する音声ストリームのリストを作成する。そして、音声切替リスト表示制御部１１４にリストの表示要求を送出する。加えて、ユーザからリストの並び方の優先順位設定をリモコン１１６及びリモコンコード受信・解釈部１１５を通じて受け付け、設定に応じたリストの並び替えを行う。
【００３７】
＜任意視点映像表示処理＞次に、図３及び図４を参照して、実施形態１の任意視点映像表示処理及び音声切替処理について説明する。
【００３８】
図３において、デジタル放送受信装置１００は、まず、デジタル放送局から放送された標準映像と標準音声を不図示の表示部とスピーカ等に出力する（Ｓ１０１、Ｓ１０２）。
【００３９】
次に、リモコン１１６及びリモコンコード受信・解釈部１１５を通じて、ユーザから任意視点映像への変更指示があるかどうか判定する（Ｓ１０３）。
【００４０】
変更指示がある場合は、番組情報から任意視点映像のエリア情報を取得する（Ｓ１０４）。
【００４１】
次に、任意視点映像データと任意視点の視点情報から任意視点映像を生成する（Ｓ１０５）。なお、本実施形態では、任意視点映像データは、図２の座標に基づき任意視点映像を生成するためのデータである。また、任意視点の視点情報も、図２の座標空間上で計算される。
【００４２】
続いて、生成された任意視点映像を表示する（Ｓ１０６）。なお、ステップＳ１０５、Ｓ１０６では、デジタル放送受信装置で任意視点映像を生成しているが、他のサーバ等がユーザ等による視点情報を取得して生成した任意視点映像を、デジタル放送受信装置で受信し表示してもよい。すなわち、任意視点映像生成部１０８を外部に持っていてもよい。
【００４３】
次に、ユーザによって任意視点の視点位置が決定されたか判定する（Ｓ１０７）。
【００４４】
決定された場合、ユーザが観ている任意視点映像内の競技エリアの数を算出する（Ｓ１０８）。競技エリアの数は、視点の位置や視野角といった視点情報から算出される。詳細は後述する。
【００４５】
次に、上記算出の結果、競技エリア数が１つまたは複数（エリア数＞１）か判定する（Ｓ１０９）。
【００４６】
上記判定の結果、競技エリア数が１つの場合は、そのエリアに対応した音声ストリームを示す情報を取得し（Ｓ１１０）、その音声に切り替えて出力する（Ｓ１１１）。
【００４７】
一方、競技エリア数が複数存在する場合、音声切替リストを作成する（Ｓ１１２）。詳細については、図４で説明する。
【００４８】
次に、音声切替リストを表示し（Ｓ１１３）、ユーザが音声を切り替えるか決定する（Ｓ１１４）。
【００４９】
切り替える場合は音声切替リストの中から、ユーザに選択された音声に切り替えて、出力する（Ｓ１１５）。
【００５０】
次に、ユーザによって任意視点映像を終了する操作が行われたか判定する（Ｓ１１６）。終了する場合はＳ１０１へ移行し、終了しない場合は、ユーザによって任意視点の視点位置が変更されたか判定する（Ｓ１１７）。
【００５１】
視点が変更されていない場合は、Ｓ１１２に移行し、変更された場合は、Ｓ１０５へ移行する。
【００５２】
続いて、図４を参照して、音声切替リスト作成部１１３で実行される音声切替リストの作成処理について説明する。
【００５３】
図４において、音声切替リスト作成部１１３は、まず、視聴している任意視点映像内の競技エリアの数とその競技名を取得する（Ｓ２０１）。
【００５４】
次に、ユーザによって設定された音声切替リストの並び方の優先順位によって、リストの作成方法を変更する（Ｓ２０２）。
【００５５】
優先順位の設定が、現在の視点位置からの距離が短い競技エリアを優先してリストに並べる場合、視点位置と取得された競技名の各競技エリアまでの距離を算出する（Ｓ２０３）。
【００５６】
そして、距離の短い順番に各競技エリアに対応する音声ストリーム名を並べた音声切替リストを作成する（Ｓ２０４）。
【００５７】
一方、優先順位の設定が任意視点映像内に映っているエリア面積の割合が高い競技エリアを優先してリストに並べる場合、取得された競技名について競技エリア毎の全体の領域面積をそれぞれ算出する（Ｓ２０５）。
【００５８】
また、視聴している任意視点映像内に映っている面積をエリアごとに算出し（Ｓ２０６）、その面積を競技エリア毎に算出された全体の領域面積でそれぞれ除算することによって割合を算出する（Ｓ２０７）。
【００５９】
そして、割合が高い順番に各競技エリアに対応する音声ストリーム名を並べた音声切替リストを作成する（Ｓ２０８）。
【００６０】
次に、エリア数算出部１１１で算出される競技エリアの数の算出方法について説明する。
【００６１】
エリア数算出部１１１は、エリア情報取得部１０９から座標情報を取得する。その座標情報は、３次元座標空間（Ｘ軸、Ｙ軸、Ｚ軸）から構成される。また、視点制御部１１０からこの座標空間上で計算された視点の位置や視野角といった視点情報を取得する。そして、これらの情報から、ユーザが観ている任意視点映像の画角領域の座標を算出することができる。よって、その座標と競技エリアの座標とから、画角領域内に含まれる競技エリアを判別できるので、任意視点映像内に映っている競技エリアの数を求めることができる。
【００６２】
図５を参照して、画角領域の座標を求める方法について説明する。図５（Ａ）は、Ｘ軸とＺ軸の座標空間における任意視点の位置と視野角とを例示している。Ｘ１とＺ１はそれぞれＸ軸とＺ軸における視点の位置を示す。また、θＸは、ＸＺ平面におけるＺ軸から視野までの角度であり、φＸは視野角を示す。ＸαとＸβは、任意視点の画角領域のＸ座標である。それぞれ以下の式１，２によって座標を算出することができる。
Ｘα＝Ｘ１＋Ｚ１×ｔａｎθＸ…（１）
Ｘβ＝Ｘ１＋Ｚ１×ｔａｎ（θＸ＋φＸ）…（２）
同様に、図５（Ｂ）においても、Ｙ軸とＺ軸の座標空間において、画角領域のＹ座標であるＹαとＹβを以下の式３，４で算出することができる。
Ｙα＝Ｙ１＋Ｚ１×ｔａｎθＹ…（３）
Ｙβ＝Ｙ１＋Ｚ１×ｔａｎ（θＹ＋φＹ）…（４）
以上のように算出されたＸα、Ｘβ、Ｙα、Ｙβの各座標値から、図５（Ｃ）に示すようにそれぞれの座標の交わる部分で囲まれる領域が、ユーザが視聴している任意視点映像の画角領域になる。
【００６３】
図６及び図７は、実施形態１の音声切替処理の具体例として、ユーザが視聴している任意視点映像内に競技エリアが１つ又は複数存在した場合の音声が切り替わる様子を示している。図示のように、音声切替リストは、標準映像・任意視点映像と共に（重畳して）表示される。
【００６４】
図６では、競技エリアが１つであるため、ユーザが中距離走を視聴していると判断できる。よって、自動で中距離走の音声ストリームに切り替わり、出力される。
【００６５】
一方、図７では、任意視点映像内に競技エリアが３つ存在するので、音声切替リストを表示することで、ユーザに音声ストリームを選択させる。そして、選択された競技の音声に切り替わり、出力される。
【００６６】
図７（Ａ）は、音声切替リスト中の各競技名を任意視点の視点位置からの距離が近い順番に並べた例である。また、図７（Ｂ）は、競技エリアごとに算出された任意視点映像に映っているエリア面積の割合の高い順番に並べた例である。
【００６７】
以上説明した一連の処理によって、エリアごとに音声ストリームが割り当てられている場合に、ユーザの視点位置の変更に応じて適切な音声に容易に切り替えることができる。
【００６８】
なお、本発明は、実施形態１として説明したエリア情報の内容や取得方法、座標の計算方法に限定されるものではなく、また、音声切替リストの並び方の優先順位も視点からの距離やエリア面積に限定されるものではない。
【００６９】
また、上述した実施形態では、一定の広さを持つ競技エリアと音声とが対応づけられた構成となっているが、競技エリアに代えて音声を収録した地点（撮影ポイント）等にしてもよい。この場合、図３のＳ１１２（図４の音声切替リストの作成処理）において、「エリア面積優先」のリストは作成されない。
【００７０】
また、図３のＳ１０９において、視聴する映像の画角内に複数の競技エリア（音声収録地点）が存在する場合に、必ずしも音声切替リストを表示しなくてもよい。すなわち、リストを作成した際に最も優先順位が高いもの（距離優先だったら視点から近い音声、面積優先だったらエリアの広い音声）に自動的に切り替える構成としてもよい。
【００７１】
［実施形態２］次に、実施形態２について説明する。なお、以下では、実施形態１と重複する説明は省略する。
【００７２】
実施形態１では、任意視点の視点位置が決定してから音声を切り替えていたが、実施形態２では、視点を移動させている途中に音声を切り替えている。すなわち、実施形態２では、ユーザが任意視点の視点位置を移動させた場合に、一定の距離を移動するごとに任意視点映像内に映っている競技エリアの数を算出し、その競技エリア数に応じて音声を切り替える。
【００７３】
＜装置構成＞図８を参照して、実施形態２のデジタル放送受信装置の構成について説明する。
【００７４】
図８において、視点制御部２１０は、リモコン２１６及びリモコンコード受信・解釈部２１５を通じて、任意視点の位置の変更指示を受け取ると、エリア情報取得部２０９から取得した座標空間から変更先の視点情報を算出する。そして、その情報を任意視点映像生成部２０８に送出すると共に、視点移動距離算出部２１７へ変更前の視点情報と変更後の視点情報を送出する。また、視点移動距離算出部２１７から、視点の移動距離が所定の閾値を超えたことを通知された場合、音声を切り替るために視点情報をエリア数算出部１１１へ送出する。
【００７５】
視点移動距離算出部２１７は、視点制御部２１０から送出された視点の変更前と変更後の視点情報を用いて、視点の位置座標から移動距離を算出し、更にその移動距離を累積する。そして、移動距離の累積値が所定の閾値を超えた場合、視点制御部２１０に通知する。
【００７６】
＜任意視点映像表示処理＞次に、図９及び図１０を参照して、実施形態２の任意視点映像表示処理及び音声切替処理について説明する。なお、図９のＳ３０１〜Ｓ３０６、Ｓ３１４は、図１のＳ１０１〜Ｓ１０６、Ｓ１１６と同様であるため、説明を省略する。
【００７７】
図９において、Ｓ３０６で任意視点映像が表示された後、任意視点の視点位置がユーザによって移動されたか判定し（Ｓ３０７）、移動された場合は視点の移動距離を算出する（Ｓ３０８）。
【００７８】
そして、移動距離が所定の閾値を超えた場合、音声切替処理を行う（Ｓ３１０）。一方、移動距離が所定の閾値を超えていない場合は、移動距離を累積する（Ｓ３１１）。
【００７９】
次に、任意視点の移動が終了し、ユーザから視点位置を決定する指示を受け取った場合（Ｓ３１２）、Ｓ３１０と同様に音声の切替処理を行う（Ｓ３１３）。
【００８０】
次に、図９のＳ３１０、Ｓ３１３の音声切替処理について説明する。なお、図１０のＳ４０９以外の処理は、図３のＳ１０８〜Ｓ１１５と同様であるため、説明を省略する。
【００８１】
図１０において、Ｓ４０９では、音声を切り替えた後なので、Ｓ３０８で算出された視点の移動距離を”０”にリセットする。
【００８２】
以上のような一連の処理によって、ユーザが任意視点の視点位置を移動している途中であっても、容易に音声を切り替えることができる。
【００８３】
［実施形態３］次に、実施形態３について説明する。
【００８４】
実施形態３は、デジタル放送波で複数の視点位置で撮影された多視点映像を受信して表示し、多視点映像に対応する音声ストリームの数に応じて音声を切り替えるものである。
【００８５】
＜装置構成＞図１１を参照して、実施形態３のデジタル放送受信装置の構成について説明する。
【００８６】
図１１において、デジタル放送受信装置３００は、放送局から放送された標準映像と多視点映像を受信し、表示するブロックと、表示する多視点映像の変更に応じて音声を切り替えるブロック、とを備える。
【００８７】
ここで、標準映像と多視点映像を受信し、表示するブロックについて説明する。
【００８８】
デジタル放送受信装置３００は、デジタル放送局から放送された放送番組をチューナ部３０１で受信する。
【００８９】
リモコン３１３とリモコンコード受信・解釈部３１２は、ユーザからの入力操作を解釈し、チャンネル選局指示の場合はチューナ部３０１に選局指示を送出する。また、標準映像と多視点映像の切替指示も送出する。
【００９０】
チューナ部３０１は、設定された周波数情報に応じて、周波数のチューニングを行い、デジタル放送信号を受信して、その信号を復調部３０２に出力する。
【００９１】
復調部３０２は入力されたデジタル放送信号に対し、復調、誤り訂正等の処理を行い、トランスポートストリーム（ＴＳ）を形成し、ＴＳ処理部３０３に送出する。
【００９２】
ＴＳ処理部３０３は入力したＴＳから、標準映像、多視点映像、音声、番組情報等を分離させる。
【００９３】
分離された映像データのうち、標準映像と多視点映像に関しては、映像処理部３０５へ出力して映像復号化処理を行い、映像出力部３０７に送出される。また、音声データは音声処理部３０４へ出力し復号化処理を行って音声出力部３０６に送出される。
【００９４】
映像出力部３０７は、復号された映像データを表示解像度、表示色数、リフレッシュレートに適した表示データ、タイミングに変換して、映像表示を行う。
【００９５】
音声出力部３０６は、音声データの出力レベル（音量）等を変更する機能を有する。
【００９６】
次に、表示する多視点映像の変更に応じて音声を切り替えるブロックについて説明する。
【００９７】
リモコン３１３とリモコンコード受信・解釈部３１２は、複数の多視点映像から１つを選局するようにチューナ部３０１に指示を送出する。また、音声切替制御部３０９に音声の切替指示を送出する。
【００９８】
音声情報取得部３０８は、番組情報から選局されている多視点映像に対応する音声情報を取得し、音声ストリームの数を抽出する。
【００９９】
音声切替制御部３０９は、音声情報取得部３０８によって取得された音声ストリームの数に応じて音声の切り替えを行う。音声ストリームの数が１つの場合は、その音声ストリームを受信するようにチューナ部３０１に指示する。一方、音声ストリームの数が複数の場合は、音声切替リスト作成部３１０へ音声切替リストの作成要求を送出する。そして、音声切替リスト表示制御部３１１よりユーザによって選択された音声ストリームの情報を受け取り、チューナ部３０１にその音声ストリームを受信するように指示する。
【０１００】
音声切替リスト作成部３１０は、音声情報取得部３０８から音声ストリームの数とその音声名を取得し、音声ストリームのリストを作成する。そして、音声切替リスト表示制御部３１１にリストの表示要求を送出する。
【０１０１】
音声切替リスト表示制御部３１１は、音声切替リスト作成部３１０によって生成された音声切替リストを表示画面に表示するように制御し、ユーザからの音声選択指示を待つ。リモコン３１３及びリモコンコード受信・解釈部３１２から、ユーザの音声選択指示を受け取ると、選択された音声ストリームの情報を音声切替制御部３０９に送出する。
【０１０２】
＜多視点映像表示処理＞次に、図１２を参照して、実施形態３の多視点映像表示処理及び音声切替処理について説明する。
【０１０３】
図１２において、デジタル放送受信装置３００は、まず、デジタル放送局から放送された標準映像と標準音声を出力する（Ｓ５０１、Ｓ５０２）。
【０１０４】
次に、ユーザから多視点映像への変更指示があるか否かを判定する（Ｓ５０３）。
【０１０５】
変更指示がある場合は、多視点映像の１つの映像を選局する（Ｓ５０４）。
【０１０６】
続いて、選局された多視点映像を表示する（Ｓ５０５）。
【０１０７】
次に、選局された多視点映像に対応する音声ストリームの数を抽出する（Ｓ５０６）。
【０１０８】
次に抽出された音声ストリームの数が１つか、または複数（音声ストリーム数＞１？）かを判定する（Ｓ５０７）。
【０１０９】
音声ストリームの数が１つの場合は、その音声に切り替え、出力する（Ｓ５０８）。
【０１１０】
一方、抽出された音声ストリームの数が複数の場合、音声切替リストを作成する（Ｓ５０９）。
【０１１１】
次に、音声切替リストを表示し（Ｓ５１０）、ユーザが音声を切り替えるか決定する（Ｓ５１１）。
【０１１２】
切り替える場合は音声切替リストの中から、ユーザに選択された音声に切り替えて、出力する（Ｓ５１２）。
【０１１３】
次に、ユーザによって標準映像に戻る操作が行われたか否かを判定し（Ｓ５１３）、戻る場合はＳ５０１へ移行する。
【０１１４】
戻らない場合は、ユーザによって多視点映像が変更されたか否かを判定する（Ｓ５１４）。変更されていない場合は、Ｓ５１３に移行する。多視点映像が変更された場合は、Ｓ５０５へ移行する。
【０１１５】
以上のような一連の処理によって、多視点映像の選局操作に応じて適切な音声に容易に切り替えることができる。
【０１１６】
なお、上述した各実施形態では、本発明をデジタル放送受信装置に適用した例を説明したがこれに限定されるものではない。すなわち、ネットワークを介して映像コンテンツを取得する映像再生装置において、１つの映像コンテンツに対して複数の音声データが存在する場合に本発明を適用することで、本発明と同様の効果が得られる。また、１つの競技エリアに１つの音声データが関連付けられた例を説明したが、１つの競技エリアに複数の音声データを関連付けてもよい。この場合、任意視点映像内に含まれる競技エリアが１つであっても、音声切替リストが作成されることになる。
【０１１７】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、
異なる視点位置から少なくとも１つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する取得手段と、
ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作手段と、
前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出手段と、
前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有することを特徴とする映像再生装置。
【請求項２】
前記音声切替手段は、前記算出手段により算出された撮影エリアの数が１つの場合は、当該撮影エリアに割り当てられた音声データに自動で切り替えることを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記算出手段は、前記操作手段により変更された前記撮影エリアの視点位置における画角によって決まる映像内の撮影エリアの数を算出することを特徴とする請求項１に記載の映像再生装置。
【請求項４】
前記優先順位は、前記視点位置からの距離が近いまたは撮影エリアの面積が大きい順に決定されることを特徴とする請求項１に記載の映像再生装置。
【請求項５】
前記優先順位に応じて、撮影エリアごとの複数の音声データを並べた音声切替リストを選択可能に表示する表示手段を更に有することを特徴とする請求項４に記載の映像再生装置。
【請求項６】
前記操作手段を介してユーザにより指示された視点位置が移動しているか判定する判定手段を更に有し、
前記表示手段は、視点位置が所定の距離だけ移動するごとに前記算出手段により算出される任意視点映像内に存在する撮影エリアの数に応じて音声切替リストを作成し、表示することを特徴とする請求項１に記載の映像再生装置。
【請求項７】
前記任意視点映像から多視点映像に変更する変更手段を更に有し、
前記算出手段は、前記多視点映像に対応する音声データの数を算出し、
前記表示手段は、前記多視点映像に対応する音声データの数に応じて音声切替リストを作成し、表示することを特徴とする請求項１に記載の映像再生装置。
【請求項８】
ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、
異なる視点位置から少なくとも１つの撮影ポイントを撮影した任意視点映像データと、当該撮影ポイントごとに割り当てられた音声データとを取得する取得手段と、
ユーザによる前記撮影ポイントの視点位置の変更指示を受け付ける操作手段と、
前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影ポイントの数を算出する算出手段と、
前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影ポイントごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有することを特徴とする映像再生装置。
【請求項９】
前記音声切替手段は、前記算出手段により算出された撮影ポイントの数が１つの場合は、当該撮影ポイントに割り当てられた音声データに自動で切り替えることを特徴とする請求項８に記載の映像再生装置。
【請求項１０】
前記算出手段は、前記操作手段により変更された前記撮影ポイントの視点位置における画角によって決まる映像内の撮影ポイントの数を算出することを特徴とする請求項８に記載の映像再生装置。
【請求項１１】
前記優先順位は、前記視点位置からの距離が近い順に決定されることを特徴とする請求項８に記載の映像再生装置。
【請求項１２】
前記優先順位に応じて、撮影ポイントごとの複数の音声データを並べた音声切替リストを選択可能に表示する表示手段を更に有することを特徴とする請求項１１に記載の映像再生装置。
【請求項１３】
前記操作手段を介してユーザにより指示された視点位置が移動しているか判定する判定手段を更に有し、
前記表示手段は、視点位置が所定の距離だけ移動するごとに前記算出手段により算出される任意視点映像内に存在する撮影ポイントの数に応じて音声切替リストを作成し、表示することを特徴とする請求項８に記載の映像再生装置。
【請求項１４】
前記任意視点映像から多視点映像に変更する変更手段を更に有し、
前記算出手段は、前記多視点映像に対応する音声データの数を算出し、
前記表示手段は、前記多視点映像に対応する音声データの数に応じて音声切替リストを作成し、表示することを特徴とする請求項８に記載の映像再生装置。
【請求項１５】
ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置の制御方法であって、
異なる視点位置から少なくとも１つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する取得工程と、
ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作工程と、
前記操作工程により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出工程と、
前記算出工程による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替工程と、を有することを特徴とする映像再生装置の制御方法。
【請求項１６】
ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置の制御方法であって、
異なる視点位置から少なくとも１つの撮影ポイントを撮影した任意視点映像データと、当該撮影ポイントごとに割り当てられた音声データとを取得する取得工程と、
ユーザによる前記撮影ポイントの視点位置の変更指示を受け付ける操作工程と、
前記操作工程により変更された視点位置から撮影された任意視点映像内に存在する撮影ポイントの数を算出する算出工程と、
前記算出工程による算出の結果、任意視点映像内に存在する複数の撮影ポイントごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替工程と、を有することを特徴とする映像再生装置の制御方法。
【請求項１７】
コンピュータを、請求項１乃至１４のいずれか１項に記載の映像再生装置の各手段として機能させるためのプログラム。
【請求項１８】
コンピュータを、請求項１乃至１４のいずれか１項に記載の映像再生装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【請求項１】
ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、
異なる視点位置から少なくとも１つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する取得手段と、
ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作手段と、
前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出手段と、
前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有することを特徴とする映像再生装置。
【請求項２】
前記音声切替手段は、前記算出手段により算出された撮影エリアの数が１つの場合は、当該撮影エリアに割り当てられた音声データに自動で切り替えることを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記算出手段は、前記操作手段により変更された前記撮影エリアの視点位置における画角によって決まる映像内の撮影エリアの数を算出することを特徴とする請求項１に記載の映像再生装置。
【請求項４】
前記優先順位は、前記視点位置からの距離が近いまたは撮影エリアの面積が大きい順に決定されることを特徴とする請求項１に記載の映像再生装置。
【請求項５】
前記優先順位に応じて、撮影エリアごとの複数の音声データを並べた音声切替リストを選択可能に表示する表示手段を更に有することを特徴とする請求項４に記載の映像再生装置。
【請求項６】
前記操作手段を介してユーザにより指示された視点位置が移動しているか判定する判定手段を更に有し、
前記表示手段は、視点位置が所定の距離だけ移動するごとに前記算出手段により算出される任意視点映像内に存在する撮影エリアの数に応じて音声切替リストを作成し、表示することを特徴とする請求項１に記載の映像再生装置。
【請求項７】
前記任意視点映像から多視点映像に変更する変更手段を更に有し、
前記算出手段は、前記多視点映像に対応する音声データの数を算出し、
前記表示手段は、前記多視点映像に対応する音声データの数に応じて音声切替リストを作成し、表示することを特徴とする請求項１に記載の映像再生装置。
【請求項８】
ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、
異なる視点位置から少なくとも１つの撮影ポイントを撮影した任意視点映像データと、当該撮影ポイントごとに割り当てられた音声データとを取得する取得手段と、
ユーザによる前記撮影ポイントの視点位置の変更指示を受け付ける操作手段と、
前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影ポイントの数を算出する算出手段と、
前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影ポイントごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有することを特徴とする映像再生装置。
【請求項９】
前記音声切替手段は、前記算出手段により算出された撮影ポイントの数が１つの場合は、当該撮影ポイントに割り当てられた音声データに自動で切り替えることを特徴とする請求項８に記載の映像再生装置。
【請求項１０】
前記算出手段は、前記操作手段により変更された前記撮影ポイントの視点位置における画角によって決まる映像内の撮影ポイントの数を算出することを特徴とする請求項８に記載の映像再生装置。
【請求項１１】
前記優先順位は、前記視点位置からの距離が近い順に決定されることを特徴とする請求項８に記載の映像再生装置。
【請求項１２】
前記優先順位に応じて、撮影ポイントごとの複数の音声データを並べた音声切替リストを選択可能に表示する表示手段を更に有することを特徴とする請求項１１に記載の映像再生装置。
【請求項１３】
前記操作手段を介してユーザにより指示された視点位置が移動しているか判定する判定手段を更に有し、
前記表示手段は、視点位置が所定の距離だけ移動するごとに前記算出手段により算出される任意視点映像内に存在する撮影ポイントの数に応じて音声切替リストを作成し、表示することを特徴とする請求項８に記載の映像再生装置。
【請求項１４】
前記任意視点映像から多視点映像に変更する変更手段を更に有し、
前記算出手段は、前記多視点映像に対応する音声データの数を算出し、
前記表示手段は、前記多視点映像に対応する音声データの数に応じて音声切替リストを作成し、表示することを特徴とする請求項８に記載の映像再生装置。
【請求項１５】
ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置の制御方法であって、
異なる視点位置から少なくとも１つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する取得工程と、
ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作工程と、
前記操作工程により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出工程と、
前記算出工程による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替工程と、を有することを特徴とする映像再生装置の制御方法。
【請求項１６】
ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置の制御方法であって、
異なる視点位置から少なくとも１つの撮影ポイントを撮影した任意視点映像データと、当該撮影ポイントごとに割り当てられた音声データとを取得する取得工程と、
ユーザによる前記撮影ポイントの視点位置の変更指示を受け付ける操作工程と、
前記操作工程により変更された視点位置から撮影された任意視点映像内に存在する撮影ポイントの数を算出する算出工程と、
前記算出工程による算出の結果、任意視点映像内に存在する複数の撮影ポイントごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替工程と、を有することを特徴とする映像再生装置の制御方法。
【請求項１７】
コンピュータを、請求項１乃至１４のいずれか１項に記載の映像再生装置の各手段として機能させるためのプログラム。
【請求項１８】
コンピュータを、請求項１乃至１４のいずれか１項に記載の映像再生装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【図１】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図５】
【図６】
【図７】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１５１６８８（Ｐ２０１２−１５１６８８Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−９１９６（Ｐ２０１１−９１９６）
【出願日】平成２３年１月１９日（２０１１．１．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１９日（２０１１．１．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]