任意視点映像処理装置及びその制御方法、及びプログラム
【課題】複数の視点における映像から所望の視点における任意視点映像を生成する場合に、所望の視点の設定を容易にする。
【解決手段】生成する任意視点映像の視点を決定する場合に、視点位置及び当該視点位置における視線方向の少なくともいずれかを変更する第１の変更方法と、予め定められた視点を切り替え順に従って選択する第２の変更方法を備える。生成されている任意視点映像視点が第１の変更方法で変更された視点である場合、第２の変更方法で切り替え順の前または次の視点に切り替える指示入力を受けた際に、次のように処理する。前の視点への指示入力を受けた場合は、第１の変更方法で変更される直前に第２の変更方法で選択された視点に切り替える。また次の視点への指示入力を受けた場合は、視点の切り替え順において、第１の変更方法で変更される直前に第２の変更方法で選択された視点の次の視点に切り替える。
【解決手段】生成する任意視点映像の視点を決定する場合に、視点位置及び当該視点位置における視線方向の少なくともいずれかを変更する第１の変更方法と、予め定められた視点を切り替え順に従って選択する第２の変更方法を備える。生成されている任意視点映像視点が第１の変更方法で変更された視点である場合、第２の変更方法で切り替え順の前または次の視点に切り替える指示入力を受けた際に、次のように処理する。前の視点への指示入力を受けた場合は、第１の変更方法で変更される直前に第２の変更方法で選択された視点に切り替える。また次の視点への指示入力を受けた場合は、視点の切り替え順において、第１の変更方法で変更される直前に第２の変更方法で選択された視点の次の視点に切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点における映像から、任意の視点における任意視点映像を生成する技術に関する。
【背景技術】
【０００２】
近年のデジタル放送の開始に伴い、様々な次世代放送システムの研究及び開発がなされている。次世代放送システムの中には、複数の視点における映像から、任意視点映像あるいは自由視点映像と呼ばれる、任意の視点における映像を生成する技術がある。任意視点映像を生成する技術では、例えばサッカー中継等の映像コンテンツにおいて、実際に観客席やフィールドにいるような映像を生成することができる。
【０００３】
特許文献１には、上述したような任意視点映像を生成可能な映像コンテンツを提供する場合に、任意視点映像を生成不可能な視点の情報を予め定めておくことにより、視聴者が視聴可能な任意視点映像を制御する方法について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９５０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したように視聴者が設定した視点における任意視点映像を生成可能な映像コンテンツの場合、視聴者は例えばリモートコントローラの方向キーを操作することで生成したい任意視点映像の視点を設定する必要がある。視点の情報は少なくとも視点位置及び当該視点位置における視線方向により定義されるため、このような所望の視点を設定するためには、視聴者は各パラメータを設定するために煩雑な操作を強いられる必要がある。またさらに、所望の視点を設定するまでに、視聴者は視聴中の任意視点映像の視点が把握できずに混乱してしまうこともあり、このような状況に陥った場合には視点の設定を再度最初からやり直す必要があった。
【０００６】
本発明は、上述の問題点に鑑みてなされたものであり、複数の視点の映像から所望の視点における任意視点映像を生成する場合に、所望の視点の設定を容易にすることを目的とする。
【課題を解決するための手段】
【０００７】
前述の目的を達成するために、本発明の任意視点映像処理装置は、以下の構成を備える。
少なくとも視点位置及び当該視点位置における視線方向により定義される視点における映像であって、複数の視点における映像から、任意の視点における任意視点映像を生成する任意視点映像処理装置であって、複数の視点における映像と、予め定められた少なくとも２以上の視点の情報とを受信する受信手段と、受信手段により受信された予め定められた少なくとも２以上の視点について、視点の切り替え順を設定する設定手段と、生成されている任意視点映像の視点の、視点位置及び視線方向の少なくともいずれかを変更する第１の変更手段と、次の視点への指示入力または前の視点への指示入力を受け、設定手段により設定された視点の切り替え順に従って、予め定められた少なくとも２以上の視点のうちの１つの視点を選択することにより、生成されている任意視点映像の視点を変更する第２の変更手段と、受信手段により受信された複数の視点における映像を用いて、第１の変更手段または第２の変更手段により変更された視点における任意視点映像を生成する生成手段と、を備え、第２の変更手段は、生成されている任意視点映像の視点が第１の変更手段により変更された視点である場合に、前の視点への指示入力を受けると、第１の変更手段により変更される直前に第２の変更手段により変更された第１の視点を選択し、次の視点への指示入力を受けると、視点の切り替え順において第１の視点の次に設定された第２の視点を選択する、ことを特徴とする。
【発明の効果】
【０００８】
このような構成により本発明によれば、複数の視点の映像から所望の視点の任意視点映像を生成する場合に、所望の視点の設定を容易にすることを可能にする。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るテレビ受像機及びコンテンツ配信サーバの機能構成を示したブロック図
【図２】実施形態に係るおすすめ視点の構成例を説明するための図
【図３】実施形態に係る視点変更処理のフローチャート
【図４】実施形態に係る視点情報が更新された場合の視点選択処理のフローチャート
【図５】変形例に係る切り替え順決定処理のフローチャート
【図６】変形例に係るおすすめ視点の切り替え順を説明するための図
【発明を実施するための形態】
【００１０】
（実施形態）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、任意視点映像処理装置の一例としての、複数の視点における映像から所望の視点における任意視点映像を生成可能なテレビ受像機に、本発明を適用した例を説明する。しかし、本発明は、複数の視点における映像から所望の視点における任意視点映像を生成することが可能な任意の機器に適用可能である。また、本明細書において「視点」とは、３次元的な視点位置及び当該視点位置における視線方向の両方により定義される情報として説明する。しかしながら、当該情報は少なくとも設定された視点における映像を生成するために必要な視点に係る情報であればよく、上述の構成に限らない。なお、視点は、例えば視点位置、注視点位置、視点における上方向の情報により構成されてもよく、さらに画角やアスペクト比等の情報を含んでもよい。
【００１１】
図１は、本発明の実施形態に係るテレビ受像機１００及びコンテンツ配信サーバ２００の機能構成を示すブロック図である。なお、本実施形態では、テレビ受像機１００はコンテンツ配信サーバ２００において生成された映像コンテンツを、放送信号として受信するものとして説明するが、本発明の実施はこれに限らない。
【００１２】
制御部１０１は、例えばマイクロプロセッサ、タイマ、割り込みコントローラ及び入出力ポートなどの周辺回路で構成されるコントローラで、テレビ受像機１００を構成する各ブロックの動作を制御する。制御部１０１は、テレビ受像機１００を構成する各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、テレビ受像機１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要な設定値等の情報を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、例えばテレビ受像機１００が備える各ブロックの動作において出力された情報及びデータが一時的に格納される領域として用いられる。
【００１３】
なお、本実施形態ではテレビ受像機１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。
【００１４】
コンテンツ受信部１０４は、受信した放送信号からトランスポートストリーム（ＴＳ）信号を生成する。コンテンツ受信部１０４は、放送波により放送信号を受信する場合、例えばＲＯＭ１０２に記憶されている現在視聴する放送局の情報に従い、放送波を選局して復調してＴＳ信号を出力する。またコンテンツ受信部１０４は、ＩＰ放送により放送信号を受信する場合、コンテンツ受信部１０４は受信した放送信号のパケットを復号することによりＴＳ信号を出力する。
【００１５】
ここで、本実施形態において受信する放送信号の生成方法について、具体的に説明する。コンテンツ配信サーバ２００は、放送波やインターネット通信網により放送信号を送信するサーバであり、本実施形態ではテレビ受像機１００は、当該コンテンツ配信サーバ２００により生成された映像コンテンツを受信するものとする。
【００１６】
カメラ２０１−１からカメラ２０１−ｎは、コンテンツ配信サーバ２００が送信する映像コンテンツに含まれる、複数の視点における映像を撮影する装置である。カメラ２０１−１からカメラ２０１−ｎのそれぞれにより撮影された映像は、コンテンツ生成部２０２に出力される。また、カメラ２０１−１からカメラ２０１−ｎのそれぞれのカメラの視点位置及び視線方向の情報（撮影視点情報）は視点情報生成部２０３に入力される。
【００１７】
コンテンツ生成部２０２は、入力された複数の視点で撮影された映像を、１つの映像コンテンツとして符号化部２０４に出力する。そして符号化部２０４は、入力された映像コンテンツを送信用の形式に符号化し、多重化部２０５に出力する。
【００１８】
視点情報生成部２０３は、上述した映像コンテンツを構成する複数の視点における映像から生成可能な任意視点映像の視点のうち、少なくとも２つの視点をおすすめ視点として決定する。
【００１９】
おすすめ視点は、例えばコンテンツ制作者が設定可能な情報であってもよいし、映像のうち被写体の時系列における動きベクトルが大きい位置を画角内に捉えるような視点が自動的に選択されて構成された情報であってもよい。例えば図２に示すように、おすすめ視点は様々な視点位置及び視線方向の情報を、例えば名称や識別子（ＩＤ）を割り当てることにより識別可能に構成することができる。本実施形態では少なくとも２つのおすすめ視点で構成されるおすすめ視点情報を、コンテンツ配信サーバ２００は映像コンテンツと共に提供するものとする。
【００２０】
視点情報生成部２０３はこのように生成されたおすすめ視点情報と、映像を撮影したカメラ２０１−１からカメラ２０１−ｎそれぞれの撮影視点情報とを多重化部２０５に出力する。
【００２１】
多重化部２０５は、入力された複数の視点における映像を含む映像コンテンツの符号化データと、おすすめ視点情報及び撮影視点情報とを多重化し、転送用のＴＳ信号を生成してコンテンツ送信部２０６に出力する。コンテンツ送信部２０６は、入力されたＴＳ信号を例えば放送波として送信する。
【００２２】
このようにして生成されたＴＳ信号を、コンテンツ受信部１０４は受信し、分離部１０５に出力する。分離部１０５は、入力されたＴＳ信号を、複数の視点における映像を含む映像コンテンツの符号化データと、おすすめ視点情報及び撮影視点情報とに分離する。復号部１０６は、分離部１０５が分離した映像コンテンツの符号化データを復号し、得られた複数の視点における映像を映像生成部１０７に出力する。
【００２３】
また分離部１０５が分離したおすすめ視点情報及び撮影視点情報は、制御部１０１により例えばＲＡＭ１０３にそれぞれ格納される。このとき制御部１０１は、おすすめ視点情報に含まれる各おすすめ視点を表１に示すような視点リストとして管理する。
【００２４】
【表１】
【００２５】
視点リストは、「ＩＤ」、「名称」、「視点の存在状況」、及び、視点の具体的なパラメータ、即ち視点位置と視線方向と画角を含む「現在の視点状態」で構成される。また、ある視点について過去に任意視点映像を生成した場合は、当該任意視点映像を生成した際の視点の具体的なパラメータが、「過去の視点状態」として当該視点の項目としてリストの情報に追加される。
【００２６】
視点リストでは、おすすめ視点情報に含まれる複数のおすすめ視点は、ＩＤ及び名称の情報に従って更新される。表１において、おすすめ視点２は現在の視点状態と過去の視点状態とが異なっており、当該視点は時系列において配信されている視点状態に変化（更新）があったことを示している。またおすすめ視点は、例えば１つの番組に係る映像コンテンツの配信中に、時系列で増減することもある。本実施形態では、おすすめ視点として提供されていた視点が削除された場合は、当該視点の存在状況の項目が「無」と変化するものとする。またおすすめ視点の数が増加した場合は、当該視点の項目が視点リストに新たに追加されるものとする。
【００２７】
映像生成部１０７は、入力された複数の視点における映像から、指定された視点における任意視点映像を生成するブロックである。具体的には映像生成部１０７は、制御部１０１により指示された視点状態に従い、当該視点状態に含まれる視点位置、視線方向、画角を有する任意視点映像を生成する。
【００２８】
描画部１０８は、制御部１０１の指示を受け、後述する表示部１１０に表示するＧＵＩデータを生成し、合成部１０９に出力する。ＧＵＩデータを表示する場合、制御部１０１は映像生成部１０７により生成された任意視点映像を合成部１０９に入力し、合成部１０９にＧＵＩデータと任意視点映像とを合成させて表示部１１０に出力させる。
【００２９】
表示部１１０は、例えばＬＣＤ等の表示装置であり、映像生成部１０７により生成された映像、または合成部１０９により生成されたＧＵＩデータが合成された映像の映像信号を表示する。
【００３０】
操作入力部１１１は、例えばリモートコントローラからの操作を受け付ける赤外線受光部、あるいはテレビ受像機１００が備える電源ボタンや選局ボタン等のユーザインタフェースであり、視聴者により入力された操作内容を解析し、制御部１０１に伝送する。
【００３１】
（視点変更処理）
このような構成をもつ本実施形態のテレビ受像機１００の視点変更処理について、図３のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本視点変更処理は、例えば視聴者によりテレビ受像機１００の電源が投入され、映像コンテンツを受信し、当該受信した映像コンテンツを視聴可能な状態になった際に開始されるものとして説明する。また、本視点変更処理は、時系列においておすすめ視点情報が更新されることがあるため、例えばテレビ受像機１００が映像コンテンツを受信中、繰り返し実行されればよい。
【００３２】
Ｓ３０１で、制御部１０１は、分離部１０５により分離されたおすすめ視点情報に含まれるおすすめ視点をＩＤ順に視点リストに登録する。具体的には、制御部１０１はコンテンツ受信部１０４により受信された映像コンテンツのおすすめ視点情報を取得し、当該情報で予め設定されている視点のＩＤの順に従い、おすすめ視点情報を構成する少なくとも２つの視点を視点リストに登録する。このとき、制御部１０１は視点リストが既にＲＡＭ１０３に記憶されている場合は、当該情報を読み出して新たに受信したおすすめ視点情報で更新し、ＲＡＭ１０３に視点リストが記憶されていない場合は新たに視点リストを生成してＲＡＭ１０３に記憶させる。なお、本実施形態では当該視点リストに登録されているおすすめ視点の順番は、後述するおすすめ視点を切り替える場合の切り替え順となる。即ち、本実施形態ではコンテンツ配信サーバ２００より配信された映像コンテンツにおいて予め定められたＩＤの順番でおすすめ視点を切り替える。
【００３３】
Ｓ３０２で、制御部１０１は、視聴者に視点が変更可能であることを通知するＧＵＩデータを描画部１０８に生成させ、合成部１０９に当該ＧＵＩデータを視聴中の視点状態における映像に重畳させて表示部１１０に表示させる。視聴中の映像の視点状態は、例えばＲＡＭ１０３に格納されているものとする。なお、テレビ受像機１００の起動後、受信した映像コンテンツを最初に表示する映像の視点状態は、例えば初期視点状態としておすすめ視点のうちの１つの視点の視点状態が予め定められていればよい。制御部１０１は当該初期視点状態を視聴中の視点状態として設定する。
【００３４】
なお、本実施形態では最初に表示する映像の視点状態は、おすすめ視点のうちの１つの視点の視点状態が設定されているものとして説明するが、本発明の実施はこれに限らない。即ち、最初に表示する映像は、例えば映像コンテンツの全景映像の視点状態が設定され、おすすめ視点を選択可能であることを通知するＧＵＩデータとともに当該全景映像が表示されてもよい。
【００３５】
Ｓ３０３で、制御部１０１は、視聴者により視点変更に係る指示入力がなされたか否かを判断する。具体的には制御部１０１は、視点変更に係る指示入力が視聴者によりなされことを操作入力部１１１により受信したか否かにより、視点変更の有無を判断する。
【００３６】
なお、本実施形態では次の３つの指示入力を視点変更の指示入力として判断するものとして説明する。
・次のおすすめ視点への変更指示（第２の変更）
・前に表示したおすすめ視点への変更指示（第２の変更）
・視点状態を直接変更する指示入力（第１の変更）
なお、視点状態を直接変更する指示入力とは、例えば視点座標及び視線方向の各パラメータや画角の数値を、予め定められた数値ずつ増減させる、または任意の値に直接変更する等の方法によりなされる入力とする。即ち、本ステップで制御部１０１は、上述した３つの指示入力がなされたか否かを判断する。制御部１０１は、視点変更の指示入力がなされた場合は処理をＳ３０４に、指示入力がなされていない、または他の指示入力がなされた場合は処理を完了する。
【００３７】
Ｓ３０４で、制御部１０１は、Ｓ３０３で視聴者によりなされた視点変更の指示入力が、上述した３つの指示入力のいずれであるかを判断する。制御部１０１は、なされた視点変更の指示入力が、次のおすすめ視点への変更指示であった場合は処理をＳ３１０に移し、前に表示したおすすめ視点への変更指示であった場合は処理をＳ３１６に移す。また制御部１０１は、なされた視点変更の指示入力が、視点状態を直接変更する指示入力であった場合は処理をＳ３０５に移す。
【００３８】
Ｓ３０５で、制御部１０１は、ＲＡＭ１０３に記憶されている視聴中の視点状態が、視聴者が視点状態を直接変更することにより設定された視点状態であるか否かを判断する。制御部１０１は視聴中の視点状態が、視聴者により直接変更された視点状態である場合は処理をＳ３０７に移し、直接変更された視点状態ではない場合、即ちおすすめ視点のいずれかの視点である場合は処理をＳ３０６に移す。
【００３９】
Ｓ３０６で、制御部１０１は、現在選択されていたおすすめ視点を、直前に選択されていたおすすめ視点としてＲＡＭ１０３に記憶させる。直前に選択されていたおすすめ視点は、当該視点を識別できる情報として視点のＩＤが記憶される。また、このとき制御部１０１は、視点リストの現在選択されていたおすすめ視点の視点座標、視線方向、及び画角の情報（視点状態）を、当該視点の過去の視点状態の項目に追加して記憶させる。即ち、現在選択されていたおすすめ視点の詳細情報を視点リストに記憶させておくことにより、当該視点の視点状態が変更された場合にも、生成されていた任意視点映像を再度生成することができる。
【００４０】
Ｓ３０７で、制御部１０１は、指示入力により変更された視点状態を視聴中の視点状態としてＲＡＭ１０３の情報を更新する。またＳ３０８で制御部１０１は、当該変更された視点状態における映像の画角内に、おすすめ視点のいずれかの視点が含まれているか否かを判断する。制御部１０１は、視聴中の視点状態における映像の画角内に、おすすめ視点情報のいずれかの視点が含まれている場合は処理をＳ３０９に移し、含まれていない場合は処理を完了する。
【００４１】
Ｓ３０９で、制御部１０１は、次のおすすめ視点への変更指示で、当該画角内に含まれるおすすめ視点に変更可能であることを通知するＧＵＩデータを描画部１０８に生成させる。そして合成部１０９に当該ＧＵＩデータを視聴中の視点状態における映像に重畳させて表示部１１０に表示させ、処理を完了する。
【００４２】
Ｓ３１０で、制御部１０１は、ＲＡＭ１０３に記憶されている視聴中の視点状態が、視聴者が視点状態を直接変更することにより設定された視点状態であるか否かを判断する。制御部１０１は視聴中の視点状態が、視聴者により直接変更された視点状態である場合は処理をＳ３１３に移し、直接変更された視点状態ではない場合、即ちおすすめ視点情報のいずれかの視点の視点状態である場合は処理をＳ３１１に移す。
【００４３】
Ｓ３１１で、制御部１０１は、現在選択されていたおすすめ視点のＩＤを、直前に選択されていたおすすめ視点としてＲＡＭ１０３に格納する。また、このとき制御部１０１は、視点リストの現在選択されていたおすすめ視点の視点座標、視線方向、及び画角の情報（視点状態）を、当該視点の過去の視点状態の項目に追加して記憶させる。そしてＳ３１２で制御部１０１は、Ｓ３０１で登録されたおすすめ視点の視点リストにおいて、現在選択されていた視点の次の視点の視点状態を視聴中の視点状態としてＲＡＭ１０３の情報を更新して処理を完了する。
【００４４】
一方、視聴中の視点状態が視聴者により直接変更された視点状態である場合、Ｓ３１３で制御部１０１は、視聴中の視点状態における映像の画角内におすすめ視点のいずれかが含まれているか否かを判断する。具体的には制御部１０１は、視点リストに含まれるおすすめ視点のそれぞれについて、視聴中の視点状態との位置関係及び現在の視点からの方向を算出することにより、当該おすすめ視点が画角内に含まれるか否かを判断する。制御部１０１は、視聴中の視点状態における映像の画角内におすすめ視点のいずれかが含まれている場合は処理をＳ３１４に移し、含まれていない場合は処理をＳ３１５に移す。
【００４５】
Ｓ３１４で、制御部１０１は、視聴中の視点状態における映像の画角内に含まれているおすすめ視点の視点状態を、視聴中の視点状態としてＲＡＭ１０３の情報を更新して処理を完了する。このようにすることで、視聴者は現在視聴している映像の画角内に含まれる視点に容易に移動することができるため、視点移動による視聴者の混乱を軽減することができる。
【００４６】
Ｓ３１５で、制御部１０１は、Ｓ３０１で登録されたおすすめ視点の視点リストにおいて、直前に選択されていたおすすめ視点の次の視点（第２の視点）の視点状態を視聴中の視点状態としてＲＡＭ１０３の情報を更新して処理を完了する。具体的には制御部１０１は、直前に選択されていたおすすめ視点のＩＤをＲＡＭ１０３より読みだし、視点リストから当該ＩＤの次のＩＤを有する視点の視点状態を視聴中の視点状態として設定する。
【００４７】
Ｓ３１６で、制御部１０１は、ＲＡＭ１０３に直前に選択されていたおすすめ視点が記憶されているか否かを判断する。制御部１０１は、直前に選択されていたおすすめ視点がＲＡＭ１０３に記憶されている場合は処理をＳ３１７に移し、記憶されていない場合は処理をＳ３１８に移す。
【００４８】
Ｓ３１７で、制御部１０１は、ＲＡＭ１０３に記憶されている直前に選択されていたおすすめ視点の視点状態（第１の視点）を視聴中の視点状態としてＲＡＭ１０３の情報を更新して処理を完了する。またＳ３１８で、制御部１０１は、前に選択されていたおすすめ視点が存在しないことを通知するＧＵＩデータを描画部１０８に生成させ、合成部１０９に当該ＧＵＩデータを視聴中の視点状態における映像に重畳させて表示部１１０に表示させ、処理を完了する。
【００４９】
このようにすることで、視聴者は煩雑な操作を行うことなく、おすすめ視点として提供される視点における映像を容易に視聴することができる。また、視聴者が任意に視点を変更することにより、生成されている任意視点映像の視点が把握できない状況に陥った場合であっても、直前に選択されていたおすすめ視点または直前に選択されていたおすすめ視点の次の視点に切り替えることができる。
【００５０】
なお、前に表示したおすすめ視点への変更指示がなされたと判断した場合に、制御部１０１は直前に選択されていたおすすめ視点に切り替えるものとして説明した。このとき、当該視点と同一のＩＤを有するおすすめ視点に更新があった場合、即ち任意視点映像を生成した時点から提供される同一の視点に更新があった場合、制御部１０１は図４に示すフローチャートのように処理すればよい。
【００５１】
Ｓ４０１で、制御部１０１は、ＲＡＭ１０３に記憶されている直前に選択されていたおすすめ視点のＩＤを有する視点が、現在分離部１０５から出力されたおすすめ視点情報に存在するか否かを判断する。具体的には制御部１０１は、ＲＡＭ１０３に記憶されている視点リストにおいて、直前に選択されていたおすすめ視点のＩＤを有する視点の存在状況の項目を参照することにより、存在の有無を判断する。制御部１０１は、直前に選択されていたおすすめ視点の存在状況が「有」の場合は処理をＳ４０３に移し、「無」の場合は処理をＳ４０２に移す。
【００５２】
Ｓ４０２で、制御部１０１は、テレビ受像機１００の起動後に、受信した映像コンテンツを最初に表示する映像の視点の視点状態を、視聴中の視点状態としてＲＡＭ１０３に記憶させ、処理を完了する。
【００５３】
Ｓ４０３で、制御部１０１は、直前に選択されていたおすすめ視点の視点座標、視線方向、及び画角の情報（視点状態）が更新されているか否かを判断する。具体的には制御部１０１は、視点リストの直前に選択されていたおすすめ視点の項目において、現在の視点状態と過去の視点状態との情報が異なっているか否かを判断する。制御部１０１は、直前に選択されていたおすすめ視点の視点座標、視線方向及び画角の情報が更新されていると判断した場合は処理をＳ４０４に移し、同一であると判断した場合は処理をＳ４０７に移す。
【００５４】
Ｓ４０４で、制御部１０１は、直前に選択されていたおすすめ視点を用いて任意視点映像を生成するにあたり、現在の視点情報と過去に任意視点映像を生成した際の情報のいずれを用いるかを決定させるためのＧＵＩデータを描画部１０８に生成させる。そして制御部１０１は合成部１０９に、生成されたＧＵＩデータを視聴中の視点状態における映像に重畳させて表示部１１０に表示させる。
【００５５】
Ｓ４０５で、制御部１０１は、視聴者により現在の視点状態と過去に任意視点映像を生成した際の視点状態のいずれかを選択する指示入力があるまで処理を待機する。制御部１０１は、現在の視点状態が選択された場合は処理をＳ４０７に移し、過去に任意視点映像を生成した際の視点状態が選択された場合は処理をＳ４０６に移す。
【００５６】
Ｓ４０６で、制御部１０１は、ＲＡＭ１０３に記憶されている視点リストから、直前に選択されていたおすすめ視点のＩＤを有する視点の過去の視点状態の項目を読み出し、当該視点状態を視聴中の視点状態としてＲＡＭ１０３に記憶する。またＳ４０７で、制御部１０１は、ＲＡＭ１０３に記憶されている視点リストから、直前に選択されていたおすすめ視点のＩＤを有する視点の現在の視点状態の項目を読み出し、当該視点状態を視聴中の視点状態としてＲＡＭ１０３に記憶する。
【００５７】
このようにすることで、過去に任意視点映像を生成したおすすめ視点を再度選択する際に、当該おすすめ視点に更新があった場合も、視聴者は更新前、更新後のいずれの視点について任意視点映像を生成するかを選択することができる。即ち、前に表示したおすすめ視点を選択する際に、視点が更新された場合であっても更新前の視点を選択可能、また更新されたことを認識して更新後の視点を選択可能であるため、視点の変更により視聴者に混乱を引き起こすことを軽減できる。
【００５８】
以上説明したように、本発明の任意視点映像処理装置は、複数の視点における映像から所望の視点における任意視点映像を生成する場合に、所望の視点の設定を容易にすることができる。具体的には任意視点映像処理装置は、生成する任意視点映像の視点を決定する場合に、視点位置及び当該視点位置における視線方向の少なくともいずれかを変更する第１の変更方法と、予め定められた視点を切り替え順に従って選択する第２の変更方法を備える。生成されている任意視点映像視点が第１の変更方法で変更された視点である場合、第２の変更方法で切り替え順の前または次の視点に切り替える指示入力を受けた際に、次のように処理する。前の視点への指示入力を受けた場合は、第１の変更方法で変更される直前に第２の変更方法で選択された視点に切り替える。また次の視点への指示入力を受けた場合は、視点の切り替え順において、第１の変更方法で変更される直前に第２の変更方法で選択された視点の次の視点に切り替える。
【００５９】
このようにすることで、視聴者は煩雑な操作を行うことなく、おすすめ視点情報として提供される視点における映像を容易に視聴することができる。また、視聴者が任意に視点を変更することにより、生成されている任意視点映像の視点が把握できない状況に陥った場合であっても、直前に選択されていたおすすめ視点または直前に選択されていたおすすめ視点の次の視点に切り替えることができる。
【００６０】
（変形例）
上述した実施形態では、おすすめ視点の切り替え順は、おすすめ視点情報として提供される際に予め設定されている各視点のＩＤ順となるものとして説明したが、本発明の実施はこれに限らない。本変形例では、当該おすすめ視点の切り替え順を動的に変更して設定する方法について、図５のフローチャートを用いて説明する。
【００６１】
なお、本変形例では、映像コンテンツと共にテレビ受像機１００に提供されるおすすめ視点情報は、少なくとも次の３つの情報のいずれかを有する属性情報をさらに含むものとする。属性情報は、例えばスポーツ中継の競技名等の「テーマ」、主被写体の人物名や所属名等の「被写体」、及び撮影された地名等の「撮影場所」の少なくともいずれかを含んで構成される情報であり、予め視点情報生成部２０３において設定されるものとする。
【００６２】
また本変形例でテレビ受像機１００において生成される視点リストは、上述した切り替え順の情報に加え、各おすすめ視点について生成された任意視点映像がテレビ受像機１００において視聴されたか否かの情報をさらに含むものとする。
【００６３】
（切り替え順決定処理）
Ｓ５０１で、制御部１０１は、分離部１０５により分離されたおすすめ視点情報に含まれるおすすめ視点を同一の属性情報を有する視点のグループに分類し、グループ毎に視点の切り替え順を設定する。ここで同一の属性情報を有する視点の分類例について、図６を用いて詳細に説明する。
【００６４】
図６は、映像コンテンツがオリンピックの陸上競技のように、１つの競技場で複数のカメラを用いて複数の競技が撮影されている場合の、各おすすめ視点の視点状態を２次元的に示した図である。このような映像コンテンツの視聴において、視聴者は例えば、おすすめ視点を視点位置が近い視点に順に切り替えるか、同一の競技の視点が連続するように視点を切り替えるかを設定することができる。
【００６５】
例えば図６の例で、視聴者が視点位置の近い順におすすめ視点を切り替えるように設定した場合は、おすすめ視点の属性情報の撮影場所の項目を参照し、「トラック外」の属性を有する視点と、「フィールド」の属性を有する視点とにグループ分けすればよい。そして「トラック外」の属性を有する視点を、視点座標順に６０１→６０４→６０６→６０７→６０８のように切り替え順を設定する。また「フィールド」の属性を有する視点を、視点座標順に６０３→６０２→６０５のように切り替え順を設定する。
【００６６】
また例えば図６の例で、視聴者が競技毎におすすめ視点を切り替えるように設定した場合は、おすすめ視点の属性情報のテーマの項目を参照し、「短距離走」、「砲丸投げ」、及び「幅跳び」の属性を有する視点にグループ分けをすればよい。そして「短距離走」の属性を有する視点を、視線方向順に６０１→６０４→６０６→６０２→６０８のように切り替え順を設定する。また「砲丸投げ」の属性を有する視点を、視線方向順に６０３→６０５、「幅跳び」の属性を有する視点を６０７と切り替え順を設定する。
【００６７】
またこの他に、例えば映像コンテンツがサッカー中継や野球中継のようなチーム競技である場合はチーム毎にグループ分けしてもよいし、旅行番組の場合は地域でグループ分けしてもよい。
【００６８】
Ｓ５０２で、制御部１０１は、分離されたおすすめ視点情報に含まれるおすすめ視点を、Ｓ５０１で決定された切り替え順の情報とともに、ＲＡＭ１０３に記憶されている視点リストに登録する。
【００６９】
Ｓ５０３で、制御部１０１は、受信している映像コンテンツのおすすめ視点の切り替えにおいて、同一の属性情報を有する視点の選択を回避する必要があるか否かを判断する。具体的には制御部１０１は、視聴者により予め同一の属性情報を有する視点の選択を回避する設定がなされているか、または受信した映像コンテンツが同一の属性情報を有する視点の選択を回避するコンテンツジャンルに設定されているか否かを判断する。これは、例えば映像コンテンツが旅行番組である場合、視聴者に対して同一の撮影場所の視点における任意視点映像を提示するのではなく、様々な撮影場所を提示することが望ましいと想定されるからである。制御部１０１は、同一の属性情報を有する視点の選択を回避する必要がある場合は処理をＳ５０４に移し、回避する必要がない場合は処理をＳ５０５に移す。
【００７０】
Ｓ５０４で、制御部１０１は、ＲＡＭ１０３に記憶されている視点リストのうち、同一の属性情報を有する視点を、各属性情報の視点が１つになるように不要な視点を削除する。
【００７１】
Ｓ５０５で、制御部１０１は、ＲＡＭ１０３に記憶されている視点リストを参照し、既に任意視点映像の生成に用いられた視点が存在する場合は、当該視点の切り替え順が後になるように視点リストにおける視点のソートを行う。なお、本実施形態では視点が生成に用いられたか否かによりソートするものとして説明したが、本発明の実施は、おすすめ視点を、選択された回数が少ないおすすめ視点の順番が前になるように切り替え順を再設定してもよい。このようにしてソートされた視点リスト上のおすすめ視点は、Ｓ５０６で再度切り替え順の項目が更新されて記憶され、制御部１０１は処理を完了する。
【００７２】
このようにすることで、おすすめ視点の属性情報、視聴者による設定やコンテンツジャンルに従い、動的におすすめ視点の切り替え順を設定することが可能である。即ち、おすすめ視点を切り替えて任意視点映像を提示する際に、関連性を有する視点が連続するように設定することができるため、視聴者に混乱を与えない視点切り替えを提示することができる。
【００７３】
また、上述した実施形態では、視聴中の視点状態が直接変更された視点状態であり、かつ、視聴中の視点状態における映像の画角内におすすめ視点のいずれかが含まれている場合、次の視点への指示入力を受け、当該画角内の視点に切り替えるものとして説明した。このとき、設定されていた視点の切り替え順と異なる視点に切り替えるため、既に任意視点映像の生成に用いられた視点の情報の順番が後になるように視点リストが構成されないことになる。このため制御部１０１は、上述した切り替え順決定処理を実行することにより、視点リストにおける視点の切り替え順を再度設定してもよい。
【００７４】
なお、上述した実施形態及び変形例では、複数の視点における映像とともに、おすすめ視点である予め定められた少なくとも２以上の視点の情報を受信するものとして説明したが、本発明の実施はこれに限らない。即ち、おすすめ視点の情報は受信した複数の視点における映像に基づいて、任意視点映像処理装置において生成してもよい。例えば、任意視点映像を生成可能な空間において等間隔となるようにおすすめ視点を登録してもよいし、映像を画像解析し、道路の曲がり角等の特定パターンの位置をおすすめ視点として登録してもよい。
【００７５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、複数の視点における映像から、任意の視点における任意視点映像を生成する技術に関する。
【背景技術】
【０００２】
近年のデジタル放送の開始に伴い、様々な次世代放送システムの研究及び開発がなされている。次世代放送システムの中には、複数の視点における映像から、任意視点映像あるいは自由視点映像と呼ばれる、任意の視点における映像を生成する技術がある。任意視点映像を生成する技術では、例えばサッカー中継等の映像コンテンツにおいて、実際に観客席やフィールドにいるような映像を生成することができる。
【０００３】
特許文献１には、上述したような任意視点映像を生成可能な映像コンテンツを提供する場合に、任意視点映像を生成不可能な視点の情報を予め定めておくことにより、視聴者が視聴可能な任意視点映像を制御する方法について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９５０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したように視聴者が設定した視点における任意視点映像を生成可能な映像コンテンツの場合、視聴者は例えばリモートコントローラの方向キーを操作することで生成したい任意視点映像の視点を設定する必要がある。視点の情報は少なくとも視点位置及び当該視点位置における視線方向により定義されるため、このような所望の視点を設定するためには、視聴者は各パラメータを設定するために煩雑な操作を強いられる必要がある。またさらに、所望の視点を設定するまでに、視聴者は視聴中の任意視点映像の視点が把握できずに混乱してしまうこともあり、このような状況に陥った場合には視点の設定を再度最初からやり直す必要があった。
【０００６】
本発明は、上述の問題点に鑑みてなされたものであり、複数の視点の映像から所望の視点における任意視点映像を生成する場合に、所望の視点の設定を容易にすることを目的とする。
【課題を解決するための手段】
【０００７】
前述の目的を達成するために、本発明の任意視点映像処理装置は、以下の構成を備える。
少なくとも視点位置及び当該視点位置における視線方向により定義される視点における映像であって、複数の視点における映像から、任意の視点における任意視点映像を生成する任意視点映像処理装置であって、複数の視点における映像と、予め定められた少なくとも２以上の視点の情報とを受信する受信手段と、受信手段により受信された予め定められた少なくとも２以上の視点について、視点の切り替え順を設定する設定手段と、生成されている任意視点映像の視点の、視点位置及び視線方向の少なくともいずれかを変更する第１の変更手段と、次の視点への指示入力または前の視点への指示入力を受け、設定手段により設定された視点の切り替え順に従って、予め定められた少なくとも２以上の視点のうちの１つの視点を選択することにより、生成されている任意視点映像の視点を変更する第２の変更手段と、受信手段により受信された複数の視点における映像を用いて、第１の変更手段または第２の変更手段により変更された視点における任意視点映像を生成する生成手段と、を備え、第２の変更手段は、生成されている任意視点映像の視点が第１の変更手段により変更された視点である場合に、前の視点への指示入力を受けると、第１の変更手段により変更される直前に第２の変更手段により変更された第１の視点を選択し、次の視点への指示入力を受けると、視点の切り替え順において第１の視点の次に設定された第２の視点を選択する、ことを特徴とする。
【発明の効果】
【０００８】
このような構成により本発明によれば、複数の視点の映像から所望の視点の任意視点映像を生成する場合に、所望の視点の設定を容易にすることを可能にする。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るテレビ受像機及びコンテンツ配信サーバの機能構成を示したブロック図
【図２】実施形態に係るおすすめ視点の構成例を説明するための図
【図３】実施形態に係る視点変更処理のフローチャート
【図４】実施形態に係る視点情報が更新された場合の視点選択処理のフローチャート
【図５】変形例に係る切り替え順決定処理のフローチャート
【図６】変形例に係るおすすめ視点の切り替え順を説明するための図
【発明を実施するための形態】
【００１０】
（実施形態）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、任意視点映像処理装置の一例としての、複数の視点における映像から所望の視点における任意視点映像を生成可能なテレビ受像機に、本発明を適用した例を説明する。しかし、本発明は、複数の視点における映像から所望の視点における任意視点映像を生成することが可能な任意の機器に適用可能である。また、本明細書において「視点」とは、３次元的な視点位置及び当該視点位置における視線方向の両方により定義される情報として説明する。しかしながら、当該情報は少なくとも設定された視点における映像を生成するために必要な視点に係る情報であればよく、上述の構成に限らない。なお、視点は、例えば視点位置、注視点位置、視点における上方向の情報により構成されてもよく、さらに画角やアスペクト比等の情報を含んでもよい。
【００１１】
図１は、本発明の実施形態に係るテレビ受像機１００及びコンテンツ配信サーバ２００の機能構成を示すブロック図である。なお、本実施形態では、テレビ受像機１００はコンテンツ配信サーバ２００において生成された映像コンテンツを、放送信号として受信するものとして説明するが、本発明の実施はこれに限らない。
【００１２】
制御部１０１は、例えばマイクロプロセッサ、タイマ、割り込みコントローラ及び入出力ポートなどの周辺回路で構成されるコントローラで、テレビ受像機１００を構成する各ブロックの動作を制御する。制御部１０１は、テレビ受像機１００を構成する各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、テレビ受像機１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要な設定値等の情報を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、例えばテレビ受像機１００が備える各ブロックの動作において出力された情報及びデータが一時的に格納される領域として用いられる。
【００１３】
なお、本実施形態ではテレビ受像機１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。
【００１４】
コンテンツ受信部１０４は、受信した放送信号からトランスポートストリーム（ＴＳ）信号を生成する。コンテンツ受信部１０４は、放送波により放送信号を受信する場合、例えばＲＯＭ１０２に記憶されている現在視聴する放送局の情報に従い、放送波を選局して復調してＴＳ信号を出力する。またコンテンツ受信部１０４は、ＩＰ放送により放送信号を受信する場合、コンテンツ受信部１０４は受信した放送信号のパケットを復号することによりＴＳ信号を出力する。
【００１５】
ここで、本実施形態において受信する放送信号の生成方法について、具体的に説明する。コンテンツ配信サーバ２００は、放送波やインターネット通信網により放送信号を送信するサーバであり、本実施形態ではテレビ受像機１００は、当該コンテンツ配信サーバ２００により生成された映像コンテンツを受信するものとする。
【００１６】
カメラ２０１−１からカメラ２０１−ｎは、コンテンツ配信サーバ２００が送信する映像コンテンツに含まれる、複数の視点における映像を撮影する装置である。カメラ２０１−１からカメラ２０１−ｎのそれぞれにより撮影された映像は、コンテンツ生成部２０２に出力される。また、カメラ２０１−１からカメラ２０１−ｎのそれぞれのカメラの視点位置及び視線方向の情報（撮影視点情報）は視点情報生成部２０３に入力される。
【００１７】
コンテンツ生成部２０２は、入力された複数の視点で撮影された映像を、１つの映像コンテンツとして符号化部２０４に出力する。そして符号化部２０４は、入力された映像コンテンツを送信用の形式に符号化し、多重化部２０５に出力する。
【００１８】
視点情報生成部２０３は、上述した映像コンテンツを構成する複数の視点における映像から生成可能な任意視点映像の視点のうち、少なくとも２つの視点をおすすめ視点として決定する。
【００１９】
おすすめ視点は、例えばコンテンツ制作者が設定可能な情報であってもよいし、映像のうち被写体の時系列における動きベクトルが大きい位置を画角内に捉えるような視点が自動的に選択されて構成された情報であってもよい。例えば図２に示すように、おすすめ視点は様々な視点位置及び視線方向の情報を、例えば名称や識別子（ＩＤ）を割り当てることにより識別可能に構成することができる。本実施形態では少なくとも２つのおすすめ視点で構成されるおすすめ視点情報を、コンテンツ配信サーバ２００は映像コンテンツと共に提供するものとする。
【００２０】
視点情報生成部２０３はこのように生成されたおすすめ視点情報と、映像を撮影したカメラ２０１−１からカメラ２０１−ｎそれぞれの撮影視点情報とを多重化部２０５に出力する。
【００２１】
多重化部２０５は、入力された複数の視点における映像を含む映像コンテンツの符号化データと、おすすめ視点情報及び撮影視点情報とを多重化し、転送用のＴＳ信号を生成してコンテンツ送信部２０６に出力する。コンテンツ送信部２０６は、入力されたＴＳ信号を例えば放送波として送信する。
【００２２】
このようにして生成されたＴＳ信号を、コンテンツ受信部１０４は受信し、分離部１０５に出力する。分離部１０５は、入力されたＴＳ信号を、複数の視点における映像を含む映像コンテンツの符号化データと、おすすめ視点情報及び撮影視点情報とに分離する。復号部１０６は、分離部１０５が分離した映像コンテンツの符号化データを復号し、得られた複数の視点における映像を映像生成部１０７に出力する。
【００２３】
また分離部１０５が分離したおすすめ視点情報及び撮影視点情報は、制御部１０１により例えばＲＡＭ１０３にそれぞれ格納される。このとき制御部１０１は、おすすめ視点情報に含まれる各おすすめ視点を表１に示すような視点リストとして管理する。
【００２４】
【表１】
【００２５】
視点リストは、「ＩＤ」、「名称」、「視点の存在状況」、及び、視点の具体的なパラメータ、即ち視点位置と視線方向と画角を含む「現在の視点状態」で構成される。また、ある視点について過去に任意視点映像を生成した場合は、当該任意視点映像を生成した際の視点の具体的なパラメータが、「過去の視点状態」として当該視点の項目としてリストの情報に追加される。
【００２６】
視点リストでは、おすすめ視点情報に含まれる複数のおすすめ視点は、ＩＤ及び名称の情報に従って更新される。表１において、おすすめ視点２は現在の視点状態と過去の視点状態とが異なっており、当該視点は時系列において配信されている視点状態に変化（更新）があったことを示している。またおすすめ視点は、例えば１つの番組に係る映像コンテンツの配信中に、時系列で増減することもある。本実施形態では、おすすめ視点として提供されていた視点が削除された場合は、当該視点の存在状況の項目が「無」と変化するものとする。またおすすめ視点の数が増加した場合は、当該視点の項目が視点リストに新たに追加されるものとする。
【００２７】
映像生成部１０７は、入力された複数の視点における映像から、指定された視点における任意視点映像を生成するブロックである。具体的には映像生成部１０７は、制御部１０１により指示された視点状態に従い、当該視点状態に含まれる視点位置、視線方向、画角を有する任意視点映像を生成する。
【００２８】
描画部１０８は、制御部１０１の指示を受け、後述する表示部１１０に表示するＧＵＩデータを生成し、合成部１０９に出力する。ＧＵＩデータを表示する場合、制御部１０１は映像生成部１０７により生成された任意視点映像を合成部１０９に入力し、合成部１０９にＧＵＩデータと任意視点映像とを合成させて表示部１１０に出力させる。
【００２９】
表示部１１０は、例えばＬＣＤ等の表示装置であり、映像生成部１０７により生成された映像、または合成部１０９により生成されたＧＵＩデータが合成された映像の映像信号を表示する。
【００３０】
操作入力部１１１は、例えばリモートコントローラからの操作を受け付ける赤外線受光部、あるいはテレビ受像機１００が備える電源ボタンや選局ボタン等のユーザインタフェースであり、視聴者により入力された操作内容を解析し、制御部１０１に伝送する。
【００３１】
（視点変更処理）
このような構成をもつ本実施形態のテレビ受像機１００の視点変更処理について、図３のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本視点変更処理は、例えば視聴者によりテレビ受像機１００の電源が投入され、映像コンテンツを受信し、当該受信した映像コンテンツを視聴可能な状態になった際に開始されるものとして説明する。また、本視点変更処理は、時系列においておすすめ視点情報が更新されることがあるため、例えばテレビ受像機１００が映像コンテンツを受信中、繰り返し実行されればよい。
【００３２】
Ｓ３０１で、制御部１０１は、分離部１０５により分離されたおすすめ視点情報に含まれるおすすめ視点をＩＤ順に視点リストに登録する。具体的には、制御部１０１はコンテンツ受信部１０４により受信された映像コンテンツのおすすめ視点情報を取得し、当該情報で予め設定されている視点のＩＤの順に従い、おすすめ視点情報を構成する少なくとも２つの視点を視点リストに登録する。このとき、制御部１０１は視点リストが既にＲＡＭ１０３に記憶されている場合は、当該情報を読み出して新たに受信したおすすめ視点情報で更新し、ＲＡＭ１０３に視点リストが記憶されていない場合は新たに視点リストを生成してＲＡＭ１０３に記憶させる。なお、本実施形態では当該視点リストに登録されているおすすめ視点の順番は、後述するおすすめ視点を切り替える場合の切り替え順となる。即ち、本実施形態ではコンテンツ配信サーバ２００より配信された映像コンテンツにおいて予め定められたＩＤの順番でおすすめ視点を切り替える。
【００３３】
Ｓ３０２で、制御部１０１は、視聴者に視点が変更可能であることを通知するＧＵＩデータを描画部１０８に生成させ、合成部１０９に当該ＧＵＩデータを視聴中の視点状態における映像に重畳させて表示部１１０に表示させる。視聴中の映像の視点状態は、例えばＲＡＭ１０３に格納されているものとする。なお、テレビ受像機１００の起動後、受信した映像コンテンツを最初に表示する映像の視点状態は、例えば初期視点状態としておすすめ視点のうちの１つの視点の視点状態が予め定められていればよい。制御部１０１は当該初期視点状態を視聴中の視点状態として設定する。
【００３４】
なお、本実施形態では最初に表示する映像の視点状態は、おすすめ視点のうちの１つの視点の視点状態が設定されているものとして説明するが、本発明の実施はこれに限らない。即ち、最初に表示する映像は、例えば映像コンテンツの全景映像の視点状態が設定され、おすすめ視点を選択可能であることを通知するＧＵＩデータとともに当該全景映像が表示されてもよい。
【００３５】
Ｓ３０３で、制御部１０１は、視聴者により視点変更に係る指示入力がなされたか否かを判断する。具体的には制御部１０１は、視点変更に係る指示入力が視聴者によりなされことを操作入力部１１１により受信したか否かにより、視点変更の有無を判断する。
【００３６】
なお、本実施形態では次の３つの指示入力を視点変更の指示入力として判断するものとして説明する。
・次のおすすめ視点への変更指示（第２の変更）
・前に表示したおすすめ視点への変更指示（第２の変更）
・視点状態を直接変更する指示入力（第１の変更）
なお、視点状態を直接変更する指示入力とは、例えば視点座標及び視線方向の各パラメータや画角の数値を、予め定められた数値ずつ増減させる、または任意の値に直接変更する等の方法によりなされる入力とする。即ち、本ステップで制御部１０１は、上述した３つの指示入力がなされたか否かを判断する。制御部１０１は、視点変更の指示入力がなされた場合は処理をＳ３０４に、指示入力がなされていない、または他の指示入力がなされた場合は処理を完了する。
【００３７】
Ｓ３０４で、制御部１０１は、Ｓ３０３で視聴者によりなされた視点変更の指示入力が、上述した３つの指示入力のいずれであるかを判断する。制御部１０１は、なされた視点変更の指示入力が、次のおすすめ視点への変更指示であった場合は処理をＳ３１０に移し、前に表示したおすすめ視点への変更指示であった場合は処理をＳ３１６に移す。また制御部１０１は、なされた視点変更の指示入力が、視点状態を直接変更する指示入力であった場合は処理をＳ３０５に移す。
【００３８】
Ｓ３０５で、制御部１０１は、ＲＡＭ１０３に記憶されている視聴中の視点状態が、視聴者が視点状態を直接変更することにより設定された視点状態であるか否かを判断する。制御部１０１は視聴中の視点状態が、視聴者により直接変更された視点状態である場合は処理をＳ３０７に移し、直接変更された視点状態ではない場合、即ちおすすめ視点のいずれかの視点である場合は処理をＳ３０６に移す。
【００３９】
Ｓ３０６で、制御部１０１は、現在選択されていたおすすめ視点を、直前に選択されていたおすすめ視点としてＲＡＭ１０３に記憶させる。直前に選択されていたおすすめ視点は、当該視点を識別できる情報として視点のＩＤが記憶される。また、このとき制御部１０１は、視点リストの現在選択されていたおすすめ視点の視点座標、視線方向、及び画角の情報（視点状態）を、当該視点の過去の視点状態の項目に追加して記憶させる。即ち、現在選択されていたおすすめ視点の詳細情報を視点リストに記憶させておくことにより、当該視点の視点状態が変更された場合にも、生成されていた任意視点映像を再度生成することができる。
【００４０】
Ｓ３０７で、制御部１０１は、指示入力により変更された視点状態を視聴中の視点状態としてＲＡＭ１０３の情報を更新する。またＳ３０８で制御部１０１は、当該変更された視点状態における映像の画角内に、おすすめ視点のいずれかの視点が含まれているか否かを判断する。制御部１０１は、視聴中の視点状態における映像の画角内に、おすすめ視点情報のいずれかの視点が含まれている場合は処理をＳ３０９に移し、含まれていない場合は処理を完了する。
【００４１】
Ｓ３０９で、制御部１０１は、次のおすすめ視点への変更指示で、当該画角内に含まれるおすすめ視点に変更可能であることを通知するＧＵＩデータを描画部１０８に生成させる。そして合成部１０９に当該ＧＵＩデータを視聴中の視点状態における映像に重畳させて表示部１１０に表示させ、処理を完了する。
【００４２】
Ｓ３１０で、制御部１０１は、ＲＡＭ１０３に記憶されている視聴中の視点状態が、視聴者が視点状態を直接変更することにより設定された視点状態であるか否かを判断する。制御部１０１は視聴中の視点状態が、視聴者により直接変更された視点状態である場合は処理をＳ３１３に移し、直接変更された視点状態ではない場合、即ちおすすめ視点情報のいずれかの視点の視点状態である場合は処理をＳ３１１に移す。
【００４３】
Ｓ３１１で、制御部１０１は、現在選択されていたおすすめ視点のＩＤを、直前に選択されていたおすすめ視点としてＲＡＭ１０３に格納する。また、このとき制御部１０１は、視点リストの現在選択されていたおすすめ視点の視点座標、視線方向、及び画角の情報（視点状態）を、当該視点の過去の視点状態の項目に追加して記憶させる。そしてＳ３１２で制御部１０１は、Ｓ３０１で登録されたおすすめ視点の視点リストにおいて、現在選択されていた視点の次の視点の視点状態を視聴中の視点状態としてＲＡＭ１０３の情報を更新して処理を完了する。
【００４４】
一方、視聴中の視点状態が視聴者により直接変更された視点状態である場合、Ｓ３１３で制御部１０１は、視聴中の視点状態における映像の画角内におすすめ視点のいずれかが含まれているか否かを判断する。具体的には制御部１０１は、視点リストに含まれるおすすめ視点のそれぞれについて、視聴中の視点状態との位置関係及び現在の視点からの方向を算出することにより、当該おすすめ視点が画角内に含まれるか否かを判断する。制御部１０１は、視聴中の視点状態における映像の画角内におすすめ視点のいずれかが含まれている場合は処理をＳ３１４に移し、含まれていない場合は処理をＳ３１５に移す。
【００４５】
Ｓ３１４で、制御部１０１は、視聴中の視点状態における映像の画角内に含まれているおすすめ視点の視点状態を、視聴中の視点状態としてＲＡＭ１０３の情報を更新して処理を完了する。このようにすることで、視聴者は現在視聴している映像の画角内に含まれる視点に容易に移動することができるため、視点移動による視聴者の混乱を軽減することができる。
【００４６】
Ｓ３１５で、制御部１０１は、Ｓ３０１で登録されたおすすめ視点の視点リストにおいて、直前に選択されていたおすすめ視点の次の視点（第２の視点）の視点状態を視聴中の視点状態としてＲＡＭ１０３の情報を更新して処理を完了する。具体的には制御部１０１は、直前に選択されていたおすすめ視点のＩＤをＲＡＭ１０３より読みだし、視点リストから当該ＩＤの次のＩＤを有する視点の視点状態を視聴中の視点状態として設定する。
【００４７】
Ｓ３１６で、制御部１０１は、ＲＡＭ１０３に直前に選択されていたおすすめ視点が記憶されているか否かを判断する。制御部１０１は、直前に選択されていたおすすめ視点がＲＡＭ１０３に記憶されている場合は処理をＳ３１７に移し、記憶されていない場合は処理をＳ３１８に移す。
【００４８】
Ｓ３１７で、制御部１０１は、ＲＡＭ１０３に記憶されている直前に選択されていたおすすめ視点の視点状態（第１の視点）を視聴中の視点状態としてＲＡＭ１０３の情報を更新して処理を完了する。またＳ３１８で、制御部１０１は、前に選択されていたおすすめ視点が存在しないことを通知するＧＵＩデータを描画部１０８に生成させ、合成部１０９に当該ＧＵＩデータを視聴中の視点状態における映像に重畳させて表示部１１０に表示させ、処理を完了する。
【００４９】
このようにすることで、視聴者は煩雑な操作を行うことなく、おすすめ視点として提供される視点における映像を容易に視聴することができる。また、視聴者が任意に視点を変更することにより、生成されている任意視点映像の視点が把握できない状況に陥った場合であっても、直前に選択されていたおすすめ視点または直前に選択されていたおすすめ視点の次の視点に切り替えることができる。
【００５０】
なお、前に表示したおすすめ視点への変更指示がなされたと判断した場合に、制御部１０１は直前に選択されていたおすすめ視点に切り替えるものとして説明した。このとき、当該視点と同一のＩＤを有するおすすめ視点に更新があった場合、即ち任意視点映像を生成した時点から提供される同一の視点に更新があった場合、制御部１０１は図４に示すフローチャートのように処理すればよい。
【００５１】
Ｓ４０１で、制御部１０１は、ＲＡＭ１０３に記憶されている直前に選択されていたおすすめ視点のＩＤを有する視点が、現在分離部１０５から出力されたおすすめ視点情報に存在するか否かを判断する。具体的には制御部１０１は、ＲＡＭ１０３に記憶されている視点リストにおいて、直前に選択されていたおすすめ視点のＩＤを有する視点の存在状況の項目を参照することにより、存在の有無を判断する。制御部１０１は、直前に選択されていたおすすめ視点の存在状況が「有」の場合は処理をＳ４０３に移し、「無」の場合は処理をＳ４０２に移す。
【００５２】
Ｓ４０２で、制御部１０１は、テレビ受像機１００の起動後に、受信した映像コンテンツを最初に表示する映像の視点の視点状態を、視聴中の視点状態としてＲＡＭ１０３に記憶させ、処理を完了する。
【００５３】
Ｓ４０３で、制御部１０１は、直前に選択されていたおすすめ視点の視点座標、視線方向、及び画角の情報（視点状態）が更新されているか否かを判断する。具体的には制御部１０１は、視点リストの直前に選択されていたおすすめ視点の項目において、現在の視点状態と過去の視点状態との情報が異なっているか否かを判断する。制御部１０１は、直前に選択されていたおすすめ視点の視点座標、視線方向及び画角の情報が更新されていると判断した場合は処理をＳ４０４に移し、同一であると判断した場合は処理をＳ４０７に移す。
【００５４】
Ｓ４０４で、制御部１０１は、直前に選択されていたおすすめ視点を用いて任意視点映像を生成するにあたり、現在の視点情報と過去に任意視点映像を生成した際の情報のいずれを用いるかを決定させるためのＧＵＩデータを描画部１０８に生成させる。そして制御部１０１は合成部１０９に、生成されたＧＵＩデータを視聴中の視点状態における映像に重畳させて表示部１１０に表示させる。
【００５５】
Ｓ４０５で、制御部１０１は、視聴者により現在の視点状態と過去に任意視点映像を生成した際の視点状態のいずれかを選択する指示入力があるまで処理を待機する。制御部１０１は、現在の視点状態が選択された場合は処理をＳ４０７に移し、過去に任意視点映像を生成した際の視点状態が選択された場合は処理をＳ４０６に移す。
【００５６】
Ｓ４０６で、制御部１０１は、ＲＡＭ１０３に記憶されている視点リストから、直前に選択されていたおすすめ視点のＩＤを有する視点の過去の視点状態の項目を読み出し、当該視点状態を視聴中の視点状態としてＲＡＭ１０３に記憶する。またＳ４０７で、制御部１０１は、ＲＡＭ１０３に記憶されている視点リストから、直前に選択されていたおすすめ視点のＩＤを有する視点の現在の視点状態の項目を読み出し、当該視点状態を視聴中の視点状態としてＲＡＭ１０３に記憶する。
【００５７】
このようにすることで、過去に任意視点映像を生成したおすすめ視点を再度選択する際に、当該おすすめ視点に更新があった場合も、視聴者は更新前、更新後のいずれの視点について任意視点映像を生成するかを選択することができる。即ち、前に表示したおすすめ視点を選択する際に、視点が更新された場合であっても更新前の視点を選択可能、また更新されたことを認識して更新後の視点を選択可能であるため、視点の変更により視聴者に混乱を引き起こすことを軽減できる。
【００５８】
以上説明したように、本発明の任意視点映像処理装置は、複数の視点における映像から所望の視点における任意視点映像を生成する場合に、所望の視点の設定を容易にすることができる。具体的には任意視点映像処理装置は、生成する任意視点映像の視点を決定する場合に、視点位置及び当該視点位置における視線方向の少なくともいずれかを変更する第１の変更方法と、予め定められた視点を切り替え順に従って選択する第２の変更方法を備える。生成されている任意視点映像視点が第１の変更方法で変更された視点である場合、第２の変更方法で切り替え順の前または次の視点に切り替える指示入力を受けた際に、次のように処理する。前の視点への指示入力を受けた場合は、第１の変更方法で変更される直前に第２の変更方法で選択された視点に切り替える。また次の視点への指示入力を受けた場合は、視点の切り替え順において、第１の変更方法で変更される直前に第２の変更方法で選択された視点の次の視点に切り替える。
【００５９】
このようにすることで、視聴者は煩雑な操作を行うことなく、おすすめ視点情報として提供される視点における映像を容易に視聴することができる。また、視聴者が任意に視点を変更することにより、生成されている任意視点映像の視点が把握できない状況に陥った場合であっても、直前に選択されていたおすすめ視点または直前に選択されていたおすすめ視点の次の視点に切り替えることができる。
【００６０】
（変形例）
上述した実施形態では、おすすめ視点の切り替え順は、おすすめ視点情報として提供される際に予め設定されている各視点のＩＤ順となるものとして説明したが、本発明の実施はこれに限らない。本変形例では、当該おすすめ視点の切り替え順を動的に変更して設定する方法について、図５のフローチャートを用いて説明する。
【００６１】
なお、本変形例では、映像コンテンツと共にテレビ受像機１００に提供されるおすすめ視点情報は、少なくとも次の３つの情報のいずれかを有する属性情報をさらに含むものとする。属性情報は、例えばスポーツ中継の競技名等の「テーマ」、主被写体の人物名や所属名等の「被写体」、及び撮影された地名等の「撮影場所」の少なくともいずれかを含んで構成される情報であり、予め視点情報生成部２０３において設定されるものとする。
【００６２】
また本変形例でテレビ受像機１００において生成される視点リストは、上述した切り替え順の情報に加え、各おすすめ視点について生成された任意視点映像がテレビ受像機１００において視聴されたか否かの情報をさらに含むものとする。
【００６３】
（切り替え順決定処理）
Ｓ５０１で、制御部１０１は、分離部１０５により分離されたおすすめ視点情報に含まれるおすすめ視点を同一の属性情報を有する視点のグループに分類し、グループ毎に視点の切り替え順を設定する。ここで同一の属性情報を有する視点の分類例について、図６を用いて詳細に説明する。
【００６４】
図６は、映像コンテンツがオリンピックの陸上競技のように、１つの競技場で複数のカメラを用いて複数の競技が撮影されている場合の、各おすすめ視点の視点状態を２次元的に示した図である。このような映像コンテンツの視聴において、視聴者は例えば、おすすめ視点を視点位置が近い視点に順に切り替えるか、同一の競技の視点が連続するように視点を切り替えるかを設定することができる。
【００６５】
例えば図６の例で、視聴者が視点位置の近い順におすすめ視点を切り替えるように設定した場合は、おすすめ視点の属性情報の撮影場所の項目を参照し、「トラック外」の属性を有する視点と、「フィールド」の属性を有する視点とにグループ分けすればよい。そして「トラック外」の属性を有する視点を、視点座標順に６０１→６０４→６０６→６０７→６０８のように切り替え順を設定する。また「フィールド」の属性を有する視点を、視点座標順に６０３→６０２→６０５のように切り替え順を設定する。
【００６６】
また例えば図６の例で、視聴者が競技毎におすすめ視点を切り替えるように設定した場合は、おすすめ視点の属性情報のテーマの項目を参照し、「短距離走」、「砲丸投げ」、及び「幅跳び」の属性を有する視点にグループ分けをすればよい。そして「短距離走」の属性を有する視点を、視線方向順に６０１→６０４→６０６→６０２→６０８のように切り替え順を設定する。また「砲丸投げ」の属性を有する視点を、視線方向順に６０３→６０５、「幅跳び」の属性を有する視点を６０７と切り替え順を設定する。
【００６７】
またこの他に、例えば映像コンテンツがサッカー中継や野球中継のようなチーム競技である場合はチーム毎にグループ分けしてもよいし、旅行番組の場合は地域でグループ分けしてもよい。
【００６８】
Ｓ５０２で、制御部１０１は、分離されたおすすめ視点情報に含まれるおすすめ視点を、Ｓ５０１で決定された切り替え順の情報とともに、ＲＡＭ１０３に記憶されている視点リストに登録する。
【００６９】
Ｓ５０３で、制御部１０１は、受信している映像コンテンツのおすすめ視点の切り替えにおいて、同一の属性情報を有する視点の選択を回避する必要があるか否かを判断する。具体的には制御部１０１は、視聴者により予め同一の属性情報を有する視点の選択を回避する設定がなされているか、または受信した映像コンテンツが同一の属性情報を有する視点の選択を回避するコンテンツジャンルに設定されているか否かを判断する。これは、例えば映像コンテンツが旅行番組である場合、視聴者に対して同一の撮影場所の視点における任意視点映像を提示するのではなく、様々な撮影場所を提示することが望ましいと想定されるからである。制御部１０１は、同一の属性情報を有する視点の選択を回避する必要がある場合は処理をＳ５０４に移し、回避する必要がない場合は処理をＳ５０５に移す。
【００７０】
Ｓ５０４で、制御部１０１は、ＲＡＭ１０３に記憶されている視点リストのうち、同一の属性情報を有する視点を、各属性情報の視点が１つになるように不要な視点を削除する。
【００７１】
Ｓ５０５で、制御部１０１は、ＲＡＭ１０３に記憶されている視点リストを参照し、既に任意視点映像の生成に用いられた視点が存在する場合は、当該視点の切り替え順が後になるように視点リストにおける視点のソートを行う。なお、本実施形態では視点が生成に用いられたか否かによりソートするものとして説明したが、本発明の実施は、おすすめ視点を、選択された回数が少ないおすすめ視点の順番が前になるように切り替え順を再設定してもよい。このようにしてソートされた視点リスト上のおすすめ視点は、Ｓ５０６で再度切り替え順の項目が更新されて記憶され、制御部１０１は処理を完了する。
【００７２】
このようにすることで、おすすめ視点の属性情報、視聴者による設定やコンテンツジャンルに従い、動的におすすめ視点の切り替え順を設定することが可能である。即ち、おすすめ視点を切り替えて任意視点映像を提示する際に、関連性を有する視点が連続するように設定することができるため、視聴者に混乱を与えない視点切り替えを提示することができる。
【００７３】
また、上述した実施形態では、視聴中の視点状態が直接変更された視点状態であり、かつ、視聴中の視点状態における映像の画角内におすすめ視点のいずれかが含まれている場合、次の視点への指示入力を受け、当該画角内の視点に切り替えるものとして説明した。このとき、設定されていた視点の切り替え順と異なる視点に切り替えるため、既に任意視点映像の生成に用いられた視点の情報の順番が後になるように視点リストが構成されないことになる。このため制御部１０１は、上述した切り替え順決定処理を実行することにより、視点リストにおける視点の切り替え順を再度設定してもよい。
【００７４】
なお、上述した実施形態及び変形例では、複数の視点における映像とともに、おすすめ視点である予め定められた少なくとも２以上の視点の情報を受信するものとして説明したが、本発明の実施はこれに限らない。即ち、おすすめ視点の情報は受信した複数の視点における映像に基づいて、任意視点映像処理装置において生成してもよい。例えば、任意視点映像を生成可能な空間において等間隔となるようにおすすめ視点を登録してもよいし、映像を画像解析し、道路の曲がり角等の特定パターンの位置をおすすめ視点として登録してもよい。
【００７５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
少なくとも視点位置及び当該視点位置における視線方向により定義される視点における映像であって、複数の視点における映像から、任意の視点における任意視点映像を生成する任意視点映像処理装置であって、
前記複数の視点における映像と、予め定められた少なくとも２以上の視点の情報とを受信する受信手段と、
前記受信手段により受信された前記予め定められた少なくとも２以上の視点について、視点の切り替え順を設定する設定手段と、
生成されている前記任意視点映像の視点の、視点位置及び視線方向の少なくともいずれかを変更する第１の変更手段と、
次の視点への指示入力または前の視点への指示入力を受け、前記設定手段により設定された前記視点の切り替え順に従って、前記予め定められた少なくとも２以上の視点のうちの１つの視点を選択することにより、前記生成されている任意視点映像の視点を変更する第２の変更手段と、
前記受信手段により受信された複数の視点における映像を用いて、前記第１の変更手段または前記第２の変更手段により変更された視点における任意視点映像を生成する生成手段と、を備え、
前記第２の変更手段は、前記生成されている任意視点映像の視点が前記第１の変更手段により変更された視点である場合に、
前記前の視点への指示入力を受けると、前記第１の変更手段により変更される直前に前記第２の変更手段により変更された第１の視点を選択し、
前記次の視点への指示入力を受けると、前記視点の切り替え順において前記第１の視点の次に設定された第２の視点を選択する、
ことを特徴とする任意視点映像処理装置。
【請求項２】
前記設定手段は、前記予め定められた少なくとも２以上の視点を、選択された回数が少ない視点の順番が前になるように前記視点の切り替え順を設定することを特徴とする請求項１に記載の任意視点映像処理装置。
【請求項３】
前記受信手段は、前記予め定められた少なくとも２以上の視点のそれぞれについて、当該視点における任意視点映像の、テーマ、被写体、及び撮影場所の少なくともいずれかの情報を含む属性情報をさらに受信し、
前記設定手段は、前記予め定められた少なくとも２以上の視点を、前記属性情報が同一である視点が連続するように前記視点の切り替え順を設定することを特徴とする請求項１または２に記載の任意視点映像処理装置。
【請求項４】
前記第２の変更手段は、前記生成されている任意視点映像の視点が前記第１の変更手段により変更された視点であり、かつ、当該視点における任意視点映像の画角内に、前記予め定められた少なくとも２以上の視点のうちのいずれかの視点が含まれている場合に、前記次の視点への指示入力を受けると前記画角内に含まれている視点を選択することを特徴とする請求項１乃至３のいずれか１項に記載の任意視点映像処理装置。
【請求項５】
前記設定手段は、前記第２の変更手段により前記画角内に含まれている視点が選択された場合に、前記視点の切り替え順を再度設定することを特徴とする請求項４に記載の任意視点映像処理装置。
【請求項６】
前記第２の変更手段は、
前記第１の視点の視点位置及び視線方向のいずれかが更新された場合に、前記前の視点位置への指示入力を受けると、更新前の前記第１の視点、及び更新後の前記第１の視点、のいずれにおける任意視点映像を生成するかの指示入力を受け付ける指示手段、
をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の任意視点映像処理装置。
【請求項７】
少なくとも視点位置及び当該視点位置における視線方向により定義される視点における映像であって、複数の視点における映像から、任意の視点における任意視点映像を生成する任意視点映像処理装置の制御方法であって、
受信手段が、前記複数の視点における映像と、予め定められた少なくとも２以上の視点の情報とを受信する受信工程と、
設定手段が、前記受信工程において受信された前記予め定められた少なくとも２以上の視点について、視点の切り替え順を設定する設定工程と、
第１の変更手段が、生成されている前記任意視点映像の視点の、視点位置及び視線方向の少なくともいずれかを変更する第１の変更工程と、
第２の変更手段が、次の視点への指示入力または前の視点への指示入力を受け、前記設定工程において設定された前記視点の切り替え順に従って、前記予め定められた少なくとも２以上の視点のうちの１つの視点を選択することにより、前記生成されている任意視点映像の視点を変更する第２の変更工程と、
生成手段が、前記受信工程において受信された複数の視点における映像を用いて、前記第１の変更工程または前記第２の変更工程において変更された視点における任意視点映像を生成する生成工程と、を備え、
前記第２の変更工程において前記第２の変更手段は、前記生成されている任意視点映像の視点が前記第１の変更工程において変更された視点である場合に、
前記前の視点への指示入力を受けると、前記第１の変更工程において変更される直前に前記第２の変更工程において変更された第１の視点を選択し、
前記次の視点への指示入力を受けると、前記視点の切り替え順において前記第１の視点の次に設定された第２の視点を選択する、
ことを特徴とする任意視点映像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の任意視点映像処理装置の各手段として機能させるためのプログラム。
【請求項１】
少なくとも視点位置及び当該視点位置における視線方向により定義される視点における映像であって、複数の視点における映像から、任意の視点における任意視点映像を生成する任意視点映像処理装置であって、
前記複数の視点における映像と、予め定められた少なくとも２以上の視点の情報とを受信する受信手段と、
前記受信手段により受信された前記予め定められた少なくとも２以上の視点について、視点の切り替え順を設定する設定手段と、
生成されている前記任意視点映像の視点の、視点位置及び視線方向の少なくともいずれかを変更する第１の変更手段と、
次の視点への指示入力または前の視点への指示入力を受け、前記設定手段により設定された前記視点の切り替え順に従って、前記予め定められた少なくとも２以上の視点のうちの１つの視点を選択することにより、前記生成されている任意視点映像の視点を変更する第２の変更手段と、
前記受信手段により受信された複数の視点における映像を用いて、前記第１の変更手段または前記第２の変更手段により変更された視点における任意視点映像を生成する生成手段と、を備え、
前記第２の変更手段は、前記生成されている任意視点映像の視点が前記第１の変更手段により変更された視点である場合に、
前記前の視点への指示入力を受けると、前記第１の変更手段により変更される直前に前記第２の変更手段により変更された第１の視点を選択し、
前記次の視点への指示入力を受けると、前記視点の切り替え順において前記第１の視点の次に設定された第２の視点を選択する、
ことを特徴とする任意視点映像処理装置。
【請求項２】
前記設定手段は、前記予め定められた少なくとも２以上の視点を、選択された回数が少ない視点の順番が前になるように前記視点の切り替え順を設定することを特徴とする請求項１に記載の任意視点映像処理装置。
【請求項３】
前記受信手段は、前記予め定められた少なくとも２以上の視点のそれぞれについて、当該視点における任意視点映像の、テーマ、被写体、及び撮影場所の少なくともいずれかの情報を含む属性情報をさらに受信し、
前記設定手段は、前記予め定められた少なくとも２以上の視点を、前記属性情報が同一である視点が連続するように前記視点の切り替え順を設定することを特徴とする請求項１または２に記載の任意視点映像処理装置。
【請求項４】
前記第２の変更手段は、前記生成されている任意視点映像の視点が前記第１の変更手段により変更された視点であり、かつ、当該視点における任意視点映像の画角内に、前記予め定められた少なくとも２以上の視点のうちのいずれかの視点が含まれている場合に、前記次の視点への指示入力を受けると前記画角内に含まれている視点を選択することを特徴とする請求項１乃至３のいずれか１項に記載の任意視点映像処理装置。
【請求項５】
前記設定手段は、前記第２の変更手段により前記画角内に含まれている視点が選択された場合に、前記視点の切り替え順を再度設定することを特徴とする請求項４に記載の任意視点映像処理装置。
【請求項６】
前記第２の変更手段は、
前記第１の視点の視点位置及び視線方向のいずれかが更新された場合に、前記前の視点位置への指示入力を受けると、更新前の前記第１の視点、及び更新後の前記第１の視点、のいずれにおける任意視点映像を生成するかの指示入力を受け付ける指示手段、
をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の任意視点映像処理装置。
【請求項７】
少なくとも視点位置及び当該視点位置における視線方向により定義される視点における映像であって、複数の視点における映像から、任意の視点における任意視点映像を生成する任意視点映像処理装置の制御方法であって、
受信手段が、前記複数の視点における映像と、予め定められた少なくとも２以上の視点の情報とを受信する受信工程と、
設定手段が、前記受信工程において受信された前記予め定められた少なくとも２以上の視点について、視点の切り替え順を設定する設定工程と、
第１の変更手段が、生成されている前記任意視点映像の視点の、視点位置及び視線方向の少なくともいずれかを変更する第１の変更工程と、
第２の変更手段が、次の視点への指示入力または前の視点への指示入力を受け、前記設定工程において設定された前記視点の切り替え順に従って、前記予め定められた少なくとも２以上の視点のうちの１つの視点を選択することにより、前記生成されている任意視点映像の視点を変更する第２の変更工程と、
生成手段が、前記受信工程において受信された複数の視点における映像を用いて、前記第１の変更工程または前記第２の変更工程において変更された視点における任意視点映像を生成する生成工程と、を備え、
前記第２の変更工程において前記第２の変更手段は、前記生成されている任意視点映像の視点が前記第１の変更工程において変更された視点である場合に、
前記前の視点への指示入力を受けると、前記第１の変更工程において変更される直前に前記第２の変更工程において変更された第１の視点を選択し、
前記次の視点への指示入力を受けると、前記視点の切り替え順において前記第１の視点の次に設定された第２の視点を選択する、
ことを特徴とする任意視点映像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の任意視点映像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１４２８６０（Ｐ２０１２−１４２８６０Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−７６６（Ｐ２０１１−７６６）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]