映像処理装置及び映像処理方法
【課題】複数の映像ソースの提供映像を処理して被写体を追尾する際、映像ソースの切り替え頻度を最小限に抑えてユーザの利便性を向上させること。
【解決手段】映像表示装置１００は、多視点映像を選択して受信するＩＰインターフェース部１０１と、撮影範囲の異なる複数の映像ソースから１つを選択するためにＩＰインターフェース部１０１に指示を送る多視点映像選択指示部１０４を備える。被写体抽出部１０９は映像データから、指定された被写体を検出して被写体の画像データを抽出する。画面切り出し範囲決定部１１０は、被写体像を含むように画面切り出し範囲を決定する。制御部１０７は映像データに基づいて、移動する被写体像を画面に表示可能な時間を算出して当該時間が最長となるように映像データの選択制御を行い、被写体を追尾して表示部１１３に表示させる。
【解決手段】映像表示装置１００は、多視点映像を選択して受信するＩＰインターフェース部１０１と、撮影範囲の異なる複数の映像ソースから１つを選択するためにＩＰインターフェース部１０１に指示を送る多視点映像選択指示部１０４を備える。被写体抽出部１０９は映像データから、指定された被写体を検出して被写体の画像データを抽出する。画面切り出し範囲決定部１１０は、被写体像を含むように画面切り出し範囲を決定する。制御部１０７は映像データに基づいて、移動する被写体像を画面に表示可能な時間を算出して当該時間が最長となるように映像データの選択制御を行い、被写体を追尾して表示部１１３に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点映像情報を処理する映像処理装置及び映像処理方法に関するものである。
【背景技術】
【０００２】
本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究開発が行われている。その中の１つに、多数のカメラを配置して撮影した映像のデータを配信し、視聴者が映像ソース（カメラ映像）から所望の映像を自由に選択できる「多視点映像システム」が挙げられる。特許文献１に開示された技術では、多視点映像が放送ストリームに多重化されて送信され、受信装置で任意の視点映像を取り出して映像表示する。
【０００３】
また、個々のカメラからの映像については高画角、高解像度の映像データがそれぞれ提供され、映像処理装置で自由に範囲を切り出して映像表示部に表示することが想定される。図１０（Ａ）は、被写体Ａ乃至Ｃ（符号１３０４乃至１３０６参照）を撮影するため、その周囲に多視点用カメラを配置した例を示す。複数台のカメラのうち、カメラＡ乃至Ｃに符号１３０１乃至１３０３を付して示す。図１０（Ｂ）には、カメラＢ１３０２の視野に対応する撮影範囲１４０２及びカメラＡ１３０１の視野に対応する撮影範囲１４０３を示す。撮影範囲１４０２内には被写体Ａ乃至Ｃが存在し、撮影範囲１４０３内には被写体Ａ及びＢが存在する。
【０００４】
映像処理装置は画面切り出し範囲１４０１にて被写体を含む画面の切り出しを行って当該範囲の映像を表示する。例えば、カメラＢ１３０２で撮影した映像において被写体Ｂ１３０５を含むように画面の切り出しが行われる場合、その被写体像が画面中央に表示される。一方、カメラＡ１３０１で撮影した場合、被写体Ａ１３０４及びＢ１３０５は撮影範囲１４０３内に収まっているので、画面の切り出しにより各被写体像を画面中央に表示可能である。しかし、被写体Ｃ１３０６は撮影範囲１４０３内に収まっていない。このため被写体Ｃ１３０６の映像を画面中央に表示する場合、カメラＢやＣから提供される映像を使用する必要がある。このように多視点映像システムにおいては視聴者が視聴を望む範囲に応じて使用する映像ソース及び画面切り出し範囲の選択が必要である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１３０５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の映像を処理する映像処理装置において、映像選択方法としては、視聴者の操作指示によって映像ソース及び表示範囲を選択することが考えられる。例えばスポーツ番組等のように、場所が頻繁に変わる番組を視聴者が視聴する場合、操作を頻繁に行う必要があるため操作上の負担が大きい。
そこで装置側で自動的に表示範囲を選択するために、視聴者が指定した特定の被写体を追尾して常に画面中央に表示する機能をもつ映像処理装置が考えられる。該装置が被写体を検出して、その被写体像を画面中央に捉えるように映像ソースを選択し、表示範囲を選択すれば、視聴者は操作なしに所望の映像を視聴できる。今後、次世代のデジタル放送サービスとして多視点映像サービスがさらに普及し、上記機能を備えた装置の台頭が予想される。
【０００７】
映像処理装置が映像ソースを選択し直すことで、所望の被写体像を画面中央に表示し続けることが可能となる。その際に映像ソースの選択方法によっては、被写体の動きに合わせて頻繁に映像ソースが切り替わってしまうという事態が起こり得る。頻繁に映像ソースが切り替わると視聴者にとっては非常に見難い映像が表示されてしまう虞がある。
そこで本発明は、映像ソースの切り替えを最小限に抑えてユーザの利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明に係る装置は、撮影範囲の異なる複数の映像データを処理して、指定された被写体を追尾する映像処理装置であって、前記映像データから前記指定された被写体の画像データを抽出する抽出手段と、前記指定された被写体の移動を検出して動き予測処理を行い、前記複数の映像データのそれぞれの撮影範囲内に当該移動する被写体が含まれる時間を算出し、算出した時間に基づいて当該被写体を画面に表示すべく前記複数の映像データから１つの映像データを選択する制御を行う制御手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、指定された被写体の追尾処理において、画面の切り替わり頻度を低減することで、視聴者が見易い映像を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図２乃至６と併せて本発明の第１実施形態を説明するために、装置の構成例を示すブロック図である。
【図２】多視点映像に関するカメラ配置例を示す概略図である。
【図３】処理例を示すフローチャートである。
【図４】カメラＡの撮影範囲と画面切り出し範囲の説明図である。
【図５】カメラＡ乃至Ｃの各撮影範囲と画面切り出し範囲の説明図である。
【図６】被写体の動きベクトルの説明図である。
【図７】本発明の第２実施形態に係るカメラ配置と被写体の移動を示す説明図である。
【図８】図９と併せて本発明の第３実施形態を説明するために、サーバの処理例を示すフローチャートである。
【図９】映像表示装置の処理例を示すフローチャートである。
【図１０】多視点映像システムの説明図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
図１は本発明の第１実施形態に係るシステムの構成例を示すブロック図である。本例では、デジタル放送局の配信装置としてのＩＰ（Internet Protocol）放送サーバ（以下、単にサーバという）と、映像処理装置としての映像表示装置を示す。
まず多視点映像データをサーバ２００から取得するブロックについて説明する。映像表示装置１００は、そのＩＰインターフェース部１０１がデジタル放送局の多視点映像データを提供するサーバ２００に対し、ＴＣＰ／ＩＰプロトコルを使ってインターネット経由で接続される。図１にはサーバ２００が配信する多視点映像データのうち、３つの視点映像データを代表して示す。ＩＰインターフェース部１０１はサーバ２００からデータを受信して復号化し、ＩＰ・ＴＳ（トランスポートストリーム）処理部１０２に出力する。またＩＰインターフェース部１０１はサーバ２００への要求を出力する。
【００１２】
ＩＰ・ＴＳ処理部１０２は暗号化されたＴＳ信号を取り出し、暗号化を解除した信号をＩＰ・ＭＰＥＧデコード部１０３に出力する。ＭＰＥＧは"Moving Picture Experts Group"の略号である。ＩＰ・ＭＰＥＧデコード部１０３は圧縮された映像データを伸長し、これを被写体選択用の映像データとして被写体抽出部１０９に出力する。ＩＰ・ＭＰＥＧデコード部１０３は出力映像生成部１１１にも伸長後の映像データを出力する。
【００１３】
次に、被写体の選択及び追尾のために画面切り出し範囲を決定するブロックについて説明する。リモートコンローラ（以下、リモコンという）１０５はユーザが映像表示装置１００への操作指示を送信する際に使用する。ユーザがリモコン１０５を使用して被写体を選択する際、リモコン１０５からの信号をリモコン信号受信部１０６が受信して操作指示信号を制御部１０７に出力する。制御部１０７は、ユーザの操作指示を受けて被写体を決定し、被写体選択部１０８は、複数の被写体から選択された被写体の情報（被写体情報）を保持する。被写体情報は画面切り出し範囲決定部（以下、範囲決定部という）１１０に送られ、範囲決定部１１０は被写体情報に基づいて画面切り出し範囲を決定する。画面切り出し範囲の情報は出力映像生成部１１１に送信される。ここではＩＰ・ＭＰＥＧデコード部１０３から送られてきた映像データの一部を、切り出し範囲情報に基づいて抽出する処理が行われ、処理後の映像信号が出力処理部１１２に送出される。出力処理部１１２の出力する映像信号は表示部１１３に送られて映像が表示される。
【００１４】
制御部１０７は範囲決定部１１０からの情報に基づき、多視点映像の選択指示部１０４を制御する。つまり、映像ソースの切り替えが必要な場合、制御部１０７は多視点映像の選択指示部１０４を介してＩＰインターフェース部１０１に映像ソースの切り替えを指示する。この指示に従ってＩＰインターフェース部１０１は、指示された映像データに変更するために、サーバ２００に対して多視点映像の切り替えを要求する。これにより制御部１０７が選択した映像ソースが提供するデータへの変更制御が行われる。なお各映像ソースは、撮影範囲の異なるカメラでの撮影により提供される映像データを含む。
【００１５】
図２は映像ソースを提供するカメラの配置例を示す。例えば競技場の周囲に、撮影範囲が異なる複数台のカメラが配置されていて、各カメラで撮影した映像が多視点映像として放送局から供給されるものとする。カメラＡ乃至Ｃ（符号２０１乃至２０３参照）は、黒点で示す被写体２０４を撮影すべく、矩形状をした競技場の周囲にて一方の長辺方向に沿って互いに隣接して配置されている。また後述の第２実施形態にて説明するカメラＤ（符号２０５参照）は、競技場を挟んでカメラＡ乃至Ｃとは反対側でカメラＢと対向する場所に配置されている。
【００１６】
映像表示装置１００がＩＰインターフェース部１０１からサーバ２００に対してカメラＡの視点映像（Ａ視点映像）の映像データを要求した場合（図１参照）、サーバ２００からカメラＡ２０１により撮影された映像データが供給される。同様に、サーバ２００に対してカメラＢ２０２の視点映像（Ｂ視点映像）や、カメラＣ２０３の視点映像（Ｃ視点映像）を映像表示装置１００がサーバ２００に要求すれば、各視点映像のデータが供給される。これらの映像を表示部１１３が表示することで多視点映像システムを実現でき、視聴者に所望の視点映像を提供できる。
【００１７】
次に図３のフローチャートを用いて、映像表示装置１００の動作を説明する。なお、以下の処理は該フローチャートに従って作成されたプログラムを制御部１０７が解釈して実行することで実現される。まず制御部１０７は、表示映像に関する映像ソースの選択をユーザに促すために選択画面を表示部１１３に表示させる（Ｓ３０１）。この場合、表示画面上に選択肢を提示してユーザに選択させるか、あるいは、予め定められた映像ソースを表示してもよいし、放送局側で初めに表示する映像ソースを指定してもよい。次に制御部１０７はユーザに対し、所望の被写体を選択させる処理を実行する（Ｓ３０２）。ユーザが被写体を選択する方法として、例えば制御部１０７は、ユーザ操作によって画面の一部を範囲指定させるように制御し、指定された範囲の画像認識によって被写体を特定して該被写体のデータを登録する。あるいはメタデータによって与えられている情報（選手情報等）に基づいて、制御部１０７は、ユーザに対して所望の被写体を選択させるように制御してもよい。
【００１８】
被写体の選択後、被写体抽出部１０９は選択された被写体の画像データを抽出する。範囲決定部１１０は、現時点で選択されている映像ソースから提供される映像の一部を切り出して、被写体像が画面中央に表示されるように画面切り出し範囲を設定し（Ｓ３０３）、表示部１１３に映像を表示する。次の処理で制御部１０７は被写体が動いたか否かを判定する（Ｓ３０４）。その結果、被写体が動いたと判定された場合、Ｓ３０５に進むが、被写体に動きがないと判定された場合にはＳ３０４の判定処理が繰り返される。
【００１９】
次に制御部１０７は現時点の映像ソースにて被写体像を画面中央で表示可能か否かを判定する（Ｓ３０５）。被写体像を画面中央で表示可能であると判定された場合（YESに分岐）、Ｓ３０３に戻り、範囲決定部１１０は、画面切り出し範囲を変更する。図４は、カメラＡ２０１を用いて被写体２０４を撮影した映像ソースの映像を使用する場合にカメラ位置と画面切り出し範囲４０１、撮影範囲４０２を示す。なお撮影範囲４０２は映像ソースの提供する映像データに基づいて算出及び判定可能であり、または当該範囲を示す情報をサーバ２００から取得可能である。各カメラの撮影範囲は、例えば、カメラの座標位置と、カメラの撮影方向と、カメラの画角（撮影範囲の角度）によって定められる。表示部１１３の表示範囲に対応する画面切り出し範囲４０１は被写体２０４を画面中央に含むように設定される。被写体２０４の移動により被写体の位置がカメラＡ２０１の撮影範囲４０２を超えてしまい、画面中央に被写体像を表示できなくなった場合、被写体像を画面中央に表示できるように映像ソースの切り替えが必要である。この時の映像ソースの選択処理を以下に説明する。
【００２０】
例えば、選択していたカメラＡ２０１による映像ソースでは、被写体像を画面中央に表示し得なくなった場合（Ｓ３０５にてNOに分岐）、制御部１０７は別の映像ソースを検索する処理を行う。つまり被写体像を画面中央で表示可能な映像ソースが検索される。変更前と同じ範囲で画面切り出しが可能な映像ソースの検索方法としては、映像から画像認識で行う方法や、画面切り出し時の座標データに基づいて同じ範囲で画面切り出しが可能な映像ソースを検索する方法がある。また各映像ソースのカメラ位置情報と画角情報を取得し、両情報に基づいて画面切り出しが可能な範囲を計算で求める方法でもよい。
【００２１】
図５（Ａ）は、被写体２０４を含む画面切り出し範囲５０１がカメラＡの撮影範囲４０２の外に移動する時点で次に切り替えるべき映像ソースの選択処理を説明する図である。画面切り出し範囲５０１は、被写体２０４を画面中央に表示可能な範囲を示し、当該範囲の映像を提供可能な次の映像ソースは、カメラＢ２０２で撮影した映像ソースである。つまり画面切り出し範囲５０１はカメラＢ２０２の撮影範囲５０２内であって、カメラＣ２０３の撮影範囲５０３の外である。図３のＳ３０７にて制御部１０７は、被写体像を画面中央に表示可能な画面切り出し範囲を撮影範囲内に含む映像ソースの数を算出して、その数が２以上であるか否かを判定する。図５（Ａ）にて被写体２０４がカメラＡ２０１の撮影範囲４０２の外に出た直後において、前記映像ソースの数は１であり、NOの方向へ進む。ここで当該映像ソース、つまりカメラＢ２０２で撮影した映像を供給する映像ソースが選択され（Ｓ３１０）、Ｓ３１１に進む。
【００２２】
一方、Ｓ３０７にて、被写体像を画面中央に表示可能な画面切り出し範囲を撮影範囲内に含む映像ソースの数が２以上の場合、Ｓ３０８に進む。図５（Ｂ）は、被写体２０４を含む画面切り出し範囲６０１が、カメラＢ２０２の撮影範囲５０２内であって、かつカメラＣ２０３の撮影範囲５０３内である例を示す。被写体２０４を画面中央に含む映像については、カメラＢ、Ｃによる各映像ソースで表示可能である。この場合、制御部１０７は映像ソースの切り替え回数が極力少なくなるように映像ソースを選択する。具体的には図３のＳ３０８にて制御部１０７は被写体の動き予測処理を行い、動きベクトルを算出する。次に制御部１０７は、算出した動きベクトルの方向及び大きさに基づいて、表示可能時間が最も長い映像ソースを選択する（Ｓ３０９）。動きベクトルの算出処理については、被写体の移動軌跡をメモリに記憶しておき、このデータに基づいて算出するか、被写体の座標情報の他、移動方向や移動速度等の情報がメタデータとして与えられる場合に、当該データを用いて算出可能である。また「表示可能時間」は、画面切り出し範囲が各カメラの撮影範囲内に滞留可能な時間を、動きベクトルに基づいて予測することで算出可能である。
【００２３】
図６は、動きベクトルに基づく映像ソースの判定処理例を説明する図である。図６（Ａ）の例では、矢印で示すように動きベクトル７０１が図の右方を向いており、制御部１０７は、その方向に被写体２０４が動いた場合、先に画面切り出し処理が出来なくなる映像ソースを判断する。動きベクトル７０１の方向に被写体２０４が移動し続けたとすると、先に画面切り出し処理が不可能になるのは、カメラＢ２０２による映像ソースである。カメラＣ２０３による映像ソースを用いる方がより長い時間、被写体像を表示し続けることができる。そのため、映像ソースの切り替え頻度を低減し、より長く映像を映すことが可能なカメラＣ２０３で撮影した映像を供給する映像ソースが選択されることになる。
【００２４】
図６（Ｂ）は、動きベクトル８０１が図の下方を向いている場合を例示する。被写体２０４を画像中央にて長時間に亘って表示し続けることが可能な映像ソースは、カメラＣ２０３ではなくカメラＢ２０２で撮影したものである。よって、この場合、カメラＢ２０２で撮影した映像を供給する映像ソースが選択される。
図３のＳ３０９又はＳ３１０の後、Ｓ３１１に進む。ここで制御部１０７は多視点映像の選択指示部１０４を介してＩＰインターフェース部１０１に対し、前記ステップＳ３０９又はＳ３１０で選択した映像ソースへの切り替えを指示する。ＩＰインターフェース部１０１は当該映像ソースの映像に切り替える。
第１実施形態によれば、映像ソースの切り替え回数を最小限に抑えつつ、所望の被写体を追尾できる。
【００２５】
［第２実施形態］
次に本発明の第２実施形態を説明する。なお第２実施形態に係る装置の構成は第１実施形態の場合と同様であるため、以下では相違点を主に説明する。
図７は、カメラＡ乃至Ｃとは反対側にカメラＤ（符号２０５参照）を配置した場合の映像ソース選択処理を説明する図である。図中の撮影範囲９０１はカメラＤ２０５が撮影する範囲を示す。
【００２６】
図７（Ａ）は最初にカメラＡ２０１から供給される映像を使用していた場合を例示する。ここで被写体２０４が動きベクトル８０１に示す方向（図の下方）に移動したため、カメラＡ２０１による映像ソースでは、画面切り出し範囲６０１の映像が供給できなくなった状況を想定する。この場合、第１実施形態と同様に映像ソースの切り替えを必要とするが、動きベクトル８０１の方向から分かるように、最長時間に亘って被写体２０４の映像を表示可能な映像ソースは、カメラＢ２０２とカメラＤ２０５によるものである。しかし、カメラＡ２０１の映像からカメラＤ２０５の映像に切り替わると、それまでの映像と比べて、被写体像の移動の向きが反対になってしまう。このような映像の切り替えが自動で行われると、視聴者には被写体像の移動方向が分かり難くなり、視聴の妨げとなる可能性がある。そこで制御部１０７は、被写体の移動の向きが変わってしまう映像ソースに対して選択時の優先度を下げる。図７（Ａ）の例で優先順位を１乃至３で表すと、優先度１はカメラＢ２０２で撮影した映像であり、優先度２はカメラＣ２０３で撮影した映像、優先度３はカメラＤ２０５で撮影した映像となる。
【００２７】
図７（Ｂ）は、カメラＢ２０２が存在しない場合を例示する。被写体２０４が、動きベクトル８０１を示す矢印の向きに移動した場合、カメラＡ２０１による映像ソースからカメラＣ２０３による映像ソースに切り替わる。すなわち被写体２０４の画像を画面中央にて、より長時間表示可能なカメラＤ２０５の映像は優先順位が低いために選択されず、画面上で被写体像の移動の向きが変わらないカメラＣ２０３で撮影した映像が優先的に選択されて表示される。
【００２８】
第２実施形態によれば、変更前の映像ソースにおける被写体の移動方向と、変更後の映像ソースにおける被写体の移動方向が変化しないか、又は変化量が小さくなるように映像ソースの選択制御が行われる。これにより視聴者にとって違和感の少ない映像ソースの切り替えを実現できる。
【００２９】
［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態では、映像データの供給元である送信装置から受信装置に対し、選択すべき映像ソースを指定する処理例を示す。なお第３実施形態に係る装置の構成は第１実施形態の場合と同様であるため、以下では相違点を主に説明する。本実施形態においても映像ソースの選択基準については前記実施形態の場合と同じであるが、判断主体が映像表示装置１００の制御部１０７ではなく、配信装置の制御部である点で相違する。図１にて映像表示装置１００はユーザ操作に従って選択された被写体の情報をサーバ２００に通知する。サーバ２００のシステム制御部２１０は、使用すべき映像ソースの映像データ及び表示範囲に対応する画面切り出し範囲の指示情報を映像表示装置１００に送信する際の送信制御機能を有する。映像表示装置１００はそれらの情報に基づいて映像ソースの切り替えと表示を行う。
【００３０】
図８のフローチャートを用いて、サーバ２００の処理例を説明する。なお、以下の処理はシステム制御部２１０によって解釈及び実行されるプログラムに従って実現される。Ｓ３０４、Ｓ３０５、Ｓ３０７乃至３１０の処理はシステム制御部２１０が行うことを除いて、図３に示す第１実施形態の場合と同様であり、以下では相違点であるＳ１１０１乃至Ｓ１１０３、Ｓ１１１０を説明する。
【００３１】
サーバ２００のシステム制御部２１０は、映像表示装置１００に対して映像ソースを指示する（Ｓ１１０１）。システム制御部２１０は、映像表示装置１００から被写体情報を受け取り（Ｓ１１０２）、指定された被写体が画面中央に表示されるように画面切り出し範囲を決定する。そしてシステム制御部２１０は、被写体像を画面中央に含む画面切り出し範囲を示す指示情報を、映像表示装置１００に送信すべく制御する（Ｓ１１０３）。その後、Ｓ３０４の処理（被写体の移動検出）に進み、Ｓ３０５での判定結果がNOの場合、Ｓ３０７以降の処理が実行される。
【００３２】
Ｓ３０９又はＳ３１０の後、システム制御部２１０は、選択した映像ソースへの切り替えを映像表示装置１００に指示すべく送信制御を行う（Ｓ１１１０）。
次に図９のフローチャートを用いて映像表示装置１００の処理例を説明する。なお、以下の処理は制御部１０７によって解釈及び実行されるプログラムに従って実現される。
前記Ｓ１１０１での映像表示装置１００への指示に従い、制御部１０７は映像ソースの選択を制御する（Ｓ１２０１）。次にユーザの操作指示を受けて被写体の選択処理が行われる（Ｓ１２０２）。被写体の選択方法は第１実施形態の場合と同様である。制御部１０７は、選択された被写体を示す被写体情報をサーバ２００に通知する制御を行う（Ｓ１２０３）。前記Ｓ１１０３での指示に従って、範囲決定部１１０は画面切り出し範囲を決定し、表示部１１３は当該範囲の映像を表示する（Ｓ１２０４）。
【００３３】
その後、サーバ２００のシステム制御部２１０は、被写体の動き（移動速度）を検出し（図８のＳ３０４参照）、被写体が動いたか否かを判定する。図８のＳ３０５乃至３１０を経てＳ１１１０に到達すると、サーバ２００のシステム制御部２１０は、選択した映像ソースを映像表示装置１００に指示する。映像表示装置１００の制御部１０７はこの指示を受けて、映像ソースの変更について判定する（Ｓ１２０５）。その結果、当該指示が映像ソースの変更指示と判定された場合（YESに分岐）、制御部１０７は多視点映像の選択指示部１０４を介してＩＰインターフェース部１０１に指示を送る。これにより、指示された映像ソースに変更され（Ｓ１２０６）、Ｓ１２０７に進む。またＳ１２０５にて映像ソースの変更指示でないと判定された場合（NOに分岐）、Ｓ１２０７に進む。ここで制御部１０７は画面切り出し範囲の変更指示があったか否かを判定し、当該範囲の変更指示があればＳ１２０８に進む。ここで範囲決定部１１０は画面切り出し範囲を変更し、表示部１１３は当該範囲の映像を表示する。そしてＳ１２０５に戻る。またＳ１２０７にて画面切り出し範囲の変更指示がないと判定された場合にはＳ１２０５に戻る。
第３実施形態では、配信装置にて被写体の追尾を行い、映像ソースの選択指示及び画面切り出し範囲の指示を映像表示装置に送る。これにより映像表示装置にて画面切り替えの頻度を最小限に抑えつつ、被写体像を常に画面中央に表示し続けることができる。
【００３４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３５】
１００：映像表示装置
１０１：ＩＰインターフェース部
１０４：多視点映像の選択指示部
１０７：制御部
１０８：被写体選択部
１０９：被写体抽出部
１１１：出力映像生成部
【技術分野】
【０００１】
本発明は、多視点映像情報を処理する映像処理装置及び映像処理方法に関するものである。
【背景技術】
【０００２】
本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究開発が行われている。その中の１つに、多数のカメラを配置して撮影した映像のデータを配信し、視聴者が映像ソース（カメラ映像）から所望の映像を自由に選択できる「多視点映像システム」が挙げられる。特許文献１に開示された技術では、多視点映像が放送ストリームに多重化されて送信され、受信装置で任意の視点映像を取り出して映像表示する。
【０００３】
また、個々のカメラからの映像については高画角、高解像度の映像データがそれぞれ提供され、映像処理装置で自由に範囲を切り出して映像表示部に表示することが想定される。図１０（Ａ）は、被写体Ａ乃至Ｃ（符号１３０４乃至１３０６参照）を撮影するため、その周囲に多視点用カメラを配置した例を示す。複数台のカメラのうち、カメラＡ乃至Ｃに符号１３０１乃至１３０３を付して示す。図１０（Ｂ）には、カメラＢ１３０２の視野に対応する撮影範囲１４０２及びカメラＡ１３０１の視野に対応する撮影範囲１４０３を示す。撮影範囲１４０２内には被写体Ａ乃至Ｃが存在し、撮影範囲１４０３内には被写体Ａ及びＢが存在する。
【０００４】
映像処理装置は画面切り出し範囲１４０１にて被写体を含む画面の切り出しを行って当該範囲の映像を表示する。例えば、カメラＢ１３０２で撮影した映像において被写体Ｂ１３０５を含むように画面の切り出しが行われる場合、その被写体像が画面中央に表示される。一方、カメラＡ１３０１で撮影した場合、被写体Ａ１３０４及びＢ１３０５は撮影範囲１４０３内に収まっているので、画面の切り出しにより各被写体像を画面中央に表示可能である。しかし、被写体Ｃ１３０６は撮影範囲１４０３内に収まっていない。このため被写体Ｃ１３０６の映像を画面中央に表示する場合、カメラＢやＣから提供される映像を使用する必要がある。このように多視点映像システムにおいては視聴者が視聴を望む範囲に応じて使用する映像ソース及び画面切り出し範囲の選択が必要である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１３０５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の映像を処理する映像処理装置において、映像選択方法としては、視聴者の操作指示によって映像ソース及び表示範囲を選択することが考えられる。例えばスポーツ番組等のように、場所が頻繁に変わる番組を視聴者が視聴する場合、操作を頻繁に行う必要があるため操作上の負担が大きい。
そこで装置側で自動的に表示範囲を選択するために、視聴者が指定した特定の被写体を追尾して常に画面中央に表示する機能をもつ映像処理装置が考えられる。該装置が被写体を検出して、その被写体像を画面中央に捉えるように映像ソースを選択し、表示範囲を選択すれば、視聴者は操作なしに所望の映像を視聴できる。今後、次世代のデジタル放送サービスとして多視点映像サービスがさらに普及し、上記機能を備えた装置の台頭が予想される。
【０００７】
映像処理装置が映像ソースを選択し直すことで、所望の被写体像を画面中央に表示し続けることが可能となる。その際に映像ソースの選択方法によっては、被写体の動きに合わせて頻繁に映像ソースが切り替わってしまうという事態が起こり得る。頻繁に映像ソースが切り替わると視聴者にとっては非常に見難い映像が表示されてしまう虞がある。
そこで本発明は、映像ソースの切り替えを最小限に抑えてユーザの利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明に係る装置は、撮影範囲の異なる複数の映像データを処理して、指定された被写体を追尾する映像処理装置であって、前記映像データから前記指定された被写体の画像データを抽出する抽出手段と、前記指定された被写体の移動を検出して動き予測処理を行い、前記複数の映像データのそれぞれの撮影範囲内に当該移動する被写体が含まれる時間を算出し、算出した時間に基づいて当該被写体を画面に表示すべく前記複数の映像データから１つの映像データを選択する制御を行う制御手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、指定された被写体の追尾処理において、画面の切り替わり頻度を低減することで、視聴者が見易い映像を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図２乃至６と併せて本発明の第１実施形態を説明するために、装置の構成例を示すブロック図である。
【図２】多視点映像に関するカメラ配置例を示す概略図である。
【図３】処理例を示すフローチャートである。
【図４】カメラＡの撮影範囲と画面切り出し範囲の説明図である。
【図５】カメラＡ乃至Ｃの各撮影範囲と画面切り出し範囲の説明図である。
【図６】被写体の動きベクトルの説明図である。
【図７】本発明の第２実施形態に係るカメラ配置と被写体の移動を示す説明図である。
【図８】図９と併せて本発明の第３実施形態を説明するために、サーバの処理例を示すフローチャートである。
【図９】映像表示装置の処理例を示すフローチャートである。
【図１０】多視点映像システムの説明図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
図１は本発明の第１実施形態に係るシステムの構成例を示すブロック図である。本例では、デジタル放送局の配信装置としてのＩＰ（Internet Protocol）放送サーバ（以下、単にサーバという）と、映像処理装置としての映像表示装置を示す。
まず多視点映像データをサーバ２００から取得するブロックについて説明する。映像表示装置１００は、そのＩＰインターフェース部１０１がデジタル放送局の多視点映像データを提供するサーバ２００に対し、ＴＣＰ／ＩＰプロトコルを使ってインターネット経由で接続される。図１にはサーバ２００が配信する多視点映像データのうち、３つの視点映像データを代表して示す。ＩＰインターフェース部１０１はサーバ２００からデータを受信して復号化し、ＩＰ・ＴＳ（トランスポートストリーム）処理部１０２に出力する。またＩＰインターフェース部１０１はサーバ２００への要求を出力する。
【００１２】
ＩＰ・ＴＳ処理部１０２は暗号化されたＴＳ信号を取り出し、暗号化を解除した信号をＩＰ・ＭＰＥＧデコード部１０３に出力する。ＭＰＥＧは"Moving Picture Experts Group"の略号である。ＩＰ・ＭＰＥＧデコード部１０３は圧縮された映像データを伸長し、これを被写体選択用の映像データとして被写体抽出部１０９に出力する。ＩＰ・ＭＰＥＧデコード部１０３は出力映像生成部１１１にも伸長後の映像データを出力する。
【００１３】
次に、被写体の選択及び追尾のために画面切り出し範囲を決定するブロックについて説明する。リモートコンローラ（以下、リモコンという）１０５はユーザが映像表示装置１００への操作指示を送信する際に使用する。ユーザがリモコン１０５を使用して被写体を選択する際、リモコン１０５からの信号をリモコン信号受信部１０６が受信して操作指示信号を制御部１０７に出力する。制御部１０７は、ユーザの操作指示を受けて被写体を決定し、被写体選択部１０８は、複数の被写体から選択された被写体の情報（被写体情報）を保持する。被写体情報は画面切り出し範囲決定部（以下、範囲決定部という）１１０に送られ、範囲決定部１１０は被写体情報に基づいて画面切り出し範囲を決定する。画面切り出し範囲の情報は出力映像生成部１１１に送信される。ここではＩＰ・ＭＰＥＧデコード部１０３から送られてきた映像データの一部を、切り出し範囲情報に基づいて抽出する処理が行われ、処理後の映像信号が出力処理部１１２に送出される。出力処理部１１２の出力する映像信号は表示部１１３に送られて映像が表示される。
【００１４】
制御部１０７は範囲決定部１１０からの情報に基づき、多視点映像の選択指示部１０４を制御する。つまり、映像ソースの切り替えが必要な場合、制御部１０７は多視点映像の選択指示部１０４を介してＩＰインターフェース部１０１に映像ソースの切り替えを指示する。この指示に従ってＩＰインターフェース部１０１は、指示された映像データに変更するために、サーバ２００に対して多視点映像の切り替えを要求する。これにより制御部１０７が選択した映像ソースが提供するデータへの変更制御が行われる。なお各映像ソースは、撮影範囲の異なるカメラでの撮影により提供される映像データを含む。
【００１５】
図２は映像ソースを提供するカメラの配置例を示す。例えば競技場の周囲に、撮影範囲が異なる複数台のカメラが配置されていて、各カメラで撮影した映像が多視点映像として放送局から供給されるものとする。カメラＡ乃至Ｃ（符号２０１乃至２０３参照）は、黒点で示す被写体２０４を撮影すべく、矩形状をした競技場の周囲にて一方の長辺方向に沿って互いに隣接して配置されている。また後述の第２実施形態にて説明するカメラＤ（符号２０５参照）は、競技場を挟んでカメラＡ乃至Ｃとは反対側でカメラＢと対向する場所に配置されている。
【００１６】
映像表示装置１００がＩＰインターフェース部１０１からサーバ２００に対してカメラＡの視点映像（Ａ視点映像）の映像データを要求した場合（図１参照）、サーバ２００からカメラＡ２０１により撮影された映像データが供給される。同様に、サーバ２００に対してカメラＢ２０２の視点映像（Ｂ視点映像）や、カメラＣ２０３の視点映像（Ｃ視点映像）を映像表示装置１００がサーバ２００に要求すれば、各視点映像のデータが供給される。これらの映像を表示部１１３が表示することで多視点映像システムを実現でき、視聴者に所望の視点映像を提供できる。
【００１７】
次に図３のフローチャートを用いて、映像表示装置１００の動作を説明する。なお、以下の処理は該フローチャートに従って作成されたプログラムを制御部１０７が解釈して実行することで実現される。まず制御部１０７は、表示映像に関する映像ソースの選択をユーザに促すために選択画面を表示部１１３に表示させる（Ｓ３０１）。この場合、表示画面上に選択肢を提示してユーザに選択させるか、あるいは、予め定められた映像ソースを表示してもよいし、放送局側で初めに表示する映像ソースを指定してもよい。次に制御部１０７はユーザに対し、所望の被写体を選択させる処理を実行する（Ｓ３０２）。ユーザが被写体を選択する方法として、例えば制御部１０７は、ユーザ操作によって画面の一部を範囲指定させるように制御し、指定された範囲の画像認識によって被写体を特定して該被写体のデータを登録する。あるいはメタデータによって与えられている情報（選手情報等）に基づいて、制御部１０７は、ユーザに対して所望の被写体を選択させるように制御してもよい。
【００１８】
被写体の選択後、被写体抽出部１０９は選択された被写体の画像データを抽出する。範囲決定部１１０は、現時点で選択されている映像ソースから提供される映像の一部を切り出して、被写体像が画面中央に表示されるように画面切り出し範囲を設定し（Ｓ３０３）、表示部１１３に映像を表示する。次の処理で制御部１０７は被写体が動いたか否かを判定する（Ｓ３０４）。その結果、被写体が動いたと判定された場合、Ｓ３０５に進むが、被写体に動きがないと判定された場合にはＳ３０４の判定処理が繰り返される。
【００１９】
次に制御部１０７は現時点の映像ソースにて被写体像を画面中央で表示可能か否かを判定する（Ｓ３０５）。被写体像を画面中央で表示可能であると判定された場合（YESに分岐）、Ｓ３０３に戻り、範囲決定部１１０は、画面切り出し範囲を変更する。図４は、カメラＡ２０１を用いて被写体２０４を撮影した映像ソースの映像を使用する場合にカメラ位置と画面切り出し範囲４０１、撮影範囲４０２を示す。なお撮影範囲４０２は映像ソースの提供する映像データに基づいて算出及び判定可能であり、または当該範囲を示す情報をサーバ２００から取得可能である。各カメラの撮影範囲は、例えば、カメラの座標位置と、カメラの撮影方向と、カメラの画角（撮影範囲の角度）によって定められる。表示部１１３の表示範囲に対応する画面切り出し範囲４０１は被写体２０４を画面中央に含むように設定される。被写体２０４の移動により被写体の位置がカメラＡ２０１の撮影範囲４０２を超えてしまい、画面中央に被写体像を表示できなくなった場合、被写体像を画面中央に表示できるように映像ソースの切り替えが必要である。この時の映像ソースの選択処理を以下に説明する。
【００２０】
例えば、選択していたカメラＡ２０１による映像ソースでは、被写体像を画面中央に表示し得なくなった場合（Ｓ３０５にてNOに分岐）、制御部１０７は別の映像ソースを検索する処理を行う。つまり被写体像を画面中央で表示可能な映像ソースが検索される。変更前と同じ範囲で画面切り出しが可能な映像ソースの検索方法としては、映像から画像認識で行う方法や、画面切り出し時の座標データに基づいて同じ範囲で画面切り出しが可能な映像ソースを検索する方法がある。また各映像ソースのカメラ位置情報と画角情報を取得し、両情報に基づいて画面切り出しが可能な範囲を計算で求める方法でもよい。
【００２１】
図５（Ａ）は、被写体２０４を含む画面切り出し範囲５０１がカメラＡの撮影範囲４０２の外に移動する時点で次に切り替えるべき映像ソースの選択処理を説明する図である。画面切り出し範囲５０１は、被写体２０４を画面中央に表示可能な範囲を示し、当該範囲の映像を提供可能な次の映像ソースは、カメラＢ２０２で撮影した映像ソースである。つまり画面切り出し範囲５０１はカメラＢ２０２の撮影範囲５０２内であって、カメラＣ２０３の撮影範囲５０３の外である。図３のＳ３０７にて制御部１０７は、被写体像を画面中央に表示可能な画面切り出し範囲を撮影範囲内に含む映像ソースの数を算出して、その数が２以上であるか否かを判定する。図５（Ａ）にて被写体２０４がカメラＡ２０１の撮影範囲４０２の外に出た直後において、前記映像ソースの数は１であり、NOの方向へ進む。ここで当該映像ソース、つまりカメラＢ２０２で撮影した映像を供給する映像ソースが選択され（Ｓ３１０）、Ｓ３１１に進む。
【００２２】
一方、Ｓ３０７にて、被写体像を画面中央に表示可能な画面切り出し範囲を撮影範囲内に含む映像ソースの数が２以上の場合、Ｓ３０８に進む。図５（Ｂ）は、被写体２０４を含む画面切り出し範囲６０１が、カメラＢ２０２の撮影範囲５０２内であって、かつカメラＣ２０３の撮影範囲５０３内である例を示す。被写体２０４を画面中央に含む映像については、カメラＢ、Ｃによる各映像ソースで表示可能である。この場合、制御部１０７は映像ソースの切り替え回数が極力少なくなるように映像ソースを選択する。具体的には図３のＳ３０８にて制御部１０７は被写体の動き予測処理を行い、動きベクトルを算出する。次に制御部１０７は、算出した動きベクトルの方向及び大きさに基づいて、表示可能時間が最も長い映像ソースを選択する（Ｓ３０９）。動きベクトルの算出処理については、被写体の移動軌跡をメモリに記憶しておき、このデータに基づいて算出するか、被写体の座標情報の他、移動方向や移動速度等の情報がメタデータとして与えられる場合に、当該データを用いて算出可能である。また「表示可能時間」は、画面切り出し範囲が各カメラの撮影範囲内に滞留可能な時間を、動きベクトルに基づいて予測することで算出可能である。
【００２３】
図６は、動きベクトルに基づく映像ソースの判定処理例を説明する図である。図６（Ａ）の例では、矢印で示すように動きベクトル７０１が図の右方を向いており、制御部１０７は、その方向に被写体２０４が動いた場合、先に画面切り出し処理が出来なくなる映像ソースを判断する。動きベクトル７０１の方向に被写体２０４が移動し続けたとすると、先に画面切り出し処理が不可能になるのは、カメラＢ２０２による映像ソースである。カメラＣ２０３による映像ソースを用いる方がより長い時間、被写体像を表示し続けることができる。そのため、映像ソースの切り替え頻度を低減し、より長く映像を映すことが可能なカメラＣ２０３で撮影した映像を供給する映像ソースが選択されることになる。
【００２４】
図６（Ｂ）は、動きベクトル８０１が図の下方を向いている場合を例示する。被写体２０４を画像中央にて長時間に亘って表示し続けることが可能な映像ソースは、カメラＣ２０３ではなくカメラＢ２０２で撮影したものである。よって、この場合、カメラＢ２０２で撮影した映像を供給する映像ソースが選択される。
図３のＳ３０９又はＳ３１０の後、Ｓ３１１に進む。ここで制御部１０７は多視点映像の選択指示部１０４を介してＩＰインターフェース部１０１に対し、前記ステップＳ３０９又はＳ３１０で選択した映像ソースへの切り替えを指示する。ＩＰインターフェース部１０１は当該映像ソースの映像に切り替える。
第１実施形態によれば、映像ソースの切り替え回数を最小限に抑えつつ、所望の被写体を追尾できる。
【００２５】
［第２実施形態］
次に本発明の第２実施形態を説明する。なお第２実施形態に係る装置の構成は第１実施形態の場合と同様であるため、以下では相違点を主に説明する。
図７は、カメラＡ乃至Ｃとは反対側にカメラＤ（符号２０５参照）を配置した場合の映像ソース選択処理を説明する図である。図中の撮影範囲９０１はカメラＤ２０５が撮影する範囲を示す。
【００２６】
図７（Ａ）は最初にカメラＡ２０１から供給される映像を使用していた場合を例示する。ここで被写体２０４が動きベクトル８０１に示す方向（図の下方）に移動したため、カメラＡ２０１による映像ソースでは、画面切り出し範囲６０１の映像が供給できなくなった状況を想定する。この場合、第１実施形態と同様に映像ソースの切り替えを必要とするが、動きベクトル８０１の方向から分かるように、最長時間に亘って被写体２０４の映像を表示可能な映像ソースは、カメラＢ２０２とカメラＤ２０５によるものである。しかし、カメラＡ２０１の映像からカメラＤ２０５の映像に切り替わると、それまでの映像と比べて、被写体像の移動の向きが反対になってしまう。このような映像の切り替えが自動で行われると、視聴者には被写体像の移動方向が分かり難くなり、視聴の妨げとなる可能性がある。そこで制御部１０７は、被写体の移動の向きが変わってしまう映像ソースに対して選択時の優先度を下げる。図７（Ａ）の例で優先順位を１乃至３で表すと、優先度１はカメラＢ２０２で撮影した映像であり、優先度２はカメラＣ２０３で撮影した映像、優先度３はカメラＤ２０５で撮影した映像となる。
【００２７】
図７（Ｂ）は、カメラＢ２０２が存在しない場合を例示する。被写体２０４が、動きベクトル８０１を示す矢印の向きに移動した場合、カメラＡ２０１による映像ソースからカメラＣ２０３による映像ソースに切り替わる。すなわち被写体２０４の画像を画面中央にて、より長時間表示可能なカメラＤ２０５の映像は優先順位が低いために選択されず、画面上で被写体像の移動の向きが変わらないカメラＣ２０３で撮影した映像が優先的に選択されて表示される。
【００２８】
第２実施形態によれば、変更前の映像ソースにおける被写体の移動方向と、変更後の映像ソースにおける被写体の移動方向が変化しないか、又は変化量が小さくなるように映像ソースの選択制御が行われる。これにより視聴者にとって違和感の少ない映像ソースの切り替えを実現できる。
【００２９】
［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態では、映像データの供給元である送信装置から受信装置に対し、選択すべき映像ソースを指定する処理例を示す。なお第３実施形態に係る装置の構成は第１実施形態の場合と同様であるため、以下では相違点を主に説明する。本実施形態においても映像ソースの選択基準については前記実施形態の場合と同じであるが、判断主体が映像表示装置１００の制御部１０７ではなく、配信装置の制御部である点で相違する。図１にて映像表示装置１００はユーザ操作に従って選択された被写体の情報をサーバ２００に通知する。サーバ２００のシステム制御部２１０は、使用すべき映像ソースの映像データ及び表示範囲に対応する画面切り出し範囲の指示情報を映像表示装置１００に送信する際の送信制御機能を有する。映像表示装置１００はそれらの情報に基づいて映像ソースの切り替えと表示を行う。
【００３０】
図８のフローチャートを用いて、サーバ２００の処理例を説明する。なお、以下の処理はシステム制御部２１０によって解釈及び実行されるプログラムに従って実現される。Ｓ３０４、Ｓ３０５、Ｓ３０７乃至３１０の処理はシステム制御部２１０が行うことを除いて、図３に示す第１実施形態の場合と同様であり、以下では相違点であるＳ１１０１乃至Ｓ１１０３、Ｓ１１１０を説明する。
【００３１】
サーバ２００のシステム制御部２１０は、映像表示装置１００に対して映像ソースを指示する（Ｓ１１０１）。システム制御部２１０は、映像表示装置１００から被写体情報を受け取り（Ｓ１１０２）、指定された被写体が画面中央に表示されるように画面切り出し範囲を決定する。そしてシステム制御部２１０は、被写体像を画面中央に含む画面切り出し範囲を示す指示情報を、映像表示装置１００に送信すべく制御する（Ｓ１１０３）。その後、Ｓ３０４の処理（被写体の移動検出）に進み、Ｓ３０５での判定結果がNOの場合、Ｓ３０７以降の処理が実行される。
【００３２】
Ｓ３０９又はＳ３１０の後、システム制御部２１０は、選択した映像ソースへの切り替えを映像表示装置１００に指示すべく送信制御を行う（Ｓ１１１０）。
次に図９のフローチャートを用いて映像表示装置１００の処理例を説明する。なお、以下の処理は制御部１０７によって解釈及び実行されるプログラムに従って実現される。
前記Ｓ１１０１での映像表示装置１００への指示に従い、制御部１０７は映像ソースの選択を制御する（Ｓ１２０１）。次にユーザの操作指示を受けて被写体の選択処理が行われる（Ｓ１２０２）。被写体の選択方法は第１実施形態の場合と同様である。制御部１０７は、選択された被写体を示す被写体情報をサーバ２００に通知する制御を行う（Ｓ１２０３）。前記Ｓ１１０３での指示に従って、範囲決定部１１０は画面切り出し範囲を決定し、表示部１１３は当該範囲の映像を表示する（Ｓ１２０４）。
【００３３】
その後、サーバ２００のシステム制御部２１０は、被写体の動き（移動速度）を検出し（図８のＳ３０４参照）、被写体が動いたか否かを判定する。図８のＳ３０５乃至３１０を経てＳ１１１０に到達すると、サーバ２００のシステム制御部２１０は、選択した映像ソースを映像表示装置１００に指示する。映像表示装置１００の制御部１０７はこの指示を受けて、映像ソースの変更について判定する（Ｓ１２０５）。その結果、当該指示が映像ソースの変更指示と判定された場合（YESに分岐）、制御部１０７は多視点映像の選択指示部１０４を介してＩＰインターフェース部１０１に指示を送る。これにより、指示された映像ソースに変更され（Ｓ１２０６）、Ｓ１２０７に進む。またＳ１２０５にて映像ソースの変更指示でないと判定された場合（NOに分岐）、Ｓ１２０７に進む。ここで制御部１０７は画面切り出し範囲の変更指示があったか否かを判定し、当該範囲の変更指示があればＳ１２０８に進む。ここで範囲決定部１１０は画面切り出し範囲を変更し、表示部１１３は当該範囲の映像を表示する。そしてＳ１２０５に戻る。またＳ１２０７にて画面切り出し範囲の変更指示がないと判定された場合にはＳ１２０５に戻る。
第３実施形態では、配信装置にて被写体の追尾を行い、映像ソースの選択指示及び画面切り出し範囲の指示を映像表示装置に送る。これにより映像表示装置にて画面切り替えの頻度を最小限に抑えつつ、被写体像を常に画面中央に表示し続けることができる。
【００３４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３５】
１００：映像表示装置
１０１：ＩＰインターフェース部
１０４：多視点映像の選択指示部
１０７：制御部
１０８：被写体選択部
１０９：被写体抽出部
１１１：出力映像生成部
【特許請求の範囲】
【請求項１】
撮影範囲の異なる複数の映像データを処理して、指定された被写体を追尾する映像処理装置であって、
前記映像データから前記指定された被写体の画像データを抽出する抽出手段と、
前記指定された被写体の移動を検出して動き予測処理を行い、前記複数の映像データのそれぞれの撮影範囲内に当該移動する被写体が含まれる時間を算出し、算出した時間に基づいて当該被写体を画面に表示すべく前記複数の映像データから１つの映像データを選択する制御を行う制御手段と、を備えることを特徴とする映像処理装置。
【請求項２】
前記制御手段は、前記移動する被写体の座標情報及び動きベクトルに基づいて、前記複数の映像データのそれぞれの撮影範囲内に当該移動する被写体が含まれる時間を算出することを特徴とする、請求項１記載の映像処理装置。
【請求項３】
前記制御手段は、前記複数の映像データのうち、撮影範囲内に前記移動する被写体が含まれる時間が最も長い映像データを選択することを特徴とする、請求項１又は請求項２記載の映像処理装置。
【請求項４】
前記制御手段は、前記映像データの撮影範囲の外に前記指定された被写体が移動する場合、当該移動する被写体の画像の移動方向が変化しないように、前記複数の映像データから１つの映像データを選択することを特徴とする、請求項１から請求項３のいずれか１項記載の映像処理装置。
【請求項５】
撮影範囲の異なる複数の映像データを処理して、指定された被写体を追尾する映像処理方法であって、
前記映像データから前記指定された被写体の画像データを抽出する抽出ステップと、
前記指定された被写体の移動を検出して動き予測処理を行い、前記複数の映像データのそれぞれの撮影範囲内に当該移動する被写体が含まれる時間を算出する算出ステップと、
前記算出ステップで算出した時間に基づいて前記移動する被写体を画面に表示すべく前記複数の映像データから１つの映像データを選択する選択ステップとを有することを特徴とする映像処理方法。
【請求項１】
撮影範囲の異なる複数の映像データを処理して、指定された被写体を追尾する映像処理装置であって、
前記映像データから前記指定された被写体の画像データを抽出する抽出手段と、
前記指定された被写体の移動を検出して動き予測処理を行い、前記複数の映像データのそれぞれの撮影範囲内に当該移動する被写体が含まれる時間を算出し、算出した時間に基づいて当該被写体を画面に表示すべく前記複数の映像データから１つの映像データを選択する制御を行う制御手段と、を備えることを特徴とする映像処理装置。
【請求項２】
前記制御手段は、前記移動する被写体の座標情報及び動きベクトルに基づいて、前記複数の映像データのそれぞれの撮影範囲内に当該移動する被写体が含まれる時間を算出することを特徴とする、請求項１記載の映像処理装置。
【請求項３】
前記制御手段は、前記複数の映像データのうち、撮影範囲内に前記移動する被写体が含まれる時間が最も長い映像データを選択することを特徴とする、請求項１又は請求項２記載の映像処理装置。
【請求項４】
前記制御手段は、前記映像データの撮影範囲の外に前記指定された被写体が移動する場合、当該移動する被写体の画像の移動方向が変化しないように、前記複数の映像データから１つの映像データを選択することを特徴とする、請求項１から請求項３のいずれか１項記載の映像処理装置。
【請求項５】
撮影範囲の異なる複数の映像データを処理して、指定された被写体を追尾する映像処理方法であって、
前記映像データから前記指定された被写体の画像データを抽出する抽出ステップと、
前記指定された被写体の移動を検出して動き予測処理を行い、前記複数の映像データのそれぞれの撮影範囲内に当該移動する被写体が含まれる時間を算出する算出ステップと、
前記算出ステップで算出した時間に基づいて前記移動する被写体を画面に表示すべく前記複数の映像データから１つの映像データを選択する選択ステップとを有することを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１８２１６０（Ｐ２０１１−１８２１６０Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４３９６７（Ｐ２０１０−４３９６７）
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]