オブジェクト追跡方法及び装置
【課題】 ビデオにおけるオブジェクトを追跡する装置及び方法を提供する。詳細には、撮影されたシーンにおけるオブジェクトの現実感を向上させる方法及び装置を提供する。
【解決手段】 ビデオの最初のフレーム及び最後のフレームを特定し、検出されたオブジェクトの経路に、出力された位置データを改善する補正処理を施すことによって、現実感の向上が実現される。
【解決手段】 ビデオの最初のフレーム及び最後のフレームを特定し、検出されたオブジェクトの経路に、出力された位置データを改善する補正処理を施すことによって、現実感の向上が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト追跡方法及び装置に関する。
【背景技術】
【０００２】
現在、一連の画像にわたってオブジェクトの位置を追跡することが必要とされている。この技術の一例は、スポーツ関連のテレビジョン放送である。ライブのスポーツイベントの撮影中に、ビデオクリップ中の、ピッチ（グラウンド）上でのボールの位置を追跡してハイライト表示し、そのイベントに関する他の情報を正確に取得することが有用である。この正確に取得された情報は、後にそのスポーツイベントのコンピューターシミュレーションを形成する際に用いることができる。例えば、コンピュータゲーム業界において、現実のスポーツイベントを仮想空間に再構築する可能性がある。現実のスポーツイベントを正確に仮想空間に移し替えるために、撮影したビデオクリップを用いて、グラウンド上でのボールの位置及びボールの軌跡を、試合を通して正確且つ現実的に求める必要がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６０７２５０４号明細書
【特許文献２】国際公開ＷＯ２００７／０４５００１号パンフレット
【特許文献３】国際公開ＷＯ２００８／０６９９９５号パンフレット
【特許文献４】国際公開ＷＯ２００７／０３５８７８号パンフレット
【特許文献５】米国特許公開第２００７／００８６６２２号明細書
【特許文献６】国際公開ＷＯ２００６／０７７８０６号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これを達成するための一つの方法は、操作者がスポーツイベントの撮影画像を見て、ビデオのフレーム毎に、例えばグラウンド上のボールの位置を記録することである。しかしながら、これには多くの欠点がある。第１に、この手法には非常に時間と手間がかかる。第２に、スタジアムにおいてビデオを撮影しているテレビジョンカメラは１つの位置に固定されていない（すなわち、カメラがボールを追ってパン及びチルトする）ため、操作者がフレーム毎にボールの位置を記録しても、グラウンド上のボールの位置を特定する正確な情報を提供することができない。
【０００５】
本発明の実施形態は、グラウンド上のボールの位置を現実的に求めるという課題に対処することを目的とする。
【０００６】
本発明の第１の態様によれば、或る位置に固定された少なくとも１台のカメラによって撮影され、第１のフラグ付きフレーム及び第２のフラグ付きフレームを有する、或る場所を映したビデオにおけるオブジェクトを追跡するオブジェクト追跡方法が提供される。当該方法は、前記ビデオの前記第１のフラグ付きフレームにおける第１のアンカーポイントを検出し、前記第１のフラグ付きフレーム及びそれ以降のフレームにおいて、前記場所内での前記オブジェクトの位置を検出し、前記ビデオの前記第２のフラグ付きフレームにおける第２のアンカーポイントを検出し、前記第２のフラグ付きフレームにおいて、前記場所内での前記オブジェクトの位置を検出し、前記第１のフラグ付きフレームから前記第２のフラグ付きフレームまでの各フレームにおいて、前記場所内での前記オブジェクトの位置を、多項式に従って調整し、前記第１のフラグ付きフレーム及び前記第２のフラグ付きフレームにおいて検出されたアンカーポイントにおいて発生したアクションを識別するメタデータが定義され、前記アクションは、所定のアクションリストから選択される。
【０００７】
これにより、前記場所内での前記オブジェクトのモデリングの現実感がより向上するため、有用である。この現実感は、前記オブジェクトの位置を、前記場所を撮影したビデオクリップから導出することにより、向上する。多項式は、対象となるオブジェクトについてのいかなる事前知識や物理モデルも有することなく、前記場所内での前記オブジェクトの種々の異なる動きに適合することができる。
【０００８】
さらに、発生したアクションを識別するメタデータを、アクションの所定のリストから選択できるようにすることにより、さらなる利点が提供される。これにより、アクションを選択する速度が速くなる。
【０００９】
前記多項式は、前記ビデオの前記第１のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置から、前記ビデオの前記第２のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置にわたる。
【００１０】
前記ビデオの前記各フレームにおける前記オブジェクトの検出された位置と、前記多項式によって定義された前記ビデオの前記各フレームにおける前記場所内での前記オブジェクトの位置との間の誤差が最小限となるように、前記多項式のパラメータが選択される。
【００１１】
前記第２のアンカーポイントは、前記オブジェクトの方向変化に応じて検出される。
【００１２】
前記多項式は、多項式補間法を用いて生成される。
【００１３】
前記多項式は、ファンデルモンド行列を用いて生成される。
【００１４】
前記ビデオにおけるオブジェクトを追跡する前に、当該ビデオのフレームにおいて、前記場所における既知の位置に対応する複数の位置を規定し、前記ビデオの前記フレームから、前記場所内での前記既知の位置を基準として、前記ビデオにおける他の位置を規定する。
【００１５】
前記場所は、少なくとも１本の直線を有し、前記ビデオにおける前記オブジェクトを追跡する前に、前記カメラによって撮影された前記ビデオにおける前記直線の位置が、前記場所における前記直線に対応するように適合される。
【００１６】
前記オブジェクトの前記調整された位置は、仮想環境内での前記オブジェクトの位置を定義するために用いられる。
【００１７】
本発明の第２の態様によれば、或る位置に固定された少なくとも１台のカメラによって撮影され、第１のフラグ付きフレーム及び第２のフラグ付きフレームを有する、或る場所を映したビデオにおけるオブジェクトを追跡するオブジェクト追跡装置が提供される。当該装置は、前記ビデオの前記第１のフラグ付きフレームにおける第１のアンカーポイントを検出する第１の検出部と、前記第１のフラグ付きフレーム及びそれ以降のフレームにおいて、前記場所内での前記オブジェクトの位置を検出する第２の検出部と、前記ビデオの前記第１のフラグ付きフレームにおける第２のアンカーポイントを検出し、前記第２のフラグ付きフレームにおいて、前記場所内での前記オブジェクトの位置を検出する第３の検出部と、前記第１のフラグ付きフレームから前記第２のフラグ付きフレームまでの各フレームにおいて、前記場所内での前記オブジェクトの位置を、多項式に従って調整する処理部とを具備し、前記第１のフラグ付きフレーム及び前記第２のフラグ付きフレームにおいて検出されたアンカーポイントにおいて発生したアクションを識別するメタデータが定義され、前記アクションは、所定のアクションリストから選択される。
【００１８】
前記多項式は、前記ビデオの前記第１のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置から、前記ビデオの前記第２のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置にわたる。
【００１９】
前記ビデオの前記各フレームにおける前記オブジェクトの検出された位置と、前記多項式によって定義された前記ビデオの前記各フレームにおける前記場所内での前記オブジェクトの位置との間の誤差が最小限となるように、前記多項式のパラメータが選択される。
【００２０】
前記第２のアンカーポイントは、前記オブジェクトの方向変化に応じて検出される。
【００２１】
前記多項式は、多項式補間法を用いて生成される。
【００２２】
前記多項式は、ファンデルモンド行列を用いて生成される。
【００２３】
係数を行列として計算された多項式は、従来の多項式解よりも処理し易いため、本発明の実施形態がコンピュータにおいて実現される際に有用である。
【００２４】
前記処理部は、前記ビデオにおけるオブジェクトを追跡する前に、当該ビデオのフレームにおいて、前記場所における既知の位置に対応する複数の位置を規定し、
前記ビデオの前記フレームから、前記場所内での前記既知の位置を基準として、前記ビデオにおける他の位置を規定する。
【００２５】
前記場所は、少なくとも１本の直線を有し、前記ビデオにおける前記オブジェクトを追跡する前に、前記カメラによって撮影された前記ビデオにおける前記直線の位置が、前記場所における前記直線に対応するように適合される。
【００２６】
前記オブジェクトの前記調整された位置は、仮想環境内での前記オブジェクトの位置を定義するために用いられる。
【００２７】
ビデオマテリアル、及び当該ビデオマテリアルに関連付けられた、本発明の一実施形態に係る方法に従って生成された前記調整された位置データを格納した記憶媒体と、仮想環境を生成する処理部とを具備するコンピュータも提供される。前記仮想環境は、当該仮想環境内の前記記憶された、前記ビデオマテリアルに関連付けられ、調整された位置データに対応する位置に位置する前記オブジェクトを含む。
【００２８】
ビデオマテリアル、及び当該ビデオマテリアルに関連付けられた、本発明の一実施形態に係る方法に従って生成された前記調整された位置データを有する記憶媒体。
【００２９】
本発明の別の態様によれば、或る位置に固定された少なくとも１台のカメラと、本発明の一実施形態に係る装置とを具備する、或る場所内のオブジェクトを撮影及び追跡するシステムも提供される。
【００３０】
コンピュータに、本発明の一実施形態に係る方法の各ステップを実行させるためのプログラムも提供される。
【００３１】
本発明の一実施形態に係るプログラムを格納した記憶媒体も提供される。
【図面の簡単な説明】
【００３２】
【図１】サッカーグラウンドを上から見た図である。
【図２】本発明の一実施形態に係る画像処理センターの概略図である。
【図３】三角測量を説明する図である。
【図４Ａ】図１に示されるカメラから見た、サッカーグラウンドの一部の展望図である。
【図４Ｂ】本発明の一実施形態に係る、図４Ａに示す画像における線の補正を説明する図である。
【図５Ａ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｂ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｃ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｄ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｅ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｆ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図６Ａ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図６Ｂ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図６Ｃ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図６Ｄ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図６Ｅ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図７】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図８】本発明の実施形態を用いることができるコンピュータを示す図である。
【発明を実施するための形態】
【００３３】
本発明の上記及びその他の目的、特徴及び利点は、添付の図面を参照して、以下の例示的な実施形態の詳細な説明により明らかになる。
【００３４】
図１を参照して、プレイ領域１０２Ａ〜１０２Ｄによって規定されたサッカーのグラウンドが示されている。他のサッカーグラウンドと同様に、プレイ領域を規定する複数の他の線（ペナルティボックス、センターサークル等）も設けられている。このような線の１つは、図１に示すペナルティボックス１０４の縁に沿っている。
【００３５】
図１には、任意選択された基準点１０６も示される。図１には３つの基準点のみが示されるが、実施形態においては、各カメラについて任意の数の基準点が選択されてよい。これらの基準点は、試合を通して変化せず、この場合、図１に示すペナルティボックスの１つの角、ペナルティスポット、及びグラウンドのコーナーに配置される。しかしながら、これらの基準点はグラウンド１００上のどこに配置されてもよい。この基準点の重要性は、後に図４Ａ及び図４Ｂを参照して説明する。なお、上記では、サッカーグラウンドに関連する実施形態を説明したが、任意のスポーツのグラウンド、又は静的なレイアウトを有する任意の場所も等価に用いることができる。
【００３６】
サッカーグラウンド１００から画像を撮影するために、図１のカメラ構成が採用される。詳細には、ビデオカメラ１０８及び１１０がそれぞれ、サッカーグラウンド１００上の所謂「１８ヤードライン」に配置される。好ましくは、これらのカメラは高精細カメラであり、その視野はゴールエリアまでにわたる。これらのカメラは視野が固定されている。また、サッカーグラウンド１００のセンターラインに位置するカメラ構成１１２も設けられる。各カメラの視野はわずかに重なっており、カメラ構成１１２によって提供される３つの異なる視野を「スティッチ」することにより、サッカーグラウンド１００全体の合成画像が生成される。このスティッチは周知の技術であるため（例えば、英国特許公開第２ ４４４ ５３３号には、このような構成及び画像のスティッチが詳述されている）、この特定の特徴は、本明細書において詳しくは説明しない。カメラ構成１１２は、３つのカメラ要素を有する。各カメラ要素は、１つの位置に固定され、視野が固定された高精細カメラである。
【００３７】
１８ヤードカメラ１０８及び１１０からの出力並びにカメラ構成１１２からの出力は、図２を参照して説明する画像処理センター１１４に供給される。各カメラは、固定された視野、既知の位置、及び焦点距離等の既知のパラメータを有する。したがって、これらのパラメータは固定であるため、２台のカメラからの出力を用いて、三角測量法により、グラウンド１００上のボールの位置を求めることができる。これは、図３に関連して後に説明する。
【００３８】
詳細な実施形態では、１８ヤードカメラ１０８の出力とカメラ構成１１２の出力を共に用いて、視野内のオブジェクトの位置を三角測量する。また、他方の１８ヤードカメラ１１０とカメラ構成１１２を共に用いて、視野内のオブジェクトの位置を三角測量する。
【００３９】
図２を参照して、各カメラ１０８及び１１０並びにカメラ構成１１２からの出力は、画像処理センター１１４内に位置する画像処理部２００に供給される。画像処理部２００は、高精細画像の処理に特に適したコンピュータである。このようなコンピュータの１つは、所謂Ｃｅｌｌ Ｐｒｏｃｅｓｓｏｒである。
【００４０】
画像処理部２００には、各１８ヤードカメラ１０８及び１１０、並びにカメラ構成１１２からの画像データを記憶するために用いられる記憶媒体２０２が取り付けられる。これに加えて、記憶媒体２０２は、グラウンド１００上のボールの位置データ、及びビデオコンテンツに関するその他のメタデータを記憶する。メタデータとは、一般に「データについてのデータ」を意味する技術用語である。画像処理の文脈では、メタデータは、カメラマンの詳細情報、場所についての詳細情報、グッドショットマーカ（good shot marker）、及びビデオマテリアルについての他の情報を含む。しかしながら、本発明の実施形態では、メタデータはビデオの各フレームのコンテンツに関する情報を含む。これらの情報は、例えばグラウンド１００上の選手の位置、各フレームにおいて行われたアクションの詳細情報、グラウンド１００上のボールの位置を特定する情報等である。通常、メタデータのデータ量は、ビデオデータのデータ量よりも少ない。
【００４１】
さらに、記憶媒体２０２には、較正情報が記憶される。この較正情報は、三角測量を実行可能にする情報を提供する。この較正情報は、図１における固定された点を参照して記述される。上述のように、図１の構成における各カメラは、互いに対して、且つグラウンド１００に対して固定される。したがって、システムの較正中に、グラウンド１００上において複数の位置を規定し（ここでは、グラウンド上での物理的な位置の分かっている３つの位置）、グラウンドの寸法、及び焦点距離等のカメラのパラメータを知ることにより、画像処理部２００が、各カメラが撮影した画像の各画素と、サッカーグラウンド１００上の対応する位置との関係を規定する較正データを生成することが可能となる。言い換えれば、２台のカメラによって出力された画像上でのオブジェクトの位置から、グラウンド１００上のそのオブジェクトの位置が計算される。この較正情報は、三角測量を実行する際に用いられ、場合によっては「カメラマトリクス」とよばれる。これは、図３を参照して説明する。
【００４２】
図３において、１８ヤードカメラ１０８及びカメラ構成１１２のうちの１つのカメラ要素から出力された２つの画像平面３００２及び３００４が存在する。説明を簡潔にするために、画像平面３００２及び３００４には１つのオブジェクト３００６のみが示される。オブジェクト３００６は、「現実」のグラウンド１００上の位置（すなわち、３次元上の位置）にある。オブジェクト３００６は画像平面３００２上の位置３０１２にあり、且つ画像平面３００４上の位置３０１４にある。三角測量により、画像平面３００２及び３００４上のオブジェクトの位置から、グラウンド１００上のオブジェクト３００６の位置を求めることが可能である。
【００４３】
３次元空間に向けて（すなわち、画像平面に対して垂直に）、画像平面３００２におけるオブジェクト３００６の位置３０１２からの直線３０１０又は細い円錐、及び、それに対応する、画像平面３００４におけるオブジェクト３００６の位置３０１４からの直線３００８又は細い円錐が引かれている場合、これらの線が交差する点がオブジェクト３００６の位置と見なされる。
【００４４】
しかしながら、当業者には理解されるように、システムの較正において本質的に存在する誤差により、直線３００８と直線３０１０とが必ずしも実際に交差するわけではない。これに対処するために、実施形態では、直線３００８と直線３０１０とを結ぶ最短ベクトルが求められ、このベクトルの中間点が、オブジェクト３００６の位置として決定される。この方法を用いて、直線３００８と直線３０１０とが実際に交差している場合、オブジェクト３００６の位置はその交差点となる。システムの較正中、オブジェクト３００６は、基準点１０６のうちの１つであり、オブジェクトの検出及び追跡中、オブジェクト３００６はグラウンド１００上にある（例えば、選手又はボールである）。
【００４５】
図２に戻り、記憶媒体２０２は、画像処理センター１１４に内蔵されるハードディスクドライブ又は光媒体であってよい。或いは、記憶媒体２０２は、メモリースティック（登録商標）等の取り外し可能な媒体であってもよい。同様に、記憶媒体２０２はこれらの２種類の記憶媒体の組み合わせであってもよいことは明らかである。
【００４６】
画像処理部２００には、ユーザ端末２０４も接続される。図示しないが、ユーザ端末２０４は、少なくとも１つのユーザ入力部を有することが想定される。ユーザ入力部により、操作者がユーザ端末、及びその後に画像処理部２００に情報を提供することが可能になる。ユーザ端末２０４には、各カメラ１０８及び１１０又はカメラ構成１１２から提供された画像マテリアルを、リアルタイムで、又は記憶媒体２０２を介して表示するユーザディスプレイ２０６が設けられている。ユーザディスプレイ２０６には、グラフィカルユーザインタフェースも表示される。グラフィカルユーザインタフェースにより、ユーザは画像処理部２００を制御し、画像処理部２００と対話できるようになる。
【００４７】
図４Ａにおいて、１８ヤードカメラ１０８からの視野が示される。図４Ａに示すように、２本の線１０４及び１０４’が示されている。線１０４’は、１８ヤードカメラ１０８によって提供される、１８ヤードラインの画像である。線１０４は、サッカーグラウンド１００上の実際の線である。線１０４’がわずかにカーブして見える現象は、１８ヤードカメラ１０８のレンズ歪によるものである。レンズ歪は、直線をカーブして見せる効果がある。レンズ歪は、１８ヤードカメラ１０８によって撮影された画像を用いてサッカーグラウンド１００上でのオブジェクトの位置を評価する際に問題となる。これは、較正データを生成する際に、レンズ歪を容易に測定することができないためである。
【００４８】
そこで、本発明の実施形態では、ユーザ端末２９４の操作者が、１８ヤードカメラ１０８及び１１０並びにカメラ構成１１２からの出力を見て、これらの線を直線に直し、オブジェクト追跡の際に収集される、グラウンド上でのオブジェクトの位置データが、レンズの歪みによって損なわれないようにする。この線の補正を図４Ｂに示す。ユーザ端末２０４の操作者は、１８ヤードライン１０４を直線に描き直す。記憶媒体２０２に記憶されたグラウンド１００の寸法が、この変更に対応して更新される。
【００４９】
システムの較正中に（すなわち、オブジェクトの検出又は追跡が行われる前に）この線の補正を実行することにより、その後に検出又は追跡されるオブジェクトの位置の精度が向上する。
【００５０】
図５Ａ〜図５Ｆを参照して、サッカーグラウンド１００のセンターサークルの周囲に、複数の選手が示される。詳細には、図５において、選手Ａ４００、選手Ｂ４０１、及び選手Ｃ４０２が具体的に参照される。選手Ａ及び選手ＢはチームＡとしてプレイし、選手ＣはチームＢとしてプレイする。なお、各選手は、選手を囲む２種類のハイライトのいずれか一方によってハイライト表示される。選手Ｃは、チームＡのハイライト４０４によってハイライト表示され、選手Ａ及びＢは、チームＢのハイライト４０６によってハイライト表示される。図５において、チームＡはハイライトとして実線を有し、チームＢはハイライトとして破線を有する。しかし、典型的には、ハイライトの区別のために、線のスタイルの違いではなく、色の違いが用いられる。
【００５１】
選手Ａ、選手Ｂ及び選手Ｃを識別する情報は、記憶媒体２０２に記憶され、サッカーの試合中の各選手の動き及びそれに応じた位置も、記憶媒体２０２に記憶される。選手を追跡するための様々な技術が、当該技術分野において周知である。例えば、英国特許公開第２４５２５１２号は、選手の追跡について記載いるため、本明細書では詳しく説明しない。
【００５２】
さらに、本発明の実施形態では、ビデオの各フレームにおけるボール４１０の位置が検出される。グラウンド１００上のボール４１０の位置は、三角測量を用いて計算され、ビデオの各フレームと関連付けて記憶媒体２０２に記憶される。ボールの位置及び選手の位置は、いずれもメタデータとして、ビデオの各フレームと関連付けて記憶される。サッカーの試合中、グラウンド１００上のボール４１０の位置が追跡される。
【００５３】
図５Ｂを参照して、チームＡのハイライト４０４及びチームＢのハイライト４０６は、説明を分かりやすくするために除外されている。サッカーの試合中に選手Ａ４００がボールを受け取ると、ユーザ端末２０４の操作者は、この特定のビデオフレームが、それに関連付けられるアクションを有していることを画像処理装置２００に通知する。ビデオのフレームは試合と同期されるため、どのフレームにおいてどのアクションが行われたかを知ることにより、特定のアクションが、試合中のどの時点で行われたかを知ることができる。後に説明するように、この動作はアンカーとして機能する。操作者がこのフレームを、それに関連するアクションを含むものとして識別すると、それに応じて、アクション選択メニュー４１２が画面上に現れる。このアクション選択メニューにより、ユーザは、複数のアクションの選択肢の中から、当該フレームに関連付けるアクションを選択する。例えば、操作者は、ボールが選手Ａ４００により右足でキックされるのを識別することができる。他の選択肢としては、選手Ａ４００がボールを左足でキック又はボレーする、右足若しくは左足でボールをドリブルする、ボールをコントロールする、ボールをヘディングする、又は任意の他の適当なアクションがある。さらに、アクションは、ボールのバウンド、ボールがラインの外に出る等であってもよい。アクションを識別するメタデータは、対応するビデオフレームに関連付けて記憶される。
【００５４】
アクション選択メニュー４１２から適当な選択肢を選択する時間をユーザに与えるために、ビデオ映像を任意の方法で一時停止する。ビデオ映像は、アクション選択メニュー４１２が起動される度に一時停止される。ボール４１０は自動的に検出され、グラウンド１００上のボール４１０の位置が三角測量を用いて計算されるが、ユーザが、アクション選択メニュー４１２が起動されたときに、ボール４１０の位置を手動でマークしてもよい。
【００５５】
図５Ｃにおいて、ボール４１０は空中にあり、選手Ｂ４０１の方に向かっている。ボール４１０、グラウンド１００から距離ｄの位置にある。また、図５Ｃにおいて、ボール４１０の検出された経路が示される。空中でのボール４１０を追跡するために、ボール４１０は、連続した各フレームについて検出される必要がある。
【００５６】
図５Ｃから分かるように、ボールは、キックされた後にはこのように移動しないため、ボール４１０の検出された経路は正確ではない。ボール４１０の検出された経路と、ボールの実際の経路との間の誤差は、ボールの検出処理によって生じる。これは、連続したフレームにおいてボールが誤検出されたためか、又はボール４１０の位置を正しく求められなかったためである。その他の誤差は、ボールの動きを誤って検出すること、連続したフレームにわたってのボール４１０の中心点の位置の非一貫性、選手の足を誤ってボール４１０と認識してしまう等の誤検出によって生じる。したがって、ボール４１０の検出経路から生成される、サッカーグラウンド１００上のボールの位置を特定するいかなる位置データも、不正確となってしまう。
【００５７】
これは、図５Ｄにおいても示される。図５Ｄは、選手Ｂ４０１への経路をさらに進んだボール４１０を示す。図５Ｄから分かるように、ボール４１０のさらなる検出経路４１２’は、実際のボール４１０の経路と一致しない。
【００５８】
図５Ｅに示すように、ボール４１０が選手Ｂ４０１に達すると、ユーザ端末２０４の操作者は、第２のアンカーを作成する第２のアクション選択メニュー４１４を起動して、フレームに関連付けられるアクションを記述するメタデータを生成し、そのフレームにフラグを付ける。ボール４１０の完成した検出経路４１２’は、不正確である。結果として、ボール４１０が検出経路を辿ったと想定した場合、画像処理装置２００は、正しくない結果を生成してしまう。しかしながら、第２のアクション選択メニューを開くことにより、ユーザ端末２０４の操作者は、画像処理装置２００に対し、ボール４１０が選手Ｂ４０１に到達したこと、及びボール４１０の行き先を通知することができる。これにより、画像処理部２００に対し、ボール４１０が、選手Ａ４００から選手Ｂ４０１への経路を終了したことを通知し、また、画像処理部２００に、ボール４１０の行き先を知らせることができる。
【００５９】
ボール４１０の完成経路４１２"の誤りを訂正するためには、画像処理部２００は、ボール４１０の完成経路４１２"により提供された位置データに対し、さらなる処理を実行する必要がある。本発明の実施形態では、図５Ｆに示すボール４１０のフィルタリングされた経路４１６（訂正経路）が、ファンデルモンド行列により求められる。ボール４１０の不正確な完成経路４１２"を、ファンデルモンド行列（すなわち、アクション選択メニューの最初の起動時から二度目の起動時までの各フレームにおける、ボール４１０の検出位置）に配置する結果として、検出された位置に類似する多項式形の係数が生成される。ユーザ端末２０４の操作者によってアクション選択メニュー４１２及び４１４が起動されたときのボール４１０の位置情報により、多項式の始点及び終点が提供される。
【００６０】
言い換えれば、任意の特定のフレームについて、ボールの位置は、以下の多項式により定義される。
Ｘｉ＝ａ０＋ａｉｔｉ＋ａ２ｔｉ２＋ａｎｔｉｎ （１）
ここで、ｎは、用いられた多項式の次数である。
【００６１】
したがって、Ｍ個のフレームのセット（すなわち、第１のアクション選択ボックス４１２の起動から第２のアクション選択ボックス４１４の起動までのフレーム）について、上記をファンデルモンド行列として、以下のように記述することができる。
【００６２】
【数１】
【００６３】
この行列は、Ｖａ＝ｘの形であり、多項式係数を得るために、ａの値を求める必要がある。したがって、
Ｖａ＝ｘ
ＶＴＶａ＝ＶＴｘ
ａ＝（ＶＴＶ）−１ＶＴｘである。
ここで、（ＶＴＶ）−１ＶＴは、当業者には理解されるように、擬似反転である。
【００６４】
上記のファンデルモンド行列を用いて生成された係数を有する多項式は、図５に示すボール４１０のフィルタリングされた経路４１６を提供する。ユーザ端末２０４の操作者が第１のアクション選択メニュー４１２を起動してから、第２のアクション選択メニュー４１４を起動するまでの各フレームについて求められたグラウンド１００上のボール４１０の位置は、生成された多項式に適合するように調整される。これにより、非常に現実的且つより正確なボールの位置データが提供される。なお、本実施形態では多項式を用いたが、任意の適当な種類の式を用いてよい。例えば、風速、気圧、ボールの表面特性等が正確に分かっている場合、ボールの動きについて正確な物理モデルを構築し、画像処理部２００を用いて、繰り返し解を求めることができる。しかし、正確に解を求めるには、高い処理能力が必要とされる。しかしながら、この行列反転方法は、現代のコンピュータに広く普及し、最適化された標準的なルーティンを利用するため、必要とする処理能力が格段に低い。勿論、本発明の実施形態はこの方法に限定されず、ネヴィルのアルゴリズム又はラグランジュ公式等の他の多項式補間技術を用いてもよい。
【００６５】
ボールの実際の経路を正確に模倣する多項式を生成するためには、６次式で十分であることが分かったが、サンプルのサイズ（すなわち、第１のアクション選択メニュー４１２の起動から第２のアクション選択メニュー４１４までのフレーム数）が限定されている場合には、より低次の多項式が用いられる。
【００６６】
図６Ａ〜図６Ｅは、ボール４１０が選手Ａ４００によって蹴られ、選手Ｂ４０１がそれを受け取るまでにボール４１０がバウンドした状況を示す。図５Ｂでは、ユーザ端末２０４の操作者は、アクション選択メニュー４１２を用いて、選手Ａ４００がどちらかの足でボールを蹴ったことを選択していた。分かりやすくするために、このアクション選択メニューは、図６Ａには示されない。図６Ｂでは、ボール４１０がグラウンド上でバウンドしている。既に述べたように、各フレームにおけるボール４１０の誤検出のため、バウンドしたボール４１０の検出経路５００は不正確に示される。しかし、ボール４１０がバウンドしたとき、ユーザ端末２０４の操作者は、上述のような複数の選択肢を有する第３のアクション選択メニューを開く。ユーザは、ボールのバウンドを選択し、これは、特定のフレームに関連付けられるメタデータとして記憶媒体２０２に記憶される。この段階では、画像処理部２００は、図５Ｆに関して説明したファンデルモンド行列を用いてフィルタリングされた経路５０４を生成する。ここでも、ボール４１０の軌跡、ひいては各フレームにおけるグラウンド１００上でのボール４１０の位置が、バウンドしたボールのフィルタリングされた経路に適合した経路となるように調整される。
【００６７】
グラウンド１００上でのボール４１０の位置が軌跡に合わせて調整された後、バウンドの位置（第３のアクション選択メニューによって特定される）及び試合中にそのアクションが行われた時刻（又はフレーム）が、記憶媒体２０２に記憶される。
【００６８】
ビデオは続けられ、各フレームにおけるボール４１０の位置が検出される。マークされたバウンド位置５１５から選手Ｂ４０１までの、バウンドしたボールのさらなる検出経路５０５’は、ここでも不正確である。ボール４１０が選手Ｂ４０１に到達したとき、ユーザ端末２０４の操作者は、第４のアクション選択ボックス５０５を開き、適当なアクションを選択する。このアクションの選択は、フラグ又はアンカーとして機能する。ここでも、このアクションは、そのビデオフレームに関連付けられたメタデータとして記憶される。
【００６９】
バウンドしたボールのさらなる検出経路５００"は、ファンデルモンド行列に配置され、マークされたバウンド位置５１５から、第４のアクション選択ボックスによって特定されたボール位置までの、バウンドしたボールのフィルタリングされたさらなる検出経路５１０が生成される。図６Ｅから分かるように、バウンドしたボールの経路は、実際には、バウンドしたボールのフィルタリングされた経路５０４と、バウンドしたボールのフィルタリングされたさらなる経路５１０との２つの部分からなる。これは、ボール４１０がグラウンド上でバウンドしたことに伴う、ボールの方向の急激な変化を示している。すなわち、この急激な方向変化を、ボールの移動方向が、短いフレーム期間のうちに所定の角度以上変化した点であると判定することができる。この所定の角度は、例えば９０度である。
【００７０】
本発明の実施形態は、選手Ａから選手Ｂまでの経路を単にフィルタリングする場合と比べ、有効である。これは、ボールの検出された経路のフィルタリングが、選手Ａ４００から選手Ｂ４０１までの間でのみ行われる場合、経路全体が、２人の選手の間で平坦になってしまうためである。これは、現実の経路と一致しない。ボールがグラウンド上でバウンドしたときに「フラグ」を付ける（すなわち、第３のアクション選択メニューを用いて、アクションが起こったフレームにマークを付ける）ことにより、グラウンド上のボール４１０の経路をより正確にすることができる。本発明の実施形態では、ボール４１０の急激な方向変化（例えば、バウンドした場合）を自動的に検出し、フラグ及びボールの位置を生成するために用いることができる。また、ユーザがボールのキック等のアクション（左キック、右キック、ボレー等）を選択し、アンカーポイントを生成すると、受け取ったボールをヘディング又はボレーする第２の選手が、方向変化及び地面からボールまでの高さから自動的に判定される。
【００７１】
選手Ｂ４０１がボール４１０を足で受けると、選手Ｂ４０１はおそらくそのボールをドリブルしようと望む。これには、ボール４１０が選手Ｂ４０１の足の非常に近くにある必要がある。ボール４１０が選手Ｂ４０１の足に非常に近接することにより、ボール４１０の検出がより難しくなり、誤りが生じやすくなる。これは、カメラ１０８及び１１０、並びにカメラ構成１１２が固定されている場合に当てはまる。
【００７２】
したがって、図７（Ａ）の場合のように選手がボールをドリブルする場合、ユーザ端末２０４の操作者は、図５及び図６において説明したものと同様の技術を用いて、ボール検出により収集される位置又はデータを向上させることができる。
【００７３】
図７（Ａ）において、選手Ｂ４０１は、ボールを位置４１０’に移動させる。これにより、新たな位置Ｂ４０１’（破線により示す）が与えられる。しかしながら、選手の走る方向がカーブしたからといっても、ドリブルされたボールの検出経路６００はやはり不正確である。これにより、連続したフレーム間で、グラウンド１００上でのボール４１０の位置を特定する際に誤りが生じやすくなる。したがって、ユーザ端末２０４の操作者は、所定数のフレーム毎に、フラグ又はアンカーを生成する。例えば、操作者は、５フレーム毎にフラグを生成してもよく、又は操作者が適当と考える任意の他の所定数毎であってもよい。各フラグ又はアンカーの後、画像処理部２００は、ドリブルされたボール４１０の検出経路６００を、アンカーポイント間のファンデルモンド行列に配置し、これにより、図７（Ｂ）に示すようなドリブルされたボールのフィルタリングされた経路６０５が提供される。
【００７４】
図８を参照して、試合の各フレームについてボールの位置が確定されると、その試合に関連付けられたメタデータ、アクションが起こる毎にアクション選択メニューから選択されたアクション、及び選手追跡により生成された選手の位置データが照合される。この照合されたデータにより、仮想の選手を用いて試合を再構築するのに十分な情報が提供される。ネットワーク７０５及びディスプレイ７１５に接続されたプレイステーション（登録商標）３ ７１０等の汎用のホームコンピュータシステム７００において、これらのモデルを構築することができる。
【００７５】
各フレームにおける各選手の位置情報により、プレイステーション（登録商標）３ ７１０は、仮想のグラウンドのどこに仮想選手を配置するかを知る。さらに、ボールのフィルタリングされた位置情報により、プレイステーション（登録商標）３ ７１０は、ボールがどの時点でどこにあったかを知る。さらに、選択されたアクションの発生を通知する情報により、プレイステーション（登録商標）３ ７１０は、選手が正しい足で且つ正しい時点でボールを蹴るように、仮想モデルを操作することができる。
【００７６】
このレベルの詳細情報により、リアルタイムのビデオ映像を、コンピュータゲームに用いるために、仮想環境にモーフィングすることが可能である。実際の試合の照合されたデータを、インターネット等のネットワーク又はその試合のデータを含む記憶媒体（図示せず）或いはその２つの組み合わせを介して提供することができる。これに代えて、又はこれに加えて、サッカーのコーチや解説者が、試合の詳細な分析を行うことも可能である。
【００７７】
上記は、映像の短いセグメントにおいて補正されるフィルタリングされたボールの経路を参照して説明されたが、これは本発明の実現する唯一の方法ではないということを理解されたい。他の実施形態では、試合の各フレームにおけるボールの位置が特定され、すべてのアンカー及びアンカーに関連付けられたメタデータが、上述のように生成される。その後、編集段階において、試合の映像全体に対し、アンカーを考慮に入れたボールフィルタリングが適用される。
【００７８】
上記は、サッカーの試合におけるボールの追跡に関して説明されたが、本発明はこれに限定されない。例えば、オブジェクトは、任意のスポーツのボールであってもよく、さらには、一連の画像にわたって検出し、追跡する必要のある任意のオブジェクトであってよい。
【００７９】
さらに、上記は画像処理部２００を参照して説明されたが、本発明の実施形態は、コンピュータ上で実行されてもよい。これは、本発明の実施形態では、コンピュータを上述のような画像処理部２００として機能させるためのコンピュータ読取可能な命令を有するコンピュータプログラムが提供されるということを意味している。このコンピュータプログラムは、光記憶媒体、固体媒体、又は磁気ディスクタイプの媒体として提供されてよい。
【００８０】
操作者がアンカーポイントを手動で指定することの利点は、アンカーポイントの選択に影響を与えるノイズを防止できることである。サッカー等のいくつかのスポーツでは、非常に多くの種類のボールとの相互作用が存在するが、追跡に用いられるカメラは、このアクションからかなり遠い位置にある場合がある。そのため、自動化されたシステムにおいては、アンカーポイントの誤検出が発生する可能性がある。
【００８１】
本明細書において、本発明の例示的な実施形態を、添付の図面を参照して説明したが、本発明はこれらの厳密な実施形態に限定されず、当業者は、添付の特許請求の範囲によって規定される本発明の範囲及び精神から逸脱することなく、種々の変更及び変形を行ってもよいことを理解されたい。
【技術分野】
【０００１】
本発明は、オブジェクト追跡方法及び装置に関する。
【背景技術】
【０００２】
現在、一連の画像にわたってオブジェクトの位置を追跡することが必要とされている。この技術の一例は、スポーツ関連のテレビジョン放送である。ライブのスポーツイベントの撮影中に、ビデオクリップ中の、ピッチ（グラウンド）上でのボールの位置を追跡してハイライト表示し、そのイベントに関する他の情報を正確に取得することが有用である。この正確に取得された情報は、後にそのスポーツイベントのコンピューターシミュレーションを形成する際に用いることができる。例えば、コンピュータゲーム業界において、現実のスポーツイベントを仮想空間に再構築する可能性がある。現実のスポーツイベントを正確に仮想空間に移し替えるために、撮影したビデオクリップを用いて、グラウンド上でのボールの位置及びボールの軌跡を、試合を通して正確且つ現実的に求める必要がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６０７２５０４号明細書
【特許文献２】国際公開ＷＯ２００７／０４５００１号パンフレット
【特許文献３】国際公開ＷＯ２００８／０６９９９５号パンフレット
【特許文献４】国際公開ＷＯ２００７／０３５８７８号パンフレット
【特許文献５】米国特許公開第２００７／００８６６２２号明細書
【特許文献６】国際公開ＷＯ２００６／０７７８０６号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これを達成するための一つの方法は、操作者がスポーツイベントの撮影画像を見て、ビデオのフレーム毎に、例えばグラウンド上のボールの位置を記録することである。しかしながら、これには多くの欠点がある。第１に、この手法には非常に時間と手間がかかる。第２に、スタジアムにおいてビデオを撮影しているテレビジョンカメラは１つの位置に固定されていない（すなわち、カメラがボールを追ってパン及びチルトする）ため、操作者がフレーム毎にボールの位置を記録しても、グラウンド上のボールの位置を特定する正確な情報を提供することができない。
【０００５】
本発明の実施形態は、グラウンド上のボールの位置を現実的に求めるという課題に対処することを目的とする。
【０００６】
本発明の第１の態様によれば、或る位置に固定された少なくとも１台のカメラによって撮影され、第１のフラグ付きフレーム及び第２のフラグ付きフレームを有する、或る場所を映したビデオにおけるオブジェクトを追跡するオブジェクト追跡方法が提供される。当該方法は、前記ビデオの前記第１のフラグ付きフレームにおける第１のアンカーポイントを検出し、前記第１のフラグ付きフレーム及びそれ以降のフレームにおいて、前記場所内での前記オブジェクトの位置を検出し、前記ビデオの前記第２のフラグ付きフレームにおける第２のアンカーポイントを検出し、前記第２のフラグ付きフレームにおいて、前記場所内での前記オブジェクトの位置を検出し、前記第１のフラグ付きフレームから前記第２のフラグ付きフレームまでの各フレームにおいて、前記場所内での前記オブジェクトの位置を、多項式に従って調整し、前記第１のフラグ付きフレーム及び前記第２のフラグ付きフレームにおいて検出されたアンカーポイントにおいて発生したアクションを識別するメタデータが定義され、前記アクションは、所定のアクションリストから選択される。
【０００７】
これにより、前記場所内での前記オブジェクトのモデリングの現実感がより向上するため、有用である。この現実感は、前記オブジェクトの位置を、前記場所を撮影したビデオクリップから導出することにより、向上する。多項式は、対象となるオブジェクトについてのいかなる事前知識や物理モデルも有することなく、前記場所内での前記オブジェクトの種々の異なる動きに適合することができる。
【０００８】
さらに、発生したアクションを識別するメタデータを、アクションの所定のリストから選択できるようにすることにより、さらなる利点が提供される。これにより、アクションを選択する速度が速くなる。
【０００９】
前記多項式は、前記ビデオの前記第１のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置から、前記ビデオの前記第２のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置にわたる。
【００１０】
前記ビデオの前記各フレームにおける前記オブジェクトの検出された位置と、前記多項式によって定義された前記ビデオの前記各フレームにおける前記場所内での前記オブジェクトの位置との間の誤差が最小限となるように、前記多項式のパラメータが選択される。
【００１１】
前記第２のアンカーポイントは、前記オブジェクトの方向変化に応じて検出される。
【００１２】
前記多項式は、多項式補間法を用いて生成される。
【００１３】
前記多項式は、ファンデルモンド行列を用いて生成される。
【００１４】
前記ビデオにおけるオブジェクトを追跡する前に、当該ビデオのフレームにおいて、前記場所における既知の位置に対応する複数の位置を規定し、前記ビデオの前記フレームから、前記場所内での前記既知の位置を基準として、前記ビデオにおける他の位置を規定する。
【００１５】
前記場所は、少なくとも１本の直線を有し、前記ビデオにおける前記オブジェクトを追跡する前に、前記カメラによって撮影された前記ビデオにおける前記直線の位置が、前記場所における前記直線に対応するように適合される。
【００１６】
前記オブジェクトの前記調整された位置は、仮想環境内での前記オブジェクトの位置を定義するために用いられる。
【００１７】
本発明の第２の態様によれば、或る位置に固定された少なくとも１台のカメラによって撮影され、第１のフラグ付きフレーム及び第２のフラグ付きフレームを有する、或る場所を映したビデオにおけるオブジェクトを追跡するオブジェクト追跡装置が提供される。当該装置は、前記ビデオの前記第１のフラグ付きフレームにおける第１のアンカーポイントを検出する第１の検出部と、前記第１のフラグ付きフレーム及びそれ以降のフレームにおいて、前記場所内での前記オブジェクトの位置を検出する第２の検出部と、前記ビデオの前記第１のフラグ付きフレームにおける第２のアンカーポイントを検出し、前記第２のフラグ付きフレームにおいて、前記場所内での前記オブジェクトの位置を検出する第３の検出部と、前記第１のフラグ付きフレームから前記第２のフラグ付きフレームまでの各フレームにおいて、前記場所内での前記オブジェクトの位置を、多項式に従って調整する処理部とを具備し、前記第１のフラグ付きフレーム及び前記第２のフラグ付きフレームにおいて検出されたアンカーポイントにおいて発生したアクションを識別するメタデータが定義され、前記アクションは、所定のアクションリストから選択される。
【００１８】
前記多項式は、前記ビデオの前記第１のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置から、前記ビデオの前記第２のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置にわたる。
【００１９】
前記ビデオの前記各フレームにおける前記オブジェクトの検出された位置と、前記多項式によって定義された前記ビデオの前記各フレームにおける前記場所内での前記オブジェクトの位置との間の誤差が最小限となるように、前記多項式のパラメータが選択される。
【００２０】
前記第２のアンカーポイントは、前記オブジェクトの方向変化に応じて検出される。
【００２１】
前記多項式は、多項式補間法を用いて生成される。
【００２２】
前記多項式は、ファンデルモンド行列を用いて生成される。
【００２３】
係数を行列として計算された多項式は、従来の多項式解よりも処理し易いため、本発明の実施形態がコンピュータにおいて実現される際に有用である。
【００２４】
前記処理部は、前記ビデオにおけるオブジェクトを追跡する前に、当該ビデオのフレームにおいて、前記場所における既知の位置に対応する複数の位置を規定し、
前記ビデオの前記フレームから、前記場所内での前記既知の位置を基準として、前記ビデオにおける他の位置を規定する。
【００２５】
前記場所は、少なくとも１本の直線を有し、前記ビデオにおける前記オブジェクトを追跡する前に、前記カメラによって撮影された前記ビデオにおける前記直線の位置が、前記場所における前記直線に対応するように適合される。
【００２６】
前記オブジェクトの前記調整された位置は、仮想環境内での前記オブジェクトの位置を定義するために用いられる。
【００２７】
ビデオマテリアル、及び当該ビデオマテリアルに関連付けられた、本発明の一実施形態に係る方法に従って生成された前記調整された位置データを格納した記憶媒体と、仮想環境を生成する処理部とを具備するコンピュータも提供される。前記仮想環境は、当該仮想環境内の前記記憶された、前記ビデオマテリアルに関連付けられ、調整された位置データに対応する位置に位置する前記オブジェクトを含む。
【００２８】
ビデオマテリアル、及び当該ビデオマテリアルに関連付けられた、本発明の一実施形態に係る方法に従って生成された前記調整された位置データを有する記憶媒体。
【００２９】
本発明の別の態様によれば、或る位置に固定された少なくとも１台のカメラと、本発明の一実施形態に係る装置とを具備する、或る場所内のオブジェクトを撮影及び追跡するシステムも提供される。
【００３０】
コンピュータに、本発明の一実施形態に係る方法の各ステップを実行させるためのプログラムも提供される。
【００３１】
本発明の一実施形態に係るプログラムを格納した記憶媒体も提供される。
【図面の簡単な説明】
【００３２】
【図１】サッカーグラウンドを上から見た図である。
【図２】本発明の一実施形態に係る画像処理センターの概略図である。
【図３】三角測量を説明する図である。
【図４Ａ】図１に示されるカメラから見た、サッカーグラウンドの一部の展望図である。
【図４Ｂ】本発明の一実施形態に係る、図４Ａに示す画像における線の補正を説明する図である。
【図５Ａ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｂ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｃ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｄ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｅ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図５Ｆ】本発明の実施形態に係るオブジェクト追跡の例を示す図である。
【図６Ａ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図６Ｂ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図６Ｃ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図６Ｄ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図６Ｅ】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図７】本発明の実施形態に係るオブジェクト追跡の別の例を示す図である。
【図８】本発明の実施形態を用いることができるコンピュータを示す図である。
【発明を実施するための形態】
【００３３】
本発明の上記及びその他の目的、特徴及び利点は、添付の図面を参照して、以下の例示的な実施形態の詳細な説明により明らかになる。
【００３４】
図１を参照して、プレイ領域１０２Ａ〜１０２Ｄによって規定されたサッカーのグラウンドが示されている。他のサッカーグラウンドと同様に、プレイ領域を規定する複数の他の線（ペナルティボックス、センターサークル等）も設けられている。このような線の１つは、図１に示すペナルティボックス１０４の縁に沿っている。
【００３５】
図１には、任意選択された基準点１０６も示される。図１には３つの基準点のみが示されるが、実施形態においては、各カメラについて任意の数の基準点が選択されてよい。これらの基準点は、試合を通して変化せず、この場合、図１に示すペナルティボックスの１つの角、ペナルティスポット、及びグラウンドのコーナーに配置される。しかしながら、これらの基準点はグラウンド１００上のどこに配置されてもよい。この基準点の重要性は、後に図４Ａ及び図４Ｂを参照して説明する。なお、上記では、サッカーグラウンドに関連する実施形態を説明したが、任意のスポーツのグラウンド、又は静的なレイアウトを有する任意の場所も等価に用いることができる。
【００３６】
サッカーグラウンド１００から画像を撮影するために、図１のカメラ構成が採用される。詳細には、ビデオカメラ１０８及び１１０がそれぞれ、サッカーグラウンド１００上の所謂「１８ヤードライン」に配置される。好ましくは、これらのカメラは高精細カメラであり、その視野はゴールエリアまでにわたる。これらのカメラは視野が固定されている。また、サッカーグラウンド１００のセンターラインに位置するカメラ構成１１２も設けられる。各カメラの視野はわずかに重なっており、カメラ構成１１２によって提供される３つの異なる視野を「スティッチ」することにより、サッカーグラウンド１００全体の合成画像が生成される。このスティッチは周知の技術であるため（例えば、英国特許公開第２ ４４４ ５３３号には、このような構成及び画像のスティッチが詳述されている）、この特定の特徴は、本明細書において詳しくは説明しない。カメラ構成１１２は、３つのカメラ要素を有する。各カメラ要素は、１つの位置に固定され、視野が固定された高精細カメラである。
【００３７】
１８ヤードカメラ１０８及び１１０からの出力並びにカメラ構成１１２からの出力は、図２を参照して説明する画像処理センター１１４に供給される。各カメラは、固定された視野、既知の位置、及び焦点距離等の既知のパラメータを有する。したがって、これらのパラメータは固定であるため、２台のカメラからの出力を用いて、三角測量法により、グラウンド１００上のボールの位置を求めることができる。これは、図３に関連して後に説明する。
【００３８】
詳細な実施形態では、１８ヤードカメラ１０８の出力とカメラ構成１１２の出力を共に用いて、視野内のオブジェクトの位置を三角測量する。また、他方の１８ヤードカメラ１１０とカメラ構成１１２を共に用いて、視野内のオブジェクトの位置を三角測量する。
【００３９】
図２を参照して、各カメラ１０８及び１１０並びにカメラ構成１１２からの出力は、画像処理センター１１４内に位置する画像処理部２００に供給される。画像処理部２００は、高精細画像の処理に特に適したコンピュータである。このようなコンピュータの１つは、所謂Ｃｅｌｌ Ｐｒｏｃｅｓｓｏｒである。
【００４０】
画像処理部２００には、各１８ヤードカメラ１０８及び１１０、並びにカメラ構成１１２からの画像データを記憶するために用いられる記憶媒体２０２が取り付けられる。これに加えて、記憶媒体２０２は、グラウンド１００上のボールの位置データ、及びビデオコンテンツに関するその他のメタデータを記憶する。メタデータとは、一般に「データについてのデータ」を意味する技術用語である。画像処理の文脈では、メタデータは、カメラマンの詳細情報、場所についての詳細情報、グッドショットマーカ（good shot marker）、及びビデオマテリアルについての他の情報を含む。しかしながら、本発明の実施形態では、メタデータはビデオの各フレームのコンテンツに関する情報を含む。これらの情報は、例えばグラウンド１００上の選手の位置、各フレームにおいて行われたアクションの詳細情報、グラウンド１００上のボールの位置を特定する情報等である。通常、メタデータのデータ量は、ビデオデータのデータ量よりも少ない。
【００４１】
さらに、記憶媒体２０２には、較正情報が記憶される。この較正情報は、三角測量を実行可能にする情報を提供する。この較正情報は、図１における固定された点を参照して記述される。上述のように、図１の構成における各カメラは、互いに対して、且つグラウンド１００に対して固定される。したがって、システムの較正中に、グラウンド１００上において複数の位置を規定し（ここでは、グラウンド上での物理的な位置の分かっている３つの位置）、グラウンドの寸法、及び焦点距離等のカメラのパラメータを知ることにより、画像処理部２００が、各カメラが撮影した画像の各画素と、サッカーグラウンド１００上の対応する位置との関係を規定する較正データを生成することが可能となる。言い換えれば、２台のカメラによって出力された画像上でのオブジェクトの位置から、グラウンド１００上のそのオブジェクトの位置が計算される。この較正情報は、三角測量を実行する際に用いられ、場合によっては「カメラマトリクス」とよばれる。これは、図３を参照して説明する。
【００４２】
図３において、１８ヤードカメラ１０８及びカメラ構成１１２のうちの１つのカメラ要素から出力された２つの画像平面３００２及び３００４が存在する。説明を簡潔にするために、画像平面３００２及び３００４には１つのオブジェクト３００６のみが示される。オブジェクト３００６は、「現実」のグラウンド１００上の位置（すなわち、３次元上の位置）にある。オブジェクト３００６は画像平面３００２上の位置３０１２にあり、且つ画像平面３００４上の位置３０１４にある。三角測量により、画像平面３００２及び３００４上のオブジェクトの位置から、グラウンド１００上のオブジェクト３００６の位置を求めることが可能である。
【００４３】
３次元空間に向けて（すなわち、画像平面に対して垂直に）、画像平面３００２におけるオブジェクト３００６の位置３０１２からの直線３０１０又は細い円錐、及び、それに対応する、画像平面３００４におけるオブジェクト３００６の位置３０１４からの直線３００８又は細い円錐が引かれている場合、これらの線が交差する点がオブジェクト３００６の位置と見なされる。
【００４４】
しかしながら、当業者には理解されるように、システムの較正において本質的に存在する誤差により、直線３００８と直線３０１０とが必ずしも実際に交差するわけではない。これに対処するために、実施形態では、直線３００８と直線３０１０とを結ぶ最短ベクトルが求められ、このベクトルの中間点が、オブジェクト３００６の位置として決定される。この方法を用いて、直線３００８と直線３０１０とが実際に交差している場合、オブジェクト３００６の位置はその交差点となる。システムの較正中、オブジェクト３００６は、基準点１０６のうちの１つであり、オブジェクトの検出及び追跡中、オブジェクト３００６はグラウンド１００上にある（例えば、選手又はボールである）。
【００４５】
図２に戻り、記憶媒体２０２は、画像処理センター１１４に内蔵されるハードディスクドライブ又は光媒体であってよい。或いは、記憶媒体２０２は、メモリースティック（登録商標）等の取り外し可能な媒体であってもよい。同様に、記憶媒体２０２はこれらの２種類の記憶媒体の組み合わせであってもよいことは明らかである。
【００４６】
画像処理部２００には、ユーザ端末２０４も接続される。図示しないが、ユーザ端末２０４は、少なくとも１つのユーザ入力部を有することが想定される。ユーザ入力部により、操作者がユーザ端末、及びその後に画像処理部２００に情報を提供することが可能になる。ユーザ端末２０４には、各カメラ１０８及び１１０又はカメラ構成１１２から提供された画像マテリアルを、リアルタイムで、又は記憶媒体２０２を介して表示するユーザディスプレイ２０６が設けられている。ユーザディスプレイ２０６には、グラフィカルユーザインタフェースも表示される。グラフィカルユーザインタフェースにより、ユーザは画像処理部２００を制御し、画像処理部２００と対話できるようになる。
【００４７】
図４Ａにおいて、１８ヤードカメラ１０８からの視野が示される。図４Ａに示すように、２本の線１０４及び１０４’が示されている。線１０４’は、１８ヤードカメラ１０８によって提供される、１８ヤードラインの画像である。線１０４は、サッカーグラウンド１００上の実際の線である。線１０４’がわずかにカーブして見える現象は、１８ヤードカメラ１０８のレンズ歪によるものである。レンズ歪は、直線をカーブして見せる効果がある。レンズ歪は、１８ヤードカメラ１０８によって撮影された画像を用いてサッカーグラウンド１００上でのオブジェクトの位置を評価する際に問題となる。これは、較正データを生成する際に、レンズ歪を容易に測定することができないためである。
【００４８】
そこで、本発明の実施形態では、ユーザ端末２９４の操作者が、１８ヤードカメラ１０８及び１１０並びにカメラ構成１１２からの出力を見て、これらの線を直線に直し、オブジェクト追跡の際に収集される、グラウンド上でのオブジェクトの位置データが、レンズの歪みによって損なわれないようにする。この線の補正を図４Ｂに示す。ユーザ端末２０４の操作者は、１８ヤードライン１０４を直線に描き直す。記憶媒体２０２に記憶されたグラウンド１００の寸法が、この変更に対応して更新される。
【００４９】
システムの較正中に（すなわち、オブジェクトの検出又は追跡が行われる前に）この線の補正を実行することにより、その後に検出又は追跡されるオブジェクトの位置の精度が向上する。
【００５０】
図５Ａ〜図５Ｆを参照して、サッカーグラウンド１００のセンターサークルの周囲に、複数の選手が示される。詳細には、図５において、選手Ａ４００、選手Ｂ４０１、及び選手Ｃ４０２が具体的に参照される。選手Ａ及び選手ＢはチームＡとしてプレイし、選手ＣはチームＢとしてプレイする。なお、各選手は、選手を囲む２種類のハイライトのいずれか一方によってハイライト表示される。選手Ｃは、チームＡのハイライト４０４によってハイライト表示され、選手Ａ及びＢは、チームＢのハイライト４０６によってハイライト表示される。図５において、チームＡはハイライトとして実線を有し、チームＢはハイライトとして破線を有する。しかし、典型的には、ハイライトの区別のために、線のスタイルの違いではなく、色の違いが用いられる。
【００５１】
選手Ａ、選手Ｂ及び選手Ｃを識別する情報は、記憶媒体２０２に記憶され、サッカーの試合中の各選手の動き及びそれに応じた位置も、記憶媒体２０２に記憶される。選手を追跡するための様々な技術が、当該技術分野において周知である。例えば、英国特許公開第２４５２５１２号は、選手の追跡について記載いるため、本明細書では詳しく説明しない。
【００５２】
さらに、本発明の実施形態では、ビデオの各フレームにおけるボール４１０の位置が検出される。グラウンド１００上のボール４１０の位置は、三角測量を用いて計算され、ビデオの各フレームと関連付けて記憶媒体２０２に記憶される。ボールの位置及び選手の位置は、いずれもメタデータとして、ビデオの各フレームと関連付けて記憶される。サッカーの試合中、グラウンド１００上のボール４１０の位置が追跡される。
【００５３】
図５Ｂを参照して、チームＡのハイライト４０４及びチームＢのハイライト４０６は、説明を分かりやすくするために除外されている。サッカーの試合中に選手Ａ４００がボールを受け取ると、ユーザ端末２０４の操作者は、この特定のビデオフレームが、それに関連付けられるアクションを有していることを画像処理装置２００に通知する。ビデオのフレームは試合と同期されるため、どのフレームにおいてどのアクションが行われたかを知ることにより、特定のアクションが、試合中のどの時点で行われたかを知ることができる。後に説明するように、この動作はアンカーとして機能する。操作者がこのフレームを、それに関連するアクションを含むものとして識別すると、それに応じて、アクション選択メニュー４１２が画面上に現れる。このアクション選択メニューにより、ユーザは、複数のアクションの選択肢の中から、当該フレームに関連付けるアクションを選択する。例えば、操作者は、ボールが選手Ａ４００により右足でキックされるのを識別することができる。他の選択肢としては、選手Ａ４００がボールを左足でキック又はボレーする、右足若しくは左足でボールをドリブルする、ボールをコントロールする、ボールをヘディングする、又は任意の他の適当なアクションがある。さらに、アクションは、ボールのバウンド、ボールがラインの外に出る等であってもよい。アクションを識別するメタデータは、対応するビデオフレームに関連付けて記憶される。
【００５４】
アクション選択メニュー４１２から適当な選択肢を選択する時間をユーザに与えるために、ビデオ映像を任意の方法で一時停止する。ビデオ映像は、アクション選択メニュー４１２が起動される度に一時停止される。ボール４１０は自動的に検出され、グラウンド１００上のボール４１０の位置が三角測量を用いて計算されるが、ユーザが、アクション選択メニュー４１２が起動されたときに、ボール４１０の位置を手動でマークしてもよい。
【００５５】
図５Ｃにおいて、ボール４１０は空中にあり、選手Ｂ４０１の方に向かっている。ボール４１０、グラウンド１００から距離ｄの位置にある。また、図５Ｃにおいて、ボール４１０の検出された経路が示される。空中でのボール４１０を追跡するために、ボール４１０は、連続した各フレームについて検出される必要がある。
【００５６】
図５Ｃから分かるように、ボールは、キックされた後にはこのように移動しないため、ボール４１０の検出された経路は正確ではない。ボール４１０の検出された経路と、ボールの実際の経路との間の誤差は、ボールの検出処理によって生じる。これは、連続したフレームにおいてボールが誤検出されたためか、又はボール４１０の位置を正しく求められなかったためである。その他の誤差は、ボールの動きを誤って検出すること、連続したフレームにわたってのボール４１０の中心点の位置の非一貫性、選手の足を誤ってボール４１０と認識してしまう等の誤検出によって生じる。したがって、ボール４１０の検出経路から生成される、サッカーグラウンド１００上のボールの位置を特定するいかなる位置データも、不正確となってしまう。
【００５７】
これは、図５Ｄにおいても示される。図５Ｄは、選手Ｂ４０１への経路をさらに進んだボール４１０を示す。図５Ｄから分かるように、ボール４１０のさらなる検出経路４１２’は、実際のボール４１０の経路と一致しない。
【００５８】
図５Ｅに示すように、ボール４１０が選手Ｂ４０１に達すると、ユーザ端末２０４の操作者は、第２のアンカーを作成する第２のアクション選択メニュー４１４を起動して、フレームに関連付けられるアクションを記述するメタデータを生成し、そのフレームにフラグを付ける。ボール４１０の完成した検出経路４１２’は、不正確である。結果として、ボール４１０が検出経路を辿ったと想定した場合、画像処理装置２００は、正しくない結果を生成してしまう。しかしながら、第２のアクション選択メニューを開くことにより、ユーザ端末２０４の操作者は、画像処理装置２００に対し、ボール４１０が選手Ｂ４０１に到達したこと、及びボール４１０の行き先を通知することができる。これにより、画像処理部２００に対し、ボール４１０が、選手Ａ４００から選手Ｂ４０１への経路を終了したことを通知し、また、画像処理部２００に、ボール４１０の行き先を知らせることができる。
【００５９】
ボール４１０の完成経路４１２"の誤りを訂正するためには、画像処理部２００は、ボール４１０の完成経路４１２"により提供された位置データに対し、さらなる処理を実行する必要がある。本発明の実施形態では、図５Ｆに示すボール４１０のフィルタリングされた経路４１６（訂正経路）が、ファンデルモンド行列により求められる。ボール４１０の不正確な完成経路４１２"を、ファンデルモンド行列（すなわち、アクション選択メニューの最初の起動時から二度目の起動時までの各フレームにおける、ボール４１０の検出位置）に配置する結果として、検出された位置に類似する多項式形の係数が生成される。ユーザ端末２０４の操作者によってアクション選択メニュー４１２及び４１４が起動されたときのボール４１０の位置情報により、多項式の始点及び終点が提供される。
【００６０】
言い換えれば、任意の特定のフレームについて、ボールの位置は、以下の多項式により定義される。
Ｘｉ＝ａ０＋ａｉｔｉ＋ａ２ｔｉ２＋ａｎｔｉｎ （１）
ここで、ｎは、用いられた多項式の次数である。
【００６１】
したがって、Ｍ個のフレームのセット（すなわち、第１のアクション選択ボックス４１２の起動から第２のアクション選択ボックス４１４の起動までのフレーム）について、上記をファンデルモンド行列として、以下のように記述することができる。
【００６２】
【数１】
【００６３】
この行列は、Ｖａ＝ｘの形であり、多項式係数を得るために、ａの値を求める必要がある。したがって、
Ｖａ＝ｘ
ＶＴＶａ＝ＶＴｘ
ａ＝（ＶＴＶ）−１ＶＴｘである。
ここで、（ＶＴＶ）−１ＶＴは、当業者には理解されるように、擬似反転である。
【００６４】
上記のファンデルモンド行列を用いて生成された係数を有する多項式は、図５に示すボール４１０のフィルタリングされた経路４１６を提供する。ユーザ端末２０４の操作者が第１のアクション選択メニュー４１２を起動してから、第２のアクション選択メニュー４１４を起動するまでの各フレームについて求められたグラウンド１００上のボール４１０の位置は、生成された多項式に適合するように調整される。これにより、非常に現実的且つより正確なボールの位置データが提供される。なお、本実施形態では多項式を用いたが、任意の適当な種類の式を用いてよい。例えば、風速、気圧、ボールの表面特性等が正確に分かっている場合、ボールの動きについて正確な物理モデルを構築し、画像処理部２００を用いて、繰り返し解を求めることができる。しかし、正確に解を求めるには、高い処理能力が必要とされる。しかしながら、この行列反転方法は、現代のコンピュータに広く普及し、最適化された標準的なルーティンを利用するため、必要とする処理能力が格段に低い。勿論、本発明の実施形態はこの方法に限定されず、ネヴィルのアルゴリズム又はラグランジュ公式等の他の多項式補間技術を用いてもよい。
【００６５】
ボールの実際の経路を正確に模倣する多項式を生成するためには、６次式で十分であることが分かったが、サンプルのサイズ（すなわち、第１のアクション選択メニュー４１２の起動から第２のアクション選択メニュー４１４までのフレーム数）が限定されている場合には、より低次の多項式が用いられる。
【００６６】
図６Ａ〜図６Ｅは、ボール４１０が選手Ａ４００によって蹴られ、選手Ｂ４０１がそれを受け取るまでにボール４１０がバウンドした状況を示す。図５Ｂでは、ユーザ端末２０４の操作者は、アクション選択メニュー４１２を用いて、選手Ａ４００がどちらかの足でボールを蹴ったことを選択していた。分かりやすくするために、このアクション選択メニューは、図６Ａには示されない。図６Ｂでは、ボール４１０がグラウンド上でバウンドしている。既に述べたように、各フレームにおけるボール４１０の誤検出のため、バウンドしたボール４１０の検出経路５００は不正確に示される。しかし、ボール４１０がバウンドしたとき、ユーザ端末２０４の操作者は、上述のような複数の選択肢を有する第３のアクション選択メニューを開く。ユーザは、ボールのバウンドを選択し、これは、特定のフレームに関連付けられるメタデータとして記憶媒体２０２に記憶される。この段階では、画像処理部２００は、図５Ｆに関して説明したファンデルモンド行列を用いてフィルタリングされた経路５０４を生成する。ここでも、ボール４１０の軌跡、ひいては各フレームにおけるグラウンド１００上でのボール４１０の位置が、バウンドしたボールのフィルタリングされた経路に適合した経路となるように調整される。
【００６７】
グラウンド１００上でのボール４１０の位置が軌跡に合わせて調整された後、バウンドの位置（第３のアクション選択メニューによって特定される）及び試合中にそのアクションが行われた時刻（又はフレーム）が、記憶媒体２０２に記憶される。
【００６８】
ビデオは続けられ、各フレームにおけるボール４１０の位置が検出される。マークされたバウンド位置５１５から選手Ｂ４０１までの、バウンドしたボールのさらなる検出経路５０５’は、ここでも不正確である。ボール４１０が選手Ｂ４０１に到達したとき、ユーザ端末２０４の操作者は、第４のアクション選択ボックス５０５を開き、適当なアクションを選択する。このアクションの選択は、フラグ又はアンカーとして機能する。ここでも、このアクションは、そのビデオフレームに関連付けられたメタデータとして記憶される。
【００６９】
バウンドしたボールのさらなる検出経路５００"は、ファンデルモンド行列に配置され、マークされたバウンド位置５１５から、第４のアクション選択ボックスによって特定されたボール位置までの、バウンドしたボールのフィルタリングされたさらなる検出経路５１０が生成される。図６Ｅから分かるように、バウンドしたボールの経路は、実際には、バウンドしたボールのフィルタリングされた経路５０４と、バウンドしたボールのフィルタリングされたさらなる経路５１０との２つの部分からなる。これは、ボール４１０がグラウンド上でバウンドしたことに伴う、ボールの方向の急激な変化を示している。すなわち、この急激な方向変化を、ボールの移動方向が、短いフレーム期間のうちに所定の角度以上変化した点であると判定することができる。この所定の角度は、例えば９０度である。
【００７０】
本発明の実施形態は、選手Ａから選手Ｂまでの経路を単にフィルタリングする場合と比べ、有効である。これは、ボールの検出された経路のフィルタリングが、選手Ａ４００から選手Ｂ４０１までの間でのみ行われる場合、経路全体が、２人の選手の間で平坦になってしまうためである。これは、現実の経路と一致しない。ボールがグラウンド上でバウンドしたときに「フラグ」を付ける（すなわち、第３のアクション選択メニューを用いて、アクションが起こったフレームにマークを付ける）ことにより、グラウンド上のボール４１０の経路をより正確にすることができる。本発明の実施形態では、ボール４１０の急激な方向変化（例えば、バウンドした場合）を自動的に検出し、フラグ及びボールの位置を生成するために用いることができる。また、ユーザがボールのキック等のアクション（左キック、右キック、ボレー等）を選択し、アンカーポイントを生成すると、受け取ったボールをヘディング又はボレーする第２の選手が、方向変化及び地面からボールまでの高さから自動的に判定される。
【００７１】
選手Ｂ４０１がボール４１０を足で受けると、選手Ｂ４０１はおそらくそのボールをドリブルしようと望む。これには、ボール４１０が選手Ｂ４０１の足の非常に近くにある必要がある。ボール４１０が選手Ｂ４０１の足に非常に近接することにより、ボール４１０の検出がより難しくなり、誤りが生じやすくなる。これは、カメラ１０８及び１１０、並びにカメラ構成１１２が固定されている場合に当てはまる。
【００７２】
したがって、図７（Ａ）の場合のように選手がボールをドリブルする場合、ユーザ端末２０４の操作者は、図５及び図６において説明したものと同様の技術を用いて、ボール検出により収集される位置又はデータを向上させることができる。
【００７３】
図７（Ａ）において、選手Ｂ４０１は、ボールを位置４１０’に移動させる。これにより、新たな位置Ｂ４０１’（破線により示す）が与えられる。しかしながら、選手の走る方向がカーブしたからといっても、ドリブルされたボールの検出経路６００はやはり不正確である。これにより、連続したフレーム間で、グラウンド１００上でのボール４１０の位置を特定する際に誤りが生じやすくなる。したがって、ユーザ端末２０４の操作者は、所定数のフレーム毎に、フラグ又はアンカーを生成する。例えば、操作者は、５フレーム毎にフラグを生成してもよく、又は操作者が適当と考える任意の他の所定数毎であってもよい。各フラグ又はアンカーの後、画像処理部２００は、ドリブルされたボール４１０の検出経路６００を、アンカーポイント間のファンデルモンド行列に配置し、これにより、図７（Ｂ）に示すようなドリブルされたボールのフィルタリングされた経路６０５が提供される。
【００７４】
図８を参照して、試合の各フレームについてボールの位置が確定されると、その試合に関連付けられたメタデータ、アクションが起こる毎にアクション選択メニューから選択されたアクション、及び選手追跡により生成された選手の位置データが照合される。この照合されたデータにより、仮想の選手を用いて試合を再構築するのに十分な情報が提供される。ネットワーク７０５及びディスプレイ７１５に接続されたプレイステーション（登録商標）３ ７１０等の汎用のホームコンピュータシステム７００において、これらのモデルを構築することができる。
【００７５】
各フレームにおける各選手の位置情報により、プレイステーション（登録商標）３ ７１０は、仮想のグラウンドのどこに仮想選手を配置するかを知る。さらに、ボールのフィルタリングされた位置情報により、プレイステーション（登録商標）３ ７１０は、ボールがどの時点でどこにあったかを知る。さらに、選択されたアクションの発生を通知する情報により、プレイステーション（登録商標）３ ７１０は、選手が正しい足で且つ正しい時点でボールを蹴るように、仮想モデルを操作することができる。
【００７６】
このレベルの詳細情報により、リアルタイムのビデオ映像を、コンピュータゲームに用いるために、仮想環境にモーフィングすることが可能である。実際の試合の照合されたデータを、インターネット等のネットワーク又はその試合のデータを含む記憶媒体（図示せず）或いはその２つの組み合わせを介して提供することができる。これに代えて、又はこれに加えて、サッカーのコーチや解説者が、試合の詳細な分析を行うことも可能である。
【００７７】
上記は、映像の短いセグメントにおいて補正されるフィルタリングされたボールの経路を参照して説明されたが、これは本発明の実現する唯一の方法ではないということを理解されたい。他の実施形態では、試合の各フレームにおけるボールの位置が特定され、すべてのアンカー及びアンカーに関連付けられたメタデータが、上述のように生成される。その後、編集段階において、試合の映像全体に対し、アンカーを考慮に入れたボールフィルタリングが適用される。
【００７８】
上記は、サッカーの試合におけるボールの追跡に関して説明されたが、本発明はこれに限定されない。例えば、オブジェクトは、任意のスポーツのボールであってもよく、さらには、一連の画像にわたって検出し、追跡する必要のある任意のオブジェクトであってよい。
【００７９】
さらに、上記は画像処理部２００を参照して説明されたが、本発明の実施形態は、コンピュータ上で実行されてもよい。これは、本発明の実施形態では、コンピュータを上述のような画像処理部２００として機能させるためのコンピュータ読取可能な命令を有するコンピュータプログラムが提供されるということを意味している。このコンピュータプログラムは、光記憶媒体、固体媒体、又は磁気ディスクタイプの媒体として提供されてよい。
【００８０】
操作者がアンカーポイントを手動で指定することの利点は、アンカーポイントの選択に影響を与えるノイズを防止できることである。サッカー等のいくつかのスポーツでは、非常に多くの種類のボールとの相互作用が存在するが、追跡に用いられるカメラは、このアクションからかなり遠い位置にある場合がある。そのため、自動化されたシステムにおいては、アンカーポイントの誤検出が発生する可能性がある。
【００８１】
本明細書において、本発明の例示的な実施形態を、添付の図面を参照して説明したが、本発明はこれらの厳密な実施形態に限定されず、当業者は、添付の特許請求の範囲によって規定される本発明の範囲及び精神から逸脱することなく、種々の変更及び変形を行ってもよいことを理解されたい。
【特許請求の範囲】
【請求項１】
或る位置に固定された少なくとも１台のカメラによって撮影され、第１のフラグ付きフレーム及び第２のフラグ付きフレームを有する、或る場所を映したビデオにおけるオブジェクトを追跡するオブジェクト追跡方法であって、
前記ビデオの前記第１のフラグ付きフレームにおける第１のアンカーポイントを検出し、
前記第１のフラグ付きフレーム及びそれ以降のフレームにおいて、前記場所内での前記オブジェクトの位置を検出し、
前記ビデオの前記第２のフラグ付きフレームにおける第２のアンカーポイントを検出し、
前記第２のフラグ付きフレームにおいて、前記場所内での前記オブジェクトの位置を検出し、
前記第１のフラグ付きフレームから前記第２のフラグ付きフレームまでの各フレームにおいて、前記場所内での前記オブジェクトの位置を、多項式に従って調整し、
前記第１のフラグ付きフレーム及び前記第２のフラグ付きフレームにおいて検出されたアンカーポイントにおいて発生したアクションを識別するメタデータが定義され、
前記アクションは、所定のアクションリストから選択される
オブジェクト追跡方法。
【請求項２】
請求項１に記載のオブジェクト追跡方法であって、
前記多項式は、前記ビデオの前記第１のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置から、前記ビデオの前記第２のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置にわたる
オブジェクト追跡方法。
【請求項３】
請求項２に記載のオブジェクト追跡方法であって、
前記ビデオの前記各フレームにおける前記オブジェクトの検出された位置と、前記多項式によって定義された前記ビデオの前記各フレームにおける前記場所内での前記オブジェクトの位置との間の測定誤差が最小限となるように、前記多項式のパラメータが選択される
オブジェクト追跡方法。
【請求項４】
請求項１に記載のオブジェクト追跡方法であって、
前記第２のアンカーポイントは、前記オブジェクトの方向変化に応じて検出される
オブジェクト追跡方法。
【請求項５】
請求項１に記載のオブジェクト追跡方法であって、
前記多項式は、多項式補間法を用いて生成される
オブジェクト追跡方法。
【請求項６】
請求項５に記載のオブジェクト追跡方法であって、
前記多項式は、ファンデルモンド行列を用いて生成される
オブジェクト追跡方法。
【請求項７】
請求項１に記載のオブジェクト追跡方法であって、さらに、
前記ビデオにおけるオブジェクトを追跡する前に、当該ビデオのフレームにおいて、前記場所における既知の位置に対応する複数の位置を規定し、
前記ビデオの前記フレームから、前記場所内での前記既知の位置を基準として、前記ビデオにおける他の位置を規定する
オブジェクト追跡方法。
【請求項８】
請求項１に記載のオブジェクト追跡方法であって、
前記場所は、少なくとも１本の直線を有し、
前記ビデオにおける前記オブジェクトを追跡する前に、前記カメラによって撮影された前記ビデオにおける前記直線の位置が、前記場所における前記直線に対応するように適合される
オブジェクト追跡方法。
【請求項９】
請求項１に記載のオブジェクト追跡方法であって、
前記オブジェクトの前記調整された位置は、仮想環境内での前記オブジェクトの位置を定義するために用いられる
オブジェクト追跡方法。
【請求項１０】
或る位置に固定された少なくとも１台のカメラによって撮影され、第１のフラグ付きフレーム及び第２のフラグ付きフレームを有する、或る場所を映したビデオにおけるオブジェクトを追跡するオブジェクト追跡装置であって、
前記ビデオの前記第１のフラグ付きフレームにおける第１のアンカーポイントを検出する第１の検出部と、
前記第１のフラグ付きフレーム及びそれ以降のフレームにおいて、前記場所内での前記オブジェクトの位置を検出する第２の検出部と、
前記ビデオの前記第２のフラグ付きフレームにおける第２のアンカーポイントを検出し、前記第２のフラグ付きフレームにおいて、前記場所内での前記オブジェクトの位置を検出する第３の検出部と、
前記第１のフラグ付きフレームから前記第２のフラグ付きフレームまでの各フレームにおいて、前記場所内での前記オブジェクトの位置を、多項式に従って調整する処理部と
を具備し、
前記第１のフラグ付きフレーム及び前記第２のフラグ付きフレームにおいて検出されたアンカーポイントにおいて発生したアクションを識別するメタデータが定義され、
前記アクションは、所定のアクションリストから選択される
オブジェクト追跡装置。
【請求項１１】
請求項１０に記載のオブジェクト追跡装置であって、
前記多項式は、前記ビデオの前記第１のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置から、前記ビデオの前記第２のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置にわたる
オブジェクト追跡装置。
【請求項１２】
請求項１１に記載のオブジェクト追跡装置であって、
前記ビデオの前記各フレームにおける前記オブジェクトの検出された位置と、前記多項式によって定義された前記ビデオの前記各フレームにおける前記場所内での前記オブジェクトの位置との間の測定誤差が最小限となるように、前記多項式のパラメータが選択される
オブジェクト追跡装置。
【請求項１３】
請求項１０に記載のオブジェクト追跡装置であって、
前記第２のアンカーポイントは、前記オブジェクトの方向変化に応じて検出される
オブジェクト追跡装置。
【請求項１４】
請求項１０に記載のオブジェクト追跡装置であって、
前記多項式は、多項式補間法を用いて生成される
オブジェクト追跡装置。
【請求項１５】
請求項１４に記載のオブジェクト追跡装置であって、
前記多項式は、ファンデルモンド行列を用いて生成される
オブジェクト追跡装置。
【請求項１６】
請求項１０に記載のオブジェクト追跡装置であって、
前記処理部は、前記ビデオにおけるオブジェクトを追跡する前に、当該ビデオのフレームにおいて、前記場所における既知の位置に対応する複数の位置を規定し、前記ビデオの前記フレームから、前記場所内での前記既知の位置を基準として、前記ビデオにおける他の位置を規定する
オブジェクト追跡装置。
【請求項１７】
請求項１０に記載のオブジェクト追跡装置であって、
前記場所は、少なくとも１本の直線を有し、
前記ビデオにおける前記オブジェクトを追跡する前に、前記カメラによって撮影された前記ビデオにおける前記直線の位置が、前記場所における前記直線に対応するように適合される
オブジェクト追跡装置。
【請求項１８】
請求項１０に記載のオブジェクト追跡装置であって、
前記オブジェクトの前記調整された位置は、仮想環境内での前記オブジェクトの位置を定義するために用いられる
オブジェクト追跡装置。
【請求項１９】
ビデオマテリアル、及び当該ビデオマテリアルに関連付けられた、請求項１に記載の方法に従って生成された前記調整された位置データを格納した記憶媒体と、
仮想環境を生成する処理部と
を具備するコンピュータであって、
前記仮想環境は、当該仮想環境内の前記記憶された、前記ビデオマテリアルに関連付けられ、調整された位置データに対応する位置に位置する前記オブジェクトを含む
コンピュータ。
【請求項２０】
ビデオマテリアル、及び当該ビデオマテリアルに関連付けられた、請求項１〜９のいずれか１項に記載の方法に従って生成された前記調整された位置データを有する記憶媒体。
【請求項２１】
或る位置に固定された少なくとも１台のカメラと、請求項１０に記載の装置とを具備する、或る場所内のオブジェクトを撮影及び追跡するシステム。
【請求項２２】
コンピュータに、請求項１に記載の方法の各ステップを実行させるためのプログラム。
【請求項２３】
請求項２２に記載のプログラムを格納した記憶媒体。
【請求項１】
或る位置に固定された少なくとも１台のカメラによって撮影され、第１のフラグ付きフレーム及び第２のフラグ付きフレームを有する、或る場所を映したビデオにおけるオブジェクトを追跡するオブジェクト追跡方法であって、
前記ビデオの前記第１のフラグ付きフレームにおける第１のアンカーポイントを検出し、
前記第１のフラグ付きフレーム及びそれ以降のフレームにおいて、前記場所内での前記オブジェクトの位置を検出し、
前記ビデオの前記第２のフラグ付きフレームにおける第２のアンカーポイントを検出し、
前記第２のフラグ付きフレームにおいて、前記場所内での前記オブジェクトの位置を検出し、
前記第１のフラグ付きフレームから前記第２のフラグ付きフレームまでの各フレームにおいて、前記場所内での前記オブジェクトの位置を、多項式に従って調整し、
前記第１のフラグ付きフレーム及び前記第２のフラグ付きフレームにおいて検出されたアンカーポイントにおいて発生したアクションを識別するメタデータが定義され、
前記アクションは、所定のアクションリストから選択される
オブジェクト追跡方法。
【請求項２】
請求項１に記載のオブジェクト追跡方法であって、
前記多項式は、前記ビデオの前記第１のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置から、前記ビデオの前記第２のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置にわたる
オブジェクト追跡方法。
【請求項３】
請求項２に記載のオブジェクト追跡方法であって、
前記ビデオの前記各フレームにおける前記オブジェクトの検出された位置と、前記多項式によって定義された前記ビデオの前記各フレームにおける前記場所内での前記オブジェクトの位置との間の測定誤差が最小限となるように、前記多項式のパラメータが選択される
オブジェクト追跡方法。
【請求項４】
請求項１に記載のオブジェクト追跡方法であって、
前記第２のアンカーポイントは、前記オブジェクトの方向変化に応じて検出される
オブジェクト追跡方法。
【請求項５】
請求項１に記載のオブジェクト追跡方法であって、
前記多項式は、多項式補間法を用いて生成される
オブジェクト追跡方法。
【請求項６】
請求項５に記載のオブジェクト追跡方法であって、
前記多項式は、ファンデルモンド行列を用いて生成される
オブジェクト追跡方法。
【請求項７】
請求項１に記載のオブジェクト追跡方法であって、さらに、
前記ビデオにおけるオブジェクトを追跡する前に、当該ビデオのフレームにおいて、前記場所における既知の位置に対応する複数の位置を規定し、
前記ビデオの前記フレームから、前記場所内での前記既知の位置を基準として、前記ビデオにおける他の位置を規定する
オブジェクト追跡方法。
【請求項８】
請求項１に記載のオブジェクト追跡方法であって、
前記場所は、少なくとも１本の直線を有し、
前記ビデオにおける前記オブジェクトを追跡する前に、前記カメラによって撮影された前記ビデオにおける前記直線の位置が、前記場所における前記直線に対応するように適合される
オブジェクト追跡方法。
【請求項９】
請求項１に記載のオブジェクト追跡方法であって、
前記オブジェクトの前記調整された位置は、仮想環境内での前記オブジェクトの位置を定義するために用いられる
オブジェクト追跡方法。
【請求項１０】
或る位置に固定された少なくとも１台のカメラによって撮影され、第１のフラグ付きフレーム及び第２のフラグ付きフレームを有する、或る場所を映したビデオにおけるオブジェクトを追跡するオブジェクト追跡装置であって、
前記ビデオの前記第１のフラグ付きフレームにおける第１のアンカーポイントを検出する第１の検出部と、
前記第１のフラグ付きフレーム及びそれ以降のフレームにおいて、前記場所内での前記オブジェクトの位置を検出する第２の検出部と、
前記ビデオの前記第２のフラグ付きフレームにおける第２のアンカーポイントを検出し、前記第２のフラグ付きフレームにおいて、前記場所内での前記オブジェクトの位置を検出する第３の検出部と、
前記第１のフラグ付きフレームから前記第２のフラグ付きフレームまでの各フレームにおいて、前記場所内での前記オブジェクトの位置を、多項式に従って調整する処理部と
を具備し、
前記第１のフラグ付きフレーム及び前記第２のフラグ付きフレームにおいて検出されたアンカーポイントにおいて発生したアクションを識別するメタデータが定義され、
前記アクションは、所定のアクションリストから選択される
オブジェクト追跡装置。
【請求項１１】
請求項１０に記載のオブジェクト追跡装置であって、
前記多項式は、前記ビデオの前記第１のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置から、前記ビデオの前記第２のフラグ付きフレームにおける前記場所内での前記オブジェクトの位置にわたる
オブジェクト追跡装置。
【請求項１２】
請求項１１に記載のオブジェクト追跡装置であって、
前記ビデオの前記各フレームにおける前記オブジェクトの検出された位置と、前記多項式によって定義された前記ビデオの前記各フレームにおける前記場所内での前記オブジェクトの位置との間の測定誤差が最小限となるように、前記多項式のパラメータが選択される
オブジェクト追跡装置。
【請求項１３】
請求項１０に記載のオブジェクト追跡装置であって、
前記第２のアンカーポイントは、前記オブジェクトの方向変化に応じて検出される
オブジェクト追跡装置。
【請求項１４】
請求項１０に記載のオブジェクト追跡装置であって、
前記多項式は、多項式補間法を用いて生成される
オブジェクト追跡装置。
【請求項１５】
請求項１４に記載のオブジェクト追跡装置であって、
前記多項式は、ファンデルモンド行列を用いて生成される
オブジェクト追跡装置。
【請求項１６】
請求項１０に記載のオブジェクト追跡装置であって、
前記処理部は、前記ビデオにおけるオブジェクトを追跡する前に、当該ビデオのフレームにおいて、前記場所における既知の位置に対応する複数の位置を規定し、前記ビデオの前記フレームから、前記場所内での前記既知の位置を基準として、前記ビデオにおける他の位置を規定する
オブジェクト追跡装置。
【請求項１７】
請求項１０に記載のオブジェクト追跡装置であって、
前記場所は、少なくとも１本の直線を有し、
前記ビデオにおける前記オブジェクトを追跡する前に、前記カメラによって撮影された前記ビデオにおける前記直線の位置が、前記場所における前記直線に対応するように適合される
オブジェクト追跡装置。
【請求項１８】
請求項１０に記載のオブジェクト追跡装置であって、
前記オブジェクトの前記調整された位置は、仮想環境内での前記オブジェクトの位置を定義するために用いられる
オブジェクト追跡装置。
【請求項１９】
ビデオマテリアル、及び当該ビデオマテリアルに関連付けられた、請求項１に記載の方法に従って生成された前記調整された位置データを格納した記憶媒体と、
仮想環境を生成する処理部と
を具備するコンピュータであって、
前記仮想環境は、当該仮想環境内の前記記憶された、前記ビデオマテリアルに関連付けられ、調整された位置データに対応する位置に位置する前記オブジェクトを含む
コンピュータ。
【請求項２０】
ビデオマテリアル、及び当該ビデオマテリアルに関連付けられた、請求項１〜９のいずれか１項に記載の方法に従って生成された前記調整された位置データを有する記憶媒体。
【請求項２１】
或る位置に固定された少なくとも１台のカメラと、請求項１０に記載の装置とを具備する、或る場所内のオブジェクトを撮影及び追跡するシステム。
【請求項２２】
コンピュータに、請求項１に記載の方法の各ステップを実行させるためのプログラム。
【請求項２３】
請求項２２に記載のプログラムを格納した記憶媒体。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図５Ｆ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図７】
【図８】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図５Ｆ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図７】
【図８】
【公開番号】特開２０１０−２４６１１７（Ｐ２０１０−２４６１１７Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２０１０−８４０４３（Ｐ２０１０−８４０４３）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（５９３０８１４０８）ソニー ヨーロッパ リミテッド (93)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（５９３０８１４０８）ソニー ヨーロッパ リミテッド (93)
【Ｆターム（参考）】
[ Back to top ]