コンピュータグラフィックス画像表示システム及び方法
【課題】 一箇所に設置されたカメラ動画像を素材として、視覚座標と絶対座標との対応を正確に設定することができ、高品質の三次元モデルによる滑らかなアニメーションを制作する。
【解決手段】 コートを特徴付ける線分上に複数の座標設定ポイントを設定し、コートのラインを基にワイヤフレームの画像を発生させ、このワイヤフレームの座標設定ポイントを画面上の対応するコートの上の位置にドラッグして、座標設定ポイントの視覚座標を取得して、変換パラメータを求める。各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルコンピュータグラフィックスのフィギュアデータを予めフィギュア記録テーブル１４によりデータベース化し、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、最適なデータレコードを設定する。
【解決手段】 コートを特徴付ける線分上に複数の座標設定ポイントを設定し、コートのラインを基にワイヤフレームの画像を発生させ、このワイヤフレームの座標設定ポイントを画面上の対応するコートの上の位置にドラッグして、座標設定ポイントの視覚座標を取得して、変換パラメータを求める。各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルコンピュータグラフィックスのフィギュアデータを予めフィギュア記録テーブル１４によりデータベース化し、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、最適なデータレコードを設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サッカー等の球技スポーツの映像を素材として、自由視点による再生が可能な三次元コンピュータグラフィックス（以下「ＣＧ」と略す）動画像を制作するコンピュータグラフィックス画像表示システム及び方法に関する。
【背景技術】
【０００２】
サッカー等の映像を素材とした、自由視点による再生が可能な三次元コンピュータグラフィックス（以下、ＣＧと称する）は、視点を変えてのハイライトシーンの表示や、戦術分析等に利用できる。
【０００３】
従来のＣＧ制作作業においては、物体を、陰影表現を用いて三次元的に表現する場合、観察者の位置から見た対象物体の奥行き情報を取得し、対象物体上の陰影表現に反映させることで対応している。この奥行き情報を取得するためには、観察者の位置に複数個の視点カメラを設定し、各カメラで撮影された対象物体映像から、陰影情報を取得し、複数の陰影情報から光源の位置情報及び光源の強さ情報を計算して記憶装置に保存するとともに、各カメラで撮影された対象物体映像から、対象物体を全方向から見た表面映像情報を取得し、各カメラの設置位置情報に基づき、取得した全表面映像情報の三次元座標を計算し、記憶装置に保存する。当該映像を、自由に設定された視点から見た映像として映像再生装置において再生する場合には、この光源情報と全表面の三次元座標情報に基づいて物体表面の陰影表現を計算し、表示している。
【０００４】
ところが、上述の従来の画像制作システムにおいて、撮影による死角を解消し、あらゆる自由視点画像を制作させるためには、カメラの口角を考慮しつつ、複数台のカメラ設置が必要となる。また、各カメラで撮影した画像をコンピュータ上で合成し、三次元画像として生成する処理が発生する。当該処理は、カメラ台数に比例して処理ステップ数が増加し、高い処理能力を持ったコンピュータシステムが必要となる。
【０００５】
また、実際のサッカー等のフィールド球技スポーツにおいては、フィールド内のプレーヤは競技時間の殆どをフィールド面上でプレイしており、高さ方向の移動の頻度は少ない。このため、プレーヤの動作を表現するためには、プレーヤのフィールド上での二次元座標の時間変化を優先的に把握する必要がある。この各プレーヤの座標把握の手法に関しては、プレーヤの身体の一部に座標把握のためのデバイスを装着させ、外部システムと当該デバイスとの通信処理結果から座標を認識する手法が提案されている。
【０００６】
ところが、上述の手法においては、プレーヤの身体に装着するデバイスに対し、試合中に破損や脱落が生じないような、強い耐久性が求められる。さらに、試合主催者やプレーヤ自身が、デバイスの装着を承認する必要があり、プレーヤの動きを阻害しないことや、あらゆる面で試合進行を妨げないことなど、多方面にわたる要求水準を満たす必要がある。
【０００７】
また、座標把握デバイス及びシステムを用いずに、テレビ放送のスポーツ中継における、一箇所に固定されたテレビカメラ映像を素材とした、フィールド上の二次元座標の認識技術については、非特許文献１において、テレビカメラ映像上に撮影されている台形のスポーツフィールド（以下、「視覚座標」と称す）を、透視図法による実際の長方形フィールド（以下、「絶対座標」と称す）の表現結果であると仮定し、視覚座標内に表示されている４点の座標測定結果から、当該視覚座標と絶対座標間の一次変換行列式を計算する方法が提案されている。
【０００８】
この非特許文献１においては、視覚座標の一部台形を形成する垂直方向ライン２本と水平方向２本の計４本を画像処理により認識し、当該直線上の４交点から一次変換行列式を求める「強制法」と、視覚座標上に表示されている平行線ペアの始点及び終点の計４点から一次変換行列式を求める「迅速法」の２つの手法が提案されている。
【０００９】
しかしながら、「強制法」は、正確な変換結果が得られるものの、多くの計算処理時間を要し、一方「迅速法」は迅速に結果が得られるものの、例えばコートの一部のみが撮影されているような映像を素材とした場合には、素材情報に誤差が含まれる可能性が大きく、正しい結果は得られないことがある。
【００１０】
さらに、「強制法」「迅速法」共に、例えば、コート全面が撮影されている映像素材の１映像フレームを取り出したケースのような、カメラの焦点が移動しない、即ち視覚座標の形が変化しない場合にのみ成立する処理であり、実際のテレビ放送映像に見られるような、テレビカメラがプレーヤ又はボールに焦点を当てる、即ち映像の焦点が常に上下左右に移動し、座標軸の設定基準となるコートのラインが画面外に移動する、所謂「見切れる」状態となるケースにおいては，正しい変換処理結果は得られない。
【００１１】
また、実際の動画像から三次元ＣＧを作成するためには、プレーヤアニメーションの割り付け作業が行われる。
【００１２】
従来のＣＧ制作作業においては、動作する人体を三次元的に表現する場合、モデルが予め関節の位置を把握するためのポイントを装着し、モデルの動作をビデオ撮影し、当該ビデオ映像の再生映像の中からポイントの動作のみを抽出し、抽出したポイントをつなぎ合わせて人体のワイヤフレームの動作として再生し、当該ワイヤフレームに当たる光線の方向と強さを設定し、当該光線が形成する陰影を考慮した表面画像のマッピング処理を当該ワイヤフレームに対して行っている。さらに、生成した三次元人体ＣＧをアニメーションとして表現するためには、各映像フレーム単位で生成された三次元人体ＣＧを、隣接する映像フレーム間で比較し、アニメーション再生時に滑らかな動作となるように、各映像フレーム上の関節の位置を微調整する作業を行っている。
【００１３】
しかしながら、上述の従来のＣＧ制作作業においては、モデルへの関節ポイントの装着が必須である。この手法は、試合主催者やプレーヤ自身が、ポイントの装着を承認する必要があり、プレーヤの動きを阻害しないことや、あらゆる面で試合進行を妨げないことなど、多方面にわたる要求水準を満たす必要がある。
【００１４】
また、仮にポイント装着が許可されたとしても、上述の従来のＣＧ制作作業により三次元ＣＧ制作を実現させるためには、撮影されたポイント動画像からワイヤフレームを生成し、陰影計算処理を実施し、マッピング処理を行うという多大な処理ステップを高速で実行する必要があり、高い処理能力を持ったコンピュータシステムが必要となる。さらに、滑らかなアニメーションを実現するためには、全映像フレーム間で、映像フレーム上に表示されている三次元オブジェクト動作の修正作業が必要であり、１秒あたり６０フレーム以上の撮影を行う高品位画像等においては、膨大な作業量となる。
【００１５】
また、コンサートホールや屋外競技場のような大規模空間において、モデルにポイントを装着せずに、映像フレーム上からモデルの二次元映像情報のみを抽出し、擬似的な三次元人体モデルを生成する技術が非特許文献２に示されている。
【００１６】
この非特許文献２では、まず多視点からコートを捉えた映像を作成するために、コートを取り囲むように均等に配置された８台のカメラを設置する。このカメラの高さは、撮影した映像上でのプレーヤの重複を避けるため、コートの水平面に対し、４５度程度の角度となる位置に設置する。次に、各カメラで、コートにプレーヤが居ない状態のコート画像を背景画像として予め取得し、記憶装置に保存しておく。次に、各カメラで、実際に試合が行われている動画像を撮影し、各映像フレームにおいて、前述の背景画像との差分情報を抽出し、プレーヤもしくはボールの映像情報をテクスチャ情報として抽出する。次に、背景情報上のプレーヤ・ボールが存在している箇所に、視点方向に対して垂直に長方形のポリゴンを設置し、このポリゴンを、前述処理で抽出したテクスチャにより、マッピング処理する。仮に視点方向が、前述の８台の撮影カメラの中間点として設定された場合には、当該長方形ポリゴンを視点方向に対して垂直方向となるように回転させた二次元画像で近似する。
【００１７】
上述の手法によれば、プレーヤがポイントを装着しなくても擬似三次元人体モデルを自動処理により生成することが可能であるが、当該手法は、大規模空間において、表示オブジェクトから十分遠い位置に視点を設置した場合のＣＧ制作を想定しており、例えばプレーヤ間に視点を設置した場合等の、表示オブジェクトから十分近い位置に視点を設置した場合のＣＧの品質評価が十分でない。
【非特許文献１】"Fast Camera Calibration for the Analysis of Sport Sequences"：Univ. of Tchnol. Eindhoven Dirk Farin, Jugong Han, Peter H. N. de With
【非特許文献２】「仮想化現実技術を用いた大規模空間自由視点映像のライブ配信と提示」 古山孝好、北原格、大田友一
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述のように、従来の自由視点による三次元ＣＧの制作では、スポーツ中継の画像から三次元ＣＧを制作する場合に、複数台のカメラ設置が必要となったり、また、高い処理能力を持ったコンピュータシステムが必要になったりする。
【００１９】
また、従来の自由視点による三次元ＣＧの制作では、三次元モデルの滑らかなアニメーションを制作することが困難であると共に、特殊なポイントを装着する必要があったり、三次元モデルの制作に莫大な手間と時間が必要であったりする。
【００２０】
上述の課題を鑑み、本発明は、一箇所に設置されたカメラ動画像を素材として、視覚座標と絶対座標との対応を正確に設定することができると共に、高品質の三次元人体モデルによる滑らかなアニメーションを制作することできるコンピュータグラフィックス画像表示システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上述の課題を解決するために、本発明のコンピュータグラフィックス画像表示システムは、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、映像素材の場所を特徴付ける線分上に複数の座標設定ポイントが設定され、絶対座標の基準となるワイヤフレームを発生するワイヤフレーム発生手段と、ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力する入力手段と、少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出する演算手段と、各映像フレームに対応して、変換パラメータが記録される変換パラメータテーブルと、求められた変換パラメータを基に、複数の座標設定ポイントについての視覚座標と絶対座標との対応関係が記述された座標設定ポイント記録テーブルとを備えることを特徴とする。
【００２２】
好ましくは、変換パラメータテーブル中の座標設定ポイントが入力されていない映像フレームについては、前後映像フレームで求められた変換パラメータを直線補間した変換パラメータが記述されることを特徴とする。
【００２３】
好ましくは、座標設定ポイントの視覚座標の入力は、ワイヤフレーム生成部からのワイヤフレームを実映像画面と重ねて表示させ、ワイヤフレーム上の座標設定ポイントを実映像画面の対応部分に重ねるようにして行うことを特徴とする。
【００２４】
本発明のコンピュータグラフィックス画像表示システムは、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積したフィギュア記録テーブルと、データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定する手段と、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータをフィギュア記録テーブルから割り付ける制御手段とを備えることを特徴とする。
【００２５】
好ましくは、制御手段は、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの移動距離と、始点フレームから終点フレームまでの映像フレーム数とに基づいて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータを判断することを特徴とする。
【００２６】
好ましくは、制御手段は、個別動作の開始から終了までの動作変化を示す一連のフィギュアデータの連続体を、プレーヤの個別動作を表現するデータグループとして管理することを特徴とする。
【００２７】
好ましくは、制御手段は、連続した動作の開始から終了までの動作変化を示す一連のデータグループの連続体を、プレーヤの連続した動作を表現するシーケンスとして管理することを特徴とする。
【００２８】
本発明のコンピュータグラフィックス画像表示方法は、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、映像素材の場所を特徴付ける線分上に複数の座標設定ポイントが設定され、絶対座標の基準となるワイヤフレームを発生するステップと、ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力するステップと、少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出するステップと、各映像フレームに対応して、変換パラメータを記録するステップと、求められた変換パラメータを基に、複数の座標設定ポイントについての視覚座標と絶対座標との対応関係とを記録するステップとを備えることを特徴とする。
【００２９】
本発明のコンピュータグラフィックス画像表示方法は、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示方法において、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積するステップと、データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定するステップと、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータをフィギュア記録テーブルから割り付けるステップとを備えることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、映像素材の場所を特徴付ける線分上に複数の座標設定ポイントが設定され、絶対座標の基準となるワイヤフレームを発生するワイヤフレーム発生手段と、ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力する入力手段と、少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出する演算手段と、各映像フレームに対応して、変換パラメータが記録される変換パラメータテーブルと、求められた変換パラメータを基に、複数の座標設定ポイントについての視覚座標と絶対座標との対応関係が記述された座標設定ポイント記録テーブルとを備えているので、簡易な処理で、画面上の任意のポイントの視覚座標を絶対座標に変換して取り込むことができると共に、絶対座標上で指定されたグラフィックス画像を任意の視覚座標に変換して、画面上に映し出すことができる。
【００３１】
本発明によれば、変換パラメータテーブル中の座標設定ポイントが入力されていない映像フレームについては、前後映像フレームで求められた変換パラメータを直線補間した変換パラメータが記述されるので、簡易な処理で、自然な動きの変換パラメータを生成できる。
【００３２】
本発明によれば、座標設定ポイントの視覚座標の入力は、ワイヤフレーム生成部からのワイヤフレームを実映像画面と重ねて表示させ、ワイヤフレーム上の座標設定ポイントを実映像画面の対応部分に重ねるようにして行うようにしているので、簡単な操作で、精度の高い、変換パラメータを算出できる。
【００３３】
本発明によれば、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積したフィギュア記録テーブルと、データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定する手段と、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータをフィギュア記録テーブルから割り付ける制御手段とを備えているので、簡単な処理で、自然な動きの三次元人体モデルのコンピュータグラフィックスを表示できる。
【００３４】
本発明によれば、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの移動距離と、始点フレームから終点フレームまでの映像フレーム数とに基づいて、最適な動作を表現しているので、自然な動きの三次元人体モデルのコンピュータグラフィックスを表示できる。
【００３５】
本発明によれば、個別動作の開始から終了までの動作変化を示す一連のフィギュアデータの連続体を、プレーヤの個別動作を表現するデータグループとして管理しているので、滑らかな動きのコンピュータグラフィックスを表示できる。
【００３６】
本発明によれば、連続した動作の開始から終了までの動作変化を示す一連のデータグループの連続体を、プレーヤの連続した動作を表現するシーケンスとして管理しているので、滑らかな動きのコンピュータグラフィックスを表示できる。
【００３７】
本発明によれば、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、映像素材の場所を特徴付ける線分上に複数の座標設定ポイントが設定され、絶対座標の基準となるワイヤフレームを発生するステップと、ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力するステップと、少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出するステップと、各映像フレームに対応して、変換パラメータを記録するステップと、求められた変換パラメータを基に、複数の座標設定ポイントについての視覚座標と絶対座標との対応関係とを記録するステップとを備えているので、簡易な処理で、画面上の任意のポイントの視覚座標を絶対座標に変換して取り込むことができると共に、絶対座標上で指定されたグラフィックス画像を任意の視覚座標に変換して、画面上に映し出すことができる。
【００３８】
本発明によれば、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示方法において、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積するステップと、データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定するステップと、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータをフィギュア記録テーブルから割り付けるステップとを備えているので、簡単な処理で、自然な動きの三次元人体モデルのコンピュータグラフィックスを表示できる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明の実施の形態について、図面を参照しながら説明する。図１は、本発明の実施形態のコンピュータグラフィックス画像表示システムの構成を示すものである。
【００４０】
図１に示すように、本発明の実施形態のコンピュータグラフィックス画像表示システムは、演算装置操作デバイス１と、演算装置２と、映像データ再生装置４と、映像データ入力インターフェース５と、映像データメモリ６と、表示データ処理装置７と、ＶＲＡＭ（Video Random Access Memory）７と、作業用ディスプレイ９と、ワイヤフレーム生成部１０と、変換パラメータテーブル１１と、座標設定ポイント記録テーブル１２と、フィギュア記録テーブル１４と、動作判定テーブル１５とを備えている。
【００４１】
演算装置操作デバイス１は、演算装置２に対して作業者が各種の操作を行う入力デバイスである。演算装置操作デバイス１は、演算装置２が有する各種処理を選択、操作することと同時に、作業用ディスプレイ９上にワイヤフレームとして表示される座標設定ポイントと、映像画面として表示される視覚座標上の座標設定ポイントとの配置を操作する操作や、映像画面上のプレーヤのオブジェクトの視覚座標位置を入力して、絶対座標上のパラメータとして収集する操作を担うため、マウス、タブレット、タッチパネル等、画面上の座標を入力するための操作性に優れたデバイスであることが望ましい。
【００４２】
演算装置２は、各種映像情報処理や数値計算等の処理を行うものである。後に説明するように、演算装置２は、視覚座標設定作業対象となる映像フレームに対し、ワイヤフレームを表示させ、このワイヤフレームの座標設定ポイントに対応する画面上の視覚座標を取得し、座標設定ポイントの視覚座標と絶対座標との対応関係から、変換パラメータを算出する処理を行っている。また、演算装置２は、ＣＧ作成時に、選定されたプレーヤのポジション及び移動方向及び記録映像フレーム数に基づき、フィギュア記録テーブル１４の中から最適なシーケンスを選択し、当該シーケンスに基づいたプレーヤの動作アニメーションを構成するフィギュアデータを、各映像フレーム上の当該プレーヤ位置に割り付けるような処理を行っている。演算装置２は、さらに、種々の計算や処理を行っている。
【００４３】
映像データ再生装置４は、素材となる実映像データを再生する装置である。より具体的には、映像データ再生装置４は、ビデオムービー、ＶＣＲ(Video Cassette Recorder)、ＤＶＤ(Digital Versatile Disc)プレーヤ、ＨＤＤ(Hard Disk Drive)ビデオプレーヤである。本発明の実施形態の一つの特徴は、素材となる実映像データの形式や品質に依存しないということである。テレビ中継のサッカーの試合の映像、アマチュアが客席から撮影したサッカーの試合の映像、数年前に放映されたサッカーの試合の映像等、どれも素材として利用可能である。
【００４４】
映像データ入力インターフェース５は、映像データ再生装置４からの映像データをシステムへ取り込むためのインターフェースである。
【００４５】
映像データメモリ６は、映像データ再生装置４から取り込んだ映像データを保存するメモリである。映像データメモリ６としては、多数の映像フレームのビデオ画像を保存できるだけの十分な容量があることが望ましい。
【００４６】
表示データ処理装置７は、作業者の作業結果や演算装置の処理結果を取りまとめて、ＶＲＡＭ７に送る処理を行うものである。ＶＲＡＭ７は、表示データ処理装置の処理結果を画像情報として蓄えるものである。
【００４７】
作業用ディスプレイ９は、ＶＲＡＭ７の内容を表示するディスプレイである。作業用ディスプレイ９としては、ＬＣＤ(Liquid Crystal Display)ディスプレイや、ＣＲＴ(Cathode-Ray Tube)ディスプレイが用いられる。
【００４８】
ワイヤフレーム生成部１０は、絶対座標の基準となる複数の座標設定ポイントを設定するためのワイヤフレームの画像を発生させる（図３参照）。本発明の実施形態では、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等、映像素材の場所（サッカーコート）を特徴付ける線分上に、複数の座標設定ポイントが設定される。これらの座標設定ポイントに対して、視覚座標と絶対座標との対応関係が求められる。
【００４９】
変換パラメータテーブル１１には、図５に示すように変換パラメータが各映像フレーム毎に記述される（図５参照）。座標設定ポイント記録テーブル１２には、各座標設定ポイントに対して、その視覚座標と絶対座標との関係が記述される（図４参照）。
【００５０】
フィギュア記録テーブル１４は、フィギュアデータを保存しておくデータベースである。ここで、フィギュアとは、コンピュータグラフィックス画面で用いる三次元人体モデルを指すものとする。
【００５１】
本発明の実施形態では、予め「歩く」「走り始める」「全力疾走する」「急停止する」等の動作を表現するデータグループが用意されている。ＣＧ制作時には、実映像データをコマ送り再生しながら、ポジション記録対象プレーヤの移動方向及び移動速度が急激に変化する映像フレームを選定して、プレーヤ映像の足元部分にマーキングが施される。
【００５２】
フィギュア記録テーブル１４には、マーキングに基づいて、各プレーヤ毎に、各映像フレームに対して、各プレーヤの配置、フィギュアデータの回転修正の結果、手動設定映像フレームの識別用フラグ、データグループの種類、フィギュアデータレコードＩＤ等が記録される（図１０参照）。
【００５３】
動作判定テーブル１５は、ＣＧ作成時に、選定されたプレーヤのポジション及び移動方向及び記録映像フレーム数に基づき、プレーヤの動作を判断するための、判定テーブルである（図１２参照）。これらのテーブルについては、後に説明する。
【００５４】
上述のように構成される本発明の実施形態のコンピュータグラフィックス画像表示システムは、素材となる実映像データから、ハイライトシーンの視点を変えての表示や、戦術分析等に利用できる。
【００５５】
このような自由視点による三次元ＣＧの制作では、通常、膨大な演算が必要になってくる。また、専用の複数のカメラ等、様々な制約条件が課せられ、アマチュアが客席から撮影したサッカーの試合の映像や、数年前に放映されたサッカーの試合の映像等、カメラワークが安定していない映像や品質が劣化している映像は、使用できない場合が多い。
【００５６】
これに対して、本発明の実施形態のコンピュータグラフィックス画像表示システムでは、コートを特徴付ける線分上に複数の座標設定ポイントを設定し、コートのラインを基にしたワイヤフレームの画像を発生させて、このワイヤフレームの座標設定ポイントを画面上の対応するコートの上の位置にドラッグして重ねて座標設定ポイントの視覚座標を取得して、変換パラメータを求めている。これにより、膨大な演算処理が不要になると共に、様々な制約条件から解放され、素材となる実映像データの形式や品質に依存せずに、三次元ＣＧ画面を表示させることができる。
【００５７】
また、本発明の実施形態では、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルコンピュータグラフィックスのフィギュアデータを予めフィギュア記録テーブル１４によりデータベース化し、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、最適なデータレコードを設定するようにしている。また、動作を一連の複数のフィギュアデータとして扱い、また、連続した動作をシーケンスとして扱うことで、滑らかな動作のアニメーションを実現している。これらのことについて、以下に詳細に説明する。
【００５８】
先ず、本発明における座標の設定について説明する。本発明の実施形態では、ＣＧ制作の対象となる実映像を表示している画面上に、絶対座標を真上から見た、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等のコートを特徴付ける線分を含んだワイヤフレームを重ねて表示させ、当該ワイヤフレーム上に設定されている座標設定用ポイントを４点選択し、実映像フレーム上に写っている同じポイントにドラッグ合致させるようにしている。これにより、絶対座標と１対１対応が可能な視覚座標が設定できる。
【００５９】
つまり、図２は、視覚座標と絶対座標との変換を説明するものである。コートは、真上の視点から見れば長方形であるが、カメラの視点では、台形に変形して見える。ここで、本来の長方形としたときの真上から見た画像を絶対座標で示し、カメラの視点で見たときの画像を視覚座標とする。
【００６０】
図２に示すように、視覚座標上の４点（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）は、絶対座標の４点（Ｘ'１，Ｙ'１）〜（Ｘ'４，Ｙ'４）に変換されている。この変換は、以下の式で示される。
【００６１】
【数１】
【００６２】
上式から、Ｘ（ｘ１〜ｘ４）及びＹ（ｙ１〜ｙ４）について解くと、以下のようになる。
【００６３】
【数２】
【００６４】
以上の結果から、視覚座標上の４点（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）と、絶対座標の４点（Ｘ'１，Ｙ'１）〜（Ｘ'４，Ｙ'４）との対応がわかれば、変換パラメータＨを算出して、視覚座標上の任意の点を絶対座標上に変換することができる。
【００６５】
常に、固定されたカメラからの画像であれば、視覚座標上の４点（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）と、絶対座標の４点（Ｘ'１，Ｙ'１）〜（Ｘ'４，Ｙ'４）との対応関係が変わることはない。よって、一度求めた変換パラメータＨをそのまま使い続けることができる。
【００６６】
しかしながら、上述したように、本発明の実施形態では、アマチュアが客席から撮影したサッカーの試合の映像や、数年前に放映されたサッカーの試合の映像等、様々な映像データが用いられる。これらの映像データでは、カメラがパンやチルトされて動かされたり、ズームアップ、ズームダウンされたり、シーンチェンジがあったりする。また、一台のカメラで撮影ではコート全体を撮影することはできないため、常に、基準となる４点が画面上に映し出されているとは限らない。
【００６７】
そこで、本発明の実施形態では、図３に示すような、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等のコートを特徴付ける線分を含んだワイヤフレームを用いるようにしている。
【００６８】
つまり、サッカーのコートには、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等のコートを特徴付ける線分が引かれている。図３に示すように、これらの線分上に、複数の座標設定ポイントＰ１〜Ｐ３３が設定される。そして、これらの座標設定ポイントＰ１〜Ｐ３３に対して、図４に示すように、視覚座標と絶対座標との対応関係を記録する座標設定ポイント記録テーブル１２が用意される。
【００６９】
ここで、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等の長さは、競技規則により予め決まっているので、これに基づいて、座標設定ポイントＰ１〜Ｐ３３の絶対座標を設定できる。映像画面上から、座標設定ポイントＰ１〜Ｐ３３のうちの少なくとも４点の視覚座標が得られれば、前述したように、視覚座標と絶対座標との対応関係がわかり、これに基づいて、他の座標設定ポイントの視覚座標を計算により求めることができる。
【００７０】
各座標設定ポイントＰ１〜Ｐ３３での視覚座標は、図３に示すワイヤフレームを実画面上に重ねて表示し、ワイヤフレーム上の点を対応する画面上の点にドラッグすることで入力される。例えば、ワイヤフレーム上の座標設定ポイントＰ１を、実画面上のコートの隅の対応する点に重なるようにドラッグさせると、座標設定ポイントＰ１の視覚座標が入力され、座標設定ポイントＰ１についての、視覚座標と絶対座標との対応関係が取得される。他の座標設定ポイントについても、同様にして、対応する点の視覚座標が取得される。
【００７１】
上述のように、座標設定ポイントＰ１〜Ｐ３３のうちの少なくとも４点の視覚座標が得られれば、視覚座標と絶対座標との対応関係がわかり、この対応関係を使って、変換パラメータを算出して、任意の点の視覚座標から絶対座標への変換が行える。
【００７２】
また、算出された変換パラメータに基づいた視覚座標を、選定した実映像フレームに重ねて表示し、ディスプレイ上での実映像フレームと視覚座標のずれを確認し、ずれが大きい実映像フレームを設定対象として選択して、実映像フレームと視覚座標のずれが大きい座標設定ポイントを選択し、実映像フレーム上の点へドラッグすることで、変換パラメータの修正を行うことができる。
【００７３】
また、パンやチルト、ズームアップやズームダウンが行われると、視覚座標と絶対座標との対応関係がずれてくる。この場合には、再び、ワイヤフレーム上の点を対応する画面上の点にドラッグさせて、修正すれば良い。このとき、前回の座標設定ポイントと異なる座標設定ポイントを使うことができる。
【００７４】
また、カメラをパンやチルト、ズームアップやズームダウンした場合の変換パラメータの変化には連続性がある。このため、視覚座標の修正を行った場合、その間の変換パラメータは、補間により求めることができる。
【００７５】
各映像フレームで求められた変換パラメータは、図５に示すように、変換パラメータテーブル１１に記録される。変換パラメータテーブル１１には、変換パラメータ（ｈ００〜ｈ２１）と、設定対象となっている映像フレームＩＤとが関連付けて記録される。この変換パラメータのうち、実際の映像フレームで求められた変換パラメータには、手動設定フラグ「１」が付加される。その間の変換パラメータは、補間により求められ、手動設定フラグは「０」となる。
【００７６】
図６は、上述の座標設定における作業手順を記述したフローチャートである。図６において、まず、作業者は、演算装置２の操作を通じて、映像データ再生装置４を操作し、三次元コンピュータグラフィックス画像の素材となる映像データを、映像データ入力インターフェース５を通じ、映像データメモリ６に保存する（ステップＳ２１）。映像データ再生装置４が再生するデータは、作業用ディスプレイ９上で、通常再生及び映像フレーム毎のコマ送り再生及び巻き戻しが実現されることが要件であり、データ種別やデータ形式を限定しない。
【００７７】
次に、作業者は、演算装置２の操作を通じて、映像データメモリ６に保存されている映像データのコマ送り再生もしくは巻き戻し作業を行い（ステップＳ２２）、視覚座標設定作業対象となる映像フレームを選定する（ステップＳ２３）。選定した映像フレームに対し、ワイヤフレーム生成部１０から、図３に示す絶対座標のワイヤフレームを表示させ、演算装置２に、変換パラメータＨを算出させる。
【００７８】
作業者は、この結果を用いて視覚座標設定作業を行い（ステップＳ２４）、設定された視覚座標を画面上に表示し、作業対象となった映像フレームを重ね合わせて位置を微修正し、演算装置２に、微修正の都度変換パラメータＨを算出させる（ステップＳ２５）。
【００７９】
微修正作業の終了後、演算装置２は、ステップＳ２４及びステップＳ２５の結果得られた変換パラメータＨを、図５に示した変換パラメータテーブル１１上の全ての映像フレームＩＤと関連付けて記録し、変換パラメータテーブル１１上の当該設定対象映像フレームＩＤの手動設定フラグを「１」とする（ステップＳ２６）。
【００８０】
ステップＳ２５が完了した段階で、演算装置２は、作業者によって視覚座標が設定された映像フレーム数をカウントして、映像フレーム数が１より大きいかどうかを判断する（ステップＳ２７）。
【００８１】
当該映像フレーム数が１の場合には、作業者は別の映像フレームにおける視覚座標コート設定作業を行う（ステップＳ２２）。
【００８２】
当該映像フレーム数が２以上の場合には、設定済映像フレーム間に存在する視覚座標が未設定の各映像フレームに対して、視覚座標設定用パラメータを、経過時間を変数とした直線補間により、自動的に計算して設定し、変換パラメータテーブル１１上の補間対象映像フレームＩＤと関連付けて記録する（ステップＳ２８）。このとき、手動設定フラグを「０」とする。
【００８３】
作業者は、当該ステップＳ２２からステップＳ２８に至る処理を、処理対象映像データ内の複数映像フレームに対して実施し、最後に全体を通じて、視覚座標コートの設定状況を確認し、必要に応じて、調整が必要な映像フレームに対する微調整を行う（ステップＳ２９）。
【００８４】
次に、ステップＳ２４の視覚座標設定処理の内容の詳細を図７で説明する。図７は、本発明のステップＳ２４の詳細を示すフローチャートである。作業者は、演算装置２の操作を通じて、ワイヤフレーム生成部１０から、選定した実映像フレーム上に、絶対座標のワイヤフレームを表示させる（ステップＳ２４１）。
【００８５】
次に、作業者は、ワイヤフレーム上に示されている座標設定用ポイントＰ１〜Ｐ３３（図３参照）の中から、実映像フレーム上に映し出されている処理対象映像データ上での座標設定用ポイントを４箇所選定し、ワイヤフレーム上の座標設定用ポイントを実映像フレーム上の同じポイントへドラッグ合致させる（ステップＳ２４２）。
【００８６】
４箇所のポイント間の合致が完了すると、演算装置２は、絶対座標と視覚座標間の座標変換パラメータＨを算出し、これに基づいて、ステップＳ２４２において選択されていない残りの座標設定用ポイントの視覚座標上における座標を自動計算し、図４に示した座標設定ポイント記録テーブル１２に記述し、各ポイント間に線を描画し、ワイヤフレームの視覚座標として画面上に表示する（ステップＳ２４３）。
【００８７】
作業者は、実映像フレーム上に表示されているラインと変換パラメータＨの自動計算の結果表示されているワイヤフレームの視覚座標を比較し、ライン及び座標設定用ポイントがずれている部分を見つけ出し、当該ずれが生じている座標設定用ポイントの座標を微調整する。演算装置２は、微調整が発生する都度、座標変換パラメータＨを再計算し、計算結果に応じて視覚座標コート上に表示される座標設定用ポイント及び線を再表示し、作業者はこれを見ながら修正していく。
【００８８】
次に、図７におけるステップＳ２４３の座標の自動計算処理の詳細を図８で説明する。図８は、本発明のステップＳ２４３の詳細を示すフローチャートである。図４に示したように、座標設定ポイント記録テーブル１２上には、予めワイヤフレームの視覚座標と絶対座標との対応テーブルを用意しておく。作業者がステップＳ２４２を通じ、選定した４箇所のワイヤフレーム上の座標設定用ポイントを実映像フレーム上のポイントへドラッグ合致させると、演算装置２はドラッグ合致させたポイントの作業用ディスプレイ９上での視覚座標（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）を取得する（ステップＳ２４３１）。
【００８９】
次に、演算装置２は、（１）式に示した演算により、各座標設定ポイントの視覚座標と絶対座標とから、変換パラメータＨを算出する。この変換パラメータＨと、選定した座標設定用ポイントと対応する絶対座標上の座標（Ｘ'n，Ｙ'n）を、（２）式に代入し、視覚座標座標（Ｘn，Ｙn）を算出する（ステップＳ２４３２）。
【００９０】
次に、演算装置２は、図４に示す座標設定ポイント記録テーブル１２の線分構成情報を読み込み、算出された全ての座標設定ポイントに対し、この線分を作業用ディスプレイ９上に描画することで、変換パラメータＨが反映された視覚座標を作業用ディスプレイ９上に描画する（ステップＳ２４３３）。
【００９１】
作業者は、変換パラメータＨが反映された視覚座標が設定対象の実映像フレームとほぼ一致したことを確認したら、次に設定する実映像フレームを表示させるために、別の実映像フレームを表示させる（ステップＳ２４３４）。
【００９２】
ステップＳ２４３４が実行されたら、演算装置２は、得られた変換パラメータＨを、図５に示した変換パラメータテーブル１１に、設定対象となっている実映像フレームＩＤと関連付けて記録する（ステップＳ２４３５）。
【００９３】
次に、図６におけるステップＳ２５の視覚座標の微修正の処理の詳細を図９で説明する。図９は、本発明のステップＳ２５の詳細を示すフローチャートである。図９において、作業者が微修正対象となる実映像フレームを表示すると、演算装置２は、図５に示した変換パラメータテーブル１１に記録されている、表示した実映像フレームＩＤに関連付けられた変換パラメータＨに基づいた視覚座標を、選定した実映像フレームに重ねて表示する（ステップＳ２５１）。
【００９４】
作業者が、ディスプレイ上での実映像フレームと視覚座標のずれを確認し、ずれが大きい実映像フレームを設定対象として選択する（ステップＳ２５２）。作業者は、実映像フレームと視覚座標のずれが大きい座標設定ポイントを選択し、実映像フレーム上の点へドラッグ修正する（ステップＳ２５３）。
【００９５】
演算装置２は、ドラッグ修正した座標設定ポイントの座標を（Ｘ'４，Ｙ'４）として取得し（ステップＳ２５４）、ドラッグ修正した座標設定ポイントＩＤ以外の視覚座標上の座標設定ポイントを３箇所選択し、その座標を（Ｘ１，Ｙ１）から（Ｘ３，Ｙ３）として取得する（ステップＳ２５５）。
【００９６】
次に、演算装置２は、（１）式に示した演算により、各座標設定ポイントの視覚座標と絶対座標とから、変換パラメータＨを算出する。この変換パラメータＨと、選定した座標設定用ポイントと対応する絶対座標上の座標（Ｘ'n，Ｙ'n）を、（２）式に代入し、視覚座標座標（Ｘn，Ｙn）を算出する（ステップＳ２５６）。
【００９７】
次に、演算装置２は、図４に示す座標設定ポイント記録テーブル１２の線分構成情報を読み込み、算出された全ての座標設定ポイントに対し、この線分を作業用ディスプレイ９上に描画することで、変換パラメータＨが反映された視覚座標を作業用ディスプレイ９上に描画する（ステップＳ２５７）。
【００９８】
作業者は、変換パラメータＨが反映された視覚座標が設定対象の実映像フレームとほぼ一致したことを確認したら、次に設定する実映像フレームを表示させるために、別の実映像フレームを表示させる（ステップＳ２５８）。
【００９９】
ステップＳ２４３４が実行されたら、演算装置２は、得られた変換パラメータＨを、図５に示した変換パラメータテーブル１１に、設定対象となっている実映像フレームＩＤと関連付けて記録する（ステップＳ２５９）。なお、このステップＳ２５６〜Ｓ２５９は、図８におけるステップＳ２４３２〜Ｓ２４３５と同じである。
【０１００】
次に、フィギュア記録テーブルの管理方法について説明する。本発明の実施形態では、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルコンピュータグラフィックスのフィギュアデータを予めフィギュア記録テーブル１４においてデータベース化し、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、最適なフィギュアデータのレコードを割り当てている。
【０１０１】
つまり、人間の動作は複雑であるが、サッカープレーヤの動作に限定すれば、静止、歩く、走る、ドリブルする、トラップする、ヘッディングする等、いくつかの動作に集約できる。そこで、これらの動作を表現する一連のフィギュアデータを予め定めておき、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、これらの動作の中で最も適切と判断されるものを、データベースから読み出して、ＣＧ画像を生成するようにしている。
【０１０２】
例えば、記録映像フレーム数に対するプレーヤの動きを計算すると、そのプレーヤの動きの速さが求められる。これにより、「静止している」のか、「歩いている」のか、「走っている」のか等、そのプレーヤの動作が判断できる。「歩いている」と判断されたら、「歩く」の一連の動作を示すフィギュアデータをフィギュア記録テーブル１４から読み出すようにする。
【０１０３】
また、本発明の実施形態では、予め「歩く」「走り始める」「全力疾走する」「急停止する」等の動作を滑らかに表現できるように、「動作」を、複数のフィギュアデータの集まりであるデータグループとして扱っている。また、プレーヤの一連の動作を滑らかな動画像として表現できるように、複数のデータグループ列からシーケンスを構成している。このことについて、説明する。
【０１０４】
ＣＧ制作の際には、表示されている全プレーヤに対して識別用のＩＤが付与される。そして、画面上でポジション記録対象プレーヤが選定され、実映像データをコマ送り再生しながら、ポジション記録対象プレーヤの移動方向及び移動速度が急激に変化する映像フレームを選定して、プレーヤ映像の足元部分にマーキングが施される。これにより、始点映像フレームと終点映像フレームが指定される。また、このとき、絶対座標コート上での各プレーヤのフィギュアデータの状態が記録される。
【０１０５】
図１０は、このときの絶対座標コート上での各プレーヤのフィギュアデータの状態を記録したフィギュア記録テーブル１４の構造を示すものである。図１０に示すように、フィギュア記録テーブル１４には、各映像フレームに対して、各プレーヤの絶対座標上での配置、フィギュアデータの回転、手動設定映像フレームの識別用のフラグ、データグループの種類、フィギュアデータレコードＩＤが記録される。
【０１０６】
フィギュアデータの回転の項目は、三次元方向修正ツールによるフィギュアデータの回転修正の結果である。三次元方向修正ツールは、三次元空間におけるプレーヤやボールを表示させるための修正ツールである。つまり、作業用ディスプレイ９上での表示画面は二次元であり、絶対座標コート上に示される三次元空間におけるボール及びプレーヤ画像を操作することは、一般的なポインタ表示では困難である。そこで、図１３に示す三次元方向修正ツールを用いることで、簡便な操作を実現している。
【０１０７】
図１３（Ａ）は三次元の進行方向ポインタである。本ポインタは、三次元方向の直交座標軸の形状をしており、ボール及びプレーヤ画像の進行方向を見やすく示し、簡便な修正作業を実現する。また、本ポインタは、三次元方向のいずれにも傾斜させることが可能であり、図１３（Ｂ）に示すように、傾斜させた状態でもボール及びプレーヤ画像の進行方向を見やすく示し、簡便な修正作業を実現する。図１３（Ｃ）は、三次元の回転ポインタである。本ポインタは、三次元の回転面及び回転方向を示しており、プレーヤ画像を回転させる際、簡便な修正作業を実現する。
【０１０８】
図１０において、手動設定フラグは、マーキングによる記録が実際に行われたかどうかを示している。上述のように、ポジション記録対象プレーヤの移動方向及び移動速度が急激に変化する映像フレームが選定され、そのプレーヤ映像にマーキングが施される。この場合には、手動設定フラグは「１」になる。始点映像フレームと終点映像フレームの間では、連続的な動きになるので、各項目は補間により求められ、補間されたものは、手動設定フラグは「０」になる。
【０１０９】
データグループは、「歩く」、「走る」、「トラップする」、「ヘッディングする」というような一連の個別の動作を表現するための複数のフィギュアデータの集まりである。
【０１１０】
例えば、「歩く」のデータグループは、「右足を前に出す」様子を示す人体モデルのフィギュアデータ、「右足を地面に付ける」様子を示す人体モデルのフィギュアデータ、「左足を前に出す」様子を示す人体モデルのフィギュアデータ、「左足を地面に付ける」様子を示す人体モデルのフィギュアデータの集まりで表現できる。なお、各フィギュアデータは、ワイヤフレームＩＤにより管理されている。このワイヤフレームに対して、当たる光線の方向と強さを設定し、当該光線が形成する陰影を考慮した表面画像のマッピング処理を行って、フィギュアの三次元人体モデルコンピュータグラフィックス画像となる。
【０１１１】
フィギュアデータレコードＩＤは、データグループの順序から導出されたシーケンスに基づき割り付けされた設定されたレコードＩＤである。
【０１１２】
つまり、図１１は、滑らかな動作を表現するためのシーケンスの構造を示すものである。シーケンスは、個別動作を示すデータグループの連続体として構成され、データグループは個別の動作の開始から終了までの動作変化を示すフィギュアデータレコードＩＤの連続体として構成される。
【０１１３】
一つのデータグループから次のデータグループには、滑らかに移行するように、予めフィギュアデータレコードが選定されている。また、シーケンスの内訳、即ちデータグループの構成は、同じ移動速度であっても「倒れながら」「トラップしながら」など、単純な走行以外の動作も表現できるように、あるデータグループから複数の選択肢が選べるように用意されている。
【０１１４】
ＣＧ作成時には、選定されたプレーヤのポジション及び移動方向及び記録映像フレーム数に基づき、最適なデータグループが選定され、当該プレーヤに対する連続したデータグループ構成に基づき最適なシーケンスが選択され、当該シーケンスに基づいたプレーヤの動作アニメーションを構成するフィギュアデータが、各映像フレーム上の当該プレーヤ位置に割り付けられる。例えば、記録映像フレーム数に対するプレーヤの動きを計算すると、そのプレーヤの動きの速さが求められる。これにより、「静止している」のか、「歩いている」のか、「走っている」のか等、そのプレーヤの動作が判断できる。図１２は、上述のようにして動作を判定する動作判定テーブル１５の一例である。なお、この例では、算出速度に対応して動作を割り付けているが、さらに、方向等を用いるようにしても良い。
【０１１５】
そのプレーヤの動作が「歩く」、「走る」、「右足インサイドでトラップ」の一連の動作であると判断されたら、そのプレーヤの動作は、図１１に示すように、「静止」から「歩く」、「走り出す」、「走る」、「右足インサイドでトラップ」となる一連のシーケンスとして捉えられ、このシーケンスを示すデータグループのフィギュアデータが、フィギュア記録テーブル１４から順に読み出されていく。
【０１１６】
このように、本発明の実施形態では、シーケンスを使うことで、「歩く」から「走る」の間に、「走り出す」のデータグループのフィギュアデータが読み出され、これにより、連続的なＣＧを再生することができ、単独の動きが不連続となることがなくなる。
【０１１７】
次に、本発明の実施形態のフィギュアデータの処理の詳細に説明する。図１４は、本発明のフィギュアデータの処理を示すフローチャートである。図１４において、まず、作業者は、ＣＧ制作対象となる実映像データ全体を通じ、表示されている全プレーヤに対し、識別用のＩＤを付与する（ステップＳ３１）。
【０１１８】
次に、作業者は、実映像データをコマ送り再生し、全プレーヤのポジション記録処理を実施する。具体的なポジション記録処理の手順としては、画面上でポジション記録対象プレーヤを選定し（ステップＳ３３）、実映像データをコマ送り再生しながら、ポジション記録対象プレーヤの移動方向及び移動速度が急激に変化する映像フレームを選定し、作業用ディスプレイ９上のプレーヤ映像の足元部分にマーキングをする（ステップＳ３４）。
【０１１９】
全プレーヤのポジション記録が完了したら（ステップＳ３２）、次に、作業者は実映像データの最初の映像フレームを表示させ、グラウンド上に投影されたボールの軌跡について、実映像データをコマ送り再生しながら、ボールの移動方向及び移動速度が急激に変化する映像フレームを選定し、作業用ディスプレイ９上のグラウンド上に投影されたボールの軌跡部分にマーキングをする（ステップＳ３５）。
【０１２０】
当該作業が全映像フレームに渡り完了したら、作業者は再度実映像データの最初の映像フレームを表示させ、ステップＳ３５で記録したグラウンド上に投影されたボールの軌跡に基づき、高さ方向について、ボールの移動方向及び移動速度が急激に変化する映像フレームを選定し、三次元方向修正ツールを用いて、高さ要素を含んだボール軌跡の記録を行う（ステップＳ３６）。
【０１２１】
当該作業が全映像フレームに渡り完了したら、作業者は、演算装置２を操作し、記録したプレーヤ及びボールのポジションに基づいた三次元コンピュータグラフィックスのアニメーションを再生し、シーケンスの割り付けとデータグループの修正を行う（ステップＳ３７）。
【０１２２】
当該コンピュータグラフィックスの再生時には、演算装置２は、選定された１プレーヤのポジション及び移動方向及び記録映像フレーム数に基づき、最適なデータグループを選定し、当該プレーヤに対する連続したデータグループ構成に基づき最適なシーケンスを選択し、当該シーケンスに基づいたプレーヤの動作アニメーションを構成するフィギュアデータを、各映像フレーム上の当該プレーヤ位置に割り付ける。
【０１２３】
割り付け完了後、作業者は実映像データと割り付け終了後のデータを重ねて表示し、コマ送り再生しながら、割り付けられたフィギュアデータの動作及び方向及び傾きを確認し、ズレが生じている映像フレームについては三次元方向修正ツールを利用した修正、又はシーケンスアニメーションの起点又は終点位置の修正、又はシーケンスアニメーションの尺の修正等の微調整作業を行うことで、素材となった実映像データ上でのプレーヤの動作を、ＣＧアニメーションとして制作する。
【０１２４】
次に、図１４におけるステップＳ３１の選手のＩＤ付けの処理及び作業手順を図１５を用いて詳細に説明する。図１５は、本発明のステップＳ３１の詳細を示すフローチャートである。図１５において、まず、作業者は、演算装置２を操作して、視覚座標が既に設定された実映像データの最初の映像フレームを、演算装置２を操作して作業用ディスプレイ９上に表示させる（ステップＳ３１１）。
【０１２５】
次に、作業者は、演算装置操作デバイス１を通じて演算装置２を操作し、作業用ディスプレイ９上の映像データの最初の映像フレーム上に表示されている全プレーヤに対し、識別用のＩＤを付与する（ステップＳ３１２）。
【０１２６】
次に、作業者は、映像データを再生し（ステップＳ３１３）（ステップＳ３１４）、ステップＳ３１２でＩＤを付与していない新たなプレーヤが映像フレーム上に表示されているか否かを判断し（ステップＳ３１５）、表示されている場合には、当該プレーヤに、ステップＳ３１２と同様の手順を用いて、ＩＤを付与する（ステップＳ３１６）。当該ステップＳ３１３からステップＳ３１６の作業を、最後の映像フレームまで繰り返す。
【０１２７】
次に、図１４におけるステップＳ３３のポジション記録選手の選定処理の作業手順を図１６を用いて詳細に説明する。図１６は、本発明のステップＳ３３の詳細を示すフローチャートである。図１６において、まず、作業者は、ポジション設定開始作業の最初の映像フレームを、演算装置２を操作して作業用ディスプレイ９上に表示させる（ステップＳ３３１）。
【０１２８】
次に、作業者は、演算装置操作デバイス１を通じて演算装置２を操作し、作業用ディスプレイ９上に表示されているプレーヤの中から、ポジション設定対象プレーヤを選択する（ステップＳ３３２）。
【０１２９】
次に、図１４におけるステップＳ３４の選手ポジションの記録処理の作業手順を図１７を用いて詳細に説明する。図１７は、本発明のステップＳ３４の詳細を示すフローチャートである。図１７において、作業者は、演算装置操作デバイス１を通じて演算装置２を操作し、表示されているポジション設定対象プレーヤの足元に、当該プレーヤの視覚座標上のポジションを示すマークを付ける（ステップＳ３４１）。なお、ステップＳ３４１の詳細フローチャートは図２１に示す。
【０１３０】
次に、作業者は、映像データを再生し、最終の映像フレームかどうかを判断し（ステップＳ３４２）、最終の映像フレームでなければ、映像フレームを先送りし（ステップＳ３４３）、ポジション設定対象プレーヤの走る方向又は走るスピードが急激に変化している映像フレームをコマ送りで探す（ステップＳ３４４）。急激に変化している映像フレームがあれば、ステップＳ３４１に戻る。該当最終映像フレームが無ければ、最終映像フレーム上でのポジション設定対象プレーヤのポジションのマークを付ける（ステップＳ３４５）。
【０１３１】
次に、図１４のステップＳ３５のボールポジション記録の処理及び作業手順を図１８を用いて詳細に説明する。図１８は、本発明のステップＳ３５の詳細を示すフローチャートである。図１８において、まず、作業者は、ボールポジション設定開始作業の最初の映像フレームを、演算装置２を操作して作業用ディスプレイ９上に表示させる（ステップＳ３５１）。
【０１３２】
次に、作業者は、演算装置操作デバイス１を通じて演算装置２を操作し、作業用ディスプレイ９上に表示されているボール映像の、地面に投影されている軌跡に相当する部分に、ボールの視覚座標上のポジションを示すマークを付ける（ステップＳ３５２）。
【０１３３】
次に、作業者は、映像データを再生し、最終の映像フレームかどうかを判断し（ステップＳ３５２）、最終の映像フレームでなければ、映像フレームを先送りし（ステップＳ３５４）、ボールが動く方向又は動くスピードが急激に変化している映像フレームをコマ送りで探す（ステップＳ３５５）。ボールが急激に変化している当映像フレームがあればステップＳ３５２に戻り、該当映像フレームが無ければ、最終映像フレーム上でのボールポジションのマークを付ける（ステップＳ３５６）。
【０１３４】
次に、図１４のステップＳ３６のボールの軌跡の記録処理及び作業手順を図１９を用いて詳細に説明する。図１９は、本発明のステップＳ３６の詳細を示すフローチャートである。図１９において、まず、作業者は、演算装置２を操作して作業用ディスプレイ９上に、縦及び横及び高さ方向の座標軸を有する絶対座標に基づいたサッカーコート画面を表示する（ステップＳ３６１）。
【０１３５】
次に、作業者は、演算装置２を操作し、ステップＳ３４と通じて記録したボールの移動軌跡情報を、線分及びボールを示す点として、サッカーコート画面上に表示する（ステップＳ３６２）。
【０１３６】
次に、作業者は、ボールの移動軌跡情報と併せて、ボールに関与しているプレーヤのフィギュアアニメーションの表示を設定指示する。当該設定指示を受け、演算装置２は、ボールに関与しているプレーヤフィギュアアニメーションとして、予め用意されているシーケンシャルを割り付けして表示する（ステップＳ３６３）。
【０１３７】
作業者は、ボールを示す点の動きとフィギュアアニメーションの動きを比較し、互いが自然な位置関係となるような修正ポイントをサッカーコート画面上で設定し（ステップＳ３６４）、三次元方向修正ツールを用いて、ボール軌跡の線分の高さ方向成分を修正する（ステップＳ３６５）。
【０１３８】
修正完了後、プレーヤとボールの動きをサッカーコート画面上でアニメーションとして再生し（ステップＳ３６６）、互いの動きと位置関係を再確認し（ステップＳ３６７）、ずれが生じている映像フレームについて、ステップＳ３６５の処理を行い、アニメーション全体を通じて、プレーヤとボールの位置関係とのずれが無くなるまで繰り返す。
【０１３９】
次に、図１４のステップＳ３７のシーケンスの割り付けと修正処理及び作業手順を図２０を用いて詳細に説明する。図２０は、本発明のステップＳ３７の詳細を示すフローチャートである。図２０において、まず、作業者は、演算装置２を操作して作業用ディスプレイ９上に、処理対象となった実映像データ映像フレームを表示する（ステップＳ３７１）。
【０１４０】
次に、作業者の操作により、演算装置２は、絶対座標上に設定したボールの移動軌跡及びプレーヤフィギュアアニメーションを、（２）式に基づいて、表示されている実映像フレーム上の視覚座標と同一の視点から見た視覚座標に変換し、作業用ディスプレイ９に表示されている実映像データ映像フレーム上に重ね合わせて表示し（ステップＳ３７２）、映像データとアニメーションを同期させて再生する（ステップＳ３７３）。
【０１４１】
次に、作業者は、演算装置２を操作し、映像データ映像フレーム上の実画像とプレーヤフィギュアを比較し（ステップＳ３７４）、ずれが生じているポイントを選定する（ステップＳ３７５）。
【０１４２】
次に、作業者は、ボール及びボールと関与しているプレーヤの接触位置にずれが生じている場合には、演算装置２を操作してプレーヤフィギュアの配置位置をずらすことで接触位置を修正し（ステップＳ３７６）、プレーヤの動作にずれが生じている場合には、データグループを構成するフィギュアデータを、三次元方向修正ツールと演算装置２を操作して修正し、必要に応じて別のフィギュアレコードに変更する（ステップＳ３７７）。
【０１４３】
次に、作業者は、修正後のボール及びプレーヤアニメーションのみを再生し（ステップＳ３７８）、ボールの軌跡及びプレーヤの動作が滑らかに再生しているか否かを確認し（ステップＳ３７９）、滑らかではない場合はステップＳ３７６の処理に戻り、滑らかである場合には、ステップＳ３７３に戻り、アニメーション全体を通じて、ボールの軌跡及びプレーヤの動作が滑らかに再生されるまで繰り返す。
【０１４４】
次に、図１７のステップＳ３４１に示したプレーヤアニメーションの割り付け処置手順の詳細を図２１を用いて説明する。図２１は、本発明のステップＳ３４１の詳細を示すフローチャートである。図２１において、まず図１１に示したフィギュア記録テーブル１４を書込可能状態とする（ステップＳ３４１０１）。
【０１４５】
図１７に示されるステップＳ３４１において、作業者が最初の映像フレームでプレーヤのポジションの足元にマークを記録した際、演算装置２は、視覚座標上のマーク座標を検出し（ステップＳ３４１０２）、（２）式により視覚座標から絶対座標に変換し（ステップＳ３４１０３）、図１１のフィギュア記録テーブル１４へ実映像フレームＩＤと絶対座標を書き込み、手動設定フラグに、作業者によるポジションマーク設定を示す１が記録される（ステップＳ３４１０４）。
【０１４６】
作業者及び演算装置２は、ステップＳ３４１０１からステップＳ３４１０４の作業及び処理を、ポジションマークを設定すべき全ての実映像フレームに対して行う（ステップＳ３４１０５）。
【０１４７】
作業者及び是対処理装置２が、全設定映像フレームに対し作業及び処理を実行し終わると、演算装置２は、手動設定フラグに１が入力されている複数のデータレコードを抽出し（ステップＳ３４１０６）、当該データレコードに含まれる映像フレームＩＤと、当該レコードに記録されている絶対座標を抽出し、隣接している、抽出された映像フレーム間に存在する映像フレーム数、即ち映像フレーム間の所要時間をカウントする（ステップＳ３４１０７）。
【０１４８】
同様に隣接している、抽出された映像フレーム間での各プレーヤの配置絶対座標の差、即ち映像フレーム間でのプレーヤのポジション移動距離を算出する（ステップＳ３４１０８）。
【０１４９】
ステップＳ３４１０８の結果をステップＳ３４１０７で除し、プレーヤの映像フレーム間での移動速度を計算し（ステップＳ３４１０９）、予め用意した図１２に示す動作判定テーブル１５の設定基準に従い、演算装置２は、該当するデータグループ候補を表示し（ステップＳ３４１１０）、作業者は該当するデータグループを設定する（ステップＳ３４１１１）。
【０１５０】
演算装置２は、全映像フレームに渡り、データグループの設定が終わると、データグループの並び方から該当するシーケンスを設定し（ステップＳ３４１１２）、シーケンス内に記録されているフィギュアデータレコードＩＤを、フィギュア記録テーブル１４の実映像フレームレコード毎に記録し（ステップＳ３４１１３）、フィギュア記録テーブル１４をクローズとする（ステップＳ３４１１４）。
【０１５１】
以上説明したように、本発明の実施形態では、コートを特長付ける線分上に複数の座標設定ポイントを設定し、コートのラインを基にしたワイヤフレームの画像を発生させて、このワイヤフレームの座標設定ポイントを画面上の対応するコートの上の位置にドラッグして重ねて座標設定ポイントの視覚座標を取得して、変換パラメータを求めている。これにより、膨大な演算処理が不要になると共に、様々な制約条件から解放され、素材となる実映像データの形式や品質に依存せずに、三次元ＣＧ画面を表示させることができる。
【０１５２】
例えば、パンやチルト、ズームアップやズームダウンが行われると、視覚座標と絶対座標との対応関係がずれてくる。この場合には、再び、ワイヤフレーム上の点を対応する画面上の点にドラッグさせて、修正すれば良い。
【０１５３】
また、サッカーの試合では、ディフェンスからオフェンスに切り替わると、ボールの動きに追従して、味方側のコートから相手側のコートにカメラがパンされていく。この場合、前回では、図３における味方側のコートの座標設定ポイントＰ１、Ｐ４、Ｐ５、Ｐ８を使ったとすると、今回は、カメラが相手側のコートにパンされ、座標設定ポイントＰ１、Ｐ４、Ｐ５、Ｐ８が画面から外れてしまう。このときには、例えば、相手側のコートの座標設定ポイントＰ３、Ｐ６、Ｐ７、Ｐ１１を使えば良い。
【０１５４】
また、カメラをパンやチルト、ズームアップやズームダウンした場合の変換パラメータの変化には連続性がある。このため、視覚座標の修正を行った場合、その間の変換パラメータは、補間により求めることができる。
【０１５５】
また、本発明の実施形態では、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルコンピュータグラフィックスのフィギュアデータを予めフィギュア記録テーブル１４によりデータベース化し、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、最適なデータレコードを設定するようにしている。また、動作を一連の複数のフィギュアデータとして扱い、また、連続した動作をシーケンスとして扱うことで、滑らかな動作のアニメーションを実現している。
【０１５６】
本発明の実施形態では、被写体空間全体を付加できず、かつ映像の焦点が常に変化する、一箇所に設置されたカメラ動画像を素材として、ユーザが視点を自由に設定することが可能な高品質の三次元画像を制作するために必要となる、コート上の正確な二次元座標軸を、簡便かつ正確に設定することを可能とする。
【０１５７】
また、本発明の実施形態では、プレーヤがポイントを装着していないスポーツ試合のテレビ中継映像データを素材として、短い作業時間かつ簡便な内容の作業を通じて、対象オブジェクトから十分近い位置に表示視点を設置した場合でも、高品質の三次元人体モデルによる滑らかなアニメーションを制作することを可能となる。このことから、各スポーツ特有のフィギュア記録テーブル、データグループ、シーケンスを準備することで、あらゆるスポーツ試合中継映像から、高品位の三次元ＣＧアニメーションを制作することが可能となる。
【０１５８】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【産業上の利用可能性】
【０１５９】
本発明は、サッカー等のスポーツ試合映像のコンピュータグラフィックス画像の制作の他、放送スタジオ、劇場、コンサートホール等の映像データを素材として、三次元画像を制作するために必要な被写体空間上の正確な奥行き方向を含む二次元座標軸を設定するのに利用可能である。過去のエンターテイメント映像データから新たな映像商品としての三次元コンピュータグラフィックスを制作したり、営業車両に搭載されたドライブレコーダーのカメラ画像から、事故現場の三次元コンピュータグラフィックスを制作したり、防犯カメラ映像から犯罪発生現場の三次元コンピュータグラフィックスを制作したりすることが可能となる。
【図面の簡単な説明】
【０１６０】
【図１】本発明の実施形態のコンピュータグラフィックス画像表示システムの一例のブロック図である。
【図２】本発明における変換パラメータの説明図である。
【図３】本発明におけるワイヤフレームの説明図である。
【図４】本発明における座標設定ポイント記録テーブルの説明図である。
【図５】本発明における変換パラメータテーブルの説明図である。
【図６】本発明の座標変換処理の説明に用いるフローチャートである。
【図７】本発明のステップＳ２４の詳細を示すフローチャートである。
【図８】本発明のステップＳ２４３の詳細を示すフローチャートである。
【図９】本発明のステップＳ２５の詳細を示すフローチャートである。
【図１０】本発明におけるフィギュア記録テーブルの説明図である。
【図１１】本発明におけるシーケンスの説明図である。
【図１２】本発明における動作判定テーブルの説明図である。
【図１３】本発明における三次元方向修正ツールの説明図である。
【図１４】本発明のフィギュアデータの処理を示すフローチャートである。
【図１５】本発明のステップＳ３１の詳細を示すフローチャートである。
【図１６】本発明のステップＳ３３の詳細を示すフローチャートである。
【図１７】本発明のステップＳ３４の詳細を示すフローチャートである。
【図１８】本発明のステップＳ３５の詳細を示すフローチャートである。
【図１９】本発明のステップＳ３６の詳細を示すフローチャートである。
【図２０】本発明のステップＳ３７の詳細を示すフローチャートである。
【図２１】本発明のステップＳ３４１の詳細を示すフローチャートである。
【符号の説明】
【０１６１】
１ 演算装置操作デバイス
２ 演算装置
３ 視覚座標座標設定ポイントを
５ 映像データ入力インターフェース
６ 映像データメモリ
７ 表示データ処理装置
９ 作業用ディスプレイ
１０ ワイヤフレーム生成部
１１ 変換パラメータテーブル
１２ 座標設定ポイント記録テーブル
１４ フィギュア記録テーブル
１５ 動作判定テーブル
【技術分野】
【０００１】
本発明は、サッカー等の球技スポーツの映像を素材として、自由視点による再生が可能な三次元コンピュータグラフィックス（以下「ＣＧ」と略す）動画像を制作するコンピュータグラフィックス画像表示システム及び方法に関する。
【背景技術】
【０００２】
サッカー等の映像を素材とした、自由視点による再生が可能な三次元コンピュータグラフィックス（以下、ＣＧと称する）は、視点を変えてのハイライトシーンの表示や、戦術分析等に利用できる。
【０００３】
従来のＣＧ制作作業においては、物体を、陰影表現を用いて三次元的に表現する場合、観察者の位置から見た対象物体の奥行き情報を取得し、対象物体上の陰影表現に反映させることで対応している。この奥行き情報を取得するためには、観察者の位置に複数個の視点カメラを設定し、各カメラで撮影された対象物体映像から、陰影情報を取得し、複数の陰影情報から光源の位置情報及び光源の強さ情報を計算して記憶装置に保存するとともに、各カメラで撮影された対象物体映像から、対象物体を全方向から見た表面映像情報を取得し、各カメラの設置位置情報に基づき、取得した全表面映像情報の三次元座標を計算し、記憶装置に保存する。当該映像を、自由に設定された視点から見た映像として映像再生装置において再生する場合には、この光源情報と全表面の三次元座標情報に基づいて物体表面の陰影表現を計算し、表示している。
【０００４】
ところが、上述の従来の画像制作システムにおいて、撮影による死角を解消し、あらゆる自由視点画像を制作させるためには、カメラの口角を考慮しつつ、複数台のカメラ設置が必要となる。また、各カメラで撮影した画像をコンピュータ上で合成し、三次元画像として生成する処理が発生する。当該処理は、カメラ台数に比例して処理ステップ数が増加し、高い処理能力を持ったコンピュータシステムが必要となる。
【０００５】
また、実際のサッカー等のフィールド球技スポーツにおいては、フィールド内のプレーヤは競技時間の殆どをフィールド面上でプレイしており、高さ方向の移動の頻度は少ない。このため、プレーヤの動作を表現するためには、プレーヤのフィールド上での二次元座標の時間変化を優先的に把握する必要がある。この各プレーヤの座標把握の手法に関しては、プレーヤの身体の一部に座標把握のためのデバイスを装着させ、外部システムと当該デバイスとの通信処理結果から座標を認識する手法が提案されている。
【０００６】
ところが、上述の手法においては、プレーヤの身体に装着するデバイスに対し、試合中に破損や脱落が生じないような、強い耐久性が求められる。さらに、試合主催者やプレーヤ自身が、デバイスの装着を承認する必要があり、プレーヤの動きを阻害しないことや、あらゆる面で試合進行を妨げないことなど、多方面にわたる要求水準を満たす必要がある。
【０００７】
また、座標把握デバイス及びシステムを用いずに、テレビ放送のスポーツ中継における、一箇所に固定されたテレビカメラ映像を素材とした、フィールド上の二次元座標の認識技術については、非特許文献１において、テレビカメラ映像上に撮影されている台形のスポーツフィールド（以下、「視覚座標」と称す）を、透視図法による実際の長方形フィールド（以下、「絶対座標」と称す）の表現結果であると仮定し、視覚座標内に表示されている４点の座標測定結果から、当該視覚座標と絶対座標間の一次変換行列式を計算する方法が提案されている。
【０００８】
この非特許文献１においては、視覚座標の一部台形を形成する垂直方向ライン２本と水平方向２本の計４本を画像処理により認識し、当該直線上の４交点から一次変換行列式を求める「強制法」と、視覚座標上に表示されている平行線ペアの始点及び終点の計４点から一次変換行列式を求める「迅速法」の２つの手法が提案されている。
【０００９】
しかしながら、「強制法」は、正確な変換結果が得られるものの、多くの計算処理時間を要し、一方「迅速法」は迅速に結果が得られるものの、例えばコートの一部のみが撮影されているような映像を素材とした場合には、素材情報に誤差が含まれる可能性が大きく、正しい結果は得られないことがある。
【００１０】
さらに、「強制法」「迅速法」共に、例えば、コート全面が撮影されている映像素材の１映像フレームを取り出したケースのような、カメラの焦点が移動しない、即ち視覚座標の形が変化しない場合にのみ成立する処理であり、実際のテレビ放送映像に見られるような、テレビカメラがプレーヤ又はボールに焦点を当てる、即ち映像の焦点が常に上下左右に移動し、座標軸の設定基準となるコートのラインが画面外に移動する、所謂「見切れる」状態となるケースにおいては，正しい変換処理結果は得られない。
【００１１】
また、実際の動画像から三次元ＣＧを作成するためには、プレーヤアニメーションの割り付け作業が行われる。
【００１２】
従来のＣＧ制作作業においては、動作する人体を三次元的に表現する場合、モデルが予め関節の位置を把握するためのポイントを装着し、モデルの動作をビデオ撮影し、当該ビデオ映像の再生映像の中からポイントの動作のみを抽出し、抽出したポイントをつなぎ合わせて人体のワイヤフレームの動作として再生し、当該ワイヤフレームに当たる光線の方向と強さを設定し、当該光線が形成する陰影を考慮した表面画像のマッピング処理を当該ワイヤフレームに対して行っている。さらに、生成した三次元人体ＣＧをアニメーションとして表現するためには、各映像フレーム単位で生成された三次元人体ＣＧを、隣接する映像フレーム間で比較し、アニメーション再生時に滑らかな動作となるように、各映像フレーム上の関節の位置を微調整する作業を行っている。
【００１３】
しかしながら、上述の従来のＣＧ制作作業においては、モデルへの関節ポイントの装着が必須である。この手法は、試合主催者やプレーヤ自身が、ポイントの装着を承認する必要があり、プレーヤの動きを阻害しないことや、あらゆる面で試合進行を妨げないことなど、多方面にわたる要求水準を満たす必要がある。
【００１４】
また、仮にポイント装着が許可されたとしても、上述の従来のＣＧ制作作業により三次元ＣＧ制作を実現させるためには、撮影されたポイント動画像からワイヤフレームを生成し、陰影計算処理を実施し、マッピング処理を行うという多大な処理ステップを高速で実行する必要があり、高い処理能力を持ったコンピュータシステムが必要となる。さらに、滑らかなアニメーションを実現するためには、全映像フレーム間で、映像フレーム上に表示されている三次元オブジェクト動作の修正作業が必要であり、１秒あたり６０フレーム以上の撮影を行う高品位画像等においては、膨大な作業量となる。
【００１５】
また、コンサートホールや屋外競技場のような大規模空間において、モデルにポイントを装着せずに、映像フレーム上からモデルの二次元映像情報のみを抽出し、擬似的な三次元人体モデルを生成する技術が非特許文献２に示されている。
【００１６】
この非特許文献２では、まず多視点からコートを捉えた映像を作成するために、コートを取り囲むように均等に配置された８台のカメラを設置する。このカメラの高さは、撮影した映像上でのプレーヤの重複を避けるため、コートの水平面に対し、４５度程度の角度となる位置に設置する。次に、各カメラで、コートにプレーヤが居ない状態のコート画像を背景画像として予め取得し、記憶装置に保存しておく。次に、各カメラで、実際に試合が行われている動画像を撮影し、各映像フレームにおいて、前述の背景画像との差分情報を抽出し、プレーヤもしくはボールの映像情報をテクスチャ情報として抽出する。次に、背景情報上のプレーヤ・ボールが存在している箇所に、視点方向に対して垂直に長方形のポリゴンを設置し、このポリゴンを、前述処理で抽出したテクスチャにより、マッピング処理する。仮に視点方向が、前述の８台の撮影カメラの中間点として設定された場合には、当該長方形ポリゴンを視点方向に対して垂直方向となるように回転させた二次元画像で近似する。
【００１７】
上述の手法によれば、プレーヤがポイントを装着しなくても擬似三次元人体モデルを自動処理により生成することが可能であるが、当該手法は、大規模空間において、表示オブジェクトから十分遠い位置に視点を設置した場合のＣＧ制作を想定しており、例えばプレーヤ間に視点を設置した場合等の、表示オブジェクトから十分近い位置に視点を設置した場合のＣＧの品質評価が十分でない。
【非特許文献１】"Fast Camera Calibration for the Analysis of Sport Sequences"：Univ. of Tchnol. Eindhoven Dirk Farin, Jugong Han, Peter H. N. de With
【非特許文献２】「仮想化現実技術を用いた大規模空間自由視点映像のライブ配信と提示」 古山孝好、北原格、大田友一
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述のように、従来の自由視点による三次元ＣＧの制作では、スポーツ中継の画像から三次元ＣＧを制作する場合に、複数台のカメラ設置が必要となったり、また、高い処理能力を持ったコンピュータシステムが必要になったりする。
【００１９】
また、従来の自由視点による三次元ＣＧの制作では、三次元モデルの滑らかなアニメーションを制作することが困難であると共に、特殊なポイントを装着する必要があったり、三次元モデルの制作に莫大な手間と時間が必要であったりする。
【００２０】
上述の課題を鑑み、本発明は、一箇所に設置されたカメラ動画像を素材として、視覚座標と絶対座標との対応を正確に設定することができると共に、高品質の三次元人体モデルによる滑らかなアニメーションを制作することできるコンピュータグラフィックス画像表示システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上述の課題を解決するために、本発明のコンピュータグラフィックス画像表示システムは、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、映像素材の場所を特徴付ける線分上に複数の座標設定ポイントが設定され、絶対座標の基準となるワイヤフレームを発生するワイヤフレーム発生手段と、ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力する入力手段と、少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出する演算手段と、各映像フレームに対応して、変換パラメータが記録される変換パラメータテーブルと、求められた変換パラメータを基に、複数の座標設定ポイントについての視覚座標と絶対座標との対応関係が記述された座標設定ポイント記録テーブルとを備えることを特徴とする。
【００２２】
好ましくは、変換パラメータテーブル中の座標設定ポイントが入力されていない映像フレームについては、前後映像フレームで求められた変換パラメータを直線補間した変換パラメータが記述されることを特徴とする。
【００２３】
好ましくは、座標設定ポイントの視覚座標の入力は、ワイヤフレーム生成部からのワイヤフレームを実映像画面と重ねて表示させ、ワイヤフレーム上の座標設定ポイントを実映像画面の対応部分に重ねるようにして行うことを特徴とする。
【００２４】
本発明のコンピュータグラフィックス画像表示システムは、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積したフィギュア記録テーブルと、データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定する手段と、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータをフィギュア記録テーブルから割り付ける制御手段とを備えることを特徴とする。
【００２５】
好ましくは、制御手段は、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの移動距離と、始点フレームから終点フレームまでの映像フレーム数とに基づいて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータを判断することを特徴とする。
【００２６】
好ましくは、制御手段は、個別動作の開始から終了までの動作変化を示す一連のフィギュアデータの連続体を、プレーヤの個別動作を表現するデータグループとして管理することを特徴とする。
【００２７】
好ましくは、制御手段は、連続した動作の開始から終了までの動作変化を示す一連のデータグループの連続体を、プレーヤの連続した動作を表現するシーケンスとして管理することを特徴とする。
【００２８】
本発明のコンピュータグラフィックス画像表示方法は、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、映像素材の場所を特徴付ける線分上に複数の座標設定ポイントが設定され、絶対座標の基準となるワイヤフレームを発生するステップと、ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力するステップと、少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出するステップと、各映像フレームに対応して、変換パラメータを記録するステップと、求められた変換パラメータを基に、複数の座標設定ポイントについての視覚座標と絶対座標との対応関係とを記録するステップとを備えることを特徴とする。
【００２９】
本発明のコンピュータグラフィックス画像表示方法は、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示方法において、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積するステップと、データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定するステップと、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータをフィギュア記録テーブルから割り付けるステップとを備えることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、映像素材の場所を特徴付ける線分上に複数の座標設定ポイントが設定され、絶対座標の基準となるワイヤフレームを発生するワイヤフレーム発生手段と、ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力する入力手段と、少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出する演算手段と、各映像フレームに対応して、変換パラメータが記録される変換パラメータテーブルと、求められた変換パラメータを基に、複数の座標設定ポイントについての視覚座標と絶対座標との対応関係が記述された座標設定ポイント記録テーブルとを備えているので、簡易な処理で、画面上の任意のポイントの視覚座標を絶対座標に変換して取り込むことができると共に、絶対座標上で指定されたグラフィックス画像を任意の視覚座標に変換して、画面上に映し出すことができる。
【００３１】
本発明によれば、変換パラメータテーブル中の座標設定ポイントが入力されていない映像フレームについては、前後映像フレームで求められた変換パラメータを直線補間した変換パラメータが記述されるので、簡易な処理で、自然な動きの変換パラメータを生成できる。
【００３２】
本発明によれば、座標設定ポイントの視覚座標の入力は、ワイヤフレーム生成部からのワイヤフレームを実映像画面と重ねて表示させ、ワイヤフレーム上の座標設定ポイントを実映像画面の対応部分に重ねるようにして行うようにしているので、簡単な操作で、精度の高い、変換パラメータを算出できる。
【００３３】
本発明によれば、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積したフィギュア記録テーブルと、データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定する手段と、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータをフィギュア記録テーブルから割り付ける制御手段とを備えているので、簡単な処理で、自然な動きの三次元人体モデルのコンピュータグラフィックスを表示できる。
【００３４】
本発明によれば、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの移動距離と、始点フレームから終点フレームまでの映像フレーム数とに基づいて、最適な動作を表現しているので、自然な動きの三次元人体モデルのコンピュータグラフィックスを表示できる。
【００３５】
本発明によれば、個別動作の開始から終了までの動作変化を示す一連のフィギュアデータの連続体を、プレーヤの個別動作を表現するデータグループとして管理しているので、滑らかな動きのコンピュータグラフィックスを表示できる。
【００３６】
本発明によれば、連続した動作の開始から終了までの動作変化を示す一連のデータグループの連続体を、プレーヤの連続した動作を表現するシーケンスとして管理しているので、滑らかな動きのコンピュータグラフィックスを表示できる。
【００３７】
本発明によれば、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、映像素材の場所を特徴付ける線分上に複数の座標設定ポイントが設定され、絶対座標の基準となるワイヤフレームを発生するステップと、ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力するステップと、少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出するステップと、各映像フレームに対応して、変換パラメータを記録するステップと、求められた変換パラメータを基に、複数の座標設定ポイントについての視覚座標と絶対座標との対応関係とを記録するステップとを備えているので、簡易な処理で、画面上の任意のポイントの視覚座標を絶対座標に変換して取り込むことができると共に、絶対座標上で指定されたグラフィックス画像を任意の視覚座標に変換して、画面上に映し出すことができる。
【００３８】
本発明によれば、映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示方法において、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積するステップと、データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定するステップと、始点フレームから終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータをフィギュア記録テーブルから割り付けるステップとを備えているので、簡単な処理で、自然な動きの三次元人体モデルのコンピュータグラフィックスを表示できる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明の実施の形態について、図面を参照しながら説明する。図１は、本発明の実施形態のコンピュータグラフィックス画像表示システムの構成を示すものである。
【００４０】
図１に示すように、本発明の実施形態のコンピュータグラフィックス画像表示システムは、演算装置操作デバイス１と、演算装置２と、映像データ再生装置４と、映像データ入力インターフェース５と、映像データメモリ６と、表示データ処理装置７と、ＶＲＡＭ（Video Random Access Memory）７と、作業用ディスプレイ９と、ワイヤフレーム生成部１０と、変換パラメータテーブル１１と、座標設定ポイント記録テーブル１２と、フィギュア記録テーブル１４と、動作判定テーブル１５とを備えている。
【００４１】
演算装置操作デバイス１は、演算装置２に対して作業者が各種の操作を行う入力デバイスである。演算装置操作デバイス１は、演算装置２が有する各種処理を選択、操作することと同時に、作業用ディスプレイ９上にワイヤフレームとして表示される座標設定ポイントと、映像画面として表示される視覚座標上の座標設定ポイントとの配置を操作する操作や、映像画面上のプレーヤのオブジェクトの視覚座標位置を入力して、絶対座標上のパラメータとして収集する操作を担うため、マウス、タブレット、タッチパネル等、画面上の座標を入力するための操作性に優れたデバイスであることが望ましい。
【００４２】
演算装置２は、各種映像情報処理や数値計算等の処理を行うものである。後に説明するように、演算装置２は、視覚座標設定作業対象となる映像フレームに対し、ワイヤフレームを表示させ、このワイヤフレームの座標設定ポイントに対応する画面上の視覚座標を取得し、座標設定ポイントの視覚座標と絶対座標との対応関係から、変換パラメータを算出する処理を行っている。また、演算装置２は、ＣＧ作成時に、選定されたプレーヤのポジション及び移動方向及び記録映像フレーム数に基づき、フィギュア記録テーブル１４の中から最適なシーケンスを選択し、当該シーケンスに基づいたプレーヤの動作アニメーションを構成するフィギュアデータを、各映像フレーム上の当該プレーヤ位置に割り付けるような処理を行っている。演算装置２は、さらに、種々の計算や処理を行っている。
【００４３】
映像データ再生装置４は、素材となる実映像データを再生する装置である。より具体的には、映像データ再生装置４は、ビデオムービー、ＶＣＲ(Video Cassette Recorder)、ＤＶＤ(Digital Versatile Disc)プレーヤ、ＨＤＤ(Hard Disk Drive)ビデオプレーヤである。本発明の実施形態の一つの特徴は、素材となる実映像データの形式や品質に依存しないということである。テレビ中継のサッカーの試合の映像、アマチュアが客席から撮影したサッカーの試合の映像、数年前に放映されたサッカーの試合の映像等、どれも素材として利用可能である。
【００４４】
映像データ入力インターフェース５は、映像データ再生装置４からの映像データをシステムへ取り込むためのインターフェースである。
【００４５】
映像データメモリ６は、映像データ再生装置４から取り込んだ映像データを保存するメモリである。映像データメモリ６としては、多数の映像フレームのビデオ画像を保存できるだけの十分な容量があることが望ましい。
【００４６】
表示データ処理装置７は、作業者の作業結果や演算装置の処理結果を取りまとめて、ＶＲＡＭ７に送る処理を行うものである。ＶＲＡＭ７は、表示データ処理装置の処理結果を画像情報として蓄えるものである。
【００４７】
作業用ディスプレイ９は、ＶＲＡＭ７の内容を表示するディスプレイである。作業用ディスプレイ９としては、ＬＣＤ(Liquid Crystal Display)ディスプレイや、ＣＲＴ(Cathode-Ray Tube)ディスプレイが用いられる。
【００４８】
ワイヤフレーム生成部１０は、絶対座標の基準となる複数の座標設定ポイントを設定するためのワイヤフレームの画像を発生させる（図３参照）。本発明の実施形態では、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等、映像素材の場所（サッカーコート）を特徴付ける線分上に、複数の座標設定ポイントが設定される。これらの座標設定ポイントに対して、視覚座標と絶対座標との対応関係が求められる。
【００４９】
変換パラメータテーブル１１には、図５に示すように変換パラメータが各映像フレーム毎に記述される（図５参照）。座標設定ポイント記録テーブル１２には、各座標設定ポイントに対して、その視覚座標と絶対座標との関係が記述される（図４参照）。
【００５０】
フィギュア記録テーブル１４は、フィギュアデータを保存しておくデータベースである。ここで、フィギュアとは、コンピュータグラフィックス画面で用いる三次元人体モデルを指すものとする。
【００５１】
本発明の実施形態では、予め「歩く」「走り始める」「全力疾走する」「急停止する」等の動作を表現するデータグループが用意されている。ＣＧ制作時には、実映像データをコマ送り再生しながら、ポジション記録対象プレーヤの移動方向及び移動速度が急激に変化する映像フレームを選定して、プレーヤ映像の足元部分にマーキングが施される。
【００５２】
フィギュア記録テーブル１４には、マーキングに基づいて、各プレーヤ毎に、各映像フレームに対して、各プレーヤの配置、フィギュアデータの回転修正の結果、手動設定映像フレームの識別用フラグ、データグループの種類、フィギュアデータレコードＩＤ等が記録される（図１０参照）。
【００５３】
動作判定テーブル１５は、ＣＧ作成時に、選定されたプレーヤのポジション及び移動方向及び記録映像フレーム数に基づき、プレーヤの動作を判断するための、判定テーブルである（図１２参照）。これらのテーブルについては、後に説明する。
【００５４】
上述のように構成される本発明の実施形態のコンピュータグラフィックス画像表示システムは、素材となる実映像データから、ハイライトシーンの視点を変えての表示や、戦術分析等に利用できる。
【００５５】
このような自由視点による三次元ＣＧの制作では、通常、膨大な演算が必要になってくる。また、専用の複数のカメラ等、様々な制約条件が課せられ、アマチュアが客席から撮影したサッカーの試合の映像や、数年前に放映されたサッカーの試合の映像等、カメラワークが安定していない映像や品質が劣化している映像は、使用できない場合が多い。
【００５６】
これに対して、本発明の実施形態のコンピュータグラフィックス画像表示システムでは、コートを特徴付ける線分上に複数の座標設定ポイントを設定し、コートのラインを基にしたワイヤフレームの画像を発生させて、このワイヤフレームの座標設定ポイントを画面上の対応するコートの上の位置にドラッグして重ねて座標設定ポイントの視覚座標を取得して、変換パラメータを求めている。これにより、膨大な演算処理が不要になると共に、様々な制約条件から解放され、素材となる実映像データの形式や品質に依存せずに、三次元ＣＧ画面を表示させることができる。
【００５７】
また、本発明の実施形態では、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルコンピュータグラフィックスのフィギュアデータを予めフィギュア記録テーブル１４によりデータベース化し、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、最適なデータレコードを設定するようにしている。また、動作を一連の複数のフィギュアデータとして扱い、また、連続した動作をシーケンスとして扱うことで、滑らかな動作のアニメーションを実現している。これらのことについて、以下に詳細に説明する。
【００５８】
先ず、本発明における座標の設定について説明する。本発明の実施形態では、ＣＧ制作の対象となる実映像を表示している画面上に、絶対座標を真上から見た、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等のコートを特徴付ける線分を含んだワイヤフレームを重ねて表示させ、当該ワイヤフレーム上に設定されている座標設定用ポイントを４点選択し、実映像フレーム上に写っている同じポイントにドラッグ合致させるようにしている。これにより、絶対座標と１対１対応が可能な視覚座標が設定できる。
【００５９】
つまり、図２は、視覚座標と絶対座標との変換を説明するものである。コートは、真上の視点から見れば長方形であるが、カメラの視点では、台形に変形して見える。ここで、本来の長方形としたときの真上から見た画像を絶対座標で示し、カメラの視点で見たときの画像を視覚座標とする。
【００６０】
図２に示すように、視覚座標上の４点（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）は、絶対座標の４点（Ｘ'１，Ｙ'１）〜（Ｘ'４，Ｙ'４）に変換されている。この変換は、以下の式で示される。
【００６１】
【数１】
【００６２】
上式から、Ｘ（ｘ１〜ｘ４）及びＹ（ｙ１〜ｙ４）について解くと、以下のようになる。
【００６３】
【数２】
【００６４】
以上の結果から、視覚座標上の４点（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）と、絶対座標の４点（Ｘ'１，Ｙ'１）〜（Ｘ'４，Ｙ'４）との対応がわかれば、変換パラメータＨを算出して、視覚座標上の任意の点を絶対座標上に変換することができる。
【００６５】
常に、固定されたカメラからの画像であれば、視覚座標上の４点（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）と、絶対座標の４点（Ｘ'１，Ｙ'１）〜（Ｘ'４，Ｙ'４）との対応関係が変わることはない。よって、一度求めた変換パラメータＨをそのまま使い続けることができる。
【００６６】
しかしながら、上述したように、本発明の実施形態では、アマチュアが客席から撮影したサッカーの試合の映像や、数年前に放映されたサッカーの試合の映像等、様々な映像データが用いられる。これらの映像データでは、カメラがパンやチルトされて動かされたり、ズームアップ、ズームダウンされたり、シーンチェンジがあったりする。また、一台のカメラで撮影ではコート全体を撮影することはできないため、常に、基準となる４点が画面上に映し出されているとは限らない。
【００６７】
そこで、本発明の実施形態では、図３に示すような、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等のコートを特徴付ける線分を含んだワイヤフレームを用いるようにしている。
【００６８】
つまり、サッカーのコートには、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等のコートを特徴付ける線分が引かれている。図３に示すように、これらの線分上に、複数の座標設定ポイントＰ１〜Ｐ３３が設定される。そして、これらの座標設定ポイントＰ１〜Ｐ３３に対して、図４に示すように、視覚座標と絶対座標との対応関係を記録する座標設定ポイント記録テーブル１２が用意される。
【００６９】
ここで、センターサークル、サイドライン、ペナルティエリアライン、ペナルティアーク等の長さは、競技規則により予め決まっているので、これに基づいて、座標設定ポイントＰ１〜Ｐ３３の絶対座標を設定できる。映像画面上から、座標設定ポイントＰ１〜Ｐ３３のうちの少なくとも４点の視覚座標が得られれば、前述したように、視覚座標と絶対座標との対応関係がわかり、これに基づいて、他の座標設定ポイントの視覚座標を計算により求めることができる。
【００７０】
各座標設定ポイントＰ１〜Ｐ３３での視覚座標は、図３に示すワイヤフレームを実画面上に重ねて表示し、ワイヤフレーム上の点を対応する画面上の点にドラッグすることで入力される。例えば、ワイヤフレーム上の座標設定ポイントＰ１を、実画面上のコートの隅の対応する点に重なるようにドラッグさせると、座標設定ポイントＰ１の視覚座標が入力され、座標設定ポイントＰ１についての、視覚座標と絶対座標との対応関係が取得される。他の座標設定ポイントについても、同様にして、対応する点の視覚座標が取得される。
【００７１】
上述のように、座標設定ポイントＰ１〜Ｐ３３のうちの少なくとも４点の視覚座標が得られれば、視覚座標と絶対座標との対応関係がわかり、この対応関係を使って、変換パラメータを算出して、任意の点の視覚座標から絶対座標への変換が行える。
【００７２】
また、算出された変換パラメータに基づいた視覚座標を、選定した実映像フレームに重ねて表示し、ディスプレイ上での実映像フレームと視覚座標のずれを確認し、ずれが大きい実映像フレームを設定対象として選択して、実映像フレームと視覚座標のずれが大きい座標設定ポイントを選択し、実映像フレーム上の点へドラッグすることで、変換パラメータの修正を行うことができる。
【００７３】
また、パンやチルト、ズームアップやズームダウンが行われると、視覚座標と絶対座標との対応関係がずれてくる。この場合には、再び、ワイヤフレーム上の点を対応する画面上の点にドラッグさせて、修正すれば良い。このとき、前回の座標設定ポイントと異なる座標設定ポイントを使うことができる。
【００７４】
また、カメラをパンやチルト、ズームアップやズームダウンした場合の変換パラメータの変化には連続性がある。このため、視覚座標の修正を行った場合、その間の変換パラメータは、補間により求めることができる。
【００７５】
各映像フレームで求められた変換パラメータは、図５に示すように、変換パラメータテーブル１１に記録される。変換パラメータテーブル１１には、変換パラメータ（ｈ００〜ｈ２１）と、設定対象となっている映像フレームＩＤとが関連付けて記録される。この変換パラメータのうち、実際の映像フレームで求められた変換パラメータには、手動設定フラグ「１」が付加される。その間の変換パラメータは、補間により求められ、手動設定フラグは「０」となる。
【００７６】
図６は、上述の座標設定における作業手順を記述したフローチャートである。図６において、まず、作業者は、演算装置２の操作を通じて、映像データ再生装置４を操作し、三次元コンピュータグラフィックス画像の素材となる映像データを、映像データ入力インターフェース５を通じ、映像データメモリ６に保存する（ステップＳ２１）。映像データ再生装置４が再生するデータは、作業用ディスプレイ９上で、通常再生及び映像フレーム毎のコマ送り再生及び巻き戻しが実現されることが要件であり、データ種別やデータ形式を限定しない。
【００７７】
次に、作業者は、演算装置２の操作を通じて、映像データメモリ６に保存されている映像データのコマ送り再生もしくは巻き戻し作業を行い（ステップＳ２２）、視覚座標設定作業対象となる映像フレームを選定する（ステップＳ２３）。選定した映像フレームに対し、ワイヤフレーム生成部１０から、図３に示す絶対座標のワイヤフレームを表示させ、演算装置２に、変換パラメータＨを算出させる。
【００７８】
作業者は、この結果を用いて視覚座標設定作業を行い（ステップＳ２４）、設定された視覚座標を画面上に表示し、作業対象となった映像フレームを重ね合わせて位置を微修正し、演算装置２に、微修正の都度変換パラメータＨを算出させる（ステップＳ２５）。
【００７９】
微修正作業の終了後、演算装置２は、ステップＳ２４及びステップＳ２５の結果得られた変換パラメータＨを、図５に示した変換パラメータテーブル１１上の全ての映像フレームＩＤと関連付けて記録し、変換パラメータテーブル１１上の当該設定対象映像フレームＩＤの手動設定フラグを「１」とする（ステップＳ２６）。
【００８０】
ステップＳ２５が完了した段階で、演算装置２は、作業者によって視覚座標が設定された映像フレーム数をカウントして、映像フレーム数が１より大きいかどうかを判断する（ステップＳ２７）。
【００８１】
当該映像フレーム数が１の場合には、作業者は別の映像フレームにおける視覚座標コート設定作業を行う（ステップＳ２２）。
【００８２】
当該映像フレーム数が２以上の場合には、設定済映像フレーム間に存在する視覚座標が未設定の各映像フレームに対して、視覚座標設定用パラメータを、経過時間を変数とした直線補間により、自動的に計算して設定し、変換パラメータテーブル１１上の補間対象映像フレームＩＤと関連付けて記録する（ステップＳ２８）。このとき、手動設定フラグを「０」とする。
【００８３】
作業者は、当該ステップＳ２２からステップＳ２８に至る処理を、処理対象映像データ内の複数映像フレームに対して実施し、最後に全体を通じて、視覚座標コートの設定状況を確認し、必要に応じて、調整が必要な映像フレームに対する微調整を行う（ステップＳ２９）。
【００８４】
次に、ステップＳ２４の視覚座標設定処理の内容の詳細を図７で説明する。図７は、本発明のステップＳ２４の詳細を示すフローチャートである。作業者は、演算装置２の操作を通じて、ワイヤフレーム生成部１０から、選定した実映像フレーム上に、絶対座標のワイヤフレームを表示させる（ステップＳ２４１）。
【００８５】
次に、作業者は、ワイヤフレーム上に示されている座標設定用ポイントＰ１〜Ｐ３３（図３参照）の中から、実映像フレーム上に映し出されている処理対象映像データ上での座標設定用ポイントを４箇所選定し、ワイヤフレーム上の座標設定用ポイントを実映像フレーム上の同じポイントへドラッグ合致させる（ステップＳ２４２）。
【００８６】
４箇所のポイント間の合致が完了すると、演算装置２は、絶対座標と視覚座標間の座標変換パラメータＨを算出し、これに基づいて、ステップＳ２４２において選択されていない残りの座標設定用ポイントの視覚座標上における座標を自動計算し、図４に示した座標設定ポイント記録テーブル１２に記述し、各ポイント間に線を描画し、ワイヤフレームの視覚座標として画面上に表示する（ステップＳ２４３）。
【００８７】
作業者は、実映像フレーム上に表示されているラインと変換パラメータＨの自動計算の結果表示されているワイヤフレームの視覚座標を比較し、ライン及び座標設定用ポイントがずれている部分を見つけ出し、当該ずれが生じている座標設定用ポイントの座標を微調整する。演算装置２は、微調整が発生する都度、座標変換パラメータＨを再計算し、計算結果に応じて視覚座標コート上に表示される座標設定用ポイント及び線を再表示し、作業者はこれを見ながら修正していく。
【００８８】
次に、図７におけるステップＳ２４３の座標の自動計算処理の詳細を図８で説明する。図８は、本発明のステップＳ２４３の詳細を示すフローチャートである。図４に示したように、座標設定ポイント記録テーブル１２上には、予めワイヤフレームの視覚座標と絶対座標との対応テーブルを用意しておく。作業者がステップＳ２４２を通じ、選定した４箇所のワイヤフレーム上の座標設定用ポイントを実映像フレーム上のポイントへドラッグ合致させると、演算装置２はドラッグ合致させたポイントの作業用ディスプレイ９上での視覚座標（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）を取得する（ステップＳ２４３１）。
【００８９】
次に、演算装置２は、（１）式に示した演算により、各座標設定ポイントの視覚座標と絶対座標とから、変換パラメータＨを算出する。この変換パラメータＨと、選定した座標設定用ポイントと対応する絶対座標上の座標（Ｘ'n，Ｙ'n）を、（２）式に代入し、視覚座標座標（Ｘn，Ｙn）を算出する（ステップＳ２４３２）。
【００９０】
次に、演算装置２は、図４に示す座標設定ポイント記録テーブル１２の線分構成情報を読み込み、算出された全ての座標設定ポイントに対し、この線分を作業用ディスプレイ９上に描画することで、変換パラメータＨが反映された視覚座標を作業用ディスプレイ９上に描画する（ステップＳ２４３３）。
【００９１】
作業者は、変換パラメータＨが反映された視覚座標が設定対象の実映像フレームとほぼ一致したことを確認したら、次に設定する実映像フレームを表示させるために、別の実映像フレームを表示させる（ステップＳ２４３４）。
【００９２】
ステップＳ２４３４が実行されたら、演算装置２は、得られた変換パラメータＨを、図５に示した変換パラメータテーブル１１に、設定対象となっている実映像フレームＩＤと関連付けて記録する（ステップＳ２４３５）。
【００９３】
次に、図６におけるステップＳ２５の視覚座標の微修正の処理の詳細を図９で説明する。図９は、本発明のステップＳ２５の詳細を示すフローチャートである。図９において、作業者が微修正対象となる実映像フレームを表示すると、演算装置２は、図５に示した変換パラメータテーブル１１に記録されている、表示した実映像フレームＩＤに関連付けられた変換パラメータＨに基づいた視覚座標を、選定した実映像フレームに重ねて表示する（ステップＳ２５１）。
【００９４】
作業者が、ディスプレイ上での実映像フレームと視覚座標のずれを確認し、ずれが大きい実映像フレームを設定対象として選択する（ステップＳ２５２）。作業者は、実映像フレームと視覚座標のずれが大きい座標設定ポイントを選択し、実映像フレーム上の点へドラッグ修正する（ステップＳ２５３）。
【００９５】
演算装置２は、ドラッグ修正した座標設定ポイントの座標を（Ｘ'４，Ｙ'４）として取得し（ステップＳ２５４）、ドラッグ修正した座標設定ポイントＩＤ以外の視覚座標上の座標設定ポイントを３箇所選択し、その座標を（Ｘ１，Ｙ１）から（Ｘ３，Ｙ３）として取得する（ステップＳ２５５）。
【００９６】
次に、演算装置２は、（１）式に示した演算により、各座標設定ポイントの視覚座標と絶対座標とから、変換パラメータＨを算出する。この変換パラメータＨと、選定した座標設定用ポイントと対応する絶対座標上の座標（Ｘ'n，Ｙ'n）を、（２）式に代入し、視覚座標座標（Ｘn，Ｙn）を算出する（ステップＳ２５６）。
【００９７】
次に、演算装置２は、図４に示す座標設定ポイント記録テーブル１２の線分構成情報を読み込み、算出された全ての座標設定ポイントに対し、この線分を作業用ディスプレイ９上に描画することで、変換パラメータＨが反映された視覚座標を作業用ディスプレイ９上に描画する（ステップＳ２５７）。
【００９８】
作業者は、変換パラメータＨが反映された視覚座標が設定対象の実映像フレームとほぼ一致したことを確認したら、次に設定する実映像フレームを表示させるために、別の実映像フレームを表示させる（ステップＳ２５８）。
【００９９】
ステップＳ２４３４が実行されたら、演算装置２は、得られた変換パラメータＨを、図５に示した変換パラメータテーブル１１に、設定対象となっている実映像フレームＩＤと関連付けて記録する（ステップＳ２５９）。なお、このステップＳ２５６〜Ｓ２５９は、図８におけるステップＳ２４３２〜Ｓ２４３５と同じである。
【０１００】
次に、フィギュア記録テーブルの管理方法について説明する。本発明の実施形態では、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルコンピュータグラフィックスのフィギュアデータを予めフィギュア記録テーブル１４においてデータベース化し、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、最適なフィギュアデータのレコードを割り当てている。
【０１０１】
つまり、人間の動作は複雑であるが、サッカープレーヤの動作に限定すれば、静止、歩く、走る、ドリブルする、トラップする、ヘッディングする等、いくつかの動作に集約できる。そこで、これらの動作を表現する一連のフィギュアデータを予め定めておき、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、これらの動作の中で最も適切と判断されるものを、データベースから読み出して、ＣＧ画像を生成するようにしている。
【０１０２】
例えば、記録映像フレーム数に対するプレーヤの動きを計算すると、そのプレーヤの動きの速さが求められる。これにより、「静止している」のか、「歩いている」のか、「走っている」のか等、そのプレーヤの動作が判断できる。「歩いている」と判断されたら、「歩く」の一連の動作を示すフィギュアデータをフィギュア記録テーブル１４から読み出すようにする。
【０１０３】
また、本発明の実施形態では、予め「歩く」「走り始める」「全力疾走する」「急停止する」等の動作を滑らかに表現できるように、「動作」を、複数のフィギュアデータの集まりであるデータグループとして扱っている。また、プレーヤの一連の動作を滑らかな動画像として表現できるように、複数のデータグループ列からシーケンスを構成している。このことについて、説明する。
【０１０４】
ＣＧ制作の際には、表示されている全プレーヤに対して識別用のＩＤが付与される。そして、画面上でポジション記録対象プレーヤが選定され、実映像データをコマ送り再生しながら、ポジション記録対象プレーヤの移動方向及び移動速度が急激に変化する映像フレームを選定して、プレーヤ映像の足元部分にマーキングが施される。これにより、始点映像フレームと終点映像フレームが指定される。また、このとき、絶対座標コート上での各プレーヤのフィギュアデータの状態が記録される。
【０１０５】
図１０は、このときの絶対座標コート上での各プレーヤのフィギュアデータの状態を記録したフィギュア記録テーブル１４の構造を示すものである。図１０に示すように、フィギュア記録テーブル１４には、各映像フレームに対して、各プレーヤの絶対座標上での配置、フィギュアデータの回転、手動設定映像フレームの識別用のフラグ、データグループの種類、フィギュアデータレコードＩＤが記録される。
【０１０６】
フィギュアデータの回転の項目は、三次元方向修正ツールによるフィギュアデータの回転修正の結果である。三次元方向修正ツールは、三次元空間におけるプレーヤやボールを表示させるための修正ツールである。つまり、作業用ディスプレイ９上での表示画面は二次元であり、絶対座標コート上に示される三次元空間におけるボール及びプレーヤ画像を操作することは、一般的なポインタ表示では困難である。そこで、図１３に示す三次元方向修正ツールを用いることで、簡便な操作を実現している。
【０１０７】
図１３（Ａ）は三次元の進行方向ポインタである。本ポインタは、三次元方向の直交座標軸の形状をしており、ボール及びプレーヤ画像の進行方向を見やすく示し、簡便な修正作業を実現する。また、本ポインタは、三次元方向のいずれにも傾斜させることが可能であり、図１３（Ｂ）に示すように、傾斜させた状態でもボール及びプレーヤ画像の進行方向を見やすく示し、簡便な修正作業を実現する。図１３（Ｃ）は、三次元の回転ポインタである。本ポインタは、三次元の回転面及び回転方向を示しており、プレーヤ画像を回転させる際、簡便な修正作業を実現する。
【０１０８】
図１０において、手動設定フラグは、マーキングによる記録が実際に行われたかどうかを示している。上述のように、ポジション記録対象プレーヤの移動方向及び移動速度が急激に変化する映像フレームが選定され、そのプレーヤ映像にマーキングが施される。この場合には、手動設定フラグは「１」になる。始点映像フレームと終点映像フレームの間では、連続的な動きになるので、各項目は補間により求められ、補間されたものは、手動設定フラグは「０」になる。
【０１０９】
データグループは、「歩く」、「走る」、「トラップする」、「ヘッディングする」というような一連の個別の動作を表現するための複数のフィギュアデータの集まりである。
【０１１０】
例えば、「歩く」のデータグループは、「右足を前に出す」様子を示す人体モデルのフィギュアデータ、「右足を地面に付ける」様子を示す人体モデルのフィギュアデータ、「左足を前に出す」様子を示す人体モデルのフィギュアデータ、「左足を地面に付ける」様子を示す人体モデルのフィギュアデータの集まりで表現できる。なお、各フィギュアデータは、ワイヤフレームＩＤにより管理されている。このワイヤフレームに対して、当たる光線の方向と強さを設定し、当該光線が形成する陰影を考慮した表面画像のマッピング処理を行って、フィギュアの三次元人体モデルコンピュータグラフィックス画像となる。
【０１１１】
フィギュアデータレコードＩＤは、データグループの順序から導出されたシーケンスに基づき割り付けされた設定されたレコードＩＤである。
【０１１２】
つまり、図１１は、滑らかな動作を表現するためのシーケンスの構造を示すものである。シーケンスは、個別動作を示すデータグループの連続体として構成され、データグループは個別の動作の開始から終了までの動作変化を示すフィギュアデータレコードＩＤの連続体として構成される。
【０１１３】
一つのデータグループから次のデータグループには、滑らかに移行するように、予めフィギュアデータレコードが選定されている。また、シーケンスの内訳、即ちデータグループの構成は、同じ移動速度であっても「倒れながら」「トラップしながら」など、単純な走行以外の動作も表現できるように、あるデータグループから複数の選択肢が選べるように用意されている。
【０１１４】
ＣＧ作成時には、選定されたプレーヤのポジション及び移動方向及び記録映像フレーム数に基づき、最適なデータグループが選定され、当該プレーヤに対する連続したデータグループ構成に基づき最適なシーケンスが選択され、当該シーケンスに基づいたプレーヤの動作アニメーションを構成するフィギュアデータが、各映像フレーム上の当該プレーヤ位置に割り付けられる。例えば、記録映像フレーム数に対するプレーヤの動きを計算すると、そのプレーヤの動きの速さが求められる。これにより、「静止している」のか、「歩いている」のか、「走っている」のか等、そのプレーヤの動作が判断できる。図１２は、上述のようにして動作を判定する動作判定テーブル１５の一例である。なお、この例では、算出速度に対応して動作を割り付けているが、さらに、方向等を用いるようにしても良い。
【０１１５】
そのプレーヤの動作が「歩く」、「走る」、「右足インサイドでトラップ」の一連の動作であると判断されたら、そのプレーヤの動作は、図１１に示すように、「静止」から「歩く」、「走り出す」、「走る」、「右足インサイドでトラップ」となる一連のシーケンスとして捉えられ、このシーケンスを示すデータグループのフィギュアデータが、フィギュア記録テーブル１４から順に読み出されていく。
【０１１６】
このように、本発明の実施形態では、シーケンスを使うことで、「歩く」から「走る」の間に、「走り出す」のデータグループのフィギュアデータが読み出され、これにより、連続的なＣＧを再生することができ、単独の動きが不連続となることがなくなる。
【０１１７】
次に、本発明の実施形態のフィギュアデータの処理の詳細に説明する。図１４は、本発明のフィギュアデータの処理を示すフローチャートである。図１４において、まず、作業者は、ＣＧ制作対象となる実映像データ全体を通じ、表示されている全プレーヤに対し、識別用のＩＤを付与する（ステップＳ３１）。
【０１１８】
次に、作業者は、実映像データをコマ送り再生し、全プレーヤのポジション記録処理を実施する。具体的なポジション記録処理の手順としては、画面上でポジション記録対象プレーヤを選定し（ステップＳ３３）、実映像データをコマ送り再生しながら、ポジション記録対象プレーヤの移動方向及び移動速度が急激に変化する映像フレームを選定し、作業用ディスプレイ９上のプレーヤ映像の足元部分にマーキングをする（ステップＳ３４）。
【０１１９】
全プレーヤのポジション記録が完了したら（ステップＳ３２）、次に、作業者は実映像データの最初の映像フレームを表示させ、グラウンド上に投影されたボールの軌跡について、実映像データをコマ送り再生しながら、ボールの移動方向及び移動速度が急激に変化する映像フレームを選定し、作業用ディスプレイ９上のグラウンド上に投影されたボールの軌跡部分にマーキングをする（ステップＳ３５）。
【０１２０】
当該作業が全映像フレームに渡り完了したら、作業者は再度実映像データの最初の映像フレームを表示させ、ステップＳ３５で記録したグラウンド上に投影されたボールの軌跡に基づき、高さ方向について、ボールの移動方向及び移動速度が急激に変化する映像フレームを選定し、三次元方向修正ツールを用いて、高さ要素を含んだボール軌跡の記録を行う（ステップＳ３６）。
【０１２１】
当該作業が全映像フレームに渡り完了したら、作業者は、演算装置２を操作し、記録したプレーヤ及びボールのポジションに基づいた三次元コンピュータグラフィックスのアニメーションを再生し、シーケンスの割り付けとデータグループの修正を行う（ステップＳ３７）。
【０１２２】
当該コンピュータグラフィックスの再生時には、演算装置２は、選定された１プレーヤのポジション及び移動方向及び記録映像フレーム数に基づき、最適なデータグループを選定し、当該プレーヤに対する連続したデータグループ構成に基づき最適なシーケンスを選択し、当該シーケンスに基づいたプレーヤの動作アニメーションを構成するフィギュアデータを、各映像フレーム上の当該プレーヤ位置に割り付ける。
【０１２３】
割り付け完了後、作業者は実映像データと割り付け終了後のデータを重ねて表示し、コマ送り再生しながら、割り付けられたフィギュアデータの動作及び方向及び傾きを確認し、ズレが生じている映像フレームについては三次元方向修正ツールを利用した修正、又はシーケンスアニメーションの起点又は終点位置の修正、又はシーケンスアニメーションの尺の修正等の微調整作業を行うことで、素材となった実映像データ上でのプレーヤの動作を、ＣＧアニメーションとして制作する。
【０１２４】
次に、図１４におけるステップＳ３１の選手のＩＤ付けの処理及び作業手順を図１５を用いて詳細に説明する。図１５は、本発明のステップＳ３１の詳細を示すフローチャートである。図１５において、まず、作業者は、演算装置２を操作して、視覚座標が既に設定された実映像データの最初の映像フレームを、演算装置２を操作して作業用ディスプレイ９上に表示させる（ステップＳ３１１）。
【０１２５】
次に、作業者は、演算装置操作デバイス１を通じて演算装置２を操作し、作業用ディスプレイ９上の映像データの最初の映像フレーム上に表示されている全プレーヤに対し、識別用のＩＤを付与する（ステップＳ３１２）。
【０１２６】
次に、作業者は、映像データを再生し（ステップＳ３１３）（ステップＳ３１４）、ステップＳ３１２でＩＤを付与していない新たなプレーヤが映像フレーム上に表示されているか否かを判断し（ステップＳ３１５）、表示されている場合には、当該プレーヤに、ステップＳ３１２と同様の手順を用いて、ＩＤを付与する（ステップＳ３１６）。当該ステップＳ３１３からステップＳ３１６の作業を、最後の映像フレームまで繰り返す。
【０１２７】
次に、図１４におけるステップＳ３３のポジション記録選手の選定処理の作業手順を図１６を用いて詳細に説明する。図１６は、本発明のステップＳ３３の詳細を示すフローチャートである。図１６において、まず、作業者は、ポジション設定開始作業の最初の映像フレームを、演算装置２を操作して作業用ディスプレイ９上に表示させる（ステップＳ３３１）。
【０１２８】
次に、作業者は、演算装置操作デバイス１を通じて演算装置２を操作し、作業用ディスプレイ９上に表示されているプレーヤの中から、ポジション設定対象プレーヤを選択する（ステップＳ３３２）。
【０１２９】
次に、図１４におけるステップＳ３４の選手ポジションの記録処理の作業手順を図１７を用いて詳細に説明する。図１７は、本発明のステップＳ３４の詳細を示すフローチャートである。図１７において、作業者は、演算装置操作デバイス１を通じて演算装置２を操作し、表示されているポジション設定対象プレーヤの足元に、当該プレーヤの視覚座標上のポジションを示すマークを付ける（ステップＳ３４１）。なお、ステップＳ３４１の詳細フローチャートは図２１に示す。
【０１３０】
次に、作業者は、映像データを再生し、最終の映像フレームかどうかを判断し（ステップＳ３４２）、最終の映像フレームでなければ、映像フレームを先送りし（ステップＳ３４３）、ポジション設定対象プレーヤの走る方向又は走るスピードが急激に変化している映像フレームをコマ送りで探す（ステップＳ３４４）。急激に変化している映像フレームがあれば、ステップＳ３４１に戻る。該当最終映像フレームが無ければ、最終映像フレーム上でのポジション設定対象プレーヤのポジションのマークを付ける（ステップＳ３４５）。
【０１３１】
次に、図１４のステップＳ３５のボールポジション記録の処理及び作業手順を図１８を用いて詳細に説明する。図１８は、本発明のステップＳ３５の詳細を示すフローチャートである。図１８において、まず、作業者は、ボールポジション設定開始作業の最初の映像フレームを、演算装置２を操作して作業用ディスプレイ９上に表示させる（ステップＳ３５１）。
【０１３２】
次に、作業者は、演算装置操作デバイス１を通じて演算装置２を操作し、作業用ディスプレイ９上に表示されているボール映像の、地面に投影されている軌跡に相当する部分に、ボールの視覚座標上のポジションを示すマークを付ける（ステップＳ３５２）。
【０１３３】
次に、作業者は、映像データを再生し、最終の映像フレームかどうかを判断し（ステップＳ３５２）、最終の映像フレームでなければ、映像フレームを先送りし（ステップＳ３５４）、ボールが動く方向又は動くスピードが急激に変化している映像フレームをコマ送りで探す（ステップＳ３５５）。ボールが急激に変化している当映像フレームがあればステップＳ３５２に戻り、該当映像フレームが無ければ、最終映像フレーム上でのボールポジションのマークを付ける（ステップＳ３５６）。
【０１３４】
次に、図１４のステップＳ３６のボールの軌跡の記録処理及び作業手順を図１９を用いて詳細に説明する。図１９は、本発明のステップＳ３６の詳細を示すフローチャートである。図１９において、まず、作業者は、演算装置２を操作して作業用ディスプレイ９上に、縦及び横及び高さ方向の座標軸を有する絶対座標に基づいたサッカーコート画面を表示する（ステップＳ３６１）。
【０１３５】
次に、作業者は、演算装置２を操作し、ステップＳ３４と通じて記録したボールの移動軌跡情報を、線分及びボールを示す点として、サッカーコート画面上に表示する（ステップＳ３６２）。
【０１３６】
次に、作業者は、ボールの移動軌跡情報と併せて、ボールに関与しているプレーヤのフィギュアアニメーションの表示を設定指示する。当該設定指示を受け、演算装置２は、ボールに関与しているプレーヤフィギュアアニメーションとして、予め用意されているシーケンシャルを割り付けして表示する（ステップＳ３６３）。
【０１３７】
作業者は、ボールを示す点の動きとフィギュアアニメーションの動きを比較し、互いが自然な位置関係となるような修正ポイントをサッカーコート画面上で設定し（ステップＳ３６４）、三次元方向修正ツールを用いて、ボール軌跡の線分の高さ方向成分を修正する（ステップＳ３６５）。
【０１３８】
修正完了後、プレーヤとボールの動きをサッカーコート画面上でアニメーションとして再生し（ステップＳ３６６）、互いの動きと位置関係を再確認し（ステップＳ３６７）、ずれが生じている映像フレームについて、ステップＳ３６５の処理を行い、アニメーション全体を通じて、プレーヤとボールの位置関係とのずれが無くなるまで繰り返す。
【０１３９】
次に、図１４のステップＳ３７のシーケンスの割り付けと修正処理及び作業手順を図２０を用いて詳細に説明する。図２０は、本発明のステップＳ３７の詳細を示すフローチャートである。図２０において、まず、作業者は、演算装置２を操作して作業用ディスプレイ９上に、処理対象となった実映像データ映像フレームを表示する（ステップＳ３７１）。
【０１４０】
次に、作業者の操作により、演算装置２は、絶対座標上に設定したボールの移動軌跡及びプレーヤフィギュアアニメーションを、（２）式に基づいて、表示されている実映像フレーム上の視覚座標と同一の視点から見た視覚座標に変換し、作業用ディスプレイ９に表示されている実映像データ映像フレーム上に重ね合わせて表示し（ステップＳ３７２）、映像データとアニメーションを同期させて再生する（ステップＳ３７３）。
【０１４１】
次に、作業者は、演算装置２を操作し、映像データ映像フレーム上の実画像とプレーヤフィギュアを比較し（ステップＳ３７４）、ずれが生じているポイントを選定する（ステップＳ３７５）。
【０１４２】
次に、作業者は、ボール及びボールと関与しているプレーヤの接触位置にずれが生じている場合には、演算装置２を操作してプレーヤフィギュアの配置位置をずらすことで接触位置を修正し（ステップＳ３７６）、プレーヤの動作にずれが生じている場合には、データグループを構成するフィギュアデータを、三次元方向修正ツールと演算装置２を操作して修正し、必要に応じて別のフィギュアレコードに変更する（ステップＳ３７７）。
【０１４３】
次に、作業者は、修正後のボール及びプレーヤアニメーションのみを再生し（ステップＳ３７８）、ボールの軌跡及びプレーヤの動作が滑らかに再生しているか否かを確認し（ステップＳ３７９）、滑らかではない場合はステップＳ３７６の処理に戻り、滑らかである場合には、ステップＳ３７３に戻り、アニメーション全体を通じて、ボールの軌跡及びプレーヤの動作が滑らかに再生されるまで繰り返す。
【０１４４】
次に、図１７のステップＳ３４１に示したプレーヤアニメーションの割り付け処置手順の詳細を図２１を用いて説明する。図２１は、本発明のステップＳ３４１の詳細を示すフローチャートである。図２１において、まず図１１に示したフィギュア記録テーブル１４を書込可能状態とする（ステップＳ３４１０１）。
【０１４５】
図１７に示されるステップＳ３４１において、作業者が最初の映像フレームでプレーヤのポジションの足元にマークを記録した際、演算装置２は、視覚座標上のマーク座標を検出し（ステップＳ３４１０２）、（２）式により視覚座標から絶対座標に変換し（ステップＳ３４１０３）、図１１のフィギュア記録テーブル１４へ実映像フレームＩＤと絶対座標を書き込み、手動設定フラグに、作業者によるポジションマーク設定を示す１が記録される（ステップＳ３４１０４）。
【０１４６】
作業者及び演算装置２は、ステップＳ３４１０１からステップＳ３４１０４の作業及び処理を、ポジションマークを設定すべき全ての実映像フレームに対して行う（ステップＳ３４１０５）。
【０１４７】
作業者及び是対処理装置２が、全設定映像フレームに対し作業及び処理を実行し終わると、演算装置２は、手動設定フラグに１が入力されている複数のデータレコードを抽出し（ステップＳ３４１０６）、当該データレコードに含まれる映像フレームＩＤと、当該レコードに記録されている絶対座標を抽出し、隣接している、抽出された映像フレーム間に存在する映像フレーム数、即ち映像フレーム間の所要時間をカウントする（ステップＳ３４１０７）。
【０１４８】
同様に隣接している、抽出された映像フレーム間での各プレーヤの配置絶対座標の差、即ち映像フレーム間でのプレーヤのポジション移動距離を算出する（ステップＳ３４１０８）。
【０１４９】
ステップＳ３４１０８の結果をステップＳ３４１０７で除し、プレーヤの映像フレーム間での移動速度を計算し（ステップＳ３４１０９）、予め用意した図１２に示す動作判定テーブル１５の設定基準に従い、演算装置２は、該当するデータグループ候補を表示し（ステップＳ３４１１０）、作業者は該当するデータグループを設定する（ステップＳ３４１１１）。
【０１５０】
演算装置２は、全映像フレームに渡り、データグループの設定が終わると、データグループの並び方から該当するシーケンスを設定し（ステップＳ３４１１２）、シーケンス内に記録されているフィギュアデータレコードＩＤを、フィギュア記録テーブル１４の実映像フレームレコード毎に記録し（ステップＳ３４１１３）、フィギュア記録テーブル１４をクローズとする（ステップＳ３４１１４）。
【０１５１】
以上説明したように、本発明の実施形態では、コートを特長付ける線分上に複数の座標設定ポイントを設定し、コートのラインを基にしたワイヤフレームの画像を発生させて、このワイヤフレームの座標設定ポイントを画面上の対応するコートの上の位置にドラッグして重ねて座標設定ポイントの視覚座標を取得して、変換パラメータを求めている。これにより、膨大な演算処理が不要になると共に、様々な制約条件から解放され、素材となる実映像データの形式や品質に依存せずに、三次元ＣＧ画面を表示させることができる。
【０１５２】
例えば、パンやチルト、ズームアップやズームダウンが行われると、視覚座標と絶対座標との対応関係がずれてくる。この場合には、再び、ワイヤフレーム上の点を対応する画面上の点にドラッグさせて、修正すれば良い。
【０１５３】
また、サッカーの試合では、ディフェンスからオフェンスに切り替わると、ボールの動きに追従して、味方側のコートから相手側のコートにカメラがパンされていく。この場合、前回では、図３における味方側のコートの座標設定ポイントＰ１、Ｐ４、Ｐ５、Ｐ８を使ったとすると、今回は、カメラが相手側のコートにパンされ、座標設定ポイントＰ１、Ｐ４、Ｐ５、Ｐ８が画面から外れてしまう。このときには、例えば、相手側のコートの座標設定ポイントＰ３、Ｐ６、Ｐ７、Ｐ１１を使えば良い。
【０１５４】
また、カメラをパンやチルト、ズームアップやズームダウンした場合の変換パラメータの変化には連続性がある。このため、視覚座標の修正を行った場合、その間の変換パラメータは、補間により求めることができる。
【０１５５】
また、本発明の実施形態では、各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルコンピュータグラフィックスのフィギュアデータを予めフィギュア記録テーブル１４によりデータベース化し、ＣＧ制作の対象となる実映像フレーム中に表示されているプレーヤオブジェクトに対し、最適なデータレコードを設定するようにしている。また、動作を一連の複数のフィギュアデータとして扱い、また、連続した動作をシーケンスとして扱うことで、滑らかな動作のアニメーションを実現している。
【０１５６】
本発明の実施形態では、被写体空間全体を付加できず、かつ映像の焦点が常に変化する、一箇所に設置されたカメラ動画像を素材として、ユーザが視点を自由に設定することが可能な高品質の三次元画像を制作するために必要となる、コート上の正確な二次元座標軸を、簡便かつ正確に設定することを可能とする。
【０１５７】
また、本発明の実施形態では、プレーヤがポイントを装着していないスポーツ試合のテレビ中継映像データを素材として、短い作業時間かつ簡便な内容の作業を通じて、対象オブジェクトから十分近い位置に表示視点を設置した場合でも、高品質の三次元人体モデルによる滑らかなアニメーションを制作することを可能となる。このことから、各スポーツ特有のフィギュア記録テーブル、データグループ、シーケンスを準備することで、あらゆるスポーツ試合中継映像から、高品位の三次元ＣＧアニメーションを制作することが可能となる。
【０１５８】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【産業上の利用可能性】
【０１５９】
本発明は、サッカー等のスポーツ試合映像のコンピュータグラフィックス画像の制作の他、放送スタジオ、劇場、コンサートホール等の映像データを素材として、三次元画像を制作するために必要な被写体空間上の正確な奥行き方向を含む二次元座標軸を設定するのに利用可能である。過去のエンターテイメント映像データから新たな映像商品としての三次元コンピュータグラフィックスを制作したり、営業車両に搭載されたドライブレコーダーのカメラ画像から、事故現場の三次元コンピュータグラフィックスを制作したり、防犯カメラ映像から犯罪発生現場の三次元コンピュータグラフィックスを制作したりすることが可能となる。
【図面の簡単な説明】
【０１６０】
【図１】本発明の実施形態のコンピュータグラフィックス画像表示システムの一例のブロック図である。
【図２】本発明における変換パラメータの説明図である。
【図３】本発明におけるワイヤフレームの説明図である。
【図４】本発明における座標設定ポイント記録テーブルの説明図である。
【図５】本発明における変換パラメータテーブルの説明図である。
【図６】本発明の座標変換処理の説明に用いるフローチャートである。
【図７】本発明のステップＳ２４の詳細を示すフローチャートである。
【図８】本発明のステップＳ２４３の詳細を示すフローチャートである。
【図９】本発明のステップＳ２５の詳細を示すフローチャートである。
【図１０】本発明におけるフィギュア記録テーブルの説明図である。
【図１１】本発明におけるシーケンスの説明図である。
【図１２】本発明における動作判定テーブルの説明図である。
【図１３】本発明における三次元方向修正ツールの説明図である。
【図１４】本発明のフィギュアデータの処理を示すフローチャートである。
【図１５】本発明のステップＳ３１の詳細を示すフローチャートである。
【図１６】本発明のステップＳ３３の詳細を示すフローチャートである。
【図１７】本発明のステップＳ３４の詳細を示すフローチャートである。
【図１８】本発明のステップＳ３５の詳細を示すフローチャートである。
【図１９】本発明のステップＳ３６の詳細を示すフローチャートである。
【図２０】本発明のステップＳ３７の詳細を示すフローチャートである。
【図２１】本発明のステップＳ３４１の詳細を示すフローチャートである。
【符号の説明】
【０１６１】
１ 演算装置操作デバイス
２ 演算装置
３ 視覚座標座標設定ポイントを
５ 映像データ入力インターフェース
６ 映像データメモリ
７ 表示データ処理装置
９ 作業用ディスプレイ
１０ ワイヤフレーム生成部
１１ 変換パラメータテーブル
１２ 座標設定ポイント記録テーブル
１４ フィギュア記録テーブル
１５ 動作判定テーブル
【特許請求の範囲】
【請求項１】
映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、
映像素材の場所を特徴付ける線分上に複数の座標設定ポイントを設定し、絶対座標の基準となるワイヤフレームを発生するワイヤフレーム発生手段と、
前記ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力する入力手段と、
前記少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出する演算手段と、
各映像フレームに対応して、前記変換パラメータが記録される変換パラメータテーブルと、
求められた変換パラメータを基に、前記複数の座標設定ポイントについての視覚座標と絶対座標との対応関係が記述された座標設定ポイント記録テーブルとを備える
ことを特徴とするコンピュータグラフィックス画像表示システム。
【請求項２】
前記変換パラメータテーブル中の前記座標設定ポイントが入力されていない映像フレームについては、前後映像フレームで求められた変換パラメータを直線補間した変換パラメータが記述されることを特徴とする請求項１に記載のコンピュータグラフィックス画像表示システム。
【請求項３】
前記座標設定ポイントの視覚座標の入力は、前記ワイヤフレーム生成部からのワイヤフレームを実映像画面と重ねて表示させ、前記ワイヤフレーム上の座標設定ポイントを実映像画面の対応部分に重ねるようにして行うことを特徴とする請求項１又は２に記載のコンピュータグラフィックス画像表示システム。
【請求項４】
映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、
各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積したフィギュア記録テーブルと、
前記データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定する手段と、
前記始点フレームから前記終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータを前記フィギュア記録テーブルから割り付ける制御手段と
を備えることを特徴とするコンピュータグラフィックス画像表示システム。
【請求項５】
前記制御手段は、前記始点フレームから前記終点フレームに至るまでのプレーヤオブジェクトの移動距離と、前記始点フレームから前記終点フレームまでの映像フレーム数とに基づいて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータを判断することを特徴とする請求項４に記載のコンピュータグラフィックス画像表示システム。
【請求項６】
前記制御手段は、個別動作の開始から終了までの動作変化を示す一連のフィギュアデータの連続体を、プレーヤの個別動作を表現するデータグループとして管理することを特徴とする請求項４又は５に記載のコンピュータグラフィックス画像表示システム。
【請求項７】
前記制御手段は、連続した動作の開始から終了までの動作変化を示す一連のデータグループの連続体を、プレーヤの連続した動作を表現するシーケンスとして管理することを特徴とする請求項６に記載のコンピュータグラフィックス画像表示システム。
【請求項８】
映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、
映像素材の場所を特徴付ける線分上に複数の座標設定ポイントを設定し、絶対座標の基準となるワイヤフレームを発生するステップと、
前記ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力するステップと、
前記少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出するステップと、
各映像フレームに対応して、前記変換パラメータを記録するステップと、
求められた変換パラメータを基に、前記複数の座標設定ポイントについての視覚座標と絶対座標との対応関係とを記録するステップとを備える
ことを特徴とするコンピュータグラフィックス画像表示方法。
【請求項９】
映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示方法において、
各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積するステップと、
前記データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定するステップと、
前記始点フレームから前記終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータを前記フィギュア記録テーブルから割り付けるステップと
を備えることを特徴とするコンピュータグラフィックス画像表示方法。
【請求項１】
映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、
映像素材の場所を特徴付ける線分上に複数の座標設定ポイントを設定し、絶対座標の基準となるワイヤフレームを発生するワイヤフレーム発生手段と、
前記ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力する入力手段と、
前記少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出する演算手段と、
各映像フレームに対応して、前記変換パラメータが記録される変換パラメータテーブルと、
求められた変換パラメータを基に、前記複数の座標設定ポイントについての視覚座標と絶対座標との対応関係が記述された座標設定ポイント記録テーブルとを備える
ことを特徴とするコンピュータグラフィックス画像表示システム。
【請求項２】
前記変換パラメータテーブル中の前記座標設定ポイントが入力されていない映像フレームについては、前後映像フレームで求められた変換パラメータを直線補間した変換パラメータが記述されることを特徴とする請求項１に記載のコンピュータグラフィックス画像表示システム。
【請求項３】
前記座標設定ポイントの視覚座標の入力は、前記ワイヤフレーム生成部からのワイヤフレームを実映像画面と重ねて表示させ、前記ワイヤフレーム上の座標設定ポイントを実映像画面の対応部分に重ねるようにして行うことを特徴とする請求項１又は２に記載のコンピュータグラフィックス画像表示システム。
【請求項４】
映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、
各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積したフィギュア記録テーブルと、
前記データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定する手段と、
前記始点フレームから前記終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータを前記フィギュア記録テーブルから割り付ける制御手段と
を備えることを特徴とするコンピュータグラフィックス画像表示システム。
【請求項５】
前記制御手段は、前記始点フレームから前記終点フレームに至るまでのプレーヤオブジェクトの移動距離と、前記始点フレームから前記終点フレームまでの映像フレーム数とに基づいて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータを判断することを特徴とする請求項４に記載のコンピュータグラフィックス画像表示システム。
【請求項６】
前記制御手段は、個別動作の開始から終了までの動作変化を示す一連のフィギュアデータの連続体を、プレーヤの個別動作を表現するデータグループとして管理することを特徴とする請求項４又は５に記載のコンピュータグラフィックス画像表示システム。
【請求項７】
前記制御手段は、連続した動作の開始から終了までの動作変化を示す一連のデータグループの連続体を、プレーヤの連続した動作を表現するシーケンスとして管理することを特徴とする請求項６に記載のコンピュータグラフィックス画像表示システム。
【請求項８】
映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示システムにおいて、
映像素材の場所を特徴付ける線分上に複数の座標設定ポイントを設定し、絶対座標の基準となるワイヤフレームを発生するステップと、
前記ワイヤフレーム上に設定された複数座標設定ポイントのうちの少なくとも４点について、画面上の対応する画像部分を指定して、座標設定ポイントの視覚座標を入力するステップと、
前記少なくとも４点の座標設定ポイントの入力された視覚座標と絶対座標との対応関係に基づいて、視覚座標と絶対座標との変換パラメータを算出するステップと、
各映像フレームに対応して、前記変換パラメータを記録するステップと、
求められた変換パラメータを基に、前記複数の座標設定ポイントについての視覚座標と絶対座標との対応関係とを記録するステップとを備える
ことを特徴とするコンピュータグラフィックス画像表示方法。
【請求項９】
映像素材中に映されるプレーヤの実画像に基づく三次元コンピュータグラフィックス画像を生成して表示するコンピュータグラフィックス画像表示方法において、
各競技種目のプレーヤに特有な有限個の動作を表現した三次元人体モデルのコンピュータグラフィックスデータを予め蓄積するステップと、
前記データレコードを設定する一連の映像フレームに対し、始点フレームと終点フレームとを指定するステップと、
前記始点フレームから前記終点フレームに至るまでのプレーヤオブジェクトの動きに応じて、最適な動作を表現する三次元人体モデルのコンピュータグラフィックスデータを前記フィギュア記録テーブルから割り付けるステップと
を備えることを特徴とするコンピュータグラフィックス画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−２４５０６０（Ｐ２００９−２４５０６０Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−８９４３８（Ｐ２００８−８９４３８）
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（５０８０９８３１６）
【出願人】（５０８０９７８８１）アンリミテッド ゲーエムベーハー (1)
【氏名又は名称原語表記】Ｕｎｌｉｍｉｔｅｄ ＧｍｂＨ
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（５０８０９８３１６）
【出願人】（５０８０９７８８１）アンリミテッド ゲーエムベーハー (1)
【氏名又は名称原語表記】Ｕｎｌｉｍｉｔｅｄ ＧｍｂＨ
【Ｆターム（参考）】
[ Back to top ]