オブジェクト軌道合成装置及びそのプログラム
【課題】本発明は、リアルタイム性が高く、精度が高い軌道画像を合成可能とするオブジェクト軌道合成装置を提供する。
【解決手段】オブジェクト軌道合成装置１は、映像を入力する入力手段１１と、オブジェクトを抽出するオブジェクト抽出手段１２と、重心位置の補正量を算出する予め設定された補正式によって重心位置を補正するオブジェクト重心位置補正手段１３と、記憶手段１４と、予め設定されたフレーム画像毎に、オブジェクトの軌道を算出してこの軌道を連結した軌道曲線上に重心位置を再度補正する軌道曲線算出手段１５と、重心位置を補間する軌道曲線補間手段１６と、軌道映像を生成する軌道画像生成手段１７と、映像を遅延させる映像遅延手段１８と、映像と軌道映像とを合成する映像合成手段１９とを備える。
【解決手段】オブジェクト軌道合成装置１は、映像を入力する入力手段１１と、オブジェクトを抽出するオブジェクト抽出手段１２と、重心位置の補正量を算出する予め設定された補正式によって重心位置を補正するオブジェクト重心位置補正手段１３と、記憶手段１４と、予め設定されたフレーム画像毎に、オブジェクトの軌道を算出してこの軌道を連結した軌道曲線上に重心位置を再度補正する軌道曲線算出手段１５と、重心位置を補間する軌道曲線補間手段１６と、軌道映像を生成する軌道画像生成手段１７と、映像を遅延させる映像遅延手段１８と、映像と軌道映像とを合成する映像合成手段１９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された映像に含まれるオブジェクトが描く軌道を映像に合成するオブジェクト軌道合成装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年では、スポーツ中継番組において、仮想ラインや企業ロゴをバーチャルＣＧ（コンピュータグラフィック）で表示するシーンが増えている。バーチャルＣＧは、映像上に、カメラの動きに連動して表示されるため、視聴者に違和感なく情報を伝えることができる。しかし、これらのバーチャルＣＧは、事前に設定した位置へ表示されるものが殆どであり、選手やボールのように、位置を変えるオブジェクトのバーチャルＣＧを表示する例は少ない。
【０００３】
選手やボールの位置を示すバーチャルＣＧを描画する場合、レーザーなどでオブジェクトの位置を計測する方法もあるが、処理速度の面で困難な場合がある。そこで、画像処理を用いてそれらの位置を計測して、映像上にバーチャルＣＧを描画する技術が一般的である。
【０００４】
投球されたボール等のオブジェクトの軌道を表示する発明が開示されている（例えば、特許文献１参照）。この映像オブジェクト軌跡合成装置は、画像認識技術を利用し、映像からオブジェクト領域をリアルタイムで抽出して追跡するものである。
【０００５】
また、簡単な操作で、的確に、オブジェクトを抽出する発明が開示されている（例えば、特許文献２参照）。この画像処理装置は、注目フレームから、３つの異なる処理によってオブジェクトを抽出し、それら何れかのうちの最適なオブジェクトをユーザが選択して抽出結果に反映させるものである。
【０００６】
また、ボーリングでのボールの動きに関する情報を表示する発明が開示されている（例えば、特許文献３参照）。このボーリング統計表示装置は、ユーザからのリクエストに従って、ボールの軌道を描画するものである。
【特許文献１】特開２００５−１２３８２４号公報
【特許文献２】特開２００２−９２６１３号公報
【特許文献３】特開平３−１７０１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ここで、画像処理を用いて、選手、ボール等のオブジェクトの位置を測定する場合、映像から対象となるオブジェクトを抽出する必要がある。しかし、映像から対象となるオブジェクトのみを正確に切り出すことは非常に困難である。例えば、固定撮影カメラの映像の場合、画像処理として背景差分を用いることが一般的であるが、背景にオブジェクトの影や他のオブジェクトが映り込み、これを正しく抽出できないことが多い。特に、位置情報に基づいて、オブジェクトの軌道を表示する場合、影、他のオブジェクト等の抽出ノイズの影響でオブジェクトの重心位置に誤差が生じ、滑らかで正確な軌道を描けなくなる場合がある。
【０００８】
図９の例では、図示しない看板に書かれた「○○選手権大会」という文字が、ボール（オブジェクトＯｂ）を投球するレーンに映り込んでいる。この場合、ボーリングの映像にボールの軌道を描画しようとした場合、激しく映り込みが生じるレーンでは、この映り込みの影響により、正しくボールを抽出できないことが多い。なお、図９に示すように、スパットＳｐと呼ばれる三角マークがレーンに描かれている。
【０００９】
ここで、ボール（オブジェクトＯｂ）に影Ｓａが恒常的に発生すれば、予め事前情報を設定し、影Ｓａを削除した上でボール本体の重心を求めることができる。しかし、図１０の例では、ボール（オブジェクトＯｂ）の位置により、影Ｓａが発生と消滅とを繰り返す場合、この事前情報から影Ｓａを削除することが困難であり、実際とは異なる軌道になってしまう。
【００１０】
特許文献１に記載の発明では、カルマンフィルタを用いて、オブジェクトＯｂの位置を補正するアルゴリズムを用いている。しかし、特許文献１に記載の発明では、ボール等の大きなオブジェクトＯｂの重心を算出する場合、誤差量が多くなり、カルマンフィルタのみの補正では滑らかな軌道を描画できない。
【００１１】
また、特許文献１に記載の発明では、オブジェクトＯｂの重心を補正するアルゴリズムを用いた場合でも、実際の位置からは誤差が生じるため、重心上を通る軌道を描いても、滑らかな曲線とはなりにくい。
【００１２】
さらに、特許文献１に記載の発明では、カメラの位置の影響で、オブジェクトＯｂの十分な軌道長が得られない場合がある。例えば、図１１に示すように、ボーリング競技では、選手はスパットＳｐを目印に投球する。番組の演出上、スパットＳｐを通過する形で軌道を描くことが望ましく、ボール（オブジェクトＯｂ）をリリースした位置からの軌道が理想的である。しかし、カメラ（不図示）の位置が低く、ボール（オブジェクトＯｂ）が選手の陰に隠れてしまう場合、特許文献１に記載の発明では、リリースした位置からのボール（オブジェクトＯｂ）の追跡が困難である。このため、図１２に示すように、ボール（オブジェクトＯｂ）が完全に現れる位置Ｌ１から抽出及び追跡を開始することになる。この場合、ボール（オブジェクトＯｂ）が現れる位置Ｌ１はスパットＳｐを越えた後であり、位置Ｌ１から軌道を描いても、選手がどのコースを狙って投球したのか分かりにくい。そこで、図１３に示すように、軌道を過去方向へ延長し、スパットＳｐを通過する前から軌道を描画することが望まれている。なお、図１３では、オブジェクトの軌道を破線で示した。
【００１３】
また、特許文献２，３に記載の発明では、オブジェクトの軌道を表示するために、ユーザからの入力を待つ必要があり、スポーツ中継番組等の高いリアルタイム性が要求される用途には向いていない。
【００１４】
そこで、本発明は、リアルタイム性が高く、精度が高い軌道画像を合成可能とするオブジェクト軌道合成装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記した課題を解決するため、請求項１に係るオブジェクト軌道合成装置は、入力された映像に含まれるオブジェクトが描く軌道を前記映像に合成するオブジェクト軌道合成装置であって、入力手段と、オブジェクト抽出手段と、オブジェクト重心位置補正手段と、軌道曲線算出手段と、軌道画像生成手段と、映像遅延手段と、映像合成手段とを備える構成とした。
【００１６】
かかる構成によれば、オブジェクト軌道合成装置は、入力手段によって、映像を入力する。また、オブジェクト軌道合成装置は、オブジェクト抽出手段によって、入力手段に入力された映像を構成するフレーム画像から特徴量を算出し、この特徴量に基づいて、映像に含まれるオブジェクトを抽出する。この特徴量として、例えば、前後するフレーム画像の差分画像、フレーム画像の各画素の色成分の平均値、又は、各画素の輝度の変化を用いることができる。また、オブジェクト軌道合成装置は、オブジェクト重心位置補正手段によって、オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出すると共に、重心位置の補正量を算出する予め設定された補正式によって、算出した重心位置を補正する。これによって、オブジェクト軌道合成装置は、オブジェクトの重心位置の精度を高くできる。
【００１７】
また、オブジェクト軌道合成装置は、軌道曲線算出手段によって、予め設定した１以上のフレーム画像毎に、オブジェクト重心位置補正手段が補正した重心位置に基づいて、オブジェクトの軌道を算出すると共に、軌道を連結した軌道曲線上に補正した重心位置が位置するように重心位置を再度補正する。これによって、オブジェクト軌道合成装置は、フレーム画像毎にオブジェクトの軌道変化を重心位置に反映させることができる。また、オブジェクト軌道合成装置は、軌道画像生成手段によって、軌道曲線算出手段が再度補正した重心位置を時系列で連続させたオブジェクトの軌道を示す軌道画像を生成する。そして、オブジェクト軌道合成装置は、映像遅延手段によって、入力手段に入力された映像を遅延させる。さらに、オブジェクト軌道合成装置は、映像合成手段によって、映像遅延手段が遅延させた映像と軌道画像生成手段が生成した軌道画像とを合成する。これによって、オブジェクト軌道合成装置は、ユーザからの入力を待つことなく、軌道画像を合成できる。
【００１８】
また、請求項２に係るオブジェクト軌道合成装置は、請求項１に係るオブジェクト軌道合成装置において、前記オブジェクト抽出手段は、前記オブジェクトを抽出できたか否かを判定し、前記オブジェクトを抽出できなかった場合、前後する前記フレーム画像における再度補正した前記重心位置の差から前記オブジェクトの動きベクトルを算出すると共に、当該動きベクトルに基づいて、前記オブジェクトを抽出できなかったフレーム画像における前記オブジェクトの予測位置を算出して前記重心位置を補間する重心位置補間手段、を備えることを特徴とする。
【００１９】
かかる構成によれば、オブジェクト軌道合成装置は、重心位置補間手段によって、オブジェクトを抽出できなかったフレーム画像におけるオブジェクトの予測位置を算出して重心位置を補間するため、重心位置をオブジェクトの実際の軌道に近づけられると共に、軌道曲線を滑らかにできる。
【００２０】
また、請求項３に係るオブジェクト軌道合成装置は、請求項２に係るオブジェクト軌道合成装置において、前記重心位置補間手段は、前記動きベクトルに基づいて、前記オブジェクトの軌道を延長した延長線上における前記オブジェクトの予測位置を算出して前記重心位置を補間することを特徴とする。
【００２１】
かかる構成によれば、オブジェクト軌道合成装置は、重心位置補間手段によって、オブジェクトの予測位置を算出して未来の重心位置を補間するので、例えば、ボールがピンに衝突した後でオブジェクトの軌道が乱れた場合でも、その影響を受けずに重心位置を算出できる。また、オブジェクト軌道合成装置は、重心位置補間手段によって、オブジェクトの予測位置を算出して過去の重心位置を補間するので、例えば、投球者にボールが隠れる投球前のフレーム画像においても、その影響を受けずに重心位置を算出できる。
【００２２】
また、請求項４に係るオブジェクト軌道合成装置は、請求項１から請求項３の何れか一項に係るオブジェクト軌道合成装置において、前記オブジェクト重心位置補正手段は、前記オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出するオブジェクト重心位置算出部と、前記オブジェクト抽出手段が抽出したオブジェクトのアスペクト比又は円形度を、当該オブジェクトの形状を示す値として算出するオブジェクト形状算出部と、前記オブジェクト形状算出部が算出したオブジェクトの形状を示す値と予め設定した前記オブジェクトの形状を示す値との差に、前記重心位置の補正の重み付けを示す係数を乗じて、前記重心位置の補正量を算出する重心位置補正量算出部と、前記重心位置補正量算出部が算出した重心位置の補正量に基づいて、前記オブジェクト重心位置算出部が算出したオブジェクトの重心位置を補正する重心位置補正部と、を備えることを特徴とする。かかる構成によれば、オブジェクト軌道合成装置は、オブジェクト重心位置補正手段によって、補正後の重心位置の精度を高くできる。
【００２３】
また、前記した課題を解決するため、請求項５に係るオブジェクト軌道合成プログラムは、入力された映像に含まれるオブジェクトが描く軌道を映像に合成するために、映像を入力する入力手段を備えるコンピュータを、オブジェクト抽出手段、オブジェクト重心位置補正手段、軌道曲線算出手段、軌道画像生成手段、映像遅延手段、映像合成手段、として機能させる構成とした。
【００２４】
かかる構成によれば、オブジェクト軌道合成プログラムは、オブジェクト抽出手段によって、入力手段に入力された映像を構成するフレーム画像から特徴量を算出し、特徴量に基づいて、映像に含まれるオブジェクトを抽出する。この特徴量として、例えば、前後するフレーム画像の差分画像、フレーム画像の各画素の色成分の平均値、又は、各画素の輝度の変化を用いることができる。また、オブジェクト軌道合成プログラムは、オブジェクト重心位置補正手段によって、オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出すると共に、重心位置の補正量を算出する予め設定された補正式によって、算出した重心位置を補正する。これによって、オブジェクト軌道合成プログラムは、オブジェクトの重心位置の精度を高くできる。
【００２５】
また、オブジェクト軌道合成プログラムは、軌道曲線算出手段によって、予め設定した１以上のフレーム画像毎に、オブジェクト重心位置補正手段が補正した重心位置に基づいて、オブジェクトの軌道を算出すると共に、軌道を連結した軌道曲線上に補正した重心位置が位置するように重心位置を再度補正する。これによって、オブジェクト軌道合成プログラムは、フレーム画像毎にオブジェクトの軌道変化を重心位置に反映させることができる。また、オブジェクト軌道合成プログラムは、軌道画像生成手段によって、軌道曲線算出手段が再度補正した重心位置を時系列で連続させたオブジェクトの軌道を示す軌道画像を生成する。そして、オブジェクト軌道合成プログラムは、映像遅延手段によって、入力手段に入力された映像を遅延させる。さらに、オブジェクト軌道合成プログラムは、映像合成手段によって、映像遅延手段が遅延させた映像と軌道画像生成手段が生成した軌道画像とを合成する。これによって、オブジェクト軌道合成プログラムは、ユーザからの入力を待つことなく、軌道画像を合成できる。
【発明の効果】
【００２６】
本発明によれば、以下のような優れた効果を奏する。
請求項１，５に係る発明によれば、オブジェクトの重心位置の精度を高くできると共に、オブジェクトの軌道変化を重心位置に反映させることができ、さらに、ユーザからの入力を待つことなく軌道画像を合成できるため、リアルタイム性が高く、精度が高い軌道画像を合成できる。
【００２７】
請求項２に係る発明によれば、重心位置をオブジェクトの実際の軌道に近づけられると共に、軌道曲線を滑らかにできるため、より精度が高い軌道画像を合成できる。
【００２８】
請求項３に係る発明によれば、未来及び過去の重心位置を補間できるため、オブジェクトの動きやカメラ位置の影響を受けずに軌道画像を合成できる。
【００２９】
請求項４に係る発明によれば、補正後の重心位置の精度を高くできるため、より精度が高い軌道画像を合成できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
【００３１】
［オブジェクト軌道合成装置の構成］
図１を参照して、本発明の本実施形態に係るオブジェクト軌道合成装置の構成について説明する。図１は、本発明の本実施形態に係るオブジェクト軌道合成装置の構成を示すブロック図である。図１に示すように、オブジェクト軌道合成装置１は、入力された映像に含まれるオブジェクトが描く軌道を映像に合成するものであって、入力手段１１と、オブジェクト抽出手段１２と、オブジェクト重心位置補正手段１３と、記憶手段１４と、軌道曲線算出手段１５と、軌道曲線補間手段（重心位置補間手段）１６と、軌道画像生成手段１７と、映像遅延手段１８と、映像合成手段１９とを備える。なお、軌道曲線補間手段１６が、請求項に記載の重心位置補間手段に相当する。
【００３２】
入力手段１１は、図示しない撮影カメラが撮影した映像、又は、録画機器が録画した映像を入力するインタフェースである。また、入力手段１１は、入力した映像をオブジェクト抽出手段１２と映像遅延手段１８とに出力する。
【００３３】
この映像は、何らかの軌道を描くオブジェクトを含むものであり、例えば、ボーリングの映像である。この場合、オブジェクトは、ボーリングのボールとなる。なお、本実施形態では、ボーリングの映像を例に説明するが、これに限定されないことは言うまでもない。
【００３４】
オブジェクト抽出手段１２は、入力手段１１からの映像を構成するフレーム画像から特徴量を算出し、特徴量に基づいて、映像に含まれるオブジェクトを抽出するものである。ここで、オブジェクト抽出手段１２は、例えば、異なる時間のフレーム画像（例えば、現在のフレーム画像及びその前に入力されたフレーム画像）間の輝度の差を画素値とした差分画像を生成する。そして、オブジェクト抽出手段１２は、例えば、この差分画像において、輝度の差が予め設定した閾値以上となっている領域をオブジェクトとして抽出する。
【００３５】
また、オブジェクト抽出手段１２は、フレーム画像の隣接する画素の輝度の変化を検出し、輪郭（エッジ）領域をオブジェクトとして抽出しても良い。さらに、オブジェクト抽出手段１２は、フレーム画像の各画素値を構成する色のＲＧＢ成分の平均値を算出して、フレーム画像をモノクロ（グレースケール）化した輝度画像を生成しても良い。そして、オブジェクト抽出手段１２は、この輝度画像において、この輝度が、予め設定した背景の輝度値以上となっている領域をオブジェクトとして抽出しても良い。なお、前記した閾値は、予め後記する記憶手段１４にパラメータ情報として記憶し、オブジェクト抽出手段１２は、これを参照しても良い。
【００３６】
ここで、オブジェクト抽出手段１２は、例えば、フレーム画像毎に、そのフレーム画像を一意に識別するフレーム画像識別子（例えば、フレーム画像に対応するタイムコード）と、抽出したオブジェクトの画像と、そのオブジェクトの領域を示す領域情報（例えば、オブジェクトの領域の左上の座標及びオブジェクトの縦横の大きさ）と、をオブジェクト重心位置補正手段１３に出力する。
【００３７】
なお、オブジェクト抽出手段１２は、オブジェクトを抽出できたか否かを判定し、フレーム画像からオブジェクトを抽出できなかった場合、オブジェクト抽出手段１２は、領域情報に不適切な値（例えば、オブジェクトの縦横の大きさを負の値）に設定してオブジェクト重心位置補正手段１３に出力する。
【００３８】
オブジェクト重心位置補正手段１３は、各フレーム画像で、オブジェクト抽出手段１２が抽出したオブジェクトの重心位置を算出すると共に、重心位置の補正量を算出する予め設定された補正式によって、オブジェクト重心位置補正手段１３が算出した重心位置を補正するものである。以下、図２を参照して、オブジェクト重心位置補正手段１３の構成について詳細に説明する（適宜図１参照）。図２は、図１のオブジェクト重心位置補正手段の構成を示すブロック図である。
【００３９】
図２に示すように、オブジェクト重心位置補正手段１３は、オブジェクト重心位置算出部１３ａと、オブジェクト形状算出部１３ｂと、重心位置補正量算出部１３ｃと、重心位置補正部１３ｄとを備える。
【００４０】
オブジェクト重心位置算出部１３ａは、各フレーム画像で、オブジェクト抽出手段１２が抽出したオブジェクトに基づいて、オブジェクトの重心位置を算出するものである。ここで、オブジェクト重心位置算出部１３ａは、例えば、オブジェクト抽出手段１２からのオブジェクトの画像と領域情報とを参照し、オブジェクトにおける縦横の中間位置を重心位置とする又はオブジェクトの面積より重心位置を求めるといった公知の手法により、オブジェクトの重心位置を算出する。また、オブジェクト重心位置算出部１３ａは、あるフレーム画像におけるオブジェクトの重心位置を算出した後、カルマンフィルタを用いて、その次のフレーム画像におけるオブジェクトの重心位置を推定して算出しても良い。そして、オブジェクト重心位置算出部１３ａは、算出したオブジェクトの重心位置を重心位置補正部１３ｄに出力する。なお、オブジェクト抽出手段１２からの領域情報に不適切な値が設定されていた場合、オブジェクトの重心位置を算出する処理を行わずに、重心位置を不適切な値（例えば、重心位置を負の値）に設定して重心位置補正部１３ｄに出力する。
【００４１】
オブジェクト形状算出部１３ｂは、オブジェクト抽出手段１２が抽出したオブジェクトの形状を算出するものである。そして、オブジェクト形状算出部１３ｂは、オブジェクトの形状の算出結果を、重心位置補正量算出部１３ｃに出力する。
【００４２】
ここで、オブジェクト形状算出部１３ｂは、オブジェクトの形状を示す値として、例えば、オブジェクトの画像から求まるオブジェクトのアスペクト比（オブジェクトの縦方向及び横方向の長さの比）Ａと、予め設定されたオブジェクトのアスペクト比Ｄとの差を算出する。この場合、アスペクト比Ａとアスペクト比Ｄとの差が、抽出したオブジェクトの画像に含まれる抽出ノイズの割合に相当する。このアスペクト比Ｄは、例えば、オブジェクトがボール等の球体であれば「１．０」であり、オブジェクトの形状に応じた値をパラメータ情報として、記憶手段１４に予め記憶しておく。なお、抽出ノイズとは、オブジェクトの画像に含まれるオブジェクト以外のもの、例えば、オブジェクトの画像に含まれるオブジェクトの影、又は、背景、人物、物体等の他のオブジェクトの映り込みである。
【００４３】
このとき、オブジェクト形状算出部１３ｂは、オブジェクトの画像から、アスペクト比Ａを下記式（１）により、算出できる。ただし、式（１）では、Ｈはオブジェクトの縦方向の長さ（高さ）、Ｗはオブジェクトの横方向の長さ（幅）である。
Ａ＝Ｈ／Ｗ・・・式（１）
【００４４】
また、オブジェクト形状算出部１３ｂは、下記式（２）で表される円形度ｅを用いて、そのオブジェクトの形状を示す値として、算出しても良い。この円形度ｅは、オブジェクトが真円の場合、「１．０」となる。ただし、式（２）では、Ｓはオブジェクトの面積、ｌはオブジェクトの周囲長である。
ｅ＝４πＳ／ｌ２・・・式（２）
【００４５】
重心位置補正量算出部１３ｃは、オブジェクト形状算出部１３ｂが算出したオブジェクトの形状を示す値と予め設定したオブジェクトの形状を示す値との差に、重心位置の補正の重み付けを示す係数を乗じて、重心位置の補正量を算出するものである。そして、重心位置補正量算出部１３ｃは、重心位置の補正量の算出結果を、重心位置補正部１３ｄに出力する。
【００４６】
ここで、例えば、オブジェクト形状算出部１３ｂからアスペクト比Ａとアスペクト比Ｄとの差が入力された場合について説明する。この場合、重心位置補正量算出部１３ｃは、アスペクト比Ａとアスペクト比Ｄとの差に、横方向の補正の重み付けを示す係数αを乗じて、重心位置の横方向の補正量を算出する。また、重心位置補正量算出部１３ｃは、アスペクト比Ａとアスペクト比Ｄとの差に、縦方向の補正の重み付けを示す係数βを乗じて、重心位置の縦方向の補正量を算出する。
【００４７】
この係数α及び係数βは、オブジェクトの画像に含まれる抽出ノイズの方向及びカメラがオブジェクトを撮影する方向に応じて、記憶手段１４に予め記憶しておく。例えば、縦方向のみに抽出ノイズが発生し、かつ、オブジェクトの縦方向から撮影する場合、縦方向に重心位置を補正すれば良く、横方向に重心位置を補正する必要がないため、係数αが「０．０」となり、係数βが「１．０」となる。また、例えば、縦方向及び横方向に略同量の抽出ノイズが発生し、かつ、オブジェクトの斜め方向から撮影する場合、縦方向及び横方向に重心位置を補正する必要があるため、係数αが「０．５」となり、係数βが「０．５」となる。さらに、例えば、横方向のみに抽出ノイズが発生し、かつ、オブジェクトの横方向から撮影する場合、横方向に重心位置を補正すれば良く、縦方向に重心位置を補正する必要がないため、係数αが「１．０」となり、係数βが「０．０」となる。
【００４８】
重心位置補正部１３ｄは、重心位置補正量算出部１３ｃが算出した重心位置の補正量に基づいて、オブジェクト重心位置算出部１３ａが算出したオブジェクトの重心位置を補正するものである。
【００４９】
ここで、補正後の重心位置ｐｔ’は、下記式（３）で表すことができる。だたし、式（３）では、ｐｘは横方向の重心位置、αは横方向の補正の重み付けを示す係数、Ａはオブジェクトの画像から求めたアスペクト比、Ｄは予め設定したアスペクト比、ｐｙは縦方向の重心位置、βは縦方向の補正の重み付けを示す係数である。
ｐｔ’＝（ｐｘ−α（Ａ−Ｄ），ｐｙ−β（Ａ−Ｄ））・・・式（３）
【００５０】
この式（３）では、オブジェクト重心位置算出部１３ａが算出したオブジェクトの横方向の重心位置がｐｘに相当し、オブジェクト重心位置算出部１３ａが算出したオブジェクトの縦方向の重心位置がｐｙに相当する。さらに、式（３）では、重心位置補正量算出部１３ｃが算出した重心位置の横方向の補正量がα（Ａ−Ｄ）に相当し、重心位置補正量算出部１３ｃが算出した重心位置の縦方向の補正量がβ（Ａ−Ｄ）に相当する。つまり、重心位置補正部１３ｄは、補正式としての式（３）を用いて、重心位置を補正できる。なお、前記した円形度ｅを用いる場合、これをアスペクト比Ａの代わりにすることで、重心位置補正部１３ｄは、重心位置を補正することができる。
【００５１】
以下、図３を参照して、図２の重心位置補正部による重心位置の補正の具体例を説明する（適宜図１参照）。図３は、図２の重心位置補正部による重心位置の補正の具体例を示す図である。例えば、図３では、アスペクト比Ｄが「１．０」、係数αが「０．０」及び係数βが「１．０」として設定されている。なお、図３では、補正前の重心位置を白丸で示し、補正後の重心位置を黒丸で示した。
【００５２】
図３左側の例では、オブジェクトＯｂの縦方向にオブジェクトＯｂと略同じ大きさの影Ｓａが含まれているため、オブジェクト重心位置算出部１３ａは、実際のオブジェクトの重心位置ではなく、オブジェクトＯｂと影Ｓａとの中間付近を重心位置として算出してしまう。ここで、重心位置補正部１３ｄが、前記した処理によって、実際のオブジェクトＯｂの重心位置と殆ど同じ位置に補正する。
【００５３】
また、図３中央の例では、オブジェクトＯｂの縦方向にオブジェクトと略半分の大きさの影Ｓａが含まれているため、オブジェクト重心位置算出部１３ａは、実際のオブジェクトＯｂの重心位置ではなく、オブジェクトＯｂの下部を重心位置として算出してしまう。ここで、重心位置補正部１３ｄが、前記した処理によって、実際のオブジェクトＯｂの重心位置と殆ど同じ位置に補正する。
【００５４】
また、図３右側の例では、影Ｓａが殆ど含まれていないため、オブジェクト重心位置算出部１３ａは、実際のオブジェクトＯｂの重心位置に近い位置を、重心位置として算出する。ここで、重心位置補正部１３ｄが、前記したように補正するが、影Ｓａが殆ど含まれていないため、補正前後で重心位置は殆ど変化しない。
【００５５】
以下、図４を参照して、図２の重心位置補正部による重心位置の有無による軌道の違いを説明する（適宜図１参照）。図４は、図２の重心位置補正部による重心位置の有無による軌道の違いを説明する図である。図４（ａ）では、オブジェクトＯｂの画像に影Ｓａが含まれているが、重心位置補正部１３ｄが重心位置の補正を行っていないため、算出した重心位置が実際のオブジェクトＯｂの重心位置からずれてしまう。このため、図４（ａ）に示すように、その重心位置を結んだオブジェクトＯｂの軌道は、歪んでしまう。
【００５６】
一方、図４（ｂ）では、オブジェクト軌道合成装置１が、図３で説明したようにオブジェクトＯｂの重心位置を補正するため、オブジェクトの画像に影Ｓａが含まれている場合でも、算出した重心位置を実際のオブジェクトＯｂの重心位置と殆ど同じ位置に補正する。このため、図４（ｂ）に示すように、その重心位置を結んだオブジェクトＯｂの軌道は、実際のオブジェクトの軌道に非常に近くなると共に、その軌道が非常に滑らかになる。
【００５７】
以下、図２に戻り説明を続ける。また、重心位置補正部１３ｄは、フレーム画像毎に、フレーム画像識別子と補正後の重心位置ｐｔ’とを対応づけた軌道情報を記憶手段１４に記憶させる。なお、重心位置補正部１３ｄは、オブジェクトが抽出できずに重心位置に不適切な値が設定されている場合、重心位置の補正を行わずに、フレーム画像識別子と不適切な値の重心位置とを対応づけた軌道情報を記憶手段１４に記憶させる。
【００５８】
記憶手段１４は、軌道情報、及び、前記したアスペクト比Ｄ、係数α、係数β等のパラメータ情報を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置である。
【００５９】
ここで、オブジェクト軌道合成装置１は、軌道を滑らかにするため、補正後の重心位置ｐｔ’で直に軌道画像の合成を行わずに、軌道曲線算出手段１５によって、軌道曲線を算出して重心位置を再度補正する。言い換えると、オブジェクト軌道合成装置１は、後記する軌道曲線を算出するために、記憶手段１４にオブジェクトの軌道をバッファリングしている。
【００６０】
以下、図５を参照して、図１の軌道曲線算出手段１５による軌道曲線の算出を詳細に説明する（適宜図１参照）。図５は、図１の軌道曲線算出手段による軌道曲線の算出を説明する図である。また、図５（ａ）は、１番目（ｎ＝１）から３１番目（ｎ＝３１）までのフレーム画像に対応する軌道を実線で示し、図５（ｂ）は、６番目（ｎ＝６）から３６番目（ｎ＝３６）までのフレーム画像に対応する軌道を破線で示し、図５（ｃ）は、１１番目（ｎ＝１１）から３６番目（ｎ＝４１）までのフレーム画像に対応する軌道を一点鎖線で示した。また、図５（ａ）〜（ｃ）では、５フレーム画像毎に、オブジェクトＯｂを示した。さらに、図５（ｄ）は、図５（ａ）〜（ｃ）の軌道を連結した軌道曲線を示した。
【００６１】
軌道曲線算出手段１５は、記憶手段１４が記憶する軌道情報を参照し、予め設定した１以上のフレーム画像毎（例えば、３０のフレーム画像）に、オブジェクト重心位置補正手段１３が補正した重心位置に基づいて、オブジェクトＯｂの軌道を算出するものである。ここで、軌道曲線算出手段１５は、１番目から３１番目までのフレーム画像に対応する軌道情報から、図５（ａ）に示すような軌道を算出できる。このとき、軌道曲線算出手段１５は、例えば、最小二乗法を用いて、軌道を算出する。ここで、フレーム画像の左下を原点として、係数ａ，係数ｂ，係数ｃを求める２次曲線の係数とすると、２次曲線は下記式（４）で表わされる。
ｙ＝ａｘ２＋ｂｘ＋ｃ・・・式（４）
【００６２】
軌道と重心位置との残差二乗和Ｓは、下記式（５）で表わされる。ここで、式（５）では、ｘｉは、対象のフレーム画像におけるオブジェクトの重心位置である。また、式（５）において、ｉの総数は、例えば、３０となる。つまり、軌道曲線算出手段１５は、残差二乗和Ｓを係数ａ，係数ｂ，係数ｃについて偏微分し、０とおくことで２次曲線の係数が得られ、図５（ａ）のような軌道を算出できる。
【００６３】
【数１】
【００６４】
なお、図５の例では、曲線の次数を２としが、オブジェクトが描く軌道により、曲線の次数は、これに限定されず、任意に設定しても良い。例えば、オブジェクトが直線的な軌道を描くのであれば、曲線の次数を１に設定する。
【００６５】
次に、軌道曲線算出手段１５は、図５（ａ）と同様に、６番目から３６番目までのフレーム画像に対応する軌道情報から、図５（ｂ）に示すような軌道を算出する。さらに、軌道曲線算出手段１５は、図５（ａ）と同様に、１１番目から４１番目までのフレーム画像に対応する軌道情報から、図５（ｃ）に示すような軌道を算出する。
【００６６】
ここで、図５（ａ）〜（ｃ）に示すように、実際には、オブジェクトＯｂは、時刻が経過するにつれて、その曲がり方が強くなる軌道を描いている。このため、特定のフレーム画像間で軌道を算出するだけでは、その軌道は、オブジェクトＯｂの実際の軌道から大きくずれてしまう。そこで、軌道曲線算出手段１５は、フレーム画像毎に算出した軌道を連結して軌道曲線を算出する。例えば、軌道曲線算出手段１５は、１番目から３１番目までのフレーム画像に対応する軌道（図５（ａ）の実線）に、３１番目から３６番目までのフレーム画像に対応する軌道（図５（ｂ）の破線の一部）と、３６番目から４１番目までのフレーム画像に対応する軌道（図５（ｃ）の一点差線の一部）とを継ぎ足して、図５（ｄ）に示すような軌道曲線を算出する。
【００６７】
なお、図５では、４１番目までのフレーム画像を例に説明したが、オブジェクトＯｂを抽出した全てのフレーム画像について、軌道曲線を算出しても良いことは言うまでもない。また、図５では、５フレーム画像毎に、軌道を継ぎ足して軌道曲線を算出する例で説明したが、１以上の任意のフレーム画像毎に、軌道を継ぎ足して軌道曲線を算出しても良い。さらに、図５では、軌道曲線算出手段１５は、フレーム画像の数を３０として説明したが、これに限定されないことは言うまでもない。ここで、軌道曲線算出手段１５は、このフレーム画像の数を小さい値にするほど、算出した軌道曲線に歪みが発生しやすくなる。一方で、軌道曲線算出手段１５は、このフレーム画像の数を大きい値にするほど、算出した軌道曲線が直線的になって、実際のオブジェクトＯｂの軌道からずれ易くなる。このため、フレーム画像の数は、実際にオブジェクトＯｂが描く軌道の曲がり方に応じて、試写を行って適切な値に設定することが好ましい。
【００６８】
以下、図１に戻り、説明を続ける。また、軌道曲線算出手段１５は、補正後の重心位置ｐｔ’を、前記した手順で算出した軌道曲線上の位置に再度補正する。ここで、軌道曲線算出手段１５は、例えば、補正後の重心位置ｐｔ’を横方向（水平方向）に移動させて、補正後の重心位置ｐｔ’が軌道曲線上に位置するように再度補正する。また、軌道曲線算出手段１５は、補正後の重心位置ｐｔ’の移動量が最小になるように、言い換えると、軌道曲線上の最も近い座標まで移動させて、補正後の重心位置ｐｔ’が軌道曲線上に位置するように再度補正しても良い。以下の説明において、軌道曲線算出手段１５が再度補正した重心位置は、再補正後の重心位置ｐｔ’’と略記することがある。そして、軌道曲線算出手段１５は、再補正後の重心位置ｐｔ’’と、これに対応するフレーム画像識別子とを軌道曲線補間手段１６に出力する。なお、軌道曲線算出手段１５は、オブジェクトが抽出できずに重心位置に不適切な値が設定されている場合、その重心位置を再度補正しなくとも良い。
【００６９】
軌道曲線補間手段１６は、オブジェクト抽出手段１２がオブジェクトを抽出できなかった場合、前後するフレーム画像における再補正後の重心位置ｐｔ’ ’の差からオブジェクトの動きベクトルを算出すると共に、この動きベクトルに基づいて、オブジェクトを抽出できなかったフレーム画像におけるオブジェクトの予測位置を算出して重心位置を補間するものである。ここで、軌道曲線補間手段１６は、重心位置に不適切な値が設定されている場合、図６に示すように補間を行う（適宜図１参照）。図６は、図１の軌道曲線補間手段による補間を説明する図である。なお、図６では、オブジェクトの重心位置を算出した箇所を実線で示し、補間した箇所を破線で示し、符号ｇで動きベクトルを示した。
【００７０】
図６（ａ）に示すように、例えば、６番目から１１番目までのフレーム画像でオブジェクトＯｂが抽出できなかった場合、軌道曲線補間手段１６は、１番目のフレーム画像に対応する再補正後の重心位置ｐｔ’’と、その次の２番目のフレーム画像に対応する再補正後の重心位置ｐｔ’’との差から、オブジェクトＯｂの動きベクトルｇを算出できる。このため、軌道曲線補間手段１６は、この動きベクトルｇに基づいて、オブジェクトＯｂを抽出できなかったフレーム画像におけるオブジェクトＯｂの予測位置を算出し、重心位置を補間できる。さらに、軌道曲線補間手段１６は、任意の複数のフレーム画像（例えば、１番目から５番目までのフレーム画像）に対応する再補正後の重心位置ｐｔ’’の差から、より安定した動きベクトルｇを算出することもできる。
【００７１】
また、図６（ｂ）に示すように、例えば、６番目のフレーム画像より前のフレーム画像でオブジェクトＯｂが抽出できなかった場合、軌道曲線補間手段１６は、１１番目から６番目までのフレーム画像に対応する再補正後の重心位置ｐｔ’’の差から動きベクトルｇを算出する。そして、軌道曲線補間手段１６は、この動きベクトルｇに基づいて、オブジェクトＯｂの軌道を延長した延長線上、つまり、５番目以前のフレーム画像に対応するオブジェクトＯｂの予測位置を算出し、過去の重心位置を補間する。
【００７２】
また、図６（ｃ）に示すように、例えば、３１番目のフレーム画像より後のフレーム画像でオブジェクトＯｂが抽出できなかった場合、軌道曲線補間手段１６は、２６番目から３１番目までのフレーム画像に対応する再補正後の重心位置ｐｔ’’の差から動きベクトルｇを算出する。そして、軌道曲線補間手段１６は、この動きベクトルｇに基づいて、オブジェクトＯｂの軌道を延長した延長線上、つまり、３１番目以後のフレーム画像に対応するオブジェクトの予測位置を算出し、未来の重心位置を補間する。そして、軌道曲線補間手段１６は、軌道曲線算出手段１５から入力された再補正後の重心位置ｐｔ’’と、これらに対応するフレーム画像識別子と、補間した軌道曲線とを軌道曲線補間手段１６に出力する。
【００７３】
以下、図１に戻り、説明を続ける。軌道画像生成手段１７は、軌道曲線算出手段１５が再度補正した重心位置を時系列で連続させたオブジェクトの軌道を示す軌道画像を生成するものである。例えば、軌道画像生成手段１７は、フレーム画像識別子としてのタイムコードの順に、そのフレーム画像に対応する重心位置を時系列で連続させてオブジェクトの軌道を示す軌道画像をＣＧで描画して生成する。なお、軌道画像生成手段１７は、軌道曲線を補間した部分について、この補間した部分をオブジェクトの重心位置とみなして、軌道画像を生成しても良い。
【００７４】
ここで、前記したように、オブジェクト軌道合成装置１が、フレーム画像毎で軌道曲線を算出するためにバッファリングを行っており、軌道映像を合成する時刻と、映像が入力された時刻との間にずれが生じる。このずれを解消するため、映像遅延手段１８は、入力手段に入力された映像を遅延させて映像合成手段１９に出力する。例えば、映像遅延手段１８は、入力された映像を構成するフレーム画像のタイムコードと、軌道画像に対応するフレーム画像のタイムコードとを同期させる同期信号を、軌道画像と共に映像合成手段１９に出力する。これによって、オブジェクト軌道合成装置１は、軌道画像と映像とを合成する際、同期をとることができる。
【００７５】
映像合成手段１９は、映像遅延手段１８が遅延させた映像と、軌道画像生成手段１７が生成した軌道画像とを合成（ＣＧ合成）するものである。ここで、例えば、映像合成手段１９は、映像遅延手段１８からの同期信号に従って、映像と軌道画像とを合成する。
【００７６】
図７は、図１のオブジェクト軌道合成装置が出力する合成映像の例を示す図である。図７に示すように、オブジェクト軌道合成装置１は、オブジェクトの画像に影や映り込み等の抽出ノイズが不定期に発生し、オブジェクトを正確に抽出することが困難な場合でも、重心位置を精度よく算出し、滑らかな軌道を合成することができる。なお、図７では、ピンに当たった後のボール（オブジェクト）は映像に含まれておらず、映像に合成されて軌道を破線で示した。
【００７７】
オブジェクト軌道合成装置１は、過去方向及び未来方向にオブジェクトの軌道の延長が可能であり、より情報量の多い軌道を描画することができる。例えば、図７に示すように、オブジェクト軌道合成装置１は、スパットＳｐを通過する前のボール（オブジェクト）の軌道を表示でき、ボーリング選手がどのピンを狙ったかが視聴者に伝わりやすくなる。
【００７８】
さらに、ボールがピンに当たった後、オブジェクトの誤抽出によりオブジェクトの軌道が乱れる場合もある。例えば、図７に示すように、オブジェクト軌道合成装置１は、ボールがピンに当たる直前でオブジェクトの軌道の抽出を終了し、ピンに当たった後のボールの軌道を未来方向に延長することで、乱れが少ない軌道を合成できる。
【００７９】
［オブジェクト軌道合成装置の動作］
以下、図８を参照して、図１のオブジェクト軌道合成装置の動作について説明する（適宜図１参照）。図８は、図１のオブジェクト軌道合成装置の動作を示すフローチャートである。
【００８０】
まず、オブジェクト軌道合成装置１は、入力手段１１によって、映像を入力すると共に、この映像をオブジェクト抽出手段１２と映像遅延手段１８とに出力する（ステップＳ１）。そして、オブジェクト軌道合成装置１は、オブジェクト抽出手段１２によって、入力手段１１に入力された映像を構成するフレーム画像から特徴量を算出し、この特徴量に基づいて、映像に含まれるオブジェクトを抽出する（ステップＳ２）。
【００８１】
ステップＳ２の処理に続いて、オブジェクト軌道合成装置１は、オブジェクト重心位置補正手段１３によって、オブジェクト抽出手段１２が抽出したオブジェクトの重心位置を算出すると共に、重心位置の補正量を算出する予め設定された補正式によって、算出した重心位置を補正する（ステップＳ３）。
【００８２】
ステップＳ３の処理に続いて、オブジェクト軌道合成装置１は、軌道曲線算出手段１５によって、記憶手段１４が記憶する軌道情報を参照し、フレーム画像毎に、オブジェクト重心位置補正手段１３が補正した重心位置に基づいて、オブジェクトの軌道を算出する（ステップＳ４）。
【００８３】
ステップＳ４の処理に続いて、オブジェクト軌道合成装置１は、軌道曲線算出手段１５によって、補正後の重心位置ｐｔ’がステップＳ３の処理で算出した軌道を連結した軌道曲線上に位置するように、補正後の重心位置ｐｔ’を再度補正する（ステップＳ５）。なお、その必要がある場合、ステップＳ４の処理において、オブジェクト軌道合成装置１は、軌道曲線補間手段１６によって、重心位置を補間しても良い。
【００８４】
ステップＳ５の処理に続いて、オブジェクト軌道合成装置１は、軌道画像生成手段１７によって、軌道曲線算出手段１５が再度補正した重心位置を時系列で連続させたオブジェクトの軌道を示す軌道画像を生成する（ステップＳ６）。また、オブジェクト軌道合成装置１は、映像遅延手段１８によって、入力手段１１に入力された映像を遅延させる（ステップＳ７）。さらに、オブジェクト軌道合成装置１は、映像合成手段１９によって、映像遅延手段１８が遅延させた映像と軌道画像生成手段１７が生成した軌道画像とを合成する（ステップＳ８）。
【００８５】
以上のように、本発明の本実施形態に係るオブジェクト軌道合成装置は、オブジェクトが含まれる映像、例えば、ボーリング、ゴルフ等のスポーツ中継の映像、ボーリング場やパットゴルフ場等の娯楽施設におけるリプレイ映像で、リアルタイム性が高く、精度が高い軌道画像を合成できる。
【００８６】
なお、本発明に係るオブジェクト軌道合成装置は、オブジェクトをボールにすることに限られず、オブジェクトを人物（頭部、顔面）とすることもできる。例えば、サッカー映像中の選手の位置の軌道を合成する際、影等の抽出ノイズの影響を抑え、より正確な選手の位置を算出し、人物が移動した軌跡（軌道）を表示することもできる。
【００８７】
なお、本発明に係るオブジェクト軌道合成装置が対象とする映像としては、何らかの軌道を描くオブジェクトを含む映像であり、例えば、前記したボーリングの他に、ゴルフやサッカー等の球技の映像、又は、スケートや自転車等の競技の映像がある。そして、球技の映像の場合、オブジェクトは、例えば、その球技に用いられるボールとなる。また、スケートや自転車等の競技の場合、オブジェクトは、例えば、スケートや自転車の競技者となる。
【００８８】
なお、本実施形態では、本発明に係るオブジェクト軌道合成装置を独立した装置として説明したが、本発明では、一般的なコンピュータの演算装置及び記憶装置を、前記したオブジェクト軌道合成装置の各手段として協調動作させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【図面の簡単な説明】
【００８９】
【図１】本発明の本実施形態に係るオブジェクト軌道合成装置の構成を示すブロック図である。
【図２】図１のオブジェクト重心位置補正手段の構成を示すブロック図である。
【図３】図２の重心位置補正部による重心位置の補正の具体例を示す図である。
【図４】図２の重心位置補正部による重心位置の有無による軌道の違いを説明する図である。
【図５】図１の軌道曲線算出手段による軌道曲線の算出を説明する図である。
【図６】図１の軌道曲線補間手段による補間を説明する図である。
【図７】図１のオブジェクト軌道合成装置が出力する合成映像の例を示す図である。
【図８】図１のオブジェクト軌道合成装置の動作を示すフローチャートである。
【図９】従来技術において、影の発生を説明する示す図である。
【図１０】従来技術において、影の発生を説明する示す図である。
【図１１】従来技術において、オブジェクトの抽出を説明する第１の図である。
【図１２】従来技術において、オブジェクトの抽出を説明する第２の図である。
【図１３】従来技術において、オブジェクトの抽出を説明する第３の図である。
【符号の説明】
【００９０】
１ オブジェクト軌道合成装置
１１ 入力手段
１２ オブジェクト抽出手段
１３ オブジェクト重心位置補正手段
１３ａ オブジェクト重心位置算出部
１３ｂ オブジェクト形状算出部
１３ｃ 重心位置補正量算出部
１３ｄ 重心位置補正部
１４ 記憶手段
１５ 軌道曲線算出手段
１６ 軌道曲線補間手段（重心位置補間手段）
１７ 軌道画像生成手段
１８ 映像遅延手段
１９ 映像合成手段
ｇ 動きベクトル
Ｌ１ 位置
Ｏｂ オブジェクト
Ｓａ 影
Ｓｐ スパット
【技術分野】
【０００１】
本発明は、入力された映像に含まれるオブジェクトが描く軌道を映像に合成するオブジェクト軌道合成装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年では、スポーツ中継番組において、仮想ラインや企業ロゴをバーチャルＣＧ（コンピュータグラフィック）で表示するシーンが増えている。バーチャルＣＧは、映像上に、カメラの動きに連動して表示されるため、視聴者に違和感なく情報を伝えることができる。しかし、これらのバーチャルＣＧは、事前に設定した位置へ表示されるものが殆どであり、選手やボールのように、位置を変えるオブジェクトのバーチャルＣＧを表示する例は少ない。
【０００３】
選手やボールの位置を示すバーチャルＣＧを描画する場合、レーザーなどでオブジェクトの位置を計測する方法もあるが、処理速度の面で困難な場合がある。そこで、画像処理を用いてそれらの位置を計測して、映像上にバーチャルＣＧを描画する技術が一般的である。
【０００４】
投球されたボール等のオブジェクトの軌道を表示する発明が開示されている（例えば、特許文献１参照）。この映像オブジェクト軌跡合成装置は、画像認識技術を利用し、映像からオブジェクト領域をリアルタイムで抽出して追跡するものである。
【０００５】
また、簡単な操作で、的確に、オブジェクトを抽出する発明が開示されている（例えば、特許文献２参照）。この画像処理装置は、注目フレームから、３つの異なる処理によってオブジェクトを抽出し、それら何れかのうちの最適なオブジェクトをユーザが選択して抽出結果に反映させるものである。
【０００６】
また、ボーリングでのボールの動きに関する情報を表示する発明が開示されている（例えば、特許文献３参照）。このボーリング統計表示装置は、ユーザからのリクエストに従って、ボールの軌道を描画するものである。
【特許文献１】特開２００５−１２３８２４号公報
【特許文献２】特開２００２−９２６１３号公報
【特許文献３】特開平３−１７０１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ここで、画像処理を用いて、選手、ボール等のオブジェクトの位置を測定する場合、映像から対象となるオブジェクトを抽出する必要がある。しかし、映像から対象となるオブジェクトのみを正確に切り出すことは非常に困難である。例えば、固定撮影カメラの映像の場合、画像処理として背景差分を用いることが一般的であるが、背景にオブジェクトの影や他のオブジェクトが映り込み、これを正しく抽出できないことが多い。特に、位置情報に基づいて、オブジェクトの軌道を表示する場合、影、他のオブジェクト等の抽出ノイズの影響でオブジェクトの重心位置に誤差が生じ、滑らかで正確な軌道を描けなくなる場合がある。
【０００８】
図９の例では、図示しない看板に書かれた「○○選手権大会」という文字が、ボール（オブジェクトＯｂ）を投球するレーンに映り込んでいる。この場合、ボーリングの映像にボールの軌道を描画しようとした場合、激しく映り込みが生じるレーンでは、この映り込みの影響により、正しくボールを抽出できないことが多い。なお、図９に示すように、スパットＳｐと呼ばれる三角マークがレーンに描かれている。
【０００９】
ここで、ボール（オブジェクトＯｂ）に影Ｓａが恒常的に発生すれば、予め事前情報を設定し、影Ｓａを削除した上でボール本体の重心を求めることができる。しかし、図１０の例では、ボール（オブジェクトＯｂ）の位置により、影Ｓａが発生と消滅とを繰り返す場合、この事前情報から影Ｓａを削除することが困難であり、実際とは異なる軌道になってしまう。
【００１０】
特許文献１に記載の発明では、カルマンフィルタを用いて、オブジェクトＯｂの位置を補正するアルゴリズムを用いている。しかし、特許文献１に記載の発明では、ボール等の大きなオブジェクトＯｂの重心を算出する場合、誤差量が多くなり、カルマンフィルタのみの補正では滑らかな軌道を描画できない。
【００１１】
また、特許文献１に記載の発明では、オブジェクトＯｂの重心を補正するアルゴリズムを用いた場合でも、実際の位置からは誤差が生じるため、重心上を通る軌道を描いても、滑らかな曲線とはなりにくい。
【００１２】
さらに、特許文献１に記載の発明では、カメラの位置の影響で、オブジェクトＯｂの十分な軌道長が得られない場合がある。例えば、図１１に示すように、ボーリング競技では、選手はスパットＳｐを目印に投球する。番組の演出上、スパットＳｐを通過する形で軌道を描くことが望ましく、ボール（オブジェクトＯｂ）をリリースした位置からの軌道が理想的である。しかし、カメラ（不図示）の位置が低く、ボール（オブジェクトＯｂ）が選手の陰に隠れてしまう場合、特許文献１に記載の発明では、リリースした位置からのボール（オブジェクトＯｂ）の追跡が困難である。このため、図１２に示すように、ボール（オブジェクトＯｂ）が完全に現れる位置Ｌ１から抽出及び追跡を開始することになる。この場合、ボール（オブジェクトＯｂ）が現れる位置Ｌ１はスパットＳｐを越えた後であり、位置Ｌ１から軌道を描いても、選手がどのコースを狙って投球したのか分かりにくい。そこで、図１３に示すように、軌道を過去方向へ延長し、スパットＳｐを通過する前から軌道を描画することが望まれている。なお、図１３では、オブジェクトの軌道を破線で示した。
【００１３】
また、特許文献２，３に記載の発明では、オブジェクトの軌道を表示するために、ユーザからの入力を待つ必要があり、スポーツ中継番組等の高いリアルタイム性が要求される用途には向いていない。
【００１４】
そこで、本発明は、リアルタイム性が高く、精度が高い軌道画像を合成可能とするオブジェクト軌道合成装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記した課題を解決するため、請求項１に係るオブジェクト軌道合成装置は、入力された映像に含まれるオブジェクトが描く軌道を前記映像に合成するオブジェクト軌道合成装置であって、入力手段と、オブジェクト抽出手段と、オブジェクト重心位置補正手段と、軌道曲線算出手段と、軌道画像生成手段と、映像遅延手段と、映像合成手段とを備える構成とした。
【００１６】
かかる構成によれば、オブジェクト軌道合成装置は、入力手段によって、映像を入力する。また、オブジェクト軌道合成装置は、オブジェクト抽出手段によって、入力手段に入力された映像を構成するフレーム画像から特徴量を算出し、この特徴量に基づいて、映像に含まれるオブジェクトを抽出する。この特徴量として、例えば、前後するフレーム画像の差分画像、フレーム画像の各画素の色成分の平均値、又は、各画素の輝度の変化を用いることができる。また、オブジェクト軌道合成装置は、オブジェクト重心位置補正手段によって、オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出すると共に、重心位置の補正量を算出する予め設定された補正式によって、算出した重心位置を補正する。これによって、オブジェクト軌道合成装置は、オブジェクトの重心位置の精度を高くできる。
【００１７】
また、オブジェクト軌道合成装置は、軌道曲線算出手段によって、予め設定した１以上のフレーム画像毎に、オブジェクト重心位置補正手段が補正した重心位置に基づいて、オブジェクトの軌道を算出すると共に、軌道を連結した軌道曲線上に補正した重心位置が位置するように重心位置を再度補正する。これによって、オブジェクト軌道合成装置は、フレーム画像毎にオブジェクトの軌道変化を重心位置に反映させることができる。また、オブジェクト軌道合成装置は、軌道画像生成手段によって、軌道曲線算出手段が再度補正した重心位置を時系列で連続させたオブジェクトの軌道を示す軌道画像を生成する。そして、オブジェクト軌道合成装置は、映像遅延手段によって、入力手段に入力された映像を遅延させる。さらに、オブジェクト軌道合成装置は、映像合成手段によって、映像遅延手段が遅延させた映像と軌道画像生成手段が生成した軌道画像とを合成する。これによって、オブジェクト軌道合成装置は、ユーザからの入力を待つことなく、軌道画像を合成できる。
【００１８】
また、請求項２に係るオブジェクト軌道合成装置は、請求項１に係るオブジェクト軌道合成装置において、前記オブジェクト抽出手段は、前記オブジェクトを抽出できたか否かを判定し、前記オブジェクトを抽出できなかった場合、前後する前記フレーム画像における再度補正した前記重心位置の差から前記オブジェクトの動きベクトルを算出すると共に、当該動きベクトルに基づいて、前記オブジェクトを抽出できなかったフレーム画像における前記オブジェクトの予測位置を算出して前記重心位置を補間する重心位置補間手段、を備えることを特徴とする。
【００１９】
かかる構成によれば、オブジェクト軌道合成装置は、重心位置補間手段によって、オブジェクトを抽出できなかったフレーム画像におけるオブジェクトの予測位置を算出して重心位置を補間するため、重心位置をオブジェクトの実際の軌道に近づけられると共に、軌道曲線を滑らかにできる。
【００２０】
また、請求項３に係るオブジェクト軌道合成装置は、請求項２に係るオブジェクト軌道合成装置において、前記重心位置補間手段は、前記動きベクトルに基づいて、前記オブジェクトの軌道を延長した延長線上における前記オブジェクトの予測位置を算出して前記重心位置を補間することを特徴とする。
【００２１】
かかる構成によれば、オブジェクト軌道合成装置は、重心位置補間手段によって、オブジェクトの予測位置を算出して未来の重心位置を補間するので、例えば、ボールがピンに衝突した後でオブジェクトの軌道が乱れた場合でも、その影響を受けずに重心位置を算出できる。また、オブジェクト軌道合成装置は、重心位置補間手段によって、オブジェクトの予測位置を算出して過去の重心位置を補間するので、例えば、投球者にボールが隠れる投球前のフレーム画像においても、その影響を受けずに重心位置を算出できる。
【００２２】
また、請求項４に係るオブジェクト軌道合成装置は、請求項１から請求項３の何れか一項に係るオブジェクト軌道合成装置において、前記オブジェクト重心位置補正手段は、前記オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出するオブジェクト重心位置算出部と、前記オブジェクト抽出手段が抽出したオブジェクトのアスペクト比又は円形度を、当該オブジェクトの形状を示す値として算出するオブジェクト形状算出部と、前記オブジェクト形状算出部が算出したオブジェクトの形状を示す値と予め設定した前記オブジェクトの形状を示す値との差に、前記重心位置の補正の重み付けを示す係数を乗じて、前記重心位置の補正量を算出する重心位置補正量算出部と、前記重心位置補正量算出部が算出した重心位置の補正量に基づいて、前記オブジェクト重心位置算出部が算出したオブジェクトの重心位置を補正する重心位置補正部と、を備えることを特徴とする。かかる構成によれば、オブジェクト軌道合成装置は、オブジェクト重心位置補正手段によって、補正後の重心位置の精度を高くできる。
【００２３】
また、前記した課題を解決するため、請求項５に係るオブジェクト軌道合成プログラムは、入力された映像に含まれるオブジェクトが描く軌道を映像に合成するために、映像を入力する入力手段を備えるコンピュータを、オブジェクト抽出手段、オブジェクト重心位置補正手段、軌道曲線算出手段、軌道画像生成手段、映像遅延手段、映像合成手段、として機能させる構成とした。
【００２４】
かかる構成によれば、オブジェクト軌道合成プログラムは、オブジェクト抽出手段によって、入力手段に入力された映像を構成するフレーム画像から特徴量を算出し、特徴量に基づいて、映像に含まれるオブジェクトを抽出する。この特徴量として、例えば、前後するフレーム画像の差分画像、フレーム画像の各画素の色成分の平均値、又は、各画素の輝度の変化を用いることができる。また、オブジェクト軌道合成プログラムは、オブジェクト重心位置補正手段によって、オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出すると共に、重心位置の補正量を算出する予め設定された補正式によって、算出した重心位置を補正する。これによって、オブジェクト軌道合成プログラムは、オブジェクトの重心位置の精度を高くできる。
【００２５】
また、オブジェクト軌道合成プログラムは、軌道曲線算出手段によって、予め設定した１以上のフレーム画像毎に、オブジェクト重心位置補正手段が補正した重心位置に基づいて、オブジェクトの軌道を算出すると共に、軌道を連結した軌道曲線上に補正した重心位置が位置するように重心位置を再度補正する。これによって、オブジェクト軌道合成プログラムは、フレーム画像毎にオブジェクトの軌道変化を重心位置に反映させることができる。また、オブジェクト軌道合成プログラムは、軌道画像生成手段によって、軌道曲線算出手段が再度補正した重心位置を時系列で連続させたオブジェクトの軌道を示す軌道画像を生成する。そして、オブジェクト軌道合成プログラムは、映像遅延手段によって、入力手段に入力された映像を遅延させる。さらに、オブジェクト軌道合成プログラムは、映像合成手段によって、映像遅延手段が遅延させた映像と軌道画像生成手段が生成した軌道画像とを合成する。これによって、オブジェクト軌道合成プログラムは、ユーザからの入力を待つことなく、軌道画像を合成できる。
【発明の効果】
【００２６】
本発明によれば、以下のような優れた効果を奏する。
請求項１，５に係る発明によれば、オブジェクトの重心位置の精度を高くできると共に、オブジェクトの軌道変化を重心位置に反映させることができ、さらに、ユーザからの入力を待つことなく軌道画像を合成できるため、リアルタイム性が高く、精度が高い軌道画像を合成できる。
【００２７】
請求項２に係る発明によれば、重心位置をオブジェクトの実際の軌道に近づけられると共に、軌道曲線を滑らかにできるため、より精度が高い軌道画像を合成できる。
【００２８】
請求項３に係る発明によれば、未来及び過去の重心位置を補間できるため、オブジェクトの動きやカメラ位置の影響を受けずに軌道画像を合成できる。
【００２９】
請求項４に係る発明によれば、補正後の重心位置の精度を高くできるため、より精度が高い軌道画像を合成できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。
【００３１】
［オブジェクト軌道合成装置の構成］
図１を参照して、本発明の本実施形態に係るオブジェクト軌道合成装置の構成について説明する。図１は、本発明の本実施形態に係るオブジェクト軌道合成装置の構成を示すブロック図である。図１に示すように、オブジェクト軌道合成装置１は、入力された映像に含まれるオブジェクトが描く軌道を映像に合成するものであって、入力手段１１と、オブジェクト抽出手段１２と、オブジェクト重心位置補正手段１３と、記憶手段１４と、軌道曲線算出手段１５と、軌道曲線補間手段（重心位置補間手段）１６と、軌道画像生成手段１７と、映像遅延手段１８と、映像合成手段１９とを備える。なお、軌道曲線補間手段１６が、請求項に記載の重心位置補間手段に相当する。
【００３２】
入力手段１１は、図示しない撮影カメラが撮影した映像、又は、録画機器が録画した映像を入力するインタフェースである。また、入力手段１１は、入力した映像をオブジェクト抽出手段１２と映像遅延手段１８とに出力する。
【００３３】
この映像は、何らかの軌道を描くオブジェクトを含むものであり、例えば、ボーリングの映像である。この場合、オブジェクトは、ボーリングのボールとなる。なお、本実施形態では、ボーリングの映像を例に説明するが、これに限定されないことは言うまでもない。
【００３４】
オブジェクト抽出手段１２は、入力手段１１からの映像を構成するフレーム画像から特徴量を算出し、特徴量に基づいて、映像に含まれるオブジェクトを抽出するものである。ここで、オブジェクト抽出手段１２は、例えば、異なる時間のフレーム画像（例えば、現在のフレーム画像及びその前に入力されたフレーム画像）間の輝度の差を画素値とした差分画像を生成する。そして、オブジェクト抽出手段１２は、例えば、この差分画像において、輝度の差が予め設定した閾値以上となっている領域をオブジェクトとして抽出する。
【００３５】
また、オブジェクト抽出手段１２は、フレーム画像の隣接する画素の輝度の変化を検出し、輪郭（エッジ）領域をオブジェクトとして抽出しても良い。さらに、オブジェクト抽出手段１２は、フレーム画像の各画素値を構成する色のＲＧＢ成分の平均値を算出して、フレーム画像をモノクロ（グレースケール）化した輝度画像を生成しても良い。そして、オブジェクト抽出手段１２は、この輝度画像において、この輝度が、予め設定した背景の輝度値以上となっている領域をオブジェクトとして抽出しても良い。なお、前記した閾値は、予め後記する記憶手段１４にパラメータ情報として記憶し、オブジェクト抽出手段１２は、これを参照しても良い。
【００３６】
ここで、オブジェクト抽出手段１２は、例えば、フレーム画像毎に、そのフレーム画像を一意に識別するフレーム画像識別子（例えば、フレーム画像に対応するタイムコード）と、抽出したオブジェクトの画像と、そのオブジェクトの領域を示す領域情報（例えば、オブジェクトの領域の左上の座標及びオブジェクトの縦横の大きさ）と、をオブジェクト重心位置補正手段１３に出力する。
【００３７】
なお、オブジェクト抽出手段１２は、オブジェクトを抽出できたか否かを判定し、フレーム画像からオブジェクトを抽出できなかった場合、オブジェクト抽出手段１２は、領域情報に不適切な値（例えば、オブジェクトの縦横の大きさを負の値）に設定してオブジェクト重心位置補正手段１３に出力する。
【００３８】
オブジェクト重心位置補正手段１３は、各フレーム画像で、オブジェクト抽出手段１２が抽出したオブジェクトの重心位置を算出すると共に、重心位置の補正量を算出する予め設定された補正式によって、オブジェクト重心位置補正手段１３が算出した重心位置を補正するものである。以下、図２を参照して、オブジェクト重心位置補正手段１３の構成について詳細に説明する（適宜図１参照）。図２は、図１のオブジェクト重心位置補正手段の構成を示すブロック図である。
【００３９】
図２に示すように、オブジェクト重心位置補正手段１３は、オブジェクト重心位置算出部１３ａと、オブジェクト形状算出部１３ｂと、重心位置補正量算出部１３ｃと、重心位置補正部１３ｄとを備える。
【００４０】
オブジェクト重心位置算出部１３ａは、各フレーム画像で、オブジェクト抽出手段１２が抽出したオブジェクトに基づいて、オブジェクトの重心位置を算出するものである。ここで、オブジェクト重心位置算出部１３ａは、例えば、オブジェクト抽出手段１２からのオブジェクトの画像と領域情報とを参照し、オブジェクトにおける縦横の中間位置を重心位置とする又はオブジェクトの面積より重心位置を求めるといった公知の手法により、オブジェクトの重心位置を算出する。また、オブジェクト重心位置算出部１３ａは、あるフレーム画像におけるオブジェクトの重心位置を算出した後、カルマンフィルタを用いて、その次のフレーム画像におけるオブジェクトの重心位置を推定して算出しても良い。そして、オブジェクト重心位置算出部１３ａは、算出したオブジェクトの重心位置を重心位置補正部１３ｄに出力する。なお、オブジェクト抽出手段１２からの領域情報に不適切な値が設定されていた場合、オブジェクトの重心位置を算出する処理を行わずに、重心位置を不適切な値（例えば、重心位置を負の値）に設定して重心位置補正部１３ｄに出力する。
【００４１】
オブジェクト形状算出部１３ｂは、オブジェクト抽出手段１２が抽出したオブジェクトの形状を算出するものである。そして、オブジェクト形状算出部１３ｂは、オブジェクトの形状の算出結果を、重心位置補正量算出部１３ｃに出力する。
【００４２】
ここで、オブジェクト形状算出部１３ｂは、オブジェクトの形状を示す値として、例えば、オブジェクトの画像から求まるオブジェクトのアスペクト比（オブジェクトの縦方向及び横方向の長さの比）Ａと、予め設定されたオブジェクトのアスペクト比Ｄとの差を算出する。この場合、アスペクト比Ａとアスペクト比Ｄとの差が、抽出したオブジェクトの画像に含まれる抽出ノイズの割合に相当する。このアスペクト比Ｄは、例えば、オブジェクトがボール等の球体であれば「１．０」であり、オブジェクトの形状に応じた値をパラメータ情報として、記憶手段１４に予め記憶しておく。なお、抽出ノイズとは、オブジェクトの画像に含まれるオブジェクト以外のもの、例えば、オブジェクトの画像に含まれるオブジェクトの影、又は、背景、人物、物体等の他のオブジェクトの映り込みである。
【００４３】
このとき、オブジェクト形状算出部１３ｂは、オブジェクトの画像から、アスペクト比Ａを下記式（１）により、算出できる。ただし、式（１）では、Ｈはオブジェクトの縦方向の長さ（高さ）、Ｗはオブジェクトの横方向の長さ（幅）である。
Ａ＝Ｈ／Ｗ・・・式（１）
【００４４】
また、オブジェクト形状算出部１３ｂは、下記式（２）で表される円形度ｅを用いて、そのオブジェクトの形状を示す値として、算出しても良い。この円形度ｅは、オブジェクトが真円の場合、「１．０」となる。ただし、式（２）では、Ｓはオブジェクトの面積、ｌはオブジェクトの周囲長である。
ｅ＝４πＳ／ｌ２・・・式（２）
【００４５】
重心位置補正量算出部１３ｃは、オブジェクト形状算出部１３ｂが算出したオブジェクトの形状を示す値と予め設定したオブジェクトの形状を示す値との差に、重心位置の補正の重み付けを示す係数を乗じて、重心位置の補正量を算出するものである。そして、重心位置補正量算出部１３ｃは、重心位置の補正量の算出結果を、重心位置補正部１３ｄに出力する。
【００４６】
ここで、例えば、オブジェクト形状算出部１３ｂからアスペクト比Ａとアスペクト比Ｄとの差が入力された場合について説明する。この場合、重心位置補正量算出部１３ｃは、アスペクト比Ａとアスペクト比Ｄとの差に、横方向の補正の重み付けを示す係数αを乗じて、重心位置の横方向の補正量を算出する。また、重心位置補正量算出部１３ｃは、アスペクト比Ａとアスペクト比Ｄとの差に、縦方向の補正の重み付けを示す係数βを乗じて、重心位置の縦方向の補正量を算出する。
【００４７】
この係数α及び係数βは、オブジェクトの画像に含まれる抽出ノイズの方向及びカメラがオブジェクトを撮影する方向に応じて、記憶手段１４に予め記憶しておく。例えば、縦方向のみに抽出ノイズが発生し、かつ、オブジェクトの縦方向から撮影する場合、縦方向に重心位置を補正すれば良く、横方向に重心位置を補正する必要がないため、係数αが「０．０」となり、係数βが「１．０」となる。また、例えば、縦方向及び横方向に略同量の抽出ノイズが発生し、かつ、オブジェクトの斜め方向から撮影する場合、縦方向及び横方向に重心位置を補正する必要があるため、係数αが「０．５」となり、係数βが「０．５」となる。さらに、例えば、横方向のみに抽出ノイズが発生し、かつ、オブジェクトの横方向から撮影する場合、横方向に重心位置を補正すれば良く、縦方向に重心位置を補正する必要がないため、係数αが「１．０」となり、係数βが「０．０」となる。
【００４８】
重心位置補正部１３ｄは、重心位置補正量算出部１３ｃが算出した重心位置の補正量に基づいて、オブジェクト重心位置算出部１３ａが算出したオブジェクトの重心位置を補正するものである。
【００４９】
ここで、補正後の重心位置ｐｔ’は、下記式（３）で表すことができる。だたし、式（３）では、ｐｘは横方向の重心位置、αは横方向の補正の重み付けを示す係数、Ａはオブジェクトの画像から求めたアスペクト比、Ｄは予め設定したアスペクト比、ｐｙは縦方向の重心位置、βは縦方向の補正の重み付けを示す係数である。
ｐｔ’＝（ｐｘ−α（Ａ−Ｄ），ｐｙ−β（Ａ−Ｄ））・・・式（３）
【００５０】
この式（３）では、オブジェクト重心位置算出部１３ａが算出したオブジェクトの横方向の重心位置がｐｘに相当し、オブジェクト重心位置算出部１３ａが算出したオブジェクトの縦方向の重心位置がｐｙに相当する。さらに、式（３）では、重心位置補正量算出部１３ｃが算出した重心位置の横方向の補正量がα（Ａ−Ｄ）に相当し、重心位置補正量算出部１３ｃが算出した重心位置の縦方向の補正量がβ（Ａ−Ｄ）に相当する。つまり、重心位置補正部１３ｄは、補正式としての式（３）を用いて、重心位置を補正できる。なお、前記した円形度ｅを用いる場合、これをアスペクト比Ａの代わりにすることで、重心位置補正部１３ｄは、重心位置を補正することができる。
【００５１】
以下、図３を参照して、図２の重心位置補正部による重心位置の補正の具体例を説明する（適宜図１参照）。図３は、図２の重心位置補正部による重心位置の補正の具体例を示す図である。例えば、図３では、アスペクト比Ｄが「１．０」、係数αが「０．０」及び係数βが「１．０」として設定されている。なお、図３では、補正前の重心位置を白丸で示し、補正後の重心位置を黒丸で示した。
【００５２】
図３左側の例では、オブジェクトＯｂの縦方向にオブジェクトＯｂと略同じ大きさの影Ｓａが含まれているため、オブジェクト重心位置算出部１３ａは、実際のオブジェクトの重心位置ではなく、オブジェクトＯｂと影Ｓａとの中間付近を重心位置として算出してしまう。ここで、重心位置補正部１３ｄが、前記した処理によって、実際のオブジェクトＯｂの重心位置と殆ど同じ位置に補正する。
【００５３】
また、図３中央の例では、オブジェクトＯｂの縦方向にオブジェクトと略半分の大きさの影Ｓａが含まれているため、オブジェクト重心位置算出部１３ａは、実際のオブジェクトＯｂの重心位置ではなく、オブジェクトＯｂの下部を重心位置として算出してしまう。ここで、重心位置補正部１３ｄが、前記した処理によって、実際のオブジェクトＯｂの重心位置と殆ど同じ位置に補正する。
【００５４】
また、図３右側の例では、影Ｓａが殆ど含まれていないため、オブジェクト重心位置算出部１３ａは、実際のオブジェクトＯｂの重心位置に近い位置を、重心位置として算出する。ここで、重心位置補正部１３ｄが、前記したように補正するが、影Ｓａが殆ど含まれていないため、補正前後で重心位置は殆ど変化しない。
【００５５】
以下、図４を参照して、図２の重心位置補正部による重心位置の有無による軌道の違いを説明する（適宜図１参照）。図４は、図２の重心位置補正部による重心位置の有無による軌道の違いを説明する図である。図４（ａ）では、オブジェクトＯｂの画像に影Ｓａが含まれているが、重心位置補正部１３ｄが重心位置の補正を行っていないため、算出した重心位置が実際のオブジェクトＯｂの重心位置からずれてしまう。このため、図４（ａ）に示すように、その重心位置を結んだオブジェクトＯｂの軌道は、歪んでしまう。
【００５６】
一方、図４（ｂ）では、オブジェクト軌道合成装置１が、図３で説明したようにオブジェクトＯｂの重心位置を補正するため、オブジェクトの画像に影Ｓａが含まれている場合でも、算出した重心位置を実際のオブジェクトＯｂの重心位置と殆ど同じ位置に補正する。このため、図４（ｂ）に示すように、その重心位置を結んだオブジェクトＯｂの軌道は、実際のオブジェクトの軌道に非常に近くなると共に、その軌道が非常に滑らかになる。
【００５７】
以下、図２に戻り説明を続ける。また、重心位置補正部１３ｄは、フレーム画像毎に、フレーム画像識別子と補正後の重心位置ｐｔ’とを対応づけた軌道情報を記憶手段１４に記憶させる。なお、重心位置補正部１３ｄは、オブジェクトが抽出できずに重心位置に不適切な値が設定されている場合、重心位置の補正を行わずに、フレーム画像識別子と不適切な値の重心位置とを対応づけた軌道情報を記憶手段１４に記憶させる。
【００５８】
記憶手段１４は、軌道情報、及び、前記したアスペクト比Ｄ、係数α、係数β等のパラメータ情報を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置である。
【００５９】
ここで、オブジェクト軌道合成装置１は、軌道を滑らかにするため、補正後の重心位置ｐｔ’で直に軌道画像の合成を行わずに、軌道曲線算出手段１５によって、軌道曲線を算出して重心位置を再度補正する。言い換えると、オブジェクト軌道合成装置１は、後記する軌道曲線を算出するために、記憶手段１４にオブジェクトの軌道をバッファリングしている。
【００６０】
以下、図５を参照して、図１の軌道曲線算出手段１５による軌道曲線の算出を詳細に説明する（適宜図１参照）。図５は、図１の軌道曲線算出手段による軌道曲線の算出を説明する図である。また、図５（ａ）は、１番目（ｎ＝１）から３１番目（ｎ＝３１）までのフレーム画像に対応する軌道を実線で示し、図５（ｂ）は、６番目（ｎ＝６）から３６番目（ｎ＝３６）までのフレーム画像に対応する軌道を破線で示し、図５（ｃ）は、１１番目（ｎ＝１１）から３６番目（ｎ＝４１）までのフレーム画像に対応する軌道を一点鎖線で示した。また、図５（ａ）〜（ｃ）では、５フレーム画像毎に、オブジェクトＯｂを示した。さらに、図５（ｄ）は、図５（ａ）〜（ｃ）の軌道を連結した軌道曲線を示した。
【００６１】
軌道曲線算出手段１５は、記憶手段１４が記憶する軌道情報を参照し、予め設定した１以上のフレーム画像毎（例えば、３０のフレーム画像）に、オブジェクト重心位置補正手段１３が補正した重心位置に基づいて、オブジェクトＯｂの軌道を算出するものである。ここで、軌道曲線算出手段１５は、１番目から３１番目までのフレーム画像に対応する軌道情報から、図５（ａ）に示すような軌道を算出できる。このとき、軌道曲線算出手段１５は、例えば、最小二乗法を用いて、軌道を算出する。ここで、フレーム画像の左下を原点として、係数ａ，係数ｂ，係数ｃを求める２次曲線の係数とすると、２次曲線は下記式（４）で表わされる。
ｙ＝ａｘ２＋ｂｘ＋ｃ・・・式（４）
【００６２】
軌道と重心位置との残差二乗和Ｓは、下記式（５）で表わされる。ここで、式（５）では、ｘｉは、対象のフレーム画像におけるオブジェクトの重心位置である。また、式（５）において、ｉの総数は、例えば、３０となる。つまり、軌道曲線算出手段１５は、残差二乗和Ｓを係数ａ，係数ｂ，係数ｃについて偏微分し、０とおくことで２次曲線の係数が得られ、図５（ａ）のような軌道を算出できる。
【００６３】
【数１】
【００６４】
なお、図５の例では、曲線の次数を２としが、オブジェクトが描く軌道により、曲線の次数は、これに限定されず、任意に設定しても良い。例えば、オブジェクトが直線的な軌道を描くのであれば、曲線の次数を１に設定する。
【００６５】
次に、軌道曲線算出手段１５は、図５（ａ）と同様に、６番目から３６番目までのフレーム画像に対応する軌道情報から、図５（ｂ）に示すような軌道を算出する。さらに、軌道曲線算出手段１５は、図５（ａ）と同様に、１１番目から４１番目までのフレーム画像に対応する軌道情報から、図５（ｃ）に示すような軌道を算出する。
【００６６】
ここで、図５（ａ）〜（ｃ）に示すように、実際には、オブジェクトＯｂは、時刻が経過するにつれて、その曲がり方が強くなる軌道を描いている。このため、特定のフレーム画像間で軌道を算出するだけでは、その軌道は、オブジェクトＯｂの実際の軌道から大きくずれてしまう。そこで、軌道曲線算出手段１５は、フレーム画像毎に算出した軌道を連結して軌道曲線を算出する。例えば、軌道曲線算出手段１５は、１番目から３１番目までのフレーム画像に対応する軌道（図５（ａ）の実線）に、３１番目から３６番目までのフレーム画像に対応する軌道（図５（ｂ）の破線の一部）と、３６番目から４１番目までのフレーム画像に対応する軌道（図５（ｃ）の一点差線の一部）とを継ぎ足して、図５（ｄ）に示すような軌道曲線を算出する。
【００６７】
なお、図５では、４１番目までのフレーム画像を例に説明したが、オブジェクトＯｂを抽出した全てのフレーム画像について、軌道曲線を算出しても良いことは言うまでもない。また、図５では、５フレーム画像毎に、軌道を継ぎ足して軌道曲線を算出する例で説明したが、１以上の任意のフレーム画像毎に、軌道を継ぎ足して軌道曲線を算出しても良い。さらに、図５では、軌道曲線算出手段１５は、フレーム画像の数を３０として説明したが、これに限定されないことは言うまでもない。ここで、軌道曲線算出手段１５は、このフレーム画像の数を小さい値にするほど、算出した軌道曲線に歪みが発生しやすくなる。一方で、軌道曲線算出手段１５は、このフレーム画像の数を大きい値にするほど、算出した軌道曲線が直線的になって、実際のオブジェクトＯｂの軌道からずれ易くなる。このため、フレーム画像の数は、実際にオブジェクトＯｂが描く軌道の曲がり方に応じて、試写を行って適切な値に設定することが好ましい。
【００６８】
以下、図１に戻り、説明を続ける。また、軌道曲線算出手段１５は、補正後の重心位置ｐｔ’を、前記した手順で算出した軌道曲線上の位置に再度補正する。ここで、軌道曲線算出手段１５は、例えば、補正後の重心位置ｐｔ’を横方向（水平方向）に移動させて、補正後の重心位置ｐｔ’が軌道曲線上に位置するように再度補正する。また、軌道曲線算出手段１５は、補正後の重心位置ｐｔ’の移動量が最小になるように、言い換えると、軌道曲線上の最も近い座標まで移動させて、補正後の重心位置ｐｔ’が軌道曲線上に位置するように再度補正しても良い。以下の説明において、軌道曲線算出手段１５が再度補正した重心位置は、再補正後の重心位置ｐｔ’’と略記することがある。そして、軌道曲線算出手段１５は、再補正後の重心位置ｐｔ’’と、これに対応するフレーム画像識別子とを軌道曲線補間手段１６に出力する。なお、軌道曲線算出手段１５は、オブジェクトが抽出できずに重心位置に不適切な値が設定されている場合、その重心位置を再度補正しなくとも良い。
【００６９】
軌道曲線補間手段１６は、オブジェクト抽出手段１２がオブジェクトを抽出できなかった場合、前後するフレーム画像における再補正後の重心位置ｐｔ’ ’の差からオブジェクトの動きベクトルを算出すると共に、この動きベクトルに基づいて、オブジェクトを抽出できなかったフレーム画像におけるオブジェクトの予測位置を算出して重心位置を補間するものである。ここで、軌道曲線補間手段１６は、重心位置に不適切な値が設定されている場合、図６に示すように補間を行う（適宜図１参照）。図６は、図１の軌道曲線補間手段による補間を説明する図である。なお、図６では、オブジェクトの重心位置を算出した箇所を実線で示し、補間した箇所を破線で示し、符号ｇで動きベクトルを示した。
【００７０】
図６（ａ）に示すように、例えば、６番目から１１番目までのフレーム画像でオブジェクトＯｂが抽出できなかった場合、軌道曲線補間手段１６は、１番目のフレーム画像に対応する再補正後の重心位置ｐｔ’’と、その次の２番目のフレーム画像に対応する再補正後の重心位置ｐｔ’’との差から、オブジェクトＯｂの動きベクトルｇを算出できる。このため、軌道曲線補間手段１６は、この動きベクトルｇに基づいて、オブジェクトＯｂを抽出できなかったフレーム画像におけるオブジェクトＯｂの予測位置を算出し、重心位置を補間できる。さらに、軌道曲線補間手段１６は、任意の複数のフレーム画像（例えば、１番目から５番目までのフレーム画像）に対応する再補正後の重心位置ｐｔ’’の差から、より安定した動きベクトルｇを算出することもできる。
【００７１】
また、図６（ｂ）に示すように、例えば、６番目のフレーム画像より前のフレーム画像でオブジェクトＯｂが抽出できなかった場合、軌道曲線補間手段１６は、１１番目から６番目までのフレーム画像に対応する再補正後の重心位置ｐｔ’’の差から動きベクトルｇを算出する。そして、軌道曲線補間手段１６は、この動きベクトルｇに基づいて、オブジェクトＯｂの軌道を延長した延長線上、つまり、５番目以前のフレーム画像に対応するオブジェクトＯｂの予測位置を算出し、過去の重心位置を補間する。
【００７２】
また、図６（ｃ）に示すように、例えば、３１番目のフレーム画像より後のフレーム画像でオブジェクトＯｂが抽出できなかった場合、軌道曲線補間手段１６は、２６番目から３１番目までのフレーム画像に対応する再補正後の重心位置ｐｔ’’の差から動きベクトルｇを算出する。そして、軌道曲線補間手段１６は、この動きベクトルｇに基づいて、オブジェクトＯｂの軌道を延長した延長線上、つまり、３１番目以後のフレーム画像に対応するオブジェクトの予測位置を算出し、未来の重心位置を補間する。そして、軌道曲線補間手段１６は、軌道曲線算出手段１５から入力された再補正後の重心位置ｐｔ’’と、これらに対応するフレーム画像識別子と、補間した軌道曲線とを軌道曲線補間手段１６に出力する。
【００７３】
以下、図１に戻り、説明を続ける。軌道画像生成手段１７は、軌道曲線算出手段１５が再度補正した重心位置を時系列で連続させたオブジェクトの軌道を示す軌道画像を生成するものである。例えば、軌道画像生成手段１７は、フレーム画像識別子としてのタイムコードの順に、そのフレーム画像に対応する重心位置を時系列で連続させてオブジェクトの軌道を示す軌道画像をＣＧで描画して生成する。なお、軌道画像生成手段１７は、軌道曲線を補間した部分について、この補間した部分をオブジェクトの重心位置とみなして、軌道画像を生成しても良い。
【００７４】
ここで、前記したように、オブジェクト軌道合成装置１が、フレーム画像毎で軌道曲線を算出するためにバッファリングを行っており、軌道映像を合成する時刻と、映像が入力された時刻との間にずれが生じる。このずれを解消するため、映像遅延手段１８は、入力手段に入力された映像を遅延させて映像合成手段１９に出力する。例えば、映像遅延手段１８は、入力された映像を構成するフレーム画像のタイムコードと、軌道画像に対応するフレーム画像のタイムコードとを同期させる同期信号を、軌道画像と共に映像合成手段１９に出力する。これによって、オブジェクト軌道合成装置１は、軌道画像と映像とを合成する際、同期をとることができる。
【００７５】
映像合成手段１９は、映像遅延手段１８が遅延させた映像と、軌道画像生成手段１７が生成した軌道画像とを合成（ＣＧ合成）するものである。ここで、例えば、映像合成手段１９は、映像遅延手段１８からの同期信号に従って、映像と軌道画像とを合成する。
【００７６】
図７は、図１のオブジェクト軌道合成装置が出力する合成映像の例を示す図である。図７に示すように、オブジェクト軌道合成装置１は、オブジェクトの画像に影や映り込み等の抽出ノイズが不定期に発生し、オブジェクトを正確に抽出することが困難な場合でも、重心位置を精度よく算出し、滑らかな軌道を合成することができる。なお、図７では、ピンに当たった後のボール（オブジェクト）は映像に含まれておらず、映像に合成されて軌道を破線で示した。
【００７７】
オブジェクト軌道合成装置１は、過去方向及び未来方向にオブジェクトの軌道の延長が可能であり、より情報量の多い軌道を描画することができる。例えば、図７に示すように、オブジェクト軌道合成装置１は、スパットＳｐを通過する前のボール（オブジェクト）の軌道を表示でき、ボーリング選手がどのピンを狙ったかが視聴者に伝わりやすくなる。
【００７８】
さらに、ボールがピンに当たった後、オブジェクトの誤抽出によりオブジェクトの軌道が乱れる場合もある。例えば、図７に示すように、オブジェクト軌道合成装置１は、ボールがピンに当たる直前でオブジェクトの軌道の抽出を終了し、ピンに当たった後のボールの軌道を未来方向に延長することで、乱れが少ない軌道を合成できる。
【００７９】
［オブジェクト軌道合成装置の動作］
以下、図８を参照して、図１のオブジェクト軌道合成装置の動作について説明する（適宜図１参照）。図８は、図１のオブジェクト軌道合成装置の動作を示すフローチャートである。
【００８０】
まず、オブジェクト軌道合成装置１は、入力手段１１によって、映像を入力すると共に、この映像をオブジェクト抽出手段１２と映像遅延手段１８とに出力する（ステップＳ１）。そして、オブジェクト軌道合成装置１は、オブジェクト抽出手段１２によって、入力手段１１に入力された映像を構成するフレーム画像から特徴量を算出し、この特徴量に基づいて、映像に含まれるオブジェクトを抽出する（ステップＳ２）。
【００８１】
ステップＳ２の処理に続いて、オブジェクト軌道合成装置１は、オブジェクト重心位置補正手段１３によって、オブジェクト抽出手段１２が抽出したオブジェクトの重心位置を算出すると共に、重心位置の補正量を算出する予め設定された補正式によって、算出した重心位置を補正する（ステップＳ３）。
【００８２】
ステップＳ３の処理に続いて、オブジェクト軌道合成装置１は、軌道曲線算出手段１５によって、記憶手段１４が記憶する軌道情報を参照し、フレーム画像毎に、オブジェクト重心位置補正手段１３が補正した重心位置に基づいて、オブジェクトの軌道を算出する（ステップＳ４）。
【００８３】
ステップＳ４の処理に続いて、オブジェクト軌道合成装置１は、軌道曲線算出手段１５によって、補正後の重心位置ｐｔ’がステップＳ３の処理で算出した軌道を連結した軌道曲線上に位置するように、補正後の重心位置ｐｔ’を再度補正する（ステップＳ５）。なお、その必要がある場合、ステップＳ４の処理において、オブジェクト軌道合成装置１は、軌道曲線補間手段１６によって、重心位置を補間しても良い。
【００８４】
ステップＳ５の処理に続いて、オブジェクト軌道合成装置１は、軌道画像生成手段１７によって、軌道曲線算出手段１５が再度補正した重心位置を時系列で連続させたオブジェクトの軌道を示す軌道画像を生成する（ステップＳ６）。また、オブジェクト軌道合成装置１は、映像遅延手段１８によって、入力手段１１に入力された映像を遅延させる（ステップＳ７）。さらに、オブジェクト軌道合成装置１は、映像合成手段１９によって、映像遅延手段１８が遅延させた映像と軌道画像生成手段１７が生成した軌道画像とを合成する（ステップＳ８）。
【００８５】
以上のように、本発明の本実施形態に係るオブジェクト軌道合成装置は、オブジェクトが含まれる映像、例えば、ボーリング、ゴルフ等のスポーツ中継の映像、ボーリング場やパットゴルフ場等の娯楽施設におけるリプレイ映像で、リアルタイム性が高く、精度が高い軌道画像を合成できる。
【００８６】
なお、本発明に係るオブジェクト軌道合成装置は、オブジェクトをボールにすることに限られず、オブジェクトを人物（頭部、顔面）とすることもできる。例えば、サッカー映像中の選手の位置の軌道を合成する際、影等の抽出ノイズの影響を抑え、より正確な選手の位置を算出し、人物が移動した軌跡（軌道）を表示することもできる。
【００８７】
なお、本発明に係るオブジェクト軌道合成装置が対象とする映像としては、何らかの軌道を描くオブジェクトを含む映像であり、例えば、前記したボーリングの他に、ゴルフやサッカー等の球技の映像、又は、スケートや自転車等の競技の映像がある。そして、球技の映像の場合、オブジェクトは、例えば、その球技に用いられるボールとなる。また、スケートや自転車等の競技の場合、オブジェクトは、例えば、スケートや自転車の競技者となる。
【００８８】
なお、本実施形態では、本発明に係るオブジェクト軌道合成装置を独立した装置として説明したが、本発明では、一般的なコンピュータの演算装置及び記憶装置を、前記したオブジェクト軌道合成装置の各手段として協調動作させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【図面の簡単な説明】
【００８９】
【図１】本発明の本実施形態に係るオブジェクト軌道合成装置の構成を示すブロック図である。
【図２】図１のオブジェクト重心位置補正手段の構成を示すブロック図である。
【図３】図２の重心位置補正部による重心位置の補正の具体例を示す図である。
【図４】図２の重心位置補正部による重心位置の有無による軌道の違いを説明する図である。
【図５】図１の軌道曲線算出手段による軌道曲線の算出を説明する図である。
【図６】図１の軌道曲線補間手段による補間を説明する図である。
【図７】図１のオブジェクト軌道合成装置が出力する合成映像の例を示す図である。
【図８】図１のオブジェクト軌道合成装置の動作を示すフローチャートである。
【図９】従来技術において、影の発生を説明する示す図である。
【図１０】従来技術において、影の発生を説明する示す図である。
【図１１】従来技術において、オブジェクトの抽出を説明する第１の図である。
【図１２】従来技術において、オブジェクトの抽出を説明する第２の図である。
【図１３】従来技術において、オブジェクトの抽出を説明する第３の図である。
【符号の説明】
【００９０】
１ オブジェクト軌道合成装置
１１ 入力手段
１２ オブジェクト抽出手段
１３ オブジェクト重心位置補正手段
１３ａ オブジェクト重心位置算出部
１３ｂ オブジェクト形状算出部
１３ｃ 重心位置補正量算出部
１３ｄ 重心位置補正部
１４ 記憶手段
１５ 軌道曲線算出手段
１６ 軌道曲線補間手段（重心位置補間手段）
１７ 軌道画像生成手段
１８ 映像遅延手段
１９ 映像合成手段
ｇ 動きベクトル
Ｌ１ 位置
Ｏｂ オブジェクト
Ｓａ 影
Ｓｐ スパット
【特許請求の範囲】
【請求項１】
入力された映像に含まれるオブジェクトが描く軌道を前記映像に合成するオブジェクト軌道合成装置であって、
前記映像を入力する入力手段と、
前記入力手段に入力された映像を構成するフレーム画像から特徴量を算出し、当該特徴量に基づいて、前記映像に含まれるオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出すると共に、前記重心位置の補正量を算出する予め設定された補正式によって、算出した前記重心位置を補正するオブジェクト重心位置補正手段と、
予め設定した１以上の前記フレーム画像毎に、前記オブジェクト重心位置補正手段が補正した重心位置に基づいて、前記オブジェクトの軌道を算出すると共に、当該軌道を連結した軌道曲線上に前記補正した重心位置が位置するように当該重心位置を再度補正する軌道曲線算出手段と、
前記軌道曲線算出手段が再度補正した重心位置を時系列で連続させた前記オブジェクトの軌道を示す軌道画像を生成する軌道画像生成手段と、
前記入力手段に入力された映像を遅延させる映像遅延手段と、
前記映像遅延手段が遅延させた映像と前記軌道画像生成手段が生成した軌道画像とを合成する映像合成手段と、
を備えることを特徴とするオブジェクト軌道合成装置。
【請求項２】
前記オブジェクト抽出手段は、前記オブジェクトを抽出できたか否かを判定し、
前記オブジェクトを抽出できなかった場合、前後する前記フレーム画像における再度補正した前記重心位置の差から前記オブジェクトの動きベクトルを算出すると共に、当該動きベクトルに基づいて、前記オブジェクトを抽出できなかったフレーム画像における前記オブジェクトの予測位置を算出して前記重心位置を補間する重心位置補間手段、を備えることを特徴とする請求項１に記載のオブジェクト軌道合成装置。
【請求項３】
前記重心位置補間手段は、前記動きベクトルに基づいて、前記オブジェクトの軌道を延長した延長線上における前記オブジェクトの予測位置を算出して前記重心位置を補間することを特徴とする請求項２に記載のオブジェクト軌道合成装置。
【請求項４】
前記オブジェクト重心位置補正手段は、
前記オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出するオブジェクト重心位置算出部と、
前記オブジェクト抽出手段が抽出したオブジェクトのアスペクト比又は円形度を、当該オブジェクトの形状を示す値として算出するオブジェクト形状算出部と、
前記オブジェクト形状算出部が算出したオブジェクトの形状を示す値と予め設定した前記オブジェクトの形状を示す値との差に、前記重心位置の補正の重み付けを示す係数を乗じて、前記重心位置の補正量を算出する重心位置補正量算出部と、
前記重心位置補正量算出部が算出した重心位置の補正量に基づいて、前記オブジェクト重心位置算出部が算出したオブジェクトの重心位置を補正する重心位置補正部と、
を備えることを特徴とする請求項１から請求項３の何れか一項に記載のオブジェクト軌道合成装置。
【請求項５】
入力された映像に含まれるオブジェクトが描く軌道を前記映像に合成するために、前記映像を入力する入力手段を備えるコンピュータを、
前記入力手段に入力された映像を構成するフレーム画像から特徴量を算出し、当該特徴量に基づいて、前記映像に含まれるオブジェクトを抽出するオブジェクト抽出手段、
前記オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出すると共に、前記重心位置の補正量を算出する予め設定された補正式によって、算出した前記重心位置を補正するオブジェクト重心位置補正手段、
予め設定した１以上の前記フレーム画像毎に、前記オブジェクト重心位置補正手段が補正した重心位置に基づいて、前記オブジェクトの軌道を算出すると共に、当該軌道を連結した軌道曲線上に前記補正した重心位置が位置するように当該重心位置を再度補正する軌道曲線算出手段、
前記軌道曲線算出手段が再度補正した重心位置を時系列で連続させた前記オブジェクトの軌道を示す軌道画像を生成する軌道画像生成手段、
前記入力手段に入力された映像を遅延させる映像遅延手段、
前記映像遅延手段が遅延させた映像と前記軌道画像生成手段が生成した軌道画像とを合成する映像合成手段、
として機能させることを特徴とするオブジェクト軌道合成プログラム。
【請求項１】
入力された映像に含まれるオブジェクトが描く軌道を前記映像に合成するオブジェクト軌道合成装置であって、
前記映像を入力する入力手段と、
前記入力手段に入力された映像を構成するフレーム画像から特徴量を算出し、当該特徴量に基づいて、前記映像に含まれるオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出すると共に、前記重心位置の補正量を算出する予め設定された補正式によって、算出した前記重心位置を補正するオブジェクト重心位置補正手段と、
予め設定した１以上の前記フレーム画像毎に、前記オブジェクト重心位置補正手段が補正した重心位置に基づいて、前記オブジェクトの軌道を算出すると共に、当該軌道を連結した軌道曲線上に前記補正した重心位置が位置するように当該重心位置を再度補正する軌道曲線算出手段と、
前記軌道曲線算出手段が再度補正した重心位置を時系列で連続させた前記オブジェクトの軌道を示す軌道画像を生成する軌道画像生成手段と、
前記入力手段に入力された映像を遅延させる映像遅延手段と、
前記映像遅延手段が遅延させた映像と前記軌道画像生成手段が生成した軌道画像とを合成する映像合成手段と、
を備えることを特徴とするオブジェクト軌道合成装置。
【請求項２】
前記オブジェクト抽出手段は、前記オブジェクトを抽出できたか否かを判定し、
前記オブジェクトを抽出できなかった場合、前後する前記フレーム画像における再度補正した前記重心位置の差から前記オブジェクトの動きベクトルを算出すると共に、当該動きベクトルに基づいて、前記オブジェクトを抽出できなかったフレーム画像における前記オブジェクトの予測位置を算出して前記重心位置を補間する重心位置補間手段、を備えることを特徴とする請求項１に記載のオブジェクト軌道合成装置。
【請求項３】
前記重心位置補間手段は、前記動きベクトルに基づいて、前記オブジェクトの軌道を延長した延長線上における前記オブジェクトの予測位置を算出して前記重心位置を補間することを特徴とする請求項２に記載のオブジェクト軌道合成装置。
【請求項４】
前記オブジェクト重心位置補正手段は、
前記オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出するオブジェクト重心位置算出部と、
前記オブジェクト抽出手段が抽出したオブジェクトのアスペクト比又は円形度を、当該オブジェクトの形状を示す値として算出するオブジェクト形状算出部と、
前記オブジェクト形状算出部が算出したオブジェクトの形状を示す値と予め設定した前記オブジェクトの形状を示す値との差に、前記重心位置の補正の重み付けを示す係数を乗じて、前記重心位置の補正量を算出する重心位置補正量算出部と、
前記重心位置補正量算出部が算出した重心位置の補正量に基づいて、前記オブジェクト重心位置算出部が算出したオブジェクトの重心位置を補正する重心位置補正部と、
を備えることを特徴とする請求項１から請求項３の何れか一項に記載のオブジェクト軌道合成装置。
【請求項５】
入力された映像に含まれるオブジェクトが描く軌道を前記映像に合成するために、前記映像を入力する入力手段を備えるコンピュータを、
前記入力手段に入力された映像を構成するフレーム画像から特徴量を算出し、当該特徴量に基づいて、前記映像に含まれるオブジェクトを抽出するオブジェクト抽出手段、
前記オブジェクト抽出手段が抽出したオブジェクトの重心位置を算出すると共に、前記重心位置の補正量を算出する予め設定された補正式によって、算出した前記重心位置を補正するオブジェクト重心位置補正手段、
予め設定した１以上の前記フレーム画像毎に、前記オブジェクト重心位置補正手段が補正した重心位置に基づいて、前記オブジェクトの軌道を算出すると共に、当該軌道を連結した軌道曲線上に前記補正した重心位置が位置するように当該重心位置を再度補正する軌道曲線算出手段、
前記軌道曲線算出手段が再度補正した重心位置を時系列で連続させた前記オブジェクトの軌道を示す軌道画像を生成する軌道画像生成手段、
前記入力手段に入力された映像を遅延させる映像遅延手段、
前記映像遅延手段が遅延させた映像と前記軌道画像生成手段が生成した軌道画像とを合成する映像合成手段、
として機能させることを特徴とするオブジェクト軌道合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１１３６３２（Ｐ２０１０−１１３６３２Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８７３０８（Ｐ２００８−２８７３０８）
【出願日】平成２０年１１月１０日（２００８．１１．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月１０日（２００８．１１．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]