移動物体計測装置、移動物体計測システム、および移動物体計測方法
【課題】従来の移動物体計測装置においては、移動物体の３次元軌跡が容易に計測できない、という課題があった。
【解決手段】格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備する移動物体計測装置により、移動物体の３次元軌跡が容易に計測できる。
【解決手段】格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備する移動物体計測装置により、移動物体の３次元軌跡が容易に計測できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いて撮影した映像から、球技スポーツにおけるボールのように高速で移動する物体の運動軌跡を３次元で取得する移動物体計測装置等に関するものである。
【背景技術】
【０００２】
従来の第一の技術は、一方向のカメラで撮影した撮影画像を画像処理手段で処理する構成である。この画像処理手段は、画像入力，選手とボールの検出処理，ボール識別処理，選手とボール追跡処理，座標変換処理，ボール接地検出処理，ボール座標修正処理，ボール高さ計測処理，選手とボールの軌跡抽出処理を１サイクルで行うように構成した運動物体計測装置である（特許文献１参照）。本運動物体計測装置は、選手とボールの検出処理とボール識別処理を実行することにより、選手とボールを区別して検出し、選手とボールの追跡処理によってカメラ座標上での選手座標とボール座標を求める。時々刻々と計測される選手とボールの座標列は、それぞれのカメラ軌跡となる。そして、本運動物体計測装置は、座標変換処理により、選手軌跡とボール軌跡をそれぞれワールド座標軌跡に変換する。選手は略グランド面に接しているので、前記ワールド座標軌跡はそのまま所望の選手の軌跡とする。一方、ボールは必ずしもグランドに接していないので、ボール軌跡は所望のボールの軌跡ではない。そこで、本運動物体計測装置は、ボール接地検出処理によって、前記ボールの接地位置のワールド座標を求め、前記ボールの２以上の接地位置を直線あるいはモデル曲線で結び、これをボールのグランド面上での軌跡として前記ボールのワールド座標軌跡を置き換える。そして、本運動物体計測装置は、修正前のワールド座標と修正後のワールド座標を使って、ボール高さ計測処理でボールの高さを算出する。本運動物体計測装置は、この修正済みのボールのワールド座標軌跡に前記ボールの高さを加えて、３次元のワールド座標軌跡を得る装置である。
【０００３】
また、従来の第二の技術は、カメラ間のシャッタータイミングのずれを利用した、移動物体の高速な３次元位置推定の技術である（非特許文献１参照）。かかる技術は、複数の通常レートのカメラで見かけの計測レートを向上させるための技術である。
【０００４】
さらに、関連する従来技術として、物体の撮影画像から物体領域を抽出した複数のシルエット画像を、もとの３次元空間に投影し、それぞれの視体積の交差部分を求めることにより、物体の３次元形状データ（ボクセルデータの集合）を得る、視体積交差法という技術（例えば、非特許文献２参照）がある。
【特許文献１】特開２００１−２７３５００号公報（第１頁、第１図等）
【非特許文献１】清水彰一、「カメラ間のシャッタータイミングのずれを利用した高速３次元位置推定」、２００４、ＭＩＲＵ２００４，ｖｏｌ．１，ｐｐ．４２８−４３３
【非特許文献２】Laurentini、A.「The visual hull concept for silhouette-based image understanding」、1994、IEEE、PAMI、Vol.16、pp.150-162
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の第一の技術においては、一のカメラを用いて、ボール接地検出処理によって前記ボールの接地位置のワールド座標を求め、次に、ボール高さ計測処理を行うことにより３次元のボールの軌跡を取得する、という方法であり、ボール接地検出処理を行うので、ボールが接地しない場合は軌跡を取得できない、と言う課題があった。
【０００６】
また、従来の第二の技術においては、複数のカメラからの情報を統合する前に、まず単一のカメラ映像の連続するコマ（フレーム）において、補完技術などにより対象物体像を繋いだ軌跡を予め求めておく必要がある。したがって、移動物体が不連続に動いている場合などは、正しく軌跡が求められない可能性がある。たとえば、従来の第二の技術においては、蹴られた瞬間やバウンドした瞬間がとらえられていないボールの軌跡を正確に求めるのは困難であった。
【課題を解決するための手段】
【０００７】
本第一の発明の移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像を格納している映像情報格納部と、前記２以上のカメラに関する情報である２以上のカメラパラメータを格納しているカメラパラメータ格納部と、前記映像情報格納部が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備する移動物体計測装置である。
また、本第二の発明の移動物体計測装置は、第一の発明に対して、前記映像情報格納部の２以上の映像画像は、同期をとらない２以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像であることが好適である。
【０００８】
また、本第三の発明の移動物体計測装置は、第一の発明に対して、前記移動軌跡情報取得部は、前記映像情報格納部が格納している２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する移動物体計測装置である。
【０００９】
また、本第四の発明の移動物体計測装置は、第一の発明に対して、前記移動軌跡情報取得部は、前記映像情報格納部が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する移動物体計測装置である。
かかる構成により、シャッター速度の速くないカメラを用いて、一の画像中の移動物体軌跡を利用して、移動物体の３次元軌跡が、容易に取得できる。
また、本第五の発明の移動物体計測装置は、第一から第四いずれかの発明に対して、前記映像情報は、３０フレーム／秒のカメラで撮影された映像の情報である移動物体計測装置である。
かかる構成により、市販のビデオカメラを利用して、移動物体の３次元軌跡が、容易に取得できる。
また、本第六の発明の移動物体計測装置は、第一から第五いずれかの発明に対して、前記移動物体は、球面体である移動物体計測装置である。
かかる構成により、本移動物体計測装置は、ボールスポーツの放送で利用するオーサリングシステム、ゲームなどのコンテンツを作成するオーサリングシステム等で利用できる。
【００１０】
また、本第七の発明の移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置である。
【００１１】
また、本第八の発明の移動物体計測システムは、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラと、上記発明の移動物体計測装置を具備する移動物体計測システムである。
【００１２】
また、本第九の発明の移動物体計測装置は、第八の発明に対して、前記２以上のカメラは、撮影した映像情報を送信する映像情報送信手段を具備し、前記移動物体計測装置は、前記２以上のカメラから２以上の映像情報を受信する映像情報受信部をさらに具備し、前記映像情報格納部の２以上の映像画像は、前記映像情報受信部が受信した前記２以上の映像情報である移動物体計測システムである。
かかる構成により、例えば、ボールスポーツの放送を行いながら、ボールの３次元軌跡を、視聴者にすぐに提供できる。
【発明の効果】
【００１３】
本発明による移動物体計測装置によれば、移動物体の３次元軌跡が、容易に取得できる。
【発明を実施するための最良の形態】
【００１４】
以下、移動物体計測装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
【００１５】
図１は、本実施の形態における移動物体計測システムの概念図である。移動物体計測システムは、２台以上のカメラ１１（本例では、２台のカメラ、カメラ１１（１）、カメラ１１（２）を有する）、移動物体計測装置１２を具備する。
【００１６】
カメラ１１は、撮影した映像情報を移動物体計測装置１２に送信する映像情報送信手段１１１を具備している。映像情報送信手段１１１は、無線または有線の通信手段で実現され得る。ただし、映像情報送信手段１１１は、放送手段で実現されても良い。
【００１７】
また、移動物体計測システムにおいて、２台以上のカメラ１１は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影するカメラである。さらに、カメラ１１は、シャッタースピードが遅いカメラであることは好適である。例えば、カメラ１１が撮影し、取得する映像情報は、静止画の集合であり、３０フレーム／秒で撮影された映像の情報である。また、２以上のカメラは、同期をとる必要がない。
図２は、本実施の形態における移動物体計測システムのブロック図である。
カメラ１１は、映像情報送信手段１１１を具備する。
【００１８】
移動物体計測装置１２は、映像情報受信部１２０１、映像情報格納部１２０２、カメラパラメータ格納部１２０３、移動軌跡情報取得部１２０４、三次元軌跡情報取得部１２０５、三次元軌跡情報出力部１２０６を具備する。
【００１９】
映像情報受信部１２０１は、２以上のカメラ１１から、映像情報を受信する。映像情報受信部１２０１は、無線または有線の通信手段で実現され得る。ただし、映像情報受信部１２０１は、放送を受信する手段（チューナー等）で実現されても良い。
【００２０】
映像情報格納部１２０２は、２以上の映像画像を格納している。２以上の映像画像は、２台以上のカメラ１１で撮影された映像情報であり、例えば、映像情報受信部１２０１が受信した映像情報である。２以上のカメラ１１は、それぞれ空間上の異なる位置に設置されたカメラであり、空間上を移動する物体である移動物体を撮影するカメラである。また、２以上の映像画像は、移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、移動物体の移動軌跡が残された画像（静止画）を複数有する２以上の映像画像である。２以上のカメラ１１は、フレーム同期をとっていない。映像情報格納部１２０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。なお、移動物体は、卓球や野球やサッカーやゴルフ等のスポーツで使用するボールや、他の移動する物体である。また、移動物体は、通常、背景とは異なる色を有している。また、映像情報格納部１２０２は、物理的に２以上の記録媒体で構成されていても良い。また、映像情報格納部１２０２に格納されている以上の映像画像は、記録媒体等を経由してカメラ１１から取得されたものでも良く、映像情報受信部１２０１が受信した映像画像に限られない。
【００２１】
カメラパラメータ格納部１２０３は、２以上のカメラに関する情報である２以上のカメラパラメータを格納している。カメラパラメータは、カメラに関する幾何情報である。カメラに関する幾何情報とは、カメラの位置、方向、焦点距離、画像中心、レンズによる像の歪などの情報が含まれる。カメラ位置の情報は、通常、空間上の座標を示す情報（ｘ，ｙ，ｚ）や、（経度，緯度）等である。また、カメラパラメータ格納部１２０３が格納しているカメラパラメータは、図示しない受信部が、カメラ１１等から受信しても良い。カメラパラメータ格納部１２０３は、不揮発性の記録媒体でも、揮発性の記録媒体でも良い。
【００２２】
移動軌跡情報取得部１２０４は、映像情報格納部１２０２が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、２以上の映像画像ごとに取得する。画像から移動軌跡情報を取得するアルゴリズムとして、例えば、背景差分法がある。なお、背景差分法は、公知技術であるので説明を省略する。また、画像から移動軌跡情報を取得するアルゴリズムとして、例えば、移動物体の色および類似する色のドットのみを画像から抽出する処理がある。かかる場合、移動物体の色と、その他の背景の色が十分異なることが必要である。また、移動軌跡情報取得部１２０４は、例えば、映像情報格納部１２０２が格納している２以上の各映像画像（静止画の集合）が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報（短い移動軌跡の情報）を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報（短い移動軌跡の情報を連結した長い移動軌跡の情報）を取得しても良い。かかる場合、移動軌跡情報取得部１２０４は、カメラ１１の台数分の移動軌跡情報を得る。また、移動軌跡情報取得部１２０４が得た移動軌跡情報は、移動物体の軌跡を示す情報である。なお、移動軌跡情報は、カメラがシャッターを有する場合、カメラのシャッターが閉じている際の移動は、描写されていない軌跡の情報である。移動軌跡情報は、通常、（ｘ，ｙ）または、（ｘ，ｙ，ｃｏｌ）の情報の集合である。なお、「ｃｏｌ」は、色情報である。移動軌跡情報取得部１２０４は、通常、ＭＰＵやメモリ等から実現され得る。移動軌跡情報取得部１２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２３】
三次元軌跡情報取得部１２０５は、移動軌跡情報取得部１２０４が取得した２以上の映像画像ごとの移動軌跡情報と、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。視体積交差法は、公知技術であるので、説明を省略する。また、三次元軌跡情報取得部１２０５は、いくつか存在する視体積交差法のうち、いかなるアルゴリズムの視体積交差法により三次元軌跡情報を取得するかは問わない。また、三次元軌跡情報は、通常、ボクセル情報（ｘ，ｙ，ｚ，ｃｏｌ）である。つまり、三次元軌跡情報は、通常、空間内の位置情報と色情報を有する。ただし、三次元軌跡情報は、空間内の位置情報（ｘ，ｙ，ｚ）のみでも良い。三次元軌跡情報取得部１２０５は、通常、ＭＰＵやメモリ等から実現され得る。三次元軌跡情報取得部１２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２４】
三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２０５が取得した三次元軌跡情報を出力する。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、外部の装置への送信、記録媒体への蓄積等を含む概念である。三次元軌跡情報出力部１２０６は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。三次元軌跡情報出力部１２０６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００２５】
次に、移動物体計測装置の動作について図３のフローチャートを用いて説明する。なお、図３のフローチャートにおいて、映像情報受信部１２０１は、２台以上の各カメラ１１から、２以上の映像情報を受信し、映像情報格納部１２０２に、受信した２以上の映像情報が格納されている、とする。
（ステップＳ３０１）移動軌跡情報取得部１２０４は、カウンタｉに１を代入する。
【００２６】
（ステップＳ３０２）移動軌跡情報取得部１２０４は、ｉ番目の映像情報が映像情報格納部１２０２に格納されているか否かを判断する。ｉ番目の映像情報は、ｉ番目のカメラ１１で撮影された映像情報である。ｉ番目の映像情報が格納されていればステップＳ３０３に行き、ｉ番目の映像情報が格納されていなければステップＳ３１１に行く。
（ステップＳ３０３）移動軌跡情報取得部１２０４は、カウンタｊに１を代入する。
【００２７】
（ステップＳ３０４）移動軌跡情報取得部１２０４は、ｊ番目の画像（静止画）が、ｉ番目の映像情報中に存在するか否かを判断する。ｊ番目の画像が存在すればステップＳ３０５に行き、ｊ番目の画像が存在しなければステップＳ３０８に行く。
【００２８】
（ステップＳ３０５）移動軌跡情報取得部１２０４は、ｊ番目の画像中から、移動軌跡情報を抽出する。移動軌跡情報取得部１２０４は、例えば、移動物体が有する色に基づいて、ｊ番目の画像（ビットマップ情報）中から、当該色のドット「（ｘ，ｙ）または（ｘ，ｙ，ｃｏｌ）」の集合を取得する。移動軌跡情報取得部１２０４は、例えば、背景差分法を用いて、移動軌跡情報を抽出する。なお、ここで、カメラ１１は、十分、シャッター速度が遅いカメラであり、通常、移動物体の移動速度は速いので、ｊ番目の画像には、移動物体の軌跡が描写されている。移動物体の軌跡とは、通常、ドットの集合である。
（ステップＳ３０６）移動軌跡情報取得部１２０４は、ステップＳ３０５で取得した移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ３０７）移動軌跡情報取得部１２０４は、カウンタｊを１、インクリメントする。ステップＳ３０４に戻る。
【００２９】
（ステップＳ３０８）移動軌跡情報取得部１２０４は、ステップＳ３０６でメモリ等に一時格納された２以上の移動軌跡情報を読み出し、合成する。合成する処理は、単に移動軌跡情報を結合するだけでも良い。なお、ステップＳ３０８で合成して得た情報は、カメラごとの移動軌跡情報である。
（ステップＳ３０９）移動軌跡情報取得部１２０４は、ステップＳ３０８で得たカメラごとの移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ３１０）移動軌跡情報取得部１２０４は、カウンタｉを１、インクリメントする。ステップＳ３０２に戻る。
（ステップＳ３１１）三次元軌跡情報取得部１２０５は、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータを読み出す。
（ステップＳ３１２）三次元軌跡情報取得部１２０５は、ステップＳ３０９でメモリ等に一時格納された２以上の移動軌跡情報を読み出す。
【００３０】
（ステップＳ３１３）三次元軌跡情報取得部１２０５は、ステップＳ３１１で読み出した２以上のカメラパラメータ、ステップＳ３１２で読み出した移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。三次元軌跡情報を構成するドットの情報は、色情報を有しても良いし、有さなくても良い。
【００３１】
（ステップＳ３１４）三次元軌跡情報出力部１２０６は、ステップＳ３１３で取得した三次元軌跡情報を出力する。なお、三次元軌跡情報出力部１２０６は、移動物体以外の映像と、三次元軌跡情報を合成して、出力しても良い。移動物体以外の映像は、通常、予め格納されている。
以下、本実施の形態における移動物体計測装置の具体的な動作について説明する。移動物体計測システムの概念図は図１である。
今、図４に示すように、移動物体計測システムを用いて、卓球のボールの移動体の軌跡を出力する。つまり、移動物体計測システムを用いて、卓球のボールが高速移動する様子を計測する。
【００３２】
そして、本移動物体計測システムは、３台のカメラ１１と、移動物体計測装置１２を有する。３台のカメラ１１は、図４において、円錐の図形で示される。３台のカメラ１１は、（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）の位置に設置されている。なお、Ｘ軸、Ｙ軸、Ｚ軸の座標系は、図４に示した通りであり、卓球台の中心が原点（０，０，０）である。また、（１）のカメラは卓球台の真横、（２）のカメラは卓球台の斜め横、（３）のカメラは卓球台の上部の天井に設置されている。また、３台のカメラ１１は、市販の家庭用ビデオカメラであり、シャッタースピードを撮影レートと同じ１／３０ｓに設定されている。また、３台のカメラ１１が取得する画像サイズは、「７２０×４８０（ｐｉｘｅｌ）」である。
【００３３】
次に、卓球の競技者が卓球を行う際のボールの移動を、３台のカメラ１１が撮影した、とする。そして、ここでは、撮影した画像を記録媒体（例えば、ハードディスクや磁気テープなど）に蓄積した、とする。なお、カメラ１１が撮影する範囲は、卓球台の範囲（２７４ｃｍ×１５２ｃｍ×６０ｃｍ）である、とする。
次に、ユーザは、３台のカメラが撮影した映像情報が記録されている記録媒体から、映像情報を移動物体計測装置１２の映像情報格納部１２０２にコピーする、とする。
【００３４】
また、ユーザは、カメラパラメータ格納部１２０３に、カメラ位置情報（（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３））や、方向、焦点距離、画像中心、レンズによる像の歪などのカメラパラメータを書き込む、とする。
次に、ユーザは、三次元軌跡情報（卓球のボールの移動体の軌跡）の出力を指示する。この指示は、例えば、移動物体計測装置１２が有する開始ボタンの押下等である。
【００３５】
次に、移動軌跡情報取得部１２０４は、映像情報格納部１２０２の１番目の映像情報から画像を取得し、背景差分法により、移動軌跡情報を取得する。つまり、移動軌跡情報取得部１２０４は、図５の（ａ１）の画像から、（ａ２）のボールの移動軌跡情報（ドットの集合）を取得する。そして、同様に、移動軌跡情報取得部１２０４は、図５の（ｂ１）の画像から、（ｂ２）のボールの移動軌跡情報を取得する。また、同様に、移動軌跡情報取得部１２０４は、図５の（ｃ１）の画像から、（ｃ２）のボールの移動軌跡情報を取得する。
【００３６】
次に、移動軌跡情報取得部１２０４は、ボールの移動軌跡情報（図５の（ａ２）（ｂ２）（ｃ２）・・・）を合成し、図６のボールの移動軌跡情報を得る。図６のボールの移動軌跡情報は、各画像（静止画）から抽出した２以上の移動軌跡情報を合成した移動軌跡情報である。
次に、移動軌跡情報取得部１２０４は、２番目の映像情報、および３番目の映像情報から、同様に（１番目と同様に）、ボールの移動軌跡情報を取得する。
なお、ここで、移動軌跡情報取得部１２０４が取得した３つの移動軌跡情報が、例えば、図７の（ａ）（ｂ）（ｃ）であった、とする。（なお、図６の図と、図７の図は同一のボールの軌跡ではない。）
【００３７】
次に、三次元軌跡情報取得部１２０５は、３つの移動軌跡情報（図７の（ａ）（ｂ）（ｃ））と、カメラパラメータ格納部１２０３に格納されている３つのカメラパラメータを読み出す。そして、三次元軌跡情報取得部１２０５は、図８に示す情報（三次元軌跡情報管理表）を得る。
次に、三次元軌跡情報取得部１２０５は、図８に示す情報に対して、視体積交差法を適用し、移動物体の三次元軌跡の情報である三次元軌跡情報を得る。三次元軌跡情報は、通常、ボクセル情報の集合である。
【００３８】
次に、三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２０５が取得した三次元軌跡情報を出力する。そして、三次元軌跡情報出力部１２０６が出力した三次元軌跡情報の例は、図９である。なお、図９において、三次元軌跡情報出力部１２０６は、得た三次元軌跡情報と、背景となる卓球台を合成し、出力している。また、１つのボクセルの大きさ１ｃｍ３である。
【００３９】
以上、本実施の形態によれば、移動物体（ボールなど）の３次元軌跡が、容易に計測できる。また、移動物体のバウンド地点も決定可能である。特に、シャッタースピードが速くない一般的なカメラを数台並べるだけで，ボールの３次元軌跡が計測可能である。また、カメラのシャッターの同期をとる必要がなく、容易に移動物体の３次元軌跡が計測できる。つまり、複数台のカメラは、同期をとらずに、移動物体を撮影する。そして、移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が得られる。本移動物体計測装置は、この２以上の映像画像を用いて、移動物体の３次元軌跡を得る。
なお、本実施の形態によれば、移動体物体は卓球のボールであったが、テニスやゴルフ等のボールや鳥などの生物等でも良い。かかることは、他の実施の形態においても同様である。
【００４０】
また、本実施の形態の具体例によれば、移動物体計測装置１２は、カメラ１１から記録媒体を経由して、映像情報を取得したが、移動物体計測装置１２は、カメラ１１から映像情報を受信しても良い。かかる場合、例えば、卓球の試合を見ながら、少ない時間差で、ボールの３次元の軌跡を視ることができる。かかることも、他の実施の形態においても同様である。
【００４１】
また、本移動物体計測装置は、図１０（ａ）に示す通常の映像を用いるのではなく、図１０（ｂ）に示すようにあえて遅いシャッター速度のカメラで撮影した、軌跡を故意に残した映像を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。なお、野球の投球の際のボールの速度は、約１５０ｋｍ／ｈ、つまり、約４０ｍ／ｓｅｃであるので、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約１．３ｍ移動する。また、ゴルフのドライバーショットでは、約８０ｍ／ｓｅｃであり、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約２．６ｍ移動する。また、テニスのサーブでは、約２００ｋｍ／ｈ、つまり、約５５ｍ／ｓｅｃであるので、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約１．８ｍ移動する。
【００４２】
また、本移動物体計測装置は、図１１に示すように、移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報を利用し、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。したがって、カメラの同期が不要となる。
【００４３】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における移動物体計測装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、予め格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得ステップと、前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを実行させるためのプログラム、である。
【００４４】
また、前記プログラムにおいて、前記移動軌跡情報取得ステップは、予め格納されている２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得するプログラムであることは好適である。
（実施の形態２）
図１２は、本実施の形態における移動物体計測システムのブロック図である。
移動物体計測システムは、２台以上のカメラ１１、移動物体計測装置１２２を具備する。
【００４５】
移動物体計測装置１２２は、映像情報受信部１２０１、映像情報格納部１２０２、カメラパラメータ格納部１２０３、移動軌跡情報取得部１２２０４、三次元軌跡情報取得部１２２０５、三次元軌跡情報出力部１２０６を具備する。
【００４６】
移動軌跡情報取得部１２２０４は、映像情報格納部１２０２が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、２以上の映像画像ごとに取得する。移動軌跡情報取得部１２２０４は、例えば、ここでは、映像情報格納部１２０２が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する。かかる場合、図１１に示すように、２以上のカメラが取得した画像（静止画）を得るための開いていたシャッターの時間が重なる必要がある。移動軌跡情報取得部１２２０４は、通常、ＭＰＵやメモリ等から実現され得る。移動軌跡情報取得部１２２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４７】
三次元軌跡情報取得部１２２０５は、移動軌跡情報取得部１２２０４が取得した２以上の映像画像ごとの移動軌跡情報と、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。そして、三次元軌跡情報取得部１２２０５は、取得した２以上の三次元軌跡情報を合成し、出力する三次元軌跡情報を得る。三次元軌跡情報取得部１２２０５は、通常、ＭＰＵやメモリ等から実現され得る。三次元軌跡情報取得部１２２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。
【００４８】
次に、移動物体計測装置の動作について図１３のフローチャートを用いて説明する。なお、図１３のフローチャートにおいて、映像情報受信部１２０１は、２台以上の各カメラ１１から、２以上の映像情報を受信し、映像情報格納部１２０２に、受信した２以上の映像情報が格納されている、とする。
（ステップＳ１３０１）三次元軌跡情報取得部１２２０５は、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータを読み出す。
【００４９】
（ステップＳ１３０２）移動軌跡情報取得部１２２０４は、映像情報格納部１２０２に格納されているすべての映像画像中に、ｉ番目のフレーム（画像）が存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ１３０３に行き、ｉ番目のフレームが存在しなければステップＳ１３１２に行く。なお、映像情報格納部１２０２に格納されている２以上の各映像画像は、概ね同じ時刻から撮影が開始され、同じ時間だけ撮影された映像である、とする。
（ステップＳ１３０３）移動軌跡情報取得部１２２０４は、カウンタｊに１を代入する。
【００５０】
（ステップＳ１３０４）移動軌跡情報取得部１２２０４は、ｊ番目の映像画像が存在するか否かを判断する。ｊ番目の映像画像が存在すればステップＳ１３０５に行き、ｊ番目の映像画像が存在しなければステップＳ１３０９に行く。
（ステップＳ１３０５）移動軌跡情報取得部１２２０４は、ｊ番目の映像画像が有するｉ番目のフレーム（画像）を取得する。
（ステップＳ１３０６）移動軌跡情報取得部１２２０４は、ステップＳ１３０４で取得した画像から、移動軌跡情報を取得する。
（ステップＳ１３０７）移動軌跡情報取得部１２２０４は、ステップＳ１３０５で取得した移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ１３０８）移動軌跡情報取得部１２２０４は、カウンタｊを１、インクリメントする。ステップＳ１３０４に戻る。
【００５１】
（ステップＳ１３０９）三次元軌跡情報取得部１２２０５は、ステップＳ１３０１で読み出された２以上のカメラパラメータ、ステップＳ１３０７で一時格納された２以上の移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。
（ステップＳ１３１０）三次元軌跡情報取得部１２２０５は、ステップＳ１３０９で取得した三次元軌跡情報を、メモリ等に一時格納する。
（ステップＳ１３１１）三次元軌跡情報取得部１２２０５は、カウンタｉを１、インクリメントする。ステップＳ１３０２に戻る。
（ステップＳ１３１２）三次元軌跡情報出力部１２０６は、予め格納されている背景画像を取得し、出力する。背景画像は、例えば、卓球台の画像である。
（ステップＳ１３１３）三次元軌跡情報出力部１２０６は、カウンタｉに１を代入する。
【００５２】
（ステップＳ１３１４）三次元軌跡情報出力部１２０６は、ｉ番目の三次元軌跡情報が存在するか否かを判断する。ｉ番目の三次元軌跡情報が存在すればステップＳ１３１５に行き、ｉ番目の三次元軌跡情報が存在しなければ処理を終了する。
【００５３】
（ステップＳ１３１５）三次元軌跡情報出力部１２０６は、ｉ番目の三次元軌跡情報を出力する。三次元軌跡情報出力部１２０６は、ステップＳ１３１２で取得した背景画像上に、ｉ番目の三次元軌跡情報を出力する。
（ステップＳ１３１６）三次元軌跡情報取得部１２２０５は、カウンタｉを１、インクリメントする。ステップＳ１３１４に戻る。
以下、本実施の形態における移動物体計測装置の具体的な動作について説明する。移動物体計測装置の概念図は図１である。
【００５４】
今、実施の形態１で説明した具体例の状況と同様に、図４に示すように、移動物体計測システムを用いて、卓球のボールの移動体の軌跡を出力する。つまり、移動物体計測システムを用いて、卓球のボールが高速移動する様子を計測する。
【００５５】
そして、本移動物体計測システムは、３台のカメラ１１と、移動物体計測装置１２を有する。３台のカメラ１１は、（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）の位置に設置されている。なお、（１）のカメラは卓球台の真横、（２）のカメラは卓球台の斜め横、（３）のカメラは卓球台の上部の天井に設置されている。また、３台のカメラ１１は、市販の家庭用ビデオカメラであり、シャッタースピードを撮影レートと同じ１／３０ｓに設定されている。また、３台のカメラ１１が取得する画像サイズは、「７２０×４８０（ｐｉｘｅｌ）」である。
次に、卓球の競技者が卓球を行う姿を、３台のカメラ１１が撮影した、とする。そして、ここでは、撮影した画像を記録媒体（例えば、ハードディスクや磁気テープなど）に蓄積した、とする。
次に、ユーザは、３台のカメラが撮影した映像情報が記録されている記録媒体から、映像情報を移動物体計測装置１２の映像情報格納部１２０２にコピーする、とする。
また、ユーザは、カメラパラメータ格納部１２０３に、カメラパラメータを設定する、とする。
次に、ユーザは、三次元軌跡情報（卓球のボールの移動体の軌跡）の出力を指示する。
【００５６】
次に、三次元軌跡情報取得部１２２０５は、カメラパラメータ格納部１２０３から必要なカメラパラメータを読み出す。ここでは、例えば、三次元軌跡情報取得部１２２０５は、
カメラパラメータ格納部１２０３に格納されている３つのカメラパラメータ（（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）など）を読み出す。このカメラパラメータは、カメラ位置情報である。
【００５７】
次に、移動軌跡情報取得部１２２０４は、映像情報格納部１２０２の１番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。次に、映像情報格納部１２０２の２番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。次に、映像情報格納部１２０２の３番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。
【００５８】
次に、三次元軌跡情報取得部１２２０５は、上記の３つの移動軌跡情報と３つのカメラパラメータを用いて、視体積交差法を適用し、移動物体の三次元軌跡の情報である三次元軌跡情報を得る。三次元軌跡情報は、通常、ボクセル情報の集合である。また、この三次元軌跡情報は、非常に短い軌跡の情報である。
そして、移動軌跡情報取得部１２２０４および三次元軌跡情報取得部１２２０５は、かかる上記の処理を、全フレーム（画像）に対して繰り返し行い、多数の三次元軌跡情報（短い軌跡の情報）を得る。
【００５９】
次に、三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２２０５が取得した三次元軌跡情報を順次、出力する。そして、三次元軌跡情報出力部１２０６が、最終的に出力した三次元軌跡情報の例は、図９である。
【００６０】
以上、本実施の形態によれば、連続した移動物体（ボールなど）の３次元軌跡が、容易に計測できる。また、移動物体のバウンド地点も決定可能である。特に、シャッタースピードが速くない一般的なカメラを数台並べるだけで，ボールの３次元軌跡が計測可能である。また、カメラのシャッターの同期をとる必要がなく、容易に移動物体の３次元軌跡が計測できる。
【００６１】
なお、本実施の形態の具体例によれば、実施の形態１の具体例の説明と比較して、移動軌跡情報の取得、および三次元軌跡情報の取得アルゴリズムの方法（組み合わせ方法）が異なる。つまり、移動物体計測装置の三次元軌跡情報取得部が一度に取得する三次元軌跡情報の量（単位）は問わない。よって、本移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置、であれば良い。
【００６２】
さらに、本実施の形態における移動物体計測装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、予め格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得ステップと、前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを実行させるためのプログラム、である。
【００６３】
また、前記プログラムにおいて、前記移動軌跡情報取得ステップは、予め格納されている２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得するプログラムであることは好適である。
【００６４】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【００６５】
以上のように、本発明にかかる移動物体計測装置は、移動物体の３次元軌跡が、容易に計測できる、という効果を有し、ボールスポーツの放送で利用するオーサリングシステム、ゲームなどのコンテンツを作成するオーサリングシステム等として有用である。
【図面の簡単な説明】
【００６６】
【図１】実施の形態１における移動物体計測システムの概念図
【図２】同移動物体計測システムのブロック図
【図３】同移動物体計測装置の動作について説明するフローチャート
【図４】同移動物体計測システムの撮影場の例を示す図
【図５】同移動物体計測装置が取得する移動軌跡情報を示す図
【図６】同移動物体計測装置が合成して、取得する移動軌跡情報を示す図
【図７】同移動物体計測装置が合成して、取得する移動軌跡情報を示す図
【図８】同三次元軌跡情報管理表を示す図
【図９】同出力する三次元軌跡情報の例を示す図
【図１０】同移動物体計測装置の処理の概念を説明する図
【図１１】同移動物体計測装置の処理の概念を説明する図
【図１２】実施の形態２における移動物体計測システムのブロック図
【図１３】同移動物体計測装置の動作について説明するフローチャート
【符号の説明】
【００６７】
１２、１２２ 移動物体計測装置
１１１ 映像情報送信手段
１２０１ 映像情報受信部
１２０２ 映像情報格納部
１２０３ カメラパラメータ格納部
１２０４、１２２０４ 移動軌跡情報取得部
１２０５、１２２０５ 三次元軌跡情報取得部
１２０６ 三次元軌跡情報出力部
【技術分野】
【０００１】
本発明は、複数のカメラを用いて撮影した映像から、球技スポーツにおけるボールのように高速で移動する物体の運動軌跡を３次元で取得する移動物体計測装置等に関するものである。
【背景技術】
【０００２】
従来の第一の技術は、一方向のカメラで撮影した撮影画像を画像処理手段で処理する構成である。この画像処理手段は、画像入力，選手とボールの検出処理，ボール識別処理，選手とボール追跡処理，座標変換処理，ボール接地検出処理，ボール座標修正処理，ボール高さ計測処理，選手とボールの軌跡抽出処理を１サイクルで行うように構成した運動物体計測装置である（特許文献１参照）。本運動物体計測装置は、選手とボールの検出処理とボール識別処理を実行することにより、選手とボールを区別して検出し、選手とボールの追跡処理によってカメラ座標上での選手座標とボール座標を求める。時々刻々と計測される選手とボールの座標列は、それぞれのカメラ軌跡となる。そして、本運動物体計測装置は、座標変換処理により、選手軌跡とボール軌跡をそれぞれワールド座標軌跡に変換する。選手は略グランド面に接しているので、前記ワールド座標軌跡はそのまま所望の選手の軌跡とする。一方、ボールは必ずしもグランドに接していないので、ボール軌跡は所望のボールの軌跡ではない。そこで、本運動物体計測装置は、ボール接地検出処理によって、前記ボールの接地位置のワールド座標を求め、前記ボールの２以上の接地位置を直線あるいはモデル曲線で結び、これをボールのグランド面上での軌跡として前記ボールのワールド座標軌跡を置き換える。そして、本運動物体計測装置は、修正前のワールド座標と修正後のワールド座標を使って、ボール高さ計測処理でボールの高さを算出する。本運動物体計測装置は、この修正済みのボールのワールド座標軌跡に前記ボールの高さを加えて、３次元のワールド座標軌跡を得る装置である。
【０００３】
また、従来の第二の技術は、カメラ間のシャッタータイミングのずれを利用した、移動物体の高速な３次元位置推定の技術である（非特許文献１参照）。かかる技術は、複数の通常レートのカメラで見かけの計測レートを向上させるための技術である。
【０００４】
さらに、関連する従来技術として、物体の撮影画像から物体領域を抽出した複数のシルエット画像を、もとの３次元空間に投影し、それぞれの視体積の交差部分を求めることにより、物体の３次元形状データ（ボクセルデータの集合）を得る、視体積交差法という技術（例えば、非特許文献２参照）がある。
【特許文献１】特開２００１−２７３５００号公報（第１頁、第１図等）
【非特許文献１】清水彰一、「カメラ間のシャッタータイミングのずれを利用した高速３次元位置推定」、２００４、ＭＩＲＵ２００４，ｖｏｌ．１，ｐｐ．４２８−４３３
【非特許文献２】Laurentini、A.「The visual hull concept for silhouette-based image understanding」、1994、IEEE、PAMI、Vol.16、pp.150-162
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の第一の技術においては、一のカメラを用いて、ボール接地検出処理によって前記ボールの接地位置のワールド座標を求め、次に、ボール高さ計測処理を行うことにより３次元のボールの軌跡を取得する、という方法であり、ボール接地検出処理を行うので、ボールが接地しない場合は軌跡を取得できない、と言う課題があった。
【０００６】
また、従来の第二の技術においては、複数のカメラからの情報を統合する前に、まず単一のカメラ映像の連続するコマ（フレーム）において、補完技術などにより対象物体像を繋いだ軌跡を予め求めておく必要がある。したがって、移動物体が不連続に動いている場合などは、正しく軌跡が求められない可能性がある。たとえば、従来の第二の技術においては、蹴られた瞬間やバウンドした瞬間がとらえられていないボールの軌跡を正確に求めるのは困難であった。
【課題を解決するための手段】
【０００７】
本第一の発明の移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像を格納している映像情報格納部と、前記２以上のカメラに関する情報である２以上のカメラパラメータを格納しているカメラパラメータ格納部と、前記映像情報格納部が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備する移動物体計測装置である。
また、本第二の発明の移動物体計測装置は、第一の発明に対して、前記映像情報格納部の２以上の映像画像は、同期をとらない２以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像であることが好適である。
【０００８】
また、本第三の発明の移動物体計測装置は、第一の発明に対して、前記移動軌跡情報取得部は、前記映像情報格納部が格納している２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する移動物体計測装置である。
【０００９】
また、本第四の発明の移動物体計測装置は、第一の発明に対して、前記移動軌跡情報取得部は、前記映像情報格納部が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する移動物体計測装置である。
かかる構成により、シャッター速度の速くないカメラを用いて、一の画像中の移動物体軌跡を利用して、移動物体の３次元軌跡が、容易に取得できる。
また、本第五の発明の移動物体計測装置は、第一から第四いずれかの発明に対して、前記映像情報は、３０フレーム／秒のカメラで撮影された映像の情報である移動物体計測装置である。
かかる構成により、市販のビデオカメラを利用して、移動物体の３次元軌跡が、容易に取得できる。
また、本第六の発明の移動物体計測装置は、第一から第五いずれかの発明に対して、前記移動物体は、球面体である移動物体計測装置である。
かかる構成により、本移動物体計測装置は、ボールスポーツの放送で利用するオーサリングシステム、ゲームなどのコンテンツを作成するオーサリングシステム等で利用できる。
【００１０】
また、本第七の発明の移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置である。
【００１１】
また、本第八の発明の移動物体計測システムは、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラと、上記発明の移動物体計測装置を具備する移動物体計測システムである。
【００１２】
また、本第九の発明の移動物体計測装置は、第八の発明に対して、前記２以上のカメラは、撮影した映像情報を送信する映像情報送信手段を具備し、前記移動物体計測装置は、前記２以上のカメラから２以上の映像情報を受信する映像情報受信部をさらに具備し、前記映像情報格納部の２以上の映像画像は、前記映像情報受信部が受信した前記２以上の映像情報である移動物体計測システムである。
かかる構成により、例えば、ボールスポーツの放送を行いながら、ボールの３次元軌跡を、視聴者にすぐに提供できる。
【発明の効果】
【００１３】
本発明による移動物体計測装置によれば、移動物体の３次元軌跡が、容易に取得できる。
【発明を実施するための最良の形態】
【００１４】
以下、移動物体計測装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
【００１５】
図１は、本実施の形態における移動物体計測システムの概念図である。移動物体計測システムは、２台以上のカメラ１１（本例では、２台のカメラ、カメラ１１（１）、カメラ１１（２）を有する）、移動物体計測装置１２を具備する。
【００１６】
カメラ１１は、撮影した映像情報を移動物体計測装置１２に送信する映像情報送信手段１１１を具備している。映像情報送信手段１１１は、無線または有線の通信手段で実現され得る。ただし、映像情報送信手段１１１は、放送手段で実現されても良い。
【００１７】
また、移動物体計測システムにおいて、２台以上のカメラ１１は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影するカメラである。さらに、カメラ１１は、シャッタースピードが遅いカメラであることは好適である。例えば、カメラ１１が撮影し、取得する映像情報は、静止画の集合であり、３０フレーム／秒で撮影された映像の情報である。また、２以上のカメラは、同期をとる必要がない。
図２は、本実施の形態における移動物体計測システムのブロック図である。
カメラ１１は、映像情報送信手段１１１を具備する。
【００１８】
移動物体計測装置１２は、映像情報受信部１２０１、映像情報格納部１２０２、カメラパラメータ格納部１２０３、移動軌跡情報取得部１２０４、三次元軌跡情報取得部１２０５、三次元軌跡情報出力部１２０６を具備する。
【００１９】
映像情報受信部１２０１は、２以上のカメラ１１から、映像情報を受信する。映像情報受信部１２０１は、無線または有線の通信手段で実現され得る。ただし、映像情報受信部１２０１は、放送を受信する手段（チューナー等）で実現されても良い。
【００２０】
映像情報格納部１２０２は、２以上の映像画像を格納している。２以上の映像画像は、２台以上のカメラ１１で撮影された映像情報であり、例えば、映像情報受信部１２０１が受信した映像情報である。２以上のカメラ１１は、それぞれ空間上の異なる位置に設置されたカメラであり、空間上を移動する物体である移動物体を撮影するカメラである。また、２以上の映像画像は、移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、移動物体の移動軌跡が残された画像（静止画）を複数有する２以上の映像画像である。２以上のカメラ１１は、フレーム同期をとっていない。映像情報格納部１２０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。なお、移動物体は、卓球や野球やサッカーやゴルフ等のスポーツで使用するボールや、他の移動する物体である。また、移動物体は、通常、背景とは異なる色を有している。また、映像情報格納部１２０２は、物理的に２以上の記録媒体で構成されていても良い。また、映像情報格納部１２０２に格納されている以上の映像画像は、記録媒体等を経由してカメラ１１から取得されたものでも良く、映像情報受信部１２０１が受信した映像画像に限られない。
【００２１】
カメラパラメータ格納部１２０３は、２以上のカメラに関する情報である２以上のカメラパラメータを格納している。カメラパラメータは、カメラに関する幾何情報である。カメラに関する幾何情報とは、カメラの位置、方向、焦点距離、画像中心、レンズによる像の歪などの情報が含まれる。カメラ位置の情報は、通常、空間上の座標を示す情報（ｘ，ｙ，ｚ）や、（経度，緯度）等である。また、カメラパラメータ格納部１２０３が格納しているカメラパラメータは、図示しない受信部が、カメラ１１等から受信しても良い。カメラパラメータ格納部１２０３は、不揮発性の記録媒体でも、揮発性の記録媒体でも良い。
【００２２】
移動軌跡情報取得部１２０４は、映像情報格納部１２０２が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、２以上の映像画像ごとに取得する。画像から移動軌跡情報を取得するアルゴリズムとして、例えば、背景差分法がある。なお、背景差分法は、公知技術であるので説明を省略する。また、画像から移動軌跡情報を取得するアルゴリズムとして、例えば、移動物体の色および類似する色のドットのみを画像から抽出する処理がある。かかる場合、移動物体の色と、その他の背景の色が十分異なることが必要である。また、移動軌跡情報取得部１２０４は、例えば、映像情報格納部１２０２が格納している２以上の各映像画像（静止画の集合）が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報（短い移動軌跡の情報）を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報（短い移動軌跡の情報を連結した長い移動軌跡の情報）を取得しても良い。かかる場合、移動軌跡情報取得部１２０４は、カメラ１１の台数分の移動軌跡情報を得る。また、移動軌跡情報取得部１２０４が得た移動軌跡情報は、移動物体の軌跡を示す情報である。なお、移動軌跡情報は、カメラがシャッターを有する場合、カメラのシャッターが閉じている際の移動は、描写されていない軌跡の情報である。移動軌跡情報は、通常、（ｘ，ｙ）または、（ｘ，ｙ，ｃｏｌ）の情報の集合である。なお、「ｃｏｌ」は、色情報である。移動軌跡情報取得部１２０４は、通常、ＭＰＵやメモリ等から実現され得る。移動軌跡情報取得部１２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２３】
三次元軌跡情報取得部１２０５は、移動軌跡情報取得部１２０４が取得した２以上の映像画像ごとの移動軌跡情報と、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。視体積交差法は、公知技術であるので、説明を省略する。また、三次元軌跡情報取得部１２０５は、いくつか存在する視体積交差法のうち、いかなるアルゴリズムの視体積交差法により三次元軌跡情報を取得するかは問わない。また、三次元軌跡情報は、通常、ボクセル情報（ｘ，ｙ，ｚ，ｃｏｌ）である。つまり、三次元軌跡情報は、通常、空間内の位置情報と色情報を有する。ただし、三次元軌跡情報は、空間内の位置情報（ｘ，ｙ，ｚ）のみでも良い。三次元軌跡情報取得部１２０５は、通常、ＭＰＵやメモリ等から実現され得る。三次元軌跡情報取得部１２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２４】
三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２０５が取得した三次元軌跡情報を出力する。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、外部の装置への送信、記録媒体への蓄積等を含む概念である。三次元軌跡情報出力部１２０６は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。三次元軌跡情報出力部１２０６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００２５】
次に、移動物体計測装置の動作について図３のフローチャートを用いて説明する。なお、図３のフローチャートにおいて、映像情報受信部１２０１は、２台以上の各カメラ１１から、２以上の映像情報を受信し、映像情報格納部１２０２に、受信した２以上の映像情報が格納されている、とする。
（ステップＳ３０１）移動軌跡情報取得部１２０４は、カウンタｉに１を代入する。
【００２６】
（ステップＳ３０２）移動軌跡情報取得部１２０４は、ｉ番目の映像情報が映像情報格納部１２０２に格納されているか否かを判断する。ｉ番目の映像情報は、ｉ番目のカメラ１１で撮影された映像情報である。ｉ番目の映像情報が格納されていればステップＳ３０３に行き、ｉ番目の映像情報が格納されていなければステップＳ３１１に行く。
（ステップＳ３０３）移動軌跡情報取得部１２０４は、カウンタｊに１を代入する。
【００２７】
（ステップＳ３０４）移動軌跡情報取得部１２０４は、ｊ番目の画像（静止画）が、ｉ番目の映像情報中に存在するか否かを判断する。ｊ番目の画像が存在すればステップＳ３０５に行き、ｊ番目の画像が存在しなければステップＳ３０８に行く。
【００２８】
（ステップＳ３０５）移動軌跡情報取得部１２０４は、ｊ番目の画像中から、移動軌跡情報を抽出する。移動軌跡情報取得部１２０４は、例えば、移動物体が有する色に基づいて、ｊ番目の画像（ビットマップ情報）中から、当該色のドット「（ｘ，ｙ）または（ｘ，ｙ，ｃｏｌ）」の集合を取得する。移動軌跡情報取得部１２０４は、例えば、背景差分法を用いて、移動軌跡情報を抽出する。なお、ここで、カメラ１１は、十分、シャッター速度が遅いカメラであり、通常、移動物体の移動速度は速いので、ｊ番目の画像には、移動物体の軌跡が描写されている。移動物体の軌跡とは、通常、ドットの集合である。
（ステップＳ３０６）移動軌跡情報取得部１２０４は、ステップＳ３０５で取得した移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ３０７）移動軌跡情報取得部１２０４は、カウンタｊを１、インクリメントする。ステップＳ３０４に戻る。
【００２９】
（ステップＳ３０８）移動軌跡情報取得部１２０４は、ステップＳ３０６でメモリ等に一時格納された２以上の移動軌跡情報を読み出し、合成する。合成する処理は、単に移動軌跡情報を結合するだけでも良い。なお、ステップＳ３０８で合成して得た情報は、カメラごとの移動軌跡情報である。
（ステップＳ３０９）移動軌跡情報取得部１２０４は、ステップＳ３０８で得たカメラごとの移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ３１０）移動軌跡情報取得部１２０４は、カウンタｉを１、インクリメントする。ステップＳ３０２に戻る。
（ステップＳ３１１）三次元軌跡情報取得部１２０５は、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータを読み出す。
（ステップＳ３１２）三次元軌跡情報取得部１２０５は、ステップＳ３０９でメモリ等に一時格納された２以上の移動軌跡情報を読み出す。
【００３０】
（ステップＳ３１３）三次元軌跡情報取得部１２０５は、ステップＳ３１１で読み出した２以上のカメラパラメータ、ステップＳ３１２で読み出した移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。三次元軌跡情報を構成するドットの情報は、色情報を有しても良いし、有さなくても良い。
【００３１】
（ステップＳ３１４）三次元軌跡情報出力部１２０６は、ステップＳ３１３で取得した三次元軌跡情報を出力する。なお、三次元軌跡情報出力部１２０６は、移動物体以外の映像と、三次元軌跡情報を合成して、出力しても良い。移動物体以外の映像は、通常、予め格納されている。
以下、本実施の形態における移動物体計測装置の具体的な動作について説明する。移動物体計測システムの概念図は図１である。
今、図４に示すように、移動物体計測システムを用いて、卓球のボールの移動体の軌跡を出力する。つまり、移動物体計測システムを用いて、卓球のボールが高速移動する様子を計測する。
【００３２】
そして、本移動物体計測システムは、３台のカメラ１１と、移動物体計測装置１２を有する。３台のカメラ１１は、図４において、円錐の図形で示される。３台のカメラ１１は、（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）の位置に設置されている。なお、Ｘ軸、Ｙ軸、Ｚ軸の座標系は、図４に示した通りであり、卓球台の中心が原点（０，０，０）である。また、（１）のカメラは卓球台の真横、（２）のカメラは卓球台の斜め横、（３）のカメラは卓球台の上部の天井に設置されている。また、３台のカメラ１１は、市販の家庭用ビデオカメラであり、シャッタースピードを撮影レートと同じ１／３０ｓに設定されている。また、３台のカメラ１１が取得する画像サイズは、「７２０×４８０（ｐｉｘｅｌ）」である。
【００３３】
次に、卓球の競技者が卓球を行う際のボールの移動を、３台のカメラ１１が撮影した、とする。そして、ここでは、撮影した画像を記録媒体（例えば、ハードディスクや磁気テープなど）に蓄積した、とする。なお、カメラ１１が撮影する範囲は、卓球台の範囲（２７４ｃｍ×１５２ｃｍ×６０ｃｍ）である、とする。
次に、ユーザは、３台のカメラが撮影した映像情報が記録されている記録媒体から、映像情報を移動物体計測装置１２の映像情報格納部１２０２にコピーする、とする。
【００３４】
また、ユーザは、カメラパラメータ格納部１２０３に、カメラ位置情報（（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３））や、方向、焦点距離、画像中心、レンズによる像の歪などのカメラパラメータを書き込む、とする。
次に、ユーザは、三次元軌跡情報（卓球のボールの移動体の軌跡）の出力を指示する。この指示は、例えば、移動物体計測装置１２が有する開始ボタンの押下等である。
【００３５】
次に、移動軌跡情報取得部１２０４は、映像情報格納部１２０２の１番目の映像情報から画像を取得し、背景差分法により、移動軌跡情報を取得する。つまり、移動軌跡情報取得部１２０４は、図５の（ａ１）の画像から、（ａ２）のボールの移動軌跡情報（ドットの集合）を取得する。そして、同様に、移動軌跡情報取得部１２０４は、図５の（ｂ１）の画像から、（ｂ２）のボールの移動軌跡情報を取得する。また、同様に、移動軌跡情報取得部１２０４は、図５の（ｃ１）の画像から、（ｃ２）のボールの移動軌跡情報を取得する。
【００３６】
次に、移動軌跡情報取得部１２０４は、ボールの移動軌跡情報（図５の（ａ２）（ｂ２）（ｃ２）・・・）を合成し、図６のボールの移動軌跡情報を得る。図６のボールの移動軌跡情報は、各画像（静止画）から抽出した２以上の移動軌跡情報を合成した移動軌跡情報である。
次に、移動軌跡情報取得部１２０４は、２番目の映像情報、および３番目の映像情報から、同様に（１番目と同様に）、ボールの移動軌跡情報を取得する。
なお、ここで、移動軌跡情報取得部１２０４が取得した３つの移動軌跡情報が、例えば、図７の（ａ）（ｂ）（ｃ）であった、とする。（なお、図６の図と、図７の図は同一のボールの軌跡ではない。）
【００３７】
次に、三次元軌跡情報取得部１２０５は、３つの移動軌跡情報（図７の（ａ）（ｂ）（ｃ））と、カメラパラメータ格納部１２０３に格納されている３つのカメラパラメータを読み出す。そして、三次元軌跡情報取得部１２０５は、図８に示す情報（三次元軌跡情報管理表）を得る。
次に、三次元軌跡情報取得部１２０５は、図８に示す情報に対して、視体積交差法を適用し、移動物体の三次元軌跡の情報である三次元軌跡情報を得る。三次元軌跡情報は、通常、ボクセル情報の集合である。
【００３８】
次に、三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２０５が取得した三次元軌跡情報を出力する。そして、三次元軌跡情報出力部１２０６が出力した三次元軌跡情報の例は、図９である。なお、図９において、三次元軌跡情報出力部１２０６は、得た三次元軌跡情報と、背景となる卓球台を合成し、出力している。また、１つのボクセルの大きさ１ｃｍ３である。
【００３９】
以上、本実施の形態によれば、移動物体（ボールなど）の３次元軌跡が、容易に計測できる。また、移動物体のバウンド地点も決定可能である。特に、シャッタースピードが速くない一般的なカメラを数台並べるだけで，ボールの３次元軌跡が計測可能である。また、カメラのシャッターの同期をとる必要がなく、容易に移動物体の３次元軌跡が計測できる。つまり、複数台のカメラは、同期をとらずに、移動物体を撮影する。そして、移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が得られる。本移動物体計測装置は、この２以上の映像画像を用いて、移動物体の３次元軌跡を得る。
なお、本実施の形態によれば、移動体物体は卓球のボールであったが、テニスやゴルフ等のボールや鳥などの生物等でも良い。かかることは、他の実施の形態においても同様である。
【００４０】
また、本実施の形態の具体例によれば、移動物体計測装置１２は、カメラ１１から記録媒体を経由して、映像情報を取得したが、移動物体計測装置１２は、カメラ１１から映像情報を受信しても良い。かかる場合、例えば、卓球の試合を見ながら、少ない時間差で、ボールの３次元の軌跡を視ることができる。かかることも、他の実施の形態においても同様である。
【００４１】
また、本移動物体計測装置は、図１０（ａ）に示す通常の映像を用いるのではなく、図１０（ｂ）に示すようにあえて遅いシャッター速度のカメラで撮影した、軌跡を故意に残した映像を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。なお、野球の投球の際のボールの速度は、約１５０ｋｍ／ｈ、つまり、約４０ｍ／ｓｅｃであるので、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約１．３ｍ移動する。また、ゴルフのドライバーショットでは、約８０ｍ／ｓｅｃであり、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約２．６ｍ移動する。また、テニスのサーブでは、約２００ｋｍ／ｈ、つまり、約５５ｍ／ｓｅｃであるので、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約１．８ｍ移動する。
【００４２】
また、本移動物体計測装置は、図１１に示すように、移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報を利用し、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。したがって、カメラの同期が不要となる。
【００４３】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における移動物体計測装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、予め格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得ステップと、前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを実行させるためのプログラム、である。
【００４４】
また、前記プログラムにおいて、前記移動軌跡情報取得ステップは、予め格納されている２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得するプログラムであることは好適である。
（実施の形態２）
図１２は、本実施の形態における移動物体計測システムのブロック図である。
移動物体計測システムは、２台以上のカメラ１１、移動物体計測装置１２２を具備する。
【００４５】
移動物体計測装置１２２は、映像情報受信部１２０１、映像情報格納部１２０２、カメラパラメータ格納部１２０３、移動軌跡情報取得部１２２０４、三次元軌跡情報取得部１２２０５、三次元軌跡情報出力部１２０６を具備する。
【００４６】
移動軌跡情報取得部１２２０４は、映像情報格納部１２０２が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、２以上の映像画像ごとに取得する。移動軌跡情報取得部１２２０４は、例えば、ここでは、映像情報格納部１２０２が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する。かかる場合、図１１に示すように、２以上のカメラが取得した画像（静止画）を得るための開いていたシャッターの時間が重なる必要がある。移動軌跡情報取得部１２２０４は、通常、ＭＰＵやメモリ等から実現され得る。移動軌跡情報取得部１２２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４７】
三次元軌跡情報取得部１２２０５は、移動軌跡情報取得部１２２０４が取得した２以上の映像画像ごとの移動軌跡情報と、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。そして、三次元軌跡情報取得部１２２０５は、取得した２以上の三次元軌跡情報を合成し、出力する三次元軌跡情報を得る。三次元軌跡情報取得部１２２０５は、通常、ＭＰＵやメモリ等から実現され得る。三次元軌跡情報取得部１２２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。
【００４８】
次に、移動物体計測装置の動作について図１３のフローチャートを用いて説明する。なお、図１３のフローチャートにおいて、映像情報受信部１２０１は、２台以上の各カメラ１１から、２以上の映像情報を受信し、映像情報格納部１２０２に、受信した２以上の映像情報が格納されている、とする。
（ステップＳ１３０１）三次元軌跡情報取得部１２２０５は、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータを読み出す。
【００４９】
（ステップＳ１３０２）移動軌跡情報取得部１２２０４は、映像情報格納部１２０２に格納されているすべての映像画像中に、ｉ番目のフレーム（画像）が存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ１３０３に行き、ｉ番目のフレームが存在しなければステップＳ１３１２に行く。なお、映像情報格納部１２０２に格納されている２以上の各映像画像は、概ね同じ時刻から撮影が開始され、同じ時間だけ撮影された映像である、とする。
（ステップＳ１３０３）移動軌跡情報取得部１２２０４は、カウンタｊに１を代入する。
【００５０】
（ステップＳ１３０４）移動軌跡情報取得部１２２０４は、ｊ番目の映像画像が存在するか否かを判断する。ｊ番目の映像画像が存在すればステップＳ１３０５に行き、ｊ番目の映像画像が存在しなければステップＳ１３０９に行く。
（ステップＳ１３０５）移動軌跡情報取得部１２２０４は、ｊ番目の映像画像が有するｉ番目のフレーム（画像）を取得する。
（ステップＳ１３０６）移動軌跡情報取得部１２２０４は、ステップＳ１３０４で取得した画像から、移動軌跡情報を取得する。
（ステップＳ１３０７）移動軌跡情報取得部１２２０４は、ステップＳ１３０５で取得した移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ１３０８）移動軌跡情報取得部１２２０４は、カウンタｊを１、インクリメントする。ステップＳ１３０４に戻る。
【００５１】
（ステップＳ１３０９）三次元軌跡情報取得部１２２０５は、ステップＳ１３０１で読み出された２以上のカメラパラメータ、ステップＳ１３０７で一時格納された２以上の移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。
（ステップＳ１３１０）三次元軌跡情報取得部１２２０５は、ステップＳ１３０９で取得した三次元軌跡情報を、メモリ等に一時格納する。
（ステップＳ１３１１）三次元軌跡情報取得部１２２０５は、カウンタｉを１、インクリメントする。ステップＳ１３０２に戻る。
（ステップＳ１３１２）三次元軌跡情報出力部１２０６は、予め格納されている背景画像を取得し、出力する。背景画像は、例えば、卓球台の画像である。
（ステップＳ１３１３）三次元軌跡情報出力部１２０６は、カウンタｉに１を代入する。
【００５２】
（ステップＳ１３１４）三次元軌跡情報出力部１２０６は、ｉ番目の三次元軌跡情報が存在するか否かを判断する。ｉ番目の三次元軌跡情報が存在すればステップＳ１３１５に行き、ｉ番目の三次元軌跡情報が存在しなければ処理を終了する。
【００５３】
（ステップＳ１３１５）三次元軌跡情報出力部１２０６は、ｉ番目の三次元軌跡情報を出力する。三次元軌跡情報出力部１２０６は、ステップＳ１３１２で取得した背景画像上に、ｉ番目の三次元軌跡情報を出力する。
（ステップＳ１３１６）三次元軌跡情報取得部１２２０５は、カウンタｉを１、インクリメントする。ステップＳ１３１４に戻る。
以下、本実施の形態における移動物体計測装置の具体的な動作について説明する。移動物体計測装置の概念図は図１である。
【００５４】
今、実施の形態１で説明した具体例の状況と同様に、図４に示すように、移動物体計測システムを用いて、卓球のボールの移動体の軌跡を出力する。つまり、移動物体計測システムを用いて、卓球のボールが高速移動する様子を計測する。
【００５５】
そして、本移動物体計測システムは、３台のカメラ１１と、移動物体計測装置１２を有する。３台のカメラ１１は、（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）の位置に設置されている。なお、（１）のカメラは卓球台の真横、（２）のカメラは卓球台の斜め横、（３）のカメラは卓球台の上部の天井に設置されている。また、３台のカメラ１１は、市販の家庭用ビデオカメラであり、シャッタースピードを撮影レートと同じ１／３０ｓに設定されている。また、３台のカメラ１１が取得する画像サイズは、「７２０×４８０（ｐｉｘｅｌ）」である。
次に、卓球の競技者が卓球を行う姿を、３台のカメラ１１が撮影した、とする。そして、ここでは、撮影した画像を記録媒体（例えば、ハードディスクや磁気テープなど）に蓄積した、とする。
次に、ユーザは、３台のカメラが撮影した映像情報が記録されている記録媒体から、映像情報を移動物体計測装置１２の映像情報格納部１２０２にコピーする、とする。
また、ユーザは、カメラパラメータ格納部１２０３に、カメラパラメータを設定する、とする。
次に、ユーザは、三次元軌跡情報（卓球のボールの移動体の軌跡）の出力を指示する。
【００５６】
次に、三次元軌跡情報取得部１２２０５は、カメラパラメータ格納部１２０３から必要なカメラパラメータを読み出す。ここでは、例えば、三次元軌跡情報取得部１２２０５は、
カメラパラメータ格納部１２０３に格納されている３つのカメラパラメータ（（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）など）を読み出す。このカメラパラメータは、カメラ位置情報である。
【００５７】
次に、移動軌跡情報取得部１２２０４は、映像情報格納部１２０２の１番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。次に、映像情報格納部１２０２の２番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。次に、映像情報格納部１２０２の３番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。
【００５８】
次に、三次元軌跡情報取得部１２２０５は、上記の３つの移動軌跡情報と３つのカメラパラメータを用いて、視体積交差法を適用し、移動物体の三次元軌跡の情報である三次元軌跡情報を得る。三次元軌跡情報は、通常、ボクセル情報の集合である。また、この三次元軌跡情報は、非常に短い軌跡の情報である。
そして、移動軌跡情報取得部１２２０４および三次元軌跡情報取得部１２２０５は、かかる上記の処理を、全フレーム（画像）に対して繰り返し行い、多数の三次元軌跡情報（短い軌跡の情報）を得る。
【００５９】
次に、三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２２０５が取得した三次元軌跡情報を順次、出力する。そして、三次元軌跡情報出力部１２０６が、最終的に出力した三次元軌跡情報の例は、図９である。
【００６０】
以上、本実施の形態によれば、連続した移動物体（ボールなど）の３次元軌跡が、容易に計測できる。また、移動物体のバウンド地点も決定可能である。特に、シャッタースピードが速くない一般的なカメラを数台並べるだけで，ボールの３次元軌跡が計測可能である。また、カメラのシャッターの同期をとる必要がなく、容易に移動物体の３次元軌跡が計測できる。
【００６１】
なお、本実施の形態の具体例によれば、実施の形態１の具体例の説明と比較して、移動軌跡情報の取得、および三次元軌跡情報の取得アルゴリズムの方法（組み合わせ方法）が異なる。つまり、移動物体計測装置の三次元軌跡情報取得部が一度に取得する三次元軌跡情報の量（単位）は問わない。よって、本移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置、であれば良い。
【００６２】
さらに、本実施の形態における移動物体計測装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、予め格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得ステップと、前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを実行させるためのプログラム、である。
【００６３】
また、前記プログラムにおいて、前記移動軌跡情報取得ステップは、予め格納されている２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得するプログラムであることは好適である。
【００６４】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【００６５】
以上のように、本発明にかかる移動物体計測装置は、移動物体の３次元軌跡が、容易に計測できる、という効果を有し、ボールスポーツの放送で利用するオーサリングシステム、ゲームなどのコンテンツを作成するオーサリングシステム等として有用である。
【図面の簡単な説明】
【００６６】
【図１】実施の形態１における移動物体計測システムの概念図
【図２】同移動物体計測システムのブロック図
【図３】同移動物体計測装置の動作について説明するフローチャート
【図４】同移動物体計測システムの撮影場の例を示す図
【図５】同移動物体計測装置が取得する移動軌跡情報を示す図
【図６】同移動物体計測装置が合成して、取得する移動軌跡情報を示す図
【図７】同移動物体計測装置が合成して、取得する移動軌跡情報を示す図
【図８】同三次元軌跡情報管理表を示す図
【図９】同出力する三次元軌跡情報の例を示す図
【図１０】同移動物体計測装置の処理の概念を説明する図
【図１１】同移動物体計測装置の処理の概念を説明する図
【図１２】実施の形態２における移動物体計測システムのブロック図
【図１３】同移動物体計測装置の動作について説明するフローチャート
【符号の説明】
【００６７】
１２、１２２ 移動物体計測装置
１１１ 映像情報送信手段
１２０１ 映像情報受信部
１２０２ 映像情報格納部
１２０３ カメラパラメータ格納部
１２０４、１２２０４ 移動軌跡情報取得部
１２０５、１２２０５ 三次元軌跡情報取得部
１２０６ 三次元軌跡情報出力部
【特許請求の範囲】
【請求項１】
空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影し、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像を格納している映像情報格納部と、
前記２以上のカメラに関する情報である２以上のカメラパラメータを格納しているカメラパラメータ格納部と、
前記映像情報格納部が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、
前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、
前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備する移動物体計測装置。
【請求項２】
前記映像情報格納部の２以上の映像画像は、
同期をとらない２以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像である請求項１記載の移動物体計測装置。
【請求項３】
前記移動軌跡情報取得部は、
前記映像情報格納部が格納している２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する請求項２記載の移動物体計測装置。
【請求項４】
前記移動軌跡情報取得部は、
前記映像情報格納部が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する請求項２記載の移動物体計測装置。
【請求項５】
前記映像情報は、３０フレーム／秒のカメラで撮影された映像の情報である請求項１記載の移動物体計測装置。
【請求項６】
空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影し、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置。
【請求項７】
空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影する２以上のカメラと、
請求項１記載の移動物体計測装置を具備する移動物体計測システム。
【請求項８】
前記２以上のカメラは、
撮影した映像情報を送信する映像情報送信手段を具備し、
前記移動物体計測装置は、
前記２以上のカメラから２以上の映像情報を受信する映像情報受信部をさらに具備し、
前記映像情報格納部の２以上の映像画像は、前記映像情報受信部が受信した前記２以上の映像情報である請求項７記載の移動物体計測システム。
【請求項９】
予め格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得ステップと、
前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、
前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを具備する移動物体計測方法。
【請求項１０】
前記移動軌跡情報取得ステップは、
予め格納されている２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する請求項９記載の移動物体計測方法。
【請求項１１】
前記移動軌跡情報取得ステップは、
予め格納されている２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する請求項９記載の移動物体計測方法。
【請求項１２】
同期をとらない２以上のカメラで前記移動物体を撮影し、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像を取得する撮影ステップをさらに具備し、
前記予め格納されている２以上の映像画像は、前記撮影ステップで取得した２以上の映像画像である請求項９記載の移動物体計測方法。
【請求項１】
空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影し、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像を格納している映像情報格納部と、
前記２以上のカメラに関する情報である２以上のカメラパラメータを格納しているカメラパラメータ格納部と、
前記映像情報格納部が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、
前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、
前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備する移動物体計測装置。
【請求項２】
前記映像情報格納部の２以上の映像画像は、
同期をとらない２以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像である請求項１記載の移動物体計測装置。
【請求項３】
前記移動軌跡情報取得部は、
前記映像情報格納部が格納している２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する請求項２記載の移動物体計測装置。
【請求項４】
前記移動軌跡情報取得部は、
前記映像情報格納部が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する請求項２記載の移動物体計測装置。
【請求項５】
前記映像情報は、３０フレーム／秒のカメラで撮影された映像の情報である請求項１記載の移動物体計測装置。
【請求項６】
空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影し、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置。
【請求項７】
空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影する２以上のカメラと、
請求項１記載の移動物体計測装置を具備する移動物体計測システム。
【請求項８】
前記２以上のカメラは、
撮影した映像情報を送信する映像情報送信手段を具備し、
前記移動物体計測装置は、
前記２以上のカメラから２以上の映像情報を受信する映像情報受信部をさらに具備し、
前記映像情報格納部の２以上の映像画像は、前記映像情報受信部が受信した前記２以上の映像情報である請求項７記載の移動物体計測システム。
【請求項９】
予め格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得ステップと、
前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、
前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを具備する移動物体計測方法。
【請求項１０】
前記移動軌跡情報取得ステップは、
予め格納されている２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する請求項９記載の移動物体計測方法。
【請求項１１】
前記移動軌跡情報取得ステップは、
予め格納されている２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する請求項９記載の移動物体計測方法。
【請求項１２】
同期をとらない２以上のカメラで前記移動物体を撮影し、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像を取得する撮影ステップをさらに具備し、
前記予め格納されている２以上の映像画像は、前記撮影ステップで取得した２以上の映像画像である請求項９記載の移動物体計測方法。
【図２】
【図３】
【図１２】
【図１３】
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図１２】
【図１３】
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−１１５２３６（Ｐ２００７−１１５２３６Ａ）
【公開日】平成１９年５月１０日（２００７．５．１０）
【国際特許分類】
【出願番号】特願２００６−２４８３６３（Ｐ２００６−２４８３６３）
【出願日】平成１８年９月１３日（２００６．９．１３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００５年５月１８日 システム制御情報学会発行の「第４９回 システム制御情報学会 研究発表講演会講演論文集」に発表
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
【公開日】平成１９年５月１０日（２００７．５．１０）
【国際特許分類】
【出願日】平成１８年９月１３日（２００６．９．１３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００５年５月１８日 システム制御情報学会発行の「第４９回 システム制御情報学会 研究発表講演会講演論文集」に発表
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
[ Back to top ]