検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステム
【課題】どのようなボールであっても、正確に回転を検出することができるようにする。
【解決手段】特徴点抽出部９１は、第１画像および第２画像において、エッジを検出し、検出された複数のエッジを、それぞれ第１画像または第２画像の特徴点群として記憶する。簡易回転部９２は、第１画像の特徴点群の３次元空間内での座標位置を特定し、その特徴点群の座標位置を所定のオイラー角だけ回転させ、最隣接特徴点間距離が最小となるオイラー角を特定する。特徴点対応制御部９３は、最小の最隣接特徴点間距離のオイラー角の分だけ第１画像を回転させ、第１画像と、第２画像との間で演算された相関値に基づいて、第１画像と第２画像において、それぞれ２つの特徴点の対応付けを行う。回転数検出制御部９４は、対応付けられた特徴点に基づいて、単位時間当たりのゴルフボールの回転量と回転方向を特定し、回転数などに関する情報を検出する。
【解決手段】特徴点抽出部９１は、第１画像および第２画像において、エッジを検出し、検出された複数のエッジを、それぞれ第１画像または第２画像の特徴点群として記憶する。簡易回転部９２は、第１画像の特徴点群の３次元空間内での座標位置を特定し、その特徴点群の座標位置を所定のオイラー角だけ回転させ、最隣接特徴点間距離が最小となるオイラー角を特定する。特徴点対応制御部９３は、最小の最隣接特徴点間距離のオイラー角の分だけ第１画像を回転させ、第１画像と、第２画像との間で演算された相関値に基づいて、第１画像と第２画像において、それぞれ２つの特徴点の対応付けを行う。回転数検出制御部９４は、対応付けられた特徴点に基づいて、単位時間当たりのゴルフボールの回転量と回転方向を特定し、回転数などに関する情報を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステムに関し、特に、どのようなボールであっても、正確に回転を検出することができるようにする検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステムに関する。
【背景技術】
【０００２】
近年、スポーツクラブなどにおいて、ゴルフやテニスなどのレッスンの需要が増加している。なかでもゴルフの練習は、広大な敷地が必要となり、例えば都会でゴルフのレッスンを行うことは困難であった。
【０００３】
そこで、例えば、ゴルフクラブでショットした瞬間のゴルフボールをカメラで撮像し、撮像された画像データから得られたゴルフボールの速度等の各種データを用いてゴルフボールの弾道軌道や飛距離を計算してスクリーンにゴルフボールの弾道を表示するシミュレーションシステムが開発されている。
【０００４】
また、空力特性を考慮した弾道、飛距離などを計算するシミュレーション装置も提案されている（例えば、特許文献１参照）。
【０００５】
さらに、近年、ゴルフクラブでショットした瞬間のゴルフボールの画像からゴルフボールの回転の方向、回転数などを検出し、フックやスライスなどの弾道を計算するシミュレーションシステムも開発されている。
【０００６】
【特許文献１】特開２００３−２４４９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術によりゴルフボールの回転の方向、回転数などを検出するためには、画像の中でのボールの回転方向、回転した角度など特定するために、予め定められたマークや模様の付されたゴルフボールを用いる必要があった。
【０００８】
このため、例えば、ユーザが気に入っているボールなどを自由に使って、シミュレーションシステムを利用することができないという課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、どのようなボールであっても、正確に回転を検出することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置である。
【００１１】
前記第１の時刻において発光する第１のストロボと、前記第２の時刻において発光する第２のストロボと、前記第１の時刻および第２の時刻において前記ゴルフボールを被写体として撮像する１つのカメラとをさらに備え、前記第１画像に対応する前記ゴルフボールの画像および前記第１画像に対応する前記ゴルフボールの画像が、前記１つのカメラにより撮像されるようにすることができる。
【００１２】
前記オイラー角特定手段は、与えられたパラメータに基づいて、前記第１画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれを、前記パラメータに対応するオイラー角の分だけ回転させて前記第２の画像上にプロットする特徴点回転手段と、前記与えられたパラメータのうち、前記回転された前記第１画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれと、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて計算される評価値が最も高くなる前記パラメータを特定するパラメータ特定手段とを備えるようにすることができる。
【００１３】
本発明の第１の側面は、移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置の検出方法であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出し、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定し、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算し、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行うステップを含み、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出方法である。
【００１４】
本発明の一側面は、コンピュータを、移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置として機能させるプログラムである。
【００１５】
本発明の第１の側面においては、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点が抽出され、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角が特定され、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値が、画像相関法により演算され、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けけが行われ、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向が検出される。
【００１６】
本発明の第２の側面は、打撃されたゴルフボールを第１の時刻に撮像した第１画像および前記ゴルフボールを前記第１の時刻より後の第２の時刻に撮像した第２画像に基づいて検出される前記ゴルフボールの速度と前記ゴルフボールの回転とに基づいて、前記打撃された後の前記ゴルフボールの軌跡を計算して前記軌跡に従って飛ぶゴルフボールの画像をスクリーンに表示するシミュレーション装置であって、前記第１画像および前記第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置を有するシミュレーションシステムである。
【００１７】
本発明の第２の側面においては、前記第１画像および前記第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置によりゴルフボールの回転が検出される。
【発明の効果】
【００１８】
本発明によれば、どのようなボールであっても、正確に回転を検出することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の第１の側面の検出装置は、移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置（例えば、図４の回転検出部７２を有する図１のセンシングブロック２２）であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段（例えば、図５の特徴点抽出部９１）と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段（例えば、図５の簡易回転部９２）と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段（例えば、図１９のステップＳ９１乃至Ｓ９４の処理を実行する図５の特徴点対応制御部９３）と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段（例えば、図１９のステップＳ９５の処理を実行する図５の特徴点対応制御部９３）とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する。
【００２１】
移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置（例えば、図４の回転検出部７２を有する図１のセンシングブロック２２）の検出方法であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出し（例えば、図１６のステップＳ３１の処理）、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定し（例えば、図１６のステップＳ３２の処理）、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算し（例えば、図１９のステップＳ９１乃至Ｓ９４の処理）、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う（例えば、図１９のステップＳ９５の処理）ステップを含み、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する。
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２３】
図１は、本発明の一実施の形態に係るシミュレーションシステム１０の例を示す図である。シミュレーションシステム１０は、例えば、ゴルフの練習に用いられるようになされており、スポーツクラブなどに設置される。
【００２４】
シミュレーションシステム１０においては、ユーザがゴルフクラブでショットした直後のゴルフボールの画像をセンシングブロック２２により撮像して解析し、ゴルフボールの弾道を計算する。そして、例えば、ゴルフコースなどの画像などとともに、計算された弾道で飛ぶゴルフボールの画像をスクリーン２１に表示するようになされている。
【００２５】
シミュレーションシステム１０においては、実際のゴルフのプレイに用いられるゴルフクラブと、ゴルフボールが使用され、ユーザは、実際にゴルフ場でゴルフのプレイをするように、ゴルフクラブでゴルフボールをショットする。すなわち、シミュレーションシステム１０を利用することで、例えば、限られた空間であっても、ユーザは、あたかもゴルフ場でプレイしているような体験をすることが可能となる。
【００２６】
なお、シミュレーションシステム１０において用いられるゴルフボールは、特別なマーク、模様、着色などが付されたボールである必要はなく、広く一般に販売されているゴルフボールなどとされる。
【００２７】
図２は、センシングブロック２２の構成例を示すブロック図である。同図に示されるように、センシングブロック２２は、CCDカメラなどを備えたセンサ部４１が、データ処理部４２に接続されて構成されている。
【００２８】
センサ部４１は、例えば、２台のCCDカメラであって、第１カメラと第２カメラとを有する構成とされ、同図の例では、第１カメラのレンズ５１と第２カメラのレンズ５２が示されている。第１カメラは、例えば、シミュレーションシステム１０の打席に組み込まれたティー（tee）などに接続されたセンサから出力される信号などに基づいて、ゴルフボールがゴルフクラブでショットされた時のゴルフボールの画像を撮像するようになされている。第２カメラは、第１カメラによる撮像がなされた後、所定の時間（例えば、数ミリ秒）だけ後のゴルフボールの画像を撮像するようになされている。
【００２９】
センサ部４１の第１のカメラで撮像された画像のデータと、第２のカメラで撮像された画像のデータは、データ処理部４２に供給されるようになされている。
【００３０】
データ処理部４２は、例えば、プロセッサ、メモリなどを有する構成とされた、予め記憶されているプログラムなどのソフトウェアに対応する処理を実行するようになされている。データ処理部４２は、第１のカメラで撮像された画像のデータと、第２のカメラで撮像された画像のデータとに基づいて、ゴルフボールの速度、並びに単位時間当たりのゴルフボールの回転数および回転方向を算出し、ゴルフボールの速度、並びに単位時間当たりのゴルフボールの回転数および回転方向に基づいて、弾道を計算してスクリーン２１に表示すべき画像データを生成するようになされている。
【００３１】
図３は、データ処理部４２のプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【００３２】
同図の撮像制御部６１は、センサ部４１によるゴルフボールの撮像を制御するようになされており、センサ部４１の第１カメラにより、ゴルフクラブでショットされた時のゴルフボールの画像である第１画像を撮像させ、第２カメラにより、第１カメラによる撮像がなされた後、所定の時間だけ後のゴルフボールの画像である第２画像を撮像させる。
【００３３】
撮像制御部６１は、センサ部４１により撮影された第１画像のデータと第２画像のデータを画像解析部６２に出力する。
【００３４】
画像解析部６２は、第１画像のデータと、第２画像のデータとに基づいて、後述するように、ゴルフボールの速度、並びに単位時間当たりのゴルフボールの回転数および回転方向を算出するようになされている。そして、画像解析部６２は、ゴルフボールの速度、並びに単位時間当たりのゴルフボールの回転数および回転方向に基づいて、ゴルフボールの動きを特定し、時間の経過に伴うゴルフボールの位置を、例えば、座標値として演算するようになされている。
【００３５】
シミュレーション画像生成部６３は、画像解析部６２により演算された時間の経過に伴うゴルフボールの位置に基づいて、弾道を特定し、その弾道に対応するゴルフボールの画像の表示データを生成する。そして、シミュレーション画像生成部６３は、ゴルフボールの画像を、ゴルフコースの画像などと合成し、スクリーン２１に表示すべき画像データを生成するようになされている。
【００３６】
すなわち、画像解析部６２により、ショットされた後、実際にゴルフボールが飛んでいく軌跡が予測され、シミュレーション画像生成部６３により、その軌跡に従って飛ぶボールの画像が生成されてスクリーンに表示されることになる。
【００３７】
図４は、画像解析部６２の詳細な構成例を示すブロック図である。同図に示されるように、画像解析部６２は、速度検出部７１、回転検出部７２、および動き演算部７３により構成されている。
【００３８】
速度検出部７１は、例えば、第１画像と第２画像とに基づいて、単位時間当たりのゴルフボールの移動距離を特定し、ゴルフクラブでショットされたゴルフボールの速度を算出（検出）する機能ブロックとされる。なお、速度検出部７１は、例えば、従来のゴルフのシミュレーションシステムなどに用いられているものと同様のものを利用することが可能である。
【００３９】
回転検出部７２は、第１画像と第２画像とに基づいて、単位時間当たりのゴルフボールの回転量と回転方向を特定し、ゴルフクラブでショットされたゴルフボールの単位時間当たりの回転数、および回転方向を表す数値などを含む回転に関する情報を検出するための機能ブロックとされる。なお、回転検出部７２の詳細については、図５を参照して後述する。
【００４０】
動き演算部７３は、速度検出部７１により検出されたゴルフボールの速度、および回転検出部７２により検出されたゴルフボールの回転に関する情報に基づいて、例えば、ショットされたゴルフボールが飛んでいく軌跡（弾道）を計算する。動き演算部７３は、例えば、所定の時刻におけるゴルフボールの位置を座標値として特定するなどして時間の経過に伴うゴルフボールの位置を予測してゴルフボールの弾道を計算するようになされている。なお、動き演算部７３は、例えば、従来のゴルフのシミュレーションシステムなどに用いられているものと同様のものを利用することが可能である。
【００４１】
図５は、回転検出部７２の詳細な構成例を示すブロック図である。同図に示されるように、回転検出部７２は、特徴点抽出部９１、簡易回転部９２、特徴点対応制御部９３、および回転数検出制御部９４により構成されている。
【００４２】
特徴点抽出部９１は、第１画像および第２画像において、エッジを検出する。ここで、エッジは、例えば、画像の中で画素の輝度値の変化が予め設定された閾値より大きい領域とされる。特徴点抽出部９１は、第１画像において検出された複数のエッジを、それぞれ第１画像の特徴点として記憶し、第２画像において検出された複数のエッジを、それぞれ第２画像の特徴点として記憶するようになされている。
【００４３】
図６は、ゴルフボールの画像の例であり、ゴルフボールの画像から検出される特徴点の例を説明するための図である。同図に示されるゴルフボールには、黒い２つの三角形と黒い１つの四角形により構成されるマークであって、アルファベット「Ｆ」の文字を図形化したマーク（以下、単にマークと称する）が付されている。図６の画像を特徴点抽出部９１により解析させると、マークの輪郭を構成する画素を含む領域がエッジとして検出され、これらのエッジであって、例えば、図中の小さい矩形で示される領域のそれぞれが特徴点として記憶されることになる。
【００４４】
図７は、特徴点が検出された第１画像の例であり、図８は、特徴点が検出された第２画像の例を示している。同図に示されるように、第１画像と第２画像のそれぞれにおいて、マークの輪郭を構成する画素を含む領域（この例では矩形の領域）のそれぞれが特徴点として検出されている。
【００４５】
また、図７の第１画像より時間的に後で撮像された図８の第２画像においては、ゴルフクラブでショットされたゴルフボールが回転したことにより、マークの位置が図中右上方向に移動している。
【００４６】
なお、ここでは、説明を簡単にするため、黒い２つの三角形と黒い１つの四角形により構成されるマークの例を各図に示しているが、実際には、広く一般に販売されているゴルフボールに付されたブランド名、メーカ名などを表示する文字列、模様などからなる標章などの輪郭がエッジとして検出され、特徴点となる。また、当然のことながら、本発明では、ゴルフボールの色、ゴルフボールに付された標章の色などの如何により特徴点の検出に不具合が生じることもない。要は、撮像された画像において、エッジとして検出される部分がゴルフボールの表面の一部に存在していればよいのである。
【００４７】
すなわち、本発明においては、任意の形状、色彩、模様などにより構成されたゴルフボールの表面の一部分を特徴点として検出することが可能である。
【００４８】
簡易回転部９２は、第１画像において検出された特徴点のそれぞれを、第２画像において検出された特徴点に近づけるように回転させる。このとき、第１画像において検出された特徴点のそれぞれは、３次元空間において回転させられるようになされている。
【００４９】
例えば、図９に示されるように、第１画像において、複数の特徴点からなる特徴点群１１１が検出されたものとし、図１０に示されるように、第２画像において、複数の特徴点からなる特徴点群１１２が検出されたものとする。なお、図９において特徴点群１１１は、一点鎖線で示されており、図１０において特徴点群１１２は、点線で示されている。
【００５０】
簡易回転部９２は、例えば、特徴点群１１１の３次元空間内での座標位置を特定し、その特徴点群１１１の座標位置を所定のオイラー角だけ回転させる。勿論、第１画像と第２画像は、それぞれ２次元の画像であるが、ゴルフボールは、ほぼ真球に近い形状であると考えられるので、２次元の画像の座標位置から、３次元空間内での座標位置を特定することができるのである。
【００５１】
簡易回転部９２は、例えば、図１１に示されるように、ゴルフボールの画像の中心点（cx,cy）と半径rを特定し、図中の点線の矢印で示されるように、与えられたオイラー角に対応する位置に、特徴点群１１１の３次元空間内での座標位置を移動させる。なお、ここでのオイラー角は、α、β、γの３つのパラメータにより特定されるものとする。例えば、オイラー角が、α=30,β=31,γ=32の場合、ｚ軸周りに30°回転させた後、x軸周りに31°回転させ（このとき回転したｚ軸をｚ’軸とする）、さらにｚ’軸周りに32°回転させることを意味するものとする。なお、ここでは画面に垂直な軸をｚ軸とし、画面後方から前方向きを正方向とする。
【００５２】
簡易回転部９２は、所定のオイラー角だけ回転させた特徴点群１１１の３次元空間内での座標位置を、例えば、図１２に示されるように、第２画像上にプロットする。そして、第２画像上にプロットされた特徴点群１１１を構成する特徴点のそれぞれと最も近い位置にある特徴点群１１２を構成する特徴点との距離を算出する。
【００５３】
なお、このとき算出される距離は、それぞれの特徴点の３次元座標位置に基づいて演算されるものとする。
【００５４】
例えば、第２画像上にプロットされた特徴点群１１１を構成する特徴点１１１ａと最も近い位置にある特徴点群１１２を構成する特徴点が、特徴点１１２ａであった場合、特徴点１１１ａと特徴点１１２ａとの距離をｄ１が算出される。また、第２画像上にプロットされた特徴点群１１１を構成する特徴点１１１bと最も近い位置にある特徴点群１１２を構成する特徴点が、特徴点１１２ｃであった場合、特徴点１１１ｂと特徴点１１２ｃとの距離をｄ２が算出される。さらに、第２画像上にプロットされた特徴点群１１１を構成する特徴点１１１ｃと最も近い位置にある特徴点群１１２を構成する特徴点が、特徴点１１２ａであった場合、特徴点１１１ｃと特徴点１１２ａとの距離をｄ３が算出される。
【００５５】
このように、例えば、特徴点群１１１を構成する特徴点がｎ個ある場合、距離ｄ１、ｄ２、ｄ３、・・・ｄｎが算出されることになる。
【００５６】
そして、簡易回転部９２は、算出された距離ｄ１、ｄ２、ｄ３、・・・ｄｎの総和を、さらに算出する。ここで算出される距離ｄ１乃至距離ｄｎの総和を最隣接特徴点間距離と称することにする。
【００５７】
簡易回転部９２は、与えられたオイラー角に対応する位置に、特徴点群１１１の３次元空間内での座標位置を移動させて第２画像上にプロットする都度、最隣接特徴点間距離を算出するようになされている。例えば、上述したパラメータα、β、γをそれぞれ、予め設定された所定の範囲内で所定の間隔で変化させて、Ｋ通りの位置に特徴点群１１１を移動（回転）させたものとする。この場合、簡易回転部９２は、Ｋ個の最隣接特徴点間距離を算出することになる。
【００５８】
さらに、簡易回転部９２は、算出されたＫ個の最隣接特徴点間距離のうち、最小となるものを特定するとともに、その最小となった最隣接特徴点間距離に対応するオイラー角を特定する。
【００５９】
このようにして、最小の最隣接特徴点間距離のオイラー角を特定し、そのオイラー角に対応する位置に、特徴点群１１１の３次元空間内での座標位置を移動させて第２画像上にプロットすると、図１３に示されるようになる。図１３においては、最小の最隣接特徴点間距離のオイラー角の分だけ回転させられた特徴点群１１１が、図中の小さい矩形で示されている。同図においては、回転させられた特徴点群１１１が、第２画像のマークとほぼ一致する位置にプロットされている。
【００６０】
このように、最小の最隣接特徴点間距離のオイラー角を特定することで、第１画像の時刻から第２画像の時刻に至るまでの、ゴルフボールの回転量を概ね推定することは可能である。しかしながら、この時点では、特徴点群１１１を構成する特徴点のそれぞれが、特徴点群１１２を構成する特徴点のうち、どの特徴点に対応するものであるのかが、未だ特定されていない。ゴルフボールの回転量を正確に検出するためには、特徴点群１１１を構成する特徴点と特徴点群１１２を構成する特徴点との対応付けが必要となる。この対応付けの処理が、特徴点対応制御部９３により、後述するように行われる。
【００６１】
特徴点対応制御部９３は、簡易回転部９２により特定された最小の最隣接特徴点間距離のオイラー角の分だけ第１画像を回転させる。簡易回転部９２は、第１画像の特徴点群１１１だけを回転させたのに対して、特徴点対応制御部９３は、第１画像そのものを回転させるのである。
【００６２】
また、特徴点対応制御部９３は、特徴点群１１１を構成する特徴点のうち、例えば、予め設定された閾値を超える特徴量を有する特徴点を抽出する。この特徴量は、例えば、特徴点の画素の輝度値、特徴点の画素と周辺の画素との輝度値の差分などとされる。
【００６３】
特徴点対応制御部９３は、閾値を超える特徴量を有する特徴点として抽出された特徴点の中から、互いに距離の離れた特徴点を予め設定された数（例えば、３個）だけさらに抽出する。例えば、特徴点群１１１を構成する特徴点のうち、閾値を超える特徴量を有する特徴点１１１ａ、１１１ｆ、１１１ｍ、１１１ｒ、１１１ｔがそれぞれ抽出され、その中で最も特徴量が大きい特徴点１１１ａがさらに抽出され、特徴点１１１ａと最も距離が離れた１１１ｍが特定され、特徴点１１１ａおよび特徴点１１１ｍのそれぞれから最も距離が離れた特徴点１１１ｔが特定されることで、互いに距離の離れた特徴点が３個（今の場合、特徴点１１１ａ、特徴点１１１ｍ、および特徴点１１１ｔ）さらに抽出されることになる。
【００６４】
そして、特徴点対応制御部９３は、互いに距離の離れた特徴点として抽出された特徴点群１１１を構成する（例えば、３個の）特徴点のそれぞれから距離の近い順に、（例えば、３個）特徴点群１１２を構成する特徴点を抽出する。例えば、特徴点１１１ａと距離の近い特徴点１１２ａ、１１２ｂ、１１２ｃが抽出され、特徴点１１１ｍと距離の近い特徴点１１２ｍ、１１２ｎ、１１２ｏが抽出され、特徴点１１１ｔと距離の近い特徴点１１２ｔ、１１２ｓ、１１２ｕが抽出される。なお、このとき特徴点１１１ａと特徴点１１２ａとの距離、特徴点１１１ａと特徴点１１２ａとの距離、・・・特徴点１１１ｔと特徴点１１２ｕとの距離は、第１画像を最小の最隣接特徴点間距離のオイラー角の分だけ回転させた状態で算出されることになる。
【００６５】
さらに、特徴点対応制御部９３は、例えば、特徴点１１１ａを中心とする所定大きさの第１画像の領域Ａ１を設定し、特徴点１１２ａ、１１２ｂ、１１２ｃを中心とする所定の大きさの第２画像の領域Ｂ１１、Ｂ１２、Ｂ１３を設定する。そして、特徴点対応制御部９３は、画像相関法により領域Ａ１と領域Ｂ１１との相関値、領域Ａ１と領域Ｂ１２との相関値、領域Ａ１と領域Ｂ１３との相関値をそれぞれ演算する。このようにして演算された相関値に基づいて、最も高い相関値が得られた第２画像の領域に含まれる特徴点が、特徴点１１１ａに対応する第２画像の特徴点であると推定できる。
【００６６】
例えば、上述のように演算した３個の相関値の中で、領域Ａ１と領域Ｂ１２との相関値が最も高い場合、第１画像の特徴点１１１ａに対応する第２画像の特徴点は、特徴点１１２ｂであると推定できる。
【００６７】
同様に、特徴点対応制御部９３は、特徴点１１１ｍを中心とする所定大きさの第１画像の領域Ａ２を設定し、特徴点１１２ｍ、１１２ｎ、１１２ｏを中心とする所定の大きさの第２画像の領域Ｂ２１、Ｂ２２、Ｂ２３を設定し、画像相関法により領域Ａ２と領域Ｂ２１との相関値、領域Ａ２と領域Ｂ２２との相関値、領域Ａ２と領域Ｂ２３との相関値をそれぞれ演算する。特徴点対応制御部９３は、特徴点１１１tを中心とする所定大きさの第１画像の領域Ａ３を設定し、特徴点１１２ｔ、１１２ｓ、１１２ｕを中心とする所定の大きさの第２画像の領域Ｂ３１、Ｂ３２、Ｂ３３を設定し、画像相関法により領域Ａ３と領域Ｂ３１との相関値、領域Ａ３と領域Ｂ３２との相関値、領域Ａ３と領域Ｂ３３との相関値をそれぞれ演算する。このようにして演算された相関値に基づいて、最も高い相関値が得られた第２画像の領域に含まれる特徴点が、特徴点１１１ｍまたは特徴点１１１ｔに対応する第２画像の特徴点であると推定できる。
【００６８】
これにより、例えば、図１４に示されるように、特徴点群１１１を構成する３つの特徴点のそれぞれに対応する特徴点群１１２を構成する３つの特徴点が特定されることになる。同図の例では、図中の矢印により、特徴点群１１１を構成する３つの特徴点と特徴点群１１２を構成する３つの特徴点との対応付けが示されている。
【００６９】
図５の回転数検出制御部９４は、特徴点対応制御部９３により対応付けられた第１画像の特徴点と第２画像の特徴点に基づいて、単位時間当たりのゴルフボールの回転量と回転方向を特定し、ゴルフクラブでショットされたゴルフボールの単位時間当たりの回転数、および回転方向を表す数値などを含む回転に関する情報を検出する。なお、回転数検出制御部９４は、例えば、従来のゴルフのシミュレーションシステムなどに用いられているものと同様のものを利用することが可能である。
【００７０】
次に、図１５のフローチャートを参照して、図４の回転検出部７２による回転検出処理について説明する。
【００７１】
ステップＳ１１において、特徴点抽出部９１、簡易回転部９２、および特徴点対応制御部９３は、図１６を参照して後述する特徴部分特定処理を実行する。これにより、例えば、第１画像と第２画像において、それぞれの特徴点の対応付けが行われる。
【００７２】
ステップＳ１２において、回転数検出制御部９４は、ステップＳ１１の処理により対応付けられた第１画像の特徴点と第２画像の特徴点に基づいて、第１画像が撮像された時刻から第２画像が撮像された時刻に至るまでの間に、ゴルフボールがどれだけ回転したか（回転量）を特定する。また、このとき、ゴルフボールの回転方向も特定される。
【００７３】
ステップＳ１３において、回転数検出制御部９４は、ステップＳ１２の処理で特定された回転量に基づいて、単位時間あたりのゴルフボールの回転数を演算する。
【００７４】
このようにして、回転検出処理が実行される。
【００７５】
次に、図１６のフローチャートを参照して、図１５のステップＳ１１の特徴部分特定処理の詳細について説明する。
【００７６】
ステップＳ３１において、特徴点抽出部９１は、特徴点検出処理を実行する。ここで、図１７のフローチャートを参照して、図１６のステップＳ３１の特徴点検出処理の詳細について説明する。
【００７７】
ステップＳ５１において、特徴点抽出部９１は、第１画像および第２画像において、エッジを検出する。上述したように、エッジは、例えば、画像の中で画素の輝度値の変化が予め設定された閾値より大きい領域とされる。
【００７８】
ステップＳ５２において、特徴点抽出部９１は、ステップＳ５１の処理により、第１画像において検出された複数のエッジを、それぞれ第１画像の特徴点として記憶し、第２画像において検出された複数のエッジを、それぞれ第２画像の特徴点として記憶する。これにより、例えば、図７と図８に示されるような図中の小さい矩形で示される領域（点）のそれぞれが特徴点として記憶されることになる。
【００７９】
このようにして、特徴点検出処理が実行される。このようにすることで、上述したように、任意の形状、色彩、模様などにより構成されたゴルフボールの表面の一部分を特徴点として検出することが可能である。
【００８０】
図１６に戻って、ステップＳ３１の処理の後、ステップＳ３２において、簡易回転部９２は、特徴点回転処理を実行する。ここで、図１８のフローチャートを参照して、図１６のステップＳ３２の特徴点回転処理の詳細について説明する。
【００８１】
ステップＳ７１において、簡易回転部９２は、所定のオイラー角を設定する。
【００８２】
ステップＳ７２において、簡易回転部９２は、ステップＳ７１の処理で設定されたオイラー角に対応する位置に、ステップＳ３１の処理により第１画像から検出された特徴点で構成される第１画像の特徴点群を回転させる。
【００８３】
このとき、上述したように、簡易回転部９２が、例えば、図１１に示されるように、ゴルフボールの画像の中心点（cx,cy）と半径rを特定し、図中の矢印で示されるように、与えられたオイラー角に対応する位置に、特徴点群１１１の３次元空間内での座標位置を移動させる。
【００８４】
ステップＳ７３において、簡易回転部９２は、ステップＳ７２の処理で回転させた特徴点群の３次元空間内での座標位置を、第２画像上にプロットする。このとき、例えば、図１２に示されるように、回転させられた特徴点群１１１が第２画像上にプロットされる。
【００８５】
ステップＳ７４において、簡易回転部９２は、最隣接特徴点間距離を演算する。上述したように、最隣接特徴点間距離は、第２画像上にプロットされた特徴点群１１１を構成する特徴点のそれぞれと最も近い位置にある特徴点群１１２を構成する特徴点との距離の総和とされる。
【００８６】
ステップＳ７５において、簡易回転部９２は、ステップＳ７４で演算された最隣接特徴点間距離の値を、ステップＳ７１の処理で設定されたオイラー角と対応付けて記憶する。
【００８７】
ステップＳ７６において、簡易回転部９２は、未設定のオイラー角があるか否かを判定し、未設定のオイラー角があると判定された場合、処理は、ステップＳ７７に進む。
【００８８】
ステップＳ７７において、簡易回転部９２は、オイラー角を変更する。上述したように、簡易回転部９２は、例えば、上述したパラメータα、β、γをそれぞれ、予め設定された所定の範囲内で所定の間隔で変化させて、Ｋ通りの位置に特徴点群１１１を移動（回転）させるようになされている。ステップＳ７６では、例えば、Ｋ通りのオイラー角が全て設定されるまで、未設定のオイラー角があると判定され、その都度、ステップＳ７７において、パラメータα、β、γのいずれかが、予め設定された間隔で変化させられていくことになる。
【００８９】
ステップＳ７７の処理の後、処理は、ステップＳ７２に戻り、それ以後の処理が繰り返し実行される。ただし、今の場合、ステップＳ７２では、ステップＳ７７の処理で設定（変更）されたオイラー角に対応する位置に、第１画像の特徴点群が回転させられ、ステップＳ７５では、ステップＳ７４で演算された最隣接特徴点間距離の値が、ステップＳ７７の処理で設定されたオイラー角と対応付けて記憶されることになる。
【００９０】
ステップＳ７６において、未設定のオイラー角はないと判定された場合、処理は、ステップＳ７８に進む。
【００９１】
ステップＳ７８において、ステップＳ７５の処理で記憶された、例えばＫ個の最隣接特徴点間距離のうち、最小となるものを特定するとともに、その最小となった最隣接特徴点間距離に対応するオイラー角を特定する。
【００９２】
このようにして、特徴点回転処理が実行される。このように、一旦、特徴点のみを回転させて、第１画像が撮像された時刻から第２画像が撮像された時刻に至るまでのゴルフボールの回転量を、概ね推定することが可能となる。このようにすることで、都度、画像を回転させる処理が不要となるので、処理を高速化することが可能となる。また、この後実行される特徴点対応付け処理において画像相関法による演算を行うにあたり、特徴点回転処理によって特定されたオイラー角を利用することで、正確かつ高速な特徴点の対応付けを実現することが可能となる。
【００９３】
図１６に戻って、ステップＳ３２の処理の後、ステップＳ３３において、特徴点対応制御部９３は、特徴点対応付け処理を実行する。ここで、図１９のフローチャートを参照して、図１６のステップＳ３３の特徴点対応付け処理の詳細について説明する。
【００９４】
ステップＳ９１において、特徴点対応制御部９３は、第１画像の特徴点群１１１を構成する特徴点のうち、３つの特徴点を抽出する。このとき、上述したように、例えば、特徴点群１１１の閾値を超える特徴量を有する特徴点として抽出された特徴点の中から、互いに距離の離れた特徴点が３個さらに抽出される。
【００９５】
ステップＳ９２において特徴点対応制御部９３は、ステップＳ７８の処理で特定されたオイラー角の分だけ第１画像を回転させる。
【００９６】
ステップＳ９３において、特徴点対応制御部９３は、ステップＳ９１の処理で抽出された３つの特徴点のそれぞれと、距離が近い第２画像の特徴点を複数抽出する。このとき、上述したように、例えば、特徴点群１１１を構成する３個の特徴点のそれぞれから距離の近い順に、（例えば、３個）特徴点群１１２を構成する特徴点が抽出される。例えば、特徴点１１１ａと距離の近い特徴点１１２ａ、１１２ｂ、１１２ｃが抽出され、特徴点１１１ｍと距離の近い特徴点１１２ｍ、１１２ｎ、１１２ｏが抽出され、特徴点１１１ｔと距離の近い特徴点１１２ｔ、１１２ｓ、１１２ｕが抽出されることになる。
【００９７】
ステップＳ９４において、特徴点対応制御部９３は、画像相関法により相関値を演算する。このとき、上述したように、特徴点対応制御部９３が、例えば、特徴点１１１ａを中心とする所定大きさの第１画像の領域Ａ１を設定し、特徴点１１２ａ、１１２ｂ、１１２ｃを中心とする所定の大きさの第２画像の領域Ｂ１１、Ｂ１２、Ｂ１３を設定する。そして、特徴点対応制御部９３は、画像相関法により領域Ａ１と領域Ｂ１１との相関値、領域Ａ１と領域Ｂ１２との相関値、領域Ａ１と領域Ｂ１３との相関値をそれぞれ演算する。
【００９８】
同様に、特徴点対応制御部９３は、特徴点１１１ｍを中心とする所定大きさの第１画像の領域Ａ２を設定し、特徴点１１２ｍ、１１２ｎ、１１２ｏを中心とする所定の大きさの第２画像の領域Ｂ２１、Ｂ２２、Ｂ２３を設定し、画像相関法により領域Ａ２と領域Ｂ２１との相関値、領域Ａ２と領域Ｂ２２との相関値、領域Ａ２と領域Ｂ２３との相関値をそれぞれ演算する。特徴点対応制御部９３は、特徴点１１１tを中心とする所定大きさの第１画像の領域Ａ３を設定し、特徴点１１２ｔ、１１２ｓ、１１２ｕを中心とする所定の大きさの第２画像の領域Ｂ３１、Ｂ３２、Ｂ３３を設定し、画像相関法により領域Ａ３と領域Ｂ３１との相関値、領域Ａ３と領域Ｂ３２との相関値、領域Ａ３と領域Ｂ３３との相関値をそれぞれ演算する。
【００９９】
ステップＳ９５において、特徴点対応制御部９３は、ステップＳ９４の処理で得られた相関値のうち、最も高いもの第１画像の３つの特徴点に対応する第２画像の特徴点として特定する。これにより、例えば、図１４に示されるように、特徴点群１１１を構成する３つの特徴点のそれぞれに対応する特徴点群１１２を構成する３つの特徴点が特定されることになる。
【０１００】
このようにして、特徴点対応付け処理が実行される。特徴点対応付け処理は、例えば、特徴点回転処理によって回転された第１画像の特徴点のみの画像などに基づいて行われるものではなく、特徴点回転処理によって特定されたオイラー角を利用して、第１画像を回転させて画像相関法による演算を行うこととされている。このようにすることで、より正確かつ高速な特徴点の対応付けを実現することが可能となる。その結果、ゴルフボールの回転方向、回転数などを正確に検出することが可能となる。
【０１０１】
従来の技術によりゴルフボールの回転の方向、回転数などを検出するためには、画像の中でのボールの回転方向、回転した角度など特定するために、予め定められたマークや模様の付されたゴルフボールを用いる必要があった。このため、例えば、ユーザが気に入っているボールなどを自由に使って、シミュレーションシステムを利用することができないという課題があった。
【０１０２】
これに対して、本発明では、上述したように画像のエッジが検出されて、特徴点とされる。本発明では、特徴点の検出と、第１画像と第２画像の特徴点の対応付けが、ゴルフボールがショットされた後で行われるようにしたので、任意のボールを用いることが可能となる。
【０１０３】
また、上述したように、特徴点はエッジとして検出されるものであればよいので、本発明のシミュレーションシステム１０において使用されるゴルフボールには、必ずしも鮮明な標章などが付されている必要はない。従って、本発明では、例えば、いわゆるロストボールなども利用することが可能となる。
【０１０４】
さらに、以上においては、シミュレーションシステム１０に本発明を適用する例について説明したが、本発明は、必ずしもシミュレーションシステムに適用されるものとは限られない。例えば、ゴルフクラブの製造や微調整を行う場合など、ゴルフクラブでショットされたゴルフボールの回転方向、回転数などを検出する必要があるものには、やはり本発明を適用することができる。
【０１０５】
あるいはまた、本発明をゴルフボール以外の球体の回転方向、回転数などを検出に用いることも勿論可能である。
【０１０６】
ところで、図２を参照して上述した例においては、センシングブロック２２のセンサ部４１が、第１カメラと第２カメラの２台のカメラを有すると説明したが、センサ部４１が１台のカメラを有する構成とされてもよい。
【０１０７】
図２０は、１台（１つ）のカメラを有するセンサ部４１の構成を示すブロック図である。同図において、ゴルフボールは、ティー１６０上にセットされ、ゴルフクラブによりショットされるものとする。なお、ショットされたゴルフボールは、図中の右側から左側へ飛ぶことになる。
【０１０８】
センサ１５５−１およびセンサ１５５−２は、それぞれ前方（図中上側）に存在する物体を検知するようになされている。ティー１６０上にセットされたゴルフボールをショットするために、ゴルフクラブのヘッドがセンサ１５５−１およびセンサ１５５−２の前方を通過したとき、センサ１５５−１およびセンサ１５５−２のそれぞれは、ゴルフクラブのヘッドを検知したタイミングで、検知信号を出力するようになされている。
【０１０９】
制御部１５６は、センサ１５５−１およびセンサ１５５−２からの検知信号に基づいて、カメラ１５１のシャッタ信号、並びにストロボ１６１およびストロボ１６２を発光させる発光信号を出力するようになされている。
【０１１０】
ストロボ１６１およびストロボ１６２は、例えば、棒状のストロボとして構成される。
【０１１１】
制御部１５６は、センサ１５５−１およびセンサ１５５−２のうち、ティー１６０に近いセンサ（いまの場合、センサ１５５−１）が検知信号を検出した後、予め設定された時間だけ後に、カメラ１５１のシャッタ信号における第１のパルス（電子シャッタ）を出力するとともに、ストロボ１６１を発光させる発光信号を出力するようになされている。
【０１１２】
また、制御部１５６は、カメラ１５１のシャッタ信号における第１のパルスを出力してから、所定の時間だけ後に、カメラ１５１のシャッタ信号における第２のパルス（電子シャッタ）を出力するとともに、ストロボ１６２を発光させる発光信号を出力するようになされている。ここで、所定の時間は、例えば、センサ１５５−２が検知信号を出力してからセンサ１５５−１が検知信号を出力するまでの時間などに基づいて求められるものとする。
【０１１３】
図２１は、制御部１５６が出力する信号のタイミングチャートの例である。同図の例では、シャッタ信号１８１、ストロボ１６１の発光信号１８２、ストロボ１６２の発光信号１８３、および読み出し信号１８４の波形が示されている。なお、同図の横軸は時間とされ、縦軸は電圧値とされ、シャッタ信号１８１、および読み出し信号１８４は、図中下方向の凸型のパルスを形成する信号とされ、ストロボ１６１の発光信号１８２、およびストロボ１６２の発光信号１８３は、図中上方向の凸型のパルスを形成する信号とされている。
【０１１４】
シャッタ信号１８１のパルス幅であって時間T１の間、カメラ１５１の撮像素子であって、CCDなどの光電変換素子に電荷が蓄積されるようになされている。すなわち、シャッタ信号１８１のパルス幅であって時間T１の間、カメラ１５１のレンズにより集光された光が、撮像素子に入射して、撮像素子のそれぞれによってその光が電荷に変換されて蓄積されることになる。そして、読み出し信号１８４のパルスが供給されることで、１フレーム分の画像データを構成する信号として、各撮像素子に蓄積された電荷に対応する信号が出力されるようになされている。これによって、例えば、各撮像素子から出力された信号に基づいて画素値が設定されて、それらの画素により構成される１枚の画像が生成されることになる。
【０１１５】
また、ストロボ１６１の発光信号１８２、およびストロボ１６２の発光信号１８３においてパルスが出力されたタイミングで、それぞれストロボ１６１およびストロボ１６２が発光するようになされている。
【０１１６】
上述したように、シャッタ信号１８１における第１のパルス（図中左側のパルス）と同じタイミングで、ストロボ１６１を発光させる発光信号のパルスが生成されている。また、シャッタ信号１８１における第１のパルスが生成されてから、所定の時間だけ後に、シャッタ信号１８１における第２のパルス（図中右側のパルス）が生成され、それと同じタイミングでストロボ１６２を発光させる発光信号のパルスが生成されている。
【０１１７】
そして、シャッタ信号１８１における第２のパルスが生成されてから、予め設定された時間だけ後に、読み出し信号１８４におけるパルスが生成されている。
【０１１８】
カメラ１５１に、このように、シャッタ信号１８１、ストロボ１６１の発光信号１８２、ストロボ１６２の発光信号１８３、および読み出し信号１８４を供給することにより、１フレームの画像の中に、シャッタ信号１８１における第１のパルスに対応する時刻のゴルフボールの画像と、シャッタ信号１８１における第２のパルスに対応する時刻のゴルフボールの画像とが写しだされることになる。
【０１１９】
このようにすることで、１フレームの画像（１枚の画像）として、上述した第１画像に対応するゴルフボールの画像と、第２画像に対応するゴルフボールの画像とを得ることが可能となる。すなわち、センサ部４１を図２０に示されるように構成すれば、１台のカメラ１５１で、第１画像と第２画像に対応する１枚の画像を撮像することが可能となる。
【０１２０】
２台のカメラで第１画像と第２画像をそれぞれ撮像するのではなく、１台のカメラのみで、第１画像と第２画像に対応する画像を撮像する構成とすることで、例えば、装置をより小型化したり、装置の製造コストを抑制することが可能となる。
【０１２１】
図２２は、カメラ１５１により撮像されたゴルフボールの画像２００の例を示す図である。同図の画像２００には、シャッタ信号１８１における第１のパルスに対応する時刻のゴルフボールの画像２０１と、シャッタ信号１８１における第２のパルスに対応する時刻のゴルフボールの画像２０２とが含まれている。
【０１２２】
例えば、ゴルフボールの画像２０１を第１画像とし、ゴルフボールの画像２０２を第２画像として、上述した１５乃至１９の処理を実行することにより、ゴルフボールの画像２０１とゴルフボールの画像２０２との間で特徴点の対応付けがなされ、ゴルフボールの回転方向、回転数などを正確に検出することが可能となる。
【０１２３】
本発明においては、図２１のタイミングチャートに示されるように、シャッタ信号１８１のパルス幅（時間T１）を充分に短くし、シャッタ信号１８１のパルスのパルスと同じタイミングでストロボを発光させるようにしたことで、ゴルフボールの画像２０１とゴルフボールの画像２０２をそれぞれ鮮明に撮像することが可能となる。
【０１２４】
理論的には、例えば、シャッタ信号のパルス幅長く設定し、シャッタ信号においてパルスが形成されている間に、２回ストロボを発光させるようにすれば、１枚の画像として、上述した第１画像に対応するゴルフボールの画像と、第２画像に対応するゴルフボールの画像とを得ることが可能となる。しかし、このようにすると、カメラの露光時間が長く設定された画像と同様の画像が撮像されることになり、その結果、ゴルフボールの画像２０１とゴルフボールの画像２０２との間に残像などが写り、ゴルフボールの画像２０１とゴルフボールの画像２０２をそれぞれ鮮明に撮像することはできない。
【０１２５】
これに対して、本発明では、シャッタ信号１８１のパルス幅を充分に短くし、同じタイミングでストロボを発光させるようにしたので、ゴルフボールの画像２０１とゴルフボールの画像２０２との間に残像などが写ることが抑止され、かつ、ゴルフボールの画像２０１とゴルフボールの画像２０２をそれぞれ鮮明に撮像することが可能となる。
【０１２６】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２３に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１２７】
図２３において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２８】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１２９】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３０】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１３１】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１３２】
なお、この記録媒体は、図２３に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１３３】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１３４】
【図１】本発明の一実施の形態に係るシミュレーションシステムの例を示す図である。
【図２】図１のセンシングブロックの構成例を示すブロック図である。
【図３】図２のデータ処理部のプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【図４】図３の画像解析部の構成例を示すブロック図である。
【図５】図４の回転検出部の構成例を示すブロック図である。
【図６】特徴点が検出されたゴルフボールの画像の例を示す図である。
【図７】第１画像の例を示す図である。
【図８】第２画像の例を示す図である。
【図９】第１画像の別の例を示す図である。
【図１０】第２画像の別の例を示す図である。
【図１１】特徴点の回転を説明する図である。
【図１２】特徴点の回転を説明する図である。
【図１３】第２画像においてプロットされた第１画像の特徴点群の例を示す図である。
【図１４】特徴点の対応付けを説明する図である。
【図１５】回転検出処理の例を説明するフローチャートである。
【図１６】対応部分特定処理の例を説明するフローチャートである。
【図１７】特徴点検出処理の例を説明するフローチャートである。
【図１８】特徴点回転処理の例を説明するフローチャートである。
【図１９】特徴点対応付け処理の例を説明するフローチャートである。
【図２０】図２のセンサ部の別の構成例を示す図である。
【図２１】図２０の制御部が出力する信号のタイミングチャートの例を示す図である。
【図２２】図２０のセンサ部により撮像された画像の例を示す図である。
【図２３】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１３５】
１０ シミュレーションシステム， ２１ スクリーン， ２２ センシングブロック， ４１ センサ部， ４２ データ処理部， ６１ 撮像制御部， ６２ 画像解析部， ６３ シミュレーション画像生成部， ７１ 速度検出部， ７２ 回転検出部， ７３ 動き演算部， ９１ 特徴点抽出部， ９２ 簡易回転部， ９３ 特徴点対応制御部， ９４ 回転数検出制御部， １５１ カメラ， １５６ 制御部， １６１ ストロボ， １６２ ストロボ
【技術分野】
【０００１】
本発明は、検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステムに関し、特に、どのようなボールであっても、正確に回転を検出することができるようにする検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステムに関する。
【背景技術】
【０００２】
近年、スポーツクラブなどにおいて、ゴルフやテニスなどのレッスンの需要が増加している。なかでもゴルフの練習は、広大な敷地が必要となり、例えば都会でゴルフのレッスンを行うことは困難であった。
【０００３】
そこで、例えば、ゴルフクラブでショットした瞬間のゴルフボールをカメラで撮像し、撮像された画像データから得られたゴルフボールの速度等の各種データを用いてゴルフボールの弾道軌道や飛距離を計算してスクリーンにゴルフボールの弾道を表示するシミュレーションシステムが開発されている。
【０００４】
また、空力特性を考慮した弾道、飛距離などを計算するシミュレーション装置も提案されている（例えば、特許文献１参照）。
【０００５】
さらに、近年、ゴルフクラブでショットした瞬間のゴルフボールの画像からゴルフボールの回転の方向、回転数などを検出し、フックやスライスなどの弾道を計算するシミュレーションシステムも開発されている。
【０００６】
【特許文献１】特開２００３−２４４９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術によりゴルフボールの回転の方向、回転数などを検出するためには、画像の中でのボールの回転方向、回転した角度など特定するために、予め定められたマークや模様の付されたゴルフボールを用いる必要があった。
【０００８】
このため、例えば、ユーザが気に入っているボールなどを自由に使って、シミュレーションシステムを利用することができないという課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、どのようなボールであっても、正確に回転を検出することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置である。
【００１１】
前記第１の時刻において発光する第１のストロボと、前記第２の時刻において発光する第２のストロボと、前記第１の時刻および第２の時刻において前記ゴルフボールを被写体として撮像する１つのカメラとをさらに備え、前記第１画像に対応する前記ゴルフボールの画像および前記第１画像に対応する前記ゴルフボールの画像が、前記１つのカメラにより撮像されるようにすることができる。
【００１２】
前記オイラー角特定手段は、与えられたパラメータに基づいて、前記第１画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれを、前記パラメータに対応するオイラー角の分だけ回転させて前記第２の画像上にプロットする特徴点回転手段と、前記与えられたパラメータのうち、前記回転された前記第１画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれと、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて計算される評価値が最も高くなる前記パラメータを特定するパラメータ特定手段とを備えるようにすることができる。
【００１３】
本発明の第１の側面は、移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置の検出方法であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出し、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定し、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算し、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行うステップを含み、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出方法である。
【００１４】
本発明の一側面は、コンピュータを、移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置として機能させるプログラムである。
【００１５】
本発明の第１の側面においては、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点が抽出され、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角が特定され、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値が、画像相関法により演算され、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けけが行われ、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向が検出される。
【００１６】
本発明の第２の側面は、打撃されたゴルフボールを第１の時刻に撮像した第１画像および前記ゴルフボールを前記第１の時刻より後の第２の時刻に撮像した第２画像に基づいて検出される前記ゴルフボールの速度と前記ゴルフボールの回転とに基づいて、前記打撃された後の前記ゴルフボールの軌跡を計算して前記軌跡に従って飛ぶゴルフボールの画像をスクリーンに表示するシミュレーション装置であって、前記第１画像および前記第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置を有するシミュレーションシステムである。
【００１７】
本発明の第２の側面においては、前記第１画像および前記第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置によりゴルフボールの回転が検出される。
【発明の効果】
【００１８】
本発明によれば、どのようなボールであっても、正確に回転を検出することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の第１の側面の検出装置は、移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置（例えば、図４の回転検出部７２を有する図１のセンシングブロック２２）であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段（例えば、図５の特徴点抽出部９１）と、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段（例えば、図５の簡易回転部９２）と、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段（例えば、図１９のステップＳ９１乃至Ｓ９４の処理を実行する図５の特徴点対応制御部９３）と、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段（例えば、図１９のステップＳ９５の処理を実行する図５の特徴点対応制御部９３）とを備え、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する。
【００２１】
移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置（例えば、図４の回転検出部７２を有する図１のセンシングブロック２２）の検出方法であって、前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出し（例えば、図１６のステップＳ３１の処理）、前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定し（例えば、図１６のステップＳ３２の処理）、前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算し（例えば、図１９のステップＳ９１乃至Ｓ９４の処理）、前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う（例えば、図１９のステップＳ９５の処理）ステップを含み、前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する。
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２３】
図１は、本発明の一実施の形態に係るシミュレーションシステム１０の例を示す図である。シミュレーションシステム１０は、例えば、ゴルフの練習に用いられるようになされており、スポーツクラブなどに設置される。
【００２４】
シミュレーションシステム１０においては、ユーザがゴルフクラブでショットした直後のゴルフボールの画像をセンシングブロック２２により撮像して解析し、ゴルフボールの弾道を計算する。そして、例えば、ゴルフコースなどの画像などとともに、計算された弾道で飛ぶゴルフボールの画像をスクリーン２１に表示するようになされている。
【００２５】
シミュレーションシステム１０においては、実際のゴルフのプレイに用いられるゴルフクラブと、ゴルフボールが使用され、ユーザは、実際にゴルフ場でゴルフのプレイをするように、ゴルフクラブでゴルフボールをショットする。すなわち、シミュレーションシステム１０を利用することで、例えば、限られた空間であっても、ユーザは、あたかもゴルフ場でプレイしているような体験をすることが可能となる。
【００２６】
なお、シミュレーションシステム１０において用いられるゴルフボールは、特別なマーク、模様、着色などが付されたボールである必要はなく、広く一般に販売されているゴルフボールなどとされる。
【００２７】
図２は、センシングブロック２２の構成例を示すブロック図である。同図に示されるように、センシングブロック２２は、CCDカメラなどを備えたセンサ部４１が、データ処理部４２に接続されて構成されている。
【００２８】
センサ部４１は、例えば、２台のCCDカメラであって、第１カメラと第２カメラとを有する構成とされ、同図の例では、第１カメラのレンズ５１と第２カメラのレンズ５２が示されている。第１カメラは、例えば、シミュレーションシステム１０の打席に組み込まれたティー（tee）などに接続されたセンサから出力される信号などに基づいて、ゴルフボールがゴルフクラブでショットされた時のゴルフボールの画像を撮像するようになされている。第２カメラは、第１カメラによる撮像がなされた後、所定の時間（例えば、数ミリ秒）だけ後のゴルフボールの画像を撮像するようになされている。
【００２９】
センサ部４１の第１のカメラで撮像された画像のデータと、第２のカメラで撮像された画像のデータは、データ処理部４２に供給されるようになされている。
【００３０】
データ処理部４２は、例えば、プロセッサ、メモリなどを有する構成とされた、予め記憶されているプログラムなどのソフトウェアに対応する処理を実行するようになされている。データ処理部４２は、第１のカメラで撮像された画像のデータと、第２のカメラで撮像された画像のデータとに基づいて、ゴルフボールの速度、並びに単位時間当たりのゴルフボールの回転数および回転方向を算出し、ゴルフボールの速度、並びに単位時間当たりのゴルフボールの回転数および回転方向に基づいて、弾道を計算してスクリーン２１に表示すべき画像データを生成するようになされている。
【００３１】
図３は、データ処理部４２のプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【００３２】
同図の撮像制御部６１は、センサ部４１によるゴルフボールの撮像を制御するようになされており、センサ部４１の第１カメラにより、ゴルフクラブでショットされた時のゴルフボールの画像である第１画像を撮像させ、第２カメラにより、第１カメラによる撮像がなされた後、所定の時間だけ後のゴルフボールの画像である第２画像を撮像させる。
【００３３】
撮像制御部６１は、センサ部４１により撮影された第１画像のデータと第２画像のデータを画像解析部６２に出力する。
【００３４】
画像解析部６２は、第１画像のデータと、第２画像のデータとに基づいて、後述するように、ゴルフボールの速度、並びに単位時間当たりのゴルフボールの回転数および回転方向を算出するようになされている。そして、画像解析部６２は、ゴルフボールの速度、並びに単位時間当たりのゴルフボールの回転数および回転方向に基づいて、ゴルフボールの動きを特定し、時間の経過に伴うゴルフボールの位置を、例えば、座標値として演算するようになされている。
【００３５】
シミュレーション画像生成部６３は、画像解析部６２により演算された時間の経過に伴うゴルフボールの位置に基づいて、弾道を特定し、その弾道に対応するゴルフボールの画像の表示データを生成する。そして、シミュレーション画像生成部６３は、ゴルフボールの画像を、ゴルフコースの画像などと合成し、スクリーン２１に表示すべき画像データを生成するようになされている。
【００３６】
すなわち、画像解析部６２により、ショットされた後、実際にゴルフボールが飛んでいく軌跡が予測され、シミュレーション画像生成部６３により、その軌跡に従って飛ぶボールの画像が生成されてスクリーンに表示されることになる。
【００３７】
図４は、画像解析部６２の詳細な構成例を示すブロック図である。同図に示されるように、画像解析部６２は、速度検出部７１、回転検出部７２、および動き演算部７３により構成されている。
【００３８】
速度検出部７１は、例えば、第１画像と第２画像とに基づいて、単位時間当たりのゴルフボールの移動距離を特定し、ゴルフクラブでショットされたゴルフボールの速度を算出（検出）する機能ブロックとされる。なお、速度検出部７１は、例えば、従来のゴルフのシミュレーションシステムなどに用いられているものと同様のものを利用することが可能である。
【００３９】
回転検出部７２は、第１画像と第２画像とに基づいて、単位時間当たりのゴルフボールの回転量と回転方向を特定し、ゴルフクラブでショットされたゴルフボールの単位時間当たりの回転数、および回転方向を表す数値などを含む回転に関する情報を検出するための機能ブロックとされる。なお、回転検出部７２の詳細については、図５を参照して後述する。
【００４０】
動き演算部７３は、速度検出部７１により検出されたゴルフボールの速度、および回転検出部７２により検出されたゴルフボールの回転に関する情報に基づいて、例えば、ショットされたゴルフボールが飛んでいく軌跡（弾道）を計算する。動き演算部７３は、例えば、所定の時刻におけるゴルフボールの位置を座標値として特定するなどして時間の経過に伴うゴルフボールの位置を予測してゴルフボールの弾道を計算するようになされている。なお、動き演算部７３は、例えば、従来のゴルフのシミュレーションシステムなどに用いられているものと同様のものを利用することが可能である。
【００４１】
図５は、回転検出部７２の詳細な構成例を示すブロック図である。同図に示されるように、回転検出部７２は、特徴点抽出部９１、簡易回転部９２、特徴点対応制御部９３、および回転数検出制御部９４により構成されている。
【００４２】
特徴点抽出部９１は、第１画像および第２画像において、エッジを検出する。ここで、エッジは、例えば、画像の中で画素の輝度値の変化が予め設定された閾値より大きい領域とされる。特徴点抽出部９１は、第１画像において検出された複数のエッジを、それぞれ第１画像の特徴点として記憶し、第２画像において検出された複数のエッジを、それぞれ第２画像の特徴点として記憶するようになされている。
【００４３】
図６は、ゴルフボールの画像の例であり、ゴルフボールの画像から検出される特徴点の例を説明するための図である。同図に示されるゴルフボールには、黒い２つの三角形と黒い１つの四角形により構成されるマークであって、アルファベット「Ｆ」の文字を図形化したマーク（以下、単にマークと称する）が付されている。図６の画像を特徴点抽出部９１により解析させると、マークの輪郭を構成する画素を含む領域がエッジとして検出され、これらのエッジであって、例えば、図中の小さい矩形で示される領域のそれぞれが特徴点として記憶されることになる。
【００４４】
図７は、特徴点が検出された第１画像の例であり、図８は、特徴点が検出された第２画像の例を示している。同図に示されるように、第１画像と第２画像のそれぞれにおいて、マークの輪郭を構成する画素を含む領域（この例では矩形の領域）のそれぞれが特徴点として検出されている。
【００４５】
また、図７の第１画像より時間的に後で撮像された図８の第２画像においては、ゴルフクラブでショットされたゴルフボールが回転したことにより、マークの位置が図中右上方向に移動している。
【００４６】
なお、ここでは、説明を簡単にするため、黒い２つの三角形と黒い１つの四角形により構成されるマークの例を各図に示しているが、実際には、広く一般に販売されているゴルフボールに付されたブランド名、メーカ名などを表示する文字列、模様などからなる標章などの輪郭がエッジとして検出され、特徴点となる。また、当然のことながら、本発明では、ゴルフボールの色、ゴルフボールに付された標章の色などの如何により特徴点の検出に不具合が生じることもない。要は、撮像された画像において、エッジとして検出される部分がゴルフボールの表面の一部に存在していればよいのである。
【００４７】
すなわち、本発明においては、任意の形状、色彩、模様などにより構成されたゴルフボールの表面の一部分を特徴点として検出することが可能である。
【００４８】
簡易回転部９２は、第１画像において検出された特徴点のそれぞれを、第２画像において検出された特徴点に近づけるように回転させる。このとき、第１画像において検出された特徴点のそれぞれは、３次元空間において回転させられるようになされている。
【００４９】
例えば、図９に示されるように、第１画像において、複数の特徴点からなる特徴点群１１１が検出されたものとし、図１０に示されるように、第２画像において、複数の特徴点からなる特徴点群１１２が検出されたものとする。なお、図９において特徴点群１１１は、一点鎖線で示されており、図１０において特徴点群１１２は、点線で示されている。
【００５０】
簡易回転部９２は、例えば、特徴点群１１１の３次元空間内での座標位置を特定し、その特徴点群１１１の座標位置を所定のオイラー角だけ回転させる。勿論、第１画像と第２画像は、それぞれ２次元の画像であるが、ゴルフボールは、ほぼ真球に近い形状であると考えられるので、２次元の画像の座標位置から、３次元空間内での座標位置を特定することができるのである。
【００５１】
簡易回転部９２は、例えば、図１１に示されるように、ゴルフボールの画像の中心点（cx,cy）と半径rを特定し、図中の点線の矢印で示されるように、与えられたオイラー角に対応する位置に、特徴点群１１１の３次元空間内での座標位置を移動させる。なお、ここでのオイラー角は、α、β、γの３つのパラメータにより特定されるものとする。例えば、オイラー角が、α=30,β=31,γ=32の場合、ｚ軸周りに30°回転させた後、x軸周りに31°回転させ（このとき回転したｚ軸をｚ’軸とする）、さらにｚ’軸周りに32°回転させることを意味するものとする。なお、ここでは画面に垂直な軸をｚ軸とし、画面後方から前方向きを正方向とする。
【００５２】
簡易回転部９２は、所定のオイラー角だけ回転させた特徴点群１１１の３次元空間内での座標位置を、例えば、図１２に示されるように、第２画像上にプロットする。そして、第２画像上にプロットされた特徴点群１１１を構成する特徴点のそれぞれと最も近い位置にある特徴点群１１２を構成する特徴点との距離を算出する。
【００５３】
なお、このとき算出される距離は、それぞれの特徴点の３次元座標位置に基づいて演算されるものとする。
【００５４】
例えば、第２画像上にプロットされた特徴点群１１１を構成する特徴点１１１ａと最も近い位置にある特徴点群１１２を構成する特徴点が、特徴点１１２ａであった場合、特徴点１１１ａと特徴点１１２ａとの距離をｄ１が算出される。また、第２画像上にプロットされた特徴点群１１１を構成する特徴点１１１bと最も近い位置にある特徴点群１１２を構成する特徴点が、特徴点１１２ｃであった場合、特徴点１１１ｂと特徴点１１２ｃとの距離をｄ２が算出される。さらに、第２画像上にプロットされた特徴点群１１１を構成する特徴点１１１ｃと最も近い位置にある特徴点群１１２を構成する特徴点が、特徴点１１２ａであった場合、特徴点１１１ｃと特徴点１１２ａとの距離をｄ３が算出される。
【００５５】
このように、例えば、特徴点群１１１を構成する特徴点がｎ個ある場合、距離ｄ１、ｄ２、ｄ３、・・・ｄｎが算出されることになる。
【００５６】
そして、簡易回転部９２は、算出された距離ｄ１、ｄ２、ｄ３、・・・ｄｎの総和を、さらに算出する。ここで算出される距離ｄ１乃至距離ｄｎの総和を最隣接特徴点間距離と称することにする。
【００５７】
簡易回転部９２は、与えられたオイラー角に対応する位置に、特徴点群１１１の３次元空間内での座標位置を移動させて第２画像上にプロットする都度、最隣接特徴点間距離を算出するようになされている。例えば、上述したパラメータα、β、γをそれぞれ、予め設定された所定の範囲内で所定の間隔で変化させて、Ｋ通りの位置に特徴点群１１１を移動（回転）させたものとする。この場合、簡易回転部９２は、Ｋ個の最隣接特徴点間距離を算出することになる。
【００５８】
さらに、簡易回転部９２は、算出されたＫ個の最隣接特徴点間距離のうち、最小となるものを特定するとともに、その最小となった最隣接特徴点間距離に対応するオイラー角を特定する。
【００５９】
このようにして、最小の最隣接特徴点間距離のオイラー角を特定し、そのオイラー角に対応する位置に、特徴点群１１１の３次元空間内での座標位置を移動させて第２画像上にプロットすると、図１３に示されるようになる。図１３においては、最小の最隣接特徴点間距離のオイラー角の分だけ回転させられた特徴点群１１１が、図中の小さい矩形で示されている。同図においては、回転させられた特徴点群１１１が、第２画像のマークとほぼ一致する位置にプロットされている。
【００６０】
このように、最小の最隣接特徴点間距離のオイラー角を特定することで、第１画像の時刻から第２画像の時刻に至るまでの、ゴルフボールの回転量を概ね推定することは可能である。しかしながら、この時点では、特徴点群１１１を構成する特徴点のそれぞれが、特徴点群１１２を構成する特徴点のうち、どの特徴点に対応するものであるのかが、未だ特定されていない。ゴルフボールの回転量を正確に検出するためには、特徴点群１１１を構成する特徴点と特徴点群１１２を構成する特徴点との対応付けが必要となる。この対応付けの処理が、特徴点対応制御部９３により、後述するように行われる。
【００６１】
特徴点対応制御部９３は、簡易回転部９２により特定された最小の最隣接特徴点間距離のオイラー角の分だけ第１画像を回転させる。簡易回転部９２は、第１画像の特徴点群１１１だけを回転させたのに対して、特徴点対応制御部９３は、第１画像そのものを回転させるのである。
【００６２】
また、特徴点対応制御部９３は、特徴点群１１１を構成する特徴点のうち、例えば、予め設定された閾値を超える特徴量を有する特徴点を抽出する。この特徴量は、例えば、特徴点の画素の輝度値、特徴点の画素と周辺の画素との輝度値の差分などとされる。
【００６３】
特徴点対応制御部９３は、閾値を超える特徴量を有する特徴点として抽出された特徴点の中から、互いに距離の離れた特徴点を予め設定された数（例えば、３個）だけさらに抽出する。例えば、特徴点群１１１を構成する特徴点のうち、閾値を超える特徴量を有する特徴点１１１ａ、１１１ｆ、１１１ｍ、１１１ｒ、１１１ｔがそれぞれ抽出され、その中で最も特徴量が大きい特徴点１１１ａがさらに抽出され、特徴点１１１ａと最も距離が離れた１１１ｍが特定され、特徴点１１１ａおよび特徴点１１１ｍのそれぞれから最も距離が離れた特徴点１１１ｔが特定されることで、互いに距離の離れた特徴点が３個（今の場合、特徴点１１１ａ、特徴点１１１ｍ、および特徴点１１１ｔ）さらに抽出されることになる。
【００６４】
そして、特徴点対応制御部９３は、互いに距離の離れた特徴点として抽出された特徴点群１１１を構成する（例えば、３個の）特徴点のそれぞれから距離の近い順に、（例えば、３個）特徴点群１１２を構成する特徴点を抽出する。例えば、特徴点１１１ａと距離の近い特徴点１１２ａ、１１２ｂ、１１２ｃが抽出され、特徴点１１１ｍと距離の近い特徴点１１２ｍ、１１２ｎ、１１２ｏが抽出され、特徴点１１１ｔと距離の近い特徴点１１２ｔ、１１２ｓ、１１２ｕが抽出される。なお、このとき特徴点１１１ａと特徴点１１２ａとの距離、特徴点１１１ａと特徴点１１２ａとの距離、・・・特徴点１１１ｔと特徴点１１２ｕとの距離は、第１画像を最小の最隣接特徴点間距離のオイラー角の分だけ回転させた状態で算出されることになる。
【００６５】
さらに、特徴点対応制御部９３は、例えば、特徴点１１１ａを中心とする所定大きさの第１画像の領域Ａ１を設定し、特徴点１１２ａ、１１２ｂ、１１２ｃを中心とする所定の大きさの第２画像の領域Ｂ１１、Ｂ１２、Ｂ１３を設定する。そして、特徴点対応制御部９３は、画像相関法により領域Ａ１と領域Ｂ１１との相関値、領域Ａ１と領域Ｂ１２との相関値、領域Ａ１と領域Ｂ１３との相関値をそれぞれ演算する。このようにして演算された相関値に基づいて、最も高い相関値が得られた第２画像の領域に含まれる特徴点が、特徴点１１１ａに対応する第２画像の特徴点であると推定できる。
【００６６】
例えば、上述のように演算した３個の相関値の中で、領域Ａ１と領域Ｂ１２との相関値が最も高い場合、第１画像の特徴点１１１ａに対応する第２画像の特徴点は、特徴点１１２ｂであると推定できる。
【００６７】
同様に、特徴点対応制御部９３は、特徴点１１１ｍを中心とする所定大きさの第１画像の領域Ａ２を設定し、特徴点１１２ｍ、１１２ｎ、１１２ｏを中心とする所定の大きさの第２画像の領域Ｂ２１、Ｂ２２、Ｂ２３を設定し、画像相関法により領域Ａ２と領域Ｂ２１との相関値、領域Ａ２と領域Ｂ２２との相関値、領域Ａ２と領域Ｂ２３との相関値をそれぞれ演算する。特徴点対応制御部９３は、特徴点１１１tを中心とする所定大きさの第１画像の領域Ａ３を設定し、特徴点１１２ｔ、１１２ｓ、１１２ｕを中心とする所定の大きさの第２画像の領域Ｂ３１、Ｂ３２、Ｂ３３を設定し、画像相関法により領域Ａ３と領域Ｂ３１との相関値、領域Ａ３と領域Ｂ３２との相関値、領域Ａ３と領域Ｂ３３との相関値をそれぞれ演算する。このようにして演算された相関値に基づいて、最も高い相関値が得られた第２画像の領域に含まれる特徴点が、特徴点１１１ｍまたは特徴点１１１ｔに対応する第２画像の特徴点であると推定できる。
【００６８】
これにより、例えば、図１４に示されるように、特徴点群１１１を構成する３つの特徴点のそれぞれに対応する特徴点群１１２を構成する３つの特徴点が特定されることになる。同図の例では、図中の矢印により、特徴点群１１１を構成する３つの特徴点と特徴点群１１２を構成する３つの特徴点との対応付けが示されている。
【００６９】
図５の回転数検出制御部９４は、特徴点対応制御部９３により対応付けられた第１画像の特徴点と第２画像の特徴点に基づいて、単位時間当たりのゴルフボールの回転量と回転方向を特定し、ゴルフクラブでショットされたゴルフボールの単位時間当たりの回転数、および回転方向を表す数値などを含む回転に関する情報を検出する。なお、回転数検出制御部９４は、例えば、従来のゴルフのシミュレーションシステムなどに用いられているものと同様のものを利用することが可能である。
【００７０】
次に、図１５のフローチャートを参照して、図４の回転検出部７２による回転検出処理について説明する。
【００７１】
ステップＳ１１において、特徴点抽出部９１、簡易回転部９２、および特徴点対応制御部９３は、図１６を参照して後述する特徴部分特定処理を実行する。これにより、例えば、第１画像と第２画像において、それぞれの特徴点の対応付けが行われる。
【００７２】
ステップＳ１２において、回転数検出制御部９４は、ステップＳ１１の処理により対応付けられた第１画像の特徴点と第２画像の特徴点に基づいて、第１画像が撮像された時刻から第２画像が撮像された時刻に至るまでの間に、ゴルフボールがどれだけ回転したか（回転量）を特定する。また、このとき、ゴルフボールの回転方向も特定される。
【００７３】
ステップＳ１３において、回転数検出制御部９４は、ステップＳ１２の処理で特定された回転量に基づいて、単位時間あたりのゴルフボールの回転数を演算する。
【００７４】
このようにして、回転検出処理が実行される。
【００７５】
次に、図１６のフローチャートを参照して、図１５のステップＳ１１の特徴部分特定処理の詳細について説明する。
【００７６】
ステップＳ３１において、特徴点抽出部９１は、特徴点検出処理を実行する。ここで、図１７のフローチャートを参照して、図１６のステップＳ３１の特徴点検出処理の詳細について説明する。
【００７７】
ステップＳ５１において、特徴点抽出部９１は、第１画像および第２画像において、エッジを検出する。上述したように、エッジは、例えば、画像の中で画素の輝度値の変化が予め設定された閾値より大きい領域とされる。
【００７８】
ステップＳ５２において、特徴点抽出部９１は、ステップＳ５１の処理により、第１画像において検出された複数のエッジを、それぞれ第１画像の特徴点として記憶し、第２画像において検出された複数のエッジを、それぞれ第２画像の特徴点として記憶する。これにより、例えば、図７と図８に示されるような図中の小さい矩形で示される領域（点）のそれぞれが特徴点として記憶されることになる。
【００７９】
このようにして、特徴点検出処理が実行される。このようにすることで、上述したように、任意の形状、色彩、模様などにより構成されたゴルフボールの表面の一部分を特徴点として検出することが可能である。
【００８０】
図１６に戻って、ステップＳ３１の処理の後、ステップＳ３２において、簡易回転部９２は、特徴点回転処理を実行する。ここで、図１８のフローチャートを参照して、図１６のステップＳ３２の特徴点回転処理の詳細について説明する。
【００８１】
ステップＳ７１において、簡易回転部９２は、所定のオイラー角を設定する。
【００８２】
ステップＳ７２において、簡易回転部９２は、ステップＳ７１の処理で設定されたオイラー角に対応する位置に、ステップＳ３１の処理により第１画像から検出された特徴点で構成される第１画像の特徴点群を回転させる。
【００８３】
このとき、上述したように、簡易回転部９２が、例えば、図１１に示されるように、ゴルフボールの画像の中心点（cx,cy）と半径rを特定し、図中の矢印で示されるように、与えられたオイラー角に対応する位置に、特徴点群１１１の３次元空間内での座標位置を移動させる。
【００８４】
ステップＳ７３において、簡易回転部９２は、ステップＳ７２の処理で回転させた特徴点群の３次元空間内での座標位置を、第２画像上にプロットする。このとき、例えば、図１２に示されるように、回転させられた特徴点群１１１が第２画像上にプロットされる。
【００８５】
ステップＳ７４において、簡易回転部９２は、最隣接特徴点間距離を演算する。上述したように、最隣接特徴点間距離は、第２画像上にプロットされた特徴点群１１１を構成する特徴点のそれぞれと最も近い位置にある特徴点群１１２を構成する特徴点との距離の総和とされる。
【００８６】
ステップＳ７５において、簡易回転部９２は、ステップＳ７４で演算された最隣接特徴点間距離の値を、ステップＳ７１の処理で設定されたオイラー角と対応付けて記憶する。
【００８７】
ステップＳ７６において、簡易回転部９２は、未設定のオイラー角があるか否かを判定し、未設定のオイラー角があると判定された場合、処理は、ステップＳ７７に進む。
【００８８】
ステップＳ７７において、簡易回転部９２は、オイラー角を変更する。上述したように、簡易回転部９２は、例えば、上述したパラメータα、β、γをそれぞれ、予め設定された所定の範囲内で所定の間隔で変化させて、Ｋ通りの位置に特徴点群１１１を移動（回転）させるようになされている。ステップＳ７６では、例えば、Ｋ通りのオイラー角が全て設定されるまで、未設定のオイラー角があると判定され、その都度、ステップＳ７７において、パラメータα、β、γのいずれかが、予め設定された間隔で変化させられていくことになる。
【００８９】
ステップＳ７７の処理の後、処理は、ステップＳ７２に戻り、それ以後の処理が繰り返し実行される。ただし、今の場合、ステップＳ７２では、ステップＳ７７の処理で設定（変更）されたオイラー角に対応する位置に、第１画像の特徴点群が回転させられ、ステップＳ７５では、ステップＳ７４で演算された最隣接特徴点間距離の値が、ステップＳ７７の処理で設定されたオイラー角と対応付けて記憶されることになる。
【００９０】
ステップＳ７６において、未設定のオイラー角はないと判定された場合、処理は、ステップＳ７８に進む。
【００９１】
ステップＳ７８において、ステップＳ７５の処理で記憶された、例えばＫ個の最隣接特徴点間距離のうち、最小となるものを特定するとともに、その最小となった最隣接特徴点間距離に対応するオイラー角を特定する。
【００９２】
このようにして、特徴点回転処理が実行される。このように、一旦、特徴点のみを回転させて、第１画像が撮像された時刻から第２画像が撮像された時刻に至るまでのゴルフボールの回転量を、概ね推定することが可能となる。このようにすることで、都度、画像を回転させる処理が不要となるので、処理を高速化することが可能となる。また、この後実行される特徴点対応付け処理において画像相関法による演算を行うにあたり、特徴点回転処理によって特定されたオイラー角を利用することで、正確かつ高速な特徴点の対応付けを実現することが可能となる。
【００９３】
図１６に戻って、ステップＳ３２の処理の後、ステップＳ３３において、特徴点対応制御部９３は、特徴点対応付け処理を実行する。ここで、図１９のフローチャートを参照して、図１６のステップＳ３３の特徴点対応付け処理の詳細について説明する。
【００９４】
ステップＳ９１において、特徴点対応制御部９３は、第１画像の特徴点群１１１を構成する特徴点のうち、３つの特徴点を抽出する。このとき、上述したように、例えば、特徴点群１１１の閾値を超える特徴量を有する特徴点として抽出された特徴点の中から、互いに距離の離れた特徴点が３個さらに抽出される。
【００９５】
ステップＳ９２において特徴点対応制御部９３は、ステップＳ７８の処理で特定されたオイラー角の分だけ第１画像を回転させる。
【００９６】
ステップＳ９３において、特徴点対応制御部９３は、ステップＳ９１の処理で抽出された３つの特徴点のそれぞれと、距離が近い第２画像の特徴点を複数抽出する。このとき、上述したように、例えば、特徴点群１１１を構成する３個の特徴点のそれぞれから距離の近い順に、（例えば、３個）特徴点群１１２を構成する特徴点が抽出される。例えば、特徴点１１１ａと距離の近い特徴点１１２ａ、１１２ｂ、１１２ｃが抽出され、特徴点１１１ｍと距離の近い特徴点１１２ｍ、１１２ｎ、１１２ｏが抽出され、特徴点１１１ｔと距離の近い特徴点１１２ｔ、１１２ｓ、１１２ｕが抽出されることになる。
【００９７】
ステップＳ９４において、特徴点対応制御部９３は、画像相関法により相関値を演算する。このとき、上述したように、特徴点対応制御部９３が、例えば、特徴点１１１ａを中心とする所定大きさの第１画像の領域Ａ１を設定し、特徴点１１２ａ、１１２ｂ、１１２ｃを中心とする所定の大きさの第２画像の領域Ｂ１１、Ｂ１２、Ｂ１３を設定する。そして、特徴点対応制御部９３は、画像相関法により領域Ａ１と領域Ｂ１１との相関値、領域Ａ１と領域Ｂ１２との相関値、領域Ａ１と領域Ｂ１３との相関値をそれぞれ演算する。
【００９８】
同様に、特徴点対応制御部９３は、特徴点１１１ｍを中心とする所定大きさの第１画像の領域Ａ２を設定し、特徴点１１２ｍ、１１２ｎ、１１２ｏを中心とする所定の大きさの第２画像の領域Ｂ２１、Ｂ２２、Ｂ２３を設定し、画像相関法により領域Ａ２と領域Ｂ２１との相関値、領域Ａ２と領域Ｂ２２との相関値、領域Ａ２と領域Ｂ２３との相関値をそれぞれ演算する。特徴点対応制御部９３は、特徴点１１１tを中心とする所定大きさの第１画像の領域Ａ３を設定し、特徴点１１２ｔ、１１２ｓ、１１２ｕを中心とする所定の大きさの第２画像の領域Ｂ３１、Ｂ３２、Ｂ３３を設定し、画像相関法により領域Ａ３と領域Ｂ３１との相関値、領域Ａ３と領域Ｂ３２との相関値、領域Ａ３と領域Ｂ３３との相関値をそれぞれ演算する。
【００９９】
ステップＳ９５において、特徴点対応制御部９３は、ステップＳ９４の処理で得られた相関値のうち、最も高いもの第１画像の３つの特徴点に対応する第２画像の特徴点として特定する。これにより、例えば、図１４に示されるように、特徴点群１１１を構成する３つの特徴点のそれぞれに対応する特徴点群１１２を構成する３つの特徴点が特定されることになる。
【０１００】
このようにして、特徴点対応付け処理が実行される。特徴点対応付け処理は、例えば、特徴点回転処理によって回転された第１画像の特徴点のみの画像などに基づいて行われるものではなく、特徴点回転処理によって特定されたオイラー角を利用して、第１画像を回転させて画像相関法による演算を行うこととされている。このようにすることで、より正確かつ高速な特徴点の対応付けを実現することが可能となる。その結果、ゴルフボールの回転方向、回転数などを正確に検出することが可能となる。
【０１０１】
従来の技術によりゴルフボールの回転の方向、回転数などを検出するためには、画像の中でのボールの回転方向、回転した角度など特定するために、予め定められたマークや模様の付されたゴルフボールを用いる必要があった。このため、例えば、ユーザが気に入っているボールなどを自由に使って、シミュレーションシステムを利用することができないという課題があった。
【０１０２】
これに対して、本発明では、上述したように画像のエッジが検出されて、特徴点とされる。本発明では、特徴点の検出と、第１画像と第２画像の特徴点の対応付けが、ゴルフボールがショットされた後で行われるようにしたので、任意のボールを用いることが可能となる。
【０１０３】
また、上述したように、特徴点はエッジとして検出されるものであればよいので、本発明のシミュレーションシステム１０において使用されるゴルフボールには、必ずしも鮮明な標章などが付されている必要はない。従って、本発明では、例えば、いわゆるロストボールなども利用することが可能となる。
【０１０４】
さらに、以上においては、シミュレーションシステム１０に本発明を適用する例について説明したが、本発明は、必ずしもシミュレーションシステムに適用されるものとは限られない。例えば、ゴルフクラブの製造や微調整を行う場合など、ゴルフクラブでショットされたゴルフボールの回転方向、回転数などを検出する必要があるものには、やはり本発明を適用することができる。
【０１０５】
あるいはまた、本発明をゴルフボール以外の球体の回転方向、回転数などを検出に用いることも勿論可能である。
【０１０６】
ところで、図２を参照して上述した例においては、センシングブロック２２のセンサ部４１が、第１カメラと第２カメラの２台のカメラを有すると説明したが、センサ部４１が１台のカメラを有する構成とされてもよい。
【０１０７】
図２０は、１台（１つ）のカメラを有するセンサ部４１の構成を示すブロック図である。同図において、ゴルフボールは、ティー１６０上にセットされ、ゴルフクラブによりショットされるものとする。なお、ショットされたゴルフボールは、図中の右側から左側へ飛ぶことになる。
【０１０８】
センサ１５５−１およびセンサ１５５−２は、それぞれ前方（図中上側）に存在する物体を検知するようになされている。ティー１６０上にセットされたゴルフボールをショットするために、ゴルフクラブのヘッドがセンサ１５５−１およびセンサ１５５−２の前方を通過したとき、センサ１５５−１およびセンサ１５５−２のそれぞれは、ゴルフクラブのヘッドを検知したタイミングで、検知信号を出力するようになされている。
【０１０９】
制御部１５６は、センサ１５５−１およびセンサ１５５−２からの検知信号に基づいて、カメラ１５１のシャッタ信号、並びにストロボ１６１およびストロボ１６２を発光させる発光信号を出力するようになされている。
【０１１０】
ストロボ１６１およびストロボ１６２は、例えば、棒状のストロボとして構成される。
【０１１１】
制御部１５６は、センサ１５５−１およびセンサ１５５−２のうち、ティー１６０に近いセンサ（いまの場合、センサ１５５−１）が検知信号を検出した後、予め設定された時間だけ後に、カメラ１５１のシャッタ信号における第１のパルス（電子シャッタ）を出力するとともに、ストロボ１６１を発光させる発光信号を出力するようになされている。
【０１１２】
また、制御部１５６は、カメラ１５１のシャッタ信号における第１のパルスを出力してから、所定の時間だけ後に、カメラ１５１のシャッタ信号における第２のパルス（電子シャッタ）を出力するとともに、ストロボ１６２を発光させる発光信号を出力するようになされている。ここで、所定の時間は、例えば、センサ１５５−２が検知信号を出力してからセンサ１５５−１が検知信号を出力するまでの時間などに基づいて求められるものとする。
【０１１３】
図２１は、制御部１５６が出力する信号のタイミングチャートの例である。同図の例では、シャッタ信号１８１、ストロボ１６１の発光信号１８２、ストロボ１６２の発光信号１８３、および読み出し信号１８４の波形が示されている。なお、同図の横軸は時間とされ、縦軸は電圧値とされ、シャッタ信号１８１、および読み出し信号１８４は、図中下方向の凸型のパルスを形成する信号とされ、ストロボ１６１の発光信号１８２、およびストロボ１６２の発光信号１８３は、図中上方向の凸型のパルスを形成する信号とされている。
【０１１４】
シャッタ信号１８１のパルス幅であって時間T１の間、カメラ１５１の撮像素子であって、CCDなどの光電変換素子に電荷が蓄積されるようになされている。すなわち、シャッタ信号１８１のパルス幅であって時間T１の間、カメラ１５１のレンズにより集光された光が、撮像素子に入射して、撮像素子のそれぞれによってその光が電荷に変換されて蓄積されることになる。そして、読み出し信号１８４のパルスが供給されることで、１フレーム分の画像データを構成する信号として、各撮像素子に蓄積された電荷に対応する信号が出力されるようになされている。これによって、例えば、各撮像素子から出力された信号に基づいて画素値が設定されて、それらの画素により構成される１枚の画像が生成されることになる。
【０１１５】
また、ストロボ１６１の発光信号１８２、およびストロボ１６２の発光信号１８３においてパルスが出力されたタイミングで、それぞれストロボ１６１およびストロボ１６２が発光するようになされている。
【０１１６】
上述したように、シャッタ信号１８１における第１のパルス（図中左側のパルス）と同じタイミングで、ストロボ１６１を発光させる発光信号のパルスが生成されている。また、シャッタ信号１８１における第１のパルスが生成されてから、所定の時間だけ後に、シャッタ信号１８１における第２のパルス（図中右側のパルス）が生成され、それと同じタイミングでストロボ１６２を発光させる発光信号のパルスが生成されている。
【０１１７】
そして、シャッタ信号１８１における第２のパルスが生成されてから、予め設定された時間だけ後に、読み出し信号１８４におけるパルスが生成されている。
【０１１８】
カメラ１５１に、このように、シャッタ信号１８１、ストロボ１６１の発光信号１８２、ストロボ１６２の発光信号１８３、および読み出し信号１８４を供給することにより、１フレームの画像の中に、シャッタ信号１８１における第１のパルスに対応する時刻のゴルフボールの画像と、シャッタ信号１８１における第２のパルスに対応する時刻のゴルフボールの画像とが写しだされることになる。
【０１１９】
このようにすることで、１フレームの画像（１枚の画像）として、上述した第１画像に対応するゴルフボールの画像と、第２画像に対応するゴルフボールの画像とを得ることが可能となる。すなわち、センサ部４１を図２０に示されるように構成すれば、１台のカメラ１５１で、第１画像と第２画像に対応する１枚の画像を撮像することが可能となる。
【０１２０】
２台のカメラで第１画像と第２画像をそれぞれ撮像するのではなく、１台のカメラのみで、第１画像と第２画像に対応する画像を撮像する構成とすることで、例えば、装置をより小型化したり、装置の製造コストを抑制することが可能となる。
【０１２１】
図２２は、カメラ１５１により撮像されたゴルフボールの画像２００の例を示す図である。同図の画像２００には、シャッタ信号１８１における第１のパルスに対応する時刻のゴルフボールの画像２０１と、シャッタ信号１８１における第２のパルスに対応する時刻のゴルフボールの画像２０２とが含まれている。
【０１２２】
例えば、ゴルフボールの画像２０１を第１画像とし、ゴルフボールの画像２０２を第２画像として、上述した１５乃至１９の処理を実行することにより、ゴルフボールの画像２０１とゴルフボールの画像２０２との間で特徴点の対応付けがなされ、ゴルフボールの回転方向、回転数などを正確に検出することが可能となる。
【０１２３】
本発明においては、図２１のタイミングチャートに示されるように、シャッタ信号１８１のパルス幅（時間T１）を充分に短くし、シャッタ信号１８１のパルスのパルスと同じタイミングでストロボを発光させるようにしたことで、ゴルフボールの画像２０１とゴルフボールの画像２０２をそれぞれ鮮明に撮像することが可能となる。
【０１２４】
理論的には、例えば、シャッタ信号のパルス幅長く設定し、シャッタ信号においてパルスが形成されている間に、２回ストロボを発光させるようにすれば、１枚の画像として、上述した第１画像に対応するゴルフボールの画像と、第２画像に対応するゴルフボールの画像とを得ることが可能となる。しかし、このようにすると、カメラの露光時間が長く設定された画像と同様の画像が撮像されることになり、その結果、ゴルフボールの画像２０１とゴルフボールの画像２０２との間に残像などが写り、ゴルフボールの画像２０１とゴルフボールの画像２０２をそれぞれ鮮明に撮像することはできない。
【０１２５】
これに対して、本発明では、シャッタ信号１８１のパルス幅を充分に短くし、同じタイミングでストロボを発光させるようにしたので、ゴルフボールの画像２０１とゴルフボールの画像２０２との間に残像などが写ることが抑止され、かつ、ゴルフボールの画像２０１とゴルフボールの画像２０２をそれぞれ鮮明に撮像することが可能となる。
【０１２６】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２３に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１２７】
図２３において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２８】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１２９】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３０】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１３１】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１３２】
なお、この記録媒体は、図２３に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１３３】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１３４】
【図１】本発明の一実施の形態に係るシミュレーションシステムの例を示す図である。
【図２】図１のセンシングブロックの構成例を示すブロック図である。
【図３】図２のデータ処理部のプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【図４】図３の画像解析部の構成例を示すブロック図である。
【図５】図４の回転検出部の構成例を示すブロック図である。
【図６】特徴点が検出されたゴルフボールの画像の例を示す図である。
【図７】第１画像の例を示す図である。
【図８】第２画像の例を示す図である。
【図９】第１画像の別の例を示す図である。
【図１０】第２画像の別の例を示す図である。
【図１１】特徴点の回転を説明する図である。
【図１２】特徴点の回転を説明する図である。
【図１３】第２画像においてプロットされた第１画像の特徴点群の例を示す図である。
【図１４】特徴点の対応付けを説明する図である。
【図１５】回転検出処理の例を説明するフローチャートである。
【図１６】対応部分特定処理の例を説明するフローチャートである。
【図１７】特徴点検出処理の例を説明するフローチャートである。
【図１８】特徴点回転処理の例を説明するフローチャートである。
【図１９】特徴点対応付け処理の例を説明するフローチャートである。
【図２０】図２のセンサ部の別の構成例を示す図である。
【図２１】図２０の制御部が出力する信号のタイミングチャートの例を示す図である。
【図２２】図２０のセンサ部により撮像された画像の例を示す図である。
【図２３】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１３５】
１０ シミュレーションシステム， ２１ スクリーン， ２２ センシングブロック， ４１ センサ部， ４２ データ処理部， ６１ 撮像制御部， ６２ 画像解析部， ６３ シミュレーション画像生成部， ７１ 速度検出部， ７２ 回転検出部， ７３ 動き演算部， ９１ 特徴点抽出部， ９２ 簡易回転部， ９３ 特徴点対応制御部， ９４ 回転数検出制御部， １５１ カメラ， １５６ 制御部， １６１ ストロボ， １６２ ストロボ
【特許請求の範囲】
【請求項１】
移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置であって、
前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、
前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、
前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、
前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、
前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する
検出装置。
【請求項２】
前記第１の時刻において発光する第１のストロボと、
前記第２の時刻において発光する第２のストロボと、
前記第１の時刻および第２の時刻において前記ゴルフボールを被写体として撮像する１つのカメラとをさらに備え、
前記第１画像に対応する前記ゴルフボールの画像および前記第１画像に対応する前記ゴルフボールの画像が、前記１つのカメラにより撮像される
請求項１に記載の検出装置。
【請求項３】
前記オイラー角特定手段は、
与えられたパラメータに基づいて、前記第１画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれを、前記パラメータに対応するオイラー角の分だけ回転させて前記第２の画像上にプロットする特徴点回転手段と、
前記与えられたパラメータのうち、前記回転された前記第１画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれと、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて計算される評価値が最も高くなる前記パラメータを特定するパラメータ特定手段と
を備える請求項２に記載の検出装置。
【請求項４】
移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置の検出方法であって、
前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出し、
前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定し、
前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算し、
前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行うステップを含み、
前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する
検出方法。
【請求項５】
コンピュータを、
移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置であって、
前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、
前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、
前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、
前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、
前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置として機能させる
プログラム。
【請求項６】
請求項５に記載のプログラムが記録されている記録媒体。
【請求項７】
打撃されたゴルフボールを第１の時刻に撮像した第１画像および前記ゴルフボールを前記第１の時刻より後の第２の時刻に撮像した第２画像に基づいて検出される前記ゴルフボールの速度と前記ゴルフボールの回転とに基づいて、前記打撃された後の前記ゴルフボールの軌跡を計算して前記軌跡に従って飛ぶゴルフボールの画像をスクリーンに表示するシミュレーション装置であって、
前記第１画像および前記第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、
前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、
前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、
前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、
前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置を有する
シミュレーションシステム。
【請求項１】
移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置であって、
前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、
前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、
前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、
前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、
前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する
検出装置。
【請求項２】
前記第１の時刻において発光する第１のストロボと、
前記第２の時刻において発光する第２のストロボと、
前記第１の時刻および第２の時刻において前記ゴルフボールを被写体として撮像する１つのカメラとをさらに備え、
前記第１画像に対応する前記ゴルフボールの画像および前記第１画像に対応する前記ゴルフボールの画像が、前記１つのカメラにより撮像される
請求項１に記載の検出装置。
【請求項３】
前記オイラー角特定手段は、
与えられたパラメータに基づいて、前記第１画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれを、前記パラメータに対応するオイラー角の分だけ回転させて前記第２の画像上にプロットする特徴点回転手段と、
前記与えられたパラメータのうち、前記回転された前記第１画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれと、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて計算される評価値が最も高くなる前記パラメータを特定するパラメータ特定手段と
を備える請求項２に記載の検出装置。
【請求項４】
移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置の検出方法であって、
前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出し、
前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定し、
前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算し、
前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行うステップを含み、
前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する
検出方法。
【請求項５】
コンピュータを、
移動するゴルフボールを撮像した画像に基づいて、前記ゴルフボールの回転を検出する検出装置であって、
前記ゴルフボールを第１の時刻に撮像した第１画像、および前記ゴルフボールを前記第１の時刻より後の第２時刻に撮像した第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、
前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、
前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、
前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、
前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置として機能させる
プログラム。
【請求項６】
請求項５に記載のプログラムが記録されている記録媒体。
【請求項７】
打撃されたゴルフボールを第１の時刻に撮像した第１画像および前記ゴルフボールを前記第１の時刻より後の第２の時刻に撮像した第２画像に基づいて検出される前記ゴルフボールの速度と前記ゴルフボールの回転とに基づいて、前記打撃された後の前記ゴルフボールの軌跡を計算して前記軌跡に従って飛ぶゴルフボールの画像をスクリーンに表示するシミュレーション装置であって、
前記第１画像および前記第２画像のそれぞれにおいて、エッジとなる画素を検出することで、前記ゴルフボールの表面の画像の一部を構成する複数の特徴点を抽出する特徴点抽出手段と、
前記第１画像において前記抽出された複数の特徴点の３次元座標位置と、前記第２画像において前記抽出された複数の特徴点の３次元座標位置のそれぞれとの距離に基づいて、前記第１画像と前記第２画像の位置関係を表すオイラー角を特定するオイラー角特定手段と、
前記特定されたオイラー角の分だけ前記第１の画像を回転させ、前記回転された第１画像において前記抽出された複数の特徴点のうちの所定の特徴点と、前記第２画像において前記抽出された複数の特徴点のうちの所定の特徴点との相関値を、画像相関法により演算する相関演算手段と、
前記演算された相関値に基づいて、前記第１の画像の特徴点と前記第２の画像の特徴点との対応付けを行う対応付け手段とを備え、
前記対応付けられた前記第１の画像の特徴点と前記第２の画像の特徴点に基づいて、前記ゴルフボールの回転量と回転方向を検出する検出装置を有する
シミュレーションシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００９−２４７６４２（Ｐ２００９−２４７６４２Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−９９９９４（Ｐ２００８−９９９９４）
【出願日】平成２０年４月８日（２００８．４．８）
【出願人】（３９１０００８９６）株式会社フローベル (10)
【出願人】（５９２０１４１０４）ブリヂストンスポーツ株式会社 (652)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月８日（２００８．４．８）
【出願人】（３９１０００８９６）株式会社フローベル (10)
【出願人】（５９２０１４１０４）ブリヂストンスポーツ株式会社 (652)
【Ｆターム（参考）】
[ Back to top ]