撮像装置及びプログラム
【課題】ＣＭＯＳ型イメージセンサ等を用いて、ローリングシャッター方式で撮像されたボール像が歪んでいても、ボールの運動を正確に解析することができるようにする。
【解決手段】撮像装置１００は、ボール像が楕円形に歪んだ状態で含まれるフレームを、内領域Ａ３とその内領域Ａ３と内領域Ａ３の外側の外領域Ａ４とを有する楕円分離度フィルターによってフィルタリング処理することによって、分離度を算出する分離度算出手段７ｇと、内領域Ａ３の中心位置、長径、短径及び傾斜角を変更しながら分離度算出手段７ｇによって算出される分離度が最大となる中心位置、長径、短径及び傾斜角をボール像の中心位置、長径、短径及び傾斜角として推定する推定手段７ｈと、推定手段７ｈによって推定されたボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、ボールの速度を算出する速度算出手段７ｐと、を備える。
【解決手段】撮像装置１００は、ボール像が楕円形に歪んだ状態で含まれるフレームを、内領域Ａ３とその内領域Ａ３と内領域Ａ３の外側の外領域Ａ４とを有する楕円分離度フィルターによってフィルタリング処理することによって、分離度を算出する分離度算出手段７ｇと、内領域Ａ３の中心位置、長径、短径及び傾斜角を変更しながら分離度算出手段７ｇによって算出される分離度が最大となる中心位置、長径、短径及び傾斜角をボール像の中心位置、長径、短径及び傾斜角として推定する推定手段７ｈと、推定手段７ｈによって推定されたボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、ボールの速度を算出する速度算出手段７ｐと、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段によってローリングシャッター方式で撮像されたフレームからボールの運動を解析する撮像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、野球やテニス等のスポーツで用いるボールの速度を測定する装置としては、スピードガンが良く知られている。
このスピードガンは、例えば、ボールによる反射波のドップラー効果を測定して、ボールの速度を推定するようになっていることから、ボールの運動方向に沿ってスピードガンを設置する必要があるため、ボールとの衝突のリスクが高いという問題がある。さらに、運動するボールのどの時点での測定結果であるのかといった正確性の検証が困難であるといった問題もある。
【０００３】
そこで、ボールとの衝突を回避する上で、当該ボールの運動方向に略直交する方向側から運動中のボールを撮像して、その画像を用いて、ボールの運動速度を測定する方法が考えられる（例えば、特許文献１参照）。特許文献１に記載の技術は、ボールの打撃がトリガセンサによって検出されたら、メカニカルシャッターが連続して開閉を行うとともに、閃光装置がメカニカルシャッターの開閉に同期して連続発光することによって、ＣＣＤカメラに多重露光し、複数のボール像を１つのフレームに撮影するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２６４０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載の装置は、ＣＣＤカメラのほかに閃光装置及びトリガセンサなどを必要としているから、大掛かりなものであった。そこで、多重露光方式ではなく、静止画を高速で連続撮像することができるハイスピードカメラを利用すれば、閃光装置等を省略することができると考えられる。しかし、ハイスピードカメラのイメージセンサには、ＣＣＤ型のイメージセンサではなく、高速で撮像処理が行えるＣＭＯＳ型のイメージセンサが利用される。しかし、ＣＭＯＳ型のイメージセンサは、ローリングシャッター方式で撮像を行うものであって、水平ラインごとに順次、露光・電荷蓄積動作を行うものである。従って、高速で移動するボールを撮像すると、画像に含まれるボール像が歪んでしまう。ボール像を含む画像を用いてボールの運動を解析しても、正確な解析とならないという問題がある。
【０００６】
そこで、本発明が解決しようとする課題は、ＣＭＯＳ型イメージセンサ等を用いて、ローリングシャッター方式で撮像されたボール像が歪んでいても、ボールの運動を正確に解析することができるようにすることである。
【課題を解決するための手段】
【０００７】
以上の課題を解決するべく、本発明に係る撮像装置は、
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段と、を備える。
【０００８】
本発明に係る撮像装置は、
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段と、を備える。
【０００９】
本発明に係る撮像装置は、
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段と、を備える。
【００１０】
本発明に係る撮像装置は、
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段と、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段と、を備える。
【００１１】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段、
として機能させる。
【００１２】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段、
として機能させる。
【００１３】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段、
として機能させる。
【００１４】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段、
として機能させる。
【発明の効果】
【００１５】
本発明によれば、フレームに含まれるボール像が歪んでいても、ボールの速度、移動方向等の運動状態を正確に解析する。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る撮像装置の使用状態を示した上面図である。
【図２】使用されるボールを示した図である。
【図３】撮像装置の概略構成を示すブロック図である。
【図４】撮像装置のコンピュータによって行われる処理のメインルーチンを示すフローチャートである。
【図５】静止したボールを撮像して得られたボール像の一例を示した図である。
【図６】運動するボールを撮像して得られたボール像の一例を示した図である。
【図７】撮像装置のコンピュータによって行われる処理のサブルーチンを示すフローチャートである。
【図８】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図９】打撃前のフレームを示した図面である。
【図１０】フレームの中のボール像の状態を示した図面である。
【図１１】フレームインデックスと差分との関係を示したグラフである。
【図１２】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図１３】フレームインデックスと差分との関係を示したグラフである。
【図１４】撮像装置のコンピュータによって行われる処理のサブルーチンを示すフローチャートである。
【図１５】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図１６】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図１７】円形分離度フィルターを説明するための説明図である。
【図１８】撮像装置のコンピュータによって行われる処理のサブルーチンを示すフローチャートである。
【図１９】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図２０】ボール像の背景を平滑化する処理を説明するための説明図である。
【図２１】楕円分離度フィルターを説明するための説明図である。
【図２２】撮像装置のコンピュータによって行われる処理のサブルーチンを示すフローチャートである。
【図２３】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図２４】（ａ）歪みを補正する前のボール像と、（ｂ）補正した後のボール像を示した図面である。
【図２５】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図２６】ボールの水平射出角の計算を説明するための説明図である。
【図２７】本発明の第２の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図２８】撮像装置のコンピュータによって行われる処理のメインルーチンを示すフローチャートである。
【図２９】ボールの運動を解析するための原理を説明するための説明図である。
【発明を実施するための形態】
【００１７】
以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１８】
〔第１の実施の形態〕
図１は、本発明を適用した一実施形態の撮像装置１００の使用状態を示した上面図である。図１に示すように、撮像装置１００の撮像方向Ｄを略水平にし、撮像装置１００の撮像範囲Ｅの周辺部において打撃者２０１が撮像方向Ｄに対してほぼ直交する方向Ｆに球状のボール２０２を打撃する。打撃時のボール２０２が撮像装置１００の撮像範囲に入るようにし、ボール２０２が打撃前に静止した状態から打撃後に高速で移動する状態をそのボール２０２が画像に含まれるように撮像装置１００で連続して撮像する。撮像装置１００は、連続して撮像された複数の画像に基づいてボール２０２のスピード、打撃方向及び回転状態等を解析するものである。
【００１９】
ボール２０２が鮮明に撮像されるようにボール２０２の色が白であり、背景が暗色であることが好ましい。また、ボール２０２の回転状態を容易に解析できるように、ボール２０２の表面にマーク若しくは模様又はこれらの両方が付されていることが好ましい。例えば、図２に示すように、直交する最大円周線２０３，２０４が白色のボール２０２に表面に付されている。
【００２０】
図３は、撮像装置１００の概略構成を示すブロック図である。この撮像装置１００は、ボール運動解析装置であって、特にデジタルカメラである。撮像装置１００は、レンズユニット１、レンズ駆動部２、電子撮像部３、ユニット回路４、撮像制御部５、画像生成部６、画像処理部７、操作入力部８、表示部９、リーダー・ライター１０、バッファメモリ１２、プログラムメモリ１３及び中央制御部１４等を備える。また、撮像装置１００には、外部記憶媒体としての記憶部１１が装着される。
【００２１】
レンズ駆動部２、撮像制御部５、画像生成部６、画像処理部７、表示部９、リーダー・ライター１０、バッファメモリ１２、プログラムメモリ１３及び中央制御部１４は、バスライン１５を介して接続されている。この撮像装置１００のコンピュータは、画像処理部７、バッファメモリ１２、中央制御部１４及びバスライン１５からなる。
【００２２】
操作入力部８は、ユーザーにより操作されると、その操作に伴う操作信号を中央制御部１４に出力する。操作入力部８は、例えば、撮像装置１００の各部に設けられたシャッターボタン８ａ、モード選択ボタン８ｂ及び方向操作ボタン８ｃ等の操作ボタンと、表示部９の表示画面に設けられたタッチパネル８ｄと、を有する。シャッターボタン８ａは、電子撮像部３による被写体の撮像を指示するためのものである。モード選択ボタン８ｂは、撮像モードを通常撮像モード、連続撮像モードやボール運動解析モード等に切り替えて設定するためのものである。方向操作ボタン８ｃは、表示部９の表示画面に表示されたカーソルを移動させるものである。タッチパネル８ｄは、そのタッチパネル８ｄに対する接触位置に応じて各種の指示を入力するためのものである。
【００２３】
レンズユニット１は、フォーカス機能及びズーム機能を有し、複数のレンズからなる。レンズユニット１は、レンズユニット１の前にある被写体（主にボール２０２）及びその背景を電子撮像部３に結像する。
【００２４】
レンズ駆動部２は、レンズユニット１の各レンズを光軸方向に駆動する。具体的には、レンズ駆動部２は、各レンズを光軸方向に移動させるフォーカスモータ等の駆動源と、駆動源を駆動するドライバとを備える（何れも図示略）。
【００２５】
電子撮像部３は、レンズユニット１の後ろ側においてレンズユニット１の光軸上に配置されている。また、電子撮像部３は、例えばＣＭＯＳ（Complementary Metal-oxideSemiconductor）等のイメージセンサから構成されている。電子撮像部３は、レンズユニット１によって結像された光学像を二次元の画像の信号に変換する。電子撮像部３は、高速で連続した撮像を行うことができる。つまり、電子撮像部３は、ボール２０２等の被写体が運動している際に、当該被写体を含む画像を連続して撮像して複数の画像をユニット回路４に順次出力する。電子撮像部３によって連続的に撮像される画像のフレームレートをＦｒａｔｅ[fps]とする。また、電子撮像部３は、ローリングシャッター方式で撮像動作を行う。つまり、電子撮像部３のイメージセンサは、水平ラインごとに順次、露光・電荷蓄積動作を行う。電子撮像部３の垂直ライン数をＳｘとし、水平ライン数をＳｙとする。従って、高速運動する運動体が電子撮像部３によって撮像されると、撮像画像に含まれる運動体の像が歪む。そのような歪みをローリングシャッター歪みという。
【００２６】
ユニット回路４は、電子撮像部３から出力される被写体の光学像に応じたアナログの撮像信号が入力され、入力された画像信号を保持するＣＤＳと、その画像信号を増幅するゲイン調整アンプ(ＡＧＣ)、そのゲイン調整アンプによって増幅された画像信号をデジタルデータの画像に変換するＡ／Ｄ変換器(ＡＤＣ)等から構成されている。ユニット回路４は、デジタルの撮像を画像生成部６に出力する。
【００２７】
撮像制御部５は、中央制御部１４が設定するフレームレートに従ったタイミングで、電子撮像部３やユニット回路４を駆動させる制御を行う。
具体的には、撮像制御部５は、ＴＧ(Timing Generator)、電子撮像部３を駆動するドライバ等（何れも図示略）を備え、ＴＧを介してドライバやユニット回路４の動作タイミングを制御する。即ち、中央制御部１４が、プログラムメモリ１３から読み出したプログラム１３ａに従ってシャッタースピードを設定すると、撮像制御部５のＴＧは、当該シャッタースピードに対応する電荷蓄積時間をシャッターパルスとしてドライバに出力し、ドライバからの駆動パルス信号に従って電子撮像部３をローリングシャッター方式で動作させて電荷蓄積時間（露光時間）を制御する。これにより、１フレームの画像が電子撮像部３によって撮像される。そのため、連続撮像の際には、中央制御部１４がフレームレートを設定すると、撮像制御部５がそのフレームレートに従って電子撮像部３をローリングシャッター方式で繰り返し動作させることで、電子撮像部３が連続撮像を行う。
【００２８】
このように構成されたレンズユニット１、電子撮像部３、ユニット回路４及び撮像制御部５は、被写体を撮像する撮像手段を構成している。
【００２９】
画像生成部６は、ユニット回路４によって出力された画像に対してγ補正処理、ホワイトバランス処理などの各種画像処理を施す。画像生成部６は、中央制御部１４の制御のもと、画像処理された画像をリーダー・ライター１０に出力する。リーダー・ライター１０は、画像処理された画像等を記憶部１１に記録する。記憶部１１は、不揮発性半導体メモリ又はハードディスクであり、画像等を記憶する。
【００３０】
画像生成部６によって画像処理された画像がリーダー・ライター１０によって記憶部１１に記録されるのは、シャッターボタン８ａが押下された際である。シャッターボタンが押下される前は、画像生成部６によって画像処理された画像がバッファメモリ１２に一時格納され、表示部９がバッファメモリ１２に一時格納された画像をビデオ信号に変換した後、ライブビュー画として表示画面に表示する。
【００３１】
リーダー・ライター１０は、記憶部１１に記憶された画像等を読み出す。リーダー・ライター１０によって読み出された画像等はバッファメモリ１２に一時格納される。バッファメモリ１２に一時格納された画像は、表示部９によってビデオ信号に変換されたり、或いは、画像処理部７によって画像処理されたりする。
【００３２】
バッファメモリ１２は、画像等を一時保存するバッファであるとともに、中央制御部１４のワーキングメモリ等としても使用される。
プログラムメモリ１３には、当該撮像装置１００の機能に係るプログラム１３ａやデータが格納されている。このプログラム１３ａは、中央制御部１４及び画像処理部７にとって読み取り可能なプログラムである。
【００３３】
中央制御部１４は、撮像装置１００の各部を制御するＣＰＵ（図示略）を具備している。プログラム１３ａが中央制御部１４を初期位置設定手段１４ａ、撮像制御手段１４ｂ及び入力制御手段１４ｃ等として機能させ、中央制御部１４がプログラム１３ａに従って撮像装置１００の各部を制御する。中央制御部１４のこれらの機能については後述する。
【００３４】
画像処理部７は、画像の各画素の座標に関する演算、画像の各画素の画素値に関する演算その他の画像処理を行うプロセッサを具備する。画像処理部７は、プログラム１３ａに従って画像処理を行う。つまり、プログラム１３ａが画像処理部７を打撃時フレーム特定手段７ａ、第１の平滑化手段７ｂ、円形分離度算出手段７ｃ、推定手段７ｄ、平均色算出手段７ｅ、第２の平滑化手段７ｆ、楕円分離度算出手段７ｇ、推定手段７ｈ、ずれ量算出手段７ｉ、ずらし量算出手段７ｊ、歪み補正手段７ｋ、座標変換手段７ｍ、回転角推定手段７ｎ、速度算出手段７ｐ、垂直射出角算出手段７ｓ及びスピン速度算出手段７ｔ、水平射出角算出手段７ｕ等として機能させる。画像処理部７のこれらの機能については後述する。
【００３５】
続いて、図４に示されたフローチャートを参照して、プログラム１３ａに従って中央制御部１４及び画像処理部７が行う処理の流れについて説明する。なお、以下に説明する処理が中央制御部１４及び画像処理部７によって実行される前に、図１に示したように撮像装置１００をセッティングする。
【００３６】
まず、中央制御部１４がプログラム１３ａによって初期位置設定手段として機能させられることによって、その中央制御部１４が画像の各画素の位置を表現する直交二次元座標系の中にボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）を設定する（ステップＳ１）。具体的には、ユーザーが方向操作ボタン８ｃを操作することによってカーソルをライブビュー画（ライブビュー画は、電子撮像部３によって撮像されて表示部９に表示されている。）の中のボールに合わせて、中央制御部１４がそのカーソルの位置を初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定する。又は、ユーザーがライブビュー画の中のボールの位置においてタッチパネル８ｄにタッチしたら、中央制御部１４がそのタッチ位置を初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定することでもよい。又は、中央制御部１４が初期位置（ｘｉｎｉ，ｙｉｎｉ）を設定した後、ユーザーが撮像装置１００を移動させることによって、ライブビュー画像に表示された枠（枠の中心がボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）である。）をボールの位置に合わせることでもよい。初期位置（ｘｉｎｉ，ｙｉｎｉ）の際には、ユーザーがライブビュー画の確認を行いやすいようなゲインがユニット回路４に設定されている。なお、後述のように複数の画像が連続的に撮像された後、最初のフレーム又は最初から幾つか後のフレームの画像が表示部９に表示された際に、ユーザーが十字キー４１ｃの操作又はタッチパネル８ｄのタッチをするによって、画像処理部７がカーソルの位置又はタッチ位置をボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定してもよい。なお、電子撮像部３のマトリクス状の画素配列のうち水平ライン（水平方向の画素列）が直交二次元座標系のｘ方向と平行になり、垂直ライン（垂直方向の画素列）が直交時に原座標系のｙ方向と平行になる。
【００３７】
次に、中央制御部１４がプログラム１３ａによって撮像制御手段１４ｂとして機能することで、その中央制御部１４が連続撮像処理を行う（ステップＳ２）。具体的には、ユーザーがシャッターボタン８ａを押下すると、中央制御部１４がユニット回路４及び電子撮像部３の駆動タイミング及びフレームレートＦｒａｔｅを設定すると、撮像制御部５がその駆動タイミング・フレームレートに従って電子撮像部３をローリングシャッター方式で繰り返し動作させることで、電子撮像部３が高速で連続撮像を行う。電子撮像部３のシャッタースピードはできる限り速く、フレームレートＦｒａｔｅができる限り高いことが好ましい。
【００３８】
連続撮像が行われている際に、打撃者２０１がボール２０２を打撃する。そのため、ボール２０２が静止した時からボール２０２が打撃されて移動する時まで、ボール像を含む複数の画像が電子撮像部３によって連続して撮像される。電子撮像部３によって撮像された画像が順次ユニット回路４及び画像生成部６を介してリーダー・ライター１０に出力され、リーダー・ライター１０がそれらの画像を順次記憶部１１に記録する。また、画像処理部７は、連続撮像の際の撮像条件（例えば、レンズユニット１の水平画角ＡＨ、レンズユニット１の垂直画角ＡＶ、フレームレートＦｒａｔｅ等）も記憶部１１に記録する。なお、電子撮像部３によって撮像された連続画像がユニット回路４によって信号処理される際には、ユニット回路４のＡ／Ｄ変換器の前のアナログ段（ゲイン調整アンプ）のゲインができる限り高くされていることが好ましい。
【００３９】
図５は、ボール２０２が打撃される前のフレームに含まれるボール像を示したものであり、図６は、ボール２０２が打撃された後のフレームに含まれるボール像である。図５に示すように、ボール２０２が静止していれば、ボール像が円形であり、ボール２０２が移動していれば、ボール像が歪んで楕円形となる。図６では、ボール２０２が撮像装置１００の前を左から右へ移動して、電子撮像部３のイメージセンサが水平ラインごとに上から順に露光・電荷蓄積動作を行ったものとしている。
【００４０】
なお、連続撮像の前に初期位置（ｘｉｎｉ、ｙｉｎｉ）の設定を行わずに、複数の画像が連続的に撮像された後、最初のフレーム又は最初から幾つか後のフレームが表示部９に表示された際に、ユーザーが方向操作ボタン８ｃによってカーソルをボール像の位置に合わせることによって（又は、ボール像の位置でタッチパネル８ｄのタッチをするによって）、中央制御部１４がカーソルの位置又はタッチ位置をボールの初期位置（ｘｉｎｉ、ｙｉｎｉ）に設定してもよい。
【００４１】
次に、中央制御部１４がプログラム１３ａによって入力制御手段１４ｃとして機能させられることで、その中央制御部１４が操作入力部８を通じて入力されたデータをバッファメモリ１２等に格納する。具体的には、ユーザーが操作入力部８を操作することで、各種の撮影条件（例えば、ボール２０２の大きさ、撮像距離（撮像距離とは、撮像方向Ｄに対して直交するととともに打撃前のボール２０２を通った物体面から撮像装置１００（レンズユニット１や電子撮像部３）までの距離）を入力し、中央制御部１４が入力された撮像条件をバッファメモリ１２に格納する。
【００４２】
次に、画像処理部７がプログラム１３ａによって打撃時フレーム特定手段７ａとして機能させられることで、画像処理部７は、記憶部１１に記録された複数の連続画像の中から、ボール２０２が打撃された時のフレームを特定する（ステップＳ３）。ボール２０２が打撃された時のフレームを特定する処理（ステップＳ３）について、図７に示すフローチャートを参照して具体的に説明する。
【００４３】
図７に示すように、まず、画像処理部７は、打撃時のフレームの候補を特定し（ステップＳ１１）、その後、その候補フレームの前後複数のフレームの中から、ボール２０２が打撃された時のフレームを特定し（ステップＳ１２）、ボール打撃時のフレームを表示部９に出力してそのフレームを表示部９に表示させる（ステップＳ１３）。
【００４４】
図８は、打撃時のフレームの候補を特定する処理（ステップＳ１１）を具体的に示したフローチャートである。図８に示すように、まず、画像処理部７は、中央制御部１４によって設定された初期位置（ｘｉｎｉ、ｙｉｎｉ）を中心とした矩形状の領域Ｗ（図９の参照）を設定する（ステップＳ２１）。ここで、図９は領域Ｗを説明するための図面であり、図９では、ボール２０２の打撃前のフレームが領域Ｗとともに示されている。領域Ｗのサイズ（ｘ方向をｗｘとし、ｙ方向をｗｙとする。）はボール像のサイズ以内であることが好ましい。なお、領域Ｗの形状は矩形でなくてもよい。
【００４５】
次に、画像処理部７は、記憶部１１に記録された複数の連続画像の中から最初からｔ番目のフレームとそのＮフレーム前のフレームを読み出す（Ｎは２以上の整数で打撃物が領域Ｗを通過する時間とフレームレートとに基づく十分に大きい値であることが好ましい）。そして、ｔ番目のフレームの領域ＷとＮフレーム前のｔ−Ｎフレームの領域Ｗの差分を算出する（ステップＳ２２，Ｓ２３，Ｓ２４）。具体的には、次式に示すように、画像処理部７は、Ｎ番目のフレームとその前のフレームとの間で同一画素の画素値の差分の絶対値の領域Ｗ内における総和を算出する。
【００４６】
【数１】
【００４７】
ここで、ｔはフレームインデックスであり、ft(x,y)はｔ番目のフレームの各画素の画素値であり、ft-1(x,y)はｔ−Ｎ番目のフレームの各画素の画素値であり、difW1(t)はｔ番目のフレームの領域Ｗとその前のフレームの領域Ｗの差分である。
【００４８】
画像処理部７は、以上のような２つのフレーム間の領域Ｗの差分difW1(t)の計算をＮフレームおきに行う（ステップＳ２５：ＹＥＳ、ステップＳ２３、ステップＳ２４）。そして、以上のような差分difW1(t)の計算が画像処理部７によってＮフレームおきに繰り返されて、最後のフレームにまで至ったら（ステップＳ２５：ＹＥＳ）、画像処理部７は、差分difW1(t)が最も大きなフレームを打撃時のフレームの候補に特定する（ステップＳ２６）。以下、このフレームのフレームインデックスをＮ１とする。なお、差分difW1(t)の計算がＮフレームおきに行われたので、計算処理の負担の軽減が図れる。
【００４９】
図１０には、そのＮ１番目のフレーム、Ｎ１−Ｎ番目のフレーム、Ｎ１−２Ｎ番目のフレームの場合のボールの状態を示す。図１１には、Ｎフレームおきの各フレームについて算出された差分を示す。図１１において、横軸はフレームインデックスを示し、縦軸は差分difW1(t)を示す。図１０に示すように、ボール２０２が打撃された時のフレームの前のＮ１−Ｎ番目のフレームでは、ボールが静止している状態であり、そのフレーム後のＮ１番目のフレームでは、ボール像が領域Ｗから外れて打撃物（ゴルフクラブのヘッド等）の像が領域Ｗを通過している。そのため、図１１に示すように、Ｎ１番目のフレームでは、Ｎフレームおきの２つのフレーム間の領域Ｗの差分difW1(t)が最大値をとる。そこで、差分difW1(t)が最も大きなフレームを打撃時のフレームの候補に特定する。しかし、このＮ１−Ｎ番目のフレームからＮ１番目の候補フレームの間のどのフレームが、ボールが打撃されて動き出した時のフレームなのか判別できない。そこで、図１２に示す処理が画像処理部７によって行われる。
【００５０】
図１２は、打撃時のフレームを特定する処理（ステップＳ１２）を具体的に示したフローチャートである。
まず、画像処理部７は、図８に示すステップＳ２６において特定したＮ１番目の候補フレームの２Ｎフレーム前のフレーム（Ｎ１−２Ｎ番目のフレーム）を記憶部１１から読み出し（ステップＳ３１）、そのフレームの領域Ｗをテンプレートとする（ステップＳ３２）。
【００５１】
そして、画像処理部７は、記憶部１１から次のフレームを読み出し（ステップＳ３３）、テンプレートとしたＮ１−２Ｎ番目のフレームの領域Ｗと次のフレームの領域Ｗの差分を算出する（ステップＳ３４）。具体的には、次式に示すように、画像処理部７は、Ｎ１−２Ｎ番目のフレームとその次のフレームとの間で同一画素の画素値の差分の絶対値の領域Ｗ内における総和を算出する。
【００５２】
【数２】
【００５３】
ここで、ftmp(x,y)はテンプレートとしたＮ１−２Ｎ番目のフレーム中の各画素の画素値であり、difW2(t)はテンプレートとしたＮ１−２Ｎ番目のフレームの領域Ｗとt番目のフレームの領域Ｗの差分である。なお、図１３には、１フレームおきの各フレームについて算出された差分を示し、図１３において、横軸はフレームインデックスを示し、縦軸は差分difW2(t)を示す。
【００５４】
画像処理部７は、差分difW2(t)の計算を１フレームごとに行う（ステップＳ３５：ＮＯ、ステップＳ３３、ステップＳ３４）。画像処理部７は差分difW2(t)の計算をＫ回（但し、０＜Ｋ＜Ｎ）繰り返し行う（ステップＳ３５：ＹＥＳ）。すなわち、確実にボールが移動していないＮ１−２Ｎ番目のフレームからＮ１−２Ｎ＋Ｋ番目のフレームの期間の差分difW2(t)を取得し、最大となる差分difW2(t)に基づいて閾値ｔｈｉを設定する（ステップＳ３６）。例えば、閾値thiは、最大となる差分difW2(t)の２倍の値とする。
【００５５】
その後も、画像処理部７は、ftmp(x,y)をテンプレートとしてＮ１−Ｎ番目のフレームからＮ１番目のフレームまでについての差分difW2(t)の計算を１フレームごとに行う（ステップＳ３７、ステップＳ３８、ステップＳ３９、ステップＳ４０：ＮＯ）。Ｎ１番目の候補フレームにまで至ったら（ステップＳ４０：ＹＥＳ）、画像処理部７は、差分difW2(t)が閾値ｔｈｉ以上であって且つ最も差分difW2(t)が大きなフレームを打撃時のフレームに特定する（ステップＳ４１）。閾値ｔｈｉ以上としたのは、ボールが打撃される前のフレームや打撃された後で領域Ｗ内にボールが無いフレームでのノイズ等による比較的大きな差分difW2(t)を排除するためである。以下、打撃時のフレームのフレームインデックスをＮ２とする。なお、画像処理部７は、差分difW2(t)が閾値ｔｈｉ以上の最初のフレームを打撃時のフレームに特定してもよい。
【００５６】
以上のように、ボール２０２が打撃された時のフレームは、画像処理部７が行う画像処理によって特定される。そのため、ボール２０２が打撃されたことを検出するトリガセンサが不要となり、撮像装置１００の構成がシンプルになる。また、ユニット回路４のＩＳＯ感度（ゲイン）を上げて、連続撮像画像にノイズが発生しやすくても、差分difW1(t)や差分difW2(t)を利用して打撃時のフレームが検出されたので、ノイズの影響を受けにくい。
【００５７】
図４に示すように、ボール２０２が打撃された時のフレームが特定されたら（ステップＳ３）、画像処理部７はボール２０２が打撃される前のボール像のサイズ及び中心位置を検出する（ステップＳ４）。
【００５８】
図１４は、ボール２０２が打撃される前のボール像のサイズ及び中心位置を算出する処理（ステップＳ４）を具体的に示したフローチャートである。図１４に示すように、まず、画像処理部７は、ボール２０２が打撃される前のフレームの中の背景を平滑化（除去）し（ステップＳ４１）、その後、背景が平滑化されたフレームの中のボール像の中心位置及び半径を算出し（ステップＳ４２）、算出した中心位置及び半径を出力する（ステップＳ４３）。
【００５９】
図１５は、背景の平滑化処理（ステップＳ４１）を具体的に示したフローチャートである。背景の平滑化処理（ステップＳ４１）は、プログラム１３ａによって第１の平滑化手段７ｂとして機能させられた画像処理部７によって行われる。
【００６０】
図１５に示すように、画像処理部７は、打撃時のＮ２番目のフレームよりも幾つか前のフレーム（以下、打撃前フレームという。）と、打撃時のＮ２番目のフレームよりも幾つか後のフレーム（以下、打撃後フレームという。）とを記憶部１１から読み出す（ステップＳ５１）。打撃前フレームから打撃時のフレームまでのフレーム数や、打撃時のフレームから打撃後フレームまでのフレーム数は、連続撮影時のフレームレートＦｒａｔｅ及びレンズユニット１の画角に基づいて決定される。具体的には、打撃前フレームは、ボール２０２を打撃する打撃物が撮像範囲Ｅに入る直前のフレームであり、打撃後フレームは、打撃されたボール２０２が撮像範囲Ｅから外れていることが好ましい。従って、打撃前フレームには打撃物の像が含まれず、打撃後フレームにはボール像が含まれていない。
【００６１】
次に、画像処理部７は、打撃前フレームをバイラテラルフィルターによってフィルタリングする（ステップＳ５２）。バイラテラルフィルターは、画像に含まれるエッジを保持しつつ、その画像をぼかすものである。従って、フィルタリング処理後の出力フレームでは、ボール像のエッジが保持されつつ、ボール像や背景部分等の中のノイズが除去される。同様に、画像処理部７は、打撃後フレームをバイラテラルフィルターによってフィルタリングする（ステップＳ５２）。
【００６２】
次に、フィルタリング処理された打撃前フレーム及び打撃後フレームの色空間がＲＧＢ色空間等のようにＨＳＶ色空間以外であれば、画像処理部７は、フィルタリング処理された打撃前フレーム及び打撃後フレームの色空間をＨＳＶ色空間に変換する（ステップＳ５３）。なお、色空間の変換処理は省略してもよい。
【００６３】
次に、画像処理部７は、打撃前フレームと打撃後フレームの差分の絶対値を求める（ステップＳ５４）。つまり、画像処理部７は、打撃前フレームと打撃後フレームとの間で同一画素の画素値の差分の絶対値を求める。これにより、打撃前フレームのボール像の周囲の背景部分は打撃後フレームの背景部分によって平滑化されるが、打撃前フレームのボール像は保持される。
【００６４】
図１６は、ボール像の中心位置及び半径を算出する処理（ステップＳ４２）を具体的に示したフローチャートである。図１６に示す処理では、プログラム１３ａが画像処理部７を円形分離度算出手段７ｃとして機能させることによって、画像処理部７が図１７に示すような円形分離度フィルターを利用して各画素の分離度を算出するので、円形分離度フィルターについて具体的に説明する。
【００６５】
図１７に示すように、円形分離度フィルターは、座標（ｘ，ｙ）に中心を持つ半径ｒの円形状の内領域Ａ１と、内領域Ａ１と同心状の領域であって内領域Ａ１の外側において内領域Ａ１に隣接する半径ｒｍａｘの外領域Ａ２と、から構成される。この円形分離度フィルターは、内領域Ａ１と外領域Ａ２の画素の分離度を算出するものである。分離度は、領域全体の画像特徴量（例えば、画素値（輝度値）、画素値の特定の色成分や色相等）の集合全体を領域Ａ１，Ａ２に分割した場合に、内領域Ａ１と外領域Ａ２との間で画像特徴量がどの程度分離しているかを示す量である。具体的には、分離度をηとした場合、次式によって分離度が求められる。
【００６６】
【数３】
【００６７】
分離度ηは、内領域Ａ１と外領域Ａ２の間の変動が領域Ａ１，Ａ２全体の変動に占める割合であって、最大１に正規化された値となっている。分離度ηは、０＜η≦１の範囲の値をとる。内領域Ａ１と外領域Ａとの間で画像特徴量がより大きく分離するにつれて、分離度ηがより大きくなる。内領域Ａ１と外領域Ａとの間で画像特徴量が最も分離していると、分離度ηが最大値をとる。従って、円形分離度フィルターの半径ｒを最小値ｒｍｉｎから最大値ｒｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）で変化させるとともに、円形分離度フィルターの中心位置（ｘ，ｙ）を所定範囲（例えば、初期位置（ｘｉｎｉ、ｙｉｎｉ）を中心とした範囲）内で所定刻み幅（例えば、１〜数画素）で変化させて、最大の分離度ηをとる半径ｒ及び中心位置（ｘ，ｙ）をボール像の半径及び中心位置として推定する。
【００６８】
具体的には、図１６に示すように、画像処理部７は、円形分離度フィルターの中心位置（ｘ，ｙ）及び半径ｒを初期値（例えば、初期位置（ｘｉｎｉ、ｙｉｎｉ）、最小値ｒmin）に設定する（ステップＳ６１）。次に、画像処理部７は、背景が平滑化された打撃直前のフレーム（図１５に示すステップＳ５４の処理で得られたフレーム）を円形分離度フィルターによってフィルタリング処理することによって、内領域Ａ１と外領域Ａ２の各画素の分離度を算出する（ステップＳ６２）。次に、画像処理部７は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を求める（ステップＳ６３）。例えば、画像処理部７は、放物線近似法を利用したサブピクセル推定法によって分離度分布の補間を行う。その後、画像処理部７は、円形分離度フィルターの中心位置（ｘ，ｙ）及び半径ｒを所定幅だけずらしながら（ステップＳ６５）、同様なフィルタリング処理及び補間処理を繰り返す（ステップＳ６４：ＹＥＳ、ステップＳ６３、ステップＳ６２）。そして、そのような処理の繰り返しが終了したら（ステップＳ６４：ＹＥＳ）、画像処理部７は最大の分離度を得た半径ｒ及び中心位置（ｘ，ｙ）を打撃直前のボール像の半径と中心位置と推定する（ステップＳ６５）。つまり、ステップＳ６５では、画像処理部７は、プログラム１３ａによって、打撃直前のボール像の半径及び中心位置を推定する推定手段７ｄとして機能する。
【００６９】
以上のように推定された半径をｒ１とし、中心位置の座標を（ｘ１，ｙ１）とする。画像処理部７が半径ｒ１及び中心位置（ｘ１，ｙ１）をリーダー・ライター１０に出力して、リーダー・ライター１０が半径ｒ１及び中心位置（ｘ１，ｙ１）を記憶部１１に記録する。また、半径ｒ１や中心位置（ｘ１，ｙ１）を数値や図面等で表す映像が、画像処理部７及び中央制御部１４の指令によって表示部９に表示される（図１４のステップＳ４３参照）。
【００７０】
以上のように、分離度は輝度値（画素値）の大きさにとらわれず、輝度の分散という正規化された値であるから、分離度フィルターの形状に適応したボール像の半径・中心位置が精度良く算出される。その上、分離度フィルターによるフィルタリング処理の前にボール像の背景が平滑化されたから、ボール像の周囲にあるノイズや紛らわしい像が除去されて、ボール像の半径・中心位置の検出精度がより高くなる。
【００７１】
図４に示すように、ボール２０２が打撃される直前のボール像の半径ｒ１及び中心位置（ｘ１，ｙ１）が検出されたら（ステップＳ４）、画像処理部７がプログラム１３ａによって平均色算出手段７ｅとして機能する（ステップＳ５）。具体的には、画像処理部７は、打撃直前のフレームについて中心位置（ｘ１，ｙ１）付近の複数の画素の平均色（以下、その平均色をａｖｅＢｃとする。）を算出する（ステップＳ５）。そして、画像処理部７は、算出した平均色ａｖｅＢｃをバッファメモリ１２等に記憶しておく。ＲＧＢ色空間であれば、平均色は、中心位置（ｘ１，ｙ１）の複数の画素のＲ値（赤の輝度値）の平均値と、Ｇ値（緑の輝度値）の平均値と、Ｂ値（青の輝度値）の平均値とによって表される。
【００７２】
次に、画像処理部７はボール２０２が打撃された後のボール像の長径、短径、中心位置及び傾斜角を検出する（ステップＳ６）。図６に示すように、打撃後のボール像が楕円形に歪んでおり、ボール像の傾斜角とはｘ方向の水平ラインを基準とした長径の傾斜角をいう。
【００７３】
図１８は、ボール２０２が打撃された後のボール像のサイズ、中心位置及び傾斜角を算出する処理（ステップＳ６）を具体的に示したフローチャートである。図１８に示すように、まず、画像処理部７は、打撃後のフレーム（以下、そのフレームインデックスをＴとする。）の中の背景を平滑化し（ステップＳ７１）、その後、背景が平滑化されたフレームの中のボール像の中心位置、長径及び短径を算出し（ステップＳ７２）、背景が平滑化されたフレームの中のボール像の水平ライン（ｘ方向）に対する角度を算出する（ステップＳ７３）。
【００７４】
図１９は、背景の平滑化処理（ステップＳ７１）を具体的に示したフローチャートである。背景の平滑化処理（ステップＳ７１）は、プログラム１３ａによって第２の平滑化手段７ｆとして機能させられた画像処理部７によって行われる。
【００７５】
図１９に示すように、フレームインデックスがＮ２よりも大きい打撃後のフレームを記憶部１１から読み出すとともに、そのフレームの１つ前のフレーム（以下、そのフレームインデックスをＴ−１とする。）と１つ後のフレーム（以下、そのフレームインデックスをＴ＋１とする。）も記憶部１１から読み出す（ステップＳ８１）。
【００７６】
次に、図２０に示すように、画像処理部７は、打撃後のフレームとその１つ前のフレームの差分の絶対値を算出する。つまり、画像処理部７は、打撃後のフレームとその１つ前のフレームとの間で同一画素の画素値の差分の絶対値を求める。更に、画像処理部７は、打撃後のフレームとその１つ後のフレームの差分の絶対値を算出する。つまり、画像処理部７は、打撃後のフレームとその１つ後のフレームとの間で同一画素の画素値の差分の絶対値を求める。そして、次式に示すように、画像処理部７は、それら求めた２つの差分の絶対値の積（但し、和でも良い。）を算出することで、打撃後のフレームの中のボール像を強調し、ボール像と背景との間のコントラストを高める（ステップＳ８２）。
【００７７】
【数４】
【００７８】
ここで、fT(x,y)は打撃後のフレームの各画素の画素値であり、fT-1(x,y)はその１つ前のフレームの各画素の画素値であり、fT+1(x,y)はその１つ後のフレームであり、MdifT(x,y)は打撃後のフレームのボール像を強調した後の画像の各画素の画素値である。
【００７９】
次に、画像処理部７は、打撃後のフレームの画素ごとの尤度を算出する（ステップＳ８３）。尤度とは、画素の色（画素値）がボール像の色にどの程度尤もらしいかを示す量である。具体的には、次式に示すように、画像処理部７は、色空間における、先に求めた平均色ａｖｅＢｃの点から打撃後のフレームの各画素の画素値の点までのベクトルの各次元の二乗和（Ｌ２ノルム）の逆数を各画素の尤度CdifT(x,y)として算出する。
【００８０】
【数５】
【００８１】
例えば、打撃後のフレームの色空間がＲＧＢ色空間であれば、Ｃ１、ＣＴ１（ｘ，ｙ）はＲ値であり、Ｃ２、ＣＴ２（ｘ，ｙ）はＧ値であり、Ｃ３，ＣＴ３（ｘ，ｙ）はＢ値である。打撃後のフレームの画素の色（画素値）と平均色ａｖｅＢｃが近くなるにつれて、尤度CdifT(x,y)が高くなる。
【００８２】
次に、画像処理部７は、次式で示すように、ステップＳ８２で算出した強調後のフレーム（MdifT(x,y)の分布）に、ステップＳ８３で算出した尤度CdifT(x,y)の分布を乗ずる（ステップＳ８４）。これにより、画像処理部７は、打撃後のフレームから背景を平滑化してボール像を強調した画像estImgTを算出する。
【００８３】
【数６】
【００８４】
画像estImgTが算出されたら、図１８に示すように、画像処理部７は画像estImgTの中のボール像の中心位置、長径、短径及び傾斜角を算出する（ステップＳ７２，ステップＳ７３）。ステップＳ７２，ステップＳ７３の処理では、プログラム１３ａが画像処理部７を楕円分離度算出手段７ｇとして機能させることによって、画像処理部７が図２１に示すような楕円分離度フィルターを利用して各画素の分離度を算出するので、楕円分離度フィルターについて具体的に説明する。
【００８５】
楕円分離度フィルターは、座標（ｘ，ｙ）に中心を持つ長径Ｌ、短径Ｓの楕円形状の内領域Ａ３と、内領域Ａ３と同心状の領域であって内領域Ａ３の外側において内領域Ａ３に隣接する長径Ｌｍａｘ、短径Ｓｍｉｎの外領域Ａ４と、から構成される。内領域Ａ３の外縁となる楕円と、外領域Ａ４の外縁となる楕円は相似形である。また、長径Ｌ、長径Ｌｍａｘがｘ方向の水平ラインに対して傾斜しており、その傾斜角はθである。この楕円分離度フィルターは、形状こそ上述した円形分離度フィルターと異なるものの、円形分離度フィルターと同様に、内領域Ａ３と外領域Ａ４の画素の分離度を算出するものである。従って、円形分離度フィルターにおける分離度ηの算出式を楕円分離度フィルターにおける分離度の算出式に適用することができる。そのため、楕円分離度フィルターの長径Ｌを最小値Ｌｍｉｎから最大値Ｌｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）で変化させ、短径Ｓを最小値Ｓｍｉｎから最大値Ｓｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）させ、楕円分離度フィルターの中心位置（ｘ，ｙ）を所定範囲内で所定刻み幅（例えば、１〜数画素）で変化させ、更に楕円分離度フィルターの傾斜角θを所定範囲内で所定刻み幅で変化させることで、最大の分離度ηをとる長径Ｌ、短径Ｓ、中心位置（ｘ、ｙ）及び傾斜角θをボール像の長径、短径、中心位置及び傾斜角として推定する。
【００８６】
楕円分離度フィルターを用いてボール像の中心位置、長径及び短径を算出する処理（ステップＳ７２）について具体的に説明する。
まず、画像処理部７は、楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ、短径Ｓ及び傾斜角θを所定の初期値に設定する。なお、ボール２０２が移動する際のボール像の歪みが予めおおよそ特定されているので、その歪みに基づいて傾斜角θの初期値が設定される。
次に、画像処理部７は、画像estImgTを楕円分離度フィルターによってフィルタリング処理することによって、内領域Ａ３と外領域Ａ４の各画素の分離度を算出する。
次に、画像処理部７は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を算出する。
その後、画像処理部７は、傾斜角θを一定に保った状態で楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ及び短径Ｓを所定幅だけずらしながら、同様なフィルタリング処理及び補間処理を繰り返す。傾斜角θを一定に保った状態としたので、処理の繰り返し回数が減り、計算処理の負担軽減が図れる。長径Ｌ及び短径Ｓを所定幅ずらす際に、長径Ｌと短径Ｓの比率を一定とすることが好ましい。そうすれば、内領域Ａ３の外縁の楕円形状が外領域Ａ４の外縁の楕円形状と相似形を保つ。但し、長径Ｌ及び短径Ｓを所定幅ずらす際に、長径Ｌ及び短径Ｓの比率が一定でなくてもよい。
【００８７】
そして、以上のような分離度算出処理の繰り返しが終了したら、画像処理部７がプログラム１３ａによって推定手段７ｈとして機能させられる。推定手段７ｈとして機能する画像処理部７は、繰り返して算出された分離度のうち最大の分離度を得た長径Ｌ、短径Ｓ及び中心位置（ｘ，ｙ）を打撃後のボール像の長径、短径及び中心位置と推定する。
以下、以上のようにして推定された長径をＬ２、短径をＳ２、中心位置の座標を（ｘ２，ｙ２）とする。推定された長径Ｌ２、短径Ｓ２及び中心位置（ｘ２，ｙ２）は、画像処理部７及びリーダー・ライター１０によって記憶部１１に記録される。
【００８８】
楕円分離度フィルターを用いてボール像の傾斜角を算出する処理（ステップＳ７３）について具体的に説明する。
まず、画像処理部７は、楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ及び短径Ｓを（ｘ２，ｙ２）、Ｌ２、Ｓ２に設定する。更に、画像処理部７は、傾斜角θを所定の初期値に設定する。
次に、画像処理部７は、画像estImgTを楕円分離度フィルターによってフィルタリング処理することによって、内領域Ａ３と外領域Ａ４の各画素の分離度を算出する。
次に、画像処理部７は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を算出する。
その後、画像処理部７は、楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ及び短径Ｓを（ｘ２，ｙ２）、Ｌ２、Ｓ２に保った状態で楕円分離度フィルターの傾斜角θを所定幅だけずらしながら、同様なフィルタリング処理及び補間処理を繰り返す。中心位置（ｘ，ｙ）、長径Ｌ及び短径Ｓを一定に保った状態としたので、処理の繰り返し回数が減り、計算処理の負担軽減が図れる。
【００８９】
そして、以上のような分離度算出処理の繰り返しが終了したら、画像処理部７がプログラム１３ａによって推定手段７ｈとして機能させられる。推定手段７ｈとして機能する画像処理部７は、繰り返して算出された分離度のうち最大の分離度を得た傾斜角θを打撃後のボール像の傾斜角と推定する。以下、このように推定された傾斜角をθ２とする。推定された傾斜角θ２は、画像処理部７及びリーダー・ライター１０によって記憶部１１に記録される。
【００９０】
なお、上述の説明では、分離度の算出処理が、傾斜角θが固定されたステップＳ７２の処理と、長径Ｌ、短径Ｓ及び中心座標（ｘ，ｙ）が固定されたステップＳ７３の処理の２つに分かれている。それに対して、傾斜角θ、長径Ｌ、短径Ｓ及び中心座標（ｘ，ｙ）を固定せずに、画像処理部７は、楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ、短径Ｓ及び傾斜角θを所定幅だけずらしながら、同様なフィルタリング処理及び補間処理を繰り返してもよい。その場合でも、画像処理部７は、最大の分離度を得た長径Ｌ、短径Ｓ、中心位置（ｘ，ｙ）及び傾斜角θを打撃後のボール像の長径、短径、中心位置及び傾斜角と推定する。
【００９１】
画像処理部７は、打撃後のボール像の長径、短径、中心位置及び傾斜角の算出（図１８参照）を、打撃時のＮ２番目のフレームの後の２以上のフレームに対して行う。特に、画像処理部７は、打撃後のボール像の長径、短径、中心位置及び傾斜角の算出を、打撃時のＮ２番目のフレームの後の続いた２以上のフレームに対して行う。勿論、Ｎ２番目のフレームの後の全てのフレームに対して、ボール像の長径、短径、中心位置及び傾斜角の算出を行ってもよい。
【００９２】
以上のように、楕円分離度フィルターの領域Ａ３，Ａ４が楕円形であり、ボール像も楕円形に変形しているから、ボール像の長径・短径・中心位置・傾斜角を精度良く算出することができる。その上、分離度フィルターによるフィルタリング処理の前にボール像が強調されて、背景が平滑化されたから、ボール像の長径・短径・中心位置・傾斜角の検出精度がより高くなる。
【００９３】
図４に示すように、次に、画像処理部７は、打撃後のフレームとその１つ前のフレーム（このフレームも打撃後のフレームである）に基づいて、これらのフレームの間のボール回転角を検出する（ステップＳ７）。
【００９４】
図２２は、ボール回転角を検出する処理（ステップＳ７）を具体的に示したフローチャートである。図２２に示すように、画像処理部７は、打撃後のフレームについて楕円形に歪んだボール像の中心座標の差に基づいて、そのフレームの中のボール像を円形に補正する（ステップＳ９１）。画像処理部７は、ボール像を円形に補正する処理（ステップＳ９１）を、打撃時のＮ２番目のフレームの後の２以上のフレームに対して行う。特に、画像処理部７は、ボール像を円形に補正する処理を、打撃時のＮ２番目のフレームの後の続いた２以上のフレームに対して行う。勿論、Ｎ２番目のフレームの後の全てのフレームに対して、ボール像を円形に補正する処理を行ってもよい。
そして、画像処理部７は、打撃後の２つのフレームの中の円形に補正されたボール像に基づいて、ボールの回転角を推定する（ステップＳ９２）。
【００９５】
図２３は、ボール像の楕円形歪みを円形に補正する処理（ステップＳ９１）を示したフローチャートである。
図２３に示すように、画像処理部７がプログラム１３ａによってずれ量算出手段７ｉとして機能させられることによって、その画像処理部７は、打撃後のフレームとその次のフレームとにおけるボール像の中心のｘ座標の差に基づいて、補正係数を算出する（ステップＳ１０１）。具体的には、画像処理部７は、次式から補正係数を算出する。
【００９６】
【数７】
【００９７】
ここで、Ｔ番目の打撃後フレームにおけるｒｓｄ（Ｔ）は補正係数である。ｘ２（Ｔ）、ｘ２（Ｔ＋１）は、図１８に示す処理によって算出されたものである。補正係数ｒｓｄ（Ｔ）は、ローリングシャッター歪みによって発生したずれ量であって、打撃後のフレームの中の上下に隣り合う水平ライン間がｘ方向にどの程度ずれているかを示すずれ量である。
【００９８】
次に、画像処理部７がプログラム１３ａによってずらし量算出手段７ｊとして機能させられることによって、その画像処理部７は、次式から、水平ラインのｘ方向へのずらし量を算出する（ステップＳ１０２）。
【００９９】
【数８】
【０１００】
ｙは最も上の水平ラインからの行数を示し、ｄｘ（ｙ）はｙ行目の水平ラインのｘ方向へのずらし量である。
【０１０１】
次に、画像処理部７がプログラム１３ａによって歪み補正手段７ｋとして機能させられる。歪み補正手段７ｋとして機能する画像処理部７は、打撃後のフレームの各水平ラインをｄｘ（ｙ）だけｘ方向へずらすように、打撃後のフレームの各画素のｘ座標を座標変換する（ステップＳ１０３）。この際、画像処理部７は、バイリニア補間法、バイキュービック補間法その他の補間法によって座標変換前のフレームの各画素の間を補間処理しつつ、座標変換を行う。
【０１０２】
この結果、図２４（ａ）に示すように楕円形に歪んだボール像が、図２４（ｂ）に示すように円形に補正される。
【０１０３】
図２５は、ボール像が円形に補正された２つの連続したフレームからボール回転角を推定する処理（ステップＳ９２）を具体的に示したフローチャートである。
【０１０４】
まず、画像処理部７がプログラム１３ａによって座標変換手段７ｍとして機能させられることによって、その画像処理部７は、ボール像が円形に補正されたフレームの中のボール像を、直交ＸＹＺ座標系で表された三次元球体モデルの表面に座標変換する（ステップＳ１１１）。この際、変換前のｘ座標と変換後のＸ座標が平行であり、変換前のｙ座標と変換後のＹ座標が平行であることが好ましい。同様に、画像処理部７は、その前のフレームについても円形に補正されたボール像を、直交ＸＹＺ座標系で表された三次元球体モデルの表面に座標変換する（ステップＳ１１２）。座標変換に際しては、バイリニア補間法、バイキュービック補間法その他の補間法によって座標変換前のボール像の各画素間を補間する。
【０１０５】
次に、画像処理部７はプログラム１３ａによって回転角推定手段７ｎとして機能させられることによって、画像処理部７が２つのフレーム間のボール像（三次元球体モデルに座標変換されたもの）の回転角を推定する。
具体的には、まず、画像処理部７は、次式に示す回転行列Irotを所定の初期値に設定する（ステップＳ１１３）。つまり、画像処理部７は、次式に示す回転角度θr、θy、θpを所定の初期値に設定する。
【０１０６】
【数９】
【０１０７】
ここで、θrはＺ軸回りの回転角（ピッチ角）、θyはＹ軸回りの回転角（ヨー角）、θpはＸ軸回りの回転角（ロール角）を示す。
【０１０８】
次に、画像処理部７は、ステップＳ１１２で生成した三次元球体モデルの表面のボール像を回転させることで、そのボール像を次式に示すように回転行列Irotで座標変換する（ステップＳ１１４）。
【０１０９】
【数１０】
【０１１０】
ここで、Ｘ、Ｙ、Ｚは変換前の座標値であり、Ｘ＊、Ｙ＊、Ｚ＊は座標変換後の座標値である。なお、座標変換に際しては、バイリニア補間法、バイキュービック補間法その他の補間法によって座標変換前のボール像の各画素間を補間する。
【０１１１】
次に、画像処理部７は、ステップＳ１１２で生成した三次元球体モデルの表面のボール像と、ステップＳ１１４で生成した座標変換後のボール像との差分を算出する（ステップＳ１１５）。
【０１１２】
その後、画像処理部７は、回転行列Irotのピッチ角度θr、ヨー角度θy、ロール角度θpを所定幅だけずらしながら、同様な座標変換及び差分算出を繰り返す（ステップＳ１１６：ＹＥＳ、ステップＳ１１７、ステップＳ１１４、Ｓ１１５）。そして、そのような処理の繰り返しが終了したら（ステップＳ１１６：ＹＥＳ）、画像処理部７は最小の差分をとる回転角度θr、θy、θpを１フレーム当たりのボールの回転ピッチ角、回転ヨー角、回転ロール角に推定する（ステップＳ１１８）。以下、このように求められたＴ番目のフレームにおける回転ピッチ角、回転ヨー角、回転ロール角をθr２、θy２、θp２とする。
【０１１３】
画像処理部７は、回転ピッチ角、回転ヨー角、回転ロール角を推定する処理（ステップＳ９２）を、打撃時のＮ２番目のフレームの後の少なくとも１つのフレームに対して行う。勿論、Ｎ２番目のフレームの後の全てのフレームに対して、回転ピッチ角、回転ヨー角、回転ロール角を推定する処理を行ってもよい。
【０１１４】
図４に示すように、打撃後における回転ピッチ角θr２、回転ヨー角θy２及び回転ロール角θp２が検出されたら（ステップＳ７）、画像処理部７は撮影条件や算出結果に基づいて打撃後のボール２０２の運動状態を算出する（ステップＳ８）。つまり、画像処理部７は、ボール２０２の速度、垂直射出角、水平射出角、バックスピン速度（オーバースピン速度）及びサイドスピン速度を算出する。
【０１１５】
具体的には、画像処理部７がプログラム１３ａによって速度算出手段７ｐとして機能させられることによって、その画像処理部７は、次式のように、打撃後の２つのフレームにおけるボール像の中心座標からボール２０２の速度を算出する。
【数１１】
【０１１６】
ここで、（ｘａ，ｙａ）は打撃後の所定のフレームにおけるボール像の中心座標、（ｘｂ，ｙｂ）はその前のフレームにおけるボール像の中心座標、Ｎ３はこれらフレームのフレームインデックスの差の絶対値（つまり、これらフレーム間のフレーム数）、Ｖｘはｘ方向の速度[pixel/sec]、Ｆｒａｔｅはフレームレート、Ｖｙはｙ方向の速度[pixel/sec]である。中止座標（ｘａ，ｙａ），（ｘｂ，ｙｂ）は、図４に示すステップＳ６の処理で算出されたものである。続いた２つのフレームのボール像の中心座標からボール速度を算出するのであれば、Ｎ３の値は１である。打撃後のフレームごとにＶｘ及びＶｙを算出してもよい。更に、各種撮影条件や実際のボールの直径やボール像の直径等に基づいて、速度Ｖｘ，Ｖｙを画像上の速度から実際の速度に換算してもよい。なお、（ｘｂ，ｙｂ）は、打撃前のフレームにおけるボール像の中心座標（図４に示すステップＳ４で算出されたもの）とし、Ｎ３は打撃時のフレームから、中心座標（ｘａ，ｙａ）を求めた際の打撃後のフレームまでのフレーム数としてもよい。
【０１１７】
また、画像処理部７がプログラム１３ａによって垂直射出角算出手段７ｓとして機能させられることによって、画像処理部７は、次式のように、打撃後の２つのフレームにおけるボール像の中心座標から垂直射出角を算出する。垂直射出角とは、撮像方向Ｄから見て、水平面を基準とした上下方向へのボールの移動角度である。
【数１２】
【０１１８】
ここで、αは垂直射出角[rad]である。
【０１１９】
また、画像処理部７がプログラム１３ａによってスピン速度算出手段７ｔとして機能させられることによって、その画像処理部７が打撃後のボール２０２のスピン速度を算出する。具体的には、画像処理部７は、打撃後における回転ピッチ角θr２とフレームレートＦｒａｔｅとからバックスピン速度（オーバースピン速度）を算出し、打撃後における回転ヨー角θy２とＦｒａｔｅとからサイドスピン速度を算出する。
【数１３】
【０１２０】
ここで、φはバックスピン速度[rad/sec]、ωはサイドスピン速度[rad/sec]である。
【０１２１】
また、画像処理部７は、打撃後の２つのフレームにおけるボール像の長径又は短径、の差分から水平射出角を算出する。水平射出角とは、上から見て、レンズユニット１の撮像方向Ｄに対して直交する鉛直面を基準とした左右方向へのボールの移動角度である。
【数１４】
【０１２２】
ここで、βは水平射出角[rad]、（ｘａ，ｙａ）は打撃後の所定のフレームにおけるボール像の中心座標、（ｘｂ，ｙｂ）はその前のフレーム（但し、打撃後のフレームである。）におけるボール像の中心座標、（ｘｃ，ｙｃ）はフレーム（画像）の中心座標、Ｓｘは垂直ライン数、ＡＨは撮像装置１００の撮像手段の水平画角、Ｌａは前記所定のフレームにおいて座標（ｘａ，ｙａ）に中心を有するボール像の長径、Ｓａは前記所定のフレームにおいて座標（ｘａ，ｙａ）に中心を有するボール像の短径、Ｌｂはその前のフレーム（但し、打撃後のフレームである。）において座標（ｘｂ，ｙｂ）に中心を有するボール像の長径、Ｓｂは前記所定のフレームにおいて座標（ｘｂ，ｙｂ）に中心を有するボール像の短径である。Ｌａ、Ｓａ、Ｌｂ、Ｓｂは、図４に示すステップＳ６の処理で算出されたものである。
【０１２３】
図２６を参照して、βの算定式について説明する。図２６に示すように、撮像装置１００の撮像手段（レンズユニット１、電子撮像部３）を基準として三次元座標系ｕｖｗを定め、その撮像手段を原点に定める。ここで、ｕ方向は電子撮像部３の水平ラインに平行であり、ｖ方向は電子撮像部３の垂直方向に平行であり、ｗ方向は電子撮像部３の水平方向及び垂直方向に対して直交して、撮像方向Ｄに対して平行である。打撃後のボール２０２が位置Ａにある時に撮像されたフレームのボール像の中心座標を（ｘａ，ｙａ）とし、それ以前（但し、打撃後である。）にボール２０２が位置Ｂにある時に撮像されたフレームのボール像の中心座標を（ｘｂ，ｙｂ）とする。位置Ａ，Ｂはボール２０２の中心位置とし、位置Ａ，Ｂのｕｖｗ座標はそれぞれ（ｕａ，ｖａ，ｗａ），（ｕｂ，ｖｂ，ｗｂ）である。撮像距離Ｄｂｃは、撮像装置１００の撮像手段（レンズユニット１、電子撮像部３）の光軸に対して直交するとともに打撃前のボール２０２を通った物体面から、撮像装置１００の撮像手段までの距離である。
【０１２４】
位置Ａのボール２０２と撮像装置１００の撮像手段とを結ぶ線が光軸を基準として成す角（水平角θＨａ、垂直角θＶａ）や、位置Ｂの２０２と撮像装置１００の撮像手段とを結ぶ線が光軸を基準として成す角（水平角θＨｂ、垂直角θＶｂ）次式で表される。
【数１５】
【０１２５】
ここで、ＡＨは撮像装置１００の撮像手段の水平画角、ＡＶは撮像装置１００の撮像手段の垂直画角である。
【０１２６】
位置Ｂの座標（ｕｂ，ｖｂ，ｗｂ）は以下で近似することができる。
【数１６】
【０１２７】
位置Ａのボール２０２と撮像装置１００の撮像手段とを結ぶ線と、位置Ｂを通ってｕ方向に対して平行な面との交点の座標（ｕａ＊，ｖａ＊，ｗａ＊）は以下で近似することができる。
【数１７】
【０１２８】
位置Ａの座標（ｕａ，ｖａ，ｗａ）は次式で表される。
【数１８】
【０１２９】
ここで、Ｄａは撮像装置１００の撮像手段から位置Ａまでの距離、Ｄａ＊は撮像装置１００の撮像手段から座標（ｕａ＊，ｖａ＊，ｗａ＊）までの距離である。ＤａとＤａ＊の比は次式で表すことができる。
【数１９】
【０１３０】
よって、水平射出角βは次式のようになる。
【数２０】
【０１３１】
以上のような速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度の算出後、画像処理部７がボール２０２の速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度をリーダー・ライター１０に出力して、リーダー・ライター１０が速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度を記憶部１１に記録する。また、算出された速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度を数値や図面等で表す映像が、画像処理部７及び中央制御部１４の指令によって表示部９に表示される。
【０１３２】
以上のように本実施の形態によれば、楕円分離度フィルターによって楕円形状のボール像の長径・短径・中心位置・傾斜角を精度良く算出することができるから、ボール２０２の速度、垂直射出角及び水平射出角の計算精度も高い。
また、楕円形に歪んだボールの像を円形に補正したので、バックスピン速度及びサイドスピン速度をより正確に算出することができる。
【０１３３】
〔第２の実施の形態〕
図２７は、本発明の第２実施形態に係る撮像装置１００Ａの概略構成を示すブロック図である。第２実施形態に係る撮像装置１００Ａと、第１実施形態に係る撮像装置１００との間で互いに対応する部分には、同一の符号を付す。
【０１３４】
第２実施形態に係る撮像装置１００Ａと、第１実施形態に係る撮像装置１００とは、プログラムメモリ１３に格納されたプログラム１３ａ，１３ｂが相違するとともに、プログラム１３ａ，１３ｂによる中央制御部１４及び画像処理部７の機能が相違する。
【０１３５】
第２実施形態に係る撮像装置１００Ａでは、プログラム１３ｂが中央制御部１４を入力制御手段１４ｇ及び撮像制御手段１４ｂとして機能させる。撮像制御手段１４ｂについては、第１実施形態と同様である。入力制御手段１４ｇについては後に詳細に説明する。
【０１３６】
また、プログラム１３ｂは、画像処理部７を平滑化手段７ｆ、楕円分離度算出手段ｇ、推定手段７ｈ、第１の交点算出手段７ｖ、第２の交点算出手段７ｗ、速度算出手段７ｘ及び垂直射出角算出手段７ｙとして機能させる。平滑化手段７ｆ、楕円分離度算出手段ｇ及び推定手段７ｈは、第１実施形態と同様である。第１の交点算出手段７ｖ、第２の交点算出手段７ｗ、速度算出手段７ｘ及び垂直射出角算出手段７ｙについては後に詳細に説明する。
【０１３７】
図２８に示されたフローチャートを参照して、プログラム１３ｂに従って中央制御部１４及び画像処理部７が行う処理の流れについて説明する。
まず、中央制御部１４がプログラム１３ａによって入力制御手段１４ｇとして機能することで、その中央制御部１４が操作入力部８を通じて入力されたデータをバッファメモリ１２等に格納する。具体的には、ユーザーが操作入力部８を操作することで、実際のボール２０２の直径又は半径を入力し、中央制御部１４が入力された直径をバッファメモリ１２に格納するか、入力された半径の２倍をバッファメモリ１２に格納する（ステップＳ１２１）。なお、直径が予め記憶部１１又はプログラムメモリ１３等に記録されていてもよいし、プログラム１３ｂに組み込まれていてもよい。
【０１３８】
次に、中央制御部１４がプログラム１３ａによって撮像制御手段１４ｂとして機能することで、その中央制御部１４が連続撮像処理を行う。具体的には、ユーザーがシャッターボタン８ａを押下すると、中央制御部１４が撮像制御部５を通じて電子撮像部３の連続撮像を行わせる（ステップＳ１２２）。その際、打撃者がボール２０２を打撃する。連続撮像処理（ステップＳ１２２）は第１実施形態における連続撮像処理（ステップＳ２）と同様である。なお、打撃前のボール２０２近傍にトリガセンサが設けられ、打撃者がボール２０２を打撃したことがトリガセンサによって検出され、そのトリガ信号が中央制御部１４に入力されたら、中央制御部１４が撮像制御部５を通じて電子撮像部３の連続撮像を行わせてもよい。また、連続撮像ではなく、ボール２０２の打撃後に高速なシャッタースピードで１枚の静止画を撮像するものとしてもよい。
【０１３９】
次に、画像処理部７は、打撃後のフレームを記憶部１１から読み出す（ステップＳ１２３）。
次に、画像処理部７がプログラム１３ｂによって平滑化手段７ｆ、楕円分離度算出手段７ｇ及び推定手段７ｈとして機能させられ、画像処理部７は読み出したフレームの中のボール像の中心位置、長径、短径及び傾斜角を検出する（ステップＳ１２４）。ステップＳ１２４における処理は、第１実施形態におけるステップＳ６における処理と同様である。図２９に示すように、ステップＳ１２４の処理において、最大の分離度をとる長径、短径、中心位置及び傾斜角をそれぞれＬ４、Ｓ４、（ｘ４，ｙ４）及びθ４とする。また、長径Ｌ４、短径Ｓ４、中心位置（ｘ４，ｙ４）及び傾斜角θ４から規定される楕円を最適楕円という。なお、ステップＳ１２４の処理の前に、第１実施形態の場合と同様に、画像処理部７が打撃時のフレームを特定してもよい（図４のステップＳ１及びステップＳ４、図８〜図１０等参照）
【０１４０】
次に、画像処理部７は、そのフレームが撮像された時の水平方向（ｘ方向）に沿ったボール２０２の速度を算出するとともに（ステップＳ１２５）、そのフレームが撮像された時の垂直方向（ｙ方向）に沿ったボール２０２の速度を算出する（ステップＳ１２６）。図２９を参照して、具体的に説明する。
【０１４１】
まず、画像処理部７がプログラム１３ｂによって第１の交点算出手段７ｖとして機能させられることによって、画像処理部７は、最適楕円とそれに接する水平な接線Ｈ１との交点の座標（ｘ５，ｙ５）を算出するとともに、最適楕円とそれに接するもう一つの水平な接線Ｈ２との交点の座標（ｘ６，ｙ６）を算出する。
次に、画像処理部７がプログラム１３ｂによって第２の交点算出手段７ｗとして機能させられることによって、その画像処理部７は、中心位置（ｘ４，ｙ４）を通る水平線Ｈ３と最適楕円との２つの交点の座標（ｘ７，ｙ７）、（ｘ８，ｙ８）を算出する。
【０１４２】
そして、画像処理部７がプログラム１３ｂによって速度算出手段７ｘとして機能させられることによって、その画像処理部７は、次式に基づいて水平方向のボール２０２の速度を算出する。
【数２１】
【０１４３】
ここで、Ｖｘは水平方向のボール速度[mm/sec]であり、Ｂsizeは実際のボールの直径[mm]であり、Ｌｄは電子撮像部３のイメージセンサによって撮像される際に隣り合う水平ライン間の遅延時間[sec]である。ｘ７とｘ８の差分の絶対値は、画像におけるボール像の直径と考えられる。また、「（ｙ６−ｙ５）×Ｌｄ」は、水平接線Ｈ１の露光・電荷蓄積時から水平接線Ｈ２の露光・電荷蓄積時までの時間である。
【０１４４】
仮に静止した円形ボールを撮像すれば、ｘ５＝ｘ６である。よって、ｘ５とｘ６の差分を「（ｙ６−ｙ５）×Ｌｄ」で除して得られた値は、画像上のボール像の速度と考えられる。従って、上の式によって水平方向のボール速度[mm/sec]が求まる。
【０１４５】
また、速度算出手段７ｘとして機能した画像処理部７は、次式に基づいて垂直方向のボール２０２の速度を算出する。
【数２２】
【０１４６】
ここで、Ｖｙは垂直方向のボール速度[mm/sec]である。
仮に上方へ移動する円形ボールを撮像すれば、その円形ボールの像が上下に圧縮される。そのため、圧縮されたラインの量をライン間時間で除して得られた値が速度と考えられる。
【０１４７】
また、画像処理部７がプログラム１３ｂによって垂直射出角算出手段７ｙとして機能させられることによって、画像処理部７は、次式に基づいて垂直射出角α[rad]を算出する。
【数２３】
【０１４８】
そして、画像処理部７が算出した速度及び垂直射出角をリーダー・ライター１０に出力して、リーダー・ライター１０が速度及び垂直射出角を記憶部１１に記録する。また、算出された速度及び垂直射出角を数値や図面等で表す映像が、画像処理部７及び中央制御部１４の指令によって表示部９に表示される。
【０１４９】
本実施形態においては、打撃後の１つのフレームによってボール２０２の速度及び垂直射出角が算出されるので、計算処理の負担の軽減が図れる。また、楕円分離度フィルターによって楕円形状のボール像の長径・短径・中心位置・傾斜角を精度良く算出することができるから、ボール２０２の速度及び垂直射出角の計算精度も高い。
【０１５０】
〔変形例〕
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【０１５１】
例えば、撮像装置１００，１００Ａの構成は、上記第１、第２の実施形態に例示したものは一例であり、これらに限られるものではない。
【０１５２】
また、第１、第２の実施形態にあっては、中央制御部１４の制御下にて、画像処理部７がプログラム１３ａ，１３ｂを実行することによって各種手段７ａ〜７ｎ、７ｐ、７ｓ〜７ｕ，７ｖ〜７ｙ等の機能を実現したものした。しかし、これらに限られることではなく、中央制御部１４がプログラムメモリ１３に格納されたプログラム１３，１３ｂを実行するによってこれらの手段７ａ〜７ｎ、７ｐ、７ｓ〜７ｕ，７ｖ〜７ｙ等の機能を実現してもよい。
【０１５３】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【０１５４】
また、上述の説明では、記憶部１１に記録された複数の連続画像（連続フレーム）は、撮像手段（レンズユニット１、電子撮像部３、ユニット回路４及び撮像制御部５）によって撮像されたものであった。それに対して、撮像装置１００に組み込また撮像手段以外の撮像手段（例えば、外部のデジタルカメラ）等によって連続撮像された連続画像が記憶部１１に記憶されており、それらの連続画像に対して画像処理部７が上述の処理を行ってもよい。
【０１５５】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
＜請求項２＞
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段と、を備えることを特徴とする撮像装置。
＜請求項３＞
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段と、を備えることを特徴とする撮像装置。
＜請求項４＞
前記推定手段は、前記内領域の傾斜角を一定にした状態で前記内領域の中心位置、長径及び短径を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径及び短径を前記ボール像の中心位置、長径及び短径として推定し、その推定した中心位置、長径及び短径に前記内領域の中心位置、長径及び短径を一定にした状態で前記内領域の傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる傾斜角を前記ボール像の傾斜角として推定することを特徴とする請求項１から３の何れか一項に記載の撮像装置。
＜請求項５＞
前記推定手段によって推定された中心位置のフレーム間における水平方向の差分から、隣り合う水平ラインの間にローリングシャッターによって生じる水平方向のずれ量を算出するずれ量算出手段と、
前記ずれ量に基づき前記フレームのボール像に生じた歪みを円形に補正する歪み補正手段と、
前記歪み補正手段によって補正されたボール像を三次元球体モデルの表面に座標変換する座標変換手段と、
前記座標変換手段によって座標変換されたボール像のフレーム間における回転角を推定する回転角推定手段と、
前記回転角推定手段によって推定された回転角とフレームレートとから、前記ボールのスピン速度を算出するスピン速度算出手段と、を備えることを特徴とする請求項１から４の何れか一項に記載の撮像装置。
＜請求項６＞
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段と、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
＜請求項７＞
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
＜請求項８＞
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段、
として機能させることを特徴とするプログラム。
＜請求項９＞
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段、
として機能させることを特徴とするプログラム。
＜請求項１０＞
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１５６】
７ 画像処理部
７ｇ 楕円分離度算出手段
７ｈ 推定手段
７ｉ ずれ量算出手段
７ｋ 歪み補正手段
７ｍ 座標変換手段
７ｎ 回転角推定手段
７ｐ 速度算出手段
７ｓ 垂直射出角算出手段
７ｔ スピン速度算出手段
７ｕ 水平射出角算出手段
７ｖ 第１の交点算出手段
７ｗ 第２の交点算出手段
７ｘ 速度算出手段
７ｙ 垂直射出角算出手段
１３ａ、１３ｂ プログラム
１４ 中央制御部
１００、１００Ａ 撮像装置
【技術分野】
【０００１】
本発明は、撮像手段によってローリングシャッター方式で撮像されたフレームからボールの運動を解析する撮像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、野球やテニス等のスポーツで用いるボールの速度を測定する装置としては、スピードガンが良く知られている。
このスピードガンは、例えば、ボールによる反射波のドップラー効果を測定して、ボールの速度を推定するようになっていることから、ボールの運動方向に沿ってスピードガンを設置する必要があるため、ボールとの衝突のリスクが高いという問題がある。さらに、運動するボールのどの時点での測定結果であるのかといった正確性の検証が困難であるといった問題もある。
【０００３】
そこで、ボールとの衝突を回避する上で、当該ボールの運動方向に略直交する方向側から運動中のボールを撮像して、その画像を用いて、ボールの運動速度を測定する方法が考えられる（例えば、特許文献１参照）。特許文献１に記載の技術は、ボールの打撃がトリガセンサによって検出されたら、メカニカルシャッターが連続して開閉を行うとともに、閃光装置がメカニカルシャッターの開閉に同期して連続発光することによって、ＣＣＤカメラに多重露光し、複数のボール像を１つのフレームに撮影するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２６４０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載の装置は、ＣＣＤカメラのほかに閃光装置及びトリガセンサなどを必要としているから、大掛かりなものであった。そこで、多重露光方式ではなく、静止画を高速で連続撮像することができるハイスピードカメラを利用すれば、閃光装置等を省略することができると考えられる。しかし、ハイスピードカメラのイメージセンサには、ＣＣＤ型のイメージセンサではなく、高速で撮像処理が行えるＣＭＯＳ型のイメージセンサが利用される。しかし、ＣＭＯＳ型のイメージセンサは、ローリングシャッター方式で撮像を行うものであって、水平ラインごとに順次、露光・電荷蓄積動作を行うものである。従って、高速で移動するボールを撮像すると、画像に含まれるボール像が歪んでしまう。ボール像を含む画像を用いてボールの運動を解析しても、正確な解析とならないという問題がある。
【０００６】
そこで、本発明が解決しようとする課題は、ＣＭＯＳ型イメージセンサ等を用いて、ローリングシャッター方式で撮像されたボール像が歪んでいても、ボールの運動を正確に解析することができるようにすることである。
【課題を解決するための手段】
【０００７】
以上の課題を解決するべく、本発明に係る撮像装置は、
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段と、を備える。
【０００８】
本発明に係る撮像装置は、
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段と、を備える。
【０００９】
本発明に係る撮像装置は、
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段と、を備える。
【００１０】
本発明に係る撮像装置は、
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段と、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段と、を備える。
【００１１】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段、
として機能させる。
【００１２】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段、
として機能させる。
【００１３】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段、
として機能させる。
【００１４】
本発明に係るプログラムは、
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段、
として機能させる。
【発明の効果】
【００１５】
本発明によれば、フレームに含まれるボール像が歪んでいても、ボールの速度、移動方向等の運動状態を正確に解析する。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る撮像装置の使用状態を示した上面図である。
【図２】使用されるボールを示した図である。
【図３】撮像装置の概略構成を示すブロック図である。
【図４】撮像装置のコンピュータによって行われる処理のメインルーチンを示すフローチャートである。
【図５】静止したボールを撮像して得られたボール像の一例を示した図である。
【図６】運動するボールを撮像して得られたボール像の一例を示した図である。
【図７】撮像装置のコンピュータによって行われる処理のサブルーチンを示すフローチャートである。
【図８】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図９】打撃前のフレームを示した図面である。
【図１０】フレームの中のボール像の状態を示した図面である。
【図１１】フレームインデックスと差分との関係を示したグラフである。
【図１２】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図１３】フレームインデックスと差分との関係を示したグラフである。
【図１４】撮像装置のコンピュータによって行われる処理のサブルーチンを示すフローチャートである。
【図１５】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図１６】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図１７】円形分離度フィルターを説明するための説明図である。
【図１８】撮像装置のコンピュータによって行われる処理のサブルーチンを示すフローチャートである。
【図１９】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図２０】ボール像の背景を平滑化する処理を説明するための説明図である。
【図２１】楕円分離度フィルターを説明するための説明図である。
【図２２】撮像装置のコンピュータによって行われる処理のサブルーチンを示すフローチャートである。
【図２３】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図２４】（ａ）歪みを補正する前のボール像と、（ｂ）補正した後のボール像を示した図面である。
【図２５】撮像装置のコンピュータによって行われる処理のサブサブルーチンを示すフローチャートである。
【図２６】ボールの水平射出角の計算を説明するための説明図である。
【図２７】本発明の第２の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図２８】撮像装置のコンピュータによって行われる処理のメインルーチンを示すフローチャートである。
【図２９】ボールの運動を解析するための原理を説明するための説明図である。
【発明を実施するための形態】
【００１７】
以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１８】
〔第１の実施の形態〕
図１は、本発明を適用した一実施形態の撮像装置１００の使用状態を示した上面図である。図１に示すように、撮像装置１００の撮像方向Ｄを略水平にし、撮像装置１００の撮像範囲Ｅの周辺部において打撃者２０１が撮像方向Ｄに対してほぼ直交する方向Ｆに球状のボール２０２を打撃する。打撃時のボール２０２が撮像装置１００の撮像範囲に入るようにし、ボール２０２が打撃前に静止した状態から打撃後に高速で移動する状態をそのボール２０２が画像に含まれるように撮像装置１００で連続して撮像する。撮像装置１００は、連続して撮像された複数の画像に基づいてボール２０２のスピード、打撃方向及び回転状態等を解析するものである。
【００１９】
ボール２０２が鮮明に撮像されるようにボール２０２の色が白であり、背景が暗色であることが好ましい。また、ボール２０２の回転状態を容易に解析できるように、ボール２０２の表面にマーク若しくは模様又はこれらの両方が付されていることが好ましい。例えば、図２に示すように、直交する最大円周線２０３，２０４が白色のボール２０２に表面に付されている。
【００２０】
図３は、撮像装置１００の概略構成を示すブロック図である。この撮像装置１００は、ボール運動解析装置であって、特にデジタルカメラである。撮像装置１００は、レンズユニット１、レンズ駆動部２、電子撮像部３、ユニット回路４、撮像制御部５、画像生成部６、画像処理部７、操作入力部８、表示部９、リーダー・ライター１０、バッファメモリ１２、プログラムメモリ１３及び中央制御部１４等を備える。また、撮像装置１００には、外部記憶媒体としての記憶部１１が装着される。
【００２１】
レンズ駆動部２、撮像制御部５、画像生成部６、画像処理部７、表示部９、リーダー・ライター１０、バッファメモリ１２、プログラムメモリ１３及び中央制御部１４は、バスライン１５を介して接続されている。この撮像装置１００のコンピュータは、画像処理部７、バッファメモリ１２、中央制御部１４及びバスライン１５からなる。
【００２２】
操作入力部８は、ユーザーにより操作されると、その操作に伴う操作信号を中央制御部１４に出力する。操作入力部８は、例えば、撮像装置１００の各部に設けられたシャッターボタン８ａ、モード選択ボタン８ｂ及び方向操作ボタン８ｃ等の操作ボタンと、表示部９の表示画面に設けられたタッチパネル８ｄと、を有する。シャッターボタン８ａは、電子撮像部３による被写体の撮像を指示するためのものである。モード選択ボタン８ｂは、撮像モードを通常撮像モード、連続撮像モードやボール運動解析モード等に切り替えて設定するためのものである。方向操作ボタン８ｃは、表示部９の表示画面に表示されたカーソルを移動させるものである。タッチパネル８ｄは、そのタッチパネル８ｄに対する接触位置に応じて各種の指示を入力するためのものである。
【００２３】
レンズユニット１は、フォーカス機能及びズーム機能を有し、複数のレンズからなる。レンズユニット１は、レンズユニット１の前にある被写体（主にボール２０２）及びその背景を電子撮像部３に結像する。
【００２４】
レンズ駆動部２は、レンズユニット１の各レンズを光軸方向に駆動する。具体的には、レンズ駆動部２は、各レンズを光軸方向に移動させるフォーカスモータ等の駆動源と、駆動源を駆動するドライバとを備える（何れも図示略）。
【００２５】
電子撮像部３は、レンズユニット１の後ろ側においてレンズユニット１の光軸上に配置されている。また、電子撮像部３は、例えばＣＭＯＳ（Complementary Metal-oxideSemiconductor）等のイメージセンサから構成されている。電子撮像部３は、レンズユニット１によって結像された光学像を二次元の画像の信号に変換する。電子撮像部３は、高速で連続した撮像を行うことができる。つまり、電子撮像部３は、ボール２０２等の被写体が運動している際に、当該被写体を含む画像を連続して撮像して複数の画像をユニット回路４に順次出力する。電子撮像部３によって連続的に撮像される画像のフレームレートをＦｒａｔｅ[fps]とする。また、電子撮像部３は、ローリングシャッター方式で撮像動作を行う。つまり、電子撮像部３のイメージセンサは、水平ラインごとに順次、露光・電荷蓄積動作を行う。電子撮像部３の垂直ライン数をＳｘとし、水平ライン数をＳｙとする。従って、高速運動する運動体が電子撮像部３によって撮像されると、撮像画像に含まれる運動体の像が歪む。そのような歪みをローリングシャッター歪みという。
【００２６】
ユニット回路４は、電子撮像部３から出力される被写体の光学像に応じたアナログの撮像信号が入力され、入力された画像信号を保持するＣＤＳと、その画像信号を増幅するゲイン調整アンプ(ＡＧＣ)、そのゲイン調整アンプによって増幅された画像信号をデジタルデータの画像に変換するＡ／Ｄ変換器(ＡＤＣ)等から構成されている。ユニット回路４は、デジタルの撮像を画像生成部６に出力する。
【００２７】
撮像制御部５は、中央制御部１４が設定するフレームレートに従ったタイミングで、電子撮像部３やユニット回路４を駆動させる制御を行う。
具体的には、撮像制御部５は、ＴＧ(Timing Generator)、電子撮像部３を駆動するドライバ等（何れも図示略）を備え、ＴＧを介してドライバやユニット回路４の動作タイミングを制御する。即ち、中央制御部１４が、プログラムメモリ１３から読み出したプログラム１３ａに従ってシャッタースピードを設定すると、撮像制御部５のＴＧは、当該シャッタースピードに対応する電荷蓄積時間をシャッターパルスとしてドライバに出力し、ドライバからの駆動パルス信号に従って電子撮像部３をローリングシャッター方式で動作させて電荷蓄積時間（露光時間）を制御する。これにより、１フレームの画像が電子撮像部３によって撮像される。そのため、連続撮像の際には、中央制御部１４がフレームレートを設定すると、撮像制御部５がそのフレームレートに従って電子撮像部３をローリングシャッター方式で繰り返し動作させることで、電子撮像部３が連続撮像を行う。
【００２８】
このように構成されたレンズユニット１、電子撮像部３、ユニット回路４及び撮像制御部５は、被写体を撮像する撮像手段を構成している。
【００２９】
画像生成部６は、ユニット回路４によって出力された画像に対してγ補正処理、ホワイトバランス処理などの各種画像処理を施す。画像生成部６は、中央制御部１４の制御のもと、画像処理された画像をリーダー・ライター１０に出力する。リーダー・ライター１０は、画像処理された画像等を記憶部１１に記録する。記憶部１１は、不揮発性半導体メモリ又はハードディスクであり、画像等を記憶する。
【００３０】
画像生成部６によって画像処理された画像がリーダー・ライター１０によって記憶部１１に記録されるのは、シャッターボタン８ａが押下された際である。シャッターボタンが押下される前は、画像生成部６によって画像処理された画像がバッファメモリ１２に一時格納され、表示部９がバッファメモリ１２に一時格納された画像をビデオ信号に変換した後、ライブビュー画として表示画面に表示する。
【００３１】
リーダー・ライター１０は、記憶部１１に記憶された画像等を読み出す。リーダー・ライター１０によって読み出された画像等はバッファメモリ１２に一時格納される。バッファメモリ１２に一時格納された画像は、表示部９によってビデオ信号に変換されたり、或いは、画像処理部７によって画像処理されたりする。
【００３２】
バッファメモリ１２は、画像等を一時保存するバッファであるとともに、中央制御部１４のワーキングメモリ等としても使用される。
プログラムメモリ１３には、当該撮像装置１００の機能に係るプログラム１３ａやデータが格納されている。このプログラム１３ａは、中央制御部１４及び画像処理部７にとって読み取り可能なプログラムである。
【００３３】
中央制御部１４は、撮像装置１００の各部を制御するＣＰＵ（図示略）を具備している。プログラム１３ａが中央制御部１４を初期位置設定手段１４ａ、撮像制御手段１４ｂ及び入力制御手段１４ｃ等として機能させ、中央制御部１４がプログラム１３ａに従って撮像装置１００の各部を制御する。中央制御部１４のこれらの機能については後述する。
【００３４】
画像処理部７は、画像の各画素の座標に関する演算、画像の各画素の画素値に関する演算その他の画像処理を行うプロセッサを具備する。画像処理部７は、プログラム１３ａに従って画像処理を行う。つまり、プログラム１３ａが画像処理部７を打撃時フレーム特定手段７ａ、第１の平滑化手段７ｂ、円形分離度算出手段７ｃ、推定手段７ｄ、平均色算出手段７ｅ、第２の平滑化手段７ｆ、楕円分離度算出手段７ｇ、推定手段７ｈ、ずれ量算出手段７ｉ、ずらし量算出手段７ｊ、歪み補正手段７ｋ、座標変換手段７ｍ、回転角推定手段７ｎ、速度算出手段７ｐ、垂直射出角算出手段７ｓ及びスピン速度算出手段７ｔ、水平射出角算出手段７ｕ等として機能させる。画像処理部７のこれらの機能については後述する。
【００３５】
続いて、図４に示されたフローチャートを参照して、プログラム１３ａに従って中央制御部１４及び画像処理部７が行う処理の流れについて説明する。なお、以下に説明する処理が中央制御部１４及び画像処理部７によって実行される前に、図１に示したように撮像装置１００をセッティングする。
【００３６】
まず、中央制御部１４がプログラム１３ａによって初期位置設定手段として機能させられることによって、その中央制御部１４が画像の各画素の位置を表現する直交二次元座標系の中にボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）を設定する（ステップＳ１）。具体的には、ユーザーが方向操作ボタン８ｃを操作することによってカーソルをライブビュー画（ライブビュー画は、電子撮像部３によって撮像されて表示部９に表示されている。）の中のボールに合わせて、中央制御部１４がそのカーソルの位置を初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定する。又は、ユーザーがライブビュー画の中のボールの位置においてタッチパネル８ｄにタッチしたら、中央制御部１４がそのタッチ位置を初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定することでもよい。又は、中央制御部１４が初期位置（ｘｉｎｉ，ｙｉｎｉ）を設定した後、ユーザーが撮像装置１００を移動させることによって、ライブビュー画像に表示された枠（枠の中心がボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）である。）をボールの位置に合わせることでもよい。初期位置（ｘｉｎｉ，ｙｉｎｉ）の際には、ユーザーがライブビュー画の確認を行いやすいようなゲインがユニット回路４に設定されている。なお、後述のように複数の画像が連続的に撮像された後、最初のフレーム又は最初から幾つか後のフレームの画像が表示部９に表示された際に、ユーザーが十字キー４１ｃの操作又はタッチパネル８ｄのタッチをするによって、画像処理部７がカーソルの位置又はタッチ位置をボールの初期位置（ｘｉｎｉ，ｙｉｎｉ）に設定してもよい。なお、電子撮像部３のマトリクス状の画素配列のうち水平ライン（水平方向の画素列）が直交二次元座標系のｘ方向と平行になり、垂直ライン（垂直方向の画素列）が直交時に原座標系のｙ方向と平行になる。
【００３７】
次に、中央制御部１４がプログラム１３ａによって撮像制御手段１４ｂとして機能することで、その中央制御部１４が連続撮像処理を行う（ステップＳ２）。具体的には、ユーザーがシャッターボタン８ａを押下すると、中央制御部１４がユニット回路４及び電子撮像部３の駆動タイミング及びフレームレートＦｒａｔｅを設定すると、撮像制御部５がその駆動タイミング・フレームレートに従って電子撮像部３をローリングシャッター方式で繰り返し動作させることで、電子撮像部３が高速で連続撮像を行う。電子撮像部３のシャッタースピードはできる限り速く、フレームレートＦｒａｔｅができる限り高いことが好ましい。
【００３８】
連続撮像が行われている際に、打撃者２０１がボール２０２を打撃する。そのため、ボール２０２が静止した時からボール２０２が打撃されて移動する時まで、ボール像を含む複数の画像が電子撮像部３によって連続して撮像される。電子撮像部３によって撮像された画像が順次ユニット回路４及び画像生成部６を介してリーダー・ライター１０に出力され、リーダー・ライター１０がそれらの画像を順次記憶部１１に記録する。また、画像処理部７は、連続撮像の際の撮像条件（例えば、レンズユニット１の水平画角ＡＨ、レンズユニット１の垂直画角ＡＶ、フレームレートＦｒａｔｅ等）も記憶部１１に記録する。なお、電子撮像部３によって撮像された連続画像がユニット回路４によって信号処理される際には、ユニット回路４のＡ／Ｄ変換器の前のアナログ段（ゲイン調整アンプ）のゲインができる限り高くされていることが好ましい。
【００３９】
図５は、ボール２０２が打撃される前のフレームに含まれるボール像を示したものであり、図６は、ボール２０２が打撃された後のフレームに含まれるボール像である。図５に示すように、ボール２０２が静止していれば、ボール像が円形であり、ボール２０２が移動していれば、ボール像が歪んで楕円形となる。図６では、ボール２０２が撮像装置１００の前を左から右へ移動して、電子撮像部３のイメージセンサが水平ラインごとに上から順に露光・電荷蓄積動作を行ったものとしている。
【００４０】
なお、連続撮像の前に初期位置（ｘｉｎｉ、ｙｉｎｉ）の設定を行わずに、複数の画像が連続的に撮像された後、最初のフレーム又は最初から幾つか後のフレームが表示部９に表示された際に、ユーザーが方向操作ボタン８ｃによってカーソルをボール像の位置に合わせることによって（又は、ボール像の位置でタッチパネル８ｄのタッチをするによって）、中央制御部１４がカーソルの位置又はタッチ位置をボールの初期位置（ｘｉｎｉ、ｙｉｎｉ）に設定してもよい。
【００４１】
次に、中央制御部１４がプログラム１３ａによって入力制御手段１４ｃとして機能させられることで、その中央制御部１４が操作入力部８を通じて入力されたデータをバッファメモリ１２等に格納する。具体的には、ユーザーが操作入力部８を操作することで、各種の撮影条件（例えば、ボール２０２の大きさ、撮像距離（撮像距離とは、撮像方向Ｄに対して直交するととともに打撃前のボール２０２を通った物体面から撮像装置１００（レンズユニット１や電子撮像部３）までの距離）を入力し、中央制御部１４が入力された撮像条件をバッファメモリ１２に格納する。
【００４２】
次に、画像処理部７がプログラム１３ａによって打撃時フレーム特定手段７ａとして機能させられることで、画像処理部７は、記憶部１１に記録された複数の連続画像の中から、ボール２０２が打撃された時のフレームを特定する（ステップＳ３）。ボール２０２が打撃された時のフレームを特定する処理（ステップＳ３）について、図７に示すフローチャートを参照して具体的に説明する。
【００４３】
図７に示すように、まず、画像処理部７は、打撃時のフレームの候補を特定し（ステップＳ１１）、その後、その候補フレームの前後複数のフレームの中から、ボール２０２が打撃された時のフレームを特定し（ステップＳ１２）、ボール打撃時のフレームを表示部９に出力してそのフレームを表示部９に表示させる（ステップＳ１３）。
【００４４】
図８は、打撃時のフレームの候補を特定する処理（ステップＳ１１）を具体的に示したフローチャートである。図８に示すように、まず、画像処理部７は、中央制御部１４によって設定された初期位置（ｘｉｎｉ、ｙｉｎｉ）を中心とした矩形状の領域Ｗ（図９の参照）を設定する（ステップＳ２１）。ここで、図９は領域Ｗを説明するための図面であり、図９では、ボール２０２の打撃前のフレームが領域Ｗとともに示されている。領域Ｗのサイズ（ｘ方向をｗｘとし、ｙ方向をｗｙとする。）はボール像のサイズ以内であることが好ましい。なお、領域Ｗの形状は矩形でなくてもよい。
【００４５】
次に、画像処理部７は、記憶部１１に記録された複数の連続画像の中から最初からｔ番目のフレームとそのＮフレーム前のフレームを読み出す（Ｎは２以上の整数で打撃物が領域Ｗを通過する時間とフレームレートとに基づく十分に大きい値であることが好ましい）。そして、ｔ番目のフレームの領域ＷとＮフレーム前のｔ−Ｎフレームの領域Ｗの差分を算出する（ステップＳ２２，Ｓ２３，Ｓ２４）。具体的には、次式に示すように、画像処理部７は、Ｎ番目のフレームとその前のフレームとの間で同一画素の画素値の差分の絶対値の領域Ｗ内における総和を算出する。
【００４６】
【数１】
【００４７】
ここで、ｔはフレームインデックスであり、ft(x,y)はｔ番目のフレームの各画素の画素値であり、ft-1(x,y)はｔ−Ｎ番目のフレームの各画素の画素値であり、difW1(t)はｔ番目のフレームの領域Ｗとその前のフレームの領域Ｗの差分である。
【００４８】
画像処理部７は、以上のような２つのフレーム間の領域Ｗの差分difW1(t)の計算をＮフレームおきに行う（ステップＳ２５：ＹＥＳ、ステップＳ２３、ステップＳ２４）。そして、以上のような差分difW1(t)の計算が画像処理部７によってＮフレームおきに繰り返されて、最後のフレームにまで至ったら（ステップＳ２５：ＹＥＳ）、画像処理部７は、差分difW1(t)が最も大きなフレームを打撃時のフレームの候補に特定する（ステップＳ２６）。以下、このフレームのフレームインデックスをＮ１とする。なお、差分difW1(t)の計算がＮフレームおきに行われたので、計算処理の負担の軽減が図れる。
【００４９】
図１０には、そのＮ１番目のフレーム、Ｎ１−Ｎ番目のフレーム、Ｎ１−２Ｎ番目のフレームの場合のボールの状態を示す。図１１には、Ｎフレームおきの各フレームについて算出された差分を示す。図１１において、横軸はフレームインデックスを示し、縦軸は差分difW1(t)を示す。図１０に示すように、ボール２０２が打撃された時のフレームの前のＮ１−Ｎ番目のフレームでは、ボールが静止している状態であり、そのフレーム後のＮ１番目のフレームでは、ボール像が領域Ｗから外れて打撃物（ゴルフクラブのヘッド等）の像が領域Ｗを通過している。そのため、図１１に示すように、Ｎ１番目のフレームでは、Ｎフレームおきの２つのフレーム間の領域Ｗの差分difW1(t)が最大値をとる。そこで、差分difW1(t)が最も大きなフレームを打撃時のフレームの候補に特定する。しかし、このＮ１−Ｎ番目のフレームからＮ１番目の候補フレームの間のどのフレームが、ボールが打撃されて動き出した時のフレームなのか判別できない。そこで、図１２に示す処理が画像処理部７によって行われる。
【００５０】
図１２は、打撃時のフレームを特定する処理（ステップＳ１２）を具体的に示したフローチャートである。
まず、画像処理部７は、図８に示すステップＳ２６において特定したＮ１番目の候補フレームの２Ｎフレーム前のフレーム（Ｎ１−２Ｎ番目のフレーム）を記憶部１１から読み出し（ステップＳ３１）、そのフレームの領域Ｗをテンプレートとする（ステップＳ３２）。
【００５１】
そして、画像処理部７は、記憶部１１から次のフレームを読み出し（ステップＳ３３）、テンプレートとしたＮ１−２Ｎ番目のフレームの領域Ｗと次のフレームの領域Ｗの差分を算出する（ステップＳ３４）。具体的には、次式に示すように、画像処理部７は、Ｎ１−２Ｎ番目のフレームとその次のフレームとの間で同一画素の画素値の差分の絶対値の領域Ｗ内における総和を算出する。
【００５２】
【数２】
【００５３】
ここで、ftmp(x,y)はテンプレートとしたＮ１−２Ｎ番目のフレーム中の各画素の画素値であり、difW2(t)はテンプレートとしたＮ１−２Ｎ番目のフレームの領域Ｗとt番目のフレームの領域Ｗの差分である。なお、図１３には、１フレームおきの各フレームについて算出された差分を示し、図１３において、横軸はフレームインデックスを示し、縦軸は差分difW2(t)を示す。
【００５４】
画像処理部７は、差分difW2(t)の計算を１フレームごとに行う（ステップＳ３５：ＮＯ、ステップＳ３３、ステップＳ３４）。画像処理部７は差分difW2(t)の計算をＫ回（但し、０＜Ｋ＜Ｎ）繰り返し行う（ステップＳ３５：ＹＥＳ）。すなわち、確実にボールが移動していないＮ１−２Ｎ番目のフレームからＮ１−２Ｎ＋Ｋ番目のフレームの期間の差分difW2(t)を取得し、最大となる差分difW2(t)に基づいて閾値ｔｈｉを設定する（ステップＳ３６）。例えば、閾値thiは、最大となる差分difW2(t)の２倍の値とする。
【００５５】
その後も、画像処理部７は、ftmp(x,y)をテンプレートとしてＮ１−Ｎ番目のフレームからＮ１番目のフレームまでについての差分difW2(t)の計算を１フレームごとに行う（ステップＳ３７、ステップＳ３８、ステップＳ３９、ステップＳ４０：ＮＯ）。Ｎ１番目の候補フレームにまで至ったら（ステップＳ４０：ＹＥＳ）、画像処理部７は、差分difW2(t)が閾値ｔｈｉ以上であって且つ最も差分difW2(t)が大きなフレームを打撃時のフレームに特定する（ステップＳ４１）。閾値ｔｈｉ以上としたのは、ボールが打撃される前のフレームや打撃された後で領域Ｗ内にボールが無いフレームでのノイズ等による比較的大きな差分difW2(t)を排除するためである。以下、打撃時のフレームのフレームインデックスをＮ２とする。なお、画像処理部７は、差分difW2(t)が閾値ｔｈｉ以上の最初のフレームを打撃時のフレームに特定してもよい。
【００５６】
以上のように、ボール２０２が打撃された時のフレームは、画像処理部７が行う画像処理によって特定される。そのため、ボール２０２が打撃されたことを検出するトリガセンサが不要となり、撮像装置１００の構成がシンプルになる。また、ユニット回路４のＩＳＯ感度（ゲイン）を上げて、連続撮像画像にノイズが発生しやすくても、差分difW1(t)や差分difW2(t)を利用して打撃時のフレームが検出されたので、ノイズの影響を受けにくい。
【００５７】
図４に示すように、ボール２０２が打撃された時のフレームが特定されたら（ステップＳ３）、画像処理部７はボール２０２が打撃される前のボール像のサイズ及び中心位置を検出する（ステップＳ４）。
【００５８】
図１４は、ボール２０２が打撃される前のボール像のサイズ及び中心位置を算出する処理（ステップＳ４）を具体的に示したフローチャートである。図１４に示すように、まず、画像処理部７は、ボール２０２が打撃される前のフレームの中の背景を平滑化（除去）し（ステップＳ４１）、その後、背景が平滑化されたフレームの中のボール像の中心位置及び半径を算出し（ステップＳ４２）、算出した中心位置及び半径を出力する（ステップＳ４３）。
【００５９】
図１５は、背景の平滑化処理（ステップＳ４１）を具体的に示したフローチャートである。背景の平滑化処理（ステップＳ４１）は、プログラム１３ａによって第１の平滑化手段７ｂとして機能させられた画像処理部７によって行われる。
【００６０】
図１５に示すように、画像処理部７は、打撃時のＮ２番目のフレームよりも幾つか前のフレーム（以下、打撃前フレームという。）と、打撃時のＮ２番目のフレームよりも幾つか後のフレーム（以下、打撃後フレームという。）とを記憶部１１から読み出す（ステップＳ５１）。打撃前フレームから打撃時のフレームまでのフレーム数や、打撃時のフレームから打撃後フレームまでのフレーム数は、連続撮影時のフレームレートＦｒａｔｅ及びレンズユニット１の画角に基づいて決定される。具体的には、打撃前フレームは、ボール２０２を打撃する打撃物が撮像範囲Ｅに入る直前のフレームであり、打撃後フレームは、打撃されたボール２０２が撮像範囲Ｅから外れていることが好ましい。従って、打撃前フレームには打撃物の像が含まれず、打撃後フレームにはボール像が含まれていない。
【００６１】
次に、画像処理部７は、打撃前フレームをバイラテラルフィルターによってフィルタリングする（ステップＳ５２）。バイラテラルフィルターは、画像に含まれるエッジを保持しつつ、その画像をぼかすものである。従って、フィルタリング処理後の出力フレームでは、ボール像のエッジが保持されつつ、ボール像や背景部分等の中のノイズが除去される。同様に、画像処理部７は、打撃後フレームをバイラテラルフィルターによってフィルタリングする（ステップＳ５２）。
【００６２】
次に、フィルタリング処理された打撃前フレーム及び打撃後フレームの色空間がＲＧＢ色空間等のようにＨＳＶ色空間以外であれば、画像処理部７は、フィルタリング処理された打撃前フレーム及び打撃後フレームの色空間をＨＳＶ色空間に変換する（ステップＳ５３）。なお、色空間の変換処理は省略してもよい。
【００６３】
次に、画像処理部７は、打撃前フレームと打撃後フレームの差分の絶対値を求める（ステップＳ５４）。つまり、画像処理部７は、打撃前フレームと打撃後フレームとの間で同一画素の画素値の差分の絶対値を求める。これにより、打撃前フレームのボール像の周囲の背景部分は打撃後フレームの背景部分によって平滑化されるが、打撃前フレームのボール像は保持される。
【００６４】
図１６は、ボール像の中心位置及び半径を算出する処理（ステップＳ４２）を具体的に示したフローチャートである。図１６に示す処理では、プログラム１３ａが画像処理部７を円形分離度算出手段７ｃとして機能させることによって、画像処理部７が図１７に示すような円形分離度フィルターを利用して各画素の分離度を算出するので、円形分離度フィルターについて具体的に説明する。
【００６５】
図１７に示すように、円形分離度フィルターは、座標（ｘ，ｙ）に中心を持つ半径ｒの円形状の内領域Ａ１と、内領域Ａ１と同心状の領域であって内領域Ａ１の外側において内領域Ａ１に隣接する半径ｒｍａｘの外領域Ａ２と、から構成される。この円形分離度フィルターは、内領域Ａ１と外領域Ａ２の画素の分離度を算出するものである。分離度は、領域全体の画像特徴量（例えば、画素値（輝度値）、画素値の特定の色成分や色相等）の集合全体を領域Ａ１，Ａ２に分割した場合に、内領域Ａ１と外領域Ａ２との間で画像特徴量がどの程度分離しているかを示す量である。具体的には、分離度をηとした場合、次式によって分離度が求められる。
【００６６】
【数３】
【００６７】
分離度ηは、内領域Ａ１と外領域Ａ２の間の変動が領域Ａ１，Ａ２全体の変動に占める割合であって、最大１に正規化された値となっている。分離度ηは、０＜η≦１の範囲の値をとる。内領域Ａ１と外領域Ａとの間で画像特徴量がより大きく分離するにつれて、分離度ηがより大きくなる。内領域Ａ１と外領域Ａとの間で画像特徴量が最も分離していると、分離度ηが最大値をとる。従って、円形分離度フィルターの半径ｒを最小値ｒｍｉｎから最大値ｒｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）で変化させるとともに、円形分離度フィルターの中心位置（ｘ，ｙ）を所定範囲（例えば、初期位置（ｘｉｎｉ、ｙｉｎｉ）を中心とした範囲）内で所定刻み幅（例えば、１〜数画素）で変化させて、最大の分離度ηをとる半径ｒ及び中心位置（ｘ，ｙ）をボール像の半径及び中心位置として推定する。
【００６８】
具体的には、図１６に示すように、画像処理部７は、円形分離度フィルターの中心位置（ｘ，ｙ）及び半径ｒを初期値（例えば、初期位置（ｘｉｎｉ、ｙｉｎｉ）、最小値ｒmin）に設定する（ステップＳ６１）。次に、画像処理部７は、背景が平滑化された打撃直前のフレーム（図１５に示すステップＳ５４の処理で得られたフレーム）を円形分離度フィルターによってフィルタリング処理することによって、内領域Ａ１と外領域Ａ２の各画素の分離度を算出する（ステップＳ６２）。次に、画像処理部７は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を求める（ステップＳ６３）。例えば、画像処理部７は、放物線近似法を利用したサブピクセル推定法によって分離度分布の補間を行う。その後、画像処理部７は、円形分離度フィルターの中心位置（ｘ，ｙ）及び半径ｒを所定幅だけずらしながら（ステップＳ６５）、同様なフィルタリング処理及び補間処理を繰り返す（ステップＳ６４：ＹＥＳ、ステップＳ６３、ステップＳ６２）。そして、そのような処理の繰り返しが終了したら（ステップＳ６４：ＹＥＳ）、画像処理部７は最大の分離度を得た半径ｒ及び中心位置（ｘ，ｙ）を打撃直前のボール像の半径と中心位置と推定する（ステップＳ６５）。つまり、ステップＳ６５では、画像処理部７は、プログラム１３ａによって、打撃直前のボール像の半径及び中心位置を推定する推定手段７ｄとして機能する。
【００６９】
以上のように推定された半径をｒ１とし、中心位置の座標を（ｘ１，ｙ１）とする。画像処理部７が半径ｒ１及び中心位置（ｘ１，ｙ１）をリーダー・ライター１０に出力して、リーダー・ライター１０が半径ｒ１及び中心位置（ｘ１，ｙ１）を記憶部１１に記録する。また、半径ｒ１や中心位置（ｘ１，ｙ１）を数値や図面等で表す映像が、画像処理部７及び中央制御部１４の指令によって表示部９に表示される（図１４のステップＳ４３参照）。
【００７０】
以上のように、分離度は輝度値（画素値）の大きさにとらわれず、輝度の分散という正規化された値であるから、分離度フィルターの形状に適応したボール像の半径・中心位置が精度良く算出される。その上、分離度フィルターによるフィルタリング処理の前にボール像の背景が平滑化されたから、ボール像の周囲にあるノイズや紛らわしい像が除去されて、ボール像の半径・中心位置の検出精度がより高くなる。
【００７１】
図４に示すように、ボール２０２が打撃される直前のボール像の半径ｒ１及び中心位置（ｘ１，ｙ１）が検出されたら（ステップＳ４）、画像処理部７がプログラム１３ａによって平均色算出手段７ｅとして機能する（ステップＳ５）。具体的には、画像処理部７は、打撃直前のフレームについて中心位置（ｘ１，ｙ１）付近の複数の画素の平均色（以下、その平均色をａｖｅＢｃとする。）を算出する（ステップＳ５）。そして、画像処理部７は、算出した平均色ａｖｅＢｃをバッファメモリ１２等に記憶しておく。ＲＧＢ色空間であれば、平均色は、中心位置（ｘ１，ｙ１）の複数の画素のＲ値（赤の輝度値）の平均値と、Ｇ値（緑の輝度値）の平均値と、Ｂ値（青の輝度値）の平均値とによって表される。
【００７２】
次に、画像処理部７はボール２０２が打撃された後のボール像の長径、短径、中心位置及び傾斜角を検出する（ステップＳ６）。図６に示すように、打撃後のボール像が楕円形に歪んでおり、ボール像の傾斜角とはｘ方向の水平ラインを基準とした長径の傾斜角をいう。
【００７３】
図１８は、ボール２０２が打撃された後のボール像のサイズ、中心位置及び傾斜角を算出する処理（ステップＳ６）を具体的に示したフローチャートである。図１８に示すように、まず、画像処理部７は、打撃後のフレーム（以下、そのフレームインデックスをＴとする。）の中の背景を平滑化し（ステップＳ７１）、その後、背景が平滑化されたフレームの中のボール像の中心位置、長径及び短径を算出し（ステップＳ７２）、背景が平滑化されたフレームの中のボール像の水平ライン（ｘ方向）に対する角度を算出する（ステップＳ７３）。
【００７４】
図１９は、背景の平滑化処理（ステップＳ７１）を具体的に示したフローチャートである。背景の平滑化処理（ステップＳ７１）は、プログラム１３ａによって第２の平滑化手段７ｆとして機能させられた画像処理部７によって行われる。
【００７５】
図１９に示すように、フレームインデックスがＮ２よりも大きい打撃後のフレームを記憶部１１から読み出すとともに、そのフレームの１つ前のフレーム（以下、そのフレームインデックスをＴ−１とする。）と１つ後のフレーム（以下、そのフレームインデックスをＴ＋１とする。）も記憶部１１から読み出す（ステップＳ８１）。
【００７６】
次に、図２０に示すように、画像処理部７は、打撃後のフレームとその１つ前のフレームの差分の絶対値を算出する。つまり、画像処理部７は、打撃後のフレームとその１つ前のフレームとの間で同一画素の画素値の差分の絶対値を求める。更に、画像処理部７は、打撃後のフレームとその１つ後のフレームの差分の絶対値を算出する。つまり、画像処理部７は、打撃後のフレームとその１つ後のフレームとの間で同一画素の画素値の差分の絶対値を求める。そして、次式に示すように、画像処理部７は、それら求めた２つの差分の絶対値の積（但し、和でも良い。）を算出することで、打撃後のフレームの中のボール像を強調し、ボール像と背景との間のコントラストを高める（ステップＳ８２）。
【００７７】
【数４】
【００７８】
ここで、fT(x,y)は打撃後のフレームの各画素の画素値であり、fT-1(x,y)はその１つ前のフレームの各画素の画素値であり、fT+1(x,y)はその１つ後のフレームであり、MdifT(x,y)は打撃後のフレームのボール像を強調した後の画像の各画素の画素値である。
【００７９】
次に、画像処理部７は、打撃後のフレームの画素ごとの尤度を算出する（ステップＳ８３）。尤度とは、画素の色（画素値）がボール像の色にどの程度尤もらしいかを示す量である。具体的には、次式に示すように、画像処理部７は、色空間における、先に求めた平均色ａｖｅＢｃの点から打撃後のフレームの各画素の画素値の点までのベクトルの各次元の二乗和（Ｌ２ノルム）の逆数を各画素の尤度CdifT(x,y)として算出する。
【００８０】
【数５】
【００８１】
例えば、打撃後のフレームの色空間がＲＧＢ色空間であれば、Ｃ１、ＣＴ１（ｘ，ｙ）はＲ値であり、Ｃ２、ＣＴ２（ｘ，ｙ）はＧ値であり、Ｃ３，ＣＴ３（ｘ，ｙ）はＢ値である。打撃後のフレームの画素の色（画素値）と平均色ａｖｅＢｃが近くなるにつれて、尤度CdifT(x,y)が高くなる。
【００８２】
次に、画像処理部７は、次式で示すように、ステップＳ８２で算出した強調後のフレーム（MdifT(x,y)の分布）に、ステップＳ８３で算出した尤度CdifT(x,y)の分布を乗ずる（ステップＳ８４）。これにより、画像処理部７は、打撃後のフレームから背景を平滑化してボール像を強調した画像estImgTを算出する。
【００８３】
【数６】
【００８４】
画像estImgTが算出されたら、図１８に示すように、画像処理部７は画像estImgTの中のボール像の中心位置、長径、短径及び傾斜角を算出する（ステップＳ７２，ステップＳ７３）。ステップＳ７２，ステップＳ７３の処理では、プログラム１３ａが画像処理部７を楕円分離度算出手段７ｇとして機能させることによって、画像処理部７が図２１に示すような楕円分離度フィルターを利用して各画素の分離度を算出するので、楕円分離度フィルターについて具体的に説明する。
【００８５】
楕円分離度フィルターは、座標（ｘ，ｙ）に中心を持つ長径Ｌ、短径Ｓの楕円形状の内領域Ａ３と、内領域Ａ３と同心状の領域であって内領域Ａ３の外側において内領域Ａ３に隣接する長径Ｌｍａｘ、短径Ｓｍｉｎの外領域Ａ４と、から構成される。内領域Ａ３の外縁となる楕円と、外領域Ａ４の外縁となる楕円は相似形である。また、長径Ｌ、長径Ｌｍａｘがｘ方向の水平ラインに対して傾斜しており、その傾斜角はθである。この楕円分離度フィルターは、形状こそ上述した円形分離度フィルターと異なるものの、円形分離度フィルターと同様に、内領域Ａ３と外領域Ａ４の画素の分離度を算出するものである。従って、円形分離度フィルターにおける分離度ηの算出式を楕円分離度フィルターにおける分離度の算出式に適用することができる。そのため、楕円分離度フィルターの長径Ｌを最小値Ｌｍｉｎから最大値Ｌｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）で変化させ、短径Ｓを最小値Ｓｍｉｎから最大値Ｓｍａｘの範囲内で所定刻み幅（例えば、１〜数画素）させ、楕円分離度フィルターの中心位置（ｘ，ｙ）を所定範囲内で所定刻み幅（例えば、１〜数画素）で変化させ、更に楕円分離度フィルターの傾斜角θを所定範囲内で所定刻み幅で変化させることで、最大の分離度ηをとる長径Ｌ、短径Ｓ、中心位置（ｘ、ｙ）及び傾斜角θをボール像の長径、短径、中心位置及び傾斜角として推定する。
【００８６】
楕円分離度フィルターを用いてボール像の中心位置、長径及び短径を算出する処理（ステップＳ７２）について具体的に説明する。
まず、画像処理部７は、楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ、短径Ｓ及び傾斜角θを所定の初期値に設定する。なお、ボール２０２が移動する際のボール像の歪みが予めおおよそ特定されているので、その歪みに基づいて傾斜角θの初期値が設定される。
次に、画像処理部７は、画像estImgTを楕円分離度フィルターによってフィルタリング処理することによって、内領域Ａ３と外領域Ａ４の各画素の分離度を算出する。
次に、画像処理部７は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を算出する。
その後、画像処理部７は、傾斜角θを一定に保った状態で楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ及び短径Ｓを所定幅だけずらしながら、同様なフィルタリング処理及び補間処理を繰り返す。傾斜角θを一定に保った状態としたので、処理の繰り返し回数が減り、計算処理の負担軽減が図れる。長径Ｌ及び短径Ｓを所定幅ずらす際に、長径Ｌと短径Ｓの比率を一定とすることが好ましい。そうすれば、内領域Ａ３の外縁の楕円形状が外領域Ａ４の外縁の楕円形状と相似形を保つ。但し、長径Ｌ及び短径Ｓを所定幅ずらす際に、長径Ｌ及び短径Ｓの比率が一定でなくてもよい。
【００８７】
そして、以上のような分離度算出処理の繰り返しが終了したら、画像処理部７がプログラム１３ａによって推定手段７ｈとして機能させられる。推定手段７ｈとして機能する画像処理部７は、繰り返して算出された分離度のうち最大の分離度を得た長径Ｌ、短径Ｓ及び中心位置（ｘ，ｙ）を打撃後のボール像の長径、短径及び中心位置と推定する。
以下、以上のようにして推定された長径をＬ２、短径をＳ２、中心位置の座標を（ｘ２，ｙ２）とする。推定された長径Ｌ２、短径Ｓ２及び中心位置（ｘ２，ｙ２）は、画像処理部７及びリーダー・ライター１０によって記憶部１１に記録される。
【００８８】
楕円分離度フィルターを用いてボール像の傾斜角を算出する処理（ステップＳ７３）について具体的に説明する。
まず、画像処理部７は、楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ及び短径Ｓを（ｘ２，ｙ２）、Ｌ２、Ｓ２に設定する。更に、画像処理部７は、傾斜角θを所定の初期値に設定する。
次に、画像処理部７は、画像estImgTを楕円分離度フィルターによってフィルタリング処理することによって、内領域Ａ３と外領域Ａ４の各画素の分離度を算出する。
次に、画像処理部７は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を算出する。
その後、画像処理部７は、楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ及び短径Ｓを（ｘ２，ｙ２）、Ｌ２、Ｓ２に保った状態で楕円分離度フィルターの傾斜角θを所定幅だけずらしながら、同様なフィルタリング処理及び補間処理を繰り返す。中心位置（ｘ，ｙ）、長径Ｌ及び短径Ｓを一定に保った状態としたので、処理の繰り返し回数が減り、計算処理の負担軽減が図れる。
【００８９】
そして、以上のような分離度算出処理の繰り返しが終了したら、画像処理部７がプログラム１３ａによって推定手段７ｈとして機能させられる。推定手段７ｈとして機能する画像処理部７は、繰り返して算出された分離度のうち最大の分離度を得た傾斜角θを打撃後のボール像の傾斜角と推定する。以下、このように推定された傾斜角をθ２とする。推定された傾斜角θ２は、画像処理部７及びリーダー・ライター１０によって記憶部１１に記録される。
【００９０】
なお、上述の説明では、分離度の算出処理が、傾斜角θが固定されたステップＳ７２の処理と、長径Ｌ、短径Ｓ及び中心座標（ｘ，ｙ）が固定されたステップＳ７３の処理の２つに分かれている。それに対して、傾斜角θ、長径Ｌ、短径Ｓ及び中心座標（ｘ，ｙ）を固定せずに、画像処理部７は、楕円分離度フィルターの中心位置（ｘ，ｙ）、長径Ｌ、短径Ｓ及び傾斜角θを所定幅だけずらしながら、同様なフィルタリング処理及び補間処理を繰り返してもよい。その場合でも、画像処理部７は、最大の分離度を得た長径Ｌ、短径Ｓ、中心位置（ｘ，ｙ）及び傾斜角θを打撃後のボール像の長径、短径、中心位置及び傾斜角と推定する。
【００９１】
画像処理部７は、打撃後のボール像の長径、短径、中心位置及び傾斜角の算出（図１８参照）を、打撃時のＮ２番目のフレームの後の２以上のフレームに対して行う。特に、画像処理部７は、打撃後のボール像の長径、短径、中心位置及び傾斜角の算出を、打撃時のＮ２番目のフレームの後の続いた２以上のフレームに対して行う。勿論、Ｎ２番目のフレームの後の全てのフレームに対して、ボール像の長径、短径、中心位置及び傾斜角の算出を行ってもよい。
【００９２】
以上のように、楕円分離度フィルターの領域Ａ３，Ａ４が楕円形であり、ボール像も楕円形に変形しているから、ボール像の長径・短径・中心位置・傾斜角を精度良く算出することができる。その上、分離度フィルターによるフィルタリング処理の前にボール像が強調されて、背景が平滑化されたから、ボール像の長径・短径・中心位置・傾斜角の検出精度がより高くなる。
【００９３】
図４に示すように、次に、画像処理部７は、打撃後のフレームとその１つ前のフレーム（このフレームも打撃後のフレームである）に基づいて、これらのフレームの間のボール回転角を検出する（ステップＳ７）。
【００９４】
図２２は、ボール回転角を検出する処理（ステップＳ７）を具体的に示したフローチャートである。図２２に示すように、画像処理部７は、打撃後のフレームについて楕円形に歪んだボール像の中心座標の差に基づいて、そのフレームの中のボール像を円形に補正する（ステップＳ９１）。画像処理部７は、ボール像を円形に補正する処理（ステップＳ９１）を、打撃時のＮ２番目のフレームの後の２以上のフレームに対して行う。特に、画像処理部７は、ボール像を円形に補正する処理を、打撃時のＮ２番目のフレームの後の続いた２以上のフレームに対して行う。勿論、Ｎ２番目のフレームの後の全てのフレームに対して、ボール像を円形に補正する処理を行ってもよい。
そして、画像処理部７は、打撃後の２つのフレームの中の円形に補正されたボール像に基づいて、ボールの回転角を推定する（ステップＳ９２）。
【００９５】
図２３は、ボール像の楕円形歪みを円形に補正する処理（ステップＳ９１）を示したフローチャートである。
図２３に示すように、画像処理部７がプログラム１３ａによってずれ量算出手段７ｉとして機能させられることによって、その画像処理部７は、打撃後のフレームとその次のフレームとにおけるボール像の中心のｘ座標の差に基づいて、補正係数を算出する（ステップＳ１０１）。具体的には、画像処理部７は、次式から補正係数を算出する。
【００９６】
【数７】
【００９７】
ここで、Ｔ番目の打撃後フレームにおけるｒｓｄ（Ｔ）は補正係数である。ｘ２（Ｔ）、ｘ２（Ｔ＋１）は、図１８に示す処理によって算出されたものである。補正係数ｒｓｄ（Ｔ）は、ローリングシャッター歪みによって発生したずれ量であって、打撃後のフレームの中の上下に隣り合う水平ライン間がｘ方向にどの程度ずれているかを示すずれ量である。
【００９８】
次に、画像処理部７がプログラム１３ａによってずらし量算出手段７ｊとして機能させられることによって、その画像処理部７は、次式から、水平ラインのｘ方向へのずらし量を算出する（ステップＳ１０２）。
【００９９】
【数８】
【０１００】
ｙは最も上の水平ラインからの行数を示し、ｄｘ（ｙ）はｙ行目の水平ラインのｘ方向へのずらし量である。
【０１０１】
次に、画像処理部７がプログラム１３ａによって歪み補正手段７ｋとして機能させられる。歪み補正手段７ｋとして機能する画像処理部７は、打撃後のフレームの各水平ラインをｄｘ（ｙ）だけｘ方向へずらすように、打撃後のフレームの各画素のｘ座標を座標変換する（ステップＳ１０３）。この際、画像処理部７は、バイリニア補間法、バイキュービック補間法その他の補間法によって座標変換前のフレームの各画素の間を補間処理しつつ、座標変換を行う。
【０１０２】
この結果、図２４（ａ）に示すように楕円形に歪んだボール像が、図２４（ｂ）に示すように円形に補正される。
【０１０３】
図２５は、ボール像が円形に補正された２つの連続したフレームからボール回転角を推定する処理（ステップＳ９２）を具体的に示したフローチャートである。
【０１０４】
まず、画像処理部７がプログラム１３ａによって座標変換手段７ｍとして機能させられることによって、その画像処理部７は、ボール像が円形に補正されたフレームの中のボール像を、直交ＸＹＺ座標系で表された三次元球体モデルの表面に座標変換する（ステップＳ１１１）。この際、変換前のｘ座標と変換後のＸ座標が平行であり、変換前のｙ座標と変換後のＹ座標が平行であることが好ましい。同様に、画像処理部７は、その前のフレームについても円形に補正されたボール像を、直交ＸＹＺ座標系で表された三次元球体モデルの表面に座標変換する（ステップＳ１１２）。座標変換に際しては、バイリニア補間法、バイキュービック補間法その他の補間法によって座標変換前のボール像の各画素間を補間する。
【０１０５】
次に、画像処理部７はプログラム１３ａによって回転角推定手段７ｎとして機能させられることによって、画像処理部７が２つのフレーム間のボール像（三次元球体モデルに座標変換されたもの）の回転角を推定する。
具体的には、まず、画像処理部７は、次式に示す回転行列Irotを所定の初期値に設定する（ステップＳ１１３）。つまり、画像処理部７は、次式に示す回転角度θr、θy、θpを所定の初期値に設定する。
【０１０６】
【数９】
【０１０７】
ここで、θrはＺ軸回りの回転角（ピッチ角）、θyはＹ軸回りの回転角（ヨー角）、θpはＸ軸回りの回転角（ロール角）を示す。
【０１０８】
次に、画像処理部７は、ステップＳ１１２で生成した三次元球体モデルの表面のボール像を回転させることで、そのボール像を次式に示すように回転行列Irotで座標変換する（ステップＳ１１４）。
【０１０９】
【数１０】
【０１１０】
ここで、Ｘ、Ｙ、Ｚは変換前の座標値であり、Ｘ＊、Ｙ＊、Ｚ＊は座標変換後の座標値である。なお、座標変換に際しては、バイリニア補間法、バイキュービック補間法その他の補間法によって座標変換前のボール像の各画素間を補間する。
【０１１１】
次に、画像処理部７は、ステップＳ１１２で生成した三次元球体モデルの表面のボール像と、ステップＳ１１４で生成した座標変換後のボール像との差分を算出する（ステップＳ１１５）。
【０１１２】
その後、画像処理部７は、回転行列Irotのピッチ角度θr、ヨー角度θy、ロール角度θpを所定幅だけずらしながら、同様な座標変換及び差分算出を繰り返す（ステップＳ１１６：ＹＥＳ、ステップＳ１１７、ステップＳ１１４、Ｓ１１５）。そして、そのような処理の繰り返しが終了したら（ステップＳ１１６：ＹＥＳ）、画像処理部７は最小の差分をとる回転角度θr、θy、θpを１フレーム当たりのボールの回転ピッチ角、回転ヨー角、回転ロール角に推定する（ステップＳ１１８）。以下、このように求められたＴ番目のフレームにおける回転ピッチ角、回転ヨー角、回転ロール角をθr２、θy２、θp２とする。
【０１１３】
画像処理部７は、回転ピッチ角、回転ヨー角、回転ロール角を推定する処理（ステップＳ９２）を、打撃時のＮ２番目のフレームの後の少なくとも１つのフレームに対して行う。勿論、Ｎ２番目のフレームの後の全てのフレームに対して、回転ピッチ角、回転ヨー角、回転ロール角を推定する処理を行ってもよい。
【０１１４】
図４に示すように、打撃後における回転ピッチ角θr２、回転ヨー角θy２及び回転ロール角θp２が検出されたら（ステップＳ７）、画像処理部７は撮影条件や算出結果に基づいて打撃後のボール２０２の運動状態を算出する（ステップＳ８）。つまり、画像処理部７は、ボール２０２の速度、垂直射出角、水平射出角、バックスピン速度（オーバースピン速度）及びサイドスピン速度を算出する。
【０１１５】
具体的には、画像処理部７がプログラム１３ａによって速度算出手段７ｐとして機能させられることによって、その画像処理部７は、次式のように、打撃後の２つのフレームにおけるボール像の中心座標からボール２０２の速度を算出する。
【数１１】
【０１１６】
ここで、（ｘａ，ｙａ）は打撃後の所定のフレームにおけるボール像の中心座標、（ｘｂ，ｙｂ）はその前のフレームにおけるボール像の中心座標、Ｎ３はこれらフレームのフレームインデックスの差の絶対値（つまり、これらフレーム間のフレーム数）、Ｖｘはｘ方向の速度[pixel/sec]、Ｆｒａｔｅはフレームレート、Ｖｙはｙ方向の速度[pixel/sec]である。中止座標（ｘａ，ｙａ），（ｘｂ，ｙｂ）は、図４に示すステップＳ６の処理で算出されたものである。続いた２つのフレームのボール像の中心座標からボール速度を算出するのであれば、Ｎ３の値は１である。打撃後のフレームごとにＶｘ及びＶｙを算出してもよい。更に、各種撮影条件や実際のボールの直径やボール像の直径等に基づいて、速度Ｖｘ，Ｖｙを画像上の速度から実際の速度に換算してもよい。なお、（ｘｂ，ｙｂ）は、打撃前のフレームにおけるボール像の中心座標（図４に示すステップＳ４で算出されたもの）とし、Ｎ３は打撃時のフレームから、中心座標（ｘａ，ｙａ）を求めた際の打撃後のフレームまでのフレーム数としてもよい。
【０１１７】
また、画像処理部７がプログラム１３ａによって垂直射出角算出手段７ｓとして機能させられることによって、画像処理部７は、次式のように、打撃後の２つのフレームにおけるボール像の中心座標から垂直射出角を算出する。垂直射出角とは、撮像方向Ｄから見て、水平面を基準とした上下方向へのボールの移動角度である。
【数１２】
【０１１８】
ここで、αは垂直射出角[rad]である。
【０１１９】
また、画像処理部７がプログラム１３ａによってスピン速度算出手段７ｔとして機能させられることによって、その画像処理部７が打撃後のボール２０２のスピン速度を算出する。具体的には、画像処理部７は、打撃後における回転ピッチ角θr２とフレームレートＦｒａｔｅとからバックスピン速度（オーバースピン速度）を算出し、打撃後における回転ヨー角θy２とＦｒａｔｅとからサイドスピン速度を算出する。
【数１３】
【０１２０】
ここで、φはバックスピン速度[rad/sec]、ωはサイドスピン速度[rad/sec]である。
【０１２１】
また、画像処理部７は、打撃後の２つのフレームにおけるボール像の長径又は短径、の差分から水平射出角を算出する。水平射出角とは、上から見て、レンズユニット１の撮像方向Ｄに対して直交する鉛直面を基準とした左右方向へのボールの移動角度である。
【数１４】
【０１２２】
ここで、βは水平射出角[rad]、（ｘａ，ｙａ）は打撃後の所定のフレームにおけるボール像の中心座標、（ｘｂ，ｙｂ）はその前のフレーム（但し、打撃後のフレームである。）におけるボール像の中心座標、（ｘｃ，ｙｃ）はフレーム（画像）の中心座標、Ｓｘは垂直ライン数、ＡＨは撮像装置１００の撮像手段の水平画角、Ｌａは前記所定のフレームにおいて座標（ｘａ，ｙａ）に中心を有するボール像の長径、Ｓａは前記所定のフレームにおいて座標（ｘａ，ｙａ）に中心を有するボール像の短径、Ｌｂはその前のフレーム（但し、打撃後のフレームである。）において座標（ｘｂ，ｙｂ）に中心を有するボール像の長径、Ｓｂは前記所定のフレームにおいて座標（ｘｂ，ｙｂ）に中心を有するボール像の短径である。Ｌａ、Ｓａ、Ｌｂ、Ｓｂは、図４に示すステップＳ６の処理で算出されたものである。
【０１２３】
図２６を参照して、βの算定式について説明する。図２６に示すように、撮像装置１００の撮像手段（レンズユニット１、電子撮像部３）を基準として三次元座標系ｕｖｗを定め、その撮像手段を原点に定める。ここで、ｕ方向は電子撮像部３の水平ラインに平行であり、ｖ方向は電子撮像部３の垂直方向に平行であり、ｗ方向は電子撮像部３の水平方向及び垂直方向に対して直交して、撮像方向Ｄに対して平行である。打撃後のボール２０２が位置Ａにある時に撮像されたフレームのボール像の中心座標を（ｘａ，ｙａ）とし、それ以前（但し、打撃後である。）にボール２０２が位置Ｂにある時に撮像されたフレームのボール像の中心座標を（ｘｂ，ｙｂ）とする。位置Ａ，Ｂはボール２０２の中心位置とし、位置Ａ，Ｂのｕｖｗ座標はそれぞれ（ｕａ，ｖａ，ｗａ），（ｕｂ，ｖｂ，ｗｂ）である。撮像距離Ｄｂｃは、撮像装置１００の撮像手段（レンズユニット１、電子撮像部３）の光軸に対して直交するとともに打撃前のボール２０２を通った物体面から、撮像装置１００の撮像手段までの距離である。
【０１２４】
位置Ａのボール２０２と撮像装置１００の撮像手段とを結ぶ線が光軸を基準として成す角（水平角θＨａ、垂直角θＶａ）や、位置Ｂの２０２と撮像装置１００の撮像手段とを結ぶ線が光軸を基準として成す角（水平角θＨｂ、垂直角θＶｂ）次式で表される。
【数１５】
【０１２５】
ここで、ＡＨは撮像装置１００の撮像手段の水平画角、ＡＶは撮像装置１００の撮像手段の垂直画角である。
【０１２６】
位置Ｂの座標（ｕｂ，ｖｂ，ｗｂ）は以下で近似することができる。
【数１６】
【０１２７】
位置Ａのボール２０２と撮像装置１００の撮像手段とを結ぶ線と、位置Ｂを通ってｕ方向に対して平行な面との交点の座標（ｕａ＊，ｖａ＊，ｗａ＊）は以下で近似することができる。
【数１７】
【０１２８】
位置Ａの座標（ｕａ，ｖａ，ｗａ）は次式で表される。
【数１８】
【０１２９】
ここで、Ｄａは撮像装置１００の撮像手段から位置Ａまでの距離、Ｄａ＊は撮像装置１００の撮像手段から座標（ｕａ＊，ｖａ＊，ｗａ＊）までの距離である。ＤａとＤａ＊の比は次式で表すことができる。
【数１９】
【０１３０】
よって、水平射出角βは次式のようになる。
【数２０】
【０１３１】
以上のような速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度の算出後、画像処理部７がボール２０２の速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度をリーダー・ライター１０に出力して、リーダー・ライター１０が速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度を記憶部１１に記録する。また、算出された速度、垂直射出角、水平射出角、バックスピン速度及びサイドスピン速度を数値や図面等で表す映像が、画像処理部７及び中央制御部１４の指令によって表示部９に表示される。
【０１３２】
以上のように本実施の形態によれば、楕円分離度フィルターによって楕円形状のボール像の長径・短径・中心位置・傾斜角を精度良く算出することができるから、ボール２０２の速度、垂直射出角及び水平射出角の計算精度も高い。
また、楕円形に歪んだボールの像を円形に補正したので、バックスピン速度及びサイドスピン速度をより正確に算出することができる。
【０１３３】
〔第２の実施の形態〕
図２７は、本発明の第２実施形態に係る撮像装置１００Ａの概略構成を示すブロック図である。第２実施形態に係る撮像装置１００Ａと、第１実施形態に係る撮像装置１００との間で互いに対応する部分には、同一の符号を付す。
【０１３４】
第２実施形態に係る撮像装置１００Ａと、第１実施形態に係る撮像装置１００とは、プログラムメモリ１３に格納されたプログラム１３ａ，１３ｂが相違するとともに、プログラム１３ａ，１３ｂによる中央制御部１４及び画像処理部７の機能が相違する。
【０１３５】
第２実施形態に係る撮像装置１００Ａでは、プログラム１３ｂが中央制御部１４を入力制御手段１４ｇ及び撮像制御手段１４ｂとして機能させる。撮像制御手段１４ｂについては、第１実施形態と同様である。入力制御手段１４ｇについては後に詳細に説明する。
【０１３６】
また、プログラム１３ｂは、画像処理部７を平滑化手段７ｆ、楕円分離度算出手段ｇ、推定手段７ｈ、第１の交点算出手段７ｖ、第２の交点算出手段７ｗ、速度算出手段７ｘ及び垂直射出角算出手段７ｙとして機能させる。平滑化手段７ｆ、楕円分離度算出手段ｇ及び推定手段７ｈは、第１実施形態と同様である。第１の交点算出手段７ｖ、第２の交点算出手段７ｗ、速度算出手段７ｘ及び垂直射出角算出手段７ｙについては後に詳細に説明する。
【０１３７】
図２８に示されたフローチャートを参照して、プログラム１３ｂに従って中央制御部１４及び画像処理部７が行う処理の流れについて説明する。
まず、中央制御部１４がプログラム１３ａによって入力制御手段１４ｇとして機能することで、その中央制御部１４が操作入力部８を通じて入力されたデータをバッファメモリ１２等に格納する。具体的には、ユーザーが操作入力部８を操作することで、実際のボール２０２の直径又は半径を入力し、中央制御部１４が入力された直径をバッファメモリ１２に格納するか、入力された半径の２倍をバッファメモリ１２に格納する（ステップＳ１２１）。なお、直径が予め記憶部１１又はプログラムメモリ１３等に記録されていてもよいし、プログラム１３ｂに組み込まれていてもよい。
【０１３８】
次に、中央制御部１４がプログラム１３ａによって撮像制御手段１４ｂとして機能することで、その中央制御部１４が連続撮像処理を行う。具体的には、ユーザーがシャッターボタン８ａを押下すると、中央制御部１４が撮像制御部５を通じて電子撮像部３の連続撮像を行わせる（ステップＳ１２２）。その際、打撃者がボール２０２を打撃する。連続撮像処理（ステップＳ１２２）は第１実施形態における連続撮像処理（ステップＳ２）と同様である。なお、打撃前のボール２０２近傍にトリガセンサが設けられ、打撃者がボール２０２を打撃したことがトリガセンサによって検出され、そのトリガ信号が中央制御部１４に入力されたら、中央制御部１４が撮像制御部５を通じて電子撮像部３の連続撮像を行わせてもよい。また、連続撮像ではなく、ボール２０２の打撃後に高速なシャッタースピードで１枚の静止画を撮像するものとしてもよい。
【０１３９】
次に、画像処理部７は、打撃後のフレームを記憶部１１から読み出す（ステップＳ１２３）。
次に、画像処理部７がプログラム１３ｂによって平滑化手段７ｆ、楕円分離度算出手段７ｇ及び推定手段７ｈとして機能させられ、画像処理部７は読み出したフレームの中のボール像の中心位置、長径、短径及び傾斜角を検出する（ステップＳ１２４）。ステップＳ１２４における処理は、第１実施形態におけるステップＳ６における処理と同様である。図２９に示すように、ステップＳ１２４の処理において、最大の分離度をとる長径、短径、中心位置及び傾斜角をそれぞれＬ４、Ｓ４、（ｘ４，ｙ４）及びθ４とする。また、長径Ｌ４、短径Ｓ４、中心位置（ｘ４，ｙ４）及び傾斜角θ４から規定される楕円を最適楕円という。なお、ステップＳ１２４の処理の前に、第１実施形態の場合と同様に、画像処理部７が打撃時のフレームを特定してもよい（図４のステップＳ１及びステップＳ４、図８〜図１０等参照）
【０１４０】
次に、画像処理部７は、そのフレームが撮像された時の水平方向（ｘ方向）に沿ったボール２０２の速度を算出するとともに（ステップＳ１２５）、そのフレームが撮像された時の垂直方向（ｙ方向）に沿ったボール２０２の速度を算出する（ステップＳ１２６）。図２９を参照して、具体的に説明する。
【０１４１】
まず、画像処理部７がプログラム１３ｂによって第１の交点算出手段７ｖとして機能させられることによって、画像処理部７は、最適楕円とそれに接する水平な接線Ｈ１との交点の座標（ｘ５，ｙ５）を算出するとともに、最適楕円とそれに接するもう一つの水平な接線Ｈ２との交点の座標（ｘ６，ｙ６）を算出する。
次に、画像処理部７がプログラム１３ｂによって第２の交点算出手段７ｗとして機能させられることによって、その画像処理部７は、中心位置（ｘ４，ｙ４）を通る水平線Ｈ３と最適楕円との２つの交点の座標（ｘ７，ｙ７）、（ｘ８，ｙ８）を算出する。
【０１４２】
そして、画像処理部７がプログラム１３ｂによって速度算出手段７ｘとして機能させられることによって、その画像処理部７は、次式に基づいて水平方向のボール２０２の速度を算出する。
【数２１】
【０１４３】
ここで、Ｖｘは水平方向のボール速度[mm/sec]であり、Ｂsizeは実際のボールの直径[mm]であり、Ｌｄは電子撮像部３のイメージセンサによって撮像される際に隣り合う水平ライン間の遅延時間[sec]である。ｘ７とｘ８の差分の絶対値は、画像におけるボール像の直径と考えられる。また、「（ｙ６−ｙ５）×Ｌｄ」は、水平接線Ｈ１の露光・電荷蓄積時から水平接線Ｈ２の露光・電荷蓄積時までの時間である。
【０１４４】
仮に静止した円形ボールを撮像すれば、ｘ５＝ｘ６である。よって、ｘ５とｘ６の差分を「（ｙ６−ｙ５）×Ｌｄ」で除して得られた値は、画像上のボール像の速度と考えられる。従って、上の式によって水平方向のボール速度[mm/sec]が求まる。
【０１４５】
また、速度算出手段７ｘとして機能した画像処理部７は、次式に基づいて垂直方向のボール２０２の速度を算出する。
【数２２】
【０１４６】
ここで、Ｖｙは垂直方向のボール速度[mm/sec]である。
仮に上方へ移動する円形ボールを撮像すれば、その円形ボールの像が上下に圧縮される。そのため、圧縮されたラインの量をライン間時間で除して得られた値が速度と考えられる。
【０１４７】
また、画像処理部７がプログラム１３ｂによって垂直射出角算出手段７ｙとして機能させられることによって、画像処理部７は、次式に基づいて垂直射出角α[rad]を算出する。
【数２３】
【０１４８】
そして、画像処理部７が算出した速度及び垂直射出角をリーダー・ライター１０に出力して、リーダー・ライター１０が速度及び垂直射出角を記憶部１１に記録する。また、算出された速度及び垂直射出角を数値や図面等で表す映像が、画像処理部７及び中央制御部１４の指令によって表示部９に表示される。
【０１４９】
本実施形態においては、打撃後の１つのフレームによってボール２０２の速度及び垂直射出角が算出されるので、計算処理の負担の軽減が図れる。また、楕円分離度フィルターによって楕円形状のボール像の長径・短径・中心位置・傾斜角を精度良く算出することができるから、ボール２０２の速度及び垂直射出角の計算精度も高い。
【０１５０】
〔変形例〕
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【０１５１】
例えば、撮像装置１００，１００Ａの構成は、上記第１、第２の実施形態に例示したものは一例であり、これらに限られるものではない。
【０１５２】
また、第１、第２の実施形態にあっては、中央制御部１４の制御下にて、画像処理部７がプログラム１３ａ，１３ｂを実行することによって各種手段７ａ〜７ｎ、７ｐ、７ｓ〜７ｕ，７ｖ〜７ｙ等の機能を実現したものした。しかし、これらに限られることではなく、中央制御部１４がプログラムメモリ１３に格納されたプログラム１３，１３ｂを実行するによってこれらの手段７ａ〜７ｎ、７ｐ、７ｓ〜７ｕ，７ｖ〜７ｙ等の機能を実現してもよい。
【０１５３】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【０１５４】
また、上述の説明では、記憶部１１に記録された複数の連続画像（連続フレーム）は、撮像手段（レンズユニット１、電子撮像部３、ユニット回路４及び撮像制御部５）によって撮像されたものであった。それに対して、撮像装置１００に組み込また撮像手段以外の撮像手段（例えば、外部のデジタルカメラ）等によって連続撮像された連続画像が記憶部１１に記憶されており、それらの連続画像に対して画像処理部７が上述の処理を行ってもよい。
【０１５５】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
＜請求項２＞
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段と、を備えることを特徴とする撮像装置。
＜請求項３＞
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段と、を備えることを特徴とする撮像装置。
＜請求項４＞
前記推定手段は、前記内領域の傾斜角を一定にした状態で前記内領域の中心位置、長径及び短径を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径及び短径を前記ボール像の中心位置、長径及び短径として推定し、その推定した中心位置、長径及び短径に前記内領域の中心位置、長径及び短径を一定にした状態で前記内領域の傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる傾斜角を前記ボール像の傾斜角として推定することを特徴とする請求項１から３の何れか一項に記載の撮像装置。
＜請求項５＞
前記推定手段によって推定された中心位置のフレーム間における水平方向の差分から、隣り合う水平ラインの間にローリングシャッターによって生じる水平方向のずれ量を算出するずれ量算出手段と、
前記ずれ量に基づき前記フレームのボール像に生じた歪みを円形に補正する歪み補正手段と、
前記歪み補正手段によって補正されたボール像を三次元球体モデルの表面に座標変換する座標変換手段と、
前記座標変換手段によって座標変換されたボール像のフレーム間における回転角を推定する回転角推定手段と、
前記回転角推定手段によって推定された回転角とフレームレートとから、前記ボールのスピン速度を算出するスピン速度算出手段と、を備えることを特徴とする請求項１から４の何れか一項に記載の撮像装置。
＜請求項６＞
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段と、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
＜請求項７＞
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
＜請求項８＞
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段、
として機能させることを特徴とするプログラム。
＜請求項９＞
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段、
として機能させることを特徴とするプログラム。
＜請求項１０＞
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１５６】
７ 画像処理部
７ｇ 楕円分離度算出手段
７ｈ 推定手段
７ｉ ずれ量算出手段
７ｋ 歪み補正手段
７ｍ 座標変換手段
７ｎ 回転角推定手段
７ｐ 速度算出手段
７ｓ 垂直射出角算出手段
７ｔ スピン速度算出手段
７ｕ 水平射出角算出手段
７ｖ 第１の交点算出手段
７ｗ 第２の交点算出手段
７ｘ 速度算出手段
７ｙ 垂直射出角算出手段
１３ａ、１３ｂ プログラム
１４ 中央制御部
１００、１００Ａ 撮像装置
【特許請求の範囲】
【請求項１】
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
【請求項２】
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段と、を備えることを特徴とする撮像装置。
【請求項３】
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段と、を備えることを特徴とする撮像装置。
【請求項４】
前記推定手段は、前記内領域の傾斜角を一定にした状態で前記内領域の中心位置、長径及び短径を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径及び短径を前記ボール像の中心位置、長径及び短径として推定し、その推定した中心位置、長径及び短径に前記内領域の中心位置、長径及び短径を一定にした状態で前記内領域の傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる傾斜角を前記ボール像の傾斜角として推定することを特徴とする請求項１から３の何れか一項に記載の撮像装置。
【請求項５】
前記推定手段によって推定された中心位置のフレーム間における水平方向の差分から、隣り合う水平ラインの間にローリングシャッターによって生じる水平方向のずれ量を算出するずれ量算出手段と、
前記ずれ量に基づき前記フレームのボール像に生じた歪みを円形に補正する歪み補正手段と、
前記歪み補正手段によって補正されたボール像を三次元球体モデルの表面に座標変換する座標変換手段と、
前記座標変換手段によって座標変換されたボール像のフレーム間における回転角を推定する回転角推定手段と、
前記回転角推定手段によって推定された回転角とフレームレートとから、前記ボールのスピン速度を算出するスピン速度算出手段と、を備えることを特徴とする請求項１から４の何れか一項に記載の撮像装置。
【請求項６】
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段と、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
【請求項７】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
【請求項８】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段、
として機能させることを特徴とするプログラム。
【請求項９】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段、
として機能させることを特徴とするプログラム。
【請求項１０】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
【請求項１】
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
【請求項２】
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段と、を備えることを特徴とする撮像装置。
【請求項３】
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段と、を備えることを特徴とする撮像装置。
【請求項４】
前記推定手段は、前記内領域の傾斜角を一定にした状態で前記内領域の中心位置、長径及び短径を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径及び短径を前記ボール像の中心位置、長径及び短径として推定し、その推定した中心位置、長径及び短径に前記内領域の中心位置、長径及び短径を一定にした状態で前記内領域の傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる傾斜角を前記ボール像の傾斜角として推定することを特徴とする請求項１から３の何れか一項に記載の撮像装置。
【請求項５】
前記推定手段によって推定された中心位置のフレーム間における水平方向の差分から、隣り合う水平ラインの間にローリングシャッターによって生じる水平方向のずれ量を算出するずれ量算出手段と、
前記ずれ量に基づき前記フレームのボール像に生じた歪みを円形に補正する歪み補正手段と、
前記歪み補正手段によって補正されたボール像を三次元球体モデルの表面に座標変換する座標変換手段と、
前記座標変換手段によって座標変換されたボール像のフレーム間における回転角を推定する回転角推定手段と、
前記回転角推定手段によって推定された回転角とフレームレートとから、前記ボールのスピン速度を算出するスピン速度算出手段と、を備えることを特徴とする請求項１から４の何れか一項に記載の撮像装置。
【請求項６】
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段と、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
【請求項７】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
【請求項８】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段、
として機能させることを特徴とするプログラム。
【請求項９】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも２つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも２つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段、
として機能させることを特徴とするプログラム。
【請求項１０】
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第１の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第２の交点算出手段、
前記第１の交点算出手段及び前記第２の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１３−３６８４６（Ｐ２０１３−３６８４６Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７２８７７（Ｐ２０１１−１７２８７７）
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]