説明

三次元計測システム、および、三次元計測方法

【課題】より広範囲に渡って、対象物を高精度で計測する計測システム等を提供する。
【解決手段】全域カメラ20は、砂場S及び全外部標定10を含む全域を撮影する。一方、エリアカメラ30a,30bは、雲台40a,40bにより回動自在であり、全域内の各エリアのうち、何れかのエリアを撮影する。処理制御装置50は、全域カメラ20が撮影した全域画像から砂場Sに残された痕跡が指定されると、対応するエリアを特定し、そのエリアをエリアカメラ30a,30bが撮影できるように雲台40a,40bを回動させる。そして、エリアカメラ30a,30bが撮影したエリア画像にて計測ポイントが指定されると、各エリア画像の外部標定10の絶対位置等に基づいて、計測ポイントの三次元位置を算出し、最終的には、踏切板Fからの跳躍距離を算出する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、より広範囲に渡って、対象物を高精度で計測することのできる三次元計測システム、および、三次元計測方法に関する。
【背景技術】
【0002】
従来より、陸上競技等において、種々の計測技術や判定技術が採用されている。例えば、走り幅跳びや三段跳びといった跳躍競技において、選手が着地した地面(より詳細には、競技に使用される砂場)を撮影した画像から、選手の跳躍距離を計測する技術が知られている。
具体的には、砂場の近傍(例えば、砂場の長手方向の側)に三脚やポール等が立てられ、そこから斜め下方の砂場に向けてカメラが固定される。そして、このカメラから、選手が着地した砂場の画像を撮影する。なお、競技に先立って、踏切板からの距離が実測された基準物を、このカメラから撮影しておき、画像中の位置(各画素位置等)と実距離との関係を求めておく。これにより、撮影した画像における痕跡(足跡等)から、演算によって、選手の跳躍距離を計測することができる。
【0003】
このような技術分野では、更に進んだ技術も知られている。一例として、跳躍前後の砂場をそれぞれ撮影し、それら前後の画像を画像処理して痕跡箇所を抽出することにより、跳躍距離を自動計測する跳躍距離測定装置の技術も開示されている(例えば、特許文献1参照)。
【特許文献1】特開平9−206418号公報 (第2−4頁、第1図)
【発明の開示】
【発明が解決しようとする課題】
【0004】
上述した従来の技術では、固定された1台のカメラにより、砂場の一部(着地が予想される領域)を撮影している。例えば、上述の特許文献1では、約1.9m四方の領域を撮影領域としている。つまり、この撮影領域内に選手が着地した(痕跡を残した)場合に限り、跳躍距離を計測することができる。
そして、実際の競技においては、過去の記録(計測実績等)を参考にして、この撮影領域を定めている。それでも、選手の実力差が大きい場合等では、撮影領域に届かない跳躍や、撮影領域を超えた跳躍がなされることもあり、一部の選手について装置による計測が行えない状況も生じていた。
【0005】
また、同じ場所で(同じ砂場を使って)、走り幅跳びと、三段跳び等のような異なる種目の競技が、同日に(例えば、時間帯をずらして)行われるような場合もある。この場合、種目によって着地が予想される領域(つまり、撮影領域)が大きく異なるため、カメラ等の移動(再配置)や基準物の撮影等の準備作業を、種目毎にその都度行わなければならず、極めて煩雑であった。
同様に、たとえ同じ種目であっても、男子競技と女子競技や、七種、十種競技と跳躍競技や、社会人競技と学生競技等のように、着地が予想される領域が大きく異なる場合には、競技毎に(男子競技と女子競技、出場する競技者の能力等に応じて)、準備作業を行わなければならず極めて煩雑であった。
【0006】
なお、カメラ自体の画角を広げたり、より高い遠方から撮影すること等によって、撮影領域を広くすることも考えられる。
しかしながら、撮影領域を広くするとなると、その分、画像のサイズ(解像度)を大きく(細かく)撮影できないと、計測精度が維持できない。
しかも、画角を広げる場合には、画像(特に周辺部)に生じる歪みが大きくなり、計測精度が低下してしまうという問題があった。また、より高い遠方から撮影する場合には、高低差等による誤差が大きくなるため、やはり、計測精度が低下してしまうという問題があった。
このため、計測精度を低下させることなく、ある程度の広い範囲において、対象物を計測できる技術が求められていた。
【0007】
本発明は、上記実状に鑑みてなされたもので、より広範囲に渡って、対象物を高精度で計測することのできる三次元計測システム、および、三次元計測方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の第1の観点に係る三次元計測システムは、
複数のマーカが配置された計測範囲の全域を撮影する全域撮影手段と、
前記全域において前記マーカが所定数含まれるように区分けされた各エリアのうち、何れかのエリアを撮影する複数のエリア撮影手段と、
予め絶対位置が実測された前記各マーカの座標情報を記憶する座標情報記憶手段と、
前記全域撮影手段が撮影した画像中の計測対象が属するエリアについて、前記各エリア撮影手段が撮影できるように回動制御する回動制御手段と、
前記各エリア撮影手段が撮影した画像中の計測対象について、当該画像中に含まれる前記マーカの前記座標情報に基づき、三次元位置を計測する計測手段と、が設けられている、
ことを特徴とする。
【0009】
この発明によれば、全域撮影手段は、複数のマーカ(例えば、外部標定)が配置された計測範囲の全域を撮影する。複数のエリア撮影手段は、全域においてマーカが所定数(例えば、3つ以上)含まれるように区分けされた各エリアのうち、何れかのエリアを撮影する。座標情報記憶手段は、予め絶対位置が実測された各マーカの座標情報を記憶する。回動制御手段は、全域撮影手段が撮影した画像中の計測対象が属するエリアについて、各エリア撮影手段が撮影できるように回動制御する。そして、計測手段は、各エリア撮影手段が撮影した画像中の計測対象について、当該画像中に含まれるマーカの座標情報に基づき、三次元位置を計測する。
この結果、より広範囲に渡って、対象物を高精度で計測することができる。
【0010】
前記全域撮影手段は、所定の配置位置に固定して設置され、
前記各エリア撮影手段は、所定の配置位置にて所定間隔を空けた複数の回動台上にそれぞれ載置され、
前記回動制御手段は、前記回動台をそれぞれ個別に制御して、前記各エリア撮影手段を回動させてもよい。
【0011】
上記三次元計測システムは、前記全域が区分けされた各エリアの情報を記憶するエリア情報記憶手段と、
前記全域撮影手段が撮影した画像中における計測対象の箇所が指定されると、前記エリア情報記憶手段に記憶された各エリアの情報に基づいて、計測対象が属するエリアを特定する特定手段と、を更に備え、
前記回動制御手段は、前記エリア情報記憶手段に記憶された情報に基づいて、前記各エリア撮影手段を回動させてもよい。
【0012】
上記三次元計測システムは、前記エリア撮影手段が撮影したそれぞれの画像を並べて表示する表示手段と、
前記表示手段が表示した何れかの画像中における計測ポイントが指定されると、各画像の相関関係に基づいて、他方の画像中における同位置を算定する算定手段と、を更に備え、
前記計測手段は、指定された前記計測ポイントの三次元位置を計測してもよい。
【0013】
上記目的を達成するため、本発明の第2の観点に係る三次元計測方法は、
固定して配置された撮影装置と、回動自在に配置された複数の撮影装置と、前記複数の撮影装置の回動を制御する回動制御装置と、各装置を制御する処理制御装置とを含むシステムにおける三次元計測方法であって、
前記撮影装置が行う、複数のマーカが配置された計測範囲の全域を撮影する全域撮影ステップと、
前記複数の撮影装置が行う、前記全域において前記マーカが所定数含まれるように区分けされた各エリアのうち、何れかのエリアを撮影するエリア撮影ステップと、
前記回動制御装置が行う、前記全域撮影ステップにて撮影した画像中の計測対象が属するエリアについて、前記複数の撮影装置が撮影できるように回動制御する回動制御ステップと、
前記処理制御装置が行う、前記複数の撮影装置が撮影した画像中の計測対象について、当該画像中に含まれる前記マーカの絶対位置の情報に基づき、三次元位置を計測する計測ステップと、
を備えることを特徴とする。
【0014】
この発明によれば、撮影装置が行う全域撮影ステップは、複数のマーカ(例えば、外部標定)が配置された計測範囲の全域を撮影する。複数の撮影装置が行うエリア撮影ステップは、全域においてマーカが所定数(例えば、3つ以上)含まれるように区分けされた各エリアのうち、何れかのエリアを撮影する。回動制御装置が行う回動制御ステップは、全域撮影ステップにて撮影した画像中の計測対象が属するエリアについて、複数の撮影装置が撮影できるように回動制御する。そして、処理制御装置が行う計測ステップは、複数の撮影装置が撮影した画像中の計測対象について、当該画像中に含まれるマーカの絶対位置の情報に基づき、三次元位置を計測する。なお、マーカとしては、専用の外部標定に限らず、撮影画像中にある画像認識処理により容易に特定可能な不動の基準物であれば良い。
この結果、より広範囲に渡って、対象物を高精度で計測することができる。
【発明の効果】
【0015】
本発明によれば、より広範囲に渡って、対象物を高精度で計測することができる。
【発明を実施するための最良の形態】
【0016】
本発明の実施の形態にかかる計測システムについて、以下図面を参照して説明する。なお、一例として、走り幅跳びや三段跳び等の跳躍競技に適用され、選手(競技者)の跳躍距離を計測する計測システムについて説明する。
【0017】
(実施形態1)
図1は、この発明の実施形態に適用される計測システムの構成の一例を示す模式図である。
図示するように、計測システムは、複数の外部標定10と、全域カメラ20と、エリアカメラ30a,30bと、雲台40a,40bと、処理制御装置50と、を含んで構成される。
【0018】
外部標定10は、跳躍競技が行われる砂場S及び、踏切板Fの周りにそれぞれ配置されるマーカであり、跳躍後の痕跡(足跡等)の三次元位置(最終的には、選手の跳躍距離)を計測するための基準となる。そのため、配置した後、競技全体が終了するまで、動かされないように、適宜固定される。
この外部標定10は、一例として、図2(a)に示すように、所定の大きさで円板状に形成されており、表面が円の中心を通る2本の直線で4つに分割され、2色(一例として、白と黒)で交互に色付けされている。そして、図2(b)に示すように、砂場Sの長手方向(選手の跳躍方向)に沿った両側の地表に、例えば、一定間隔に所定数配置されている。また、踏切板Fの近傍にも適宜配置されている。
【0019】
なお、後述するように、エリアカメラ30a,30b等が斜め上方から撮影するため、外部標定10が歪んで(ひしゃげて)見えることになる。そのため、なるべく外部標定10を見やすく(中心を認識しやすく)するために、図2(c)に示すように、エリアカメラ30a,30bの方向に向けて、同じ色(一例として、黒)が対向するようにそれぞれ配置されている。
また、後述するように、各外部標定10の絶対位置(三次元座標)は、光波距離計等によって正確に計測され、処理制御装置50に記憶される。
【0020】
図1に戻って、全域カメラ20は、砂場S、踏切板F及び、全ての外部標定10を含む範囲の全域を撮影するための撮影装置である。全域カメラ20は、ケーブル等を介して処理制御装置50と接続され、撮影した全域画像(動画や静止画)を処理制御装置50に供給する。
一例として、全域カメラ20は、図3(a),(b)に示すように、砂場Sの側面から所定距離を隔てた所定の高さの箇所(スタンドの手すりや壁等)に配置される。そして、全ての外部標定10等を含む全域が撮影可能となるように撮影方向、画角(レンズ等)及び、ピント等が調整され、その状態で固定される。具体的には、図4(a)に点線で示す全域Znが撮影可能となるように固定される。
なお、全域カメラ20について、歪曲収差の補正等のためキャリブレーションを行うことになるが、その際、設置位置に固定したまま行ってもよく、また、調整した状態に正確に戻せることを条件として、作業がしやすい別の場所で行うようにしてもよい。キャリブレーションは、例えば、株式会社アプライド・ビジョン・システムズの販売するキャリブレーション用ボードAVS−calb−B900と、ステレオカメラチェック用ソフトウェアAVS−ScamChkとを用いて行う。キャリブレーション用ボードAVS−calb−B900は平面上に決められた間隔の決められたサイズの水玉パターンを設けたもので、予め画角を覆うような位置に配置したこれを全域カメラ20で、少しずつ角度を変えながら数枚撮影し、ステレオカメラチェック用ソフトウェアAVS−ScamChkにより補正値を得る。エリアカメラ30a,30bについても同様に行う。
【0021】
図1に戻って、エリアカメラ30a,30bは、上述した全域カメラ20が撮影する全域のうち、一部のエリアを撮影するための1組のステレオカメラ(基線長L)である。エリアカメラ30a,30bは、ケーブル等を介して処理制御装置50とそれぞれ接続され、撮影したエリア画像(動画や静止画)を処理制御装置50に供給する。
このエリアカメラ30a,30bは、フレーム同期が取れるタイプの撮影装置であり、同じタイミングでそれぞれの撮影を可能としている。つまり、環境変化が激しい屋外で使用されることを考慮し、明るさ等の変化による撮影のばらつき等を軽減するためにも、フレーム同期を取ってエリア画像をそれぞれ撮影する。
このようなエリアカメラ30a,30bも、例えば、上述した図3(a),(b)に示すように、砂場Sの側面から所定間隔を隔てた所定の高さの箇所に配置される。その配置位置では、エリアカメラ30a,30bが所定の間隔(基線長L)を隔て、それぞれが個別に回動可能なように、雲台40a,40b上に設置される。
そして、最初に(初期設定時に)、デフォルトエリアが撮影可能となるように、雲台40a,40bと共に設定される。具体的には、図4(b)に点線で示すエリアA0(デフォルトエリア)が撮影可能となるように、最適な焦点距離(画角)のレンズが装着され、撮影距離(ピント)等も最適に調整される。なお、デフォルトエリアは、競技において、選手が最も多く着地すると予想されるエリアが適宜選定される。
【0022】
このエリアA0を撮影する際に、ステレオ画像(視差画像)を生成するため、エリアカメラ30aが撮影する範囲と、エリアカメラ30bが撮影する範囲とがそれぞれ分けられている。具体的には、図4(c)に示すように、エリアカメラ30aは、エリアA0lを撮影可能なように設定され、一方、エリアカメラ30bは、エリアA0rを撮影可能なように設定される。
このエリアA0l,A0rは、一例として、60%以上が重複しており、それぞれの内部に外部標定10が3つ以上(外部標定10が一直線上に並ばない3つ以上)含まれるように選定されている。
このように、外部標定10が3つ以上含まれていれば(エリアカメラ30a,30bから撮影できれば)、画像におけるX,Y,Zの各軸の回転方向が算出でき、エリアカメラ30a,30bの位置も正確に算出できる。より具体的には、外部標定10、画像における外部標定10およびカメラの原点(レンズの中心)が一本の直線状に並んでいること(共線条件式)からカメラの位置を算出する。このような算出や後述する三次元位置の算出には、例えば、株式会社アプライド・ビジョン・システムズの販売する相関法ステレオ三次元計測ソフトウェアAVS−Cor3D−SDK−v2を用いる。
【0023】
このようにして、エリアA0(エリアA0l,A0r)を撮影可能に設定すると、雲台40a,40bの現在位置(現在の回動位置)等の情報が、処理制御装置50に供給され、デフォルトエリアとして記憶(プリセット)される。なお、エリアカメラ30a,30bについても、全域カメラ20と同様に、キャリブレーションが適宜行われる。
また、エリアカメラ30a,30bの間隔(基線長L)の情報も、処理制御装置50に供給されて記憶される。
この後、雲台40a,40bを適宜回動させ、エリアカメラ30a,30bが撮影するための他のエリアを適宜選定してプリセットする。なお、他のエリアの詳細については、後述する。
【0024】
図1に戻って、雲台40a,40bは、処理制御装置50により個別に制御され、搭載したエリアカメラ30a,30bを水平方向又は、上下方向(垂直方向)に回動させる。
この雲台40a,40bは、上述したエリアA0(デフォルトエリア)以外のエリアもエリアカメラ30a,30bが撮影できるように、適宜駆動する。
具体的に雲台40a,40bは、図5に示すように、エリアA0の他にエリアA1〜A4を、エリアカメラ30a,30bが撮影できるように、処理制御装置50からの制御に基づいて、水平方向に回動させる。
なお、エリアA1〜A4は、エリアA0を設定した後に、適宜選定され、プリセットされている。
【0025】
これらのエリアA0〜A4は、各エリアが隣のエリアと一部が重なるように選定されている。より詳細には、隣接するエリア同士が、少なくとも1つの外部標定10(通常は隣り合う2つの外部標定10)を共有するように、エリアA1〜A4が選定される(エリアA0は、最初に選定済み)。このように外部標定10を共有することにより、各エリアA1,A2,A0,A3,A4の間(つまり、上述した全域Zn)を切れ目なく連続的にカバーすることが可能となる。
なお、各エリアA1〜A4についても、上述した図4(c)に示すエリアA0l,A0rのように、エリアカメラ30a,30bがそれぞれ撮影するエリアが分かれており、同様に、60%以上が重複しており、それぞれの内部に外部標定10が3つ以上(一直線上に重ならないものが3つ以上)含まれるように選定されている。
【0026】
図1に戻って、処理制御装置50は、計測システム全体を制御する。具体的には、全域カメラ20が撮影した全域画像から計測対象となる痕跡(砂場Sに残された痕跡のおおよその位置)が指定されると、対応するエリア(痕跡が属するエリア)を特定し、そのエリアをエリアカメラ30a,30bが撮影できるように雲台40a,40bを回動制御させる。
そして、エリアカメラ30a,30bが撮影したエリア画像における痕跡の計測ポイント(例えば、計測させたい痕跡の踏切板Fに近い側等)が指定されると、各エリア画像の外部標定10(例えば、エリアカメラ30a,30bとの直線上に重ならない3つの外部標定10)の絶対位置等に基づいて、計測ポイントの三次元位置を算出し、最終的には、踏切板Fからの跳躍距離を算出する。より具体的には、エリアカメラ30a,30b毎に、計測ポイントの画像における位置と、上述の算出処理と同様に画像に含まれる外部標定10に基づき求めたカメラの原点の位置とから、共線条件式を導く。更に、撮影されている外部標定10からそれぞれ共線条件式を導き、あわせて共線方程式として解くことによって、実際の計測ポイントの三次元位置を算出する。これらの解法については、さまざまな方法が開発されているが、基本的なものとしては、岡山職業能力開発短期大学校紀要第11号、1997年3月「画像計測の基礎」(秋本圭一、服部進)等に掲載されている。
【0027】
より詳細に説明すると、処理制御装置50は、図6に示すように、撮影制御部51と、画像記憶部52と、表示部53と、操作部54と、制御部55と、回動制御部56と、エリア情報記憶部57と、座標情報記憶部58とを含んで構成される。
【0028】
撮影制御部51は、全域カメラ20及びエリアカメラ30a,30bの撮影動作をそれぞれ制御し、動画や静止画を撮影させる。
そして、全域カメラ20やエリアカメラ30a,30bにて撮影された画像(動画や静止画)を、画像記憶部52に供給する。
その際、撮影制御部51は、例えば、制御部55から時刻情報(現在時刻等)が供給されると、この時刻情報を画像にインポーズして(合成して)画像記憶部52に供給する。この他にも、制御部55から選手ID等の識別情報が供給されている場合に、この識別情報を画像のヘッダ等に付加して画像記憶部52に供給する。
【0029】
画像記憶部52は、所定容量のメモリやハードディスク等からなり、撮影制御部51から供給される画像(動画や静止画)を記憶する。つまり、全域カメラ20が撮影した全域画像や、エリアカメラ30a,30bが撮影したエリア画像をそれぞれ記憶する。
この画像記憶部52に記憶された画像は、制御部55により、適宜読み出される。なお、リアルタイムで全域画像やエリア画像を制御部55に供給する場合には、記憶を行わないようにしてもよい。
【0030】
表示部53は、制御部55が画像記憶部52から読み出した画像や制御部55が加工した画像等を表示する。
例えば、表示部53は、図7(a)に示すような全域画像を表示したり、また、図7(b)に示すようなエリア画像を表示する。
【0031】
図7(a)の全域画像には、砂場S、踏切板F及び、全ての外部標定10が含まれている。また、砂場Sには、着地した選手の痕跡K(足跡等)が含まれている。
一方、図7(b)は、エリアカメラ30aが撮影したエリア画像(左目画像)と、エリアカメラ30bが撮影したエリア画像(右目画像)とからなる。
各エリア画像には、砂場Sの一部及び、所定数の外部標定10が含まれている。また、砂場Sには、着地した選手の痕跡Kが含まれている。
【0032】
図6に戻って、操作部54は、キーボードやマウス等からなり、審判員(計測スタッフ等)による種々の操作を受け付ける。また、キーボードやマウスの他に、選手が跳躍(試技)を行った(有効/無効試技にかかわらず砂場Sに痕跡を残した)ことを入力するためのグリップスイッチが含まれ、その入力に応じて所定の計測指示信号を制御部55に供給する。
【0033】
制御部55は、CPU等からなり、処理制御装置50全体を制御する。
例えば、制御部55は、選手の跳躍後に、全域画像を画像記憶部52から読み出し、表示部53に表示する。つまり、上述した図7(a)に示すような全域画像を表示部53に表示する。その際、制御部55は、画像処理等により、このような全域画像における各外部標定10をそれぞれ自動的に認識する。なお、全域が広すぎる等により自動的に認識できない場合には、審判員等が、全域画像中の各外部標定10の位置をマウスのクリック等により、手動で入力してもよい。
そして、このような全域画像から痕跡K(おおよその位置)が、審判員によりマウス等により指定されると、制御部55は、エリア情報記憶部57に記憶されるエリア情報(各エリアA0〜A4の情報)を参照し、対応するエリア(痕跡が属するエリア)を特定する。つまり、指定された痕跡が指し示されることにより指定されたエリア(指定エリア)が、上述した図5に示す何れのエリアであるかを特定する。
【0034】
制御部55は、指定エリアを特定すると、回動制御部56に命令を発して、雲台40a,40bを回動させる。つまり、この指定エリアをエリアカメラ30a,30bが撮影できるように、雲台40a,40bを制御する。なお、指定エリアがデフォルトエリア(エリアA0)であった場合には、回動制御部56に命令は発しない。
そして、エリアカメラ30a,30bが撮影したエリア画像を画像記憶部52から読み出し、表示部53に表示する。つまり、上述した図7(b)に示すようなエリア画像(2画像)を表示部53に表示する。
【0035】
より詳細には、審判員が見やすいように、適宜拡大等したエリア画像をそれぞれ表示する。そして、一方のエリア画像にて計測ポイント(例えば、計測させたい痕跡の踏切板Fに近い側等)が指定されると、他方のエリア画像における同位置(詳細には、高さ方向の座標が0となる位置)を求め、その箇所にカーソル等を移動させ、審判員が他方のエリア画像でも計測ポイントが確認できるようにする。
このようにして、エリア画像の計測ポイントが指定(決定)されると、制御部55は、その計測ポイントの三次元情報を算出する。つまり、両方のエリア画像を用いたステレオカメラ方式の三次元計測によって、砂場S(痕跡K等)の高低差に拘わらず正確な計測を行う。
具体的に制御部55は、各エリア画像における3つの外部標定10(エリアカメラ30a,30bとの直線上に重ならない3つの外部標定10)を特定し、それぞれの絶対位置(三次元座標)の情報を座標情報記憶部58から読み出す。そして、読み出した情報等に基づく三次元計測によって、計測ポイントの三次元位置を算出する。
さらに、制御部55は、踏切板Fの絶対位置を座標情報記憶部58から読み出し、踏切板Fから計測ポイントまでの跳躍距離を計測する。より詳細には、まず、計測ポイントを通り、踏切板Fと平行となる直線(平行線)を求め、次に、踏切板Fから延ばした垂線がその平行線と交わるまでの距離を跳躍距離として計測する。その際、例えば、mm単位及び、mm単位を切り捨てたcm単位の跳躍距離を求める。
【0036】
図6に戻って、回動制御部56は、雲台40a,40bの回動動作をそれぞれ制御する。
例えば、回動制御部56は、制御部55からエリアを指定した回動命令が発せられると、回動先となるエリアの角度情報等をエリア情報記憶部57から読み出し、雲台40a,40bを個別に回動させる。
【0037】
エリア情報記憶部57は、プリセットされた各エリアに関するエリア情報をそれぞれ記憶する。
例えば、エリア情報記憶部57は、上述した図5に示す各エリアA0〜A4について、外部標定10の情報(ID等)、及び、雲台40a,40bの角度情報等を記憶する。
なお、雲台40a,40bの回動に応じて、エリアカメラ30a,30bの間隔(基線長L)が変化する場合には、エリアA0〜A4毎の基線長Lの値も記憶する。
【0038】
座標情報記憶部58は、各外部標定10について、識別子(ID等)及び、絶対位置(三次元座標)の情報をそれぞれ記憶する。この絶対位置は、外部標定10が砂場Sの側に配置された際に、光波距離計等によって正確に計測された情報であり、計測ポイントの三次元位置(最終的には、選手の跳躍距離)を計測するための基準となる。
また、座標情報記憶部58は、同様に光波距離計等によって正確に計測された踏切板F等についての絶対位置の情報も記憶する。
【0039】
以下、上述した構成の計測システムの動作について、図8を参照して説明する。図8は、処理制御装置50が実行する計測処理を説明するためのフローチャートである。なお、初期状態として、エリアカメラ30a,30bは、デフォルトエリア(図5のエリアA0)を撮影可能となっている。つまり、エリアカメラ30a,30bが雲台40a,40bによりエリアA0に向けられているものとする。
【0040】
まず、処理制御装置50は、計測の開始が指示されるまで待機する(ステップS11)。具体的には、選手が試技(跳躍)を終えると(砂場Sに痕跡が残されると)、審判員により操作部54(グリップスイッチ)が操作され、計測の開始が指示される。
【0041】
計測の開始が指示されると、処理制御装置50は、全域カメラ20に撮影を指示する(ステップS12)。つまり、撮影制御部51は、全域カメラ20を制御して撮影を開始させ、撮影された全域画像を画像記憶部52に供給する。
【0042】
処理制御装置50は、全域画像を表示して、審判員にエリアの指定を促す(ステップS13)。
すなわち、制御部55は、画像記憶部52から全域画像を読み出し、例えば、上述した図7(a)に示すような全域画像を表示部53に表示する。そして、審判員のマウス操作等により、全域画像から痕跡K(おおよその位置)が指定されるのを待機する。
【0043】
処理制御装置50は、痕跡の指定を受け、指定エリアを特定する(ステップS14)。つまり、制御部55は、全域画像における各外部標定10を認識しており、指定された痕跡に近い外部標定10の情報等を基に、エリア情報記憶部57を検索し、対応するエリア(指定エリア)を特定する。
【0044】
処理制御装置50は、特定した指定エリアが、デフォルトエリアであるか否かを判別する(ステップS15)。つまり、制御部55は、エリアカメラ30a,30bがそのまま指定エリアを撮影可能であるかどうかを判別する。
処理制御装置50は、指定エリアがデフォルトエリアであると判別すると、後述するステップS17に処理を進める。
【0045】
一方、指定エリアがデフォルトエリアでないと判別した場合に、処理制御装置50は、回動制御部56に命令を発して、指定エリアに向けて雲台40a,40bを回動させる(ステップS16)。つまり、回動制御部56は、回動先となる指定エリアの角度情報等をエリア情報記憶部57から読み出し、雲台40a,40bを指定エリアまで回動させ、エリアカメラ30a,30bが指定エリアを撮影可能な状態にする。
【0046】
処理制御装置50は、エリアカメラ30a,30bに撮影を指示する(ステップS17)。つまり、撮影制御部51は、エリアカメラ30a,30bを制御して撮影を開始させ、撮影されたエリア画像を画像記憶部52に供給する。
なお、雲台40a,40bを回動させた場合には、エリアカメラ30a,30bが安定する(揺れ等が収まる)のを待った後(所定の安定時間が経過した後)に、撮影を開始させる。
【0047】
処理制御装置50は、エリア画像を表示して、審判員に計測ポイントの指定を促す(ステップS18)。
すなわち、制御部55は、画像記憶部52からエリア画像を読み出し、例えば、上述した図7(b)に示すようなエリア画像を表示部53に表示する。そして、審判員のマウス操作等により、一方のエリア画像にて計測ポイント(計測させたい痕跡Kの踏切板Fに近い側等)が指定されると、他方のエリア画像における同位置を求め、その箇所にカーソル等を移動させ、審判員が他方のエリア画像でも計測ポイントが確認できるようにする。
【0048】
処理制御装置50は、計測ポイントの指定(決定)を受け、跳躍距離を計測する(ステップS19)。
すなわち、制御部55は、各エリア画像における3つの外部標定10(エリアカメラ30a,30bとの直線上に重ならない3つの外部標定10)を特定し、それぞれの絶対位置(三次元座標)の情報を座標情報記憶部58から読み出す。そして、読み出した情報等に基づく三次元計測によって、計測ポイントの三次元位置を算出する。
さらに、制御部55は、踏切板Fの絶対位置を座標情報記憶部58から読み出し、踏切板Fから計測ポイントまでの跳躍距離(踏切板Fから垂直な距離)を計測する。
【0049】
このような計測処理により、選手がデフォルトエリア(エリアA0)以外に着地した場合でも、雲台40a,40bを適宜回動させ、着地地点(痕跡)を含むエリアを、エリアカメラ30a,30bにて撮影することができる。しかも、雲台40a,40bの精度がさほど高くなくとも、予め絶対位置が正確に計測されている外部標定10の情報を用いることで、画像のX,Y,Zの各軸の回転方向が算出でき、エリアカメラ30a,30bの位置も正確に算出できる。
【0050】
また、エリアカメラ30a,30bがそれぞれ撮影した2つのエリア画像を表示することで、審判員が見やすい方のエリア画像を使用して計測ポイントを指定できる。また、一方のエリア画像で計測ポイントが指定されると、他方のエリア画像における同位置を求めて表示するため、審判員は、他方のエリア画像でも計測ポイントを確認できる。なお、審判員は、両方のエリア画像における計測ポイントを見比べ、その計測ポイントが妥当でなければ、再度、計測ポイントを指定することになる。
【0051】
さらに、エリアカメラ30a,30bがフレーム同期を取って撮影するため、急激な撮影環境の変化に関係なく、同じ条件でのエリア画像をそれぞれ撮影でき、ステレオ相関の精度が向上することになる。
また、エリアカメラ30a,30b(ステレオカメラ)のエリア画像を用いた三次元計測することによって、高低差による誤差を抑えることができる。
【0052】
この結果、より広範囲に渡って、対象物を高精度で計測することができる。
【0053】
上述した計測処理では、選手が跳躍を終えた後に、全域カメラ20やエリアカメラ30a,30bに撮影を指示する場合について説明したが、選手の跳躍前から跳躍後までの画像(動画)を撮影するようにしてもよい。
例えば、選手が跳躍のための助走を開始するまたは踏み切りのタイミングで、グリップスイッチを押すようにし、それに応答して、処理制御装置50(撮影制御部51)は、全域カメラ20及び、エリアカメラ30a,30bに動画撮影の開始を指示する。そして、画像記憶部52は、全域カメラ20及び、エリアカメラ30a,30bが撮影した画像(動画)を順次記憶する。
やがて、選手が跳躍を終えると(砂場Sに痕跡が残されると)、再び、グリップスイッチが押され、それに応答して、撮影制御部51は、全域カメラ20及び、エリアカメラ30a,30bに動画撮影の終了を指示する。(実際には、グリップスイッチが押されて例えば20秒(指定時間)撮影する。)
【0054】
そして、制御部55は、画像記憶部52から全域画像(動画)を読み出し、その動画を表示部53にて再生(表示)する。その際、一時停止、スロー再生や逆再生等を可能とし、審判員が、着地した瞬間の画像や、痕跡が明らかになった瞬間の画像を容易に探せるようにする。
なお、動画を再生する代わりに、時系列のサムネイル画像を並べて表示し、審判員が、サムネイル画像から目的の画像を容易に探せるようにしてもよい。
このようにして目的の全域画像を見つけると、審判員は、上記と同様に、全域画像からマウス等により痕跡を指定する。そして、制御部55は、上記と同様に、指定エリアを特定し、指定エリアがデフォルトエリアであるか否かを判別する。ここで、指定エリアがデフォルトエリアでない場合、上記と同様に、雲台40a,40bを回動させ、エリアカメラ30a,30bに指定エリアのエリア画像を撮影させることになる。
【0055】
一方、指定エリアがデフォルトエリアである場合には、制御部55は、画像記憶部52からエリア画像(動画)を読み出し、その動画を表示部53にて再生(表示)する。その際にも、一時停止、スロー再生や逆再生等を可能とし、審判員が、着地した瞬間の画像や、痕跡が明らかになった瞬間の画像を容易に探せるようにする。
なお、動画を再生する代わりに、やはり、時系列のサムネイル画像を並べて表示し、審判員が、サムネイル画像から目的の画像を容易に探せるようにしてもよい。
これにより、より明確に着地点(痕跡)を判別することができる。例えば、判定が難しい痕跡が複数ある場合でも、その直前の画像等を確認することで、何れが有効な痕跡であるのかが判別できる。
また、砂場Sを監視している他の審判員が、実際の痕跡上にマーカを立てるような場合でも、そのマーカを立てる瞬間の画像から、より正確な計測ポイントを指定することが可能となる。
そして、計測ポイントが指定(決定)されると、制御部55は、上記と同様に三次元計測によって、計測ポイントの三次元位置を算出し、最終的に、跳躍距離を計測する。
この場合も、より広範囲に渡って、対象物を高精度で計測することができる。
【0056】
(他の実施形態)
上記の実施形態では、図5に示すように、合計5つのエリアに分けた場合を一例として説明したが、分けるエリアの数は、競技場の環境(エリアカメラ30a,30bの性能や設置場所、砂場Sの大きさ等)に応じて、適宜変更可能である。
また、水平方向にだけ、エリアを分けた場合を一例として説明したが、エリアの分け方は水平方向だけに限られず、適宜垂直方向にも分けてもよい。
例えば、エリアカメラ30a,30bの性能から、撮影可能範囲が狭くなるような場合には、エリアを垂直方向にも分ける必要がある。
【0057】
この場合、プリセットを行う際に、エリア内の外部標定10の数が不足するため、例えば、図9(a)に示すように、補助的な外部標定10’を配置する。そして、図9(b)に示すように、エリア内の外部標定10(10’)の数及び、隣り合うエリア同士で共有する外部標定10(10’)の数を満たすように、各エリアAu0〜Au4、Ad0〜Ad4が選定される。そして、上記と同様に各エリアの情報がプリセットされる(エリア情報記憶部57に記憶される)。
なお、補助的な外部標定10’についても、上記と同様に光波距離計等によって、絶対位置(三次元座標)が正確に計測され、座標情報記憶部58に記憶される。
また、雲台40a,40bは、水平方向だけでなく、上下方向(垂直方向)にも適宜回動することになるため、この上下方向の角度情報もエリア情報記憶部57に記憶される。
【0058】
このようにして各エリアのプリセットが終わると、補助的な外部標定10’は取り除かれる。そして、実際の競技が開始され、例えば、図9(c)に示すように、痕跡のあるエリアAu2を撮影する場合には、回動制御部56は、雲台40a,40bを、水平方向だけでなく、適宜上下方向にも回動させ、エリアカメラ30a,30bが、エリアAu2を撮影できるようにする。
そして、このエリアAu2が撮影されたエリア画像には、画像中に含まれる外部標定10の数が幾分少ないが、座標情報記憶部58に記憶された外部標定10’の絶対位置も適宜参照され(プリセット時にカメラの位置(座標)を計算して参照する)て、計測ポイントの三次元位置が計測されるため、高精度を維持することができる。
この場合も、より広範囲に渡って、対象物を高精度で計測することができる。
【0059】
上記の実施形態では、図7(b)に示すように、エリアカメラ30a,30bがそれぞれ撮影したエリア画像を、そのまま(拡大縮小等を含めない)並べて表示する場合について説明した。
しかしながら、痕跡等をより見やすく加工した画像を表示して、審判員の作業負担を軽減できるようにしてもよい。
例えば、エリアカメラ30a,30bがそれぞれ撮影したエリア画像から画像処理により三次元画像を生成し、視点変換等の処理を適宜施して、砂場Sを真上等から見た画像(鳥瞰図等)を生成し、補助情報として表示するようにしてもよい。
この場合、この鳥瞰図によって、痕跡等をより見やすくなり、計測ポイントの指定もより容易となる。
【0060】
また、上記の実施形態では、一方のエリア画像にて計測ポイントが指定されると、ステレオ相関による自動判定を行い、他方のエリア画像における同位置を求めて表示して審判員の確認等を取る場合について説明した。しかしながら、ステレオ相関による自動判定後に、確認等を取らずにそのまま計測を行うようにしてもよい。
さらに、一方のエリア画像、又は、両方のエリア画像から、痕跡を自動認識させることにより、審判員による計測ポイントの指定自体を不要とし、計測ポイントの指定から跳躍距離の計測までを、完全に自動化できるようにしてもよい。
【0061】
また、上記の実施形態では、計測を開始してから跳躍距離を計測するまでについて、説明したが、実際には、計測した跳躍距離は、選手の情報等と対応付けて記憶(保存)されることになる。その際、画像(動画や静止画)についても、対応付けて保存するようにしてもよい。
例えば、競技日時、大会名、選手名(選手ID)、計測結果(跳躍距離等)及び、画像を関連付けて保存する。そして、例えば、競技日時や選手名等をキーにして、計測結果やその画像を検索可能とすることで、信頼性を高めた記録データとして活用することができる。
【0062】
また、上記の実施形態では、跳躍競技を一例として、この計測システムを説明したが、計測システムの適用対象は、このような競技における計測ポイントの計測に限られず、他の分野においても、適宜適応可能である。
例えば、大がかりな建設現場等で、大型鋼材を組み上げるような場合に、大型鋼材の穴位置等を計測する必要が生じる。このような場合にも、本願発明の計測システムを適用することができる。以下、図10を参照して、簡単に説明する。
【0063】
図10は、本発明の他の実施形態に係る計測システムの構成の一例を示す模式図である。なお、全域カメラ20〜処理制御装置50の構成は、上述した図1に示す計測システムと同様である。
図1に示す計測システムと異なる点は、外部標定10が、大型鋼材KZに配置されている点である。つまり、外部標定10は、大型鋼材KZの表面(上面や側面等)に、例えば、一定間隔で貼り付けられている。なお、各外部標定10の絶対位置(三次元座標)は、上記と同様に、光波距離計等によって正確に計測され、処理制御装置50に記憶される。
この大型鋼材KZには、ボルト等を通すための穴Hが設けてあり、この穴Hの位置を計測することになる。
【0064】
この計測システムでも、全域カメラ20は、全ての外部標定10を含む範囲の全域を撮影する。つまり、図10(b)に示す全域Znを撮影する。
また、エリアカメラ30a,30bは、全域カメラ20が撮影する全域のうち、所定範囲のエリアを撮影する。例えば、エリアカメラ30aが図10(b)に示すエリアA0lを撮影し、一方、エリアカメラ30bがエリアA0rを撮影する。
なお、上記と同様に、全域Znが複数のエリアに分けられており、各エリアがプリセットされている。そして、処理制御装置50が雲台40a,40bを個別に制御し、エリアカメラ30a,30bが各エリアを撮影可能となっている。
【0065】
この計測システムでは、全域カメラ20が撮影した全域画像から計測対象となる穴H(何れかの穴H)が指定されると、対応するエリア(穴Hが属するエリア)を特定し、そのエリアをエリアカメラ30a,30bが撮影できるように雲台40a,40bを回動制御させる。
そして、エリアカメラ30a,30bが撮影したエリア画像における穴H(例えば、穴Hの中心)が指定されると、各エリア画像の外部標定10(例えば、エリアカメラ30a,30bとの直線上に重ならない3つの外部標定10)の絶対位置等に基づいて、穴Hの三次元位置を算出する。
この場合も、より広範囲に渡って、対象物を高精度で計測することができる。
【0066】
以上説明したように、本発明によれば、より広範囲に渡って、対象物を高精度で計測することができる。
【図面の簡単な説明】
【0067】
【図1】本発明の実施形態に係る計測システムの構成の一例を示す模式図である。
【図2】(a)〜(c)共に、外部標定を説明するための模式図である。
【図3】(a)が競技場を上から見た図であり、(b)が競技場を横から見た図(断面図)である。
【図4】(a)が全域カメラが撮影する範囲を説明するための模式図であり,(b),(c)がエリアカメラが撮影する範囲を説明するための模式図である。
【図5】各エリアの関係を説明するための模式図である。
【図6】処理制御装置の具体的な構成を説明するためのブロック図である。
【図7】表示部に表示される画像の一例を説明するための模式図であり、(a)が全域画像であり、(b)がエリア画像である。
【図8】本発明の実施形態に係る計測処理を説明するためのフローチャートである。
【図9】(a)〜(c)共に、水平方向にも分けられた各エリアを説明するための模式図である。
【図10】(a)が本発明の他の実施形態に係る計測システムの構成の一例を示す模式図であり、(b)が全域カメラ及びエリアカメラの各撮影範囲を説明するための模式図である。
【符号の説明】
【0068】
10 外部標定
20 全域カメラ
30a,30b エリアカメラ
40a,40b 雲台
50 処理制御装置

【特許請求の範囲】
【請求項1】
複数のマーカが配置された計測範囲の全域を撮影する全域撮影手段と、
前記全域において前記マーカが所定数含まれるように区分けされた各エリアのうち、何れかのエリアを撮影する複数のエリア撮影手段と、
予め絶対位置が実測された前記各マーカの座標情報を記憶する座標情報記憶手段と、
前記全域撮影手段が撮影した画像中の計測対象が属するエリアについて、前記各エリア撮影手段が撮影できるように回動制御する回動制御手段と、
前記各エリア撮影手段が撮影した画像中の計測対象について、当該画像中に含まれる前記マーカの前記座標情報に基づき、三次元位置を計測する計測手段と、が設けられている、
ことを特徴とする三次元計測システム。
【請求項2】
前記全域撮影手段は、所定の配置位置に固定して設置され、
前記各エリア撮影手段は、所定の配置位置にて所定間隔を空けた複数の回動台上にそれぞれ載置され、
前記回動制御手段は、前記回動台をそれぞれ個別に制御して、前記各エリア撮影手段を回動させる、
ことを特徴とする請求項1に記載の三次元計測システム。
【請求項3】
前記全域が区分けされた各エリアの情報を記憶するエリア情報記憶手段と、
前記全域撮影手段が撮影した画像中における計測対象の箇所が指定されると、前記エリア情報記憶手段に記憶された各エリアの情報に基づいて、計測対象が属するエリアを特定する特定手段と、を更に備え、
前記回動制御手段は、前記エリア情報記憶手段に記憶された情報に基づいて、前記各エリア撮影手段を回動させる、
ことを特徴とする請求項1又は2に記載の三次元計測システム。
【請求項4】
前記エリア撮影手段が撮影したそれぞれの画像を並べて表示する表示手段と、
前記表示手段が表示した何れかの画像中における計測ポイントが指定されると、各画像の相関関係に基づいて、他方の画像中における同位置を算定する算定手段と、を更に備え、
前記計測手段は、指定された前記計測ポイントの三次元位置を計測する、
ことを特徴とする請求項1乃至3の何れか1項に記載の三次元計測システム。
【請求項5】
固定して配置された撮影装置と、回動自在に配置された複数の撮影装置と、前記複数の撮影装置の回動を制御する回動制御装置と、各装置を制御する処理制御装置とを含むシステムにおける三次元計測方法であって、
前記撮影装置が行う、複数のマーカが配置された計測範囲の全域を撮影する全域撮影ステップと、
前記複数の撮影装置が行う、前記全域において前記マーカが所定数含まれるように区分けされた各エリアのうち、何れかのエリアを撮影するエリア撮影ステップと、
前記回動制御装置が行う、前記全域撮影ステップにて撮影した画像中の計測対象が属するエリアについて、前記複数の撮影装置が撮影できるように回動制御する回動制御ステップと、
前記処理制御装置が行う、前記複数の撮影装置が撮影した画像中の計測対象について、当該画像中に含まれる前記マーカの絶対位置の情報に基づき、三次元位置を計測する計測ステップと、
を備えることを特徴とする三次元計測方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2009−41995(P2009−41995A)
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願番号】特願2007−205729(P2007−205729)
【出願日】平成19年8月7日(2007.8.7)
【出願人】(500198210)セイコータイムシステム株式会社 (8)
【出願人】(396004981)セイコープレシジョン株式会社 (481)
【出願人】(504454060)株式会社アプライド・ビジョン・システムズ (11)
【Fターム(参考)】