説明

3次元計測システム及び3次元計測方法

【課題】外部標定の容易なステレオ撮影による3次元計測システム及び3次元計測方法を提供する。
【解決手段】3次元計測システムは、測定対象物1を複数方向から撮影してステレオ画像20を得るステレオ撮影部11と;測定対象物の全体をカバーする基準体2の一部を構成する、複数の基準マーク4を有するサブ基準体3と;ステレオ撮影部で撮影して得たステレオ画像に基づくサブ基準体が有する複数の基準マークの3次元座標値の撮影測定値fと予め基準計測された基準測定値gとを含む、基準体の3次元数値解析モデルである基準体モデル102を3次元計算空間V中に一体として画成する基準体情報画成部12と;基準体モデルを用いてステレオ撮影部の外部標定要素を算出する標定要素算出部13と;外部標定要素により定位されたステレオ撮影部により撮影される測定対象物のステレオ画像から測定対象物の3次元計測をおこなう3次元計測部14とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元計測システム及び3次元計測方法に関し、より詳細には、人体をはじめとする測定対象物の3次元形状を非接触でステレオ撮影して計測する3次元計測システム及び3次元計測方法に関する。
【背景技術】
【0002】
測定対象物の3次元形状を非接触で計測するために、ステレオ撮影による3次元計測システム及び3次元計測方法が用いられている。ステレオ撮影による3次元計測システム及び3次元計測方法を用いることで、非接触かつ迅速に測定対象物の3次元形状を計測することができる。近年では、ステレオ撮影による3次元計測システム及び3次元計測方法を用いて、例えば、巻尺等を用いた従来の計測に代えて、洋服販売店内等において、衣服の購買者の体型に合致する衣服のサイズを非接触かつ迅速に計測する人体の3次元形状測定を実現することが望まれている。
【0003】
計測精度の高い3次元計測システム及び3次元計測方法では、測定対象物を精度良く3次元計測するために、実際の3次元計測の前に、ステレオ撮影部で3次元計測の基準器として位置付けられる基準体(標定用被写体/基準ブロック)の撮影をおこなって測定対象物をステレオ撮影して計測するステレオ撮影部の3次元計測空間における位置及び光軸方向を外部標定(算定)する。例えば、特許文献1には、3次元計測システムの外部標定に用いるための基準体が開示されている。基準体の大きさは、精度の良い外部標定をおこなうために、測定対象物よりも若干大きいことが望ましい。これは3次元計測空間において測定対象物の全体をカバーする基準体が占める測定対象空間の情報に基づいてステレオ撮影部の外部標定をおこなうためである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特願2003−65737号公報(例えば、明細書段落番号[0035]、図1及び図3参照)
【0005】
基準体は複数の基準マークを有するように設けられ、複数の基準マークの相互間の距離(基準尺)は、3次元計測の基準とすべき計測精度を有する基準計測をおこなうことにより予め(外部標定前に)測定されて把握される。基準計測がされて複数の基準マークの相互間の距離(基準尺)が把握された基準体は、3次元計測システムの外部標定がおこなわれるまでの間、3次元計測の基準となる基準尺(基準寸法)を維持するための厳密な管理をおこなうことが求められる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
図17に示すように、人体等の大型の測定対象物1を測定するために用いられる従来の基準体200は、基準体200が有する基準尺s(基準マーク204の相互間距離s)を高い精度で維持するために物理的に一体(リジット)に設けられていた。また、従来の基準体200は、計測空間をカバーして精度良く外部標定をおこなうために人体等の大型の測定対象物1よりも更に大型に設けられていた。このような大型の基準体200は、その大きさに比例した線膨張による基準尺(基準寸法)sの変動を防ぐための温度管理や、基準尺sの変動の他の要因となり得る外力の作用を防ぐための丁寧な取り扱いが要求される扱いが困難なものであった。また、このように高精度かつ大型の基準体200を従来の3次元計測システム(不図示)の計測空間に搬入してステレオ撮影部の外部標定をおこなうために、従来の3次元計測システムは大きな設置空間を占める大型の装置として設けられていた。更に、大型の基準体200を常時保管するための大きな保管空間(不図示)を別途確保することが求められていた。このような大型の基準体200を用いて従来の3次元計測システムの外部標定をおこなうことは困難であって、特に、洋服販売店内等の限られた設置空間内に従来の大型の基準体を持ち込んで外部標定をおこなうことは困難であった。
【0007】
本発明はこれらの課題に鑑みてなされたものであり、外部標定の容易なステレオ撮影による3次元計測システム及び3次元計測方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本発明の第1の態様に係る3次元計測システムは、例えば、図1乃至図4に示すように、3次元計測空間Rにおいて測定対象物1を複数方向から撮影してステレオ画像20(図9参照)を得るステレオ撮影部11と;測定対象物1の全体をカバーする基準体2の一部を構成し、3次元計測空間Rにおける複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの基準計測値g、sが予め把握された複数の基準マーク4を有するサブ基準体3と;ステレオ撮影部11で撮影して得たステレオ画像20に基づくサブ基準体3の複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの撮影測定値f、mと、予め把握されたサブ基準体3の複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの基準計測値g、sとを含む、基準体2の3次元数値解析モデルである基準体モデル102を3次元計算空間V中に一体として画成する基準体情報画成部12(図7参照)と;基準体情報画成部12により画成された基準体モデル102を用いてステレオ撮影部11の外部標定要素(x,y,z)(ω,φ,κ)(図16参照)を算出する標定要素算出部13(図7参照)と;標定要素算出部13が算出した外部標定要素(x,y,z)(ω,φ,κ)により定位されたステレオ撮影部11により撮影される測定対象物1のステレオ画像20から測定対象物1の3次元計測をおこなう3次元計測部14(図7参照)とを備え;3次元計測空間Rは、サブ基準体3及び測定対象物1を現実に設置して3次元計測をおこなう実空間Rであり;3次元計算空間Vは、3次元計測空間Rに対応する、標定要素算出部13がステレオ撮影部11の外部標定要素(x,y,z)(ω,φ,κ)の算出をおこなうための仮想空間Vである;3次元計測システム10(図7参照)として構成される。
【0009】
このように構成すると、3次元計測システム10は、3次元計測空間Rにおいて測定対象物1を複数方向から撮影してステレオ画像20を得るステレオ撮影部11(図7参照)により、測定対象物1の全体をカバーする基準体2の一部を構成する、3次元計測空間Rにおける複数の基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sが予め把握された複数の基準マーク4を有するサブ基準体3をステレオ撮影して一組のステレオ画像20a、20b(図9参照)を得ることができる。また、3次元計測システム10が備える基準体情報画成部12は、ステレオ撮影部11で撮影して得たステレオ画像20a、20bに基づく、サブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)gの撮影測定値f及び/又は複数の基準マーク4の相互間距離(基準計測値)sの撮影測定値mと、予め把握されたサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sとを含む、基準体2の3次元数値解析モデルである基準体モデル102を3次元計算空間V中に一体として画成することができる。また、3次元計測システム10が備える標定要素算出部13は、基準体情報画成部12により画成された基準体モデル102を用いてステレオ撮影部11の外部標定要素(x,y,z)(ω,φ,κ)を算出することができる。また、3次元計測システム10が備える3次元計測部14は、標定要素算出部13が算出した外部標定要素(x,y,z)(ω,φ,κ)により定位されたステレオ撮影部11により撮影される測定対象物1のステレオ画像20a、20bから測定対象物1の3次元計測をおこなうことができる。
【0010】
このため、本態様の3次元計測システムは、基準体の一部を構成する、即ち、基準体よりも小型のサブ基準体をステレオ撮影部で撮影して得たステレオ画像並びにサブ基準体を予め基準計測して得た基準計測値に基づいて、3次元計測空間において測定対象物の全体をカバーする基準体に対応し、サブ基準体の撮影測定値の情報と基準計測値の情報とを含む、一の数値解析モデルである基準体モデルを3次元計算空間に一体として画成すると共に、基準体モデルを用いてステレオ撮影部を精度良く外部標定して測定対象物の3次元計測を精度良くおこなうことができるから、取り扱いの容易な小型のサブ基準体を備える3次元計測システムを小型に設けることができる。
【0011】
また、本発明の第2の態様に係る3次元計測システムは、本発明の第1の態様に係る3次元計測システムにおいて、例えば、図5に示すように、ステレオ撮影部11a〜11dは、3次元計測空間Rにおいて測定対象物1を取り囲むように複数配置され、複数のステレオ撮影部11a〜11dは同時に測定対象物1を撮影するように構成される。
【0012】
このように構成することにより、3次元計測空間Rにおいて測定対象物1を取り囲むように、ステレオ撮影部11a〜11dを複数配置することができるから、一回の撮影で測定対象物1を同時に(瞬時にあるいは連続して)3次元計測することができる。
【0013】
このため、人体のように長時間静止していない、例えば、レーザ形状測定等が困難な測定対象物であっても、同期して撮影をおこなう複数のステレオ撮影部を用いることにより、測定対象物をその周囲から同時に撮影をおこなって測定対象物の3次元形状計測をおこなうことができる。例えば、測定対象物の全周に複数のステレオ撮影部を配置する場合には、測定対象物の全体の3次元形状を欠落や齟齬を含むことなく精度良く3次元計測することができる。
【0014】
また、本発明の第3の態様に係る3次元計測システムは、本発明の第1又は第2の態様に係る3次元計測システムにおいて、例えば、図6に示すように、基準体情報画成部12は、ステレオ撮影部11で撮影して得たステレオ画像20に基づくサブ基準体3の複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの撮影測定値f、mと予め把握されたサブ基準体3の複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの基準計測値g、sとを含む、サブ基準体3の3次元数値解析モデルであるサブ基準体モデル103を3次元計算空間V中に画成するように構成され;3次元計測空間R中の測定対象物1の一部をカバーするように想定された仮想サブ基準体3iが有するものと定義された複数の仮想基準マーク4iの3次元座標値gi及び/又は複数の仮想基準マーク4iの相互間距離siの仮想付与値fi、miを含む、仮想サブ基準体3iの3次元数値解析モデルである仮想サブ基準体モデル103iを3次元計算空間V中に画成するように構成され;サブ基準体モデル103と仮想サブ基準体モデル103iとを含む、3次元計測空間Rにおいて測定対象物1の全体をカバーするように想定された基準体2である仮想基準体2iに対応する、仮想基準体2iの3次元数値解析モデルである仮想基準体モデル102iを基準体モデル102として3次元計算空間V中に一体として画成するように構成される。
【0015】
このように構成することにより、基準体情報画成部12は、ステレオ撮影部11で撮影して得たステレオ画像20a、20bに基づくサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)gの撮影測定値f及び/又は複数の基準マーク4の相互間距離(基準計測値)sの撮影測定値mを含んでサブ基準体3の3次元数値解析モデルであるサブ基準体モデル103を3次元計算空間V中に画成することができる。一方で、基準体情報画成部12は、予め把握されたサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sを含んでサブ基準体3の3次元数値解析モデルであるサブ基準体モデル103を3次元計算空間V中に画成することができる。
【0016】
また、基準体情報画成部12は、3次元計測空間R中の測定対象物1の一部をカバーするように想定された仮想サブ基準体3iが有するものと定義された複数の仮想基準マーク4iの3次元座標値(仮想定義値)giの仮想付与値fi及び/又は複数の仮想基準マーク4iの相互間距離(仮想定義値)siの仮想付与値miを含んで仮想サブ基準体3iの3次元数値解析モデルである仮想サブ基準体モデル103iを3次元計算空間V中に画成することができる。
【0017】
また、基準体情報画成部12は、サブ基準体モデル103と仮想サブ基準体モデル103iとを含む、3次元計測空間Rにおいて測定対象物1の全体をカバーするように想定された基準体2である仮想基準体2iに対応する、仮想基準体2iの3次元数値解析モデルである仮想基準体モデル102iを基準体モデル102として3次元計算空間V中に一体として画成することができる。
【0018】
このため、測定対象物の一部をカバーするサブ基準体の撮影測定値並びに基準計測値及び測定対象物の一部をカバーするように想定された仮想サブ基準体の仮想定義値並びに仮想付与値に基づいて、測定対象物の全体をカバーする仮想基準体に対応する仮想基準体モデルを3次元計算空間に一体として画成してステレオ撮影部の外部標定を精度良くおこなうことができるから、サブ基準体を小型に設けることができると共に、取り扱いの容易な小型のサブ基準体を備える3次元計測システムを小型に設けることができる。
【0019】
また、本発明の第4の態様に係る3次元計測システムは、本発明の第1乃至第3の態様のいずれか一の態様に係る3次元計測システムにおいて、例えば、図1乃至図4及び図6に示すように、標定要素算出部13は、基準体情報画成部12が画成した一体の基準体モデル102(102i)が含む、予め把握されたサブ基準体3が有する複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの基準計測値g、sを基準値110(表1参照)としてステレオ撮影部11で撮影して得たステレオ画像20に基づくサブ基準体3が有する複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの撮影測定値f、mをバンドル調整(光束調整)U03(図13参照)をおこなって調整し、基準値110(基準計測値g、s)と撮影測定値f、mとの間の誤差の少ない外部標定要素(x,y,z)(ω,φ,κ)を算出するように構成される。
【0020】
このように構成することにより、標定要素算出部13は、基準体情報画成部12が画成した一体の基準体モデル102(102i)が含む、予め把握されたサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sをバンドル調整のための基準値110(表1参照)として用いることができる。また、標定要素算出部13は、ステレオ撮影部11で撮影して得たステレオ画像20a、20bに基づく、サブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)gの撮影測定値f及び/又は複数の基準マーク4の相互間距離(基準計測値)sの撮影測定値mを、基準値110(基準計測値g、s)に基づいてバンドル調整(光束調整)U03(図13参照)をおこなって調整し、基準値110(基準計測値g、s)と撮影測定値f、mとの間の誤差の少ない外部標定要素(x,y,z)(ω,φ,κ)を算出することができる。
【0021】
このため、標定要素算出部は、基準体情報画成部が画成した基準体モデルに含まれる、サブ基準体をステレオ撮影部で撮影したステレオ画像に基づく撮影測定値を、同じく基準体モデルに含まれる、サブ基準体の基準計測値を基準値としてバンドル調整(光束調整)することができる。この結果、3次元計測システムは誤差の少ない外部標定要素を得ることができるから、更に精度良くステレオ撮影部の外部標定をおこなうことができる。このため、サブ基準体を更に小型に設けることができると共に、取り扱いの容易な小型のサブ基準体を備える3次元計測システムを更に小型に設けることができる。
【0022】
また、本発明の第5の態様に係る3次元計測システムは、本発明の第4の態様に係る3次元計測システムにおいて、例えば、図1を参照して説明すると、バンドル調整U03(図13参照)の拘束条件(表1参照)は、ステレオ撮影部11の光軸に近づくに従って大きな重み付けの値が付与されるように構成される。
【0023】
このように構成することにより、計測精度の良い撮影測定値(3次元座標値f及び/又は相互間距離m)を得ることができるステレオ撮影部11の光軸付近の撮影測定値(3次元座標値f及び/又は相互間距離m)を対象として、より大きな重み付けの値が付与された、よりバンドル調整幅の少ない拘束条件(表1参照)を付与してバンドル調整(光束調整)U03(図13参照)をおこなうことができる。一方、ステレオ撮影部11の光軸から遠隔した、計測精度が比較的劣るものと考えられる撮影測定値(3次元座標値f及び/又は相互間距離m)に対しては、より小さな重み付けの値が付与された、よりバンドル調整幅の大きい拘束条件を付与して、より積極的にバンドル調整をおこなうことができる。このため、計測精度のより良い撮影測定値(3次元座標値f及び/又は相互間距離m)を重視したバンドル調整をおこなうことができる。
【0024】
この結果、本態様の3次元計測システムは更に誤差の少ない外部標定要素を得ることができるから、更に精度良くステレオ撮影部の外部標定をおこなうことができる。このため、サブ基準体を更に小型に設けることができると共に、取り扱いの容易な小型のサブ基準体を備える3次元計測システムを更に小型に設けることができる。例えば、サブ基準体は測定対象物である人体よりも大幅に小さい、一辺が30cmの立方体として設けることができる。
【0025】
また、本発明の第6の態様に係る3次元計測システムは、本発明の第4又は第5の態様に係る3次元計測システムにおいて、例えば、図1を参照して説明すると、サブ基準体3が有する複数の基準マーク4の3次元座標値g、f及び複数の基準マーク4の相互間距離s、mの情報を共に含む基準体モデル102に付与されるバンドル調整U03(図13参照)の拘束条件(表1参照)は、相互間距離mに付与される重み付けの値と比較して3次元座標値fに付与される重み付けの値が大きな値となるように構成される。
【0026】
このように構成することにより、その性質から3次元計算空間Vに対して直接に拘束がなされる3次元座標値fを対象として、より大きな重み付けの値が付与された、よりバンドル調整幅の少ない拘束条件(表1参照)を付与してバンドル調整(光束調整)U03(図13参照)をおこなうことができる。一方、その性質から3次元計算空間Vに対しては直接に拘束がなされることのない相互間距離mに対しては、より小さな重み付けの値が付与された、よりバンドル調整幅の大きい拘束条件を付与して、より積極的にバンドル調整をおこなうことができる。このため、バンドル調整によって、基準体モデル102が3次元計算空間V内で意図せず回転してしまう等の不具合が生じることがなく、3次元座標値fを3次元計算空間Vに対して拘束する一方で、相互間距離mの値を大きく調整する、3次元計算空間Vに対して拘束されたバンドル調整をおこなうことができる。
【0027】
この結果、本態様の3次元計測システムは更に誤差の少ない外部標定要素を得ることができるから、更に精度良くステレオ撮影部の外部標定をおこなうことができる。このため、サブ基準体を更に小型に設けることができると共に、取り扱いの容易な小型のサブ基準体を備える3次元計測システムを更に小型に設けることができる。
【0028】
また、本発明の第7の態様に係る3次元計測システムは、本発明の第1乃至第6の態様のいずれか一の態様に係る3次元計測システムにおいて、例えば、図1に示すように、基準体情報画成部12は、ステレオ撮影部11の光軸に最も近いサブ基準体モデル103bに対しては、サブ基準体3bの複数の基準マーク4の3次元座標値の撮影測定値fと、予め把握されたサブ基準体3bの複数の基準マーク4の3次元座標値の基準計測値gとを画成し;ステレオ撮影部11の光軸に最も近いサブ基準体モデル103b以外のサブ基準体モデル103a、103cに対しては、サブ基準体3a、3cの複数の基準マーク4の相互間距離の撮影測定値mと、予め把握されたサブ基準体3a、3cの複数の基準マーク4の相互間距離の基準計測値sとを画成する。
【0029】
このように構成することにより、基準体情報画成部12は、撮影測定精度の最も高い領域に位置する、ステレオ撮影部11の光軸に最も近い、例えば、サブ基準体3bに対しては基準マーク4の3次元座標値f、gを用いてサブ基準体モデル103bを画成することができる。一方、撮影測定精度の最も高い領域に位置する、ステレオ撮影部11の光軸に最も近いサブ基準体3b以外の、例えば、サブ基準体3a、3cに対しては複数の基準マーク4の相互間距離m、sを用いてサブ基準体モデル103a、103cを画成することができる。
【0030】
このため、基準体情報画成部は、ステレオ撮影部の光軸に最も近い領域については、高い撮影測定精度で測定された基準マークの3次元座標値を用いて精度良くサブ基準体モデルを画成する一方で、ステレオ撮影部の光軸から離間した領域については、複数の基準マークの相互間距離を用いてサブ基準体モデルを画成して一体の基準体モデルを画成することができる。このため、3次元計算空間への拘束の強い3次元座標値(撮影測定値)に対する撮影測定誤差の影響をより低く抑えることができると共に、光軸から離間することによって撮影測定誤差を比較的多く含む相互間距離(撮影測定値)については積極的にバンドル調整(光束調整)をおこなうように基準体モデルを画成することができるから、更に精度の高い外部標定要素を効率良く得ることができる、優れた基準体モデルを画成することができる。
【0031】
また、本発明の第8の態様に係る3次元計測システムは、本発明の第1乃至第7の態様のいずれか一の態様に係る3次元計測システムにおいて、例えば、図5に示すように、3次元計測空間Rにおいて測定対象物1が配置される床面16に複数の床面基準マーク16bを備え;ステレオ撮影部11a〜11dは、複数の床面基準マーク16bをステレオ撮影するように構成され;基準体情報画成部12は、複数の床面基準マーク16bのステレオ画像20(図10参照)に基づいて測定対象物1が配置される床面16の情報を3次元計算空間V(図1参照)において一の平面(基準平面)106(図1参照)の情報として基準体モデル102(図1参照)に組み込んで画成するように構成される。
【0032】
このように構成することにより、3次元計測システム10は、3次元計測空間Rにおいて測定対象物1が配置される床面16に複数の床面基準マーク16bを備える。また、3次元計測システム10が備えるステレオ撮影部11a〜11dは、複数の床面基準マーク16bをステレオ撮影するように構成される。また、3次元計測システム10が備える基準体情報画成部12は、複数の床面基準マーク16bのステレオ画像20a、20b(図10参照)に基づいて測定対象物1が配置される床面16の情報を3次元計算空間V(図1参照)において一の平面(基準平面)106(図1参照)の情報として基準体モデル102(図1参照)に組み込んで画成することができる。
【0033】
このため、本態様の3次元計測システムが画成する基準体モデルは3次元計測の計測基準面として用いることができる基準平面の情報を有してステレオ撮影部の外部標定をおこなうことができるから、3次元計測システムが画成する3次元計測座標系は基準平面の情報を有することができる。このため、例えば、3次元計測座標系の座標変換をおこなうことにより、3次元計測座標系は基準平面上に原点を有する3次元座標系とすることができるから、複数の3次元計測の計測結果を同一の基準平面を計測基準面とする3次元計測座標系における3次元計測結果の情報として正規化することができる。このため、比較統計が容易な、更に情報価値の高い3次元計測結果を得ることができる。
【0034】
また、本発明の第9の態様に係る3次元計測システムは、本発明の第1乃至第8の態様のいずれか一の態様に係る3次元計測システムにおいて、例えば、図9に示すように、3次元計測部14は、3次元計算空間V(又は対応する3次元計測空間R)(図1参照)において測定対象物1が含まれる検出処理限定空間21を設定する検出処理限定空間設定部14a(図7参照)を有し、検出処理限定空間設定部14aは、一対のステレオ画像20a、20b上での対応点検出処理(ステレオマッチング処理)をおこなう範囲を検出処理限定空間21内に限定A02(図15参照)するように構成される。
【0035】
このように構成することにより、3次元計測システム10が備える3次元計測部14は、3次元計算空間V(又は対応する3次元計測空間R)(図1参照)において測定対象物1が含まれる検出処理限定空間21を設定する検出処理限定空間設定部14a(図7参照)を有する。また、検出処理限定空間設定部14aは、一対のステレオ画像20a、20b上での対応点検出処理(ステレオマッチング処理)をおこなう範囲を検出処理限定空間21内に限定A02(図15参照)することができる。
【0036】
このため、応分の情報処理時間を要する対応点検出処理(ステレオマッチング処理)の処理対象範囲を検出処理限定空間内に限定することができるから、対応点検出処理の情報処理時間を短縮して迅速に3次元計測をおこなうことができる。
【0037】
また、本発明の第10の態様に係る3次元計測システムは、本発明の第9の態様に係る3次元計測システムにおいて、例えば、図9に示すように、検出処理限定空間設定部14a(図7参照)は、ステレオ撮影部11(図1参照)が撮影した測定対象物1のステレオ画像20a、20b上の2次元平面空間において対応点検出処理(ステレオマッチング処理)をおこなう範囲を限定A02(図15参照)するように構成され、ステレオ画像20a、20b上の検出処理限定空間21に対応する範囲以外の部分22を単色で塗りつぶして対応点検出処理をおこなう範囲を検出処理限定空間21内に限定A02するように構成される。
【0038】
このように構成することにより、3次元計測システム10が備える3次元計測部14が有する検出処理限定空間設定部14a(図7参照)は、ステレオ撮影部11が撮影したステレオ画像20a、20b上に測定対象物1が投影された、ステレオ画像20a、20b上の2次元平面空間において対応点検出処理(ステレオマッチング処理)をおこなう範囲を限定A02(図15参照)することができる。また、検出処理限定空間設定部14aは、ステレオ画像20a、20b上の検出処理限定空間21に対応する範囲以外の部分22を単色で塗りつぶして対応点検出処理をおこなう範囲を検出処理限定空間21内に限定A02することができる。
【0039】
このため、3次元計算空間を一対のステレオ画像上に投影した2次元平面上において対応点検出処理(ステレオマッチング処理)をおこなうことで、対応点検出処理を更に迅速におこなうことができる。また、検出処理限定空間以外の部分をステレオ画像上の2次元平面上において単色で塗りつぶすことで、対応点検出処理における誤検出を確実に防止して、対応点検出処理を更に迅速におこなうことができる。
【0040】
また、本発明の第11の態様に係る3次元計測システムは、本発明の第1乃至第10の態様のいずれか一の態様に係る3次元計測システムにおいて、例えば、図10に示すように、3次元計測システム10は、外部標定要素算出S04(図12参照)時からの3次元計測空間R(図1参照)におけるステレオ撮影部11の位置変動29を検出M01(図14参照)する撮影位置変動検出部15(図7参照)を備え、撮影位置変動検出部15は、ステレオ撮影部11が外部標定要素算出S04後に得たステレオ画像20a、20bと、ステレオ撮影部11が外部標定要素算出S04時に得たステレオ画像20a、20bとを比較することで、3次元計測空間Rにおけるステレオ撮影部11の位置変動29の有無を検出M01するように構成される。
【0041】
このように構成することにより、3次元計測システム10は、外部標定要素算出S04時からの3次元計測空間R(図1参照)におけるステレオ撮影部11の位置変動29を検出M01(図14参照)する撮影位置変動検出部15(図7参照)を備える。また、撮影位置変動検出部15は、ステレオ撮影部11が外部標定要素算出S04後に得たステレオ画像20a、20bと、ステレオ撮影部11が外部標定要素算出S04時に得たステレオ画像20a、20bとを比較することで、3次元計測空間Rにおけるステレオ撮影部11の位置変動29の有無を検出M01することができる。
【0042】
このため、本態様の3次元計測システムは、撮影位置変動検出部により、外部標定要素算出時と比較してステレオ撮影部が位置変動を生じているか否かを検出して把握することができるから、外部標定要素算出時におけるステレオ撮影部の定位状態を維持して精度良く3次元計測をおこなうことができる。
【0043】
また、本発明の第12の態様に係る3次元計測システムは、本発明の第11の態様に係る3次元計測システムにおいて、例えば、図10に示すように、ステレオ撮影部11は、位置変動検出ターゲットマーク17aが貼付された支持部17に固定されて支持されるように構成されて位置変動検出ターゲットマーク17aをステレオ撮影するように構成され、撮影位置変動検出部15(図7参照)は、ステレオ撮影部11が撮影したステレオ画像20a、20b上の位置変動検出ターゲットマーク17aの位置を外部標定要素算出S04(図12参照)時と外部標定要素算出S04後とで比較してステレオ撮影部11の位置変動29の有無を検出M01(図14参照)するように構成される。
【0044】
このように構成することにより、位置変動検出ターゲットマーク17aが貼付された支持部17に固定されて支持されたステレオ撮影部11は、位置変動検出ターゲットマーク17aをステレオ撮影することができる。また、撮影位置変動検出部15(図7参照)は、ステレオ撮影部11が撮影したステレオ画像20a、20b上の位置変動検出ターゲットマーク17aの位置(画像上の位置)を外部標定要素算出S04時と外部標定要素算出S04後とで比較してステレオ撮影部11の位置変動29の有無を検出M01(図14参照)することができる。
【0045】
このため、撮影位置変動検出部はステレオ撮影部を固定して支持する支持部に貼付された位置変動検出ターゲットマークを監視基準点として、ステレオ撮影部が撮影するステレオ画像上において、外部標定要素算出時からのステレオ撮影部の位置変動の有無を検出して把握することができるから、外部標定要素算出時におけるステレオ撮影部の定位状態を維持して精度良く3次元計測をおこなうことができる。
【0046】
また、本発明の第13の態様に係る3次元計測システムは、本発明の第11又は第12の態様に係る3次元計測システムにおいて、例えば、図10に示すように、ステレオ撮影部11は、測定対象物1(図5参照)が配置される床面16上の床面基準マーク16bを撮影するように構成され、撮影位置変動検出部15(図7参照)は、ステレオ撮影部11が撮影したステレオ画像20a、20b上の床面基準マーク16bの位置を外部標定要素算出S04時と外部標定要素算出S04後とで比較してステレオ撮影部11の位置変動29の有無を検出M01(図14参照)するように構成される。
【0047】
このように構成することにより、ステレオ撮影部11は、測定対象物1(図5参照)が配置される床面16上の床面基準マーク16bを撮影することができる。また、撮影位置変動検出部15(図7参照)は、ステレオ撮影部11が撮影したステレオ画像20a、20b上の床面基準マーク16bの位置(画像上の位置)を外部標定要素算出S04時と外部標定要素算出S04後とで比較してステレオ撮影部11の位置変動29の有無を検出M01(図14参照)することができる。
【0048】
このため、撮影位置変動検出部は測定対象物が配置される床面上の床面基準マークを監視基準点として、ステレオ撮影部が撮影するステレオ画像上において、外部標定要素算出時からのステレオ撮影部の位置変動の有無を検出して把握することができるから、外部標定要素算出時におけるステレオ撮影部の定位状態を維持して精度良く3次元計測をおこなうことができる。
【0049】
また、本発明の第14の態様に係る3次元計測システムは、本発明の第1乃至第13の態様のいずれか一の態様に係る3次元計測システムにおいて、例えば、図11に示すように、3次元計測部14は、測定対象物1が撮影された一のステレオ画像27から測定対象物1が含まれていない他のステレオ画像28を差し引くことで、測定対象物1の背景9を除去A03(図15参照)する背景除去部14b(図7参照)を有する。
【0050】
このように構成することにより、3次元計測システム10が備える3次元計測部14が有する背景除去部14b(図7参照)は、測定対象物1が撮影された一のステレオ画像27から背景9が撮影された測定対象物1が含まれていない他のステレオ画像28を差し引くことで、測定対象物1の背景9を除去A03(図15参照)することができる。
【0051】
このため、本態様の3次元計測システムは、測定対象物が撮影された一のステレオ画像から測定対象物が含まれていない他のステレオ画像を差し引いて背景を除去することで、対応点検出処理(ステレオマッチング処理)の負担となる背景を除去することができるから、迅速かつ効率的に3次元計測をおこなうことができる。
【0052】
また、本発明の第15の態様に係る3次元計測システムは、本発明の第1乃至第14の態様のいずれか一の態様に係る3次元計測システムにおいて、例えば、図9に示すように、3次元計測部14は、前処理部14c1(図8参照)と詳細処理部14c2(図8参照)とを有するステレオマッチング処理部14c(図7参照)を有し、ステレオマッチング処理部14cは、前処理部14c1でマッチング判定された詳細マッチング処理範囲(詳細検出処理限定空間)21a内を処理対象として詳細処理部14c2で詳細マッチング処理A08(図15参照)をおこなうように構成される。
【0053】
このように構成することにより、3次元計測システム10が備える3次元計測部14は、前処理部14c1(図8参照)と詳細処理部14c2(図8参照)とを有するステレオマッチング処理部14c(図7参照)を有する。また、ステレオマッチング処理部14cは、前処理部14c1でマッチング判定された詳細マッチング処理範囲(詳細検出処理限定空間)21a内を処理対象として詳細処理部14c2で詳細マッチング処理A08(図15参照)をおこなうことができる。
【0054】
このため、本態様の3次元計測システムは、3次元計測における最大の情報処理時間を占める詳細マッチング処理の処理対象範囲を、比較的迅速におこなうことができる第1のマッチング処理である前処理マッチングによってマッチング判定された詳細マッチング処理範囲(詳細検出処理限定空間)内に限定して詳細マッチング処理をおこなうことで、詳細マッチング処理の情報処理時間を抑制して、迅速かつ効率的に3次元計測をおこなうことができる。
【0055】
また、本発明の第16の態様に係る測定対象物を3次元計測する方法は、例えば図12に示すように、測定対象物1(図1参照)の全体をカバーする基準体2(図1参照)の一部を構成する、3次元計測空間R(図1参照)における複数の基準マーク4(図1参照)の3次元座標値g(図1参照)及び/又は複数の基準マーク4の相互間距離s(図1参照)の計測基準値g、sが予め把握された複数の基準マーク4を有するサブ基準体3(図1参照)を3次元計測空間R内に提供するステップ(S01)と;3次元計測空間Rにおいてサブ基準体3を複数方向からステレオ撮影してステレオ画像20(図9参照)を得るステップ(S02)と;ステレオ撮影して得たステレオ画像20に基づくサブ基準体3が有する複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの撮影測定値f、m(図1参照)と予め把握されたサブ基準体3が有する複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの基準計測値g、sとを含む、基準体2の3次元数値解析モデルである基準体モデル102(図1参照)を3次元計算空間V(図1参照)中に一体として画成するステップ(S03)と;画成するステップ(S03)で画成された基準体モデル102を用いてステレオ撮影の外部標定要素(x,y,z)(ω,φ,κ)を外部標定法により算出するステップ(S04)と;外部標定要素(x,y,z)(ω,φ,κ)が算出されたステレオ撮影により測定対象物1を撮影して測定対象物1を3次元計測するステップ(S05)とを備え;3次元計測空間Rは、サブ基準体3及び測定対象物1を現実に設置して3次元計測をおこなう実空間Rであり;3次元計算空間Vは、3次元計測空間Rに対応する、ステレオ撮影の外部標定要素(x,y,z)(ω,φ,κ)の外部標定法による算出をおこなうための仮想空間Vである。
【0056】
このように構成することにより、測定対象物1(図1参照)の全体をカバーする基準体2(図1参照)の一部を構成する、3次元計測空間R(図1参照)における複数の基準マーク4(図1参照)の3次元座標値(基準計測値)g(図1参照)及び/又は複数の基準マーク4の相互間距離(基準計測値)s(図1参照)が予め把握された複数の基準マーク4を有するサブ基準体3(図1参照)を3次元計測空間R内に提供することができる(S01)。また、3次元計測空間Rにおいてサブ基準体3を複数方向からステレオ撮影してステレオ画像20a、20bを得ることができる(S02)。また、ステレオ撮影して得たステレオ画像20a、20bに基づく、サブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)gの撮影測定値f(図1参照)及び/又は複数の基準マーク4の相互間距離(基準計測値)sの撮影測定値m(図1参照)と、予め把握されたサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sとを含む、基準体2の3次元数値解析モデルである基準体モデル102(図1参照)を3次元計算空間V(図1参照)中に一体として画成することができる(S03)。また、画成するステップ(S03)で画成された基準体モデル102を用いてステレオ撮影の外部標定要素(x,y,z)(ω,φ,κ)を外部標定法により算出することができる(S04)。また、外部標定要素(x,y,z)(ω,φ,κ)が算出されたステレオ撮影により測定対象物1を撮影して測定対象物1を3次元計測することができる(S05)。
【0057】
このため、本態様の測定対象物を3次元計測する方法は、基準体の一部を構成する、即ち、基準体よりも小型のサブ基準体をステレオ撮影して得たステレオ画像並びにサブ基準体を予め基準計測して得た基準計測値に基づいて、3次元計測空間において測定対象物の全体をカバーする基準体に対応し、3次元計算空間において空間前方交会法の共面条件に従う、サブ基準体の撮影測定値の情報と基準計測値の情報とを含む、一の数値解析モデルである基準体モデルを3次元計算空間に一体として画成すると共に、基準体モデルを用いてステレオ撮影を精度良く外部標定して測定対象物の3次元計測を精度良くおこなうことができるから、取り扱いの容易な小型のサブ基準体を備える3次元計測システムを小型に設けることができる。
【発明の効果】
【0058】
本発明による3次元計測システム及び3次元計測方法によれば、外部標定の容易なステレオ撮影による3次元計測システム及び3次元計測方法を提供することができる。
【図面の簡単な説明】
【0059】
【図1】図1は、本発明の第1の実施の形態に係る3次元計測システムの外部標定の例を示す説明図である。
【図2】図2は、本発明の第2の実施の形態に係る3次元計測システムの外部標定の例を示す説明図である。
【図3】図3は、本発明の第3の実施の形態に係る3次元計測システムの外部標定の例を示す説明図である。
【図4】図4は、本発明の第3の実施の形態に係る3次元計測システムの外部標定の例を示す説明図である。
【図5】図5は、本発明の第1乃至第3の実施の形態に係る3次元計測システムの配置の例を示す説明図である。
【図6】図6は、本発明の第4の実施の形態に係る3次元計測システムの外部標定の例を示す説明図である。
【図7】図7は、本発明の第1乃至第4の実施の形態に係る3次元計測システムの構成を示すブロック図である。
【図8】図8は、本発明の第1乃至第4の実施の形態に係る3次元計測システムが備える3次元計測部の詳細構成を示すブロック図である。
【図9】図9は、本発明の第1乃至第4の実施の形態に係るステレオマッチング処理限定空間の設定の例を示す説明図である。
【図10】図10は、本発明の第1乃至第4の実施の形態に係るステレオ撮影部の位置変動の検出の例を示す説明図である。
【図11】図11は、本発明の第1乃至第4の実施の形態に係る背景の除去処理の例を示す説明図である。
【図12】図12は、本発明の第5の実施の形態に係る測定対象物を3次元計測する方法を示すフローチャートである。
【図13】図13は、本発明の第5の実施の形態に係る測定対象物を3次元計測する方法における3次元計測をセットアップする方法を更に詳細に示すフローチャートである。
【図14】図14は、本発明の第5の実施の形態に係る測定対象物を3次元計測する方法を更に詳細に示すフローチャートである。
【図15】図15は、本発明の第5の実施の形態に係る測定対象物を3次元計測する方法におけるステレオマッチング処理方法を更に詳細に示すフローチャートである。
【図16】図16は、本発明の第1乃至第5の実施の形態に係る3次元計測におけるステレオ撮影の外部標定を説明する図である。
【図17】図17は、従来の3次元計測を示す図である。
【発明を実施するための形態】
【0060】
以下、図面を参照して本発明の実施の形態について説明する。なお、各図において互いに同一又は相当する部材には同一あるいは類似の符号を付し、重複した説明は省略する。
【0061】
図1を参照して、本発明の第1の実施の形態に係る3次元計測システムを詳細に説明する。なお、本実施の形態の3次元計測システム10の全体の構成の説明は、後に図7、図8及び図12を参照して詳しく説明する。本実施の形態の3次元計測システム10(図7参照)は、測定対象物1である人体の全体をカバーする基準体2の一部を構成する、サブ基準体3a、3b、3c(以下、3個のサブ基準体3a、3b、3cを個別に区別する必要がないときは、単にサブ基準体3という)を複数(例えば、3個)備える。即ち、サブ基準体3は、測定対象物1の一部をカバーする。基準体2が測定対象物1の全体をカバーするとは、典型的には、測定対象物1の全体が占める空間よりも大きな空間によって測定対象物1を完全に包含することをいうが、本明細書では、必ずしも測定対象物1の全体が占める空間を完全に包含している場合のみに限定されるものではなく、測定対象物1の主要部(測定をすべき部分)を包含していればよく、その意味で測定対象物1の一部が占める空間を包含している場合もいうものとする。例えば、測定対象物1である人体の胴体の部分を測定したい場合には、両手を広げた人物の両手部分を包含していなくとも、基準体2は、測定対象物1である人体の全体をカバーしているものというものとする。
【0062】
ステレオ撮影を用いた3次元計測システム10において、ステレオ撮影部11の外部標定をおこなう場合には、外部標定に用いる基準体2の内側の空間と外側の空間との間では線形性が保たれるわけではない(非線形である)。このため、原則的には、測定対象物1の全体が占める空間を完全に包含する基準体2を用いて外部標定をおこなうものとするとよい。しかしながら、例外的には、ステレオ撮影部11の外部標定の精度が大きく損なわれることのない限度の範囲内において、測定対象物1の大部分が占める空間を包含する基準体2を用いて外部標定をおこなう場合にも3次元計測が有効である場合も存在する。このような場合には、基準体2は測定対象物1の全体を実質的にカバーしているものということができる。
【0063】
例えば、原則に沿って、測定対象物1である一の人物の全体をカバーする基準体2を用いてステレオ撮影部11の外部標定をおこなうことができる。この場合において、例えば、一の人物よりも身長、肩幅が大きな他の人物をそのまま3次元計測する場合も存在し得る。また、この場合に、基準体2では、身長、肩幅が大きい他の人物の全体をカバーすることができない場合も存在し得る。この場合にも、ステレオ撮影部11の外部標定の精度が大きく損なわれることのない限度の範囲内において、例外的に、当初の外部標定がおこなわれたままの状態で有効な3次元計測をおこなうことができる場合も存在する。このような場合には、身長、肩幅が大きな他の人物に対しては、基準体2は、身長、肩幅が大きな他の人物の大部分を占める空間を包含する基準体2であるものということができる。このような基準体2を用いて、測定対象物1である身長、肩幅が大きな他の人物の全体を実質的にカバーして、有効な外部標定をおこなうことができる場合も存在するものということができる。
【0064】
図1に示す本実施の形態の3次元計測システム10では、3次元計測空間Rにおいて、現実に、複数(例えば、3個)のサブ基準体3a、3b、3cを鉛直方向に積み重ねて、ステレオ撮影部11の外部標定をおこなうように設けられている。即ち、本実施の形態の3次元計測システム10では、基準体2は、3次元計測空間Rにおいて複数(例えば、3個)のサブ基準体3a、3b、3cを積み重ねて設けられる。複数のサブ基準体3a、3b、3cは、各々、測定対象物1である人体の一部をカバーすると共に、複数のサブ基準体3a、3b、3cが集合して測定対象物1である人体の全体をカバーするように、例えば、一辺が70cmの立方体として設けられている。
【0065】
後に詳述するように、複数のサブ基準体3a、3b、3cは、サブ基準体3a、3b、3cの各々が有する基準マーク4をステレオ撮影部11に提示して、ステレオ撮影部11が基準マーク4の3次元座標値(基準計測値)gの撮影測定値fを得るためのステレオ画像20a、20b(図9参照)を撮影することができるように設けるものとすればよい。本実施の形態のサブ基準体3の外形寸法は、一辺が70cmの立方体に限られるものではなく、これより大きなものであっても、あるいは小さなものであってもよく、また、サブ基準体3の外形は、立方体であっても、直方体であっても、6角柱であっても、あるいは8角柱であってもよい。
【0066】
例えば、サブ基準体3が立方体として設けられる場合には、前後及び左右方向における設置方向の区別をおこなうことなく測定対象物1である人体をカバーすることができるから、容易に取り扱うことができる。あるいは、サブ基準体3が直方体として設けられる場合には、前後方向に短く、左右方向に幅広い、測定対象物1である人体を、直方体の短辺方向と長辺方向とで過不足なくカバーすることができる。あるいは、サブ基準体3を6角柱又は8角柱として設ける場合には、より多くの側面に設けることができる、より多くの基準マーク4を有してステレオ撮影部11に提示することができるから、より多くの基準マーク4の情報に基づいて、より精度良くステレオ撮影部11の外部標定をおこなうことができる。
【0067】
小型に設けられた複数(例えば、3個)のサブ基準体3a、3b、3cの各々は、中空かつ軽量に設けられ、3次元計測システム10の外部標定をおこなう標定者が、例えば、子ども、女性であっても、サブ基準体3a、3b、3cを両手で把持して移動する等の取り扱いが容易となるように設けるものとするとよい。このように設けると、従来の基準体200(図17参照)と比較して、サブ基準体3a、3b、3cの寸法形状の変動の他の原因となり得る外力の負荷を防ぐための丁寧な取り扱いを容易におこなうことができる効果を奏する。
【0068】
一の実施の形態では、複数(例えば、3個)のサブ基準体3a、3b、3cは、相互に対応する大小関係を有する寸法形状に設けられ、例えば、入れ子形状、(引き伸ばし、収縮が可能な)テレスコープ形状等として、サブ基準体3a、3b、3cの3次元計測空間Rへの搬入時あるいはサブ基準体3a、3b、3cの収納/保管時にかさばらないように設けるものとするとよい。この場合には、複数のサブ基準体3a、3b、3cの各々の基準マーク4を有することのない底面(あるいは上面)に開口を設けることで、入れ子形状、テレスコープ形状等としてサブ基準体3a、3b、3cを設けることができる。
【0069】
本実施の形態の複数(例えば、3個)のサブ基準体3a、3b、3cの各々の側面には、側面の四隅に、ステレオ撮影部11の外部標定に用いるための基準マーク4が図示の通り各4枚貼付けられて設けられている。本実施の形態のサブ基準体3a、3b、3cが有する基準マーク4は、カラーコードターゲット4として設けられている。基準マーク4をカラーコードターゲット4として設けることにより、カラーコードターゲット4に含まれる、基準位置を示すための基準マーク、色彩基準を示すための基準色マーク、カラーコードターゲット4を個別に識別するためのカラーコードマーク等の複数の情報をステレオ撮影部11が撮影するステレオ画像20上で同時に判別して、カラーコードターゲット4が示す基準位置、内部標定に用いる色彩情報、固有の識別情報を同時に把握することができる。
【0070】
なお、サブ基準体3a、3b、3cが有する基準マーク4は、ステレオ撮影部11で撮影したステレオ画像20上で3次元計測空間Rにおける一点の3次元空間座標値を特定して判別することができればよいから、より単純に、例えば、交差するストライクマーク、白抜き円形、黒塗り円形のような基準点の3次元的な位置が明確に把握できる模様として設けるものとしてもよい。また、サブ基準体3a、3b、3cの各々の側面並びに各基準点を個別に識別するために、サブ基準体3a、3b、3cの各々の側面の所定の位置に、六角形、白十字、菱形、数字、黒塗り四角形、斜線入り四角形、格子線入り四角形等の識別のための模様を表示するように設けてもよい。基準マーク4は、サブ基準体3a、3b、3cに基準マーク4が印刷されたシールを貼付けることにより設けることができる他、サブ基準体3a、3b、3cに直接基準マーク4を吹き付け塗装/印刷をおこなって設けるものとしてもよい。
【0071】
本実施の形態のサブ基準体3a、3b、3cが有する基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sは、3次元計測システム10内の3次元計測空間Rにサブ基準体3a、3b、3cが設置(提供/搬入)される前に、予め基準計測されて把握される。基準計測は、後に詳述する3次元計測システム10が備える標定要素算出部13(図7参照)がおこなう外部標定並びに外部標定要素(x,y,z)(ω,φ,κ)(図16参照)のバンドル調整(光束調整)をおこなう際の基準値110を決定する重要な計測といえる。基準計測は、3次元計測の計測精度に影響を与えることから、3次元計測に求められる計測精度と同等以上の計測精度を有しておこなうものとするとよい。基準計測の方法は、例えば、接触式の3次元形状測定機を用いておこなわれてもよいし、あるいは基準とすべき計測精度を有するように調整管理されたステレオ撮影による3次元計測システムを用いておこなわれてもよい。
【0072】
基準計測は本実施の形態の複数(例えば、3個)のサブ基準体3a、3b、3cの各々が有する複数(例えば、16個)の基準マーク4に対して個別におこなわれて把握される。例えば、一のサブ基準体3aの一の側面が有する4個の基準マーク4の3次元座標値(基準計測値)g及び4個の基準マーク4の相互間距離(基準計測値)sは4個の基準マーク4の内の任意に定められた一の基準マーク4を計測基準点として計測されて把握される。一のサブ基準体3aの一の側面が有する4個の基準マーク4の3次元座標値(基準計測値)g及び/又は4個の基準マーク4の相互間距離(基準計測値)sの情報は、後に詳述する基準値110としてステレオ撮影部11の外部標定及びバンドル調整(光束調整)に用いることができる。基準マーク4の相互間距離(基準計測値)sの基準計測は、サブ基準体3の同一側面上に存在する複数の基準マーク4の相互間について基準計測がされる他、サブ基準体3の同一側面上に存在しない(異なる側面上に存在する)複数の基準マーク4の相互間距離(基準計測値)sについても基準計測がされて、その相互間距離sが把握される。即ち、例えば16個の基準マークを有するサブ基準体の場合、相互間距離sは最大で120通り(16通り)存在することになる。
【0073】
一方で、一のサブ基準体3aが有する基準マーク4と、他のサブ基準体3b、3cが有する基準マーク4との間の相互間距離は基準計測されることがない。それらの間の相互間距離はサブ基準体3a、3b、3cの積み重ね方によって変動するものであり、後に詳述するステレオ撮影部11の外部標定の基準値として用いられることはない。即ち、一のサブ基準体3aが有する基準マーク4と、他のサブ基準体3b、3cが有する基準マーク4との間の相互間距離の情報はステレオ撮影部11の外部標定において不問とされる。このため、複数(例えば、3個)のサブ基準体3a、3b、3cを積み重ねて3次元計測空間Rに配置する際の積み重ねの配置精度等が厳密に管理されることはない。
【0074】
本実施の形態の3次元計測システム10では、以上に説明したサブ基準体3a、3b、3cを鉛直方向に積み重ね、サブ基準体3a、3b、3cの集合によって構成される、測定対象物1である人体の全体をカバーする基準体2をステレオ撮影部11で撮影して、一のステレオ撮影部11を外部標定するための一組のステレオ画像20a、20bを得るように設けられている。このため、一のステレオ撮影部11は、一のサブ基準体3aの一の側面の四隅に貼付けられて設けられた4個の基準マーク4の3倍の数に当たる12個の基準マーク4を同時に撮影して一組のステレオ画像20a、20b上に写像することができる。
【0075】
本実施の形態の3次元計測システム10が備えるステレオ撮影部11について説明する。ステレオ撮影部11は所定の基線長l(スモール・エル)だけ上下方向に離間して2つの超広角(広画角)に設けられた光学レンズ系(レンズ群)の後側主点(像側主点)O、O(図16参照)を有するステレオ撮影装置として設けられている。即ち、ステレオ撮影部11が有する第1の光学レンズ系の後側主点Oは、第1の(上側の)ステレオ画像20aから焦点距離cだけ離れて位置するように設けられ、第2の光学レンズ系の後側主点Oは、第2の(下側の)ステレオ画像20bから焦点距離cだけ離れて位置するように設けられている。このように構成された一のステレオ撮影部11により、第1のステレオ画像20a及び第2のステレオ画像20bにより構成される一組のステレオ画像20を得ることができる。なお、ステレオ撮影部11は、サブ基準体3を撮影する場合には、サブ基準体3それぞれの少なくとも2つの隣り合う側面が含まれるようにステレオ撮影を行うものとするとよい。このようにステレオ撮影を行う場合には、サブ基準体3の2つの隣り合う側面を一のステレオ撮影部11で一括してステレオ撮影することができるから、サブ基準体3の2つの隣り合う側面が有する複数の基準マーク4を相互により高い整合性を有して撮影測定することができる。
【0076】
ここで、図16を参照して、ステレオフォトグラメトリにおける外部標定について説明する。ステレオフォトグラメトリの空間前方交会法によれば、3次元計測空間Rに対応する仮想空間である3次元計算空間Vは、ステレオ撮影部11の第1の後側主点O上に原点を有するものと定義することができる。この際、ステレオ撮影部11の第1及び第2の後側主点O、Oと、第1及び第2のステレオ画像20a、20b上の基準マーク4の(画像の)座標位置p、pと、前方交会点P(x,y,z)とは、一の平面OPを形成する共面条件を満たす。このため、3次元計算空間Vにおいて第1及び第2のステレオ画像20a、20b上の基準マーク4の座標位置p(x,y,−c)、p(x,y,−c)を3次元計算空間Vに投影することで前方交会点P(x,y,z)を画成することができる。
【0077】
他方、3次元計測空間Rにおいて、サブ基準体3が有する複数の基準マーク4については、前述のように、予めおこなわれる基準計測により複数の3次元座標値(基準計測値)g(P(X,Y,Z))及び/又は複数の基準マーク4の相互間距離(基準計測値)sが把握されている。
【0078】
更に、3次元計算空間Vにおける前方交会点P(x,y,z)(撮影測定値f)と3次元計測空間Rにおける3次元座標値P(X,Y,Z)(基準計測値g)とは相互に対応して一致する。このため、3次元計算空間Vにおける前方交会点P(x,y,z)並びに3次元計測空間Rにおける3次元座標値P(X,Y,Z)に基づいて、ステレオ撮影部11の第1及び第2の後側主点O(原点O)、Oの3次元計測空間Rにおける3次元座標値(X,Y,Z)を各々外部標定することができる。同様に、第1及び第2のカメラの光軸方向(ω,φ,κ)を3次元計算空間Vにおける前方交会点P(x,y,z)並びに3次元計測空間Rにおける3次元座標値P(X,Y,Z)に基づいて各々外部標定することができる。
【0079】
ステレオ撮影部11が有する第1のカメラに関する3次元計算空間Vにおける第1のステレオ画像20a上の座標点p(x,y,−c)と前方交会点P(X,Y,Z)((x,y,z))との座標変換の関係式を式(1)に示す。また、第2のカメラに関する3次元計算空間Vにおける第2のステレオ画像20b上の座標点p(x,y,−c)と前方交会点P(X,Y,Z)((x,y,z))との座標変換の関係式を式(2)に示す。例えば、式(1)及び式(2)の左辺には、サブ基準体3の基準計測により得られる既知の基準計測値(3次元座標値)gを入力するものとするとよい。この場合に、式(1)及び式(2)の右辺は、一組のステレオ画像20a、20b上の座標点p、pの既知の座標値の情報を含む、撮影測定値(3次元座標値)f(前方交会点P(x,y,z))に相当する。式(1)及び式(2)の右辺(撮影測定値(3次元座標値)f)は差し当たり代数を用いて表された未知数であるが、後に詳述する標定要素算出部13がおこなう外部標定要素(x,y,z)(ω,φ,κ)の算出S04により、(例えば、最小二乗法を用いて)その値が定められる。このため、式(1)及び式(2)は、基準計測値(3次元座標値)gと撮影測定値(3次元座標値)fとの関係を代数モデルを用いて表した、3次元数値解析モデルであるものといえる。
【0080】
【数1】

【0081】
なお、測定対象物1の全体をカバーする基準体2に対応して、一体として画成される3次元数値解析モデルである基準体モデル102は、式(1)及び式(2)の形式で表現される代数モデルを用いて構成される(表現される)ものに限られない。一体として画成される3次元数値解析モデルである基準体モデル102は、基準計測値(3次元座標値g及び/又は基準尺s)と撮影測定値(3次元座標値f及び/又は相互間距離m)とが空間前方交会法における共面条件を構成することを表現する、あらゆる任意の表現に基づく代数モデルを要素モデルとして含んで画成することができる。
【0082】
図1に戻って、3次元計測システム10が備える基準体情報画成部12(図7参照)がおこなう基準体モデル102の画成について説明する。ステレオ撮影部11によりステレオ撮影されたサブ基準体3が有する基準マーク4の画像は、2枚のステレオ画像20a、20b上の座標点(値)p、pとして基準体情報画成部12により把握することができる。基準体情報画成部12は、2枚のステレオ画像20a、20b上の座標点(値)p、pに位置するサブ基準体3の基準マーク4の画像を、前述の空間前方交会法における共面条件に基づいて、3次元計算空間Vに投影して、ステレオ撮影に基づく3次元座標値(撮影測定値)f(前方交会点P(x,y,z))に標定点104を画成する。3次元計算空間Vは、前述の通り、基準体情報画成部12がステレオ撮影部11の第1の後側主点O上に原点Oを有するように仮想的に画成する、後に詳述する標定要素算出部13が外部標定要素(x,y,z)(ω,φ,κ)を算出するための仮想計算空間である。
【0083】
このようにして、基準体情報画成部12は、本実施の形態において複数(3個)のサブ基準体3a、3b、3cの集合が構成する、測定対象物1の全体をカバーする基準体2が一のステレオ撮影部11に提示する、複数(12個)の基準マーク4を、一のステレオ撮影部11が撮影した2枚一組のステレオ画像20a、20b上の複数(12)の対の座標点(値)p、pとして把握することができる。また、基準体情報画成部12は、2枚一組のステレオ画像20a、20b上の複数(12)の対の座標点(値)p、pに位置するサブ基準体3の基準マーク4の画像を、前述の空間前方交会法における共面条件に基づいて、3次元計算空間Vに投影して、ステレオ撮影に基づく複数(12点)の3次元座標点(値)(撮影測定値f)(前方交会点P(x,y,z))に標定点104を画成する。
【0084】
ここで、図5を参照して、本実施の形態の3次元計測システム10が備える複数のステレオ撮影部11a〜11dを用いた測定対象物1の全周に渡る同時ステレオ撮影について説明する。3次元計測システム10は、測定対象物1を取り囲むように複数(4台(4ユニット))のステレオ撮影部11a〜11dを備えて設けられている。また、3次元計測システム10は、測定対象物1の全周に配置された複数(4台(4ユニット))のステレオ撮影部11a〜11dが測定対象物1を同期して同時に撮影(撮影開始及び撮影停止)するように制御をおこなう撮影同期部11eを備えて設けられている。
【0085】
このように、3次元計測空間Rにおいて測定対象物1の全周にステレオ撮影部11a〜11dを複数配置することにより、一回の撮影で測定対象物1の全周を同時に3次元計測することができる。このため、人体のように長時間静止していない、例えば、レーザを用いた3次元形状測定が困難な測定対象物1であっても、同期して撮影する複数のステレオ撮影部11a〜11dを用いて測定対象物1の全周に渡って同時に(瞬時にあるいは連続して)撮影をおこなうことで、容易に測定対象物1の全周に渡るステレオ画像20a、20b(図9参照)(図9は一のステレオ撮影部11により得られる一組のステレオ画像20a、20bのみを示す)を得ることができる。このため、測定対象物1の全体の3次元形状を欠落や齟齬を含むことなく3次元計測することができる。なお、測定すべき部分が測定対象物1である人体の全周でないとき、例えば、背面(背中)の情報が不要であるときは、ステレオ撮影部11a、11b、11dの3台のみにより3次元計測をおこなうものとしてもよい。
【0086】
測定対象物1が、ステレオマッチングの難しい、特徴点の少ない被写体である場合には、プロジェクタ等の投影機(不図示)によってランダムパターン等の模様を測定対象物1に投影して、ステレオマッチングに用いるためのステレオ画像20a、20bを撮影するとよい。このように設けると、測定対象物1にはステレオマッチングに用いることができる特徴点を有するランダムパターン等の模様が投影されて付与されるので、ステレオ画像20a、20bを用いたステレオマッチングを容易とすることができる。
【0087】
また、この場合には、ステレオマッチングに用いるためのランダムパターン等の模様が投影されて撮影されたステレオ画像20a、20bとは別に、3次元計測結果に後にテクスチャとして貼り付けることができる測定対象物1の本来のテクスチャ画像(不図示)を撮影しておくとよい。このように設けると、撮影された測定対象物1本来のテクスチャ画像を後に3次元計測結果に貼り付けることができるから、測定対象物1本来のテクスチャ情報を有する一方で、プロジェクタ等の投影機により測定対象物1に投影された特徴点に基づいて精度良くステレオマッチングされた、優れた3次元計測結果を得ることができる。なお、プロジェクタ等の投影機は、ステレオ画像20a、20bを撮影する際には測定対象物1にランダムパターン等の模様を投影する一方で、測定対象物1の本来のテクスチャ画像を撮影する際にはランダムパターン等の模様の投影を停止して、均一な照明光を測定対象物1に投影するように切り替えることができる、一の投影機として設けるものとするとよい。
【0088】
本実施の形態の3次元計測システム10は、各々基線長l(スモール・エル)だけ離間する超広角の光学レンズ群を有するステレオ撮影部11a〜11dを備え、サブ基準体3a、3b、3cの全周に貼付けられた多数(48個)の基準マーク4の全てを同期して同時にステレオ撮影し、一対のステレオ画像20a、20bを複数得ることができるように設けられている。なお、ステレオ撮影部11a〜11dの台数(ユニット数)は本実施の形態に示すように4台(4ユニット)に限られるものではなく、更にステレオ撮影部11の台数を増やして更に綿密な3次元計測をおこなうものとしてもよい。
【0089】
3次元計測システム10が備える撮影同期部11eは、複数(4台(4ユニット))のステレオ撮影部11a〜11dが測定対象物1を同時に撮影開始及び撮影終了することができるように、同期精度の高いトリガー信号をステレオ撮影部11a〜11dに送信して撮影を制御するように設けるものとするとよい。
【0090】
あるいは、撮影同期部11eは、ステレオ画像20a、20bに同期精度の高いタイミング信号を随時記録して、後に同一のタイミング信号が記録された複数のステレオ撮影部11a〜11dにより撮影された複数のステレオ画像20a、20bを抽出することができるように設けるものとするとよい。このように設けると、複数のステレオ撮影部11a〜11dにより連続撮影(動画撮影)された一連の連続する(動画を構成する)ステレオ画像20a、20bの中から、指定する時点で同時に撮影された所望の複数(例えば、4組8枚)のステレオ画像20a、20bを遡って抽出することができる。撮影同期部11eは、複数のステレオ撮影部11a〜11dが同期して同時に撮影を開始(および終了)することができるようにコントロールする、いわゆる電子レリーズ装置として構成することができる。
【0091】
再び図1に戻って、本実施の形態の複数(例えば、3個)のサブ基準体3a、3b、3cが有する多数(48個)の基準マーク4の全周に渡るステレオ同時撮影について説明する。本実施の形態の3次元計測システム10では、3個のサブ基準体3a、3b、3cがその全周に有する48個の基準マーク4の全てを4台(4ユニット)のステレオ撮影部11a〜11dで同時に撮影して4組8枚のステレオ画像20a、20bを得ることができる。また、基準体情報画成部12により、4組8枚のステレオ画像20a、20b上の96個の基準マーク4の画像の座標点(値)p、pに基づいて、前述の空間前方交会法の共面条件に従って、3次元計算空間Vの48点の3次元座標点(値)(撮影測定値f)(前方交会点P(x,y,z))に標定点104を画成することができる。
【0092】
基準体情報画成部12は、また、画成する(48点の)標定点104に3次元計測空間Rにおける基準計測により得られたサブ基準体3の基準マーク4の基準測定値(3次元座標値)g(P(X,Y,Z))の情報を基準値110の情報として付加するように設けられている。このため、後に詳述する標定要素算出部13は、本実施の形態において48点の標定点104が有する基準マーク4の撮影測定値(3次元座標値)f(前方交会点P(x,y,z))と基準計測値(3次元座標値)g(P(X,Y,Z))との情報に基づいて、ステレオ撮影部11の外部標定要素(x,y,z)(ω,φ,κ)を算出することができる。
【0093】
なお、48個の基準マーク4の全てについて基準計測値(3次元座標値)gと撮影測定値(3次元座標値)fとが外部標定要素(x,y,z)(ω,φ,κ)の算出に用いられる必要は無い。典型的には、サブ基準体3が有する複数の基準マーク4の基準計測値である3次元座標値gは、複数の基準マーク4の内の任意に定められた一の基準マーク4をサブ基準体3毎に計測基準点(例えば原点(0,0,0))として定めて基準計測されて把握される。即ち、サブ基準体3の各々が独立した基準計測の座標系を有することとなる。このため、複数のサブ基準体3a、3b、3cを積み重ねた場合や、一のサブ基準体3を移動させた場合には、複数又は多数存在することとなる基準計測の座標系(3次元座標値g)を一の3次元計算空間Vにおける3次元座標系に統合することが求められる。この場合には、全ての基準マーク4の基準計測値(3次元座標値g)を一の3次元計算空間Vにおける3次元座標値gとして画成できない場合が生じ得る。個々のサブ基準体3(基準計測の座標系)相互の正確な位置関係は把握されていないからである。
【0094】
この場合には、3次元計算空間Vを画成するための基準とする一のサブ基準体3(一の基準計測の座標系)を定めると共に、定めた一のサブ基準体3(例えば、サブ基準体3b)に対しては3次元座標値gを基準計測値として用いてサブ基準体モデル103bを画成するものとするとよい。一方、定めた一のサブ基準体3以外のサブ基準体3(例えば、サブ基準体3a、3c)に対しては、複数の基準マーク4の相互間距離sを基準計測値として用いてサブ基準体モデル103a、103cを画成するものとするとよい。典型的には、ステレオ撮影部11の光軸付近に位置する最も撮影測定精度の良い(1画素当たりの分解能の高い)領域を基準体モデル102の画成の基準とする領域と定め、その領域において撮影されたサブ基準体3(例えば、サブ基準体3b)が有する基準マーク4に対して、基準計測値(3次元座標値)g及び撮影測定値(3次元座標値)fを用いるものとするとよい。一方、他のサブ基準体3(例えば、サブ基準体3a及び3c)が有する基準マーク4については、その相互間距離(基準計測値s及び撮影測定値m)を外部標定要素の算出に用いるものとするとよい。
【0095】
このように、光軸に最も近い一のサブ基準体3を定め、定められた一のサブ基準体3について一律に一定のサブ基準体モデル103の画成方針を定める場合には、各標定点104毎の光軸からの実際の最短距離を個別に算出すると共に、各標定点毎に個別に数値計算モデルの画成方針を定める場合と比較してより容易に基準体モデル102を画成することができる。あるいは、後に詳述するように、個別の標定点104に対して光軸からの実際の最短距離に応じて個別に異なる拘束条件等を付与した数値計算モデルを画成して、より精度の高い外部標定要素(x,y,z)(ω,φ,κ)を得ることができる優れた基準体モデル102を画成するものとしてもよい。
【0096】
例えば、サブ基準体3bとステレオ撮影部11の光軸とが交差している場合には、サブ基準体3bが他のサブ基準体3a、3cと比較して光軸に最も近いサブ基準体3であるものということができる。この場合には、サブ基準体モデル103bを構成する標定点104は3次元座標値(撮影測定値f及び基準計測値g)の情報により画成するものとするとよい。このように設ける場合には、3次元計算空間Vに対する拘束が強く、外部標定要素(x,y,z)(ω,φ,κ)の算出及びバンドル調整(光束調整)の要となる3次元座標値(撮影測定値)fを精度良く(撮影測定誤差を抑えて)撮影測定された3次元座標値(撮影測定値)fとすることができる。一方で、撮影測定の精度が劣る領域に対しては、3次元計算空間Vに対する拘束が弱く、バンドル調整において大きく調整される相互間距離(撮影測定値)mの情報を用いることができる。
【0097】
また、同様に、後に詳述するバンドル調整(光束調整)において用いる拘束条件は、撮影測定精度の良い(信頼性の高い)3次元座標値(撮影測定値)fに対しては対応する3次元座標値(基準計測値)gの拘束条件と共により大きな重み付けがなされた(調整範囲の小さい)拘束条件を用いるものとするとよい。一方、撮影測定精度の劣る(信頼性が高くない)領域に位置する複数の標定点104の相互間距離(撮影測定値)mに対しては、対応する基準計測値(相互間距離)sの拘束条件と共により小さな重み付けがなされた(調整範囲の大きい)拘束条件を付与して基準体モデル102を画成するものとするとよい。このように設けると、撮影測定精度の高い3次元座標値(撮影測定値f及び基準計測値g)を要部として構成され、撮影測定精度の劣る相互間距離(撮影測定値m及び基準計測値s)について的確にバンドル調整をおこなうことができる優れた基準体モデル102を画成することができる。表1に本実施の形態の3次元計測システム10において用いられる3次元計測空間Rにおける基準計測値g、sと3次元計算空間Vにおける撮影測定値f、mとの対応関係を示す。
【0098】
【表1】

【0099】
表1に示す基準計測値g、sは、撮影測定値f、mと共に基準体情報画成部12が画成する3次元数値解析モデルである基準体モデル102に組み込まれて用いられる。後に詳述するように、標定要素算出部13により外部標定要素(x,y,z)(ω,φ,κ)が算出された時点では、基準値110(基準計測値g、s)と撮影測定値f、mとの間には、例えば、標定誤差Eが含まれている。この場合にも、標定要素算出部13が外部標定要素(x,y,z)(ω,φ,κ)のバンドル調整(光束調整)をおこなうことにより、バンドル調整の都度に標定誤差Eを減少させることができる。表1では、バンドル調整1回目の撮影測定値f’’’における標定誤差E’’’を、バンドル調整2回目の撮影測定値f’’において、より少ない標定誤差である標定誤差E’’へと減らすことができることを示している。また、バンドル調整2回目の撮影測定値f’’における標定誤差E’’を、バンドル調整3回目の撮影測定値f’において、更に少ない標定誤差である標定誤差E’へと徐々に標定誤差Eを減らすことができることを示している。
【0100】
なお、表1に示すバンドル調整(光束調整)の例では、基準値110(基準計測値g、s)に対して与えられるバンドル調整の拘束条件を調整幅0(ゼロ)として一切のバンドル調整をおこなわないように設けた例を示している。このため、基準値110(基準計測値g、s)はバンドル調整を通して不変である。他方、後に詳述するように、バンドル調整の拘束条件は、例えば、基準計測値g、s及び撮影測定値f、mの計測精度並びに仮想定義値gi、si及び仮想付与値fi、miの推定精度に基づいて定めるものとしてもよい。また、基準体モデル102(仮想基準体モデル102i)に幾何学条件に基づく拘束条件が付加されている場合には、基準体モデル102(仮想基準体モデル102i)に付加された幾何学条件に基づく拘束条件を用いてバンドル調整をおこなうものとしてもよい。また、幾何学条件に基づく拘束条件に含まれる基準体モデル102が有すべき幾何学条件に照らして外部標定要素(x,y,z)(ω,φ,κ)及び標定誤差Eの標定精度の評価をおこなうものとしてもよい。この場合には、多角的かつ厳密に標定精度の評価をおこなうことができる。
【0101】
本実施の形態の3次元計測システム10は、複数(3個)のサブ基準体3a、3b、3cが各々16個を有する、合わせて48個の基準マーク4の3次元座標値(基準計測値g及び撮影計測値f)の情報を、一体の基準体モデル102が含む(一体の基準モデル102を構成する)48点の標定点104が有する情報として統合して用いることができる。このため、3次元計測システム10が備える標定要素算出部13は、多数の標定点104の情報に基づいてステレオ撮影部11の精度の良い外部標定をおこなうことができるように設けられている。言い換えれば、本実施の形態の3次元計測システム10は、所望の計測精度を有して3次元計測ができるように、基準体情報画成部12を用いて外部標定用の基準体モデル102を一体として画成するように設けられている。なお、標定要素算出部13は外部標定をおこなうことができる他、ステレオ撮影部11の光学特性を補正/調整するための内部標定をおこなうことができるように設けるものとするとよい。
【0102】
本実施の形態の基準体情報画成部12は、更に、3次元計算空間Vにおいて画成した複数の標定点104の相互間距離(撮影計測値)mの情報と、これに対応する基準値110の情報である、3次元計測空間Rにおいて予め基準計測されて把握された複数(3個)のサブ基準体3a、3b、3cが有する複数の基準マーク4の相互間距離(基準計測値)sの情報とを基準体モデル102に付加して画成するように設けるものとしてもよい。この場合に、一の標定点104に複数の相互間距離(撮影測定値m及び基準計測値s)の情報を同時に付加する場合には、基準体情報画成部12は、標定要素算出部13がステレオ撮影部11の外部標定に用いるための標定点104の3次元座標値(撮影測定値f及び基準計測値g)の情報に加えて、更にサブ基準体3が有する幾何学情報を基準体モデル102に追加するように設けられているものといえる。
【0103】
このように、基準体情報画成部12が画成する基準体モデル102の情報に、更に、サブ基準体3が有する幾何学情報を基準値110として追加することにより、後に詳述する標定要素算出部13が撮影測定値f、mに基づいておこなうステレオ撮影部11の外部標定の標定精度を基準値110(基準計測値g、s)に基づいて精度良く評価することができる。このため、標定要素算出部13が撮影測定値f、mに基づいておこなうステレオ撮影部11の外部標定の標定誤差Eを精度良く把握することができる。更に、後に詳述する標定要素算出部13がおこなう外部標定要素(x,y,z)(ω,φ,κ)のバンドル調整(光束調整)をより精度良くおこなうことができる。
【0104】
本実施の形態の基準体情報画成部12は、例えば、一のサブ基準体3aが有する一の側面上に設けられた4個の基準マーク4の情報に対応する3次元計算空間Vにおける4点の標定点104の情報に、4点の標定点104が、同一平面上に存在すべき旨の情報を付加するものとしてもよい。この場合には、例えば、同一平面に存在すべき旨の情報が付加された4点の標定点104が形成する平面度が0(ゼロ)であるものとして基準値110を与えて幾何学条件を付与するものとするとよい。このように設けることにより、幾何学条件に基づく基準値110の情報に基づいて、基準体モデル102を用いておこなう撮影測定値f、mの情報に基づくステレオ撮影部11の外部標定の標定精度を精度良く評価することができる。あるいは、幾何学条件に基づく基準値110に照らして算出される、撮影測定値f、mの情報に基づくステレオ撮影部11の外部標定の標定誤差(例えば、平面度)Eを精度良く把握することができる。
【0105】
また、幾何学条件に基づく基準値110の情報として基準体情報画成部12が画成した平面が、同様に基準体情報画成部12により画成された他の幾何学条件の平面と交差して生じる交線(稜線)の情報を幾何学条件に基づく基準値110の情報として基準体モデル102の情報に付加するものとしてもよい。更に、ボトムアップ・モデリングの要領で、交線(稜線)が交差して生じる交点(サブ基準体モデル103の頂点105)の情報を幾何学条件に基づく基準値110の情報として基準体モデル102の情報に付加するものとしてもよい。
【0106】
例えば、立方体として設けられたサブ基準体3の隣接する2面の間の幾何学条件(例えば、直交)や、表裏を成す2面の間の幾何学条件(例えば、平行)を把握することができるようにサブ基準体3が有する基準マーク4の3次元座標値(基準計測値)gの基準計測をおこない、基準計測された幾何学条件に基づく基準値110を用いて、撮影測定値f、mに基づく外部標定の標定精度の評価を精度良くおこなうものとするとよい。特に本実施の形態において立方体として設けられたサブ基準体3の8つの頂点(サブ基準体モデル103の頂点105)に関連する幾何学条件に基づく基準値110を用いて基準体モデル102を用いた撮影測定値f、mに基づく外部標定の標定精度を評価することは有効である。サブ基準体モデル103の8つの頂点105の幾何学条件は、頂点105に接続する複数の稜線、平面の幾何学条件と相互に関連して複数の幾何学条件を共有し、多くの標定点104の3次元座標値f並びに相互間距離mの情報に相互作用を与えるからである。
【0107】
更に、本実施の形態の基準体モデル102は、前述の幾何学条件の一環として、あるいは、より物理的な幾何学情報として、サブ基準体モデル103の相互の間の相互干渉不可、あるいはサブ基準体モデル103と床面16(基準平面106)との間の相互不干渉不可の条件を基準値110又は後に詳述する外部標定要素(x,y,z)(ω,φ,κ)のバンドル調整(光束条件)のための拘束条件として用いるものとしてもよい。
【0108】
本実施の形態の標定要素算出部13がおこなう外部標定並びに外部標定要素(x,y,z)(ω,φ,κ)のバンドル調整(光束調整)について説明する。標定要素算出部13は、基準体情報画成部12が一体として画成した、測定対象物1の全体をカバーする基準体2に対応する基準体モデル102を用いて3次元計算空間Vにおいて外部標定要素(x,y,z)(ω,φ,κ)の算出をおこなう。標定要素算出部13による外部標定要素(x,y,z)(ω,φ,κ)の算出は、前述の空間前方交会法の共面条件並びに式(1)及び式(2)に示す座標変換の関係性に基づいて画成された、数値解析モデルである基準体モデル102が有する数値情報を用いて、公知の外部標定法並びに数値解析法により外部標定要素(x,y,z)(ω,φ,κ)を算出するものとするとよい。公知の外部標定法としては、最小二乗法(Least Squares Method)をはじめとして他の多様な近似解法が知られている。
【0109】
即ち、数値解析モデルである基準体モデル102とは、ステレオ撮影部11の外部標定のためにおこなわれる近似解法を用いた光学的数値解析に個別の解析条件の情報を与える、数値入力のための一群の数値情報群(データセット)であるものといる。このため、外部標定計算をおこなう標定要素算出部13は数値解析処理の分野におけるソルバとして位置付けることができ、基準体情報画成部12は数値解析処理の分野におけるプリプロセッサとして位置付けることができる。このため、数値解析モデルである基準体モデル102には、数値解析処理の分野におけるプリプロセッサがおこなう解析条件のモデリング(解析条件の入力)の概念において包含される、入力情報の任意の構造化及び/又は拘束条件の付与等の付随する入力情報の任意の付加がなされてもよい。
【0110】
標定要素算出部13は、前述の外部標定要素(x,y,z)(ω,φ,κ)の算出を近似解法を用いておこなうために、算出された外部標定要素(x,y,z)(ω,φ,κ)には、当然に標定誤差Eが含まれている。標定誤差Eは、基準体モデル102を構成する標定点104が有する撮影測定値f、mの情報と基準値110(基準計測値g、s)の情報とを比較することで把握することができる。標定要素算出部13は、更にバンドル調整(光束調整)をおこなって標定誤差Eを除去するものとするとよい。バンドル調整は、例えば、公知のGauss−Newton法、あるいはLevenberg−Marquardt法を用いておこなうものとするとよい。また、以下に詳述するように、基準体モデル102に拘束条件を設けてバンドル調整をおこなう場合には、Lagrange未定乗数法を用いてバンドル調整をおこなうように設けるものとすると比較的容易にバンドル調整をおこなうことができる。この他にも、例えば、COMPLEX法や遺伝的アルゴリズム法等の任意の最適化手法を用いてバンドル調整をおこなうものとしてもよい。
【0111】
標定要素算出部13は、外部標定並びにバンドル調整(光束調整)に用いる基準体モデル102が、前述の通り、幾何学条件に基づく基準値110を更に含む場合には、基準体モデル102を構成する標定点104が有する撮影測定値f、mの情報と幾何学条件に基づく基準値110の情報とを比較することで、外部標定の標定精度(標定誤差E(表1参照))を評価するものとしてもよい。
【0112】
標定要素算出部13がおこなうバンドル調整(光束調整)においては、拘束条件を用いて標定点104の調整幅を妥当に拘束した状態で、(制限された調整幅の範囲内で)標定点104を調整する調整計算(最適化計算)をおこなうと迅速かつ的確にバンドル調整をおこなうことができる。本実施の形態の基準体モデル102では、基準体モデル102を画成する基準体情報画成部12により、標定点104毎に拘束条件の情報が付加されて基準体モデル102が画成されるものとするとよい。あるいは、基準体モデル102が幾何学条件に基づく基準値110を有する場合には、幾何学条件に基づく基準値110毎に拘束条件の情報が付加されて基準体モデル102が画成されるものとするとよい。
【0113】
基準体情報画成部12は、基準体モデル102を構成する標定点104の情報に、例えば、基準計測値g、s及び撮影測定値f、mの計測精度に応じて、異なる複数の重み付けの値が設けられた拘束条件110を付加するように設けるものとするとよい。具体的には、標定点104が有する基準値110(基準計測値g、s)のバンドル調整(光束調整)の拘束条件は、サブ基準体3a、3b、3cの各々が有する複数の基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sの基準計測の計測精度に応じて定めるものとするとよい。例えば、サブ基準体3a、3b、3c毎に異なる計測精度による基準計測がおこなわれた場合には、各個別のサブ基準体3a、3b、3cに対応するサブ基準体モデル103a、103b、103c毎に基準計測の計測精度に応じて異なる基準値110(基準計測値g、s)の重み付けの値が設けられた、異なる調整幅を有する拘束条件を付加するものとするとよい。同様に、例えば、標定点104の3次元座標値(撮影測定値f、m)のバンドル調整の拘束条件も、撮影測定値f、mの計測精度に応じて異なる重み付けの値(調整幅)を有するように定めるものとするとよい。
【0114】
このように設けることにより、基準体モデル102を構成する複数のサブ基準体モデル103a、103b、103cは、バンドル調整(光束調整)の調整代(調整幅)を所定の範囲内に拘束する拘束条件の情報を更に有することができる。また、バンドル調整における拘束条件の重み付けの値は、予め把握された各個別のサブ基準体モデル103a、103b、103cに対応する、各個別のサブ基準体3a、3b、3cが有する複数の基準マーク4の基準計測値g、sの計測精度及び撮影測定値f、mの計測精度に応じて個別に定めるものとするとよい。このように設けると、より精度良く計測された基準計測値g、sを基準値110(表1参照)として、撮影測定値f、mに基づいて算出された外部標定要素(x,y,z)(ω,φ,κ)をバンドル調整することができる。
【0115】
例えば、計測精度の良い基準計測値、撮影測定値の情報を有する標定点104に付加されるバンドル調整(光束調整)の拘束条件は、計測精度に応じてより少ない調整代(調整幅)の範囲内で抑制されてバンドル調整がなされるように定めるものとするとよい。一方、計測精度のより劣る基準計測値、撮影測定値の情報を有する標定点104に付加されるバンドル調整の拘束条件は、計測精度に応じてより大きな調整代(調整幅)の範囲内において、より積極的にバンドル調整がなされるように定めるものとするとよい。
【0116】
このように、基準体モデル102のバンドル調整(光束調整)の拘束条件をサブ基準体3a、3b、3c毎の基準計測値、撮影測定値の計測精度に応じて適切に定めることができるから、更に精度のよい外部標定要素(x,y,z)(ω,φ,κ)を得ることができる。このため、サブ基準体3a、3b、3cを更に小型に設けることができると共に、取り扱いの容易な小型のサブ基準体3を備える本実施の形態の3次元計測システム10を更に小型に設けることができる。
【0117】
また、バンドル調整U03の拘束条件の重み付けは、ステレオ撮影部11の光軸に近づくに従って大きな重み付けの値が付与されるように設けるものとするとよい。ステレオ撮影部11の光軸付近の撮影領域では、計測精度のより良い撮影測定値(3次元座標値f及び/又は相互間距離m)を得ることができるものといえる。このため、ステレオ撮影部11の光軸付近の撮影測定値(3次元座標値f及び/又は相互間距離m)を対象として、より大きな重み付けの値が付与された、よりバンドル調整幅の少ない拘束条件を付与してバンドル調整(光束調整)U03をおこなうものとするとよい。一方、ステレオ撮影部11の光軸から遠隔した撮影領域では、撮影測定値(3次元座標値f及び/又は相互間距離m)の計測精度が比較的劣る。このため、ステレオ撮影部11の光軸から遠隔した撮影測定値(3次元座標値f及び/又は相互間距離m)に対しては、より小さな重み付けの値が付与された、よりバンドル調整幅の大きい拘束条件を付与して、より積極的にバンドル調整をおこなうものとするとよい。このように設けると、計測精度のより良い撮影測定値(3次元座標値f及び/又は相互間距離m)を重視したバンドル調整をおこなうことができる。
【0118】
なお、光軸付近とは、典型的にはステレオ撮影部11のレンズの光軸の周辺の領域をいうが、広義には、撮影測定精度の最も高い、1画素当たりの分解能が最も高い撮影領域をいい、レンズの特性他の(内部標定的な)影響によって、必ずしもレンズの光軸を中心とする円形の撮影領域をいうものとは限らない。具体的には、「光軸付近」の領域は、個別のステレオ測定部11(カメラ/レンズ)を用いて撮影実験/実測を行うことにより、1画素当たりの分解能が最も高い撮影領域を定めることで、「光軸付近」に相当する撮影領域を定めるものとするとよい。
【0119】
例えば、バンドル調整(光束調整)U03の拘束条件の重み付けは、光軸を含むステレオ撮影部11の撮影領域(画角)の半分から中央寄りの中央部と、外側寄りの周辺部とで異なる重み付けの値を付与するように設けるものとするとよい。この場合には、ステレオ撮影部11の光軸を含む中央部に含まれる標定点104には、より大きな拘束条件の重み付けの値を付与して、バンドル調整幅を小さく抑えるものとするとよい。一方、ステレオ撮影部11の撮影領域の周辺部に含まれる標定点104には、より小さな拘束条件の重み付けの値を付与して、バンドル調整幅を大きく設けるものとするとよい。更に、ステレオ撮影部11の撮影領域(画角)を前述の2分割よりも細かく分割して、より多くの異なる重み付けの値を付与するように設けるものとしてもよい。なお、基準体モデル102が含む標定点104のバンドル調整の拘束条件の重み付けの付与の他の理由に基づいて、例外的にステレオ撮影部11の撮影領域(画角)の周辺部に中央部よりも大きな重み付けの値が付与された少数の標定点104が含まれる場合も存在し得る。拘束条件は複数の理由に基づいて(例えば、複数の理由を重ね合わせて)重み付けの値を決定することができるからである。このような場合にも、全体としてステレオ撮影部11の光軸に近づくに従って大きな重み付けの値が付与される傾向を有している場合には、ステレオ撮影部11の光軸に近づくに従って大きな重み付けの値が付与されているものということができる。
【0120】
また、バンドル調整U03の拘束条件の重み付けは、相互間距離s、si(図6参照)、m、mi(図6参照)に付与される重み付けの値と比較して、3次元座標値g、gi(図6参照)、f、fi(図6参照)に付与される重み付けの値が大きな値となるように設けるものとするとよい。標定点104の3次元座標値g、gi、f、fiに付与される拘束条件は、その性質から、3次元計算空間Vに対して直接的にバンドル調整(光束調整)U03の拘束をおこなうことができる。このため、標定点104の3次元座標値g、gi、f、fiを対象として、より大きな重み付けの値が付与された、バンドル調整幅のより少ない拘束条件を付与してバンドル調整U03をおこなうものとするとよい。この場合には、基準体モデル102を3次元計算空間Vに対して拘束することができるから、例えば、バンドル調整によって、基準体モデル102が3次元計算空間V内において意図しない回転をしてしまう等の不具合が生じることを防止することができる。
【0121】
一方で、標定点104の相互間距離s、si、m、miの情報は、その性質から、例えば、複数の標定点104がその相互間距離s、si、m、miを保ったまま、3次元計算空間V内を自由に移動することができる自由度を有しているものといえる。このため、標定点104の相互間距離s、si、m、miの情報は、3次元計算空間Vに対して基準体モデル102を直接的に拘束する拘束条件となり得ない。このため、相互間距離s、si、m、miに対しては、より小さな重み付けの値が付与された、バンドル調整幅のより大きい拘束条件を付与して、より積極的にバンドル調整(光束調整)U03をおこなうものとするとよい。このように設ける場合には、3次元座標値g、gi(図6参照)、f、fi(図6参照)に付与される拘束条件を3次元計算空間Vに対する基準体モデル102のアンカーとする一方で、相互間距離s、si、m、miの値をより大きく調整してバンドル調整をおこなうことができる。このため、3次元計算空間Vに対する基準体モデル102の調整幅を所定の拘束条件の範囲内に留めることができると共に、相互間距離s、si、m、miの値をより大きく調整することができるから、標定誤差Eのより少ない外部標定要素(x,y,z)(ω,φ,κ)を更に短時間で算出することができる、優れたバンドル調整計算をおこなうことができる。
【0122】
あるいは、基準体情報画成部12は、更に、基準体モデル102及びサブ基準体モデル103が有する幾何学条件に基づく基準値110に応じて拘束条件を設けるものとしてもよい。前述の通り、基準体モデル102並びにサブ基準体モデル103には、例えば、各々の標定点104が有する基準計測値g、s及び撮影測定値f、mの計測精度に基づいて、各個別に異なる条件で与えられる第1の拘束条件が与えられて設けられる。この拘束条件に加えて、更に幾何学条件に基づく基準値110に応じて設けられる第2の拘束条件を2重にかけるものとしてもよい。
【0123】
この場合には、基準計測値g、s及び撮影測定値f、mの計測精度に応じて与えられた第1の拘束条件により制限されるバンドル調整代(調整幅)の自由度の範囲内において、更に幾何学条件に応じて与えられた第2の拘束条件によりバンドル調整量が制限されることとなる。このため、一の標定点104にバンドル調整量を与えることにより、調整量を与えられた一の標定点104との間に幾何学条件に基づく第2の拘束条件を有して相互に関連する他の標定点104に対しても連動して相応のバンドル調整量を与えることができる。このため、より的確にバンドル調整量を基準体モデル102の全体に分散させて与えることができる。
【0124】
例えば、本実施の形態において基準体モデル102が有する48個の標定点104の内で、最大の標定誤差Eの量を有する一の標定点104のみにバンドル調整量を付与することで、一の標定点104と相互に幾何学条件に基づく拘束条件を共有する(拘束された)他の標定点104にバンドル調整量を適度に分散させて与えることができる。基準体モデル102において最大の標定誤差Eの量を有する一の標定点104は、例えば、全ての標定点104の撮影測定値(3次元座標値)fと基準計測値(3次元座標値)gとを比較して、最大の差異(標定誤差E)を有する標定点104に定めるものとしてもよい。なお、このように、一の拘束条件として設けられた幾何学条件に基づく拘束条件の範囲内においてバンドル調整(光束調整)をおこなう場合にも、他の拘束条件として同時に設けられる基準計測値g、s及び撮影測定値f、mの計測精度に基づくバンドル拘束条件を2重に付加して設けておくことで、標定点104が基準計測値g、s及び撮影測定値f、mの計測精度に基づく拘束条件を超えて調整されてしまうことがない。
【0125】
この場合には、はじめに、最大の標定誤差Eを有する一の標定点104(又は頂点105)を決定し、決定した標定点104(又は頂点105)に加えるべき、推定標定誤差量及び推定標定誤差方向(推定誤差ベクトル)に基づくバンドル調整ベクトル(調整量及び調整方向)を決定するものとするとよい。続いて、決定したバンドル調整ベクトルを拘束条件が2重に設けられた調整対象の標定点104(又は頂点105)に付与するものとするとよい。このように設けると、基準計測値g、s及び撮影測定値f、mの計測精度に基づく第1の拘束条件が許容する調整範囲内において、幾何学条件に基づく第2の拘束条件を利用して付与するバンドル調整ベクトルをより多くの標定点104(又は頂点105)に分散してバンドル調整(光束調整)をおこなうことができる。このようにバンドル調整量を与える場合には、歪み等の一定の傾向を有して基準体モデル102又はサブ基準体モデル103の全体に分散する標定誤差Eを効果的に除去することができる。
【0126】
標定要素算出部13がおこなうバンドル調整(光束調整)では、3次元計算空間Vの基準体モデル102に付加された全ての拘束条件が許容する調整範囲の範囲内において、基準体モデル102を構成する標定点104が(試行/イタレーション毎に)繰り返して調整される。このようにして、表1に示すようにバンドル調整をおこなう度に、基準体モデル102及び外部標定要素(x,y,z)(ω,φ,κ)が含む標定誤差Eが、徐々に減少するようにバンドル調整がなされて、より精度の高いステレオ撮影部11の定位が成される。
【0127】
図2を参照して、本発明の第2の実施の形態に係る3次元計測システムについて説明する。本実施の形態の3次元計測システム10は、床面16の上、及び寸法精度を問わない高さの異なる2つの架台7a、7bの上に一個のサブ基準体3を順次載せることで、測定対象物1である人体の全体をカバーする、基準体2が占める3次元計測空間を一個のサブ基準体3で順次カバーするように設けられる。また、この際、ステレオ撮影部11は、サブ基準体3の移動に合わせて順次時間をずらして撮影された3組のステレオ画像20a、20bを得るように設けられる。この場合には、一個のサブ基準体3のみを用いてステレオ撮影部11の外部標定をおこなうことができる。
【0128】
この場合には、3次元計算空間Vに画成される基準体モデル102は、3次元計測空間Rにおいて測定対象物1の全体をカバーするように複数の3次元座標位置に順次配置されたサブ基準体3をステレオ撮影部11で複数回撮影して得た複数のステレオ画像20a、20bに基づいて画成される。具体的には、基準体モデル102は、複数(4方向から3回に渡って同時撮影された合計12組)のステレオ画像20a、20bに基づいてサブ基準体3が有する基準マーク4が空間前方交会法の共面条件に従って3次元計算空間Vに投影されて画成される複数(48点)の標定点104を含んで画成される。
【0129】
本実施の形態では、3次元計測空間Rにおいてサブ基準体3の配置位置を測定対象物1の全体をカバーするように順次変更して、複数の異なる3次元座標位置にサブ基準体3を順次配置することができる。また、複数(3箇所)の異なる3次元座標位置に配置されたサブ基準体3を複数(3箇所)の配置位置の各々においてステレオ撮影部11で撮影して、複数(4方向から3回に渡って同時撮影された合計12組)のステレオ画像20a、20bを得ることができる。あるいは、同一(4組)のステレオ画像20a、20b上に複数回露光(3重写し)してサブ基準体3のステレオ画像20a、20bを得るものとしてもよい。本実施の形態では、複数(4方向から3回に渡って同時撮影された合計12組)のステレオ画像20a、20bに基づいて、前述の第1の実施の形態と同様に、多数(48点)の標定点104を含む基準体モデル102を基準体情報画成部12により3次元計算空間Vに一体として画成することができる。なお、本実施の形態に示す3回に限られることなく、配置位置の変更の回数並びに撮影回数を増やすことで、更に多くの標定点104を画成するものとしてもよい。
【0130】
この際、3次元計測空間Rにおける複数の3次元座標位置へのサブ基準体3の配置は、例えば、複数の異なる高さの架台7(第1の架台7a及び第2の架台7b)の上にサブ基準体3を順次載置するように設けることができる。また、基準体モデル102(標定点104)に付加する基準値110の情報として用いる、サブ基準体3が有する複数の基準マーク4の基準計測値(3次元座標値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sの情報は同一のものであるから、一のサブ基準体3に対応して繰り返し重複して用いるものとするとよい。
【0131】
このため、3次元計測システム10は、基準体2よりも小型のサブ基準体3を測定対象物1の全体をカバーするように複数の3次元座標位置に順次配置してステレオ撮影部11で撮影したステレオ画像20a、20bに基づいて、測定対象物1の全体をカバーする基準体2に対応する基準体モデル102を3次元計算空間Vに画成することができる。また、標定要素算出部13は、基準体モデル102を用いてステレオ撮影部11を精度良く外部標定して測定対象物1を3次元計測することができるから、取り扱いの容易な小型のサブ基準体3を備える3次元計測システム10を小型に設けることができる。
【0132】
図3を参照して、本発明の第3の実施の形態に係る3次元計測システムについて説明する。本実施の形態の3次元計測システム10は、移動するサブ基準体3をステレオ撮影部11により一連の動画として連続撮影し、ステレオ撮影部11の外部標定をおこなうように設けられている。この場合には、3次元計算空間Vに画成される基準体モデル102は、3次元計測空間Rにおいて測定対象物1の全体をカバーするように複数の3次元座標位置に移動されるサブ基準体3をステレオ撮影部11で連続撮影して得た複数のステレオ画像20a、20bに基づく複数の標定点104を含んで画成される。
【0133】
本実施の形態では、3次元計測空間Rにおいてサブ基準体3の配置位置を測定対象物1の全体をカバーするように移動変更して複数の異なる3次元座標位置にサブ基準体3を配置することができる。また、複数の異なる3次元座標位置に配置されたサブ基準体3を複数の配置位置の各々においてステレオ撮影部11で連続撮影(動画撮影)して複数のステレオ画像20a、20bを得ることができる。また、複数のステレオ画像20a、20bに基づいて画成される複数の標定点104を含む基準体モデル102を基準体情報画成部12により3次元計算空間Vに一体として画成することができる。
【0134】
例えば、一個のサブ基準体3を床面16から鉛直方向に2m移動する(これよりも高い、あるいは低い高さまでの移動としてもよい)と共に、サブ基準体3の移動開始位置と停止位置と中間位置とにおいて、サブ基準体3をステレオ撮影部11で連続撮影して4方向から3回に渡って同時撮影された合計12組のステレオ画像20a、20bを得るように設けることができる。ステレオ画像20a、20bは、前述の通り、ステレオ撮影部11による連続撮影(動画撮影)により得ることができる多数のステレオ画像20a、20bの中から同時に撮影された一箇所の配置位置につき4組8枚のステレオ画像20a、20bを3箇所の配置位置について抽出して得るものとするとよい。あるいは、移動するサブ基準体3を撮影の都度停止して、ステレオ撮影部11により静止画を撮影することで4方向から3回に渡って同時撮影された合計12組のステレオ画像20a、20bを得るように設けるものとしてもよい。
【0135】
本実施の形態では、4方向からの3回の同時撮影で得られる合計12組のステレオ画像20a、20bに基づいて、撮影測定値f、m並びに基準計測値g、sの情報を有する合計48点の標定点104の情報を基準体情報画成部12を用いて3次元計算空間Vにおいて統合(合成)して画成することで、サブ基準体3よりも大型の一体の基準体2に対応する基準体モデル102(3次元数値解析モデル)を画成することができる。なお、ステレオ撮影部11による連続撮影(動画撮影)では、ブレのないステレオ画像20a、20bを得ることができる撮影速度(フレーム・レート)の範囲内において、より多くのステレオ画像20a、20bを撮影するように設けるものとしてもよい。この場合には、更に多くの標定点104により構成される基準体モデル102を基準体情報画成部12で画成することができるから、更に多くの標定点104に基づいてステレオ撮影部11の外部標定をより精度良くおこなうことができる。
【0136】
3次元計測空間Rにおける複数の3次元座標位置へのサブ基準体3の移動は、例えば、3次元計測システム10の外部標定をおこなう標定者がサブ基準体3を両手で把持して移動するように設けるものとしてもよい。この場合には、サブ基準体3の移動は、一切のガイド及び駆動装置を用いることなく、標定者がサブ基準体3を両手で把持した状態で、床面16上から標定者の頭上の位置にまで鉛直方向に持ち上げることで実現することができる。この場合には、複雑なガイド及び駆動装置を用いることなく、測定対象物1である人体の十分に上方の位置にまでサブ基準体3を鉛直方向に移動して標定をおこなうことができる。
【0137】
なおこの際、更に小型の(例えば、一辺が30cmの)サブ基準体3を用いて、鉛直方向のみならず、水平方向にもサブ基準体3の移動をおこなって、更に小型のサブ基準体3を用いて測定対象物1である人体の全体をカバーするものとしてステレオ撮影部11の外部標定をおこなうものとしてもよい。
【0138】
本実施の形態の3次元計測システム10では、実空間である3次元計測空間Rにおいて、大型でリジットな基準体2を物理的に備えて用いることがなく、比較的小型で扱いの容易なサブ基準体3を用いて測定対象物1である人体の全体をカバーしてステレオ撮影部11を精度良く外部標定することができる。また、ステレオ撮影部11によるサブ基準体3の撮影を連続撮影(動画撮影)によっておこなうことにより、連続撮影(一連の動画撮影)により得られる、多数のステレオ(静止)画像20a、20bに基づいて、ステレオ撮影部11の外部標定計算をより緻密におこなうことができる。このため、更に高精度にステレオ撮影部11を定位して3次元計測をおこなうことができる。
【0139】
図4を参照して、本発明の第3の実施の形態に係る、一の実施の形態の3次元計測システムについて説明する。本実施の形態の3次元計測システム10では、サブ基準体3の移動は、ガイド装置であるガイド部8によりガイドされておこなわれるように設けられる。このように構成することにより、前述の3次元計測空間Rにおける複数の3次元座標位置へのサブ基準体3の移動は、ガイド部8でガイドされておこなうように設けることができる。
【0140】
例えば、サブ基準体3の移動は、サブ基準体3をリニアガイド又はガイドポスト/ブシュー等を用いて鉛直方向にガイドして支持すると共に、リニアモータ、ウォームギア付ステッピングモータ等の駆動力を用いておこなうように設けるものとするとよい。あるいは、滑車とロープを用いてサブ基準体3を鉛直方向に手動他で吊り上げるように設けるものとするとよい。このように、サブ基準体3をガイドすると共に駆動して、サブ基準体3を床面16から、例えば2m上方の位置にまで、鉛直方向に移動するように設けることができる。
【0141】
このため、3次元計測システム10を用いた測定対象物1である人体の3次元計測を、小型で取り扱いの容易な一個のサブ基準体3を用いて更に容易におこなうことができると共に、小型のサブ基準体3を一個のみ備える3次元計測システム10を小型に設けることができる。
【0142】
図6を参照して、本発明の第4の実施の形態に係る3次元計測システムについて説明する。本実施の形態の3次元計測システム10では、基準体情報画成部12は、3次元計測空間Rにおいて測定対象物1の一部をカバーするように想定される仮想サブ基準体3iの仮想基準マーク4iの3次元座標値(仮想定義値)giに対応して、3次元計算空間Vの3次元座標点(値)(仮想付与値)fiに標定点104を付加するように設けられる。基準体情報画成部12は、3次元計算空間Vにおける3次元座標点(値)(仮想付与値)fiに標定点104を画成して、複数の標定点104を含む仮想サブ基準体モデル103iをステレオ撮影部11を外部標定するための数値解析モデルとして画成するように設けられる。仮想サブ基準体モデル103iは、基準体情報画成部12が3次元計算空間Vにおいて最終的に画成する仮想基準体モデル102iの一部を構成する。
【0143】
本実施の形態の基準体情報画成部12が3次元計算空間Vに最終的に画成する仮想基準体モデル102iは、3次元計測空間Rにおいて測定対象物1である人体の全体をカバーするように想定された、仮想基準体2iに対応して画成される。言い換えれば、仮想サブ基準体モデル103iは、3次元計測空間Rにおいて測定対象物1である人体の全体をカバーするように、基準体情報画成部12が実在するサブ基準体3に対して想定して付加する、測定対象物1の一部をカバーする仮想サブ基準体3iに対応して、基準体情報画成部12により3次元計算空間Vに画成される。
【0144】
基準体情報画成部12は、例えば、図示のように、3次元計測空間Rに配置された実在する一個のサブ基準体3が有する16個の基準マーク4の基準計測値(3次元座標値)gが上下方向に各々70cmずつ移動したものと想定する3次元座標位置(仮想定義値)giに32個(16個の2倍)の仮想基準マーク4iを有する2個の仮想サブ基準体3iを想定することができる。この場合には、基準体情報画成部12は、3次元計測空間Rにおいて想定した32個の仮想基準マーク4iの3次元座標値(仮想定義値)giに対応して、3次元計算空間Vにおいて、32点の3次元座標点(値)(仮想付与値)fiに標定点104を追加して仮想サブ基準体モデル103iを画成することができる。なお、3次元計測空間Rにおいて、実在する一個のサブ基準体3の配置は、例えば、図2に示す架台7a、7b等を用いておこなうものとするとよい。
【0145】
あるいは、基準体情報画成部12は、実在するサブ基準体3をステレオ撮影部11で撮影したステレオ画像20a、20bに基づいて得られたサブ基準体モデル103が3次元計算空間Vにおいて有する16個の標定点104の3次元座標値(撮影測定値)fに基づいて、仮想基準マーク4iの3次元座標値(仮想定義値)giを想定するものとしてもよい。この場合には、3次元計算空間Vにおける撮影測定点(値)(3次元座標値)fを上下方向に各々70cm平行移動した3次元計算空間Vにおける3次元座標位置に対応する、3次元計測空間Rにおける3次元座標位置(値)(仮想定義値)giに32個(16個の2倍)の仮想基準マーク4iを有する2個の仮想サブ基準体3iを想定することができる。また、このように、3次元計算空間Vにおける撮影測定点(値)(3次元座標値)fに対応する3次元計測空間Rの3次元座標位置(点)(仮想定義値)giに仮想基準マーク4iを有する仮想サブ基準体3iを想定すると共に、更に、3次元計測空間Rにおける仮想定義値(3次元座標値)giに対応する3次元計算空間Vにおける3次元座標点(値)(仮想付与値)fiに標定点104を画成して、仮想サブ基準体モデル103iを画成することができる。
【0146】
実在するサブ基準体モデル103と同一の形状を有するように想定されたこのような仮想サブ基準体モデル103iの画成は、より直接的に、3次元計算空間Vにおけるサブ基準体モデル103の情報の複製(コピー)による仮想サブ基準体モデル103iの画成であるものと捉えることもできる。このように捉える場合には、言い換えて、3次元計算空間Vにおいてサブ基準体モデル103の周囲の空間にサブ基準体モデル103の情報が複製(コピー)された情報により構成される仮想サブ基準体モデル103iを画成して、3次元計測空間Rにおいて測定対象物1の全体をカバーする仮想基準体2iに対応する仮想基準体モデル102iを画成することができるものと捉えることもできる。
【0147】
仮想サブ基準体3iの寸法形状は、撮影測定される一の実在するサブ基準体3あるいは(例えば、保管場所に保管されている)他の実在するサブ基準体3と同一形状として想定する場合に限られず、撮影測定される一の実在するサブ基準体3がカバーすることができない測定対象物1の一部をカバーするように、実在するサブ基準体3とは異なる架空の寸法形状において、仮想サブ基準体3iを想定するものとしてもよい。例えば、3次元計測空間Rにおいて測定対象物1の中央部をカバーするように配置された撮影測定される一の実在するサブ基準体3の上面と、測定対象物1の上部をカバーする架空の寸法形状に想定された、実在するサブ基準体3とは異なる寸法形状を有する、一の仮想サブ基準体3iの下面とが接するように想定をおこなうものとしてもよい。同じく、3次元計測空間Rにおいて測定対象物1の中央部をカバーするように配置された撮影測定される一の実在するサブ基準体3の下面と、測定対象物1の下部をカバーする架空の寸法形状に想定された、実在するサブ基準体3とは異なる寸法形状を有する、他の仮想サブ基準体3iの上面とが接するように想定をおこなうものとしてもよい。
【0148】
即ち、基準体情報画成部12は、3次元計測空間Rにおいてサブ基準体3が測定対象物1をカバーできない領域に測定対象物1の一部をカバーする仮想サブ基準体3iを、補うように想定すると共に、3次元計算空間Vに仮想サブ基準体モデル103iを仮想的に付加して画成するように設けられる。基準体情報画成部12が3次元計算空間Vに仮想的に付加する仮想サブ基準体モデル103iの情報には、例えば、3次元計測空間Rにおいて仮想サブ基準体3iが有するものと定義された複数の仮想基準マーク4iの相互間距離(仮想定義値)siの情報に対応する仮想付与値(相互間距離)miの情報が含まれるものとしてもよい。また、仮想サブ基準体モデル103iが含む標定点104の情報には、ステレオ撮影部11の外部標定のための標定精度の評価並びに外部標定要素(x,y,z)(ω,φ,κ)のバンドル調整の拘束条件に用いるための前述の基準値110(例えば、仮想定義値gi、si)の情報が付加されて画成されるものとしてもよい。
【0149】
仮想サブ基準体モデル103iの標定点104が含む仮想付与値(3次元座標値fi及び/又は仮想相互間距離mi)の情報及び基準値110(例えば、仮想定義値gi、si)の情報は、基準体情報画成部12により推定された推定値である。このため、仮想付与値fi、miの情報及び基準値110(例えば、仮想定義値gi、si)の情報の推定が精度良くなされる場合には、これらの情報を用いて精度良くステレオ撮影部11の外部標定をおこなうことができるものといえる。仮想付与値fi、miの推定は、予め求められたステレオ撮影部11の内部標定要素を考慮して行うものとするとよい。即ち、予め撮影実験/実測により求められた個別のステレオ撮影部11のレンズ収差の影響等を含めて(考慮して)仮想付与値fi、miの推定を行うことで精度の良い仮想付与値fi、miの推定を行うことができる。
【0150】
一方、仮想付与値fi、miの情報及び基準値110(例えば、仮想定義値gi、si)の情報の推定精度が求めるステレオ撮影部11の外部標定精度並びに3次元計測精度に及ばない場合も存在し得る。この場合にも、推定値である仮想付与値fi、miの情報及び基準値110(例えば、仮想定義値gi、si)の情報を用いてステレオ撮影部11の外部標定をおこなった後に、得られた外部標定要素(x,y,z)(ω,φ,κ)の値を基準値110(例えば、基準体モデル102が有する、実在するサブ基準体3の基準計測値g、s)の情報に基づいてバンドル調整(光束調整)することで、所望の外部標定精度を有する外部標定要素(x,y,z)(ω,φ,κ)を得て、精度良く3次元計測をおこなうことができる。この場合には、より迅速に精度の良い外部標定要素(x,y,z)(ω,φ,κ)を得るために、後に詳述するように、計測精度、推定精度に基づいて異なる重み付けのなされた拘束条件を設けてバンドル調整をおこなうものとするとよい。
【0151】
例えば、本実施の形態の標定要素算出部13は、基準体情報画成部12が画成した一体の基準体モデル102である仮想基準体モデル102iが含む、予め把握された実在するサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sの情報を基準値110としてバンドル調整(光束調整)をおこなうように設けることができる。この場合には、ステレオ撮影部11で撮影して得たステレオ画像20a、20bに基づく実在するサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)gの撮影測定値f及び/又は複数の基準マーク4の相互間距離(基準計測値)sの撮影測定値mをバンドル調整の主な対象とするとよい。また、基準体情報画成部12が画成した仮想サブ基準体3iが有するものと定義された複数の仮想基準マーク4iの3次元座標値(仮想定義値)giに対応する仮想付与値fi及び/又は複数の仮想基準マーク4iの相互間距離(仮想定義値)siに対応する仮想付与値(相互間距離)miをバンドル調整の主な対象とするとよい。この場合には、バンドル調整により基準値110(仮想基準体モデル102iが含む基準計測に基づく基準計測値g、s)と撮影測定値f、mとの間の誤差の少ない外部標定要素(x,y,z)(ω,φ,κ)を算出するように設けることができる。
【0152】
前述の通り、標定要素算出部13は、サブ基準体モデル103が含む標定点104が有する撮影測定値f、m及び基準値110(基準計測値g、s)の情報をステレオ測定部11の外部標定並びにバンドル調整(光束調整)において用いることができる。これに加えて、本実施の形態の標定要素算出部13では、基準体情報画成部12が3次元計算空間Vに仮想的に付加して画成した仮想サブ基準体モデル103iが含む仮想付与値fi、mi及び基準値110(例えば、仮想定義値gi、si)の情報を用いてステレオ撮影部11の外部標定並びにバンドル調整をおこなうことができる。更に、前述の通り、サブ基準体モデル103及び仮想サブ基準体モデル103iが有する幾何学条件を拘束条件として用いる場合には、更に精度良くバンドル調整をおこなうことができる。このため、本実施の形態の標定要素算出部13は、サブ基準体モデル103及び仮想サブ基準体モデル103iが有する、より多くの情報に基づいてより精度良くステレオ撮影部11の外部標定並びにバンドル調整をおこなうことができるから、よりサブ基準体3を小型に設けることができる。また、容易に取り扱うことができる小型のサブ基準体3を備える3次元計測システム10を小型に設けることができる。
【0153】
本実施の形態の標定要素算出部13がおこなうバンドル調整(光束調整)における拘束条件の重み付けについて説明する。本実施の形態におけるバンドル調整の重み付けは、3次元計測空間Rに配置された一の実在するサブ基準体に対応して画成されたサブ基準体モデル103を構成する標定点104が有する基準計測値g、s及び撮影測定値f、mの情報をより重視する(調整量を抑制する)ように拘束条件を設けるものとするとよい。一方で、基準体情報画成部12が3次元計測空間Rにおいて想定した仮想サブ基準体3iに対応して3次元計算空間Vに仮想的に付加して画成された仮想サブ基準体モデル103iを構成する標定点104が有する仮想定義値gi、si及び仮想付与値fi、miの情報に対しては、より低い重み付けの値を付与してより積極的にバンドル調整するように拘束条件を設けるものとするとよい。
【0154】
即ち、本実施の形態の外部標定要素(x,y,z)(ω,φ,κ)のバンドル調整(光束調整)は、サブ基準体モデル103及び仮想サブ基準体モデル103iについて各個別に重み付けがなされた拘束条件を有しておこなわれるように設けるものとするとよい。このように設けることにより、実在するサブ基準体3を実際に計測して得た情報により構成されるサブ基準体モデル103の情報を、基準体情報画成部12が3次元計算空間Vに仮想的に付加して画成した情報により構成される仮想サブ基準体モデル103iの情報よりも重視して(調整量を抑制して)バンドル調整をおこなうように設けることができる。
【0155】
また、重み付けの値は、例えば、基準体情報画成部12により想定されて付加(画成)された仮想サブ基準体モデル103iが含む仮想付与値fi、mi及び基準値110(例えば、仮想定義値gi、si)の推定精度に応じて個別に定められるように設けるものとするとよい。このように設けることにより、基準体情報画成部12により想定されて付加(画成)された仮想サブ基準体モデル103iが含む仮想付与値fi、mi及び基準値110(例えば、仮想定義値gi、si)の推定精度に応じてバンドル調整(光束調整)の拘束条件を適切に定めることができる。即ち、例えば、推定精度のより良い仮想定義値、仮想付与値の情報を有する標定点104に付加されるバンドル調整の拘束条件は、推定精度に応じてより少ない調整代(調整幅)の範囲内で抑制されてバンドル調整がなされるように定めるものとするとよい。一方、推定精度のより劣る仮想定義値、仮想付与値の情報を有する標定点104に付加されるバンドル調整の拘束条件は、推定精度に応じてより大きな調整代(調整幅)の範囲内において、より積極的にバンドル調整がなされるように定めるものとするとよい。
【0156】
例えば、3次元計算空間Vにおけるサブ基準体モデル103が有する、標定点104の基準値110(基準計測値g、s)の拘束条件として、実在するサブ基準体3の基準計測の計測精度の最大変動量を調整幅として定量的に与えるものとするとよい。例えば、基準計測の測定精度が±0.2mmである場合には、標定点104の基準値110(基準計測値g、s)に0.4mmの調整幅を与えるものとするとよい。また、3次元計算空間Vにおけるサブ基準体モデル103が有する、標定点104の3次元座標値(撮影測定値)f及び/又は相互間距離(撮影測定値)mの拘束条件として、実在するサブ基準体3の撮影測定の測定精度の最大変動量を調整幅として定量的に与えるものとするとよい。例えば、撮影測定の測定精度が±0.5mmである場合には、標定点104の3次元座標値(撮影測定値)f及び/又は相互間距離(撮影測定値)mに1mmの調整幅を与えるものとするとよい。
【0157】
また、基準体情報画成部12により3次元計算空間Vに仮想的に付加(画成)された仮想サブ基準体モデル103iが有する、標定点104の基準値110(例えば、仮想定義値gi、si)(表1参照)の拘束条件として、仮想定義値gi、siの想定精度の最大変動量に基づく値を調整幅として定量的に与えるものとするとよい。例えば、仮想定義値gi、siの想定の参考としたサブ基準体3の基準計測の計測精度が±0.2mmである場合には、計測精度の最大変動量の4倍の値の1.6mmを基準値110(仮想定義値gi、si)の想定精度の調整幅として与えるものとするとよい。また、基準体情報画成部12により3次元計算空間Vに仮想的に付加(画成)された仮想サブ基準体モデル103iが有する、標定点104の3次元座標値(仮想付与値)fi及び/又は相互間距離(仮想付与値)miの拘束条件として、仮想付与値fi、miの想定精度の最大変動量に基づく値を調整幅として定量的に与えるものとするとよい。例えば、仮想付与値fi、miの想定の参考としたサブ基準体3の基準計測の計測精度が±0.2mmである場合には、計測精度の最大変動量の8倍の値の3.2mmを標定点104の3次元座標値(仮想付与値)fi及び/又は相互間距離(仮想付与値)miの想定精度の調整幅として与えるものとするとよい。
【0158】
基準計測値g、s(基準値110)、撮影測定値f、m、仮想定義値gi、si(基準値110)、仮想付与値fi、miの調整量がこれらの拘束条件(調整幅)を越えて変動することがないようにバンドル調整計算を拘束することで、バンドル調整計算の発散を防止して確実に集束させることができると共に、迅速かつ高精度にバンドル調整(光束調整)をおこなうことができる。
【0159】
あるいは、3次元計算空間Vにおけるサブ基準体モデル103が有する、標定点104の基準値110(基準計測値g、s)の拘束条件の重み付けの値は、基準計測の計測精度を最重視して、最も大きな値(調整抑制係数)を定性的に付与するものとするとよい。例えば、調整抑制係数0.9を与えるものとするとよい。また、3次元計算空間Vにおけるサブ基準体モデル103が有する、標定点104の3次元座標値(撮影測定値)f及び/又は相互間距離(撮影測定値)mの拘束条件の重み付けの値は、撮影測定の計測精度を次に重視して、2番目に大きな値(調整抑制係数)を定性的に与えるものとするとよい。例えば、調整抑制係数0.8を与えるものとするとよい。
【0160】
また、3次元計算空間Vにおける仮想サブ基準体モデル103iが有する、標定点104の基準値110(例えば、仮想定義値gi、si)の拘束条件の重み付けの値は、仮想定義値gi、siの推定精度を考慮して、3番目に大きな値(調整抑制係数)を定性的に与えるものとするとよい。例えば、調整抑制係数0.7を与えるものとするとよい。また、3次元計算空間Vにおける仮想サブ基準体モデル103iが有する、標定点104の3次元座標値(仮想付与値)fi及び/又は相互間距離(仮想付与値)miの拘束条件の重み付けの値は、仮想付与値fi、miの推定精度を考慮して、最も小さな値(調整抑制係数)を定性的に与えるものとするとよい。例えば、調整抑制係数0.6を与えるものとするとよい。
【0161】
このように、3次元計算空間Vにおける基準体モデル102又は仮想基準体モデル102iを構成する標定点104が有する各情報(基準計測値、撮影測定値、仮想定義値、仮想付与値)の拘束条件として、各々異なる重み付けがなされた数値により定性的な調整抑制係数を与える場合には、外部標定アルゴリズムが算出した各イタレーション(試行)における標定点104が有する各情報の調整量から、調整量に調整抑制係数を乗じた値を差し引くことで、より大きな重み付けが成された標定点104についてはその調整量を抑制するように設けるものとするとよい。なお、これら基準計測値、撮影測定値の計測精度並びに仮想定義値、仮想付与値の推定精度に基づいて定められる第1の拘束条件に加えて、前述のように、幾何学条件に基づく第2の拘束条件を設けるものとしてもよい。
【0162】
以上、第1乃至第4の実施の形態について、基準体情報画成部12を用いて一体として画成した基準体モデル102又は仮想基準体モデル102iに基づいて標定要素算出部13によりステレオ撮影部11の一の外部標定要素(x,y,z)(ω,φ,κ)を算出する例について説明した。しかしながら、第1乃至第4の実施の形態に係る他の実施の形態では、ステレオ撮影部11の外部標定要素(x,y,z)(ω,φ,κ)は、一体に設けられた基準体モデル102又は仮想基準体モデル102iにおいて複数の異なる重み付けがなされた拘束条件を有するバンドル調整計算により算出される、計測領域毎に異なる複数の外部標定要素(xabc,yabc,zabc)(ωabc,φabc,κabc)の値を用いて3次元計測をおこなうものとしてもよい。
【0163】
図1を参照して説明をおこなう。例えば、図1に示す第1の実施の形態の3次元計測システム10において、サブ基準体モデル103aが画成された3次元計算空間Vに対応する3次元計測空間Rの計測領域(サブ基準体3aが占める空間)内において測定対象物1である人体を3次元計測する場合には、サブ基準体モデル103aに最も大きな重みを付けた拘束条件を用いてバンドル調整した第1の外部標定要素(x,y,z)(ω,φ,κ)を用いるものとするとよい。同様に、他のサブ基準体モデル103bに対応する計測領域(サブ基準体3bが占める空間)を3次元計測する場合には、サブ基準体モデル103bに最も大きな重みを付けた拘束条件を用いてバンドル調整した第2の外部標定要素(x,y,z)(ω,φ,κ)を用いるものとするとよい。また、更に他のサブ基準体モデル103cに対応する計測領域(サブ基準体3cが占める空間)を3次元計測する場合には、サブ基準体モデル103cに最も大きな重みを付けた拘束条件を用いてバンドル調整した第3の外部標定要素(x,y,z)(ω,φ,κ)を用いるものとするとよい。
【0164】
この場合には、例えば、サブ基準体3aが占める空間を3次元計測するために、サブ基準体モデル103a、103b、103cの各々に3:2:1の割合で異なる重み付けのなされた拘束条件を設けてバンドル調整計算をおこなって、第1の外部標定要素(x,y,z)(ω,φ,κ)を算出するものとするとよい。また、サブ基準体3bが占める空間を3次元計測するために、サブ基準体モデル103a、103b、103cの各々に1:2:1の割合で異なる重み付けのなされた拘束条件を設けてバンドル調整計算をおこなって、第2の外部標定要素(x,y,z)(ω,φ,κ)を算出するものとするとよい。また、サブ基準体3cが占める空間を3次元計測するために、サブ基準体モデル103a、103b、103cの各々に1:2:3の割合で異なる重み付けのなされた拘束条件を設けてバンドル調整計算をおこなって、第3の外部標定要素(x,y,z)(ω,φ,κ)を算出するものとするとよい。この場合の拘束条件の重み付けは、算出対象とする各計測領域により近いサブ基準体モデル103に対して、より大きな重み付けの値を与えるように、地理的要素を重視して定められたものといえる。
【0165】
このように、基準体情報画成部12が一体に画成した基準体モデル102又は仮想基準体モデル102iを用いて、標定要素算出部13が個別に複数の外部標定並びにバンドル調整計算をおこなうことにより、3次元計測空間Rにおいて複数(3個)のサブ基準体3a、3b、3cが各々カバーする異なる計測領域毎に異なる複数(3個)の外部標定要素(xabc,yabc,zabc)(ωabc,φabc,κabc)の値を算出して3次元計測をおこなうことができる。異なる計測領域毎に算出された複数の外部標定要素(xabc,yabc,zabc)(ωabc,φabc,κabc)の値は、異なる計測領域毎に設けられた拘束条件を用いてバンドル調整されて最適化されているため、各計測領域に対応する、より精度の高い外部標定要素(x,y,z)(ω,φ,κ)であるものといえる。このため本実施の形態によれば、個別の測定領域毎に最適化された外部標定要素(xabc,yabc,zabc)(ωabc,φabc,κabc)を用いて更に精度良く3次元計測をおこなうことができる。
【0166】
続けて図1を参照して、3次元計測座標系の床面基準座標系への座標変換について説明する。第1乃至第4の態様の3次元計測システム10では、3次元計測空間Rにおいて測定対象物1が配置される床面16上に複数の床面基準マーク16bを設けるものとしてもよい。また、複数のステレオ撮影部11a〜11dは、複数の床面基準マーク16bをステレオ撮影するように設けるものとしてもよい。また、基準体情報画成部12は、複数の床面基準マーク16bのステレオ画像20a、20bに基づいて、測定対象物1が配置される床面16の情報を3次元計算空間Vにおいて一の平面(基準平面)106の情報として基準体モデル102に組み込んで画成するように設けるものとしてもよい。
【0167】
このように設けると、3次元計算空間Vに画成される基準体モデル102は、測定対象物1である人体の3次元計測の計測基準面となるべき床面16の情報(基準平面106の情報)を有することができる。このため、測定対象物1である人体の3次元計測結果を床面16(基準平面106)を計測基準面として正規化して利用しやすく3次元計測することができる。前述の通り、ステレオ撮影部11の外部標定のために、3次元計算空間Vの原点O(図16参照)は、例えば、一のステレオ撮影部11が有する第1の光学レンズ系(レンズ群)の後側主点O上に初期的に定められる。あるいは、例えば、サブ基準体3cが有する任意の基準マーク4の上に3次元測定空間Rの原点Oが位置するように3次元計測空間Rの原点Oが定められる。この場合にも、初期的に画成(配置)された3次元計算空間Vの全ての情報を、3次元計算空間Vにおける基準平面106上に原点を有する、3次元計測空間Rにおける床面基準マーク16bを有する床面16を計測基準面とする、新たな直交3次元座標系(新たな3次元計算空間V)の情報に座標変換して3次元計測をおこなうように設けるとよい。
【0168】
なお、3次元計測空間Rにおいて、床面基準マーク16bを設ける場合には、例えば、床面基準マーク16bは、一枚の床面シート16a上に設けられ、床面シート16aを床面16に敷くことによって、床面16上に床面基準マーク16bが配置されるように設けるものとするとよい。
【0169】
基準体情報画成部12は、床面16の情報を3次元計算空間Vにおける一の平面(基準平面)106の情報として、3次元計算空間Vにおいて基準体モデル102が含む3次元座標値の集合の内に画成することができる。あるいは、一の実施の形態では、基準平面106は3次元計測空間Rにおける外部(地上の)空間に対して水平である旨の情報を更に有する、水平面(基準平面)106の情報として定義(画成)することもできる。このように設けると、基準体モデル102の情報が画成される3次元計算空間Vの座標系を水平面(基準平面)106に基づく正規化された3次元座標系として画成することができるから、例えば、人体等の異なる複数の測定対象物1の3次元計測情報を相互に比較し易いように正規化された3次元座標系の情報として表して3次元計測値を得ることができる。
【0170】
あるいは、基準平面106の情報を有することなく、3次元計算空間Vにおけるサブ基準体モデル103(又は基準体モデル102)が有する3次元座標情報のみに基づくことによっても、例えば、重力の作用の推定や、サブ基準体モデル103の外形寸法情報に基づいて、3次元計測空間Rにおける水平面又は絶対座標値について、限られた精度の範囲内においては推定をおこなうことも可能である。しかしながら、3次元計測空間Rの床面16上に設けられた既知の計測基準点(床面基準マーク16b)の情報を3次元計算空間Vに画成される基準体モデル102の情報に加えて外部標定計算をおこなう場合には、水平面(基準平面)106に対するステレオ撮影部11の外部標定精度並びに3次元計測の信頼性(計測精度)及び安定性を更に高めることができる。
【0171】
あるいは、3次元計測空間Rにおける床面基準マーク16bの実測に基づく、複数の床面基準マーク16bの相互間距離の情報が予め正確に把握されていない場合にも、3次元計算空間Vにおいて床平面(基準平面)106を所与の精度において画成することは可能である。しかしながら、3次元計測空間Rにおける複数の床面基準マーク16bの相互間距離が実測(基準計測)に基づいて予め正確に把握されている場合には、床平面(基準平面)106の情報を含む3次元計算空間Vにおける基準体モデル102に精度の良い基準計測値を与えることができる。この場合には、更に精度良く床面16(基準平面106)に対するステレオ撮影部11の外部標定をおこなうことができる。
【0172】
このように、3次元計算空間Vに画成される基準体モデル102が3次元計測空間Rにおいて床面16に設けられた複数の床面基準マーク16bの撮影測定値並びに基準計測値に基づいて基準体情報画成部12が画成する床面(基準平面)106の情報を含むことで、正規化された更に情報価値の高い3次元計測情報を得ることができる。例えば、計測基準面である3次元計測空間Rにおける床面16から測定対象物1である人体の頭頂部(その最上の高さ)までの高さを身長と定義して、精度良く人体の身長計測情報を得ることができる。このため、正規化された多数の身長計測情報に基づいて、例えば、多数の人の身長を比較した統計情報を得ることもできる。あるいは、同様に、多数の人の体型の3次元計測情報に基づいて、最も多くの人の体型に合致する洋服のサイズ又はデザインを統計的に把握(決定)するものとしてもよい。
【0173】
図7に示すブロック図を参照して、本実施の形態の3次元計測システム10の全体の構成を説明する。3次元計測システム10が備える中央演算装置(CentralProcessing Unit)である制御部18は、3次元計測システム10並びに3次元計測システム10が備える各機能部を統括して制御するように設けられている。3次元計測システム10は、前述の通り、4台(4ユニット)のステレオ撮影部11を備える。4台のステレオ撮影部11は、撮影同期部11eによってサブ基準体3及び測定対象物1を全周から同時に撮影するように制御される。4台のステレオ撮影部11は、サブ基準体3を全周から同時にステレオ撮影S02(図12参照)してステレオ撮影部11の外部標定S04をおこなう。同様に、4台のステレオ撮影部11は、測定対象物1を全周から同時にステレオ撮影して3次元計測S05をおこなう。なお、3次元計測システム10は、ステレオ撮影部11を1台(1ユニット)のみ備えるものとしてもよい。この場合には、1台のステレオ撮影部11がステレオ撮影する測定対象物1の1面のみを3次元計測S05することができる。また、撮影同期部11eを備えることがないから、3次元計測システム10をより容易に設けることができる。
【0174】
本実施の形態の3次元計測システム10は、前述の通り、測定対象物1の全体をカバーする基準体2の一部を構成する、サブ基準体3を備える。サブ基準体3は、サブ基準体3が有する基準マーク4をステレオ撮影部11に提示する。サブ基準体3は実空間である3次元計測空間Rにおいて物理的に実在して3次元計測システム10が有する3次元計測空間Rに提供S01される。前述の通り、サブ基準体3は測定対象物1の全体をカバーするように、複数を積み重ねて用いることができる。あるいは、第2の実施の形態のように、サブ基準体3を架台7a、7bに載置して、測定対象物1の全体をカバーするように配置して用いることができる。あるいは、第3の実施の形態のように、サブ基準体3を移動して、測定対象物1の全体をカバーするように配置して用いることができる。あるいは、第4の実施の形態のように、サブ基準体3で測定対象物1の全体をカバーすることに代えて、前述の通り、3次元計算空間Vに仮想サブ基準体モデル103iを付加することで、測定対象物1の全体をサブ基準体3を含む仮想基準体2iでカバーするように、サブ基準体3を用いるものとしてもよい。
【0175】
本実施の形態の3次元計測システム10が備える基準体情報画成部12は、前述の通り、サブ基準体3のステレオ画像20a、20bに基づいて、ステレオ撮影部11を外部標定S04するための3次元数値解析モデルである基準体モデル102を一体として画成S03する。3次元計測システム10が備える標定要素算出部13は、前述の通り、例えば、最小二乗法による近似解法を用いて基準体モデル102を数値解析して外部標定要素(x,y,z)(ω,φ,κ)を算出S04する。この結果、4台(4ユニット)のステレオ撮影部11を各々外部標定S04して定位することができる。標定要素算出部13が算出した外部標定要素(x,y,z)(ω,φ,κ)は3次元計測S05において用いることができるように、3次元計測システム10が備える記録部(不図示)に保存しておくものとするとよい。こうして得られた外部標定要素(x,y,z)(ω,φ,κ)を用いることで、3次元計測システム10が備える3次元計測部14は、ステレオ撮影部11によりステレオ撮影される測定対象物1の3次元計測S05をおこなうことができる。
【0176】
更に、3次元計測システム10は、前述の通り、ステレオ撮影部11に床面16の情報を提示する、床面シート16aに設けられた床面基準マーク16bを備える。前述の通り、ステレオ撮影部11で撮影した床面基準マーク16bのステレオ画像20a、20b(図10参照)に基づいて、基準体情報画成部12が画成S03する基準体モデル102に計測基準面106の情報を追加U04することができる。このため、基準体モデル102が有する計測基準面106の情報に基づいて正規化された、更に情報価値の高い3次元計測情報を得ることができる。
【0177】
更に、本実施の形態の3次元計測システム10は、ステレオ撮影部11の外部標定S04後における撮影位置の位置変動29を検出M01するための監視基準点として用いることができる、位置変動検出ターゲットマーク17aを備える。後に詳述するように、位置変動検出ターゲットマーク17aは、例えば、ステレオ撮影部11を支持する支持部17に設けるものとするとよい。床面基準マーク16bも位置変動検出ターゲットマーク17aと同様にステレオ撮影部11の撮影位置の位置変動29の検出M01に用いることができる。後に詳述するように、本実施の形態の3次元計測システム10では、ステレオ撮影部11で撮影した床面基準マーク16b及び/又は位置変動検出ターゲットマーク17aの位置変動29を撮影位置変動検出部15で検出M01することができる。このため、外部標定S04後における3次元計測の計測誤差の発生を監視して検知することができる。なお、本実施の形態の3次元計測システム10が備える撮影位置変動検出部15、床面シート16a、床面基準マーク16b、位置変動検出ターゲットマーク17aは、3次元計測システム10をより容易に設けるために適宜省くものとしてもよい。
【0178】
図8のブロック図を参照して、本実施の形態の3次元計測システム10が備える3次元計測部14の構成を説明する。3次元計測部14は、前述の通り、外部標定S04されたステレオ撮影部11で測定対象物1をステレオ撮影S05して一組のステレオ画像20a、20b(図9参照)を得ることができる。3次元計測部14は、得られた一組のステレオ画像20a、20bに対しておこなうステレオマッチング処理(対応点検出処理)の対象空間を検出処理限定空間21内に限定A02する、検出処理限定空間設定部14aを有する。検出処理限定空間設定部14aによる検出処理限定空間21の設定A02により、ステレオマッチング処理の処理時間を短縮することができる。また、後に詳述するように、前処理マッチングA05後に更に狭められた範囲に限定する検出処理限定空間の設定を(再度)行う場合には、前処理マッチングA05によるステレオマッチング処理の誤対応点除去A07を行うことができる。
【0179】
検出処理限定空間21の設定A02は、検出処理限定空間設定部14aが有する逆投影部14a1により検出処理限定空間21を一組のステレオ画像20a、20b上に逆投影A04しておこなうことで、更にステレオマッチング処理時間を短縮することができる。更に、ステレオ画像20a、20b上の検出処理限定空間21以外の範囲の部分22を検出処理限定空間設定部14aが有する塗りつぶし処理部14a2を用いて単色(例えば、黒色)で塗りつぶすことで、確実にステレオマッチング処理時間を短縮することができる。なお、本実施の形態の3次元計測部14が有する検出処理限定空間設定部14a並びに逆投影部14a1及び塗りつぶし処理部14a2は、3次元計測システム10をより容易に設けるために適宜省くものとしてもよい。
【0180】
本実施の形態の3次元計測部14は、ステレオマッチング処理時間の増大の原因となり得る背景9を除去A03する背景除去部14bを有する。背景除去部14bは、ステレオ撮影部11が撮影した測定対象物1を含む一のステレオ画像27(図11参照)から測定対象物1を含まない他のステレオ画像28(図11参照)を差し引くことで測定対象物1の背景9を差し引き演算する差引演算部14b1を有する。背景除去部14bを用いて背景9を除去A03することにより、ステレオマッチング処理時間を更に短縮することができ、また、ミスマッチングを防止並びに除去することができる。なお、背景9を撮影した(測定対象物1を含まない)他のステレオ画像28は、3次元計測システム10をセットアップした際や、測定対象物1の撮影を行う前、測定対象物1の撮影を行った後など、適宜撮影して得るものとするとよい。また、本実施の形態の3次元計測部14が有する背景除去部14b及び差引演算部14b1は、3次元計測システム10をより容易に設けるために適宜省くものとしてもよい。
【0181】
本実施の形態の3次元計測部14は、ステレオマッチング処理(対応点検出処理)をおこなうステレオマッチング処理部14cを有する。ステレオマッチング処理部14cは、簡易迅速に第1のステレオマッチング処理(前処理マッチング処理)A05をおこなう前処理部14c1を有する。前処理部14c1は、第1のマッチング処理(前処理マッチング処理)A05でマッチング判定されたマッチング範囲を詳細マッチング処理範囲(詳細検出処理限定空間)21aに指定A06する。また、ステレオマッチング処理部14cは、詳細マッチング処理範囲21a内を対象として、詳細な第2のステレオマッチング処理(詳細マッチング処理)A08をおこなう詳細処理部14c2を有する。このように設けると、応分の情報処理時間を要する詳細マッチング処理A08の情報処理対象を詳細マッチング処理範囲21a内に留めることにより、ステレオマッチング処理時間を更に短縮することができる。なお、本実施の形態のステレオマッチング処理部14cが有する前処理部14c1及び詳細処理部14c2は、3次元計測システム10をより容易に設けるために適宜省くものとしてもよい。
【0182】
ここで図12を参照して、本実施の形態の3次元計測システム10を用いておこなう測定対象物1を3次元計測する方法を説明する。なお、同方法の詳細については後に詳述する。測定対象物1を3次元計測する方法では、3次元計測の基準器であるサブ基準体3を用いてステレオ撮影部11の外部標定S04をおこなうために、3次元計測システム10の3次元計測空間Rにサブ基準体3を提供(搬入)S01する。続いて、ステレオ撮影部11でサブ基準体3が有する基準マーク4をステレオ撮影S02する。ステレオ撮影S02するステップは、サブ基準体3を複数積み重ねるステップS02a(不図示)、サブ基準体3を架台7a、7bに載置するステップS02b(不図示)、サブ基準体3を移動するステップS02c(不図示)及び3次元計算空間Vに仮想サブ基準体モデル103iを付加するステップS02d(不図示)の群から選ばれる、いずれか一以上のステップを含むものとするとよい。続いて、サブ基準体3が有する基準マーク4の基準計測値g、sと撮影測定値f、mとの情報を含む、測定対象物1の全体をカバーする基準体2に対応する、3次元数値解析モデルである基準体モデル102を基準体情報画成部12により一体として画成S03する。続いて、基準体モデル102を用いて、標定要素算出部13により外部標定要素(x,y,z)(ω,φ,κ)を算出S04してステレオ撮影部11の外部標定(定位)をおこなう。続いて、外部標定S04されたステレオ撮影部11で測定対象物1を3次元計測S05することで、測定対象物1の3次元形状を精密に測定することができる。
【0183】
続いて、図9を参照して、第1乃至第4の実施の形態の3次元計測システム10が備える3次元計測部14が有する検出処理限定空間設定部14aがおこなう検出処理限定空間21の設定について説明する。3次元計測部14は、3次元計算空間Vにおいて測定対象物1が含まれる検出処理限定空間21を設定する検出処理限定空間設定部14aを有する。また、検出処理限定空間設定部14aは、一対のステレオ画像20a、20b上での対応点検出処理(ステレオマッチング処理)をおこなう範囲を検出処理限定空間21内に限定A02するように設けられる。
【0184】
例えば、3次元計算空間V(3次元計測空間R)において、ステレオマッチング処理(対応点検出処理)をおこなう場合において、特に、3次元計測空間Rにおける計測オペレータ(不図示)等の動く被写体等の背景ノイズの情報が写り込んでいる場合も生じ得る。このような場合には、それらの背景ノイズの情報が後に詳述する前処理マッチング処理A05及び詳細マッチング処理A08を含むステレオマッチング処理の情報処理の対象となって情報処理時間を増大してしまう可能性がある。こうしたステレオマッチング処理の情報処理時間を短縮するために、検出処理限定空間設定部14aはステレオマッチング処理の対象範囲を検出処理限定空間21内に限定A02するように設けられる。
【0185】
ステレオマッチング処理(対応点検出処理)時間が短く、迅速な3次元計測をおこなうためには、ステレオ撮影における背景ノイズの情報の除去処理をおこなうものとするとよい。従来、背景ノイズの除去処理には、応分の情報処理時間が費やされると共に、除去処理によっても完全に除去しきれないノイズが残されるという問題があった。本実施の形態の3次元計測システム10では、従来の背景ノイズの除去処理をおこなうことなく、検出処理限定空間設定部14aを用いて、ステレオマッチング処理をおこなう3次元計測空間R(3次元計算空間V)における検出処理空間を測定対象物1が含まれる(計測者が指定する)所定の空間(検出処理限定空間21)内に限定A02するように設けられる。なお、3次元計測空間Rと3次元計算空間Vとは3次元計測に先立っておこなわれる外部標定によってその対応関係が完全に把握されている。このため、検出処理限定空間設定部14aによる検出処理限定空間21の設定A02においては、両者は同義であるとみなされる。
【0186】
このように設けることにより、検出処理限定空間21内に含まれない検出処理限定空間21の外側の領域22に含まれるあらゆる情報を、一切の情報処理をおこなうことなく、一律に除去することができるから、3次元計測のステレオマッチング処理(対応点検出処理)の情報処理速度を向上して情報処理時間を短縮することができる。検出処理限定空間設定部14aにより設定される検出処理限定空間21は、後に挙げる具体例のように、3次元計測空間Rにおけるサブ基準体3、ステレオ撮影部11の支柱17あるいは測定対象物1である人体の大きさ等に基づいて定めるものとするとよい。
【0187】
また、検出処理限定空間設定部14aは、ステレオ撮影部11が撮影したステレオ画像20a、20b上に測定対象物1が投影されたステレオ画像20a、20b上の2次元平面空間において対応点検出処理(ステレオマッチング処理)をおこなう範囲を限定A02するように設けるものとするとよい。このために、検出処理限定空間設定部14aは、更に、逆投影部14a1を有し、逆投影部14a1は、検出処理限定空間設定部14aにより3次元計測空間R(3次元計算空間V)において設定された検出処理限定空間21をステレオ画像20a、20b上の2次元平面に逆投影A04するように設けるものとするとよい。
【0188】
このように設けることにより、検出処理限定空間設定部14aによる検出処理限定空間21の設定(限定)処理A02は、逆投影部14a1を用いてステレオ画像20a、20b上に3次元計測空間R(3次元計算空間V)における検出処理限定空間21を逆投影A04して2次元平面上でおこなうことができる。このため、3次元計測空間R(3次元計算空間V)内において3次元で設定された検出処理限定空間21の情報をそのまま3次元空間の情報として情報処理をおこなう場合と比較して、更に情報処理時間を短縮することができる。逆投影部14a1を用いたステレオ画像20a、20b上の2次元平面への検出処理限定空間21の逆投影は、標定要素算出部13による外部標定又はバンドル調整(光束調整)により得られた外部標定要素(x,y,z)(ω,φ,κ)並びに前述の式(1)及び式(2)の座標変換の関係式を用いておこなうものとするとよい。
【0189】
具体的には、サブ基準体3が存在する空間を逆投影部14a1を用いてステレオ画像20a、20b上に逆投影することで検出処理限定空間21を設定するものとしてもよい。あるいは、ステレオ撮影部11の支柱17を利用することで、後に詳述する支柱17が有する複数の位置変動検出ターゲットマーク17aを相互に結ぶ直線により囲まれた領域内を検出処理限定空間21として設定するものとしてもよい。あるいは、測定対象物1である人体の大きさに基づいて定められるステレオ画像20a、20b上の特定の範囲の領域内を検出処理限定空間21として設定するものとしてもよい。
【0190】
更に、検出処理限定空間設定部14aは、ステレオ画像20a、20b上の検出処理限定空間21に対応する範囲以外の部分22を単色で塗りつぶして対応点検出処理(ステレオマッチング処理)をおこなう範囲を検出処理限定空間21内に限定A02するように設けるものとするとよい。このために、検出処理限定空間設定部14aは、塗りつぶし処理部14a2を有し、塗りつぶし処理部14a2は、ステレオ画像20a、20b上の検出処理限定空間21に対応する範囲以外の部分22を単色で塗りつぶして対応点検出処理をおこなう範囲を検出処理限定空間21内に限定A02するように設けるものとするとよい。
【0191】
このように、検出処理限定空間21以外の部分22を検出処理限定空間設定部14aが有する塗りつぶし処理部14a2を用いてステレオ画像20a、20bの2次元平面上において単色で塗りつぶすことで、対応点検出処理(ステレオマッチング処理)における誤検出を確実に防止することができる。このため、対応点検出処理を迅速かつ確実におこなうことができる。なお、塗りつぶし処理部14a2がおこなう検出処理限定空間21以外の部分22の単色による塗りつぶしは、例えば、黒色あるいは青色等の任意の単色を用いておこなうものとするとよい。
【0192】
図10を参照して、第1乃至第4の実施の形態の3次元計測システム10がおこなう撮影位置の変動検出について説明する。3次元計測システム10は、外部標定要素算出S04(図12参照)時からの3次元計測空間Rにおけるステレオ撮影部11の位置変動29を検出する撮影位置変動検出部15を備えるものとするとよい。また、撮影位置変動検出部15は、ステレオ撮影部11が外部標定要素算出S04後に得たステレオ画像20a、20bと、ステレオ撮影部11が外部標定要素算出S04時に得たステレオ画像20a、20bとを比較することで、3次元計測空間Rにおけるステレオ撮影部11の位置変動29の有無を検出するように設けるものとするとよい。
【0193】
ステレオ撮影部11は、位置変動検出ターゲットマーク17aが貼付された支持部17に固定されて支持されるように構成され、位置変動検出ターゲットマーク17aをステレオ撮影するように設けるものとするとよい。また、撮影位置変動検出部15は、ステレオ撮影部11が撮影したステレオ画像20a、20b上の位置変動検出ターゲットマーク17aの位置を外部標定要素算出S04時と外部標定要素算出S04後とで比較してステレオ撮影部11の位置変動29の有無を検出するように設けるものとするとよい。
【0194】
また、ステレオ撮影部11は、測定対象物1が配置される床面16上の床面基準マーク16bを撮影するように構成され、撮影位置変動検出部15は、ステレオ撮影部11が撮影したステレオ画像20a、20b上の床面基準マーク16bの位置を外部標定要素算出S04時と外部標定要素算出S04後とで比較してステレオ撮影部11の位置変動29の有無を検出するように設けるものとするとよい。
【0195】
撮影位置変動検出部15は、ステレオ撮影部11の支持部17に貼付けられた位置変動検出ターゲットマーク17aをステレオ撮影部11の位置変動29の監視のための監視基準点として用いるように設けるものとするとよい。3次元計測システム10が複数(4台(4ユニット))のステレオ撮影部11a〜11dを備える場合には、例えば、一のステレオ撮影部11aにより、他のステレオ撮影部11cを固定して支持する支持部17に貼付けられた位置変動検出ターゲットマーク17aを撮影してステレオ撮影部11a及び/又はステレオ撮影部11cの位置変動を監視するように設けるものとするとよい。このように、複数のステレオ撮影部11a〜11dが相互に位置変動29の監視をおこなうように設けるものとするとよい。
【0196】
あるいは、一のステレオ撮影部11aが、一のステレオ撮影部11a自体が固定されて支持される支持部17(突出部17b)に貼付けられた位置変動検出ターゲットマーク17aを撮影してステレオ撮影部11aの支持部17に対する位置変動29を監視するように設けるものとしてもよい。この場合には、例えば、支持部17は位置変動検出ターゲットマーク17aが貼付けられる、支持部17の支持軸の外周方向に延在する突出部又は屈曲部17bを有して設けられ、一のステレオ撮影部11aによる撮像範囲内に位置変動検出ターゲットマーク17aが位置して撮影されるように設けるものとしてもよい。
【0197】
また、撮影位置変動検出部15(図7参照)は、前述の位置変動検出ターゲットマーク17aと同様に、複数のステレオ撮影部11a〜11dにより撮影される床面16上に設けられた床面基準マーク16bを位置変動29の検出のための監視基準点として用いるように設けてもよい。床面基準マーク16bは、前述の通り、床面16上に敷かれる床面シート16aを用いて設けるものとしてもよい。
【0198】
このように設けることにより、ステレオ撮影部11により外部標定要素算出S04後に撮影された位置変動検出ターゲットマーク17a及び/又は床面基準マーク16bのステレオ画像20a、20b上の座標位置を外部標定要素算出S04時の座標位置と比較することができる。このため、撮影位置変動検出部15は、3次元計測空間Rにおけるステレオ撮影部11の位置変動29の有無を検出することができる。
【0199】
撮影位置変動検出部15による位置変動29の有無の検出は外部標定S04後の任意のタイミングにおいて、任意のステレオ撮影部11a〜11dに対しておこなわれるように設けるものとするとよい。例えば、3次元計測をおこなう直前に、全てのステレオ撮影部11a〜11dに対して位置変動29の有無の検出M01をおこなうものとするとよい。この場合には、3次元計測をおこなう全てのステレオ撮影部11a〜11dに撮影位置の変動29がないことを確認することができるから、信頼性の高い3次元計測をおこなうことができる。
【0200】
撮影位置変動検出部15は、更に厳密に、外部標定S04後における任意の位置変動検出時M01に位置変動検出ターゲットマーク17a及び/又は床面基準マーク16bの情報に基づいて、位置変動29の検出のための外部標定計算を標定要素算出部13を用いておこなって位置変動29の検出をおこなうように設けてもよい。この場合には、撮影位置変動検出部15は、予め外部標定要素算出S04時に監視基準点(位置変動検出ターゲットマーク17a及び/又は床面基準マーク16b)の情報に基づいて外部標定計算U06をおこなうように標定要素算出部13を制御するように設けるとよい。
【0201】
また、任意の位置変動検出時M01において、撮影位置変動検出部15は、複数の位置変動29がないものと撮影位置変動検出部15が認めて指定する監視基準点(指定監視基準点)に基づいて位置変動29の検出のための外部標定計算をおこなうように標定要素算出部13を制御するものとするとよい。また、位置変動29の検出のために算出された外部標定要素(x,y,z)(ω,φ,κ)が外部標定要素算出S04時と比べて変わりがないことを確認するように設けてもよい。この場合には、位置変動29の検出のためにおこなった外部標定要素(x,y,z)(ω,φ,κ)の算出が再現性を有するものといえる。
【0202】
撮影位置変動検出部15による位置変動29の検出は、更に厳密に、外部標定要素算出S04時以降、測定対象物1の3次元計測S05のための撮影計測M02時を含めて、ステレオ撮影部11a〜11dが継続しておこなう連続動画撮影により得られるステレオ画像20a、20bの情報に基づいて、常時おこなうように設けるものとしてもよい。このように設けることで、外部標定要素算出S04時のステレオ撮影部11a〜11dの位置と姿勢とに、いかなる位置変動29(位置ずれ)も生じていないことを履歴を通して保証することができる。
【0203】
このようにステレオ撮影部11a〜11dが継続しておこなう動画撮影に基づいて位置変動29の検出をおこなう場合には、ステレオ画像20a、20b上における監視基準点の座標位置の変動の監視をおこなうように設けることができる他、監視基準点の移動の速度、あるいは移動の加速度の次元において監視基準点の位置変動29の有無の監視をおこなうように設けるものとしてもよい。このように設ける場合には、更に厳密に外部標定要素算出S04時からのステレオ撮影部11a〜11dの撮影位置の位置変動29の有無を履歴を通して監視することができる。
【0204】
撮影位置変動検出部15がおこなう位置変動29の有無の監視において、例えば、ステレオ撮影部11の支持部17に設けられた位置変動検出ターゲットマーク17aの位置変動29は検出されない一方で、床面基準マーク16b(床面シート16a)の位置変動29のみが検出される場合も想定される。この場合には、撮影位置変動検出部15は、位置変動29の定量的な検出のための外部標定計算を標定要素算出部13を用いておこなうようにしてもよい。例えば、位置変動29が生じたものと評価される監視基準点にのみ基づいて、即ち、この場合には、床面基準マーク16bにのみ基づいて、ステレオ撮影部11の外部標定をおこなってステレオ撮影部11の外部標定要素(x,y,z)(ω,φ,κ)を算出するものとするとよい。
【0205】
続いて、撮影位置変動検出部15は、床面基準マーク16bの位置変動29が生じる前後での(外部標定要素算出S04時との)外部標定結果の比較をおこなうことで、ステレオ撮影部11の外部標定要素(x,y,z)(ω,φ,κ)の変動量(変位量、回転量)を定量的に算出するものとするとよい。このように設けると、撮影位置変動検出部15は、外部標定要素(x,y,z)(ω,φ,κ)の変動量(変位量、回転量)に基づいて、位置変動29が生じたものと評価される床面基準マーク16bの位置変動29を定量的に把握することができる。撮影位置変動検出部15は、このようにして把握した床面基準マーク16bの位置変動29の量に基づいて、簡易的に3次元計測座標系が有する床面基準マーク16bに係る計測座標情報の補正をおこなって3次元計測を継続するものとしてもよい。
【0206】
あるいは、位置変動29が検出された監視基準点(例えば、床面基準マーク16b)にのみ基づいておこなわれる位置変動29の量の算出のための外部標定計算の結果は、撮影位置変動検出部15によって他の類似する計測座標情報の補正処理をおこなうために用いられるものとしてもよい。例えば、位置変動29が生じていないものと評価される残りの、即ち、位置変動29が生じたものと評価される監視基準点を除外した監視基準点(例えば、位置変動検出ターゲットマーク17a)のみに基づいておこなわれる外部標定計算を更におこなって両者を比較するものとしてもよい。この場合には、位置変動29が生じていないものと評価される監視基準点に基づく外部標定計算の結果と位置変動29が生じたものと評価される監視基準点に基づく外部標定計算の結果とを比較して位置変動29の量(変位量、回転量)を定量的に把握することができる。
【0207】
図11を参照して、第1乃至第4の実施の形態の3次元計測システム10が備える3次元計測部14が有する背景除去部14bがおこなう背景9の除去について説明する。3次元計測部14が有する背景除去部14bは、ステレオ撮影部11a〜11dにより撮影された測定対象物1を撮影した一のステレオ画像27から測定対象物1を含まない背景9を撮影した他のステレオ画像28を差し引くことで、測定対象物1以外の背景9を除去A03するように設けるものとするとよい。
【0208】
前述の通り、検出処理限定空間設定部14aが設定した検出処理限定空間21内においても、ステレオ撮影部11によるステレオ画像20a、20bに、例えば、パーソナルコンピュータ(不図示)等の背景(ノイズ)9が含まれている場合もあり得る。背景(ノイズ)9は、対応点検出処理(ステレオマッチング処理)において大きな情報処理負担の原因となり得るものといえる。このため、前述の検出処理限定空間設定部14aがおこなう検出処理限定空間21の設定と平行して、背景除去部14bにより背景9の除去処理をおこなうものとするとよい。
【0209】
この場合に、ステレオ撮影部11による撮影は、測定対象物1を撮影した一のステレオ画像27と、背景9を撮影した(測定対象物1を含まない)他のステレオ画像28とを得ることができるように行うとよい。また、背景除去部14bは、ステレオ画像20の各々の2次元平面空間上において、測定対象物1が撮影された一のステレオ画像27から背景9が撮影された他のステレオ画像28を差し引き演算する、差引演算部14b1を有するように設けるものとするとよい。
【0210】
背景除去部14bは、差引演算部14b1を用いて他のステレオ画像28に含まれる背景9の情報を測定対象物1が撮影された一のステレオ画像27から差し引くことで除去するように設けられている。背景除去部14bは、差引演算部14b1が差し引いて除去した背景9が占めていた画像部分を、例えば、前述の検出処理限定空間設定部14aが有する塗りつぶし部14a2と同様に単色で塗りつぶすものとするとよい。
【0211】
このように、3次元計測部14が背景除去部14bを有することで、ステレオマッチング処理の大きな負担となる背景9を積極的に除外するように設けることができる。このため、3次元計測システム10は、迅速かつ効率的に3次元計測をおこなうことができる。
【0212】
図9に戻って、第1乃至第4の実施の形態の3次元計測システム10が備える3次元計測部14が有するステレオマッチング処理部14cがおこなうステレオマッチング処理について説明する。3次元計測部14は、前処理部14c1(図8参照)と詳細処理部14c2(図8参照)とを有するステレオマッチング処理部14cを有して設けるものとするとよい。また、ステレオマッチング処理部14cは、前処理部14c1でマッチング判定された詳細マッチング処理範囲21a内を処理対象として詳細処理部14c2で詳細マッチング処理A08をおこなうように設けるものとするとよい。
【0213】
ステレオマッチング処理部14cは、前処理部14c1がおこなう前処理マッチングA05でマッチング判定された詳細マッチング範囲内21aのみを処理対象として詳細処理部14c2による詳細マッチング処理A08をおこなうように設けられている。前処理マッチングA05では、例えば、OCM(方向符号マッチング)法等を用いた迅速かつ予備的におこなわれるステレオマッチング処理をおこなうように設けるとよい。一方で、詳細マッチング処理A08では、LSM(最小二乗マッチング)法等を用いた精度の高いステレオマッチング処理をおこなうものとするとよい。あるいは、前処理マッチングA05では、例えば、簡易迅速にステレオマッチング処理をおこなうように構成された残差逐次検定法(SSDA法)等を用いるものとしてもよい。一方で、詳細マッチング処理A08では、より綿密なステレオマッチング処理をおこなうように構成された任意の正規化相関法(NCM)を用いてステレオマッチング処理をおこなうものとしてもよい。
【0214】
このように設けることにより、簡易迅速におこなうことができる第1のステレオマッチング法(例えば、OCM法)による前処理マッチングA05により、例えば、所定の閾値に基づく凸包線に包囲されて画成される詳細マッチング範囲21a内のみについて、より精度の高い、例えば、LSM法等による第2の詳細マッチング処理A08をおこなうことができる。このため、詳細マッチング処理A08の情報処理時間を抑制して、迅速かつ効率的な3次元計測をおこなうことができる。
【0215】
なお、前処理マッチングA05によりマッチング判定されたマッチング点にも、誤検出点(ミスマッチング点)が含まれることがある。ここで、前述の検出処理限定空間設定部14aを用いて以前に設定A02した検出処理限定空間21よりも更に狭い新たな検出処理限定空間21を再度設定A07するものとしてもよい。この場合には、前処理マッチングA05の前後に2度(A02及びA07)、検出処理限定空間設定部14aによる検出処理限定空間21の設定が行われることとなる。この場合の前者A02の検出処理限定空間21は前処理マッチングA05に先立って、前処理マッチングA05におけるミスマッチングの発生を防止する効果を有する。また、後者A07の検出処理限定空間21の設定は、前処理マッチングA05で検出されたミスマッチング点を除去する効果を有する。このように複数回に渡って検出処理限定空間21の設定を行うものとしてもよい。
【0216】
図12を参照して、本発明の第5の実施の形態に係る測定対象物を3次元計測する方法について説明する。本実施の形態の測定対象物1を3次元計測する方法は、測定対象物1の全体をカバーする基準体2の一部を構成する、3次元計測空間Rにおける複数の基準マーク4の3次元座標値g及び/又は複数の基準マーク4の相互間距離sの計測基準値g、sが予め把握された複数の基準マーク4を有するサブ基準体3を3次元計測空間R内に提供するステップ(S01)を備える。このため、3次元計測空間R内に取り扱いが容易で小型のサブ基準体3を搬入して設置することができる。
【0217】
また、3次元計測空間Rにおいてサブ基準体3を複数方向からステレオ撮影してステレオ画像20a、20bを得るステップ(S02)を備える。このため、ステレオ撮影の外部標定をおこなうために用いるステレオ画像20a、20bを得ることができる。サブ基準体3をステレオ撮影してステレオ画像20a、20bを得るステップ(S02)は、測定対象物1の全体をカバーするように、サブ基準体3を複数積み重ねるステップ(S02a)(不図示)、サブ基準体3を架台7a、7bに載置するステップ(S02b)(不図示)、サブ基準体3を移動するステップ(S02c)(不図示)及び3次元計算空間Vに仮想サブ基準体モデル103iを付加するステップ(S02d)(不図示)の群から選ばれる、いずれか一以上のステップを含むものとしてもよい。
【0218】
なお、サブ基準体3を複数積み重ねるステップ(S02a)(不図示)は、積み重ねられたサブ基準体3で測定対象物1の全体をカバーするように構成するものとするとよい。サブ基準体3を架台7a、7bに載置するステップ(S02b)(不図示)は、サブ基準体3を架台7a、7bに載置することで、複数の位置に配置された1つ以上のサブ基準体3で測定対象物1の全体をカバーするように構成するものとするとよい。サブ基準体3を移動するステップ(S02c)(不図示)は、サブ基準体3を移動することで、複数の位置に配置された1つ以上のサブ基準体3で測定対象物1の全体をカバーするように構成するものとするとよい。3次元計算空間Vに仮想サブ基準体モデル103iを付加するステップ(S02d)(不図示)は、3次元計測空間Rにおける1つ以上のサブ基準体3と、3次元計算空間Vにおいて付加される1つ以上の仮想サブ基準体モデル103iに対応する3次元計測空間Rにおける1つ以上の仮想サブ基準体3iとで、測定対象物1の全体をカバーするように構成するものとするとよい。
【0219】
また、ステレオ撮影して得たステレオ画像20に基づくサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)gの撮影測定値f及び/又は複数の基準マーク4の相互間距離(基準計測値)sの撮影測定値mと、予め把握されたサブ基準体3が有する複数の基準マーク4の3次元座標値(基準計測値)g及び/又は複数の基準マーク4の相互間距離(基準計測値)sとを含む、基準体2の3次元数値解析モデルである基準体モデル102を3次元計算空間V中に一体として画成するステップ(S03)を備える。このため、基準計測値g、sと撮影測定値f、mとの情報を含む基準体モデル102を3次元計算空間Vに一体として画成することができる。
【0220】
また、画成するステップ(S03)で画成された基準体モデル102を用いてステレオ撮影の外部標定要素(x,y,z)(ω,φ,κ)を外部標定法により算出するステップ(S04)を備える。このため、基準体モデル102が有する情報に基づいて、ステレオ撮影の外部標定をおこなうことができる。
【0221】
また、外部標定要素(x,y,z)(ω,φ,κ)が算出されたステレオ撮影により測定対象物1を撮影して測定対象物1を3次元計測するステップ(S05)を備える。なお、3次元計測空間Rは、サブ基準体3及び測定対象物1を現実に設置して3次元計測をおこなう実空間Rであり、3次元計算空間Vは、3次元計測空間Rに対応する、ステレオ撮影の外部標定要素(x,y,z)(ω,φ,κ)の外部標定法による算出をおこなうための仮想空間Vである。このため、外部標定がなされたステレオ撮影により測定対象物1を精度良く3次元計測することができる。
【0222】
このため、本実施の形態の測定対象物を3次元計測する方法は、基準体2の一部を構成する、即ち、基準体2よりも小型のサブ基準体3をステレオ撮影して得たステレオ画像20並びにサブ基準体3を予め基準計測して得た基準計測値g、sに基づいて外部標定をおこなうことができる。また、3次元計測空間Rにおいて測定対象物1の全体をカバーする基準体2に対応し、3次元計算空間Vにおいて空間前方交会法の共面条件に従う、サブ基準体3の撮影測定値f、mの情報と基準計測値g、sの情報とを含む、一の数値解析モデルである基準体モデル102を3次元計算空間Vに一体として画成することができる。また、基準体モデル102を用いてステレオ撮影を精度良く外部標定して測定対象物1の3次元計測を精度良くおこなうことができる。このため、取り扱いの容易な小型のサブ基準体3を備える3次元計測システム10を小型に設けることができる。
【0223】
図13を参照して、第5の実施の形態の測定対象物を3次元計測する方法における、3次元計測をセットアップする方法の詳細について説明する。3次元計測をセットアップする方法は、前述のサブ基準体3をステレオ撮影してステレオ画像20を得るステップS02に相当する、サブ基準体3を撮影するステップU01を備える。このため、ステレオ撮影の外部標定をおこなうために用いるステレオ画像20を得ることができる。
【0224】
また、3次元計測をセットアップする方法は、前述の基準体モデル102を3次元計算空間V中に一体として画成するステップS03に相当する、基準体モデル102を一体として画成するステップU02を備える。このため、基準計測値g、sと撮影測定値f、mとの情報を含む基準体モデル102を3次元計算空間Vに一体として画成することができる。
【0225】
また、3次元計測をセットアップする方法は、前述のステレオ撮影の外部標定要素(x,y,z)(ω,φ,κ)を外部標定法により算出するステップS04に相当する、外部標定をおこなうステップU03a(不図示)を備える。また、3次元計測をセットアップする方法は、外部標定要素(x,y,z)(ω,φ,κ)をバンドル調整(光束調整)して標定誤差の少ない外部標定要素(x,y,z)(ω,φ,κ)を得るステップU03b(不図示)を備えるものとしてもよい。この場合には、基準体モデル102が有する基準計測値g、sと撮影測定値f、mとの情報並びに幾何学条件に基づく拘束条件の情報に基づいて、精度良くステレオ撮影のバンドル調整をおこなうことができる。
【0226】
また、3次元計測をセットアップする方法は、3次元計測空間Rにおいてサブ基準体3及び/又は測定対象物1を設置する床面16に設けられた床面基準マーク16bをステレオ撮影して、3次元計算空間Vに画成された基準体モデル102に床面情報(計測基準面)106(図1参照)を追加するステップU04を備えるものとしてもよい。この場合には、基準体モデル102は測定対象物1の3次元計測の計測基準面として用いる基準平面106の情報を有することができる。
【0227】
また、3次元計測をセットアップする方法は、3次元計測の計測座標系を、前述の基準体モデル102に床面情報(計測基準面)106を追加するステップU04において追加した基準平面(計測基準面)106上に原点を有する、床面16(計測基準面106)を基準平面とする計測座標系に変換するステップ(U05)を備えるものとしてもよい。この場合には、3次元計測空間Rにおける床面16に対応する基準平面106上に原点を有する正規化された3次元計測座標系により3次元計測をおこなうことができるから、3次元計測情報の情報価値を更に高めることができる。
【0228】
また、3次元計測をセットアップする方法は、3次元計測空間Rに設けられた位置変動検出ターゲットマーク17a(図5参照)及び/又は床面基準マーク16b(図5参照)を外部標定要素(x,y,z)(ω,φ,κ)算出時S04及び位置変動検出時U06にステレオ撮影するステップU06a(不図示)と、ステレオ撮影するステップU06aでステレオ撮影された位置変動検出ターゲットマーク17a及び/又は床面基準マーク16bのステレオ画像20a、20b上の位置変動29を検出してステレオ撮影の位置変動29を検出するステップU06b(不図示)とを備えるものとしてもよい。なお、ステレオ撮影の位置変動29を検出するステップU06は、位置変動検出ターゲットマーク17a及び/又は床面基準マーク16bに基づいてステレオ撮影の外部標定をおこなうステップU06b1(不図示)を有するものとしてもよい。この場合には、外部標定要素(x,y,z)(ω,φ,κ)算出時S04と位置変動検出時U06とで外部標定S04されたステレオ撮影に位置変動29が生じていないことを確認することができる。
【0229】
図14を参照して、第5の実施の形態の測定対象物を3次元計測する方法の詳細について説明する。3次元計測する方法は、前述の3次元計測をセットアップする方法における、ステレオ撮影の位置変動29を検出するステップU06に相当する、ステレオ撮影の位置変動29を検出するステップM01を備えるものとするとよい。この場合に、ステレオ撮影の位置変動29が検出された場合には、前述の3次元計測をセットアップする方法(図13参照)により再度セットアップをやり直すものとするとよい。ステレオ撮影の位置変動29が検出されなかった場合には、続く測定対象物1を3次元計測するステップM02をおこなうものとするとよい。
【0230】
3次元計測する方法は、前述の測定対象物1を3次元計測するステップS05(図12参照)に相当する、測定対象物1を3次元計測するステップM02を備える。このため、外部標定がなされたステレオ撮影により測定対象物1を精度良く3次元計測することができる。3次元計測M02後には、更に連続計測(連続撮影)が必要であるか否かを判断するステップM03を備えるものとしてもよい。連続計測が必要であると判断された場合には、3次元計測するステップM02に戻って3次元計測を繰り返すものとするとよい。例えば、何らかの原因により3次元計測が失敗したものと判断される場合や、多くの人の体型を連続して3次元計測する場合には、連続計測をおこなうものと判断するとよい。連続計測が必要でないと判断された場合には、3次元計測を終了するものとするとよい。
【0231】
図15を参照して、第5の実施の形態の測定対象物を3次元計測する方法における、ステレオマッチング処理(対応点検出処理)方法の詳細について説明する。ステレオマッチング処理方法は、前述の測定対象物1を3次元計測するステップS05(図12参照)で得られるステレオ画像20a、20bを取得するステップA01を備えるものとするとよい。例えば、ステレオ撮影が4台(4ユニット)のステレオ撮影部11によりおこなわれる場合には、合計4組8枚のステレオ画像20a、20bを得ることができる。
【0232】
また、本実施の形態のステレオマッチング処理方法は、情報処理対象とする空間を所定の検出処理限定空間21内に限定して検出処理限定空間21以外の部分22を除去する、空間限定による背景除去をおこなうステップA02を備えるものとするとよい。この場合には、検出処理限定空間21以外の部分22の背景の情報を除去してステレオマッチング処理の処理時間を短縮することができる。なお、空間限定による背景除去をおこなうステップA02は、検出処理限定空間21をステレオ画像20a、20bの2次元平面上に逆投影するステップA02a(不図示)と、検出処理限定空間21以外の部分22を単色で塗りつぶすステップA02b(不図示)とを更に有するものとしてもよい。
【0233】
また、本実施の形態のステレオマッチング処理方法は、測定対象物1が撮影された一のステレオ画像27から測定対象物1を含まない背景9が撮影された他のステレオ画像28を差し引くことで測定対象物1の背景9を除去するステップを備えるものとしてもよい(A03)。なお、背景(ノイズ)9の除去は、続いて詳述するように、背景(ノイズ)9をステレオ画像20の2次元平面上に逆投影A04すると共に、逆投影A04された2次元平面のステレオ画像20上において、背景(ノイズ)9を単色で塗りつぶすことでおこなうものとしてもよい。
【0234】
また、本実施の形態のステレオマッチング処理方法は、3次元計測された測定対象物1の情報を含む3次元計算空間Vの情報をステレオ画像20a、20b上の2次元平面に逆投影するステップA04を備えるものとするとよい。この場合には、測定対象物1の3次元計測結果を含む3次元情報をステレオ画像20a、20b上の2次元平面に逆投影して効率良く情報処理をおこなうことができる。
【0235】
また、本実施の形態のステレオマッチング処理方法は、第1のマッチング処理によりステレオマッチング処理をおこなう、前処理マッチングをおこなうステップA05を備えるものとするとよい。第1のマッチング処理は、例えば、OCM法等の比較的簡易迅速にマッチング処理をおこなうことができるステレオマッチング処理方法とするとよい。
【0236】
また、本実施の形態のステレオマッチング処理方法は、前処理マッチングA05でマッチング判定された範囲を詳細マッチング処理範囲(詳細検出処理限定空間)21aに指定するステップA06を備えるものとするとよい。この場合には、続いて詳述する詳細マッチング処理A08をおこなう範囲を詳細マッチング処理範囲(詳細検出処理限定空間)21a内に限定することができる。
【0237】
また、本実施の形態のステレオマッチング処理方法は、検出処理限定空間21を設定して前処理マッチングA05で誤検出された誤対応点(ミスマッチング点)を除去するステップA07を備えるものとしてもよい。ミスマッチング点を除去するステップA07における検出処理限定空間21の設定は、典型的には、前述の空間限定による背景除去をおこなうステップA02で設定した検出処理限定空間21よりも更に狭い空間に検出処理限定空間21を再設定することにより、ミスマッチング点を含む詳細マッチング処理範囲21aよりも狭い範囲内に検出処理限定空間21の再設定を行うものである。このように設けることにより、前処理マッチングA05で誤検出されたミスマッチング点を除去することができる。
【0238】
なお、空間限定によりミスマッチング点を除去するステップA07は、前述の空間限定による背景を除去するステップA02と同様に、検出処理限定空間21をステレオ画像20a、20bの2次元平面上に逆投影するステップA07a(不図示)と、検出処理限定空間21以外の部分22を単色で塗りつぶすステップA07b(不図示)とを更に有するものとしてもよい。また、他の実施の形態では、ステレオマッチング処理方法は、前述の空間限定により背景を除去するステップA02又は空間限定によりミスマッチング点を除去するステップA07のいずれか一方のみを備えるものとしてもよい。あるいは、空間限定によりミスマッチング点を除去するステップを詳細マッチング処理A08の後に行うことにより、詳細マッチング処理A08後のミスマッチング点を除去するものとしてもよい。
【0239】
また、本実施の形態のステレオマッチング処理方法は、第1のマッチング処理におけるマッチング範囲として指定A06された詳細マッチング処理範囲(詳細検出処理限定空間)21a内を情報処理対象として第2のマッチング処理をおこなうステップA08を備えるものとするとよい。第2のマッチング処理は、例えば、LSM法(最小二乗マッチング法)等の比較的高精度にマッチング処理をおこなうことができるステレオマッチング処理方法とするとよい。この場合には、本実施の形態のステレオマッチング処理方法は、迅速かつ高精度にステレオマッチング処理をおこなうことができる。
【符号の説明】
【0240】
1 測定対象物
2 基準体
2i 仮想基準体
3 サブ基準体
3a 第1のサブ基準体
3b 第2のサブ基準体
3c 第3のサブ基準体
3i 仮想サブ基準体
4 基準マーク(カラーコードターゲット)
4i 仮想基準マーク
7 架台
7a 第1の架台
7b 第2の架台
8 ガイド部(ガイドポスト/ブシュ−)
9 背景
10 3次元計測システム
11 ステレオ撮影部
11a 第1のステレオ撮影部
11b 第2のステレオ撮影部
11c 第3のステレオ撮影部
11d 第4のステレオ撮影部
11e 撮影同期部
12 基準体情報画成部
13 標定要素算出部
14 3次元計測部
14a 検出処理限定空間設定部
14a1 逆投影部
14a2 塗りつぶし処理部
14b 背景除去部
14b1 差引演算部
14c ステレオマッチング処理部
14c1 前処理部
14c2 詳細処理部
15 撮影位置変動検出部
16 床面
16a 床面シート
16b 床面基準マーク
17 支持部
17a 位置変動検出ターゲットマーク
17b 分枝部(突出部)
18 制御部(中央演算装置CPU)
20 ステレオ画像
20a 第1のステレオ画像
20b 第2のステレオ画像
21 検出処理限定空間
21a 詳細マッチング処理範囲(詳細検出処理限定空間)
22 検出処理限定空間外の部分(除去部分)
27 一のステレオ画像(連続撮影)
28 他のステレオ画像(連続撮影)
29 位置変動
102 基準体モデル
102i 仮想基準体モデル
103 サブ基準体モデル
103a 第1のサブ基準体モデル
103b 第2のサブ基準体モデル
103c 第3のサブ基準体モデル
103i 仮想サブ基準体モデル
104 標定点
105 頂点(ノード)
106 基準平面
110 基準値(基準計測値)
200 従来の基準体
204 基準マーク(従来の基準体)
c 焦点距離
E 標定誤差(外部標定時)
E’’’ 標定誤差(バンドル調整1回目)
E’’ 標定誤差(バンドル調整2回目)
E’ 標定誤差(バンドル調整1回目)
f 撮影測定値(基準マークの3次元座標値)
fi 仮想付与値(仮想基準マークの3次元座標値)
f’’’ 標定点の3次元座標値(バンドル調整1回目)
f’’ 標定点の3次元座標値(バンドル調整2回目)
f’ 標定点の3次元座標値(バンドル調整3回目)
g 基準マークの3次元座標値(基準計測値)
gi 仮想基準マークの3次元座標値(仮想定義値)
l 基線長
m 撮影測定値(基準マークの相互間距離)
mi 仮想付与値(仮想基準マークの相互間距離)
m’’’ 標定点の相互間距離(バンドル調整1回目)
m’’ 標定点の相互間距離(バンドル調整2回目)
m’ 標定点の相互間距離(バンドル調整3回目)
第1の後側主点(像側主点)
第2の後側主点(像側主点)
P 測定対象点の3次元座標値(前方交会点)
第1のステレオ画像上の座標値
第2のステレオ画像上の座標値
R 3次元計測空間(実空間)
s 基準マークの相互間距離(基準計測値)
si 仮想基準マークの相互間距離(仮想定義値)
V 3次元計算空間(仮想空間)

【特許請求の範囲】
【請求項1】
3次元計測空間において測定対象物を複数方向から撮影してステレオ画像を得るステレオ撮影部と;
前記測定対象物の全体をカバーする基準体の一部を構成し、前記3次元計測空間における複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の基準計測値が予め把握された前記複数の基準マークを有するサブ基準体と;
前記ステレオ撮影部で撮影して得た前記ステレオ画像に基づく前記サブ基準体の前記複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の撮影測定値と、前記予め把握された前記サブ基準体の前記複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の基準計測値とを含む、前記基準体の3次元数値解析モデルである基準体モデルを3次元計算空間中に一体として画成する基準体情報画成部と;
前記基準体情報画成部により画成された前記基準体モデルを用いて前記ステレオ撮影部の外部標定要素を算出する標定要素算出部と;
前記標定要素算出部が算出した前記外部標定要素により定位された前記ステレオ撮影部により撮影される前記測定対象物のステレオ画像から前記測定対象物の3次元計測をおこなう3次元計測部とを備え;
前記3次元計測空間は、前記サブ基準体及び前記測定対象物を現実に設置して前記3次元計測をおこなう実空間であり;
前記3次元計算空間は、前記3次元計測空間に対応する、前記標定要素算出部が前記ステレオ撮影部の外部標定要素の算出をおこなうための仮想空間である;
3次元計測システム。
【請求項2】
前記ステレオ撮影部は、前記3次元計測空間において前記測定対象物を取り囲むように複数配置され、前記複数のステレオ撮影部は同時に前記測定対象物を撮影するように構成された、請求項1に記載の3次元計測システム。
【請求項3】
前記基準体情報画成部は:
前記ステレオ撮影部で撮影して得た前記ステレオ画像に基づく前記サブ基準体の前記複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の撮影測定値と、前記予め把握された前記サブ基準体の前記複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の基準計測値とを含む、前記サブ基準体の3次元数値解析モデルであるサブ基準体モデルを前記3次元計算空間中に画成するように構成され;
前記3次元計測空間中の前記測定対象物の一部をカバーするように想定された仮想サブ基準体が有するものと定義された複数の仮想基準マークの3次元座標値及び/又は前記複数の仮想基準マークの相互間距離の仮想付与値を含む、前記仮想サブ基準体の3次元数値解析モデルである仮想サブ基準体モデルを前記3次元計算空間中に画成するように構成され;
前記サブ基準体モデルと前記仮想サブ基準体モデルとを含む、前記3次元計測空間において前記測定対象物の全体をカバーするように想定された前記基準体である仮想基準体に対応する、前記仮想基準体の3次元数値解析モデルである仮想基準体モデルを前記基準体モデルとして前記3次元計算空間中に一体として画成するように構成された;
請求項1又は請求項2に記載の3次元計測システム。
【請求項4】
前記標定要素算出部は、前記基準体情報画成部が画成した前記一体の基準体モデルが含む、前記予め把握された前記サブ基準体が有する前記複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の基準計測値を基準値として前記ステレオ撮影部で撮影して得た前記ステレオ画像に基づく前記サブ基準体が有する前記複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の撮影測定値をバンドル調整をおこなって調整し、前記基準値と前記撮影測定値との間の誤差の少ない前記外部標定要素を算出するように構成された、請求項1乃至請求項3のいずれか一項に記載の3次元計測システム。
【請求項5】
前記バンドル調整の拘束条件は、前記ステレオ撮影部の光軸に近づくに従って大きな重み付けの値が付与されるように構成された、請求項4に記載の3次元計測システム。
【請求項6】
前記サブ基準体が有する前記複数の基準マークの3次元座標値及び前記複数の基準マークの相互間距離の情報を共に含む前記基準体モデルに付与される前記バンドル調整の拘束条件は、前記相互間距離に付与される重み付けの値と比較して前記3次元座標値に付与される重み付けの値が大きな値となるように構成された、請求項4又は請求項5に記載の3次元計測システム。
【請求項7】
前記基準体情報画成部は:
前記ステレオ撮影部の光軸に最も近いサブ基準体モデルに対しては、前記サブ基準体の前記複数の基準マークの3次元座標値の撮影測定値と、前記予め把握された前記サブ基準体の前記複数の基準マークの3次元座標値の基準計測値とを画成し;
前記ステレオ撮影部の光軸に最も近いサブ基準体モデル以外のサブ基準体モデルに対しては、前記サブ基準体の前記複数の基準マークの相互間距離の撮影測定値と、前記予め把握された前記サブ基準体の前記複数の基準マークの相互間距離の基準計測値とを画成する;
請求項1乃至請求項6のいずれか一項に記載の3次元計測システム。
【請求項8】
前記3次元計測空間において前記測定対象物が配置される床面に複数の床面基準マークを備え;
前記ステレオ撮影部は、前記複数の床面基準マークをステレオ撮影するように構成され;
前記基準体情報画成部は、前記複数の床面基準マークのステレオ画像に基づいて前記測定対象物が配置される床面の情報を前記3次元計算空間において一の平面の情報として前記基準体モデルに組み込んで画成するように構成された;
請求項1乃至請求項7のいずれか一項に記載の3次元計測システム。
【請求項9】
前記3次元計測部は、前記3次元計算空間において前記測定対象物が含まれる検出処理限定空間を設定する検出処理限定空間設定部を有し、前記検出処理限定空間設定部は、一対のステレオ画像上での対応点検出処理をおこなう範囲を前記検出処理限定空間内に限定するように構成された、請求項1乃至請求項8のいずれか一項に記載の3次元計測システム。
【請求項10】
前記検出処理限定空間設定部は、前記ステレオ撮影部が撮影した前記測定対象物の前記ステレオ画像上の2次元平面空間において前記対応点検出処理をおこなう範囲を限定するように構成され、前記ステレオ画像上の前記検出処理限定空間に対応する範囲以外の部分を単色で塗りつぶして前記対応点検出処理をおこなう範囲を前記検出処理限定空間内に限定するように構成された、請求項9に記載の3次元計測システム。
【請求項11】
前記3次元計測システムは、前記外部標定要素算出時からの前記3次元計測空間における前記ステレオ撮影部の位置変動を検出する撮影位置変動検出部を備え、前記撮影位置変動検出部は、前記ステレオ撮影部が前記外部標定要素算出後に得たステレオ画像と、前記ステレオ撮影部が前記外部標定要素算出時に得たステレオ画像とを比較することで、前記3次元計測空間における前記ステレオ撮影部の位置変動の有無を検出するように構成された、請求項1乃至請求項10のいずれか一項に記載の3次元計測システム。
【請求項12】
前記ステレオ撮影部は、位置変動検出ターゲットマークが貼付された支持部に固定されて支持されるように構成されて前記位置変動検出ターゲットマークをステレオ撮影するように構成され、前記撮影位置変動検出部は、前記ステレオ撮影部が撮影したステレオ画像上の前記位置変動検出ターゲットマークの位置を前記外部標定要素算出時と前記外部標定要素算出後とで比較して前記ステレオ撮影部の位置変動の有無を検出するように構成された、請求項11に記載の3次元計測システム。
【請求項13】
前記ステレオ撮影部は、前記測定対象物が配置される床面上の床面基準マークを撮影するように構成され、前記撮影位置変動検出部は、前記ステレオ撮影部が撮影したステレオ画像上の前記床面基準マークの位置を前記外部標定要素算出時と前記外部標定要素算出後とで比較して前記ステレオ撮影部の位置変動の有無を検出するように構成された、請求項11又は請求項12に記載の3次元計測システム。
【請求項14】
前記3次元計測部は、前記測定対象物が撮影された一のステレオ画像から前記測定対象物が含まれていない他のステレオ画像を差し引くことで、前記測定対象物の背景を除去する背景除去部を有する;
請求項1乃至請求項13のいずれか一項に記載の3次元計測システム。
【請求項15】
前記3次元計測部は、前処理部と詳細処理部とを有するステレオマッチング処理部を有し、前記ステレオマッチング処理部は、前記前処理部でマッチング判定された詳細マッチング範囲内を処理対象として前記詳細処理部で詳細マッチング処理をおこなうように構成された、請求項1乃至請求項14のいずれか一項に記載の3次元計測システム。
【請求項16】
測定対象物の全体をカバーする基準体の一部を構成する、3次元計測空間における複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の計測基準値が予め把握された前記複数の基準マークを有するサブ基準体を前記3次元計測空間内に提供するステップと;
前記3次元計測空間において前記サブ基準体を複数方向からステレオ撮影してステレオ画像を得るステップと;
前記ステレオ撮影して得たステレオ画像に基づく前記サブ基準体が有する前記複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の撮影測定値と前記予め把握された前記サブ基準体が有する前記複数の基準マークの3次元座標値及び/又は前記複数の基準マークの相互間距離の基準計測値とを含む、前記基準体の3次元数値解析モデルである基準体モデルを3次元計算空間中に一体として画成するステップと;
前記画成するステップで画成された前記基準体モデルを用いて前記ステレオ撮影の外部標定要素を外部標定法により算出するステップと;
前記外部標定要素が算出されたステレオ撮影により前記測定対象物を撮影して前記測定対象物を3次元計測するステップとを備え;
前記3次元計測空間は、前記サブ基準体及び前記測定対象物を現実に設置して前記3次元計測をおこなう実空間であり;
前記3次元計算空間は、前記3次元計測空間に対応する、前記ステレオ撮影の外部標定要素の前記外部標定法による算出をおこなうための仮想空間である;
測定対象物を3次元計測する方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2013−79854(P2013−79854A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2011−219669(P2011−219669)
【出願日】平成23年10月3日(2011.10.3)
【出願人】(000220343)株式会社トプコン (904)
【Fターム(参考)】