説明

発光する対象物の3次元プロフィールの計測方法および装置

【課題】 操業中の合間を利用できるように迅速な計測と周囲の作業者への安全とを確保することと、発光する高温の耐火物の残厚を高精度に推定することとを両立させる。
【解決手段】 計測対象物4の表面に400〜680nm間の一定波長のレーザースリット光3を照射し、ステレオカメラ対7a、7bによりレーザースリット光3の照射された計測対象物4の表面を撮像してステレオ画像処理することにより、第1の3次元プロフィールデータ11を得る。また、ステレオカメラ対7a、7bにより環境光20と計測対象物4の表面からの自発光21とによる陰影を含む画像を撮像してステレオ画像処理することにより、第2の3次元プロフィールデータ17を得る。そして、第1の3次元プロフィールデータ11と第2の3次元プロフィールデータ17との和集合をもって全体の3次元プロフィールデータ17を得る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高温であることによって自己発光する対象物を形状測定する方法および形状測定する装置に関する。具体的には、例えば、溶融金属を貯留する高温耐熱容器の耐火物や加熱炉内部の耐火物の、表面の3次元プロフィールデータを非接触で計測する方法および装置に関する。
【背景技術】
【0002】
溶融金属を保持する容器や、加熱炉の内面などについては、その内面ライニングである耐火物の補修のため、耐火物の表面の3次元プロフィールを逐次計測して、その損耗度を把握する必要がある。特に耐火物の残厚を把握することは、生産上の安全を保ちつつ機を逃さずに補修作業ができることから生産性の向上のために強く望まれている。そこで、このような高温となっている耐火物の表面の残厚を、非接触の光学的計測法により推定することが一般的に行われている。しかしながら、対象物すなわち耐火物は高温となっているために、その表面自体が発光している。このため、非接触の光学的計測法によって耐火物の残厚を計測した場合には、計測誤差が生じたり、部分的に計測不能となったりしやすい、という問題があった。
【0003】
そこで、レーザー光等を用いた光学的計測法として、レーザー光等のスポット照射にて単位面積のエネルギー密度が高くなることを利用した計測法がある。このレーザー光を用いた光学的計測法を用いることにより、比較的遠距離から非接触で高精度に対象物の形状を計測できるシステムが多く提案され、実用に供されている。このようなレーザー光等を用いた光学的計測法の多くは、光の飛行時間を利用した計測方式、または、スポット照射輝点を利用した三角測量方式を用いる。しかし、これらの方式のうち、光の飛行時間を利用した計測方式によって、耐火物などの対象物の全面を計測する場合には、レーザー光による計測点を、対象物(耐火物)の表面全域に対して走査せねばならない。よって、高精度の走査機構が必要となり、非効率で、高価となりやすい。
【0004】
一方、三角測量方式の一種であるステレオ画像方式では、2次元の撮像素子で迅速に対象物を計測できる長所を持つ。しかしながら、左右の撮像装置で得られた2つの画像内の一致点を抽出するマッチングの不確実さから、耐火物の表面の高精度計測には不適とされてきた。すなわち、ステレオ画像方式では、環境光による陰影画像の特徴点やパターンを一致点として使う。ところが、耐火物の表面には類似した特徴点やパターンが多数存在する。このため、ステレオ画像方式では、前述したマッチングの不確実さが生じる。
【0005】
特許文献1にはこれに対し、ステレオ画像方式において、旋回するスリット光を用いるシステムを開示している。このシステムでは、能動的かつ限定的に特徴点を生成させるので、ステレオ画像方式における特徴点の一致の不確実さが改善される。光切断法ではスリット光の旋回角度の精度はシステムにおける計測精度への影響が大きかったが、このシステムではこの影響を低減できる。
【0006】
特許文献2には、環境光で得た撮像画像により、レーザースリット光で得た撮像画像を修正する技術が開示されている。この技術では、斜めに当てたレーザースリット光の変位曲線から対象物の相対的な凹凸を求める。そして、求めた対象物の相対的な凹凸と、環境光で得た目地などの2次元の既知寸法の情報から、対象物における3次元の定量的な形状情報を得るようにしている。
【0007】
ところで、レーザー光は出力が高いと、人体、特に視覚系に対して危険があるため、出力の高いレーザー光を使用する場合には、レーザー光や反射光が漏れないように対象エリアをカバーで覆って安全を確保することが義務づけられている。カバーで覆う作業は操業の合間の作業としては負担が大きく、操業停止のロスが大きい。このため、対象エリアをカバーで覆う作業を省略できるような低出力のレーザー光での計測を行うことが望まれる。しかしながら、発光している対象物の形状を光学的計測法で計測するに際し、低出力のレーザー光を用いると、前述した従来の技術では、計測精度や効率が低下してしまう。よって、対象エリアをカバーで覆う作業を省略することと、計測精度や効率の低下を抑制することとを両立させることは大きな課題であった。
【0008】
【特許文献1】特開昭61−31909号公報
【特許文献2】特開2002−90124号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
特許文献1で開示されたシステムは、自らは発光していない対象物の表面に対して使用されることが前提となっている。よって、発光する対象物の表面に対してこのシステムをそのまま用いると、以下のような課題が生じる。
まず、光源に非レーザー光(レーザー光以外の光)のスリット光を用いた場合では、S/N比(ノイズに対する信号成分の強さ)が低下して計測が不可能となったり、精度や効率が著しく低下したりする。一方、光源にレーザー光を用いると、スポット光の投射領域よりも大きな領域であるライン状の投射領域で充分な輝度を得るためには、大きな出力の光源が必要となる。よって、安全基準内での計測には限界があった。
【0010】
また、スリット光と直交する方向の形状に対しては、離散的な計測となるので、形状認識の分解能が低かった。特に欠陥として重要な割れや溝状の形状が、スリット光に平行な配置であると計測が困難である。
したがって、特許文献1で開示されたシステムは、高温耐火物のプロフィール測定の実用には適さない。
【0011】
特許文献2に開示された技術では、環境光を用いることにより、目地などの基準形状の計測が行われている。しかしながら、環境光による3次元プロフィールの計測は行わないので、付着物などで目地などの寸法が既知の特徴を見いだせない場合は、計測の定量性が失われる。もちろん吹き付け体で施工された耐火物の表面など、2次元画像処理で見いだせる、寸法が既知の基準形状(目地など)を持たない対象に対しては、特許文献2に記載された技術を適用することは不可能である。
【0012】
そこで、前記の事情に鑑み、本発明では、発光する高温の対象物(例えば耐火物)の残厚を推定できるような高精度な3次元プロフィールの計測方法および計測装置を提供することを目的とする。これは、耐火物の表面の性状によらず、操業中の合間を利用できるように、迅速に計測でき、かつ周囲の作業者への安全が確保できる計測方法および計測装置でもある。
【課題を解決するための手段】
【0013】
本発明は前記の課題を解決するためになされたものであって、その要旨は以下のとおりである。
(1)所定の間隔で設置されたステレオカメラ対を用いて、発光する対象物を撮像して3次元プロフィールを求めるステレオ計測であり、400〜680nm間の一定波長のレーザースリット光を対象物に照射して行う計測である、発光する対象物の3次元プロフィールの計測方法において、
モード切替手段によって前記レーザースリット光を照射する撮像モード(以下、レーザー光撮像モードという)に撮像モードを切り替え、
前記レーザー光撮像モードに撮像モードが切り替えられた後に、前記対象物の表面に前記レーザースリット光を照射し、
前記ステレオカメラ対により、前記レーザースリット光の照射された前記対象物の表面の画像を撮像し、
当該撮像された画像をステレオ画像処理することにより、前記レーザースリット光に基づく第1の3次元プロフィールデータを得、
前記モード切替手段によって前記レーザースリット光の照射をしない撮像モード(以下、環境光撮像モードという)に撮像モードを切り替え、
前記環境光撮像モードに撮像モードが切り替えられた後に、前記ステレオカメラ対により、環境光と前記対象物の表面から自己発光している自発光とに基づき前記対象物の表面に生じている陰影を含む画像を撮像し、
当該撮像された画像をステレオ画像処理することにより、前記環境光および前記自発光に基づく第2の3次元プロフィールデータを得、
前記第2の3次元プロフィールデータと前記第1の3次元プロフィールデータとの和集合をもって、前記対象物全体の3次元プロフィールデータを得ることを特徴とする、発光する対象物の3次元プロフィールの計測方法。
【0014】
(2)前記ステレオ画像処理によって、前記第1の3次元プロフィールデータを得るに際において、前記レーザースリット光の反射光を優先的に通過させる受光波長選択手段を通して、前記レーザースリット光の照射された前記対象物の表面の画像を撮像することを特徴とする、前記(1)に記載の発光する対象物の3次元プロフィールの計測方法。
(3)前記レーザースリット光は、発光時間が、発光間隔の100分の1以上1000万分の1以下の間欠的なパルスであり、
前記ステレオカメラ対での露光時間が、前記ステレオカメラ対で前記レーザースリット光の反射光の観測される時間を含むように、前記ステレオカメラ対におけるシャッターの開閉動作と、前記レーザースリット光の発光動作とを同期させることを特徴とする、前記(1)または(2)に記載の発光する対象物の3次元プロフィールの計測方法。
【0015】
(4)前記第1の3次元プロフィールデータと前記第2の3次元プロフィールデータとにおいて、両データの乖離量を所定の方法で評価し、
事前に設定された限界値より前記乖離量が大きい場合、前記第2の3次元プロフィールデータ全体を前記ステレオカメラ対の光軸方向に平行移動させることと、前記ステレオカメラ対の光軸に直交し、かつ互いに直交する2つの軸を回転軸として前記第2の3次元プロフィールデータ全体を回転移動させることとを行って、前記乖離量が最小となるように前記第2の3次元プロフィールデータを修正して、修正第2の3次元プロフィールデータとし、
当該修正第2の3次元プロフィールデータを当初の第2の3次元プロフィールデータの代わりに用いて、前記第1の3次元プロフィールデータとの和集合を計算して、前記対象物全体の3次元プロフィールデータを得ることを特徴とする、前記(1)〜(3)のいずれかに記載の発光する対象物の3次元プロフィールの計測方法。
【0016】
(5)前記ステレオカメラ対の光軸方向視で、前記第1の3次元プロフィールデータと前記第2の3次元プロフィールデータとの各点の位置を比較し、重なった点、又は、所定の距離より近い点の対を近傍点対とし、
前記第1および前記第2の3次元プロフィールデータ全体での前記近傍点対の集合である近傍点群の内から任意に選んだ少なくとも4個以上の前記近傍点対について、前記光軸方向の距離である偏差距離を求め、
当該求めた各偏差距離の二乗和を前記乖離量として求めることを特徴とする、前記(4)に記載の発光する対象物の3次元プロフィールの計測方法。
(6)前記乖離量が最小となるように、前記第2の3次元プロフィールデータ全体を前記ステレオカメラ対の光軸方向に平行移動させ、これを平行移動修正3次元プロフィールデータとし、
前記平行移動修正3次元プロフィールデータの重心、または、前記平行移動修正3次元プロフィールデータの各点の座標の値の算術平均を座標の値として持つ点を通り、かつ前記ステレオカメラ対の光軸に直交する任意の1軸を回転軸として、前記平行移動修正3次元プロフィールデータを回転移動させ、これを1軸回転移動修正3次元プロフィールデータとし、
当該1軸回転移動修正3次元プロフィールデータの重心を通り、かつ、前記ステレオカメラ対の光軸と前記任意の1軸とに直交する軸を回転軸として、前記1軸回転移動修正3次元プロフィールデータを、前記乖離量が最小となるように再度回転移動させ、これを前記修正第2の3次元プロフィールデータとすることを特徴とする、前記(4)または(5)に記載の発光する対象物の3次元プロフィールの計測方法。
(7)前記ステレオカメラ対は、前記レーザー光撮像モードで画像を撮像する第1のステレオカメラ対と、前記環境光撮像モードで画像を撮像する第2のステレオカメラ対とを備えることを特徴とする、前記(1)〜(6)のいずれかに記載の発光する対象物の3次元プロフィールの計測方法。
【0017】
(8)発光する対象物に、400〜680nm間の一定波長のレーザースリット光を照射して、所定の間隔で設置されたステレオカメラ対を用いてステレオ計測する3次元プロフィールの計測装置において、
前記レーザースリット光を照射する撮像モード(以下、レーザー光撮像モードという)と、前記レーザースリット光を照射しない撮像モード(以下、環境光撮像モードという)とに撮像モードを切り替えるモード切替手段と、
前記対象物の表面に前記レーザースリット光を照射するレーザースリット光照射手段と、
前記レーザースリット光の照射された前記対象物の表面の画像、並びに、環境光と前記対象物の表面から自己発光している自発光とに基づき前記対象物の表面に生じている陰影を含む画像を撮像する前記ステレオカメラ対と、
前記レーザースリット光の照射された対象物の表面の画像を画像処理することにより第1の3次元プロフィールデータを得ると共に、前記環境光および前記自発光に基づき前記対象物の表面に生じている陰影を含む画像を画像処理することにより第2の3次元プロフィールデータを得るステレオ画像処理手段と、
前記第2の3次元プロフィールデータと前記第1の3次元プロフィールデータとの和集合をもって、前記対象物全体の3次元プロフィールデータを得るデータ融合手段と、
を有することを特徴とする、発光する対象物の3次元プロフィールの計測装置。
【0018】
(9)前記レーザースリット光の反射光を優先的に通過させる受光波長選択手段を有し、
前記レーザースリット光の照射された対象物の表面の画像を前記ステレオカメラ対により撮像する際に、前記受光波長選択手段を介在させることを特徴とする、前記(8)に記載の発光する対象物の3次元プロフィールの計測装置。
(10)前記レーザースリット光の発光時間が、発光間隔の100分の1以上1000万分の1以下の間欠的なパルス光を前記レーザースリット光として照射するパルスレーザー発光手段と、
前記ステレオカメラ対で前記レーザースリット光の反射光を撮像できるように、前記パルスレーザー発光手段による前記レーザースリット光の発光動作と、前記ステレオカメラ対におけるシャッターの開閉動作とを同期させる撮像同期手段とを有することを特徴とする、前記(8)または(9)に記載の発光する対象物の3次元プロフィールの計測装置。
(11)前記第1の3次元プロフィールデータと前記第2の3次元プロフィールデータとの乖離量を所定の方法で求め、当該求めた乖離量と事前に設定された限界値とを比較して、前記乖離量を評価する乖離量評価手段と、
前記第2の3次元プロフィールデータ全体を、前記ステレオカメラ対の光軸方向に平行移動をさせる第1のデータ変換手段と、
前記ステレオカメラ対の光軸に直交し、かつ互いに直交する2つの軸を回転軸として前記第2の3次元プロフィールデータ全体を回転移動させる第2のデータ変換手段とを有し、
前記第1のデータ変換手段と前記第2のデータ変換手段とを用いて前記乖離量が最小となるように、前記第2の3次元プロフィールデータを修正して修正第2の3次元プロフィールデータとし、
当該修正第2の3次元プロフィールデータを当初の第2の3次元プロフィールデータの代わりに用いて、前記第1の3次元プロフィールデータとの和集合を計算して、前記対象物全体の3次元プロフィールデータを得ることを特徴とする、前記(8)〜(10)のいずれかに記載の発光する対象物の3次元プロフィールの計測装置。
【0019】
(12)前記ステレオカメラ対の光軸方向視で、前記第1の3次元プロフィールデータと前記第2の3次元プロフィールデータとの各点の位置を比較し、重なった点、又は、所定の距離より近い点の対を近傍点対として設定する近傍点対設定手段と、
前記近傍点対の集合である近傍点群の内から任意に選んだ少なくとも4個以上の前記近傍点対について、当該近傍点対の前記光軸方向の距離である偏差距離を求める偏差距離導出手段とを有し、
前記乖離量評価手段は、前記偏差距離の夫々の二乗和を前記乖離量として求めることを特徴とする、前記(11)に記載の発光する対象物の3次元プロフィールの計測装置。
【0020】
(13)前記第1のデータ変換手段は、前記乖離量が最小となるように、前記第2の3次元プロフィールデータ全体を、前記ステレオカメラ対の光軸方向に平行移動させ、これを平行移動修正3次元プロフィールデータとし、
前記第2のデータ変換手段は、当該平行移動修正3次元プロフィールデータの重心、または、当該平行移動修正3次元プロフィールデータの各点の座標の値の算術平均を座標の値として持つ点を通り、かつ前記ステレオカメラ対の光軸に直交する任意の1軸を回転軸として、前記平行移動修正3次元プロフィールデータを、前記第2のデータ変換手段を用いて回転移動させ、これを1軸回転移動修正3次元プロフィールデータとし、当該1軸回転移動修正3次元プロフィールデータの重心を通り、かつ、前記ステレオカメラ対の光軸と前記任意の1軸とに直交する軸を回転軸として、前記1軸回転移動修正3次元プロフィールデータを、前記乖離量が最小となるように再度回転移動させ、これを前記修正第2の3次元プロフィールデータとすることを特徴とする、前記(11)または(12)に記載の発光する対象物の3次元プロフィールの計測方法。
(14)前記ステレオカメラ対は、前記レーザー光撮像モードで画像を撮像する第1のステレオカメラ対と、前記環境光撮像モードで画像を撮像する第2のステレオカメラ対とを備えることを特徴とする、前記(8)〜(13)のいずれかに記載の発光する対象物の3次元プロフィールの計測装置。
【発明の効果】
【0021】
前記(1)のように本発明によれば、レーザースリット光を対象物の表面に照射することにより定量的に得た第1の3次元プロフィールデータと、自発光や環境光で得た第2の3次元プロフィールデータとを融合することにより、高精度かつ分解能の高い3次元の形状データを、高い効率で計測することができる。また、照射するレーザースリット光と平行に伸びる細長い凹凸であっても、その凹凸を計測できる。よって、例えば転炉内部や加熱炉内壁の高温耐火物を対象物として応用した場合でも、耐火物の欠陥の有無や残厚の推定を容易に行うことができ、機を逃さずにその補修をすることができる。
【0022】
また、前記(2)のように本発明の他の特徴によれば、レーザースリット光の反射光を優先的に通過させる受光波長選択手段を用いるので、レーザースリット光を他の光に優先して検出できる。したがって、レーザースリット光の出力をより下げることができ、計測作業の安全性が得られる。よって、レーザースリット光および反射光の漏洩を防ぐカバーの使用を省略することができる。
また、前記(3)のように本発明のその他の特徴によればパルス型出力のレーザースリット光を用いるようにしたので、レーザースリット光による撮像の際に、ステレオカメラ対の露光時間を短縮する事ができ、対象物の表面の発光による外乱の影響を低減することができる。つまりS/N比を高くすることが出来るので、レーザースリット光の出力をさらに下げることができる。加えてステレオカメラ対の露光時間の調整だけで、レーザースリット光の撮像と、自発光および環境光の撮像とを切り替えられるので、両映像の光学的な差が殆ど無くなり、計測精度を高められる。
【0023】
また、前記(4)〜(6)のいずれかのように本発明のその他の特徴によれば、第1の3次元プロフィールデータを基準にして第2の3次元プロフィールデータを第1の3次元プロフィールデータに融合するようにしたので、対象物の形状データをより高精度に得ることができる。これは、レーザースリット光の撮像と、自発光および環境光の撮像との特性の差に由来する。第1の3次元プロフィールデータであるレーザースリット光による形状データは、誤差が少なく精度は高いが、方向性が強く、特に急峻な形状変化を計測しづらいので分解能は低い。これに対し、第2の3次元プロフィールデータである自発光および環境光による形状データ(陰影)は、方向性が少なく急峻な形状変化ほど明瞭な陰影情報となるので分解能は高いが、元の形状変化が急峻なために精度が低下しやすい。そこで、精度の高い第1の3次元プロフィールデータを基準として、第2の3次元プロフィールデータを融合させることで、精度と分解能とを同時に高く出来る。
【0024】
前記(8)の装置を用いれば、前記(1)の方法による効果を実現することができる。
前記(9)の装置を用いれば、前記(2)の方法による効果を実現することができる。
前記(10)の装置を用いれば、前記(3)の方法による効果を実現することができる。
前記(11)〜(13)の何れかの装置を用いれば、前記(4)〜(6)の何れかの方法による効果を実現することができる。
【発明を実施するための最良の形態】
【0025】
(第1の実施形態)
以下、本発明の第1の実施形態について図面に基づいて説明する。尚、本実施形態は、主に、前記(1)、(2)、(9)、(10)の発明の実施形態である。
図1〜図3は、本発明の実施形態に係わるステレオ計測装置を示す概念図である。具体的に図1は、レーザースリット光による一対のステレオ画像を得るステレオ計測装置の外観の一例を説明する斜視図である。図2は、ステレオ計測装置におけるデータの流れと制御の概念の一例を示す図である。図3は、計測対象物の一例と、計測対象物にレーザー光を照射して得られるデータとレーザー光を照射せずに(計測対象物の自己発光による光と環境光とに基づき)得られるデータとの融合の概念の一例とを示す斜視図である。
【0026】
図1に示すように本実施形態のステレオ計測装置では、レーザー発光手段1から発射されたレーザー光を、例えばシリンドリカルレンズ等を備えるスリット化手段2にてレーザースリット光3とし、計測対象物4の表面上にレーザー輝線5を発生させる。そして、レーザー走査手段6にて、レーザー輝線5の位置を、レーザースリット光3の長軸方向と概ね直交する方向に走査させる。レーザー輝線5の走査範囲が視界範囲と概ね一致するようにステレオカメラ対7a、7bを配置して、視界内のレーザー輝線5をステレオカメラ対7a、7bにより撮像する。ステレオカメラ対7a、7bのベース線8(各カメラの撮像素子の中心を結ぶ線分)が、レーザー輝線5と概ね直交するように、ステレオカメラ対7a、7bを配置する。レーザー輝線5からの反射光は、例えばフィルター等を備える受光波長選択手段9a、9bにて調整されてステレオカメラ対7a、7bにて撮像される。
以上のように本実施形態では、レーザー発光手段1、スリット化手段2、およびレーザー走査手段6により、レーザースリット光照射手段が実現される。尚、スリット化手段2は、必ずしもシリンドリカルレンズを備えていなくてもよい。例えば、シリンドリカルレンズの代わりに放物面鏡を備えていてもよい。
【0027】
この他、本実施形態のステレオ計測装置としては、図1には図示しないモード切替手段、ステレオ画像処理手段、およびデータ融合手段等が含まれる(図2を参照)。
尚、レーザー発光手段1、ステレオカメラ対7a、7b、及びレーザー走査手段6は、計測対象物4から所定の距離を隔てて設置された耐熱性の筐体の内部に取り付けられている。この筐体は、図1に示したものに限定されず、例えば、レーザー走査手段6にて走査されるレーザースリット光3が出射される領域と、レーザー輝線5からの反射光が入射される領域以外の部分を塞ぐようにして、筐体内部にある装置の耐熱性をより高めるようにしてもよい。
【0028】
次に、図2を参照しながら、ステレオ計測装置における制御と画像データ等のデータの関係について示す。
モード切替手段12では、レーザー発光手段1からレーザー光を発光させるレーザー光撮像モードと、レーザー発光手段1からのレーザー光の発光を停止させる環境光撮像モードとの何れかに撮像モードを切り替える。モード切替手段12は、この切り替えの信号をレーザー発光手段1に送り、この切り替えに必要な制御信号をシャッター手段13へも送る。すなわち、モード切替手段12は、シャッター手段13によりステレオカメラ対7a、7bのシャッターが開放される時間(シャッター開放時間、すなわち露光時間)の制御も行う。これによって、レーザースリット光3による計測と、環境光20を反射した光および計測対象物4の自己発光による光(自発光)21による計測とを切り替える事が出来る。尚、モード切替手段12は、レーザー光撮像モードと環境光撮像モードとを、コンピュータ制御によって自動的に切り替えるようにしてもよいし、ユーザによる操作に基づいて切り替えるようにしてもよい。
【0029】
レーザースリット光3による計測では、レーザー走査手段6にて走査される複数のレーザー輝線5の反射光に基づく画像を、受光波長選択手段9およびシャッター手段13を介在させて、ステレオカメラ対7a、7bにて撮像する。そして、ステレオカメラ対7a、7bから出力された画像データをステレオ画像処理手段10にて、ステレオ画像処理(ステレオ視処理)し、複数の3次元プロフィール線からなる第1の3次元プロフィールデータ11を得る。尚、レーザー光撮像モードでは、シャッター開放時間を反射光が撮像可能な短い時間に調整する。
【0030】
一方、環境光撮像モードでは、レーザースリット光3を発光させずに、シャッター開放時間(露光時間)を、弱い環境光20が撮像可能な長い開放時間に調整する。そして、受光波長選択手段9およびシャッター手段13を介在してステレオカメラ対7a、7bにて撮像された画像データを、ステレオ画像処理手段10にてステレオ画像処理し、複数の3次元プロフィール線からなる第2の3次元プロフィールデータ16を取得する。
以上のように、本実施形態のステレオ計測装置100では、同一の計測対象物4を二通りの撮像モードで計測する事で、2種類の3次元プロフィール線群(第1の3次元プロフィールデータ11および第2の3次元プロフィールデータ16)を得る。そして、データ融合手段14にて、2種類の3次元プロフィール線群を融合し、高精度かつ分解能の高い3次元プロフィールデータ17を得る。
【0031】
尚、本実施形態において、ステレオ画像処理手段10、モード切替手段12、およびデータ融合手段14は、例えば、ステレオカメラ対7a、7bで撮像された画像データを入力するための画像入出力ボードと、レーザー発光手段1およびシャッター手段13と通信するための通信インターフェースとを備えたパーソナルコンピュータを用いることにより実現できる。
【0032】
次に、図3を参照しながら、計測対象物4と、レーザー光撮像モードで得られた、計測対象物4の第1の3次元プロフィールデータ11と、環境光撮像モードで得られた、計測対象物4の第2の3次元プロフィールデータ16と、第1の3次元プロフィールデータ11および第2の3次元プロフィールデータ16を融合することにより得られた3次元プロフィールデータ17との概念の一例を説明する。
図3(a)は、計測対象物4の一例を示す斜視図であり、図3(b)は、第1の3次元プロフィールデータ11の一例を示す斜視図であり、図3(c)は、第2の3次元プロフィールデータ16を示す斜視図であり、図3(d)は、3次元プロフィールデータ17の一例を示す斜視図である。この図3に示す例では、計測対象物4に、レーザースリット光3と平行な段差51と、自己発光において全体の平均よりも暗い領域(陰影)52と、その平均よりも明るい領域(陰影)53と、その平均の明るさを有する凹形状の領域(段差)54と、凸形状の領域(段差)55とがある場合を示している。
【0033】
高温の物体の自発光21は、温度に応じて発光分布が変化し、プランクの公式に準じた波長分布の光となりやすい。環境光20も自発光21と同様な波長分布となりやすい。レーザー光は単一の波長の光なので、一般的に入手可能な400nm以上680nm以下の波長を有する可視光領域のレーザースリット光3は、低出力でもレーザー輝線5を形成できる。
【0034】
まず、1000℃未満の発光の弱い温度域の耐火物の形状を測定するには、この400nm以上680nm以下(400〜680nm)の一定波長を有する可視光領域のレーザースリット光3を用いることができる。
一方、より高温の物体は赤い光から自発光21を発光し始めるので、レーザー輝線5のコントラストを高めるには、より短波長のレーザースリット光3、すなわち緑、青、又は紫などの色相となる波長を有するレーザースリット光3を用いるのが望ましい。例えば1000℃以上の耐火物の形状を測定するには、400nm以上550nm以下の一定波長を有するレーザースリット光3を用いることが望ましい。但し、400nm未満の波長を有する光は、紫外線となるので、可視光ではなく、人体に有害である恐れがある。よって、400nm未満の波長を有する光をレーザースリット光3として用いないほうが良い。
さらに、受光波長選択手段9を用いて、レーザースリット光3の反射光である輝線を選択的に撮像すれば、よりコントラストを高めることができるので、計測精度が向上する。
【0035】
一般的にステレオ画像処理は、デジタル機器で計測・処理されるため、計測された画像データは離散点となる。また、画像内の輝度の変化する境界がデータ化されやすいので、画像データは、図面的に表示すると、線状に並んだデータ点群となりやすい。そのため、図3に示す例では、ステレオ画像処理手段10の出力である3次元のデータ点群を、それら3次元データ点群を連結して出来る3次元の線分で代表している。
【0036】
前述したように図3(b)は、レーザー輝線5の反射光から求めた第1の3次元プロフィールデータ(3次元プロフィール線群)11である。図3(b)に示すように、第1の3次元プロフィールデータ11では、連続的な形状変化は判りやすいが、段差は見失いやすい。言い換えると、第1の3次元プロフィールデータ11では、面を認識しやすく、稜線や谷線を認識しにくい。
【0037】
また、図3(c)は、自発光21および環境光20による陰影から求めた第2の3次元プロフィールデータ(3次元プロフィール線群)16である。図3(c)に示すように、第2の3次元プロフィールデータ16では、陰影の大きな変化は認識しやすいので、段差54、55を求めやすいが、自発光21および環境光20により平面上に陰影が生じている領域52、53も特徴と見てしまう。言い換えると、第2の3次元プロフィールデータ16では、面を認識しにくく、線や輝度差を認識しにやすい。
【0038】
図3(d)は、データ融合手段14にて、2種類の3次元プロフィール線群(第1の3次元プロフィールデータ11および第2の3次元プロフィールデータ16)を融合した3次元プロフィールデータ17の一例を示す図である。
図3(d)に示すように、例えば、第2の3次元プロフィールデータ16のうち、輝度の変化している領域52、53部分の形状データも、レーザー輝線5の反射光から求めた第1の3次元プロフィールデータ11と重ねると、領域52、53の近傍が平坦である事が判る。よって、第1の3次元プロフィールデータ11および第2の3次元プロフィールデータ16を融合した3次元プロフィールデータ17を、計測対象物4の全体の形状を認識するのに有効に利用できる。また、図3(d)に示す3次元プロフィールデータ17では、段差51と形状全体との関係も明瞭となる。
【0039】
以上のように本実施形態では、レーザースリット光3を計測対象物4の表面に照射することにより定量的に得た第1の3次元プロフィールデータ11と、自発光21および環境光20で得た第2の3次元プロフィールデータ16とを融合することにより、高精度かつ分解能の高い3次元の形状データ(3次元プロフィールデータ17)を、高い効率で計測することができる。また、照射するレーザースリット光3と平行に伸びる細長い凹凸であっても、その凹凸を計測できる。よって、例えば転炉内部や加熱炉内壁の高温耐火物を対象物として、本実施形態の手法を応用した場合でも、耐火物の欠陥の有無や残厚の推定を容易に行うことができ、機を逃さずに耐火物を補修することができる。
【0040】
また、レーザースリット光3の反射光を優先的に通過させる受光波長選択手段9を用いたので、レーザースリット光3を他の光に優先して検出できる。したがって、レーザースリット光3の出力をより下げることができ、計測作業の安全性が得られる。よって、レーザースリット光3および反射光の漏洩を防ぐカバーの使用を省略することができる。
【0041】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態と前述した第1の実施形態とは、レーザースリット光の発光形態が主として異なる。よって、本実施形態の説明において、前述した第1の実施形態と同一の部分については、例えば図1〜図3に付した符号と同一の符号を付して詳細な説明を省略する。尚、本実施形態は、主に、前記(3)、(10)の発明の実施形態である。
【0042】
図4は、ステレオ計測装置200におけるデータの流れと制御の概念の一例を示す図である。
図4において、モード切替手段12が撮像モードをレーザー光撮像モードに切り替えた場合、レーザースリット光が間欠的なパルス光であるので、モード切替手段12は、この切り替えの信号をパルスレーザー発光手段41に送り、更にこの切り替えに必要な制御信号を直接シャッター手段13へ送らずに撮像同期手段15へ送る。
【0043】
パルスレーザー発光手段41は、間欠的なパルス光を発光する。具体的にパルスレーザー発光手段41は、発光時間が、発光間隔の100分の1以上1000万分の1以下の時間(秒)である間欠的なパルス光をレーザースリット光3として発光させる特性を持つ。また、シャッター手段13は、ステレオカメラ対7a、7bの露光時間をパルスレーザー発光手段41の発光時間以上、発光間隔以下に調整可能な特性を持つ。さらに、撮像同期手段15は、モード切替手段12からのトリガー信号によって、シャッター手段13によるシャッターの開放時間に合わせてパルスレーザー発光手段41からレーザースリット光を発光させることが可能となるように、シャッター手段13とパルスレーザー発光手段41とを調整(制御)する。すなわち、撮像同期手段15は、ステレオカメラ対7a、7bの露光時間が、ステレオカメラ対7a、7bでレーザースリット光の反射光が観測される時間を含むように、ステレオカメラ対7a、7bにおけるシャッターの開閉動作と、レーザースリット光の発光動作とを同期させる。
以上のようにレーザー発光をパルスとすると、瞬間的に高エネルギーで出力されても平均すると低エネルギーとすることができる。高エネルギーならばS/N比を上げることが可能であるが、出力を上げることは危険につながることがある。そこで、レーザー発光をパルスにすることによって、露光している瞬間のみ高エネルギーであるのでS/N比を高くし、平均すると低エネルギーとすることができる。
【0044】
モード切替手段12は、環境光撮像モードに撮像モードを切り替えた場合、この切り替えの信号をパルスレーザー発光手段41に送り、レーザースリット光3を発光させない。また、環境光撮像モードでは、撮像同期手段15を動作させずに、モード切替手段12が適当な制御信号をシャッター手段13へ送り、シャッター開放時間(露光時間)を、弱い環境光20が撮像可能な長いシャッター開放時間(露光時間)に調整する。
【0045】
このような構成により、本実施形態のレーザー光撮像モードでは、図2に示した構成(第1の実施形態)よりもさらに短い露光時間で撮像でき、レーザー光撮像モードで得られた第1の3次元プロフィールデータ11における、自発光21などの外乱の影響をさらに低減できる。一方、自発光21および環境光20による第2の3次元プロフィールデータ16を得る環境光撮像モードでは、図2に示した構成(第1の実施形態)と同様の撮像が可能となる。
【0046】
以上のように本実施形態では、レーザースリット光を間欠的なパルス光としたので、レーザースリット光による撮像の際のステレオカメラ対7a、7bの露光時間を短縮する事で、計測対象物4の表面から発光される自発光21による外乱の影響を低減することができる。つまりステレオ計測装置200のS/N比を高くすることができる。よって、レーザースリット光の出力をさらに下げることができる。加えてステレオカメラ対7a、7bの露光時間の調整だけで、レーザースリット光3の撮像と、自発光21および環境光20の撮像とを切り替えられるので、両映像(第1の3次元プロフィールデータ11と第2の3次元プロフィールデータ16)の光学的な差が殆ど無くなり、計測精度をより高められる。
【0047】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。本実施形態と前述した第1および第2の実施形態では、第1の3次元プロフィールデータ11と第2の3次元プロフィールデータ16との融合方法が主として異なる。よって、本実施形態の説明において、前述した第1および第2の実施形態と同一の部分については、例えば図1〜図4に付した符号と同一の符号を付して詳細な説明を省略する。尚、本実施形態は、主に、前記(4)〜(6)、(11)〜(13)の発明の実施形態である。
【0048】
図5は、計測対象物の一例と、計測対象物にレーザー光を照射して得られる第1の3次元プロフィールデータとレーザー光を照射せずに(計測対象物の自己発光による光と環境光とから)得られる第2の3次元プロフィールデータとを融合する方法の概念の一例とを示す図である。また、図6は、第1の3次元プロフィールデータと第2の3次元プロフィールデータとを融合する方法の、図5に続く概念の一例を示す図である。
【0049】
前述した第1および第2の実施形態に示すような2種類の方法で得られた第1および第2の3次元プロフィールデータ11、16は、いずれも誤差は皆無では無い。そして、第1および第2の3次元プロフィールデータ11、16のそれぞれの誤差の特性に差がある。本実施形態では、この点を考慮して、第1および第2の3次元プロフィールデータ11、16を融合する事で、より高精度かつ分解能の高い3次元プロフィールデータを得るようにしている。
【0050】
図5において、図5(a)は、計測対象物4の一例を示す斜視図であり、図5(b)は、第1の3次元プロフィールデータ11の投影図であって、ステレオカメラ対7a、7bの光軸方向視の投影図である。図5(c)は、第2の3次元プロフィールデータ16の投影図であって、ステレオカメラ対7a、7bの光軸方向視の投影図である。図5(d)は、第1の3次元プロフィールデータ11(図5(b))と第2の3次元プロフィールデータ16(図5(c))とを、ステレオカメラ対7a、7bの光軸方向視にて重ねた投影図である。
図5(d)に示すように、データ融合手段14は、第1および第2の3次元プロフィールデータ11、16を構成する第1および第2の計測点群を比較し、重なった点、または、事前に定めた所定の距離より近い計測点の対を求める。以下の説明では、この計測点の対を近傍点対56a、56b、56c、56d・・・と称する。近傍点対56を構成する2つの近傍点は、微少ではあるが、ステレオカメラ対7a、7bの光軸方向で間隔(距離)を有している。以下の説明では、この間隔(距離)を偏差距離と称する。この偏差距離は、図形的には、近傍点対56を構成する2つの近傍点間の光軸方向の距離である。尚、第1および第2の3次元プロフィールデータ11、16の計測点が重なっている場合には、偏差距離は0(ゼロ)となる。以上のように本実施形態では、データ融合手段14により、近傍点対設定手段が実現される。
【0051】
図6は、図5(d)に示したようにして第1および第2の3次元プロフィールデータ11、16を重ね合わせることにより得られた3次元プロフィールデータ17を調整する方法の概念の一例を示す図である。尚、図6では、説明の都合上、多数の近傍点対56の内、4つの近傍点対56a〜56dだけを示す。
図6(a)は、第1の3次元プロフィールデータ11と第2の3次元プロフィールデータ16とをそのまま重ねた斜視図である(すなわち、図6(a)は、図5(d)と視点が異なるだけである)。図6において太い線分の両端は近傍点対56であり、その長さは偏差距離57を示す。
データ融合手段14は、偏差距離57の数値を、近傍点対56の集合である近傍点対群の中に適切に分散させて、その近傍点群の内から近傍点対56を、少なくとも4個以上、出来れば10個程度任意に選び、選んだ近傍点対56における偏差距離57(図6(a)に示す例では偏差距離57a〜57d)を求め、各偏差距離57の二乗の総和(二乗和)を乖離量として求める。以上のように本実施形態では、データ融合手段14により、偏差距離導出手段と、乖離量評価手段とが実現される。
【0052】
環境光20および自発光21により得られた3次元プロフィール(第2の3次元プロフィールデータ16)全体を、ステレオカメラ対7a、7bの光軸方向に移動させると、前記乖離量(偏差距離57)が増減する。そこで、データ融合手段14は、カメラ側および反カメラ側の所定の範囲内で、第2の3次元プロフィールデータ16を、ステレオカメラ対7a、7bの光軸方向に移動した場合に、偏差距離57が最小となる第2の3次元プロフィールデータ16の移動距離を求める。そして、データ融合手段14は、この偏差距離57を最小とする移動距離だけ第2の3次元プロフィールデータ16の全体を、ステレオカメラ対7a、7bの光軸方向に平行移動させる。以下の説明では、偏差距離57を最小とする移動距離だけ移動させた第2の3次元プロフィールデータ16を、平行移動修正3次元プロフィールデータと称する。図6(b)は、第1の3次元プロフィールデータ11と、この平行移動修正3次元プロフィールデータとを重ねて示したものである。
以上のように本実施形態では、データ融合手段14により、第1のデータ変換手段が実現される。
【0053】
次に、データ融合手段14は、平行移動修正3次元プロフィールデータの各点の各座標の値の算術平均値を座標値として持つ算術平均点、又は平行移動修正3次元プロフィールデータの重心を座標値として持つ重心点を求める。
この算術平均点又は重心点59を通り、かつ、ステレオカメラ対7a、7bの光軸に直交する横軸58を回転軸として(横軸58のまわりに)前記平行移動修正3次元プロフィールデータを回転移動させると前記乖離量が増減する。そこで、データ融合手段14は、前記乖離量が最小となるように、前記平行移動修正3次元プロフィールデータを、この横軸58を回転軸として(横軸58の方向の)正負両方向に、所定の範囲内で回転させる。以下の説明では、このようにして回転させた前記平行移動修正3次元プロフィールデータを1軸回転移動修正3次元プロフィールデータと称する。図6(c)は、第1の3次元プロフィールデータ11と、1軸回転移動修正3次元プロフィールデータとを重ねて示した斜視図である。
【0054】
重心点又は算術平均点59を通り、ステレオカメラ対7a、7bの光軸と横軸58との両方に直交する縦軸60を回転軸として、(縦軸60のまわりに)前記1軸回転移動修正3次元プロフィールデータを回転移動させると前記乖離量が増減する。そこで、データ融合手段14は、前記乖離量が最小となるように、前記1軸回転移動修正3次元プロフィールデータを、縦軸60を回転軸として(縦軸60の方向の)正負両方向に、所定の範囲内で回転させる。以下の説明では、このようにして回転させた前記1軸回転移動修正3次元プロフィールデータを、修正第2の3次元プロフィールデータと称する。図6(d)は、第1の3次元プロフィールデータ11と修正第2の3次元プロフィールデータとを重ねて示した斜視図である。
以上のように本実施形態では、データ融合手段14により、第2のデータ変換手段が実現される。
【0055】
そして、データ融合手段14は、この第1の3次元プロフィールデータ11と修正第2の3次元プロフィールデータとの和集合を計算し、計算した和集合もって計測対象物4の表面全体の3次元プロフィールデータとする。
尚、以上のようにして行う第2の3次元プロフィールデータ16の移動は、事前に設定された限界値より前記乖離量(偏差距離57)が大きい場合に行うようにするのが好ましい。
【0056】
第1の3次元プロフィールデータ11は、第2の3次元プロフィールデータ16よりも、位置の精度が高い。一方、第2の3次元プロフィールデータ16は、第1の3次元プロフィールデータ11よりも、プロフィール形状の精度が高い。よって、本実施形態では、第1の3次元プロフィールデータ11を基準として、第2の3次元プロフィールデータ16の位置だけを修正してから、第1の3次元プロフィールデータ11と融合することで、高精度かつ分解能の高い3次元プロフィールデータを得ることができる。
また、第2の3次元プロフィールデータ16の並進移動による誤差の影響は、回転移動の誤差による影響よりも大きい。よって、本実施形態のように、第2の3次元プロフィールデータ16の並進移動の偏差を修正してから、第2の3次元プロフィールデータ16の回転移動の偏差を低減すると、より高精度かつ分解能の高い3次元プロフィールを得ることができる。
【0057】
以上のように本実施形態では、第2の3次元プロフィールデータ16の位置を修正して第1の3次元プロフィールデータ11に融合したので、計測対象物4の形状データを高精度に得ることができる。これは、レーザースリット光3の撮像と、自発光21および環境光20の撮像との特性の差に由来する。レーザースリット光3による形状データである第1の3次元プロフィールデータ11は、誤差が小さく精度は高いが、方向性が強く、特に急峻な形状変化を計測しづらいので分解能は低い。これに対し、自発光21および環境光20による形状データである第2の3次元プロフィールデータは、方向性が少なく急峻な形状変化ほど明瞭な陰影情報となるので分解能は高いが、元の形状変化が急峻なために精度が低下しやすい。そこで、精度の高い第1の3次元プロフィールデータ11を基準として、第2の3次元プロフィールデータ16を融合させることで、精度と分解能とを同時に高くすることができる。
【0058】
尚、ステレオカメラ対は1対あれば、前述した各実施形態の効果を奏するのに十分である。しかしながら、ステレオカメラ対は1対でなくてもよく、撮像モードに応じて複数のステレオカメラ対を設けるようにしてもよい。例えば、レーザー光撮像モードで得られる第1の3次元プロフィールデータ11を得るためのステレオカメラ対(第1のステレオカメラ対)と、環境光撮像モードで得られる第2の3次元プロフィールデータ16を得るためのステレオカメラ対(第2のステレオカメラ対)とを別々に設置し、ステレオカメラ対を2つ(2対)設けてもよい。
【実施例】
【0059】
溶鋼鍋の耐火物の補修作業において、耐火物の更新の際に、鍋内壁面、つまり鉄皮内面の3次元プロフィールデータの測定を本発明の装置(方法)で実施した。その後、耐火物を施工して操業可能な状態で、再度本発明の方法で鍋内壁面の3次元プロフィールデータの測定を実施した。このとき、耐火物の更新前の鉄皮内面の測定と、耐火物を施工した後の鍋内壁面の測定とで、溶鋼鍋の位置と、設置した本発明の装置との相対的な位置が同じとなるように、調整されている。鉄皮や施工直後の耐火物等のように、光学的特徴の少ない表面でも、本発明の装置(方法)を適用することにより、耐火物の欠陥の有無や残厚を正確に測定できた。
【0060】
そして、この2つの3次元プロフィールデータの差が、施工された耐火物の厚みとなる。耐火物の厚みは、平均150mm、最小120mm、最大160mmであった。この溶鋼鍋をプロパー生産にて100ch操業した後、10chの操業毎に、操業の合間に本発明の装置(方法)で、内面の耐火物の3次元プロフィールデータの測定を行った。従来の知見から、耐火物の最小残厚が40mmとなった時点でプロパー生産を中止し、耐火物の再施工を図ることを、基準としている。
【0061】
250ch操業後に本発明の装置(方法)による測定を行ったところ、耐火物の最小残厚が50mmであったので、耐火物の最小残厚の減少率は10ch毎に5mmと推定され、この時点で予想される耐火物の最大寿命は270chと考えられた。しかし、260ch操業後に行った測定で、耐火物に溝状の損耗が生じていることが見つかり、その損耗が生じている領域での耐火物の最小残厚は30mmであり、基準とする40mmを下回った。このため、生産を中止した。溝状の損耗の形状に起因して、耐火物の損耗速度が平均的な損耗速度の2倍程度となっていた。当初の予定通り270chまで生産を続行すると、鉄皮に溶鋼が浸食し、鉄皮の溶損に起因した溶鋼流出による生産損失と、作業環境の安全性の低下とが生じる可能性があったが、本発明の装置(方法)で、耐火物の残厚や損耗を、高精度かつ詳細に適宜測定できたので、生産損失と作業環境の安全性の低下とを回避できた。
【0062】
また、同様に本発明の装置(方法)を用いた測定により、耐火物の最小残厚が基準値である40mmに出来るだけ近くなるまでプロパー生産での使用を継続できるので、溶鋼鍋の交換による生産中断の機会を最小限にすることができ、生産コストを低減し、生産量を拡大することができた。
尚、実施例では、転炉の耐火物の損耗を測定するのに用いたものだが、本発明は、これに限るものではなく、高温であることによって自己発光する計測対象物であれば、どのような計測対象物の形状を測定することができる。例えば、加熱炉の内張りの耐火物や、加熱炉で加熱されるスラブの酸化による消耗を測定するのに本発明を用いてもよい。
【0063】
尚、前述した各実施形態及び実施例は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【0064】
【図1】本発明の第1の実施形態を示し、ステレオ計測装置の外観の一例を示す斜視図であり、レーザースリット光による一対のステレオ画像を得る状態を説明する図である。
【図2】本発明の第1の実施形態を示し、ステレオ計測装置におけるデータの流れと制御の概念の一例を示す図である。
【図3】本発明の第1の実施形態を示し、計測対象物の一例と、計測対象物にレーザー光を照射して得られるデータとレーザー光を照射せずに得られるデータとの融合の概念の一例とを示す図である。
【図4】本発明の第2の実施形態を示し、ステレオ計測装置におけるデータの流れと制御の概念の一例を示す図である。
【図5】本発明の第3の実施形態を示し、計測対象物の一例と、計測対象物にレーザー光を照射して得られる第1の3次元プロフィールデータとレーザー光を照射せずに得られる第2の3次元プロフィールデータとを融合する方法の概念の一例とを示す図である。
【図6】本発明の第3の実施形態を示し、第1の3次元プロフィールデータと第2の3次元プロフィールデータとを融合する方法の、図5に続く概念の一例を示す図である。
【符号の説明】
【0065】
1 レーザー発光手段
2 スリット化手段
3 レーザースリット光
4 計測対象物
5 レーザー輝線
6 レーザー走査手段
7a、7b ステレオカメラ対
8 ベース線(各カメラの撮像素子の中心を結ぶ線分)
9a、9b 受光波長選択手段
10 ステレオ画像処理手段
11 第1の3次元プロフィールデータ
12 モード切替手段
13 シャッター手段
14 データ融合手段
15 撮像同期手段
16 第2の3次元プロフィールデータ
17 3次元プロフィールデータ
20 環境光
21 自発光
41 パルスレーザー発光手段
51 平行な段差
52 全体の平均より暗い領域(陰影)
53 全体の平均より明るい領域(陰影)
54 凹形状の領域(段差)
55 凸形状の領域(段差)
56a、56b、56c、56d 近傍点対
57 偏差距離
58 横軸
59 算術平均点又は重心点
60 縦軸

【特許請求の範囲】
【請求項1】
所定の間隔で設置されたステレオカメラ対を用いて、発光する対象物を撮像して3次元プロフィールを求めるステレオ計測であり、400〜680nm間の一定波長のレーザースリット光を対象物に照射して行う計測である、発光する対象物の3次元プロフィールの計測方法において、
モード切替手段によって前記レーザースリット光を照射する撮像モード(以下、レーザー光撮像モードという)に撮像モードを切り替え、
前記レーザー光撮像モードに撮像モードが切り替えられた後に、前記対象物の表面に前記レーザースリット光を照射し、
前記ステレオカメラ対により、前記レーザースリット光の照射された前記対象物の表面の画像を撮像し、
当該撮像された画像をステレオ画像処理することにより、前記レーザースリット光に基づく第1の3次元プロフィールデータを得、
前記モード切替手段によって前記レーザースリット光の照射をしない撮像モード(以下、環境光撮像モードという)に撮像モードを切り替え、
前記環境光撮像モードに撮像モードが切り替えられた後に、前記ステレオカメラ対により、環境光と前記対象物の表面から自己発光している自発光とに基づき前記対象物の表面に生じている陰影を含む画像を撮像し、
当該撮像された画像をステレオ画像処理することにより、前記環境光および前記自発光に基づく第2の3次元プロフィールデータを得、
前記第2の3次元プロフィールデータと前記第1の3次元プロフィールデータとの和集合をもって、前記対象物全体の3次元プロフィールデータを得ることを特徴とする、発光する対象物の3次元プロフィールの計測方法。
【請求項2】
前記ステレオ画像処理によって、前記第1の3次元プロフィールデータを得る際において、前記レーザースリット光の反射光を優先的に通過させる受光波長選択手段を通して、前記レーザースリット光の照射された前記対象物の表面の画像を撮像することを特徴とする、請求項1に記載の発光する対象物の3次元プロフィールの計測方法。
【請求項3】
前記レーザースリット光は、発光時間が、発光間隔の100分の1以上1000万分の1以下の間欠的なパルスであり、
前記ステレオカメラ対での露光時間が、前記ステレオカメラ対で前記レーザースリット光の反射光の観測される時間を含むように、前記ステレオカメラ対におけるシャッターの開閉動作と、前記レーザースリット光の発光動作とを同期させることを特徴とする、請求項1または2に記載の発光する対象物の3次元プロフィールの計測方法。
【請求項4】
前記第1の3次元プロフィールデータと前記第2の3次元プロフィールデータとにおいて、両データの乖離量を所定の方法で評価し、
事前に設定された限界値より前記乖離量が大きい場合、前記第2の3次元プロフィールデータ全体を前記ステレオカメラ対の光軸方向に平行移動させることと、前記ステレオカメラ対の光軸に直交し、かつ互いに直交する2つの軸を回転軸として前記第2の3次元プロフィールデータ全体を回転移動させることとを行って、前記乖離量が最小となるように前記第2の3次元プロフィールデータを修正して、修正第2の3次元プロフィールデータとし、
当該修正第2の3次元プロフィールデータを当初の第2の3次元プロフィールデータの代わりに用いて、前記第1の3次元プロフィールデータとの和集合を計算して、前記対象物全体の3次元プロフィールデータを得ることを特徴とする、請求項1〜3のいずれか1項に記載の発光する対象物の3次元プロフィールの計測方法。
【請求項5】
前記ステレオカメラ対の光軸方向視で、前記第1の3次元プロフィールデータと前記第2の3次元プロフィールデータとの各点の位置を比較し、重なった点、又は、所定の距離より近い点の対を近傍点対とし、
前記近傍点対の前記光軸方向の距離を偏差距離とし、
前記第1および前記第2の3次元プロフィールデータ全体での前記近傍点対の集合である近傍点群の内から任意に選んだ少なくとも4個以上の前記近傍点対について、前記偏差距離を求め、
当該求めた各偏差距離の二乗和を前記乖離量として求めることを特徴とする、請求項4に記載の発光する対象物の3次元プロフィールの計測方法。
【請求項6】
前記乖離量が最小となるように、前記第2の3次元プロフィールデータ全体を前記ステレオカメラ対の光軸方向に平行移動させ、これを平行移動修正3次元プロフィールデータとし、
前記平行移動修正3次元プロフィールデータの重心、または、前記平行移動修正3次元プロフィールデータの各点の座標の値の算術平均を座標の値として持つ点を通り、かつ前記ステレオカメラ対の光軸に直交する任意の1軸を回転軸として、前記平行移動修正3次元プロフィールデータを回転移動させ、これを1軸回転移動修正3次元プロフィールデータとし、
当該1軸回転移動修正3次元プロフィールデータの重心を通り、かつ、前記ステレオカメラ対の光軸と前記任意の1軸とに直交する軸を回転軸として、前記1軸回転移動修正3次元プロフィールデータを、前記乖離量が最小となるように再度回転移動させ、これを前記修正第2の3次元プロフィールデータとすることを特徴とする、請求項4または5に記載の発光する対象物の3次元プロフィールの計測方法。
【請求項7】
前記ステレオカメラ対は、前記レーザー光撮像モードで画像を撮像する第1のステレオカメラ対と、前記環境光撮像モードで画像を撮像する第2のステレオカメラ対とを備えることを特徴とする、請求項1〜6のいずれか1項に記載の発光する対象物の3次元プロフィールの計測方法。
【請求項8】
発光する対象物に、400〜680nm間の一定波長のレーザースリット光を照射して、所定の間隔で設置されたステレオカメラ対を用いてステレオ計測する3次元プロフィールの計測装置において、
前記レーザースリット光を照射する撮像モード(以下、レーザー光撮像モードという)と、前記レーザースリット光を照射しない撮像モード(以下、環境光撮像モードという)とに撮像モードを切り替えるモード切替手段と、
前記対象物の表面に前記レーザースリット光を照射するレーザースリット光照射手段と、
前記レーザースリット光の照射された前記対象物の表面の画像、並びに、環境光と前記対象物の表面から自己発光している自発光とに基づき前記対象物の表面に生じている陰影を含む画像を撮像する前記ステレオカメラ対と、
前記レーザースリット光の照射された対象物の表面の画像を画像処理することにより第1の3次元プロフィールデータを得ると共に、前記環境光および前記自発光に基づき前記対象物の表面に生じている陰影を含む画像を画像処理することにより第2の3次元プロフィールデータを得るステレオ画像処理手段と、
前記第2の3次元プロフィールデータと前記第1の3次元プロフィールデータとの和集合をもって、前記対象物全体の3次元プロフィールデータを得るデータ融合手段と、
を有することを特徴とする、発光する対象物の3次元プロフィールの計測装置。
【請求項9】
前記レーザースリット光の反射光を優先的に通過させる受光波長選択手段を有し、
前記レーザースリット光の照射された対象物の表面の画像を前記ステレオカメラ対により撮像する際に、前記受光波長選択手段を介在させることを特徴とする、請求項8に記載の発光する対象物の3次元プロフィールの計測装置。
【請求項10】
前記レーザースリット光の発光時間が、発光間隔の100分の1以上1000万分の1以下の間欠的なパルス光を前記レーザースリット光として照射するパルスレーザー発光手段と、
前記ステレオカメラ対で前記レーザースリット光の反射光を撮像できるように、前記パルスレーザー発光手段による前記レーザースリット光の発光動作と、前記ステレオカメラ対におけるシャッターの開閉動作とを同期させる撮像同期手段とを有することを特徴とする、請求項8または9に記載の発光する対象物の3次元プロフィールの計測装置。
【請求項11】
前記第1の3次元プロフィールデータと前記第2の3次元プロフィールデータとの乖離量を所定の方法で求め、当該求めた乖離量と事前に設定された限界値とを比較して、前記乖離量を評価する乖離量評価手段と、
前記第2の3次元プロフィールデータ全体を、前記ステレオカメラ対の光軸方向に平行移動をさせる第1のデータ変換手段と、
前記ステレオカメラ対の光軸に直交し、かつ互いに直交する2つの軸を回転軸として前記第2の3次元プロフィールデータ全体を回転移動させる第2のデータ変換手段とを有し、
前記第1のデータ変換手段と前記第2のデータ変換手段とを用いて前記乖離量が最小となるように、前記第2の3次元プロフィールデータを修正して修正第2の3次元プロフィールデータとし、
当該修正第2の3次元プロフィールデータを当初の第2の3次元プロフィールデータの代わりに用いて、前記第1の3次元プロフィールデータとの和集合を計算して、前記対象物全体の3次元プロフィールデータを得ることを特徴とする、請求項8〜10のいずれか1項に記載の発光する対象物の3次元プロフィールの計測装置。
【請求項12】
前記ステレオカメラ対の光軸方向視で、前記第1の3次元プロフィールデータと前記第2の3次元プロフィールデータとの各点の位置を比較し、重なった点、または、所定の距離より近い点の対を近傍点対として設定する近傍点対設定手段と、
前記近傍点対の集合である近傍点群の内から任意に選んだ少なくとも4個以上の前記近傍点対について、当該近傍点対の前記光軸方向の距離である偏差距離を求める偏差距離導出手段とを有し、
前記乖離量評価手段は、前記偏差距離の夫々の二乗和を前記乖離量として求めることを特徴とする、請求項11に記載の発光する対象物の3次元プロフィールの計測装置。
【請求項13】
前記第1のデータ変換手段は、前記乖離量が最小となるように、前記第2の3次元プロフィールデータ全体を、前記ステレオカメラ対の光軸方向に平行移動させ、これを平行移動修正3次元プロフィールデータとし、
前記第2のデータ変換手段は、当該平行移動修正3次元プロフィールデータの重心、または、当該平行移動修正3次元プロフィールデータの各点の座標の値の算術平均を座標の値として持つ点を通り、かつ前記ステレオカメラ対の光軸に直交する任意の1軸を回転軸として、前記平行移動修正3次元プロフィールデータを、前記第2のデータ変換手段を用いて回転移動させ、これを1軸回転移動修正3次元プロフィールデータとし、当該1軸回転移動修正3次元プロフィールデータの重心を通り、かつ、前記ステレオカメラ対の光軸と前記任意の1軸とに直交する軸を回転軸として、前記1軸回転移動修正3次元プロフィールデータを、前記乖離量が最小となるように再度回転移動させ、これを前記修正第2の3次元プロフィールデータとすることを特徴とする、請求項11または12に記載の発光する対象物の3次元プロフィールの計測装置。
【請求項14】
前記ステレオカメラ対は、前記レーザー光撮像モードで画像を撮像する第1のステレオカメラ対と、前記環境光撮像モードで画像を撮像する第2のステレオカメラ対とを備えることを特徴とする、請求項8〜13のいずれか1項に記載の発光する対象物の3次元プロフィールの計測装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2009−2912(P2009−2912A)
【公開日】平成21年1月8日(2009.1.8)
【国際特許分類】
【出願番号】特願2007−166616(P2007−166616)
【出願日】平成19年6月25日(2007.6.25)
【出願人】(000006655)新日本製鐵株式会社 (6,474)
【Fターム(参考)】