説明

温度画像の三次元化装置

【課題】コンピュータ上で深さ方向の温度分布を対象物体を回転しながら確認することができる温度画像の三次元化装置を提供する。
【解決手段】既知の座標を有する複数の豆電球22を基準点とする基準物21と、対象物1及び基準物21からの発熱に基づいて対象物1の三次元情報を取得する三次元情報取得手段27と、実座標と温度画像座標とのキャリブレーションを行なう座標キャリブレーション手段31と、実座標から温度画像情報の温度画像座標への変換式を決定する変換式決定手段32と、決定された変換式に基づいて対象物1の三次元情報に係る全ての実座標を温度画像座標に変換する座標変換手段33と、変換された三次元情報の温度画像座標に基づいて三次元情報の温度情報を抽出する温度情報抽出手段34と、温度画像情報中の特定の温度画像座標と三次元情報中の特定の実座標とを対応付ける座標対応付手段35と、を備えて構成されている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、温度画像の三次元化装置に関し、さらに詳しくは、サーモグラフィで撮影された物体の二次元温度画像を立体的な三次元画像に変換する温度画像の三次元化装置に関するものである。
【背景技術】
【0002】
赤外線は、温度をもつ物体すべてからその温度に応じた波長を放射するという性質をもっている。その温度に応じた波長分布を色画像として表し分析する装置をサーモグラフィと言う。サーモグラフィは、一度に広い面積を捉えることができるので温度の相対比較を簡単に分析できる。また、人体の体温変化の実験や機器の温度上昇異変などを一度に計測及び分析することが可能であり、対象物から離れて温度測定ができるので、動いている物体や、危険であるために近づけないものであっても離間した位置から簡単に温度計測及び分析することが可能である。また、非接触による計測であるため、食品、薬品、化学製品などでも衛生的に温度計測及び分析ができる。さらに、温度変化の激しい物体や微小な物体でも温度を乱すことなく温度計測及び分析することが可能である。しかし、サーモグラフィで撮影された画像は、一般的に温度情報をもった二次元の画像であるため、深さ方向の温度分布をコンピュータ上で物体を回転しながら確認することができないといった課題がある。
また、特許文献1には、三次元のサーモグラフィ画像を得るために、物体の立体画像を求めておき、物体の周りに沿って移動しながらサーモグラフィを測定し、得られた複数のサーモグラフィ画像を立体画像の対応部分に貼り付けるサーモグラフィ画像の処理方法について開示されている。
また、特許文献2には、テレビカメラとレーザ投光器に三次元位置と方向を検出できる三次元磁気センサを取り付け、テレビカメラとレーザ投光器をそれぞれ独立して動作させながら被測定対象物全体を計測することにより、死角を減少させると共に、流体の流動現象を計測することが可能な三次元計測装置について開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−182033公報
【特許文献2】特開2005−98978公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に開示されている従来技術は、立体画像とサーモグラフィ画像を別々に取得して、後で画像を合成するため、作業に手間がかかるばかりでなく、合成する精度が必ずしも良いとは言えない。また,拡大や縮小など2次元的な画像処理により合成を試みるため、対象の姿勢や遠近の違いにより合成する画像間で対象が相似形で無い場合、精度が悪くなる。
また、特許文献2に開示されている従来技術は、物体の三次元計測は可能であるが、三次元画像の温度画像を計測することはできない。
本発明は、かかる課題に鑑みてなされたものであり、対象物体の三次元形状計測とサーモグラフィによる撮影を同時に行い、対象物体の三次元情報に係る全ての実座標と温度情報に基づいて対象物体の温度画像を三次元化することにより、コンピュータ上で深さ方向の温度分布を対象物体を回転しながら確認することができる温度画像の三次元化装置を提供することを目的とする。
また、他の目的は、低解像度のサーモグラフィにより対象物体を分割して撮影し、分割画像を繋ぎ合わせることにより、高解像度化することである。
【課題を解決するための手段】
【0005】
本発明はかかる課題を解決するために請求項1は、物体の形状に関する三次元情報及び物体表面の温度画像情報に基づいて該物体の三次元化した温度画像を得る三次元化装置であって、既知の座標を有する複数の発熱源を基準点として生成する基準点生成手段と、前記物体及び前記基準点生成手段からの発熱に基づいて温度画像情報を取得する温度画像情報取得手段と、前記物体の形状に関する三次元情報を取得する三次元情報取得手段と、前記各基準点に係る実座標と前記温度画像情報取得手段により得られた温度画像座標とのキャリブレーションを行なう座標キャリブレーション手段と、前記座標キャリブレーション手段によりキャリブレーションされた前記各基準点の実座標に基づいて実座標から前記温度画像座標への変換式を決定する変換式決定手段と、該変換式決定手段により決定された変換式に基づいて前記物体の三次元情報に係る全ての実座標を前記温度画像座標に変換する座標変換手段と、該座標変換手段により変換された前記三次元情報の温度画像座標に基づいて該三次元情報の温度情報を抽出する温度情報抽出手段と、を備え、前記三次元情報取得手段による前記物体の三次元計測と前記温度画像情報取得手段による温度画像情報の取得を同時に行い、前記物体の三次元情報に係る全ての実座標と前記温度情報抽出手段により抽出された温度情報に基づいて前記物体の温度画像を三次元化することを特徴とする。
本発明の温度画像の三次元化装置は、対象物体の基準点を定めるために、既知の座標を有する複数の発熱源(例えばランプ等)を基準点を生成する基準点生成手段を備える。そして対象とする物体と基準点の表面の温度画像情報(温度情報と座標を有する情報)を同時に取得して、更に物体の三次元情報を取得する。また、基準点の実座標と熱画像座標とのキャリブレーションを行なうことにより、実座標から熱画像座標への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標を熱画像座標に変換する。そして変換された熱画像座標に基づいて温度情報を抽出して三次元情報にその温度画像を貼り付けて三次元化する。これにより、固定された基準点の位置情報に基づいて正確に温度画像を三次元化することができる。一度キャリブレーションを行うと、三次元化装置の配置を変えなければ、基準点を再度撮影する必要はない。
【0006】
請求項2は、前記基準点生成手段は、前記発熱源を少なくとも三次元位置に夫々配置するように構成されていることを特徴とする。
温度画像情報取得手段は、例えば、サーモグラフィ等により構成される。サーモグラフィは物体の表面から放射される赤外線の波長を色情報に変換して表示するものである。従って、基準点の情報をサーモグラフィで取得するには、フィラメントランプのように発熱するものでなければならない。そしてこれらの発熱源は、x、y、z方向(三次元方向)に少なくとも配置される必要がある。これにより、簡単な構成で正確な基準点を生成することができる。
【0007】
請求項3は、物体の形状に関する三次元情報及び物体表面の温度画像情報に基づいて該物体の三次元化した温度画像を得る三次元化装置であって、前記物体から発熱する温度画像情報を取得する温度画像情報取得手段と、前記物体の形状に関する三次元情報を取得する三次元情報取得手段と、前記温度画像情報取得手段により得られた温度画像情報中の特定の温度画像座標と前記三次元情報取得手段により得られた三次元情報中の特定の実座標とを対応付ける座標対応付手段と、前記座標対応付手段により対応付けられた前記実座標に基づいて実座標から前記温度画像座標への変換式を決定する変換式決定手段と、該変換式決定手段により決定された変換式に基づいて全ての前記実座標を前記温度画像座標に変換する座標変換手段と、を備え、前記三次元情報取得手段による前記物体の三次元計測と前記温度画像情報取得手段による温度画像情報の取得を同時に行い、前記座標変換手段により変換された前記温度画像座標に基づいて前記三次元情報に前記温度画像情報から得られた温度情報を当てはめて前記物体の温度画像を三次元化することを特徴とする。
本発明の温度画像の三次元化装置は、対象とする物体表面の温度画像情報を取得して、更に物体の三次元情報を取得する。そのとき得られた温度画像座標と実座標をマウス等を使用して対応付ける。その結果、実座標から温度画像座標への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標を熱画像座標に変換する。そして変換された温度画像座標に基づいて温度情報を三次元情報に当てはめて、温度画像を三次元化する。これにより、最小限の装置構成で容易に温度画像を三次元化することができる。
【0008】
請求項4は、前記温度画像情報取得手段は、前記物体からの発熱に基づいて得られる温度画像情報を複数に分割して取得し、前記座標キャリブレーション手段により、前記取得した複数の温度画像情報に基づいてキャリブレーションパラメータを算出して前記複数の温度画像情報を繋ぎ合わせて前記物体から発熱する温度画像情報とすることを特徴とする。
サーモグラフィは一般的に高価であり、特に高解像度の物は現在数百万円以上である。そこで本発明のキャリブレーション技術を応用することで、低解像度のサーモグラフィで撮影された温度画像をつなぎ合わせ、高解像度の温度画像を作成することが可能になる。例えば、三次元形状データに温度画像を重ねる場合、低解像度のサーモグラフィで全体を撮影するよりも局所的に撮影し、それを繋ぎ合わせることを次の方法で行う。即ち、サーモグラフィで撮影する場合、サーモグラフィのキャリブレーションで用いた基準物体が画像に入るように撮影する。これにより、各画像において、サーモグラフィのキャリブレーションパラメータk’11〜k’33を算出する。これにより、三次元形状データの実座標(x,y,z)に対応する温度画像上での座標u、vを求め、対応する温度を三次元形状データの実座標に割り当てることで、結果的に温度画像のつなぎ合わせが実現できる。また、温度画像を撮影する時に、基準物体が入るように注意すれば、任意の姿勢で撮影することが可能である。
【0009】
請求項5は、前記三次元情報取得手段は、所定のエリアに磁界ベクトルを形成するトランスミッタと、前記物体に光を照射する投光手段と、該投光手段により前記物体表面に照射された光を撮像する撮像手段と、該三次元化装置の三次元位置と姿勢を検出する三次元磁気センサと、を備えて構成されていることを特徴とする。
投光手段と撮像手段の位置情報と姿勢情報を得るには、各種の方法が考えられるが、光の光路を邪魔せず、且つ視界を妨げない方法が必要条件である。その点では磁界による方法が最適である。本発明では半球状の磁界を発生するトランスミッタを備え、その磁界の磁力線に対するベクトルを計算することにより三次元位置情報及び姿勢情報を取得するものである。従って、物体と投光手段及び撮像手段の距離はこの磁界のエリア内に限定される。これにより、所定のエリアに磁界ベクトルを形成するトランスミッタを備えたので、各センサが磁界ベクトルを計算することにより、位置情報及び姿勢情報を正確に取得することができる。
【0010】
請求項6は、前記三次元情報取得手段は、前記物体に光を照射する投光手段と、前記投光手段により投光された光を前記物体に所定間隔で照射する光照射手段と、該光照射手段により前記物体表面に照射された光を撮像する撮像手段と、を備えて構成されていることを特徴とする。
本発明では、スリットレーザ投光器の前に回転するミラーを設置する。回転ミラーはモータによって回転され、仮想平面上をNの方向(測定対象の手前から後方に移動する方向、或いは逆の方向)にステップごとに等間隔で移動するものとする。測定対象表面に現れるレーザ軌跡をCCDカメラで撮影することで、測定対象の三次元形状が計測される。サーモグラフィはCCDカメラに隣接して設置する。これにより、レーザスリットの位置Nを変えることにより、各実座標におけるレーザパラメータを決定することができる。
【発明の効果】
【0011】
本発明によれば、対象物体の基準点を定めるために、既知の座標を有する複数の発熱源(例えばランプ等)を基準点として生成する基準点生成手段を備える。そして対象とする物体と基準点の表面の温度画像情報(温度情報と座標を有する情報)を同時に取得して、更に物体の三次元情報を取得する。また、基準点の実座標と熱画像座標とのキャリブレーションを行なうことにより、実座標から熱画像座標への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標を熱画像座標に変換する。そして変換された熱画像座標に基づいて温度情報を抽出して三次元情報にその温度画像を貼り付けて三次元化する。これにより、固定された基準点の位置情報に基づいて正確に温度画像を三次元化することができる。また、一度キャリブレーションを行うと、三次元化装置の配置を変えなければ、基準点を再度撮影する必要がなくなる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施形態に係る三次元化装置を使用して対象物を計測している斜視図である。
【図2】図1の斜視図に基づいて本実施形態の三次元化装置100の全体構成を表す模式図である。
【図3】本発明の第1の実施形態に係る三次元化装置の構成を示す機能ブロック図である。
【図4】(a)は基準物21となる立方体の箱の図、(b)は基準物21と対象物1をサーモグラフィ19で撮影した時の温度画像を示す図、(c)は三次元形状結果を示す図である。
【図5】(a)は温度画像の図、(b)は温度分布を三次元化した図、(c)は(b)の三次元画像を回転した図である。
【図6】本発明の第1の実施形態に係る温度画像の三次元化装置により温度情報を三次元化する手順を示す図である。
【図7】本発明の第2の実施形態に係る温度画像の三次元化装置により温度情報を三次元化する手順を示す図である。
【図8】CCDカメラ7のカメラ座標系とワールド座標系の関係を示す図である。
【図9】レーザトラバーサの構成を示す図である。
【図10】(a)は三次元形状データの図、(b)はサーモグラフィ画像を示す図である。
【図11】(a)は三次元磁気センサと組み合わせたシステムの構成を示す図、(b)はCCDの画像を示す図、(c)はサーモグラフィの温度画像を示す図である。
【図12】本発明の三次元化装置に係る他の実施形態の構成を示す図である。
【図13】(a)はサーモグラフィにより楕円柱形状の物体を正面から撮影している図、(b)はそのとき得られた画像を示す図である。
【図14】(a)はサーモグラフィにより楕円柱形状の物体を側面から撮影している図、(b)はそのとき得られた画像を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図1は本発明の第1の実施形態に係る三次元化装置を使用して対象物を計測している斜視図である。この三次元化装置100は、対象物1にレーザスリット光を照射するレーザ投光器20と、このレーザ投光器20により対象物1の表面に照射された光を撮像する撮像装置30と、所定のエリアに磁界ベクトルを形成するトランスミッタ40と、既知の座標を有する複数の豆電球(発熱源)22を基準点として生成する基準物(基準点生成手段)21と、対象物1及び基準物21からの発熱に基づいて温度画像情報を取得するサーモグラフィ(温度画像情報取得手段)19と、図示しないパーソナルコンピュータ(PC)を備えて構成される。そして、レーザ投光器20はT字型の架台2と、スリット状のレーザ光を出射するレーザ光源3と、レーザ投光器20の位置情報と姿勢情報を生成する磁気センサ4とを備えて構成され、レーザ光源3への電源とレシーバA4の情報はケーブル5によりPCに伝えられる。また、撮像装置30はT字型の架台6と、対象物1に照射されたレーザスリット光を撮像するCCDカメラ7と、サーモグラフィ19と、撮像装置30の位置情報と姿勢情報を生成する磁気センサ8とを備えて構成され、CCDカメラ7の信号と磁気センサ8の情報はケーブル9によりPCに伝えられる。尚、架台2、6は磁界の影響をレシーバに与えないために、木製、プラスチック、ゴム等の材質により形成される。また、光源としてレーザ光を使用したが、LED或いは他の可視光を使用しても構わない。また、本実施形態ではレーザ投光器20と撮像装置30の位置情報と姿勢情報を生成する手段として、トランスミッタ40からの磁界ベクトルを受信するために磁気センサを使用したが、他の手段により生成しても構わない。
【0014】
次に本実施形態の三次元計測装置100の概略動作について説明する。まず、トランスミッタ40と基準物21を対象物1の近傍に配置し、電源を投入してトランスミッタ40の磁界をレーザ投光器20及び撮像装置30が検出できるように対象物1との位置関係を設定する。これは図示しないPCの画面を見ながら調整を行う。例えば、市販のトランスミッタの場合は半径90cmの半円球の範囲に磁界が形成される。そしてレーザ投光器20と撮像装置30を手に持ち、PCの画面を見ながらCCDカメラ7とサーモグラフィ19が対象物1の全体画像を捉えられるように配置する。そしてレーザ光源3の電源を投入して、スリット光が対象物1の走査開始位置に来るようにしてPCに格納されたプログラムを開始する。そして、レーザ投光器20を対象物1の走査開始位置から順次上から下(或いは下から上)に移動し、対象物1の全体(背面を含む)の走査が完了するまで行う。これらの走査の過程でCCDカメラ7から読み込まれたスリット光の平面方程式がリアルタイムに計算される。また、走査の過程でレーザ投光器20及び撮像装置30を移動しても、磁気センサ4、磁気センサ8から位置情報とロール角、ピッチ角、ヨー角の姿勢情報がPCに取り込まれリアルタイムに処理されて対象物1の平面方程式に反映される。即ち、例えば対象物1に照射したスリット光がくぼみ等で死角となった場合、投光器20を移動して死角とならないようにスリット光を照射するか、或いは撮像装置30を移動して死角を防ぐようにすることが可能となる。
そして対象物1の走査が完了するとPCに取り込まれたデータに基づいて、対象物1の温度画像を三次元化して再生する。この三次元画像はあらゆる角度からのデータにより構成されているので、対象物を回転して任意の角度から観察することも可能となる。
【0015】
図2は図1の斜視図に基づいて本実施形態の三次元化装置100の全体構成を表す模式図である。同じ構成要素には図1と同じ参照番号が付されているので、重複する説明は省略する。ここで、CCDカメラ7の信号はケーブル9によりイメージプロセッサ17に接続され、サーモグラフィ19の温度画像もイメージプロセッサ17に接続される。また、磁気センサ8の信号はケーブル9によりレーザ位置検出回路11に接続され、磁気センサ4はケーブル5によりレーザ位置検出回路11に接続され、トランスミッタ40はケーブル41によりレーザ位置検出回路11に接続されている。またレーザ位置検出回路11の出力及びイメージプロセッサ17の出力信号はPC12に入力され、PC12を制御するプログラムはROM(Read Only Memory)13に格納されている。またPC12からは処理された三次元画像を表示するモニタ18が接続されている。尚、イメージプロセッサ17はCCDカメラ7により撮像された画像データをPC12が処理し易いように変換する機能があり、CCDカメラ7からの画像信号からレーザ輝線の座標をリアルタイムに演算するために回路をFPGA(Field Programmable Gate Array)により構成している。またレーザ位置検出回路11は磁気センサ4、磁気センサ8の信号から三次元位置情報及び姿勢情報を検出回路である。
【0016】
また説明の都合上CCDカメラ7の光軸15とレーザ光源3の光軸16のなす角度をαとする。また対象物1の表面形状はさまざまなものが存在する。例えば、ヤカンのように表面が比較的滑らかで変化がない物もあれば、人物のブロンズ像のように表面の形状が複雑で凹凸が多い物もある。本実施形態ではこれらの対象物1の形状に応じてスリット光10の光軸16とCCDカメラ7の光軸15との成す角度αを変化させることにより、より迅速に且つ確実に死角を減少させることができる。即ち、対象物1の表面が滑らかな場合は、角度αを大きくして一度に広い範囲の情報を取得して処理し、対象物1の形状が複雑な場合は、角度αを狭くして狭い範囲を確実に走査して死角を減少させるようにするものである。これにより、対象物1の形状に応じて処理時間の短縮を図ると共に、対象物1の死角を減少させることもできる。
【0017】
図3は本発明の第1の実施形態に係る三次元化装置の構成を示す機能ブロック図である。同じ構成要素には図2と同じ参照番号を付して説明する。この温度画像の三次元化装置100は、対象物(物体)1の三次元情報及び温度画像情報に基づいて対象物1の温度画像を三次元化する三次元化装置100であって、既知の座標を有する複数の豆電球(発熱源)22を基準点として生成する基準物(基準点生成手段)21と、対象物1及び基準物21からの発熱に基づいて温度画像情報を取得するサーモグラフィ(温度画像情報取得手段)19と、CCDカメラ7、レーザ光源3、トランスミッタ40、イメージプロセッサ17、及びレーザ位置検出回路11により構成され、対象物1の三次元情報を取得する三次元情報取得手段27と、各豆電球22に係る実座標とサーモグラフィ19により得られた温度画像座標とのキャリブレーションを行なう座標キャリブレーション手段31と、座標キャリブレーション手段31によりキャリブレーションされた豆電球22の実座標から温度画像情報の温度画像座標への変換式を決定する変換式決定手段32と、変換式決定手段32により決定された変換式に基づいて対象物1の三次元情報に係る全ての実座標を温度画像座標に変換する座標変換手段33と、座標変換手段33により変換された三次元情報の温度画像座標に基づいて三次元情報の温度情報を抽出する温度情報抽出手段34と、サーモグラフィ19により得られた温度画像情報中の特定の温度画像座標と三次元情報取得手段27により得られた三次元情報中の特定の実座標とを対応付ける座標対応付手段35と、を備えて構成されている。尚、三次元情報取得手段27、座標キャリブレーション手段31、変換式決定手段32、座標変換手段33、温度情報抽出手段34、及び座標対応付手段35は、PC12のROM13に記憶されたプログラムにより演算処理される。また、モニタ18には、対象物1の温度画像や三次元画像が個別に、或いは同一画面に同時に表示することができる。
【0018】
即ち、本実施形態の温度画像の三次元化装置100は、対象物1の基準点を定めるために、既知の座標を有する複数の発熱源(例えば豆電球22等)を基準点として生成する基準物21を備える。そして対象物1と豆電球22の温度画像情報(温度情報と座標を有する情報)を同時に取得して、更に対象物1の三次元情報を取得する。また、豆電球22の実座標と温度画像座標とのキャリブレーションを行なうことにより、実座標から温度画像座標への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標を温度画像座標に変換する。そして変換された温度画像座標に基づいて温度情報を抽出して温度画像を三次元化する。これにより、固定された豆電球22の位置情報に基づいて正確に温度画像を三次元化することができる。
【0019】
図4(a)に、基準物21となる立方体の箱の図を示す。また、図4(b)に基準物21と対象物1をサーモグラフィ19で撮影した時の温度画像を示す。即ち、豆電球22のフィラメント部が発熱し、図4(b)の温度画像に点として撮影されている。
ここで、温度画像座標(u,v)と実座標(x,y,z)の関係は、



・・・(1−1)
となる。
これを変形して、



・・・(1−2)
実座標が既知の基準位置6点をサーモグラフィ19で撮影し、基準位置の実座標(x,y,z)とサーモグラフィ温度画像上での位置(u,v)の組み合わせ6組を(1−2)式に代入する。そして6×2=12元の連立方程式を作成し、k’11〜k’33を算出する。k’11〜k’33が算出されると、(1−2)式から実座標(x,y,z)から温度画像座標(u,v)への変換式が以下のように定まる。



・・・(1−3)
次に三次元情報取得手段27によって、三次元形状を計測する。三次元情報取得手段27で計測した各計測点(xn,yn,zn)を求めた関係式(1−2)を用いて、温度画像上での座標(un,vn)に変換する。図4(c)は計測した各計測点を三次元的に表示したものである。
【0020】
図5(a)は温度画像で各画素位置(u,v)の温度T(u,v)が記録されている。三次元形状データ(xn,yn,zn)に温度T(u,v)を割り当て、温度分布を三次元化したものが図5(b)である。また、図5(b)の三次元画像を回転したものが図5(c)である。
尚、式(1−2)はサーモグラフィ19の撮影位置と姿勢を定義する式で、実座標(x,y,z)と温度画像(u,v)の関係を表す。したがって、広い範囲で三次元形状を計測し、様々な方向から撮影された複数の温度画像をつなぎ合わせることが可能になる。そのため、低解像度のサーモグラフィからも結果的には高解像度の温度分布が得られることになる。一般的にサーモグラフィの価格は解像度で決まるため、低解像度のサーモグラフィの画像をつなぎ合わせることで高解像化することは市場的にもメリットがある(詳細は後述する)。
【0021】
図6は本発明の第1の実施形態に係る温度画像の三次元化装置により温度情報を三次元化する手順を示す図である。まず、既知の座標を有する複数の豆電球22(例えば6点の基準点)を有する基準物21を撮影する(S1)。次に、撮影された各豆電球22の実座標とサーモグラフィ19により得られた温度画像座標とのキャリブレーションを行なう(S7)(キャリブレーションの詳細は後述する)。次に、キャリブレーションされた豆電球22の実座標(x,y,z)から温度画像情報6の温度画像座標(u,v)への変換式を決定する(S2)。また、同時に対象物1の三次元情報を計測して(S8)、実座標(x,y,z)を算出する(S3)。そして、決定された変換式に基づいて対象物1の三次元情報に係る全ての実座標(x,y,z)を温度画像座標(u,v)に変換する(S4)。その結果、変換された三次元情報の温度画像座標(u,v)に基づいて三次元情報の温度情報が抽出される(S5)。そしてステップS3で算出された実座標(x,y,z)とステップS5により抽出された温度情報に基づいて温度画像25を三次元化する(S6)。その結果の画像が画像26として出力される。
【0022】
図7は本発明の第2の実施形態に係る温度画像の三次元化装置により温度情報を三次元化する手順を示す図である。まず、対象物1から発熱する温度画像情報25をサーモグラフィ19により取得して、温度画像座標(u,v)を得る(S11)。それと同時に三次元情報取得手段27により対象物1の形状に関する三次元情報を取得して実座標(x,y,z)を得る(S12)。次に、サーモグラフィ19により得られた温度画像情報中の特定の温度画像座標(u,v)と三次元形状計測器により得られた三次元情報中の特定の実座標(x,y,z)とをマウス23等により対応付ける(S13)。次に、ステップS13で対応付けられた実座標(x,y,z)に基づいて温度画像座標(u,v)への変換式を決定する(S14)。次に、ステップS14で決定された変換式に基づいて全ての実座標(x,y,z)を温度画像座標(u,v)に変換する(S15)。そして、変換された温度画像座標(u,v)に基づいて三次元情報に温度画像情報25から得られた温度情報を当てはめて(S16)、その結果の画像が画像26として出力される。
即ち、本実施形態の三次元化装置は、対象物1の表面の温度画像情報を取得して、更に対象物1の三次元情報を取得する。そのとき得られた温度画像座標(u,v)と実座標(x,y,z)をマウス23等を使用して座標対応付手段35により対応付けられる。その結果、実座標(x,y,z)から温度画像座標(u,v)への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標(x,y,z)を温度画像座標(u,v)に変換する。そして変換された温度画像座標(u,v)に基づいて温度情報を三次元情報に当てはめて、温度画像を三次元化する。これにより、最小限の装置構成で容易に温度画像を三次元化することができる。
【0023】
三次元形状計測のためのCCDカメラキャリブレーションには各種方法があるが一例を以下に示す。図8はCCDカメラ7のカメラ座標系とワールド座標系の関係を示す図である。図8において、撮影画像から得られた座標(u,v)と実空間の三次元座標(ワールド座標)(x,y,z)の関係式は、次のようになる。



・・・(2−1)
式(2−1)を展開し、整理すると、次の式になる。



・・・(2−2)
カメラの位置や姿勢によって、(2−1)式の係数(k11〜k33)が変わるため、三次元座標を計測する前に、撮影画像からCCDカメラ7の位置姿勢や特性を推定する必要がある(カメラキャリブレーション)。
【0024】
図8に示された座標系の関係から画像の写り方に影響する11個の係数k11〜k33(CCDカメラ7の位置姿勢およびカメラレンズの特性を示す)を求めることができる。基準位置となる立方体など(サーモグラフィのキャリブレーションと同じ基準物を同じ位置に置く)をCCDカメラ7で撮影し、基準位置(xn,yn,zn)(n=1〜6)と基準位置をCCDカメラ7で撮影した時のカメラ座標(un,vn)(n=1〜6)の組み合わせを(2−1)式に代入することで、係数k11〜k33を決定する(サーモグラフィのキャリブレーションと同じ)。
【0025】
図9にレーザトラバーサを示す。レーザスリット36がN=0からN=Mまで移動するものとする。このレーザトラバーサ38において、レーザスリット位置Nとレーザ平面上にある点の実座標(サーモグラフィ−、カメラ、レーザの実座標系は統一(一致)させる)の関係を式(3−1)に示す。



・・・(3−1)
ここで、N=1、2・・・である。式(3−1)を展開して整理すると、
11x+m12y+m13z+m14−m21xN−m22yN−m23zN=N
・・・(3−2)
レーザスリットの位置Nを変えながら、Nとレーザ平面上の任意の点の実座標を式(3−2)に7組以上代入することで7元の連立方程式を作成する。この連立方程式を解くことで、レーザパラメータm11〜m23が決定される。m11〜m23が決定されると各レーザ位置Nでのレーザ平面の方程式が算出されることになる。
【0026】
次に計測点ワールド座標の算出について説明する。
式(2−2)と式(3−2)を連立させると、



・・・(4−1)
両辺に逆行列をかけて、次式から計測点の三次元座標(x,y,z)を求めることができる。



・・・(4−2)
ワールド座標が求まると式(1−3)から温度画像上での座標(u,v)がきまり、ワールド座標での温度T(x,y,z)が求まることになる。
【0027】
図10はサーモグラフィ19により対象物を分割して撮影した様子を示す図である。サーモグラフィは一般的に高価であり、特に高解像度の物は現在数百万円以上である。そこで、本発明のキャリブレーション技術を応用することで、低解像度のサーモグラフィで撮影された温度画像をつなぎ合わせ、高解像度の温度画像を作成することが可能になる。例えば、図10(a)のような三次元形状データに温度画像を重ねる場合、低解像度のサーモグラフィ19で全体を撮影するよりも、局所的に撮影し、例えば図10(b)のように4分割して、それを繋ぎ合わせることを次の方法で行う。即ち、サーモグラフィ19で撮影する場合、サーモグラフィ19のキャリブレーションで用いた基準物21が画像に入るように撮影する。これにより、各画像において、サーモグラフィ19のキャリブレーションパラメータk’11〜k’33を算出する。これにより、図10(a)の実座標(x,y,z)に対応する温度画像上での座標u、vを求め、対応する温度を図10(a)の実座標に割り当てることで、結果的に温度画像のつなぎ合わせが実現できる。温度画像を撮影する時に基準物体が入るように注意すれば、任意の姿勢で撮影することが可能である。
【0028】
図11は、三次元磁気センサと組み合わせたシステムの構成を示す図である。本システムはCCDカメラ7、サーモグラフィ19、レーザスリット投光器45および三次元磁気センサ43からなる。これらはアーム42、44で一体化されており、手に保持できるハンディー型とする。三次元磁気センサ43は、システムの三次元位置と姿勢を検出する。計測対象表面をレーザスリット46で走査させることで、物体47の三次元形状を計測し、かつ計測対象の表面温度分布をサーモグラフィ19で測定する。測定された温度画像と物体形状は自動的に合成され、物体の三次元温度分布が測定されることになる。
即ち、三次元磁気センサレシーバの中心に座標系を設置し、これをレシーバ座標系と呼ぶことにする。レシーバ座標系(x,y,z)とCCDカメラ座標系(u,v)、サーモグラフィ座標系(u’,v’)の関係についてキャリブレーションを行う。サーモグラフィ19とCCDカメラ7のキャリブレーション方法は、前述した通りであり、それぞれの関係は(1−2)および(2−1)と同じ式になる(この場合は、レシーバ座標が実座標になることに注意)。レーザ平面上の任意の3点の座標(レシーバ座標系)を一般的な平面の方程式ax+by+cx=1に代入することでレーザ平面の方程式が求まる。レーザスリット46は対象表面で曲線軌跡として現れ、図11(b)のようにCCDカメラ7で撮影される。この曲線上の点(u,v)を式(2−2)に代入し、求めた平面の方程式と連立させることで、曲線上の点のレシーバ座標(x,y,z)が決定される。もとまったレシーバ座標上での各点を式(1−3)によって温度画像上での座標(u’,v’)に変換する。
【0029】
次に、レシーバ座標からワールド座標(磁気トランスミッタ座標)への変換について説明する。三次元磁気センサ43は、磁気トランスミッタの中心を原点とした磁気レシーバの三次元位置(xw,yw,zw)と姿勢(オイラー角φ,θ,ψ)を検出する。レシーバ座標を(xr,yr,zr)とするとワールド座標への変換は次の式のようになる。



・・・(6−1)
ここで、



である。
以上の手続きにより、ハンディスキャン型温度画像三次元計測器が確立される。
第1の実施形態に磁気センサの情報を考慮した場合、三次元形状(x,y,z)の算出方法は特許文献2の方法を用いる。特許文献2の方法で算出した磁気トランスミッタを原点としてワールド座標(xrw,yrw,zrw)を(6−1)式を変形した(6−2)式によって、レシーバ座標(磁気センサ8(図1)を原点とした座標)に変換する。


・・・(6−2)

ここで、(xrw,yrw,zrw)は磁気センサ8の三次元位置で、(φ,θ,ψ)は同姿勢である。この(x,y,z)を(1−3)式の(x,y,z)に代入することで、温度画像座標(u,v)が決定され、温度T(u,v)が割当てられT(xrw,yrw,zrw)となる。
【0030】
図12は、他の実施形態の構成を示す図である。スリットレーザ投光器54の前に回転するミラー52を設置する。回転ミラー52はモータ53によって回転され、仮想平面上をNの方向にステップごとに等間隔で移動するものとする。測定対象表面に現れるレーザ軌跡をCCDカメラ7で撮影することで測定対象の三次元形状が計測される。サーモグラフィ19はCCDカメラ7に隣接して設置する。
レーザスリット位置Nとワールド座標の関係は式(7−1)となる。



・・・(7−1)
ここで、N=1、2・・・である。式(7−1)を展開して整理すると、
11x+m12y+m13z+m14−m21xN−m22yN−m23zN=N・・
・・・(7−2)
レーザスリットの位置Nを変えながら、Nとレーザ平面上の任意の点の実座標を式(7−2)に7組以上代入することで7元の連立方程式を作成する。連立方程式を解くことで、レーザパラメータm11−m23が決定される。m11−m23が決定されると各レーザ位置Nでのレーザ平面の方程式が算出されることになる。式(4−2)から測定対象のワールド座標が求まり、式(1−3)からサーモグラフィで撮影された対応する温度画像上での位置(u,v)を求め、温度T(u,v)がわかるので、ワールド座標での温度T(x,y,z)が測定されたことになる。
【0031】
本発明の応用例として、熱損失を考慮した機器の設計に応用できる。たとえば、熱源の形状(表面積)が数値化され、その形状の各位置での温度が計測されるため、発明した装置で撮影するだけで、外部に放出される熱量が計測できることになる。
図13にサーモグラフィによって楕円柱形状をもつ計測対象を正面から撮影する揚合を示し、図14に側面から撮影する場合を示す。図13(a)のように楕円柱形状の物体60を正面から撮影した場合、図13(b)の領域Aの温度は精度良く、領域Sは面の勾配が大きく精度は悪い。特にSの領域で温度変化が大きい場合は誤差が大きくなる。図14(a)は計測対象60をサーモグラフィ19によって側面から撮影した場合で、この揚合は、図14(b)の領域Sの温度計測精度が良く、Aの領域は精度が悪い。以上のことから、対象全体の温度分布を測定する場合、図13のように正面から領域Aを計測し、図14のように側面から領域Sを測定し、最終的にAの領域とSの領域を合成することで、測定対象60の温度分布とすることが最も良い方法である。本発明はハンディ型の三次元サーモグラフィで、様々な方向から計測対象の温度分布の測定を行い、測定対象を合成することが可能になる。計測時には、レーザ光(スリット光)のオン・オフとレーザのハンディスキャンによって計測領域を測定者が選択し、希望する面の温度分布を計測することを行う。図13の方向からサーモグラフィ19で計測対象60をとらえ、Aの面上でレーザ光(スリット光)を走査(スキャン)させることで領域Aの形状に、領域Aの温度分布を合成する。また、図14の方向からサーモグラフィ19で計測対象60をとらえ、領域Bの形状と温渡分布を計測する。このように測定者が計測対象表面の任意の位置を選択しながら温度計測が可能になるため、計測対象の形状を考慮した高精度温度分布計測が可能になる。
一般の方法では、図13や図14の方向から温度分布を撮影しても、図13の領域A、図14の領域Sなど温度画像から具体的な任意の領城を選択することが不可能で、かつ、その後の合成もできない。しかしながら、本発明の装置では、レーザのスキャン位置でそれぞれの領域を測定者が選択することが可能である。また、サーモグラフィ19およびレーザの位置関係がマトリックス表記によい定式化されており、様々な方向から測定された三次元表面温度の自動的な合成が可能である。
【符号の説明】
【0032】
1 対象物、2、6 架台、3 レーザ光源、4、8 磁気センサ、7 CCDカメラ、11 レーザ位置検出回路、12 PC、13 ROM、17 イメージプロッセサ、18 モニタ、19 サーモグラフィ、20 レーザ投光器、21 基準物、22 豆電球、30 撮像装置、40 トランスミッタ、100 三次元化装置

【特許請求の範囲】
【請求項1】
物体の形状に関する三次元情報及び物体表面の温度画像情報に基づいて該物体の三次元化した温度画像を得る三次元化装置であって、
既知の座標を有する複数の発熱源を基準点として生成する基準点生成手段と、前記物体及び前記基準点生成手段からの発熱に基づいて温度画像情報を取得する温度画像情報取得手段と、前記物体の形状に関する三次元情報を取得する三次元情報取得手段と、前記各基準点に係る実座標と前記温度画像情報取得手段により得られた温度画像座標とのキャリブレーションを行なう座標キャリブレーション手段と、前記座標キャリブレーション手段によりキャリブレーションされた前記各基準点の実座標に基づいて実座標から前記温度画像座標への変換式を決定する変換式決定手段と、該変換式決定手段により決定された変換式に基づいて前記物体の三次元情報に係る全ての実座標を前記温度画像座標に変換する座標変換手段と、該座標変換手段により変換された前記三次元情報の温度画像座標に基づいて該三次元情報の温度情報を抽出する温度情報抽出手段と、を備え、
前記三次元情報取得手段による前記物体の三次元計測と前記温度画像情報取得手段による温度画像情報の取得を同時に行い、前記物体の三次元情報に係る全ての実座標と前記温度情報抽出手段により抽出された温度情報に基づいて前記物体の温度画像を三次元化することを特徴とする三次元化装置。
【請求項2】
前記基準点生成手段は、前記発熱源を少なくとも三次元位置に夫々配置するように構成されていることを特徴とする請求項1に記載の三次元化装置。
【請求項3】
物体の形状に関する三次元情報及び物体表面の温度画像情報に基づいて該物体の三次元化した温度画像を得る三次元化装置であって、
前記物体から発熱する温度画像情報を取得する温度画像情報取得手段と、前記物体の形状に関する三次元情報を取得する三次元情報取得手段と、前記温度画像情報取得手段により得られた温度画像情報中の特定の温度画像座標と前記三次元情報取得手段により得られた三次元情報中の特定の実座標とを対応付ける座標対応付手段と、前記座標対応付手段により対応付けられた前記実座標に基づいて実座標から前記温度画像座標への変換式を決定する変換式決定手段と、該変換式決定手段により決定された変換式に基づいて全ての前記実座標を前記温度画像座標に変換する座標変換手段と、を備え、
前記三次元情報取得手段による前記物体の三次元計測と前記温度画像情報取得手段による温度画像情報の取得を同時に行い、前記座標変換手段により変換された前記温度画像座標に基づいて前記三次元情報に前記温度画像情報から得られた温度情報を当てはめて前記物体の温度画像を三次元化することを特徴とする三次元化装置。
【請求項4】
前記温度画像情報取得手段は、前記物体からの発熱に基づいて得られる温度画像情報を複数に分割して取得し、前記座標キャリブレーション手段により、前記取得した複数の温度画像情報に基づいてキャリブレーションパラメータを算出して前記複数の温度画像情報を繋ぎ合わせて前記物体から発熱する温度画像情報とすることを特徴とする請求項1、2又は3に記載の三次元化装置。
【請求項5】
前記三次元情報取得手段は、所定のエリアに磁界ベクトルを形成するトランスミッタと、前記物体に光を照射する投光手段と、該投光手段により前記物体表面に照射された光を撮像する撮像手段と、該三次元化装置の三次元位置と姿勢を検出する三次元磁気センサと、を備えて構成されていることを特徴とする請求項1又は2に記載の三次元化装置。
【請求項6】
前記三次元情報取得手段は、前記物体に光を照射する投光手段と、前記投光手段により投光された光を前記物体に所定間隔で照射する光照射手段と、該光照射手段により前記物体表面に照射された光を撮像する撮像手段と、を備えて構成されていることを特徴とする請求項1又は2に記載の温度画像の三次元化装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2010−281811(P2010−281811A)
【公開日】平成22年12月16日(2010.12.16)
【国際特許分類】
【出願番号】特願2010−100846(P2010−100846)
【出願日】平成22年4月26日(2010.4.26)
【出願人】(504224153)国立大学法人 宮崎大学 (239)
【Fターム(参考)】