説明

撮像装置

【課題】 マーカ等を必要とせずに非接触且つ現場計測可能であり、また、解析するために高性能のパーソナルコンピュータを必要としないスタンドアローン型の計測機能付きの撮像装置を提供する。
【解決手段】 撮像装置10は、少なくとも2つのディジタルカメラ11,11と、ディジタルカメラ11,11によって撮像された可視画像データに対して各種画像処理を施す画像処理部52と、少なくとも画像データを表示部12に表示させる主制御部54とを備える。画像処理部52は、撮像対象物を平面の集合体であるものと近似して2次元情報を取得する画像解析を、ディジタルカメラ11,11によって撮像された少なくとも2枚の可視画像データに基づいて行い、主制御部54は、画像処理部52によって算出された当該可視画像データ上の任意の2点間の寸法値データを表示部12に表示させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを撮像する撮像装置に関し、特に、ビルや橋梁等の構造物における任意の箇所の寸法や面積を計測したり、コンクリートやモルタルの浮き上がりやひび割れ等の欠陥を診断したりする際に用いて好適な撮像装置に関する。
【背景技術】
【0002】
近年、トンネルや高架橋といったコンクリート構造物のコンクリートが劣化してその一部が剥落する事故が発生し、問題となっている。また、原子力発電システムにおける冷却用配管等の腐食やひび割れによる事故も発生している。これにともない、構造物の健全度を的確に検査し得る非破壊検査方法の確立が求められている。かかる非破壊検査方法としては、ディジタルスチルカメラを用いるディジタル画像計測法が知られている。
【0003】
かかるディジタル画像計測法は、可視領域の光によるコンクリート表面の画像に基づいて欠陥の有無や程度を把握する方法である。このディジタル画像計測法によれば、コンクリート、モルタル、タイル等のひび割れや、表面の欠損を発見することが可能である。このようなディジタル画像計測法は、測定の際の安全性、取り扱いの簡便性、処理の高速性の観点で優れたものであり、近年急速に普及しつつある。かかるディジタル画像計測法を用いた構造物の欠陥を検出する技術としては、例えば特許文献1及び特許文献2並びに非特許文献1等が提案されている。
【0004】
【特許文献1】特開2001−133225号公報
【特許文献2】特開2003−57188号公報
【非特許文献1】株式会社システムハウス福知山、"実測くん"、[online]、[平成16年6月2日検索]、インターネット<URL:http://www.shfweb.com/products/jisoku/>
【0005】
具体的には、特許文献1には、被計測対象物をディジタルカメラで撮像し、撮像によって得られた撮像画像データと、ディジタルカメラの画素の大きさとに基づいて、被計測対象物の寸法、形状を計測する方法が開示されている。特に、この方法は、撮像データから計測点を抽出し、抽出した計測点の座標値に歪曲収差補正を施し、得られた計測点の補正値に基づいて、計測対象物の形状、寸法を計測するものである。これにより、この方法においては、歪曲収差補正を施した補正座標値を用いて経時的な変位量を求めることができ、高精度の計測が可能となるとしている。
【0006】
また、特許文献2には、現存する人工建造物の少なくとも1つの画像を撮像し、その人工建造物における1以上の欠陥の存在を検出する方法が開示されている。特に、この欠陥検出方法は、(a)現存する人工建造物の表面又は内部に、検出可能な材料を、その一部が人工建造物の1以上の欠陥に存在するように提供する提供ステップと、(b)画像センサによって人工建造物の少なくとも1つのディジタル画像を撮像する撮像ステップと、(c)撮像された1以上のディジタル画像を処理して、人工建造物の視覚画像を提供し、人工建造物における1以上の欠陥の存在を判断する処理ステップとからなり、画像センサは、人工建造物の少なくとも1つの画像を撮像し、1以上の欠陥における検出可能な材料の存在の有無により、1以上の欠陥を識別するものである。これにより、この欠陥検出方法においては、現存の人工建造物に欠陥があるかどうかを適切に判断することができるとしている。
【0007】
さらに、非特許文献1には、ディジタルカメラで撮像した構造物の画像について、撮像対象の既知の一部のサイズと、その部分の画像サイズ・投影形状(基準矩形)との比率から基準矩形画の任意の区間の距離を算出するパッケージソフトウェアが開示されている。
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、従来のディジタル画像計測法は、以下のような問題があった。
【0009】
まず、従来のディジタル画像計測法においては、解析に1枚のディジタル画像を利用する場合には、当該ディジタル画像内に寸法が既知である物体(マーカ)が撮像されている必要があることから、撮像対象にマーカとなる物体を設置する煩わしさがある上、そのデータを解析するためには、高性能のパーソナルコンピュータとソフトウェアを必要とするという問題があった。
【0010】
また、従来のディジタル画像計測法においては、解析に2枚のディジタル画像を利用する場合には、当該ディジタル画像内に上述したマーカとなる物体が撮像されている必要がある上、そのデータを解析するためには、より高性能のパーソナルコンピュータとソフトウェアを必要とするという問題があった。
【0011】
さらに、従来のディジタル画像計測法においては、現場で欠陥部の有無を検出することができたとしても、その大きさといった計測値を即座に得ることができないという問題があった。
【0012】
さらにまた、従来のディジタル画像計測法においては、上述したように、マーカとなる物体を設置する必要があることから、撮像対象が限定されたり、マーカを設置できない現場では利用することができないという問題があった。
【0013】
本発明は、このような実情に鑑みてなされたものであり、マーカ等を必要とせずに非接触且つ現場計測可能であり、また、解析するために高性能のパーソナルコンピュータを必要としない撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
上述した目的を達成する本発明にかかる撮像装置は、画像データを撮像する撮像装置であって、互いに異なる視点から撮像対象物の可視画像データを撮像する少なくとも2つのディジタルカメラと、上記ディジタルカメラのそれぞれによって撮像された可視画像データに対して各種画像処理を施す画像処理手段と、少なくとも画像データを含む各種情報を表示する表示手段と、少なくとも画像データを上記表示手段に表示させる制御手段とを備え、上記画像処理手段は、上記撮像対象物を平面の集合体であるものと近似し、各平面内の当該撮像対象物の2次元情報を取得する画像解析を、上記少なくとも2つのディジタルカメラのそれぞれによって撮像された少なくとも2枚の可視画像データに基づいて行い、当該可視画像データ上で指定された任意の2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出し、上記制御手段は、上記画像処理手段によって2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出した結果を示す寸法値データ及び/又は面積値データを上記表示手段に表示させることを特徴としている。
【0015】
このような本発明にかかる撮像装置は、撮像対象物を平面の集合体であるものと近似し、各平面内の当該撮像対象物の2次元情報を取得する画像解析を、少なくとも2つのディジタルカメラのそれぞれによって撮像された少なくとも2枚の可視画像データに基づいて行い、当該可視画像データ上で指定された任意の2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出し、算出結果としての寸法値データを表示手段に表示する。これにより、本発明にかかる撮像装置においては、固定された2つのディジタルカメラを用いた場合における奥行方向の計測値の精度低下の問題を解消することができ、マーカや高性能のパーソナルコンピュータ等を一切必要とせずに、現場において寸法を非接触で計測することができるスタンドアローン型の装置として構成することができる。
【0016】
このような画像解析を実現するために、上記少なくとも2つのディジタルカメラは、その内部標定要素がそれぞれ既知量であるとともに、その外部標定要素の相対差が固定とされる。これにより、本発明にかかる撮像装置においては、画像解析における未知数及び方程式の個数を大幅に削減することができ、当該画像解析を行うために要求される計算能力を飛躍的に低減することができる。したがって、本発明にかかる撮像装置においては、組み込み式のプロセッサによって十分解析を行うことが可能となる。この場合、上記平面の状況は、12個の未知数と、これら12個の未知数に関する12個の非線形方程式とによって記述することができる。したがって、上記画像処理手段は、上記12個の非線形連立方程式を解くことによって上記平面の状況を算出することができる。実際には、上記画像処理手段は、上記非線形方程式を近似値の近傍で線形近似し、初期値を仮定して補正値を求め、この補正値を再度方程式に代入して補正値を修正する計算を繰り返し行う。
【0017】
ここで、本発明にかかる撮像装置においては、可視画像データ上で指定された任意の2点間の寸法及び/又は少なくとも3点で規定された領域の面積を算出するために、具体的には以下のような各種画像データを表示手段に表示させて一連の処理を行う。
【0018】
まず、上記制御手段は、撮像対象を確定するために、上記可視画像データを上記ディジタルカメラの視野の移動に追随するように上記表示手段に表示させ、上記画像処理手段は、撮像対象が確定されると、上記可視画像データを取り込む。
【0019】
続いて、上記画像処理手段は、上記少なくとも2つのディジタルカメラによって撮像された可視画像データ上において平面近似を行って計測値を求める領域である計測領域を指定させるための画像データを生成し、上記制御手段は、上記画像処理手段によって生成された計測領域を指定させるための画像データを上記表示手段に表示させる。
【0020】
また、本発明にかかる撮像装置は、上記表示手段に表示された上記計測領域を指定させるための画像データ上において平面近似を行う計測領域を指定する領域指定手段を備えており、上記画像処理手段は、上記領域指定手段によって計測領域が指定されると、当該画像データ上の特徴点を自動的に抽出する、又は特徴点が指定される。
【0021】
そして、上記画像処理手段は、上記計測領域を指定させるための画像データ上において指定された計測領域内で寸法及び/又は面積を求める計測点を指定させるための画像データを生成し、上記制御手段は、上記画像処理手段によって生成された計測点を指定させるための画像データを上記表示手段に表示させる。
【0022】
さらに、本発明にかかる撮像装置は、上記表示手段に表示された上記計測点を指定させるための画像データ上において計測点を指定する計測点指定手段を備えており、上記画像処理手段は、上記計測点指定手段によって2点の計測点が指定されると、当該2点の座標値を表す4個の未知数に関する4個の非線形方程式を解くことによって求めた2点の計測点座標に基づいて、当該2点間の寸法を算出する。
【0023】
そして、上記画像処理手段は、2点間の寸法を算出した結果を示す寸法値データを上記可視画像データに重畳した計測結果としての画像データを生成し、上記制御手段は、上記画像処理手段によって生成された計測結果としての画像データを上記表示手段に表示させる。
【0024】
一方、本発明にかかる撮像装置において、少なくとも3点で規定された領域の面積を算出する場合には、上記画像処理手段は、上記計測点指定手段によって少なくとも3点の計測点が指定されると、当該少なくとも3点の座標値を表す複数個の未知数に関する複数個の非線形方程式を解くことによって求めた少なくとも3点の計測点座標に基づいて、当該少なくとも3点で規定された領域の面積を算出する。
【0025】
そして、上記画像処理手段は、少なくとも3点で規定された領域の面積を算出した結果を示す面積値データを上記可視画像データに重畳した計測結果としての画像データを生成し、上記制御手段は、上記画像処理手段によって生成された計測結果としての画像データを上記表示手段に表示させる。
【0026】
なお、本発明にかかる撮像装置は、当該撮像装置に対して着脱自在とされて少なくとも上記可視画像データを記憶する記憶媒体に対するデータの読み出し及び/又は書き込みを制御する記憶媒体制御手段を備え、上記制御手段は、上記記憶媒体制御手段を制御して上記記憶媒体に対して上記可視画像データを記憶させることができる。
【0027】
また、上記制御手段は、上記記憶媒体制御手段を制御して上記記憶媒体に対して上記画像処理手段によって2点間の寸法を算出した結果を示す寸法値データ、及び/又は少なくとも3点で規定された領域の面積を算出した結果を示す面積値データを記憶させることもできる。このとき、上記制御手段は、上記可視画像データの生成に関する情報をヘッダとして、当該可視画像データ、並びに当該可視画像データに対する上記ディジタルカメラの位置及び回転に関するデータを対応付けて、上記記憶媒体に対して当該可視画像データ単位で記憶させるようにしてもよい。これにより、本発明にかかる撮像装置においては、膨大数の可視画像データを撮像した場合であっても、極めて容易な管理体系を構築することが可能となる。
【0028】
さらに、本発明にかかる撮像装置において、上記制御手段は、上記記憶媒体に記憶されている画像データを読み出し、これら画像データの一覧をサムネイル表示として上記表示手段に表示させることもでき、上記表示手段にサムネイル表示された一覧の中から選択された所望の画像データを上記記憶媒体から読み出して上記表示手段に表示させることもできる。
【0029】
なお、本発明にかかる撮像装置は、上記撮像対象物としての構造物における欠陥の診断に用いて極めて好適である。
【0030】
また、上述した目的を達成する本発明にかかる撮像装置は、画像データを撮像する撮像装置であって、互いに異なる視点から撮像対象物の可視画像データを撮像する少なくとも2つのディジタルカメラと、上記撮像対象物の熱画像データを撮像する赤外線カメラと、上記ディジタルカメラのそれぞれによって撮像された可視画像データと上記赤外線カメラによって撮像された熱画像データとに対して各種画像処理を施す画像処理手段と、少なくとも画像データを含む各種情報を表示する表示手段と、少なくとも画像データを上記表示手段に表示させる制御手段とを備え、上記画像処理手段は、上記撮像対象物を平面の集合体であるものと近似し、各平面内の当該撮像対象物の2次元情報を取得する画像解析を、上記少なくとも2つのディジタルカメラのそれぞれによって撮像された少なくとも2枚の可視画像データに基づいて行い、当該可視画像データ上で指定された任意の2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出するとともに、少なくとも、上記熱画像データと上記可視画像データとを重畳して融合させた熱可視融合画像データ、及び/又は上記熱画像データから任意の温度範囲のデータのみを抽出した抽出表示画像データを生成し、上記制御手段は、上記画像処理手段によって2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出した結果を示す寸法値データ及び/又は面積値データを上記表示手段に表示させるとともに、上記画像処理手段によって生成された上記熱可視融合画像データ及び/又は上記抽出表示画像データを上記表示手段に表示させることを特徴としている。
【0031】
このような本発明にかかる撮像装置は、撮像対象物を平面の集合体であるものと近似し、各平面内の当該撮像対象物の2次元情報を取得する画像解析を、少なくとも2つのディジタルカメラのそれぞれによって撮像された少なくとも2枚の可視画像データに基づいて行い、当該可視画像データ上で指定された任意の2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出し、算出結果としての寸法値データを表示手段に表示する。これにより、本発明にかかる撮像装置においては、固定された2つのディジタルカメラを用いた場合における奥行方向の計測値の精度低下の問題を解消することができ、マーカや高性能のパーソナルコンピュータ等を一切必要とせずに、現場において寸法を非接触で計測することができるスタンドアローン型の装置として構成することができる。また、本発明にかかる撮像装置においては、可視画像データのみならず熱画像データを取得することができることから、撮像対象物の表面に現れる情報のみならず、表面付近の内部情報を解析することも可能となる。特に、本発明にかかる撮像装置においては、熱可視融合画像データ及び/又は抽出表示画像データを表示手段に表示することから、撮像対象物のひび割れや空洞等の欠陥部の有無を容易に検出することができる。
【0032】
ここで、本発明にかかる撮像装置において、上記画像処理手段は、上記熱可視融合画像データについて、重ね合わせる可視画像データ及び熱画像データの表示強度比率を任意に可変とすることができる。また、本発明にかかる撮像装置において、上記画像処理手段は、上記抽出表示画像データについて、上記熱画像データから抽出する温度範囲を任意に可変とすることもできる。
【0033】
また、本発明にかかる撮像装置において、上記画像処理手段は、上記撮像対象物の可視画像データ及び熱画像データを同一視野及び同一画角となるように補正し、補正した可視画像データと熱画像データとについての上記熱可視融合画像データ、及び/又は補正した熱画像データについての上記抽出表示画像データを生成する。
【0034】
このような本発明にかかる撮像装置は、上記撮像対象物としての構造物における欠陥の診断に用いて極めて好適である。
【発明の効果】
【0035】
本発明においては、マーカ等を必要とせずに非接触且つ現場計測可能であり、また、解析するために高性能のパーソナルコンピュータを必要とすることがなく、低コストのもとに高精度の計測を行うことが可能となる。また、本発明においては、当該撮像装置を用いることによって取得される撮像対象物の寸法や面積等のディジタルデータを含むCAD(Computer Aided Design)図面を容易に作成することが可能となる。
【発明を実施するための最良の形態】
【0036】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【0037】
この実施の形態は、画像データを撮像する撮像装置である。この撮像装置は、構造物における任意の箇所の寸法や面積を計測したり、欠陥を診断したりする際に用いて好適なものであり、2つのディジタルカメラを用いるとともに、計測すべき撮像対象物を平面の集合体であるものと近似した上で、各平面内の当該撮像対象物の2次元情報を取得する、という新たな解析モデリングを実装することにより、マーカ等を必要とせずに非接触且つ現場計測可能であるとともに、解析するために高性能のパーソナルコンピュータを必要としないものである。
【0038】
ここで、2つのディジタルカメラとパーソナルコンピュータとを用いて撮像対象物の3次元情報を取得することは公知である。撮像対象物の3次元情報を取得するにあたっては、左右の視点から撮像した複数の画像について、当該撮像対象物を特徴付ける全ての点に対応する点を指定する必要があるが、これら各点毎に画像解析を行うことは、パーソナルコンピュータによる極めて高い計算能力を必要とする。
【0039】
一般に、画像解析には、カメラの内部標定要素と外部標定要素とを用いる必要がある。内部標定要素は、カメラの焦点距離、CCD(Charge Coupled Devices)等の撮像素子のサイズ、及び主点の位置であり、カメラに固有の要素である。なお、主点とは、カメラレンズの中心をとおり、画像に垂直な光軸が撮像素子と交わる点のことであり、撮像素子の中心位置に近接するが同一位置ではないものである。これに対して、外部標定要素は、カメラの撮像位置及び傾きであり、当該カメラの使用状況を表現する要素である。画像解析を行うためには、かかる外部標定要素を撮像場所毎に取得する必要があることから、通常、撮像画像内に位置や大きさが既知のマーカを設置する必要がある。
【0040】
これに対して、位置を固定した2つのディジタルカメラを用いることにより、これらパラメータが撮像状況によらず一定となることから、パーソナルコンピュータを用いた解析が簡便化するという利点がある。その反面、位置を固定した2つのディジタルカメラを用いた場合には、奥行方向の計測値の精度が低下するという欠点も存在する。これは、奥行方向の計測精度を向上させるためには2つのディジタルカメラの光軸間距離が撮像対象物までの距離と略同等でなければならないためである。位置を固定した2つのディジタルカメラは、その光軸間距離がせいぜい10cmオーダであり、計測すべき撮像対象物までの距離が数m〜数10mの範囲であることから、奥行方向の計測精度の低下は否めない。
【0041】
そこで、本願出願人は、撮像対象物の欠陥部を計測する場合には、当該撮像対象物の表面に現れる細かい凹凸に関する情報は不要であることに着目し、詳細は後述するが、計測すべき撮像対象物を平面の集合体であるものと近似し、各平面内の当該撮像対象物の2次元情報を取得する、という新たな解析モデリングを考案した。
【0042】
平面近似を行うことにより、位置を固定した2つのディジタルカメラを用いることによる"奥行方向の計測精度不足"という問題を回避することができる。さらに、平面近似を行うことにより、画像解析の目的は、撮像対象物の2次元情報を取得するということに簡便化される。したがって、画像解析を行うにあたっては、計測値を求めるべき平面を指定するのみでよいことから、撮像対象物を特徴付ける全ての点を指定する必要がなくなる。ここで、平面は、少なくとも3点で規定することができる。したがって、画像解析においては、解析を行うためにパーソナルコンピュータに要求される計算能力が飛躍的に低減し、組み込み式のプロセッサによって十分解析を行うことが可能となる。これにより、本発明にかかる撮像対象物の寸法計測及び/又は面積計測を行うことができるスタンドアローン型の撮像装置を構成することができる。
【0043】
このように、本発明にかかる撮像装置は、2つのディジタルカメラを用いることによる利点のみならず、当該2つのディジタルカメラを用いた場合に生じる欠点を新たな解析モデリングを適用することによって適切に補うことに着目し、マーカ等を必要とせずに、現場において、非接触で寸法計測及び/又は面積計測を行うことを可能としたものである。
【0044】
以下、このような背景のもとに考案された撮像装置について詳述する。
【0045】
図1に示すように、撮像装置10は、互いに異なる視点から撮像対象物である構造物の可視画像データを撮像する少なくとも2つのディジタルカメラ11,11を、そのカメラレンズが図示しない筐体の正面側壁面から外部に露呈するように配設して備える。
【0046】
ディジタルカメラ11,11は、それぞれ、例えば有効画素数が400万ピクセル程度であるディジタルスチルカメラを用いて構成することができる。ここで、400万ピクセル程度の画素数からなるディジタルカメラ11,11を用いた場合の仕様について検討する。水平方向画素数が2272ピクセルであり、垂直方向画素数が1704ピクセルであり、水平方向画角が36°であり、垂直方向画角が28°のカメラレンズを有するものと仮定する。ディジタルカメラ11,11においては、このような仕様のもとに、10mの距離だけ離隔した構造物を撮像する場合には、1ピクセルあたりの水平方向距離は2.86mmとなるとともに、垂直方向距離は2.93mmとなる。すなわち、ディジタルカメラ11,11においては、1ピクセルあたり約3mmの距離に相当する可視画像データを撮像することになる。また、ディジタルカメラ11,11においては、光学3倍ズームを適用した場合には、1ピクセルあたり約1mmの距離に相当する可視画像データを撮像することができる。一方、40万ピクセル程度の画素数からなるディジタルカメラを用いた場合の仕様について検討すると、水平方向画素数及び垂直方向画素数は、それぞれ、400万ピクセル程度の画素数からなるディジタルカメラ12に比べ、1/3に削減されることから、1ピクセルあたりの距離が3.3倍となり、約10mmとなる。したがって、この仕様のもとに光学3倍ズームを適用したとしても、1ピクセルあたり約3.3mmの距離に相当する可視画像データを撮像するにとどまる。
【0047】
一方、欠陥部としてのひび割れは、通常、その幅について、0.2mm以下、0.2mm〜1.0mm、1.0mm以上の3つに分類される。したがって、0.2mmの欠陥部を撮像するために、1ピクセルあたり0.2mmの距離に相当させるためには、400万ピクセル程度の画素数からなるディジタルカメラに対して光学3倍ズームを適用した場合には、さらに構造物までの撮像距離として2mまで接近すれば足りるが、40万ピクセル程度の画素数からなるディジタルカメラに対して光学3倍ズームを適用した場合には、構造物に対して60cmにまで近接する必要がある。また、40万ピクセル程度の画素数からなるディジタルカメラに対して光学3倍ズームを適用し、構造物に対して60cmにまで近接した場合には、1回の撮像によって得られる撮像面積が水平方向距離で39cm、垂直方向距離で30cmと極めて狭くなり、実用に供することができない。したがって、ディジタルカメラ11,11としては、有効画素数が400万ピクセル程度のものを用いるのが望ましい。
【0048】
ここで、撮像装置10においては、パーソナルコンピュータによる高い計算能力を不要とするために、画像解析に必要となるパラメータにおける未知数の削減を図る。これを実現するために、撮像装置10においては、ディジタルカメラ11,11の拘束条件を強化する。例えば、撮像装置10においては、2つのディジタルカメラ11,11の結像面を同一平面上に設け、当該ディジタルカメラ11,11の光軸間角度及びカメラレンズ中心間距離等の内部標定要素を既知量とする。また、撮像装置10においては、2つのディジタルカメラ11,11の焦点距離やカメラレンズ径といったカメラ定数を同一とする。このとき、撮像装置10においては、実装上の便宜の観点から、2つのディジタルカメラ11,11で同一光学系を用いるのが望ましい。さらに、撮像装置10においては、2つのディジタルカメラ11,11の光軸を大略平行とするのが望ましい。なお、撮像装置10においては、必ずしも2つのディジタルカメラ11,11の光軸を完全に平行としなくてもよく、光軸間角度が既知であることから、容易に補正することができる。
【0049】
また、撮像装置10は、筐体内部に、例えばLCD(Liquid Crystal Display)等の少なくとも画像データを含む各種情報を表示する表示手段である表示部12を備える。具体的には、表示部12は、VGA(Video Graphics Array)形式の5.5インチTFT(Thin Film Transistor)液晶装置として構成され、16ビットのRGB形式データを表示可能なデバイスとして構成することができる。表示部12は、その表示画面が筐体の背面側壁面から外部に露呈するように配設され、少なくとも可視画像データを含む各種画像データを表示する。
【0050】
さらに、撮像装置10は、筐体内部に各種操作ボタン13を備える。操作ボタン13は、その操作面が筐体の上面側壁面から外部に露呈するように配設される。これら操作ボタン13としては、少なくとも、当該撮像装置10に対して着脱自在とされる二次電池である図示しないバッテリによる電源をオン/オフするための電源ボタン、ディジタルカメラ11,11による静止画像データの撮像を行うためのシャッタボタン、ディジタルカメラ11,11によって撮像された可視画像データの画像解析を行い、当該可視画像データ上において計測値を求める計測領域や計測点を指定するための領域指定手段及び計測点指定手段としての解析ボタン、当該撮像装置10に対して着脱自在とされて少なくとも可視画像データを記憶する記憶媒体としてのPCMCIA(Personal Computer Memory Card International Association)カード型メモリ14に画像データを記憶させるための画像データ記憶ボタン、及びPCMCIAカード型メモリ14に記憶されている画像データを読み出して表示部12に表示させるための画像データ読み出しボタンが設けられればよい。
【0051】
さらにまた、撮像装置10は、特に図示しないが、筐体内部に、構造物の撮像精度を高めるために、ディジタルカメラ11,11のそれぞれについての光軸が互いに平行となるように調整する光軸調整機構を備えてもよい。また、撮像装置10は、特に図示しないが、ディジタルカメラ11,11を衝撃から保護するための緩衝機構や、筐体内部への塵埃や水滴の混入を防止するための防塵及び防沫機構を備えてもよい。
【0052】
さらに、このような撮像装置10は、筐体内部に、ディジタルカメラ11,11をそれぞれ制御する2つのカメラ制御部51,51と、ディジタルカメラ11,11による可視画像データに対して各種画像処理を施す画像処理手段である画像処理部52と、この画像処理部52のワークエリアとして用いられるSDRAM(Synchronous Dynamic Random Access Memory)53とを備える。さらにまた、撮像装置10は、各部を統括的に制御する制御手段である主制御部54と、プログラム等の各種情報を格納するフラッシュROM(Read Only Memory)55と、主制御部54のワークエリアとして用いられるSDRAM56と、PCMCIAカードスロット58に装着されたPCMCIAカード型メモリ14に対するデータの読み出し及び/又は書き込みを制御する記憶媒体制御手段であるPCMCIAコントローラ57とからなる回路を備える。
【0053】
カメラ制御部51,51は、それぞれ、例えばUSB(Universal Serial Bus)によって接続された主制御部54の制御のもとにディジタルカメラ11,11を制御し、当該ディジタルカメラ11,11によって撮像された例えば10ビットのディジタルの可視画像データを取得し、これを例えばVGA形式等の解像度のデータとして画像処理部52に供給する。
【0054】
画像処理部52は、例えばSDRAM53をワークエリアとして用いて処理を実行するDSP(Digital Signal Processor)や組み込み式のプロセッサによって構成される。画像処理部52は、ディジタルカメラ11,11によって撮像された可視画像データをキャプチャし、後述する画像解析処理を行い、当該可視画像データ上で指定された任意の2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出する処理等を行う。このとき、画像処理部52は、ディジタルカメラ11,11によって撮像された可視画像データ上において計測値を求める計測領域を指定させるための画像データや計測点を指定させるための画像データを生成するとともに、指定された2つの計測点間の寸法を示す寸法値データや少なくとも3点で規定された領域の面積を算出した結果を示す面積値データを可視画像データに重畳した計測結果としての画像データを生成する。そして、画像処理部52は、これら画像データを例えばRGB形式といった表示部12によって表示可能な形式に変換するとともに、画像データをPCMCIAカード型メモリ14に記憶させるべく、例えばJPEG(Joint Photographic Experts Group)形式等の所定のフォーマットに圧縮する。
【0055】
SDRAM53は、画像処理部52による処理の実行によって生成される一時的なデータを記憶するものであり、例えば128Mビットのものが2つ設けられ、合計256Mビットのデータを、読み出し及び/又は書き込み可能に一時的に記憶する。
【0056】
主制御部54は、専用のLSI(Large Scale Integration)によって構成することができ、操作ボタン13の操作やRTC(Real Time Clock)59による計時情報に基づいて動作する。主制御部54は、表示部12を制御し、ディジタルカメラ11,11によって撮像された可視画像データや、画像処理部52によって生成された各種画像データを当該表示部12に表示させる。また、主制御部54は、例えばUSB接続されたカメラ制御部51,51に対して所定のコマンドを送信することにより、当該カメラ制御部51,51を制御する。さらに、主制御部54は、PCMCIAコントローラ57を制御し、ディジタルカメラ11,11によって撮像された最大画素数の可視画像データをPCMCIAカード型メモリ14に記憶させる。さらにまた、主制御部54は、特に図示しないが、PCMCIAカードスロット58を介してパーソナルコンピュータとUSB接続等を行った場合には、PCMCIAコントローラ57を制御し、各種画像データを当該パーソナルコンピュータに転送する。また、主制御部54は、PCMCIAコントローラ57を制御し、画像処理部52によってJPEG形式等に圧縮された各種画像データ等をPCMCIAカード型メモリ14に記憶させる。
【0057】
フラッシュROM55は、主制御部54が実行するプログラム等の各種情報を格納するものであり、例えば16Mビットのものが2つ設けられ、合計32Mビットのデータを、読み出し及び/又は書き込み可能に記憶する。なお、フラッシュROM55には、画像解析に用いられるディジタルカメラ11,11の内部標定要素や外部標定要素の相対差等の既知量を含む各種パラメータを記憶する。
【0058】
SDRAM56は、主制御部54による処理の実行によって生成される一時的なデータを記憶するものであり、例えば128Mビットのものが2つ設けられ、合計256Mビットのデータを、読み出し及び/又は書き込み可能に一時的に記憶する。
【0059】
PCMCIAコントローラ57は、主制御部54の制御のもとに、PCMCIAカードスロット58に装着されたPCMCIAカード型メモリ14に対するデータの読み出し及び/又は書き込みを制御する。
【0060】
このような回路構成を備える撮像装置10は、上述したように、ディジタルカメラ11,11、表示部12、及び操作ボタン13からなるユーザインターフェースと、各種回路や機構とを全て単一の筐体内部に収納して構成することができる。また、撮像装置10は、これらユーザインターフェース、各種回路、及び機構を、携帯可能な大きさの単一の筐体内部に収納することにより、可搬性に優れた一体的なユニットとして構成することもできる。
【0061】
このような撮像装置10においては、主制御部54の制御のもとに、画像処理部52によって生成された可視画像データをはじめとする各種画像データを表示部12に表示し、測定者に提示する。測定者は、かかる画像データを視認しながら、当該画像データ上において認められる欠陥部を把握することが可能となる。また、撮像装置10においては、操作ボタン13における画像データ記憶ボタンを操作することにより、これら各種画像データを画像処理部52によってJPEG形式等に圧縮した上で、PCMCIAカード型メモリ14に記憶させることができる。さらに、撮像装置10においては、操作ボタン13における画像データ読み出しボタンを操作することにより、主制御部54及びPCMCIAコントローラ57の制御のもとに、PCMCIAカード型メモリ14に記憶されている各種画像データを読み出し、これら画像データの一覧をいわゆるサムネイル表示として表示部12に表示させることもできる。そして、撮像装置10においては、このサムネイル表示された一覧の中から所望の画像データを選択操作することにより、主制御部54の制御のもとに、当該画像データをPCMCIAカード型メモリ14から読み出して表示部12に表示させることができる。そして、撮像装置10においては、PCMCIAカードスロット58を介してパーソナルコンピュータと接続し、画像データを当該パーソナルコンピュータに転送することもでき、当該パーソナルコンピュータを用いた後処理としての画像解析を容易とすることができる。
【0062】
さて、以下では、撮像装置10における画像解析処理について説明する。
【0063】
撮像装置10においては、ディジタルカメラ11,11のそれぞれによって互いに異なる視点から撮像された少なくとも2枚の可視画像データに基づいて、表示部12に表示された当該可視画像データ上で指定した任意の2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出する画像解析を行う。
【0064】
ここで、このような複数枚の画像データに基づく画像解析は、一般には3次元的な拡がりを有する撮像対象物を複数の視点から撮像することによって画像データ内に存在する特定の注目点が、どの画像データ内のどの位置にあるか、という情報に基づいて、当該注目点の3次元的な位置情報を逆算するものである。一般に、かかる画像解析を行うにあたっては、通常、撮像対象物の形状を特徴付けるために、解析を行う対象点として当該撮像対象物の表面に数十個のマーカを設置し、当該撮像対象物の全体を隈なく撮像することになる。
【0065】
より具体的には、かかる画像解析は、例えば図2に示すように、解析を行う対象点Pと、画像データ上の像点pと、カメラ位置(カメラの撮像中心)Oとの3点が1つの直線上に存在するという幾何学的原理に基づくものである。ここで、対象点Pの地上座標系における3次元座標は、P(X,Y,Z)といったように3組の変数で記述することができ、カメラ位置Oの地上座標系における3次元座標も、O(X,Y,Z)といったように3組の変数で記述することができる。これに対して、画像データ上の像点pは、地上座標系における3次元座標表現ではp(X,Y,Z)として記述されるが、当該画像データの2次元座標(x,y)として記述することができる。このような座標表現のもと、上述した幾何学的原理は、カメラの焦点距離をfとし、カメラ座標系におけるカメラのx軸、y軸及びz軸の周囲の回転角度を、それぞれ、ω,φ,κとし、カメラ座標系における像点pの3次元座標を(x,y,−f)とすると、次式(1)及び次式(2)に示す共線条件式として表すことができる。
【0066】
【数1】

【0067】
【数2】

【0068】
なお、上式(1)及び上式(2)におけるm11,m12,m13,m21,m22,m23,m31,m32,m33は、それぞれ、次式(3)で表される。
【0069】
【数3】

【0070】
また、共線条件式は、カメラの焦点距離、主点位置、及びカメラレンズの歪曲収差と称される光学歪み等を考慮する場合には、上式(1)及び上式(2)を次式(4)及び次式(5)に変形することができる。なお、次式(4)及び次式(5)におけるΔx,Δyは、カメラの焦点距離、主点位置、及びカメラレンズの光学歪み係数等に基づいて定められる補正項である。
【0071】
【数4】

【0072】
【数5】

【0073】
上式(1)及び上式(2)に示した共線条件式は、カメラ位置(X,Y,Z)及びカメラ回転角度(ω,φ,κ)からなる6つの未知数を上述した外部標定要素として含む。これら未知数は、一般には、実測等によって求めた既知の3次元座標(X,Y,Z)の複数の対象点Pにマーカを設置して撮像し、画像データ上におけるマーカの像点pの2次元座標(x,y)を求めることによって標定される。2枚の画像データを用いた画像解析においては、1つのマーカに対して2つの像点の座標値が与えられることから、1枚の画像データ内に3点のマーカを設置することにより、原理上、6つの未知数を標定することができる。また、上式(4)及び上式(5)に示した共線条件式においては、カメラ位置(X,Y,Z)及びカメラ回転角度(ω,φ,κ)に加え、焦点距離、主点位置、及びカメラレンズの光学歪み係数等が上述した内部標定要素としての未知数となる。したがって、上式(4)及び上式(5)に示した共線条件式を用いた画像解析においては、未知数を標定するために、上式(1)及び上式(2)に示した共線条件式を用いる場合に比べ、マーカを設置する対象点Pを多数必要とすることになる。画像解析においては、共線条件式における未知数を標定することができれば、画像データ上における任意点の2次元座標値を共線条件式に代入することにより、その任意点に対応する地上座標系の3次元座標を算出することが可能となる。
【0074】
ここで、マーカの個数をnとすると、当該マーカの3次元座標は、上述したように3組の変数で記述されることから、解析を行う対象点Pの個数は、3nとなる。さらに、画像データの撮像枚数をmとすると、k個の内部標定要素及び6m個の外部標定要素とあわせて、3n+k+6m個の未知数があることになる。一方、画像データ上におけるマーカの像点pの座標は、上述したように2組の変数で記述されることから、方程式の個数は、2nm個となる。ここで、例として、n=20、m=15、k=6とすると、156個の未知数に対して、方程式の個数は、600個となる。したがって、画像解析においては、これら方程式群の誤差を最小にする未知数の値を最小二乗法によって求めることになる。このような膨大数の数値データを処理する画像解析を行うにあたっては、高性能のパーソナルコンピュータを用いる必要がある。
【0075】
そこで、撮像装置10においては、未知数及び方程式の個数を大幅に削減し、組み込み式のプロセッサによって処理することを可能とするために、撮像対象物全体を平面の集合体であるものと近似し、解析対象を複数の平面のうち1つの平面とする。これにより、撮像装置10においては、3次元座標系を(X,Y,Z)とすると、3つの対象点Pによって平面を記述することが可能となる。すなわち、n=3とすることができる。また、撮像装置10においては、解析対象の平面をZ=0とすると、その座標を(X,Y)の2つの変数で記述することが可能となる。したがって、未知数の個数は、2n個となる。さらに、撮像装置10においては、上述したように、互いに位置を固定した2つのディジタルカメラ11,11を用いることにより、その内部標定要素を既知量として予め取得しておくことから、k=0とすることができる。さらにまた、撮像装置10においては、可視画像データの撮像枚数については、2つのディジタルカメラ11,11のそれぞれによって1枚ずつであることから、m=2となる。したがって、未知数の個数は、見かけ上、2n+6m=6+12=18個となる。ただし、撮像装置10においては、当該装置の組み立て後には、2つのディジタルカメラ11,11の外部標定要素の相対差が固定とされることから、未知数の個数は、6個削減され、12個となる。一方、方程式の個数は、2nm=12個となる。
【0076】
このように、撮像装置10においては、撮像対象物を平面近似する新たな解析モデリングを用いるとともに、固定した2つのディジタルカメラ11,11を用いて撮像した可視画像データを用いることにより、12個の未知数と、これら12個の未知数に関する12個の方程式とによって状況を記述することができる。これらの方程式は、非線形であることから、撮像装置10においては、12個の非線形連立方程式を解けばよい。実際には、撮像装置10においては、方程式を近似値の近傍で線形近似し、初期値を仮定して補正値を求め、この補正値を再度方程式に代入して補正値を修正する、という繰り返し計算を行うことにより、数値的に真値を求めることになる。
【0077】
さて、このような撮像装置10においては、具体的には以下のような動作を行う。
【0078】
撮像装置10においては、操作ボタン13における電源ボタンを操作することによって動作可能状態に移行すると、撮像対象を確定するために、可視画像データをディジタルカメラ11,11の視野の移動に追随するように動画像データとして表示部12に表示する。この表示部12に表示される動画像データは、主制御部54の制御のもとに、ディジタルカメラ11,11に対して一定の時間間隔で画像データを要求し、送られてきたデータを用いて生成して表示部12に表示したものであり、ディジタルカメラ11,11のいずれかによって撮像される可視画像データに基づくものである。このとき、撮像装置10においては、ディジタルカメラ11,11の画素数よりも少ない画素数の可視画像データに基づいて動画像データを生成して表示部12に表示することにより、画像処理部52及び主制御部54による処理負担を軽減し、ディジタルカメラ11,11の視野の移動に滑らかに追随したリアルタイム動画像データを表示部12に表示することができる。
【0079】
撮像装置10においては、測定者がこのリアルタイム動画像データを視認することによって撮像対象を確定すると、操作ボタン13におけるシャッタボタンを操作することにより、ディジタルカメラ11,11による可視画像データを静止画像データとして画像処理部52に取り込み、PCMCIAカード型メモリ14に対する各種画像データの記憶といった各種処理を行うことができる。ここで、撮像装置10においては、画像処理部52に可視画像データを取り込んだ後については、ディジタルカメラ11,11の最大画素数の画像データについて処理を行うのが望ましく、これにより、測定者にとって使い勝手がよく、寸法計測や面積計測、さらには欠陥部の検出を容易且つ確実に行うことが可能となる。
【0080】
さて、撮像装置10においては、操作ボタン13における電源ボタンを操作することによって動作可能状態に移行して、上述した静止画像データとしての可視画像データを取得した際には、以下のような処理を行う。
【0081】
まず、撮像装置10においては、画像処理部52に可視画像データが供給されると、当該画像処理部52によってこれら可視画像データを等縮尺に補正し、この補正後の等縮尺画像データをSDRAM53に格納する。また、撮像装置10においては、画像処理部52により、以下に説明するレンズ収差補正処理を実行する。
【0082】
このレンズ収差補正処理は、カメラレンズの歪曲収差と称される光学歪みを補正する処理であり、その一例が特願2002−379548号明細書に記載されている。すなわち、撮像装置10においては、撮像後の画像データが樽状に歪む現象をもたらす歪曲収差を補正するために、画像処理部52によってアフィン変換と称される処理を施す。
【0083】
このアフィン変換は、ユークリッド幾何学的な線形変換と平行移動の組み合わせによる図形や形状の移動又は変形を行う方法であり、4×4の行列演算で表現できる移動、回転、左右反転、拡大、縮小、シアーの座標変換である。このアフィン変換は、元の図形で直線状に並ぶ点は変換後も直線状に並び、平行線は変換後も平行線であるといったように、幾何学的性質が保たれる変換方式である。したがって、撮像装置10においては、ディジタルカメラ11,11のカメラレンズの光学歪みの性質、すなわち、カメラレンズの収差特質を予めデータとして採取しておき、フラッシュROM55等に記憶させておく。これにより、撮像装置10においては、画像処理部52の演算により、カメラレンズの収差特質を示すデータを用いて、当該カメラレンズの収差による光学歪みを除去した可視画像データを得ることができる。
【0084】
撮像装置10においては、撮像された複数毎の可視画像データの全てについて、このようなレンズ収差補正処理を行う。撮像装置10においては、レンズ収差補正処理を行って得られた補正後の可視画像データを、画像処理部52及び主制御部54の制御のもとに、PCMCIAカード型メモリ14に対して記憶させたり、表示部12に表示させたりすることができる。
【0085】
そして、撮像装置10においては、操作ボタン13における解析ボタンを操作することにより、ディジタルカメラ11,11によって撮像された可視画像データについて画像解析処理を行う。このとき、撮像装置10においては、画像処理部52及び主制御部54の制御のもとに、ディジタルカメラ11,11によって撮像された可視画像データ上において計測値を求める計測領域を指定させるための画像データを表示部12に表示する。なお、この計測領域とは、平面近似を行って計測値を求める領域のことである。撮像装置10においては、表示部12に表示された計測領域を指定させるための画像データ上において、測定者が解析ボタンを用いて平面近似を行う領域を例えば矩形状に指定すると、画像処理部52によって当該画像データ上の特徴点を自動的に抽出する、又は測定者によって特徴点が手動で任意に指定され、これら特徴点を対象点として、上述した12個の非線形連立方程式を解く画像解析処理を行い、平面の状況を算出する。なお、撮像装置10においては、明白な段差が存在する領域を解析する場合には、その段差を跨がないように別個の平面として領域を指定すればよい。
【0086】
続いて、撮像装置10においては、さらに操作ボタン13における解析ボタンを操作することにより、指定された計測領域内で計測点を指定させる。このとき、撮像装置10においては、画像処理部52及び主制御部54の制御のもとに、計測点を指定させるための画像データを表示部12に表示する。撮像装置10においては、表示部12に表示された計測点を指定させるための画像データ上において、例えば図3に示すように、測定者が解析ボタンを用いて、例えばひび割れだと認められる箇所の両端点といったように、2つの計測点MP,MPを任意に指定する。これに応じて、撮像装置10においては、画像処理部52により、指定された2点の座標値を表す4個の未知数に関する4個の非線形方程式を直接解くことによって当該2点の計測点座標を求め、この座標に基づいて当該2点間の寸法を算出する。また、撮像装置10においては、少なくとも3点で規定された領域の面積を算出する場合には、同図に示すように、測定者が解析ボタンを用いて少なくとも3つの計測点MP,MP,MPを任意に指定すると、画像処理部52により、指定された少なくとも3点の座標値を表す複数個の未知数に関する複数個の非線形方程式を直接解くことによって少なくとも3点の計測点座標を求め、この座標に基づいて当該少なくとも3点で規定された領域の面積を算出する。
【0087】
そして、撮像装置10においては、例えば図4に示すように、画像処理部52によって算出した寸法値データRSや面積値データRAを可視画像データに重畳した計測結果としての画像データを生成し、主制御部54の制御のもとに、当該画像データを表示部12に表示する。また、撮像装置10においては、画像処理部52及び主制御部54の制御のもとに、算出した寸法値データや面積値データをPCMCIAカード型メモリ14に対して記憶させることもできる。このとき、撮像装置10においては、主制御部54の制御のもとに、可視画像データを構成する画像ファイルの名称及び撮像日時といった当該可視画像データの生成に関する情報をヘッダとして、当該可視画像データ、並びに当該可視画像データに対する上記ディジタルカメラの位置及び回転に関するデータを対応付けて、PCMCIAカード型メモリ14に対して当該可視画像データ単位で記憶させることにより、膨大数の可視画像データを撮像した場合であっても、極めて容易な管理体系を構築することが可能となる。
【0088】
以上説明したように、本発明の実施の形態として示す撮像装置10は、2つのディジタルカメラ11,11によって互いに異なる視点から撮像された少なくとも2枚の可視画像データを用いるとともに、計測すべき撮像対象物を平面の集合体であるものと近似した上で、各平面内の当該撮像対象物の2次元情報を取得することにより、極めて簡便な構成でありながら、マーカや高性能のパーソナルコンピュータ等を一切必要とせずに、現場において寸法を非接触で計測することができる。また、撮像装置10においては、当該撮像装置10を用いることによって取得される撮像対象物の寸法や面積等のディジタルデータを含むCAD(Computer Aided Design)図面を容易に作成することが可能となり、例えば欠陥部の大きさが図面上に明示された変状展開図を容易に作成することができる。さらに、撮像装置10においては、画像解析処理を行うことによってディジタルカメラ11,11から可視画像データ上における撮像対象物中心までの距離や角度を計測することができることから、当該撮像対象物までの距離を測定する測距計や当該撮像対象物の撮像角度を測定する角度測定器を別途設ける必要がなく、装置の大幅な小型化を図ることができる。
【0089】
なお、本発明は、上述した実施の形態に限定されるものではない。例えば、上述した実施の形態では、2つのディジタルカメラ11,11を用いるものとして説明したが、本発明は、互いに異なる視点から撮像した少なくとも2枚の可視画像データを用いるのであればよい。したがって、本発明は、3つ以上のディジタルカメラを搭載した場合であっても適用することができる。
【0090】
さらに、上述した実施の形態では、可視画像データの撮像のみを行うものとして説明したが、本発明は、より精密な解析を行うために、赤外線カメラを搭載するようにしてもよい。
【0091】
具体的には、図5に示すような撮像装置100を構成することができる。すなわち、この撮像装置100は、撮像装置10に対して、撮像対象物である構造物の熱画像データを撮像する赤外線カメラ111を、ディジタルカメラ11,11と同様に、そのカメラレンズが図示しない筐体の正面側壁面から外部に露呈するように配設して備えるとともに、この赤外線カメラ111によって撮像された熱画像データを符号化するビデオエンコーダ112を備える。
【0092】
赤外線カメラ111は、例えば、測定温度範囲が−20℃〜100℃程度であり、撮像された画像データの画素数が320(H)×240(V)ドット程度である赤外線カメラを用いて構成することができる。
【0093】
ビデオエンコーダ112は、赤外線カメラ111によって撮像される熱画像データがアナログデータである場合に設けられるものである。すなわち、ビデオエンコーダ112は、赤外線カメラ111によって撮像されたアナログの熱画像データを取得すると、この熱画像データに対して所定の符号化を施し、例えばQVGA(Quarter Video Graphics Array)形式等のディジタルの熱画像データを生成する。ビデオエンコーダ112は、生成した熱画像データを画像処理部52に供給する。なお、赤外線カメラ111は、フォーカス等の設定を手動で行うようにしてもよく、または、ディジタルカメラ11,11と同様に、主制御部54の制御に基づいて制御が行われるようにしてもよい。
【0094】
このような撮像装置100においては、可視画像データのみならず熱画像データを取得することができることから、撮像対象物の表面に現れる欠陥のみならず、浮き、空洞、ジャンカといった表面付近の内部欠陥を発見することも可能となる。そして、撮像装置100においては、本願出願人が既に出願している特願2004−112222号明細書や特願2004−156047号明細書に詳述したように、可視画像データと熱画像データとを重畳して融合させた画像データである熱可視融合画像データや、熱画像データから任意の温度範囲のデータのみを抽出した画像データである抽出表示画像データ等を、画像処理部52によって生成し、表示部12に表示することが可能となる。
【0095】
より具体的には、撮像装置100においては、ディジタルカメラ11,11のいずれかによって撮像された可視画像データと赤外線カメラ111によって撮像された熱画像データとに基づいて、画像処理部52によって以下のような熱可視融合画像データ及び/又は抽出表示画像データを生成して表示部12に表示する。なお、熱可視融合画像データ及び/又は抽出表示画像データを生成する際には、2つのディジタルカメラ11,11のうち一方のディジタルカメラによって撮像された可視画像データのみを用い、他方のディジタルカメラによって撮像された可視画像データについては、後述するパララックス補正処理において必要となる撮像対象物までの距離と角度とを求めるために用いる。したがって、以下では、熱可視融合画像データ及び/又は抽出表示画像データを生成するために用いる可視画像データとしては、ディジタルカメラ11によって撮像されたものを用い、撮像対象物までの距離と角度とを求めるために用いる可視画像データとしては、ディジタルカメラ11によって撮像されたものを用いるものとする。
【0096】
まず、撮像装置100においては、熱可視融合画像データを生成する際には、以下のような処理を行う。
【0097】
まず、撮像装置100においては、画像処理部52に可視画像データ及び熱画像データが供給されると、当該画像処理部52によってこれら可視画像データ及び熱画像データを等縮尺に補正し、この補正後の等縮尺画像データをSDRAM53に格納する。また、撮像装置100においては、画像処理部52により、上述したレンズ収差補正処理を実行する。そして、撮像装置100においては、レンズ収差補正処理を行うと、画像処理部52によってパララックス補正処理を実行する。
【0098】
このパララックス補正処理は、特願2002−379548号明細書に詳述されている。すなわち、撮像装置100においては、筐体内部にディジタルカメラ11と赤外線カメラ111とが並置されて収納された構造とされることから、ディジタルカメラ11の撮像範囲と赤外線カメラ111の撮像範囲との間にずれ、すなわち、視差(パララックス)が生じる。パララックス補正処理は、このようなパララックスを補正する処理である。
【0099】
撮像装置100においては、水平方向のカメラレンズ画角が等しく、且つ垂直方向のカメラレンズ画角が等しいディジタルカメラ11及び赤外線カメラ111を垂直方向に平行に並べて同一方向の被写体を撮像した場合には、これら2種類のカメラのうちいずれか一方の種類のカメラの撮像画像データを、パララックス量の分だけ垂直方向に移動させることにより、これら2種類のカメラによって得られた画像データを重ね合わせ、合致させた画像データを合成することができる。また、撮像装置100においては、ディジタルカメラ11及び赤外線カメラ111のカメラレンズ画角が異なる場合には、これらディジタルカメラ11と赤外線カメラ111とのそれぞれのカメラ光学系中心間距離と、他方のディジタルカメラ11によって撮像された可視画像データを用いた上述した画像解析処理によって求められた撮像対象物までの距離とを用いて、可視画像データと熱画像データとの視点の違いによる視差を補正することができる。
【0100】
なお、撮像装置100においては、ディジタルカメラ11を赤外線カメラ111の直上となる位置に配設することにより、このようなパララックス補正を簡略化することができる。
【0101】
また、撮像装置100においては、ディジタルカメラ11及び赤外線カメラ111のカメラレンズ画角が異なる場合には、可視画像データと熱画像データとを同一視野及び同一画角となるように補正する。このとき、撮像装置100においては、カメラレンズ画角が小さい方の値を用いて可視画像データと熱画像データとの視野及び画角を一致させる。
【0102】
撮像装置100においては、このようなパララックス補正処理を行うと、視野及び画角が一致した可視画像データと熱画像データとを重畳して融合させた熱可視融合画像データや、補正した熱画像データから任意の温度範囲のデータのみを抽出した抽出表示画像データを画像処理部52によって生成し、主制御部54の制御のもとに、生成した熱可視融合画像データ及び/又は抽出表示画像データを表示部12に表示する。
【0103】
ここで、撮像装置100においては、操作ボタン13を操作することにより、画像処理部52により、熱可視融合画像データについて、重ね合わせる可視画像データ及び熱画像データの表示強度比率を可変とすることができる。具体的には、撮像装置100においては、熱画像強度:可視画像強度を75:25とした場合には、図6に示すように、可視画像データの成分に比べ熱画像データの成分が強く現れる熱可視融合画像データを表示部12に表示する。また、撮像装置100においては、熱画像強度を小さくし、熱画像強度:可視画像強度を50:50とした場合には、図7に示すように、可視画像データの成分と熱画像データの成分とが同等レベルで現れる熱可視融合画像データを表示部12に表示する。さらに、撮像装置100においては、熱画像強度をさらに小さくし、熱画像強度:可視画像強度を25:75とした場合には、図8に示すように、可視画像データに対して熱画像データが弱レベルで重畳された熱可視融合画像データを表示部12に表示する。したがって、撮像装置100においては、熱画像強度:可視画像強度を100:0とした場合には、熱画像データを表示部12に表示することができ、熱画像強度:可視画像強度を0:100とした場合には、可視画像データを表示部12に表示することができる。
【0104】
なお、撮像装置100においては、熱可視融合画像データとして重ね合わせる可視画像データ及び熱画像データの表示強度比率を測定者に視覚的に提示するのが望ましく、例えば図9に示すように、操作ボタン13の操作による可視画像データ及び熱画像データの表示強度比率の変化に応じて一方向にスクロールすることによって現在の表示強度比率を示すことが可能とされる指標情報であるスクロールバーを、熱可視融合画像データとともに表示部12に表示するようにしてもよい。このとき、撮像装置100においては、表示画面の面積に限りがある表示部12に表示された熱可視融合画像データの表示を妨げないように、必要に応じて、当該表示部12に対するスクロールバーの表示・非表示を切り替える機能を備えてもよい。
【0105】
このように、撮像装置100においては、熱可視融合画像データを表示部12に表示する際に、可視画像データ及び熱画像データの表示強度比率を任意に変化させることができる。したがって、撮像装置100においては、可視画像データのみでは認識できない欠陥部の存在を把握したい場合には熱画像強度を大きくしたり、熱画像強度を小さくした熱可視融合画像データから欠陥部であるものと推測した箇所を、熱画像強度を大きくすることによって確認したりする作業を行うことが可能となる。
【0106】
また、撮像装置100においては、操作ボタン13の操作により、上述したように、画像処理部52によって抽出表示画像データを生成し、表示部12に表示することができる。
【0107】
具体的には、撮像装置100においては、画像処理部52により、熱画像データを温度に変換し、その温度の最大値(Max)から最小値(Min)までの範囲、及びこれら最大値乃至最小値の間の任意の温度範囲を、所定の段階に区分けし、これら各段階を所定の色に変換して抽出表示画像データを生成する。ここで、温度の最大値及び最小値は、撮像対象物全体に対する値が必要とされるが、撮像装置100においては、これら最大値及び最小値が測定前には不明であることから、画像処理部52により、所定の予測式に基づいて、最大値及び最小値の初期値を自動的に設定する。そして、撮像装置100においては、最大値及び最小値の実測値を取得した後には、その実測値を用いて、画像処理部52によって診断に供する最大値及び最小値を設定することができる。
【0108】
ここで、撮像装置100においては、抽出表示画像データとして表示部12に表示させるために熱画像データから抽出する温度範囲を、温度幅を示す"感度"及び当該温度範囲の"中心値"を可変とすることができる操作ボタン13を操作することにより、画像処理部52によって任意に可変とすることができる。すなわち、撮像装置100においては、操作ボタン13を操作することにより、抽出表示画像データについて、熱画像データから抽出する温度範囲を可変とすることができる。このとき、撮像装置100においては、画像処理部52により、所定の経験式に基づいて、感度及び中心値の初期値を自動的に設定する。
【0109】
具体的には、撮像装置100においては、例えば図10中(a)に示すように、感度S及び中心値Cを初期値として設定した場合において、同図中(b)に示すように、感度についてはS(=S)として変化させずに、中心値をC(>C)に変化させた場合には、温度範囲の幅は変化させずに高い温度のデータのみを熱画像データから抽出する。また、撮像装置100においては、同図中(c)に示すように、感度についてはS(=S)として変化させずに、中心値をC(<C)に変化させた場合には、温度範囲の幅は変化させずに低い温度のデータのみを熱画像データから抽出する。さらに、撮像装置100においては、同図中(d)に示すように、中心値についてはC(=C)として変化させずに、感度をS(<S)に変化させた場合には、熱画像データから抽出する温度範囲の幅を大きくする。さらにまた、撮像装置100においては、同図中(e)に示すように、中心値についてはC(=C)として変化させずに、感度をS(<S)に変化させた場合には、熱画像データから抽出する温度範囲の幅を狭くする。したがって、撮像装置100においては、温度範囲の最大値から最小値の全てを包含するように、感度及び中心値を設定した場合には、熱画像データを表示部12に表示することができる。
【0110】
このように、撮像装置100においては、感度及び中心値によって決定される熱画像データにおける温度の最大値乃至最小値の間の任意の温度範囲に属するデータのみを当該熱画像データから抽出し、これを抽出表示画像データとして表示部12に表示することができる。これにより、撮像装置100においては、通常の可視画像データや熱画像データのみでは認識できない欠陥部の存在を高精度に把握することが可能となる。
【0111】
なお、撮像装置100においては、抽出表示画像データとして表示部12に表示させるために熱画像データから抽出する温度範囲温度範囲についても、測定者に視覚的に提示するのが望ましく、例えば、温度の最大値乃至最小値のうち、いずれの温度範囲の部分をいずれの色を用いて表示しているのかを示すことが可能とされる指標情報として、図10に示したような温度範囲バーを抽出表示画像データとともに表示部12に表示するようにしてもよい。この場合においても、撮像装置100においては、表示画面の面積に限りがある表示部12に表示された抽出表示画像データの表示を妨げないように、必要に応じて、当該表示部12に対する温度範囲バーの表示・非表示を切り替える機能を備えてもよい。
【0112】
このように、撮像装置100においては、重ね合わせる可視画像データ及び熱画像データの表示強度比率を任意に変化させることができる熱可視融合画像データや、表示させる温度範囲を任意に変化させることができる抽出表示画像データを生成することにより、測定者にとって極めて利便の高いツールを提供することができる。
【0113】
そして、撮像装置100においては、任意の2点間の寸法及び/又は少なくとも3点で規定された領域の面積を算出した場合には、これらの寸法値データや面積値データを、可視画像データのみならず、これら生成した熱可視融合画像データや抽出表示画像データに重畳し、表示部12に表示させることができる。
【0114】
このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【図面の簡単な説明】
【0115】
【図1】本発明の実施の形態として示す撮像装置の構成を説明するブロック図である。
【図2】画像解析を行う対象点と、画像データ上の像点と、カメラ位置との幾何学関係について説明する図であり、共線条件式を説明するための図である。
【図3】同撮像装置における表示部に表示された計測点を指定させるための画像データの例を説明する図である。
【図4】同撮像装置における表示部に表示された計測結果としての画像データの例を説明する図である。
【図5】赤外線カメラを搭載した本発明の他の実施の形態として示す撮像装置の構成を説明するブロック図である。
【図6】熱画像強度:可視画像強度を75:25とした場合における熱可視融合画像データの例を説明する図である。
【図7】熱画像強度:可視画像強度を50:50とした場合における熱可視融合画像データの例を説明する図である。
【図8】熱画像強度:可視画像強度を25:75とした場合における熱可視融合画像データの例を説明する図である。
【図9】熱可視融合画像データとして重ね合わせる可視画像データ及び熱画像データの表示強度比率を示すスクロールバーの例を説明する図である。
【図10】抽出表示画像データとして表示部に表示させる温度範囲を決定する感度及び中心値の設定例について説明する図である。
【符号の説明】
【0116】
10 撮像装置
11,11 ディジタルカメラ
12 表示部
13 操作ボタン
14 PCMCIAカード型メモリ
51,51 カメラ制御部
52 画像処理部
53,56 SDRAM
54 主制御部
55 フラッシュROM
57 PCMCIAコントローラ
58 PCMCIAカードスロット
59 RTC
111 赤外線カメラ
112 ビデオエンコーダ

【特許請求の範囲】
【請求項1】
画像データを撮像する撮像装置であって、
互いに異なる視点から撮像対象物の可視画像データを撮像する少なくとも2つのディジタルカメラと、
上記ディジタルカメラのそれぞれによって撮像された可視画像データに対して各種画像処理を施す画像処理手段と、
少なくとも画像データを含む各種情報を表示する表示手段と、
少なくとも画像データを上記表示手段に表示させる制御手段とを備え、
上記画像処理手段は、上記撮像対象物を平面の集合体であるものと近似し、各平面内の当該撮像対象物の2次元情報を取得する画像解析を、上記少なくとも2つのディジタルカメラのそれぞれによって撮像された少なくとも2枚の可視画像データに基づいて行い、当該可視画像データ上で指定された任意の2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出し、
上記制御手段は、上記画像処理手段によって2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出した結果を示す寸法値データ及び/又は面積値データを上記表示手段に表示させること
を特徴とする撮像装置。
【請求項2】
上記少なくとも2つのディジタルカメラは、その内部標定要素がそれぞれ既知量であるとともに、その外部標定要素の相対差が固定とされること
を特徴とする請求項1記載の撮像装置。
【請求項3】
上記平面の状況は、12個の未知数と、これら12個の未知数に関する12個の非線形方程式とによって記述され、
上記画像処理手段は、上記12個の非線形連立方程式を解くことによって上記平面の状況を算出すること
を特徴とする請求項2記載の撮像装置。
【請求項4】
上記画像処理手段は、上記非線形方程式を近似値の近傍で線形近似し、初期値を仮定して補正値を求め、この補正値を再度方程式に代入して補正値を修正する計算を繰り返し行うこと
を特徴とする請求項3記載の撮像装置。
【請求項5】
上記制御手段は、撮像対象を確定するために、上記可視画像データを上記ディジタルカメラの視野の移動に追随するように上記表示手段に表示させ、
上記画像処理手段は、撮像対象が確定されると、上記可視画像データを取り込むこと
を特徴とする請求項1記載の撮像装置。
【請求項6】
上記画像処理手段は、上記少なくとも2つのディジタルカメラによって撮像された可視画像データ上において平面近似を行って計測値を求める領域である計測領域を指定させるための画像データを生成し、
上記制御手段は、上記画像処理手段によって生成された計測領域を指定させるための画像データを上記表示手段に表示させること
を特徴とする請求項5記載の撮像装置。
【請求項7】
上記表示手段に表示された上記計測領域を指定させるための画像データ上において平面近似を行う計測領域を指定する領域指定手段を備え、
上記画像処理手段は、上記領域指定手段によって計測領域が指定されると、当該画像データ上の特徴点を自動的に抽出する、又は特徴点が指定されること
を特徴とする請求項6記載の撮像装置。
【請求項8】
上記画像処理手段は、上記計測領域を指定させるための画像データ上において指定された計測領域内で寸法及び/又は面積を求める計測点を指定させるための画像データを生成し、
上記制御手段は、上記画像処理手段によって生成された計測点を指定させるための画像データを上記表示手段に表示させること
を特徴とする請求項7記載の撮像装置。
【請求項9】
上記表示手段に表示された上記計測点を指定させるための画像データ上において計測点を指定する計測点指定手段を備え、
上記画像処理手段は、上記計測点指定手段によって2点の計測点が指定されると、当該2点の座標値を表す4個の未知数に関する4個の非線形方程式を解くことによって求めた2点の計測点座標に基づいて、当該2点間の寸法を算出すること
を特徴とする請求項8記載の撮像装置。
【請求項10】
上記画像処理手段は、2点間の寸法を算出した結果を示す寸法値データを上記可視画像データに重畳した計測結果としての画像データを生成し、
上記制御手段は、上記画像処理手段によって生成された計測結果としての画像データを上記表示手段に表示させること
を特徴とする請求項9記載の撮像装置。
【請求項11】
上記表示手段に表示された上記計測点を指定させるための画像データ上において計測点を指定する計測点指定手段を備え、
上記画像処理手段は、上記計測点指定手段によって少なくとも3点の計測点が指定されると、当該少なくとも3点の座標値を表す複数個の未知数に関する複数個の非線形方程式を解くことによって求めた少なくとも3点の計測点座標に基づいて、当該少なくとも3点で規定された領域の面積を算出すること
を特徴とする請求項8記載の撮像装置。
【請求項12】
上記画像処理手段は、少なくとも3点で規定された領域の面積を算出した結果を示す面積値データを上記可視画像データに重畳した計測結果としての画像データを生成し、
上記制御手段は、上記画像処理手段によって生成された計測結果としての画像データを上記表示手段に表示させること
を特徴とする請求項11記載の撮像装置。
【請求項13】
当該撮像装置に対して着脱自在とされて少なくとも上記可視画像データを記憶する記憶媒体に対するデータの読み出し及び/又は書き込みを制御する記憶媒体制御手段を備え、
上記制御手段は、上記記憶媒体制御手段を制御して上記記憶媒体に対して上記可視画像データを記憶させること
を特徴とする請求項1記載の撮像装置。
【請求項14】
上記制御手段は、上記記憶媒体制御手段を制御して上記記憶媒体に対して上記画像処理手段によって2点間の寸法を算出した結果を示す寸法値データ、及び/又は少なくとも3点で規定された領域の面積を算出した結果を示す面積値データを記憶させること
を特徴とする請求項13記載の撮像装置。
【請求項15】
上記制御手段は、上記可視画像データの生成に関する情報をヘッダとして、当該可視画像データ、並びに当該可視画像データに対する上記ディジタルカメラの位置及び回転に関するデータを対応付けて、上記記憶媒体に対して当該可視画像データ単位で記憶させること
を特徴とする請求項13記載の撮像装置。
【請求項16】
上記制御手段は、上記記憶媒体に記憶されている画像データを読み出し、これら画像データの一覧をサムネイル表示として上記表示手段に表示させること
を特徴とする請求項13記載の撮像装置。
【請求項17】
上記制御手段は、上記表示手段にサムネイル表示された一覧の中から選択された所望の画像データを上記記憶媒体から読み出して上記表示手段に表示させること
を特徴とする請求項16記載の撮像装置。
【請求項18】
上記撮像対象物としての構造物における欠陥の診断に用いられること
を特徴とする請求項1記載の撮像装置。
【請求項19】
画像データを撮像する撮像装置であって、
互いに異なる視点から撮像対象物の可視画像データを撮像する少なくとも2つのディジタルカメラと、
上記撮像対象物の熱画像データを撮像する赤外線カメラと、
上記ディジタルカメラのそれぞれによって撮像された可視画像データと上記赤外線カメラによって撮像された熱画像データとに対して各種画像処理を施す画像処理手段と、
少なくとも画像データを含む各種情報を表示する表示手段と、
少なくとも画像データを上記表示手段に表示させる制御手段とを備え、
上記画像処理手段は、上記撮像対象物を平面の集合体であるものと近似し、各平面内の当該撮像対象物の2次元情報を取得する画像解析を、上記少なくとも2つのディジタルカメラのそれぞれによって撮像された少なくとも2枚の可視画像データに基づいて行い、当該可視画像データ上で指定された任意の2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出するとともに、少なくとも、上記熱画像データと上記可視画像データとを重畳して融合させた熱可視融合画像データ、及び/又は上記熱画像データから任意の温度範囲のデータのみを抽出した抽出表示画像データを生成し、
上記制御手段は、上記画像処理手段によって2点間の寸法、及び/又は少なくとも3点で規定された領域の面積を算出した結果を示す寸法値データ及び/又は面積値データを上記表示手段に表示させるとともに、上記画像処理手段によって生成された上記熱可視融合画像データ及び/又は上記抽出表示画像データを上記表示手段に表示させること
を特徴とする撮像装置。
【請求項20】
上記画像処理手段は、上記熱可視融合画像データについて、重ね合わせる可視画像データ及び熱画像データの表示強度比率を任意に可変とすること
を特徴とする請求項19記載の撮像装置。
【請求項21】
上記画像処理手段は、上記抽出表示画像データについて、上記熱画像データから抽出する温度範囲を任意に可変とすること
を特徴とする請求項19記載の撮像装置。
【請求項22】
上記画像処理手段は、上記撮像対象物の可視画像データ及び熱画像データを同一視野及び同一画角となるように補正し、補正した可視画像データと熱画像データとについての上記熱可視融合画像データ、及び/又は補正した熱画像データについての上記抽出表示画像データを生成すること
を特徴とする請求項19記載の撮像装置。
【請求項23】
上記撮像対象物としての構造物における欠陥の診断に用いられること
を特徴とする請求項19記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2006−10312(P2006−10312A)
【公開日】平成18年1月12日(2006.1.12)
【国際特許分類】
【出願番号】特願2004−183141(P2004−183141)
【出願日】平成16年6月21日(2004.6.21)
【出願人】(000130374)株式会社コンステック (8)
【Fターム(参考)】