画像処理装置、及び画像処理方法
【課題】簡単な作業で効率良く寸法測定等を行なうようにする。
【解決手段】円形マーク3を計測対象物A2の正面部分B2に貼り付け、該計測対象物A2を不図示のデジタルカメラで撮影する。該マーク3の画像上の形状から、射影変換に必要な変換係数を求めて射影変換を行なう。また、該マーク3の画像上の寸法が目標値に一致するように、画像の拡大又は縮小を行なう。これにより、所定の縮尺のオルソ画像が得られ、該画像に基づき寸法測定等を行なうことができる。この寸法測定に際して、計測対象物A2を実測したりする必要が無いため、簡単な作業で効率良く寸法計測等を行なうことができる。
【解決手段】円形マーク3を計測対象物A2の正面部分B2に貼り付け、該計測対象物A2を不図示のデジタルカメラで撮影する。該マーク3の画像上の形状から、射影変換に必要な変換係数を求めて射影変換を行なう。また、該マーク3の画像上の寸法が目標値に一致するように、画像の拡大又は縮小を行なう。これにより、所定の縮尺のオルソ画像が得られ、該画像に基づき寸法測定等を行なうことができる。この寸法測定に際して、計測対象物A2を実測したりする必要が無いため、簡単な作業で効率良く寸法計測等を行なうことができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の寸法を測定するための画像処理を行なう画像処理装置、及び画像処理方法に関する。
【背景技術】
【0002】
近年、デジタルカメラにて撮影した画像を使って被写体(本明細書において“計測対象物”とする)の寸法を計測するようにした技術が種々の分野で注目されている(例えば、特許文献1参照。)。
【0003】
また、本発明者らも、次のような各工程を実施して寸法測定等を実際に行なっている。
(1) 計測対象物に正対する位置にデジタルカメラを設置
(2) 該デジタルカメラと該計測対象物との距離(撮影距離)を実測
(3) 計測対象物の表面(撮影される側の面)に、所定形状のターゲットマーク(以下、“基準点”とする)を少なくとも4個貼付
(4) 貼付した基準点の位置の測定
(5) 撮影した画像をパソコンに転送
(6) 前記実測して得たデータに基づき、画像の射影変換処理
(7) 画像を使って、計測対象物の寸法を測定
【特許文献1】特開2001−133226号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記方法では、撮影距離の実測や、基準点の貼付や、基準点の位置測定等を全ての計測対象物について行なわなければならず、作業が大変であった。
【0005】
本発明は、寸法測定等のための画像処理を効率的に行なうことのできる画像処理装置を提供することを目的とするものである。
【0006】
また、本発明は、寸法測定等のための画像処理を効率的に行なうことのできる画像処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【0007】
請求項1に係る発明は、図1及び図9に例示するものであって、画像に写っている計測対象物(A2)が正面を向いて見えるようにする射影変換工程、及び該画像の拡大縮小工程を実施する画像処理装置(4)において、
前記計測対象物(A2)の正面部分(B2)に掲示された状態で写っている第1マーク(3)の画像中の形状から射影変換処理に必要な変換係数を算出する変換係数算出手段(41)と、
前記変換係数算出手段(41)が算出した変換係数に基づき射影変換処理を行なう射影変換手段(42)と、
前記第1マーク(3)の画像上での目標サイズを設定する目標サイズ設定手段(43)と、
前記第1マーク(3)の画像上での実際のサイズを算出するマークサイズ算出手段(44)と、
前記目標サイズ設定手段(43)及び前記マークサイズ算出手段(44)からのデータに基づき、前記第1マーク(3)の画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう拡大縮小処理手段(45)と、を備えたことを特徴とする。
【0008】
請求項2に係る発明は、請求項1に係る発明において、前記第1マーク(3)は、前記計測対象物(A2)の表面にて二次元方向に拡がる形状であることを特徴とする。
【0009】
請求項3に係る発明は、請求項1又は2に係る発明において、図6及び図9に例示するものであって、前記目標サイズ設定手段(43)は、
前記第1マーク(3)と略同一形状の基準マーク(13)が、前記計測対象物(A2)と略同一形状の基準対象物(A1)の正面部分(B1)に掲示された状態で写っている画像について、該基準マーク(13)の位置を自動認識するマーク認識部(431)と、
該認識した基準マーク(13)の大きさを算出するマークサイズ算出部(432)と、
該算出した基準マーク(13)の大きさを記憶するマークサイズ記憶部(433)と、有することを特徴とする。
【0010】
請求項4に係る発明は、請求項1又は2に係る発明において、前記目標サイズ設定手段(43)は、
前記第1マーク(3)と略同一形状の基準マーク(13)、及び位置を特定するための少なくとも4個の第2マーク(2A,2B,2C,2D)が、前記計測対象物(A2)と略同一形状の基準対象物(A1)の正面部分(B1)に掲示された状態で写っている画像について、前記第2マーク(2A,2B,2C,2D)の位置及びデジタルカメラから前記基準対象物(A1)までの撮影距離(L)の測定結果に基づき、前記基準対象物(A1)が正面を向いて見えるように画像の射影変換処理を行なう射影変換部(434)と、
該射影変換処理をした画像について、前記基準マーク(13)の位置を自動認識するマーク認識部(431)と、
該認識した基準マーク(13)の大きさを算出するマークサイズ算出部(432)と、
該算出した基準マーク(13)の大きさを記憶するマークサイズ記憶部(433)と、を有することを特徴とする。
【0011】
請求項5に係る発明は、画像に写っている計測対象物(A2)が正面を向いて見えるようにする射影変換工程(図2のS1参照)、及び該画像の拡大縮小工程(同図のS2参照)を実施する画像処理方法において、
前記計測対象物(A2)の正面部分(B2)に掲示された状態で写っている第1マーク(3)の画像中の形状から射影変換処理に必要な変換係数を算出する工程(図3のS11参照)と、
該算出した変換係数に基づき射影変換処理を行なう工程(同図のS12参照)と、
前記第1マーク(3)の画像上での目標サイズを設定する工程(図5のS21参照)と、
前記第1マーク(3)の画像上での実際のサイズを算出する工程(図5のS22参照)と、
前記第1マーク(3)の画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう工程(図5のS23参照)と、を備えたことを特徴とする。
【0012】
請求項6に係る発明は、請求項5に係る発明において、前記第1マーク(3)は、前記計測対象物(A2)の表面にて二次元方向に拡がる形状であることを特徴とする。
【0013】
請求項7に係る発明は、請求項5又は6に係る発明において、前記第1マーク(3)の画像上での目標サイズを設定する工程(図5のS21参照)は、
前記第1マーク(3)と略同一形状の基準マーク(13)を、前記計測対象物(A2)と略同一形状の基準対象物(A1)の正面部分(B1)に掲示する工程(図7のS211参照)と、
該基準対象物(A1)を前記基準マーク(13)と共にデジタルカメラにて撮影する工程(図7のS212参照)と、
該撮影して得た画像に写っている基準マーク(13)のサイズを算出すると共に、該算出して得たサイズを前記目標値として記憶させる工程(図7のS213,S214参照)と、からなることを特徴とする。
【0014】
請求項8に係る発明は、請求項5又は6に係る発明において、前記第1マーク(3)の画像上での目標サイズを設定する工程(図5のS21参照)は、
前記第1マーク(3)と略同一形状の基準マーク(13)を、前記計測対象物(A2)と略同一形状の基準対象物(A1)の正面部分(B1)に掲示する工程(図8のS211参照)と、
該正面部分(B1)における位置を特定するための第2マーク(2A,2B,2C,2D)を該正面部分(B1)に少なくとも4個掲示する工程(図8のS215参照)と、
該掲示した第2マーク(2A,2B,2C,2D)の位置を測定する工程(図8のS216参照)と、
前記基準対象物(A1)を前記基準マーク(13)及び前記第2マーク(2A,2B,2C,2D)と共にデジタルカメラ(1)にて撮影する工程(図8のS212参照)と、
該デジタルカメラ(1)から前記基準対象物(A1)までの撮影距離(L)を測定する工程(図8のS217参照)と、
前記第2マーク(2A,2B,2C,2D)の位置及び前記撮影距離の測定結果に基づき、前記基準対象物(A1)が正面を向いて見えるように前記撮影して得た画像の射影変換処理を行なう工程(図8のS218参照)と、
該射影変換処理した後の画像に写っている基準マーク(13)のサイズを算出すると共に、該算出して得たサイズを前記目標値として記憶させる工程(図8のS213,S214参照)と、からなることを特徴とする。
【0015】
なお、括弧内の番号などは、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。
【発明の効果】
【0016】
請求項1,2,5及び6に係る発明によれば、与えられているデータ(目標サイズ)と画像から取得できるデータ(変換係数)とにより必要な画像を取得でき、データ取得のために計測対象物を実測したりする必要が無いため、簡単な作業で効率良く寸法測定等を行なうことができる。
【0017】
請求項3,4,7及び8に係る発明によれば、画像を所定の縮尺に拡大又は縮小する際のデータ(目標サイズ)を正確に取得することができ、寸法測定精度を高めることが出来る。
【発明を実施するための最良の形態】
【0018】
以下、図1乃至図9に沿って、本発明を実施するための最良の形態について説明する。ここで、図1は、本発明に係る画像処理方法により処理される画像の一例を示す模式図であり、図2は、本発明に係る画像処理方法の全体の流れを示すフローチャート図であり、図3は、射影変換工程の詳細の一例を示すフローチャート図であり、図4は、第1マークが画像処理に伴って変形して行く様子の一例を示す模式図である。また、図5は、拡大縮小工程の詳細の一例を示すフローチャート図であり、図6は、基準対象物を撮影するときの様子を説明するための斜視図であり、図7は、第1マークの目標サイズを設定する工程の一例を示すフローチャート図であり、図8は、第1マークの目標サイズを設定する工程の他の例を示すフローチャート図であり、図9は、本発明に係る画像処理装置の構成の一例を示すブロック図である。
【0019】
本発明に係る画像処理方法は、
・ 画像に写っている計測対象物(例えば、図1に符号A2で示すものの内、一番手前側のもの)が正面を向いて見えるようにする射影変換工程(図2のS1参照)と、
・ 該画像の拡大縮小工程(図2のS2参照)と、
を少なくとも実施するものである。これにより、所定の縮尺のオルソ画像を得ることができるので、計測対象物の所定部分の寸法を測定したり、図面を作成したりすることができる(図1のS3)。なお、上述の射影変換工程と拡大縮小工程とは順番に実施するようにしても、同時に実施するようにしてもどちらでも良い。
【0020】
ところで、上述の射影変換工程S1は、
・ 前記計測対象物A2の正面部分B2に掲示された状態で写っている第1マーク3の画像中の形状から射影変換処理に必要な変換係数を算出する工程(図3のS11参照)と、
・ 該算出した変換係数に基づき射影変換処理を行なう工程(図3のS12参照)と、
からなる。変換係数を求めるためには、前記第1マーク3は、デジタルカメラの撮影方向に応じて画像中の形状が変化するものでなければならず、前記計測対象物の表面(正面部分)にて二次元方向に拡がる形状であって、しかも、画像上で認識できる程度の面積でなければならない。該マーク3の形状としては、具体的には、円形や楕円形や多角形(正方形等)を挙げることができる。例えば、第1マークが円形の場合、デジタルカメラの撮影方向によっては図4(a) に示すように扁平した状態に写ることとなる。このような扁平形状をしたマークの中心位置や扁平量等から変換係数が算出され、上述の射影変換処理S12が実施されると該第1マーク3は図4(c) のような円形になる。そのときの射影変換処理S12により、計測対象物A2自体は正面を向いた状態に射影変換されることとなる。なお、第1マーク3の画像中の形状(輪郭)は公知のハフ変換により求めると良い。また、この第1マーク3は、前記計測対象物と明確に区別できるような色に着色しておくと良い。具体的には、計測対象物の表面が明色の場合には第1マークの色を暗色にしておくと良く、計測対象物の表面が暗色の場合には第1マークの色を明色にしておくと良い。
【0021】
一方、上述の拡大縮小工程S2は、図5に例示するように、
・ 前記第1マーク3の画像上での目標サイズ(つまり、所定の縮尺のオルソ画像における前記第1マーク3の画像上のサイズ)を設定する工程S21と、
・ 前記第1マーク3の画像上での実際のサイズを算出する工程S22と、
・ 前記第1マーク3の画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう工程S23と、
により実施される。これにより、画像中の第1マーク3は、例えば図4(c)に示すサイズから図4(d) に示すサイズとなるように変更され、これに伴って、オルソ画像自体が適正な縮尺となる。本発明によれば、与えられているデータ(目標サイズ)と画像から取得できるデータ(変換係数)とにより必要な画像を取得でき、データ取得のために計測対象物を実測したりする必要が無いため、簡単な作業で効率良く寸法測定等を行なうことができる。
【0022】
ここで、目標サイズを設定する方法について説明する。この目標サイズの設定は、
・ 前記計測対象物A2と略同一形状の基準対象物(図6の符号A1参照)と、
・ 前記第1マーク3と略同一形状であって、前記基準対象物A1の正面部分B1に掲示された基準マーク(同図の符号13参照)と
を用いて行なうと良い。具体的には、以下の工程を実施することにより前記目標サイズの設定を行なうと良い。すなわち、
・ 前記基準対象物A1の正面部分B1に前記基準マーク13を掲示する工程(図7のS211、及び図6参照)
・ 該基準対象物A1を前記基準マーク13と共にデジタルカメラ(好ましくは1200万画素以上の解像度のもの)1にて撮影する工程(図7のS212参照)
・ 該撮影した画像データに基づき、画像に写っている基準マーク13のサイズを算出する工程(同図のS213参照)
・ 該算出して得たサイズを目標値として記憶する工程(同図のS214参照)
【0023】
なお、上述のように基準対象物A1をデジタルカメラ1にて撮影する場合、該基準対象物A1に対してデジタルカメラ1が正対している(つまり、デジタルカメラのCCD面と基準対象物の表面とが平行である)必要があるが、実際には多少の角度ズレが生じてしまう。そこで、次のような工程を実施して目標サイズの設定を行なうと良い。すなわち、
・ 前記基準対象物A1の正面部分B1に前記基準マーク13を掲示する工程(図8のS211、及び図6参照)
・ 該正面部分B1における位置を特定するための第2マーク2A,2B,…を該正面部分B1に少なくとも4個掲示する工程(図8のS215、及び図6参照)
・ 該掲示した第2マーク2A,2B,…の位置を測定する工程(図8のS216参照)
・ 前記基準対象物A1を前記基準マーク13及び前記第2マーク2A,2B,…と共にデジタルカメラ1にて撮影する工程(同図のS212参照)
・ 該デジタルカメラ1から前記基準対象物A1までの撮影距離Lを測定する工程(同図のS217、及び図6参照)
・ 前記第2マーク2A,2B,…の位置及び前記撮影距離Lの測定結果に基づき、前記基準対象物A1が正面を向いて見えるように前記撮影して得た画像の射影変換処理を行なう工程(図8のS218参照)
・ 該射影変換処理した後の画像に写っている基準マーク13のサイズを算出する工程(同図のS213参照)
・ 該算出して得たサイズを前記目標値として記憶する工程(同図のS214参照)
【0024】
上述のようにした場合には、画像を所定の縮尺に拡大又は縮小する際のデータ(目標サイズ)を正確に取得することができ、寸法測定精度を高めることが出来る。
【0025】
なお、図6に示す第2マーク2A,2B,…は市松模様で四角形形状のものであるが、もちろんこれに限られるものではなく、座標を特定できるマークであれば他の模様及び形状であっても良い。また、上述の第1マーク3や第2マーク2A,2B,…や基準マーク13を対象物に掲示する方法には、いかなる方法を用いても良い。例えば、シート状のマークを対象物の表面に接着剤等で貼付するようにしても、或いは塗料を塗布してマークを形成しても良い。なお、このようなマークを形成する都合上、計測対象物や基準対象物の表面(マークを掲示する側の面)は平坦である必要がある。
【0026】
次に、本発明の効果について説明する。
【0027】
本発明によれば、上述のような射影変換工程と拡大縮小工程とによって所定の縮尺のオルソ画像(つまり、計測対象物が正面を向いて見えるような画像)が得られるので、該画像を利用して前記計測対象物の寸法を測定したり正面図を作成したりすることができる。また、それらの工程は、与えられた目標データと、前記第1マークについての画像中のデータとを利用した画像上の処理だけで実施することができ、計測対象物についての撮影距離等の実測作業は伴わないので、その分、作業の効率化を図ることができる。例えば、同一形状の製品を量産するような工場においては、基準となる製品(基準対象物)についてのデータ(第2マークの位置や撮影距離)を実測さえすれば、他の製品(計測対象物)についてはそのような実測作業は一切不要となり、非常に効率的に寸法測定等を実施することができる。以下、この点について詳述する。
【0028】
いま、計測対象物A2を撮影するときの撮影距離が、基準対象物A1を撮影するときの撮影距離Lと一致していないと、両画像に写っている計測対象物A2及び基準対象物A1の大きさ(画像上の大きさ)が異なってしまい、計測対象物A2の寸法測定(図2のS3)にも大きな誤差を生じてしまう。一方、このような問題を解消すべく撮影距離を完全に一致させようとすると、撮影の度に撮影距離を実測しなければならず、時間や手間が掛かってしまう。特に、計測対象物A2が大型の重量物である場合には撮影距離を一致させる作業は大きな困難を伴う。本発明によれば、実際の撮影距離が一致していなくても画像上の処理で両画像に写っている計測対象物A2及び基準対象物A1の大きさ(画像上の大きさ)を一致させることができるので、計測対象物A2の寸法測定を精度良く行なうことができる。また、第2マークの位置や撮影距離の実測作業は1回だけ(前記基準対象物A1についてのみ)行なえば良く、計測対象物A2を撮影する際には不要であるため、時間や手間が掛からず、作業の効率化を図ることができる。さらに、各計測対象物についての実測作業が不要となることから、測定誤差等の人為的ミスも回避できる。
【0029】
次に、上述の画像処理方法を実施するのに最適な画像処理装置について説明する。
【0030】
本発明に係る画像処理装置は、画像に写っている計測対象物A2が正面を向いて見えるようにする射影変換工程(図2のS1)、及び該画像の拡大縮小工程(図2のS2)を実施するものである。該画像処理装置にて処理を行なうことのできる画像は、図1に例示するように、計測対象物A2をほぼ正面側から撮影したものであって、しかも、第1マーク3が該計測対象物A2の正面部分B2に掲示された状態で写っているものである。
【0031】
該画像処理装置は、図9に符号4で例示するものであって、以下の各手段を備える。すなわち、
・ 前記第1マーク3の画像中の形状(例えば、図4(a) 参照)から射影変換処理に必要な変換係数を算出する変換係数算出手段41(図3のS11参照)
・ 前記変換係数算出手段41が算出した変換係数に基づき射影変換処理を行なう射影変換手段42(図3のS12参照)
・ 前記第1マーク3の画像上での目標サイズを設定する目標サイズ設定手段43(図5のS21参照)
・ 前記第1マーク3の画像上での実際のサイズを算出するマークサイズ算出手段44(同図のS22参照)
・ 前記目標サイズ設定手段43及び前記マークサイズ算出手段44からのデータに基づき、前記第1マーク3の画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう拡大縮小処理手段45(同図のS23参照)
【0032】
ところで、前記目標サイズ設定手段43による目標サイズの設定は、所定の画像データ(具体的には、正面部分B1に上述の基準マーク13が掲示された前記基準対象物A1の画像データ)を用いて行なうと良い。その場合、目標サイズ設定手段43は、
・ 画像における基準マーク13の位置を自動認識するマーク認識部431と、
・ 該認識した基準マーク13の大きさを算出するマークサイズ算出部432と、
・ 該算出した基準マーク13の大きさを記憶するマークサイズ記憶部433と、
により構成すると良い。
【0033】
なお、上述のように基準対象物A1をデジタルカメラ1にて撮影する場合、該基準対象物A1に対してデジタルカメラ1が正対している(つまり、デジタルカメラのCCD面と基準対象物の表面とが平行である)必要があるが、実際には多少の角度ズレは残ってしまう。そのような場合の目標サイズの設定には、以下のデータを用いると良い。
・ 正面部分に上述の基準マーク13及び第2マーク2A,…が掲示された前記基準対象物A1の画像データ
・ 各第2マーク2A,…の位置データ
・ デジタルカメラ1から前記基準対象物A1までの撮影距離Lの実測データ
【0034】
そして、前記目標サイズ設定手段43には射影変換処理を行なう射影変換部434を設けておいて、前記第2マーク2A,…の位置及び前記撮影距離Lの測定結果に基づき、前記基準対象物A1が正面を向いて見えるように前記撮影して得た画像の射影変換を行なうようにすると良い。この場合、前記マーク認識部431は、射影変換後の基準マーク13の位置を自動認識するようにすると良い。
【実施例1】
【0035】
本実施例では、図6に示すようにPCセグメント(基準対象物)A1をデジタルカメラ1にて撮影すると共に所定のデータ(基準点2A,…の位置データや、撮影距離Lのデータ)を測定し、そのデータを用いて他のPCセグメント(図1の符号A2参照)についての画像処理を行なった。以下、具体的に説明する。
(1) 1つ目のPCセグメント(基準対象物)A1について作業
(1-1) デジタルカメラ1のセット、及び撮影距離の測定
【0036】
まず、図6に示すように、1つ目のPCセグメントA1にほぼ正対するようにデジタルカメラ1をセットし、該デジタルカメラ1とPCセグメントA1との間の撮影距離Lを測定した。なお、本実施例においては、後述のようにセグメントの輪郭抽出を行なうので、セグメントA1の背後には所定色のシート(不図示)を配置して、セグメントの輪郭を認識し易いようにした。
(1-2) 基準点(第2マーク)2の貼付、及び貼付位置の測定
【0037】
一方、このPCセグメントA1の正面(デジタルカメラ1により撮影される側の面)B1には基準点2A,2B,…を4つ貼付し、それらの位置関係を実測し座標を求めた。具体的には、
・ 左下の基準点2Bを原点としてその座標を(0,0)とし、
・ 左下の基準点2Bから右下の基準点2Dを通る仮想線をx軸とし(図11参照)、
・ 該右下の基準点2Dの座標(x1,0)を求め、
・ 該x軸に直交する仮想線をy軸として、左上の基準点2Aの座標(x2,y2)と右上の基準点2Cの座標(x3,y3)を求めた。
(1-3) 円形マーク(基準マーク)13の貼付
【0038】
次に、直径が30cmの円形マーク13をセグメントA1の正面B1に4つ貼付した。
(1-4) 撮影、及び画像取り込み
【0039】
その後、デジタルカメラ1にて1つ目のPCセグメントA1を撮影し、その画像データをパソコン(画像処理装置)に取り込んだ。この際、基準マークの形状、寸法、各基準点2A,…の座標、及び測定した撮影距離L等のデータは、キーボードやマウス等の入力手段を使ってパソコンに入力した。
【0040】
パソコン内ではレンズの歪補正を行なった。図10の符号100をカメラのレンズとし、符号101をカメラのCCD面とすると、レンズ100に歪が無ければ、角度θで入射した光は、光軸とCCD面101との交点I0から、距離rだけ離れた点Iθに像が結ばれる。しかし、実際には、レンズ歪(ラジアルディストーション)のため、点Iθからdだけずれた点I’θに像が結ばれ、そのズレ量dは、次式で現わされる。
【数1】
【0041】
本実施例では、一定間隔に印刷されたドットパターンと、デジタルカメラで撮影して得られるデジタル化されたドットパターン(歪んだドットパターン)とを比較することで上述の係数a1,a2,a3,a4を算出した。
(1-5) 射影変換処理
【0042】
次に、上述の各データ(各基準点2A,…の座標や、撮影距離L等)に基づき、
・ カメラの位置(主点位置)
・ 傾き(PCセグメントの面とCCD面との傾き角)
が算出される。そして、それらのデータは射影変換部434に入力され、オルソ画像が得られる(図12参照)。
(1-6) 円形マーク13のサイズ(目標サイズ)の測定
【0043】
以上のようにしてオルソ画像が取得されると、マーク認識部431が円形マーク13の位置を自動認識し、マークサイズ算出部432がそのサイズ(例えば、直径の画素数)を算出し、マークサイズ記憶部433がそのサイズをメモリする。なお、上述のような円形マーク13の位置認識は自動で行なうようにしても、オペレータがマウスを使って位置を指示するようにしても良い。二値化処理等により円形マーク13の中心座標を求めることができる。
(1-7) その他の処理
【0044】
その後、パソコン画面上で、PCセグメントA1のエッジを含む矩形領域を図13に符号110で示すように指定すると、各矩形領域は二値化処理され、エッジが点群で抽出される(図14(a) 参照)。この点群から直線近似を行ない(図14(b) 参照)、直線のパラメータが計算される。その後、図15に示すような交点120の座標が計算される。オペレータが寸法計測箇所を画面上で指定すると(図16の黒塗り部参照)、具体的な寸法(例えば、600mmや630mmなど)が算出される。
(2) 2つ目以降のPCセグメント(計測対象物)A2についての作業
(2-1) PCセグメントのセット
【0045】
上記(1-4)
の後、つまり、1つ目のPCセグメントA1の撮影が終了すると、該1つ目のPCセグメントA1をカメラ1の前から取り除き、その替わりに2つ目のPCセグメントA2を置く。この際、2つ目のPCセグメントA2は、1つ目のPCセグメントA1が置かれていた位置に置くようにし、また、2つ目のPCセグメントA2の傾斜状態は、1つ目のPCセグメントA1の傾斜状態と出来るだけ同じになるようにする。つまり、1つ目のPCセグメントA1のときの撮影距離と2つ目のPCセグメントA2のときの撮影距離とが大体等しくなるようにし、2つ目のPCセグメントA2の表面とカメラCCD面との傾斜角が、1つ目のPCセグメントA1の表面とカメラCCD面との傾斜角と大体等しくなるようにする。なお、撮影距離の測定や基準点の貼付(及びその位置測定)は1つ目のPCセグメントA1に対して行なったが、2つ目のPCセグメントA2に対しては行なわない。
(2-2) 円形マーク(第1マーク)3の貼付
【0046】
1つ目のセグメントと同様に行なう。なお、貼付する位置は、1つ目のセグメントのときの貼付位置と大体同じとする。
(2-3) 撮影、及び画像取込み
【0047】
デジタルカメラ1にて撮影し、その画像データはパソコンに転送した。
(2-4) 射影変換工程(図2のS1参照)
【0048】
1つ目のPCセグメントA1では撮影距離L等のデータにより射影変換処理を行なったが、2つ目以降のPCセグメントA2では以下のようにして射影変換処理を行なった。
【0049】
まず、円形マーク3の位置の自動認識を行なう。この際、二値化処理を行なえば、円形マーク3の中心座標が求まり、1つ目のセグメントA1の円形マーク13の中心座標に対するズレ量(x、y方向の座標ズレ)を求めることができる。次に、公知のハフ変換を用いて、円形マーク3の画像上の形状(例えば、図4(a) に示すような扁平した楕円形状)の輪郭を抽出する。そして、マーク3の重心位置(例えば、x座標やy座標)や変形量等(扁平量や扁平方向(角度))を求め(図3のS11)、それらの値を下記射影変換式に代入して画像の射影変換を行なう(同図のS12)。
【0050】
この射影変換の様子を図17に沿って詳述する。この図17では、射影変換の様子を説明し易くするため、第1マークとして円形ではなく正方形のものを示している(符号23G参照)。符号23A及び23Bは、x軸の回りに回転したときの形状を示し、符号23C,23Dは、y軸の回りに回転したときの形状を示し、符号23E,23Fは、z軸の回りに回転したときの形状を示している。
【0051】
例えば、マークが符号23A又は23Bに示すような形状だとすると、下式によって射影変換を行なう。
【数2】
【0052】
また、マークが符号23C又は23Dに示すような形状だとすると、下式によって射影変換を行なう。
【数3】
【0053】
さらに、マークが符号23E又は23Fに示すような形状だとすると、下式によって射影変換を行なう。
【数4】
【0054】
上述のような処理を順次繰り返すことにより、マークは符号23Gに示すような正方形となり、PCセグメントの画像はオルソ画像となる。
(2-5) 画像の拡大縮小処理
【0055】
上述のような射影変換処理を行なうことにより、画像上のマーク3は図4(c) に示すような円形になる。ところで、2つ目のPCセグメントA2をデジタルカメラ1で撮影するに当たっては、1つ目のセグメントのときとほぼ同じ撮影距離となるように注意を払っているものの、完全に一致しているという保証は無く、したがって、1つ目の画像の縮尺と2つ目以降の画像の縮尺とが一致しているどうかの保証は無い。そこで、本実施例では、前記マーク3のサイズ調整を行なうことにより画像の縮尺を一致させた。具体的には、以下の処理を行なった。すなわち、
・ 自動抽出されたマーク3のサイズ(直径の画素数)をマークサイズ算出手段44が算出
・ 拡大縮小処理手段45が、該サイズと前記目標サイズとに基づき画像を拡大又は縮小
(2-6) その他の処理
【0056】
その後、1つ目のPCセグメントA1のときのデータに基づき、PCセグメントA2のエッジを含む矩形領域が自動指定され、1つ目のときと同様に、
・ 二値化処理
・ 点群によるエッジの抽出(図14(a) 参照)
・ 直線近似(図14(b) 参照)
・ 直線のパラメータの算出
・ 交点座標の計算(図15 参照)
・ 寸法の自動算出(図16参照)
等が行なわれた。
【図面の簡単な説明】
【0057】
【図1】図1は、本発明に係る画像処理方法により処理される画像の一例を示す模式図である。
【図2】図2は、本発明に係る画像処理方法の全体の流れを示すフローチャート図である。
【図3】図3は、射影変換工程の詳細の一例を示すフローチャート図である。
【図4】図4は、第1マークが画像処理に伴って変形して行く様子の一例を示す模式図である。
【図5】図5は、拡大縮小工程の詳細の一例を示すフローチャート図である。
【図6】図6は、基準対象物を撮影するときの様子を説明するための斜視図である。
【図7】図7は、第1マークの目標サイズを設定する工程の一例を示すフローチャート図である。
【図8】図8は、第1マークの目標サイズを設定する工程の他の例を示すフローチャート図である。
【図9】図9は、本発明に係る画像処理装置の構成の一例を示すブロック図である。
【図10】図10は、レンズの歪補正を説明するための模式図である。
【図11】図11は、1つ目のPCセグメント(基準対象物)の画像の一例を示す模式図である。
【図12】図12は、1つ目のPCセグメントについてのオルソ画像の一例を示す模式図である。
【図13】図13は、1つ目のPCセグメント画像について二値化処理のための領域を指定する様子を示す模式図である。
【図14】図14(a) は、PCセグメントのエッジを点群で抽出する様子の一例を示す模式図であり、図14(b)は、その点群を直線近似する様子の一例を示す模式図である。
【図15】図15は、上述の処理により検出したPCセグメントのエッジの交点を算出する様子の一例を示す模式図である。
【図16】図16は、寸法計測を行なう領域を指定した様子の一例を示す模式図である。
【図17】図17は、射影変換の様子を説明するための模式図である。
【符号の説明】
【0058】
1 デジタルカメラ
2A,2B,2C,2D 第2マーク
3 第1マーク
4 画像処理装置
13 基準マーク
41 変換係数算出手段
42 射影変換手段
43 目標サイズ設定手段
44 マークサイズ算出手段
45 拡大縮小処理手段
431 マーク認識部
432 マークサイズ算出部
433 マークサイズ記憶部
434 射影変換部
A1 基準対象物
A2 計測対象物
B1 正面部分
B2 正面部分
L 撮影距離
【技術分野】
【0001】
本発明は、被写体の寸法を測定するための画像処理を行なう画像処理装置、及び画像処理方法に関する。
【背景技術】
【0002】
近年、デジタルカメラにて撮影した画像を使って被写体(本明細書において“計測対象物”とする)の寸法を計測するようにした技術が種々の分野で注目されている(例えば、特許文献1参照。)。
【0003】
また、本発明者らも、次のような各工程を実施して寸法測定等を実際に行なっている。
(1) 計測対象物に正対する位置にデジタルカメラを設置
(2) 該デジタルカメラと該計測対象物との距離(撮影距離)を実測
(3) 計測対象物の表面(撮影される側の面)に、所定形状のターゲットマーク(以下、“基準点”とする)を少なくとも4個貼付
(4) 貼付した基準点の位置の測定
(5) 撮影した画像をパソコンに転送
(6) 前記実測して得たデータに基づき、画像の射影変換処理
(7) 画像を使って、計測対象物の寸法を測定
【特許文献1】特開2001−133226号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記方法では、撮影距離の実測や、基準点の貼付や、基準点の位置測定等を全ての計測対象物について行なわなければならず、作業が大変であった。
【0005】
本発明は、寸法測定等のための画像処理を効率的に行なうことのできる画像処理装置を提供することを目的とするものである。
【0006】
また、本発明は、寸法測定等のための画像処理を効率的に行なうことのできる画像処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【0007】
請求項1に係る発明は、図1及び図9に例示するものであって、画像に写っている計測対象物(A2)が正面を向いて見えるようにする射影変換工程、及び該画像の拡大縮小工程を実施する画像処理装置(4)において、
前記計測対象物(A2)の正面部分(B2)に掲示された状態で写っている第1マーク(3)の画像中の形状から射影変換処理に必要な変換係数を算出する変換係数算出手段(41)と、
前記変換係数算出手段(41)が算出した変換係数に基づき射影変換処理を行なう射影変換手段(42)と、
前記第1マーク(3)の画像上での目標サイズを設定する目標サイズ設定手段(43)と、
前記第1マーク(3)の画像上での実際のサイズを算出するマークサイズ算出手段(44)と、
前記目標サイズ設定手段(43)及び前記マークサイズ算出手段(44)からのデータに基づき、前記第1マーク(3)の画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう拡大縮小処理手段(45)と、を備えたことを特徴とする。
【0008】
請求項2に係る発明は、請求項1に係る発明において、前記第1マーク(3)は、前記計測対象物(A2)の表面にて二次元方向に拡がる形状であることを特徴とする。
【0009】
請求項3に係る発明は、請求項1又は2に係る発明において、図6及び図9に例示するものであって、前記目標サイズ設定手段(43)は、
前記第1マーク(3)と略同一形状の基準マーク(13)が、前記計測対象物(A2)と略同一形状の基準対象物(A1)の正面部分(B1)に掲示された状態で写っている画像について、該基準マーク(13)の位置を自動認識するマーク認識部(431)と、
該認識した基準マーク(13)の大きさを算出するマークサイズ算出部(432)と、
該算出した基準マーク(13)の大きさを記憶するマークサイズ記憶部(433)と、有することを特徴とする。
【0010】
請求項4に係る発明は、請求項1又は2に係る発明において、前記目標サイズ設定手段(43)は、
前記第1マーク(3)と略同一形状の基準マーク(13)、及び位置を特定するための少なくとも4個の第2マーク(2A,2B,2C,2D)が、前記計測対象物(A2)と略同一形状の基準対象物(A1)の正面部分(B1)に掲示された状態で写っている画像について、前記第2マーク(2A,2B,2C,2D)の位置及びデジタルカメラから前記基準対象物(A1)までの撮影距離(L)の測定結果に基づき、前記基準対象物(A1)が正面を向いて見えるように画像の射影変換処理を行なう射影変換部(434)と、
該射影変換処理をした画像について、前記基準マーク(13)の位置を自動認識するマーク認識部(431)と、
該認識した基準マーク(13)の大きさを算出するマークサイズ算出部(432)と、
該算出した基準マーク(13)の大きさを記憶するマークサイズ記憶部(433)と、を有することを特徴とする。
【0011】
請求項5に係る発明は、画像に写っている計測対象物(A2)が正面を向いて見えるようにする射影変換工程(図2のS1参照)、及び該画像の拡大縮小工程(同図のS2参照)を実施する画像処理方法において、
前記計測対象物(A2)の正面部分(B2)に掲示された状態で写っている第1マーク(3)の画像中の形状から射影変換処理に必要な変換係数を算出する工程(図3のS11参照)と、
該算出した変換係数に基づき射影変換処理を行なう工程(同図のS12参照)と、
前記第1マーク(3)の画像上での目標サイズを設定する工程(図5のS21参照)と、
前記第1マーク(3)の画像上での実際のサイズを算出する工程(図5のS22参照)と、
前記第1マーク(3)の画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう工程(図5のS23参照)と、を備えたことを特徴とする。
【0012】
請求項6に係る発明は、請求項5に係る発明において、前記第1マーク(3)は、前記計測対象物(A2)の表面にて二次元方向に拡がる形状であることを特徴とする。
【0013】
請求項7に係る発明は、請求項5又は6に係る発明において、前記第1マーク(3)の画像上での目標サイズを設定する工程(図5のS21参照)は、
前記第1マーク(3)と略同一形状の基準マーク(13)を、前記計測対象物(A2)と略同一形状の基準対象物(A1)の正面部分(B1)に掲示する工程(図7のS211参照)と、
該基準対象物(A1)を前記基準マーク(13)と共にデジタルカメラにて撮影する工程(図7のS212参照)と、
該撮影して得た画像に写っている基準マーク(13)のサイズを算出すると共に、該算出して得たサイズを前記目標値として記憶させる工程(図7のS213,S214参照)と、からなることを特徴とする。
【0014】
請求項8に係る発明は、請求項5又は6に係る発明において、前記第1マーク(3)の画像上での目標サイズを設定する工程(図5のS21参照)は、
前記第1マーク(3)と略同一形状の基準マーク(13)を、前記計測対象物(A2)と略同一形状の基準対象物(A1)の正面部分(B1)に掲示する工程(図8のS211参照)と、
該正面部分(B1)における位置を特定するための第2マーク(2A,2B,2C,2D)を該正面部分(B1)に少なくとも4個掲示する工程(図8のS215参照)と、
該掲示した第2マーク(2A,2B,2C,2D)の位置を測定する工程(図8のS216参照)と、
前記基準対象物(A1)を前記基準マーク(13)及び前記第2マーク(2A,2B,2C,2D)と共にデジタルカメラ(1)にて撮影する工程(図8のS212参照)と、
該デジタルカメラ(1)から前記基準対象物(A1)までの撮影距離(L)を測定する工程(図8のS217参照)と、
前記第2マーク(2A,2B,2C,2D)の位置及び前記撮影距離の測定結果に基づき、前記基準対象物(A1)が正面を向いて見えるように前記撮影して得た画像の射影変換処理を行なう工程(図8のS218参照)と、
該射影変換処理した後の画像に写っている基準マーク(13)のサイズを算出すると共に、該算出して得たサイズを前記目標値として記憶させる工程(図8のS213,S214参照)と、からなることを特徴とする。
【0015】
なお、括弧内の番号などは、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。
【発明の効果】
【0016】
請求項1,2,5及び6に係る発明によれば、与えられているデータ(目標サイズ)と画像から取得できるデータ(変換係数)とにより必要な画像を取得でき、データ取得のために計測対象物を実測したりする必要が無いため、簡単な作業で効率良く寸法測定等を行なうことができる。
【0017】
請求項3,4,7及び8に係る発明によれば、画像を所定の縮尺に拡大又は縮小する際のデータ(目標サイズ)を正確に取得することができ、寸法測定精度を高めることが出来る。
【発明を実施するための最良の形態】
【0018】
以下、図1乃至図9に沿って、本発明を実施するための最良の形態について説明する。ここで、図1は、本発明に係る画像処理方法により処理される画像の一例を示す模式図であり、図2は、本発明に係る画像処理方法の全体の流れを示すフローチャート図であり、図3は、射影変換工程の詳細の一例を示すフローチャート図であり、図4は、第1マークが画像処理に伴って変形して行く様子の一例を示す模式図である。また、図5は、拡大縮小工程の詳細の一例を示すフローチャート図であり、図6は、基準対象物を撮影するときの様子を説明するための斜視図であり、図7は、第1マークの目標サイズを設定する工程の一例を示すフローチャート図であり、図8は、第1マークの目標サイズを設定する工程の他の例を示すフローチャート図であり、図9は、本発明に係る画像処理装置の構成の一例を示すブロック図である。
【0019】
本発明に係る画像処理方法は、
・ 画像に写っている計測対象物(例えば、図1に符号A2で示すものの内、一番手前側のもの)が正面を向いて見えるようにする射影変換工程(図2のS1参照)と、
・ 該画像の拡大縮小工程(図2のS2参照)と、
を少なくとも実施するものである。これにより、所定の縮尺のオルソ画像を得ることができるので、計測対象物の所定部分の寸法を測定したり、図面を作成したりすることができる(図1のS3)。なお、上述の射影変換工程と拡大縮小工程とは順番に実施するようにしても、同時に実施するようにしてもどちらでも良い。
【0020】
ところで、上述の射影変換工程S1は、
・ 前記計測対象物A2の正面部分B2に掲示された状態で写っている第1マーク3の画像中の形状から射影変換処理に必要な変換係数を算出する工程(図3のS11参照)と、
・ 該算出した変換係数に基づき射影変換処理を行なう工程(図3のS12参照)と、
からなる。変換係数を求めるためには、前記第1マーク3は、デジタルカメラの撮影方向に応じて画像中の形状が変化するものでなければならず、前記計測対象物の表面(正面部分)にて二次元方向に拡がる形状であって、しかも、画像上で認識できる程度の面積でなければならない。該マーク3の形状としては、具体的には、円形や楕円形や多角形(正方形等)を挙げることができる。例えば、第1マークが円形の場合、デジタルカメラの撮影方向によっては図4(a) に示すように扁平した状態に写ることとなる。このような扁平形状をしたマークの中心位置や扁平量等から変換係数が算出され、上述の射影変換処理S12が実施されると該第1マーク3は図4(c) のような円形になる。そのときの射影変換処理S12により、計測対象物A2自体は正面を向いた状態に射影変換されることとなる。なお、第1マーク3の画像中の形状(輪郭)は公知のハフ変換により求めると良い。また、この第1マーク3は、前記計測対象物と明確に区別できるような色に着色しておくと良い。具体的には、計測対象物の表面が明色の場合には第1マークの色を暗色にしておくと良く、計測対象物の表面が暗色の場合には第1マークの色を明色にしておくと良い。
【0021】
一方、上述の拡大縮小工程S2は、図5に例示するように、
・ 前記第1マーク3の画像上での目標サイズ(つまり、所定の縮尺のオルソ画像における前記第1マーク3の画像上のサイズ)を設定する工程S21と、
・ 前記第1マーク3の画像上での実際のサイズを算出する工程S22と、
・ 前記第1マーク3の画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう工程S23と、
により実施される。これにより、画像中の第1マーク3は、例えば図4(c)に示すサイズから図4(d) に示すサイズとなるように変更され、これに伴って、オルソ画像自体が適正な縮尺となる。本発明によれば、与えられているデータ(目標サイズ)と画像から取得できるデータ(変換係数)とにより必要な画像を取得でき、データ取得のために計測対象物を実測したりする必要が無いため、簡単な作業で効率良く寸法測定等を行なうことができる。
【0022】
ここで、目標サイズを設定する方法について説明する。この目標サイズの設定は、
・ 前記計測対象物A2と略同一形状の基準対象物(図6の符号A1参照)と、
・ 前記第1マーク3と略同一形状であって、前記基準対象物A1の正面部分B1に掲示された基準マーク(同図の符号13参照)と
を用いて行なうと良い。具体的には、以下の工程を実施することにより前記目標サイズの設定を行なうと良い。すなわち、
・ 前記基準対象物A1の正面部分B1に前記基準マーク13を掲示する工程(図7のS211、及び図6参照)
・ 該基準対象物A1を前記基準マーク13と共にデジタルカメラ(好ましくは1200万画素以上の解像度のもの)1にて撮影する工程(図7のS212参照)
・ 該撮影した画像データに基づき、画像に写っている基準マーク13のサイズを算出する工程(同図のS213参照)
・ 該算出して得たサイズを目標値として記憶する工程(同図のS214参照)
【0023】
なお、上述のように基準対象物A1をデジタルカメラ1にて撮影する場合、該基準対象物A1に対してデジタルカメラ1が正対している(つまり、デジタルカメラのCCD面と基準対象物の表面とが平行である)必要があるが、実際には多少の角度ズレが生じてしまう。そこで、次のような工程を実施して目標サイズの設定を行なうと良い。すなわち、
・ 前記基準対象物A1の正面部分B1に前記基準マーク13を掲示する工程(図8のS211、及び図6参照)
・ 該正面部分B1における位置を特定するための第2マーク2A,2B,…を該正面部分B1に少なくとも4個掲示する工程(図8のS215、及び図6参照)
・ 該掲示した第2マーク2A,2B,…の位置を測定する工程(図8のS216参照)
・ 前記基準対象物A1を前記基準マーク13及び前記第2マーク2A,2B,…と共にデジタルカメラ1にて撮影する工程(同図のS212参照)
・ 該デジタルカメラ1から前記基準対象物A1までの撮影距離Lを測定する工程(同図のS217、及び図6参照)
・ 前記第2マーク2A,2B,…の位置及び前記撮影距離Lの測定結果に基づき、前記基準対象物A1が正面を向いて見えるように前記撮影して得た画像の射影変換処理を行なう工程(図8のS218参照)
・ 該射影変換処理した後の画像に写っている基準マーク13のサイズを算出する工程(同図のS213参照)
・ 該算出して得たサイズを前記目標値として記憶する工程(同図のS214参照)
【0024】
上述のようにした場合には、画像を所定の縮尺に拡大又は縮小する際のデータ(目標サイズ)を正確に取得することができ、寸法測定精度を高めることが出来る。
【0025】
なお、図6に示す第2マーク2A,2B,…は市松模様で四角形形状のものであるが、もちろんこれに限られるものではなく、座標を特定できるマークであれば他の模様及び形状であっても良い。また、上述の第1マーク3や第2マーク2A,2B,…や基準マーク13を対象物に掲示する方法には、いかなる方法を用いても良い。例えば、シート状のマークを対象物の表面に接着剤等で貼付するようにしても、或いは塗料を塗布してマークを形成しても良い。なお、このようなマークを形成する都合上、計測対象物や基準対象物の表面(マークを掲示する側の面)は平坦である必要がある。
【0026】
次に、本発明の効果について説明する。
【0027】
本発明によれば、上述のような射影変換工程と拡大縮小工程とによって所定の縮尺のオルソ画像(つまり、計測対象物が正面を向いて見えるような画像)が得られるので、該画像を利用して前記計測対象物の寸法を測定したり正面図を作成したりすることができる。また、それらの工程は、与えられた目標データと、前記第1マークについての画像中のデータとを利用した画像上の処理だけで実施することができ、計測対象物についての撮影距離等の実測作業は伴わないので、その分、作業の効率化を図ることができる。例えば、同一形状の製品を量産するような工場においては、基準となる製品(基準対象物)についてのデータ(第2マークの位置や撮影距離)を実測さえすれば、他の製品(計測対象物)についてはそのような実測作業は一切不要となり、非常に効率的に寸法測定等を実施することができる。以下、この点について詳述する。
【0028】
いま、計測対象物A2を撮影するときの撮影距離が、基準対象物A1を撮影するときの撮影距離Lと一致していないと、両画像に写っている計測対象物A2及び基準対象物A1の大きさ(画像上の大きさ)が異なってしまい、計測対象物A2の寸法測定(図2のS3)にも大きな誤差を生じてしまう。一方、このような問題を解消すべく撮影距離を完全に一致させようとすると、撮影の度に撮影距離を実測しなければならず、時間や手間が掛かってしまう。特に、計測対象物A2が大型の重量物である場合には撮影距離を一致させる作業は大きな困難を伴う。本発明によれば、実際の撮影距離が一致していなくても画像上の処理で両画像に写っている計測対象物A2及び基準対象物A1の大きさ(画像上の大きさ)を一致させることができるので、計測対象物A2の寸法測定を精度良く行なうことができる。また、第2マークの位置や撮影距離の実測作業は1回だけ(前記基準対象物A1についてのみ)行なえば良く、計測対象物A2を撮影する際には不要であるため、時間や手間が掛からず、作業の効率化を図ることができる。さらに、各計測対象物についての実測作業が不要となることから、測定誤差等の人為的ミスも回避できる。
【0029】
次に、上述の画像処理方法を実施するのに最適な画像処理装置について説明する。
【0030】
本発明に係る画像処理装置は、画像に写っている計測対象物A2が正面を向いて見えるようにする射影変換工程(図2のS1)、及び該画像の拡大縮小工程(図2のS2)を実施するものである。該画像処理装置にて処理を行なうことのできる画像は、図1に例示するように、計測対象物A2をほぼ正面側から撮影したものであって、しかも、第1マーク3が該計測対象物A2の正面部分B2に掲示された状態で写っているものである。
【0031】
該画像処理装置は、図9に符号4で例示するものであって、以下の各手段を備える。すなわち、
・ 前記第1マーク3の画像中の形状(例えば、図4(a) 参照)から射影変換処理に必要な変換係数を算出する変換係数算出手段41(図3のS11参照)
・ 前記変換係数算出手段41が算出した変換係数に基づき射影変換処理を行なう射影変換手段42(図3のS12参照)
・ 前記第1マーク3の画像上での目標サイズを設定する目標サイズ設定手段43(図5のS21参照)
・ 前記第1マーク3の画像上での実際のサイズを算出するマークサイズ算出手段44(同図のS22参照)
・ 前記目標サイズ設定手段43及び前記マークサイズ算出手段44からのデータに基づき、前記第1マーク3の画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう拡大縮小処理手段45(同図のS23参照)
【0032】
ところで、前記目標サイズ設定手段43による目標サイズの設定は、所定の画像データ(具体的には、正面部分B1に上述の基準マーク13が掲示された前記基準対象物A1の画像データ)を用いて行なうと良い。その場合、目標サイズ設定手段43は、
・ 画像における基準マーク13の位置を自動認識するマーク認識部431と、
・ 該認識した基準マーク13の大きさを算出するマークサイズ算出部432と、
・ 該算出した基準マーク13の大きさを記憶するマークサイズ記憶部433と、
により構成すると良い。
【0033】
なお、上述のように基準対象物A1をデジタルカメラ1にて撮影する場合、該基準対象物A1に対してデジタルカメラ1が正対している(つまり、デジタルカメラのCCD面と基準対象物の表面とが平行である)必要があるが、実際には多少の角度ズレは残ってしまう。そのような場合の目標サイズの設定には、以下のデータを用いると良い。
・ 正面部分に上述の基準マーク13及び第2マーク2A,…が掲示された前記基準対象物A1の画像データ
・ 各第2マーク2A,…の位置データ
・ デジタルカメラ1から前記基準対象物A1までの撮影距離Lの実測データ
【0034】
そして、前記目標サイズ設定手段43には射影変換処理を行なう射影変換部434を設けておいて、前記第2マーク2A,…の位置及び前記撮影距離Lの測定結果に基づき、前記基準対象物A1が正面を向いて見えるように前記撮影して得た画像の射影変換を行なうようにすると良い。この場合、前記マーク認識部431は、射影変換後の基準マーク13の位置を自動認識するようにすると良い。
【実施例1】
【0035】
本実施例では、図6に示すようにPCセグメント(基準対象物)A1をデジタルカメラ1にて撮影すると共に所定のデータ(基準点2A,…の位置データや、撮影距離Lのデータ)を測定し、そのデータを用いて他のPCセグメント(図1の符号A2参照)についての画像処理を行なった。以下、具体的に説明する。
(1) 1つ目のPCセグメント(基準対象物)A1について作業
(1-1) デジタルカメラ1のセット、及び撮影距離の測定
【0036】
まず、図6に示すように、1つ目のPCセグメントA1にほぼ正対するようにデジタルカメラ1をセットし、該デジタルカメラ1とPCセグメントA1との間の撮影距離Lを測定した。なお、本実施例においては、後述のようにセグメントの輪郭抽出を行なうので、セグメントA1の背後には所定色のシート(不図示)を配置して、セグメントの輪郭を認識し易いようにした。
(1-2) 基準点(第2マーク)2の貼付、及び貼付位置の測定
【0037】
一方、このPCセグメントA1の正面(デジタルカメラ1により撮影される側の面)B1には基準点2A,2B,…を4つ貼付し、それらの位置関係を実測し座標を求めた。具体的には、
・ 左下の基準点2Bを原点としてその座標を(0,0)とし、
・ 左下の基準点2Bから右下の基準点2Dを通る仮想線をx軸とし(図11参照)、
・ 該右下の基準点2Dの座標(x1,0)を求め、
・ 該x軸に直交する仮想線をy軸として、左上の基準点2Aの座標(x2,y2)と右上の基準点2Cの座標(x3,y3)を求めた。
(1-3) 円形マーク(基準マーク)13の貼付
【0038】
次に、直径が30cmの円形マーク13をセグメントA1の正面B1に4つ貼付した。
(1-4) 撮影、及び画像取り込み
【0039】
その後、デジタルカメラ1にて1つ目のPCセグメントA1を撮影し、その画像データをパソコン(画像処理装置)に取り込んだ。この際、基準マークの形状、寸法、各基準点2A,…の座標、及び測定した撮影距離L等のデータは、キーボードやマウス等の入力手段を使ってパソコンに入力した。
【0040】
パソコン内ではレンズの歪補正を行なった。図10の符号100をカメラのレンズとし、符号101をカメラのCCD面とすると、レンズ100に歪が無ければ、角度θで入射した光は、光軸とCCD面101との交点I0から、距離rだけ離れた点Iθに像が結ばれる。しかし、実際には、レンズ歪(ラジアルディストーション)のため、点Iθからdだけずれた点I’θに像が結ばれ、そのズレ量dは、次式で現わされる。
【数1】
【0041】
本実施例では、一定間隔に印刷されたドットパターンと、デジタルカメラで撮影して得られるデジタル化されたドットパターン(歪んだドットパターン)とを比較することで上述の係数a1,a2,a3,a4を算出した。
(1-5) 射影変換処理
【0042】
次に、上述の各データ(各基準点2A,…の座標や、撮影距離L等)に基づき、
・ カメラの位置(主点位置)
・ 傾き(PCセグメントの面とCCD面との傾き角)
が算出される。そして、それらのデータは射影変換部434に入力され、オルソ画像が得られる(図12参照)。
(1-6) 円形マーク13のサイズ(目標サイズ)の測定
【0043】
以上のようにしてオルソ画像が取得されると、マーク認識部431が円形マーク13の位置を自動認識し、マークサイズ算出部432がそのサイズ(例えば、直径の画素数)を算出し、マークサイズ記憶部433がそのサイズをメモリする。なお、上述のような円形マーク13の位置認識は自動で行なうようにしても、オペレータがマウスを使って位置を指示するようにしても良い。二値化処理等により円形マーク13の中心座標を求めることができる。
(1-7) その他の処理
【0044】
その後、パソコン画面上で、PCセグメントA1のエッジを含む矩形領域を図13に符号110で示すように指定すると、各矩形領域は二値化処理され、エッジが点群で抽出される(図14(a) 参照)。この点群から直線近似を行ない(図14(b) 参照)、直線のパラメータが計算される。その後、図15に示すような交点120の座標が計算される。オペレータが寸法計測箇所を画面上で指定すると(図16の黒塗り部参照)、具体的な寸法(例えば、600mmや630mmなど)が算出される。
(2) 2つ目以降のPCセグメント(計測対象物)A2についての作業
(2-1) PCセグメントのセット
【0045】
上記(1-4)
の後、つまり、1つ目のPCセグメントA1の撮影が終了すると、該1つ目のPCセグメントA1をカメラ1の前から取り除き、その替わりに2つ目のPCセグメントA2を置く。この際、2つ目のPCセグメントA2は、1つ目のPCセグメントA1が置かれていた位置に置くようにし、また、2つ目のPCセグメントA2の傾斜状態は、1つ目のPCセグメントA1の傾斜状態と出来るだけ同じになるようにする。つまり、1つ目のPCセグメントA1のときの撮影距離と2つ目のPCセグメントA2のときの撮影距離とが大体等しくなるようにし、2つ目のPCセグメントA2の表面とカメラCCD面との傾斜角が、1つ目のPCセグメントA1の表面とカメラCCD面との傾斜角と大体等しくなるようにする。なお、撮影距離の測定や基準点の貼付(及びその位置測定)は1つ目のPCセグメントA1に対して行なったが、2つ目のPCセグメントA2に対しては行なわない。
(2-2) 円形マーク(第1マーク)3の貼付
【0046】
1つ目のセグメントと同様に行なう。なお、貼付する位置は、1つ目のセグメントのときの貼付位置と大体同じとする。
(2-3) 撮影、及び画像取込み
【0047】
デジタルカメラ1にて撮影し、その画像データはパソコンに転送した。
(2-4) 射影変換工程(図2のS1参照)
【0048】
1つ目のPCセグメントA1では撮影距離L等のデータにより射影変換処理を行なったが、2つ目以降のPCセグメントA2では以下のようにして射影変換処理を行なった。
【0049】
まず、円形マーク3の位置の自動認識を行なう。この際、二値化処理を行なえば、円形マーク3の中心座標が求まり、1つ目のセグメントA1の円形マーク13の中心座標に対するズレ量(x、y方向の座標ズレ)を求めることができる。次に、公知のハフ変換を用いて、円形マーク3の画像上の形状(例えば、図4(a) に示すような扁平した楕円形状)の輪郭を抽出する。そして、マーク3の重心位置(例えば、x座標やy座標)や変形量等(扁平量や扁平方向(角度))を求め(図3のS11)、それらの値を下記射影変換式に代入して画像の射影変換を行なう(同図のS12)。
【0050】
この射影変換の様子を図17に沿って詳述する。この図17では、射影変換の様子を説明し易くするため、第1マークとして円形ではなく正方形のものを示している(符号23G参照)。符号23A及び23Bは、x軸の回りに回転したときの形状を示し、符号23C,23Dは、y軸の回りに回転したときの形状を示し、符号23E,23Fは、z軸の回りに回転したときの形状を示している。
【0051】
例えば、マークが符号23A又は23Bに示すような形状だとすると、下式によって射影変換を行なう。
【数2】
【0052】
また、マークが符号23C又は23Dに示すような形状だとすると、下式によって射影変換を行なう。
【数3】
【0053】
さらに、マークが符号23E又は23Fに示すような形状だとすると、下式によって射影変換を行なう。
【数4】
【0054】
上述のような処理を順次繰り返すことにより、マークは符号23Gに示すような正方形となり、PCセグメントの画像はオルソ画像となる。
(2-5) 画像の拡大縮小処理
【0055】
上述のような射影変換処理を行なうことにより、画像上のマーク3は図4(c) に示すような円形になる。ところで、2つ目のPCセグメントA2をデジタルカメラ1で撮影するに当たっては、1つ目のセグメントのときとほぼ同じ撮影距離となるように注意を払っているものの、完全に一致しているという保証は無く、したがって、1つ目の画像の縮尺と2つ目以降の画像の縮尺とが一致しているどうかの保証は無い。そこで、本実施例では、前記マーク3のサイズ調整を行なうことにより画像の縮尺を一致させた。具体的には、以下の処理を行なった。すなわち、
・ 自動抽出されたマーク3のサイズ(直径の画素数)をマークサイズ算出手段44が算出
・ 拡大縮小処理手段45が、該サイズと前記目標サイズとに基づき画像を拡大又は縮小
(2-6) その他の処理
【0056】
その後、1つ目のPCセグメントA1のときのデータに基づき、PCセグメントA2のエッジを含む矩形領域が自動指定され、1つ目のときと同様に、
・ 二値化処理
・ 点群によるエッジの抽出(図14(a) 参照)
・ 直線近似(図14(b) 参照)
・ 直線のパラメータの算出
・ 交点座標の計算(図15 参照)
・ 寸法の自動算出(図16参照)
等が行なわれた。
【図面の簡単な説明】
【0057】
【図1】図1は、本発明に係る画像処理方法により処理される画像の一例を示す模式図である。
【図2】図2は、本発明に係る画像処理方法の全体の流れを示すフローチャート図である。
【図3】図3は、射影変換工程の詳細の一例を示すフローチャート図である。
【図4】図4は、第1マークが画像処理に伴って変形して行く様子の一例を示す模式図である。
【図5】図5は、拡大縮小工程の詳細の一例を示すフローチャート図である。
【図6】図6は、基準対象物を撮影するときの様子を説明するための斜視図である。
【図7】図7は、第1マークの目標サイズを設定する工程の一例を示すフローチャート図である。
【図8】図8は、第1マークの目標サイズを設定する工程の他の例を示すフローチャート図である。
【図9】図9は、本発明に係る画像処理装置の構成の一例を示すブロック図である。
【図10】図10は、レンズの歪補正を説明するための模式図である。
【図11】図11は、1つ目のPCセグメント(基準対象物)の画像の一例を示す模式図である。
【図12】図12は、1つ目のPCセグメントについてのオルソ画像の一例を示す模式図である。
【図13】図13は、1つ目のPCセグメント画像について二値化処理のための領域を指定する様子を示す模式図である。
【図14】図14(a) は、PCセグメントのエッジを点群で抽出する様子の一例を示す模式図であり、図14(b)は、その点群を直線近似する様子の一例を示す模式図である。
【図15】図15は、上述の処理により検出したPCセグメントのエッジの交点を算出する様子の一例を示す模式図である。
【図16】図16は、寸法計測を行なう領域を指定した様子の一例を示す模式図である。
【図17】図17は、射影変換の様子を説明するための模式図である。
【符号の説明】
【0058】
1 デジタルカメラ
2A,2B,2C,2D 第2マーク
3 第1マーク
4 画像処理装置
13 基準マーク
41 変換係数算出手段
42 射影変換手段
43 目標サイズ設定手段
44 マークサイズ算出手段
45 拡大縮小処理手段
431 マーク認識部
432 マークサイズ算出部
433 マークサイズ記憶部
434 射影変換部
A1 基準対象物
A2 計測対象物
B1 正面部分
B2 正面部分
L 撮影距離
【特許請求の範囲】
【請求項1】
画像に写っている計測対象物が正面を向いて見えるようにする射影変換工程、及び該画像の拡大縮小工程を実施する画像処理装置において、
前記計測対象物の正面部分に掲示された状態で写っている第1マークの画像中の形状から射影変換処理に必要な変換係数を算出する変換係数算出手段と、
前記変換係数算出手段が算出した変換係数に基づき射影変換処理を行なう射影変換手段と、
前記第1マークの画像上での目標サイズを設定する目標サイズ設定手段と、
前記第1マークの画像上での実際のサイズを算出するマークサイズ算出手段と、
前記目標サイズ設定手段及び前記マークサイズ算出手段からのデータに基づき、前記第1マークの画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう拡大縮小処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記第1マークは、前記計測対象物の表面にて二次元方向に拡がる形状である、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記目標サイズ設定手段は、
前記第1マークと略同一形状の基準マークが、前記計測対象物と略同一形状の基準対象物の正面部分に掲示された状態で写っている画像について、該基準マークの位置を自動認識するマーク認識部と、
該認識した基準マークの大きさを算出するマークサイズ算出部と、
該算出した基準マークの大きさを記憶するマークサイズ記憶部と、
を有することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記目標サイズ設定手段は、
前記第1マークと略同一形状の基準マーク、及び位置を特定するための少なくとも4個の第2マークが、前記計測対象物と略同一形状の基準対象物の正面部分に掲示された状態で写っている画像について、前記第2マークの位置及びデジタルカメラから前記基準対象物までの撮影距離の測定結果に基づき、前記基準対象物が正面を向いて見えるように画像の射影変換処理を行なう射影変換部と、
該射影変換処理をした画像について、前記基準マークの位置を自動認識するマーク認識部と、
該認識した基準マークの大きさを算出するマークサイズ算出部と、
該算出した基準マークの大きさを記憶するマークサイズ記憶部と、
を有することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
画像に写っている計測対象物が正面を向いて見えるようにする射影変換工程、及び該画像の拡大縮小工程を実施する画像処理方法において、
前記計測対象物の正面部分に掲示された状態で写っている第1マークの画像中の形状から射影変換処理に必要な変換係数を算出する工程と、
該算出した変換係数に基づき射影変換処理を行なう工程と、
前記第1マークの画像上での目標サイズを設定する工程と、
前記第1マークの画像上での実際のサイズを算出する工程と、
前記第1マークの画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう工程と、
を備えたことを特徴とする画像処理方法。
【請求項6】
前記第1マークは、前記計測対象物の表面にて二次元方向に拡がる形状である、
ことを特徴とする請求項5に記載の画像処理方法。
【請求項7】
前記第1マークの画像上での目標サイズを設定する工程は、
前記第1マークと略同一形状の基準マークを、前記計測対象物と略同一形状の基準対象物の正面部分に掲示する工程と、
該基準対象物を前記基準マークと共にデジタルカメラにて撮影する工程と、
該撮影して得た画像に写っている基準マークのサイズを算出すると共に、該算出して得たサイズを前記目標値として記憶させる工程と、
からなることを特徴とする請求項5又は6に記載の画像処理方法。
【請求項8】
前記第1マークの画像上での目標サイズを設定する工程は、
前記第1マークと略同一形状の基準マークを、前記計測対象物と略同一形状の基準対象物の正面部分に掲示する工程と、
該正面部分における位置を特定するための第2マークを該正面部分に少なくとも4個掲示する工程と、
該掲示した第2マークの位置を測定する工程と、
前記基準対象物を前記基準マーク及び前記第2マークと共にデジタルカメラにて撮影する工程と、
該デジタルカメラから前記基準対象物までの撮影距離を測定する工程と、
前記第2マークの位置及び前記撮影距離の測定結果に基づき、前記基準対象物が正面を向いて見えるように前記撮影して得た画像の射影変換処理を行なう工程と、
該射影変換処理した後の画像に写っている基準マークのサイズを算出すると共に、該算出して得たサイズを前記目標値として記憶させる工程と、
からなることを特徴とする請求項5又は6に記載の画像処理方法。
【請求項1】
画像に写っている計測対象物が正面を向いて見えるようにする射影変換工程、及び該画像の拡大縮小工程を実施する画像処理装置において、
前記計測対象物の正面部分に掲示された状態で写っている第1マークの画像中の形状から射影変換処理に必要な変換係数を算出する変換係数算出手段と、
前記変換係数算出手段が算出した変換係数に基づき射影変換処理を行なう射影変換手段と、
前記第1マークの画像上での目標サイズを設定する目標サイズ設定手段と、
前記第1マークの画像上での実際のサイズを算出するマークサイズ算出手段と、
前記目標サイズ設定手段及び前記マークサイズ算出手段からのデータに基づき、前記第1マークの画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう拡大縮小処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記第1マークは、前記計測対象物の表面にて二次元方向に拡がる形状である、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記目標サイズ設定手段は、
前記第1マークと略同一形状の基準マークが、前記計測対象物と略同一形状の基準対象物の正面部分に掲示された状態で写っている画像について、該基準マークの位置を自動認識するマーク認識部と、
該認識した基準マークの大きさを算出するマークサイズ算出部と、
該算出した基準マークの大きさを記憶するマークサイズ記憶部と、
を有することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記目標サイズ設定手段は、
前記第1マークと略同一形状の基準マーク、及び位置を特定するための少なくとも4個の第2マークが、前記計測対象物と略同一形状の基準対象物の正面部分に掲示された状態で写っている画像について、前記第2マークの位置及びデジタルカメラから前記基準対象物までの撮影距離の測定結果に基づき、前記基準対象物が正面を向いて見えるように画像の射影変換処理を行なう射影変換部と、
該射影変換処理をした画像について、前記基準マークの位置を自動認識するマーク認識部と、
該認識した基準マークの大きさを算出するマークサイズ算出部と、
該算出した基準マークの大きさを記憶するマークサイズ記憶部と、
を有することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
画像に写っている計測対象物が正面を向いて見えるようにする射影変換工程、及び該画像の拡大縮小工程を実施する画像処理方法において、
前記計測対象物の正面部分に掲示された状態で写っている第1マークの画像中の形状から射影変換処理に必要な変換係数を算出する工程と、
該算出した変換係数に基づき射影変換処理を行なう工程と、
前記第1マークの画像上での目標サイズを設定する工程と、
前記第1マークの画像上での実際のサイズを算出する工程と、
前記第1マークの画像上でのサイズが前記目標サイズに略一致するように画像の拡大又は縮小を行なう工程と、
を備えたことを特徴とする画像処理方法。
【請求項6】
前記第1マークは、前記計測対象物の表面にて二次元方向に拡がる形状である、
ことを特徴とする請求項5に記載の画像処理方法。
【請求項7】
前記第1マークの画像上での目標サイズを設定する工程は、
前記第1マークと略同一形状の基準マークを、前記計測対象物と略同一形状の基準対象物の正面部分に掲示する工程と、
該基準対象物を前記基準マークと共にデジタルカメラにて撮影する工程と、
該撮影して得た画像に写っている基準マークのサイズを算出すると共に、該算出して得たサイズを前記目標値として記憶させる工程と、
からなることを特徴とする請求項5又は6に記載の画像処理方法。
【請求項8】
前記第1マークの画像上での目標サイズを設定する工程は、
前記第1マークと略同一形状の基準マークを、前記計測対象物と略同一形状の基準対象物の正面部分に掲示する工程と、
該正面部分における位置を特定するための第2マークを該正面部分に少なくとも4個掲示する工程と、
該掲示した第2マークの位置を測定する工程と、
前記基準対象物を前記基準マーク及び前記第2マークと共にデジタルカメラにて撮影する工程と、
該デジタルカメラから前記基準対象物までの撮影距離を測定する工程と、
前記第2マークの位置及び前記撮影距離の測定結果に基づき、前記基準対象物が正面を向いて見えるように前記撮影して得た画像の射影変換処理を行なう工程と、
該射影変換処理した後の画像に写っている基準マークのサイズを算出すると共に、該算出して得たサイズを前記目標値として記憶させる工程と、
からなることを特徴とする請求項5又は6に記載の画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2008−151740(P2008−151740A)
【公開日】平成20年7月3日(2008.7.3)
【国際特許分類】
【出願番号】特願2006−342483(P2006−342483)
【出願日】平成18年12月20日(2006.12.20)
【出願人】(000174943)三井住友建設株式会社 (346)
【Fターム(参考)】
【公開日】平成20年7月3日(2008.7.3)
【国際特許分類】
【出願日】平成18年12月20日(2006.12.20)
【出願人】(000174943)三井住友建設株式会社 (346)
【Fターム(参考)】
[ Back to top ]