画像データ作成方法
【課題】投影変換に伴う問題点を解決して、パターンマッチングに使用する人工画像モデルを作成すること、特に、３次元測定をするためのステレオ光学系を用いた画像処理システムにおいて問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる画像データ作成方法を提供する。
【解決手段】パターンマッチングのための対象図形の画像データを得る画像データ作成方法である。対象図形及びその周縁の画像を所定位置に設けられた撮像カメラで撮像した際に撮像カメラの結像面に投影される投影画像の画像データを得るために、撮像カメラの撮像位置パラメータを用いて対象図形及びその周縁の画像を結像面上に投影変換し投影変換された画像データを得る。
【解決手段】パターンマッチングのための対象図形の画像データを得る画像データ作成方法である。対象図形及びその周縁の画像を所定位置に設けられた撮像カメラで撮像した際に撮像カメラの結像面に投影される投影画像の画像データを得るために、撮像カメラの撮像位置パラメータを用いて対象図形及びその周縁の画像を結像面上に投影変換し投影変換された画像データを得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ作成方法に係り、特に、パターンマッチングに際し、対象物の設計情報（ＣＡＤデータ等）等からパターンマッチングに使用する画像データ（画像モデル）を作成するのに好適な画像データ作成方法に関する。
【背景技術】
【０００２】
近年、コンピュータの高速化、高性能化、及び画像認識技術の進展とが相俟って、パターンマッチング技術の応用範囲が広がりつつある（たとえば、特許文献１参照）。このようなパターンマッチング技術において、特許文献１のように、２台のカメラからなるステレオ撮影で対象物体の左右画像の相関を求め、三角測量の原理により、画像処理を行うことが多い。
【０００３】
このようなパターンマッチングに用いられる画像データ（画像モデル）は、取得された画像データを使用して作成する場合と、人工的に画像を作成してそれを使用する場合とがある。人工的に画像を作成する場合には、対象物が四角形や円のような単純な図形であることが多い。また構造物のパターンマッチングの場合には、設計図としてのＣＡＤデータを使用して画像データを作成し、これを画像モデルとすることもある。
【０００４】
これらの場合であって、対象物上の２次元図形を対象としたとき、撮像カメラが対象物に対して正対している場合、すなわち、対象物に対して垂直な線上にカメラの光軸がある場合には、カメラで撮像される図形と対象物とは相似の関係になるので、このように作成された画像モデルは、パターンマッチング用の画像モデルとして充分に機能する。
【０００５】
ところが、既述したように、３次元座標データを得るためにステレオ光学系を用いることがある。このような画像処理にステレオ光学系を用いる場合には、左カメラの光軸と右カメラの光軸とを平行に配置することはほとんどなく、多くの場合、左カメラの光軸と右カメラの光軸とを交差させる配置となる。なぜなら、撮像に使用するＣＣＤ（固体撮像素子）のサイズが、写真乾板（銀塩フィルム）に比べるとかなり小さいためである。
【０００６】
この場合、左カメラの光軸と右カメラの光軸とを交差させると、平面図形を測定する場合でも、左カメラにより撮像した図形と右カメラにより撮像した図形とでは形状が異なることとなる。この例として、ステレオ光学系で、長方形を撮像した場合を図１に示す。
【０００７】
図１において、比較し易くするため、左カメラを対象図形の真上に設置し、右カメラの光軸のみを傾けた配置とする。右カメラではカメラに近い部分の図形部分が、カメラに遠い図形部分より拡大されて撮像される。このように、画像処理にステレオ光学系を応用した例では、左カメラに撮像される図形と右カメラに撮像される図形は、同一（相似形）にはならない。
【０００８】
このように、ステレオ光学系を使用して３次元座標を測定する場合には、対象物上の１点を、左カメラの画像データと右カメラの画像データとで同一点として対応をとらなければならない。既述の図１において示されるように、長方形の１つのコーナーでも、斜め方向から（右カメラで）撮像された画像データでは直角とはならない。このようなコーナーを画像モデルとして使用すると、右カメラの画像データからは近似的位置しか得られない。
【０００９】
このため、図１の右カメラの画像データから、長方形の中心位置を求めるには、
１）四隅コーナーを（コーナー画像モデルを使用して）近似的に求める、
２）四辺の直線を求める、
３）四隅コーナーの座標を精度よく求め直す、
４）四隅コーナーの座標から長方形の中央座標を求める、
の手順を踏まなければならない。
【００１０】
一方、対象物の真上から撮像した画像については、長方形の中央座標を原点として長方形画像モデルを作成すれば、一回のサーチで中央座標を求めることができる。
【特許文献１】特開２００４−０６１４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、左カメラも傾いて配置した場合には、右カメラと同様の手順で求めなければならない。このように対象物に対して、カメラが正対方向に配置されていない場合には、人工画像モデルを使用しても、対象物の特徴的位置を直接測定できないという問題がある。
【００１２】
この状況を図２により更に解り易く示す。図２に示されるように、左右のカメラが鉛直軸に対して傾いていると、同図に示されるように、長方形は四辺形（台形）となってしまう。既に図１に示したが、図２にも示されるように、四辺形の角（コーナー）も直角ではない。
【００１３】
そのため、パターンマッチングでは、コーナーの頂点位置を正確に求められないという問題がある。また、長方形の中心を求めるには、左画像及び右画像のそれぞれに対し、何回かの処理を行わなければならない。なお、図１の説明では、４回処理することを述べたが、四辺を簡単に求められれば処理回数を減らせる。
【００１４】
単純な図形の場合には、図形の特徴を生かして、測定しようとする点の座標を求めることもできるが（たとえば中央位置）、大変難しい場合もある。更に、複雑な図形の場合には、簡単に求められないことが多くなる。また、基本的に正確に求められない場合もある。この例としては、円の中心点がある。これについては後述する。
【００１５】
このように、複数のカメラで撮像することは、投影変換していることと同等であり、必ず投影歪みが含まれることとなる。ステレオ光学系を用いて３次元測定する場合には、このような点がネックとなっている。
【００１６】
次に、本発明が解決しようとする他の課題について説明する。ここでは、測定対象物として平面図形を取り上げる。以降、対象物と記述した場合には、平面図形を意味するものとする。
【００１７】
既述したように、対象物に対して正対の位置から撮像（対象物に垂直となる線上から撮像）された画像データは、対象物と相似形となるが、対象物を斜め方向から撮像した画像データでは、一般的に対象物と相似形にはならない。すなわち対象物の直角の部分は、斜め方向から撮像した場合には画像データ上では直角とはならない。これについては、図１に右カメラを例として示した。
【００１８】
人工画像モデルとしてパターンマッチングに使用する画像モデルを作成するとき、このことは大きな問題となる。図１では長方形を例としたが、斜め方向から円を撮像した場合、楕円とはならない。図３に示されるように、左側は楕円より矢印の向きに膨らみ、右側は楕円より矢印の向きに痩せるように変形する。また円の中心位置も少し右にずれる。
【００１９】
人工画像モデルには、このような投影変換に伴う問題点が反映されていない（投影による歪みがある）。人工画像モデルとして図形を設計データ等から２次元的に変換した場合には、投影歪みは修正されない。円の中心点のように直線の関係から決められない点（位置）は、正確に画像モデルに反映できないし、画像データから正確に測定できないという問題がある。なお、長方形の中心のような単純な点以外の図形の特徴点についても同様の状況である。
【００２０】
本発明はこのような状況を考慮してなされたもので、上記投影変換に伴う問題点を解決して、パターンマッチングに使用する人工画像モデルを作成すること、特に、３次元測定をするためのステレオ光学系を用いた画像処理システムにおいて上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる画像データ作成方法を提供することを目的とする。
【課題を解決するための手段】
【００２１】
前記目的を達成するために、本発明は、パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得ることを特徴とする画像データ作成方法を提供する。
【００２２】
本発明によれば、対象図形及びその周縁を撮像した際に撮像カメラの結像面に投影される投影画像の画像データを得るために、撮像カメラの撮像位置パラメータを用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。
【００２３】
投影変換とは、図２０に示されるように、対象図形が位置する地上座標系（Ｘ、Ｙ、及びＺ座標）の対象点Ｐをカメラ座標系（ｘ、ｙ、及びｚ座標）のカメラにより写真座標系（ｘ及びｙ座標）に投影することを意味する。これらの各座標系間の共線条件式は公知である（たとえば、「写真による三次元測定（1983年共立出版）」に詳しい。）。
【００２４】
図２０において、投影中心の地上座標は（Ｘ０、Ｙ０、Ｚ０）であり、画面距離はｃであり、ｐ（ｘ、ｙ）は対応する写真の写真座標である。
【００２５】
ここで、撮像カメラの撮像位置パラメータとしては、撮像レンズに理想的なレンズを使用する場合には、カメラ撮像位置の３次元座標（図２０のｘｐ、ｙｐ、及びｚｐ）、各座標軸回りの回転角度（ω、φ及びκ）の６パラメータであり、通常の撮像レンズを使用する場合には、この６パラメータの他に、レンズ焦点距離とカメラの主点（Ｘ及びＹ）を加えた９パラメータである。
【００２６】
なお、投影変換自体は、上記のように公知の技術である。しかし、パターンマッチングのモデルとしては、一般的に２次元データをそのまま使用するものしかない。本発明は、パターンマッチングのモデルとして、投影変換して作成した画像データをモデルとするものである。これにより、斜め方向から撮像した画像データに対しても、精度のよいパターンマッチングが行える。
【００２７】
また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得ることを特徴とする画像データ作成方法を提供する。
【００２８】
本発明によれば、対象図形及びその周縁を撮像した際に撮像カメラの結像面に投影される投影画像の画像データを得るために、ＣＡＤデータと撮像カメラの撮像位置パラメータを用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。
【００２９】
特に、対象図形が円や矩形のような比較的単純な図形でない場合に、ＣＡＤデータを使用できるので、画像データの作成が容易となる。なお、ＣＡＤデータを投影変換して画像モデルとしているものは、従来見られず、本発明が初めて取り入れるものである。
【００３０】
本発明において、前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことが好ましい。このように、対象図形の特定位置、たとえば、対象図形が円である場合に円の中心、対象図形が矩形である場合に矩形のコーナーを基準位置として、関係付けておけば、対象図形の特定位置を容易に求めることができる。
【００３１】
また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形の３次元画像データを得る画像データ作成方法であって、前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記それぞれの結像面上に投影変換し投影変換された画像データにより前記対象図形の３次元画像データを得ることを特徴とする画像データ作成方法を提供する。
【００３２】
本発明によれば、複数台の撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、それぞれの撮像位置パラメータを用いて対象図形及びその周縁をそれぞれ投影変換し、対象図形の３次元画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。
【００３３】
すなわち、３次元測定を目的としたステレオ光学系では、投影変換した画像データから画像モデルを作成しないと、精度よく画像計測できない。これに対し、本発明は、この課題を解決するものである。
【００３４】
なお、「３次元画像データ」とは、ステレオ光学系を使用して３次元測定を目的とした画像データのことを指す。
【００３５】
また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形の３次元画像データを得る画像データ作成方法であって、ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データにより前記対象図形の３次元画像データを得ることを特徴とする画像データ作成方法を提供する。
【００３６】
本発明によれば、複数台の撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、ＣＡＤデータとそれぞれの撮像位置パラメータを用いて対象図形及びその周縁をそれぞれ投影変換し、対象図形の３次元画像データを得る。
【００３７】
したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。
【００３８】
特に、対象図形が球や直方体のような比較的単純な図形でない場合に、ＣＡＤデータを使用できるので、画像データの作成が容易となる。
【００３９】
本発明において、前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことが好ましい。このように、対象図形の特定位置、たとえば、対象図形が三角錐である場合に頂点、対象図形が直方体である場合にコーナーを基準位置として、関係付けておけば、対象図形の特定位置を容易に求めることができる。
【発明の効果】
【００４０】
本発明によれば、投影歪みの影響を取り入れた画像モデルを作成できる。
【発明を実施するための最良の形態】
【００４１】
以下、添付図面に従って本発明に係る画像データ作成方法の好ましい実施の形態（第１の実施形態）について詳説する。
【００４２】
本発明の第１の実施形態は、パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に、この撮像カメラの結像面に投影される投影画像の画像データを得るために、この撮像カメラの撮像位置パラメータを（場合によっては、対象図形のＣＡＤデータも）用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る画像データ作成方法である。
【００４３】
すなわち、測定対象空間（３次元座標系）に測定しようとする特定図形（２次元平面図形）を配置して（３次元座標を与えて）、撮像カメラの撮像位置パラメータを用いて、撮像カメラの画像データ上に特定図形を投影変換する。画像データ上で、この特定図形を含む少し広い範囲を切り出し、パターンマッチングのための画像モデルとする。
【００４４】
撮像カメラの撮像位置パラメータとしては、既述の図２０により説明したように、撮像レンズに理想的なレンズを使用する場合には、カメラ撮像位置の３次元座標（図２０のｘｐ、ｙｐ、及びｚｐ）、各座標軸回りの回転角度（ω、φ及びκ）の６パラメータであり、通常の撮像レンズを使用する場合には、この６パラメータの他に、レンズ焦点距離とカメラの主点（Ｘ及びＹ）を加えた９パラメータである。
【００４５】
以下、図を用いて説明する。既述の図２に示されるように、撮像カメラに対して測定対象とする構造物を配置する。撮像カメラは、測定空間に対して前もってキャリブレーションして、撮像位置パラメータを求めておく。撮像位置パラメータは、既述の９個のパラメータであるが、レンズ焦点距離が短い場合には、光学系の歪を補正するパラメータも用いる。
【００４６】
測定対象とする構造物を配置することは、測定対象図形（２次元平面図形）の３次元座標を与えることと同等となる。測定する図形の３次元座標が与えられると、その図形を投影変換して撮像カメラの画像データとして計算により求めることができる。すなわち図２で、左カメラの画像、右カメラの画像を示した画像データを作成することができる。
【００４７】
この場合、測定対象図形を含む少し広い範囲を、パターンマッチングに使用する画像モデルとする。画像モデルとするときに、長方形の中心点を画像モデルの原点としておけば、図２の例では一回サーチするだけで、長方形の中心点を画像データから測定できる。
【００４８】
この方法で問題となる点は、初めに測定対象図形（２次元平面図形）の３次元座標を与えたことである。この影響を調べるために、図４に示されるように、カメラの位置を少し移動させてみる。カメラの位置を少し移動させると、投影変換された画像データ上の図形は変形するが、大きな変形ではない。
【００４９】
カメラが対象物の方向へ移動すると、図４に示されるように、台形の長い辺の長さと短い辺の長さとの比が少し１に近くなる。しかし、図形としての変形は小さいので、パターンマッチングの画像モデルとして使える。すなわち、充分によい結果が得られる。
【００５０】
このことは、測定対象図形とカメラの３次元位置について、相対的に小さい差異があっても、パターンマッチングのモデル画像とできるということを意味する。そしてこのような画像モデルを用いると、直方体の上面の長方形をパターンマッチングでサーチする場合に、図２で示したような左右のカメラの画像データに対して、直接サーチできる画像モデルとなる。すなわち、理論的には多少の誤差を生じているが、実用的な意味においては充分にパターンマッチングのモデル画像として使用できる。
【００５１】
しかし、画像モデルが初めに仮定した位置と大きくズレる場合には、正しい結果が得られる訳ではない。すなわち、測定位置をチェックする必要がある。
【００５２】
構造物の設計図はＣＡＤにより作成されるのが一般的であり、測定対象図形の近似的位置を与えることができるということは多くの場合可能である。
【００５３】
本実施形態においては、測定対象物と撮像カメラとの３次元的位置関係をシミュレーションして、測定しようとする図形（２次元平面図形）を画像モデルとして作成する。構造物は部品から構成されているが、ＣＡＤシステムでは部品の設計図や構造物全体の組立図も作成されている。したがって、構造物の位置を与えれば、測定しようとする部品の特定図形（平面図形）の３次元的位置は、ＣＡＤシステムから容易に得られる。
【００５４】
本実施形態によれば、このようにＣＡＤシステムを利用して、測定しようとする図形（２次元平面図形）の充分に良好な近似位置から、投影変換により画像モデルを作成する。その結果、対象物の位置を正確に測定できる。
【００５５】
次に、具体的な画像データ作成方法について説明する。
【００５６】
直方体を真上からカメラで撮像すると、直方体上面の長方形は画像データ上で相似形の長方形となる。すなわち、測定しようとする図形が撮像カメラの光軸に対し垂直であると、撮像された図形はもとの図形と相似形となる。このような場合には、ＣＡＤデータのような設計データから、２次元的に変換することにより、パターンマッチングに用いる画像モデルを作成できる。
【００５７】
しかし、測定しようとする図形が撮像カメラの光軸に対し垂直でないと、撮像された図形は投影歪をもつこととなる。本実施形態によれば、このような状態であっても、パターンマッチングに用いる画像モデルを作成できる。
【００５８】
図５に、斜め方向から直方体を撮像する状態の断面図を模式的に示す。直方体の上面の点（図５に＋で示す）は、カメラ撮像位置（１点である）を通って、光軸に垂直な撮像面（ＣＣＤ面）との交点に撮像される。図５においては、この対応関係をＡ→Ａ’、Ｂ→Ｂ’…のように示してある。なお、図５は断面図なので、Ａは点ではなく、実際はむしろ断面に垂直な線を示していることとなる。
【００５９】
図５において撮像される画像は、既述の図４に示されるように、台形となる。台形では、図５から解るようにＥに対応する線分の方が、Ａに対応する線分よりも長くなる。次に、図６に、撮像される直方体の上面の長方形（撮像されて台形となる）を模式的に示す。図６において、１つの桝目は１画素を示す。通常の画像データでは、１画素は同じ明るさ（数値）で０〜２５５までの２５６階調となる。
【００６０】
投影変換を用いた画像作成方法を説明するため、図６においては、１画素より細かい図形を描いてある（これは実際にはありえない）。図６においては、長方形の四隅が判るように描いてある。
【００６１】
画像データの明るさとしては、１画素に含まれる台形の面積×２５５を明るさとする。すなわち、図６の１画素にどれだけの台形の面積が含まれるかを算出すれば、図６の画像データの各画素の明るさが得られる（図６では、見やすくするため、背景を白、台形部分を黒としているので、説明文とは明るさが反転している）。
【００６２】
このとき、直方体の上面の長方形の中心点を、同様に画像データ上に投影して、画像データ上での座標値を求め、画像モデルの原点として登録すると、この画像モデルを用いてサーチすれば、長方形の中心点を直接求めることができる。
【００６３】
次に、実際の処理フローを図７に示す。先ず、ＣＡＤデータ等から、測定する図形データを点列の形にする（ステップＳ−１０）。測定する図形が長方形であれば４点の点列とする。測定する図形が曲線の場合には、曲線の特徴を表す点数の点列とする。たとえば円の場合には、１００〜１０００点程度で表す。
【００６４】
これまで、図形として平面位置だけの２次元データとしていたが、測定対象の構造物上では、図形は基本的に３次元位置を持つ。このように、設計図としてのＣＡＤデータから図形として３次元位置データを取り出すことは容易に行える。
【００６５】
上記の点列データとしては（Ｘ、Ｙ、Ｚ）の形式とする。既述の図５に示されるように、投影変換される図形はＡ〜Ｅの範囲にあり、画像データ上ではＡ’〜Ｅ’の範囲となる。
【００６６】
次いで、対象とする図形の画像データの範囲を決める（ステップＳ−１２）。具体的には、図形の各点をテスト的に投影変換することにより求める。画像データの範囲が決められると、図６に示されるように、モデル画像を作成する画像データの大きさが決められる。画像データの大きさが決められたら、画像データの各画素についての明るさを求めるため（画像データを作成するには各画素の明るさが必要）、各画素における図形の面積が求められる。
【００６７】
各画素における図形の面積を求める方法について図８を用いて説明する。図８の枡は、図６における１画素（図６において、「図８で説明に使う画素の例」として示した）に対応する。図８でピックアップする点の条件は、図７のフローのステップＳ−１４に示した１）〜３）までの条件である。
【００６８】
図８では、図形を４点Ａ、Ｂ、Ｃ、Ｄで示し、当該画素は４点１、２、３、４で形成されるとする。
【００６９】
図７のフローのステップＳ−１４において、先ず、
１）図形の点列データが当該画素に含まれるか、という条件では、図形の点Ｃがこれに該当し、ピックアップ（抽出）される。次いで、
２）点列と点列を繋ぐ線分が当該画素四辺と交点があるか、という条件では、直線１−２と直線Ａ−Ｃの交点としてのａ、及び、直線２−４と直線Ｃ−Ｄの交点としてのｂがピックアップ（抽出）される。そして、
３）当該画素の四隅点が図形の内部となるか、という条件では、画素を構成する点２がピックアップ（抽出）される。
【００７０】
このようにピックアップ（抽出）された点を、次のステップ（ステップＳ−１６）で時計周りにａ→Ｃ→ｂ→２と並べ替える。並べ替えられた点を一周すると、当該部分の面積が得られる（ステップＳ−１８）。
【００７１】
当該画素が図形に含まれる場合は明るさ（数値）を２５５（面積を１．０：画素間隔を１．０として）とし、当該画素に図形を全く含まない場合には明るさ（数値）を０とする。このように図７のフローに従って、図６の画像データの各画素の明るさを求めると、図６に模式的に示した画素データを作成することができる（図６では、見やすくするため、明るさを反転している）。
【００７２】
また図形の中心点等の特徴点（図形のコーナーの点でもよい）を投影変換して画像モデルの原点とすれば、パターンマッチングの結果から直接的にその測定点の位置を求めることができる。
【００７３】
ステップＳ−１４において行われる、着目する点Ｏが四辺形の内部に含まれるか否かを調べる方法を、図９を参照して説明する。図９（Ａ）は、Ｏ点が四辺形ＥＦＧＨの内部にある場合を示す図であり、図９（Ｂ）は、Ｏ点が四辺形ＥＦＧＨの外部にある場合を示す図である。四辺形ＥＦＧＨのＥ点を出発して辺上をＥ点、Ｆ点、Ｇ点、Ｈ点の順に通るように動く点があるものとする。このときＥ点からＦ点に進む間に張る角度θ１をＥ点からＦ点へ向かう方向を正の方向にとって計る。
【００７４】
同様に、Ｆ点からＧ点に進む間に張る角度をθ２、Ｇ点からＨ点に進む間に張る角度をθ３、Ｈ点からＥ点に進む間に張る角度をθ４として、それぞれ起点から到着点に向かう方向を正の方向にとって計るものとする。
【００７５】
図９（Ａ）に示すＯ点が四辺形ＥＦＧＨの内部にある場合は、θ１＋θ２＋θ３＋θ４は２πとなる。一方、図９（Ｂ）に示すＯ点が四辺形ＥＦＧＨの外部にある場合は、θ１＋θ２＋θ３＋θ４は０となる。また、図示していないが、Ｏ点が四辺形ＥＦＧＨの辺上にある場合は、θ１＋θ２＋θ３＋θ４はπとなる。
【００７６】
以上説明したように、θ１＋θ２＋θ３＋θ４を求めて、その値が、２πか、０か、あるいはπのいずれかであるかを知れば、着目するＯ点が四辺形ＥＦＧＨの内部に含まれるか否かを調べることができる。
【００７７】
次に、図１０及び図１１を参照して、線分と線分の交点を求める場合の規約を説明する。図１０には、線分同士が重ならない場合を図示してあり、図１１には線分同士が重なる場合を図示してある。
【００７８】
図１０（Ａ）に示されるように線分の延長線上において交点が存在する場合は、交点が存在しないものとして扱う。交点が存在すると判断するのは、図１０（Ｂ）に示されるように、線分の存在する範囲内で交点が存在する場合である。図１０（Ｃ）で示されるように、線分の端点が交点である場合も、交点が存在すると判定するものとする。図１１に示される場合のように、一の線分１と他の線分２とが重なる場合は、交点として２点をピックアップするものとする。
【００７９】
次に、本発明に係る画像データ作成方法の他の実施の形態（第２の実施形態）について説明する。既述の第１の実施形態においては、測定対象とする図形が長方形（直線で形成される図形）の場合を取り上げたが、本実施形態においては、測定対象とする図形が曲線の場合を取り上げる。
【００８０】
図１２に、対象図形が円の場合を模式的に示す。図１２では、円周上に何点か選び出し、それらの点に＋印をつけて表示した。表示された各点は、投影変換されて（図１２では、カメラ撮像位置を通る直線で示す）、カメラ（ＣＣＤ）撮像面上の１点となる。なお、撮像面は断面図として描いている。点列データは第１の実施形態でも記述したようにＸ、Ｙ、Ｚの３次元座標とする。
【００８１】
図１２から容易に想定されるように、図形を点列の形（＋位置の点列で図形とする）で表現できれば、円の場合も長方形の場合と全く同じように、図７のフローでモデル画像を作成できる。ＣＡＤデータでは、円は中心の座標と半径とで表される。そして、ＣＡＤデータから容易に３次元点列データに変換できる。この場合、円の中心座標、半径、及び円の向き（３次元の方向）から３次元座標の点列データを作成すればよい。
【００８２】
点列データとしては１００〜１０００点であれば、モデル画像を作成するために充分である。ＣＡＤデータで表現されるデータは、一般的に点列データに変換可能である。またもともと点列データで表現された図形に対しては、問題なく適用できる。
【００８３】
次に、本発明に係る画像データ作成方法の更に他の実施の形態（第３の実施形態）について説明する。既述の第１の実施形態においては、測定対象とする図形が長方形（直線で形成される図形）の場合を取り上げたが、本実施形態においては、測定対象とする図形が、２つの図形を組み合わせた場合を取り上げる。
【００８４】
図１３に、直方体の２つの上面を投影変換して画像データを作成する状態を模式的に示す。図１３において、直方体１の上面と直方体２の上面の長方形がカメラ（ＣＣＤ）撮像面に投影されている。すなわち、図１３では、２つの長方形上のそれぞれ５点が、カメラ撮像位置の１点を通る直線で、カメラ撮像面に投影されている。
【００８５】
撮像された図形（投影変換で作成された図形）を図１４に示す。初めに、下側の直方体２の上面について投影変換して画像が作成される。すなわち、図７のフローを実施する。この結果を灰色で表示する。
【００８６】
次に、上側の直方体１の上面について投影変換して画像が作成される。すなわち、図７のフローを再度実施する。この結果を黒色で表示する。
【００８７】
既述の第１の実施形態においては、１つの画素の明るさを、１画素に含まれる台形の面積×２５５としていた。これに対し、本実施形態のように、２つの図形を投影する場合には、画像データ上での明るさの違いにより、図形を区別する必要がある。図１４に示されるように、中間の諧調で１つの図形を表すため、下側の図形の１画素の明るさを、１画素に含まれる下側台形の面積×１２７とし、上側の図形の１画素の明るさを、１画素に含まれる上側台形の面積×１２７＋１２８となるように変換する（図６と同様に、見やすくするため、明るさを反転している）。
【００８８】
図１４では、中間の諧調（１２８段階の明るさ）を用いて２つの図形を組み合わせた画像を作成したが、実際の実行にあたっては、１２８段階の明るさの表示を変更することも必要となる場合がある。すなわち、上側の図形の明るさと下側の図形の明るさは、実施の条件にあわせて変更できるようにしておくことが好ましい。
【００８９】
また、照明光がある場合には、下となる部分には必ず影ができることとなる。この影の大きさは、照明の条件により変わる。したがって、想定されるより大きめに影の領域を設定して、Don’t Care 画素とすることが好ましい。市販されている画像処理ソフトウエアで、Don’t Care 画素をサポートするものも多い。そのようなソフトウエアを使用すると、パターンマッチングでは、Don’t Care 画素はマッチング度合いの評価に反映されない。
【００９０】
図１５に、斜めハッチングでDon’t Care 画素を領域として示した。市販されている画像処理ソフトウエアでは、画像モデル登録用の画像データとDon’t Care 画素登録用の画像データとを別々に指定する必要がある。そのようなソフトウエアでは、図１４と図１５において、Don’t Care 画素領域のみの画像を用いればよい。
【００９１】
本実施形態において、画像モデルの原点として、上側の直方体の上側長方形の中心点を用いるため、その点を投影変換し、図１４において白抜きの＋で示す。
【００９２】
本実施形態では、２つの図形が平行である（図１３に示されるように、２つの長方形が水平に位置している）が、２つの図形がそれぞれ勝手な方向を向いていても問題はない。すなわち、このような場合であっても、図７に示されるフローで画像データを作成できる。
【００９３】
なお、これまでの説明の際、図５、図１２、及び図１３において、撮像するカメラの光軸を描いたが、投影しようとする図形の法線方向とこの光軸との交差角度は３０度以内であることが望ましい。この交差角度は、２つの方向ベクトルから方向余弦を求めれば得られる。この方向ベクトルの向きを考慮すると、交差角度としては１５０〜１８０度の範囲が望ましい。これは、２行上で３０度以内の意味である。交差角度が９０度に近い角度となると、カメラの位置が少し変位しても、投影変換される図形の形が大きく変わるので、このような交差角度は好ましくない。
【００９４】
なお、本実施形態において、２つの図形のみならず、図形を３つ以上にすることも容易に行えるが、３つ以上の図形の場合には、以下に記述する第４の実施形態の方が簡単に対応できる。
【００９５】
次に、本発明に係る画像データ作成方法の更に他の実施の形態（第４の実施形態）について説明する。本実施形態は、画像モデルを線図形とする例である。既述の第１の実施形態から第３の実施形態までは、作成された画像データを直接画像モデルとして使用した。これに対し、本実施形態では、作成された画像データから、再度図形としての特徴を線として抽出し、線図形をパターンマッチングのモデルとして使用する。
【００９６】
先ず、既述の図１４の画像データを使用して、図１６（右側）に示されるように、図形の特徴を線として抽出する。そして、図１６（左側）に示す線図形をパターンマッチングのモデルとして用いる。図１６において左側の図と右側の図の差異は、図形の四隅位置における画素の取り扱い方によるものである。
【００９７】
既述の図１４の画像データでは、１画素が最小単位である。この１画素において、ある一定の方向と画素内での位置で特徴線の位置を記述すると、図１６の左側の図形となる。一方、図１４の画像データを微分して直接得られる形状は、図１６の右側の図形である。なお、四隅位置の画素では２方向となるが、このような画像処理は、複雑になるので好ましくない。そのため、図１６の両方の図形を示した。
【００９８】
本実施形態において、線図形をパターンマッチングのモデルに使用するには、たとえばＣＯＧＮＥＸ社から市販されているソフトウエア（商品名：ＰＡＴＭＡＸ）によるサポートで実施できる。この場合、図１４をモデル画像として設定すると、図１６（左側）で示される図形がモデルとして作成される。上記のソフトウエア（ＰＡＴＭＡＸ）では、モデル設定方法を変更（これには、プログラムを変更する必要がある）するだけで、図１４のような画像モデルと図１６（左側）のような線図形モデルとを使い分けることができる。
【００９９】
このように、画像モデルを線図形とした場合のメリットについては、ＣＯＧＮＥＸ社の資料に詳しいので、説明は省略する。
【０１００】
本実施形態において、画像モデルを線図形とした例を取り上げたのは、対象図形を３つ以上の図形とした場合にも容易に対応できるからである。既述の第３の実施形態で説明したように、３つ以上の図形を投影変換するには、それぞれの図形に対応した明るさを決めなければならない。対象物上で３つの図形それぞれの明るさが画像データとして充分に識別できるときには、第３の実施形態と同じやり方でよい結果が得られる。
【０１０１】
しかし、傾きや方向の異なる図形では、同一図形上でも明るさが少しづつ変化する場合がある。そのような場合には、形状がほぼ同じでも、明るさ分布が異なることとなる。そして、明るさ分布が異なると、パターンマッチングのスコアは低下することとなる（画像として合致しないこととなる）。
【０１０２】
３つ以上の図形を用いて投影変換により画像データを作成する場合、それぞれの図形に対する諧調の違いは小さくなる。図１６（左側）の線図形は、画像データにおいて大きな諧調差がなくても、フィルター等で強調すれば得られる。そして線図形の画像モデルを用いると、形がほぼ同じで、明るさ分布が違う場合でも、良好な結果が得られる。図１６左側に示されるような線図形だけで、パターンマッチングを実施できると、作成された画像データの生の明るさは反映しない。したがって、本実施形態は、このような場合に、メリットがある。
【０１０３】
次に、本発明に係る画像データ作成方法の更に他の実施の形態（第５の実施形態）について説明する。本実施形態は、構造物の外形を線図形画像モデルとする例である。既述の第４の実施形態では、線図形を画像モデルとする場合についての例を示したが、本実施形態では、構造物の外形を線図形画像モデルとする場合について説明する。
【０１０４】
構造物として図１７に、四面体を例として取り上げる。図１７に示されるように３次元ＣＡＤでは、四面体を構成する４つの平面の方向（各頂点の座標）は、設計データとして与えることができる。図１７において、四面体の頂点をＡ、Ｂ、Ｃ、及びＤとし、四面体の重心位置をＥとする。また四面体の４つの三角形の方向ベクトル（平面の法線ベクトル）が図１７に矢印で示されている。
【０１０５】
図１７において、撮像方向ベクトルと四面体の平面方向ベクトルとの交角が９０度より大きい平面のみが、四面体の外形データとしてモデル画像に寄与する。図１７の場合には、三角形ＡＢＤと三角形ＡＤＣの２つが寄与する。撮像方向ベクトルと平面方向ベクトルとの交角はベクトルの内積を用いて簡単に算出できる。
【０１０６】
先ず、構造物を形成する４つの図形を順番に呼び出し、図７で示された画像データ作成のフローを実施する。画像データ作成の前に、撮像方向ベクトルとこの図形の平面方向ベクトルとの角度を計算し、該当しない場合には、画像データ作成のプロセスをパスする。図１８にこのようにして作成される画像データを示す。
【０１０７】
平面図形の方向ベクトルを用いて、画像データ作成プロセスをパスするか否か既に決めてあるので、図７の画像データ作成フローの「画素の明るさの決定」（ステップＳ−１８）において当該画素に寄与するすべての図形からの面積を加え合わせれば、このフローを実行できる。
【０１０８】
図１８の画像データは、１画素より細かい図形データを示しているが、図６の説明で記述したように解釈する。すなわち、投影変換を用いた画像作成方法を説明するため、図１８においては、１画素より細かい図形を描いてある
既述の第２の実施形態では、２つの図形を明るさで識別したが、本実施形態においては、明るさで識別（区別）しない。図１８の画像データから線図形を抽出すると、図１６の説明で記述したように、四つの頂点については２方向になるので、特徴線分を使用しない。なおＣＯＧＮＥＸ社のソフトウエアでは、この点を特別に処理しなくてよい。また、本実施形態においては、四面体の重心位置を画像モデルの原点とする。この四面体の重心座標を投影変換して画像データ上に示す（図１８に白抜きの＋で示す）。
【０１０９】
図１８に示される画像モデルは、ステレオ光学系で対象物の３次元測定する場合に有効である。四面体の重心位置は、通常の画像処理では測定できないが、本発明の画像モデルを用いて、撮像点の異なる２つ以上の画像データをサーチして（それぞれの画像でモデル画像を別々に作成・登録して）、その結果から直接対象物の３次元座標を得ることができる。すなわち、３次元座標値をサーチ結果から直接算出できる。このような画像モデルを用いると、直接見えない点（位置）の測定も実施できる。
【０１１０】
次に、カメラの撮像位置パラメータについて図１９により説明する。この説明は、一部で既述の図２０の説明と重複する。カメラの撮像位置パラメータとしては、カメラ撮像位置（Ｘc、 Ｙc、 Ｚc）、カメラ撮像の方向（Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度：Ｒx、Ｒy、Ｒz）、主点位置（画像データの中心点とカメラ光軸との差異Ｘo、Ｙo）及びカメラ焦点距離（ｆ）の９つを用いる。
【０１１１】
これらの９つのパラメータは、基準とする座標系で３次元位置が既知である点を、撮像して得られた画像データ上で精密に測定すれば、公知の文献（たとえば、「写真による三次元測定（1983年共立出版）」）に基づいた式から算出できる。この場合、画像データ上の位置（画像データ上での座標）と３次元座標が既知である点を５点以上測定すればよい（３次元的に配置する必要あり）。
【０１１２】
図１９に、カメラ撮像位置パラメータのキャリブレーション方法を概念的に示す。図１９では、座標系を決める面を基準面とし、その面に平行に第二基準面、第三基準面を設け、これら３つの面上に座標が既知の点９点を配置した。これらの９点は、図１９において直線で示されるように、画像データ上に撮像される。これらの９点の画像座標を精密に測定すれば、カメラ撮像位置パラメータが得られる。
【０１１３】
この測定の精度を高めるためには、当然のことであるが、３次元座標が正確であること、すなわち、３次元座標を精密に測定すること、及び画像データ上で精密に測定すること（目安としては１／１０画素より高い測定を行うこと）が必要である。また、測定点数を増やすこと、及び３次元的に測定点を分布させることも必要である。
【０１１４】
また必要により光学系の歪みも補正することが好ましい。歪みを補正する方法、パラメータについても、１例が既述の公知文献に記述されている。そして、本発明の各実施形態を実施する前に、カメラの撮像位置パラメータをキャリブレーションしておくことが必要である。
【０１１５】
以上説明したように、本発明によれば、投影歪みの影響を取り入れた画像モデルを作成できる。斜め方向から撮像された画像データは必ず投影歪みがあるので、本発明は斜め方向から撮像された画像データをパターンマッチングするのに大変有効となる。ＣＡＤデータを読み取れるように画像処理システムを整えておけば、測定を実施しようとするときに、ＣＡＤデータから画像モデルを作成できる。
【０１１６】
また３次元測定を実施するためのステレオ画像処理システムでは、ステレオ光学系の一方または、両方とも斜め方向から撮像することとなるので、本発明は大変有効な手段となる。
【０１１７】
以上、本発明に係る画像データ作成方法の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各種の態様が採り得る。
【図面の簡単な説明】
【０１１８】
【図１】ステレオ光学系で長方形を撮像した状態を説明する概念図
【図２】ステレオ光学系で長方形を撮像した他の状態を説明する概念図
【図３】斜め方向から円を撮像した状態を説明する概念図
【図４】対象物を撮像しカメラの位置を少し移動させた状態を説明する概念図
【図５】斜め方向から直方体を撮像する状態を説明する断面図
【図６】撮像される直方体の上面の長方形を模式的に示す図
【図７】画像データ作成の処理フローを示す図
【図８】各画素における図形の面積を求める方法について説明する図
【図９】着目する点が四辺形の内部に含まれるか否かを調べる方法について説明する図
【図１０】線分と線分との交点の有り無しの判定について説明する図
【図１１】線分と線分とが重なる場合について説明する図
【図１２】斜め方向から曲線図形を撮像する状態を説明する図
【図１３】直方体の２つの上面を投影変換して画像データを作成する状態を模式的に示す図
【図１４】撮像される直方体の上面の複数の長方形を模式的に示す図
【図１５】撮像される直方体の上面の影となる部分を模式的に示す図
【図１６】線図形をパターンマッチングのモデルとして使用する状態を説明する図
【図１７】構造物の外形を線図形画像モデルとする場合について説明する図
【図１８】構造物の外形を線図形画像モデルとする場合について説明する図
【図１９】カメラの撮像位置パラメータについて説明する図
【図２０】投影変換の原理について説明する図
【技術分野】
【０００１】
本発明は、画像データ作成方法に係り、特に、パターンマッチングに際し、対象物の設計情報（ＣＡＤデータ等）等からパターンマッチングに使用する画像データ（画像モデル）を作成するのに好適な画像データ作成方法に関する。
【背景技術】
【０００２】
近年、コンピュータの高速化、高性能化、及び画像認識技術の進展とが相俟って、パターンマッチング技術の応用範囲が広がりつつある（たとえば、特許文献１参照）。このようなパターンマッチング技術において、特許文献１のように、２台のカメラからなるステレオ撮影で対象物体の左右画像の相関を求め、三角測量の原理により、画像処理を行うことが多い。
【０００３】
このようなパターンマッチングに用いられる画像データ（画像モデル）は、取得された画像データを使用して作成する場合と、人工的に画像を作成してそれを使用する場合とがある。人工的に画像を作成する場合には、対象物が四角形や円のような単純な図形であることが多い。また構造物のパターンマッチングの場合には、設計図としてのＣＡＤデータを使用して画像データを作成し、これを画像モデルとすることもある。
【０００４】
これらの場合であって、対象物上の２次元図形を対象としたとき、撮像カメラが対象物に対して正対している場合、すなわち、対象物に対して垂直な線上にカメラの光軸がある場合には、カメラで撮像される図形と対象物とは相似の関係になるので、このように作成された画像モデルは、パターンマッチング用の画像モデルとして充分に機能する。
【０００５】
ところが、既述したように、３次元座標データを得るためにステレオ光学系を用いることがある。このような画像処理にステレオ光学系を用いる場合には、左カメラの光軸と右カメラの光軸とを平行に配置することはほとんどなく、多くの場合、左カメラの光軸と右カメラの光軸とを交差させる配置となる。なぜなら、撮像に使用するＣＣＤ（固体撮像素子）のサイズが、写真乾板（銀塩フィルム）に比べるとかなり小さいためである。
【０００６】
この場合、左カメラの光軸と右カメラの光軸とを交差させると、平面図形を測定する場合でも、左カメラにより撮像した図形と右カメラにより撮像した図形とでは形状が異なることとなる。この例として、ステレオ光学系で、長方形を撮像した場合を図１に示す。
【０００７】
図１において、比較し易くするため、左カメラを対象図形の真上に設置し、右カメラの光軸のみを傾けた配置とする。右カメラではカメラに近い部分の図形部分が、カメラに遠い図形部分より拡大されて撮像される。このように、画像処理にステレオ光学系を応用した例では、左カメラに撮像される図形と右カメラに撮像される図形は、同一（相似形）にはならない。
【０００８】
このように、ステレオ光学系を使用して３次元座標を測定する場合には、対象物上の１点を、左カメラの画像データと右カメラの画像データとで同一点として対応をとらなければならない。既述の図１において示されるように、長方形の１つのコーナーでも、斜め方向から（右カメラで）撮像された画像データでは直角とはならない。このようなコーナーを画像モデルとして使用すると、右カメラの画像データからは近似的位置しか得られない。
【０００９】
このため、図１の右カメラの画像データから、長方形の中心位置を求めるには、
１）四隅コーナーを（コーナー画像モデルを使用して）近似的に求める、
２）四辺の直線を求める、
３）四隅コーナーの座標を精度よく求め直す、
４）四隅コーナーの座標から長方形の中央座標を求める、
の手順を踏まなければならない。
【００１０】
一方、対象物の真上から撮像した画像については、長方形の中央座標を原点として長方形画像モデルを作成すれば、一回のサーチで中央座標を求めることができる。
【特許文献１】特開２００４−０６１４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、左カメラも傾いて配置した場合には、右カメラと同様の手順で求めなければならない。このように対象物に対して、カメラが正対方向に配置されていない場合には、人工画像モデルを使用しても、対象物の特徴的位置を直接測定できないという問題がある。
【００１２】
この状況を図２により更に解り易く示す。図２に示されるように、左右のカメラが鉛直軸に対して傾いていると、同図に示されるように、長方形は四辺形（台形）となってしまう。既に図１に示したが、図２にも示されるように、四辺形の角（コーナー）も直角ではない。
【００１３】
そのため、パターンマッチングでは、コーナーの頂点位置を正確に求められないという問題がある。また、長方形の中心を求めるには、左画像及び右画像のそれぞれに対し、何回かの処理を行わなければならない。なお、図１の説明では、４回処理することを述べたが、四辺を簡単に求められれば処理回数を減らせる。
【００１４】
単純な図形の場合には、図形の特徴を生かして、測定しようとする点の座標を求めることもできるが（たとえば中央位置）、大変難しい場合もある。更に、複雑な図形の場合には、簡単に求められないことが多くなる。また、基本的に正確に求められない場合もある。この例としては、円の中心点がある。これについては後述する。
【００１５】
このように、複数のカメラで撮像することは、投影変換していることと同等であり、必ず投影歪みが含まれることとなる。ステレオ光学系を用いて３次元測定する場合には、このような点がネックとなっている。
【００１６】
次に、本発明が解決しようとする他の課題について説明する。ここでは、測定対象物として平面図形を取り上げる。以降、対象物と記述した場合には、平面図形を意味するものとする。
【００１７】
既述したように、対象物に対して正対の位置から撮像（対象物に垂直となる線上から撮像）された画像データは、対象物と相似形となるが、対象物を斜め方向から撮像した画像データでは、一般的に対象物と相似形にはならない。すなわち対象物の直角の部分は、斜め方向から撮像した場合には画像データ上では直角とはならない。これについては、図１に右カメラを例として示した。
【００１８】
人工画像モデルとしてパターンマッチングに使用する画像モデルを作成するとき、このことは大きな問題となる。図１では長方形を例としたが、斜め方向から円を撮像した場合、楕円とはならない。図３に示されるように、左側は楕円より矢印の向きに膨らみ、右側は楕円より矢印の向きに痩せるように変形する。また円の中心位置も少し右にずれる。
【００１９】
人工画像モデルには、このような投影変換に伴う問題点が反映されていない（投影による歪みがある）。人工画像モデルとして図形を設計データ等から２次元的に変換した場合には、投影歪みは修正されない。円の中心点のように直線の関係から決められない点（位置）は、正確に画像モデルに反映できないし、画像データから正確に測定できないという問題がある。なお、長方形の中心のような単純な点以外の図形の特徴点についても同様の状況である。
【００２０】
本発明はこのような状況を考慮してなされたもので、上記投影変換に伴う問題点を解決して、パターンマッチングに使用する人工画像モデルを作成すること、特に、３次元測定をするためのステレオ光学系を用いた画像処理システムにおいて上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる画像データ作成方法を提供することを目的とする。
【課題を解決するための手段】
【００２１】
前記目的を達成するために、本発明は、パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得ることを特徴とする画像データ作成方法を提供する。
【００２２】
本発明によれば、対象図形及びその周縁を撮像した際に撮像カメラの結像面に投影される投影画像の画像データを得るために、撮像カメラの撮像位置パラメータを用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。
【００２３】
投影変換とは、図２０に示されるように、対象図形が位置する地上座標系（Ｘ、Ｙ、及びＺ座標）の対象点Ｐをカメラ座標系（ｘ、ｙ、及びｚ座標）のカメラにより写真座標系（ｘ及びｙ座標）に投影することを意味する。これらの各座標系間の共線条件式は公知である（たとえば、「写真による三次元測定（1983年共立出版）」に詳しい。）。
【００２４】
図２０において、投影中心の地上座標は（Ｘ０、Ｙ０、Ｚ０）であり、画面距離はｃであり、ｐ（ｘ、ｙ）は対応する写真の写真座標である。
【００２５】
ここで、撮像カメラの撮像位置パラメータとしては、撮像レンズに理想的なレンズを使用する場合には、カメラ撮像位置の３次元座標（図２０のｘｐ、ｙｐ、及びｚｐ）、各座標軸回りの回転角度（ω、φ及びκ）の６パラメータであり、通常の撮像レンズを使用する場合には、この６パラメータの他に、レンズ焦点距離とカメラの主点（Ｘ及びＹ）を加えた９パラメータである。
【００２６】
なお、投影変換自体は、上記のように公知の技術である。しかし、パターンマッチングのモデルとしては、一般的に２次元データをそのまま使用するものしかない。本発明は、パターンマッチングのモデルとして、投影変換して作成した画像データをモデルとするものである。これにより、斜め方向から撮像した画像データに対しても、精度のよいパターンマッチングが行える。
【００２７】
また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得ることを特徴とする画像データ作成方法を提供する。
【００２８】
本発明によれば、対象図形及びその周縁を撮像した際に撮像カメラの結像面に投影される投影画像の画像データを得るために、ＣＡＤデータと撮像カメラの撮像位置パラメータを用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。
【００２９】
特に、対象図形が円や矩形のような比較的単純な図形でない場合に、ＣＡＤデータを使用できるので、画像データの作成が容易となる。なお、ＣＡＤデータを投影変換して画像モデルとしているものは、従来見られず、本発明が初めて取り入れるものである。
【００３０】
本発明において、前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことが好ましい。このように、対象図形の特定位置、たとえば、対象図形が円である場合に円の中心、対象図形が矩形である場合に矩形のコーナーを基準位置として、関係付けておけば、対象図形の特定位置を容易に求めることができる。
【００３１】
また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形の３次元画像データを得る画像データ作成方法であって、前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記それぞれの結像面上に投影変換し投影変換された画像データにより前記対象図形の３次元画像データを得ることを特徴とする画像データ作成方法を提供する。
【００３２】
本発明によれば、複数台の撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、それぞれの撮像位置パラメータを用いて対象図形及びその周縁をそれぞれ投影変換し、対象図形の３次元画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。
【００３３】
すなわち、３次元測定を目的としたステレオ光学系では、投影変換した画像データから画像モデルを作成しないと、精度よく画像計測できない。これに対し、本発明は、この課題を解決するものである。
【００３４】
なお、「３次元画像データ」とは、ステレオ光学系を使用して３次元測定を目的とした画像データのことを指す。
【００３５】
また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形の３次元画像データを得る画像データ作成方法であって、ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データにより前記対象図形の３次元画像データを得ることを特徴とする画像データ作成方法を提供する。
【００３６】
本発明によれば、複数台の撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、ＣＡＤデータとそれぞれの撮像位置パラメータを用いて対象図形及びその周縁をそれぞれ投影変換し、対象図形の３次元画像データを得る。
【００３７】
したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。
【００３８】
特に、対象図形が球や直方体のような比較的単純な図形でない場合に、ＣＡＤデータを使用できるので、画像データの作成が容易となる。
【００３９】
本発明において、前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことが好ましい。このように、対象図形の特定位置、たとえば、対象図形が三角錐である場合に頂点、対象図形が直方体である場合にコーナーを基準位置として、関係付けておけば、対象図形の特定位置を容易に求めることができる。
【発明の効果】
【００４０】
本発明によれば、投影歪みの影響を取り入れた画像モデルを作成できる。
【発明を実施するための最良の形態】
【００４１】
以下、添付図面に従って本発明に係る画像データ作成方法の好ましい実施の形態（第１の実施形態）について詳説する。
【００４２】
本発明の第１の実施形態は、パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に、この撮像カメラの結像面に投影される投影画像の画像データを得るために、この撮像カメラの撮像位置パラメータを（場合によっては、対象図形のＣＡＤデータも）用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る画像データ作成方法である。
【００４３】
すなわち、測定対象空間（３次元座標系）に測定しようとする特定図形（２次元平面図形）を配置して（３次元座標を与えて）、撮像カメラの撮像位置パラメータを用いて、撮像カメラの画像データ上に特定図形を投影変換する。画像データ上で、この特定図形を含む少し広い範囲を切り出し、パターンマッチングのための画像モデルとする。
【００４４】
撮像カメラの撮像位置パラメータとしては、既述の図２０により説明したように、撮像レンズに理想的なレンズを使用する場合には、カメラ撮像位置の３次元座標（図２０のｘｐ、ｙｐ、及びｚｐ）、各座標軸回りの回転角度（ω、φ及びκ）の６パラメータであり、通常の撮像レンズを使用する場合には、この６パラメータの他に、レンズ焦点距離とカメラの主点（Ｘ及びＹ）を加えた９パラメータである。
【００４５】
以下、図を用いて説明する。既述の図２に示されるように、撮像カメラに対して測定対象とする構造物を配置する。撮像カメラは、測定空間に対して前もってキャリブレーションして、撮像位置パラメータを求めておく。撮像位置パラメータは、既述の９個のパラメータであるが、レンズ焦点距離が短い場合には、光学系の歪を補正するパラメータも用いる。
【００４６】
測定対象とする構造物を配置することは、測定対象図形（２次元平面図形）の３次元座標を与えることと同等となる。測定する図形の３次元座標が与えられると、その図形を投影変換して撮像カメラの画像データとして計算により求めることができる。すなわち図２で、左カメラの画像、右カメラの画像を示した画像データを作成することができる。
【００４７】
この場合、測定対象図形を含む少し広い範囲を、パターンマッチングに使用する画像モデルとする。画像モデルとするときに、長方形の中心点を画像モデルの原点としておけば、図２の例では一回サーチするだけで、長方形の中心点を画像データから測定できる。
【００４８】
この方法で問題となる点は、初めに測定対象図形（２次元平面図形）の３次元座標を与えたことである。この影響を調べるために、図４に示されるように、カメラの位置を少し移動させてみる。カメラの位置を少し移動させると、投影変換された画像データ上の図形は変形するが、大きな変形ではない。
【００４９】
カメラが対象物の方向へ移動すると、図４に示されるように、台形の長い辺の長さと短い辺の長さとの比が少し１に近くなる。しかし、図形としての変形は小さいので、パターンマッチングの画像モデルとして使える。すなわち、充分によい結果が得られる。
【００５０】
このことは、測定対象図形とカメラの３次元位置について、相対的に小さい差異があっても、パターンマッチングのモデル画像とできるということを意味する。そしてこのような画像モデルを用いると、直方体の上面の長方形をパターンマッチングでサーチする場合に、図２で示したような左右のカメラの画像データに対して、直接サーチできる画像モデルとなる。すなわち、理論的には多少の誤差を生じているが、実用的な意味においては充分にパターンマッチングのモデル画像として使用できる。
【００５１】
しかし、画像モデルが初めに仮定した位置と大きくズレる場合には、正しい結果が得られる訳ではない。すなわち、測定位置をチェックする必要がある。
【００５２】
構造物の設計図はＣＡＤにより作成されるのが一般的であり、測定対象図形の近似的位置を与えることができるということは多くの場合可能である。
【００５３】
本実施形態においては、測定対象物と撮像カメラとの３次元的位置関係をシミュレーションして、測定しようとする図形（２次元平面図形）を画像モデルとして作成する。構造物は部品から構成されているが、ＣＡＤシステムでは部品の設計図や構造物全体の組立図も作成されている。したがって、構造物の位置を与えれば、測定しようとする部品の特定図形（平面図形）の３次元的位置は、ＣＡＤシステムから容易に得られる。
【００５４】
本実施形態によれば、このようにＣＡＤシステムを利用して、測定しようとする図形（２次元平面図形）の充分に良好な近似位置から、投影変換により画像モデルを作成する。その結果、対象物の位置を正確に測定できる。
【００５５】
次に、具体的な画像データ作成方法について説明する。
【００５６】
直方体を真上からカメラで撮像すると、直方体上面の長方形は画像データ上で相似形の長方形となる。すなわち、測定しようとする図形が撮像カメラの光軸に対し垂直であると、撮像された図形はもとの図形と相似形となる。このような場合には、ＣＡＤデータのような設計データから、２次元的に変換することにより、パターンマッチングに用いる画像モデルを作成できる。
【００５７】
しかし、測定しようとする図形が撮像カメラの光軸に対し垂直でないと、撮像された図形は投影歪をもつこととなる。本実施形態によれば、このような状態であっても、パターンマッチングに用いる画像モデルを作成できる。
【００５８】
図５に、斜め方向から直方体を撮像する状態の断面図を模式的に示す。直方体の上面の点（図５に＋で示す）は、カメラ撮像位置（１点である）を通って、光軸に垂直な撮像面（ＣＣＤ面）との交点に撮像される。図５においては、この対応関係をＡ→Ａ’、Ｂ→Ｂ’…のように示してある。なお、図５は断面図なので、Ａは点ではなく、実際はむしろ断面に垂直な線を示していることとなる。
【００５９】
図５において撮像される画像は、既述の図４に示されるように、台形となる。台形では、図５から解るようにＥに対応する線分の方が、Ａに対応する線分よりも長くなる。次に、図６に、撮像される直方体の上面の長方形（撮像されて台形となる）を模式的に示す。図６において、１つの桝目は１画素を示す。通常の画像データでは、１画素は同じ明るさ（数値）で０〜２５５までの２５６階調となる。
【００６０】
投影変換を用いた画像作成方法を説明するため、図６においては、１画素より細かい図形を描いてある（これは実際にはありえない）。図６においては、長方形の四隅が判るように描いてある。
【００６１】
画像データの明るさとしては、１画素に含まれる台形の面積×２５５を明るさとする。すなわち、図６の１画素にどれだけの台形の面積が含まれるかを算出すれば、図６の画像データの各画素の明るさが得られる（図６では、見やすくするため、背景を白、台形部分を黒としているので、説明文とは明るさが反転している）。
【００６２】
このとき、直方体の上面の長方形の中心点を、同様に画像データ上に投影して、画像データ上での座標値を求め、画像モデルの原点として登録すると、この画像モデルを用いてサーチすれば、長方形の中心点を直接求めることができる。
【００６３】
次に、実際の処理フローを図７に示す。先ず、ＣＡＤデータ等から、測定する図形データを点列の形にする（ステップＳ−１０）。測定する図形が長方形であれば４点の点列とする。測定する図形が曲線の場合には、曲線の特徴を表す点数の点列とする。たとえば円の場合には、１００〜１０００点程度で表す。
【００６４】
これまで、図形として平面位置だけの２次元データとしていたが、測定対象の構造物上では、図形は基本的に３次元位置を持つ。このように、設計図としてのＣＡＤデータから図形として３次元位置データを取り出すことは容易に行える。
【００６５】
上記の点列データとしては（Ｘ、Ｙ、Ｚ）の形式とする。既述の図５に示されるように、投影変換される図形はＡ〜Ｅの範囲にあり、画像データ上ではＡ’〜Ｅ’の範囲となる。
【００６６】
次いで、対象とする図形の画像データの範囲を決める（ステップＳ−１２）。具体的には、図形の各点をテスト的に投影変換することにより求める。画像データの範囲が決められると、図６に示されるように、モデル画像を作成する画像データの大きさが決められる。画像データの大きさが決められたら、画像データの各画素についての明るさを求めるため（画像データを作成するには各画素の明るさが必要）、各画素における図形の面積が求められる。
【００６７】
各画素における図形の面積を求める方法について図８を用いて説明する。図８の枡は、図６における１画素（図６において、「図８で説明に使う画素の例」として示した）に対応する。図８でピックアップする点の条件は、図７のフローのステップＳ−１４に示した１）〜３）までの条件である。
【００６８】
図８では、図形を４点Ａ、Ｂ、Ｃ、Ｄで示し、当該画素は４点１、２、３、４で形成されるとする。
【００６９】
図７のフローのステップＳ−１４において、先ず、
１）図形の点列データが当該画素に含まれるか、という条件では、図形の点Ｃがこれに該当し、ピックアップ（抽出）される。次いで、
２）点列と点列を繋ぐ線分が当該画素四辺と交点があるか、という条件では、直線１−２と直線Ａ−Ｃの交点としてのａ、及び、直線２−４と直線Ｃ−Ｄの交点としてのｂがピックアップ（抽出）される。そして、
３）当該画素の四隅点が図形の内部となるか、という条件では、画素を構成する点２がピックアップ（抽出）される。
【００７０】
このようにピックアップ（抽出）された点を、次のステップ（ステップＳ−１６）で時計周りにａ→Ｃ→ｂ→２と並べ替える。並べ替えられた点を一周すると、当該部分の面積が得られる（ステップＳ−１８）。
【００７１】
当該画素が図形に含まれる場合は明るさ（数値）を２５５（面積を１．０：画素間隔を１．０として）とし、当該画素に図形を全く含まない場合には明るさ（数値）を０とする。このように図７のフローに従って、図６の画像データの各画素の明るさを求めると、図６に模式的に示した画素データを作成することができる（図６では、見やすくするため、明るさを反転している）。
【００７２】
また図形の中心点等の特徴点（図形のコーナーの点でもよい）を投影変換して画像モデルの原点とすれば、パターンマッチングの結果から直接的にその測定点の位置を求めることができる。
【００７３】
ステップＳ−１４において行われる、着目する点Ｏが四辺形の内部に含まれるか否かを調べる方法を、図９を参照して説明する。図９（Ａ）は、Ｏ点が四辺形ＥＦＧＨの内部にある場合を示す図であり、図９（Ｂ）は、Ｏ点が四辺形ＥＦＧＨの外部にある場合を示す図である。四辺形ＥＦＧＨのＥ点を出発して辺上をＥ点、Ｆ点、Ｇ点、Ｈ点の順に通るように動く点があるものとする。このときＥ点からＦ点に進む間に張る角度θ１をＥ点からＦ点へ向かう方向を正の方向にとって計る。
【００７４】
同様に、Ｆ点からＧ点に進む間に張る角度をθ２、Ｇ点からＨ点に進む間に張る角度をθ３、Ｈ点からＥ点に進む間に張る角度をθ４として、それぞれ起点から到着点に向かう方向を正の方向にとって計るものとする。
【００７５】
図９（Ａ）に示すＯ点が四辺形ＥＦＧＨの内部にある場合は、θ１＋θ２＋θ３＋θ４は２πとなる。一方、図９（Ｂ）に示すＯ点が四辺形ＥＦＧＨの外部にある場合は、θ１＋θ２＋θ３＋θ４は０となる。また、図示していないが、Ｏ点が四辺形ＥＦＧＨの辺上にある場合は、θ１＋θ２＋θ３＋θ４はπとなる。
【００７６】
以上説明したように、θ１＋θ２＋θ３＋θ４を求めて、その値が、２πか、０か、あるいはπのいずれかであるかを知れば、着目するＯ点が四辺形ＥＦＧＨの内部に含まれるか否かを調べることができる。
【００７７】
次に、図１０及び図１１を参照して、線分と線分の交点を求める場合の規約を説明する。図１０には、線分同士が重ならない場合を図示してあり、図１１には線分同士が重なる場合を図示してある。
【００７８】
図１０（Ａ）に示されるように線分の延長線上において交点が存在する場合は、交点が存在しないものとして扱う。交点が存在すると判断するのは、図１０（Ｂ）に示されるように、線分の存在する範囲内で交点が存在する場合である。図１０（Ｃ）で示されるように、線分の端点が交点である場合も、交点が存在すると判定するものとする。図１１に示される場合のように、一の線分１と他の線分２とが重なる場合は、交点として２点をピックアップするものとする。
【００７９】
次に、本発明に係る画像データ作成方法の他の実施の形態（第２の実施形態）について説明する。既述の第１の実施形態においては、測定対象とする図形が長方形（直線で形成される図形）の場合を取り上げたが、本実施形態においては、測定対象とする図形が曲線の場合を取り上げる。
【００８０】
図１２に、対象図形が円の場合を模式的に示す。図１２では、円周上に何点か選び出し、それらの点に＋印をつけて表示した。表示された各点は、投影変換されて（図１２では、カメラ撮像位置を通る直線で示す）、カメラ（ＣＣＤ）撮像面上の１点となる。なお、撮像面は断面図として描いている。点列データは第１の実施形態でも記述したようにＸ、Ｙ、Ｚの３次元座標とする。
【００８１】
図１２から容易に想定されるように、図形を点列の形（＋位置の点列で図形とする）で表現できれば、円の場合も長方形の場合と全く同じように、図７のフローでモデル画像を作成できる。ＣＡＤデータでは、円は中心の座標と半径とで表される。そして、ＣＡＤデータから容易に３次元点列データに変換できる。この場合、円の中心座標、半径、及び円の向き（３次元の方向）から３次元座標の点列データを作成すればよい。
【００８２】
点列データとしては１００〜１０００点であれば、モデル画像を作成するために充分である。ＣＡＤデータで表現されるデータは、一般的に点列データに変換可能である。またもともと点列データで表現された図形に対しては、問題なく適用できる。
【００８３】
次に、本発明に係る画像データ作成方法の更に他の実施の形態（第３の実施形態）について説明する。既述の第１の実施形態においては、測定対象とする図形が長方形（直線で形成される図形）の場合を取り上げたが、本実施形態においては、測定対象とする図形が、２つの図形を組み合わせた場合を取り上げる。
【００８４】
図１３に、直方体の２つの上面を投影変換して画像データを作成する状態を模式的に示す。図１３において、直方体１の上面と直方体２の上面の長方形がカメラ（ＣＣＤ）撮像面に投影されている。すなわち、図１３では、２つの長方形上のそれぞれ５点が、カメラ撮像位置の１点を通る直線で、カメラ撮像面に投影されている。
【００８５】
撮像された図形（投影変換で作成された図形）を図１４に示す。初めに、下側の直方体２の上面について投影変換して画像が作成される。すなわち、図７のフローを実施する。この結果を灰色で表示する。
【００８６】
次に、上側の直方体１の上面について投影変換して画像が作成される。すなわち、図７のフローを再度実施する。この結果を黒色で表示する。
【００８７】
既述の第１の実施形態においては、１つの画素の明るさを、１画素に含まれる台形の面積×２５５としていた。これに対し、本実施形態のように、２つの図形を投影する場合には、画像データ上での明るさの違いにより、図形を区別する必要がある。図１４に示されるように、中間の諧調で１つの図形を表すため、下側の図形の１画素の明るさを、１画素に含まれる下側台形の面積×１２７とし、上側の図形の１画素の明るさを、１画素に含まれる上側台形の面積×１２７＋１２８となるように変換する（図６と同様に、見やすくするため、明るさを反転している）。
【００８８】
図１４では、中間の諧調（１２８段階の明るさ）を用いて２つの図形を組み合わせた画像を作成したが、実際の実行にあたっては、１２８段階の明るさの表示を変更することも必要となる場合がある。すなわち、上側の図形の明るさと下側の図形の明るさは、実施の条件にあわせて変更できるようにしておくことが好ましい。
【００８９】
また、照明光がある場合には、下となる部分には必ず影ができることとなる。この影の大きさは、照明の条件により変わる。したがって、想定されるより大きめに影の領域を設定して、Don’t Care 画素とすることが好ましい。市販されている画像処理ソフトウエアで、Don’t Care 画素をサポートするものも多い。そのようなソフトウエアを使用すると、パターンマッチングでは、Don’t Care 画素はマッチング度合いの評価に反映されない。
【００９０】
図１５に、斜めハッチングでDon’t Care 画素を領域として示した。市販されている画像処理ソフトウエアでは、画像モデル登録用の画像データとDon’t Care 画素登録用の画像データとを別々に指定する必要がある。そのようなソフトウエアでは、図１４と図１５において、Don’t Care 画素領域のみの画像を用いればよい。
【００９１】
本実施形態において、画像モデルの原点として、上側の直方体の上側長方形の中心点を用いるため、その点を投影変換し、図１４において白抜きの＋で示す。
【００９２】
本実施形態では、２つの図形が平行である（図１３に示されるように、２つの長方形が水平に位置している）が、２つの図形がそれぞれ勝手な方向を向いていても問題はない。すなわち、このような場合であっても、図７に示されるフローで画像データを作成できる。
【００９３】
なお、これまでの説明の際、図５、図１２、及び図１３において、撮像するカメラの光軸を描いたが、投影しようとする図形の法線方向とこの光軸との交差角度は３０度以内であることが望ましい。この交差角度は、２つの方向ベクトルから方向余弦を求めれば得られる。この方向ベクトルの向きを考慮すると、交差角度としては１５０〜１８０度の範囲が望ましい。これは、２行上で３０度以内の意味である。交差角度が９０度に近い角度となると、カメラの位置が少し変位しても、投影変換される図形の形が大きく変わるので、このような交差角度は好ましくない。
【００９４】
なお、本実施形態において、２つの図形のみならず、図形を３つ以上にすることも容易に行えるが、３つ以上の図形の場合には、以下に記述する第４の実施形態の方が簡単に対応できる。
【００９５】
次に、本発明に係る画像データ作成方法の更に他の実施の形態（第４の実施形態）について説明する。本実施形態は、画像モデルを線図形とする例である。既述の第１の実施形態から第３の実施形態までは、作成された画像データを直接画像モデルとして使用した。これに対し、本実施形態では、作成された画像データから、再度図形としての特徴を線として抽出し、線図形をパターンマッチングのモデルとして使用する。
【００９６】
先ず、既述の図１４の画像データを使用して、図１６（右側）に示されるように、図形の特徴を線として抽出する。そして、図１６（左側）に示す線図形をパターンマッチングのモデルとして用いる。図１６において左側の図と右側の図の差異は、図形の四隅位置における画素の取り扱い方によるものである。
【００９７】
既述の図１４の画像データでは、１画素が最小単位である。この１画素において、ある一定の方向と画素内での位置で特徴線の位置を記述すると、図１６の左側の図形となる。一方、図１４の画像データを微分して直接得られる形状は、図１６の右側の図形である。なお、四隅位置の画素では２方向となるが、このような画像処理は、複雑になるので好ましくない。そのため、図１６の両方の図形を示した。
【００９８】
本実施形態において、線図形をパターンマッチングのモデルに使用するには、たとえばＣＯＧＮＥＸ社から市販されているソフトウエア（商品名：ＰＡＴＭＡＸ）によるサポートで実施できる。この場合、図１４をモデル画像として設定すると、図１６（左側）で示される図形がモデルとして作成される。上記のソフトウエア（ＰＡＴＭＡＸ）では、モデル設定方法を変更（これには、プログラムを変更する必要がある）するだけで、図１４のような画像モデルと図１６（左側）のような線図形モデルとを使い分けることができる。
【００９９】
このように、画像モデルを線図形とした場合のメリットについては、ＣＯＧＮＥＸ社の資料に詳しいので、説明は省略する。
【０１００】
本実施形態において、画像モデルを線図形とした例を取り上げたのは、対象図形を３つ以上の図形とした場合にも容易に対応できるからである。既述の第３の実施形態で説明したように、３つ以上の図形を投影変換するには、それぞれの図形に対応した明るさを決めなければならない。対象物上で３つの図形それぞれの明るさが画像データとして充分に識別できるときには、第３の実施形態と同じやり方でよい結果が得られる。
【０１０１】
しかし、傾きや方向の異なる図形では、同一図形上でも明るさが少しづつ変化する場合がある。そのような場合には、形状がほぼ同じでも、明るさ分布が異なることとなる。そして、明るさ分布が異なると、パターンマッチングのスコアは低下することとなる（画像として合致しないこととなる）。
【０１０２】
３つ以上の図形を用いて投影変換により画像データを作成する場合、それぞれの図形に対する諧調の違いは小さくなる。図１６（左側）の線図形は、画像データにおいて大きな諧調差がなくても、フィルター等で強調すれば得られる。そして線図形の画像モデルを用いると、形がほぼ同じで、明るさ分布が違う場合でも、良好な結果が得られる。図１６左側に示されるような線図形だけで、パターンマッチングを実施できると、作成された画像データの生の明るさは反映しない。したがって、本実施形態は、このような場合に、メリットがある。
【０１０３】
次に、本発明に係る画像データ作成方法の更に他の実施の形態（第５の実施形態）について説明する。本実施形態は、構造物の外形を線図形画像モデルとする例である。既述の第４の実施形態では、線図形を画像モデルとする場合についての例を示したが、本実施形態では、構造物の外形を線図形画像モデルとする場合について説明する。
【０１０４】
構造物として図１７に、四面体を例として取り上げる。図１７に示されるように３次元ＣＡＤでは、四面体を構成する４つの平面の方向（各頂点の座標）は、設計データとして与えることができる。図１７において、四面体の頂点をＡ、Ｂ、Ｃ、及びＤとし、四面体の重心位置をＥとする。また四面体の４つの三角形の方向ベクトル（平面の法線ベクトル）が図１７に矢印で示されている。
【０１０５】
図１７において、撮像方向ベクトルと四面体の平面方向ベクトルとの交角が９０度より大きい平面のみが、四面体の外形データとしてモデル画像に寄与する。図１７の場合には、三角形ＡＢＤと三角形ＡＤＣの２つが寄与する。撮像方向ベクトルと平面方向ベクトルとの交角はベクトルの内積を用いて簡単に算出できる。
【０１０６】
先ず、構造物を形成する４つの図形を順番に呼び出し、図７で示された画像データ作成のフローを実施する。画像データ作成の前に、撮像方向ベクトルとこの図形の平面方向ベクトルとの角度を計算し、該当しない場合には、画像データ作成のプロセスをパスする。図１８にこのようにして作成される画像データを示す。
【０１０７】
平面図形の方向ベクトルを用いて、画像データ作成プロセスをパスするか否か既に決めてあるので、図７の画像データ作成フローの「画素の明るさの決定」（ステップＳ−１８）において当該画素に寄与するすべての図形からの面積を加え合わせれば、このフローを実行できる。
【０１０８】
図１８の画像データは、１画素より細かい図形データを示しているが、図６の説明で記述したように解釈する。すなわち、投影変換を用いた画像作成方法を説明するため、図１８においては、１画素より細かい図形を描いてある
既述の第２の実施形態では、２つの図形を明るさで識別したが、本実施形態においては、明るさで識別（区別）しない。図１８の画像データから線図形を抽出すると、図１６の説明で記述したように、四つの頂点については２方向になるので、特徴線分を使用しない。なおＣＯＧＮＥＸ社のソフトウエアでは、この点を特別に処理しなくてよい。また、本実施形態においては、四面体の重心位置を画像モデルの原点とする。この四面体の重心座標を投影変換して画像データ上に示す（図１８に白抜きの＋で示す）。
【０１０９】
図１８に示される画像モデルは、ステレオ光学系で対象物の３次元測定する場合に有効である。四面体の重心位置は、通常の画像処理では測定できないが、本発明の画像モデルを用いて、撮像点の異なる２つ以上の画像データをサーチして（それぞれの画像でモデル画像を別々に作成・登録して）、その結果から直接対象物の３次元座標を得ることができる。すなわち、３次元座標値をサーチ結果から直接算出できる。このような画像モデルを用いると、直接見えない点（位置）の測定も実施できる。
【０１１０】
次に、カメラの撮像位置パラメータについて図１９により説明する。この説明は、一部で既述の図２０の説明と重複する。カメラの撮像位置パラメータとしては、カメラ撮像位置（Ｘc、 Ｙc、 Ｚc）、カメラ撮像の方向（Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度：Ｒx、Ｒy、Ｒz）、主点位置（画像データの中心点とカメラ光軸との差異Ｘo、Ｙo）及びカメラ焦点距離（ｆ）の９つを用いる。
【０１１１】
これらの９つのパラメータは、基準とする座標系で３次元位置が既知である点を、撮像して得られた画像データ上で精密に測定すれば、公知の文献（たとえば、「写真による三次元測定（1983年共立出版）」）に基づいた式から算出できる。この場合、画像データ上の位置（画像データ上での座標）と３次元座標が既知である点を５点以上測定すればよい（３次元的に配置する必要あり）。
【０１１２】
図１９に、カメラ撮像位置パラメータのキャリブレーション方法を概念的に示す。図１９では、座標系を決める面を基準面とし、その面に平行に第二基準面、第三基準面を設け、これら３つの面上に座標が既知の点９点を配置した。これらの９点は、図１９において直線で示されるように、画像データ上に撮像される。これらの９点の画像座標を精密に測定すれば、カメラ撮像位置パラメータが得られる。
【０１１３】
この測定の精度を高めるためには、当然のことであるが、３次元座標が正確であること、すなわち、３次元座標を精密に測定すること、及び画像データ上で精密に測定すること（目安としては１／１０画素より高い測定を行うこと）が必要である。また、測定点数を増やすこと、及び３次元的に測定点を分布させることも必要である。
【０１１４】
また必要により光学系の歪みも補正することが好ましい。歪みを補正する方法、パラメータについても、１例が既述の公知文献に記述されている。そして、本発明の各実施形態を実施する前に、カメラの撮像位置パラメータをキャリブレーションしておくことが必要である。
【０１１５】
以上説明したように、本発明によれば、投影歪みの影響を取り入れた画像モデルを作成できる。斜め方向から撮像された画像データは必ず投影歪みがあるので、本発明は斜め方向から撮像された画像データをパターンマッチングするのに大変有効となる。ＣＡＤデータを読み取れるように画像処理システムを整えておけば、測定を実施しようとするときに、ＣＡＤデータから画像モデルを作成できる。
【０１１６】
また３次元測定を実施するためのステレオ画像処理システムでは、ステレオ光学系の一方または、両方とも斜め方向から撮像することとなるので、本発明は大変有効な手段となる。
【０１１７】
以上、本発明に係る画像データ作成方法の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各種の態様が採り得る。
【図面の簡単な説明】
【０１１８】
【図１】ステレオ光学系で長方形を撮像した状態を説明する概念図
【図２】ステレオ光学系で長方形を撮像した他の状態を説明する概念図
【図３】斜め方向から円を撮像した状態を説明する概念図
【図４】対象物を撮像しカメラの位置を少し移動させた状態を説明する概念図
【図５】斜め方向から直方体を撮像する状態を説明する断面図
【図６】撮像される直方体の上面の長方形を模式的に示す図
【図７】画像データ作成の処理フローを示す図
【図８】各画素における図形の面積を求める方法について説明する図
【図９】着目する点が四辺形の内部に含まれるか否かを調べる方法について説明する図
【図１０】線分と線分との交点の有り無しの判定について説明する図
【図１１】線分と線分とが重なる場合について説明する図
【図１２】斜め方向から曲線図形を撮像する状態を説明する図
【図１３】直方体の２つの上面を投影変換して画像データを作成する状態を模式的に示す図
【図１４】撮像される直方体の上面の複数の長方形を模式的に示す図
【図１５】撮像される直方体の上面の影となる部分を模式的に示す図
【図１６】線図形をパターンマッチングのモデルとして使用する状態を説明する図
【図１７】構造物の外形を線図形画像モデルとする場合について説明する図
【図１８】構造物の外形を線図形画像モデルとする場合について説明する図
【図１９】カメラの撮像位置パラメータについて説明する図
【図２０】投影変換の原理について説明する図
【特許請求の範囲】
【請求項１】
パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、
前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得ることを特徴とする画像データ作成方法。
【請求項２】
パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、
ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得ることを特徴とする画像データ作成方法。
【請求項３】
前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、
該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことを特徴とする請求項２に記載の画像データ作成方法。
【請求項４】
パターンマッチングのための対象図形の３次元画像データを得る画像データ作成方法であって、
前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記それぞれの結像面上に投影変換し投影変換された画像データにより前記対象図形の３次元画像データを得ることを特徴とする画像データ作成方法。
【請求項５】
パターンマッチングのための対象図形の３次元画像データを得る画像データ作成方法であって、
ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データにより前記対象図形の３次元画像データを得ることを特徴とする画像データ作成方法。
【請求項６】
前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、
該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことを特徴とする請求項５に記載の画像データ作成方法。
【請求項１】
パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、
前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得ることを特徴とする画像データ作成方法。
【請求項２】
パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、
ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得ることを特徴とする画像データ作成方法。
【請求項３】
前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、
該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことを特徴とする請求項２に記載の画像データ作成方法。
【請求項４】
パターンマッチングのための対象図形の３次元画像データを得る画像データ作成方法であって、
前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記それぞれの結像面上に投影変換し投影変換された画像データにより前記対象図形の３次元画像データを得ることを特徴とする画像データ作成方法。
【請求項５】
パターンマッチングのための対象図形の３次元画像データを得る画像データ作成方法であって、
ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データにより前記対象図形の３次元画像データを得ることを特徴とする画像データ作成方法。
【請求項６】
前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、
該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことを特徴とする請求項５に記載の画像データ作成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００６−３３８１６７（Ｐ２００６−３３８１６７Ａ）
【公開日】平成１８年１２月１４日（２００６．１２．１４）
【国際特許分類】
【出願番号】特願２００５−１５９９４７（Ｐ２００５−１５９９４７）
【出願日】平成１７年５月３１日（２００５．５．３１）
【出願人】（５９６１１７８８７）株式会社テクノホロン (6)
【Ｆターム（参考）】
【公開日】平成１８年１２月１４日（２００６．１２．１４）
【国際特許分類】
【出願日】平成１７年５月３１日（２００５．５．３１）
【出願人】（５９６１１７８８７）株式会社テクノホロン (6)
【Ｆターム（参考）】
[ Back to top ]