説明

基準モデル作成方法および基準モデル作成装置

【課題】ワークを撮像する際の照明環境に合った基準モデルを作成する。
【解決手段】ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成方法であって、ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する段階(ステップS3)と、予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出する段階(ステップS4)と、前記抽出されたエッジ要素を前記基準モデルとして記憶する段階(ステップS5)と、を有することを特徴とする基準モデル作成方法。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、基準モデル作成方法および基準モデル作成装置に関する。
【背景技術】
【0002】
ワーク位置の検出は、ワークを撮像して得られた画像データと、予め用意された画像検出用の基準モデルとを整合する方法が一般的に用いられている。具体的には、ワーク位置の検出方法は、撮像した画像データ中のワーク(以下、「観測モデル」と称する)が表示された画面上で基準モデルを走査させ、この画面上で観測モデルと基準モデルとが整合したときの基準モデルの座標を読み取ることで行われる。
【0003】
ここで、ワーク位置を検出するとき、たとえば、実際の工場内では、太陽光などの光によってワークを撮像する際の照明環境は変化する。照明環境の変化、たとえば、外光がワークに当たる照射角度および照射強度が変化すると、観測モデルの見かけ上のエッジの出かたに変化が生じ、その結果、観測モデルと基準モデルとが整合しづらく、ワーク位置を正確に検知することができないおそれがある。
【0004】
したがって、照明環境が変化しても、ワーク位置を正確に検出することができる基準モデルを作成する必要がある。そこで、従来では、照明環境の変化による予め想定される複数の観測モデルに対応した基準モデルをCADデータなどに基づいて複数作成し、複数の基準モデル全てを観測モデルと整合させ、観測モデルと整合した結果、観測モデルと最も相関が高かった基準モデルに基づいて、ワーク位置を検出している(たとえば、特許文献1参照)。
【0005】
しかしながら、複数の基準モデルを作成するには、想定される複数の照明環境、もしくは想定されるエッジとなるように、CADデータを加工するなど、ある程度経験の積んだ作業者の工数が必要であり、また、複数の基準モデルがあると、ワーク位置を検出する際に、作成した複数の基準モデルをすべて画像データと整合させる処理が必要となり、処理時間がかかるという問題があった。
【特許文献1】特開平10−213420号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明は、上記問題点を解決し、ワークを撮像する際の照明環境に合った基準モデルを作成することができる基準モデル作成方法及び基準モデル作成装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の上記目的は、下記の手段によって達成される。
【0008】
本発明の基準モデル作成方法は、ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成方法であって、ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する段階と、予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出する段階と、前記抽出されたエッジ要素を前記基準モデルとして記憶する段階と、を有することを特徴とする。
【0009】
本発明の基準モデル作成装置は、ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成装置であって、ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する観測モデル作成手段と、予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出するエッジ要素抽出手段と、前記抽出されたエッジ要素を前記基準モデルとして記憶する基準モデル記憶手段と、を有することを特徴とする。
【発明の効果】
【0010】
以上のように構成された本発明にかかる基準モデル作成方法および基準モデル作成装置によれば、観測モデルと設計モデルとを整合させて、ワークを撮像する際の照明環境に合った基準モデルを作成することで、作業者により複数の基準モデルを作成する工程を省略することができ、また、照明環境に合った基準モデルのみを画像データと整合させることで、ワーク位置を正確に検出でき、かつ、位置を検出するための処理時間を短縮することができるようになる。
【発明を実施するための最良の形態】
【0011】
以下、本発明に係る基準モデル作成方法について、図面を参照しながら詳細に説明する。
【0012】
本発明の実施形態の基準モデル作成方法は、ワークの位置を検出するための画像検出用の基準モデル(テンプレートモデル)を作成する方法であって、当該ワークを撮像して得られる画像データから作成した観測モデルと、予め記憶されている前記ワークの設計モデルとを整合(マッチング)して、前記観測モデルと前記設計モデルとに共通して含まれるエッジ要素を抽出して基準モデルを作成することに特徴を有するものである。
【0013】
図1は、本実施形態の基準モデル作成方法が適用されるワーク位置検出システムの一例を示している。ワーク位置検出システムは、たとえば、所定の場所にある自動車のドアまたはガラスなどのワークの位置姿勢を検出するものである。
【0014】
図1に示されるとおり、ワーク位置検出システム1は、所定の場所に置かれたワーク10を撮像する撮像部20と、撮像部20により得られた画像データから基準モデルを作成し、ワーク10の位置を検出するコンピュータ30と、を含む。
【0015】
ワーク10は、上述したように、たとえば所定の場所に置かれた自動車のドアまたはガラスなどの物体である。なお、ワーク10は、所定の場所、たとえば、工場内におけるワークが一時的に載置される台40に置かれている場合に限られず、自動車のボディに取り付けられている状態のものでもよい。
【0016】
撮像部20は、位置検出対象のワーク10を撮像するものであって、撮像手段として機能する。具体的には、撮像部20は、CCD素子などの撮像素子とその他の光学系によって構成可能であり、その構成自体は、一般的な撮像部と同様であるので、詳しい説明を省略する。撮像部20は、たとえば、固定された柱に取り付けることができ、または、ロボットのワークを把持する先端部分に取り付けることもできる。
【0017】
コンピュータ30は、基準モデル作成装置であるとともに、ワーク位置検出システムの一部の役割を担っている。
【0018】
コンピュータ30は、たとえば、図2に示すように、マイクロプロセッサからなるCPU(中央演算処理装置)31、CPU31にバス結合されたROM32、RAM33、ハードディスク34、表示部35、入力部36、およびインターフェイス37などの構成要素を備えている。CPU31は、コンピュータの中で各装置の制御やデータの計算・加工を行なう中枢部分である。CPU31は、ROM32に記憶されたプログラムを実行する装置で、RAM33、ハードディスク34、または入力部36からデータを受け取り、演算・加工した上で、表示部35またはハードディスク34に出力する。ROM32は、一度書き込まれた情報を読み出すための記憶装置のであり、たとえば、システムプログラムなどのプログラムが格納される。RAM33は、半導体素子を利用した記憶装置であり、たとえば、CPU31が実行する処理のためのデータの一時記憶などに使用される。ハードディスク34は、外部記憶装置である。表示部35は、たとえば、CRTディスプレイ、液晶ディスプレイ、プラズマディスプレイなどの表示装置である。入力部36は、たとえば、キーボード、およびマウスなどのポインティングディバイスである。インターフェイス37は、二つのものの間に立って、情報のやり取りを仲介するものである。
【0019】
以下、本発明の実施形態の基準モデル作成装置について、図3を参照しつつ、詳細に説明する。図3は、本実施形態に係る基準モデル作成装置の概略構成を示すブロック図である。
【0020】
基準モデル作成装置は、基準モデル作成の処理を実行する各部として、設計モデル設定部311、画像データ取得部312、観測モデル作成部313、エッジ要素抽出部314、基準モデル設定部315、ワーク位置検出部316、エッジ要素記憶部331、および共通エッジ要素抽出部317を含み、CPU31、およびRAM33などの記憶装置がこれら各部の役割を担う。
【0021】
設計モデル設定部311は、位置検出対象のワーク10の設計モデルを設定するものであり、設計モデル設定手段として機能する。ここで、設計モデルとは、位置検出対象のワーク10の設計形状のデータ、たとえば、CADデータから作成したものであって、ワーク10の形状のエッジを表すデータである。
【0022】
画像データ取得部312は、撮像部20からワーク10を撮像して得られる画像データを取得するものである。取得した画像データは、基準モデルを作成するために用いられ、また、実際のワーク位置を検出する際のデータとして用いられる。ここで、基準モデルとは、画像データ中の検出対象のワークの位置姿勢を検出するために、その画像データ中のワークと整合するためのモデルである。
【0023】
観測モデル作成部313は、取得した画像データ中のワーク10の形状を観測モデルとして作成するものであって、観測モデル作成手段として機能する。観測モデルは、撮像されたワーク10の形状のエッジを表すデータであって、ワーク位置の検出前にワークを撮像して作成される初期の観測モデル(以下、「初期観測モデル」と称する)と、後述するワーク位置検出部316でワークの位置の検出の際に用いた位置検出用の画像データから作成される更新用の観測モデル(以下、「更新用観測モデル」と称する)と、を含む。
【0024】
エッジ要素抽出部314は、予め記憶されているワーク10の設計モデルと観測モデルとを整合して、設計モデルと観測モデルとに共通して含まれるエッジ要素を抽出するものであって、エッジ要素抽出手段として機能する。エッジ要素とは、設計モデルと観測モデルとに共通して含まれ、ワーク10の形状のエッジをかたどったものであって、たとえば、各モデルのデータが座標データであるとき、同一の座標系で両モデルを整合して共通する座標点の集合群である。エッジ要素は、上記観測モデルと同様、ワーク10の設計モデルと初期観測モデルとを整合し、両モデルに共通して含まれる初期のエッジ要素(以下、「初期エッジ要素」と称する)と、ワーク10の設計モデルと更新用観測モデルとを整合し、設計モデルと更新用観測モデルとに共通して含まれる更新用のエッジ要素(以下、「更新用エッジ要素」と称する)と、を含む。具体的な設計モデルと観測モデルとを整合してエッジ要素を抽出する方法については後述する。
【0025】
基準モデル設定部315は、抽出されたエッジ要素を基準モデルとして設定するものであって、基準モデル設定手段として機能する。基準モデル設定部315は、ワーク位置検出前に、エッジ要素抽出部314からの初期エッジ要素を基準モデルとして設定する場合と、ワーク位置検出後に、後述する共通エッジ要素抽出部317からの共通エッジ要素に基づいて基準モデルを更新して再設定する場合と、を含む。
【0026】
ワーク位置検出部316は、画像データ取得部312の画像データと基準モデルとを整合して位置検出対象のワークの位置を検出するものであって、ワーク位置検出手段として機能する。ワーク位置検出部316は、従来のワーク位置検出方法と同様に、たとえば、撮像した画像データ中のワーク10が表示された画面上で基準モデルを走査させ、この画面上で観測モデルと基準モデルとが整合したときの基準モデルの座標を読み取ることで行われる。
【0027】
エッジ要素記憶部331は、上述したエッジ要素抽出部314からの更新用エッジ要素を記憶するものであって、エッジ要素記憶手段として機能する。主としてRAM33がエッジ要素記憶部331の役割を担う。
【0028】
共通エッジ要素抽出部317は、エッジ要素記憶部331で記憶された複数回分の更新用のエッジ要素にそれぞれに所定の閾値の割合以上で共通して含まれる共通エッジ要素を抽出するものであって、共通エッジ要素抽出部として機能する。抽出された共通エッジ要素は、基準モデル設定部315で基準モデルを更新する際に用いる。共通エッジ要素抽出方法については後述する。
【0029】
以上のように構成された基準モデル作成装置を用いて、本実施の形態に係る基準モデル作成方法が実行される。
【0030】
次に、図4に示すフローチャートに基づいて、本実施の形態の基準モデル作成方法を説明する。以下の処理は、CPU31が主として実行する。図4は、本実施の形態の基準モデル形勢装置の処理内容を示すフローチャートである。
【0031】
以下のステップS1〜ステップS5の処理は、ワーク位置を検出する前に行われる処理であって、位置検出対象のワークを撮像した画像データと整合するための基準モデルを作成する処理である。
【0032】
まず、位置検出対象のワーク10の設計モデルを設定する(ステップS1)。この設計モデルは、上述のように、たとえば、位置検出対象のワーク10の形状をかたどったCADデータであって、入力部26または/およびインターフェイス27を介して外部から入力される。
【0033】
次いで、撮像部20により既知の位置に予め置かれたワーク10を撮像して得られる画像データを取得する(ステップS2)。既知の位置に予めワーク10を置くことで、その位置情報に基づき、以後の初期観測モデルと設計モデルとの整合を正確に行うことができる。
【0034】
次いで、取得した画像データ中のワークの形状を初期観測モデルとして作成する(ステップS3)。初期観測モデルは、従来の画像データから物体を認識する認識方法と同様であって、たとえば、画像データ中にワークと認識する部分を抽出し、形状のエッジをかたどった座標点を抽出することで作成することができる。
【0035】
次いで、設計モデルと初期観測モデルとを整合し、両モデルの共通するエッジ要素を抽出する(ステップS4)。
【0036】
ここで、設計モデルと初期観測モデルとを整合してエッジ要素を抽出する方法について、図5を用いて詳細に説明する。図5は、本実施形態の基準モデルを作成する様子を表す図である。図5の(a)は設計モデルの形状のエッジを表し、(b)は、初期観測モデルの形状のエッジを表すものとする。設計モデルと初期観測モデルとを整合してエッジ要素を抽出する方法は、たとえば、設計モデルの座標系の原点と、初期観測モデルの座標系の原点とを合わせる形で、図5(c)に示すように整合をかける。この際、原点は、両モデルを整合する基準となる点であればよく、たとえば、エッジ上であって、照明環境に左右されにくい点を選択する。また、整合する際に、両モデルの座標系のズレを考慮し、設計モデルのエッジ幅を膨張することが望ましい。エッジ幅の膨張は、たとえば、設計モデルにおいて、連続する座標点の集合で表される線(ライン)に直交する幅の方向に位置する所定の座標点も設計モデルのエッジとして選択する。そして、両モデルを整合した結果、図5(d)に示すように、両モデルに共通して含まれる座標点(エッジ)のみを両モデルの共通するエッジ要素として適用する。
【0037】
次いで、共通するエッジ要素を基準モデルとして保存する(ステップS5)。この基準モデルは、設計モデルと観測モデルとの共通するエッジ要素のみからなるので、設計モデルでのエッジから、見かけ上のエッジに相当するエッジのみを自動抽出し、かつ、観測モデルに含まれ、本来のエッジではなく照明環境から発生する影などの不確定要素の高いエッジを自動除去されている。
【0038】
以下のステップS6〜ステップS12の処理は、ワーク位置を検出する際に行われる処理であって、基準モデルを更新する処理である。
【0039】
まず、位置検出対象のワーク10が撮像された画像データを撮像部20から取得する(ステップS6)。
【0040】
次いで、撮像された画像データと基準モデルとを整合し、ワーク位置を検出する(ステップS7)。具体的なワーク位置の検出方法は、従来の基準モデルを用意し、撮像された画像データ中のワークと整合をする方法と同様であるので、詳しい説明を省略するが、簡単に説明すると、撮像した画像データ中のワーク10が表示された画面上で基準モデルを走査させ、この画面上で観測モデルと基準モデルとが整合したときの基準モデルの座標を読み取ることで行われる。
【0041】
次いで、画像データから更新用観測モデルを作成する(ステップS8)。更新用観測モデルの作成方法は、上記初期観測モデルを作成する方法と同様である。
【0042】
次いで、設計モデルと更新用観測モデルとを整合し、両モデルの共通する更新用エッジ要素を抽出する(ステップS9)。設計モデルと更新用観測モデルとを整合する際に、基本的には、上記設計モデルと初期観測モデルとを整合する方法と同様であるが、ステップ7で求めたワーク位置検出結果に基づき、設計モデルの座標系の原点と更新用観測モデルの座標系との原点を合わせることで行う。たとえば、xy座標系において、ワーク10が基準位置からx方向にα、y方向にβの位置にあるとき、設計モデルの座標系の原点をx方向にα、y方向にβの位置に移動させることで両モデルの整合ができる。
【0043】
次いで、抽出された更新用エッジ要素をRAMなどの記憶装置に保存する(ステップS10)。
【0044】
更新用エッジ要素をn回分記憶するまで(ステップS11:No)、上述のステップS6〜ステップS10を繰り返す。更新用エッジ要素がn回分記憶したとき(ステップS11:Yes)、ステップS12の処理に移る。
【0045】
次いで、n回分の記憶された更新用エッジ要素にそれぞれに所定の閾値の割合以上で共通して含まれる共通エッジ要素を抽出する(ステップS12)。共通エッジ要素とは、複数回分のエッジ要素に共通して含まれるエッジ要素である。
【0046】
ここで、共通エッジ要素の抽出方法は、たとえば、同一の座標系において、それぞれのエッジ要素を重ね合わせ、重複する座標点のみを抽出する。この際、共通エッジ要素は、記憶されたエッジ要素全てに重複する座標点のみならず、ある所定の閾値の割合以上、たとえば、95%以上で共通して含まれる座標点を含んでもよい。共通エッジ要素を抽出することで、突発的な光の変化が生じた場合の撮像結果によるエッジ要素を除くことができる。
【0047】
次いで、共通エッジ要素に基づき基準モデルを更新する(ステップS13)。基準モデルを更新することで、ワーク位置の検出が継続して行われる中で、照明環境が変化してもその照明環境に合った基準モデルを保つことができる。
【0048】
以上のように、本実施形態の基準モデル作成方法によれば、ワークを撮像する際の照明環境に合った基準モデルを作成することで、作業者により複数の基準モデルを作成する工程を省略することができ、また、照明環境に合った基準モデルのみを画像データと整合させることで、ワーク位置を正確に検出でき、かつ、位置を検出するための処理時間を短縮することができるようになる。
【0049】
また、位置検出前に基準モデルを作成する段階において、観測モデルが既知の位置に予めおかれたワークを撮像して作成され、既知の位置の情報に基づいてワークの設計モデルと観測モデルとを整合することで、安定かつ確実に基準モデルを作成できる。
【0050】
さらに、位置検出対象のワークの位置を撮像し、その撮像した結果に基づき、基準モデルを更新することで、予め複数の基準モデルを作成する必要がなく、突発での照明環境の変化ではない緩やかな変化、たとえば、昼夜の影響、照明の劣化、または周辺の環境の変化に柔軟に対応することができる。
【0051】
さらに、位置検出されたワークの位置の情報に基づいて設計モデルと更新用の観測モデルとを整合することで、安定かつ確実に更新用のエッジ要素を抽出することができる。
【0052】
さらに、設計モデルと観測モデルとを整合する前に、設計モデルのエッジ幅を膨張することで、両モデルが安定的に整合することができる。
【0053】
以上のように本発明の好適な実施形態について説明したが、本発明は、以上の実施形態に限定されるべきものではなく、特許請求の範囲に表現された思想および範囲を逸脱することなく、種々の変形、追加、および省略が当業者によって可能である。
【0054】
たとえば、本実施の形態の変形例として、ワーク位置を検出する前の基準モデルとして、設計モデルをそのまま用いて、ワーク位置を検出後は、撮像された画像データから作成される観測モデルと設計モデルとを整合して抽出されるエッジ要素に基づき基準モデルを更新することができる。この場合、位置検出前に、基準モデルを観測モデルにより作成する必要がなくなるので、既知の位置に予めワークを置いて撮像する必要がなくなる点で有効である。
【0055】
また、本実施形態では、基準モデルを作成する際の初期観測モデルは、既知の位置に予め置かれたワークを撮像することにより作成する方法を示したが、これに限られず、たとえば、表示部35に表示される画像を見ながら、その画面上で、設計モデルを走査させ、画像中のワークとマッチングして、両モデルが共通して含むエッジ要素を抽出して基準モデルを作成してもよい。
【0056】
さらに、本実施形態では、更新用のエッジ要素を複数回分記憶し、共通エッジ要素を抽出する方法を示したが、更新用のエッジ要素は複数回分でなくても、1回分でももちろん良い。その場合、共通エッジ要素抽出部が不要となる。
【0057】
さらに、本実施形態では、コンピュータ30が基準モデル作成装置とともに、ワーク位置検出システムの一部として使う例を示したが、これに限られず、基準モデルを作成するための装置と、ワーク位置を検出するための装置と、別の装置で構成することができることはもちろんである。
【図面の簡単な説明】
【0058】
【図1】本実施形態の基準モデル作成方法が適用されるワーク位置検出システムの一例を示している。
【図2】本実施形態の基準モデル作成方法が適用されるワーク位置検出システムの概略構成を示すブロック図である。
【図3】本実施形態の基準モデル作成装置の概略構成を示すブロック図である。
【図4】本実施形態の基準モデル形勢装置の処理内容を示すフローチャートである。
【図5】本実施形態の基準モデルを作成する様子をあらわす図である。
【符号の説明】
【0059】
10 ワーク、
20 撮像部、
30 コンピュータ、
311 設計モデル設定部、
312 共通するエッジ要素抽出部、
313 観測モデル作成部、
314 画像データ取得部、
315 共通エッジ要素抽出部、
316 基準モデル設定部、
317 ワーク位置検出部、
331 エッジ要素記憶部。

【特許請求の範囲】
【請求項1】
ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成方法であって、
ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する段階と、
予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出する段階と、
前記抽出されたエッジ要素を前記基準モデルとして記憶する段階と、
を有することを特徴とする基準モデル作成方法。
【請求項2】
前記観測モデルは、既知の位置に予め置かれたワークを撮像して作成され、
前記既知の位置の情報に基づいて前記ワークの設計モデルと前記観測モデルとを整合することを特徴とする請求項1に記載の基準モデル作成方法。
【請求項3】
さらに、位置検出対象のワークを撮像して得られる位置検出用の画像データと前記基準モデルとを整合して前記位置検出対象のワークの位置を検出する段階と、
前記ワークの位置の検出の際に用いた位置検出用の画像データから更新用の観測モデルを作成する段階と、
前記ワークの設計モデルと前記更新用の観測モデルとを整合して、前記設計モデルと前記更新用の観測モデルとに共通して含まれる更新用のエッジ要素を抽出する段階と、
前記更新用のエッジ要素に基づいて前記基準モデルを更新する段階と、
を有することを特徴とする請求項2に記載の基準モデル作成方法。
【請求項4】
検出されたワークの位置の情報に基づいて前記ワークの設計モデルと前記更新用の観測モデルとを整合することを特徴とする請求項3に記載の基準モデル作成方法。
【請求項5】
前記基準モデルを更新する段階は、
複数回分の前記更新用のエッジ要素を記憶する段階と、
前記記憶された複数回分の前記更新用のエッジ要素にそれぞれに所定の閾値の割合以上で共通して含まれる共通エッジ要素に基づいて前記基準モデルを更新する段階と、を含むことを特徴とする請求項3に記載の基準モデル作成方法。
【請求項6】
さらに、前記観測モデルと整合する前に、前記設計モデルのエッジ幅を膨張する段階を有することを特徴とする請求項1に記載の基準モデル作成方法。
【請求項7】
ワークの位置を検出するための画像検出用の基準モデルを作成する基準モデル作成装置であって、
ワークを撮像して得られる画像データから当該ワークの観測モデルを作成する観測モデル作成手段と、
予め記憶されている前記ワークの設計モデルと前記観測モデルとを整合して、前記設計モデルと前記観測モデルとに共通して含まれるエッジ要素を抽出するエッジ要素抽出手段と、
前記抽出されたエッジ要素を前記基準モデルとして記憶する基準モデル記憶手段と、
を有することを特徴とする基準モデル作成装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2009−15729(P2009−15729A)
【公開日】平成21年1月22日(2009.1.22)
【国際特許分類】
【出願番号】特願2007−179006(P2007−179006)
【出願日】平成19年7月6日(2007.7.6)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】