説明

撮像面位置検出装置およびそれを具える作業ロボット

【課題】対象物の撮像面の位置を簡易かつ安価に、しかも短時間で検出する装置を提供することにある。
【解決手段】レーザ光軸が互いに交差するように配置された少なくとも3台のレーザ光照射手段と、前記少なくとも3台のレーザ光照射手段に対する所定位置で、それらのレーザ光照射手段からレーザビームを照射された対象物の表面を撮像する1台の単眼の撮像手段と、前記撮像手段が前記対象物の撮像面を撮像した1枚の画像での前記レーザビームの少なくとも3つの照射点の位置と前記撮像手段の撮像光軸との位置関係から幾何学的演算により前記撮像手段に対する前記対象物の撮像面の距離と向きとを求めて出力する演算手段と、を具えてなる、撮像面位置検出装置である。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、ロボットの頭部やハンドに設けられたビデオカメラ等のカメラで撮像した対象物の撮像面の、撮像したカメラに対する位置すなわち距離と向きとを検出する装置並びに、その装置を具える作業ロボットに関するものである。
【背景技術】
【0002】
近年、例えば1人ないし数人の作業者が1つの製品を作り上げるセル生産の現場等に、人と協調作業する作業ロボットを投入することが提案されており、かかる作業ロボットとしては従来例えば、下半身に台車を具え、その台車により作業場所内の床上を移動させることで、作業腕を持つ上半身をテーブル上等の作業領域の近傍の作業位置に簡便に配置し得るようにしたものが知られている(特許文献1参照)。
【0003】
この作業ロボットではまた、頭部に複数台のビデオカメラを具え、それらのビデオカメラでテーブルやその上のワークに設けた複数のマークを複数方向から撮像して、それら複数方向からの複数枚の画像からビデオカメラひいては作業ロボットに対するワークやテーブルの位置すなわち距離と向きとを検出することで、上記のような簡便な配置でもワークの位置を作業ロボットに教示せずにワークに対する作業を行わせ得るようにしている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−118176号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述のように、作業ロボットの利用を進めるために視覚技術を取り入れることは、視覚による情報量が他の知覚と比べて圧倒的に多いため極めて有効であり、視覚技術としてはカメラ画像を利用することが簡便である。
【0006】
しかしながら、カメラ画像は2次元情報であるため、対象物の位置を3次元的に捉えるには複数枚のカメラ画像が必要となる。そして、特に作業ロボットの作動制御等のためにリアルタイム(実時間)で複数枚の画像を得るには、上述のように複数台のビデオカメラを具えることが必須となって、対象物位置検出装置の製造コストひいては作業ロボットの製造コストが嵩むことになるという問題がある。
【0007】
また、複数枚の画像を処理してそれらの画像相互の関係から2次元情報を3次元情報に変換するには、複雑な処理と短くはない解析時間とを要するという問題もある。
【0008】
それゆえこの発明は、1台の単眼の撮像手段で撮像した対象物の1枚の画像から撮像手段に対する対象物の撮像面の位置すなわち距離と向きとを検出することで、対象物の撮像面の位置を簡易かつ安価に、しかも短時間で検出する装置を提供することを目的としている。
【0009】
またこの発明は、上述の装置を具える作業ロボットを提供することを目的としている。
【課題を解決するための手段】
【0010】
この発明は上記課題を有利に解決するものであり、この発明の撮像面位置検出装置は、レーザ光軸が互いに交差するように配置された少なくとも3台のレーザ光照射手段と、前記少なくとも3台のレーザ光照射手段に対する所定位置で、それらのレーザ光照射手段からレーザビームを照射された対象物の表面を撮像する1台の単眼すなわち単一光軸の撮像手段と、前記撮像手段が前記対象物の撮像面を撮像した1枚の画像での前記レーザビームの少なくとも3つの照射点の位置と前記撮像手段の撮像光軸との位置関係から幾何学的演算により前記撮像手段に対する前記対象物の撮像面の距離と向きとを求めて出力する演算手段と、を具えてなるものである。
【0011】
またこの発明の作業ロボットは、前記撮像手段に対する前記対象物の撮像面の距離と向きとを検出して出力する前記撮像面位置検出装置と、前記出力された撮像面の距離と向きとに基づき、腕と、その腕の先端部に設けられたエンドエフェクタとの少なくとも一方を作動させる作動制御手段と、を具えてなるものである。
【発明の効果】
【0012】
上述したこの発明の撮像面位置検出装置にあっては、少なくとも3台のレーザ光照射手段がそれぞれ、レーザ光軸が互いに交差する向きでレーザビームを対象物の表面に照射し、1台の単眼の撮像手段がそれら少なくとも3台のレーザ光照射手段に対する所定位置で、それらのレーザ光照射手段からレーザビームを照射された対象物の表面を撮像し、演算手段が、前記撮像手段が前記対象物の撮像面を撮像した1枚の画像での前記レーザビームの少なくとも3つの照射点の位置と前記撮像手段の単一の撮像光軸との位置関係から幾何学的演算により、前記撮像手段に対する前記対象物の撮像面の距離と向きとを求めて出力する。
【0013】
従って、この発明の撮像面位置検出装置によれば、1台の単眼の撮像手段で撮像した対象物の1枚の画像から撮像手段に対する対象物の撮像面の位置すなわち距離と向きとを幾何学的演算により検出するので、対象物の撮像面の位置を簡易かつ安価に、しかも短時間で検出することができる。
【0014】
なお、この発明の撮像面位置検出装置においては、前記少なくとも3台のレーザ光照射手段からのレーザビームは、前記撮像手段の撮像光軸上の1点で互いに交差すると好ましい。撮像光軸を基準にしてレーザビームの各照射点の位置を表せるので幾何学的計算をより簡易化できるからでる。
【0015】
また、この発明の撮像面位置検出装置においては、前記レーザ光照射手段を奇数台具えていると好ましい。対象物の撮像面上のレーザビームの照射点の数が奇数となるため、対象物の撮像面がレーザ光軸の交差点より手前のある場合と先にある場合とで照射点を結んだ図形の向きが逆向きになるので、撮像面の位置をより容易に計算できるからである。
【0016】
さらに、この発明の撮像面位置検出装置においては、前記対象物の撮像面は平面であると好ましい。対象物の撮像面上のレーザビームの照射点の位置関係から撮像面の位置をより容易に計算できるからである。
【0017】
一方、上述したこの発明の作業ロボットにあっては、作業ロボットに設けられた撮像面位置検出装置が、その撮像手段に対する対象物の撮像面の距離と向きとを検出して出力し、作動制御手段が、撮像面位置検出装置から出力された前記撮像面の距離と向きとに基づき、その作業ロボットの腕と、その腕の先端部に設けられたエンドエフェクタとの少なくとも一方を作動させる。
【0018】
従って、この発明の作業ロボットによれば、簡易かつ安価な構成により、実質的にリアルタイムで対象物の撮像面の位置を求めて、腕と、その腕の先端部に設けられたエンドエフェクタとの少なくとも一方を作動させることができるので、製造コストを高めることなく作業ロボットの作動速度を高めることができる。
【0019】
しかも、撮像面位置検出装置の少なくとも3台のレーザ光照射手段と撮像手段との位置関係が固定されているので、撮像面位置検出装置を具える頭や腕等の部位が作動停止後に多少振動していても、その振動にほとんど影響されずに撮像面の位置検出を行うことができる。
【図面の簡単な説明】
【0020】
【図1】この発明の撮像面位置検出装置の一実施例の構成を、光学系を斜め後方から見た状態で示す構成図である。
【図2】上記実施例の撮像面位置検出装置の光学系を斜め前方から見た状態で示す斜視図である。
【図3】上記実施例の撮像面位置検出装置の光学系をカメラ画像の向きで見た状態で示す平面図である。
【図4】上記実施例の撮像面位置検出装置の光学系と対象物との幾何学的位置関係を図3中のA−A線に沿う断面で示す説明図である。
【図5】上記実施例の撮像面位置検出装置の光学系と対象物との幾何学的位置関係を図4と同様の位置での断面で示す説明図である。
【図6】上記実施例の撮像面位置検出装置を具えた、この発明の作業ロボットの一実施例を示す斜視図である。
【図7】上記実施例の作業ロボットの腕の先端部に具えるハンドおよび上記実施例の撮像面位置検出装置を示す斜視図である。
【図8】図7に示すハンドおよび上記実施例の撮像面位置検出装置を斜め前方から見た状態で示す斜視図である。
【発明を実施するための形態】
【0021】
以下、この発明の実施の形態を図面に基づく実施例によって詳細に説明する。ここに、図1は、この発明の撮像面位置検出装置の一実施例の構成を、光学系を斜め後方から見た状態で示す構成図、図2は、上記実施例の撮像面位置検出装置の光学系を斜め前方から見た状態で示す斜視図、図3は、上記実施例の撮像面位置検出装置の光学系をカメラ画像の向きで見た状態で示す平面図、そして図4は、上記実施例の撮像面位置検出装置の光学系と対象物との幾何学的位置関係を図3中のA−A線に沿う断面で示す説明図である。
【0022】
この実施例の撮像面位置検出装置は、レーザビーム(光線)の光軸が互いに交差するように配置された3台の、レーザ光照射手段としてのレーザ光照射装置1と、それら3台のレーザ光照射装置1に対する所定位置で、それらのレーザ光照射装置1からレーザビームB1,B2,B3を照射された対象物2の表面である撮像面2aを撮像する1台の、単眼の撮像手段としてのビデオカメラ3と、そのビデオカメラ3が対象物(図示例では平板)2の撮像面2aを撮像した1枚の画像での、3台のレーザ光照射装置1からのレーザビームB1,B2,B3の3つの照射点I1,I2,I3の位置とビデオカメラ3の撮像光軸としてのレンズ光軸LCとの位置関係から幾何学的演算により、ビデオカメラ3に対する対象物2の撮像面2aの距離と向きとを求めて出力する、演算手段としての演算装置4と、上記3台のレーザ光照射装置1と1台のビデオカメラ3とを互いに位置決めして固定支持するブラケット5と、を具えてなるものである。
【0023】
ここで、レーザ光照射装置1としては、例えばレーザダイオードで出力したレーザビームを表示物等に照射し、そのレーザビームの照射点である光点で表示物等を指し示す通常のレーザポインタを用いることができ、またビデオカメラ3としては、例えばCCD撮像素子で対象物を撮像した画像を電気信号として出力する通常のビデオカメラを用いることができ、そして演算装置4としては、例えばCPU(中央処理ユニット)、ROM(読み出し専用メモリ)、RAM(ランダムアクセスメモリ)およびI/O(入出力インターフェース)等を持ち、予めROM等に記憶したプログラムに基づき一時記憶にRAM等を用いながらCPUで演算処理を行ってその結果をI/Oから出力する通常のマイクロコンピュータを用いることができる。
【0024】
この実施例におけるブラケット5は、図3に示すように、枠状部5aによりビデオカメラ3を固定支持するとともに、その枠状部5aから放射状に突出した3本の腕部5bに図示しないボルトで位置調節可能に固定した筒状部5cにより3台のレーザ光照射装置1をそれぞれ固定支持している。かかる支持構造により、図4に1台のレーザ光照射装置1について代表で示すように、3台のレーザ光照射装置1からのレーザビームB1,B2,B3(図4では符号Bで示す)の光軸はそれぞれ、ビデオカメラ3のレンズ光軸LCに対しレンズ3aの位置から距離Hmmの1点CPで交差するとともに互いに同一の角度θをなし、また図3の平面図で真上から見て示すように、それらのレーザビームB1,B2,B3のそれぞれの光軸とビデオカメラ3のレンズ光軸LCとを含む、図3の紙面に垂直な平面が3枚存在し、それらの垂直平面はレンズ光軸LCを交線として互いに120°の角度で交差している。
【0025】
上記の位置関係において演算装置4は、ビデオカメラ3が撮像した1枚の画像から、ビデオカメラ3に対する対象物2の、図示例では平面である撮像面2aの3次元的な距離と向きとを、ビデオカメラ3と撮像面2aとの幾何学的な関係に基づき、以下の如くして演算で求める。
【0026】
すなわち、図3に示す向きで撮像したビデオカメラ3の画像は、四角の1コマを1ピクセルとすると水平ピクセル数と垂直ピクセル数とで規定され、指定するピクセルの位置は2次元座標(x,y)にて表記できる。ここで、画像上でのレンズ光軸LCの位置を画像原点(0,0)とするとともに、その画像原点(0,0)からレーザビームB1,B2,B3の照射点I1,I2,I3までの距離をa1,a2,a3とすると、
レーザビームB1の照射点I1の位置は(a1,0)、
レーザビームB2の照射点I2の位置は(a2・cos120°,a2・sin120°)、
レーザビームB3の照射点I3の位置は(a3・cos240°,a3・sin240°)であり、
照射点I1,I2,I3は、画像原点(0,0)から0°、120°、240°の角度を通る直線上にそれぞれ位置する。
【0027】
対象物2の撮像面2aの3次元的な向きを計算すると、図4に示すように、レーザビームB1,B2,B3の3本の光軸とビデオカメラ3のレンズ光軸LCとの交点CPの手前(ビデオカメラ3寄り)に対象物2の撮像面2aがある場合には、その交点CPを三次元座標系の原点0(0,0,0)、レンズ光軸LCを三次元座標系のz軸方向としたときの、撮像面2aの向きを表す、原点0から撮像面2aへ向かう単位長さの法線ベクトルNU(lx,ly,lz)の各座標軸成分は、
照射点I2の長さ比r2=a2/a1、
照射点I3の長さ比r3=a3/a1より、
lx=k(1/r2+1/r3)/(√3tanθ)、
ly=k(2−1/r2+1/r3)/(3tanθ)、
lz=k(1−(2−1/r2+1/r3)/3)
となる。
ここで、k=1/√{(1/r2+1/r3)/(√3tanθ)+(2−1/r2+1/r3)/(3tanθ)+(1−(2−1/r2+1/r3)/3)}である。
【0028】
これについて説明すると、ある点A=(x0,y0,z0)を通り、その点Aおよび原点0(0,0,0)を通る直線に垂直な平面を考えた場合に、点Aからその平面上の任意の点P(X,Y,Z)に引いたベクトルAPは、
AP=(X−x0,Y−y0,Z−z0)であり、
原点Oから点Aに引いたベクトルOAは、
OA=(x0,y0,z0)であり、それら互いに直角な2つのベクトルAP,OAの内積は0であることから、
x0(X−x0)+y0(Y−y0)+z0(Z−z0)=0
が成り立つ。
【0029】
これをこの実施例の装置に当てはめると、
(1)レーザビームB1,B2,B3の3本の光軸とビデオカメラ3のレンズ光軸LCとの交点CPに設定した原点O(0,0,0)からレーザビームB1上を照射点I1へ向かう所定長さのベクトルb1を考えると、b1が3次元座標系のy軸と、レンズ光軸LCに一致するz軸とを含む平面(先の3枚の垂直平面の1つ)の上にあるとして、
b1=(b1x,b1y,b1z)=(sin0°・tanθ,cos0°・tanθ,1)=(0,tanθ,1)となり、ベクトルb1の長さは
1/cosθ=√(1+tanθ)=√{(cosθ+sinθ)/cosθ}=√(1/cosθ)
となる。
上記ベクトルb1を含む直線であるレーザビームB1の光軸上の点の座標は、tを変数とすると、
x=sin0°・tanθ・t=0
y=cos0°・tanθ・t=tanθ・t
z=1・t=t
となる。
【0030】
上記点A(x0,y0,z0)が、レーザビームB1,B2,B3の照射点I1,I2,I3を含む平面である撮像面2a上にあると考えると、その点Aおよび原点0(0,0,0)を通る直線は撮像面2aの法線となるので、上記ベクトルb1を含む直線であるレーザビームB1の光軸と、上記法線に垂直な平面である撮像面2aとの交点であるレーザビームB1の照射点I1を点Q(x,y,z)とすると、
OA=(x0,y0,z0)であり、
AQ=(0−x0,tanθ・t−y0,t−z0)である。
これら互いに直角な2つのベクトルAQ,OAの内積は0であることから、
x0(0−x0)+y0(tanθ・t−y0)+z0(t−z0)=0
となり、これをtについて整理すると、
(y0・tanθ+z0)t=x0+y0+zo=L
となる。このLは、原点0(0,0,0)すなわちレーザビームB1とレンズ光軸LCとの交点CPから撮像面2aまでの距離(法線上の長さ)を表す。
また、t=L/(y0・tanθ+z0)となる。
【0031】
(2)原点O(0,0,0)からレーザビームB2上を照射点I2へ向かう所定長さのベクトルb2を考えると、b2が、3次元座標系のy軸とz軸とを含む平面に対しz軸を中心として反時計回りに120°回転した位置にある平面(先の3枚の鉛直平面の他の1つ)の上にあるとして、
b2=(b2x,b2y,b2z)=(sin120°・tanθ,cos120°・tanθ,1)となり、上記ベクトルb2を含む直線であるレーザビームB2の光軸上の点の座標は、tを変数とすると、
x=sin120°・tanθ・t
y=cos120°・tanθ・t
z=1・t=t
となる。
【0032】
上記のように点A(x0,y0,z0)が、レーザビームB1,B2,B3の照射点I1,I2,I3を含む平面である撮像面2a上にあると考えると、その点Aおよび原点0(0,0,0)を通る直線は撮像面2aの法線となるので、上記ベクトルb2を含む直線であるレーザビームB2の光軸と、上記法線に垂直な平面である撮像面2aとの交点であるレーザビームB2の照射点I2を点R(x,y,z)とすると、
OA=(x0,y0,z0)であり、
AR=(sin120°・tanθ・t−x0,cos120°・tanθ・t−y0,t−z0)である。
これら互いに直角な2つのベクトルAR,OAの内積は0であることから、
x0(sin120°・tanθ・t−x0)+y0(cos120°・tanθ・t−y0)+z0(t−z0)=0
となり、これをtについて整理すると、
(x0・sin120°・tanθ+y0・cos120°・tanθ+z0)t=L
となる。
また、t=L/(x0・sin120°・tanθ+y0・cos120°・tanθ+z0)となる。
【0033】
(3)原点OからレーザビームB3上を照射点I3へ向かう所定長さのベクトルb3を考えると、b3が、3次元座標系のy軸とz軸とを含む平面に対しz軸を中心として反時計回りに240°回転した位置にある平面(先の3枚の鉛直平面の他の1つ)の上にあるとして、
b3=(b3x,b3y,b3z)=(sin240°・tanθ,cos240°・tanθ,1)となり、上記ベクトルb3を含む直線であるレーザビームB3の光軸上の点の座標は、tを変数とすると、
x=sin240°・tanθ・t
y=cos240°・tanθ・t
z=1・t=t
となる。
【0034】
上記のように点A(x0,y0,z0)が、レーザビームB1,B2,B3の照射点I1,I2,I3を含む平面である撮像面2a上にあると考えると、その点Aおよび原点0(0,0,0)を通る直線は撮像面2aの法線となることから、上記ベクトルb3を含む直線であるレーザビームB3の光軸と、上記法線に垂直な平面である撮像面2aとの交点であるレーザビームB2の照射点I2を点S(x,y,z)とすると、
OA=(x0,y0,z0)であり、
AS=(sin240°・tanθ・t−x0,cos240°・tanθ・t−y0,t−z0)である。
これら互いに直角な2つのベクトルAS,OAの内積は0であることから、
x0(sin240°・tanθ・t−x0)+y0(cos240°・tanθ・t−y0)+z0(t−z0)=0
となり、これをtについて整理すると、
(x0・sin240°・tanθ+y0・cos240°・tanθ+z0)t=L
となる。
また、t=L/(x0・sin240°・tanθ+y0・cos240°・tanθ+z0)となる。
【0035】
(4)レーザビームB1の照射点I1のxy平面座標は、上記(1)からx=0、y=tanθ・tであり、t=L/(y0・tanθ+z0)であるので、
(0,tanθ・L/(y0・tanθ+z0))となる。
またレーザビームB2の照射点I2のxy平面座標は、上記(2)からx=sin120°・tanθ・t、y=cos120°・tanθ・tであり、t=L/(x0・sin120°・tanθ+y0・cos120°・tanθ+z0)であるので、
(sin120°・tanθ・L/(x0・sin120°・tanθ+y0・cos120°・tanθ+z0),cos120°・tanθ・L/(x0・sin120°・tanθ+y0・cos120°・tanθ+z0))となる。
さらにレーザビームB3の照射点I3のxy平面座標は、上記(3)からx=sin240°・tanθ・t、y=cos240°・tanθ・tであり、t=L/(x0・sin240°・tanθ+y0・cos240°・tanθ+z0)であるので、
(sin240°・tanθ・L/(x0・sin240°・tanθ+y0・cos240°・tanθ+z0),cos240°・tanθ・L/(x0・sin240°・tanθ+y0・cos240°・tanθ+z0))となる。
【0036】
(5)撮像面2aの向きを表す、原点0から撮像面2aに至る法線ベクトルNLは(Lx,Ly,Lz)であるので、x0=Lx、y0=Ly、z0=Lzであり、これを用いると、
レーザビームB1の照射点I1のxy平面座標は、
(0,tanθ・L/(Ly・tanθ+Lz))となる。
またレーザビームB2の照射点I2のxy平面座標は、sin120°=√3/2,cos120°=−1/2であるので、
(√3/2・tanθ・L/((√3・Lx−Ly)/2・tanθ+Lz),−1/2・tanθ・L/((√3・Lx−Ly)/2・tanθ+Lz))となる。
さらにレーザビームB3の照射点I3のxy平面座標は、sin240°=−√3/2,cos240°=−1/2であるので、
(√3/2・tanθ・L/((√3・Lx+Ly)/2・tanθ−Lz),1/2・tanθ・L/((√3・Lx+Ly)/2・tanθ−Lz))となる。
【0037】
(6)レーザビームB1,B2,B3の照射点I1,I2,I3の、xy平面座標系における原点(0,0)からの長さa1,a2,a3は、単位長さの法線ベクトルNU(lx,ly,lz)(但しlx+ly+lz=1)を用いて、Lx/L=lx,Ly/L=ly,Lz/L=lzとすると、
a1=tanθ・L/(Ly/L・tanθ+Lz/L)=tanθ・L/(Ly/L・tanθ+Lz/L)=tanθ・L/(ly・tanθ+lz)
a2=tanθ・L/((√3Lx/L−Ly/L)/2・tanθ+Lz/L)=tanθ・L/((√3lx−ly)/2・tanθ+lz)
a3=tanθ・L/((√3Lx/L+Ly/L)/2・tanθ−Lz/L)=tanθ・L/((√3lx+ly)/2・tanθ−lz)
となる。
【0038】
(7)ここで、a1,a2,a3についての撮像面2aの傾きに関する補正係数kを、
1≡k・1/(ly・tanθ+lz)と設定すると、
ly・tanθ+lz=k
従って、lz=k−ly・tanθ
長さ比r2=a2/a1とすると、
(ly・tanθ+lz)/((√3lx−ly)/2・tanθ+lz)=r2
これに上記のlzの式を入れると、
r2・((√3lx−ly)/2・tanθ+lz)=k
さらに上記のlzの式を入れると、
r2・((√3lx−ly)/2・tanθ+k−ly・tanθ)=k
従って、r2・((√3lx−3ly)/2・tanθ+k)=kとなる。
また、長さ比r3=a3/a1とすると、
(ly・tanθ+lz)/((√3lx+ly)/2・tanθ−lz)=r3
これに上記のlzの式を入れると、
r3・((√3lx+ly)/2・tanθ−lz)=k
さらに上記のlzの式を入れると、
r3・((√3lx+ly)/2・tanθ−k+ly・tanθ)=k
従って、r3・((√3lx+3ly)/2・tanθ−k)=kとなる。
【0039】
これらから、
(√3lx−3ly)/2・tanθ+k−k/r2=0
(√3lx+3ly)/2・tanθ−k−k/r3=0
上記両式を加算すると、
√3lx・tanθ−k/r2−k/r3=0
これより、lx=k(1/r2+1/r3)/(√3tanθ)となる。
両式を減算すると、
k(2−1/r2+1/r3)=3ly・tanθ
これより、ly=k(2−1/r2+1/r3)/(3tanθ)となる。
さらに、上記のlzの式とlyより、
lz=k−ly・tanθ=k−{k(2−1/r2+1/r3)/(3tanθ)}・tanθ
=k−k(2−1/r2+1/r3)/3となる。
ここで、lx+ly+lz=1であるので、上記のlx,ly,lzを代入して、
{(1/r2+1/r3)/(√3tanθ)+(2−1/r2+1/r3)/(3tanθ)+(1−(2−1/r2+1/r3)/3)}=1
従って、k=1/√{(1/r2+1/r3)/(√3tanθ)+(2−1/r2+1/r3)/(3tanθ)+(1−(2−1/r2+1/r3)/3)}となる。
【0040】
すなわち、撮像面2aの傾きを表すlx,ly,lzおよび撮像面2aの傾きに関する補正係数kは何れも、画像におけるa1に対するa2,a3の長さ比r2,r3と、あらかじめ定めたカメラ光軸LCに対するレーザビームの角度θとから求めることができる。
【0041】
なお、図5に示すように、レーザビームB1,B2,B3の3本の光軸とビデオカメラ3のレンズ光軸LCとの交点CPの先に対象物2の撮像面2aがある場合にも、同様にして、撮像面2aの傾きを表すlx,ly,lzおよび撮像面2aの傾きに関する補正係数kを何れも、画像におけるa1に対するa2,a3の長さ比r2,r3と、あらかじめ定めたカメラ光軸LCに対するレーザビームの角度θとから求めることができる。
【0042】
次に、ビデオカメラ3のレンズ3aから対象物2の撮像面2aまでのカメラ光軸LC上での距離Dを計算すると、上述のように、図3に示す向きで撮像したビデオカメラ3の画像は、四角の1コマを1ピクセルとすると水平ピクセル数と垂直ピクセル数とで規定され、指定するピクセルの位置は2次元座標(x,y)にて表記できる。
ここで、既知の1ピクセルのサイズをs(mm)、画像上で求まるカメラ光軸LCからレーザビームB1の照射点I1までのピクセル数をnpicとすると、照射点I1の結像サイズBsは、
Bs=s・npic
で求まる。
そして、既知の焦点距離f(mm)より結像画角αは、図4および図5に示すように、
tanα=Bs/f=a/D
で求まる。
【0043】
レーザビームB1において、撮像面2a上の照射点I1とカメラ光軸LCとの距離a’(a’=a1)は、図4に示すように、レーザビームB1,B2,B3の3本の光軸とビデオカメラ3のレンズ光軸LCとの交点CPの手前に対象物2の撮像面2aがある場合(D<H:但しHは、ビデオカメラ3のレンズ3aから、レーザビームB1,B2,B3の3本の光軸とカメラ光軸LCとの交点CPまでの距離を表す)には、
a=a’(1+tanεtanα)=Dtanα
で表される。但し、tanε=Lx/Lz=−lx/lzである。
両片にtanεを乗じると
a’(1+tanεtanα)tanε=Dtanαtanε
従って、
a’tanε=Dtanαtanε/(1+tanεtanα)
ここで、e=tanαtanε/(1+tanεtanα)とすると、
a’tanε=De
となる。
【0044】
撮像面2a上の照射点I1の、レンズ3aからのカメラ光軸LC上での距離は、図4に示すように、
D−a’tanε
であり、
一方、撮像面2a上の照射点I1の、レーザビームB1,B2,B3の3本の光軸とレンズ光軸LCとの交点CPからのカメラ光軸LC上での距離は、
L/cosζ+a’tanε
である。但し、tanζ=√(lx+ly)/lzである。
次に、a’と上記αおよび既知のレーザビーム角θとの関係を求めると、図4に示すように、
a’/(D−a’tanε)=tanα
a’/(L/cosζ+a’tanε)=tanθ
であり、これにより、
(D−a’tanε)tanα=(L/cosζ+a’tanε)tanθ
ここで上記a’tanε=Deを用いると、
(D−De)tanα=(L/cosζ+De)tanθ
【0045】
さらに、レンズ3aから、レーザビームB1,B2,B3の3本の光軸とレンズ光軸LCとの交点CPまでの距離Hは、図4に示すように、
D+L/cosζ=H
従って、
L/cosζ=H−D
であり、先のa’とαおよびθとの関係式に上記の式を代入してL/cosζを消去すると、
(D−De)tanα=(H−D+De)tanθ
(D−De)で纏めると、
(D−De)(tanα+tanθ)=Htanθ
従って、
D(1−e)(tanα+tanθ)=Htanθ
よって、ビデオカメラ3のレンズ3aから対象物2の撮像面2aまでのカメラ光軸LC上での距離Dは、
D=Htanθ/{(1−e)(tanα+tanθ)}
となる。但し、e=tanαtanε/(1+tanεtanα)である。
【0046】
一方、図5に示すように、レーザビームB1,B2,B3の3本の光軸とビデオカメラ3のレンズ光軸LCとの交点CPの先に対象物2の撮像面2aがある場合(D>H:但しHは、ビデオカメラ3のレンズ3aから、レーザビームB1,B2,B3の3本の光軸とカメラ光軸LCとの交点CPまでの距離を表す)には、
L/cosζ=D−H
であるから、レーザビームB1において、撮像面2a上の照射点I1とカメラ光軸LCとの距離a’(a’=a1)は、
a=a’(1−tanεtanα)=Dtanα
であり、ここで、g=tanαtanε/(1−tanεtanα)とすると、
a’tanε=Dg
となる。
【0047】
次に、D<Hの場合と同様にしてa’とαおよびθとの関係を求めると、図5に示すように、
a’/(D+a’tanε)=tanα
a’/(D−H+a’tanε)=tanθ
であり、これにより、
(D+a’tanε)tanα=(D−H+a’tanε)tanθ
ここで上記a’tanε=Dgを用いると、
(D+Dg)tanα=(D−H+Dg)tanθ
Dで纏めると、
D(1+g)tanα=D(1−g)tanθ−Htanθ
従って、
D{(1−g)tanθ−(1+g)tanα}=Htanθ
よって、ビデオカメラ3のレンズ3aから対象物2の撮像面2aまでのカメラ光軸LC上での距離Dは、
D=Htanθ/{(1−g)tanθ−(1+g)tanα}
=Htanθ/{tanθ−tanα−g(tanθ+tanα)}
となる。但し、g=tanαtanε/(1−tanεtanα)である。
【0048】
なお、対象物2の撮像面2aが、レーザビームB1,B2,B3の3本の光軸とビデオカメラ3のレンズ光軸LCとの交点CPの手前にあるか先にあるかの判別は、ビデオカメラ3の画像における、レーザビームB1,B2,B3の照射点I1,I2,I3を結んだ三角形の向き(図3では、交点CPの手前にあるので三角形の頂点が右に向いており、交点CPの先にある場合は三角形の頂点が左に向く)を画像処理で識別すれば、容易に行うことができる。
【0049】
そしてこのことは、レーザビームの本数が3本でなくても、その本数が奇数であるか、あるいはレーザビームの照射点を結んだ図形が特定の線に対して線対称(例えば正方形や長方形等)でないものであれば、同様にして成立する。
【0050】
図6は、上記実施例の撮像面位置検出装置を具えた、この発明の作業ロボットの一実施例としての台車型作業ロボットを示す斜視図、図7は、上記実施例の台車型作業ロボットの腕の先端部に具えるハンドおよび上記実施例の撮像面位置検出装置を示す斜視図、そして図8は、図7に示すハンドおよび上記実施例の撮像面位置検出装置を斜め前方から見た状態で示す斜視図である。
【0051】
この実施例の台車型作業ロボット10は、撮像手段としての2台のテレビカメラ11を有する頭部12と、2本の作業腕13と、それらの作業腕13を支持する胴部14とを有する上半身15と、その上半身15の胴部14の上端部から下方へ延在する支持部材としての支柱16とを具えている。2台のテレビカメラ11は互いに略同一方向へ向いて一緒に頭部12に固定され、その頭部12は、頭部12を水平なピッチ軸線P1周りに揺動させる首ピッチ軸駆動機構と、その首ピッチ軸駆動機構を鉛直なヨー軸線Y1周りに回動させる首ヨー軸駆動機構とを有する2自由度の首部関節17を介して胴部14の上端部に取り付けられている。そして胴部14の下端部は、ヨー軸線Y1周りに胴部14を回動させる胴部ヨー軸駆動機構を有する1自由度の胴部関節18を介して支柱16の下端部に取り付けられ、これにより支柱16はその上端部で上半身15を支持している。
【0052】
また、2本の作業腕13は胴部14の左右両側にそれぞれ設けられ、各作業腕13は、胴部14と作業腕13の上腕13aとの間の肩関節19と、上腕13aと下腕13bとの間の肘関節20と、下腕13bと図6〜8に示すハンド21や図示しない電動ドライバ等のエンドエフェクタとの間の手首関節22とを有しており、肩関節19は、図6に示すように、胴部14の左右に突出した肩ブラケット23にそれぞれ配置され、胴部14に対し作業腕13の全体をヨー軸線Y2周りに相対的に左右に回動させる肩ヨー軸駆動機構と、胴部14に対し、そのヨー軸線Y2と直交するピッチ軸線P2周りに作業腕13の全体を相対的に前後に傾動させる肩ピッチ軸駆動機構とを有している。
【0053】
ここで、肩ブラケット23の肩ヨー軸駆動機構支持面は、鉛直なヨー軸線Y1に対して斜め下方に15度傾いて配置されており、このため各ヨー軸線Y2は、胴部14の上下方向に対して15度傾いて、下方へ行くほど胴部14に近くなるように延在し、それに伴い、各ヨー軸線Y2と直交する各ピッチ軸線P2も、床面に対して15度傾いている。そして作業腕13の上腕13aは、下に下げた状態で肘関節20に近い部分ほど胴部14に近くなるように傾いて延在している。この構成によれば、この実施例の台車型作業ロボット10がその横に位置する作業者と協調あるいは協働して作業を行う場合に、作業者の横に位置する肘関節20が、作業者から離れており、しかも横に動かないので、作業者が作業腕13と干渉する可能性を小さくすることができる。
【0054】
さらに、各肘関節20は、上腕13aに対し下腕13bを、ピッチ軸線P2に平行なピッチ軸線P3周りに上下に傾動させる肘ピッチ軸駆動機構を有し、また、各手首関節22は、下腕13bに対してハンド21や電動ドライバ等のエンドエフェクタをピッチ軸線P4周りに相対的に上下に傾動させる手首ピッチ軸駆動機構と、そのエンドエフェクタをピッチ軸線P4と直交するヨー軸線Y3周りに相対的に左右に回動させる手首ヨー軸駆動機構と、下腕13bに対して手首ピッチ軸駆動機構および手首ヨー軸駆動機構をその下腕13bに沿って延在するロール軸線R周りにねじる手首ロール軸駆動機構とを有している。この結果として各作業腕13は6自由度を有し、これらピッチ軸、ヨー軸およびロール軸駆動機構の軸配置により、2本の作業腕13は特異点がなく自由な姿勢を作ることができる。なお、上記各関節のピッチ軸、ヨー軸およびロール軸の軸駆動機構は各々、周知のように例えばサーボモータ等のモータの出力回転を例えば商品名ハーモニックドライブ等の減速機で減速して出力する、逆入力可能な回動機構で構成されている。
【0055】
そして、この実施例の台車型作業ロボット10は、図6〜8に示すように、左の作業腕13の手首関節22で、エンドエフェクタとしてのハンド21とともに、上記実施例の撮像面位置検出装置の1台のビデオカメラ3および3台のレーザ光照射装置1を、それらのレーザ光照射装置1のレーザビーム光軸とビデオカメラ3のレンズ光軸LCとが1点で交差するように互いに位置決め支持する、図示例では概略円形枠状のブラケット5を支持しており、右の作業腕13の手首関節22では、エンドエフェクタとしての図示しない電動ドライバを交換可能に支持している。
【0056】
さらに、この実施例の台車型作業ロボット10は、図6に示すように、支柱16の下端部を脚の代わりに支持する台車24を具えており、この台車24は、支柱16を介して胴部14を昇降移動させる例えば通常のボールねじ式の図示しない電動アクチュエータと、作業腕13や胴部14内に収容された各可動軸用駆動回路の作動を制御する、通常のコンピュータを有する作動制御手段としての図示しないコントロールボックスと、頭部12に搭載された二台のビデオカメラ11からの画像(視覚情報)に基づき、机やワークに表示された複数のマークの相対位置から机やワークの3次元座標および向きを認識して上記コントロールボックスに伝達するとともに、手首関節22に支持された上記実施例の撮像面位置検出装置のビデオカメラ3からの画像に基づき、前述の如くしてレーザ光照射装置1に対する机やワーク等の対象物2の撮像面2aの距離および向きひいては当該台車型作業ロボット10の3次元座標系における撮像面2aの位置および向きを演算で求めて上記コントロールボックスに伝達する、これも通常のコンピュータを有する図示しない視覚制御ボックスと、を搭載している。従って、ここにおける視覚制御ボックスは演算装置4を構成する。
【0057】
そして、ここにおける台車24はその下部に、四本の固定脚25と、各々首振り可能な図示しない四個のキャスタとを有しており、これらのキャスタは、台車24の下部に平行リンクを介して昇降可能に支持された可動フレームに取付けられて可動フレームとともに昇降可能とされ、可動フレームは、図示しないペダル等の操作により、キャスタが固定脚25よりも下がって台車24を床面上で走行可能に支持する下降位置と、キャスタが固定脚25よりも上がって台車24が固定脚25で固定支持される収納位置との間で昇降移動させることができる。また、ここにおける台車24はその後部に、人手で押し引きできるようにハンドル26を設けられるとともに、そのハンドル26に、図示しないスイッチボックスを着脱可能に装着されており、このスイッチボックスには、この実施例の台車型作業ロボット10を完全に停止させる非常停止スイッチおよび、この実施例の台車型作業ロボット10を制御系は生かしたまま作動のみ停止させる保護停止スイッチと、上記電動アクチュエータによる胴部14の昇降スイッチとが設けられている。
【0058】
従って、この実施例の台車型作業ロボット10は、手動で任意の作業場所へ移動させて、その場所で作業させることができる。なお、上記実施例の撮像面位置検出装置を除いたこの台車型作業ロボット10の構成の詳細は、本願出願人が先に特開2008−264899号公報および特開2010−064198号公報等にて開示しており、当業者に周知である。
【0059】
かかる実施例の台車型作業ロボット10にあっては、例えばワークに対してネジ締め作業を行う場合、上記視覚制御ボックスが、2台のビデオカメラ11が撮像する画像から、机や、その机上のパレットや、そのパレット上のワークの種類並びに概略3次元位置を、それらの表面に表示された複数のクロスマークの配置からパターンマッチングや写真測量等の方法により計測してコントロールボックスに知らせ、コントロールボックスはそれらの種類および3次元位置に応じて、先ず、ハンド21とともに上記実施例の撮像面位置検出装置のビデオカメラ3およびレーザ光照射装置1を、パレット上のワークに近づけるように、左の作業腕13を作動させる。
【0060】
次いで、ワーク表面に照射された3本のレーザビームの照射点をビデオカメラ3がワークに対し至近距離の位置で撮像し、上記視覚制御ボックスが、前述の如くしてそのワークの3次元位置および向きをその至近距離のデータから高精度に求めてコントロールボックスに知らせ、これによりコントロールボックスが、左の作業腕13を正確に作動させてハンド21のフィンガ21aでワークを確実に把持して持ち上げる。そしてこの把持によりワークの3次元位置および姿勢が高精度に定まったので、コントロールボックスは次に、右の作業腕13を正確に作動させて電動ドライバでネジ締めを行い、さらに左の作業腕13を作動させて、ネジ締めが済んだワークを別の所定のパレット上に移動させ、そこでハンド21のフィンガ21aを解放作動させてそのワークをパレット上に載置する。
【0061】
従って、この実施例の撮像面位置検出装置によれば、1台の単眼のビデオカメラ3で撮像したワークの1枚の画像からビデオカメラ3に対する対象物2としてのワークの撮像面2aの3次元位置すなわち距離と向きとを幾何学的演算により検出するので、ワークの撮像面の位置を簡易かつ安価に、しかも短時間で検出することができる。
【0062】
そして、この実施例の台車型作業ロボット10によれば、簡易かつ安価な構成により実質的にリアルタイムでワーク等の対象物2の撮像面2aの位置を求めて、作業腕13と、その作業腕13の先端部に設けられたハンド21や電動ドライバ等のエンドエフェクタとを作動させることができるので、製造コストを高めることなく作業ロボットの作動速度を高めることができる。
【0063】
しかも、この実施例の台車型作業ロボット10によれば、撮像面位置検出装置の3台のレーザ光照射装置1と1台のビデオカメラ3との相対的な位置関係がブラケット5によって固定されているので、撮像面位置検出装置を具える作業腕13が作動停止後に多少振動していてもその振動にほとんど影響されずに撮像面2aの位置検出を行うことができる。
【0064】
以上、図示例に基づき説明したが、本発明は上述した実施例に限定されるものでなく、特許請求の範囲の記載範囲内で適宜変更することができるものであり、例えば、この発明の撮像面位置検出装置においては、少なくとも3台のレーザ光照射手段からのレーザビームは、そのうちの少なくとも2台ずつでレーザ光軸が互いに交差するように配置されていれば足りる。また、この発明の撮像面位置検出装置においては、対象物の撮像面がレーザ光軸の交差点より手前にあるか先にあるかが別のカメラ等の手段によって判る場合には、レーザ光照射手段は必ずしも奇数台具えていなくても良い。そしてこの発明の撮像面位置検出装置においては、対象物の撮像面は、所定半径の球殻面等、幾何学的寸法形状が明らかなものであれば、必ずしも平面でなくてもよい。
【0065】
また、上記実施例の作業ロボットは移動式の台車型作業ロボットとしたが、本発明の作業ロボットは移動式でなく所定位置に固定されるものでも良い。また、上記実施例の作業ロボットはヒューマノイド型の双腕ロボットとしたが、本発明の作業ロボットは、エンドエフェクタを持つ多関節型作業腕とその作動を制御する制御装置とを具える通常の産業用ロボットでも良い。そして、本発明の撮像面位置検出装置の少なくとも3台のレーザ光照射手段と1台の撮像手段とは、作業ロボットの作業腕以外の部位、例えば作業場所の壁面等に設けても良い。
【産業上の利用可能性】
【0066】
かくしてこの発明の撮像面位置検出装置によれば、1台の単眼の撮像手段で撮像した対象物の1枚の画像から撮像手段に対する対象物の撮像面の位置すなわち距離と向きとを幾何学的演算により検出するので、対象物の撮像面の位置を簡易かつ安価に、しかも短時間で検出することができる。
【0067】
また、この発明の作業ロボットによれば、簡易かつ安価な構成により、実質的にリアルタイムで対象物の撮像面の位置を求めて、腕と、その腕の先端部に設けられたエンドエフェクタとの少なくとも一方を作動させることができるので、製造コストを高めることなく作業ロボットの作動速度を高めることができる。
【0068】
しかも、撮像面位置検出装置の少なくとも3台のレーザ光照射手段と撮像手段との位置関係が固定されているので、撮像面位置検出装置を具える頭や腕等の部位が作動停止後に多少振動していても、その振動にほとんど影響されずに撮像面の位置検出を行うことができる。
【符号の説明】
【0069】
1 レーザ光照射装置
2 対象物
2a 撮像面
3 ビデオカメラ
4 演算装置
5 ブラケット
5a 枠状部
5b 腕部
5c 筒状部
10 台車型作業ロボット
11 ビデオカメラ
12 頭部
13 作業腕
13a 上腕
13b 下腕
14 胴部
15 上半身
16 支柱
17 首部関節
18 胴部関節
19 肩関節
20 肘関節
21 ハンド
21a フィンガ
22 手首関節
23 肩ブラケット
24 台車
25 固定脚
26 ハンドル
B1,B2,B3 レーザビーム
CP 3本のレーザビームとレンズ光軸との交点
I1,I2,I3 照射点
LC レンズ光軸
P1,P2,P3,P4 ピッチ軸線
R ロール軸線
Y1,Y2,Y3 ヨー軸線

【特許請求の範囲】
【請求項1】
レーザ光軸が互いに交差するように配置された少なくとも3台のレーザ光照射手段と、
前記少なくとも3台のレーザ光照射手段に対する所定位置で、それらのレーザ光照射手段からレーザビームを照射された対象物の表面を撮像する1台の単眼の撮像手段と、
前記撮像手段が前記対象物の撮像面を撮像した1枚の画像での前記レーザビームの少なくとも3つの照射点の位置と前記撮像手段の撮像光軸との位置関係から幾何学的演算により前記撮像手段に対する前記対象物の撮像面の距離と向きとを求めて出力する演算手段と、
を具えてなる、撮像面位置検出装置。
【請求項2】
前記少なくとも3台のレーザ光照射手段からのレーザビームは前記撮像手段の撮像光軸上の1点で互いに交差する、請求項1記載の撮像面位置検出装置。
【請求項3】
前記レーザ光照射手段を奇数台具えている、請求項1または2記載の撮像面位置検出装置。
【請求項4】
前記対象物の撮像面は平面である、請求項1から3までの何れか1項記載の撮像面位置検出装置。
【請求項5】
前記撮像手段に対する前記対象物の撮像面の距離と向きとを検出して出力する請求項1から4までの何れか1項記載の撮像面位置検出装置と、
前記出力された撮像面の距離と向きとに基づき、腕と、その腕の先端部に設けられたエンドエフェクタとの少なくとも一方を作動させる作動制御手段と、
を具えてなる作業ロボット。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2011−257267(P2011−257267A)
【公開日】平成23年12月22日(2011.12.22)
【国際特許分類】
【出願番号】特願2010−132049(P2010−132049)
【出願日】平成22年6月9日(2010.6.9)
【出願人】(591210600)川田工業株式会社 (57)
【Fターム(参考)】