マニプレータ装置およびマニプレータ付き作業装置
【課題】
任意の位置にある把持対象物が、マニプレータによる把持可能な範囲に入るように、マニプレータを操作するための情報を取得し、また、その情報を操作者に分かりやすく提示する。
【解決手段】
アーム部とハンド部から成り、当該ハンド部は、把持範囲にある対象物を把持する１つまたは複数の指部を有するマニプレータ装置であって、前記指部の先端に第1の全方位撮像装置を設けるとともに、前記ハンド部の、前記指部の先端以外の位置に第2の全方位撮像装置を設け、前記第１の全方位撮像装置と前記第２の全方位撮像装置とは撮像軸が異なるように、例えば直交するように構成する。第１の全方位撮像装置による撮像画像に対象物が投影されず、且つ、第２の全方位撮像装置による撮像画像に対象物が投影されないことを確認することで、前記対象物が把持範囲にあることを判定することができる。
任意の位置にある把持対象物が、マニプレータによる把持可能な範囲に入るように、マニプレータを操作するための情報を取得し、また、その情報を操作者に分かりやすく提示する。
【解決手段】
アーム部とハンド部から成り、当該ハンド部は、把持範囲にある対象物を把持する１つまたは複数の指部を有するマニプレータ装置であって、前記指部の先端に第1の全方位撮像装置を設けるとともに、前記ハンド部の、前記指部の先端以外の位置に第2の全方位撮像装置を設け、前記第１の全方位撮像装置と前記第２の全方位撮像装置とは撮像軸が異なるように、例えば直交するように構成する。第１の全方位撮像装置による撮像画像に対象物が投影されず、且つ、第２の全方位撮像装置による撮像画像に対象物が投影されないことを確認することで、前記対象物が把持範囲にあることを判定することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マニプレータと、人がマニプレータに対する操作を行うための制御装置とを有する、マニプレータ付き作業装置に関する。
【背景技術】
【０００２】
マニプレータは、主に生産現場で組立などに利用されてきたが、今後は病院などの公共施設や家庭などの生活空間で人の活動を補助するものとしての利用にも期待がよせられている。本発明は、こうした生活空間で作業する作業機械の中でも、マニプレータと、人がマニプレータを操作するための制御装置とを有する生活空間向けマニプレータ付き作業装置に関するものである。こうした人操作型マニプレータ付き作業装置は、介護分野にて不自由者が自分の思い通りに生活行動を行うことを支援するシステムとして実用化が期待される。日常生活においては、工場のような整然とした広い作業空間とは異なり、把持対象物を含む物体が雑然として配置される空間のため、マニプレータにより、ある把持対象物を把持するためには、特にマニプレータの物体接触部位である指と、マニプレータの把持対象物の位置関係の取得が必要となる。また、日常生活におけるマニプレータによる物体操作は、細かな不定形な作業が必要となるため、操作者に対して、マニプレータの指と、マニプレータの操作対象物の位置関係を分かりやすく提示する手段も必要となる。
【０００３】
特許文献１には、マニプレータを有するロボットの体幹に第１のカメラを備え、第１のカメラとは別の第２のカメラをマニプレータに備え 、第1のカメラの画像と第２のカメラの画像とを合成する発明が開示されている。これにより、第１のカメラに映りこむマニプレータ部分の領域を、第２のカメラで補完することで、第1のカメラにおけるマニプレータによる死角を除去し、把持対象物の位置を第１のカメラにより特定している。
【０００４】
また、特許文献２においては、マニプレータの先端に固定されたピンクランプ装置の、ピンの先端にカメラを備える発明に関して述べられている。把持対象物（ワーク）に設けられた孔の中心線と、ピンの先端カメラの光軸を一致させることで、ピンクランプ装置の位置決めを行う。
【０００５】
一方、特許文献３には、移動ロボットの体幹に搭載されたカメラで当該ロボットの視点からの画像を撮影し、制御装置において表示された前記画像に基づいて、操作者が当該ロボットの操作を行う発明が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2010-131751号公報
【特許文献２】特開2009-184051号公報
【特許文献３】特開2002-321180号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載された方法では、マニプレータが把持姿勢を取る場合、第２のカメラは操作対象物の方向に向いていない。従って、マニプレータによる把持操作時においては、マニプレータの指と把持対象物の位置関係を取得する手段が提供されている訳ではない。そのため、マニプレータによる把持の瞬間において、把持対象物がマニプレータ指の把持可能な範囲にあるか、正確に判断することは困難である。
【０００８】
また、特許文献２に記載された方法は、把持対象物（ワーク）に設けられた孔が、ピンクランプ装置のピンに内蔵したカメラの視野範囲に収まる地点まで、予めマニプレータを移動させなければならない。しかし、ワークを含む物体が雑然として配置される生活空間においては、ワークの位置を予め取得することは必ずしも可能ではない。
【０００９】
一方、特許文献３に記載された方法においては、制御装置において表示された作業画像において、マニプレータや脚などの部位の体幹接続位置によっては、体幹に備えるカメラの視野の一部が部位によって遮られ、マニプレータと把持対象物の位置関係を撮影することができない。
【００１０】
即ち、従来開示されている技術においては、マニプレータによって把持対象物を把持する瞬間において、把持対象物がマニプレータの把持可能な位置にあるか、操作者が判断する手段がないことが課題である。
【００１１】
本発明は、任意の位置にある把持対象物が、マニプレータによる把持可能な範囲に入るように、マニプレータを操作するための情報を取得し、また、その情報を操作者に分かりやすく提示することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明のマニプレータ装置は、アーム部とハンド部から成り、当該ハンド部は、把持範囲にある対象物を把持する１つまたは複数の指部を有するマニプレータ装置であって、前記指部の先端に第1の全方位撮像装置を設けるとともに、前記ハンド部の、前記指部の先端以外の位置に第2の全方位撮像装置を設け、前記第１の全方位撮像装置と前記第２の全方位撮像装置とは撮像軸が異なることを特徴とする 。
【００１３】
本発明のマニプレータ装置は、前記第１の全方位撮像装置の撮像軸と前記第２の全方位撮像装置の撮像軸とが直交するように構成してもよい。
【００１４】
また、本発明のマニプレータ装置は、前記第２の全方位撮像装置の撮像範囲が前記指部の把持範囲と接するように、前記第2の全方位撮像装置を配置してもよい。
【００１５】
また、本発明のマニプレータ装置において、前記指部を支持する支持部の上端または下端に、前記第2の全方位撮像装置を配置してもよい。
【００１６】
また、本発明のマニプレータ装置において、前記ハンド部は、２つの直方体形状の指部と、前記２つの指部の把持面が向い合うように前記指部を支持する支持部と、前記２つの指部を並進運動させる並進関節機構とを含むものでよい。
【００１７】
また、本発明のマニプレータ装置において、前記ハンド部は、多関節を備えた複数の指部から構成される多指ハンドを含むものでよい。
【００１８】
本発明のマニプレータ付き作業装置は、前記のマニプレータ装置と、マニプレータ装置を操作する制御装置を備え、前記マニプレータ装置のアーム部は、１つまたは複数の腕節部を備え、前記ハンド部と前記腕節部との間、または、前記腕節部同士の間に、関節機構を備えるマニプレータ付き作業装置において、前記腕節部の長さを含む構造データを格納する構造データ格納部と、前記関節機構の角度を含む姿勢データを格納する姿勢データ格納部と、視点情報を含む視点データを格納する視点データ格納部と、画像処理部とを更に有し、前記画像処理部は、前記第１の全方位撮像装置の撮像画像と、前記第２の全方位撮像装置の撮像画像とから、前記構造データと前記姿勢データと視点データに基づいて前記視点から見た仮想視野画像を生成する処理を行うことを特徴とするものである。
【００１９】
また、本発明のマニプレータ付き作業装置において、前記制御装置は表示部を備え、前記生成した仮想視野画像を前記表示部に表示するものでよい。
【発明の効果】
【００２０】
任意の位置にある把持対象物が、マニプレータによる把持可能な範囲に入るように、マニプレータを操作するための情報を取得することができ、また、その情報を操作者に対して、単一の画像情報として分かりやすく提示することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施例１にかかるマニプレータ付き作業装置の概略構成を示す模式的な斜視図である。
【図２】本発明の実施例１にかかるマニプレータの構成を示す模式的斜視図である。
【図３】本発明の実施例１にかかるグリップハンド部の構成を示す模式的な図面である。
【図４】本発明の実施例１にかかる制御装置の構成の一例を示した模式的な斜視図である。
【図５】本発明の実施例１のマニプレータ付き作業装置の、システム構成を示したブロック図である。
【図６】全方位撮像装置の動作原理を示す模式図である。
【図７】制御装置における表示デバイスの表示例である。
【図８】本発明の実施例１のマニプレータにより把持対象物を把持する操作手順の一例について模式的に表した図面である。
【図９】本発明の実施例１のマニプレータにより把持対象物を把持する操作手順の一例について模式的に表した図面である。
【図１０】本発明の実施例１のマニプレータにより把持対象物を把持する操作手順の一例について模式的に表した図面である。
【図１１】本発明の実施例１のマニプレータにより把持対象物を把持する操作手順の他の一例について模式的に表した図面である。
【図１２】制御装置における表示デバイスの、他の表示例である。
【図１３】仮想視野画像の生成を示した模式的な図面である。
【図１４】仮想視野画像の生成を示した模式的な図面である。
【図１５】制御装置における表示デバイスの、他の表示例である。
【図１６】仮想視野画像の生成システムの主要な構成を示したブロック図である。
【図１７】本発明の実施例２のマニプレータの構成を示す模式的斜視図である。
【図１８】本発明の実施例２の多関節２指ハンドの構成を示す模式的な図面である。
【図１９】本発明の実施例２のマニプレータにより把持対象物を把持する操作手順の一例について模式的に表した図面である。
【図２０】本発明の実施例２のマニプレータにより把持対象物を把持する操作手順の他の一例について模式的に表した図面である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について添付図面を参照して説明する。なお、全ての図面において、実施形態が異なる場合であっても、同一または相当する部材については同一の符号を付し、共通する説明は繰り返さない。
【実施例１】
【００２３】
（構成）
図１は、本発明の実施例１にかかるマニプレータ付き作業装置の概略構成を示す模式的な斜視図である。本実施例のマニプレータ装置は、車イス３に取り付けられ、車イスに座する操作者４によって操作される。
本実施例のマニプレータ付き作業装置は、車イス３に取り付けられたマニプレータ１と、同じく前記車イス３に取り付けられた制御装置２から構成される。車イスに座する操作者４は、制御装置２を介して、マニプレータ１を操作する。これにより、操作者４は、車イス３から離れることなく、周囲の物体を手元に取り寄せるなどの生活動作を行うことが可能となる。
なお、本実施例のマニプレータ装置は、必ずしも車イス３に取り付けられて使用するものではない。操作者４が、制御装置２を介して、マニプレータ１を操作する構成であれば、例えば両者をベッドに固定する構成といった、上記構成以外にも適宜の構成を採用することができる。
【００２４】
図２は、本実施例にかかるマニプレータ１の構成を示す模式的斜視図である。マニプレータ１を構成する要素は、大きく、アーム部６とグリップハンド部５という二つの部位に分けられる。
アーム部６は、車イスに固定される端を基端部とし、基端側から先端側に向かう方向を延伸方向として、車イス３に固定される基端関節１１、腕節部１２ａ、関節１３ａ、腕節部１２ｂ、関節１３ｂ、腕節部１２ｃ、手首関節１４が、順次、延伸方向に連結される。
グリップハンド部５は、アーム部の手首関節１４の、更に延伸方向に接続される。
各関節機構は、自身より延伸方向に存在する機構に対して、軸周りの回転自由度を与える。即ち、図２において、基端関節１１は、それより延伸方向に存在する腕１２ａ以降の機構に対して、図中矢印に示すような回転自由度を与える。同様に、関節１３ａおよび関節１３ｂ、手首関節１４についても、それより延伸方向に存在する機構に対して、図中矢印に示すような回転自由度を与える。これにより、アーム部６は、グリップハンド部５を、所定の空間領域内において、所定位置および方向に、移動もしくは回転させることが可能である。
【００２５】
なお、本実施例においては、基端関節１１、関節１３ａ、関節１３ｂ、手首関節１４という４つの回転関節機構を持つアーム部６を示すが、これは、一例であって、この数および種類を限定するものではない。例えば、並進関節機構を、腕節部１２ａもしくは１２ｂに追加することで、グリップハンド部５が移動可能な位置に対して、より領域的な自由度を与えることも可能となる。このように、グリップハンド部５を、必要となる位置および方向に、移動もしくは回転させることができるものであれば、アーム部６の関節機構の数や腕節部の構成は、上記以外にも適宜の構成を採用することができる。
【００２６】
図３(a)は、本実施例にかかるグリップハンド部５の構成を示す模式的な斜視図であり、図３(b)は、図３(a)におけるｚ軸の正の方向から負の方向を見た場合のグリップハンド部５の模式的な上面図であり、図３(c)は、図３(a)におけるｘ軸正の方向から負の方向を見た場合のグリップハンド部５の模式的な側面図である。グリップハンド部５は、図２の手首関節１４に対して、延伸方向（y軸正方向）に連結される手首部１５を基端として、手掌部１６が、更にマニプレータ１の延伸方向に連結される。手掌部１６は、二つの同一直方体形状の指部１７ａおよび１７ｂが、平行に、それぞれ把持面１７０ａ（図３(a)ハッチングで示される面）および１７０ｂとを向かい合わせるように、連結される。指部１７ａは、先端方向（ｙ軸正方向）の端面に、撮像軸AXaが延伸方向に向いた全方位撮像装置FISHEYEa１９を備える。また、手掌部１６は、鉛直上方（z軸正方向）の端面に、撮像軸AXbが鉛直上方を向いた全方位撮像装置FISHEYEb２０を備える。
【００２７】
図３(b)に点線で示すように、手掌部１６は、二つの並進関節機構１８ａおよび１８ｂとを内蔵する。並進関節機構１８ａもしくは１８ｂは、それぞれ指部１７ａ、１７ｂに図３(a)の矢印で示すような並進運動を与える。これにより、指部の把持面１７０ａおよび１７０ｂで物体を挟み込むことで、所定の物体を把持することが可能となる。
【００２８】
ここで、グリップハンド部１が、物体を把持するためには、把持面１７０ａおよび１７０ｂの各頂点を結んで形成される直方体の内部に、物体の全部もしくは重心が収められる必要がある。即ち、この把持面１７０ａおよび１７０ｂの各頂点を結ぶことで形成される直方体を、本実施形態におけるグリップハンド部１の把持可能空間と定義できる。
【００２９】
図４は、本実施例にかかる制御装置２の構成の一例を示した模式的な斜視図である。制御装置２は、表示デバイス２１と、ジョイスティック型入力デバイス２２と、キーボード型入力デバイス２３とを備える。表示デバイス２１には、マニプレータの情報を操作者４に分かりやすく提示するデバイスであり、例えばタッチパネルや液晶ディスプレイなどを用いて実現する。ジョイスティック型入力デバイス２２と、キーボード型入力デバイス２３とは、操作者４が、マニプレータ１内の各関節機構に対して、自由度パラメータを入力するための機構である。なお、図４に示したジョイスティック型入力デバイス２２と、キーボード型入力デバイス２３とを備えた構成は、一例であって、マニプレータ１に対して、必要な自由度を任意に与えることができるものであれば、上記以外のデバイスを用いた適宜の構成を採用することができる。
【００３０】
図５は、本実施例のマニプレータ付き作業装置の、システム構成を示したブロック図である。本マニプレータ付き作業装置は、図１に示す通り、マニプレータ１と、制御装置２から構成される。マニプレータ１は、前記全方位撮像装置FISHEYEa１９およびFISHEYEb２０と、アーム部に具備された各関節機構を駆動する複数の関節アクチュエータ２４ａ〜２４ｎとを備える。制御装置２は、前記表示デバイス２１と、前記ジョイスティック型入力デバイス２２と、前記キーボード型入力デバイス２３と、制御処理部２５とを備える。制御処理部２５は、マニプレータ１の全方位撮像装置FISHEYEa１９もしくはFISHEYEb２０とから撮像画像データを受け取り、制御装置２の表示デバイス２１に所定の信号処理を施して表示する。また、制御処理部２５は、ジョイスティック型入力デバイス２２と、キーボード型入力デバイス２３とから操作者４によって入力されたパラメータに基づき、各関節アクチュエータ２４ａ〜２４ｎに、所定の制御信号を与える。
【００３１】
（動作）
図６は、全方位撮像装置FISHEYEa１９の動作原理を示す模式図である。図６(a)は、指部１７ａの先端部に配置された全方位撮像装置１９の撮像軸AXa方向前方に、三個の対象物OBJa、OBJb、OBJcが配置されている状態を、図３(b)と同一の方向から見た場合を示す模式図である。平面Sは、撮像軸AXaと直交し、全方位撮像装置１９の設置面を含む平面である。即ち、平面Sは、指部１７ａの先端面も含まれる平面となる。
【００３２】
図６(b)は、全方位撮像装置を実現する原理の一つである正射影方式を示す模式図である。図６(b)において、全方位撮像装置１９の設置中心点を点Oとし、点Oを中心とし平面Sに含まれる所定の半径の円を円Pとする。この円P上に投影された光点が、画像として記録される。
点Oを中心とし、円Pと半径が同一で、円Pから撮像軸AXa方向に広がる仮想半球面を半球面Rとする。全方位撮像装置１９は、この半球面Rから入射した光線が、光学系を通過して2次元撮像面である円Pに投影され、全方位撮像装置１９の撮像画像として記録する。半球面Rから円Pへの投影は、次の通りである。ある対象物を起点とする入射光をLとし、入射光Lと半球面Rの光点をAとする。そして、点Aを通り撮像軸AXaと平行な直線をＬ’とし、直線Ｌ’と、円Ｐとの交点をＡ’とすると、入射光Lに対して、点Ａ’は一意に定まる。即ち、入射光Lは、点Ａ’として画像に記録される。こうした、入射光の投影は、例えば複数枚の球面レンズを組み合わせた魚眼レンズなどを用いて実現できる。
このようにして、全方位撮像装置１９は、所定の空間において、円Pを含む平面Sによって分けられる二つの領域に対して、撮像軸AXaが向く方向にある領域内の物体を撮像画像として記録できる。例えば、図６(a)の場合は、対象物OBJa、OBJb、OBJcが、図６(c)に示すように、全方位撮像装置１９との位置関係により定まる形状で撮像画像として記録される。
即ち、全方位撮像装置１９は、ある対象物が、全方位撮像装置１９が取り付けられた平面Sより、撮像軸AXが向く方向に存在することを、画像に対象物が映ることにより判定することが可能となる。
【００３３】
上記は、正射影方式を用いた全方位撮像装置の原理について説明したが、本実施例にかかる全方位撮像装置の原理はこれに限るものではない。即ち、全方位撮像装置は、自身が取り付けられた平面Sより、撮像軸AXが向く方向に存在する物体を、画像として記録できる装置であれば、適宜の原理を持つものを用いてよい。これは、例えば双曲面ミラーと平面撮像装置を用いた構成などでもよく、また可視光線に限らず、赤外光や超音波を採用した全方位撮像装置でもよい。なお、上記は、全方位撮像装置１９について説明であるが、全方位撮像装置２０についても同様であり、詳細な説明は繰り返さない。
【００３４】
図７は、制御装置２における表示デバイス２１の表示例である。図７において、表示デバイス２１には、画像表示領域IMGAREAと、操作アイコン表示エリアICONAREAとが表示される。画像表示エリア３０には、マニプレータ１の全方位撮像装置１９および２０にて撮像された画像が、それぞれ、全方位画像３２ａと全方位画像３２ｂとして表示される。
【００３５】
本実施例におけるマニプレータ付き作業装置は、図１に示すように操作者４によって操作されるが、操作者４は、マニプレータ１を直接目視しながら操作するだけではなく、表示デバイス２１に表示される全方位画像３２ａおよび３２ｂとを見て、グリップハンド部５周囲の状況を確認しながら、操作をマニプレータ１に与えることが可能となる。
【００３６】
（把持操作）
本実施例にかかるマニプレータ付き作業装置の把持操作について、図３および図６を参照しながら、詳細に説明する。
【００３７】
図３に示された通り、グリップハンド部５は、把持面１７０ａと１７０ｂの各頂点を結ぶことで定義される直方体形状の把持空間内の物体を、把持可能である。把持可能空間は、3つの面を手掌部１６、把持面１７０ａおよび１７０ｂとで形成されており、それ以外の３つの開放面から物体は把持可能空間に移入出する。
【００３８】
図６に示された通り、全方位撮像装置１９は、所定の空間において、円Pを含む平面Sによって分けられる二つの領域に対して、撮像軸AXaが向く方向にある領域内の物体を撮像画像として記録できる。図３(b)に示されるように、全方位撮像装置１９は、グリップハンド部５の指部１７ａの先端（y軸正方向端）に設置される。即ち、把持可能空間において、指部１７ａの先端の辺と指部１７ｂの先端の辺とで構成される長方形の面を含む平面から、撮像軸AXa方向に存在する物体を撮像可能である。
【００３９】
ここで、把持対象物体が、指部１７ａの先端の辺と指部１７ｂの先端の辺とで構成される長方形の面から、グリップハンド部５の把持可能空間に移入する場合を考える。即ち、図３におけるx軸方向において、把持対象物体は、指部１７ａと指部１７ｂの間に存在するとする。
把持対象物体が、グリップハンド部５の把持可能空間外部にあり、且つy軸正方向にある場合、全方位撮像装置１９の画像に、把持対象物の像が映りこむ。この状態から、マニプレータ１を操作し、グリップハンド部５をy軸方向に平行移動させてゆくと、ある時点において、全方位撮像装置１９に撮像されていた把持対象物体が、撮像されなくなる状態に遷移する。これは、即ち、把持対象物体が、把持可能空間に移入したこととなる。
このように、全方位撮像装置１９の画像を確認しながら、マニプレータ１を操作することで、把持対象物体が、指部１７ａの先端の辺と指部１７ｂの先端の辺とで構成される長方形の面から、把持可能空間に移入したことを検知することが可能となる。
これと同様に、ある時点において、全方位撮像装置１９に撮像されていなかった把持対象物体が、撮像される状態に遷移した場合は、把持可能空間において、把持対象物体が、指部１７ａの先端の辺と指部１７ｂの先端の辺とで構成される長方形の面から移出したと検知することが可能となる。
【００４０】
一方、図３(c)に示されるように、全方位撮像装置２０は、手掌部１６の上端（ｚ軸正方向端）に設置されることから、把持対象物体の全方位撮像装置２０における撮像可否の遷移によって、把持対象物体が、把持可能空間に、指部１７ａの上端の辺と指部１７ｂの上端の辺とで構成される長方形の面から、移入もしくは移出したことを検知できる。
ただし、把持可能空間について、z軸に直交する二つの面は、どちらも開放面である。従って、本実施例においては、指部１７ａの下端（z軸負方向端）の辺と指部１７ｂの下端の辺とで構成される長方形の面から、把持対象物体が、把持可能空間に移入出したことは検知できない。しかし、少なくとも単一の把持対象物体が、同時にz軸に直交する２つの面から把持可能空間に移入出することはあり得ない。従って、一方の面からの把持可能空間への移入もしくは移出を検知することで、十分である。
ただし、高速で移動する物体を把持固定するようなケースでは、z軸に直交する一つの開放面から移入した物体が、指部１７ａおよび１７ｂを開閉させ把持する以前に、別のz軸に直交する開放面より移出する可能性がある。その場合は、図３(c)で示される手掌部１６において、全方位撮像装置２０の設置する面とは対向する反対の面に、更に全方位撮像装置を設置することで、上記のような場合を抑止することが可能となる。
【００４１】
なお、本実施例では、全方位撮像装置２０は、手掌部１６の上端に設けているが、ここに限られるものではなく、例えば、指部１７ａの上端に設けても良い。
【００４２】
次に、図８ないし図１０を見ながら、本実施形態におけるマニプレータ付き作業装置による物体の把持操作手順の例について説明する。
【００４３】
図８は、マニプレータ１により、床面２８に置かれた把持対象物TGTを把持する操作手順の一例について模式的に表した図であり、図３(c)と同一方向からの視点よりグリップハンド部５および把持対象物TGTの周辺を表したものである。
【００４４】
図８(a)は、操作者が把持対象物TGTの位置を、確認する手順を模式的に表した図面である。操作者は、把持対象物TGTの位置を、グリップハンド部５に具備される全方位撮像装置１９および２０を用いて確認する。二つの全方位撮像装置に映りこむ把持対象物TGTから、操作者は、グリップハンド部５と把持対象物TGTとの位置関係を認識することが可能である。全方位撮像装置１９は、グリップハンド部５の指部１７ａ先端にあるため、マニプレータ付き作業装置の、他のいかなる部位にも、撮像可能領域が遮蔽されることがなく、この手順においては特に好適である。
【００４５】
図８(b)において、操作者は、主に全方位撮像装置１９の画像を見て、グリップハンド部５を、把持対象物TGTに接近させる。ここでは、全方位撮像装置１９の撮像軸AXaを、把持対象物TGTの方向に一致させながらグリップハンド部５を操作することが有用である。図８(b)においては、全方位撮像装置２０は必ずしも必要ではないが、後述するように、把持対象物TGTとグリップハンド部５との水平位置関係を確認するためには必要となる。
【００４６】
図８(c)は、操作者はグリップハンド部５を、把持姿勢へと回転移動させた様子を示した図面である。この例においては、グリップハンド部５を床面２８と、全方位撮像装置１９の撮像軸AXaとが平行となるように、回転移動させる。
回転移動させた後のグリップハンド部５において、全方位撮像装置１９による撮像画像に把持対象物TGTの像が投影されている場合は、把持対象物TGTは、グリップハンド部５の把持可能空間の撮像軸AXa方向の領域に、収められていない。その場合、操作者は、グリップハンド部５の姿勢を維持したまま、把持対象物TGTが全方位撮像装置１９の撮像画像に、把持対象物TGTが投影されない位置まで、グリップハンド部５を、撮像軸AXa方向に平行移動させればよい。
【００４７】
図８(d)においては、操作者は、グリップハンド部５の前記の姿勢を維持したまま、床面２８に対して垂直に移動させる。本操作例では、把持対象物TGTの床面２８よりの高さが、グリップハンド部５の指部１７ａの高さ（図３におけるｚ方向の長さ）よりも大きいため、把持対象物TGTの上端は、グリップハンド部５の指部１７ａの上端よりも上方に位置するように、グリップハンド部５を移動する。ここで、操作者は、全方位撮像装置２０の撮像画像に投影される把持対象物TGTの像により、グリップハンド部５が適切な位置に移動したことを、判定できる。
【００４８】
図８(d)の状態においても、グリップハンド部５によって、把持対象物TGTを把持可能である。本操作例の場合は、把持対象物TGTは、全方位撮像装置２０に、その上部が画像として投影されている。従って、操作者は、全方位撮像装置２０の撮像画像を確認しながら、グリップハンド部５を、図８のAXa軸方向に移動させることで、図８(e)に示すような、より安定した把持位置にグリップハンド部５を移動させることができる。
【００４９】
図９は、マニプレータ１により、把持対象物TGTを把持する操作手順の他の一例について表した図面であり、図３(ｂ)と同一方向からの視点よりグリップハンド部５および把持対象物TGTの周辺を表したものである。
【００５０】
図９(a)は、操作者が把持対象物TGTの位置を確認する手順を模式的に表した図面である。この手順において、操作者は、把持対象物TGTの位置を、グリップハンド部５に具備される全方位撮像装置１９および２０を用いて確認する。
この手順において、全方位撮像装置１９は、グリップハンド部５の指部１７ａ先端にあるため、マニプレータ付き作業装置の、他のいかなる部位にも、撮像可能領域が遮蔽されることがなく、好適であることは前述の通りである。しかし、全方位撮像装置１９のみで把持対象物TGTの位置関係を確認した場合、例えば図１０に示すような位置に把持対象物TGTがある場合と、位置ＴＧＴ’にある場合との判別がつかない。従って、全方位撮像装置１９の画像と全方位撮像装置２０の画像とを、同時に確認することで、より正確に、グリップハンド部５と、把持対象物TGTとの位置関係を、確認することが可能となる。
【００５１】
操作者は、全方位撮像装置１９の画像と全方位撮像装置２０の画像とを同時に確認することで、図９(b)に示すように、把持対象物TGTの、指部１７ｂに直交する方向の位置が、グリップハンド部５の指部１７ａと１７ｂとに挟まれる領域に収まるように、グリップハンド部５を移動する。これは、全方位撮像装置１９による撮像画像の把持空間側の半面に映りこみ、且つ、全方位撮像装置２０による撮像画像の撮像中心線と一致する位置に映りこむように、グリップハンド部５を操作すればよい。
【００５２】
図９(c)および(d)は、図９(b)の状態から、把持対象物TGTをグリップハンド部５の把持可能空間に収める手順を模式的に示した図面である。ここで、操作者は、全方位撮像装置２０による撮像画像において、その撮像中心線と一致する位置に映りこんでいる対象物TGTを、撮像中心線から外れないように、グリップハンド５を、図中のAXa軸方向に移動させる。把持対象物TGTが、全方位撮像装置１９の撮像画像に、全部もしくは一部が投影された状態の場合は、把持対象物TGTは、軸AXa方向において、把持可能範囲に完全に入ってはいない（図9(c)）。即ち、操作者は、全方位撮像装置１９の撮像画像に投影されない状態まで、グリップハンド部５を移動させることで、把持対象物TGTが、軸AXa方向において、把持可能範囲に完全に入ったことを判定できる（図９(d)）。
【００５３】
本実施例にかかるマニプレータ付き作業装置の操作手順は、上記に限ったものではない。例えば、図１１に示すように、グリップハンド部５を、全方位撮像装置２０が設置された手掌部１６の面を、下向きにして操作することもできる。これは、図１１に示すように、狭い空間にある小物体TGT２を把持する場合に、特に好適な操作方法である。
【００５４】
（撮像画像の表示方法）
図１２は、制御装置２における表示デバイス２１の、他の表示例である。図１２において、表示デバイス２１には、図７と同じく画像表示領域３０と操作アイコン表示エリア３１とが、表示されるのに加えて、仮想視野画像３４が表示される。図７の表示例から、図１２の表示状態への切り替えは、例えば操作者が図７の表示例における視点切り替えアイコン３３を指定することで行われる。画像表示領域３０における、全方位画像３２ａおよび全方位画像３２ｂとには、全方位撮像装置１９および２０に撮像された画像が、そのまま表示される。しかし、一般に全方位撮像装置で撮像された画像は、画像周辺部に近付くにつれて、人間の直感的な視覚イメージから大きく歪んでいる。そこで、図１２における表示デバイス２１の表示例では、この歪みを補正した画像を、仮想視野画像３４として更に表示する。
【００５５】
図１３および図１４は、仮想視野画像３４の生成を示した模式的な図面である。
【００５６】
図１３(a)において、グリップハンド部５の手掌部１６の上端に仮想視点中心３６を設定する。仮想視点中心３６から、全方位撮像装置１９の撮像軸AXa方向を見る方向を、仮想視野画像の視線方向Vとすると、仮想視野画像の画角αにより、画像端となる直線３７ａおよび３７ｂとが一意に決定される。ここで、全方位撮像装置１９の仮想半球面Ra（図６(b)を参照）について、視線方向Vと直交し、仮想半球面Raと接する平面を仮想投影面VPと定義する。この仮想投影面VPに、投影される対象物の写像が、仮想視野画像となる。
【００５７】
図１３(b)は、全方位撮像装置１９の撮像画像から、仮想投影面VPに投影される画像を生成する手段を示す模式的な図面である。図６にて図示された通り、対象物OBJ上の点Xからの光線Lは、撮像平面P上の点Ａ’として記録される。ここで、全方位撮像装置１９の中心と点Xを結ぶ直線、即ち光線Lと、仮想投影面VPとの交点を、Ａ’’とすると、Ａ’’にて撮像される画素値は、点Ａ’にて撮像される画素値と同一である。逆に、VP上の点Ａ’’を定めれば、それに対応する撮像平面P上の点Ａ’より、画素値を求められる。このような処理を、VP上の全ての点について行うことで、全方位撮像装置１９の撮像平面P上の投影画像より、仮想投影面VPに投影される画像、即ち仮想視野画像を生成することが可能である。
【００５８】
上述の生成手段は、仮想視点中心３６と視線方向Vが、図１３と異なる場合についても同様である。即ち、全方位撮像装置の撮像画像から、所定の視点からの画像を生成することが可能である。図１２における表示デバイス２１には、操作者が、視点を指定するための視点制御アイコン３５が、アイコン表示エリア３１に表示される。操作者は、この視点制御アイコン３５を通して、視点を所定の位置に移動させて、グリップハンド部５周囲の状況を確認することが可能である。
【００５９】
図１４は、グリップハンド部５の上方に仮想視点中心３６を設定した場合の、仮想視野画像の生成を示した模式的な図面である。図１４の仮想視野画像を生成するために、全方位撮像装置１９について定義される仮想投影面VPaは、全方位撮像装置１９の設置平面Saと交わる。即ち、全方位撮像装置１９の撮像画像のみでは、仮想視野画像の全ての領域について画像情報を生成することはできない。そこで、本実施形態においては、全方位撮像装置２０について、更に仮想投影面VPbを定義し、仮想投影面VPa上に投影される画像情報と、仮想投影面VPb上に投影される画像情報とを合成することで、図１４に示される仮想視点中心３６からの仮想視野画像の生成することを可能とする。このようにして生成される仮想視野画像の表示例を、図１５に示す。
【００６０】
図１４のように、二つの仮想投影面VPaおよびVPbから、一つの仮想視野画像３４を生成するためには、全方位撮像装置１９の撮像軸AXaと、全方位撮像装置２０の撮像軸AXbとが異なる方向を向いていることが有用となる。即ち、本実施例では、全方位撮像装置１９の撮像軸AXaと、全方位撮像装置２０の撮像軸AXbとを直交させることで、仮想視点中心３６および視線方向Vを広い範囲で指定可能である。
また、二つの全方位撮像装置から得られた画像を、一つの仮想視野画像３４に合成して、表示デバイス２１に表示することで、操作者はより直感的にマニプレータ周囲の状況を確認することが可能となる。
【００６１】
図１６は、本実施例にかかる仮想視野画像３４の生成システムの構成を示したブロック図である。マニプレータ構造パラメータテーブル４１は、マニプレータ１の機械的な構造情報のパラメータを格納したテーブルであり、例えばアーム部６の腕節部１２ａおよび腕節部１２ｂおよび腕節部１２ｃの長さや、グリップハンド部５の手首部１５および手掌部１６および指部１７ａおよび指部１７ｂの形状情報や、全方位撮像装置１９および２０の取り付け位置および撮像軸方向などが格納される。マニプレータ姿勢パラメータテーブル４２は、マニプレータ１の姿勢に関する情報のパラメータを随時格納してゆくテーブルであり、例えば車イス３自体の方向や、基端関節１１など各関節機構の角度などが含まれる。
【００６２】
カメラ姿勢計算部４４は、マニプレータ構造パラメータテーブル４１と、マニプレータ姿勢パラメータテーブル４２とに格納されているパラメータから、全方位撮像装置１９と２０との姿勢を所定の計算処理により求める機能ブロックである。マニプレータ構造パラメータテーブル４１にて、内部にマニプレータ１の構造情報を保持することで、マニプレータ姿勢パラメータテーブル４２に随時格納される各関節機構の角度情報などのパラメータを与えれば、全方位撮像装置１９と２０の視線方向は、一意に決定することが可能となる。
【００６３】
仮想視点パラメータテーブル４３は操作者４が、制御装置２より入力する、仮想視点中心３６の位置と方向とを随時格納するテーブルである。合成パラメータ計算部４５は、カメラ姿勢計算部４４の処理結果と、仮想視点パラメータテーブル４３に格納されているパラメータとから、合成パラメータを計算処理に求める機能ブロックである。ここで、合成パラメータとは、図１４に示されるような、仮想視野画像３４の範囲と、仮想投影面VPaおよびVPbの範囲との関係情報などが含まれる。FISHEYEa画像処理部４６は、全方位撮像装置FISHEYEa１９から撮像画像が入力され、仮想視点パラメータテーブル４３に格納されるパラメータと、カメラ姿勢計算部４４の処理結果とから、仮想投影面VPaに投影される仮想画像を生成する機能ブロックである。FISEEYEb画像処理部４７は、全方位撮像装置FISHEYEb２０から撮像画像が入力され、仮想視点パラメータテーブル４３に格納されるパラメータと、カメラ姿勢計算部４４の処理結果とから、仮想投影面VPbに投影される仮想画像を生成する機能ブロックである。なお、FISHEYEa画像処理部４６と、FISHEYEb画像処理部４７とは、同一の機能を有する機能ブロックであるため、並列に二つの機能ブロックを設けてもよいし、時分割により一つの機能ブロックを適宜切り換える構成でもよい。画像合成部４８は、合成パラメータ計算部の処理結果と、FISEEYEa画像処理部４６の処理結果と、FISEEYEb画像処理部４７の処理結果とから、仮想視野画像３４を合成する機能ブロックである。こうして生成された、仮想視野画像３４が、制御装置２における表示デバイス２１に表示される。
【実施例２】
【００６４】
（構成）
図１７は、本発明の実施例２にかかるマニプレータ１の構成を示す模式的斜視図であって、図２と対比される図である。なお、図１７において、図２と対応する部分については同一符号を付し、その詳細説明は繰り返さない。
図１７のマニプレータ１を参照して、図２で示されるマニプレータ１と異なる点は、アーム部の手首関節１４の、更に延伸方向に多関節２指ハンド５０が接続される点である。
【００６５】
図１８は、本実施例にかかる多関節２指ハンド５０の構成を示した模式図である。図１８（ａ）は、図１７のｚ軸の正の方向から負の方向を見た場合の多関節２指ハンド５０の模式的な上面図であり、図１８（ｂ）は、図１７のｘ軸正の方向から負の方向を見た場合の多関節２指ハンド５０の模式的な側面図である。
多関節２指ハンド５０は、図１７の手首関節１４に対して、延伸方向（ｙ軸正方向）に連結される手首部１５を基端として、延伸方向に、手首節５１が、手首節５１の先端には手首関節５２が連結される。手首関節５２には、延伸方向に指節５３ａと指関節５５ａと指節５３ｂと指関節５５ｂと指節５３ｃとが、この順に連結された第１指５３と、延伸方向に指節５４ａと指関節５６ａと指節５４ｂと指関節５６ｂと指節５４ｃとが、この順に連結された第２指５４とが接続される。
第１指５３と、第２指５４とは、手首節５１の中心線を軸として対称的に手首関節５２に接続にされている。手首関節５２は、図１８（ａ）に示す矢印のように、それぞれ、指節５３ａと、指節５４ａとに、回転自由度を与える。同様に、指関節５５ａと、５５ｂと、５６ａと、５６ｂとは、それぞれ図１８（ａ）に示す矢印のように、接続された指節に回転自由度を与える。これら関節機構により、第１指５３と、第２指５４とは、その向かい合う面によって、所定の物体を把持することが可能となる。
多関節２指ハンド５０は、このように複数の指節および指関節からなるため、所定の物体により複雑な操作を与える場合に好適である。
【００６６】
第１指５３は、その先端方向（延伸方向）の端面に、撮像軸AXaが、指節５３ｃの中心軸と一致する全方位撮像装置１９を備える。また、手首関節５２は、鉛直上方（z軸正方向）の端面に、撮像軸AXbが鉛直上方を向いた全方位撮像装置２０を備える。
【００６７】
（把持操作）
ここで、本実施例にかかる多関節２指ハンド５０は、第１の実施例におけるグリップハンド部５の把持可能範囲のように、定形の把持可能範囲を定義することはできない。しかし、次に示すように、本実施例においても、全方位撮像装置１９の撮像画像と、全方位撮像装置２０の撮像画像とから、把持対象物が、把持可能範囲に入ったことを判断することが可能となる。
【００６８】
図１９は、本実施例にかかるマニプレータ１により、把持対象物TGTを把持する操作手順の一例について表した図面であり、図９と対比されるものである。図１９は、図１８(ａ)と同一方向からの視点より多関節２指ハンド５０および把持対象物TGTの周辺を表している。
図１９（ａ）は、操作者が把持対象物TGTの位置を確認する手順を模式的に表した図面である。この手順において、操作者は、把持対象物TGTの位置を、多関節２指ハンド５０に具備される全方位撮像装置１９および２０を用いて確認する。
この手順において、全方位撮像装置１９は、多関節２指ハンド５０の第１指５３の先端にあるため、マニプレータ付き作業装置の、他のいかなる部位にも、撮像可能領域が遮蔽されることがなく、好適であることは図９（ａ）と同一である。これにより、図９と同様にして、操作者は、全方位撮像装置１９の画像と全方位撮像装置２０の画像とを同時に確認することで、図１９（ｂ）に示すように、把持対象物TGTを多関節２指ハンド５０の第１指５３と第２指５４とに挟まれる領域に収まるように、多関節２指ハンド５０を移動することが可能である。これは、全方位撮像装置１９による撮像画像の把持空間側の半面に映りこみ、且つ、全方位撮像装置２０による撮像画像の撮像中心線と一致する位置に映りこむように、多関節２指ハンド５０を操作すればよい。
ここで、操作者が、指関節５５ｂと指関節５６ｂをはじめとする多関節２指ハンド５０の指関節を操作し、指節５３ｃおよび指節５４ｃとを平行に保ったまま、その間隔を狭めることで、図１９（ｃ）に示すように、把持対象物TGTを、指節５３ｃおよび指節５４ｃとで把持することが可能である。
【００６９】
図２０は、本実施例にかかるマニプレータ１により、把持対象物TGTを把持する操作手順の別なる一例について表した図面である。
図２０（ａ）と図１９（ａ）、図２０（ｂ）と図１９（ｂ）とは、同一の手順であり、その詳細な説明は繰り返さない。
【００７０】
図２０（ｃ）は、操作者は、指関節５５ｂと、指関節５６ｂをはじめとする多関節２指ハンド５０の指関節を操作し、指節５３ｃおよび指節５４ｃとを、対抗する面方向に屈曲させた様子を示した図面である。
ここで、指節５３ｃの全方位撮像装置１９の撮像画像において、再び把持対象物TGTが映りこむ場合、把持対象物TGTが、多関節２指ハンド５０の把持可能範囲の十分内側に位置していないと判断できる。この場合、操作者は、図２０（ｄ）に示すように手首節５１の軸方向に、多関節２指ハンド５０を移動させる。
図２０（ｃ）および図２０（ｄ）に示すように、指関節５５ｂと、指関節５６ｂをはじめとする多関節２指ハンド５０の指関節を操作し、指節５３ｃの全方位撮像装置１９の撮像画像に把持対象物TGTが映りこまないように、多関節２指ハンド５０の指を屈曲させることで、図２０（ｅ）に示すように、指節５３ｂおよび指節５４ｂによって把持することが可能となる。
【００７１】
図１９（ｃ）に示される多関節２指ハンド５０の操作手段においては、操作手順が少ないという利点があるが、例えば把持した把持対象物TGTを、図１８に示すｙ軸負方向に移動させる場合は、指節５３ｃおよび指節５４ｃの軸方向と平行の方向に把持対象物TGTが滑る場合がある。一方、図２０に示される操作手段においても、指節５３ｂおよび指節５４ｂの軸方向と平行の方向に把持対象物TGTが滑る場合がある。しかし、指節５３ｃおよび指節５４ｃとにより、把持対象部TGTが把持可能範囲の外部に移出することはない。これは、例えば日常動作において、所定の対象物を引き寄せるなどの操作において特に好適である。
なお、本実施の形態における多関節２指ハンド５０において、鉛直方向（図１８（ｂ）におけるｚ軸方向）の操作に関しては、実施例１に示した操作手順と同一のものが適用可能であるため、その詳細な説明は割愛する。
【００７２】
以上、本発明の具体的実施例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変更したものが含まれる。
例えば、図８ないし図１１、及び、図１９ないし図２０に示した操作手順において、本明細書における実施例においては、操作者が全方位撮像装置１９および２０との撮像画像を見ながら操作を行うと説明したが、これに限らず、例えば把持対象物TGTが撮像画像内に映りこむことを自動的に検出する装置と組み合わせることで、操作者が操作することなく、把持対象物TGTを把持することが可能である。
【００７３】
また、本明細書または図面に説明した技術要素は、単独あるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項に記載の組み合わせに限定するものではない。
【符号の説明】
【００７４】
１…マニプレータ、２…制御装置、３…車イス、４…操作者、５…グリップハンド部、６…アーム部、
１１…基端関節、１２ａ、１２ｂ、１２ｃ…腕節部、１３ａ、１３ｂ…関節機構、１４…手首関節、１５…手首部、１６…手掌部、１７ａ、１７ｂ指部、１７０ａ、１７０ｂ…指部の把持面、１８ａ、１８ｂ…並進関節機構、１９…第１の全方位撮像装置ＦＩＳＨＥＹＥａ、２０…第２の全方位撮像装置ＦＩＳＨＥＹＥｂ、
２１…表示デバイス、２２…ジョイスティック型入力デバイス、２３…キーボード型入力デバイス、２５…制御処理部、
３０…画像表示領域、３１…操作アイコン表示エリア、３２ａ、３２ｂ全方位画像、３３…視点切り替えアイコン、３４…仮想視野画像、３５…視点制御アイコン、
４１…マニプレータ構造パラメータテーブル、４２…マニプレータ姿勢パラメータテーブル、４３…仮想視点パラメータテーブル、４４…カメラ姿勢計算部、４５…合成パラメータ計算部、４６…ＦＩＳＨＥＹＥａ画像処理部、４７…ＦＩＳＨＥＹＥｂ画像処理部、４８…画像合成部、
５０…多関節２指ハンド、５１…手首節、５２…手首関節、５３…第１指、５４…第２指、５３ａ、５３ｂ、５３ｃ、５４ａ、５４ｂ、５４ｃ…指節、５５ａ、５５ｂ、５６ａ、５６ｂ…指関節。
【技術分野】
【０００１】
本発明は、マニプレータと、人がマニプレータに対する操作を行うための制御装置とを有する、マニプレータ付き作業装置に関する。
【背景技術】
【０００２】
マニプレータは、主に生産現場で組立などに利用されてきたが、今後は病院などの公共施設や家庭などの生活空間で人の活動を補助するものとしての利用にも期待がよせられている。本発明は、こうした生活空間で作業する作業機械の中でも、マニプレータと、人がマニプレータを操作するための制御装置とを有する生活空間向けマニプレータ付き作業装置に関するものである。こうした人操作型マニプレータ付き作業装置は、介護分野にて不自由者が自分の思い通りに生活行動を行うことを支援するシステムとして実用化が期待される。日常生活においては、工場のような整然とした広い作業空間とは異なり、把持対象物を含む物体が雑然として配置される空間のため、マニプレータにより、ある把持対象物を把持するためには、特にマニプレータの物体接触部位である指と、マニプレータの把持対象物の位置関係の取得が必要となる。また、日常生活におけるマニプレータによる物体操作は、細かな不定形な作業が必要となるため、操作者に対して、マニプレータの指と、マニプレータの操作対象物の位置関係を分かりやすく提示する手段も必要となる。
【０００３】
特許文献１には、マニプレータを有するロボットの体幹に第１のカメラを備え、第１のカメラとは別の第２のカメラをマニプレータに備え 、第1のカメラの画像と第２のカメラの画像とを合成する発明が開示されている。これにより、第１のカメラに映りこむマニプレータ部分の領域を、第２のカメラで補完することで、第1のカメラにおけるマニプレータによる死角を除去し、把持対象物の位置を第１のカメラにより特定している。
【０００４】
また、特許文献２においては、マニプレータの先端に固定されたピンクランプ装置の、ピンの先端にカメラを備える発明に関して述べられている。把持対象物（ワーク）に設けられた孔の中心線と、ピンの先端カメラの光軸を一致させることで、ピンクランプ装置の位置決めを行う。
【０００５】
一方、特許文献３には、移動ロボットの体幹に搭載されたカメラで当該ロボットの視点からの画像を撮影し、制御装置において表示された前記画像に基づいて、操作者が当該ロボットの操作を行う発明が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2010-131751号公報
【特許文献２】特開2009-184051号公報
【特許文献３】特開2002-321180号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載された方法では、マニプレータが把持姿勢を取る場合、第２のカメラは操作対象物の方向に向いていない。従って、マニプレータによる把持操作時においては、マニプレータの指と把持対象物の位置関係を取得する手段が提供されている訳ではない。そのため、マニプレータによる把持の瞬間において、把持対象物がマニプレータ指の把持可能な範囲にあるか、正確に判断することは困難である。
【０００８】
また、特許文献２に記載された方法は、把持対象物（ワーク）に設けられた孔が、ピンクランプ装置のピンに内蔵したカメラの視野範囲に収まる地点まで、予めマニプレータを移動させなければならない。しかし、ワークを含む物体が雑然として配置される生活空間においては、ワークの位置を予め取得することは必ずしも可能ではない。
【０００９】
一方、特許文献３に記載された方法においては、制御装置において表示された作業画像において、マニプレータや脚などの部位の体幹接続位置によっては、体幹に備えるカメラの視野の一部が部位によって遮られ、マニプレータと把持対象物の位置関係を撮影することができない。
【００１０】
即ち、従来開示されている技術においては、マニプレータによって把持対象物を把持する瞬間において、把持対象物がマニプレータの把持可能な位置にあるか、操作者が判断する手段がないことが課題である。
【００１１】
本発明は、任意の位置にある把持対象物が、マニプレータによる把持可能な範囲に入るように、マニプレータを操作するための情報を取得し、また、その情報を操作者に分かりやすく提示することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明のマニプレータ装置は、アーム部とハンド部から成り、当該ハンド部は、把持範囲にある対象物を把持する１つまたは複数の指部を有するマニプレータ装置であって、前記指部の先端に第1の全方位撮像装置を設けるとともに、前記ハンド部の、前記指部の先端以外の位置に第2の全方位撮像装置を設け、前記第１の全方位撮像装置と前記第２の全方位撮像装置とは撮像軸が異なることを特徴とする 。
【００１３】
本発明のマニプレータ装置は、前記第１の全方位撮像装置の撮像軸と前記第２の全方位撮像装置の撮像軸とが直交するように構成してもよい。
【００１４】
また、本発明のマニプレータ装置は、前記第２の全方位撮像装置の撮像範囲が前記指部の把持範囲と接するように、前記第2の全方位撮像装置を配置してもよい。
【００１５】
また、本発明のマニプレータ装置において、前記指部を支持する支持部の上端または下端に、前記第2の全方位撮像装置を配置してもよい。
【００１６】
また、本発明のマニプレータ装置において、前記ハンド部は、２つの直方体形状の指部と、前記２つの指部の把持面が向い合うように前記指部を支持する支持部と、前記２つの指部を並進運動させる並進関節機構とを含むものでよい。
【００１７】
また、本発明のマニプレータ装置において、前記ハンド部は、多関節を備えた複数の指部から構成される多指ハンドを含むものでよい。
【００１８】
本発明のマニプレータ付き作業装置は、前記のマニプレータ装置と、マニプレータ装置を操作する制御装置を備え、前記マニプレータ装置のアーム部は、１つまたは複数の腕節部を備え、前記ハンド部と前記腕節部との間、または、前記腕節部同士の間に、関節機構を備えるマニプレータ付き作業装置において、前記腕節部の長さを含む構造データを格納する構造データ格納部と、前記関節機構の角度を含む姿勢データを格納する姿勢データ格納部と、視点情報を含む視点データを格納する視点データ格納部と、画像処理部とを更に有し、前記画像処理部は、前記第１の全方位撮像装置の撮像画像と、前記第２の全方位撮像装置の撮像画像とから、前記構造データと前記姿勢データと視点データに基づいて前記視点から見た仮想視野画像を生成する処理を行うことを特徴とするものである。
【００１９】
また、本発明のマニプレータ付き作業装置において、前記制御装置は表示部を備え、前記生成した仮想視野画像を前記表示部に表示するものでよい。
【発明の効果】
【００２０】
任意の位置にある把持対象物が、マニプレータによる把持可能な範囲に入るように、マニプレータを操作するための情報を取得することができ、また、その情報を操作者に対して、単一の画像情報として分かりやすく提示することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施例１にかかるマニプレータ付き作業装置の概略構成を示す模式的な斜視図である。
【図２】本発明の実施例１にかかるマニプレータの構成を示す模式的斜視図である。
【図３】本発明の実施例１にかかるグリップハンド部の構成を示す模式的な図面である。
【図４】本発明の実施例１にかかる制御装置の構成の一例を示した模式的な斜視図である。
【図５】本発明の実施例１のマニプレータ付き作業装置の、システム構成を示したブロック図である。
【図６】全方位撮像装置の動作原理を示す模式図である。
【図７】制御装置における表示デバイスの表示例である。
【図８】本発明の実施例１のマニプレータにより把持対象物を把持する操作手順の一例について模式的に表した図面である。
【図９】本発明の実施例１のマニプレータにより把持対象物を把持する操作手順の一例について模式的に表した図面である。
【図１０】本発明の実施例１のマニプレータにより把持対象物を把持する操作手順の一例について模式的に表した図面である。
【図１１】本発明の実施例１のマニプレータにより把持対象物を把持する操作手順の他の一例について模式的に表した図面である。
【図１２】制御装置における表示デバイスの、他の表示例である。
【図１３】仮想視野画像の生成を示した模式的な図面である。
【図１４】仮想視野画像の生成を示した模式的な図面である。
【図１５】制御装置における表示デバイスの、他の表示例である。
【図１６】仮想視野画像の生成システムの主要な構成を示したブロック図である。
【図１７】本発明の実施例２のマニプレータの構成を示す模式的斜視図である。
【図１８】本発明の実施例２の多関節２指ハンドの構成を示す模式的な図面である。
【図１９】本発明の実施例２のマニプレータにより把持対象物を把持する操作手順の一例について模式的に表した図面である。
【図２０】本発明の実施例２のマニプレータにより把持対象物を把持する操作手順の他の一例について模式的に表した図面である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について添付図面を参照して説明する。なお、全ての図面において、実施形態が異なる場合であっても、同一または相当する部材については同一の符号を付し、共通する説明は繰り返さない。
【実施例１】
【００２３】
（構成）
図１は、本発明の実施例１にかかるマニプレータ付き作業装置の概略構成を示す模式的な斜視図である。本実施例のマニプレータ装置は、車イス３に取り付けられ、車イスに座する操作者４によって操作される。
本実施例のマニプレータ付き作業装置は、車イス３に取り付けられたマニプレータ１と、同じく前記車イス３に取り付けられた制御装置２から構成される。車イスに座する操作者４は、制御装置２を介して、マニプレータ１を操作する。これにより、操作者４は、車イス３から離れることなく、周囲の物体を手元に取り寄せるなどの生活動作を行うことが可能となる。
なお、本実施例のマニプレータ装置は、必ずしも車イス３に取り付けられて使用するものではない。操作者４が、制御装置２を介して、マニプレータ１を操作する構成であれば、例えば両者をベッドに固定する構成といった、上記構成以外にも適宜の構成を採用することができる。
【００２４】
図２は、本実施例にかかるマニプレータ１の構成を示す模式的斜視図である。マニプレータ１を構成する要素は、大きく、アーム部６とグリップハンド部５という二つの部位に分けられる。
アーム部６は、車イスに固定される端を基端部とし、基端側から先端側に向かう方向を延伸方向として、車イス３に固定される基端関節１１、腕節部１２ａ、関節１３ａ、腕節部１２ｂ、関節１３ｂ、腕節部１２ｃ、手首関節１４が、順次、延伸方向に連結される。
グリップハンド部５は、アーム部の手首関節１４の、更に延伸方向に接続される。
各関節機構は、自身より延伸方向に存在する機構に対して、軸周りの回転自由度を与える。即ち、図２において、基端関節１１は、それより延伸方向に存在する腕１２ａ以降の機構に対して、図中矢印に示すような回転自由度を与える。同様に、関節１３ａおよび関節１３ｂ、手首関節１４についても、それより延伸方向に存在する機構に対して、図中矢印に示すような回転自由度を与える。これにより、アーム部６は、グリップハンド部５を、所定の空間領域内において、所定位置および方向に、移動もしくは回転させることが可能である。
【００２５】
なお、本実施例においては、基端関節１１、関節１３ａ、関節１３ｂ、手首関節１４という４つの回転関節機構を持つアーム部６を示すが、これは、一例であって、この数および種類を限定するものではない。例えば、並進関節機構を、腕節部１２ａもしくは１２ｂに追加することで、グリップハンド部５が移動可能な位置に対して、より領域的な自由度を与えることも可能となる。このように、グリップハンド部５を、必要となる位置および方向に、移動もしくは回転させることができるものであれば、アーム部６の関節機構の数や腕節部の構成は、上記以外にも適宜の構成を採用することができる。
【００２６】
図３(a)は、本実施例にかかるグリップハンド部５の構成を示す模式的な斜視図であり、図３(b)は、図３(a)におけるｚ軸の正の方向から負の方向を見た場合のグリップハンド部５の模式的な上面図であり、図３(c)は、図３(a)におけるｘ軸正の方向から負の方向を見た場合のグリップハンド部５の模式的な側面図である。グリップハンド部５は、図２の手首関節１４に対して、延伸方向（y軸正方向）に連結される手首部１５を基端として、手掌部１６が、更にマニプレータ１の延伸方向に連結される。手掌部１６は、二つの同一直方体形状の指部１７ａおよび１７ｂが、平行に、それぞれ把持面１７０ａ（図３(a)ハッチングで示される面）および１７０ｂとを向かい合わせるように、連結される。指部１７ａは、先端方向（ｙ軸正方向）の端面に、撮像軸AXaが延伸方向に向いた全方位撮像装置FISHEYEa１９を備える。また、手掌部１６は、鉛直上方（z軸正方向）の端面に、撮像軸AXbが鉛直上方を向いた全方位撮像装置FISHEYEb２０を備える。
【００２７】
図３(b)に点線で示すように、手掌部１６は、二つの並進関節機構１８ａおよび１８ｂとを内蔵する。並進関節機構１８ａもしくは１８ｂは、それぞれ指部１７ａ、１７ｂに図３(a)の矢印で示すような並進運動を与える。これにより、指部の把持面１７０ａおよび１７０ｂで物体を挟み込むことで、所定の物体を把持することが可能となる。
【００２８】
ここで、グリップハンド部１が、物体を把持するためには、把持面１７０ａおよび１７０ｂの各頂点を結んで形成される直方体の内部に、物体の全部もしくは重心が収められる必要がある。即ち、この把持面１７０ａおよび１７０ｂの各頂点を結ぶことで形成される直方体を、本実施形態におけるグリップハンド部１の把持可能空間と定義できる。
【００２９】
図４は、本実施例にかかる制御装置２の構成の一例を示した模式的な斜視図である。制御装置２は、表示デバイス２１と、ジョイスティック型入力デバイス２２と、キーボード型入力デバイス２３とを備える。表示デバイス２１には、マニプレータの情報を操作者４に分かりやすく提示するデバイスであり、例えばタッチパネルや液晶ディスプレイなどを用いて実現する。ジョイスティック型入力デバイス２２と、キーボード型入力デバイス２３とは、操作者４が、マニプレータ１内の各関節機構に対して、自由度パラメータを入力するための機構である。なお、図４に示したジョイスティック型入力デバイス２２と、キーボード型入力デバイス２３とを備えた構成は、一例であって、マニプレータ１に対して、必要な自由度を任意に与えることができるものであれば、上記以外のデバイスを用いた適宜の構成を採用することができる。
【００３０】
図５は、本実施例のマニプレータ付き作業装置の、システム構成を示したブロック図である。本マニプレータ付き作業装置は、図１に示す通り、マニプレータ１と、制御装置２から構成される。マニプレータ１は、前記全方位撮像装置FISHEYEa１９およびFISHEYEb２０と、アーム部に具備された各関節機構を駆動する複数の関節アクチュエータ２４ａ〜２４ｎとを備える。制御装置２は、前記表示デバイス２１と、前記ジョイスティック型入力デバイス２２と、前記キーボード型入力デバイス２３と、制御処理部２５とを備える。制御処理部２５は、マニプレータ１の全方位撮像装置FISHEYEa１９もしくはFISHEYEb２０とから撮像画像データを受け取り、制御装置２の表示デバイス２１に所定の信号処理を施して表示する。また、制御処理部２５は、ジョイスティック型入力デバイス２２と、キーボード型入力デバイス２３とから操作者４によって入力されたパラメータに基づき、各関節アクチュエータ２４ａ〜２４ｎに、所定の制御信号を与える。
【００３１】
（動作）
図６は、全方位撮像装置FISHEYEa１９の動作原理を示す模式図である。図６(a)は、指部１７ａの先端部に配置された全方位撮像装置１９の撮像軸AXa方向前方に、三個の対象物OBJa、OBJb、OBJcが配置されている状態を、図３(b)と同一の方向から見た場合を示す模式図である。平面Sは、撮像軸AXaと直交し、全方位撮像装置１９の設置面を含む平面である。即ち、平面Sは、指部１７ａの先端面も含まれる平面となる。
【００３２】
図６(b)は、全方位撮像装置を実現する原理の一つである正射影方式を示す模式図である。図６(b)において、全方位撮像装置１９の設置中心点を点Oとし、点Oを中心とし平面Sに含まれる所定の半径の円を円Pとする。この円P上に投影された光点が、画像として記録される。
点Oを中心とし、円Pと半径が同一で、円Pから撮像軸AXa方向に広がる仮想半球面を半球面Rとする。全方位撮像装置１９は、この半球面Rから入射した光線が、光学系を通過して2次元撮像面である円Pに投影され、全方位撮像装置１９の撮像画像として記録する。半球面Rから円Pへの投影は、次の通りである。ある対象物を起点とする入射光をLとし、入射光Lと半球面Rの光点をAとする。そして、点Aを通り撮像軸AXaと平行な直線をＬ’とし、直線Ｌ’と、円Ｐとの交点をＡ’とすると、入射光Lに対して、点Ａ’は一意に定まる。即ち、入射光Lは、点Ａ’として画像に記録される。こうした、入射光の投影は、例えば複数枚の球面レンズを組み合わせた魚眼レンズなどを用いて実現できる。
このようにして、全方位撮像装置１９は、所定の空間において、円Pを含む平面Sによって分けられる二つの領域に対して、撮像軸AXaが向く方向にある領域内の物体を撮像画像として記録できる。例えば、図６(a)の場合は、対象物OBJa、OBJb、OBJcが、図６(c)に示すように、全方位撮像装置１９との位置関係により定まる形状で撮像画像として記録される。
即ち、全方位撮像装置１９は、ある対象物が、全方位撮像装置１９が取り付けられた平面Sより、撮像軸AXが向く方向に存在することを、画像に対象物が映ることにより判定することが可能となる。
【００３３】
上記は、正射影方式を用いた全方位撮像装置の原理について説明したが、本実施例にかかる全方位撮像装置の原理はこれに限るものではない。即ち、全方位撮像装置は、自身が取り付けられた平面Sより、撮像軸AXが向く方向に存在する物体を、画像として記録できる装置であれば、適宜の原理を持つものを用いてよい。これは、例えば双曲面ミラーと平面撮像装置を用いた構成などでもよく、また可視光線に限らず、赤外光や超音波を採用した全方位撮像装置でもよい。なお、上記は、全方位撮像装置１９について説明であるが、全方位撮像装置２０についても同様であり、詳細な説明は繰り返さない。
【００３４】
図７は、制御装置２における表示デバイス２１の表示例である。図７において、表示デバイス２１には、画像表示領域IMGAREAと、操作アイコン表示エリアICONAREAとが表示される。画像表示エリア３０には、マニプレータ１の全方位撮像装置１９および２０にて撮像された画像が、それぞれ、全方位画像３２ａと全方位画像３２ｂとして表示される。
【００３５】
本実施例におけるマニプレータ付き作業装置は、図１に示すように操作者４によって操作されるが、操作者４は、マニプレータ１を直接目視しながら操作するだけではなく、表示デバイス２１に表示される全方位画像３２ａおよび３２ｂとを見て、グリップハンド部５周囲の状況を確認しながら、操作をマニプレータ１に与えることが可能となる。
【００３６】
（把持操作）
本実施例にかかるマニプレータ付き作業装置の把持操作について、図３および図６を参照しながら、詳細に説明する。
【００３７】
図３に示された通り、グリップハンド部５は、把持面１７０ａと１７０ｂの各頂点を結ぶことで定義される直方体形状の把持空間内の物体を、把持可能である。把持可能空間は、3つの面を手掌部１６、把持面１７０ａおよび１７０ｂとで形成されており、それ以外の３つの開放面から物体は把持可能空間に移入出する。
【００３８】
図６に示された通り、全方位撮像装置１９は、所定の空間において、円Pを含む平面Sによって分けられる二つの領域に対して、撮像軸AXaが向く方向にある領域内の物体を撮像画像として記録できる。図３(b)に示されるように、全方位撮像装置１９は、グリップハンド部５の指部１７ａの先端（y軸正方向端）に設置される。即ち、把持可能空間において、指部１７ａの先端の辺と指部１７ｂの先端の辺とで構成される長方形の面を含む平面から、撮像軸AXa方向に存在する物体を撮像可能である。
【００３９】
ここで、把持対象物体が、指部１７ａの先端の辺と指部１７ｂの先端の辺とで構成される長方形の面から、グリップハンド部５の把持可能空間に移入する場合を考える。即ち、図３におけるx軸方向において、把持対象物体は、指部１７ａと指部１７ｂの間に存在するとする。
把持対象物体が、グリップハンド部５の把持可能空間外部にあり、且つy軸正方向にある場合、全方位撮像装置１９の画像に、把持対象物の像が映りこむ。この状態から、マニプレータ１を操作し、グリップハンド部５をy軸方向に平行移動させてゆくと、ある時点において、全方位撮像装置１９に撮像されていた把持対象物体が、撮像されなくなる状態に遷移する。これは、即ち、把持対象物体が、把持可能空間に移入したこととなる。
このように、全方位撮像装置１９の画像を確認しながら、マニプレータ１を操作することで、把持対象物体が、指部１７ａの先端の辺と指部１７ｂの先端の辺とで構成される長方形の面から、把持可能空間に移入したことを検知することが可能となる。
これと同様に、ある時点において、全方位撮像装置１９に撮像されていなかった把持対象物体が、撮像される状態に遷移した場合は、把持可能空間において、把持対象物体が、指部１７ａの先端の辺と指部１７ｂの先端の辺とで構成される長方形の面から移出したと検知することが可能となる。
【００４０】
一方、図３(c)に示されるように、全方位撮像装置２０は、手掌部１６の上端（ｚ軸正方向端）に設置されることから、把持対象物体の全方位撮像装置２０における撮像可否の遷移によって、把持対象物体が、把持可能空間に、指部１７ａの上端の辺と指部１７ｂの上端の辺とで構成される長方形の面から、移入もしくは移出したことを検知できる。
ただし、把持可能空間について、z軸に直交する二つの面は、どちらも開放面である。従って、本実施例においては、指部１７ａの下端（z軸負方向端）の辺と指部１７ｂの下端の辺とで構成される長方形の面から、把持対象物体が、把持可能空間に移入出したことは検知できない。しかし、少なくとも単一の把持対象物体が、同時にz軸に直交する２つの面から把持可能空間に移入出することはあり得ない。従って、一方の面からの把持可能空間への移入もしくは移出を検知することで、十分である。
ただし、高速で移動する物体を把持固定するようなケースでは、z軸に直交する一つの開放面から移入した物体が、指部１７ａおよび１７ｂを開閉させ把持する以前に、別のz軸に直交する開放面より移出する可能性がある。その場合は、図３(c)で示される手掌部１６において、全方位撮像装置２０の設置する面とは対向する反対の面に、更に全方位撮像装置を設置することで、上記のような場合を抑止することが可能となる。
【００４１】
なお、本実施例では、全方位撮像装置２０は、手掌部１６の上端に設けているが、ここに限られるものではなく、例えば、指部１７ａの上端に設けても良い。
【００４２】
次に、図８ないし図１０を見ながら、本実施形態におけるマニプレータ付き作業装置による物体の把持操作手順の例について説明する。
【００４３】
図８は、マニプレータ１により、床面２８に置かれた把持対象物TGTを把持する操作手順の一例について模式的に表した図であり、図３(c)と同一方向からの視点よりグリップハンド部５および把持対象物TGTの周辺を表したものである。
【００４４】
図８(a)は、操作者が把持対象物TGTの位置を、確認する手順を模式的に表した図面である。操作者は、把持対象物TGTの位置を、グリップハンド部５に具備される全方位撮像装置１９および２０を用いて確認する。二つの全方位撮像装置に映りこむ把持対象物TGTから、操作者は、グリップハンド部５と把持対象物TGTとの位置関係を認識することが可能である。全方位撮像装置１９は、グリップハンド部５の指部１７ａ先端にあるため、マニプレータ付き作業装置の、他のいかなる部位にも、撮像可能領域が遮蔽されることがなく、この手順においては特に好適である。
【００４５】
図８(b)において、操作者は、主に全方位撮像装置１９の画像を見て、グリップハンド部５を、把持対象物TGTに接近させる。ここでは、全方位撮像装置１９の撮像軸AXaを、把持対象物TGTの方向に一致させながらグリップハンド部５を操作することが有用である。図８(b)においては、全方位撮像装置２０は必ずしも必要ではないが、後述するように、把持対象物TGTとグリップハンド部５との水平位置関係を確認するためには必要となる。
【００４６】
図８(c)は、操作者はグリップハンド部５を、把持姿勢へと回転移動させた様子を示した図面である。この例においては、グリップハンド部５を床面２８と、全方位撮像装置１９の撮像軸AXaとが平行となるように、回転移動させる。
回転移動させた後のグリップハンド部５において、全方位撮像装置１９による撮像画像に把持対象物TGTの像が投影されている場合は、把持対象物TGTは、グリップハンド部５の把持可能空間の撮像軸AXa方向の領域に、収められていない。その場合、操作者は、グリップハンド部５の姿勢を維持したまま、把持対象物TGTが全方位撮像装置１９の撮像画像に、把持対象物TGTが投影されない位置まで、グリップハンド部５を、撮像軸AXa方向に平行移動させればよい。
【００４７】
図８(d)においては、操作者は、グリップハンド部５の前記の姿勢を維持したまま、床面２８に対して垂直に移動させる。本操作例では、把持対象物TGTの床面２８よりの高さが、グリップハンド部５の指部１７ａの高さ（図３におけるｚ方向の長さ）よりも大きいため、把持対象物TGTの上端は、グリップハンド部５の指部１７ａの上端よりも上方に位置するように、グリップハンド部５を移動する。ここで、操作者は、全方位撮像装置２０の撮像画像に投影される把持対象物TGTの像により、グリップハンド部５が適切な位置に移動したことを、判定できる。
【００４８】
図８(d)の状態においても、グリップハンド部５によって、把持対象物TGTを把持可能である。本操作例の場合は、把持対象物TGTは、全方位撮像装置２０に、その上部が画像として投影されている。従って、操作者は、全方位撮像装置２０の撮像画像を確認しながら、グリップハンド部５を、図８のAXa軸方向に移動させることで、図８(e)に示すような、より安定した把持位置にグリップハンド部５を移動させることができる。
【００４９】
図９は、マニプレータ１により、把持対象物TGTを把持する操作手順の他の一例について表した図面であり、図３(ｂ)と同一方向からの視点よりグリップハンド部５および把持対象物TGTの周辺を表したものである。
【００５０】
図９(a)は、操作者が把持対象物TGTの位置を確認する手順を模式的に表した図面である。この手順において、操作者は、把持対象物TGTの位置を、グリップハンド部５に具備される全方位撮像装置１９および２０を用いて確認する。
この手順において、全方位撮像装置１９は、グリップハンド部５の指部１７ａ先端にあるため、マニプレータ付き作業装置の、他のいかなる部位にも、撮像可能領域が遮蔽されることがなく、好適であることは前述の通りである。しかし、全方位撮像装置１９のみで把持対象物TGTの位置関係を確認した場合、例えば図１０に示すような位置に把持対象物TGTがある場合と、位置ＴＧＴ’にある場合との判別がつかない。従って、全方位撮像装置１９の画像と全方位撮像装置２０の画像とを、同時に確認することで、より正確に、グリップハンド部５と、把持対象物TGTとの位置関係を、確認することが可能となる。
【００５１】
操作者は、全方位撮像装置１９の画像と全方位撮像装置２０の画像とを同時に確認することで、図９(b)に示すように、把持対象物TGTの、指部１７ｂに直交する方向の位置が、グリップハンド部５の指部１７ａと１７ｂとに挟まれる領域に収まるように、グリップハンド部５を移動する。これは、全方位撮像装置１９による撮像画像の把持空間側の半面に映りこみ、且つ、全方位撮像装置２０による撮像画像の撮像中心線と一致する位置に映りこむように、グリップハンド部５を操作すればよい。
【００５２】
図９(c)および(d)は、図９(b)の状態から、把持対象物TGTをグリップハンド部５の把持可能空間に収める手順を模式的に示した図面である。ここで、操作者は、全方位撮像装置２０による撮像画像において、その撮像中心線と一致する位置に映りこんでいる対象物TGTを、撮像中心線から外れないように、グリップハンド５を、図中のAXa軸方向に移動させる。把持対象物TGTが、全方位撮像装置１９の撮像画像に、全部もしくは一部が投影された状態の場合は、把持対象物TGTは、軸AXa方向において、把持可能範囲に完全に入ってはいない（図9(c)）。即ち、操作者は、全方位撮像装置１９の撮像画像に投影されない状態まで、グリップハンド部５を移動させることで、把持対象物TGTが、軸AXa方向において、把持可能範囲に完全に入ったことを判定できる（図９(d)）。
【００５３】
本実施例にかかるマニプレータ付き作業装置の操作手順は、上記に限ったものではない。例えば、図１１に示すように、グリップハンド部５を、全方位撮像装置２０が設置された手掌部１６の面を、下向きにして操作することもできる。これは、図１１に示すように、狭い空間にある小物体TGT２を把持する場合に、特に好適な操作方法である。
【００５４】
（撮像画像の表示方法）
図１２は、制御装置２における表示デバイス２１の、他の表示例である。図１２において、表示デバイス２１には、図７と同じく画像表示領域３０と操作アイコン表示エリア３１とが、表示されるのに加えて、仮想視野画像３４が表示される。図７の表示例から、図１２の表示状態への切り替えは、例えば操作者が図７の表示例における視点切り替えアイコン３３を指定することで行われる。画像表示領域３０における、全方位画像３２ａおよび全方位画像３２ｂとには、全方位撮像装置１９および２０に撮像された画像が、そのまま表示される。しかし、一般に全方位撮像装置で撮像された画像は、画像周辺部に近付くにつれて、人間の直感的な視覚イメージから大きく歪んでいる。そこで、図１２における表示デバイス２１の表示例では、この歪みを補正した画像を、仮想視野画像３４として更に表示する。
【００５５】
図１３および図１４は、仮想視野画像３４の生成を示した模式的な図面である。
【００５６】
図１３(a)において、グリップハンド部５の手掌部１６の上端に仮想視点中心３６を設定する。仮想視点中心３６から、全方位撮像装置１９の撮像軸AXa方向を見る方向を、仮想視野画像の視線方向Vとすると、仮想視野画像の画角αにより、画像端となる直線３７ａおよび３７ｂとが一意に決定される。ここで、全方位撮像装置１９の仮想半球面Ra（図６(b)を参照）について、視線方向Vと直交し、仮想半球面Raと接する平面を仮想投影面VPと定義する。この仮想投影面VPに、投影される対象物の写像が、仮想視野画像となる。
【００５７】
図１３(b)は、全方位撮像装置１９の撮像画像から、仮想投影面VPに投影される画像を生成する手段を示す模式的な図面である。図６にて図示された通り、対象物OBJ上の点Xからの光線Lは、撮像平面P上の点Ａ’として記録される。ここで、全方位撮像装置１９の中心と点Xを結ぶ直線、即ち光線Lと、仮想投影面VPとの交点を、Ａ’’とすると、Ａ’’にて撮像される画素値は、点Ａ’にて撮像される画素値と同一である。逆に、VP上の点Ａ’’を定めれば、それに対応する撮像平面P上の点Ａ’より、画素値を求められる。このような処理を、VP上の全ての点について行うことで、全方位撮像装置１９の撮像平面P上の投影画像より、仮想投影面VPに投影される画像、即ち仮想視野画像を生成することが可能である。
【００５８】
上述の生成手段は、仮想視点中心３６と視線方向Vが、図１３と異なる場合についても同様である。即ち、全方位撮像装置の撮像画像から、所定の視点からの画像を生成することが可能である。図１２における表示デバイス２１には、操作者が、視点を指定するための視点制御アイコン３５が、アイコン表示エリア３１に表示される。操作者は、この視点制御アイコン３５を通して、視点を所定の位置に移動させて、グリップハンド部５周囲の状況を確認することが可能である。
【００５９】
図１４は、グリップハンド部５の上方に仮想視点中心３６を設定した場合の、仮想視野画像の生成を示した模式的な図面である。図１４の仮想視野画像を生成するために、全方位撮像装置１９について定義される仮想投影面VPaは、全方位撮像装置１９の設置平面Saと交わる。即ち、全方位撮像装置１９の撮像画像のみでは、仮想視野画像の全ての領域について画像情報を生成することはできない。そこで、本実施形態においては、全方位撮像装置２０について、更に仮想投影面VPbを定義し、仮想投影面VPa上に投影される画像情報と、仮想投影面VPb上に投影される画像情報とを合成することで、図１４に示される仮想視点中心３６からの仮想視野画像の生成することを可能とする。このようにして生成される仮想視野画像の表示例を、図１５に示す。
【００６０】
図１４のように、二つの仮想投影面VPaおよびVPbから、一つの仮想視野画像３４を生成するためには、全方位撮像装置１９の撮像軸AXaと、全方位撮像装置２０の撮像軸AXbとが異なる方向を向いていることが有用となる。即ち、本実施例では、全方位撮像装置１９の撮像軸AXaと、全方位撮像装置２０の撮像軸AXbとを直交させることで、仮想視点中心３６および視線方向Vを広い範囲で指定可能である。
また、二つの全方位撮像装置から得られた画像を、一つの仮想視野画像３４に合成して、表示デバイス２１に表示することで、操作者はより直感的にマニプレータ周囲の状況を確認することが可能となる。
【００６１】
図１６は、本実施例にかかる仮想視野画像３４の生成システムの構成を示したブロック図である。マニプレータ構造パラメータテーブル４１は、マニプレータ１の機械的な構造情報のパラメータを格納したテーブルであり、例えばアーム部６の腕節部１２ａおよび腕節部１２ｂおよび腕節部１２ｃの長さや、グリップハンド部５の手首部１５および手掌部１６および指部１７ａおよび指部１７ｂの形状情報や、全方位撮像装置１９および２０の取り付け位置および撮像軸方向などが格納される。マニプレータ姿勢パラメータテーブル４２は、マニプレータ１の姿勢に関する情報のパラメータを随時格納してゆくテーブルであり、例えば車イス３自体の方向や、基端関節１１など各関節機構の角度などが含まれる。
【００６２】
カメラ姿勢計算部４４は、マニプレータ構造パラメータテーブル４１と、マニプレータ姿勢パラメータテーブル４２とに格納されているパラメータから、全方位撮像装置１９と２０との姿勢を所定の計算処理により求める機能ブロックである。マニプレータ構造パラメータテーブル４１にて、内部にマニプレータ１の構造情報を保持することで、マニプレータ姿勢パラメータテーブル４２に随時格納される各関節機構の角度情報などのパラメータを与えれば、全方位撮像装置１９と２０の視線方向は、一意に決定することが可能となる。
【００６３】
仮想視点パラメータテーブル４３は操作者４が、制御装置２より入力する、仮想視点中心３６の位置と方向とを随時格納するテーブルである。合成パラメータ計算部４５は、カメラ姿勢計算部４４の処理結果と、仮想視点パラメータテーブル４３に格納されているパラメータとから、合成パラメータを計算処理に求める機能ブロックである。ここで、合成パラメータとは、図１４に示されるような、仮想視野画像３４の範囲と、仮想投影面VPaおよびVPbの範囲との関係情報などが含まれる。FISHEYEa画像処理部４６は、全方位撮像装置FISHEYEa１９から撮像画像が入力され、仮想視点パラメータテーブル４３に格納されるパラメータと、カメラ姿勢計算部４４の処理結果とから、仮想投影面VPaに投影される仮想画像を生成する機能ブロックである。FISEEYEb画像処理部４７は、全方位撮像装置FISHEYEb２０から撮像画像が入力され、仮想視点パラメータテーブル４３に格納されるパラメータと、カメラ姿勢計算部４４の処理結果とから、仮想投影面VPbに投影される仮想画像を生成する機能ブロックである。なお、FISHEYEa画像処理部４６と、FISHEYEb画像処理部４７とは、同一の機能を有する機能ブロックであるため、並列に二つの機能ブロックを設けてもよいし、時分割により一つの機能ブロックを適宜切り換える構成でもよい。画像合成部４８は、合成パラメータ計算部の処理結果と、FISEEYEa画像処理部４６の処理結果と、FISEEYEb画像処理部４７の処理結果とから、仮想視野画像３４を合成する機能ブロックである。こうして生成された、仮想視野画像３４が、制御装置２における表示デバイス２１に表示される。
【実施例２】
【００６４】
（構成）
図１７は、本発明の実施例２にかかるマニプレータ１の構成を示す模式的斜視図であって、図２と対比される図である。なお、図１７において、図２と対応する部分については同一符号を付し、その詳細説明は繰り返さない。
図１７のマニプレータ１を参照して、図２で示されるマニプレータ１と異なる点は、アーム部の手首関節１４の、更に延伸方向に多関節２指ハンド５０が接続される点である。
【００６５】
図１８は、本実施例にかかる多関節２指ハンド５０の構成を示した模式図である。図１８（ａ）は、図１７のｚ軸の正の方向から負の方向を見た場合の多関節２指ハンド５０の模式的な上面図であり、図１８（ｂ）は、図１７のｘ軸正の方向から負の方向を見た場合の多関節２指ハンド５０の模式的な側面図である。
多関節２指ハンド５０は、図１７の手首関節１４に対して、延伸方向（ｙ軸正方向）に連結される手首部１５を基端として、延伸方向に、手首節５１が、手首節５１の先端には手首関節５２が連結される。手首関節５２には、延伸方向に指節５３ａと指関節５５ａと指節５３ｂと指関節５５ｂと指節５３ｃとが、この順に連結された第１指５３と、延伸方向に指節５４ａと指関節５６ａと指節５４ｂと指関節５６ｂと指節５４ｃとが、この順に連結された第２指５４とが接続される。
第１指５３と、第２指５４とは、手首節５１の中心線を軸として対称的に手首関節５２に接続にされている。手首関節５２は、図１８（ａ）に示す矢印のように、それぞれ、指節５３ａと、指節５４ａとに、回転自由度を与える。同様に、指関節５５ａと、５５ｂと、５６ａと、５６ｂとは、それぞれ図１８（ａ）に示す矢印のように、接続された指節に回転自由度を与える。これら関節機構により、第１指５３と、第２指５４とは、その向かい合う面によって、所定の物体を把持することが可能となる。
多関節２指ハンド５０は、このように複数の指節および指関節からなるため、所定の物体により複雑な操作を与える場合に好適である。
【００６６】
第１指５３は、その先端方向（延伸方向）の端面に、撮像軸AXaが、指節５３ｃの中心軸と一致する全方位撮像装置１９を備える。また、手首関節５２は、鉛直上方（z軸正方向）の端面に、撮像軸AXbが鉛直上方を向いた全方位撮像装置２０を備える。
【００６７】
（把持操作）
ここで、本実施例にかかる多関節２指ハンド５０は、第１の実施例におけるグリップハンド部５の把持可能範囲のように、定形の把持可能範囲を定義することはできない。しかし、次に示すように、本実施例においても、全方位撮像装置１９の撮像画像と、全方位撮像装置２０の撮像画像とから、把持対象物が、把持可能範囲に入ったことを判断することが可能となる。
【００６８】
図１９は、本実施例にかかるマニプレータ１により、把持対象物TGTを把持する操作手順の一例について表した図面であり、図９と対比されるものである。図１９は、図１８(ａ)と同一方向からの視点より多関節２指ハンド５０および把持対象物TGTの周辺を表している。
図１９（ａ）は、操作者が把持対象物TGTの位置を確認する手順を模式的に表した図面である。この手順において、操作者は、把持対象物TGTの位置を、多関節２指ハンド５０に具備される全方位撮像装置１９および２０を用いて確認する。
この手順において、全方位撮像装置１９は、多関節２指ハンド５０の第１指５３の先端にあるため、マニプレータ付き作業装置の、他のいかなる部位にも、撮像可能領域が遮蔽されることがなく、好適であることは図９（ａ）と同一である。これにより、図９と同様にして、操作者は、全方位撮像装置１９の画像と全方位撮像装置２０の画像とを同時に確認することで、図１９（ｂ）に示すように、把持対象物TGTを多関節２指ハンド５０の第１指５３と第２指５４とに挟まれる領域に収まるように、多関節２指ハンド５０を移動することが可能である。これは、全方位撮像装置１９による撮像画像の把持空間側の半面に映りこみ、且つ、全方位撮像装置２０による撮像画像の撮像中心線と一致する位置に映りこむように、多関節２指ハンド５０を操作すればよい。
ここで、操作者が、指関節５５ｂと指関節５６ｂをはじめとする多関節２指ハンド５０の指関節を操作し、指節５３ｃおよび指節５４ｃとを平行に保ったまま、その間隔を狭めることで、図１９（ｃ）に示すように、把持対象物TGTを、指節５３ｃおよび指節５４ｃとで把持することが可能である。
【００６９】
図２０は、本実施例にかかるマニプレータ１により、把持対象物TGTを把持する操作手順の別なる一例について表した図面である。
図２０（ａ）と図１９（ａ）、図２０（ｂ）と図１９（ｂ）とは、同一の手順であり、その詳細な説明は繰り返さない。
【００７０】
図２０（ｃ）は、操作者は、指関節５５ｂと、指関節５６ｂをはじめとする多関節２指ハンド５０の指関節を操作し、指節５３ｃおよび指節５４ｃとを、対抗する面方向に屈曲させた様子を示した図面である。
ここで、指節５３ｃの全方位撮像装置１９の撮像画像において、再び把持対象物TGTが映りこむ場合、把持対象物TGTが、多関節２指ハンド５０の把持可能範囲の十分内側に位置していないと判断できる。この場合、操作者は、図２０（ｄ）に示すように手首節５１の軸方向に、多関節２指ハンド５０を移動させる。
図２０（ｃ）および図２０（ｄ）に示すように、指関節５５ｂと、指関節５６ｂをはじめとする多関節２指ハンド５０の指関節を操作し、指節５３ｃの全方位撮像装置１９の撮像画像に把持対象物TGTが映りこまないように、多関節２指ハンド５０の指を屈曲させることで、図２０（ｅ）に示すように、指節５３ｂおよび指節５４ｂによって把持することが可能となる。
【００７１】
図１９（ｃ）に示される多関節２指ハンド５０の操作手段においては、操作手順が少ないという利点があるが、例えば把持した把持対象物TGTを、図１８に示すｙ軸負方向に移動させる場合は、指節５３ｃおよび指節５４ｃの軸方向と平行の方向に把持対象物TGTが滑る場合がある。一方、図２０に示される操作手段においても、指節５３ｂおよび指節５４ｂの軸方向と平行の方向に把持対象物TGTが滑る場合がある。しかし、指節５３ｃおよび指節５４ｃとにより、把持対象部TGTが把持可能範囲の外部に移出することはない。これは、例えば日常動作において、所定の対象物を引き寄せるなどの操作において特に好適である。
なお、本実施の形態における多関節２指ハンド５０において、鉛直方向（図１８（ｂ）におけるｚ軸方向）の操作に関しては、実施例１に示した操作手順と同一のものが適用可能であるため、その詳細な説明は割愛する。
【００７２】
以上、本発明の具体的実施例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変更したものが含まれる。
例えば、図８ないし図１１、及び、図１９ないし図２０に示した操作手順において、本明細書における実施例においては、操作者が全方位撮像装置１９および２０との撮像画像を見ながら操作を行うと説明したが、これに限らず、例えば把持対象物TGTが撮像画像内に映りこむことを自動的に検出する装置と組み合わせることで、操作者が操作することなく、把持対象物TGTを把持することが可能である。
【００７３】
また、本明細書または図面に説明した技術要素は、単独あるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項に記載の組み合わせに限定するものではない。
【符号の説明】
【００７４】
１…マニプレータ、２…制御装置、３…車イス、４…操作者、５…グリップハンド部、６…アーム部、
１１…基端関節、１２ａ、１２ｂ、１２ｃ…腕節部、１３ａ、１３ｂ…関節機構、１４…手首関節、１５…手首部、１６…手掌部、１７ａ、１７ｂ指部、１７０ａ、１７０ｂ…指部の把持面、１８ａ、１８ｂ…並進関節機構、１９…第１の全方位撮像装置ＦＩＳＨＥＹＥａ、２０…第２の全方位撮像装置ＦＩＳＨＥＹＥｂ、
２１…表示デバイス、２２…ジョイスティック型入力デバイス、２３…キーボード型入力デバイス、２５…制御処理部、
３０…画像表示領域、３１…操作アイコン表示エリア、３２ａ、３２ｂ全方位画像、３３…視点切り替えアイコン、３４…仮想視野画像、３５…視点制御アイコン、
４１…マニプレータ構造パラメータテーブル、４２…マニプレータ姿勢パラメータテーブル、４３…仮想視点パラメータテーブル、４４…カメラ姿勢計算部、４５…合成パラメータ計算部、４６…ＦＩＳＨＥＹＥａ画像処理部、４７…ＦＩＳＨＥＹＥｂ画像処理部、４８…画像合成部、
５０…多関節２指ハンド、５１…手首節、５２…手首関節、５３…第１指、５４…第２指、５３ａ、５３ｂ、５３ｃ、５４ａ、５４ｂ、５４ｃ…指節、５５ａ、５５ｂ、５６ａ、５６ｂ…指関節。
【特許請求の範囲】
【請求項１】
アーム部とハンド部から成り、当該ハンド部は、把持範囲にある対象物を把持する１つまたは複数の指部を有するマニプレータ装置であって、
前記指部の先端に第1の全方位撮像装置を設けるとともに、
前記ハンド部の、前記指部の先端以外の位置に第2の全方位撮像装置を設け、
前記第１の全方位撮像装置と前記第２の全方位撮像装置とは撮像軸が異なることを特徴とする マニプレータ装置。
【請求項２】
請求項１記載のマニプレータ装置において、
前記第１の全方位撮像装置の撮像軸と前記第２の全方位撮像装置の撮像軸とが直交するように構成したことを特徴とするマニプレータ装置
【請求項３】
請求項１記載のマニプレータ装置において、
前記第２の全方位撮像装置の撮像範囲が前記指部の把持範囲と接するように、前記第2の全方位撮像装置を配置したことを特徴とするマニプレータ装置
【請求項４】
請求項１記載のマニプレータ装置において、
前記指部を支持する支持部の上端または下端に、前記第2の全方位撮像装置を配置したことを特徴とするマニプレータ装置。
【請求項５】
請求項１記載のマニプレータ装置において、
前記ハンド部は、２つの直方体形状の指部と、前記２つの指部の把持面が向い合うように前記指部を支持する支持部と、前記２つの指部を並進運動させる並進関節機構とを含むことを特徴とするマニプレータ装置。
【請求項６】
請求項１記載のマニプレータ装置において、
前記ハンド部は、多関節を備えた複数の指部から構成される多指ハンドを含むことを特徴とするマニプレータ装置。
【請求項７】
請求項１乃至請求項６の何れか1つに記載のマニプレータ装置と、前記マニプレータ装置を操作する制御装置を備え、前記マニプレータ装置のアーム部は、１つまたは複数の腕節部を備え、前記ハンド部と前記腕節部との間、または、前記腕節部同士の間に、関節機構を備えるマニプレータ付き作業装置において、
前記腕節部の長さを含む構造データを格納する構造データ格納部と、前記関節機構の角度を含む姿勢データを格納する姿勢データ格納部と、視点情報を含む視点データを格納する視点データ格納部と、画像処理部とを更に有し、
前記画像処理部は、前記第１の全方位撮像装置の撮像画像と、前記第２の全方位撮像装置の撮像画像とから、前記構造データと前記姿勢データと視点データに基づいて前記視点から見た仮想視野画像を生成する処理を行うことを特徴とするマニプレータ付き作業装置。
【請求項８】
請求項７記載のマニプレータ付き作業装置において、
前記制御装置は表示部を備え、前記生成した仮想視野画像を前記表示部に表示することを特徴とするマニプレータ付き作業装置。
【請求項１】
アーム部とハンド部から成り、当該ハンド部は、把持範囲にある対象物を把持する１つまたは複数の指部を有するマニプレータ装置であって、
前記指部の先端に第1の全方位撮像装置を設けるとともに、
前記ハンド部の、前記指部の先端以外の位置に第2の全方位撮像装置を設け、
前記第１の全方位撮像装置と前記第２の全方位撮像装置とは撮像軸が異なることを特徴とする マニプレータ装置。
【請求項２】
請求項１記載のマニプレータ装置において、
前記第１の全方位撮像装置の撮像軸と前記第２の全方位撮像装置の撮像軸とが直交するように構成したことを特徴とするマニプレータ装置
【請求項３】
請求項１記載のマニプレータ装置において、
前記第２の全方位撮像装置の撮像範囲が前記指部の把持範囲と接するように、前記第2の全方位撮像装置を配置したことを特徴とするマニプレータ装置
【請求項４】
請求項１記載のマニプレータ装置において、
前記指部を支持する支持部の上端または下端に、前記第2の全方位撮像装置を配置したことを特徴とするマニプレータ装置。
【請求項５】
請求項１記載のマニプレータ装置において、
前記ハンド部は、２つの直方体形状の指部と、前記２つの指部の把持面が向い合うように前記指部を支持する支持部と、前記２つの指部を並進運動させる並進関節機構とを含むことを特徴とするマニプレータ装置。
【請求項６】
請求項１記載のマニプレータ装置において、
前記ハンド部は、多関節を備えた複数の指部から構成される多指ハンドを含むことを特徴とするマニプレータ装置。
【請求項７】
請求項１乃至請求項６の何れか1つに記載のマニプレータ装置と、前記マニプレータ装置を操作する制御装置を備え、前記マニプレータ装置のアーム部は、１つまたは複数の腕節部を備え、前記ハンド部と前記腕節部との間、または、前記腕節部同士の間に、関節機構を備えるマニプレータ付き作業装置において、
前記腕節部の長さを含む構造データを格納する構造データ格納部と、前記関節機構の角度を含む姿勢データを格納する姿勢データ格納部と、視点情報を含む視点データを格納する視点データ格納部と、画像処理部とを更に有し、
前記画像処理部は、前記第１の全方位撮像装置の撮像画像と、前記第２の全方位撮像装置の撮像画像とから、前記構造データと前記姿勢データと視点データに基づいて前記視点から見た仮想視野画像を生成する処理を行うことを特徴とするマニプレータ付き作業装置。
【請求項８】
請求項７記載のマニプレータ付き作業装置において、
前記制御装置は表示部を備え、前記生成した仮想視野画像を前記表示部に表示することを特徴とするマニプレータ付き作業装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−１５２８７０（Ｐ２０１２−１５２８７０Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１５２６８（Ｐ２０１１−１５２６８）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]