福祉用ロボット装置のロボットアーム操作方法、ロボットアーム操作プログラム、及び、記録媒体
【課題】物体の把持や器具・装置等の操作が容易に行うことができる福祉用ロボットアームのロボットアーム操作技術を提供する。
【解決手段】本発明によれば、ユーザの手動によってロボットアームを動かして、当該ロボットアームに搭載されたカメラを、当該ロボットアームの動作に関する情報が含まれた画像マークの近傍に配置し（手動モード）、当該カメラにて撮像された画像に画像マークの像が含まれているとき、当該画像マークの像を参照して当該画像マークにより表現された上記情報を読み出し（情報読出工程）、得られた上記情報に基づいて、ロボットアームの動作を自動制御する（ロボットアーム制御工程）とを含んでいる。
【解決手段】本発明によれば、ユーザの手動によってロボットアームを動かして、当該ロボットアームに搭載されたカメラを、当該ロボットアームの動作に関する情報が含まれた画像マークの近傍に配置し（手動モード）、当該カメラにて撮像された画像に画像マークの像が含まれているとき、当該画像マークの像を参照して当該画像マークにより表現された上記情報を読み出し（情報読出工程）、得られた上記情報に基づいて、ロボットアームの動作を自動制御する（ロボットアーム制御工程）とを含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、上肢障害者自立生活支援用ロボットアーム・車椅子搭載型ロボットアームといった、いわゆる福祉用ロボットアームの操作を支援するための方法、及びプログラムに関する。
【背景技術】
【０００２】
ロボットに対象物体を自動的に認識させ、その位置姿勢を計測して把持させる技術として、いわゆるハンドアイロボットがある。ハンドアイロボットは、パターン認識・コンピュータビジョン技術ともかかわる長い研究の歴史があり、数多くの手法・システムが提案されている。また、宇宙ロボットや極限作業ロボット等のアームを遠隔操作するための支援技術として、対象物を操作者（ユーザ）に効果的に提示したり、対象物の位置姿勢を効果的に入力したりするマンマシンインタフェースも様々に提案されている。
【０００３】
例えば特許文献１には、ハンドアイロボットの一例として、ロボットの位置姿勢をビジュアルサーボによって制御するシステムが記載されている。このシステムは、ロボットコントローラと視覚装置とＣＣＤカメラとから構成される制御装置を備えており、視覚装置により、ＣＣＤカメラの画像信号を取り込み、あらかじめ登録されている参照画像と見え方が一致するような位置姿勢となる状態の制御信号をロボットコントローラに出力すると、ロボットコントローラは、これに基づいてロボット本体の移動すべき位置姿勢に駆動制御するというものである。
【０００４】
また特許文献２には、マンマシンインタフェース技術の例として、遠隔操作ロボット支援装置が記載されている。遠隔操作ロボット支援装置は、或る作業対象物を互いに異なる角度から映す複数の監視カメラを有したスレーブマニピュレータを備えており、監視カメラで撮像されたモニタ画面から写真測量の原理によって作業対象部とロボットとの距離及び対向角が計測され、移動目標位置との偏差が算出されて、オペレータが偏差量及び位置関係を見ながらロボットを作業対象物に近づけるというものである。
【０００５】
また特許文献３にも、マンマシンインタフェースの例として、ロボットの遠隔操作支援装置が記載されており、グラフィックシミュレーションによって遠隔操作を支援する技術が記載されている。より具体的には、シミュレーション画像生成装置を備えており、当該シミュレーション画像生成装置は、予め分かっている作業アームの構造情報や環境モデルの各種情報をデータベースにして、マスタ操作デバイスからの遠隔操作指令値に基づきその操作指令により手先と環境がどのような関係の動きをするかをグラフィックシュレータにより時々刻々計算して、手先カメラの視点位置から見たシミュレーション画像を生成する。シミュレーション画像生成装置で生成された縦方向と横方向の時々刻々のシミュレーション画像をディスプレイ装置に映し出してオベレータに呈示し、オペレータによる作業アームの遠隔操作を視覚面から支援するというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３８２３７９９号（２００６年７月７日登録）
【特許文献２】特開平４−３６５５８４号公報（１９９２年１２月１７日公開）
【特許文献３】特開平６−３９７５３号公報（１９９４年２月１５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来提案されてきた技術は、対象物体の位置姿勢を正確に計測または指定することと、計測・指定された目的位置にアームを正確に移動させることが主題となっている。これは、ロボットアームの位置決め精度が工学的に十分保証されている産業用ロボット等を想定した技術といえる。
【０００８】
ところで、上肢障害者自立生活支援用ロボットアームや車椅子搭載型ロボットアーム（以下では、福祉用ロボットアームと呼ぶ）は、安全上の理由と、そしてコストの問題から、重量・アクチュエータ出力・関節の剛性などを低く抑える必要があり、その位置決め精度には限界がある。例えば、代表的な福祉用ロボットアームであるｉＡＲＭ（テクノツール株式会社 製 図５）では、手先の位置精度に数ｃｍの誤差がある。こうした位置決め誤差は、ユーザがキーパッドやジョイスティックなどを用いてアームを手動操作する際には、アームに固有の「くせ」として認識される。ロボットアームを思い通りに操作するには、この「くせ」に慣れるための習熟期間が必要であり、誰もがすぐに使えるというわけではない。アーム操作に習熟していないユーザのため、細かい作業が必要な複雑な作業をできるだけ簡素化する必要がある。
【０００９】
この問題を解決するアプローチとしては、前述のようなハンドアイ技術を用いた作業の自動化や遠隔操作支援技術を用いたインタフェースの効率化があるが、これまでに提案されている技術は産業用ロボットなどの高い位置決め精度を持つロボットアームを前提としたものがほとんどであり、十分な精度が得られない福祉用ロボットアームにそのまま適用するのは困難である。
【００１０】
また一方で、上肢障害者などの福祉用ロボットアームのユーザは、自分でできる作業については、できるだけ自分自身が操作して実行したいという要望も持っている。このような観点からも、アームを全自動で操作する技術は適当でないと言える。
【課題を解決するための手段】
【００１１】
本発明は、生活環境で使用できる低出力・低精度の福祉用ロボットアームでも、物体の把持や器具・装置等の操作が容易に行うことができるように、その操作を支援するための手法である。また、本発明では、ユーザが自主的に操作に参加することができるため、ユーザの心理的ストレスを低減することが可能となる。
【００１２】
具体的には、上記の課題を解決するために、本発明に係る福祉用ロボット装置のロボットアーム操作方法は、
ユーザの手動によって福祉用ロボット装置のロボットアームを動かして、当該ロボットアームに搭載されたカメラを、当該ロボットアームの動作に関する情報が含まれた画像マークの近傍に配置する手動操作工程と、
上記ロボットアームを自動操作する自動操作工程と、を含む福祉用ロボット装置のロボットアーム操作方法であって、
上記自動操作工程には、
上記カメラにて撮像された画像に上記画像マークの像が含まれているとき、当該画像マークの像を参照して当該画像マークにより表現された上記情報を読み出す情報読出工程と、
上記情報読出工程によって得られた上記情報に基づいて、上記ロボットアームの動作を制御するロボットアーム制御工程と、が含まれることを特徴としている。
【００１３】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記画像マークにより表現された上記情報が、ロボットアームによる対象物の把持方法、及び／又はロボットアームによる対象物の操作方法と、ロボットアームのとるべき位置姿勢とを指定する情報であることが好ましい。
【００１４】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記情報読出工程では、上記画像マークの像に基づいて、ロボットアームの位置姿勢が計測されることが好ましい。
【００１５】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記情報読出工程では、上記画像マークの像及び上記情報が、上記福祉用ロボット装置に搭載された表示部に表示されることが好ましい。
【００１６】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記ロボットアーム制御工程では、上記制御する内容が、上記福祉用ロボット装置に搭載された表示部に表示されることが好ましい。
【００１７】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記ロボットアームの動作に関する情報と、上記ロボットアームの制御内容とが関連付けて登録されているデータベースから、上記情報読出工程によって得られた上記情報に関連付けられた制御内容を取得する検索部が、上記福祉用ロボット装置に搭載されており、
上記情報読出工程では、撮像された上記画像マークの像を参照して、上記検索部にて上記制御内容が取得され、
上記ロボットアーム制御工程では、取得された上記制御内容に基づいて、上記ロボットアームの動作を制御することが好ましい。
【００１８】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記データベースが、上記福祉用ロボット装置との間で通信路を介してデータ通信が可能なサーバに設けられており、
上記情報読出工程では、撮像された上記画像マークの像を参照して、上記検索部にて上記制御内容を上記サーバから取得することが好ましい。
【００１９】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記画像マークは、一次元コードもしくは二次元コードであることが好ましい。
【００２０】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記画像マークは、ロボットアームの操作対象物に貼着させていることが好ましい。
【００２１】
また、本発明には、コンピュータを、福祉用ロボット装置に搭載されたロボットアームに設けられたカメラにて撮像された画像に、当該ロボットアームの動作に関する情報が含まれた画像マークの像が含まれているとき、該画像マークの像を参照して該画像マークにより表現された当該動作に関する情報を読み出す情報読出手段、及び、上記情報読出手段によって得られた上記情報に基づいて、上記ロボットアームを制御するロボットアーム制御手段、として機能させるためのプログラムも含まれる。
【００２２】
また、本発明には、上記プログラムを記録したコンピュータ読み取り可能な記録媒体も含まれる。
【発明の効果】
【００２３】
本発明の構成によれば、生活環境で使用できる低出力・低精度のロボットアームでも、物体の把持や器具・装置等の操作が容易に行えるように、その操作を支援することができるだけでなく、アームを全自動で操作する場合と比較して、操作の一部をユーザの手動によって行うことから、ユーザが自主的に操作に参加することができ、ユーザの心理的ストレスを低減させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係る操作方法の一実施形態を示す図である。
【図２】本発明に係る操作方法に用いられる画像マークが貼り付けられている操作対象物の図である。
【図３】本発明に係る操作方法において操作中に表示される内容を示した図である。
【図４】本発明に係る操作方法に用いられる画像マークの図である。
【図５】一般的な福祉用ロボット装置の外観の一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について、詳細に説明する。
【００２６】
本発明に係る操作方法（操作処理）は、福祉用ロボット装置に搭載された上肢障害者自立生活支援用ロボットアームや車椅子搭載型ロボットアームを用いてユーザが日常的な作業を容易に行うことができ、且つ、ユーザが自主的に操作に参加することができる、アーム操作支援方法を実現する。
【００２７】
福祉用ロボット装置の一例としては、車椅子搭載型のロボットがある。車椅子搭載型のロボットには、例えば上述した図５に示すような外観をもつものがある。福祉用ロボット装置にはロボットアームが搭載されており、ロボットアームが、ユーザの手（腕）の役割を果たして、ユーザが所望する作業を行うように構成されている。
【００２８】
ところが、上述したように、福祉用ロボット装置に搭載されたロボットアームは、産業用ロボットアームほど精度が高くなく、ユーザの思い通りに位置姿勢を決めたり、把持などのロボットアームを用いた作業を行ったりすることが難しい。特に、細かな作業や複雑な作業をユーザ自らのロボットアーム操作によって行うことは容易なことではない。そこで、本実施形態の主たる構成は、このような福祉用ロボット装置のロボットアームの先端に搭載した小型カメラによって、ロボットアームの動作（特に、細かな作業や複雑な作業を行うための動作）に関する情報が含まれた画像マークを撮影してロボットアームの動作を制御するにあたり、まずはユーザがロボットアームを大まかに操作して小型カメラを移動させ（手動操作モード）、それ以降は、画像マークの上記情報に基づいて、ロボットアームが自動的で操作される（自動操作モード）、という福祉用ロボット装置として極めて意義ある構成を実現することにある。
【００２９】
そのため、本実施形態における操作処理は、福祉用ロボット装置に適用することができる。以下では、福祉用ロボット装置の構成及び機能について適宜触れながら、本発明に係る、福祉用ロボット装置において実現される本実施形態の操作方法について詳述する。
【００３０】
（１）ロボットアームの操作装置
図１は、本実施形態の操作装置５０の構成を示したブロック図である。尚、図１に示すユーザとは、福祉用ロボット装置のユーザのことである。本実施形態における操作装置５０は、福祉用ロボット装置のロボットアーム１０を操作する。そのため、本実施形態における操作装置５０は、図１に示すように、手動操作部１と、画像処理手段２（情報読出手段）、ロボットアーム制御手段３、表示部４とを備えている。
【００３１】
〔手動操作部〕
上記手動操作部１は、福祉用ロボット装置に搭載されたロボットアーム１０の位置姿勢を当該福祉用ロボット装置のユーザの手動によって操作するための構成である。例えば、キーボード、ジョイスティック、タッチパッドなど操作機器を利用することができる。
【００３２】
〔画像処理手段〕
上記画像処理手段２は、ロボットアーム１０の先端に搭載された小型カメラ１０ａからの画像を逐次入力し、画像中に画像マーク２０が存在するかどうかを判別し、画像マーク２０が存在する場合は、その画像マーク２０を読み取り、小型カメラ１０ａの内部パラメータに基づき、小型カメラ１０ａに対する画像マーク２０の相対的な位置姿勢を算出する。パラメータとは、焦点距離、画像中心、レンズ歪み係数など、従来周知のカメラ幾何モデルに関するパラメータである。
【００３３】
ここで、画像マーク２０にはコード情報と位置姿勢情報が含まれており、コード情報には、ロボットアーム１０の動作、例えば、作業対象物に対してロボットアーム１０がどのように動作・作業するのかなどが含まれる。画像マークの位置姿勢情報とは、画像処理等によって容易に抽出できる画像特徴点の同一直線上にない４点以上のパターン（点の組み合わせ）であり、上記カメラの内部パラメータを用いることで、カメラと画像マークとの相対的な位置姿勢を算出できる。例えば、図２は、作業対象物である電子レンジ３０の取っ手に画像マーク２０が貼り付けられたものを示す。図２の場合であれば、画像マーク２０には、ロボットアーム１０がどのような位置姿勢になって取っ手をつかみ、つかんだ取っ手をどの方向に動かせば、電子レンジ３０のドアが開くのかという情報や、電子レンジ３０に設けられた複数のボタン３０ａ（作動時間やメニューなどの指示ボタン）のうちのどれを押すのか、などの情報が含まれている。画像マークは、作業対象物に貼着している形態で用いることができるが、本発明はこれに限定されるものではなく、作業対象物に、直接、画像マークが印字されているものであってもよい。更には、画像マークと作業対象物との相対位置関係が不変であれば、作業対象物とは別体に画像マークが設けられていても良い。画像マークについては、後においても説明している。
【００３４】
画像処理手段２は、読み取った画像マーク２０のコード情報と位置姿勢情報をロボットアーム制御手段３に出力する。
【００３５】
また、画像処理手段２は、コード情報と位置姿勢情報を、入力した画像とともに、表示部４に出力する。
【００３６】
コード情報には、対象物体や器具・装置の把持方法・操作方法か、または把持方法・操作方法に対応するＩＤ（ロボットアームの動作に関する情報）が含まれている。
【００３７】
〔ロボットアーム制御手段〕
ロボットアーム制御手段３は、画像処理手段２から入力されたコード情報と位置姿勢情報に基づき、対象物を自動的に把持・操作するための操作コマンド列を作成し、ロボットアームに送信する。
【００３８】
ロボットアーム制御手段３には、把持・操作方法がＩＤとともに記録されたデータベースが格納されている。ＩＤと把持・操作方法とは関連付けられて記録されている。
【００３９】
尚、本実施形態では、ロボットアーム制御手段３にデータベースが格納されている構成について説明しているが、本発明はこれに限定されるものではない。例えば、当該データベースが、上記福祉用ロボット装置との間で通信路を介してデータ通信が可能なサーバに設けられており、撮像された画像マーク２０の像を参照して、ロボットアーム制御手段３の図示しない検索部にて適切な把持・操作方法とＩＤの組をサーバから検索及びダウンロードできるように構成されていてもよい。
【００４０】
〔表示部〕
表示部４は、画像処理部３からの情報に基づき、画像マークが読み取れているかどうかを、画像や音声、振動などによってユーザによって通知することができるように構成されている。ユーザは、表示部４からの通知に従って、手動操作モードと自動操作モードの切り替えを、手動操作部１を介して行うことができる。
【００４１】
また、ロボットアーム制御手段３から出力されるロボットアームのステータスも、表示部４を介してユーザに通知される。
【００４２】
例えば、図３は、表示部４の表示画面の一例である。図３では、図２に示した画像マークとともに、実線で示されたＸ，Ｙ方向及び破線で示されたＺ方向が表示され、画面中の「８」は読み取られたコード番号が表示されている。
【００４３】
尚、本実施形態では、表示部４が操作装置５０に設けられた構成について説明しているが、本発明はこれに限定されるものではなく、福祉用ロボット装置に何らかの表示機器が設けられている場合には、表示部４を設けず、表示部４に表示しようとする内容を当該表示機器に表示させてもよい。
【００４４】
以上の構成を具備する本実施形態の操作装置５０は、生活環境で使用できる低出力・低精度の福祉用ロボットアームでも、物体の把持や器具・装置等の操作を容易に実現させることができる。特に、本実施形態の操作装置によれば、操作の全てを自動化するのではなく、一部の操作を福祉用ロボットアームのユーザに行わせるため、ユーザ自身の「自分で操作出来る範囲は自分自身で操作したい」という要望も満たすことができる。
【００４５】
尚、本実施形態の操作装置５０には、上述した構成以外にも別の構成を付加することも可能である。例えば、小型カメラ１０ａから読み出されたデータを一時的に格納する記録媒体としてのメモリを搭載することができる。メモリは、電源を切っても記憶した内容の消えない不揮発性メモリであってもよいし、電源を切ると記憶した内容の消える揮発性メモリであってもよい。メモリとして用いることができる記録媒体の具体例としては、フラッシュメモリを挙げることができる。この場合、フラッシュメモリのタイプは、特に限定されるものではなく、ＮＡＮＤ型フラッシュメモリを用いてもよいし、ＮＯＲ型フラッシュメモリを用いてもよい。また、メモリは、操作装置の内部に備えられている内部メモリであってもよいし、外部に備えられている外部メモリであってもよい。
【００４６】
次にロボットアームの操作方法について、次に説明する。
【００４７】
（２）ロボットアームの操作方法
上述したように本発明は、画像マークの観測によるロボットアームの半自動操作によって上記課題を解決している。すなわち、画像マークを小型カメラによって観測できる位置まではユーザがロボットアームを手動でおおまかに操作し（手動モード）、その後は、マークから読み取った情報に従い、ロボットアームが自動的に作業を実行する（自動モード）。手動モードと自動モードを時系列的に切り換えて行う半自動操作によって、ユーザは、目的とする作業を容易に実行できるようになる。自動化する作業は、ユーザが状況や習熟度に合わせてカスタマイズすることができ、より自由度が高く心理的ストレスの少ない協調系となっている。
【００４８】
具体的には、本実施形態のロボットアームの操作方法は、ユーザの手動によって福祉用ロボット装置のロボットアームを動かして、ロボットアームに搭載されたカメラを、ロボットアームの動作に関する情報が含まれた画像マークの近傍に配置する手動操作工程と、上記ロボットアームを自動操作する自動操作工程と、を含んでいる。更に、上記自動操作工程には、カメラにて撮像された画像に上記画像マークの像が含まれているとき、画像マークの像を参照して画像マークにより表現された上記情報を読み出す情報読出工程と、上記情報読出工程によって得られた上記情報に基づいて、上記ロボットアームの動作を制御するロボットアーム制御工程と、が含まれることを特徴としている。
【００４９】
本実施形態では、上述した操作装置５０を用いることにより、当該操作方法を実現することができる。以下では、図１に示した操作装置の構成を用いて、操作方法の一実施形態を説明する。
【００５０】
〔手動操作工程〕
一般に入手可能な福祉用ロボットアームには、キーパッドやジョイスティックなどのロボットアーム操作装置が付随している。しかしながら、これらの操作装置の操作には習熟が必要であり、もともとアームの位置決め精度が低いこともあって、思うようにアームの手先を動かすことは非常に難しい。たとえば、コップやタッパーウェアなどの生活用品をアームで把持するには１ｃｍ以下の精度でアームを目的位置まで移動させなければならないが、すべてを手動で行うのは、特に初心者にはきわめて困難である。また、福祉用ロボットアームのハンドの多くは、一般のユーザには馴染みのない平行２指ハンドであり、ありふれた日常用品であったとしても、どの場所をどのようにつかめばよいかがわからない場合が多い。しかしながら、本実施形態においては、誰でも簡単にできる大まかな操作しかする必要がない。具体的には、物体や器具・装置に上記画像マークをあらかじめ貼付しておき、そのマークをアームの先端に取り付けられた小型カメラ３（図１）で観測できる位置まで操作すればよい。
【００５１】
実際にどの程度の距離からマークが観測可能であるかは、画像マークの大きさ、小型カメラの焦点距離などのカメラ内部パラメータ、照明条件によって変わるが、大きさ２ｃｍ×２ｃｍの画像マークを、マイクロビジョン社MCM4603のカメラを用いて、通常室内照明環境下で撮像する場合には、画像マークから約３０ｃｍ離れたところからでも十分に観測が可能である。この程度の大まかな操作であれば、初心者でも容易に行うことができる。
【００５２】
小型カメラ３で観測された画像データは、画像処理手段２に送られる。
【００５３】
画像処理手段２に送られたが画像マークは、表示部４によって画像・音声・振動などでユーザに通知される。
【００５４】
また、既知のパターンとして描かれたコードを画像処理によって読み取ることで様々な情報を提供できる。画像マークを貼付している対象の操作方法（ロボットアームを接近させる方向、把持する場所、把持方向、把持した後に動かす方向・強さなど）に関する情報は必須である。
【００５５】
既知の特徴点（典型的には正方形の四隅）を画像処理によって抽出することで、カメラに対する画像マークの位置姿勢計測ができる。ここで、位置姿勢計測に必要なカメラ内部パラメータ（焦点距離、画像中心、レンズ歪みパラメータ等）はあらかじめ測定しておく。
【００５６】
ユーザは、これらの内容を表示部において確認した上で、手動操作部１によって、操作モードを手動モードから自動モードに切り替えることができる。尚、もしユーザが自分自身での操作を望むのであれば、そのまま手動モードのままで操作を続行することも可能である。
【００５７】
〔自動操作工程〕
自動操作工程（自動操作モード）では、次々に入力される画像データから読み取られるコードと位置姿勢情報に基づいて、自動的にロボットアームを動作させる。このとき、アームを近づける方向、把持する箇所、把持したあとに動かす方向や強さなどは、把持・操作対象となる物体・器具・装置によってそれぞれ異なる。このため、画像マークには、貼付されている物体の操作方法に関する情報が含まれている。
【００５８】
画像マークは、一次元コードもしくは二次元コードであることが好ましい。
【００５９】
図４は、画像マークの一例である。図４は左からＱＲコード（登録商標）、ＡＲＴｏｏｌＫｉｔＰｌｕｓ、ＡＲＴｏｏｌＫｉｔ、チェッカーボードであり、図中の左にいくほど情報量が大きい。このように、用いるマークの形式によって、コード内に含めることのできる情報量は異なるため、もし画像マーク内に必要な情報をすべて含めることができない場合は、ロボットアームの動作に関する情報を表すＩＤを画像マーク内に記述し、読み取られたＩＤに対応する操作方法に従ってロボットアームを動作させることもできる。
【００６０】
ロボットアーム制御手段３は、コード情報と位置姿勢情報に基づき、ロボットアームの操作方法に従って対象を自動的に把持・操作するための操作コマンド列を作成し、ロボットアームに送信する。ロボットアーム制御手段３から出力されるロボットアーム１０のテータスは、表示部４を介してユーザに通知される。ユーザは状況に応じて、自動モードから手動モードに操作を切り替えることができる。
【００６１】
以上のように、本実施形態の操作方法によれば、アーム操作に習熟していないユーザであっても、ロボットアームを細かい作業に従事させる場合に、画像マークを読み取って、当該画像マークに含まれる情報に基づいて、ロボットアームの位置姿勢や動作を自動的に制御することができる。また、操作の過程においては、一部分の操作をユーザ自身が担うことから、上述したユーザの要望を満たすことが可能となる。
【００６２】
（３）プログラム及び記録媒体
最後に、操作装置に具備されている画像処理手段２及びロボットアーム制御手段３は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００６３】
すなわち、画像処理手段２及びロボットアーム制御手段３は、各機能を実現するプログラムの命令を実行するＭＰＵなどのＣＰＵ、このプログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを実行可能な形式に展開するＲＡＭ（Random Access Memory）、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。
【００６４】
そして、本発明の目的は、画像処理手段２及びロボットアーム制御手段３のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、または、ソースプログラム）を記録した記録媒体を操作装置に供給し、操作装置が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。
【００６５】
上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。
【００６６】
また、画像処理手段２及びロボットアーム制御手段３（または操作装置）を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して画像処理手段２及びロボットアーム制御手段３に供給する。この通信ネットワークは画像処理手段２及びロボットアーム制御手段３にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等であればよい。
【００６７】
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００６８】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００６９】
本発明は、小型カメラと組み込みボードコンピュータで構築可能であり、小型・低コスト（数万円）で実現できる。福祉用機器であることから補助も期待できる。印刷物であるビジュアルマークも極めて低コストである。このため、生活環境で使用されるロボットアームの操作支援装置として広く利用される可能性がある。
【符号の説明】
【００７０】
１ 手動操作部
２ 画像処理手段（情報読出手段）
３ ロボットアーム制御手段
４ 表示部
１０ ロボットアーム
１０ａ 小型カメラ（カメラ）
２０ 画像マーク
３０ 電子レンジ（操作対象物）
５０ 操作装置
【技術分野】
【０００１】
本発明は、上肢障害者自立生活支援用ロボットアーム・車椅子搭載型ロボットアームといった、いわゆる福祉用ロボットアームの操作を支援するための方法、及びプログラムに関する。
【背景技術】
【０００２】
ロボットに対象物体を自動的に認識させ、その位置姿勢を計測して把持させる技術として、いわゆるハンドアイロボットがある。ハンドアイロボットは、パターン認識・コンピュータビジョン技術ともかかわる長い研究の歴史があり、数多くの手法・システムが提案されている。また、宇宙ロボットや極限作業ロボット等のアームを遠隔操作するための支援技術として、対象物を操作者（ユーザ）に効果的に提示したり、対象物の位置姿勢を効果的に入力したりするマンマシンインタフェースも様々に提案されている。
【０００３】
例えば特許文献１には、ハンドアイロボットの一例として、ロボットの位置姿勢をビジュアルサーボによって制御するシステムが記載されている。このシステムは、ロボットコントローラと視覚装置とＣＣＤカメラとから構成される制御装置を備えており、視覚装置により、ＣＣＤカメラの画像信号を取り込み、あらかじめ登録されている参照画像と見え方が一致するような位置姿勢となる状態の制御信号をロボットコントローラに出力すると、ロボットコントローラは、これに基づいてロボット本体の移動すべき位置姿勢に駆動制御するというものである。
【０００４】
また特許文献２には、マンマシンインタフェース技術の例として、遠隔操作ロボット支援装置が記載されている。遠隔操作ロボット支援装置は、或る作業対象物を互いに異なる角度から映す複数の監視カメラを有したスレーブマニピュレータを備えており、監視カメラで撮像されたモニタ画面から写真測量の原理によって作業対象部とロボットとの距離及び対向角が計測され、移動目標位置との偏差が算出されて、オペレータが偏差量及び位置関係を見ながらロボットを作業対象物に近づけるというものである。
【０００５】
また特許文献３にも、マンマシンインタフェースの例として、ロボットの遠隔操作支援装置が記載されており、グラフィックシミュレーションによって遠隔操作を支援する技術が記載されている。より具体的には、シミュレーション画像生成装置を備えており、当該シミュレーション画像生成装置は、予め分かっている作業アームの構造情報や環境モデルの各種情報をデータベースにして、マスタ操作デバイスからの遠隔操作指令値に基づきその操作指令により手先と環境がどのような関係の動きをするかをグラフィックシュレータにより時々刻々計算して、手先カメラの視点位置から見たシミュレーション画像を生成する。シミュレーション画像生成装置で生成された縦方向と横方向の時々刻々のシミュレーション画像をディスプレイ装置に映し出してオベレータに呈示し、オペレータによる作業アームの遠隔操作を視覚面から支援するというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３８２３７９９号（２００６年７月７日登録）
【特許文献２】特開平４−３６５５８４号公報（１９９２年１２月１７日公開）
【特許文献３】特開平６−３９７５３号公報（１９９４年２月１５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来提案されてきた技術は、対象物体の位置姿勢を正確に計測または指定することと、計測・指定された目的位置にアームを正確に移動させることが主題となっている。これは、ロボットアームの位置決め精度が工学的に十分保証されている産業用ロボット等を想定した技術といえる。
【０００８】
ところで、上肢障害者自立生活支援用ロボットアームや車椅子搭載型ロボットアーム（以下では、福祉用ロボットアームと呼ぶ）は、安全上の理由と、そしてコストの問題から、重量・アクチュエータ出力・関節の剛性などを低く抑える必要があり、その位置決め精度には限界がある。例えば、代表的な福祉用ロボットアームであるｉＡＲＭ（テクノツール株式会社 製 図５）では、手先の位置精度に数ｃｍの誤差がある。こうした位置決め誤差は、ユーザがキーパッドやジョイスティックなどを用いてアームを手動操作する際には、アームに固有の「くせ」として認識される。ロボットアームを思い通りに操作するには、この「くせ」に慣れるための習熟期間が必要であり、誰もがすぐに使えるというわけではない。アーム操作に習熟していないユーザのため、細かい作業が必要な複雑な作業をできるだけ簡素化する必要がある。
【０００９】
この問題を解決するアプローチとしては、前述のようなハンドアイ技術を用いた作業の自動化や遠隔操作支援技術を用いたインタフェースの効率化があるが、これまでに提案されている技術は産業用ロボットなどの高い位置決め精度を持つロボットアームを前提としたものがほとんどであり、十分な精度が得られない福祉用ロボットアームにそのまま適用するのは困難である。
【００１０】
また一方で、上肢障害者などの福祉用ロボットアームのユーザは、自分でできる作業については、できるだけ自分自身が操作して実行したいという要望も持っている。このような観点からも、アームを全自動で操作する技術は適当でないと言える。
【課題を解決するための手段】
【００１１】
本発明は、生活環境で使用できる低出力・低精度の福祉用ロボットアームでも、物体の把持や器具・装置等の操作が容易に行うことができるように、その操作を支援するための手法である。また、本発明では、ユーザが自主的に操作に参加することができるため、ユーザの心理的ストレスを低減することが可能となる。
【００１２】
具体的には、上記の課題を解決するために、本発明に係る福祉用ロボット装置のロボットアーム操作方法は、
ユーザの手動によって福祉用ロボット装置のロボットアームを動かして、当該ロボットアームに搭載されたカメラを、当該ロボットアームの動作に関する情報が含まれた画像マークの近傍に配置する手動操作工程と、
上記ロボットアームを自動操作する自動操作工程と、を含む福祉用ロボット装置のロボットアーム操作方法であって、
上記自動操作工程には、
上記カメラにて撮像された画像に上記画像マークの像が含まれているとき、当該画像マークの像を参照して当該画像マークにより表現された上記情報を読み出す情報読出工程と、
上記情報読出工程によって得られた上記情報に基づいて、上記ロボットアームの動作を制御するロボットアーム制御工程と、が含まれることを特徴としている。
【００１３】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記画像マークにより表現された上記情報が、ロボットアームによる対象物の把持方法、及び／又はロボットアームによる対象物の操作方法と、ロボットアームのとるべき位置姿勢とを指定する情報であることが好ましい。
【００１４】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記情報読出工程では、上記画像マークの像に基づいて、ロボットアームの位置姿勢が計測されることが好ましい。
【００１５】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記情報読出工程では、上記画像マークの像及び上記情報が、上記福祉用ロボット装置に搭載された表示部に表示されることが好ましい。
【００１６】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記ロボットアーム制御工程では、上記制御する内容が、上記福祉用ロボット装置に搭載された表示部に表示されることが好ましい。
【００１７】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記ロボットアームの動作に関する情報と、上記ロボットアームの制御内容とが関連付けて登録されているデータベースから、上記情報読出工程によって得られた上記情報に関連付けられた制御内容を取得する検索部が、上記福祉用ロボット装置に搭載されており、
上記情報読出工程では、撮像された上記画像マークの像を参照して、上記検索部にて上記制御内容が取得され、
上記ロボットアーム制御工程では、取得された上記制御内容に基づいて、上記ロボットアームの動作を制御することが好ましい。
【００１８】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記データベースが、上記福祉用ロボット装置との間で通信路を介してデータ通信が可能なサーバに設けられており、
上記情報読出工程では、撮像された上記画像マークの像を参照して、上記検索部にて上記制御内容を上記サーバから取得することが好ましい。
【００１９】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記画像マークは、一次元コードもしくは二次元コードであることが好ましい。
【００２０】
また本発明に係る福祉用ロボット装置のロボットアーム操作方法は、上記の構成において、上記画像マークは、ロボットアームの操作対象物に貼着させていることが好ましい。
【００２１】
また、本発明には、コンピュータを、福祉用ロボット装置に搭載されたロボットアームに設けられたカメラにて撮像された画像に、当該ロボットアームの動作に関する情報が含まれた画像マークの像が含まれているとき、該画像マークの像を参照して該画像マークにより表現された当該動作に関する情報を読み出す情報読出手段、及び、上記情報読出手段によって得られた上記情報に基づいて、上記ロボットアームを制御するロボットアーム制御手段、として機能させるためのプログラムも含まれる。
【００２２】
また、本発明には、上記プログラムを記録したコンピュータ読み取り可能な記録媒体も含まれる。
【発明の効果】
【００２３】
本発明の構成によれば、生活環境で使用できる低出力・低精度のロボットアームでも、物体の把持や器具・装置等の操作が容易に行えるように、その操作を支援することができるだけでなく、アームを全自動で操作する場合と比較して、操作の一部をユーザの手動によって行うことから、ユーザが自主的に操作に参加することができ、ユーザの心理的ストレスを低減させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係る操作方法の一実施形態を示す図である。
【図２】本発明に係る操作方法に用いられる画像マークが貼り付けられている操作対象物の図である。
【図３】本発明に係る操作方法において操作中に表示される内容を示した図である。
【図４】本発明に係る操作方法に用いられる画像マークの図である。
【図５】一般的な福祉用ロボット装置の外観の一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について、詳細に説明する。
【００２６】
本発明に係る操作方法（操作処理）は、福祉用ロボット装置に搭載された上肢障害者自立生活支援用ロボットアームや車椅子搭載型ロボットアームを用いてユーザが日常的な作業を容易に行うことができ、且つ、ユーザが自主的に操作に参加することができる、アーム操作支援方法を実現する。
【００２７】
福祉用ロボット装置の一例としては、車椅子搭載型のロボットがある。車椅子搭載型のロボットには、例えば上述した図５に示すような外観をもつものがある。福祉用ロボット装置にはロボットアームが搭載されており、ロボットアームが、ユーザの手（腕）の役割を果たして、ユーザが所望する作業を行うように構成されている。
【００２８】
ところが、上述したように、福祉用ロボット装置に搭載されたロボットアームは、産業用ロボットアームほど精度が高くなく、ユーザの思い通りに位置姿勢を決めたり、把持などのロボットアームを用いた作業を行ったりすることが難しい。特に、細かな作業や複雑な作業をユーザ自らのロボットアーム操作によって行うことは容易なことではない。そこで、本実施形態の主たる構成は、このような福祉用ロボット装置のロボットアームの先端に搭載した小型カメラによって、ロボットアームの動作（特に、細かな作業や複雑な作業を行うための動作）に関する情報が含まれた画像マークを撮影してロボットアームの動作を制御するにあたり、まずはユーザがロボットアームを大まかに操作して小型カメラを移動させ（手動操作モード）、それ以降は、画像マークの上記情報に基づいて、ロボットアームが自動的で操作される（自動操作モード）、という福祉用ロボット装置として極めて意義ある構成を実現することにある。
【００２９】
そのため、本実施形態における操作処理は、福祉用ロボット装置に適用することができる。以下では、福祉用ロボット装置の構成及び機能について適宜触れながら、本発明に係る、福祉用ロボット装置において実現される本実施形態の操作方法について詳述する。
【００３０】
（１）ロボットアームの操作装置
図１は、本実施形態の操作装置５０の構成を示したブロック図である。尚、図１に示すユーザとは、福祉用ロボット装置のユーザのことである。本実施形態における操作装置５０は、福祉用ロボット装置のロボットアーム１０を操作する。そのため、本実施形態における操作装置５０は、図１に示すように、手動操作部１と、画像処理手段２（情報読出手段）、ロボットアーム制御手段３、表示部４とを備えている。
【００３１】
〔手動操作部〕
上記手動操作部１は、福祉用ロボット装置に搭載されたロボットアーム１０の位置姿勢を当該福祉用ロボット装置のユーザの手動によって操作するための構成である。例えば、キーボード、ジョイスティック、タッチパッドなど操作機器を利用することができる。
【００３２】
〔画像処理手段〕
上記画像処理手段２は、ロボットアーム１０の先端に搭載された小型カメラ１０ａからの画像を逐次入力し、画像中に画像マーク２０が存在するかどうかを判別し、画像マーク２０が存在する場合は、その画像マーク２０を読み取り、小型カメラ１０ａの内部パラメータに基づき、小型カメラ１０ａに対する画像マーク２０の相対的な位置姿勢を算出する。パラメータとは、焦点距離、画像中心、レンズ歪み係数など、従来周知のカメラ幾何モデルに関するパラメータである。
【００３３】
ここで、画像マーク２０にはコード情報と位置姿勢情報が含まれており、コード情報には、ロボットアーム１０の動作、例えば、作業対象物に対してロボットアーム１０がどのように動作・作業するのかなどが含まれる。画像マークの位置姿勢情報とは、画像処理等によって容易に抽出できる画像特徴点の同一直線上にない４点以上のパターン（点の組み合わせ）であり、上記カメラの内部パラメータを用いることで、カメラと画像マークとの相対的な位置姿勢を算出できる。例えば、図２は、作業対象物である電子レンジ３０の取っ手に画像マーク２０が貼り付けられたものを示す。図２の場合であれば、画像マーク２０には、ロボットアーム１０がどのような位置姿勢になって取っ手をつかみ、つかんだ取っ手をどの方向に動かせば、電子レンジ３０のドアが開くのかという情報や、電子レンジ３０に設けられた複数のボタン３０ａ（作動時間やメニューなどの指示ボタン）のうちのどれを押すのか、などの情報が含まれている。画像マークは、作業対象物に貼着している形態で用いることができるが、本発明はこれに限定されるものではなく、作業対象物に、直接、画像マークが印字されているものであってもよい。更には、画像マークと作業対象物との相対位置関係が不変であれば、作業対象物とは別体に画像マークが設けられていても良い。画像マークについては、後においても説明している。
【００３４】
画像処理手段２は、読み取った画像マーク２０のコード情報と位置姿勢情報をロボットアーム制御手段３に出力する。
【００３５】
また、画像処理手段２は、コード情報と位置姿勢情報を、入力した画像とともに、表示部４に出力する。
【００３６】
コード情報には、対象物体や器具・装置の把持方法・操作方法か、または把持方法・操作方法に対応するＩＤ（ロボットアームの動作に関する情報）が含まれている。
【００３７】
〔ロボットアーム制御手段〕
ロボットアーム制御手段３は、画像処理手段２から入力されたコード情報と位置姿勢情報に基づき、対象物を自動的に把持・操作するための操作コマンド列を作成し、ロボットアームに送信する。
【００３８】
ロボットアーム制御手段３には、把持・操作方法がＩＤとともに記録されたデータベースが格納されている。ＩＤと把持・操作方法とは関連付けられて記録されている。
【００３９】
尚、本実施形態では、ロボットアーム制御手段３にデータベースが格納されている構成について説明しているが、本発明はこれに限定されるものではない。例えば、当該データベースが、上記福祉用ロボット装置との間で通信路を介してデータ通信が可能なサーバに設けられており、撮像された画像マーク２０の像を参照して、ロボットアーム制御手段３の図示しない検索部にて適切な把持・操作方法とＩＤの組をサーバから検索及びダウンロードできるように構成されていてもよい。
【００４０】
〔表示部〕
表示部４は、画像処理部３からの情報に基づき、画像マークが読み取れているかどうかを、画像や音声、振動などによってユーザによって通知することができるように構成されている。ユーザは、表示部４からの通知に従って、手動操作モードと自動操作モードの切り替えを、手動操作部１を介して行うことができる。
【００４１】
また、ロボットアーム制御手段３から出力されるロボットアームのステータスも、表示部４を介してユーザに通知される。
【００４２】
例えば、図３は、表示部４の表示画面の一例である。図３では、図２に示した画像マークとともに、実線で示されたＸ，Ｙ方向及び破線で示されたＺ方向が表示され、画面中の「８」は読み取られたコード番号が表示されている。
【００４３】
尚、本実施形態では、表示部４が操作装置５０に設けられた構成について説明しているが、本発明はこれに限定されるものではなく、福祉用ロボット装置に何らかの表示機器が設けられている場合には、表示部４を設けず、表示部４に表示しようとする内容を当該表示機器に表示させてもよい。
【００４４】
以上の構成を具備する本実施形態の操作装置５０は、生活環境で使用できる低出力・低精度の福祉用ロボットアームでも、物体の把持や器具・装置等の操作を容易に実現させることができる。特に、本実施形態の操作装置によれば、操作の全てを自動化するのではなく、一部の操作を福祉用ロボットアームのユーザに行わせるため、ユーザ自身の「自分で操作出来る範囲は自分自身で操作したい」という要望も満たすことができる。
【００４５】
尚、本実施形態の操作装置５０には、上述した構成以外にも別の構成を付加することも可能である。例えば、小型カメラ１０ａから読み出されたデータを一時的に格納する記録媒体としてのメモリを搭載することができる。メモリは、電源を切っても記憶した内容の消えない不揮発性メモリであってもよいし、電源を切ると記憶した内容の消える揮発性メモリであってもよい。メモリとして用いることができる記録媒体の具体例としては、フラッシュメモリを挙げることができる。この場合、フラッシュメモリのタイプは、特に限定されるものではなく、ＮＡＮＤ型フラッシュメモリを用いてもよいし、ＮＯＲ型フラッシュメモリを用いてもよい。また、メモリは、操作装置の内部に備えられている内部メモリであってもよいし、外部に備えられている外部メモリであってもよい。
【００４６】
次にロボットアームの操作方法について、次に説明する。
【００４７】
（２）ロボットアームの操作方法
上述したように本発明は、画像マークの観測によるロボットアームの半自動操作によって上記課題を解決している。すなわち、画像マークを小型カメラによって観測できる位置まではユーザがロボットアームを手動でおおまかに操作し（手動モード）、その後は、マークから読み取った情報に従い、ロボットアームが自動的に作業を実行する（自動モード）。手動モードと自動モードを時系列的に切り換えて行う半自動操作によって、ユーザは、目的とする作業を容易に実行できるようになる。自動化する作業は、ユーザが状況や習熟度に合わせてカスタマイズすることができ、より自由度が高く心理的ストレスの少ない協調系となっている。
【００４８】
具体的には、本実施形態のロボットアームの操作方法は、ユーザの手動によって福祉用ロボット装置のロボットアームを動かして、ロボットアームに搭載されたカメラを、ロボットアームの動作に関する情報が含まれた画像マークの近傍に配置する手動操作工程と、上記ロボットアームを自動操作する自動操作工程と、を含んでいる。更に、上記自動操作工程には、カメラにて撮像された画像に上記画像マークの像が含まれているとき、画像マークの像を参照して画像マークにより表現された上記情報を読み出す情報読出工程と、上記情報読出工程によって得られた上記情報に基づいて、上記ロボットアームの動作を制御するロボットアーム制御工程と、が含まれることを特徴としている。
【００４９】
本実施形態では、上述した操作装置５０を用いることにより、当該操作方法を実現することができる。以下では、図１に示した操作装置の構成を用いて、操作方法の一実施形態を説明する。
【００５０】
〔手動操作工程〕
一般に入手可能な福祉用ロボットアームには、キーパッドやジョイスティックなどのロボットアーム操作装置が付随している。しかしながら、これらの操作装置の操作には習熟が必要であり、もともとアームの位置決め精度が低いこともあって、思うようにアームの手先を動かすことは非常に難しい。たとえば、コップやタッパーウェアなどの生活用品をアームで把持するには１ｃｍ以下の精度でアームを目的位置まで移動させなければならないが、すべてを手動で行うのは、特に初心者にはきわめて困難である。また、福祉用ロボットアームのハンドの多くは、一般のユーザには馴染みのない平行２指ハンドであり、ありふれた日常用品であったとしても、どの場所をどのようにつかめばよいかがわからない場合が多い。しかしながら、本実施形態においては、誰でも簡単にできる大まかな操作しかする必要がない。具体的には、物体や器具・装置に上記画像マークをあらかじめ貼付しておき、そのマークをアームの先端に取り付けられた小型カメラ３（図１）で観測できる位置まで操作すればよい。
【００５１】
実際にどの程度の距離からマークが観測可能であるかは、画像マークの大きさ、小型カメラの焦点距離などのカメラ内部パラメータ、照明条件によって変わるが、大きさ２ｃｍ×２ｃｍの画像マークを、マイクロビジョン社MCM4603のカメラを用いて、通常室内照明環境下で撮像する場合には、画像マークから約３０ｃｍ離れたところからでも十分に観測が可能である。この程度の大まかな操作であれば、初心者でも容易に行うことができる。
【００５２】
小型カメラ３で観測された画像データは、画像処理手段２に送られる。
【００５３】
画像処理手段２に送られたが画像マークは、表示部４によって画像・音声・振動などでユーザに通知される。
【００５４】
また、既知のパターンとして描かれたコードを画像処理によって読み取ることで様々な情報を提供できる。画像マークを貼付している対象の操作方法（ロボットアームを接近させる方向、把持する場所、把持方向、把持した後に動かす方向・強さなど）に関する情報は必須である。
【００５５】
既知の特徴点（典型的には正方形の四隅）を画像処理によって抽出することで、カメラに対する画像マークの位置姿勢計測ができる。ここで、位置姿勢計測に必要なカメラ内部パラメータ（焦点距離、画像中心、レンズ歪みパラメータ等）はあらかじめ測定しておく。
【００５６】
ユーザは、これらの内容を表示部において確認した上で、手動操作部１によって、操作モードを手動モードから自動モードに切り替えることができる。尚、もしユーザが自分自身での操作を望むのであれば、そのまま手動モードのままで操作を続行することも可能である。
【００５７】
〔自動操作工程〕
自動操作工程（自動操作モード）では、次々に入力される画像データから読み取られるコードと位置姿勢情報に基づいて、自動的にロボットアームを動作させる。このとき、アームを近づける方向、把持する箇所、把持したあとに動かす方向や強さなどは、把持・操作対象となる物体・器具・装置によってそれぞれ異なる。このため、画像マークには、貼付されている物体の操作方法に関する情報が含まれている。
【００５８】
画像マークは、一次元コードもしくは二次元コードであることが好ましい。
【００５９】
図４は、画像マークの一例である。図４は左からＱＲコード（登録商標）、ＡＲＴｏｏｌＫｉｔＰｌｕｓ、ＡＲＴｏｏｌＫｉｔ、チェッカーボードであり、図中の左にいくほど情報量が大きい。このように、用いるマークの形式によって、コード内に含めることのできる情報量は異なるため、もし画像マーク内に必要な情報をすべて含めることができない場合は、ロボットアームの動作に関する情報を表すＩＤを画像マーク内に記述し、読み取られたＩＤに対応する操作方法に従ってロボットアームを動作させることもできる。
【００６０】
ロボットアーム制御手段３は、コード情報と位置姿勢情報に基づき、ロボットアームの操作方法に従って対象を自動的に把持・操作するための操作コマンド列を作成し、ロボットアームに送信する。ロボットアーム制御手段３から出力されるロボットアーム１０のテータスは、表示部４を介してユーザに通知される。ユーザは状況に応じて、自動モードから手動モードに操作を切り替えることができる。
【００６１】
以上のように、本実施形態の操作方法によれば、アーム操作に習熟していないユーザであっても、ロボットアームを細かい作業に従事させる場合に、画像マークを読み取って、当該画像マークに含まれる情報に基づいて、ロボットアームの位置姿勢や動作を自動的に制御することができる。また、操作の過程においては、一部分の操作をユーザ自身が担うことから、上述したユーザの要望を満たすことが可能となる。
【００６２】
（３）プログラム及び記録媒体
最後に、操作装置に具備されている画像処理手段２及びロボットアーム制御手段３は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００６３】
すなわち、画像処理手段２及びロボットアーム制御手段３は、各機能を実現するプログラムの命令を実行するＭＰＵなどのＣＰＵ、このプログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを実行可能な形式に展開するＲＡＭ（Random Access Memory）、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。
【００６４】
そして、本発明の目的は、画像処理手段２及びロボットアーム制御手段３のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、または、ソースプログラム）を記録した記録媒体を操作装置に供給し、操作装置が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。
【００６５】
上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。
【００６６】
また、画像処理手段２及びロボットアーム制御手段３（または操作装置）を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して画像処理手段２及びロボットアーム制御手段３に供給する。この通信ネットワークは画像処理手段２及びロボットアーム制御手段３にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等であればよい。
【００６７】
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００６８】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００６９】
本発明は、小型カメラと組み込みボードコンピュータで構築可能であり、小型・低コスト（数万円）で実現できる。福祉用機器であることから補助も期待できる。印刷物であるビジュアルマークも極めて低コストである。このため、生活環境で使用されるロボットアームの操作支援装置として広く利用される可能性がある。
【符号の説明】
【００７０】
１ 手動操作部
２ 画像処理手段（情報読出手段）
３ ロボットアーム制御手段
４ 表示部
１０ ロボットアーム
１０ａ 小型カメラ（カメラ）
２０ 画像マーク
３０ 電子レンジ（操作対象物）
５０ 操作装置
【特許請求の範囲】
【請求項１】
ユーザの手動によって福祉用ロボット装置のロボットアームを動かして、当該ロボットアームに搭載されたカメラを、当該ロボットアームの動作に関する情報が含まれた画像マークの近傍に配置する手動操作工程と、
上記ロボットアームを自動操作する自動操作工程と、を含む福祉用ロボット装置のロボットアーム操作方法であって、
上記自動操作工程には、
上記カメラにて撮像された画像に上記画像マークの像が含まれているとき、当該画像マークの像を参照して当該画像マークにより表現された上記情報を読み出す情報読出工程と、
上記情報読出工程によって得られた上記情報に基づいて、上記ロボットアームの動作を制御するロボットアーム制御工程と、が含まれることを特徴とする、福祉用ロボット装置のロボットアーム操作方法。
【請求項２】
上記画像マークにより表現された上記情報は、ロボットアームによる対象物の把持方法、及び／又はロボットアームによる対象物の操作方法と、ロボットアームのとるべき位置姿勢とを指定する情報であることを特徴とする請求項１に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項３】
上記情報読出工程では、上記画像マークの像に基づいて、ロボットアームの位置姿勢が計測されることを特徴とする請求項１または２に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項４】
上記情報読出工程では、上記画像マークの像及び上記情報が、上記福祉用ロボット装置に搭載された表示部に表示されることを特徴とする請求項１から３までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項５】
上記ロボットアーム制御工程では、上記制御する内容が、上記福祉用ロボット装置に搭載された表示部に表示されることを特徴とする請求項１から４までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項６】
上記ロボットアームの動作に関する情報と、上記ロボットアームの制御内容とが関連付けて登録されているデータベースから、上記情報読出工程によって得られた上記情報に関連付けられた制御内容を取得する検索部が、上記福祉用ロボット装置に搭載されており、
上記情報読出工程では、撮像された上記画像マークの像を参照して、上記検索部にて上記制御内容が取得され、
上記ロボットアーム制御工程では、取得された上記制御内容に基づいて、上記ロボットアームの動作を制御することを特徴とする請求項１から５までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項７】
上記データベースは、上記福祉用ロボット装置との間で通信路を介してデータ通信が可能なサーバに設けられており、
上記情報読出工程では、撮像された上記画像マークの像を参照して、上記検索部にて上記制御内容を上記サーバから取得することを特徴とする請求項６に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項８】
上記画像マークは、一次元コードもしくは二次元コードであることを特徴とする請求項１から７までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項９】
上記画像マークが、ロボットアームの操作対象物に貼着していることを特徴とする請求項１から８までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項１０】
コンピュータを、
福祉用ロボット装置に搭載されたロボットアームに設けられたカメラにて撮像された画像に、当該ロボットアームの動作に関する情報が含まれた画像マークの像が含まれているとき、該画像マークの像を参照して該画像マークにより表現された当該動作に関する情報を読み出す情報読出手段、及び、
上記情報読出手段によって得られた上記情報に基づいて、上記ロボットアームを制御するロボットアーム制御手段、として機能させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
ユーザの手動によって福祉用ロボット装置のロボットアームを動かして、当該ロボットアームに搭載されたカメラを、当該ロボットアームの動作に関する情報が含まれた画像マークの近傍に配置する手動操作工程と、
上記ロボットアームを自動操作する自動操作工程と、を含む福祉用ロボット装置のロボットアーム操作方法であって、
上記自動操作工程には、
上記カメラにて撮像された画像に上記画像マークの像が含まれているとき、当該画像マークの像を参照して当該画像マークにより表現された上記情報を読み出す情報読出工程と、
上記情報読出工程によって得られた上記情報に基づいて、上記ロボットアームの動作を制御するロボットアーム制御工程と、が含まれることを特徴とする、福祉用ロボット装置のロボットアーム操作方法。
【請求項２】
上記画像マークにより表現された上記情報は、ロボットアームによる対象物の把持方法、及び／又はロボットアームによる対象物の操作方法と、ロボットアームのとるべき位置姿勢とを指定する情報であることを特徴とする請求項１に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項３】
上記情報読出工程では、上記画像マークの像に基づいて、ロボットアームの位置姿勢が計測されることを特徴とする請求項１または２に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項４】
上記情報読出工程では、上記画像マークの像及び上記情報が、上記福祉用ロボット装置に搭載された表示部に表示されることを特徴とする請求項１から３までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項５】
上記ロボットアーム制御工程では、上記制御する内容が、上記福祉用ロボット装置に搭載された表示部に表示されることを特徴とする請求項１から４までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項６】
上記ロボットアームの動作に関する情報と、上記ロボットアームの制御内容とが関連付けて登録されているデータベースから、上記情報読出工程によって得られた上記情報に関連付けられた制御内容を取得する検索部が、上記福祉用ロボット装置に搭載されており、
上記情報読出工程では、撮像された上記画像マークの像を参照して、上記検索部にて上記制御内容が取得され、
上記ロボットアーム制御工程では、取得された上記制御内容に基づいて、上記ロボットアームの動作を制御することを特徴とする請求項１から５までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項７】
上記データベースは、上記福祉用ロボット装置との間で通信路を介してデータ通信が可能なサーバに設けられており、
上記情報読出工程では、撮像された上記画像マークの像を参照して、上記検索部にて上記制御内容を上記サーバから取得することを特徴とする請求項６に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項８】
上記画像マークは、一次元コードもしくは二次元コードであることを特徴とする請求項１から７までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項９】
上記画像マークが、ロボットアームの操作対象物に貼着していることを特徴とする請求項１から８までの何れか１項に記載の、福祉用ロボット装置のロボットアーム操作方法。
【請求項１０】
コンピュータを、
福祉用ロボット装置に搭載されたロボットアームに設けられたカメラにて撮像された画像に、当該ロボットアームの動作に関する情報が含まれた画像マークの像が含まれているとき、該画像マークの像を参照して該画像マークにより表現された当該動作に関する情報を読み出す情報読出手段、及び、
上記情報読出手段によって得られた上記情報に基づいて、上記ロボットアームを制御するロボットアーム制御手段、として機能させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−２２８０６４（Ｐ２０１０−２２８０６４Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−８００８７（Ｐ２００９−８００８７）
【出願日】平成２１年３月２７日（２００９．３．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度文部科学省「科学技術連携施策群の効果的・効率的な推進 環境と作業構造のユニバーサルデザイン」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２７日（２００９．３．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度文部科学省「科学技術連携施策群の効果的・効率的な推進 環境と作業構造のユニバーサルデザイン」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]