輻輳した環境におけるロボット型機械の操縦を支援する方法及びシステム
物体がカメラの視野に侵入し、且つ、これにより、操作者の視野を見にくくした場合にも、作業シーンの適切な画像をリアルタイムで操作者に提供する、第２ロボット型移動可能機械の制御下において輻輳した作業環境内において運動する第１ロボット型移動可能機械の操縦を支援する方法である。この方法は、制約解決タイプの物理エンジンの特性の使用に基づいている。シーン内のそれぞれの物体ごとに、物理エンジンは、メッシュの形態の前記物体の物理的表現を有する。エンジンは、２つの物体の個々の位置及び速度に基づいて捩れを算出する。マニピュレータとシーン内の固定物体との間の衝突の場合に、エンジンは、マニピュレータが物体を打撃する代わりに物体を回避するように、マニピュレータに適用されるべき捩れを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、輻輳した環境における、特に、遠隔操縦プロセスの状況におけるロボット型機械の操縦を支援する方法及びシステムに関する。
【背景技術】
【０００２】
遠隔操縦（ｒｅｍｏｔｅ ｈａｎｄｌｉｎｇ）とは、マニピュレータアーム、移動可能な機械、又は任意のその他の動力供給される関節接続型装置の人間の操作者による遠隔制御である。以下の説明においては、このタイプの装置を「マニピュレータ」という用語によって表記する。完全な遠隔操縦システムにおいては、人間の操作者は、その運動がマニピュレータによって捕捉、伝達、及び再生される関節接続型マスタアームにより、離れたところからマニピュレータとやり取りする。この操作をリアルタイムで実行するために、操作者は、自身が正確に且つ完全に安全な方式によって現在のタスクを実行できるようにする作業環境に関する継続的な高品質の視覚的フィードバックを必要としている。この視点は、マニピュレータを含むシステムに取り付けられたカメラによって提供される。動作領域の正確な局所的視点が望ましい場合には、このカメラは、マニピュレータアームの端部に配置することができる。しかしながら、この配置は、操作者の視野を制限するという欠点を有しており、且つ、操作者の作業環境の全体的な画像を操作者に対して提供することができない。完全に安全な方式によって動作が実行されることを保証するためには、しばしば、全体的なシーンの中においてマニピュレータを示す第２の視点を有する必要がある。この全体的な視点は、一般に、ＰＴＺ（「パンチルトズーム（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）」）タイプの電動カメラによって得られる。
【０００３】
遠隔操縦システムにおいて解決を要する問題点の１つは、操作者に対して対象領域上への適切な視点を常に提供するというものである。いくつかの用途においては、マニピュレータが運動する環境は、完全に既知であり、且つ、管理されていると共に障害物が存在しない。この場合には、１つ又は複数の固定されたカメラを環境内において使用する解決策で十分であろう。しかしながら、運動している地点を追跡することを要する場合には、この地点は、視野の外に位置することも、又は、環境内の物体の存在により、若しくは、場合によっては、マニピュレータ自身により、隠蔽される場合もある。このような場合には、操作者に供給される画像は使用不能である。この問題を克服する１つの方法は、ＰＴＺ（パンチルトズーム）カメラなどの電動カメラを使用するというものである。この場合には、電動カメラの運動を制御する能力を有する第２の操作者がカメラの視準線を手動で更新することができる。又、この方法は、その位置が予め判明している対象領域にカメラの視点を従属させることにより、自動化することも可能である。マニピュレータが運動すると、対象地点の位置をカメラの視点設定地点に変換する。次いで、この設定地点の関数として、カメラの視点を更新する。この方法は、カメラの視準線が遮られていない際に、良好な結果を生成する。
【０００４】
従って、本発明によって解決を要する問題は、物体を遠隔操作している操作者に対して、その操作者が作業しているシーンの適切なリアルタイム画像を提供するというものである。この問題に対する既知の１つの解決策は、第２操作者によって位置が更新される第２ロボット型機械上にカメラを配置するというものである。しかしながら、この解決策は、人間による介入を必要とすることから、十分ではない。視点を継続的に補正して操作対象物体上への妨げのない視野を得ることに関与する第２の操作者を含むことなしに、この画像の生成と、間接的にカメラ視点の調節と、を自動的に実行しなければならない。
【０００５】
上述の問題点を克服するために、様々な既知の従来技術による方法が開発されている。
【０００６】
適切な視点を操作者に提供するための最も容易に実現される解決策は、国際特許出願公開第２００７／０６７１６７号パンフレットに記述されているタイプのものである。ターゲットは、その上部に配置された送信機と、電動カメラに結合された受信機と、によって位置づけられる。送信機は、ターゲットの位置をリアルタイムで受信機に送信し、受信機は、この情報を、カメラの向きを更新してその視準線が常にターゲットに向かって照準されていることを保証する責任を担うシステムに対して伝達する。この装置は、簡単ではあるが、遮蔽障害物がカメラとターゲットとの間に存在している場合には、適切な画像を操作者に提供することができない。環境が考慮されないことから、このタイプの解決策は不適当である。
【０００７】
Ｅｒｉｃ Ｍａｒｃｈａｎｄ及びＧｒｅｇ Ｄ． Ｈａｇｅｒが、別の解決策をＩＣＲＡ’９８の「Ｄｙｎａｍｉｃ Ｓｅｎｓｏｒ Ｐｌａｎｎｉｎｇ ｉｎ Ｖｉｓｕａｌ Ｓｅｒｖｏｉｎｇ」という論文において開示している。この解決策においては、障害物が存在しない視点が、ロボットアーム上に取り付けられたカメラによって得られており、これには、後からのターゲット物体の把持を困難を伴うことなしに可能にするという目的が伴っている。この文献に記述されている動作は、既知のビジュアルサーボイング法を使用している。これらの方法は、極小化を要する費用関数の定義に基づいている。関数費用は、ターゲット物体が画像の中心に位置すると共に遮蔽物体が画像の周辺又はその外部に位置する際に最小になるとされている。従って、狙いは、画像上におけるターゲット物体の投影と、従って、画像内におけるその代表的表面とが、シーン内のその他の物体との関係において相応して常に可能な限り大きくなるように、ロボット型機械の位置を継続的に適合させるというものである。
【０００８】
別の既知の従来技術による解決策は、モデル参照型経路計画法（ｍｏｄｅｌ−ｒｅｆｅｒｅｎｃｅｄ ｐａｔｈ ｐｌａｎｎｉｎｇ ｍｅｔｈｏｄ）と呼ばれるものを使用している。これらの方法は、シーンの幾何学的モデルに基づいて、障害物を回避しつつ、地点Ａを地点Ｂに接続する手段を求める。この方法の実施形態の一例が米国特許第５８０８８８７号明細書に記述されている。この方法を遠隔操縦の問題に適用することにより、ターゲットと新しいカメラ位置との間における障害物によって生成される干渉を伴うことなしに、まっすぐな線の描画を許容しつつ、その開始地点に最も近接した新しいカメラ位置を判定することができる。
【０００９】
ビジュアルサーボイング法及び経路計画法の大きな欠点は、いずれの方法も、演算パワーの観点において非常に要件が厳しいという点にあり、これにより、リアルタイム用途の場合に、その使用が制限される。更には、ビジュアルサーボイング法の主要な問題点は、これらの方法が、画像品質に依存しており、且つ、有効な解決策を見出す必要がある場合に、シーン内の様々な物体間における高度なコントラストを必要としているという点にある。又、これらの方法は、光の影響を非常に受け易く、この結果、カメラの支持部が運動可能であると共にシーン内の物体上における光の入射が変化可能である状況においては、問題が発生する。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、特に、演算パワーの観点において経済的であり、且つ、画像品質、シーンの照明、又はシーンのコントラストの影響を受けにくい解決策を提案することにより、従来技術に伴う上述の制限を解決するということにある。
【課題を解決するための手段】
【００１１】
従って、本発明は、輻輳した作業環境とやり取りするセンサ又は工具などの少なくとも１つの第２ロボット型移動可能機械の制御下において輻輳した作業環境内において運動する少なくとも１つの第１ロボット型移動可能機械の操縦を支援する方法を提案しており、この方法は、
・作業環境及びその内部に含まれた実在する物体の視覚的な３次元表現のモデル化ステップと、
・前記第２ロボット型移動可能機械の視準線が向けられる作業環境内のターゲット地点の判定ステップと、
・前記第２のロボット型移動可能機械の位置の基準地点の判定ステップと、
・前記視覚的表現内における、物理エンジンによる、ターゲット地点と基準地点との間において軸方向に延在すると共に機械的リンクによって仮想的に接続されるこれら２つの地点を接続するセグメントを実質的に内蔵する仮想的メカニズムの構築ステップと、
・物理エンジンによる、前記仮想的メカニズムと前記仮想的表現に基づいて位置が見出される作業環境内の実在する物体との間における衝突の検出ステップと、
・前記実在する物体との間の衝突から結果的に得られる前記仮想的メカニズムに適用される捩れの算出ステップであって、前記ターゲット地点の位置は不変に留まる、算出ステップと、
・作業環境内における前記仮想的メカニズムの新しい位置の判定ステップと、
・前記基準地点と前記ターゲット地点との間の視準線に障害物が存在しないような方式における、前記仮想的メカニズムの新しい位置に基づいた、前記第２ロボット型移動可能機械の前記基準地点の新しい位置の判定ステップと、
を少なくとも含むことを特徴としている。
【００１２】
本発明の変形実施形態においては、前記第１ロボット型移動可能機械は、関節接続型アームであり、且つ、前記ターゲット地点は、前記アームの端部に実質的に位置している。
【００１３】
本発明の別の実施形態においては、前記仮想的メカニズムは、前記第２ロボット型移動可能機械の視野を実質的に占有する断面を有する。
【００１４】
本発明の別の実施形態においては、前記仮想的メカニズムは、望遠鏡式シリンダの組から構成される。
【００１５】
本発明の別の実施形態においては、ターゲット地点における前記仮想的メカニズムと前記第１ロボット型移動可能機械との間の機械的リンクは、スイベルタイプのリンクである。
【００１６】
本発明の別の変形実施形態においては、ターゲット地点における前記仮想的メカニズムと前記第１ロボット型移動可能機械との間の機械的リンクは、前記ターゲット地点を操縦の最中に変更することができるように、位置制御システムによって形成されている。
【００１７】
本発明の別の変形実施形態においては、前記第２ロボット型移動可能機械は、カメラであり、且つ、前記基準地点は、その焦点距離と実質的に等しいカメラからの距離において光軸上に位置している。
【００１８】
本発明の別の変形実施形態においては、前記第２ロボット型移動可能機械は、遠隔計測レーザー又は高圧クリーナである。
【００１９】
本発明の別の変形実施形態においては、前記第２ロボット型移動可能機械は、関節接続型アームを含む。
【００２０】
本発明の別の変形実施形態においては、前記基準地点は、スプリングタイプの仮想的な機械的リンクによって前記第２ロボット型移動可能機械に対して固定された地点に仮想的に接続されている。
【００２１】
本発明の別の変形実施形態においては、前記第１ロボット型移動可能機械は、操作者によって遠隔操縦される。
【００２２】
本発明は又、操作者によって作動する関節接続型マスタアームによる輻輳した作業環境内において運動する少なくとも１つの第１ロボット型機械の遠隔操縦のための遠隔操縦システムをも提案しており、前記マスタアームの運動は、運動を捕捉、伝達、及び再生する手段を使用して前記第１ロボット型機械によって再生され、制御手段によって作動する少なくとも１つの第２ロボット型移動可能機械と、作業環境の仮想的な３次元表現を含むデータベースと、前記環境内に存在する２つの物体の間の衝突を検出及び分析するように適合されたソフトウェア物理エンジンと、前記第１ロボット型機械の遠隔操縦を支援する本発明による方法を使用するための手段と、をも含むことを特徴とする。
【００２３】
本発明の変形実施形態においては、前記第１ロボット型機械は、関節接続型アームを含む。
【００２４】
本発明の変形実施形態においては、前記第２ロボット型移動可能機械は、関節接続型アームに接続されても接続されなくてもよいカメラ、遠隔計測レーザー、又は高圧クリーナである。
【００２５】
本発明の変形実施形態においては、前記仮想的な３次元表現は、ＣＡＤ（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｓｉｇｎ）ソフトウェアによって生成される。
【００２６】
その他の特徴については、添付図面を参照して非限定的な例として提供される以下の詳細な説明から明らかとなろう。
【図面の簡単な説明】
【００２７】
【図１】本発明を使用する遠隔操縦システムの組の機能図である。
【図２】マニピュレータとカメラの視野との図である。
【図３ａ】タスクを実行する際のマニピュレータの概略図である。
【図３ｂ】遮蔽に伴う問題のための遊びを有しないカメラによって得られる画像の図である。
【図４ａ】本発明による方法を使用するカメラの場合の図３ａのものと同一の概略図である。
【図４ｂ】本発明による方法を使用するカメラによって得られる画像である。
【発明を実施するための形態】
【００２８】
図１は、ロボット型動作に使用される遠隔操縦システムの組の総合的な図である。本発明は、特に、これらのシステムのうちの１つ又は複数のものに対して適用可能である。
【００２９】
この例においては、一人又は複数人の操作者１１０、１１４が、１つ又は複数の関節接続されたロボット型アーム１１９、１２１、１２３を遠隔操縦している。このタイプのマニピュレータアームを使用して物体を遠隔把持及遠隔操縦することができる。又、本発明の範囲を逸脱することなしに、遠隔操縦システムは、把持器１２７又は任意のタイプの工具１２５などのその他の遠隔操作されるロボット型装置を含むことにより、アングルグラインダ、カッタ、電動ねじ回し、又は溶接トーチなどの前述の装置が運動する作業環境と操作者がやり取りできるようにすることもできる。以下の説明は、遠隔操縦される関節接続型アームと関係した本発明の例示用の実施形態に限定することとする。
【００３０】
本発明による方法を使用するロボット型の遠隔操縦動作は、機能の観点において、管理セル、動作ステーションの組、及び作業シーン内において操作者から所定の距離に位置すると共に実際の動作が実施されるロボット型セルという３つのサブセットに分類することができる。
【００３１】
管理セルは、動作の準備をするために、シナリオの概要を生成するために、且つ、動作の進展に伴って支持を提供する作業シーンの３次元モデルを生成するために、使用される。このセルは、データベース１０１に結合された作業シーンの仮想的モデルを設計するための少なくとも１つのステーション１０３を含む。この設計は、ＣＡＤ（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｓｉｇｎ）ソフトウェアを使用して実行することができる。狙いは、本発明による方法の実行に先行するフェーズにおいて、遠隔操縦される装置が運動することになる作業シーンの仮想的な３次元モデルの形態を有する表現を提供するということにある。この表現は、特に、作業環境内に当初存在しているすべての物体を含む。データベース１０２に結合されたシナリオ設計ステーション１０４は、特に、公称的生産タスク、予防的又は公称的保守、又は事故の状況において実行を要する動作から構成されうる動作シナリオの予備定義のために使用される。最後に、このセルは、援助ステーション１０５と、監督ステーション１０６と、をも含む。管理セル及び動作セルの各要素は、コンピュータ化された手段１０７によって相互接続されている。
【００３２】
動作セルは、離れたところで作業シーンとマスタアーム１０９、１１３によってやり取りする少なくとも一人の操作者１１０、１１４と、仮想的世界内のマニピュレータの現在の表現を、マン−マシンインターフェイスと、動作領域内に設置された少なくとも１つのカメラ１２４、１２８、１２９によって送信されるビデオフィードバックと、によって表示できるようにする動作ステーション１１１、１１５と、を含む。更に高度なシステムにおいては、マスタアーム１０９、１１３は、操作者の知覚の改善を可能にする空間的フォースフィードバックシステムを有する。この場合には、操作者は、遠隔操縦されるシステムによって自身が環境に対して付与する力を感知することができる。それぞれのマスタアーム１０９、１１３は、特に、マスタアーム及びマニピュレータアーム１１９、１２１、１２３がやり取りできるようにする位置及び運動情報を送受信するように機能するコントローラ１０８、１１２に対して接続されている。この目的のために、マスタアームのコントローラ１０８、１１２は、リアルタイムネットワーク１１６、１１７を介して、マニピュレータアーム１１９、１２１、１２３又はスレーブアームを制御する等価なコントローラ１１８、１２０、１２２に対して接続されている。マスタアームの運動は、リゾルバ、エンコーダ、ポテンショメータ、又はＬＶＤＴ（Ｌｉｎｅａｒ Ｖａｒｉａｂｌｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｔｒａｎｓｆｏｒｍｅｒ）タイプの受動型電気センサなどの関節型位置センサによってリアルタイムで捕捉される。
【００３３】
上述の要素に加えて、ロボット型セルは、カメラ１２４、１２８、１２９を含み、これらのカメラは、それぞれのマニピュレータ１１９、１２１、１２３と関連付けられており、且つ、好ましくは、第２関節接続型アーム上に配置されている。このカメラは、作業シーンへの適切な視点を操作者に提供するという機能を有しており、且つ、この目的のために、ビデオシーケンスをコンピュータネットワーク１０７によって動作ステーション１１１、１１５に送信するコントローラ１１８、１２２、１２４に対して接続されている。
【００３４】
マニピュレータがその作業環境内において運動する際には、且つ、特に、環境が輻輳している際には、最適な安全性を提供するために、マニピュレータとその環境との間の衝突を自動的に監視しなければならない。この監視は、ソフトウェア物理エンジンによって実行される。物理エンジンの主要な機能は、物理的現象をシミュレートするというものである。その機能は、一方においては、作業シーンの仮想的表現内における２つの物体の間の衝突を検出及び制御するというものであり、且つ、他方においては、表現する対象である物理的現象の連立方程式を解くというものである。本発明によるシステムにおいては、物理エンジンは、所謂、制約解決（ｃｏｎｓｔｒａｉｎｔ ｒｅｓｏｌｕｔｉｏｎ）タイプのものである。シーン内のそれぞれの物体ごとに、物理エンジンは、メッシュの形態における前記物体の物理的表現を有する。エンジンは、２つの物体の個々の位置及び速度に基づいて捩れ（ｗｒｅｎｃｈ）を算出する。マニピュレータとシーン内の固定物体との間の衝突の場合には、エンジンは、マニピュレータが物体を打撃する代わりに物体を回避するように、マニピュレータに適用するべき捩れを判定する。マニピュレータの運動には制約が課されるが、衝突に起因した停止は発生しない。物理エンジンは、それぞれの物体に印加するべき力を判定し、均衡位置をシステムが見出すことができるようにする。
【００３５】
用途の要件に応じて、物理エンジンは、リアルタイムの実行に関係した制約が柔軟である場合には、動作ステーション１１１、１１５において稼働してもよく、或いは、厳格なリアルタイム動作が必要とされる際には、リアルタイムネットワーク１１６、１１７内において直接的に稼働してもよい。又、本発明の範囲を逸脱することなしに、物理エンジンは、実在する要素上のみならず、シーンの仮想的表現内においても、操作者が力を感知できるようにすることもできる。従って、遠隔操縦されるエンジンの運動は、実行対象のタスクを促進する方向において制約することができる。
【００３６】
前述のように、本発明によって解決されるべき技術的な問題点は、物体がカメラの視野内に侵入し、且つ、これにより、操作者の視野を見にくくした場合にも、作業シーンの適切な画像を操作者に対してリアルタイムで提供するというものである。
【００３７】
本発明による方法によって使用されている解決策は、前述の物理エンジンの特性の使用に基づいており、このエンジンは、監視目的のために遠隔操縦システム内に設置される。
【００３８】
図２は、作業シーンの視覚的表現を目的とした本発明による方法の概略的な使用例を示している。関節接続型アーム２０１は、ターゲット地点２０３によって表されている物体を操縦するために遠隔操作される。好ましくは図示されてはいない第２アーム上に配置されたカメラが、操作者の作業環境の正確な画像を操作者に対して提供するために、ターゲット地点を撮影している。このカメラは、図２においては、その焦点２０２によって表されている。
【００３９】
カメラの視野を実現する仮想的メカニズム２０５が、シーン内の任意のその他の物体又は要素と同様の方式により、シーンの仮想的表現に追加されている。以下の説明においては、「メカニズム」という用語を使用し、集合的な運動又は動作を目的として配置された部品又は部材の組合せを表記する。管理セル内に実装された仮想的モデル設計手段を使用し、このメカニズム２０５を生成する。実在していないこの仮想的メカニズム２０５は、カメラ２０２の焦点とターゲット地点２０３との間に軸方向において延在することによってカメラの視野を基本的に占有するように、設計されている。本発明の変形実施形態においては、カメラの位置決めのための基準として機能する地点２０２は、焦点距離と実質的に等しいカメラからの距離においてカメラの焦軸上に位置する地点であってもよい。メカニズム２０５は、実在する物体の表現であるシーン内のその他の物体と同様の方式によってその形状が完全に判明しているメッシュによって定義されている。このメカニズムは、例えば、図２に示されているように、焦点２０２とターゲット地点２０３との間の距離に等しい全長と、カメラの視野の関数として既定される値に等しい直径と、を有する望遠鏡式シリンダの組から構成されてもよい。仮想的メカニズム２０５の形状は、シリンダの組に限定されるものではない。具体的には、これは、円形、六角形、及び矩形を含む任意の形状の一貫性を有する断面を有することも可能であり、且つ、メカニズム２０５が円錐又は裁頭円錐を形成するような方式によって変化する断面を有することもできる。
【００４０】
仮想的メカニズム２０５は、仮想的な機械的リンクにより、焦点２０２及びターゲット地点２０３に対して接続され、且つ、図２に示されている例示用の実施形態においては、前記メカニズムの両端部は、一方においては、マニピュレータ２０１の端部の運動に伴って、且つ、他方においては、カメラ２０２の焦点に伴って、運動する。このメカニズム２０５は、まるで実在するかのように、物理エンジンによって考慮されている。従って、仮想的メカニズム２０５とシーン内のその他の物体又は関節接続型アーム２０１の一部との間の衝突が物理エンジンによって検出される。エンジンは、別の物体との接触の後に、仮想的メカニズム２０５に印加するべき力と、その結果、前記物体との衝突の後のその新しい位置と、を判定する。次いで、ターゲット地点が対象領域に装着されているという制約により、仮想的メカニズム２０５の運動の結果として、仮想メカニズムに装着されているカメラの焦点の運動が間接的にもたらされる。仮想的メカニズム２０５の新しい位置に基づいて、カメラ２０２の更新済みの位置が判定され、且つ、この位置が、デカルト位置設定地点の形態において、コントローラ１１８に対して送信され、次いで、このコントローラは、実在するカメラにより、或いは、対象の地点から見た幾何学的モデルの表現を算出する仮想的なカメラにより、障害物が存在しない視点を操作者に対して提供するように、カメラ２０２の運動をその新しい位置に向かって制御する。
【００４１】
仮想的メカニズム２０５を作業環境に導入し、且つ、その他の要素との間のこの物体の衝突を考慮することにより、実在する物体が仮想的メカニズムとの重畳状態において存在しえないことを保証することができる。仮想的メカニズムは、その適切な画像の提供を要するターゲット地点に向かって照準されたカメラの視野を占有するように設計されているため、この結果、カメラの視野に障害物が常に存在せず、且つ、操作者が妨害を絶対に経験しないことが保証される。仮想的メカニズム２０５と実在する物体との間において衝突が発生すると、即座に、物理エンジンは、仮想的メカニズム２０５の新しい位置と、間接的に、カメラの焦点の位置と、を判定し、カメラは、最良の画像を実現するように運動する。
【００４２】
本発明の変形実施形態においては、カメラの焦点２０２は、カメラの運動を制約すると共に意図的にその運動を制限するために、スプリングタイプの機械的リンクにより、例えば、カメラを支持する第２関節接続型アームの基部に固定された地点などの固定された基準地点に対して仮想的に制約されている。この理由は、カメラの運動が制限された場合には、且つ、更には、カメラの運動が機械的な制限によって限定された場合には、操作者の視覚的快適性が改善されるためである。
【００４３】
本発明の別の変形実施形態においては、ターゲット地点２０３における仮想的メカニズム２０５と関節接続型アーム２０１との間の機械的リンクは、永久的に確立されている。この結果、関節接続型アーム２０１に関する運動学的な説明は、３次元モデルにおいてマニピュレータアーム２０１と仮想的メカニズム２０５が単一のメカニズムを形成するような方式によって拡張される。この場合には、カメラの運動を制限するために、これらは、シーンの３次元モデルに導入されたスイベルタイプの機械的リンク２０４によってターゲット地点において相互接続される。
【００４４】
本発明の別の変形実施形態においては、ターゲット地点２０３における仮想的メカニズム２０５と関節接続型アーム２０１との間のリンクは、タスクを実行する最中にターゲットを変更することができるように、位置制御システムによって形成されている。
【００４５】
本発明の別の変形実施形態においては、カメラは、例えば、遠隔計測レーザーや高圧ウォータージェットクリーナなどのような、ターゲット地点とそれ自体との間における妨げのない視野を必要とする任意のタイプのセンサ又は工具によって置換することができる。
【００４６】
図３ａは、トンネルボーリング機械の保守に使用されるマニピュレータ２０１の位置決めを示している。カメラは、固定されたその焦点２０２によって表されている。ターゲット地点２０３は、関節接続型アームの端部に位置している。
【００４７】
図３ｂは、図３ａのシナリオにおいてカメラによって得られる画像を示している。ターゲットが、カメラの視野内に配置されたマニピュレータによって見にくくなっていることを観察することができる。
【００４８】
図４ａは、ターゲット地点の妨げのない視野を常に維持するために、カメラの焦点２０２の最も適切な位置決めの自動的な判定のために本発明による方法が使用されるシナリオを示している。カメラの視野を妨げないように、焦点２０２が、図３ａにおけるその当初の位置との関係において運動していることを観察することができる。
【００４９】
図４ｂは、本発明による方法を使用した際に、ターゲット地点に向かうその視野を障害物の存在しない状態に維持するために自動的に運動したカメラによって得られる画像を示している。
【００５０】
本発明による方法及びシステムは、衝突検出のための物理エンジンの特性及び作業シーンの仮想的な３次元表現の特性を使用することにより、作業領域の適切な画像を操作者に対して提供できるようにする。本発明による方法は、撮像された画像の品質とは無関係であるという利点を有するシーンの３次元モデルに関係している。それぞれの物体の非常に細かなメッシュ表現を提供することが常に必要とされるわけではないことから、本発明の範囲を逸脱することなしに、シーンの仮想的なモデル化を更に最低限のものにすることができるが、モデル化は、物理エンジンが２つの物体間の衝突の検出を実現できるようにするために十分なものでなければならない。又、本発明は、その作業環境内の物体とやり取りするセンサやその他の機械などのロボット型機械に対して障害物の存在しない視準線を提供することを要するあらゆるタイプの自動化されたシステムに対して適用可能である。特に、ロボット型機械は、必ずしも、操作者によって遠隔操作されるわけではない。
【技術分野】
【０００１】
本発明は、輻輳した環境における、特に、遠隔操縦プロセスの状況におけるロボット型機械の操縦を支援する方法及びシステムに関する。
【背景技術】
【０００２】
遠隔操縦（ｒｅｍｏｔｅ ｈａｎｄｌｉｎｇ）とは、マニピュレータアーム、移動可能な機械、又は任意のその他の動力供給される関節接続型装置の人間の操作者による遠隔制御である。以下の説明においては、このタイプの装置を「マニピュレータ」という用語によって表記する。完全な遠隔操縦システムにおいては、人間の操作者は、その運動がマニピュレータによって捕捉、伝達、及び再生される関節接続型マスタアームにより、離れたところからマニピュレータとやり取りする。この操作をリアルタイムで実行するために、操作者は、自身が正確に且つ完全に安全な方式によって現在のタスクを実行できるようにする作業環境に関する継続的な高品質の視覚的フィードバックを必要としている。この視点は、マニピュレータを含むシステムに取り付けられたカメラによって提供される。動作領域の正確な局所的視点が望ましい場合には、このカメラは、マニピュレータアームの端部に配置することができる。しかしながら、この配置は、操作者の視野を制限するという欠点を有しており、且つ、操作者の作業環境の全体的な画像を操作者に対して提供することができない。完全に安全な方式によって動作が実行されることを保証するためには、しばしば、全体的なシーンの中においてマニピュレータを示す第２の視点を有する必要がある。この全体的な視点は、一般に、ＰＴＺ（「パンチルトズーム（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）」）タイプの電動カメラによって得られる。
【０００３】
遠隔操縦システムにおいて解決を要する問題点の１つは、操作者に対して対象領域上への適切な視点を常に提供するというものである。いくつかの用途においては、マニピュレータが運動する環境は、完全に既知であり、且つ、管理されていると共に障害物が存在しない。この場合には、１つ又は複数の固定されたカメラを環境内において使用する解決策で十分であろう。しかしながら、運動している地点を追跡することを要する場合には、この地点は、視野の外に位置することも、又は、環境内の物体の存在により、若しくは、場合によっては、マニピュレータ自身により、隠蔽される場合もある。このような場合には、操作者に供給される画像は使用不能である。この問題を克服する１つの方法は、ＰＴＺ（パンチルトズーム）カメラなどの電動カメラを使用するというものである。この場合には、電動カメラの運動を制御する能力を有する第２の操作者がカメラの視準線を手動で更新することができる。又、この方法は、その位置が予め判明している対象領域にカメラの視点を従属させることにより、自動化することも可能である。マニピュレータが運動すると、対象地点の位置をカメラの視点設定地点に変換する。次いで、この設定地点の関数として、カメラの視点を更新する。この方法は、カメラの視準線が遮られていない際に、良好な結果を生成する。
【０００４】
従って、本発明によって解決を要する問題は、物体を遠隔操作している操作者に対して、その操作者が作業しているシーンの適切なリアルタイム画像を提供するというものである。この問題に対する既知の１つの解決策は、第２操作者によって位置が更新される第２ロボット型機械上にカメラを配置するというものである。しかしながら、この解決策は、人間による介入を必要とすることから、十分ではない。視点を継続的に補正して操作対象物体上への妨げのない視野を得ることに関与する第２の操作者を含むことなしに、この画像の生成と、間接的にカメラ視点の調節と、を自動的に実行しなければならない。
【０００５】
上述の問題点を克服するために、様々な既知の従来技術による方法が開発されている。
【０００６】
適切な視点を操作者に提供するための最も容易に実現される解決策は、国際特許出願公開第２００７／０６７１６７号パンフレットに記述されているタイプのものである。ターゲットは、その上部に配置された送信機と、電動カメラに結合された受信機と、によって位置づけられる。送信機は、ターゲットの位置をリアルタイムで受信機に送信し、受信機は、この情報を、カメラの向きを更新してその視準線が常にターゲットに向かって照準されていることを保証する責任を担うシステムに対して伝達する。この装置は、簡単ではあるが、遮蔽障害物がカメラとターゲットとの間に存在している場合には、適切な画像を操作者に提供することができない。環境が考慮されないことから、このタイプの解決策は不適当である。
【０００７】
Ｅｒｉｃ Ｍａｒｃｈａｎｄ及びＧｒｅｇ Ｄ． Ｈａｇｅｒが、別の解決策をＩＣＲＡ’９８の「Ｄｙｎａｍｉｃ Ｓｅｎｓｏｒ Ｐｌａｎｎｉｎｇ ｉｎ Ｖｉｓｕａｌ Ｓｅｒｖｏｉｎｇ」という論文において開示している。この解決策においては、障害物が存在しない視点が、ロボットアーム上に取り付けられたカメラによって得られており、これには、後からのターゲット物体の把持を困難を伴うことなしに可能にするという目的が伴っている。この文献に記述されている動作は、既知のビジュアルサーボイング法を使用している。これらの方法は、極小化を要する費用関数の定義に基づいている。関数費用は、ターゲット物体が画像の中心に位置すると共に遮蔽物体が画像の周辺又はその外部に位置する際に最小になるとされている。従って、狙いは、画像上におけるターゲット物体の投影と、従って、画像内におけるその代表的表面とが、シーン内のその他の物体との関係において相応して常に可能な限り大きくなるように、ロボット型機械の位置を継続的に適合させるというものである。
【０００８】
別の既知の従来技術による解決策は、モデル参照型経路計画法（ｍｏｄｅｌ−ｒｅｆｅｒｅｎｃｅｄ ｐａｔｈ ｐｌａｎｎｉｎｇ ｍｅｔｈｏｄ）と呼ばれるものを使用している。これらの方法は、シーンの幾何学的モデルに基づいて、障害物を回避しつつ、地点Ａを地点Ｂに接続する手段を求める。この方法の実施形態の一例が米国特許第５８０８８８７号明細書に記述されている。この方法を遠隔操縦の問題に適用することにより、ターゲットと新しいカメラ位置との間における障害物によって生成される干渉を伴うことなしに、まっすぐな線の描画を許容しつつ、その開始地点に最も近接した新しいカメラ位置を判定することができる。
【０００９】
ビジュアルサーボイング法及び経路計画法の大きな欠点は、いずれの方法も、演算パワーの観点において非常に要件が厳しいという点にあり、これにより、リアルタイム用途の場合に、その使用が制限される。更には、ビジュアルサーボイング法の主要な問題点は、これらの方法が、画像品質に依存しており、且つ、有効な解決策を見出す必要がある場合に、シーン内の様々な物体間における高度なコントラストを必要としているという点にある。又、これらの方法は、光の影響を非常に受け易く、この結果、カメラの支持部が運動可能であると共にシーン内の物体上における光の入射が変化可能である状況においては、問題が発生する。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、特に、演算パワーの観点において経済的であり、且つ、画像品質、シーンの照明、又はシーンのコントラストの影響を受けにくい解決策を提案することにより、従来技術に伴う上述の制限を解決するということにある。
【課題を解決するための手段】
【００１１】
従って、本発明は、輻輳した作業環境とやり取りするセンサ又は工具などの少なくとも１つの第２ロボット型移動可能機械の制御下において輻輳した作業環境内において運動する少なくとも１つの第１ロボット型移動可能機械の操縦を支援する方法を提案しており、この方法は、
・作業環境及びその内部に含まれた実在する物体の視覚的な３次元表現のモデル化ステップと、
・前記第２ロボット型移動可能機械の視準線が向けられる作業環境内のターゲット地点の判定ステップと、
・前記第２のロボット型移動可能機械の位置の基準地点の判定ステップと、
・前記視覚的表現内における、物理エンジンによる、ターゲット地点と基準地点との間において軸方向に延在すると共に機械的リンクによって仮想的に接続されるこれら２つの地点を接続するセグメントを実質的に内蔵する仮想的メカニズムの構築ステップと、
・物理エンジンによる、前記仮想的メカニズムと前記仮想的表現に基づいて位置が見出される作業環境内の実在する物体との間における衝突の検出ステップと、
・前記実在する物体との間の衝突から結果的に得られる前記仮想的メカニズムに適用される捩れの算出ステップであって、前記ターゲット地点の位置は不変に留まる、算出ステップと、
・作業環境内における前記仮想的メカニズムの新しい位置の判定ステップと、
・前記基準地点と前記ターゲット地点との間の視準線に障害物が存在しないような方式における、前記仮想的メカニズムの新しい位置に基づいた、前記第２ロボット型移動可能機械の前記基準地点の新しい位置の判定ステップと、
を少なくとも含むことを特徴としている。
【００１２】
本発明の変形実施形態においては、前記第１ロボット型移動可能機械は、関節接続型アームであり、且つ、前記ターゲット地点は、前記アームの端部に実質的に位置している。
【００１３】
本発明の別の実施形態においては、前記仮想的メカニズムは、前記第２ロボット型移動可能機械の視野を実質的に占有する断面を有する。
【００１４】
本発明の別の実施形態においては、前記仮想的メカニズムは、望遠鏡式シリンダの組から構成される。
【００１５】
本発明の別の実施形態においては、ターゲット地点における前記仮想的メカニズムと前記第１ロボット型移動可能機械との間の機械的リンクは、スイベルタイプのリンクである。
【００１６】
本発明の別の変形実施形態においては、ターゲット地点における前記仮想的メカニズムと前記第１ロボット型移動可能機械との間の機械的リンクは、前記ターゲット地点を操縦の最中に変更することができるように、位置制御システムによって形成されている。
【００１７】
本発明の別の変形実施形態においては、前記第２ロボット型移動可能機械は、カメラであり、且つ、前記基準地点は、その焦点距離と実質的に等しいカメラからの距離において光軸上に位置している。
【００１８】
本発明の別の変形実施形態においては、前記第２ロボット型移動可能機械は、遠隔計測レーザー又は高圧クリーナである。
【００１９】
本発明の別の変形実施形態においては、前記第２ロボット型移動可能機械は、関節接続型アームを含む。
【００２０】
本発明の別の変形実施形態においては、前記基準地点は、スプリングタイプの仮想的な機械的リンクによって前記第２ロボット型移動可能機械に対して固定された地点に仮想的に接続されている。
【００２１】
本発明の別の変形実施形態においては、前記第１ロボット型移動可能機械は、操作者によって遠隔操縦される。
【００２２】
本発明は又、操作者によって作動する関節接続型マスタアームによる輻輳した作業環境内において運動する少なくとも１つの第１ロボット型機械の遠隔操縦のための遠隔操縦システムをも提案しており、前記マスタアームの運動は、運動を捕捉、伝達、及び再生する手段を使用して前記第１ロボット型機械によって再生され、制御手段によって作動する少なくとも１つの第２ロボット型移動可能機械と、作業環境の仮想的な３次元表現を含むデータベースと、前記環境内に存在する２つの物体の間の衝突を検出及び分析するように適合されたソフトウェア物理エンジンと、前記第１ロボット型機械の遠隔操縦を支援する本発明による方法を使用するための手段と、をも含むことを特徴とする。
【００２３】
本発明の変形実施形態においては、前記第１ロボット型機械は、関節接続型アームを含む。
【００２４】
本発明の変形実施形態においては、前記第２ロボット型移動可能機械は、関節接続型アームに接続されても接続されなくてもよいカメラ、遠隔計測レーザー、又は高圧クリーナである。
【００２５】
本発明の変形実施形態においては、前記仮想的な３次元表現は、ＣＡＤ（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｓｉｇｎ）ソフトウェアによって生成される。
【００２６】
その他の特徴については、添付図面を参照して非限定的な例として提供される以下の詳細な説明から明らかとなろう。
【図面の簡単な説明】
【００２７】
【図１】本発明を使用する遠隔操縦システムの組の機能図である。
【図２】マニピュレータとカメラの視野との図である。
【図３ａ】タスクを実行する際のマニピュレータの概略図である。
【図３ｂ】遮蔽に伴う問題のための遊びを有しないカメラによって得られる画像の図である。
【図４ａ】本発明による方法を使用するカメラの場合の図３ａのものと同一の概略図である。
【図４ｂ】本発明による方法を使用するカメラによって得られる画像である。
【発明を実施するための形態】
【００２８】
図１は、ロボット型動作に使用される遠隔操縦システムの組の総合的な図である。本発明は、特に、これらのシステムのうちの１つ又は複数のものに対して適用可能である。
【００２９】
この例においては、一人又は複数人の操作者１１０、１１４が、１つ又は複数の関節接続されたロボット型アーム１１９、１２１、１２３を遠隔操縦している。このタイプのマニピュレータアームを使用して物体を遠隔把持及遠隔操縦することができる。又、本発明の範囲を逸脱することなしに、遠隔操縦システムは、把持器１２７又は任意のタイプの工具１２５などのその他の遠隔操作されるロボット型装置を含むことにより、アングルグラインダ、カッタ、電動ねじ回し、又は溶接トーチなどの前述の装置が運動する作業環境と操作者がやり取りできるようにすることもできる。以下の説明は、遠隔操縦される関節接続型アームと関係した本発明の例示用の実施形態に限定することとする。
【００３０】
本発明による方法を使用するロボット型の遠隔操縦動作は、機能の観点において、管理セル、動作ステーションの組、及び作業シーン内において操作者から所定の距離に位置すると共に実際の動作が実施されるロボット型セルという３つのサブセットに分類することができる。
【００３１】
管理セルは、動作の準備をするために、シナリオの概要を生成するために、且つ、動作の進展に伴って支持を提供する作業シーンの３次元モデルを生成するために、使用される。このセルは、データベース１０１に結合された作業シーンの仮想的モデルを設計するための少なくとも１つのステーション１０３を含む。この設計は、ＣＡＤ（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｓｉｇｎ）ソフトウェアを使用して実行することができる。狙いは、本発明による方法の実行に先行するフェーズにおいて、遠隔操縦される装置が運動することになる作業シーンの仮想的な３次元モデルの形態を有する表現を提供するということにある。この表現は、特に、作業環境内に当初存在しているすべての物体を含む。データベース１０２に結合されたシナリオ設計ステーション１０４は、特に、公称的生産タスク、予防的又は公称的保守、又は事故の状況において実行を要する動作から構成されうる動作シナリオの予備定義のために使用される。最後に、このセルは、援助ステーション１０５と、監督ステーション１０６と、をも含む。管理セル及び動作セルの各要素は、コンピュータ化された手段１０７によって相互接続されている。
【００３２】
動作セルは、離れたところで作業シーンとマスタアーム１０９、１１３によってやり取りする少なくとも一人の操作者１１０、１１４と、仮想的世界内のマニピュレータの現在の表現を、マン−マシンインターフェイスと、動作領域内に設置された少なくとも１つのカメラ１２４、１２８、１２９によって送信されるビデオフィードバックと、によって表示できるようにする動作ステーション１１１、１１５と、を含む。更に高度なシステムにおいては、マスタアーム１０９、１１３は、操作者の知覚の改善を可能にする空間的フォースフィードバックシステムを有する。この場合には、操作者は、遠隔操縦されるシステムによって自身が環境に対して付与する力を感知することができる。それぞれのマスタアーム１０９、１１３は、特に、マスタアーム及びマニピュレータアーム１１９、１２１、１２３がやり取りできるようにする位置及び運動情報を送受信するように機能するコントローラ１０８、１１２に対して接続されている。この目的のために、マスタアームのコントローラ１０８、１１２は、リアルタイムネットワーク１１６、１１７を介して、マニピュレータアーム１１９、１２１、１２３又はスレーブアームを制御する等価なコントローラ１１８、１２０、１２２に対して接続されている。マスタアームの運動は、リゾルバ、エンコーダ、ポテンショメータ、又はＬＶＤＴ（Ｌｉｎｅａｒ Ｖａｒｉａｂｌｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｔｒａｎｓｆｏｒｍｅｒ）タイプの受動型電気センサなどの関節型位置センサによってリアルタイムで捕捉される。
【００３３】
上述の要素に加えて、ロボット型セルは、カメラ１２４、１２８、１２９を含み、これらのカメラは、それぞれのマニピュレータ１１９、１２１、１２３と関連付けられており、且つ、好ましくは、第２関節接続型アーム上に配置されている。このカメラは、作業シーンへの適切な視点を操作者に提供するという機能を有しており、且つ、この目的のために、ビデオシーケンスをコンピュータネットワーク１０７によって動作ステーション１１１、１１５に送信するコントローラ１１８、１２２、１２４に対して接続されている。
【００３４】
マニピュレータがその作業環境内において運動する際には、且つ、特に、環境が輻輳している際には、最適な安全性を提供するために、マニピュレータとその環境との間の衝突を自動的に監視しなければならない。この監視は、ソフトウェア物理エンジンによって実行される。物理エンジンの主要な機能は、物理的現象をシミュレートするというものである。その機能は、一方においては、作業シーンの仮想的表現内における２つの物体の間の衝突を検出及び制御するというものであり、且つ、他方においては、表現する対象である物理的現象の連立方程式を解くというものである。本発明によるシステムにおいては、物理エンジンは、所謂、制約解決（ｃｏｎｓｔｒａｉｎｔ ｒｅｓｏｌｕｔｉｏｎ）タイプのものである。シーン内のそれぞれの物体ごとに、物理エンジンは、メッシュの形態における前記物体の物理的表現を有する。エンジンは、２つの物体の個々の位置及び速度に基づいて捩れ（ｗｒｅｎｃｈ）を算出する。マニピュレータとシーン内の固定物体との間の衝突の場合には、エンジンは、マニピュレータが物体を打撃する代わりに物体を回避するように、マニピュレータに適用するべき捩れを判定する。マニピュレータの運動には制約が課されるが、衝突に起因した停止は発生しない。物理エンジンは、それぞれの物体に印加するべき力を判定し、均衡位置をシステムが見出すことができるようにする。
【００３５】
用途の要件に応じて、物理エンジンは、リアルタイムの実行に関係した制約が柔軟である場合には、動作ステーション１１１、１１５において稼働してもよく、或いは、厳格なリアルタイム動作が必要とされる際には、リアルタイムネットワーク１１６、１１７内において直接的に稼働してもよい。又、本発明の範囲を逸脱することなしに、物理エンジンは、実在する要素上のみならず、シーンの仮想的表現内においても、操作者が力を感知できるようにすることもできる。従って、遠隔操縦されるエンジンの運動は、実行対象のタスクを促進する方向において制約することができる。
【００３６】
前述のように、本発明によって解決されるべき技術的な問題点は、物体がカメラの視野内に侵入し、且つ、これにより、操作者の視野を見にくくした場合にも、作業シーンの適切な画像を操作者に対してリアルタイムで提供するというものである。
【００３７】
本発明による方法によって使用されている解決策は、前述の物理エンジンの特性の使用に基づいており、このエンジンは、監視目的のために遠隔操縦システム内に設置される。
【００３８】
図２は、作業シーンの視覚的表現を目的とした本発明による方法の概略的な使用例を示している。関節接続型アーム２０１は、ターゲット地点２０３によって表されている物体を操縦するために遠隔操作される。好ましくは図示されてはいない第２アーム上に配置されたカメラが、操作者の作業環境の正確な画像を操作者に対して提供するために、ターゲット地点を撮影している。このカメラは、図２においては、その焦点２０２によって表されている。
【００３９】
カメラの視野を実現する仮想的メカニズム２０５が、シーン内の任意のその他の物体又は要素と同様の方式により、シーンの仮想的表現に追加されている。以下の説明においては、「メカニズム」という用語を使用し、集合的な運動又は動作を目的として配置された部品又は部材の組合せを表記する。管理セル内に実装された仮想的モデル設計手段を使用し、このメカニズム２０５を生成する。実在していないこの仮想的メカニズム２０５は、カメラ２０２の焦点とターゲット地点２０３との間に軸方向において延在することによってカメラの視野を基本的に占有するように、設計されている。本発明の変形実施形態においては、カメラの位置決めのための基準として機能する地点２０２は、焦点距離と実質的に等しいカメラからの距離においてカメラの焦軸上に位置する地点であってもよい。メカニズム２０５は、実在する物体の表現であるシーン内のその他の物体と同様の方式によってその形状が完全に判明しているメッシュによって定義されている。このメカニズムは、例えば、図２に示されているように、焦点２０２とターゲット地点２０３との間の距離に等しい全長と、カメラの視野の関数として既定される値に等しい直径と、を有する望遠鏡式シリンダの組から構成されてもよい。仮想的メカニズム２０５の形状は、シリンダの組に限定されるものではない。具体的には、これは、円形、六角形、及び矩形を含む任意の形状の一貫性を有する断面を有することも可能であり、且つ、メカニズム２０５が円錐又は裁頭円錐を形成するような方式によって変化する断面を有することもできる。
【００４０】
仮想的メカニズム２０５は、仮想的な機械的リンクにより、焦点２０２及びターゲット地点２０３に対して接続され、且つ、図２に示されている例示用の実施形態においては、前記メカニズムの両端部は、一方においては、マニピュレータ２０１の端部の運動に伴って、且つ、他方においては、カメラ２０２の焦点に伴って、運動する。このメカニズム２０５は、まるで実在するかのように、物理エンジンによって考慮されている。従って、仮想的メカニズム２０５とシーン内のその他の物体又は関節接続型アーム２０１の一部との間の衝突が物理エンジンによって検出される。エンジンは、別の物体との接触の後に、仮想的メカニズム２０５に印加するべき力と、その結果、前記物体との衝突の後のその新しい位置と、を判定する。次いで、ターゲット地点が対象領域に装着されているという制約により、仮想的メカニズム２０５の運動の結果として、仮想メカニズムに装着されているカメラの焦点の運動が間接的にもたらされる。仮想的メカニズム２０５の新しい位置に基づいて、カメラ２０２の更新済みの位置が判定され、且つ、この位置が、デカルト位置設定地点の形態において、コントローラ１１８に対して送信され、次いで、このコントローラは、実在するカメラにより、或いは、対象の地点から見た幾何学的モデルの表現を算出する仮想的なカメラにより、障害物が存在しない視点を操作者に対して提供するように、カメラ２０２の運動をその新しい位置に向かって制御する。
【００４１】
仮想的メカニズム２０５を作業環境に導入し、且つ、その他の要素との間のこの物体の衝突を考慮することにより、実在する物体が仮想的メカニズムとの重畳状態において存在しえないことを保証することができる。仮想的メカニズムは、その適切な画像の提供を要するターゲット地点に向かって照準されたカメラの視野を占有するように設計されているため、この結果、カメラの視野に障害物が常に存在せず、且つ、操作者が妨害を絶対に経験しないことが保証される。仮想的メカニズム２０５と実在する物体との間において衝突が発生すると、即座に、物理エンジンは、仮想的メカニズム２０５の新しい位置と、間接的に、カメラの焦点の位置と、を判定し、カメラは、最良の画像を実現するように運動する。
【００４２】
本発明の変形実施形態においては、カメラの焦点２０２は、カメラの運動を制約すると共に意図的にその運動を制限するために、スプリングタイプの機械的リンクにより、例えば、カメラを支持する第２関節接続型アームの基部に固定された地点などの固定された基準地点に対して仮想的に制約されている。この理由は、カメラの運動が制限された場合には、且つ、更には、カメラの運動が機械的な制限によって限定された場合には、操作者の視覚的快適性が改善されるためである。
【００４３】
本発明の別の変形実施形態においては、ターゲット地点２０３における仮想的メカニズム２０５と関節接続型アーム２０１との間の機械的リンクは、永久的に確立されている。この結果、関節接続型アーム２０１に関する運動学的な説明は、３次元モデルにおいてマニピュレータアーム２０１と仮想的メカニズム２０５が単一のメカニズムを形成するような方式によって拡張される。この場合には、カメラの運動を制限するために、これらは、シーンの３次元モデルに導入されたスイベルタイプの機械的リンク２０４によってターゲット地点において相互接続される。
【００４４】
本発明の別の変形実施形態においては、ターゲット地点２０３における仮想的メカニズム２０５と関節接続型アーム２０１との間のリンクは、タスクを実行する最中にターゲットを変更することができるように、位置制御システムによって形成されている。
【００４５】
本発明の別の変形実施形態においては、カメラは、例えば、遠隔計測レーザーや高圧ウォータージェットクリーナなどのような、ターゲット地点とそれ自体との間における妨げのない視野を必要とする任意のタイプのセンサ又は工具によって置換することができる。
【００４６】
図３ａは、トンネルボーリング機械の保守に使用されるマニピュレータ２０１の位置決めを示している。カメラは、固定されたその焦点２０２によって表されている。ターゲット地点２０３は、関節接続型アームの端部に位置している。
【００４７】
図３ｂは、図３ａのシナリオにおいてカメラによって得られる画像を示している。ターゲットが、カメラの視野内に配置されたマニピュレータによって見にくくなっていることを観察することができる。
【００４８】
図４ａは、ターゲット地点の妨げのない視野を常に維持するために、カメラの焦点２０２の最も適切な位置決めの自動的な判定のために本発明による方法が使用されるシナリオを示している。カメラの視野を妨げないように、焦点２０２が、図３ａにおけるその当初の位置との関係において運動していることを観察することができる。
【００４９】
図４ｂは、本発明による方法を使用した際に、ターゲット地点に向かうその視野を障害物の存在しない状態に維持するために自動的に運動したカメラによって得られる画像を示している。
【００５０】
本発明による方法及びシステムは、衝突検出のための物理エンジンの特性及び作業シーンの仮想的な３次元表現の特性を使用することにより、作業領域の適切な画像を操作者に対して提供できるようにする。本発明による方法は、撮像された画像の品質とは無関係であるという利点を有するシーンの３次元モデルに関係している。それぞれの物体の非常に細かなメッシュ表現を提供することが常に必要とされるわけではないことから、本発明の範囲を逸脱することなしに、シーンの仮想的なモデル化を更に最低限のものにすることができるが、モデル化は、物理エンジンが２つの物体間の衝突の検出を実現できるようにするために十分なものでなければならない。又、本発明は、その作業環境内の物体とやり取りするセンサやその他の機械などのロボット型機械に対して障害物の存在しない視準線を提供することを要するあらゆるタイプの自動化されたシステムに対して適用可能である。特に、ロボット型機械は、必ずしも、操作者によって遠隔操作されるわけではない。
【特許請求の範囲】
【請求項１】
輻輳した作業環境とやり取りするセンサや工具などの少なくとも１つの第２ロボット型移動可能機械の制御下において前記輻輳した作業環境において運動する少なくとも１つの第１ロボット型移動可能機械（２０１）の操縦を支援する方法において、
・前記作業環境及びその内部に含まれる実在する物体の仮想的な３次元表現のモデル化ステップと、
・前記第２ロボット型移動可能機械の視準線が向けられる前記作業環境内のターゲット地点（２０３）の判定ステップと、
・前記第２ロボット型移動可能機械の位置の基準地点（２０２）の判定ステップと、
・前記仮想的表現内における、物理エンジンによる、前記ターゲット地点（２０３）と前記基準地点（２０２）との間に軸方向において延在すると共に機械的リンクによって仮想的に接続されたこれら２つの地点（２０２、２０３）を接続するセグメントを実質的に内蔵する仮想的メカニズム（２０５）の構築ステップと、
・物理エンジンによる、前記仮想的メカニズム（２０５）と前記仮想的表現に基づいて位置が見出される前記作業環境内の実在する物体との間における衝突の検出ステップと、
・前記実在する物体との間の衝突の結果として得られる前記仮想的メカニズム（２０５）に対して適用される捩れの算出ステップであって、前記ターゲット地点（２０３）の位置は不変に留まる、算出ステップと、
・前記作業環境内における前記仮想的メカニズム（２０５）の新しい位置の判定ステップと、
・前記基準地点（２０２）と前記ターゲット地点（２０３）との間の視準線に障害物が存在しないような方式における、前記仮想的メカニズム（２０５）の新しい位置に基づいた、前記第２ロボット型移動可能機械の前記基準地点（２０２）の新しい位置の判定ステップと、
を少なくとも含むことを特徴とする方法。
【請求項２】
前記第１ロボット型移動可能機械（２０１）は、関節接続型アームであることと、前記ターゲット地点（２０３）は、前記アームの端部に実質的に位置していることを特徴とする請求項１に記載の方法。
【請求項３】
前記仮想的メカニズム（２０５）は、前記第２ロボット型移動可能機械の視野を実質的に占有する断面を有することを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記仮想的メカニズム（２０５）は、望遠鏡式シリンダの組から構成されることを特徴とする請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記ターゲット地点（２０３）における前記仮想メカニズム（２０５）と前記第１ロボット型移動可能機械（２０１）との間の前記機械的リンクは、スイベルタイプのリンクであることを特徴とする請求項１乃至４のいずれかに記載の方法。
【請求項６】
前記ターゲット地点（２０３）における前記仮想メカニズム（２０５）と前記第１ロボット型移動可能機械（２０１）との間の前記機械的リンクは、前記操縦の最中に前記ターゲット地点（２０３）を変更することができるように、位置制御システムによって形成されることを特徴とする請求項１乃至４のいずれか一項に記載の方法。
【請求項７】
前記第２ロボット型移動可能機械は、カメラであり、且つ、前記基準地点（２０２）は、焦点距離と実質的に等しい前記カメラからの距離において光軸上に位置していることを特徴とする請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記第２ロボット型移動可能機械は、遠隔計測レーザー又は高圧クリーナであることを特徴とする請求項１乃至６のいずれか一項に記載の方法。
【請求項９】
前記第２ロボット型移動可能機械は、関節接続型アームを含むことを特徴とする請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記基準地点（２０２）は、スプリングタイプの仮想的な機械的リンクによって前記第２ロボット型移動可能機械に固定された地点に対して仮想的に接続されることを特徴とする請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
前記第１ロボット型移動可能機械（２０１）は、操作者によって遠隔操縦されることを特徴とする請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
操作者（１１０、１１４）によって作動する関節接続型マスタアーム（１０９、１１３）により輻輳した作業環境内において運動する少なくとも１つの第１ロボット型機械（１１９、１２１、１２３）の遠隔操縦のための遠隔操縦システムであって、前記マスタアーム（１０９、１１３）の運動は、前記運動を捕捉する手段（１０８、１１２）、伝達する手段（１１６、１１７）、及び再生する手段（１１８、１２０、１２２）を使用して前記第１ロボット型機械（１１９、１２１、１２３）によって再生される、システムにおいて、
制御手段によって作動する少なくとも１つの第２ロボット型移動可能機械（１２４、１２８、１２９）と、前記作業環境の仮想的な３次元表現を含むデータベース（１０１）と、前記環境内における２つの物体の間の衝突を検出及び分析するように適合されたソフトウェア物理エンジンと、請求項１乃至１１のいずれか一項に記載の前記第１ロボット型機械（１１９、１２１、１２３）の遠隔操縦を支援する方法を使用するための手段と、をも含むことを特徴とする遠隔操縦システム。
【請求項１３】
前記第１ロボット型機械（１１９、１２１、１２３）は、関節接続型アームを含むことを特徴とする請求項１２に記載の遠隔操縦システム。
【請求項１４】
前記第２ロボット型移動可能機械（１２４、１２８、１２９）は、関節接続型アームに結合されても結合されなくてもよいカメラ、遠隔計測レーザー、又は高圧クリーナであることを特徴とする請求項１２又は１３に記載の遠隔操縦システム。
【請求項１５】
前記仮想的３次元表現は、ＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）ソフトウェアによって生成されることを特徴とする請求項１２乃至１４のいずれか一項に記載の遠隔操縦システム。
【請求項１】
輻輳した作業環境とやり取りするセンサや工具などの少なくとも１つの第２ロボット型移動可能機械の制御下において前記輻輳した作業環境において運動する少なくとも１つの第１ロボット型移動可能機械（２０１）の操縦を支援する方法において、
・前記作業環境及びその内部に含まれる実在する物体の仮想的な３次元表現のモデル化ステップと、
・前記第２ロボット型移動可能機械の視準線が向けられる前記作業環境内のターゲット地点（２０３）の判定ステップと、
・前記第２ロボット型移動可能機械の位置の基準地点（２０２）の判定ステップと、
・前記仮想的表現内における、物理エンジンによる、前記ターゲット地点（２０３）と前記基準地点（２０２）との間に軸方向において延在すると共に機械的リンクによって仮想的に接続されたこれら２つの地点（２０２、２０３）を接続するセグメントを実質的に内蔵する仮想的メカニズム（２０５）の構築ステップと、
・物理エンジンによる、前記仮想的メカニズム（２０５）と前記仮想的表現に基づいて位置が見出される前記作業環境内の実在する物体との間における衝突の検出ステップと、
・前記実在する物体との間の衝突の結果として得られる前記仮想的メカニズム（２０５）に対して適用される捩れの算出ステップであって、前記ターゲット地点（２０３）の位置は不変に留まる、算出ステップと、
・前記作業環境内における前記仮想的メカニズム（２０５）の新しい位置の判定ステップと、
・前記基準地点（２０２）と前記ターゲット地点（２０３）との間の視準線に障害物が存在しないような方式における、前記仮想的メカニズム（２０５）の新しい位置に基づいた、前記第２ロボット型移動可能機械の前記基準地点（２０２）の新しい位置の判定ステップと、
を少なくとも含むことを特徴とする方法。
【請求項２】
前記第１ロボット型移動可能機械（２０１）は、関節接続型アームであることと、前記ターゲット地点（２０３）は、前記アームの端部に実質的に位置していることを特徴とする請求項１に記載の方法。
【請求項３】
前記仮想的メカニズム（２０５）は、前記第２ロボット型移動可能機械の視野を実質的に占有する断面を有することを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記仮想的メカニズム（２０５）は、望遠鏡式シリンダの組から構成されることを特徴とする請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記ターゲット地点（２０３）における前記仮想メカニズム（２０５）と前記第１ロボット型移動可能機械（２０１）との間の前記機械的リンクは、スイベルタイプのリンクであることを特徴とする請求項１乃至４のいずれかに記載の方法。
【請求項６】
前記ターゲット地点（２０３）における前記仮想メカニズム（２０５）と前記第１ロボット型移動可能機械（２０１）との間の前記機械的リンクは、前記操縦の最中に前記ターゲット地点（２０３）を変更することができるように、位置制御システムによって形成されることを特徴とする請求項１乃至４のいずれか一項に記載の方法。
【請求項７】
前記第２ロボット型移動可能機械は、カメラであり、且つ、前記基準地点（２０２）は、焦点距離と実質的に等しい前記カメラからの距離において光軸上に位置していることを特徴とする請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記第２ロボット型移動可能機械は、遠隔計測レーザー又は高圧クリーナであることを特徴とする請求項１乃至６のいずれか一項に記載の方法。
【請求項９】
前記第２ロボット型移動可能機械は、関節接続型アームを含むことを特徴とする請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記基準地点（２０２）は、スプリングタイプの仮想的な機械的リンクによって前記第２ロボット型移動可能機械に固定された地点に対して仮想的に接続されることを特徴とする請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
前記第１ロボット型移動可能機械（２０１）は、操作者によって遠隔操縦されることを特徴とする請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
操作者（１１０、１１４）によって作動する関節接続型マスタアーム（１０９、１１３）により輻輳した作業環境内において運動する少なくとも１つの第１ロボット型機械（１１９、１２１、１２３）の遠隔操縦のための遠隔操縦システムであって、前記マスタアーム（１０９、１１３）の運動は、前記運動を捕捉する手段（１０８、１１２）、伝達する手段（１１６、１１７）、及び再生する手段（１１８、１２０、１２２）を使用して前記第１ロボット型機械（１１９、１２１、１２３）によって再生される、システムにおいて、
制御手段によって作動する少なくとも１つの第２ロボット型移動可能機械（１２４、１２８、１２９）と、前記作業環境の仮想的な３次元表現を含むデータベース（１０１）と、前記環境内における２つの物体の間の衝突を検出及び分析するように適合されたソフトウェア物理エンジンと、請求項１乃至１１のいずれか一項に記載の前記第１ロボット型機械（１１９、１２１、１２３）の遠隔操縦を支援する方法を使用するための手段と、をも含むことを特徴とする遠隔操縦システム。
【請求項１３】
前記第１ロボット型機械（１１９、１２１、１２３）は、関節接続型アームを含むことを特徴とする請求項１２に記載の遠隔操縦システム。
【請求項１４】
前記第２ロボット型移動可能機械（１２４、１２８、１２９）は、関節接続型アームに結合されても結合されなくてもよいカメラ、遠隔計測レーザー、又は高圧クリーナであることを特徴とする請求項１２又は１３に記載の遠隔操縦システム。
【請求項１５】
前記仮想的３次元表現は、ＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）ソフトウェアによって生成されることを特徴とする請求項１２乃至１４のいずれか一項に記載の遠隔操縦システム。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【公表番号】特表２０１３−５２１１３７（Ｐ２０１３−５２１１３７Ａ）
【公表日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１２−５５５３５０（Ｐ２０１２−５５５３５０）
【出願日】平成２３年２月１１日（２０１１．２．１１）
【国際出願番号】ＰＣＴ／ＥＰ２０１１／０５２０７６
【国際公開番号】ＷＯ２０１１／１０７３３７
【国際公開日】平成２３年９月９日（２０１１．９．９）
【出願人】（５１０１６３８４６）コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ (47)
【Ｆターム（参考）】
【公表日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年２月１１日（２０１１．２．１１）
【国際出願番号】ＰＣＴ／ＥＰ２０１１／０５２０７６
【国際公開番号】ＷＯ２０１１／１０７３３７
【国際公開日】平成２３年９月９日（２０１１．９．９）
【出願人】（５１０１６３８４６）コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ (47)
【Ｆターム（参考）】
[ Back to top ]