作業位置誘導装置及びその誘導方法
【課題】作業者が作業対象物から目を逸らすことなく、誘導画像を参照しながら作業対象位置を選別できるようにする。
【解決手段】作業時に、ポインティング部11の先端が、作業面の予め既知の作業対象位置に向かうように誘導する場合に、カメラ部13により作業面を撮影し、画面が透過する透明スクリーン部15により、作業時に作業面を見えるようにしながら、誘導用の位置ナビゲーションマーク153及び直交する交差点が誘導中心のライン151,152を表示し、カメラ部13で撮影された画像からポインティング部11の先端の位置を算出し、既知の作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて透明スクリーン部15に誘導中心に対する位置ナビゲーションマークを表示し、位置ナビゲーションマークが誘導中心に向かうように移動方向を画面上に指示表示する。
【解決手段】作業時に、ポインティング部11の先端が、作業面の予め既知の作業対象位置に向かうように誘導する場合に、カメラ部13により作業面を撮影し、画面が透過する透明スクリーン部15により、作業時に作業面を見えるようにしながら、誘導用の位置ナビゲーションマーク153及び直交する交差点が誘導中心のライン151,152を表示し、カメラ部13で撮影された画像からポインティング部11の先端の位置を算出し、既知の作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて透明スクリーン部15に誘導中心に対する位置ナビゲーションマークを表示し、位置ナビゲーションマークが誘導中心に向かうように移動方向を画面上に指示表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、予め登録された電子的な作業指示データに基づく作業位置に作業設備が当接するように誘導指示を与える作業位置誘導装置及びその誘導方法に関する。
【背景技術】
【0002】
電気通信設備における回線開通作業や故障修理作業、運用保守作業は、先ず作業対象となる設備を正確に選別することが肝要である。もし、異なる設備を選別し、作業を継続すると、他の顧客の回線断やサービス断に至ることや、本来提供すべきサービスとは異なるサービスを提供することとなり、顧客に迷惑をかけるのは勿論のこと、その是正作業を行なわなければならず、必要以上の稼働が発生する。
【0003】
通常、作業誤りを避けるため、作業指示書と対象設備の目視による確認や複数人による確認などを行なう対策を行っている。しかしながら、この場合であっても、作業誤りが発生する確率は減少するものの、発生確率をゼロにすることは極めて困難である。
この様な課題を解決方法の一案として、特許文献1に示す様な技術がある。これは、高密度に配列された光配線接続架のコネクタ挿抜作業時の誤作業を回避するための技術であり、それぞれの端子個々に可視光波長領域のLEDとRFIDを実装し、オペレーションシステムから作業指示データを電子的に抽出し、そのデータに基づいたLEDを点滅させることで、作業端子までコネクタ挿抜工具を誘導するものである。コネクタ挿抜工具にはRFIDリーダが実装されており、該当端子のRFIDのIDを読み取り、オペレーションシステムに登録されている作業指示のIDとの照合を行ない、正しい場合はコネクタ挿抜を行なうことができ、間違っている場合はコネクタ挿抜ができない仕組みとなっている。この方法により、作業指示データどおりの高い信頼性のある作業を完遂することができる。
【0004】
しかしながら、この技術においては、LEDやRFIDを光配線接続架に予め実装しておく必要や、RFIDのIDを予めデータベースに登録しておく必要があり、相応の初期投資や初期作業を必要とすることから、必ずしもスムーズな適用に至る技術的対処法ではない。
【0005】
また、同様の他の解決技術として、特許文献2に示す様な例がある。これは、特許文献1と目的は同等であるが、RFIDを用いず、発光するLEDに端子ID情報を含む変調信号を重畳させ、コネクタ挿抜工具に実装した受光素子でその変調信号光を受光復調し、作業端子であるか否かの照合を行なう方法である。この方法は、特許文献1と同様に予めLEDを実装しておく必要があるが、RFIDの実装が無い分、初期投資や初期作業が少ない。しかし、初期投資や初期作業は少ないものの、やはりスムーズな適用に至る技術的対処法とは言い難い。
【0006】
一方、画像処理技術や端末装置の進展により、拡張現実(AR:Argument Reality)技術によるアプリケーションが実現され、近年、その応用事例が幾つか散見される。例えば、非特許文献1に示す様に、スマートフォンを用いて、街角の景色を内蔵カメラで撮影し、GPSから取得した位置情報や、方位センサから取得した方位情報等と、ATMが配置されている位置が蓄積されたデータベースと照合し、撮影した街角の画像上に存在する銀行ATMのおよその位置情報を、実際のカメラで撮影した画像上にアイコンとして重畳させて表示させるアプリケーションがある。この様に、目視では確認することのできない情報をデータベースと連携することで、直観的に分かり易い位置ナビゲーションを実現している。
【0007】
また、非特許文献2に示す様に、接続端子盤の特徴点を画像処理により抽出して、予め決められた寸法である接続端子盤の端子位置を特徴点との相関により算出し、任意の位置からのカメラで撮影した画像上に、接続端子盤の格子位置や、任意の端子位置を明示する画像を重畳させて表示させる方法が研究発表されている。この様に、予め決まった寸法を有する対象物に対しては、画像処理技術を駆使することで、高い精度の位置ナビゲーションと位置照合確認が可能になりつつある。
【0008】
この様に、AR技術の様な画像認識処理技術を用いた位置ナビゲーションや位置照合確認は、特許文献1や特許文献2で説明した様な初期投資や初期作業工程を極限まで最小化することができるため、適用性に優れることが期待できる。
しかしながら、この様な画像認識処理技術を用いた位置ナビゲーションを実際の作業に適用する際、画像を表示させるディスプレイを傍らに見ながらの作業となるため、(1)実際の対象物を見ることなくディスプレイのみを見ながらの作業を行なうか、若しくは、(2)実際の対象物とディスプレイを交互に見ながらの作業を行なうか、の何れかを行なうことになる。(1)の場合は、作業を行なう手の位置と、ディスプレイへの視線方向が異なるため、移動する距離感等の操作性に難があることが懸念され、正確で緻密な作業を行なうには習熟するための訓練を要する。また、(2)の場合は、実際の対象物とディスプレイの間で目線を交互に動かすことから、ディスプレイに表示された対象物の映像と、実際の対象物を見比べ、常に頭の中で位置照合をしながら作業を行わなければならず、非効率な作業となり、間違いを誘引することが懸念される。
【0009】
一方、昨今、ディスプレイは液晶タイプのものが主流となり薄型化・軽量化している。更にEL(エレクトロルミネセンス、Electroluminescence)ディスプレイも商品化されており、その中にはディスプレイの背景が透けたものも開発されつつあり、その応用アプリケーションが期待できる。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2008−117714号公報
【特許文献2】特開2010−176990号公報
【非特許文献】
【0011】
【非特許文献1】NTTドコモ報道発表資料(2011年5月10日):みずほ銀行とドコモがスマートフォン向けAR店舗ナビアプリケーション「ATM・店舗検索」アプリを共同で開発,http://www.nttdocomo.co.jp/info/news_release/2011/05/10_00.html
【非特許文献2】情報処理学会CVIM研究会[画像の認識・理解シンポジウム(MIRU2011)]:島村・森本・小池「設備保守支援向けARのための部分テンプレート検出とvSLAMの併用によるオブジェクト座標系へのレジストレーション」IS4-13, 2011 年7 月
【発明の概要】
【発明が解決しようとする課題】
【0012】
上述したように、電気通信設備ビル内の光配線接続架における回線開通や故障修理の保守作業は、作業対象となる設備(接続端子)を正確に選別する必要がある。そのため、光配線接続架のコネクタ端子それぞれに可視光波長領域のLEDとRFIDを実装し、オペレーションシステムから作業対象端子のLEDを点滅させることで、保守作業者が使用するコネクタ挿抜工具を対象端子まで誘導する技術が開示されている。しかしながら、この技術は、LEDやRFIDを光配線接続架に予め実装しておく必要がある等、設備構築に多くの費用を要するため実用化が困難であった。
【0013】
一方、拡張現実(AR:Argument Reality)技術を用い、接続端子盤を任意の位置からのカメラで撮影した画像上に、接続端子盤の格子位置や任意の端子位置を明示する画像を重畳表示させることで、対象端子の位置をナビゲーションする技術が開示されている。しかしながら、この位置ナビゲーション技術は、画像を表示させるディスプレイを傍らに見ながらの作業となるため、実作業時には、作業を行なう手元とディスプレイとの間で視線を移動させる必要があること等のため、操作には習熟が必要であるという問題があった。
【0014】
本発明は、上記の課題を鑑みてなされたもので、経済的に構築でき、かつ作業者が実際の作業対象物から目を逸らすことなく、誘導画像を参照しながら作業対象位置を選別することが可能な作業位置誘導装置とその誘導方法を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明に係る作業位置誘導装置は、以下のような態様の構成とする。
(1)作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導装置であって、前記ポインティング部と一体化され、前記作業時に前記作業面を撮影するカメラ部と、前記ポインティング部と一体化され、画面が透明で前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるように配置され、誘導用の位置ナビゲーションマーク及び誘導中心を表示する透明スクリーン部と、前記作業面に設定される作業対象位置の位置情報を格納する指示情報蓄積部と、前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記指示情報蓄積部に格納された作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる情報処理部とを具備する態様とする。
【0016】
(2)(1)の構成において、前記作業面の既知の位置に予め基準マークが表示されてあるとき、前記情報処理部は、前記カメラ部で撮影された画像から前記作業面の基準マークを識別し、この識別結果に基づいて前記ポインティング部の先端の前記作業対象位置に対する位置を算出する態様とする。
【0017】
(3)(1)の構成において、前記透明スクリーン部は、画面中央で交差するように垂直方向のターゲットラインと水平方向のターゲットラインを固定表示し、その交差点を前記誘導中心とする態様とする。
(4)(3)の構成において、前記情報処理部は、前記位置ナビゲーションマークの表示に際して、前記ポインティング部から作業面までの奥行き距離の遠近に比例して前記位置ナビゲーションマークの大きさを大小に変化させ、水平方向と垂直方向の前記ポインティング部の位置ずれ距離の大小に比例して前記位置ナビゲーションマークの前記水平方向と垂直方向のターゲットラインからの位置ずれ量を遠近に変化させる態様とする。
【0018】
(5)(1)〜(4)の構成において、前記ポインティング部は、前記作業面の作業対象位置に配置されているコネクタアダプタ端子列のコネクタを着脱する機能を有するコネクタ挿抜工具の先端部位であり、前記作業面の作業対象は通信回線の切り替えを行なうコネクタ接続端子盤である態様とする。
【0019】
(6)(1)〜(5)の構成において、前記ポインティング部の先端を付き当てる箇所を示すポインティング部接触マークと、複数のキャリブレーションマークが表示され、前記ポインティング部接触マークおよび前記キャリブレーションマークの形状および寸法、並びに前記キャリブレーションマーク間の距離が既知の値である一つの平板からなるキャリブレーションボードを備え、前記情報処理部は、前記ポインティング部がポインティング部接触マークに付き当てた状態における前記カメラ部の撮影映像データの画素数と実際の距離の相関を取得し、前記カメラ部および前記ポインティング部の位置ずれを補正する機能を有する態様とする。
【0020】
本発明に係る作業位置誘導方法は、以下のような態様の構成とする。
(7)作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導方法であって、前記作業時にカメラ部により前記作業面を撮影し、画面が透過する透明スクリーン部により、前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるようにしながら、誘導用の位置ナビゲーションマーク及び誘導中心を表示し、前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記既知の作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる態様とする。
【発明の効果】
【0021】
上記構成によれば、経済的に構築でき、かつ作業者が実際の作業対象物から目を逸らすことなく、誘導画像を参照しながら作業対象位置を選別することが可能な作業位置誘導装置とその誘導方法を提供することができる。
この結果、設備の運用・保守作業時において、作業指示に基づいた正確な作業を実現するため、設備対象物のどの位置が作業指示個所かを正確に伝え、可能な限り少ない初期投資と初期稼働で構築できる技術の1つの選択肢であるAR技術の様な画像認識処理技術を用いた作業位置誘導において、実際の対象物から目を逸らすことなく誘導画像を参照しながら作業を安心安全に行なうことが可能となる。
【0022】
具体的には、作業者が作業時に使用するコネクタ挿抜工具をベースにして、透明スクリーン部及びカメラ部が一体化された作業位置誘導装置と、カメラから得られた情報を演算処理するコンピュータから構成されるシステムであり、コネクタ挿抜工具の先端の光コネクタ把持部にポインティング部を設け、予め作業対象物の面上に具備されているマークをカメラ部で撮影した映像情報から、ポインティング部が作業対象位置から離隔する距離と方向を算出し、透明スクリーン部の画面上にナビゲーションマークを表示させることにより、ポインティング部を作業対象位置に誘導するものである。この装置を用いることにより、光配線接続架の保守作業者が操作習熟の必要がなく、経済的に誤作業を防止する環境を構築することが可能となる。
【0023】
この装置の実現により、予め登録された作業内容を蓄積した管理データベースどおりの作業を、透明ディスプレイの背景として作業対象近傍の状況を見ながら、作業対象から目を離すことなく、作業対象箇所がどちらの方向にあるかを画像として誘導表示することができるので、作業者にとってわかり易く、かつ安心安全に作業を完遂することが可能となる。また、作業対象物には予め位置情報を導くためのマークを施すことのみで、安価に構築することができこともメリットである。
【図面の簡単な説明】
【0024】
【図1】本発明の一実施形態に係る作業位置誘導装置の構成を示す斜視図である。
【図2】図1に示す作業位置誘導装置の信号系統の構成を示すブロック図である。
【図3】図1に示す実施形態において、指示情報蓄積部に蓄積された作業対象位置の座標管理データベースの一例を示す図である。
【図4】図1に示す実施形態において、透明スクリーン上に表示する位置ナビゲーションマークの一例を示す図である。
【図5】図1に示す実施形態において、透明スクリーン上に表示する位置ナビゲーションマークの画面遷移例を示す図である。
【図6】図1に示す実施形態において、キャリブレーションの方法を説明するための図である。
【図7】図6で説明するキャリブレーションにおいて、カメラから取得した映像イメージを示す図である。
【図8】図6で説明するキャリブレーションにおいて、カメラ取得映像位置と透明スクリーン表示位置を説明するための図である。
【図9】本発明の第1の実施例として、離隔距離計算方法例を示す図である。
【図10】本発明の第2の実施例として、位置を示すマークとコードが分離している場合の作業位置誘導装置を示す図である。
【図11】本発明の第3の実施例として、光コネクタ挿抜工具と光コネクタ接続端子盤に本発明に係る作業位置誘導装置を付加した場合の構成を示す図である。
【発明を実施するための形態】
【0025】
添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。
図1は、本発明に係る作業位置誘導装置の構成を示す斜視図である。ここでは、作業面Aにある作業対象TA〜THの何れかの対象に対し、ポインティング部11の先端を近づける作業を想定し、作業対象Bを作業対象ターゲットとする。また、台座12に固定されたカメラ部13の位置とポインティング部11の先端の奥行きとの距離をz0とし、作業面Aにはユニークなコードを示すマークA1、マークA2が表示されているものとする。
【0026】
上記ポインティング部11は、台座12やグリップ14をベースとし、透明スクリーン部15やカメラ部13と共に一体的にマウントされている。透明スクリーン部15は、背景が透過して見える画面上に映像を描画することができるようになされている。透過画面上には、縦横中央の定まった位置にX軸ターゲットライン151およびY軸ターゲットライン152と、ターゲットの方向や距離を示す位置ナビゲーションマーク153や矢印154が描画表示される。
【0027】
上記カメラ部13、透明スクリーン部15はいずれも電源・通信コードを介して駆動制御装置16に接続されており、当該駆動制御装置16からの駆動制御信号による位置ナビゲーションの指示に従って、作業対象ターゲットである作業対象TBに近づける。
【0028】
図2は、作業位置誘導装置の信号処理構成を示すブロック図である。作業オーダーである作業対象位置は、駆動制御装置16の指示情報蓄積部161に、図3に示す様な形式(後述)で蓄積されている。
まず、(1)駆動制御装置16において、情報処理部162は指示情報蓄積部161から作業位置情報を取得すると共に、カメラ部13から作業対象の画像を取得する。(2)作業対象の画像の中には1つ以上のマークA1,A2が含まれており、そのマークA1,A2の大きさ・寸法(既知)やマークA1,A2間の長さ(既知)の要素から、ポインティング部11の先端と作業位置である作業対象TBとの離隔距離(x,y,z−z0)を導出する。但し、正確な離隔距離を導出するための事前のキャリブレーション方法については後述する。(3)導出された情報をもとに、作業位置を表示する信号を透明スクリーン部15に送出し、位置ナビゲーションマーク153として表示する。
【0029】
ここで表示する位置ナビゲーションマーク153の位置および大きさは、離隔距離(x,y)に比例した量のX軸ターゲットライン151、Y軸ターゲットライン152からの距離位置に、離隔距離(z−z0)に比例した量の画像(円形)の大きさ(半径)とする。即ち、透明スクリーン部15の画面を見ている作業者は、画面の先の作業面が透けて見え、透明画面上には画像として表示されているX軸ターゲットライン151とY軸ターゲットライン152の交点を位置ナビゲーションマーク153に近づけるとともに、その位置ナビゲーションマーク153の大きさが最小になるように、ポインティング部11の先端を動かすことで、ターゲットである作業対象TBに到達することができることになる。
【0030】
尚、透明スクリーン部15には、カメラ部13で取得した映像そのものを送出するわけではなく、あくまでも相対的な位置関係での誘導用のマークを表示するものである。
図3は、先ほど述べた指示情報蓄積部161に蓄積された作業対象TA〜THそれぞれの位置の座標管理データベースの一例である。基準となる図1のマークA1のマークコード”0005043”からの各作業対象TA〜THそれぞれの位置座標が予め登録されている。例えば、作業対象TBは、”0005043”という基準マークコードからxm1=5cm、ym1=7cmの場所に存在することを表している。また、隣接するマークコードA1,A2の間隔xmkやそれぞれの大きさxmも管理することも有効である。
【0031】
図4は、透明スクリーン部15の画面上に表示する位置ナビゲーションマーク153を具体的に説明するための図である。前述したように透明スクリーン部15の画面上には中央にX軸ターゲットライン151及びY軸ターゲットライン152を固定表示する。また図2の(3)で説明したように、作業位置情報をもとに位置ナビゲーションマーク153を表示する。作業対象TBとポインティング部11の先端との離隔位置(x,y,z−z0)をX軸ターゲットライン151とY軸ターゲットライン152との交点からの距離位置(kxx,kyy)に、および、位置ナビゲーションマーク153の半径kz(z−z0)として表示する。
【0032】
尚、kx、ky、kzは各軸の位置ナビゲーションマークの感度を決める係数であり、適宜調整する。また、ポインティング部11をどちらの方向に動かすかを補助的に明示するために、X軸ターゲットライン151とY軸ターゲットライン152の交点から位置ナビゲーションマーク153に向かって矢印154を表示する。これは直観的な誘導手段として非常に有効である。
【0033】
図5は、透明スクリーン部15の画面上に表示する位置ナビゲーションマーク153の画面遷移を説明するための図である。図5(a)が作業開始状態であり、上段の(b)−(c)は、Z軸を変化させずにXY軸を作業対象物の位置(面)に近づけ最後にZ軸を近づけるパターン、中段の(d)−(e)は、XY軸を変化させずにZ軸のみを作業対象物の位置に近づけ最後にXY軸を近づけるパターン、下段の(f)−(g)は、XYZ軸とも同時に作業対象物に近づけるパターンの3種類の画面遷移を表している。この様に、XY軸を縦横座標系で、Z軸を位置ナビゲーションマーク153の大きさで表現することで、ポインティング部11をターゲットである作業対象TBに容易に到達させることが可能である。
【0034】
以上の様に、透明スクリーン部15を用いることで、作業者は対象物から目を離すことなく、作業ナビゲーションを直観的に享受することができる。
図6は、前述のキャリブレーションの方法を説明するための図である。キャリブレーションボードBには、ポインティング部11の先端を付き当てるポインティング部接触マークB1と、複数(図6では4)のキャリブレーションマークB21−B24で構成され、マークの大きさ・寸法やマーク間の距離は既知である。ここでは、キャリブレーションマーク間のX軸およびY軸の距離は、それぞれ2x0,2y0とし、ポインティング接触マークB1はそれぞれのキャリブレーションマークB21−B24の中央位置に配置されているとする。ポインティング部11をポインティング部接触マークB1に付き当てると、z=z0となる。
【0035】
図7はキャリブレーション時にカメラ部13から取得される映像イメージである。キャリブレーションが正確に行えれば、キャリブレーションマークB21−B24とポインティング部接触マークB1に付き当てられたポインティング部11の映像が取得できる。キャリブレーション接触マークB1とキャリブレーションマークB21−B24間のX軸方向の距離x0の実寸法は既知であり、その時の画素数との相関を取得することができる。Y軸方向についても同様である。
【0036】
図8は、キャリブレーションにおいて、カメラ部13で取得された映像位置と透明スクリーン部15の表示位置との関係を示す図である。すなわち、キャリブレーション時には、位置ナビゲーションマーク153の表示位置を、X軸ターゲットライン151とY軸ターゲットライン152の交点上に配置するように調整するとともに、そのマーク153の大きさをz=z0であること(Z軸が対象面に達していること)を示す、可視できる程度の最小な大きさ(半径)に調整する。
【0037】
上記調整の結果、上記誘導装置を利用すれば、透明スクリーン部15の背景として作業対象近傍の状況を見ながら指示に従った対応が可能となる。このため、予め登録された作業内容を蓄積した管理データベースどおりの作業を、作業対象から目を離すことなく、作業対象箇所がどちらの方向にあるかを画像として誘導表示することができるので、作業者にとってわかり易く、かつ安心安全に作業を完遂することが可能となる。また、作業対象物には予め位置情報を導くためのマークを施すことのみで、安価に構築することができるというメリットもある。
【0038】
(第1の実施例)
図9は本発明の第1の実施例として離隔距離(作業面Aに対して垂直に向けられたポインティング部11の先端と作業対象ターゲットTBのxyz距離)を計算する例を説明するための位置関係を示す図である。ここでは、主にxz平面について、キャリブレーションのフェーズと対象物の離隔距離を検出するフェーズそれぞれについて説明する。
【0039】
キャリブレーションボードBの面のキャリブレーションマークB21−B24等の2つの計測基準点の距離をx0とし、この値は既知である。カメラ部13でこれらの2つの計測基準点B30,B31を撮影した時のカメラ映像上の画素数をG0とし、カメラ部13から見た2つの計測基準点B30,B31の角度をθ0とする。
【0040】
また、作業対象のある作業面Aには作業対象ターゲットTBとマークA1がある。カメラ部13から作業対象ターゲットTBまでのX軸、Z軸の距離をそれぞれ、x、zとし、カメラ部13から見た作業対象ターゲットTBの角度はθxとする。また、マークA1の片辺までのX軸の距離をxm1、もう一辺までのX軸の距離をxm2とする。また、カメラ部13で撮影した映像のx,xm1,xm2の距離に相応する画素数を、それぞれ、Gx,Gxm1,Gxm2とする。
【0041】
キャリブレーションボードB上の計測基準点B30,B31の距離x0と作業対象ターゲットTBの位置xの相関は、
tan θ0 = x0 / z0
tan θx = x / z
であり、また、カメラ映像上の画素数Gx0はカメラ部13からの視野角によるので、
θ0 :θ0 = Gx0 :Gx
である。このことから、作業対象ターゲットTBの位置は、式(1)で表される。
x = [tan{(Gx/Gx0)tan-1(x0/z0)}]z (1)
Y軸についても同様に、式(2)で表される。
y = [tan{(Gy/Gy0)tan-1(y0/z0)}]z (2)
ここで、y0, Gy, Gy0はX軸定義と同様である。
【0042】
また、マークA1の位置は、式(1)より次のように表される。
xm1 = [tan{(Gxm1/Gx0)tan-1(x0/z0)}]z
xm2 = [tan{(Gxm2/Gx0)tan-1(x0/z0)}]z
ここで、xm = xm1 - xm2であるから、zは、式(3)で導くことができる。
z = xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}] (3)
よって、x,yについても、
x = [tan{(Gx/Gx0)tan-1(x0/z0)}] xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}]
y = [tan{(Gy/Gy0)tan-1(y0/z0)}] xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}]
のように導出することができる。
【0043】
したがって、キャリブレーション時のデータをもとに、カメラ部13の位置からマークA1と共に撮影された作業面A上の作業対象ターゲットTBまでの3軸の離隔距離(x,y,z)を導出することが可能である。
但し、ポインティング部11の先端とカメラ部13の位置を補正することで、ポインティング部11の先端からの離隔距離に計算することも可能である。
【0044】
また、キャリブレーション時の計測基準点B30,B31は、異なるキャリブレーションマークB21−B24の2対を選択して、それぞれの実寸距離x0と画素数Gx0の相関を取得し、それぞれに対するx,y,zを導出し、平均化して、精度を向上させることも可能である。
【0045】
また、上記の例では作業面Aのマーク画像A1の一辺の長さxmを既知として基準として(x,y,z)を導出したが、図1で示すマークA1−A2間の距離xmkを用いて算出することも可能である。
また、カメラ画像や透明ディスプレイ画像の歪みがある場合は、必要に応じて歪み補正をおこなうことも可能である。
【0046】
(第2の実施例)
図10は、本発明の第2の実施例とする作業位置誘導装置の構成を示すもので、ここでは作業面Aにキャリブレーションボードの機能を持たせ、キャリブレーションマークB21−B24として円形画像を用い、その横にバーコードB41−B44を配置する例である。円形のキャリブレーションマークB21−B24の方が画像処理時に中心を出し易い場合もあり、その場合はこの様な形で実施することも考えられる。
【0047】
(第3の実施例)
図11は、本発明の第3の実施例とする作業位置誘導装置の構成を示す斜視図である。ここでは、作業面Aとして、多数の光コネクタアダプタがX−Y軸方向に並べて配置された光コネクタ接続端子盤を想定している。また、ポインティング部11の先端には、光コネクタ挿抜工具の光コネクタ把持部111が装着され、この光コネクタ把持部111により光コード先端の光コネクタ112を作業面Aの作業対象ターゲットアダプタ端子BTに誘導する場合を想定している。
【0048】
光コネクタ接続端子盤Aは高密度にコネクタアダプタが配列されており、どの端子にコネクタを挿入するか(もしくは抜去するか)の確認作業が非常に面倒であり、間違いが起こり易い。この作業において、本実施例の作業位置誘導装置を適用することにより、透明スクリーン部15に映り出される誘導画面に基づき作業を進めることで安心安全な作業を行うことが可能となる。
【0049】
尚、本発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成を削除してもよい。さらに、異なる実施形態例に亘る構成要素を適宜組み合わせてもよい。
【符号の説明】
【0050】
11…ポインティング部、12…台座、13…カメラ部、14…グリップ、15…透明スクリーン部、151…X軸ターゲットライン、152…Y軸ターゲットライン、153…位置ナビゲーションマーク、154…矢印、16…駆動制御装置、161…指示情報蓄積部、162…情報処理部、A…作業面、A1,A2…マーク、B…キャリブレーションボード、B1…ポインティング部接触マーク、B21−B24…キャリブレーションマーク、B30,B31…計測基準点。
【技術分野】
【0001】
本発明は、予め登録された電子的な作業指示データに基づく作業位置に作業設備が当接するように誘導指示を与える作業位置誘導装置及びその誘導方法に関する。
【背景技術】
【0002】
電気通信設備における回線開通作業や故障修理作業、運用保守作業は、先ず作業対象となる設備を正確に選別することが肝要である。もし、異なる設備を選別し、作業を継続すると、他の顧客の回線断やサービス断に至ることや、本来提供すべきサービスとは異なるサービスを提供することとなり、顧客に迷惑をかけるのは勿論のこと、その是正作業を行なわなければならず、必要以上の稼働が発生する。
【0003】
通常、作業誤りを避けるため、作業指示書と対象設備の目視による確認や複数人による確認などを行なう対策を行っている。しかしながら、この場合であっても、作業誤りが発生する確率は減少するものの、発生確率をゼロにすることは極めて困難である。
この様な課題を解決方法の一案として、特許文献1に示す様な技術がある。これは、高密度に配列された光配線接続架のコネクタ挿抜作業時の誤作業を回避するための技術であり、それぞれの端子個々に可視光波長領域のLEDとRFIDを実装し、オペレーションシステムから作業指示データを電子的に抽出し、そのデータに基づいたLEDを点滅させることで、作業端子までコネクタ挿抜工具を誘導するものである。コネクタ挿抜工具にはRFIDリーダが実装されており、該当端子のRFIDのIDを読み取り、オペレーションシステムに登録されている作業指示のIDとの照合を行ない、正しい場合はコネクタ挿抜を行なうことができ、間違っている場合はコネクタ挿抜ができない仕組みとなっている。この方法により、作業指示データどおりの高い信頼性のある作業を完遂することができる。
【0004】
しかしながら、この技術においては、LEDやRFIDを光配線接続架に予め実装しておく必要や、RFIDのIDを予めデータベースに登録しておく必要があり、相応の初期投資や初期作業を必要とすることから、必ずしもスムーズな適用に至る技術的対処法ではない。
【0005】
また、同様の他の解決技術として、特許文献2に示す様な例がある。これは、特許文献1と目的は同等であるが、RFIDを用いず、発光するLEDに端子ID情報を含む変調信号を重畳させ、コネクタ挿抜工具に実装した受光素子でその変調信号光を受光復調し、作業端子であるか否かの照合を行なう方法である。この方法は、特許文献1と同様に予めLEDを実装しておく必要があるが、RFIDの実装が無い分、初期投資や初期作業が少ない。しかし、初期投資や初期作業は少ないものの、やはりスムーズな適用に至る技術的対処法とは言い難い。
【0006】
一方、画像処理技術や端末装置の進展により、拡張現実(AR:Argument Reality)技術によるアプリケーションが実現され、近年、その応用事例が幾つか散見される。例えば、非特許文献1に示す様に、スマートフォンを用いて、街角の景色を内蔵カメラで撮影し、GPSから取得した位置情報や、方位センサから取得した方位情報等と、ATMが配置されている位置が蓄積されたデータベースと照合し、撮影した街角の画像上に存在する銀行ATMのおよその位置情報を、実際のカメラで撮影した画像上にアイコンとして重畳させて表示させるアプリケーションがある。この様に、目視では確認することのできない情報をデータベースと連携することで、直観的に分かり易い位置ナビゲーションを実現している。
【0007】
また、非特許文献2に示す様に、接続端子盤の特徴点を画像処理により抽出して、予め決められた寸法である接続端子盤の端子位置を特徴点との相関により算出し、任意の位置からのカメラで撮影した画像上に、接続端子盤の格子位置や、任意の端子位置を明示する画像を重畳させて表示させる方法が研究発表されている。この様に、予め決まった寸法を有する対象物に対しては、画像処理技術を駆使することで、高い精度の位置ナビゲーションと位置照合確認が可能になりつつある。
【0008】
この様に、AR技術の様な画像認識処理技術を用いた位置ナビゲーションや位置照合確認は、特許文献1や特許文献2で説明した様な初期投資や初期作業工程を極限まで最小化することができるため、適用性に優れることが期待できる。
しかしながら、この様な画像認識処理技術を用いた位置ナビゲーションを実際の作業に適用する際、画像を表示させるディスプレイを傍らに見ながらの作業となるため、(1)実際の対象物を見ることなくディスプレイのみを見ながらの作業を行なうか、若しくは、(2)実際の対象物とディスプレイを交互に見ながらの作業を行なうか、の何れかを行なうことになる。(1)の場合は、作業を行なう手の位置と、ディスプレイへの視線方向が異なるため、移動する距離感等の操作性に難があることが懸念され、正確で緻密な作業を行なうには習熟するための訓練を要する。また、(2)の場合は、実際の対象物とディスプレイの間で目線を交互に動かすことから、ディスプレイに表示された対象物の映像と、実際の対象物を見比べ、常に頭の中で位置照合をしながら作業を行わなければならず、非効率な作業となり、間違いを誘引することが懸念される。
【0009】
一方、昨今、ディスプレイは液晶タイプのものが主流となり薄型化・軽量化している。更にEL(エレクトロルミネセンス、Electroluminescence)ディスプレイも商品化されており、その中にはディスプレイの背景が透けたものも開発されつつあり、その応用アプリケーションが期待できる。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2008−117714号公報
【特許文献2】特開2010−176990号公報
【非特許文献】
【0011】
【非特許文献1】NTTドコモ報道発表資料(2011年5月10日):みずほ銀行とドコモがスマートフォン向けAR店舗ナビアプリケーション「ATM・店舗検索」アプリを共同で開発,http://www.nttdocomo.co.jp/info/news_release/2011/05/10_00.html
【非特許文献2】情報処理学会CVIM研究会[画像の認識・理解シンポジウム(MIRU2011)]:島村・森本・小池「設備保守支援向けARのための部分テンプレート検出とvSLAMの併用によるオブジェクト座標系へのレジストレーション」IS4-13, 2011 年7 月
【発明の概要】
【発明が解決しようとする課題】
【0012】
上述したように、電気通信設備ビル内の光配線接続架における回線開通や故障修理の保守作業は、作業対象となる設備(接続端子)を正確に選別する必要がある。そのため、光配線接続架のコネクタ端子それぞれに可視光波長領域のLEDとRFIDを実装し、オペレーションシステムから作業対象端子のLEDを点滅させることで、保守作業者が使用するコネクタ挿抜工具を対象端子まで誘導する技術が開示されている。しかしながら、この技術は、LEDやRFIDを光配線接続架に予め実装しておく必要がある等、設備構築に多くの費用を要するため実用化が困難であった。
【0013】
一方、拡張現実(AR:Argument Reality)技術を用い、接続端子盤を任意の位置からのカメラで撮影した画像上に、接続端子盤の格子位置や任意の端子位置を明示する画像を重畳表示させることで、対象端子の位置をナビゲーションする技術が開示されている。しかしながら、この位置ナビゲーション技術は、画像を表示させるディスプレイを傍らに見ながらの作業となるため、実作業時には、作業を行なう手元とディスプレイとの間で視線を移動させる必要があること等のため、操作には習熟が必要であるという問題があった。
【0014】
本発明は、上記の課題を鑑みてなされたもので、経済的に構築でき、かつ作業者が実際の作業対象物から目を逸らすことなく、誘導画像を参照しながら作業対象位置を選別することが可能な作業位置誘導装置とその誘導方法を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明に係る作業位置誘導装置は、以下のような態様の構成とする。
(1)作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導装置であって、前記ポインティング部と一体化され、前記作業時に前記作業面を撮影するカメラ部と、前記ポインティング部と一体化され、画面が透明で前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるように配置され、誘導用の位置ナビゲーションマーク及び誘導中心を表示する透明スクリーン部と、前記作業面に設定される作業対象位置の位置情報を格納する指示情報蓄積部と、前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記指示情報蓄積部に格納された作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる情報処理部とを具備する態様とする。
【0016】
(2)(1)の構成において、前記作業面の既知の位置に予め基準マークが表示されてあるとき、前記情報処理部は、前記カメラ部で撮影された画像から前記作業面の基準マークを識別し、この識別結果に基づいて前記ポインティング部の先端の前記作業対象位置に対する位置を算出する態様とする。
【0017】
(3)(1)の構成において、前記透明スクリーン部は、画面中央で交差するように垂直方向のターゲットラインと水平方向のターゲットラインを固定表示し、その交差点を前記誘導中心とする態様とする。
(4)(3)の構成において、前記情報処理部は、前記位置ナビゲーションマークの表示に際して、前記ポインティング部から作業面までの奥行き距離の遠近に比例して前記位置ナビゲーションマークの大きさを大小に変化させ、水平方向と垂直方向の前記ポインティング部の位置ずれ距離の大小に比例して前記位置ナビゲーションマークの前記水平方向と垂直方向のターゲットラインからの位置ずれ量を遠近に変化させる態様とする。
【0018】
(5)(1)〜(4)の構成において、前記ポインティング部は、前記作業面の作業対象位置に配置されているコネクタアダプタ端子列のコネクタを着脱する機能を有するコネクタ挿抜工具の先端部位であり、前記作業面の作業対象は通信回線の切り替えを行なうコネクタ接続端子盤である態様とする。
【0019】
(6)(1)〜(5)の構成において、前記ポインティング部の先端を付き当てる箇所を示すポインティング部接触マークと、複数のキャリブレーションマークが表示され、前記ポインティング部接触マークおよび前記キャリブレーションマークの形状および寸法、並びに前記キャリブレーションマーク間の距離が既知の値である一つの平板からなるキャリブレーションボードを備え、前記情報処理部は、前記ポインティング部がポインティング部接触マークに付き当てた状態における前記カメラ部の撮影映像データの画素数と実際の距離の相関を取得し、前記カメラ部および前記ポインティング部の位置ずれを補正する機能を有する態様とする。
【0020】
本発明に係る作業位置誘導方法は、以下のような態様の構成とする。
(7)作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導方法であって、前記作業時にカメラ部により前記作業面を撮影し、画面が透過する透明スクリーン部により、前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるようにしながら、誘導用の位置ナビゲーションマーク及び誘導中心を表示し、前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記既知の作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる態様とする。
【発明の効果】
【0021】
上記構成によれば、経済的に構築でき、かつ作業者が実際の作業対象物から目を逸らすことなく、誘導画像を参照しながら作業対象位置を選別することが可能な作業位置誘導装置とその誘導方法を提供することができる。
この結果、設備の運用・保守作業時において、作業指示に基づいた正確な作業を実現するため、設備対象物のどの位置が作業指示個所かを正確に伝え、可能な限り少ない初期投資と初期稼働で構築できる技術の1つの選択肢であるAR技術の様な画像認識処理技術を用いた作業位置誘導において、実際の対象物から目を逸らすことなく誘導画像を参照しながら作業を安心安全に行なうことが可能となる。
【0022】
具体的には、作業者が作業時に使用するコネクタ挿抜工具をベースにして、透明スクリーン部及びカメラ部が一体化された作業位置誘導装置と、カメラから得られた情報を演算処理するコンピュータから構成されるシステムであり、コネクタ挿抜工具の先端の光コネクタ把持部にポインティング部を設け、予め作業対象物の面上に具備されているマークをカメラ部で撮影した映像情報から、ポインティング部が作業対象位置から離隔する距離と方向を算出し、透明スクリーン部の画面上にナビゲーションマークを表示させることにより、ポインティング部を作業対象位置に誘導するものである。この装置を用いることにより、光配線接続架の保守作業者が操作習熟の必要がなく、経済的に誤作業を防止する環境を構築することが可能となる。
【0023】
この装置の実現により、予め登録された作業内容を蓄積した管理データベースどおりの作業を、透明ディスプレイの背景として作業対象近傍の状況を見ながら、作業対象から目を離すことなく、作業対象箇所がどちらの方向にあるかを画像として誘導表示することができるので、作業者にとってわかり易く、かつ安心安全に作業を完遂することが可能となる。また、作業対象物には予め位置情報を導くためのマークを施すことのみで、安価に構築することができこともメリットである。
【図面の簡単な説明】
【0024】
【図1】本発明の一実施形態に係る作業位置誘導装置の構成を示す斜視図である。
【図2】図1に示す作業位置誘導装置の信号系統の構成を示すブロック図である。
【図3】図1に示す実施形態において、指示情報蓄積部に蓄積された作業対象位置の座標管理データベースの一例を示す図である。
【図4】図1に示す実施形態において、透明スクリーン上に表示する位置ナビゲーションマークの一例を示す図である。
【図5】図1に示す実施形態において、透明スクリーン上に表示する位置ナビゲーションマークの画面遷移例を示す図である。
【図6】図1に示す実施形態において、キャリブレーションの方法を説明するための図である。
【図7】図6で説明するキャリブレーションにおいて、カメラから取得した映像イメージを示す図である。
【図8】図6で説明するキャリブレーションにおいて、カメラ取得映像位置と透明スクリーン表示位置を説明するための図である。
【図9】本発明の第1の実施例として、離隔距離計算方法例を示す図である。
【図10】本発明の第2の実施例として、位置を示すマークとコードが分離している場合の作業位置誘導装置を示す図である。
【図11】本発明の第3の実施例として、光コネクタ挿抜工具と光コネクタ接続端子盤に本発明に係る作業位置誘導装置を付加した場合の構成を示す図である。
【発明を実施するための形態】
【0025】
添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。
図1は、本発明に係る作業位置誘導装置の構成を示す斜視図である。ここでは、作業面Aにある作業対象TA〜THの何れかの対象に対し、ポインティング部11の先端を近づける作業を想定し、作業対象Bを作業対象ターゲットとする。また、台座12に固定されたカメラ部13の位置とポインティング部11の先端の奥行きとの距離をz0とし、作業面Aにはユニークなコードを示すマークA1、マークA2が表示されているものとする。
【0026】
上記ポインティング部11は、台座12やグリップ14をベースとし、透明スクリーン部15やカメラ部13と共に一体的にマウントされている。透明スクリーン部15は、背景が透過して見える画面上に映像を描画することができるようになされている。透過画面上には、縦横中央の定まった位置にX軸ターゲットライン151およびY軸ターゲットライン152と、ターゲットの方向や距離を示す位置ナビゲーションマーク153や矢印154が描画表示される。
【0027】
上記カメラ部13、透明スクリーン部15はいずれも電源・通信コードを介して駆動制御装置16に接続されており、当該駆動制御装置16からの駆動制御信号による位置ナビゲーションの指示に従って、作業対象ターゲットである作業対象TBに近づける。
【0028】
図2は、作業位置誘導装置の信号処理構成を示すブロック図である。作業オーダーである作業対象位置は、駆動制御装置16の指示情報蓄積部161に、図3に示す様な形式(後述)で蓄積されている。
まず、(1)駆動制御装置16において、情報処理部162は指示情報蓄積部161から作業位置情報を取得すると共に、カメラ部13から作業対象の画像を取得する。(2)作業対象の画像の中には1つ以上のマークA1,A2が含まれており、そのマークA1,A2の大きさ・寸法(既知)やマークA1,A2間の長さ(既知)の要素から、ポインティング部11の先端と作業位置である作業対象TBとの離隔距離(x,y,z−z0)を導出する。但し、正確な離隔距離を導出するための事前のキャリブレーション方法については後述する。(3)導出された情報をもとに、作業位置を表示する信号を透明スクリーン部15に送出し、位置ナビゲーションマーク153として表示する。
【0029】
ここで表示する位置ナビゲーションマーク153の位置および大きさは、離隔距離(x,y)に比例した量のX軸ターゲットライン151、Y軸ターゲットライン152からの距離位置に、離隔距離(z−z0)に比例した量の画像(円形)の大きさ(半径)とする。即ち、透明スクリーン部15の画面を見ている作業者は、画面の先の作業面が透けて見え、透明画面上には画像として表示されているX軸ターゲットライン151とY軸ターゲットライン152の交点を位置ナビゲーションマーク153に近づけるとともに、その位置ナビゲーションマーク153の大きさが最小になるように、ポインティング部11の先端を動かすことで、ターゲットである作業対象TBに到達することができることになる。
【0030】
尚、透明スクリーン部15には、カメラ部13で取得した映像そのものを送出するわけではなく、あくまでも相対的な位置関係での誘導用のマークを表示するものである。
図3は、先ほど述べた指示情報蓄積部161に蓄積された作業対象TA〜THそれぞれの位置の座標管理データベースの一例である。基準となる図1のマークA1のマークコード”0005043”からの各作業対象TA〜THそれぞれの位置座標が予め登録されている。例えば、作業対象TBは、”0005043”という基準マークコードからxm1=5cm、ym1=7cmの場所に存在することを表している。また、隣接するマークコードA1,A2の間隔xmkやそれぞれの大きさxmも管理することも有効である。
【0031】
図4は、透明スクリーン部15の画面上に表示する位置ナビゲーションマーク153を具体的に説明するための図である。前述したように透明スクリーン部15の画面上には中央にX軸ターゲットライン151及びY軸ターゲットライン152を固定表示する。また図2の(3)で説明したように、作業位置情報をもとに位置ナビゲーションマーク153を表示する。作業対象TBとポインティング部11の先端との離隔位置(x,y,z−z0)をX軸ターゲットライン151とY軸ターゲットライン152との交点からの距離位置(kxx,kyy)に、および、位置ナビゲーションマーク153の半径kz(z−z0)として表示する。
【0032】
尚、kx、ky、kzは各軸の位置ナビゲーションマークの感度を決める係数であり、適宜調整する。また、ポインティング部11をどちらの方向に動かすかを補助的に明示するために、X軸ターゲットライン151とY軸ターゲットライン152の交点から位置ナビゲーションマーク153に向かって矢印154を表示する。これは直観的な誘導手段として非常に有効である。
【0033】
図5は、透明スクリーン部15の画面上に表示する位置ナビゲーションマーク153の画面遷移を説明するための図である。図5(a)が作業開始状態であり、上段の(b)−(c)は、Z軸を変化させずにXY軸を作業対象物の位置(面)に近づけ最後にZ軸を近づけるパターン、中段の(d)−(e)は、XY軸を変化させずにZ軸のみを作業対象物の位置に近づけ最後にXY軸を近づけるパターン、下段の(f)−(g)は、XYZ軸とも同時に作業対象物に近づけるパターンの3種類の画面遷移を表している。この様に、XY軸を縦横座標系で、Z軸を位置ナビゲーションマーク153の大きさで表現することで、ポインティング部11をターゲットである作業対象TBに容易に到達させることが可能である。
【0034】
以上の様に、透明スクリーン部15を用いることで、作業者は対象物から目を離すことなく、作業ナビゲーションを直観的に享受することができる。
図6は、前述のキャリブレーションの方法を説明するための図である。キャリブレーションボードBには、ポインティング部11の先端を付き当てるポインティング部接触マークB1と、複数(図6では4)のキャリブレーションマークB21−B24で構成され、マークの大きさ・寸法やマーク間の距離は既知である。ここでは、キャリブレーションマーク間のX軸およびY軸の距離は、それぞれ2x0,2y0とし、ポインティング接触マークB1はそれぞれのキャリブレーションマークB21−B24の中央位置に配置されているとする。ポインティング部11をポインティング部接触マークB1に付き当てると、z=z0となる。
【0035】
図7はキャリブレーション時にカメラ部13から取得される映像イメージである。キャリブレーションが正確に行えれば、キャリブレーションマークB21−B24とポインティング部接触マークB1に付き当てられたポインティング部11の映像が取得できる。キャリブレーション接触マークB1とキャリブレーションマークB21−B24間のX軸方向の距離x0の実寸法は既知であり、その時の画素数との相関を取得することができる。Y軸方向についても同様である。
【0036】
図8は、キャリブレーションにおいて、カメラ部13で取得された映像位置と透明スクリーン部15の表示位置との関係を示す図である。すなわち、キャリブレーション時には、位置ナビゲーションマーク153の表示位置を、X軸ターゲットライン151とY軸ターゲットライン152の交点上に配置するように調整するとともに、そのマーク153の大きさをz=z0であること(Z軸が対象面に達していること)を示す、可視できる程度の最小な大きさ(半径)に調整する。
【0037】
上記調整の結果、上記誘導装置を利用すれば、透明スクリーン部15の背景として作業対象近傍の状況を見ながら指示に従った対応が可能となる。このため、予め登録された作業内容を蓄積した管理データベースどおりの作業を、作業対象から目を離すことなく、作業対象箇所がどちらの方向にあるかを画像として誘導表示することができるので、作業者にとってわかり易く、かつ安心安全に作業を完遂することが可能となる。また、作業対象物には予め位置情報を導くためのマークを施すことのみで、安価に構築することができるというメリットもある。
【0038】
(第1の実施例)
図9は本発明の第1の実施例として離隔距離(作業面Aに対して垂直に向けられたポインティング部11の先端と作業対象ターゲットTBのxyz距離)を計算する例を説明するための位置関係を示す図である。ここでは、主にxz平面について、キャリブレーションのフェーズと対象物の離隔距離を検出するフェーズそれぞれについて説明する。
【0039】
キャリブレーションボードBの面のキャリブレーションマークB21−B24等の2つの計測基準点の距離をx0とし、この値は既知である。カメラ部13でこれらの2つの計測基準点B30,B31を撮影した時のカメラ映像上の画素数をG0とし、カメラ部13から見た2つの計測基準点B30,B31の角度をθ0とする。
【0040】
また、作業対象のある作業面Aには作業対象ターゲットTBとマークA1がある。カメラ部13から作業対象ターゲットTBまでのX軸、Z軸の距離をそれぞれ、x、zとし、カメラ部13から見た作業対象ターゲットTBの角度はθxとする。また、マークA1の片辺までのX軸の距離をxm1、もう一辺までのX軸の距離をxm2とする。また、カメラ部13で撮影した映像のx,xm1,xm2の距離に相応する画素数を、それぞれ、Gx,Gxm1,Gxm2とする。
【0041】
キャリブレーションボードB上の計測基準点B30,B31の距離x0と作業対象ターゲットTBの位置xの相関は、
tan θ0 = x0 / z0
tan θx = x / z
であり、また、カメラ映像上の画素数Gx0はカメラ部13からの視野角によるので、
θ0 :θ0 = Gx0 :Gx
である。このことから、作業対象ターゲットTBの位置は、式(1)で表される。
x = [tan{(Gx/Gx0)tan-1(x0/z0)}]z (1)
Y軸についても同様に、式(2)で表される。
y = [tan{(Gy/Gy0)tan-1(y0/z0)}]z (2)
ここで、y0, Gy, Gy0はX軸定義と同様である。
【0042】
また、マークA1の位置は、式(1)より次のように表される。
xm1 = [tan{(Gxm1/Gx0)tan-1(x0/z0)}]z
xm2 = [tan{(Gxm2/Gx0)tan-1(x0/z0)}]z
ここで、xm = xm1 - xm2であるから、zは、式(3)で導くことができる。
z = xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}] (3)
よって、x,yについても、
x = [tan{(Gx/Gx0)tan-1(x0/z0)}] xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}]
y = [tan{(Gy/Gy0)tan-1(y0/z0)}] xm /[tan{(Gxm1/Gx0)tan-1(x0/z0)}
- tan{(Gxm2/Gx0)tan-1(x0/z0)}]
のように導出することができる。
【0043】
したがって、キャリブレーション時のデータをもとに、カメラ部13の位置からマークA1と共に撮影された作業面A上の作業対象ターゲットTBまでの3軸の離隔距離(x,y,z)を導出することが可能である。
但し、ポインティング部11の先端とカメラ部13の位置を補正することで、ポインティング部11の先端からの離隔距離に計算することも可能である。
【0044】
また、キャリブレーション時の計測基準点B30,B31は、異なるキャリブレーションマークB21−B24の2対を選択して、それぞれの実寸距離x0と画素数Gx0の相関を取得し、それぞれに対するx,y,zを導出し、平均化して、精度を向上させることも可能である。
【0045】
また、上記の例では作業面Aのマーク画像A1の一辺の長さxmを既知として基準として(x,y,z)を導出したが、図1で示すマークA1−A2間の距離xmkを用いて算出することも可能である。
また、カメラ画像や透明ディスプレイ画像の歪みがある場合は、必要に応じて歪み補正をおこなうことも可能である。
【0046】
(第2の実施例)
図10は、本発明の第2の実施例とする作業位置誘導装置の構成を示すもので、ここでは作業面Aにキャリブレーションボードの機能を持たせ、キャリブレーションマークB21−B24として円形画像を用い、その横にバーコードB41−B44を配置する例である。円形のキャリブレーションマークB21−B24の方が画像処理時に中心を出し易い場合もあり、その場合はこの様な形で実施することも考えられる。
【0047】
(第3の実施例)
図11は、本発明の第3の実施例とする作業位置誘導装置の構成を示す斜視図である。ここでは、作業面Aとして、多数の光コネクタアダプタがX−Y軸方向に並べて配置された光コネクタ接続端子盤を想定している。また、ポインティング部11の先端には、光コネクタ挿抜工具の光コネクタ把持部111が装着され、この光コネクタ把持部111により光コード先端の光コネクタ112を作業面Aの作業対象ターゲットアダプタ端子BTに誘導する場合を想定している。
【0048】
光コネクタ接続端子盤Aは高密度にコネクタアダプタが配列されており、どの端子にコネクタを挿入するか(もしくは抜去するか)の確認作業が非常に面倒であり、間違いが起こり易い。この作業において、本実施例の作業位置誘導装置を適用することにより、透明スクリーン部15に映り出される誘導画面に基づき作業を進めることで安心安全な作業を行うことが可能となる。
【0049】
尚、本発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成を削除してもよい。さらに、異なる実施形態例に亘る構成要素を適宜組み合わせてもよい。
【符号の説明】
【0050】
11…ポインティング部、12…台座、13…カメラ部、14…グリップ、15…透明スクリーン部、151…X軸ターゲットライン、152…Y軸ターゲットライン、153…位置ナビゲーションマーク、154…矢印、16…駆動制御装置、161…指示情報蓄積部、162…情報処理部、A…作業面、A1,A2…マーク、B…キャリブレーションボード、B1…ポインティング部接触マーク、B21−B24…キャリブレーションマーク、B30,B31…計測基準点。
【特許請求の範囲】
【請求項1】
作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導装置であって、
前記ポインティング部と一体化され、前記作業時に前記作業面を撮影するカメラ部と、
前記ポインティング部と一体化され、画面が透明で前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるように配置され、誘導用の位置ナビゲーションマーク及び誘導中心を表示する透明スクリーン部と、
前記作業面に設定される作業対象位置の位置情報を格納する指示情報蓄積部と、
前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記指示情報蓄積部に格納された作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる情報処理部と
を具備することを特徴とする作業位置誘導装置。
【請求項2】
前記作業面の既知の位置に予め基準マークが表示されてあるとき、
前記情報処理部は、前記カメラ部で撮影された画像から前記作業面の基準マークを識別し、この識別結果に基づいて前記ポインティング部の先端の前記作業対象位置に対する位置を算出することを特徴とする請求項1記載の作業位置誘導装置。
【請求項3】
前記透明スクリーン部は、画面中央で交差するように垂直方向のターゲットラインと水平方向のターゲットラインを固定表示し、その交差点を前記誘導中心とすることを特徴とする請求項1記載の作業位置誘導装置。
【請求項4】
前記情報処理部は、前記位置ナビゲーションマークの表示に際して、前記ポインティング部から作業面までの奥行き距離の遠近に比例して前記位置ナビゲーションマークの大きさを大小に変化させ、水平方向と垂直方向の前記ポインティング部の位置ずれ距離の大小に比例して前記位置ナビゲーションマークの前記水平方向と垂直方向のターゲットラインからの位置ずれ量を遠近に変化させることを特徴とする請求項3に記載の作業位置誘導装置。
【請求項5】
前記ポインティング部は、前記作業面の作業対象位置に配置されているコネクタアダプタ端子列のコネクタを着脱する機能を有するコネクタ挿抜工具の先端部位であり、
前記作業面の作業対象は通信回線の切り替えを行なうコネクタ接続端子盤であることを特徴とする請求項1乃至4のいずれかに記載の作業位置誘導装置。
【請求項6】
前記ポインティング部の先端を付き当てる箇所を示すポインティング部接触マークと、複数のキャリブレーションマークが表示され、前記ポインティング部接触マークおよび前記キャリブレーションマークの形状および寸法、並びに前記キャリブレーションマーク間の距離が既知の値である一つの平板からなるキャリブレーションボードを備え、
前記情報処理部は、前記ポインティング部がポインティング部接触マークに付き当てた状態における前記カメラ部の撮影映像データの画素数と実際の距離の相関を取得し、前記カメラ部および前記ポインティング部の位置ずれを補正する機能を有することを特徴とする請求項1乃至5のいずれかに記載の作業位置誘導装置。
【請求項7】
作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導方法であって、
前記作業時にカメラ部により前記作業面を撮影し、
画面が透過する透明スクリーン部により、前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるようにしながら、誘導用の位置ナビゲーションマーク及び誘導中心を表示し、
前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記既知の作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させることを特徴とする作業位置誘導方法。
【請求項1】
作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導装置であって、
前記ポインティング部と一体化され、前記作業時に前記作業面を撮影するカメラ部と、
前記ポインティング部と一体化され、画面が透明で前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるように配置され、誘導用の位置ナビゲーションマーク及び誘導中心を表示する透明スクリーン部と、
前記作業面に設定される作業対象位置の位置情報を格納する指示情報蓄積部と、
前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記指示情報蓄積部に格納された作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させる情報処理部と
を具備することを特徴とする作業位置誘導装置。
【請求項2】
前記作業面の既知の位置に予め基準マークが表示されてあるとき、
前記情報処理部は、前記カメラ部で撮影された画像から前記作業面の基準マークを識別し、この識別結果に基づいて前記ポインティング部の先端の前記作業対象位置に対する位置を算出することを特徴とする請求項1記載の作業位置誘導装置。
【請求項3】
前記透明スクリーン部は、画面中央で交差するように垂直方向のターゲットラインと水平方向のターゲットラインを固定表示し、その交差点を前記誘導中心とすることを特徴とする請求項1記載の作業位置誘導装置。
【請求項4】
前記情報処理部は、前記位置ナビゲーションマークの表示に際して、前記ポインティング部から作業面までの奥行き距離の遠近に比例して前記位置ナビゲーションマークの大きさを大小に変化させ、水平方向と垂直方向の前記ポインティング部の位置ずれ距離の大小に比例して前記位置ナビゲーションマークの前記水平方向と垂直方向のターゲットラインからの位置ずれ量を遠近に変化させることを特徴とする請求項3に記載の作業位置誘導装置。
【請求項5】
前記ポインティング部は、前記作業面の作業対象位置に配置されているコネクタアダプタ端子列のコネクタを着脱する機能を有するコネクタ挿抜工具の先端部位であり、
前記作業面の作業対象は通信回線の切り替えを行なうコネクタ接続端子盤であることを特徴とする請求項1乃至4のいずれかに記載の作業位置誘導装置。
【請求項6】
前記ポインティング部の先端を付き当てる箇所を示すポインティング部接触マークと、複数のキャリブレーションマークが表示され、前記ポインティング部接触マークおよび前記キャリブレーションマークの形状および寸法、並びに前記キャリブレーションマーク間の距離が既知の値である一つの平板からなるキャリブレーションボードを備え、
前記情報処理部は、前記ポインティング部がポインティング部接触マークに付き当てた状態における前記カメラ部の撮影映像データの画素数と実際の距離の相関を取得し、前記カメラ部および前記ポインティング部の位置ずれを補正する機能を有することを特徴とする請求項1乃至5のいずれかに記載の作業位置誘導装置。
【請求項7】
作業時に、ポインティング部の先端が、作業面の予め既知の位置に設定される作業対象位置に向かうように誘導する作業位置誘導方法であって、
前記作業時にカメラ部により前記作業面を撮影し、
画面が透過する透明スクリーン部により、前記作業時に前記カメラ部の撮影領域及びポインティング部の先端が透過して見えるようにしながら、誘導用の位置ナビゲーションマーク及び誘導中心を表示し、
前記カメラ部で撮影された画像から前記ポインティング部の先端の前記作業対象位置に対する位置を算出し、前記既知の作業対象位置の位置情報と比較し、両者のずれ量及び方向に基づいて前記透明スクリーン部に前記誘導中心に対する位置ナビゲーションマークを表示させ、前記位置ナビゲーションマークが前記誘導中心に向かうように移動方向を前記画面上に指示表示させることを特徴とする作業位置誘導方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−104747(P2013−104747A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−247951(P2011−247951)
【出願日】平成23年11月11日(2011.11.11)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願日】平成23年11月11日(2011.11.11)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]