作業支援装置
【課題】本発明における課題は、行うべき作業についての知識が希薄な作業者（初心者、非熟練者）が作業に精通した者（ベテラン、熟練者）と同等の作業を行うために、作業者を支援するための装置を提供することにある。
【解決手段】本発明の作業支援装置は、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、及び作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示することを特徴とする。
【解決手段】本発明の作業支援装置は、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、及び作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測技術、情報処理技術、ディスプレイ技術などを統合した情報分野の技術であり、特にミックストリアリティ技術、拡張現実感技術などと呼ばれる、現実と仮想物体を重ね合わせて表示する技術の一つの応用形態であるところの作業支援装置に関する。
【背景技術】
【０００２】
近年、日本のものづくり技術を支えてきた熟練職人が高齢化しているが、熟練技能の次世代への継承が思うように進んでおらず、技能が失われ、ものづくり産業が衰退する危機にある。熟練技能は旧来、徒弟的な修行により継承されてきたが、技能を科学的に解明し、それを初心者にも理解しやすい形で与えることによって、より効率的に継承されると考えられる。具体的には、熟練職人が五感を使って得ている情報を作業対象の計測に置き換え、職人が勘と経験により行っている判断をコンピュータによる情報処理によって遂行し、さらに得られた結果を作業手順として、視覚情報を通じて作業者に指示すれば、経験の少ない作業者でも熟練職人と同等の作業結果をもたらすことが期待される。
【０００３】
最近の測定装置では、測定ヘッドから得られたデータをパーソナルコンピュータに取り込み、測定結果を通常のディスプレイ上で表示することができる。さらに得られたデータに対して情報処理を施し、例えば三次元形状測定されたデータを鳥瞰図によって表示するといったように、人間にとって理解しやすい形で伝達することができる。またヘッドマウントディスプレイなどを用いたミックストリアリティ技術によれば、作業マニュアルにのっとり、次に行うべき作業手順を実世界上の物体に重ねあわせる形で作業者に指示することが可能である。
【０００４】
しかしながら熟練作業においては、測定結果を単純に作業者に与えるだけでは目的は達成されない。例えば線状加熱、点状加熱、溶接歪みとりなどと呼ばれる作業では、船体の外板を所望の形状に曲げたり、溶接歪みによって変形した電車の車台部分を真直ぐに矯正したりするが、作業対象の形状と目標形状を与えるだけでは作業手順は導かれない。熟練職人は、自らが加熱すべき位置と熱量を判断して作業を行っている。
【０００５】
一方、近年、ヘッドマウントディスプレイ（本明細書および図面において「ＨＭＤ」と略す場合がある。）を中心としたミックストリアリティ技術が進歩し、現実の物体上に映像を提示して作業指示を行うことが可能となったため、製造現場で用いるべく研究が進んでいる（特許文献1、非特許文献1、2、3）。しかしながらこれらの技術では、マニュアル通りの作業手順を指示したり、測定結果を直に表示したりといったことで作業支援をしているのみであり、熟練技能に必要となる高度な判断機能が織り込まれていないため、技能継承に用いるような支援装置としては不十分である。
【特許文献１】特開２００３−３３８７００号公報
【非特許文献１】伴好弘他「強調現実感による電子部品検査の作業支援環境」日本バーチャルリアリティ学会論文誌、3-3（1998）185-191.
【非特許文献２】A.Tang et al., "Experimental evaluation of augmented reality in object assembly task," Proc. ISMAR'02(2002)265-266.
【非特許文献３】D. Aiteanu et al., "A step forward in manual welding: demonstration of augmentedreality helmet," Proc. ISMAR'03(2003)309-310.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明における課題は、行うべき作業についての知識が希薄な作業者（初心者、非熟練者）が作業に精通した者（ベテラン、熟練者）と同等の作業を行うために、作業者を支援するための作業支援装置を提供することにある。
【課題を解決するための手段】
【０００７】
（１）上記目的を達成するため本発明の作業支援装置は、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、及び作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示することを特徴としている。
（２）また、本発明の作業支援装置は、線状加熱、点状加熱、及び溶接歪み取り作業を含む熱加工作業を行う装置において、作業対象となる物体の3次元形状を測定する測定手段、得られた測定結果に対してあらかじめ用意されている設計図における3次元形状を比較し、作業対象物体の各点において設計図通りの形状とするために、熱加工によって変形させるべき作業対象物体の変形量を算出し、その変形を得るために必要な加熱位置と加熱量を計算する情報処理手段、および、加熱位置と加熱量を作業対象物体上に重ね合わせて作業者に提示する表示手段を備えることにより、作業者がなすべき作業を作業現場において指示することを特徴としている。
（３）また、本発明の作業支援装置は、上記（２）表示手段において、作業対称物体に重ねて表示するマーカーを格子状に配置し、これらマーカーの中心点を結ぶ仮想的なマーカーを形成し、この仮想的なマーカーの上にコンピュータグラフィックスを描写することを特徴としている。
【発明の効果】
【０００８】
作業者は、測定結果の生データだけではなく、具体的な作業手順といった形の情報を受け取ることができる。その手順は、矢印やアニメーションといったビジュアルな方法で指示されるため、言葉による説明が難しいことでも理解可能となり、また誤解によるミスを最小限にすることができる。さらにその情報は、作業現場において現実の物体と重ね合わせた形で与えられるため、作業者は視線をそらすことなく作業に集中できる。したがって、作業時間の短縮が期待される。
【０００９】
このように、本発明による装置を使用した作業を行うことにより、非熟練作業者は、熟練作業者と同等の品質、及び速度で作業を行うことが可能となる。 また、短期間の経験によって熟練することが期待されるため、熟練技能の継承にも役立つことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明による実施の形態を図面を参照しながら説明する。
図1に、本発明を用いた作業支援の流れを示す。
まず作業者１は、本発明装置の情報処理部２に対し、作業対象物体３の形状測定を指示ａする。具体的には、3次元形状測定装置を動作させるために、測定装置の測定ヘッドを作業対象物体３に対し適切な位置に配置し、測定用ソフトウェアを起動する。測定装置は市販のもので良く、3次元デジタイザなどと呼ばれる光学式のものでも、3次元座標測定器などと呼ばれる機械式のものでも使用可能である。ただし、表面形状を高速に取得するという観点からは光学式のものの方が有利である。
情報処理部２によってコントロールｂされた計測部４は、作業対象物体３の形状を測定し、測定結果ｄとして表面形状の位置座標を点群データあるいはポリゴンデータとして情報処理部２に出力する。
【００１１】
計測部４からの測定結果ｄを受け取った情報処理部２は、あらかじめ用意されている設計図における表面形状ｅと測定結果ｄの表面形状を比較し、作業対象物体３の各点において設計図通りの形状となるために、熱加工によって変形させるべき作業対象物体３の変形量を算出する。
次に、その変形を得るために必要な加熱位置と加熱量を決定する。加熱位置と加熱量の計算は、例えば市販の熱弾塑性解析プログラムによるシミュレーションであっても良いし、加熱量と変形量を結びつけたデータベースを用いた計算でも良い。
【００１２】
計算された加熱位置と加熱量は、作業指示ｈのための映像という形に変換されて表示部６に送られ、作業者１はその作業指示ｈを見ながら作業を行う。表示部６では、図2のように、作業対象物体３と重ね合わされた形で加熱位置８が指示される。図2では作業対象物体３である鉄板上に、加熱用バーナー９によって加熱すべき点を連ねた加熱線を重ね合わせて表示している。
【００１３】
通常の線状加熱作業では、熟練作業者は作業対象物体の形状を定規や木型によって手作業によって測定し、その測定結果に基づいて加熱位置を決定している。このとき加熱点あるいは加熱線は、作業対象物体上に直接マジックペンやチョーク等で書き込まれる。作業者は描かれた加熱点あるいは加熱線により加熱位置を知り、加熱用バーナーの炎をその上に当てることにより作業を行う。
【００１４】
加熱用バーナーの炎を目標の位置に当てること自体は難しい作業ではないので、熟練作業者に加熱点あるいは加熱線を描いてもらえば、初心者でも線状加熱作業を行うことができるように思えるが、そうではない。熟練作業者は加熱点あるいは加熱線を描くと同時に加熱量も決めており、加熱量を所望通りにするために、バーナーの炎の大きさを調整すると同時に加熱時間も変化させながら作業を行っているのである。作業対象物体が鉄板の場合には、加熱点の色の変化から加熱点のおおよその温度を知ることができるので、熟練作業者は加熱点の色の変化も見ながらバーナーを動かしている。
【００１５】
このように、加熱点あるいは加熱線を作業対象物体上に直接書き込む方法では、加熱位置を指示することは可能であるが、加熱量を指示することができないため、初心者に対する作業支援としては十分ではない。一方本発明によれば、ヘッドマウントディスプレイなどの映像表示装置を表示部に用いることにより動的な指示が可能となるため、加熱量に関する指示も含めた作業支援が可能となる。
以下では具体的に、加熱位置と加熱量をこのような映像による作業指示に変換する方法を説明する。
【００１６】
作業者１は図2に示すように表示部６およびカメラ７からなるヘッドマウントディスプレイ（ＨＭＤ）１０を頭に装着している。ＨＭＤ１０のカメラ７により得られた映像ｇは、一旦情報処理部２に送られる。作業対象物体３にはあらかじめ、カメラ７との相対的な位置座標を計算するためのマーカーが付けられている。情報処理部２においては、カメラ７より送られた映像ｇの中からマーカーを認識し、その大きさ、向き、形などから、カメラ７と作業対象物体３の相対的な位置関係を把握する。これにより、加熱位置８を作業対象物体３の映像ｇ上に重ね合わせて表示することが可能となる。
【００１７】
加熱量を規定するためには、あらかじめ加熱用バーナー９へ送られるガスの流量に対する加熱量を測定しておき、ガス流量を測定しながら逐次加熱用バーナー９を動かすスピードを計算して、映像として指示することができる。
【００１８】
加熱量を規定するための別な方法としては、加熱点の温度による指示とすることも可能である。加熱点の温度を指示する場合には、温度計によって加熱点の温度をモニターし、適切な温度に達したら加熱位置８の表示を次の加熱点へ移動させるという方法により、表示部６を通して作業者１に作業指示を送る。
【実施例１】
【００１９】
図３に鉄板を線状加熱により一方向に曲げる例を示す。図３には、本作業における初期形状、線状加熱作業の状態、及び目標形状を断面図で模式的に示している。
長方形の鉄板１１が、その中心線において左右対称にくの字に折れ曲がっている。この鉄板１１を加熱用バーナー９による線状加熱によって平面にする。
【００２０】
図4に本作業における作業対象物体３と3次元形状測定装置１２の配置を示す。
作業対象物体３である鉄板１１は作業台１３の上に置かれ、その上方に光学式の3次元形状測定装置１２を配置する。作業者１が情報処理部２に対し測定の指示ａを出すと、情報処理部２は3次元形状測定装置１２をコントロールし、装置１２からレーザー光線を出射すると共にその反射光を装置１２のカメラで捕らえ、光点の位置から作業対象物体の表面形状を読み取る。
【００２１】
測定された表面形状は、点群データとして情報処理部２に送られ、加熱位置と加熱量が計算される。この場合目標形状が平面のため、加熱すべき位置は曲率が極大となる部分であり、折れ曲がっている中心線と一致する。
【００２２】
加熱位置８を作業対象物体３に重ねて表示するためのマーカーとしては、正方形の中に白黒パターンが描かれたＡＲＴｏｏｌＫｉｔ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｔｏｏｌ Ｋｉｔ：拡張現実感アプリケーションの作業を支援するＣ言語のライブラリの意味）などが利用できる。ＡＲＴｏｏｌＫｉｔでは、マーカーの上にコンピュータグラフィックス（以下「ＣＧ」と略す。）を描く機能があらかじめ準備されている。しかしながらＣＧを描く位置がマーカーから離れるほど、あるいはマーカーサイズが小さいほど、ＣＧの提示位置の誤差が大きくなり、ＣＧ自体が振動する傾向にある。
【００２３】
一方、加熱用バーナー９で線状加熱する作業に適用する場合、マーカーが加工の邪魔にならないように、マーカーサイズは小さくかつ加熱位置とはできるだけ離して配置するほうが望ましい。そこでこの問題を解決する方法として、図５に示すようにマーカー１４を格子状に配置する。ＡＲＴｏｏｌＫｉｔでは、検出されたマーカー１４の4頂点の座標からそのマーカー１４の位置姿勢を計算するが、本方法ではそれぞれのマーカー１４を検出した後、それらのマーカー１４の中心点を4つの頂点とし、あたかも大きなマーカー１個を検出したかのように処理して、その仮想的なマーカーのカメラから見た位置姿勢を計算させる。これによって、大きな加工領域を確保しつつ、そこに大きなマーカーを配置したのとほぼ同等の精度でＣＧを提示することができる。
【００２４】
図５に示す本方法により、加熱線１５を加工対象物である鉄板１１上に精度良く重ね合わせて表示させることが可能となった。また加熱線１５上で加熱が終わった部分とこれから加熱すべき部分の色を違えて表示することにより、現在加熱すべき部分が色の境界として容易に認識できるようにした。作業者１は、色の境界部分に炎が当たるように加熱用バーナー９を動かせば良い。このようにヘッドマウントディスプレイ１０を用いた重ね合わせ表示により、作業者１に対して時間的に変化する作業指示ｈを行えるという利点が生ずる。作業者１は、ヘッドマウントディスプレイ１０上に映し出された図５のような映像を見ながら作業することにより、初心者であっても熟練者と同等の作業を行うことができる。
【産業上の利用可能性】
【００２５】
本発明は、製造現場における加工、組立、検査、修理等の作業を支援する装置として使用することができる。特に、熟練作業者の技能を未熟練者に的確にすばやく伝承することに有効である。また、製造業以外の職種においても、例えば手作業によって目的の状態を達成させることを主眼とする玩具の作業指示に用いることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の作業支援の流れを示した説明図である。
【図２】作業者がヘッドマウントディスプレイ（HMD）を装着して熱加工作業を行う様子を説明する図である。
【図３】本発明の実施例１に係るくの字に折れ曲がった鉄板を線状加熱により平面にする様子を示す説明図である。
【図４】実施例１の作業における作業対象物体と3次元形状測定装置の配置を説明する図である。
【図５】ヘッドマウントディスプレイにより、作業対象物体である鉄板上に加熱線を表示した例を示す説明図である。
【符号の説明】
【００２７】
１ 作業者
２ 情報処理部
３ 作業対象物体
４ 計測部
５ 設計図・データベース
６ 表示部
７ カメラ
８ 加熱位置
９ 加熱用バーナー
１０ ヘッドマウントディスプレイ
１１ 鉄板
１２ ３次元形状測定装置
１３ 作業台
１４ マーカー
１５ 加熱線
【技術分野】
【０００１】
本発明は、計測技術、情報処理技術、ディスプレイ技術などを統合した情報分野の技術であり、特にミックストリアリティ技術、拡張現実感技術などと呼ばれる、現実と仮想物体を重ね合わせて表示する技術の一つの応用形態であるところの作業支援装置に関する。
【背景技術】
【０００２】
近年、日本のものづくり技術を支えてきた熟練職人が高齢化しているが、熟練技能の次世代への継承が思うように進んでおらず、技能が失われ、ものづくり産業が衰退する危機にある。熟練技能は旧来、徒弟的な修行により継承されてきたが、技能を科学的に解明し、それを初心者にも理解しやすい形で与えることによって、より効率的に継承されると考えられる。具体的には、熟練職人が五感を使って得ている情報を作業対象の計測に置き換え、職人が勘と経験により行っている判断をコンピュータによる情報処理によって遂行し、さらに得られた結果を作業手順として、視覚情報を通じて作業者に指示すれば、経験の少ない作業者でも熟練職人と同等の作業結果をもたらすことが期待される。
【０００３】
最近の測定装置では、測定ヘッドから得られたデータをパーソナルコンピュータに取り込み、測定結果を通常のディスプレイ上で表示することができる。さらに得られたデータに対して情報処理を施し、例えば三次元形状測定されたデータを鳥瞰図によって表示するといったように、人間にとって理解しやすい形で伝達することができる。またヘッドマウントディスプレイなどを用いたミックストリアリティ技術によれば、作業マニュアルにのっとり、次に行うべき作業手順を実世界上の物体に重ねあわせる形で作業者に指示することが可能である。
【０００４】
しかしながら熟練作業においては、測定結果を単純に作業者に与えるだけでは目的は達成されない。例えば線状加熱、点状加熱、溶接歪みとりなどと呼ばれる作業では、船体の外板を所望の形状に曲げたり、溶接歪みによって変形した電車の車台部分を真直ぐに矯正したりするが、作業対象の形状と目標形状を与えるだけでは作業手順は導かれない。熟練職人は、自らが加熱すべき位置と熱量を判断して作業を行っている。
【０００５】
一方、近年、ヘッドマウントディスプレイ（本明細書および図面において「ＨＭＤ」と略す場合がある。）を中心としたミックストリアリティ技術が進歩し、現実の物体上に映像を提示して作業指示を行うことが可能となったため、製造現場で用いるべく研究が進んでいる（特許文献1、非特許文献1、2、3）。しかしながらこれらの技術では、マニュアル通りの作業手順を指示したり、測定結果を直に表示したりといったことで作業支援をしているのみであり、熟練技能に必要となる高度な判断機能が織り込まれていないため、技能継承に用いるような支援装置としては不十分である。
【特許文献１】特開２００３−３３８７００号公報
【非特許文献１】伴好弘他「強調現実感による電子部品検査の作業支援環境」日本バーチャルリアリティ学会論文誌、3-3（1998）185-191.
【非特許文献２】A.Tang et al., "Experimental evaluation of augmented reality in object assembly task," Proc. ISMAR'02(2002)265-266.
【非特許文献３】D. Aiteanu et al., "A step forward in manual welding: demonstration of augmentedreality helmet," Proc. ISMAR'03(2003)309-310.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明における課題は、行うべき作業についての知識が希薄な作業者（初心者、非熟練者）が作業に精通した者（ベテラン、熟練者）と同等の作業を行うために、作業者を支援するための作業支援装置を提供することにある。
【課題を解決するための手段】
【０００７】
（１）上記目的を達成するため本発明の作業支援装置は、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、及び作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示することを特徴としている。
（２）また、本発明の作業支援装置は、線状加熱、点状加熱、及び溶接歪み取り作業を含む熱加工作業を行う装置において、作業対象となる物体の3次元形状を測定する測定手段、得られた測定結果に対してあらかじめ用意されている設計図における3次元形状を比較し、作業対象物体の各点において設計図通りの形状とするために、熱加工によって変形させるべき作業対象物体の変形量を算出し、その変形を得るために必要な加熱位置と加熱量を計算する情報処理手段、および、加熱位置と加熱量を作業対象物体上に重ね合わせて作業者に提示する表示手段を備えることにより、作業者がなすべき作業を作業現場において指示することを特徴としている。
（３）また、本発明の作業支援装置は、上記（２）表示手段において、作業対称物体に重ねて表示するマーカーを格子状に配置し、これらマーカーの中心点を結ぶ仮想的なマーカーを形成し、この仮想的なマーカーの上にコンピュータグラフィックスを描写することを特徴としている。
【発明の効果】
【０００８】
作業者は、測定結果の生データだけではなく、具体的な作業手順といった形の情報を受け取ることができる。その手順は、矢印やアニメーションといったビジュアルな方法で指示されるため、言葉による説明が難しいことでも理解可能となり、また誤解によるミスを最小限にすることができる。さらにその情報は、作業現場において現実の物体と重ね合わせた形で与えられるため、作業者は視線をそらすことなく作業に集中できる。したがって、作業時間の短縮が期待される。
【０００９】
このように、本発明による装置を使用した作業を行うことにより、非熟練作業者は、熟練作業者と同等の品質、及び速度で作業を行うことが可能となる。 また、短期間の経験によって熟練することが期待されるため、熟練技能の継承にも役立つことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明による実施の形態を図面を参照しながら説明する。
図1に、本発明を用いた作業支援の流れを示す。
まず作業者１は、本発明装置の情報処理部２に対し、作業対象物体３の形状測定を指示ａする。具体的には、3次元形状測定装置を動作させるために、測定装置の測定ヘッドを作業対象物体３に対し適切な位置に配置し、測定用ソフトウェアを起動する。測定装置は市販のもので良く、3次元デジタイザなどと呼ばれる光学式のものでも、3次元座標測定器などと呼ばれる機械式のものでも使用可能である。ただし、表面形状を高速に取得するという観点からは光学式のものの方が有利である。
情報処理部２によってコントロールｂされた計測部４は、作業対象物体３の形状を測定し、測定結果ｄとして表面形状の位置座標を点群データあるいはポリゴンデータとして情報処理部２に出力する。
【００１１】
計測部４からの測定結果ｄを受け取った情報処理部２は、あらかじめ用意されている設計図における表面形状ｅと測定結果ｄの表面形状を比較し、作業対象物体３の各点において設計図通りの形状となるために、熱加工によって変形させるべき作業対象物体３の変形量を算出する。
次に、その変形を得るために必要な加熱位置と加熱量を決定する。加熱位置と加熱量の計算は、例えば市販の熱弾塑性解析プログラムによるシミュレーションであっても良いし、加熱量と変形量を結びつけたデータベースを用いた計算でも良い。
【００１２】
計算された加熱位置と加熱量は、作業指示ｈのための映像という形に変換されて表示部６に送られ、作業者１はその作業指示ｈを見ながら作業を行う。表示部６では、図2のように、作業対象物体３と重ね合わされた形で加熱位置８が指示される。図2では作業対象物体３である鉄板上に、加熱用バーナー９によって加熱すべき点を連ねた加熱線を重ね合わせて表示している。
【００１３】
通常の線状加熱作業では、熟練作業者は作業対象物体の形状を定規や木型によって手作業によって測定し、その測定結果に基づいて加熱位置を決定している。このとき加熱点あるいは加熱線は、作業対象物体上に直接マジックペンやチョーク等で書き込まれる。作業者は描かれた加熱点あるいは加熱線により加熱位置を知り、加熱用バーナーの炎をその上に当てることにより作業を行う。
【００１４】
加熱用バーナーの炎を目標の位置に当てること自体は難しい作業ではないので、熟練作業者に加熱点あるいは加熱線を描いてもらえば、初心者でも線状加熱作業を行うことができるように思えるが、そうではない。熟練作業者は加熱点あるいは加熱線を描くと同時に加熱量も決めており、加熱量を所望通りにするために、バーナーの炎の大きさを調整すると同時に加熱時間も変化させながら作業を行っているのである。作業対象物体が鉄板の場合には、加熱点の色の変化から加熱点のおおよその温度を知ることができるので、熟練作業者は加熱点の色の変化も見ながらバーナーを動かしている。
【００１５】
このように、加熱点あるいは加熱線を作業対象物体上に直接書き込む方法では、加熱位置を指示することは可能であるが、加熱量を指示することができないため、初心者に対する作業支援としては十分ではない。一方本発明によれば、ヘッドマウントディスプレイなどの映像表示装置を表示部に用いることにより動的な指示が可能となるため、加熱量に関する指示も含めた作業支援が可能となる。
以下では具体的に、加熱位置と加熱量をこのような映像による作業指示に変換する方法を説明する。
【００１６】
作業者１は図2に示すように表示部６およびカメラ７からなるヘッドマウントディスプレイ（ＨＭＤ）１０を頭に装着している。ＨＭＤ１０のカメラ７により得られた映像ｇは、一旦情報処理部２に送られる。作業対象物体３にはあらかじめ、カメラ７との相対的な位置座標を計算するためのマーカーが付けられている。情報処理部２においては、カメラ７より送られた映像ｇの中からマーカーを認識し、その大きさ、向き、形などから、カメラ７と作業対象物体３の相対的な位置関係を把握する。これにより、加熱位置８を作業対象物体３の映像ｇ上に重ね合わせて表示することが可能となる。
【００１７】
加熱量を規定するためには、あらかじめ加熱用バーナー９へ送られるガスの流量に対する加熱量を測定しておき、ガス流量を測定しながら逐次加熱用バーナー９を動かすスピードを計算して、映像として指示することができる。
【００１８】
加熱量を規定するための別な方法としては、加熱点の温度による指示とすることも可能である。加熱点の温度を指示する場合には、温度計によって加熱点の温度をモニターし、適切な温度に達したら加熱位置８の表示を次の加熱点へ移動させるという方法により、表示部６を通して作業者１に作業指示を送る。
【実施例１】
【００１９】
図３に鉄板を線状加熱により一方向に曲げる例を示す。図３には、本作業における初期形状、線状加熱作業の状態、及び目標形状を断面図で模式的に示している。
長方形の鉄板１１が、その中心線において左右対称にくの字に折れ曲がっている。この鉄板１１を加熱用バーナー９による線状加熱によって平面にする。
【００２０】
図4に本作業における作業対象物体３と3次元形状測定装置１２の配置を示す。
作業対象物体３である鉄板１１は作業台１３の上に置かれ、その上方に光学式の3次元形状測定装置１２を配置する。作業者１が情報処理部２に対し測定の指示ａを出すと、情報処理部２は3次元形状測定装置１２をコントロールし、装置１２からレーザー光線を出射すると共にその反射光を装置１２のカメラで捕らえ、光点の位置から作業対象物体の表面形状を読み取る。
【００２１】
測定された表面形状は、点群データとして情報処理部２に送られ、加熱位置と加熱量が計算される。この場合目標形状が平面のため、加熱すべき位置は曲率が極大となる部分であり、折れ曲がっている中心線と一致する。
【００２２】
加熱位置８を作業対象物体３に重ねて表示するためのマーカーとしては、正方形の中に白黒パターンが描かれたＡＲＴｏｏｌＫｉｔ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｔｏｏｌ Ｋｉｔ：拡張現実感アプリケーションの作業を支援するＣ言語のライブラリの意味）などが利用できる。ＡＲＴｏｏｌＫｉｔでは、マーカーの上にコンピュータグラフィックス（以下「ＣＧ」と略す。）を描く機能があらかじめ準備されている。しかしながらＣＧを描く位置がマーカーから離れるほど、あるいはマーカーサイズが小さいほど、ＣＧの提示位置の誤差が大きくなり、ＣＧ自体が振動する傾向にある。
【００２３】
一方、加熱用バーナー９で線状加熱する作業に適用する場合、マーカーが加工の邪魔にならないように、マーカーサイズは小さくかつ加熱位置とはできるだけ離して配置するほうが望ましい。そこでこの問題を解決する方法として、図５に示すようにマーカー１４を格子状に配置する。ＡＲＴｏｏｌＫｉｔでは、検出されたマーカー１４の4頂点の座標からそのマーカー１４の位置姿勢を計算するが、本方法ではそれぞれのマーカー１４を検出した後、それらのマーカー１４の中心点を4つの頂点とし、あたかも大きなマーカー１個を検出したかのように処理して、その仮想的なマーカーのカメラから見た位置姿勢を計算させる。これによって、大きな加工領域を確保しつつ、そこに大きなマーカーを配置したのとほぼ同等の精度でＣＧを提示することができる。
【００２４】
図５に示す本方法により、加熱線１５を加工対象物である鉄板１１上に精度良く重ね合わせて表示させることが可能となった。また加熱線１５上で加熱が終わった部分とこれから加熱すべき部分の色を違えて表示することにより、現在加熱すべき部分が色の境界として容易に認識できるようにした。作業者１は、色の境界部分に炎が当たるように加熱用バーナー９を動かせば良い。このようにヘッドマウントディスプレイ１０を用いた重ね合わせ表示により、作業者１に対して時間的に変化する作業指示ｈを行えるという利点が生ずる。作業者１は、ヘッドマウントディスプレイ１０上に映し出された図５のような映像を見ながら作業することにより、初心者であっても熟練者と同等の作業を行うことができる。
【産業上の利用可能性】
【００２５】
本発明は、製造現場における加工、組立、検査、修理等の作業を支援する装置として使用することができる。特に、熟練作業者の技能を未熟練者に的確にすばやく伝承することに有効である。また、製造業以外の職種においても、例えば手作業によって目的の状態を達成させることを主眼とする玩具の作業指示に用いることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の作業支援の流れを示した説明図である。
【図２】作業者がヘッドマウントディスプレイ（HMD）を装着して熱加工作業を行う様子を説明する図である。
【図３】本発明の実施例１に係るくの字に折れ曲がった鉄板を線状加熱により平面にする様子を示す説明図である。
【図４】実施例１の作業における作業対象物体と3次元形状測定装置の配置を説明する図である。
【図５】ヘッドマウントディスプレイにより、作業対象物体である鉄板上に加熱線を表示した例を示す説明図である。
【符号の説明】
【００２７】
１ 作業者
２ 情報処理部
３ 作業対象物体
４ 計測部
５ 設計図・データベース
６ 表示部
７ カメラ
８ 加熱位置
９ 加熱用バーナー
１０ ヘッドマウントディスプレイ
１１ 鉄板
１２ ３次元形状測定装置
１３ 作業台
１４ マーカー
１５ 加熱線
【特許請求の範囲】
【請求項１】
作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、及び作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示することを特徴とする作業支援装置。
【請求項２】
線状加熱、点状加熱、及び溶接歪み取り作業を含む熱加工作業を行う装置において、作業対象となる物体の3次元形状を測定する測定手段、得られた測定結果に対してあらかじめ用意されている設計図における3次元形状を比較し、作業対象物体の各点において設計図通りの形状とするために、熱加工によって変形させるべき作業対象物体の変形量を算出し、その変形を得るために必要な加熱位置と加熱量を計算する情報処理手段、および、加熱位置と加熱量を作業対象物体上に重ね合わせて作業者に提示する表示手段を備えることにより、作業者がなすべき作業を作業現場において指示することを特徴とする作業支援装置。
【請求項３】
表示手段において、作業対象物体に重ねて表示するマーカーを格子状に配置し、これらマーカーの中心点を結ぶ仮想的なマーカーを形成し、この仮想的なマーカーの上にコンピュータグラフィックスを描写することを特徴とする請求項２記載の作業支援装置。
【請求項１】
作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、及び作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示することを特徴とする作業支援装置。
【請求項２】
線状加熱、点状加熱、及び溶接歪み取り作業を含む熱加工作業を行う装置において、作業対象となる物体の3次元形状を測定する測定手段、得られた測定結果に対してあらかじめ用意されている設計図における3次元形状を比較し、作業対象物体の各点において設計図通りの形状とするために、熱加工によって変形させるべき作業対象物体の変形量を算出し、その変形を得るために必要な加熱位置と加熱量を計算する情報処理手段、および、加熱位置と加熱量を作業対象物体上に重ね合わせて作業者に提示する表示手段を備えることにより、作業者がなすべき作業を作業現場において指示することを特徴とする作業支援装置。
【請求項３】
表示手段において、作業対象物体に重ねて表示するマーカーを格子状に配置し、これらマーカーの中心点を結ぶ仮想的なマーカーを形成し、この仮想的なマーカーの上にコンピュータグラフィックスを描写することを特徴とする請求項２記載の作業支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−６９９５４（Ｐ２００９−６９９５４Ａ）
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願番号】特願２００７−２３５２６１（Ｐ２００７−２３５２６１）
【出願日】平成１９年９月１１日（２００７．９．１１）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願日】平成１９年９月１１日（２００７．９．１１）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]