作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体
【課題】工場内の生産ラインで移動しながら複数の組立作業を行う作業者が、次の作業位置を正確に把握できるようにする。
【解決手段】工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者に装着され当該作業者の作業位置を検出する位置センサ２と、作業者の頭部に装着され、架空画像をディスプレイ３１の画面上に表示させるヘッドマウントディスプレイ装置３と、位置センサ２で検出された作業者の作業位置と次の作業位置との間隔を算出し、間隔に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる作業解析部４１を備えているデータ処理装置４とから構成されている。
【解決手段】工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者に装着され当該作業者の作業位置を検出する位置センサ２と、作業者の頭部に装着され、架空画像をディスプレイ３１の画面上に表示させるヘッドマウントディスプレイ装置３と、位置センサ２で検出された作業者の作業位置と次の作業位置との間隔を算出し、間隔に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる作業解析部４１を備えているデータ処理装置４とから構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、工場内の生産ラインにおいて、作業者に対して作業指示情報を提示する作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体に関する。
【背景技術】
【０００２】
近年、電気製品や自動車の製造メーカーの生産技術部門においては、生産性を向上させる目的のために、大型スクリーンに仮想の作業領域を表示して作業者に作業内容を指導した後に、作業者に対して仮想の作業領域で作業を擬似的に体験させて仮想の作業訓練を施すことができる作業訓練支援システムが開示されている（例えば、特許文献１参照。）。また、作業訓練支援システムは、モーションキャプチャからの３次元の空間座標位置と、標準作業時間、手の動きのぶれ（蛇行）あるいは手の動きの基準値とを比較して、その基準値から外れる場合には習熟総合判定をＮＧにするものである。モーションキャプチャは、作業者の動作状態をリアルに反映させることができるので、作業者の作業判定の精度を高めることが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３４５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景技術に記載した作業訓練支援システムでは、大型スクリーンに仮想の作業領域を表示すると共にスピーカから音声を出力して作業者に作業内容を指導した後に、作業者に対して仮想の作業領域で作業を擬似的に体験させているので、この大型スクリーンを工場内の生産ラインに設置すると、画面表示や音声で作業内容を指導してはいるが、作業者は所定の工程順序による複数の組立作業を生産ライン上で所定の作業位置まで順々に移動しているので、いつの時点での作業案内か分からなくなる虞があった。
【０００５】
さらに、工場内の生産ラインにおける作業者は、所定の工程順序による複数の組立作業を、生産ライン上で所定の作業位置まで順々に移動しながら行っているので、熟練作業者でも、縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等を確実に取るという保証はなく、また、未熟な作業者ではタクトタイム内で作業することで精一杯になり作業ミスが発生し易くなる。
【０００６】
本発明は、このような従来の難点を解消するためになされたもので、工場内の生産ラインで移動しながら複数の組立作業を行う作業者が、次の作業位置を正確に把握することができる作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的を達成する本発明の第１の態様である作業アシストシステムは、工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者に装着され当該作業者の作業位置を検出する位置センサと、作業者の頭部に装着され、架空画像をディスプレイ画面上に表示させるヘッドマウントディスプレイ装置と、位置センサで検出された作業者の作業位置と次の作業位置との間隔を算出し、この間隔に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる作業解析部を備えているデータ処理装置とから構成されているものである。
【０００８】
本発明の第２の態様は第１の態様である作業アシストシステムにおいて、ヘッドマウントディスプレイ装置は、架空画像を作業者の視線方向に応じてディスプレイ画面上に移動可能に表示させるために、作業者の視線方向を検出する視線センサを備え、作業解析部は、位置センサで検出された作業者の作業位置と次の作業位置との間隔と共に視線センサで得られた作業者の視線方向に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる作業解析機能を有するものである。
【０００９】
本発明の第３の態様は第１の態様又は第２の態様である作業アシストシステムにおいて、データ処理装置は、生産企画台数に基づき設定された生産ラインに流す製品種類の順番の生産情報データを保存する生産情報データベースと、生産情報データベースに保存された生産情報データに基づき生産ラインに流す製品種類に対応する作業の順番、内容の工程順序データを保存する工程順序データベースと、工程順序データベースに保存された工程順序データに対応する複数の作業位置データを保存する作業位置データベースとを有するデータ記憶部を備え、作業解析部は、生産情報データベースから呼び出された生産情報データ及び工程順序データベースから呼び出された工程順序データに対応する作業位置データを作業位置データベースから選択するデータ選択機能を有するものである。
【００１０】
本発明の第４の態様は第１の態様乃至第３の態様のうち何れか１つの態様である作業アシストシステムにおいて、ヘッドマウントディスプレイ装置は、外界からの像を透過すると共にディスプレイ画面上に表示された架空画像を反射することで、外界からの像に架空画像を投影するハーフミラーを有する光学透過型である。
【００１１】
本発明の第５の態様は第４の態様である作業アシストシステムにおいて、ヘッドマウントディスプレイ装置は眼鏡に組み込まれているものである。
【００１２】
本発明の第６の態様は第１の態様乃至第５の態様のうち何れか１つの態様である作業アシストシステムにおいて、位置センサは、組立作業を行っている作業者の手の作業動作を経時的に測定するモーションキャプチャ装置である。
【００１３】
また、本発明の第７の態様である作業アシスト方法は、工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者の作業位置を、当該作業者に装着された位置センサによって測定し、位置センサで検出された作業位置の座標データをデータ処理装置の作業解析部に送信して、作業者の頭部に装着されたヘッドマウント装置のディスプレイ画面上に組立作業のアシスト情報を表示する作業アシスト方法であって、作業解析部は、位置センサから座標データを取得する第１のステップと、第１のステップで取得した座標データから作業者の作業位置を算出する第２のステップと、第２のステップで算出した作業位置と次の作業位置との間隔を算出して間隔データを生成する第３のステップと、第３のステップで算出した間隔に応じて移動する次の作業位置を指し示す記号データを作成する第４のステップと、第４のステップで作成された記号データに基づく記号をヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる第５のステップとを有するものである。
【００１４】
本発明の第８の態様は第７の態様である作業アシスト方法において、第２のステップと第３のステップとの間に、ヘッドマウントディスプレイ装置に備えられた視線センサによって検出した作業者の視線方向の視線方向データを取得するステップを有し、第４のステップは、第３のステップで算出した間隔と共にステップで取得した視線方向データに応じて移動させる次の作業位置を指し示す記号データを作成するものである。
【００１５】
本発明の第９の態様は第７の態様又は第８の態様である作業アシスト方法において、第１のステップの前に、データ処理装置が備えるデータ記憶部に格納された生産情報データベースから所定の生産情報データを呼び出す第１の呼出ステップと、データ記憶部に格納された工程順序データベースから所定の工程順序データを呼び出す第２の呼出ステップと、各呼出ステップで呼び出された生産情報データ及び工程順序データに対応する所定の工程順序による複数の組立作業の最初の作業位置データをデータ記憶部に格納された作業位置データベースから呼び出す第３の呼出ステップとを有するものである。
【００１６】
本発明の第１０の態様は第７の態様乃至第９の態様のうち何れか１つである作業アシスト方法において、第５のステップの後に、所定の工程順序による複数の組立作業のうち最初の組立作業以降の残りの組立作業において、第１のステップから第５のステップまでを繰り返す第６のステップを有するものである。
【００１７】
さらに、本発明の第１１の態様である記録媒体は、第７の態様乃至第１０の態様うち何れか１つである作業アシスト方法によって実現するためのプログラムを記憶したコンピュータ読み取り可能なものである。
【００１８】
このような作業アシストシステム及び作業アシスト方法は、所定の工程順序による複数の組立作業の最初の組立作業の作業位置に位置する作業者の当該作業位置を、当該作業者に装着された位置センサによって測定し、その測定結果である座標データを当該位置センサからデータ処理装置に送信すると、データ処理装置の作業解析部は位置センサからの座標データを取得し、その座標データから作業位置を算出し、その算出された作業位置と次の作業位置との間隔を算出して間隔データを生成する。作業解析部は、この間隔データに応じて移動する次の作業位置を指し示す記号データを作成し、この記号データに基づく記号を架空画像として、作業者に装着されたヘッドマウントディスプレイ装置のディスプレイ画面上に表示することができる。記号データは基準となる作業位置と次の作業位置との間隔が変わるとそれに伴って移動するので、作業者は移動していても次の作業位置をヘッドマウントディスプレイ装置で把握することができる。
【００１９】
また、作業者がこのようにして次の作業位置まで移動後、ヘッドマウントディスプレイ装置で、その次の作業位置における作業内容をディスプレイ画面上に表示したり、当該ヘッドマウントディスプレイ装置に組み込まれたスピーカ、イヤホーン等によって音声を出力したりすることで、当該作業者は当該作業位置における作業内容を間違えることなく行うことができるようになる。
【００２０】
なお、作業者に装着されたヘッドマウントディスプレイ装置に作業者の視線方向を検出する視線センサを備えている場合には、作業位置と次の作業位置との間隔と共に作業者の視線方向に応じて移動させる次の位置を指し示す記号データを作成できるので、作業者はより正確な次の作業位置をヘッドマウントディスプレイ装置で把握することができる。
【００２１】
また、ヘッドマウントディスプレイ装置を光学透過型にすると、実像に対して虚像の次の位置を指し示す記号を重畳させることになるので、作業者は違和感の少ない質の高い情報を得ることができる。さらに、ヘッドマウントディスプレイ装置を眼鏡に組み込むことで、実際の生産ラインで使用することができる。
【００２２】
また、位置センサを作業者の手の作業動作を経時的に測定するモーションキャプチャ装置にすると、実際の手の位置と次の作業位置との間隔を正確に把握できるようになるので、次の作業位置が縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等を取る作業位置であっても正確に指し示すことができる。
【発明の効果】
【００２３】
本発明の作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体によれば、工場内の生産ラインで移動しながら複数の組立作業を行う作業者が、次の作業位置を正確に把握することができる。したがって、縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等をミスなく確実に取ることができるようになる。
【図面の簡単な説明】
【００２４】
【図１】本発明の作業アシストシステムにおける好ましい実施の形態例を示す図で、（Ａ）はシステム構成のブロック図、（Ｂ）はデータ処理装置のデータ記憶部の構成図である。
【図２】図１のモーションキャプチャ装置に使用されるセンサのキャリブレーションの例を示す説明図である。
【図３】モーションキャプチャで検出した位置情報の例を示す説明図である。
【図４】工場内における作業の工程順序の例を示す説明図である。
【図５】本発明の作業アシスト方法の好ましい実施の形態例を示すフローチャート図である。
【発明を実施するための形態】
【００２５】
以下、作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体を実施するための最良の形態例について、図面を参照して説明する。
【００２６】
本発明の作業判定システムは図１（Ａ）に示すように、工場内における生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者に装着され当該作業者の作業位置を検出する位置センサ２と、作業者の頭部に装着され架空画像をディスプレイ３１の画面上に表示させるヘッドマウントディスプレイ装置３と、位置センサ２で検出された作業者の作業位置と次の作業位置との間隔を算出し、この間隔に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる作業解析部４１を備えているデータ処理装置４とから構成されている。
【００２７】
ここで、次の作業位置を指し示す記号とは、その作業位置を作業者が容易に把握できるような、人差し指だけを伸ばした状態の手の形状や矢印等が例として挙げることができる。また、作業位置とは、単なる平面上の作業位置だけではなく、実際に、製品を組み立てる部位や、縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等を取る部位も含むものである。
【００２８】
位置センサ２は、組立作業を行っている作業者の手の作業動作を経時的に測定するモーションキャプチャ装置が好適である。このモーションキャプチャ装置２は、汎用のものを用いることができ、動体に装着された光学マーカの位置情報により動体の動きを検出する光学式や、動体に装着された磁気センサの動きを検出する磁気式が一般的である。特に、経時的に測定する対象が、部品を組み付ける作業を行っている作業者の作業動作の場合には、モーションキャプチャ装置２としては、作業者の手指に装着されるデバイスである複数の磁気式３次元位置姿勢センサ２１と、磁気式３次元位置姿勢センサ群２１で検出された作業者の作業動作情報として受信してデータ処理装置４に送信する信号処理部２２とを備えているものが好適である。このモーションキャプチャ装置２の場合、複数の磁気式３次元位置姿勢センサ２１を手指の繊細な動きを検出できるように柔軟性のあるグローブに配置するので、作業者の手の作業動作を精度よく再現することが可能になる。
【００２９】
この磁気式３次元位置姿勢センサ２１とデータ処理装置４とは、有線、無線の何れの接続手段でもよく、設置状況に応じて選択する。このようなモーションキャプチャ装置として、例えば、特開２００７−２３６６０２号公報に開示された磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置が好適である。
【００３０】
この手指用モーションキャプチャ装置は図２、図３に示すように、例えば親指の先端に位置するセンサ２１ａの中心に原点を仮定すると、信号処理部２２の固定基準点から見たそれらの位置座標（Ｘ軸、Ｙ軸、Ｚ軸）及びＸ軸、Ｙ軸、Ｚ軸の周りの回転角から求められる姿勢を示すオイラー角の情報が得られ、データ処理装置４に記録される。この場合におけるセンサ装着時の位置及び角度のズレのキャリブレーションは、特開２００７−２３６６０２号公報に詳述されているので、説明は省略する。
【００３１】
ヘッドマウントディスプレイ装置３は、データ処理装置４の作業解析部４１で作成された架空画像のデータを受信してディスプレイ３１の画面上にその情報を表示させる画像処理部３２を備えている。また、ヘッドマウントディスプレイ装置３は、外界からの像を透過すると共にディスプレイ３１の画面上に表示された架空画像を反射することで、外界からの像に架空画像を投影するハーフミラー（図示せず）を有する光学透過型が好適である。光学透過型のヘッドマウントディスプレイ装置３は、実像に対して虚像の架空画像を重畳させることになるので、作業者は違和感の少ない質の高い情報を得ることができる。このようなヘッドマウントディスプレイ装置３を眼鏡５（図４参照。）に組み込むことで、実際の生産ラインで使用することができる。
【００３２】
また、ヘッドマウントディスプレイ装置３に、架空画像を作業者の視線方向に応じてディスプレイ３１の画面上に移動可能に表示させるために、作業者の視線方向を検出する視線センサ３３を備えるとよい。この視線センサ３３をヘッドマウントディスプレイ装置３に備えた場合には、データ処理装置４の作業解析部４１に、位置センサ２で検出された作業者の作業位置と次の作業位置との間隔と共に視線センサ３３で得られた作業者の視線方向に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる作業解析機能を有することになる。この視線センサ３３は、眼球の回転角を検出して、その検出回転角度を視線データとしてユーザ・インタフェースに用いることが一般的である。
【００３３】
データ処理装置４はコンピュータが好ましく、内部にＣＰＵ等の演算処理装置を備えると共に、ブラウン管モニタや液晶ディスプレイ等の表示画面を有する表示装置や、キーボード、マウス等の入力デバイス、さらに、ハードディスクドライブ等の記憶装置等で構成されている。このようなデータ処理装置４は、位置センサ２から受信する座標データや視線センサ３３から受信する視線方向データをデータ処理装置４の座標データのデータ形式に変換するデータ形式変換部４２を備えている。このデータ形式変換部４２は、位置センサ２から受信する座標データや視線センサ３３から受信する視線方向データが、データ処理装置４の座標データのデータ形式と同じ場合には、データ形式を変換することなく座標データを作業解析部４１に送信する。
【００３４】
また、データ処理装置４は図１（Ａ）、（Ｂ）に示すように、生産企画台数に基づき設定された生産ラインに流す製品種類の順番の生産情報データを保存する生産情報データベース４３１と、生産情報データベース４３１に保存された生産情報データに基づき生産ラインに流す製品種類に対応する作業の順番、内容の工程順序データを保存する工程順序データベース４３２と、工程順序データベース４３２に保存された工程順序データに対応する複数の作業位置データを保存する作業位置データベース４３３とを有するデータ記憶部４３を備えている。そして、作業解析部４１は、データ記憶部４３の生産情報データベース４３１から呼び出された生産情報データ及び工程順序データベース４３２から呼び出された工程順序データに対応する作業位置データを作業位置データベース４３３から選択するデータ選択機能を有している。このように、データ処理装置４のデータ記憶部４３に、生産情報データベース４３１、工程順序データベース４３２及び作業位置データベース４３３を格納することで、１つの生産ラインに複数の製品を流しても対応できるようになる。
【００３５】
なお、上述したモーションキャプチャ装置２、ヘッドマウントディスプレイ装置３及びデータ処理装置４の各構成部はそれぞれ電気的に接続され、モーションキャプチャ装置２は磁気式３次元位置姿勢センサ２１が信号処理部２２に接続され、ヘッドマウントディスプレイ装置３はディスプレイ３１が画像処理部３２に接続され、データ処理装置４はデータ記憶部４３が作業解析部４１に接続されている。また、モーションキャプチャ装置２とデータ処理装置４との間にデータ形式変換部４２を介在させる場合には、データ形式変換部４２はモーションキャプチャ２の信号処理部２２及び作業解析部４１それぞれに接続させる。さらに、ヘッドマウントディスプレイ装置３が視線センサ３３を備えている場合には、データ処理装置４のデータ形式変換部４２に接続されているが、データ形式変換部４２が介在されていない場合には視線センサ３３は作業解析部４１に接続される。
【００３６】
このように構成された作業アシストシステム１におけるデータ処理装置４の各構成は、演算処理装置によって実行されるプログラムによって実現されるものである。このプログラムによるデータ処理手順について図４の動作説明図及び図５のフローチャートに基づき説明する。
【００３７】
なお、図４に示す生産ラインには、循環軌道６上を走行自在なトロリ（図示せず。）に吊り下げられた搬送ハンガー７に車両Ｖが支持されているものとし、また、作業者Ｗが、例えば利き手である右手の手指にモーションキャプチャ装置２の複数の磁気式３次元位置姿勢センサ２１を装着しているものとする。また、眼鏡５に組み込まれたヘッドマウントディスプレイ装置３は視線センサ３３を有するものとする。さらに、データ処理装置４において、データ記憶部４３に格納された生産情報データベース４３１から所定の生産情報データが選択され、その生産情報データに基づく車種に対応する工程順序データが工程順序データベース４３２から選択され、その工程順序データに基づく車種に対応する複数の作業位置データが作業位置データベースから選択されているものとする。
【００３８】
作業アシストシステム１において自動車の組立作業が開始されると（ステップ１０１）、データ処理装置４の作業解析部４１が、データ記憶部４３に格納された生産情報データベース４３１から所定の生産情報データを呼び出し（ステップ１０２）、データ記憶部４３に格納された工程順序データベース４３２から所定の工程順序データを呼び出し（ステップ１０３）、ステップ１０２、ステップ１０３で呼び出された生産情報データ及び工程順序データに対応する所定の工程順序による複数の組立作業の最初の作業位置データをデータ記憶部４３に格納された作業位置データベース４３３から呼び出す（ステップ１０４）。なお、所定の工程順序による複数の組立作業は図４に示すように、例えば、作業範囲Ａで縦横に複数の棚を有する工具ボックスＴＢからねじを取り出す作業と、作業範囲Ｂで車両Ｖのフロント部分における組立作業と、作業範囲Ｃで車両Ｖのリヤドア部分における組立作業の３つの作業とする。
【００３９】
そして、作業解析部４１は作業範囲Ａにおける作業者Ｗの位置情報を得るために、モーションキャプチャ装置２から座標データを取得する（ステップ１０５）。作業解析部４１は、ステップ１０５で取得した座標データから作業者Ｗの作業位置を算出し（ステップ１０６）、次の作業位置となる作業範囲Ａで工具ボックスＴＢからねじを取り出す作業位置との間隔を算出して間隔データを生成する（ステップ１０７）。
【００４０】
さらに、作業解析部４１は、ヘッドマウントディスプレイ装置に備えられた視線センサ３３によって検出した作業者の視線方向データを取得する（ステップ１０８）。作業解析部４１は、ステップ１０５で取得した座標データと共にステップ１０８で取得した視線方向データに応じて移動させる次の作業位置となる作業範囲Ａで工具ボックスＴＢからねじを取り出す作業位置を指し示す矢印ＡＭの記号データを作成する（ステップ１０９）。作業解析部４１は、ステップ１０９で作成された記号データに基づく矢印ＡＭを架空画像として、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる（ステップ１１０）。したがって、作業者Ｗは、縦横に複数の棚を有する工具ボックスの該当部分から必要とされるねじを間違うことなく取ることができる。
【００４１】
以下、作業範囲Ｂで車両Ｖのフロント部分における組立作業と、作業範囲Ｃで車両Ｖのリヤドア部分における組立作業において、ステップ１０５〜ステップ１１０を繰り返して、作業範囲Ｂで車両Ｖのフロント部分における組立作業を行う作業位置を示す矢印ＡＭを、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させ、作業範囲Ｃでリヤドア部分における組立作業を示す矢印ＡＭを、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる（ステップ１１１）。
【００４２】
即ち、作業解析部４１は作業範囲Ｂにおける作業者Ｗの位置情報を得るために、モーションキャプチャ装置２から座標データを取得する（ステップ１０５）。作業解析部４１は、ステップ１０５で取得した座標データから作業者Ｗの作業位置を算出し（ステップ１０６）、次の作業位置となる作業範囲Ｂで車両Ｖのフロント部分における組立作業の作業位置との間隔を算出して間隔データを生成する（ステップ１０７）。
【００４３】
さらに、作業解析部４１は、ヘッドマウントディスプレイ装置に備えられた視線センサ３３によって検出した作業者の視線方向データを取得する（ステップ１０８）。作業解析部４１は、ステップ１０５で取得した座標データと共にステップ１０８で取得した視線方向データに応じて移動させる次の作業位置となる作業範囲Ｂで車両Ｖのフロント部分における組立作業の作業位置を指し示す矢印ＡＭの記号データを作成する（ステップ１０９）。作業解析部４１は、ステップ１０９で作成された記号データに基づく矢印ＡＭを架空画像として、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる（ステップ１１０）。
【００４４】
最後に、作業解析部４１は作業範囲Ｃにおける作業者Ｗの位置情報を得るために、モーションキャプチャ装置２から座標データを取得する（ステップ１０５）。作業解析部４１は、ステップ１０５で取得した座標データから作業者Ｗの作業位置を算出し（ステップ１０６）、次の作業位置となる作業範囲Ｃで車両Ｖのリヤドア部分における組立作業の作業位置との間隔を算出して間隔データを生成する（ステップ１０７）。
【００４５】
さらに、作業解析部４１は、ヘッドマウントディスプレイ装置に備えられた視線センサ３３によって検出した作業者の視線方向データを取得する（ステップ１０８）。作業解析部４１は、ステップ１０５で取得した座標データと共にステップ１０８で取得した視線方向データに応じて移動させる次の作業位置となる作業範囲Ｃで車両Ｖのリヤドア部分における組立作業の作業位置を指し示す矢印ＡＭの記号データを作成する（ステップ１０９）。作業解析部４１は、ステップ１０９で作成された記号データに基づく矢印ＡＭを架空画像として、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる（ステップ１１０）。
【００４６】
作業解析部４１は、この時点で次の生産情報データが選択されていなければ、作業を終了し（ステップ１１２、ステップ１１３）、次の生産情報データが選択されていれば、次の作業へと移行するためにステップ１０２へ戻る（ステップ１１４）。
【００４７】
なお、矢印ＡＭの記号データは基準となる作業位置と次の作業位置との間隔が変わるとそれに伴って移動させることができるので、作業者Ｗが生産ライン上を移動していても次の作業位置をヘッドマウントディスプレイ装置３で把握することができる。また、モーションキャプチャ装置２からの座標データは、複数の磁気式３次元位置姿勢センサ２１による３次元座標データなことから、実際の手の位置と次の作業位置との間隔を正確に把握できるようになるので、次の作業位置が縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等を取る作業位置であっても正確に指し示すことができる。
【００４８】
また、作業者がこのようにして次の作業位置まで移動後、ヘッドマウントディスプレイ装置３で、その次の作業位置における作業内容をディスプレイ３１の画面上に表示したり、当該ヘッドマウントディスプレイ装置３に組み込まれたスピーカ、イヤホーン等（図示せず。）によって音声を出力したりすることで、当該作業者は当該作業位置における作業内容を間違えることなく行うことができるようになる。
【００４９】
このように、作業者が生産ライン上を移動していても次の作業位置をヘッドマウントディスプレイ装置３で把握することができるので、作業訓練だけではなく量産段階においても利用することができる。
【００５０】
このようなデータ処理手順がデータ処理装置４の演算処理装置によって実行されるプログラムは、コンピュータ読み取り可能なＣＤ、ＤＶＤ等の記録媒体に記録させておくことで、複数のデータ処理装置４で利用可能になる。
【００５１】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【００５２】
１……作業アシストシステム
２……モーションキャプチャ装置（位置センサ）
３……ヘッドマウントディスプレイ装置
３１……ディスプレイ
３３……視線センサ
４……データ処理装置
４１……作業解析部
４３……データ記憶部
４３１……生産情報データベース
４３２……工程順序データベース
４３３……作業位置データベース
５……眼鏡
【技術分野】
【０００１】
本発明は、工場内の生産ラインにおいて、作業者に対して作業指示情報を提示する作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体に関する。
【背景技術】
【０００２】
近年、電気製品や自動車の製造メーカーの生産技術部門においては、生産性を向上させる目的のために、大型スクリーンに仮想の作業領域を表示して作業者に作業内容を指導した後に、作業者に対して仮想の作業領域で作業を擬似的に体験させて仮想の作業訓練を施すことができる作業訓練支援システムが開示されている（例えば、特許文献１参照。）。また、作業訓練支援システムは、モーションキャプチャからの３次元の空間座標位置と、標準作業時間、手の動きのぶれ（蛇行）あるいは手の動きの基準値とを比較して、その基準値から外れる場合には習熟総合判定をＮＧにするものである。モーションキャプチャは、作業者の動作状態をリアルに反映させることができるので、作業者の作業判定の精度を高めることが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３４５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景技術に記載した作業訓練支援システムでは、大型スクリーンに仮想の作業領域を表示すると共にスピーカから音声を出力して作業者に作業内容を指導した後に、作業者に対して仮想の作業領域で作業を擬似的に体験させているので、この大型スクリーンを工場内の生産ラインに設置すると、画面表示や音声で作業内容を指導してはいるが、作業者は所定の工程順序による複数の組立作業を生産ライン上で所定の作業位置まで順々に移動しているので、いつの時点での作業案内か分からなくなる虞があった。
【０００５】
さらに、工場内の生産ラインにおける作業者は、所定の工程順序による複数の組立作業を、生産ライン上で所定の作業位置まで順々に移動しながら行っているので、熟練作業者でも、縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等を確実に取るという保証はなく、また、未熟な作業者ではタクトタイム内で作業することで精一杯になり作業ミスが発生し易くなる。
【０００６】
本発明は、このような従来の難点を解消するためになされたもので、工場内の生産ラインで移動しながら複数の組立作業を行う作業者が、次の作業位置を正確に把握することができる作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的を達成する本発明の第１の態様である作業アシストシステムは、工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者に装着され当該作業者の作業位置を検出する位置センサと、作業者の頭部に装着され、架空画像をディスプレイ画面上に表示させるヘッドマウントディスプレイ装置と、位置センサで検出された作業者の作業位置と次の作業位置との間隔を算出し、この間隔に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる作業解析部を備えているデータ処理装置とから構成されているものである。
【０００８】
本発明の第２の態様は第１の態様である作業アシストシステムにおいて、ヘッドマウントディスプレイ装置は、架空画像を作業者の視線方向に応じてディスプレイ画面上に移動可能に表示させるために、作業者の視線方向を検出する視線センサを備え、作業解析部は、位置センサで検出された作業者の作業位置と次の作業位置との間隔と共に視線センサで得られた作業者の視線方向に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる作業解析機能を有するものである。
【０００９】
本発明の第３の態様は第１の態様又は第２の態様である作業アシストシステムにおいて、データ処理装置は、生産企画台数に基づき設定された生産ラインに流す製品種類の順番の生産情報データを保存する生産情報データベースと、生産情報データベースに保存された生産情報データに基づき生産ラインに流す製品種類に対応する作業の順番、内容の工程順序データを保存する工程順序データベースと、工程順序データベースに保存された工程順序データに対応する複数の作業位置データを保存する作業位置データベースとを有するデータ記憶部を備え、作業解析部は、生産情報データベースから呼び出された生産情報データ及び工程順序データベースから呼び出された工程順序データに対応する作業位置データを作業位置データベースから選択するデータ選択機能を有するものである。
【００１０】
本発明の第４の態様は第１の態様乃至第３の態様のうち何れか１つの態様である作業アシストシステムにおいて、ヘッドマウントディスプレイ装置は、外界からの像を透過すると共にディスプレイ画面上に表示された架空画像を反射することで、外界からの像に架空画像を投影するハーフミラーを有する光学透過型である。
【００１１】
本発明の第５の態様は第４の態様である作業アシストシステムにおいて、ヘッドマウントディスプレイ装置は眼鏡に組み込まれているものである。
【００１２】
本発明の第６の態様は第１の態様乃至第５の態様のうち何れか１つの態様である作業アシストシステムにおいて、位置センサは、組立作業を行っている作業者の手の作業動作を経時的に測定するモーションキャプチャ装置である。
【００１３】
また、本発明の第７の態様である作業アシスト方法は、工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者の作業位置を、当該作業者に装着された位置センサによって測定し、位置センサで検出された作業位置の座標データをデータ処理装置の作業解析部に送信して、作業者の頭部に装着されたヘッドマウント装置のディスプレイ画面上に組立作業のアシスト情報を表示する作業アシスト方法であって、作業解析部は、位置センサから座標データを取得する第１のステップと、第１のステップで取得した座標データから作業者の作業位置を算出する第２のステップと、第２のステップで算出した作業位置と次の作業位置との間隔を算出して間隔データを生成する第３のステップと、第３のステップで算出した間隔に応じて移動する次の作業位置を指し示す記号データを作成する第４のステップと、第４のステップで作成された記号データに基づく記号をヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる第５のステップとを有するものである。
【００１４】
本発明の第８の態様は第７の態様である作業アシスト方法において、第２のステップと第３のステップとの間に、ヘッドマウントディスプレイ装置に備えられた視線センサによって検出した作業者の視線方向の視線方向データを取得するステップを有し、第４のステップは、第３のステップで算出した間隔と共にステップで取得した視線方向データに応じて移動させる次の作業位置を指し示す記号データを作成するものである。
【００１５】
本発明の第９の態様は第７の態様又は第８の態様である作業アシスト方法において、第１のステップの前に、データ処理装置が備えるデータ記憶部に格納された生産情報データベースから所定の生産情報データを呼び出す第１の呼出ステップと、データ記憶部に格納された工程順序データベースから所定の工程順序データを呼び出す第２の呼出ステップと、各呼出ステップで呼び出された生産情報データ及び工程順序データに対応する所定の工程順序による複数の組立作業の最初の作業位置データをデータ記憶部に格納された作業位置データベースから呼び出す第３の呼出ステップとを有するものである。
【００１６】
本発明の第１０の態様は第７の態様乃至第９の態様のうち何れか１つである作業アシスト方法において、第５のステップの後に、所定の工程順序による複数の組立作業のうち最初の組立作業以降の残りの組立作業において、第１のステップから第５のステップまでを繰り返す第６のステップを有するものである。
【００１７】
さらに、本発明の第１１の態様である記録媒体は、第７の態様乃至第１０の態様うち何れか１つである作業アシスト方法によって実現するためのプログラムを記憶したコンピュータ読み取り可能なものである。
【００１８】
このような作業アシストシステム及び作業アシスト方法は、所定の工程順序による複数の組立作業の最初の組立作業の作業位置に位置する作業者の当該作業位置を、当該作業者に装着された位置センサによって測定し、その測定結果である座標データを当該位置センサからデータ処理装置に送信すると、データ処理装置の作業解析部は位置センサからの座標データを取得し、その座標データから作業位置を算出し、その算出された作業位置と次の作業位置との間隔を算出して間隔データを生成する。作業解析部は、この間隔データに応じて移動する次の作業位置を指し示す記号データを作成し、この記号データに基づく記号を架空画像として、作業者に装着されたヘッドマウントディスプレイ装置のディスプレイ画面上に表示することができる。記号データは基準となる作業位置と次の作業位置との間隔が変わるとそれに伴って移動するので、作業者は移動していても次の作業位置をヘッドマウントディスプレイ装置で把握することができる。
【００１９】
また、作業者がこのようにして次の作業位置まで移動後、ヘッドマウントディスプレイ装置で、その次の作業位置における作業内容をディスプレイ画面上に表示したり、当該ヘッドマウントディスプレイ装置に組み込まれたスピーカ、イヤホーン等によって音声を出力したりすることで、当該作業者は当該作業位置における作業内容を間違えることなく行うことができるようになる。
【００２０】
なお、作業者に装着されたヘッドマウントディスプレイ装置に作業者の視線方向を検出する視線センサを備えている場合には、作業位置と次の作業位置との間隔と共に作業者の視線方向に応じて移動させる次の位置を指し示す記号データを作成できるので、作業者はより正確な次の作業位置をヘッドマウントディスプレイ装置で把握することができる。
【００２１】
また、ヘッドマウントディスプレイ装置を光学透過型にすると、実像に対して虚像の次の位置を指し示す記号を重畳させることになるので、作業者は違和感の少ない質の高い情報を得ることができる。さらに、ヘッドマウントディスプレイ装置を眼鏡に組み込むことで、実際の生産ラインで使用することができる。
【００２２】
また、位置センサを作業者の手の作業動作を経時的に測定するモーションキャプチャ装置にすると、実際の手の位置と次の作業位置との間隔を正確に把握できるようになるので、次の作業位置が縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等を取る作業位置であっても正確に指し示すことができる。
【発明の効果】
【００２３】
本発明の作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体によれば、工場内の生産ラインで移動しながら複数の組立作業を行う作業者が、次の作業位置を正確に把握することができる。したがって、縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等をミスなく確実に取ることができるようになる。
【図面の簡単な説明】
【００２４】
【図１】本発明の作業アシストシステムにおける好ましい実施の形態例を示す図で、（Ａ）はシステム構成のブロック図、（Ｂ）はデータ処理装置のデータ記憶部の構成図である。
【図２】図１のモーションキャプチャ装置に使用されるセンサのキャリブレーションの例を示す説明図である。
【図３】モーションキャプチャで検出した位置情報の例を示す説明図である。
【図４】工場内における作業の工程順序の例を示す説明図である。
【図５】本発明の作業アシスト方法の好ましい実施の形態例を示すフローチャート図である。
【発明を実施するための形態】
【００２５】
以下、作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体を実施するための最良の形態例について、図面を参照して説明する。
【００２６】
本発明の作業判定システムは図１（Ａ）に示すように、工場内における生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者に装着され当該作業者の作業位置を検出する位置センサ２と、作業者の頭部に装着され架空画像をディスプレイ３１の画面上に表示させるヘッドマウントディスプレイ装置３と、位置センサ２で検出された作業者の作業位置と次の作業位置との間隔を算出し、この間隔に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる作業解析部４１を備えているデータ処理装置４とから構成されている。
【００２７】
ここで、次の作業位置を指し示す記号とは、その作業位置を作業者が容易に把握できるような、人差し指だけを伸ばした状態の手の形状や矢印等が例として挙げることができる。また、作業位置とは、単なる平面上の作業位置だけではなく、実際に、製品を組み立てる部位や、縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等を取る部位も含むものである。
【００２８】
位置センサ２は、組立作業を行っている作業者の手の作業動作を経時的に測定するモーションキャプチャ装置が好適である。このモーションキャプチャ装置２は、汎用のものを用いることができ、動体に装着された光学マーカの位置情報により動体の動きを検出する光学式や、動体に装着された磁気センサの動きを検出する磁気式が一般的である。特に、経時的に測定する対象が、部品を組み付ける作業を行っている作業者の作業動作の場合には、モーションキャプチャ装置２としては、作業者の手指に装着されるデバイスである複数の磁気式３次元位置姿勢センサ２１と、磁気式３次元位置姿勢センサ群２１で検出された作業者の作業動作情報として受信してデータ処理装置４に送信する信号処理部２２とを備えているものが好適である。このモーションキャプチャ装置２の場合、複数の磁気式３次元位置姿勢センサ２１を手指の繊細な動きを検出できるように柔軟性のあるグローブに配置するので、作業者の手の作業動作を精度よく再現することが可能になる。
【００２９】
この磁気式３次元位置姿勢センサ２１とデータ処理装置４とは、有線、無線の何れの接続手段でもよく、設置状況に応じて選択する。このようなモーションキャプチャ装置として、例えば、特開２００７−２３６６０２号公報に開示された磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置が好適である。
【００３０】
この手指用モーションキャプチャ装置は図２、図３に示すように、例えば親指の先端に位置するセンサ２１ａの中心に原点を仮定すると、信号処理部２２の固定基準点から見たそれらの位置座標（Ｘ軸、Ｙ軸、Ｚ軸）及びＸ軸、Ｙ軸、Ｚ軸の周りの回転角から求められる姿勢を示すオイラー角の情報が得られ、データ処理装置４に記録される。この場合におけるセンサ装着時の位置及び角度のズレのキャリブレーションは、特開２００７−２３６６０２号公報に詳述されているので、説明は省略する。
【００３１】
ヘッドマウントディスプレイ装置３は、データ処理装置４の作業解析部４１で作成された架空画像のデータを受信してディスプレイ３１の画面上にその情報を表示させる画像処理部３２を備えている。また、ヘッドマウントディスプレイ装置３は、外界からの像を透過すると共にディスプレイ３１の画面上に表示された架空画像を反射することで、外界からの像に架空画像を投影するハーフミラー（図示せず）を有する光学透過型が好適である。光学透過型のヘッドマウントディスプレイ装置３は、実像に対して虚像の架空画像を重畳させることになるので、作業者は違和感の少ない質の高い情報を得ることができる。このようなヘッドマウントディスプレイ装置３を眼鏡５（図４参照。）に組み込むことで、実際の生産ラインで使用することができる。
【００３２】
また、ヘッドマウントディスプレイ装置３に、架空画像を作業者の視線方向に応じてディスプレイ３１の画面上に移動可能に表示させるために、作業者の視線方向を検出する視線センサ３３を備えるとよい。この視線センサ３３をヘッドマウントディスプレイ装置３に備えた場合には、データ処理装置４の作業解析部４１に、位置センサ２で検出された作業者の作業位置と次の作業位置との間隔と共に視線センサ３３で得られた作業者の視線方向に応じて移動させる次の作業位置を指し示す記号を、架空画像としてヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる作業解析機能を有することになる。この視線センサ３３は、眼球の回転角を検出して、その検出回転角度を視線データとしてユーザ・インタフェースに用いることが一般的である。
【００３３】
データ処理装置４はコンピュータが好ましく、内部にＣＰＵ等の演算処理装置を備えると共に、ブラウン管モニタや液晶ディスプレイ等の表示画面を有する表示装置や、キーボード、マウス等の入力デバイス、さらに、ハードディスクドライブ等の記憶装置等で構成されている。このようなデータ処理装置４は、位置センサ２から受信する座標データや視線センサ３３から受信する視線方向データをデータ処理装置４の座標データのデータ形式に変換するデータ形式変換部４２を備えている。このデータ形式変換部４２は、位置センサ２から受信する座標データや視線センサ３３から受信する視線方向データが、データ処理装置４の座標データのデータ形式と同じ場合には、データ形式を変換することなく座標データを作業解析部４１に送信する。
【００３４】
また、データ処理装置４は図１（Ａ）、（Ｂ）に示すように、生産企画台数に基づき設定された生産ラインに流す製品種類の順番の生産情報データを保存する生産情報データベース４３１と、生産情報データベース４３１に保存された生産情報データに基づき生産ラインに流す製品種類に対応する作業の順番、内容の工程順序データを保存する工程順序データベース４３２と、工程順序データベース４３２に保存された工程順序データに対応する複数の作業位置データを保存する作業位置データベース４３３とを有するデータ記憶部４３を備えている。そして、作業解析部４１は、データ記憶部４３の生産情報データベース４３１から呼び出された生産情報データ及び工程順序データベース４３２から呼び出された工程順序データに対応する作業位置データを作業位置データベース４３３から選択するデータ選択機能を有している。このように、データ処理装置４のデータ記憶部４３に、生産情報データベース４３１、工程順序データベース４３２及び作業位置データベース４３３を格納することで、１つの生産ラインに複数の製品を流しても対応できるようになる。
【００３５】
なお、上述したモーションキャプチャ装置２、ヘッドマウントディスプレイ装置３及びデータ処理装置４の各構成部はそれぞれ電気的に接続され、モーションキャプチャ装置２は磁気式３次元位置姿勢センサ２１が信号処理部２２に接続され、ヘッドマウントディスプレイ装置３はディスプレイ３１が画像処理部３２に接続され、データ処理装置４はデータ記憶部４３が作業解析部４１に接続されている。また、モーションキャプチャ装置２とデータ処理装置４との間にデータ形式変換部４２を介在させる場合には、データ形式変換部４２はモーションキャプチャ２の信号処理部２２及び作業解析部４１それぞれに接続させる。さらに、ヘッドマウントディスプレイ装置３が視線センサ３３を備えている場合には、データ処理装置４のデータ形式変換部４２に接続されているが、データ形式変換部４２が介在されていない場合には視線センサ３３は作業解析部４１に接続される。
【００３６】
このように構成された作業アシストシステム１におけるデータ処理装置４の各構成は、演算処理装置によって実行されるプログラムによって実現されるものである。このプログラムによるデータ処理手順について図４の動作説明図及び図５のフローチャートに基づき説明する。
【００３７】
なお、図４に示す生産ラインには、循環軌道６上を走行自在なトロリ（図示せず。）に吊り下げられた搬送ハンガー７に車両Ｖが支持されているものとし、また、作業者Ｗが、例えば利き手である右手の手指にモーションキャプチャ装置２の複数の磁気式３次元位置姿勢センサ２１を装着しているものとする。また、眼鏡５に組み込まれたヘッドマウントディスプレイ装置３は視線センサ３３を有するものとする。さらに、データ処理装置４において、データ記憶部４３に格納された生産情報データベース４３１から所定の生産情報データが選択され、その生産情報データに基づく車種に対応する工程順序データが工程順序データベース４３２から選択され、その工程順序データに基づく車種に対応する複数の作業位置データが作業位置データベースから選択されているものとする。
【００３８】
作業アシストシステム１において自動車の組立作業が開始されると（ステップ１０１）、データ処理装置４の作業解析部４１が、データ記憶部４３に格納された生産情報データベース４３１から所定の生産情報データを呼び出し（ステップ１０２）、データ記憶部４３に格納された工程順序データベース４３２から所定の工程順序データを呼び出し（ステップ１０３）、ステップ１０２、ステップ１０３で呼び出された生産情報データ及び工程順序データに対応する所定の工程順序による複数の組立作業の最初の作業位置データをデータ記憶部４３に格納された作業位置データベース４３３から呼び出す（ステップ１０４）。なお、所定の工程順序による複数の組立作業は図４に示すように、例えば、作業範囲Ａで縦横に複数の棚を有する工具ボックスＴＢからねじを取り出す作業と、作業範囲Ｂで車両Ｖのフロント部分における組立作業と、作業範囲Ｃで車両Ｖのリヤドア部分における組立作業の３つの作業とする。
【００３９】
そして、作業解析部４１は作業範囲Ａにおける作業者Ｗの位置情報を得るために、モーションキャプチャ装置２から座標データを取得する（ステップ１０５）。作業解析部４１は、ステップ１０５で取得した座標データから作業者Ｗの作業位置を算出し（ステップ１０６）、次の作業位置となる作業範囲Ａで工具ボックスＴＢからねじを取り出す作業位置との間隔を算出して間隔データを生成する（ステップ１０７）。
【００４０】
さらに、作業解析部４１は、ヘッドマウントディスプレイ装置に備えられた視線センサ３３によって検出した作業者の視線方向データを取得する（ステップ１０８）。作業解析部４１は、ステップ１０５で取得した座標データと共にステップ１０８で取得した視線方向データに応じて移動させる次の作業位置となる作業範囲Ａで工具ボックスＴＢからねじを取り出す作業位置を指し示す矢印ＡＭの記号データを作成する（ステップ１０９）。作業解析部４１は、ステップ１０９で作成された記号データに基づく矢印ＡＭを架空画像として、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる（ステップ１１０）。したがって、作業者Ｗは、縦横に複数の棚を有する工具ボックスの該当部分から必要とされるねじを間違うことなく取ることができる。
【００４１】
以下、作業範囲Ｂで車両Ｖのフロント部分における組立作業と、作業範囲Ｃで車両Ｖのリヤドア部分における組立作業において、ステップ１０５〜ステップ１１０を繰り返して、作業範囲Ｂで車両Ｖのフロント部分における組立作業を行う作業位置を示す矢印ＡＭを、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させ、作業範囲Ｃでリヤドア部分における組立作業を示す矢印ＡＭを、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる（ステップ１１１）。
【００４２】
即ち、作業解析部４１は作業範囲Ｂにおける作業者Ｗの位置情報を得るために、モーションキャプチャ装置２から座標データを取得する（ステップ１０５）。作業解析部４１は、ステップ１０５で取得した座標データから作業者Ｗの作業位置を算出し（ステップ１０６）、次の作業位置となる作業範囲Ｂで車両Ｖのフロント部分における組立作業の作業位置との間隔を算出して間隔データを生成する（ステップ１０７）。
【００４３】
さらに、作業解析部４１は、ヘッドマウントディスプレイ装置に備えられた視線センサ３３によって検出した作業者の視線方向データを取得する（ステップ１０８）。作業解析部４１は、ステップ１０５で取得した座標データと共にステップ１０８で取得した視線方向データに応じて移動させる次の作業位置となる作業範囲Ｂで車両Ｖのフロント部分における組立作業の作業位置を指し示す矢印ＡＭの記号データを作成する（ステップ１０９）。作業解析部４１は、ステップ１０９で作成された記号データに基づく矢印ＡＭを架空画像として、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる（ステップ１１０）。
【００４４】
最後に、作業解析部４１は作業範囲Ｃにおける作業者Ｗの位置情報を得るために、モーションキャプチャ装置２から座標データを取得する（ステップ１０５）。作業解析部４１は、ステップ１０５で取得した座標データから作業者Ｗの作業位置を算出し（ステップ１０６）、次の作業位置となる作業範囲Ｃで車両Ｖのリヤドア部分における組立作業の作業位置との間隔を算出して間隔データを生成する（ステップ１０７）。
【００４５】
さらに、作業解析部４１は、ヘッドマウントディスプレイ装置に備えられた視線センサ３３によって検出した作業者の視線方向データを取得する（ステップ１０８）。作業解析部４１は、ステップ１０５で取得した座標データと共にステップ１０８で取得した視線方向データに応じて移動させる次の作業位置となる作業範囲Ｃで車両Ｖのリヤドア部分における組立作業の作業位置を指し示す矢印ＡＭの記号データを作成する（ステップ１０９）。作業解析部４１は、ステップ１０９で作成された記号データに基づく矢印ＡＭを架空画像として、ヘッドマウントディスプレイ装置３のディスプレイ３１の画面上に表示させる（ステップ１１０）。
【００４６】
作業解析部４１は、この時点で次の生産情報データが選択されていなければ、作業を終了し（ステップ１１２、ステップ１１３）、次の生産情報データが選択されていれば、次の作業へと移行するためにステップ１０２へ戻る（ステップ１１４）。
【００４７】
なお、矢印ＡＭの記号データは基準となる作業位置と次の作業位置との間隔が変わるとそれに伴って移動させることができるので、作業者Ｗが生産ライン上を移動していても次の作業位置をヘッドマウントディスプレイ装置３で把握することができる。また、モーションキャプチャ装置２からの座標データは、複数の磁気式３次元位置姿勢センサ２１による３次元座標データなことから、実際の手の位置と次の作業位置との間隔を正確に把握できるようになるので、次の作業位置が縦横に複数の棚を有する工具ボックスから必要とされるねじや工具等を取る作業位置であっても正確に指し示すことができる。
【００４８】
また、作業者がこのようにして次の作業位置まで移動後、ヘッドマウントディスプレイ装置３で、その次の作業位置における作業内容をディスプレイ３１の画面上に表示したり、当該ヘッドマウントディスプレイ装置３に組み込まれたスピーカ、イヤホーン等（図示せず。）によって音声を出力したりすることで、当該作業者は当該作業位置における作業内容を間違えることなく行うことができるようになる。
【００４９】
このように、作業者が生産ライン上を移動していても次の作業位置をヘッドマウントディスプレイ装置３で把握することができるので、作業訓練だけではなく量産段階においても利用することができる。
【００５０】
このようなデータ処理手順がデータ処理装置４の演算処理装置によって実行されるプログラムは、コンピュータ読み取り可能なＣＤ、ＤＶＤ等の記録媒体に記録させておくことで、複数のデータ処理装置４で利用可能になる。
【００５１】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【００５２】
１……作業アシストシステム
２……モーションキャプチャ装置（位置センサ）
３……ヘッドマウントディスプレイ装置
３１……ディスプレイ
３３……視線センサ
４……データ処理装置
４１……作業解析部
４３……データ記憶部
４３１……生産情報データベース
４３２……工程順序データベース
４３３……作業位置データベース
５……眼鏡
【特許請求の範囲】
【請求項１】
工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者に装着され当該作業者の前記作業位置を検出する位置センサと、
前記作業者の頭部に装着され、架空画像をディスプレイ画面上に表示させるヘッドマウントディスプレイ装置と、
前記位置センサで検出された前記作業者の前記作業位置と次の前記作業位置との間隔を算出し、前記間隔に応じて移動させる前記次の作業位置を指し示す記号を、前記架空画像として前記ヘッドマウントディスプレイ装置の前記ディスプレイ画面上に表示させる作業解析部を備えているデータ処理装置とから構成されていることを特徴とする作業アシストシステム。
【請求項２】
前記ヘッドマウントディスプレイ装置は、前記架空画像を前記作業者の視線方向に応じて前記ディスプレイ画面上に移動可能に表示させるために、前記作業者の前記視線方向を検出する視線センサを備え、
前記作業解析部は、前記間隔と共に前記視線センサで得られた前記作業者の前記視線方向に応じて移動させる前記次の作業位置を指し示す記号を、前記架空画像として前記ヘッドマウントディスプレイ装置の前記ディスプレイ画面上に表示させる作業解析機能を有することを特徴とする請求項１記載の作業アシストシステム。
【請求項３】
前記データ処理装置は、生産企画台数に基づき設定された前記生産ラインに流す製品種類の順番の生産情報データを保存する生産情報データベースと、
前記生産情報データベースに保存された前記生産情報データに基づき前記生産ラインに流す前記製品種類に対応する作業の順番、内容の工程順序データを保存する工程順序データベースと、
前記工程順序データベースに保存された前記工程順序データに対応する複数の作業位置データを保存する作業位置データベースとを有するデータ記憶部を備え、
前記作業解析部は、前記生産情報データベースから呼び出された前記生産情報データ及び前記工程順序データベースから呼び出された前記工程順序データに対応する前記作業位置データを前記作業位置データベースから選択するデータ選択機能を有することを特徴とする請求項１又は請求項２記載の作業アシストシステム。
【請求項４】
前記ヘッドマウントディスプレイ装置は、外界からの像を透過すると共に前記ディスプレイ画面上に表示された前記架空画像を反射することで、前記外界からの像に前記架空画像を投影するハーフミラーを有する光学透過型であることを特徴とする請求項１乃至請求項３のうち何れか１項に記載の作業アシストシステム。
【請求項５】
前記ヘッドマウントディスプレイ装置は眼鏡に組み込まれていることを特徴とする請求項４記載の作業アシストシステム。
【請求項６】
前記位置センサは、前記組立作業を行っている前記作業者の手の作業動作を経時的に測定するモーションキャプチャ装置であることを特徴とする請求項１乃至請求項５のうち何れか１項に記載の作業アシストシステム。
【請求項７】
工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者の前記作業位置を、当該作業者に装着された位置センサによって測定し、前記位置センサで検出された前記作業位置の座標データをデータ処理装置の作業解析部に送信して、前記作業者の頭部に装着されたヘッドマウント装置のディスプレイ画面上に前記組立作業のアシスト情報を表示する作業アシスト方法であって、
前記作業解析部は、
前記位置センサから前記座標データを取得する第１のステップと、
前記第１のステップで取得した前記座標データから前記作業者の前記作業位置を算出する第２のステップと、
前記第２のステップで算出した前記作業位置と次の前記作業位置との間隔を算出して間隔データを生成する第３のステップと、
前記第３のステップで算出した前記間隔に応じて移動する前記次の作業位置を指し示す記号データを作成する第４のステップと、
前記第４のステップで作成された前記記号データに基づく記号を前記ヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる第５のステップとを有することを特徴とする作業アシスト方法。
【請求項８】
前記第２のステップと前記第３のステップとの間に、前記ヘッドマウントディスプレイ装置に備えられた視線センサによって検出した前記作業者の視線方向の視線方向データを取得するステップを有し、
前記第４のステップは、前記第３のステップで算出した前記間隔と共に前記ステップで取得した前記視線方向データに応じて移動させる前記次の作業位置を指し示す記号データを作成することを特徴とする請求項７記載の作業アシスト方法。
【請求項９】
前記第１のステップの前に、
前記データ処理装置が備えるデータ記憶部に格納された生産情報データベースから所定の生産情報データを呼び出す第１の呼出ステップと、
前記データ記憶部に格納された工程順序データベースから所定の工程順序データを呼び出す第２の呼出ステップと、
前記各呼出ステップで呼び出された前記生産情報データ及び前記工程順序データに対応する前記所定の工程順序による前記複数の組立作業の最初の前記作業位置データを前記データ記憶部に格納された作業位置データベースから呼び出す第３の呼出ステップとを有することを特徴とする請求項７又は請求項８記載の作業アシスト方法。
【請求項１０】
前記第５のステップの後に、
前記所定の工程順序による前記複数の組立作業のうち最初の前記組立作業以降の残りの前記組立作業において、前記第１のステップから前記第５のステップまでを繰り返す第６のステップを有することを特徴とする請求項７乃至請求項９のうち何れか１項に記載の作業アシスト方法。
【請求項１１】
請求項７乃至請求項１０のうち何れか１項に記載の作業アシスト方法によって実現するためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【請求項１】
工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者に装着され当該作業者の前記作業位置を検出する位置センサと、
前記作業者の頭部に装着され、架空画像をディスプレイ画面上に表示させるヘッドマウントディスプレイ装置と、
前記位置センサで検出された前記作業者の前記作業位置と次の前記作業位置との間隔を算出し、前記間隔に応じて移動させる前記次の作業位置を指し示す記号を、前記架空画像として前記ヘッドマウントディスプレイ装置の前記ディスプレイ画面上に表示させる作業解析部を備えているデータ処理装置とから構成されていることを特徴とする作業アシストシステム。
【請求項２】
前記ヘッドマウントディスプレイ装置は、前記架空画像を前記作業者の視線方向に応じて前記ディスプレイ画面上に移動可能に表示させるために、前記作業者の前記視線方向を検出する視線センサを備え、
前記作業解析部は、前記間隔と共に前記視線センサで得られた前記作業者の前記視線方向に応じて移動させる前記次の作業位置を指し示す記号を、前記架空画像として前記ヘッドマウントディスプレイ装置の前記ディスプレイ画面上に表示させる作業解析機能を有することを特徴とする請求項１記載の作業アシストシステム。
【請求項３】
前記データ処理装置は、生産企画台数に基づき設定された前記生産ラインに流す製品種類の順番の生産情報データを保存する生産情報データベースと、
前記生産情報データベースに保存された前記生産情報データに基づき前記生産ラインに流す前記製品種類に対応する作業の順番、内容の工程順序データを保存する工程順序データベースと、
前記工程順序データベースに保存された前記工程順序データに対応する複数の作業位置データを保存する作業位置データベースとを有するデータ記憶部を備え、
前記作業解析部は、前記生産情報データベースから呼び出された前記生産情報データ及び前記工程順序データベースから呼び出された前記工程順序データに対応する前記作業位置データを前記作業位置データベースから選択するデータ選択機能を有することを特徴とする請求項１又は請求項２記載の作業アシストシステム。
【請求項４】
前記ヘッドマウントディスプレイ装置は、外界からの像を透過すると共に前記ディスプレイ画面上に表示された前記架空画像を反射することで、前記外界からの像に前記架空画像を投影するハーフミラーを有する光学透過型であることを特徴とする請求項１乃至請求項３のうち何れか１項に記載の作業アシストシステム。
【請求項５】
前記ヘッドマウントディスプレイ装置は眼鏡に組み込まれていることを特徴とする請求項４記載の作業アシストシステム。
【請求項６】
前記位置センサは、前記組立作業を行っている前記作業者の手の作業動作を経時的に測定するモーションキャプチャ装置であることを特徴とする請求項１乃至請求項５のうち何れか１項に記載の作業アシストシステム。
【請求項７】
工場内の生産ラインにおいて、当該生産ライン上を移動しながら所定の工程順序による複数の組立作業をそれぞれの作業位置で行っている作業者の前記作業位置を、当該作業者に装着された位置センサによって測定し、前記位置センサで検出された前記作業位置の座標データをデータ処理装置の作業解析部に送信して、前記作業者の頭部に装着されたヘッドマウント装置のディスプレイ画面上に前記組立作業のアシスト情報を表示する作業アシスト方法であって、
前記作業解析部は、
前記位置センサから前記座標データを取得する第１のステップと、
前記第１のステップで取得した前記座標データから前記作業者の前記作業位置を算出する第２のステップと、
前記第２のステップで算出した前記作業位置と次の前記作業位置との間隔を算出して間隔データを生成する第３のステップと、
前記第３のステップで算出した前記間隔に応じて移動する前記次の作業位置を指し示す記号データを作成する第４のステップと、
前記第４のステップで作成された前記記号データに基づく記号を前記ヘッドマウントディスプレイ装置のディスプレイ画面上に表示させる第５のステップとを有することを特徴とする作業アシスト方法。
【請求項８】
前記第２のステップと前記第３のステップとの間に、前記ヘッドマウントディスプレイ装置に備えられた視線センサによって検出した前記作業者の視線方向の視線方向データを取得するステップを有し、
前記第４のステップは、前記第３のステップで算出した前記間隔と共に前記ステップで取得した前記視線方向データに応じて移動させる前記次の作業位置を指し示す記号データを作成することを特徴とする請求項７記載の作業アシスト方法。
【請求項９】
前記第１のステップの前に、
前記データ処理装置が備えるデータ記憶部に格納された生産情報データベースから所定の生産情報データを呼び出す第１の呼出ステップと、
前記データ記憶部に格納された工程順序データベースから所定の工程順序データを呼び出す第２の呼出ステップと、
前記各呼出ステップで呼び出された前記生産情報データ及び前記工程順序データに対応する前記所定の工程順序による前記複数の組立作業の最初の前記作業位置データを前記データ記憶部に格納された作業位置データベースから呼び出す第３の呼出ステップとを有することを特徴とする請求項７又は請求項８記載の作業アシスト方法。
【請求項１０】
前記第５のステップの後に、
前記所定の工程順序による前記複数の組立作業のうち最初の前記組立作業以降の残りの前記組立作業において、前記第１のステップから前記第５のステップまでを繰り返す第６のステップを有することを特徴とする請求項７乃至請求項９のうち何れか１項に記載の作業アシスト方法。
【請求項１１】
請求項７乃至請求項１０のうち何れか１項に記載の作業アシスト方法によって実現するためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−２７１９２８（Ｐ２０１０−２７１９２８Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２３２７２（Ｐ２００９−１２３２７２）
【出願日】平成２１年５月２１日（２００９．５．２１）
【出願人】（０００１５７０８３）関東自動車工業株式会社 (1,164)
【出願人】（５０４４０９５４３）国立大学法人秋田大学 (210)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２１日（２００９．５．２１）
【出願人】（０００１５７０８３）関東自動車工業株式会社 (1,164)
【出願人】（５０４４０９５４３）国立大学法人秋田大学 (210)
【Ｆターム（参考）】
[ Back to top ]