作業支援システム
【課題】作業者が予め定められた各作業を行う際に所定の時間よりも早く次の作業に移った場合に支援動作における作業者のタイムロスをなくし、作業者の移動に合わせて供給手段を作動させて作業効率を向上させる作業支援システムを提供する。
【解決手段】作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段１０と、予測手段１０によって予測した作業者の行動に基いて、作業者に対して部品、工具その他の必要な物品を供給する供給手段２０を、を備える。
【解決手段】作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段１０と、予測手段１０によって予測した作業者の行動に基いて、作業者に対して部品、工具その他の必要な物品を供給する供給手段２０を、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一連の作業を行う作業者に対して現在の作業状況を予測し、その予測した結果に基いて工具や部品などの必要な物品を作業者の手元に供給する、作業支援システムに関する。
【背景技術】
【０００２】
生産効率の向上を目指した産業用ロボットによる工場の自動化が進みつつある。ところが、工場内には、ロボットによるハンドリングが困難な部品を組み付ける作業や、巧みな力加減が要求される作業や、状況判断が必要な作業など、ロボットが行うことの難しい作業が数多く存在するため、人手が必要な作業が未だに存在し、自動化が行われていない工程が数多く残されている。
【０００３】
そのような例として自動車の組立工程が挙げられる。こういった工程では、作業者は車体への部品の組み付け作業の他に、ボルト等の組付部品の選定、部品を組み付けるための工具の取り出しを行わなければならない。部品や工具を保管して収納されているワゴン台車は作業空間端に位置するため、作業者は作業場所とワゴン台車との間を、部品の供給と工具の交換のために行き来する必要がある。このように、作業者は本来の組み付け作業以外にその作業に付随する作業を行わなければならず、作業者はこれらの作業に多くの時間と手間をかけることを余儀なくされている。
【０００４】
そこで、本発明者らは、作業に応じて必要な工具や部品をロボットアームにより作業者の手元へ配送する作業支援システムを研究開発してきた（例えば、特許文献１、非特許文献１）。以下、自動車の組立工程を例にとって説明する。
【０００５】
作業者は多くの作業を行う必要があり、各作業は作業工程表に作業内容毎にまとめられている。作業工程表には、各作業における車体に対する位置で指定される作業場所、その作業に必要な部品や工具なども定められている。よって、作業者は或る車体一台分の作業内容を決められた時間内にこなし、次の車体への組付作業に移行する。
【０００６】
作業者は作業工程表に忠実に作業を行うものの実際には作業者によって差異がある。そのため作業者とロボットの協調作業を実現させるためにはロボットは作業者に応じて部品や工具の供給時間及び供給場所を適応的に変化させて部品や工具を手元に届ける必要がある。
【０００７】
そこで、本発明者らは、作業者の運動の統計的解析結果を基に作業者に応じてロボットがサポートすることを次のように考えた。このシステムでは、車体座標系を一定幅のメッシュで離散化し、各セル内で作業者が計測された割合を３種類の統計的なモデルを用いて表す。
【０００８】
統計的モデルの一つ目は、各作業において作業者がどの場所（セル）で作業を行っている割合が高いのかを表した確率（「位置に対する作業者の存在率」と呼ぶ。）を用いて、各作業に対してそれぞれの作業を行う可能性が高い場所（セル）を示す。これにより、部品や工具の供給位置を決定する。
【０００９】
統計的モデルの二つ目は、供給時刻を決定するために、ある時刻において各作業を行っている確率（「時間に対する作業の実行率」と呼ぶ。）を求める。
【００１０】
統計的モデルの三つ目は、作業者の位置からどの作業を行っている可能性が高いのかを表す確率（「位置に対する作業の実行率」と呼ぶ。）を用いて、その時の作業者の位置から作業内容を推定し、作業進度の推定を行っている。
【００１１】
この３つ目の統計的モデルを用いることにより、次の供給時刻よりも早く作業者が次の作業場所へ移動した場合には、作業者の位置から次の作業場所へ移動したことを認識し、供給時刻を修正し、修正前の供給時刻よりも早く、作業者の作業進度に合わせて作業者へ部品や工具の供給を行う。
【００１２】
このシステムでは、作業進度に合わせて、供給時刻について実時間の修正を行っている。これにより、作業者の作業進度が普段よりも早いペースで進んでいた場合、もともとの供給時刻よりも時間を前倒して作業者のもとへ部品や工具を供給することができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】ＷＯ２０１０／１３４６０３Ａ１
【非特許文献】
【００１４】
【非特許文献１】田中泰史、衣川潤、川合雄太、菅原雄介、小菅一弘、「生産現場における人間協調・共存型作業支援パートナロボット‐ＰａＤＹ‐、−第６報 パーティクルフィルタを利用した作業者の位置推定手法の提案−」、第１１回計測自動制御学会システムインテグレーション部門講演会予稿集、１Ｅ１-２、宮城県、２０１０年１２月
【発明の概要】
【発明が解決しようとする課題】
【００１５】
特許文献１に開示したシステムでは、３つの統計的モデルを用いて作業者の作業進度推定を行い、作業者に合わせた作業支援を行うことが可能となる。しかしながら、供給時刻の修正は、「位置に対する作業の実行率」を利用して、作業者の存在する場所から作業進度を推定することで実現している。そのため、この方法では、次の作業を行う場所へ作業者が移動し終える瞬間まで作業者が次の作業に移ったことが推定できない。つまり、作業者の移動終了直後にロボットアームが動作し始めるため、作業者が本来部品や工具を受け取りたい時刻に対して、ロボットアームが供給場所に移動する時間の分だけ作業者は待たなければならない。
【００１６】
そこで、本発明では、作業者が予め定められた各作業を行う際に所定の時間よりも早く次の作業に移った場合に支援動作における作業者のタイムロスをなくし、作業者の移動に合わせてロボットアームその他の供給手段を作動させて作業効率を向上させる、作業支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明者らは作業支援システムを研究開発してきた経緯を踏まえ、繰り返し作業を行う作業者の振る舞いを予測する手法として、状態遷移確率を有するマルコフモデルを採用することを検討した。作業者は組立工程のように毎回同じ作業を繰り返すが、作業位置、作業時間などに対して曖昧さを伴って作業を行っている。複数の作業を手順通りに行うことから作業者の状態（例えば位置など）は作業が進むにつれて曖昧さを伴いながら別の状態に遷移していくと考えられるからである。
【００１８】
上記目的を達成するために、本発明の作業支援システムは、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段と、予測手段によって予測した作業者の行動に基いて、作業者に対して部品、工具その他の必要な物品を供給する供給手段と、を備える。
【００１９】
具体的な構成の一つとして、予測手段が、マルコフモデルから、任意の状態変数のままである期間（以下、「状態継続時間長」と呼ぶ。）の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する。
【００２０】
好ましくは、予測手段が、マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第１計算処理部と、第１計算処理部で求めた各作業毎の作業者の状態の期待値から、作業者が現在行っている作業を推定する第２計算処理部と、マルコフモデルから、任意の状態変数のままである期間（以下、「状態継続時間長」と呼ぶ。）の期待値を計算すること、その状態継続時間長が経過したときの移動先を決定することによって、予測される作業者の移動軌道を計算する第３計算処理部と、第２計算処理部で推定した現在の作業と第３計算処理部で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める第４計算処理部と、を備える。
【００２１】
さらに、第４計算処理部で求めたものであって次の作業場所へ移動する到達時間及び次の作業場所への予測移動軌道に基いて、供給手段の供給タイミング及び供給軌道を計算する供給軌道計算手段を備える。
【００２２】
具体的な別の構成として、予測手段が、マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第１計算処理部を備え、さらに、第１計算処理部で求めた期待値であって各作業毎の作業者が存在する位置の期待値から、供給位置を決定する供給位置決定手段を備える。
【発明の効果】
【００２３】
本発明によれば、予測手段が、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測するので、供給手段がその予測した作業者の行動に基いて部品、工具その他の必要な物品を供給する。よって、作業者が予め定められた各作業を行った際に所定の時間よりも早く次の作業に移った場合であっても、次の作業に移る時刻は次の作業に移る前に予測できるので作業者のタイムロスを生じることなく、作業者の移動に併せて必要な物品を供給することができる。
【００２４】
さらに、具体的な構成によれば、作業者の移動データからマルコフモデルを生成し、作業者が新しい状態（例えばセル）に入る毎に移動軌道を予測する。作業者の移動先や移動時間を早い段階で予測し、次の作業の開始時刻と場所を予測して供給動作軌道を生成することで、作業者の作業の進捗から遅れることなく部品や工具の供給を行う。これにより、作業者が、特許文献１に開示されている手法で作成された作業者モデルに基づいて決定された供給時間より、早く作業を終える場合にも、次の作業場所に移動する前に、次の作業場所に移動が完了し、次の作業を開始する時刻と場所を予測し、これに基づきロボットアーム等の供給手段を駆動する。よって、作業者の作業の進捗から遅れることなく部品や工具の供給を行うことができ、作業効率が向上する。また、作業者の移動軌道を予測することで作業者との衝突リスクが低減されたロボットアームの軌道生成が可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る作業支援システムのブロック構成図である。
【図２】作業空間の離散化を説明するための図である。
【図３】マルコフモデル生成手段におけるマルコフモデルの更新を模式的に示す図である。
【図４】作業者の移動軌道予測に関する説明図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本発明の実施形態に係る作業支援システム１は、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段１０と、予測手段１０によって予測した作業者の行動に基づいて、作業者に対して部品、工具その他の必要な物品を供給する供給手段２０とを有する。
【００２７】
この作業支援システム１においては、先ず、予測手段１０により、マルコフモデルを用いて作業者の一連の作業中の運動をモデル化し、そのモデルに基いて、作業毎の作業者位置、作業者の予測軌道、次の作業の開始時刻などを予測すること、及び、そのモデルに基いて現在の位置を特定すること、のうち一つ以上を行う。このように予測手段１０により予測、推定した結果のうち、一又は複数の結果に基いて、供給手段２０を制御して工具や部品その他の必要な物品を作業者に供給する。
【００２８】
作業支援システム１には、さらに、作業者の位置を計測する計測手段２１と、計測手段２１から入力された結果に基いてパーティクルフィルタなどを用いて作業者の位置を推定する作業者位置推定手段２２と、予測手段１０から入力された値であって作業に対する作業者の存在率の期待値に基いて供給位置を決定するための供給位置決定手段２３と、供給手段２０による供給タイミングの決定及び供給軌道の計算を行って供給手段２０に対して供給軌道を出力する供給軌道計算手段２４と、を備える。
【００２９】
作業者の作業空間が状態変数として複数のセルに区分されていることを前提にして説明すると、予測手段１０は、作業者の移動データからマルコフモデルを生成し必要に応じて更新を行い、そのマルコフモデルを用いて作業者が次の作業場所へ移動する到達時間及び移動軌道などを予測するものである。
【００３０】
ここで、マルコフモデルとは、マルコフ連鎖で記述される確率モデルであり、マルコフ連鎖とは、状態を離散的に表し未来の状態を現在の状態のみによって決定しようとする確率的手法の一つである。
【００３１】
作業者の作業空間が状態変数として複数のセルに分割されている場合を例に挙げて、マルコフモデルをどのように生成するかを説明する。
図２は、作業空間の離散化を説明するための図である。図２に示すように、状態変数が作業空間を離散化して定義される。例えば、作業空間が４ｍ×８ｍの空間とすると３２×６４個のセルに区分し、各セルにセル番号を付してこれを状態変数として定義する。そして、或る時刻に或るセルに作業者が存在するとして現在のセルに留まるか隣接する他のセルに移動するかを状態遷移確率行列で記述する。この状態遷移確率行列を作成すること又は更新することをマルコフモデルの生成、更新と呼ぶ。この状態遷移確率行列に基いて作業者の移動軌道を予測する。
【００３２】
作業者の位置については、計測手段２１によって、作業者の膝上の高さに設定されたLaser Range Finder(LRF)によって計測される。そして、作業者位置推定手段２２が、計測された点群についてクラスタリング手法とパーティクルフィルタを適用して、作業者の位置を推定する。この推定手法については特許文献１に開示したものや非特許文献１に示されるもの、その他これらと同等のものを用いることができる。
【００３３】
特許文献１に開示した推定手法では、ＬＲＦを腰の高さに一つと足の高さに一つ取り付けたセンサを用いて作業者の位置を計測している。この手法では、先ず、腰部と足部のＬＲＦの計測点にクラスタリング手法を適用し、腰部と足部のクラスタを生成し、次に腰部のクラスタと足部のクラスタの位置関係から作業者と思われる腰部のクラスタを見つけ、このクラスタ内の点の平均値から作業者の代表点を求めて、この作業者の代表点から作業者の位置を特定する。
【００３４】
非特許文献１に開示した推定手法は上述の特許文献１の手法を改良するものであり、先ず、ＬＲＦにより得られたデータ点から背景差分法を用いて障害物と作業者を区別して作業者のデータを抽出し、クラスタリング手法をその抽出結果に適用して生成したクラスタの数を作業者の数とする。次に、各々の作業者をパーティクルフィルタにより追跡することで、パートナーである作業者とそれ以外の作業者の位置推定を行うものである。ここで、パーティクルフィルタとは、多数のパーティクルを用いて過去の状態からの予測と現在の観測情報とを利用することにより、現在の状態を推定する手法である。
【００３５】
予測手段１０は、具体的には、マルコフモデル生成手段１５と、マルコフモデル生成手段１５により生成されたマルコフモデルを用いて作業に対する作業者存在位置の期待値を計算する第１計算処理部１１と、作業者の現在の作業を推定する第２計算処理部１２と、マルコフモデル生成手段１５により生成されたマルコフモデルを用いて作業者の予測移動軌道を計算する第３計算処理部１３と、次の作業場所への予測到達時間及び予測移動軌道を計算する第４計算処理部１４と、を備える。
【００３６】
第１計算処理部１１は、マルコフモデル生成手段１５により生成したマルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める。状態変数がセルの場合を例にとって具体的に説明すると、第１計算処理部１１は、マルコフモデルにおいて同じセルに居続ける確率の高いセルを抽出し、その抽出したセルの分布を作業数だけのガウス分布で近似し、この中心の座標を各作業毎の作業者が存在する位置の期待値とする。セルの分布をガウス分布で近似しているが、セルの分布をガウス分布以外の近似式で求めてもよい。
【００３７】
第２計算処理部１２は、第１計算処理部１１で求めた各作業毎の作業者位置に関するガウス分布その他の近似分布と、作業者位置推定手段２２から入力される作業者の現在の位置（Ｘｗ，Ｙｗ）とを比較することにより、作業者が現在行っている作業を推定する。
【００３８】
第３計算処理部１３は、マルコフモデル生成手段１５で生成したマルコフモデルから、任意の状態変数のままである期間（「状態継続時間長」と呼ぶ。）の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する。状態変数がセルの場合を例にとって具体的に説明すると、第３計算処理部１３は、マルコフモデル生成手段１５により生成したマルコフモデルにおいて、作業者が各セルに留まり続ける期間（「状態継続時間長」と呼ぶ。）の期待値を計算すること、またその状態継続時間長が経過したときの移動先セルをその瞬間の遷移確率が最も高いセルへと決定する。これを繰り返すことにより、予測される作業者の移動軌道を計算する。
【００３９】
第４計算処理部１４は、第２計算処理部１２で推定した現在の作業と第３計算処理部１３で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める。
【００４０】
供給位置決定手段２３は、第１計算処理部１１で求めた値であって作業に対する作業者の存在率の期待値に基いて、供給位置（Ｘｎ，Ｙｎ）を決定する。
【００４１】
供給軌道計算手段２４は、供給手段２０による供給タイミングの決定及び供給軌道の計算を行う。
【００４２】
本発明の実施形態に係る作業支援システム１の構成は上記のとおりであり、この構成によって、作業者の移動データから生成したマルコフモデルを用いて、作業者が次の作業場所へ移動する到達時間及び移動軌道について予測されるのかについて説明する。
【００４３】
いま、作業空間が複数のセルに区分されてセル番号が付され、そのセル番号が状態変数として定義されているとする。また、図２に示すように、座標Ｘｃと座標Ｙｃからなる車体座標系Σｃの作業空間をセルに分割し、車一台毎に作業者が一連の作業を繰り返し行うものとすると、計測手段２１により、例えばＬＲＦにより作業者の位置が計測されるので、作業者位置推定手段２２により、自動車一台分の作業者の移動軌道データが得られる。マルコフモデル生成手段１５にはその自動車一台分の作業者の移動軌道データが入力される。マルコフモデル生成手段１５は、その入力を受けて状態遷移確率行列により記述されることにより、マルコフモデルを生成し、更新する。
【００４４】
作業者の移動経路を予測するために、マルコフモデル生成手段１５が作業者の行動データからマルコフモデルを生成する。いま、作業者の動きについて、図２に示すように、作業空間を複数のセルに区分けして各セルにセル番号を付して状態変数を定義する。作業者の作業空間、例えば車体座標系における作業空間をメッシュ状に離散化し、それぞれのセルに状態変数を定義する。各セルに対して離散時間間隔Δｔ（秒）毎に作業者の存在した回数をカウントし、統計的にマルコフモデルを生成する。
【００４５】
本実施形態においては、状態遷移確率ａijは各セルに固有であって、時間によって変化しない値である。つまり、あるセルに作業者が入ったら、この工程の作業開始からの時間は一切関係なく、ある状態継続時間長の期待値分の時間だけそのセルにとどまり、その後状態遷移確率の一番高いセルに移動する、というように作業者の運動をモデル化する。
【００４６】
具体的に説明すると、式（１）を用いて、状態遷移確率ａijを計算する。
【数１】
ここで、ｉは時間ｔ−Δｔのときの状態を示し、ｊは時間ｔのときの状態を示す。Ｎijは作業者が存在したセルがｉからｊへ遷移した回数を示し、Ｎiは作業者がセルｉ に存在した回数を離散時間間隔ごとにカウントしたものである。この状態遷移確率ａijを全iとjの組み合わせについてすべて求め、行列[ａij]としてあらわしたものが本実施形態におけるマルコフモデルである。なお、ｉ，ｊは状態変数の数がｍ個であれば、ｉ，ｊは１≦ｉ，ｊ≦ｍの関係式を満たす自然数である。
【００４７】
ここで、状態空間の離散化については，作業者の運動の特徴を十分にモデル化するために細かく設定する必要があるが、後述する作業者の行動予測をする際の計算量や計算処理能力を考慮して決定すればよい。例えば４ｍ×８ｍの状態空間を３２×６４マスに区分けすれば、作業空間を十分に網羅することが可能である。
【００４８】
このようにして作業者の移動データからマルコフモデルを生成する。図３に示すように、マルコフモデル生成手段１５は、車一台分の作業者の移動軌道データの入力のたびにマルコフモデルを更新してもよいが、必ず更新しなければならないというわけではない。マルコフモデルの更新は、作業者の行動や移動軌道が作業者の作業に対する慣れや疲労等によりマルコフモデルが変化し得るため、その変化に対応するために行う。これはもちろん作業者ごとにマルコフモデルを生成しておき作業者固有のものとして使用してもよいし、ある程度再現性のある作業の場合や作業者の運動に対し敏感にモデルを変更したくない場合はあえて更新を行わなくてもよい。最新の作業者の癖をマルコフモデルに反映させるべく、例えば過去のマルコフモデルを更新タイミング毎に数％ずつ忘却してゆく忘却型マルコフモデル学習アルゴリズムを用いる。このアルゴリズムとしては、例えば公知のＳＤＬＥ（Sequentially Discounting Laplace Estimation）アルゴリズムを利用することができる。
【００４９】
次に、上述の生成したマルコフモデルから作業行動をモデル化し作業行動を推定する。第１計算処理部１１によって、作業に対する作業者の存在位置について期待値を計算する。この期待値は、まず作業数のみを既知とし、マルコフモデルにおいて同じセルに居続ける確率の高いセルを抽出し、その抽出したセルの分布を作業数だけのガウス分布その他の分布で近似する。具体的にはＥＭアルゴリズムを用いて各作業におけるガウス分布のパラメータを計算し、そのガウス分布の中心の座標を各作業毎の作業者が存在する位置の期待値とする。ここで、ＥＭアルゴリズムとは、統計学において、確率モデルのパラメータを最尤法に基いて推定する手法であり、期待値（expectation，Ｅ）ステップと最大化（maximization，Ｍ）ステップとを交互に繰り替えることで計算を進行させるものである。
【００５０】
作業者の現在の位置については、第２計算処理部１２によって、前述のように計測手段２１及び作業者位置推定手段２２から求めた作業者の位置と、既に求めた分布であって各作業における作業者位置のガウス分布を比較することにより、作業者がその位置にいるならばどの作業を行っている確率が高いかが計算できるので、その作業を行っていると推定することができる。
【００５１】
第３計算処理部１３によって、作業者の移動軌道を予測する。作業者の移動軌道予測は、作業者の移動データから生成したマルコフモデルを利用して行われる。この予測は次の２つのステップから成っている。一つは、状態継続時間長の期待値の計算ステップであり、一つは状態遷移確率に従った遷移先の決定ステップである。
【００５２】
状態継続時間長の期待値の計算ステップについて説明する。
状態継続時間長とは、マルコフ過程において状態ｉに留まり続ける期間を意味する。状態継続時間を指定すると、式（２）から、状態iが指定した時間ｄ（秒）続く確率pi(d)を求めることができる。
【数２】
【００５３】
ここで、πiは初期確率を表す。状態継続時間長の期待値ｄexpは状態ｉが続く期間の平均を表したもので、式（３）から求めることができる。
【数３】
【００５４】
この状態継続時間長の期待値は、作業者がこのセルに留まり続ける期間の長さの期待値であるので、このｄexp後には別のセルに移動すると考えられる。したがって、移動軌道予測手法において、この期待値が移動時間を予測するために用いられる。
【００５５】
状態遷移確率に従って遷移先を決定するステップについて説明する。
状態継続時間長の考え方から、状態ｉが状態継続時間長の期待値ｄexpだけ続いた直後、状態は状態ｉ以外の状態ｊに遷移すると考えられる。すなわち、この状態ｊはｊ≠ｉを満たす何れかの状態である。状態の遷移先は状態遷移確率に従い、状態遷移確率が最大である状態に決定される。
【００５６】
よって、以上の、状態継続時間長の期待値を計算するステップ（Ｓｔｅｐ１）と状態遷移確率に従って遷移先を決定するステップ（Ｓｔｅｐ２）とを順に繰り返すことにより、作業者の移動軌道を求めることができる。
【００５７】
図４は、作業者の移動軌道予測を説明するための例を示す図である。（ａ）はＳｔｅｐ１とＳｔｅｐ２とを繰り返し、予測される観測系列を求める様子を示したものであり、（ｂ）は、予測された観測系列を基に、離散化された状態空間上において，予測される作業者の移動場所と移動経路を示している。
【００５８】
予測の手順としては、まず現在の作業者が離散化された状態空間上の状態３に存在したとして、Ｓｔｅｐ１により状態３に作業者が存在し続ける時間を計算する。次に、Ｓｔｅｐ２によって状態遷移確率に従った遷移先を決定する。いま、遷移先が状態９になったとする。そして、再びＳｔｅｐ１を行い、状態９に作業者が存在し続ける時間を求め、Ｓｔｅｐ２を再び適用して次の遷移先を決める。
【００５９】
このように、２つのステップを繰り返し、状態継続時間長の期待値の合計が対象とする予測時間Ｔｐとなったときに、最終的な遷移状態が、予測されるＴｐ時間後の作業者の移動場所である。図では、作業者の予測される移動場所は状態２０であり、予測される移動経路は、３，９，１４，２０であり，各セルに滞在する時間を含めた移動軌道としては３，３，３，９，９，１４，１４，１４，１４，２０，２０，２０，２０となる。
【００６０】
次に、第４計算処理部１４では、第２計算処理部１２で求まった作業者の現在位置と、第３計算処理部１３で求まった予測移動軌道とから、次の作業場所への予測到達時刻と予測移動軌道の計算を行う。具体的には、現在の作業から次の作業を特定し、次の作業箇所への移動が終了する時刻を求め、これと現在の時間の差から到達時間を求める。また次の作業場所への予測移動軌道は全予測軌道のうち現在の場所から次作業場所までの軌道をそのまま用いる。なお、第３計算処理部１３で求まる予測移動軌道とは、一連の作業を通して作業者の予測移動軌道であり、第４計算処理部１４で求める予測移動軌道とは、次の作業場所への作業者の予測移動軌道である。つまり、第４計算処理部１４では一連の作業者の予測軌道から、次の作業へ向かう予測軌道を抜き出している。
【００６１】
以上のように予測手段１０において、作業者に対する作業者の存在率の期待値と、次の作業場所への予測到達時間及び予測移動軌道とが求まる。
【００６２】
そこで、供給位置決定手段２３において、第１計算処理部１１から入力される「作業に対する作業者の存在率の期待値」が最も高い位置を供給位置（Ｘｎ，Ｙｎ）として決定する。この後、作業者が手を伸ばしやすい位置などのオフセット（Δｘn，Δｙn）を加えて最終供給位置とする。このオフセット値は教示などにより作業者の作業のしやすさなどを考慮した微調整を行うためにも用いられる。
【００６３】
供給軌道計算手段２４は、供給手段２０によって作業者に対して部品、工具その他の必要な物品を供給するタイミングを決定すると共に、供給手段２０の供給軌道ｘ（ｔ），ｙ（ｔ）を計算する。タイミングの決定は、予測手段１０から入力される、次の作業場所への予測到達時間から、供給手段２０によって部品、工具その他の物品を供給するタイミングを決定する。もっとも簡単には供給タイミングは作業者の予測到達時間をそのまま用いることができ、また意図的に前倒しの時間を設けて早めに供給することができる。供給手段２０の軌道計算は、予測手段１０から入力される、次の作業場所への作業者の予測移動軌道と、供給位置決定手段２３から入力される供給位置に供給位置オフセット情報（ΔＸｎ，ΔＹｎ）を加えた最終供給位置と、決定した供給タイミングとから、供給手段１１の供給軌道を計算する。ここで、供給軌道は、ただ単に工具、部品その他の必要な物品の補給位置から最終供給位置までを直線で結んだものを、時間軸に関して例えば多項式で補間した軌道でもよいし、作業者の予測移動軌道を考慮して衝突が起こりにくいように作成した軌道であってもよい。
【００６４】
供給手段２０は、ロボットアームや移動ロボットその他のロボット、ベルトコンベアその他の搬送機構を備え、供給軌道計算手段２４から入力された供給軌道ｘ（ｔ），ｙ（ｔ）に従って、それらの機構の先端、例えばロボットアームの手の先を移動させる。この供給手段２０には、搬送機構の他、作業に応じて部品、工具などの必要な物品のリストが情報として蓄積されており、供給軌道計算手段２４からの入力により、そのリストアップの中から、必要な物品が選択され、搬送機構により、作業者の手元に供給される。
【００６５】
本発明の実施形態によれば、作業進行状況を推定し、作業者により作業が早く進んでいる場合にも、そのときの作業進度に合わせて、遅れることなく作業者に対して部品や工具など必要なものを供給することができる。
【００６６】
上述した本発明の実施形態では、特に、作業者の作業空間が状態変数として複数のセルに区分されている場合を例にとって説明しているが、例えば作業者の運動パターンを別途用意したセンサで取得し、この取得した運動パターンから作業状況を推定し、その推定値を状態変数としてもよい。状態変数をこのように設定しても、作業者の運動パターンから生成したマルコフモデルを用いて作業者が次の作業場所へ移動する到達時間及び移動軌道などを予測することができ、その予測結果に応じて作業者の移動軌道を求めて、供給手段を制御するようにしてもよい。
【符号の説明】
【００６７】
１：作業支援システム
１０：予測手段
１１：第１計算処理部
１２：第２計算処理部
１３：第３計算処理部
１４：第４計算処理部
１５：マルコフモデル生成手段
２０：供給手段
２１：計測手段
２２：作業者位置推定手段
２３：供給位置決定手段
２４：供給軌道計算手段
【技術分野】
【０００１】
本発明は、一連の作業を行う作業者に対して現在の作業状況を予測し、その予測した結果に基いて工具や部品などの必要な物品を作業者の手元に供給する、作業支援システムに関する。
【背景技術】
【０００２】
生産効率の向上を目指した産業用ロボットによる工場の自動化が進みつつある。ところが、工場内には、ロボットによるハンドリングが困難な部品を組み付ける作業や、巧みな力加減が要求される作業や、状況判断が必要な作業など、ロボットが行うことの難しい作業が数多く存在するため、人手が必要な作業が未だに存在し、自動化が行われていない工程が数多く残されている。
【０００３】
そのような例として自動車の組立工程が挙げられる。こういった工程では、作業者は車体への部品の組み付け作業の他に、ボルト等の組付部品の選定、部品を組み付けるための工具の取り出しを行わなければならない。部品や工具を保管して収納されているワゴン台車は作業空間端に位置するため、作業者は作業場所とワゴン台車との間を、部品の供給と工具の交換のために行き来する必要がある。このように、作業者は本来の組み付け作業以外にその作業に付随する作業を行わなければならず、作業者はこれらの作業に多くの時間と手間をかけることを余儀なくされている。
【０００４】
そこで、本発明者らは、作業に応じて必要な工具や部品をロボットアームにより作業者の手元へ配送する作業支援システムを研究開発してきた（例えば、特許文献１、非特許文献１）。以下、自動車の組立工程を例にとって説明する。
【０００５】
作業者は多くの作業を行う必要があり、各作業は作業工程表に作業内容毎にまとめられている。作業工程表には、各作業における車体に対する位置で指定される作業場所、その作業に必要な部品や工具なども定められている。よって、作業者は或る車体一台分の作業内容を決められた時間内にこなし、次の車体への組付作業に移行する。
【０００６】
作業者は作業工程表に忠実に作業を行うものの実際には作業者によって差異がある。そのため作業者とロボットの協調作業を実現させるためにはロボットは作業者に応じて部品や工具の供給時間及び供給場所を適応的に変化させて部品や工具を手元に届ける必要がある。
【０００７】
そこで、本発明者らは、作業者の運動の統計的解析結果を基に作業者に応じてロボットがサポートすることを次のように考えた。このシステムでは、車体座標系を一定幅のメッシュで離散化し、各セル内で作業者が計測された割合を３種類の統計的なモデルを用いて表す。
【０００８】
統計的モデルの一つ目は、各作業において作業者がどの場所（セル）で作業を行っている割合が高いのかを表した確率（「位置に対する作業者の存在率」と呼ぶ。）を用いて、各作業に対してそれぞれの作業を行う可能性が高い場所（セル）を示す。これにより、部品や工具の供給位置を決定する。
【０００９】
統計的モデルの二つ目は、供給時刻を決定するために、ある時刻において各作業を行っている確率（「時間に対する作業の実行率」と呼ぶ。）を求める。
【００１０】
統計的モデルの三つ目は、作業者の位置からどの作業を行っている可能性が高いのかを表す確率（「位置に対する作業の実行率」と呼ぶ。）を用いて、その時の作業者の位置から作業内容を推定し、作業進度の推定を行っている。
【００１１】
この３つ目の統計的モデルを用いることにより、次の供給時刻よりも早く作業者が次の作業場所へ移動した場合には、作業者の位置から次の作業場所へ移動したことを認識し、供給時刻を修正し、修正前の供給時刻よりも早く、作業者の作業進度に合わせて作業者へ部品や工具の供給を行う。
【００１２】
このシステムでは、作業進度に合わせて、供給時刻について実時間の修正を行っている。これにより、作業者の作業進度が普段よりも早いペースで進んでいた場合、もともとの供給時刻よりも時間を前倒して作業者のもとへ部品や工具を供給することができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】ＷＯ２０１０／１３４６０３Ａ１
【非特許文献】
【００１４】
【非特許文献１】田中泰史、衣川潤、川合雄太、菅原雄介、小菅一弘、「生産現場における人間協調・共存型作業支援パートナロボット‐ＰａＤＹ‐、−第６報 パーティクルフィルタを利用した作業者の位置推定手法の提案−」、第１１回計測自動制御学会システムインテグレーション部門講演会予稿集、１Ｅ１-２、宮城県、２０１０年１２月
【発明の概要】
【発明が解決しようとする課題】
【００１５】
特許文献１に開示したシステムでは、３つの統計的モデルを用いて作業者の作業進度推定を行い、作業者に合わせた作業支援を行うことが可能となる。しかしながら、供給時刻の修正は、「位置に対する作業の実行率」を利用して、作業者の存在する場所から作業進度を推定することで実現している。そのため、この方法では、次の作業を行う場所へ作業者が移動し終える瞬間まで作業者が次の作業に移ったことが推定できない。つまり、作業者の移動終了直後にロボットアームが動作し始めるため、作業者が本来部品や工具を受け取りたい時刻に対して、ロボットアームが供給場所に移動する時間の分だけ作業者は待たなければならない。
【００１６】
そこで、本発明では、作業者が予め定められた各作業を行う際に所定の時間よりも早く次の作業に移った場合に支援動作における作業者のタイムロスをなくし、作業者の移動に合わせてロボットアームその他の供給手段を作動させて作業効率を向上させる、作業支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明者らは作業支援システムを研究開発してきた経緯を踏まえ、繰り返し作業を行う作業者の振る舞いを予測する手法として、状態遷移確率を有するマルコフモデルを採用することを検討した。作業者は組立工程のように毎回同じ作業を繰り返すが、作業位置、作業時間などに対して曖昧さを伴って作業を行っている。複数の作業を手順通りに行うことから作業者の状態（例えば位置など）は作業が進むにつれて曖昧さを伴いながら別の状態に遷移していくと考えられるからである。
【００１８】
上記目的を達成するために、本発明の作業支援システムは、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段と、予測手段によって予測した作業者の行動に基いて、作業者に対して部品、工具その他の必要な物品を供給する供給手段と、を備える。
【００１９】
具体的な構成の一つとして、予測手段が、マルコフモデルから、任意の状態変数のままである期間（以下、「状態継続時間長」と呼ぶ。）の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する。
【００２０】
好ましくは、予測手段が、マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第１計算処理部と、第１計算処理部で求めた各作業毎の作業者の状態の期待値から、作業者が現在行っている作業を推定する第２計算処理部と、マルコフモデルから、任意の状態変数のままである期間（以下、「状態継続時間長」と呼ぶ。）の期待値を計算すること、その状態継続時間長が経過したときの移動先を決定することによって、予測される作業者の移動軌道を計算する第３計算処理部と、第２計算処理部で推定した現在の作業と第３計算処理部で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める第４計算処理部と、を備える。
【００２１】
さらに、第４計算処理部で求めたものであって次の作業場所へ移動する到達時間及び次の作業場所への予測移動軌道に基いて、供給手段の供給タイミング及び供給軌道を計算する供給軌道計算手段を備える。
【００２２】
具体的な別の構成として、予測手段が、マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第１計算処理部を備え、さらに、第１計算処理部で求めた期待値であって各作業毎の作業者が存在する位置の期待値から、供給位置を決定する供給位置決定手段を備える。
【発明の効果】
【００２３】
本発明によれば、予測手段が、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測するので、供給手段がその予測した作業者の行動に基いて部品、工具その他の必要な物品を供給する。よって、作業者が予め定められた各作業を行った際に所定の時間よりも早く次の作業に移った場合であっても、次の作業に移る時刻は次の作業に移る前に予測できるので作業者のタイムロスを生じることなく、作業者の移動に併せて必要な物品を供給することができる。
【００２４】
さらに、具体的な構成によれば、作業者の移動データからマルコフモデルを生成し、作業者が新しい状態（例えばセル）に入る毎に移動軌道を予測する。作業者の移動先や移動時間を早い段階で予測し、次の作業の開始時刻と場所を予測して供給動作軌道を生成することで、作業者の作業の進捗から遅れることなく部品や工具の供給を行う。これにより、作業者が、特許文献１に開示されている手法で作成された作業者モデルに基づいて決定された供給時間より、早く作業を終える場合にも、次の作業場所に移動する前に、次の作業場所に移動が完了し、次の作業を開始する時刻と場所を予測し、これに基づきロボットアーム等の供給手段を駆動する。よって、作業者の作業の進捗から遅れることなく部品や工具の供給を行うことができ、作業効率が向上する。また、作業者の移動軌道を予測することで作業者との衝突リスクが低減されたロボットアームの軌道生成が可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る作業支援システムのブロック構成図である。
【図２】作業空間の離散化を説明するための図である。
【図３】マルコフモデル生成手段におけるマルコフモデルの更新を模式的に示す図である。
【図４】作業者の移動軌道予測に関する説明図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本発明の実施形態に係る作業支援システム１は、作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段１０と、予測手段１０によって予測した作業者の行動に基づいて、作業者に対して部品、工具その他の必要な物品を供給する供給手段２０とを有する。
【００２７】
この作業支援システム１においては、先ず、予測手段１０により、マルコフモデルを用いて作業者の一連の作業中の運動をモデル化し、そのモデルに基いて、作業毎の作業者位置、作業者の予測軌道、次の作業の開始時刻などを予測すること、及び、そのモデルに基いて現在の位置を特定すること、のうち一つ以上を行う。このように予測手段１０により予測、推定した結果のうち、一又は複数の結果に基いて、供給手段２０を制御して工具や部品その他の必要な物品を作業者に供給する。
【００２８】
作業支援システム１には、さらに、作業者の位置を計測する計測手段２１と、計測手段２１から入力された結果に基いてパーティクルフィルタなどを用いて作業者の位置を推定する作業者位置推定手段２２と、予測手段１０から入力された値であって作業に対する作業者の存在率の期待値に基いて供給位置を決定するための供給位置決定手段２３と、供給手段２０による供給タイミングの決定及び供給軌道の計算を行って供給手段２０に対して供給軌道を出力する供給軌道計算手段２４と、を備える。
【００２９】
作業者の作業空間が状態変数として複数のセルに区分されていることを前提にして説明すると、予測手段１０は、作業者の移動データからマルコフモデルを生成し必要に応じて更新を行い、そのマルコフモデルを用いて作業者が次の作業場所へ移動する到達時間及び移動軌道などを予測するものである。
【００３０】
ここで、マルコフモデルとは、マルコフ連鎖で記述される確率モデルであり、マルコフ連鎖とは、状態を離散的に表し未来の状態を現在の状態のみによって決定しようとする確率的手法の一つである。
【００３１】
作業者の作業空間が状態変数として複数のセルに分割されている場合を例に挙げて、マルコフモデルをどのように生成するかを説明する。
図２は、作業空間の離散化を説明するための図である。図２に示すように、状態変数が作業空間を離散化して定義される。例えば、作業空間が４ｍ×８ｍの空間とすると３２×６４個のセルに区分し、各セルにセル番号を付してこれを状態変数として定義する。そして、或る時刻に或るセルに作業者が存在するとして現在のセルに留まるか隣接する他のセルに移動するかを状態遷移確率行列で記述する。この状態遷移確率行列を作成すること又は更新することをマルコフモデルの生成、更新と呼ぶ。この状態遷移確率行列に基いて作業者の移動軌道を予測する。
【００３２】
作業者の位置については、計測手段２１によって、作業者の膝上の高さに設定されたLaser Range Finder(LRF)によって計測される。そして、作業者位置推定手段２２が、計測された点群についてクラスタリング手法とパーティクルフィルタを適用して、作業者の位置を推定する。この推定手法については特許文献１に開示したものや非特許文献１に示されるもの、その他これらと同等のものを用いることができる。
【００３３】
特許文献１に開示した推定手法では、ＬＲＦを腰の高さに一つと足の高さに一つ取り付けたセンサを用いて作業者の位置を計測している。この手法では、先ず、腰部と足部のＬＲＦの計測点にクラスタリング手法を適用し、腰部と足部のクラスタを生成し、次に腰部のクラスタと足部のクラスタの位置関係から作業者と思われる腰部のクラスタを見つけ、このクラスタ内の点の平均値から作業者の代表点を求めて、この作業者の代表点から作業者の位置を特定する。
【００３４】
非特許文献１に開示した推定手法は上述の特許文献１の手法を改良するものであり、先ず、ＬＲＦにより得られたデータ点から背景差分法を用いて障害物と作業者を区別して作業者のデータを抽出し、クラスタリング手法をその抽出結果に適用して生成したクラスタの数を作業者の数とする。次に、各々の作業者をパーティクルフィルタにより追跡することで、パートナーである作業者とそれ以外の作業者の位置推定を行うものである。ここで、パーティクルフィルタとは、多数のパーティクルを用いて過去の状態からの予測と現在の観測情報とを利用することにより、現在の状態を推定する手法である。
【００３５】
予測手段１０は、具体的には、マルコフモデル生成手段１５と、マルコフモデル生成手段１５により生成されたマルコフモデルを用いて作業に対する作業者存在位置の期待値を計算する第１計算処理部１１と、作業者の現在の作業を推定する第２計算処理部１２と、マルコフモデル生成手段１５により生成されたマルコフモデルを用いて作業者の予測移動軌道を計算する第３計算処理部１３と、次の作業場所への予測到達時間及び予測移動軌道を計算する第４計算処理部１４と、を備える。
【００３６】
第１計算処理部１１は、マルコフモデル生成手段１５により生成したマルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める。状態変数がセルの場合を例にとって具体的に説明すると、第１計算処理部１１は、マルコフモデルにおいて同じセルに居続ける確率の高いセルを抽出し、その抽出したセルの分布を作業数だけのガウス分布で近似し、この中心の座標を各作業毎の作業者が存在する位置の期待値とする。セルの分布をガウス分布で近似しているが、セルの分布をガウス分布以外の近似式で求めてもよい。
【００３７】
第２計算処理部１２は、第１計算処理部１１で求めた各作業毎の作業者位置に関するガウス分布その他の近似分布と、作業者位置推定手段２２から入力される作業者の現在の位置（Ｘｗ，Ｙｗ）とを比較することにより、作業者が現在行っている作業を推定する。
【００３８】
第３計算処理部１３は、マルコフモデル生成手段１５で生成したマルコフモデルから、任意の状態変数のままである期間（「状態継続時間長」と呼ぶ。）の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する。状態変数がセルの場合を例にとって具体的に説明すると、第３計算処理部１３は、マルコフモデル生成手段１５により生成したマルコフモデルにおいて、作業者が各セルに留まり続ける期間（「状態継続時間長」と呼ぶ。）の期待値を計算すること、またその状態継続時間長が経過したときの移動先セルをその瞬間の遷移確率が最も高いセルへと決定する。これを繰り返すことにより、予測される作業者の移動軌道を計算する。
【００３９】
第４計算処理部１４は、第２計算処理部１２で推定した現在の作業と第３計算処理部１３で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める。
【００４０】
供給位置決定手段２３は、第１計算処理部１１で求めた値であって作業に対する作業者の存在率の期待値に基いて、供給位置（Ｘｎ，Ｙｎ）を決定する。
【００４１】
供給軌道計算手段２４は、供給手段２０による供給タイミングの決定及び供給軌道の計算を行う。
【００４２】
本発明の実施形態に係る作業支援システム１の構成は上記のとおりであり、この構成によって、作業者の移動データから生成したマルコフモデルを用いて、作業者が次の作業場所へ移動する到達時間及び移動軌道について予測されるのかについて説明する。
【００４３】
いま、作業空間が複数のセルに区分されてセル番号が付され、そのセル番号が状態変数として定義されているとする。また、図２に示すように、座標Ｘｃと座標Ｙｃからなる車体座標系Σｃの作業空間をセルに分割し、車一台毎に作業者が一連の作業を繰り返し行うものとすると、計測手段２１により、例えばＬＲＦにより作業者の位置が計測されるので、作業者位置推定手段２２により、自動車一台分の作業者の移動軌道データが得られる。マルコフモデル生成手段１５にはその自動車一台分の作業者の移動軌道データが入力される。マルコフモデル生成手段１５は、その入力を受けて状態遷移確率行列により記述されることにより、マルコフモデルを生成し、更新する。
【００４４】
作業者の移動経路を予測するために、マルコフモデル生成手段１５が作業者の行動データからマルコフモデルを生成する。いま、作業者の動きについて、図２に示すように、作業空間を複数のセルに区分けして各セルにセル番号を付して状態変数を定義する。作業者の作業空間、例えば車体座標系における作業空間をメッシュ状に離散化し、それぞれのセルに状態変数を定義する。各セルに対して離散時間間隔Δｔ（秒）毎に作業者の存在した回数をカウントし、統計的にマルコフモデルを生成する。
【００４５】
本実施形態においては、状態遷移確率ａijは各セルに固有であって、時間によって変化しない値である。つまり、あるセルに作業者が入ったら、この工程の作業開始からの時間は一切関係なく、ある状態継続時間長の期待値分の時間だけそのセルにとどまり、その後状態遷移確率の一番高いセルに移動する、というように作業者の運動をモデル化する。
【００４６】
具体的に説明すると、式（１）を用いて、状態遷移確率ａijを計算する。
【数１】
ここで、ｉは時間ｔ−Δｔのときの状態を示し、ｊは時間ｔのときの状態を示す。Ｎijは作業者が存在したセルがｉからｊへ遷移した回数を示し、Ｎiは作業者がセルｉ に存在した回数を離散時間間隔ごとにカウントしたものである。この状態遷移確率ａijを全iとjの組み合わせについてすべて求め、行列[ａij]としてあらわしたものが本実施形態におけるマルコフモデルである。なお、ｉ，ｊは状態変数の数がｍ個であれば、ｉ，ｊは１≦ｉ，ｊ≦ｍの関係式を満たす自然数である。
【００４７】
ここで、状態空間の離散化については，作業者の運動の特徴を十分にモデル化するために細かく設定する必要があるが、後述する作業者の行動予測をする際の計算量や計算処理能力を考慮して決定すればよい。例えば４ｍ×８ｍの状態空間を３２×６４マスに区分けすれば、作業空間を十分に網羅することが可能である。
【００４８】
このようにして作業者の移動データからマルコフモデルを生成する。図３に示すように、マルコフモデル生成手段１５は、車一台分の作業者の移動軌道データの入力のたびにマルコフモデルを更新してもよいが、必ず更新しなければならないというわけではない。マルコフモデルの更新は、作業者の行動や移動軌道が作業者の作業に対する慣れや疲労等によりマルコフモデルが変化し得るため、その変化に対応するために行う。これはもちろん作業者ごとにマルコフモデルを生成しておき作業者固有のものとして使用してもよいし、ある程度再現性のある作業の場合や作業者の運動に対し敏感にモデルを変更したくない場合はあえて更新を行わなくてもよい。最新の作業者の癖をマルコフモデルに反映させるべく、例えば過去のマルコフモデルを更新タイミング毎に数％ずつ忘却してゆく忘却型マルコフモデル学習アルゴリズムを用いる。このアルゴリズムとしては、例えば公知のＳＤＬＥ（Sequentially Discounting Laplace Estimation）アルゴリズムを利用することができる。
【００４９】
次に、上述の生成したマルコフモデルから作業行動をモデル化し作業行動を推定する。第１計算処理部１１によって、作業に対する作業者の存在位置について期待値を計算する。この期待値は、まず作業数のみを既知とし、マルコフモデルにおいて同じセルに居続ける確率の高いセルを抽出し、その抽出したセルの分布を作業数だけのガウス分布その他の分布で近似する。具体的にはＥＭアルゴリズムを用いて各作業におけるガウス分布のパラメータを計算し、そのガウス分布の中心の座標を各作業毎の作業者が存在する位置の期待値とする。ここで、ＥＭアルゴリズムとは、統計学において、確率モデルのパラメータを最尤法に基いて推定する手法であり、期待値（expectation，Ｅ）ステップと最大化（maximization，Ｍ）ステップとを交互に繰り替えることで計算を進行させるものである。
【００５０】
作業者の現在の位置については、第２計算処理部１２によって、前述のように計測手段２１及び作業者位置推定手段２２から求めた作業者の位置と、既に求めた分布であって各作業における作業者位置のガウス分布を比較することにより、作業者がその位置にいるならばどの作業を行っている確率が高いかが計算できるので、その作業を行っていると推定することができる。
【００５１】
第３計算処理部１３によって、作業者の移動軌道を予測する。作業者の移動軌道予測は、作業者の移動データから生成したマルコフモデルを利用して行われる。この予測は次の２つのステップから成っている。一つは、状態継続時間長の期待値の計算ステップであり、一つは状態遷移確率に従った遷移先の決定ステップである。
【００５２】
状態継続時間長の期待値の計算ステップについて説明する。
状態継続時間長とは、マルコフ過程において状態ｉに留まり続ける期間を意味する。状態継続時間を指定すると、式（２）から、状態iが指定した時間ｄ（秒）続く確率pi(d)を求めることができる。
【数２】
【００５３】
ここで、πiは初期確率を表す。状態継続時間長の期待値ｄexpは状態ｉが続く期間の平均を表したもので、式（３）から求めることができる。
【数３】
【００５４】
この状態継続時間長の期待値は、作業者がこのセルに留まり続ける期間の長さの期待値であるので、このｄexp後には別のセルに移動すると考えられる。したがって、移動軌道予測手法において、この期待値が移動時間を予測するために用いられる。
【００５５】
状態遷移確率に従って遷移先を決定するステップについて説明する。
状態継続時間長の考え方から、状態ｉが状態継続時間長の期待値ｄexpだけ続いた直後、状態は状態ｉ以外の状態ｊに遷移すると考えられる。すなわち、この状態ｊはｊ≠ｉを満たす何れかの状態である。状態の遷移先は状態遷移確率に従い、状態遷移確率が最大である状態に決定される。
【００５６】
よって、以上の、状態継続時間長の期待値を計算するステップ（Ｓｔｅｐ１）と状態遷移確率に従って遷移先を決定するステップ（Ｓｔｅｐ２）とを順に繰り返すことにより、作業者の移動軌道を求めることができる。
【００５７】
図４は、作業者の移動軌道予測を説明するための例を示す図である。（ａ）はＳｔｅｐ１とＳｔｅｐ２とを繰り返し、予測される観測系列を求める様子を示したものであり、（ｂ）は、予測された観測系列を基に、離散化された状態空間上において，予測される作業者の移動場所と移動経路を示している。
【００５８】
予測の手順としては、まず現在の作業者が離散化された状態空間上の状態３に存在したとして、Ｓｔｅｐ１により状態３に作業者が存在し続ける時間を計算する。次に、Ｓｔｅｐ２によって状態遷移確率に従った遷移先を決定する。いま、遷移先が状態９になったとする。そして、再びＳｔｅｐ１を行い、状態９に作業者が存在し続ける時間を求め、Ｓｔｅｐ２を再び適用して次の遷移先を決める。
【００５９】
このように、２つのステップを繰り返し、状態継続時間長の期待値の合計が対象とする予測時間Ｔｐとなったときに、最終的な遷移状態が、予測されるＴｐ時間後の作業者の移動場所である。図では、作業者の予測される移動場所は状態２０であり、予測される移動経路は、３，９，１４，２０であり，各セルに滞在する時間を含めた移動軌道としては３，３，３，９，９，１４，１４，１４，１４，２０，２０，２０，２０となる。
【００６０】
次に、第４計算処理部１４では、第２計算処理部１２で求まった作業者の現在位置と、第３計算処理部１３で求まった予測移動軌道とから、次の作業場所への予測到達時刻と予測移動軌道の計算を行う。具体的には、現在の作業から次の作業を特定し、次の作業箇所への移動が終了する時刻を求め、これと現在の時間の差から到達時間を求める。また次の作業場所への予測移動軌道は全予測軌道のうち現在の場所から次作業場所までの軌道をそのまま用いる。なお、第３計算処理部１３で求まる予測移動軌道とは、一連の作業を通して作業者の予測移動軌道であり、第４計算処理部１４で求める予測移動軌道とは、次の作業場所への作業者の予測移動軌道である。つまり、第４計算処理部１４では一連の作業者の予測軌道から、次の作業へ向かう予測軌道を抜き出している。
【００６１】
以上のように予測手段１０において、作業者に対する作業者の存在率の期待値と、次の作業場所への予測到達時間及び予測移動軌道とが求まる。
【００６２】
そこで、供給位置決定手段２３において、第１計算処理部１１から入力される「作業に対する作業者の存在率の期待値」が最も高い位置を供給位置（Ｘｎ，Ｙｎ）として決定する。この後、作業者が手を伸ばしやすい位置などのオフセット（Δｘn，Δｙn）を加えて最終供給位置とする。このオフセット値は教示などにより作業者の作業のしやすさなどを考慮した微調整を行うためにも用いられる。
【００６３】
供給軌道計算手段２４は、供給手段２０によって作業者に対して部品、工具その他の必要な物品を供給するタイミングを決定すると共に、供給手段２０の供給軌道ｘ（ｔ），ｙ（ｔ）を計算する。タイミングの決定は、予測手段１０から入力される、次の作業場所への予測到達時間から、供給手段２０によって部品、工具その他の物品を供給するタイミングを決定する。もっとも簡単には供給タイミングは作業者の予測到達時間をそのまま用いることができ、また意図的に前倒しの時間を設けて早めに供給することができる。供給手段２０の軌道計算は、予測手段１０から入力される、次の作業場所への作業者の予測移動軌道と、供給位置決定手段２３から入力される供給位置に供給位置オフセット情報（ΔＸｎ，ΔＹｎ）を加えた最終供給位置と、決定した供給タイミングとから、供給手段１１の供給軌道を計算する。ここで、供給軌道は、ただ単に工具、部品その他の必要な物品の補給位置から最終供給位置までを直線で結んだものを、時間軸に関して例えば多項式で補間した軌道でもよいし、作業者の予測移動軌道を考慮して衝突が起こりにくいように作成した軌道であってもよい。
【００６４】
供給手段２０は、ロボットアームや移動ロボットその他のロボット、ベルトコンベアその他の搬送機構を備え、供給軌道計算手段２４から入力された供給軌道ｘ（ｔ），ｙ（ｔ）に従って、それらの機構の先端、例えばロボットアームの手の先を移動させる。この供給手段２０には、搬送機構の他、作業に応じて部品、工具などの必要な物品のリストが情報として蓄積されており、供給軌道計算手段２４からの入力により、そのリストアップの中から、必要な物品が選択され、搬送機構により、作業者の手元に供給される。
【００６５】
本発明の実施形態によれば、作業進行状況を推定し、作業者により作業が早く進んでいる場合にも、そのときの作業進度に合わせて、遅れることなく作業者に対して部品や工具など必要なものを供給することができる。
【００６６】
上述した本発明の実施形態では、特に、作業者の作業空間が状態変数として複数のセルに区分されている場合を例にとって説明しているが、例えば作業者の運動パターンを別途用意したセンサで取得し、この取得した運動パターンから作業状況を推定し、その推定値を状態変数としてもよい。状態変数をこのように設定しても、作業者の運動パターンから生成したマルコフモデルを用いて作業者が次の作業場所へ移動する到達時間及び移動軌道などを予測することができ、その予測結果に応じて作業者の移動軌道を求めて、供給手段を制御するようにしてもよい。
【符号の説明】
【００６７】
１：作業支援システム
１０：予測手段
１１：第１計算処理部
１２：第２計算処理部
１３：第３計算処理部
１４：第４計算処理部
１５：マルコフモデル生成手段
２０：供給手段
２１：計測手段
２２：作業者位置推定手段
２３：供給位置決定手段
２４：供給軌道計算手段
【特許請求の範囲】
【請求項１】
作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段と、
上記予測手段によって予測した作業者の行動に基いて、作業者に対して部品、工具その他の必要な物品を供給する供給手段と、
を備える、作業支援システム。
【請求項２】
前記予測手段が、前記マルコフモデルから、任意の状態変数のままである期間（以下、「状態継続時間長」と呼ぶ。）の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する、請求項１に記載の作業支援システム。
【請求項３】
前記予測手段が、
前記マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第１計算処理部と、
上記第１計算処理部で求めた各作業毎に作業者の状態の期待値から、作業者が現在行っている作業を推定する第２計算処理部と、
前記マルコフモデルから、任意の状態変数のままである期間（以下、「状態継続時間長」と呼ぶ。）の期待値を計算すること、その状態継続時間長が経過したときの移動先を決定することによって、予測される作業者の移動軌道を計算する第３計算処理部と、
上記第２計算処理部で推定した現在の作業と上記第３計算処理部で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める第４計算処理部と、
を備える、請求項１に記載の作業支援システム。
【請求項４】
前記第４計算処理部で求めたものであって次の作業場所へ移動する到達時間及び次の作業場所への予測移動軌道に基いて、前記供給手段の供給タイミング及び供給軌道を計算する供給軌道計算手段を備える、請求項３に記載の作業支援システム。
【請求項５】
前記予測手段が、前記マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第１計算処理部を備え、
さらに、上記第１計算処理部で求めた期待値であって各作業毎の作業者が存在する位置の期待値から、供給位置を決定する供給位置決定手段を備える、請求項１に記載の作業支援システム。
【請求項１】
作業者の移動データから生成したマルコフモデルを用いて作業者の行動を予測する予測手段と、
上記予測手段によって予測した作業者の行動に基いて、作業者に対して部品、工具その他の必要な物品を供給する供給手段と、
を備える、作業支援システム。
【請求項２】
前記予測手段が、前記マルコフモデルから、任意の状態変数のままである期間（以下、「状態継続時間長」と呼ぶ。）の期待値を計算すること、及び、その状態継続時間長が経過したときの移動先を決定することにより、作業者の移動軌道を予測する、請求項１に記載の作業支援システム。
【請求項３】
前記予測手段が、
前記マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第１計算処理部と、
上記第１計算処理部で求めた各作業毎に作業者の状態の期待値から、作業者が現在行っている作業を推定する第２計算処理部と、
前記マルコフモデルから、任意の状態変数のままである期間（以下、「状態継続時間長」と呼ぶ。）の期待値を計算すること、その状態継続時間長が経過したときの移動先を決定することによって、予測される作業者の移動軌道を計算する第３計算処理部と、
上記第２計算処理部で推定した現在の作業と上記第３計算処理部で計算した予測移動軌道とに基いて、次の作業場所へ移動する到達時間と次の作業場所への予測移動軌道を求める第４計算処理部と、
を備える、請求項１に記載の作業支援システム。
【請求項４】
前記第４計算処理部で求めたものであって次の作業場所へ移動する到達時間及び次の作業場所への予測移動軌道に基いて、前記供給手段の供給タイミング及び供給軌道を計算する供給軌道計算手段を備える、請求項３に記載の作業支援システム。
【請求項５】
前記予測手段が、前記マルコフモデルから状態遷移確率の低い状態変数を抽出し、その抽出した状態変数の分布から、各作業毎に作業者の状態の期待値を求める第１計算処理部を備え、
さらに、上記第１計算処理部で求めた期待値であって各作業毎の作業者が存在する位置の期待値から、供給位置を決定する供給位置決定手段を備える、請求項１に記載の作業支援システム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−５４７０３（Ｐ２０１３−５４７０３Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９４３９４（Ｐ２０１１−１９４３９４）
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００１５７０８３）トヨタ自動車東日本株式会社 (1,164)
【出願人】（５０４１５７０２４）国立大学法人東北大学 (2,297)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００１５７０８３）トヨタ自動車東日本株式会社 (1,164)
【出願人】（５０４１５７０２４）国立大学法人東北大学 (2,297)
【Ｆターム（参考）】
[ Back to top ]