作業内容測定装置及び作業管理装置
【課題】より高精度の作業内容の測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及び作業管理装置を提供する。
【解決手段】作業者及び当該作業者により作業される作業対象の画像に基づいて作業者及び作業対象に係る情報を取得し、かつ、作業対象または当該作業対象とつながった物体に設けられた第１センサーにて自己検出された、当該第１センサーの空間的位置に係る情報を取得し、作業者及び作業対象に係る情報と、第１センサーの空間的位置に係る情報とを統合することで、作業内容の測定結果を示す第１統合情報を生成する作業内容測定装置であって、作業者の一部に設けられた第２センサーにて自己検出された、当該第２センサーの空間的位置に係る情報を取得し、第１統合情報に対し、第２センサーの空間的位置に係る情報をさらに統合することで第２統合情報を生成し、第２統合情報を作業内容の測定結果として出力する。
【解決手段】作業者及び当該作業者により作業される作業対象の画像に基づいて作業者及び作業対象に係る情報を取得し、かつ、作業対象または当該作業対象とつながった物体に設けられた第１センサーにて自己検出された、当該第１センサーの空間的位置に係る情報を取得し、作業者及び作業対象に係る情報と、第１センサーの空間的位置に係る情報とを統合することで、作業内容の測定結果を示す第１統合情報を生成する作業内容測定装置であって、作業者の一部に設けられた第２センサーにて自己検出された、当該第２センサーの空間的位置に係る情報を取得し、第１統合情報に対し、第２センサーの空間的位置に係る情報をさらに統合することで第２統合情報を生成し、第２統合情報を作業内容の測定結果として出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置に関する。
【背景技術】
【０００２】
人の行動を測定するシステム（装置）が多数考案されており、このようなシステムを用いて、教育を行ったり、危険を警告したり、広告を行ったり、支援情報を与えたりすることが実現されている。具体的には、車に搭載されているカーナビゲーションや携帯電話にも多く利用されているＧＰＳ（Global Positioning System、全地球測位システム）やＲＦＩＤ（Radio Frequency IDentification）などにより人の位置を測定することにより作業内容を予測したり、カメラにより取得した作業者の画像情報を画像処理することにより作業者の作業を認識したりするシステムが考案されている。
【０００３】
特許文献１に記載の手指衛生励行システムは、看護士に複数の加速度センサーを付着させ、これらの加速度センサーの信号を情報処理することにより、看護士の手洗いを測定し、手指の動き及びこれに対応する清潔さを予測し、看護士の手指衛生を管理するシステムである。このシステムでは、加速度センサーは手洗い場及び手洗い場の蛇口や石鹸には設けられておらず、看護士にのみ設けられており、それも手指ではなく腕などに設けられた加速度センサーの信号から予測することを実現している。
【０００４】
また、特許文献１では、複数のカメラが利用されている。しかしながら、これらのカメラの画像は自由映像生成装置として用いられており、タイムスタンプを付与された上で、加速度センサーにより予測した手洗い状況を表示することに用いられているのみであり、確認または教育的な効果に用いられているのみである。
【０００５】
特許文献２に記載の危険運転予防意識判定システムは、自動車の運転手の帽子つまり頭部に加速度センサーを付着させ、この加速度センサーの信号を情報処理することにより、運転手の目視確認動作を測定し、危険運転予防意識を測定し、教育の必要な運転者を定量的に判定するシステムである。このシステムでは、加速度センサーは頭部以外にもアクセル及びブレーキを踏む右足にも付着させており、これら各センサーの信号を統合して情報処理して運転手の意図を予測することを実現している。
【０００６】
また、特許文献２では、複数のカメラが利用されている。しかしながら、これらのカメラの画像は、車内映像に関しては、あくまで運転データ記録装置として、過去の運転の状況を表示することに用いられているのみであり、確認または教育的な効果に用いられているのみである。
【０００７】
特許文献３に記載の運転動作解析装置は、自動車の運転手のアクセル及びブレーキを踏む右足に加速度センサーを付着させた以外に、運転手の両手首にも加速度センサーを付着させ、さらには運転手が運転している、車本体にも加速度センサーを付着させ、これらからの信号を統合して情報処理して運転手の異常な運転動作を予測することを実現している。
【０００８】
また、特許文献３では、カメラが、両手首や右足に貼り付けたマーカを用いた光学式モーションキヤプチャとして設けられ、利用されている。しかしながら、このカメラの画像は、加速度センサーの代替であり、両手首や右足に付着させた加速度センサーと連携して用いられているわけではない。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記事情に鑑みてなされたものであり、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置において、より高精度の作業内容の測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するために、本発明の作業内容測定装置は、作業者及び当該作業者により作業される作業対象の画像に基づいて作業者及び作業対象に係る情報を取得し、かつ、作業対象または当該作業対象とつながった物体に設けられた第１センサーにて自己検出された、当該第１センサーの空間的位置に係る情報を取得し、作業者及び作業対象に係る情報と、第１センサーの空間的位置に係る情報とを統合することで、作業内容の測定結果を示す第１統合情報を生成する作業内容測定装置であって、作業者の一部に設けられた第２センサーにて自己検出された、当該第２センサーの空間的位置に係る情報を取得し、第１統合情報に対し、第２センサーの空間的位置に係る情報をさらに統合することで第２統合情報を生成し、第２統合情報を作業内容の測定結果として出力することを特徴とする。
【００１１】
本発明の作業管理装置は、本発明の作業内容測定装置から入力した所定の作業内容の測定結果を示す統合情報に基づいて、作業の管理を行うことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置において、より高精度の作業内容の測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を実現することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第一の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。
【図２】本発明の第一の実施形態に係る作業内容測定装置のセンサーIIの信号の一例である。
【図３】本発明の第一の実施形態に係る作業内容測定装置置のセンサーIIの信号の別の例である。
【図４】本発明の第二の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。
【図５】本発明の第三の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について添付図面を参照して詳細に説明する。
【００１５】
［第一の実施形態］（請求項１に係る実施形態）
本発明の第一の実施形態に係る作業内容測定装置の構成について、図１に基づいて説明する。
【００１６】
まず、図１に示す各符号について以下に説明する。１は、作業者１１と作業の作業対象物１２の画像情報を取得するカメラ（画像取得手段の一例）である。２は、カメラ１により取得した画像情報である。３は、画像情報２に対して画像処理を行う画像処理手段である。４は、画像処理手段３の後段となる、作業者情報／作業対象物情報取得手段である。５は、作業者情報／作業対象物情報取得手段で取得した作業者情報及び作業対象物情報である。６は、作業の作業対象物１２またはその作業対象物１２とつながった物体に設けられ、空間的情報を自己検出し、それを無線によって出力する信号出力型のセンサーI（第１センサーの一例）である。７は、センサーIから出力された無線信号を入力する無線信号入力手段（第１無線信号入力手段の一例）である。８は、センサーI７から入力された無線信号を処理する信号情報処理手段I（第１信号情報処理手段の一例）である。９は、信号情報処理手段I８によって取得したセンサー信号処理情報Iである。１０は、作業者情報／作業対象物情報５及びセンサー信号処理情報I９を統合し、第１統合情報を生成する統合情報処理手段I（第１統合情報処理手段の一例）である。１１は、作業者である。１２は、作業対象物である。１３は、作業対象物１２を支持（載置）する台車である。なお、作業対象物１２は、作業者１１が所定の作業を行う対象（作業対象）の一例であり、その作業対象は必ずしも「物」である必要はない。
【００１７】
また、１４ａ及び１４ｂは、作業者１１の左右の腕に設けられ、空間的情報を自己検出し、それを無線によって出力する信号出力型のセンサーII（第２センサーの一例）である。１５は、センサーII１４ａ及び１４ｂから出力された無線信号を入力する無線信号入力手段（第２無線信号入力手段の一例）である。１６は、センサーII１４ａ及び１４ｂから入力された無線信号を処理する信号情報処理手段II（第２信号情報処理手段の一例）である。１７は、信号情報処理手段II１６によって取得したセンサー信号処理情報IIである。１８は、統合情報処理手段Iから出力された第１統合情報と、センサー信号処理情報IIとを統合し、第２統合情報として作業内容情報を生成する統合情報処理手段II（第２統合情報処理手段の一例）である。１９は、測定した作業者の作業内容を示す作業内容情報である。２０は、上記１〜１９よりなる作業内容測定装置（作業者測定装置）である。２１は、作業内容測定装置２０を用いた作業管理装置（作業者管理装置）である。
【００１８】
図１において、例えば、作業対象物１２はオフィス用ＩＴ機器であるとし（以下、機器１２ともいう）、作業者１１は機器１２の組み立て工場の作業者であるとする。機器１２は、台車１３の上に搭載され、工場内を運搬されると同時に、工場内で複数の部品を複数の作業者及び複数の工程により組みつけられる。工場では、組み立て進捗管理、作業の信頼性確認、部品の管理等のために、作業者の作業内容を測定できることで、工場の時間あたりの生産効率を向上し、作業者の負担を低減し、無駄な作業を低減し、これらにより環境負荷を低減させると同時に、製品としての信頼性を向上して製品利用者（ユーザ）の負荷を低減することができる。さらには、結果として低コスト化にも寄与しており製品利用者の負担を低減することができる。
【００１９】
図１においては、カメラ１により、図中の２本の点線で示される範囲の特定の角度内の画像を取得することができる。この範囲に作業者１１と作業対象物１２を設定することにより、画像情報２として、作業者１１及び作業対象物１２の画像情報を取得することができる。画像処理手段３がこの画像情報２を画像処理することにより、作業者１１の左右の手の形状と位置及び作業対象物１２の形状と位置を計測することができる。この情報を基に作業者情報／作業対象物情報取得手段４により、あらかじめ記憶しておいた設定情報に基づいた相関評価手段や学習による評価手段等の評価手段をこれらの時系列データと組みわせて用いることで、作業者情報／作業対象物情報５を取得することができる。
【００２０】
なお、上述した、カメラ１における２つの点線で示される範囲の特定の角度とは、カメラ１のレンズ焦点距離及びカメラ結像素子の大きさ及び開口で決まる「カメラの画角」以下の角度であり、焦点距離可変のズームレンズを持ちることにより、その画角を適宜変化させてもよい。人の全体動作の画像を取得することが必要な場合には作業者の身体全体を対象作業中に常に取得できる最少の角度とすることが好ましい。角度を大きくし過ぎると画像の分解能が劣化して画像処理時に誤差が生じやすくなり好ましくない。具体的には、高さ３ｍの天井付近にカメラを設置して立ち作業を機器に対して実施する場合には、３０度〜７５度となる（３５ｍｍフィルムカメラ換算で、レンズ焦点距離約２８〜８５ｍｍに相当）。
【００２１】
また、上述した、画像処理手段３における画像情報２に対する画像処理としては、輪郭抽出処理、輪郭追跡処理、ベクトル抽出処理、さらにはパターン認識処理により作業者の左右の手を認識した後、作業者の左右の手の形状と位置及び作業対象物の形状と位置を計測することができる。なお、画像処理手段３における画像処理方法は上記処理に限定されるわけではない。
【００２２】
また、上述した、あらかじめ記憶しておいた設定情報としては、作業対象物１２に対する作業者１１の工程（「部品Ａをつける」、「機器の台車を移動する」等の要素工程）及び動作（「部品Ａをつかむ」、「部品Ａを移動する」、「部品Ａを押す」、「部品Ａをはなす」、「機器をつかむ」、「機器を（台車ごと）移動させる」等の要素動作）と、この工程及び動作に対応して取得した画像の画像処理結果との相関情報である。相関情報は、ＳＶＭ（サポートベクターマシン）、ベイズ推論、ニューラルネットワーク等の統計処理を用いることで取得することができる。また、この統計処理を用いることで、相関評価手段、さらには学習による評価手段等の評価手段を適用することができる。
【００２３】
この評価手段を適用するに際しては、特定時刻の画像データをその時刻の作業の評価に単純に用いるのだけではなく、画像データの時系列データとしての変化情報を、別途事前の相関検証実験により取得した評価対象候補として記憶している時系列データとなる作業及び作業者に関わる情報と組み合わせて用いることで、画像データからその画像データに相関する作業及び作業者に関わる情報を評価する場合の精度が向上する。この組み合わせる情報としては、具体的には、時系列の画像データと作業との相関情報、時系列の画像データと作業者との相関情報、作業と作業者の相関情報、作業の時系列情報がある。
【００２４】
一方、図１において、空間的情報を自己検出する無線による信号出力型となる、３軸直線加速度センサー及び３軸ジャイロを設けたセンサーI６を作業対象物１２に付着させており、これは無線により信号を出力する。そして、センサーI６からの信号は作業対象物１２と空間的に非接続である無線信号入力手段７に入力される。この後、その信号は信号情報処理手段I８により処理され、センサー信号処理情報I９となる。統合情報処理手段I１０は、センサー信号処理情報I９と、作業者情報／作業対象物情報５とに対して、統合情報処理を行う。ここでの統合情報処理とは、複数要素の情報を統合して統一的な出力をする処理（第１統合情報の出力）のことである。また、このときの作業内容としては、作業対象物１２を９０度回転する作業や、部品をはめ込み設置する作業や、部品をネジ締めする作業等、非常に複数の作業がある。
【００２５】
３軸直線加速度センサー及び３軸ジャイロを設けたセンサーI６は、そのセンサーの信号から、センサーの存在している相対空間情報を検出することができる。３軸直線加速度センサーの加速度が大きいときにはその大きい方向への手や腕などのセンサーを付けた部分への移動の加速度が大きい状態であり、軸ジャイロを設けたセンサーの場合には回転加速度が大きい場合である。また、３軸直線加速度センサーはその加速度を積分処理及び補正処理を実施することにより速度、２重積分処理及び補正処理を実施することで相対移動距離を算出することができる。積分処理に際しては、速度ゼロの特定が必須であるが、通常の作業工程においては、部品をつかむ瞬間は速度ゼロに近い状態であり、特定の部品をつかむ瞬間をこの３軸直線加速度センサー及び３軸ジャイロを設けたセンサーIの情報から検出することで、速度ゼロに近い状態を検出でき、これにより移動速度や相対移動距離を計算することができる。
【００２６】
上記統合処理は、別途画像データより得られた作業者情報及び作業対象物情報５とセンサー信号処理情報I９とを一つの多次元データとして扱い、この一つの多次元データに対する多変量解析によって新たな作業者情報／作業対象物情報に関わる作業内容情報１９を取得することである。具体的な情報処理手段としては、前述のＳＶＭ（サポートベクターマシン）、ベイズ推論、ニューラルネットワーク等の統計処理を用いることができる。
【００２７】
このような状況で、上述の作業対象物１２に付着したセンサーI６は、その作業対象物１２とつながった物体となる、作業対象物１２を設置した台車１３に付着させてもよい。この場合、製品そのもの付着させずに工場で複数回利用する台車を用いているために、センサーI６の設置や回収、個々のキャリブレーション不要等の利点が生じる。
【００２８】
上述した構成と同時に、空間的位置を自己検出する無線による信号出力型となる、３軸直線加速度センサー及び３軸ジャイロを設けたセンサーII１４ａ及び１４ｂを、作業者業対１１の左右の腕に付着させており、これらは無線により信号を出力する。センサーII１４の信号は、作業者と空間的に非接続である無線信号入力手段１５に入力される。この後、その信号は信号情報処理手段II１６により処理され、センサー信号処理情報II１７となる。統合情報処理手段II１８は、センサー信号処理情報II１７と、第１統合情報（作業者情報／作業対象物情報５とセンサー信号処理情報I９とが統合されたもの）とに対して、統合情報処理を行う。ここでの統合情報処理とは、複数要素の情報を統合して統一的な出力をする処理（第２統合情報、すなわち作業内容情報の出力）のことである。この統合情報処理II１７により、作業内容の測定結果としての作業内容情報１９が出力される。
【００２９】
作業内容測定装置２０と別体または一体となる作業管理装置２１は、作業内容測定装置２０で測定された作業内容を示す作業内容情報１９を用いることにより、以下のような作業の管理を行う。作業管理装置２１は、例えば、作業者１１の組み立て進捗状況、作業状況、部品利用状況等を、作業内容測定装置２０とは別にあらかじめまたはリアルタイムに工場の生産計画及び工程から取得する情報と統合することにより、作業者１１が計画通りに組み立てているか、作業者１１が忙しくて負荷が高くなっていないか、トラブルが発生してないか、身体の危険の可能性がないか、作業手順に間違いはないか、不足な部品はないか等を管理することができるようになる。
【００３０】
従来は、画像情報２による作業者情報／作業対象物情報５からのみでは、画像情報２の取得に複数のカメラ１が必要であったり、ＣＰＵ（Central Processing Unit）負荷の非常に大きいことからコスト高であったり、リアルタイム処理が困難で遅延が大きかったりするといった作業内容測定しかできなかった問題があった。そして、その問題を改善する技術としては、センサーI６に基づくセンサー信号処理情報I９を作業者情報／作業対象物情報５に統合（付加）することにより、作業対象物１２が実際に動いた時刻及びその位置変化や衝撃を測定できることを利用して、カメラ１の個数を削減したり、ＣＰＵ負荷を小さくしてコストを低減したり、リアルタイム処理を実現したりしていた。
【００３１】
しかしながら、センサーI６に基づくセンサー信号処理情報I９を付加しただけでは、実際の作業対象物１２の位置変化や衝撃だけの測定となり、作業をする作業者１１の動きを直接にセンサーI６で測定しているわけではないので、作業内容を測定するには不十分であり、画像処理をより複雑にすることがあったり、逆に作業内容測定の粒度が低下したり信頼性が低下したりしていた。
【００３２】
そこで、本発明の第一の実施形態においては、従来のセンサー信号処理情報I９と作業者情報／作業対象物情報５を統合した統合情報処理手段I１０からの出力情報（第１統合情報）に対して、さらに、実際に作業を行っている作業者１１の動きを直接測定するセンサーII１４ａ及び１４ｂの信号に基づくセンサー信号処理情報II１７を加えて統合している。よって、作業者１１の動作基準で定義する作業内容に対して、その粒度を小さくしたり、信頼性を向上したりすることを実現できるようになる。
【００３３】
図２は、本発明の第一の実施形態である作業内容測定装置２０において、作業者１１の左腕に付着させたセンサーII１４ｂで取得した信号を示す。図２において、横軸は相対時刻であり（単位は秒）、縦軸は加速度である（単位はｍＧ）。また、ｘ、ｙ、ｚはそれぞれ、左腕を、その手の甲を水平にして前に出した場合に、前後がｘ（正は手前側）、左右がｙ（正は右手側）、上下がｚ（正は床側）である。図２は、作業対象物１２（例えば複写機）が各台車１３に１機ずつ設置されている場合において、作業者１１が台車１３ごとに複写機を４５度回転する作業を含む組み立て作業を実施した場合に測定された信号を示している。別途、センサーI６は台車１３に設定してある。また、センサーI６及びセンサーII１４ｂ（左手に装着）には、３軸直線加速度センサーからなる小型無線ハイブリッドセンサ WAA-00（ワイヤレステクノロジー株式会社製）を用いた。実際には、作業者１１には複数個の加速度センサーを付着させている。
【００３４】
例えば図２における約０．７秒時から約１．５秒時の間（図中の両矢印で示す間）は、作業者１１が、左手を用いて台車を４５度回転させた状況でかつ左手が複写機１２の一部を掴んでいるまたは触れている状況の信号を示しており、作業者１１は左手の手の甲を、複写機１２の組み立て中の裸のフレームを掴むために手の甲を左側に向けており、このため平均的に１０００ｍＧ前後の加速度が加わっており、逆にＺ軸は平均的に０レベル前後の加速度が加わっている。また、これらの作業内容及び時刻は、センサーI６及びセンサーII１４ｂとは別途設けてある左右の手の動きを取得できるカメラを用いた画像情報により測定した。
【００３５】
このとき、作業者１１が複写機１２の裸のフレームを左手でつかんだ直後に、ｘ・ｙ・ｚ軸とも急峻なピークを示しており、これは力を加えて複写機１２に運動エネルギーを加えるために手に力が加わったことに対応している。また、作業者１１が複写機１２の裸のフレームを左手で離す直後に、ｘ・ｙ・ｚ軸ともその量の大きな変化を示しており、これは力を加えて複写機１２のフレームと一体となって動いていた左手を滑らかに離すと同時に、その次の工程に向けた準備をするために直ちに手を素早く動かすことと対応している。
【００３６】
ただし、図２において約１．５秒に縦実線として記載した、センサーII１４ｂの信号以外に基づいて測定した作業者１１が複写機１２の裸のフレームを左手で離す時刻と、その時刻のセンサーII１４ｂの比較的に滑らかな変位状態の信号からわかるように、作業者１１が生産性効率向上のためにスムーズな作業をする場合には、要求される時間分解能にもよるが、作業者１１に付着したセンサーII１４ｂのみで信頼性の高い作業内容測定となるとは限らない。しかしながら、カメラ１の画像情報２に基づいて作業者１１の左手と裸のフレームが接した時刻を検出することは可能であり、これらの情報を統合情報処理手段II１８で処理することにより、より信頼性の高い作業内容測定を実現できることとなる。同様に、作業内容により、作業対象物１２に付着したセンサーI６の信号に対しても、これらの情報を統合情報処理手段II１８で処理することにより、より信頼性の高い作業内容測定を実現できることとなる。
【００３７】
図２に示すように、作業者１１に付着したセンサーII１４ｂの信号に基づくセンサー信号処理情報II１７を、従来のカメラによる画像情報２に基づく作業者情報／作業対象物情報５、及び、作業対象物１２に付着したセンサーI６に基づくセンサー信号処理情報I７に加え、これらを統合情報処理することにより、作業者１１の動作基準で定義する作業内容に対して、その粒度を小さくしたり、信頼性を向上したりすることを実現できるようになる。また、カメラによる左右の手の動きの画像情報が、その作業対象物１２で遮蔽死角にあり取得できない場合にも、センサーI６の情報と合わせて、その作業内容測定の信頼性を向上することができるようになる。
【００３８】
図２は、センサーII１４ｂの信号のみであるが、これと同様に、右腕、左右の上腕、腰、胸、頭部、足首等につけたセンサーにより、その工程に特徴を有する信号が得られており、その作業者１１の工場での複写機の組み立てに関する多様な作業内容または作業対象物１２に応じて適切に設けることが効果的であり、それら複数のセンサーからの信号を統合して情報処理することが好ましい。
【００３９】
図３において、上側に示すグラフは、図２に示した特定の台車１３を４５度回転に対する作業内容を含むセンサーII１４ｂの信号を示しており（図２と同データ）、下側に示すグラフは、上記とは異なる台車１３を４５度回転に対する作業内容を含むセンサーII１４ｂの信号を示しており、図３において横軸及び縦軸及び条件は図２と同じである。図３に示すように、作業内容によりセンサーII１４ｂの信号の相関が、異なる肯定でも、台車１３ごと複写機１２の４５度の回転、といった共通の粒度の作業に対しては、非常に高いことがわかる。このため、これらの相関係数処理または主成分分析またはパターン認識処理等の情報処理を行うことにより、センサーII１４ｂの出力から作業者１１の動作基準で定義する作業内容の特定できる。
【００４０】
なお、本実施形態では、図１において、統合情報処理手段を、統合情報処理手段I１０と統合情報処理手段II１８と２つの区分しているが、作業者情報／作業対象物情報５、センサー信号処理情報I９、センサー信号処理情報II１７、の３つの情報に対して統合情報処理を行うものとして、統合統合情報処理Iと統合情報処理IIとを融合させた新たな統合情報処理IIIを設けた構成でも同様に効果的である。この場合、作業内容測定装置２０の情報処理部分を一体化することで場合により小さくできると同時、ステップではなく同時に関連性のあるデータを扱うことでその測定内容の信頼性を向上することができる。ただし、情報処理すべきデータ種類が多くなり、情報処理手法によってはべき乗で増加する場合があり、場合によりステップ処理とした場合が効果的な場合もあり、これらは、作業内容、作業対象物、センサーI６及びセンサーII１４の種類や数によって選択されるべきである。
【００４１】
また、本実施形態では、図１において、センサーI６の無線信号入力手段７とセンサーIIの無線信号入力手段１５との構成を入れ替えた構成でも同様に効果的である。この場合にも、従来と比べて作業者１１の動作基準で定義する作業内容の特定しやすくなる。この場合の具体的な構成としては、センサーI６は、作業者１１に設けられ、作業者１１の一部の空間的位置を自己検出し、また、センサーII１６は、作業対象物１２または作業対象物１２とつながった物体に設けられ、作業対象物１２または作業対象物１２とつながった物体の空間的位置を自己検出する。
【００４２】
また、図２及び図３では、センサーI及びセンサーIIとして直線加速度センサーを用いたが、直線加速度センサーに限定する必要はなく、空間的位置を自己検出するセンサーIIが、ジャイロセンサーまたは地磁気センサーからなることを特徴とした作業内容測定装置であっても同様に効果的である。ただし、作業者の位置だけではなく、身体動作を検出できるセンサーであることが好ましい。
【００４３】
また、本実施形態において適用（測定）できる作業は、工場における複写機等の組み立て現場に限定されるものではない。建設現場で安全性が重要であったり、作業対象物を掴む作業者以外の第３者からの助言による支援が必要であったりする場合も同様に効果的である。これらの現場での教育にも同様に効果的である。さらには、自動車の運転手、医療現場、オフィスなどで、作業者の身体による作業とその対象物との関係が重要な業務では、本実施形態の作業内容測定装置２０及びこれを用いた作業管理装置２１は、その生産効率を向上し、作業の信頼性を向上し、作業の安全性を向上し、また結果として環境負荷を低減でき、低コスト化を実現できる等いろいろな効果を実現できる。
【００４４】
以上説明したように、本実施形態によれば、カメラから取得した作業者及び作業対象物の画像情報に対する画像処理及び作業対象物に設けた空間的位置を自己検出するセンサーを用いた作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置に対し、より高精度の作業内容測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を実現することができる。
【００４５】
［第ニの実施形態］（請求項２に係る実施形態）
本発明の第ニの実施形態を示す作業内容測定装置の構成について、図４に基づいて説明する。
【００４６】
図４は、本発明の第一の実施形態となる図１の構成に、第１制御手段（センサーI／II及び信号情報処理手段I／II制御手段）２２を設けた構成である。この第１制御手段２２は、カメラ１による画像情報２に基づいた作業者情報／作業対象物情報５（作業者情報または作業対象物情報のいずれか一方でもよい）に従って、センサーI、センサーII、信号情報処理手段I、信号情報処理手段IIのうちの複数又は単数を、同時にあるいは個別に制御する手段である。センサーI及びセンサーIIが無線出力を有したものであるならば、これらのセンサーに無線命令入力手段を設けるようにし、また、第１制御手段２２に無線命令出力手段を設けるようにすることで、直接センサーI及びセンサーIIを制御することができる。信号情報処理手段I及び信号情報処理手段IIに対しては、有線により命令信号を出力して制御することができる。
【００４７】
例えば、第１制御手段２２は、作業者情報／作業対象物情報５を基に、作業者１１が作業対象物１２と７０ｃｍ以上離れておりかつ作業対象物１２の位置に変化が少ないと判断した場合には、作業者１１により作業対象物１２の位置や状態が変位することがないので、作業対象物１２に付着させたセンサーI６、無線信号入力手段７及び信号情報処理手段I８を省電力モードに制御する。これにより、センサーI６の電池動作寿命を向上したり、無線信号入力手段７及び信号情報処理手段I８の消費電力を実現したり、さらにはこれに関連する通信付加を低減して環境負荷をより低減した作業内容測定装置２０を実現したりできるようになる。
【００４８】
また、例えば、第１制御手段２２は、作業者情報／作業対象物情報５を基に、作業者１１が作業対象物１２と１０ｃｍ以下となった場合に、作業者１１により作業対象物１２への作業が生じる確立が高いと判断し、作業対象物１２に付着させたセンサーI６のサンプリング周波数を増加するように制御したり、無線信号入力手段７の伝送レートを増加するように制御したり、信号情報処理手段I８の処理能力が向上するように制御したり、さらには、作業者情報／作業対象物情報５に応じて学習した最適な処理手段に変更するように制御したりする。これにより、より信頼性を高く、かつより環境負荷を低減した作業内容測定装置２０を実現できるようになる。
【００４９】
本実施形態の第１制御手段２２は、作業者情報／作業対象物情報５として上述した距離情報にのみに適用されるものではなく、カメラ１による画像情報２に基づいた作業者区別や作業対象物区別さらには作業内容やその時刻等に対応して、適切に、センサーI、センサーII、信号情報処理手段I、信号情報処理手段IIを制御することができる。
【００５０】
［第三実施形態］（請求項３に係る実施形態）
本発明の第三実施形態を示す作業内容測定装置の構成について、図５に基づいて説明する。
【００５１】
図５は、本発明の第一の実施形態となる図１の構成に、第２制御手段（画像処理手段制御手段）２３を設けた構成である。この第２制御手段２３は、センサーIIに対するセンサー信号処理情報IIに基づいて、カメラ１による画像情報２に対する画像処理手段３を制御することで、その画像処理設定を変化させることができる。
【００５２】
例えば、第２制御手段２３は、センサーIIに対するセンサー信号処理情報IIに基づいて、作業者１１が大きな動作、つまり大きな信号の変化または特定の作業内容を確認できるときには、作業者１１が意味のある作業をしている可能性が高いと判断し、画像処理手段３に制御命令を出力する。この制御命令を入力した画像処理手段３は、特定の作業内容を分離する画像処理や高フレームレートでの画像処理等、制御命令を入力する以前とは異なる画像処理モードでの画像処理を、画像情報２に対して実施する。これにより、高い信頼性での作業内容測定能力を有することができるようになる。また、制御命令がない場合は、画像処理手段３を省エネモードとしておくことにより、環境負荷を低減することもきる。
【００５３】
本実施形態の第２制御手段２３は、センサーIIに対するセンサー信号処理情報IIに基づいた上述した作業者１１の大きな動作や特定の作業内容の場合だけに適用されるものではなく、例えば、別途作業管理装置２１として管理及び認識される特定の作業者区分や特定の作業対象区分のものが工程にある場合に、第２制御手段２３により画像処理手段３を制御する等、他の場合にも効果的である。
【００５４】
なお、本実施形態の第２制御手段２３を、図４の構成（第二の実施形態の構成）に加えるように構成してもよい。
【００５５】
以上、本発明の各実施形態について説明したが、上記各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。
【００５６】
例えば、上述した実施形態における動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【００５７】
ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。
【００５８】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＭＯ（Magneto Optical）ディスク、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。
【００５９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【００６０】
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【００６１】
また、上記実施形態で説明した構成は、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。
【符号の説明】
【００６２】
１ カメラ
２ 画像情報
３ 画像処理手段
４ 作業者情報／作業対象物情報取得手段
５ 作業者情報／作業対象物情報
６ センサーI
７ 無線信号入力手段
８ 信号情報処理手段I
９ センサー信号処理情報I
１０ 統合情報処理手段I
１１ 作業者
１２ 作業対象物
１３ 台車
１４ａ、１４ｂ センサーII
１５ 無線信号入力手段
１６ 信号情報処理手段II
１７ センサー信号処理情報II
１８ 統合情報処理手段II
１９ 作業内容情報
２０ 作業内容測定装置
２１ 作業管理装置
２２ 第１制御手段
２３ 第２制御手段
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２００９−２８２４４２号公報
【特許文献２】特開２００９−１９９５８３号公報
【特許文献３】特開２００７−３３４４７９号公報
【技術分野】
【０００１】
本発明は、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置に関する。
【背景技術】
【０００２】
人の行動を測定するシステム（装置）が多数考案されており、このようなシステムを用いて、教育を行ったり、危険を警告したり、広告を行ったり、支援情報を与えたりすることが実現されている。具体的には、車に搭載されているカーナビゲーションや携帯電話にも多く利用されているＧＰＳ（Global Positioning System、全地球測位システム）やＲＦＩＤ（Radio Frequency IDentification）などにより人の位置を測定することにより作業内容を予測したり、カメラにより取得した作業者の画像情報を画像処理することにより作業者の作業を認識したりするシステムが考案されている。
【０００３】
特許文献１に記載の手指衛生励行システムは、看護士に複数の加速度センサーを付着させ、これらの加速度センサーの信号を情報処理することにより、看護士の手洗いを測定し、手指の動き及びこれに対応する清潔さを予測し、看護士の手指衛生を管理するシステムである。このシステムでは、加速度センサーは手洗い場及び手洗い場の蛇口や石鹸には設けられておらず、看護士にのみ設けられており、それも手指ではなく腕などに設けられた加速度センサーの信号から予測することを実現している。
【０００４】
また、特許文献１では、複数のカメラが利用されている。しかしながら、これらのカメラの画像は自由映像生成装置として用いられており、タイムスタンプを付与された上で、加速度センサーにより予測した手洗い状況を表示することに用いられているのみであり、確認または教育的な効果に用いられているのみである。
【０００５】
特許文献２に記載の危険運転予防意識判定システムは、自動車の運転手の帽子つまり頭部に加速度センサーを付着させ、この加速度センサーの信号を情報処理することにより、運転手の目視確認動作を測定し、危険運転予防意識を測定し、教育の必要な運転者を定量的に判定するシステムである。このシステムでは、加速度センサーは頭部以外にもアクセル及びブレーキを踏む右足にも付着させており、これら各センサーの信号を統合して情報処理して運転手の意図を予測することを実現している。
【０００６】
また、特許文献２では、複数のカメラが利用されている。しかしながら、これらのカメラの画像は、車内映像に関しては、あくまで運転データ記録装置として、過去の運転の状況を表示することに用いられているのみであり、確認または教育的な効果に用いられているのみである。
【０００７】
特許文献３に記載の運転動作解析装置は、自動車の運転手のアクセル及びブレーキを踏む右足に加速度センサーを付着させた以外に、運転手の両手首にも加速度センサーを付着させ、さらには運転手が運転している、車本体にも加速度センサーを付着させ、これらからの信号を統合して情報処理して運転手の異常な運転動作を予測することを実現している。
【０００８】
また、特許文献３では、カメラが、両手首や右足に貼り付けたマーカを用いた光学式モーションキヤプチャとして設けられ、利用されている。しかしながら、このカメラの画像は、加速度センサーの代替であり、両手首や右足に付着させた加速度センサーと連携して用いられているわけではない。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記事情に鑑みてなされたものであり、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置において、より高精度の作業内容の測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するために、本発明の作業内容測定装置は、作業者及び当該作業者により作業される作業対象の画像に基づいて作業者及び作業対象に係る情報を取得し、かつ、作業対象または当該作業対象とつながった物体に設けられた第１センサーにて自己検出された、当該第１センサーの空間的位置に係る情報を取得し、作業者及び作業対象に係る情報と、第１センサーの空間的位置に係る情報とを統合することで、作業内容の測定結果を示す第１統合情報を生成する作業内容測定装置であって、作業者の一部に設けられた第２センサーにて自己検出された、当該第２センサーの空間的位置に係る情報を取得し、第１統合情報に対し、第２センサーの空間的位置に係る情報をさらに統合することで第２統合情報を生成し、第２統合情報を作業内容の測定結果として出力することを特徴とする。
【００１１】
本発明の作業管理装置は、本発明の作業内容測定装置から入力した所定の作業内容の測定結果を示す統合情報に基づいて、作業の管理を行うことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置において、より高精度の作業内容の測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を実現することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第一の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。
【図２】本発明の第一の実施形態に係る作業内容測定装置のセンサーIIの信号の一例である。
【図３】本発明の第一の実施形態に係る作業内容測定装置置のセンサーIIの信号の別の例である。
【図４】本発明の第二の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。
【図５】本発明の第三の実施形態に係る作業内容測定装置及びこれを用いた作業管理装置の構成図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について添付図面を参照して詳細に説明する。
【００１５】
［第一の実施形態］（請求項１に係る実施形態）
本発明の第一の実施形態に係る作業内容測定装置の構成について、図１に基づいて説明する。
【００１６】
まず、図１に示す各符号について以下に説明する。１は、作業者１１と作業の作業対象物１２の画像情報を取得するカメラ（画像取得手段の一例）である。２は、カメラ１により取得した画像情報である。３は、画像情報２に対して画像処理を行う画像処理手段である。４は、画像処理手段３の後段となる、作業者情報／作業対象物情報取得手段である。５は、作業者情報／作業対象物情報取得手段で取得した作業者情報及び作業対象物情報である。６は、作業の作業対象物１２またはその作業対象物１２とつながった物体に設けられ、空間的情報を自己検出し、それを無線によって出力する信号出力型のセンサーI（第１センサーの一例）である。７は、センサーIから出力された無線信号を入力する無線信号入力手段（第１無線信号入力手段の一例）である。８は、センサーI７から入力された無線信号を処理する信号情報処理手段I（第１信号情報処理手段の一例）である。９は、信号情報処理手段I８によって取得したセンサー信号処理情報Iである。１０は、作業者情報／作業対象物情報５及びセンサー信号処理情報I９を統合し、第１統合情報を生成する統合情報処理手段I（第１統合情報処理手段の一例）である。１１は、作業者である。１２は、作業対象物である。１３は、作業対象物１２を支持（載置）する台車である。なお、作業対象物１２は、作業者１１が所定の作業を行う対象（作業対象）の一例であり、その作業対象は必ずしも「物」である必要はない。
【００１７】
また、１４ａ及び１４ｂは、作業者１１の左右の腕に設けられ、空間的情報を自己検出し、それを無線によって出力する信号出力型のセンサーII（第２センサーの一例）である。１５は、センサーII１４ａ及び１４ｂから出力された無線信号を入力する無線信号入力手段（第２無線信号入力手段の一例）である。１６は、センサーII１４ａ及び１４ｂから入力された無線信号を処理する信号情報処理手段II（第２信号情報処理手段の一例）である。１７は、信号情報処理手段II１６によって取得したセンサー信号処理情報IIである。１８は、統合情報処理手段Iから出力された第１統合情報と、センサー信号処理情報IIとを統合し、第２統合情報として作業内容情報を生成する統合情報処理手段II（第２統合情報処理手段の一例）である。１９は、測定した作業者の作業内容を示す作業内容情報である。２０は、上記１〜１９よりなる作業内容測定装置（作業者測定装置）である。２１は、作業内容測定装置２０を用いた作業管理装置（作業者管理装置）である。
【００１８】
図１において、例えば、作業対象物１２はオフィス用ＩＴ機器であるとし（以下、機器１２ともいう）、作業者１１は機器１２の組み立て工場の作業者であるとする。機器１２は、台車１３の上に搭載され、工場内を運搬されると同時に、工場内で複数の部品を複数の作業者及び複数の工程により組みつけられる。工場では、組み立て進捗管理、作業の信頼性確認、部品の管理等のために、作業者の作業内容を測定できることで、工場の時間あたりの生産効率を向上し、作業者の負担を低減し、無駄な作業を低減し、これらにより環境負荷を低減させると同時に、製品としての信頼性を向上して製品利用者（ユーザ）の負荷を低減することができる。さらには、結果として低コスト化にも寄与しており製品利用者の負担を低減することができる。
【００１９】
図１においては、カメラ１により、図中の２本の点線で示される範囲の特定の角度内の画像を取得することができる。この範囲に作業者１１と作業対象物１２を設定することにより、画像情報２として、作業者１１及び作業対象物１２の画像情報を取得することができる。画像処理手段３がこの画像情報２を画像処理することにより、作業者１１の左右の手の形状と位置及び作業対象物１２の形状と位置を計測することができる。この情報を基に作業者情報／作業対象物情報取得手段４により、あらかじめ記憶しておいた設定情報に基づいた相関評価手段や学習による評価手段等の評価手段をこれらの時系列データと組みわせて用いることで、作業者情報／作業対象物情報５を取得することができる。
【００２０】
なお、上述した、カメラ１における２つの点線で示される範囲の特定の角度とは、カメラ１のレンズ焦点距離及びカメラ結像素子の大きさ及び開口で決まる「カメラの画角」以下の角度であり、焦点距離可変のズームレンズを持ちることにより、その画角を適宜変化させてもよい。人の全体動作の画像を取得することが必要な場合には作業者の身体全体を対象作業中に常に取得できる最少の角度とすることが好ましい。角度を大きくし過ぎると画像の分解能が劣化して画像処理時に誤差が生じやすくなり好ましくない。具体的には、高さ３ｍの天井付近にカメラを設置して立ち作業を機器に対して実施する場合には、３０度〜７５度となる（３５ｍｍフィルムカメラ換算で、レンズ焦点距離約２８〜８５ｍｍに相当）。
【００２１】
また、上述した、画像処理手段３における画像情報２に対する画像処理としては、輪郭抽出処理、輪郭追跡処理、ベクトル抽出処理、さらにはパターン認識処理により作業者の左右の手を認識した後、作業者の左右の手の形状と位置及び作業対象物の形状と位置を計測することができる。なお、画像処理手段３における画像処理方法は上記処理に限定されるわけではない。
【００２２】
また、上述した、あらかじめ記憶しておいた設定情報としては、作業対象物１２に対する作業者１１の工程（「部品Ａをつける」、「機器の台車を移動する」等の要素工程）及び動作（「部品Ａをつかむ」、「部品Ａを移動する」、「部品Ａを押す」、「部品Ａをはなす」、「機器をつかむ」、「機器を（台車ごと）移動させる」等の要素動作）と、この工程及び動作に対応して取得した画像の画像処理結果との相関情報である。相関情報は、ＳＶＭ（サポートベクターマシン）、ベイズ推論、ニューラルネットワーク等の統計処理を用いることで取得することができる。また、この統計処理を用いることで、相関評価手段、さらには学習による評価手段等の評価手段を適用することができる。
【００２３】
この評価手段を適用するに際しては、特定時刻の画像データをその時刻の作業の評価に単純に用いるのだけではなく、画像データの時系列データとしての変化情報を、別途事前の相関検証実験により取得した評価対象候補として記憶している時系列データとなる作業及び作業者に関わる情報と組み合わせて用いることで、画像データからその画像データに相関する作業及び作業者に関わる情報を評価する場合の精度が向上する。この組み合わせる情報としては、具体的には、時系列の画像データと作業との相関情報、時系列の画像データと作業者との相関情報、作業と作業者の相関情報、作業の時系列情報がある。
【００２４】
一方、図１において、空間的情報を自己検出する無線による信号出力型となる、３軸直線加速度センサー及び３軸ジャイロを設けたセンサーI６を作業対象物１２に付着させており、これは無線により信号を出力する。そして、センサーI６からの信号は作業対象物１２と空間的に非接続である無線信号入力手段７に入力される。この後、その信号は信号情報処理手段I８により処理され、センサー信号処理情報I９となる。統合情報処理手段I１０は、センサー信号処理情報I９と、作業者情報／作業対象物情報５とに対して、統合情報処理を行う。ここでの統合情報処理とは、複数要素の情報を統合して統一的な出力をする処理（第１統合情報の出力）のことである。また、このときの作業内容としては、作業対象物１２を９０度回転する作業や、部品をはめ込み設置する作業や、部品をネジ締めする作業等、非常に複数の作業がある。
【００２５】
３軸直線加速度センサー及び３軸ジャイロを設けたセンサーI６は、そのセンサーの信号から、センサーの存在している相対空間情報を検出することができる。３軸直線加速度センサーの加速度が大きいときにはその大きい方向への手や腕などのセンサーを付けた部分への移動の加速度が大きい状態であり、軸ジャイロを設けたセンサーの場合には回転加速度が大きい場合である。また、３軸直線加速度センサーはその加速度を積分処理及び補正処理を実施することにより速度、２重積分処理及び補正処理を実施することで相対移動距離を算出することができる。積分処理に際しては、速度ゼロの特定が必須であるが、通常の作業工程においては、部品をつかむ瞬間は速度ゼロに近い状態であり、特定の部品をつかむ瞬間をこの３軸直線加速度センサー及び３軸ジャイロを設けたセンサーIの情報から検出することで、速度ゼロに近い状態を検出でき、これにより移動速度や相対移動距離を計算することができる。
【００２６】
上記統合処理は、別途画像データより得られた作業者情報及び作業対象物情報５とセンサー信号処理情報I９とを一つの多次元データとして扱い、この一つの多次元データに対する多変量解析によって新たな作業者情報／作業対象物情報に関わる作業内容情報１９を取得することである。具体的な情報処理手段としては、前述のＳＶＭ（サポートベクターマシン）、ベイズ推論、ニューラルネットワーク等の統計処理を用いることができる。
【００２７】
このような状況で、上述の作業対象物１２に付着したセンサーI６は、その作業対象物１２とつながった物体となる、作業対象物１２を設置した台車１３に付着させてもよい。この場合、製品そのもの付着させずに工場で複数回利用する台車を用いているために、センサーI６の設置や回収、個々のキャリブレーション不要等の利点が生じる。
【００２８】
上述した構成と同時に、空間的位置を自己検出する無線による信号出力型となる、３軸直線加速度センサー及び３軸ジャイロを設けたセンサーII１４ａ及び１４ｂを、作業者業対１１の左右の腕に付着させており、これらは無線により信号を出力する。センサーII１４の信号は、作業者と空間的に非接続である無線信号入力手段１５に入力される。この後、その信号は信号情報処理手段II１６により処理され、センサー信号処理情報II１７となる。統合情報処理手段II１８は、センサー信号処理情報II１７と、第１統合情報（作業者情報／作業対象物情報５とセンサー信号処理情報I９とが統合されたもの）とに対して、統合情報処理を行う。ここでの統合情報処理とは、複数要素の情報を統合して統一的な出力をする処理（第２統合情報、すなわち作業内容情報の出力）のことである。この統合情報処理II１７により、作業内容の測定結果としての作業内容情報１９が出力される。
【００２９】
作業内容測定装置２０と別体または一体となる作業管理装置２１は、作業内容測定装置２０で測定された作業内容を示す作業内容情報１９を用いることにより、以下のような作業の管理を行う。作業管理装置２１は、例えば、作業者１１の組み立て進捗状況、作業状況、部品利用状況等を、作業内容測定装置２０とは別にあらかじめまたはリアルタイムに工場の生産計画及び工程から取得する情報と統合することにより、作業者１１が計画通りに組み立てているか、作業者１１が忙しくて負荷が高くなっていないか、トラブルが発生してないか、身体の危険の可能性がないか、作業手順に間違いはないか、不足な部品はないか等を管理することができるようになる。
【００３０】
従来は、画像情報２による作業者情報／作業対象物情報５からのみでは、画像情報２の取得に複数のカメラ１が必要であったり、ＣＰＵ（Central Processing Unit）負荷の非常に大きいことからコスト高であったり、リアルタイム処理が困難で遅延が大きかったりするといった作業内容測定しかできなかった問題があった。そして、その問題を改善する技術としては、センサーI６に基づくセンサー信号処理情報I９を作業者情報／作業対象物情報５に統合（付加）することにより、作業対象物１２が実際に動いた時刻及びその位置変化や衝撃を測定できることを利用して、カメラ１の個数を削減したり、ＣＰＵ負荷を小さくしてコストを低減したり、リアルタイム処理を実現したりしていた。
【００３１】
しかしながら、センサーI６に基づくセンサー信号処理情報I９を付加しただけでは、実際の作業対象物１２の位置変化や衝撃だけの測定となり、作業をする作業者１１の動きを直接にセンサーI６で測定しているわけではないので、作業内容を測定するには不十分であり、画像処理をより複雑にすることがあったり、逆に作業内容測定の粒度が低下したり信頼性が低下したりしていた。
【００３２】
そこで、本発明の第一の実施形態においては、従来のセンサー信号処理情報I９と作業者情報／作業対象物情報５を統合した統合情報処理手段I１０からの出力情報（第１統合情報）に対して、さらに、実際に作業を行っている作業者１１の動きを直接測定するセンサーII１４ａ及び１４ｂの信号に基づくセンサー信号処理情報II１７を加えて統合している。よって、作業者１１の動作基準で定義する作業内容に対して、その粒度を小さくしたり、信頼性を向上したりすることを実現できるようになる。
【００３３】
図２は、本発明の第一の実施形態である作業内容測定装置２０において、作業者１１の左腕に付着させたセンサーII１４ｂで取得した信号を示す。図２において、横軸は相対時刻であり（単位は秒）、縦軸は加速度である（単位はｍＧ）。また、ｘ、ｙ、ｚはそれぞれ、左腕を、その手の甲を水平にして前に出した場合に、前後がｘ（正は手前側）、左右がｙ（正は右手側）、上下がｚ（正は床側）である。図２は、作業対象物１２（例えば複写機）が各台車１３に１機ずつ設置されている場合において、作業者１１が台車１３ごとに複写機を４５度回転する作業を含む組み立て作業を実施した場合に測定された信号を示している。別途、センサーI６は台車１３に設定してある。また、センサーI６及びセンサーII１４ｂ（左手に装着）には、３軸直線加速度センサーからなる小型無線ハイブリッドセンサ WAA-00（ワイヤレステクノロジー株式会社製）を用いた。実際には、作業者１１には複数個の加速度センサーを付着させている。
【００３４】
例えば図２における約０．７秒時から約１．５秒時の間（図中の両矢印で示す間）は、作業者１１が、左手を用いて台車を４５度回転させた状況でかつ左手が複写機１２の一部を掴んでいるまたは触れている状況の信号を示しており、作業者１１は左手の手の甲を、複写機１２の組み立て中の裸のフレームを掴むために手の甲を左側に向けており、このため平均的に１０００ｍＧ前後の加速度が加わっており、逆にＺ軸は平均的に０レベル前後の加速度が加わっている。また、これらの作業内容及び時刻は、センサーI６及びセンサーII１４ｂとは別途設けてある左右の手の動きを取得できるカメラを用いた画像情報により測定した。
【００３５】
このとき、作業者１１が複写機１２の裸のフレームを左手でつかんだ直後に、ｘ・ｙ・ｚ軸とも急峻なピークを示しており、これは力を加えて複写機１２に運動エネルギーを加えるために手に力が加わったことに対応している。また、作業者１１が複写機１２の裸のフレームを左手で離す直後に、ｘ・ｙ・ｚ軸ともその量の大きな変化を示しており、これは力を加えて複写機１２のフレームと一体となって動いていた左手を滑らかに離すと同時に、その次の工程に向けた準備をするために直ちに手を素早く動かすことと対応している。
【００３６】
ただし、図２において約１．５秒に縦実線として記載した、センサーII１４ｂの信号以外に基づいて測定した作業者１１が複写機１２の裸のフレームを左手で離す時刻と、その時刻のセンサーII１４ｂの比較的に滑らかな変位状態の信号からわかるように、作業者１１が生産性効率向上のためにスムーズな作業をする場合には、要求される時間分解能にもよるが、作業者１１に付着したセンサーII１４ｂのみで信頼性の高い作業内容測定となるとは限らない。しかしながら、カメラ１の画像情報２に基づいて作業者１１の左手と裸のフレームが接した時刻を検出することは可能であり、これらの情報を統合情報処理手段II１８で処理することにより、より信頼性の高い作業内容測定を実現できることとなる。同様に、作業内容により、作業対象物１２に付着したセンサーI６の信号に対しても、これらの情報を統合情報処理手段II１８で処理することにより、より信頼性の高い作業内容測定を実現できることとなる。
【００３７】
図２に示すように、作業者１１に付着したセンサーII１４ｂの信号に基づくセンサー信号処理情報II１７を、従来のカメラによる画像情報２に基づく作業者情報／作業対象物情報５、及び、作業対象物１２に付着したセンサーI６に基づくセンサー信号処理情報I７に加え、これらを統合情報処理することにより、作業者１１の動作基準で定義する作業内容に対して、その粒度を小さくしたり、信頼性を向上したりすることを実現できるようになる。また、カメラによる左右の手の動きの画像情報が、その作業対象物１２で遮蔽死角にあり取得できない場合にも、センサーI６の情報と合わせて、その作業内容測定の信頼性を向上することができるようになる。
【００３８】
図２は、センサーII１４ｂの信号のみであるが、これと同様に、右腕、左右の上腕、腰、胸、頭部、足首等につけたセンサーにより、その工程に特徴を有する信号が得られており、その作業者１１の工場での複写機の組み立てに関する多様な作業内容または作業対象物１２に応じて適切に設けることが効果的であり、それら複数のセンサーからの信号を統合して情報処理することが好ましい。
【００３９】
図３において、上側に示すグラフは、図２に示した特定の台車１３を４５度回転に対する作業内容を含むセンサーII１４ｂの信号を示しており（図２と同データ）、下側に示すグラフは、上記とは異なる台車１３を４５度回転に対する作業内容を含むセンサーII１４ｂの信号を示しており、図３において横軸及び縦軸及び条件は図２と同じである。図３に示すように、作業内容によりセンサーII１４ｂの信号の相関が、異なる肯定でも、台車１３ごと複写機１２の４５度の回転、といった共通の粒度の作業に対しては、非常に高いことがわかる。このため、これらの相関係数処理または主成分分析またはパターン認識処理等の情報処理を行うことにより、センサーII１４ｂの出力から作業者１１の動作基準で定義する作業内容の特定できる。
【００４０】
なお、本実施形態では、図１において、統合情報処理手段を、統合情報処理手段I１０と統合情報処理手段II１８と２つの区分しているが、作業者情報／作業対象物情報５、センサー信号処理情報I９、センサー信号処理情報II１７、の３つの情報に対して統合情報処理を行うものとして、統合統合情報処理Iと統合情報処理IIとを融合させた新たな統合情報処理IIIを設けた構成でも同様に効果的である。この場合、作業内容測定装置２０の情報処理部分を一体化することで場合により小さくできると同時、ステップではなく同時に関連性のあるデータを扱うことでその測定内容の信頼性を向上することができる。ただし、情報処理すべきデータ種類が多くなり、情報処理手法によってはべき乗で増加する場合があり、場合によりステップ処理とした場合が効果的な場合もあり、これらは、作業内容、作業対象物、センサーI６及びセンサーII１４の種類や数によって選択されるべきである。
【００４１】
また、本実施形態では、図１において、センサーI６の無線信号入力手段７とセンサーIIの無線信号入力手段１５との構成を入れ替えた構成でも同様に効果的である。この場合にも、従来と比べて作業者１１の動作基準で定義する作業内容の特定しやすくなる。この場合の具体的な構成としては、センサーI６は、作業者１１に設けられ、作業者１１の一部の空間的位置を自己検出し、また、センサーII１６は、作業対象物１２または作業対象物１２とつながった物体に設けられ、作業対象物１２または作業対象物１２とつながった物体の空間的位置を自己検出する。
【００４２】
また、図２及び図３では、センサーI及びセンサーIIとして直線加速度センサーを用いたが、直線加速度センサーに限定する必要はなく、空間的位置を自己検出するセンサーIIが、ジャイロセンサーまたは地磁気センサーからなることを特徴とした作業内容測定装置であっても同様に効果的である。ただし、作業者の位置だけではなく、身体動作を検出できるセンサーであることが好ましい。
【００４３】
また、本実施形態において適用（測定）できる作業は、工場における複写機等の組み立て現場に限定されるものではない。建設現場で安全性が重要であったり、作業対象物を掴む作業者以外の第３者からの助言による支援が必要であったりする場合も同様に効果的である。これらの現場での教育にも同様に効果的である。さらには、自動車の運転手、医療現場、オフィスなどで、作業者の身体による作業とその対象物との関係が重要な業務では、本実施形態の作業内容測定装置２０及びこれを用いた作業管理装置２１は、その生産効率を向上し、作業の信頼性を向上し、作業の安全性を向上し、また結果として環境負荷を低減でき、低コスト化を実現できる等いろいろな効果を実現できる。
【００４４】
以上説明したように、本実施形態によれば、カメラから取得した作業者及び作業対象物の画像情報に対する画像処理及び作業対象物に設けた空間的位置を自己検出するセンサーを用いた作業者の作業内容を測定する作業内容測定装置及びこれを用いた作業管理装置に対し、より高精度の作業内容測定を実現すると同時に、低コストかつ環境負荷の少ない作業内容測定装置及びこれを用いた作業管理装置を実現することができる。
【００４５】
［第ニの実施形態］（請求項２に係る実施形態）
本発明の第ニの実施形態を示す作業内容測定装置の構成について、図４に基づいて説明する。
【００４６】
図４は、本発明の第一の実施形態となる図１の構成に、第１制御手段（センサーI／II及び信号情報処理手段I／II制御手段）２２を設けた構成である。この第１制御手段２２は、カメラ１による画像情報２に基づいた作業者情報／作業対象物情報５（作業者情報または作業対象物情報のいずれか一方でもよい）に従って、センサーI、センサーII、信号情報処理手段I、信号情報処理手段IIのうちの複数又は単数を、同時にあるいは個別に制御する手段である。センサーI及びセンサーIIが無線出力を有したものであるならば、これらのセンサーに無線命令入力手段を設けるようにし、また、第１制御手段２２に無線命令出力手段を設けるようにすることで、直接センサーI及びセンサーIIを制御することができる。信号情報処理手段I及び信号情報処理手段IIに対しては、有線により命令信号を出力して制御することができる。
【００４７】
例えば、第１制御手段２２は、作業者情報／作業対象物情報５を基に、作業者１１が作業対象物１２と７０ｃｍ以上離れておりかつ作業対象物１２の位置に変化が少ないと判断した場合には、作業者１１により作業対象物１２の位置や状態が変位することがないので、作業対象物１２に付着させたセンサーI６、無線信号入力手段７及び信号情報処理手段I８を省電力モードに制御する。これにより、センサーI６の電池動作寿命を向上したり、無線信号入力手段７及び信号情報処理手段I８の消費電力を実現したり、さらにはこれに関連する通信付加を低減して環境負荷をより低減した作業内容測定装置２０を実現したりできるようになる。
【００４８】
また、例えば、第１制御手段２２は、作業者情報／作業対象物情報５を基に、作業者１１が作業対象物１２と１０ｃｍ以下となった場合に、作業者１１により作業対象物１２への作業が生じる確立が高いと判断し、作業対象物１２に付着させたセンサーI６のサンプリング周波数を増加するように制御したり、無線信号入力手段７の伝送レートを増加するように制御したり、信号情報処理手段I８の処理能力が向上するように制御したり、さらには、作業者情報／作業対象物情報５に応じて学習した最適な処理手段に変更するように制御したりする。これにより、より信頼性を高く、かつより環境負荷を低減した作業内容測定装置２０を実現できるようになる。
【００４９】
本実施形態の第１制御手段２２は、作業者情報／作業対象物情報５として上述した距離情報にのみに適用されるものではなく、カメラ１による画像情報２に基づいた作業者区別や作業対象物区別さらには作業内容やその時刻等に対応して、適切に、センサーI、センサーII、信号情報処理手段I、信号情報処理手段IIを制御することができる。
【００５０】
［第三実施形態］（請求項３に係る実施形態）
本発明の第三実施形態を示す作業内容測定装置の構成について、図５に基づいて説明する。
【００５１】
図５は、本発明の第一の実施形態となる図１の構成に、第２制御手段（画像処理手段制御手段）２３を設けた構成である。この第２制御手段２３は、センサーIIに対するセンサー信号処理情報IIに基づいて、カメラ１による画像情報２に対する画像処理手段３を制御することで、その画像処理設定を変化させることができる。
【００５２】
例えば、第２制御手段２３は、センサーIIに対するセンサー信号処理情報IIに基づいて、作業者１１が大きな動作、つまり大きな信号の変化または特定の作業内容を確認できるときには、作業者１１が意味のある作業をしている可能性が高いと判断し、画像処理手段３に制御命令を出力する。この制御命令を入力した画像処理手段３は、特定の作業内容を分離する画像処理や高フレームレートでの画像処理等、制御命令を入力する以前とは異なる画像処理モードでの画像処理を、画像情報２に対して実施する。これにより、高い信頼性での作業内容測定能力を有することができるようになる。また、制御命令がない場合は、画像処理手段３を省エネモードとしておくことにより、環境負荷を低減することもきる。
【００５３】
本実施形態の第２制御手段２３は、センサーIIに対するセンサー信号処理情報IIに基づいた上述した作業者１１の大きな動作や特定の作業内容の場合だけに適用されるものではなく、例えば、別途作業管理装置２１として管理及び認識される特定の作業者区分や特定の作業対象区分のものが工程にある場合に、第２制御手段２３により画像処理手段３を制御する等、他の場合にも効果的である。
【００５４】
なお、本実施形態の第２制御手段２３を、図４の構成（第二の実施形態の構成）に加えるように構成してもよい。
【００５５】
以上、本発明の各実施形態について説明したが、上記各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。
【００５６】
例えば、上述した実施形態における動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【００５７】
ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。
【００５８】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＭＯ（Magneto Optical）ディスク、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。
【００５９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【００６０】
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【００６１】
また、上記実施形態で説明した構成は、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。
【符号の説明】
【００６２】
１ カメラ
２ 画像情報
３ 画像処理手段
４ 作業者情報／作業対象物情報取得手段
５ 作業者情報／作業対象物情報
６ センサーI
７ 無線信号入力手段
８ 信号情報処理手段I
９ センサー信号処理情報I
１０ 統合情報処理手段I
１１ 作業者
１２ 作業対象物
１３ 台車
１４ａ、１４ｂ センサーII
１５ 無線信号入力手段
１６ 信号情報処理手段II
１７ センサー信号処理情報II
１８ 統合情報処理手段II
１９ 作業内容情報
２０ 作業内容測定装置
２１ 作業管理装置
２２ 第１制御手段
２３ 第２制御手段
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２００９−２８２４４２号公報
【特許文献２】特開２００９−１９９５８３号公報
【特許文献３】特開２００７−３３４４７９号公報
【特許請求の範囲】
【請求項１】
作業者及び当該作業者により作業される作業対象の画像に基づいて前記作業者及び前記作業対象に係る情報を取得し、かつ、前記作業対象または当該作業対象とつながった物体に設けられた第１センサーにて自己検出された、当該第１センサーの空間的位置に係る情報を取得し、前記作業者及び前記作業対象に係る情報と、前記第１センサーの空間的位置に係る情報とを統合することで、作業内容の測定結果を示す第１統合情報を生成する作業内容測定装置であって、
前記作業者の一部に設けられた第２センサーにて自己検出された、当該第２センサーの空間的位置に係る情報を取得し、
前記第１統合情報に対し、前記第２センサーの空間的位置に係る情報をさらに統合することで第２統合情報を生成し、
前記第２統合情報を作業内容の測定結果として出力することを特徴とする作業内容測定装置。
【請求項２】
前記作業者及び前記作業対象の画像を取得する画像取得手段と、
前記画像取得手段により取得した前記画像に対して所定の画像処理を施す画像処理手段と、
前記画像処理手段により処理した前記画像から、前記作業者及び前記作業対象に係る情報を取得する作業者情報／作業対象情報取得手段と、
無線通信により前記第１センサーから信号を入力する第１無線信号入力手段と、
前記第１無線信号入力手段により入力した前記信号に処理を行い、前記第１のセンサーの空間的位置に係る情報を取得する第１信号情報処理手段と、
前記作業者情報／作業対象情報取得手段により取得した情報と、前記第１信号情報処理手段により取得した情報とを統合し、前記第１統合情報を生成する第１統合情報処理手段と、
無線通信により前記第２センサーから信号を入力する第２無線信号入力手段と、
前記第２無線信号入力手段により入力した前記信号に処理を行い、前記第２のセンサーの空間的位置に係る情報を取得する第２信号情報処理手段と、
前記第１統合情報処理手段により生成した前記第１統合情報と、前記第２信号情報処理手段により取得した情報とを統合し、前記第２統合情報を生成して出力する第２統合情報処理手段と、
を有することを特徴とする請求項１記載の作業内容測定装置。
【請求項３】
前記作業者情報／作業対象情報取得手段により取得した前記作業者及び前記作業対象の少なくとも一方に係る情報に応じて、前記第１センサー、前記第２センサー、前記第１信号情報処理手段、前記第２信号情報処理手段のうち少なくとも１つに対して所定の設定を変化させる第１制御手段を有することを特徴とする請求項２記載の作業内容測定装置。
【請求項４】
前記第２信号情報処理手段により取得した情報に基づいて、前記画像処理手段で行われる画像処理の設定を変化させる第２制御手段を有することを特徴とする請求項２または３記載の作業内容測定装置。
【請求項５】
請求項１から４のいずれか１項に記載の作業内容測定装置から入力した所定の作業内容の測定結果を示す統合情報に基づいて、作業の管理を行うことを特徴とする作業管理装置。
【請求項１】
作業者及び当該作業者により作業される作業対象の画像に基づいて前記作業者及び前記作業対象に係る情報を取得し、かつ、前記作業対象または当該作業対象とつながった物体に設けられた第１センサーにて自己検出された、当該第１センサーの空間的位置に係る情報を取得し、前記作業者及び前記作業対象に係る情報と、前記第１センサーの空間的位置に係る情報とを統合することで、作業内容の測定結果を示す第１統合情報を生成する作業内容測定装置であって、
前記作業者の一部に設けられた第２センサーにて自己検出された、当該第２センサーの空間的位置に係る情報を取得し、
前記第１統合情報に対し、前記第２センサーの空間的位置に係る情報をさらに統合することで第２統合情報を生成し、
前記第２統合情報を作業内容の測定結果として出力することを特徴とする作業内容測定装置。
【請求項２】
前記作業者及び前記作業対象の画像を取得する画像取得手段と、
前記画像取得手段により取得した前記画像に対して所定の画像処理を施す画像処理手段と、
前記画像処理手段により処理した前記画像から、前記作業者及び前記作業対象に係る情報を取得する作業者情報／作業対象情報取得手段と、
無線通信により前記第１センサーから信号を入力する第１無線信号入力手段と、
前記第１無線信号入力手段により入力した前記信号に処理を行い、前記第１のセンサーの空間的位置に係る情報を取得する第１信号情報処理手段と、
前記作業者情報／作業対象情報取得手段により取得した情報と、前記第１信号情報処理手段により取得した情報とを統合し、前記第１統合情報を生成する第１統合情報処理手段と、
無線通信により前記第２センサーから信号を入力する第２無線信号入力手段と、
前記第２無線信号入力手段により入力した前記信号に処理を行い、前記第２のセンサーの空間的位置に係る情報を取得する第２信号情報処理手段と、
前記第１統合情報処理手段により生成した前記第１統合情報と、前記第２信号情報処理手段により取得した情報とを統合し、前記第２統合情報を生成して出力する第２統合情報処理手段と、
を有することを特徴とする請求項１記載の作業内容測定装置。
【請求項３】
前記作業者情報／作業対象情報取得手段により取得した前記作業者及び前記作業対象の少なくとも一方に係る情報に応じて、前記第１センサー、前記第２センサー、前記第１信号情報処理手段、前記第２信号情報処理手段のうち少なくとも１つに対して所定の設定を変化させる第１制御手段を有することを特徴とする請求項２記載の作業内容測定装置。
【請求項４】
前記第２信号情報処理手段により取得した情報に基づいて、前記画像処理手段で行われる画像処理の設定を変化させる第２制御手段を有することを特徴とする請求項２または３記載の作業内容測定装置。
【請求項５】
請求項１から４のいずれか１項に記載の作業内容測定装置から入力した所定の作業内容の測定結果を示す統合情報に基づいて、作業の管理を行うことを特徴とする作業管理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１５０６１３（Ｐ２０１２−１５０６１３Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−８１６５（Ｐ２０１１−８１６５）
【出願日】平成２３年１月１８日（２０１１．１．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１８日（２０１１．１．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]