作業評価装置、作業評価方法、および、制御プログラム
【課題】繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減すること可能な作業評価装置を実現する。
【解決手段】本発明の作業評価装置１は、撮像装置２が撮像する動画データに含まれる、評価対象フレームと該評価対象フレームより一定時間前に得られた比較対象フレームとを比較し、上記評価対象フレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出部１３と、上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するムダ判定部１５とを備えている。
【解決手段】本発明の作業評価装置１は、撮像装置２が撮像する動画データに含まれる、評価対象フレームと該評価対象フレームより一定時間前に得られた比較対象フレームとを比較し、上記評価対象フレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出部１３と、上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するムダ判定部１５とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生産性の向上を図る生産性向上活動を支援するシステムに関するものであり、特に、作業者の手作業による生産作業の評価を行う作業評価装置、作業評価方法、および、制御プログラムに関するものである。
【背景技術】
【０００２】
工場などの生産現場において、生産性の向上を図るために、生産作業者の動作を分析・評価し、問題点（ムリ・ムダ・ムラ）を見つけて改善していく生産性向上活動が実施されている。
【０００３】
上記生産性向上活動は、一般に、製造ラインや製造セルを改善担当者が目視観察したり、ビデオカメラなどで常時撮影し改善担当者が撮影した画像をチェックしたりして、作業分析、評価、および、問題点の抽出を行うことから始まる。従来、このような生産性向上活動を支援する技術は多数存在する。
【０００４】
例えば、特許文献１には、撮影動画から実測した作業時間と、作業の種類ごとに定義された付加価値係数を該作業時間に乗算した値を用いて作業（のムダ）を評価する装置付加価値率評価システムが開示されている。
【０００５】
しかしながら、作業現場または作業を撮影した動画を目視確認して作業時間を実測するなどの作業は、依然、改善担当者に大きな負担強いることとなっていた。
【０００６】
改善担当者にかかるこのような負担を軽減するために、同じような動作が繰り返し行われる（繰り返し精度の高い）手元の作業を自動で分析し、改善点を特定することが行われている。具体的には、作業者によって同じような動作が繰り返されることによって現われるパターンを記憶し、パターンと違う動きをしたところにムダな動き（問題点）があると捉える技術が挙げられる。
【０００７】
また、特許文献２には、作業者の動きを検出するトラッキングデータから、タクト単位作業を抽出し、特徴ベクトルを導出して、該作業者の作業の問題点を判定する作業動作解析装置が開示されている。これにより、改善担当者は、定量的な作業分析結果に基づいて改善ポイントを効率よく特定することが可能となる。
【特許文献１】特開２００３−１２２４２４公報（２００３年４月２５日公開）
【特許文献２】特開２００６−２０９４６８公報（２００６年８月１０日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の技術では、繰り返し精度の低い作業の評価に適用することは困難であるという問題を生じる。
【０００９】
具体的には、特許文献２の技術では、装置を使用して行われる一連の作業を評価の対象としている。すなわち、動作がある程度パターン化できる（繰り返し精度の高い）作業を評価対象としている。パターン化可能なタクト単位作業の特徴ベクトルを導出することにより作業の評価ができる構成であるので、繰り返し精度の低い作業の評価には適用できないという問題がある。繰り返し精度の低い作業とは、動作をパターン化できない生産作業、例えば、作業者の完全手作業、特に、ライン生産で複数のワークに同じ作業を繰り返すのではなく、セル生産で作業者が一つのワークに対して行う一連の手作業などを示す。
【００１０】
さらに、特許文献２の構成では、上記トラッキングデータを得るために、センサなどの測定装置を作業者に装着する必要があり、それらを装着することにより作業性が低下するという問題がある。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減する作業評価装置、作業評価方法、および、制御プログラムを実現することにある。
【課題を解決するための手段】
【００１２】
本発明の作業評価装置は、上記課題を解決するために、撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置において、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴としている。
【００１３】
上記構成によれば、動作量算出手段は、動画データに含まれる評価対象のフレームを、該評価対象のフレームより一定時間前（例えばＮフレーム前）に得られた比較対象のフレームと比較し、評価対象のフレームにおいて作業者が写っている領域である作業者領域が、比較対象のフレームの作業者領域から変化した度合いに基づいて動作量を算出する。動作量とは、作業者にかかる負荷を定量化した値であり、上記作業者領域の前後のフレームでの変化が大きいほど、動作量も大きくなる。
【００１４】
続いて、フレーム特定手段は、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量を参照し、所定の基準に従って動作量が大きいと判定したフレームを、ムダな動作を行う作業者が写っているフレームとして特定する。
【００１５】
フレーム特定手段によって特定されたフレームは、作業者の動作量が大きいシーンを写しているフレームであり、作業者に大きな負荷がかかる作業が行われていると考えられる。そして、負荷が大きいということは、作業者が行っている作業の中にムダな動作が潜んでいる可能性が高いということを示している。
【００１６】
つまり、作業評価装置によって特定された、動作量が大きいシーンを写すフレーム群を重点的に確認することで、改善担当者は、作業のムダを写すシーンを効率よく発見し、改善ポイントを容易に見つけることが可能となる。
【００１７】
以上のことから、改善担当者は、動作量が大きいと判定された（ムダな動作が行われている）シーンのみを確認するだけで、問題点を把握することが可能となるので、すべての作業を目視確認する必要がなくなり、改善担当者の負担を軽減することが可能となる。特に、動作量の大きさの観点から問題のシーンを抽出するだけであるので、繰り返し精度の低い作業の評価を行う際にも適用でき、改善担当者の負担を大幅に軽減することが可能となる。
【００１８】
さらに、上記フレーム特定手段は、フレームごとに算出された動作量を閾値と比較し、閾値を越える動作量のフレームを特定してもよい。
【００１９】
上記構成によれば、フレーム特定手段は、フレームごとに各動作量と上記閾値とを比較して、閾値を越える動作量を持つフレームを、動作量の大きいフレームとして特定する。
【００２０】
これにより、閾値を用いて、作業のムダを写すシーンを効率よく抽出し、改善担当者が確認することができる。
【００２１】
なお、上記閾値は、あらかじめ定められていてもよいし、改善担当者が、特定されたフレームの結果を見て適切な閾値を調節したり、過去の経験・知識から適切な閾値を選択したりして設定されてもよい。
【００２２】
あるいは、上記フレーム特定手段は、所定時間分のフレームを上記動画データから動作量の大きい順に特定してもよい。
【００２３】
上記構成によれば、フレーム特定手段は、所定時間（例えば、１０分など）分に相当する枚数のフレームを、上記動画データから、動作量の大きい順に特定する。
【００２４】
動作量が大きいものから順に、所定枚数分特定されたフレームは、動作量の大きいフレームであると考えることができる。
【００２５】
これにより、改善担当者は、抽出する作業のムダのシーンの長さを指定することができる。
【００２６】
例えば、改善担当者が、その工程の作業時間をあと１０分短縮したいと望んでいるとすると、上記所定時間を１０分と定めればよい。また、改善担当者が、問題点を見つける作業に対して、１０分の時間しか費やせないといった事情がある場合にも適用できる。改善担当者は、フレームの抽出時間を指定して、動作量の大きいシーンから優先的にチェックすることができるので、効率よく生産性向上活動を行うことができる。
【００２７】
上記作業評価装置は、さらに、上記フレーム特定手段が特定したフレームのみを上記動画データから抽出して表示部に表示する作業評価結果出力手段を備えていることが好ましい。
【００２８】
これにより、作業評価結果出力手段は、動作量が大きいと判定されたフレームのみを動画データから抽出して表示部に表示することができる。
【００２９】
改善担当者は、ムダな動作が潜んでいる可能性の高いシーンだけを容易に確認でき、結果として、改善担当者の負担を軽減することが可能となる。
【００３０】
上記動作量算出手段は、上記評価対象のフレームおよび上記比較対象のフレームの各作業者領域上に複数定められたポイントを検出し、上記評価対象のフレームのポイントを終点とし、該ポイントと対応する上記比較対象のフレームのポイントを始点とするベクトルの大きさを求め、ポイントごとに求めたベクトルの大きさの和を動作量として算出することを特徴としている。
【００３１】
上記構成によれば、作業者の動作が大きく変化するほど動作量が大きくなる。したがって、動きが大きい作業シーンをムダな作業シーンとして抽出することができる。
【００３２】
上記作業評価装置は、さらに、上記評価対象のフレームから、作業者によって運搬される運搬物を検出する運搬物検出手段を備え、上記動作量算出手段は、運搬物に対応付けて重量を記憶する重量情報記憶部から、上記運搬物検出手段によって検出された運搬物の重量を取得し、上記評価対象のフレームにおける上記作業者領域の変化の度合いとともに、上記運搬物の重量にも基づいて動作量を算出してもよい。
【００３３】
上記構成によれば、運搬物検出手段は、評価対象のフレームに写っている運搬物を検出し、重量情報記憶部を参照して、当該運搬物の重量を求める。
【００３４】
続いて、上記動作量算出手段は、上述した方法で求めた作業者領域の変化の度合いとともに、上記運搬物の重量も考慮して動作量を算出する。
【００３５】
これにより、作業者が感じる負担の程度をより忠実に反映した動作量を算出することが可能となり、より高い精度で動作に係るムダな作業シーンを抽出することが可能となる。
【００３６】
上記作業評価装置は、さらに、上記評価対象のフレームを上記比較対象のフレームと比較し、該比較対象のフレームから該評価対象のフレームまでの間の作業者の移動距離を移動量として算出する移動量算出手段を備え、上記フレーム特定手段は、上記移動量算出手段によって上記動画データのフレームごとに算出された移動量に基づいて、所定の基準に従って移動量が大きなフレームを、ムダに移動する作業者が写っているフレームとして特定することが好ましい。
【００３７】
上記構成によれば、移動量算出手段は、各フレームの作業者領域の位置の変化から作業者の移動距離を算出し、単位時間あたりの移動距離を移動量として算出する。例えば、１フレームあたりに作業者の重心が何ピクセル移動したか、などを移動量とすることが挙げられる。
【００３８】
これにより、大きく移動したか否かによって、作業のムダのシーンを把握することが可能となる。さらに、動作のムダのシーンとして特定されたフレームのうち、それがムダな移動に起因するものであるか否かを判断し、ムダな作業についてより詳細な分析を行うことができる。
【００３９】
本発明の作業評価方法は、上記課題を解決するために、撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置における作業評価方法であって、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴としている。
【００４０】
上記方法によれば、動作量に基づいて、繰り返し精度に関係なく動作のムダが含まれている可能性の高いシーンを自動で特定することできるので、改善担当者は、効率よく問題点を把握することができる。したがって、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減することが可能となる。
【００４１】
なお、上記作業評価装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記作業評価装置をコンピュータにて実現させる作業評価装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４２】
本発明の作業評価装置は、以上のように、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴としている。
【００４３】
本発明の作業評価方法は、以上のように、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴としている。
【００４４】
したがって、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４５】
本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、大型（例えば、人の身長程度の大きさ）機械１台を、一人または複数の作業者がセル生産で組み立てる場合の作業を評価する作業評価装置について説明する。
【００４６】
〔生産管理システムの概略構成〕
まず、本実施形態に係る作業評価装置１が適用される、大型機械の生産管理システム１００について、図２に基づいて説明する。図２は、本発明の実施形態に係る生産管理システム１００の概略構成を示す図である。
【００４７】
図２に示す例では、生産管理システム１００は、ワークＷを動かすことなく１ヶ所で作業者Ｕの複数の工程における手作業により製品を組み立てるための生産セルと、該生産セルを撮影し、作業者の動作を捉えた動画データＤを取得する撮像装置２と、撮像装置２が取得した動画データＤを格納する動画データデータベース（ＤＢ）３と、動画データＤＢ３から取得した動画データＤを処理して作業者Ｕの作業を評価する作業評価装置１とを備えた構成となっている。
【００４８】
この作業評価装置１は、例えば一般的なＰＣ（Personal Computer）によって構成される。この場合、作業評価装置１は、作業評価装置１に対する各種入力に要する表示や処理結果などの表示が行われる表示装置（後述する表示部４１）、および、利用者からの入力を受け付ける入力装置（後述する操作部４２）を備えている。表示装置としては、情報の表示が可能な表示装置であればどのような装置でもよく、例えばＣＲＴ（Cathode Ray Tube）、液晶表示装置などが挙げられる。また、入力装置としては、利用者からの情報の入力が可能な入力装置であればどのような装置でもよく、例えばマウス、キーボードなどが挙げられる。
【００４９】
作業評価装置１が処理する動画データＤは、静止画である複数のフレームＦからなっており、各々のフレームＦは動画データＤに関連付けて動画データＤＢ３に記憶される。
【００５０】
図３は、動画データＤＢ３に記憶される動画データのデータ構造の一例を示す図である。上述したとおり、動画データＤに関連付けて、各フレームＦが記憶される。フレームの各々にはフレーム番号が付与されているので、動画ＩＤと、フレーム番号とによって、フレーム（静止画）が一意に特定される。この他に、動画データＤに関連付けて、撮影開始日時、作業現場、ワークの型式、フレームレートなどの情報が格納されていてもよい。
【００５１】
本実施形態では、撮像装置２を生産セルの上方中央に設置して、作業者Ｕの頭上から撮影を行い、生産セル全体を真上から捉えたフレームＦ（図２）を取得するものとする。
【００５２】
なお、撮像装置２の設置位置は、特に限定されず、生産セルを真横から捉える構成としてもよい。
【００５３】
また、生産管理システム１００に、生産セルが複数含まれていてもよく、必要に応じて撮像装置２を複数設置しても構わない。この場合、動画データＤＢ３には、どの生産セルの動画データであるのかが分かるように、動画データと生産セルの情報とが紐付けされて記憶される。
【００５４】
撮像装置２と動画データＤＢ３、および、動画データＤＢ３と作業評価装置１とは、通信網を介して通信可能に接続されている。より具体的には、作業評価装置１および撮像装置２は、図示しない通信手段（有線通信、赤外線通信、Bluetooth（登録商標）、および無線ＬＡＮ（Local Area Network）など）を用いて、動画データＤＢ３にアクセスし、動画データＤの書き込み、読み出しを行っている。
【００５５】
あるいは、生産管理システム１００において、作業評価装置１が動画データＤＢ３を備え、撮像装置２が直接作業評価装置１に動画データＤを送信する構成としてもよい。
【００５６】
〔作業評価装置の機能構成〕
次に、作業評価装置１の機能構成について、図１に示すブロック図を参照しながら説明する。図１は、本発明の実施形態に係る作業評価装置１の要部構成を示す図である。
【００５７】
図１に示すように、作業評価装置１は、制御部１０、記憶部３０、表示部４１、および、操作部４２を備えた構成となっている。
【００５８】
制御部１０は、作業評価装置１が備える各部の各種動作を制御するものであり、機能ブロックとしての作業者領域抽出部１１、動作量算出部１３、作業者追跡処理部１２、移動量算出部１４、ムダ判定部１５、判定結果出力部１６、および、閾値設定部１７を備えた構成となっている。さらに、運搬物検出部１８を備えていてもよい。
【００５９】
記憶部３０は、制御部１０が実行する制御プログラム、ＯＳプログラム、および、制御部１０が作業を評価するための各処理を実行するときに読み出す各種データを記録するものであり、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部３０に記録される上記各種データとしては、算出結果記憶部３１、判定結果記憶部３２、閾値記憶部３３の各記憶部に記録されるデータが挙げられる。さらに、重量情報記憶部３４が含まれていてもよい。これらのデータ構造の具体例や詳細については後述する。
【００６０】
上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）としての制御部１０が、ＲＯＭ（read only memory）等の記憶装置としての記憶部３０に記憶されているプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。
【００６１】
作業者領域抽出部１１は、動画データＤのフレームＦ（静止画データ）から、作業者Ｕを示す作業者領域を抽出するものである。本実施形態では、具体的には、静止画データをマトリックス状に区分し、作業者Ｕを示す領域を含むマスを作業者領域として特定する。図４に示す例では、フレームＦ１において、作業者Ｕを含むマスの集合Ａ１を作業者領域として抽出する。なお、一つの生産セルに複数人の作業者がいる場合には、作業者ごとに作業者領域を抽出することができる。
【００６２】
作業者領域抽出部１１の抽出処理の結果は、作業者追跡処理部１２および動作量算出部１３に伝達される。
【００６３】
なお、作業者領域抽出部１１が行う作業者領域抽出処理において、作業者Ｕを示す領域を検出する方法としては、公知の技術を用いることが可能である。例えば、背景差分法では、あらかじめ用意しておいた背景画像と処理対象画像（各フレームＦ）との差分をとることで、非背景物体（作業者Ｕ）を検出する。
【００６４】
さらに、背景差分法のみでは、部品箱や工具などが生産セル内に置かれた場合に、それを作業者領域として誤認識してしまうおそれがある。そこで、道具や箱などの非背景物体の領域に対し、その領域は全く動かないという特徴を利用して、当該領域を非作業者領域として検出し、背景に同化させる背景更新処理を別途実行してもよい。
【００６５】
あるいは、非背景物体の領域の大きさが、作業者領域の平均的な大きさからかけ離れている領域を、非作業者領域として作業者領域から取り除いてもよい。さらに、非背景物体の領域内の色ヒストグラムを、あらかじめ学習させておいた作業者領域の色ヒストグラムと比較して、一致度が低い場合に非作業者領域として作業者領域から取り除いてもよい。
【００６６】
作業者追跡処理部１２は、時間軸上に作業者Ｕの動き（作業者領域）を追跡するものである。具体的には、作業者領域抽出部１１がフレームＦから抽出した作業者領域に対して
ラベルを付与して（ラベリング処理）、各フレームの作業者領域の対応付けを行う。これにより、前後のフレームで、作業者領域のどのマスがどこからどこに移動したのかを追跡することができる。フレームに複数の作業者領域が存在する場合も、ラベルにより作業者領域を個々に識別することが可能となる。
【００６７】
さらに、本実施形態では、作業者追跡処理部１２は、作業者領域に含まれるマスの一つを作業者Ｕの位置を特定する基準として選択し、対応するマスが時間の経過とともに（後のフレームになるにつれ）どのように移動するかによって、作業者Ｕの位置を追跡することが可能である。
【００６８】
図４に示す例では、フレームＦ１から抽出された作業者領域Ａ１に基づいて、作業者追跡処理部１２は、作業者位置を示す基準のマス、作業者位置Ｃ１を決定する。作業者位置Ｃ１の決定方法は特に限定されないが、例えば、作業者領域Ａ１の重心位置を含むマスを作業者位置として決定することなどが挙げられる。続いて、フレームＦ１に後続するフレームＦ２から抽出された作業者領域Ａ２に基づいて同様の方法で作業者位置Ｃ２を決定する。作業者追跡処理部１２の追跡処理の結果は、動作量算出部１３および移動量算出部１４に伝達される。
【００６９】
これにより、前後のフレーム（Ｆ１・Ｆ２）を比較して、作業者Ｕがどのように動いたか、あるいは、どこからどこへ移動したのかを動作量算出部１３および移動量算出部１４が認識することが可能となる。
【００７０】
動作量算出部１３は、評価対象フレームの作業者領域を、当該評価対象フレームより前に取得された比較対象フレームの作業者領域と比較して、作業者領域の変化の大きさを示す動作量を算出するものである。動作量とは、作業者が動作を行うためにどのくらいエネルギーを消費したか、つまり、作業者にかかる負荷（作業者の苦労の程度）を定量化したものである。作業者が大きく動くほどエネルギーが消費され苦労の程度が増し、動作量が大きくなるという考え方に基づいている。本実施形態では、オプティカルフロー（optical flow）推定により動作量を算出する。オプティカルフローとは、動画データ中の運動物体（ここでは、作業者領域）の見かけの速度場のことである。動画データの前後のフレームにおける対応する各ポイントを始点・終点としたベクトルの大きさで表される。
【００７１】
動作量の算出方法の具体例を図５（ａ）〜（ｃ）に基づき説明すると以下のとおりである。図５（ａ）の破線で示される各マスは、比較対象フレームの作業者領域を形成するマスを示し、実線で示される各マスは、評価対象フレームの作業者領域を形成するマスを示す。動作量算出部１３は、作業者追跡処理部１２の追跡処理結果に基づいて、前の比較対象フレームの各マスが、後の評価対象フレームでどこに動いたかを認識する（図５（ａ））。次に、前後のフレームにおいて対応するマス上のあるポイント間の距離（例えば、前のフレームのマスの中央ポイントを始点、後のフレームのマスの中央ポイントを終点とするベクトルの大きさ）を、評価対象フレームの作業者領域を形成するマス（ポイント）ごとに算出する（図５（ｂ））。最後に、マスごとに求めたベクトルの大きさの総和を求めて、それを上記評価対象フレームの動作量として出力する（図５（ｃ））。動作量算出部１３は、求めた動作量を上記評価対象フレームに対応付けて算出結果記憶部３１に記憶する。評価対象フレームに、複数の作業者領域がある場合は、すべての作業者領域について動作量を求め、そのうち最大の値を示す動作量を、最大動作量として算出結果記憶部３１に記憶する。
【００７２】
なお、上述の例では、動作量算出部１３は、動作量を対応マス間のベクトルの大きさから導出しているが、作業者の移動距離と正比例の関係になく、移動距離とは異なる指標である。動作量を利用することで、作業者が移動はあまり行っていなくとも、多大な労力を費やして行った動作（例えば、振り返って道具を取るなど）を動作のムダとして判定することが可能となる。
【００７３】
移動量算出部１４は、評価対象フレームの作業者領域における基準のマス（作業者位置）を、当該評価対象フレームより前に取得された比較対象フレームの作業者領域における作業者位置と比較して、作業者の単位時間あたりの移動距離を示す移動量を算出するものである。移動量とは、作業者がある一定の期間にどのくらいの距離を移動したのかを示す指標である。
【００７４】
本実施形態では、評価対象フレームとＮフレーム前の作業者位置（マス）の変化をユークリッド距離を算出することにより移動量を求める。図６に示す例では、移動量算出部１４は、評価対象フレームの作業者領域Ａ２の作業者位置Ｃ２を、比較対象フレームの作業者領域Ａ１の作業者位置Ｃ１と比較して、作業者位置Ｃ２と作業者位置Ｃ１との距離を求める。本実施形態では、１フレームあたり、静止画データの何ピクセル分を移動したかを移動量（単位：pixel／frame）として算出するものとし、求めた上記ユークリッド距離をフレーム数（Ｎ）で除算して移動量とする。移動量の単位は、これに限定されず、実際の距離（cm、m）および時間（秒、分）などを用いてもよい。
【００７５】
移動量算出部１４は、求めた移動量を上記評価対象フレームに対応付けて算出結果記憶部３１に記憶する。評価対象フレームに、複数の作業者領域がある場合は、すべての作業者領域について移動量を求め、そのうち最大の値を示す移動量を、最大移動量として算出結果記憶部３１に記憶する。
【００７６】
図７は、算出結果記憶部３１に記憶される動作量および移動量の算出結果の一例を示す図である。上述したとおり、動画データＤの各フレームに対応付けて、動作量算出部１３が算出した最大動作量、および、移動量算出部１４が算出した最大移動量が記憶される。複数の動画データＤについて、動作量および移動量を記憶しておく場合は、各フレームに、動画ＩＤを関連付けて記憶しておけばよい。
【００７７】
ムダ判定部１５は、動作量算出部１３がフレームごとに算出した動作量に基づいて、動作量の大きい（動作のムダ候補）シーンを写すフレームを特定するものである。また、移動量算出部１４がフレームごとに算出した移動量に基づいて、作業者が大きく移動した（移動のムダ候補）シーンを写すフレームを特定するものである。本実施形態では、ムダ判定部１５は、自身が特定した動作量が大きいフレームを「動作のムダ候補」、また、特定した移動量が大きいフレームを「移動のムダ候補」と判定する。
【００７８】
これは、動作量および移動量が大きいほど、そのフレームに写っている作業には動作および移動のムダが多く潜んでいるという考え方に基づいている。
【００７９】
より詳細には、作業者が製品の製造にかける「作業時間」は、（１）実際に製品を組み立てる作業（付加価値作業）の時間、（２）それ以外の作業（非付加価値作業）（部品を取りに歩く、モノを運搬するなど）の時間とに大きく分類できる。従来、（１）の作業時間に着目し、繰り返し作業の中のいつもと違う動きにムダがある、作業者が動いていない（＝怠けている）ところをムダとして捉えるという考え方に基づいてムダが抽出されていた。一方、本発明では、（２）の作業時間に着目し、作業者の動作・移動に費やされるエネルギーの多い部分に、問題点（ムリ・ムダ・ムラ）が存在するという考え方に基づいてムダを抽出している。
【００８０】
ムダ判定部１５は、上述の考え方に基づいて、フレームの動作量・移動量に基づいてフレームを特定することにより「動作（移動）のムダ候補」であるか否かの判定を行い、判定結果を判定結果記憶部３２に記憶する。
【００８１】
なお、ムダ判定部１５が行う判定処理の詳細については後述する。
【００８２】
図８は、判定結果記憶部３２に記憶される判定結果の一例を示す図である。上述したとおり、動画データＤの各フレームに対応付けて、ムダ判定部１５が行った判定処理の結果（判定タグ）が記憶される。
【００８３】
図８に示す例では、判定タグを格納するためのフィールドを１つ設け、移動量または動作量が大きいシーンとして特定されたフレームには、動作または移動のいずれかのムダを示す判定タグが記憶されるようになっている。本実施形態では、まず移動量に基づいて移動のムダの有無を判定し、移動のムダがないと判定されたフレームについて、動作のムダの有無を判定する。すなわち、判定タグのフィールドには、「移動のムダ候補」の判定タグが優先付与される。これにより、例えば、作業者が移動はあまり行っていなくとも、多大な労力を費やして行った動作について、移動の判定のみでは、ムダを発見できなかった作業シーンを、動作のムダとして判定し発見することが可能となる。
【００８４】
しかし、ムダ判定部１５の判定タグの付与方法は上記に限定されない。判定タグのフィールドが１つしか設けられていない構成の場合に以下のようにしてもよい。すなわち、動作量の大きいフレームを特定して「動作のムダ候補」の判定タグを付与したのちに、動作のムダ候補と判定されたフレームについて、移動量の大きいフレームか否かを判定して、「移動のムダ候補」の判定タグを付与する方法が考えられる。この場合、動作のムダと判定された作業シーン（フレーム）のうち、それが移動によって生じたものであるのか否かを、「移動のムダ候補」の判定タグによって識別することが可能となる。
【００８５】
あるいは、判定結果記憶部３２のデータ構造を、移動および動作のムダそれぞれについて、判定タグのフィールドを２つ設ける構成とし、移動のムダの判定結果と、動作のムダの判定結果とを、フレームごとに別々に記憶してもよい。これにより、改善担当者は、移動のみ、動作のみの観点からムダな作業をもれなく抽出し分析することが可能となる。
【００８６】
判定結果出力部１６は、ムダ判定部１５の判定処理によって得られた判定結果を表示部４１に出力するものである。
【００８７】
判定結果を表示部４１にどのように表示するのかは特定に限定されない。例えば、図８に示すとおり、フレームごとの判定タグを一覧表にして表示部４１に表示してもよいし、あるいは、上記判定結果に基づいて動画データＤＢ３からムダがあると判定されたフレームのみを動画データＤから抽出し、ムダな作業のシーンを撮影したと思われる部分のみを表示部４１に再生してもよい。
【００８８】
上述した一連の作業評価処理により、改善担当者は、動作量（移動量）が大きく、動作（移動）のムダ（の候補）と判定されたフレームのみを効率よく確認することが可能となり、改善担当者の作業分析の負担を軽減することができる。
【００８９】
〔作業評価装置の作業評価フロー〕
図９は、作業評価装置１における作業評価処理の流れを示すフローチャートである。
【００９０】
作業評価装置１は、改善担当者から操作部４２を介して作業評価処理を開始する指示が入力されると、あるいは、動画データＤＢ３に動画データＤが新たに記憶されると、作業評価処理を開始する。
【００９１】
まず、作業者領域抽出部１１は、動画データＤＢ３から評価したい動画データのフレームを取り出し（Ｓ１）、フレームの作業者領域を抽出する（Ｓ２）。このとき作業者領域は１フレーム内に複数あってもよい。また、ここで、１つの評価対象フレームのみ作業者領域抽出処理を行ってもよいし、すべてのフレームについて処理を行ってもよい。
【００９２】
評価対象フレームから作業者領域が抽出されると（Ｓ３においてＹＥＳ）、作業者追跡処理部１２、動作量算出部１３、および、移動量算出部１４は、移動量および動作量の算出を行う（Ｓ４、Ｓ５）。Ｓ４およびＳ５はどちらを先に実行しても構わない。上記評価対象フレームに複数の作業者領域が存在する場合は、すべての作業者領域に対して、Ｓ４およびＳ５が繰り返される（Ｓ６においてＹＥＳ）。すべての作業者領域についてＳ４およびＳ５が実行されると（Ｓ６においてＮＯ）、Ｓ４、Ｓ５で求まった最大移動量および最大動作量を当該評価対象フレームに対応付けて算出結果記憶部３１に記憶する（Ｓ７）。続いて、必要に応じて背景更新処理を実行し（Ｓ８）、未処理のフレームがあれば（Ｓ９においてＹＥＳ）、Ｓ１〜Ｓ８の処理を繰り返す。なお、Ｓ３においてフレームから作業者領域が抽出されなかった場合には（ＮＯ）、作業者領域抽出部１１は、必要に応じて背景更新処理を実行し（Ｓ８）、Ｓ９に進む。
【００９３】
すべてのフレームについてＳ４、Ｓ５の処理が実行されると（Ｓ９においてＮＯ）、ムダ判定部１５は、算出結果記憶部３１に記憶された算出結果に基づいて、動画データＤの各フレームの動作（および移動）のムダの有無を判定する（Ｓ１０）。そして、すべてのフレームについてムダの判定が実行されると、判定結果出力部１６は、その判定結果を表示部４１に表示する（Ｓ１１）。
【００９４】
図１０は、移動量算出部１４における移動量算出処理の流れを示すフローチャートである。
【００９５】
まず、移動量算出部１４は、評価対象フレームおよび該評価対象フレームのＮフレーム前の比較対象フレームの作業者領域を取得する（Ｓ１０１）。作業者領域が複数存在する場合には、作業者追跡処理部１２の追跡処理結果に基づいて、対応する作業者領域同士を取得する。続いて、取得した作業者領域に含まれる各作業者位置を取得する（Ｓ１０２）。
【００９６】
移動量算出部１４は、評価対象フレームの作業者位置と、比較対象フレームの作業者位置との間のユークリッド距離を算出し、当該距離に相当するピクセル数を求め、フレーム数Ｎで割って移動量を算出する（Ｓ１０３）。
【００９７】
評価対象フレームに作業者領域が複数ある場合は、移動量が複数求まる。Ｓ１０３において算出された移動量が、これまでに求められた移動量よりも大きい場合は（Ｓ１０４においてＹＥＳ）、Ｓ１０３において算出された移動量を最大移動量として、図示しないＲＡＭなどの一時記憶部に一時的に記憶する（Ｓ１０５）。
【００９８】
一方、これまでに求められた移動量よりも小さい場合は、最大移動量を更新せずに移動量算出処理を終了し、次の処理に進む。
【００９９】
図１１は、動作量算出部１３における動作量算出処理の流れを示すフローチャートである。
【０１００】
まず、動作量算出部１３は、評価対象フレームおよび該評価対象フレームのＮフレーム前の比較対象フレームの作業者領域を取得する（Ｓ２０１）。作業者領域が複数存在する場合には、作業者追跡処理部１２の追跡処理結果に基づいて、対応する作業者領域同士を取得する。続いて、取得した作業者領域の変化を認識し、マスごとにベクトルの大きさを求める（オプティカルフロー推定）（Ｓ２０２）。次に、求められた各ベクトルの大きさの和を動作量として算出する（Ｓ２０３）。
【０１０１】
Ｓ２０３において算出された動作量が、これまでに求められた動作量よりも大きい場合は（Ｓ２０４においてＹＥＳ）、Ｓ２０３において算出された動作量を最大動作量として、上記一時記憶部に一時的に記憶する（Ｓ２０５）。
【０１０２】
一方、これまでに求められた動作量よりも小さい場合は、最大動作量を更新せずに動作量算出処理を終了し、次の処理に進む。
【０１０３】
図１２は、ムダ判定部１５における判定処理の流れを示すフローチャートである。本実施形態では、フレームごと関連付けられた動作量（および移動量）を、あらかじめ設定されている動作量閾値（および移動量閾値）と比較することにより、フレームごとに作業のムダの有無を判定する。
【０１０４】
動作量閾値および移動量閾値は、図１に示す閾値記憶部３３にそれぞれ記憶されており、ムダ判定部１５は、閾値記憶部３３に記憶されている各閾値を参照して、閾値を越える動作量（移動量）のフレームを、ムダな動作（移動）を行う作業者が写っているフレームとして特定する。
【０１０５】
まず、ムダ判定部１５は、判定対象フレームに対応付けられている算出結果（最大移動量および最大動作量）を算出結果記憶部３１から取得する（Ｓ３０１）。次に、ムダ判定部１５は、閾値記憶部３３に記憶されている移動量閾値と、取得した最大移動量とを比較し、最大移動量が上記閾値を越えている場合には（Ｓ３０２においてＹＥＳ）、移動のムダ候補と判定し（Ｓ３０３）、当該フレームに「移動のムダ候補」の判定タグを付与する。
【０１０６】
一方、上記最大移動量が閾値以下の場合には（Ｓ３０２においてＮＯ）、当該フレームに移動のムダはないと判定し（Ｓ３０４）、動作のムダの判定するステップに進む。
【０１０７】
続いて、ムダ判定部１５は、閾値記憶部３３に記憶されている動作量閾値と、取得した最大動作量とを比較し、最大動作量が上記閾値を越えている場合には（Ｓ３０５においてＹＥＳ）、動作のムダ候補と判定し（Ｓ３０６）、当該フレームに「動作のムダ候補」の判定タグを付与する。
【０１０８】
一方、上記最大動作量が閾値以下の場合には（Ｓ３０５においてＮＯ）、当該フレームに動作のムダはないと判定する（Ｓ３０７）。本実施形態では、ムダ判定部１５がＳ３０７において動作のムダがないと判定した場合、移動および動作の両方についてムダがないことになり、当該フレームに映る作業は、作業者が製品を組み立てるための作業（付加価値作業）であると判断される。この場合、当該フレームには「付加価値作業」の判定タグを付与してもよいし、いずれのタグも付与しない構成としてもよい。
【０１０９】
最後に、ムダ判定部１５は、フレーム対して付与した判定タグを、当該フレームに対応付けて判定結果記憶部３２に記憶する（Ｓ３０８）。
【０１１０】
続いて、まだ判定を行っていない未処理のフレームが残っている場合には（Ｓ３０９においてＹＥＳ）、Ｓ３０１に戻り、上述した各ステップを繰り返す。すべてのフレームについて作業の評価（ムダの判定）を終了すると（Ｓ３０９においてＹＥＳ）、作業評価処理を終了する。
【０１１１】
上記構成および方法によれば、動作量算出部１３（および移動量算出部１４）は、動画データＤに含まれる評価対象フレームを、該評価対象フレームより一定時間前（例えばＮフレーム前）に得られた比較対象フレームと比較し、評価対象フレームにおける作業者を示す作業者領域の、比較対象フレームからの変化の大きさ（各マスのベクトルの大きさの和）を動作量として算出する。また、各フレームの作業者領域の作業者位置間のユークリッド距離から１フレームあたりの作業者の移動距離（ピクセル）を移動量として算出する。
【０１１２】
ムダ判定部１５は、上記動作量（および上記移動量）を、あらかじめ定められた閾値と比較して、閾値を越える動作量（移動量）をもつフレームを、作業のムダを映したフレームであると判定する。
【０１１３】
これにより、非付加価値作業のうち作業のムダと判定されたシーンのみを改善担当者が効率よく把握することが可能となるので、すべての作業を目視確認する必要がなくなり、改善担当者の負担を軽減することが可能となる。
【０１１４】
なお、上述の例では、移動のムダおよび動作のムダの両方について評価を行ったが、動作量の観点からのみムダの有無を評価したい場合には、作業評価装置１は、移動量算出部１４を必ずしも備えていなくてよい。
【０１１５】
また、上述の例では、移動量算出部１４および動作量算出部１３が、すべてのフレームについて移動量および動作量を算出してから、ムダ判定部１５が作業のムダを判定する場合について説明したが、本発明の作業評価方法は、これに限定されない。例えば、一つのフレームについて、移動量および動作量を算出し、判定を行うという処理を、フレームの枚数分繰り返す手順で実行してもよい。
【０１１６】
図１３〜図１５は、ムダ判定部１５の判定結果を判定結果出力部１６が表示部４１に出力した場合の画面表示例を示す図である。
【０１１７】
図１３に示す例では、作業者が生産セルにいるか否か（フレームに作業者領域があるか否か）を示す帯グラフが時間軸上に色分けして表示される。また、作業者が映っているフレームについては、そのシーンがムダな作業であるか否かを示す帯グラフが色分けして表示される。
【０１１８】
ここで、動画データを再生するとともに、再生中のフレームの位置を帯グラフ上に示せば（ライン９２）、改善担当者は、現在再生されているシーンが、作業のムダであるか否かを容易に確認することが可能となる。
【０１１９】
図１４に示す例では、動画データを再生するとともに、フレームごとに、作業者領域および当該領域について求められた動作量（および移動量）の情報が表示される。さらに、再生中のフレームに対応付けられた動作量および移動量の値をＸ軸およびＹ軸上にプロットした２次元グラフを閾値とともに表示させてもよい。
【０１２０】
これにより、改善担当者は、現在再生中のフレームが、移動、動作のいずれのムダであるのか、あるいは、付加価値作業であるのかを容易に確認することが可能となる。
【０１２１】
図１５は、図１４の２次元グラフにさらに閾値を動かすためのスクロールバーを表示した例を示す。このスクロールバーを操作することにより改善担当者は、容易に各閾値を設定しなおすことが可能となる。
【０１２２】
〔変形例−ムダ判定方法〕
（判定方法１）閾値を手動で変更する方法
図１５の例に示すとおり、閾値記憶部３３に設定されている閾値を、改善担当者が経験や知識に基づき、利用場面に応じて設定しなおすことが可能である。改善担当者が操作部４２を介して、新たな閾値を入力すると、閾値設定部１７は、閾値記憶部３３を新たに入力された閾値に更新する。閾値が更新されたことを検知して自動でムダ判定部１５が判定を再開する構成としてもよい。
【０１２３】
（判定方法２）閾値を使わない判定方法
ムダ判定部１５は、閾値を用いた判定方法に限定されない。あらかじめ、ムダとして抽出したい時間（またはフレーム数）を設定し、それに基づいて、ムダ判定部１５が、移動量・動作量の大きいものから（ムダが大きいものから）順にムダ候補の判定タグをつける構成でもよい。
【０１２４】
具体的には、改善担当者が動画データからムダ候補のシーンを１０分だけ抽出したいと望んでいる場合に、操作部４２を介して、抽出時間「１０分」の指定を作業評価装置１に入力する。ムダ判定部１５は、「１０分」分に相当するフレーム枚数の分だけ、動作量（および移動量）の多い順に、動画データからフレームを特定し、ムダ候補の判定タグを付与する。
【０１２５】
これにより、改善担当者の目的や都合（「作業時間をあと１０分短縮したい。」「改善作業に１０分しか費やせない。」など）に応じて、ムダが多いと考えられるシーンから優先的に確認することが可能となるので、改善担当者の作業効率を高めることができる。
【０１２６】
（判定方法３）
本発明の作業評価装置１を閾値による判定方法と、抽出時間を指定する判定方法とを使い分ける構成とすることも可能である。
【０１２７】
図１６は、ムダ判定部１５における他の判定処理の流れを示すフローチャートである。
【０１２８】
判定処理の開始が制御部１０によって指示されると、閾値記憶部３３に閾値が設定されている場合、あるいは、閾値設定部１７によって閾値を更新されている場合には（Ｓ４０１においてＹＥＳ）、上述した図１２に示す方法で判定処理を実行する。
【０１２９】
一方、閾値が設定（更新）されていない場合には（Ｓ４０１においてＮＯ）、ムダ判定部１５は、改善担当者からの抽出時間の指定を待ち受ける（Ｓ４０２）。
【０１３０】
操作部４２を介して改善担当者が指定する抽出時間が入力されると（Ｓ４０２においてＹＥＳ）、ムダ判定部１５は、評価対象である動画データのフレームレートを取得し（Ｓ４０３）、指定された抽出時間に相当するフレーム枚数を求める（Ｓ４０４）。
【０１３１】
続いて、ムダ判定部１５は、算出結果記憶部３１を参照し、フレーム枚数分のフレームを、移動量の大きいものから順に特定する（Ｓ４０５）。そして、特定した移動量上位のフレーム群に対して、「移動のムダ候補」の判定タグを付与する（Ｓ４０６）。
【０１３２】
次に、ムダ判定部１５は、算出結果記憶部３１を参照し、フレーム枚数分のフレームを動作量の大きいものから順に特定する（Ｓ４０７）。そして、特定した動作量上位のフレーム群に対して、「動作のムダ候補」の判定タグを付与する（Ｓ４０８）。
【０１３３】
そして、ムダ判定部１５は、いずれかのムダ候補の判定タグを付与した上述のフレームごとに、フレームに対応付けられている最大移動量と最大動作量との合計の値を求め、合計が大きいものから順に上記フレーム枚数分のフレームを再度特定する（Ｓ４０９）。
【０１３４】
最後に、Ｓ４０９にて特定した各フレームに付与された判定タグの結果を判定結果記憶部３２に記憶する（Ｓ４１０）。ここで、判定結果記憶部３２における判定タグのフィールドが１つ設けられている場合には、「移動のムダ候補」の判定タグを優先して記憶すればよい。
【０１３５】
これにより、移動量および動作量に基づいて、ムダが大きいと予測されるフレームから順に指定枚数のフレームを抽出し、ムダ候補のフレームとして改善担当者に提示することができる。
【０１３６】
なお、上述の例では、移動量および動作量の両方を考慮して、指定枚数のフレームを抽出する方法について説明したが、いずれか一方のみを考慮して、指定枚数のフレームを抽出してもよい。
【０１３７】
さらに、上述の各ステップにより抽出されたムダ候補のフレームの移動量・動作量の中で最も小さな値を、次回に使用する移動量閾値・動作量閾値として設定するように閾値設定部１７を構成してもよい。閾値設定部１７は、算出結果記憶部３１および判定結果記憶部３２を参照して、ムダと判定されたフレームの最も小さな移動量、動作量を取得し、閾値として閾値記憶部３３に記憶する。
【０１３８】
これにより、指定枚数のフレームを抽出するのに適切な閾値が自動で設定されるので、改善担当者は、適切な閾値がいずれであるかを試行錯誤せずとも、次回以降の作業評価処理において用いることが可能となる。したがって、熟練した改善担当者でなくとも効率よくムダのシーンを抽出し、確認することが可能となる。
【０１３９】
（判定方法４）
判定結果出力部１６が表示部４１に出力した判定結果を改善担当者が手動で修正するツールを提示してもよい。
【０１４０】
図１７は、ムダ判定部１５の判定結果を判定結果出力部１６が表示部４１に出力した場合の他の画面表示例を示す図である。
【０１４１】
図１７に示す例では、動画データを再生する領域とともに、ムダ判定部１５の判定結果のリストを表示するリスト領域９０と、該リストに示された判定タグを改善担当者が修正するためのツールを表示するツール領域９１が設けられている。
【０１４２】
これにより、改善担当者は、動画データを確認し、判定結果と異なるシーンを発見した場合には、判定タグの修正を行うことができる。具体的には、リスト領域９０から修正を行いたいフレームの行を選択し、ツール領域９１からどの判定タグに修正したいのかを選択する。そして「修正」ボタンをクリックするのみで、簡単に判定タグを修正することが可能となる。
【０１４３】
〔変形例−動作量の算出方法〕
上述の実施形態では、動作量算出部１３は、作業者領域を形成する各マスの変化の大きさ（動きの大きさ）を考慮して動作量を算出しているが、これに限定されない。上述したとおり、動作量とは、作業者の苦労の程度を定量化したものであるので、作業者の苦労の程度を定量化するために有効なあらゆる情報を考慮して動作量を算出することができる。
【０１４４】
具体的には、作業者のモノを運搬するという動作を評価する場合、作業者が手にする運搬物の重量を考慮して動作量を算出することが挙げられる。当然、運搬物の重量が大きいほど、動作量は大きくなる。
【０１４５】
図１に示すとおり、重量を考慮するために、作業評価装置１の制御部１０は、さらに運搬物検出部１８を備えており、記憶部３０は、重量情報記憶部３４を含んでいる。
【０１４６】
運搬物検出部１８は、動画データＤＢ３から取得した評価対象フレーム（静止画データ）から、作業者によって運搬されている運搬物を検出するものである。運搬物検出部１８は、検出した運搬物を特定し、該運搬物の情報を動作量算出部１３に伝達する。
【０１４７】
より具体的には、例えば、検出すべき各種運搬物の画像情報（色や大きさの情報）が運搬物ＩＤに対応付けてあらかじめ記憶部３０に学習されているものとする。そして、運搬物検出部１８は、上記フレームに含まれる非背景物体の領域の中に、学習されている運搬物の画像情報と一致度の高い領域を検出し、どの運搬物であるのかを特定する。次に、特定した運搬物の運搬物ＩＤを動作量算出部１３に伝達する。
【０１４８】
あるいは、運搬物に位置発信機を取り付けておき、該位置発信機から作業評価装置１に運搬物ＩＤとともに送信される運搬物の位置情報と作業者の作業者位置とに基づいて、運搬物検出部１８が「運搬している動作」を検出してもよい。
【０１４９】
動作量算出部１３は、運搬物検出部１８から運搬物ＩＤが伝達されると、評価対象フレームの作業者領域について動作量を算出する際に、上記運搬物ＩＤによって特定される運搬物の重量を考慮する。各運搬物の重量は、重量情報記憶部３４に記憶されている。
【０１５０】
図１８は、重量情報記憶部３４に記憶される重量情報の一例を示す図である。運搬物の重量が、運搬物ＩＤに対応付けて記憶されており、動作量算出部１３は、運搬物検出部１８から受け取った運搬物ＩＤに基づいて、重量情報記憶部３４から考慮すべき重量を取得する。
【０１５１】
次に、動作量算出部１３は、特定された運搬物の重量ｘに基づいて重量指数ｙを算出する。重量指数ｙとは、動作量を算出するために、上述した方法で求めた作業者領域のベクトルの和に対して加算する数値のことである。ここで、重量ｘに基づいて重量指数ｙを求めるための重量関数をＦ（ｘ）とすると、本実施形態では、動作量は以下のようにして算出される。
動作量＝作業者領域のベクトルの和＋Ｆ（ｘ）
図１９（ａ）および（ｂ）は、重量関数Ｆ（ｘ）の例を示す図である。なお、重量関数Ｆ（ｘ）は、記憶部３０のうちの図示しない重量関数記憶部に記憶されているものとする。
【０１５２】
図１９（ａ）および（ｂ）では、Ｘ軸を重量、Ｙ軸を重量指数とする２次元グラフにより重量関数Ｆ（ｘ）を示している。
【０１５３】
図１９（ａ）に示す例では、重量と重量指数との関係は正比例の関係にあり、運搬物が重たいほど、動作量に含めるべき重量指数の値が大きくなる。
【０１５４】
また、図１９（ｂ）に示すような関数に基づいて重量指数を求めてもよい。作業者が重さを感じないほどの軽さでは、重量と作業者の負担は必ずしも比例の関係にないため、ある一定の重さまでは傾きを０に近づけておき、逆に、ある一定以上運搬物が重たくなると、作業者が感じる負担には大差がなくなるため、ある一定以上の重さについても傾きを０に近づける。このような関数を用いれば、作業者が感じる負担と重さとの関係をより忠実に反映した動作量を算出することが可能となる。
【０１５５】
重量関数Ｆ（ｘ）は、上述の例に限定されず、重量ｘ１＞ｘ２ならばＦ（ｘ１）≧Ｆ（ｘ２）の関係を満たすような関数であればどのような関数を用いてもよい。これは、運搬物の重量が重いほど、動作量が大きくなるという関係は不変であるという考え方に基づいている。
【０１５６】
上記構成によれば、作業者がモノを運搬する動作を行っているシーンにおいて、運搬物の重量を考慮して動作量を算出することができる。これにより、作業者が感じる実際の苦労の程度をより正確に反映した動作量に基づいて、適切に動作のムダを判定することが可能となる。
【０１５７】
なお、本発明の作業評価装置は、大型装置のセル生産で行われる作業に限らず、様々な生産形態における人の手による生産作業を評価することが可能である。
【０１５８】
ただし、大型の装置をセル生産にて手作業で生産するときの作業を評価する場合は、本発明の作業評価装置を適用することによる効果は特に大きい。
【０１５９】
なぜなら、大型の装置のセル生産では、単位作業時間が非常に長いため、繰り返し精度が極端に低く、動作のパターン化ができないために、装置を用いた自動分析は困難であり、また、人（改善担当者）が分析を行うにしても、いくつもの工程の長い時間の作業を、多くの時間を要して確認しなければならないので、分析に多大な負担がかかるからである。
【０１６０】
つまり、単位作業時間が非常に長く、繰り返し精度が低い作業からなる生産システム（例えば、大型装置のセル生産）は、機械が分析を得意としていた分野でもなく、人が容易に分析可能であった分野でもなく、従来作業の評価が非常に困難な生産形態であった。
【０１６１】
上述の生産形態における作業を評価する際に、本発明の作業評価装置を適用することにより、改善担当者の負担を大幅に低減することができる。
【０１６２】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１６３】
最後に、作業評価装置１の各ブロック、特に動作量算出部１３およびムダ判定部１５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１６４】
すなわち、作業評価装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである作業評価装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記作業評価装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１６５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６６】
また、作業評価装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１６７】
本発明は、人が手作業で加工・組立て作業を行う生産形態における作業（特に、繰り返し精度の低い作業）の評価を行う作業評価装置に好適に用いることができる。
【図面の簡単な説明】
【０１６８】
【図１】本発明の実施形態に係る作業評価装置の要部構成を示す図である。
【図２】本発明の実施形態に係る生産管理システムの概略構成を示す図である。
【図３】本発明の実施形態に係る生産管理システムの動画データＤＢに記憶される動画データのデータ構造の一例を示す図である。
【図４】本発明の実施形態に係る作業評価装置の作業者領域抽出部が抽出する作業者領域の例を示す図である。
【図５】本発明の実施形態に係る作業評価装置の動作量算出部が動作量を算出する際の作業者領域の具体例を示す図である。
【図６】本発明の実施形態に係る作業評価装置の移動量算出部が移動量を算出する際の作業者位置の具体例を示す図である。
【図７】算出結果記憶部に記憶される動作量および移動量の算出結果の一例を示す図である。
【図８】判定結果記憶部に記憶される判定結果の一例を示す図である。
【図９】本発明の実施形態に係る作業評価装置における作業評価処理の流れを示すフローチャートである。
【図１０】移動量算出部における移動量算出処理の流れを示すフローチャートである。
【図１１】動作量算出部における動作量算出処理の流れを示すフローチャートである。
【図１２】ムダ判定部における判定処理の流れを示すフローチャートである。
【図１３】ムダ判定部の判定結果を判定結果出力部が表示部に出力した場合の画面表示例を示す図である。
【図１４】ムダ判定部の判定結果を判定結果出力部が表示部に出力した場合の画面表示例を示す図である。
【図１５】ムダ判定部の判定結果を判定結果出力部が表示部に出力した場合の画面表示例を示す図である。
【図１６】ムダ判定部における他の判定処理の流れを示すフローチャートである。
【図１７】ムダ判定部の判定結果を判定結果出力部が表示部に出力した場合の他の画面表示例を示す図である。
【図１８】重量情報記憶部に記憶される重量情報の一例を示す図である。
【図１９】（ａ）および（ｂ）は、重量関数Ｆ（ｘ）の例を示す図である。
【符号の説明】
【０１６９】
１ 作業評価装置
２ 撮像装置
３ 動画データデータベース
１０ 制御部
１１ 作業者領域抽出部
１２ 作業者追跡処理部
１３ 動作量算出部（動作量算出手段）
１４ 移動量算出部（移動量算出手段）
１５ ムダ判定部（フレーム特定手段）
１６ 判定結果出力部（作業評価結果出力手段）
１７ 閾値設定部
１８ 運搬物検出部（運搬物検出手段）
３０ 記憶部
３１ 算出結果記憶部
３２ 判定結果記憶部
３３ 閾値記憶部
３４ 重量情報記憶部
４１ 表示部
４２ 操作部
１００ 生産管理システム
【技術分野】
【０００１】
本発明は、生産性の向上を図る生産性向上活動を支援するシステムに関するものであり、特に、作業者の手作業による生産作業の評価を行う作業評価装置、作業評価方法、および、制御プログラムに関するものである。
【背景技術】
【０００２】
工場などの生産現場において、生産性の向上を図るために、生産作業者の動作を分析・評価し、問題点（ムリ・ムダ・ムラ）を見つけて改善していく生産性向上活動が実施されている。
【０００３】
上記生産性向上活動は、一般に、製造ラインや製造セルを改善担当者が目視観察したり、ビデオカメラなどで常時撮影し改善担当者が撮影した画像をチェックしたりして、作業分析、評価、および、問題点の抽出を行うことから始まる。従来、このような生産性向上活動を支援する技術は多数存在する。
【０００４】
例えば、特許文献１には、撮影動画から実測した作業時間と、作業の種類ごとに定義された付加価値係数を該作業時間に乗算した値を用いて作業（のムダ）を評価する装置付加価値率評価システムが開示されている。
【０００５】
しかしながら、作業現場または作業を撮影した動画を目視確認して作業時間を実測するなどの作業は、依然、改善担当者に大きな負担強いることとなっていた。
【０００６】
改善担当者にかかるこのような負担を軽減するために、同じような動作が繰り返し行われる（繰り返し精度の高い）手元の作業を自動で分析し、改善点を特定することが行われている。具体的には、作業者によって同じような動作が繰り返されることによって現われるパターンを記憶し、パターンと違う動きをしたところにムダな動き（問題点）があると捉える技術が挙げられる。
【０００７】
また、特許文献２には、作業者の動きを検出するトラッキングデータから、タクト単位作業を抽出し、特徴ベクトルを導出して、該作業者の作業の問題点を判定する作業動作解析装置が開示されている。これにより、改善担当者は、定量的な作業分析結果に基づいて改善ポイントを効率よく特定することが可能となる。
【特許文献１】特開２００３−１２２４２４公報（２００３年４月２５日公開）
【特許文献２】特開２００６−２０９４６８公報（２００６年８月１０日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の技術では、繰り返し精度の低い作業の評価に適用することは困難であるという問題を生じる。
【０００９】
具体的には、特許文献２の技術では、装置を使用して行われる一連の作業を評価の対象としている。すなわち、動作がある程度パターン化できる（繰り返し精度の高い）作業を評価対象としている。パターン化可能なタクト単位作業の特徴ベクトルを導出することにより作業の評価ができる構成であるので、繰り返し精度の低い作業の評価には適用できないという問題がある。繰り返し精度の低い作業とは、動作をパターン化できない生産作業、例えば、作業者の完全手作業、特に、ライン生産で複数のワークに同じ作業を繰り返すのではなく、セル生産で作業者が一つのワークに対して行う一連の手作業などを示す。
【００１０】
さらに、特許文献２の構成では、上記トラッキングデータを得るために、センサなどの測定装置を作業者に装着する必要があり、それらを装着することにより作業性が低下するという問題がある。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減する作業評価装置、作業評価方法、および、制御プログラムを実現することにある。
【課題を解決するための手段】
【００１２】
本発明の作業評価装置は、上記課題を解決するために、撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置において、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴としている。
【００１３】
上記構成によれば、動作量算出手段は、動画データに含まれる評価対象のフレームを、該評価対象のフレームより一定時間前（例えばＮフレーム前）に得られた比較対象のフレームと比較し、評価対象のフレームにおいて作業者が写っている領域である作業者領域が、比較対象のフレームの作業者領域から変化した度合いに基づいて動作量を算出する。動作量とは、作業者にかかる負荷を定量化した値であり、上記作業者領域の前後のフレームでの変化が大きいほど、動作量も大きくなる。
【００１４】
続いて、フレーム特定手段は、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量を参照し、所定の基準に従って動作量が大きいと判定したフレームを、ムダな動作を行う作業者が写っているフレームとして特定する。
【００１５】
フレーム特定手段によって特定されたフレームは、作業者の動作量が大きいシーンを写しているフレームであり、作業者に大きな負荷がかかる作業が行われていると考えられる。そして、負荷が大きいということは、作業者が行っている作業の中にムダな動作が潜んでいる可能性が高いということを示している。
【００１６】
つまり、作業評価装置によって特定された、動作量が大きいシーンを写すフレーム群を重点的に確認することで、改善担当者は、作業のムダを写すシーンを効率よく発見し、改善ポイントを容易に見つけることが可能となる。
【００１７】
以上のことから、改善担当者は、動作量が大きいと判定された（ムダな動作が行われている）シーンのみを確認するだけで、問題点を把握することが可能となるので、すべての作業を目視確認する必要がなくなり、改善担当者の負担を軽減することが可能となる。特に、動作量の大きさの観点から問題のシーンを抽出するだけであるので、繰り返し精度の低い作業の評価を行う際にも適用でき、改善担当者の負担を大幅に軽減することが可能となる。
【００１８】
さらに、上記フレーム特定手段は、フレームごとに算出された動作量を閾値と比較し、閾値を越える動作量のフレームを特定してもよい。
【００１９】
上記構成によれば、フレーム特定手段は、フレームごとに各動作量と上記閾値とを比較して、閾値を越える動作量を持つフレームを、動作量の大きいフレームとして特定する。
【００２０】
これにより、閾値を用いて、作業のムダを写すシーンを効率よく抽出し、改善担当者が確認することができる。
【００２１】
なお、上記閾値は、あらかじめ定められていてもよいし、改善担当者が、特定されたフレームの結果を見て適切な閾値を調節したり、過去の経験・知識から適切な閾値を選択したりして設定されてもよい。
【００２２】
あるいは、上記フレーム特定手段は、所定時間分のフレームを上記動画データから動作量の大きい順に特定してもよい。
【００２３】
上記構成によれば、フレーム特定手段は、所定時間（例えば、１０分など）分に相当する枚数のフレームを、上記動画データから、動作量の大きい順に特定する。
【００２４】
動作量が大きいものから順に、所定枚数分特定されたフレームは、動作量の大きいフレームであると考えることができる。
【００２５】
これにより、改善担当者は、抽出する作業のムダのシーンの長さを指定することができる。
【００２６】
例えば、改善担当者が、その工程の作業時間をあと１０分短縮したいと望んでいるとすると、上記所定時間を１０分と定めればよい。また、改善担当者が、問題点を見つける作業に対して、１０分の時間しか費やせないといった事情がある場合にも適用できる。改善担当者は、フレームの抽出時間を指定して、動作量の大きいシーンから優先的にチェックすることができるので、効率よく生産性向上活動を行うことができる。
【００２７】
上記作業評価装置は、さらに、上記フレーム特定手段が特定したフレームのみを上記動画データから抽出して表示部に表示する作業評価結果出力手段を備えていることが好ましい。
【００２８】
これにより、作業評価結果出力手段は、動作量が大きいと判定されたフレームのみを動画データから抽出して表示部に表示することができる。
【００２９】
改善担当者は、ムダな動作が潜んでいる可能性の高いシーンだけを容易に確認でき、結果として、改善担当者の負担を軽減することが可能となる。
【００３０】
上記動作量算出手段は、上記評価対象のフレームおよび上記比較対象のフレームの各作業者領域上に複数定められたポイントを検出し、上記評価対象のフレームのポイントを終点とし、該ポイントと対応する上記比較対象のフレームのポイントを始点とするベクトルの大きさを求め、ポイントごとに求めたベクトルの大きさの和を動作量として算出することを特徴としている。
【００３１】
上記構成によれば、作業者の動作が大きく変化するほど動作量が大きくなる。したがって、動きが大きい作業シーンをムダな作業シーンとして抽出することができる。
【００３２】
上記作業評価装置は、さらに、上記評価対象のフレームから、作業者によって運搬される運搬物を検出する運搬物検出手段を備え、上記動作量算出手段は、運搬物に対応付けて重量を記憶する重量情報記憶部から、上記運搬物検出手段によって検出された運搬物の重量を取得し、上記評価対象のフレームにおける上記作業者領域の変化の度合いとともに、上記運搬物の重量にも基づいて動作量を算出してもよい。
【００３３】
上記構成によれば、運搬物検出手段は、評価対象のフレームに写っている運搬物を検出し、重量情報記憶部を参照して、当該運搬物の重量を求める。
【００３４】
続いて、上記動作量算出手段は、上述した方法で求めた作業者領域の変化の度合いとともに、上記運搬物の重量も考慮して動作量を算出する。
【００３５】
これにより、作業者が感じる負担の程度をより忠実に反映した動作量を算出することが可能となり、より高い精度で動作に係るムダな作業シーンを抽出することが可能となる。
【００３６】
上記作業評価装置は、さらに、上記評価対象のフレームを上記比較対象のフレームと比較し、該比較対象のフレームから該評価対象のフレームまでの間の作業者の移動距離を移動量として算出する移動量算出手段を備え、上記フレーム特定手段は、上記移動量算出手段によって上記動画データのフレームごとに算出された移動量に基づいて、所定の基準に従って移動量が大きなフレームを、ムダに移動する作業者が写っているフレームとして特定することが好ましい。
【００３７】
上記構成によれば、移動量算出手段は、各フレームの作業者領域の位置の変化から作業者の移動距離を算出し、単位時間あたりの移動距離を移動量として算出する。例えば、１フレームあたりに作業者の重心が何ピクセル移動したか、などを移動量とすることが挙げられる。
【００３８】
これにより、大きく移動したか否かによって、作業のムダのシーンを把握することが可能となる。さらに、動作のムダのシーンとして特定されたフレームのうち、それがムダな移動に起因するものであるか否かを判断し、ムダな作業についてより詳細な分析を行うことができる。
【００３９】
本発明の作業評価方法は、上記課題を解決するために、撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置における作業評価方法であって、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴としている。
【００４０】
上記方法によれば、動作量に基づいて、繰り返し精度に関係なく動作のムダが含まれている可能性の高いシーンを自動で特定することできるので、改善担当者は、効率よく問題点を把握することができる。したがって、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減することが可能となる。
【００４１】
なお、上記作業評価装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記作業評価装置をコンピュータにて実現させる作業評価装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４２】
本発明の作業評価装置は、以上のように、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴としている。
【００４３】
本発明の作業評価方法は、以上のように、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴としている。
【００４４】
したがって、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４５】
本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、大型（例えば、人の身長程度の大きさ）機械１台を、一人または複数の作業者がセル生産で組み立てる場合の作業を評価する作業評価装置について説明する。
【００４６】
〔生産管理システムの概略構成〕
まず、本実施形態に係る作業評価装置１が適用される、大型機械の生産管理システム１００について、図２に基づいて説明する。図２は、本発明の実施形態に係る生産管理システム１００の概略構成を示す図である。
【００４７】
図２に示す例では、生産管理システム１００は、ワークＷを動かすことなく１ヶ所で作業者Ｕの複数の工程における手作業により製品を組み立てるための生産セルと、該生産セルを撮影し、作業者の動作を捉えた動画データＤを取得する撮像装置２と、撮像装置２が取得した動画データＤを格納する動画データデータベース（ＤＢ）３と、動画データＤＢ３から取得した動画データＤを処理して作業者Ｕの作業を評価する作業評価装置１とを備えた構成となっている。
【００４８】
この作業評価装置１は、例えば一般的なＰＣ（Personal Computer）によって構成される。この場合、作業評価装置１は、作業評価装置１に対する各種入力に要する表示や処理結果などの表示が行われる表示装置（後述する表示部４１）、および、利用者からの入力を受け付ける入力装置（後述する操作部４２）を備えている。表示装置としては、情報の表示が可能な表示装置であればどのような装置でもよく、例えばＣＲＴ（Cathode Ray Tube）、液晶表示装置などが挙げられる。また、入力装置としては、利用者からの情報の入力が可能な入力装置であればどのような装置でもよく、例えばマウス、キーボードなどが挙げられる。
【００４９】
作業評価装置１が処理する動画データＤは、静止画である複数のフレームＦからなっており、各々のフレームＦは動画データＤに関連付けて動画データＤＢ３に記憶される。
【００５０】
図３は、動画データＤＢ３に記憶される動画データのデータ構造の一例を示す図である。上述したとおり、動画データＤに関連付けて、各フレームＦが記憶される。フレームの各々にはフレーム番号が付与されているので、動画ＩＤと、フレーム番号とによって、フレーム（静止画）が一意に特定される。この他に、動画データＤに関連付けて、撮影開始日時、作業現場、ワークの型式、フレームレートなどの情報が格納されていてもよい。
【００５１】
本実施形態では、撮像装置２を生産セルの上方中央に設置して、作業者Ｕの頭上から撮影を行い、生産セル全体を真上から捉えたフレームＦ（図２）を取得するものとする。
【００５２】
なお、撮像装置２の設置位置は、特に限定されず、生産セルを真横から捉える構成としてもよい。
【００５３】
また、生産管理システム１００に、生産セルが複数含まれていてもよく、必要に応じて撮像装置２を複数設置しても構わない。この場合、動画データＤＢ３には、どの生産セルの動画データであるのかが分かるように、動画データと生産セルの情報とが紐付けされて記憶される。
【００５４】
撮像装置２と動画データＤＢ３、および、動画データＤＢ３と作業評価装置１とは、通信網を介して通信可能に接続されている。より具体的には、作業評価装置１および撮像装置２は、図示しない通信手段（有線通信、赤外線通信、Bluetooth（登録商標）、および無線ＬＡＮ（Local Area Network）など）を用いて、動画データＤＢ３にアクセスし、動画データＤの書き込み、読み出しを行っている。
【００５５】
あるいは、生産管理システム１００において、作業評価装置１が動画データＤＢ３を備え、撮像装置２が直接作業評価装置１に動画データＤを送信する構成としてもよい。
【００５６】
〔作業評価装置の機能構成〕
次に、作業評価装置１の機能構成について、図１に示すブロック図を参照しながら説明する。図１は、本発明の実施形態に係る作業評価装置１の要部構成を示す図である。
【００５７】
図１に示すように、作業評価装置１は、制御部１０、記憶部３０、表示部４１、および、操作部４２を備えた構成となっている。
【００５８】
制御部１０は、作業評価装置１が備える各部の各種動作を制御するものであり、機能ブロックとしての作業者領域抽出部１１、動作量算出部１３、作業者追跡処理部１２、移動量算出部１４、ムダ判定部１５、判定結果出力部１６、および、閾値設定部１７を備えた構成となっている。さらに、運搬物検出部１８を備えていてもよい。
【００５９】
記憶部３０は、制御部１０が実行する制御プログラム、ＯＳプログラム、および、制御部１０が作業を評価するための各処理を実行するときに読み出す各種データを記録するものであり、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部３０に記録される上記各種データとしては、算出結果記憶部３１、判定結果記憶部３２、閾値記憶部３３の各記憶部に記録されるデータが挙げられる。さらに、重量情報記憶部３４が含まれていてもよい。これらのデータ構造の具体例や詳細については後述する。
【００６０】
上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）としての制御部１０が、ＲＯＭ（read only memory）等の記憶装置としての記憶部３０に記憶されているプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。
【００６１】
作業者領域抽出部１１は、動画データＤのフレームＦ（静止画データ）から、作業者Ｕを示す作業者領域を抽出するものである。本実施形態では、具体的には、静止画データをマトリックス状に区分し、作業者Ｕを示す領域を含むマスを作業者領域として特定する。図４に示す例では、フレームＦ１において、作業者Ｕを含むマスの集合Ａ１を作業者領域として抽出する。なお、一つの生産セルに複数人の作業者がいる場合には、作業者ごとに作業者領域を抽出することができる。
【００６２】
作業者領域抽出部１１の抽出処理の結果は、作業者追跡処理部１２および動作量算出部１３に伝達される。
【００６３】
なお、作業者領域抽出部１１が行う作業者領域抽出処理において、作業者Ｕを示す領域を検出する方法としては、公知の技術を用いることが可能である。例えば、背景差分法では、あらかじめ用意しておいた背景画像と処理対象画像（各フレームＦ）との差分をとることで、非背景物体（作業者Ｕ）を検出する。
【００６４】
さらに、背景差分法のみでは、部品箱や工具などが生産セル内に置かれた場合に、それを作業者領域として誤認識してしまうおそれがある。そこで、道具や箱などの非背景物体の領域に対し、その領域は全く動かないという特徴を利用して、当該領域を非作業者領域として検出し、背景に同化させる背景更新処理を別途実行してもよい。
【００６５】
あるいは、非背景物体の領域の大きさが、作業者領域の平均的な大きさからかけ離れている領域を、非作業者領域として作業者領域から取り除いてもよい。さらに、非背景物体の領域内の色ヒストグラムを、あらかじめ学習させておいた作業者領域の色ヒストグラムと比較して、一致度が低い場合に非作業者領域として作業者領域から取り除いてもよい。
【００６６】
作業者追跡処理部１２は、時間軸上に作業者Ｕの動き（作業者領域）を追跡するものである。具体的には、作業者領域抽出部１１がフレームＦから抽出した作業者領域に対して
ラベルを付与して（ラベリング処理）、各フレームの作業者領域の対応付けを行う。これにより、前後のフレームで、作業者領域のどのマスがどこからどこに移動したのかを追跡することができる。フレームに複数の作業者領域が存在する場合も、ラベルにより作業者領域を個々に識別することが可能となる。
【００６７】
さらに、本実施形態では、作業者追跡処理部１２は、作業者領域に含まれるマスの一つを作業者Ｕの位置を特定する基準として選択し、対応するマスが時間の経過とともに（後のフレームになるにつれ）どのように移動するかによって、作業者Ｕの位置を追跡することが可能である。
【００６８】
図４に示す例では、フレームＦ１から抽出された作業者領域Ａ１に基づいて、作業者追跡処理部１２は、作業者位置を示す基準のマス、作業者位置Ｃ１を決定する。作業者位置Ｃ１の決定方法は特に限定されないが、例えば、作業者領域Ａ１の重心位置を含むマスを作業者位置として決定することなどが挙げられる。続いて、フレームＦ１に後続するフレームＦ２から抽出された作業者領域Ａ２に基づいて同様の方法で作業者位置Ｃ２を決定する。作業者追跡処理部１２の追跡処理の結果は、動作量算出部１３および移動量算出部１４に伝達される。
【００６９】
これにより、前後のフレーム（Ｆ１・Ｆ２）を比較して、作業者Ｕがどのように動いたか、あるいは、どこからどこへ移動したのかを動作量算出部１３および移動量算出部１４が認識することが可能となる。
【００７０】
動作量算出部１３は、評価対象フレームの作業者領域を、当該評価対象フレームより前に取得された比較対象フレームの作業者領域と比較して、作業者領域の変化の大きさを示す動作量を算出するものである。動作量とは、作業者が動作を行うためにどのくらいエネルギーを消費したか、つまり、作業者にかかる負荷（作業者の苦労の程度）を定量化したものである。作業者が大きく動くほどエネルギーが消費され苦労の程度が増し、動作量が大きくなるという考え方に基づいている。本実施形態では、オプティカルフロー（optical flow）推定により動作量を算出する。オプティカルフローとは、動画データ中の運動物体（ここでは、作業者領域）の見かけの速度場のことである。動画データの前後のフレームにおける対応する各ポイントを始点・終点としたベクトルの大きさで表される。
【００７１】
動作量の算出方法の具体例を図５（ａ）〜（ｃ）に基づき説明すると以下のとおりである。図５（ａ）の破線で示される各マスは、比較対象フレームの作業者領域を形成するマスを示し、実線で示される各マスは、評価対象フレームの作業者領域を形成するマスを示す。動作量算出部１３は、作業者追跡処理部１２の追跡処理結果に基づいて、前の比較対象フレームの各マスが、後の評価対象フレームでどこに動いたかを認識する（図５（ａ））。次に、前後のフレームにおいて対応するマス上のあるポイント間の距離（例えば、前のフレームのマスの中央ポイントを始点、後のフレームのマスの中央ポイントを終点とするベクトルの大きさ）を、評価対象フレームの作業者領域を形成するマス（ポイント）ごとに算出する（図５（ｂ））。最後に、マスごとに求めたベクトルの大きさの総和を求めて、それを上記評価対象フレームの動作量として出力する（図５（ｃ））。動作量算出部１３は、求めた動作量を上記評価対象フレームに対応付けて算出結果記憶部３１に記憶する。評価対象フレームに、複数の作業者領域がある場合は、すべての作業者領域について動作量を求め、そのうち最大の値を示す動作量を、最大動作量として算出結果記憶部３１に記憶する。
【００７２】
なお、上述の例では、動作量算出部１３は、動作量を対応マス間のベクトルの大きさから導出しているが、作業者の移動距離と正比例の関係になく、移動距離とは異なる指標である。動作量を利用することで、作業者が移動はあまり行っていなくとも、多大な労力を費やして行った動作（例えば、振り返って道具を取るなど）を動作のムダとして判定することが可能となる。
【００７３】
移動量算出部１４は、評価対象フレームの作業者領域における基準のマス（作業者位置）を、当該評価対象フレームより前に取得された比較対象フレームの作業者領域における作業者位置と比較して、作業者の単位時間あたりの移動距離を示す移動量を算出するものである。移動量とは、作業者がある一定の期間にどのくらいの距離を移動したのかを示す指標である。
【００７４】
本実施形態では、評価対象フレームとＮフレーム前の作業者位置（マス）の変化をユークリッド距離を算出することにより移動量を求める。図６に示す例では、移動量算出部１４は、評価対象フレームの作業者領域Ａ２の作業者位置Ｃ２を、比較対象フレームの作業者領域Ａ１の作業者位置Ｃ１と比較して、作業者位置Ｃ２と作業者位置Ｃ１との距離を求める。本実施形態では、１フレームあたり、静止画データの何ピクセル分を移動したかを移動量（単位：pixel／frame）として算出するものとし、求めた上記ユークリッド距離をフレーム数（Ｎ）で除算して移動量とする。移動量の単位は、これに限定されず、実際の距離（cm、m）および時間（秒、分）などを用いてもよい。
【００７５】
移動量算出部１４は、求めた移動量を上記評価対象フレームに対応付けて算出結果記憶部３１に記憶する。評価対象フレームに、複数の作業者領域がある場合は、すべての作業者領域について移動量を求め、そのうち最大の値を示す移動量を、最大移動量として算出結果記憶部３１に記憶する。
【００７６】
図７は、算出結果記憶部３１に記憶される動作量および移動量の算出結果の一例を示す図である。上述したとおり、動画データＤの各フレームに対応付けて、動作量算出部１３が算出した最大動作量、および、移動量算出部１４が算出した最大移動量が記憶される。複数の動画データＤについて、動作量および移動量を記憶しておく場合は、各フレームに、動画ＩＤを関連付けて記憶しておけばよい。
【００７７】
ムダ判定部１５は、動作量算出部１３がフレームごとに算出した動作量に基づいて、動作量の大きい（動作のムダ候補）シーンを写すフレームを特定するものである。また、移動量算出部１４がフレームごとに算出した移動量に基づいて、作業者が大きく移動した（移動のムダ候補）シーンを写すフレームを特定するものである。本実施形態では、ムダ判定部１５は、自身が特定した動作量が大きいフレームを「動作のムダ候補」、また、特定した移動量が大きいフレームを「移動のムダ候補」と判定する。
【００７８】
これは、動作量および移動量が大きいほど、そのフレームに写っている作業には動作および移動のムダが多く潜んでいるという考え方に基づいている。
【００７９】
より詳細には、作業者が製品の製造にかける「作業時間」は、（１）実際に製品を組み立てる作業（付加価値作業）の時間、（２）それ以外の作業（非付加価値作業）（部品を取りに歩く、モノを運搬するなど）の時間とに大きく分類できる。従来、（１）の作業時間に着目し、繰り返し作業の中のいつもと違う動きにムダがある、作業者が動いていない（＝怠けている）ところをムダとして捉えるという考え方に基づいてムダが抽出されていた。一方、本発明では、（２）の作業時間に着目し、作業者の動作・移動に費やされるエネルギーの多い部分に、問題点（ムリ・ムダ・ムラ）が存在するという考え方に基づいてムダを抽出している。
【００８０】
ムダ判定部１５は、上述の考え方に基づいて、フレームの動作量・移動量に基づいてフレームを特定することにより「動作（移動）のムダ候補」であるか否かの判定を行い、判定結果を判定結果記憶部３２に記憶する。
【００８１】
なお、ムダ判定部１５が行う判定処理の詳細については後述する。
【００８２】
図８は、判定結果記憶部３２に記憶される判定結果の一例を示す図である。上述したとおり、動画データＤの各フレームに対応付けて、ムダ判定部１５が行った判定処理の結果（判定タグ）が記憶される。
【００８３】
図８に示す例では、判定タグを格納するためのフィールドを１つ設け、移動量または動作量が大きいシーンとして特定されたフレームには、動作または移動のいずれかのムダを示す判定タグが記憶されるようになっている。本実施形態では、まず移動量に基づいて移動のムダの有無を判定し、移動のムダがないと判定されたフレームについて、動作のムダの有無を判定する。すなわち、判定タグのフィールドには、「移動のムダ候補」の判定タグが優先付与される。これにより、例えば、作業者が移動はあまり行っていなくとも、多大な労力を費やして行った動作について、移動の判定のみでは、ムダを発見できなかった作業シーンを、動作のムダとして判定し発見することが可能となる。
【００８４】
しかし、ムダ判定部１５の判定タグの付与方法は上記に限定されない。判定タグのフィールドが１つしか設けられていない構成の場合に以下のようにしてもよい。すなわち、動作量の大きいフレームを特定して「動作のムダ候補」の判定タグを付与したのちに、動作のムダ候補と判定されたフレームについて、移動量の大きいフレームか否かを判定して、「移動のムダ候補」の判定タグを付与する方法が考えられる。この場合、動作のムダと判定された作業シーン（フレーム）のうち、それが移動によって生じたものであるのか否かを、「移動のムダ候補」の判定タグによって識別することが可能となる。
【００８５】
あるいは、判定結果記憶部３２のデータ構造を、移動および動作のムダそれぞれについて、判定タグのフィールドを２つ設ける構成とし、移動のムダの判定結果と、動作のムダの判定結果とを、フレームごとに別々に記憶してもよい。これにより、改善担当者は、移動のみ、動作のみの観点からムダな作業をもれなく抽出し分析することが可能となる。
【００８６】
判定結果出力部１６は、ムダ判定部１５の判定処理によって得られた判定結果を表示部４１に出力するものである。
【００８７】
判定結果を表示部４１にどのように表示するのかは特定に限定されない。例えば、図８に示すとおり、フレームごとの判定タグを一覧表にして表示部４１に表示してもよいし、あるいは、上記判定結果に基づいて動画データＤＢ３からムダがあると判定されたフレームのみを動画データＤから抽出し、ムダな作業のシーンを撮影したと思われる部分のみを表示部４１に再生してもよい。
【００８８】
上述した一連の作業評価処理により、改善担当者は、動作量（移動量）が大きく、動作（移動）のムダ（の候補）と判定されたフレームのみを効率よく確認することが可能となり、改善担当者の作業分析の負担を軽減することができる。
【００８９】
〔作業評価装置の作業評価フロー〕
図９は、作業評価装置１における作業評価処理の流れを示すフローチャートである。
【００９０】
作業評価装置１は、改善担当者から操作部４２を介して作業評価処理を開始する指示が入力されると、あるいは、動画データＤＢ３に動画データＤが新たに記憶されると、作業評価処理を開始する。
【００９１】
まず、作業者領域抽出部１１は、動画データＤＢ３から評価したい動画データのフレームを取り出し（Ｓ１）、フレームの作業者領域を抽出する（Ｓ２）。このとき作業者領域は１フレーム内に複数あってもよい。また、ここで、１つの評価対象フレームのみ作業者領域抽出処理を行ってもよいし、すべてのフレームについて処理を行ってもよい。
【００９２】
評価対象フレームから作業者領域が抽出されると（Ｓ３においてＹＥＳ）、作業者追跡処理部１２、動作量算出部１３、および、移動量算出部１４は、移動量および動作量の算出を行う（Ｓ４、Ｓ５）。Ｓ４およびＳ５はどちらを先に実行しても構わない。上記評価対象フレームに複数の作業者領域が存在する場合は、すべての作業者領域に対して、Ｓ４およびＳ５が繰り返される（Ｓ６においてＹＥＳ）。すべての作業者領域についてＳ４およびＳ５が実行されると（Ｓ６においてＮＯ）、Ｓ４、Ｓ５で求まった最大移動量および最大動作量を当該評価対象フレームに対応付けて算出結果記憶部３１に記憶する（Ｓ７）。続いて、必要に応じて背景更新処理を実行し（Ｓ８）、未処理のフレームがあれば（Ｓ９においてＹＥＳ）、Ｓ１〜Ｓ８の処理を繰り返す。なお、Ｓ３においてフレームから作業者領域が抽出されなかった場合には（ＮＯ）、作業者領域抽出部１１は、必要に応じて背景更新処理を実行し（Ｓ８）、Ｓ９に進む。
【００９３】
すべてのフレームについてＳ４、Ｓ５の処理が実行されると（Ｓ９においてＮＯ）、ムダ判定部１５は、算出結果記憶部３１に記憶された算出結果に基づいて、動画データＤの各フレームの動作（および移動）のムダの有無を判定する（Ｓ１０）。そして、すべてのフレームについてムダの判定が実行されると、判定結果出力部１６は、その判定結果を表示部４１に表示する（Ｓ１１）。
【００９４】
図１０は、移動量算出部１４における移動量算出処理の流れを示すフローチャートである。
【００９５】
まず、移動量算出部１４は、評価対象フレームおよび該評価対象フレームのＮフレーム前の比較対象フレームの作業者領域を取得する（Ｓ１０１）。作業者領域が複数存在する場合には、作業者追跡処理部１２の追跡処理結果に基づいて、対応する作業者領域同士を取得する。続いて、取得した作業者領域に含まれる各作業者位置を取得する（Ｓ１０２）。
【００９６】
移動量算出部１４は、評価対象フレームの作業者位置と、比較対象フレームの作業者位置との間のユークリッド距離を算出し、当該距離に相当するピクセル数を求め、フレーム数Ｎで割って移動量を算出する（Ｓ１０３）。
【００９７】
評価対象フレームに作業者領域が複数ある場合は、移動量が複数求まる。Ｓ１０３において算出された移動量が、これまでに求められた移動量よりも大きい場合は（Ｓ１０４においてＹＥＳ）、Ｓ１０３において算出された移動量を最大移動量として、図示しないＲＡＭなどの一時記憶部に一時的に記憶する（Ｓ１０５）。
【００９８】
一方、これまでに求められた移動量よりも小さい場合は、最大移動量を更新せずに移動量算出処理を終了し、次の処理に進む。
【００９９】
図１１は、動作量算出部１３における動作量算出処理の流れを示すフローチャートである。
【０１００】
まず、動作量算出部１３は、評価対象フレームおよび該評価対象フレームのＮフレーム前の比較対象フレームの作業者領域を取得する（Ｓ２０１）。作業者領域が複数存在する場合には、作業者追跡処理部１２の追跡処理結果に基づいて、対応する作業者領域同士を取得する。続いて、取得した作業者領域の変化を認識し、マスごとにベクトルの大きさを求める（オプティカルフロー推定）（Ｓ２０２）。次に、求められた各ベクトルの大きさの和を動作量として算出する（Ｓ２０３）。
【０１０１】
Ｓ２０３において算出された動作量が、これまでに求められた動作量よりも大きい場合は（Ｓ２０４においてＹＥＳ）、Ｓ２０３において算出された動作量を最大動作量として、上記一時記憶部に一時的に記憶する（Ｓ２０５）。
【０１０２】
一方、これまでに求められた動作量よりも小さい場合は、最大動作量を更新せずに動作量算出処理を終了し、次の処理に進む。
【０１０３】
図１２は、ムダ判定部１５における判定処理の流れを示すフローチャートである。本実施形態では、フレームごと関連付けられた動作量（および移動量）を、あらかじめ設定されている動作量閾値（および移動量閾値）と比較することにより、フレームごとに作業のムダの有無を判定する。
【０１０４】
動作量閾値および移動量閾値は、図１に示す閾値記憶部３３にそれぞれ記憶されており、ムダ判定部１５は、閾値記憶部３３に記憶されている各閾値を参照して、閾値を越える動作量（移動量）のフレームを、ムダな動作（移動）を行う作業者が写っているフレームとして特定する。
【０１０５】
まず、ムダ判定部１５は、判定対象フレームに対応付けられている算出結果（最大移動量および最大動作量）を算出結果記憶部３１から取得する（Ｓ３０１）。次に、ムダ判定部１５は、閾値記憶部３３に記憶されている移動量閾値と、取得した最大移動量とを比較し、最大移動量が上記閾値を越えている場合には（Ｓ３０２においてＹＥＳ）、移動のムダ候補と判定し（Ｓ３０３）、当該フレームに「移動のムダ候補」の判定タグを付与する。
【０１０６】
一方、上記最大移動量が閾値以下の場合には（Ｓ３０２においてＮＯ）、当該フレームに移動のムダはないと判定し（Ｓ３０４）、動作のムダの判定するステップに進む。
【０１０７】
続いて、ムダ判定部１５は、閾値記憶部３３に記憶されている動作量閾値と、取得した最大動作量とを比較し、最大動作量が上記閾値を越えている場合には（Ｓ３０５においてＹＥＳ）、動作のムダ候補と判定し（Ｓ３０６）、当該フレームに「動作のムダ候補」の判定タグを付与する。
【０１０８】
一方、上記最大動作量が閾値以下の場合には（Ｓ３０５においてＮＯ）、当該フレームに動作のムダはないと判定する（Ｓ３０７）。本実施形態では、ムダ判定部１５がＳ３０７において動作のムダがないと判定した場合、移動および動作の両方についてムダがないことになり、当該フレームに映る作業は、作業者が製品を組み立てるための作業（付加価値作業）であると判断される。この場合、当該フレームには「付加価値作業」の判定タグを付与してもよいし、いずれのタグも付与しない構成としてもよい。
【０１０９】
最後に、ムダ判定部１５は、フレーム対して付与した判定タグを、当該フレームに対応付けて判定結果記憶部３２に記憶する（Ｓ３０８）。
【０１１０】
続いて、まだ判定を行っていない未処理のフレームが残っている場合には（Ｓ３０９においてＹＥＳ）、Ｓ３０１に戻り、上述した各ステップを繰り返す。すべてのフレームについて作業の評価（ムダの判定）を終了すると（Ｓ３０９においてＹＥＳ）、作業評価処理を終了する。
【０１１１】
上記構成および方法によれば、動作量算出部１３（および移動量算出部１４）は、動画データＤに含まれる評価対象フレームを、該評価対象フレームより一定時間前（例えばＮフレーム前）に得られた比較対象フレームと比較し、評価対象フレームにおける作業者を示す作業者領域の、比較対象フレームからの変化の大きさ（各マスのベクトルの大きさの和）を動作量として算出する。また、各フレームの作業者領域の作業者位置間のユークリッド距離から１フレームあたりの作業者の移動距離（ピクセル）を移動量として算出する。
【０１１２】
ムダ判定部１５は、上記動作量（および上記移動量）を、あらかじめ定められた閾値と比較して、閾値を越える動作量（移動量）をもつフレームを、作業のムダを映したフレームであると判定する。
【０１１３】
これにより、非付加価値作業のうち作業のムダと判定されたシーンのみを改善担当者が効率よく把握することが可能となるので、すべての作業を目視確認する必要がなくなり、改善担当者の負担を軽減することが可能となる。
【０１１４】
なお、上述の例では、移動のムダおよび動作のムダの両方について評価を行ったが、動作量の観点からのみムダの有無を評価したい場合には、作業評価装置１は、移動量算出部１４を必ずしも備えていなくてよい。
【０１１５】
また、上述の例では、移動量算出部１４および動作量算出部１３が、すべてのフレームについて移動量および動作量を算出してから、ムダ判定部１５が作業のムダを判定する場合について説明したが、本発明の作業評価方法は、これに限定されない。例えば、一つのフレームについて、移動量および動作量を算出し、判定を行うという処理を、フレームの枚数分繰り返す手順で実行してもよい。
【０１１６】
図１３〜図１５は、ムダ判定部１５の判定結果を判定結果出力部１６が表示部４１に出力した場合の画面表示例を示す図である。
【０１１７】
図１３に示す例では、作業者が生産セルにいるか否か（フレームに作業者領域があるか否か）を示す帯グラフが時間軸上に色分けして表示される。また、作業者が映っているフレームについては、そのシーンがムダな作業であるか否かを示す帯グラフが色分けして表示される。
【０１１８】
ここで、動画データを再生するとともに、再生中のフレームの位置を帯グラフ上に示せば（ライン９２）、改善担当者は、現在再生されているシーンが、作業のムダであるか否かを容易に確認することが可能となる。
【０１１９】
図１４に示す例では、動画データを再生するとともに、フレームごとに、作業者領域および当該領域について求められた動作量（および移動量）の情報が表示される。さらに、再生中のフレームに対応付けられた動作量および移動量の値をＸ軸およびＹ軸上にプロットした２次元グラフを閾値とともに表示させてもよい。
【０１２０】
これにより、改善担当者は、現在再生中のフレームが、移動、動作のいずれのムダであるのか、あるいは、付加価値作業であるのかを容易に確認することが可能となる。
【０１２１】
図１５は、図１４の２次元グラフにさらに閾値を動かすためのスクロールバーを表示した例を示す。このスクロールバーを操作することにより改善担当者は、容易に各閾値を設定しなおすことが可能となる。
【０１２２】
〔変形例−ムダ判定方法〕
（判定方法１）閾値を手動で変更する方法
図１５の例に示すとおり、閾値記憶部３３に設定されている閾値を、改善担当者が経験や知識に基づき、利用場面に応じて設定しなおすことが可能である。改善担当者が操作部４２を介して、新たな閾値を入力すると、閾値設定部１７は、閾値記憶部３３を新たに入力された閾値に更新する。閾値が更新されたことを検知して自動でムダ判定部１５が判定を再開する構成としてもよい。
【０１２３】
（判定方法２）閾値を使わない判定方法
ムダ判定部１５は、閾値を用いた判定方法に限定されない。あらかじめ、ムダとして抽出したい時間（またはフレーム数）を設定し、それに基づいて、ムダ判定部１５が、移動量・動作量の大きいものから（ムダが大きいものから）順にムダ候補の判定タグをつける構成でもよい。
【０１２４】
具体的には、改善担当者が動画データからムダ候補のシーンを１０分だけ抽出したいと望んでいる場合に、操作部４２を介して、抽出時間「１０分」の指定を作業評価装置１に入力する。ムダ判定部１５は、「１０分」分に相当するフレーム枚数の分だけ、動作量（および移動量）の多い順に、動画データからフレームを特定し、ムダ候補の判定タグを付与する。
【０１２５】
これにより、改善担当者の目的や都合（「作業時間をあと１０分短縮したい。」「改善作業に１０分しか費やせない。」など）に応じて、ムダが多いと考えられるシーンから優先的に確認することが可能となるので、改善担当者の作業効率を高めることができる。
【０１２６】
（判定方法３）
本発明の作業評価装置１を閾値による判定方法と、抽出時間を指定する判定方法とを使い分ける構成とすることも可能である。
【０１２７】
図１６は、ムダ判定部１５における他の判定処理の流れを示すフローチャートである。
【０１２８】
判定処理の開始が制御部１０によって指示されると、閾値記憶部３３に閾値が設定されている場合、あるいは、閾値設定部１７によって閾値を更新されている場合には（Ｓ４０１においてＹＥＳ）、上述した図１２に示す方法で判定処理を実行する。
【０１２９】
一方、閾値が設定（更新）されていない場合には（Ｓ４０１においてＮＯ）、ムダ判定部１５は、改善担当者からの抽出時間の指定を待ち受ける（Ｓ４０２）。
【０１３０】
操作部４２を介して改善担当者が指定する抽出時間が入力されると（Ｓ４０２においてＹＥＳ）、ムダ判定部１５は、評価対象である動画データのフレームレートを取得し（Ｓ４０３）、指定された抽出時間に相当するフレーム枚数を求める（Ｓ４０４）。
【０１３１】
続いて、ムダ判定部１５は、算出結果記憶部３１を参照し、フレーム枚数分のフレームを、移動量の大きいものから順に特定する（Ｓ４０５）。そして、特定した移動量上位のフレーム群に対して、「移動のムダ候補」の判定タグを付与する（Ｓ４０６）。
【０１３２】
次に、ムダ判定部１５は、算出結果記憶部３１を参照し、フレーム枚数分のフレームを動作量の大きいものから順に特定する（Ｓ４０７）。そして、特定した動作量上位のフレーム群に対して、「動作のムダ候補」の判定タグを付与する（Ｓ４０８）。
【０１３３】
そして、ムダ判定部１５は、いずれかのムダ候補の判定タグを付与した上述のフレームごとに、フレームに対応付けられている最大移動量と最大動作量との合計の値を求め、合計が大きいものから順に上記フレーム枚数分のフレームを再度特定する（Ｓ４０９）。
【０１３４】
最後に、Ｓ４０９にて特定した各フレームに付与された判定タグの結果を判定結果記憶部３２に記憶する（Ｓ４１０）。ここで、判定結果記憶部３２における判定タグのフィールドが１つ設けられている場合には、「移動のムダ候補」の判定タグを優先して記憶すればよい。
【０１３５】
これにより、移動量および動作量に基づいて、ムダが大きいと予測されるフレームから順に指定枚数のフレームを抽出し、ムダ候補のフレームとして改善担当者に提示することができる。
【０１３６】
なお、上述の例では、移動量および動作量の両方を考慮して、指定枚数のフレームを抽出する方法について説明したが、いずれか一方のみを考慮して、指定枚数のフレームを抽出してもよい。
【０１３７】
さらに、上述の各ステップにより抽出されたムダ候補のフレームの移動量・動作量の中で最も小さな値を、次回に使用する移動量閾値・動作量閾値として設定するように閾値設定部１７を構成してもよい。閾値設定部１７は、算出結果記憶部３１および判定結果記憶部３２を参照して、ムダと判定されたフレームの最も小さな移動量、動作量を取得し、閾値として閾値記憶部３３に記憶する。
【０１３８】
これにより、指定枚数のフレームを抽出するのに適切な閾値が自動で設定されるので、改善担当者は、適切な閾値がいずれであるかを試行錯誤せずとも、次回以降の作業評価処理において用いることが可能となる。したがって、熟練した改善担当者でなくとも効率よくムダのシーンを抽出し、確認することが可能となる。
【０１３９】
（判定方法４）
判定結果出力部１６が表示部４１に出力した判定結果を改善担当者が手動で修正するツールを提示してもよい。
【０１４０】
図１７は、ムダ判定部１５の判定結果を判定結果出力部１６が表示部４１に出力した場合の他の画面表示例を示す図である。
【０１４１】
図１７に示す例では、動画データを再生する領域とともに、ムダ判定部１５の判定結果のリストを表示するリスト領域９０と、該リストに示された判定タグを改善担当者が修正するためのツールを表示するツール領域９１が設けられている。
【０１４２】
これにより、改善担当者は、動画データを確認し、判定結果と異なるシーンを発見した場合には、判定タグの修正を行うことができる。具体的には、リスト領域９０から修正を行いたいフレームの行を選択し、ツール領域９１からどの判定タグに修正したいのかを選択する。そして「修正」ボタンをクリックするのみで、簡単に判定タグを修正することが可能となる。
【０１４３】
〔変形例−動作量の算出方法〕
上述の実施形態では、動作量算出部１３は、作業者領域を形成する各マスの変化の大きさ（動きの大きさ）を考慮して動作量を算出しているが、これに限定されない。上述したとおり、動作量とは、作業者の苦労の程度を定量化したものであるので、作業者の苦労の程度を定量化するために有効なあらゆる情報を考慮して動作量を算出することができる。
【０１４４】
具体的には、作業者のモノを運搬するという動作を評価する場合、作業者が手にする運搬物の重量を考慮して動作量を算出することが挙げられる。当然、運搬物の重量が大きいほど、動作量は大きくなる。
【０１４５】
図１に示すとおり、重量を考慮するために、作業評価装置１の制御部１０は、さらに運搬物検出部１８を備えており、記憶部３０は、重量情報記憶部３４を含んでいる。
【０１４６】
運搬物検出部１８は、動画データＤＢ３から取得した評価対象フレーム（静止画データ）から、作業者によって運搬されている運搬物を検出するものである。運搬物検出部１８は、検出した運搬物を特定し、該運搬物の情報を動作量算出部１３に伝達する。
【０１４７】
より具体的には、例えば、検出すべき各種運搬物の画像情報（色や大きさの情報）が運搬物ＩＤに対応付けてあらかじめ記憶部３０に学習されているものとする。そして、運搬物検出部１８は、上記フレームに含まれる非背景物体の領域の中に、学習されている運搬物の画像情報と一致度の高い領域を検出し、どの運搬物であるのかを特定する。次に、特定した運搬物の運搬物ＩＤを動作量算出部１３に伝達する。
【０１４８】
あるいは、運搬物に位置発信機を取り付けておき、該位置発信機から作業評価装置１に運搬物ＩＤとともに送信される運搬物の位置情報と作業者の作業者位置とに基づいて、運搬物検出部１８が「運搬している動作」を検出してもよい。
【０１４９】
動作量算出部１３は、運搬物検出部１８から運搬物ＩＤが伝達されると、評価対象フレームの作業者領域について動作量を算出する際に、上記運搬物ＩＤによって特定される運搬物の重量を考慮する。各運搬物の重量は、重量情報記憶部３４に記憶されている。
【０１５０】
図１８は、重量情報記憶部３４に記憶される重量情報の一例を示す図である。運搬物の重量が、運搬物ＩＤに対応付けて記憶されており、動作量算出部１３は、運搬物検出部１８から受け取った運搬物ＩＤに基づいて、重量情報記憶部３４から考慮すべき重量を取得する。
【０１５１】
次に、動作量算出部１３は、特定された運搬物の重量ｘに基づいて重量指数ｙを算出する。重量指数ｙとは、動作量を算出するために、上述した方法で求めた作業者領域のベクトルの和に対して加算する数値のことである。ここで、重量ｘに基づいて重量指数ｙを求めるための重量関数をＦ（ｘ）とすると、本実施形態では、動作量は以下のようにして算出される。
動作量＝作業者領域のベクトルの和＋Ｆ（ｘ）
図１９（ａ）および（ｂ）は、重量関数Ｆ（ｘ）の例を示す図である。なお、重量関数Ｆ（ｘ）は、記憶部３０のうちの図示しない重量関数記憶部に記憶されているものとする。
【０１５２】
図１９（ａ）および（ｂ）では、Ｘ軸を重量、Ｙ軸を重量指数とする２次元グラフにより重量関数Ｆ（ｘ）を示している。
【０１５３】
図１９（ａ）に示す例では、重量と重量指数との関係は正比例の関係にあり、運搬物が重たいほど、動作量に含めるべき重量指数の値が大きくなる。
【０１５４】
また、図１９（ｂ）に示すような関数に基づいて重量指数を求めてもよい。作業者が重さを感じないほどの軽さでは、重量と作業者の負担は必ずしも比例の関係にないため、ある一定の重さまでは傾きを０に近づけておき、逆に、ある一定以上運搬物が重たくなると、作業者が感じる負担には大差がなくなるため、ある一定以上の重さについても傾きを０に近づける。このような関数を用いれば、作業者が感じる負担と重さとの関係をより忠実に反映した動作量を算出することが可能となる。
【０１５５】
重量関数Ｆ（ｘ）は、上述の例に限定されず、重量ｘ１＞ｘ２ならばＦ（ｘ１）≧Ｆ（ｘ２）の関係を満たすような関数であればどのような関数を用いてもよい。これは、運搬物の重量が重いほど、動作量が大きくなるという関係は不変であるという考え方に基づいている。
【０１５６】
上記構成によれば、作業者がモノを運搬する動作を行っているシーンにおいて、運搬物の重量を考慮して動作量を算出することができる。これにより、作業者が感じる実際の苦労の程度をより正確に反映した動作量に基づいて、適切に動作のムダを判定することが可能となる。
【０１５７】
なお、本発明の作業評価装置は、大型装置のセル生産で行われる作業に限らず、様々な生産形態における人の手による生産作業を評価することが可能である。
【０１５８】
ただし、大型の装置をセル生産にて手作業で生産するときの作業を評価する場合は、本発明の作業評価装置を適用することによる効果は特に大きい。
【０１５９】
なぜなら、大型の装置のセル生産では、単位作業時間が非常に長いため、繰り返し精度が極端に低く、動作のパターン化ができないために、装置を用いた自動分析は困難であり、また、人（改善担当者）が分析を行うにしても、いくつもの工程の長い時間の作業を、多くの時間を要して確認しなければならないので、分析に多大な負担がかかるからである。
【０１６０】
つまり、単位作業時間が非常に長く、繰り返し精度が低い作業からなる生産システム（例えば、大型装置のセル生産）は、機械が分析を得意としていた分野でもなく、人が容易に分析可能であった分野でもなく、従来作業の評価が非常に困難な生産形態であった。
【０１６１】
上述の生産形態における作業を評価する際に、本発明の作業評価装置を適用することにより、改善担当者の負担を大幅に低減することができる。
【０１６２】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１６３】
最後に、作業評価装置１の各ブロック、特に動作量算出部１３およびムダ判定部１５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１６４】
すなわち、作業評価装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである作業評価装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記作業評価装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１６５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６６】
また、作業評価装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１６７】
本発明は、人が手作業で加工・組立て作業を行う生産形態における作業（特に、繰り返し精度の低い作業）の評価を行う作業評価装置に好適に用いることができる。
【図面の簡単な説明】
【０１６８】
【図１】本発明の実施形態に係る作業評価装置の要部構成を示す図である。
【図２】本発明の実施形態に係る生産管理システムの概略構成を示す図である。
【図３】本発明の実施形態に係る生産管理システムの動画データＤＢに記憶される動画データのデータ構造の一例を示す図である。
【図４】本発明の実施形態に係る作業評価装置の作業者領域抽出部が抽出する作業者領域の例を示す図である。
【図５】本発明の実施形態に係る作業評価装置の動作量算出部が動作量を算出する際の作業者領域の具体例を示す図である。
【図６】本発明の実施形態に係る作業評価装置の移動量算出部が移動量を算出する際の作業者位置の具体例を示す図である。
【図７】算出結果記憶部に記憶される動作量および移動量の算出結果の一例を示す図である。
【図８】判定結果記憶部に記憶される判定結果の一例を示す図である。
【図９】本発明の実施形態に係る作業評価装置における作業評価処理の流れを示すフローチャートである。
【図１０】移動量算出部における移動量算出処理の流れを示すフローチャートである。
【図１１】動作量算出部における動作量算出処理の流れを示すフローチャートである。
【図１２】ムダ判定部における判定処理の流れを示すフローチャートである。
【図１３】ムダ判定部の判定結果を判定結果出力部が表示部に出力した場合の画面表示例を示す図である。
【図１４】ムダ判定部の判定結果を判定結果出力部が表示部に出力した場合の画面表示例を示す図である。
【図１５】ムダ判定部の判定結果を判定結果出力部が表示部に出力した場合の画面表示例を示す図である。
【図１６】ムダ判定部における他の判定処理の流れを示すフローチャートである。
【図１７】ムダ判定部の判定結果を判定結果出力部が表示部に出力した場合の他の画面表示例を示す図である。
【図１８】重量情報記憶部に記憶される重量情報の一例を示す図である。
【図１９】（ａ）および（ｂ）は、重量関数Ｆ（ｘ）の例を示す図である。
【符号の説明】
【０１６９】
１ 作業評価装置
２ 撮像装置
３ 動画データデータベース
１０ 制御部
１１ 作業者領域抽出部
１２ 作業者追跡処理部
１３ 動作量算出部（動作量算出手段）
１４ 移動量算出部（移動量算出手段）
１５ ムダ判定部（フレーム特定手段）
１６ 判定結果出力部（作業評価結果出力手段）
１７ 閾値設定部
１８ 運搬物検出部（運搬物検出手段）
３０ 記憶部
３１ 算出結果記憶部
３２ 判定結果記憶部
３３ 閾値記憶部
３４ 重量情報記憶部
４１ 表示部
４２ 操作部
１００ 生産管理システム
【特許請求の範囲】
【請求項１】
撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置において、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、
上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴とする作業評価装置。
【請求項２】
上記フレーム特定手段は、フレームごとに算出された動作量を閾値と比較し、閾値を越える動作量のフレームを特定することを特徴とする請求項１に記載の作業評価装置。
【請求項３】
上記フレーム特定手段は、所定時間分のフレームを上記動画データから動作量の大きい順に特定することを特徴とする請求項１に記載の作業評価装置。
【請求項４】
上記フレーム特定手段が特定したフレームのみを上記動画データから抽出して表示部に表示する作業評価結果出力手段を備えていることを特徴とする請求項１に記載の作業評価装置。
【請求項５】
上記動作量算出手段は、
上記評価対象のフレームおよび上記比較対象のフレームの各作業者領域上に複数定められたポイントを検出し、
上記評価対象のフレームのポイントを終点とし、該ポイントと対応する上記比較対象のフレームのポイントを始点とするベクトルの大きさを求め、
ポイントごとに求めたベクトルの大きさの和を動作量として算出することを特徴とする請求項１に記載の作業評価装置。
【請求項６】
上記評価対象のフレームから、作業者によって運搬される運搬物を検出する運搬物検出手段を備え、
上記動作量算出手段は、
運搬物に対応付けて重量を記憶する重量情報記憶部から、上記運搬物検出手段によって検出された運搬物の重量を取得し、
上記評価対象のフレームにおける上記作業者領域の変化の度合いとともに、上記運搬物の重量にも基づいて動作量を算出することを特徴とする請求項１に記載の作業評価装置。
【請求項７】
上記評価対象のフレームを上記比較対象のフレームと比較し、該比較対象のフレームから該評価対象のフレームまでの間の作業者の移動距離を移動量として算出する移動量算出手段を備え、
上記フレーム特定手段は、
上記移動量算出手段によって上記動画データのフレームごとに算出された移動量に基づいて、所定の基準に従って移動量が大きなフレームを、ムダに移動する作業者が写っているフレームとして特定することを特徴とする請求項１に記載の作業評価装置。
【請求項８】
撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置における作業評価方法であって、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、
上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴とする作業評価方法。
【請求項９】
撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置の制御プログラムであって、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、
上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとをコンピュータに実行させるための制御プログラム。
【請求項１】
撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置において、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、
上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴とする作業評価装置。
【請求項２】
上記フレーム特定手段は、フレームごとに算出された動作量を閾値と比較し、閾値を越える動作量のフレームを特定することを特徴とする請求項１に記載の作業評価装置。
【請求項３】
上記フレーム特定手段は、所定時間分のフレームを上記動画データから動作量の大きい順に特定することを特徴とする請求項１に記載の作業評価装置。
【請求項４】
上記フレーム特定手段が特定したフレームのみを上記動画データから抽出して表示部に表示する作業評価結果出力手段を備えていることを特徴とする請求項１に記載の作業評価装置。
【請求項５】
上記動作量算出手段は、
上記評価対象のフレームおよび上記比較対象のフレームの各作業者領域上に複数定められたポイントを検出し、
上記評価対象のフレームのポイントを終点とし、該ポイントと対応する上記比較対象のフレームのポイントを始点とするベクトルの大きさを求め、
ポイントごとに求めたベクトルの大きさの和を動作量として算出することを特徴とする請求項１に記載の作業評価装置。
【請求項６】
上記評価対象のフレームから、作業者によって運搬される運搬物を検出する運搬物検出手段を備え、
上記動作量算出手段は、
運搬物に対応付けて重量を記憶する重量情報記憶部から、上記運搬物検出手段によって検出された運搬物の重量を取得し、
上記評価対象のフレームにおける上記作業者領域の変化の度合いとともに、上記運搬物の重量にも基づいて動作量を算出することを特徴とする請求項１に記載の作業評価装置。
【請求項７】
上記評価対象のフレームを上記比較対象のフレームと比較し、該比較対象のフレームから該評価対象のフレームまでの間の作業者の移動距離を移動量として算出する移動量算出手段を備え、
上記フレーム特定手段は、
上記移動量算出手段によって上記動画データのフレームごとに算出された移動量に基づいて、所定の基準に従って移動量が大きなフレームを、ムダに移動する作業者が写っているフレームとして特定することを特徴とする請求項１に記載の作業評価装置。
【請求項８】
撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置における作業評価方法であって、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、
上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴とする作業評価方法。
【請求項９】
撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置の制御プログラムであって、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、
上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとをコンピュータに実行させるための制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００８−２２５７０４（Ｐ２００８−２２５７０４Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６１０５０（Ｐ２００７−６１０５０）
【出願日】平成１９年３月９日（２００７．３．９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月９日（２００７．３．９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
[ Back to top ]