動作分析装置、動作分析方法及び動作分析プログラム
【課題】作業の映像中のどの部分がどの作業に対応し、かつ、個々の作業にどの程度の時間を要しており、かつ各作業を決められた手順で行っているかを容易に分析できる分析装置を提供する。
【解決手段】基準被写体を撮像した基準映像における動作区切りタイミングを設定させ、基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、動作の区切りタイミングを基に連続動作の区切りタイミングを設定し、基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得し、各動作の区切りタイミングにおける特徴的な特徴軌跡情報を抽出し、他の被写体を撮像した比較映像から他の被写体の動作に係る比較軌跡情報を取得し、比較軌跡情報から特徴軌跡情報を検索して基準被写体について設定したものと同じ動作を抽出し、さらにそれを連続動作の区切りタイミングに基づいて集約し、各連続動作の所要時間を計測して表示装置に表示する。
【解決手段】基準被写体を撮像した基準映像における動作区切りタイミングを設定させ、基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、動作の区切りタイミングを基に連続動作の区切りタイミングを設定し、基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得し、各動作の区切りタイミングにおける特徴的な特徴軌跡情報を抽出し、他の被写体を撮像した比較映像から他の被写体の動作に係る比較軌跡情報を取得し、比較軌跡情報から特徴軌跡情報を検索して基準被写体について設定したものと同じ動作を抽出し、さらにそれを連続動作の区切りタイミングに基づいて集約し、各連続動作の所要時間を計測して表示装置に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者の動作を撮影して分析し、作業動作及び手順の問題点を発見して改善するための分析データを提供する動作分析装置及び動作分析方法、動作分析プログラムに関する。
【背景技術】
【０００２】
工場などの生産現場では、製造ラインやセルにおける作業者（工員）の生産効率を向上させるための試みが絶えず行われている。
例えば、一人の作業者が、一連の複数の作業をこなさなければならないセル式の生産現場では、一つの作業について割り当てられた標準時間を守れなかったり、あるいは作業手順通りに作業ができないといったさまざまな生産性阻害要因がある。
そこで、個々の作業者の生産性を向上させるために、作業者ごとの生産性の阻害要因がどこにあるのかを観察することが重要となる。従来から、ストップウォッチなどを使って、手動で、作業時間を計測したり、目視によって作業手順が前後していないかを確認したりということが行われていたが、時間と手間を要するため、より簡単で且つ効率的な手法が求められている。
有力な手法としては、作業者の動作を撮影したビデオ映像を解析して作業者の動作分析を行うということが考えられるが、従来は、ビデオ映像に基づいて作業時間を計測する場合でも、ビデオ映像を見ながらストップウォッチで作業時間を計測するといった方法であり、効率的にはさほどの向上は見られなかった。
【０００３】
それに対し、特許文献１では、工場の生産ラインにおいて作業分析に要する時間を大幅に削減するための手法として、マーカーを装着した作業者の作業内容を示す映像を記録して、マーカーを付けた作業者の体の部位の少なくとも一つの動作の軌跡を示す軌跡データを記録する技術について開示されている。これによれば、軌跡データを作業毎に分割し、作業内容とともに記録し、一連の作業、例えばタスクＡ、Ｂ、Ｃが繰り返される際、Ａ、Ｂ、Ｃの一連の軌跡データを、標準サイクルとして次以降のサイクルの軌跡データを比較して、例えばタスクが前後していないか等を分析している。
それに対し、特許文献２には、熟練者と初心者の体にマーカーを取付け、同一の作業をさせた時の作業動作の特徴ベクトルを比較して、熟練度の違いや作業時間の違いを定量的に判断することが記載されている。これによれば、作業手順に精通した熟練者と比較することで、より正確に作業者の動作分析が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０１５５２９公報
【特許文献２】特開２００５−２４２４１８公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている従来技術は、作業者一人が繰り返すタスクを分析して、いつも同じ繰り返し順序でタスクがこなせているかを判定することは出来るが、そもそもその作業者がタスクの順番を誤って覚えていたような場合には、いつも同じサイクルでありながら、作業自体が誤っていることになるため、決められた手順で作業を行っているか否かを正しく判定することが出来ないという問題がある。また、一つのタスクをこなすのにどの程度時間を要しているのかも知ることが出来ない。
また、特許文献２に開示されている従来技術は、熟練者と同じ作業動作となれば、決められた動作で作業をしていることが分かるが、本文献は、一連の複数の作業について作業動作を検出するものではなく、比較が出来るのは単一の作業についてのみであり、一連の作業の中で、各作業の手順は守られているか、作業ごとに熟練者（決められた作業手順）とどのくらい時間が違うのか、ということを知ることが出来ない、という問題がある。
また、仮に特許文献２の手法を、一連の複数の作業における動作の検出に適用したとしても、一つ一つの作業についての所要時間や作業の順序の正しさを判定することが出来ないし、一連の作業の動作ベクトルの情報の中で、そもそもどれがどの個別の作業にあたるのかも、容易に知ることが出来ない、という問題がある。
そこで本発明は、かかる課題に鑑みてなされたものであり、一連の作業を行う作業者を撮影したビデオ映像を用いて作業者の動作分析を行う手法であって、その一連の作業の映像中のどの部分がどの作業に対応し、かつ、個々の作業にどの程度の時間を要しており、かつ各作業を決められた手順で行っているかを容易に分析できる手法、およびその手法を適用した分析装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１の発明は、分析の基準となる少なくとも一つの基準被写体を撮像した基準映像について、当該基準映像における前記基準被写体の動作の区切りタイミングを設定させる動作タイミング設定部と、前記基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、当該連続動作に含まれる動作の区切りタイミングを基に各連続動作の区切りタイミングを設定する連続動作タイミング設定部と、前記基準映像に基づいて前記基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得する基準軌跡取得部と、前記動作タイミング設定部で設定した各動作の区切りタイミングにおける前記基準軌跡情報に含まれる特徴的な特徴軌跡情報を抽出する特徴情報抽出部と、前記基準被写体と同数の分析対象となる他の被写体を撮像した比較映像に基づいて、前記他の被写体の動作に係る比較軌跡情報を取得する比較軌跡取得部と、前記比較軌跡情報から前記特徴軌跡情報を検索することにより、前記基準映像におけるものと同じ動作を抽出し、抽出した該同じ動作を、前記連続動作タイミング設定部で設定した区切りタイミングに基づいて前記連続動作に集約する分析部と、前記比較軌跡情報から抽出した各連続動作の所要時間を計測する時間計測部と、を備えた動作分析装置を特徴とする。
かかる構成によれば、基準となる映像中の被写体の動作軌跡を一連の連続動作である作業毎に区切り、連続動作を構成する個々の動作毎の区切りタイミングでの軌跡の特徴情報を抽出・保存しておくことで、同じ一連の作業を行う他の作業者を撮影したビデオ映像から、特徴情報を使って各動作の区切りタイミングを抽出したうえで、基準映像における作業に含まれる動作の情報に基づいて作業に集約し、それぞれの作業毎にどの程度の時間を要しているかを分析できるため、より容易に作業毎の動作分析を行うことが可能となる。
【０００７】
また、請求項２の発明は、前記特徴情報抽出部は、映像のフレーム内に設定された基準位置を前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
かかる構成によれば、作業空間に道具や部品の置き場の座標を基準位置とすることで、一つの動作の区切りにおける特徴的な軌跡情報を容易に抽出することが出来る。
また、この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
また、請求項３の発明は、前記特徴情報抽出部は、前記フレーム内における前記基準被写体の絶対位置又は／及び相対位置を、前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
【０００８】
また、請求項４の発明は、前記特徴情報抽出部は、前記撮像装置の撮像範囲を分割した各セルと、撮像時間を分割した各時点での各基準被写体の存在確率を、前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
また、請求項５の発明は、前記特徴情報抽出部は、前記基準被写体の軌跡の一つまたは全部が、急激に方向を変えるときの当該方向を、前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
【０００９】
また、請求項６の発明は、前記特徴情報抽出部は、前記基準被写体のうちの一つまたは全部が、所定の半径内に停滞するときに、当該半径を前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
また、請求項７の発明は、前記特徴情報抽出部は、前記基準被写体間の距離及び角度の時系列変化を、前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
【００１０】
また、請求項８の発明は、前記連続動作タイミング設定部により設定された各連続動作の内容を入力させる内容入力部を備え、前記比較軌跡情報から抽出された連続動作に対応する連続動作について前記内容入力部から入力された内容と、前記時間計測部により計測された前記所要時間と、を組み合わせて提示する請求項１乃至７の何れか一項に記載の動作分析装置を特徴とする。
このように、連続動作に、その内容を定義できることで分析結果をわかりやすく提示することができる。
また、請求項９の発明は、前記時間計測部により計測された前記所要時間と、前記基準映像について設定した各連続動作の区切りタイミング間の時間と、を比較して提示する請求項１乃至８の何れか一項に記載の動作分析装置を特徴とする。
。
このように計測された所要時間と、基準映像における区切りタイミング間の時間を並べて示すことで、どの連続動作にどれだけ時間がかかっているかという最も基本的な情報を分かりやすく提示することが出来る。
【００１１】
また、請求項１０の発明は、前記比較軌跡情報から抽出された連続動作に対応する連続動作について入力された内容と、前記時間計測部により計測された前記所要時間と、を複数の前記比較軌跡情報について比較して提示する請求項１乃至９の何れか一項に記載の動作分析装置を特徴とする。
かかる構成によれば、どの比較軌跡情報におけるどの連続動作において、基準映像と時間的にどの程度の差があるのかを視覚的に把握することが出来る。
また、請求項１１の発明は、連続動作毎に、前記基準軌跡情報及び前記比較軌跡情報を、対応する映像に重ねて提示する請求項１乃至１０の何れか一項に記載の動作分析装置を特徴とする。
このように、基準軌跡情報と比較軌跡情報を映像に重ねて表示することで、動作ごとの問題点をより具体的に知ることが出来る。
【００１２】
また、請求項１２の発明は、動作タイミング設定部と、連続動作タイミング設定部と、基準軌跡取得部と、特徴情報抽出部と、分析部と、時間計測部と、を備えた動作分析装置の動作分析方法において、前記連続動作タイミング設定部が、前記基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、当該連続動作に含まれる動作の区切りタイミングを基に各連続動作の区切りタイミングを設定するステップと、前記基準軌跡取得部は、前記基準映像に基づいて前記基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得するステップと、前記特徴情報抽出部が、前記動作タイミング設定部で設定した各動作の区切りタイミングにおける前記基準軌跡情報に特徴的な特徴軌跡情報を抽出するステップと、前記比較軌跡取得部が、前記基準被写体と同数の分析対象となる他の被写体を撮像した比較映像に基づいて、前記他の被写体の動作に係る比較軌跡情報を取得するステップと、前記分析部が、前記比較軌跡情報から前記特徴軌跡情報を検索することにより、前記基準映像におけるものと同じ動作を抽出し、抽出した動作を、前記連続動作タイミング設定部で設定した区切りタイミングに基づいて前記連続動作に集約するステップと、前記時間計測部が、前記比較軌跡情報から抽出した各連続動作の所要時間を計測するステップと、を有する動作分析方法を特徴とする。
また、請求項１３の発明は、請求項１２の動作分析方法を、コンピュータに実現させるための動作分析プログラムを特徴とする。
【発明の効果】
【００１３】
本発明によれば、基準となる映像中の被写体の動作軌跡を一連の連続動作である作業毎に区切り、連続動作を構成する個々の動作毎の区切りタイミングでの軌跡の特徴情報を抽出・保存しておくことで、同じ一連の作業を行う他の作業者を撮影したビデオ映像から、特徴情報を使って各動作の区切りタイミングを抽出したうえで、基準映像における作業に含まれる動作の情報に基づいて作業に集約し、それぞれの作業毎にどの程度の時間を要しているかを分析できるため、より容易に作業毎の動作分析を行うことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明のシステムの全体構成を示す図。
【図２】本発明の動作分析装置のハードウェア構成を示す図。
【図３】本実施形態において作業者（被写体）の動作を分析するための前提となる作業者の動作を撮影する方法の例を示す図。
【図４】本実施形態にかかる動作分析装置を実現するための各機能を説明する図。
【図５】本実施形態に係る動作分析の処理の流れを説明するフローチャート。
【図６】動作分析ツールを実行した時に表示装置に表示されるメイン画面を説明する図。
【図７】図６に示す映像再生領域の詳細図。
【図８】図６に示す動作／作業一覧表示領域の詳細図。
【図９】図６に示す動作／作業一覧表示領域の詳細図
【図１０】動作／作業一覧表示領域の「作業」タブの表示を示す図。
【図１１】動作／作業一覧表示領域の「作業」タブの表示を示す図。
【図１２】図６に示す作業標準ライムライン表示領域の詳細を示す図。
【図１３】図６の分析対象一覧領域の詳細を示す図。
【図１４】フレーム管理番号ｍａｐの内容を示す図。
【図１５】動作検出を行う際の処理の流れを示すフローチャート。
【図１６】作業定義動作管理ｖｅｃｔｏｒの内容を示す図。
【図１７】作業管理ｖｅｃｔｏｒの内容を示す図。
【図１８】分析対象となる映像から作業を検出するための処理を示すフローチャート。
【図１９】図６に示す比較分析操作領域の詳細を示す図。
【図２０】作業者ごとの各作業時間の積み上げグラフを示す図。
【図２１】作業者の熟練度をグラフで示す図。
【図２２】一人の作業者の作業時間をヒストグラム化したグラフを示す図。
【図２３】作業者間の作業時間ランキングをグラフで示す図。
【図２４】作業名と作業時間、累積時間を示した表を示す図。
【図２５】作業時間及び作業に要した両手の移動距離のベストパフォーマーとの差を作業毎に示した表を説明する図。
【図２６】ベストパフォーマーと、分析対象となる作業者の動作映像を並べて再生する例を示す図。
【発明を実施するための形態】
【００１５】
以下に、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本発明のシステム構成を示す概略図である。
図１に示すように、本発明の動作分析装置１は、パーソナルコンピュータや汎用のワークステーションである情報処理装置１０、情報処理装置１０に接続された１または複数のビデオカメラ（撮像装置）２０、動作分析の結果を表示するための表示装置（モニタ）１１、情報処理装置１０を操作し、命令を入力するための入力装置であるマウス１２、キーボード１３がから構成されている。
また、動作分析装置１は、ネットワークＮＷを介して他のコンピュータ３と接続されて、動作分析の結果をコンピュータ３に送信し、表示させるようにしてもよい。
【００１６】
図２は、図１における情報処理装置１０の詳細なハードウェア構成図である。
情報処理装置１０は、図１で説明したマウス１２、キーボード１３に加え、装置全体を制御しかつ動作分析装置として機能させるための各種プログラムを実行するＣＰＵ３０、各種プログラムやデータを格納するためのストレージとしてのハードディスク３１、ネットワークＮＷに接続するためのインターフェイスであるネットワークインターフェイス３２、外部機器を接続するための外部Ｉ／Ｏ３３、及びハードディスク３１に格納されるプログラムやデータをＣＰＵ３０による実行及び処理のために展開するＲＡＭ（Random Access Memory）３４を備えている。
さらに、情報処理装置１０は、外部Ｉ／Ｏ３３を介して、一つ以上のビデオカメラ（撮像装置）２０と接続されている。ビデオカメラ２０は、常時情報処理装置１０に接続されている必要はなく、ビデオカメラ２０に挿入したメモリカードやビデオカセットに映像を記録し、後から情報処理装置１０に接続して、記録した映像を情報処理装置１０に転送するようにしてもよい。
【００１７】
なお、以下の説明では、被写体として両手で作業を行う作業者の動作を撮影し、その中で特に作業者の両手の動作を、基準となる作業者（基準被写体）の動作に基づいて分析する場合を例として説明するものであるが、本発明の動作分析装置の適応対象は、一人の作業者の両手の動作を分析することに限定されるものではない。例えば、両手のみならず、足も使った作業であれば、両足の軌跡を分析することも可能であるし、もちろん両足の軌跡のみでも良い。
また、作業者が作業空間の各所を移動しながら作業するような場合でも、その動作を撮影して動作の軌跡を取得、基準となる動作と比較分析するようにしてもよい。
さらに、個々の作業者の動作に限定されることもなく、複数人の作業者からなるチーム単位で、作業場の各員が移動しながら作業をするような場合、一人一人の作業者の移動軌跡を取得して、基準となるチームの動作と比較、分析することで、より効率的なチーム作業を追求することも可能となる。
また、ライン作業において、コンベア上を流れる部品を作業者がコンベアの流れに合わせて移動しながら組み付けるような場合、カメラをコンベアの流れに合わせて移動させるようにすれば、本発明は適用可能である。
【００１８】
図３は、本実施形態において作業者（被写体）の動作を分析するための前提となる作業者の動作を撮影する方法の例を示す図である。
図３（ａ）に示すように、ビデオカメラ２０は、作業空間を、作業者の両手の動作を平面上にとれるように、作業者とともに上方から撮影する。例えば、工場や作業場の天井に設置するのが望ましい。
ただし、ビデオカメラは作業空間の真上であることに限定はされない。例えば、作業者が作業場の壁面に向かって作業をしている場合には、壁面に対しての軌跡が分かればよいため、斜めから撮影をしてもよい。撮影映像の中に、平面が定義できさえすれば、座標変換を行うことによって、両手の軌跡をとることが出来る。
ただし、基準となる作業者の動作を撮影する際も、分析対象となる一般の作業者の動作を撮影する際も、同じ位置関係、角度で撮影をするのが好ましいことは言うまでもない。
さらに、図１に示してあるが、作業者を撮影するビデオカメラは一つに限られず、非常に広い作業空間を複数のビデオカメラで撮影して、個々のビデオカメラの座標系を統合して、空間の全体座標系を取得することが出来る。
【００１９】
カメラ位置の問題で左手、右手の座標がとれない場合は、座標が消失した座標から推定すればよいが、一つの空間を、複数のビデオカメラにより、複数の方向から異なる角度で撮影することで、個々のビデオカメラの死角を補い、より正確に作業者の動作の軌跡を取得することが出来るし、横からも撮影をすることで、上からの見た平面的な軌跡だけでなく、立体的な軌跡をとることが出来る。
このように、複数のビデオカメラで同じ対象の複数の軌跡を撮ることで、分析の精度を高めることが出来る。
図３（ｂ）は、天井から作業者を撮影したときに撮影された画像の例を示すものである。
図３（ｃ）は、撮影された映像から、作業者の手の軌跡を特に抽出したもので、連続的に軌跡を抽出することで、作業者の手の動作を把握することが出来る。
図３（ｄ）に示すように、道具や部品の場所のフレーム内での物理座標（ａ〜ｇ）を予め定義しておく。これは、一つの動作が、部品や道具を取ったり、戻したりすることで行われる可能性が高いからである。
軌跡を取得する際、両手の座標を映像のフレーム毎に取得するが、この時、画像処理によってフレーム中で手の形状を識別し、識別した形状のフレーム中の座標を追跡することで、軌跡を取得する。また、両手の座標を取得する際には、映像のフレーム中の、手の肌色を識別することによって両手の座標を取得するようにしてもよい。
【００２０】
なお、座標の取得が困難な場合は、例えば予め作業者の両手首に特定の色のマーカーを付けさせることで、フレーム内で、マーカーの色の画素位置の変化を追跡することで、容易に軌跡を得ることが可能となる。また、両手首それぞれの軌跡を別個に取る場合でも、各手首でマーカーの色を変えておけば、それぞれの軌跡を分けて取得することが出来る。
また、撮影角度や光の関係上、映像中のマーカーの色が変化することもあるため、その場合は、マーカーに模様をつけてそれを識別して軌跡を取得すればよい。複数のマーカーであれば、模様をマーカーごとに変えるようにすればよい。
また、作業者自身が左右に位置を移動しながら作業をするような場合は、頭にマーカーを付けて、頭の座標を中心とした相対座標を、左右の手首の座標として取得する。
また、上述したような、軌跡をとる対象が一人の作業者自身の動作、あるいは複数の作業の動作の場合でも、画像処理によって人間の形状をフレーム中に識別して、動作の軌跡をとる。
この場合も、座標の取得が困難な場合は、頭や体にマーカーをつけてその軌跡を取得し、複数人であれば、マーカーの色を各員で変えて、その色のフレーム中での座標を取得して、その動作の軌跡を取得すればよい。
なお、色つきのマーカーを使用する際には、基準軌跡取得部５３、比較軌跡取得部５５で軌跡を取得する前に、あらかじめ画面内でのマーカーの色を明示的に指定させることで、より正確に軌跡を取得できる。
【００２１】
図４は、本実施形態にかかる動作分析装置を実現するための各機能を説明する図である。なお、図４に示す各機能は、ＣＰＵ３０によって実行されるプログラムである。
本発明に係る動作分析装置は、基準となる被写体である熟練した作業者（ベストパフォーマー）を撮像した映像（基準映像）について、映像内の動作の区切りタイミングを設定させる動作タイミング設定部５１と、基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、含まれる動作の区切りタイミングを基に連続動作の区切りタイミングを設定する連続動作タイミング設定部５２と、基準映像に基づいて基準となる被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得してハードディスク３１に保存する基準軌跡取得部５３と、連続動作タイミング設定部５２で設定した各連続動作の区切りタイミングにおける基準軌跡情報に特徴的な特徴軌跡情報を抽出してハードディスク３１に保存する特徴情報抽出部５４と、他の被写体を撮像した比較映像に基づいて他の被写体の動作に係る比較軌跡情報を取得してハードディスク３１に保存する比較軌跡取得部５５と、比較軌跡情報から特徴軌跡情報を検索することにより、連続動作タイミング設定部５２で設定したものと同じ連続動作を抽出する分析部５６と、比較軌跡情報から抽出した各連続動作の所要時間を計測する時間計測部５７と、を備えている。
また、後述するように、分析結果をわかりやすく表示するために、一連の動作について具体的な内容（意味）の入力を受け付ける内容入力部５８を備える。
【００２２】
図５は、本実施形態に係る動作分析の処理の流れを説明するフローチャートである。
まず、動作タイミング設定部５１が、基準映像における各動作の区切りとなるタイミングを設定する（ステップＳ１０１）。
次に、連続動作タイミング設定部５２が、基準映像における一つ以上の連続する動作を結合した一連の連続動作のタイミングを設定する（ステップＳ１０２）。この場合、一つの一連の動作の区切りタイミングは、それらに含まれる最後の動作の区切りタイミングとなる。
基準軌跡取得部５３が、基準映像から、特定の領域（本実施形態の場合は、基準となる作業者の両手）の移動軌跡を、動作タイミング設定部５１により設定された動作の区切りタイミング間で取得する（ステップＳ１０３）。
そして、特徴情報抽出部５４が、取得した軌跡情報における区切りタイミングに特徴的な軌跡情報を抽出する（ステップＳ１０４）。
次に、比較軌跡取得部５５が、今度は分析対象となる作業者の映像から両手の軌跡を取得し（ステップＳ１０５）、分析部５６が、その取得した軌跡から、特徴情報抽出部５４で抽出した各動作の区切りタイミングに特徴的な軌跡情報を検索して、基準映像におけるものと同じ動作を抽出し、それらの動作を、連続動作タイミング設定部５２で設定した区切りタイミングに基づいて連続動作に集約する（ステップＳ１０６）。
そして、時間計測部５７が、抽出された分析対象となる被写体の映像における一連の動作について、その所要時間を計測し（ステップＳ１０７）、表示装置に提示するのである。
【００２３】
以下に、より具体的に、本実施形態の動作分析装置で実行される動作分析ツールの一例を説明していく。
図６は、動作分析ツールを実行した時に表示装置１１に表示されるメイン画面を説明する図である。
図６において、ツールの画面は、映像再生領域７０、動作／作業一覧表示領域８０、作業標準タイムライン表示領域９０、比較分析対象一覧領域１００、比較分析操作領域１１０から主に構成されている。
図７は、図６に示す映像再生領域７０の詳細図、図８、９は、図６に示す動作／作業一覧表示領域８０の詳細図である。
ビデオカメラ２０で撮影したベストパフォーマーの映像を図２に示すハードディスク３１に格納しておき、映像再生領域７０の再生部７１で再生する。
なお、再生に先立ち、画面内でのおおまかな縮尺を定義するのが望ましいため、例えば、画面内で絶対的な長さが分かっているような物体に併せてマウスをドラッグし、その場所の長さを入力させるダイアログを表示させるようにする。
ユーザは、再生部７１で再生される映像を見ながら、動作を定義する。
すなわち、ユーザが動作の区切りと考えるタイミングで映像の再生を停止、マウス１２によって「定義」ボタン７２を選択（クリック）する。
【００２４】
そうすると、動作タイミング設定部５１は、クリックされたタイミングを保存し、図８に示す動作／作業一覧表示領域８０の「動作」タブ８１に、動作名、作業開始からの経過時刻、手の動作（両手の動作か、片手の動作か）という情報を表示する。これは、両手の動作の場合は、２つの軌跡が同時に顕著に変化するし、片手であれば、一つの軌跡が変化するため、後に特徴情報抽出部５４による特徴軌跡の抽出の際に、重要な情報となる。
「動作」タブ８１、「動作名」の列８３の１行目には、仮の動作名として「動作００：０１：０２」、「再生時刻」タブ８４には、再生時刻として００：０１：０２と表示する。これは映像の再生開始から（動作の開始から、とほぼ同義である）１秒０２が経過したことを示している。さらに、この動作が両手の動作によるものか、片手の動作によるものか、という情報を、「手の動作」列のドロップダウンリストをマウス１２で選択させる。
「動作名」タブ８３には仮の動作名が入っているが、図９に示すように、キーボード１３を使って、実際の動作に対応した内容を入力させることが出来る。行っている作業がケーキ作りであれば、例えば、「スポンジケーキを取る」となる。
ユーザは、この作業を映像の最後まで繰り返し、映像中の全ての動作の区切りタイミング（作業開始からの経過時間）を「動作」タブ８１に表示させていく。
【００２５】
次に、動作の抽出が終わると、マウス１２によって「作業」タブ８２に移り、抽出した動作を、「作業」に分けていく。
「作業」とは、一連の複数の動作からなる、一つの意味のある動作の単位である。「動作」とは、手の動作の最小限の単位であり、これらを組み合わせることで、一つの作業が成立する、といえる。
例えば、個々の動作として、動作１「スポンジケーキを取る」、動作２「ケーキナイフを取る」、動作３「ケーキを切る」、動作４「ケーキナイフを戻す」、動作５「スポンジケーキ上半分を戻す」、動作６「クリームを取る」、と６つの動作があった場合、動作２から４の３つの動作を纏めることで、「ケーキナイフを取る」→「ケーキを切る」→「ケーキナイフを戻す」→「スポンジケーキ上半分を戻す」という一連の動作からなる「スポンジケーキを上半分に切る」という作業が成立するのである。
【００２６】
図１０、１１は、動作／作業一覧表示領域８０の「作業」タブの表示を示す図である。
作業の定義について、図１０、１１を用いて説明する。
「動作」タブ８１に、
１「スポンジケーキを取る」
２「ケーキナイフを取る」
３「ケーキを切る」
４「ケーキナイフを戻す」
５「スポンジケーキ上半分を戻す」
６「クリームを取る」
と、さらに明記はしないが動作１０まで表示されている状態で、「作業」タブ８２に移ると、「作業名」列８６の一行目には、仮の名前として「作業１」が入力されている。そして、「開始動作」列８８、「終了動作」列８９の一列目には、作業の開始動作として最初の動作１、終了動作として動作１０から予め入力されている。
「作業名」列のセルには、任意の作業名がキーボード１３を利用して任意に入力可能である。さらに、「表示色」列８７には、個々の作業毎にユニークな表示色を、ドロップダウンリストによって選択するようになっている。
この状態では、映像中の全ての動作が、一つの作業に組み込まれている状態であるため、ユーザは、この一つの作業を、複数の作業に切り分けていく。
これはどのような仕組みとしても良いが、図１１に示すように、例えば、「作業」タブ８２の末尾の行に、次の「作業」を追加する際に、「開始動作」列のセルにおいて、次の作業の開始動作としたい動作のドロップダウンリストによって選ばせ、その前の行の「終了動作」列のセルに、その選択した開始動作を、終了動作として入力する。さらに、その行についても、「表示色」列のセルで表示色を選ばせていく。
これを繰り返させることで、簡単に全ての動作を複数の「作業」に定義付けていくことが可能となる。
【００２７】
図１２は、図６に示す作業標準ライムライン表示領域９０の詳細を示す図である。
作業の定義付けが終わると、連続動作タイミング設定部５２は、図１２に示すように、個々の「作業」を、それに対応した開始時間、終了時間を基に、作業標準タイムライン表示領域９０に、タイムラインとして表示する。この際、個々の作業は、動作／作業一覧表示領域８０の「表示色」列８７で選択された色を用いる。
次に、基準軌跡取得部５３は、動作毎に両手の軌跡を取得して、ハードディスク３１の所定位置に作成したファイルに保存していく。その際は、再生部７１に、取得した軌跡と映像を重ねて再生するようにしてもよい。
軌跡の取得が終わると、特徴情報抽出部５４が、ベストパフォーマーの映像から取得した軌跡から、動作タイミング設定部５１で区切りタイミングを定義した動作ごとに特徴的な軌跡を抽出する。すなわち、動作の区切りタイミングでの軌跡、及び動作中に特徴的な軌跡を抽出する。
この場合、図３（ｄ）に示したように作業空間に道具や部品の置き場の座標を定義しておくことで、動作の区切りで特徴的な軌跡を容易に抽出することが出来る。
すなわち、ある道具や部品を道具や部品の置き場からとった時に「動作」を定義しておけば、その道具や部品について定義した座標を両手、あるいは片手の動作軌跡を通過した時に、この軌跡をその「動作」に特徴的な軌跡とすることが出来る。
【００２８】
また、フレーム間の左手、右手それぞれの移動ベクトル（移動距離と方向）を算出し、左手、右手の移動ベクトルから移動加速度を算出した値、さらに、左手、右手の間の相対距離、角度を識別した値を動作軌跡に特徴的な値としても良い。
さらに、特徴的な軌跡情報として、
・フレーム内における両手の絶対位置又は／及び相対位置
・ビデオカメラ２０の撮像範囲を分割した各セルと、撮像時間を分割した各時点での両手各々存在確率
・両手の軌跡の一方または両方が、急激に方向を変えるときの方向
・両手の一方又は両方が所定の半径内に停滞するときに、その半径
・両手間の距離及び角度の時系列変化
を利用することが出来る。
これらの情報は、画像分析によって容易に得ることが出来る情報であり、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
これで、ベストパフォーマーの作業映像を基準とした各作業の定義は終了である。
【００２９】
次に、分析対象となる他の作業者の動作を、ベストパフォーマーの動作軌跡を用いて、分析する処理について説明する。
ビデオカメラ２０で撮影された分析対象となる作業者個々の作業映像のファイルを図２に示すハードディスク３１に格納し、分析ツールから呼び出して分析する。
図１３は、図６の比較分析対象一覧領域１００の詳細を示す図である。
分析ツールにロードされた作業映像のファイルは、作業者名、作業を行った日付、分析をすでに行ったか否か、ファイルのフルパスなどのファイル情報が比較分析対象一覧領域１００に登録・列挙される。
ファイル情報において、作業者名や作業を行った日付は、ファイル名にあらかじめそれらの情報を含ませておき、それを呼び出し・登録時に取得するようにすればよい。列挙されたファイル情報の隣には、列１０２に表示したチェックボックスによって選択・解除が可能となっており、複数のファイル情報を選択して同時に比較を行うことが出来る。
比較分析対象一覧領域１００で一つ以上の映像ファイルが選択された状態で、実行ボタン１０１が、マウスを用いてクリックされると、分析部５６は、ハードディスク３１から、選択された映像ファイルを呼び出し、動作分析を開始する。
【００３０】
以下に、本実施形態における動作分析の手法を説明する。
まず、分析部５６は、分析対象の映像ファイルから、個々の動作を検出する。
ＲＡＭ３４に標準動作座標管理ｖｅｃｔｏｒと呼ぶ領域を確保し、ベストパフォーマーの標準作業映像から基準軌跡取得部５３により取得した動作毎の手の座標をすべて標準動作座標管理ｖｅｃｔｏｒに入れる。また、検知した動作の番号及びフレーム数を格納するフレーム管理番号ｍａｐ（図１４に示す）をＲＡＭ３４上に確保する。なお、動作の番号は、動作タイミング設定部５１で設定した各動作の順番である。
フレームのカウント値Ａ、動作のカウント値ＢをＲＡＭ３４にセットし、Ａ値が分析（比較）対象映像のフレーム数、ベストパフォーマーの標準作業映像（基準映像）で定義された動作数を超えない限り、分析対象映像の各フレームの手の座標と標準作業映像の手の座標を比較する。
【００３１】
比較の結果、上述した特徴軌跡情報を考慮してほぼ座標が一致している軌跡があって、その軌跡に対応する動作の番号Ｂが、すでにフレーム管理番号ｍａｐに格納されていなければ、現在のフレームのカウント値Ａから動作番号（Ｂ−１）の動作に対応するフレーム番号を引いた値が、所定の閾値よりも大きければ、フレーム番号管理ｍａｐにカウント値Ｂと対応するフレームのカウント値Ａを対応させて格納する。
そして、フレームのカウント値Ａの値を一つ増やし、動作のカウント値Ｂを０に戻し、最初に戻って比較を繰り返す。
分析対象映像の各フレームの手の座標と標準作業映像の手の座標を比較してほぼ一致する軌跡があった時に、その座標に対応する動作の番号Ｂが、すでにフレーム管理番号ｍａｐに格納されている場合は、動作カウント値Ｂの値を一つ増やして比較を続ける。
かかる処理によれば、分析対象映像中に、標準作業映像において設定した同じ動作を、フレーム数とともに検出することが出来る。
この場合、同じ動作カウント値番号Ｂが複数見つかった場合は、２回目については無視するようになっている。
【００３２】
図１５は、動作検出を行う際の処理の流れを示すフローチャートである。
まず、ＲＡＭ３４に確保した標準動作座標管理ｖｅｃｔｏｒに、標準作業映像から検出される手の動作にかかるすべての座標（軌跡）を入れる（ステップＳ２０１）。
次に、分析対象映像のフレーム数と、分析対象映像中の動作の数を０からカウントを始める（ステップＳ２０２）。フレーム数を表すカウント値Ａに０をセットし、動作の数を表す変数Ｂにも０をセットする。
フレーム数のカウント値Ａが、分析対象映像の全フレーム数に達せず（ステップＳ２０３でＹｅｓ）、動作のカウント値Ｂが、全動作定義数に達せず（ステップＳ２０４でＹｅｓ）、さらにＡ番目のフレーム内に検出した手の座標が標準動作座標管理Ｖｅｃｔｏｒとほぼ同じであり（ステップＳ２０５）、フレーム番号管理ｍａｐに動作番号Ｂが登録されておらず（ステップＳ２０６でＹｅｓ）、さらにＡ−（動作番号Ｂ−１）がフレーム数の閾値よりも大きい場合（ステップＳ２０７でＹｅｓ）の場合、フレーム番号管理ｍａｐに（Ｂ、Ａ）の値を入れ（ステップＳ２０８）、Ａに１を加えるとともに、Ｂを０に戻して（ステップＳ２０９）、Ｓ２０３に戻る。Ｓ２０５、Ｓ２０６、Ｓ２０７の何れかを満たさない場合は、Ｂに１を加えてＳ２０４に戻る。また、Ｓ２０４のＮｏの場合は、Ｓ２０３に戻る。
Ｓ２０３でＮｏの場合は（全フレーム数に到達したとき）、終了する。
【００３３】
次に、分析部５６は、分析対象となる映像から、連続動作すなわち作業を検出する。
まず、連続動作タイミング設定部５２により設定した作業と、作業を定義する動作を対応づけた作業定義動作管理ｖｅｃｔｏｒ（図１６）を用意する。
作業定義動作管理ｖｅｃｔｏｒにおける動作番号１から順番に対応する動作番号をフレーム番号管理ｍａｐ中に探し、見つかれば、図１７に示す作業管理ｖｅｃｔｏｒに新たに作業区切り管理クラス２００を作成して、作業番号と開始フレーム番号を格納する。そして、その前の作業番号の終了フレームに同じフレーム番号を格納する。これをフレーム番号管理ｍａｐ内のすべての動作番号について繰り返すことにより、分析対象映像から、標準作業映像における作業に対応する連続動作を抽出することが出来る。
【００３４】
図１８は、分析対象となる映像から作業を検出するための処理をより詳しく示すフローチャートである。
ＲＡＭ３４に確保した作業定義動作管理ｖｅｃｔｏｒに、開始動作番号を入れる（Ｓ３０１）。
カウント値Ｃ（作業定義動作管理ｖｅｃｔｏｒカウント）に０をセットする（Ｓ３０２）。
カウント値Ｃが、作業定義動作管理ｖｅｃｔｏｒのサイズに達していない場合（Ｓ３０２でＹｅｓ）、変数Ｄに、作業定義動作ｖｅｃｔｏｒのＣ番目の値（最初は０）を代入する（ステップＳ３０３）。そして、フレーム番号管理ｍａｐからＤの値をキーにして取得したフレーム番号をＥに代入する（ステップＳ３０４）。次に、フレーム番号管理ｍａｐからＤの値をキーにして取得したフレーム番号を変数Ｅに代入する（Ｓ３０５）。Ｅが見つかると（Ｓ３０６でＹｅｓ）、作業区切り管理クラスをｎｅｗし、作業番号と開始フレーム（Ｃ、Ｅ）を入れる（ステップＳ３０７）。ここで、作業番号のカウント値Ｃが＞１であれば、（ステップＳ３０８でＹｅｓ）作業管理ｖｅｃｔｏｒのＣ−１番目の終了フレームにＥの値をセットする（ステップＳ３０９）。
【００３５】
次に、作業区切り管理クラスをｎｅｗし、作業番号、開始フレーム、終了フレーム（Ｃ、−１、−１）を入れる（ステップＳ３１０）。作業管理ｖｅｃｔｏｒに作業区切り管理クラスを追加（ステップＳ３１１）して、Ｃに１をインクリメントし（ステップＳ３１２）、ステップＳ３０３に戻る。
ステップＳ３０６で、Ｅが見つからない場合（Ｓ３０６でＮｏ）、Ｄに１をインクリメントし（ステップＳ３１３）、Ｄの値が、図１５のフローチャートで算出された全動作数
よりも少なければ（ステップＳ３１４でＹｅｓ）、Ｄが作業定義動作管理ｖｅｃｔｏｒのＣ＋１番目の値よりも小さいかどうかを判断し（ステップＳ３１５）、Ｙｅｓであれば、変数Ｆにフレーム番号管理ｍａｐからＤの値をキーにして取得したフレーム番号を代入し（ステップＳ３１６）、Ｆが見つかれば（ステップＳ３１７でＹｅｓ）、ステップＳ３０８に進む。
Ｆが見つからなければ（ステップＳ３１７でＮｏ）、ステップＳ３１２に進む。
ステップＳ３１４またはステップＳ３１５でＮｏであれば、ステップＳ３０８に進む。
分析対象映像から全ての作業の抽出が終わると、時間計測部５７は、各作業について、所要時間を計測する。これは、作業に含まれるフレーム数が分かっているので、時間あたりのフレーム数に基づいて容易に算出することが出来る。
【００３６】
以上の処理によって、分析対象映像から、作業毎の両手の軌跡情報と、作業毎に要した時間を取得することが出来た。
分析を行った分析対象映像については、比較分析対象一覧領域１００の列１０３の表示を「済」に変更することで、どの映像について、分析を行ったか容易に知ることが出来る。
また、分析対象映像について作業の区切りを検出する際に、全ての動作を検出してから、それらを作業に集約するようにしたので、一つの作業の中で、動作がどの順番で行われているかをも知ることが出来るため、決められた手順で作業を行っているかどうかも判断出来る。
【００３７】
次に、分析対象映像から取得した情報をユーザに提示する各種の方法を説明する。
図１９は、図６に示す比較分析操作領域１１０の詳細を示す図である。
比較分析対象一覧領域１００の列１０３が「済」となっている分析対象映像について、所望の映像についてのチェックボックスにチェックをいれて比較分析操作領域１１０の各ボタン（「作業者別作業積み上げグラフ作成」ボタン１１１、「作業熟練度グラフ作成ボタン」１１２、「作業時間ヒストグラム作成」ボタン１１３）を選択することで、提示部５９は、様々なかたちで分析結果をグラフ表示する。
図２０は、作業者ごとの各作業時間の積み上げグラフを示す図である。
比較分析操作領域１１０の「作業者別作業積み上げグラフ作成」ボタン１１１を選択することで表示される。
複数の作業者について各作業時間を積み上げて表示したグラフを示す図であり、ベストパフォーマーの作業時間も併せて表示すれば、誰が、どの作業について作業標準により近いのか、あるいは離れているのかを視覚的に把握することが出来る。
【００３８】
図２１は、作業者の熟練度をグラフで示す図である。
比較分析対象一覧領域１００で、日付を変えて比較を行った同じ作業者の映像を選択して、比較分析操作領域１１０の「作業熟練度グラフ作成」ボタン１１２を選択することで表示される。この表示によれば、作業効率の改善の経過（どの作業がどの程度改善し、あるいはどの作業の改善が遅れているのか）を視覚的に把握することが出来る。
図２２は、は、一人の作業者の作業時間をヒストグラム化したグラフを示す図である。
「作業時間ヒストグラム作成」ボタン１１３を選択することで表示される。
その他にも、分析によって得たデータにより図１９乃至図２１に示すような様々なグラフ、表を作成することが出来る。
図２３は、作業者間の作業時間ランキングをグラフで示す図である。
図２４は、作業名と作業時間、累積時間を示した表を示す図である。
各作業時間を作業名とともに並べて示すことで、どの作業にどれだけ時間がかかっているかという最も基本的な情報を分かりやすく提示することが出来る。
【００３９】
図２５は、作業時間及び作業に要した両手の移動距離のベストパフォーマーとの差を作業毎に示した表を説明する図である。
図２５の表では、作業標準であるベストパフォーマーの作業時間と両手の移動距離、分析対象となる作業者の作業時間と両手の移動距離を作業毎に並べて表示している。
このように表示することで、どの作業が、標準時間に比べて余計に時間がかかっているのか、両手がどの程度余計な動作をして作業の効率が落ちているのかを簡単に知ることができる。
なお、以上述べたグラフの作成は、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｅｌ（登録商標）のグラフ作成機能を用いれば、容易に実現可能である。
図２６は、ベストパフォーマーと、分析対象となる作業者の動作映像を並べて再生する例を示す図である。
作業毎の映像を軌跡とともに、ベストパフォーマーと並べて表示することにより、作業者は自らの作業動作の欠点、問題点を視覚的に認識、把握することが出来、改善に役立てることが出来る。
さらに、映像とともに、軌跡も重ねて表示することでより具体的に問題点を把握することが出来る。
【００４０】
このように、本発明の動作分析装置は、ただ単に各作業員の作業動作について、統計的な情報を得るためだけに用いられるのではなくコーチングやトレーニングの用途に好適である。すなわち、ベストパフォーマーよりも時間のかかっている作業、すなわち改善の余地のある作業について、作業者自身が自らとベストパフォーマーの動作とを見比べて改善のための参考とすることが出来る。
以上、本発明の実施の形態を工場や作業場における作業者の作業動作分析を例にして説明してきたが、本発明の動作分析方法は、こういった作業者の作業効率改善にのみ使用可能なものではない。例えば、他の適用例としてはスポーツの現場が考えられる。
水泳の泳法など一連の動作パターンからなる動きの中で、どの動作に無駄な時間がかかっているか、どこに無駄が動き（軌跡））があるかを、一流選手の動きを撮影した映像から取得した、手や足、頭の動作にかかる軌跡に基づいて分析することにも利用できる。
【符号の説明】
【００４１】
１ 動作分析装置、３ コンピュータ、１０ 情報処理装置、１１ 表示装置、１２ マウス、１３ キーボード、２０ ビデオカメラ、３０ ＣＰＵ、３１ ハードディスク、３２ ネットワークインターフェイス、３３ 外部Ｉ／Ｏ、３４ ＲＡＭ、５１ 動作タイミング設定部、５２ 連続動作タイミング設定部、５３ 基準軌跡取得部、５４ 特徴情報抽出部、５５ 比較軌跡取得部、５６ 分析部、５７ 時間計測部、５８ 内容入力部、５９ 提示部、７０ 映像再生領域、７１ 再生部、８０ 作業一覧表示領域、９０ 作業標準タイムライン表示領域、１００ 比較分析対象一覧領域、１１０ 比較分析操作領域
【技術分野】
【０００１】
本発明は、作業者の動作を撮影して分析し、作業動作及び手順の問題点を発見して改善するための分析データを提供する動作分析装置及び動作分析方法、動作分析プログラムに関する。
【背景技術】
【０００２】
工場などの生産現場では、製造ラインやセルにおける作業者（工員）の生産効率を向上させるための試みが絶えず行われている。
例えば、一人の作業者が、一連の複数の作業をこなさなければならないセル式の生産現場では、一つの作業について割り当てられた標準時間を守れなかったり、あるいは作業手順通りに作業ができないといったさまざまな生産性阻害要因がある。
そこで、個々の作業者の生産性を向上させるために、作業者ごとの生産性の阻害要因がどこにあるのかを観察することが重要となる。従来から、ストップウォッチなどを使って、手動で、作業時間を計測したり、目視によって作業手順が前後していないかを確認したりということが行われていたが、時間と手間を要するため、より簡単で且つ効率的な手法が求められている。
有力な手法としては、作業者の動作を撮影したビデオ映像を解析して作業者の動作分析を行うということが考えられるが、従来は、ビデオ映像に基づいて作業時間を計測する場合でも、ビデオ映像を見ながらストップウォッチで作業時間を計測するといった方法であり、効率的にはさほどの向上は見られなかった。
【０００３】
それに対し、特許文献１では、工場の生産ラインにおいて作業分析に要する時間を大幅に削減するための手法として、マーカーを装着した作業者の作業内容を示す映像を記録して、マーカーを付けた作業者の体の部位の少なくとも一つの動作の軌跡を示す軌跡データを記録する技術について開示されている。これによれば、軌跡データを作業毎に分割し、作業内容とともに記録し、一連の作業、例えばタスクＡ、Ｂ、Ｃが繰り返される際、Ａ、Ｂ、Ｃの一連の軌跡データを、標準サイクルとして次以降のサイクルの軌跡データを比較して、例えばタスクが前後していないか等を分析している。
それに対し、特許文献２には、熟練者と初心者の体にマーカーを取付け、同一の作業をさせた時の作業動作の特徴ベクトルを比較して、熟練度の違いや作業時間の違いを定量的に判断することが記載されている。これによれば、作業手順に精通した熟練者と比較することで、より正確に作業者の動作分析が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０１５５２９公報
【特許文献２】特開２００５−２４２４１８公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている従来技術は、作業者一人が繰り返すタスクを分析して、いつも同じ繰り返し順序でタスクがこなせているかを判定することは出来るが、そもそもその作業者がタスクの順番を誤って覚えていたような場合には、いつも同じサイクルでありながら、作業自体が誤っていることになるため、決められた手順で作業を行っているか否かを正しく判定することが出来ないという問題がある。また、一つのタスクをこなすのにどの程度時間を要しているのかも知ることが出来ない。
また、特許文献２に開示されている従来技術は、熟練者と同じ作業動作となれば、決められた動作で作業をしていることが分かるが、本文献は、一連の複数の作業について作業動作を検出するものではなく、比較が出来るのは単一の作業についてのみであり、一連の作業の中で、各作業の手順は守られているか、作業ごとに熟練者（決められた作業手順）とどのくらい時間が違うのか、ということを知ることが出来ない、という問題がある。
また、仮に特許文献２の手法を、一連の複数の作業における動作の検出に適用したとしても、一つ一つの作業についての所要時間や作業の順序の正しさを判定することが出来ないし、一連の作業の動作ベクトルの情報の中で、そもそもどれがどの個別の作業にあたるのかも、容易に知ることが出来ない、という問題がある。
そこで本発明は、かかる課題に鑑みてなされたものであり、一連の作業を行う作業者を撮影したビデオ映像を用いて作業者の動作分析を行う手法であって、その一連の作業の映像中のどの部分がどの作業に対応し、かつ、個々の作業にどの程度の時間を要しており、かつ各作業を決められた手順で行っているかを容易に分析できる手法、およびその手法を適用した分析装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１の発明は、分析の基準となる少なくとも一つの基準被写体を撮像した基準映像について、当該基準映像における前記基準被写体の動作の区切りタイミングを設定させる動作タイミング設定部と、前記基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、当該連続動作に含まれる動作の区切りタイミングを基に各連続動作の区切りタイミングを設定する連続動作タイミング設定部と、前記基準映像に基づいて前記基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得する基準軌跡取得部と、前記動作タイミング設定部で設定した各動作の区切りタイミングにおける前記基準軌跡情報に含まれる特徴的な特徴軌跡情報を抽出する特徴情報抽出部と、前記基準被写体と同数の分析対象となる他の被写体を撮像した比較映像に基づいて、前記他の被写体の動作に係る比較軌跡情報を取得する比較軌跡取得部と、前記比較軌跡情報から前記特徴軌跡情報を検索することにより、前記基準映像におけるものと同じ動作を抽出し、抽出した該同じ動作を、前記連続動作タイミング設定部で設定した区切りタイミングに基づいて前記連続動作に集約する分析部と、前記比較軌跡情報から抽出した各連続動作の所要時間を計測する時間計測部と、を備えた動作分析装置を特徴とする。
かかる構成によれば、基準となる映像中の被写体の動作軌跡を一連の連続動作である作業毎に区切り、連続動作を構成する個々の動作毎の区切りタイミングでの軌跡の特徴情報を抽出・保存しておくことで、同じ一連の作業を行う他の作業者を撮影したビデオ映像から、特徴情報を使って各動作の区切りタイミングを抽出したうえで、基準映像における作業に含まれる動作の情報に基づいて作業に集約し、それぞれの作業毎にどの程度の時間を要しているかを分析できるため、より容易に作業毎の動作分析を行うことが可能となる。
【０００７】
また、請求項２の発明は、前記特徴情報抽出部は、映像のフレーム内に設定された基準位置を前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
かかる構成によれば、作業空間に道具や部品の置き場の座標を基準位置とすることで、一つの動作の区切りにおける特徴的な軌跡情報を容易に抽出することが出来る。
また、この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
また、請求項３の発明は、前記特徴情報抽出部は、前記フレーム内における前記基準被写体の絶対位置又は／及び相対位置を、前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
【０００８】
また、請求項４の発明は、前記特徴情報抽出部は、前記撮像装置の撮像範囲を分割した各セルと、撮像時間を分割した各時点での各基準被写体の存在確率を、前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
また、請求項５の発明は、前記特徴情報抽出部は、前記基準被写体の軌跡の一つまたは全部が、急激に方向を変えるときの当該方向を、前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
【０００９】
また、請求項６の発明は、前記特徴情報抽出部は、前記基準被写体のうちの一つまたは全部が、所定の半径内に停滞するときに、当該半径を前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
また、請求項７の発明は、前記特徴情報抽出部は、前記基準被写体間の距離及び角度の時系列変化を、前記特徴軌跡情報とする請求項１に記載の動作分析装置を特徴とする。
この情報は、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
【００１０】
また、請求項８の発明は、前記連続動作タイミング設定部により設定された各連続動作の内容を入力させる内容入力部を備え、前記比較軌跡情報から抽出された連続動作に対応する連続動作について前記内容入力部から入力された内容と、前記時間計測部により計測された前記所要時間と、を組み合わせて提示する請求項１乃至７の何れか一項に記載の動作分析装置を特徴とする。
このように、連続動作に、その内容を定義できることで分析結果をわかりやすく提示することができる。
また、請求項９の発明は、前記時間計測部により計測された前記所要時間と、前記基準映像について設定した各連続動作の区切りタイミング間の時間と、を比較して提示する請求項１乃至８の何れか一項に記載の動作分析装置を特徴とする。
。
このように計測された所要時間と、基準映像における区切りタイミング間の時間を並べて示すことで、どの連続動作にどれだけ時間がかかっているかという最も基本的な情報を分かりやすく提示することが出来る。
【００１１】
また、請求項１０の発明は、前記比較軌跡情報から抽出された連続動作に対応する連続動作について入力された内容と、前記時間計測部により計測された前記所要時間と、を複数の前記比較軌跡情報について比較して提示する請求項１乃至９の何れか一項に記載の動作分析装置を特徴とする。
かかる構成によれば、どの比較軌跡情報におけるどの連続動作において、基準映像と時間的にどの程度の差があるのかを視覚的に把握することが出来る。
また、請求項１１の発明は、連続動作毎に、前記基準軌跡情報及び前記比較軌跡情報を、対応する映像に重ねて提示する請求項１乃至１０の何れか一項に記載の動作分析装置を特徴とする。
このように、基準軌跡情報と比較軌跡情報を映像に重ねて表示することで、動作ごとの問題点をより具体的に知ることが出来る。
【００１２】
また、請求項１２の発明は、動作タイミング設定部と、連続動作タイミング設定部と、基準軌跡取得部と、特徴情報抽出部と、分析部と、時間計測部と、を備えた動作分析装置の動作分析方法において、前記連続動作タイミング設定部が、前記基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、当該連続動作に含まれる動作の区切りタイミングを基に各連続動作の区切りタイミングを設定するステップと、前記基準軌跡取得部は、前記基準映像に基づいて前記基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得するステップと、前記特徴情報抽出部が、前記動作タイミング設定部で設定した各動作の区切りタイミングにおける前記基準軌跡情報に特徴的な特徴軌跡情報を抽出するステップと、前記比較軌跡取得部が、前記基準被写体と同数の分析対象となる他の被写体を撮像した比較映像に基づいて、前記他の被写体の動作に係る比較軌跡情報を取得するステップと、前記分析部が、前記比較軌跡情報から前記特徴軌跡情報を検索することにより、前記基準映像におけるものと同じ動作を抽出し、抽出した動作を、前記連続動作タイミング設定部で設定した区切りタイミングに基づいて前記連続動作に集約するステップと、前記時間計測部が、前記比較軌跡情報から抽出した各連続動作の所要時間を計測するステップと、を有する動作分析方法を特徴とする。
また、請求項１３の発明は、請求項１２の動作分析方法を、コンピュータに実現させるための動作分析プログラムを特徴とする。
【発明の効果】
【００１３】
本発明によれば、基準となる映像中の被写体の動作軌跡を一連の連続動作である作業毎に区切り、連続動作を構成する個々の動作毎の区切りタイミングでの軌跡の特徴情報を抽出・保存しておくことで、同じ一連の作業を行う他の作業者を撮影したビデオ映像から、特徴情報を使って各動作の区切りタイミングを抽出したうえで、基準映像における作業に含まれる動作の情報に基づいて作業に集約し、それぞれの作業毎にどの程度の時間を要しているかを分析できるため、より容易に作業毎の動作分析を行うことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明のシステムの全体構成を示す図。
【図２】本発明の動作分析装置のハードウェア構成を示す図。
【図３】本実施形態において作業者（被写体）の動作を分析するための前提となる作業者の動作を撮影する方法の例を示す図。
【図４】本実施形態にかかる動作分析装置を実現するための各機能を説明する図。
【図５】本実施形態に係る動作分析の処理の流れを説明するフローチャート。
【図６】動作分析ツールを実行した時に表示装置に表示されるメイン画面を説明する図。
【図７】図６に示す映像再生領域の詳細図。
【図８】図６に示す動作／作業一覧表示領域の詳細図。
【図９】図６に示す動作／作業一覧表示領域の詳細図
【図１０】動作／作業一覧表示領域の「作業」タブの表示を示す図。
【図１１】動作／作業一覧表示領域の「作業」タブの表示を示す図。
【図１２】図６に示す作業標準ライムライン表示領域の詳細を示す図。
【図１３】図６の分析対象一覧領域の詳細を示す図。
【図１４】フレーム管理番号ｍａｐの内容を示す図。
【図１５】動作検出を行う際の処理の流れを示すフローチャート。
【図１６】作業定義動作管理ｖｅｃｔｏｒの内容を示す図。
【図１７】作業管理ｖｅｃｔｏｒの内容を示す図。
【図１８】分析対象となる映像から作業を検出するための処理を示すフローチャート。
【図１９】図６に示す比較分析操作領域の詳細を示す図。
【図２０】作業者ごとの各作業時間の積み上げグラフを示す図。
【図２１】作業者の熟練度をグラフで示す図。
【図２２】一人の作業者の作業時間をヒストグラム化したグラフを示す図。
【図２３】作業者間の作業時間ランキングをグラフで示す図。
【図２４】作業名と作業時間、累積時間を示した表を示す図。
【図２５】作業時間及び作業に要した両手の移動距離のベストパフォーマーとの差を作業毎に示した表を説明する図。
【図２６】ベストパフォーマーと、分析対象となる作業者の動作映像を並べて再生する例を示す図。
【発明を実施するための形態】
【００１５】
以下に、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本発明のシステム構成を示す概略図である。
図１に示すように、本発明の動作分析装置１は、パーソナルコンピュータや汎用のワークステーションである情報処理装置１０、情報処理装置１０に接続された１または複数のビデオカメラ（撮像装置）２０、動作分析の結果を表示するための表示装置（モニタ）１１、情報処理装置１０を操作し、命令を入力するための入力装置であるマウス１２、キーボード１３がから構成されている。
また、動作分析装置１は、ネットワークＮＷを介して他のコンピュータ３と接続されて、動作分析の結果をコンピュータ３に送信し、表示させるようにしてもよい。
【００１６】
図２は、図１における情報処理装置１０の詳細なハードウェア構成図である。
情報処理装置１０は、図１で説明したマウス１２、キーボード１３に加え、装置全体を制御しかつ動作分析装置として機能させるための各種プログラムを実行するＣＰＵ３０、各種プログラムやデータを格納するためのストレージとしてのハードディスク３１、ネットワークＮＷに接続するためのインターフェイスであるネットワークインターフェイス３２、外部機器を接続するための外部Ｉ／Ｏ３３、及びハードディスク３１に格納されるプログラムやデータをＣＰＵ３０による実行及び処理のために展開するＲＡＭ（Random Access Memory）３４を備えている。
さらに、情報処理装置１０は、外部Ｉ／Ｏ３３を介して、一つ以上のビデオカメラ（撮像装置）２０と接続されている。ビデオカメラ２０は、常時情報処理装置１０に接続されている必要はなく、ビデオカメラ２０に挿入したメモリカードやビデオカセットに映像を記録し、後から情報処理装置１０に接続して、記録した映像を情報処理装置１０に転送するようにしてもよい。
【００１７】
なお、以下の説明では、被写体として両手で作業を行う作業者の動作を撮影し、その中で特に作業者の両手の動作を、基準となる作業者（基準被写体）の動作に基づいて分析する場合を例として説明するものであるが、本発明の動作分析装置の適応対象は、一人の作業者の両手の動作を分析することに限定されるものではない。例えば、両手のみならず、足も使った作業であれば、両足の軌跡を分析することも可能であるし、もちろん両足の軌跡のみでも良い。
また、作業者が作業空間の各所を移動しながら作業するような場合でも、その動作を撮影して動作の軌跡を取得、基準となる動作と比較分析するようにしてもよい。
さらに、個々の作業者の動作に限定されることもなく、複数人の作業者からなるチーム単位で、作業場の各員が移動しながら作業をするような場合、一人一人の作業者の移動軌跡を取得して、基準となるチームの動作と比較、分析することで、より効率的なチーム作業を追求することも可能となる。
また、ライン作業において、コンベア上を流れる部品を作業者がコンベアの流れに合わせて移動しながら組み付けるような場合、カメラをコンベアの流れに合わせて移動させるようにすれば、本発明は適用可能である。
【００１８】
図３は、本実施形態において作業者（被写体）の動作を分析するための前提となる作業者の動作を撮影する方法の例を示す図である。
図３（ａ）に示すように、ビデオカメラ２０は、作業空間を、作業者の両手の動作を平面上にとれるように、作業者とともに上方から撮影する。例えば、工場や作業場の天井に設置するのが望ましい。
ただし、ビデオカメラは作業空間の真上であることに限定はされない。例えば、作業者が作業場の壁面に向かって作業をしている場合には、壁面に対しての軌跡が分かればよいため、斜めから撮影をしてもよい。撮影映像の中に、平面が定義できさえすれば、座標変換を行うことによって、両手の軌跡をとることが出来る。
ただし、基準となる作業者の動作を撮影する際も、分析対象となる一般の作業者の動作を撮影する際も、同じ位置関係、角度で撮影をするのが好ましいことは言うまでもない。
さらに、図１に示してあるが、作業者を撮影するビデオカメラは一つに限られず、非常に広い作業空間を複数のビデオカメラで撮影して、個々のビデオカメラの座標系を統合して、空間の全体座標系を取得することが出来る。
【００１９】
カメラ位置の問題で左手、右手の座標がとれない場合は、座標が消失した座標から推定すればよいが、一つの空間を、複数のビデオカメラにより、複数の方向から異なる角度で撮影することで、個々のビデオカメラの死角を補い、より正確に作業者の動作の軌跡を取得することが出来るし、横からも撮影をすることで、上からの見た平面的な軌跡だけでなく、立体的な軌跡をとることが出来る。
このように、複数のビデオカメラで同じ対象の複数の軌跡を撮ることで、分析の精度を高めることが出来る。
図３（ｂ）は、天井から作業者を撮影したときに撮影された画像の例を示すものである。
図３（ｃ）は、撮影された映像から、作業者の手の軌跡を特に抽出したもので、連続的に軌跡を抽出することで、作業者の手の動作を把握することが出来る。
図３（ｄ）に示すように、道具や部品の場所のフレーム内での物理座標（ａ〜ｇ）を予め定義しておく。これは、一つの動作が、部品や道具を取ったり、戻したりすることで行われる可能性が高いからである。
軌跡を取得する際、両手の座標を映像のフレーム毎に取得するが、この時、画像処理によってフレーム中で手の形状を識別し、識別した形状のフレーム中の座標を追跡することで、軌跡を取得する。また、両手の座標を取得する際には、映像のフレーム中の、手の肌色を識別することによって両手の座標を取得するようにしてもよい。
【００２０】
なお、座標の取得が困難な場合は、例えば予め作業者の両手首に特定の色のマーカーを付けさせることで、フレーム内で、マーカーの色の画素位置の変化を追跡することで、容易に軌跡を得ることが可能となる。また、両手首それぞれの軌跡を別個に取る場合でも、各手首でマーカーの色を変えておけば、それぞれの軌跡を分けて取得することが出来る。
また、撮影角度や光の関係上、映像中のマーカーの色が変化することもあるため、その場合は、マーカーに模様をつけてそれを識別して軌跡を取得すればよい。複数のマーカーであれば、模様をマーカーごとに変えるようにすればよい。
また、作業者自身が左右に位置を移動しながら作業をするような場合は、頭にマーカーを付けて、頭の座標を中心とした相対座標を、左右の手首の座標として取得する。
また、上述したような、軌跡をとる対象が一人の作業者自身の動作、あるいは複数の作業の動作の場合でも、画像処理によって人間の形状をフレーム中に識別して、動作の軌跡をとる。
この場合も、座標の取得が困難な場合は、頭や体にマーカーをつけてその軌跡を取得し、複数人であれば、マーカーの色を各員で変えて、その色のフレーム中での座標を取得して、その動作の軌跡を取得すればよい。
なお、色つきのマーカーを使用する際には、基準軌跡取得部５３、比較軌跡取得部５５で軌跡を取得する前に、あらかじめ画面内でのマーカーの色を明示的に指定させることで、より正確に軌跡を取得できる。
【００２１】
図４は、本実施形態にかかる動作分析装置を実現するための各機能を説明する図である。なお、図４に示す各機能は、ＣＰＵ３０によって実行されるプログラムである。
本発明に係る動作分析装置は、基準となる被写体である熟練した作業者（ベストパフォーマー）を撮像した映像（基準映像）について、映像内の動作の区切りタイミングを設定させる動作タイミング設定部５１と、基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、含まれる動作の区切りタイミングを基に連続動作の区切りタイミングを設定する連続動作タイミング設定部５２と、基準映像に基づいて基準となる被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得してハードディスク３１に保存する基準軌跡取得部５３と、連続動作タイミング設定部５２で設定した各連続動作の区切りタイミングにおける基準軌跡情報に特徴的な特徴軌跡情報を抽出してハードディスク３１に保存する特徴情報抽出部５４と、他の被写体を撮像した比較映像に基づいて他の被写体の動作に係る比較軌跡情報を取得してハードディスク３１に保存する比較軌跡取得部５５と、比較軌跡情報から特徴軌跡情報を検索することにより、連続動作タイミング設定部５２で設定したものと同じ連続動作を抽出する分析部５６と、比較軌跡情報から抽出した各連続動作の所要時間を計測する時間計測部５７と、を備えている。
また、後述するように、分析結果をわかりやすく表示するために、一連の動作について具体的な内容（意味）の入力を受け付ける内容入力部５８を備える。
【００２２】
図５は、本実施形態に係る動作分析の処理の流れを説明するフローチャートである。
まず、動作タイミング設定部５１が、基準映像における各動作の区切りとなるタイミングを設定する（ステップＳ１０１）。
次に、連続動作タイミング設定部５２が、基準映像における一つ以上の連続する動作を結合した一連の連続動作のタイミングを設定する（ステップＳ１０２）。この場合、一つの一連の動作の区切りタイミングは、それらに含まれる最後の動作の区切りタイミングとなる。
基準軌跡取得部５３が、基準映像から、特定の領域（本実施形態の場合は、基準となる作業者の両手）の移動軌跡を、動作タイミング設定部５１により設定された動作の区切りタイミング間で取得する（ステップＳ１０３）。
そして、特徴情報抽出部５４が、取得した軌跡情報における区切りタイミングに特徴的な軌跡情報を抽出する（ステップＳ１０４）。
次に、比較軌跡取得部５５が、今度は分析対象となる作業者の映像から両手の軌跡を取得し（ステップＳ１０５）、分析部５６が、その取得した軌跡から、特徴情報抽出部５４で抽出した各動作の区切りタイミングに特徴的な軌跡情報を検索して、基準映像におけるものと同じ動作を抽出し、それらの動作を、連続動作タイミング設定部５２で設定した区切りタイミングに基づいて連続動作に集約する（ステップＳ１０６）。
そして、時間計測部５７が、抽出された分析対象となる被写体の映像における一連の動作について、その所要時間を計測し（ステップＳ１０７）、表示装置に提示するのである。
【００２３】
以下に、より具体的に、本実施形態の動作分析装置で実行される動作分析ツールの一例を説明していく。
図６は、動作分析ツールを実行した時に表示装置１１に表示されるメイン画面を説明する図である。
図６において、ツールの画面は、映像再生領域７０、動作／作業一覧表示領域８０、作業標準タイムライン表示領域９０、比較分析対象一覧領域１００、比較分析操作領域１１０から主に構成されている。
図７は、図６に示す映像再生領域７０の詳細図、図８、９は、図６に示す動作／作業一覧表示領域８０の詳細図である。
ビデオカメラ２０で撮影したベストパフォーマーの映像を図２に示すハードディスク３１に格納しておき、映像再生領域７０の再生部７１で再生する。
なお、再生に先立ち、画面内でのおおまかな縮尺を定義するのが望ましいため、例えば、画面内で絶対的な長さが分かっているような物体に併せてマウスをドラッグし、その場所の長さを入力させるダイアログを表示させるようにする。
ユーザは、再生部７１で再生される映像を見ながら、動作を定義する。
すなわち、ユーザが動作の区切りと考えるタイミングで映像の再生を停止、マウス１２によって「定義」ボタン７２を選択（クリック）する。
【００２４】
そうすると、動作タイミング設定部５１は、クリックされたタイミングを保存し、図８に示す動作／作業一覧表示領域８０の「動作」タブ８１に、動作名、作業開始からの経過時刻、手の動作（両手の動作か、片手の動作か）という情報を表示する。これは、両手の動作の場合は、２つの軌跡が同時に顕著に変化するし、片手であれば、一つの軌跡が変化するため、後に特徴情報抽出部５４による特徴軌跡の抽出の際に、重要な情報となる。
「動作」タブ８１、「動作名」の列８３の１行目には、仮の動作名として「動作００：０１：０２」、「再生時刻」タブ８４には、再生時刻として００：０１：０２と表示する。これは映像の再生開始から（動作の開始から、とほぼ同義である）１秒０２が経過したことを示している。さらに、この動作が両手の動作によるものか、片手の動作によるものか、という情報を、「手の動作」列のドロップダウンリストをマウス１２で選択させる。
「動作名」タブ８３には仮の動作名が入っているが、図９に示すように、キーボード１３を使って、実際の動作に対応した内容を入力させることが出来る。行っている作業がケーキ作りであれば、例えば、「スポンジケーキを取る」となる。
ユーザは、この作業を映像の最後まで繰り返し、映像中の全ての動作の区切りタイミング（作業開始からの経過時間）を「動作」タブ８１に表示させていく。
【００２５】
次に、動作の抽出が終わると、マウス１２によって「作業」タブ８２に移り、抽出した動作を、「作業」に分けていく。
「作業」とは、一連の複数の動作からなる、一つの意味のある動作の単位である。「動作」とは、手の動作の最小限の単位であり、これらを組み合わせることで、一つの作業が成立する、といえる。
例えば、個々の動作として、動作１「スポンジケーキを取る」、動作２「ケーキナイフを取る」、動作３「ケーキを切る」、動作４「ケーキナイフを戻す」、動作５「スポンジケーキ上半分を戻す」、動作６「クリームを取る」、と６つの動作があった場合、動作２から４の３つの動作を纏めることで、「ケーキナイフを取る」→「ケーキを切る」→「ケーキナイフを戻す」→「スポンジケーキ上半分を戻す」という一連の動作からなる「スポンジケーキを上半分に切る」という作業が成立するのである。
【００２６】
図１０、１１は、動作／作業一覧表示領域８０の「作業」タブの表示を示す図である。
作業の定義について、図１０、１１を用いて説明する。
「動作」タブ８１に、
１「スポンジケーキを取る」
２「ケーキナイフを取る」
３「ケーキを切る」
４「ケーキナイフを戻す」
５「スポンジケーキ上半分を戻す」
６「クリームを取る」
と、さらに明記はしないが動作１０まで表示されている状態で、「作業」タブ８２に移ると、「作業名」列８６の一行目には、仮の名前として「作業１」が入力されている。そして、「開始動作」列８８、「終了動作」列８９の一列目には、作業の開始動作として最初の動作１、終了動作として動作１０から予め入力されている。
「作業名」列のセルには、任意の作業名がキーボード１３を利用して任意に入力可能である。さらに、「表示色」列８７には、個々の作業毎にユニークな表示色を、ドロップダウンリストによって選択するようになっている。
この状態では、映像中の全ての動作が、一つの作業に組み込まれている状態であるため、ユーザは、この一つの作業を、複数の作業に切り分けていく。
これはどのような仕組みとしても良いが、図１１に示すように、例えば、「作業」タブ８２の末尾の行に、次の「作業」を追加する際に、「開始動作」列のセルにおいて、次の作業の開始動作としたい動作のドロップダウンリストによって選ばせ、その前の行の「終了動作」列のセルに、その選択した開始動作を、終了動作として入力する。さらに、その行についても、「表示色」列のセルで表示色を選ばせていく。
これを繰り返させることで、簡単に全ての動作を複数の「作業」に定義付けていくことが可能となる。
【００２７】
図１２は、図６に示す作業標準ライムライン表示領域９０の詳細を示す図である。
作業の定義付けが終わると、連続動作タイミング設定部５２は、図１２に示すように、個々の「作業」を、それに対応した開始時間、終了時間を基に、作業標準タイムライン表示領域９０に、タイムラインとして表示する。この際、個々の作業は、動作／作業一覧表示領域８０の「表示色」列８７で選択された色を用いる。
次に、基準軌跡取得部５３は、動作毎に両手の軌跡を取得して、ハードディスク３１の所定位置に作成したファイルに保存していく。その際は、再生部７１に、取得した軌跡と映像を重ねて再生するようにしてもよい。
軌跡の取得が終わると、特徴情報抽出部５４が、ベストパフォーマーの映像から取得した軌跡から、動作タイミング設定部５１で区切りタイミングを定義した動作ごとに特徴的な軌跡を抽出する。すなわち、動作の区切りタイミングでの軌跡、及び動作中に特徴的な軌跡を抽出する。
この場合、図３（ｄ）に示したように作業空間に道具や部品の置き場の座標を定義しておくことで、動作の区切りで特徴的な軌跡を容易に抽出することが出来る。
すなわち、ある道具や部品を道具や部品の置き場からとった時に「動作」を定義しておけば、その道具や部品について定義した座標を両手、あるいは片手の動作軌跡を通過した時に、この軌跡をその「動作」に特徴的な軌跡とすることが出来る。
【００２８】
また、フレーム間の左手、右手それぞれの移動ベクトル（移動距離と方向）を算出し、左手、右手の移動ベクトルから移動加速度を算出した値、さらに、左手、右手の間の相対距離、角度を識別した値を動作軌跡に特徴的な値としても良い。
さらに、特徴的な軌跡情報として、
・フレーム内における両手の絶対位置又は／及び相対位置
・ビデオカメラ２０の撮像範囲を分割した各セルと、撮像時間を分割した各時点での両手各々存在確率
・両手の軌跡の一方または両方が、急激に方向を変えるときの方向
・両手の一方又は両方が所定の半径内に停滞するときに、その半径
・両手間の距離及び角度の時系列変化
を利用することが出来る。
これらの情報は、画像分析によって容易に得ることが出来る情報であり、一連の軌跡の中では他の部分と比べてより特徴的な情報であるため、比較対象映像を基準映像と比較して類似した軌跡を抽出するうえで特に好適な情報であり、これらの情報を用いることで、より正確に、比較対象映像から個々の動作に係る軌跡を抽出することが可能となる。
これで、ベストパフォーマーの作業映像を基準とした各作業の定義は終了である。
【００２９】
次に、分析対象となる他の作業者の動作を、ベストパフォーマーの動作軌跡を用いて、分析する処理について説明する。
ビデオカメラ２０で撮影された分析対象となる作業者個々の作業映像のファイルを図２に示すハードディスク３１に格納し、分析ツールから呼び出して分析する。
図１３は、図６の比較分析対象一覧領域１００の詳細を示す図である。
分析ツールにロードされた作業映像のファイルは、作業者名、作業を行った日付、分析をすでに行ったか否か、ファイルのフルパスなどのファイル情報が比較分析対象一覧領域１００に登録・列挙される。
ファイル情報において、作業者名や作業を行った日付は、ファイル名にあらかじめそれらの情報を含ませておき、それを呼び出し・登録時に取得するようにすればよい。列挙されたファイル情報の隣には、列１０２に表示したチェックボックスによって選択・解除が可能となっており、複数のファイル情報を選択して同時に比較を行うことが出来る。
比較分析対象一覧領域１００で一つ以上の映像ファイルが選択された状態で、実行ボタン１０１が、マウスを用いてクリックされると、分析部５６は、ハードディスク３１から、選択された映像ファイルを呼び出し、動作分析を開始する。
【００３０】
以下に、本実施形態における動作分析の手法を説明する。
まず、分析部５６は、分析対象の映像ファイルから、個々の動作を検出する。
ＲＡＭ３４に標準動作座標管理ｖｅｃｔｏｒと呼ぶ領域を確保し、ベストパフォーマーの標準作業映像から基準軌跡取得部５３により取得した動作毎の手の座標をすべて標準動作座標管理ｖｅｃｔｏｒに入れる。また、検知した動作の番号及びフレーム数を格納するフレーム管理番号ｍａｐ（図１４に示す）をＲＡＭ３４上に確保する。なお、動作の番号は、動作タイミング設定部５１で設定した各動作の順番である。
フレームのカウント値Ａ、動作のカウント値ＢをＲＡＭ３４にセットし、Ａ値が分析（比較）対象映像のフレーム数、ベストパフォーマーの標準作業映像（基準映像）で定義された動作数を超えない限り、分析対象映像の各フレームの手の座標と標準作業映像の手の座標を比較する。
【００３１】
比較の結果、上述した特徴軌跡情報を考慮してほぼ座標が一致している軌跡があって、その軌跡に対応する動作の番号Ｂが、すでにフレーム管理番号ｍａｐに格納されていなければ、現在のフレームのカウント値Ａから動作番号（Ｂ−１）の動作に対応するフレーム番号を引いた値が、所定の閾値よりも大きければ、フレーム番号管理ｍａｐにカウント値Ｂと対応するフレームのカウント値Ａを対応させて格納する。
そして、フレームのカウント値Ａの値を一つ増やし、動作のカウント値Ｂを０に戻し、最初に戻って比較を繰り返す。
分析対象映像の各フレームの手の座標と標準作業映像の手の座標を比較してほぼ一致する軌跡があった時に、その座標に対応する動作の番号Ｂが、すでにフレーム管理番号ｍａｐに格納されている場合は、動作カウント値Ｂの値を一つ増やして比較を続ける。
かかる処理によれば、分析対象映像中に、標準作業映像において設定した同じ動作を、フレーム数とともに検出することが出来る。
この場合、同じ動作カウント値番号Ｂが複数見つかった場合は、２回目については無視するようになっている。
【００３２】
図１５は、動作検出を行う際の処理の流れを示すフローチャートである。
まず、ＲＡＭ３４に確保した標準動作座標管理ｖｅｃｔｏｒに、標準作業映像から検出される手の動作にかかるすべての座標（軌跡）を入れる（ステップＳ２０１）。
次に、分析対象映像のフレーム数と、分析対象映像中の動作の数を０からカウントを始める（ステップＳ２０２）。フレーム数を表すカウント値Ａに０をセットし、動作の数を表す変数Ｂにも０をセットする。
フレーム数のカウント値Ａが、分析対象映像の全フレーム数に達せず（ステップＳ２０３でＹｅｓ）、動作のカウント値Ｂが、全動作定義数に達せず（ステップＳ２０４でＹｅｓ）、さらにＡ番目のフレーム内に検出した手の座標が標準動作座標管理Ｖｅｃｔｏｒとほぼ同じであり（ステップＳ２０５）、フレーム番号管理ｍａｐに動作番号Ｂが登録されておらず（ステップＳ２０６でＹｅｓ）、さらにＡ−（動作番号Ｂ−１）がフレーム数の閾値よりも大きい場合（ステップＳ２０７でＹｅｓ）の場合、フレーム番号管理ｍａｐに（Ｂ、Ａ）の値を入れ（ステップＳ２０８）、Ａに１を加えるとともに、Ｂを０に戻して（ステップＳ２０９）、Ｓ２０３に戻る。Ｓ２０５、Ｓ２０６、Ｓ２０７の何れかを満たさない場合は、Ｂに１を加えてＳ２０４に戻る。また、Ｓ２０４のＮｏの場合は、Ｓ２０３に戻る。
Ｓ２０３でＮｏの場合は（全フレーム数に到達したとき）、終了する。
【００３３】
次に、分析部５６は、分析対象となる映像から、連続動作すなわち作業を検出する。
まず、連続動作タイミング設定部５２により設定した作業と、作業を定義する動作を対応づけた作業定義動作管理ｖｅｃｔｏｒ（図１６）を用意する。
作業定義動作管理ｖｅｃｔｏｒにおける動作番号１から順番に対応する動作番号をフレーム番号管理ｍａｐ中に探し、見つかれば、図１７に示す作業管理ｖｅｃｔｏｒに新たに作業区切り管理クラス２００を作成して、作業番号と開始フレーム番号を格納する。そして、その前の作業番号の終了フレームに同じフレーム番号を格納する。これをフレーム番号管理ｍａｐ内のすべての動作番号について繰り返すことにより、分析対象映像から、標準作業映像における作業に対応する連続動作を抽出することが出来る。
【００３４】
図１８は、分析対象となる映像から作業を検出するための処理をより詳しく示すフローチャートである。
ＲＡＭ３４に確保した作業定義動作管理ｖｅｃｔｏｒに、開始動作番号を入れる（Ｓ３０１）。
カウント値Ｃ（作業定義動作管理ｖｅｃｔｏｒカウント）に０をセットする（Ｓ３０２）。
カウント値Ｃが、作業定義動作管理ｖｅｃｔｏｒのサイズに達していない場合（Ｓ３０２でＹｅｓ）、変数Ｄに、作業定義動作ｖｅｃｔｏｒのＣ番目の値（最初は０）を代入する（ステップＳ３０３）。そして、フレーム番号管理ｍａｐからＤの値をキーにして取得したフレーム番号をＥに代入する（ステップＳ３０４）。次に、フレーム番号管理ｍａｐからＤの値をキーにして取得したフレーム番号を変数Ｅに代入する（Ｓ３０５）。Ｅが見つかると（Ｓ３０６でＹｅｓ）、作業区切り管理クラスをｎｅｗし、作業番号と開始フレーム（Ｃ、Ｅ）を入れる（ステップＳ３０７）。ここで、作業番号のカウント値Ｃが＞１であれば、（ステップＳ３０８でＹｅｓ）作業管理ｖｅｃｔｏｒのＣ−１番目の終了フレームにＥの値をセットする（ステップＳ３０９）。
【００３５】
次に、作業区切り管理クラスをｎｅｗし、作業番号、開始フレーム、終了フレーム（Ｃ、−１、−１）を入れる（ステップＳ３１０）。作業管理ｖｅｃｔｏｒに作業区切り管理クラスを追加（ステップＳ３１１）して、Ｃに１をインクリメントし（ステップＳ３１２）、ステップＳ３０３に戻る。
ステップＳ３０６で、Ｅが見つからない場合（Ｓ３０６でＮｏ）、Ｄに１をインクリメントし（ステップＳ３１３）、Ｄの値が、図１５のフローチャートで算出された全動作数
よりも少なければ（ステップＳ３１４でＹｅｓ）、Ｄが作業定義動作管理ｖｅｃｔｏｒのＣ＋１番目の値よりも小さいかどうかを判断し（ステップＳ３１５）、Ｙｅｓであれば、変数Ｆにフレーム番号管理ｍａｐからＤの値をキーにして取得したフレーム番号を代入し（ステップＳ３１６）、Ｆが見つかれば（ステップＳ３１７でＹｅｓ）、ステップＳ３０８に進む。
Ｆが見つからなければ（ステップＳ３１７でＮｏ）、ステップＳ３１２に進む。
ステップＳ３１４またはステップＳ３１５でＮｏであれば、ステップＳ３０８に進む。
分析対象映像から全ての作業の抽出が終わると、時間計測部５７は、各作業について、所要時間を計測する。これは、作業に含まれるフレーム数が分かっているので、時間あたりのフレーム数に基づいて容易に算出することが出来る。
【００３６】
以上の処理によって、分析対象映像から、作業毎の両手の軌跡情報と、作業毎に要した時間を取得することが出来た。
分析を行った分析対象映像については、比較分析対象一覧領域１００の列１０３の表示を「済」に変更することで、どの映像について、分析を行ったか容易に知ることが出来る。
また、分析対象映像について作業の区切りを検出する際に、全ての動作を検出してから、それらを作業に集約するようにしたので、一つの作業の中で、動作がどの順番で行われているかをも知ることが出来るため、決められた手順で作業を行っているかどうかも判断出来る。
【００３７】
次に、分析対象映像から取得した情報をユーザに提示する各種の方法を説明する。
図１９は、図６に示す比較分析操作領域１１０の詳細を示す図である。
比較分析対象一覧領域１００の列１０３が「済」となっている分析対象映像について、所望の映像についてのチェックボックスにチェックをいれて比較分析操作領域１１０の各ボタン（「作業者別作業積み上げグラフ作成」ボタン１１１、「作業熟練度グラフ作成ボタン」１１２、「作業時間ヒストグラム作成」ボタン１１３）を選択することで、提示部５９は、様々なかたちで分析結果をグラフ表示する。
図２０は、作業者ごとの各作業時間の積み上げグラフを示す図である。
比較分析操作領域１１０の「作業者別作業積み上げグラフ作成」ボタン１１１を選択することで表示される。
複数の作業者について各作業時間を積み上げて表示したグラフを示す図であり、ベストパフォーマーの作業時間も併せて表示すれば、誰が、どの作業について作業標準により近いのか、あるいは離れているのかを視覚的に把握することが出来る。
【００３８】
図２１は、作業者の熟練度をグラフで示す図である。
比較分析対象一覧領域１００で、日付を変えて比較を行った同じ作業者の映像を選択して、比較分析操作領域１１０の「作業熟練度グラフ作成」ボタン１１２を選択することで表示される。この表示によれば、作業効率の改善の経過（どの作業がどの程度改善し、あるいはどの作業の改善が遅れているのか）を視覚的に把握することが出来る。
図２２は、は、一人の作業者の作業時間をヒストグラム化したグラフを示す図である。
「作業時間ヒストグラム作成」ボタン１１３を選択することで表示される。
その他にも、分析によって得たデータにより図１９乃至図２１に示すような様々なグラフ、表を作成することが出来る。
図２３は、作業者間の作業時間ランキングをグラフで示す図である。
図２４は、作業名と作業時間、累積時間を示した表を示す図である。
各作業時間を作業名とともに並べて示すことで、どの作業にどれだけ時間がかかっているかという最も基本的な情報を分かりやすく提示することが出来る。
【００３９】
図２５は、作業時間及び作業に要した両手の移動距離のベストパフォーマーとの差を作業毎に示した表を説明する図である。
図２５の表では、作業標準であるベストパフォーマーの作業時間と両手の移動距離、分析対象となる作業者の作業時間と両手の移動距離を作業毎に並べて表示している。
このように表示することで、どの作業が、標準時間に比べて余計に時間がかかっているのか、両手がどの程度余計な動作をして作業の効率が落ちているのかを簡単に知ることができる。
なお、以上述べたグラフの作成は、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｅｌ（登録商標）のグラフ作成機能を用いれば、容易に実現可能である。
図２６は、ベストパフォーマーと、分析対象となる作業者の動作映像を並べて再生する例を示す図である。
作業毎の映像を軌跡とともに、ベストパフォーマーと並べて表示することにより、作業者は自らの作業動作の欠点、問題点を視覚的に認識、把握することが出来、改善に役立てることが出来る。
さらに、映像とともに、軌跡も重ねて表示することでより具体的に問題点を把握することが出来る。
【００４０】
このように、本発明の動作分析装置は、ただ単に各作業員の作業動作について、統計的な情報を得るためだけに用いられるのではなくコーチングやトレーニングの用途に好適である。すなわち、ベストパフォーマーよりも時間のかかっている作業、すなわち改善の余地のある作業について、作業者自身が自らとベストパフォーマーの動作とを見比べて改善のための参考とすることが出来る。
以上、本発明の実施の形態を工場や作業場における作業者の作業動作分析を例にして説明してきたが、本発明の動作分析方法は、こういった作業者の作業効率改善にのみ使用可能なものではない。例えば、他の適用例としてはスポーツの現場が考えられる。
水泳の泳法など一連の動作パターンからなる動きの中で、どの動作に無駄な時間がかかっているか、どこに無駄が動き（軌跡））があるかを、一流選手の動きを撮影した映像から取得した、手や足、頭の動作にかかる軌跡に基づいて分析することにも利用できる。
【符号の説明】
【００４１】
１ 動作分析装置、３ コンピュータ、１０ 情報処理装置、１１ 表示装置、１２ マウス、１３ キーボード、２０ ビデオカメラ、３０ ＣＰＵ、３１ ハードディスク、３２ ネットワークインターフェイス、３３ 外部Ｉ／Ｏ、３４ ＲＡＭ、５１ 動作タイミング設定部、５２ 連続動作タイミング設定部、５３ 基準軌跡取得部、５４ 特徴情報抽出部、５５ 比較軌跡取得部、５６ 分析部、５７ 時間計測部、５８ 内容入力部、５９ 提示部、７０ 映像再生領域、７１ 再生部、８０ 作業一覧表示領域、９０ 作業標準タイムライン表示領域、１００ 比較分析対象一覧領域、１１０ 比較分析操作領域
【特許請求の範囲】
【請求項１】
分析の基準となる少なくとも一つの基準被写体を撮像した基準映像について、当該基準映像における前記基準被写体の動作の区切りタイミングを設定させる動作タイミング設定部と、
前記基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、当該連続動作に含まれる動作の区切りタイミングを基に各連続動作の区切りタイミングを設定する連続動作タイミング設定部と、
前記基準映像に基づいて前記基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得する基準軌跡取得部と、
前記動作タイミング設定部で設定した各動作の区切りタイミングにおける前記基準軌跡情報に含まれる特徴的な特徴軌跡情報を抽出する特徴情報抽出部と、
前記基準被写体と同数の分析対象となる他の被写体を撮像した比較映像に基づいて、前記他の被写体の動作に係る比較軌跡情報を取得する比較軌跡取得部と、
前記比較軌跡情報から前記特徴軌跡情報を検索することにより、前記基準映像におけるものと同じ動作を抽出し、抽出した該同じ動作を、前記連続動作タイミング設定部で設定した区切りタイミングに基づいて前記連続動作に集約する分析部と、
前記比較軌跡情報から抽出した各連続動作の所要時間を計測する時間計測部と、を備えたことを特徴とする動作分析装置。
【請求項２】
前記特徴情報抽出部は、映像のフレーム内に設定された基準位置を前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項３】
前記特徴情報抽出部は、前記フレーム内における前記基準被写体の絶対位置、又は／及び、相対位置を、前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項４】
前記特徴情報抽出部は、前記撮像装置の撮像範囲を分割した各セルと、撮像時間を分割した各時点での各基準被写体の存在確率を、前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項５】
前記特徴情報抽出部は、前記基準被写体の軌跡の一つまたは全部が、急激に方向を変えるときの当該方向を、前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項６】
前記特徴情報抽出部は、前記基準被写体のうちの一つまたは全部が、所定の半径内に停滞するときに、当該半径を前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項７】
前記特徴情報抽出部は、前記基準被写体間の距離及び角度の時系列変化を、前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項８】
前記連続動作タイミング設定部により設定された各連続動作の内容を入力させる内容入力部を備え、前記比較軌跡情報から抽出された連続動作に対応する連続動作について前記内容入力部から入力された内容と、前記時間計測部により計測された前記所要時間と、を組み合わせて提示することを特徴とする請求項１乃至７の何れか一項に記載の動作分析装置。
【請求項９】
前記時間計測部により計測された前記所要時間と、前記基準映像について設定した各連続動作の区切りタイミング間の時間と、を比較して提示することを特徴とする請求項１乃至８の何れか一項に記載の動作分析装置。
【請求項１０】
前記比較軌跡情報から抽出された連続動作に対応する連続動作について入力された内容と、前記時間計測部により計測された前記所要時間と、を複数の前記比較軌跡情報について比較して提示することを特徴とする請求項１乃至９の何れか一項に記載の動作分析装置。
【請求項１１】
連続動作毎に、前記基準軌跡情報及び前記比較軌跡情報を、対応する映像に重ねて提示することを特徴とする請求項１乃至１０の何れか一項に記載の動作分析装置。
【請求項１２】
動作タイミング設定部と、連続動作タイミング設定部と、基準軌跡取得部と、特徴情報抽出部と、分析部と、時間計測部と、を備えた動作分析装置の動作分析方法において、
前記連続動作タイミング設定部が、前記基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、当該連続動作に含まれる動作の区切りタイミングを基に各連続動作の区切りタイミングを設定するステップと、
前記基準軌跡取得部は、前記基準映像に基づいて前記基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得するステップと、
前記特徴情報抽出部が、前記動作タイミング設定部で設定した各動作の区切りタイミングにおける前記基準軌跡情報に特徴的な特徴軌跡情報を抽出するステップと、
前記比較軌跡取得部が、前記基準被写体と同数の分析対象となる他の被写体を撮像した比較映像に基づいて、前記他の被写体の動作に係る比較軌跡情報を取得するステップと、
前記分析部が、前記比較軌跡情報から前記特徴軌跡情報を検索することにより、前記基準映像におけるものと同じ動作を抽出し、抽出した動作を、前記連続動作タイミング設定部で設定した区切りタイミングに基づいて前記連続動作に集約するステップと、
前記時間計測部が、前記比較軌跡情報から抽出した各連続動作の所要時間を計測するステップと、を有することを特徴とする動作分析方法。
【請求項１３】
請求項１２の動作分析方法を、コンピュータに実現させるための動作分析プログラム。
【請求項１】
分析の基準となる少なくとも一つの基準被写体を撮像した基準映像について、当該基準映像における前記基準被写体の動作の区切りタイミングを設定させる動作タイミング設定部と、
前記基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、当該連続動作に含まれる動作の区切りタイミングを基に各連続動作の区切りタイミングを設定する連続動作タイミング設定部と、
前記基準映像に基づいて前記基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得する基準軌跡取得部と、
前記動作タイミング設定部で設定した各動作の区切りタイミングにおける前記基準軌跡情報に含まれる特徴的な特徴軌跡情報を抽出する特徴情報抽出部と、
前記基準被写体と同数の分析対象となる他の被写体を撮像した比較映像に基づいて、前記他の被写体の動作に係る比較軌跡情報を取得する比較軌跡取得部と、
前記比較軌跡情報から前記特徴軌跡情報を検索することにより、前記基準映像におけるものと同じ動作を抽出し、抽出した該同じ動作を、前記連続動作タイミング設定部で設定した区切りタイミングに基づいて前記連続動作に集約する分析部と、
前記比較軌跡情報から抽出した各連続動作の所要時間を計測する時間計測部と、を備えたことを特徴とする動作分析装置。
【請求項２】
前記特徴情報抽出部は、映像のフレーム内に設定された基準位置を前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項３】
前記特徴情報抽出部は、前記フレーム内における前記基準被写体の絶対位置、又は／及び、相対位置を、前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項４】
前記特徴情報抽出部は、前記撮像装置の撮像範囲を分割した各セルと、撮像時間を分割した各時点での各基準被写体の存在確率を、前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項５】
前記特徴情報抽出部は、前記基準被写体の軌跡の一つまたは全部が、急激に方向を変えるときの当該方向を、前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項６】
前記特徴情報抽出部は、前記基準被写体のうちの一つまたは全部が、所定の半径内に停滞するときに、当該半径を前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項７】
前記特徴情報抽出部は、前記基準被写体間の距離及び角度の時系列変化を、前記特徴軌跡情報とすることを特徴とする請求項１に記載の動作分析装置。
【請求項８】
前記連続動作タイミング設定部により設定された各連続動作の内容を入力させる内容入力部を備え、前記比較軌跡情報から抽出された連続動作に対応する連続動作について前記内容入力部から入力された内容と、前記時間計測部により計測された前記所要時間と、を組み合わせて提示することを特徴とする請求項１乃至７の何れか一項に記載の動作分析装置。
【請求項９】
前記時間計測部により計測された前記所要時間と、前記基準映像について設定した各連続動作の区切りタイミング間の時間と、を比較して提示することを特徴とする請求項１乃至８の何れか一項に記載の動作分析装置。
【請求項１０】
前記比較軌跡情報から抽出された連続動作に対応する連続動作について入力された内容と、前記時間計測部により計測された前記所要時間と、を複数の前記比較軌跡情報について比較して提示することを特徴とする請求項１乃至９の何れか一項に記載の動作分析装置。
【請求項１１】
連続動作毎に、前記基準軌跡情報及び前記比較軌跡情報を、対応する映像に重ねて提示することを特徴とする請求項１乃至１０の何れか一項に記載の動作分析装置。
【請求項１２】
動作タイミング設定部と、連続動作タイミング設定部と、基準軌跡取得部と、特徴情報抽出部と、分析部と、時間計測部と、を備えた動作分析装置の動作分析方法において、
前記連続動作タイミング設定部が、前記基準映像内の少なくとも一つの連続する動作からなる連続動作を設定させ、当該連続動作に含まれる動作の区切りタイミングを基に各連続動作の区切りタイミングを設定するステップと、
前記基準軌跡取得部は、前記基準映像に基づいて前記基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得するステップと、
前記特徴情報抽出部が、前記動作タイミング設定部で設定した各動作の区切りタイミングにおける前記基準軌跡情報に特徴的な特徴軌跡情報を抽出するステップと、
前記比較軌跡取得部が、前記基準被写体と同数の分析対象となる他の被写体を撮像した比較映像に基づいて、前記他の被写体の動作に係る比較軌跡情報を取得するステップと、
前記分析部が、前記比較軌跡情報から前記特徴軌跡情報を検索することにより、前記基準映像におけるものと同じ動作を抽出し、抽出した動作を、前記連続動作タイミング設定部で設定した区切りタイミングに基づいて前記連続動作に集約するステップと、
前記時間計測部が、前記比較軌跡情報から抽出した各連続動作の所要時間を計測するステップと、を有することを特徴とする動作分析方法。
【請求項１３】
請求項１２の動作分析方法を、コンピュータに実現させるための動作分析プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−３４２３４（Ｐ２０１１−３４２３４Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１７８３３５（Ｐ２００９−１７８３３５）
【出願日】平成２１年７月３０日（２００９．７．３０）
【出願人】（５９１２８０１９７）株式会社構造計画研究所 (59)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月３０日（２００９．７．３０）
【出願人】（５９１２８０１９７）株式会社構造計画研究所 (59)
【Ｆターム（参考）】
[ Back to top ]