作業状況記録装置、その記録方法及び記録プログラム
【課題】 作業概要を作業行為の時系列情報として自動記録することができる作業状況記録装置、その記録方法及び記録プログラムを提供すること。
【解決手段】 身体に装着される撮像手段（１）と、撮像手段（１）から出力される映像信号を画像フレームデータとして採取する第１データ採取手段（２）と、処理手段（３）とを備え、処理手段（３）が、第１の期間において、連続して採取された２つの画像フレームデータの相関ピーク値及び相関ピーク位置を計算し、第１期間における相関ピーク値及び相関ピーク位置に応じて、注視状態を判定し、注視状態が維持されている視方向停留時間を求めること、および身体に装着された加速度センサからの情報を基に作業姿勢を判断し、視方向停留時間と作業姿勢を組み合わせて作業行為を自動記録することを特徴とする作業状況記録装置。
【解決手段】 身体に装着される撮像手段（１）と、撮像手段（１）から出力される映像信号を画像フレームデータとして採取する第１データ採取手段（２）と、処理手段（３）とを備え、処理手段（３）が、第１の期間において、連続して採取された２つの画像フレームデータの相関ピーク値及び相関ピーク位置を計算し、第１期間における相関ピーク値及び相関ピーク位置に応じて、注視状態を判定し、注視状態が維持されている視方向停留時間を求めること、および身体に装着された加速度センサからの情報を基に作業姿勢を判断し、視方向停留時間と作業姿勢を組み合わせて作業行為を自動記録することを特徴とする作業状況記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者に装着した小型カメラ及び加速度センサからの情報を用い、作業状況を自動的に記録することができる作業状況記録装置、その記録方法及び記録プログラムに関する。
【背景技術】
【０００２】
石油精製プラント等の正常な運転には、フィールドオペレータの巡視点検作業が重要な役割を果たしている。熟練オペレータは、石油精製プラント機器の運転状況だけでなく、気象条件、臭い、音などの装置以外の要素も総合的に関連付けて異常の予兆の発見を行っており、このような作業マニュアルには表われないノウハウが重要である。
【０００３】
しかし、こうしたノウハウは長年の経験によるものであり、経験の浅い作業者は持ち得ないものであり、そのノウハウを習得するには長い年月がかかる。従って、保守・点検作業のノウハウの蓄積及び伝承が要望されている。
【０００４】
多くの場合、保守・点検作業ノウハウの蓄積のために、作業者の作業内容を記録するために、実際の熟練者の保守・点検作業に観察者が同行し、作業内容を記述によって記録することや、作業をビデオカメラで撮像して映像として記録し、同時に随伴する人がポイントを記録することなどが行われている。
【０００５】
また、下記特許文献１には、保守作業において作業者が使用するカメラや位置姿勢センサなどを用いて作業や設備の記録を行うフィールド情報取得呈示装置が開示されている。
【特許文献１】特開２０００−３５３１７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記したように保守・点検作業を記録したビデオ映像からノウハウを抽出するには、記録したビデオ映像を再び目視で確認することが必要であり、また、記録されたポイントと対応させて検証したり、適宜熟練者から聞き取り調査を行うことなどが必要であり、長時間を要する問題がある。
【０００７】
また、作業記録のためには第三者が必要であり、余分な人員を必要とすることから常時記録は困難であった。
【０００８】
また、従来方法で記録された作業記録から、作業時姿勢や注視時間あるいは作業内容で記録情報を検索するためには、人手による作業記録を改めて解析し、検索項目に対応する情報を記録情報に付加する必要があった．
本発明の目的は、上記の課題を解決すべく、カメラからの映像情報を用いて作業者が見ている方向の変化を自動検知し、身体加速度情報から作業中の姿勢を自動検知することを可能にし、それらの情報を統合して、作業概要を作業行為の時系列情報として自動記録することができる作業状況記録装置、その記録方法及び記録プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の目的は、以下の手段によって達成される。
【００１０】
即ち、本発明に係る作業状況記録装置は、身体に装着される撮像手段と、該撮像手段か
ら出力される映像信号を画像フレームデータとして採取する第１データ採取手段と、処理手段とを備え、前記処理手段が、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算し、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定し、前記注視状態が維持されている視方向停留時間を求め、前記注視状態に対応する注視度及び前記視方向停留時間を記録することを特徴としている。
【００１１】
また、上記作業状況記録装置において、前記処理部が、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求め、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間の作業内容を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録することができる。
【００１２】
また、上記作業状況記録装置において、前記身体に装着される３軸加速度センサと、該３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第２データ採取手段とをさらに備え、前記処理手段が、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算し、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、前記身体の姿勢を表す姿勢指標を記録することがきる。
【００１３】
また、上記作業状況記録装置において、前記処理手段が、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算し、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定することができる。
【００１４】
また、上記作業状況記録装置において、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録することができる。
【００１５】
また、本発明に係る作業状況記録方法は、身体に装着される撮像手段から出力される映像信号を画像フレームデータとして採取する第１ステップと、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２ステップと、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３ステップと、前記注視状態が維持されている視方向停留時間を求める第４ステップと、前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５ステップとを含むことを特徴としている。
【００１６】
また、上記の作業状況記録方法において、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６ステップと、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７ステップとをさらに含むことができる。
【００１７】
また、上記の作業状況記録方法において、前記身体に装着される３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８ステップと、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９ステップと、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０ス
テップとをさらに含むことができる。
【００１８】
また、上記の作業状況記録方法において、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１ステップと、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２ステップとを含むことができる。
【００１９】
また、上記の作業状況記録方法において、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３ステップをさらに含むことができる。
【００２０】
また、本発明に係る作業状況記録プログラムは、身体に装着される撮像手段と、第１データ採取手段と、処理手段とを備える作業状況記録装置に、前記第１データ採取手段を用いて、前記撮像手段から出力される映像信号を画像フレームデータとして採取する第１機能と、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２機能と、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３機能と、前記注視状態が維持されている視方向停留時間を求める第４機能と、前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５機能と実現させることを特徴としている。
【００２１】
また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６機能と、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７機能とをさらに実現させることができる。
【００２２】
また、上記の作業状況記録プログラムにおいて、前記身体に装着される３軸加速度センサと、第２データ採取手段とをさらに備える前記作業状況記録装置に、前記第２データ採取手段を用いて、前記３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８機能と、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９機能と、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０機能とをさらに実現させることができる。
【００２３】
また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１機能と、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２機能とをさらに実現させることができる。
【００２４】
また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３機能さらに実現させるこができる。
【発明の効果】
【００２５】
本発明によれば、カメラから採取される映像データから、作業者が見ている方向の変化（視線方向停留情報）を自動的に検出することができ、注視している期間の代表画像を自動的に決定することができる。
【００２６】
また、加速度センサから採取される身体加速度データから、作業者の姿勢情報を自動的
に検出することができる。
【００２７】
さらに、それらの情報（視線方向停留情報及び姿勢情報）を組み合わせることによって、作業概要を表す作業行為を時系列に自動蓄積することが可能となる。
【００２８】
また、従来は人手によらなければならなかった作業記録解析を自動化することができ、自動蓄積された作業情報を、作業行為、作業者の身体姿勢、作業者の注視時間などの情報として、検索することが可能になる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明に係る実施の形態を、添付した図面に基づいて説明する。
【００３０】
第１図は、本発明の実施の形態に係る作業状況記録装置の概略構成を示すブロック図である。本実施の形態に係る作業状況記録装置は、人体に装着される撮像部１と、撮像部１のアナログ出力信号を所定の時間間隔でサンプリングし、ディジタル映像信号として出力する第１データ採取部２と、人体に装着される３軸加速度センサ(以下、加速度センサと
記す)６と、加速度センサ６のアナログ出力信号を所定の時間間隔でサンプリングし、Ａ
／Ｄ変換してディジタル信号として出力する第２データ採取部７と、第１データ採取部２及び第２データ採取部７からのディジタル信号を記録する記録部３と、メモリ部４と、これら各部を制御する処理部５とを備えている。
【００３１】
撮像部１は、例えば小型のＣＣＤカメラなどであり、ヘルメットに取り付けられており、そのヘルメットをかぶった人の視線方向の映像を撮像する。第１データ採取部２は、処理部５の制御を受けて、撮像部１から出力される映像信号を所定のサンプリング間隔で採取し、ディジタルデータ（フレーム単位の画像データ）として採取した順に出力する。このディジタルデータは、時系列に記録部３に記録される。
【００３２】
一方、加速度センサ６は、例えば人体の腰部に取り付けられ、外力を受けた場合、予め加速度センサ６に設定された直交する３軸(Ｘ軸、Ｙ軸、Ｚ軸)の各方向の加速度に応じた３つのアナログ信号を出力する。第２データ採取部７は、処理部５の制御を受けて、加速度センサ６から出力される３つのアナログ信号を所定のサンプリング間隔Δｔで採取し、ディジタル加速度データとして採取した順に出力する。これらのディジタル加速度データは、時系列のベクトルデータとして記録部３に記録される。
【００３３】
処理部５は、各部の制御に加えて、記録部３に記録された画像データ及び加速度データを対象とし、メモリ部４をワーク領域として使用して後述する作業状況に関する情報の検出処理などを実行する。
【００３４】
身体への取り付けに関しては、例えば、撮像部１及び第１データ採取部２が第１ユニットに組み込まれ、加速度センサ６及び第２データ採取部７が第２ユニットに組み込まれ、記録部３、メモリ部４、及び処理部５が第３ユニットに組み込まれ、少なくとも第１及び第２ユニットを身体に装着すればよい。この場合、第１及び第２データ採取部によって採取されたデータは、通信手段（有線又は無線）を更に備えて第３ユニットの記録部３に伝送されるようにすればよい。
以下、本実施の形態に係る作業状況記録装置の機能を具体的に説明する。
【００３５】
(視方向の停留検出機能)
ヘルメットなどに装着した撮像部１からの映像情報は、作業者が見ている方向の映像を強く反映していると考えられることから、ヘルメットに装着した撮像部１によって撮像される映像のブレ(映像の動きの量)を解析することにより、作業者の視方向の停留状況を自
動的に検出することができる。この機能に関して以下に説明する。
【００３６】
図２は、本実施の形態に係る作業状況記録装置による視方向の停留検出機能を示すフローチャートである。ここで、ヘルメットに取り付けられた撮像部１によって撮像された映像データ（輝度映像）が、時系列のフレームデータとして予め記録部３に記録されていることとし、その映像データを処理対象とする。以下において、特に断らない限り処理部５が行う処理として説明する。また、各ステップでの処理において、処理部５は、適宜記録部３からメモリ部４に映像データを読み出し、メモリ部４の所定領域をワーク領域として使用して計算を行い、その結果を適宜記録部３に記録することとする。
【００３７】
ステップＳ１において、初期設定を行う。処理対象とするフレーム数を指定するための評価時間幅Ｔ1、シフト時間幅ΔＴ１(ΔＴ１≦Ｔ1)、判定ステップで使用する第１相関しきい値Ｈ1、第２相関しきい値Ｈ2、第１移動許容値Ｄ1、第２移動許容値Ｄ2を設定する。一例として、Ｔ1＝２(秒)、ΔＴ1＝１(秒)、Ｈ1＝０．２、Ｈ2＝０．６、Ｄ1＝１０、Ｄ2＝１８と設定するとして、以下説明する。
【００３８】
また、繰り返しカウタｋに“０”を、全ての注視度Ｕ(ｉ)(ｉは０以上の整数値)に“０”を設定する。後述するように、時系列の画像フレームデータＦ(ｋ)に対して、時間軸に沿ってシフト時間幅ΔＴ1だけシフトしながら１回の注視度評価を行う処理対象画像フレ
ームデータの先頭を決定するので、シフトする回数だけ注視度Ｕ(ｉ)を設ける。
【００３９】
ステップＳ２において、隣接する２つの画像フレームデータＦ(ｋ)及びＦ(ｋ＋１)を記録部３から読み出し、２つのフレームデータの正規化相関値を計算し、相関ピーク値Ｐ(
ｋ)及びピーク位置Ｒ(ｋ)＝(Ｒｘ(ｋ)、Ｒｙ(ｋ))を求め、記録部３に記録する。ここで
、ｋは時系列のフレーム番号に対応し、Ｒｘ(ｋ)及びＲｙ(ｋ)はそれぞれ、画像の中心を原点とした水平座標及び垂直座標を、画素数で表した値である。
【００４０】
図３の上段には、時刻ｔ及びｔ＋Δｔにおける２つのフレームデータから、２次元の相関値(相関パターン)が得られることを示している。フレーム相関値は、２枚のフレーム画像の類似度を示しており、類似度が高い時に大きな値を示す。ここでは、映像の明るさによる相関値の変化の影響を抑えるために、フレーム相関値の計算には、各フレーム画像の明るさを正規化した後に相関計算（正規化相関）を行う。正規化相関値の計算方法は、画像処理分野で周知であるので詳細説明を省略する。
【００４１】
フレーム相関のピーク位置の中心からのズレ量(Ｒｘ(ｋ)、Ｒｙ(ｋ))は、２つのフレーム間の画像移動量を表す。従って、フレーム間の相関値を計算することにより、２つのフレーム画像の類似度と移動量とを評価することができる。従って、フレーム相関値及び相関ピークの移動量から、視方向が停留している時間、即ち注視している時間を求めることができる。
【００４２】
ステップＳ３において、処理対象のフレームデータが残っているか否を判断し、残っていないと判断するまで、ステップＳ４でカウンタｋを１増加した後ステップＳ２の戻る。
【００４３】
以上によって、フレームデータに対応する相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)＝(Ｒｘ(ｋ)、Ｒｙ(ｋ))を求めることができる。一例を、図３の下段に、相関値（Ｐ(ｋ)）、水平移動量（Ｒｘ(ｋ)）、垂直移動量（Ｒｙ(ｋ)）として示す。図３の横方向が時間軸である。相関値（Ｐ(ｋ)）は０以上の値であるが、水平移動量（Ｒｘ(ｋ)）、垂直移動量（Ｒｙ(ｋ)）は、負の値を取り得る。
【００４４】
ステップＳ５において、カウンタｋとｊを“０”にリセットした後、ステップＳ６にお
いて、記録部３に記録されているステップＳ２で求めた相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)を、所定数Ｎ1だけ(Ｐ(ｋ)〜Ｐ(ｋ＋Ｎ1−１)、Ｒ(ｋ)〜Ｒ(ｋ＋Ｎ1−１))読み
出す。読み出すデータ数Ｎ1は、１秒間のフレーム数をＮfとして評価時間幅Ｔ1から、Ｎ1＝Ｔ1・Ｎfで計算される。例えば、Ｔ1＝２(秒)、Ｎf＝８(秒−１)であれば、Ｎ1＝１６
となる。
【００４５】
ステップＳ７において、ステップＳ６で読み出した全ての相関ピーク値Ｐ(ｋ)〜Ｐ(ｋ
＋Ｎ1−１)の平均値Ｐａｖ(ｋ)が、第１相関しきい値Ｈ1＝０．２以上であるか否かを判
断する。第１相関しきい値Ｈ1＝０．２以上でないと判断した場合、ステップＳ８に移行
して、カウンタｋにΔＮ1を加算し、ステップＳ６に戻り、次の処理対象とする相関ピー
ク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)を所定数Ｎ1だけ読み出す。ここで、ΔＮ1＝Ｎｆ・ΔＴ1である。第１相関しきい値Ｈ1＝０．２以上であると判断した場合、ステップＳ９に移行する。
【００４６】
ステップＳ９において、次の条件で注視度Ｕ(ｊ)を決定し、記録部３に記録する。即ち、ｋ〜ｋ＋Ｎ1−１の範囲に対して、相関ピーク値の平均値Ｐav(ｋ)、ピーク位置の平均
値Ｒａｖ(ｋ)ｘとＲａｖ(ｋ)ｙが、
Ｐａｖ(ｋ)≧Ｈ2、Ｒａｖ(ｋ)x≦Ｄ2、及びＲａｖ(ｋ)y≦Ｄ2の場合、Ｕ(ｊ)＝３とし、
Ｈ1≦Ｐａｖ(ｋ)＜Ｈ2、Ｒａｖ(ｋ)x≦Ｄ1、及びＲａｖ(ｋ)y≦Ｄ1の場合、Ｕ(ｊ)＝２とし、
Ｈ1≦Ｐａｖ(ｋ)＜Ｈ2、Ｒａｖ(ｋ)x≦Ｄ2、及びＲａｖ(ｋ)y≦Ｄ2の場合、Ｕ(ｊ)＝１とする。カウンタｊの値は、ｊ＝ｋ/ΔＮ１である。ここで、例えばＨ1＝０．２、Ｈ2＝０
．６、Ｄ1＝１０、Ｄ2＝１８であり、Ｕ(ｊ)＝３、２、１はそれぞれ、「注視強」、「注視中」、「注視弱」を表す。決定されたＵ(ｊ)は、フレーム番号がｋ＋Ｎ1−１に対応す
る時刻の注視度であり、ｋ＋Ｎ1−１からｋ＋Ｎ1＋ΔＮ1−２までの区間の注視度とする
。ここでＵ(ｊ)が設定されなかった場合、初期設定された“０”が設定されたままであり、この状態を、例えば「その他」とする。
【００４７】
注視度Ｕ(ｊ)は、視方向が止まっている時間（注視している時間）の程度を表す値である。上記の判定条件は、視方向の停留時間が、評価時間幅内Ｔ1における全てのフレーム
に関するフレーム間相関値が相関しきい値よりも大きく、相関ピークの移動量が移動許容範囲内に収まっている時と考え、停留時間をランク付けするものである。
【００４８】
ステップＳ１０において、処理すべき相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)のデータが残っているか否を判断し、残っていないと判断するまで、ステップＳ６〜Ｓ９を繰り返す。以上で、注視度Ｕ(ｊ)が決定される。
【００４９】
ステップＳ１１において、カウンタｊを“０”にリセットする。
【００５０】
ステップＳ１２において、記録部３に記録された注視度Ｕ(ｊ)を読み出し、それが“０”（「その他」の状態）であるか否かを判断する。“０”であると判断した場合、ステップＳ１４に移行する。“０”でない（注視している状態）と判断した場合、ステップＳ１３に移行する。
【００５１】
ステップＳ１３において、“０”でないＵ(ｊ)が連続する区間の相関ピーク値を記録部３から読み出し、それらの中の最大値Ｐ(ｋmax)を求め、それに対応するフレーム番号ｋmaxを決定し、記録部３に記録する。記録されたフレーム番号ｋmaxを用いて、後述するよ
うに、その区間の代表画像とする画像フレームデータを読み出すことができる。ここで、フレーム番号ｋmaxを記録する代わりに、代表画像とする画像フレームデータを記録して
もよい。
【００５２】
ステップＳ１４において、処理すべき注視度Ｕ(ｋ)が残っているか否かを判断し、残っていると判断した場合、ステップＳ１５に移行してカウンタｊを１増加させた後、ステップＳ１２〜Ｓ１３の処理を繰り返す。
【００５３】
以上によって、一連のフレームデータの中から特定のフレームを指定するためのフレーム番号ｋmaxが決定される。
【００５４】
一例として、実際の測定データに、Ｔ1＝２(秒)、ΔＴ１＝１(秒)、Ｈ1＝０．２、Ｈ2
＝０．６、Ｄ1＝１０（画素）、Ｄ2＝１８（画素）の条件で、図２に示した一連の処理を適用した結果を図４及び図５に示す。撮像されたフレーム画像は、３２０×２４０画素である。また、相関ピークの先鋭化を図るために、前処理として各々のフレーム画像に対して高周波強調処理を行った。
【００５５】
図４には、横軸を時間として、相関値、水平移動量、垂直移動量、及びこれらから判定した視方向の注視度をランク付けした結果を示している。注視度のランクは棒グラフの高さで表し、連続する棒グラフ全体の幅が停留時間になる。
【００５６】
図５は、図４の判定結果に関して、決定された相関ピーク値の最大値Ｐ(ｋmax)に対応
するフレーム番号ｋmaxを決定し、それらの画像（代表画像）を時間順に並べたものであ
る。図５の番号（１）〜（１２）は、図４の（１）〜（１２）に対応する。各フレーム画像の下には、フレーム番号に対応する時刻情報（時：分：秒）と視方向の停留時間（秒）を示している。図５に示した多くの代表画像は、作業の経過を良く説明している。
【００５７】
以上のように、撮像部１の映像から注視度を求め、これを用いて代表画像と注視作業時間（停留時間）を自動抽出し、記録することにより、作業の変遷を自動蓄積できる。
【００５８】
(作業姿勢検出機能)
図６は、本実施の形態に係る作業状況記録装置による作業姿勢検出機能を示すフローチャートである。ここでは、人体の腰部に取り付けられた３軸加速度センサ６からの加速度データが、第２データ採取部７によって所定のサンプリング間隔Δｔで所定の期間採取され、時系列にベクトルデータとして予め記録部３に記録されていることとし、その加速度データを処理対象とする。図７に、記録された加速度データの一例を示す。図７において、縦軸は加速度データの１軸方向成分、横軸は時間である。
【００５９】
ステップＳ２１において、初期設定を行う。評価時間幅Ｔ2、シフト時間幅ΔＴ2(ΔＴ2≦Ｔ2)、サンプリング間隔Δｔ、後述する判定ステップで使用する標準偏差σの上限値σmax及び下限値σmin、回数パラメータの上限値ｎmax及び下限値ｎmin、時間パラメータの上限値ｔmax及び下限値ｔminに所定の値を設定する。また、繰り返し用カウンタｊに“０”を、全ての姿勢指標Ｖ(ｉ)(ｉは０以上の整数値)に“０”を設定する。後述するように、時系列の全加速度データの中から、時間軸に沿ってシフト時間幅ΔＴ2だけシフトしな
がら１回の処理対処とする加速度データを決定するので、シフトする回数だけ姿勢指標Ｖ(ｊ)を設ける。
【００６０】
ステップＳ２２において、時系列に記録された加速度ベクトルデータの先頭から、評価時間幅Ｔ2の間の加速度ベクトル(ｇx(ｉ)、ｇy(ｉ)、ｇz(ｉ))(ｉ＝ｋ〜ｋ＋Ｎ2−１)を
読み出し、各々の加速度ベクトルの大きさ｜ｇ(ｉ)｜＝(ｇx(ｉ)２＋ｇy(ｉ)２＋ｇz(ｉ)２)１／２を計算し、それらの平均値ｇav及び標準偏差σを計算する。評価時間幅Ｔ2毎の加速度データ数Ｎ2は、Ｎ2＝Ｔ2／Δｔで計算される。
【００６１】
ステップＳ２３において、ステップＳ２２で計算した標準偏差σが、σ＜σmin を満
たすか否かを判断する。満足すると判断した場合、ステップＳ２４に移行して姿勢指標Ｖ(ｊ)に“１”をセットし、ステップＳ２５に移行してカウンタｋをΔＮ2だけ増加させた
後、ステップＳ２２に戻る。満足しないと判断した場合、ステップＳ２６に移行する。ここで、カウンタｋをΔＮ2だけ増大させることは、時間軸に沿ってシフト時間幅ΔＴ2だけシフトして次に処理対処とする加速度データの先頭を決定することであり、ΔＮ2＝ΔＴ2／Δｔである。従って、ΔＮ2≦Ｎ2である。
【００６２】
ステップＳ２６において、ステップＳ２２で計算した標準偏差σが、σ＞σmax を満
たすか否かを判断する。満足すると判断した場合、ステップＳ２７に移行して姿勢指標Ｖ(ｊ)に“６”をセットした後、ステップＳ２５に移行する。満足しないと判断した場合、ステップＳ２８に移行する。カウンタｊは、ｊ＝ｋ／ΔＮ2の関係にある。
【００６３】
ステップ２８において、ステップＳ２２で求めた加速度ベクトルの大きさ｜ｇ(ｉ)｜が平均値ｇavを超える回数ｎ、及び｜ｇ(ｉ)｜＞ｇavである時間の合計時間ｔ1を計算する
。
【００６４】
ステップＳ２９において、ステップＳ２８で求めた回数ｎ及び合計時間ｔ1が、
ｎmin＜ｎ＜ｎmax （式１）
ｔmin＜ｔ1＜ｔmax （式２）
を満たすか否かを判断する。式１及び式２の関係を満たすと判断した場合、ステップＳ３０に移行し、姿勢指標Ｖ(ｊ)に“２”をセットした後、ステップＳ２５に以降する。少なくとも式１及び式２の何れか一方が満たされないと判断した場合、ステップＳ３１に移行する。
【００６５】
ステップＳ３１において、その区間内の加速度ベクトル(ｇx(ｉ)、ｇy(ｉ)、ｇz(ｉ))(ｉ＝ｋ〜ｋ＋Ｎ2−１)の平均ベクトルを計算し、重力加速度方向を基準として、この計算した平均ベクトルとの成す角度θを計算し、角度θに応じて姿勢指標Ｖ(ｊ)を設定する。具体的には、例えば、２０（度）≦θ＜３６（度）の場合、Ｖ(ｊ)＝３、３６（度）≦θ＜５５（度）の場合、Ｖ(ｊ)＝４、θ≧５５（度）の場合、Ｖ(ｊ)＝４と設定する。ここで設定された姿勢指標Ｖ(ｊ)は、区間（ｋ＋Ｎ2−１〜ｋ＋Ｎ2＋ΔＮ2−２）に対して適
用される。
【００６６】
ステップＳ３２において、処理対象の加速度データがＮ2以上残っているか否を判断し
、残っていないと判断するまで、ステップＳ２５に戻った後、ステップＳ２２〜Ｓ３１の処理を繰り返す。
【００６７】
以上の処理によって、区間（ｋ＋Ｎ2−１〜ｋ＋Ｎ2＋ΔＮ2−２）毎に、即ちΔＴ2毎に、姿勢指標Ｖ(ｊ)、即ち身体状態を示す情報が決定される。
【００６８】
一例として、評価時間幅Ｔ2＝３(秒)、シフト時間幅ΔＴ2＝１(秒)とし、評価時間幅Ｔ2内の加速度ベクトルの平均振幅をｇavとしてσmin＝０．２ｇav、σmax＝０．９ｇav、
ｎmin＝０．２Ｔ2／Δｔ、ｎmax＝０．８Ｔ2／Δｔ、ｔmin＝０．２Ｔ2、ｔmax＝０．８
Ｔ2の条件で、実測した加速度ベクトルに図６に示した一連の処理を適用した結果を、図
８に示す。図８の中段に示したＸ、Ｙ、Ｚの身体加速度は、サンプリング間隔Δｔ＝０．０５(秒)(２０Ｈｚ)で採取したデータ(３軸の各成分)を示しており、その下方に姿勢判定の結果を示している。
【００６９】
黒い棒グラフで示した姿勢判定結果は、姿勢指標Ｖ(ｊ)が０、１、２、３、４、５、６の場合をそれぞれ、「その他」、「静止」、「歩行」、「傾斜小」、「傾斜中」、「傾斜
大」、「衝撃」と記している。図８の身体加速度の上方には、作業者に同行した観察者による、作業状況を説明するコメントを示している。コメントと姿勢判定結果とを比較すると、作業内容に対応した姿勢検出が良好に行われていることが分かる。
【００７０】
（作業状況記録機能）
次に、作業者の注視度及び姿勢の検出結果を用いて、各時刻における作業行為を推定し、それを作業状況を表す情報として記録する機能に関して説明する。作業行為の推定は、上記した注視度Ｕ(ｊ)によって表される作業者の４段階の視方向の停留状態（注視強、注視中、注視弱、停留なし（その他））と、同じ時刻における上記した姿勢指標Ｖ(ｊ)によって表される作業者の７種類の姿勢情報（静止、歩行、傾斜小、傾斜中、傾斜大、衝撃的姿勢変化、その他）とを組み合わせて、決定する。
【００７１】
図９は、本実施の形態に係る作業状況記録装置による作業状況記録機能を示すフローチャートである。ここで、映像データおよび加速度データは同じ期間採取され、図２、図６に示した処理が実行され、同じ数の注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)が記録部３に記録されていることとする。
【００７２】
ステップＳ４１において、カウンタｊに“０”を設定する。ｊ＝０は、例えば、処理対象のデータ（映像データ及び加速度データ）の採取の開始時刻に対応する。
【００７３】
ステップＳ４２において、記録部３から注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)を読み出す。
【００７４】
ステップＳ４３において、ステップＳ４２で読み出した注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)の組み合わせに応じて、作業行為を表すパラメータＷ(ｊ)を決定し、カウンタｊの値と対応させて記録部３に記録する。例えば、６種類の作業行為（「移動」、「目視点検」、「注視点検・触診」、「屈み込み」、「覗き込み」、「その他」）を判別する場合、次の判定条件に応じて作業行為を判定すればよい。
（１）姿勢情報が「歩行（Ｖ(ｊ)＝２）」状態であり且つ視方向停留状態が「停留なし（Ｕ(ｊ)＝０）」の場合、「移動（Ｗ（ｊ）＝１）」と判定
（２）姿勢情報が「静止（Ｖ(ｊ)＝１）」状態の場合、または、姿勢情報が「歩行（Ｖ(
ｊ)＝２）」であり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」の場合、「目視点検
（Ｗ(ｊ)＝２）」と判定
（３）姿勢情報が「静止（Ｖ(ｊ)＝１）」状態であり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」、「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、または姿勢情報が「歩行（Ｖ(ｊ)＝１）」状態であり且つ視方向停留状態が「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、「注視点検・触診（Ｗ(ｊ)＝３）」と判定
（４）姿勢情報が「傾斜小（Ｖ(ｊ)＝３）」、「傾斜中（Ｖ(ｊ)＝４）」及び「傾斜大（Ｖ(ｊ)＝５）」の何れかの状態であり且つ視方向停留状態が「停留なし（Ｕ(ｊ)＝０）」及び「注視弱（Ｕ(ｊ)＝１）」の何れかの場合、「屈み込み（Ｗ(ｊ)＝４）」と判定
（５）姿勢情報が「傾斜小（Ｖ(ｊ)＝３）」、「傾斜中（Ｖ(ｊ)＝４）」及び「傾斜大（Ｖ(ｊ)＝５）」の何れかであり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」、「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、「覗き込み（Ｗ(ｊ)＝５）」と判定
（６）その他の状態を「その他（Ｗ(ｊ)＝０）」と判定
ステップＳ４４において、処理対象のデータが残っているか否かを判断し、処理対象のデータがあると判断した場合、ステップＳ４５に移行してカウンタｊを１増加させて、処理対象のデータがなくなるまで、ステップＳ４２〜４３の処理を繰り返す。
【００７５】
以上の結果、作業行為を表すパラメータＷ(ｊ)を決定することができる。従って、パラメータＷ(ｊ)の値（例えば、０〜５）と、それらに対応する作業行為を表す文字情報などを対応させてテーブルとして記録しておけば、パラメータＷ(ｊ)が決まれば、そのテーブルを参照することで、作業行為を文字情報などで表示することが可能となる。
【００７６】
一例として、図４に示した視方向の停留検出結果及び図８に示した作業姿勢検出結果に対して、上記した（１）〜（６）の判定条件を適用した結果を図１０に示す。図１０は、図４及び図８のうち、時刻が１５：３７：２０〜１５：３９：３１の間に関する結果である。このように、作業者が身に付けた撮像部１と３軸加速度センサ６のみを用いて、作業内容を作業行為の時系列情報として自動的に記録することができる。
【００７７】
上記の視方向の停留検出機能において、ある時刻ｔの注視度Ｕ(ｊ)を判定するために、評価時間幅Ｔ1だけ過去（ｔ−Ｔ1〜ｔ）のデータを使用する場合を説明したが、これに限定されず、時刻ｔを挟んだ評価時間幅Ｔ1（ｔ−Ｔ1＋τ〜ｔ＋τ）のデータを使用してもよい。ここで、τ＜Ｔ1である。評価時点で前後同じ評価時間で判定するには、τ＝Ｔ1／２とすればよい。
【００７８】
また、上記の作業姿勢検出機能における姿勢指標Ｖ(ｊ)の判定に関しても同様に、時刻ｔを挟んだ評価時間幅Ｔ2（ｔ−Ｔ2＋τ〜ｔ＋τ）のデータを使用してもよい。ここで、τ＜Ｔ2である。評価時点で前後同じ評価時間で判定するには、τ＝Ｔ2／２とすればよい。
【００７９】
また、上記した視方向の停留検出機能、作業姿勢検出機能、及び作業状況記録機能では、予め記録部に記録されている映像データ及び加速度データを処理する場合を説明したが、データの採取と並行してリアルタイムに処理を行ってもよい。その場合、例えば、視方向の停留検出機能を示す図２のステップＳ２の処理を、所定数の映像フレームデータを採取する処理とし、作業姿勢検出機能を示す図６のステップＳ２２の処理を、所定数の加速度データを採取する処理とすればよい。尚、上記したように、ある時刻ｔにおける注視度Ｕ(ｊ)又は姿勢指標Ｖ(ｊ)の判定に、ｔ−Ｔ1＋τ〜ｔ＋τの範囲のデータを使用する場
合、ｔ〜ｔ＋τの範囲のデータは時刻ｔにとって未来のデータであるので、処理の遅れを考慮して、あまり大きくないτ（τ＜Ｔ1）を決定することが望ましい。
【００８０】
また、上記の停留検出機能に関して、ステップＳ９において、相関ピーク値の平均値Ｐav(ｋ)、及びピーク位置の平均値Ｒａｖ(ｋ)ｘ、Ｒａｖ(ｋ)ｙを用いて、注視度Ｕ(ｊ)を決定したが、これに限定されない。例えば、ｋ〜ｋ＋Ｎ1−１の区間内の各々の相関ピー
ク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)ｘ、Ｒ(ｋ)ｙが上記した条件を満たすか否かに応じて、注視度Ｕ(ｊ)を決定してもよい。
【００８１】
また、上記で一例として示した、第１及び第２相関しきい値Ｈ1、Ｈ2、第１及び第２移動許容値Ｄ1、Ｄ2、標準偏差の下限値及び上限値σmin、σmax、回数の下限値及び上限値ｎmin、ｎmax、時間パラメータの下限値及び上限値ｔmin、ｔmaxなどの値は、上記の値に限定されず、適宜設定することができる。
【００８２】
また、上記では注視度を３ランクに、姿勢状態を７種類に、傾斜状態を３ランクに、さらに作業行為を６種類に分類する場合を説明したが、これらに限定されず、これらより多く分類することも、少なく分類することもできる。
【００８３】
例えば、注視度を１ランクとし、相関ピーク値が０．２以上であり且つ移動許容量が１８画素以内である場合に、注視状態（視方向の停留状態）であると判定してもよい。
【００８４】
また、移動許容量は、水平方向、垂直方向で同じ値としたが、異なる値であってもよく、フレーム画像の中心からの距離((Ｒｘ)2＋(Ｒｙ)2)1/2で移動許容量を指定してもよい
。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態に係る作業状況記録装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態に係る作業状況記録装置による視方向の停留情報検出機能を示すフローチャートである。
【図３】フレーム相関値の計算を説明する図である。
【図４】本発明の実施の形態に係る作業状況記録装置による視方向の停留情報検出機能を適用した結果の一例を示す図である。
【図５】図４に示した停留時間中の代表画像の抽出結果を示す図である。
【図６】本身体状態検出装置による歩行状態の検出処理機能を実行した結果の一例を示す図である。
【図７】加速度データの一例を示す図である。
【図８】本発明の実施の形態に係る作業状況記録装置による作業姿勢検出機能を実行した結果の一例を示す図である。
【図９】本発明の実施の形態に係る作業状況記録装置による作業状況記録機能を示すフローチャートである。
【図１０】本発明の実施の形態に係る作業状況記録装置による作業状況記録機能を実行した結果の一例を示す図である。
【符号の説明】
【００８６】
１ 撮像部
２ 第１データ採取部
３ 記録部
４ メモリ部
５ 処理部
６ 加速度センサ
７ 第２データ採取部
【技術分野】
【０００１】
本発明は、作業者に装着した小型カメラ及び加速度センサからの情報を用い、作業状況を自動的に記録することができる作業状況記録装置、その記録方法及び記録プログラムに関する。
【背景技術】
【０００２】
石油精製プラント等の正常な運転には、フィールドオペレータの巡視点検作業が重要な役割を果たしている。熟練オペレータは、石油精製プラント機器の運転状況だけでなく、気象条件、臭い、音などの装置以外の要素も総合的に関連付けて異常の予兆の発見を行っており、このような作業マニュアルには表われないノウハウが重要である。
【０００３】
しかし、こうしたノウハウは長年の経験によるものであり、経験の浅い作業者は持ち得ないものであり、そのノウハウを習得するには長い年月がかかる。従って、保守・点検作業のノウハウの蓄積及び伝承が要望されている。
【０００４】
多くの場合、保守・点検作業ノウハウの蓄積のために、作業者の作業内容を記録するために、実際の熟練者の保守・点検作業に観察者が同行し、作業内容を記述によって記録することや、作業をビデオカメラで撮像して映像として記録し、同時に随伴する人がポイントを記録することなどが行われている。
【０００５】
また、下記特許文献１には、保守作業において作業者が使用するカメラや位置姿勢センサなどを用いて作業や設備の記録を行うフィールド情報取得呈示装置が開示されている。
【特許文献１】特開２０００−３５３１７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記したように保守・点検作業を記録したビデオ映像からノウハウを抽出するには、記録したビデオ映像を再び目視で確認することが必要であり、また、記録されたポイントと対応させて検証したり、適宜熟練者から聞き取り調査を行うことなどが必要であり、長時間を要する問題がある。
【０００７】
また、作業記録のためには第三者が必要であり、余分な人員を必要とすることから常時記録は困難であった。
【０００８】
また、従来方法で記録された作業記録から、作業時姿勢や注視時間あるいは作業内容で記録情報を検索するためには、人手による作業記録を改めて解析し、検索項目に対応する情報を記録情報に付加する必要があった．
本発明の目的は、上記の課題を解決すべく、カメラからの映像情報を用いて作業者が見ている方向の変化を自動検知し、身体加速度情報から作業中の姿勢を自動検知することを可能にし、それらの情報を統合して、作業概要を作業行為の時系列情報として自動記録することができる作業状況記録装置、その記録方法及び記録プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の目的は、以下の手段によって達成される。
【００１０】
即ち、本発明に係る作業状況記録装置は、身体に装着される撮像手段と、該撮像手段か
ら出力される映像信号を画像フレームデータとして採取する第１データ採取手段と、処理手段とを備え、前記処理手段が、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算し、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定し、前記注視状態が維持されている視方向停留時間を求め、前記注視状態に対応する注視度及び前記視方向停留時間を記録することを特徴としている。
【００１１】
また、上記作業状況記録装置において、前記処理部が、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求め、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間の作業内容を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録することができる。
【００１２】
また、上記作業状況記録装置において、前記身体に装着される３軸加速度センサと、該３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第２データ採取手段とをさらに備え、前記処理手段が、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算し、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、前記身体の姿勢を表す姿勢指標を記録することがきる。
【００１３】
また、上記作業状況記録装置において、前記処理手段が、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算し、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定することができる。
【００１４】
また、上記作業状況記録装置において、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録することができる。
【００１５】
また、本発明に係る作業状況記録方法は、身体に装着される撮像手段から出力される映像信号を画像フレームデータとして採取する第１ステップと、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２ステップと、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３ステップと、前記注視状態が維持されている視方向停留時間を求める第４ステップと、前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５ステップとを含むことを特徴としている。
【００１６】
また、上記の作業状況記録方法において、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６ステップと、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７ステップとをさらに含むことができる。
【００１７】
また、上記の作業状況記録方法において、前記身体に装着される３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８ステップと、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９ステップと、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０ス
テップとをさらに含むことができる。
【００１８】
また、上記の作業状況記録方法において、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１ステップと、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２ステップとを含むことができる。
【００１９】
また、上記の作業状況記録方法において、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３ステップをさらに含むことができる。
【００２０】
また、本発明に係る作業状況記録プログラムは、身体に装着される撮像手段と、第１データ採取手段と、処理手段とを備える作業状況記録装置に、前記第１データ採取手段を用いて、前記撮像手段から出力される映像信号を画像フレームデータとして採取する第１機能と、第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２機能と、前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３機能と、前記注視状態が維持されている視方向停留時間を求める第４機能と、前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５機能と実現させることを特徴としている。
【００２１】
また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６機能と、該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７機能とをさらに実現させることができる。
【００２２】
また、上記の作業状況記録プログラムにおいて、前記身体に装着される３軸加速度センサと、第２データ採取手段とをさらに備える前記作業状況記録装置に、前記第２データ採取手段を用いて、前記３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８機能と、連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９機能と、前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０機能とをさらに実現させることができる。
【００２３】
また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１機能と、重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２機能とをさらに実現させることができる。
【００２４】
また、上記の作業状況記録プログラムにおいて、前記作業状況記録装置に、前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３機能さらに実現させるこができる。
【発明の効果】
【００２５】
本発明によれば、カメラから採取される映像データから、作業者が見ている方向の変化（視線方向停留情報）を自動的に検出することができ、注視している期間の代表画像を自動的に決定することができる。
【００２６】
また、加速度センサから採取される身体加速度データから、作業者の姿勢情報を自動的
に検出することができる。
【００２７】
さらに、それらの情報（視線方向停留情報及び姿勢情報）を組み合わせることによって、作業概要を表す作業行為を時系列に自動蓄積することが可能となる。
【００２８】
また、従来は人手によらなければならなかった作業記録解析を自動化することができ、自動蓄積された作業情報を、作業行為、作業者の身体姿勢、作業者の注視時間などの情報として、検索することが可能になる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明に係る実施の形態を、添付した図面に基づいて説明する。
【００３０】
第１図は、本発明の実施の形態に係る作業状況記録装置の概略構成を示すブロック図である。本実施の形態に係る作業状況記録装置は、人体に装着される撮像部１と、撮像部１のアナログ出力信号を所定の時間間隔でサンプリングし、ディジタル映像信号として出力する第１データ採取部２と、人体に装着される３軸加速度センサ(以下、加速度センサと
記す)６と、加速度センサ６のアナログ出力信号を所定の時間間隔でサンプリングし、Ａ
／Ｄ変換してディジタル信号として出力する第２データ採取部７と、第１データ採取部２及び第２データ採取部７からのディジタル信号を記録する記録部３と、メモリ部４と、これら各部を制御する処理部５とを備えている。
【００３１】
撮像部１は、例えば小型のＣＣＤカメラなどであり、ヘルメットに取り付けられており、そのヘルメットをかぶった人の視線方向の映像を撮像する。第１データ採取部２は、処理部５の制御を受けて、撮像部１から出力される映像信号を所定のサンプリング間隔で採取し、ディジタルデータ（フレーム単位の画像データ）として採取した順に出力する。このディジタルデータは、時系列に記録部３に記録される。
【００３２】
一方、加速度センサ６は、例えば人体の腰部に取り付けられ、外力を受けた場合、予め加速度センサ６に設定された直交する３軸(Ｘ軸、Ｙ軸、Ｚ軸)の各方向の加速度に応じた３つのアナログ信号を出力する。第２データ採取部７は、処理部５の制御を受けて、加速度センサ６から出力される３つのアナログ信号を所定のサンプリング間隔Δｔで採取し、ディジタル加速度データとして採取した順に出力する。これらのディジタル加速度データは、時系列のベクトルデータとして記録部３に記録される。
【００３３】
処理部５は、各部の制御に加えて、記録部３に記録された画像データ及び加速度データを対象とし、メモリ部４をワーク領域として使用して後述する作業状況に関する情報の検出処理などを実行する。
【００３４】
身体への取り付けに関しては、例えば、撮像部１及び第１データ採取部２が第１ユニットに組み込まれ、加速度センサ６及び第２データ採取部７が第２ユニットに組み込まれ、記録部３、メモリ部４、及び処理部５が第３ユニットに組み込まれ、少なくとも第１及び第２ユニットを身体に装着すればよい。この場合、第１及び第２データ採取部によって採取されたデータは、通信手段（有線又は無線）を更に備えて第３ユニットの記録部３に伝送されるようにすればよい。
以下、本実施の形態に係る作業状況記録装置の機能を具体的に説明する。
【００３５】
(視方向の停留検出機能)
ヘルメットなどに装着した撮像部１からの映像情報は、作業者が見ている方向の映像を強く反映していると考えられることから、ヘルメットに装着した撮像部１によって撮像される映像のブレ(映像の動きの量)を解析することにより、作業者の視方向の停留状況を自
動的に検出することができる。この機能に関して以下に説明する。
【００３６】
図２は、本実施の形態に係る作業状況記録装置による視方向の停留検出機能を示すフローチャートである。ここで、ヘルメットに取り付けられた撮像部１によって撮像された映像データ（輝度映像）が、時系列のフレームデータとして予め記録部３に記録されていることとし、その映像データを処理対象とする。以下において、特に断らない限り処理部５が行う処理として説明する。また、各ステップでの処理において、処理部５は、適宜記録部３からメモリ部４に映像データを読み出し、メモリ部４の所定領域をワーク領域として使用して計算を行い、その結果を適宜記録部３に記録することとする。
【００３７】
ステップＳ１において、初期設定を行う。処理対象とするフレーム数を指定するための評価時間幅Ｔ1、シフト時間幅ΔＴ１(ΔＴ１≦Ｔ1)、判定ステップで使用する第１相関しきい値Ｈ1、第２相関しきい値Ｈ2、第１移動許容値Ｄ1、第２移動許容値Ｄ2を設定する。一例として、Ｔ1＝２(秒)、ΔＴ1＝１(秒)、Ｈ1＝０．２、Ｈ2＝０．６、Ｄ1＝１０、Ｄ2＝１８と設定するとして、以下説明する。
【００３８】
また、繰り返しカウタｋに“０”を、全ての注視度Ｕ(ｉ)(ｉは０以上の整数値)に“０”を設定する。後述するように、時系列の画像フレームデータＦ(ｋ)に対して、時間軸に沿ってシフト時間幅ΔＴ1だけシフトしながら１回の注視度評価を行う処理対象画像フレ
ームデータの先頭を決定するので、シフトする回数だけ注視度Ｕ(ｉ)を設ける。
【００３９】
ステップＳ２において、隣接する２つの画像フレームデータＦ(ｋ)及びＦ(ｋ＋１)を記録部３から読み出し、２つのフレームデータの正規化相関値を計算し、相関ピーク値Ｐ(
ｋ)及びピーク位置Ｒ(ｋ)＝(Ｒｘ(ｋ)、Ｒｙ(ｋ))を求め、記録部３に記録する。ここで
、ｋは時系列のフレーム番号に対応し、Ｒｘ(ｋ)及びＲｙ(ｋ)はそれぞれ、画像の中心を原点とした水平座標及び垂直座標を、画素数で表した値である。
【００４０】
図３の上段には、時刻ｔ及びｔ＋Δｔにおける２つのフレームデータから、２次元の相関値(相関パターン)が得られることを示している。フレーム相関値は、２枚のフレーム画像の類似度を示しており、類似度が高い時に大きな値を示す。ここでは、映像の明るさによる相関値の変化の影響を抑えるために、フレーム相関値の計算には、各フレーム画像の明るさを正規化した後に相関計算（正規化相関）を行う。正規化相関値の計算方法は、画像処理分野で周知であるので詳細説明を省略する。
【００４１】
フレーム相関のピーク位置の中心からのズレ量(Ｒｘ(ｋ)、Ｒｙ(ｋ))は、２つのフレーム間の画像移動量を表す。従って、フレーム間の相関値を計算することにより、２つのフレーム画像の類似度と移動量とを評価することができる。従って、フレーム相関値及び相関ピークの移動量から、視方向が停留している時間、即ち注視している時間を求めることができる。
【００４２】
ステップＳ３において、処理対象のフレームデータが残っているか否を判断し、残っていないと判断するまで、ステップＳ４でカウンタｋを１増加した後ステップＳ２の戻る。
【００４３】
以上によって、フレームデータに対応する相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)＝(Ｒｘ(ｋ)、Ｒｙ(ｋ))を求めることができる。一例を、図３の下段に、相関値（Ｐ(ｋ)）、水平移動量（Ｒｘ(ｋ)）、垂直移動量（Ｒｙ(ｋ)）として示す。図３の横方向が時間軸である。相関値（Ｐ(ｋ)）は０以上の値であるが、水平移動量（Ｒｘ(ｋ)）、垂直移動量（Ｒｙ(ｋ)）は、負の値を取り得る。
【００４４】
ステップＳ５において、カウンタｋとｊを“０”にリセットした後、ステップＳ６にお
いて、記録部３に記録されているステップＳ２で求めた相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)を、所定数Ｎ1だけ(Ｐ(ｋ)〜Ｐ(ｋ＋Ｎ1−１)、Ｒ(ｋ)〜Ｒ(ｋ＋Ｎ1−１))読み
出す。読み出すデータ数Ｎ1は、１秒間のフレーム数をＮfとして評価時間幅Ｔ1から、Ｎ1＝Ｔ1・Ｎfで計算される。例えば、Ｔ1＝２(秒)、Ｎf＝８(秒−１)であれば、Ｎ1＝１６
となる。
【００４５】
ステップＳ７において、ステップＳ６で読み出した全ての相関ピーク値Ｐ(ｋ)〜Ｐ(ｋ
＋Ｎ1−１)の平均値Ｐａｖ(ｋ)が、第１相関しきい値Ｈ1＝０．２以上であるか否かを判
断する。第１相関しきい値Ｈ1＝０．２以上でないと判断した場合、ステップＳ８に移行
して、カウンタｋにΔＮ1を加算し、ステップＳ６に戻り、次の処理対象とする相関ピー
ク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)を所定数Ｎ1だけ読み出す。ここで、ΔＮ1＝Ｎｆ・ΔＴ1である。第１相関しきい値Ｈ1＝０．２以上であると判断した場合、ステップＳ９に移行する。
【００４６】
ステップＳ９において、次の条件で注視度Ｕ(ｊ)を決定し、記録部３に記録する。即ち、ｋ〜ｋ＋Ｎ1−１の範囲に対して、相関ピーク値の平均値Ｐav(ｋ)、ピーク位置の平均
値Ｒａｖ(ｋ)ｘとＲａｖ(ｋ)ｙが、
Ｐａｖ(ｋ)≧Ｈ2、Ｒａｖ(ｋ)x≦Ｄ2、及びＲａｖ(ｋ)y≦Ｄ2の場合、Ｕ(ｊ)＝３とし、
Ｈ1≦Ｐａｖ(ｋ)＜Ｈ2、Ｒａｖ(ｋ)x≦Ｄ1、及びＲａｖ(ｋ)y≦Ｄ1の場合、Ｕ(ｊ)＝２とし、
Ｈ1≦Ｐａｖ(ｋ)＜Ｈ2、Ｒａｖ(ｋ)x≦Ｄ2、及びＲａｖ(ｋ)y≦Ｄ2の場合、Ｕ(ｊ)＝１とする。カウンタｊの値は、ｊ＝ｋ/ΔＮ１である。ここで、例えばＨ1＝０．２、Ｈ2＝０
．６、Ｄ1＝１０、Ｄ2＝１８であり、Ｕ(ｊ)＝３、２、１はそれぞれ、「注視強」、「注視中」、「注視弱」を表す。決定されたＵ(ｊ)は、フレーム番号がｋ＋Ｎ1−１に対応す
る時刻の注視度であり、ｋ＋Ｎ1−１からｋ＋Ｎ1＋ΔＮ1−２までの区間の注視度とする
。ここでＵ(ｊ)が設定されなかった場合、初期設定された“０”が設定されたままであり、この状態を、例えば「その他」とする。
【００４７】
注視度Ｕ(ｊ)は、視方向が止まっている時間（注視している時間）の程度を表す値である。上記の判定条件は、視方向の停留時間が、評価時間幅内Ｔ1における全てのフレーム
に関するフレーム間相関値が相関しきい値よりも大きく、相関ピークの移動量が移動許容範囲内に収まっている時と考え、停留時間をランク付けするものである。
【００４８】
ステップＳ１０において、処理すべき相関ピーク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)のデータが残っているか否を判断し、残っていないと判断するまで、ステップＳ６〜Ｓ９を繰り返す。以上で、注視度Ｕ(ｊ)が決定される。
【００４９】
ステップＳ１１において、カウンタｊを“０”にリセットする。
【００５０】
ステップＳ１２において、記録部３に記録された注視度Ｕ(ｊ)を読み出し、それが“０”（「その他」の状態）であるか否かを判断する。“０”であると判断した場合、ステップＳ１４に移行する。“０”でない（注視している状態）と判断した場合、ステップＳ１３に移行する。
【００５１】
ステップＳ１３において、“０”でないＵ(ｊ)が連続する区間の相関ピーク値を記録部３から読み出し、それらの中の最大値Ｐ(ｋmax)を求め、それに対応するフレーム番号ｋmaxを決定し、記録部３に記録する。記録されたフレーム番号ｋmaxを用いて、後述するよ
うに、その区間の代表画像とする画像フレームデータを読み出すことができる。ここで、フレーム番号ｋmaxを記録する代わりに、代表画像とする画像フレームデータを記録して
もよい。
【００５２】
ステップＳ１４において、処理すべき注視度Ｕ(ｋ)が残っているか否かを判断し、残っていると判断した場合、ステップＳ１５に移行してカウンタｊを１増加させた後、ステップＳ１２〜Ｓ１３の処理を繰り返す。
【００５３】
以上によって、一連のフレームデータの中から特定のフレームを指定するためのフレーム番号ｋmaxが決定される。
【００５４】
一例として、実際の測定データに、Ｔ1＝２(秒)、ΔＴ１＝１(秒)、Ｈ1＝０．２、Ｈ2
＝０．６、Ｄ1＝１０（画素）、Ｄ2＝１８（画素）の条件で、図２に示した一連の処理を適用した結果を図４及び図５に示す。撮像されたフレーム画像は、３２０×２４０画素である。また、相関ピークの先鋭化を図るために、前処理として各々のフレーム画像に対して高周波強調処理を行った。
【００５５】
図４には、横軸を時間として、相関値、水平移動量、垂直移動量、及びこれらから判定した視方向の注視度をランク付けした結果を示している。注視度のランクは棒グラフの高さで表し、連続する棒グラフ全体の幅が停留時間になる。
【００５６】
図５は、図４の判定結果に関して、決定された相関ピーク値の最大値Ｐ(ｋmax)に対応
するフレーム番号ｋmaxを決定し、それらの画像（代表画像）を時間順に並べたものであ
る。図５の番号（１）〜（１２）は、図４の（１）〜（１２）に対応する。各フレーム画像の下には、フレーム番号に対応する時刻情報（時：分：秒）と視方向の停留時間（秒）を示している。図５に示した多くの代表画像は、作業の経過を良く説明している。
【００５７】
以上のように、撮像部１の映像から注視度を求め、これを用いて代表画像と注視作業時間（停留時間）を自動抽出し、記録することにより、作業の変遷を自動蓄積できる。
【００５８】
(作業姿勢検出機能)
図６は、本実施の形態に係る作業状況記録装置による作業姿勢検出機能を示すフローチャートである。ここでは、人体の腰部に取り付けられた３軸加速度センサ６からの加速度データが、第２データ採取部７によって所定のサンプリング間隔Δｔで所定の期間採取され、時系列にベクトルデータとして予め記録部３に記録されていることとし、その加速度データを処理対象とする。図７に、記録された加速度データの一例を示す。図７において、縦軸は加速度データの１軸方向成分、横軸は時間である。
【００５９】
ステップＳ２１において、初期設定を行う。評価時間幅Ｔ2、シフト時間幅ΔＴ2(ΔＴ2≦Ｔ2)、サンプリング間隔Δｔ、後述する判定ステップで使用する標準偏差σの上限値σmax及び下限値σmin、回数パラメータの上限値ｎmax及び下限値ｎmin、時間パラメータの上限値ｔmax及び下限値ｔminに所定の値を設定する。また、繰り返し用カウンタｊに“０”を、全ての姿勢指標Ｖ(ｉ)(ｉは０以上の整数値)に“０”を設定する。後述するように、時系列の全加速度データの中から、時間軸に沿ってシフト時間幅ΔＴ2だけシフトしな
がら１回の処理対処とする加速度データを決定するので、シフトする回数だけ姿勢指標Ｖ(ｊ)を設ける。
【００６０】
ステップＳ２２において、時系列に記録された加速度ベクトルデータの先頭から、評価時間幅Ｔ2の間の加速度ベクトル(ｇx(ｉ)、ｇy(ｉ)、ｇz(ｉ))(ｉ＝ｋ〜ｋ＋Ｎ2−１)を
読み出し、各々の加速度ベクトルの大きさ｜ｇ(ｉ)｜＝(ｇx(ｉ)２＋ｇy(ｉ)２＋ｇz(ｉ)２)１／２を計算し、それらの平均値ｇav及び標準偏差σを計算する。評価時間幅Ｔ2毎の加速度データ数Ｎ2は、Ｎ2＝Ｔ2／Δｔで計算される。
【００６１】
ステップＳ２３において、ステップＳ２２で計算した標準偏差σが、σ＜σmin を満
たすか否かを判断する。満足すると判断した場合、ステップＳ２４に移行して姿勢指標Ｖ(ｊ)に“１”をセットし、ステップＳ２５に移行してカウンタｋをΔＮ2だけ増加させた
後、ステップＳ２２に戻る。満足しないと判断した場合、ステップＳ２６に移行する。ここで、カウンタｋをΔＮ2だけ増大させることは、時間軸に沿ってシフト時間幅ΔＴ2だけシフトして次に処理対処とする加速度データの先頭を決定することであり、ΔＮ2＝ΔＴ2／Δｔである。従って、ΔＮ2≦Ｎ2である。
【００６２】
ステップＳ２６において、ステップＳ２２で計算した標準偏差σが、σ＞σmax を満
たすか否かを判断する。満足すると判断した場合、ステップＳ２７に移行して姿勢指標Ｖ(ｊ)に“６”をセットした後、ステップＳ２５に移行する。満足しないと判断した場合、ステップＳ２８に移行する。カウンタｊは、ｊ＝ｋ／ΔＮ2の関係にある。
【００６３】
ステップ２８において、ステップＳ２２で求めた加速度ベクトルの大きさ｜ｇ(ｉ)｜が平均値ｇavを超える回数ｎ、及び｜ｇ(ｉ)｜＞ｇavである時間の合計時間ｔ1を計算する
。
【００６４】
ステップＳ２９において、ステップＳ２８で求めた回数ｎ及び合計時間ｔ1が、
ｎmin＜ｎ＜ｎmax （式１）
ｔmin＜ｔ1＜ｔmax （式２）
を満たすか否かを判断する。式１及び式２の関係を満たすと判断した場合、ステップＳ３０に移行し、姿勢指標Ｖ(ｊ)に“２”をセットした後、ステップＳ２５に以降する。少なくとも式１及び式２の何れか一方が満たされないと判断した場合、ステップＳ３１に移行する。
【００６５】
ステップＳ３１において、その区間内の加速度ベクトル(ｇx(ｉ)、ｇy(ｉ)、ｇz(ｉ))(ｉ＝ｋ〜ｋ＋Ｎ2−１)の平均ベクトルを計算し、重力加速度方向を基準として、この計算した平均ベクトルとの成す角度θを計算し、角度θに応じて姿勢指標Ｖ(ｊ)を設定する。具体的には、例えば、２０（度）≦θ＜３６（度）の場合、Ｖ(ｊ)＝３、３６（度）≦θ＜５５（度）の場合、Ｖ(ｊ)＝４、θ≧５５（度）の場合、Ｖ(ｊ)＝４と設定する。ここで設定された姿勢指標Ｖ(ｊ)は、区間（ｋ＋Ｎ2−１〜ｋ＋Ｎ2＋ΔＮ2−２）に対して適
用される。
【００６６】
ステップＳ３２において、処理対象の加速度データがＮ2以上残っているか否を判断し
、残っていないと判断するまで、ステップＳ２５に戻った後、ステップＳ２２〜Ｓ３１の処理を繰り返す。
【００６７】
以上の処理によって、区間（ｋ＋Ｎ2−１〜ｋ＋Ｎ2＋ΔＮ2−２）毎に、即ちΔＴ2毎に、姿勢指標Ｖ(ｊ)、即ち身体状態を示す情報が決定される。
【００６８】
一例として、評価時間幅Ｔ2＝３(秒)、シフト時間幅ΔＴ2＝１(秒)とし、評価時間幅Ｔ2内の加速度ベクトルの平均振幅をｇavとしてσmin＝０．２ｇav、σmax＝０．９ｇav、
ｎmin＝０．２Ｔ2／Δｔ、ｎmax＝０．８Ｔ2／Δｔ、ｔmin＝０．２Ｔ2、ｔmax＝０．８
Ｔ2の条件で、実測した加速度ベクトルに図６に示した一連の処理を適用した結果を、図
８に示す。図８の中段に示したＸ、Ｙ、Ｚの身体加速度は、サンプリング間隔Δｔ＝０．０５(秒)(２０Ｈｚ)で採取したデータ(３軸の各成分)を示しており、その下方に姿勢判定の結果を示している。
【００６９】
黒い棒グラフで示した姿勢判定結果は、姿勢指標Ｖ(ｊ)が０、１、２、３、４、５、６の場合をそれぞれ、「その他」、「静止」、「歩行」、「傾斜小」、「傾斜中」、「傾斜
大」、「衝撃」と記している。図８の身体加速度の上方には、作業者に同行した観察者による、作業状況を説明するコメントを示している。コメントと姿勢判定結果とを比較すると、作業内容に対応した姿勢検出が良好に行われていることが分かる。
【００７０】
（作業状況記録機能）
次に、作業者の注視度及び姿勢の検出結果を用いて、各時刻における作業行為を推定し、それを作業状況を表す情報として記録する機能に関して説明する。作業行為の推定は、上記した注視度Ｕ(ｊ)によって表される作業者の４段階の視方向の停留状態（注視強、注視中、注視弱、停留なし（その他））と、同じ時刻における上記した姿勢指標Ｖ(ｊ)によって表される作業者の７種類の姿勢情報（静止、歩行、傾斜小、傾斜中、傾斜大、衝撃的姿勢変化、その他）とを組み合わせて、決定する。
【００７１】
図９は、本実施の形態に係る作業状況記録装置による作業状況記録機能を示すフローチャートである。ここで、映像データおよび加速度データは同じ期間採取され、図２、図６に示した処理が実行され、同じ数の注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)が記録部３に記録されていることとする。
【００７２】
ステップＳ４１において、カウンタｊに“０”を設定する。ｊ＝０は、例えば、処理対象のデータ（映像データ及び加速度データ）の採取の開始時刻に対応する。
【００７３】
ステップＳ４２において、記録部３から注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)を読み出す。
【００７４】
ステップＳ４３において、ステップＳ４２で読み出した注視度Ｕ(ｊ)および姿勢指標Ｖ(ｊ)の組み合わせに応じて、作業行為を表すパラメータＷ(ｊ)を決定し、カウンタｊの値と対応させて記録部３に記録する。例えば、６種類の作業行為（「移動」、「目視点検」、「注視点検・触診」、「屈み込み」、「覗き込み」、「その他」）を判別する場合、次の判定条件に応じて作業行為を判定すればよい。
（１）姿勢情報が「歩行（Ｖ(ｊ)＝２）」状態であり且つ視方向停留状態が「停留なし（Ｕ(ｊ)＝０）」の場合、「移動（Ｗ（ｊ）＝１）」と判定
（２）姿勢情報が「静止（Ｖ(ｊ)＝１）」状態の場合、または、姿勢情報が「歩行（Ｖ(
ｊ)＝２）」であり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」の場合、「目視点検
（Ｗ(ｊ)＝２）」と判定
（３）姿勢情報が「静止（Ｖ(ｊ)＝１）」状態であり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」、「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、または姿勢情報が「歩行（Ｖ(ｊ)＝１）」状態であり且つ視方向停留状態が「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、「注視点検・触診（Ｗ(ｊ)＝３）」と判定
（４）姿勢情報が「傾斜小（Ｖ(ｊ)＝３）」、「傾斜中（Ｖ(ｊ)＝４）」及び「傾斜大（Ｖ(ｊ)＝５）」の何れかの状態であり且つ視方向停留状態が「停留なし（Ｕ(ｊ)＝０）」及び「注視弱（Ｕ(ｊ)＝１）」の何れかの場合、「屈み込み（Ｗ(ｊ)＝４）」と判定
（５）姿勢情報が「傾斜小（Ｖ(ｊ)＝３）」、「傾斜中（Ｖ(ｊ)＝４）」及び「傾斜大（Ｖ(ｊ)＝５）」の何れかであり且つ視方向停留状態が「注視弱（Ｕ(ｊ)＝１）」、「注視中（Ｕ(ｊ)＝２）」及び「注視強（Ｕ(ｊ)＝３）」の何れかである場合、「覗き込み（Ｗ(ｊ)＝５）」と判定
（６）その他の状態を「その他（Ｗ(ｊ)＝０）」と判定
ステップＳ４４において、処理対象のデータが残っているか否かを判断し、処理対象のデータがあると判断した場合、ステップＳ４５に移行してカウンタｊを１増加させて、処理対象のデータがなくなるまで、ステップＳ４２〜４３の処理を繰り返す。
【００７５】
以上の結果、作業行為を表すパラメータＷ(ｊ)を決定することができる。従って、パラメータＷ(ｊ)の値（例えば、０〜５）と、それらに対応する作業行為を表す文字情報などを対応させてテーブルとして記録しておけば、パラメータＷ(ｊ)が決まれば、そのテーブルを参照することで、作業行為を文字情報などで表示することが可能となる。
【００７６】
一例として、図４に示した視方向の停留検出結果及び図８に示した作業姿勢検出結果に対して、上記した（１）〜（６）の判定条件を適用した結果を図１０に示す。図１０は、図４及び図８のうち、時刻が１５：３７：２０〜１５：３９：３１の間に関する結果である。このように、作業者が身に付けた撮像部１と３軸加速度センサ６のみを用いて、作業内容を作業行為の時系列情報として自動的に記録することができる。
【００７７】
上記の視方向の停留検出機能において、ある時刻ｔの注視度Ｕ(ｊ)を判定するために、評価時間幅Ｔ1だけ過去（ｔ−Ｔ1〜ｔ）のデータを使用する場合を説明したが、これに限定されず、時刻ｔを挟んだ評価時間幅Ｔ1（ｔ−Ｔ1＋τ〜ｔ＋τ）のデータを使用してもよい。ここで、τ＜Ｔ1である。評価時点で前後同じ評価時間で判定するには、τ＝Ｔ1／２とすればよい。
【００７８】
また、上記の作業姿勢検出機能における姿勢指標Ｖ(ｊ)の判定に関しても同様に、時刻ｔを挟んだ評価時間幅Ｔ2（ｔ−Ｔ2＋τ〜ｔ＋τ）のデータを使用してもよい。ここで、τ＜Ｔ2である。評価時点で前後同じ評価時間で判定するには、τ＝Ｔ2／２とすればよい。
【００７９】
また、上記した視方向の停留検出機能、作業姿勢検出機能、及び作業状況記録機能では、予め記録部に記録されている映像データ及び加速度データを処理する場合を説明したが、データの採取と並行してリアルタイムに処理を行ってもよい。その場合、例えば、視方向の停留検出機能を示す図２のステップＳ２の処理を、所定数の映像フレームデータを採取する処理とし、作業姿勢検出機能を示す図６のステップＳ２２の処理を、所定数の加速度データを採取する処理とすればよい。尚、上記したように、ある時刻ｔにおける注視度Ｕ(ｊ)又は姿勢指標Ｖ(ｊ)の判定に、ｔ−Ｔ1＋τ〜ｔ＋τの範囲のデータを使用する場
合、ｔ〜ｔ＋τの範囲のデータは時刻ｔにとって未来のデータであるので、処理の遅れを考慮して、あまり大きくないτ（τ＜Ｔ1）を決定することが望ましい。
【００８０】
また、上記の停留検出機能に関して、ステップＳ９において、相関ピーク値の平均値Ｐav(ｋ)、及びピーク位置の平均値Ｒａｖ(ｋ)ｘ、Ｒａｖ(ｋ)ｙを用いて、注視度Ｕ(ｊ)を決定したが、これに限定されない。例えば、ｋ〜ｋ＋Ｎ1−１の区間内の各々の相関ピー
ク値Ｐ(ｋ)及びピーク位置Ｒ(ｋ)ｘ、Ｒ(ｋ)ｙが上記した条件を満たすか否かに応じて、注視度Ｕ(ｊ)を決定してもよい。
【００８１】
また、上記で一例として示した、第１及び第２相関しきい値Ｈ1、Ｈ2、第１及び第２移動許容値Ｄ1、Ｄ2、標準偏差の下限値及び上限値σmin、σmax、回数の下限値及び上限値ｎmin、ｎmax、時間パラメータの下限値及び上限値ｔmin、ｔmaxなどの値は、上記の値に限定されず、適宜設定することができる。
【００８２】
また、上記では注視度を３ランクに、姿勢状態を７種類に、傾斜状態を３ランクに、さらに作業行為を６種類に分類する場合を説明したが、これらに限定されず、これらより多く分類することも、少なく分類することもできる。
【００８３】
例えば、注視度を１ランクとし、相関ピーク値が０．２以上であり且つ移動許容量が１８画素以内である場合に、注視状態（視方向の停留状態）であると判定してもよい。
【００８４】
また、移動許容量は、水平方向、垂直方向で同じ値としたが、異なる値であってもよく、フレーム画像の中心からの距離((Ｒｘ)2＋(Ｒｙ)2)1/2で移動許容量を指定してもよい
。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態に係る作業状況記録装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態に係る作業状況記録装置による視方向の停留情報検出機能を示すフローチャートである。
【図３】フレーム相関値の計算を説明する図である。
【図４】本発明の実施の形態に係る作業状況記録装置による視方向の停留情報検出機能を適用した結果の一例を示す図である。
【図５】図４に示した停留時間中の代表画像の抽出結果を示す図である。
【図６】本身体状態検出装置による歩行状態の検出処理機能を実行した結果の一例を示す図である。
【図７】加速度データの一例を示す図である。
【図８】本発明の実施の形態に係る作業状況記録装置による作業姿勢検出機能を実行した結果の一例を示す図である。
【図９】本発明の実施の形態に係る作業状況記録装置による作業状況記録機能を示すフローチャートである。
【図１０】本発明の実施の形態に係る作業状況記録装置による作業状況記録機能を実行した結果の一例を示す図である。
【符号の説明】
【００８６】
１ 撮像部
２ 第１データ採取部
３ 記録部
４ メモリ部
５ 処理部
６ 加速度センサ
７ 第２データ採取部
【特許請求の範囲】
【請求項１】
身体に装着される撮像手段と、
該撮像手段から出力される映像信号を画像フレームデータとして採取する第１データ採取手段と、
処理手段とを備え、
前記処理手段が、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算し、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定し、
前記注視状態が維持されている視方向停留時間を求め、
前記注視状態に対応する注視度及び前記視方向停留時間を記録することを特徴とする作業状況記録装置。
【請求項２】
前記処理部が、
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求め、
該最大値に対応する画像フレームデータを決定し、
注視状態が維持されている期間の作業内容を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録することを特徴とする請求項１に記載の作業状況記録装置。
【請求項３】
前記身体に装着される３軸加速度センサと、
該３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第２データ採取手段とをさらに備え、
前記処理手段が、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算し、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、
前記身体の姿勢を表す姿勢指標を記録することを特徴とする請求項１又は２に記載の作業状況記録装置。
【請求項４】
前記処理手段が、
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算し、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、
該角度を身体の傾斜角度として、前記姿勢指標を決定することを特徴とする請求項３に記載の作業状況記録装置。
【請求項５】
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、
該作業行為を表す情報を、時刻情報と対応させて記録することを特徴とする請求項４に記載の作業状況記録装置。
【請求項６】
身体に装着される撮像手段から出力される映像信号を画像フレームデータとして採取する第１ステップと、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２ステップと、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３ステップと、
前記注視状態が維持されている視方向停留時間を求める第４ステップと、
前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５ステップとを含むことを特徴とする作業状況記録方法。
【請求項７】
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６ステップと、
該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７ステップとをさらに含むことを特徴とする請求項６に記載の作業状況記録方法。
【請求項８】
前記身体に装着される３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８ステップと、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９ステップと、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０ステップとをさらに含むことを特徴とする請求項６又は７に記載の作業状況記録方法。
【請求項９】
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１ステップと、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２ステップとを含むことを特徴とする請求項８に記載の作業状況記録方法。
【請求項１０】
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３ステップをさらに含むことを特徴とする請求項９に記載の作業状況記録方法。
【請求項１１】
身体に装着される撮像手段と、第１データ採取手段と、処理手段とを備える作業状況記録装置に、
前記第１データ採取手段を用いて、前記撮像手段から出力される映像信号を画像フレームデータとして採取する第１機能と、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２機能と、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３機能と、
前記注視状態が維持されている視方向停留時間を求める第４機能と、
前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５機能と実現させることを特徴とする作業状況記録プログラム。
【請求項１２】
前記作業状況記録装置に、
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６機能と、
該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７機能とをさらに実現させることを特徴とする請求項１１に記載の作業状況記録プログラム。
【請求項１３】
前記身体に装着される３軸加速度センサと、第２データ採取手段とをさらに備える前記
作業状況記録装置に、
前記第２データ採取手段を用いて、前記３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８機能と、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９機能と、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０機能とをさらに実現させることを特徴とする請求項１１又は１２に記載の作業状況記録プログラム。
【請求項１４】
前記作業状況記録装置に、
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１機能と、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２機能とをさらに実現させることを特徴とする請求項１３に記載の作業状況記録プログラム。
【請求項１５】
前記作業状況記録装置に、
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３機能さらに実現させることを特徴とする請求項１４に記載の作業状況記録プログラム。
【請求項１】
身体に装着される撮像手段と、
該撮像手段から出力される映像信号を画像フレームデータとして採取する第１データ採取手段と、
処理手段とを備え、
前記処理手段が、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算し、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定し、
前記注視状態が維持されている視方向停留時間を求め、
前記注視状態に対応する注視度及び前記視方向停留時間を記録することを特徴とする作業状況記録装置。
【請求項２】
前記処理部が、
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求め、
該最大値に対応する画像フレームデータを決定し、
注視状態が維持されている期間の作業内容を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録することを特徴とする請求項１に記載の作業状況記録装置。
【請求項３】
前記身体に装着される３軸加速度センサと、
該３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第２データ採取手段とをさらに備え、
前記処理手段が、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算し、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、
前記身体の姿勢を表す姿勢指標を記録することを特徴とする請求項１又は２に記載の作業状況記録装置。
【請求項４】
前記処理手段が、
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算し、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、
該角度を身体の傾斜角度として、前記姿勢指標を決定することを特徴とする請求項３に記載の作業状況記録装置。
【請求項５】
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、
該作業行為を表す情報を、時刻情報と対応させて記録することを特徴とする請求項４に記載の作業状況記録装置。
【請求項６】
身体に装着される撮像手段から出力される映像信号を画像フレームデータとして採取する第１ステップと、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２ステップと、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３ステップと、
前記注視状態が維持されている視方向停留時間を求める第４ステップと、
前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５ステップとを含むことを特徴とする作業状況記録方法。
【請求項７】
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６ステップと、
該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７ステップとをさらに含むことを特徴とする請求項６に記載の作業状況記録方法。
【請求項８】
前記身体に装着される３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８ステップと、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９ステップと、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０ステップとをさらに含むことを特徴とする請求項６又は７に記載の作業状況記録方法。
【請求項９】
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１ステップと、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２ステップとを含むことを特徴とする請求項８に記載の作業状況記録方法。
【請求項１０】
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３ステップをさらに含むことを特徴とする請求項９に記載の作業状況記録方法。
【請求項１１】
身体に装着される撮像手段と、第１データ採取手段と、処理手段とを備える作業状況記録装置に、
前記第１データ採取手段を用いて、前記撮像手段から出力される映像信号を画像フレームデータとして採取する第１機能と、
第１の期間において、連続して採取された２つの前記画像フレームデータの相関ピーク値及び相関ピーク位置を計算する第２機能と、
前記第１期間における前記相関ピーク値及び前記相関ピーク位置に応じて、注視状態を判定する第３機能と、
前記注視状態が維持されている視方向停留時間を求める第４機能と、
前記注視状態に対応する注視度及び前記視方向停留時間を記録する第５機能と実現させることを特徴とする作業状況記録プログラム。
【請求項１２】
前記作業状況記録装置に、
前記注視状態が維持されている期間に対応する前記相関ピーク値の最大値を求める第６機能と、
該最大値に対応する画像フレームデータを決定し、注視状態が維持されている期間を代表する画像情報として該画像フレームデータ、若しくは該画像フレームデータを特定する情報を記録する第７機能とをさらに実現させることを特徴とする請求項１１に記載の作業状況記録プログラム。
【請求項１３】
前記身体に装着される３軸加速度センサと、第２データ採取手段とをさらに備える前記
作業状況記録装置に、
前記第２データ採取手段を用いて、前記３軸加速度センサから出力される加速度ベクトルデータを所定のサンプリング間隔で採取する第８機能と、
連続して採取された所定数の前記加速度ベクトルデータに関して、各々の加速度ベクトルの絶対値、これら絶対値の平均値、及び標準偏差を計算する第９機能と、
前記標準偏差、前記絶対値が前記平均値を超える回数、及び前記絶対値が前記平均値を超えている時間の総和に応じて、前記身体の姿勢を判定し、該姿勢を表す姿勢指標を記録する第１０機能とをさらに実現させることを特徴とする請求項１１又は１２に記載の作業状況記録プログラム。
【請求項１４】
前記作業状況記録装置に、
前記所定数の前記加速度ベクトルデータの平均加速度ベクトルを計算する第１１機能と、
重力加速度方向に対する前記平均加速度ベクトルの角度を計算し、該角度を身体の傾斜角度として、前記姿勢指標を決定する第１２機能とをさらに実現させることを特徴とする請求項１３に記載の作業状況記録プログラム。
【請求項１５】
前記作業状況記録装置に、
前記注視度及び前記姿勢指標に応じて、作業状況を表す作業行為を決定し、該作業行為を表す情報を、時刻情報と対応させて記録する第１３機能さらに実現させることを特徴とする請求項１４に記載の作業状況記録プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１５７４６３（Ｐ２００６−１５７４６３Ａ）
【公開日】平成１８年６月１５日（２００６．６．１５）
【国際特許分類】
【出願番号】特願２００４−３４４９９８（Ｐ２００４−３４４９９８）
【出願日】平成１６年１１月２９日（２００４．１１．２９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度経済産業省石油精製業保安対策委託費（石油プラント保守・点検作業支援システムの開発）「ウェアラブルセンサ情報の理解・解析手法の開発」委託研究、産業活力再生特別措置法第３０条の適用をを受けるもの
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成１８年６月１５日（２００６．６．１５）
【国際特許分類】
【出願日】平成１６年１１月２９日（２００４．１１．２９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度経済産業省石油精製業保安対策委託費（石油プラント保守・点検作業支援システムの開発）「ウェアラブルセンサ情報の理解・解析手法の開発」委託研究、産業活力再生特別措置法第３０条の適用をを受けるもの
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]