説明

動態認識装置、動態認識システムおよび動態認識方法

【課題】認識する動態項目が増加した場合でも認識精度の低下を生じることなく、かつ計算負荷を増大させることなく動態認識を可能にする。
【解決手段】動態認識装置1は、認識すべき被験体の動態を検知する動態検知部13と、認識すべき被験体の動態項目を予め絞り込む推定処理部11と、推定処理部11により絞り込まれた動態項目に基づき、認識方法および辞書を認識方法・辞書DB21を参照することにより選択する選択処理部12と、選択処理部12により選択された認識方法と辞書を用いて動態認識を行う認識処理部14とを備える。認識処理部14は、動態検知部13で検知した情報を、推定処理部11で絞り込んだ動態項目のみについて動態認識処理を行うことを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動態認識装置、動態認識システムおよび動態認識方法に関するものである。
【背景技術】
【0002】
被験体の動態をセンサにより計測して自動認識する方法が知られている(例えば、特許文献1参照)。
ここで、「被験体」とは、人間もしくは動物または機械等の状態が変化する物体をいい、「動態」とは、前記した物体が動いている状態、変化している状態をいう。
【0003】
特許文献1に開示された技術によれば、例えば、図19に示されるように、被験体としての被験者9の腰もしくは腕等、体の中で特徴的な動きをする部位に動態センサ81を装着する。そして、動態認識装置8に設けられた認識処理部82は、動態センサ81から体に加わる加速度情報を取得し、この加速度情報を用いて辞書データベース(DB:Data Base)83を参照し、予め固定された認識方法に基づき被験者9の動作もしくは行動を認識する。
【0004】
ここで、認識処理部82は、例えば、周波数解析による認識方法を用い、認識する被験者9の動態項目(例えば、歩行)に対応した周波数特性を登録している辞書DB83を参照しながら被験者9の動態を認識する。ここで認識した結果は、認識結果出力部84を介して外部に出力される。
【特許文献1】特開平10−113343号公報(段落「0028」、第1図)
【発明の開示】
【発明が解決しようとする課題】
【0005】
前記した特許文献1に開示された技術を、「歩行」動作のみを動態項目として認識する応用分野に適用すれば、実用上、十分な精度で動態認識を行うことができる。
しかしながら、認識する動態項目を「歩行」動作以外に増加した場合、類似した動態が多く存在し、その動態間に辞書としてデータベース登録する特徴量の差異が少なくなり、その結果、認識精度が低下する場合が生じる。
【0006】
この場合、認識精度を高めるために認識アルゴリズムを改善することも考えられるが、特徴量が似通った動態項目を認識するために高度な認識手法が必要になり、計算量の増加を生じることとなる。仮に、被験者9の行動の全てを認識対象とすれば、認識の対象となる動態項目が過大となり、辞書が膨大になるとともに、特徴量の差異が小さい場合に前記した認識精度の低下および認識アルゴリズムの複雑化を招く。
【0007】
このような背景に鑑みて本発明はなされたのであり、本発明は、認識する動態項目が増加した場合でも、類似した動態による認識精度の低下を防ぐことができる、動態認識装置、動態認識システムおよび動態認識方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記した課題を解決するため、本発明の動態認識装置、動態認識システムおよび動態認識方法は、認識処理を行う前に認識すべき動態項目を絞り込み、絞り込まれた動態項目に基づき、動態を認識するための辞書および認識方法を選択し、動態認識を行うことを特徴とする。
【発明の効果】
【0009】
本発明によれば、認識する動態項目が増加した場合でも、類似した動態による認識精度の低下を防ぐことができる、動態認識装置、動態認識システムおよび動態認識方法を提供することができる。
【発明を実施するための最良の形態】
【0010】
次に、本発明を実施するための最良の形態(「実施形態」という)について、適宜図面を参照しながら詳細に説明する。
【0011】
(実施形態1)
図1は、本実施形態1に係る動態認識装置の構成例を示す機能ブロック図である。
図1に示すように、本実施形態1に係る動態認識装置1(1a)は、制御部10と、記憶部20と、入力部30と、出力部40とを備えて構成される。
【0012】
制御部10は、認識すべき動態項目を絞り込み、その絞り込んだ動態項目に基づき、動態を認識するための辞書および認識方法を選択し動態認識を行う。この制御部10は、推定処理部11(11a)と、選択処理部12と、動態検知部13と、認識処理部14と、認識結果出力部15とを備えて構成される。
なお、この制御部10の機能は、例えば動態認識装置1の記憶部20に記憶されたプログラムをCPU(Central Processing Unit)がRAM(Random Access Memory)に展開し実行することで実現される。
【0013】
推定処理部11(11a)は、認識すべき動態項目を予め絞り込んで選択処理部12へ引き渡す。本実施形態1に係る動態認識装置1(1a)においては、後記する入力部30を介して、認識すべき動態項目の絞り込みが作業管理者により行われるものであり、その絞り込まれた動態項目の情報を取得する。
【0014】
選択処理部12は、推定処理部11(11a)により絞り込まれた動態項目に基づき、記憶部20に記憶された認識方法・辞書DB21から、参照する辞書と認識処理部14により実行される認識方法とを選択して認識処理部14へ引き渡す。なお、ここで「動態項目」とは、例えば、作業内容が「搬入」の場合、「歩行」や「物の出し入れ」等、作業内容を特徴付ける被験者の行動の要素をいう(後記する図10参照)。また、ここで認識される認識方法は、一つに限られず、複数の認識方法を組み合わせて選択することも可能である。
【0015】
動態検知部13は、動態の認識対象となる被験者(ここでは作業者)の腕や腰等、任意の部位に装着された動態センサ(不図示)と、有線、もしくは無線により接続され、その動態センサが検知した情報を取得する。動態センサは、加速度センサに限らず、例えば、角速度センサ、位置センサ、変位センサ等体の動きによる物理的変化量を測定できるセンサであればいずれを使用してもよい。また、この動態センサにメモリを内蔵させることにより、動態検知部13は、メモリに記憶した情報を入力部30から取得するようにすることも可能である。
なお、ここでは、内部に実装された錘にかかる力を、X、Y,Z方向の歪みセンサなどを用いて検知し、歪み値より加速度量を求める3軸加速度センサを公知技術として用いるものとして説明する。
【0016】
認識処理部14は、選択処理部12で選択された動態項目に対応した辞書および認識手法に従い、動態検知部13で検知された被験者の動態に関する加速度情報から動態認識処理を実行し、認識された情報を認識結果出力部15へ出力する。
【0017】
認識結果出力部15は、認識処理部14による動態認識処理の結果として出力される認識動態項目に関する情報を出力部40に受け渡す制御を行う。
【0018】
次に、記憶部20は、ハードディスクやフラッシュメモリ等の記憶手段からなり、認識方法・辞書DB21が記憶される。
認識方法・辞書DB21には、動態センサから取得した情報についての認識方法と、その認識方法に対応して参照される各動態項目の特徴を示す情報とが辞書として登録される。本実施形態1においては、例えば、周波数解析、パターンマッチング、加速度分散、傾斜角算出等の加速度データの認識方法と、その認識方法に対応して参照される各動態項目の特徴を示す情報とが記憶される(後記する図3、図5参照)。
【0019】
入力部30は、キーボードやタッチパネル、メモリカード読み取り装置等からなり、外部からの情報が入力される。
また、出力部40は、動態認識の処理結果を表示する液晶モニタ等の画像装置や、処理結果を外部記憶メディアに情報として出力するためのドライブ装置等からなる。
【0020】
次に、図1を参照しつつ、図2から図7に沿って、本実施形態1に係る動態認識装置1の処理を説明する。
【0021】
図2は、本実施形態1に係る動態認識装置の認識処理部による認識処理の流れを示すフローチャートである。
ここでは、動態検知部13が取得する情報として、3軸加速度センサを被験者の右腕に装着し、右手の加速度変化から被験者の動態を、認識方法の一つである周波数解析(FFT:Fast Fourier Transform)により認識することを想定する。
【0022】
図2に示すように、認識処理部14は、まず、動態検知部13により収集される加速度データを、予め決められた窓幅区間(例えば、現在を起点に、過去に所定時間遡った周波数変換の処理単位)で時系列に取得する(ステップS201)。
次に、認識処理部14は、FFTを用い、取得した加速度データを時系列から周波数分布データに変換する(ステップS202)。続いて、認識処理部14は、変換した周波数分布データの中におけるピーク周波数を抽出する(ステップS203)。これが、ステップS201で取得した加速度データの時系列の特徴量になる。
【0023】
そして、認識処理部14は、抽出されたピーク周波数の出現確率が最も高い動態項目を認識方法・辞書DB21を用いて検索する(ステップS204)。そして、認識処理部14は、検索した動態項目を認識結果として認識結果出力部15に出力する(ステップS205)。
【0024】
図3は、本実施形態1に係る認識方法・辞書DBのデータ構造の一例を示す図である。図3(a)(b)において、横軸が周波数であり、縦軸が出現確率である。ここでは、動態項目ごとに出現確率の周波数特徴が異なり、符号30が動態項目「歩行」を行う場合の出現確率、符号31が動態項目「ねじの締め付け」を行う場合の出現確率、符号32が動態項目「グラインダ研磨」を行う場合の出現確率をそれぞれ示している。
【0025】
図3(a)において、図2のステップS203のピーク周波数抽出処理で抽出されたピーク周波数が、符号33で示す位置であれば、動態項目「歩行」の確率は符号34で示す値、「ねじの締め付け」の確率は符号35で示す値となる。ここで動態項目として確率が高いのは「歩行」であるが、符号34および35で示す周波数は接近しており、ピーク周波数が少しでも高くなれば、動態項目として、「ねじの締め付け」の確率が高くなる。
【0026】
これが従来の動態認識装置の問題点であり、特徴量が類似した動態がある場合、認識結果が不安定になり、認識精度が低下する原因となる。このため、本実施形態1に係る動態認識装置1では、認識の対象となる動態項目を絞り込み、類似した特徴量を有する動態項目を動態認識処理前に取り除くこととした。
【0027】
例えば、被験者である作業者がこれから行う作業が分かっており、「ねじの締め付け」作業がない場合、「ねじの締め付け」は、動態の認識項目から省いてもよいことになる。
図3(b)に、「ねじの締め付け」を認識被験体となる動態項目(被験者の動態項目)から取り除いた場合に使用される辞書の参照例が示されている。
【0028】
本実施形態1に係る動態認識装置1によれば、符号40で示されるように、「歩行」と「ねじの締め付け」の曖昧な部分がなくなるため、動態項目が高い確率で「歩行」であると認識することができるようになる。なお、前記した認識の対象となる動態項目の絞り込みは、選択処理部12が推定処理部11により入力される絞込み情報により行う。詳細は後記する。
【0029】
図4は、本実施形態1に係る動態認識装置の認識処理部による他の認識処理の流れを示すフローチャートである。図2では、認識処理部14がFFTにより動態認識を行うものとして説明したが、この図4においては、認識処理部14がパターンマッチングにより動態認識を行うものとして説明する。
【0030】
認識処理部14は、まず、動態検知部13から取得される加速度データを予め決められた窓幅区間で取得する(ステップS401)。ここで取得した時系列加速度データをI(n)とする。nは窓幅区間で取得した加速度データ数であり、加速度センサが1軸の場合は要素数nのベクトルとして表される。
【0031】
次に、認識処理部14は、加速度の時系列パターンと、認識方法・辞書DB12に登録されているパターン(「辞書パターン」とする)との類似度(ベクトルの距離)を算出する(ステップS402)。簡単のために、辞書パターンと、取得した加速度データとが同じ要素数Pi(n)を持つとすれば、ベクトルの距離Diは以下の式(1)で示される。
【0032】
Di=|I(n)−Pi(n)| … 式(1)
(但し、iは辞書のシリアル番号)
【0033】
続いて、認識処理部14は、最も距離の短い辞書パターン(動態項目)を以下の式(2)の計算を実行することにより探索する(ステップS403)。
【0034】
W(I(n))=minDi=min|I(n)−Pi(n)| … 式(2)
【0035】
ここで、W(I(n))が最短の辞書パターンとの距離であり、最短になった辞書パターンの動態項目が認識結果として出力される(ステップS404)。
【0036】
図5は、本実施形態1に係る認識処理部によるパターンマッチングの処理結果を示す図である。図5(a)(b)に示すように、辞書パターンと取得した加速度データとのベクトルの距離の関係が示されている。いずれも横軸がベクトルの距離であり、縦軸が前記した式(2)を実行することにより探索される動態項目である。
【0037】
図5(a)に示す例では、ベクトルの距離が一番少ない、符号52で示される「ジャッキ操作」が式(2)を実行することにより探索される動態項目となる。一方、符号51で示される「スパナによるねじ締め」も距離差が少ない。従って、符号51と符号52で示される動態項目の判定が不安定になる可能性がある。このような場合でも、被験者である作業者がこれから行う作業が分かっていれば、「スパナによるねじ締め」を認識すべき動態項目から取り除くことにより、認識処理部14は、図5(b)に示すように、動態項目を安定的に「ジャッキ操作」と認識することが可能になる。
【0038】
なお、前記した説明では、説明の簡素化のために、辞書パターンと取得した加速度データの要素数が同じであることを前提として式(1)(2)を例示したが、要素数が異なるDP(Dynamic Programming)マッチング(動的計画法)やDPマッチングを高度化した隠れマルコフモデルを使用しても同様に動態認識が可能である。
【0039】
図6は、本実施形態1に係る動態認識装置の全体動作を示すフローチャートである。
以下、図6のフローチャートを参照しながら、図1に示す本実施形態1に係る動態認識装置1(1a)の動作について詳細に説明する。
【0040】
まず、例えば、作業管理者により、入力部30を介して推定処理部11(11a)に絞込み情報である動態項目が入力される(ステップS601)。そして、推定処理部11(11a)は、この絞込み情報を選択処理部12へ引き渡す。
ここで、作業管理者は、被験者である作業者がおかれている状況を判断し、例えば、キーボードで構成される入力部30を操作することにより認識する動態項目を手入力する。また、後記する工程管理システムやスケジュール管理システムと協働して現在日時からスケジュール情報を入力することもできる。具体的には、図3(b)に示す辞書構造を例示すれば、被験者である作業者が「歩行」と「グラインダ研磨」の2種類の動態項目しか行わないのであれば、動態項目を、「歩行」、「グラインダ研磨」と入力する。または、「ねじの締め付け」作業を行わないのであれば、登録してある動態項目の中から「ねじの締め付け」は行わないとして認識する項目から除外することを絞込み情報として入力する。
【0041】
次に、選択処理部12は、推定処理部11(11a)により入力された絞込み情報に基づき認識方法および辞書の選択を行う(ステップS602)。例えば、図3(b)に示されるように、「ねじの締め付け」作業を行わないと入力された場合、「ねじの締め付け」に必要な辞書を参照せず、「歩行」、「グラインダ研磨」に必要な辞書群を用いて認識処理を行うように辞書選択の設定を行う。
【0042】
さらに、この絞込み情報の設定により、例えば、図5(a)に示した、「ドライバによるねじ回し」、「スパナによるねじ締め」、「ジャッキ操作」、「執筆作業」の各動態項目のパターンマッチングによる認識処理が不要な場合は、その認識処理を行わず、前記したFFTによる認識処理のみを行うことも可能である。この場合、パターンマッチングによる認識処理を行ったために発生する誤認識をなくすることができるとともに計算処理にかかる負荷低減がはかれる。
【0043】
そして選択処理部12による認識方法および辞書選択が終了すると、認識処理部14は、認識方法・辞書DB21から該当する認識方法および辞書を取得するとともに、動態検知部13から加速度データの収集を開始する(ステップS603)。そして、認識処理部14は、収集したデータ数が計算を行う窓幅に達したら、選択した認識方法と辞書を用いて動態認識を実行する(ステップS604)。
【0044】
なお、ここでは、辞書選択のみ例示したが、認識方法についても同様に、推定処理部11(11a)により入力される絞込み情報により必要な認識方法(複数の認識方法による処理手順)を選択するものとする。このようにすることで、図3(a)(b)に示したFFTによる方法、図5(a)(b)に示したパターンマッチングによる方法、さらには、加速度分散や主成分解析等を用いた認識方法、あるいはその組み合わせを用いて、動態認識を実行することができる。
【0045】
続いて認識処理部14は動態認識結果を認識結果出力部15に引き渡す。そして、認識結果出力部15の制御により、出力部40の液晶モニタ等に認識結果を出力する(ステップS605)。
【0046】
認識処理部14は、認識結果を出力した後、作業者の認識すべき動態項目を変更する必要があるか否かを判断する(ステップS606)。次に取得する加速度データにおいて、時間経過に伴い動態内容が変化し選択された以外の動態項目が出現する可能性があるからである。動態項目を変更する必要があれば(ステップS606→Yes)、再度、ステップS601に戻り、絞込み情報の入力処理を続ける。一方、変更する必要がなければ(ステップS606→No)、認識処理部14は、ステップS603の加速度データの収集処理に戻り、加速度データの再取得を繰り返す。
【0047】
次に、図6のステップS605において、動態認識装置1(1a)の認識結果出力部15が出力部40に表示する認識結果について説明する。
図7は、本実施形態1に係る認識結果出力部により出力される認識結果の一例を示す図である。図7(a)は、図3(a)に対応して動態項目を絞り込む入力を行わなかった例である。図7(b)は、図3(b)に対応して動態項目を絞り込む入力を行った例である。いずれの図も、横軸が経過時間、縦軸が動態項目を示し、各動態項目において黒塗りされた部位が認識された部分である。
【0048】
図7(a)において、符号75で示す部分は、図3(a)で示したように「歩行」と「ねじの締め付け」の辞書(周波数)が接近しているために、加速度データの僅かな測定結果の変動により認識結果が異なり、動態認識が不連続で不安定となる。このため認識精度の低下が生じている。
これに対し、図7(b)では、絞込み情報の入力により、「ねじの締め付け」が認識する動態項目から除外されているため、符号76で示される部分は、安定して認識結果が出力されるようになる。
【0049】
このようにすることで、本実施形態1に係る動態認識装置1(1a)によれば、絞り込みにより認識する動態項目を低減することにより、認識精度が向上する。さらに、不要な認識処理を行わずに済むため、計算負荷を低減することができる。
【0050】
(実施形態2)
図8は、本実施形態2に係る動態認識システムの構成を示す機能ブロック図である。
図8に示すように、本実施形態2に係る動態認識システム100は、動態認識装置1(1b)と工程管理装置60とを備えて構成される。
【0051】
本実施形態2に係る動態認識装置1(1b)において、図1に示した実施形態1に係る動態認識装置1(1a)との差異は、推定処理部11(11b)において、認識すべき動態項目の絞込み情報の入力を手動によらず、工程管理装置60から取得する作業指示情報に基づいて動態項目の絞り込みを行うことにある。
【0052】
工程管理装置60は、製品の製造工程を時系列に記憶する作業指示情報DB(スケジュール情報DB)62と、この作業指示情報DB62に記憶される作業指示情報について登録・更新等の管理を行う工程管理部61と、動態認識装置1(1b)とのデータ通信を行う通信部63とを備える。この作業指示情報は、日、あるいは時間ごとに出力される作業工程の種類(作業内容)を示す情報である(後記する図9参照)。
【0053】
動態認識装置1(1b)は、図1の実施形態1に係る動態認識装置1(1a)の構成に加え、記憶部20内に対応DB(スケジュール対応DB)22(22b)を備える。
この対応DB22(22b)には、工程管理装置60から取得する作業指示情報に含まれる作業内容と動態項目との対応関係が記憶される(後記する図10参照)。
【0054】
工程管理装置60が、作業指示情報DB62において管理する作業指示情報の一例を図9に示す。
図9は、本実施形態2に係る作業指示情報DBに記憶される作業指示情報のデータ構造の一例を示す図である。
【0055】
工程管理装置60の工程管理部61は、図9に示すように、符号90で示される作業者A、符号91で示される作業者Bの作業計画を時系列で管理している。
例えば作業者Aの場合、1日は、符号92で示す仮組み作業、2〜3日は、符号93で示す溶接作業、4〜5日は、符号94で示す塗装作業のように、作業指示情報DB62に作業予定が時系列で登録されている。なお、ここでは、作業者の作業予定になっているが、製作物ごとに製作種類を管理する場合もある。
【0056】
作業指示情報は、日単位あるいは時間単位で出力される。例えば、作業者Aの4日の作業指示は「塗装」作業になる。推定処理部11(11b)は、工程管理装置60の通信部63を介して取得する作業指示情報に基づき対応DB22(22b)を参照し、作業者Aがこれから行う可能性がある動態項目を推定して選択処理部12に引き渡す。
【0057】
図10は、本実施形態2に係る対応DBのデータ構造の一例を示す図である。
図10に示すように、対応DB22(22b)には、作業指示情報に示される作業内容と、その作業内容を行うための動態項目(作業要素)の対応情報が記憶されている。例えば、作業指示情報が搬入作業を示していれば、「歩行」と「物の上げ下ろし」の2項目の動態項目を示す。また、仮組みを示していれば、「歩行」、「物の上げ下ろし」、「位置合わせ」、「ねじの締め付け」、「クレーン操作」を行うことを示している。推定処理部11(11b)は、作業指示情報が示す作業内容に基づき、対応DB22(22b)を参照することにより、動態項目の推定を行い、選択処理部12に引き渡す。
【0058】
例えば、図9の作業者A90の4日の作業の場合、塗装作業であるため、動態項目としては、「歩行」、「塗料調合」、「スプレー操作」となり動態項目の絞り込みが行われる。続いて、実施形態1と同様、図6のフローチャートで示すステップS602以降の処理が実行され、選択処理部12による認識方法および辞書選択処理、認識処理部14により絞り込まれた動態項目に対する認識処理が行われる。
【0059】
図11は、本実施形態2に係る認識処理部により認識された動態項目の認識結果出力部による出力例を示す図である。
図11には、符号110で示される作業者Aと、符号111で示される作業者Bの4日の午前中の作業を認識した例を示している。
【0060】
図11によれば、作業者A110の4日の作業は塗装作業になっており、符号115で示される塗装作業に関連した動態項目である「歩行」、「塗装調合」、「スプレー操作」だけが認識結果出力部15から出力されていることがわかる。同様に、作業者B111も、作業者Bが行う予定の溶接作業に関連した符号116で示す動態項目である「歩行」、「グラインダ研磨」、「溶接」、「パフ作業」だけが出力されていることがわかる。
【0061】
なお、図11に示す認識例では、符号112で示す作業開始以前の認識結果、および符号113と114の間で示される昼休み中の時間が出力されていない。これは、作業時間以外では想定している動態以外の動態項目を作業者が行うことになるため、認識時間に制限を設け、認識処理を行ったためである。
作業時間以外の動態を認識したい場合、動態認識装置1(1b)は、作業開始前、もしくは昼休み中に行う可能性のある動態項目を対応DB22(22b)に登録し、作業内容が切り替わる所定の時間ごとに、推定処理部11(11b)および選択処理部12の処理により、認識すべき動態項目を切り替えればよい。
【0062】
このようにすることで、本実施形態2に係る動態認識システム100によれば、動態認識装置1(1b)は、工程管理装置60から時系列に作業内容を予定する作業指示情報を取得して、対応DB22(22b)に基づき認識すべき動態項目を予め絞り込んだ上で認識処理を行うことができ、認識精度を向上させることができる。さらに、時系列に予定される作業内容を工程管理装置60から取得することで、動態認識装置1(1b)は、所定時刻において最適な認識方法および辞書を選択処理部12において切り替えて選択し、認識処理を行うことができる。
また、本実施形態2に係る動態認識システム100によれば、認識開始前の手入力による動態項目の絞り込み操作が不要となり、認識処理を行うための作業量を低減することができる。
なお、本実施形態2においては、動態認識装置1(1b)と工程管理装置60とを分け、動態認識システム100とする構成として説明したが、工程管理装置60が備える工程管理部61と作業指示情報DB62とを、動態認識装置1(1b)の構成に組み込んだ上で、一つの動態認識装置としてもよい。この場合においても、本実施形態2と同様の作用効果が得られるものである。
【0063】
また、本実施形態2に係る動態認識システム100では、スケジュール情報として、工程管理装置60により出力される作業指示情報を例示したが、時系列に人や物の行動予定や動き等を管理するスケジュール管理システム等を利用する場合にも同様の構成で実現することができる。
【0064】
例えば、オフィスの作業であるか、出張、外出時での作業であるかを示すスケジューラを用いても動態項目の絞り込みが可能になる。また、自宅に在宅中か外出中か、また、外出先での行動(スポーツジムや山登り)をスケジューラから取得し動態項目の絞り込みが可能になる。また、時刻表等のように自分とは無関係に決められたスケジュール情報を利用することにより、電車内での行動であるか、電車から降りた駅構内での行動であるかを判定して動態項目の絞り込みを行うこともできる。
【0065】
また、スケジュール管理システム以外に、生活パターンのように、習慣化しているパターン情報を用いて動態項目を絞り込むことも可能である。
例えば、起床・就寝時間、食事にかかる時間のパターン情報を利用し、睡眠中に起こる動態(寝返り、呼吸の様子)、食事中の動態等により絞り込んで認識精度を向上させることが可能である。睡眠中の時間であれば、呼吸や寝返りの動態認識を行う認識アルゴリズムを用いて寝返りや呼吸(例えば、無呼吸症候群のパターン認識等)を行い、食事中であれば、食事中の箸の動かし方を認識するアルゴリズムの切り替えにより、正確な食事時間を認識することが可能になる。
【0066】
(実施形態3)
図12は、本実施形態3に係る動態認識システムの構成を示す機能ブロック図である。図12に示すように、本実施形態3に係る動態認識システム200は、動態認識装置1(1c)と位置検知装置70とを備えて構成される。
【0067】
本実施形態3に係る動態認識装置1(1c)において、図1に示した実施形態1に係る動態認識装置1(1a)との差異は、推定処理部11(11c)において、認識すべき動態項目の絞込み情報の入力を手動によらず、位置検知装置70から取得する被験者の位置情報に基づいて動態項目の絞り込みを行うことにある。
【0068】
位置検知装置70は、例えば、GPS(Global Positioning System)に代表される地球上の絶対位置を検知できる装置や、発信機の電波を複数の受信機で受信し、電波の到達時間や電界強度等を利用して位置を検知する位置測位システム、もしくは発信機により発信される電波を受信して発信機からの距離を推定する測距システム等で構成される。
また、位置検知装置70は、作業者に装着された発信機等の電波を受信して位置情報を検知する位置検知部71と、位置検知部71が検知した位置情報を動態認識装置1(1c)に送信する通信部72とを含んで構成される。
【0069】
動態認識装置1(1c)は、図1の本実施形態1に係る動態認識装置1(1a)の構成に加え、記憶部20内に対応DB(位置対応DB)22(22c)を備える。
この対応DB22(22c)には、位置検知装置70から取得する位置情報とその位置に対応する装置における作業内容が記憶される(後記する図14参照)。
【0070】
図13は、本実施形態3に係る位置検知装置を用いて位置情報を取得する一例を示す図である。図13では、発信機からの電波を利用してその位置情報を取得する。
【0071】
図13において、符号121〜124は、ビーコンからの電波を受信するための受信装置であり、符号125、126は、符号141で示す作業者、符号142で示す作業者のそれぞれに装着されたビーコンである。また、符号143は製作中の装置A、符号144は製作中の装置Bである。ここでは、建屋の中を6個の区画に分割して示してあり、それぞれの区画を符号131〜136で示している。
【0072】
図14は、本実施形態3に係る対応DBのデータ構造の一例を示す図である。
対応DB22(22c)には、図14(a)に示すように、建屋内に設置された装置の種類と装置が置かれた区画(位置情報)との対応関係を示す情報が記憶される。また、図14(b)に示すように、設置された装置の種類と、装置を製作するための作業内容との対応関係がデータとして記憶されている。ここでは、例えば、装置Aを製作するために、「搬入」、「仮組み」、「ボルト組み立て」、「結線作業」、「塗装」の作業を行うことを示している。
また、対応DB22(22c)には、図14に示すデータに加えて、実施形態2で説明した図10に示される作業内容と動態項目との対応関係も記憶されている。
【0073】
位置検知装置70は、作業者141,142に装着されたそれぞれのビーコン125,126から発せられる電波を受信装置121〜124で受信することにより距離を測定し、作業者141,142がどの区画にいるかを検知することができる。
推定処理部11(11c)は、位置検知装置70から取得する作業者の位置情報に基づき対応DB22(22c)を参照することにより認識被験体とする動態項目を絞り込む。
【0074】
すなわち、位置検知装置70により作業者141が区画133にいることが測位された場合、推定処理部11(11c)は、図14(a)に示される対応DB22(22c)を参照することにより、区画133には、装置Aが設置されていることがわかる。従って、この場合、作業者141は、装置Aの近くで作業を行っていることになる。
【0075】
続いて、推定処理部11(11c)は、図14(b)に示される対応DB22(22c)を参照することにより、装置Aから作業内容を推定することが可能になり、ここで推定された作業内容から、更に図10に示される動態項目を参照することで認識被験体とする動態項目を推定し、選択処理部12に引き渡すことができる。続いて、実施形態1と同様に、図6のフローチャートで示すステップS602以降の処理が実行され、選択処理部12による認識方法および辞書選択処理、認識処理部14により絞り込まれた動態項目に対する認識処理が行われる。
【0076】
また、位置検知装置70として、図15に示す位置センサを利用することも可能である。
図15は、本実施形態3に係る位置検知装置を用いて位置情報を取得する他の例を示す図である。図15において、符号151,152は、位置(距離)センサであり、例えば、符号151が発信機、符号152が受信機とすれば、発信機151により発信された電波を受信機152により受信し、測定した電界強度に基づき、発信機151からの距離(符号154)を推定することができる。
ここに示す例ではフライス盤150に発信機151を取り付けた例を示しており、受信機152で受信した電波の電界強度が強ければ、符号153で示す作業者はフライス盤150の近くにいることになる。そして、動態認識装置1(1c)は、フライス盤150を使って行う作業に対応した動態項目を絞り込んで認識を行うことができる。
【0077】
このようにすることで、本実施形態3に係る動態認識システム200によれば、動態認識装置1(1c)は、位置検知装置70からの被験者の位置情報を取得して、対応DB22(22c)に基づき認識すべき動態項目を予め絞り込んだ上で認識処理を行うことができ、認識制度を向上させることができる。
また、位置検知装置70の出力結果を利用して動態項目を推定することができるため、認識開始前の手入力による動態項目の絞り込み操作が不要となり、認識処理を行うための作業量を低減することができる。
なお、本実施形態3においては、動態認識装置1(1c)と位置検知装置70とを分け、動態認識システム200とする構成として説明したが、位置検知装置70が備える位置検知部71を、動態認識装置1(1c)の構成に組み込んだ上で、一つの動態認識装置としてもよい。この場合においても、本実施形態3と同様の作用効果が得られるものである。
【0078】
また、本実施形態3に係る動態認識システム200によれば、製造現場にある装置の位置に基づき動態項目の絞り込みを行っているが、場所や装置特有の動態項目の絞り込みを行ってもよい。例えば、車両に位置センサを取り付け、作業者が搭乗していることが認識できれば、車両を操作する動態項目に絞り込むことができ、GPS等により位置を検知することで遊園地にいることがわかれば、遊園地の乗り物ごとの人の動態に絞り込み、どのような乗り物に搭乗したかを認識することも可能になる。
【0079】
なお、前記した実施形態2では、工程管理(スケジューラ)を用いた認識被験体動態の絞り込みを、本実施形態3では、位置情報を用いた認識被験体動態の絞り込みの例を説明したが、スケジューラおよび位置情報の両方を用いて認識被験体となる動態項目を絞り込んでもよい。この場合、認識すべき動態項目の更なる絞り込みが可能になり、認識処理部14による認識精度がさらに向上し、計算負荷の低減もはかることができる。
【0080】
(実施形態4)
図16は、本実施形態4に係る動態認識システムの構成を示す機能ブロック図である。
図16に示すように、本実施形態4に係る動態認識システム300は、動態認識装置1(1d)と工程管理装置60とを備えて構成される。
【0081】
本実施形態4に係る動態認識装置1(1d)において、図8に示した実施形態2に係る動態認識装置1(1b)との差異は、工程管理装置60により出力される作業指示情報が、1個の作業単位ではなく、複数の作業単位(例えば、1日に行う複数の作業内容)として指示されることである。作業指示情報により、複数の作業内容が指示された場合、各作業の区切り時刻は明確ではない。従って、動態項目の絞り込みを行うために、各作業の区切り時刻を検出した上で認識処理を行う。
【0082】
動態認識装置1(1d)は、動態項目の絞り込みを行うために、まず、作業の区切り時刻の検出を行い、検出後に各作業による絞り込み処理を行う構成とした。このため、実施形態2に係る動態認識装置1(1b)が有する構成に、記憶部20内に特徴DB23と、制御部10内に区切り認識処理部16とを加えた構成とする。
【0083】
特徴DB23には、各作業の特徴的な動態項目が登録されている。具体的には、作業内容が研磨作業であれば、研磨作業を代表する特徴的な動態であるグラインダ研磨が登録される。
区切り認識処理部16は、特徴DB23に登録された特徴的な動態項目と、作業内容を時系列に予定するスケジュール情報とを用いて、連続する作業単位の区切りを検出する機能を有する。詳細は後記する。
【0084】
図17は、本実施形態4に係る動態認識システムの動作を示すフローチャートである。また、図18は、本実施形態4に係る作業内容が示された動作概念図である。図18は、縦軸が動態項目、横軸が経過時間で工程管理される作業内容を示している。
以下、図16、図18を参照しながら、図17に示す本実施形態4に係る動態認識システム300の動作について詳細に説明する。
【0085】
図17のフローチャートにおいて、推定処理部11(11d)は、工程管理装置60から、複数作業の作業指示情報に含まれる作業項目を取得する(ステップS171)。
ここで取得される作業項目は、例えば、今日、これから1日で行う、図18に符号180で示される開梱作業、符号181で示される研磨作業、符号182で示される溶接作業、符号183で示される製品移動等である。ここでは、各作業の作業順は決まっているが、符号196,197,198,199で示される各作業の区切り時刻は決まっていないものとする。
【0086】
次に、選択処理部12は、各作業の特徴的な動態を特徴DB23から検索する(ステップS172)。特徴DB23には、例えば、研磨作業であれば、図18に符号187で示す「グラインダ研磨」、溶接作業であれば、符号189で示す「TIG溶接」のように、作業を代表する特徴的な動態項目が登録されている。
【0087】
選択処理部12により検索され、特徴DB23から読み取られた特徴的な動態は、認識処理部14に引き渡される。そして、認識処理部14は、検索結果から得られる特徴的な動態に基づく動態認識処理を実行する(ステップS173)。認識処理部14による認識結果は認識結果出力部15に引き渡され、ここで、図18の符号192,193,194で示す特徴的な動態の認識結果が出力される。
【0088】
一方、区切り認識処理部16では、認識処理部14で認識した特徴的な動態の最初の時刻と最後の時刻の検出を行う。つまり、区切り認識処理部16は、認識処理部14で認識した各作業の特徴的な動態の最初の時刻と最後の時刻の間をその作業を行った時間的な範囲とし、各作業の区切り時刻を認識する(ステップS174)。よって、最初の時刻と最後の時刻の間が各作業の実施作業時間となる。
具体的に、区切り認識処理部16は、図18に符号195で示される矢印のように、最初の時刻と最後の時刻が収まるように、符号196で示す時刻を移動して区切り時刻とする。以後、区切り認識処理部16は、同様に、符号197,198,199で示されるその他の作業の区切り時刻を調整して認識処理部14に引き渡す。以降の動作は、実施形態2と同様に、各作業時間内で認識処理部14が動態認識処理を実行する(ステップS175)。例えば、図18において符号196から符号197で示す研磨作業の区間であれば、研磨作業に関連する動態項目に絞って認識処理を行う。
【0089】
このようにすることで、本実施形態4に係る動態認識システム300によれば、特徴DB23に登録された各作業内容の特徴的な動態項目について、認識処理部14が動態認識を行うことにより、区切り認識処理部16は、連続する作業単位の区切り時刻を検出することができる。よって、区切り認識処理部16は、図18の符号196,197,198,199で示される各作業の区切り時刻を設定し、実施実績時間を求めることができる。さらに、符号184〜191で示される作業ごとに動態項目を絞り込んだ上で認識することができ、認識精度を向上させることができる。
【0090】
また、本実施形態4に係る動態認識システム300によれば、工程管理装置60で予め予想した作業時間の予測値と実際の作業でかかった作業時間である実績値とを比較することができ、これを工程管理装置60にフィードバックすることで工程管理装置60による工程管理の精度を向上させることができる。
【0091】
なお、前記した本実施形態4に係る動態認識システム300によれば、特徴的な動態に基づき各作業の区切り時刻を検出したが、クラスタリング等の手法により各作業の区切り時刻を検出してもよい。
また、本実施形態4においては、動態認識装置1(1d)と工程管理装置60とを分け、動態認識システム300とする構成として説明したが、工程管理装置60が備える工程管理部61と作業指示情報DB62とを、動態認識装置1(1d)の構成に組み込んだ上で、一つの動態認識装置としてもよい。この場合においても、本実施形態4と同様の作用効果が得られるものである。
【図面の簡単な説明】
【0092】
【図1】本実施形態1に係る動態認識装置の構成例を示す機能ブロック図である。
【図2】本実施形態1に係る動態認識装置の認識処理部による認識処理の流れを示すフローチャートである。
【図3】本実施形態1に係る認識方法・辞書DBのデータ構造の一例を示す図である。
【図4】本実施形態1に係る動態認識装置の認識処理部による他の認識処理の流れを示すフローチャートである。
【図5】本実施形態1に係る認識処理部によるパターンマッチングの処理結果を示す図である。
【図6】本実施形態1に係る動態認識装置の全体動作を示すフローチャートである。
【図7】本実施形態1に係る認識結果出力部により出力される認識結果の一例を示す図である。
【図8】本実施形態2に係る動態認識システムの構成を示す機能ブロック図である。
【図9】本実施形態2に係る作業指示情報DBに記憶される作業指示情報のデータ構造の一例を示す図である。
【図10】本実施形態2に係る対応DBのデータ構造の一例を示す図である。
【図11】本実施形態2に係る認識処理部により認識された動態項目の認識結果出力部による出力例を示す図である。
【図12】本実施形態3に係る動態認識システムの構成を示す機能ブロック図である。
【図13】本実施形態3に係る位置検知装置を用いて位置情報を取得する一例を示す図である。
【図14】本実施形態3に係る対応DBのデータ構造の一例を示す図である。
【図15】本実施形態3に係る位置検知装置を用いて位置情報を取得する他の例を示す図である。
【図16】本実施形態4に係る動態認識システムの構成を示す機能ブロック図である。
【図17】本実施形態4に係る動態認識システムの動作を示すフローチャートである。
【図18】本実施形態4に係る作業内容が示された動作概念図である。
【図19】従来の動態認識装置の構成を示すブロック図である。
【符号の説明】
【0093】
1 動態認識装置
10 制御部
11 推定処理部
12 選択処理部
13 動態検知部
14 認識処理部
15 認識結果出力部
16 区切り認識処理部
20 記憶部
21 認識方法・辞書DB
22 対応DB
23 特徴DB
30 入力部
40 出力部
50,63,72 通信部
60 工程管理装置
61 工程管理部
62 作業指示情報DB
70 位置検知装置
71 位置検知部
100,200,300 動態認識システム

【特許請求の範囲】
【請求項1】
被験体に取り付けた動態センサからの情報を取得し、前記被験体が行う動態内容の個々の状態を示す動態項目を認識する動態認識装置において、
前記動態センサからの情報を用いて、前記被験体の動態を検知する動態検知部と、
前記動態検知部により検知された情報を認識するための認識方法、およびその認識方法に対応して参照される各動態項目の特徴を示す情報が辞書として登録される認識方法・辞書DB(Data Base)が記憶される記憶部と、
前記被験体が行う前記動態項目を推定し絞り込む推定処理部と、
前記推定処置部により絞り込まれた前記動態項目に基づき、前記認識方法および前記辞書を前記認識方法・辞書DBを用いて選択する選択処理部と、
前記選択処理部で選択された前記認識方法および前記辞書を用いて、前記動態検知部で検知された情報を前記推定処理部で絞り込んだ前記動態項目について認識処理を実行する認識処理部と、
を備えることを特徴とする動態認識装置。
【請求項2】
前記記憶部は、時系列に予定する動態内容に関する情報を記憶するスケジュール情報DB、および前記動態内容とその動態項目との対応関係が記憶されるスケジュール対応DBをさらに備え、
前記推定処理部は、前記スケジュール情報DBに記憶された前記時系列に予定する動態内容を取得し、前記取得した動態内容に対応する前記動態項目を、前記スケジュール対応DBから検索し、前記検索された動態項目を、認識処理を行う前記動態項目として絞り込むこと
を特徴とする請求項1に記載の動態認識装置。
【請求項3】
前記推定処理部は、前記スケジュール情報DBに記憶された前記時系列に予定する動態内容に基づいて、前記認識すべき動態内容を切り替え、新たに認識すべき前記動態内容に対応する動態項目を、前記スケジュール対応DBから検索し、前記検索された動態項目を、認識処理を行う動態項目として絞り込むこと
を特徴とする請求項2に記載の動態認識装置。
【請求項4】
前記記憶部は、前記動態内容を特定する特徴的な動態項目が記憶される特徴DBをさらに備え、
前記推定処理部が取得した前記時系列に予定する各動態内容と、前記特徴DBに記憶される前記特徴的な動態項目について前記認識処理部が認識処理を実行した認識結果とに基づいて、前記各動態内容間の区切り時刻を検出する区切り認識処理部を備えることを特徴とする請求項3に記載の動態認識装置。
【請求項5】
前記動態認識装置は、
前記被験体に取り付けた位置センサからの位置情報を取得し前記被験体の位置を検知する位置検知部と、
前記記憶部に、前記被験体の位置情報と前記被験体が行う動態項目との対応関係が記憶される位置対応DBと、をさらに備え、
前記推定処理部は、前記位置検知部が検知した前記位置情報を取得し、前記取得した位置情報に対応する前記動態項目を、前記位置対応DBから検索し、前記検索された動態項目を、認識処理を行う前記動態項目として絞り込むこと
を特徴する請求項1に記載の動態認識装置。
【請求項6】
被験体が行う動態内容に関するスケジュール情報を管理する工程管理装置と、前記被験体に取り付けた動態センサからの情報を取得し前記被験体が行う動態内容の個々の状態を示す動態項目を認識する動態認識装置と、が通信可能に接続された動態認識システムにおいて、
前記工程管理装置は、
時系列に予定する前記動態内容に関するスケジュール情報を記憶する記憶部と、
前記動態内容に関するスケジュール情報を管理する工程管理部と、
前記スケジュール情報を前記動態認識装置に送信する通信部と、を備え、
前記動態認識装置は、
前記動態センサからの情報を用いて、前記被験体の動態を検知する動態検知部と、
前記動態検知部により検知された情報を認識するための認識方法、およびその認識方法に対応して参照される各動態項目の特徴を示す情報が辞書として登録される認識方法・辞書DB、並びに前記動態内容とその動態項目との対応関係が記憶されるスケジュール対応DBが記憶される記憶部と、
前記工程管理装置から前記スケジュール情報を受信する通信部と、
前記スケジュール情報を前記通信部を介して取得し、認識すべき前記動態内容に対応する前記動態項目を、前記スケジュール対応DBを参照して絞り込む推定処理部と、
前記推定処置部により絞り込まれた前記動態項目に基づき、前記認識方法および前記辞書を前記認識方法・辞書DBを用いて選択する選択処理部と、
前記選択処理部で選択された前記認識方法および前記辞書を用いて、前記動態検知部で検知された情報を前記推定処理部で絞り込んだ前記動態項目について認識処理を実行する認識処理部と、
を備えることを特徴とする動態認識システム。
【請求項7】
被験体の位置情報を取得する位置検知装置と、前記被験体に取り付けた動態センサからの情報を取得し前記被験体が行う動態内容の個々の状態を示す動態項目を認識する動態認識装置と、が通信可能に接続された動態認識システムにおいて、
前記位置検知装置は、
前記被験体に取り付けた位置センサからの位置情報を取得し前記被験体の位置を検知する位置検知部と、
前記位置情報を前記動態認識装置に送信する通信部と、を備え、
前記動態認識装置は、
前記動態センサからの情報を用いて、前記被験体の動態を検知する動態検知部と、
前記動態検知部により検知された情報を認識するための認識方法、およびその認識方法に対応して参照される各動態項目の特徴を示す情報が辞書として登録される認識方法・辞書DB、並びに前記被験体の位置情報と前記被験体が行う動態項目との対応関係が記憶される位置対応DBが記憶される記憶部と、
前記位置検知装置から前記位置情報を受信する通信部と、
前記被験体の位置情報を前記通信部を介して取得し、前記位置情報に対応する前記動態項目に、前記位置対応DBを参照して絞り込む推定処理部と、
前記推定処置部により絞り込まれた前記動態項目に基づき、前記認識方法および前記辞書を前記認識方法・辞書DBを用いて選択する選択処理部と、
前記選択処理部で選択された前記認識方法および前記辞書を用いて、前記動態検知部で検知された情報を前記推定処理部で絞り込んだ前記動態項目について認識処理を実行する認識処理部と、
を備えることを特徴とする動態認識システム。
【請求項8】
被験体に取り付けた動態センサからの情報を取得し、前記被験体が行う動態内容の個々の状態を示す動態項目を認識する動態認識装置に用いられる動態認識方法であって、
前記動態認識装置は、
前記動態センサからの情報を認識するための認識方法、およびその認識方法に対応して参照される前記被験体が行う各動態項目の特徴を示す情報が辞書として登録される認識方法・辞書DB(Data Base)が記憶される記憶部を備え、
前記動態センサからの情報を用いて、前記被験体の動態を検知し、
前記被験体が行う前記動態項目を絞り込み、
前記絞り込まれた前記動態項目に基づき、前記認識方法および前記辞書を前記認識方法・辞書DBを用いて選択し、
前記選択された前記認識方法および前記辞書を用いて、前記検知された情報を前記絞り込んだ前記動態項目について認識処理を実行すること、
を特徴とする動態認識方法。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2010−148604(P2010−148604A)
【公開日】平成22年7月8日(2010.7.8)
【国際特許分類】
【出願番号】特願2008−328404(P2008−328404)
【出願日】平成20年12月24日(2008.12.24)
【出願人】(507250427)日立GEニュークリア・エナジー株式会社 (858)
【Fターム(参考)】