作業支援装置および作業支援方法
【課題】作業者の熟練度を正確に判定することができ、これにより、作業者の熟練度に応じて効果的に作業を支援することができる作業支援装置および作業支援方法を提供する。
【解決手段】視線検出手段により作業者１００の視線を所定期間継続して検出し、該検出された視線の移動速度を算出し、該算出された視線移動速度の分布を算出して、該算出された視線移動速度の分布に基づいて、作業者１００の熟練度を判定する。また、作業指示手段４０により、判定された熟練度に対応する指示レベルで作業者１００に作業を指示する。
【解決手段】視線検出手段により作業者１００の視線を所定期間継続して検出し、該検出された視線の移動速度を算出し、該算出された視線移動速度の分布を算出して、該算出された視線移動速度の分布に基づいて、作業者１００の熟練度を判定する。また、作業指示手段４０により、判定された熟練度に対応する指示レベルで作業者１００に作業を指示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者の熟練度を知る必要がある作業現場で使用される作業支援装置および作業支援方法に関する。
【背景技術】
【０００２】
セル生産方式等の生産または検査などを行う作業現場では、作業者が、作業指示書または作業指示画面を見ながら、或いは、作業を指示する音声を聞きながら、それらの指示に従って作業することがある。
【０００３】
ところが、上記の表示または音声による指示の仕方は、作業者の熟練度に関係なく共通したものであることが多いため、それらの指示が、初心者にとっては不足または理解困難に感じられることがあり、逆に、熟練者にとっては冗長に感じられて作業効率が悪くなることがある。
【０００４】
したがって、このような問題が生じ得る作業現場では、作業指示の詳しさ（詳細度）を作業者の熟練度に応じて異ならせることが好ましく、この場合、何らかの方法により作業者の熟練度を判定することが求められる。
【０００５】
また、上記の場合に限られず、作業者の熟練度に応じて作業内容を決定する場合や、教育のために作業者の熟練度を知る必要がある場合にも、何らかの方法により作業者の熟練度を判定する必要がある。
【０００６】
特許文献１には、作業者の熟練度を判定する方法の一例が開示されている。具体的に、特許文献１の方法では、作業者による作業時間が計測されて、該作業時間の長さに基づいて作業者の熟練度が判定される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−１１３３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術は、作業時間によってのみ熟練度を判定するものであり、作業者の具体的な動作内容に基づくことなく判定がなされるため、必ずしも正確な判定結果が得られない問題がある。
【０００９】
そこで、本発明は、作業者の熟練度を正確に判定することができ、これにより、作業者の熟練度に応じて効果的に作業を支援することができる作業支援装置および作業支援方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明に係る作業支援装置は、
作業者の視線を検出する視線検出手段と、
該視線検出手段により検出された視線の移動速度を算出する視線速度算出手段と、
該視線速度算出手段により算出された視線移動速度の分布を算出する分布算出手段と、
該分布算出手段により算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定手段と、を備えたことを特徴とする。
【００１１】
また、本発明に係る作業支援装置は、
同一内容の作業について予め設定された詳細度が異なる複数の指示レベルの中から、前記熟練度判定手段により判定された熟練度に対応する指示レベルを選択する指示レベル選択手段と、
該指示レベル選択手段により選択された指示レベルで作業者に作業を指示する作業指示手段と、を更に備えてもよい。
【００１２】
さらに、前記課題を解決するため、本発明に係る作業支援方法は、
作業者の視線を所定期間継続して検出する視線検出工程と、
該視線検出工程で検出された視線の移動速度を算出する視線速度算出工程と、
該視線速度算出工程で算出された視線移動速度の分布を算出する分布算出工程と、
該分布算出工程で算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定工程と、を備えたことを特徴とする。
【発明の効果】
【００１３】
作業者の視線は作業中に逐次移動するが、作業者の熟練度が増すほど次に見るべき場所を正確に理解していることから視線の移動速度が安定する。そのため、熟練者の視線移動速度の分布には特定の速度範囲にピークが現れやすいが、初心者の視線移動速度の分布にはそのようなピークが現れ難い傾向がある。このことに着目して、本発明によれば、作業者の視線移動速度の分布に基づいて、作業者の熟練度が判定されるため、熟練度の判定を正確に行うことができる。したがって、この判定結果を利用することで、熟練度を知る必要がある種々の作業を、作業者の熟練度に応じて効果的に支援することができる。
【００１４】
また、本発明によれば、熟練度の判定が視線移動速度の分布に基づいて行われるため、作業者の視線の動きを検出できれば、視線の位置を特定するような高度なセンシング技術を用いる必要がない。
【００１５】
さらに、上記のようにして判定された熟練度に応じた指示レベルで作業者に作業を指示する場合、熟練度が異なるあらゆる作業者が、指示内容を十分かつ迅速に理解することができ、正確かつ効率的に作業を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る作業支援装置が使用される作業場の一例を示す平面図である。
【図２】本発明の一実施形態に係る作業支援装置を示すシステム図である。
【図３】作業指示用ディスプレイに表示される作業指示画面の一例を示す図である。
【図４】作業支援装置の制御装置により実行される制御動作の流れを示すフローチャートである。
【図５】作業者の視線移動速度の分布の一例を示すグラフである。
【図６】第１の実施形態に係る熟練度判定制御の制御動作の流れを示すフローチャートである。
【図７】測定値に基づく視線移動速度の分布データに重み付けを行う意義を説明するための図である。
【図８】重み付けの方法の具体例を示す図である。
【図９】分布同士の類似度を説明するための図である。
【図１０】第２の実施形態に係る熟練度判定制御の制御動作の流れを示すフローチャートである。
【図１１】視線の移動速度の算出方法を説明するための図である。
【図１２】実験１の結果を示すグラフである。
【図１３】実験２の結果を示すグラフである。
【発明を実施するための形態】
【００１７】
先ず、作業者の熟練度を正確に判定するための技術を開発することを目的として、本願発明者により行われた実験について説明する。
【００１８】
［実験１］
実験１では、部品に設けられた複数の穴にボルトを差し込んで締め付ける作業において、作業者の視線の移動速度が熟練度によってどのように異なるかを確認した。
【００１９】
具体的に、実験１では、作業経験６ヶ月の初心者と、作業経験約５年の熟練者とがそれぞれアイマークレコーダを装着して上記作業を行っているときに、アイマークレコーダにより各作業者の視線の位置を継続的に計測した。また、この計測値に基づいて視線の移動速度を逐次算出し、該視線移動速度の分布を算出した。
【００２０】
なお、アイマークレコーダとしては、装着者の前方の視野を撮像する視野カメラと、装着者の左右の瞳孔をそれぞれ撮像する一対の視線カメラとを備え、これらのカメラにより１秒間に６０回撮像された画像データに基づいて装着者の視線の位置を計測および記録するものを使用した。
【００２１】
また、図１１に示すように、視線移動速度の算出に際しては、前回の撮像データに基づく視線位置と、今回の撮像データに基づく視線位置との距離が所定距離未満であるときは視線が停留しているとみなすとともに、前記距離が所定距離以上であるときに視線が移動したとみなした上で、視線が移動したとみなされるときのみ移動速度を算出した。なお、視線移動速度として、具体的には角速度［ｄｅｇ／ｓｅｃ］を算出した。
【００２２】
実験１の結果、図１２に示すように、熟練者の視線移動速度は約２００ｄｅｇ／ｓｅｃに著しいピークが現れたのに対して、初心者の視線移動速度には顕著なピークが現れなかった。また、初心者の視線移動速度は１２０ｄｅｇ／ｓｅｃ前後となる頻度が比較的高くなったのに対して、熟練者の視線移動速度が当該速度範囲となることはほとんどなかった。この結果から、熟練者の視線移動速度は特定の速度範囲において顕著なピークが現れるが、初心者ではそのような傾向が見られないことを確認できた。
【００２３】
［実験２］
実験２では、半田付けにより８素子からなる簡単な電子回路を製作する作業において、作業者の視線の移動速度が熟練度によってどのように異なるかを確認した。
【００２４】
具体的に、実験２では、作業経験３ヶ月の初心者と、作業経験５年の熟練者とがそれぞれ実験１と同じアイマークレコーダを装着して上記作業を行っているときに、アイマークレコーダにより各作業者の視線の位置を継続的に計測し、この計測値に基づいて視線の移動速度を算出するとともに、該視線移動速度の分布を算出した。なお、視線位置の計測は初心者については４５分間、熟練者については４０分間行った。また、視線移動速度の算出は、実験１と同様の方法により行った。
【００２５】
実験２の結果、図１３に示すように、熟練者の視線移動速度は約２３０ｄｅｇ／ｓｅｃに著しいピークが現れたのに対して、初心者の視線移動速度には明確なピークが現れなかった。この結果から、実験１と同様、熟練者の視線移動速度は特定の速度範囲において顕著なピークが現れるが、初心者ではそのような傾向が見られないことを確認できた。
【００２６】
上記の実験１及び２の結果から、本願発明者は、作業者の熟練度が増すほど、視線移動速度の分布において特定の速度範囲に顕著なピークが現れやすいことを見出した。これは、作業者の熟練度が増すに連れて作業中に次に見るべき場所を正確に理解できるようになり、視線移動速度が安定するためであると考えられる。
【００２７】
本発明は、この点に着目して得られたものであり、以下、本発明の実施形態について具体的に説明する。
【００２８】
［実施形態］
以下、本発明の実施形態について、添付図面を参照しながら詳細に説明する。なお、以下の説明において、同一又は類似の構成部分には同一の符号を用いている。
【００２９】
本実施形態では、図１の平面図に示す作業場における部品の組立作業を支援する構成について説明する。ただし、本発明が適用される作業の種類は、部品の組立作業に限定されるものでなく、検査作業等の種々の作業に本発明を適用することができる。
【００３０】
図１に示す作業場では、作業者１００の前方に、作業を指示する表示がなされる作業指示用ディスプレイ４０と、組立対象の部品が置かれる作業台５０とが設置されており、該作業台５０の近傍において、作業用工具６０が天井から吊り下げられている。また、作業者１００の後方には、組立対象の部品を収納する収納部が設置されている。この作業場において、作業者１００は、作業指示用ディスプレイ４０の表示画面を見ながら、該画面の指示に従って作業を行う。
【００３１】
ただし、本発明において、作業者に作業を指示する方法の種類は、画面表示に限られるものでなく、画面表示に代えて又は画面表示と組み合わせて、音声等の別の指示方法を用いるようにしてもよい。
【００３２】
図２は、本実施形態に係る作業支援装置１を示すシステム図である。
【００３３】
図２に示す作業支援装置１は、上記の作業指示用ディスプレイ４０と、作業者１００の視線を検出する視線計測用カメラ３０と、該カメラ３０の計測値に基づいて各種制御を行う制御装置１０とを有する。
【００３４】
視線計測用カメラ３０は、作業者１００の視線の動きを検出可能なように作業者１００の例えば頭部に装着されるか又は作業場の例えば作業台５０に設置されて使用される。このカメラ３０としては、例えば、上記の実験１及び２で使用したアイマークレコーダの視線カメラが用いられるが、作業者１００の視線の移動速度を検出可能なものであれば、種々のカメラを使用することができ、また、カメラ３０に代えて別の視線検出手段を用いてもよい。
【００３５】
制御装置１０は、視線計測用カメラ３０から出力される信号を入力可能に設けられており、該カメラ３０から送られる信号に基づいて演算処理を行い、作業指示用ディスプレイ４０へ制御信号を出力するようになっている。
【００３６】
また、作業支援装置１は、制御装置１０の制御動作に必要な種々のデータを記憶するための記憶装置２０を有する。本実施形態において、記憶装置２０は、制御装置１０に接続された外部記憶装置であるが、制御装置１０に内蔵された記憶装置であってもよい。
【００３７】
この記憶装置２０には、作業者１００に作業を指示するために作業指示用ディスプレイ４０に表示される複数の表示データ、具体的には、同一内容の作業毎に複数の表示データが記憶されている。該複数の表示データには、データ毎に異なる指示レベルが設定されており、表示データの指示レベルによって、ディスプレイ４０の表示内容の詳細度が変わるようになっている。
【００３８】
指示レベルは同一内容の作業毎に例えば２段階設定され、この場合、指示内容を比較的シンプルに表示するための熟練者向けの表示データと、同一の指示内容を比較的詳細に表示するための初心者向けの表示データとが記憶装置２０に記憶される。ただし、本発明において、指示レベルは同一内容の作業毎に３段階以上設定してもよく、この場合、同一内容毎に、指示レベルに応じて指示の詳細度が異なる３段階以上の表示データが記憶装置２０に記憶される。
【００３９】
図３は、部品に設けられた複数のねじ穴に、別の棒状部品をねじ込む作業に関して、ディスプレイ４０に表示される作業指示画面の具体例を示している。
【００４０】
図３（ａ）に示す画面は、指示内容を比較的詳細に示す初心者向けの作業指示画面である。該画面には、組立対象の両部品の立体的な画像が表示されるとともに、棒状部品の品番、工具の種類および締め付けトルクを教示する文字に加えて、棒状部品を挿入する箇所、棒状部品の品番を確認する箇所、及び具体的な挿入方法を教示する文字が表示され、この画面を見た初心者が作業内容を容易に理解できるようになっている。
【００４１】
一方、図３（ｂ）に示す画面は、指示内容を比較的シンプルに示す熟練者向けの作業指示画面である。該画面には、熟練者にとって必要な情報のみが表示されるようになっており、具体的には、ねじ穴を備えた部品のみが平面的な模式図で表示されるとともに、文字に関しては、棒状部品の品番、工具の種類および締め付けトルクを教示する文字のみが表示される。これにより、該画面を見た熟練者は、ディスプレイ４０の表示内容が冗長に感じられることがなく、迅速かつ確実に指示内容を理解することができる。
【００４２】
なお、図３に示す２つの表示内容はあくまでも具体例の一つに過ぎず、指示レベルに応じて表示内容を異ならせるための構成はこの他にも種々考えられる。その他の構成としては、例えば、熟練者向けの指示画面に静止画を用い、初心者向けの指示画面には動画を用いる構成、又は、熟練者向けの指示は画面表示のみで行い、初心者向けの指示には画面表示に加えて音声を使用する構成などが考えられる。また、本発明は、いずれの作業者１００に対しても音声のみによって作業指示を行う場合にも適用することができ、この場合も、上記と同様、同一内容の作業毎に指示の詳細度が異なる複数の指示レベルを設定するとともに、指示レベルに応じて音声の内容を異ならせるようにすればよい。
【００４３】
図２に戻って、記憶装置２０には、更に、作業者１００の視線移動速度の分布に関して後述の熟練度判定部１３による判定の基準となる基準分布が記憶されている。記憶装置２０に記憶しておく基準分布は１つのみであってもよいし、複数であってもよい。
【００４４】
また、制御装置１０は、視線計測用カメラ３０により検出された視線の移動速度を算出する視線速度算出部１１と、該視線速度算出部１１により算出された視線移動速度の分布を算出する分布算出部１２と、該分布算出部１２により算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定部１３と、上記のように同一内容の作業について予め設定された複数の指示レベルの中から、熟練度判定部１３により判定された熟練度に対応する指示レベルを選択する指示レベル選択部１４と、を備えている。
【００４５】
図４は、作業者１００の作業を支援するために制御装置１０により実行される制御動作の流れを示すフローチャートである。
【００４６】
図４に示す制御動作は、作業者１００により実際の作業が行われるとともに、作業者１００に装着されるか又は作業場に設置された視線計測用カメラ３０により、例えば上述の実験１及び２と同様の計測方法で作業者１００の視線が検出されている状態で実行される。作業者１００の視線の検出は、例えば作業開始時から所定期間継続して行われる。
【００４７】
この制御動作では、先ず、視線計測用カメラ３０により検出された視線情報が読み取られる（ステップＳ１）。具体的には、視線計測用カメラ３０で検出された所定時間分の作業者１００の視線の位置の情報が読み取られる。
【００４８】
続いて、視線速度算出部１１により、ステップＳ１で読み取られた視線情報に基づいて、作業者１００の視線の移動速度が算出される（ステップＳ２）。具体的には、例えば、上述の実験１及び２と同様の算出方法（図１１参照）により、視線計測用カメラ３０による連続２回分の撮像データの比較に基づいて視線が移動したとみなされたときの移動速度が算出される。なお、視線移動速度として、具体的には角速度［ｄｅｇ／ｓｅｃ］が算出されるが、並進速度が算出されるようにしてもよい。
【００４９】
次に、分布算出部１２により、ステップＳ２で算出された視線移動速度の分布が算出される（ステップＳ３）。これにより、例えば図５に示すような分布が算出される。なお、図５において、横軸は視線移動速度を、縦軸は頻度をそれぞれ示し、分布全体における頻度の積算値は１とされている。
【００５０】
続くステップＳ４では、熟練度判定部１３により、ステップＳ３で算出された視線移動速度の分布に基づいて公知の分類アルゴリズムを実行して、作業者１００の熟練度が判定される。これにより、作業者１００の熟練度が高いほど作業中の視線の移動速度が安定し、視線移動速度の分布において特定の速度範囲にピークが現れやすくなることを利用して、作業者１００の熟練度を正確に判定することができる。また、この判定のためには、作業者１００の視線の動きを検出する必要はあるが、視線の位置を特定する必要はないため、複雑で高度なセンシング技術が不要となる。なお、このステップＳ４の処理の具体的な制御動作（以下、「熟練度判定制御」ともいう。）については後述する。
【００５１】
次に、指示レベル選択部１４により、記憶装置２０に予め記憶された複数の指示レベルの中から、ステップＳ４で判定された作業者１００の熟練度に対応する指示レベルが選択される（ステップＳ５）。
【００５２】
最後に、作業指示用ディスプレイ４０により、ステップＳ５で選択された指示レベルで作業者１００に対して作業指示がなされる（ステップＳ６）。具体的には、上述したように、選択された指示レベルに対応する作業指示画面が作業指示用ディスプレイ４０に表示される（図３参照）。これにより、熟練度が異なるあらゆる作業者１００が、ディスプレイ４０に表示された指示内容を十分かつ迅速に理解することができ、正確かつ効率的に作業を行うことができる。
【００５３】
以下、熟練度判定部１４による熟練度判定制御（図４のステップＳ４の具体的な制御動作）に関して、第１及び第２の実施形態に分けて具体的に説明する。
【００５４】
［第１の実施形態］
第１の実施形態では、上述の基準分布として、典型的な初心者の視線移動速度の分布データＨｂと、典型的な熟練者の視線移動速度の分布データＨｓとが予め記憶装置２０に記憶されている場合について説明する。
【００５５】
図６は、第１の実施形態に係る熟練度判定制御の各処理の流れを示すフローチャートである。
【００５６】
この制御動作では、先ず、図４のステップＳ３で算出された作業者１００の視線移動速度の分布データＨｍと、上記の典型的な初心者の視線移動速度の分布データＨｂと、上記の典型的な熟練者の視線移動速度の分布データＨｓとが読み取られる（ステップＳ１１）。
【００５７】
続くステップＳ１２では、ステップＳ１１で読み取られた作業者１００の視線移動速度の分布データＨｍに関して、前処理としての重み付けが実行される。なお、熟練度判定制御においては、ステップＳ１２の前処理を省略することも可能であるが、この前処理を実行することで、より正確な判定を行うことができる。
【００５８】
図７を参照しながら、ステップＳ１２の前処理を行う意義について説明する。図７の符号ａと符号ｂに示すように、作業内容によっては視線移動速度の分布に複数のピークが現れることがある。ところが、図７に示す例において、符号ａで示されるピークは熟練者と初心者のいずれにおいても顕著に現れるため、当該ピークａが現れる速度範囲においては、作業者１００の熟練度による分布の違いが明確に生じない。一方、符号ｂで示されるピークは初心者に比べて熟練者の方が顕著に現れるため、当該ピークｂが現れる速度範囲においては、作業者１００の熟練度によって分布が顕著に異なることとなる。こうした観点から、上記のステップＳ１２では、熟練者の分布には顕著なピークが現れるが初心者の分布には明確なピークが現れ難い速度範囲を重視して、当該速度範囲の分布に評価対象としての重みを付ける処理が実行される。
【００５９】
ステップＳ１２の前処理の具体的な方法としては、種々の方法を採用することができるが、例えば図８に示す方法が採用される。図８に示す方法では、所定の速度範囲の分布に評価対象が限定される。より具体的には、作業者１００の視線移動速度の分布データＨｍのうち該所定速度範囲に属する分布部分のみが取り出されて、該分布部分の頻度の値に、該分布部分における積算値が１となるように所定の係数が乗算される。これにより、所定速度範囲に限定された分布データＨｍが得られ、この前処理後の分布データＨｍを用いて以降の処理が実行される。
【００６０】
図６に戻って、次のステップＳ１３では、ステップＳ１２で前処理された分布データＨｍと典型的な初心者の分布データＨｂとの類似度Ｓｂと、前記前処理された分布データＨｍと典型的な熟練者の分布データＨｓとの類似度Ｓｓとがそれぞれ算出される。これらの類似度Ｓｂ，Ｓｓの計算方法は特に限定されないが、例えばヒストグラムインターセクション、バタッチャリヤ係数または相関係数が類似度として計算される。
【００６１】
なお、ヒストグラムインターセクションは次の数式１で表される。
【数１】
このヒストグラムインターセクションの値は０以上１以下の実数であり、数値が大きいほど類似度が高いことを示す。さらに図９（ａ）及び図９（ｂ）を参照しながら説明すると、ヒストグラムインターセクションの値は、比較対象である両分布の縦軸の値（図９では頻度）のうち低い方の値を積算した値、すなわち図中の斜線部分の面積の大きさに等しい値となる。つまり、ヒストグラムインターセクションの値は、両分布の形状が近いほど大きな値となり、例えば、図９（ａ）に示す両分布に比べて図９（ｂ）に示す両分布の方が大きな値となる。
【００６２】
また、バタッチャリヤ係数は次の数式２で表される。
【数２】
このバタッチャリヤ係数の値も０以上１以下の実数であり、数値が大きいほど類似度が高いことを示す。また、ヒストグラムインターセクションと同様、比較対象である両分布の形状が近いほど大きな値となる。
【００６３】
さらに、相関係数は次の数式３で表される。
【数３】
この相関係数の値は−１以上１以下の実数であり、相関係数が０であるときは無相関であり、相関係数が−１であるときは負の相関が最大であり、相関係数が１であるときは正の相関が最大であることを示す。また、ヒストグラムインターセクション及びバタッチャリヤ係数と同様、比較対象である両分布の形状が近いほど大きな値となる。
【００６４】
続くステップＳ１４では、ステップＳ１３で算出された２つの類似度Ｓｂ，Ｓｓの大小関係が判定される。
【００６５】
ステップＳ１４の判定の結果、測定値に基づく分布データＨｍと典型的な初心者の分布データＨｂとの類似度Ｓｂと、測定値に基づく分布データＨｍと典型的な熟練者の分布データＨｓとの類似度Ｓｓとを比較して、前者の方が大きい場合、作業者１００は初心者であると判定され（ステップＳ１５）、後者が前者以上である場合、作業者１００は熟練者であると判定される（ステップＳ１６）。
【００６６】
このように、第１の実施形態によれば、作業者１００の視線移動速度の分布データＨｍが、予め用意された典型的な初心者および熟練者の分布データＨｂ，Ｈｓのいずれに類似しているかを判定することで、作業者１００の熟練度判定を、簡単なデータ処理により正確に行うことができる。
【００６７】
なお、第１の実施形態では、上記２つの基準分布のデータＨｂ，Ｈｓを予め記憶装置２０に記憶しておき、これらの分布データＨｂ，Ｈｓと、視線計測用カメラ３０の測定値に基づいて算出された作業者１００の視線移動速度の分布データＨｍとの類似度Ｓｂ，Ｓｓをそれぞれ算出して、これらの類似度Ｓｂ，Ｓｓを比較することで作業者１００の熟練度を判定する場合について説明したが、同一の作業内容について記憶装置２０に記憶しておく基準分布の個数は必ずしも２つでなくてもよい。
【００６８】
具体的には、例えば、基準分布として上記の初心者の分布データＨｂ又は熟練者の分布データＨｓの一方のみを記憶装置２０に記憶しておいてもよく、この場合、記憶装置２０に記憶された基準分布のデータＨｂ（又はＨｓ）と、測定値に基づいて算出された分布データＨｍとの類似度Ｓｂ（又はＳｓ）を算出するとともに、該類似度Ｓｂ（又はＳｓ）が所定の類似度Ｓ１よりも大きければ初心者（又は熟練者）、所定の類似度Ｓ１以下であれば熟練者（又は初心者）であると判定することができる。ただし、この場合、基準分布を２つ設定する場合に比べて、理想的な基準分布の選定が困難であるため、熟練度の判定精度を高める観点においては、上記の第１の実施形態の構成がより好ましい。
【００６９】
また、その他の構成例として、熟練度が異なる３段階以上の基準分布のデータを記憶装置２０に記憶しておいてもよく、この場合、これらの基準分布の各データと、測定値に基づいて算出された分布データＨｍとの類似度をそれぞれ算出するとともに、これらの類似度のうち最も類似度が大きい基準分布に対応する熟練度を、作業者１００の熟練度として判定することもできる。この場合、作業者１００の熟練度を３段階以上に分けて判定することができ、この判定結果に基づいて、予め記憶装置２０に記憶された３段階以上の指示レベルの中から選択された適切な指示レベルで、作業者１００に対して作業指示がなされる。
【００７０】
［第２の実施形態］
第２の実施形態では、過去に実際の計測値に基づいて得られたＮ個の視線移動速度の分布データＨｎ（ｎ＝１、２、３、．．．Ｎ）からなり、各分布データＨｎに熟練者または初心者のラベルが付されたデータ群が記憶装置２０に蓄積されており、該データ群から選択されるＫ個（Ｋ＜Ｎ）の分布データＨｎが上記基準分布として使用される場合について説明する。
【００７１】
図１０は、第２の実施形態に係る熟練度判定制御の各処理の流れを示すフローチャートである。
【００７２】
この制御動作では、先ず、図４のステップＳ３で算出された作業者１００の視線移動速度の分布データＨｍと、上記のデータ群のＮ個の分布データＨｎとが読み取られる（ステップＳ２１）。
【００７３】
続くステップＳ２２では、第１の実施形態と同様（図６のステップＳ１２、図７及び図８参照）、ステップＳ２１で読み取られた作業者１００の視線移動速度の分布データＨｍに関して、重み付けによる前処理が実行される。なお、第１の実施形態と同様、ステップＳ２２の前処理を省略することは可能であるが、この前処理を実行することで、より正確な判定を行うことができる。
【００７４】
次のステップＳ２３では、ステップＳ２２で前処理された分布データＨｍと、上記Ｎ個の分布データＨｎとの各類似度Ｓｎ（ｎ＝１、２、３、．．．Ｎ）が算出される。これらの類似度Ｓｎの計算方法は、第１の実施形態と同様、特に限定されるものでないが、例えばヒストグラムインターセクション、バタッチャリヤ係数または相関係数が類似度として計算される。
【００７５】
続くステップＳ２４では、ステップＳ２３で算出されたＮ個の類似度Ｓｎの中から最も高いＫ個の類似度Ｓｎが選択されるとともに、上記データ群の中から、前記最も高いＫ個の類似度Ｓｎに対応するＫ個の分布データＨｎが上記基準分布として選択される。
【００７６】
次に、ステップＳ２５において、ステップＳ２４で選択されたＫ個の分布データＨｎのうち、初心者ラベルが付されたデータＨｎが半数以上あるか否かが判定される。
【００７７】
ステップＳ２５の判定の結果、初心者ラベルが付されたデータＨｎが半数以上である場合、作業者１００は初心者であると判定され（ステップＳ２６）、熟練者ラベルが付されたデータＨｎが半数以上である場合、作業者１００は熟練者であると判定される（ステップＳ２７）。
【００７８】
このように、第２の実施形態によれば、過去の計測に基づいて蓄積されたデータＨｎを利用して判定を行うことができるため、第１の実施形態のように基準分布を作成しておく必要がなく、基準分布の作成の仕方に起因する判定の偏りを回避することができる。
【００７９】
なお、第２の実施形態において、図１０のステップＳ２６又はステップＳ２７で作業者１００の熟練度が判定された後、今回の測定値に基づく分布データＨｍに初心者または熟練者のラベルを付した上で、該データＨｍを上記データ群に追加される一データＨｎとして記憶装置２０に蓄積されるようにしてもよい。
【００８０】
また、第２の実施形態では、上記データ群の各データＨｎに初心者または熟練者のラベルが付されている場合について説明したが、各データＨｎには、熟練度が異なる３段階以上の熟練度ラベルが付されるようにしてもよい。この場合、Ｎ個の類似度Ｓｎのうち最も高いＫ個の類似度Ｓｎを選択するとともに、該Ｋ個の類似度Ｓｎに対応するＫ個のデータＨｎに付された熟練度ラベルのうち、最も多い熟練度を作業者１００の熟練度として判定すればよい。
【００８１】
以上、上述の実施形態を挙げて本発明を説明したが、本発明は上述の実施形態に限定されるものではない。
【００８２】
例えば、上述の実施形態では、作業者の熟練度に応じた指示レベルで作業を指示するために、作業者の熟練度を判定する構成について説明したが、本発明において、熟練度を判定する目的はこれに限られず、例えば、作業内容自体を作業者毎に熟練度に応じて決定することを目的とする場合、又は、熟練度に応じて作業者を教育することを目的とする場合などにも本発明を適用することができる。
【産業上の利用可能性】
【００８３】
以上のように、本発明によれば、作業者の熟練度を正確に判定することができ、これにより、作業者の熟練度に応じて効果的に作業を支援することが可能となるから、作業現場において作業者の熟練度を知る必要があるあらゆる産業分野において好適に利用される可能性がある。
【符号の説明】
【００８４】
１：作業支援装置、１０：制御装置、１１：視線速度算出部、１２：分布算出部、１３：熟練度判定部、１４：指示レベル選択部、２０：記憶装置、３０：視線計測用カメラ（視線検出手段）、４０：作業指示用ディスプレイ（作業指示手段）、１００：作業者。
【技術分野】
【０００１】
本発明は、作業者の熟練度を知る必要がある作業現場で使用される作業支援装置および作業支援方法に関する。
【背景技術】
【０００２】
セル生産方式等の生産または検査などを行う作業現場では、作業者が、作業指示書または作業指示画面を見ながら、或いは、作業を指示する音声を聞きながら、それらの指示に従って作業することがある。
【０００３】
ところが、上記の表示または音声による指示の仕方は、作業者の熟練度に関係なく共通したものであることが多いため、それらの指示が、初心者にとっては不足または理解困難に感じられることがあり、逆に、熟練者にとっては冗長に感じられて作業効率が悪くなることがある。
【０００４】
したがって、このような問題が生じ得る作業現場では、作業指示の詳しさ（詳細度）を作業者の熟練度に応じて異ならせることが好ましく、この場合、何らかの方法により作業者の熟練度を判定することが求められる。
【０００５】
また、上記の場合に限られず、作業者の熟練度に応じて作業内容を決定する場合や、教育のために作業者の熟練度を知る必要がある場合にも、何らかの方法により作業者の熟練度を判定する必要がある。
【０００６】
特許文献１には、作業者の熟練度を判定する方法の一例が開示されている。具体的に、特許文献１の方法では、作業者による作業時間が計測されて、該作業時間の長さに基づいて作業者の熟練度が判定される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−１１３３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術は、作業時間によってのみ熟練度を判定するものであり、作業者の具体的な動作内容に基づくことなく判定がなされるため、必ずしも正確な判定結果が得られない問題がある。
【０００９】
そこで、本発明は、作業者の熟練度を正確に判定することができ、これにより、作業者の熟練度に応じて効果的に作業を支援することができる作業支援装置および作業支援方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明に係る作業支援装置は、
作業者の視線を検出する視線検出手段と、
該視線検出手段により検出された視線の移動速度を算出する視線速度算出手段と、
該視線速度算出手段により算出された視線移動速度の分布を算出する分布算出手段と、
該分布算出手段により算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定手段と、を備えたことを特徴とする。
【００１１】
また、本発明に係る作業支援装置は、
同一内容の作業について予め設定された詳細度が異なる複数の指示レベルの中から、前記熟練度判定手段により判定された熟練度に対応する指示レベルを選択する指示レベル選択手段と、
該指示レベル選択手段により選択された指示レベルで作業者に作業を指示する作業指示手段と、を更に備えてもよい。
【００１２】
さらに、前記課題を解決するため、本発明に係る作業支援方法は、
作業者の視線を所定期間継続して検出する視線検出工程と、
該視線検出工程で検出された視線の移動速度を算出する視線速度算出工程と、
該視線速度算出工程で算出された視線移動速度の分布を算出する分布算出工程と、
該分布算出工程で算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定工程と、を備えたことを特徴とする。
【発明の効果】
【００１３】
作業者の視線は作業中に逐次移動するが、作業者の熟練度が増すほど次に見るべき場所を正確に理解していることから視線の移動速度が安定する。そのため、熟練者の視線移動速度の分布には特定の速度範囲にピークが現れやすいが、初心者の視線移動速度の分布にはそのようなピークが現れ難い傾向がある。このことに着目して、本発明によれば、作業者の視線移動速度の分布に基づいて、作業者の熟練度が判定されるため、熟練度の判定を正確に行うことができる。したがって、この判定結果を利用することで、熟練度を知る必要がある種々の作業を、作業者の熟練度に応じて効果的に支援することができる。
【００１４】
また、本発明によれば、熟練度の判定が視線移動速度の分布に基づいて行われるため、作業者の視線の動きを検出できれば、視線の位置を特定するような高度なセンシング技術を用いる必要がない。
【００１５】
さらに、上記のようにして判定された熟練度に応じた指示レベルで作業者に作業を指示する場合、熟練度が異なるあらゆる作業者が、指示内容を十分かつ迅速に理解することができ、正確かつ効率的に作業を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る作業支援装置が使用される作業場の一例を示す平面図である。
【図２】本発明の一実施形態に係る作業支援装置を示すシステム図である。
【図３】作業指示用ディスプレイに表示される作業指示画面の一例を示す図である。
【図４】作業支援装置の制御装置により実行される制御動作の流れを示すフローチャートである。
【図５】作業者の視線移動速度の分布の一例を示すグラフである。
【図６】第１の実施形態に係る熟練度判定制御の制御動作の流れを示すフローチャートである。
【図７】測定値に基づく視線移動速度の分布データに重み付けを行う意義を説明するための図である。
【図８】重み付けの方法の具体例を示す図である。
【図９】分布同士の類似度を説明するための図である。
【図１０】第２の実施形態に係る熟練度判定制御の制御動作の流れを示すフローチャートである。
【図１１】視線の移動速度の算出方法を説明するための図である。
【図１２】実験１の結果を示すグラフである。
【図１３】実験２の結果を示すグラフである。
【発明を実施するための形態】
【００１７】
先ず、作業者の熟練度を正確に判定するための技術を開発することを目的として、本願発明者により行われた実験について説明する。
【００１８】
［実験１］
実験１では、部品に設けられた複数の穴にボルトを差し込んで締め付ける作業において、作業者の視線の移動速度が熟練度によってどのように異なるかを確認した。
【００１９】
具体的に、実験１では、作業経験６ヶ月の初心者と、作業経験約５年の熟練者とがそれぞれアイマークレコーダを装着して上記作業を行っているときに、アイマークレコーダにより各作業者の視線の位置を継続的に計測した。また、この計測値に基づいて視線の移動速度を逐次算出し、該視線移動速度の分布を算出した。
【００２０】
なお、アイマークレコーダとしては、装着者の前方の視野を撮像する視野カメラと、装着者の左右の瞳孔をそれぞれ撮像する一対の視線カメラとを備え、これらのカメラにより１秒間に６０回撮像された画像データに基づいて装着者の視線の位置を計測および記録するものを使用した。
【００２１】
また、図１１に示すように、視線移動速度の算出に際しては、前回の撮像データに基づく視線位置と、今回の撮像データに基づく視線位置との距離が所定距離未満であるときは視線が停留しているとみなすとともに、前記距離が所定距離以上であるときに視線が移動したとみなした上で、視線が移動したとみなされるときのみ移動速度を算出した。なお、視線移動速度として、具体的には角速度［ｄｅｇ／ｓｅｃ］を算出した。
【００２２】
実験１の結果、図１２に示すように、熟練者の視線移動速度は約２００ｄｅｇ／ｓｅｃに著しいピークが現れたのに対して、初心者の視線移動速度には顕著なピークが現れなかった。また、初心者の視線移動速度は１２０ｄｅｇ／ｓｅｃ前後となる頻度が比較的高くなったのに対して、熟練者の視線移動速度が当該速度範囲となることはほとんどなかった。この結果から、熟練者の視線移動速度は特定の速度範囲において顕著なピークが現れるが、初心者ではそのような傾向が見られないことを確認できた。
【００２３】
［実験２］
実験２では、半田付けにより８素子からなる簡単な電子回路を製作する作業において、作業者の視線の移動速度が熟練度によってどのように異なるかを確認した。
【００２４】
具体的に、実験２では、作業経験３ヶ月の初心者と、作業経験５年の熟練者とがそれぞれ実験１と同じアイマークレコーダを装着して上記作業を行っているときに、アイマークレコーダにより各作業者の視線の位置を継続的に計測し、この計測値に基づいて視線の移動速度を算出するとともに、該視線移動速度の分布を算出した。なお、視線位置の計測は初心者については４５分間、熟練者については４０分間行った。また、視線移動速度の算出は、実験１と同様の方法により行った。
【００２５】
実験２の結果、図１３に示すように、熟練者の視線移動速度は約２３０ｄｅｇ／ｓｅｃに著しいピークが現れたのに対して、初心者の視線移動速度には明確なピークが現れなかった。この結果から、実験１と同様、熟練者の視線移動速度は特定の速度範囲において顕著なピークが現れるが、初心者ではそのような傾向が見られないことを確認できた。
【００２６】
上記の実験１及び２の結果から、本願発明者は、作業者の熟練度が増すほど、視線移動速度の分布において特定の速度範囲に顕著なピークが現れやすいことを見出した。これは、作業者の熟練度が増すに連れて作業中に次に見るべき場所を正確に理解できるようになり、視線移動速度が安定するためであると考えられる。
【００２７】
本発明は、この点に着目して得られたものであり、以下、本発明の実施形態について具体的に説明する。
【００２８】
［実施形態］
以下、本発明の実施形態について、添付図面を参照しながら詳細に説明する。なお、以下の説明において、同一又は類似の構成部分には同一の符号を用いている。
【００２９】
本実施形態では、図１の平面図に示す作業場における部品の組立作業を支援する構成について説明する。ただし、本発明が適用される作業の種類は、部品の組立作業に限定されるものでなく、検査作業等の種々の作業に本発明を適用することができる。
【００３０】
図１に示す作業場では、作業者１００の前方に、作業を指示する表示がなされる作業指示用ディスプレイ４０と、組立対象の部品が置かれる作業台５０とが設置されており、該作業台５０の近傍において、作業用工具６０が天井から吊り下げられている。また、作業者１００の後方には、組立対象の部品を収納する収納部が設置されている。この作業場において、作業者１００は、作業指示用ディスプレイ４０の表示画面を見ながら、該画面の指示に従って作業を行う。
【００３１】
ただし、本発明において、作業者に作業を指示する方法の種類は、画面表示に限られるものでなく、画面表示に代えて又は画面表示と組み合わせて、音声等の別の指示方法を用いるようにしてもよい。
【００３２】
図２は、本実施形態に係る作業支援装置１を示すシステム図である。
【００３３】
図２に示す作業支援装置１は、上記の作業指示用ディスプレイ４０と、作業者１００の視線を検出する視線計測用カメラ３０と、該カメラ３０の計測値に基づいて各種制御を行う制御装置１０とを有する。
【００３４】
視線計測用カメラ３０は、作業者１００の視線の動きを検出可能なように作業者１００の例えば頭部に装着されるか又は作業場の例えば作業台５０に設置されて使用される。このカメラ３０としては、例えば、上記の実験１及び２で使用したアイマークレコーダの視線カメラが用いられるが、作業者１００の視線の移動速度を検出可能なものであれば、種々のカメラを使用することができ、また、カメラ３０に代えて別の視線検出手段を用いてもよい。
【００３５】
制御装置１０は、視線計測用カメラ３０から出力される信号を入力可能に設けられており、該カメラ３０から送られる信号に基づいて演算処理を行い、作業指示用ディスプレイ４０へ制御信号を出力するようになっている。
【００３６】
また、作業支援装置１は、制御装置１０の制御動作に必要な種々のデータを記憶するための記憶装置２０を有する。本実施形態において、記憶装置２０は、制御装置１０に接続された外部記憶装置であるが、制御装置１０に内蔵された記憶装置であってもよい。
【００３７】
この記憶装置２０には、作業者１００に作業を指示するために作業指示用ディスプレイ４０に表示される複数の表示データ、具体的には、同一内容の作業毎に複数の表示データが記憶されている。該複数の表示データには、データ毎に異なる指示レベルが設定されており、表示データの指示レベルによって、ディスプレイ４０の表示内容の詳細度が変わるようになっている。
【００３８】
指示レベルは同一内容の作業毎に例えば２段階設定され、この場合、指示内容を比較的シンプルに表示するための熟練者向けの表示データと、同一の指示内容を比較的詳細に表示するための初心者向けの表示データとが記憶装置２０に記憶される。ただし、本発明において、指示レベルは同一内容の作業毎に３段階以上設定してもよく、この場合、同一内容毎に、指示レベルに応じて指示の詳細度が異なる３段階以上の表示データが記憶装置２０に記憶される。
【００３９】
図３は、部品に設けられた複数のねじ穴に、別の棒状部品をねじ込む作業に関して、ディスプレイ４０に表示される作業指示画面の具体例を示している。
【００４０】
図３（ａ）に示す画面は、指示内容を比較的詳細に示す初心者向けの作業指示画面である。該画面には、組立対象の両部品の立体的な画像が表示されるとともに、棒状部品の品番、工具の種類および締め付けトルクを教示する文字に加えて、棒状部品を挿入する箇所、棒状部品の品番を確認する箇所、及び具体的な挿入方法を教示する文字が表示され、この画面を見た初心者が作業内容を容易に理解できるようになっている。
【００４１】
一方、図３（ｂ）に示す画面は、指示内容を比較的シンプルに示す熟練者向けの作業指示画面である。該画面には、熟練者にとって必要な情報のみが表示されるようになっており、具体的には、ねじ穴を備えた部品のみが平面的な模式図で表示されるとともに、文字に関しては、棒状部品の品番、工具の種類および締め付けトルクを教示する文字のみが表示される。これにより、該画面を見た熟練者は、ディスプレイ４０の表示内容が冗長に感じられることがなく、迅速かつ確実に指示内容を理解することができる。
【００４２】
なお、図３に示す２つの表示内容はあくまでも具体例の一つに過ぎず、指示レベルに応じて表示内容を異ならせるための構成はこの他にも種々考えられる。その他の構成としては、例えば、熟練者向けの指示画面に静止画を用い、初心者向けの指示画面には動画を用いる構成、又は、熟練者向けの指示は画面表示のみで行い、初心者向けの指示には画面表示に加えて音声を使用する構成などが考えられる。また、本発明は、いずれの作業者１００に対しても音声のみによって作業指示を行う場合にも適用することができ、この場合も、上記と同様、同一内容の作業毎に指示の詳細度が異なる複数の指示レベルを設定するとともに、指示レベルに応じて音声の内容を異ならせるようにすればよい。
【００４３】
図２に戻って、記憶装置２０には、更に、作業者１００の視線移動速度の分布に関して後述の熟練度判定部１３による判定の基準となる基準分布が記憶されている。記憶装置２０に記憶しておく基準分布は１つのみであってもよいし、複数であってもよい。
【００４４】
また、制御装置１０は、視線計測用カメラ３０により検出された視線の移動速度を算出する視線速度算出部１１と、該視線速度算出部１１により算出された視線移動速度の分布を算出する分布算出部１２と、該分布算出部１２により算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定部１３と、上記のように同一内容の作業について予め設定された複数の指示レベルの中から、熟練度判定部１３により判定された熟練度に対応する指示レベルを選択する指示レベル選択部１４と、を備えている。
【００４５】
図４は、作業者１００の作業を支援するために制御装置１０により実行される制御動作の流れを示すフローチャートである。
【００４６】
図４に示す制御動作は、作業者１００により実際の作業が行われるとともに、作業者１００に装着されるか又は作業場に設置された視線計測用カメラ３０により、例えば上述の実験１及び２と同様の計測方法で作業者１００の視線が検出されている状態で実行される。作業者１００の視線の検出は、例えば作業開始時から所定期間継続して行われる。
【００４７】
この制御動作では、先ず、視線計測用カメラ３０により検出された視線情報が読み取られる（ステップＳ１）。具体的には、視線計測用カメラ３０で検出された所定時間分の作業者１００の視線の位置の情報が読み取られる。
【００４８】
続いて、視線速度算出部１１により、ステップＳ１で読み取られた視線情報に基づいて、作業者１００の視線の移動速度が算出される（ステップＳ２）。具体的には、例えば、上述の実験１及び２と同様の算出方法（図１１参照）により、視線計測用カメラ３０による連続２回分の撮像データの比較に基づいて視線が移動したとみなされたときの移動速度が算出される。なお、視線移動速度として、具体的には角速度［ｄｅｇ／ｓｅｃ］が算出されるが、並進速度が算出されるようにしてもよい。
【００４９】
次に、分布算出部１２により、ステップＳ２で算出された視線移動速度の分布が算出される（ステップＳ３）。これにより、例えば図５に示すような分布が算出される。なお、図５において、横軸は視線移動速度を、縦軸は頻度をそれぞれ示し、分布全体における頻度の積算値は１とされている。
【００５０】
続くステップＳ４では、熟練度判定部１３により、ステップＳ３で算出された視線移動速度の分布に基づいて公知の分類アルゴリズムを実行して、作業者１００の熟練度が判定される。これにより、作業者１００の熟練度が高いほど作業中の視線の移動速度が安定し、視線移動速度の分布において特定の速度範囲にピークが現れやすくなることを利用して、作業者１００の熟練度を正確に判定することができる。また、この判定のためには、作業者１００の視線の動きを検出する必要はあるが、視線の位置を特定する必要はないため、複雑で高度なセンシング技術が不要となる。なお、このステップＳ４の処理の具体的な制御動作（以下、「熟練度判定制御」ともいう。）については後述する。
【００５１】
次に、指示レベル選択部１４により、記憶装置２０に予め記憶された複数の指示レベルの中から、ステップＳ４で判定された作業者１００の熟練度に対応する指示レベルが選択される（ステップＳ５）。
【００５２】
最後に、作業指示用ディスプレイ４０により、ステップＳ５で選択された指示レベルで作業者１００に対して作業指示がなされる（ステップＳ６）。具体的には、上述したように、選択された指示レベルに対応する作業指示画面が作業指示用ディスプレイ４０に表示される（図３参照）。これにより、熟練度が異なるあらゆる作業者１００が、ディスプレイ４０に表示された指示内容を十分かつ迅速に理解することができ、正確かつ効率的に作業を行うことができる。
【００５３】
以下、熟練度判定部１４による熟練度判定制御（図４のステップＳ４の具体的な制御動作）に関して、第１及び第２の実施形態に分けて具体的に説明する。
【００５４】
［第１の実施形態］
第１の実施形態では、上述の基準分布として、典型的な初心者の視線移動速度の分布データＨｂと、典型的な熟練者の視線移動速度の分布データＨｓとが予め記憶装置２０に記憶されている場合について説明する。
【００５５】
図６は、第１の実施形態に係る熟練度判定制御の各処理の流れを示すフローチャートである。
【００５６】
この制御動作では、先ず、図４のステップＳ３で算出された作業者１００の視線移動速度の分布データＨｍと、上記の典型的な初心者の視線移動速度の分布データＨｂと、上記の典型的な熟練者の視線移動速度の分布データＨｓとが読み取られる（ステップＳ１１）。
【００５７】
続くステップＳ１２では、ステップＳ１１で読み取られた作業者１００の視線移動速度の分布データＨｍに関して、前処理としての重み付けが実行される。なお、熟練度判定制御においては、ステップＳ１２の前処理を省略することも可能であるが、この前処理を実行することで、より正確な判定を行うことができる。
【００５８】
図７を参照しながら、ステップＳ１２の前処理を行う意義について説明する。図７の符号ａと符号ｂに示すように、作業内容によっては視線移動速度の分布に複数のピークが現れることがある。ところが、図７に示す例において、符号ａで示されるピークは熟練者と初心者のいずれにおいても顕著に現れるため、当該ピークａが現れる速度範囲においては、作業者１００の熟練度による分布の違いが明確に生じない。一方、符号ｂで示されるピークは初心者に比べて熟練者の方が顕著に現れるため、当該ピークｂが現れる速度範囲においては、作業者１００の熟練度によって分布が顕著に異なることとなる。こうした観点から、上記のステップＳ１２では、熟練者の分布には顕著なピークが現れるが初心者の分布には明確なピークが現れ難い速度範囲を重視して、当該速度範囲の分布に評価対象としての重みを付ける処理が実行される。
【００５９】
ステップＳ１２の前処理の具体的な方法としては、種々の方法を採用することができるが、例えば図８に示す方法が採用される。図８に示す方法では、所定の速度範囲の分布に評価対象が限定される。より具体的には、作業者１００の視線移動速度の分布データＨｍのうち該所定速度範囲に属する分布部分のみが取り出されて、該分布部分の頻度の値に、該分布部分における積算値が１となるように所定の係数が乗算される。これにより、所定速度範囲に限定された分布データＨｍが得られ、この前処理後の分布データＨｍを用いて以降の処理が実行される。
【００６０】
図６に戻って、次のステップＳ１３では、ステップＳ１２で前処理された分布データＨｍと典型的な初心者の分布データＨｂとの類似度Ｓｂと、前記前処理された分布データＨｍと典型的な熟練者の分布データＨｓとの類似度Ｓｓとがそれぞれ算出される。これらの類似度Ｓｂ，Ｓｓの計算方法は特に限定されないが、例えばヒストグラムインターセクション、バタッチャリヤ係数または相関係数が類似度として計算される。
【００６１】
なお、ヒストグラムインターセクションは次の数式１で表される。
【数１】
このヒストグラムインターセクションの値は０以上１以下の実数であり、数値が大きいほど類似度が高いことを示す。さらに図９（ａ）及び図９（ｂ）を参照しながら説明すると、ヒストグラムインターセクションの値は、比較対象である両分布の縦軸の値（図９では頻度）のうち低い方の値を積算した値、すなわち図中の斜線部分の面積の大きさに等しい値となる。つまり、ヒストグラムインターセクションの値は、両分布の形状が近いほど大きな値となり、例えば、図９（ａ）に示す両分布に比べて図９（ｂ）に示す両分布の方が大きな値となる。
【００６２】
また、バタッチャリヤ係数は次の数式２で表される。
【数２】
このバタッチャリヤ係数の値も０以上１以下の実数であり、数値が大きいほど類似度が高いことを示す。また、ヒストグラムインターセクションと同様、比較対象である両分布の形状が近いほど大きな値となる。
【００６３】
さらに、相関係数は次の数式３で表される。
【数３】
この相関係数の値は−１以上１以下の実数であり、相関係数が０であるときは無相関であり、相関係数が−１であるときは負の相関が最大であり、相関係数が１であるときは正の相関が最大であることを示す。また、ヒストグラムインターセクション及びバタッチャリヤ係数と同様、比較対象である両分布の形状が近いほど大きな値となる。
【００６４】
続くステップＳ１４では、ステップＳ１３で算出された２つの類似度Ｓｂ，Ｓｓの大小関係が判定される。
【００６５】
ステップＳ１４の判定の結果、測定値に基づく分布データＨｍと典型的な初心者の分布データＨｂとの類似度Ｓｂと、測定値に基づく分布データＨｍと典型的な熟練者の分布データＨｓとの類似度Ｓｓとを比較して、前者の方が大きい場合、作業者１００は初心者であると判定され（ステップＳ１５）、後者が前者以上である場合、作業者１００は熟練者であると判定される（ステップＳ１６）。
【００６６】
このように、第１の実施形態によれば、作業者１００の視線移動速度の分布データＨｍが、予め用意された典型的な初心者および熟練者の分布データＨｂ，Ｈｓのいずれに類似しているかを判定することで、作業者１００の熟練度判定を、簡単なデータ処理により正確に行うことができる。
【００６７】
なお、第１の実施形態では、上記２つの基準分布のデータＨｂ，Ｈｓを予め記憶装置２０に記憶しておき、これらの分布データＨｂ，Ｈｓと、視線計測用カメラ３０の測定値に基づいて算出された作業者１００の視線移動速度の分布データＨｍとの類似度Ｓｂ，Ｓｓをそれぞれ算出して、これらの類似度Ｓｂ，Ｓｓを比較することで作業者１００の熟練度を判定する場合について説明したが、同一の作業内容について記憶装置２０に記憶しておく基準分布の個数は必ずしも２つでなくてもよい。
【００６８】
具体的には、例えば、基準分布として上記の初心者の分布データＨｂ又は熟練者の分布データＨｓの一方のみを記憶装置２０に記憶しておいてもよく、この場合、記憶装置２０に記憶された基準分布のデータＨｂ（又はＨｓ）と、測定値に基づいて算出された分布データＨｍとの類似度Ｓｂ（又はＳｓ）を算出するとともに、該類似度Ｓｂ（又はＳｓ）が所定の類似度Ｓ１よりも大きければ初心者（又は熟練者）、所定の類似度Ｓ１以下であれば熟練者（又は初心者）であると判定することができる。ただし、この場合、基準分布を２つ設定する場合に比べて、理想的な基準分布の選定が困難であるため、熟練度の判定精度を高める観点においては、上記の第１の実施形態の構成がより好ましい。
【００６９】
また、その他の構成例として、熟練度が異なる３段階以上の基準分布のデータを記憶装置２０に記憶しておいてもよく、この場合、これらの基準分布の各データと、測定値に基づいて算出された分布データＨｍとの類似度をそれぞれ算出するとともに、これらの類似度のうち最も類似度が大きい基準分布に対応する熟練度を、作業者１００の熟練度として判定することもできる。この場合、作業者１００の熟練度を３段階以上に分けて判定することができ、この判定結果に基づいて、予め記憶装置２０に記憶された３段階以上の指示レベルの中から選択された適切な指示レベルで、作業者１００に対して作業指示がなされる。
【００７０】
［第２の実施形態］
第２の実施形態では、過去に実際の計測値に基づいて得られたＮ個の視線移動速度の分布データＨｎ（ｎ＝１、２、３、．．．Ｎ）からなり、各分布データＨｎに熟練者または初心者のラベルが付されたデータ群が記憶装置２０に蓄積されており、該データ群から選択されるＫ個（Ｋ＜Ｎ）の分布データＨｎが上記基準分布として使用される場合について説明する。
【００７１】
図１０は、第２の実施形態に係る熟練度判定制御の各処理の流れを示すフローチャートである。
【００７２】
この制御動作では、先ず、図４のステップＳ３で算出された作業者１００の視線移動速度の分布データＨｍと、上記のデータ群のＮ個の分布データＨｎとが読み取られる（ステップＳ２１）。
【００７３】
続くステップＳ２２では、第１の実施形態と同様（図６のステップＳ１２、図７及び図８参照）、ステップＳ２１で読み取られた作業者１００の視線移動速度の分布データＨｍに関して、重み付けによる前処理が実行される。なお、第１の実施形態と同様、ステップＳ２２の前処理を省略することは可能であるが、この前処理を実行することで、より正確な判定を行うことができる。
【００７４】
次のステップＳ２３では、ステップＳ２２で前処理された分布データＨｍと、上記Ｎ個の分布データＨｎとの各類似度Ｓｎ（ｎ＝１、２、３、．．．Ｎ）が算出される。これらの類似度Ｓｎの計算方法は、第１の実施形態と同様、特に限定されるものでないが、例えばヒストグラムインターセクション、バタッチャリヤ係数または相関係数が類似度として計算される。
【００７５】
続くステップＳ２４では、ステップＳ２３で算出されたＮ個の類似度Ｓｎの中から最も高いＫ個の類似度Ｓｎが選択されるとともに、上記データ群の中から、前記最も高いＫ個の類似度Ｓｎに対応するＫ個の分布データＨｎが上記基準分布として選択される。
【００７６】
次に、ステップＳ２５において、ステップＳ２４で選択されたＫ個の分布データＨｎのうち、初心者ラベルが付されたデータＨｎが半数以上あるか否かが判定される。
【００７７】
ステップＳ２５の判定の結果、初心者ラベルが付されたデータＨｎが半数以上である場合、作業者１００は初心者であると判定され（ステップＳ２６）、熟練者ラベルが付されたデータＨｎが半数以上である場合、作業者１００は熟練者であると判定される（ステップＳ２７）。
【００７８】
このように、第２の実施形態によれば、過去の計測に基づいて蓄積されたデータＨｎを利用して判定を行うことができるため、第１の実施形態のように基準分布を作成しておく必要がなく、基準分布の作成の仕方に起因する判定の偏りを回避することができる。
【００７９】
なお、第２の実施形態において、図１０のステップＳ２６又はステップＳ２７で作業者１００の熟練度が判定された後、今回の測定値に基づく分布データＨｍに初心者または熟練者のラベルを付した上で、該データＨｍを上記データ群に追加される一データＨｎとして記憶装置２０に蓄積されるようにしてもよい。
【００８０】
また、第２の実施形態では、上記データ群の各データＨｎに初心者または熟練者のラベルが付されている場合について説明したが、各データＨｎには、熟練度が異なる３段階以上の熟練度ラベルが付されるようにしてもよい。この場合、Ｎ個の類似度Ｓｎのうち最も高いＫ個の類似度Ｓｎを選択するとともに、該Ｋ個の類似度Ｓｎに対応するＫ個のデータＨｎに付された熟練度ラベルのうち、最も多い熟練度を作業者１００の熟練度として判定すればよい。
【００８１】
以上、上述の実施形態を挙げて本発明を説明したが、本発明は上述の実施形態に限定されるものではない。
【００８２】
例えば、上述の実施形態では、作業者の熟練度に応じた指示レベルで作業を指示するために、作業者の熟練度を判定する構成について説明したが、本発明において、熟練度を判定する目的はこれに限られず、例えば、作業内容自体を作業者毎に熟練度に応じて決定することを目的とする場合、又は、熟練度に応じて作業者を教育することを目的とする場合などにも本発明を適用することができる。
【産業上の利用可能性】
【００８３】
以上のように、本発明によれば、作業者の熟練度を正確に判定することができ、これにより、作業者の熟練度に応じて効果的に作業を支援することが可能となるから、作業現場において作業者の熟練度を知る必要があるあらゆる産業分野において好適に利用される可能性がある。
【符号の説明】
【００８４】
１：作業支援装置、１０：制御装置、１１：視線速度算出部、１２：分布算出部、１３：熟練度判定部、１４：指示レベル選択部、２０：記憶装置、３０：視線計測用カメラ（視線検出手段）、４０：作業指示用ディスプレイ（作業指示手段）、１００：作業者。
【特許請求の範囲】
【請求項１】
作業者の視線を検出する視線検出手段と、
該視線検出手段により検出された視線の移動速度を算出する視線速度算出手段と、
該視線速度算出手段により算出された視線移動速度の分布を算出する分布算出手段と、
該分布算出手段により算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定手段と、を備えたことを特徴とする作業支援装置。
【請求項２】
同一内容の作業について予め設定された詳細度が異なる複数の指示レベルの中から、前記熟練度判定手段により判定された熟練度に対応する指示レベルを選択する指示レベル選択手段と、
該指示レベル選択手段により選択された指示レベルで作業者に作業を指示する作業指示手段と、を更に備えたことを特徴とする請求項１に記載の作業支援装置。
【請求項３】
作業者の視線移動速度の分布に関して、前記熟練度判定手段による判定の基準となる基準分布を記憶しておく記憶手段を更に備え、
前記熟練度判定手段は、前記記憶手段に記憶された基準分布と、前記分布算出手段により算出された分布との類似度に基づいて、作業者の熟練度を判定することを特徴とする請求項１または２に記載の作業支援装置。
【請求項４】
作業者の視線を所定期間継続して検出する視線検出工程と、
該視線検出工程で検出された視線の移動速度を算出する視線速度算出工程と、
該視線速度算出工程で算出された視線移動速度の分布を算出する分布算出工程と、
該分布算出工程で算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定工程と、を備えたことを特徴とする作業支援方法。
【請求項１】
作業者の視線を検出する視線検出手段と、
該視線検出手段により検出された視線の移動速度を算出する視線速度算出手段と、
該視線速度算出手段により算出された視線移動速度の分布を算出する分布算出手段と、
該分布算出手段により算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定手段と、を備えたことを特徴とする作業支援装置。
【請求項２】
同一内容の作業について予め設定された詳細度が異なる複数の指示レベルの中から、前記熟練度判定手段により判定された熟練度に対応する指示レベルを選択する指示レベル選択手段と、
該指示レベル選択手段により選択された指示レベルで作業者に作業を指示する作業指示手段と、を更に備えたことを特徴とする請求項１に記載の作業支援装置。
【請求項３】
作業者の視線移動速度の分布に関して、前記熟練度判定手段による判定の基準となる基準分布を記憶しておく記憶手段を更に備え、
前記熟練度判定手段は、前記記憶手段に記憶された基準分布と、前記分布算出手段により算出された分布との類似度に基づいて、作業者の熟練度を判定することを特徴とする請求項１または２に記載の作業支援装置。
【請求項４】
作業者の視線を所定期間継続して検出する視線検出工程と、
該視線検出工程で検出された視線の移動速度を算出する視線速度算出工程と、
該視線速度算出工程で算出された視線移動速度の分布を算出する分布算出工程と、
該分布算出工程で算出された視線移動速度の分布に基づいて、作業者の熟練度を判定する熟練度判定工程と、を備えたことを特徴とする作業支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２３４４０６（Ｐ２０１２−２３４４０６Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０３１５８（Ｐ２０１１−１０３１５８）
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（００００００９７４）川崎重工業株式会社 (1,710)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（００００００９７４）川崎重工業株式会社 (1,710)
【Ｆターム（参考）】
[ Back to top ]