作業支援システム、作業支援方法、および、作業用端末
【課題】作業現場への導入が容易で、かつ、新たな作業の発生等による作業者への負担が少ない作業支援技術の提供。
【解決手段】作業手順書から、作業者が実施する作業の順番に作業画像を含む作業画像列を生成する画像列生成部と、作業画像列から抽出された作業画像を、出力装置に表示する出力部と、取得された作業者が見る方向の画像を含む複数の視野画像から、作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、抽出された注視画像と、抽出された注視画像が視野画像として取得された際に出力部によって表示された作業画像と、の類似度を算出する類似度算出部と、作業者が適切に作業を実施しているか否かを、作業画像が表示された時刻からの経過時間、抽出された注視画像、または、算出された類似度を用いて判定する作業状況判定部と、を備え、出力部は判定結果に従って、作業に関する情報を出力する。
【解決手段】作業手順書から、作業者が実施する作業の順番に作業画像を含む作業画像列を生成する画像列生成部と、作業画像列から抽出された作業画像を、出力装置に表示する出力部と、取得された作業者が見る方向の画像を含む複数の視野画像から、作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、抽出された注視画像と、抽出された注視画像が視野画像として取得された際に出力部によって表示された作業画像と、の類似度を算出する類似度算出部と、作業者が適切に作業を実施しているか否かを、作業画像が表示された時刻からの経過時間、抽出された注視画像、または、算出された類似度を用いて判定する作業状況判定部と、を備え、出力部は判定結果に従って、作業に関する情報を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業支援システムに関し、特に、作業手順書に基づいて作業者の安全かつ適切な作業を支援する作業支援システムに関するものである。
【背景技術】
【０００２】
建設工事または保全工事等の現場においては、作業不備および事故を未然に防止することが重要な課題である。作業不備および事故を防止するためには、通常、作業を実施する各作業員に、作業対象および作業手順の確認および慎重な作業進行の徹底等が図られているが、疲労および集中力の低下、不注意等に起因するヒューマンエラーを撲滅するには至っていないのが現状である。
【０００３】
この問題を解決するため、ＩＴ技術を用いることにより、作業が適切に進行しているか否かを判定する、または、作業者が作業内容を理解して作業を進めているか否かを判定することにより、作業不備および事故を未然に防止するための作業支援技術が検討されてきた（例えば、特許文献１、特許文献２、および特許文献３参照）。
【０００４】
特許文献１では、ＩＣタグ等によって作業対象に識別情報を付与し、作業の開始時および終了時に読取り装置を用いて読み取った識別情報に基づいて、作業が正しく進行しているか否かを判定する技術が開示されている。
【０００５】
また、特許文献２では、各種センサを作業対象の機器または作業者に付与することによって、作業中に各種センサから取得された機器の使用状況および作業者の位置等の情報と、あらかじめ作業毎に想定されるセンサ情報とを比較する技術が開示されている。そして、特許文献２では、比較結果に従って、どの作業が実施されたかを判定し、また、実施された作業を一覧表示する技術が開示されている。
【０００６】
一方、特許文献３では、計算機における作業を想定した技術が開示されており、利用者の計算機における操作情報を取得し、あらかじめ用意されている基準となる操作情報との類似度に基づいて、作業者が作業内容を理解しながら作業を進めているか否かを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−９１３１６号公報
【特許文献２】特開２００６−１６４２５１号公報
【特許文献３】特開平１１−２４９７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述の特許文献１および特許文献２が開示する従来技術では、管理者が、ＩＣタグもしくは各種センサ等を作業対象もしくは作業機材等に設置すること、または、ＩＣタグもしくは各種センサが装備された新たな装置を、各システムに導入することが前提となる。また、管理者が、ＩＣタグもしくは各種センサから入力される情報と各作業とを対応付ける情報とを、データベースとしてあらかじめ正しく整備するなどの、準備をしておく必要がある。
【０００９】
しかし、大規模な作業現場の場合、多数の作業対象または作業機材を使用するため、それらの作業対象または作業機材をすべて整備し、適切に管理するためには多大な労力を要する。このため、特許文献１および特許文献２における従来技術による作業支援技術を導入することは容易では無いという問題がある。また、特許文献３が開示する技術についても、建設工事または保全工事の現場を対象とする場合、管理者が、特許文献１および特許文献２にあるようなＩＣタグまたは各種センサを事前に多数設置しておく必要があり、特許文献１及び特許文献２における前述の問題と、同様の問題が生じる。
【００１０】
さらに、特許文献１が開示する技術を導入する場合、作業者が、読取り装置を用いて識別情報を読み取る、という通常の作業では発生しない新たな作業を行う必要が生じる。詳細に作業状況を判定するためには、このような新たな作業が多数発生することになり、それらが作業者の負担となり、その結果、作業不備および事故を発生させる可能性が高くなるという問題が生じる。
【００１１】
本発明の目的は、作業の進行状況が適切であるか否かを客観的に判定することにより、作業不備および事故を未然に防止するための作業支援技術を実現することにあり、特に、作業現場への導入が容易で、かつ、新たな作業の発生等による作業者への負担が少ない作業支援技術を実現することにある。
【課題を解決するための手段】
【００１２】
本発明の代表的な一例を示せば以下の通りである。すなわち、作業者に作業手順書を表示する出力装置を備えた作業支援システムであって、前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、前記作業支援システムは、プロセッサとメモリと入力装置とを備え、前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成部と、前記作業画像列から抽出された作業画像を、前記出力装置に表示する出力部と、前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、前記出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力する。
【発明の効果】
【００１３】
本発明の一実施形態によると、作業不備および事故を未然に防止するための作業支援システムを、作業現場へ容易に導入できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【図２】本発明の第１の実施形態の作業者が参照する作業手順書を示す説明図である。
【図３】本発明の第１の実施形態の作業手順書の電子的なフォーマットを示す説明図である。
【図４】本発明の第１の実施形態の作業画像列の電子的なフォーマットを示す説明図である。
【図５】本発明の第１の実施形態の入力装置を示す説明図である。
【図６】本発明の第１の実施形態の視野映像から注視画像を抽出する方法を示す説明図である。
【図７】本発明の第１の実施形態の注視画像の抽出方法を示す説明図である。
【図８】本発明の第１の実施形態の作業状況の判定処理を示すフローチャートである。
【図９】本発明の第１の実施形態の出力装置に表示される実施中の作業画像を示す説明図である。
【図１０】本発明の第１の実施形態の出力装置に表示される終了した作業画像を示す説明図である。
【図１１】本発明の第１の実施形態の作業者に提示される注意喚起の画面を示す説明図である。
【図１２】本発明の第２の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【図１３】本発明の第２の実施形態の注視画像と作業手順書との対応を示す編集画面を示す説明図である。
【図１４】本発明の第２の実施形態の注視画像を作業手順として挿入するための編集画面を示す説明図である。
【図１５】本発明の第２の実施形態の作業画像の説明文を入力するための画面を示す説明図である。
【図１６】本発明の第２の実施形態の注視画像を作業画像として挿入した後の編集画面を示す説明図である。
【図１７】本発明の第２の実施形態の注視画像を注意画像として挿入するための編集画面を示す説明図である。
【図１８】本発明の第２の実施形態の作業手順書の電子的なフォーマットを示す説明図である。
【図１９】本発明の第２の実施形態の注意画像の説明文を入力するための画面を示す説明図である。
【図２０】本発明の第２の実施形態の注視画像を注意画像として挿入した後の画面を示す説明図である。
【図２１】本発明の第３の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【図２２】本発明の第３の実施形態のヒヤリハット映像に格納される情報のフォーマットを示す。
【図２３】本発明の第３の実施形態のヒヤリハット画像と作業手順書との対応を示す編集画面を示す説明図である。
【図２４】本発明の第３の実施形態のヒヤリハット映像を注意画像として挿入するための編集画面を示す説明図である。
【図２５】本発明の第３の実施形態の作業画像の説明文を入力するための画面を示す説明図である。
【図２６】本発明の第３の実施形態のヒヤリハット映像を注意画像として挿入した後の編集画面を示す説明図である。
【図２７】本発明の第４の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。
【図２８】本発明の第５の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明は、作業者の視野画像から抽出された注視画像に基づいて、作業者の作業の進捗を判定することによって、作業不備および事故を未然に防止する。
【００１６】
（第１の実施形態）
本発明における第１の実施形態を図１から図１１を用いて説明する。
【００１７】
図１は、本発明の第１の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【００１８】
第１の実施形態の作業支援システムは、情報処理装置１０１、入力装置１０２、出力装置１０３、記憶装置１０４、作業手順書１１０、及び、作業画像列１１１を有する。作業支援システムに含まれる各要素は、一つの計算機に格納され、バスによって接続されてもよく、また、複数の計算機に格納され、ネットワークインタフェースを介して接続されてもよい。
【００１９】
情報処理装置１０１は、第１の実施形態の作業支援システムに必要な各種のプログラムを実行するための情報処理装置である。情報処理装置１０１は、例えば、ＣＰＵ等のプロセッサである。
【００２０】
入力装置１０２は、作業支援システムに必要な情報を取得するための入力装置である。入力装置１０２は、例えば、作業者の顔が向いている方向の映像である視野映像を取得するためのビデオカメラ、または、視野映像中における作業者の視線位置を取得するための視線入力装置でもよい。また、作業手順書の編集または注意喚起情報に対する作業者または管理者による操作等を行うためのキーボード、マウス、またはタッチパネル等の一般的な入力装置が含まれる。
【００２１】
出力装置１０３は、作業手順書の表示および注意喚起の提示等に使用される出力装置である。出力装置１０３は、一般的なパソコン等に用いられるモニタ、スピーカ、または、振動装置等が含まれる。出力装置１０３は、作業手順書の編集のためにも使用される。
【００２２】
記憶装置１０４は、作業支援システムに必要な各種のプログラム、および、処理の途中経過に関する情報を格納するための記憶装置である。記憶装置１０４は、例えば、一時的にデータを記憶するメモリ等である。
【００２３】
記憶装置１０４は、作業画像列生成プログラム１０５、注視画像抽出プログラム１０６、類似度計算プログラム１０７、作業状況判定プログラム１０８、および、表示プログラム１０９を有する。
【００２４】
作業画像列生成プログラム１０５は、後述の作業手順書から、各作業に対応する画像である作業画像を抽出し、抽出された作業画像に基づいて、作業画像列を生成するためのプログラムである。本実施形態の作業画像列とは、抽出された作業画像を作業手順の順に保持する情報の集合である。
【００２５】
注視画像抽出プログラム１０６は、入力装置１０２から入力された視野映像から、作業者が特定の対象物を注視している際の画像である注視画像を抽出するためのプログラムである。本実施形態の注視画像とは、作業者が特定の対象物を所定の時間の間、見続けている（注視している）場合に、作業者によって注視されている特定の対象物を含む画像である。
【００２６】
類似度計算プログラム１０７は、注視画像抽出プログラム１０６および後述の作業状況判定プログラム１０８において、画像間の類似度を算出するために使用されるプログラムである。
【００２７】
作業状況判定プログラム１０８は、作業画像と注視画像との類似度に基づいて、作業が適切に終了したか否か、または、作業が適切に進行しているか否か、等の作業状況を判定するためのプログラムである。作業が適切に終了していない、または、作業が適切に進行していない、と作業状況判定プログラム１０８によって判定された場合、作業状況判定プログラム１０８は、後述の表示プログラム１０９を用いることによって、出力装置１０３に注意喚起を示す情報を出力する。
【００２８】
表示プログラム１０９は、作業手順書の内容または注意喚起を示す情報を出力装置１０３に表示するために使用されるプログラムである。
【００２９】
作業手順書１１０および作業画像列１１１は、情報を蓄積するための記憶領域であり、例えば、ＨＤＤ等の記憶装置に格納される。作業手順書１１０および作業画像列１１１は、一つの記憶装置に格納されてもよく、また、異なる記憶装置に格納されてもよい。
【００３０】
作業手順書１１０には、一連の作業手順における各作業に関する内容を示す作業手順書が格納される。本実施形態における作業に関する内容には、文字および記号の他、図面または写真等の画像情報が含まれる。
【００３１】
なお、作業手順書１１０に含まれる画像情報は、作業手順書１１０とは別の記憶領域に格納されてもよく、作業手順書１１０には、対応する画像情報の格納領域または対応する画像を特定するための情報のみが含まれてもよい。
【００３２】
作業画像列１１１には、作業画像列生成プログラム１０５によって作業手順書から生成された作業画像列が格納される。
【００３３】
図２は、本発明の第１の実施形態の作業者が参照する作業手順書を示す説明図である。
【００３４】
図２に示す作業手順書は、本実施形態において、作業者によって直接参照される作業手順書である。なお、作業手順書から作業画像列を生成できれば、本実施形態の作業手順書は、図２に示す作業手順書に限られず、いかなる形式の作業手順書でもよい。
【００３５】
図２に示す作業手順書は、領域２０１〜領域２１１を含む。領域２０１は、作業手順書のタイトルを示す。
【００３６】
作業手順書は、一般的に、複数の細かい作業によって構成される。領域２０２および領域２０６は、各作業の概要および種類等を示す見出しを示す。領域２０３および領域２０７は、各作業の内容に関する詳細な説明を示す。
【００３７】
領域２０４、領域２０８および領域２１０は、各作業の内容に関連する写真または図面等の画像（以下、作業画像と記載）を示す。領域２０５、領域２０９および領域２１１は、各作業画像の説明文を示す。
【００３８】
図２に示すように、作業画像およびその説明文は、領域２０２および領域２０６が示す各作業に複数含まれてもよい。また、図２に示す作業手順書は、一連の作業手順が複数の作業により構成される形態であるが、各作業はさらに細かい作業の列によって構成されるてもよく、すなわち、作業手順が複数の階層の作業に細かく再分化されて記載されてもよい。
【００３９】
図２に示す作業手順書は、紙に印刷された状態、または、画面に表示された作業手順書を示すが、本発明における作業支援システムは、図１の作業手順書１１０に電子的に格納される。
【００４０】
図３は、本発明の第１の実施形態の作業手順書１１０の電子的なフォーマットを示す説明図である。
【００４１】
図３に示す作業手順書のフォーマットは、タイトル３０１、作業数３０２、および、複数のデータ３０３（データ３０３−１〜データ３０３−ｍ：ｍは任意の自然数）を含む。
【００４２】
図３に示すタイトル３０１は、図２の領域２０１に表示される文字列に対応する。作業数３０２は、作業手順書を構成する作業の数を示す。
【００４３】
データ３０３は、各作業の内容を示す。作業数３０２が示す作業の個数分、作業手順書のフォーマットに格納される。図３に示す作業手順書のフォーマットは、ｍ個のデータ（データ３０３−１〜データ３０３−ｍ）を含む。
【００４４】
図３に示すデータ３０３−１は、領域３０５〜領域３１１を含み、データ３０３−ｍは、領域３１２〜領域３１８を含む。
【００４５】
各データ３０３は、各作業の見出しを示す値を含む。領域３０５および領域３１２には、作業の見出しが格納される。各データ３０３が示す作業の見出し（領域３０５または領域３１２）は、図２に示す領域２０２または領域２０６に表示される文字列に対応する。
【００４６】
各データ３０３は、作業の説明文を示す値を含み、領域３０６および領域３１３には、作業の説明文が格納される。各データ３０３が示す作業の説明文（領域３０６および領域３１３）は、図２に示す領域２０３または領域２０７に表示される文字列に対応する。
【００４７】
各データ３０３は、作業画像数を含み、領域３０７および領域３１４には、作業画像数が格納される。本実施形態における作業画像数とは、各作業を説明するために格納される作業画像の数である。
【００４８】
各データ３０３は、作業画像を示す情報を含み、領域３０８、領域３１０、領域３１５および領域３１７には、作業画像を示す情報が格納される。領域３０８、領域３１０、領域３１５および領域３１７は、図２の領域２０４、領域２０８、または、領域２１０に対応する。
【００４９】
データ３０３には、作業画像として、画像データが格納されてもよいし、また、他の記憶領域に格納される画像データを特定することができる識別子等の情報が格納されてもよい。
【００５０】
各データ３０３は、各作業画像を説明するための説明文を含む。領域３０９、領域３１１、領域３１６および領域３１８には、各作業画像に対する説明文が格納される。領域３０９、領域３１１、領域３１６および領域３１８は、図２の領域２０５、領域２０９および領域２１１に対応する。
【００５１】
データ３０３−１は、ｎ個（ｎは任意の自然数）の作業画像を含む。データ３０３−ｍは、ｐ個（ｐは任意の自然数）の作業画像を含む。
【００５２】
本実施形態の作業支援システムにおいて、作業画像列生成プログラム１０５は、作業者によって実施される作業に関する作業手順書から作業画像を抽出し、抽出された作業画像に、作業手順書１１０が示す作業手順の順に従って順序を付す。具体的には、番号等を付す。そして、順序を付けられた作業画像を作業画像列１１１に格納する。
【００５３】
表示プログラム１０９が、作業手順書１１０に格納される作業手順書のタイトル（タイトル３０１に格納される値）の一覧を出力装置１０３に表示し、作業者に入力装置１０２を介して、作業手順書のタイトルを選択させることによって、作業者によって実施される作業に関する作業手順書が決定される。
【００５４】
なお、表示プログラム１０９は、作業内容に関するキーワードを、作業者に入力させ、作業者が抽出したい作業手順書を作業手順書１１０から抽出する機能、または、作業者によって作業手順書を選択させる際に作業手順書の内容を作業者に確認させる機能等を有してもよい。また、作業手順書中のどの作業から開始するかを、作業者に指定させる機能を有してもよい。
【００５５】
実施される作業に関する作業手順書が作業者によって選択された後、作業画像列生成プログラム１０５は、図３に示すフォーマットに従って作業画像が格納されている箇所を作業手順書から検索する。そして、作業画像列生成プログラム１０５は、検索された作業画像を抽出する。そして、作業画像列生成プログラム１０５は、作業手順が示す順序に従って、図４に示すフォーマットのように、抽出された作業画像を作業画像列１１１に格納する。
【００５６】
図４は、本発明の第１の実施形態の作業画像列１１１の電子的なフォーマットを示す説明図である。
【００５７】
図４に示す作業画像列１１１のフォーマットは、領域４０１〜領域４０５を含む。図４に示す作業画像列は、図３に示す作業手順書１１０のフォーマットのデータ３０３から、作業画像を抽出した場合の作業画像列１１１を示す。
【００５８】
領域４０１は、作業手順書１１０から抽出された作業画像の数を示す。領域４０１には、作業者が実施する作業を示すデータ３０３の作業画像数の合計が格納される。
【００５９】
作業画像列１１１は、作業画像を示す情報を含み、領域４０２および領域４０４には、作業手順書１１０から抽出された各画像データ（作業画像）が格納される。作業画像列生成プログラム１０５は、作業手順書１１０に格納される作業画像を示す情報が画像データである場合、作業手順書１１０に格納される画像データを領域４０２または領域４０４に格納してもよい。
【００６０】
また、作業画像列生成プログラム１０５は、作業手順書１１０に格納される作業画像に関する情報が、他の記憶領域に格納された画像データを特定するための識別子またはアドレス等である場合、それら識別子またはアドレス等の情報に基づいて、画像データを取得してもよい。そして、取得された画像データを、領域４０２または領域４０４に格納してもよい。また、作業画像列生成プログラム１０５は、他の記憶領域に格納された画像データを特定するための識別子またはアドレス等を領域４０２または領域４０４に格納してもよい。
【００６１】
領域４０３および領域４０５は、領域４０２および領域４０４が示す作業画像が、作業手順書のいずれの作業の作業画像であるかを示す情報を含む。具体的には、作業手順書の作業を特定する番号と、対応する作業における何番目の作業画像であるかを示す番号とを含む。
【００６２】
例えば、領域４０２が示す作業画像が図２における領域２０８に表示される作業画像である場合、領域４０３には、「２−１」のような形式によって値が格納される。この場合、「２−１」の最初の「２」は二番目の作業であることを示し、「２−１」は二番目の作業における一番目の作業画像であることを示す。
【００６３】
領域４０３および領域４０５に格納される値は、前述の「２−１」のような形式に限定されず、作業手順書の作業を特定する情報と、対応する作業における何番目の作業画像であるかを示す情報とを示すことができれば、いかなる値でもよい。
【００６４】
作業者によって選択された作業手順書の作業を開始することを、作業者が入力装置１０２を用いて作業支援システムに通知した場合、注視画像抽出プログラム１０６と作業状況判定プログラム１０８が起動される。注視画像抽出プログラム１０６は、注視画像を抽出し、作業状況判定プログラム１０８は、抽出された注視画像に基づいて作業状況の判定処理を行う。
【００６５】
本実施形態の作業支援システムは、例えば、入力装置１０２としてビデオカメラを備え、ビデオカメラによって、作業者の顔が向いている方向の映像である視野映像を取得する。
【００６６】
図５は、本発明の第１の実施形態の入力装置１０２を示す説明図である。
【００６７】
例えば、入力装置１０２は、図５のように、作業者の眼鏡５０１の左右のレンズを結合するフレームに設置されたビデオカメラ５０２であってよい。そして、本実施形態の視野映像は、眼鏡５０１に設置されたビデオカメラ５０２によって取得されてもよい。また、ビデオカメラ５０２は、各レンズの外側のフレームに設置されてもよい。また、本実施形態の視野映像は、所定の時間間隔において取得された複数の視野画像を含む。
【００６８】
このように眼鏡５０１にビデオカメラ５０２を設置することによって、顔の向きにビデオカメラの向きが追従するため、視野映像を容易に取得することができる。また、ヘルメットにカメラを設置する等、顔の向きに入力装置１０２の向きが追従できれば、いかなる方法によって入力装置１０２が設置されてもよい。
【００６９】
入力装置１０２によって取得された視野映像から、注視画像抽出プログラム１０６は、注視画像を抽出する。注視画像抽出プログラム１０６が視野映像から注視画像を抽出する方法を、図６を用いて説明する。
【００７０】
図６は、本発明の第１の実施形態の視野映像から注視画像を抽出する方法を示す説明図である。
【００７１】
注視画像抽出プログラム１０６は、まず、各時刻の視野映像から視野画像を抽出する。図６は、視野画像の画像列６０１、および、視野画像間の類似度を示す。画像列６０１は、注視画像抽出プログラム１０６によって時系列に取得された画像Ａ〜Ｋの集合である。
【００７２】
注視画像抽出プログラム１０６は、各時刻の視野映像から画像Ａ〜Ｋを抽出する。次に、類似度計算プログラム１０７は、抽出された画像列６０１において、取得された時刻が隣接する画像間、例えば、図６に示す画像Ａおよび画像Ｂ間、画像Ｂおよび画像Ｃ間、ならびに、画像Ｃおよび画像Ｄ間等の類似度を算出する。
【００７３】
類似度計算プログラム１０７は、例えば、既に開示された類似度を算出する技術（例えば、特開２００６−１１４０５３号公報参照）を用いることによって、視野画像間の類似度を算出する。前述の類似度を算出する技術は、色関連の画像特徴量として画像中の色分布を用い、形関連の画像特徴量として画像中の輝度勾配ベクトルの方向成分を用いて、画像間の類似度を算出する方法を示す。
【００７４】
しかし、本実施形態の類似度計算プログラム１０７は、特に、前述の技術に開示された方法によってのみ、類似度を算出しなくてもよく、視野画像間の類似性を評価できる方法であれば、どのような方法を用いてもよい。
【００７５】
図６の画像列６０１の下方に示すグラフにおいて、横軸が時間を示し、縦軸が類似度を示す。また、グラフ中の黒丸「●」は、グラフにおける破線によって対応付けられる視野画像間の類似度を示す。また、図６における類似度は、類似度を算出するために用いられた二つの画像が、似ているほど高い値を示す。
【００７６】
注視画像抽出プログラム１０６は、類似度計算プログラム１０７によって算出された視野画像間の類似度と、あらかじめ保持された所定の閾値６０２とを比較し、類似度が閾値６０２以上になる時間の区間を注視区間６０３として検出する。また、注視画像抽出プログラム１０６は、注視区間６０３の時間長に対する閾値をあらかじめ保持し、選択された注視区間６０３の時間長が閾値以下である場合、選択された注視区間６０３から注視画像を抽出しなくてもよい。これによって注視画像抽出プログラム１０６は、一定時間作業者が注視している画像が含まれる時間（注視区間６０３）を抽出できる。
【００７７】
注視画像抽出プログラム１０６は、検出された注視区間６０３における視野画像を、注視画像として抽出する。図６に示す例において、注視画像抽出プログラム１０６は、注視区間６０３に含まれる画像Ｄ、画像Ｅ、画像Ｆ、画像Ｇおよび画像Ｈが注視画像として抽出される。
【００７８】
注視画像抽出プログラム１０６は、注視画像として、注視区間６０３に含まれる画像すべてを抽出するだけでなく、例えば、注視区間６０３の中央の時刻における視野画像、または、類似度が最も高くなる時刻およびその前後における視野画像等、代表的な一部の視野画像のみを、注視画像として抽出してもよい。
【００７９】
さらに、注視画像抽出プログラム１０６は、注視区間６０３におけるすべての視野画像または特定の一部の視野画像を重ね合わせた平均画像を生成し、生成された平均画像を注視画像として抽出してもよい。注視画像抽出プログラム１０６は、注視区間６０３における視野画像を特徴付ける画像を抽出できれば、どのような方法によって注視画像を抽出してもよい。
【００８０】
前述の実施形態における作業支援システムは、入力装置１０２としてビデオカメラのみを用いて注視画像を抽出したが、入力装置１０２として、ビデオカメラと視線入力装置とを用いてもよい。視線入力装置には、例えば、既に開示された視線検出装置に関する技術（例えば、特開平１０−０９６８４９号公報参照）等を用いることができる。
【００８１】
前述の技術を本実施形態の視線入力装置を用いた場合、視線移動量の大きさを注視区間６０３の検出に利用することができる。例えば、視線入力装置から入力される視線に関する情報が、視野映像上の座標位置を示していた場合、注視画像抽出プログラム１０６は、隣接する時刻における座標位置の距離を視線移動量として定義し、視線移動量があらかじめ保持された閾値以下となる区間を注視区間６０３として選択できる。
【００８２】
さらに、注視画像抽出プログラム１０６は、視線移動量が閾値以下、かつ、視野画像間の類似度が閾値以上である区間を注視区間６０３として抽出する、という方法を用いてもよい。さらに、視線入力装置を用いる場合は、注視区間６０３おいて、視線位置（視線が向いている（＝注視している）視野映像上の位置）を中心とした、あらかじめ定められた範囲の画像のみを視野映像から注視画像として抽出してもよい。
【００８３】
図７は、本発明の第１の実施形態の注視画像の抽出方法を示す説明図である。
【００８４】
例えば、注視区間６０３における視野映像から抽出された画像が、図７に示す画像７０１であり、この画像上における視線位置が視線位置７０２であったとする。ここで、視線位置７０２を中心とする領域が範囲７０３に示す範囲によって定義されていた場合、注視画像抽出プログラム１０６は、範囲７０３に含まれる領域の画像のみを注視画像として抽出してもよい。これによって、視野映像のみを使用した場合と比較して、注視している対象物に関する画像のみを、精度良く抽出することが可能となる。
【００８５】
作業状況判定プログラム１０８は、新たな注視画像が抽出された場合、作業状況の判定処理を行う。図８のフローチャートを用いて、作業状況判定プログラム１０８における処理について説明する。
【００８６】
図８は、本発明の第１の実施形態の作業状況の判定処理を示すフローチャートである。
【００８７】
作業者によって選択された作業手順書に従って作業者が作業を開始した場合、図８に示す処理は開始される。
【００８８】
作業状況判定プログラム１０８は、まず、作業者によって選択された作業手順書から生成された作業画像列１１１を参照し、作業画像列１１１の最初の作業画像を、実施中の作業に関する作業画像（以下、実施中の作業画像と記載）として設定する（ステップ８０１）。なお、図８に示す処理が開始される際、作業画像列生成プログラム１０５は、作業者によって選択された作業手順書から、作業画像列１１１を生成する。
【００８９】
ステップ８０１、ステップ８１２またはステップ８１８の後、作業状況判定プログラム１０８は、実施中の作業画像として設定された作業画像に対応する作業手順書の内容を、作業手順書１１０から取得する。そして、取得された作業手順書の内容を、表示プログラム１０９を用いて出力装置１０３に表示する（ステップ８０２）。
【００９０】
作業画像列１１１には、図４のフォーマットに示すように、各作業画像が作業手順書１１０のいずれの作業に対応しているかを示す情報（例えば、領域４０３および領域４０５に格納される情報）が格納される。このため、作業状況判定プログラム１０８は、ステップ８０２において、作業手順書の内容を表示するために必要な情報を、作業手順書１１０から容易に取得することができる。
【００９１】
図９は、本発明の第１の実施形態の出力装置１０３に表示される実施中の作業画像を示す説明図である。
【００９２】
図９は、図２に示す作業手順書の、領域２０６が示す「２．既設◎◎取り付け金具取り外し」作業の領域２１０が示す作業画像（領域２１１が「図２−２ 金具取り外し」）を表示した例である。
【００９３】
作業状況判定プログラム１０８は、実施中の作業に関する情報として、図９に示す表示例のように、作業手順書のタイトル９０１、実施中の作業に関する作業見出し９０２、実施中の作業画像９０３および作業画像の説明文９０４を表示する。作業状況判定プログラム１０８は、表示プログラム１０９および出力装置１０３を用いて、作業手順書を表示する。
【００９４】
タイトル９０１は、図３に示す作業手順書１１０のタイトル３０１に対応し、作業見出し９０２は、図３に示す作業手順書１１０の領域３０５または領域３１２に対応する。また、作業画像９０３は、図３に示す作業手順書１１０の領域３０８、領域３１０、領域３１５、または領域３１７に対応し、説明文９０４は、図３に示す作業手順書１１０の領域３０９、領域３１１、領域３１６または領域３１８に対応する。
【００９５】
作業状況判定プログラム１０８は、図９に示す表示例のように、作業手順書１１０の領域３０６または領域３１３に格納される作業の説明を表示しなくてもよく、表示してもよい。作業状況判定プログラム１０８は、表示する作業に関する情報の組み合わせを、必要に応じて変更してもよい。また、作業手順書１１０が、作業中に表示するための情報（備考等）を作業毎に保持している場合、作業毎に保持された情報を表示してもよい。
【００９６】
また作業状況判定プログラム１０８は、図９に示す表示例のように、領域９０５、領域９０６、及び領域９０７を表示する。領域９０５は、一つ前の作業に関する情報を表示するためのボタンである。領域９０６は、一つ先の作業に関する情報を表示するためのボタンである。また、領域９０７は、表示される作業画像が、実施中の作業画像として設定されているか否かを識別するための領域である。
【００９７】
領域９０５および領域９０６によって、作業者は、実施中の作業に関する内容だけでなく、その前後の作業内容も、必要に応じて確認することができる。また、表示されている作業内容が実施中の作業に関する情報であるか否かを作業者に判定させるため、作業状況判定プログラム１０８は、実施中の作業であるか、終了した作業であるか、あるいは未終了の作業であるか、を画面に表示する。
【００９８】
例えば、作業状況判定プログラム１０８は、実施中の作業画像を表示する場合、図９に示す領域９０７に「実施中」を示す文字列を表示する。
【００９９】
図１０は、本発明の第１の実施形態の出力装置１０３に表示される終了した作業画像を示す説明図である。
【０１００】
図９に示す表示例において、作業者が領域９０５の「前へ」ボタンを操作した場合、図１０に示す表示例が表示される。作業状況判定プログラム１０８は、図１０に示す領域１００３に「終了」ボタンを表示し、作業画像１００１に一つ前の作業（図２における領域２０９の「図２−１ ボルト取り外し」作業に対応）の内容を表示する。また、作業状況判定プログラム１０８は、図１０に示す表示例のように、作業画像１００１および作業画像説明１００２に、それぞれ図２に示す領域２０８および領域２０９に対応する内容を表示する。
【０１０１】
図９に示す表示例において、作業者が領域９０６の「次へ」ボタンを操作した場合、作業状況判定プログラム１０８は、作業画像列１１１を参照し、次の作業画像を取得する。そして、図９に示す作業の一つ後の作業、すなわち、未終了の作業に関する内容を表示する。例えば、作業状況判定プログラム１０８は、領域９０７に、未終了の作業を示す「未完」を表示する。
【０１０２】
作業状況判定プログラム１０８は、領域９０７または領域１００３に、終了、実施中、または未完のいずれかを、文字列によって表示するが、画面の背景色または文字の形式等のレイアウトを変更することによって、作業画像が示す作業が終了、実施中、または未完であるかを示してもよい。
【０１０３】
また、作業状況判定プログラム１０８は、図９および図１０に示す表示例のように、作業に関する内容を文字および画像のみによって画面に表示したが、作業に関する内容を画面に表示する毎に、音、声、または、振動等を、作業者に提供してもよい。また作業状況判定プログラム１０８は、実施中の作業が次の作業に移行したと作業支援システムが判定した場合、すなわち、図８に示す処理においてステップ８０１からステップ８０２に移った場合、または、後述のステップ８１２もしくはステップ８１８からステップ８０２に移った場合のみに、音、声、または、振動等を作業者に提供してもよい。
【０１０４】
作業状況判定プログラム１０８は、音、声、または、振動等を作業者に提供する場合、表示プログラム１０９および出力装置１０３を用いる。
【０１０５】
さらに、作業状況判定プログラム１０８は、領域９０５および領域９０６への操作によって画面の内容が変更された場合と、実施中の作業が次の作業に移行したと作業支援システムが判定した場合とにおいて、使用する音、声、または振動等の種類を変更してもよい。これにより、作業者は、画面に表示されている内容を見ることなく、作業支援システムが作業に関してどのような判定をしているかを確認することができる。
【０１０６】
ステップ８０２の後、作業状況判定プログラム１０８は、実施中の作業画像の画像データを作業画像列１１１から取得する（ステップ８０３）。
【０１０７】
ステップ８０３の後、作業状況判定プログラム１０８は、余分な注視画像の数を記録するため、記憶装置１０４等に保持された変数の値を０にリセットする（ステップ８０４）。ステップ８０４の後、作業状況判定プログラム１０８は、ステップ８０５が実行された時点の時刻を実施中の作業の開始時刻として、記憶装置１０４に保持する（ステップ８０５）。
【０１０８】
ステップ８０５の後、作業状況判定プログラム１０８は、注視画像抽出プログラム１０６によって新たな注視画像が抽出されたか否かを判定する（ステップ８０６）。新たな注視画像が抽出されていない場合、作業者は特定の対象物を見ておらず、作業を正常に実施していない可能性がある。このため、作業状況判定プログラム１０８は、ステップ８０７に進む。
【０１０９】
なお、ステップ８０６において注視画像を抽出するための注視区間６０３の閾値には、作業者が作業を実施するために十分な時間が割り当てられてもよい。これによって、作業者が作業を終了するまで、作業状況判定プログラム１０８は、ステップ８０８以降の処理によって、次の作業画像を表示することを待つことができる。
【０１１０】
ステップ８０６において、注視画像抽出プログラム１０６によって新たな注視画像が抽出されたと判定された場合、作業者は作業手順に従って作業を実施している可能性が高い。このため、作業状況判定プログラム１０８は、ステップ８０８に進む。
【０１１１】
ステップ８０７において、作業状況判定プログラム１０８は、ステップ８０５において記憶装置１０４に保持された開始時刻から、ステップ８０７を開始した時刻までの経過時間が、あらかじめ定められた閾値（以下、第１の閾値と記載）以上か否かを判定する。そして、ステップ８０５において保持された開始時刻からステップ８０７を開始した時刻までの経過時間が、第１の閾値以上である場合、作業者の視線が一定に定まっておらず、作業者が作業を正常に実施していない可能性が高い。このため、作業状況判定プログラム１０８は、後述のステップ８１５に進む。
【０１１２】
ステップ８０７において、ステップ８０５において保持された作業の開始時刻からステップ８０７を開始した時刻までの経過時間が第一の閾値より小さい場合、作業者が作業を正常に実施している可能性がある。このため、作業状況判定プログラム１０８は、ステップ８０６に戻り、再度、新たな注視画像が抽出されたか否かを判定する。
【０１１３】
ステップ８０８において、作業状況判定プログラム１０８は、新たに抽出された注視画像を注視画像抽出プログラム１０６から取得する。
【０１１４】
ステップ８０８の後、作業状況判定プログラム１０８は、ステップ８０８において取得された注視画像と、ステップ８０３において取得された作業画像との間の類似度を、類似度計算プログラム１０７を用いて算出する（ステップ８０９）。類似度計算プログラム１０７は、例えば、図６に示す方法によって類似度を算出する。
【０１１５】
ステップ８０９の後、作業状況判定プログラム１０８は、ステップ８０９において算出された類似度があらかじめ定められた閾値（以下、第２の閾値と記載）以上であるか否かを判定する。算出された類似度が第２の閾値以上である場合、作業状況判定プログラム１０８は、実施中の作業画像に対応する作業が適切に終了したと判定し、ステップ８１１に進む。
【０１１６】
ステップ８１１において、作業状況判定プログラム１０８は、実施中の作業画像の次の作業画像を作業画像列１１１から検索し、検索の結果、次の作業画像が取得されるか否かを判定する。そして、次の作業画像が取得されない場合、図８に示す処理が開始される際に選択された作業手順書のうち、すべての作業が終了したと判定し、図８に示す処理を終了する。
【０１１７】
次の作業画像が取得される場合、作業状況判定プログラム１０８は、図８に示す判定処理を継続するため、ステップ８１２に進む。ステップ８１２において、作業状況判定プログラム１０８は、実施中の作業画像の次の作業画像を新たな実施中の作業画像として設定し、ステップ８０２に戻る。
【０１１８】
ステップ８１０において、算出された類似度が第２の閾値より小さいと判定された場合、作業者は作業に集中していない可能性がある。このため、作業状況判定プログラム１０８は、ステップ８１３に進む。
【０１１９】
ステップ８１３において、作業状況判定プログラム１０８は、ステップ８０８において取得された新たな注視画像を余分な注視画像であると判定し、余分な注視画像の数を記録するために記憶装置１０４に保持される変数の値に、１を加算する。
【０１２０】
ステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の数を記録するための変数の値があらかじめ定められた閾値（以下、第３の閾値と記載）以上であるか否かを判定する。そして、余分な注視画像の数が第３の閾値以上である場合、作業者に注意を促すため、作業状況判定プログラム１０８は、ステップ８１５に進む。
【０１２１】
余分な注視画像の数が第３の閾値より少ない場合、作業者に注意を促す必要はないため、作業状況判定プログラム１０８は、ステップ８０６に戻る。
【０１２２】
ステップ８１５において、作業状況判定プログラム１０８は、表示プログラム１０９を用いて、作業者に注意喚起を促すメッセージ、音、または声等を出力装置１０３に出力させる。ステップ８１５が実施される状況は、実施中の作業画面が示す作業が適切に終了していない、または、作業が適切に進行されていない、と判定される場合に相当する。このため、表示プログラム１０９によって提示される内容は、それらの状況を作業者に理解させることができる内容である必要がある。
【０１２３】
図１１は、本発明の第１の実施形態の作業者に提示される注意喚起の画面を示す説明図である。
【０１２４】
図１１が示す画面例は、領域１１０１を含む。領域１１０１は、作業者に注意喚起するためのメッセージ等を表示するための画面である。図１１に示す画面例は、図９に示す画面に重ねられて表示される。
【０１２５】
領域１１０１は、内容１１０２、領域１１０３、領域１１０４、および領域１１０５を含む。内容１１０２は、注意喚起を促すためのメッセージを示す。作業状況判定プログラム１０８は、実施中の作業画像が示す作業に関する情報を含めて、作業が適切に進行していないことを示すメッセージを生成する。そして、生成されたメッセージを、内容１１０２に表示する。
【０１２６】
内容１１０２に表示される、実施中の作業画像が示す作業に関する情報は、実施中の作業画像に対応する作業手順書中の内容でもよい。また、内容１１０２に表示されるメッセージの内容は、作業状況判定プログラム１０８が作業毎に変わる部分を変数とした文の雛形をあらかじめ保持し、作業状況判定プログラム１０８が変数に作業毎に変わる情報を挿入することによって、生成されてもよい。
【０１２７】
例えば、図１１に示す内容１１０２を表示するため、作業状況判定プログラム１０８は、図１１において「金具取り外し」と記載される箇所を作業画像の説明文を挿入するための変数とする文の雛形を、あらかじめ保持してもよい。
【０１２８】
また、ステップ８１５は、ステップ８０５において取得された実施中の作業の開始時刻からステップ８０７が実行されるまでの経過時間が第１の閾値以上の場合と、余分な注視画像の数が第３の閾値以上である場合、の二つの場合に実行される。このため、いずれの場合において、ステップ８１５が実行されたかによって、表示されるメッセージの内容は変更されてもよい。
【０１２９】
例えば、余分な注視画像の数が第３の閾値以上である場合、不必要な「よそ見」が頻繁に発生し、作業に集中できていないと想定されるため、作業状況判定プログラム１０８は、図１１に示す内容１１０２に変えて、領域１１０１に以下のメッセージを表示してもよい。
【０１３０】
「よそ見を控えてください」
「作業に集中してください」
さらに、図１１に示す領域１１０１は、文字のみによる注意喚起を示すが、作業状況判定プログラム１０８は、画像、音、声または振動等を用いて注意喚起を示してもよい。この場合、ステップ８０２において作業手順書の内容を表示する際に使用した音、声または振動とは、異なる音、声または振動等を用いることによって、作業者が注意喚起であることを認識することができる。
【０１３１】
また、図１１において、領域１１０３、領域１１０４および領域１１０５は、内容１１０２が示す注意喚起を確認した作業者が操作するためのボタンである。領域１１０３は、実施中の作業画面が示す作業を最初からやり直すためのボタンであり、領域１１０４は、作業をそのまま継続するためのボタンであり、領域１１０５は、作業を中止するためのボタンである。
【０１３２】
領域１１０３、領域１１０４または領域１１０５のいずれかが操作されることによって、作業支援システムは、作業者からの指示を受信する。作業状況判定プログラム１０８は、ステップ８１５において注意喚起を提示した後、ステップ８１６に進み、作業者からの指示を受信するため、図８に示す処理を中断する。
【０１３３】
また、ステップ８１６において作業状況判定プログラム１０８は、領域１１０３、領域１１０４または領域１１０５のいずれかが操作されることを待つことによって、作業者からの指示を待つ。いずれかの領域が操作されたことを検出した場合、作業状況判定プログラム１０８は、ステップ８１７において、いずれのボタンが操作されたかを判定する。
【０１３４】
ステップ８１７において、領域１１０３が操作されたと判定された場合、ステップ８１８において、作業状況判定プログラム１０８は、実施中の作業画像を再度、実施中の作業画像に設定しなおし、ステップ８０２に戻る。
【０１３５】
また、ステップ８１７において、領域１１０３が操作されたと判定された場合、ステップ８１８において作業状況判定プログラム１０８は、作業画像の一覧を表示し、表示された一覧から、やり直す作業を作業者に選択させてもよい。この場合、作業状況判定プログラム１０８は、選択された作業画像をステップ８１８において、実施中の作業画像に設定する。
【０１３６】
ステップ８１７において、領域１１０４が操作されたと判定された場合、作業状況判定プログラム１０８は、ステップ８０６に戻り、処理を継続する。この際、作業状況判定プログラム１０８は、余分な注視画像数を記録するための変数の数、および、ステップ８０５において取得された開始時刻を更新し、作業者が作業を再開した後、直ちに注意喚起が再び提示されることを避ける。
【０１３７】
ステップ８１７において、領域１１０５が操作されたと判定された場合、作業状況判定プログラム１０８は、図８に示す処理を終了する。
【０１３８】
図８に示すフローチャートにおいて、作業画像列１１１の最後の作業画像に対応する作業が終了した場合、ステップ８１１における判定により、図８に示す処理は終了する。しかし、ステップ８１１において最後の作業が終了したと判定された場合、作業状況判定プログラム１０８は、図８に示す処理において抽出されたすべての注視画像と、図８に示す処理において選択された作業手順書の作業画像列１１１とを用いることによって、作業手順書全体に対する評価値を求めてもよい。そして、表示プログラム１０９を用いて、求められた評価値を出力装置１０３に表示してもよい。
【０１３９】
作業状況判定プログラム１０８は、例えば、図８に示す処理において抽出されたすべての注視画像を時系列に並べた注視画像列と、作業画像列をそれぞれ時系列データとみなして、時系列データ同士の類似度を求める方法を用いて注視画像列と作業画像列との類似度を求め、その類似度を評価値として出力装置１０３に表示してもよい。
【０１４０】
作業状況判定プログラム１０８は、注視画像列と作業画像列との類似度を、例えば、各画像間の類似度を、既に開示された類似画像検索方法に関する技術（例えば、特開２００６−１１４０５３号公報参照）を用いて算出する。そして、算出された画像間の類似度に、既に開示された動的計画法（例えば、特開２００２−２２１９８４号公報参照）等によるマッチング手法を適用することによって、評価値を求めることができる。
【０１４１】
前述の図８に示す処理において用いられた、第１の閾値、第２の閾値および第３の閾値の３種類の閾値は、作業に拠らず、それぞれ各ステップにおいて同じ値である。しかし、作業状況判定プログラム１０８は、それぞれの閾値について作業毎に異なる閾値を保持し、各ステップにおいて、作業毎の閾値を用いてもよい。また、それらの閾値は、作業手順書１１０に格納してもよいし、また、作業手順書１１０とは別に格納してもよい。
【０１４２】
また、前述の図８に示す処理において、作業状況判定プログラム１０８は、第１の閾値、第２の閾値および第３の閾値のすべてを用いて、作業が適切に進行しているか否かを判定した。しかし、作業状況判定プログラム１０８は、ステップ８０７、ステップ８１０、またはステップ８１４の少なくとも一つの判定処理によって作業が適切に進行しているか否かを判定してもよい。
【０１４３】
なお、ステップ８１４の判定処理が行われない場合、作業状況判定プログラム１０８は、ステップ８１３も行わなくてよい。
【０１４４】
また、図８に示すステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の数のみに基づいて、作業が適切に進行しているか否かを判定した。しかし、作業状況判定プログラム１０８は、余分な注視画像の数だけではなく、それらの時間長（注視区間６０３の合計）に基づいて判定してもよい。
【０１４５】
例えば、注視画像抽出プログラム１０６が注視画像を抽出する際に、注視画像抽出プログラム１０６は、注視画像と、注視していた時間長（図６に示す注視区間６０３の時間長）とを抽出してもよい。そして、ステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の時間長の総和を求め、求められた時間長の総和が所定の閾値以上であればステップ８１５に進み、作業者に注意喚起を行うようにしてもよい。また、作業状況判定プログラム１０８は、ステップ８１４において、余分な注視画像と作業中の作業画像との類似度と、注視画像の時間長との積を加算した値を用いて判定する等の方法を用いてもよい。
【０１４６】
また、図８に示すステップ８１０において、作業状況判定プログラム１０８は、新たに抽出された注視画像と実施中の作業画像との類似度のみを用いて、作業画像に対応する作業が終了したか否かを判定する。
【０１４７】
一方、例えば、ステップ８１０において作業状況判定プログラム１０８は、新たに注視画像が抽出された場合、それまでに抽出されたすべての注視画像を時系列に並べた注視画像列と、実施中の作業画像までの作業画像列１１１を時系列に並べた作業画像列とを生成する。そして、二つの時系列データ間の類似度を求める方法を用いて注視画像列と作業画像列との類似度を求め、求められた類似度が所定の閾値以上になった場合、実施中の作業画像が示す作業が終了したと判定してもよい。また、求められた類似度があらかじめ定められた閾値より低くなった場合、作業が適切に進行していないと判定してもよい。この場合の注視画像列と作業画像列の類似度も、前述の、作業手順全体に対する評価値を求める方法として説明した技術を用いて算出してもよい。
【０１４８】
また、図８に示すステップ８０９において、実施中の作業画像のみを用いて、作業画像に対応する作業が終了したか否かを判定したが、実施中の作業画像より後の作業画像すべてを判定対象としてもよい。この場合、新たに抽出された注視画像と実施中の作業画像との類似度、および、新たに抽出された注視画像とそれ以降の各作業画像（実施中として設定されていない各作業画像）との類似度を求める。
【０１４９】
そして、実施中として設定されていない各作業画像から、新たに抽出された注視画像と作業画像との類似度が、あらかじめ定められた閾値以上となる作業画像が検出された場合、作業状況判定プログラム１０８は、実施中の作業画像に対応する作業が適切に終了しなかったと判定し、ステップ８１５において注意喚起を行ってもよい。これによって、経過時間には問題はないが、不適切な状態のまま作業を進めてしまったような状況に対して注意喚起を行うことができる。
【０１５０】
また、図８に示す処理において、作業状況判定プログラム１０８は、作業画像列中の各作業画像に対して作業が適切に進められているか否かを判定したが、作業手順書中の一つの作業において複数の作業画像列が対応している場合、作業状況判定プログラム１０８は、各作業を単位として判定してもよい。
【０１５１】
具体的には、作業状況判定プログラム１０８は、ステップ８０３において、実施中の一つの作業画像を抽出する代わりに、実施中の作業に対応する作業画像（例えば、図２に示す領域３０８および領域３１０）をすべて取得する。そして、作業状況判定プログラム１０８は、ステップ８０９において、新たに抽出された注視画像と取得されたすべての作業画像との類似度を求め、求められた類似度が閾値以上であった作業画像に「終了」を示すマーク（例えば、フラグ）を付す。そして、ステップ８１０において、取得されたすべての作業画像に「終了」を示すマークが付されている場合、実施中の作業が終了したと判定し、ステップ８１１に進む。
【０１５２】
また、作業状況判定プログラム１０８は、ステップ８１３に進んだ場合、対象となっているすべての作業画像との類似度が閾値以上でない注視画像の場合、余分な注視画像の数を数えるための変数に１を加算する。これによって、ある作業に複数の作業画像が含まれており、且つ、作業手順書に格納される作業画像の順序と、実際の作業の順序とが一致しない場合など、作業が適切に進行していない場合を判定することが可能となる。
【０１５３】
また、前述の図８に示す処理において、実施中の作業画像を含む作業手順書の内容、注意喚起、および、作業手順全体に対する評価値は、作業者にのみ表示されるが、さらに、作業者の管理者、または、作業者と共同で作業を進めている他の作業者に表示されてもよい。
【０１５４】
また、前述の図８に示す処理において、作業状況判定プログラム１０８は、注視画像のみを用いて、作業者による作業が適切に終了したか、または、作業が適切に進行しているか、を判定した。しかし、例えば、各作業の開始時および終了時に、ＩＣタグ、もしくは、特定の図形によるマーカー等を作業者に読取らせることによって作業の進捗を管理する方法と、作業者の位置を測定する装置を用いることによって作業者の位置に基づいて実施中の作業を判定する方法等とを組み合わせることによって、作業の終了を判定してもよい。
【０１５５】
第１の実施形態によれば、作業者の視野画像から抽出された注視画像によって、作業の進行状況が適切であるか否かを客観的に判定する。これによって、作業不備および事故を未然に防止することができる。また、本実施形態は作業者の視野画像を取得すればよいため、作業現場への導入が容易であり、かつ、新たな作業の発生等による作業者への負担が少ない。
【０１５６】
（第２の実施形態）
本発明における第２の実施形態を図１２から図２０を用いて説明する。
【０１５７】
図１２は、本発明の第２の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【０１５８】
図１２に示す作業支援システムは、図１に示す作業支援システムに、注視画像対応付けプログラム１２０１、手順書編集プログラム１２０２および注視画像を格納する記憶領域である注視画像１２０３を追加したものであり、それ以外は図１と同じである。第２の実施形態の記憶装置１０４は、注視画像対応付けプログラム１２０１、および手順書編集プログラム１２０２を有する。また、第２の実施形態の作業支援システムは、注視画像１２０３を有する。
【０１５９】
注視画像対応付けプログラム１２０１は、作業状況判定プログラム１０８によって余分な注視画像として判定された注視画像を作業手順書の対応箇所に対応付けるためのプログラムである。
【０１６０】
図８に示す作業状況判定プログラム１０８の処理のステップ８１０において、注視画像と、実施中の作業画像との類似度が第２の閾値より小さい場合、作業状況判定プログラム１０８は、ステップ８１３において余分な注視画像の数を記録する変数の値に１を加算する。すなわち、ステップ８１０において、作業画像との類似度が第２の閾値より小さいと判定された場合、余分な注視画像が検出されたと判定される。
【０１６１】
このため、第２の実施形態において、注視画像対応付けプログラム１２０１は、図８に示すステップ８１３による処理の直前、または、直後、すなわち、ステップ８１０からステップ８１５が開始される前に、余分な注視画像と判定された注視画像を作業手順書に対応付ける。
【０１６２】
注視画像対応付けプログラム１２０１は、ステップ８１０および８１３が実施される状況において、実施中の作業画像から、図４に示す作業画像列１１１のフォーマットに従って作業手順書中の対応箇所を容易に特定できる。注視画像対応付けプログラム１２０１は、余分な注視画像が検出される毎に、余分な注視画像であると判定された注視画像と、その注視画像の作業手順書中における対応箇所に関する情報を、注視画像１２０３に格納する。
【０１６３】
注視画像対応付けプログラム１２０１は、余分な注視画像と判定された注視画像を格納するために、注視画像対応付けプログラム１２０１は、作業画像列１１１と同じ図４に示すフォーマットを使用してもよい。また、余分な注視画像そのもの、または、余分な注視画像の格納領域を特定できる情報、のいずれかを作業手順書中の対応箇所に直接挿入してもよい。
【０１６４】
手順書編集プログラム１２０２は、作業手順書の内容に対して追加および修正等の編集作業を行うための機能を、表示プログラム１０９、入力装置１０２および出力装置１０３を用いて作業手順書の管理者または作成者に提供するプログラムである。また、手順書編集プログラム１２０２は、作業見出しおよび作業説明の修正、新しい作業に関する内容の追加等、作業手順書を作成するために必要な一般的な編集機能を有する。
【０１６５】
さらに、手順書編集プログラム１２０２は、注視画像対応付けプログラム１２０１によって、作業手順書中に対応付けられた注視画像を、新たな作業画像として作業手順書に追加するか、または、注意すべき状況を示す画像として作業手順書に追加するか、を作業手順書を編集する編集者（作業者を含んでもよい）に選択させることができる。また、編集者の選択に従って、注視画像に対する説明文等の情報を作業手順書に追加し、作業手順書の内容を更新することができる。
【０１６６】
図１３は、本発明の第２の実施形態の注視画像と作業手順書との対応を示す編集画面を示す説明図である。
【０１６７】
手順書編集プログラム１２０２は、表示プログラム１０９および出力装置１０３によって、作業手順書の編集画面を表示する。図１３に示す編集画面は、領域１３０１および領域１３０２を含む。
【０１６８】
図１３に示す編集画面において、領域１３０１は、作業手順書に対応付けられた余分な注視画像の一覧が表示される箇所、領域１３０２は編集中の作業手順書の内容が表示される箇所である。領域１３０１は、説明１３０３、説明１３０５および説明１３０８と、注視画像１３０４、注視画像１３０６、注視画像１３０７および注視画像１３０９とを含む。
【０１６９】
領域１３０１において、各注視画像は、編集者が作業手順書の対応箇所を容易に判別できるように、対応する作業手順書の箇所を特定可能な説明文、番号または記号等と共に表示される。具体的には、手順書編集プログラム１２０２は、説明１３０３、説明１３０５および説明１３０８に、作業手順書に含まれる各作業を示す説明を表示することによって、各注視画像が対応する作業手順書の箇所を特定可能にする。
【０１７０】
また、領域１３０２に示す作業手順書は、一つの作業に複数の作業画像を含むため、手順書編集プログラム１２０２は、注視画像がどの作業画像に対応付いているかを編集者によって識別可能なように、作業画像の説明１３０３、説明１３０５および説明１３０８に対応付けて、注視画像１３０４、注視画像１３０６、注視画像１３０７および注視画像１３０９を表示する。さらに、編集者が領域１３０１に表示される作業画像の説明または注視画像を選択した場合、手順書編集プログラム１２０２は、領域１３０２中の作業手順書において、対応する箇所の表示を変化させてもよい。
【０１７１】
注視画像対応付けプログラム１２０１によって作業手順書に対応付けられた余分な注視画像は、作業手順書中に作業画像として格納されていない画像である。そして、それらの注視画像は、作業の一部を示すが作業画像として作業手順書に格納されていない画像（以下、第１の注視画像と記載）、障害物等の作業上の注意事項を示す画像（以下、第２の注視画像と記載）、または、前述の第１の注視画像および第２の注視画像以外の第３の注視画像のいずれかに該当する。
【０１７２】
第１の注視画像は、新たな作業画像として作業手順書に追加される可能性があり、第２の注視画像は、作業上の注意点を指摘するための画像（以下、注意画像と記載）として、作業手順書中に追加される可能性がある。一方、第３の注視画像は、作業手順書中へ挿入される可能性が極めて低い。
【０１７３】
手順書編集プログラム１２０２は、作業手順書の編集者が作業手順書に対応付けられた注視画像を、第１の注視画像、第２の注視画像または第３の注視画像のいずれの種類に該当するかを判定し、判定結果に従って、作業手順書に追加する必要がある注視画像を、追加する機能を提供する。
【０１７４】
まず、注視画像が第１の注視画像に該当する場合、手順書編集プログラム１２０２は、作業手順書中の作業画像として注視画像を作業手順書に追加する。
【０１７５】
図１４は、本発明の第２の実施形態の注視画像を作業手順として挿入するための編集画面を示す説明図である。
【０１７６】
図１４は、編集者が作業手順書に挿入する注視画像を選択するため、注視画像１３０７を含む領域１４０１を選択した場合の編集画面を示す。
【０１７７】
例えば、図１４に示すように、領域１４０１に含まれる注視画像１３０７は、作業画像の説明が「図１−３ 作業用機材」（説明１３０５に対応）である作業画像に対応している。このため、領域１４０１に含まれる注視画像１３０７は、作業画像の説明が「図１−３ 作業用機材」である作業画像の作業手順書における直前の位置１４０２に、手順書編集プログラム１２０２によって追加可能である。
【０１７８】
具体的な挿入方法としては、編集者が、領域１４０１をマウス等により選択し、選択された領域１４０１を位置１４０２へドラッグ・アンド・ドロップすることによって、編集者が注視画像１３０７の作業手順書への挿入を指示する方法がある。
【０１７９】
なお、手順書編集プログラム１２０２は、ドラッグ・アンド・ドロップによって注視画像の挿入が指示される際に、図１４に示す位置１４０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
【０１８０】
また、手順書編集プログラム１２０２は、作業画像として注視画像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューをキーボードまたはマウスによって操作され、挿入する機能が起動された後、注視画像および挿入箇所の選択を編集者に行わせてもよい。また、注視画像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。
【０１８１】
さらに、前述の実施形態において、注視画像１３０７は作業手順書上で対応付けられている箇所にのみ挿入可能であったが、作業手順書中の任意の作業の作業画像として挿入されてもよい。
【０１８２】
作業画像として挿入する注視画像と作業手順書中の挿入箇所とが、編集者によって決定された後、図１５のような画面により、挿入される注視画像の説明文を入力できるようにする。
【０１８３】
図１５は、本発明の第２の実施形態の作業画像の説明文を入力するための画面を示す説明図である。
【０１８４】
図１５の画面は、領域１５０１、領域１５０２、ＯＫボタン１５０３、およびキャンセルボタン１５０４を含む。領域１５０１は、作業画像として作業手順書中に挿入する注視画像を示し、領域１５０２は、注視画像に対する説明文を入力するための箇所である。
【０１８５】
編集者がＯＫボタン１５０３を選択した場合、手順書編集プログラム１２０２によって、領域１５０２に入力された説明文が領域１５０１に示される注視画像と共に作業手順書１１０に挿入される。そして、図１５に示す画面によって挿入された説明文は、図３に示す作業手順書１１０の領域３０９、領域３１１、領域３１６、または、領域３１８等に格納される。
【０１８６】
手順書編集プログラム１２０２は、図１５においてキャンセルボタン１５０４が選択された場合、注視画像１３０７を作業手順書１１０へ挿入しない。
【０１８７】
図１４における注視画像１３０７を作業手順書の位置１４０２に挿入した場合に表示される画面を図１６に示す。
【０１８８】
図１６は、本発明の第２の実施形態の注視画像を作業画像として挿入した後の編集画面を示す説明図である。
【０１８９】
図１４および図１５に示す画面によって、注視画像の挿入を指示され、さらに、挿入される注視画像の作業画像としての説明文を入力された場合、手順書編集プログラム１２０２は、図１６に示す画像を表示する。
【０１９０】
図１６に示す領域１３０２には、領域１６０１が含まれる。領域１６０１は、作業画像として挿入された注視画像１３０７と説明文とを含む。図１６に示す領域１６０１は、注視画像１３０７の作業画像の説明文として、「機材置き場」を示す。
【０１９１】
また、手順書編集プログラム１２０２は、作業手順書における通し番号（例えば、図１６に示す「図１−３」、「図１−４」等の番号）を、自動的に割り当てなおす。
【０１９２】
次に、注視画像が第２の注視画像、すなわち注意画像に該当する場合、手順書編集プログラム１２０２は、ある作業とその次の作業の間に注視画像を追加する。
【０１９３】
図１７は、本発明の第２の実施形態の注視画像を注意画像として挿入するための編集画面を示す説明図である。
【０１９４】
図１７は、編集者が作業手順書に挿入する注視画像を選択するため、注視画像１３０６を含む領域１７０１を選択した場合の編集画面を示す。
【０１９５】
例えば、図１７に示すように、領域１７０１に含まれる注視画像１３０６は、作業の説明が「１．作業準備」である作業に対応している。このため、「１．作業準備」に含まれるすべての作業画像と、次の作業（「２．既設◎◎取り付け金具取り外し」）に含まれるすべての作業画像との間の位置１７０２に、手順書編集プログラム１２０２によって追加可能である。
【０１９６】
具体的な挿入方法としては、作業画像としての追加と同じく、編集者が、領域１７０１をマウス等により選択し、選択された領域１７０１を位置１７０２へドラッグ・アンド・ドロップすることによって、編集者が注視画像１３０６の位置１７０２への挿入を指示する方法がある。
【０１９７】
なお、手順書編集プログラム１２０２は、ドラッグ・アンド・ドロップによって注視画像の挿入が指示される際に、図１７に示す位置１７０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
【０１９８】
また、手順書編集プログラム１２０２は、注意画像として注視画像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューがキーボードまたはマウスによって操作され、挿入する機能が起動された後、注視画像および挿入箇所の選択を編集者に行わせてもよい。また、注視画像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。
【０１９９】
さらに、図１７の例において、注視画像１３０６は作業手順書上で対応付けられている箇所にのみ挿入可能であったが、本実施形態の注視画像は作業手順書中の任意の作業に対する注意画像として挿入されてもよい。
【０２００】
図３に示す作業手順書１１０のフォーマットは、注意画像を格納する項目を含まない。このため、第２の実施形態における作業手順書１１０は、図１８に示すフォーマットのように、注意画像を格納する項目を含む。
【０２０１】
図１８は、本発明の第２の実施形態の作業手順書１１０の電子的なフォーマットを示す説明図である。
【０２０２】
第２の実施形態における作業手順書１１０は、注意画像に関する情報を格納するための領域１８０１〜領域１８１０を含む。
【０２０３】
図１８において、領域１８０１および領域１８０６は、注意画像の数を表す。領域１８０２、領域１８０４、領域１８０７および領域１８０９は、注意画像として作業手順書１１０に格納された画像を示す。
【０２０４】
領域１８０２、領域１８０４、領域１８０７および領域１８０９には、注意画像に関する情報として、画像データが格納されてもよい。または、他の格納手段によって格納されている画像データを、特定するための識別子等が格納されてもよい。領域１８０３、領域１８０５、領域１８０８および領域１８１０は、各注意画像に対する説明文である。
【０２０５】
図１８に示すデータ３０３−１は、ｉ個（ｉは任意の自然数）の注意画像を含む。データ３０３−ｍは、ｊ個（ｊは任意の自然数）の注意画像を含む。
【０２０６】
手順書編集プログラム１２０２は、注意画像として挿入される注視画像と、注視画像が作業手順書に挿入される位置が、図１７に示す通り編集者によって決定された後、図１９のような画面によって、注意画像に対する説明文を編集者に入力させる。
【０２０７】
図１９は、本発明の第２の実施形態の注意画像の説明文を入力するための画面を示す説明図である。
【０２０８】
図１９の画面は、領域１９０１、領域１９０２、ＯＫボタン１９０３、およびキャンセルボタン１９０４を含む。領域１９０１は、注意画像として作業手順書中に挿入する注視画像を示し、領域１９０２は、注視画像に対する説明文を入力するための箇所である。
【０２０９】
編集者がＯＫボタン１９０３を選択した場合、手順書編集プログラム１２０２によって、領域１９０２に入力した説明文が注意画像と共に作業手順書１１０に挿入される。手順書編集プログラム１２０２は、キャンセルボタン１９０４が選択された場合、注視画像を作業手順書１１０へ挿入しない。
【０２１０】
図１７における注視画像１３０６を作業手順書の位置１７０２に挿入した後の状態を図２０に示す。
【０２１１】
図２０は、本発明の第２の実施形態の注視画像を注意画像として挿入した後の画面を示す説明図である。
【０２１２】
図１７および図１９に示す画面によって、注視画像の挿入を指示され、さらに、挿入される注視画像の注意画像としての説明文を入力された場合、手順書編集プログラム１２０２は、図２０に示す画像を表示する。
【０２１３】
図２０に示す領域１３０２には、領域２００１が含まれる。領域２００１は、注意画像として挿入された注視画像１３０６を含む。図２０において、手順書編集プログラム１２０２は、図２０の領域２００１において、説明文の下に注意画像を表示し、「注意１）」等の番号または記号を説明文の先頭に表示する。これによって、領域２００１の画像が注意画像であることを示す。
【０２１４】
注意画像およびその説明文の表示方法は、注意事項として作業者が注意画像を識別できれば、いかなる表示方法でもよい。
【０２１５】
さらに、第２の実施形態の作業支援システムが入力装置１０２として、例えば、作業者の視線、作業者の位置および作業対象の位置を検出するセンサを備える場合、注視画像対応付けプログラム１２０１は、検出された注視画像が作業対象を含むが否かを判定できる。これによって、注視画像対応付けプログラム１２０１は、例えば、余分な注視画像として検出された注視画像が作業対象を画像として含む場合、作業対象を含む注視画像を作業画像として作業手順書に追加する可能性が高い。また、注視画像が作業対象を含まない場合、注視画像を注意画像として作業手順書に追加しない可能性が高い。
【０２１６】
そして、注視画像対応付けプログラム１２０１は、前述のような注視画像の判定と、その判定結果を作業手順書１１０における対応箇所に格納してもよい。また、手順書編集プログラム１２０２は、前述の判定結果を注視画像と共に表示することによって、作業手順書の編集者が注視画像を作業画像または注意画像のいずれとして挿入すべきかを容易に判断させることができる。
【０２１７】
また、注視画像対応付けプログラム１２０１は、図８に示すステップ８１３の前後において、注視画像が新たに作業手順書に対応付けられた場合、作業手順書に注視画像が対応付けられた旨を、作業手順書の管理者や作成者に通知するようにしてもよい。これによって、作業者は、作業手順書に挿入すべき画像が取得されたことを認識することができる。
【０２１８】
第２の実施形態によれば、作業者の視野画像から抽出された注視画像を、作業画像または注意画像として、作業手順書に挿入できる。これによって、作業者の作業に基づいて、作業手順書を更新でき、作業不備および事故を未然に防ぐことができる。
【０２１９】
（第３の実施形態）
本発明における第３の実施形態を図２１から図２６を用いて説明する。
【０２２０】
図２１は、本発明の第３の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【０２２１】
図２１に示す作業支援システムは、図１に示す作業支援システムに、ヒヤリハット検出プログラム２１０１、ヒヤリハット映像抽出プログラム２１０２、ヒヤリハット対応付けプログラム２１０３、手順書編集プログラム２１０４およびヒヤリハット映像２１０５を追加したものであり、それ以外は図１と同じである。
【０２２２】
ヒヤリハット検出プログラム２１０１は、作業者の状態を示す生体情報等のデータを取得して、作業者がヒヤリまたはハットした状態（ヒヤリハット状態）を検出する。ヒヤリハット状態とは、作業が不適切に実施される可能性があったために作業者がヒヤリまたはハッとした状態のことである。
【０２２３】
ヒヤリハット検出プログラム２１０１は、ヒヤリハット状態を検出する方法として、例えば、既にあるヒヤリハット状態を検出する技術（例えば、特開２００７−４７９１４号公報参照）等を用いてもよい。
【０２２４】
また、第３の実施形態の作業支援システムは、ヒヤリハット検出プログラム２１０１において必要となるデータの種類に従った装置、例えば、心拍数、血圧、または発汗状態を取得するためのセンサ等を入力装置として備える。ヒヤリハット検出プログラム２１０１は、作業者のヒヤリハット状態を検出した場合、ヒヤリハット状態が検出された時刻を保持する。
【０２２５】
また、ヒヤリハット映像抽出プログラム２１０２は、ヒヤリハット映像を視野映像から抽出する。ヒヤリハット映像は、ヒヤリハットが検出された時刻から、あらかじめ定められた時間範囲の視野映像を切り出した映像である。すなわち、第１の時間範囲をＴ１、第２の時間範囲をＴ２、ヒヤリハット状態が検出された時刻をｔとした場合、時刻（ｔ−Ｔ１）から時刻（Ｔ２＋ｔ）までの間における視野映像をヒヤリハット映像として抽出する。なお、本実施形態における映像は、複数の画像を含む。
【０２２６】
ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像抽出プログラム２１０２によって視野映像から抽出されたヒヤリハット映像を作業手順書１１０の対応箇所に対応付けるためのプログラムである。ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像を作業手順書１１０に対応付けるため、作業状況判定プログラム１０８のステップ８０５において保持された、各作業が開始される時刻に関する情報を取得する。
【０２２７】
そして、取得された各作業が開始された時刻と、ヒヤリハット状態が検出された時刻を比較することによって、各ヒヤリハット映像がどの作業に対応しているかを判定する。すなわち、第１の作業画像の次の作業の画像が第２の作業画像であり、ヒヤリハット状態が検出された時刻をｓ、第１の作業画像に対応する作業が開始された時刻をＳ１、第２の作業画像に対応する作業が開始された時刻をＳ２であり、Ｓ１≦ｓ＜Ｓ２である場合、ヒヤリハット対応付けプログラム２１０３は、検出されたヒヤリハット状態は第１の作業画像に対応付いていると判定できる。
【０２２８】
前述のヒヤリハット映像と作業手順書１１０とを対応付ける方法は、すべての作業が終了した後に、各ヒヤリハット映像が対応する作業手順書１１０の箇所を特定するために適している。しかし、ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像が抽出される毎に、抽出されたヒヤリハット映像に対応する作業画像を求めてもよい。
【０２２９】
ヒヤリハット映像が抽出される毎に、抽出されたヒヤリハット映像に対応する作業画像を求める場合、ヒヤリハット対応付けプログラム２１０３は、新たなヒヤリハット映像が抽出された時点において作業状況判定プログラム１０８から実施中として設定されている作業画像を取得し、その作業画像とヒヤリハット映像とが対応していると判定する。
【０２３０】
さらに、ヒヤリハット対応付けプログラム２１０３は、図４に示す作業画像列１１１のフォーマットに基づいて、作業画像が対応する作業手順書１１０の作業に関する情報を取得し、ヒヤリハット映像が作業手順書１１０のどの作業に対応しているかを求める。ヒヤリハット対応付けプログラム２１０３は、前述の方法によって、抽出されたすべてのヒヤリハット映像に対して、作業手順書１１０における対応箇所を求め、ヒヤリハット映像と、ヒヤリハット映像の作業手順書１１０における対応箇所に関する情報と、を図２１のヒヤリハット映像２１０５に格納する。
【０２３１】
図２２は、本発明の第３の実施形態のヒヤリハット映像２１０５に格納される情報のフォーマットを示す。
【０２３２】
図２２に示すヒヤリハット映像２１０５のフォーマットは、領域２２０１〜領域２２０５を含む。また、ｋ個（ｋは、任意の自然数）のヒヤリハット映像を含む。
【０２３３】
図２２において、領域２２０１は、ヒヤリハット映像２１０５に格納されるヒヤリハット映像の数を示す。領域２２０２および領域２２０４は、ヒヤリハット映像の映像データを格納する。または、他の格納領域に格納されるヒヤリハット映像の映像データを特定するための情報が格納されてもよい。
【０２３４】
図２２において、領域２２０３および領域２２０５は、領域２２０２および領域２２０４が示すヒヤリハット映像が、作業手順書１１０中のいずれの作業に対応しているかを示す。すなわち、作業手順書１１０において作業を特定するための情報と、対応する作業における何番目の作業画像であるかを示す情報が含まれる。
【０２３５】
領域２２０３および領域２２０５において作業手順書１１０のいずれの作業に対応しているかを示す方法は、図４における領域４０３および領域４０５と同じ方法である。
【０２３６】
手順書編集プログラム２１０４は、作業手順書１１０の内容に対して追加または修正等の編集作業を行うための機能を作業手順書の管理者または作成者に提供するプログラムである。また、作業見出し、作業説明の修正、および、新しい作業に関する内容の追加等、作業手順書を作成するために必要な一般的な編集機能を有する。
【０２３７】
さらに手順書編集プログラム２１０４は、ヒヤリハット対応付けプログラム２１０３によって作業手順書１１０に対応付けられたヒヤリハット映像に対して、作業において注意すべき状況を示す映像としてヒヤリハット映像を追加するか、または、ヒヤリハット映像から抽出された特定の画像を作業において注意すべき状況を示す画像として追加するか、を、編集者に選択させる。また、映像または画像に対する説明文等を追加し、作業手順書の内容を更新する。
【０２３８】
図２３は、本発明の第３の実施形態のヒヤリハット画像と作業手順書との対応を示す編集画面を示す説明図である。
【０２３９】
手順書編集プログラム２１０４は、表示プログラム１０９および出力装置１０３によって、作業手順書の編集画面を表示する。図２３に示す編集画面は、領域２３０１および領域２３０２を含む。
【０２４０】
図２３に示す編集画面は、基本的には図１３に示す手順書編集プログラム１２０２による編集画面と同様である。領域２３０１は、作業手順書に対応付けられたヒヤリハット映像の一覧が表示される箇所、領域２３０２は、編集中の作業手順書の内容が表示される箇所である。領域２３０１は、説明２３０３、ヒヤリハット映像２３０４、説明２３０５、およびヒヤリハット映像２３０６を含む。
【０２４１】
領域２３０１において、各ヒヤリハット映像は、編集者が作業手順書の対応箇所を容易に判別できるように、対応する作業手順書の箇所を特定可能な説明文、番号または記号等と共に表示される。
【０２４２】
また、領域２３０２に示す作業手順書は、一つの作業に複数の作業画像が含まれているため、手順書編集プログラム２１０４は、ヒヤリハット映像がどの作業画像に対応付いているかを判別可能なように、作業画像の説明２３０３および説明２３０５に対応付けて、ヒヤリハット映像２３０４およびヒヤリハット映像２３０６を表示する。さらに、編集者が領域２３０１に表示される作業画像の説明またはヒヤリハット映像を選択した場合、手順書編集プログラム２１０４は、領域２３０２の作業手順書において、対応する箇所の表示を変化させてもよい。
【０２４３】
また、手順書編集プログラム２１０４は、領域２３０１に含まれるヒヤリハット映像を、常に再生して表示してもよいし、選択された場合に再生し始めてもよい。
【０２４４】
図２４は、本発明の第３の実施形態のヒヤリハット映像を注意画像として挿入するための編集画面を示す説明図である。
【０２４５】
図２４は、編集者が作業手順書に挿入するヒヤリハット映像を選択するため、ヒヤリハット映像２３０４を含む領域２４０１を選択した場合の編集画面を示す。
【０２４６】
ヒヤリハット映像は、作業上の注意事項を示す情報になりうるため、ヒヤリハット映像が対応する作業における作業画像と、次の作業の作業画像との間の箇所に挿入される可能性がある。具体的には、領域２４０１に含まれるヒヤリハット映像２３０４が作業手順書に挿入される場合、ヒヤリハット映像２３０４は、位置２４０２に挿入する可能性がある。
【０２４７】
具体的な挿入方法としては、編集者が、領域２４０１をマウスにより選択し、選択された領域２４０１を位置２４０２へドラッグ・アンド・ドロップすることによって、編集者がヒヤリハット映像２３０４の位置２４０２への挿入を指示する方法がある。
【０２４８】
なお、手順書編集プログラム２１０４は、ドラッグ・アンド・ドロップによってヒヤリハット映像の挿入が指示される際に、図２４に示す位置２４０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
【０２４９】
また、手順書編集プログラム２１０４は、ヒヤリハット映像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューが操作され、挿入する機能が起動された後、ヒヤリハット映像および挿入箇所の選択を編集者に行わせてもよい。また、ヒヤリハット映像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。
【０２５０】
さらに、図２４に示す編集画面において、ヒヤリハット映像２３０４は作業手順書上で対応している箇所にのみ挿入可能であったが、作業手順書中の任意の作業の注意画像として挿入されてもよい。
【０２５１】
第３の実施形態における作業手順書１１０のフォーマットは、図１８に示す第２の実施形態における作業手順書１１０のフォーマットと同様である。ただし、領域１８０２、領域１８０４、領域１８０７および領域１８０９には、ヒヤリハット映像の映像データ、またはヒヤリハット映像から抽出された特定の画像データが格納される。注意画像としては、さらに、映像データまたは画像データそのものが作業手順書１１０に格納されてもよいし、また、他の格納領域に格納される映像データまたは画像データを特定することができる識別子等の情報が格納されてもよい。
【０２５２】
ドラッグ・アンド・ドロップ等の操作によって、挿入されるヒヤリハット映像および作業手順書中の挿入箇所が決定された後、手順書編集プログラム２１０４は、図２５のような画面により、ヒヤリハット映像に対する説明文を入力できるようにする。
【０２５３】
図２５は、本発明の第３の実施形態の作業画像の説明文を入力するための画面を示す説明図である。
【０２５４】
図２５の画面は、領域２５０１、ボタン２５０２〜ボタン２５０４、領域２５０５、ボタン２５０６〜ボタン２５０８を含む。
【０２５５】
図２５に示す画面を介して入力される説明文は、図１８に示す作業手順書１１０のフォーマットの第３の実施形態における領域１８０３、領域１８０５、領域１８０８および領域１８１０等に格納される。
【０２５６】
領域２５０１は、作業手順書に挿入されるヒヤリハット映像を示す。ボタン２５０２は、編集者が、ヒヤリハット映像の内容を確認するために、ヒヤリハット映像を再生するための指示を入力するためのボタンである。ボタン２５０３は、編集者が、ヒヤリハット映像の再生を一時停止するためのボタンである。ボタン２５０４は、編集者が、ヒヤリハット映像の再生を停止するためのボタンである。
【０２５７】
手順書編集プログラム２１０４は、領域２５０１に表示されたヒヤリハット映像を操作するための機能として、再生、一時停止および停止の他、巻き戻し、早送り、またはスロー再生など、映像の操作として一般的に使用される機能を表示してもよい。
【０２５８】
領域２５０５は、編集者がヒヤリハット映像に対する説明文を入力するための箇所である。編集者がボタン２５０６を選択した場合、領域２５０１に表示されたヒヤリハット映像と、領域２５０５に入力された説明文とが作業手順書に追加される。
【０２５９】
また、編集者がボタン２５０７を選択した場合、領域２５０１に表示されるヒヤリハット映像から抽出されたヒヤリハット画像と、領域２５０５に入力された説明文とが、作業手順書に追加される。
【０２６０】
前述のボタン２５０７による画像の作業手順書への追加方法は、ヒヤリハット映像から抽出された一枚の画像を作業手順書に追加するが、手順書編集プログラム２１０４は、複数の画像を選択された場合、選択された複数の画像を作業手順書に追加する方法を用いてもよい。
【０２６１】
図２６は、本発明の第３の実施形態のヒヤリハット映像２３０４を注意画像として挿入した後の編集画面を示す説明図である。
【０２６２】
図２６は、図２４におけるヒヤリハット映像２３０４を作業手順書の位置２４０２に挿入した後の編集画面を示す。図２６に示す領域２３０２は、領域２６０１を含む。領域２６０１は、図２４の編集画面によって追加されたヒヤリハット映像２３０４と、図２５に示す画面によって入力された説明文を示す。
【０２６３】
手順書編集プログラム２１０４は、図２６の領域２６０１において説明文の下にヒヤリハット映像２３０４を表示し、説明文の先頭に「注意１」」等の番号、または記号を表示する。これによって、領域２６０１の画像が注意画像であることを示す。
【０２６４】
ヒヤリハット映像およびその説明文の表示方法は、注意事項として識別できればいかなる表示方法でもよい。また、手順書編集プログラム２１０４は、ヒヤリハット映像が映像データとして作業手順書中に追加される場合、ヒヤリハット映像を選択すると映像が再生されるように表示してもよい。または、再生および停止等のヒヤリハット映像を操作するためのボタンまたはメニュー等を別途、表示してもよい。
【０２６５】
第３の実施形態において、作業支援システムは、視野画像からヒヤリハット映像を抽出し、抽出されたヒヤリハット映像を作業手順書に対応付けた。前述の第３の実施形態は、ヒヤリハット映像を作業手順書中に追加する機能を第１の実施形態の作業支援システムに追加したが、ヒヤリハット映像に関する処理や機能を第２の実施形態の作業支援システムに追加してもよい。これによって、第３の実施形態の作業支援システムは、余分な注視画像とヒヤリハット映像とを作業手順書中に追加することができる。
【０２６６】
第３の実施形態によれば、作業者の視野画像から抽出されたヒヤリハット映像を、注意画像として、作業手順書に挿入できる。これによって、作業者の作業に基づいて、作業手順書を更新でき、作業不備および事故を未然に防ぐことができる。
【０２６７】
（第４の実施形態）
本発明における第４の実施形態を図２７により説明する。
【０２６８】
図２７は、本発明の第４の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。
【０２６９】
第４の実施形態の作業支援システムは、手順書管理用端末２７０２と、複数の作業者用端末２７０１とを備える。手順書管理用端末２７０２と作業者用端末２７０１とは、ネットワーク２７０３によって接続される。第４の実施形態の作業支援システムは、第２の実施形態の作業支援システムの各機能を、作業者用端末２７０１と手順書管理用端末２７０２とに分割して有する。
【０２７０】
作業者用端末２７０１は、計算機であり、情報処理装置２７０４、入力装置２７０５、出力装置２７０６、記憶装置２７０７、および作業画像列２７０８を備える。情報処理装置２７０４は、例えばＣＰＵ等のプロセッサなど、各種プログラムを実行するための装置である。
【０２７１】
入力装置２７０５は、例えば、視野映像または視線を取得する装置、キーボード、マウス、または、タッチパッド等の装置である。出力装置２７０６は、例えば、モニタ、スピーカ、または振動を検出する装置等である。記憶装置２７０７は、各種プログラムを格納する装置である。作業画像列２７０８は、作業画像列を格納するための記憶装置である。
【０２７２】
記憶装置２７０７は、注視画像抽出プログラム２７０９、類似度計算プログラム２７１０、作業状況判定プログラム２７１１、表示プログラム２７１２、および注視画像対応付けプログラム２７１３を含む。さらに記憶装置２７０７は、作業者用端末２７０１と手順書管理用端末２７０２との間で情報を送受信するための送受信プログラム２７１４も含む。
【０２７３】
手順書管理用端末２７０２は、計算機であり、情報処理装置２７１５、入力装置２７１６、出力装置２７１７、記憶装置２７１８、作業手順書２７１９、および注視画像２７２０を備える。情報処理装置２７１５は、例えば、プロセッサなど、各種プログラムを実行するための装置である。
【０２７４】
入力装置２７１６は、キーボード、マウス、またはタッチパッド等の作業手順書を編集および管理するための操作を行うための装置である。出力装置２７１７は、作業手順書の内容または編集画面を表示するためのモニタまたはスピーカ等の装置である。
【０２７５】
記憶装置２７１８は、各種プログラムを格納するための装置である。作業手順書２７１９は、作業手順書を格納するための記憶装置である。注視画像２７２０は、注視画像を格納するための記憶装置である。
【０２７６】
また、記憶装置２７１８は、作業画像列生成プログラム２７２１、手順書編集プログラム２７２２、表示プログラム２７２３を含む。さらに記憶装置２７１８は、作業者用端末２７０１との間で情報を送受信するための送受信プログラム２７２４を含む。
【０２７７】
第４の実施形態における各機能は、第２の実施形態における各機能と同様である。すなわち、注視画像抽出プログラム２７０９は、注視画像抽出プログラム１０６と同じ機能を有し、類似度計算プログラム２７１０は、類似度計算プログラム１０７と同じ機能を有し、作業状況判定プログラム２７１１は、作業状況判定プログラム１０８と同じ機能を有する。また、表示プログラム２７１２は、表示プログラム１０９が有する作業手順書を作業者に表示する機能と同じ機能を有する。また、注視画像対応付けプログラム２７１３は、注視画像対応付けプログラム１２０１と同じ機能を有する。
【０２７８】
さらに、作業画像列生成プログラム２７２１は、作業画像列生成プログラム１０５を同じ機能を有し、手順書編集プログラム２７２２は、手順書編集プログラム１２０２と同じ機能を有する。また、表示プログラム２７２３は、表示プログラム１０９が有する作業手順書の編集画面を表示する機能と同じ機能を有する。
【０２７９】
なお、第４の実施形態における一部の機能は、作業者用端末２７０１と手順書管理用端末２７０２との間で情報を送受信するための機能を含む。以下、第４の実施形態において追加される機能について説明する。
【０２８０】
まず、作業者用端末２７０１は、作業の開始時に、利用可能な作業手順書から実施する作業に関する作業手順書を作業者に選択させる。これは第１の実施形態に説明した内容と同様に表示プログラム２７１２によって行われるが、作業手順書は手順書管理用端末２７０２の作業手順書２７１９に格納されている。このため、表示プログラム２７１２は、送受信プログラム２７１４を用いて、手順書管理用端末２７０２から作業手順書に関する情報を取得した後、出力装置２７０６に取得された作業手順書の一覧を表示する。
【０２８１】
出力装置２７０６に表示された作業手順書の一覧から、作業者が実施する作業に関する作業手順書を選択した場合、選択結果は送受信プログラム２７１４を用いて作業者用端末２７０１から手順書管理用端末２７０２に送信される。そして、手順書管理用端末２７０２は、作業画像列生成プログラム２７２１を用いて、選択された作業手順書から作業画像列を生成する。
【０２８２】
さらに、送受信プログラム２７２４は、生成された作業画像列を、作業者用端末２７０１に送信する。作業者用端末２７０１によって受信された作業画像列は、作業画像列２７０８に格納される。
【０２８３】
作業が開始された場合、作業者用端末２７０１は、第１の実施形態と同じく、注視画像抽出プログラム２７０９および類似度計算プログラム２７１０を用いた注視画像の抽出、作業状況判定プログラム２７１１および類似度計算プログラム２７１０を用いた作業状況の判定処理を行う。また、第２の実施形態と同様に、注視画像対応付けプログラム２７１３を用いた余分な注視画像の作業手順書への対応付けを行う。
【０２８４】
ここで、第４の実施形態における注視画像対応付けプログラム２７１３は、余分な注視画像とその注視画像が対応する作業手順書中の箇所に関する情報とを、送受信プログラム２７１４を用いて手順書管理用端末２７０２に送信する。手順書管理用端末２７０２では、受信した余分な注視画像と作業手順書中の対応箇所に関する情報とを注視画像２７２０に格納する。そして、手順書編集プログラム２７２２は、注視画像２７２０を参照し、第２の実施形態と同じ方法によって作業手順書の編集画面が出力装置２７１７に表示する。
【０２８５】
第４の実施形態によれば、複数の作業者が各作業を実施することによって抽出された注視画像に基づいて、編集者が作業手順書の編集を行うことができる。また、これによって、作業不備および事故を未然に防ぐことができる。
【０２８６】
（第５の実施形態）
本発明における第５の実施形態を図２８により説明する。
【０２８７】
図２８は、本発明の第５の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。
【０２８８】
第５の実施形態の作業支援システムは、手順書管理用端末２８０２と、複数の作業者用端末２８０１とを備える。手順書管理用端末２８０２と作業者用端末２８０１とは、ネットワーク２８０３によって接続される。第５の実施形態の作業支援システムは、第３の実施形態の作業支援システムの各機能を、作業者用端末２８０１と手順書管理用端末２８０２とに分割して有する。
【０２８９】
作業者用端末２８０１は、第４の実施形態の作業者用端末２７０１と同じく、情報処理装置２８０４、入力装置２８０５、出力装置２８０６、記憶装置２８０７、および作業画像列２８０８を備える。情報処理装置２８０４は、例えばプロセッサなど、各種プログラムを実行するための装置である。
【０２９０】
情報処理装置２８０４、出力装置２８０６、および作業画像列２８０８は、第４の実施形態の情報処理装置２７０４、出力装置２７０６、および作業画像列２７０８と同じである。
【０２９１】
記憶装置２８０７は、注視画像抽出プログラム２８０９、類似度計算プログラム２８１０、作業状況判定プログラム２８１１、表示プログラム２８１２、ヒヤリハット検出プログラム２８３１、ヒヤリハット映像抽出プログラム２８３２、およびヒヤリハット対応付けプログラム２８３３を含む。さらに記憶装置２８０７は、作業者用端末２８０１と手順書管理用端末２８０２との間で情報を送受信するための送受信プログラム２８１４も含む。
【０２９２】
図２８に示す作業者用端末２８０１は、図２７に示す作業者用端末２７０１の構成と同様であるが、注視画像対応付けプログラム２７１３の代わりに、ヒヤリハット検出プログラム２８３１、ヒヤリハット映像抽出プログラム２８３２、およびヒヤリハット対応付けプログラム２８３３を記憶装置２８０７に含む。
【０２９３】
また、第５の実施形態による作業支援システムでは、入力装置２８０５として、視野映像を入力するためのビデオカメラ、視線入力装置、キーボード、マウス、またはタッチパネル等の一般的な入力装置を備える。また、ヒヤリハット検出プログラム２８３１によって必要となるデータの種類に応じた入力装置、例えば、心拍数、血圧、または発汗状態を取得するためのセンサ等を備えてもよい。
【０２９４】
第５の実施形態における各機能は、第３の実施形態における各機能と同様である。すなわち、注視画像抽出プログラム２８０９は、注視画像抽出プログラム１０６と同じ機能を有し、類似度計算プログラム２８１０は、類似度計算プログラム１０７と同じ機能を有し、作業状況判定プログラム２８１１は、作業状況判定プログラム１０８と同じ機能を有する。また、表示プログラム２８１２は、表示プログラム１０９が有する作業手順書を作業者に表示する機能と同じ機能を有する。
【０２９５】
また、ヒヤリハット検出プログラム２８３１は、ヒヤリハット検出プログラム２１０１と同じ機能を有する。ヒヤリハット映像抽出プログラム２８３２は、ヒヤリハット映像抽出プログラム２１０２と同じ機能を有する。ヒヤリハット対応付けプログラム２８３３は、ヒヤリハット対応付けプログラム２１０３と同じ機能を有する。
【０２９６】
手順書管理用端末２８０２も、図２７における手順書管理用端末２７０２の構成と同様であるが、図２７における注視画像２７２０の代わりに、ヒヤリハット映像２８３４を備える。
【０２９７】
また、作業画像列生成プログラム２８２１は、作業画像列生成プログラム１０５を同じ機能を有し、手順書編集プログラム２８２２は、手順書編集プログラム２１０４と同じ機能を有する。また、表示プログラム２８２３は、表示プログラム１０９が有する作業手順書の編集画面を表示する機能と同じ機能を有する。
【０２９８】
なお、第５の実施形態における一部の機能は、作業者用端末２８０１と手順書管理用端末２８０２との間で情報を送受信するための機能を含む。以下、第５の実施形態において追加される機能について説明する。
【０２９９】
作業者用端末２８０１において、作業者が実施する作業に関する作業手順書を選択した結果を手順書管理用端末２８０２に送信する方法、手順書管理用端末２８０２において、選択された作業手順書から作業画像列を生成する方法、生成された作業画像列を作業者用端末２８０１に送信する方法、および、作業者用端末２８０１に格納する方法は、第４の実施形態と同じであるが、各方法は、第５の実施形態の各機能によって実行される。
【０３００】
作業が開始された場合、作業者用端末２８０１は、第１の実施形態と同じく、注視画像抽出プログラム２８０９および類似度計算プログラム２８１０を用いた注視画像の抽出、作業状況判定プログラム２８１１および類似度計算プログラム２８１０を用いた作業状況の判定処理を行う。
【０３０１】
そして、第３の実施形態と同じく、ヒヤリハット検出プログラム２８３１が作業者のヒヤリハット状態を検出し、ヒヤリハット状態の検出結果に基づいてヒヤリハット映像抽出プログラム２８３２が視野映像からヒヤリハット映像を抽出する。さらに、ヒヤリハット対応付けプログラム２８３３が、ヒヤリハット映像が対応する作業手順書中の箇所を特定する。
【０３０２】
さらに、第５の実施形態のヒヤリハット対応付けプログラム２８３３は、ヒヤリハット映像とそのヒヤリハット映像が対応する作業手順書の箇所に関する情報を手順書管理用端末２８０２に送信する。
【０３０３】
手順書管理用端末２８０２では、受信したヒヤリハット映像と作業手順書中の対応箇所に関する情報とをヒヤリハット映像２８３４に格納する。手順書編集プログラム２８２２は、第３の実施形態と同じく、ヒヤリハット映像２８３４に基づいて、作業手順書の編集画面を出力装置１０３に表示する。
【０３０４】
第５の実施形態によれば、複数の作業者が各作業を実施することによって抽出されたヒヤリハット映像に基づいて、編集者が作業手順書を編集することができる。また、これによって、作業不備および事故を未然に防ぐことができる。
【０３０５】
なお、本実施形態の情報処理装置（第１、第２、および第３の実施形態における情報処理装置１０１、第４の実施形態における情報処理装置２７０４、ならびに、第５の実施形態における情報処理装置２７０４）は、各作業支援システムが有する前述のプログラムを処理することによって、所定の機能を実現する機能部として動作してもよい。例えば、情報処理装置１０１は、作業画像列生成プログラム１０５を処理することによって、作業画像列生成部として機能してもよい。他のプログラムについても同様である。
【０３０６】
さらに、本実施形態の情報処理装置は、各プログラムによって実行される複数の処理のそれぞれを実現する機能部としても動作してよい。また、各プログラムは、各処理ごとに分割され、別のプログラムとして実装されてもよい。
【０３０７】
また、本実施形態のプログラムは、プログラム配布サーバなどの、計算機読み取り可能な非一時的記憶媒体によって作業支援システムにインストールされてもよく、各計算機の不揮発性記憶デバイスに格納されてもよい。
【０３０８】
本実施形態によれば、作業を実施する際に必ず準備される作業手順書に含まれる作業画像の情報と、取得された視野映像とを用いることによって、作業の進行状況が適切であるか否かを判定することができる。このため、判定に必要な入力装置は、例えば、ビデオカメラのみでもよく、作業現場に容易に導入することが可能となる。また、ビデオカメラは、視野を撮影できる状態であれば設置位置や方法に制限は無く、さらに、作業中に作業者が通常の作業と異なる新たな作業を行う必要も無いため、作業者に負担をかけずに作業状況を判定することが可能となる。
【０３０９】
また、作業者の視野画像から、注視画像またはヒヤリハット映像を抽出することによって、作業者が作業において注意すべき作業または追加されるべき作業を示す画像を、作業手順書に追加できる。これによって、作業不備および事故を未然に防ぐことができる。
【０３１０】
なお、特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげられる。
【０３１１】
作業状況判定部は、第４の閾値を保持し、前記作業状況判定部は、前記抽出された注視画像が前記視野画像として取得された時間の合計と前記第４の閾値とを比較した結果、前記時間の合計が小さい場合、前記作業者が適切に作業を実施したと判定することを特徴とする作業支援システム。
【符号の説明】
【０３１２】
１０１ 情報処理装置
１０２ 入力装置
１０３ 出力装置
１０４ 記憶装置
１０５ 作業画像列生成プログラム
１０６ 注視画像抽出プログラム
１０７ 類似度計算プログラム
１０８ 作業状況判定プログラム
１０９ 表示プログラム
１１０ 作業手順書
１１１ 作業画像列
１２０１ 注視画像対応付けプログラム
１２０２ 手順書編集プログラム
１２０３ 注視画像
２１０１ ヒヤリハット検出プログラム
２１０２ ヒヤリハット映像抽出プログラム
２１０３ ヒヤリハット対応付けプログラム
２１０５ ヒヤリハット映像
２７０１ 作業者用端末
２７０２ 手順書管理用端末
２７０３ ネットワーク
２７１４ 送受信プログラム
【技術分野】
【０００１】
本発明は、作業支援システムに関し、特に、作業手順書に基づいて作業者の安全かつ適切な作業を支援する作業支援システムに関するものである。
【背景技術】
【０００２】
建設工事または保全工事等の現場においては、作業不備および事故を未然に防止することが重要な課題である。作業不備および事故を防止するためには、通常、作業を実施する各作業員に、作業対象および作業手順の確認および慎重な作業進行の徹底等が図られているが、疲労および集中力の低下、不注意等に起因するヒューマンエラーを撲滅するには至っていないのが現状である。
【０００３】
この問題を解決するため、ＩＴ技術を用いることにより、作業が適切に進行しているか否かを判定する、または、作業者が作業内容を理解して作業を進めているか否かを判定することにより、作業不備および事故を未然に防止するための作業支援技術が検討されてきた（例えば、特許文献１、特許文献２、および特許文献３参照）。
【０００４】
特許文献１では、ＩＣタグ等によって作業対象に識別情報を付与し、作業の開始時および終了時に読取り装置を用いて読み取った識別情報に基づいて、作業が正しく進行しているか否かを判定する技術が開示されている。
【０００５】
また、特許文献２では、各種センサを作業対象の機器または作業者に付与することによって、作業中に各種センサから取得された機器の使用状況および作業者の位置等の情報と、あらかじめ作業毎に想定されるセンサ情報とを比較する技術が開示されている。そして、特許文献２では、比較結果に従って、どの作業が実施されたかを判定し、また、実施された作業を一覧表示する技術が開示されている。
【０００６】
一方、特許文献３では、計算機における作業を想定した技術が開示されており、利用者の計算機における操作情報を取得し、あらかじめ用意されている基準となる操作情報との類似度に基づいて、作業者が作業内容を理解しながら作業を進めているか否かを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−９１３１６号公報
【特許文献２】特開２００６−１６４２５１号公報
【特許文献３】特開平１１−２４９７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述の特許文献１および特許文献２が開示する従来技術では、管理者が、ＩＣタグもしくは各種センサ等を作業対象もしくは作業機材等に設置すること、または、ＩＣタグもしくは各種センサが装備された新たな装置を、各システムに導入することが前提となる。また、管理者が、ＩＣタグもしくは各種センサから入力される情報と各作業とを対応付ける情報とを、データベースとしてあらかじめ正しく整備するなどの、準備をしておく必要がある。
【０００９】
しかし、大規模な作業現場の場合、多数の作業対象または作業機材を使用するため、それらの作業対象または作業機材をすべて整備し、適切に管理するためには多大な労力を要する。このため、特許文献１および特許文献２における従来技術による作業支援技術を導入することは容易では無いという問題がある。また、特許文献３が開示する技術についても、建設工事または保全工事の現場を対象とする場合、管理者が、特許文献１および特許文献２にあるようなＩＣタグまたは各種センサを事前に多数設置しておく必要があり、特許文献１及び特許文献２における前述の問題と、同様の問題が生じる。
【００１０】
さらに、特許文献１が開示する技術を導入する場合、作業者が、読取り装置を用いて識別情報を読み取る、という通常の作業では発生しない新たな作業を行う必要が生じる。詳細に作業状況を判定するためには、このような新たな作業が多数発生することになり、それらが作業者の負担となり、その結果、作業不備および事故を発生させる可能性が高くなるという問題が生じる。
【００１１】
本発明の目的は、作業の進行状況が適切であるか否かを客観的に判定することにより、作業不備および事故を未然に防止するための作業支援技術を実現することにあり、特に、作業現場への導入が容易で、かつ、新たな作業の発生等による作業者への負担が少ない作業支援技術を実現することにある。
【課題を解決するための手段】
【００１２】
本発明の代表的な一例を示せば以下の通りである。すなわち、作業者に作業手順書を表示する出力装置を備えた作業支援システムであって、前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、前記作業支援システムは、プロセッサとメモリと入力装置とを備え、前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成部と、前記作業画像列から抽出された作業画像を、前記出力装置に表示する出力部と、前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、前記出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力する。
【発明の効果】
【００１３】
本発明の一実施形態によると、作業不備および事故を未然に防止するための作業支援システムを、作業現場へ容易に導入できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【図２】本発明の第１の実施形態の作業者が参照する作業手順書を示す説明図である。
【図３】本発明の第１の実施形態の作業手順書の電子的なフォーマットを示す説明図である。
【図４】本発明の第１の実施形態の作業画像列の電子的なフォーマットを示す説明図である。
【図５】本発明の第１の実施形態の入力装置を示す説明図である。
【図６】本発明の第１の実施形態の視野映像から注視画像を抽出する方法を示す説明図である。
【図７】本発明の第１の実施形態の注視画像の抽出方法を示す説明図である。
【図８】本発明の第１の実施形態の作業状況の判定処理を示すフローチャートである。
【図９】本発明の第１の実施形態の出力装置に表示される実施中の作業画像を示す説明図である。
【図１０】本発明の第１の実施形態の出力装置に表示される終了した作業画像を示す説明図である。
【図１１】本発明の第１の実施形態の作業者に提示される注意喚起の画面を示す説明図である。
【図１２】本発明の第２の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【図１３】本発明の第２の実施形態の注視画像と作業手順書との対応を示す編集画面を示す説明図である。
【図１４】本発明の第２の実施形態の注視画像を作業手順として挿入するための編集画面を示す説明図である。
【図１５】本発明の第２の実施形態の作業画像の説明文を入力するための画面を示す説明図である。
【図１６】本発明の第２の実施形態の注視画像を作業画像として挿入した後の編集画面を示す説明図である。
【図１７】本発明の第２の実施形態の注視画像を注意画像として挿入するための編集画面を示す説明図である。
【図１８】本発明の第２の実施形態の作業手順書の電子的なフォーマットを示す説明図である。
【図１９】本発明の第２の実施形態の注意画像の説明文を入力するための画面を示す説明図である。
【図２０】本発明の第２の実施形態の注視画像を注意画像として挿入した後の画面を示す説明図である。
【図２１】本発明の第３の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【図２２】本発明の第３の実施形態のヒヤリハット映像に格納される情報のフォーマットを示す。
【図２３】本発明の第３の実施形態のヒヤリハット画像と作業手順書との対応を示す編集画面を示す説明図である。
【図２４】本発明の第３の実施形態のヒヤリハット映像を注意画像として挿入するための編集画面を示す説明図である。
【図２５】本発明の第３の実施形態の作業画像の説明文を入力するための画面を示す説明図である。
【図２６】本発明の第３の実施形態のヒヤリハット映像を注意画像として挿入した後の編集画面を示す説明図である。
【図２７】本発明の第４の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。
【図２８】本発明の第５の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明は、作業者の視野画像から抽出された注視画像に基づいて、作業者の作業の進捗を判定することによって、作業不備および事故を未然に防止する。
【００１６】
（第１の実施形態）
本発明における第１の実施形態を図１から図１１を用いて説明する。
【００１７】
図１は、本発明の第１の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【００１８】
第１の実施形態の作業支援システムは、情報処理装置１０１、入力装置１０２、出力装置１０３、記憶装置１０４、作業手順書１１０、及び、作業画像列１１１を有する。作業支援システムに含まれる各要素は、一つの計算機に格納され、バスによって接続されてもよく、また、複数の計算機に格納され、ネットワークインタフェースを介して接続されてもよい。
【００１９】
情報処理装置１０１は、第１の実施形態の作業支援システムに必要な各種のプログラムを実行するための情報処理装置である。情報処理装置１０１は、例えば、ＣＰＵ等のプロセッサである。
【００２０】
入力装置１０２は、作業支援システムに必要な情報を取得するための入力装置である。入力装置１０２は、例えば、作業者の顔が向いている方向の映像である視野映像を取得するためのビデオカメラ、または、視野映像中における作業者の視線位置を取得するための視線入力装置でもよい。また、作業手順書の編集または注意喚起情報に対する作業者または管理者による操作等を行うためのキーボード、マウス、またはタッチパネル等の一般的な入力装置が含まれる。
【００２１】
出力装置１０３は、作業手順書の表示および注意喚起の提示等に使用される出力装置である。出力装置１０３は、一般的なパソコン等に用いられるモニタ、スピーカ、または、振動装置等が含まれる。出力装置１０３は、作業手順書の編集のためにも使用される。
【００２２】
記憶装置１０４は、作業支援システムに必要な各種のプログラム、および、処理の途中経過に関する情報を格納するための記憶装置である。記憶装置１０４は、例えば、一時的にデータを記憶するメモリ等である。
【００２３】
記憶装置１０４は、作業画像列生成プログラム１０５、注視画像抽出プログラム１０６、類似度計算プログラム１０７、作業状況判定プログラム１０８、および、表示プログラム１０９を有する。
【００２４】
作業画像列生成プログラム１０５は、後述の作業手順書から、各作業に対応する画像である作業画像を抽出し、抽出された作業画像に基づいて、作業画像列を生成するためのプログラムである。本実施形態の作業画像列とは、抽出された作業画像を作業手順の順に保持する情報の集合である。
【００２５】
注視画像抽出プログラム１０６は、入力装置１０２から入力された視野映像から、作業者が特定の対象物を注視している際の画像である注視画像を抽出するためのプログラムである。本実施形態の注視画像とは、作業者が特定の対象物を所定の時間の間、見続けている（注視している）場合に、作業者によって注視されている特定の対象物を含む画像である。
【００２６】
類似度計算プログラム１０７は、注視画像抽出プログラム１０６および後述の作業状況判定プログラム１０８において、画像間の類似度を算出するために使用されるプログラムである。
【００２７】
作業状況判定プログラム１０８は、作業画像と注視画像との類似度に基づいて、作業が適切に終了したか否か、または、作業が適切に進行しているか否か、等の作業状況を判定するためのプログラムである。作業が適切に終了していない、または、作業が適切に進行していない、と作業状況判定プログラム１０８によって判定された場合、作業状況判定プログラム１０８は、後述の表示プログラム１０９を用いることによって、出力装置１０３に注意喚起を示す情報を出力する。
【００２８】
表示プログラム１０９は、作業手順書の内容または注意喚起を示す情報を出力装置１０３に表示するために使用されるプログラムである。
【００２９】
作業手順書１１０および作業画像列１１１は、情報を蓄積するための記憶領域であり、例えば、ＨＤＤ等の記憶装置に格納される。作業手順書１１０および作業画像列１１１は、一つの記憶装置に格納されてもよく、また、異なる記憶装置に格納されてもよい。
【００３０】
作業手順書１１０には、一連の作業手順における各作業に関する内容を示す作業手順書が格納される。本実施形態における作業に関する内容には、文字および記号の他、図面または写真等の画像情報が含まれる。
【００３１】
なお、作業手順書１１０に含まれる画像情報は、作業手順書１１０とは別の記憶領域に格納されてもよく、作業手順書１１０には、対応する画像情報の格納領域または対応する画像を特定するための情報のみが含まれてもよい。
【００３２】
作業画像列１１１には、作業画像列生成プログラム１０５によって作業手順書から生成された作業画像列が格納される。
【００３３】
図２は、本発明の第１の実施形態の作業者が参照する作業手順書を示す説明図である。
【００３４】
図２に示す作業手順書は、本実施形態において、作業者によって直接参照される作業手順書である。なお、作業手順書から作業画像列を生成できれば、本実施形態の作業手順書は、図２に示す作業手順書に限られず、いかなる形式の作業手順書でもよい。
【００３５】
図２に示す作業手順書は、領域２０１〜領域２１１を含む。領域２０１は、作業手順書のタイトルを示す。
【００３６】
作業手順書は、一般的に、複数の細かい作業によって構成される。領域２０２および領域２０６は、各作業の概要および種類等を示す見出しを示す。領域２０３および領域２０７は、各作業の内容に関する詳細な説明を示す。
【００３７】
領域２０４、領域２０８および領域２１０は、各作業の内容に関連する写真または図面等の画像（以下、作業画像と記載）を示す。領域２０５、領域２０９および領域２１１は、各作業画像の説明文を示す。
【００３８】
図２に示すように、作業画像およびその説明文は、領域２０２および領域２０６が示す各作業に複数含まれてもよい。また、図２に示す作業手順書は、一連の作業手順が複数の作業により構成される形態であるが、各作業はさらに細かい作業の列によって構成されるてもよく、すなわち、作業手順が複数の階層の作業に細かく再分化されて記載されてもよい。
【００３９】
図２に示す作業手順書は、紙に印刷された状態、または、画面に表示された作業手順書を示すが、本発明における作業支援システムは、図１の作業手順書１１０に電子的に格納される。
【００４０】
図３は、本発明の第１の実施形態の作業手順書１１０の電子的なフォーマットを示す説明図である。
【００４１】
図３に示す作業手順書のフォーマットは、タイトル３０１、作業数３０２、および、複数のデータ３０３（データ３０３−１〜データ３０３−ｍ：ｍは任意の自然数）を含む。
【００４２】
図３に示すタイトル３０１は、図２の領域２０１に表示される文字列に対応する。作業数３０２は、作業手順書を構成する作業の数を示す。
【００４３】
データ３０３は、各作業の内容を示す。作業数３０２が示す作業の個数分、作業手順書のフォーマットに格納される。図３に示す作業手順書のフォーマットは、ｍ個のデータ（データ３０３−１〜データ３０３−ｍ）を含む。
【００４４】
図３に示すデータ３０３−１は、領域３０５〜領域３１１を含み、データ３０３−ｍは、領域３１２〜領域３１８を含む。
【００４５】
各データ３０３は、各作業の見出しを示す値を含む。領域３０５および領域３１２には、作業の見出しが格納される。各データ３０３が示す作業の見出し（領域３０５または領域３１２）は、図２に示す領域２０２または領域２０６に表示される文字列に対応する。
【００４６】
各データ３０３は、作業の説明文を示す値を含み、領域３０６および領域３１３には、作業の説明文が格納される。各データ３０３が示す作業の説明文（領域３０６および領域３１３）は、図２に示す領域２０３または領域２０７に表示される文字列に対応する。
【００４７】
各データ３０３は、作業画像数を含み、領域３０７および領域３１４には、作業画像数が格納される。本実施形態における作業画像数とは、各作業を説明するために格納される作業画像の数である。
【００４８】
各データ３０３は、作業画像を示す情報を含み、領域３０８、領域３１０、領域３１５および領域３１７には、作業画像を示す情報が格納される。領域３０８、領域３１０、領域３１５および領域３１７は、図２の領域２０４、領域２０８、または、領域２１０に対応する。
【００４９】
データ３０３には、作業画像として、画像データが格納されてもよいし、また、他の記憶領域に格納される画像データを特定することができる識別子等の情報が格納されてもよい。
【００５０】
各データ３０３は、各作業画像を説明するための説明文を含む。領域３０９、領域３１１、領域３１６および領域３１８には、各作業画像に対する説明文が格納される。領域３０９、領域３１１、領域３１６および領域３１８は、図２の領域２０５、領域２０９および領域２１１に対応する。
【００５１】
データ３０３−１は、ｎ個（ｎは任意の自然数）の作業画像を含む。データ３０３−ｍは、ｐ個（ｐは任意の自然数）の作業画像を含む。
【００５２】
本実施形態の作業支援システムにおいて、作業画像列生成プログラム１０５は、作業者によって実施される作業に関する作業手順書から作業画像を抽出し、抽出された作業画像に、作業手順書１１０が示す作業手順の順に従って順序を付す。具体的には、番号等を付す。そして、順序を付けられた作業画像を作業画像列１１１に格納する。
【００５３】
表示プログラム１０９が、作業手順書１１０に格納される作業手順書のタイトル（タイトル３０１に格納される値）の一覧を出力装置１０３に表示し、作業者に入力装置１０２を介して、作業手順書のタイトルを選択させることによって、作業者によって実施される作業に関する作業手順書が決定される。
【００５４】
なお、表示プログラム１０９は、作業内容に関するキーワードを、作業者に入力させ、作業者が抽出したい作業手順書を作業手順書１１０から抽出する機能、または、作業者によって作業手順書を選択させる際に作業手順書の内容を作業者に確認させる機能等を有してもよい。また、作業手順書中のどの作業から開始するかを、作業者に指定させる機能を有してもよい。
【００５５】
実施される作業に関する作業手順書が作業者によって選択された後、作業画像列生成プログラム１０５は、図３に示すフォーマットに従って作業画像が格納されている箇所を作業手順書から検索する。そして、作業画像列生成プログラム１０５は、検索された作業画像を抽出する。そして、作業画像列生成プログラム１０５は、作業手順が示す順序に従って、図４に示すフォーマットのように、抽出された作業画像を作業画像列１１１に格納する。
【００５６】
図４は、本発明の第１の実施形態の作業画像列１１１の電子的なフォーマットを示す説明図である。
【００５７】
図４に示す作業画像列１１１のフォーマットは、領域４０１〜領域４０５を含む。図４に示す作業画像列は、図３に示す作業手順書１１０のフォーマットのデータ３０３から、作業画像を抽出した場合の作業画像列１１１を示す。
【００５８】
領域４０１は、作業手順書１１０から抽出された作業画像の数を示す。領域４０１には、作業者が実施する作業を示すデータ３０３の作業画像数の合計が格納される。
【００５９】
作業画像列１１１は、作業画像を示す情報を含み、領域４０２および領域４０４には、作業手順書１１０から抽出された各画像データ（作業画像）が格納される。作業画像列生成プログラム１０５は、作業手順書１１０に格納される作業画像を示す情報が画像データである場合、作業手順書１１０に格納される画像データを領域４０２または領域４０４に格納してもよい。
【００６０】
また、作業画像列生成プログラム１０５は、作業手順書１１０に格納される作業画像に関する情報が、他の記憶領域に格納された画像データを特定するための識別子またはアドレス等である場合、それら識別子またはアドレス等の情報に基づいて、画像データを取得してもよい。そして、取得された画像データを、領域４０２または領域４０４に格納してもよい。また、作業画像列生成プログラム１０５は、他の記憶領域に格納された画像データを特定するための識別子またはアドレス等を領域４０２または領域４０４に格納してもよい。
【００６１】
領域４０３および領域４０５は、領域４０２および領域４０４が示す作業画像が、作業手順書のいずれの作業の作業画像であるかを示す情報を含む。具体的には、作業手順書の作業を特定する番号と、対応する作業における何番目の作業画像であるかを示す番号とを含む。
【００６２】
例えば、領域４０２が示す作業画像が図２における領域２０８に表示される作業画像である場合、領域４０３には、「２−１」のような形式によって値が格納される。この場合、「２−１」の最初の「２」は二番目の作業であることを示し、「２−１」は二番目の作業における一番目の作業画像であることを示す。
【００６３】
領域４０３および領域４０５に格納される値は、前述の「２−１」のような形式に限定されず、作業手順書の作業を特定する情報と、対応する作業における何番目の作業画像であるかを示す情報とを示すことができれば、いかなる値でもよい。
【００６４】
作業者によって選択された作業手順書の作業を開始することを、作業者が入力装置１０２を用いて作業支援システムに通知した場合、注視画像抽出プログラム１０６と作業状況判定プログラム１０８が起動される。注視画像抽出プログラム１０６は、注視画像を抽出し、作業状況判定プログラム１０８は、抽出された注視画像に基づいて作業状況の判定処理を行う。
【００６５】
本実施形態の作業支援システムは、例えば、入力装置１０２としてビデオカメラを備え、ビデオカメラによって、作業者の顔が向いている方向の映像である視野映像を取得する。
【００６６】
図５は、本発明の第１の実施形態の入力装置１０２を示す説明図である。
【００６７】
例えば、入力装置１０２は、図５のように、作業者の眼鏡５０１の左右のレンズを結合するフレームに設置されたビデオカメラ５０２であってよい。そして、本実施形態の視野映像は、眼鏡５０１に設置されたビデオカメラ５０２によって取得されてもよい。また、ビデオカメラ５０２は、各レンズの外側のフレームに設置されてもよい。また、本実施形態の視野映像は、所定の時間間隔において取得された複数の視野画像を含む。
【００６８】
このように眼鏡５０１にビデオカメラ５０２を設置することによって、顔の向きにビデオカメラの向きが追従するため、視野映像を容易に取得することができる。また、ヘルメットにカメラを設置する等、顔の向きに入力装置１０２の向きが追従できれば、いかなる方法によって入力装置１０２が設置されてもよい。
【００６９】
入力装置１０２によって取得された視野映像から、注視画像抽出プログラム１０６は、注視画像を抽出する。注視画像抽出プログラム１０６が視野映像から注視画像を抽出する方法を、図６を用いて説明する。
【００７０】
図６は、本発明の第１の実施形態の視野映像から注視画像を抽出する方法を示す説明図である。
【００７１】
注視画像抽出プログラム１０６は、まず、各時刻の視野映像から視野画像を抽出する。図６は、視野画像の画像列６０１、および、視野画像間の類似度を示す。画像列６０１は、注視画像抽出プログラム１０６によって時系列に取得された画像Ａ〜Ｋの集合である。
【００７２】
注視画像抽出プログラム１０６は、各時刻の視野映像から画像Ａ〜Ｋを抽出する。次に、類似度計算プログラム１０７は、抽出された画像列６０１において、取得された時刻が隣接する画像間、例えば、図６に示す画像Ａおよび画像Ｂ間、画像Ｂおよび画像Ｃ間、ならびに、画像Ｃおよび画像Ｄ間等の類似度を算出する。
【００７３】
類似度計算プログラム１０７は、例えば、既に開示された類似度を算出する技術（例えば、特開２００６−１１４０５３号公報参照）を用いることによって、視野画像間の類似度を算出する。前述の類似度を算出する技術は、色関連の画像特徴量として画像中の色分布を用い、形関連の画像特徴量として画像中の輝度勾配ベクトルの方向成分を用いて、画像間の類似度を算出する方法を示す。
【００７４】
しかし、本実施形態の類似度計算プログラム１０７は、特に、前述の技術に開示された方法によってのみ、類似度を算出しなくてもよく、視野画像間の類似性を評価できる方法であれば、どのような方法を用いてもよい。
【００７５】
図６の画像列６０１の下方に示すグラフにおいて、横軸が時間を示し、縦軸が類似度を示す。また、グラフ中の黒丸「●」は、グラフにおける破線によって対応付けられる視野画像間の類似度を示す。また、図６における類似度は、類似度を算出するために用いられた二つの画像が、似ているほど高い値を示す。
【００７６】
注視画像抽出プログラム１０６は、類似度計算プログラム１０７によって算出された視野画像間の類似度と、あらかじめ保持された所定の閾値６０２とを比較し、類似度が閾値６０２以上になる時間の区間を注視区間６０３として検出する。また、注視画像抽出プログラム１０６は、注視区間６０３の時間長に対する閾値をあらかじめ保持し、選択された注視区間６０３の時間長が閾値以下である場合、選択された注視区間６０３から注視画像を抽出しなくてもよい。これによって注視画像抽出プログラム１０６は、一定時間作業者が注視している画像が含まれる時間（注視区間６０３）を抽出できる。
【００７７】
注視画像抽出プログラム１０６は、検出された注視区間６０３における視野画像を、注視画像として抽出する。図６に示す例において、注視画像抽出プログラム１０６は、注視区間６０３に含まれる画像Ｄ、画像Ｅ、画像Ｆ、画像Ｇおよび画像Ｈが注視画像として抽出される。
【００７８】
注視画像抽出プログラム１０６は、注視画像として、注視区間６０３に含まれる画像すべてを抽出するだけでなく、例えば、注視区間６０３の中央の時刻における視野画像、または、類似度が最も高くなる時刻およびその前後における視野画像等、代表的な一部の視野画像のみを、注視画像として抽出してもよい。
【００７９】
さらに、注視画像抽出プログラム１０６は、注視区間６０３におけるすべての視野画像または特定の一部の視野画像を重ね合わせた平均画像を生成し、生成された平均画像を注視画像として抽出してもよい。注視画像抽出プログラム１０６は、注視区間６０３における視野画像を特徴付ける画像を抽出できれば、どのような方法によって注視画像を抽出してもよい。
【００８０】
前述の実施形態における作業支援システムは、入力装置１０２としてビデオカメラのみを用いて注視画像を抽出したが、入力装置１０２として、ビデオカメラと視線入力装置とを用いてもよい。視線入力装置には、例えば、既に開示された視線検出装置に関する技術（例えば、特開平１０−０９６８４９号公報参照）等を用いることができる。
【００８１】
前述の技術を本実施形態の視線入力装置を用いた場合、視線移動量の大きさを注視区間６０３の検出に利用することができる。例えば、視線入力装置から入力される視線に関する情報が、視野映像上の座標位置を示していた場合、注視画像抽出プログラム１０６は、隣接する時刻における座標位置の距離を視線移動量として定義し、視線移動量があらかじめ保持された閾値以下となる区間を注視区間６０３として選択できる。
【００８２】
さらに、注視画像抽出プログラム１０６は、視線移動量が閾値以下、かつ、視野画像間の類似度が閾値以上である区間を注視区間６０３として抽出する、という方法を用いてもよい。さらに、視線入力装置を用いる場合は、注視区間６０３おいて、視線位置（視線が向いている（＝注視している）視野映像上の位置）を中心とした、あらかじめ定められた範囲の画像のみを視野映像から注視画像として抽出してもよい。
【００８３】
図７は、本発明の第１の実施形態の注視画像の抽出方法を示す説明図である。
【００８４】
例えば、注視区間６０３における視野映像から抽出された画像が、図７に示す画像７０１であり、この画像上における視線位置が視線位置７０２であったとする。ここで、視線位置７０２を中心とする領域が範囲７０３に示す範囲によって定義されていた場合、注視画像抽出プログラム１０６は、範囲７０３に含まれる領域の画像のみを注視画像として抽出してもよい。これによって、視野映像のみを使用した場合と比較して、注視している対象物に関する画像のみを、精度良く抽出することが可能となる。
【００８５】
作業状況判定プログラム１０８は、新たな注視画像が抽出された場合、作業状況の判定処理を行う。図８のフローチャートを用いて、作業状況判定プログラム１０８における処理について説明する。
【００８６】
図８は、本発明の第１の実施形態の作業状況の判定処理を示すフローチャートである。
【００８７】
作業者によって選択された作業手順書に従って作業者が作業を開始した場合、図８に示す処理は開始される。
【００８８】
作業状況判定プログラム１０８は、まず、作業者によって選択された作業手順書から生成された作業画像列１１１を参照し、作業画像列１１１の最初の作業画像を、実施中の作業に関する作業画像（以下、実施中の作業画像と記載）として設定する（ステップ８０１）。なお、図８に示す処理が開始される際、作業画像列生成プログラム１０５は、作業者によって選択された作業手順書から、作業画像列１１１を生成する。
【００８９】
ステップ８０１、ステップ８１２またはステップ８１８の後、作業状況判定プログラム１０８は、実施中の作業画像として設定された作業画像に対応する作業手順書の内容を、作業手順書１１０から取得する。そして、取得された作業手順書の内容を、表示プログラム１０９を用いて出力装置１０３に表示する（ステップ８０２）。
【００９０】
作業画像列１１１には、図４のフォーマットに示すように、各作業画像が作業手順書１１０のいずれの作業に対応しているかを示す情報（例えば、領域４０３および領域４０５に格納される情報）が格納される。このため、作業状況判定プログラム１０８は、ステップ８０２において、作業手順書の内容を表示するために必要な情報を、作業手順書１１０から容易に取得することができる。
【００９１】
図９は、本発明の第１の実施形態の出力装置１０３に表示される実施中の作業画像を示す説明図である。
【００９２】
図９は、図２に示す作業手順書の、領域２０６が示す「２．既設◎◎取り付け金具取り外し」作業の領域２１０が示す作業画像（領域２１１が「図２−２ 金具取り外し」）を表示した例である。
【００９３】
作業状況判定プログラム１０８は、実施中の作業に関する情報として、図９に示す表示例のように、作業手順書のタイトル９０１、実施中の作業に関する作業見出し９０２、実施中の作業画像９０３および作業画像の説明文９０４を表示する。作業状況判定プログラム１０８は、表示プログラム１０９および出力装置１０３を用いて、作業手順書を表示する。
【００９４】
タイトル９０１は、図３に示す作業手順書１１０のタイトル３０１に対応し、作業見出し９０２は、図３に示す作業手順書１１０の領域３０５または領域３１２に対応する。また、作業画像９０３は、図３に示す作業手順書１１０の領域３０８、領域３１０、領域３１５、または領域３１７に対応し、説明文９０４は、図３に示す作業手順書１１０の領域３０９、領域３１１、領域３１６または領域３１８に対応する。
【００９５】
作業状況判定プログラム１０８は、図９に示す表示例のように、作業手順書１１０の領域３０６または領域３１３に格納される作業の説明を表示しなくてもよく、表示してもよい。作業状況判定プログラム１０８は、表示する作業に関する情報の組み合わせを、必要に応じて変更してもよい。また、作業手順書１１０が、作業中に表示するための情報（備考等）を作業毎に保持している場合、作業毎に保持された情報を表示してもよい。
【００９６】
また作業状況判定プログラム１０８は、図９に示す表示例のように、領域９０５、領域９０６、及び領域９０７を表示する。領域９０５は、一つ前の作業に関する情報を表示するためのボタンである。領域９０６は、一つ先の作業に関する情報を表示するためのボタンである。また、領域９０７は、表示される作業画像が、実施中の作業画像として設定されているか否かを識別するための領域である。
【００９７】
領域９０５および領域９０６によって、作業者は、実施中の作業に関する内容だけでなく、その前後の作業内容も、必要に応じて確認することができる。また、表示されている作業内容が実施中の作業に関する情報であるか否かを作業者に判定させるため、作業状況判定プログラム１０８は、実施中の作業であるか、終了した作業であるか、あるいは未終了の作業であるか、を画面に表示する。
【００９８】
例えば、作業状況判定プログラム１０８は、実施中の作業画像を表示する場合、図９に示す領域９０７に「実施中」を示す文字列を表示する。
【００９９】
図１０は、本発明の第１の実施形態の出力装置１０３に表示される終了した作業画像を示す説明図である。
【０１００】
図９に示す表示例において、作業者が領域９０５の「前へ」ボタンを操作した場合、図１０に示す表示例が表示される。作業状況判定プログラム１０８は、図１０に示す領域１００３に「終了」ボタンを表示し、作業画像１００１に一つ前の作業（図２における領域２０９の「図２−１ ボルト取り外し」作業に対応）の内容を表示する。また、作業状況判定プログラム１０８は、図１０に示す表示例のように、作業画像１００１および作業画像説明１００２に、それぞれ図２に示す領域２０８および領域２０９に対応する内容を表示する。
【０１０１】
図９に示す表示例において、作業者が領域９０６の「次へ」ボタンを操作した場合、作業状況判定プログラム１０８は、作業画像列１１１を参照し、次の作業画像を取得する。そして、図９に示す作業の一つ後の作業、すなわち、未終了の作業に関する内容を表示する。例えば、作業状況判定プログラム１０８は、領域９０７に、未終了の作業を示す「未完」を表示する。
【０１０２】
作業状況判定プログラム１０８は、領域９０７または領域１００３に、終了、実施中、または未完のいずれかを、文字列によって表示するが、画面の背景色または文字の形式等のレイアウトを変更することによって、作業画像が示す作業が終了、実施中、または未完であるかを示してもよい。
【０１０３】
また、作業状況判定プログラム１０８は、図９および図１０に示す表示例のように、作業に関する内容を文字および画像のみによって画面に表示したが、作業に関する内容を画面に表示する毎に、音、声、または、振動等を、作業者に提供してもよい。また作業状況判定プログラム１０８は、実施中の作業が次の作業に移行したと作業支援システムが判定した場合、すなわち、図８に示す処理においてステップ８０１からステップ８０２に移った場合、または、後述のステップ８１２もしくはステップ８１８からステップ８０２に移った場合のみに、音、声、または、振動等を作業者に提供してもよい。
【０１０４】
作業状況判定プログラム１０８は、音、声、または、振動等を作業者に提供する場合、表示プログラム１０９および出力装置１０３を用いる。
【０１０５】
さらに、作業状況判定プログラム１０８は、領域９０５および領域９０６への操作によって画面の内容が変更された場合と、実施中の作業が次の作業に移行したと作業支援システムが判定した場合とにおいて、使用する音、声、または振動等の種類を変更してもよい。これにより、作業者は、画面に表示されている内容を見ることなく、作業支援システムが作業に関してどのような判定をしているかを確認することができる。
【０１０６】
ステップ８０２の後、作業状況判定プログラム１０８は、実施中の作業画像の画像データを作業画像列１１１から取得する（ステップ８０３）。
【０１０７】
ステップ８０３の後、作業状況判定プログラム１０８は、余分な注視画像の数を記録するため、記憶装置１０４等に保持された変数の値を０にリセットする（ステップ８０４）。ステップ８０４の後、作業状況判定プログラム１０８は、ステップ８０５が実行された時点の時刻を実施中の作業の開始時刻として、記憶装置１０４に保持する（ステップ８０５）。
【０１０８】
ステップ８０５の後、作業状況判定プログラム１０８は、注視画像抽出プログラム１０６によって新たな注視画像が抽出されたか否かを判定する（ステップ８０６）。新たな注視画像が抽出されていない場合、作業者は特定の対象物を見ておらず、作業を正常に実施していない可能性がある。このため、作業状況判定プログラム１０８は、ステップ８０７に進む。
【０１０９】
なお、ステップ８０６において注視画像を抽出するための注視区間６０３の閾値には、作業者が作業を実施するために十分な時間が割り当てられてもよい。これによって、作業者が作業を終了するまで、作業状況判定プログラム１０８は、ステップ８０８以降の処理によって、次の作業画像を表示することを待つことができる。
【０１１０】
ステップ８０６において、注視画像抽出プログラム１０６によって新たな注視画像が抽出されたと判定された場合、作業者は作業手順に従って作業を実施している可能性が高い。このため、作業状況判定プログラム１０８は、ステップ８０８に進む。
【０１１１】
ステップ８０７において、作業状況判定プログラム１０８は、ステップ８０５において記憶装置１０４に保持された開始時刻から、ステップ８０７を開始した時刻までの経過時間が、あらかじめ定められた閾値（以下、第１の閾値と記載）以上か否かを判定する。そして、ステップ８０５において保持された開始時刻からステップ８０７を開始した時刻までの経過時間が、第１の閾値以上である場合、作業者の視線が一定に定まっておらず、作業者が作業を正常に実施していない可能性が高い。このため、作業状況判定プログラム１０８は、後述のステップ８１５に進む。
【０１１２】
ステップ８０７において、ステップ８０５において保持された作業の開始時刻からステップ８０７を開始した時刻までの経過時間が第一の閾値より小さい場合、作業者が作業を正常に実施している可能性がある。このため、作業状況判定プログラム１０８は、ステップ８０６に戻り、再度、新たな注視画像が抽出されたか否かを判定する。
【０１１３】
ステップ８０８において、作業状況判定プログラム１０８は、新たに抽出された注視画像を注視画像抽出プログラム１０６から取得する。
【０１１４】
ステップ８０８の後、作業状況判定プログラム１０８は、ステップ８０８において取得された注視画像と、ステップ８０３において取得された作業画像との間の類似度を、類似度計算プログラム１０７を用いて算出する（ステップ８０９）。類似度計算プログラム１０７は、例えば、図６に示す方法によって類似度を算出する。
【０１１５】
ステップ８０９の後、作業状況判定プログラム１０８は、ステップ８０９において算出された類似度があらかじめ定められた閾値（以下、第２の閾値と記載）以上であるか否かを判定する。算出された類似度が第２の閾値以上である場合、作業状況判定プログラム１０８は、実施中の作業画像に対応する作業が適切に終了したと判定し、ステップ８１１に進む。
【０１１６】
ステップ８１１において、作業状況判定プログラム１０８は、実施中の作業画像の次の作業画像を作業画像列１１１から検索し、検索の結果、次の作業画像が取得されるか否かを判定する。そして、次の作業画像が取得されない場合、図８に示す処理が開始される際に選択された作業手順書のうち、すべての作業が終了したと判定し、図８に示す処理を終了する。
【０１１７】
次の作業画像が取得される場合、作業状況判定プログラム１０８は、図８に示す判定処理を継続するため、ステップ８１２に進む。ステップ８１２において、作業状況判定プログラム１０８は、実施中の作業画像の次の作業画像を新たな実施中の作業画像として設定し、ステップ８０２に戻る。
【０１１８】
ステップ８１０において、算出された類似度が第２の閾値より小さいと判定された場合、作業者は作業に集中していない可能性がある。このため、作業状況判定プログラム１０８は、ステップ８１３に進む。
【０１１９】
ステップ８１３において、作業状況判定プログラム１０８は、ステップ８０８において取得された新たな注視画像を余分な注視画像であると判定し、余分な注視画像の数を記録するために記憶装置１０４に保持される変数の値に、１を加算する。
【０１２０】
ステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の数を記録するための変数の値があらかじめ定められた閾値（以下、第３の閾値と記載）以上であるか否かを判定する。そして、余分な注視画像の数が第３の閾値以上である場合、作業者に注意を促すため、作業状況判定プログラム１０８は、ステップ８１５に進む。
【０１２１】
余分な注視画像の数が第３の閾値より少ない場合、作業者に注意を促す必要はないため、作業状況判定プログラム１０８は、ステップ８０６に戻る。
【０１２２】
ステップ８１５において、作業状況判定プログラム１０８は、表示プログラム１０９を用いて、作業者に注意喚起を促すメッセージ、音、または声等を出力装置１０３に出力させる。ステップ８１５が実施される状況は、実施中の作業画面が示す作業が適切に終了していない、または、作業が適切に進行されていない、と判定される場合に相当する。このため、表示プログラム１０９によって提示される内容は、それらの状況を作業者に理解させることができる内容である必要がある。
【０１２３】
図１１は、本発明の第１の実施形態の作業者に提示される注意喚起の画面を示す説明図である。
【０１２４】
図１１が示す画面例は、領域１１０１を含む。領域１１０１は、作業者に注意喚起するためのメッセージ等を表示するための画面である。図１１に示す画面例は、図９に示す画面に重ねられて表示される。
【０１２５】
領域１１０１は、内容１１０２、領域１１０３、領域１１０４、および領域１１０５を含む。内容１１０２は、注意喚起を促すためのメッセージを示す。作業状況判定プログラム１０８は、実施中の作業画像が示す作業に関する情報を含めて、作業が適切に進行していないことを示すメッセージを生成する。そして、生成されたメッセージを、内容１１０２に表示する。
【０１２６】
内容１１０２に表示される、実施中の作業画像が示す作業に関する情報は、実施中の作業画像に対応する作業手順書中の内容でもよい。また、内容１１０２に表示されるメッセージの内容は、作業状況判定プログラム１０８が作業毎に変わる部分を変数とした文の雛形をあらかじめ保持し、作業状況判定プログラム１０８が変数に作業毎に変わる情報を挿入することによって、生成されてもよい。
【０１２７】
例えば、図１１に示す内容１１０２を表示するため、作業状況判定プログラム１０８は、図１１において「金具取り外し」と記載される箇所を作業画像の説明文を挿入するための変数とする文の雛形を、あらかじめ保持してもよい。
【０１２８】
また、ステップ８１５は、ステップ８０５において取得された実施中の作業の開始時刻からステップ８０７が実行されるまでの経過時間が第１の閾値以上の場合と、余分な注視画像の数が第３の閾値以上である場合、の二つの場合に実行される。このため、いずれの場合において、ステップ８１５が実行されたかによって、表示されるメッセージの内容は変更されてもよい。
【０１２９】
例えば、余分な注視画像の数が第３の閾値以上である場合、不必要な「よそ見」が頻繁に発生し、作業に集中できていないと想定されるため、作業状況判定プログラム１０８は、図１１に示す内容１１０２に変えて、領域１１０１に以下のメッセージを表示してもよい。
【０１３０】
「よそ見を控えてください」
「作業に集中してください」
さらに、図１１に示す領域１１０１は、文字のみによる注意喚起を示すが、作業状況判定プログラム１０８は、画像、音、声または振動等を用いて注意喚起を示してもよい。この場合、ステップ８０２において作業手順書の内容を表示する際に使用した音、声または振動とは、異なる音、声または振動等を用いることによって、作業者が注意喚起であることを認識することができる。
【０１３１】
また、図１１において、領域１１０３、領域１１０４および領域１１０５は、内容１１０２が示す注意喚起を確認した作業者が操作するためのボタンである。領域１１０３は、実施中の作業画面が示す作業を最初からやり直すためのボタンであり、領域１１０４は、作業をそのまま継続するためのボタンであり、領域１１０５は、作業を中止するためのボタンである。
【０１３２】
領域１１０３、領域１１０４または領域１１０５のいずれかが操作されることによって、作業支援システムは、作業者からの指示を受信する。作業状況判定プログラム１０８は、ステップ８１５において注意喚起を提示した後、ステップ８１６に進み、作業者からの指示を受信するため、図８に示す処理を中断する。
【０１３３】
また、ステップ８１６において作業状況判定プログラム１０８は、領域１１０３、領域１１０４または領域１１０５のいずれかが操作されることを待つことによって、作業者からの指示を待つ。いずれかの領域が操作されたことを検出した場合、作業状況判定プログラム１０８は、ステップ８１７において、いずれのボタンが操作されたかを判定する。
【０１３４】
ステップ８１７において、領域１１０３が操作されたと判定された場合、ステップ８１８において、作業状況判定プログラム１０８は、実施中の作業画像を再度、実施中の作業画像に設定しなおし、ステップ８０２に戻る。
【０１３５】
また、ステップ８１７において、領域１１０３が操作されたと判定された場合、ステップ８１８において作業状況判定プログラム１０８は、作業画像の一覧を表示し、表示された一覧から、やり直す作業を作業者に選択させてもよい。この場合、作業状況判定プログラム１０８は、選択された作業画像をステップ８１８において、実施中の作業画像に設定する。
【０１３６】
ステップ８１７において、領域１１０４が操作されたと判定された場合、作業状況判定プログラム１０８は、ステップ８０６に戻り、処理を継続する。この際、作業状況判定プログラム１０８は、余分な注視画像数を記録するための変数の数、および、ステップ８０５において取得された開始時刻を更新し、作業者が作業を再開した後、直ちに注意喚起が再び提示されることを避ける。
【０１３７】
ステップ８１７において、領域１１０５が操作されたと判定された場合、作業状況判定プログラム１０８は、図８に示す処理を終了する。
【０１３８】
図８に示すフローチャートにおいて、作業画像列１１１の最後の作業画像に対応する作業が終了した場合、ステップ８１１における判定により、図８に示す処理は終了する。しかし、ステップ８１１において最後の作業が終了したと判定された場合、作業状況判定プログラム１０８は、図８に示す処理において抽出されたすべての注視画像と、図８に示す処理において選択された作業手順書の作業画像列１１１とを用いることによって、作業手順書全体に対する評価値を求めてもよい。そして、表示プログラム１０９を用いて、求められた評価値を出力装置１０３に表示してもよい。
【０１３９】
作業状況判定プログラム１０８は、例えば、図８に示す処理において抽出されたすべての注視画像を時系列に並べた注視画像列と、作業画像列をそれぞれ時系列データとみなして、時系列データ同士の類似度を求める方法を用いて注視画像列と作業画像列との類似度を求め、その類似度を評価値として出力装置１０３に表示してもよい。
【０１４０】
作業状況判定プログラム１０８は、注視画像列と作業画像列との類似度を、例えば、各画像間の類似度を、既に開示された類似画像検索方法に関する技術（例えば、特開２００６−１１４０５３号公報参照）を用いて算出する。そして、算出された画像間の類似度に、既に開示された動的計画法（例えば、特開２００２−２２１９８４号公報参照）等によるマッチング手法を適用することによって、評価値を求めることができる。
【０１４１】
前述の図８に示す処理において用いられた、第１の閾値、第２の閾値および第３の閾値の３種類の閾値は、作業に拠らず、それぞれ各ステップにおいて同じ値である。しかし、作業状況判定プログラム１０８は、それぞれの閾値について作業毎に異なる閾値を保持し、各ステップにおいて、作業毎の閾値を用いてもよい。また、それらの閾値は、作業手順書１１０に格納してもよいし、また、作業手順書１１０とは別に格納してもよい。
【０１４２】
また、前述の図８に示す処理において、作業状況判定プログラム１０８は、第１の閾値、第２の閾値および第３の閾値のすべてを用いて、作業が適切に進行しているか否かを判定した。しかし、作業状況判定プログラム１０８は、ステップ８０７、ステップ８１０、またはステップ８１４の少なくとも一つの判定処理によって作業が適切に進行しているか否かを判定してもよい。
【０１４３】
なお、ステップ８１４の判定処理が行われない場合、作業状況判定プログラム１０８は、ステップ８１３も行わなくてよい。
【０１４４】
また、図８に示すステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の数のみに基づいて、作業が適切に進行しているか否かを判定した。しかし、作業状況判定プログラム１０８は、余分な注視画像の数だけではなく、それらの時間長（注視区間６０３の合計）に基づいて判定してもよい。
【０１４５】
例えば、注視画像抽出プログラム１０６が注視画像を抽出する際に、注視画像抽出プログラム１０６は、注視画像と、注視していた時間長（図６に示す注視区間６０３の時間長）とを抽出してもよい。そして、ステップ８１４において、作業状況判定プログラム１０８は、余分な注視画像の時間長の総和を求め、求められた時間長の総和が所定の閾値以上であればステップ８１５に進み、作業者に注意喚起を行うようにしてもよい。また、作業状況判定プログラム１０８は、ステップ８１４において、余分な注視画像と作業中の作業画像との類似度と、注視画像の時間長との積を加算した値を用いて判定する等の方法を用いてもよい。
【０１４６】
また、図８に示すステップ８１０において、作業状況判定プログラム１０８は、新たに抽出された注視画像と実施中の作業画像との類似度のみを用いて、作業画像に対応する作業が終了したか否かを判定する。
【０１４７】
一方、例えば、ステップ８１０において作業状況判定プログラム１０８は、新たに注視画像が抽出された場合、それまでに抽出されたすべての注視画像を時系列に並べた注視画像列と、実施中の作業画像までの作業画像列１１１を時系列に並べた作業画像列とを生成する。そして、二つの時系列データ間の類似度を求める方法を用いて注視画像列と作業画像列との類似度を求め、求められた類似度が所定の閾値以上になった場合、実施中の作業画像が示す作業が終了したと判定してもよい。また、求められた類似度があらかじめ定められた閾値より低くなった場合、作業が適切に進行していないと判定してもよい。この場合の注視画像列と作業画像列の類似度も、前述の、作業手順全体に対する評価値を求める方法として説明した技術を用いて算出してもよい。
【０１４８】
また、図８に示すステップ８０９において、実施中の作業画像のみを用いて、作業画像に対応する作業が終了したか否かを判定したが、実施中の作業画像より後の作業画像すべてを判定対象としてもよい。この場合、新たに抽出された注視画像と実施中の作業画像との類似度、および、新たに抽出された注視画像とそれ以降の各作業画像（実施中として設定されていない各作業画像）との類似度を求める。
【０１４９】
そして、実施中として設定されていない各作業画像から、新たに抽出された注視画像と作業画像との類似度が、あらかじめ定められた閾値以上となる作業画像が検出された場合、作業状況判定プログラム１０８は、実施中の作業画像に対応する作業が適切に終了しなかったと判定し、ステップ８１５において注意喚起を行ってもよい。これによって、経過時間には問題はないが、不適切な状態のまま作業を進めてしまったような状況に対して注意喚起を行うことができる。
【０１５０】
また、図８に示す処理において、作業状況判定プログラム１０８は、作業画像列中の各作業画像に対して作業が適切に進められているか否かを判定したが、作業手順書中の一つの作業において複数の作業画像列が対応している場合、作業状況判定プログラム１０８は、各作業を単位として判定してもよい。
【０１５１】
具体的には、作業状況判定プログラム１０８は、ステップ８０３において、実施中の一つの作業画像を抽出する代わりに、実施中の作業に対応する作業画像（例えば、図２に示す領域３０８および領域３１０）をすべて取得する。そして、作業状況判定プログラム１０８は、ステップ８０９において、新たに抽出された注視画像と取得されたすべての作業画像との類似度を求め、求められた類似度が閾値以上であった作業画像に「終了」を示すマーク（例えば、フラグ）を付す。そして、ステップ８１０において、取得されたすべての作業画像に「終了」を示すマークが付されている場合、実施中の作業が終了したと判定し、ステップ８１１に進む。
【０１５２】
また、作業状況判定プログラム１０８は、ステップ８１３に進んだ場合、対象となっているすべての作業画像との類似度が閾値以上でない注視画像の場合、余分な注視画像の数を数えるための変数に１を加算する。これによって、ある作業に複数の作業画像が含まれており、且つ、作業手順書に格納される作業画像の順序と、実際の作業の順序とが一致しない場合など、作業が適切に進行していない場合を判定することが可能となる。
【０１５３】
また、前述の図８に示す処理において、実施中の作業画像を含む作業手順書の内容、注意喚起、および、作業手順全体に対する評価値は、作業者にのみ表示されるが、さらに、作業者の管理者、または、作業者と共同で作業を進めている他の作業者に表示されてもよい。
【０１５４】
また、前述の図８に示す処理において、作業状況判定プログラム１０８は、注視画像のみを用いて、作業者による作業が適切に終了したか、または、作業が適切に進行しているか、を判定した。しかし、例えば、各作業の開始時および終了時に、ＩＣタグ、もしくは、特定の図形によるマーカー等を作業者に読取らせることによって作業の進捗を管理する方法と、作業者の位置を測定する装置を用いることによって作業者の位置に基づいて実施中の作業を判定する方法等とを組み合わせることによって、作業の終了を判定してもよい。
【０１５５】
第１の実施形態によれば、作業者の視野画像から抽出された注視画像によって、作業の進行状況が適切であるか否かを客観的に判定する。これによって、作業不備および事故を未然に防止することができる。また、本実施形態は作業者の視野画像を取得すればよいため、作業現場への導入が容易であり、かつ、新たな作業の発生等による作業者への負担が少ない。
【０１５６】
（第２の実施形態）
本発明における第２の実施形態を図１２から図２０を用いて説明する。
【０１５７】
図１２は、本発明の第２の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【０１５８】
図１２に示す作業支援システムは、図１に示す作業支援システムに、注視画像対応付けプログラム１２０１、手順書編集プログラム１２０２および注視画像を格納する記憶領域である注視画像１２０３を追加したものであり、それ以外は図１と同じである。第２の実施形態の記憶装置１０４は、注視画像対応付けプログラム１２０１、および手順書編集プログラム１２０２を有する。また、第２の実施形態の作業支援システムは、注視画像１２０３を有する。
【０１５９】
注視画像対応付けプログラム１２０１は、作業状況判定プログラム１０８によって余分な注視画像として判定された注視画像を作業手順書の対応箇所に対応付けるためのプログラムである。
【０１６０】
図８に示す作業状況判定プログラム１０８の処理のステップ８１０において、注視画像と、実施中の作業画像との類似度が第２の閾値より小さい場合、作業状況判定プログラム１０８は、ステップ８１３において余分な注視画像の数を記録する変数の値に１を加算する。すなわち、ステップ８１０において、作業画像との類似度が第２の閾値より小さいと判定された場合、余分な注視画像が検出されたと判定される。
【０１６１】
このため、第２の実施形態において、注視画像対応付けプログラム１２０１は、図８に示すステップ８１３による処理の直前、または、直後、すなわち、ステップ８１０からステップ８１５が開始される前に、余分な注視画像と判定された注視画像を作業手順書に対応付ける。
【０１６２】
注視画像対応付けプログラム１２０１は、ステップ８１０および８１３が実施される状況において、実施中の作業画像から、図４に示す作業画像列１１１のフォーマットに従って作業手順書中の対応箇所を容易に特定できる。注視画像対応付けプログラム１２０１は、余分な注視画像が検出される毎に、余分な注視画像であると判定された注視画像と、その注視画像の作業手順書中における対応箇所に関する情報を、注視画像１２０３に格納する。
【０１６３】
注視画像対応付けプログラム１２０１は、余分な注視画像と判定された注視画像を格納するために、注視画像対応付けプログラム１２０１は、作業画像列１１１と同じ図４に示すフォーマットを使用してもよい。また、余分な注視画像そのもの、または、余分な注視画像の格納領域を特定できる情報、のいずれかを作業手順書中の対応箇所に直接挿入してもよい。
【０１６４】
手順書編集プログラム１２０２は、作業手順書の内容に対して追加および修正等の編集作業を行うための機能を、表示プログラム１０９、入力装置１０２および出力装置１０３を用いて作業手順書の管理者または作成者に提供するプログラムである。また、手順書編集プログラム１２０２は、作業見出しおよび作業説明の修正、新しい作業に関する内容の追加等、作業手順書を作成するために必要な一般的な編集機能を有する。
【０１６５】
さらに、手順書編集プログラム１２０２は、注視画像対応付けプログラム１２０１によって、作業手順書中に対応付けられた注視画像を、新たな作業画像として作業手順書に追加するか、または、注意すべき状況を示す画像として作業手順書に追加するか、を作業手順書を編集する編集者（作業者を含んでもよい）に選択させることができる。また、編集者の選択に従って、注視画像に対する説明文等の情報を作業手順書に追加し、作業手順書の内容を更新することができる。
【０１６６】
図１３は、本発明の第２の実施形態の注視画像と作業手順書との対応を示す編集画面を示す説明図である。
【０１６７】
手順書編集プログラム１２０２は、表示プログラム１０９および出力装置１０３によって、作業手順書の編集画面を表示する。図１３に示す編集画面は、領域１３０１および領域１３０２を含む。
【０１６８】
図１３に示す編集画面において、領域１３０１は、作業手順書に対応付けられた余分な注視画像の一覧が表示される箇所、領域１３０２は編集中の作業手順書の内容が表示される箇所である。領域１３０１は、説明１３０３、説明１３０５および説明１３０８と、注視画像１３０４、注視画像１３０６、注視画像１３０７および注視画像１３０９とを含む。
【０１６９】
領域１３０１において、各注視画像は、編集者が作業手順書の対応箇所を容易に判別できるように、対応する作業手順書の箇所を特定可能な説明文、番号または記号等と共に表示される。具体的には、手順書編集プログラム１２０２は、説明１３０３、説明１３０５および説明１３０８に、作業手順書に含まれる各作業を示す説明を表示することによって、各注視画像が対応する作業手順書の箇所を特定可能にする。
【０１７０】
また、領域１３０２に示す作業手順書は、一つの作業に複数の作業画像を含むため、手順書編集プログラム１２０２は、注視画像がどの作業画像に対応付いているかを編集者によって識別可能なように、作業画像の説明１３０３、説明１３０５および説明１３０８に対応付けて、注視画像１３０４、注視画像１３０６、注視画像１３０７および注視画像１３０９を表示する。さらに、編集者が領域１３０１に表示される作業画像の説明または注視画像を選択した場合、手順書編集プログラム１２０２は、領域１３０２中の作業手順書において、対応する箇所の表示を変化させてもよい。
【０１７１】
注視画像対応付けプログラム１２０１によって作業手順書に対応付けられた余分な注視画像は、作業手順書中に作業画像として格納されていない画像である。そして、それらの注視画像は、作業の一部を示すが作業画像として作業手順書に格納されていない画像（以下、第１の注視画像と記載）、障害物等の作業上の注意事項を示す画像（以下、第２の注視画像と記載）、または、前述の第１の注視画像および第２の注視画像以外の第３の注視画像のいずれかに該当する。
【０１７２】
第１の注視画像は、新たな作業画像として作業手順書に追加される可能性があり、第２の注視画像は、作業上の注意点を指摘するための画像（以下、注意画像と記載）として、作業手順書中に追加される可能性がある。一方、第３の注視画像は、作業手順書中へ挿入される可能性が極めて低い。
【０１７３】
手順書編集プログラム１２０２は、作業手順書の編集者が作業手順書に対応付けられた注視画像を、第１の注視画像、第２の注視画像または第３の注視画像のいずれの種類に該当するかを判定し、判定結果に従って、作業手順書に追加する必要がある注視画像を、追加する機能を提供する。
【０１７４】
まず、注視画像が第１の注視画像に該当する場合、手順書編集プログラム１２０２は、作業手順書中の作業画像として注視画像を作業手順書に追加する。
【０１７５】
図１４は、本発明の第２の実施形態の注視画像を作業手順として挿入するための編集画面を示す説明図である。
【０１７６】
図１４は、編集者が作業手順書に挿入する注視画像を選択するため、注視画像１３０７を含む領域１４０１を選択した場合の編集画面を示す。
【０１７７】
例えば、図１４に示すように、領域１４０１に含まれる注視画像１３０７は、作業画像の説明が「図１−３ 作業用機材」（説明１３０５に対応）である作業画像に対応している。このため、領域１４０１に含まれる注視画像１３０７は、作業画像の説明が「図１−３ 作業用機材」である作業画像の作業手順書における直前の位置１４０２に、手順書編集プログラム１２０２によって追加可能である。
【０１７８】
具体的な挿入方法としては、編集者が、領域１４０１をマウス等により選択し、選択された領域１４０１を位置１４０２へドラッグ・アンド・ドロップすることによって、編集者が注視画像１３０７の作業手順書への挿入を指示する方法がある。
【０１７９】
なお、手順書編集プログラム１２０２は、ドラッグ・アンド・ドロップによって注視画像の挿入が指示される際に、図１４に示す位置１４０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
【０１８０】
また、手順書編集プログラム１２０２は、作業画像として注視画像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューをキーボードまたはマウスによって操作され、挿入する機能が起動された後、注視画像および挿入箇所の選択を編集者に行わせてもよい。また、注視画像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。
【０１８１】
さらに、前述の実施形態において、注視画像１３０７は作業手順書上で対応付けられている箇所にのみ挿入可能であったが、作業手順書中の任意の作業の作業画像として挿入されてもよい。
【０１８２】
作業画像として挿入する注視画像と作業手順書中の挿入箇所とが、編集者によって決定された後、図１５のような画面により、挿入される注視画像の説明文を入力できるようにする。
【０１８３】
図１５は、本発明の第２の実施形態の作業画像の説明文を入力するための画面を示す説明図である。
【０１８４】
図１５の画面は、領域１５０１、領域１５０２、ＯＫボタン１５０３、およびキャンセルボタン１５０４を含む。領域１５０１は、作業画像として作業手順書中に挿入する注視画像を示し、領域１５０２は、注視画像に対する説明文を入力するための箇所である。
【０１８５】
編集者がＯＫボタン１５０３を選択した場合、手順書編集プログラム１２０２によって、領域１５０２に入力された説明文が領域１５０１に示される注視画像と共に作業手順書１１０に挿入される。そして、図１５に示す画面によって挿入された説明文は、図３に示す作業手順書１１０の領域３０９、領域３１１、領域３１６、または、領域３１８等に格納される。
【０１８６】
手順書編集プログラム１２０２は、図１５においてキャンセルボタン１５０４が選択された場合、注視画像１３０７を作業手順書１１０へ挿入しない。
【０１８７】
図１４における注視画像１３０７を作業手順書の位置１４０２に挿入した場合に表示される画面を図１６に示す。
【０１８８】
図１６は、本発明の第２の実施形態の注視画像を作業画像として挿入した後の編集画面を示す説明図である。
【０１８９】
図１４および図１５に示す画面によって、注視画像の挿入を指示され、さらに、挿入される注視画像の作業画像としての説明文を入力された場合、手順書編集プログラム１２０２は、図１６に示す画像を表示する。
【０１９０】
図１６に示す領域１３０２には、領域１６０１が含まれる。領域１６０１は、作業画像として挿入された注視画像１３０７と説明文とを含む。図１６に示す領域１６０１は、注視画像１３０７の作業画像の説明文として、「機材置き場」を示す。
【０１９１】
また、手順書編集プログラム１２０２は、作業手順書における通し番号（例えば、図１６に示す「図１−３」、「図１−４」等の番号）を、自動的に割り当てなおす。
【０１９２】
次に、注視画像が第２の注視画像、すなわち注意画像に該当する場合、手順書編集プログラム１２０２は、ある作業とその次の作業の間に注視画像を追加する。
【０１９３】
図１７は、本発明の第２の実施形態の注視画像を注意画像として挿入するための編集画面を示す説明図である。
【０１９４】
図１７は、編集者が作業手順書に挿入する注視画像を選択するため、注視画像１３０６を含む領域１７０１を選択した場合の編集画面を示す。
【０１９５】
例えば、図１７に示すように、領域１７０１に含まれる注視画像１３０６は、作業の説明が「１．作業準備」である作業に対応している。このため、「１．作業準備」に含まれるすべての作業画像と、次の作業（「２．既設◎◎取り付け金具取り外し」）に含まれるすべての作業画像との間の位置１７０２に、手順書編集プログラム１２０２によって追加可能である。
【０１９６】
具体的な挿入方法としては、作業画像としての追加と同じく、編集者が、領域１７０１をマウス等により選択し、選択された領域１７０１を位置１７０２へドラッグ・アンド・ドロップすることによって、編集者が注視画像１３０６の位置１７０２への挿入を指示する方法がある。
【０１９７】
なお、手順書編集プログラム１２０２は、ドラッグ・アンド・ドロップによって注視画像の挿入が指示される際に、図１７に示す位置１７０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
【０１９８】
また、手順書編集プログラム１２０２は、注意画像として注視画像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューがキーボードまたはマウスによって操作され、挿入する機能が起動された後、注視画像および挿入箇所の選択を編集者に行わせてもよい。また、注視画像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。
【０１９９】
さらに、図１７の例において、注視画像１３０６は作業手順書上で対応付けられている箇所にのみ挿入可能であったが、本実施形態の注視画像は作業手順書中の任意の作業に対する注意画像として挿入されてもよい。
【０２００】
図３に示す作業手順書１１０のフォーマットは、注意画像を格納する項目を含まない。このため、第２の実施形態における作業手順書１１０は、図１８に示すフォーマットのように、注意画像を格納する項目を含む。
【０２０１】
図１８は、本発明の第２の実施形態の作業手順書１１０の電子的なフォーマットを示す説明図である。
【０２０２】
第２の実施形態における作業手順書１１０は、注意画像に関する情報を格納するための領域１８０１〜領域１８１０を含む。
【０２０３】
図１８において、領域１８０１および領域１８０６は、注意画像の数を表す。領域１８０２、領域１８０４、領域１８０７および領域１８０９は、注意画像として作業手順書１１０に格納された画像を示す。
【０２０４】
領域１８０２、領域１８０４、領域１８０７および領域１８０９には、注意画像に関する情報として、画像データが格納されてもよい。または、他の格納手段によって格納されている画像データを、特定するための識別子等が格納されてもよい。領域１８０３、領域１８０５、領域１８０８および領域１８１０は、各注意画像に対する説明文である。
【０２０５】
図１８に示すデータ３０３−１は、ｉ個（ｉは任意の自然数）の注意画像を含む。データ３０３−ｍは、ｊ個（ｊは任意の自然数）の注意画像を含む。
【０２０６】
手順書編集プログラム１２０２は、注意画像として挿入される注視画像と、注視画像が作業手順書に挿入される位置が、図１７に示す通り編集者によって決定された後、図１９のような画面によって、注意画像に対する説明文を編集者に入力させる。
【０２０７】
図１９は、本発明の第２の実施形態の注意画像の説明文を入力するための画面を示す説明図である。
【０２０８】
図１９の画面は、領域１９０１、領域１９０２、ＯＫボタン１９０３、およびキャンセルボタン１９０４を含む。領域１９０１は、注意画像として作業手順書中に挿入する注視画像を示し、領域１９０２は、注視画像に対する説明文を入力するための箇所である。
【０２０９】
編集者がＯＫボタン１９０３を選択した場合、手順書編集プログラム１２０２によって、領域１９０２に入力した説明文が注意画像と共に作業手順書１１０に挿入される。手順書編集プログラム１２０２は、キャンセルボタン１９０４が選択された場合、注視画像を作業手順書１１０へ挿入しない。
【０２１０】
図１７における注視画像１３０６を作業手順書の位置１７０２に挿入した後の状態を図２０に示す。
【０２１１】
図２０は、本発明の第２の実施形態の注視画像を注意画像として挿入した後の画面を示す説明図である。
【０２１２】
図１７および図１９に示す画面によって、注視画像の挿入を指示され、さらに、挿入される注視画像の注意画像としての説明文を入力された場合、手順書編集プログラム１２０２は、図２０に示す画像を表示する。
【０２１３】
図２０に示す領域１３０２には、領域２００１が含まれる。領域２００１は、注意画像として挿入された注視画像１３０６を含む。図２０において、手順書編集プログラム１２０２は、図２０の領域２００１において、説明文の下に注意画像を表示し、「注意１）」等の番号または記号を説明文の先頭に表示する。これによって、領域２００１の画像が注意画像であることを示す。
【０２１４】
注意画像およびその説明文の表示方法は、注意事項として作業者が注意画像を識別できれば、いかなる表示方法でもよい。
【０２１５】
さらに、第２の実施形態の作業支援システムが入力装置１０２として、例えば、作業者の視線、作業者の位置および作業対象の位置を検出するセンサを備える場合、注視画像対応付けプログラム１２０１は、検出された注視画像が作業対象を含むが否かを判定できる。これによって、注視画像対応付けプログラム１２０１は、例えば、余分な注視画像として検出された注視画像が作業対象を画像として含む場合、作業対象を含む注視画像を作業画像として作業手順書に追加する可能性が高い。また、注視画像が作業対象を含まない場合、注視画像を注意画像として作業手順書に追加しない可能性が高い。
【０２１６】
そして、注視画像対応付けプログラム１２０１は、前述のような注視画像の判定と、その判定結果を作業手順書１１０における対応箇所に格納してもよい。また、手順書編集プログラム１２０２は、前述の判定結果を注視画像と共に表示することによって、作業手順書の編集者が注視画像を作業画像または注意画像のいずれとして挿入すべきかを容易に判断させることができる。
【０２１７】
また、注視画像対応付けプログラム１２０１は、図８に示すステップ８１３の前後において、注視画像が新たに作業手順書に対応付けられた場合、作業手順書に注視画像が対応付けられた旨を、作業手順書の管理者や作成者に通知するようにしてもよい。これによって、作業者は、作業手順書に挿入すべき画像が取得されたことを認識することができる。
【０２１８】
第２の実施形態によれば、作業者の視野画像から抽出された注視画像を、作業画像または注意画像として、作業手順書に挿入できる。これによって、作業者の作業に基づいて、作業手順書を更新でき、作業不備および事故を未然に防ぐことができる。
【０２１９】
（第３の実施形態）
本発明における第３の実施形態を図２１から図２６を用いて説明する。
【０２２０】
図２１は、本発明の第３の実施形態の作業支援システムを一般的に使用される計算機において実装した場合の物理的構成を示すブロック図である。
【０２２１】
図２１に示す作業支援システムは、図１に示す作業支援システムに、ヒヤリハット検出プログラム２１０１、ヒヤリハット映像抽出プログラム２１０２、ヒヤリハット対応付けプログラム２１０３、手順書編集プログラム２１０４およびヒヤリハット映像２１０５を追加したものであり、それ以外は図１と同じである。
【０２２２】
ヒヤリハット検出プログラム２１０１は、作業者の状態を示す生体情報等のデータを取得して、作業者がヒヤリまたはハットした状態（ヒヤリハット状態）を検出する。ヒヤリハット状態とは、作業が不適切に実施される可能性があったために作業者がヒヤリまたはハッとした状態のことである。
【０２２３】
ヒヤリハット検出プログラム２１０１は、ヒヤリハット状態を検出する方法として、例えば、既にあるヒヤリハット状態を検出する技術（例えば、特開２００７−４７９１４号公報参照）等を用いてもよい。
【０２２４】
また、第３の実施形態の作業支援システムは、ヒヤリハット検出プログラム２１０１において必要となるデータの種類に従った装置、例えば、心拍数、血圧、または発汗状態を取得するためのセンサ等を入力装置として備える。ヒヤリハット検出プログラム２１０１は、作業者のヒヤリハット状態を検出した場合、ヒヤリハット状態が検出された時刻を保持する。
【０２２５】
また、ヒヤリハット映像抽出プログラム２１０２は、ヒヤリハット映像を視野映像から抽出する。ヒヤリハット映像は、ヒヤリハットが検出された時刻から、あらかじめ定められた時間範囲の視野映像を切り出した映像である。すなわち、第１の時間範囲をＴ１、第２の時間範囲をＴ２、ヒヤリハット状態が検出された時刻をｔとした場合、時刻（ｔ−Ｔ１）から時刻（Ｔ２＋ｔ）までの間における視野映像をヒヤリハット映像として抽出する。なお、本実施形態における映像は、複数の画像を含む。
【０２２６】
ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像抽出プログラム２１０２によって視野映像から抽出されたヒヤリハット映像を作業手順書１１０の対応箇所に対応付けるためのプログラムである。ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像を作業手順書１１０に対応付けるため、作業状況判定プログラム１０８のステップ８０５において保持された、各作業が開始される時刻に関する情報を取得する。
【０２２７】
そして、取得された各作業が開始された時刻と、ヒヤリハット状態が検出された時刻を比較することによって、各ヒヤリハット映像がどの作業に対応しているかを判定する。すなわち、第１の作業画像の次の作業の画像が第２の作業画像であり、ヒヤリハット状態が検出された時刻をｓ、第１の作業画像に対応する作業が開始された時刻をＳ１、第２の作業画像に対応する作業が開始された時刻をＳ２であり、Ｓ１≦ｓ＜Ｓ２である場合、ヒヤリハット対応付けプログラム２１０３は、検出されたヒヤリハット状態は第１の作業画像に対応付いていると判定できる。
【０２２８】
前述のヒヤリハット映像と作業手順書１１０とを対応付ける方法は、すべての作業が終了した後に、各ヒヤリハット映像が対応する作業手順書１１０の箇所を特定するために適している。しかし、ヒヤリハット対応付けプログラム２１０３は、ヒヤリハット映像が抽出される毎に、抽出されたヒヤリハット映像に対応する作業画像を求めてもよい。
【０２２９】
ヒヤリハット映像が抽出される毎に、抽出されたヒヤリハット映像に対応する作業画像を求める場合、ヒヤリハット対応付けプログラム２１０３は、新たなヒヤリハット映像が抽出された時点において作業状況判定プログラム１０８から実施中として設定されている作業画像を取得し、その作業画像とヒヤリハット映像とが対応していると判定する。
【０２３０】
さらに、ヒヤリハット対応付けプログラム２１０３は、図４に示す作業画像列１１１のフォーマットに基づいて、作業画像が対応する作業手順書１１０の作業に関する情報を取得し、ヒヤリハット映像が作業手順書１１０のどの作業に対応しているかを求める。ヒヤリハット対応付けプログラム２１０３は、前述の方法によって、抽出されたすべてのヒヤリハット映像に対して、作業手順書１１０における対応箇所を求め、ヒヤリハット映像と、ヒヤリハット映像の作業手順書１１０における対応箇所に関する情報と、を図２１のヒヤリハット映像２１０５に格納する。
【０２３１】
図２２は、本発明の第３の実施形態のヒヤリハット映像２１０５に格納される情報のフォーマットを示す。
【０２３２】
図２２に示すヒヤリハット映像２１０５のフォーマットは、領域２２０１〜領域２２０５を含む。また、ｋ個（ｋは、任意の自然数）のヒヤリハット映像を含む。
【０２３３】
図２２において、領域２２０１は、ヒヤリハット映像２１０５に格納されるヒヤリハット映像の数を示す。領域２２０２および領域２２０４は、ヒヤリハット映像の映像データを格納する。または、他の格納領域に格納されるヒヤリハット映像の映像データを特定するための情報が格納されてもよい。
【０２３４】
図２２において、領域２２０３および領域２２０５は、領域２２０２および領域２２０４が示すヒヤリハット映像が、作業手順書１１０中のいずれの作業に対応しているかを示す。すなわち、作業手順書１１０において作業を特定するための情報と、対応する作業における何番目の作業画像であるかを示す情報が含まれる。
【０２３５】
領域２２０３および領域２２０５において作業手順書１１０のいずれの作業に対応しているかを示す方法は、図４における領域４０３および領域４０５と同じ方法である。
【０２３６】
手順書編集プログラム２１０４は、作業手順書１１０の内容に対して追加または修正等の編集作業を行うための機能を作業手順書の管理者または作成者に提供するプログラムである。また、作業見出し、作業説明の修正、および、新しい作業に関する内容の追加等、作業手順書を作成するために必要な一般的な編集機能を有する。
【０２３７】
さらに手順書編集プログラム２１０４は、ヒヤリハット対応付けプログラム２１０３によって作業手順書１１０に対応付けられたヒヤリハット映像に対して、作業において注意すべき状況を示す映像としてヒヤリハット映像を追加するか、または、ヒヤリハット映像から抽出された特定の画像を作業において注意すべき状況を示す画像として追加するか、を、編集者に選択させる。また、映像または画像に対する説明文等を追加し、作業手順書の内容を更新する。
【０２３８】
図２３は、本発明の第３の実施形態のヒヤリハット画像と作業手順書との対応を示す編集画面を示す説明図である。
【０２３９】
手順書編集プログラム２１０４は、表示プログラム１０９および出力装置１０３によって、作業手順書の編集画面を表示する。図２３に示す編集画面は、領域２３０１および領域２３０２を含む。
【０２４０】
図２３に示す編集画面は、基本的には図１３に示す手順書編集プログラム１２０２による編集画面と同様である。領域２３０１は、作業手順書に対応付けられたヒヤリハット映像の一覧が表示される箇所、領域２３０２は、編集中の作業手順書の内容が表示される箇所である。領域２３０１は、説明２３０３、ヒヤリハット映像２３０４、説明２３０５、およびヒヤリハット映像２３０６を含む。
【０２４１】
領域２３０１において、各ヒヤリハット映像は、編集者が作業手順書の対応箇所を容易に判別できるように、対応する作業手順書の箇所を特定可能な説明文、番号または記号等と共に表示される。
【０２４２】
また、領域２３０２に示す作業手順書は、一つの作業に複数の作業画像が含まれているため、手順書編集プログラム２１０４は、ヒヤリハット映像がどの作業画像に対応付いているかを判別可能なように、作業画像の説明２３０３および説明２３０５に対応付けて、ヒヤリハット映像２３０４およびヒヤリハット映像２３０６を表示する。さらに、編集者が領域２３０１に表示される作業画像の説明またはヒヤリハット映像を選択した場合、手順書編集プログラム２１０４は、領域２３０２の作業手順書において、対応する箇所の表示を変化させてもよい。
【０２４３】
また、手順書編集プログラム２１０４は、領域２３０１に含まれるヒヤリハット映像を、常に再生して表示してもよいし、選択された場合に再生し始めてもよい。
【０２４４】
図２４は、本発明の第３の実施形態のヒヤリハット映像を注意画像として挿入するための編集画面を示す説明図である。
【０２４５】
図２４は、編集者が作業手順書に挿入するヒヤリハット映像を選択するため、ヒヤリハット映像２３０４を含む領域２４０１を選択した場合の編集画面を示す。
【０２４６】
ヒヤリハット映像は、作業上の注意事項を示す情報になりうるため、ヒヤリハット映像が対応する作業における作業画像と、次の作業の作業画像との間の箇所に挿入される可能性がある。具体的には、領域２４０１に含まれるヒヤリハット映像２３０４が作業手順書に挿入される場合、ヒヤリハット映像２３０４は、位置２４０２に挿入する可能性がある。
【０２４７】
具体的な挿入方法としては、編集者が、領域２４０１をマウスにより選択し、選択された領域２４０１を位置２４０２へドラッグ・アンド・ドロップすることによって、編集者がヒヤリハット映像２３０４の位置２４０２への挿入を指示する方法がある。
【０２４８】
なお、手順書編集プログラム２１０４は、ドラッグ・アンド・ドロップによってヒヤリハット映像の挿入が指示される際に、図２４に示す位置２４０２のように点線を表示することによって、挿入可能な位置を明示してもよい。
【０２４９】
また、手順書編集プログラム２１０４は、ヒヤリハット映像を挿入するための機能を起動するボタンまたはメニューを表示してもよい。そして、表示されたボタンまたはメニューが操作され、挿入する機能が起動された後、ヒヤリハット映像および挿入箇所の選択を編集者に行わせてもよい。また、ヒヤリハット映像および挿入箇所を選択された後、挿入する機能を起動する、などの方法を用いてもよい。
【０２５０】
さらに、図２４に示す編集画面において、ヒヤリハット映像２３０４は作業手順書上で対応している箇所にのみ挿入可能であったが、作業手順書中の任意の作業の注意画像として挿入されてもよい。
【０２５１】
第３の実施形態における作業手順書１１０のフォーマットは、図１８に示す第２の実施形態における作業手順書１１０のフォーマットと同様である。ただし、領域１８０２、領域１８０４、領域１８０７および領域１８０９には、ヒヤリハット映像の映像データ、またはヒヤリハット映像から抽出された特定の画像データが格納される。注意画像としては、さらに、映像データまたは画像データそのものが作業手順書１１０に格納されてもよいし、また、他の格納領域に格納される映像データまたは画像データを特定することができる識別子等の情報が格納されてもよい。
【０２５２】
ドラッグ・アンド・ドロップ等の操作によって、挿入されるヒヤリハット映像および作業手順書中の挿入箇所が決定された後、手順書編集プログラム２１０４は、図２５のような画面により、ヒヤリハット映像に対する説明文を入力できるようにする。
【０２５３】
図２５は、本発明の第３の実施形態の作業画像の説明文を入力するための画面を示す説明図である。
【０２５４】
図２５の画面は、領域２５０１、ボタン２５０２〜ボタン２５０４、領域２５０５、ボタン２５０６〜ボタン２５０８を含む。
【０２５５】
図２５に示す画面を介して入力される説明文は、図１８に示す作業手順書１１０のフォーマットの第３の実施形態における領域１８０３、領域１８０５、領域１８０８および領域１８１０等に格納される。
【０２５６】
領域２５０１は、作業手順書に挿入されるヒヤリハット映像を示す。ボタン２５０２は、編集者が、ヒヤリハット映像の内容を確認するために、ヒヤリハット映像を再生するための指示を入力するためのボタンである。ボタン２５０３は、編集者が、ヒヤリハット映像の再生を一時停止するためのボタンである。ボタン２５０４は、編集者が、ヒヤリハット映像の再生を停止するためのボタンである。
【０２５７】
手順書編集プログラム２１０４は、領域２５０１に表示されたヒヤリハット映像を操作するための機能として、再生、一時停止および停止の他、巻き戻し、早送り、またはスロー再生など、映像の操作として一般的に使用される機能を表示してもよい。
【０２５８】
領域２５０５は、編集者がヒヤリハット映像に対する説明文を入力するための箇所である。編集者がボタン２５０６を選択した場合、領域２５０１に表示されたヒヤリハット映像と、領域２５０５に入力された説明文とが作業手順書に追加される。
【０２５９】
また、編集者がボタン２５０７を選択した場合、領域２５０１に表示されるヒヤリハット映像から抽出されたヒヤリハット画像と、領域２５０５に入力された説明文とが、作業手順書に追加される。
【０２６０】
前述のボタン２５０７による画像の作業手順書への追加方法は、ヒヤリハット映像から抽出された一枚の画像を作業手順書に追加するが、手順書編集プログラム２１０４は、複数の画像を選択された場合、選択された複数の画像を作業手順書に追加する方法を用いてもよい。
【０２６１】
図２６は、本発明の第３の実施形態のヒヤリハット映像２３０４を注意画像として挿入した後の編集画面を示す説明図である。
【０２６２】
図２６は、図２４におけるヒヤリハット映像２３０４を作業手順書の位置２４０２に挿入した後の編集画面を示す。図２６に示す領域２３０２は、領域２６０１を含む。領域２６０１は、図２４の編集画面によって追加されたヒヤリハット映像２３０４と、図２５に示す画面によって入力された説明文を示す。
【０２６３】
手順書編集プログラム２１０４は、図２６の領域２６０１において説明文の下にヒヤリハット映像２３０４を表示し、説明文の先頭に「注意１」」等の番号、または記号を表示する。これによって、領域２６０１の画像が注意画像であることを示す。
【０２６４】
ヒヤリハット映像およびその説明文の表示方法は、注意事項として識別できればいかなる表示方法でもよい。また、手順書編集プログラム２１０４は、ヒヤリハット映像が映像データとして作業手順書中に追加される場合、ヒヤリハット映像を選択すると映像が再生されるように表示してもよい。または、再生および停止等のヒヤリハット映像を操作するためのボタンまたはメニュー等を別途、表示してもよい。
【０２６５】
第３の実施形態において、作業支援システムは、視野画像からヒヤリハット映像を抽出し、抽出されたヒヤリハット映像を作業手順書に対応付けた。前述の第３の実施形態は、ヒヤリハット映像を作業手順書中に追加する機能を第１の実施形態の作業支援システムに追加したが、ヒヤリハット映像に関する処理や機能を第２の実施形態の作業支援システムに追加してもよい。これによって、第３の実施形態の作業支援システムは、余分な注視画像とヒヤリハット映像とを作業手順書中に追加することができる。
【０２６６】
第３の実施形態によれば、作業者の視野画像から抽出されたヒヤリハット映像を、注意画像として、作業手順書に挿入できる。これによって、作業者の作業に基づいて、作業手順書を更新でき、作業不備および事故を未然に防ぐことができる。
【０２６７】
（第４の実施形態）
本発明における第４の実施形態を図２７により説明する。
【０２６８】
図２７は、本発明の第４の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。
【０２６９】
第４の実施形態の作業支援システムは、手順書管理用端末２７０２と、複数の作業者用端末２７０１とを備える。手順書管理用端末２７０２と作業者用端末２７０１とは、ネットワーク２７０３によって接続される。第４の実施形態の作業支援システムは、第２の実施形態の作業支援システムの各機能を、作業者用端末２７０１と手順書管理用端末２７０２とに分割して有する。
【０２７０】
作業者用端末２７０１は、計算機であり、情報処理装置２７０４、入力装置２７０５、出力装置２７０６、記憶装置２７０７、および作業画像列２７０８を備える。情報処理装置２７０４は、例えばＣＰＵ等のプロセッサなど、各種プログラムを実行するための装置である。
【０２７１】
入力装置２７０５は、例えば、視野映像または視線を取得する装置、キーボード、マウス、または、タッチパッド等の装置である。出力装置２７０６は、例えば、モニタ、スピーカ、または振動を検出する装置等である。記憶装置２７０７は、各種プログラムを格納する装置である。作業画像列２７０８は、作業画像列を格納するための記憶装置である。
【０２７２】
記憶装置２７０７は、注視画像抽出プログラム２７０９、類似度計算プログラム２７１０、作業状況判定プログラム２７１１、表示プログラム２７１２、および注視画像対応付けプログラム２７１３を含む。さらに記憶装置２７０７は、作業者用端末２７０１と手順書管理用端末２７０２との間で情報を送受信するための送受信プログラム２７１４も含む。
【０２７３】
手順書管理用端末２７０２は、計算機であり、情報処理装置２７１５、入力装置２７１６、出力装置２７１７、記憶装置２７１８、作業手順書２７１９、および注視画像２７２０を備える。情報処理装置２７１５は、例えば、プロセッサなど、各種プログラムを実行するための装置である。
【０２７４】
入力装置２７１６は、キーボード、マウス、またはタッチパッド等の作業手順書を編集および管理するための操作を行うための装置である。出力装置２７１７は、作業手順書の内容または編集画面を表示するためのモニタまたはスピーカ等の装置である。
【０２７５】
記憶装置２７１８は、各種プログラムを格納するための装置である。作業手順書２７１９は、作業手順書を格納するための記憶装置である。注視画像２７２０は、注視画像を格納するための記憶装置である。
【０２７６】
また、記憶装置２７１８は、作業画像列生成プログラム２７２１、手順書編集プログラム２７２２、表示プログラム２７２３を含む。さらに記憶装置２７１８は、作業者用端末２７０１との間で情報を送受信するための送受信プログラム２７２４を含む。
【０２７７】
第４の実施形態における各機能は、第２の実施形態における各機能と同様である。すなわち、注視画像抽出プログラム２７０９は、注視画像抽出プログラム１０６と同じ機能を有し、類似度計算プログラム２７１０は、類似度計算プログラム１０７と同じ機能を有し、作業状況判定プログラム２７１１は、作業状況判定プログラム１０８と同じ機能を有する。また、表示プログラム２７１２は、表示プログラム１０９が有する作業手順書を作業者に表示する機能と同じ機能を有する。また、注視画像対応付けプログラム２７１３は、注視画像対応付けプログラム１２０１と同じ機能を有する。
【０２７８】
さらに、作業画像列生成プログラム２７２１は、作業画像列生成プログラム１０５を同じ機能を有し、手順書編集プログラム２７２２は、手順書編集プログラム１２０２と同じ機能を有する。また、表示プログラム２７２３は、表示プログラム１０９が有する作業手順書の編集画面を表示する機能と同じ機能を有する。
【０２７９】
なお、第４の実施形態における一部の機能は、作業者用端末２７０１と手順書管理用端末２７０２との間で情報を送受信するための機能を含む。以下、第４の実施形態において追加される機能について説明する。
【０２８０】
まず、作業者用端末２７０１は、作業の開始時に、利用可能な作業手順書から実施する作業に関する作業手順書を作業者に選択させる。これは第１の実施形態に説明した内容と同様に表示プログラム２７１２によって行われるが、作業手順書は手順書管理用端末２７０２の作業手順書２７１９に格納されている。このため、表示プログラム２７１２は、送受信プログラム２７１４を用いて、手順書管理用端末２７０２から作業手順書に関する情報を取得した後、出力装置２７０６に取得された作業手順書の一覧を表示する。
【０２８１】
出力装置２７０６に表示された作業手順書の一覧から、作業者が実施する作業に関する作業手順書を選択した場合、選択結果は送受信プログラム２７１４を用いて作業者用端末２７０１から手順書管理用端末２７０２に送信される。そして、手順書管理用端末２７０２は、作業画像列生成プログラム２７２１を用いて、選択された作業手順書から作業画像列を生成する。
【０２８２】
さらに、送受信プログラム２７２４は、生成された作業画像列を、作業者用端末２７０１に送信する。作業者用端末２７０１によって受信された作業画像列は、作業画像列２７０８に格納される。
【０２８３】
作業が開始された場合、作業者用端末２７０１は、第１の実施形態と同じく、注視画像抽出プログラム２７０９および類似度計算プログラム２７１０を用いた注視画像の抽出、作業状況判定プログラム２７１１および類似度計算プログラム２７１０を用いた作業状況の判定処理を行う。また、第２の実施形態と同様に、注視画像対応付けプログラム２７１３を用いた余分な注視画像の作業手順書への対応付けを行う。
【０２８４】
ここで、第４の実施形態における注視画像対応付けプログラム２７１３は、余分な注視画像とその注視画像が対応する作業手順書中の箇所に関する情報とを、送受信プログラム２７１４を用いて手順書管理用端末２７０２に送信する。手順書管理用端末２７０２では、受信した余分な注視画像と作業手順書中の対応箇所に関する情報とを注視画像２７２０に格納する。そして、手順書編集プログラム２７２２は、注視画像２７２０を参照し、第２の実施形態と同じ方法によって作業手順書の編集画面が出力装置２７１７に表示する。
【０２８５】
第４の実施形態によれば、複数の作業者が各作業を実施することによって抽出された注視画像に基づいて、編集者が作業手順書の編集を行うことができる。また、これによって、作業不備および事故を未然に防ぐことができる。
【０２８６】
（第５の実施形態）
本発明における第５の実施形態を図２８により説明する。
【０２８７】
図２８は、本発明の第５の実施形態の作業支援システムを複数の計算機によって実装した場合の物理的な構成を示すブロック図である。
【０２８８】
第５の実施形態の作業支援システムは、手順書管理用端末２８０２と、複数の作業者用端末２８０１とを備える。手順書管理用端末２８０２と作業者用端末２８０１とは、ネットワーク２８０３によって接続される。第５の実施形態の作業支援システムは、第３の実施形態の作業支援システムの各機能を、作業者用端末２８０１と手順書管理用端末２８０２とに分割して有する。
【０２８９】
作業者用端末２８０１は、第４の実施形態の作業者用端末２７０１と同じく、情報処理装置２８０４、入力装置２８０５、出力装置２８０６、記憶装置２８０７、および作業画像列２８０８を備える。情報処理装置２８０４は、例えばプロセッサなど、各種プログラムを実行するための装置である。
【０２９０】
情報処理装置２８０４、出力装置２８０６、および作業画像列２８０８は、第４の実施形態の情報処理装置２７０４、出力装置２７０６、および作業画像列２７０８と同じである。
【０２９１】
記憶装置２８０７は、注視画像抽出プログラム２８０９、類似度計算プログラム２８１０、作業状況判定プログラム２８１１、表示プログラム２８１２、ヒヤリハット検出プログラム２８３１、ヒヤリハット映像抽出プログラム２８３２、およびヒヤリハット対応付けプログラム２８３３を含む。さらに記憶装置２８０７は、作業者用端末２８０１と手順書管理用端末２８０２との間で情報を送受信するための送受信プログラム２８１４も含む。
【０２９２】
図２８に示す作業者用端末２８０１は、図２７に示す作業者用端末２７０１の構成と同様であるが、注視画像対応付けプログラム２７１３の代わりに、ヒヤリハット検出プログラム２８３１、ヒヤリハット映像抽出プログラム２８３２、およびヒヤリハット対応付けプログラム２８３３を記憶装置２８０７に含む。
【０２９３】
また、第５の実施形態による作業支援システムでは、入力装置２８０５として、視野映像を入力するためのビデオカメラ、視線入力装置、キーボード、マウス、またはタッチパネル等の一般的な入力装置を備える。また、ヒヤリハット検出プログラム２８３１によって必要となるデータの種類に応じた入力装置、例えば、心拍数、血圧、または発汗状態を取得するためのセンサ等を備えてもよい。
【０２９４】
第５の実施形態における各機能は、第３の実施形態における各機能と同様である。すなわち、注視画像抽出プログラム２８０９は、注視画像抽出プログラム１０６と同じ機能を有し、類似度計算プログラム２８１０は、類似度計算プログラム１０７と同じ機能を有し、作業状況判定プログラム２８１１は、作業状況判定プログラム１０８と同じ機能を有する。また、表示プログラム２８１２は、表示プログラム１０９が有する作業手順書を作業者に表示する機能と同じ機能を有する。
【０２９５】
また、ヒヤリハット検出プログラム２８３１は、ヒヤリハット検出プログラム２１０１と同じ機能を有する。ヒヤリハット映像抽出プログラム２８３２は、ヒヤリハット映像抽出プログラム２１０２と同じ機能を有する。ヒヤリハット対応付けプログラム２８３３は、ヒヤリハット対応付けプログラム２１０３と同じ機能を有する。
【０２９６】
手順書管理用端末２８０２も、図２７における手順書管理用端末２７０２の構成と同様であるが、図２７における注視画像２７２０の代わりに、ヒヤリハット映像２８３４を備える。
【０２９７】
また、作業画像列生成プログラム２８２１は、作業画像列生成プログラム１０５を同じ機能を有し、手順書編集プログラム２８２２は、手順書編集プログラム２１０４と同じ機能を有する。また、表示プログラム２８２３は、表示プログラム１０９が有する作業手順書の編集画面を表示する機能と同じ機能を有する。
【０２９８】
なお、第５の実施形態における一部の機能は、作業者用端末２８０１と手順書管理用端末２８０２との間で情報を送受信するための機能を含む。以下、第５の実施形態において追加される機能について説明する。
【０２９９】
作業者用端末２８０１において、作業者が実施する作業に関する作業手順書を選択した結果を手順書管理用端末２８０２に送信する方法、手順書管理用端末２８０２において、選択された作業手順書から作業画像列を生成する方法、生成された作業画像列を作業者用端末２８０１に送信する方法、および、作業者用端末２８０１に格納する方法は、第４の実施形態と同じであるが、各方法は、第５の実施形態の各機能によって実行される。
【０３００】
作業が開始された場合、作業者用端末２８０１は、第１の実施形態と同じく、注視画像抽出プログラム２８０９および類似度計算プログラム２８１０を用いた注視画像の抽出、作業状況判定プログラム２８１１および類似度計算プログラム２８１０を用いた作業状況の判定処理を行う。
【０３０１】
そして、第３の実施形態と同じく、ヒヤリハット検出プログラム２８３１が作業者のヒヤリハット状態を検出し、ヒヤリハット状態の検出結果に基づいてヒヤリハット映像抽出プログラム２８３２が視野映像からヒヤリハット映像を抽出する。さらに、ヒヤリハット対応付けプログラム２８３３が、ヒヤリハット映像が対応する作業手順書中の箇所を特定する。
【０３０２】
さらに、第５の実施形態のヒヤリハット対応付けプログラム２８３３は、ヒヤリハット映像とそのヒヤリハット映像が対応する作業手順書の箇所に関する情報を手順書管理用端末２８０２に送信する。
【０３０３】
手順書管理用端末２８０２では、受信したヒヤリハット映像と作業手順書中の対応箇所に関する情報とをヒヤリハット映像２８３４に格納する。手順書編集プログラム２８２２は、第３の実施形態と同じく、ヒヤリハット映像２８３４に基づいて、作業手順書の編集画面を出力装置１０３に表示する。
【０３０４】
第５の実施形態によれば、複数の作業者が各作業を実施することによって抽出されたヒヤリハット映像に基づいて、編集者が作業手順書を編集することができる。また、これによって、作業不備および事故を未然に防ぐことができる。
【０３０５】
なお、本実施形態の情報処理装置（第１、第２、および第３の実施形態における情報処理装置１０１、第４の実施形態における情報処理装置２７０４、ならびに、第５の実施形態における情報処理装置２７０４）は、各作業支援システムが有する前述のプログラムを処理することによって、所定の機能を実現する機能部として動作してもよい。例えば、情報処理装置１０１は、作業画像列生成プログラム１０５を処理することによって、作業画像列生成部として機能してもよい。他のプログラムについても同様である。
【０３０６】
さらに、本実施形態の情報処理装置は、各プログラムによって実行される複数の処理のそれぞれを実現する機能部としても動作してよい。また、各プログラムは、各処理ごとに分割され、別のプログラムとして実装されてもよい。
【０３０７】
また、本実施形態のプログラムは、プログラム配布サーバなどの、計算機読み取り可能な非一時的記憶媒体によって作業支援システムにインストールされてもよく、各計算機の不揮発性記憶デバイスに格納されてもよい。
【０３０８】
本実施形態によれば、作業を実施する際に必ず準備される作業手順書に含まれる作業画像の情報と、取得された視野映像とを用いることによって、作業の進行状況が適切であるか否かを判定することができる。このため、判定に必要な入力装置は、例えば、ビデオカメラのみでもよく、作業現場に容易に導入することが可能となる。また、ビデオカメラは、視野を撮影できる状態であれば設置位置や方法に制限は無く、さらに、作業中に作業者が通常の作業と異なる新たな作業を行う必要も無いため、作業者に負担をかけずに作業状況を判定することが可能となる。
【０３０９】
また、作業者の視野画像から、注視画像またはヒヤリハット映像を抽出することによって、作業者が作業において注意すべき作業または追加されるべき作業を示す画像を、作業手順書に追加できる。これによって、作業不備および事故を未然に防ぐことができる。
【０３１０】
なお、特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげられる。
【０３１１】
作業状況判定部は、第４の閾値を保持し、前記作業状況判定部は、前記抽出された注視画像が前記視野画像として取得された時間の合計と前記第４の閾値とを比較した結果、前記時間の合計が小さい場合、前記作業者が適切に作業を実施したと判定することを特徴とする作業支援システム。
【符号の説明】
【０３１２】
１０１ 情報処理装置
１０２ 入力装置
１０３ 出力装置
１０４ 記憶装置
１０５ 作業画像列生成プログラム
１０６ 注視画像抽出プログラム
１０７ 類似度計算プログラム
１０８ 作業状況判定プログラム
１０９ 表示プログラム
１１０ 作業手順書
１１１ 作業画像列
１２０１ 注視画像対応付けプログラム
１２０２ 手順書編集プログラム
１２０３ 注視画像
２１０１ ヒヤリハット検出プログラム
２１０２ ヒヤリハット映像抽出プログラム
２１０３ ヒヤリハット対応付けプログラム
２１０５ ヒヤリハット映像
２７０１ 作業者用端末
２７０２ 手順書管理用端末
２７０３ ネットワーク
２７１４ 送受信プログラム
【特許請求の範囲】
【請求項１】
作業者に作業手順書を表示する出力装置を備えた作業支援システムであって、
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業支援システムは、
プロセッサとメモリと入力装置とを備え、
前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成部と、
前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力部と、
前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、
前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、
前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、
前記作業用出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力することを特徴とする作業支援システム。
【請求項２】
前記作業支援システムは、
前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け部を備え、
前記第１の作業画像を含む前記作業手順書と、前記第１の作業画像に対応付けられて格納される前記注視画像と、を前記出力装置に表示する表示用出力部と
前記表示された注視画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する編集部を備えることを特徴とする請求項１に記載の作業支援システム。
【請求項３】
前記作業支援システムは、
前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施される可能性があったために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出部と、
前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出部と、
前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け部と、を備え、
前記表示用出力部は、前記第２の作業画像を含む前記作業手順書と、前記第２の作業画像に対応付けられて格納される前記ヒヤリハット画像と、を前記出力装置に表示し、
前記編集部は、前記表示されたヒヤリハット画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新することを特徴とする請求項２に記載の作業支援システム。
【請求項４】
前記作業状況判定部は、第１の閾値、第２の閾値、または、第３の閾値の少なくとも一つを保持し、
前記作業状況判定部は、
前記第１の閾値を保持する場合、前記第１の作業画像が前記作業用出力部によって表示された時刻からの経過時間が、前記第１の閾値よりも長い場合、前記作業者が適切に作業を実施していないと判定し、
前記第２の閾値を保持する場合、前記算出された類似度と前記第２の閾値とを比較した結果、前記算出された類似度が大きい場合、前記作業者が適切に作業を実施したと判定し、
前記第３の閾値を保持する場合、前記抽出された注視画像の数と前記第３の閾値とを比較した結果、前記抽出された注視画像の数が小さい場合、前記作業者が適切に作業を実施したと判定する請求項１から請求項３のいずれかに記載の作業支援システム。
【請求項５】
前記作業状況判定部は、前記作業者が適切に作業を実施していると判定した場合、前記第１の作業画像が示す作業の次に実施される前記作業画像を、前記作業画像列から抽出し、
前記作業用出力部は、前記抽出された次に実施される作業画像を、前記出力装置に表示することを特徴とする請求項１から請求項４のいずれかに記載の作業支援システム。
【請求項６】
前記作業状況判定部が、前記作業者が適切に作業を実施していないと判定した場合、前記作業用出力部は、文字、映像、音、声、または振動の、少なくとも一つを用いて、前記出力装置から前記作業者が適切に作業を実施していないことを示す情報を出力することを特徴とする請求項１から請求項５のいずれかに記載の作業支援システム。
【請求項７】
前記注視画像対応付け部が、前記第１の作業画像と前記抽出された注視画像とを対応付けて前記メモリに格納した後、または、前記ヒヤリハット対応付け部が、前記第２の作業画像と前記抽出されたヒヤリハット画像とを対応付けて前記メモリに格納した後、前記編集用出力部は、前記出力装置から、前記作業手順書に対応付けられる画像が取得されたことを示す情報を出力することを特徴とする請求項３に記載の作業支援システム。
【請求項８】
前記編集部は、
前記表示された注視画像を前記作業手順書に挿入する指示が入力された場合、前記指示に基づいて、前記表示された注視画像を、作業手順を示す前記作業画像として、または、注意すべき画像として、前記作業手順書に挿入し、
前記表示されたヒヤリハット画像を前記作業手順書に挿入する指示が入力された場合、前記指示に基づいて、前記表示されたヒヤリハット画像を、作業手順を示す前記作業画像として、または、注意すべき画像として、前記作業手順書に挿入することを特徴とする請求項３または請求項７に記載の作業支援システム。
【請求項９】
前記作業支援システムは、複数の作業用端末と、前記各端末に接続される管理用端末とを備え、
前記管理用端末は、前記画像列生成部を備え、
前記各作業用端末は、
前記画像列生成部によって生成された前記作業画像列を受信する受信部と、
前記作業用出力部と、前記注視画像抽出部と、前記類似度算出部と、前記作業状況判定部と、を備えることを特徴とする請求項１から請求項８のいずれかに記載の作業支援システム。
【請求項１０】
作業者に作業手順書を表示する出力装置を備えた作業支援システムによる作業支援方法であって、
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業支援システムは、プロセッサとメモリと入力装置とを備え、
前記方法は、
前記プロセッサが、前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成手順と、
前記プロセッサが、前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力手順と、
前記プロセッサが、前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出手順と、
前記プロセッサが、前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力手順によって表示された第１の作業画像と、の類似度を算出する類似度算出手順と、
前記プロセッサが、前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定手順と、を含み、
前記作業用出力手順は、前記プロセッサが、前記作業状況判定手順による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力する手順を含むことを特徴とする作業支援方法。
【請求項１１】
前記方法は、
前記プロセッサが、前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け手順と、
前記プロセッサが、前記第１の作業画像を含む前記作業手順書と、前記第１の作業画像に対応付けられて格納される前記注視画像と、を前記出力装置に表示する編集用出力手順と、
前記プロセッサが、前記表示された注視画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する編集手順と、を含むことを特徴とする請求項１０に記載の作業支援方法。
【請求項１２】
前記方法は、
前記プロセッサが、前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施されているために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出手順と、
前記プロセッサが、前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出手順と、
前記プロセッサが、前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け手順と、を備え、
前記編集用出力手順は、前記プロセッサが、前記第２の作業画像を含む前記作業手順書と、前記第２の作業画像に対応付けられて格納される前記ヒヤリハット画像と、を前記出力装置に表示する手順を含み、
前記編集手順は、前記プロセッサが、前記表示されたヒヤリハット画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する手順を含むことを特徴とする請求項１０または請求項１１のいずれかに記載の作業支援方法。
【請求項１３】
管理用端末に接続され、作業者に作業手順書を表示する出力装置を備える作業用端末であって、
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業用端末は、
プロセッサとメモリと入力装置とを備え、
前記作業者が実施する作業の順番に前記作業画像を含む作業画像列を、前記管理用端末から受信する受信部と、
前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力部と、
前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、
前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、
前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、
前記作業用出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力することを特徴とする作業用端末。
【請求項１４】
前記作業用端末は、
前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け部と、
前記第１の作業画像と、前記取得された注視画像と、を対応付けて前記管理用端末に送信する送信部と、を備えることを特徴とする請求項１３に記載の作業用端末。
【請求項１５】
前記作業用端末は、
前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施されているために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出部と、
前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出部と、
前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け部と、を備え、
前記送信部は、前記第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記管理用端末に送信することを特徴とする請求項１３または請求項１４のいずれかに記載の作業用端末。
【請求項１】
作業者に作業手順書を表示する出力装置を備えた作業支援システムであって、
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業支援システムは、
プロセッサとメモリと入力装置とを備え、
前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成部と、
前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力部と、
前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、
前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、
前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、
前記作業用出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力することを特徴とする作業支援システム。
【請求項２】
前記作業支援システムは、
前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け部を備え、
前記第１の作業画像を含む前記作業手順書と、前記第１の作業画像に対応付けられて格納される前記注視画像と、を前記出力装置に表示する表示用出力部と
前記表示された注視画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する編集部を備えることを特徴とする請求項１に記載の作業支援システム。
【請求項３】
前記作業支援システムは、
前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施される可能性があったために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出部と、
前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出部と、
前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け部と、を備え、
前記表示用出力部は、前記第２の作業画像を含む前記作業手順書と、前記第２の作業画像に対応付けられて格納される前記ヒヤリハット画像と、を前記出力装置に表示し、
前記編集部は、前記表示されたヒヤリハット画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新することを特徴とする請求項２に記載の作業支援システム。
【請求項４】
前記作業状況判定部は、第１の閾値、第２の閾値、または、第３の閾値の少なくとも一つを保持し、
前記作業状況判定部は、
前記第１の閾値を保持する場合、前記第１の作業画像が前記作業用出力部によって表示された時刻からの経過時間が、前記第１の閾値よりも長い場合、前記作業者が適切に作業を実施していないと判定し、
前記第２の閾値を保持する場合、前記算出された類似度と前記第２の閾値とを比較した結果、前記算出された類似度が大きい場合、前記作業者が適切に作業を実施したと判定し、
前記第３の閾値を保持する場合、前記抽出された注視画像の数と前記第３の閾値とを比較した結果、前記抽出された注視画像の数が小さい場合、前記作業者が適切に作業を実施したと判定する請求項１から請求項３のいずれかに記載の作業支援システム。
【請求項５】
前記作業状況判定部は、前記作業者が適切に作業を実施していると判定した場合、前記第１の作業画像が示す作業の次に実施される前記作業画像を、前記作業画像列から抽出し、
前記作業用出力部は、前記抽出された次に実施される作業画像を、前記出力装置に表示することを特徴とする請求項１から請求項４のいずれかに記載の作業支援システム。
【請求項６】
前記作業状況判定部が、前記作業者が適切に作業を実施していないと判定した場合、前記作業用出力部は、文字、映像、音、声、または振動の、少なくとも一つを用いて、前記出力装置から前記作業者が適切に作業を実施していないことを示す情報を出力することを特徴とする請求項１から請求項５のいずれかに記載の作業支援システム。
【請求項７】
前記注視画像対応付け部が、前記第１の作業画像と前記抽出された注視画像とを対応付けて前記メモリに格納した後、または、前記ヒヤリハット対応付け部が、前記第２の作業画像と前記抽出されたヒヤリハット画像とを対応付けて前記メモリに格納した後、前記編集用出力部は、前記出力装置から、前記作業手順書に対応付けられる画像が取得されたことを示す情報を出力することを特徴とする請求項３に記載の作業支援システム。
【請求項８】
前記編集部は、
前記表示された注視画像を前記作業手順書に挿入する指示が入力された場合、前記指示に基づいて、前記表示された注視画像を、作業手順を示す前記作業画像として、または、注意すべき画像として、前記作業手順書に挿入し、
前記表示されたヒヤリハット画像を前記作業手順書に挿入する指示が入力された場合、前記指示に基づいて、前記表示されたヒヤリハット画像を、作業手順を示す前記作業画像として、または、注意すべき画像として、前記作業手順書に挿入することを特徴とする請求項３または請求項７に記載の作業支援システム。
【請求項９】
前記作業支援システムは、複数の作業用端末と、前記各端末に接続される管理用端末とを備え、
前記管理用端末は、前記画像列生成部を備え、
前記各作業用端末は、
前記画像列生成部によって生成された前記作業画像列を受信する受信部と、
前記作業用出力部と、前記注視画像抽出部と、前記類似度算出部と、前記作業状況判定部と、を備えることを特徴とする請求項１から請求項８のいずれかに記載の作業支援システム。
【請求項１０】
作業者に作業手順書を表示する出力装置を備えた作業支援システムによる作業支援方法であって、
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業支援システムは、プロセッサとメモリと入力装置とを備え、
前記方法は、
前記プロセッサが、前記作業支援システムに入力された前記作業手順書から、前記作業者が実施する作業の順番に前記作業画像を含む、作業画像列を生成する画像列生成手順と、
前記プロセッサが、前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力手順と、
前記プロセッサが、前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出手順と、
前記プロセッサが、前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力手順によって表示された第１の作業画像と、の類似度を算出する類似度算出手順と、
前記プロセッサが、前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定手順と、を含み、
前記作業用出力手順は、前記プロセッサが、前記作業状況判定手順による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力する手順を含むことを特徴とする作業支援方法。
【請求項１１】
前記方法は、
前記プロセッサが、前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け手順と、
前記プロセッサが、前記第１の作業画像を含む前記作業手順書と、前記第１の作業画像に対応付けられて格納される前記注視画像と、を前記出力装置に表示する編集用出力手順と、
前記プロセッサが、前記表示された注視画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する編集手順と、を含むことを特徴とする請求項１０に記載の作業支援方法。
【請求項１２】
前記方法は、
前記プロセッサが、前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施されているために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出手順と、
前記プロセッサが、前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出手順と、
前記プロセッサが、前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け手順と、を備え、
前記編集用出力手順は、前記プロセッサが、前記第２の作業画像を含む前記作業手順書と、前記第２の作業画像に対応付けられて格納される前記ヒヤリハット画像と、を前記出力装置に表示する手順を含み、
前記編集手順は、前記プロセッサが、前記表示されたヒヤリハット画像に基づいて前記作業手順書を更新する指示が、前記入力装置を介して入力された場合、前記指示に基づいて、前記作業手順書を更新する手順を含むことを特徴とする請求項１０または請求項１１のいずれかに記載の作業支援方法。
【請求項１３】
管理用端末に接続され、作業者に作業手順書を表示する出力装置を備える作業用端末であって、
前記作業手順書は、前記作業者が実施する作業を示す作業画像を含み、
前記作業用端末は、
プロセッサとメモリと入力装置とを備え、
前記作業者が実施する作業の順番に前記作業画像を含む作業画像列を、前記管理用端末から受信する受信部と、
前記作業画像列から抽出された作業画像を、前記出力装置に表示する作業用出力部と、
前記入力装置を介して取得された前記作業者が見る方向の画像を含む複数の視野画像から、前記作業者が注視している特定の対象物の画像を含む注視画像を抽出する注視画像抽出部と、
前記抽出された注視画像と、前記抽出された注視画像が前記視野画像として取得された際に前記作業用出力部によって表示された第１の作業画像と、の類似度を算出する類似度算出部と、
前記作業者が適切に作業を実施しているか否かを、前記作業画像が表示された時刻からの経過時間、前記抽出された注視画像、または、前記算出された類似度を用いて判定する作業状況判定部と、を備え、
前記作業用出力部は、前記作業状況判定部による前記判定結果に従って、前記作業者が実施する作業に関する情報を前記出力装置に出力することを特徴とする作業用端末。
【請求項１４】
前記作業用端末は、
前記注視画像が抽出され、かつ、前記作業者が適切に作業を実施していないと判定された場合、前記第１の作業画像と、前記抽出された注視画像と、を対応付けて前記メモリに格納する注視画像対応付け部と、
前記第１の作業画像と、前記取得された注視画像と、を対応付けて前記管理用端末に送信する送信部と、を備えることを特徴とする請求項１３に記載の作業用端末。
【請求項１５】
前記作業用端末は、
前記作業者の生体情報を測定し、前記測定された生体情報に基づいて、前記作業が不適切に実施されているために前記作業者がヒヤリまたはハッとした状態となるヒヤリハット状態が、前記作業者に発生した時刻を検出するヒヤリハット検出部と、
前記検出されたヒヤリハット状態が作業者に発生した時刻に基づいて、前記ヒヤリハット状態において前記取得された視野画像を、ヒヤリハット画像として抽出するヒヤリハット画像抽出部と、
前記抽出されたヒヤリハット画像が前記視野画像として取得された際に前記作業者が実施した作業を示す第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記メモリに格納するヒヤリハット対応付け部と、を備え、
前記送信部は、前記第２の作業画像と、前記抽出されたヒヤリハット画像と、を対応付けて前記管理用端末に送信することを特徴とする請求項１３または請求項１４のいずれかに記載の作業用端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１３−９７４６６（Ｐ２０１３−９７４６６Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３７８９１（Ｐ２０１１−２３７８９１）
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]