作業支援装置、および作業支援プログラム
【課題】作業者の習熟に応じて手本となる動画情報を継続的に変更することができる。
【解決手段】手本である第１の一連の作業画像情報が記憶装置に記憶されている。作業支援装置が、（１）一作業区間に関する第２の一連の作業画像情報をカメラから取得する。作業支援装置が、（２）取得した第２の一連の作業画像情報と、手本である第１の一連の作業画像情報と、を比較することにより、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも改善されたか否かを判定する。作業支援装置が、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも改善されたと判断した場合、（３）判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。作業支援装置が、（４）更新結果をディスプレイに出力する。
【解決手段】手本である第１の一連の作業画像情報が記憶装置に記憶されている。作業支援装置が、（１）一作業区間に関する第２の一連の作業画像情報をカメラから取得する。作業支援装置が、（２）取得した第２の一連の作業画像情報と、手本である第１の一連の作業画像情報と、を比較することにより、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも改善されたか否かを判定する。作業支援装置が、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも改善されたと判断した場合、（３）判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。作業支援装置が、（４）更新結果をディスプレイに出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者の作業を支援する作業支援装置、および作業支援プログラムに関する。
【背景技術】
【０００２】
従来から工場の生産現場において、作業者は図面により指示される作業手順にしたがって組立作業を行っている。また、作業者にわかりやすい指示を行うために、あらかじめ組立工程を動画として撮影しておき、組立作業時に該動画をモニタに表示するという方法も知られている（たとえば、下記特許文献１〜３参照。）。動画を用いて作業指示を行うことにより、複雑な作業をわかりやすく作業者に指示することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１６６６８１号公報
【特許文献２】特開２００９−３７３９２号公報
【特許文献３】国際公開第２００６／０１６７１６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、作業者が作業に習熟するにつれ、当初に作成した動画情報の作業指示よりも効率の良い組立方法に気付き、作業指示の改善を行うことは、度々起こることである。従来技術では、動画情報の撮影を最初からやり直して動画情報を置き換えるため、どの程度習熟されたら動画情報の撮影をやり直すかが不明確であり、該撮影時に改善された作業を行えるとは限らないという問題点がある。
【０００５】
本発明は、上述した従来技術による問題点を解消するため、作業者の習熟度に応じて手本となる動画情報を継続的に変更することができる作業支援装置、および作業支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するため、本発明の一の側面によれば、一作業区間に関する第１の一連の作業画像情報を記憶し、前記一作業区間に関する第２の一連の作業画像情報をカメラから取得し、前記第１の一連の作業画像情報と、取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、更新結果を出力する作業支援装置、および作業支援プログラムが提案される。
【発明の効果】
【０００７】
本発明の一側面によれば、作業者の習熟度に応じて手本となる動画情報を継続的に変更することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の一の実施例を示す説明図である。
【図２】図２は、作業支援装置のハードウェア例を示すブロック図である。
【図３】図３は、作業支援装置２００の機能の一の例を示すブロック図である。
【図４】図４は、作業指示書の一例を示す説明図である。
【図５】図５は、特徴点の対応例を示す説明図である。
【図６】図６は、実施の形態１にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。
【図７】図７は、図６で示した作業進捗判定処理（ステップＳ６０４）の詳細例を示すフローチャートである。
【図８】図８は、図６で示した作業品質判定処理（ステップＳ６０５）の詳細例を示すフローチャートである。
【図９】図９は、図６で示した更新判定処理（ステップＳ６０６）の詳細な一の例を示すフローチャートである。
【図１０】図１０は、図６で示した更新判定処理（ステップＳ６０６）の詳細な他の例を示すフローチャートである。
【図１１】図１１は、実施の形態３にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャート（その１）である。
【図１２】図１２は、実施の形態３にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャート（その２）である。
【図１３】図１３は、作業支援装置２００の機能の他の例を示すブロック図である。
【図１４】図１４は、実施の形態４にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。
【図１５】図１５は、複数の作業者で作業指示動画情報を共有している例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、本発明にかかる作業支援装置、および作業支援プログラムの実施の形態を詳細に説明する。
【００１０】
図１は、本発明の一の実施例を示す説明図である。図１では、一作業区間に関する第１の一連の作業画像情報が記憶装置に記憶されている。たとえば、作業支援装置が、（１）一作業区間に関する第２の一連の作業画像情報をカメラから取得する。たとえば、作業支援装置が、（２）第１の一連の作業画像情報と、取得した第２の一連の作業画像情報と、を比較することにより、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。
【００１１】
たとえば、作業支援装置が、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも良くなったと判定した場合、（３）判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。たとえば、作業支援装置が、（４）更新結果をディスプレイに出力する。
【００１２】
ここでは、第１の一連の作業画像情報が良い作業例である。そのため、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも良くなったと判断した場合に第１の一連の作業画像情報を第２の一連の作業画像情報に更新している。たとえば、第１の一連の作業画像情報が悪い作業例であれば、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも悪くなったと判断した場合に第１の一連の作業画像情報を第２の一連の作業画像情報に更新してもよい。
【００１３】
（作業支援装置のハードウェア例）
図２は、作業支援装置のハードウェア例を示すブロック図である。図２において、作業支援装置２００は、カメラ２０２と、ＰＣ２０１（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）と、ディスプレイ２０３と、マウス２０４と、を有している。カメラ２０２と、ディスプレイ２０３と、マウス２０４とは、ＰＣ２０１を介して接続されている。
【００１４】
ディスプレイ２０３は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ２０３は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。カメラ２０２は、作業者による作業の動画像を撮影する。ここで、動画像は一連の画像情報である。動画像の画像情報ごとに撮影時刻を関連付けてＰＣ２０１へ送信する。
【００１５】
マウス２０４は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【００１６】
ＰＣ２０１は、ＣＰＵ２１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ２１２（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ２１３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、磁気ディスクドライブ２１４と、磁気ディスク２１５と、光ディスクドライブ２１６と、光ディスク２１７と、Ｉ／Ｆ２１８（Ｉｎｔｅｒｆａｃｅ）と、を有している。また、各部はバス２２０によってそれぞれ接続されている。
【００１７】
ここで、ＣＰＵ２１１は、作業支援装置２００の全体の制御を司る。ＲＯＭ２１２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２１３は、ＣＰＵ２１１のワークエリアとして使用される。磁気ディスクドライブ２１４は、ＣＰＵ２１１の制御にしたがって磁気ディスク２１５に対するデータのリード／ライトを制御する。磁気ディスク２１５は、磁気ディスクドライブ２１４の制御で書き込まれたデータを記憶する。
【００１８】
光ディスクドライブ２１６は、ＣＰＵ２１１の制御にしたがって光ディスク２１７に対するデータのリード／ライトを制御する。光ディスク２１７は、光ディスクドライブ２１６の制御で書き込まれたデータを記憶したり、光ディスク２１７に記憶されたデータをコンピュータに読み取らせたりする。
【００１９】
Ｉ／Ｆ２１８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２１９に接続され、該ネットワーク２１９を介して他の装置に接続される。そして、Ｉ／Ｆ２１８は、ネットワーク２１９と内部のインタフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２１８には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
【００２０】
（作業支援装置２００の機能の一の例を示すブロック図）
図３は、作業支援装置２００の機能の一の例を示すブロック図である。作業支援装置２００は、記憶部３０１と、取得部３０２と、算出部３０３と、判定部３０４と、更新部３０５と、出力部３０６と、を有している。記憶部３０１は、具体的には、たとえば、ＲＡＭ２１３、磁気ディスク２１５、光ディスク２１７などの記憶装置である。
【００２１】
取得部３０２〜出力部３０６は、たとえば、作業支援プログラムにコーディングされている。作業支援プログラムは、ＲＯＭ２１２、磁気ディスク２１５、光ディスク２１７などの記憶装置に記憶されている。ＣＰＵ２１１が、作業支援プログラムを該記憶装置から読み出し、該作業支援プログラムにコーディングされている処理を実行する。これにより、取得部３０２〜出力部３０６の処理が実行される。
【００２２】
ここで、記憶部３０１は、一作業区間に関する第１の一連の作業画像情報である作業指示動画情報３１０と、動き量判定データ３１１と、作業時間判定データ３１２と、である。動き量判定データ３１１は、作業指示動画情報３１０での動き量３２１である。作業時間判定データ３１２は、作業指示動画情報３１０での作業時間３２２である。
【００２３】
取得部３０２は、一作業区間に関する第２の一連の作業画像情報である現作業動画情報３２０をカメラ２０２から取得する。判定部３０４は、記憶部３０１に記憶された作業指示動画情報３１０と、取得部３０２により取得された現作業動画情報３２０と、を比較することにより、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否を判定する。更新部３０５は、判定部３０４による判定結果に応じて、作業指示動画情報３１０を現作業動画情報３２０に更新する。出力部３０６は、更新部３０５による更新結果を出力する。
【００２４】
また、算出部３０３は、取得部３０２により取得された現作業動画情報３２０での動き量３２１を算出する。判定部３０４は、算出部３０３により算出された現作業動画情報３２０での動き量３２１が閾値未満であるか否かに基づいて、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否を判定する。ここでは、たとえば、閾値は、作業指示動画情報３１０での動き量３２１や作業指示動画情報３１０での動き量３２１に所定計数を掛けた値である。所定計数は、たとえば、１未満の値である。更新部３０５は、判定部３０４により現作業動画情報３２０での動き量３２１が閾値未満であると判定された場合、作業指示動画情報３１０を現作業動画情報３２０に更新する。出力部３０６は、更新部３０５による更新結果を出力する。
【００２５】
また、取得部３０２は、現作業動画情報３２０の作業画像情報ごとの作業時刻を取得する。算出部３０３は、現作業動画情報３２０の作業画像情報ごとの作業時刻に基づいて現作業動画情報３２０の撮影時の作業時間３２２を算出する。
【００２６】
判定部３０４は、算出部３０３により算出された現作業動画情報３２０での作業時間３２２が所定時間未満であるか否かに基づいて、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否を判定する。ここでは、たとえば、所定時間が、作業指示動画情報３１０の撮影時の作業時間３２２である。または、たとえば、所定時間が、作業指示動画情報３１０の撮影時の作業時間３２２に所定係数掛けた値である。
【００２７】
更新部３０５は、判定部３０４により現作業動画情報３２０での作業時間３２２が所定時間未満であると判定された場合、表示可能な一連の作業画像情報を取得された一連の作業画像情報に更新する。出力部３０６は、更新部３０５による更新結果を出力する。
【００２８】
以上を踏まえて実施の形態１〜３を用いて詳細に説明する。実施の形態１では、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否を動き量３２１と作業時間３２２に基づいて判定する例を示す。
【００２９】
実施の形態２では、複数回分の作業指示動画情報３１０での作業時間３２２と動き量３２１によって更新判定するか否かを決定する例を示す。
【００３０】
実施の形態３では、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否判定結果を出力し、作業指示動画情報３１０を現作業動画情報３２０に更新するか否かを作業者に決定させる例を示す。
【００３１】
（実施の形態１）
図４は、作業指示書の一例を示す説明図である。作業指示書４００では、基板の開口部にスペーサを７個挿入させるよう記述されている。作業指示書４００には、特に取り付け順序は示されていない。すなわち、取り付け順序により、作業時間３２２が短くなり、作業者の手間が省ける場合がある。
【００３２】
まず、たとえば、ＣＰＵ２１１が、作業指示を表示し、作業表示の時刻情報を出力する。たとえば、ＣＰＵ２１１が、カメラ２０２から取得した作業画像情報を作業の時刻情報と共に逐次記録する。つぎに、たとえば、ＣＰＵ２１１が、カメラ２０２から取得した画像を用いて作業の進捗の判定および該判定の時刻の記録を行う。ここでは、ある部品の取り付け開始から完了までの作業を一つの所定の作業区間とし、該所定の作業区間の作業が完了したか否かの判定の詳細について説明する。たとえば、ＣＰＵ２１１が、（１）事前に用意された部品取り付け前の基板画像情報と、作業画像情報と、のそれぞれについて特徴点を求める。たとえば、ＣＰＵ２１１が、（２）部品取り付け前の基板画像情報と作業画像情報とのそれぞれの特徴点の対応を求める。
【００３３】
図５は、特徴点の対応例を示す説明図である。図５では基板画像５０１の特徴点と作業画像情報５０２の特徴点とが線で結ばれている。結ばれた特徴点を対応点と称する。たとえば、ＣＰＵ２１１が、部品の装着が行われたか否かを判定する（たとえば、「Ｉｒｙｎａ Ｓｋｒｙｏｎｙｋ ａｎｄ Ｄａｖｉｄ Ｇ． Ｌｏｗｅ，Ｓｃｅｎｅ “Ｍｏｄｅｌｌｉｎｇ，Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｉｎｖａｒｉａｎｔ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ”」を参照。）。具体的には、たとえば、ＣＰＵ２１１が、（３）（２）で求めた対応点の集まりから、部品取り付け前の基板画像５０１を作業画像情報５０２へと射影する射影変換行列を求める。たとえば、ＣＰＵ２１１が、（４）部品取り付け前の基板画像５０１中の部品座標から、（３）で求めた射影変換行列を用いて作業画像情報５０２中の部品座標に変換する。
【００３４】
たとえば、ＣＰＵ２１１が、（５）部品取り付け後の基板画像に（３）で求めた射影変換行列を掛ける。たとえば、ＣＰＵ２１１が、（６）作業画像情報と、（５）の掛け算結果と、（４）で求めた部品領域の画像データの相互相関係数を求める。たとえば、ＣＰＵ２１１が、（７）算出した相互相関係数が、閾値以上であれば、部品の装着が行われたと判定する。
【００３５】
また、たとえば、ＣＰＵ２１１が、作業が組み立て作業の場合、組み立て対象である複数の部品と該組み立て作業に使用される１以上の工具とのうちの少なくともいずれかが表されている画像を撮影する。たとえば、ＣＰＵ２１１が、作業指示に対応する工程の作業が完了したことを、画像に基づいて検出してもよい（たとえば、特許文献２を参照。）。
【００３６】
たとえば、ＣＰＵ２１１が、作業表示の時刻情報と現作業動画情報３２０の現作業画像情報の時刻情報とに基づいて作業時間３２２を算出する。現作業動画情報３２０の現作業画像情報とは、現作業動画情報３２０を取得時に含まれる作業画像情報のうちの時刻が最新の作業画像情報である。たとえば、ＣＰＵ２１１が、取得した現作業画像情報を用いて、所定の作業区間の作業の動き量３２１を算出する。具体的には、ＣＰＵ２１１が、画像中から作業者の手領域を、肌色領域を抽出することにより抽出し、逐次手領域の差分画像を求め、差分画像の総和を動き量３２１とする（たとえば、特開２００７−５２６０９を参照。）。
【００３７】
また、手領域に限定せず、たとえば、ＣＰＵ２１１が、画像上の人物領域を抽出して動き量３２１を求めてもよい。また、図示していないが、たとえば、作業者に加速度センサ、ジャイロ、グローブ等の動きを検知するためのセンサを取り付け、ＣＰＵ２１１が、該センサから動き量３２１を求めてもよい。また、図示していないが、たとえば、作業者の視線を検知するためのセンサ（赤外線カメラ２０２とＣＰＵ２１１等からなる視線検知装置等）を用い、視線の動きの総和を動き量３２１として使用してもよい。
【００３８】
つぎに、たとえば、ＣＰＵ２１１が、一作業区間の作業が正常であるか否かを判断する。具体的には、たとえば、ＣＰＵ２１１が、一作業区間において部品の取り出しを含む場合に、使用する部品の取り出しが行われたかどうかを、ピッキングセンサを用いることにより判定する。
【００３９】
また、たとえば、現作業画像情報の手領域の抽出結果により、ＣＰＵ２１１が、あらかじめ決められた基板上の場所を手が通過したことを正常作業の判定条件としてもよい。さらに、ＣＰＵ２１１が、あらかじめ決められた基板上の場所に手が一定時間滞在した場合に、作業が正常であると判定してもよい。また、たとえば、ＣＰＵ２１１が、部品装着判定をより高解像度な画像を用いて行うことにより、より厳密に行うようにすることもできる。
【００４０】
つぎに、たとえば、ＣＰＵ２１１が、判定部３０４の出力と、記憶装置に記憶された更新判定データを用いて、更新判定を行う。ここでは、更新判定データとは、作業指示動画情報３１０に関する動き量判定データ３１１や作業時間判定データ３１２である。
【００４１】
具体的には、たとえば、ＣＰＵ２１１が、作業時間判定データ３１２と、動き量判定データ３１１と、を記憶装置から取得する。具体的には、たとえば、ＣＰＵ２１１が、正常作業判定が真、かつ算出した作業時間３２２が作業時間判定データ３１２よりも短く、かつ算出した動き量３２１が動き量判定データ３１１よりも小さいか否かを判断する。
【００４２】
具体的には、たとえば、ＣＰＵ２１１が、正常作業判定が真、かつ算出した作業時間３２２が作業時間判定データ３１２よりも短く、かつ算出した動き量３２１が動き量判定データ３１１よりも小さいと判定した場合、更新判定を真とする。一方、たとえば、ＣＰＵ２１１が、正常作業判定が偽、または測定された作業時間３２２が保持されている作業時間判定データ３１２よりも長い、または算出した動き量３２１が動き量判定データ３１１よりも小さくないと判定した場合、更新判定を偽とする。
【００４３】
また、たとえば、ＣＰＵ２１１が、作業時間判定データ３１２および動き量判定データ３１１のそれぞれに対して係数を掛ける。たとえば、ＣＰＵ２１１が、係数が掛けられた作業時間判定データ３１２と算出した作業時間３２２を比較し、係数が掛けられた動き量判定データ３１１と算出した動き量３２１を比較してもよい。たとえば、作業時間判定データ３１２に掛ける係数を０．７、動き量判定データ３１１に掛ける係数を０．７とする。このようにそれぞれ１．０未満とすることで、過去の作業よりも改善の度合いが一定以上大きいときにのみ更新判定を真とすることができる。
【００４４】
つぎに、たとえば、ＣＰＵ２１１が、更新判定が真の場合、表示開始の時効情報と現作業画像情報の時刻情報に基づき、動画データを切り出す。たとえば、ＣＰＵ２１１が、作業指示動画情報３１０を更新する。たとえば、ＣＰＵ２１１が、算出した作業時間３２２を作業時間判定データ３１２に更新し、算出した動き量３２１を動き量判定データ３１１に更新する。
【００４５】
また、動画の切り出しについては判定部３０４の判定時刻をそのまま用いる他に、切り出しの先端および終端を一定時間延長することにより、作業指示時により見やすい動画を提供してもよい。
【００４６】
（実施の形態１にかかる作業支援装置２００の作業支援処理手順）
図６は、実施の形態１にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。まず、作業支援装置２００が、Ｎ＝１とし（ステップＳ６０１）、作業Ｎの作業指示をディスプレイ２０３に表示し（ステップＳ６０２）、表示時刻を出力する（ステップＳ６０３）。作業支援装置２００が、作業進捗判定処理を実行し（ステップＳ６０４）、作業品質判定処理を実行し（ステップＳ６０５）、更新判定処理を実行する（ステップＳ６０６）。
【００４７】
作業支援装置２００が、更新判定結果が真か否かを判断し（ステップＳ６０７）、更新判定結果が真であると判断した場合（ステップＳ６０７：Ｙｅｓ）、算出した作業時間３２２を作業時間判定データ３１２とし、算出した動き量３２１を動き量判定データ３１１として更新する（ステップＳ６０８）。作業支援装置２００が、作業指示動画情報３１０を作業Ｎでの一連の作業画像情報に更新し（ステップＳ６０９）、更新結果をディスプレイ２０３に表示する（ステップＳ６１０）。作業Ｎでの一連の作業画像情報は、現作業動画情報と同一である。作業支援装置２００が、Ｎ＝Ｎ＋１とし（ステップＳ６１１）、Ｎ≧総作業数であるか否かを判断する（ステップＳ６１２）。作業支援装置２００が、Ｎ≧総作業数でないと判断した場合（ステップＳ６１２：Ｎｏ）、ステップＳ６０２へ戻る。
【００４８】
ステップＳ６０７において、作業支援装置２００が、更新判定結果が真でないと判断した場合（ステップＳ６０７：Ｎｏ）、ステップＳ６１１へ移行する。ステップＳ６１２において、作業支援装置２００が、Ｎ≧総作業数であると判断した場合（ステップＳ６１２：Ｙｅｓ）、一連の処理を終了する。
【００４９】
図７は、図６で示した作業進捗判定処理（ステップＳ６０４）の詳細例を示すフローチャートである。まず、作業支援装置２００が、部品取り付け前の基板画像を取得し（ステップＳ７０１）、部品取り付け前の基板画像の特徴点を求める（ステップＳ７０２）。作業支援装置２００が、現作業画像情報を取得し（ステップＳ７０３）、現作業画像情報とのそれぞれについて特徴点を求め（ステップＳ７０４）、部品取り付け前の基板画像と現作業画像情報とのそれぞれの特徴点の対応を求める（ステップＳ７０５）。
【００５０】
作業支援装置２００が、求めた対応点の集まりから、部品取り付け前の基板画像を現作業画像情報へと射影する射影変換行列を用いて、現作業画像情報中の部品座標に変換する（ステップＳ７０６）。作業支援装置２００が、部品取り付け前の基板画像中の部品座標から、求めた射影変換行列を用いて現作業画像情報中の部品座標に変換する（ステップＳ７０７）。作業支援装置２００が、部品取り付け後の基板画像と射影変換行列とを積算し（ステップＳ７０８）、現作業画像情報と、積算後の画像と、現作業画像情報中の部品座標と、に基づいて相互相関係数を算出する（ステップＳ７０９）。
【００５１】
作業支援装置２００が、算出した相互相関係数≧しきい値であるか否かを判断し（ステップＳ７１０）、算出した相互相関係数≧しきい値でないと判断した場合（ステップＳ７１０：Ｎｏ）、ステップＳ７０３に戻る。作業支援装置２００が、算出した相互相関係数≧しきい値であると判断した場合（ステップＳ７１０：Ｙｅｓ）、部品装着済と判定し（ステップＳ７１１）、判定時刻を記録し（ステップＳ７１２）、ステップＳ６０５へ移行する。
【００５２】
図８は、図６で示した作業品質判定処理（ステップＳ６０５）の詳細例を示すフローチャートである。まず、作業支援装置２００が、作業Ｎの作業指示時刻と部品装着済の判定時刻とにより作業Ｎの作業時間３２２を算出し（ステップＳ８０１）、算出した作業時間３２２を出力する（ステップＳ８０２）。作業支援装置２００が、作業Ｎでの一連の作業画像情報から手領域を抽出し（ステップＳ８０３）、抽出結果を出力し（ステップＳ８０４）、差分画像を算出する（ステップＳ８０５）。
【００５３】
作業支援装置２００が、差分画像の総和を動き量３２１として算出し（ステップＳ８０６）、手領域の抽出結果において、基板上の特定の場所を手が通過したか否かを判断する（ステップＳ８０７）。作業支援装置２００が、手領域の抽出結果において、基板上の特定の場所を手が通過したと判断した場合（ステップＳ８０７：Ｙｅｓ）、真を出力し（ステップＳ８０８）、ステップＳ６０６へ移行する。作業支援装置２００が、手領域の抽出結果において、基板上の特定の場所を手が通過していないと判断した場合（ステップＳ８０７：Ｎｏ）、偽を出力し（ステップＳ８０９）、ステップＳ６０６へ移行する。
【００５４】
図９は、図６で示した更新判定処理（ステップＳ６０６）の詳細な一の例を示すフローチャートである。まず、作業支援装置２００が、正常作業判定が真か否かを判断し（ステップＳ９０１）、正常作業判定が真であると判断した場合（ステップＳ９０１：Ｙｅｓ）、算出した作業時間３２２が作業時間判定データ３１２未満であるか否かを判断する（ステップＳ９０２）。
【００５５】
作業支援装置２００が、算出した作業時間３２２が作業時間判定データ３１２未満であると判断した場合（ステップＳ９０２：Ｙｅｓ）、算出した動き量３２１が動き量判定データ３１１より小さいか否かを判断する（ステップＳ９０３）。作業支援装置２００が、算出した動き量３２１が動き量判定データ３１１より小さいと判断した場合（ステップＳ９０３：Ｙｅｓ）、更新判定結果を真とし（ステップＳ９０４）、ステップＳ６０７へ移行する。
【００５６】
ステップＳ９０１において、作業支援装置２００が、正常作業判定が真でないと判断した場合（ステップＳ９０１：Ｎｏ）、更新判定結果を偽とし（ステップＳ９０５）、ステップＳ６０７へ移行する。ステップＳ９０２において、作業支援装置２００が、算出した作業時間３２２が作業時間判定データ３１２未満でないと判断した場合（ステップＳ９０２：Ｎｏ）、ステップＳ９０５へ移行する。ステップＳ９０３において、作業支援装置２００が、算出した動き量３２１が動き量判定データ３１１以上であると判断した場合（ステップＳ９０３：Ｎｏ）、ステップＳ９０５へ移行する。
【００５７】
（実施の形態２）
実施の形態２では、現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報の作業時間や複数回分の作業動画情報での動き量を含めて更新判定するか否かを決定する例を示す。これにより、複数回分の作業時間や複数回分の動き量を判定に用いることで、作業者の習熟が安定したことを判断した後に、作業指示動画情報３１０を置き換えるようにすることができる。
【００５８】
現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報の作業時間と現作業動画情報３２０の作業時間については、作業時間蓄積データとして記憶装置に記憶されていることとする。現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報での動き量と現作業動画情報３２０の作業時間での動き量については、動き量蓄積データとして記憶装置に記憶されていることとする。現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報の正常作業判定の判定結果と、現作業動画情報３２０の正常作業判定の判定結果と、も記憶装置に記憶されていることとする。
【００５９】
たとえば、ＣＰＵ２１１が、現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報の正常作業判定の判定結果と、現作業動画情報３２０の正常作業判定の判定結果と、を記憶装置から取得する。たとえば、ＣＰＵ２１１が、作業時間蓄積データと動き量蓄積データを参照し、最新のものから複数回分の作業時間と動き量を取得する。たとえば、３回分などとしてもよい。たとえば、ＣＰＵ２１１が、最新のものから３回の正常作業判定が真である場合、取得した３回分の作業時間がすべて作業時間判定データ３１２未満であり、かつ取得した３回分の動き量がすべて動き量判定データ３１１より小さいか否かを判断する。
【００６０】
たとえば、ＣＰＵ２１１が、取得した３回分の作業時間がすべて作業時間判定データ３１２未満であり、かつ取得した３回分の動き量がすべて動き量判定データ３１１よりも小さい場合、更新判定を真とする。たとえば、ＣＰＵ２１１が、取得した３回分の作業時間のいずれかが作業時間判定データ３１２以上である、または取得した３回分の動き量のいずれかが動き量判定データ３１１以上である場合、更新判定を偽とする。
【００６１】
また、たとえば、ＣＰＵ２１１が、作業時間３２２蓄積データと動き量３２１蓄積データを参照し、最新のものから複数回分の作業時間３２２と動き量３２１を取得する。そして、たとえば、ＣＰＵ２１１が、それぞれの平均値と分散を算出する。たとえば、ＣＰＵ２１１が、平均値と更新判定データを比較すると共に、分散が別途設定された閾値よりも小さいときに更新判定を真とし、それ以外は偽とすることによっても、作業品質を判定してもよい。
【００６２】
また、たとえば、ＣＰＵ２１１が、最新のものから複数回分の作業時間３２２と動き量３２１を取得した場合、作業時間３２２および動き量３２１を最新のものほど大きくなるように重み付けして、平均値を求めることで、更新を判定してもよい。
【００６３】
（実施の形態２にかかる作業支援装置２００の作業支援処理手順）
つぎに、実施の形態２にかかる作業支援装置２００の作業支援処理手順について詳細に説明する。実施の形態２にかかる作業支援装置２００の作業支援処理手順と実施の形態１にかかる作業支援装置２００の作業支援処理手順とは、更新判定処理（ステップＳ６０６）が異なるため、ここでは、実施の形態２にかかる更新判定処理（ステップＳ６０６）について説明する。
【００６４】
図１０は、図６で示した更新判定処理（ステップＳ６０６）の詳細な他の例を示すフローチャートである。まず、作業支援装置２００が、作業Ｎでの作業判定結果と過去２回分の作業判定結果を取得し（ステップＳ１００１）、３回分の作業判定結果がすべて真であるか否かを判断する（ステップＳ１００２）。作業支援装置２００が、３回分の作業判定結果がすべて真であると判断した場合（ステップＳ１００２：Ｙｅｓ）、算出した作業時間３２２と作業Ｎでの過去２回分の作業時間３２２を取得する（ステップＳ１００３）。
【００６５】
作業支援装置２００が、３回分の作業時間３２２が、作業時間判定データ３１２未満であるか否かを判断する（ステップＳ１００４）。作業支援装置２００が、３回分の作業時間３２２が、作業時間判定データ３１２未満であると判断した場合（ステップＳ１００４：Ｙｅｓ）、算出した動き量３２１と作業Ｎでの過去２回分の動き量３２１を取得する（ステップＳ１００５）。作業支援装置２００が、３回分の動き量３２１がすべて動き量判定データ３１１より小さいか否かを判断する（ステップＳ１００６）。作業支援装置２００が、３回分の動き量３２１がすべて動き量判定データ３１１より小さいと判断した場合（ステップＳ１００６：Ｙｅｓ）、更新判定結果を真とする（ステップＳ１００７）。
【００６６】
ステップＳ１００２において、作業支援装置２００が、３回分の作業判定結果のうちいずれかが真でないと判断した場合（ステップＳ１００２：Ｎｏ）、更新判定結果を偽とし（ステップＳ１００８）、ステップＳ６０７へ移行する。ステップＳ１００４において、作業支援装置２００が、３回分の作業時間３２２のいずれかが作業時間判定データ３１２未満でないと判断した場合（ステップＳ１００４：Ｎｏ）、ステップＳ１００８へ移行する。ステップＳ１００６において、作業支援装置２００が、３回分の動き量３２１のいずれかが動き量判定データ３１１以上であると判断した場合（ステップＳ１００６：Ｎｏ）、ステップＳ１００８へ移行する。
【００６７】
（実施の形態３）
実施の形態３では、更新判定結果に応じて作業者に更新するか否かを判断させる例を示す。
【００６８】
たとえば、ＣＰＵ２１１が更新判定結果をディスプレイ２０３に表示させ、作業者がマウス２０４の操作によって更新の可否を指示する。たとえば、ＣＰＵ２１１が、更新の可否を受け付けると、算出した作業時間３２２を作業時間判定データ３１２とし、算出した動き量３２１を動き量判定データ３１１として更新する。たとえば、ＣＰＵ２１１が、作業指示動画情報３１０を作業Ｎでの一連の作業画像情報に更新する。
【００６９】
また、図示していないが、作業支援装置２００が押しボタンスイッチを有し、作業者が、該押しボタンスイッチを押下することにより、作業指示動画情報３１０の更新の可否を指示することとしてもよい。
【００７０】
図１１および図１２は、実施の形態３にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。まず、作業支援装置２００が、Ｎ＝１とし（ステップＳ１１０１）、作業Ｎの作業指示をディスプレイ２０３に表示し（ステップＳ１１０２）、表示時刻を出力する（ステップＳ１１０３）。作業支援装置２００が、作業進捗判定処理を実行し（ステップＳ１１０４）、作業品質判定処理を実行し（ステップＳ１１０５）、更新判定処理を実行する（ステップＳ１１０６）。
【００７１】
作業支援装置２００が、更新判定結果が真か否かを判断し（ステップＳ１１０７）、更新判定結果が偽であると判断した場合（ステップＳ１１０７：Ｎｏ）、ステップＳ１１１５へ移行する。作業支援装置２００が、更新判定結果が真であると判断した場合（ステップＳ１１０７：Ｙｅｓ）、算出した作業時間３２２と算出した動き量３２１と作業Ｎでの連続する作業画像情報とを関連付けて出力する（ステップＳ１１０８）。作業支援装置２００が、判定結果をディスプレイ２０３に表示し（ステップＳ１１０９）、作業者からの指示を受け付けたか否かを判断する（ステップＳ１１１０）。
【００７２】
作業支援装置２００が、作業者からの指示を受け付けていないと判断した場合（ステップＳ１１１０：Ｎｏ）、ステップＳ１１１０へ戻る。作業支援装置２００が、作業者からの指示を受け付けたと判断した場合（ステップＳ１１１０：Ｙｅｓ）、指示が更新を示すか否かを判断する（ステップＳ１１１１）。作業支援装置２００が、指示が更新を示していないと判断した場合（ステップＳ１１１１：Ｎｏ）、ステップ１１１５へ移行する。
【００７３】
作業支援装置２００が、指示が更新を示していると判断した場合（ステップＳ１１１１：Ｙｅｓ）、算出した作業時間３２２を作業時間判定データ３１２とし、算出した動き量３２１を動き量判定データ３１１として更新する（ステップＳ１１１２）。作業支援装置２００が、作業指示動画情報３１０を作業Ｎでの一連の作業画像情報に更新し（ステップＳ１１１３）、更新結果をディスプレイ２０３に表示する（ステップＳ１１１４）。
作業支援装置２００が、Ｎ＝Ｎ＋１とし（ステップＳ１１１５）、Ｎ≧総作業数であるか否かを判断する（ステップＳ１１１６）。
【００７４】
作業支援装置２００が、Ｎ≧総作業数でないと判断した場合（ステップＳ１１１６：Ｎｏ）、ステップＳ１１０２へ戻る。作業支援装置２００が、Ｎ≧総作業数であると判断した場合（ステップＳ１１１６：Ｙｅｓ）、一連の処理を終了する。
【００７５】
また、ステップＳ１１０４、ステップＳ１１０５、ステップＳ１１０６は、それぞれステップＳ６０４、ステップＳ６０５、ステップＳ６０６と同一の処理であるため、詳細な説明を省略する。
【００７６】
（実施の形態４）
実施の形態４では、骨格の動きを検出し、骨格動きデータ１３２１に応じて作業指示動画情報を生成する例を示す。
【００７７】
（作業支援装置２００の機能の他の例を示すブロック図）
図１３は、作業支援装置２００の機能の他の例を示すブロック図である。作業支援装置２００は、記憶部１３０１と、取得部１３０２と、検出部１３０３と、算出部１３０４と、判定部１３０５と、生成部１３０６と、更新部１３０７と、出力部１３０８と、を有している。
【００７８】
取得部１３０２〜出力部１３０８は、たとえば、作業支援プログラムにコーディングされている。作業支援プログラムは、ＲＯＭ２１２、磁気ディスク２１５、光ディスク２１７などの記憶装置に記憶されている。ＣＰＵ２１１が、作業支援プログラムを該記憶装置から読み出し、該作業支援プログラムにコーディングされている処理を実行する。これにより、取得部１３０２〜出力部１３０８の処理が実行される。
【００７９】
ここで、記憶部１３０１と、取得部１３０２と、判定部１３０５と、出力部１３０８とは、図３で示した記憶部３０１と、取得部３０２と、判定部３０４と、出力部３０６と同一処理であるため、詳細な説明を省略する。
【００８０】
検出部１３０３は、作業者の骨格の動きを検出し、骨格動きデータ１３２１を生成する。算出部１３０４は、検出部１３０３により検出された骨格動きデータ１３２１に基づいて現作業動画情報３２０での動き量１３２２を算出する。生成部１３０６は、判定部１３０５による判定結果に応じて、検出部１３０３により検出された骨格動きデータ１３２１に基づいて一連の作業画像情報を生成する。更新部１３０７は、作業指示動画情報１３１８を、生成部１３０６により生成された一連の作業画像情報に更新する。
【００８１】
図示していないが、作業者に取り付けられたジャイロ、加速度センサが、作業者の骨格の動きを検出する（たとえば、「バーチャルリアリティ学、日本バーチャルリアリティ学会編、３．２章 入力インタフェース」を参照。）。検出された骨格動きデータ１３２１は、ＲＡＭ２１３、磁気ディスク２１５、光ディスク２１７などの記憶装置に記憶される。ジャイロ、加速度センサなどを用いる機械式モーションキャプチャの他に、磁気センサを用いる方法、作業画像情報を用いる方法を独立、あるいは組み合わせて使用することもできる。
【００８２】
また、実施の形態１で示した動き量１３２２の算出の他に、たとえば、ＣＰＵ２１１が、一定時間内での骨格動き量１３２２が一定量以上となるときに、該作業が作業指示動画とならないように動き量１３２２にペナルティとして加算を行ってもよい。作業指示動画内の動きが早すぎると作業者が理解しにくくなる場合があるが、動き量１３２２が一定量以上であれば、作業指示動画として使用されないようにすることができる。
【００８３】
つぎに、たとえば、ＣＰＵ２１１が、部品装着済の判定時刻に基づき、検出された骨格動きデータ１３２１を取得し、人体モデルを駆動することによりＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）による作業指示動画情報１３１８を生成する。視点は作業者から見たもの、横から見たもの、などの任意の視点の作業指示動画情報を生成することができる。
【００８４】
また、たとえば、ＣＰＵ２１１が、骨格動きデータ１３２１が一定時間以上、一定の動き量１３２２以下であるときは一定時間を超える部分の動きデータを削除する。これにより、無駄な時間が削除された作業指示動画情報１３１８が生成される。
【００８５】
また、たとえば、ＣＰＵ２１１が、骨格動きデータ１３２１が一定時間の間に一定の動きを上回る場合、該区間の骨格動きデータ１３２１を時間軸方向に引き延ばすことができる。これにより、作業指示動画の動きが速すぎて作業者が理解しにくくなることを防止することができる。
【００８６】
また、たとえば、ＣＰＵ２１１が、検出された骨格動きデータ１３２１に基づいてポリゴンデータを生成し、３次元である作業指示動画情報１３１８を生成してもよい。また、たとえば、ＣＰＵ２１１が、検出した骨格動きデータ１３２１をそのまま使用する他に、作業者の手が止まっている箇所を検出し、該箇所を作業指示動画情報１３１８の作成から除外するといった、冗長部分の削除を行ってもよい。
【００８７】
また、３Ｄ変換を行うことにより、たとえば、ＣＰＵ２１１が、作業指示動画情報１３１８の作業ステップと作業ステップの間の手の動きが連続するように補完することができる。具体的には、たとえば、ＣＰＵ２１１が、対応する骨格を線型に補完する。これにより、スムーズな作業指示動画情報１３１８を提供することができる。
【００８８】
（実施の形態４にかかる作業支援装置２００による作業支援処理手順）
図１４は、実施の形態４にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。まず、作業支援装置２００が、Ｎ＝１とし（ステップＳ１４０１）、作業Ｎの作業指示をディスプレイ２０３に表示し（ステップＳ１４０２）、表示時刻を記録する（ステップＳ１４０３）。作業支援装置２００が、作業進捗判定処理を実行し（ステップＳ１４０４）、作業品質判定処理を実行し（ステップＳ１４０５）、更新判定処理を実行する（ステップＳ１４０６）。
【００８９】
作業支援装置２００が、更新判定結果が真か否かを判断し（ステップＳ１４０７）、更新判定結果が真であると判断した場合（ステップＳ１４０７：Ｙｅｓ）、算出した作業時間を作業時間判定データ３１２とし、算出した動き量１３２２を動き量判定データ１３１１として更新する（ステップＳ１４０８）。作業支援装置２００が、検出された骨格動きデータ１３２１を取得し（ステップＳ１４０９）、人体モデルを駆動することによりＣＧデータを生成する（ステップＳ１４１０）。
【００９０】
作業支援装置２００が、作業指示動画情報１３１８を生成したＣＧデータに更新し（ステップＳ１４１１）、Ｎ＝Ｎ＋１とし（ステップＳ１４１２）、Ｎ≧総作業数であるか否かを判断する（ステップＳ１４１３）。作業支援装置２００が、Ｎ≧総作業数でないと判断した場合（ステップＳ１４１３：Ｎｏ）、ステップＳ１４０２へ戻る。ステップＳ１４０７において、更新判定結果が真でないと判断した場合（ステップＳ１４０７：Ｎｏ）、ステップＳ１４１２へ移行する。ステップＳ１４１３において、作業支援装置２００が、Ｎ≧総作業数であると判断した場合（ステップＳ１４１３：Ｙｅｓ）、一連の処理を終了する。
【００９１】
また、ステップＳ１４０４、ステップＳ１４０５、ステップＳ１４０６は、それぞれステップＳ６０４、ステップＳ６０５、ステップＳ６０６と同一の処理であるため、詳細な説明を省略する。
【００９２】
また、実施の形態１〜４では１作業者のみに着目しているが、複数の作業者で作業指示動画を共有していてもよい。
【００９３】
図１５は、複数の作業者で作業指示動画情報を共有している例を示す説明図である。図１５では、一の作業者の作業場にはＰＣ２０１＿１と、カメラ２０２＿１と、ディスプレイ２０３＿１と、マウス２０４＿１と、が設置されている。他の作業者の作業場にはＰＣ２０１＿２と、カメラ２０２＿２と、ディスプレイ２０３＿２と、マウス２０４＿２と、が設置されている。
【００９４】
たとえば、作業指示動画情報３１０と作業時間判定データ３１２と動き量判定データ３１１とをサーバ１５００の記憶装置に記憶させ、各作業者の作業場に設置されたＰＣ２０１＿１やＰＣ２０１＿２で上述の実施の形態１〜４に示したような処理を行ってもよい。また、各作業者の作業場に設置されたＰＣ２０１＿１やＰＣ２０１＿２は、撮影された動画像を記憶し、該動画像をサーバ１５００へ送信する。そして、サーバ１５００が、上述の実施の形態１〜４に示したような処理を行ってもよい。
【００９５】
以上説明したように、作業支援装置、および作業支援プログラムによれば、手本となる第１の一連の作業画像情報とカメラから取得された第２の一連の作業画像情報とを比較する。これにより、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。したがって、作業者の習熟度に応じて作業指示動画情報を継続的に変更することができる。さらに、偶発した作業の改善を逃すことなく再現させることができる。
【００９６】
また、第２の一連の作業画像情報の動き量が閾値未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。すなわち、作業者の作業量によって、第２の一連の作業画像情報の撮影時の作業が良いか否かを判定することができる。したがって、作業量の少ない作業手順を見本の作業指示動画情報とすることができる。
【００９７】
また、第２の一連の作業画像情報の動き量が第１の一連の作業画像情報の動き量未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。すなわち、作業者の作業量によって、以前の作業よりも改善が見られたかを判定することができる。したがって、作業量の少ない作業手順を見本の作業指示動画情報とすることができる。
【００９８】
また、第２の一連の作業画像情報での動き量が第１の一連の作業画像情報での動き量に所定係数を掛けた値未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。これにより、以前の作業よりも改善の度合いが一定以上大きいときにのみ更新判定を真とすることができる。したがって、作業量の少ない作業手順を見本の作業指示動画情報とすることができる。
【００９９】
また、第２の一連の作業画像情報の作業時間が所定時間未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。すなわち、作業者の作業時間によって、第２の一連の作業画像情報の撮影時の作業が良いか否かを判定することができる。したがって、作業時間の短い作業手順を見本の作業指示動画情報とすることができる。
【０１００】
また、第２の一連の作業画像情報の作業時間が第１の一連の作業画像情報の作業時間未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。すなわち、作業者の作業量によって、以前の作業よりも改善が見られたかを判定することができる。したがって、作業時間の短い作業手順を見本の作業指示動画情報とすることができる。
【０１０１】
また、第２の一連の作業画像情報での作業時間が第１の一連の作業画像情報での作業時間に所定係数を掛けた値未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。これにより、以前の作業よりも改善の度合いが一定以上大きいときにのみ更新判定を真とすることができる。したがって、作業時間の短い作業手順を見本の作業指示動画情報とすることができる。
【０１０２】
また、手本となる第１の一連の作業画像情報とカメラから取得された第２の一連の作業画像情報とを比較する。さらに、第１の一連の作業画像情報と、第２の一連の作業画像情報での撮影時より前に撮影された第３の一連の作業画像情報とを比較する。これにより、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業と第２の一連の作業画像情報の撮影時の作業との良否を判定する。判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。したがって、継続して良となっていれば、作業者が作業を習熟していると推測でき、作業を習熟できたころの手順を手本とすることができる。
【０１０３】
なお、本実施の形態で説明した作業支援方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本作業支援プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本作業支援プログラムは、インターネット等のネットワークを介して配布してもよい。
【０１０４】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０１０５】
（付記１）一作業区間に関する第１の一連の作業画像情報を記憶する記憶部と、
前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得部と、
前記記憶部に記憶された第１の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定部と、
前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新部と、
前記更新部による更新結果を出力する出力部と、
を備えることを特徴とする作業支援装置。
【０１０６】
（付記２）前記取得部により取得された第２の一連の作業画像情報での動き量を算出する算出部を備え、
前記判定部は、
前記算出部により算出された前記第２の一連の作業画像情報での動き量が閾値未満であるか否かに基づいて、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、
前記更新部は、
前記判定部により前記第２の一連の作業画像情報での動き量が前記閾値未満であると判定された場合、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする付記１に記載の作業支援装置。
【０１０７】
（付記３）前記算出部により算出された前記第２の一連の作業画像情報での動き量が前記閾値未満である場合に、前記第１の一連の作業画像情報の撮影時の作業に対して前記第２の一連の作業画像情報の撮影時の作業が良くなったと判定することを特徴とする付記２に記載の作業支援装置。
【０１０８】
（付記４）前記閾値が、前記第１の一連の作業画像情報での動き量であることを特徴とする付記２または３に記載の作業支援装置。
【０１０９】
（付記５）前記閾値が、前記第１の一連の作業画像情報での動き量に所定係数を掛けた値であることを特徴とする付記２または３に記載の作業支援装置。
【０１１０】
（付記６）作業時間を算出する算出部を備え、
前記取得部は、
前記第２の一連の作業画像情報の作業画像情報ごとの作業時刻を取得し、
前記算出部は、
前記第２の一連の作業画像情報の作業画像情報ごとの作業時刻に基づいて前記第２の一連の作業画像情報の撮影時の作業時間を算出し、
前記判定部は、
前記算出部により算出された前記第２の一連の作業画像情報での作業時間が所定時間未満であるか否かに基づいて、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、
前記更新部は、
前記判定部により前記第２の一連の作業画像情報での作業時間が前記所定時間未満であると判定された場合、前記表示可能な一連の作業画像情報を前記取得された一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする付記１に記載の作業支援装置。
【０１１１】
（付記７）前記算出部により算出された前記第２の一連の作業画像情報での作業時間が所定時間未満である場合に、前記第１の一連の作業画像情報の撮影時の作業に対して前記第２の一連の作業画像情報の撮影時の作業が良くなったと判定することを特徴とする付記６に記載の作業支援装置。
【０１１２】
（付記８）前記所定時間が、前記第１の一連の作業画像情報の撮影時の作業時間であることを特徴とする付記６または７に記載の作業支援装置。
【０１１３】
（付記９）前記所定時間が、前記第１の一連の作業画像情報の撮影時の作業時間に所定係数掛けた値であることを特徴とする付記６または７に記載の作業支援装置。
【０１１４】
（付記１０）前記記憶部が、前記第２の一連の作業画像情報よりも前に撮影された前記一作業区間に関する第３の一連の作業画像情報を記憶し、
前記判定部は、前記記憶部に記憶された第１の一連の作業画像情報および前記記憶部に記憶された第３の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する、前記第２の一連の作業画像情報の撮影時の作業と前記第３の一連の作業画像情報の撮影時の作業との良否を判定し、
前記更新部は、
前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする付記１に記載の作業支援装置。
【０１１５】
（付記１１）前記出力部は、
前記更新部による更新結果をディスプレイに表示することを特徴とする付記１乃至９のいずれか一つに記載の作業支援装置。
【０１１６】
（付記１２）一作業区間に関する第１の一連の作業画像情報を記憶する記憶装置にアクセス可能なコンピュータに、
前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得処理と、
前記記憶装置に記憶された第１の一連の作業画像情報と、前記取得処理により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定処理と、
前記判定処理による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新処理と、
前記更新処理による更新結果を出力する出力処理と、
を実行させることを特徴とする作業支援プログラム。
【符号の説明】
【０１１７】
２００ 作業支援装置
２０２ カメラ
２０３ ディスプレイ
３０１ 記憶部
３０２ 取得部
３０３ 算出部
３０４ 判定部
３０５ 更新部
３０６ 出力部
【技術分野】
【０００１】
本発明は、作業者の作業を支援する作業支援装置、および作業支援プログラムに関する。
【背景技術】
【０００２】
従来から工場の生産現場において、作業者は図面により指示される作業手順にしたがって組立作業を行っている。また、作業者にわかりやすい指示を行うために、あらかじめ組立工程を動画として撮影しておき、組立作業時に該動画をモニタに表示するという方法も知られている（たとえば、下記特許文献１〜３参照。）。動画を用いて作業指示を行うことにより、複雑な作業をわかりやすく作業者に指示することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１６６６８１号公報
【特許文献２】特開２００９−３７３９２号公報
【特許文献３】国際公開第２００６／０１６７１６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、作業者が作業に習熟するにつれ、当初に作成した動画情報の作業指示よりも効率の良い組立方法に気付き、作業指示の改善を行うことは、度々起こることである。従来技術では、動画情報の撮影を最初からやり直して動画情報を置き換えるため、どの程度習熟されたら動画情報の撮影をやり直すかが不明確であり、該撮影時に改善された作業を行えるとは限らないという問題点がある。
【０００５】
本発明は、上述した従来技術による問題点を解消するため、作業者の習熟度に応じて手本となる動画情報を継続的に変更することができる作業支援装置、および作業支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するため、本発明の一の側面によれば、一作業区間に関する第１の一連の作業画像情報を記憶し、前記一作業区間に関する第２の一連の作業画像情報をカメラから取得し、前記第１の一連の作業画像情報と、取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、更新結果を出力する作業支援装置、および作業支援プログラムが提案される。
【発明の効果】
【０００７】
本発明の一側面によれば、作業者の習熟度に応じて手本となる動画情報を継続的に変更することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の一の実施例を示す説明図である。
【図２】図２は、作業支援装置のハードウェア例を示すブロック図である。
【図３】図３は、作業支援装置２００の機能の一の例を示すブロック図である。
【図４】図４は、作業指示書の一例を示す説明図である。
【図５】図５は、特徴点の対応例を示す説明図である。
【図６】図６は、実施の形態１にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。
【図７】図７は、図６で示した作業進捗判定処理（ステップＳ６０４）の詳細例を示すフローチャートである。
【図８】図８は、図６で示した作業品質判定処理（ステップＳ６０５）の詳細例を示すフローチャートである。
【図９】図９は、図６で示した更新判定処理（ステップＳ６０６）の詳細な一の例を示すフローチャートである。
【図１０】図１０は、図６で示した更新判定処理（ステップＳ６０６）の詳細な他の例を示すフローチャートである。
【図１１】図１１は、実施の形態３にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャート（その１）である。
【図１２】図１２は、実施の形態３にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャート（その２）である。
【図１３】図１３は、作業支援装置２００の機能の他の例を示すブロック図である。
【図１４】図１４は、実施の形態４にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。
【図１５】図１５は、複数の作業者で作業指示動画情報を共有している例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、本発明にかかる作業支援装置、および作業支援プログラムの実施の形態を詳細に説明する。
【００１０】
図１は、本発明の一の実施例を示す説明図である。図１では、一作業区間に関する第１の一連の作業画像情報が記憶装置に記憶されている。たとえば、作業支援装置が、（１）一作業区間に関する第２の一連の作業画像情報をカメラから取得する。たとえば、作業支援装置が、（２）第１の一連の作業画像情報と、取得した第２の一連の作業画像情報と、を比較することにより、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。
【００１１】
たとえば、作業支援装置が、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも良くなったと判定した場合、（３）判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。たとえば、作業支援装置が、（４）更新結果をディスプレイに出力する。
【００１２】
ここでは、第１の一連の作業画像情報が良い作業例である。そのため、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも良くなったと判断した場合に第１の一連の作業画像情報を第２の一連の作業画像情報に更新している。たとえば、第１の一連の作業画像情報が悪い作業例であれば、第２の一連の作業画像情報の撮影時の作業が、第１の一連の作業画像情報の撮影時の作業よりも悪くなったと判断した場合に第１の一連の作業画像情報を第２の一連の作業画像情報に更新してもよい。
【００１３】
（作業支援装置のハードウェア例）
図２は、作業支援装置のハードウェア例を示すブロック図である。図２において、作業支援装置２００は、カメラ２０２と、ＰＣ２０１（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）と、ディスプレイ２０３と、マウス２０４と、を有している。カメラ２０２と、ディスプレイ２０３と、マウス２０４とは、ＰＣ２０１を介して接続されている。
【００１４】
ディスプレイ２０３は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ２０３は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。カメラ２０２は、作業者による作業の動画像を撮影する。ここで、動画像は一連の画像情報である。動画像の画像情報ごとに撮影時刻を関連付けてＰＣ２０１へ送信する。
【００１５】
マウス２０４は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【００１６】
ＰＣ２０１は、ＣＰＵ２１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ２１２（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ２１３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、磁気ディスクドライブ２１４と、磁気ディスク２１５と、光ディスクドライブ２１６と、光ディスク２１７と、Ｉ／Ｆ２１８（Ｉｎｔｅｒｆａｃｅ）と、を有している。また、各部はバス２２０によってそれぞれ接続されている。
【００１７】
ここで、ＣＰＵ２１１は、作業支援装置２００の全体の制御を司る。ＲＯＭ２１２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２１３は、ＣＰＵ２１１のワークエリアとして使用される。磁気ディスクドライブ２１４は、ＣＰＵ２１１の制御にしたがって磁気ディスク２１５に対するデータのリード／ライトを制御する。磁気ディスク２１５は、磁気ディスクドライブ２１４の制御で書き込まれたデータを記憶する。
【００１８】
光ディスクドライブ２１６は、ＣＰＵ２１１の制御にしたがって光ディスク２１７に対するデータのリード／ライトを制御する。光ディスク２１７は、光ディスクドライブ２１６の制御で書き込まれたデータを記憶したり、光ディスク２１７に記憶されたデータをコンピュータに読み取らせたりする。
【００１９】
Ｉ／Ｆ２１８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２１９に接続され、該ネットワーク２１９を介して他の装置に接続される。そして、Ｉ／Ｆ２１８は、ネットワーク２１９と内部のインタフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２１８には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
【００２０】
（作業支援装置２００の機能の一の例を示すブロック図）
図３は、作業支援装置２００の機能の一の例を示すブロック図である。作業支援装置２００は、記憶部３０１と、取得部３０２と、算出部３０３と、判定部３０４と、更新部３０５と、出力部３０６と、を有している。記憶部３０１は、具体的には、たとえば、ＲＡＭ２１３、磁気ディスク２１５、光ディスク２１７などの記憶装置である。
【００２１】
取得部３０２〜出力部３０６は、たとえば、作業支援プログラムにコーディングされている。作業支援プログラムは、ＲＯＭ２１２、磁気ディスク２１５、光ディスク２１７などの記憶装置に記憶されている。ＣＰＵ２１１が、作業支援プログラムを該記憶装置から読み出し、該作業支援プログラムにコーディングされている処理を実行する。これにより、取得部３０２〜出力部３０６の処理が実行される。
【００２２】
ここで、記憶部３０１は、一作業区間に関する第１の一連の作業画像情報である作業指示動画情報３１０と、動き量判定データ３１１と、作業時間判定データ３１２と、である。動き量判定データ３１１は、作業指示動画情報３１０での動き量３２１である。作業時間判定データ３１２は、作業指示動画情報３１０での作業時間３２２である。
【００２３】
取得部３０２は、一作業区間に関する第２の一連の作業画像情報である現作業動画情報３２０をカメラ２０２から取得する。判定部３０４は、記憶部３０１に記憶された作業指示動画情報３１０と、取得部３０２により取得された現作業動画情報３２０と、を比較することにより、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否を判定する。更新部３０５は、判定部３０４による判定結果に応じて、作業指示動画情報３１０を現作業動画情報３２０に更新する。出力部３０６は、更新部３０５による更新結果を出力する。
【００２４】
また、算出部３０３は、取得部３０２により取得された現作業動画情報３２０での動き量３２１を算出する。判定部３０４は、算出部３０３により算出された現作業動画情報３２０での動き量３２１が閾値未満であるか否かに基づいて、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否を判定する。ここでは、たとえば、閾値は、作業指示動画情報３１０での動き量３２１や作業指示動画情報３１０での動き量３２１に所定計数を掛けた値である。所定計数は、たとえば、１未満の値である。更新部３０５は、判定部３０４により現作業動画情報３２０での動き量３２１が閾値未満であると判定された場合、作業指示動画情報３１０を現作業動画情報３２０に更新する。出力部３０６は、更新部３０５による更新結果を出力する。
【００２５】
また、取得部３０２は、現作業動画情報３２０の作業画像情報ごとの作業時刻を取得する。算出部３０３は、現作業動画情報３２０の作業画像情報ごとの作業時刻に基づいて現作業動画情報３２０の撮影時の作業時間３２２を算出する。
【００２６】
判定部３０４は、算出部３０３により算出された現作業動画情報３２０での作業時間３２２が所定時間未満であるか否かに基づいて、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否を判定する。ここでは、たとえば、所定時間が、作業指示動画情報３１０の撮影時の作業時間３２２である。または、たとえば、所定時間が、作業指示動画情報３１０の撮影時の作業時間３２２に所定係数掛けた値である。
【００２７】
更新部３０５は、判定部３０４により現作業動画情報３２０での作業時間３２２が所定時間未満であると判定された場合、表示可能な一連の作業画像情報を取得された一連の作業画像情報に更新する。出力部３０６は、更新部３０５による更新結果を出力する。
【００２８】
以上を踏まえて実施の形態１〜３を用いて詳細に説明する。実施の形態１では、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否を動き量３２１と作業時間３２２に基づいて判定する例を示す。
【００２９】
実施の形態２では、複数回分の作業指示動画情報３１０での作業時間３２２と動き量３２１によって更新判定するか否かを決定する例を示す。
【００３０】
実施の形態３では、作業指示動画情報３１０の撮影時の作業に対する現作業動画情報３２０の撮影時の作業の良否判定結果を出力し、作業指示動画情報３１０を現作業動画情報３２０に更新するか否かを作業者に決定させる例を示す。
【００３１】
（実施の形態１）
図４は、作業指示書の一例を示す説明図である。作業指示書４００では、基板の開口部にスペーサを７個挿入させるよう記述されている。作業指示書４００には、特に取り付け順序は示されていない。すなわち、取り付け順序により、作業時間３２２が短くなり、作業者の手間が省ける場合がある。
【００３２】
まず、たとえば、ＣＰＵ２１１が、作業指示を表示し、作業表示の時刻情報を出力する。たとえば、ＣＰＵ２１１が、カメラ２０２から取得した作業画像情報を作業の時刻情報と共に逐次記録する。つぎに、たとえば、ＣＰＵ２１１が、カメラ２０２から取得した画像を用いて作業の進捗の判定および該判定の時刻の記録を行う。ここでは、ある部品の取り付け開始から完了までの作業を一つの所定の作業区間とし、該所定の作業区間の作業が完了したか否かの判定の詳細について説明する。たとえば、ＣＰＵ２１１が、（１）事前に用意された部品取り付け前の基板画像情報と、作業画像情報と、のそれぞれについて特徴点を求める。たとえば、ＣＰＵ２１１が、（２）部品取り付け前の基板画像情報と作業画像情報とのそれぞれの特徴点の対応を求める。
【００３３】
図５は、特徴点の対応例を示す説明図である。図５では基板画像５０１の特徴点と作業画像情報５０２の特徴点とが線で結ばれている。結ばれた特徴点を対応点と称する。たとえば、ＣＰＵ２１１が、部品の装着が行われたか否かを判定する（たとえば、「Ｉｒｙｎａ Ｓｋｒｙｏｎｙｋ ａｎｄ Ｄａｖｉｄ Ｇ． Ｌｏｗｅ，Ｓｃｅｎｅ “Ｍｏｄｅｌｌｉｎｇ，Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｉｎｖａｒｉａｎｔ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ”」を参照。）。具体的には、たとえば、ＣＰＵ２１１が、（３）（２）で求めた対応点の集まりから、部品取り付け前の基板画像５０１を作業画像情報５０２へと射影する射影変換行列を求める。たとえば、ＣＰＵ２１１が、（４）部品取り付け前の基板画像５０１中の部品座標から、（３）で求めた射影変換行列を用いて作業画像情報５０２中の部品座標に変換する。
【００３４】
たとえば、ＣＰＵ２１１が、（５）部品取り付け後の基板画像に（３）で求めた射影変換行列を掛ける。たとえば、ＣＰＵ２１１が、（６）作業画像情報と、（５）の掛け算結果と、（４）で求めた部品領域の画像データの相互相関係数を求める。たとえば、ＣＰＵ２１１が、（７）算出した相互相関係数が、閾値以上であれば、部品の装着が行われたと判定する。
【００３５】
また、たとえば、ＣＰＵ２１１が、作業が組み立て作業の場合、組み立て対象である複数の部品と該組み立て作業に使用される１以上の工具とのうちの少なくともいずれかが表されている画像を撮影する。たとえば、ＣＰＵ２１１が、作業指示に対応する工程の作業が完了したことを、画像に基づいて検出してもよい（たとえば、特許文献２を参照。）。
【００３６】
たとえば、ＣＰＵ２１１が、作業表示の時刻情報と現作業動画情報３２０の現作業画像情報の時刻情報とに基づいて作業時間３２２を算出する。現作業動画情報３２０の現作業画像情報とは、現作業動画情報３２０を取得時に含まれる作業画像情報のうちの時刻が最新の作業画像情報である。たとえば、ＣＰＵ２１１が、取得した現作業画像情報を用いて、所定の作業区間の作業の動き量３２１を算出する。具体的には、ＣＰＵ２１１が、画像中から作業者の手領域を、肌色領域を抽出することにより抽出し、逐次手領域の差分画像を求め、差分画像の総和を動き量３２１とする（たとえば、特開２００７−５２６０９を参照。）。
【００３７】
また、手領域に限定せず、たとえば、ＣＰＵ２１１が、画像上の人物領域を抽出して動き量３２１を求めてもよい。また、図示していないが、たとえば、作業者に加速度センサ、ジャイロ、グローブ等の動きを検知するためのセンサを取り付け、ＣＰＵ２１１が、該センサから動き量３２１を求めてもよい。また、図示していないが、たとえば、作業者の視線を検知するためのセンサ（赤外線カメラ２０２とＣＰＵ２１１等からなる視線検知装置等）を用い、視線の動きの総和を動き量３２１として使用してもよい。
【００３８】
つぎに、たとえば、ＣＰＵ２１１が、一作業区間の作業が正常であるか否かを判断する。具体的には、たとえば、ＣＰＵ２１１が、一作業区間において部品の取り出しを含む場合に、使用する部品の取り出しが行われたかどうかを、ピッキングセンサを用いることにより判定する。
【００３９】
また、たとえば、現作業画像情報の手領域の抽出結果により、ＣＰＵ２１１が、あらかじめ決められた基板上の場所を手が通過したことを正常作業の判定条件としてもよい。さらに、ＣＰＵ２１１が、あらかじめ決められた基板上の場所に手が一定時間滞在した場合に、作業が正常であると判定してもよい。また、たとえば、ＣＰＵ２１１が、部品装着判定をより高解像度な画像を用いて行うことにより、より厳密に行うようにすることもできる。
【００４０】
つぎに、たとえば、ＣＰＵ２１１が、判定部３０４の出力と、記憶装置に記憶された更新判定データを用いて、更新判定を行う。ここでは、更新判定データとは、作業指示動画情報３１０に関する動き量判定データ３１１や作業時間判定データ３１２である。
【００４１】
具体的には、たとえば、ＣＰＵ２１１が、作業時間判定データ３１２と、動き量判定データ３１１と、を記憶装置から取得する。具体的には、たとえば、ＣＰＵ２１１が、正常作業判定が真、かつ算出した作業時間３２２が作業時間判定データ３１２よりも短く、かつ算出した動き量３２１が動き量判定データ３１１よりも小さいか否かを判断する。
【００４２】
具体的には、たとえば、ＣＰＵ２１１が、正常作業判定が真、かつ算出した作業時間３２２が作業時間判定データ３１２よりも短く、かつ算出した動き量３２１が動き量判定データ３１１よりも小さいと判定した場合、更新判定を真とする。一方、たとえば、ＣＰＵ２１１が、正常作業判定が偽、または測定された作業時間３２２が保持されている作業時間判定データ３１２よりも長い、または算出した動き量３２１が動き量判定データ３１１よりも小さくないと判定した場合、更新判定を偽とする。
【００４３】
また、たとえば、ＣＰＵ２１１が、作業時間判定データ３１２および動き量判定データ３１１のそれぞれに対して係数を掛ける。たとえば、ＣＰＵ２１１が、係数が掛けられた作業時間判定データ３１２と算出した作業時間３２２を比較し、係数が掛けられた動き量判定データ３１１と算出した動き量３２１を比較してもよい。たとえば、作業時間判定データ３１２に掛ける係数を０．７、動き量判定データ３１１に掛ける係数を０．７とする。このようにそれぞれ１．０未満とすることで、過去の作業よりも改善の度合いが一定以上大きいときにのみ更新判定を真とすることができる。
【００４４】
つぎに、たとえば、ＣＰＵ２１１が、更新判定が真の場合、表示開始の時効情報と現作業画像情報の時刻情報に基づき、動画データを切り出す。たとえば、ＣＰＵ２１１が、作業指示動画情報３１０を更新する。たとえば、ＣＰＵ２１１が、算出した作業時間３２２を作業時間判定データ３１２に更新し、算出した動き量３２１を動き量判定データ３１１に更新する。
【００４５】
また、動画の切り出しについては判定部３０４の判定時刻をそのまま用いる他に、切り出しの先端および終端を一定時間延長することにより、作業指示時により見やすい動画を提供してもよい。
【００４６】
（実施の形態１にかかる作業支援装置２００の作業支援処理手順）
図６は、実施の形態１にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。まず、作業支援装置２００が、Ｎ＝１とし（ステップＳ６０１）、作業Ｎの作業指示をディスプレイ２０３に表示し（ステップＳ６０２）、表示時刻を出力する（ステップＳ６０３）。作業支援装置２００が、作業進捗判定処理を実行し（ステップＳ６０４）、作業品質判定処理を実行し（ステップＳ６０５）、更新判定処理を実行する（ステップＳ６０６）。
【００４７】
作業支援装置２００が、更新判定結果が真か否かを判断し（ステップＳ６０７）、更新判定結果が真であると判断した場合（ステップＳ６０７：Ｙｅｓ）、算出した作業時間３２２を作業時間判定データ３１２とし、算出した動き量３２１を動き量判定データ３１１として更新する（ステップＳ６０８）。作業支援装置２００が、作業指示動画情報３１０を作業Ｎでの一連の作業画像情報に更新し（ステップＳ６０９）、更新結果をディスプレイ２０３に表示する（ステップＳ６１０）。作業Ｎでの一連の作業画像情報は、現作業動画情報と同一である。作業支援装置２００が、Ｎ＝Ｎ＋１とし（ステップＳ６１１）、Ｎ≧総作業数であるか否かを判断する（ステップＳ６１２）。作業支援装置２００が、Ｎ≧総作業数でないと判断した場合（ステップＳ６１２：Ｎｏ）、ステップＳ６０２へ戻る。
【００４８】
ステップＳ６０７において、作業支援装置２００が、更新判定結果が真でないと判断した場合（ステップＳ６０７：Ｎｏ）、ステップＳ６１１へ移行する。ステップＳ６１２において、作業支援装置２００が、Ｎ≧総作業数であると判断した場合（ステップＳ６１２：Ｙｅｓ）、一連の処理を終了する。
【００４９】
図７は、図６で示した作業進捗判定処理（ステップＳ６０４）の詳細例を示すフローチャートである。まず、作業支援装置２００が、部品取り付け前の基板画像を取得し（ステップＳ７０１）、部品取り付け前の基板画像の特徴点を求める（ステップＳ７０２）。作業支援装置２００が、現作業画像情報を取得し（ステップＳ７０３）、現作業画像情報とのそれぞれについて特徴点を求め（ステップＳ７０４）、部品取り付け前の基板画像と現作業画像情報とのそれぞれの特徴点の対応を求める（ステップＳ７０５）。
【００５０】
作業支援装置２００が、求めた対応点の集まりから、部品取り付け前の基板画像を現作業画像情報へと射影する射影変換行列を用いて、現作業画像情報中の部品座標に変換する（ステップＳ７０６）。作業支援装置２００が、部品取り付け前の基板画像中の部品座標から、求めた射影変換行列を用いて現作業画像情報中の部品座標に変換する（ステップＳ７０７）。作業支援装置２００が、部品取り付け後の基板画像と射影変換行列とを積算し（ステップＳ７０８）、現作業画像情報と、積算後の画像と、現作業画像情報中の部品座標と、に基づいて相互相関係数を算出する（ステップＳ７０９）。
【００５１】
作業支援装置２００が、算出した相互相関係数≧しきい値であるか否かを判断し（ステップＳ７１０）、算出した相互相関係数≧しきい値でないと判断した場合（ステップＳ７１０：Ｎｏ）、ステップＳ７０３に戻る。作業支援装置２００が、算出した相互相関係数≧しきい値であると判断した場合（ステップＳ７１０：Ｙｅｓ）、部品装着済と判定し（ステップＳ７１１）、判定時刻を記録し（ステップＳ７１２）、ステップＳ６０５へ移行する。
【００５２】
図８は、図６で示した作業品質判定処理（ステップＳ６０５）の詳細例を示すフローチャートである。まず、作業支援装置２００が、作業Ｎの作業指示時刻と部品装着済の判定時刻とにより作業Ｎの作業時間３２２を算出し（ステップＳ８０１）、算出した作業時間３２２を出力する（ステップＳ８０２）。作業支援装置２００が、作業Ｎでの一連の作業画像情報から手領域を抽出し（ステップＳ８０３）、抽出結果を出力し（ステップＳ８０４）、差分画像を算出する（ステップＳ８０５）。
【００５３】
作業支援装置２００が、差分画像の総和を動き量３２１として算出し（ステップＳ８０６）、手領域の抽出結果において、基板上の特定の場所を手が通過したか否かを判断する（ステップＳ８０７）。作業支援装置２００が、手領域の抽出結果において、基板上の特定の場所を手が通過したと判断した場合（ステップＳ８０７：Ｙｅｓ）、真を出力し（ステップＳ８０８）、ステップＳ６０６へ移行する。作業支援装置２００が、手領域の抽出結果において、基板上の特定の場所を手が通過していないと判断した場合（ステップＳ８０７：Ｎｏ）、偽を出力し（ステップＳ８０９）、ステップＳ６０６へ移行する。
【００５４】
図９は、図６で示した更新判定処理（ステップＳ６０６）の詳細な一の例を示すフローチャートである。まず、作業支援装置２００が、正常作業判定が真か否かを判断し（ステップＳ９０１）、正常作業判定が真であると判断した場合（ステップＳ９０１：Ｙｅｓ）、算出した作業時間３２２が作業時間判定データ３１２未満であるか否かを判断する（ステップＳ９０２）。
【００５５】
作業支援装置２００が、算出した作業時間３２２が作業時間判定データ３１２未満であると判断した場合（ステップＳ９０２：Ｙｅｓ）、算出した動き量３２１が動き量判定データ３１１より小さいか否かを判断する（ステップＳ９０３）。作業支援装置２００が、算出した動き量３２１が動き量判定データ３１１より小さいと判断した場合（ステップＳ９０３：Ｙｅｓ）、更新判定結果を真とし（ステップＳ９０４）、ステップＳ６０７へ移行する。
【００５６】
ステップＳ９０１において、作業支援装置２００が、正常作業判定が真でないと判断した場合（ステップＳ９０１：Ｎｏ）、更新判定結果を偽とし（ステップＳ９０５）、ステップＳ６０７へ移行する。ステップＳ９０２において、作業支援装置２００が、算出した作業時間３２２が作業時間判定データ３１２未満でないと判断した場合（ステップＳ９０２：Ｎｏ）、ステップＳ９０５へ移行する。ステップＳ９０３において、作業支援装置２００が、算出した動き量３２１が動き量判定データ３１１以上であると判断した場合（ステップＳ９０３：Ｎｏ）、ステップＳ９０５へ移行する。
【００５７】
（実施の形態２）
実施の形態２では、現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報の作業時間や複数回分の作業動画情報での動き量を含めて更新判定するか否かを決定する例を示す。これにより、複数回分の作業時間や複数回分の動き量を判定に用いることで、作業者の習熟が安定したことを判断した後に、作業指示動画情報３１０を置き換えるようにすることができる。
【００５８】
現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報の作業時間と現作業動画情報３２０の作業時間については、作業時間蓄積データとして記憶装置に記憶されていることとする。現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報での動き量と現作業動画情報３２０の作業時間での動き量については、動き量蓄積データとして記憶装置に記憶されていることとする。現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報の正常作業判定の判定結果と、現作業動画情報３２０の正常作業判定の判定結果と、も記憶装置に記憶されていることとする。
【００５９】
たとえば、ＣＰＵ２１１が、現作業動画情報３２０よりも前に撮影された複数回分の作業動画情報の正常作業判定の判定結果と、現作業動画情報３２０の正常作業判定の判定結果と、を記憶装置から取得する。たとえば、ＣＰＵ２１１が、作業時間蓄積データと動き量蓄積データを参照し、最新のものから複数回分の作業時間と動き量を取得する。たとえば、３回分などとしてもよい。たとえば、ＣＰＵ２１１が、最新のものから３回の正常作業判定が真である場合、取得した３回分の作業時間がすべて作業時間判定データ３１２未満であり、かつ取得した３回分の動き量がすべて動き量判定データ３１１より小さいか否かを判断する。
【００６０】
たとえば、ＣＰＵ２１１が、取得した３回分の作業時間がすべて作業時間判定データ３１２未満であり、かつ取得した３回分の動き量がすべて動き量判定データ３１１よりも小さい場合、更新判定を真とする。たとえば、ＣＰＵ２１１が、取得した３回分の作業時間のいずれかが作業時間判定データ３１２以上である、または取得した３回分の動き量のいずれかが動き量判定データ３１１以上である場合、更新判定を偽とする。
【００６１】
また、たとえば、ＣＰＵ２１１が、作業時間３２２蓄積データと動き量３２１蓄積データを参照し、最新のものから複数回分の作業時間３２２と動き量３２１を取得する。そして、たとえば、ＣＰＵ２１１が、それぞれの平均値と分散を算出する。たとえば、ＣＰＵ２１１が、平均値と更新判定データを比較すると共に、分散が別途設定された閾値よりも小さいときに更新判定を真とし、それ以外は偽とすることによっても、作業品質を判定してもよい。
【００６２】
また、たとえば、ＣＰＵ２１１が、最新のものから複数回分の作業時間３２２と動き量３２１を取得した場合、作業時間３２２および動き量３２１を最新のものほど大きくなるように重み付けして、平均値を求めることで、更新を判定してもよい。
【００６３】
（実施の形態２にかかる作業支援装置２００の作業支援処理手順）
つぎに、実施の形態２にかかる作業支援装置２００の作業支援処理手順について詳細に説明する。実施の形態２にかかる作業支援装置２００の作業支援処理手順と実施の形態１にかかる作業支援装置２００の作業支援処理手順とは、更新判定処理（ステップＳ６０６）が異なるため、ここでは、実施の形態２にかかる更新判定処理（ステップＳ６０６）について説明する。
【００６４】
図１０は、図６で示した更新判定処理（ステップＳ６０６）の詳細な他の例を示すフローチャートである。まず、作業支援装置２００が、作業Ｎでの作業判定結果と過去２回分の作業判定結果を取得し（ステップＳ１００１）、３回分の作業判定結果がすべて真であるか否かを判断する（ステップＳ１００２）。作業支援装置２００が、３回分の作業判定結果がすべて真であると判断した場合（ステップＳ１００２：Ｙｅｓ）、算出した作業時間３２２と作業Ｎでの過去２回分の作業時間３２２を取得する（ステップＳ１００３）。
【００６５】
作業支援装置２００が、３回分の作業時間３２２が、作業時間判定データ３１２未満であるか否かを判断する（ステップＳ１００４）。作業支援装置２００が、３回分の作業時間３２２が、作業時間判定データ３１２未満であると判断した場合（ステップＳ１００４：Ｙｅｓ）、算出した動き量３２１と作業Ｎでの過去２回分の動き量３２１を取得する（ステップＳ１００５）。作業支援装置２００が、３回分の動き量３２１がすべて動き量判定データ３１１より小さいか否かを判断する（ステップＳ１００６）。作業支援装置２００が、３回分の動き量３２１がすべて動き量判定データ３１１より小さいと判断した場合（ステップＳ１００６：Ｙｅｓ）、更新判定結果を真とする（ステップＳ１００７）。
【００６６】
ステップＳ１００２において、作業支援装置２００が、３回分の作業判定結果のうちいずれかが真でないと判断した場合（ステップＳ１００２：Ｎｏ）、更新判定結果を偽とし（ステップＳ１００８）、ステップＳ６０７へ移行する。ステップＳ１００４において、作業支援装置２００が、３回分の作業時間３２２のいずれかが作業時間判定データ３１２未満でないと判断した場合（ステップＳ１００４：Ｎｏ）、ステップＳ１００８へ移行する。ステップＳ１００６において、作業支援装置２００が、３回分の動き量３２１のいずれかが動き量判定データ３１１以上であると判断した場合（ステップＳ１００６：Ｎｏ）、ステップＳ１００８へ移行する。
【００６７】
（実施の形態３）
実施の形態３では、更新判定結果に応じて作業者に更新するか否かを判断させる例を示す。
【００６８】
たとえば、ＣＰＵ２１１が更新判定結果をディスプレイ２０３に表示させ、作業者がマウス２０４の操作によって更新の可否を指示する。たとえば、ＣＰＵ２１１が、更新の可否を受け付けると、算出した作業時間３２２を作業時間判定データ３１２とし、算出した動き量３２１を動き量判定データ３１１として更新する。たとえば、ＣＰＵ２１１が、作業指示動画情報３１０を作業Ｎでの一連の作業画像情報に更新する。
【００６９】
また、図示していないが、作業支援装置２００が押しボタンスイッチを有し、作業者が、該押しボタンスイッチを押下することにより、作業指示動画情報３１０の更新の可否を指示することとしてもよい。
【００７０】
図１１および図１２は、実施の形態３にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。まず、作業支援装置２００が、Ｎ＝１とし（ステップＳ１１０１）、作業Ｎの作業指示をディスプレイ２０３に表示し（ステップＳ１１０２）、表示時刻を出力する（ステップＳ１１０３）。作業支援装置２００が、作業進捗判定処理を実行し（ステップＳ１１０４）、作業品質判定処理を実行し（ステップＳ１１０５）、更新判定処理を実行する（ステップＳ１１０６）。
【００７１】
作業支援装置２００が、更新判定結果が真か否かを判断し（ステップＳ１１０７）、更新判定結果が偽であると判断した場合（ステップＳ１１０７：Ｎｏ）、ステップＳ１１１５へ移行する。作業支援装置２００が、更新判定結果が真であると判断した場合（ステップＳ１１０７：Ｙｅｓ）、算出した作業時間３２２と算出した動き量３２１と作業Ｎでの連続する作業画像情報とを関連付けて出力する（ステップＳ１１０８）。作業支援装置２００が、判定結果をディスプレイ２０３に表示し（ステップＳ１１０９）、作業者からの指示を受け付けたか否かを判断する（ステップＳ１１１０）。
【００７２】
作業支援装置２００が、作業者からの指示を受け付けていないと判断した場合（ステップＳ１１１０：Ｎｏ）、ステップＳ１１１０へ戻る。作業支援装置２００が、作業者からの指示を受け付けたと判断した場合（ステップＳ１１１０：Ｙｅｓ）、指示が更新を示すか否かを判断する（ステップＳ１１１１）。作業支援装置２００が、指示が更新を示していないと判断した場合（ステップＳ１１１１：Ｎｏ）、ステップ１１１５へ移行する。
【００７３】
作業支援装置２００が、指示が更新を示していると判断した場合（ステップＳ１１１１：Ｙｅｓ）、算出した作業時間３２２を作業時間判定データ３１２とし、算出した動き量３２１を動き量判定データ３１１として更新する（ステップＳ１１１２）。作業支援装置２００が、作業指示動画情報３１０を作業Ｎでの一連の作業画像情報に更新し（ステップＳ１１１３）、更新結果をディスプレイ２０３に表示する（ステップＳ１１１４）。
作業支援装置２００が、Ｎ＝Ｎ＋１とし（ステップＳ１１１５）、Ｎ≧総作業数であるか否かを判断する（ステップＳ１１１６）。
【００７４】
作業支援装置２００が、Ｎ≧総作業数でないと判断した場合（ステップＳ１１１６：Ｎｏ）、ステップＳ１１０２へ戻る。作業支援装置２００が、Ｎ≧総作業数であると判断した場合（ステップＳ１１１６：Ｙｅｓ）、一連の処理を終了する。
【００７５】
また、ステップＳ１１０４、ステップＳ１１０５、ステップＳ１１０６は、それぞれステップＳ６０４、ステップＳ６０５、ステップＳ６０６と同一の処理であるため、詳細な説明を省略する。
【００７６】
（実施の形態４）
実施の形態４では、骨格の動きを検出し、骨格動きデータ１３２１に応じて作業指示動画情報を生成する例を示す。
【００７７】
（作業支援装置２００の機能の他の例を示すブロック図）
図１３は、作業支援装置２００の機能の他の例を示すブロック図である。作業支援装置２００は、記憶部１３０１と、取得部１３０２と、検出部１３０３と、算出部１３０４と、判定部１３０５と、生成部１３０６と、更新部１３０７と、出力部１３０８と、を有している。
【００７８】
取得部１３０２〜出力部１３０８は、たとえば、作業支援プログラムにコーディングされている。作業支援プログラムは、ＲＯＭ２１２、磁気ディスク２１５、光ディスク２１７などの記憶装置に記憶されている。ＣＰＵ２１１が、作業支援プログラムを該記憶装置から読み出し、該作業支援プログラムにコーディングされている処理を実行する。これにより、取得部１３０２〜出力部１３０８の処理が実行される。
【００７９】
ここで、記憶部１３０１と、取得部１３０２と、判定部１３０５と、出力部１３０８とは、図３で示した記憶部３０１と、取得部３０２と、判定部３０４と、出力部３０６と同一処理であるため、詳細な説明を省略する。
【００８０】
検出部１３０３は、作業者の骨格の動きを検出し、骨格動きデータ１３２１を生成する。算出部１３０４は、検出部１３０３により検出された骨格動きデータ１３２１に基づいて現作業動画情報３２０での動き量１３２２を算出する。生成部１３０６は、判定部１３０５による判定結果に応じて、検出部１３０３により検出された骨格動きデータ１３２１に基づいて一連の作業画像情報を生成する。更新部１３０７は、作業指示動画情報１３１８を、生成部１３０６により生成された一連の作業画像情報に更新する。
【００８１】
図示していないが、作業者に取り付けられたジャイロ、加速度センサが、作業者の骨格の動きを検出する（たとえば、「バーチャルリアリティ学、日本バーチャルリアリティ学会編、３．２章 入力インタフェース」を参照。）。検出された骨格動きデータ１３２１は、ＲＡＭ２１３、磁気ディスク２１５、光ディスク２１７などの記憶装置に記憶される。ジャイロ、加速度センサなどを用いる機械式モーションキャプチャの他に、磁気センサを用いる方法、作業画像情報を用いる方法を独立、あるいは組み合わせて使用することもできる。
【００８２】
また、実施の形態１で示した動き量１３２２の算出の他に、たとえば、ＣＰＵ２１１が、一定時間内での骨格動き量１３２２が一定量以上となるときに、該作業が作業指示動画とならないように動き量１３２２にペナルティとして加算を行ってもよい。作業指示動画内の動きが早すぎると作業者が理解しにくくなる場合があるが、動き量１３２２が一定量以上であれば、作業指示動画として使用されないようにすることができる。
【００８３】
つぎに、たとえば、ＣＰＵ２１１が、部品装着済の判定時刻に基づき、検出された骨格動きデータ１３２１を取得し、人体モデルを駆動することによりＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）による作業指示動画情報１３１８を生成する。視点は作業者から見たもの、横から見たもの、などの任意の視点の作業指示動画情報を生成することができる。
【００８４】
また、たとえば、ＣＰＵ２１１が、骨格動きデータ１３２１が一定時間以上、一定の動き量１３２２以下であるときは一定時間を超える部分の動きデータを削除する。これにより、無駄な時間が削除された作業指示動画情報１３１８が生成される。
【００８５】
また、たとえば、ＣＰＵ２１１が、骨格動きデータ１３２１が一定時間の間に一定の動きを上回る場合、該区間の骨格動きデータ１３２１を時間軸方向に引き延ばすことができる。これにより、作業指示動画の動きが速すぎて作業者が理解しにくくなることを防止することができる。
【００８６】
また、たとえば、ＣＰＵ２１１が、検出された骨格動きデータ１３２１に基づいてポリゴンデータを生成し、３次元である作業指示動画情報１３１８を生成してもよい。また、たとえば、ＣＰＵ２１１が、検出した骨格動きデータ１３２１をそのまま使用する他に、作業者の手が止まっている箇所を検出し、該箇所を作業指示動画情報１３１８の作成から除外するといった、冗長部分の削除を行ってもよい。
【００８７】
また、３Ｄ変換を行うことにより、たとえば、ＣＰＵ２１１が、作業指示動画情報１３１８の作業ステップと作業ステップの間の手の動きが連続するように補完することができる。具体的には、たとえば、ＣＰＵ２１１が、対応する骨格を線型に補完する。これにより、スムーズな作業指示動画情報１３１８を提供することができる。
【００８８】
（実施の形態４にかかる作業支援装置２００による作業支援処理手順）
図１４は、実施の形態４にかかる作業支援装置２００による作業支援処理手順の一例を示すフローチャートである。まず、作業支援装置２００が、Ｎ＝１とし（ステップＳ１４０１）、作業Ｎの作業指示をディスプレイ２０３に表示し（ステップＳ１４０２）、表示時刻を記録する（ステップＳ１４０３）。作業支援装置２００が、作業進捗判定処理を実行し（ステップＳ１４０４）、作業品質判定処理を実行し（ステップＳ１４０５）、更新判定処理を実行する（ステップＳ１４０６）。
【００８９】
作業支援装置２００が、更新判定結果が真か否かを判断し（ステップＳ１４０７）、更新判定結果が真であると判断した場合（ステップＳ１４０７：Ｙｅｓ）、算出した作業時間を作業時間判定データ３１２とし、算出した動き量１３２２を動き量判定データ１３１１として更新する（ステップＳ１４０８）。作業支援装置２００が、検出された骨格動きデータ１３２１を取得し（ステップＳ１４０９）、人体モデルを駆動することによりＣＧデータを生成する（ステップＳ１４１０）。
【００９０】
作業支援装置２００が、作業指示動画情報１３１８を生成したＣＧデータに更新し（ステップＳ１４１１）、Ｎ＝Ｎ＋１とし（ステップＳ１４１２）、Ｎ≧総作業数であるか否かを判断する（ステップＳ１４１３）。作業支援装置２００が、Ｎ≧総作業数でないと判断した場合（ステップＳ１４１３：Ｎｏ）、ステップＳ１４０２へ戻る。ステップＳ１４０７において、更新判定結果が真でないと判断した場合（ステップＳ１４０７：Ｎｏ）、ステップＳ１４１２へ移行する。ステップＳ１４１３において、作業支援装置２００が、Ｎ≧総作業数であると判断した場合（ステップＳ１４１３：Ｙｅｓ）、一連の処理を終了する。
【００９１】
また、ステップＳ１４０４、ステップＳ１４０５、ステップＳ１４０６は、それぞれステップＳ６０４、ステップＳ６０５、ステップＳ６０６と同一の処理であるため、詳細な説明を省略する。
【００９２】
また、実施の形態１〜４では１作業者のみに着目しているが、複数の作業者で作業指示動画を共有していてもよい。
【００９３】
図１５は、複数の作業者で作業指示動画情報を共有している例を示す説明図である。図１５では、一の作業者の作業場にはＰＣ２０１＿１と、カメラ２０２＿１と、ディスプレイ２０３＿１と、マウス２０４＿１と、が設置されている。他の作業者の作業場にはＰＣ２０１＿２と、カメラ２０２＿２と、ディスプレイ２０３＿２と、マウス２０４＿２と、が設置されている。
【００９４】
たとえば、作業指示動画情報３１０と作業時間判定データ３１２と動き量判定データ３１１とをサーバ１５００の記憶装置に記憶させ、各作業者の作業場に設置されたＰＣ２０１＿１やＰＣ２０１＿２で上述の実施の形態１〜４に示したような処理を行ってもよい。また、各作業者の作業場に設置されたＰＣ２０１＿１やＰＣ２０１＿２は、撮影された動画像を記憶し、該動画像をサーバ１５００へ送信する。そして、サーバ１５００が、上述の実施の形態１〜４に示したような処理を行ってもよい。
【００９５】
以上説明したように、作業支援装置、および作業支援プログラムによれば、手本となる第１の一連の作業画像情報とカメラから取得された第２の一連の作業画像情報とを比較する。これにより、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。したがって、作業者の習熟度に応じて作業指示動画情報を継続的に変更することができる。さらに、偶発した作業の改善を逃すことなく再現させることができる。
【００９６】
また、第２の一連の作業画像情報の動き量が閾値未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。すなわち、作業者の作業量によって、第２の一連の作業画像情報の撮影時の作業が良いか否かを判定することができる。したがって、作業量の少ない作業手順を見本の作業指示動画情報とすることができる。
【００９７】
また、第２の一連の作業画像情報の動き量が第１の一連の作業画像情報の動き量未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。すなわち、作業者の作業量によって、以前の作業よりも改善が見られたかを判定することができる。したがって、作業量の少ない作業手順を見本の作業指示動画情報とすることができる。
【００９８】
また、第２の一連の作業画像情報での動き量が第１の一連の作業画像情報での動き量に所定係数を掛けた値未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。これにより、以前の作業よりも改善の度合いが一定以上大きいときにのみ更新判定を真とすることができる。したがって、作業量の少ない作業手順を見本の作業指示動画情報とすることができる。
【００９９】
また、第２の一連の作業画像情報の作業時間が所定時間未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。すなわち、作業者の作業時間によって、第２の一連の作業画像情報の撮影時の作業が良いか否かを判定することができる。したがって、作業時間の短い作業手順を見本の作業指示動画情報とすることができる。
【０１００】
また、第２の一連の作業画像情報の作業時間が第１の一連の作業画像情報の作業時間未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。すなわち、作業者の作業量によって、以前の作業よりも改善が見られたかを判定することができる。したがって、作業時間の短い作業手順を見本の作業指示動画情報とすることができる。
【０１０１】
また、第２の一連の作業画像情報での作業時間が第１の一連の作業画像情報での作業時間に所定係数を掛けた値未満であるか否かによって、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業の良否を判定する。これにより、以前の作業よりも改善の度合いが一定以上大きいときにのみ更新判定を真とすることができる。したがって、作業時間の短い作業手順を見本の作業指示動画情報とすることができる。
【０１０２】
また、手本となる第１の一連の作業画像情報とカメラから取得された第２の一連の作業画像情報とを比較する。さらに、第１の一連の作業画像情報と、第２の一連の作業画像情報での撮影時より前に撮影された第３の一連の作業画像情報とを比較する。これにより、第１の一連の作業画像情報の撮影時の作業に対する第２の一連の作業画像情報の撮影時の作業と第２の一連の作業画像情報の撮影時の作業との良否を判定する。判定結果に応じて第１の一連の作業画像情報を第２の一連の作業画像情報に更新する。したがって、継続して良となっていれば、作業者が作業を習熟していると推測でき、作業を習熟できたころの手順を手本とすることができる。
【０１０３】
なお、本実施の形態で説明した作業支援方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本作業支援プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本作業支援プログラムは、インターネット等のネットワークを介して配布してもよい。
【０１０４】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０１０５】
（付記１）一作業区間に関する第１の一連の作業画像情報を記憶する記憶部と、
前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得部と、
前記記憶部に記憶された第１の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定部と、
前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新部と、
前記更新部による更新結果を出力する出力部と、
を備えることを特徴とする作業支援装置。
【０１０６】
（付記２）前記取得部により取得された第２の一連の作業画像情報での動き量を算出する算出部を備え、
前記判定部は、
前記算出部により算出された前記第２の一連の作業画像情報での動き量が閾値未満であるか否かに基づいて、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、
前記更新部は、
前記判定部により前記第２の一連の作業画像情報での動き量が前記閾値未満であると判定された場合、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする付記１に記載の作業支援装置。
【０１０７】
（付記３）前記算出部により算出された前記第２の一連の作業画像情報での動き量が前記閾値未満である場合に、前記第１の一連の作業画像情報の撮影時の作業に対して前記第２の一連の作業画像情報の撮影時の作業が良くなったと判定することを特徴とする付記２に記載の作業支援装置。
【０１０８】
（付記４）前記閾値が、前記第１の一連の作業画像情報での動き量であることを特徴とする付記２または３に記載の作業支援装置。
【０１０９】
（付記５）前記閾値が、前記第１の一連の作業画像情報での動き量に所定係数を掛けた値であることを特徴とする付記２または３に記載の作業支援装置。
【０１１０】
（付記６）作業時間を算出する算出部を備え、
前記取得部は、
前記第２の一連の作業画像情報の作業画像情報ごとの作業時刻を取得し、
前記算出部は、
前記第２の一連の作業画像情報の作業画像情報ごとの作業時刻に基づいて前記第２の一連の作業画像情報の撮影時の作業時間を算出し、
前記判定部は、
前記算出部により算出された前記第２の一連の作業画像情報での作業時間が所定時間未満であるか否かに基づいて、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、
前記更新部は、
前記判定部により前記第２の一連の作業画像情報での作業時間が前記所定時間未満であると判定された場合、前記表示可能な一連の作業画像情報を前記取得された一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする付記１に記載の作業支援装置。
【０１１１】
（付記７）前記算出部により算出された前記第２の一連の作業画像情報での作業時間が所定時間未満である場合に、前記第１の一連の作業画像情報の撮影時の作業に対して前記第２の一連の作業画像情報の撮影時の作業が良くなったと判定することを特徴とする付記６に記載の作業支援装置。
【０１１２】
（付記８）前記所定時間が、前記第１の一連の作業画像情報の撮影時の作業時間であることを特徴とする付記６または７に記載の作業支援装置。
【０１１３】
（付記９）前記所定時間が、前記第１の一連の作業画像情報の撮影時の作業時間に所定係数掛けた値であることを特徴とする付記６または７に記載の作業支援装置。
【０１１４】
（付記１０）前記記憶部が、前記第２の一連の作業画像情報よりも前に撮影された前記一作業区間に関する第３の一連の作業画像情報を記憶し、
前記判定部は、前記記憶部に記憶された第１の一連の作業画像情報および前記記憶部に記憶された第３の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する、前記第２の一連の作業画像情報の撮影時の作業と前記第３の一連の作業画像情報の撮影時の作業との良否を判定し、
前記更新部は、
前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする付記１に記載の作業支援装置。
【０１１５】
（付記１１）前記出力部は、
前記更新部による更新結果をディスプレイに表示することを特徴とする付記１乃至９のいずれか一つに記載の作業支援装置。
【０１１６】
（付記１２）一作業区間に関する第１の一連の作業画像情報を記憶する記憶装置にアクセス可能なコンピュータに、
前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得処理と、
前記記憶装置に記憶された第１の一連の作業画像情報と、前記取得処理により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定処理と、
前記判定処理による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新処理と、
前記更新処理による更新結果を出力する出力処理と、
を実行させることを特徴とする作業支援プログラム。
【符号の説明】
【０１１７】
２００ 作業支援装置
２０２ カメラ
２０３ ディスプレイ
３０１ 記憶部
３０２ 取得部
３０３ 算出部
３０４ 判定部
３０５ 更新部
３０６ 出力部
【特許請求の範囲】
【請求項１】
一作業区間に関する第１の一連の作業画像情報を記憶する記憶部と、
前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得部と、
前記記憶部に記憶された第１の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定部と、
前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新部と、
前記更新部による更新結果を出力する出力部と、
を備えることを特徴とする作業支援装置。
【請求項２】
前記取得部により取得された第２の一連の作業画像情報での動き量を算出する算出部を備え、
前記判定部は、
前記算出部により算出された前記第２の一連の作業画像情報での動き量が閾値未満であるか否かに基づいて、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、
前記更新部は、
前記判定部により前記第２の一連の作業画像情報での動き量が前記閾値未満であると判定された場合、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする請求項１に記載の作業支援装置。
【請求項３】
作業時間を算出する算出部を備え、
前記取得部は、
前記第２の一連の作業画像情報の作業画像情報ごとの作業時刻を取得し、
前記算出部は、
前記第２の一連の作業画像情報の作業画像情報ごとの作業時刻に基づいて前記第２の一連の作業画像情報の撮影時の作業時間を算出し、
前記判定部は、
前記算出部により算出された前記第２の一連の作業画像情報での作業時間が所定時間未満であるか否かに基づいて、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、
前記更新部は、
前記判定部により前記第２の一連の作業画像情報での作業時間が前記所定時間未満であると判定された場合、前記表示可能な一連の作業画像情報を前記取得された一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする請求項１に記載の作業支援装置。
【請求項４】
前記記憶部が、前記第２の一連の作業画像情報よりも前に撮影された前記一作業区間に関する第３の一連の作業画像情報を記憶し、
前記判定部は、前記記憶部に記憶された第１の一連の作業画像情報および前記記憶部に記憶された第３の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する、前記第２の一連の作業画像情報の撮影時の作業と前記第３の一連の作業画像情報の撮影時の作業との良否を判定し、
前記更新部は、
前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする請求項１に記載の作業支援装置。
【請求項５】
一作業区間に関する第１の一連の作業画像情報を記憶する記憶装置にアクセス可能なコンピュータに、
前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得処理と、
前記記憶装置に記憶された第１の一連の作業画像情報と、前記取得処理により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定処理と、
前記判定処理による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新処理と、
前記更新処理による更新結果を出力する出力処理と、
を実行させることを特徴とする作業支援プログラム。
【請求項１】
一作業区間に関する第１の一連の作業画像情報を記憶する記憶部と、
前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得部と、
前記記憶部に記憶された第１の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定部と、
前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新部と、
前記更新部による更新結果を出力する出力部と、
を備えることを特徴とする作業支援装置。
【請求項２】
前記取得部により取得された第２の一連の作業画像情報での動き量を算出する算出部を備え、
前記判定部は、
前記算出部により算出された前記第２の一連の作業画像情報での動き量が閾値未満であるか否かに基づいて、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、
前記更新部は、
前記判定部により前記第２の一連の作業画像情報での動き量が前記閾値未満であると判定された場合、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする請求項１に記載の作業支援装置。
【請求項３】
作業時間を算出する算出部を備え、
前記取得部は、
前記第２の一連の作業画像情報の作業画像情報ごとの作業時刻を取得し、
前記算出部は、
前記第２の一連の作業画像情報の作業画像情報ごとの作業時刻に基づいて前記第２の一連の作業画像情報の撮影時の作業時間を算出し、
前記判定部は、
前記算出部により算出された前記第２の一連の作業画像情報での作業時間が所定時間未満であるか否かに基づいて、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定し、
前記更新部は、
前記判定部により前記第２の一連の作業画像情報での作業時間が前記所定時間未満であると判定された場合、前記表示可能な一連の作業画像情報を前記取得された一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする請求項１に記載の作業支援装置。
【請求項４】
前記記憶部が、前記第２の一連の作業画像情報よりも前に撮影された前記一作業区間に関する第３の一連の作業画像情報を記憶し、
前記判定部は、前記記憶部に記憶された第１の一連の作業画像情報および前記記憶部に記憶された第３の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する、前記第２の一連の作業画像情報の撮影時の作業と前記第３の一連の作業画像情報の撮影時の作業との良否を判定し、
前記更新部は、
前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新し、
前記出力部は、
前記更新部による更新結果を出力することを特徴とする請求項１に記載の作業支援装置。
【請求項５】
一作業区間に関する第１の一連の作業画像情報を記憶する記憶装置にアクセス可能なコンピュータに、
前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得処理と、
前記記憶装置に記憶された第１の一連の作業画像情報と、前記取得処理により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定処理と、
前記判定処理による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新処理と、
前記更新処理による更新結果を出力する出力処理と、
を実行させることを特徴とする作業支援プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１９８６４４（Ｐ２０１２−１９８６４４Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６１１８９（Ｐ２０１１−６１１８９）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]