データ処理装置及びそのためのプログラム
【課題】文章及び動画を用いたマルチメディアマニュアルを作成するときに、マニュアルのテキストデータと、動画データとの対応付けに要する負担及びコストを低減する。
【解決手段】ビデオ解析ソフトウェア３１１は、組立マニュアルに記載されている作業を実行中の作業者をビデオカメラで撮像して生成したビデオデータを解析することにより、作業者が所定の工具、部品などを使用しているときの時刻情報を工具情報などに対応付けて、イベントリスト３１５を作成する。マルチメディア作成ソフトウェア３１２は、イベントリスト３１５を順次読み出し、対応する作業を組立作業マニュアルのデータファイル３１４から検索して、その作業に対して、イベントデータの時刻情報を付与する。
【解決手段】ビデオ解析ソフトウェア３１１は、組立マニュアルに記載されている作業を実行中の作業者をビデオカメラで撮像して生成したビデオデータを解析することにより、作業者が所定の工具、部品などを使用しているときの時刻情報を工具情報などに対応付けて、イベントリスト３１５を作成する。マルチメディア作成ソフトウェア３１２は、イベントリスト３１５を順次読み出し、対応する作業を組立作業マニュアルのデータファイル３１４から検索して、その作業に対して、イベントデータの時刻情報を付与する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアマニュアルの作成が可能なデータ処理装置及びそのためのプログラムに関し、特に、製造ラインにおける部品の組み立て手順などのような、作業時間が定められている手順のためのマルチメディアマニュアルの作成に好適なデータ処理装置及びそのためのプログラムに関する。
【背景技術】
【０００２】
近年、製造業では、生産拠点の海外シフトや派遣社員の雇用増加に伴い、新たに技術の習得が必要な作業者が増加しており、生産性及び品質の向上のため、これらの作業者に対する教育環境の整備が重要な課題となっている。
【０００３】
このような問題に対し、マルチメディアマニュアル及びその作成支援システムが知られている（特許文献１）。このようなマルチメディアマニュアルによれば、組立手順が文章とともに動画で提示されるため、作業者は組立手順を視覚的に容易に認識し、把握でき、教育期間の短縮、及び教育要員の削減、技術の伝承などに有用である。また、動画の推移により組立作業のペース配分をナビゲートするように構成すれば、生産ラインでは、決められた作業時間で組立作業を実施できる環境を構築することができるため、作業効率の向上及び生産リードタイムの短縮が期待できる。
【０００４】
ところで、このようなマルチメディアマニュアルを作成するためには、マニュアルのテキストデータに動画データを対応付けることが必要である。特許文献１に開示されている作成支援システムでは、マニュアルのテキストデータから名詞と動詞を抽出し、名詞の外見を示す静止画データと、動詞が表す動作データとをアニメーション辞書データから読み出し、マニュアルのテキストデータに対応する動画データを生成することで、対応付けを行っている。また、名詞と動詞とから動画データ生成できないときは、ビデオカメラを用いて動画データ（ビデオデータ）を生成している。
【０００５】
しかしながら、この作成支援システムでは、アニメーション辞書データの作成に手間及びコストがかかるという問題がある。また、名詞と動詞とから動画データを生成できない度にビデオカメラで動画データを作成する必要があるため、マニュアルの作成者の負担が大きいという問題がある。
【０００６】
【特許文献１】特開平８−３２０８７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題を解決するためになされたもので、文章及び動画を用いたマルチメディアマニュアルを作成するときに、マニュアルのテキストデータと、動画データとの対応付けに要する負担及びコストを低減することである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成する手段と、前記イベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける手段とを有することを特徴とするデータ処理装置である。
請求項２の発明は、請求項１記載のデータ処理装置において、前記時刻情報は、前記作業者が前記対象物に対する接触を開始した時刻を示すことを特徴とするデータ処理装置である。
請求項３の発明は、請求項１記載のデータ処理装置において、前記一連の作業は、一つ以上の作業からなる複数の工程により構成されていることを特徴とするデータ処理装置である。
請求項４の発明は、請求項１記載のデータ処理装置において、前記対応付ける手段は、前記作業者が前記作業マニュアルに記載されたとおりの順序で前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置である。
請求項５の発明は、請求項１記載のデータ処理装置において、前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置である。
請求項６の発明は、請求項３記載のデータ処理装置において、前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された各工程の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置である。
請求項７の発明は、請求項３記載のデータ処理装置において、前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された各工程内の作業の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置である。
請求項８の発明は、文章及び動画を用いた電子マニュアルであるマルチメディアマニュアルを作成する装置のコンピュータを、作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成する手段と、前記イベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける手段として機能させるためのコンピュータプログラムである。
【０００９】
（作用）
請求項１、８の発明によれば、作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成し、そのイベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける。
請求項２の発明によれば、作業者が前記対象物に対する接触を開始した時刻の情報を前記作業マニュアルにおける前記各作業を示すデータに対応付ける。
請求項３の発明によれば、一つ以上の作業からなる複数の工程の各作業示すデータに前記イベントデータの時刻情報を対応付ける。
請求項４の発明によれば、作業者が前記作業マニュアルに記載されたとおりの順序で前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付ける。
請求項５の発明によれば、前記作業者が前記作業マニュアルに記載された順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付ける。
請求項６の発明によれば、前記作業者が前記作業マニュアルに記載された各工程の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付ける。
請求項７の発明によれば、前記作業者が前記作業マニュアルに記載された各工程内の作業の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付ける。
【発明の効果】
【００１０】
本発明によれば、文章及び動画を用いたマルチメディアマニュアルを作成するときに、マニュアルのテキストデータと、動画データとの対応付けに要する負担及びコストを低減することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本発明の実施形態のデータ処理装置により作成されるマルチメディアマニュアルが使用されるシステムを示す図である。このシステムは、作業者が製品製造を行うラインを備えた生産区と、管理者が製品の製造工程を管理運用する技術区とを有する製品製造及び工程管理運用を行う環境下で利用される。
【００１２】
このシステムにおいて、生産区には、管理者が作業者へ提示するマニュアルコンテンツを制御するための管理者端末として使用する情報処理装置（以下、「管理者端末」と言う。）１０と、マニュアルコンテンツを表示するための作業者端末として使用する情報処理装置（以下、「作業者端末」と言う。）２０１、２０ｎとが設けられており、技術区には、管理者が作業者へ提示するマニュアルコンテンツの素材を収集するための管理者端末として使用する情報処理装置３０１（以下、「管理者端末３０１」と言う。）、管理者が作業者へ提示するマニュアルコンテンツを作成及び編集を行うための管理者端末として使用する情報処理装置３０２（以下、「管理者端末３０２」と言う。）、作業者端末１０へ表示するマニュアルコンテンツと作業者情報等を管理するデータベース機能を備えた管理サーバ４０１、作業者の認証処理を行う管理サーバ４０２とが設けられている。そして、生産区に設けられた各端末と、技術区に設けられた各端末及びサーバとは、ＬＡＮ（Local Area Network）、公衆回線及び無線回線等のネットワーク５０に接続されており、管理者端末１０から、ネットワーク５０を介して、管理サーバ４０１が管理するマニュアルコンテンツを、作業者情報を基に制御することで、作業者端末２０ｎに、作業者毎の作業工程や習熟度に合わせたマニュアルコンテンツを表示させることができる。
【００１３】
このように、図１に示すシステムを、製品製造環境下に整備し、作業者毎の技術習得レベルである習熟度にあわせたマニュアルコンテンツを表示することで、技術習得が未熟な作業者を短期間に習熟させることができ、また、ある程度習熟した作業者へ、生産性向上や品質維持を意識した作業を行わせることができる。
【００１４】
図２は、図１における管理者端末１０の構成例を示すブロック図である。この管理者端末１０は、制御部１０１、通信部１０２、記憶部１０３、及び表示部１０４を備えている。
【００１５】
制御部１０１は、管理者端末１０に搭載（インストール）されたＯＳ（Operating System）により、キーボード入力や画面出力などの入出力機能やハードディスクやメモリの管理機能等、各種アプリケーションから共通に利用される基本的な機能を提供し、管理者端末１０のシムテム全体を制御する。
【００１６】
通信部１０２は、ネットワーク５０上の通信機能を有する装置（作業者端末２０ｎ、管理者端末３０１、３０２、管理サーバ４０１、認証サーバ４０２）との間で、作業者情報、マニュアルコンテンツに関する情報、動画、静止画、音声、文字等のコンテンツデータを双方向通信によって送受する。
【００１７】
記憶部１０３は、ハードディスクやメモリ等の記憶装置及び媒体である。ハードディスクは、各種アプリケーションソフトウェア（マニュアルコンテンツ制御機能を実現するソフトウェアを含む。）及び各種アプリケーションソフトウェアに関するデータ（管理サーバ４０１から取得した作業者情報及びマニュアルコンテンツを含む。）等を、ディスク領域に保存する。また、メモリは、各種アプリケーションソフトウェアの実行プログラム（マニュアルコンテンツ制御機能を実現するソフトウェアの実行プログラムを含む。）、実行されているプログラムに係るデータ等を、一時的に保存する。
【００１８】
表示部１０４は、文字、図形及び画像等を表示する装置で、管理者端末１０に導入された各種アプリケーションソフトウェアの実行プログラムが生成する２次元、３次元グラフィック（ビットマップ、文字及び図形等を含む。）等を表示する。
【００１９】
また、制御部２０１は、作業者情報取得部６０１、マニュアルコンテンツ選択部６０２、習熟度判定部６０３、コンテンツ設定部６０４で構成されたマニュアルコンテンツ制御部６０を有している。
【００２０】
作業者情報取得部６０１は、管理サーバ４０１に登録されている作業者の情報である作業者情報を取得する。作業者情報取得部６０１が取得する作業者情報データの構成例を図３に示す。
【００２１】
この図に示すように、作業者情報は、作業者ＩＤ、習熟度、担当作業、再生スピードの各データで構成されており、作業者毎にこれらのデータが対応付けられ、管理サーバ４０１で管理されている。
【００２２】
作業者ＩＤは、作業者を識別するためのＩＤであり、作業者を登録する際に設定される。また、作業者ＩＤは、作業者情報取得部６０１により取得され、マニュアルコンテンツ制御部６０内で、マニュアルコンテンツ提示対象である作業者を特定する際に参照される。
【００２３】
習熟度は、作業スピード、製品不良発生率のデータで構成されている。作業スピードは、作業者が作業を開始して終了するまでに掛かった時間（Ｔ）で、作業中に、作業者端末２０ｎへ提示されるマニュアルコンテンツである動画の総フレーム数（Ｆ）を除算したＦＰＳ（Frame Per Second）の値（Ｆ／Ｔ）である。ＦＰＳは、一般的に、動画の滑らかさを表す指標であり、1秒間に何枚の画像を表示しているかを示す。また、製品不良発生率は、作業者が作業中に製造した製品の内、不良品を発生した率を示すものである。
【００２４】
習熟度は、作業者が作業を終えた際に、作業者端末２０ｎにおけるマニュアルコンテンツ提示機能により更新される。また、習熟度は、作業者情報取得部６０１により取得され、マニュアルコンテンツ制御部６０内で、マニュアルコンテンツ提示対象である作業者の作業技術及び作業手順における習得状況を判断する際に参照される。
【００２５】
担当作業は、作業者が担当する作業を示すものである。担当作業は、作業者が生産区のラインにおいて、実際の製品の製造工程で行う作業を想定し設定する。また、担当作業は、作業者情報取得部６０１により取得され、マニュアルコンテンツ制御部６０内で、マニュアルコンテンツ提示対象である作業者の担当作業の変更や習熟度変化を基に、変更が必要な場合に担当作業が変更される。
【００２６】
再生スピードは、作業者の習熟度にあわせた技術習得や作業のペース配分等を目的とし、作業者端末２０ｎにマニュアルコンテンツを提示するため、前述したＦＰＳの値に動画再生スピードを調整する係数（ｗ）（又は、重み係数とも言う。）を乗算した値（ｗ×（Ｆ／Ｔ））である。また、再生スピードは、作業者情報取得部６０１により取得され、マニュアルコンテンツ制御部６０内で、マニュアルコンテンツ提示対象である作業者の習熟度に合わせて変更される。
【００２７】
習熟度判定部６０２は、作業者情報取得部６０１により取得された作業者情報内に含まれる習熟度（「作業スピード」、「製品不良発生率」）を基に、マニュアルコンテンツ提示対象である作業者の作業技術及び作業手順における習得状況を判断し、作業者に対し、技術習得を目的とする（以下、「訓練モード」と言う。）か、作業のペース配分を目的とする（以下、「ペース配分モード」と言う。）か、作業者端末２０nによるマニュアルコンテンツの提示目的（以下、「動作モード」と言う。）を決定する。習熟度判定部６０２は、作業者の習得状況を判断するため、予め、複数の作業者からサンプリングしたデータ（時間経過と伴に変化する作業スピード、製品不良発生率を採取したデータ）を分析し、作成した基準値を用いる。例えば、作業スピードの場合には、目標時間内で担当作業が完了するスピードを最終目標値とし、その前の段階の基準値に、最終目標値の２倍のスピード、さらに前の段階の基準値に、２．５倍のスピードを用いる等のように、習熟段階に応じた複数の基準を設けておく。
【００２８】
コンテンツ設定部６０３は、習熟度判定部６０２により決定された動作モードに従い、作業者端末２０nによるマニュアルコンテンツの提示の仕方を制御する作業者情報を設定する。コンテンツ設定部６０３は、作業者情報取得部６０１により取得された作業者情報に含まれる担当作業、再生スピードを設定し、管理サーバ４０１が管理する作業者情報へ設定内容を反映させる。
【００２９】
このように、マニュアルコンテンツ制御部６０は、作業者情報取得部６０１により作業者情報を取得し、作業者情報に含まれる習熟度を基に、習熟度判定部６０２により、作業者端末２０ｎへ提示するマニュアルコンテンツの動作モードを決定し、決定された動作モードに従って、コンテンツ設定部６０３により、管理サーバ４０１が管理する作業者情報に含まれる担当作業、再生スピードを設定する。
【００３０】
以上のように、図２に示す管理者端末１０は、マニュアルコンテンツ制御部６０により、作業者端末２０ｎに対し、作業者の習熟度に合わせてマニュアルコンテンツを表示するように制御することができる。
【００３１】
図４は、図１における作業者端末２０ｎの構成例を示すブロック図である。
作業者端末２０ｎは、制御部２０１、通信部２０２、記憶部２０３、及び表示部２０４を備えている。これらの処理部の基本構成及び機能は図２に示す管理者端末１０の構成例と同じであるから、その説明は省略し、図２と異なる点、即ち制御部２０１が有するマニュアルコンテンツ提示部７０について説明する。
【００３２】
マニュアルコンテンツ提示部７０は、作業者情報取得部７０１、マニュアルコンテンツ取得部７０２、作業再生処理部７０３、表示処理部７０４、習熟度更新部７０５で構成されている。
【００３３】
作業者情報取得部７０１は、管理者端末１０が有するマニュアルコンテンツ制御部６０により設定された、管理サーバ４０１に登録されている作業者情報を取得する。作業者情報取得部７０１により取得される作業者情報は、図２に示すマニュアルコンテンツ制御部６０における作業者情報取得部６０１で説明した作業者情報と同じである。
【００３４】
マニュアルコンテンツ取得部７０２は、作業者情報取得部７０１により取得された作業者情報に含まれる担当作業に基づき、管理サーバ４０１が管理するマニュアルコンテンツ関連データを取得する。管理サーバ４０１が管理するマニュアルコンテンツ関連データは、図５に示すマニュアルコンテンツ情報データである。
【００３５】
図５に示すように、マニュアルコンテンツ情報データは、マニュアル名、動画ＩＤ、製品名、及び作業情報で構成され、製品を製造する上で必要な各製造工程に関連する情報である。ここで、マニュアル名は、製品を製造する上で必要な各作業工程を示す名前である。動画ＩＤは、マニュアルコンテンツ提示の際に再生される動画データを識別するためのＩＤである。製品名は、製造する製品の名前である。
【００３６】
作業情報は、作業ＩＤ、作業名、開始フレーム番号、終了フレーム番号、及びアクション情報で構成され、作業工程内の各作業に関連する情報である。ここで、作業ＩＤは、作業を識別するためのＩＤである。作業名は、作業を示す名前である。開始フレーム番号及び終了フレーム番号は、動画データにおける作業単位での開始及び終了に対応するフレーム番号である。
【００３７】
アクション情報は、アクションＩＤ、アクション名、部品ＩＤ、工具ＩＤ、及び説明文で構成され、作業内の各手順に関する情報である。ここで、アクションＩＤは、手順を識別するためのＩＤである。アクション名は、手順を示す名前である。部品ＩＤは、手順内で組立対象となる部品を識別するためのＩＤである。工具ＩＤは、手順内で組立対象となる部品を組み立てるときに使用する工具を識別するためのＩＤである。説明文は、手順が行う内容を簡単にまとめたものである。
【００３８】
このように、マニュアルコンテンツ情報データは、製品を製造する上で必要な各作業工程、作業工程を構成する各作業、作業を構成する各手順のような階層構造を持ったデータとなっている。また、マニュアルコンテンツ情報データは、管理者端末３０2により、マルチメディアマニュアルデータを生成する際に参照される。
【００３９】
マルチメディアマニュアルデータは、マニュアルコンテンツ情報データを、予め決めておいたタグで囲うデータ構造になっており、ＸＭＬ（Extensible Markup Language）形式で記述される。ＸＭＬのようなマークアップ言語で記述されたデータは、表示機能を有するソフトウェアにより、データ内に埋め込まれたタグが解読され、タグで囲まれたデータに対し、解読した処理命令を実行することができる。
【００４０】
マニュアルコンテンツ取得部７０２は、マニュアルコンテンツ関連データとして、作業者の担当作業に該当するＸＭＬ形式のマルチメディアマニュアルデータを取得する。マニュアルコンテンツ取得部７０２は、取得したマルチメディアマニュアルデータを基に、動画、静止画、音声、文字情報等のマニュアルコンテンツを、管理サーバ４０１が有するデータベースを操作するコマンド（例えば、データ検索、取得等。）を使用し取得する（この場合、データを取得する代わりに選択してもよい。）。
【００４１】
作業再生処理部７０３は、マニュアルコンテンツ取得部７０２により取得されたマルチメディアマニュアルデータに従い、該当する動画、静止画、音声、文字情報等のマニュアルコンテンツを再生する。作業再生処理部７０３は、作業者情報取得部７０１により取得された作業者情報の担当範囲、再生スピードを基に、マニュアルコンテンツを再生する。また、作業再生処理部７０３は、管理者端末１０により決定された動作モードに従い、マニュアルコンテンツ再生時の「一時停止」、「繰り返し再生」、「早送り」、「巻き戻し」等、再生の仕方を制御する。
【００４２】
表示処理部７０４は、作業再生処理部７０３により再生されたマニュアルコンテンツを、作業者端末２０ｎが備える表示部２０４へ表示する。また、表示処理部７０４は、作業上のポイントや次作業への移行等の作業工程に関する情報を作業者へ知らせるため、作業工程に関する情報を示す静止画、音声、文字情報を、再生中の動画コンテンツ上に重畳させ表示する。
【００４３】
習熟度更新部７０５は、作業者が担当作業を終えた際、作業者の最新の作業スピード、製品不良発生率を、管理サーバ４０１が管理する作業者情報を更新する。
【００４４】
このように、マニュアルコンテンツ提示部７０は、作業者情報取得部７０１により作業者情報を取得し、作業者情報に含まれる担当作業を基に、マニュアルコンテンツ取得部７０２により取得したマルチメディアマニュアルデータに従い、作業再生処理部７０３により、作業者情報に含まれる再生スピードでマニュアルコンテンツを再生する。また、マニュアルコンテンツ提示部７０は、作業再生処理部７０３によりマニュアルコンテンツを再生した際、管理者端末１０により決定された動作モードに従い、「一時停止」、「繰り返し再生」、「早送り」、「巻き戻し」等、再生の仕方を制御する。また、マニュアルコンテンツ提示部７０は、表示処理部７０４により、作業上のポイントや次作業への移行等の作業工程に関する情報を示す静止画、音声、文字情報を、再生中の動画コンテンツ上に重畳させ表示する。また、マニュアルコンテンツ提示部７０は、習熟度更新部７０５により、作業者の作業終了後、作業者の最新の作業スピード、製品不良発生率を、管理サーバ４０１が管理する作業者情報を更新する。
【００４５】
以上のように、図４に示す作業端末２０ｎは、マニュアルコンテンツ提示部７０を、制御部２０１で動作させることで、作業者の習熟度にあわせたマニュアルコンテンツを表示することができる。
【００４６】
図６は、管理者端末３０2にてマルチメディアマニュアルデータを生成するための構成を示す図である。管理者端末３０2は、制御部３０１、入力部３０１、記憶部３０３、表示部３０４、及び通信部３０５を有する。
【００４７】
入力部３０２は、管理者などが管理者端末３０2を動作させるときに使用するキーボードやマウスなどである。通信部３０３、記憶部３０４、及び表示部３０５は、それぞれ図２で示した管理者端末１０における通信部１０２、記憶部１０３、及び表示部１０４と同様に構成されている。
【００４８】
制御部３０１は、イベントリスト作成部３０６及びイベント−作業対応付け処理部３０７を備えている。これらは制御部３０１の機能を示す機能ブロックである。
【００４９】
記憶部３０４には、アプリケーションとしてビデオ解析ソフトウェア３１１及びマルチメディア作成ソフトウェア３１２が格納されており、データとして組立作業のビデオデータファイル（以下、ビデオデータファイルと言う）３１３及び組立作業マニュアルの内容を示すデータファイル（以下、マニュアルデータファイルと言う）３１４が格納されている。
【００５０】
ビデオデータファイル３１３は、作業者が組立マニュアルに基づいて、組立作業を実行した様子をビデオカメラで撮像して生成したビデオデータ（動画データ）及び時刻情報（タイムインデックス）のファイルである。マニュアルデータファイル３１４は、図５に示すアクション情報のファイルである。
【００５１】
ビデオ解析ソフトウェア３１１は、ビデオデータファイル３１３を読み込み、そのビデオデータを解析することにより、作業者の手が所定の部品や工具に触れたり、持ったりしている状態を検出するとともに、そのときの時刻情報を、部品情報や工具情報と対応付けたイベントデータを作成する。つまり、ビデオ解析ソフトウェア３１１は、イベント作成部３０６を実現するためのソフトウェアである。
【００５２】
マルチメディア作成ソフトウェア３１２は、イベント作成部３０６により作成されたイベントデータと、マニュアルデータファイル３１４とに基づいて、そのデータファイル中の各作業に対応するイベントデータの時刻情報を付与することにより、マニュアルデータファイル３１４にビデオデータファイル３１３を対応付ける機能を持っている。つまり、マルチメディア作成ソフトウェア３１２は、イベント−作業対応付け処理部３０７を実現するためのソフトウェアである。
【００５３】
図７は、図６におけるイベントリスト作成部３０６及びイベント−作業対応付け処理部３０７の処理の流れを示す図である。
ビデオ解析ソフトウェア３１１は、ビデオデータファイル３１３により表示される動画上の作業者の両手にマーカーを設定する機能、そのマーカーが動画上の工具ｔ１，ｔ２、部品ｐ１，ｐ２，ｐ３などと重なっていることを、ビデオデータを解析することにより検出する機能、及び重なっているときの時刻情報を工具、部品に対応付けたイベントデータのリスト（イベントリスト）を作成する機能を備えている。ここでは、イベントリスト３１５は、時刻０分２秒、時刻０分４秒、時刻０分９秒、時刻０分１５秒、時刻０分１７秒で、作業者がそれぞれ部品ｐ１、工具ｔ１、部品ｐ２、部品ｐ３、工具ｔ２に対する接触を開始したことを示すイベントデータを有している。
【００５４】
マルチメディアマニュアル作成ソフトウェア３１２は、イベントリスト３１５からイベントデータを順次読み出し、そのイベントデータ中の部品情報、工具情報をキーとして、マニュアルデータファイル３１４を検索し、発見した対応する作業に開始時刻情報を付与して、イベント時刻と対応付けされたマニュアルデータファイル３１６を作成する。ここでは、作業１、２、３のそれぞれの開始時刻情報として、作業者が部品ｐ１、ｐ２、ｐ３に対する接触を開始した時刻、換言すれば部品ｐ１、ｐ２、ｐ３の使用を開始した時刻、を示す情報が付与されている。
【００５５】
このデータファイル３１６は、マルチメディア作成ソフトウェア３１２の機能により、ビデオデータファイル３１３と対応付けられ、マルチメディアマニュアルデータファイル３１７が生成される。なお、ここでは、ビデオデータファイル３１３は予め取得したものであるが、ビデオデータファイル３１３の取得からデータファイル３１６の作成迄をリアルタイムで実行するように構成してもよい。
【００５６】
本実施形態は２種類の作業マニュアルに対応している。一つは各作業がフラット構造、即ち１つ以上の作業が工程（ステップ）としてグループ化されていない作業マニュアルであり、もう一つは各作業がツリー構造、即ちそのようにグループ化されている作業マニュアルである。さらに、前者において、（１）作業者が作業マニュアルの作業順に組立作業を実行した場合と、（２）作業マニュアルの作業順を変更して組立作業を実行した場合の２通りがあり、後者において、（３）作業者が作業マニュアルの工程順を変更し、かつ各工程内の作業順を変更しない場合と、（４）作業マニュアルの工程順を変更せず、かつ各工程内の作業順を変更した場合の２通りがあるので、合計４通りの場合に対応している。以下、これらを順に説明する。
【００５７】
図８は上記（１）の場合のイベント−作業対応付け処理部３０７の処理を示すフローチャートである。この処理は、作業マニュアルが理想的に出来ており作業者が作業マニュアルどおりに作業することで、マルチメディアマニュアルを作成することが出来る場合に実行する。
【００５８】
まず、イベントリスト３１５（図７）からイベントデータを読み出す（ステップＳ１）。イベントデータが存在した場合は（ステップＳ２：YES）、そのイベントデータ中の対象物情報（ここでは工具情報と部品情報）を検索キーとして、対応する最初の作業、即ちその対象物を扱う最初の作業をマニュアルデータファイル３１４から検索する（ステップＳ３）。検索範囲は現在の作業から最終作業迄である。
【００５９】
検索の結果、対応する作業を発見した場合は（ステップＳ４：YES）、その作業が現在の作業か否かを判断し、現在の作業でなかった場合は（ステップＳ５：NO）、その作業を現在の作業として設定するとともに、その作業に対し、イベントデータ中の時刻情報を付与する（ステップＳ６）。一方、現在の作業であった場合は、そのイベントを廃棄する（ステップＳ７）。現在の作業が最終作業となるまで（ステップＳ８：YES）、又はイベントリスト３１５のイベントデータを全て読み出し終わる迄（ステップＳ２：NO）、ステップＳ１〜Ｓ６の処理を繰り返す。
【００６０】
例えば図７の場合、イベントリスト３１５から最初に読み出されるイベントデータは「部品ｐ１」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「作業１」を発見する（ステップＳ４：YES）。最初にイベントを読み出す場合は、「現在の作業」は未設定であるから（ステップＳ５：NO）、「作業１」を現在の作業として設定するとともに、「作業１」に対し、その開始時刻情報として「部品ｐ１」に関するイベントデータの時刻である「０分２秒」を付与する（ステップＳ６）。次のイベントデータは「工具ｔ１」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「作業１」を発見する。「作業１」は現在の作業であるから（ステップＳ５：YES）、そのイベントデータを廃棄する（ステップＳ７）。以下、同様の処理を繰り返す。
【００６１】
図９は上記（２）の場合のイベント−作業対応付け処理部３０７の処理の流れを示す図である。この図において、図７と同一又は対応する部分には図７と同じ符号を付した。
【００６２】
図９に示すように、作業者は、組立マニュアルの作業１と２の順序を反対にして作業を行うため、イベントリスト３１５には、作業２に対応するイベントである「部品ｐ２」に関するイベントデータが、作業１に対応するイベントデータである「工具ｔ１」及び「部品ｐ１」よりも先に作成される。従って、イベント時刻と対応付けされたマニュアルデータファイル３１６においても、作業２に付与された時刻情報は作業１よりも早くなる。
【００６３】
この処理は、例えば作業マニュアルの内容が不完全であり、作業者が作業マニュアルの作業順を改善しつつマルチメディアマニュアルを作成する場合などに有効である。
【００６４】
図１０は図９の処理を実行するためのフローチャートである。
まず、イベントリスト３１５からイベントデータを読み出す（ステップＳ１１）。イベントデータが存在した場合は（ステップＳ１２：YES）、対応する作業をマニュアルデータファイル３１４から検索する（ステップＳ１３）。検索範囲は現在の作業からその１０個後の作業迄であり、その範囲内で時刻情報の付与されていない最初の作業を検索する。
【００６５】
検索の結果、対応する作業を発見した場合は（ステップＳ１４：YES）、その作業が現在の作業か否かを判断し、現在の作業でなかった場合は（ステップＳ１９：NO）、現在の作業として設定するとともに、その作業に対し、イベントデータ中の時刻情報を付与する（ステップＳ２０）。一方、現在の作業であった場合は、そのイベントを廃棄する（ステップＳ２１）。
【００６６】
検索の結果、対応する作業を発見しなかった場合は（ステップＳ１４：NO）、検索範囲を最初の作業から現在の作業の１個前の作業に変更して検索を行い（ステップＳ１５）、発見した場合は（ステップＳ１６：YES）、前述したステップＳ１９、及びＳ２０又はＳ２１を実行し、発見しなかった場合は（ステップＳ１６：NO）は、検索範囲を現在の作業の１1個後の作業から最終作業迄に設定して検索を行う（ステップＳ１７）。そして、発見した場合は（ステップＳ１８：YES）、前述したステップＳ１９、及びＳ２０又はＳ２１を実行し、発見しなかった場合は（ステップＳ１８：NO）は、次のイベントデータを読み出す（ステップＳ１１）。
【００６７】
時刻情報が付与されていない作業がなくなるか（ステップＳ２２：NO）、又はイベントリスト３１５のイベントデータを全て読み出し終わる迄（ステップＳ１２：NO）、ステップＳ１１〜Ｓ２１の処理を繰り返す。
【００６８】
例えば図９の場合は、イベントリスト３１５から最初に読み出されるイベントデータは「部品ｐ２」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「作業２」を発見する（ステップＳ１４：YES）。最初にイベントデータを読み出す場合は、「現在の作業」は未設定であるから（ステップＳ１９：NO）、「作業２」を現在の作業として設定するとともに、「作業２」に対し、開始時刻情報として「部品ｐ２」に関するイベントデータの時刻である「０分２秒」を付与する（ステップＳ２０）。
【００６９】
イベントリスト３１５から次に読み出されるイベントデータは「部品ｐ１」に関するものである。ここで、「部品ｐ１」は「作業１」に対応するものであり、「作業１」は現在の作業よりも前の作業であるから、検索範囲が現在の作業よりも前であるステップＳ１５にて発見する（ステップＳ１３→Ｓ１４：NO→Ｓ１５→Ｓ１６：YES）。そして、「作業１」を現在の作業として設定するとともに、「作業１」に対し、その開始時刻情報として「部品ｐ１」に関するイベントデータの時刻である「０分４秒」を付与する（ステップＳ１９：NO→Ｓ２０）。以下、同様の処理を繰り返す。
【００７０】
図１１は上記（３）の場合のイベント−作業対応付け処理部３０７の処理の流れを示す図である。この図において、図７と同一又は対応する部分には図７と同じ符号を付した。この処理は、例えば作業者が作業マニュアルの工程順を改善しつつマルチメディアマニュアルを作成する場合などに有効である。
【００７１】
図１１に示すように、組立マニュアルの一連の作業は、１個の作業１からなる工程１と、２個の作業２、３からなる工程２とを有する。作業者は、工程１と２の順序を変更し、かつ工程２内の作業２、３の順序を変更せずに作業を行う。その結果、イベントリスト３１５は、「部品ｐ２」、「部品ｐ３」、「工具ｔ２」、「部品ｐ１」、「工具ｔ１」に関する順となる。マルチメディアマニュアル作成ソフトウェア３１２は、マニュアルデータファイル３１４の各作業に開始時刻情報を付与するとともに、各工程に時刻付与済みであることを示す情報を付与する。
【００７２】
図１２は図１１の処理を実行するためのフローチャートである。
まず、イベントリスト３１５からイベントデータを読み出す（ステップＳ３１）。イベントデータが存在した場合は（ステップＳ３２：YES）、対応する作業をマニュアルデータファイル３１４から検索する（ステップＳ３３）。検索範囲は現在の工程の現在の作業から現在の工程の最終作業迄であり、その範囲内で対応する最初の作業を検索する。
【００７３】
検索の結果、対応する作業を発見した場合は（ステップＳ３４：YES）、その作業が現在の作業か否かを判断し、現在の作業でなかった場合は（ステップＳ４１：NO）、現在の作業として設定するとともに、その作業に対し、イベントデータ中の時刻情報を付与する（ステップＳ４２）。一方、現在の作業であった場合は、そのイベントを廃棄する（ステップＳ４３）。
【００７４】
検索の結果、対応する作業を発見しなかった場合は（ステップＳ３４：NO）、検索範囲を現在の工程の１個後の工程から３個後の工程に設定して検索を行い（ステップＳ３５）、発見した場合は（ステップＳ３６：YES）、ステップＳ４１：NOを経て、その作業を現在の作業として設定し、かつその作業に対してイベントデータ中の時刻情報を付与するとともに、その作業の属する工程に対して時刻情報が付与済であることを示す情報を付与する（ステップＳ４２）。
【００７５】
ステップＳ３６にて発見しなかった場合は、検索範囲を最初の工程から現在の工程の１個前の工程に設定して検索を行い（ステップＳ３７）、発見した場合は（ステップＳ３８：YES）、ステップＳ３６にて発見した場合と同様に処理する（ステップＳ４１→Ｓ４２又はＳ４３）。
【００７６】
ステップＳ３８にて発見しなかった場合は、検索範囲を現在の工程の４個後の工程から最終工程に設定して検索を行い（ステップＳ３９）、発見した場合は（ステップＳ４０：YES）、ステップＳ３６にて発見した場合と同様に処理する（ステップＳ４１→Ｓ４２又はＳ４３）。一方、発見しなかった場合は（ステップＳ４０：NO）は、次のイベントデータを読み出す（ステップＳ３１）。
【００７７】
現在の作業が現在の工程の最終作業となり（ステップＳ４４：YES）、かつ時刻情報が付与されていない工程が無くなる（ステップＳ４５：NO）か、又はイベントリスト３１５のイベントデータを全て読み出し終わる迄（ステップＳ３２：NO）、ステップＳ３１〜Ｓ４３の処理を繰り返す。
【００７８】
例えば図１１の場合は、イベントリスト３１５から最初に読み出されるイベントデータは「部品ｐ２」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「工程２」の「作業２」を発見する（ステップＳ３４：YES）。最初にイベントデータを読み出す場合は、「現在の工程」、「現在の作業」は未設定であるから（ステップＳ４１：NO）、「作業２」を現在の作業として設定し、かつ「工程２」を現在の工程として設定するとともに、「作業２」に対し、その開始時刻情報として「部品ｐ２」に関するイベントデータの時刻情報である「０分２秒」を付与し、かつ「工程２」に対して時刻情報が付与済であることを示す情報を付与する（ステップＳ２０）。
【００７９】
「作業２」は「工程２」の最終作業ではないから（ステップＳ４４：NO）、次のイベントデータを読み出す（ステップＳ３１）。次のイベントデータは「部品ｐ３」に関するものであるから、ステップＳ３３の検索で発見される。「部品ｐ３」は「作業３」に関するものであるから、ステップＳ４１：NOを経て、「作業３」を現在の作業として設定し、その「作業３」に対し、「部品ｐ３」に関するイベントデータの時刻である「０分４秒」を付与する。
【００８０】
次いで、「作業３」が「工程２」の最終作業であると判断（ステップＳ４４：NO）し、時刻の付与されていない工程が有ると判断（ステップＳ４５：YES）した後に、次のイベントデータを読み出す（ステップＳ３１）。次のイベントデータは、「部品ｐ１」に関するものであるから、現在の工程（工程２）の１個前の工程の作業である。従って、ステップＳ３３、Ｓ３５では発見せず、Ｓ３７にて発見する。この作業は現在の作業（「作業２」）ではなく、かつそれが属する工程も現在の工程（「工程２」）ではないから、ステップＳ４１：NOを経て、ステップＳ４２にて、「作業１」を現在の作業として設定し、かつその「作業１」に対してイベントデータ中の時刻情報である０分１５秒を付与するとともに、「工程１」に対して時刻情報が付与済であることを示す情報を付与する。以下、同様の処理を繰り返す。
【００８１】
図１３は上記（４）の場合のイベント−作業対応付け処理部３０７の処理の流れを示す図である。この図において、図７と同一又は対応する部分には図７と同じ符号を付した。この処理は、例えば作業者が作業マニュアルの工程内の作業順を改善しつつマルチメディアマニュアルを作成する場合などに有効である。
【００８２】
図１３に示すように、組立マニュアルの内容は図１１と同じである。作業者は、工程の順序は変更せず、工程２内の作業２、３の順序を変更して作業を行う。その結果、イベントリスト３１５は、「部品ｐ１」、「工具ｔ１」、「部品ｐ３」、「工具ｔ２」、「部品ｐ２」に関する順となる。マルチメディアマニュアル作成ソフトウェア３１２は、各作業に開始時刻情報を付与する。
【００８３】
図１４は図１３の処理を実行するためのフローチャートである。
まず、イベントリスト３１５からイベントデータを読み出す（ステップＳ５１）。イベントデータが存在した場合は（ステップＳ５２：YES）、対応する作業をマニュアルデータファイル３１４から検索する（ステップＳ５３）。検索範囲は現在の工程（ただし現在の作業を除く）から最終工程迄であり、その範囲内で時刻情報の付与されていない最初の作業を検索する。
【００８４】
検索の結果、対応する作業を発見した場合は（ステップＳ５４：YES）、ステップＳ５７：NOを経て、その作業を現在の作業として設定するとともに、その作業に対し、その開始時刻情報としてイベントデータ中の時刻情報を付与する（ステップＳ５８）。一方、発見しなかった場合は（ステップＳ５４：NO）、検索範囲を現在の工程から最終工程に変更して、検索を行う（ステップＳ５５）。
【００８５】
検索の結果、対応する作業を発見した場合は（ステップＳ５６：YES）、その作業が現在の作業か否かを判断し、現在の作業でなかった場合は（ステップＳ５７：NO）、現在の作業として設定するとともに、その作業に対し、その開始時刻情報としてイベントデータ中の時刻情報を付与する（ステップＳ５８）。一方、現在の作業であった場合は、そのイベントを廃棄する（ステップＳ５９）。時刻情報の付与されていない作業がなくなるか（ステップＳ６０：NO）、又はイベントリスト３１５のイベントデータを全て読み出し終わる迄（ステップＳ５２：NO）、ステップＳ５１〜Ｓ５９の処理を繰り返す。
【００８６】
例えば図１３の場合は、イベントリスト３１５から最初に読み出されるイベントデータは「部品ｐ１」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「工程１」の「作業１」を発見する（ステップＳ５４：YES）。最初にイベントデータを読み出す場合は、「現在の作業」は未設定であるから（ステップＳ５７：NO）、「作業１」を現在の作業として設定し、かつ「作業１」に対し、その開始時刻情報として「部品ｐ１」に関するイベントデータの時刻である「０分２秒」を付与する（ステップＳ５８）。
【００８７】
次に読み出されるイベントデータは「工具ｔ１」に関するものであるから、マニュアルデータファイル３１４中の対応する作業は「工程１」の「作業１」である。しかし、「作業１」は現在の作業であるから、ステップＳ５３の検索範囲外となり、ステップＳ５５にて発見される。そして、ステップＳ５７：YESを経て、イベントデータを廃棄し（ステップＳ５９）、次のイベントデータを読み出す（ステップＳ５１）。
【００８８】
次のイベントデータは「部品ｐ３」に関するものであるから、マニュアルデータファイル３１４中の対応する作業は「工程２」の「作業２」である。従って、ステップＳ５３にて発見され、ステップＳ５７：NOを経て、ステップＳ５８にて、「作業２」を現在の作業として設定し、かつ「作業２」に対し、「部品ｐ３」に関するイベントデータの時刻情報である「０分９秒」を付与する（ステップＳ５８）。以下、同様の処理を繰り返す。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態のデータ処理装置により作成されるマルチメディアマニュアルが使用されるシステムを示す図である。
【図２】図１における管理者端末の構成例を示すブロック図である。
【図３】図２の作業者情報取得部が取得する作業者情報データの構成例を示す図である。
【図４】図１における作業者端末の構成例を示すブロック図である。
【図５】マニュアルコンテンツ情報データの構成例を示す図である。
【図６】図１における管理者端末にてマルチメディアマニュアルデータを生成するための構成を示す図である。
【図７】図６におけるイベントリスト作成部及びイベント−作業対応付け処理部の処理の流れの一例を示す図である。
【図８】イベント−作業対応付け処理部の処理の一例を示すフローチャートである。
【図９】図６におけるイベント−作業対応付け処理部の処理の流れの別の一例を示す図である。
【図１０】図９の処理を実行するためのフローチャートである。
【図１１】図６におけるイベント−作業対応付け処理部の処理の流れのさらに別の一例を示す図である。
【図１２】図１１の処理を実行するためのフローチャートである。
【図１３】図６におけるイベント−作業対応付け処理部の処理の流れのその他の一例を示す図である。
【図１４】図１３の処理を実行するためのフローチャートである。
【符号の説明】
【００９０】
３０６・・・イベントリスト作成部、３０７・・・イベント−作業対応付け処理部、３１１・・・ビデオ解析ソフトウェア、３１２・・・マルチメディアマニュアル作成ソフトウェア、３１３・・・組立作業のビデオデータファイル、３１４・・・組立作業マニュアルのデータファイル。
【技術分野】
【０００１】
本発明は、マルチメディアマニュアルの作成が可能なデータ処理装置及びそのためのプログラムに関し、特に、製造ラインにおける部品の組み立て手順などのような、作業時間が定められている手順のためのマルチメディアマニュアルの作成に好適なデータ処理装置及びそのためのプログラムに関する。
【背景技術】
【０００２】
近年、製造業では、生産拠点の海外シフトや派遣社員の雇用増加に伴い、新たに技術の習得が必要な作業者が増加しており、生産性及び品質の向上のため、これらの作業者に対する教育環境の整備が重要な課題となっている。
【０００３】
このような問題に対し、マルチメディアマニュアル及びその作成支援システムが知られている（特許文献１）。このようなマルチメディアマニュアルによれば、組立手順が文章とともに動画で提示されるため、作業者は組立手順を視覚的に容易に認識し、把握でき、教育期間の短縮、及び教育要員の削減、技術の伝承などに有用である。また、動画の推移により組立作業のペース配分をナビゲートするように構成すれば、生産ラインでは、決められた作業時間で組立作業を実施できる環境を構築することができるため、作業効率の向上及び生産リードタイムの短縮が期待できる。
【０００４】
ところで、このようなマルチメディアマニュアルを作成するためには、マニュアルのテキストデータに動画データを対応付けることが必要である。特許文献１に開示されている作成支援システムでは、マニュアルのテキストデータから名詞と動詞を抽出し、名詞の外見を示す静止画データと、動詞が表す動作データとをアニメーション辞書データから読み出し、マニュアルのテキストデータに対応する動画データを生成することで、対応付けを行っている。また、名詞と動詞とから動画データ生成できないときは、ビデオカメラを用いて動画データ（ビデオデータ）を生成している。
【０００５】
しかしながら、この作成支援システムでは、アニメーション辞書データの作成に手間及びコストがかかるという問題がある。また、名詞と動詞とから動画データを生成できない度にビデオカメラで動画データを作成する必要があるため、マニュアルの作成者の負担が大きいという問題がある。
【０００６】
【特許文献１】特開平８−３２０８７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題を解決するためになされたもので、文章及び動画を用いたマルチメディアマニュアルを作成するときに、マニュアルのテキストデータと、動画データとの対応付けに要する負担及びコストを低減することである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成する手段と、前記イベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける手段とを有することを特徴とするデータ処理装置である。
請求項２の発明は、請求項１記載のデータ処理装置において、前記時刻情報は、前記作業者が前記対象物に対する接触を開始した時刻を示すことを特徴とするデータ処理装置である。
請求項３の発明は、請求項１記載のデータ処理装置において、前記一連の作業は、一つ以上の作業からなる複数の工程により構成されていることを特徴とするデータ処理装置である。
請求項４の発明は、請求項１記載のデータ処理装置において、前記対応付ける手段は、前記作業者が前記作業マニュアルに記載されたとおりの順序で前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置である。
請求項５の発明は、請求項１記載のデータ処理装置において、前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置である。
請求項６の発明は、請求項３記載のデータ処理装置において、前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された各工程の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置である。
請求項７の発明は、請求項３記載のデータ処理装置において、前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された各工程内の作業の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置である。
請求項８の発明は、文章及び動画を用いた電子マニュアルであるマルチメディアマニュアルを作成する装置のコンピュータを、作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成する手段と、前記イベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける手段として機能させるためのコンピュータプログラムである。
【０００９】
（作用）
請求項１、８の発明によれば、作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成し、そのイベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける。
請求項２の発明によれば、作業者が前記対象物に対する接触を開始した時刻の情報を前記作業マニュアルにおける前記各作業を示すデータに対応付ける。
請求項３の発明によれば、一つ以上の作業からなる複数の工程の各作業示すデータに前記イベントデータの時刻情報を対応付ける。
請求項４の発明によれば、作業者が前記作業マニュアルに記載されたとおりの順序で前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付ける。
請求項５の発明によれば、前記作業者が前記作業マニュアルに記載された順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付ける。
請求項６の発明によれば、前記作業者が前記作業マニュアルに記載された各工程の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付ける。
請求項７の発明によれば、前記作業者が前記作業マニュアルに記載された各工程内の作業の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付ける。
【発明の効果】
【００１０】
本発明によれば、文章及び動画を用いたマルチメディアマニュアルを作成するときに、マニュアルのテキストデータと、動画データとの対応付けに要する負担及びコストを低減することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本発明の実施形態のデータ処理装置により作成されるマルチメディアマニュアルが使用されるシステムを示す図である。このシステムは、作業者が製品製造を行うラインを備えた生産区と、管理者が製品の製造工程を管理運用する技術区とを有する製品製造及び工程管理運用を行う環境下で利用される。
【００１２】
このシステムにおいて、生産区には、管理者が作業者へ提示するマニュアルコンテンツを制御するための管理者端末として使用する情報処理装置（以下、「管理者端末」と言う。）１０と、マニュアルコンテンツを表示するための作業者端末として使用する情報処理装置（以下、「作業者端末」と言う。）２０１、２０ｎとが設けられており、技術区には、管理者が作業者へ提示するマニュアルコンテンツの素材を収集するための管理者端末として使用する情報処理装置３０１（以下、「管理者端末３０１」と言う。）、管理者が作業者へ提示するマニュアルコンテンツを作成及び編集を行うための管理者端末として使用する情報処理装置３０２（以下、「管理者端末３０２」と言う。）、作業者端末１０へ表示するマニュアルコンテンツと作業者情報等を管理するデータベース機能を備えた管理サーバ４０１、作業者の認証処理を行う管理サーバ４０２とが設けられている。そして、生産区に設けられた各端末と、技術区に設けられた各端末及びサーバとは、ＬＡＮ（Local Area Network）、公衆回線及び無線回線等のネットワーク５０に接続されており、管理者端末１０から、ネットワーク５０を介して、管理サーバ４０１が管理するマニュアルコンテンツを、作業者情報を基に制御することで、作業者端末２０ｎに、作業者毎の作業工程や習熟度に合わせたマニュアルコンテンツを表示させることができる。
【００１３】
このように、図１に示すシステムを、製品製造環境下に整備し、作業者毎の技術習得レベルである習熟度にあわせたマニュアルコンテンツを表示することで、技術習得が未熟な作業者を短期間に習熟させることができ、また、ある程度習熟した作業者へ、生産性向上や品質維持を意識した作業を行わせることができる。
【００１４】
図２は、図１における管理者端末１０の構成例を示すブロック図である。この管理者端末１０は、制御部１０１、通信部１０２、記憶部１０３、及び表示部１０４を備えている。
【００１５】
制御部１０１は、管理者端末１０に搭載（インストール）されたＯＳ（Operating System）により、キーボード入力や画面出力などの入出力機能やハードディスクやメモリの管理機能等、各種アプリケーションから共通に利用される基本的な機能を提供し、管理者端末１０のシムテム全体を制御する。
【００１６】
通信部１０２は、ネットワーク５０上の通信機能を有する装置（作業者端末２０ｎ、管理者端末３０１、３０２、管理サーバ４０１、認証サーバ４０２）との間で、作業者情報、マニュアルコンテンツに関する情報、動画、静止画、音声、文字等のコンテンツデータを双方向通信によって送受する。
【００１７】
記憶部１０３は、ハードディスクやメモリ等の記憶装置及び媒体である。ハードディスクは、各種アプリケーションソフトウェア（マニュアルコンテンツ制御機能を実現するソフトウェアを含む。）及び各種アプリケーションソフトウェアに関するデータ（管理サーバ４０１から取得した作業者情報及びマニュアルコンテンツを含む。）等を、ディスク領域に保存する。また、メモリは、各種アプリケーションソフトウェアの実行プログラム（マニュアルコンテンツ制御機能を実現するソフトウェアの実行プログラムを含む。）、実行されているプログラムに係るデータ等を、一時的に保存する。
【００１８】
表示部１０４は、文字、図形及び画像等を表示する装置で、管理者端末１０に導入された各種アプリケーションソフトウェアの実行プログラムが生成する２次元、３次元グラフィック（ビットマップ、文字及び図形等を含む。）等を表示する。
【００１９】
また、制御部２０１は、作業者情報取得部６０１、マニュアルコンテンツ選択部６０２、習熟度判定部６０３、コンテンツ設定部６０４で構成されたマニュアルコンテンツ制御部６０を有している。
【００２０】
作業者情報取得部６０１は、管理サーバ４０１に登録されている作業者の情報である作業者情報を取得する。作業者情報取得部６０１が取得する作業者情報データの構成例を図３に示す。
【００２１】
この図に示すように、作業者情報は、作業者ＩＤ、習熟度、担当作業、再生スピードの各データで構成されており、作業者毎にこれらのデータが対応付けられ、管理サーバ４０１で管理されている。
【００２２】
作業者ＩＤは、作業者を識別するためのＩＤであり、作業者を登録する際に設定される。また、作業者ＩＤは、作業者情報取得部６０１により取得され、マニュアルコンテンツ制御部６０内で、マニュアルコンテンツ提示対象である作業者を特定する際に参照される。
【００２３】
習熟度は、作業スピード、製品不良発生率のデータで構成されている。作業スピードは、作業者が作業を開始して終了するまでに掛かった時間（Ｔ）で、作業中に、作業者端末２０ｎへ提示されるマニュアルコンテンツである動画の総フレーム数（Ｆ）を除算したＦＰＳ（Frame Per Second）の値（Ｆ／Ｔ）である。ＦＰＳは、一般的に、動画の滑らかさを表す指標であり、1秒間に何枚の画像を表示しているかを示す。また、製品不良発生率は、作業者が作業中に製造した製品の内、不良品を発生した率を示すものである。
【００２４】
習熟度は、作業者が作業を終えた際に、作業者端末２０ｎにおけるマニュアルコンテンツ提示機能により更新される。また、習熟度は、作業者情報取得部６０１により取得され、マニュアルコンテンツ制御部６０内で、マニュアルコンテンツ提示対象である作業者の作業技術及び作業手順における習得状況を判断する際に参照される。
【００２５】
担当作業は、作業者が担当する作業を示すものである。担当作業は、作業者が生産区のラインにおいて、実際の製品の製造工程で行う作業を想定し設定する。また、担当作業は、作業者情報取得部６０１により取得され、マニュアルコンテンツ制御部６０内で、マニュアルコンテンツ提示対象である作業者の担当作業の変更や習熟度変化を基に、変更が必要な場合に担当作業が変更される。
【００２６】
再生スピードは、作業者の習熟度にあわせた技術習得や作業のペース配分等を目的とし、作業者端末２０ｎにマニュアルコンテンツを提示するため、前述したＦＰＳの値に動画再生スピードを調整する係数（ｗ）（又は、重み係数とも言う。）を乗算した値（ｗ×（Ｆ／Ｔ））である。また、再生スピードは、作業者情報取得部６０１により取得され、マニュアルコンテンツ制御部６０内で、マニュアルコンテンツ提示対象である作業者の習熟度に合わせて変更される。
【００２７】
習熟度判定部６０２は、作業者情報取得部６０１により取得された作業者情報内に含まれる習熟度（「作業スピード」、「製品不良発生率」）を基に、マニュアルコンテンツ提示対象である作業者の作業技術及び作業手順における習得状況を判断し、作業者に対し、技術習得を目的とする（以下、「訓練モード」と言う。）か、作業のペース配分を目的とする（以下、「ペース配分モード」と言う。）か、作業者端末２０nによるマニュアルコンテンツの提示目的（以下、「動作モード」と言う。）を決定する。習熟度判定部６０２は、作業者の習得状況を判断するため、予め、複数の作業者からサンプリングしたデータ（時間経過と伴に変化する作業スピード、製品不良発生率を採取したデータ）を分析し、作成した基準値を用いる。例えば、作業スピードの場合には、目標時間内で担当作業が完了するスピードを最終目標値とし、その前の段階の基準値に、最終目標値の２倍のスピード、さらに前の段階の基準値に、２．５倍のスピードを用いる等のように、習熟段階に応じた複数の基準を設けておく。
【００２８】
コンテンツ設定部６０３は、習熟度判定部６０２により決定された動作モードに従い、作業者端末２０nによるマニュアルコンテンツの提示の仕方を制御する作業者情報を設定する。コンテンツ設定部６０３は、作業者情報取得部６０１により取得された作業者情報に含まれる担当作業、再生スピードを設定し、管理サーバ４０１が管理する作業者情報へ設定内容を反映させる。
【００２９】
このように、マニュアルコンテンツ制御部６０は、作業者情報取得部６０１により作業者情報を取得し、作業者情報に含まれる習熟度を基に、習熟度判定部６０２により、作業者端末２０ｎへ提示するマニュアルコンテンツの動作モードを決定し、決定された動作モードに従って、コンテンツ設定部６０３により、管理サーバ４０１が管理する作業者情報に含まれる担当作業、再生スピードを設定する。
【００３０】
以上のように、図２に示す管理者端末１０は、マニュアルコンテンツ制御部６０により、作業者端末２０ｎに対し、作業者の習熟度に合わせてマニュアルコンテンツを表示するように制御することができる。
【００３１】
図４は、図１における作業者端末２０ｎの構成例を示すブロック図である。
作業者端末２０ｎは、制御部２０１、通信部２０２、記憶部２０３、及び表示部２０４を備えている。これらの処理部の基本構成及び機能は図２に示す管理者端末１０の構成例と同じであるから、その説明は省略し、図２と異なる点、即ち制御部２０１が有するマニュアルコンテンツ提示部７０について説明する。
【００３２】
マニュアルコンテンツ提示部７０は、作業者情報取得部７０１、マニュアルコンテンツ取得部７０２、作業再生処理部７０３、表示処理部７０４、習熟度更新部７０５で構成されている。
【００３３】
作業者情報取得部７０１は、管理者端末１０が有するマニュアルコンテンツ制御部６０により設定された、管理サーバ４０１に登録されている作業者情報を取得する。作業者情報取得部７０１により取得される作業者情報は、図２に示すマニュアルコンテンツ制御部６０における作業者情報取得部６０１で説明した作業者情報と同じである。
【００３４】
マニュアルコンテンツ取得部７０２は、作業者情報取得部７０１により取得された作業者情報に含まれる担当作業に基づき、管理サーバ４０１が管理するマニュアルコンテンツ関連データを取得する。管理サーバ４０１が管理するマニュアルコンテンツ関連データは、図５に示すマニュアルコンテンツ情報データである。
【００３５】
図５に示すように、マニュアルコンテンツ情報データは、マニュアル名、動画ＩＤ、製品名、及び作業情報で構成され、製品を製造する上で必要な各製造工程に関連する情報である。ここで、マニュアル名は、製品を製造する上で必要な各作業工程を示す名前である。動画ＩＤは、マニュアルコンテンツ提示の際に再生される動画データを識別するためのＩＤである。製品名は、製造する製品の名前である。
【００３６】
作業情報は、作業ＩＤ、作業名、開始フレーム番号、終了フレーム番号、及びアクション情報で構成され、作業工程内の各作業に関連する情報である。ここで、作業ＩＤは、作業を識別するためのＩＤである。作業名は、作業を示す名前である。開始フレーム番号及び終了フレーム番号は、動画データにおける作業単位での開始及び終了に対応するフレーム番号である。
【００３７】
アクション情報は、アクションＩＤ、アクション名、部品ＩＤ、工具ＩＤ、及び説明文で構成され、作業内の各手順に関する情報である。ここで、アクションＩＤは、手順を識別するためのＩＤである。アクション名は、手順を示す名前である。部品ＩＤは、手順内で組立対象となる部品を識別するためのＩＤである。工具ＩＤは、手順内で組立対象となる部品を組み立てるときに使用する工具を識別するためのＩＤである。説明文は、手順が行う内容を簡単にまとめたものである。
【００３８】
このように、マニュアルコンテンツ情報データは、製品を製造する上で必要な各作業工程、作業工程を構成する各作業、作業を構成する各手順のような階層構造を持ったデータとなっている。また、マニュアルコンテンツ情報データは、管理者端末３０2により、マルチメディアマニュアルデータを生成する際に参照される。
【００３９】
マルチメディアマニュアルデータは、マニュアルコンテンツ情報データを、予め決めておいたタグで囲うデータ構造になっており、ＸＭＬ（Extensible Markup Language）形式で記述される。ＸＭＬのようなマークアップ言語で記述されたデータは、表示機能を有するソフトウェアにより、データ内に埋め込まれたタグが解読され、タグで囲まれたデータに対し、解読した処理命令を実行することができる。
【００４０】
マニュアルコンテンツ取得部７０２は、マニュアルコンテンツ関連データとして、作業者の担当作業に該当するＸＭＬ形式のマルチメディアマニュアルデータを取得する。マニュアルコンテンツ取得部７０２は、取得したマルチメディアマニュアルデータを基に、動画、静止画、音声、文字情報等のマニュアルコンテンツを、管理サーバ４０１が有するデータベースを操作するコマンド（例えば、データ検索、取得等。）を使用し取得する（この場合、データを取得する代わりに選択してもよい。）。
【００４１】
作業再生処理部７０３は、マニュアルコンテンツ取得部７０２により取得されたマルチメディアマニュアルデータに従い、該当する動画、静止画、音声、文字情報等のマニュアルコンテンツを再生する。作業再生処理部７０３は、作業者情報取得部７０１により取得された作業者情報の担当範囲、再生スピードを基に、マニュアルコンテンツを再生する。また、作業再生処理部７０３は、管理者端末１０により決定された動作モードに従い、マニュアルコンテンツ再生時の「一時停止」、「繰り返し再生」、「早送り」、「巻き戻し」等、再生の仕方を制御する。
【００４２】
表示処理部７０４は、作業再生処理部７０３により再生されたマニュアルコンテンツを、作業者端末２０ｎが備える表示部２０４へ表示する。また、表示処理部７０４は、作業上のポイントや次作業への移行等の作業工程に関する情報を作業者へ知らせるため、作業工程に関する情報を示す静止画、音声、文字情報を、再生中の動画コンテンツ上に重畳させ表示する。
【００４３】
習熟度更新部７０５は、作業者が担当作業を終えた際、作業者の最新の作業スピード、製品不良発生率を、管理サーバ４０１が管理する作業者情報を更新する。
【００４４】
このように、マニュアルコンテンツ提示部７０は、作業者情報取得部７０１により作業者情報を取得し、作業者情報に含まれる担当作業を基に、マニュアルコンテンツ取得部７０２により取得したマルチメディアマニュアルデータに従い、作業再生処理部７０３により、作業者情報に含まれる再生スピードでマニュアルコンテンツを再生する。また、マニュアルコンテンツ提示部７０は、作業再生処理部７０３によりマニュアルコンテンツを再生した際、管理者端末１０により決定された動作モードに従い、「一時停止」、「繰り返し再生」、「早送り」、「巻き戻し」等、再生の仕方を制御する。また、マニュアルコンテンツ提示部７０は、表示処理部７０４により、作業上のポイントや次作業への移行等の作業工程に関する情報を示す静止画、音声、文字情報を、再生中の動画コンテンツ上に重畳させ表示する。また、マニュアルコンテンツ提示部７０は、習熟度更新部７０５により、作業者の作業終了後、作業者の最新の作業スピード、製品不良発生率を、管理サーバ４０１が管理する作業者情報を更新する。
【００４５】
以上のように、図４に示す作業端末２０ｎは、マニュアルコンテンツ提示部７０を、制御部２０１で動作させることで、作業者の習熟度にあわせたマニュアルコンテンツを表示することができる。
【００４６】
図６は、管理者端末３０2にてマルチメディアマニュアルデータを生成するための構成を示す図である。管理者端末３０2は、制御部３０１、入力部３０１、記憶部３０３、表示部３０４、及び通信部３０５を有する。
【００４７】
入力部３０２は、管理者などが管理者端末３０2を動作させるときに使用するキーボードやマウスなどである。通信部３０３、記憶部３０４、及び表示部３０５は、それぞれ図２で示した管理者端末１０における通信部１０２、記憶部１０３、及び表示部１０４と同様に構成されている。
【００４８】
制御部３０１は、イベントリスト作成部３０６及びイベント−作業対応付け処理部３０７を備えている。これらは制御部３０１の機能を示す機能ブロックである。
【００４９】
記憶部３０４には、アプリケーションとしてビデオ解析ソフトウェア３１１及びマルチメディア作成ソフトウェア３１２が格納されており、データとして組立作業のビデオデータファイル（以下、ビデオデータファイルと言う）３１３及び組立作業マニュアルの内容を示すデータファイル（以下、マニュアルデータファイルと言う）３１４が格納されている。
【００５０】
ビデオデータファイル３１３は、作業者が組立マニュアルに基づいて、組立作業を実行した様子をビデオカメラで撮像して生成したビデオデータ（動画データ）及び時刻情報（タイムインデックス）のファイルである。マニュアルデータファイル３１４は、図５に示すアクション情報のファイルである。
【００５１】
ビデオ解析ソフトウェア３１１は、ビデオデータファイル３１３を読み込み、そのビデオデータを解析することにより、作業者の手が所定の部品や工具に触れたり、持ったりしている状態を検出するとともに、そのときの時刻情報を、部品情報や工具情報と対応付けたイベントデータを作成する。つまり、ビデオ解析ソフトウェア３１１は、イベント作成部３０６を実現するためのソフトウェアである。
【００５２】
マルチメディア作成ソフトウェア３１２は、イベント作成部３０６により作成されたイベントデータと、マニュアルデータファイル３１４とに基づいて、そのデータファイル中の各作業に対応するイベントデータの時刻情報を付与することにより、マニュアルデータファイル３１４にビデオデータファイル３１３を対応付ける機能を持っている。つまり、マルチメディア作成ソフトウェア３１２は、イベント−作業対応付け処理部３０７を実現するためのソフトウェアである。
【００５３】
図７は、図６におけるイベントリスト作成部３０６及びイベント−作業対応付け処理部３０７の処理の流れを示す図である。
ビデオ解析ソフトウェア３１１は、ビデオデータファイル３１３により表示される動画上の作業者の両手にマーカーを設定する機能、そのマーカーが動画上の工具ｔ１，ｔ２、部品ｐ１，ｐ２，ｐ３などと重なっていることを、ビデオデータを解析することにより検出する機能、及び重なっているときの時刻情報を工具、部品に対応付けたイベントデータのリスト（イベントリスト）を作成する機能を備えている。ここでは、イベントリスト３１５は、時刻０分２秒、時刻０分４秒、時刻０分９秒、時刻０分１５秒、時刻０分１７秒で、作業者がそれぞれ部品ｐ１、工具ｔ１、部品ｐ２、部品ｐ３、工具ｔ２に対する接触を開始したことを示すイベントデータを有している。
【００５４】
マルチメディアマニュアル作成ソフトウェア３１２は、イベントリスト３１５からイベントデータを順次読み出し、そのイベントデータ中の部品情報、工具情報をキーとして、マニュアルデータファイル３１４を検索し、発見した対応する作業に開始時刻情報を付与して、イベント時刻と対応付けされたマニュアルデータファイル３１６を作成する。ここでは、作業１、２、３のそれぞれの開始時刻情報として、作業者が部品ｐ１、ｐ２、ｐ３に対する接触を開始した時刻、換言すれば部品ｐ１、ｐ２、ｐ３の使用を開始した時刻、を示す情報が付与されている。
【００５５】
このデータファイル３１６は、マルチメディア作成ソフトウェア３１２の機能により、ビデオデータファイル３１３と対応付けられ、マルチメディアマニュアルデータファイル３１７が生成される。なお、ここでは、ビデオデータファイル３１３は予め取得したものであるが、ビデオデータファイル３１３の取得からデータファイル３１６の作成迄をリアルタイムで実行するように構成してもよい。
【００５６】
本実施形態は２種類の作業マニュアルに対応している。一つは各作業がフラット構造、即ち１つ以上の作業が工程（ステップ）としてグループ化されていない作業マニュアルであり、もう一つは各作業がツリー構造、即ちそのようにグループ化されている作業マニュアルである。さらに、前者において、（１）作業者が作業マニュアルの作業順に組立作業を実行した場合と、（２）作業マニュアルの作業順を変更して組立作業を実行した場合の２通りがあり、後者において、（３）作業者が作業マニュアルの工程順を変更し、かつ各工程内の作業順を変更しない場合と、（４）作業マニュアルの工程順を変更せず、かつ各工程内の作業順を変更した場合の２通りがあるので、合計４通りの場合に対応している。以下、これらを順に説明する。
【００５７】
図８は上記（１）の場合のイベント−作業対応付け処理部３０７の処理を示すフローチャートである。この処理は、作業マニュアルが理想的に出来ており作業者が作業マニュアルどおりに作業することで、マルチメディアマニュアルを作成することが出来る場合に実行する。
【００５８】
まず、イベントリスト３１５（図７）からイベントデータを読み出す（ステップＳ１）。イベントデータが存在した場合は（ステップＳ２：YES）、そのイベントデータ中の対象物情報（ここでは工具情報と部品情報）を検索キーとして、対応する最初の作業、即ちその対象物を扱う最初の作業をマニュアルデータファイル３１４から検索する（ステップＳ３）。検索範囲は現在の作業から最終作業迄である。
【００５９】
検索の結果、対応する作業を発見した場合は（ステップＳ４：YES）、その作業が現在の作業か否かを判断し、現在の作業でなかった場合は（ステップＳ５：NO）、その作業を現在の作業として設定するとともに、その作業に対し、イベントデータ中の時刻情報を付与する（ステップＳ６）。一方、現在の作業であった場合は、そのイベントを廃棄する（ステップＳ７）。現在の作業が最終作業となるまで（ステップＳ８：YES）、又はイベントリスト３１５のイベントデータを全て読み出し終わる迄（ステップＳ２：NO）、ステップＳ１〜Ｓ６の処理を繰り返す。
【００６０】
例えば図７の場合、イベントリスト３１５から最初に読み出されるイベントデータは「部品ｐ１」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「作業１」を発見する（ステップＳ４：YES）。最初にイベントを読み出す場合は、「現在の作業」は未設定であるから（ステップＳ５：NO）、「作業１」を現在の作業として設定するとともに、「作業１」に対し、その開始時刻情報として「部品ｐ１」に関するイベントデータの時刻である「０分２秒」を付与する（ステップＳ６）。次のイベントデータは「工具ｔ１」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「作業１」を発見する。「作業１」は現在の作業であるから（ステップＳ５：YES）、そのイベントデータを廃棄する（ステップＳ７）。以下、同様の処理を繰り返す。
【００６１】
図９は上記（２）の場合のイベント−作業対応付け処理部３０７の処理の流れを示す図である。この図において、図７と同一又は対応する部分には図７と同じ符号を付した。
【００６２】
図９に示すように、作業者は、組立マニュアルの作業１と２の順序を反対にして作業を行うため、イベントリスト３１５には、作業２に対応するイベントである「部品ｐ２」に関するイベントデータが、作業１に対応するイベントデータである「工具ｔ１」及び「部品ｐ１」よりも先に作成される。従って、イベント時刻と対応付けされたマニュアルデータファイル３１６においても、作業２に付与された時刻情報は作業１よりも早くなる。
【００６３】
この処理は、例えば作業マニュアルの内容が不完全であり、作業者が作業マニュアルの作業順を改善しつつマルチメディアマニュアルを作成する場合などに有効である。
【００６４】
図１０は図９の処理を実行するためのフローチャートである。
まず、イベントリスト３１５からイベントデータを読み出す（ステップＳ１１）。イベントデータが存在した場合は（ステップＳ１２：YES）、対応する作業をマニュアルデータファイル３１４から検索する（ステップＳ１３）。検索範囲は現在の作業からその１０個後の作業迄であり、その範囲内で時刻情報の付与されていない最初の作業を検索する。
【００６５】
検索の結果、対応する作業を発見した場合は（ステップＳ１４：YES）、その作業が現在の作業か否かを判断し、現在の作業でなかった場合は（ステップＳ１９：NO）、現在の作業として設定するとともに、その作業に対し、イベントデータ中の時刻情報を付与する（ステップＳ２０）。一方、現在の作業であった場合は、そのイベントを廃棄する（ステップＳ２１）。
【００６６】
検索の結果、対応する作業を発見しなかった場合は（ステップＳ１４：NO）、検索範囲を最初の作業から現在の作業の１個前の作業に変更して検索を行い（ステップＳ１５）、発見した場合は（ステップＳ１６：YES）、前述したステップＳ１９、及びＳ２０又はＳ２１を実行し、発見しなかった場合は（ステップＳ１６：NO）は、検索範囲を現在の作業の１1個後の作業から最終作業迄に設定して検索を行う（ステップＳ１７）。そして、発見した場合は（ステップＳ１８：YES）、前述したステップＳ１９、及びＳ２０又はＳ２１を実行し、発見しなかった場合は（ステップＳ１８：NO）は、次のイベントデータを読み出す（ステップＳ１１）。
【００６７】
時刻情報が付与されていない作業がなくなるか（ステップＳ２２：NO）、又はイベントリスト３１５のイベントデータを全て読み出し終わる迄（ステップＳ１２：NO）、ステップＳ１１〜Ｓ２１の処理を繰り返す。
【００６８】
例えば図９の場合は、イベントリスト３１５から最初に読み出されるイベントデータは「部品ｐ２」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「作業２」を発見する（ステップＳ１４：YES）。最初にイベントデータを読み出す場合は、「現在の作業」は未設定であるから（ステップＳ１９：NO）、「作業２」を現在の作業として設定するとともに、「作業２」に対し、開始時刻情報として「部品ｐ２」に関するイベントデータの時刻である「０分２秒」を付与する（ステップＳ２０）。
【００６９】
イベントリスト３１５から次に読み出されるイベントデータは「部品ｐ１」に関するものである。ここで、「部品ｐ１」は「作業１」に対応するものであり、「作業１」は現在の作業よりも前の作業であるから、検索範囲が現在の作業よりも前であるステップＳ１５にて発見する（ステップＳ１３→Ｓ１４：NO→Ｓ１５→Ｓ１６：YES）。そして、「作業１」を現在の作業として設定するとともに、「作業１」に対し、その開始時刻情報として「部品ｐ１」に関するイベントデータの時刻である「０分４秒」を付与する（ステップＳ１９：NO→Ｓ２０）。以下、同様の処理を繰り返す。
【００７０】
図１１は上記（３）の場合のイベント−作業対応付け処理部３０７の処理の流れを示す図である。この図において、図７と同一又は対応する部分には図７と同じ符号を付した。この処理は、例えば作業者が作業マニュアルの工程順を改善しつつマルチメディアマニュアルを作成する場合などに有効である。
【００７１】
図１１に示すように、組立マニュアルの一連の作業は、１個の作業１からなる工程１と、２個の作業２、３からなる工程２とを有する。作業者は、工程１と２の順序を変更し、かつ工程２内の作業２、３の順序を変更せずに作業を行う。その結果、イベントリスト３１５は、「部品ｐ２」、「部品ｐ３」、「工具ｔ２」、「部品ｐ１」、「工具ｔ１」に関する順となる。マルチメディアマニュアル作成ソフトウェア３１２は、マニュアルデータファイル３１４の各作業に開始時刻情報を付与するとともに、各工程に時刻付与済みであることを示す情報を付与する。
【００７２】
図１２は図１１の処理を実行するためのフローチャートである。
まず、イベントリスト３１５からイベントデータを読み出す（ステップＳ３１）。イベントデータが存在した場合は（ステップＳ３２：YES）、対応する作業をマニュアルデータファイル３１４から検索する（ステップＳ３３）。検索範囲は現在の工程の現在の作業から現在の工程の最終作業迄であり、その範囲内で対応する最初の作業を検索する。
【００７３】
検索の結果、対応する作業を発見した場合は（ステップＳ３４：YES）、その作業が現在の作業か否かを判断し、現在の作業でなかった場合は（ステップＳ４１：NO）、現在の作業として設定するとともに、その作業に対し、イベントデータ中の時刻情報を付与する（ステップＳ４２）。一方、現在の作業であった場合は、そのイベントを廃棄する（ステップＳ４３）。
【００７４】
検索の結果、対応する作業を発見しなかった場合は（ステップＳ３４：NO）、検索範囲を現在の工程の１個後の工程から３個後の工程に設定して検索を行い（ステップＳ３５）、発見した場合は（ステップＳ３６：YES）、ステップＳ４１：NOを経て、その作業を現在の作業として設定し、かつその作業に対してイベントデータ中の時刻情報を付与するとともに、その作業の属する工程に対して時刻情報が付与済であることを示す情報を付与する（ステップＳ４２）。
【００７５】
ステップＳ３６にて発見しなかった場合は、検索範囲を最初の工程から現在の工程の１個前の工程に設定して検索を行い（ステップＳ３７）、発見した場合は（ステップＳ３８：YES）、ステップＳ３６にて発見した場合と同様に処理する（ステップＳ４１→Ｓ４２又はＳ４３）。
【００７６】
ステップＳ３８にて発見しなかった場合は、検索範囲を現在の工程の４個後の工程から最終工程に設定して検索を行い（ステップＳ３９）、発見した場合は（ステップＳ４０：YES）、ステップＳ３６にて発見した場合と同様に処理する（ステップＳ４１→Ｓ４２又はＳ４３）。一方、発見しなかった場合は（ステップＳ４０：NO）は、次のイベントデータを読み出す（ステップＳ３１）。
【００７７】
現在の作業が現在の工程の最終作業となり（ステップＳ４４：YES）、かつ時刻情報が付与されていない工程が無くなる（ステップＳ４５：NO）か、又はイベントリスト３１５のイベントデータを全て読み出し終わる迄（ステップＳ３２：NO）、ステップＳ３１〜Ｓ４３の処理を繰り返す。
【００７８】
例えば図１１の場合は、イベントリスト３１５から最初に読み出されるイベントデータは「部品ｐ２」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「工程２」の「作業２」を発見する（ステップＳ３４：YES）。最初にイベントデータを読み出す場合は、「現在の工程」、「現在の作業」は未設定であるから（ステップＳ４１：NO）、「作業２」を現在の作業として設定し、かつ「工程２」を現在の工程として設定するとともに、「作業２」に対し、その開始時刻情報として「部品ｐ２」に関するイベントデータの時刻情報である「０分２秒」を付与し、かつ「工程２」に対して時刻情報が付与済であることを示す情報を付与する（ステップＳ２０）。
【００７９】
「作業２」は「工程２」の最終作業ではないから（ステップＳ４４：NO）、次のイベントデータを読み出す（ステップＳ３１）。次のイベントデータは「部品ｐ３」に関するものであるから、ステップＳ３３の検索で発見される。「部品ｐ３」は「作業３」に関するものであるから、ステップＳ４１：NOを経て、「作業３」を現在の作業として設定し、その「作業３」に対し、「部品ｐ３」に関するイベントデータの時刻である「０分４秒」を付与する。
【００８０】
次いで、「作業３」が「工程２」の最終作業であると判断（ステップＳ４４：NO）し、時刻の付与されていない工程が有ると判断（ステップＳ４５：YES）した後に、次のイベントデータを読み出す（ステップＳ３１）。次のイベントデータは、「部品ｐ１」に関するものであるから、現在の工程（工程２）の１個前の工程の作業である。従って、ステップＳ３３、Ｓ３５では発見せず、Ｓ３７にて発見する。この作業は現在の作業（「作業２」）ではなく、かつそれが属する工程も現在の工程（「工程２」）ではないから、ステップＳ４１：NOを経て、ステップＳ４２にて、「作業１」を現在の作業として設定し、かつその「作業１」に対してイベントデータ中の時刻情報である０分１５秒を付与するとともに、「工程１」に対して時刻情報が付与済であることを示す情報を付与する。以下、同様の処理を繰り返す。
【００８１】
図１３は上記（４）の場合のイベント−作業対応付け処理部３０７の処理の流れを示す図である。この図において、図７と同一又は対応する部分には図７と同じ符号を付した。この処理は、例えば作業者が作業マニュアルの工程内の作業順を改善しつつマルチメディアマニュアルを作成する場合などに有効である。
【００８２】
図１３に示すように、組立マニュアルの内容は図１１と同じである。作業者は、工程の順序は変更せず、工程２内の作業２、３の順序を変更して作業を行う。その結果、イベントリスト３１５は、「部品ｐ１」、「工具ｔ１」、「部品ｐ３」、「工具ｔ２」、「部品ｐ２」に関する順となる。マルチメディアマニュアル作成ソフトウェア３１２は、各作業に開始時刻情報を付与する。
【００８３】
図１４は図１３の処理を実行するためのフローチャートである。
まず、イベントリスト３１５からイベントデータを読み出す（ステップＳ５１）。イベントデータが存在した場合は（ステップＳ５２：YES）、対応する作業をマニュアルデータファイル３１４から検索する（ステップＳ５３）。検索範囲は現在の工程（ただし現在の作業を除く）から最終工程迄であり、その範囲内で時刻情報の付与されていない最初の作業を検索する。
【００８４】
検索の結果、対応する作業を発見した場合は（ステップＳ５４：YES）、ステップＳ５７：NOを経て、その作業を現在の作業として設定するとともに、その作業に対し、その開始時刻情報としてイベントデータ中の時刻情報を付与する（ステップＳ５８）。一方、発見しなかった場合は（ステップＳ５４：NO）、検索範囲を現在の工程から最終工程に変更して、検索を行う（ステップＳ５５）。
【００８５】
検索の結果、対応する作業を発見した場合は（ステップＳ５６：YES）、その作業が現在の作業か否かを判断し、現在の作業でなかった場合は（ステップＳ５７：NO）、現在の作業として設定するとともに、その作業に対し、その開始時刻情報としてイベントデータ中の時刻情報を付与する（ステップＳ５８）。一方、現在の作業であった場合は、そのイベントを廃棄する（ステップＳ５９）。時刻情報の付与されていない作業がなくなるか（ステップＳ６０：NO）、又はイベントリスト３１５のイベントデータを全て読み出し終わる迄（ステップＳ５２：NO）、ステップＳ５１〜Ｓ５９の処理を繰り返す。
【００８６】
例えば図１３の場合は、イベントリスト３１５から最初に読み出されるイベントデータは「部品ｐ１」に関するものであるから、マニュアルデータファイル３１４中の対応する作業として「工程１」の「作業１」を発見する（ステップＳ５４：YES）。最初にイベントデータを読み出す場合は、「現在の作業」は未設定であるから（ステップＳ５７：NO）、「作業１」を現在の作業として設定し、かつ「作業１」に対し、その開始時刻情報として「部品ｐ１」に関するイベントデータの時刻である「０分２秒」を付与する（ステップＳ５８）。
【００８７】
次に読み出されるイベントデータは「工具ｔ１」に関するものであるから、マニュアルデータファイル３１４中の対応する作業は「工程１」の「作業１」である。しかし、「作業１」は現在の作業であるから、ステップＳ５３の検索範囲外となり、ステップＳ５５にて発見される。そして、ステップＳ５７：YESを経て、イベントデータを廃棄し（ステップＳ５９）、次のイベントデータを読み出す（ステップＳ５１）。
【００８８】
次のイベントデータは「部品ｐ３」に関するものであるから、マニュアルデータファイル３１４中の対応する作業は「工程２」の「作業２」である。従って、ステップＳ５３にて発見され、ステップＳ５７：NOを経て、ステップＳ５８にて、「作業２」を現在の作業として設定し、かつ「作業２」に対し、「部品ｐ３」に関するイベントデータの時刻情報である「０分９秒」を付与する（ステップＳ５８）。以下、同様の処理を繰り返す。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態のデータ処理装置により作成されるマルチメディアマニュアルが使用されるシステムを示す図である。
【図２】図１における管理者端末の構成例を示すブロック図である。
【図３】図２の作業者情報取得部が取得する作業者情報データの構成例を示す図である。
【図４】図１における作業者端末の構成例を示すブロック図である。
【図５】マニュアルコンテンツ情報データの構成例を示す図である。
【図６】図１における管理者端末にてマルチメディアマニュアルデータを生成するための構成を示す図である。
【図７】図６におけるイベントリスト作成部及びイベント−作業対応付け処理部の処理の流れの一例を示す図である。
【図８】イベント−作業対応付け処理部の処理の一例を示すフローチャートである。
【図９】図６におけるイベント−作業対応付け処理部の処理の流れの別の一例を示す図である。
【図１０】図９の処理を実行するためのフローチャートである。
【図１１】図６におけるイベント−作業対応付け処理部の処理の流れのさらに別の一例を示す図である。
【図１２】図１１の処理を実行するためのフローチャートである。
【図１３】図６におけるイベント−作業対応付け処理部の処理の流れのその他の一例を示す図である。
【図１４】図１３の処理を実行するためのフローチャートである。
【符号の説明】
【００９０】
３０６・・・イベントリスト作成部、３０７・・・イベント−作業対応付け処理部、３１１・・・ビデオ解析ソフトウェア、３１２・・・マルチメディアマニュアル作成ソフトウェア、３１３・・・組立作業のビデオデータファイル、３１４・・・組立作業マニュアルのデータファイル。
【特許請求の範囲】
【請求項１】
作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成する手段と、
前記イベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける手段と
を有することを特徴とするデータ処理装置。
【請求項２】
請求項１記載のデータ処理装置において、
前記時刻情報は、前記作業者が前記対象物に対する接触を開始した時刻を示すことを特徴とするデータ処理装置。
【請求項３】
請求項１記載のデータ処理装置において、
前記一連の作業は、一つ以上の作業からなる複数の工程により構成されていることを特徴とするデータ処理装置。
【請求項４】
請求項１記載のデータ処理装置において、
前記対応付ける手段は、前記作業者が前記作業マニュアルに記載されたとおりの順序で前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置。
【請求項５】
請求項１記載のデータ処理装置において、
前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置。
【請求項６】
請求項３記載のデータ処理装置において、
前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された各工程の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置。
【請求項７】
請求項３記載のデータ処理装置において、
前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された各工程内の作業の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置。
【請求項８】
文章及び動画を用いた電子マニュアルであるマルチメディアマニュアルを作成する装置のコンピュータを、作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成する手段と、前記イベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける手段として機能させるためのコンピュータプログラム。
【請求項１】
作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成する手段と、
前記イベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける手段と
を有することを特徴とするデータ処理装置。
【請求項２】
請求項１記載のデータ処理装置において、
前記時刻情報は、前記作業者が前記対象物に対する接触を開始した時刻を示すことを特徴とするデータ処理装置。
【請求項３】
請求項１記載のデータ処理装置において、
前記一連の作業は、一つ以上の作業からなる複数の工程により構成されていることを特徴とするデータ処理装置。
【請求項４】
請求項１記載のデータ処理装置において、
前記対応付ける手段は、前記作業者が前記作業マニュアルに記載されたとおりの順序で前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置。
【請求項５】
請求項１記載のデータ処理装置において、
前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置。
【請求項６】
請求項３記載のデータ処理装置において、
前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された各工程の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置。
【請求項７】
請求項３記載のデータ処理装置において、
前記対応付ける手段は、前記作業者が前記作業マニュアルに記載された各工程内の作業の順序を変更して前記各作業を実行した場合のイベントデータの時刻情報を、前記各作業を示すデータに対応付けることを特徴とするデータ処理装置。
【請求項８】
文章及び動画を用いた電子マニュアルであるマルチメディアマニュアルを作成する装置のコンピュータを、作業マニュアルに記載されている一連の作業を実行中の作業者をビデオカメラで撮像して生成した動画データ中の前記作業者の動きを解析することにより、前記作業者が所定の工具、部品などの対象物を使用しているときの時刻情報を各対象物の情報に対応付けて、イベントデータのリストを生成する手段と、前記イベントデータ中の前記対象物の情報と前記作業マニュアルの内容を示すマニュアルデータとに基づいて、前記マニュアルデータの各作業を示すデータと前記イベントデータの時刻情報とを対応付ける手段として機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−２２５８８３（Ｐ２００８−２２５８８３Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６３７６１（Ｐ２００７−６３７６１）
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]