作業観察システム、及び画像編集プログラム
【課題】 ＰＣ（パーソナルコンピュータ）を用いて業務を行なうオフィスや作業現場において、人手をかけずに、効率的に気づきを得ることが可能な作業観察システムを提供する。
【解決手段】 画像編集プログラム２を備えた画像編集用コンピュータ３と、被観察者（作業者）の挙動を撮像するビデオカメラ７００から構成され、作業者の挙動がビデオカメラ７００から作業者映像データとして画像編集用コンピュータ３にデータ入力されるのと同期して、作業者が使用するＰＣからのＰＣ画面情報がディスプレイインターフェース３５０を通してＰＣ映像データとして画像編集用コンピュータ３にデータ入力される構成とされ、画像編集プログラム２によって、前記ＰＣ映像データと関連させて前記作業者映像データがシーン分割される。
【解決手段】 画像編集プログラム２を備えた画像編集用コンピュータ３と、被観察者（作業者）の挙動を撮像するビデオカメラ７００から構成され、作業者の挙動がビデオカメラ７００から作業者映像データとして画像編集用コンピュータ３にデータ入力されるのと同期して、作業者が使用するＰＣからのＰＣ画面情報がディスプレイインターフェース３５０を通してＰＣ映像データとして画像編集用コンピュータ３にデータ入力される構成とされ、画像編集プログラム２によって、前記ＰＣ映像データと関連させて前記作業者映像データがシーン分割される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータを用いて業務を行なうオフィスや作業現場における、業務改善のための作業観察システム、及び作業観察のための画像編集プログラムに関する。
【背景技術】
【０００２】
最近、業務改善支援を提供している企業が、顧客企業の現場（主にオフィス作業）を観察し業務改善のヒントを得る目的で、ビデオを使ったフィールドワークを実施することが行われるようになって来た。しかし、ビデオを見て、そこから気づきを得るには時間がかかるという問題がある。
【０００３】
ビデオから気づきを得る時間を短縮するために使えそうな従来技術は２つある。第一は、ビデオ要約の技術を使うことである。ビデオ要約の技術は、例えば、サッカー中継の映像からゴールシーンを抜き出し、ダイジェスト版を作る技術である。第二は、スポーツ分野やインダストリアル・エンジニアリングの分野において、シーン比較の技術を使うことである。例えば、上手い人と下手な人のテニスラケットを振るフォームを比べたり、熟練作業者と新人作業者の段取りの様子の違いを比較できるようにビデオを再生したりして、観察者の気づきを助ける技術である。
【０００４】
コンピュータ技術と映像処理技術の発達によって、コンピュータを用いた映像比較技術がいくつか提案されている。
【０００５】
特許文献１には、ダウンヒルレースやスキージャンプなどのスポーツ競技で、競技者が一人ずつ競技する場合に、競技者間の技能を比較するため、合成ビデオシーケンスを生成し、あたかも両競技者が同時にレースをしているように見せる技術が開示されている。
【０００６】
特許文献２には、工場ラインでの作業において標準作業速度を映像で設定する方法に関し、得られた適切な標準作業速度の映像を評価したい評価対象データの映像と並列的に動作させ、適切な標準作業速度の映像の再生速度を可変することで、両映像を一致させ、一致した条件において、適切な標準作業速度の映像が、どの程度の倍率になっているかを算出することで、評価対象データの評価値とすることが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００４−５００７５６号公報
【特許文献２】特許第４６７７５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ビデオ要約技術は、例えば、サッカー中継であればゴールシーンを抜き出し、それを時系列的に順につなぎ合わせる技術であるが、オフィス作業では、ゴールシーンのような特徴ある動作が予め予測できないことが大半であり、個々の作業を時系列的に順に見ているだけでは気づきが得られ難い、という問題がある。
【０００９】
シーン比較技術は、プロスポーツやインダストリアル・エンジニアリング分野に関しては、ビデオから気づきを得るための良い方法であるといえる。ビデオを短いシーンに分割することで効率良く閲覧でき、また、良い例と悪い例を比較再生することで、効率良く気づきを得ることができる。特許文献１，２が対象としている、ルールが明確なスポーツや工場ラインでの定型作業ではシーン分割が比較的容易である。オフィスにおける定型作業としては、例えば、コピー、書類の配布、記帳、会議の連絡等の直接的な作業が挙げられ、この場合についても定型作業であるから、シーン分割が比較的容易である。
【００１０】
しかしながら、オフィスは、いわゆるホワイトカラーの仕事場であり、非定型的な業務スタイルが一般的となっている。オフィスでの非定型作業としては、例えば、顧客からの苦情処理、問い合わせに対する対応、取引契約、複数の帳票類の取捨選択などの課題解決型作業が挙げられる。このような非定型作業の場合には特徴ある動作が予め予測できないことが大半であり、オフィス作業者の挙動だけを見ていても、どこで区切ってシーン分割すればよいのかが分からないし、どのような基準でシーンを取り出して比較すべきかが分らない場合がほとんどである。昨今、オフィスや作業現場では、各自がパーソナルコンピュータ（ＰＣ）を用いて業務を行なうことが日常化しており、一見すると、皆同じように作業を行なっているかのような錯覚に陥ることがある。しかし実際には、優秀な作業者とそうでない作業者が存在しているのであるから、優秀な作業者のやり方を取り入れることで作業者のスキルアップを図ることが望まれる。
【００１１】
特に、コンサルティングや情報処理などのサービス提供企業では、実施コストを抑え、サービス価格を下げることは、サービスの競争力を上げるためには重要である。そのためには、人手をかけずに、効率的に気づきを得る技術が求められている。
【００１２】
そこで、本願発明の目的は、ＰＣ（パーソナルコンピュータ）を用いて業務を行なうオフィスや作業現場において、人手をかけずに、効率的に気づきを得ることが可能な作業観察システムと作業観察に用いられる画像編集プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の作業観察システムは、オフィスや作業現場でＰＣ（パーソナルコンピュータ）を使用し作業を行なう被観察者（作業者）の挙動を観察するに際し使用され、画像編集プログラムを備えた画像編集用コンピュータと、作業者の挙動を撮像するビデオカメラから構成され、作業者の挙動が前記ビデオカメラから作業者映像データとして前記画像編集用コンピュータにデータ入力されるのと同期して、作業者が使用するＰＣからＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力される構成とされ、前記画像編集プログラムによって、前記ＰＣ映像データと関連させて前記作業者映像データがシーン分割されることを特徴とする。
【００１４】
ここで、前記作業者映像データと前記ＰＣ映像データが前記画像編集用コンピュータに同期してデータ入力されるとは、前記作業者映像データと前記ＰＣ映像データが、前記画像編集用コンピュータに同時に入力され、前記画像編集用コンピュータ内で前記作業者映像データと前記ＰＣ映像データにタイムスタンプを付けることによって、前記作業者映像データのあるシーンと前記ＰＣ映像データのあるシーンが、同時刻に撮影されたことがわかるように構成することを指すが、例えば、前記ビデオカメラによって前記作業者映像データにタイムスタンプが既に付けられている場合には、前記ビデオカメラ内に前記作業者映像データを蓄積しておいて、後でまとめて前記画像編集用コンピュータに入力するようにしても前記作業者映像データと前記ＰＣ映像データが前記画像編集用コンピュータに同期してデータ入力される構成となる。
【００１５】
本発明の画像編集プログラムは、オフィスや作業現場でＰＣ（パーソナルコンピュータ）を使用し作業を行なう被観察者（作業者）の挙動を観察するに際し使用され、画像編集用コンピュータ上で動作する画像編集プログラムであって、作業者の挙動がビデオカメラから作業者映像データとして前記画像編集用コンピュータにデータ入力されるのと同期して、作業者が使用するＰＣからＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力されると、前記ＰＣ映像データと関連させて前記作業者映像データをシーン分割することを特徴とする。
【００１６】
本発明では、前記ＰＣ映像データと関連付けて前記作業者映像データをシーン分割する仕組みとなっている。本発明によれば、オフィスや作業現場に配されているＰＣの画面情報としての前記ＰＣ映像データを前記作業者映像データと同期させることで、前記画像編集用コンピュータが、前記ＰＣ画面の内容変化に基づいて、作業者の特徴的な作業シーンを見極めながらシーン分割することとなり、人手をかけずに、効率的に気づきを得ることができる。
【００１７】
本発明は、前記ＰＣに備わっているディスプレイインターフェースを通して前記ＰＣ画面が前記画像編集用コンピュータにデータ入力されることを特徴とする。
【００１８】
本発明によれば、前記ＰＣに備わっているディスプレイインターフェースを通してＰＣ画面情報としての前記ＰＣ映像データが前記画像編集用コンピュータにデータ入力される構成であるから、オフィスや作業現場に配されているＰＣに特別な処置を施さなくて済み、前記ＰＣのセキュリティに影響を及ぼす虞がない。コンサルティングなどのサービス提供企業が、簡易的なフィールドワークを実施するケースでは、この点は重要である。信頼を十分得ていないコンサルティングの初期段階で、ＰＣ画面情報を解析するようなソフトウェアを作業者のＰＣにインストールすることの許可を得ることは難しい。しかし、前記ＰＣに備わっているディスプレイインターフェース経由であるなら、ＰＣに特別な処置は要らないので許可を得ることが容易となる。
【００１９】
ここで、シーン分割とは、長時間のビデオを、編集し易いようにビデオクリップに分けることである。
【００２０】
本発明では、被観察者（作業者）の挙動をシーン分割し、これら分割されたシーンから比較して見るに値する複数（通常は２つ）のシーンを選び出し、それらを観察することによって気づきを得る。
【００２１】
本発明は、前記画像編集プログラムが、前記ＰＣ画面上のアプリケーションウィンドウ内に表示されている電子書類の内容変化を画像解析し、前記ＰＣ画面上での前記電子書類への記入開始時点と前記電子書類への記入終了時点のいずれか又は両方を検出して所定のタイムスタンプを設定して、前記作業者映像データをシーン分割することを特徴とする。
【００２２】
本発明によれば、前記画像編集プログラムが、前記ＰＣ画面上のアプリケーションウィンドウ内に表示されている電子書類の内容変化を画像解析し、前記ＰＣ画面上での前記電子書類への記入開始時点と前記電子書類への記入終了時点のいずれか又は両方を検出して所定のタイムスタンプを設定して、前記作業者映像データをシーン分割する構成であるから、前記電子書類への記入開始や記入終了のいずれか又は両方のタイミングに基づいて前記電子書類と関連した作業に的を絞って、作業者の挙動をシーン分割することができる。
【００２３】
前記電子書類としては、電子文書やデータ入力表、いわゆる紙の帳票類を電子化したものや、ｗｅｂフォームや入力画面等が挙げられる。前記所定のタイムスタンプは、前記電子書類への記入開始時点や記入終了時点とリンクしたものであり、これらの時点と同一の時刻に加えて、数秒前〜数分前や、数秒後〜数分後とする場合がある。例えば、前記電子書類への記入開始時点を検出して所定のタイムスタンプを設定することで、前記電子書類への記入作業に関連した作業シーンがシーン分割できる。また例えば、前記電子書類への記入終了時点を検出して所定のタイムスタンプを設定することで、前記電子書類へ記入した後の作業に関連した作業シーンがシーン分割できる。そして例えば、前記電子書類への記入開始時点及び記入終了時点を検出して所定のタイムスタンプを設定することで、前記電子書類への記入に要した作業時間が把握でき、同様の電子書類への記入時間を目安とすることによって、同一の作業者や異なる作業者の複数のシーン（例えば２つのシーン）を選び出すことが容易となる。例えば、同様の電子書類への最も長い記入時間を要した作業のシーンと最も短い記入時間で済んだ作業シーンを選び出せる。また例えば、同様の電子書類への平均的な記入時間を要した異なる作業者による複数の作業シーンを選び出せる。
【００２４】
本発明は、前記画像編集プログラムが、前記シーン分割した作業者映像データを、前記電子書類の内容変化を画像解析した画像解析結果に基づく類似度合いによってペアリングし、前記シーン分割された作業者映像データ同士を比較することを特徴とする。
【００２５】
本発明によれば、前記電子書類と関連した作業に的を絞って、異なる作業者の類似作業を比較することができる。
【００２６】
前記ビデオカメラの配置構成としては、幾つかのパターンがある。まず、前記ビデオカメラが１箇所に配されており、特定のＰＣを使用する被観察者（１人の作業者）を撮像する構成が挙げられる。例えば、特定のＰＣを使用する作業者の手元や作業デスクが映るように撮像することで、作業者のデスク上での仕事の仕方がわかる。また、前記ビデオカメラが複数箇所に配されており、特定のＰＣを使用する被観察者（１人の作業者）を多角度的に撮像する構成が挙げられる。例えば、上記に加えて、オフィス全体が映るように撮像することで、作業者のオフィス内での動き（キャビネットに資料を取りに行ったり、上司に連絡しに行ったりする等の動き）がわかる。また、近隣作業者の挙動を撮像することで、作業者同士の連係動作がわかる。そして、被観察者（複数の作業者）の使用するＰＣの台数に応じて複数の前記ビデオカメラが配されており、複数の前記ビデオカメラからの作業者映像データと同期して、複数の前記ＰＣからの複数のＰＣ映像データがデータ入力され、複数の作業者の作業者映像データ同士が比較される構成が挙げられる。この構成によれば、同じ時間帯における複数の作業者の挙動をそれぞれシーン分割し、これら分割されたシーンから異なる作業者の複数のシーン（例えば２つのシーン）を選び出し、それらを観察することによって効果的に気づきを得ることができる。
【発明の効果】
【００２７】
本発明の作業観察システムによれば、オフィスや作業現場に配されているＰＣの画面情報に着目し、前記ＰＣ映像データを前記作業者映像データと連動させて前記画像編集用コンピュータにデータ入力することで、前記画像編集用コンピュータが、前記ＰＣ画面の内容変化に基づいて、被観察者（作業者）の特徴的な作業シーンを見極めながらシーン分割することとなり、人手をかけずに、効率的に気づきを得ることができる。そして、前記ＰＣに備わっているディスプレイインターフェースを通して前記ＰＣ画面情報が前記画像編集用コンピュータにデータ入力される構成であるから、オフィスや作業現場に配されているＰＣに特別な処置を施さなくて済み、前記ＰＣのセキュリティに影響を及ぼす虞がない。
【００２８】
本発明の画像編集プログラムによれば、前記電子書類への記入開始や記入終了のいずれか又は両方のタイミングに基づいて前記電子書類と関連した作業に的を絞って、作業者の挙動をシーン分割することができる。そして、前記電子書類と関連した作業に的を絞って、異なる作業者の類似作業を比較することができる。そして、分割されたシーンの所要時間の統計を取ることで作業処理時間を比較することができ、同種作業の「差」を観察容易とし、連続作業の「繋がり」を観察容易とする。したがって、優秀な作業者のやり方を取り入れて作業者のスキルアップを図ることが容易となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態の作業観察システムを説明するブロック図である。
【図２】上記実施形態の作業観察システムの他の例を説明するブロック図である。
【図３】本発明の実施の形態の画像編集プログラムにおける画像編集手順を説明するフローチャートである。
【図４】上記画像編集プログラムにおけるシーン分割を模式的に説明する図である。
【図５】上記画像編集プログラムにおけるクラスタリングを模式的に説明する図である。
【図６】上記画像編集プログラムにおけるシーン比較を模式的に説明する図である。
【発明を実施するための形態】
【００３０】
（システム構成）
図１は、本発明の実施の形態の作業観察システム１を機能的に説明するブロック図である。本実施形態の作業観察システム１は、オフィスや作業現場でＰＣ（パーソナルコンピュータ）３００を使用し作業を行なう被観察者（作業者）２００の挙動を観察するに際し使用され、画像編集プログラム２とデータベース５を備えた画像編集用コンピュータ３と、作業者２００の挙動を撮像するビデオカメラ７００から構成される（図１）。図１に示す例では、ビデオカメラ７００がその映像出力端子を通して画像編集用コンピュータ３に接続されており、作業者２００の挙動がビデオカメラ７００から作業者映像データとして画像編集用コンピュータ３にデータ入力される構成となっている。また、ＰＣ（符号３００）がそのディスプレイインターフェース３５０を通して画像編集用コンピュータ３に接続されており、作業者２００が使用するＰＣ（符号３００）からＰＣ画面情報がＰＣ映像データとして画像編集用コンピュータ３にデータ入力される構成となっている。前記ビデオカメラ（符号７００）からの作業者映像データとＰＣ（符号３００）からのＰＣ画面情報とは同期させている。
【００３１】
本実施形態によれば、ＰＣ（符号３００）に備わっているディスプレイインターフェース３５０を通してＰＣ画面情報としてのＰＣ映像データが画像編集用コンピュータ３にデータ入力される構成であるから、オフィスや作業現場に配されているＰＣ（符号３００）に特別な処置を施さなくて済み、ＰＣ（符号３００）のセキュリティに影響を及ぼす虞がない。
【００３２】
本実施形態で使用する画像編集用コンピュータ３の構成は、いわゆる個人向けのパーソナルコンピュータで足りる。ここでは、画像編集用コンピュータ３には、データ入力を受け付ける入力手段８１と、入力されたデータに演算処理を行うＣＰＵ４と、演算処理後のデータを蓄積保存するデータベース５とデータ処理前後のデータを画面表示するディスプレイ８２が備わっており、画像編集用コンピュータ３上で画像編集プログラム２が動作する。入力手段８１は、キーボード、マウス、タッチパネル等である。
【００３３】
図２は、本実施形態の作業観察システム１において、ビデオカメラ７００が複数箇所に配されており、複数の作業者を同時に観察するシステム構成例を説明するブロック図である。図２に示す例では、３人の被観察者（作業者）２０１，２０２，２０３がそれぞれ異なるＰＣ３０１，３０２，３０３を使用する場合において、前記複数の作業者の挙動が複数の前記ビデオカメラから作業者映像データとしてそれぞれ画像編集用コンピュータ３にデータ入力されるのと同期して、複数の前記ＰＣ画面情報が複数の前記ＰＣからディスプレイインターフェース３５１，３５２，３５３を通してＰＣ映像データとしてそれぞれ画像編集用コンピュータ３にデータ入力され、シーン分割された異なる作業者の作業者映像データ同士が比較される構成となっている。
【００３４】
（画像編集プログラム）
本発明では、作業観察のために画像編集プログラムを使用する。図３は、本発明の実施の形態の画像編集プログラム２における画像編集手順を説明するフローチャートである。図３に示すフローチャートに沿って、本実施形態の作業者観察手順を以下に説明する。
【００３５】
先ず、オフィスにてＰＣを使用し作業を行なう被観察者（作業者）２００の挙動をビデオカメラ７００から作業者映像データ７１０として画像編集用コンピュータ３にデータ入力するのと同期させて、作業者２００が使用するＰＣ３００からＰＣ画面情報がＰＣ映像データ３１０として画像編集用コンピュータ３にデータ入力する（符号Ｓ１１）。このとき、作業者映像データ７１０にタイムスタンプが付いていなければ、タイムスタンプを付す。また、ＰＣ映像データ３１０にタイムスタンプが付いていなければ、タイムスタンプを付す。データ入力されたこれらの映像情報は、それぞれ作業者毎にデータベース５に蓄積される（符号Ｓ１２）。
【００３６】
そして、画像編集プログラム２が、前記タイムスタンプが対応した作業者映像データ７１０とＰＣ映像データ３１０とをデータベース５から取り出して、ＰＣ映像データ３１０と関連させて作業者映像データ７１０を画像解析し（符号Ｓ１３、図４）、画像編集プログラム２内の分割ツール２９０にてシーン分割する（符号Ｓ１４、図４）。分割ツール２９０によって、作業者映像データ７１０とＰＣ映像データ３１０は、同じタイムスタンプを持つ位置で分割され、作業者映像データ７１０は複数の作業者映像シーン（符号７１１、７１２、７１３）に分割され、ＰＣ映像データ３１０は複数のＰＣ映像シーン（符号３１１，３１２，３１３）に分割される。ここで何個に分割されるかは、ＰＣ映像データ３１０の内容に依存して、適宜設定される。また、作業者映像データ７１０とＰＣ映像データ３１０は、同じタイムスタンプを持つ位置で分割されることから、分割後の作業者映像シーン７１１，７１２，７１３とＰＣ映像シーン３１１，３１２，３１３は一対一で対応し、かつ、個数は同数である。つまり、作業者映像シーン７１１はＰＣ映像シーン３１１に、作業者映像シーン７１２はＰＣ映像シーン３１２に、作業者映像シーン７１３はＰＣ映像シーン３１３に、それぞれ一対一で対応する。
【００３７】
シーン分割されると（符号Ｓ１４）、ＰＣ映像シーン３１１，３１２，３１３、３１４、３１５、３１６、３１７同士の類似度をもって、ＰＣ映像シーン３１１，３１２，３１３、３１４、３１５、３１６，３１７をクラスタリングする（符号Ｓ１５、図５）。クラスタリングにより、ＰＣ映像クラスター（符号１０１、１０２、１０３）が得られる。例えば、ＰＣ映像シーン３１１には一対一で対応する作業者映像シーン７１１があることから、ＰＣ映像シーン３１１，３１２，３１３、３１４、３１５、３１６、３１７をクラスタリングすることにより、作業者映像シーン７１１、７１２、７１３，７１４，７１５，７１６，７１７も同様にクラスタリングされることとなる（図６）。ＰＣ映像クラスター１０１には作業者映像クラスター９０１が、ＰＣ映像クラスター１０２には作業者映像クラスター９０２が、ＰＣ映像クラスター１０３には作業者映像クラスター９０３が、それぞれ一対一で対応する。
【００３８】
クラスタリングされると（符号Ｓ１５）、前記の作業者映像シーンをペアリングする（符号Ｓ１６、図６）。ペアリングは、作業者映像クラスター９０１，９０２，９０３から一つのクラスターを選び出し、例えば作業者映像クラスター９０１が選び出されたとすると、選び出された作業者映像クラスター９０１から、二つの作業者映像シーン７１２と７１４を選び出す作業である。シーン比較は、選び出された作業者映像シーン７１２と７１４を、並べて同時再生する（符号Ｓ１７、図６）。ペアリングとシーン比較は、必要な回数だけ繰り返し行う（符号Ｓ１８）。ペアリングの方法は、いろいろなバリエーションがあって良い。毎回のペアリングにおいて、異なるクラスターを一つ選び出し、当該クラスターから異なる組み合わせの作業者映像シーンを選び出しても良いし、同じ一つのクラスターを選び出し続けるが異なる組み合わせの作業者映像シーンを選び出しても良いし、同じ一つのクラスターと当該クラスターの一つの同じ作業者映像シーンを選び出し続け、残りの作業者映像シーンについては当該クラスターから異なる作業者映像シーンを選び出しても良い。なお、上述の例では、作業者映像データ７１０と、ＰＣ映像データ３１０は、同一作業者のデータであるとして説明したが、異なる二人の作業者（例えば符号２０１と２０２）が、隣の席に座っている場合とか、離れた席に座っているが二人の作業に連続性がある場合には、一人目の作業者２０１のＰＣ映像データ３１０の画像分析結果に基づいて、二人目の作業者２０２の挙動を撮影するビデオカメラ７０２の作業者映像データを分割することにも意味がある場合があり、そのようなケースも本実施形態の想定内であることを留意しておく。
【００３９】
前記シーン分割では、ＰＣ映像データ３１０から、固定した短い時間間隔で静止画像を切り出し、各静止画像に映っているＰＣ画面情報を画像解析して、当該時刻でシーン分割をすべきかどうかを判定する。オフィス作業でのアプリケーションは、従来は紙であったものを電子化したものが典型である。そこで、以下では、アプリケーションウィンドウには、典型的には電子書類（帳票）が写っていると想定される。帳票は、時間の経過と共に、帳票の空いているフィールドが文字や記号で埋められて行く。そこで、作業の切れ目を判断するために、連続する静止画像の白黒の面積の割合の変化を追い、黒の領域の割合がだんだん増加し、突然、黒の領域の割合が減少した時点を切れ目とみなすことができる。そこで、ＰＣ映像データ３１０に備わっているタイムスタンプを参照し、そのタイムスタンプで、作業者２００の挙動を撮影した作業者映像データ７１０を切る。この作業を繰り返すことで、複数の作業者映像シーン７１１、７１２、７１３に分割する（図４を参照）。なお、上述の例では、ＰＣ画面の白黒の領域の割合を見る方法で説明したが、これはベーシックな方法であり、ＰＣ画面に映った電子書類（帳票）を解析する技術を本実施形態に取り込むことが出来る。例えば、文字認識を行って、帳票に入力された文字の意味を追跡することができる。例えば、画像認識を行って、帳票を切り替えるボタン領域を認識し、ボタンが押されたかどうか（典型的には、ボタンのグラフィックスが短い時間、変化する）を見張ることもできる。さらには、固定した短い時間間隔で静止画像を切り出すとしたが、静止画像の変化をモニタリングして、切り出し間隔を適応的に変化させて、画像解析の処理負荷を抑える工夫を入れても良い。
【００４０】
上述の方法で切り出した複数の作業者映像シーン７１１、７１２、７１３には、それぞれ一対一で対応する同数のＰＣ映像シーン３１１，３１２、３１３がある。それは、同じタイムスタンプのスタートタイムを持ち、同じタイムスタンプのエンドタイムを持つ（図４を参照）。
【００４１】
先ず、同時再生すべき複数の作業者映像シーンの一つを選ぶ。ここでは一つを選べば良いので、いろいろな選択法を取ることができる。ランダムに一つ選んでも良いし、観察者に一つ選んでもらっても良い。再生時間が最長の作業者映像シーンを選んでも良い。観察者と被観察者（作業者２００）が一緒になってワークショップを開いたとき、ワークショップの前半では、被観察対象者に自由に作業者映像シーンを閲覧させ、もっとも多く再生された作業者映像シーンの一つを選んでもよい。ここに例示したものに限らず、いろいろなバリエーションを考えることができる。
【００４２】
次に、最初に選ばれた一つの作業者映像シーンと組み合わせるべき作業者映像シーンを、どのように選択するかの方法を述べる。その技術的なポイントは、与えられた作業者映像シーンに一対一で対応するＰＣ映像シーンと、選択候補の他の作業者映像シーンに一対一で対応するＰＣ映像シーン同士の類似度を求め、類似度が高いＰＣ映像シーンに対応する挙動シーンから選ぶ点にポイントがある。既に述べたように、ＰＣ画面には典型的には帳票が写っている。そこで、それぞれのＰＣ画面に映っている帳票を比較し、何らかの意味で類似しているもの同士を選ぶ。もし、類似のＰＣ画面が複数あるときには、類似の度合を定量化し、類似度合いが最大のシーンを選択しても良いし、ある一定値以上の類似度合いがあるシーンからランダムに選んでも良い。例えば、同じ書式の帳票が写っていれば、そのうちの一つを選んで類似とする。
【００４３】
上述の手続きは、別の表現をすれば、作業者映像シーンに一対一で対応するＰＣ映像シーン同士の類似度を求め、その結果で、作業者映像シーンの集合をクラスタリングしておき、選ばれた作業者映像シーンに対し、その作業者映像シーンと同時再生すべき作業者映像シーンを、同じクラスターに入っているものから選ぶことといえる。同じクラスターに入っている作業者映像シーンが３つ以上の時は、どの作業者映像シーンを選ぶかの選択の自由度がある。例えば、ランダムに選んでも良いし、まだ選択されていない作業者映像シーンを優先しても良いし、一対一で対応するＰＣ映像シーン同士の類似度がより高い作業者映像シーンを優先しても良い。ここで述べた例に限らず、いろいろなバリエーションを考えることができる。なお、ここで述べた、帳票の書式を用いる方法はベーシックなものであり、これに限るものではない。例えば、文字認識を行い、同じ伝票番号を持っている帳票が写っているＰＣ映像シーンを類似であると判断して、一対一で対応する作業者映像シーンを選択しても良い。このケースでは、同様な作業を行っている人同士を比較するだけでなく、異なる作業であるが、同じ案件に対する作業者映像シーンを比較することが可能となる。問題が起きた案件に対し、どの段階の作業で問題が起きたかを追跡することなどが可能となる。
【００４４】
本実施形態によれば、前記画像編集用コンピュータ３が、前記ＰＣ画面の内容変化に基づいて、作業者の特徴的な作業シーンを見極めながらシーン分割することとなり、人手をかけずに、効率的に気づきを得ることができる。本実施形態によれば、前記電子書類（帳票）への記入開始や記入終了のいずれか又は両方のタイミングに基づいて前記電子書類（帳票）と関連した作業に的を絞って、作業者の挙動をシーン分割することができる。そして、前記電子書類（帳票）と関連した作業に的を絞って、異なる作業者の類似作業を比較することができる。そして、分割されたシーンの所要時間の統計を取ることで作業処理時間を比較することができ、同種作業の「差」を観察容易とし、連続作業の「繋がり」を観察容易とする。したがって、優秀な作業者のやり方を取り入れて作業者のスキルアップを図ることが容易となる。
【００４５】
なお、本発明は、上述した実施の形態に限定されるものではない。例えば、ビデオカメラ７００が特定のＰＣ３００を使用する作業者２００を撮像する構成に加えて、オフィス全体が映るように別のビデオカメラを設置し撮像することで、作業者２００のオフィス内での動きが把握できるようにしても良い。また、上述の作業者映像データ７１０とＰＣ映像データ３１０とを画像編集用コンピュータ３にデータ入力し、それぞれ作業者毎にデータベース５に予め蓄積しておくことで、複数の営業拠点（或いは同業他社）における異なる作業者同士の作業比較を行なうことができる。このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることは言うまでもない。
【符号の説明】
【００４６】
１ 作業観察システム、
２ 画像編集プログラム、
３ 画像編集用コンピュータ、
４ ＣＰＵ、
５ データベース、
２００ 被観察者（作業者）、
３００ 作業者が使用するＰＣ、
３５０ ディスプレイインターフェース、
７００ ビデオカメラ
【技術分野】
【０００１】
本発明は、コンピュータを用いて業務を行なうオフィスや作業現場における、業務改善のための作業観察システム、及び作業観察のための画像編集プログラムに関する。
【背景技術】
【０００２】
最近、業務改善支援を提供している企業が、顧客企業の現場（主にオフィス作業）を観察し業務改善のヒントを得る目的で、ビデオを使ったフィールドワークを実施することが行われるようになって来た。しかし、ビデオを見て、そこから気づきを得るには時間がかかるという問題がある。
【０００３】
ビデオから気づきを得る時間を短縮するために使えそうな従来技術は２つある。第一は、ビデオ要約の技術を使うことである。ビデオ要約の技術は、例えば、サッカー中継の映像からゴールシーンを抜き出し、ダイジェスト版を作る技術である。第二は、スポーツ分野やインダストリアル・エンジニアリングの分野において、シーン比較の技術を使うことである。例えば、上手い人と下手な人のテニスラケットを振るフォームを比べたり、熟練作業者と新人作業者の段取りの様子の違いを比較できるようにビデオを再生したりして、観察者の気づきを助ける技術である。
【０００４】
コンピュータ技術と映像処理技術の発達によって、コンピュータを用いた映像比較技術がいくつか提案されている。
【０００５】
特許文献１には、ダウンヒルレースやスキージャンプなどのスポーツ競技で、競技者が一人ずつ競技する場合に、競技者間の技能を比較するため、合成ビデオシーケンスを生成し、あたかも両競技者が同時にレースをしているように見せる技術が開示されている。
【０００６】
特許文献２には、工場ラインでの作業において標準作業速度を映像で設定する方法に関し、得られた適切な標準作業速度の映像を評価したい評価対象データの映像と並列的に動作させ、適切な標準作業速度の映像の再生速度を可変することで、両映像を一致させ、一致した条件において、適切な標準作業速度の映像が、どの程度の倍率になっているかを算出することで、評価対象データの評価値とすることが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００４−５００７５６号公報
【特許文献２】特許第４６７７５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ビデオ要約技術は、例えば、サッカー中継であればゴールシーンを抜き出し、それを時系列的に順につなぎ合わせる技術であるが、オフィス作業では、ゴールシーンのような特徴ある動作が予め予測できないことが大半であり、個々の作業を時系列的に順に見ているだけでは気づきが得られ難い、という問題がある。
【０００９】
シーン比較技術は、プロスポーツやインダストリアル・エンジニアリング分野に関しては、ビデオから気づきを得るための良い方法であるといえる。ビデオを短いシーンに分割することで効率良く閲覧でき、また、良い例と悪い例を比較再生することで、効率良く気づきを得ることができる。特許文献１，２が対象としている、ルールが明確なスポーツや工場ラインでの定型作業ではシーン分割が比較的容易である。オフィスにおける定型作業としては、例えば、コピー、書類の配布、記帳、会議の連絡等の直接的な作業が挙げられ、この場合についても定型作業であるから、シーン分割が比較的容易である。
【００１０】
しかしながら、オフィスは、いわゆるホワイトカラーの仕事場であり、非定型的な業務スタイルが一般的となっている。オフィスでの非定型作業としては、例えば、顧客からの苦情処理、問い合わせに対する対応、取引契約、複数の帳票類の取捨選択などの課題解決型作業が挙げられる。このような非定型作業の場合には特徴ある動作が予め予測できないことが大半であり、オフィス作業者の挙動だけを見ていても、どこで区切ってシーン分割すればよいのかが分からないし、どのような基準でシーンを取り出して比較すべきかが分らない場合がほとんどである。昨今、オフィスや作業現場では、各自がパーソナルコンピュータ（ＰＣ）を用いて業務を行なうことが日常化しており、一見すると、皆同じように作業を行なっているかのような錯覚に陥ることがある。しかし実際には、優秀な作業者とそうでない作業者が存在しているのであるから、優秀な作業者のやり方を取り入れることで作業者のスキルアップを図ることが望まれる。
【００１１】
特に、コンサルティングや情報処理などのサービス提供企業では、実施コストを抑え、サービス価格を下げることは、サービスの競争力を上げるためには重要である。そのためには、人手をかけずに、効率的に気づきを得る技術が求められている。
【００１２】
そこで、本願発明の目的は、ＰＣ（パーソナルコンピュータ）を用いて業務を行なうオフィスや作業現場において、人手をかけずに、効率的に気づきを得ることが可能な作業観察システムと作業観察に用いられる画像編集プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の作業観察システムは、オフィスや作業現場でＰＣ（パーソナルコンピュータ）を使用し作業を行なう被観察者（作業者）の挙動を観察するに際し使用され、画像編集プログラムを備えた画像編集用コンピュータと、作業者の挙動を撮像するビデオカメラから構成され、作業者の挙動が前記ビデオカメラから作業者映像データとして前記画像編集用コンピュータにデータ入力されるのと同期して、作業者が使用するＰＣからＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力される構成とされ、前記画像編集プログラムによって、前記ＰＣ映像データと関連させて前記作業者映像データがシーン分割されることを特徴とする。
【００１４】
ここで、前記作業者映像データと前記ＰＣ映像データが前記画像編集用コンピュータに同期してデータ入力されるとは、前記作業者映像データと前記ＰＣ映像データが、前記画像編集用コンピュータに同時に入力され、前記画像編集用コンピュータ内で前記作業者映像データと前記ＰＣ映像データにタイムスタンプを付けることによって、前記作業者映像データのあるシーンと前記ＰＣ映像データのあるシーンが、同時刻に撮影されたことがわかるように構成することを指すが、例えば、前記ビデオカメラによって前記作業者映像データにタイムスタンプが既に付けられている場合には、前記ビデオカメラ内に前記作業者映像データを蓄積しておいて、後でまとめて前記画像編集用コンピュータに入力するようにしても前記作業者映像データと前記ＰＣ映像データが前記画像編集用コンピュータに同期してデータ入力される構成となる。
【００１５】
本発明の画像編集プログラムは、オフィスや作業現場でＰＣ（パーソナルコンピュータ）を使用し作業を行なう被観察者（作業者）の挙動を観察するに際し使用され、画像編集用コンピュータ上で動作する画像編集プログラムであって、作業者の挙動がビデオカメラから作業者映像データとして前記画像編集用コンピュータにデータ入力されるのと同期して、作業者が使用するＰＣからＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力されると、前記ＰＣ映像データと関連させて前記作業者映像データをシーン分割することを特徴とする。
【００１６】
本発明では、前記ＰＣ映像データと関連付けて前記作業者映像データをシーン分割する仕組みとなっている。本発明によれば、オフィスや作業現場に配されているＰＣの画面情報としての前記ＰＣ映像データを前記作業者映像データと同期させることで、前記画像編集用コンピュータが、前記ＰＣ画面の内容変化に基づいて、作業者の特徴的な作業シーンを見極めながらシーン分割することとなり、人手をかけずに、効率的に気づきを得ることができる。
【００１７】
本発明は、前記ＰＣに備わっているディスプレイインターフェースを通して前記ＰＣ画面が前記画像編集用コンピュータにデータ入力されることを特徴とする。
【００１８】
本発明によれば、前記ＰＣに備わっているディスプレイインターフェースを通してＰＣ画面情報としての前記ＰＣ映像データが前記画像編集用コンピュータにデータ入力される構成であるから、オフィスや作業現場に配されているＰＣに特別な処置を施さなくて済み、前記ＰＣのセキュリティに影響を及ぼす虞がない。コンサルティングなどのサービス提供企業が、簡易的なフィールドワークを実施するケースでは、この点は重要である。信頼を十分得ていないコンサルティングの初期段階で、ＰＣ画面情報を解析するようなソフトウェアを作業者のＰＣにインストールすることの許可を得ることは難しい。しかし、前記ＰＣに備わっているディスプレイインターフェース経由であるなら、ＰＣに特別な処置は要らないので許可を得ることが容易となる。
【００１９】
ここで、シーン分割とは、長時間のビデオを、編集し易いようにビデオクリップに分けることである。
【００２０】
本発明では、被観察者（作業者）の挙動をシーン分割し、これら分割されたシーンから比較して見るに値する複数（通常は２つ）のシーンを選び出し、それらを観察することによって気づきを得る。
【００２１】
本発明は、前記画像編集プログラムが、前記ＰＣ画面上のアプリケーションウィンドウ内に表示されている電子書類の内容変化を画像解析し、前記ＰＣ画面上での前記電子書類への記入開始時点と前記電子書類への記入終了時点のいずれか又は両方を検出して所定のタイムスタンプを設定して、前記作業者映像データをシーン分割することを特徴とする。
【００２２】
本発明によれば、前記画像編集プログラムが、前記ＰＣ画面上のアプリケーションウィンドウ内に表示されている電子書類の内容変化を画像解析し、前記ＰＣ画面上での前記電子書類への記入開始時点と前記電子書類への記入終了時点のいずれか又は両方を検出して所定のタイムスタンプを設定して、前記作業者映像データをシーン分割する構成であるから、前記電子書類への記入開始や記入終了のいずれか又は両方のタイミングに基づいて前記電子書類と関連した作業に的を絞って、作業者の挙動をシーン分割することができる。
【００２３】
前記電子書類としては、電子文書やデータ入力表、いわゆる紙の帳票類を電子化したものや、ｗｅｂフォームや入力画面等が挙げられる。前記所定のタイムスタンプは、前記電子書類への記入開始時点や記入終了時点とリンクしたものであり、これらの時点と同一の時刻に加えて、数秒前〜数分前や、数秒後〜数分後とする場合がある。例えば、前記電子書類への記入開始時点を検出して所定のタイムスタンプを設定することで、前記電子書類への記入作業に関連した作業シーンがシーン分割できる。また例えば、前記電子書類への記入終了時点を検出して所定のタイムスタンプを設定することで、前記電子書類へ記入した後の作業に関連した作業シーンがシーン分割できる。そして例えば、前記電子書類への記入開始時点及び記入終了時点を検出して所定のタイムスタンプを設定することで、前記電子書類への記入に要した作業時間が把握でき、同様の電子書類への記入時間を目安とすることによって、同一の作業者や異なる作業者の複数のシーン（例えば２つのシーン）を選び出すことが容易となる。例えば、同様の電子書類への最も長い記入時間を要した作業のシーンと最も短い記入時間で済んだ作業シーンを選び出せる。また例えば、同様の電子書類への平均的な記入時間を要した異なる作業者による複数の作業シーンを選び出せる。
【００２４】
本発明は、前記画像編集プログラムが、前記シーン分割した作業者映像データを、前記電子書類の内容変化を画像解析した画像解析結果に基づく類似度合いによってペアリングし、前記シーン分割された作業者映像データ同士を比較することを特徴とする。
【００２５】
本発明によれば、前記電子書類と関連した作業に的を絞って、異なる作業者の類似作業を比較することができる。
【００２６】
前記ビデオカメラの配置構成としては、幾つかのパターンがある。まず、前記ビデオカメラが１箇所に配されており、特定のＰＣを使用する被観察者（１人の作業者）を撮像する構成が挙げられる。例えば、特定のＰＣを使用する作業者の手元や作業デスクが映るように撮像することで、作業者のデスク上での仕事の仕方がわかる。また、前記ビデオカメラが複数箇所に配されており、特定のＰＣを使用する被観察者（１人の作業者）を多角度的に撮像する構成が挙げられる。例えば、上記に加えて、オフィス全体が映るように撮像することで、作業者のオフィス内での動き（キャビネットに資料を取りに行ったり、上司に連絡しに行ったりする等の動き）がわかる。また、近隣作業者の挙動を撮像することで、作業者同士の連係動作がわかる。そして、被観察者（複数の作業者）の使用するＰＣの台数に応じて複数の前記ビデオカメラが配されており、複数の前記ビデオカメラからの作業者映像データと同期して、複数の前記ＰＣからの複数のＰＣ映像データがデータ入力され、複数の作業者の作業者映像データ同士が比較される構成が挙げられる。この構成によれば、同じ時間帯における複数の作業者の挙動をそれぞれシーン分割し、これら分割されたシーンから異なる作業者の複数のシーン（例えば２つのシーン）を選び出し、それらを観察することによって効果的に気づきを得ることができる。
【発明の効果】
【００２７】
本発明の作業観察システムによれば、オフィスや作業現場に配されているＰＣの画面情報に着目し、前記ＰＣ映像データを前記作業者映像データと連動させて前記画像編集用コンピュータにデータ入力することで、前記画像編集用コンピュータが、前記ＰＣ画面の内容変化に基づいて、被観察者（作業者）の特徴的な作業シーンを見極めながらシーン分割することとなり、人手をかけずに、効率的に気づきを得ることができる。そして、前記ＰＣに備わっているディスプレイインターフェースを通して前記ＰＣ画面情報が前記画像編集用コンピュータにデータ入力される構成であるから、オフィスや作業現場に配されているＰＣに特別な処置を施さなくて済み、前記ＰＣのセキュリティに影響を及ぼす虞がない。
【００２８】
本発明の画像編集プログラムによれば、前記電子書類への記入開始や記入終了のいずれか又は両方のタイミングに基づいて前記電子書類と関連した作業に的を絞って、作業者の挙動をシーン分割することができる。そして、前記電子書類と関連した作業に的を絞って、異なる作業者の類似作業を比較することができる。そして、分割されたシーンの所要時間の統計を取ることで作業処理時間を比較することができ、同種作業の「差」を観察容易とし、連続作業の「繋がり」を観察容易とする。したがって、優秀な作業者のやり方を取り入れて作業者のスキルアップを図ることが容易となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態の作業観察システムを説明するブロック図である。
【図２】上記実施形態の作業観察システムの他の例を説明するブロック図である。
【図３】本発明の実施の形態の画像編集プログラムにおける画像編集手順を説明するフローチャートである。
【図４】上記画像編集プログラムにおけるシーン分割を模式的に説明する図である。
【図５】上記画像編集プログラムにおけるクラスタリングを模式的に説明する図である。
【図６】上記画像編集プログラムにおけるシーン比較を模式的に説明する図である。
【発明を実施するための形態】
【００３０】
（システム構成）
図１は、本発明の実施の形態の作業観察システム１を機能的に説明するブロック図である。本実施形態の作業観察システム１は、オフィスや作業現場でＰＣ（パーソナルコンピュータ）３００を使用し作業を行なう被観察者（作業者）２００の挙動を観察するに際し使用され、画像編集プログラム２とデータベース５を備えた画像編集用コンピュータ３と、作業者２００の挙動を撮像するビデオカメラ７００から構成される（図１）。図１に示す例では、ビデオカメラ７００がその映像出力端子を通して画像編集用コンピュータ３に接続されており、作業者２００の挙動がビデオカメラ７００から作業者映像データとして画像編集用コンピュータ３にデータ入力される構成となっている。また、ＰＣ（符号３００）がそのディスプレイインターフェース３５０を通して画像編集用コンピュータ３に接続されており、作業者２００が使用するＰＣ（符号３００）からＰＣ画面情報がＰＣ映像データとして画像編集用コンピュータ３にデータ入力される構成となっている。前記ビデオカメラ（符号７００）からの作業者映像データとＰＣ（符号３００）からのＰＣ画面情報とは同期させている。
【００３１】
本実施形態によれば、ＰＣ（符号３００）に備わっているディスプレイインターフェース３５０を通してＰＣ画面情報としてのＰＣ映像データが画像編集用コンピュータ３にデータ入力される構成であるから、オフィスや作業現場に配されているＰＣ（符号３００）に特別な処置を施さなくて済み、ＰＣ（符号３００）のセキュリティに影響を及ぼす虞がない。
【００３２】
本実施形態で使用する画像編集用コンピュータ３の構成は、いわゆる個人向けのパーソナルコンピュータで足りる。ここでは、画像編集用コンピュータ３には、データ入力を受け付ける入力手段８１と、入力されたデータに演算処理を行うＣＰＵ４と、演算処理後のデータを蓄積保存するデータベース５とデータ処理前後のデータを画面表示するディスプレイ８２が備わっており、画像編集用コンピュータ３上で画像編集プログラム２が動作する。入力手段８１は、キーボード、マウス、タッチパネル等である。
【００３３】
図２は、本実施形態の作業観察システム１において、ビデオカメラ７００が複数箇所に配されており、複数の作業者を同時に観察するシステム構成例を説明するブロック図である。図２に示す例では、３人の被観察者（作業者）２０１，２０２，２０３がそれぞれ異なるＰＣ３０１，３０２，３０３を使用する場合において、前記複数の作業者の挙動が複数の前記ビデオカメラから作業者映像データとしてそれぞれ画像編集用コンピュータ３にデータ入力されるのと同期して、複数の前記ＰＣ画面情報が複数の前記ＰＣからディスプレイインターフェース３５１，３５２，３５３を通してＰＣ映像データとしてそれぞれ画像編集用コンピュータ３にデータ入力され、シーン分割された異なる作業者の作業者映像データ同士が比較される構成となっている。
【００３４】
（画像編集プログラム）
本発明では、作業観察のために画像編集プログラムを使用する。図３は、本発明の実施の形態の画像編集プログラム２における画像編集手順を説明するフローチャートである。図３に示すフローチャートに沿って、本実施形態の作業者観察手順を以下に説明する。
【００３５】
先ず、オフィスにてＰＣを使用し作業を行なう被観察者（作業者）２００の挙動をビデオカメラ７００から作業者映像データ７１０として画像編集用コンピュータ３にデータ入力するのと同期させて、作業者２００が使用するＰＣ３００からＰＣ画面情報がＰＣ映像データ３１０として画像編集用コンピュータ３にデータ入力する（符号Ｓ１１）。このとき、作業者映像データ７１０にタイムスタンプが付いていなければ、タイムスタンプを付す。また、ＰＣ映像データ３１０にタイムスタンプが付いていなければ、タイムスタンプを付す。データ入力されたこれらの映像情報は、それぞれ作業者毎にデータベース５に蓄積される（符号Ｓ１２）。
【００３６】
そして、画像編集プログラム２が、前記タイムスタンプが対応した作業者映像データ７１０とＰＣ映像データ３１０とをデータベース５から取り出して、ＰＣ映像データ３１０と関連させて作業者映像データ７１０を画像解析し（符号Ｓ１３、図４）、画像編集プログラム２内の分割ツール２９０にてシーン分割する（符号Ｓ１４、図４）。分割ツール２９０によって、作業者映像データ７１０とＰＣ映像データ３１０は、同じタイムスタンプを持つ位置で分割され、作業者映像データ７１０は複数の作業者映像シーン（符号７１１、７１２、７１３）に分割され、ＰＣ映像データ３１０は複数のＰＣ映像シーン（符号３１１，３１２，３１３）に分割される。ここで何個に分割されるかは、ＰＣ映像データ３１０の内容に依存して、適宜設定される。また、作業者映像データ７１０とＰＣ映像データ３１０は、同じタイムスタンプを持つ位置で分割されることから、分割後の作業者映像シーン７１１，７１２，７１３とＰＣ映像シーン３１１，３１２，３１３は一対一で対応し、かつ、個数は同数である。つまり、作業者映像シーン７１１はＰＣ映像シーン３１１に、作業者映像シーン７１２はＰＣ映像シーン３１２に、作業者映像シーン７１３はＰＣ映像シーン３１３に、それぞれ一対一で対応する。
【００３７】
シーン分割されると（符号Ｓ１４）、ＰＣ映像シーン３１１，３１２，３１３、３１４、３１５、３１６、３１７同士の類似度をもって、ＰＣ映像シーン３１１，３１２，３１３、３１４、３１５、３１６，３１７をクラスタリングする（符号Ｓ１５、図５）。クラスタリングにより、ＰＣ映像クラスター（符号１０１、１０２、１０３）が得られる。例えば、ＰＣ映像シーン３１１には一対一で対応する作業者映像シーン７１１があることから、ＰＣ映像シーン３１１，３１２，３１３、３１４、３１５、３１６、３１７をクラスタリングすることにより、作業者映像シーン７１１、７１２、７１３，７１４，７１５，７１６，７１７も同様にクラスタリングされることとなる（図６）。ＰＣ映像クラスター１０１には作業者映像クラスター９０１が、ＰＣ映像クラスター１０２には作業者映像クラスター９０２が、ＰＣ映像クラスター１０３には作業者映像クラスター９０３が、それぞれ一対一で対応する。
【００３８】
クラスタリングされると（符号Ｓ１５）、前記の作業者映像シーンをペアリングする（符号Ｓ１６、図６）。ペアリングは、作業者映像クラスター９０１，９０２，９０３から一つのクラスターを選び出し、例えば作業者映像クラスター９０１が選び出されたとすると、選び出された作業者映像クラスター９０１から、二つの作業者映像シーン７１２と７１４を選び出す作業である。シーン比較は、選び出された作業者映像シーン７１２と７１４を、並べて同時再生する（符号Ｓ１７、図６）。ペアリングとシーン比較は、必要な回数だけ繰り返し行う（符号Ｓ１８）。ペアリングの方法は、いろいろなバリエーションがあって良い。毎回のペアリングにおいて、異なるクラスターを一つ選び出し、当該クラスターから異なる組み合わせの作業者映像シーンを選び出しても良いし、同じ一つのクラスターを選び出し続けるが異なる組み合わせの作業者映像シーンを選び出しても良いし、同じ一つのクラスターと当該クラスターの一つの同じ作業者映像シーンを選び出し続け、残りの作業者映像シーンについては当該クラスターから異なる作業者映像シーンを選び出しても良い。なお、上述の例では、作業者映像データ７１０と、ＰＣ映像データ３１０は、同一作業者のデータであるとして説明したが、異なる二人の作業者（例えば符号２０１と２０２）が、隣の席に座っている場合とか、離れた席に座っているが二人の作業に連続性がある場合には、一人目の作業者２０１のＰＣ映像データ３１０の画像分析結果に基づいて、二人目の作業者２０２の挙動を撮影するビデオカメラ７０２の作業者映像データを分割することにも意味がある場合があり、そのようなケースも本実施形態の想定内であることを留意しておく。
【００３９】
前記シーン分割では、ＰＣ映像データ３１０から、固定した短い時間間隔で静止画像を切り出し、各静止画像に映っているＰＣ画面情報を画像解析して、当該時刻でシーン分割をすべきかどうかを判定する。オフィス作業でのアプリケーションは、従来は紙であったものを電子化したものが典型である。そこで、以下では、アプリケーションウィンドウには、典型的には電子書類（帳票）が写っていると想定される。帳票は、時間の経過と共に、帳票の空いているフィールドが文字や記号で埋められて行く。そこで、作業の切れ目を判断するために、連続する静止画像の白黒の面積の割合の変化を追い、黒の領域の割合がだんだん増加し、突然、黒の領域の割合が減少した時点を切れ目とみなすことができる。そこで、ＰＣ映像データ３１０に備わっているタイムスタンプを参照し、そのタイムスタンプで、作業者２００の挙動を撮影した作業者映像データ７１０を切る。この作業を繰り返すことで、複数の作業者映像シーン７１１、７１２、７１３に分割する（図４を参照）。なお、上述の例では、ＰＣ画面の白黒の領域の割合を見る方法で説明したが、これはベーシックな方法であり、ＰＣ画面に映った電子書類（帳票）を解析する技術を本実施形態に取り込むことが出来る。例えば、文字認識を行って、帳票に入力された文字の意味を追跡することができる。例えば、画像認識を行って、帳票を切り替えるボタン領域を認識し、ボタンが押されたかどうか（典型的には、ボタンのグラフィックスが短い時間、変化する）を見張ることもできる。さらには、固定した短い時間間隔で静止画像を切り出すとしたが、静止画像の変化をモニタリングして、切り出し間隔を適応的に変化させて、画像解析の処理負荷を抑える工夫を入れても良い。
【００４０】
上述の方法で切り出した複数の作業者映像シーン７１１、７１２、７１３には、それぞれ一対一で対応する同数のＰＣ映像シーン３１１，３１２、３１３がある。それは、同じタイムスタンプのスタートタイムを持ち、同じタイムスタンプのエンドタイムを持つ（図４を参照）。
【００４１】
先ず、同時再生すべき複数の作業者映像シーンの一つを選ぶ。ここでは一つを選べば良いので、いろいろな選択法を取ることができる。ランダムに一つ選んでも良いし、観察者に一つ選んでもらっても良い。再生時間が最長の作業者映像シーンを選んでも良い。観察者と被観察者（作業者２００）が一緒になってワークショップを開いたとき、ワークショップの前半では、被観察対象者に自由に作業者映像シーンを閲覧させ、もっとも多く再生された作業者映像シーンの一つを選んでもよい。ここに例示したものに限らず、いろいろなバリエーションを考えることができる。
【００４２】
次に、最初に選ばれた一つの作業者映像シーンと組み合わせるべき作業者映像シーンを、どのように選択するかの方法を述べる。その技術的なポイントは、与えられた作業者映像シーンに一対一で対応するＰＣ映像シーンと、選択候補の他の作業者映像シーンに一対一で対応するＰＣ映像シーン同士の類似度を求め、類似度が高いＰＣ映像シーンに対応する挙動シーンから選ぶ点にポイントがある。既に述べたように、ＰＣ画面には典型的には帳票が写っている。そこで、それぞれのＰＣ画面に映っている帳票を比較し、何らかの意味で類似しているもの同士を選ぶ。もし、類似のＰＣ画面が複数あるときには、類似の度合を定量化し、類似度合いが最大のシーンを選択しても良いし、ある一定値以上の類似度合いがあるシーンからランダムに選んでも良い。例えば、同じ書式の帳票が写っていれば、そのうちの一つを選んで類似とする。
【００４３】
上述の手続きは、別の表現をすれば、作業者映像シーンに一対一で対応するＰＣ映像シーン同士の類似度を求め、その結果で、作業者映像シーンの集合をクラスタリングしておき、選ばれた作業者映像シーンに対し、その作業者映像シーンと同時再生すべき作業者映像シーンを、同じクラスターに入っているものから選ぶことといえる。同じクラスターに入っている作業者映像シーンが３つ以上の時は、どの作業者映像シーンを選ぶかの選択の自由度がある。例えば、ランダムに選んでも良いし、まだ選択されていない作業者映像シーンを優先しても良いし、一対一で対応するＰＣ映像シーン同士の類似度がより高い作業者映像シーンを優先しても良い。ここで述べた例に限らず、いろいろなバリエーションを考えることができる。なお、ここで述べた、帳票の書式を用いる方法はベーシックなものであり、これに限るものではない。例えば、文字認識を行い、同じ伝票番号を持っている帳票が写っているＰＣ映像シーンを類似であると判断して、一対一で対応する作業者映像シーンを選択しても良い。このケースでは、同様な作業を行っている人同士を比較するだけでなく、異なる作業であるが、同じ案件に対する作業者映像シーンを比較することが可能となる。問題が起きた案件に対し、どの段階の作業で問題が起きたかを追跡することなどが可能となる。
【００４４】
本実施形態によれば、前記画像編集用コンピュータ３が、前記ＰＣ画面の内容変化に基づいて、作業者の特徴的な作業シーンを見極めながらシーン分割することとなり、人手をかけずに、効率的に気づきを得ることができる。本実施形態によれば、前記電子書類（帳票）への記入開始や記入終了のいずれか又は両方のタイミングに基づいて前記電子書類（帳票）と関連した作業に的を絞って、作業者の挙動をシーン分割することができる。そして、前記電子書類（帳票）と関連した作業に的を絞って、異なる作業者の類似作業を比較することができる。そして、分割されたシーンの所要時間の統計を取ることで作業処理時間を比較することができ、同種作業の「差」を観察容易とし、連続作業の「繋がり」を観察容易とする。したがって、優秀な作業者のやり方を取り入れて作業者のスキルアップを図ることが容易となる。
【００４５】
なお、本発明は、上述した実施の形態に限定されるものではない。例えば、ビデオカメラ７００が特定のＰＣ３００を使用する作業者２００を撮像する構成に加えて、オフィス全体が映るように別のビデオカメラを設置し撮像することで、作業者２００のオフィス内での動きが把握できるようにしても良い。また、上述の作業者映像データ７１０とＰＣ映像データ３１０とを画像編集用コンピュータ３にデータ入力し、それぞれ作業者毎にデータベース５に予め蓄積しておくことで、複数の営業拠点（或いは同業他社）における異なる作業者同士の作業比較を行なうことができる。このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることは言うまでもない。
【符号の説明】
【００４６】
１ 作業観察システム、
２ 画像編集プログラム、
３ 画像編集用コンピュータ、
４ ＣＰＵ、
５ データベース、
２００ 被観察者（作業者）、
３００ 作業者が使用するＰＣ、
３５０ ディスプレイインターフェース、
７００ ビデオカメラ
【特許請求の範囲】
【請求項１】
オフィスや作業現場でＰＣ（パーソナルコンピュータ）を使用し作業を行なう被観察者（作業者）の挙動を観察するに際し使用され、画像編集プログラムを備えた画像編集用コンピュータと、作業者の挙動を撮像するビデオカメラから構成され、作業者の挙動が前記ビデオカメラから作業者映像データとして前記画像編集用コンピュータにデータ入力されるのと同期して、作業者が使用するＰＣからＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力される構成とされ、前記画像編集プログラムによって、前記ＰＣ映像データと関連させて前記作業者映像データがシーン分割されることを特徴とする作業観察システム。
【請求項２】
前記ＰＣに備わっているディスプレイインターフェースを通して前記ＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力されることを特徴とする請求項１記載の作業観察システム。
【請求項３】
前記画像編集プログラムによって、前記ＰＣ画面上のアプリケーションウィンドウ内に表示されている電子書類の内容変化が画像解析され、前記ＰＣ画面上での前記電子書類への記入開始時点と前記電子書類への記入終了時点のいずれか又は両方が検出されて所定のタイムスタンプが設定されて、前記作業者映像データがシーン分割されることを特徴とする請求項１または２記載の作業観察システム。
【請求項４】
前記シーン分割された作業者映像データが、前記電子書類の内容変化を画像解析した画像解析結果に基づく類似度合いによってペアリングされ、前記シーン分割された作業者映像データ同士が比較されることを特徴とする請求項３記載の作業観察システム。
【請求項５】
被観察者（作業者）の使用するＰＣの台数に応じて複数の前記ビデオカメラが配されており、複数の前記ビデオカメラからの作業者映像データと同期して、複数の前記ＰＣからの複数のＰＣ映像データがデータ入力され、複数の前記ビデオカメラからの作業者映像データ同士が比較されることを特徴とする請求項４記載の作業観察システム。
【請求項６】
オフィスや作業現場でＰＣ（パーソナルコンピュータ）を使用し作業を行なう被観察者（作業者）の挙動を観察するに際し使用され、画像編集用コンピュータ上で動作する画像編集プログラムであって、作業者の挙動がビデオカメラから作業者映像データとして前記画像編集用コンピュータにデータ入力されるのと同期して、作業者が使用するＰＣからＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力されると、前記ＰＣ映像データと関連させて前記作業者映像データをシーン分割することを特徴とする画像編集プログラム。
【請求項７】
前記ＰＣ画面上のアプリケーションウィンドウ内に表示されている電子書類の内容変化を画像解析し、前記ＰＣ画面上での前記電子書類への記入開始時点と前記電子書類への記入終了時点のいずれか又は両方を検出して所定のタイムスタンプを設定して、前記作業者映像データをシーン分割することを特徴とする請求項６記載の画像編集プログラム。
【請求項８】
前記シーン分割した作業者映像データを、前記電子書類の内容変化を画像解析した画像解析結果に基づく類似度合いによってペアリングし、前記シーン分割された作業者映像データ同士を比較することを特徴とする請求項７記載の画像編集プログラム。
【請求項９】
複数の前記ビデオカメラからの作業者映像データと同期して、複数の前記ＰＣからの複数のＰＣ映像データがデータ入力されると、複数の前記ビデオカメラからの作業者映像データ同士を比較することを特徴とする請求項８記載の画像編集プログラム。
【請求項１】
オフィスや作業現場でＰＣ（パーソナルコンピュータ）を使用し作業を行なう被観察者（作業者）の挙動を観察するに際し使用され、画像編集プログラムを備えた画像編集用コンピュータと、作業者の挙動を撮像するビデオカメラから構成され、作業者の挙動が前記ビデオカメラから作業者映像データとして前記画像編集用コンピュータにデータ入力されるのと同期して、作業者が使用するＰＣからＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力される構成とされ、前記画像編集プログラムによって、前記ＰＣ映像データと関連させて前記作業者映像データがシーン分割されることを特徴とする作業観察システム。
【請求項２】
前記ＰＣに備わっているディスプレイインターフェースを通して前記ＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力されることを特徴とする請求項１記載の作業観察システム。
【請求項３】
前記画像編集プログラムによって、前記ＰＣ画面上のアプリケーションウィンドウ内に表示されている電子書類の内容変化が画像解析され、前記ＰＣ画面上での前記電子書類への記入開始時点と前記電子書類への記入終了時点のいずれか又は両方が検出されて所定のタイムスタンプが設定されて、前記作業者映像データがシーン分割されることを特徴とする請求項１または２記載の作業観察システム。
【請求項４】
前記シーン分割された作業者映像データが、前記電子書類の内容変化を画像解析した画像解析結果に基づく類似度合いによってペアリングされ、前記シーン分割された作業者映像データ同士が比較されることを特徴とする請求項３記載の作業観察システム。
【請求項５】
被観察者（作業者）の使用するＰＣの台数に応じて複数の前記ビデオカメラが配されており、複数の前記ビデオカメラからの作業者映像データと同期して、複数の前記ＰＣからの複数のＰＣ映像データがデータ入力され、複数の前記ビデオカメラからの作業者映像データ同士が比較されることを特徴とする請求項４記載の作業観察システム。
【請求項６】
オフィスや作業現場でＰＣ（パーソナルコンピュータ）を使用し作業を行なう被観察者（作業者）の挙動を観察するに際し使用され、画像編集用コンピュータ上で動作する画像編集プログラムであって、作業者の挙動がビデオカメラから作業者映像データとして前記画像編集用コンピュータにデータ入力されるのと同期して、作業者が使用するＰＣからＰＣ画面情報がＰＣ映像データとして前記画像編集用コンピュータにデータ入力されると、前記ＰＣ映像データと関連させて前記作業者映像データをシーン分割することを特徴とする画像編集プログラム。
【請求項７】
前記ＰＣ画面上のアプリケーションウィンドウ内に表示されている電子書類の内容変化を画像解析し、前記ＰＣ画面上での前記電子書類への記入開始時点と前記電子書類への記入終了時点のいずれか又は両方を検出して所定のタイムスタンプを設定して、前記作業者映像データをシーン分割することを特徴とする請求項６記載の画像編集プログラム。
【請求項８】
前記シーン分割した作業者映像データを、前記電子書類の内容変化を画像解析した画像解析結果に基づく類似度合いによってペアリングし、前記シーン分割された作業者映像データ同士を比較することを特徴とする請求項７記載の画像編集プログラム。
【請求項９】
複数の前記ビデオカメラからの作業者映像データと同期して、複数の前記ＰＣからの複数のＰＣ映像データがデータ入力されると、複数の前記ビデオカメラからの作業者映像データ同士を比較することを特徴とする請求項８記載の画像編集プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−５５５０１（Ｐ２０１３−５５５０１Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９２２１３（Ｐ２０１１−１９２２１３）
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（３０４０２４４３０）国立大学法人北陸先端科学技術大学院大学 (169)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（３０４０２４４３０）国立大学法人北陸先端科学技術大学院大学 (169)
【Ｆターム（参考）】
[ Back to top ]