操作内容再生システムおよび操作内容再生プログラム
【課題】端末における操作画像を再生することにより、端末における操作を効果的に把握する技術を提供する。
【解決手段】特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を取得する先行操作ログ情報取得部２３と、前記先行操作ログ情報および抽出条件に基づいて前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得部２４と、前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成部２５と、前記先行操作ログ情報に対応する操作画像情報を取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成部２６を備えた。
【解決手段】特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を取得する先行操作ログ情報取得部２３と、前記先行操作ログ情報および抽出条件に基づいて前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得部２４と、前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成部２５と、前記先行操作ログ情報に対応する操作画像情報を取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成部２６を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末における操作画面をキャプチャして得られた操作画像と前記端末における操作を表す操作ログ情報とを取得し、前記操作画像の再生を行う操作内容再生技術に関する。
【背景技術】
【０００２】
従来、ネットワークにより接続される端末を監視するために種々の検討が行われている。例えば、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されたシステムにおいて、オペレータによる端末のリモート操作時に、クライアント端末ではモニタに表示されているモニタ画面を遠隔制御サーバに送信し、遠隔制御サーバでは受信したモニタ画面をモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末のモニタ画面をキャプチャ画像（操作画像）として、所定のインターバルで操作イベントログに記録し、この記録のあとに、遠隔制御サーバのログ再生処理部が操作イベントログに記録されたキャプチャ画像の再生を行うものがある（特許文献１参照）。このシステムでは、データ記憶部に格納された操作画像を監視モニタに再生することで、ユーザによる端末の操作内容を監視することができる。
【０００３】
さらに、画像に対するユーザ操作を視覚的に確認するため、映像における特定被写体に対してユーザがクリックした際の映像内時間位置及び空間座標データをクリック操作イベントログとして保存しておき、映像の再生中にこのクリック操作イベントログをスーパーインポーズ（合成）して表示する技術が知られている（特許文献２参照）。この技術では、ユーザがどのようなシーンでクリックしたのかといったクリック操作を再生時に視覚的に確認できる。
【０００４】
【特許文献１】特開２００６−１０８９４７号公報（段落番号００９４〜００９９、図１、図１７）
【特許文献２】特開２００４−１１００９６号公報（段落番号〔００２２〕〜００３０、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
端末の操作画像を再生して端末の操作内容を確認する技術においては、管理者の負担を増大させることなく、効果的に操作内容を把握する必要がある。
【０００６】
しかしながら、特許文献１の技術では、特定の危険な操作に注目して監視したい場合であっても、それ以外の操作が頻繁に現れることで、その監視作業が散漫となり、ファイルを複製してポータブルメモリにコピーするといった、場合によっては禁止された行為となる操作を確実に見つけ出すことが難しくなる。
【０００７】
また、特許文献２の技術では、リアルタイム時には見えなかった画像に対するユーザのクリック操作を再生時にそのクリックされた再生時刻にイメージ化して表示しており、管理者が操作内容を把握するための情報を提供可能ではあるが、再生時にユーザの操作を事前に把握することができないため、管理者は常に再生される画面を注視しなければならず、管理者の負担は大きいものとなっている。
【０００８】
上記実状に鑑み、本発明の課題は、端末における操作画像を再生することにより、端末における操作を効果的に把握する技術を提供することである。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明の操作内容再生システムは、端末における操作画面を再生する操作内容再生システムにおいて、前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部と、前記端末における操作ログ情報を記録する操作ログ情報記録部と、特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を操作ログ情報記録部から取得する先行操作ログ情報取得部と、前記先行操作ログ情報および抽出条件に基づいて前記操作ログ情報記録部から前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得部と、前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成部と、前記先行操作ログ情報に対応する操作画像情報を前記操作画像情報記録部から取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成部と、を備えている。
【００１０】
本構成により、特定操作が検出された際には、その特定操作に関連する操作画像と移行情報とから再生画像が生成されるため、管理者は特定操作以降にどのような操作が実行されるかを予め把握することができるため、常に再生画像を注視せずとも、容易に端末における操作の内容を把握することができる。
【００１１】
このような操作内容再生システムでは、時々刻々の操作画像が再生表示されており、効果的に操作内容を把握するためには、表示されている操作画像において移行情報が確認できることが望ましい。そのため、本発明の好適な実施形態の一つでは、表示する操作画像の日時情報に対応する操作ログ情報を先行操作ログ情報としている。
【００１２】
上述した本発明による操作内容再生システムの技術的特徴は、同様の操作内容再生プログラムにも適用可能である。例えば、端末における操作ログ情報を記録する操作ログ情報記録部と、前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部とを備え、前記端末における操作画面を再生する操作内容再生システムのための操作内容再生プログラムにおいて、特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を取得する先行操作ログ情報取得機能と、前記先行操作ログ情報および抽出条件に基づいて前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得機能と、前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成機能と、前記先行操作ログ情報に対応する操作画像情報を取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成機能とをコンピュータに実現させる。当然ながら、このような操作内容再生プログラムも上述した操作内容再生システムで述べた作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。
【発明を実施するための最良の形態】
【００１３】
〔第１実施形態〕
以下、図面を用いて本発明の第１実施形態を説明する。本発明の画像表示システムは、図１に示すように、複数の端末Ｃが通信ネットワーク（以下、ネットワークと称する）Ｎを介して、管理サーバＳと接続されている。前記ネットワークＮは、企業や学校等の限られた施設内において情報を物理的に送るケーブルと、ＬＡＮスイッチやハブ等でなる中継機器を備えたＣＳＭＡ／ＣＤ（Carrier Sense Multiple Access with Collision Detection）方式のイーサネット（Ethernet）（商標）型のＬＡＮとして構成されたものであるが、このネットワークＮとしてイーサネット型のＬＡＮ以外に、インターネットの技術を用いたイントラネットで構築されたものや、ＷＡＮ（Wide Area Network）の技術によって構築されるものでも良い。
【００１４】
管理サーバＳは、汎用コンピュータ１で構成されており、ディスプレイ２、入力機器３（キーボード３ａ、マウス３ｂ）を備えている。また、端末Ｃは、コンピュータ本体４で構成されており、ディスプレイ５、および入力機器６（キーボード６ａ、マウス６ｂ）が接続されている。
【００１５】
図２は、本発明の操作内容再生システムを構成する管理サーバＳと端末Ｃの機能ブロック図を示している。端末Ｃは、ネットワークＮを介して管理サーバＳおよび他の端末Ｃと様々な情報を送受信するためのネットワークＩ／Ｆ１０、端末Ｃにおける様々な操作を表す操作ログ情報を生成し、管理サーバＳに送信する操作ログ情報生成部１１、端末Ｃにおける操作画面をキャプチャして得られる操作画像を含む操作画像情報を生成し、管理サーバＳに送信する操作画像情報生成部１２および、入力機器６からの入力を取得すると共にディスプレイ５との入出力を行うＧＵＩ部１３を備えている。
【００１６】
通常、操作ログ情報生成部１１および操作画像情報生成部１２は、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
【００１７】
なお、本実施形態において、操作ログ情報には、操作内容、ユーザ識別情報、端末識別情報、操作対象情報、日時情報および環境情報が含まれている。なお、操作対象情報には、操作を実行するアプリケーション名、操作対象となるファイル等の名称（以下、ファイル名と総称する）、操作対象となるアイコンの位置やマウス操作の位置、操作を実行するアプリケーションのウィンドウ位置を表す位置情報等が含まれており、環境情報とは、端末Ｃにおける様々な設定や環境であり、例えば、ＵＳＢメモリの使用の有無等である。また、ユーザ識別情報は、ユーザを一意に特定可能な情報であり、ユーザ名、ユーザ毎に排他的に割り振られた固有の番号等を用いることができ、端末識別情報は、端末Ｃを一意に特定可能な情報であり、端末名、ＩＰアドレス、ＭＡＣアドレス、端末毎に排他的に割り振られた固有の番号等を用いることができる。
【００１８】
一方、本実施形態における操作画像情報には、端末Ｃの操作画面をキャプチャして得られる操作画像、端末識別情報、ユーザ識別情報および日時情報が含まれている。上述の各種情報は、これらに限定されるものではなく、本発明の目的を達する限りにおいて、他の情報を用いても構わない。
【００１９】
操作ログ情報生成部１１は、端末Ｃにおける様々な操作を表す情報を所定のタイミングで生成している。本実施形態では、所定のタイミングは、所定の操作が行われたタイミングおよび一定間隔毎を表すが、これに限定されるものではなく、他のタイミングを用いても構わない。生成された操作ログ情報は、ネットワークＩ／Ｆ１０およびネットワークＮを介して管理サーバＳに送信される。なお、操作ログ情報の送信は、操作ログ情報の生成と同時でもよく、所定間隔に生成された操作ログ情報を蓄積した後、それらをまとめて送信しても構わない。
【００２０】
操作画像情報生成部１２は、所定の時間間隔で端末Ｃのディスプレイ５に表示されている操作画面をＧＵＩ部１３を介してキャプチャし操作画像を取得すると共に、その操作画像を含む操作画像情報を生成する。なお、操作画像情報の生成のタイミングは、これに限定されるものではなく、他のタイミングであって構わず、操作ログ情報の生成タイミングと同期的／非同期的であって構わない。生成された操作画像情報は、ネットワークＩ／Ｆ１０およびネットワークＮを介して管理サーバＳに送信される。なお、操作画像情報の送信は、操作ログ情報の生成と同時でもよく、所定間隔に生成された操作画像情報を蓄積した後、それらをまとめて送信しても構わない。
【００２１】
管理サーバＳは、ネットワークＮを介して端末Ｃと様々な情報を送受信するためのネットワークＩ／Ｆ２０、端末Ｃから送信される操作ログ情報を取得し、保存管理する操作ログ情報記録部２１、端末Ｃから送信される操作画像情報を取得し、保存管理する操作画像情報記録部２２、先行操作を検知し、その先行操作の操作ログ情報を前記操作ログ情報記録部２１から取得する先行操作ログ情報取得部２３、取得された先行操作ログ情報と所定の抽出条件に基づき先行操作に後続する後続操作に係る後続操作ログ情報を操作ログ情報記録部２１から取得する後続操作ログ情報取得部２４、先行操作ログ情報と後続操作ログ情報とから操作の移行情報を作成する移行情報作成部２５、先行操作ログ情報に対応する操作画像情報を操作画像情報記録部２２から取得し、取得した操作画像情報と移行情報とに基づいて再生画像を作成する再生画像作成部２６、再生画像作成部２７により作成された再生画像を表示する画像表示部２７、および、入力機器３からの入力を取得すると共にディスプレイ２との入出力を制御するＧＵＩ部３０を備えている。
【００２２】
通常、操作ログ情報記録部２１、操作画像情報記録部２２、先行操作情報取得部２３、後続操作ログ情報取得部２４、移行情報作成部２５、再生画像作成部２６および画像表示部２７は、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
【００２３】
操作ログ情報記録部２１および操作画像情報記録部２２は、それぞれ、端末Ｃから送信される操作ログ情報および操作画像情報をネットワークＩ／Ｆ２０を介して取得し、記録管理している。
【００２４】
先行操作ログ情報取得部２３は、操作画像情報記録部２２から操作画像情報を取得し、取得した操作画像情報に対応する操作ログ情報の有無を判定すると共に、取得した操作画像情報に対応する操作ログ情報が存在すると判定した際に、さらに、その操作ログ情報が先行操作に係るものであるか否かを判定し、先行操作にかかる操作ログ情報であると判定すると、その操作ログ情報を先行操作ログ情報として取得する。なお、本実施形態において、先行操作とは所定の操作であり、ファイルのコピーや削除等、様々な操作を所定操作とすることができる。取得した先行操作ログ情報は、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
【００２５】
後続操作ログ情報取得部２４は、先行操作ログ情報取得部２３により取得された先行操作ログ情報と所定の抽出条件とに基づき、先行操作に後続する後続操作の操作ログ情報（以下、後続操作ログ情報と称する）を操作ログ情報記録部２１から取得する。具体的には、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持つ操作ログ情報であり、所定の抽出条件を充足する操作ログ情報を操作ログ情報記録部２１から取得する。取得した後続操作ログ情報は、移行情報作成部２５に送られる。
【００２６】
移行情報作成部２５は、先行操作ログ情報取得部２３により取得された先行操作ログ情報および後続操作ログ情報取得部２４により取得された後続操作ログ情報に基づき移行情報を作成する。本実施形態における移行情報とは、先行操作における状態から後続操作における状態への移行を示す情報である。例えば、後続操作の内容を表す情報、先行操作の位置から後続操作の位置への移動を表す情報、先行操作から後続操作が行われるまでの時間、後続操作のリスクを表す情報、後続操作の操作方法を表す情報等を用いることができる。当然ながら、本発明の目的を達する限りにおいて、移行情報は適宜変更可能である。なお、作成された移行情報は、先行操作ログ情報と共に再生画像作成部２６に送られる。
【００２７】
再生画像作成部２６は、先行操作ログ情報取得部２３により取得された先行操作ログ情報に対応する操作画像情報を先行操作ログ情報取得部２３から取得し、取得した操作画像情報と移行情報作成部２５により作成された移行情報とに基づき再生画像を作成する。なお、操作ログ情報と操作画像情報との対応付けは、各々の端末識別情報および日時情報に基づき行われる。作成された再生画像は画像表示部２７に送られ、ＧＵＩ部３０を介して、管理サーバＳのディスプレイ２に表示される。
【００２８】
次に、図３のフローチャートを用いて、本実施形態の具体的な処理の流れを説明する。なお、本実施例における特定操作とは、ファイルを開く操作、ファイルの選択操作とし、以下に説明する処理に先立ち、各端末Ｃから管理サーバＳに対して操作ログ情報および操作画像情報が送信され、管理サーバＳの操作ログ情報記録部２１および操作画像情報記録部２２に記録されているものとする。
【００２９】
このときの、操作ログ情報と操作画像情報の例を図４に示す。図は、上から下に向かって時系列順に整列した操作ログ情報と操作画像情報を示しており、操作ログ情報にはOperation001等の名称を、操作画像情報にはImage001等の名称を付している。なお、この図に示される操作ログ情報および操作画像情報は一の端末Ｃのものであり、端末識別情報等の表示は省略している。また、操作ログ情報の右の欄は、操作ログ情報に含まれる操作内容および環境情報を示しており、同行の操作画像情報と操作ログ情報とは対応するものとする。本実施形態においては、操作画像情報と操作ログ情報の日時情報が一致もしくはそれらの差が所定値以下である場合に、その操作ログ情報と操作画像情報とは対応するものとする。
【００３０】
まず、管理者は入力機器３を操作することにより、ＧＵＩ部３０を介して管理サーバＳに対して操作内容の再生を開始する旨を指示すると、以下の処理が開始される。このとき、再生を実行する開始日時および終了日時も合わせて指示する。
【００３１】
通常の再生状態では、先行操作ログ情報取得部２３は、操作画像情報記録部２２から、上述の指示された開始日時から終了日時までの操作画像情報を順次取得し、取得した操作画像情報を画像表示部２７に送り、画像表示部２７は、操作画像情報に含まれる操作画像を順次表示する（＃０１→＃１３のNo分岐→＃１１→＃１２）。
【００３２】
上述の再生動作と同時に、先行操作ログ情報取得部２３は取得した操作画像情報に対応する操作ログ情報が操作ログ情報記録部２１に存在するか否かを判定する（＃０２）。図４の例で、先行操作ログ情報取得部２３によりImage000の操作画像情報が取得された場合には、操作画像情報Image000に対応する操作ログ情報は存在しないと判定される（＃０２のNo分岐）。
【００３３】
この場合には、先行操作ログ情報取得部２３から画像表示部２７に対して、取得した操作画像情報に対応する操作ログ情報が存在しない旨が通知され、画像表示部２７は有効な移行情報の有無を判定する（＃１３）。今の場合には、移行情報は存在しない（＃１３のNo分岐）ため、画像表示部２７は操作画像情報Image000に含まれる操作画像をディスプレイ２に表示する(図５（ａ）参照)。
【００３４】
一方、先行操作ログ情報取得部２３により操作画像情報Image001が取得された場合（＃０１）には、対応する操作ログ情報Operation000が存在すると判定される（＃０２のYes分岐）。
【００３５】
次に、先行操作ログ情報取得部２３は、取得した操作画像情報に対応する操作ログ情報が特定操作に係る操作ログ情報であるか否かを判定し（＃０３）、特定操作の操作ログ情報であると判定した場合（＃０３のYes分岐）には、その操作ログ情報を先行操作ログ情報として取得する（＃０４）。上述の操作画像情報としてImage001が取得された場合には、先行操作ログ情報取得部２３により、操作ログ情報Operation000の操作内容が特定操作であるか否かが判定される。この場合には、操作ログ情報Operation000の操作内容は、“ＵＳＢメモリ装着”であるため、特定操作でないと判定される（＃０３のNo分岐）。
【００３６】
先行操作ログ情報取得部２３は、対応する操作ログ情報が先行操作ログ情報でない旨を、画像表示部２７に通知し、画像表示部２７は有効な移行情報の有無を判定する（＃１３）。今の場合には、移行情報は存在しない（＃１３のNo分岐）ため、画像表示部２７は操作画像情報Image001に含まれる操作画像をディスプレイ２に表示する。
【００３７】
一方、先行操作ログ情報取得部２３によりImage002が取得された場合（＃０１）には、対応する操作ログ情報Operation001が存在し（＃０２のYes分岐）、その操作内容が“ファイルＡをアプリケーションＷで開く”であり、特定操作である（＃０３のYes分岐）ため、操作ログ情報Operation001は、先行操作ログ情報として取得され（＃０４）、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
【００３８】
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の抽出条件とに基づき、後続操作ログ情報を取得する（＃０５）。具体的には、後続操作ログ情報取得部２４は、操作ログ情報記録部２１に記録されている操作ログ情報のうち先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持ち、所定の条件を充足する操作ログ情報を後続操作ログ情報として取得する。取得された後続操作ログ情報は、移行情報作成部２５に送られる。
【００３９】
先行操作ログ情報として操作ログ情報Operation001を取得した場合には、操作ログ情報Operation001と同一の端末識別情報を持ち、操作ログ情報Operation001の日時情報以降の日時情報を持つ操作ログ情報Operation002〜Operation010が抽出される。ここで、所定の抽出条件を“同一ファイルに係る操作”とすると、操作ログ情報Operation001の操作対象である“ファイルＡ”を操作対象とする操作ログ情報Operation002、Operation003、Operation004が後続操作ログ情報となる。
【００４０】
なお、後続操作ログ情報は一の操作ログ情報でも複数の操作ログ情報でも構わない。前者の場合には、上記の条件を満たす操作ログ情報のうち、先行操作ログ情報の直後の操作ログ情報が後続操作ログ情報となる。
【００４１】
先行操作ログ情報取得部２３および後続操作ログ情報取得部２４から、先行操作ログ情報および後続操作ログ情報を取得した移行情報作成部２５は、先行操作ログ情報および後続操作ログ情報に基づき移行情報を作成する（＃０６）。作成された移行情報は、再生画像作成部２６に、先行操作ログ情報と共に送られる。
【００４２】
上述したように、本実施形態における移行情報とは、後続操作の内容を表す情報、先行操作の位置から後続操作の位置への移動を表す情報、先行操作から後続操作が行われるまでの時間等の先行操作における状態から後続操作における状態への移行を示す情報である。上述の例の場合には、移行情報として、“ファイルＡは、保存→選択→ＵＳＢメモリにコピーされます”等の後続操作ログ情報の操作内容を反映した文字情報や、アイコンやマウスの位置情報の軌跡を表す情報、後続操作が行われるまでの時間等とすることができる。
【００４３】
移行情報作成部２５から先行操作ログ情報および移行情報を取得した再生画面作成部２６は、先行操作ログ情報に対応する操作画像情報を取得し、取得した操作画像情報に含まれる操作画像と移行情報とから再生画像を作成する（＃０８）。このとき、取得した操作画像情報が最後の後続操作ログ情報の日時情報以降か否かが判定され（＃０９）、以降であれば（＃０９のYes分岐）移行情報が破棄される（＃１０）。作成された再生画像は、画像表示部２７によりＧＵＩ部３０を介してディスプレイ２に表示される（＃１１）。
【００４４】
上述の例では、先行操作ログ情報Operation001に対応する操作画像情報はImage002であり、操作画像情報Image002に含まれる操作画像に対して、移行情報としての文字列“ファイルＡは保存→選択→ＵＳＢメモリにコピーされます”を重畳表示した再生画像が作成される（図５（ｂ）参照）。
【００４５】
また、先行操作ログ情報取得部２３により、操作画像情報Image003が取得された場合には、対応する操作ログ情報が存在せず、（＃０２のNo分岐）、移行情報が存在する（＃１３のYes分岐）ため、先行操作ログ情報取得部２３は、その旨を再生画像作成部２６に通知し、再生画像作成部２６は、操作画像情報Image003に含まれる操作画像と上述の移行情報とから再生画像を作成する。
【００４６】
また、先行操作ログ情報取得部２３により、操作画像情報Image004が取得された場合には、対応する操作ログ情報Operation002は存在する（＃０２のYes分岐）が、“保存”は特定操作でないと判定される（＃０３のNo分岐）。この場合も、上述の場合と同様に、移行情報が存在する（＃１３のYes分岐）ため、先行操作ログ情報取得部２３は、その旨を再生画像作成部２６に通知し、再生画像作成部２６は、操作画像情報Image004に含まれる操作画像と上述の移行情報とから再生画像を作成する。
【００４７】
上述の処理が繰り返されることにより、図５に示す再生画像が得られる。
【００４８】
また、上記の処理において、所定の抽出条件を“同一アプリケーションに係る操作”とすると、操作ログ情報Operation001の操作対象アプリケーション“アプリケーションＷ”と同一の操作対象アプリケーションを持つ操作ログ情報Operation002およびOperation005が後続操作ログ情報となり、このときの移行情報を後続操作の内容を表す情報とすると、図６の再生画像となる。このとき、操作ログ情報にアプリケーションウィンドウの位置情報を含ませておき、移行情報と所定の抽出条件に係るアプリケーションウィンドウとが重ならないように表示することも可能である（図６（ｄ）参照）。
【００４９】
また、環境情報に基づいて抽出条件を設定することも可能であり、例えば、上記の例において、所定の抽出条件を“ＵＳＢメモリ装着中”とすると、操作ログ情報Operation002〜Operation005までが後続操作ログ情報となり、図７の再生画像が得られる。
【００５０】
〔第２実施形態〕
次に、図を用いて本発明の操作内容再生システムの第２実施形態を説明する。図８は、本実施形態における機能ブロック図であり、第１実施形態と同様の機能部には同じ符号を付している。
【００５１】
本実施形態の操作内容再生システムは、補間画像作成部２８を備えている点において第１実施形態と異なっている。補間画像作成部２８は、通常、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
【００５２】
補間画像作成部２８は、先行操作ログ情報の日時情報と一致する操作画像情報が存在しない場合に、先行操作ログ情報が生成された日時の表示されていた操作画面情報を作成する。具体的には、先行操作ログ情報の日時情報の直前の操作画面情報および先行操作ログ情報に基づき操作画像情報を作成する、もしくは、先行操作ログ情報の日時情報の直前および直後の操作画像情報に含まれる操作画像から補間により操作画像を作成する方法を用いることができる。本実施形態では、前者の処理を説明する。
【００５３】
図９は、本実施形態の処理の流れを表すフローチャートである。まず、第１実施形態と同様に、管理者により、操作内容の再生の開始および再生を実行する開始日時および終了日時が指示されることにより、以下の処理が開始される。
【００５４】
まず、再生日時として上述の指示された開始日時が取得され（＃２１）、再生日時と同一の日時情報を持つ操作ログ情報が操作ログ情報記録部２１から取得される（＃２２）。このとき操作ログ情報が取得されれば（＃２３のYes分岐）、取得された操作ログ情報が先行操作ログ情報であるか否かの判定が行われる（＃２４）。
【００５５】
上述の処理により、先行操作ログ情報であると判定された場合（＃２４のYes分岐）には、先行操作ログ情報は、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
【００５６】
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の抽出条件とに基づき、後続操作ログ情報を取得する（＃２５）。取得した後続操作ログ情報は、移行情報作成部２５に送られる。
【００５７】
先行操作ログ情報および後続操作ログ情報を取得した移行情報作成部２５は、先行操作ログ情報および後続操作ログ情報に基づき移行情報を作成する（＃２６）。作成された移行情報は、再生画像作成部２６に、先行操作ログ情報と共に送られる。
【００５８】
移行情報作成部２５から先行操作ログ情報および移行情報を取得した再生画面作成部２６は、操作画像情報記録部２２対して、先行操作ログ情報と同一の日時情報を持つ操作画像情報の有無を問い合わせ（＃２７）、存在する場合（＃２７のYes分岐）には、その操作画像情報を取得し（＃２８）、取得した操作画像情報に含まれる操作画像と移行情報とから再生画像を作成する（＃２９）。作成された再生画像は、画像表示部２７によりＧＵＩ部３０を介してディスプレイ２に表示され（＃３０）、現在の再生日時に、所定の再生間隔時間が加算され、再生日時が更新される（＃３１）。このとき、更新された再生日時が最後の後続操作ログ情報の日時情報以降か否かが判定され（＃３２）、以降であれば（＃３２のYes分岐）移行情報が破棄される（＃３３）。
【００５９】
その後、現在の再生日時と終了日時とが比較され（＃３４）、終了日時に達していない場合（＃３４のNo分岐）には、上述の処理が繰り返される。
【００６０】
また、先行操作ログ情報の日時情報に一致する日時情報を持つ操作画像情報が存在しない場合（＃２７のNo分岐）には、補間画像作成部２８により補間画像が作成される（＃３５）。具体的には、操作画像情報記録部２２から、＃２４において取得された操作ログ情報の日時情報の直前の日時情報を持つ操作画面情報が取得され、取得された操作画像情報とその操作ログ情報とに基づき、補間画像が作成される。作成された補間画像は、再生画像作成部２６に渡される。
【００６１】
補間画像を取得した再生画像作成部２６は、移行情報と補間画像とに基づく再生画像を作成し（＃２９）、作成された再生画像は、画像表示部２７によりディスプレイ２に表示される（＃３０）。
【００６２】
一方、再生日時と同一の日時情報を持つ操作ログ情報が存在しない場合（＃２３のNo分岐）には、再生画面作成部２６は、操作画像情報記録部２２から再生日時の操作画像情報を取得する（＃２８）と共に、再生画像を作成する（＃２９）。作成された再生画像は、画像表示部２７に送られ、ディスプレイ２に表示される（＃３０）。
【００６３】
上述の処理は、再生日時が指示された終了日時に達するまで（＃３４のYes分岐）、繰り返される。
【００６４】
〔第３実施形態〕
次に、本発明の操作内容再生システムの第３実施形態を説明する。本実施形態は、先行操作ログ情報取得部２３の動作が、上述の第１実施形態および第２実施形態と異なっている。
【００６５】
本実施形態における先行操作ログ情報取得部２３は、画像表示部２７により表示される操作画像が含まれている操作画像情報に対応する操作ログ情報を先行操作ログ情報とするものである。
【００６６】
このときの処理の流れを図１０のフローチャートに基づき説明する。第１実施形態と同様の処理ステップには同一の符号を付している。
【００６７】
通常の再生状態では、第１実施形態と同様、画像表示部２７は、操作画像情報記録部２２から、上述の指示された開始日時から終了日時までの操作画像情報を取得し、操作画像情報に含まれる操作画像を逐次表示する（＃０１→＃１３のNo分岐→＃１１→＃１２）。
【００６８】
上述の再生動作と同時に、先行操作ログ情報取得部２３は、操作ログ情報記録部２１に、画像表示部２６により取得された操作画像情報に対応する操作ログ情報が存在するか否かを判定する（＃０２）。操作画像情報に対応する操作ログ情報が存在する場合（＃０２のYes分岐）には、その操作ログ情報が先行操作ログ情報として取得され（＃０４）、後続操作ログ情報取得部２４に送られる。
【００６９】
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の条件とを比較することにより、後続操作ログ情報を取得する。ただし、本実施形態では、第１実施形態と異なり、操作ログ情報記録部２１に記録されている操作ログ情報から、所定の条件を充足し、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持つ操作ログ情報のうち、最先の一の操作ログ情報のみを後続操作ログ情報として取得する。
【００７０】
以降の処理は、実施形態１における処理の流れと同様であり、上述の処理を繰り返すことにより、図１１に示す再生画像が得られる。本実施形態では、図から分かるように、再生画像の移り変わりに伴い、移行情報も変化している。
【００７１】
〔第４実施形態〕
次に、本発明の操作内容再生システムの第４実施形態を説明する。本実施形態は、後続操作ログ情報取得部２４の動作が、上述の第１実施形態および第２実施形態と異なっている。
【００７２】
本実施形態における後続操作ログ情報取得部２４は、操作間の関連を記録する操作関連テーブル（図示せず）に基づき、後続操作ログ情報を取得する。
【００７３】
操作関連テーブルには、第１の操作と第２の操作の間に相関関係のある操作を関連付けて記録している。図１２は、操作関連テーブルの内容の例であり、“選択”と“コピー”、“選択”と“削除”、“ＵＳＢメモリ装着”と“選択”が、それぞれ第１の操作および第２の操作として記録されている。このとき、後続操作ログ情報取得部２４は、先行操作ログ情報の操作内容を第１の操作として、その第１の操作に関連付けられている第２の操作を取得し、操作ログ情報記録部２１から、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持ち、操作内容が第２の操作である操作ログ情報のうち最先の操作ログ情報を後続操作ログ情報として取得する。
【００７４】
次に、本実施形態における処理の流れを図３のフローチャートを用いて説明する。なお、図３の処理に先立ち操作ログ情報記録部２１および操作画像情報記録部２２には、図４の操作ログ情報および操作画像情報が記録されているものとする。また、特定操作とは、操作関連テーブルに記録されている第１の操作であるとする。
【００７５】
まず、操作画像情報記録部２２から一の操作画像情報が取得され（＃０１）、対応する操作ログ情報の有無が判定される（＃０２）。この例では、まずImage001が取得されると、対応する操作ログ情報としてOperation000が存在することが判定される。ここで、操作ログ情報Operation000の操作内容は、“ＵＳＢメモリの装着”であり、特定操作であると判定される。（＃０３のYes分岐）。したがって、操作ログ情報Operation000は先行操作ログ情報として取得される（＃０４）。
【００７６】
先行操作ログ情報Operation000は、後続操作ログ情報取得部２４に送られ、後続操作ログ情報取得部２４は、操作関連テーブルから、先行操作ログ情報Operation000の操作内容である“ＵＳＢメモリ装着”に関連付けられている第２の操作として“選択”を取得する。後続操作ログ情報取得部２４は、さらに、先行操作ログ情報Operation000以降の操作ログ情報のうち、操作内容が“選択”である最先の操作ログ情報、すなわちOperation003を後続操作ログ情報として取得する（＃０５）。
【００７７】
このとき、先行操作ログ情報Operation000および後続操作ログ情報Operation003から移行情報が作成され（＃０６）、図１３（ａ）の再生画像が作成される（＃０８）。
【００７８】
以降、同様の処理により、操作画像情報Image006が取得された際に、Operation003が先行操作ログ情報となり、このときの後続操作ログ情報はOperation004となり、図１３（ｃ）の再生画像が作成される。
【００７９】
このように先行操作及び後続操作を関連のある操作として定めることにより、一連の関連した操作を表す移行情報を反映した再生画像を生成することができ、端末Ｃにおける操作の内容を的確に把握することが可能となる。
【００８０】
〔別実施形態〕
（１）上述の実施形態では、移行情報として操作の内容を用いたが、操作の内容を把握するために有用な種々の情報を用いることができる。例えば、操作内容と共にその操作が実行されるまでの時間を表示することができる。操作内容と共に操作が実行されるまでの時間を移行情報として再生画像に表示することにより、管理者は、注目すべき操作までの時間を把握することができるため、操作の見逃しを回避することができる。
【００８１】
（２）上述の実施形態では、操作の内容が移行情報として再生画像に表示されていたが、再生画像に表示される移行情報は文字情報に限定されない。例えば、マウスによる操作が行われるのであれば、マウスの図を表示することや、先行操作が実行される位置から後続操作が実行される位置を直線で結ぶ等により移行情報を再生画像に表示することができる。このような図等を再生画像に表示することにより、管理者に対し操作を注視するよう喚起することができるため、好適である。
【００８２】
（３）本発明の操作内容再生システムの各機能部の配置は、端末Ｃおよび管理サーバＳに適宜変更が可能である。例えば、全機能部を端末Ｃに備えたスタンドアロン型でシステムを構築することも可能である。また、操作ログ情報記録部２１および操作画像情報記録部２２を端末Ｃや別途設置したサーバに配置することも可能である。さらに、移行情報作成部２５、再生画像作成部２６および画像表示部２７を端末Ｃに配置することも可能である。当然ながら、各機能部の配置は上述に限定されるものではなく、本発明の目的を達する限りにおいて、適宜変更可能である。
【００８３】
（４）上述の実施形態では、端末識別情報に基づき、後続操作ログ情報の取得、操作ログ情報と操作画像情報との対応付けが行われたが、ユーザ識別情報に基づいても構わない。
【００８４】
（５）上述の実施形態では、移行情報は操作画像の上に表示されていたが、移行情報の表示位置はこれに限定されるものではなく、操作画像の近傍に表示する（図１４参照）等、他の表示位置とすることができる。このように、移行情報が操作画像と重畳しないように表示すれば、移行情報と共に操作画像の内容が把握し易くなるため好適である。
【００８５】
（６）上述の実施形態では、移行情報として後続操作の内容を表す情報を用いたが、上述したように、移行情報としては種々の情報を用いることがでる。図１５は、先行操作に係る位置から後続操作に係る位置に対しての位置情報の変更を移行情報として用いた例である。この例では、ファイルＡが選択された（図１５（ａ）参照）後に、メニューリストから「送る」さらに「ＵＳＢメモリ」が選択される（図１５（ｂ）参照）ことにより、ファイルＡがＵＳＢメモリにコピーされる様子が表されている。このとき、ファイルＡの選択操作が先行操作として取得されると、ＵＳＢメモリへのコピー操作が後続操作として取得され、先行操作の操作位置から後続操作の操作位置への矢印と共に、後続操作に係るウィンドウ位置が移行情報として点線として表されている。このような移行情報を用いることにより、管理者は後続操作に係る位置を予め知ることができ、その位置を注視するだけで後続操作を把握することができるため、好適である。
【００８６】
図１６は、先行操作から後続操作が行われるまでの時間を移行情報として用いた例である。このように、移行情報として先行操作から後続操作までの時間を用いると、管理者は後続操作に係る操作画像が表示されるまでの時間を把握することができため、好適である。
【００８７】
図１７は、後続操作が注目すべき操作の場合に、管理者の注意を喚起するための図形を移行情報として用いた例である。この例では、先行操作としてファイルＡの選択、後続操作としてファイルＡのＵＳＢメモリへのコピーが取得され、移行情報として注意を喚起する“！”が表示されている。このとき、移行情報の表示位置を後続操作に係る位置とすると、管理者は後続操作に係る位置に注意を向けることができるため好適である。
【００８８】
このように、移行情報は種々の情報を用いることが可能であり、本発明の目的を達する限りにおいて、適宜変更することができる。
【図面の簡単な説明】
【００８９】
【図１】本発明による操作内容再生システムのシステム構成図
【図２】本発明による操作内容再生システムの第１実施形態における機能ブロック図
【図３】本発明による操作内容再生システムの第１実施形態における処理の流れを表すフローチャート
【図４】本発明による操作内容再生システムの第１実施形態における操作ログ情報および操作画像情報の例
【図５】本発明による操作内容再生システムの第１実施形態における再生画像の例
【図６】本発明による操作内容再生システムの第１実施形態における再生画像の例
【図７】本発明による操作内容再生システムの第１実施形態における再生画像の例
【図８】本発明による操作内容再生システムの第２実施形態における機能ブロック図
【図９】本発明による操作内容再生システムの第２実施形態における処理の流れを表すフローチャート
【図１０】本発明による操作内容再生システムの第３実施形態における処理の流れを表すフローチャート
【図１１】本発明による操作内容再生システムの第３実施形態における再生画像の例
【図１２】本発明による操作内容再生システムの第４実施形態における操作関連テーブルの例
【図１３】本発明による操作内容再生システムの第４実施形態における再生画像の例
【図１４】本発明による操作内容再生システムの別実施形態における再生画像の例
【図１５】本発明による操作内容再生システムの別実施形態における再生画像の例
【図１６】本発明による操作内容再生システムの別実施形態における再生画像の例
【図１７】本発明による操作内容再生システムの別実施形態における再生画像の例
【符号の説明】
【００９０】
Ｓ：管理サーバ
Ｃ：端末
１０、２０：ネットワークＩ／Ｆ
１１：操作ログ情報生成部
１２：操作画像情報生成部
１３、３０：ＧＵＩ部
２１：操作ログ情報記録部
２２：操作画像情報記録部
２３：先行操作ログ情報取得部
２４：後続操作ログ情報取得部
２５：移行情報作成部
２６：再生画像作成部
２７：画像表示部
【技術分野】
【０００１】
本発明は、端末における操作画面をキャプチャして得られた操作画像と前記端末における操作を表す操作ログ情報とを取得し、前記操作画像の再生を行う操作内容再生技術に関する。
【背景技術】
【０００２】
従来、ネットワークにより接続される端末を監視するために種々の検討が行われている。例えば、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されたシステムにおいて、オペレータによる端末のリモート操作時に、クライアント端末ではモニタに表示されているモニタ画面を遠隔制御サーバに送信し、遠隔制御サーバでは受信したモニタ画面をモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末のモニタ画面をキャプチャ画像（操作画像）として、所定のインターバルで操作イベントログに記録し、この記録のあとに、遠隔制御サーバのログ再生処理部が操作イベントログに記録されたキャプチャ画像の再生を行うものがある（特許文献１参照）。このシステムでは、データ記憶部に格納された操作画像を監視モニタに再生することで、ユーザによる端末の操作内容を監視することができる。
【０００３】
さらに、画像に対するユーザ操作を視覚的に確認するため、映像における特定被写体に対してユーザがクリックした際の映像内時間位置及び空間座標データをクリック操作イベントログとして保存しておき、映像の再生中にこのクリック操作イベントログをスーパーインポーズ（合成）して表示する技術が知られている（特許文献２参照）。この技術では、ユーザがどのようなシーンでクリックしたのかといったクリック操作を再生時に視覚的に確認できる。
【０００４】
【特許文献１】特開２００６−１０８９４７号公報（段落番号００９４〜００９９、図１、図１７）
【特許文献２】特開２００４−１１００９６号公報（段落番号〔００２２〕〜００３０、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
端末の操作画像を再生して端末の操作内容を確認する技術においては、管理者の負担を増大させることなく、効果的に操作内容を把握する必要がある。
【０００６】
しかしながら、特許文献１の技術では、特定の危険な操作に注目して監視したい場合であっても、それ以外の操作が頻繁に現れることで、その監視作業が散漫となり、ファイルを複製してポータブルメモリにコピーするといった、場合によっては禁止された行為となる操作を確実に見つけ出すことが難しくなる。
【０００７】
また、特許文献２の技術では、リアルタイム時には見えなかった画像に対するユーザのクリック操作を再生時にそのクリックされた再生時刻にイメージ化して表示しており、管理者が操作内容を把握するための情報を提供可能ではあるが、再生時にユーザの操作を事前に把握することができないため、管理者は常に再生される画面を注視しなければならず、管理者の負担は大きいものとなっている。
【０００８】
上記実状に鑑み、本発明の課題は、端末における操作画像を再生することにより、端末における操作を効果的に把握する技術を提供することである。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明の操作内容再生システムは、端末における操作画面を再生する操作内容再生システムにおいて、前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部と、前記端末における操作ログ情報を記録する操作ログ情報記録部と、特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を操作ログ情報記録部から取得する先行操作ログ情報取得部と、前記先行操作ログ情報および抽出条件に基づいて前記操作ログ情報記録部から前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得部と、前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成部と、前記先行操作ログ情報に対応する操作画像情報を前記操作画像情報記録部から取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成部と、を備えている。
【００１０】
本構成により、特定操作が検出された際には、その特定操作に関連する操作画像と移行情報とから再生画像が生成されるため、管理者は特定操作以降にどのような操作が実行されるかを予め把握することができるため、常に再生画像を注視せずとも、容易に端末における操作の内容を把握することができる。
【００１１】
このような操作内容再生システムでは、時々刻々の操作画像が再生表示されており、効果的に操作内容を把握するためには、表示されている操作画像において移行情報が確認できることが望ましい。そのため、本発明の好適な実施形態の一つでは、表示する操作画像の日時情報に対応する操作ログ情報を先行操作ログ情報としている。
【００１２】
上述した本発明による操作内容再生システムの技術的特徴は、同様の操作内容再生プログラムにも適用可能である。例えば、端末における操作ログ情報を記録する操作ログ情報記録部と、前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部とを備え、前記端末における操作画面を再生する操作内容再生システムのための操作内容再生プログラムにおいて、特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を取得する先行操作ログ情報取得機能と、前記先行操作ログ情報および抽出条件に基づいて前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得機能と、前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成機能と、前記先行操作ログ情報に対応する操作画像情報を取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成機能とをコンピュータに実現させる。当然ながら、このような操作内容再生プログラムも上述した操作内容再生システムで述べた作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。
【発明を実施するための最良の形態】
【００１３】
〔第１実施形態〕
以下、図面を用いて本発明の第１実施形態を説明する。本発明の画像表示システムは、図１に示すように、複数の端末Ｃが通信ネットワーク（以下、ネットワークと称する）Ｎを介して、管理サーバＳと接続されている。前記ネットワークＮは、企業や学校等の限られた施設内において情報を物理的に送るケーブルと、ＬＡＮスイッチやハブ等でなる中継機器を備えたＣＳＭＡ／ＣＤ（Carrier Sense Multiple Access with Collision Detection）方式のイーサネット（Ethernet）（商標）型のＬＡＮとして構成されたものであるが、このネットワークＮとしてイーサネット型のＬＡＮ以外に、インターネットの技術を用いたイントラネットで構築されたものや、ＷＡＮ（Wide Area Network）の技術によって構築されるものでも良い。
【００１４】
管理サーバＳは、汎用コンピュータ１で構成されており、ディスプレイ２、入力機器３（キーボード３ａ、マウス３ｂ）を備えている。また、端末Ｃは、コンピュータ本体４で構成されており、ディスプレイ５、および入力機器６（キーボード６ａ、マウス６ｂ）が接続されている。
【００１５】
図２は、本発明の操作内容再生システムを構成する管理サーバＳと端末Ｃの機能ブロック図を示している。端末Ｃは、ネットワークＮを介して管理サーバＳおよび他の端末Ｃと様々な情報を送受信するためのネットワークＩ／Ｆ１０、端末Ｃにおける様々な操作を表す操作ログ情報を生成し、管理サーバＳに送信する操作ログ情報生成部１１、端末Ｃにおける操作画面をキャプチャして得られる操作画像を含む操作画像情報を生成し、管理サーバＳに送信する操作画像情報生成部１２および、入力機器６からの入力を取得すると共にディスプレイ５との入出力を行うＧＵＩ部１３を備えている。
【００１６】
通常、操作ログ情報生成部１１および操作画像情報生成部１２は、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
【００１７】
なお、本実施形態において、操作ログ情報には、操作内容、ユーザ識別情報、端末識別情報、操作対象情報、日時情報および環境情報が含まれている。なお、操作対象情報には、操作を実行するアプリケーション名、操作対象となるファイル等の名称（以下、ファイル名と総称する）、操作対象となるアイコンの位置やマウス操作の位置、操作を実行するアプリケーションのウィンドウ位置を表す位置情報等が含まれており、環境情報とは、端末Ｃにおける様々な設定や環境であり、例えば、ＵＳＢメモリの使用の有無等である。また、ユーザ識別情報は、ユーザを一意に特定可能な情報であり、ユーザ名、ユーザ毎に排他的に割り振られた固有の番号等を用いることができ、端末識別情報は、端末Ｃを一意に特定可能な情報であり、端末名、ＩＰアドレス、ＭＡＣアドレス、端末毎に排他的に割り振られた固有の番号等を用いることができる。
【００１８】
一方、本実施形態における操作画像情報には、端末Ｃの操作画面をキャプチャして得られる操作画像、端末識別情報、ユーザ識別情報および日時情報が含まれている。上述の各種情報は、これらに限定されるものではなく、本発明の目的を達する限りにおいて、他の情報を用いても構わない。
【００１９】
操作ログ情報生成部１１は、端末Ｃにおける様々な操作を表す情報を所定のタイミングで生成している。本実施形態では、所定のタイミングは、所定の操作が行われたタイミングおよび一定間隔毎を表すが、これに限定されるものではなく、他のタイミングを用いても構わない。生成された操作ログ情報は、ネットワークＩ／Ｆ１０およびネットワークＮを介して管理サーバＳに送信される。なお、操作ログ情報の送信は、操作ログ情報の生成と同時でもよく、所定間隔に生成された操作ログ情報を蓄積した後、それらをまとめて送信しても構わない。
【００２０】
操作画像情報生成部１２は、所定の時間間隔で端末Ｃのディスプレイ５に表示されている操作画面をＧＵＩ部１３を介してキャプチャし操作画像を取得すると共に、その操作画像を含む操作画像情報を生成する。なお、操作画像情報の生成のタイミングは、これに限定されるものではなく、他のタイミングであって構わず、操作ログ情報の生成タイミングと同期的／非同期的であって構わない。生成された操作画像情報は、ネットワークＩ／Ｆ１０およびネットワークＮを介して管理サーバＳに送信される。なお、操作画像情報の送信は、操作ログ情報の生成と同時でもよく、所定間隔に生成された操作画像情報を蓄積した後、それらをまとめて送信しても構わない。
【００２１】
管理サーバＳは、ネットワークＮを介して端末Ｃと様々な情報を送受信するためのネットワークＩ／Ｆ２０、端末Ｃから送信される操作ログ情報を取得し、保存管理する操作ログ情報記録部２１、端末Ｃから送信される操作画像情報を取得し、保存管理する操作画像情報記録部２２、先行操作を検知し、その先行操作の操作ログ情報を前記操作ログ情報記録部２１から取得する先行操作ログ情報取得部２３、取得された先行操作ログ情報と所定の抽出条件に基づき先行操作に後続する後続操作に係る後続操作ログ情報を操作ログ情報記録部２１から取得する後続操作ログ情報取得部２４、先行操作ログ情報と後続操作ログ情報とから操作の移行情報を作成する移行情報作成部２５、先行操作ログ情報に対応する操作画像情報を操作画像情報記録部２２から取得し、取得した操作画像情報と移行情報とに基づいて再生画像を作成する再生画像作成部２６、再生画像作成部２７により作成された再生画像を表示する画像表示部２７、および、入力機器３からの入力を取得すると共にディスプレイ２との入出力を制御するＧＵＩ部３０を備えている。
【００２２】
通常、操作ログ情報記録部２１、操作画像情報記録部２２、先行操作情報取得部２３、後続操作ログ情報取得部２４、移行情報作成部２５、再生画像作成部２６および画像表示部２７は、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
【００２３】
操作ログ情報記録部２１および操作画像情報記録部２２は、それぞれ、端末Ｃから送信される操作ログ情報および操作画像情報をネットワークＩ／Ｆ２０を介して取得し、記録管理している。
【００２４】
先行操作ログ情報取得部２３は、操作画像情報記録部２２から操作画像情報を取得し、取得した操作画像情報に対応する操作ログ情報の有無を判定すると共に、取得した操作画像情報に対応する操作ログ情報が存在すると判定した際に、さらに、その操作ログ情報が先行操作に係るものであるか否かを判定し、先行操作にかかる操作ログ情報であると判定すると、その操作ログ情報を先行操作ログ情報として取得する。なお、本実施形態において、先行操作とは所定の操作であり、ファイルのコピーや削除等、様々な操作を所定操作とすることができる。取得した先行操作ログ情報は、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
【００２５】
後続操作ログ情報取得部２４は、先行操作ログ情報取得部２３により取得された先行操作ログ情報と所定の抽出条件とに基づき、先行操作に後続する後続操作の操作ログ情報（以下、後続操作ログ情報と称する）を操作ログ情報記録部２１から取得する。具体的には、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持つ操作ログ情報であり、所定の抽出条件を充足する操作ログ情報を操作ログ情報記録部２１から取得する。取得した後続操作ログ情報は、移行情報作成部２５に送られる。
【００２６】
移行情報作成部２５は、先行操作ログ情報取得部２３により取得された先行操作ログ情報および後続操作ログ情報取得部２４により取得された後続操作ログ情報に基づき移行情報を作成する。本実施形態における移行情報とは、先行操作における状態から後続操作における状態への移行を示す情報である。例えば、後続操作の内容を表す情報、先行操作の位置から後続操作の位置への移動を表す情報、先行操作から後続操作が行われるまでの時間、後続操作のリスクを表す情報、後続操作の操作方法を表す情報等を用いることができる。当然ながら、本発明の目的を達する限りにおいて、移行情報は適宜変更可能である。なお、作成された移行情報は、先行操作ログ情報と共に再生画像作成部２６に送られる。
【００２７】
再生画像作成部２６は、先行操作ログ情報取得部２３により取得された先行操作ログ情報に対応する操作画像情報を先行操作ログ情報取得部２３から取得し、取得した操作画像情報と移行情報作成部２５により作成された移行情報とに基づき再生画像を作成する。なお、操作ログ情報と操作画像情報との対応付けは、各々の端末識別情報および日時情報に基づき行われる。作成された再生画像は画像表示部２７に送られ、ＧＵＩ部３０を介して、管理サーバＳのディスプレイ２に表示される。
【００２８】
次に、図３のフローチャートを用いて、本実施形態の具体的な処理の流れを説明する。なお、本実施例における特定操作とは、ファイルを開く操作、ファイルの選択操作とし、以下に説明する処理に先立ち、各端末Ｃから管理サーバＳに対して操作ログ情報および操作画像情報が送信され、管理サーバＳの操作ログ情報記録部２１および操作画像情報記録部２２に記録されているものとする。
【００２９】
このときの、操作ログ情報と操作画像情報の例を図４に示す。図は、上から下に向かって時系列順に整列した操作ログ情報と操作画像情報を示しており、操作ログ情報にはOperation001等の名称を、操作画像情報にはImage001等の名称を付している。なお、この図に示される操作ログ情報および操作画像情報は一の端末Ｃのものであり、端末識別情報等の表示は省略している。また、操作ログ情報の右の欄は、操作ログ情報に含まれる操作内容および環境情報を示しており、同行の操作画像情報と操作ログ情報とは対応するものとする。本実施形態においては、操作画像情報と操作ログ情報の日時情報が一致もしくはそれらの差が所定値以下である場合に、その操作ログ情報と操作画像情報とは対応するものとする。
【００３０】
まず、管理者は入力機器３を操作することにより、ＧＵＩ部３０を介して管理サーバＳに対して操作内容の再生を開始する旨を指示すると、以下の処理が開始される。このとき、再生を実行する開始日時および終了日時も合わせて指示する。
【００３１】
通常の再生状態では、先行操作ログ情報取得部２３は、操作画像情報記録部２２から、上述の指示された開始日時から終了日時までの操作画像情報を順次取得し、取得した操作画像情報を画像表示部２７に送り、画像表示部２７は、操作画像情報に含まれる操作画像を順次表示する（＃０１→＃１３のNo分岐→＃１１→＃１２）。
【００３２】
上述の再生動作と同時に、先行操作ログ情報取得部２３は取得した操作画像情報に対応する操作ログ情報が操作ログ情報記録部２１に存在するか否かを判定する（＃０２）。図４の例で、先行操作ログ情報取得部２３によりImage000の操作画像情報が取得された場合には、操作画像情報Image000に対応する操作ログ情報は存在しないと判定される（＃０２のNo分岐）。
【００３３】
この場合には、先行操作ログ情報取得部２３から画像表示部２７に対して、取得した操作画像情報に対応する操作ログ情報が存在しない旨が通知され、画像表示部２７は有効な移行情報の有無を判定する（＃１３）。今の場合には、移行情報は存在しない（＃１３のNo分岐）ため、画像表示部２７は操作画像情報Image000に含まれる操作画像をディスプレイ２に表示する(図５（ａ）参照)。
【００３４】
一方、先行操作ログ情報取得部２３により操作画像情報Image001が取得された場合（＃０１）には、対応する操作ログ情報Operation000が存在すると判定される（＃０２のYes分岐）。
【００３５】
次に、先行操作ログ情報取得部２３は、取得した操作画像情報に対応する操作ログ情報が特定操作に係る操作ログ情報であるか否かを判定し（＃０３）、特定操作の操作ログ情報であると判定した場合（＃０３のYes分岐）には、その操作ログ情報を先行操作ログ情報として取得する（＃０４）。上述の操作画像情報としてImage001が取得された場合には、先行操作ログ情報取得部２３により、操作ログ情報Operation000の操作内容が特定操作であるか否かが判定される。この場合には、操作ログ情報Operation000の操作内容は、“ＵＳＢメモリ装着”であるため、特定操作でないと判定される（＃０３のNo分岐）。
【００３６】
先行操作ログ情報取得部２３は、対応する操作ログ情報が先行操作ログ情報でない旨を、画像表示部２７に通知し、画像表示部２７は有効な移行情報の有無を判定する（＃１３）。今の場合には、移行情報は存在しない（＃１３のNo分岐）ため、画像表示部２７は操作画像情報Image001に含まれる操作画像をディスプレイ２に表示する。
【００３７】
一方、先行操作ログ情報取得部２３によりImage002が取得された場合（＃０１）には、対応する操作ログ情報Operation001が存在し（＃０２のYes分岐）、その操作内容が“ファイルＡをアプリケーションＷで開く”であり、特定操作である（＃０３のYes分岐）ため、操作ログ情報Operation001は、先行操作ログ情報として取得され（＃０４）、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
【００３８】
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の抽出条件とに基づき、後続操作ログ情報を取得する（＃０５）。具体的には、後続操作ログ情報取得部２４は、操作ログ情報記録部２１に記録されている操作ログ情報のうち先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持ち、所定の条件を充足する操作ログ情報を後続操作ログ情報として取得する。取得された後続操作ログ情報は、移行情報作成部２５に送られる。
【００３９】
先行操作ログ情報として操作ログ情報Operation001を取得した場合には、操作ログ情報Operation001と同一の端末識別情報を持ち、操作ログ情報Operation001の日時情報以降の日時情報を持つ操作ログ情報Operation002〜Operation010が抽出される。ここで、所定の抽出条件を“同一ファイルに係る操作”とすると、操作ログ情報Operation001の操作対象である“ファイルＡ”を操作対象とする操作ログ情報Operation002、Operation003、Operation004が後続操作ログ情報となる。
【００４０】
なお、後続操作ログ情報は一の操作ログ情報でも複数の操作ログ情報でも構わない。前者の場合には、上記の条件を満たす操作ログ情報のうち、先行操作ログ情報の直後の操作ログ情報が後続操作ログ情報となる。
【００４１】
先行操作ログ情報取得部２３および後続操作ログ情報取得部２４から、先行操作ログ情報および後続操作ログ情報を取得した移行情報作成部２５は、先行操作ログ情報および後続操作ログ情報に基づき移行情報を作成する（＃０６）。作成された移行情報は、再生画像作成部２６に、先行操作ログ情報と共に送られる。
【００４２】
上述したように、本実施形態における移行情報とは、後続操作の内容を表す情報、先行操作の位置から後続操作の位置への移動を表す情報、先行操作から後続操作が行われるまでの時間等の先行操作における状態から後続操作における状態への移行を示す情報である。上述の例の場合には、移行情報として、“ファイルＡは、保存→選択→ＵＳＢメモリにコピーされます”等の後続操作ログ情報の操作内容を反映した文字情報や、アイコンやマウスの位置情報の軌跡を表す情報、後続操作が行われるまでの時間等とすることができる。
【００４３】
移行情報作成部２５から先行操作ログ情報および移行情報を取得した再生画面作成部２６は、先行操作ログ情報に対応する操作画像情報を取得し、取得した操作画像情報に含まれる操作画像と移行情報とから再生画像を作成する（＃０８）。このとき、取得した操作画像情報が最後の後続操作ログ情報の日時情報以降か否かが判定され（＃０９）、以降であれば（＃０９のYes分岐）移行情報が破棄される（＃１０）。作成された再生画像は、画像表示部２７によりＧＵＩ部３０を介してディスプレイ２に表示される（＃１１）。
【００４４】
上述の例では、先行操作ログ情報Operation001に対応する操作画像情報はImage002であり、操作画像情報Image002に含まれる操作画像に対して、移行情報としての文字列“ファイルＡは保存→選択→ＵＳＢメモリにコピーされます”を重畳表示した再生画像が作成される（図５（ｂ）参照）。
【００４５】
また、先行操作ログ情報取得部２３により、操作画像情報Image003が取得された場合には、対応する操作ログ情報が存在せず、（＃０２のNo分岐）、移行情報が存在する（＃１３のYes分岐）ため、先行操作ログ情報取得部２３は、その旨を再生画像作成部２６に通知し、再生画像作成部２６は、操作画像情報Image003に含まれる操作画像と上述の移行情報とから再生画像を作成する。
【００４６】
また、先行操作ログ情報取得部２３により、操作画像情報Image004が取得された場合には、対応する操作ログ情報Operation002は存在する（＃０２のYes分岐）が、“保存”は特定操作でないと判定される（＃０３のNo分岐）。この場合も、上述の場合と同様に、移行情報が存在する（＃１３のYes分岐）ため、先行操作ログ情報取得部２３は、その旨を再生画像作成部２６に通知し、再生画像作成部２６は、操作画像情報Image004に含まれる操作画像と上述の移行情報とから再生画像を作成する。
【００４７】
上述の処理が繰り返されることにより、図５に示す再生画像が得られる。
【００４８】
また、上記の処理において、所定の抽出条件を“同一アプリケーションに係る操作”とすると、操作ログ情報Operation001の操作対象アプリケーション“アプリケーションＷ”と同一の操作対象アプリケーションを持つ操作ログ情報Operation002およびOperation005が後続操作ログ情報となり、このときの移行情報を後続操作の内容を表す情報とすると、図６の再生画像となる。このとき、操作ログ情報にアプリケーションウィンドウの位置情報を含ませておき、移行情報と所定の抽出条件に係るアプリケーションウィンドウとが重ならないように表示することも可能である（図６（ｄ）参照）。
【００４９】
また、環境情報に基づいて抽出条件を設定することも可能であり、例えば、上記の例において、所定の抽出条件を“ＵＳＢメモリ装着中”とすると、操作ログ情報Operation002〜Operation005までが後続操作ログ情報となり、図７の再生画像が得られる。
【００５０】
〔第２実施形態〕
次に、図を用いて本発明の操作内容再生システムの第２実施形態を説明する。図８は、本実施形態における機能ブロック図であり、第１実施形態と同様の機能部には同じ符号を付している。
【００５１】
本実施形態の操作内容再生システムは、補間画像作成部２８を備えている点において第１実施形態と異なっている。補間画像作成部２８は、通常、その処理を実行する手段（プログラムやモジュール等）がハードウェアに読み込まれることでその処理が実行されるが、これらをハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。
【００５２】
補間画像作成部２８は、先行操作ログ情報の日時情報と一致する操作画像情報が存在しない場合に、先行操作ログ情報が生成された日時の表示されていた操作画面情報を作成する。具体的には、先行操作ログ情報の日時情報の直前の操作画面情報および先行操作ログ情報に基づき操作画像情報を作成する、もしくは、先行操作ログ情報の日時情報の直前および直後の操作画像情報に含まれる操作画像から補間により操作画像を作成する方法を用いることができる。本実施形態では、前者の処理を説明する。
【００５３】
図９は、本実施形態の処理の流れを表すフローチャートである。まず、第１実施形態と同様に、管理者により、操作内容の再生の開始および再生を実行する開始日時および終了日時が指示されることにより、以下の処理が開始される。
【００５４】
まず、再生日時として上述の指示された開始日時が取得され（＃２１）、再生日時と同一の日時情報を持つ操作ログ情報が操作ログ情報記録部２１から取得される（＃２２）。このとき操作ログ情報が取得されれば（＃２３のYes分岐）、取得された操作ログ情報が先行操作ログ情報であるか否かの判定が行われる（＃２４）。
【００５５】
上述の処理により、先行操作ログ情報であると判定された場合（＃２４のYes分岐）には、先行操作ログ情報は、後続操作ログ情報取得部２４および移行情報作成部２５に送られる。
【００５６】
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の抽出条件とに基づき、後続操作ログ情報を取得する（＃２５）。取得した後続操作ログ情報は、移行情報作成部２５に送られる。
【００５７】
先行操作ログ情報および後続操作ログ情報を取得した移行情報作成部２５は、先行操作ログ情報および後続操作ログ情報に基づき移行情報を作成する（＃２６）。作成された移行情報は、再生画像作成部２６に、先行操作ログ情報と共に送られる。
【００５８】
移行情報作成部２５から先行操作ログ情報および移行情報を取得した再生画面作成部２６は、操作画像情報記録部２２対して、先行操作ログ情報と同一の日時情報を持つ操作画像情報の有無を問い合わせ（＃２７）、存在する場合（＃２７のYes分岐）には、その操作画像情報を取得し（＃２８）、取得した操作画像情報に含まれる操作画像と移行情報とから再生画像を作成する（＃２９）。作成された再生画像は、画像表示部２７によりＧＵＩ部３０を介してディスプレイ２に表示され（＃３０）、現在の再生日時に、所定の再生間隔時間が加算され、再生日時が更新される（＃３１）。このとき、更新された再生日時が最後の後続操作ログ情報の日時情報以降か否かが判定され（＃３２）、以降であれば（＃３２のYes分岐）移行情報が破棄される（＃３３）。
【００５９】
その後、現在の再生日時と終了日時とが比較され（＃３４）、終了日時に達していない場合（＃３４のNo分岐）には、上述の処理が繰り返される。
【００６０】
また、先行操作ログ情報の日時情報に一致する日時情報を持つ操作画像情報が存在しない場合（＃２７のNo分岐）には、補間画像作成部２８により補間画像が作成される（＃３５）。具体的には、操作画像情報記録部２２から、＃２４において取得された操作ログ情報の日時情報の直前の日時情報を持つ操作画面情報が取得され、取得された操作画像情報とその操作ログ情報とに基づき、補間画像が作成される。作成された補間画像は、再生画像作成部２６に渡される。
【００６１】
補間画像を取得した再生画像作成部２６は、移行情報と補間画像とに基づく再生画像を作成し（＃２９）、作成された再生画像は、画像表示部２７によりディスプレイ２に表示される（＃３０）。
【００６２】
一方、再生日時と同一の日時情報を持つ操作ログ情報が存在しない場合（＃２３のNo分岐）には、再生画面作成部２６は、操作画像情報記録部２２から再生日時の操作画像情報を取得する（＃２８）と共に、再生画像を作成する（＃２９）。作成された再生画像は、画像表示部２７に送られ、ディスプレイ２に表示される（＃３０）。
【００６３】
上述の処理は、再生日時が指示された終了日時に達するまで（＃３４のYes分岐）、繰り返される。
【００６４】
〔第３実施形態〕
次に、本発明の操作内容再生システムの第３実施形態を説明する。本実施形態は、先行操作ログ情報取得部２３の動作が、上述の第１実施形態および第２実施形態と異なっている。
【００６５】
本実施形態における先行操作ログ情報取得部２３は、画像表示部２７により表示される操作画像が含まれている操作画像情報に対応する操作ログ情報を先行操作ログ情報とするものである。
【００６６】
このときの処理の流れを図１０のフローチャートに基づき説明する。第１実施形態と同様の処理ステップには同一の符号を付している。
【００６７】
通常の再生状態では、第１実施形態と同様、画像表示部２７は、操作画像情報記録部２２から、上述の指示された開始日時から終了日時までの操作画像情報を取得し、操作画像情報に含まれる操作画像を逐次表示する（＃０１→＃１３のNo分岐→＃１１→＃１２）。
【００６８】
上述の再生動作と同時に、先行操作ログ情報取得部２３は、操作ログ情報記録部２１に、画像表示部２６により取得された操作画像情報に対応する操作ログ情報が存在するか否かを判定する（＃０２）。操作画像情報に対応する操作ログ情報が存在する場合（＃０２のYes分岐）には、その操作ログ情報が先行操作ログ情報として取得され（＃０４）、後続操作ログ情報取得部２４に送られる。
【００６９】
先行操作ログ情報を取得した後続操作ログ情報取得部２４は、先行操作ログ情報と所定の条件とを比較することにより、後続操作ログ情報を取得する。ただし、本実施形態では、第１実施形態と異なり、操作ログ情報記録部２１に記録されている操作ログ情報から、所定の条件を充足し、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持つ操作ログ情報のうち、最先の一の操作ログ情報のみを後続操作ログ情報として取得する。
【００７０】
以降の処理は、実施形態１における処理の流れと同様であり、上述の処理を繰り返すことにより、図１１に示す再生画像が得られる。本実施形態では、図から分かるように、再生画像の移り変わりに伴い、移行情報も変化している。
【００７１】
〔第４実施形態〕
次に、本発明の操作内容再生システムの第４実施形態を説明する。本実施形態は、後続操作ログ情報取得部２４の動作が、上述の第１実施形態および第２実施形態と異なっている。
【００７２】
本実施形態における後続操作ログ情報取得部２４は、操作間の関連を記録する操作関連テーブル（図示せず）に基づき、後続操作ログ情報を取得する。
【００７３】
操作関連テーブルには、第１の操作と第２の操作の間に相関関係のある操作を関連付けて記録している。図１２は、操作関連テーブルの内容の例であり、“選択”と“コピー”、“選択”と“削除”、“ＵＳＢメモリ装着”と“選択”が、それぞれ第１の操作および第２の操作として記録されている。このとき、後続操作ログ情報取得部２４は、先行操作ログ情報の操作内容を第１の操作として、その第１の操作に関連付けられている第２の操作を取得し、操作ログ情報記録部２１から、先行操作ログ情報の端末識別情報と同一の端末識別情報を持ち、先行操作ログ情報の日時情報以降の日時情報を持ち、操作内容が第２の操作である操作ログ情報のうち最先の操作ログ情報を後続操作ログ情報として取得する。
【００７４】
次に、本実施形態における処理の流れを図３のフローチャートを用いて説明する。なお、図３の処理に先立ち操作ログ情報記録部２１および操作画像情報記録部２２には、図４の操作ログ情報および操作画像情報が記録されているものとする。また、特定操作とは、操作関連テーブルに記録されている第１の操作であるとする。
【００７５】
まず、操作画像情報記録部２２から一の操作画像情報が取得され（＃０１）、対応する操作ログ情報の有無が判定される（＃０２）。この例では、まずImage001が取得されると、対応する操作ログ情報としてOperation000が存在することが判定される。ここで、操作ログ情報Operation000の操作内容は、“ＵＳＢメモリの装着”であり、特定操作であると判定される。（＃０３のYes分岐）。したがって、操作ログ情報Operation000は先行操作ログ情報として取得される（＃０４）。
【００７６】
先行操作ログ情報Operation000は、後続操作ログ情報取得部２４に送られ、後続操作ログ情報取得部２４は、操作関連テーブルから、先行操作ログ情報Operation000の操作内容である“ＵＳＢメモリ装着”に関連付けられている第２の操作として“選択”を取得する。後続操作ログ情報取得部２４は、さらに、先行操作ログ情報Operation000以降の操作ログ情報のうち、操作内容が“選択”である最先の操作ログ情報、すなわちOperation003を後続操作ログ情報として取得する（＃０５）。
【００７７】
このとき、先行操作ログ情報Operation000および後続操作ログ情報Operation003から移行情報が作成され（＃０６）、図１３（ａ）の再生画像が作成される（＃０８）。
【００７８】
以降、同様の処理により、操作画像情報Image006が取得された際に、Operation003が先行操作ログ情報となり、このときの後続操作ログ情報はOperation004となり、図１３（ｃ）の再生画像が作成される。
【００７９】
このように先行操作及び後続操作を関連のある操作として定めることにより、一連の関連した操作を表す移行情報を反映した再生画像を生成することができ、端末Ｃにおける操作の内容を的確に把握することが可能となる。
【００８０】
〔別実施形態〕
（１）上述の実施形態では、移行情報として操作の内容を用いたが、操作の内容を把握するために有用な種々の情報を用いることができる。例えば、操作内容と共にその操作が実行されるまでの時間を表示することができる。操作内容と共に操作が実行されるまでの時間を移行情報として再生画像に表示することにより、管理者は、注目すべき操作までの時間を把握することができるため、操作の見逃しを回避することができる。
【００８１】
（２）上述の実施形態では、操作の内容が移行情報として再生画像に表示されていたが、再生画像に表示される移行情報は文字情報に限定されない。例えば、マウスによる操作が行われるのであれば、マウスの図を表示することや、先行操作が実行される位置から後続操作が実行される位置を直線で結ぶ等により移行情報を再生画像に表示することができる。このような図等を再生画像に表示することにより、管理者に対し操作を注視するよう喚起することができるため、好適である。
【００８２】
（３）本発明の操作内容再生システムの各機能部の配置は、端末Ｃおよび管理サーバＳに適宜変更が可能である。例えば、全機能部を端末Ｃに備えたスタンドアロン型でシステムを構築することも可能である。また、操作ログ情報記録部２１および操作画像情報記録部２２を端末Ｃや別途設置したサーバに配置することも可能である。さらに、移行情報作成部２５、再生画像作成部２６および画像表示部２７を端末Ｃに配置することも可能である。当然ながら、各機能部の配置は上述に限定されるものではなく、本発明の目的を達する限りにおいて、適宜変更可能である。
【００８３】
（４）上述の実施形態では、端末識別情報に基づき、後続操作ログ情報の取得、操作ログ情報と操作画像情報との対応付けが行われたが、ユーザ識別情報に基づいても構わない。
【００８４】
（５）上述の実施形態では、移行情報は操作画像の上に表示されていたが、移行情報の表示位置はこれに限定されるものではなく、操作画像の近傍に表示する（図１４参照）等、他の表示位置とすることができる。このように、移行情報が操作画像と重畳しないように表示すれば、移行情報と共に操作画像の内容が把握し易くなるため好適である。
【００８５】
（６）上述の実施形態では、移行情報として後続操作の内容を表す情報を用いたが、上述したように、移行情報としては種々の情報を用いることがでる。図１５は、先行操作に係る位置から後続操作に係る位置に対しての位置情報の変更を移行情報として用いた例である。この例では、ファイルＡが選択された（図１５（ａ）参照）後に、メニューリストから「送る」さらに「ＵＳＢメモリ」が選択される（図１５（ｂ）参照）ことにより、ファイルＡがＵＳＢメモリにコピーされる様子が表されている。このとき、ファイルＡの選択操作が先行操作として取得されると、ＵＳＢメモリへのコピー操作が後続操作として取得され、先行操作の操作位置から後続操作の操作位置への矢印と共に、後続操作に係るウィンドウ位置が移行情報として点線として表されている。このような移行情報を用いることにより、管理者は後続操作に係る位置を予め知ることができ、その位置を注視するだけで後続操作を把握することができるため、好適である。
【００８６】
図１６は、先行操作から後続操作が行われるまでの時間を移行情報として用いた例である。このように、移行情報として先行操作から後続操作までの時間を用いると、管理者は後続操作に係る操作画像が表示されるまでの時間を把握することができため、好適である。
【００８７】
図１７は、後続操作が注目すべき操作の場合に、管理者の注意を喚起するための図形を移行情報として用いた例である。この例では、先行操作としてファイルＡの選択、後続操作としてファイルＡのＵＳＢメモリへのコピーが取得され、移行情報として注意を喚起する“！”が表示されている。このとき、移行情報の表示位置を後続操作に係る位置とすると、管理者は後続操作に係る位置に注意を向けることができるため好適である。
【００８８】
このように、移行情報は種々の情報を用いることが可能であり、本発明の目的を達する限りにおいて、適宜変更することができる。
【図面の簡単な説明】
【００８９】
【図１】本発明による操作内容再生システムのシステム構成図
【図２】本発明による操作内容再生システムの第１実施形態における機能ブロック図
【図３】本発明による操作内容再生システムの第１実施形態における処理の流れを表すフローチャート
【図４】本発明による操作内容再生システムの第１実施形態における操作ログ情報および操作画像情報の例
【図５】本発明による操作内容再生システムの第１実施形態における再生画像の例
【図６】本発明による操作内容再生システムの第１実施形態における再生画像の例
【図７】本発明による操作内容再生システムの第１実施形態における再生画像の例
【図８】本発明による操作内容再生システムの第２実施形態における機能ブロック図
【図９】本発明による操作内容再生システムの第２実施形態における処理の流れを表すフローチャート
【図１０】本発明による操作内容再生システムの第３実施形態における処理の流れを表すフローチャート
【図１１】本発明による操作内容再生システムの第３実施形態における再生画像の例
【図１２】本発明による操作内容再生システムの第４実施形態における操作関連テーブルの例
【図１３】本発明による操作内容再生システムの第４実施形態における再生画像の例
【図１４】本発明による操作内容再生システムの別実施形態における再生画像の例
【図１５】本発明による操作内容再生システムの別実施形態における再生画像の例
【図１６】本発明による操作内容再生システムの別実施形態における再生画像の例
【図１７】本発明による操作内容再生システムの別実施形態における再生画像の例
【符号の説明】
【００９０】
Ｓ：管理サーバ
Ｃ：端末
１０、２０：ネットワークＩ／Ｆ
１１：操作ログ情報生成部
１２：操作画像情報生成部
１３、３０：ＧＵＩ部
２１：操作ログ情報記録部
２２：操作画像情報記録部
２３：先行操作ログ情報取得部
２４：後続操作ログ情報取得部
２５：移行情報作成部
２６：再生画像作成部
２７：画像表示部
【特許請求の範囲】
【請求項１】
端末における操作画面を再生する操作内容再生システムにおいて、
前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部と、
前記端末における操作ログ情報を記録する操作ログ情報記録部と、
特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を操作ログ情報記録部から取得する先行操作ログ情報取得部と、
前記先行操作ログ情報および抽出条件に基づいて前記操作ログ情報記録部から前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得部と、
前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成部と、
前記先行操作ログ情報に対応する操作画像情報を前記操作画像情報記録部から取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成部とを備える操作内容再生システム。
【請求項２】
表示する操作画像の日時情報に対応する操作ログ情報を先行操作ログ情報とする請求項１に記載の操作内容再生システム。
【請求項３】
端末における操作ログ情報を記録する操作ログ情報記録部と、前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部とを備え、前記端末における操作画面を再生する操作内容再生システムのための操作内容再生プログラムにおいて、
特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を取得する先行操作ログ情報取得機能と、
前記先行操作ログ情報および抽出条件に基づいて前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得機能と、
前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成機能と、
前記先行操作ログ情報に対応する操作画像情報を取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成機能とをコンピュータに実現させる操作内容再生プログラム。
【請求項１】
端末における操作画面を再生する操作内容再生システムにおいて、
前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部と、
前記端末における操作ログ情報を記録する操作ログ情報記録部と、
特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を操作ログ情報記録部から取得する先行操作ログ情報取得部と、
前記先行操作ログ情報および抽出条件に基づいて前記操作ログ情報記録部から前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得部と、
前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成部と、
前記先行操作ログ情報に対応する操作画像情報を前記操作画像情報記録部から取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成部とを備える操作内容再生システム。
【請求項２】
表示する操作画像の日時情報に対応する操作ログ情報を先行操作ログ情報とする請求項１に記載の操作内容再生システム。
【請求項３】
端末における操作ログ情報を記録する操作ログ情報記録部と、前記端末における操作画面をキャプチャして得られる操作画像を含む操作画像情報を記録する操作画像情報記録部とを備え、前記端末における操作画面を再生する操作内容再生システムのための操作内容再生プログラムにおいて、
特定の先行操作を検知し、前記先行操作の操作ログ情報である先行操作ログ情報を取得する先行操作ログ情報取得機能と、
前記先行操作ログ情報および抽出条件に基づいて前記先行操作に後続する後続操作の操作ログ情報である後続操作ログ情報を取得する後続操作ログ情報取得機能と、
前記先行操作ログ情報および前記後続操作ログ情報に基づいて操作の移行情報を作成する移行情報作成機能と、
前記先行操作ログ情報に対応する操作画像情報を取得し、前記移行情報および取得した前記操作画像情報に基づいて再生画像を作成する再生画像作成機能とをコンピュータに実現させる操作内容再生プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−２９４７０１（Ｐ２００９−２９４７０１Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１４４７３４（Ｐ２００８−１４４７３４）
【出願日】平成２０年６月２日（２００８．６．２）
【出願人】（５９９１０８２４２）Ｓｋｙ株式会社 (257)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月２日（２００８．６．２）
【出願人】（５９９１０８２４２）Ｓｋｙ株式会社 (257)
【Ｆターム（参考）】
[ Back to top ]