操作画像再生装置及び操作画像再生プログラム
【課題】端末における操作画像を再生しながら特定操作に注目する際の特定操作の確認を容易化する技術を提供する。
【解決手段】端末１における操作画像と操作イベントを記述した操作イベントログとを取得し、操作画像の再生を行う操作画像再生装置。操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと注目イベントに先行する操作を示す操作イベントとしての先行イベントとが少なくとも含む操作カテゴリ別イベント群としてグループ化され、再生されようとする操作画像に操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を再生操作画像とともに出力される。
【解決手段】端末１における操作画像と操作イベントを記述した操作イベントログとを取得し、操作画像の再生を行う操作画像再生装置。操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと注目イベントに先行する操作を示す操作イベントとしての先行イベントとが少なくとも含む操作カテゴリ別イベント群としてグループ化され、再生されようとする操作画像に操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を再生操作画像とともに出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生技術に関する。
【背景技術】
【０００２】
遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されたシステムにおいて、オペレータによる端末のリモート操作時に、クライアント端末ではモニタに表示されているモニタ画面を遠隔制御サーバに送信し、遠隔制御サーバでは受信したモニタ画面をモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末のモニタ画面をキャプチャ画像（操作画像）として、所定のインターバルで操作イベントログに記録し、この記録のあとに、遠隔制御サーバのログ再生処理部が操作イベントログに記録されたキャプチャ画像の再生を行うものが存在する（例えば、特許文献１参照）。この従来技術では、データ記憶部に格納された操作画像を監視モニタに再生することで、ユーザによる端末の操作内容を監視することができるが、特定の危険な操作に注目して監視したい場合であっても、それ以外の操作が頻繁に現れることで、その監視作業が散漫となる。このため、ファイルを複製してポータブルメモリにコピーするといった、場合によっては禁止された行為となる操作を確実に見つけ出すことが難しくなる。
【０００３】
また、各区河川施設からの水位、ゲート開度等の情報を受け取ると共に、これらの情報に基づく重要度、安全度から操作すべき（監視すべき）河川管理施設を、監視リスト表示エリアに順にリスト表示し、監視操作エリアに施設監視エリアで選択されたＣＣＴＶの画像が表示される広域監視システムが知られている（例えば、特許文献２参照）。この広域監視システムでは、監視対象として河川の様子を記述する水位やゲート開度等の情報と河川の様子を表示するＣＣＴＶの画像が監視対象現場から監視センタに送られてくるので、これらを見ながら河川の様子を監視することができる。しかしながら、この監視システムは時々刻々と変化する河川の様子を監視することを目的としているので、当然リアルタイムでの河川監視用として構築されており、送られてきた計測情報や監視画像（ＴＶ画像）を録画し、それを再生しながら河川の監視を行うことは考慮されておらず、監視画像の再生時における監視の容易化に関しては示唆さえされていない。
【０００４】
さらに、画像に対するユーザ操作を視覚的に確認するため、映像における特定被写体に対してユーザがクリックした際の映像内時間位置及び空間座標データをクリック操作イベントログとして保存しておき、映像の再生中にこのクリック操作イベントログをスーパーインポーズして表示する技術が知られている（例えば、特許文献３参照）。この技術では、ユーザがどのようなシーンでクリックしたのかといったクリック操作を再生時に視覚的に確認できる。しかしながら、この技術は、リアルタイム時には見えなかった画像に対するユーザのクリック操作を再生時にそのクリックされた再生時刻にイメージ化して表示しているだけであり、特定操作に注目しながら操作画像を再生する際の特定操作の確認を容易化するといったような要望には、貢献できない。
【特許文献１】特開２００６−１０８９４７号公報（段落番号００９４〜００９９、図１、図１７）
【特許文献２】特開２００６−４１７７０号公報（段落番号００３５〜００５１、図１、図２）
【特許文献３】特開２００４−１１００９６号公報（段落番号〔００２２〕〜００３０、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記実状に鑑み、本発明の課題は、端末における操作画像を再生しながら特定操作に注目する際の特定操作の確認を容易化する技術を提供することである。
【課題を解決するための手段】
【０００６】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生装置において、上記課題を解決するため、本発明による装置では、前記操作画像と前記操作イベントログに含まれている操作イベントとを時間的に対応するように順次格納するデータ格納部と、前記操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化するカテゴリ別イベント群決定部と、再生されようとする前記操作画像である再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する再生情報処理手段とが備えられている。
【０００７】
監視目的や単なる閲覧目的など種々の目的ための操作画面の再生において確認したいユーザ操作は種々のカテゴリに分けられるが、それらのユーザ操作は、この発明で取り扱うユーザ操作単位を操作イベントと表現すると、一般的には、初期イベントから始まり中間イベントを経て最終イベントに達する一連のイベント群からなり、その初期イベントに続く操作イベントの中に注目すべき操作イベントとしての注目イベントが少なくとも１つ存在することになる。なお、本願では、初期イベントと中間イベント（複数もあり）を含めて先行イベントと称している。例えば、重要ファイルをＵＳＢメモリにコピーして持ち出すという操作カテゴリに入る注目すべき行為の１つは、ファイルを選択する操作イベント、ファイルを複製する操作イベント、複製ファイル名を変更する操作イベント、複製ファイルをＵＳＢメモリにカットアンドペーストする操作イベントなどからなるイベント群で構成される。そして、この操作カテゴリ別イベント群における注目イベントが「ファイルのＵＳＢメモリへの記録」という操作イベントであるならば、上述した本発明による端末監視装置では、例えば「ファイルを選択」するという先行イベントや「ファイル名を変更」するという先行イベントの発生時と時間的に対応する操作画像の再生時にこの先行イベントがもたらす注目イベントとしての「ファイルのＵＳＢメモリへの記録」というイベント内容も出力され、モニタを見ている者に知らせることができる。この注目イベントの内容の出力の形態としては、最終イベントの内容をモニタに操作画像とともに表示することが好ましいが、これに代えて、あるいはこれに併用して、音声によって注目イベントの内容を与えてもよい。また、この操作カテゴリ別イベント群における注目イベントが「複製ファイル名を変更する」という操作イベントと「ファイルのＵＳＢメモリへの記録」という操作イベントとの２つであるならば、「ファイルを選択」するという先行イベントの発生時と時間的に対応する操作画像の再生時にこの先行イベントがもたらす注目イベントとしての「複製ファイル名を変更する」というイベント内容と「ファイルのＵＳＢメモリへの記録」というイベント内容とが出力される。いずれにせよ、モニタに表示される。「ファイルを選択」というような操作イベントは常時発生するので常に注意を払うことは難しいが、特に問題とするべき注目イベントが属する操作カテゴリ別イベント群に含まれている「ファイルを選択」というような操作イベントの発生時にはその操作画面に注目イベントの内容が表示されるので、この操作イベントを特別な注意をもってチェックすることが可能となる。これにより、特定の重要な操作イベント（注目イベント）の発生をそれに結びつく先行する操作イベントの発生の段階で示唆することができ、注目イベントの確認が容易となる。
【０００８】
特定の操作カテゴリ別イベント群に含まれる先行する操作イベントの発生の時点で、注目イベントに関する情報を視覚的に又は聴覚的にあるいはその両方で、再生操作画像のモニタへの表示とともに監視者に与えるためには、時間的に一致又は近似する操作画像と操作イベントとをそれぞれリンクしておくことが重要である。この目的のために、本発明の好適な実施形態の１つでは、前記操作画像と前記操作イベントにはタイムスタンプが付与されており、このタイムスタンプに基づいて時間的に対応する前記操作画像と前記操作イベントとをリンクする、好ましくは時間的に対応する前記操作画像と前記操作イベントとを高速に抽出するリンクコードを用いてリンクするリンク部が備えられていると好都合である。
なお、操作イベントの取得タイミングと操作画像のキャプチャタイミングが大きくずれており、時間的な対応をとることが困難な場合、特に本発明において処理対象となる操作イベントに対して時間的に対応する操作画像が抜けている場合には、その操作イベントを表す補間操作画像を生成する補間操作画像生成部が備えられていると、操作イベントと操作画像とを確実に時間的に対応させることができ、好都合である。
【０００９】
特定の操作カテゴリ別イベント群、つまり監視する必要性が高いユーザ操作によって生じる一連の操作イベント群の注目イベントの内容を前記再生情報処理手段が前記再生操作画像とともにモニタに表示する場合の具体的な構成として、再生情報処理手段が、前記注目イベントの内容を暗示する暗示イメージを作成する暗示イメージ作成部と、前記暗示イメージを前記再生操作画像に合成するイメージ合成部を備えることが提案される。この構成では、注目イベントの内容を暗示する暗示イメージが再生操作画像に合成されるので、モニタを見ているだけで、違和感なく、特定の操作によって導かれる重要なユーザ操作の内容を前もって確認することができる。特に、前記先行イベントとリンクしている再生操作画像における前記先行イベントの発生箇所に関連づけて前記暗示イメージを合成すると、モニタを通じて端末の操作画面としての操作画像を見ている者はモニタにおけるその時点の操作を注視するだけで、その後に生じる注目すべきユーザ操作も確認することができるという利点が得られる。あるいは、注目イベントの発生箇所（注目イベントの操作ポイント）を予め知らせるという目的があれば、前記先行イベントとリンクしている再生操作画像における前記注目イベントの発生箇所に関連づけて前記暗示イメージを合成してもよい。さらに、合成される暗示イメージが、前記発生箇所を起点とする吹き出し枠とこの吹き出し枠内に文字で描画された前記注目イベントの内容となるような、誰にでもわかりやすい表示形態を採用すれば、先行イベントの発生時にこの先行イベントに導かれる重大な操作イベントの内容を確認することができる。また、そのような暗示イメージとともに、あるいは単独の暗示イメージとして、最終イベントが発生するまでの期間を表す時間経過イメージを採用するならば、先行イベントの発生時にその後の注目すべき操作イベントが発生するまでの期間を把握することができるので好都合である。例えば、この時間経過イメージは砂時計やスライドバーとして表現してもよいが、カウントダウン時間とすると、操作イベントが発生するまでの時間を簡単に知ることができる。
【００１０】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得してデータ格納部に格納するとともに、前記操作画像の再生を行う操作画像再生プログラムにおいて、前記課題を解決するために、本発明による操作画像再生プログラムは、前記操作画像と前記操作イベントログに含まれている操作イベントとを時間的に対応するように前記データ格納部に順次格納する機能と、前記操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化する機能と、再生されようとする前記操作画像である再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する機能とをコンピュータに実現させる。このように構成された操作画像再生プログラムも、先の操作画像再生装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴構成を備えることが可能である。
【発明を実施するための最良の形態】
【００１１】
特に関心度の高い操作カテゴリにおける注目すべき操作段階を示す操作イベントとしての注目イベントと、この注目イベントに先行する操作イベントとしての初期イベントや中間イベントなどの先行イベントなどを含む操作カテゴリ別イベント群を作っておき、操作画像の再生時（再生操作画像の表示時）にこの再生操作画像にリンクしている操作イベントを先行イベントとする操作カテゴリ別イベント群の注目イベントの内容をこの再生操作画像のモニタへの表示とともに何らかの形で出力することで、特定の操作によって導かれる注目すべきユーザ操作の内容を前もって確認することができる本発明による操作画像再生技術の基本原理が以下に図１を用いて説明される。
【００１２】
図１には、汎用的なノートパソコンやデスクトップパソコンで構成される端末１と、この端末１におけるユーザ操作をその操作画面を再現することで監視する端末監視装置３が、例えばネットワーク（ＬＡＮのような組織内のネットワークであってもよいし、インターネットのように開放された広域のネットワークであってもよい）などのデータ伝送ライン２を通じて接続されているコンピュータシステムが示されている。
【００１３】
端末１では各ユーザ操作を表す操作イベントを逐次記述した操作イベントログが作成されるとともに、所定のインターバル（例えば１秒間隔）でモニタ画面（操作画面）を作り出している画像が操作画像としてキャプチャされる（＃０１）。この操作イベントログと操作画像は、データ伝送ライン２を通じて端末監視装置３に送られる（＃０２）。端末監視装置３に送られた操作イベントログに記述されている操作イベントと、同様に端末監視装置３に送られた操作画像は大容量ハードディスクなどのデータ格納部に格納されるが（＃０３）、格納する前にあるいは一旦格納してから、例えばタイムスタンプなどの取得時刻を示す時間コードを参照して、一致する時刻あるいは近似する時刻をリンク条件としてリンクされる（＃０４）。このリンクにより、任意の時刻に発生した操作イベントは、その発生時刻にほぼ対応する操作画面を表す操作画像に時間的に対応付けられることになり、ある操作画面で実行されたユーザ操作を特定することが可能となる。なお、操作イベントの取得タイミングと操作画像のキャプチャタイミングが著しくずれていることにより、処理対象となる操作イベントに対して時間的に対応する操作画像が存在しない場合には、その操作イベントを表す補間操作画像を生成してもよい。
端末１におけるユーザ操作は、重要ファイルのポータブルメモリ（ＵＳＢメモリなど）へのコピー、重要ファイルの添付送信、外部からの不正ファイルのダウンロードといったように種々の操作カテゴリに分類することができる。各操作カテゴリのユーザ操作には、重要ファイルに対するコピーや添付といったような注目すべき操作イベントが存在するが、この注目すべき操作イベント（注目イベント）に先だって、その出発点となる開始イベントである操作イベント（例えば、重要ファイルの選択）が行われる。予め設定された操作カテゴリに属する操作イベントは、開始イベントと中間イベントと最終イベントからなる操作カテゴリ別イベント群としてグループ化されるが、中間イベントと最終イベントの中から注目イベントが指定される（＃０５）。さらに特定の操作カテゴリ別イベント群から注目すべき操作イベントとみなされた注目イベントから、その操作内容を表す暗示イメージが作成される（＃０６）。例えば、注目イベントの操作内容が「ＵＳＢメモリへのファイルコピー」であれば、この内容を示す文字を吹き出し枠内に描画したイラストイメージを暗示イメージとして採用することができる。また、この操作カテゴリ別イベント群に属する先行イベントと注目イベントまでの時間をそれぞれに付与されたタイムスタンプ等から演算して求め、この注目イベントが発生するまでの期間をイメージ化したもの（時間経過イメージ：カウント時間や時間経過バーグラフなど）を暗示イメージとして加えてもよい。
【００１４】
次に、特定端末の操作画面をチェックするため、操作画像を時間軸に沿って逐次データ格納部から読み出して、その操作画像をモニタ上で再生していく（＃０７）。再生のため読み出された操作画像にリンクしている操作イベントが、ステップ＃０５で予め設定された特定の操作カテゴリ別イベント群に属する先行イベントであると、その操作カテゴリ別イベント群の注目イベントに基づいて作成された暗示イメージが呼び出され、読み出された操作画像に合成されて監視モニタに表示される（＃０８）。その際、暗示イメージの操作画像における合成位置を、リンクしている先行イベントの操作ポイントとすると、再生される操作画像における何らかの操作を示す位置にその操作から導かれていく最終的な操作の内容の表示と相まって、注目をひくことができる。又、暗示イメージの操作画像における合成位置を、注目イベントの操作ポイントとすると、注目すべき操作がモニタ上のどの位置で発生するかを予め知ることができる。特に、注目イベントが発生するまでの期間を表す時間経過バーグラフやカウントダウン値が暗示イメージの１つとして表示されると、集中力が高まり、注目すべき操作の確認が容易となる。なお、この説明では、操作カテゴリ別イベント群に属する注目イベントの内容の出力は、先行イベントに対応する操作画像に合成される暗示イメージの形態で行われているが、この注目イベントの内容の出力を音声で行う形態で行ってもよいし、これらを併用してもよい。
【００１５】
上述した、本発明による操作画像再生技術の基本原理を採用した端末操作確認システムの一例としての端末監視システムの構成が図２に示されている。この端末監視システムでは、多数の端末１がネットワーク２を介して端末監視装置３と接続されている。端末１は一般的なパソコンであり、ユーザによって各種データ処理やデータ閲覧などに関する操作、例えばファイルなどの作成、閲覧、複写、訂正、削除、印刷、インターネットブラウジング、メール送信などの操作が行われる。ユーザが端末１を使用する前に行われるログイン操作を通じて入力されたユーザ名やユーザコードなどが、端末ＩＤとともにユーザ属性情報として端末監視装置３に送られることにより、端末監視装置３は端末１を利用しているユーザを特定することができる。さらに端末１から端末監視装置３へは、ユーザがログインからログオフするまでの間で行った操作イベントを記述する操作イベントログと、その都度の操作画面をキャプチャして得られた操作画像とが適時送られる。端末監視装置３では、送られてきた操作画像を端末１毎にリアルタイムで、あるいは記録してから再生することで、端末で行われている操作を監視することができる。
【００１６】
端末１は、液晶ディスプレイなどのモニタ５１と、入力操作デバイス５２としてのキーボードやマウスと、各種データを格納する据え付けタイプのハードディスク５３やリムーバブルタイプの記録メディア（ＵＳＢメモリなど）５４を備えている。この端末１にインストールされているＯＳによって作り出されるＧＵＩ部１０が仲介することにより、モニタ５１に表示された操作画面を通じてユーザによって入力された種々の操作命令が実行される。各種ファイル処理を含むユーザ指示に基づくデータ処理はデータ処理部１１で行われる。その際、各種操作画面をモニタ５１に表示するため、これらの表示データは一時的にビデオメモリ１２に格納されるが、このビデオメモリ１２に展開されている表示データ、つまり操作画面を表す操作画像は操作画面キャプチャ部１３でキャプチャされる。また、ユーザが入力操作デバイス５２を通じて行う全ての操作は、操作イベントログ生成部１４において、操作イベントとして操作実行プログラム名や操作対象データ名（ファイル名）や操作コマンド名などを列挙する形で記述され、これらの操作イベントは操作イベントログとしてスクリプト化される。操作イベントログ生成部１４によって生成された操作イベントログや操作画面キャプチャ部１３によってキャプチャされたキャプチャ画像はネットワークＩＦを通じて、ネットワーク２でつながれた端末監視装置３に送られるが、端末監視装置３での管理を容易にするために操作イベントログとキャプチャ画像には共通のタイムスタンプとユーザ属性情報とが付与される。
【００１７】
通常、この端末１を利用するためには、まずユーザ名とパスワードの入力によってログインしなければならないがこのログイン処理を通じて得られたユーザ名は、ログイン・ログオフ制御部１５において、そのままで又は必要に応じてユーザＩＤ等に変換され、端末１を識別するための端末ＩＤとともに端末監視装置３に送るユーザ属性情報となる。
【００１８】
端末監視装置３も一般的には汎用コンピュータによって構成され、液晶ディスプレイなどの監視モニタ５５、入力操作デバイス５６としてキーボードやマウス、大容量ハードディスクなどで構成されるデータ格納部５７などが付属している。この端末監視装置３にインストールされているＯＳによってＧＵＩ部３０や端末１から送られてきた端末操作ユーザに関するユーザ属性情報に基づいて特定された端末とこの端末を操作しているユーザを管理する端末管理部３１などを初めとして種々の基本的な機能が作り出される。また、端末監視装置３における本発明に関する機能のほとんどは、この端末監視装置３にインストールされている端末監視プログラムの実行に伴って作り出され、その代表的なものとして、端末１から送られてきたユーザが行っている操作イベントを記述している操作イベントログとその際の操作画面を示す操作画像とをネットワーク２を介して受け取る操作イベントログ取得部３２と操作画像取得部３３、操作イベントログ取得部３２で取り出された各端末別の操作イベントに対して「マウスクリック」、「マウスドラッグ」、「キーボード文字入力」といったような操作種類毎に種別コードを付与してデータ格納部５７に形成された操作イベント格納部５７ａに転送する操作イベント分類部３５と、タイムスタンプ等で操作イベントと時間的に対応付けされている操作画像を端末別でかつ時系列的に読み出し可能なようにデータ格納部５７に形成された操作画像格納部５７ｂに格納する操作画像管理部３６が備えられている。なお、操作イベントログ取得部３２で取り出された操作イベントとこの操作イベント発生時の操作画像とを高速に検索抽出可能にするために、インデックスコードなどのリンクコードを付与する場合には、端末別に操作画像と操作イベントとをリンクするリンク部３４が備えられる。さらには、操作イベント格納部５７ａに格納されている操作イベントを図１を用いて説明したように操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化するカテゴリ別イベント群決定部３７と、このカテゴリ別イベント群決定部３７によって決定された操作カテゴリ別イベント群の内容をテーブル化して保持するイベント群登録テーブル３７ａと、再生されようとする操作画像である再生操作画像にリンクしている操作イベントを操作イベント格納部５７ａから抽出する機能や再生操作画像に時間的に対応している操作イベントがイベント群登録テーブル３７ａに登録されている操作カテゴリ別イベント群に属している先行イベントであるかどうかをチェックする機能を有する操作イベント管理部３８と、操作イベント管理部３８によるリンク判定により再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応していると判定されると、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する再生情報処理手段として機能する監視情報処理手段４０とが備えられている。さらに、前述したように、処理対象となる操作イベントに対して時間的に対応する操作画像が存在しない場合には、その操作イベントを表す補間操作画像を生成する補間操作画像生成部４５が備えられている。
【００１９】
監視情報処理手段４０には、操作カテゴリ別イベント群に含まれている注目イベントの内容を暗示する暗示イメージを作成する暗示イメージ作成部４１と、この暗示イメージを当該最終イベントが属する操作カテゴリ別イベント群の先行イベントにリンクする再生操作画像に合成するイメージ合成部４２と、暗示イメージと合成された再生操作画像及びそのような合成なしの再生操作画像を監視モニタ５５で再生されるように処理する操作画像再生部４３を含んでいる。さらに、図では示されていないが、最終イベントの内容を音声でも報知する場合には、この監視情報処理手段４０に音声生成部が備えられる。
【００２０】
さらに、特定の操作カテゴリを任意に指定できるようにするため、入力操作デバイス５６から入力された指定操作カテゴリをカテゴリ別イベント群決定部３７に与える注目操作カテゴリ指定部３９ａと、指定されたカテゴリ別イベント群における注目イベントを指定する注目イベント指定部３９ｂが備えられている。注目イベント指定部３９ｂで指定される注目イベントは複数であってもよい。また、注目操作カテゴリ指定部３９ａによって指定された操作カテゴリにおける注目イベントがその操作カテゴリの最終段階の操作イベントとして定義しても差し支えない場合には、注目操作カテゴリの指定により自動的に注目イベントが決定されることになるので、注目イベント指定部３９ｂを省略することができる。
【００２１】
注目操作カテゴリ指定部３９ａによって指定された操作カテゴリに属する注目イベントの内容を表す暗示イメージがその先行イベントに時間的に対応する操作画像の再生時に合成され、表示される処理の様子が図３で模式的に示されているが、ここでは、操作カテゴリの最終イベントが注目イベントに設定されている実施例となっている。つまり、Ｘ１という端末１で行われたユーザ操作、例えば、「ＡＢＣアプリケーションの終了」、「xxx.xlsファイルの選択」、「xxx.xlsファイルの複製」、・・・、「xxx.xlsファイルの選択」、「ＵＳＢメモリへの書き込み」・・・が行われており、図３ではその操作過程においてキャプチャされた操作画像とその操作過程において作成された操作イベントログが示されている。これらの操作画像と操作イベントログが端末監視装置３に送られると、それぞれに付与されているタイムスタンプに基づいて、各操作画像と各操作イベント（操作イベントログから切り出される）とがリンクコードによってリンク付けされる。カテゴリ別イベント群決定部３７は、このようにリンク付けされた全ての操作イベントの内容を評価し、注目操作カテゴリ指定部３９ａによって指定された操作カテゴリに属する操作イベントを抽出する。ここでは、「ＵＳＢメモリ書き込み」という操作カテゴリに属する操作イベントが抽出された例が示されており、イベントＩＤ：Ｅ０２２の「xxx.xlsファイルの選択」、イベントＩＤ：Ｅ０２３の「xxx.xlsファイルの複製」、イベントＩＤ：Ｅ０２６「xxx.xlsファイルの選択」、イベントＩＤ：Ｅ０２７「ＵＳＢメモリへの書き込み」が抽出され、操作カテゴリ別イベント群としてグループ化されている。さらに、この操作カテゴリ別イベント群に含まれる操作イベントは処理イベントと中間イベントと最終イベントに区分けされるとともに、それぞれの操作イベントに時間的に対応する操作画像を規定するリンクコードも追記され、イベント群登録テーブル３７ａに登録される。
【００２２】
この実施例では、注目イベントとして指定されている最終イベントの操作内容である「ファイルxxx.xlsのＵＳＢメモリへの書き込み」という文言を吹き出し枠の中に描画した、図４で示すような暗示イメージが暗示イメージ作成部４１で作成されるが、その暗示イメージの格納アドレスもイベント群登録テーブル３７ａに登録される。また、文言中にかっこ枠付きで挿入されているカウントダウン変数は、注目イベントとしての最終イベントが発生するまでの時間の演算値を表示するための変数であり、起点となる操作イベントの発生時刻により、その変数の中身、つまり演算値（カウントダウン値）が異なることになる。なお、操作画像再生における再生速度が実速度の場合は、そのカウントダウン値はそれぞれの操作イベントが発生した時刻の差でよいが、再生速度が実速度でない場合、つまりスロー再生や早送り再生の場合、そのカウントダウン値を再生速度に相応して、スロー再生の時は長くなるように、早送り再生の時は短くなるように実時間を変更するとよい。これにより再生画面がスロー再生か早送り再生スローかを意識せずに、注目イベントとしての最終イベントが発生するまでの時間を実際の時間で把握することができる。。
【００２３】
図３に示すように、操作カテゴリ別イベント群がイベント群登録テーブル３７ａに登録されている場合に、操作画像を再生すると、監視モニタ５５には図５で示されるような画面が表示される。先行イベント（イベントＩＤ：Ｅ０２２）にリンクづけされている操作画像が再生されようとする際には、カウントダウン変数に先行イベントから注目イベントである最終イベントに至る時間が与えられた暗示イメージが当該操作画像に合成された形態で監視モニタ５５に表示される（図５（ａ）参照）。この監視モニタ５５の画面から監視者は、２０秒後にファイルxxx.xlsがＵＳＢメモリに書き込まれることを知ることができ、その監視の集中力を高めることができる。さらに、中間イベント（イベントＩＤ：Ｅ０２６）にリンクづけされている操作画像の再生が行われる（図５（ｂ）参照）。ここでも同じ暗示イメージが当該操作画像に合成されて表示されるが、そのカウントダウン値だけが再計算され、正しい値に書き換えられている。図５（ｃ）は、注目イベントである最終イベント（イベントＩＤ：Ｅ０２７）にリンクづけされている操作画像が再生されている様子を示しているが、ここでは、暗示イメージとして、カウントダウン値なしで、「ファイルxxx.xlsがＵＳＢメモリに書き込まれる」という内容だけを示す吹き出しが表示される。
【００２４】
図３と図５を用いて説明した例では、注目イベントは最終イベントの１つであったが、注目イベントとして、中間イベントのなかの１つと最終イベントを指定したり、あるいは中間イベントのなかから複数のイベントを指定したりといったように、注目イベントとして複数の操作イベントを指定してもよい。その際は、注目イベントに先行する先行イベントに対応する操作画像の再生時に複数の注目イベントの内容を表す複数の暗示イメージが合成されて表示されることになる。
【００２５】
また、注目イベントに重要度を予め設定しておき、操作画像の再生中に表示されるその注目イベントの内容を表す暗示イメージの形態を重要度によって変更するようにしてもよい。例えば、重要度の高い注目イベントのための暗示イメージは拡大されたり、点滅されたりして、より強調された形態で表示されると、その確認が容易となり、好都合である。
【００２６】
なお、この端末監視装置３は、上述したように、操作画像取得部３３や操作イベントログ取得部３２で取得された端末１毎の操作画像や操作イベントログをデータ格納部５７に格納してから選択的に再現するモードだけではなく、操作画像や操作イベントログをデータ格納部５７に格納する前に直接監視モニタ５１に表示するモードなど種々の端末監視のための表示モードを備えている。そのような各種表示モードから所望のモードを選択するために監視モニタ５５に表示される端末監視基本画面１００が図６に示されている。端末監視基本画面１００には、上部位置に操作画像再生ボタン１０１、ログ閲覧ボタン１０２、ＰＣ情報ボタン１０３、リモート制御ボタン１０４、アラート設定ボタン１０５等がアイコンの形で配置されている。この基本画面１００の下部には端末別の操作画像表示領域１１０と、メッセージ表示部１１１と、各端末１のリアルタイムの操作画像を表示するフレーム１２０がマトリックス状に表示されており、このフレーム１２０の下部に端末名又は端末ＩＤを示す端末識別表示部１２１が配置されている。
【００２７】
この端末監視基本画面１００において、操作画像再生ボタン１０１が操作された場合には、その際に選択されている端末１の操作画像が操作画像格納部５７ｂから読み出されながら、図７で示すような再生画面１４０を通じて再生表示される。操作画像再生ボタン１０１を操作する以前に端末監視基本画面１００の前記操作画像表示領域１１０又は端末一覧表示部１１２に表示されている端末１を選択することになるが、操作画像再生ボタン１０１を操作した際に、ダイアログボックス（図示せず）を表示し、端末１を特定する情報を入力操作デバイス５６から入力してもよい。この再生画面１４０には、注目操作カテゴリ指定欄１４１と、再生開始日時入力部１４２と、再生終了日時入力部１４３と、ＯＫボタン１４４と、再生領域１４５と、複数の再生コントロールボタン１４６と、再生スライダー１４７が配置されている。
【００２８】
再生画面１４０において操作画像の再生表示を行う代表的なやり方は、再生開始日時入力部１４２においてキーボード等から再生開始日時を入力し、必要に応じて再生終了日時入力部１４３に再生終了時刻を入力した後にＯＫボタン１４４をクリックすることである。これにより、特定された端末１の操作画像が操作画像管理部３６によって操作画像格納部５７ｂから読み出され、再生領域１４５に時系列で表示される。その際、上述したように、注目操作カテゴリ指定欄１４１を通じて入力され注目操作カテゴリ指定部３９ａによって設定された注目操作カテゴリに属する操作イベント、つまり操作カテゴリ別イベント群に含まれる操作イベントが発生したタイミングで、その操作カテゴリ別イベント群の最終イベントの内容を示す暗示イメージが操作画像とともに表示される。
【００２９】
なお、図６に示された基本画面１００においてログ閲覧ボタン１０２が操作された場合には、別ウインドウで操作イベントログ一覧表示が行われる。基本画面１００においてＰＣ情報ボタン１０３が操作された場合には、選択された端末１の物理データやインストールされているアプリケーション名等のＰＣ情報を表示する処理が行われる。基本画面１００においてリモート制御ボタン１０４が操作された場合には、リモート制御画面において制御を実行するアイコン類を操作することや、コマンドを入力することにより個別端末のリモート制御が可能となる。
【００３０】
上述した実施形態では、多数の端末１における操作画像と操作イベントログがネットワーク２を介して端末監視装置３に送られ、その端末監視装置３の監視モニタ５５で操作画像が必要に応じて再生表示される。しかしながら、本発明による操作画像の再生機能をモジュール化して端末１で実行可能なアプリケーションとし、各端末１にインストールすることで、端末１そのものを、スタンドアローン型の操作画像再生機能付き端末（つまり端末監視装置を組み込んだ端末）とすることができる。前述したサーバ・クライアント型の端末監視システムに較べ、ネットワーク２を介しての操作イベントログと操作画像の伝送がパソコンデータバスを介して行われることに置き換わったという違いがあるが、実質的な技術内容は同じである。
【００３１】
なお、本明細書で用いられている操作画像なる語句は、操作画面をキャプチャして得られた静止画ファイルやその静止画ファイルの集合体、及び連続した静止画を動画化して得られた動画ファイルや動画ファイルの集合体を総称している。従って、端末１から端末監視装置３に転送される操作画像は静止画であっても動画であってもよい。また、操作画像を監視モニタ５５で表示する際も、静止画の連続表示（スライドショーのようなスタイル）でもよいし、動画表示でもよく、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。さらに、操作画像格納部５７ｂに記録される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合ＪＰＥＧやＧＩＦなどが、動画の場合ＭＰＥＧやＡＶＩなどが用いられる。
【００３２】
上述した実施形態では、端末監視装置３が単独のコンピュータによって構築されている形態で説明されていたが、この端末監視装置３の機能を区分けして、複数のコンピュータに分散させてもよい。例えば、端末監視装置３におけるデータ格納部５７をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から操作画像や操作イベントを読み出して上述した処理を施し監視モニタに表示させる独立した監視端末を配置させても良い。この監視端末をデータ格納専用機が組み込まれたネットワークに接続することで、いつでもどこからでも端末を監視することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明による操作画面再生の基本原理を説明する説明図
【図２】本発明による端末監視システムの一例を示すシステム構成図
【図３】操作画面に特定の操作イベントに関する暗示イメージを合成する流れを説明する説明図
【図４】暗示イメージの一形態としての吹き出しを示す模式図
【図５】暗示イメージが合成された操作画像を示す画面図
【図６】端末監視基本画面を示す画面図
【図７】再生画面を示す画面図
【符号の説明】
【００３４】
１：端末
３：端末監視装置
１３：操作画面キャプチャ部
１４：操作イベントログ生成部
３２：操作イベントログ取得部
３３：操作画像取得部
３４：リンク部
３７：操作カテゴリ別イベント群決定部
３７ａ： イベント群登録テーブル
３８：操作イベント管理部
３９ａ：注目操作カテゴリ指定部
３９ｂ：注目イベント指定部
４０：監視情報処理手段
４１：暗示イメージ作成部
４２：イメージ合成部
４３：操作画像再生部
４５：補間操作画像生成部
５７：データ格納部
５７ａ：操作イベント格納部
５７ｂ：操作画像管理部
５５：監視モニタ
【技術分野】
【０００１】
本発明は、端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生技術に関する。
【背景技術】
【０００２】
遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されたシステムにおいて、オペレータによる端末のリモート操作時に、クライアント端末ではモニタに表示されているモニタ画面を遠隔制御サーバに送信し、遠隔制御サーバでは受信したモニタ画面をモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末のモニタ画面をキャプチャ画像（操作画像）として、所定のインターバルで操作イベントログに記録し、この記録のあとに、遠隔制御サーバのログ再生処理部が操作イベントログに記録されたキャプチャ画像の再生を行うものが存在する（例えば、特許文献１参照）。この従来技術では、データ記憶部に格納された操作画像を監視モニタに再生することで、ユーザによる端末の操作内容を監視することができるが、特定の危険な操作に注目して監視したい場合であっても、それ以外の操作が頻繁に現れることで、その監視作業が散漫となる。このため、ファイルを複製してポータブルメモリにコピーするといった、場合によっては禁止された行為となる操作を確実に見つけ出すことが難しくなる。
【０００３】
また、各区河川施設からの水位、ゲート開度等の情報を受け取ると共に、これらの情報に基づく重要度、安全度から操作すべき（監視すべき）河川管理施設を、監視リスト表示エリアに順にリスト表示し、監視操作エリアに施設監視エリアで選択されたＣＣＴＶの画像が表示される広域監視システムが知られている（例えば、特許文献２参照）。この広域監視システムでは、監視対象として河川の様子を記述する水位やゲート開度等の情報と河川の様子を表示するＣＣＴＶの画像が監視対象現場から監視センタに送られてくるので、これらを見ながら河川の様子を監視することができる。しかしながら、この監視システムは時々刻々と変化する河川の様子を監視することを目的としているので、当然リアルタイムでの河川監視用として構築されており、送られてきた計測情報や監視画像（ＴＶ画像）を録画し、それを再生しながら河川の監視を行うことは考慮されておらず、監視画像の再生時における監視の容易化に関しては示唆さえされていない。
【０００４】
さらに、画像に対するユーザ操作を視覚的に確認するため、映像における特定被写体に対してユーザがクリックした際の映像内時間位置及び空間座標データをクリック操作イベントログとして保存しておき、映像の再生中にこのクリック操作イベントログをスーパーインポーズして表示する技術が知られている（例えば、特許文献３参照）。この技術では、ユーザがどのようなシーンでクリックしたのかといったクリック操作を再生時に視覚的に確認できる。しかしながら、この技術は、リアルタイム時には見えなかった画像に対するユーザのクリック操作を再生時にそのクリックされた再生時刻にイメージ化して表示しているだけであり、特定操作に注目しながら操作画像を再生する際の特定操作の確認を容易化するといったような要望には、貢献できない。
【特許文献１】特開２００６−１０８９４７号公報（段落番号００９４〜００９９、図１、図１７）
【特許文献２】特開２００６−４１７７０号公報（段落番号００３５〜００５１、図１、図２）
【特許文献３】特開２００４−１１００９６号公報（段落番号〔００２２〕〜００３０、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記実状に鑑み、本発明の課題は、端末における操作画像を再生しながら特定操作に注目する際の特定操作の確認を容易化する技術を提供することである。
【課題を解決するための手段】
【０００６】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生装置において、上記課題を解決するため、本発明による装置では、前記操作画像と前記操作イベントログに含まれている操作イベントとを時間的に対応するように順次格納するデータ格納部と、前記操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化するカテゴリ別イベント群決定部と、再生されようとする前記操作画像である再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する再生情報処理手段とが備えられている。
【０００７】
監視目的や単なる閲覧目的など種々の目的ための操作画面の再生において確認したいユーザ操作は種々のカテゴリに分けられるが、それらのユーザ操作は、この発明で取り扱うユーザ操作単位を操作イベントと表現すると、一般的には、初期イベントから始まり中間イベントを経て最終イベントに達する一連のイベント群からなり、その初期イベントに続く操作イベントの中に注目すべき操作イベントとしての注目イベントが少なくとも１つ存在することになる。なお、本願では、初期イベントと中間イベント（複数もあり）を含めて先行イベントと称している。例えば、重要ファイルをＵＳＢメモリにコピーして持ち出すという操作カテゴリに入る注目すべき行為の１つは、ファイルを選択する操作イベント、ファイルを複製する操作イベント、複製ファイル名を変更する操作イベント、複製ファイルをＵＳＢメモリにカットアンドペーストする操作イベントなどからなるイベント群で構成される。そして、この操作カテゴリ別イベント群における注目イベントが「ファイルのＵＳＢメモリへの記録」という操作イベントであるならば、上述した本発明による端末監視装置では、例えば「ファイルを選択」するという先行イベントや「ファイル名を変更」するという先行イベントの発生時と時間的に対応する操作画像の再生時にこの先行イベントがもたらす注目イベントとしての「ファイルのＵＳＢメモリへの記録」というイベント内容も出力され、モニタを見ている者に知らせることができる。この注目イベントの内容の出力の形態としては、最終イベントの内容をモニタに操作画像とともに表示することが好ましいが、これに代えて、あるいはこれに併用して、音声によって注目イベントの内容を与えてもよい。また、この操作カテゴリ別イベント群における注目イベントが「複製ファイル名を変更する」という操作イベントと「ファイルのＵＳＢメモリへの記録」という操作イベントとの２つであるならば、「ファイルを選択」するという先行イベントの発生時と時間的に対応する操作画像の再生時にこの先行イベントがもたらす注目イベントとしての「複製ファイル名を変更する」というイベント内容と「ファイルのＵＳＢメモリへの記録」というイベント内容とが出力される。いずれにせよ、モニタに表示される。「ファイルを選択」というような操作イベントは常時発生するので常に注意を払うことは難しいが、特に問題とするべき注目イベントが属する操作カテゴリ別イベント群に含まれている「ファイルを選択」というような操作イベントの発生時にはその操作画面に注目イベントの内容が表示されるので、この操作イベントを特別な注意をもってチェックすることが可能となる。これにより、特定の重要な操作イベント（注目イベント）の発生をそれに結びつく先行する操作イベントの発生の段階で示唆することができ、注目イベントの確認が容易となる。
【０００８】
特定の操作カテゴリ別イベント群に含まれる先行する操作イベントの発生の時点で、注目イベントに関する情報を視覚的に又は聴覚的にあるいはその両方で、再生操作画像のモニタへの表示とともに監視者に与えるためには、時間的に一致又は近似する操作画像と操作イベントとをそれぞれリンクしておくことが重要である。この目的のために、本発明の好適な実施形態の１つでは、前記操作画像と前記操作イベントにはタイムスタンプが付与されており、このタイムスタンプに基づいて時間的に対応する前記操作画像と前記操作イベントとをリンクする、好ましくは時間的に対応する前記操作画像と前記操作イベントとを高速に抽出するリンクコードを用いてリンクするリンク部が備えられていると好都合である。
なお、操作イベントの取得タイミングと操作画像のキャプチャタイミングが大きくずれており、時間的な対応をとることが困難な場合、特に本発明において処理対象となる操作イベントに対して時間的に対応する操作画像が抜けている場合には、その操作イベントを表す補間操作画像を生成する補間操作画像生成部が備えられていると、操作イベントと操作画像とを確実に時間的に対応させることができ、好都合である。
【０００９】
特定の操作カテゴリ別イベント群、つまり監視する必要性が高いユーザ操作によって生じる一連の操作イベント群の注目イベントの内容を前記再生情報処理手段が前記再生操作画像とともにモニタに表示する場合の具体的な構成として、再生情報処理手段が、前記注目イベントの内容を暗示する暗示イメージを作成する暗示イメージ作成部と、前記暗示イメージを前記再生操作画像に合成するイメージ合成部を備えることが提案される。この構成では、注目イベントの内容を暗示する暗示イメージが再生操作画像に合成されるので、モニタを見ているだけで、違和感なく、特定の操作によって導かれる重要なユーザ操作の内容を前もって確認することができる。特に、前記先行イベントとリンクしている再生操作画像における前記先行イベントの発生箇所に関連づけて前記暗示イメージを合成すると、モニタを通じて端末の操作画面としての操作画像を見ている者はモニタにおけるその時点の操作を注視するだけで、その後に生じる注目すべきユーザ操作も確認することができるという利点が得られる。あるいは、注目イベントの発生箇所（注目イベントの操作ポイント）を予め知らせるという目的があれば、前記先行イベントとリンクしている再生操作画像における前記注目イベントの発生箇所に関連づけて前記暗示イメージを合成してもよい。さらに、合成される暗示イメージが、前記発生箇所を起点とする吹き出し枠とこの吹き出し枠内に文字で描画された前記注目イベントの内容となるような、誰にでもわかりやすい表示形態を採用すれば、先行イベントの発生時にこの先行イベントに導かれる重大な操作イベントの内容を確認することができる。また、そのような暗示イメージとともに、あるいは単独の暗示イメージとして、最終イベントが発生するまでの期間を表す時間経過イメージを採用するならば、先行イベントの発生時にその後の注目すべき操作イベントが発生するまでの期間を把握することができるので好都合である。例えば、この時間経過イメージは砂時計やスライドバーとして表現してもよいが、カウントダウン時間とすると、操作イベントが発生するまでの時間を簡単に知ることができる。
【００１０】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得してデータ格納部に格納するとともに、前記操作画像の再生を行う操作画像再生プログラムにおいて、前記課題を解決するために、本発明による操作画像再生プログラムは、前記操作画像と前記操作イベントログに含まれている操作イベントとを時間的に対応するように前記データ格納部に順次格納する機能と、前記操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化する機能と、再生されようとする前記操作画像である再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する機能とをコンピュータに実現させる。このように構成された操作画像再生プログラムも、先の操作画像再生装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴構成を備えることが可能である。
【発明を実施するための最良の形態】
【００１１】
特に関心度の高い操作カテゴリにおける注目すべき操作段階を示す操作イベントとしての注目イベントと、この注目イベントに先行する操作イベントとしての初期イベントや中間イベントなどの先行イベントなどを含む操作カテゴリ別イベント群を作っておき、操作画像の再生時（再生操作画像の表示時）にこの再生操作画像にリンクしている操作イベントを先行イベントとする操作カテゴリ別イベント群の注目イベントの内容をこの再生操作画像のモニタへの表示とともに何らかの形で出力することで、特定の操作によって導かれる注目すべきユーザ操作の内容を前もって確認することができる本発明による操作画像再生技術の基本原理が以下に図１を用いて説明される。
【００１２】
図１には、汎用的なノートパソコンやデスクトップパソコンで構成される端末１と、この端末１におけるユーザ操作をその操作画面を再現することで監視する端末監視装置３が、例えばネットワーク（ＬＡＮのような組織内のネットワークであってもよいし、インターネットのように開放された広域のネットワークであってもよい）などのデータ伝送ライン２を通じて接続されているコンピュータシステムが示されている。
【００１３】
端末１では各ユーザ操作を表す操作イベントを逐次記述した操作イベントログが作成されるとともに、所定のインターバル（例えば１秒間隔）でモニタ画面（操作画面）を作り出している画像が操作画像としてキャプチャされる（＃０１）。この操作イベントログと操作画像は、データ伝送ライン２を通じて端末監視装置３に送られる（＃０２）。端末監視装置３に送られた操作イベントログに記述されている操作イベントと、同様に端末監視装置３に送られた操作画像は大容量ハードディスクなどのデータ格納部に格納されるが（＃０３）、格納する前にあるいは一旦格納してから、例えばタイムスタンプなどの取得時刻を示す時間コードを参照して、一致する時刻あるいは近似する時刻をリンク条件としてリンクされる（＃０４）。このリンクにより、任意の時刻に発生した操作イベントは、その発生時刻にほぼ対応する操作画面を表す操作画像に時間的に対応付けられることになり、ある操作画面で実行されたユーザ操作を特定することが可能となる。なお、操作イベントの取得タイミングと操作画像のキャプチャタイミングが著しくずれていることにより、処理対象となる操作イベントに対して時間的に対応する操作画像が存在しない場合には、その操作イベントを表す補間操作画像を生成してもよい。
端末１におけるユーザ操作は、重要ファイルのポータブルメモリ（ＵＳＢメモリなど）へのコピー、重要ファイルの添付送信、外部からの不正ファイルのダウンロードといったように種々の操作カテゴリに分類することができる。各操作カテゴリのユーザ操作には、重要ファイルに対するコピーや添付といったような注目すべき操作イベントが存在するが、この注目すべき操作イベント（注目イベント）に先だって、その出発点となる開始イベントである操作イベント（例えば、重要ファイルの選択）が行われる。予め設定された操作カテゴリに属する操作イベントは、開始イベントと中間イベントと最終イベントからなる操作カテゴリ別イベント群としてグループ化されるが、中間イベントと最終イベントの中から注目イベントが指定される（＃０５）。さらに特定の操作カテゴリ別イベント群から注目すべき操作イベントとみなされた注目イベントから、その操作内容を表す暗示イメージが作成される（＃０６）。例えば、注目イベントの操作内容が「ＵＳＢメモリへのファイルコピー」であれば、この内容を示す文字を吹き出し枠内に描画したイラストイメージを暗示イメージとして採用することができる。また、この操作カテゴリ別イベント群に属する先行イベントと注目イベントまでの時間をそれぞれに付与されたタイムスタンプ等から演算して求め、この注目イベントが発生するまでの期間をイメージ化したもの（時間経過イメージ：カウント時間や時間経過バーグラフなど）を暗示イメージとして加えてもよい。
【００１４】
次に、特定端末の操作画面をチェックするため、操作画像を時間軸に沿って逐次データ格納部から読み出して、その操作画像をモニタ上で再生していく（＃０７）。再生のため読み出された操作画像にリンクしている操作イベントが、ステップ＃０５で予め設定された特定の操作カテゴリ別イベント群に属する先行イベントであると、その操作カテゴリ別イベント群の注目イベントに基づいて作成された暗示イメージが呼び出され、読み出された操作画像に合成されて監視モニタに表示される（＃０８）。その際、暗示イメージの操作画像における合成位置を、リンクしている先行イベントの操作ポイントとすると、再生される操作画像における何らかの操作を示す位置にその操作から導かれていく最終的な操作の内容の表示と相まって、注目をひくことができる。又、暗示イメージの操作画像における合成位置を、注目イベントの操作ポイントとすると、注目すべき操作がモニタ上のどの位置で発生するかを予め知ることができる。特に、注目イベントが発生するまでの期間を表す時間経過バーグラフやカウントダウン値が暗示イメージの１つとして表示されると、集中力が高まり、注目すべき操作の確認が容易となる。なお、この説明では、操作カテゴリ別イベント群に属する注目イベントの内容の出力は、先行イベントに対応する操作画像に合成される暗示イメージの形態で行われているが、この注目イベントの内容の出力を音声で行う形態で行ってもよいし、これらを併用してもよい。
【００１５】
上述した、本発明による操作画像再生技術の基本原理を採用した端末操作確認システムの一例としての端末監視システムの構成が図２に示されている。この端末監視システムでは、多数の端末１がネットワーク２を介して端末監視装置３と接続されている。端末１は一般的なパソコンであり、ユーザによって各種データ処理やデータ閲覧などに関する操作、例えばファイルなどの作成、閲覧、複写、訂正、削除、印刷、インターネットブラウジング、メール送信などの操作が行われる。ユーザが端末１を使用する前に行われるログイン操作を通じて入力されたユーザ名やユーザコードなどが、端末ＩＤとともにユーザ属性情報として端末監視装置３に送られることにより、端末監視装置３は端末１を利用しているユーザを特定することができる。さらに端末１から端末監視装置３へは、ユーザがログインからログオフするまでの間で行った操作イベントを記述する操作イベントログと、その都度の操作画面をキャプチャして得られた操作画像とが適時送られる。端末監視装置３では、送られてきた操作画像を端末１毎にリアルタイムで、あるいは記録してから再生することで、端末で行われている操作を監視することができる。
【００１６】
端末１は、液晶ディスプレイなどのモニタ５１と、入力操作デバイス５２としてのキーボードやマウスと、各種データを格納する据え付けタイプのハードディスク５３やリムーバブルタイプの記録メディア（ＵＳＢメモリなど）５４を備えている。この端末１にインストールされているＯＳによって作り出されるＧＵＩ部１０が仲介することにより、モニタ５１に表示された操作画面を通じてユーザによって入力された種々の操作命令が実行される。各種ファイル処理を含むユーザ指示に基づくデータ処理はデータ処理部１１で行われる。その際、各種操作画面をモニタ５１に表示するため、これらの表示データは一時的にビデオメモリ１２に格納されるが、このビデオメモリ１２に展開されている表示データ、つまり操作画面を表す操作画像は操作画面キャプチャ部１３でキャプチャされる。また、ユーザが入力操作デバイス５２を通じて行う全ての操作は、操作イベントログ生成部１４において、操作イベントとして操作実行プログラム名や操作対象データ名（ファイル名）や操作コマンド名などを列挙する形で記述され、これらの操作イベントは操作イベントログとしてスクリプト化される。操作イベントログ生成部１４によって生成された操作イベントログや操作画面キャプチャ部１３によってキャプチャされたキャプチャ画像はネットワークＩＦを通じて、ネットワーク２でつながれた端末監視装置３に送られるが、端末監視装置３での管理を容易にするために操作イベントログとキャプチャ画像には共通のタイムスタンプとユーザ属性情報とが付与される。
【００１７】
通常、この端末１を利用するためには、まずユーザ名とパスワードの入力によってログインしなければならないがこのログイン処理を通じて得られたユーザ名は、ログイン・ログオフ制御部１５において、そのままで又は必要に応じてユーザＩＤ等に変換され、端末１を識別するための端末ＩＤとともに端末監視装置３に送るユーザ属性情報となる。
【００１８】
端末監視装置３も一般的には汎用コンピュータによって構成され、液晶ディスプレイなどの監視モニタ５５、入力操作デバイス５６としてキーボードやマウス、大容量ハードディスクなどで構成されるデータ格納部５７などが付属している。この端末監視装置３にインストールされているＯＳによってＧＵＩ部３０や端末１から送られてきた端末操作ユーザに関するユーザ属性情報に基づいて特定された端末とこの端末を操作しているユーザを管理する端末管理部３１などを初めとして種々の基本的な機能が作り出される。また、端末監視装置３における本発明に関する機能のほとんどは、この端末監視装置３にインストールされている端末監視プログラムの実行に伴って作り出され、その代表的なものとして、端末１から送られてきたユーザが行っている操作イベントを記述している操作イベントログとその際の操作画面を示す操作画像とをネットワーク２を介して受け取る操作イベントログ取得部３２と操作画像取得部３３、操作イベントログ取得部３２で取り出された各端末別の操作イベントに対して「マウスクリック」、「マウスドラッグ」、「キーボード文字入力」といったような操作種類毎に種別コードを付与してデータ格納部５７に形成された操作イベント格納部５７ａに転送する操作イベント分類部３５と、タイムスタンプ等で操作イベントと時間的に対応付けされている操作画像を端末別でかつ時系列的に読み出し可能なようにデータ格納部５７に形成された操作画像格納部５７ｂに格納する操作画像管理部３６が備えられている。なお、操作イベントログ取得部３２で取り出された操作イベントとこの操作イベント発生時の操作画像とを高速に検索抽出可能にするために、インデックスコードなどのリンクコードを付与する場合には、端末別に操作画像と操作イベントとをリンクするリンク部３４が備えられる。さらには、操作イベント格納部５７ａに格納されている操作イベントを図１を用いて説明したように操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化するカテゴリ別イベント群決定部３７と、このカテゴリ別イベント群決定部３７によって決定された操作カテゴリ別イベント群の内容をテーブル化して保持するイベント群登録テーブル３７ａと、再生されようとする操作画像である再生操作画像にリンクしている操作イベントを操作イベント格納部５７ａから抽出する機能や再生操作画像に時間的に対応している操作イベントがイベント群登録テーブル３７ａに登録されている操作カテゴリ別イベント群に属している先行イベントであるかどうかをチェックする機能を有する操作イベント管理部３８と、操作イベント管理部３８によるリンク判定により再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応していると判定されると、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する再生情報処理手段として機能する監視情報処理手段４０とが備えられている。さらに、前述したように、処理対象となる操作イベントに対して時間的に対応する操作画像が存在しない場合には、その操作イベントを表す補間操作画像を生成する補間操作画像生成部４５が備えられている。
【００１９】
監視情報処理手段４０には、操作カテゴリ別イベント群に含まれている注目イベントの内容を暗示する暗示イメージを作成する暗示イメージ作成部４１と、この暗示イメージを当該最終イベントが属する操作カテゴリ別イベント群の先行イベントにリンクする再生操作画像に合成するイメージ合成部４２と、暗示イメージと合成された再生操作画像及びそのような合成なしの再生操作画像を監視モニタ５５で再生されるように処理する操作画像再生部４３を含んでいる。さらに、図では示されていないが、最終イベントの内容を音声でも報知する場合には、この監視情報処理手段４０に音声生成部が備えられる。
【００２０】
さらに、特定の操作カテゴリを任意に指定できるようにするため、入力操作デバイス５６から入力された指定操作カテゴリをカテゴリ別イベント群決定部３７に与える注目操作カテゴリ指定部３９ａと、指定されたカテゴリ別イベント群における注目イベントを指定する注目イベント指定部３９ｂが備えられている。注目イベント指定部３９ｂで指定される注目イベントは複数であってもよい。また、注目操作カテゴリ指定部３９ａによって指定された操作カテゴリにおける注目イベントがその操作カテゴリの最終段階の操作イベントとして定義しても差し支えない場合には、注目操作カテゴリの指定により自動的に注目イベントが決定されることになるので、注目イベント指定部３９ｂを省略することができる。
【００２１】
注目操作カテゴリ指定部３９ａによって指定された操作カテゴリに属する注目イベントの内容を表す暗示イメージがその先行イベントに時間的に対応する操作画像の再生時に合成され、表示される処理の様子が図３で模式的に示されているが、ここでは、操作カテゴリの最終イベントが注目イベントに設定されている実施例となっている。つまり、Ｘ１という端末１で行われたユーザ操作、例えば、「ＡＢＣアプリケーションの終了」、「xxx.xlsファイルの選択」、「xxx.xlsファイルの複製」、・・・、「xxx.xlsファイルの選択」、「ＵＳＢメモリへの書き込み」・・・が行われており、図３ではその操作過程においてキャプチャされた操作画像とその操作過程において作成された操作イベントログが示されている。これらの操作画像と操作イベントログが端末監視装置３に送られると、それぞれに付与されているタイムスタンプに基づいて、各操作画像と各操作イベント（操作イベントログから切り出される）とがリンクコードによってリンク付けされる。カテゴリ別イベント群決定部３７は、このようにリンク付けされた全ての操作イベントの内容を評価し、注目操作カテゴリ指定部３９ａによって指定された操作カテゴリに属する操作イベントを抽出する。ここでは、「ＵＳＢメモリ書き込み」という操作カテゴリに属する操作イベントが抽出された例が示されており、イベントＩＤ：Ｅ０２２の「xxx.xlsファイルの選択」、イベントＩＤ：Ｅ０２３の「xxx.xlsファイルの複製」、イベントＩＤ：Ｅ０２６「xxx.xlsファイルの選択」、イベントＩＤ：Ｅ０２７「ＵＳＢメモリへの書き込み」が抽出され、操作カテゴリ別イベント群としてグループ化されている。さらに、この操作カテゴリ別イベント群に含まれる操作イベントは処理イベントと中間イベントと最終イベントに区分けされるとともに、それぞれの操作イベントに時間的に対応する操作画像を規定するリンクコードも追記され、イベント群登録テーブル３７ａに登録される。
【００２２】
この実施例では、注目イベントとして指定されている最終イベントの操作内容である「ファイルxxx.xlsのＵＳＢメモリへの書き込み」という文言を吹き出し枠の中に描画した、図４で示すような暗示イメージが暗示イメージ作成部４１で作成されるが、その暗示イメージの格納アドレスもイベント群登録テーブル３７ａに登録される。また、文言中にかっこ枠付きで挿入されているカウントダウン変数は、注目イベントとしての最終イベントが発生するまでの時間の演算値を表示するための変数であり、起点となる操作イベントの発生時刻により、その変数の中身、つまり演算値（カウントダウン値）が異なることになる。なお、操作画像再生における再生速度が実速度の場合は、そのカウントダウン値はそれぞれの操作イベントが発生した時刻の差でよいが、再生速度が実速度でない場合、つまりスロー再生や早送り再生の場合、そのカウントダウン値を再生速度に相応して、スロー再生の時は長くなるように、早送り再生の時は短くなるように実時間を変更するとよい。これにより再生画面がスロー再生か早送り再生スローかを意識せずに、注目イベントとしての最終イベントが発生するまでの時間を実際の時間で把握することができる。。
【００２３】
図３に示すように、操作カテゴリ別イベント群がイベント群登録テーブル３７ａに登録されている場合に、操作画像を再生すると、監視モニタ５５には図５で示されるような画面が表示される。先行イベント（イベントＩＤ：Ｅ０２２）にリンクづけされている操作画像が再生されようとする際には、カウントダウン変数に先行イベントから注目イベントである最終イベントに至る時間が与えられた暗示イメージが当該操作画像に合成された形態で監視モニタ５５に表示される（図５（ａ）参照）。この監視モニタ５５の画面から監視者は、２０秒後にファイルxxx.xlsがＵＳＢメモリに書き込まれることを知ることができ、その監視の集中力を高めることができる。さらに、中間イベント（イベントＩＤ：Ｅ０２６）にリンクづけされている操作画像の再生が行われる（図５（ｂ）参照）。ここでも同じ暗示イメージが当該操作画像に合成されて表示されるが、そのカウントダウン値だけが再計算され、正しい値に書き換えられている。図５（ｃ）は、注目イベントである最終イベント（イベントＩＤ：Ｅ０２７）にリンクづけされている操作画像が再生されている様子を示しているが、ここでは、暗示イメージとして、カウントダウン値なしで、「ファイルxxx.xlsがＵＳＢメモリに書き込まれる」という内容だけを示す吹き出しが表示される。
【００２４】
図３と図５を用いて説明した例では、注目イベントは最終イベントの１つであったが、注目イベントとして、中間イベントのなかの１つと最終イベントを指定したり、あるいは中間イベントのなかから複数のイベントを指定したりといったように、注目イベントとして複数の操作イベントを指定してもよい。その際は、注目イベントに先行する先行イベントに対応する操作画像の再生時に複数の注目イベントの内容を表す複数の暗示イメージが合成されて表示されることになる。
【００２５】
また、注目イベントに重要度を予め設定しておき、操作画像の再生中に表示されるその注目イベントの内容を表す暗示イメージの形態を重要度によって変更するようにしてもよい。例えば、重要度の高い注目イベントのための暗示イメージは拡大されたり、点滅されたりして、より強調された形態で表示されると、その確認が容易となり、好都合である。
【００２６】
なお、この端末監視装置３は、上述したように、操作画像取得部３３や操作イベントログ取得部３２で取得された端末１毎の操作画像や操作イベントログをデータ格納部５７に格納してから選択的に再現するモードだけではなく、操作画像や操作イベントログをデータ格納部５７に格納する前に直接監視モニタ５１に表示するモードなど種々の端末監視のための表示モードを備えている。そのような各種表示モードから所望のモードを選択するために監視モニタ５５に表示される端末監視基本画面１００が図６に示されている。端末監視基本画面１００には、上部位置に操作画像再生ボタン１０１、ログ閲覧ボタン１０２、ＰＣ情報ボタン１０３、リモート制御ボタン１０４、アラート設定ボタン１０５等がアイコンの形で配置されている。この基本画面１００の下部には端末別の操作画像表示領域１１０と、メッセージ表示部１１１と、各端末１のリアルタイムの操作画像を表示するフレーム１２０がマトリックス状に表示されており、このフレーム１２０の下部に端末名又は端末ＩＤを示す端末識別表示部１２１が配置されている。
【００２７】
この端末監視基本画面１００において、操作画像再生ボタン１０１が操作された場合には、その際に選択されている端末１の操作画像が操作画像格納部５７ｂから読み出されながら、図７で示すような再生画面１４０を通じて再生表示される。操作画像再生ボタン１０１を操作する以前に端末監視基本画面１００の前記操作画像表示領域１１０又は端末一覧表示部１１２に表示されている端末１を選択することになるが、操作画像再生ボタン１０１を操作した際に、ダイアログボックス（図示せず）を表示し、端末１を特定する情報を入力操作デバイス５６から入力してもよい。この再生画面１４０には、注目操作カテゴリ指定欄１４１と、再生開始日時入力部１４２と、再生終了日時入力部１４３と、ＯＫボタン１４４と、再生領域１４５と、複数の再生コントロールボタン１４６と、再生スライダー１４７が配置されている。
【００２８】
再生画面１４０において操作画像の再生表示を行う代表的なやり方は、再生開始日時入力部１４２においてキーボード等から再生開始日時を入力し、必要に応じて再生終了日時入力部１４３に再生終了時刻を入力した後にＯＫボタン１４４をクリックすることである。これにより、特定された端末１の操作画像が操作画像管理部３６によって操作画像格納部５７ｂから読み出され、再生領域１４５に時系列で表示される。その際、上述したように、注目操作カテゴリ指定欄１４１を通じて入力され注目操作カテゴリ指定部３９ａによって設定された注目操作カテゴリに属する操作イベント、つまり操作カテゴリ別イベント群に含まれる操作イベントが発生したタイミングで、その操作カテゴリ別イベント群の最終イベントの内容を示す暗示イメージが操作画像とともに表示される。
【００２９】
なお、図６に示された基本画面１００においてログ閲覧ボタン１０２が操作された場合には、別ウインドウで操作イベントログ一覧表示が行われる。基本画面１００においてＰＣ情報ボタン１０３が操作された場合には、選択された端末１の物理データやインストールされているアプリケーション名等のＰＣ情報を表示する処理が行われる。基本画面１００においてリモート制御ボタン１０４が操作された場合には、リモート制御画面において制御を実行するアイコン類を操作することや、コマンドを入力することにより個別端末のリモート制御が可能となる。
【００３０】
上述した実施形態では、多数の端末１における操作画像と操作イベントログがネットワーク２を介して端末監視装置３に送られ、その端末監視装置３の監視モニタ５５で操作画像が必要に応じて再生表示される。しかしながら、本発明による操作画像の再生機能をモジュール化して端末１で実行可能なアプリケーションとし、各端末１にインストールすることで、端末１そのものを、スタンドアローン型の操作画像再生機能付き端末（つまり端末監視装置を組み込んだ端末）とすることができる。前述したサーバ・クライアント型の端末監視システムに較べ、ネットワーク２を介しての操作イベントログと操作画像の伝送がパソコンデータバスを介して行われることに置き換わったという違いがあるが、実質的な技術内容は同じである。
【００３１】
なお、本明細書で用いられている操作画像なる語句は、操作画面をキャプチャして得られた静止画ファイルやその静止画ファイルの集合体、及び連続した静止画を動画化して得られた動画ファイルや動画ファイルの集合体を総称している。従って、端末１から端末監視装置３に転送される操作画像は静止画であっても動画であってもよい。また、操作画像を監視モニタ５５で表示する際も、静止画の連続表示（スライドショーのようなスタイル）でもよいし、動画表示でもよく、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。さらに、操作画像格納部５７ｂに記録される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合ＪＰＥＧやＧＩＦなどが、動画の場合ＭＰＥＧやＡＶＩなどが用いられる。
【００３２】
上述した実施形態では、端末監視装置３が単独のコンピュータによって構築されている形態で説明されていたが、この端末監視装置３の機能を区分けして、複数のコンピュータに分散させてもよい。例えば、端末監視装置３におけるデータ格納部５７をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から操作画像や操作イベントを読み出して上述した処理を施し監視モニタに表示させる独立した監視端末を配置させても良い。この監視端末をデータ格納専用機が組み込まれたネットワークに接続することで、いつでもどこからでも端末を監視することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明による操作画面再生の基本原理を説明する説明図
【図２】本発明による端末監視システムの一例を示すシステム構成図
【図３】操作画面に特定の操作イベントに関する暗示イメージを合成する流れを説明する説明図
【図４】暗示イメージの一形態としての吹き出しを示す模式図
【図５】暗示イメージが合成された操作画像を示す画面図
【図６】端末監視基本画面を示す画面図
【図７】再生画面を示す画面図
【符号の説明】
【００３４】
１：端末
３：端末監視装置
１３：操作画面キャプチャ部
１４：操作イベントログ生成部
３２：操作イベントログ取得部
３３：操作画像取得部
３４：リンク部
３７：操作カテゴリ別イベント群決定部
３７ａ： イベント群登録テーブル
３８：操作イベント管理部
３９ａ：注目操作カテゴリ指定部
３９ｂ：注目イベント指定部
４０：監視情報処理手段
４１：暗示イメージ作成部
４２：イメージ合成部
４３：操作画像再生部
４５：補間操作画像生成部
５７：データ格納部
５７ａ：操作イベント格納部
５７ｂ：操作画像管理部
５５：監視モニタ
【特許請求の範囲】
【請求項１】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生装置において、
前記操作画像と前記操作イベントログに含まれている操作イベントとを時間的に対応するように順次格納するデータ格納部と、
前記操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化するカテゴリ別イベント群決定部と、
再生されようとする前記操作画像である再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する再生情報処理手段と、
が備えられている操作画像再生装置。
【請求項２】
前記操作画像と前記操作イベントにはタイムスタンプが付与されており、このタイムスタンプに基づいて時間的に対応する前記操作画像と前記操作イベントとをリンクするリンク部が備えられていることを特徴とする請求項１に記載の操作画像再生装置。
【請求項３】
前記再生情報処理手段は、前記注目イベントの内容を暗示する暗示イメージを作成する暗示イメージ作成部と、前記暗示イメージを前記再生操作画像に合成するイメージ合成部を備えていることを特徴とする請求項１又は２に記載の操作画像再生装置。
【請求項４】
前記イメージ合成部は、前記先行イベントとリンクしている再生操作画像における前記先行イベントの発生箇所に関連づけて前記暗示イメージを合成することを特徴とする請求項３に記載の操作画像再生装置。
【請求項５】
前記イメージ合成部は、前記先行イベントとリンクしている再生操作画像における前記注目イベントの発生箇所に関連づけて前記暗示イメージを合成することを特徴とする請求項３に記載の操作画像再生装置。
【請求項６】
前記暗示イメージが、前記注目イベントが発生するまでの期間を表す時間経過イメージであることを特徴とする請求項３から５のいずれか一項に記載の操作画像再生装置。
【請求項７】
前記操作イベントに時間的に対応する操作画像が抜けている場合当該操作イベントを表す補間操作画像を生成する補間操作画像生成部が備えられていることを特徴とする請求項１から５のいずれか一項に記載の操作画像再生装置。
【請求項８】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得してデータ格納部に格納するとともに、前記操作画像の再生を行う操作画像再生プログラムにおいて、
前記操作画像と前記操作イベントログに含まれている操作イベントとを時間的に対応するように前記データ格納部に順次格納する機能と、
前記操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化する機能と、
再生されようとする前記操作画像である再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する機能と、
をコンピュータに実現させる操作画像再生プログラム。
【請求項１】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生装置において、
前記操作画像と前記操作イベントログに含まれている操作イベントとを時間的に対応するように順次格納するデータ格納部と、
前記操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化するカテゴリ別イベント群決定部と、
再生されようとする前記操作画像である再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する再生情報処理手段と、
が備えられている操作画像再生装置。
【請求項２】
前記操作画像と前記操作イベントにはタイムスタンプが付与されており、このタイムスタンプに基づいて時間的に対応する前記操作画像と前記操作イベントとをリンクするリンク部が備えられていることを特徴とする請求項１に記載の操作画像再生装置。
【請求項３】
前記再生情報処理手段は、前記注目イベントの内容を暗示する暗示イメージを作成する暗示イメージ作成部と、前記暗示イメージを前記再生操作画像に合成するイメージ合成部を備えていることを特徴とする請求項１又は２に記載の操作画像再生装置。
【請求項４】
前記イメージ合成部は、前記先行イベントとリンクしている再生操作画像における前記先行イベントの発生箇所に関連づけて前記暗示イメージを合成することを特徴とする請求項３に記載の操作画像再生装置。
【請求項５】
前記イメージ合成部は、前記先行イベントとリンクしている再生操作画像における前記注目イベントの発生箇所に関連づけて前記暗示イメージを合成することを特徴とする請求項３に記載の操作画像再生装置。
【請求項６】
前記暗示イメージが、前記注目イベントが発生するまでの期間を表す時間経過イメージであることを特徴とする請求項３から５のいずれか一項に記載の操作画像再生装置。
【請求項７】
前記操作イベントに時間的に対応する操作画像が抜けている場合当該操作イベントを表す補間操作画像を生成する補間操作画像生成部が備えられていることを特徴とする請求項１から５のいずれか一項に記載の操作画像再生装置。
【請求項８】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得してデータ格納部に格納するとともに、前記操作画像の再生を行う操作画像再生プログラムにおいて、
前記操作画像と前記操作イベントログに含まれている操作イベントとを時間的に対応するように前記データ格納部に順次格納する機能と、
前記操作イベントを操作カテゴリ別に区分けして、その操作カテゴリにおける注目すべき操作を示す１つ以上の操作イベントとしての注目イベントと前記注目イベントに先行する操作を示す操作イベントとしての先行イベントとを少なくとも含む操作カテゴリ別イベント群としてグループ化する機能と、
再生されようとする前記操作画像である再生操作画像に特定の操作カテゴリ別イベント群の先行イベントが時間的に対応している時、この特定の操作カテゴリ別イベント群の注目イベントの内容を前記再生操作画像とともに出力する機能と、
をコンピュータに実現させる操作画像再生プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２９９７３７（Ｐ２００８−２９９７３７Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４７０９４（Ｐ２００７−１４７０９４）
【出願日】平成１９年６月１日（２００７．６．１）
【特許番号】特許第４１６０９９７号（Ｐ４１６０９９７）
【特許公報発行日】平成２０年１０月８日（２００８．１０．８）
【出願人】（５９９１０８２４２）Ｓｋｙ株式会社 (257)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年６月１日（２００７．６．１）
【特許番号】特許第４１６０９９７号（Ｐ４１６０９９７）
【特許公報発行日】平成２０年１０月８日（２００８．１０．８）
【出願人】（５９９１０８２４２）Ｓｋｙ株式会社 (257)
【Ｆターム（参考）】
[ Back to top ]