記録装置と記録装置のためのプログラム
【課題】操作画面をキャプチャして得られるキャプチャ画像の再生時に、ユーザの目がカーソルの動きに追従しやすいように記録する記録装置を提供する。
【解決手段】操作画面をキャプチャして得られるキャプチャ画像を保存する保存部27と、操作画面を区画毎に分割する表示領域分割部18と、操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいてカーソルの移動距離を算定するカーソル移動距離算定部14と、移動距離に基づいて積算移動距離を計数する移動距離積算部16と、区画毎にカーソルの目標移動距離を設定する目標移動距離設定部17と、積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、保存部27からキャプチャ画像を抽出するキャプチャ画像抽出部21と、抽出されたキャプチャ画像を記録するキャプチャ画像格納部10と、を備える。
【解決手段】操作画面をキャプチャして得られるキャプチャ画像を保存する保存部27と、操作画面を区画毎に分割する表示領域分割部18と、操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいてカーソルの移動距離を算定するカーソル移動距離算定部14と、移動距離に基づいて積算移動距離を計数する移動距離積算部16と、区画毎にカーソルの目標移動距離を設定する目標移動距離設定部17と、積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、保存部27からキャプチャ画像を抽出するキャプチャ画像抽出部21と、抽出されたキャプチャ画像を記録するキャプチャ画像格納部10と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作画面をキャプチャして得られるキャプチャ画像を記録する記録装置とそのような記録装置のためのプログラムに関する。
【背景技術】
【0002】
近年、イントラネットやローカルエリアネットワーク等のネットワークの普及と共に、ネットワークに接続されたコンピュータ端末の監視やネットワークを利用した授業等の目的として、遠隔にあるコンピュータ端末の操作状況を確認するケースが増加している。このような目的を達成する技術の一つとして、コンピュータ端末の操作画面をキャプチャし、そのキャプチャ画像を確認することにより、コンピュータ端末の操作状況を把握する技術がある(例えば、特許文献1)。この特許文献1に係る遠隔制御システムでは、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されており、遠隔制御サーバにおいてクライアント端末からのアクセス要求情報を受け付ける構成としている。クライアント端末ではモニタに表示されている画像データを遠隔制御サーバに送信し、遠隔制御サーバでは受信した画像データをモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末の画面をキャプチャ画像として、所定のインターバルで操作ログに記録し、この記録後に遠隔制御サーバのログ再生処理部が操作ログに記録されたキャプチャ画像の再生を行っている。しかしながら、この特許文献1に係る技術では、単にキャプチャ画像を再生するだけであり、例えば、再生画面内にマウスカーソルがあり、そのマウスカーソルが素早く移動した場合には、再生画面を見ている人がマウスカーソルを見失ってしまうといった問題があった。
【0003】
【特許文献1】特開2006−108947号公報(段落番号0051等)
【発明の開示】
【発明が解決しようとする課題】
【0004】
本発明の目的は、上記問題に鑑み操作画面をキャプチャして得られるキャプチャ画像が入力される記録装置において、ユーザの目が再生時におけるポインティングデバイスのカーソルの動きに追従しやすいように記録する記録装置とそのような記録装置のためのプログラムを提供することである。
【課題を解決するための手段】
【0005】
上記目的を達成するための本発明に係る、記録装置の特徴は、操作画面をキャプチャして得られるキャプチャ画像を保存する保存部と、前記操作画面を区画毎に分割する表示領域分割部と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定部と、前記移動距離に基づいて積算移動距離を計数する移動距離積算部と、前記区画毎に前記カーソルの目標移動距離を設定する目標移動距離設定部と、前記積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出部と、前記抽出されたキャプチャ画像を記録するキャプチャ画像格納部と、を備える点にある。
【0006】
このような構成とすれば、表示領域分割部によって操作画面を区画毎に分割し、当該分割された区画毎に設定された目標移動距離に、ポインティングデバイスのカーソルの移動距離が到達する毎に保存部に保存されたキャプチャ画像を抽出するため、カーソルの位置に応じたキャプチャ画像の記録を容易に行うことができる。したがって、抽出された画像においてカーソルの動きが不規則であっても、そのままキャプチャ画像格納部から読み出すだけでカーソルの移動を区画毎に設定された目標移動距離に応じて再生できるため、カーソルの視認が容易となり、カーソルを見失うことなく目で追いかけやすくすることができる。また、区画毎に目標移動距離が設定されるため、例えば重要度の低い区画では目標移動距離を大きく設定することにより、抽出するキャプチャ画像を減らすことが可能となる。したがって、記録容量を低減することができる。なお、本発明に係る保存部は、キャプチャ画像を一時的に保存する機能を有する保存部や、例えばDVDやハードディスク等のようにキャプチャ画像をデータとして固定するような保存部を含むものである。
【0007】
また、前記記録装置は、前記目標移動距離設定部が、前記区画毎に分割された区画内に表示される表示物に応じて、前記目標移動距離を変更すると好適である。このような構成とすれば、所定区画内に表示物として、例えば操作対象として注視すべきアイコンやアプリケーションのウィンドウ等がある場合には目標移動距離を小さく設定することによりキャプチャ画像をより多く抽出することができる。したがって、再生時においてカーソルの動きを細かく再生することができ、カーソルの動きをより注意して見ることができる。
【0008】
また、本発明に係る、記録装置の特徴は、操作画面をキャプチャして得られるキャプチャ画像を保存する保存部と、前記操作画面を区画毎に分割する表示領域分割部と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定部と、前記区画毎に移動距離係数を決定する移動距離係数決定部と、前記移動距離と前記移動距離係数とに基づいて、移動ポイントを算定する移動ポイント算定部と、前記移動ポイントが予め設定された抽出ポイントに達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出部と、前記抽出されたキャプチャ画像を記録するキャプチャ画像格納部と、を備える点にある。
【0009】
このような構成であれば、カーソルの移動距離と移動距離係数とに基づいて演算された移動ポイントに応じてキャプチャ画像の記録を容易に行うことができる。したがって、取得された画像においてカーソルの動きが不規則であっても、そのままキャプチャ画像格納部から読み出すだけでカーソルの移動を区画毎に設定された移動距離係数に応じて再生できるため、カーソルの視認が容易となり、カーソルを見失うことなく目で追いかけやすくすることができる。また、区画毎に移動距離係数が設定されるため、例えば重要度の低い区画では移動距離係数を大きく設定することにより、抽出するキャプチャ画像を減らすことが可能となる。したがって、記録容量を低減することができる。
【0010】
更に、本発明では、記録装置のためのプログラムも権利範囲としており、そのコンピュータプログラムは、操作画面をキャプチャして得られるキャプチャ画像を保存部に保存する保存機能と、前記操作画面を区画毎に分割する表示領域分割機能と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定機能と、前記移動距離に基づいて積算移動距離を計数する移動距離積算機能と、前記区画毎に前記カーソルの目標移動距離を設定する目標移動距離設定機能と、前記積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出機能と、前記抽出されたキャプチャ画像をキャプチャ画像格納部に記録するキャプチャ画像格納機能と、をコンピュータに実現させることが可能である。
【0011】
また、本発明では、記録装置のための他のプログラムも権利範囲としており、そのコンピュータプログラムは、操作画面をキャプチャして得られるキャプチャ画像を保存部に保存する保存機能と、前記操作画面を区画毎に分割する表示領域分割機能と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定機能と、前記区画毎に移動距離係数を決定する移動距離係数決定機能と、前記移動距離と前記移動距離係数とに基づいて、移動ポイントを算定する移動ポイント算定機能と、前記移動ポイントが予め設定された抽出ポイントに達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出機能と、前記抽出されたキャプチャ画像をキャプチャ画像格納部に記録するキャプチャ画像格納機能と、をコンピュータに実現させることが可能である。
【0012】
これらの記録装置のためのプログラムも上述した本発明の対象としての記録装置と比べて、実質的な特徴構成には相違はなく、上述した作用効果を得ることが可能である。
【発明を実施するための最良の形態】
【0013】
〔本発明の第一実施形態〕
以下、本発明に係る記録装置を使用する場合の一例として、図1のように構成されたコ
ンピュータネットワークシステムを用いて説明する。図1は、このコンピュータネットワークシステムを模式的に示した構成図であり、ユーザにより各種ファイルの作成、閲覧、複写、修正、削除、印刷等の操作が行われる端末1と、この端末1の操作状況を記録する記録装置2とからなる。端末1をユーザが使用している際に端末1のモニタ1Aに表示される操作画面に基づくキャプチャ画像と、そのキャプチャ画像に表示される表示物の表示物情報と、ユーザのポインティングデバイスの操作に基づいて記録されるカーソル位置情報と、ユーザの操作に基づいて操作状況が記録される操作ログ情報と、が各端末1から記録装置2に送信される。したがって、各端末1のモニタ1Aに表示される操作画面が記録装置2に記録されている状態にあると考えてよい。本実施形態では、各端末1から送信されるキャプチャ画像は、まずは仮保存部27(図2参照)に一時保存される。そして、仮保存部27に一時保存されたキャプチャ画像のうち、本記録装置2が有する各機能部が行う種々の処理に基づいて、所定の条件を具備したキャプチャ画像がキャプチャ画像格納部10に格納される構成となっている。詳細については、後述するが、本実施形態においては、仮保存部27は本願請求項における保存部に相当するものである。なお、キャプチャ画像は、端末1に備えられるキャプチャ画像生成部(図示しない)により生成される。また、本実施形態においては、キャプチャ画像と表示物情報とカーソル位置情報と操作ログ情報とは別々に送信されるものとしているが、これに限るものではない。これらのキャプチャ画像と表示物情報とカーソル位置情報と操作ログ情報とを含む操作情報が、一括して記録装置2に送信される構成とすることも当然に可能である。
【0014】
図2は、記録装置2の構成を模式的に示すブロック図である。本記録装置2は、ネットワークに接続された端末1で取得されたキャプチャ画像を一時保存する仮保存部27と、当該仮保存部27に一時保存されたキャプチャ画像から抽出されたキャプチャ画像を記録するキャプチャ画像格納部10と、ポインティングデバイスのカーソル位置情報を格納するカーソル位置情報格納部11とを備える。
【0015】
カーソル位置情報は、端末1におけるユーザのカーソル操作に基づいて記録されるカーソルCuの位置情報からなる。また、本記録装置2は、表示物情報を格納する表示物情報格納部12も備える。この表示物情報は、端末1が有するモニタ1Aに表示されるアイコンの座標を表すアイコン情報や、スタートボタンを含むタスクバーの座標を表すタスクバー情報等からなる。なお、アイコンやタスクバー等はキャプチャ画像に表示される表示物として定義される。また、この表示物情報には、表示物の位置、内容、重要度等に関する情報が含まれ、表示物の位置として、後述する所定位置の指定にも利用可能である。更に、本記録装置2は、操作ログ情報を格納する操作ログ情報格納部13を備える。この操作ログ情報は、端末1を使用するユーザの操作内容や操作時間等に基づいて記録される操作ログからなる。したがって、この操作ログ情報からユーザの操作状況を認識することができる。
【0016】
カーソル位置情報には、端末1でのカーソルCuの位置情報が記録されており、この位置情報が取得された取得時間とその取得時間におけるカーソルCuのx座標とy座標とが記録されている。また、アイコン情報、タスクバー情報にも、夫々の座標が取得された取得時間とその取得時間におけるx座標とy座標とが記録される。なお、これらの座標はモニタ1Aに表示される際の座標である。
【0017】
カーソル移動距離算定部14は、カーソル位置情報格納部11に格納されたカーソル位置情報からカーソルCuが所定時間内に移動した移動距離の算定を行う。算定された移動距離は、移動距離算定結果として移動距離算定結果記録部15に記録される。また、移動距離算定結果記録部15に記録されている移動距離算定結果に基づいて、移動距離積算部16はカーソルCuの積算移動距離の計数を行う。
【0018】
本記録装置2は、記録されたキャプチャ画像をモニタ2Aで再生する際、再生画面を見るユーザの目が再生画面に表示されるカーソルCuの動きに追従しやすいようにキャプチャ画像を記録する機能を備えている。これは、カーソルCuが所定距離(一定距離)移動する毎にその時の操作画面を記録することにより実現できる。この所定距離は、目標移動距離として予め目標移動距離設定部17により設定可能である。当該目標移動距離は、表示領域分割部18により端末1Aにおける操作画面が分割された区画毎に目標移動距離設定部17により設定される。表示領域分割部18については後述する。
【0019】
移動距離比較部19は、移動距離積算部16が計数した積算移動距離と、目標移動距離設定部17により設定された目標移動距離とを比較し、比較結果を抽出信号出力部20に出力する。この比較結果に基づいて、抽出信号出力部20は、キャプチャ画像抽出部21が仮保存部27からキャプチャ画像を抽出するタイミングとなる抽出信号をキャプチャ画像抽出部21に出力する。この抽出信号は、カーソルCuの積算移動距離が、目標移動距離設定部17により設定される目標移動距離に到達する毎に出力される。キャプチャ画像抽出部21は当該抽出信号を受け取る毎に、仮保存部21から当該抽出信号に対応するキャプチャ画像を抽出し、キャプチャ画像格納部10に記録する。
【0020】
記録装置2が備える位置評価値算定部22は、カーソル位置情報と、アイコン情報やタスクバー情報等の表示物情報に基づいてカーソルCuの位置評価値の算定を行う。この位置評価値は、カーソルCuの位置と表示物の位置との関係を規定する値であり、具体的には、カーソルCuがアイコンやタスクバー等の表示物上にあれば高くなる。例えば、カーソルCuがアイコン上にある場合にはアプリケーションの起動やフォルダを開く操作等の前段階である可能性が高く、タスクバー上にある場合にはアプリケーションの起動等の前段階である可能性が高い。このように、カーソルCuが予め設定された所定位置(指定表示物)上にある、即ちカーソル位置が所定位置に一致すると、重要な操作の可能性があるとして、重要度を高くすることが可能である。したがって、位置評価値に基づいてこのような操作を事前に予測することが可能となる。一方、カーソルCuが、アイコン上やタスクバー上の何れにも位置しない場合には、カーソルCuが、それ以外の領域上で静止しているか、或いはそれ以外の領域上を移動しているかの何れかである可能性が高いことから、アプリケーションやファイルの操作等がされていないと予測することができる。
【0021】
抽出信号出力部20は、位置評価値算定部22が算定した位置評価値に基づいて、付加的に、抽出信号をキャプチャ画像抽出部21に出力する。即ち、積算移動距離が目標移動距離に達していない場合であっても、カーソルCuがアイコン上、或いはタスクバー上に位置すると判定された場合には、抽出信号出力部20は抽出信号をキャプチャ画像抽出部21に出力する。また、操作ログ情報格納部13に格納されている操作ログ情報は、操作ログ判定部24に入力される。そして、操作ログ判定部24が、端末1においてアプリケーションの起動等の特定の操作が行われたと判定した場合にも、抽出信号出力部20は付加的に抽出信号をキャプチャ画像抽出部21に出力する。
【0022】
上述のように、端末1から送信されるキャプチャ画像は、まず、仮保存部27に一時保存される。そして、仮保存部27に一時保存されたキャプチャ画像は、抽出信号出力部20から出力される抽出信号に対応するキャプチャ画像のみが、キャプチャ画像抽出部21により抽出され、キャプチャ画像格納部10に記録される。キャプチャ画像格納部10に記録されず仮保存部27に残ったキャプチャ画像は、所定時間経過後、消去される構成とすると好適である。もちろん、当該所定時間は、当該抽出処理経過後、直ぐであっても良いし、数時間経過後或いは数日経過後であっても良い。キャプチャ画像抽出部21は、上述のように、抽出信号出力部20から出力される抽出信号に基づいて、仮保存部27に一時保存されたキャプチャ画像の抽出を行う。
【0023】
ここで、抽出信号出力部20から抽出信号が出力された際、抽出信号を出力させたカーソル位置情報に対応する積算移動距離が、目標移動距離設定部17で設定された目標移動距離よりも大きい場合には、当該抽出信号の信号出力タイミングに対応するキャプチャ画像が仮保存部27にないため抽出することができない。そのため、本記録装置2にはこのような場合において不足するキャプチャ画像を補間生成する補間機能が備えられている。抽出信号出力部20により出力された抽出信号に対応するキャプチャ画像が、仮保存部27にない場合には、仮保存部27はキャプチャ画像抽出部21に対して、当該抽出信号に対応するキャプチャ画像がない旨を示す信号を送信する。この信号に応じて、キャプチャ画像抽出部21は補間画面生成部23に対して、補間画面の生成を命令する。この命令に従って、補間画面生成部23は補間画面の生成を行う。補間画面生成部23は、以下のように補間画面の生成を行う。まず、補間画面生成部23は、カーソル位置情報格納部11に記録されているカーソル位置情報から抽出信号の信号出力タイミングに対応するカーソルCuの座標を決定する。次に、その対応する時間の前後いずれかの画像からカーソルCuを画像処理により削除して背景画像を生成する。そして、この背景画像に対して、決定された座標に対応するようにカーソルCuのイメージを合成する。このようにして補間画面が生成される。生成された補間画面は、仮保存部27から抽出されたキャプチャ画像に適宜、挿入されるようにキャプチャ画像格納部10に記録される。したがって、抽出信号に対応するキャプチャ画像が仮保存部27にない場合であっても記録装置2は、補間画面を生成することによりカーソルCuがスムーズに移動している画像を記録することが可能となる。
【0024】
キャプチャ画像格納部10に記録されたキャプチャ画像及び補間画面は、画像再生部25に伝達され、VRAM(Video Random Access Memory)26を介してモニタ2Aに再生画面として再生される。また、本記録装置2は、CPUを中核部材として記録処理及びその再生に関する種々の動作を行うための機能部をハードウェア又はソフトウェア或いはその両方で構築されている。
【0025】
表示領域分割部18は、操作画面を区画毎に分割する。表示領域を区画毎に分割した一例を図3に示す。図3においては、操作画面のx座標とy座標とを夫々4分割し、16個の区画になるように分割しているが、これに限定されるもではなく、また、等分割されることに限定されるものでもない。このように分割された区画毎に対して、目標移動距離設定部17は、目標移動距離の設定を行う。その一例を図4に示す。図4に示されるように区画1の目標移動距離は「200」dot、区画2の目標移動距離は「400」dotというように、全区画に対して目標移動距離の設定が行われる。ここで、座標情報はdot単位で取得されていることから、移動距離や積算移動距離の単位も「dot」となる。なお、この単位は「dot」に限るものではなく、画面上の長さ(例えば、インチやcm)等を使用することも可能である。
【0026】
次に、操作画面をキャプチャして得られたキャプチャ画像を用いて説明する。図5は、所定時間毎に端末1の操作に基づくモニタ1Aの操作画面をキャプチャした画像の一例である。取得時間t1からt4の間に取得された(a)の画面から(d)の画面ではカーソルCuの移動があるが、取得時間t4からt5の間では、(d)の画面から(e)の画面に示されるようにカーソルCuの移動が見られない。また、同様に、取得時間t5からt11の間は(e)の画面から(k)の画面に示されるようにカーソルCuの移動があるが、取得時間t11からt12にかけては、(k)の画面から(l)の画面に示されるようにカーソルCuの移動が見られない。このようなキャプチャ画像が操作画面情報として、本記録装置2に送信され、仮保存部27に一時保存される。
【0027】
また、カーソル位置情報がカーソル位置情報格納部11に格納される。このカーソル位置情報の一例を図6に示す。カーソル位置情報は、操作画面上でのカーソルCuの位置を示す情報であり、カーソルCuの位置情報を取得した取得時間と、その取得時間におけるx座標とy座標とからなる座標情報とを含む。図6の例では、取得時間はt1からt12としている。その取得間隔は、キャプチャタイミングに合わせて2秒毎としているが、これに限らない。設定により2秒以下にすることも可能であるし、2秒以上にすることも当然に可能である。x座標及びy座標については、操作画面の左下をx座標が0、y座標が0として基準座標としているが、これに限らない。所定の箇所を基準座標として、カーソルCuの座標を記録することは当然に可能である。なお、本例においては、操作画面の領域を1024×768(dot)の表示領域を例として説明する。
【0028】
カーソル位置情報格納部11に格納されるカーソル位置情報に基づいて、カーソル移動距離算定部14はカーソルCuのx座標及びy座標の移動距離を算定する。これらの算定結果は、移動距離算定結果記録部15に記録される。図6から算定された移動距離算定結果を図7に示す。取得時間t1からt2までの間のx座標の移動距離「x1−x2」が算定され「−165」として記録される。以下同様に「x2−x3」以降も順次算定され記録される。更に、y座標の移動距離もx座標の算定と同様に記録される。更に、これらのx座標の移動距離とy座標の移動距離とから操作画面上での移動距離が算定された結果が、移動距離として記録される。ただし、ここでは移動距離の算定結果は、見やすくするために小数点以下を四捨五入した結果を示している。
【0029】
移動距離積算部16は、移動距離算定結果記録部15に記録される移動距離算定結果に基づいてカーソルCuの積算移動距離の計数を行う。この積算移動距離と目標移動距離設定部17において設定された目標移動距離とを、移動距離比較部19が比較を行い、積算移動距離が目標移動距離に達する毎に抽出信号出力部20は抽出信号(High信号)を出力する。図7の移動距離算定結果から計数された積算移動距離計数結果に基づいて、抽出信号が出力されたタイミングを示したものが図8である。
【0030】
図8では、取得時間t1からt2までの間の積算移動距離は「170」dotとなる。この取得時間の間にカーソルCuが位置する区画は、図3における「区画11」内での移動であるため、図8においてはカーソルの位置する区画を「区画11⇒区画11」と示している。また、当該区画内における目標移動距離は同一区画内であるため「「300」dot⇒「300」dot」となる。「t1−t2」におけるカーソルCuの積算移動距離は「170」dotであるが、目標移動距離(「300」dot)に到達していないため、抽出信号は出力されることはない。したがって、抽出信号は「Low」となる。そして、この積算移動距離に取得時間t2からt3までの間の移動距離「130」dotを加えると、取得時間t1からt3までの積算移動距離が「300」dotとして求められる。この場合(すなわち、t3となった際)に積算移動距離が目標移動距離に達したため、抽出信号としてHigh信号が出力される。なお、この取得時間t3の状態では、目標移動距離と積算移動距離とが等しいことから、仮保存部27に取得時間t3に取得されたキャプチャ画像が存在する。したがって、当該抽出信号に対応するキャプチャ画像がキャプチャ画像抽出部21により抽出され、キャプチャ画像格納部10に記録される。また、この抽出信号の出力に合わせて移動距離積算部16の積算移動距離はリセットされる。したがって、取得時間t3以降の積算移動距離計数は、「0」から始まることとなる。
【0031】
取得時間t3からt4までの間の積算移動距離は「300」dotとなる。この取得時間の間には、カーソルCuは「区画10」から「区画6」を介して「区画5」に移動している。したがって、目標移動距離も「「300」dot⇒「300」dot⇒「200」dot」」と変化することとなる。この場合(すなわち、t4となった際)に積算移動距離が目標移動距離「200」dotに対して大きく超えている。したがって、このタイミング(取得時間t4)でキャプチャされたキャプチャ画像は仮保存部27には、ないことになる。そのため、キャプチャ画像抽出部21から補間画面生成部23に対して、補間画面を生成する旨の命令が行われる。この命令を受けて、補間画面生成部23は補間画面を上述のように生成する。そして、補間画面が生成された場合には、積算移動距離(ここでは、「300」dot)から目標移動距離(ここでは、「200」dot)が減じられた値(「100」dot)が積算移動距離として残る。
【0032】
取得時間t4からt5までの間の移動距離は「0」dotであるため、上記積算移動距離「100」dotが継続して残ることとなる。この場合は、積算移動距離が目標移動距離に達していないため、抽出信号はLowとなる。
【0033】
取得時間t6の場合には、積算移動距離が「245」dotとなり目標移動距離「200」dotを大きく超えているので、キャプチャ画像がないことから、補間画面が生成される。そして、取得時間t6においては、再度、抽出信号が出力されている。これは、カーソルCuがアイコン上にあるために抽出信号が出力されたからである(図5(f)参照)。このアイコンの位置は表示物情報格納部12に記録されている表示物情報から判別可能であり、この表示物情報とカーソル位置情報格納部11に記録されたカーソル位置情報に基づいて、位置評価値算定部22が判定することにより抽出信号出力部20が抽出信号を出力する。
【0034】
以下同様に処理が続けられ、抽出信号が出力されるまで積算移動距離計数が行われる。取得時間t7からt8までの間に積算移動距離が「205」dotとなっているが、この場合は、目標移動距離を越えるものの所定範囲内の差(本例では、「±10」dotを所定範囲としている)であるため取得時間t8となった際に抽出信号が出力される。この所定範囲の設定は、予め設定することも可能であるし、変更することも可能である。また、取得時間t9においてもカーソルCuがアイコン上に位置しているため、抽出信号が出力される。
【0035】
次に、取得時間t10からt11までの間の積算移動距離が計数されるが、t10において残った積算移動距離(「150」dot)と「t10−t11」におけるカーソルCuの移動距離(「300」dot)との和が、積算移動距離(「450」dot)として扱われる。この場合にも、積算移動距離が、目標移動距離に対して所定範囲(「±10」dot)を大きく超えているので、仮保存部27にキャプチャ画像はない。したがって、キャプチャ画像抽出部21から補間画面生成部23に対して、補間画面の生成命令が出力され、補間画面生成部23は補間画面の生成を行う。
【0036】
なお、例えば、図8において取得時間がt12で終了している場合には、積算移動距離が目標移動時間に達しなくても、最終画面として抽出信号を出力することにより記録するような構成とすることも可能である。
【0037】
次に、抽出信号に基づいてキャプチャ画像格納部10に記録された画像について説明する。図9は、キャプチャ画像格納部10に記録された画像である。図9(a)は、取得時間t1における画像である。次に、抽出信号は取得時間t3の時点で出力されているため、キャプチャ画像格納部10には、取得時間t3の画像が記録される(図9(b)参照)。また、図9(c)及び(d)には、補間画面生成部23により生成された補間画面が記録される。そして、図9(e)では、カーソルCuがアイコン上にあることから位置評価値算定部22の評価に応じて目標移動距離に達していないにも関わらず記録されている。以下同様に、抽出信号の出力に応じた取得時間に取得されたキャプチャ画像がキャプチャ画像格納部10に記録される。
【0038】
図9(i)では、取得時間t12において目標移動距離に達していないが、キャプチャされた最終画面として記録される。このようにして、カーソルCuの移動距離が区画毎に設定された目標移動距離に応じて操作画面を記録することができるため、各分割領域においてはカーソルCuが一定速度で動くように再生することができる。したがって、カーソルCuを見失うことなく容易に再生画面を見ることが可能となる。本記録装置2によりカーソルCuの移動距離を目標移動距離に応じて再生する場合には、再生速度の観点から見ると操作画面を早送り再生、若しくはスロー再生となっていることがある。このような場合には、図示はしないが、早送り再生、若しくはスロー再生となっている際に、モニタ2Aを見ている人に対して、再生速度を変更しているか否かを認識可能となるように、その別をカウンタ表示やランプ表示等により明示することも可能である。
【0039】
次に、本実施形態についてフローチャートを使用して説明する。図10は本記録装置2がカーソルCuの移動について設定された目標移動距離に応じて操作画面を記録するためのフローチャートである。まず、端末1Aにおける操作画面を区画毎に分割を行う(ステップ#01)。そして、目標移動距離設定部17が、分割された区画毎に目標移動距離の設定を行う(ステップ#02)。この際、別途、目標移動距離入力部(図示しない)によりユーザが所望する目標移動距離を設定することも可能である。次に、位置評価値算定部22がカーソル位置情報格納部11に格納されているカーソル位置情報を抽出する(ステップ#03)。
【0040】
そして、位置評価値算定部22が、位置評価値でカーソルCuが所定位置上にあるか否かの判断をする。その結果が抽出信号出力部20に出力される。なお、この表示物の位置情報は、表示物情報として表示物情報格納部12に格納されている。カーソルCuが表示物等の所定位置上にあれば(ステップ#04:No)、抽出信号出力部20は抽出信号をキャプチャ画像抽出部21に出力する(ステップ#12)。一方、カーソルCuが所定位置上になければ(ステップ#04:Yes)、操作ログ情報格納部13に格納されている操作ログ情報を操作ログ判定部24が抽出し(ステップ#05)、プログラムが起動されたか否かの確認を行い、その判定結果を抽出信号出力部20に出力する。プログラムが起動されていれば(ステップ#06:No)、抽出信号出力部20は抽出信号をキャプチャ画像抽出部21に出力する(ステップ#12)。一方、プログラムが起動されていなければ(ステップ#06:Yes)、次の処理に移る。
【0041】
上記の処理において、カーソルCuが所定位置上になく、且つプログラムが起動されていなければ(ステップ#06:Yes)、カーソル移動距離算定部14が、カーソル位置情報格納部11に格納されているカーソル位置情報に基づいて、カーソルCuの移動距離の算定を行う(ステップ#07)。この移動距離の算定結果は、移動距離算定結果記録部15に記録される(ステップ#08)。
【0042】
次に、移動距離積算部16が移動距離算定結果に基づいて積算移動距離の計数を行い(ステップ#09)、得られた積算移動距離と目標移動距離設定部17により設定された目標移動距離とを用いて、移動距離比較部19が比較を行う(ステップ#10)。目標移動距離と積算移動距離とが所定範囲内の差であれば(ステップ#11:Yes)、抽出信号出力部20は、抽出信号を移動距離積算部16に出力する。当該抽出信号を受けて移動距離積算部16は、積算移動距離をリセットする(ステップ#11A)。また、抽出信号はキャプチャ画像抽出部21にも出力される(ステップ#12)。
【0043】
抽出信号を出力させたカーソル位置情報に対応するキャプチャ画像は、キャプチャ画像抽出部21により仮保存部27から抽出され、キャプチャ画像格納部10に記録される(ステップ#13)。ステップ#11に戻り、目標移動距離より積算移動距離の方が小さい場合には(ステップ#15:No)、カーソルCuの移動が他の区画への移動であるか否かの確認を行う。カーソルCuの移動が他の区画への移動でなければ(ステップ#18:Yes)、次のカーソル位置情報を抽出し(ステップ#03)、上記同様の処理を継続する。一方、カーソルCuの移動が他の区画への移動であれば(ステップ#18:No)、カーソルCuの移動先である区画の目標移動距離が読み込まれ、目標移動距離として設定される(ステップ#19)。そして、ステップ#03に戻り、処理が継続される。
【0044】
ステップ#15において、目標移動距離より積算移動距離の方が大きい場合には(ステップ#15:Yes)、目標移動距離に対応する操作画面が仮保存部27に一時保存されていないことから対応する操作画面を補間生成する必要があるため、キャプチャ画像抽出部21は補間画面生成部23に補間画面の生成命令を行う(ステップ#16)。この生成命令に応じて、補間画面生成部23は、カーソル位置情報とその前後のキャプチャ画像とから補間画面の生成を行い、移動距離積算部16は積算移動距離を再計算する(ステップ#17)。そして、当該補間画面がキャプチャ画像格納部10に記録される(ステップ#13)。
【0045】
ステップ#13に戻り、カーソル位置情報格納部11に未評価のカーソル位置情報がなければ(ステップ#14:Yes)、処理を終了する。この場合、最後に判定を行ったカーソル位置情報に対応するキャプチャ画像は、積算移動距離が目標移動距離に達しているか否かに関わらず、キャプチャ画像格納部10に記録するように構成してもよい。
【0046】
ステップ#14において、未処理のカーソル位置情報があれば(ステップ14:No)、ステップ#18の処理を継続する。上記フローにより、区画毎に設定されたカーソルCuの目標移動距離に基づいて、操作画面を記録することが可能となり、記録された操作画面を再生する際にカーソルCuを見失うといった問題を生じないようにすることができる。
【0047】
〔本発明の第二実施形態〕
上述の実施形態においては、表示物情報やカーソル位置情報は端末1から送信されるとして説明した。本発明に係る他の実施形態として、表示物情報及びカーソル位置情報の少なくともいずれか一方が端末1から送信されるキャプチャ画像を画像処理(画像評価)することにより位置座標が算出されるように構成することも好適である。このような構成とすれば、端末1から送信されたキャプチャ画像から表示物情報若しくはカーソル位置情報等を算出することができるため、これらの情報を取得する必要がなくなる。このような場合には、上述の操作画面情報はキャプチャ画像のみから構成されるものではなく、端末情報等の各種情報も含まれるような構成とすると好適である。
【0048】
〔その他の実施形態〕
上記実施形態では、表示物情報が、アイコンの座標を表すアイコン情報と、タスクバーの座標を表すタスクバー情報とからなるとして説明したが、これに限らない。これら以外にユーザが画面上の任意の場所を指定することも当然に可能である。このような構成であっても、指定された位置にカーソルCuがある場合には位置評価値算定部22の算定した位置評価値に応じて、抽出信号出力部20が抽出信号を出力することは可能である。
【0049】
上記実施形態では、目標移動距離は、目標移動距離設定部17において設定されている、或いはユーザが所望する目標移動距離を目標移動距離入力部で入力することにより変更可能であるとして説明したが、これに限らない。例えば、キャプチャ画像がキャプチャされた時刻に応じて変更可能であると好適である。このような構成とすれば、例えば、記録対象となるキャプチャ時間が一日である場合には、休憩時間中には自動的に目標移動距離を大きくしたり、一週間である場合には、休日には自動的に目標移動距離を大きくしたりすることが可能となるため、適宜、記録目的に応じた設定が可能となる。
【0050】
上記実施形態では、カーソルCuの目標移動距離に基づいて、キャプチャ画像の抽出タイミングを変更するとして説明したが、これに限らない。例えば、希望する記録時間を入力し、その記録時間からカーソルCuの移動距離を求め、その移動距離に基づいて記録することも可能である。このような場合には、入力された記録時間とカーソルの移動距離とに基づいてカーソルCuの目標移動距離を求め、その目標移動距離に応じて記録することにより希望する記録時間内での記録が可能となる。
【0051】
上記実施形態では、操作ログ判定部24が、操作ログ情報格納部13から抽出された操作ログ情報にプログラムの起動を表す操作ログがあるか否かの確認を行い、該操作ログがあれば抽出信号を付加的に出力するとして説明したが、これに限らない。プログラムの起動以外にも、例えば、ファイルの削除や移動やコピー等のファイル操作等の特定の操作を示す操作ログがある場合にも付加的に抽出信号を出力することは当然に可能である。
【0052】
上記実施形態では、表示領域分割部18によって分割された区画に表示物としてのアイコンがある場合には、目標移動距離設定部17が、目標移動距離を短く設定するとして説明したが、これに限らない。例えば、区画内に位置するアイコンの数に応じて目標移動距離を変化させることも当然に可能である。また、区画毎の分割は図3に示されるような四角形に限らず、多角形や円形等で行うことも可能である。
【0053】
上記実施形態では、抽出信号が、積算移動距離が区画毎に設定された目標移動距離に達する毎に出力されるとして説明したが、これに限らない。例えば、カーソルCuが区画を横切った際に抽出信号を出力するように構成することも、当然に可能である。
【0054】
上記実施形態における、フローチャートのステップ#18にてカーソル位置情報に基づきカーソルCuが他の区画への移動であるか否かを判定するとして説明したが、これに限らない。例えば、カーソル位置情報から区画を特定し、その区画の目標移動距離を取得するように構成することも可能である。
【0055】
上記実施形態において、カーソルCuの移動距離に基づいてキャプチャ画像の抽出を行うとして説明したが、これに限らない。例えば、カーソルCuの移動距離をポイント値(移動ポイント:P)に置き換え、当該ポイント値に応じてキャプチャ画像の抽出を行うように構成することも可能である。このような場合には、移動距離係数決定部が区画毎に移動距離係数Kを設定し、移動ポイント算定部が当該移動距離係数Kとカーソル移動距離算定部14が演算したカーソルCuの移動距離とに応じて、例えば、P=K×移動距離で示されるような移動ポイントPを算定する。この移動距離係数Kの値は、区画毎に変動するようにして、予め設定された所定の抽出ポイントに達する毎に、仮保存部27からキャプチャ画像を抽出するように実現しても良い。ここで、抽出ポイントとは、キャプチャ画像を抽出するタイミングの決定に用いられるポイントであり、上述の第一実施形態に係る目標移動距離に対応するものである。また、当該抽出ポイントは操作画面内において一定となるように予め設定し、移動距離係数Kをパラメータとして区画毎に設定することによりキャプチャ画像を抽出するタイミングを変更することが可能である。例えば、重要度の低い区画では移動距離係数K=0.5、重要度の高い区画では移動距離係数K=1として設定し、そして、抽出ポイントを100として設定した場合には、移動ポイントP=100になった際にキャプチャ画像を抽出すると、重要度の高い区画では移動距離=100毎にキャプチャ画像が抽出されるのに対し、低い区画では移動距離=200毎にキャプチャ画像が抽出される。このように構成すると、同じ移動距離では重要度の低い区画の方が高い区画に比べてキャプチャ画像の抽出数を少なくすることができる。したがって、記録容量の低減も可能となる。
【0056】
また、本発明に係る記録装置2は、表示領域分割部18が、操作画面に表示される表示物の位置に基づいて分割すると好適である。このような構成とすれば、例えば表示物としてのアイコン等が表示される表示情報領域が大きくなった場合に、当該表示情報領域を除いて区画毎に分割するため、目標移動距離を設定することができる。また、アプリケーションのウィンドウが開いている場合にも、当該アプリケーションの領域を除いて区画毎に分割することも可能である。
【0057】
また、本発明に係る記録装置2は、キャプチャ画像とカーソル位置情報とが、別々に入力されると共に、共通のタイムスタンプに基づいて経時的にリンクされていると好適である。このような構成とすれば、キャプチャ画像とカーソル位置情報とが、共通のタイムスタンプでリンクされているため、別々に入力されても経時的なマッチングをとって処理することが可能である。
【0058】
上記の各実施形態では、各端末1から送信されたキャプチャ画像が仮保存部27に一時保存されるとして説明したが、これに限らない。例えば、キャプチャ画像と表示物情報とカーソル位置情報とを、例えばDVDやハードディスク等の保存部を用いて記録装置2に送信(入力)するような構成とすることも可能である。このような場合には、DVDやハードディスク等の保存部が仮保存部27と同様に機能し、DVDやハードディスク等に記録されたキャプチャ画像を、記録装置2の処理に応じて出力される抽出信号の出力タイミングに応じてキャプチャ画像格納部10に記録することは、当然に可能である。したがって、例えばDVDやハードディスク等の保存部への保存後、適当な時に本発明に係る処理を行うことが可能である。なお、このような実施形態においては、DVDやハードディスク等が本願請求項における保存部に相当する。
【0059】
上記実施形態では、表示領域分割部18は、表示物に基づいて表示領域を複数の区画に分割するとして説明した。しかしながら、本発明の適用範囲は、これに限定されない。例えば、表示領域のうち表示物が表示される表示情報領域と、その表示情報領域以外の領域とに分割することができる。図11に示されるように、アイコンが並ぶ領域(アイコン領域とする)と、アイコン領域を除いた領域(非アイコン領域とする)とに分けられる。そして、アイコン領域にカーソルCuが位置する場合には、アプリケーションやファイルの操作等が行われる可能性が高いことから、目標移動距離を短く設定することができると共に、非アイコン領域においては分割された区画毎に目標移動距離を設定することができる。更に、図11のように設定された状態から、図12のようにアイコン領域が大きくなった場合には、非アイコン領域において目標移動距離を再設定するようにすることも可能である。或いは、アプリケーションの起動等により表示物が表示される領域が変化すると、それに伴い分割される区間および目標移動距離が変更されるように構成することも可能である。
【0060】
また、上記実施形態では、位置評価値算定部22は位置評価値の算定を行うとして説明したが、位置評価値算定部22は、位置評価値の他に表示領域重要度の算定も更に行うような構成とすることも当然に可能である。この表示領域重要度は、表示物情報により表示領域の重要度を示す値である。具体的には、表示物が存在する表示領域の表示領域重要度は高くなり、表示物情報に応じて変化する。そして、この表示領域重要度に応じて、目標移動距離設定部17は区画の目標移動距離の設定を変更することも可能である。例えば、図13に示されるように、表示領域分割部18によって分割された区画(例えば区画1、区画5、及び区画9)に表示物であるアイコン等がある場合には、表示物が存在する表示領域の表示領域重要度が高くなる。したがって、この表示領域重要度に応じて、目標移動距離設定部17は、目標移動距離を短く設定する。
【0061】
上記の各実施形態では、ネットワークを介してキャプチャ画像と表示物情報とカーソル位置情報とが各端末1から記録装置2に送信されるとして説明したが、これに限らない。例えば、この記録装置2によるキャプチャ画像の記録機能、すなわち移動距離積算部16や位置評価値算定部22や移動距離比較部19や抽出信号出力部20やキャプチャ画像抽出部21や補間画面生成部23といった機能をモジュール化して端末1で実行可能なアプリケーションとし、各端末1にインストールすることで、端末1そのものをスタンドアローン型のキャプチャ画像記録機能付き端末にすることは当然に可能である。
【0062】
上記の各実施形態では、記録装置2が単独のコンピュータにより構築されているとして説明したが、これに限らない。記録装置2の機能を区分けして、複数のコンピュータに分散させても良く、例えば、記録装置2におけるキャプチャ画像格納部10をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から表示物情報やカーソル位置情報を読み出して種々の処理を行うことも当然に可能である。
【0063】
上記実施形態では、キャプチャ画像とは、操作画面をキャプチャして得られた静止画ファイルや静止画ファイルの集合体として説明したが、これに限らない。端末1から送信されるキャプチャ画像は静止画であっても動画であっても良いことは当然である。キャプチャ画像が動画の場合でも、表示物情報とカーソル位置情報とから位置評価値を算出し、その位置評価値に応じて記録容量の低減化を行うことは当然に可能である。尚、動画の形式で端末1から記録装置2に送信される場合は、端末1のフォーマット部に静止画を動画化する機能が備えられることになる。また、端末1の操作画面(キャプチャ画面)をモニタ2Aで表示する際も、静止画の連続表示(スライドショーのようなスタイル)でも良いし、動画表示でも良く、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。更に、キャプチャ画像格納部15に記録される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合にはJPEGやGIF等が、動画の場合にはMPEGやAVI等が用いられる。
【図面の簡単な説明】
【0064】
【図1】コンピュータネットワークシステムを模式的に示した図
【図2】記録装置の構成を模式的に示すブロック図
【図3】表示領域を区画毎に分割した一例を示す図
【図4】区画毎に設定された目標移動距離の一例を示す図
【図5】操作画面をキャプチャした画像の一例を示す図
【図6】カーソル位置情報の一例を示す図
【図7】カーソル位置情報に基づいて算出された移動距離算定結果を示す図
【図8】積算移動距離計数結果と抽出信号について示す図
【図9】抽出信号に基づいて記録された操作画面を示す図
【図10】カーソルの移動距離に応じて記録するためのフローチャート図
【図11】アイコン領域を除いて区画毎に分割した一例を示す図
【図12】アイコン領域が大きくなった場合に区画毎に再分割した一例を示す図
【図13】区画にアイコンがある場合に再設定された目標移動距離の一例を示す図
【符号の説明】
【0065】
2:記録装置
2A:モニタ
10:キャプチャ画像格納部
11:カーソル位置情報格納部
12:表示物情報格納部
13:操作ログ情報格納部
14:カーソル移動距離算定部
15:移動距離算定結果記録部
16:移動距離積算部
17:目標移動距離設定部
18:表示領域分割部
19:移動距離比較部
20:抽出信号出力部
21:キャプチャ画像抽出部
22:位置評価値算定部
23:補間画面生成部
24:操作ログ判定部
25:画像再生部
26:VRAM
27:仮保存部(保存部)
【技術分野】
【0001】
本発明は、操作画面をキャプチャして得られるキャプチャ画像を記録する記録装置とそのような記録装置のためのプログラムに関する。
【背景技術】
【0002】
近年、イントラネットやローカルエリアネットワーク等のネットワークの普及と共に、ネットワークに接続されたコンピュータ端末の監視やネットワークを利用した授業等の目的として、遠隔にあるコンピュータ端末の操作状況を確認するケースが増加している。このような目的を達成する技術の一つとして、コンピュータ端末の操作画面をキャプチャし、そのキャプチャ画像を確認することにより、コンピュータ端末の操作状況を把握する技術がある(例えば、特許文献1)。この特許文献1に係る遠隔制御システムでは、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されており、遠隔制御サーバにおいてクライアント端末からのアクセス要求情報を受け付ける構成としている。クライアント端末ではモニタに表示されている画像データを遠隔制御サーバに送信し、遠隔制御サーバでは受信した画像データをモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末の画面をキャプチャ画像として、所定のインターバルで操作ログに記録し、この記録後に遠隔制御サーバのログ再生処理部が操作ログに記録されたキャプチャ画像の再生を行っている。しかしながら、この特許文献1に係る技術では、単にキャプチャ画像を再生するだけであり、例えば、再生画面内にマウスカーソルがあり、そのマウスカーソルが素早く移動した場合には、再生画面を見ている人がマウスカーソルを見失ってしまうといった問題があった。
【0003】
【特許文献1】特開2006−108947号公報(段落番号0051等)
【発明の開示】
【発明が解決しようとする課題】
【0004】
本発明の目的は、上記問題に鑑み操作画面をキャプチャして得られるキャプチャ画像が入力される記録装置において、ユーザの目が再生時におけるポインティングデバイスのカーソルの動きに追従しやすいように記録する記録装置とそのような記録装置のためのプログラムを提供することである。
【課題を解決するための手段】
【0005】
上記目的を達成するための本発明に係る、記録装置の特徴は、操作画面をキャプチャして得られるキャプチャ画像を保存する保存部と、前記操作画面を区画毎に分割する表示領域分割部と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定部と、前記移動距離に基づいて積算移動距離を計数する移動距離積算部と、前記区画毎に前記カーソルの目標移動距離を設定する目標移動距離設定部と、前記積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出部と、前記抽出されたキャプチャ画像を記録するキャプチャ画像格納部と、を備える点にある。
【0006】
このような構成とすれば、表示領域分割部によって操作画面を区画毎に分割し、当該分割された区画毎に設定された目標移動距離に、ポインティングデバイスのカーソルの移動距離が到達する毎に保存部に保存されたキャプチャ画像を抽出するため、カーソルの位置に応じたキャプチャ画像の記録を容易に行うことができる。したがって、抽出された画像においてカーソルの動きが不規則であっても、そのままキャプチャ画像格納部から読み出すだけでカーソルの移動を区画毎に設定された目標移動距離に応じて再生できるため、カーソルの視認が容易となり、カーソルを見失うことなく目で追いかけやすくすることができる。また、区画毎に目標移動距離が設定されるため、例えば重要度の低い区画では目標移動距離を大きく設定することにより、抽出するキャプチャ画像を減らすことが可能となる。したがって、記録容量を低減することができる。なお、本発明に係る保存部は、キャプチャ画像を一時的に保存する機能を有する保存部や、例えばDVDやハードディスク等のようにキャプチャ画像をデータとして固定するような保存部を含むものである。
【0007】
また、前記記録装置は、前記目標移動距離設定部が、前記区画毎に分割された区画内に表示される表示物に応じて、前記目標移動距離を変更すると好適である。このような構成とすれば、所定区画内に表示物として、例えば操作対象として注視すべきアイコンやアプリケーションのウィンドウ等がある場合には目標移動距離を小さく設定することによりキャプチャ画像をより多く抽出することができる。したがって、再生時においてカーソルの動きを細かく再生することができ、カーソルの動きをより注意して見ることができる。
【0008】
また、本発明に係る、記録装置の特徴は、操作画面をキャプチャして得られるキャプチャ画像を保存する保存部と、前記操作画面を区画毎に分割する表示領域分割部と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定部と、前記区画毎に移動距離係数を決定する移動距離係数決定部と、前記移動距離と前記移動距離係数とに基づいて、移動ポイントを算定する移動ポイント算定部と、前記移動ポイントが予め設定された抽出ポイントに達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出部と、前記抽出されたキャプチャ画像を記録するキャプチャ画像格納部と、を備える点にある。
【0009】
このような構成であれば、カーソルの移動距離と移動距離係数とに基づいて演算された移動ポイントに応じてキャプチャ画像の記録を容易に行うことができる。したがって、取得された画像においてカーソルの動きが不規則であっても、そのままキャプチャ画像格納部から読み出すだけでカーソルの移動を区画毎に設定された移動距離係数に応じて再生できるため、カーソルの視認が容易となり、カーソルを見失うことなく目で追いかけやすくすることができる。また、区画毎に移動距離係数が設定されるため、例えば重要度の低い区画では移動距離係数を大きく設定することにより、抽出するキャプチャ画像を減らすことが可能となる。したがって、記録容量を低減することができる。
【0010】
更に、本発明では、記録装置のためのプログラムも権利範囲としており、そのコンピュータプログラムは、操作画面をキャプチャして得られるキャプチャ画像を保存部に保存する保存機能と、前記操作画面を区画毎に分割する表示領域分割機能と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定機能と、前記移動距離に基づいて積算移動距離を計数する移動距離積算機能と、前記区画毎に前記カーソルの目標移動距離を設定する目標移動距離設定機能と、前記積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出機能と、前記抽出されたキャプチャ画像をキャプチャ画像格納部に記録するキャプチャ画像格納機能と、をコンピュータに実現させることが可能である。
【0011】
また、本発明では、記録装置のための他のプログラムも権利範囲としており、そのコンピュータプログラムは、操作画面をキャプチャして得られるキャプチャ画像を保存部に保存する保存機能と、前記操作画面を区画毎に分割する表示領域分割機能と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定機能と、前記区画毎に移動距離係数を決定する移動距離係数決定機能と、前記移動距離と前記移動距離係数とに基づいて、移動ポイントを算定する移動ポイント算定機能と、前記移動ポイントが予め設定された抽出ポイントに達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出機能と、前記抽出されたキャプチャ画像をキャプチャ画像格納部に記録するキャプチャ画像格納機能と、をコンピュータに実現させることが可能である。
【0012】
これらの記録装置のためのプログラムも上述した本発明の対象としての記録装置と比べて、実質的な特徴構成には相違はなく、上述した作用効果を得ることが可能である。
【発明を実施するための最良の形態】
【0013】
〔本発明の第一実施形態〕
以下、本発明に係る記録装置を使用する場合の一例として、図1のように構成されたコ
ンピュータネットワークシステムを用いて説明する。図1は、このコンピュータネットワークシステムを模式的に示した構成図であり、ユーザにより各種ファイルの作成、閲覧、複写、修正、削除、印刷等の操作が行われる端末1と、この端末1の操作状況を記録する記録装置2とからなる。端末1をユーザが使用している際に端末1のモニタ1Aに表示される操作画面に基づくキャプチャ画像と、そのキャプチャ画像に表示される表示物の表示物情報と、ユーザのポインティングデバイスの操作に基づいて記録されるカーソル位置情報と、ユーザの操作に基づいて操作状況が記録される操作ログ情報と、が各端末1から記録装置2に送信される。したがって、各端末1のモニタ1Aに表示される操作画面が記録装置2に記録されている状態にあると考えてよい。本実施形態では、各端末1から送信されるキャプチャ画像は、まずは仮保存部27(図2参照)に一時保存される。そして、仮保存部27に一時保存されたキャプチャ画像のうち、本記録装置2が有する各機能部が行う種々の処理に基づいて、所定の条件を具備したキャプチャ画像がキャプチャ画像格納部10に格納される構成となっている。詳細については、後述するが、本実施形態においては、仮保存部27は本願請求項における保存部に相当するものである。なお、キャプチャ画像は、端末1に備えられるキャプチャ画像生成部(図示しない)により生成される。また、本実施形態においては、キャプチャ画像と表示物情報とカーソル位置情報と操作ログ情報とは別々に送信されるものとしているが、これに限るものではない。これらのキャプチャ画像と表示物情報とカーソル位置情報と操作ログ情報とを含む操作情報が、一括して記録装置2に送信される構成とすることも当然に可能である。
【0014】
図2は、記録装置2の構成を模式的に示すブロック図である。本記録装置2は、ネットワークに接続された端末1で取得されたキャプチャ画像を一時保存する仮保存部27と、当該仮保存部27に一時保存されたキャプチャ画像から抽出されたキャプチャ画像を記録するキャプチャ画像格納部10と、ポインティングデバイスのカーソル位置情報を格納するカーソル位置情報格納部11とを備える。
【0015】
カーソル位置情報は、端末1におけるユーザのカーソル操作に基づいて記録されるカーソルCuの位置情報からなる。また、本記録装置2は、表示物情報を格納する表示物情報格納部12も備える。この表示物情報は、端末1が有するモニタ1Aに表示されるアイコンの座標を表すアイコン情報や、スタートボタンを含むタスクバーの座標を表すタスクバー情報等からなる。なお、アイコンやタスクバー等はキャプチャ画像に表示される表示物として定義される。また、この表示物情報には、表示物の位置、内容、重要度等に関する情報が含まれ、表示物の位置として、後述する所定位置の指定にも利用可能である。更に、本記録装置2は、操作ログ情報を格納する操作ログ情報格納部13を備える。この操作ログ情報は、端末1を使用するユーザの操作内容や操作時間等に基づいて記録される操作ログからなる。したがって、この操作ログ情報からユーザの操作状況を認識することができる。
【0016】
カーソル位置情報には、端末1でのカーソルCuの位置情報が記録されており、この位置情報が取得された取得時間とその取得時間におけるカーソルCuのx座標とy座標とが記録されている。また、アイコン情報、タスクバー情報にも、夫々の座標が取得された取得時間とその取得時間におけるx座標とy座標とが記録される。なお、これらの座標はモニタ1Aに表示される際の座標である。
【0017】
カーソル移動距離算定部14は、カーソル位置情報格納部11に格納されたカーソル位置情報からカーソルCuが所定時間内に移動した移動距離の算定を行う。算定された移動距離は、移動距離算定結果として移動距離算定結果記録部15に記録される。また、移動距離算定結果記録部15に記録されている移動距離算定結果に基づいて、移動距離積算部16はカーソルCuの積算移動距離の計数を行う。
【0018】
本記録装置2は、記録されたキャプチャ画像をモニタ2Aで再生する際、再生画面を見るユーザの目が再生画面に表示されるカーソルCuの動きに追従しやすいようにキャプチャ画像を記録する機能を備えている。これは、カーソルCuが所定距離(一定距離)移動する毎にその時の操作画面を記録することにより実現できる。この所定距離は、目標移動距離として予め目標移動距離設定部17により設定可能である。当該目標移動距離は、表示領域分割部18により端末1Aにおける操作画面が分割された区画毎に目標移動距離設定部17により設定される。表示領域分割部18については後述する。
【0019】
移動距離比較部19は、移動距離積算部16が計数した積算移動距離と、目標移動距離設定部17により設定された目標移動距離とを比較し、比較結果を抽出信号出力部20に出力する。この比較結果に基づいて、抽出信号出力部20は、キャプチャ画像抽出部21が仮保存部27からキャプチャ画像を抽出するタイミングとなる抽出信号をキャプチャ画像抽出部21に出力する。この抽出信号は、カーソルCuの積算移動距離が、目標移動距離設定部17により設定される目標移動距離に到達する毎に出力される。キャプチャ画像抽出部21は当該抽出信号を受け取る毎に、仮保存部21から当該抽出信号に対応するキャプチャ画像を抽出し、キャプチャ画像格納部10に記録する。
【0020】
記録装置2が備える位置評価値算定部22は、カーソル位置情報と、アイコン情報やタスクバー情報等の表示物情報に基づいてカーソルCuの位置評価値の算定を行う。この位置評価値は、カーソルCuの位置と表示物の位置との関係を規定する値であり、具体的には、カーソルCuがアイコンやタスクバー等の表示物上にあれば高くなる。例えば、カーソルCuがアイコン上にある場合にはアプリケーションの起動やフォルダを開く操作等の前段階である可能性が高く、タスクバー上にある場合にはアプリケーションの起動等の前段階である可能性が高い。このように、カーソルCuが予め設定された所定位置(指定表示物)上にある、即ちカーソル位置が所定位置に一致すると、重要な操作の可能性があるとして、重要度を高くすることが可能である。したがって、位置評価値に基づいてこのような操作を事前に予測することが可能となる。一方、カーソルCuが、アイコン上やタスクバー上の何れにも位置しない場合には、カーソルCuが、それ以外の領域上で静止しているか、或いはそれ以外の領域上を移動しているかの何れかである可能性が高いことから、アプリケーションやファイルの操作等がされていないと予測することができる。
【0021】
抽出信号出力部20は、位置評価値算定部22が算定した位置評価値に基づいて、付加的に、抽出信号をキャプチャ画像抽出部21に出力する。即ち、積算移動距離が目標移動距離に達していない場合であっても、カーソルCuがアイコン上、或いはタスクバー上に位置すると判定された場合には、抽出信号出力部20は抽出信号をキャプチャ画像抽出部21に出力する。また、操作ログ情報格納部13に格納されている操作ログ情報は、操作ログ判定部24に入力される。そして、操作ログ判定部24が、端末1においてアプリケーションの起動等の特定の操作が行われたと判定した場合にも、抽出信号出力部20は付加的に抽出信号をキャプチャ画像抽出部21に出力する。
【0022】
上述のように、端末1から送信されるキャプチャ画像は、まず、仮保存部27に一時保存される。そして、仮保存部27に一時保存されたキャプチャ画像は、抽出信号出力部20から出力される抽出信号に対応するキャプチャ画像のみが、キャプチャ画像抽出部21により抽出され、キャプチャ画像格納部10に記録される。キャプチャ画像格納部10に記録されず仮保存部27に残ったキャプチャ画像は、所定時間経過後、消去される構成とすると好適である。もちろん、当該所定時間は、当該抽出処理経過後、直ぐであっても良いし、数時間経過後或いは数日経過後であっても良い。キャプチャ画像抽出部21は、上述のように、抽出信号出力部20から出力される抽出信号に基づいて、仮保存部27に一時保存されたキャプチャ画像の抽出を行う。
【0023】
ここで、抽出信号出力部20から抽出信号が出力された際、抽出信号を出力させたカーソル位置情報に対応する積算移動距離が、目標移動距離設定部17で設定された目標移動距離よりも大きい場合には、当該抽出信号の信号出力タイミングに対応するキャプチャ画像が仮保存部27にないため抽出することができない。そのため、本記録装置2にはこのような場合において不足するキャプチャ画像を補間生成する補間機能が備えられている。抽出信号出力部20により出力された抽出信号に対応するキャプチャ画像が、仮保存部27にない場合には、仮保存部27はキャプチャ画像抽出部21に対して、当該抽出信号に対応するキャプチャ画像がない旨を示す信号を送信する。この信号に応じて、キャプチャ画像抽出部21は補間画面生成部23に対して、補間画面の生成を命令する。この命令に従って、補間画面生成部23は補間画面の生成を行う。補間画面生成部23は、以下のように補間画面の生成を行う。まず、補間画面生成部23は、カーソル位置情報格納部11に記録されているカーソル位置情報から抽出信号の信号出力タイミングに対応するカーソルCuの座標を決定する。次に、その対応する時間の前後いずれかの画像からカーソルCuを画像処理により削除して背景画像を生成する。そして、この背景画像に対して、決定された座標に対応するようにカーソルCuのイメージを合成する。このようにして補間画面が生成される。生成された補間画面は、仮保存部27から抽出されたキャプチャ画像に適宜、挿入されるようにキャプチャ画像格納部10に記録される。したがって、抽出信号に対応するキャプチャ画像が仮保存部27にない場合であっても記録装置2は、補間画面を生成することによりカーソルCuがスムーズに移動している画像を記録することが可能となる。
【0024】
キャプチャ画像格納部10に記録されたキャプチャ画像及び補間画面は、画像再生部25に伝達され、VRAM(Video Random Access Memory)26を介してモニタ2Aに再生画面として再生される。また、本記録装置2は、CPUを中核部材として記録処理及びその再生に関する種々の動作を行うための機能部をハードウェア又はソフトウェア或いはその両方で構築されている。
【0025】
表示領域分割部18は、操作画面を区画毎に分割する。表示領域を区画毎に分割した一例を図3に示す。図3においては、操作画面のx座標とy座標とを夫々4分割し、16個の区画になるように分割しているが、これに限定されるもではなく、また、等分割されることに限定されるものでもない。このように分割された区画毎に対して、目標移動距離設定部17は、目標移動距離の設定を行う。その一例を図4に示す。図4に示されるように区画1の目標移動距離は「200」dot、区画2の目標移動距離は「400」dotというように、全区画に対して目標移動距離の設定が行われる。ここで、座標情報はdot単位で取得されていることから、移動距離や積算移動距離の単位も「dot」となる。なお、この単位は「dot」に限るものではなく、画面上の長さ(例えば、インチやcm)等を使用することも可能である。
【0026】
次に、操作画面をキャプチャして得られたキャプチャ画像を用いて説明する。図5は、所定時間毎に端末1の操作に基づくモニタ1Aの操作画面をキャプチャした画像の一例である。取得時間t1からt4の間に取得された(a)の画面から(d)の画面ではカーソルCuの移動があるが、取得時間t4からt5の間では、(d)の画面から(e)の画面に示されるようにカーソルCuの移動が見られない。また、同様に、取得時間t5からt11の間は(e)の画面から(k)の画面に示されるようにカーソルCuの移動があるが、取得時間t11からt12にかけては、(k)の画面から(l)の画面に示されるようにカーソルCuの移動が見られない。このようなキャプチャ画像が操作画面情報として、本記録装置2に送信され、仮保存部27に一時保存される。
【0027】
また、カーソル位置情報がカーソル位置情報格納部11に格納される。このカーソル位置情報の一例を図6に示す。カーソル位置情報は、操作画面上でのカーソルCuの位置を示す情報であり、カーソルCuの位置情報を取得した取得時間と、その取得時間におけるx座標とy座標とからなる座標情報とを含む。図6の例では、取得時間はt1からt12としている。その取得間隔は、キャプチャタイミングに合わせて2秒毎としているが、これに限らない。設定により2秒以下にすることも可能であるし、2秒以上にすることも当然に可能である。x座標及びy座標については、操作画面の左下をx座標が0、y座標が0として基準座標としているが、これに限らない。所定の箇所を基準座標として、カーソルCuの座標を記録することは当然に可能である。なお、本例においては、操作画面の領域を1024×768(dot)の表示領域を例として説明する。
【0028】
カーソル位置情報格納部11に格納されるカーソル位置情報に基づいて、カーソル移動距離算定部14はカーソルCuのx座標及びy座標の移動距離を算定する。これらの算定結果は、移動距離算定結果記録部15に記録される。図6から算定された移動距離算定結果を図7に示す。取得時間t1からt2までの間のx座標の移動距離「x1−x2」が算定され「−165」として記録される。以下同様に「x2−x3」以降も順次算定され記録される。更に、y座標の移動距離もx座標の算定と同様に記録される。更に、これらのx座標の移動距離とy座標の移動距離とから操作画面上での移動距離が算定された結果が、移動距離として記録される。ただし、ここでは移動距離の算定結果は、見やすくするために小数点以下を四捨五入した結果を示している。
【0029】
移動距離積算部16は、移動距離算定結果記録部15に記録される移動距離算定結果に基づいてカーソルCuの積算移動距離の計数を行う。この積算移動距離と目標移動距離設定部17において設定された目標移動距離とを、移動距離比較部19が比較を行い、積算移動距離が目標移動距離に達する毎に抽出信号出力部20は抽出信号(High信号)を出力する。図7の移動距離算定結果から計数された積算移動距離計数結果に基づいて、抽出信号が出力されたタイミングを示したものが図8である。
【0030】
図8では、取得時間t1からt2までの間の積算移動距離は「170」dotとなる。この取得時間の間にカーソルCuが位置する区画は、図3における「区画11」内での移動であるため、図8においてはカーソルの位置する区画を「区画11⇒区画11」と示している。また、当該区画内における目標移動距離は同一区画内であるため「「300」dot⇒「300」dot」となる。「t1−t2」におけるカーソルCuの積算移動距離は「170」dotであるが、目標移動距離(「300」dot)に到達していないため、抽出信号は出力されることはない。したがって、抽出信号は「Low」となる。そして、この積算移動距離に取得時間t2からt3までの間の移動距離「130」dotを加えると、取得時間t1からt3までの積算移動距離が「300」dotとして求められる。この場合(すなわち、t3となった際)に積算移動距離が目標移動距離に達したため、抽出信号としてHigh信号が出力される。なお、この取得時間t3の状態では、目標移動距離と積算移動距離とが等しいことから、仮保存部27に取得時間t3に取得されたキャプチャ画像が存在する。したがって、当該抽出信号に対応するキャプチャ画像がキャプチャ画像抽出部21により抽出され、キャプチャ画像格納部10に記録される。また、この抽出信号の出力に合わせて移動距離積算部16の積算移動距離はリセットされる。したがって、取得時間t3以降の積算移動距離計数は、「0」から始まることとなる。
【0031】
取得時間t3からt4までの間の積算移動距離は「300」dotとなる。この取得時間の間には、カーソルCuは「区画10」から「区画6」を介して「区画5」に移動している。したがって、目標移動距離も「「300」dot⇒「300」dot⇒「200」dot」」と変化することとなる。この場合(すなわち、t4となった際)に積算移動距離が目標移動距離「200」dotに対して大きく超えている。したがって、このタイミング(取得時間t4)でキャプチャされたキャプチャ画像は仮保存部27には、ないことになる。そのため、キャプチャ画像抽出部21から補間画面生成部23に対して、補間画面を生成する旨の命令が行われる。この命令を受けて、補間画面生成部23は補間画面を上述のように生成する。そして、補間画面が生成された場合には、積算移動距離(ここでは、「300」dot)から目標移動距離(ここでは、「200」dot)が減じられた値(「100」dot)が積算移動距離として残る。
【0032】
取得時間t4からt5までの間の移動距離は「0」dotであるため、上記積算移動距離「100」dotが継続して残ることとなる。この場合は、積算移動距離が目標移動距離に達していないため、抽出信号はLowとなる。
【0033】
取得時間t6の場合には、積算移動距離が「245」dotとなり目標移動距離「200」dotを大きく超えているので、キャプチャ画像がないことから、補間画面が生成される。そして、取得時間t6においては、再度、抽出信号が出力されている。これは、カーソルCuがアイコン上にあるために抽出信号が出力されたからである(図5(f)参照)。このアイコンの位置は表示物情報格納部12に記録されている表示物情報から判別可能であり、この表示物情報とカーソル位置情報格納部11に記録されたカーソル位置情報に基づいて、位置評価値算定部22が判定することにより抽出信号出力部20が抽出信号を出力する。
【0034】
以下同様に処理が続けられ、抽出信号が出力されるまで積算移動距離計数が行われる。取得時間t7からt8までの間に積算移動距離が「205」dotとなっているが、この場合は、目標移動距離を越えるものの所定範囲内の差(本例では、「±10」dotを所定範囲としている)であるため取得時間t8となった際に抽出信号が出力される。この所定範囲の設定は、予め設定することも可能であるし、変更することも可能である。また、取得時間t9においてもカーソルCuがアイコン上に位置しているため、抽出信号が出力される。
【0035】
次に、取得時間t10からt11までの間の積算移動距離が計数されるが、t10において残った積算移動距離(「150」dot)と「t10−t11」におけるカーソルCuの移動距離(「300」dot)との和が、積算移動距離(「450」dot)として扱われる。この場合にも、積算移動距離が、目標移動距離に対して所定範囲(「±10」dot)を大きく超えているので、仮保存部27にキャプチャ画像はない。したがって、キャプチャ画像抽出部21から補間画面生成部23に対して、補間画面の生成命令が出力され、補間画面生成部23は補間画面の生成を行う。
【0036】
なお、例えば、図8において取得時間がt12で終了している場合には、積算移動距離が目標移動時間に達しなくても、最終画面として抽出信号を出力することにより記録するような構成とすることも可能である。
【0037】
次に、抽出信号に基づいてキャプチャ画像格納部10に記録された画像について説明する。図9は、キャプチャ画像格納部10に記録された画像である。図9(a)は、取得時間t1における画像である。次に、抽出信号は取得時間t3の時点で出力されているため、キャプチャ画像格納部10には、取得時間t3の画像が記録される(図9(b)参照)。また、図9(c)及び(d)には、補間画面生成部23により生成された補間画面が記録される。そして、図9(e)では、カーソルCuがアイコン上にあることから位置評価値算定部22の評価に応じて目標移動距離に達していないにも関わらず記録されている。以下同様に、抽出信号の出力に応じた取得時間に取得されたキャプチャ画像がキャプチャ画像格納部10に記録される。
【0038】
図9(i)では、取得時間t12において目標移動距離に達していないが、キャプチャされた最終画面として記録される。このようにして、カーソルCuの移動距離が区画毎に設定された目標移動距離に応じて操作画面を記録することができるため、各分割領域においてはカーソルCuが一定速度で動くように再生することができる。したがって、カーソルCuを見失うことなく容易に再生画面を見ることが可能となる。本記録装置2によりカーソルCuの移動距離を目標移動距離に応じて再生する場合には、再生速度の観点から見ると操作画面を早送り再生、若しくはスロー再生となっていることがある。このような場合には、図示はしないが、早送り再生、若しくはスロー再生となっている際に、モニタ2Aを見ている人に対して、再生速度を変更しているか否かを認識可能となるように、その別をカウンタ表示やランプ表示等により明示することも可能である。
【0039】
次に、本実施形態についてフローチャートを使用して説明する。図10は本記録装置2がカーソルCuの移動について設定された目標移動距離に応じて操作画面を記録するためのフローチャートである。まず、端末1Aにおける操作画面を区画毎に分割を行う(ステップ#01)。そして、目標移動距離設定部17が、分割された区画毎に目標移動距離の設定を行う(ステップ#02)。この際、別途、目標移動距離入力部(図示しない)によりユーザが所望する目標移動距離を設定することも可能である。次に、位置評価値算定部22がカーソル位置情報格納部11に格納されているカーソル位置情報を抽出する(ステップ#03)。
【0040】
そして、位置評価値算定部22が、位置評価値でカーソルCuが所定位置上にあるか否かの判断をする。その結果が抽出信号出力部20に出力される。なお、この表示物の位置情報は、表示物情報として表示物情報格納部12に格納されている。カーソルCuが表示物等の所定位置上にあれば(ステップ#04:No)、抽出信号出力部20は抽出信号をキャプチャ画像抽出部21に出力する(ステップ#12)。一方、カーソルCuが所定位置上になければ(ステップ#04:Yes)、操作ログ情報格納部13に格納されている操作ログ情報を操作ログ判定部24が抽出し(ステップ#05)、プログラムが起動されたか否かの確認を行い、その判定結果を抽出信号出力部20に出力する。プログラムが起動されていれば(ステップ#06:No)、抽出信号出力部20は抽出信号をキャプチャ画像抽出部21に出力する(ステップ#12)。一方、プログラムが起動されていなければ(ステップ#06:Yes)、次の処理に移る。
【0041】
上記の処理において、カーソルCuが所定位置上になく、且つプログラムが起動されていなければ(ステップ#06:Yes)、カーソル移動距離算定部14が、カーソル位置情報格納部11に格納されているカーソル位置情報に基づいて、カーソルCuの移動距離の算定を行う(ステップ#07)。この移動距離の算定結果は、移動距離算定結果記録部15に記録される(ステップ#08)。
【0042】
次に、移動距離積算部16が移動距離算定結果に基づいて積算移動距離の計数を行い(ステップ#09)、得られた積算移動距離と目標移動距離設定部17により設定された目標移動距離とを用いて、移動距離比較部19が比較を行う(ステップ#10)。目標移動距離と積算移動距離とが所定範囲内の差であれば(ステップ#11:Yes)、抽出信号出力部20は、抽出信号を移動距離積算部16に出力する。当該抽出信号を受けて移動距離積算部16は、積算移動距離をリセットする(ステップ#11A)。また、抽出信号はキャプチャ画像抽出部21にも出力される(ステップ#12)。
【0043】
抽出信号を出力させたカーソル位置情報に対応するキャプチャ画像は、キャプチャ画像抽出部21により仮保存部27から抽出され、キャプチャ画像格納部10に記録される(ステップ#13)。ステップ#11に戻り、目標移動距離より積算移動距離の方が小さい場合には(ステップ#15:No)、カーソルCuの移動が他の区画への移動であるか否かの確認を行う。カーソルCuの移動が他の区画への移動でなければ(ステップ#18:Yes)、次のカーソル位置情報を抽出し(ステップ#03)、上記同様の処理を継続する。一方、カーソルCuの移動が他の区画への移動であれば(ステップ#18:No)、カーソルCuの移動先である区画の目標移動距離が読み込まれ、目標移動距離として設定される(ステップ#19)。そして、ステップ#03に戻り、処理が継続される。
【0044】
ステップ#15において、目標移動距離より積算移動距離の方が大きい場合には(ステップ#15:Yes)、目標移動距離に対応する操作画面が仮保存部27に一時保存されていないことから対応する操作画面を補間生成する必要があるため、キャプチャ画像抽出部21は補間画面生成部23に補間画面の生成命令を行う(ステップ#16)。この生成命令に応じて、補間画面生成部23は、カーソル位置情報とその前後のキャプチャ画像とから補間画面の生成を行い、移動距離積算部16は積算移動距離を再計算する(ステップ#17)。そして、当該補間画面がキャプチャ画像格納部10に記録される(ステップ#13)。
【0045】
ステップ#13に戻り、カーソル位置情報格納部11に未評価のカーソル位置情報がなければ(ステップ#14:Yes)、処理を終了する。この場合、最後に判定を行ったカーソル位置情報に対応するキャプチャ画像は、積算移動距離が目標移動距離に達しているか否かに関わらず、キャプチャ画像格納部10に記録するように構成してもよい。
【0046】
ステップ#14において、未処理のカーソル位置情報があれば(ステップ14:No)、ステップ#18の処理を継続する。上記フローにより、区画毎に設定されたカーソルCuの目標移動距離に基づいて、操作画面を記録することが可能となり、記録された操作画面を再生する際にカーソルCuを見失うといった問題を生じないようにすることができる。
【0047】
〔本発明の第二実施形態〕
上述の実施形態においては、表示物情報やカーソル位置情報は端末1から送信されるとして説明した。本発明に係る他の実施形態として、表示物情報及びカーソル位置情報の少なくともいずれか一方が端末1から送信されるキャプチャ画像を画像処理(画像評価)することにより位置座標が算出されるように構成することも好適である。このような構成とすれば、端末1から送信されたキャプチャ画像から表示物情報若しくはカーソル位置情報等を算出することができるため、これらの情報を取得する必要がなくなる。このような場合には、上述の操作画面情報はキャプチャ画像のみから構成されるものではなく、端末情報等の各種情報も含まれるような構成とすると好適である。
【0048】
〔その他の実施形態〕
上記実施形態では、表示物情報が、アイコンの座標を表すアイコン情報と、タスクバーの座標を表すタスクバー情報とからなるとして説明したが、これに限らない。これら以外にユーザが画面上の任意の場所を指定することも当然に可能である。このような構成であっても、指定された位置にカーソルCuがある場合には位置評価値算定部22の算定した位置評価値に応じて、抽出信号出力部20が抽出信号を出力することは可能である。
【0049】
上記実施形態では、目標移動距離は、目標移動距離設定部17において設定されている、或いはユーザが所望する目標移動距離を目標移動距離入力部で入力することにより変更可能であるとして説明したが、これに限らない。例えば、キャプチャ画像がキャプチャされた時刻に応じて変更可能であると好適である。このような構成とすれば、例えば、記録対象となるキャプチャ時間が一日である場合には、休憩時間中には自動的に目標移動距離を大きくしたり、一週間である場合には、休日には自動的に目標移動距離を大きくしたりすることが可能となるため、適宜、記録目的に応じた設定が可能となる。
【0050】
上記実施形態では、カーソルCuの目標移動距離に基づいて、キャプチャ画像の抽出タイミングを変更するとして説明したが、これに限らない。例えば、希望する記録時間を入力し、その記録時間からカーソルCuの移動距離を求め、その移動距離に基づいて記録することも可能である。このような場合には、入力された記録時間とカーソルの移動距離とに基づいてカーソルCuの目標移動距離を求め、その目標移動距離に応じて記録することにより希望する記録時間内での記録が可能となる。
【0051】
上記実施形態では、操作ログ判定部24が、操作ログ情報格納部13から抽出された操作ログ情報にプログラムの起動を表す操作ログがあるか否かの確認を行い、該操作ログがあれば抽出信号を付加的に出力するとして説明したが、これに限らない。プログラムの起動以外にも、例えば、ファイルの削除や移動やコピー等のファイル操作等の特定の操作を示す操作ログがある場合にも付加的に抽出信号を出力することは当然に可能である。
【0052】
上記実施形態では、表示領域分割部18によって分割された区画に表示物としてのアイコンがある場合には、目標移動距離設定部17が、目標移動距離を短く設定するとして説明したが、これに限らない。例えば、区画内に位置するアイコンの数に応じて目標移動距離を変化させることも当然に可能である。また、区画毎の分割は図3に示されるような四角形に限らず、多角形や円形等で行うことも可能である。
【0053】
上記実施形態では、抽出信号が、積算移動距離が区画毎に設定された目標移動距離に達する毎に出力されるとして説明したが、これに限らない。例えば、カーソルCuが区画を横切った際に抽出信号を出力するように構成することも、当然に可能である。
【0054】
上記実施形態における、フローチャートのステップ#18にてカーソル位置情報に基づきカーソルCuが他の区画への移動であるか否かを判定するとして説明したが、これに限らない。例えば、カーソル位置情報から区画を特定し、その区画の目標移動距離を取得するように構成することも可能である。
【0055】
上記実施形態において、カーソルCuの移動距離に基づいてキャプチャ画像の抽出を行うとして説明したが、これに限らない。例えば、カーソルCuの移動距離をポイント値(移動ポイント:P)に置き換え、当該ポイント値に応じてキャプチャ画像の抽出を行うように構成することも可能である。このような場合には、移動距離係数決定部が区画毎に移動距離係数Kを設定し、移動ポイント算定部が当該移動距離係数Kとカーソル移動距離算定部14が演算したカーソルCuの移動距離とに応じて、例えば、P=K×移動距離で示されるような移動ポイントPを算定する。この移動距離係数Kの値は、区画毎に変動するようにして、予め設定された所定の抽出ポイントに達する毎に、仮保存部27からキャプチャ画像を抽出するように実現しても良い。ここで、抽出ポイントとは、キャプチャ画像を抽出するタイミングの決定に用いられるポイントであり、上述の第一実施形態に係る目標移動距離に対応するものである。また、当該抽出ポイントは操作画面内において一定となるように予め設定し、移動距離係数Kをパラメータとして区画毎に設定することによりキャプチャ画像を抽出するタイミングを変更することが可能である。例えば、重要度の低い区画では移動距離係数K=0.5、重要度の高い区画では移動距離係数K=1として設定し、そして、抽出ポイントを100として設定した場合には、移動ポイントP=100になった際にキャプチャ画像を抽出すると、重要度の高い区画では移動距離=100毎にキャプチャ画像が抽出されるのに対し、低い区画では移動距離=200毎にキャプチャ画像が抽出される。このように構成すると、同じ移動距離では重要度の低い区画の方が高い区画に比べてキャプチャ画像の抽出数を少なくすることができる。したがって、記録容量の低減も可能となる。
【0056】
また、本発明に係る記録装置2は、表示領域分割部18が、操作画面に表示される表示物の位置に基づいて分割すると好適である。このような構成とすれば、例えば表示物としてのアイコン等が表示される表示情報領域が大きくなった場合に、当該表示情報領域を除いて区画毎に分割するため、目標移動距離を設定することができる。また、アプリケーションのウィンドウが開いている場合にも、当該アプリケーションの領域を除いて区画毎に分割することも可能である。
【0057】
また、本発明に係る記録装置2は、キャプチャ画像とカーソル位置情報とが、別々に入力されると共に、共通のタイムスタンプに基づいて経時的にリンクされていると好適である。このような構成とすれば、キャプチャ画像とカーソル位置情報とが、共通のタイムスタンプでリンクされているため、別々に入力されても経時的なマッチングをとって処理することが可能である。
【0058】
上記の各実施形態では、各端末1から送信されたキャプチャ画像が仮保存部27に一時保存されるとして説明したが、これに限らない。例えば、キャプチャ画像と表示物情報とカーソル位置情報とを、例えばDVDやハードディスク等の保存部を用いて記録装置2に送信(入力)するような構成とすることも可能である。このような場合には、DVDやハードディスク等の保存部が仮保存部27と同様に機能し、DVDやハードディスク等に記録されたキャプチャ画像を、記録装置2の処理に応じて出力される抽出信号の出力タイミングに応じてキャプチャ画像格納部10に記録することは、当然に可能である。したがって、例えばDVDやハードディスク等の保存部への保存後、適当な時に本発明に係る処理を行うことが可能である。なお、このような実施形態においては、DVDやハードディスク等が本願請求項における保存部に相当する。
【0059】
上記実施形態では、表示領域分割部18は、表示物に基づいて表示領域を複数の区画に分割するとして説明した。しかしながら、本発明の適用範囲は、これに限定されない。例えば、表示領域のうち表示物が表示される表示情報領域と、その表示情報領域以外の領域とに分割することができる。図11に示されるように、アイコンが並ぶ領域(アイコン領域とする)と、アイコン領域を除いた領域(非アイコン領域とする)とに分けられる。そして、アイコン領域にカーソルCuが位置する場合には、アプリケーションやファイルの操作等が行われる可能性が高いことから、目標移動距離を短く設定することができると共に、非アイコン領域においては分割された区画毎に目標移動距離を設定することができる。更に、図11のように設定された状態から、図12のようにアイコン領域が大きくなった場合には、非アイコン領域において目標移動距離を再設定するようにすることも可能である。或いは、アプリケーションの起動等により表示物が表示される領域が変化すると、それに伴い分割される区間および目標移動距離が変更されるように構成することも可能である。
【0060】
また、上記実施形態では、位置評価値算定部22は位置評価値の算定を行うとして説明したが、位置評価値算定部22は、位置評価値の他に表示領域重要度の算定も更に行うような構成とすることも当然に可能である。この表示領域重要度は、表示物情報により表示領域の重要度を示す値である。具体的には、表示物が存在する表示領域の表示領域重要度は高くなり、表示物情報に応じて変化する。そして、この表示領域重要度に応じて、目標移動距離設定部17は区画の目標移動距離の設定を変更することも可能である。例えば、図13に示されるように、表示領域分割部18によって分割された区画(例えば区画1、区画5、及び区画9)に表示物であるアイコン等がある場合には、表示物が存在する表示領域の表示領域重要度が高くなる。したがって、この表示領域重要度に応じて、目標移動距離設定部17は、目標移動距離を短く設定する。
【0061】
上記の各実施形態では、ネットワークを介してキャプチャ画像と表示物情報とカーソル位置情報とが各端末1から記録装置2に送信されるとして説明したが、これに限らない。例えば、この記録装置2によるキャプチャ画像の記録機能、すなわち移動距離積算部16や位置評価値算定部22や移動距離比較部19や抽出信号出力部20やキャプチャ画像抽出部21や補間画面生成部23といった機能をモジュール化して端末1で実行可能なアプリケーションとし、各端末1にインストールすることで、端末1そのものをスタンドアローン型のキャプチャ画像記録機能付き端末にすることは当然に可能である。
【0062】
上記の各実施形態では、記録装置2が単独のコンピュータにより構築されているとして説明したが、これに限らない。記録装置2の機能を区分けして、複数のコンピュータに分散させても良く、例えば、記録装置2におけるキャプチャ画像格納部10をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から表示物情報やカーソル位置情報を読み出して種々の処理を行うことも当然に可能である。
【0063】
上記実施形態では、キャプチャ画像とは、操作画面をキャプチャして得られた静止画ファイルや静止画ファイルの集合体として説明したが、これに限らない。端末1から送信されるキャプチャ画像は静止画であっても動画であっても良いことは当然である。キャプチャ画像が動画の場合でも、表示物情報とカーソル位置情報とから位置評価値を算出し、その位置評価値に応じて記録容量の低減化を行うことは当然に可能である。尚、動画の形式で端末1から記録装置2に送信される場合は、端末1のフォーマット部に静止画を動画化する機能が備えられることになる。また、端末1の操作画面(キャプチャ画面)をモニタ2Aで表示する際も、静止画の連続表示(スライドショーのようなスタイル)でも良いし、動画表示でも良く、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。更に、キャプチャ画像格納部15に記録される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合にはJPEGやGIF等が、動画の場合にはMPEGやAVI等が用いられる。
【図面の簡単な説明】
【0064】
【図1】コンピュータネットワークシステムを模式的に示した図
【図2】記録装置の構成を模式的に示すブロック図
【図3】表示領域を区画毎に分割した一例を示す図
【図4】区画毎に設定された目標移動距離の一例を示す図
【図5】操作画面をキャプチャした画像の一例を示す図
【図6】カーソル位置情報の一例を示す図
【図7】カーソル位置情報に基づいて算出された移動距離算定結果を示す図
【図8】積算移動距離計数結果と抽出信号について示す図
【図9】抽出信号に基づいて記録された操作画面を示す図
【図10】カーソルの移動距離に応じて記録するためのフローチャート図
【図11】アイコン領域を除いて区画毎に分割した一例を示す図
【図12】アイコン領域が大きくなった場合に区画毎に再分割した一例を示す図
【図13】区画にアイコンがある場合に再設定された目標移動距離の一例を示す図
【符号の説明】
【0065】
2:記録装置
2A:モニタ
10:キャプチャ画像格納部
11:カーソル位置情報格納部
12:表示物情報格納部
13:操作ログ情報格納部
14:カーソル移動距離算定部
15:移動距離算定結果記録部
16:移動距離積算部
17:目標移動距離設定部
18:表示領域分割部
19:移動距離比較部
20:抽出信号出力部
21:キャプチャ画像抽出部
22:位置評価値算定部
23:補間画面生成部
24:操作ログ判定部
25:画像再生部
26:VRAM
27:仮保存部(保存部)
【特許請求の範囲】
【請求項1】
操作画面をキャプチャして得られるキャプチャ画像を保存する保存部と、前記操作画面を区画毎に分割する表示領域分割部と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定部と、前記移動距離に基づいて積算移動距離を計数する移動距離積算部と、前記区画毎に前記カーソルの目標移動距離を設定する目標移動距離設定部と、前記積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出部と、前記抽出されたキャプチャ画像を記録するキャプチャ画像格納部と、を備える記録装置。
【請求項2】
前記目標移動距離設定部が、前記区画毎に分割された区画内に表示される表示物に応じて、前記目標移動距離を変更する請求項1に記載の記録装置。
【請求項3】
操作画面をキャプチャして得られるキャプチャ画像を保存する保存部と、前記操作画面を区画毎に分割する表示領域分割部と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定部と、前記区画毎に移動距離係数を決定する移動距離係数決定部と、前記移動距離と前記移動距離係数とに基づいて、移動ポイントを算定する移動ポイント算定部と、前記移動ポイントが予め設定された抽出ポイントに達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出部と、前記抽出されたキャプチャ画像を記録するキャプチャ画像格納部と、を備える記録装置。
【請求項4】
操作画面をキャプチャして得られるキャプチャ画像を保存部に保存する保存機能と、前記操作画面を区画毎に分割する表示領域分割機能と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定機能と、前記移動距離に基づいて積算移動距離を計数する移動距離積算機能と、前記区画毎に前記カーソルの目標移動距離を設定する目標移動距離設定機能と、前記積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出機能と、前記抽出されたキャプチャ画像をキャプチャ画像格納部に記録するキャプチャ画像格納機能と、をコンピュータに実現させる記録装置のためのプログラム。
【請求項5】
操作画面をキャプチャして得られるキャプチャ画像を保存部に保存する保存機能と、前記操作画面を区画毎に分割する表示領域分割機能と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定機能と、前記区画毎に移動距離係数を決定する移動距離係数決定機能と、前記移動距離と前記移動距離係数とに基づいて、移動ポイントを算定する移動ポイント算定機能と、前記移動ポイントが予め設定された抽出ポイントに達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出機能と、前記抽出されたキャプチャ画像をキャプチャ画像格納部に記録するキャプチャ画像格納機能と、をコンピュータに実現させる記録装置のためのプログラム。
【請求項1】
操作画面をキャプチャして得られるキャプチャ画像を保存する保存部と、前記操作画面を区画毎に分割する表示領域分割部と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定部と、前記移動距離に基づいて積算移動距離を計数する移動距離積算部と、前記区画毎に前記カーソルの目標移動距離を設定する目標移動距離設定部と、前記積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出部と、前記抽出されたキャプチャ画像を記録するキャプチャ画像格納部と、を備える記録装置。
【請求項2】
前記目標移動距離設定部が、前記区画毎に分割された区画内に表示される表示物に応じて、前記目標移動距離を変更する請求項1に記載の記録装置。
【請求項3】
操作画面をキャプチャして得られるキャプチャ画像を保存する保存部と、前記操作画面を区画毎に分割する表示領域分割部と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定部と、前記区画毎に移動距離係数を決定する移動距離係数決定部と、前記移動距離と前記移動距離係数とに基づいて、移動ポイントを算定する移動ポイント算定部と、前記移動ポイントが予め設定された抽出ポイントに達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出部と、前記抽出されたキャプチャ画像を記録するキャプチャ画像格納部と、を備える記録装置。
【請求項4】
操作画面をキャプチャして得られるキャプチャ画像を保存部に保存する保存機能と、前記操作画面を区画毎に分割する表示領域分割機能と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定機能と、前記移動距離に基づいて積算移動距離を計数する移動距離積算機能と、前記区画毎に前記カーソルの目標移動距離を設定する目標移動距離設定機能と、前記積算移動距離が設定された目標移動距離に達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出機能と、前記抽出されたキャプチャ画像をキャプチャ画像格納部に記録するキャプチャ画像格納機能と、をコンピュータに実現させる記録装置のためのプログラム。
【請求項5】
操作画面をキャプチャして得られるキャプチャ画像を保存部に保存する保存機能と、前記操作画面を区画毎に分割する表示領域分割機能と、前記操作画面上でのポインティングデバイスのカーソルの位置を示すカーソル位置情報に基づいて前記カーソルの移動距離を算定するカーソル移動距離算定機能と、前記区画毎に移動距離係数を決定する移動距離係数決定機能と、前記移動距離と前記移動距離係数とに基づいて、移動ポイントを算定する移動ポイント算定機能と、前記移動ポイントが予め設定された抽出ポイントに達する毎に出力される抽出信号の信号出力タイミングに基づいて、前記保存部からキャプチャ画像を抽出するキャプチャ画像抽出機能と、前記抽出されたキャプチャ画像をキャプチャ画像格納部に記録するキャプチャ画像格納機能と、をコンピュータに実現させる記録装置のためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2009−64257(P2009−64257A)
【公開日】平成21年3月26日(2009.3.26)
【国際特許分類】
【出願番号】特願2007−231768(P2007−231768)
【出願日】平成19年9月6日(2007.9.6)
【出願人】(599108242)Sky株式会社 (257)
【Fターム(参考)】
【公開日】平成21年3月26日(2009.3.26)
【国際特許分類】
【出願日】平成19年9月6日(2007.9.6)
【出願人】(599108242)Sky株式会社 (257)
【Fターム(参考)】
[ Back to top ]