説明

スクリーン記録装置

【課題】アプリケーションのソフトウェアを改変することなく、記録開始条件に合致する時点から、記録終了条件に合致する時点まで、イメージデータを自動的に記録することができるようにする。
【解決手段】記録開始条件に合致する画像データの設定を受け付けるとともに、記録終了条件に合致する画像データの設定を受け付ける記録条件設定部3と、記録条件設定部3により設定が受け付けられた画像データとスクリーンイメージ入力部2により取得されたイメージデータを比較し、その比較結果を参照して、記録開始タイミング及び記録終了タイミングを検出するスクリーンイメージ解析部4とを設ける。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、アプリケーションの実行に伴って変化するスクリーン上の画像を示すイメージデータの記録を自動的に開始して、そのイメージデータの記録を自動的に終了するスクリーン記録装置に関するものである。
【背景技術】
【0002】
予め、コンピュータ上のデータ(例えば、表示データ、入力履歴、ユーザ名、端末名など)を取り込む際の取り込み条件を設定し、入力等の状況が取り込み条件に合致すると、コンピュータ上のデータを取り込む技術が、例えば、以下の特許文献1,2に開示されている。
即ち、この技術は、ペンやキーボードによるユーザ入力情報を解析して、ユーザ入力情報がデータの取り込み条件に合致しているか否かを判定し、データの取り込み条件に合致していれば、コンピュータ上のデータを取り込むものであるが、アプリケーションの実行に伴って変化するスクリーン上の画像を示すイメージデータの記録開始タイミングや、イメージデータの記録終了タイミングを検出するものではない。
【0003】
したがって、イメージデータを記録するスクリーン記録装置に対して、ユーザ入力情報がデータの取り込み条件に合致しているか否かを判定する技術を適用しても、記録開始条件に合致する時点から、記録終了条件に合致する時点まで、イメージデータの記録を自動的に行うスクリーン記録装置を構成することはできない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−136606号公報(段落番号[0039]から[0040])
【特許文献2】特開2003−76405号公報(段落番号[0015]から[0016])
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来のスクリーン記録装置は以上のように構成されているので、ユーザ入力情報がデータの取り込み条件に合致しているか否かを判定することができても、アプリケーションの実行に伴って変化するスクリーン上の画像を示すイメージデータの記録開始タイミングや、イメージデータの記録終了タイミングを検出することができない。このため、記録開始条件に合致する時点から、記録終了条件に合致する時点まで、イメージデータの記録を自動的に行うことができないなどの課題があった。
なお、スクリーン上に所定の画像が表示されたときに、その画像を示すイメージデータの記録を開始するように、アプリケーションのソフトウェアを改変すれば、イメージデータの記録を自動的に行うことができるようになるが、ソフトウェアの改変が必要であるため、適用可能なアプリケーションが限定されるとともに、多くの労力を要する課題があった。
【0006】
この発明は上記のような課題を解決するためになされたもので、アプリケーションのソフトウェアを改変することなく、記録開始条件に合致する時点から、記録終了条件に合致する時点まで、イメージデータを自動的に記録することができるスクリーン記録装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
この発明に係るスクリーン記録装置は、イメージデータ取得手段により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、そのイメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける条件設定手段と、条件設定手段により設定が受け付けられた画像データとイメージデータ取得手段により取得されたイメージデータを比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出するタイミング検出手段とを設け、イメージデータ記録手段が、タイミング検出手段により記録開始タイミングが検出された時点から、イメージデータ取得手段により取得されたイメージデータの記録を開始し、タイミング検出手段により記録終了タイミングが検出された時点で、そのイメージデータの記録を終了するようにしたものである。
【発明の効果】
【0008】
この発明によれば、イメージデータ取得手段により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、そのイメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける条件設定手段と、条件設定手段により設定が受け付けられた画像データとイメージデータ取得手段により取得されたイメージデータを比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出するタイミング検出手段とを設け、イメージデータ記録手段が、タイミング検出手段により記録開始タイミングが検出された時点から、イメージデータ取得手段により取得されたイメージデータの記録を開始し、タイミング検出手段により記録終了タイミングが検出された時点で、そのイメージデータの記録を終了するように構成したので、アプリケーションのソフトウェアを改変することなく、記録開始条件に合致する時点から、記録終了条件に合致する時点まで、イメージデータを自動的に記録することができる効果がある。
【図面の簡単な説明】
【0009】
【図1】この発明の実施の形態1によるスクリーン記録装置を示す構成図である。
【図2】この発明の実施の形態1によるスクリーン記録装置の処理内容(記録準備フェーズ、記録開始フェーズ)を示すフローチャートである。
【図3】この発明の実施の形態1によるスクリーン記録装置の処理内容(記録終了フェーズ、画像再生フェーズ)を示すフローチャートである。
【図4】記録開始条件に合致するイメージファイル(記録開始条件に合致する画像データのデータファイル)及び記録終了条件に合致するイメージファイル(記録終了条件に合致する画像データのデータファイル)の一例を示す説明図である。
【図5】記録開始条件に合致するイメージファイル及び記録終了条件に合致するイメージファイルが読み込まれた内部バッファの構成例を示す説明図である。
【図6】ピクセル毎に8ビットのR,G,Bデータを有し、スクリーン全体でWidth(1024ピクセル)×Height(768ピクセル)のイメージデータを示す説明図である。
【図7】イメージデータの圧縮方式及び圧縮パラメータ(解像度、フレームレート、圧縮率)を示す説明図である。
【図8】この発明の実施の形態2によるスクリーン記録装置を示す構成図である。
【図9】この発明の実施の形態2によるスクリーン記録装置の処理内容(記録準備フェーズ、記録開始フェーズ)を示すフローチャートである。
【図10】この発明の実施の形態2によるスクリーン記録装置の処理内容(記録終了フェーズ、画像再生フェーズ)を示すフローチャートである。
【図11】この発明の実施の形態3によるスクリーン記録装置を示す構成図である。
【図12】記録条件設定部による色指定方式の一例を示す説明図である。
【図13】この発明の実施の形態4によるスクリーン記録装置を示す構成図である。
【図14】記録条件設定部による領域指定方式の一例を示す説明図である。
【図15】この発明の実施の形態5によるスクリーン記録装置を示す構成図である。
【図16】記録開始条件に合致するイメージファイル列(記録開始条件に合致する画像データのデータファイル列)及び記録終了条件に合致するイメージファイル列(記録終了条件に合致する画像データのデータファイル列)の一例を示す説明図である。
【図17】記録開始条件に合致するイメージファイル列及び記録終了条件に合致するイメージファイル列が読み込まれた内部バッファの構成例を示す説明図である。
【図18】この発明の実施の形態6によるスクリーン記録装置を示す構成図である。
【図19】CPUの負荷に対応する圧縮方式及び圧縮パラメータ(解像度、フレームレート、圧縮率)の一例を示す説明図である。
【発明を実施するための形態】
【0010】
実施の形態1.
図1はこの発明の実施の形態1によるスクリーン記録装置を示す構成図である。
図1において、アプリケーション1はスクリーン記録装置のCPU(図示せず)により実行されるソフトウェアであって、例えば、ある機器や設備などの運転状況を知らせる運転監視画面や、ある機器や設備などの異常を知らせる異常表示画面などをスクリーン記録装置のスクリーン(ディスプレイ)に表示するソフトウェアである。
スクリーンイメージ入力部2はスクリーンキャプチャ機能を備えており、アプリケーション1の実行に伴って変化するスクリーン上の画像(例えば、運転監視画面や異常表示画面)を示すイメージデータをフレームバッファ経由で取得する処理を実施する。なお、スクリーンイメージ入力部2はイメージデータ取得手段を構成している。
【0011】
記録条件設定部3は例えばキーボードやマウスなどのマンマシンインタフェースを備えており、ユーザによるマンマシンインタフェースの操作の下で、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、そのイメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける処理を実施する。なお、記録条件設定部3は条件設定手段を構成している。
【0012】
スクリーンイメージ解析部4は記録条件設定部3により設定が受け付けられた画像データとスクリーンイメージ入力部2により取得されたイメージデータの画像を解析することで、その画像データとイメージデータを比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出する処理を実施する。
即ち、スクリーンイメージ解析部4は記録条件設定部3により設定が受け付けられた記録開始条件に合致する画像データ及び記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出し、その記録開始条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録開始タイミングとして検出し、その記録終了条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録終了タイミングとして検出する処理を実施する。
なお、スクリーンイメージ解析部4はタイミング検出手段を構成している。
【0013】
スクリーンイメージ記録処理部5はスクリーンイメージ解析部4により記録開始タイミングが検出された時点から、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始し、スクリーンイメージ解析部4により記録終了タイミングが検出された時点で、そのイメージデータの記録を終了する。
ただし、スクリーンイメージ記録処理部5はイメージデータを記録する際、所定の圧縮方式及び圧縮パラメータ(解像度、フレームレート、圧縮率)でイメージデータを圧縮して、圧縮後のイメージデータをイメージデータ格納部6に記録する。
イメージデータ格納部6は圧縮後のイメージデータを保存する例えばハードディスクなどの記録媒体である。
なお、スクリーンイメージ記録処理部5及びイメージデータ格納部6からイメージデータ記録手段が構成されている。
【0014】
画像再生部7はスクリーンイメージ記録処理部5により圧縮されて、イメージデータ格納部6に保存されているイメージデータを読み込み、そのイメージデータに対する伸張処理を実施してから、そのイメージデータにしたがって画像をスクリーン上に再生する処理を実施する。なお、画像再生部7は画像再生手段を構成している。
【0015】
図1では、スクリーン記録装置の構成要素であるスクリーンイメージ入力部2、記録条件設定部3、スクリーンイメージ解析部4、スクリーンイメージ記録処理部5及び画像再生部7のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、スクリーン記録装置がコンピュータで構成されている場合、スクリーンイメージ入力部2、記録条件設定部3、スクリーンイメージ解析部4、スクリーンイメージ記録処理部5及び画像再生部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
【0016】
次に動作について説明する。
この実施の形態1では、スクリーン記録装置の動作を以下の4つフェーズに分けて説明する。
(1)フェーズ1:イメージデータの記録準備
(2)フェーズ2:イメージデータの記録開始
(3)フェーズ3:イメージデータの記録終了
(4)フェーズ4:画像再生
図2はこの発明の実施の形態1によるスクリーン記録装置の処理内容(フェーズ1、フェーズ2)を示すフローチャートである。
また、図3はこの発明の実施の形態1によるスクリーン記録装置の処理内容(フェーズ3、フェーズ4)を示すフローチャートである。
【0017】
(1)フェーズ1
まず、ユーザが記録条件設定部3のマンマシンインタフェースを操作することで、イメージデータの記録を開始する際の記録開始条件と、イメージデータの記録を終了する際の記録終了条件を設定する(図2のステップST1)。
即ち、ユーザが記録条件設定部3のマンマシンインタフェースを操作することで、アプリケーション1の実行をスクリーン記録装置のCPUに依頼する。
これにより、CPUがアプリケーション1を実行することで、スクリーン上の画像が、例えば、機器や設備などの状況に応じて変化するので(例えば、機器や設備などに異常が発生していなければ、スクリーン上に運転監視画面が表示され、機器や設備などに異常が発生すると、スクリーン上に異常表示画面が表示される)、ユーザが、記録条件設定部3のマンマシンインタフェースを操作することで、記録開始条件に合致するスクリーン上の画像と、記録終了条件に合致するスクリーン上の画像を指定する。
【0018】
例えば、ユーザが、機器や設備などに異常が発生したときに、イメージデータの記録を開始することを希望する場合、アプリケーション1の実行に伴ってスクリーン上に表示された異常表示画面を指定する。
このように、スクリーン上に表示された異常表示画面を指定すると、記録条件設定部3の指示の下、スクリーンイメージ入力部2がスクリーンキャプチャ機能によって、その異常表示画面を示すイメージデータをフレームバッファ経由で取得するので、記録条件設定部3が記録開始条件に合致する画像データとして、スクリーンイメージ入力部2により取得されたイメージデータ(異常表示画面を示す画像データ)を設定する。
【0019】
また、ユーザが、機器や設備などの異常が解消されたときに、イメージデータの記録を終了することを希望する場合、アプリケーション1の実行に伴ってスクリーン上に表示された運転監視画面を指定する。
このように、スクリーン上に表示された運転監視画面を指定すると、記録条件設定部3の指示の下、スクリーンイメージ入力部2がスクリーンキャプチャ機能によって、その運転監視画面を示すイメージデータをフレームバッファ経由で取得するので、記録条件設定部3が記録終了条件に合致する画像データとして、スクリーンイメージ入力部2により取得されたイメージデータ(運転監視画面を示す画像データ)を設定する。
【0020】
ここでは、記録開始条件に合致する画像データとして、異常表示画面を示す画像データを設定し、記録終了条件に合致する画像データとして、運転監視画面を示す画像データを設定するものについて示したが、これは一例に過ぎず、アプリケーション1の実行に伴ってスクリーン上に表示される画像であれば、いかなる画像の画像データを設定するようにしてもよい。
また、ここでは、記録開始条件及び記録終了条件に合致する画像データを設定するために、CPUがアプリケーション1を実行して、スクリーンイメージ入力部2がスクリーン上に表示されている画像を示すイメージデータを取得するものについて示したが、記録条件設定部3が外部から記録開始条件及び記録終了条件に合致する画像データを入手するようにしてもよい。
【0021】
図4は記録開始条件に合致するイメージファイル(記録開始条件に合致する画像データのデータファイル)及び記録終了条件に合致するイメージファイル(記録終了条件に合致する画像データのデータファイル)の一例を示す説明図である。
図4では、記録開始条件に合致するイメージファイルを5個設定し、記録終了条件に合致するイメージファイルを5個設定している例を示している。ただし、設定数は1個以上であれば、5個に限るものではない(設定数は、多い方が、異常状態等の検出精度を高めることができる)。
また、記録開始条件に合致するイメージファイルの設定数と記録終了条件に合致するイメージファイルの設定数は、同数に限るものではなく、異なっていてもよい。
なお、イメージファイルにおける画像データの形式は特に問わず、圧縮形式であっても、非圧縮形式であってもよい。図4の例では、RGB形式、BMP形式、JPEG形式の画像データを設定している。
【0022】
(2)フェーズ2
スクリーンイメージ解析部4は、記録条件設定部3により設定が受け付けられた記録開始条件に合致する画像データ(イメージデータ)と、記録終了条件に合致する画像データ(イメージデータ)とを読み込み、これらの画像データを図示せぬ内部バッファにロードする(ステップST2)。
ただし、これらの画像データが圧縮されている場合には、伸張処理を施してから、内部バッファにロードする。
また、記録開始条件に合致する画像データや記録終了条件に合致する画像データが、それぞれ複数個設定されている場合には、設定されている全ての画像データを内部バッファにロードする。
【0023】
図5は図4のイメージファイル(記録開始条件に合致するイメージファイル、記録終了条件に合致するイメージファイル)が読み込まれた内部バッファの構成例を示す説明図である。
また、図6は記録開始条件に合致するイメージファイル「START001.RGB」に含まれている画像データ(イメージデータ)の概要を示しており、この画像データは、ピクセル毎にRデータ(8ビット)・Gデータ(8ビット)・Bデータ(8ビット)を有し、スクリーン全体でWidth(1024ピクセル)×Height(768ピクセル)のデータで構成されている。
【0024】
スクリーンイメージ入力部2は、アプリケーション1の実行に伴って変化するスクリーン上の画像を示すイメージデータをフレームバッファ経由で取得し、そのイメージデータをスクリーンイメージ解析部4に出力する(ステップST3)。
なお、スクリーンイメージ入力部2は、最新のイメージデータを取得するものであるが、イメージデータの取得は、所定の周期で定期的に取得するものであってもよいし、予め決められた時刻に取得するものであってもよい。
【0025】
スクリーンイメージ解析部4は、スクリーンイメージ入力部2から最新のイメージデータを受けると、その最新のイメージデータが示す画像と、先に内部バッファにロードしている記録開始条件に合致する画像データが示す画像とを解析して、そのイメージデータと画像データを比較する。
即ち、スクリーンイメージ解析部4は、ピクセル毎に、内部バッファにロードしている記録開始条件に合致する画像データと、スクリーンイメージ入力部2から出力された最新のイメージデータとの差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算する(ステップST4)。
【0026】
ただし、図5に示すように、記録開始条件に合致するイメージファイルとして、5個のイメージファイルが内部バッファにロードされている場合、5個のイメージファイルに含まれている画像データ毎に、最新のイメージデータとの差分(全ピクセルにおける差分)を求める。
即ち、イメージファイル「START001.RGB」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START002.RGB」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START003.BMP」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START004.JPG」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START005.JPG」に含まれている画像データと最新のイメージデータとの差分をそれぞれ算出する。
【0027】
スクリーンイメージ解析部4は、記録開始条件に合致する画像データと、最新のイメージデータとの差分(全ピクセルにおける差分)を算出すると、その差分と所定の閾値を比較する(ステップST5)。
スクリーンイメージ解析部4は、差分が所定の閾値を越えていれば(差分>閾値)、ステップST3に戻り、ステップST3〜ST5の処理を繰り返すが、差分が所定の閾値以下であれば(差分≦閾値)、記録開始条件を満足していると判断して(機器や設備などに異常が発生して、異常表示画面がスクリーン上に表示されていると判断する)、記録開始タイミングを検出する。
【0028】
ここでは、図5に示すように、記録開始条件に合致するイメージファイルとして、5個のイメージファイルが内部バッファにロードされている場合、5個のイメージファイルに含まれている画像データとイメージデータの差分のいずれかが、所定の閾値以下であれば、記録開始条件を満足していると判断するが、5個のイメージファイルに含まれている画像データとイメージデータの差分の全てが所定の閾値以下であるとき、記録開始条件を満足していると判断するようにしてもよい。
【0029】
また、ここでは、最初に5個のイメージファイルに含まれている画像データとイメージデータの差分を算出してから、各差分を所定の閾値と比較しているが、最初に1個のイメージファイル(例えば「START001.RGB」)に含まれている画像データとイメージデータの差分を算出して、その差分と所定の閾値を比較し、その差分が所定の閾値以下であれば、記録開始条件を満足していると判断し、その差分が所定の閾値を越えていれば、他のイメージファイル(例えば「START002.RGB」)に含まれている画像データとイメージデータの差分を算出して、その差分と所定の閾値を比較するようにしてもよい。
【0030】
スクリーンイメージ記録処理部5は、スクリーンイメージ解析部4により記録開始タイミングが検出されると、その記録開始タイミングが検出された時点から、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する(ステップST6)。スクリーンイメージ解析部4により記録開始タイミングが検出されなければ、スクリーンイメージ入力部2により取得されたイメージデータの記録は開始されない。
ただし、スクリーンイメージ記録処理部5は、イメージデータをイメージデータ格納部6に記録する際、所定の圧縮方式及び圧縮パラメータ(解像度、フレームレート、圧縮率)でイメージデータを圧縮して、圧縮後のイメージデータをイメージデータ格納部6に記録する。
【0031】
図7はイメージデータの圧縮方式及び圧縮パラメータ(解像度、フレームレート、圧縮率)を示す説明図である。
図7では、圧縮方式がJPEG、解像度が100%、フレームレートが10fps、圧縮率が1/20である例を示している。
なお、イメージデータの圧縮方式は、JPEGに限る必要はなく、例えば、MPEG−1、MPEG−2、MPEG−4やH.264などを用いるようにしてもよい。
【0032】
(3)フェーズ3
スクリーンイメージ入力部2は、アプリケーション1の実行に伴って変化するスクリーン上の画像を示すイメージデータをフレームバッファ経由で取得する(図3のステップST11)。
フェーズ3では、イメージデータの記録が開始されているので、スクリーンイメージ入力部2がフレームバッファ経由で取得したイメージデータをスクリーンイメージ解析部4及びスクリーンイメージ記録処理部5に出力する。
【0033】
スクリーンイメージ解析部4は、スクリーンイメージ入力部2から最新のイメージデータを受けると、その最新のイメージデータが示す画像と、先に内部バッファにロードしている記録終了条件に合致する画像データが示す画像とを解析して、そのイメージデータと画像データを比較する。
即ち、スクリーンイメージ解析部4は、ピクセル毎に、内部バッファにロードしている記録終了条件に合致する画像データと、スクリーンイメージ入力部2から出力された最新のイメージデータとの差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算する(ステップST12)。
【0034】
ただし、図5に示すように、記録終了条件に合致するイメージファイルとして、5個のイメージファイルが内部バッファにロードされている場合、5個のイメージファイルに含まれている画像データ毎に、最新のイメージデータとの差分(全ピクセルにおける差分)を求める。
即ち、イメージファイル「STOP001.RGB」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「STOP002.RGB」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「STOP003.BMP」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「STOP004.JPG」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「STOP005.JPG」に含まれている画像データと最新のイメージデータとの差分をそれぞれ算出する。
【0035】
スクリーンイメージ解析部4は、記録終了条件に合致する画像データと、最新のイメージデータとの差分(全ピクセルにおける差分)を算出すると、その差分と所定の閾値を比較する(ステップST13)。
スクリーンイメージ解析部4は、差分が所定の閾値を越えていれば(差分>閾値)、記録終了条件を満足していないと判断して(機器や設備などの異常が継続しており、異常表示画面がスクリーン上に表示されていると判断する)、記録終了タイミングを検出しない。
一方、差分が所定の閾値以下であれば(差分≦閾値)、記録終了条件を満足していると判断して(機器や設備などの異常が解消して、運転監視画面がスクリーン上に表示されていると判断する)、記録終了タイミングを検出する。
【0036】
ここでは、図5に示すように、記録終了条件に合致するイメージファイルとして、5個のイメージファイルが内部バッファにロードされている場合、5個のイメージファイルに含まれている画像データとイメージデータの差分のいずれかが、所定の閾値以下であれば、記録終了条件を満足していると判断するが、5個のイメージファイルに含まれている画像データとイメージデータの差分の全てが所定の閾値以下であるとき、記録終了条件を満足していると判断するようにしてもよい。
【0037】
また、ここでは、最初に5個のイメージファイルに含まれている画像データとイメージデータの差分を算出してから、各差分を所定の閾値と比較しているが、最初に1個のイメージファイル(例えば「STOP001.RGB」)に含まれている画像データとイメージデータの差分を算出して、その差分と所定の閾値を比較し、その差分が所定の閾値以下であれば、記録終了条件を満足していると判断し、その差分が所定の閾値を越えていれば、他のイメージファイル(例えば「STOP002.RGB」)に含まれている画像データとイメージデータの差分を算出して、その差分と所定の閾値を比較するようにしてもよい。
【0038】
スクリーンイメージ記録処理部5は、スクリーンイメージ解析部4が記録終了タイミングを検出しなければ、スクリーンイメージ入力部2により取得されたイメージデータの記録を継続する(ステップST14)。
一方、スクリーンイメージ解析部4が記録終了タイミングを検出すると、その記録終了タイミングが検出された時点で、スクリーンイメージ入力部2により取得されたイメージデータの記録を停止する(ステップST15)。
【0039】
(4)フェーズ4
画像再生部7は、スクリーンイメージ記録処理部5がイメージデータの記録を停止すると、例えば、ユーザの指示の下で、イメージデータ格納部6に圧縮されて保存されているイメージデータを読み込み、そのイメージデータに対する伸張処理を実施してから、そのイメージデータにしたがって画像をスクリーン上に再生する(ステップST16)。
【0040】
以上で明らかなように、この実施の形態1によれば、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、そのイメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける記録条件設定部3と、記録条件設定部3により設定が受け付けられた画像データとスクリーンイメージ入力部2により取得されたイメージデータを比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出するスクリーンイメージ解析部4とを設け、スクリーンイメージ記録処理部5が、スクリーンイメージ解析部4により記録開始タイミングが検出された時点から、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始し、スクリーンイメージ解析部4により記録終了タイミングが検出された時点で、そのイメージデータの記録を終了するように構成したので、アプリケーション1のソフトウェアを改変することなく、記録開始条件に合致する時点から、記録終了条件に合致する時点まで、イメージデータを自動的に記録することができる効果を奏する。
【0041】
実施の形態2.
図8はこの発明の実施の形態2によるスクリーン記録装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
記録条件設定部11は例えばキーボードやマウスなどのマンマシンインタフェースを備えており、ユーザによるマンマシンインタフェースの操作の下で、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付ける処理を実施する。なお、記録条件設定部11は条件設定手段を構成している。
【0042】
スクリーンイメージ解析部12は記録条件設定部11により設定が受け付けられた画像データとスクリーンイメージ入力部2により取得されたイメージデータの画像を解析することで、その画像データとイメージデータを比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出する処理を実施する。
即ち、スクリーンイメージ解析部12は記録条件設定部11により設定が受け付けられた記録開始条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出し、その記録開始条件に合致する画像データとイメージデータの差分が所定の閾値を越えるタイミングを記録開始タイミングとして検出し、その記録開始条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録終了タイミングとして検出する処理を実施する。
なお、スクリーンイメージ解析部12はタイミング検出手段を構成している。
【0043】
図8では、スクリーン記録装置の構成要素であるスクリーンイメージ入力部2、記録条件設定部11、スクリーンイメージ解析部12、スクリーンイメージ記録処理部5及び画像再生部7のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、スクリーン記録装置がコンピュータで構成されている場合、スクリーンイメージ入力部2、記録条件設定部11、スクリーンイメージ解析部12、スクリーンイメージ記録処理部5及び画像再生部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
【0044】
上記実施の形態1では、記録条件設定部3が記録開始条件に合致する画像データのほかに、記録終了条件に合致する画像データの設定を受け付け、スクリーンイメージ解析部4が、記録条件設定部3により設定が受け付けられた記録開始条件及び記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの画像を解析することで、記録開始タイミングと記録終了タイミングを検出するものについて示したが、記録条件設定部11が記録開始条件に合致する画像データの設定を受け付け(記録終了条件に合致する画像データの設定は受け付けない)、スクリーンイメージ解析部12が、記録条件設定部11により設定が受け付けられた記録開始条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの画像を解析することで、記録開始タイミングと記録終了タイミングを検出するようにしてもよい。
【0045】
次に動作について説明する。
図9はこの発明の実施の形態2によるスクリーン記録装置の処理内容(フェーズ1、フェーズ2)を示すフローチャートである。
また、図10はこの発明の実施の形態2によるスクリーン記録装置の処理内容(フェーズ3、フェーズ4)を示すフローチャートである。
【0046】
(1)フェーズ1
まず、ユーザが記録条件設定部11のマンマシンインタフェースを操作することで、イメージデータの記録を開始する際の記録開始条件を設定する(図9のステップST21)。
即ち、ユーザが記録条件設定部11のマンマシンインタフェースを操作することで、アプリケーション1の実行をスクリーン記録装置のCPUに依頼する。
これにより、CPUがアプリケーション1を実行することで、スクリーン上の画像が、例えば、機器や設備などの状況に応じて変化するので(例えば、機器や設備などに異常が発生していなければ、スクリーン上に運転監視画面が表示され、機器や設備などに異常が発生すると、スクリーン上に異常表示画面が表示される)、ユーザが、記録条件設定部11のマンマシンインタフェースを操作することで、記録開始条件に合致するスクリーン上の画像を指定する。
【0047】
例えば、ユーザが、機器や設備などに異常が発生したときに、イメージデータの記録を開始することを希望する場合において、アプリケーション1の実行に伴ってスクリーン上に表示される画面が運転監視画面(機器や設備などが正常時の画面)から異常表示画面に切り替わる場合、正常時の画面である運転監視画面を指定する。
このように、スクリーン上に表示された運転監視画面を指定すると、記録条件設定部11の指示の下、スクリーンイメージ入力部2がスクリーンキャプチャ機能によって、その運転監視画面を示すイメージデータをフレームバッファ経由で取得するので、記録条件設定部11が記録開始条件に合致する画像データとして、スクリーンイメージ入力部2により取得されたイメージデータ(運転監視画面を示す画像データ)を設定する。
この実施の形態2でも、説明の便宜上、上記実施の形態1と同様に、記録原本受理通知書が送付されました。開始条件に合致するイメージファイル(記録開始条件に合致する画像データのデータファイル)として、5個を設定するものとする(図4を参照)。
【0048】
ここでは、記録開始条件に合致する画像データとして、運転監視画面を示す画像データを設定するものについて示したが、これは一例に過ぎず、アプリケーション1の実行に伴ってスクリーン上に表示される画像であれば、いかなる画像の画像データを設定するようにしてもよい。例えば、異常表示画面の画像データを設定するようにしてもよい。ただし、この場合、後述する図9のステップST25及び図10のステップST33における判定論理が反転する。
また、ここでは、記録開始条件に合致する画像データを設定するために、CPUがアプリケーション1を実行して、スクリーンイメージ入力部2がスクリーン上に表示されている画像を示すイメージデータを取得するものについて示したが、記録条件設定部11が外部から記録開始条件に合致する画像データを入手するようにしてもよい。
【0049】
(2)フェーズ2
スクリーンイメージ解析部12は、記録条件設定部11により設定が受け付けられた記録開始条件に合致する画像データ(イメージデータ)を読み込み、その画像データを図示せぬ内部バッファにロードする(ステップST22)。
ただし、その画像データが圧縮されている場合には、伸張処理を施してから、内部バッファにロードする。
また、記録開始条件に合致する画像データが、複数個設定されている場合には、設定されている全ての画像データを内部バッファにロードする。
【0050】
スクリーンイメージ入力部2は、上記実施の形態1と同様に、アプリケーション1の実行に伴って変化するスクリーン上の画像を示すイメージデータをフレームバッファ経由で取得し、そのイメージデータをスクリーンイメージ解析部12に出力する(ステップST23)。
なお、スクリーンイメージ入力部2は、最新のイメージデータを取得するものであるが、イメージデータの取得は、所定の周期で定期的に取得するものであってもよいし、予め決められた時刻に取得するものであってもよい。
【0051】
スクリーンイメージ解析部12は、スクリーンイメージ入力部2から最新のイメージデータを受けると、図1のスクリーンイメージ解析部4と同様に、その最新のイメージデータが示す画像と、先に内部バッファにロードしている記録開始条件に合致する画像データが示す画像とを解析して、そのイメージデータと画像データを比較する。
即ち、スクリーンイメージ解析部12は、ピクセル毎に、内部バッファにロードしている記録開始条件に合致する画像データと、スクリーンイメージ入力部2から出力された最新のイメージデータとの差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算する(ステップST24)。
【0052】
ただし、図5に示すように、記録開始条件に合致するイメージファイルとして、5個のイメージファイルが内部バッファにロードされている場合、5個のイメージファイルに含まれている画像データ毎に、最新のイメージデータとの差分(全ピクセルにおける差分)を求める。
即ち、イメージファイル「START001.RGB」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START002.RGB」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START003.BMP」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START004.JPG」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START005.JPG」に含まれている画像データと最新のイメージデータとの差分をそれぞれ算出する。
【0053】
スクリーンイメージ解析部12は、記録開始条件に合致する画像データと、最新のイメージデータとの差分(全ピクセルにおける差分)を算出すると、その差分と所定の閾値を比較する(ステップST25)。
スクリーンイメージ解析部12は、差分が所定の閾値以下であれば(差分≦閾値)、ステップST23に戻り、ステップST23〜ST25の処理を繰り返すが、差分が所定の閾値を越えていれば(差分>閾値)、記録開始条件を満足していると判断して(機器や設備などに異常が発生して、スクリーン上に表示されている画面が運転監視画面から異常表示画面に切り替わっていると判断する)、記録開始タイミングを検出する。
【0054】
ここでは、図5に示すように、記録開始条件に合致するイメージファイルとして、5個のイメージファイルが内部バッファにロードされている場合、5個のイメージファイルに含まれている画像データとイメージデータの差分のいずれかが、所定の閾値を越えていれば、記録開始条件を満足していると判断するが、5個のイメージファイルに含まれている画像データとイメージデータの差分の全てが所定の閾値を越えているとき、記録開始条件を満足していると判断するようにしてもよい。
【0055】
また、ここでは、最初に5個のイメージファイルに含まれている画像データとイメージデータの差分を算出してから、各差分を所定の閾値と比較しているが、最初に1個のイメージファイル(例えば「START001.RGB」)に含まれている画像データとイメージデータの差分を算出して、その差分と所定の閾値を比較し、その差分が所定の閾値を越えていれば、記録開始条件を満足していると判断し、その差分が所定の閾値以下であれば、他のイメージファイル(例えば「START002.RGB」)に含まれている画像データとイメージデータの差分を算出して、その差分と所定の閾値を比較するようにしてもよい。
【0056】
スクリーンイメージ記録処理部5は、スクリーンイメージ解析部12により記録開始タイミングが検出されると、上記実施の形態1と同様に、その記録開始タイミングが検出された時点から、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する(ステップST26)。スクリーンイメージ解析部12により記録開始タイミングが検出されなければ、スクリーンイメージ入力部2により取得されたイメージデータの記録は開始されない。
ただし、スクリーンイメージ記録処理部5は、イメージデータをイメージデータ格納部6に記録する際、所定の圧縮方式及び圧縮パラメータ(解像度、フレームレート、圧縮率)でイメージデータを圧縮して、圧縮後のイメージデータをイメージデータ格納部6に記録する。
【0057】
(3)フェーズ3
スクリーンイメージ入力部2は、アプリケーション1の実行に伴って変化するスクリーン上の画像を示すイメージデータをフレームバッファ経由で取得する(図10のステップST31)。
フェーズ3では、イメージデータの記録が開始されているので、スクリーンイメージ入力部2がフレームバッファ経由で取得したイメージデータをスクリーンイメージ解析部12及びスクリーンイメージ記録処理部5に出力する。
【0058】
スクリーンイメージ解析部12は、スクリーンイメージ入力部2から最新のイメージデータを受けると、その最新のイメージデータが示す画像と、先に内部バッファにロードしている記録開始条件に合致する画像データが示す画像とを解析して、そのイメージデータと画像データを比較する。
即ち、スクリーンイメージ解析部12は、ピクセル毎に、内部バッファにロードしている記録開始条件に合致する画像データと、スクリーンイメージ入力部2から出力された最新のイメージデータとの差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算する(ステップST32)。
【0059】
ただし、図5に示すように、記録開始条件に合致するイメージファイルとして、5個のイメージファイルが内部バッファにロードされている場合、5個のイメージファイルに含まれている画像データ毎に、最新のイメージデータとの差分(全ピクセルにおける差分)を求める。
即ち、イメージファイル「START001.RGB」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START002.RGB」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START003.BMP」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START004.JPG」に含まれている画像データと最新のイメージデータとの差分、イメージファイル「START005.JPG」に含まれている画像データと最新のイメージデータとの差分をそれぞれ算出する。
【0060】
スクリーンイメージ解析部12は、記録開始条件に合致する画像データと、最新のイメージデータとの差分(全ピクセルにおける差分)を算出すると、その差分と所定の閾値を比較する(ステップST33)。
スクリーンイメージ解析部12は、差分が所定の閾値を越えていれば(差分>閾値)、以前として記録開始条件を満足している(記録終了条件を満足していない)と判断して(機器や設備などの異常が継続しており、異常表示画面がスクリーン上に表示されていると判断する)、記録終了タイミングを検出しない。
一方、差分が所定の閾値以下であれば(差分≦閾値)、既に記録開始条件を満足しなくなっている(記録終了条件を満足している)と判断して(機器や設備などの異常が解消して、スクリーン上に表示されている画面が異常表示画面から運転監視画面に切り替わっていると判断する)、記録終了タイミングを検出する。
【0061】
ここでは、図5に示すように、記録開始条件に合致するイメージファイルとして、5個のイメージファイルが内部バッファにロードされている場合、5個のイメージファイルに含まれている画像データとイメージデータの差分のいずれかが、所定の閾値以下であれば、記録終了条件を満足していると判断するが、5個のイメージファイルに含まれている画像データとイメージデータの差分の全てが所定の閾値以下であるとき、記録終了条件を満足していると判断するようにしてもよい。
【0062】
また、ここでは、最初に5個のイメージファイルに含まれている画像データとイメージデータの差分を算出してから、各差分を所定の閾値と比較しているが、最初に1個のイメージファイル(例えば「START001.RGB」)に含まれている画像データとイメージデータの差分を算出して、その差分と所定の閾値を比較し、その差分が所定の閾値以下であれば、記録終了条件を満足していると判断し、その差分が所定の閾値を越えていれば、他のイメージファイル(例えば「START002.RGB」)に含まれている画像データとイメージデータの差分を算出して、その差分と所定の閾値を比較するようにしてもよい。
【0063】
スクリーンイメージ記録処理部5は、上記実施の形態1と同様に、スクリーンイメージ解析部12が記録終了タイミングを検出しなければ、スクリーンイメージ入力部2により取得されたイメージデータの記録を継続する(ステップST34)。
一方、スクリーンイメージ解析部12が記録終了タイミングを検出すると、その記録終了タイミングが検出された時点で、スクリーンイメージ入力部2により取得されたイメージデータの記録を停止する(ステップST35)。
【0064】
(4)フェーズ4
画像再生部7は、スクリーンイメージ記録処理部5がイメージデータの記録を停止すると、例えば、ユーザの指示の下で、イメージデータ格納部6に圧縮されて保存されているイメージデータを読み込み、そのイメージデータに対する伸張処理を実施してから、そのイメージデータにしたがって画像をスクリーン上に再生する(ステップST36)。
【0065】
以上で明らかなように、この実施の形態2によれば、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付ける記録条件設定部11と、記録条件設定部11により設定が受け付けられた画像データとスクリーンイメージ入力部2により取得されたイメージデータを比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出するスクリーンイメージ解析部12とを設け、スクリーンイメージ記録処理部5が、スクリーンイメージ解析部12により記録開始タイミングが検出された時点から、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始し、スクリーンイメージ解析部12により記録終了タイミングが検出された時点で、そのイメージデータの記録を終了するように構成したので、アプリケーション1のソフトウェアを改変することなく、記録開始条件に合致する時点から、記録終了条件に合致する時点まで、イメージデータを自動的に記録することができる効果を奏する。
【0066】
実施の形態3.
図11はこの発明の実施の形態3によるスクリーン記録装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
記録条件設定部13は、図1の記録条件設定部3と同様に、例えば、キーボードやマウスなどのマンマシンインタフェースを備えており、ユーザによるマンマシンインタフェースの操作の下で、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、そのイメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける処理を実施する。
ただし、記録条件設定部13は、図1の記録条件設定部3と異なり、スクリーン上の画像の中で比較対象から除外する領域の色の設定を受け付ける機能を備えている。
なお、記録条件設定部13は条件設定手段を構成している。
【0067】
スクリーンイメージ解析部14は、図1のスクリーンイメージ解析部4と同様に、記録条件設定部13により設定が受け付けられた画像データとスクリーンイメージ入力部2により取得されたイメージデータの画像を解析することで、その画像データとイメージデータを比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出する処理を実施する。
即ち、スクリーンイメージ解析部14は記録条件設定部13により設定が受け付けられた記録開始条件に合致する画像データ及び記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出し、その記録開始条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録開始タイミングとして検出し、その記録終了条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録終了タイミングとして検出する処理を実施する。
ただし、スクリーンイメージ解析部14は、図1のスクリーンイメージ解析部4と異なり、スクリーンイメージ入力部2により取得されたイメージデータのうち、記録条件設定部13により設定が受け付けられた色と同一色の領域のイメージデータを比較対象から除外し、比較対象から除外していない残りのイメージデータと記録条件設定部13により設定が受け付けられた記録開始条件及び記録終了条件に合致する画像データを比較する。
なお、スクリーンイメージ解析部14はタイミング検出手段を構成している。
【0068】
図11では、スクリーン記録装置の構成要素であるスクリーンイメージ入力部2、記録条件設定部13、スクリーンイメージ解析部14、スクリーンイメージ記録処理部5及び画像再生部7のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、スクリーン記録装置がコンピュータで構成されている場合、スクリーンイメージ入力部2、記録条件設定部13、スクリーンイメージ解析部14、スクリーンイメージ記録処理部5及び画像再生部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
【0069】
次に動作について説明する。
ただし、上記実施の形態1における記録条件設定部3及びスクリーンイメージ解析部4と比較して、記録条件設定部13が比較対象から除外する領域の色の設定を受け付ける機能を備え、スクリーンイメージ解析部14が記録条件設定部13により設定が受け付けられた色と同一色の領域のイメージデータを比較対象から除外している点以外は、同様であるため、記録条件設定部13及びスクリーンイメージ解析部14の処理内容のみを説明する。
【0070】
記録条件設定部13は、フェーズ1において、図1の記録条件設定部3と同様に、イメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、イメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける処理を実施する。
また、記録条件設定部13は、スクリーン上の画像の中で比較対象から除外する領域の色(例えば、背景色)の設定を受け付ける処理を実施する。
【0071】
例えば、スクリーン記録装置のCPUがアプリケーション1を実行することで、スクリーン上に画像が表示されているとき、図12(a)に示すように、ユーザが、記録条件設定部13のマンマシンインタフェースを操作することで、比較対象から除外する領域(例えば、背景領域)を指定すると(図12(a)の例では、マウスポインタで背景領域を指定している)、記録条件設定部13が当該領域のピクセルが保持している色を画像解析対象外指定色(比較対象から除外する領域の色)に設定するようにする。
あるいは、記録条件設定部13がスクリーン上に表示されている画像を構成している色を解析して、その画像を構成している色の一覧表(リスト)を図12(b)のように表示し、ユーザが、記録条件設定部13のマンマシンインタフェースを操作することで、一覧表の中から、比較対象から除外する領域の色を選択し、その色を画像解析対象外指定色に設定するようにする。図12(b)の例では、赤色を画像解析対象外指定色に設定している。
なお、画像解析対象外指定色の設定は、1つだけでもよいが、必要に応じて複数設定するようにしてもよい。
【0072】
スクリーンイメージ解析部14は、フェーズ2において、図1のスクリーンイメージ解析部4と同様に、記録条件設定部13により設定が受け付けられた記録開始条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出し、その記録開始条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録開始タイミングとして検出する処理を実施する。
ただし、スクリーンイメージ解析部14は、図1のスクリーンイメージ解析部4と異なり、記録条件設定部13により設定が受け付けられた記録開始条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出する際、スクリーンイメージ入力部2により取得されたイメージデータのうち、記録条件設定部13により設定が受け付けられた画像解析対象外指定色と同一色の領域のイメージデータを差分の算出対象から除外する。
【0073】
即ち、スクリーンイメージ解析部14は、図1のスクリーンイメージ解析部4と同様に、ピクセル毎に、記録開始条件に合致する画像データと、スクリーンイメージ入力部2から出力された最新のイメージデータとの差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算するが、スクリーンイメージ入力部2により取得されたイメージデータを構成しているピクセルのうち、画像解析対象外指定色と同一色の色を保持しているピクセルについては、差分を計算せずに積算に含めないようにする。
図12の例では、スクリーン上に表示されている画像の中で、背景領域の色が画像解析対象外指定色に設定されているので、背景領域を除く領域(メニュー1、ボタン1、ボタン2、ボタン3、ウィンドウ1、ウィンドウ2、ウィンドウ3)を構成しているピクセルについて差分が計算されて積算される。
【0074】
スクリーンイメージ解析部14は、フェーズ3において、図1のスクリーンイメージ解析部4と同様に、記録条件設定部13により設定が受け付けられた記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出し、その記録終了条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録終了タイミングとして検出する処理を実施する。
ただし、スクリーンイメージ解析部14は、図1のスクリーンイメージ解析部4と異なり、記録条件設定部13により設定が受け付けられた記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出する際、スクリーンイメージ入力部2により取得されたイメージデータのうち、記録条件設定部13により設定が受け付けられた画像解析対象外指定色と同一色の領域のイメージデータを差分の算出対象から除外する。
【0075】
即ち、スクリーンイメージ解析部14は、図1のスクリーンイメージ解析部4と同様に、ピクセル毎に、記録終了条件に合致する画像データと、スクリーンイメージ入力部2から出力された最新のイメージデータとの差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算するが、スクリーンイメージ入力部2により取得されたイメージデータを構成しているピクセルのうち、画像解析対象外指定色と同一色の色を保持しているピクセルについては、差分を計算せずに積算に含めないようにする。
図12の例では、スクリーン上に表示されている画像の中で、背景領域の色が画像解析対象外指定色に設定されているので、背景領域を除く領域(メニュー1、ボタン1、ボタン2、ボタン3、ウィンドウ1、ウィンドウ2、ウィンドウ3)を構成しているピクセルについて差分が計算されて積算される。
【0076】
以上で明らかなように、この実施の形態3によれば、記録条件設定部13がスクリーン上の画像の中で比較対象から除外する領域の色の設定を受け付ける機能を備え、スクリーンイメージ解析部14が、スクリーンイメージ入力部2により取得されたイメージデータのうち、記録条件設定部13により設定が受け付けられた色と同一色の領域のイメージデータを比較対象から除外し、比較対象から除外していない残りのイメージデータと記録条件設定部13により設定が受け付けられた記録開始条件及び記録終了条件に合致する画像データを比較するように構成したので、上記実施の形態1よりも、記録開始タイミング及び記録終了タイミングを検出する際の処理量が軽減されるようになり、記録開始タイミング及び記録終了タイミングの検出速度を高めることができる効果を奏する。
【0077】
なお、この実施の形態3では、図1の記録条件設定部3及びスクリーンイメージ解析部4の代わりに、記録条件設定部13及びスクリーンイメージ解析部14を実装することで、比較対象から除外する領域の色の設定を受け付ける機能と、記録条件設定部13により設定が受け付けられた色と同一色の領域のイメージデータを比較対象から除外する機能とを上記実施の形態1のスクリーン記録装置に付加するものを示したが、図8の記録条件設定部11及びスクリーンイメージ解析部12の代わりに、記録条件設定部13及びスクリーンイメージ解析部14を実装することで、比較対象から除外する領域の色の設定を受け付ける機能と、記録条件設定部13により設定が受け付けられた色と同一色の領域のイメージデータを比較対象から除外する機能とを上記実施の形態2のスクリーン記録装置に付加するようにしてもよい。
【0078】
実施の形態4.
図13はこの発明の実施の形態4によるスクリーン記録装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
記録条件設定部15は、図1の記録条件設定部3と同様に、例えば、キーボードやマウスなどのマンマシンインタフェースを備えており、ユーザによるマンマシンインタフェースの操作の下で、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、そのイメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける処理を実施する。
ただし、記録条件設定部15は、図1の記録条件設定部3と異なり、スクリーン上の画像の中で比較対象の領域の設定を受け付ける機能を備えている。
なお、記録条件設定部15は条件設定手段を構成している。
【0079】
スクリーンイメージ解析部16は、図1のスクリーンイメージ解析部4と同様に、記録条件設定部15により設定が受け付けられた画像データとスクリーンイメージ入力部2により取得されたイメージデータの画像を解析することで、その画像データとイメージデータを比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出する処理を実施する。
即ち、スクリーンイメージ解析部16は記録条件設定部15により設定が受け付けられた記録開始条件に合致する画像データ及び記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出し、その記録開始条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録開始タイミングとして検出し、その記録終了条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録終了タイミングとして検出する処理を実施する。
ただし、スクリーンイメージ解析部16は、図1のスクリーンイメージ解析部4と異なり、スクリーンイメージ入力部2により取得されたイメージデータの中から、記録条件設定部15により設定が受け付けられた領域のイメージデータを抽出し、そのイメージデータと記録条件設定部15により設定が受け付けられた記録開始条件及び記録終了条件に合致する画像データを比較する。
なお、スクリーンイメージ解析部16はタイミング検出手段を構成している。
【0080】
図13では、スクリーン記録装置の構成要素であるスクリーンイメージ入力部2、記録条件設定部15、スクリーンイメージ解析部16、スクリーンイメージ記録処理部5及び画像再生部7のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、スクリーン記録装置がコンピュータで構成されている場合、スクリーンイメージ入力部2、記録条件設定部15、スクリーンイメージ解析部16、スクリーンイメージ記録処理部5及び画像再生部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
【0081】
次に動作について説明する。
ただし、上記実施の形態1における記録条件設定部3及びスクリーンイメージ解析部4と比較して、記録条件設定部15が比較対象の領域の設定を受け付ける機能を備え、スクリーンイメージ解析部16が記録条件設定部15により設定が受け付けられた領域のイメージデータを比較対象としている点以外は、同様であるため、記録条件設定部15及びスクリーンイメージ解析部16の処理内容のみを説明する。
【0082】
記録条件設定部15は、フェーズ1において、図1の記録条件設定部3と同様に、イメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、イメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける処理を実施する。
また、記録条件設定部15は、スクリーン上の画像の中で比較対象の領域の設定を受け付ける処理を実施する。
【0083】
例えば、スクリーン記録装置のCPUがアプリケーション1を実行することで、スクリーン上に画像が表示されているとき、図14(a)に示すように、ユーザが、記録条件設定部15のマンマシンインタフェースを操作することで、その画像内に存在している複数のウィンドウの中から、任意のウィンドウを選択し、そのウィンドウを構成している領域を比較対象の領域に設定するようにする。
図14(a)の例では、ウィンドウ2を構成している領域が比較対象の領域に設定されている。
この場合、指定可能な領域の形状は、画像内に存在している各ウィンドウの形状に依存している。
【0084】
あるいは、ユーザが、記録条件設定部15のマンマシンインタフェースを操作することで、図14(b)に示すように、スクリーン上の画像に対して、直接比較対象の領域を描画することにより、比較対象の領域に設定するようにする。
図14(b)の例では、ウィンドウ1、ウィンドウ2、ウィンドウ3を囲んでいる矩形領域が比較対象の領域に設定されている。
この場合、指定可能な領域の形状は、ユーザの描画によるものであるため、矩形形状に限られず、楕円形や三角形などの基本図形のほかに、ポリゴン等の自由形状の指定も可能である。
なお、比較対象の領域の設定は、1つだけでもよいが、必要に応じて複数設定するようにしてもよい。
【0085】
スクリーンイメージ解析部16は、フェーズ2において、図1のスクリーンイメージ解析部4と同様に、記録条件設定部15により設定が受け付けられた記録開始条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出し、その記録開始条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録開始タイミングとして検出する処理を実施する。
ただし、スクリーンイメージ解析部16は、図1のスクリーンイメージ解析部4と異なり、記録条件設定部15により設定が受け付けられた記録開始条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出する際、スクリーンイメージ入力部2により取得されたイメージデータの中から、記録条件設定部15により設定が受け付けられた領域のイメージデータを抽出し、そのイメージデータと記録条件設定部15により設定が受け付けられた記録開始条件に合致する画像データを比較する。
【0086】
即ち、スクリーンイメージ解析部16は、図1のスクリーンイメージ解析部4と同様に、ピクセル毎に、記録開始条件に合致する画像データと、スクリーンイメージ入力部2から出力された最新のイメージデータとの差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算するが、スクリーンイメージ入力部2により取得されたイメージデータを構成しているピクセルのうち、記録条件設定部15により設定が受け付けられた領域以外のピクセルについては、差分を計算せずに積算に含めないようにして、比較対象の領域のピクセルについてだけ差分を計算して積算に含めるようにする。
図12(a)の例では、スクリーン上に表示されている画像の中で、ウィンドウ2が比較対象の領域に設定されているので、ウィンドウ2を構成しているピクセルについて差分が計算されて積算される。
また、図12(b)の例では、スクリーン上に表示されている画像の中で、ウィンドウ1、ウィンドウ2、ウィンドウ3を囲んでいる領域が比較対象の領域に設定されているので、ウィンドウ1、ウィンドウ2、ウィンドウ3を囲んでいる領域を構成しているピクセルについて差分が計算されて積算される。
【0087】
スクリーンイメージ解析部16は、フェーズ3において、図1のスクリーンイメージ解析部4と同様に、記録条件設定部15により設定が受け付けられた記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出し、その記録終了条件に合致する画像データとイメージデータの差分が所定の閾値以下になるタイミングを記録開始タイミングとして検出する処理を実施する。
ただし、スクリーンイメージ解析部16は、図1のスクリーンイメージ解析部4と異なり、記録条件設定部15により設定が受け付けられた記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータの差分を算出する際、スクリーンイメージ入力部2により取得されたイメージデータの中から、記録条件設定部15により設定が受け付けられた領域のイメージデータを抽出し、そのイメージデータと記録条件設定部15により設定が受け付けられた記録終了条件に合致する画像データを比較する。
【0088】
即ち、スクリーンイメージ解析部16は、図1のスクリーンイメージ解析部4と同様に、ピクセル毎に、記録終了条件に合致する画像データと、スクリーンイメージ入力部2から出力された最新のイメージデータとの差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算するが、スクリーンイメージ入力部2により取得されたイメージデータを構成しているピクセルのうち、記録条件設定部15により設定が受け付けられた領域以外のピクセルについては、差分を計算せずに積算に含めないようにして、比較対象の領域のピクセルについてだけ差分を計算して積算に含めるようにする。
図12(a)の例では、スクリーン上に表示されている画像の中で、ウィンドウ2が比較対象の領域に設定されているので、ウィンドウ2を構成しているピクセルについて差分が計算されて積算される。
また、図12(b)の例では、スクリーン上に表示されている画像の中で、ウィンドウ1、ウィンドウ2、ウィンドウ3を囲んでいる領域が比較対象の領域に設定されているので、ウィンドウ1、ウィンドウ2、ウィンドウ3を囲んでいる領域を構成しているピクセルについて差分が計算されて積算される。
【0089】
以上で明らかなように、この実施の形態4によれば、記録条件設定部15がスクリーン上の画像の中で比較対象の領域の設定を受け付ける機能を備え、スクリーンイメージ解析部16がスクリーンイメージ入力部2により取得されたイメージデータの中から、記録条件設定部15により設定が受け付けられた領域のイメージデータを抽出し、そのイメージデータと記録条件設定部15により設定が受け付けられた記録開始条件及び記録終了条件に合致する画像データを比較するように構成したので、上記実施の形態1よりも、記録開始タイミング及び記録終了タイミングを検出する際の処理量が軽減されるようになり、記録開始タイミング及び記録終了タイミングの検出速度を高めることができる効果を奏する。
【0090】
なお、この実施の形態4では、図1の記録条件設定部3及びスクリーンイメージ解析部4の代わりに、記録条件設定部15及びスクリーンイメージ解析部16を実装することで、比較対象の領域の設定を受け付ける機能と、記録条件設定部15により設定が受け付けられた領域のイメージデータを比較対象とする機能とを上記実施の形態1のスクリーン記録装置に付加するものを示したが、図8の記録条件設定部11及びスクリーンイメージ解析部12の代わりに、記録条件設定部15及びスクリーンイメージ解析部16を実装することで、比較対象の領域の設定を受け付ける機能と、記録条件設定部15により設定が受け付けられた領域のイメージデータを比較対象とする機能とを上記実施の形態2のスクリーン記録装置に付加するようにしてもよい。
【0091】
実施の形態5.
図15はこの発明の実施の形態5によるスクリーン記録装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
記録条件設定部21は、図1の記録条件設定部3と同様に、例えば、キーボードやマウスなどのマンマシンインタフェースを備えており、ユーザによるマンマシンインタフェースの操作の下で、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データ列(一連の画像データ)の設定を受け付けるとともに、記録終了条件に合致する画像データ列(一連の画像データ)の設定を受け付ける処理を実施する。
なお、記録条件設定部21は条件設定手段を構成している。
【0092】
スクリーンイメージ解析部22は記録条件設定部21により設定が受け付けられた画像データ列とスクリーンイメージ入力部2により取得されたイメージデータ列(スクリーンイメージ入力部2により取得された一連のイメージデータ)の動画像を解析することで、その画像データ列とイメージデータ列を比較し、その比較結果を参照して、そのイメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出する処理を実施する。
即ち、スクリーンイメージ解析部22は記録条件設定部21により設定が受け付けられた記録開始条件に合致する画像データ列及び記録終了条件に合致する画像データ列とスクリーンイメージ入力部2により取得されたイメージデータ列の差分を算出し、その記録開始条件に合致する画像データ列とイメージデータ列の差分が所定の閾値以下になるタイミングを記録開始タイミングとして検出し、その記録終了条件に合致する画像データ列とイメージデータ列の差分が所定の閾値以下になるタイミングを記録終了タイミングとして検出する処理を実施する。
なお、スクリーンイメージ解析部22はタイミング検出手段を構成している。
【0093】
図15では、スクリーン記録装置の構成要素であるスクリーンイメージ入力部2、記録条件設定部21、スクリーンイメージ解析部22、スクリーンイメージ記録処理部5及び画像再生部7のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、スクリーン記録装置がコンピュータで構成されている場合、スクリーンイメージ入力部2、記録条件設定部21、スクリーンイメージ解析部22、スクリーンイメージ記録処理部5及び画像再生部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
【0094】
上記実施の形態1では、記録条件設定部3が記録開始条件及び記録終了条件に合致する画像データの設定を受け付けて、スクリーンイメージ解析部4が記録開始条件及び記録終了条件に合致する画像データとスクリーンイメージ入力部2により取得されたイメージデータを比較(静止画像解析)するものについて示したが、記録条件設定部21が記録開始条件及び記録終了条件に合致する画像データ列(一連の画像データ)の設定を受け付けて、スクリーンイメージ解析部22が記録開始条件及び記録終了条件に合致する画像データ列とスクリーンイメージ入力部2により取得されたイメージデータ列(一連のイメージデータ)を比較(動画像解析)するようにしてもよい。
【0095】
以下、処理内容を具体的に説明する。
記録条件設定部21は、フェーズ1において、図1の記録条件設定部3と同様に、イメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、イメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける処理を実施する。
ただし、記録条件設定部21は、図1の記録条件設定部3と異なり、記録開始条件及び記録終了条件に合致する画像データについて、それぞれ複数個の設定を受け付けるようにする。
そして、複数の画像データ(一連の画像データ)を記録開始条件に合致する画像データ列として設定するとともに、複数の画像データ(一連の画像データ)を記録終了条件に合致する画像データ列として設定する。
【0096】
図16は記録開始条件に合致するイメージファイル列(記録開始条件に合致する画像データのデータファイル列)及び記録終了条件に合致するイメージファイル列(記録終了条件に合致する画像データのデータファイル列)の一例を示す説明図である。
図16(a)では、記録開始条件に合致する5個のイメージファイル列が設定され、5個のイメージファイル列が、それぞれ3個の画像データのデータファイル列から構成されている例を示している。
また、図16(b)では、記録終了条件に合致する5個のイメージファイル列が設定され、5個のイメージファイル列が、それぞれ3個の画像データのデータファイル列から構成されている例を示している。
ここでは、記録開始条件及び記録終了条件に合致するイメージファイル例が5個設定されている例を示しているが、設定数は1個以上であれば、5個に限るものではない。
また、各イメージファイル列が、それぞれ3個の画像データのデータファイル列から構成されている例を示しているが、2個以上の画像データのデータファイル列から構成されていればよく、3個の画像データのデータファイル列に限られるものではない。
【0097】
スクリーンイメージ解析部22は、フェーズ2において、記録条件設定部21により設定が受け付けられた記録開始条件に合致する画像データ列(イメージデータ列)と、記録終了条件に合致する画像データ列(イメージデータ列)とを読み込み、これらの画像データ列を図示せぬ内部バッファにロードする。
ただし、これらの画像データ列が圧縮されている場合には、伸張処理を施してから、内部バッファにロードする。
また、記録開始条件に合致する画像データ列や記録終了条件に合致する画像データ列が、それぞれ複数個設定されている場合には、設定されている全ての画像データ列を内部バッファにロードする。
【0098】
図17は図16のイメージファイル列(記録開始条件に合致するイメージファイル列、記録終了条件に合致するイメージファイル列)が読み込まれた内部バッファの構成例を示す説明図である。
【0099】
スクリーンイメージ入力部2は、アプリケーション1の実行に伴って変化するスクリーン上の画像を示すイメージデータ列(例えば、連続している3個のイメージデータ)をフレームバッファ経由で取得し、そのイメージデータ列をスクリーンイメージ解析部22に出力する。
なお、スクリーンイメージ入力部2は、最新のイメージデータ列を取得するものであるが、イメージデータ列の取得は、所定の周期で定期的に取得するものであってもよいし、予め決められた時刻に取得するものであってもよい。
【0100】
スクリーンイメージ解析部22は、スクリーンイメージ入力部2から最新のイメージデータ列を受けると、その最新のイメージデータ列が示す動画像と、先に内部バッファにロードしている記録開始条件に合致する画像データ列が示す動画像とを解析して、そのイメージデータ列と画像データ列を比較する。
即ち、スクリーンイメージ解析部22は、ピクセル毎に、差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算するが、例えば、内部バッファにロードしている記録開始条件に合致する画像データ列のイメージファイルが、「START001−0.RGB」、「START001−1.RGB」、「START001−2.RGB」である場合、最初に、イメージファイル「START001−0.RGB」に含まれている画像データと、最新のイメージデータ列(連続している3個のイメージデータ)の中の1番目のイメージデータとの差分(全ピクセルにおける差分)を算出する。
次に、イメージファイル「START001−1.RGB」に含まれている画像データと、最新のイメージデータ列の中の2番目のイメージデータとの差分(全ピクセルにおける差分)を算出し、最後に、イメージファイル「START001−2.RGB」に含まれている画像データと、最新のイメージデータ列の中の3番目のイメージデータとの差分(全ピクセルにおける差分)を算出する。
【0101】
スクリーンイメージ解析部22は、3個の画像データと3個のイメージデータとの差分(全ピクセルにおける差分)を算出すると、それぞれの差分を積算(あるいは、平均)し、その積算(あるいは、平均)の結果を最終的な差分値とする。
ただし、図17(a)に示すように、記録開始条件に合致するイメージファイル列として、5個のイメージファイル列が内部バッファにロードされている場合、5個のイメージファイル列に含まれている画像データ列毎に、最新のイメージデータ列との差分(全ピクセルにおける差分)を求めて、それぞれの差分を積算(あるいは、平均)する。
【0102】
スクリーンイメージ解析部22は、最終的な差分を求めると、最終的な差分と所定の閾値を比較する。
スクリーンイメージ解析部22は、図1のスクリーンイメージ解析部4と同様に、差分が所定の閾値以下であれば(差分≦閾値)、記録開始条件を満足していると判断して(機器や設備などに異常が発生して、異常表示画面がスクリーン上に表示されていると判断する)、記録開始タイミングを検出する。
【0103】
ここでは、図17(a)に示すように、記録開始条件に合致するイメージファイル列として、5個のイメージファイル列が内部バッファにロードされている場合、5個のイメージファイル列に含まれている画像データ列とイメージデータ列の差分のいずれかが、所定の閾値以下であれば、記録開始条件を満足していると判断するが、5個のイメージファイル列に含まれている画像データ列とイメージデータ列の差分の全てが所定の閾値以下であるとき、記録開始条件を満足していると判断するようにしてもよい。
【0104】
また、ここでは、最初に5個のイメージファイル列に含まれている画像データ列とイメージデータ列の差分を算出してから、各差分を所定の閾値と比較しているが、最初に1個のイメージファイル列(例えば、「START001−0.RGB」、「START001−1.RGB」、「START001−2.RGB」)に含まれている画像データとイメージデータ列の差分を算出して、その差分と所定の閾値を比較し、その差分が所定の閾値以下であれば、記録開始条件を満足していると判断し、その差分が所定の閾値を越えていれば、他のイメージファイル列(例えば、「START002−0.RGB」、「START002−1.RGB」、「START002−2.RGB」)に含まれている画像データとイメージデータ列の差分を算出して、その差分と所定の閾値を比較するようにしてもよい。
【0105】
次に、スクリーンイメージ入力部2は、フェーズ3において、アプリケーション1の実行に伴って変化するスクリーン上の画像を示すイメージデータ列(例えば、連続している3個のイメージデータ)をフレームバッファ経由で取得し、そのイメージデータ列をスクリーンイメージ解析部22に出力する。
【0106】
スクリーンイメージ解析部22は、フェーズ3において、スクリーンイメージ入力部2から最新のイメージデータ列を受けると、その最新のイメージデータ列が示す動画像と、先に内部バッファにロードしている記録終了条件に合致する画像データ列が示す動画像とを解析して、そのイメージデータ列と画像データ列を比較する。
即ち、スクリーンイメージ解析部22は、ピクセル毎に、差分(R,G,B毎の差分)を計算して、全ピクセルにおける差分を積算するが、例えば、内部バッファにロードしている記録終了条件に合致する画像データ列のイメージファイルが、「STOP001−0.RGB」、「STOP001−1.RGB」、「STOP001−2.RGB」である場合、最初に、イメージファイル「STOP001−0.RGB」に含まれている画像データと、最新のイメージデータ列(連続している3個のイメージデータ)の中の1番目のイメージデータとの差分(全ピクセルにおける差分)を算出する。
次に、イメージファイル「STOP001−1.RGB」に含まれている画像データと、最新のイメージデータ列の中の2番目のイメージデータとの差分(全ピクセルにおける差分)を算出し、最後に、イメージファイル「STOP001−2.RGB」に含まれている画像データと、最新のイメージデータ列の中の3番目のイメージデータとの差分(全ピクセルにおける差分)を算出する。
【0107】
スクリーンイメージ解析部22は、3個の画像データと3個のイメージデータとの差分(全ピクセルにおける差分)を算出すると、それぞれの差分を積算(あるいは、平均)し、その積算(あるいは、平均)の結果を最終的な差分値とする。
ただし、図17(b)に示すように、記録終了条件に合致するイメージファイル列として、5個のイメージファイル列が内部バッファにロードされている場合、5個のイメージファイル列に含まれている画像データ列毎に、最新のイメージデータ列との差分(全ピクセルにおける差分)を求めて、それぞれの差分を積算(あるいは、平均)する。
【0108】
スクリーンイメージ解析部22は、最終的な差分を求めると、最終的な差分と所定の閾値を比較する。
スクリーンイメージ解析部22は、図1のスクリーンイメージ解析部4と同様に、差分が所定の閾値以下であれば(差分≦閾値)、記録終了条件を満足していると判断して(機器や設備などの異常が解消して、運転監視画面がスクリーン上に表示されていると判断する)、記録終了タイミングを検出する。
【0109】
ここでは、図17(b)に示すように、記録終了条件に合致するイメージファイル列として、5個のイメージファイル列が内部バッファにロードされている場合、5個のイメージファイル列に含まれている画像データ列とイメージデータ列の差分のいずれかが、所定の閾値以下であれば、記録終了条件を満足していると判断するが、5個のイメージファイル列に含まれている画像データ列とイメージデータ列の差分の全てが所定の閾値以下であるとき、記録終了条件を満足していると判断するようにしてもよい。
【0110】
また、ここでは、最初に5個のイメージファイル列に含まれている画像データ列とイメージデータ列の差分を算出してから、各差分を所定の閾値と比較しているが、最初に1個のイメージファイル列(例えば、「STOP001−0.RGB」、「STOP001−1.RGB」、「STOP001−2.RGB」)に含まれている画像データとイメージデータ列の差分を算出して、その差分と所定の閾値を比較し、その差分が所定の閾値以下であれば、記録終了条件を満足していると判断し、その差分が所定の閾値を越えていれば、他のイメージファイル列(例えば、「STOP002−0.RGB」、「STOP002−1.RGB」、「STOP002−2.RGB」)に含まれている画像データとイメージデータ列の差分を算出して、その差分と所定の閾値を比較するようにしてもよい。
【0111】
以上で明らかなように、この実施の形態5によれば、記録条件設定部21により設定が受け付けられた記録開始条件及び記録終了条件に合致する画像データ列とスクリーンイメージ入力部2により取得されたイメージデータ列の動画像を解析することで、その画像データ列とイメージデータ列を比較し、その比較結果を参照して、イメージデータの記録を開始する記録開始タイミング及びイメージデータの記録を終了する記録終了タイミングを検出するように構成したので、記録開始タイミング及び記録終了タイミングの検出精度を高めることができる効果を奏する。
【0112】
なお、この実施の形態5では、図1の記録条件設定部3及びスクリーンイメージ解析部4の代わりに、記録条件設定部21及びスクリーンイメージ解析部22を実装するものについて示したが、図8の記録条件設定部11及びスクリーンイメージ解析部12の代わりに、記録条件設定部21及びスクリーンイメージ解析部22を実装するようにしてもよい。
【0113】
実施の形態6.
図18はこの発明の実施の形態6によるスクリーン記録装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
圧縮方式格納部31はCPUの負荷に対応する圧縮方式及び圧縮パラメータ(解像度、フレームレート、圧縮率)を格納しているメモリなどの記録媒体である。
スクリーンイメージ記録処理部32はスクリーンイメージ解析部4により記録開始タイミングが検出された時点から、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始し、スクリーンイメージ解析部4により記録終了タイミングが検出された時点で、そのイメージデータの記録を終了する。
ただし、スクリーンイメージ記録処理部32はイメージデータの記録を開始する際にCPUの負荷を測定して、圧縮方式格納部31から負荷の測定結果に対応する圧縮方式及び圧縮パラメータを読み込み、その圧縮方式及び圧縮パラメータで、そのイメージデータを記録する。
なお、圧縮方式格納部31、スクリーンイメージ記録処理部32及びイメージデータ格納部6からイメージデータ記録手段が構成されている。
【0114】
図13では、スクリーン記録装置の構成要素であるスクリーンイメージ入力部2、記録条件設定部3、スクリーンイメージ解析部4、スクリーンイメージ記録処理部32及び画像再生部7のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、スクリーン記録装置がコンピュータで構成されている場合、スクリーンイメージ入力部2、記録条件設定部3、スクリーンイメージ解析部4、スクリーンイメージ記録処理部32及び画像再生部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
【0115】
次に動作について説明する。
上記実施の形態1〜5では、スクリーンイメージ記録処理部5が予め設定されている圧縮方式及び圧縮パラメータで、イメージデータを記録するものについて示したが、スクリーンイメージ記録処理部32がCPUの負荷を測定して、負荷の測定結果に対応する圧縮方式及び圧縮パラメータで、そのイメージデータを記録するようにしてもよい。
具体的には、以下の通りである。
【0116】
図19はCPUの負荷に対応する圧縮方式及び圧縮パラメータ(解像度、フレームレート、圧縮率)の一例を示す説明図である。
圧縮方式格納部31には、予め、図19に示すような圧縮方式及び圧縮パラメータが格納されている。
【0117】
スクリーンイメージ記録処理部32は、上記実施の形態1〜5と同様に、スクリーンイメージ解析部4により記録開始タイミングが検出された時点から、スクリーンイメージ入力部2により取得されたイメージデータの記録を開始し、スクリーンイメージ解析部4により記録終了タイミングが検出された時点で、そのイメージデータの記録を終了する。
ただし、スクリーンイメージ記録処理部32は、イメージデータの記録を開始する際にCPUの負荷を測定し、圧縮方式格納部31から負荷の測定結果に対応する圧縮方式及び圧縮パラメータの読込を行って、使用する圧縮方式及び圧縮パラメータを設定する。
【0118】
例えば、CPUの負荷が90%であれば、圧縮方式をJPEG、解像度を50%、フレームレートを1fps、圧縮率を1/20に設定し、CPUの負荷が30%であれば、圧縮方式をJPEG、解像度を100%、フレームレートを5fps、圧縮率を1/20に設定する。
圧縮方式格納部31は、使用する圧縮方式及び圧縮パラメータを設定すると、その圧縮方式及び圧縮パラメータで、イメージデータをイメージデータ格納部6に記録する。
【0119】
以上で明らかなように、この実施の形態6によれば、スクリーンイメージ記録処理部32がイメージデータの記録を開始する際にCPUの負荷を測定して、圧縮方式格納部31から負荷の測定結果に対応する圧縮方式及び圧縮パラメータを読み込み、その圧縮方式及び圧縮パラメータで、そのイメージデータを記録するように構成したので、イメージデータの記録処理の効率化を図ることができる効果を奏する。
【符号の説明】
【0120】
1 アプリケーション、2 スクリーンイメージ入力部(イメージデータ取得手段)、3,11,13,15,21 記録条件設定部(条件設定手段)、4,12,14,16,22 スクリーンイメージ解析部(タイミング検出手段)、5,32 スクリーンイメージ記録処理部(イメージデータ記録手段)、6 イメージデータ格納部(イメージデータ記録手段)、7 画像再生部(画像再生手段)、31 圧縮方式格納部(イメージデータ記録手段)。

【特許請求の範囲】
【請求項1】
アプリケーションの実行に伴って変化するスクリーン上の画像を示すイメージデータを取得するイメージデータ取得手段と、上記イメージデータ取得手段により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付けるとともに、上記イメージデータの記録を終了する際の記録終了条件として、その記録終了条件に合致する画像データの設定を受け付ける条件設定手段と、上記条件設定手段により設定が受け付けられた画像データと上記イメージデータ取得手段により取得されたイメージデータを比較し、その比較結果を参照して上記イメージデータの記録を開始する記録開始タイミング及び上記イメージデータの記録を終了する記録終了タイミングを検出するタイミング検出手段と、上記タイミング検出手段により記録開始タイミングが検出された時点から、上記イメージデータ取得手段により取得されたイメージデータの記録を開始し、上記タイミング検出手段により記録終了タイミングが検出された時点で、上記イメージデータの記録を終了するイメージデータ記録手段と、上記イメージデータ記録手段により記録されたイメージデータにしたがって画像をスクリーン上に再生する画像再生手段とを備えたスクリーン記録装置。
【請求項2】
タイミング検出手段は、条件設定手段により設定が受け付けられた記録開始条件に合致する画像データ及び記録終了条件に合致する画像データとイメージデータ取得手段により取得されたイメージデータの差分を算出し、その記録開始条件に合致する画像データと上記イメージデータの差分が所定の閾値以下になるタイミングを記録開始タイミングとして検出し、その記録終了条件に合致する画像データと上記イメージデータの差分が所定の閾値以下になるタイミングを記録終了タイミングとして検出することを特徴とする請求項1記載のスクリーン記録装置。
【請求項3】
アプリケーションの実行に伴って変化するスクリーン上の画像を示すイメージデータを取得するイメージデータ取得手段と、上記イメージデータ取得手段により取得されたイメージデータの記録を開始する際の記録開始条件として、その記録開始条件に合致する画像データの設定を受け付ける条件設定手段と、上記条件設定手段により設定が受け付けられた画像データと上記イメージデータ取得手段により取得されたイメージデータを比較し、その比較結果を参照して上記イメージデータの記録を開始する記録開始タイミング及び上記イメージデータの記録を終了する記録終了タイミングを検出するタイミング検出手段と、上記タイミング検出手段により記録開始タイミングが検出された時点から、上記イメージデータ取得手段により取得されたイメージデータの記録を開始し、上記タイミング検出手段により記録終了タイミングが検出された時点で、上記イメージデータの記録を終了するイメージデータ記録手段と、上記イメージデータ記録手段により記録されたイメージデータにしたがって画像をスクリーン上に再生する画像再生手段とを備えたスクリーン記録装置。
【請求項4】
タイミング検出手段は、条件設定手段により設定が受け付けられた画像データとイメージデータ取得手段により取得されたイメージデータの差分を算出し、上記差分が所定の閾値を越えるタイミングを記録開始タイミングとして検出し、上記差分が所定の閾値以下になるタイミングを記録終了タイミングとして検出することを特徴とする請求項3記載のスクリーン記録装置。
【請求項5】
条件設定手段は、スクリーン上の画像の中で比較対象から除外する領域の色の設定を受け付ける機能を備えており、
タイミング検出手段は、イメージデータ取得手段により取得されたイメージデータのうち、上記条件設定手段により設定が受け付けられた色と同一色の領域のイメージデータを比較対象から除外し、比較対象から除外していない残りのイメージデータと上記条件設定手段により設定が受け付けられた画像データを比較することを特徴とする請求項1から請求項4のうちのいずれか1項記載のスクリーン記録装置。
【請求項6】
条件設定手段は、スクリーン上の画像の中で比較対象の領域の設定を受け付ける機能を備えており、
タイミング検出手段は、イメージデータ取得手段により取得されたイメージデータの中から、上記条件設定手段により設定が受け付けられた領域のイメージデータを抽出し、上記イメージデータと上記条件設定手段により設定が受け付けられた画像データを比較することを特徴とする請求項1から請求項4のうちのいずれか1項記載のスクリーン記録装置。
【請求項7】
タイミング検出手段は、条件設定手段により一連の画像データの設定が受け付けられた場合、その一連の画像データと上記イメージデータ取得手段により取得された一連のイメージデータを比較することを特徴とする請求項1から請求項4のうちのいずれか1項記載のスクリーン記録装置。
【請求項8】
イメージデータ記録手段は、イメージデータ取得手段により取得されたイメージデータの記録を開始する際にCPUの負荷を測定し、上記負荷の測定結果に対応する圧縮方式及び圧縮パラメータで、上記イメージデータを記録することを特徴とする請求項1から請求項7のうちのいずれか1項記載のスクリーン記録装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2011−95979(P2011−95979A)
【公開日】平成23年5月12日(2011.5.12)
【国際特許分類】
【出願番号】特願2009−248924(P2009−248924)
【出願日】平成21年10月29日(2009.10.29)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】