監視システム
【課題】 本発明は、情報機器とオペレーターを撮影して得た膨大な画像情報の中から不正行為がなされた可能性のある画像の特定を容易にする監視システムの提供を目的とする。
【解決手段】 本発明の監視システムは、被監視情報機器（１０）の外観の少なくとも一部、並びに、前記情報機器を操作するオペレーター（１１）の少なくとも一部の画像を取り込むカメラ（２０）と、前記カメラ（２０）からの画像情報（Ａ）と前記情報機器（１０）からの操作履歴情報（Ｂ）とを取得し、保存ならびに管理するための管理サーバー（３０）と、を備え、前記画像情報（Ａ）と前記操作履歴情報（Ｂ）とを互いに対応する時刻情報（Ｔ）で関連付けることにより上記の課題を解決する。
【解決手段】 本発明の監視システムは、被監視情報機器（１０）の外観の少なくとも一部、並びに、前記情報機器を操作するオペレーター（１１）の少なくとも一部の画像を取り込むカメラ（２０）と、前記カメラ（２０）からの画像情報（Ａ）と前記情報機器（１０）からの操作履歴情報（Ｂ）とを取得し、保存ならびに管理するための管理サーバー（３０）と、を備え、前記画像情報（Ａ）と前記操作履歴情報（Ｂ）とを互いに対応する時刻情報（Ｔ）で関連付けることにより上記の課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータや端末に代表される情報機器を操作する際に、当該情報機器を操作する者が本来の使用目的とは異なる操作を為したか否かを、画像として再確認し得る監視システムに関する。
【背景技術】
【０００２】
コンピュータや端末機器に代表される情報機器は、人間の操作を伴う情報機器であるが故に、当該機器を操作する人間の意志によって本来の使用目的とは異なるも目的で使用することも可能である。
そこで、コンピュータを使用する者が当該コンピュータを利用して不正行為をしたか否かの確認、あるいは不正行為をすることに対する牽制のために監視カメラでコンピュータならびに当該コンピュータを使用する者の様子を監視カメラで撮影（または撮像）し、撮影した画像を録画（または保存）することが行われている。万が一、不正行為が発生した、あるいはその疑いが発生したときは、上記保存された画像を再生し分析することになる。
しかしながら、監視カメラで録画した膨大な映像から不正行為を見つけるには多大な時間と労力を要することから、様々な監視システムが開発されている。
【０００３】
特許文献1のものは、不正行為がなされたときのみ当該する端末を監視カメラで撮影する手段を採用している。即ち、特許文献１によれば、端末に対して不正行為が為されたときに発生する特定なイベントを、ネットワーク上を流れるパケットの解析により特定し、このようなイベントが発生したときに該当の端末を監視カメラで撮影することで、特定のイベントの発生に関与している端末を操作している者を瞬時に特定することが可能になる。
【０００４】
【特許文献１】特開２００６−４８１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載のように、端末に対して不正行為が為されたときに発生する特定なイベントを全て予測することは一般的に困難である。したがって、情報機器の操作によって発生するイベントが予測できないような不正行為までは監視しきれないという課題がある。
【０００６】
そこで本発明は、情報機器とその情報機器を操作する者を常時監視することを前提とする発明であって、監視カメラで撮影した膨大な画像情報の中から当該情報機器に対する不正行為がなされた、あるいは不正行為がなされた可能性のある画像の特定を容易にする監視システムの提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の監視システムは、以下の各態様に記載の手段により上記の課題を解決するものである。
【０００８】
本発明の第１の態様は、情報機器の運用状況を監視する監視システムにおいて、
前記情報機器（１０）は、当該機器の制御に対応するコマンド情報が定義されており、当該機器の制御のうち、当該機器の操作によって発生する所定コマンド情報を操作履歴情報（Ｂ）として送出する操作履歴情報送出手段を備え、前記監視システムは、前記情報機器（１０）の外観の少なくとも一部、並びに、前記情報機器を操作する者（１１）の少なくとも一部の画像を取り込むカメラ（２０）と、前記カメラ（２０）からの画像情報（Ａ）と前記情報機器（１０）からの操作履歴情報（Ｂ）とを取得し、保存ならびに管理するための管理サーバー（３０）と、を備え、前記画像情報（Ａ）と前記操作履歴情報（Ｂ）とが互いに対応する時刻情報（Ｔ）で関連付けていることを特徴とする。
【０００９】
本発明の第２の態様は、前記第１の態様において、前記画像情報（Ａ）は動画情報であって、動画を構成する各フレームまたはフィールド毎に時刻情報が付与されていることを特徴とする。
【００１０】
本発明の第３の態様は、前記第１の態様において、前記画像情報（Ａ）は静止画情報であって、所定の時間間隔で撮影された各静止画情報に対して時刻情報が付与されていることを特徴とする。
【００１１】
本発明の第４の態様は、前記第１から第３の何れかの態様において、前記時刻情報（Ｔ）は、前記管理サーバー内のタイムベースと同期していることを特徴とする。
【００１２】
本発明の第５の態様は、前記第１から第４の何れかの態様において、前記画像情報（Ａ）には、少なくとも当該画像情報を取り込んだカメラ（２０）を特定するカメラＩＤ番号が付与されることを特徴とする。
【００１３】
本発明の第６の態様は、前記第１から第４の何れかの態様において、前記操作履歴情報（Ｂ）には、少なくとも被監視情報機器（１０）を特定する情報機器ＩＤ番号が付与されることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、情報機器ならびに当該機器を使用する者の少なくとも一部を撮影した画像情報と、当該情報機器を操作したときに発生するコマンド情報からなる操作履歴情報とを互いに対応する時刻情報で関連付けて保存し管理するようにしたので、当該機器に対して問題となる操作が為されたときに発生するコマンド情報を検索することで問題となる操作が為された時刻情報が特定され、該時刻情報から対応する画像情報を特定できる。従って、検索により膨大な画像情報の中から問題となる操作が為されたときの画像情報を即時的に抽出できるという効果がある。
【図面の簡単な説明】
【００１５】
【図１】本発明のシステム構成を示す概念図である。
【図２】本発明にかかる準備段階の処理を示すフローチャートである。
【図３】本発明にかかる監視段階の処理を示すフローチャートである。
【図４】本発明の画像情報と操作履歴情報の一例を示す図表である。
【図５】本発明の画像情報と操作履歴情報の他の一例を示す図表である。
【図６】本発明にかかる分析処理の一例を示すフローチャートである。
【図７】本発明にかかる分析処理の他の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明のシステム構成を示す概念図である。図中、１０はコンピュータや各種端末などの情報機器、１１は情報機器を操作する者（以下、オペレーターと呼ぶ）である。情報機器１０は、一般にＣＰＵ（Central Processing Unit）あるいはＭＰＵ（Micro-Processing Unit）によって制御される機器であって、ＣＰＵあるいはＭＰＵに与える命令がコマンド情報として予め定義されている。すなわち、当該情報機器１０を操作する者が行う各種操作行為とコマンド情報とは一対一に対応している。さらにコマンド情報はＣＰＵあるいはＭＰＵに対する処理手順を記述した命令語であるからコンピュータにより検索可能な情報である。
【００１７】
図１において２０はカメラ、２１はコントローラー、Ａは画像情報、Ｂは操作履歴情報、３０は管理サーバー、４０は管理サーバーで処理したデータを保存し管理するためのデータベースを示している。カメラ２０としは、例えば、監視用テレビカメラ、一定間隔で静止画撮影する監視用スチルカメラが挙げられる。コントローラー２１はカメラ２０用のコントローラーであって、カメラ２０からの画像情報Ａを管理サーバー３０へ送出する送出手段を備えている。図１においてコントローラー２１はカメラ２０と別体の場合を示しているが、コントローラー２１とカメラ２０とは一体であってもよい。
【００１８】
図２は、本発明の監視システム（以下、単に本システムという。）にかかる準備段階の処理を示すフローチャートである。本システムの準備段階の処理としては、まず、管理サーバー３０の起動（Ｓ１１）が行われる。次いで、管理サーバー３０に繋がるカメラ２０ならびに被監視情報機器１０を特定するために、管理サーバー３０とカメラ２０との間でカメラＩＤ番号の認識（Ｓ１２）、ならびに管理サーバー３０と被監視情報機器１０との間で被監視情報機器ＩＤ番号の認識（Ｓ１３）が行われる。
【００１９】
さらに、当該機器を使用する者（以下、オペレーターという）を特定するために被監視オペレーターＩＤ番号の認識（Ｓ１４）が行われる場合もある。被監視オペレーターＩＤの認識（Ｓ１４）は、被監視情報機器へのログインの際に入力されるユーザーＩＤの認識処理を以って代用できる。
【００２０】
以上の各処理によって、所定の被監視情報機器１０と当該機器を監視するカメラ２０との対応関係を定める。すなわち、当該カメラ２０から送出される画像情報Ａと当該機器１０から送出される操作履歴情報Ｂに対してカメラＩＤ番号と被監視情報機器ＩＤ番号を属性情報として付与し、当該属性情報の共通性に基づき画像情報Ａと操作履歴情報Ｂとの対応関係を確立する準備が整う（Ｓ１５）。
【００２１】
図３は、本システムにかかる監視段階の処理を示すフローチャートである。本実施形態ではカメラ２０によって被監視情報機器１０ならびに当該機器を操作するオペレーターを撮像して得られた画像情報Ａが管理サーバー３０に送出され、それと略同時に被監視情報機器１０より操作履歴情報Ｂが管理サーバー３０に送出され、管理サーバー３０側で画像情報Ａと操作履歴情報Ｂとを時刻情報Ｔで関連付けて保存される。
【００２２】
より具体的には、被監視情報機器１０の外観の少なくとも一部、並びに、当該機器１０を操作するオペレーター１１の行動の少なくとも一部を上記カメラ２０が捉えた映像がコントローラー２１を介して管理サーバー３０に送出され、管理サーバー３０において画像情報Ａとして取得され（Ｓ２１）、略同時に当該機器１０からの操作情報Ｂが管理サーバー３０に送出され、管理サーバー３０において操作履歴情報Ｂとして取得される（Ｓ２２）。
【００２３】
次に、管理サーバー３０において、同サーバー内のタイムベースによって定まる時刻を基準にして、上記の画像情報Ａと操作履歴情報Ｂとを時刻情報Ｔで関連付ける（Ｓ２３）。
さらに、前述の準備段階の処理（図２のＳ１５）において定めた属性情報（カメラＩＤ番号、被監視情報機器ＩＤ番号）を上記の画像情報Ａと操作履歴情報Ｂに付与する（Ｓ２４）。
なお、上記Ｓ２３とＳ２４の処理の順番は逆でもよい。
【００２４】
画像情報Ａと操作情報Ｂは、以上の処理を経てデータベース４０に保存される（Ｓ２５）。
【００２５】
上記Ｓ２１〜２５の処理は画像情報の最小単位ごとに繰り返し行われる。例えば、カメラ２０がテレビカメラの場合、画像情報は動画情報であるから動画情報を構成する最小単位はフレームあるいはフィールドになる。従って、動画情報を構成するフレームあるいはフィールド毎に上記処理が繰り返される。
なお、上記Ｓ２１〜２５の処理は画像情報の最小単位ごとに限られるものではなく、最小単位の画像情報を幾つか束ねたものを単位として処理してもよい。
【００２６】
図４は本発明の画像情報Ａと操作履歴情報Ｂの一例を示す図表である。以下の実施形態においてはフレームを画像情報の最小単位とし、フレーム毎に時刻情報を付与した場合を例に説明する。同図表に示すように画像情報Ａを構成するフレームをａ（ｔｎ）として表すこととする。ｎは自然数であってフレームナンバーに相当する。ｔｎはフレームナンバーｎに対応するフレームの時刻情報を表す。したがって、画像情報Ａうち、時刻 ｔｎに該当するフレームはａ（ｔｎ）になる。
他方、同図表に示すように操作履歴情報Ｂを構成する操作履歴をｂ（ｔｎ）として表すこととすると、操作履歴情報Ｂのうち、時刻ｔｎに該当する操作履歴はｂ（ｔｎ）になる。
以上のように、画像情報Ａを構成するｎ番目のフレームａ（ｔｎ）と、操作履歴情報Ｂを構成する前記フレームａ（ｔｎ）に対応する操作履歴ｂ（ｔｎ）とは時刻ｔｎによって関連付けられている。
【００２７】
なお、上記実施形態においては画像情報が動画情報の場合を例に説明したが、画像情報は動画に限定されるものではなく、スチルカメラによって一定の時間間隔で連写した静止画情報でもよい。この場合は、各静止画情報のうち、ｎ番目の静止画情報をａ（ｔｎ）として表す。ｔｎは撮影した時刻を示す。こうして得られた画像情報Ａと操作履歴情報Ｂと時刻情報Ｔとの関連付け以降の処理は上記動画情報の場合と同様である。
【００２８】
図５は本発明の画像情報Ａと操作履歴情報Ｂの他の一例を示す図表である。本実施形態ではカメラ２０を複数台用いて、複数のカメラで所定の被監視情報機器１０ならびに当該機器を操作するオペレーターを撮像し、それぞれのカメラから得られるそれぞれの画像情報Ａ１、Ａ２・・・と被監視情報機器１０からの操作履歴情報Ｂとを時刻情報Ｔで関連付けて処理するようにしたものである。図５に示したものは２台のカメラを用いた場合の例であって、一方のカメラからの画像情報をＡ１、他方のカメラからの画像情報をＡ２で表している。ここで、画像情報Ａ１うち、時刻 ｔｎに該当するフレームはａ１（ｔｎ）、画像情報Ａ２うち、時刻 ｔｎに該当するフレームはａ２（ｔｎ）として表す。
例えば、被監視情報機器１０とオペレーター１１を含む広い範囲の画像と捉えたものを画像情報Ａ１とし、被監視情報機器１０のキーボード周辺とオペレーター１１の手元付近を中心に捉えたものを画像情報Ａ２とすることで、より多くの画像情報の取得が可能となる。
以上のように複数の画像情報Ａ１，Ａ２・・・と、操作履歴情報Ｂとを時刻Ｔで関連付けて処理することも可能である。
【００２９】
（実施例）
以下、所定の情報機器においてオペレーターにより不正行為あるいは不正行為と疑われる可能性を含む問題となる操作が為された場合を想定し、問題となる操作Ｘの為された画像情報を抽出する処理（以下、分析処理という）について説明する。
【００３０】
（分析例１）
図６は本発明にかかる分析処理の一例（分析例１）を示すフローチャートである。
分析例１は、任意のオペレーター（特にオペレーターは特定せず）が操作した特定の情報機器から問題のとなる操作Ｘの為された画像情報を分析する場合の例を示している。
分析例１においては、まず、データベース４０に保存されているデータから所定の被監視情報機器ＩＤ番号に該当するデータの集合（画像情報Ａ、操作履歴情報Ｂ）を特定する（Ｓ３１）。
次に、被監視情報機器に対して問題となる操作を行ったときに発生するコマンド情報Ｘを特定し、当該コマンド情報Ｘをキーにして上記データ中の該当する操作履歴情報Ｂの集合を検索する（Ｓ３２）。
次に、上記検索によって抽出された操作履歴情報ｂ（ｔｘ）から問題となる操作の為された時刻ｔｘを特定する（Ｓ３３）。
次に、上記データ中の該当する画像情報Ａの集合から上記時刻ｔｘに対応する画像情報ａ（ｔｘ）を抽出する（Ｓ３４）。
以上の分析処理により上記被監視情報機器において問題となる操作の為された画像情報ａ（ｔｘ）の画像を特定することができ、当該画像を再生し目視で検証できる（Ｓ３５）。
【００３１】
（分析例２）
図７は本発明にかかる分析処理の他の一例（分析例２）を示すフローチャートである。
分析例２は、特定のオペレーターに着目して、当該オペレーターが操作した可能性のある複数台の情報機器から問題のとなる操作Ｘの為された画像情報を分析する場合の例を示している。
分析例２においては、まず、データベース４０に保存されているデータから被監視オペレーターＩＤ番号に該当するデータの集合（画像情報Ａ、操作履歴情報Ｂ）の集合を特定する（Ｓ４１）。
次に、被監視情報機器に対して問題となる操作を行ったときに発生するコマンド情報Ｘを特定し、当該コマンド情報Ｘをキーにして上記データ中の該当する操作履歴情報Ｂの集合を検索する（Ｓ４２）。
次に、上記検索によって抽出された操作履歴情報ｂ（ｔｘ）から問題となる操作の為された時刻ｔｘを特定する（Ｓ４３）。
次に、上記データ中の該当する画像情報Ａの集合から上記時刻ｔｘに対応する画像情報ａ（ｔｘ）を抽出する（Ｓ４４）。
以上の分析処理により上記オペレーターＩＤ番号のオペレーターが問題となる操作をしたときの画像情報ａ（ｔｘ）の画像を特定することができ、当該画像を再生し目視で検証できる（Ｓ４５）。
【符号の説明】
【００３２】
１０・・・情報機器
１１・・・オペレーター（情報機器を操作する者）
２０・・・カメラ
２１・・・コントローラー
３０・・・管理サーバー
４０・・・データベース
Ａ・・・画像情報
Ｂ・・・操作履歴情報
Ｔ・・・時刻情報
【技術分野】
【０００１】
本発明は、コンピュータや端末に代表される情報機器を操作する際に、当該情報機器を操作する者が本来の使用目的とは異なる操作を為したか否かを、画像として再確認し得る監視システムに関する。
【背景技術】
【０００２】
コンピュータや端末機器に代表される情報機器は、人間の操作を伴う情報機器であるが故に、当該機器を操作する人間の意志によって本来の使用目的とは異なるも目的で使用することも可能である。
そこで、コンピュータを使用する者が当該コンピュータを利用して不正行為をしたか否かの確認、あるいは不正行為をすることに対する牽制のために監視カメラでコンピュータならびに当該コンピュータを使用する者の様子を監視カメラで撮影（または撮像）し、撮影した画像を録画（または保存）することが行われている。万が一、不正行為が発生した、あるいはその疑いが発生したときは、上記保存された画像を再生し分析することになる。
しかしながら、監視カメラで録画した膨大な映像から不正行為を見つけるには多大な時間と労力を要することから、様々な監視システムが開発されている。
【０００３】
特許文献1のものは、不正行為がなされたときのみ当該する端末を監視カメラで撮影する手段を採用している。即ち、特許文献１によれば、端末に対して不正行為が為されたときに発生する特定なイベントを、ネットワーク上を流れるパケットの解析により特定し、このようなイベントが発生したときに該当の端末を監視カメラで撮影することで、特定のイベントの発生に関与している端末を操作している者を瞬時に特定することが可能になる。
【０００４】
【特許文献１】特開２００６−４８１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載のように、端末に対して不正行為が為されたときに発生する特定なイベントを全て予測することは一般的に困難である。したがって、情報機器の操作によって発生するイベントが予測できないような不正行為までは監視しきれないという課題がある。
【０００６】
そこで本発明は、情報機器とその情報機器を操作する者を常時監視することを前提とする発明であって、監視カメラで撮影した膨大な画像情報の中から当該情報機器に対する不正行為がなされた、あるいは不正行為がなされた可能性のある画像の特定を容易にする監視システムの提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の監視システムは、以下の各態様に記載の手段により上記の課題を解決するものである。
【０００８】
本発明の第１の態様は、情報機器の運用状況を監視する監視システムにおいて、
前記情報機器（１０）は、当該機器の制御に対応するコマンド情報が定義されており、当該機器の制御のうち、当該機器の操作によって発生する所定コマンド情報を操作履歴情報（Ｂ）として送出する操作履歴情報送出手段を備え、前記監視システムは、前記情報機器（１０）の外観の少なくとも一部、並びに、前記情報機器を操作する者（１１）の少なくとも一部の画像を取り込むカメラ（２０）と、前記カメラ（２０）からの画像情報（Ａ）と前記情報機器（１０）からの操作履歴情報（Ｂ）とを取得し、保存ならびに管理するための管理サーバー（３０）と、を備え、前記画像情報（Ａ）と前記操作履歴情報（Ｂ）とが互いに対応する時刻情報（Ｔ）で関連付けていることを特徴とする。
【０００９】
本発明の第２の態様は、前記第１の態様において、前記画像情報（Ａ）は動画情報であって、動画を構成する各フレームまたはフィールド毎に時刻情報が付与されていることを特徴とする。
【００１０】
本発明の第３の態様は、前記第１の態様において、前記画像情報（Ａ）は静止画情報であって、所定の時間間隔で撮影された各静止画情報に対して時刻情報が付与されていることを特徴とする。
【００１１】
本発明の第４の態様は、前記第１から第３の何れかの態様において、前記時刻情報（Ｔ）は、前記管理サーバー内のタイムベースと同期していることを特徴とする。
【００１２】
本発明の第５の態様は、前記第１から第４の何れかの態様において、前記画像情報（Ａ）には、少なくとも当該画像情報を取り込んだカメラ（２０）を特定するカメラＩＤ番号が付与されることを特徴とする。
【００１３】
本発明の第６の態様は、前記第１から第４の何れかの態様において、前記操作履歴情報（Ｂ）には、少なくとも被監視情報機器（１０）を特定する情報機器ＩＤ番号が付与されることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、情報機器ならびに当該機器を使用する者の少なくとも一部を撮影した画像情報と、当該情報機器を操作したときに発生するコマンド情報からなる操作履歴情報とを互いに対応する時刻情報で関連付けて保存し管理するようにしたので、当該機器に対して問題となる操作が為されたときに発生するコマンド情報を検索することで問題となる操作が為された時刻情報が特定され、該時刻情報から対応する画像情報を特定できる。従って、検索により膨大な画像情報の中から問題となる操作が為されたときの画像情報を即時的に抽出できるという効果がある。
【図面の簡単な説明】
【００１５】
【図１】本発明のシステム構成を示す概念図である。
【図２】本発明にかかる準備段階の処理を示すフローチャートである。
【図３】本発明にかかる監視段階の処理を示すフローチャートである。
【図４】本発明の画像情報と操作履歴情報の一例を示す図表である。
【図５】本発明の画像情報と操作履歴情報の他の一例を示す図表である。
【図６】本発明にかかる分析処理の一例を示すフローチャートである。
【図７】本発明にかかる分析処理の他の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明のシステム構成を示す概念図である。図中、１０はコンピュータや各種端末などの情報機器、１１は情報機器を操作する者（以下、オペレーターと呼ぶ）である。情報機器１０は、一般にＣＰＵ（Central Processing Unit）あるいはＭＰＵ（Micro-Processing Unit）によって制御される機器であって、ＣＰＵあるいはＭＰＵに与える命令がコマンド情報として予め定義されている。すなわち、当該情報機器１０を操作する者が行う各種操作行為とコマンド情報とは一対一に対応している。さらにコマンド情報はＣＰＵあるいはＭＰＵに対する処理手順を記述した命令語であるからコンピュータにより検索可能な情報である。
【００１７】
図１において２０はカメラ、２１はコントローラー、Ａは画像情報、Ｂは操作履歴情報、３０は管理サーバー、４０は管理サーバーで処理したデータを保存し管理するためのデータベースを示している。カメラ２０としは、例えば、監視用テレビカメラ、一定間隔で静止画撮影する監視用スチルカメラが挙げられる。コントローラー２１はカメラ２０用のコントローラーであって、カメラ２０からの画像情報Ａを管理サーバー３０へ送出する送出手段を備えている。図１においてコントローラー２１はカメラ２０と別体の場合を示しているが、コントローラー２１とカメラ２０とは一体であってもよい。
【００１８】
図２は、本発明の監視システム（以下、単に本システムという。）にかかる準備段階の処理を示すフローチャートである。本システムの準備段階の処理としては、まず、管理サーバー３０の起動（Ｓ１１）が行われる。次いで、管理サーバー３０に繋がるカメラ２０ならびに被監視情報機器１０を特定するために、管理サーバー３０とカメラ２０との間でカメラＩＤ番号の認識（Ｓ１２）、ならびに管理サーバー３０と被監視情報機器１０との間で被監視情報機器ＩＤ番号の認識（Ｓ１３）が行われる。
【００１９】
さらに、当該機器を使用する者（以下、オペレーターという）を特定するために被監視オペレーターＩＤ番号の認識（Ｓ１４）が行われる場合もある。被監視オペレーターＩＤの認識（Ｓ１４）は、被監視情報機器へのログインの際に入力されるユーザーＩＤの認識処理を以って代用できる。
【００２０】
以上の各処理によって、所定の被監視情報機器１０と当該機器を監視するカメラ２０との対応関係を定める。すなわち、当該カメラ２０から送出される画像情報Ａと当該機器１０から送出される操作履歴情報Ｂに対してカメラＩＤ番号と被監視情報機器ＩＤ番号を属性情報として付与し、当該属性情報の共通性に基づき画像情報Ａと操作履歴情報Ｂとの対応関係を確立する準備が整う（Ｓ１５）。
【００２１】
図３は、本システムにかかる監視段階の処理を示すフローチャートである。本実施形態ではカメラ２０によって被監視情報機器１０ならびに当該機器を操作するオペレーターを撮像して得られた画像情報Ａが管理サーバー３０に送出され、それと略同時に被監視情報機器１０より操作履歴情報Ｂが管理サーバー３０に送出され、管理サーバー３０側で画像情報Ａと操作履歴情報Ｂとを時刻情報Ｔで関連付けて保存される。
【００２２】
より具体的には、被監視情報機器１０の外観の少なくとも一部、並びに、当該機器１０を操作するオペレーター１１の行動の少なくとも一部を上記カメラ２０が捉えた映像がコントローラー２１を介して管理サーバー３０に送出され、管理サーバー３０において画像情報Ａとして取得され（Ｓ２１）、略同時に当該機器１０からの操作情報Ｂが管理サーバー３０に送出され、管理サーバー３０において操作履歴情報Ｂとして取得される（Ｓ２２）。
【００２３】
次に、管理サーバー３０において、同サーバー内のタイムベースによって定まる時刻を基準にして、上記の画像情報Ａと操作履歴情報Ｂとを時刻情報Ｔで関連付ける（Ｓ２３）。
さらに、前述の準備段階の処理（図２のＳ１５）において定めた属性情報（カメラＩＤ番号、被監視情報機器ＩＤ番号）を上記の画像情報Ａと操作履歴情報Ｂに付与する（Ｓ２４）。
なお、上記Ｓ２３とＳ２４の処理の順番は逆でもよい。
【００２４】
画像情報Ａと操作情報Ｂは、以上の処理を経てデータベース４０に保存される（Ｓ２５）。
【００２５】
上記Ｓ２１〜２５の処理は画像情報の最小単位ごとに繰り返し行われる。例えば、カメラ２０がテレビカメラの場合、画像情報は動画情報であるから動画情報を構成する最小単位はフレームあるいはフィールドになる。従って、動画情報を構成するフレームあるいはフィールド毎に上記処理が繰り返される。
なお、上記Ｓ２１〜２５の処理は画像情報の最小単位ごとに限られるものではなく、最小単位の画像情報を幾つか束ねたものを単位として処理してもよい。
【００２６】
図４は本発明の画像情報Ａと操作履歴情報Ｂの一例を示す図表である。以下の実施形態においてはフレームを画像情報の最小単位とし、フレーム毎に時刻情報を付与した場合を例に説明する。同図表に示すように画像情報Ａを構成するフレームをａ（ｔｎ）として表すこととする。ｎは自然数であってフレームナンバーに相当する。ｔｎはフレームナンバーｎに対応するフレームの時刻情報を表す。したがって、画像情報Ａうち、時刻 ｔｎに該当するフレームはａ（ｔｎ）になる。
他方、同図表に示すように操作履歴情報Ｂを構成する操作履歴をｂ（ｔｎ）として表すこととすると、操作履歴情報Ｂのうち、時刻ｔｎに該当する操作履歴はｂ（ｔｎ）になる。
以上のように、画像情報Ａを構成するｎ番目のフレームａ（ｔｎ）と、操作履歴情報Ｂを構成する前記フレームａ（ｔｎ）に対応する操作履歴ｂ（ｔｎ）とは時刻ｔｎによって関連付けられている。
【００２７】
なお、上記実施形態においては画像情報が動画情報の場合を例に説明したが、画像情報は動画に限定されるものではなく、スチルカメラによって一定の時間間隔で連写した静止画情報でもよい。この場合は、各静止画情報のうち、ｎ番目の静止画情報をａ（ｔｎ）として表す。ｔｎは撮影した時刻を示す。こうして得られた画像情報Ａと操作履歴情報Ｂと時刻情報Ｔとの関連付け以降の処理は上記動画情報の場合と同様である。
【００２８】
図５は本発明の画像情報Ａと操作履歴情報Ｂの他の一例を示す図表である。本実施形態ではカメラ２０を複数台用いて、複数のカメラで所定の被監視情報機器１０ならびに当該機器を操作するオペレーターを撮像し、それぞれのカメラから得られるそれぞれの画像情報Ａ１、Ａ２・・・と被監視情報機器１０からの操作履歴情報Ｂとを時刻情報Ｔで関連付けて処理するようにしたものである。図５に示したものは２台のカメラを用いた場合の例であって、一方のカメラからの画像情報をＡ１、他方のカメラからの画像情報をＡ２で表している。ここで、画像情報Ａ１うち、時刻 ｔｎに該当するフレームはａ１（ｔｎ）、画像情報Ａ２うち、時刻 ｔｎに該当するフレームはａ２（ｔｎ）として表す。
例えば、被監視情報機器１０とオペレーター１１を含む広い範囲の画像と捉えたものを画像情報Ａ１とし、被監視情報機器１０のキーボード周辺とオペレーター１１の手元付近を中心に捉えたものを画像情報Ａ２とすることで、より多くの画像情報の取得が可能となる。
以上のように複数の画像情報Ａ１，Ａ２・・・と、操作履歴情報Ｂとを時刻Ｔで関連付けて処理することも可能である。
【００２９】
（実施例）
以下、所定の情報機器においてオペレーターにより不正行為あるいは不正行為と疑われる可能性を含む問題となる操作が為された場合を想定し、問題となる操作Ｘの為された画像情報を抽出する処理（以下、分析処理という）について説明する。
【００３０】
（分析例１）
図６は本発明にかかる分析処理の一例（分析例１）を示すフローチャートである。
分析例１は、任意のオペレーター（特にオペレーターは特定せず）が操作した特定の情報機器から問題のとなる操作Ｘの為された画像情報を分析する場合の例を示している。
分析例１においては、まず、データベース４０に保存されているデータから所定の被監視情報機器ＩＤ番号に該当するデータの集合（画像情報Ａ、操作履歴情報Ｂ）を特定する（Ｓ３１）。
次に、被監視情報機器に対して問題となる操作を行ったときに発生するコマンド情報Ｘを特定し、当該コマンド情報Ｘをキーにして上記データ中の該当する操作履歴情報Ｂの集合を検索する（Ｓ３２）。
次に、上記検索によって抽出された操作履歴情報ｂ（ｔｘ）から問題となる操作の為された時刻ｔｘを特定する（Ｓ３３）。
次に、上記データ中の該当する画像情報Ａの集合から上記時刻ｔｘに対応する画像情報ａ（ｔｘ）を抽出する（Ｓ３４）。
以上の分析処理により上記被監視情報機器において問題となる操作の為された画像情報ａ（ｔｘ）の画像を特定することができ、当該画像を再生し目視で検証できる（Ｓ３５）。
【００３１】
（分析例２）
図７は本発明にかかる分析処理の他の一例（分析例２）を示すフローチャートである。
分析例２は、特定のオペレーターに着目して、当該オペレーターが操作した可能性のある複数台の情報機器から問題のとなる操作Ｘの為された画像情報を分析する場合の例を示している。
分析例２においては、まず、データベース４０に保存されているデータから被監視オペレーターＩＤ番号に該当するデータの集合（画像情報Ａ、操作履歴情報Ｂ）の集合を特定する（Ｓ４１）。
次に、被監視情報機器に対して問題となる操作を行ったときに発生するコマンド情報Ｘを特定し、当該コマンド情報Ｘをキーにして上記データ中の該当する操作履歴情報Ｂの集合を検索する（Ｓ４２）。
次に、上記検索によって抽出された操作履歴情報ｂ（ｔｘ）から問題となる操作の為された時刻ｔｘを特定する（Ｓ４３）。
次に、上記データ中の該当する画像情報Ａの集合から上記時刻ｔｘに対応する画像情報ａ（ｔｘ）を抽出する（Ｓ４４）。
以上の分析処理により上記オペレーターＩＤ番号のオペレーターが問題となる操作をしたときの画像情報ａ（ｔｘ）の画像を特定することができ、当該画像を再生し目視で検証できる（Ｓ４５）。
【符号の説明】
【００３２】
１０・・・情報機器
１１・・・オペレーター（情報機器を操作する者）
２０・・・カメラ
２１・・・コントローラー
３０・・・管理サーバー
４０・・・データベース
Ａ・・・画像情報
Ｂ・・・操作履歴情報
Ｔ・・・時刻情報
【特許請求の範囲】
【請求項１】
情報機器の運用状況を監視する監視システムにおいて、
前記情報機器は、当該機器の制御に対応するコマンド情報が定義されており、当該機器の制御のうち、当該機器の操作によって発生するコマンド情報を操作履歴情報として送出する操作履歴情報送出手段を備え、
前記監視システムは、
前記情報機器の外観の少なくとも一部、並びに、前記情報機器を操作する者の少なくとも一部の画像を取り込むカメラと、
前記カメラからの画像情報と前記情報機器からの操作履歴情報とを取得し、保存ならびに管理するための管理サーバーと、
を備え、
前記画像情報と前記操作履歴情報とが互いに対応する時刻情報で関連付けられていることを特徴とする監視システム。
【請求項２】
前記画像情報は動画情報であって、動画を構成する各フレームまたはフィールド毎に時刻情報が付与されていることを特徴とする請求項１記載の監視システム。
【請求項３】
前記画像情報は静止画情報であって、所定の時間間隔で撮影された各静止画情報に対して時刻情報が付与されていることを特徴とする請求項１記載の監視システム。
【請求項４】
前記時刻情報は、前記管理サーバー内のタイムベースと同期していることを特徴とする請求項１〜３何れか一項記載の監視システム。
【請求項５】
前記画像情報には、少なくとも当該画像情報を取り込んだカメラを特定するカメラＩＤ番号が付与されることを特徴とする請求項１〜４何れか一項記載の監視システム。
【請求項６】
前記操作履歴情報には、少なくとも被監視情報機器を特定する情報機器ＩＤ番号が付与されることを特徴とする請求項１〜４何れか一項記載の監視システム。
【請求項１】
情報機器の運用状況を監視する監視システムにおいて、
前記情報機器は、当該機器の制御に対応するコマンド情報が定義されており、当該機器の制御のうち、当該機器の操作によって発生するコマンド情報を操作履歴情報として送出する操作履歴情報送出手段を備え、
前記監視システムは、
前記情報機器の外観の少なくとも一部、並びに、前記情報機器を操作する者の少なくとも一部の画像を取り込むカメラと、
前記カメラからの画像情報と前記情報機器からの操作履歴情報とを取得し、保存ならびに管理するための管理サーバーと、
を備え、
前記画像情報と前記操作履歴情報とが互いに対応する時刻情報で関連付けられていることを特徴とする監視システム。
【請求項２】
前記画像情報は動画情報であって、動画を構成する各フレームまたはフィールド毎に時刻情報が付与されていることを特徴とする請求項１記載の監視システム。
【請求項３】
前記画像情報は静止画情報であって、所定の時間間隔で撮影された各静止画情報に対して時刻情報が付与されていることを特徴とする請求項１記載の監視システム。
【請求項４】
前記時刻情報は、前記管理サーバー内のタイムベースと同期していることを特徴とする請求項１〜３何れか一項記載の監視システム。
【請求項５】
前記画像情報には、少なくとも当該画像情報を取り込んだカメラを特定するカメラＩＤ番号が付与されることを特徴とする請求項１〜４何れか一項記載の監視システム。
【請求項６】
前記操作履歴情報には、少なくとも被監視情報機器を特定する情報機器ＩＤ番号が付与されることを特徴とする請求項１〜４何れか一項記載の監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２２２４６２（Ｐ２０１２−２２２４６２Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８３９４７（Ｐ２０１１−８３９４７）
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]