類似画像検索機能を持つ情報漏えい抑止システム
【課題】 ジョブ実行データを蓄積し、追跡可能とする情報漏えい抑止システムにおいて、画像特徴量の抽出は、画像領域情報を抽出してから行なうが、領域情報の抽出は、一般的に文書画像のレイアウトや印刷条件に左右される。例えば、2つの画像が重なって配置されている場合などは、1つの大きな画像領域として認識される可能性がある。このような領域情報の誤認識の結果、画像特徴量の抽出および、類似画像検索の精度が低下するという問題があった。
【解決手段】 クライアントＰＣ上のプリンタドライバにおいて収集、生成する文書画像や印刷実行環境情報に加え、文書データに含まれる画像領域情報を抽出し、合わせてサーバーへ送信する。サーバーではブロックセレクションなどの領域情報抽出処理を行なわず、プリンタドライバで抽出された領域情報を利用して特徴量抽出を行なう。
【解決手段】 クライアントＰＣ上のプリンタドライバにおいて収集、生成する文書画像や印刷実行環境情報に加え、文書データに含まれる画像領域情報を抽出し、合わせてサーバーへ送信する。サーバーではブロックセレクションなどの領域情報抽出処理を行なわず、プリンタドライバで抽出された領域情報を利用して特徴量抽出を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法に関し、詳しくは、パーソナルコンピュータ等の情報処理装置とプリンタなどの印刷装置を有して構成されるシステムにおける特許である。特に、前記印刷装置から印刷された文書の内容を蓄積し追跡可能とすることで、情報漏えいを抑止するネットワーク印刷システムに関するものである。
【背景技術】
【０００２】
近年、コンピュータ技術の発達やデジタル複合機の普及に伴い、原稿の印刷や複写、送信などの作業が容易に行なえるようになっている。このような利便性向上の反面、機密原稿の複写や送信といった情報漏えいの可能性が増加し、企業活動において情報管理が重要な問題となっている。このような情報漏えいへの対策として、プリンタ及びデジタル複合機の各ジョブを実行する際に、ジョブの実行情報（ジョブ実行時刻、ジョブ実行ユーザーなど）と、ジョブで扱った文書データを記憶装置に蓄積しておく情報漏えい抑止システムがある。このようなシステムでは、情報が漏えいした場合に蓄積された文書データを参照することで、その情報がいつ、どこで、どのような処理をされたか、などの情報を追跡でき、情報漏えいの原因究明が可能となる。
【０００３】
蓄積したジョブデータを検索する手段は、大きく属性検索、全文検索、類似画像検索に分けられる。属性検索は、ジョブ実行情報に対して検索するものである。たとえば、ユーザー名を指定することで、そのユーザーが行ったジョブの履歴を参照することができる。全文検索は、文書内に含まれるテキストに対して検索するものである。たとえば、「印刷禁止」という文字列を指定することで、「印刷禁止」という文字列を含む文書を扱ったジョブの履歴を参照することができる。類似画像検索は、文書に含まれる画像に対して検索するものである。ある画像を指定することで、その画像に類似した画像を含む文書を扱ったジョブの履歴を参照することができる。一般に、類似しているかどうかは画像のエッジ情報、輝度情報などを比較することで判断する。
【０００４】
属性やテキストに対する検索が文字列のマッチングを行なうのに対し、類似画像検索は画像の特徴のパターンマッチングを行なう。そのため、蓄積したジョブデータに含まれる画像に対して類似画像検索を行なうためには、ジョブデータに含まれる画像の特徴量を抽出しておく必要がある。大量のジョブデータを扱う情報漏えい抑止システムでは、各ユーザーが実行したジョブデータをサーバーに収集し、サーバーでの画像処理によって特徴量を抽出するのが一般的である。画像に対して画像領域を認識し、特徴量を抽出する方法して、特許文献１がある。
また、各ユーザーがジョブを実行した際にプリンタドライバで特徴量を抽出する手段として、特許文献２および特許文献３がある。
【特許文献１】特開２００１−０８４２７４号公報
【特許文献２】特開平０８−１６１４６７号公報
【特許文献３】特開平０８−１４７４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術では、まず特許文献１に書かれている方法を情報漏えい抑止システムに適用した場合、大量のジョブデータに対してサーバーで画像処理を行なうため、サーバーの負荷が高くなり、システムのボトルネックとなる危険性がある。また、画像の色情報などに基づいて画像領域を判断するため、印刷条件や文書レイアウトに影響されやすいという問題がある。たとえば、近い位置に二つの画像が貼り付けられた文書データの場合、サーバーでの画像領域抽出処理によって、二つの画像が一つの大きな画像と誤認識される可能性もある。そのため、画像の特徴量を正確に抽出することができず、類似画像検索の精度低下につながる。
【０００６】
それに対し、特許文献２および特許文献３では、ユーザーが印刷実行した際に、プリンタドライバにて特徴量抽出することにより、サーバーの負荷を低減することができる。また、プリンタドライバで描画情報を認識しているため、二つの画像を一つの大きな画像と誤認識する恐れもない。しかし、これら２つの特許文献はいずれも、プリンタドライバ内で抽出した検索用キーワードを画像の特徴量と考え、それを画像と共にデータベースへ格納している。これはすなわち、属性検索を実現する方法であり、類似画像検索を実現することができない。そもそも、プリンタドライバはＧＤＩ（Graphic Device Interface）などの描画情報を認識するものであり、画像の特徴を表すエッジや輝度といった情報は認識することができない。
【課題を解決するための手段】
【０００７】
プリンタで印刷した文書データを蓄積することで、追跡可能とする情報漏えい抑止システムであって、文書データ印刷時に文書データ内画像の領域情報を抽出する第一領域情報抽出手段と、文書データから追跡用ジョブデータを抽出するジョブデータ抽出手段と、前記第一領域情報抽出手段で抽出された領域情報と前記ジョブデータ抽出手段によって抽出された追跡用ジョブデータをサーバーへ送信するジョブデータ送信手段と、領域情報に基づいてジョブデータの画像から画像特徴量を抽出する特徴量抽出手段と、前記ジョブデータ抽出手段によって得られたジョブデータと前記特徴量抽出手段によって得られた画像特徴量を関連付けて蓄積するジョブデータ蓄積手段と、前記ジョブデータ蓄積手段によって蓄積されたジョブデータの中から、ジョブデータを検索するジョブデータ検索手段と、前記ジョブデータ検索手段の結果をユーザーに提示する検索結果表示手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明は、上記のような構成を有することで、精度の良い特徴量抽出を実現することができる。その結果、情報漏えい抑止システムが蓄積したジョブデータの画像に対する類似画像検索の精度を高める効果がある。
【０００９】
また、サーバーでの領域情報抽出処理が不要となるため、画像処理の負荷が低減され、システムのスループットが向上する。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態に係る情報漏えい抑止システムに関する実施形態について説明する。
【００１１】
図１は、本実施形態におけるシステム構成図を示す。図示するように、ＬＡＮなどのネットワーク１０１を介して、各構成要素が相互に接続されている。クライアントＰＣ１０２は、ユーザーの印刷指示に応じてジョブデータをデータ処理サーバー１０３へ送信する。また、クライアントＰＣ１０２は、印刷指示に応じて印刷情報をプリンタ１０４やデジタル複合機１０５へ送信する。プリンタ１０４やデジタル複合機１０５は、クライアントＰＣ１０２から受信した印刷情報にしたがって、印刷を実行する。データ処理サーバー１０３は、クライアントＰＣ１０２から受信したジョブデータに対して、画像の特徴量抽出やＯＣＲなどの処理を行い、印刷された文書データを検索可能な情報と合わせてアーカイブサーバー１０６へ送信する。同様に、デジタル複合機１０５で行なわれたコピー、スキャン、Ｓｅｎｄなどの各入出力ジョブデータは、データ処理サーバー１０３へ送信され、データ処理を行なった後にアーカイブサーバー１０６に送信される。アーカイブサーバー１０６は、データ処理サーバー１０３から受信したジョブデータを蓄積する。検索サーバー１０７は、検索クライアント１０８からクエリー画像や検索条件を受信し、クエリー画像に対しては画像領域抽出処理や特徴量抽出処理を行なう。そして、クエリー画像の特徴量と検索条件に基づいて、アーカイブサーバー１０６に蓄積されたジョブデータの中から、検索条件を満たし、かつクエリー画像と類似した文書画像を検索する。検索クライアント１０８は、ユーザーが指定したクエリー画像や検索条件を検索サーバー１０７へ送信して検索指示を出し、算出された類似度に応じた検索結果をーに表示する。
【００１２】
図２は、本実施形態における図１のクライアントＰＣ１０２、データ処理サーバー１０３、アーカイブサーバー１０６、検索サーバー１０７および検索クライアント１０８のハードウェア構成を示すブロック図である。いずれもＩＢＭ−ＰＣ／ＡＴ互換機などの汎用ＰＣなので同じブロック図としている。なお、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムであっても、ＬＡＮやＷＡＮ等のネットワークを介して接続され、処理が行われるシステムであっても本発明を適用できる。
【００１３】
ＣＰＵ２０１は、内部バスで接続されるＲＡＭやＨＤＤを制御し、本発明を実現するためのプログラムを実行する。ＲＯＭ２０２は、ＢＩＯＳなどの基本ソフトウェアを格納している。ＲＡＭ２０３は、ＣＰＵ２０１のワークスペースや、本発明を実現するためのプログラムを読み込むための一時記憶領域として利用される。ＨＤＤ２０４は、前記プログラムをファイルとして格納してある。また、アーカイブサーバー１０６においては、ジョブデータを蓄積するデータベースを備える。入力装置２０５は、前記プログラムの中で操作画面を持つものを操作する機能を備える。モニタ２０６は、前記操作やプログラムの動作を確認するのため表示機能を備える。ネットワークインタフェース２０７は、ネットワークに接続するための機能を備える。
【００１４】
システムで動作するアプリケーションやサービスはＨＤＤ２０４に格納されており、実行時にはＲＡＭ２０３上にロードされ、ＣＰＵ２０１の制御のもと実行される。
【００１５】
図３は、図１に示したクライアントＰＣ１０２における印刷処理のための一構成を示す図である。アプリケーション３０１、グラフィックエンジン３０２、プリンタドライバ３０３、およびシステムスプーラ３０４は、ＨＤＤ２０４に保存されたファイルとして存在する。これらプログラムモジュールは、ＲＡＭ２０３にロードされて実行される。
【００１６】
アプリケーション３０１からプリンタ１０４やデジタル複合機１０５に対して印刷を行なう際には、グラフィックエンジン３０２を利用して出力（描画）を行なう。
【００１７】
グラフィックエンジン３０２は、プリンタなどの印刷装置ごとに用意されたプリンタドライバ３０３をＨＤＤ２０４からＲＡＭ２０３にロードし、アプリケーション３０１の出力をプリンタドライバ３０３に設定する。また、グラフィックエンジン３０２はアプリケーション３０１から受け取るＧＤＩ関数をＤＤＩ（Device Driver Interface）関数に変換して、プリンタドライバ３０３へ出力する。
【００１８】
プリンタドライバ３０３は、グラフィックエンジン３０２から受け取ったＤＤＩ関数に基づいて、プリンタが認識可能な制御コマンド、例えばＰＤＬ（Page Description Language）に変換する。変換されたプリンタ制御コマンドは、ＯＳによってＲＡＭ２０３にロードされたシステムスプーラ３０４を経て、プリンタ１０４やデジタル複合機１０５へ印刷データとして出力される。
【００１９】
本実施形態の印刷システムは、プリンタドライバ３０３内にジョブ追跡機能部３０５を有する。ジョブ追跡機能部３０５はプリンタドライバ３０３のビルドインモジュールであってもよいし、個別のインストーレーションによって追加されるライブラリモジュールの形式であっても構わない。また、プリンタドライバ３０３は、ジョブ追跡機能部３０５の実行により、追跡用データの抽出・生成を行い、ジョブ追跡管理部３０６へ送る。
【００２０】
ジョブ追跡管理部３０６は追跡用データを受け取り、これをデータ処理サーバー１０３へ転送する。尚、ジョブ追跡管理部３０６は受け取った追跡用データを必要に応じて加工したり、選別したりしてもよく、また更に、追跡用データを受け取ると同時にデータ処理サーバー１０３へ送信したり、一時的にハードディスク等の記憶領域内に貯め置きし、別途指定される送信スケジュールに従いデータ処理サーバー１０３へ送信しても良い。
【００２１】
また、データ処理サーバー１０３での処理が不要であれば、直接アーカイブサーバー１０６へ送信しても良い。
【００２２】
図４は、プリンタドライバの処理を示すフローチャートである。印刷ジョブが開始された後、ステップＳ４０１でプリンタドライバ３０３はＧＤＩから描画命令（ＤＤＩコマンド）を受信する。ステップＳ４０２で、プリンタドライバ３０３とジョブ追跡機能部３０５は受信した描画命令に呼応した追跡用データの収集や生成を行なう。
【００２３】
より詳しくは、例えば、受信した描画命令が印刷開始命令であればジョブに関する属性情報や印刷が行われている環境情報などを追跡用データとし、ページ開始命令であればそのページに関する属性情報等を追跡用データとする。
【００２４】
また、ジョブ追跡機能部３０５に対して、テキスト情報の抽出とページイメージ抽出が指示できる。ジョブ追跡機能部に対３０５してテキスト情報の抽出が指示されている場合、テキスト描画コマンドから文字列情報など抽出し追跡用データとし、同じくイメージ抽出が指示されているのであれば、各描画命令を確保してあるメモリ領域等にビットマップイメージとして描く。
【００２５】
さらに本発明では、ジョブ追跡機能部３０５において文書に含まれる画像の領域情報を抽出し、ジョブ追跡管理部３０６へと転送する。この領域情報は、追跡用データとなるのではなく、データ処理サーバー１０３において画像の特徴量を抽出するために使用されるものである。
【００２６】
上記のようにジョブ追跡機能部３０５で収集・生成されたジョブデータは、ジョブ追跡管理部３０６へと転送される。
【００２７】
ステップＳ４０３では、ステップＳ４０１で受信した描画命令に合致する印刷データ（プリンタ１０４やデジタル複合機１０５が認知可能な制御コマンド）の生成を行なう。そして、この印刷データシステムスプーラ３０４へ書き出し、プリンタ１０４やデジタル複合機１０５へ転送する。
【００２８】
このようにして、描画コマンドの受信（Ｓ４０１）、追跡用データの生成・送信（Ｓ４０２）、印刷データ生成・転送（Ｓ４０３）の各処理をジョブ終了命令が処理されるまで繰り返し実行する。（ステップＳ４０４）
図５は、本実施形態におけるデータ処理サーバー１０３での画像特徴量登録のフローチャートである。ステップＳ５０１では、クライアントＰＣ１０２（より詳しくは、ジョブ追跡管理部３０６）からジョブデータを受信する。
【００２９】
ステップＳ５０２では、ジョブデータ内に含まれる領域情報が特徴量抽出に有効かどうかを判断する。判断の方法としては、あらかじめアプリケーションを指定しておき、指定されたアプリケーションから印刷したジョブデータに対しては領域情報が有効であると判断する方法がある。またさらには、あらかじめファイルの種類を指定しておき、指定された種類のファイルを印刷したジョブデータに対しては領域情報が有効であると判断する方法がある。またさらには、ジョブデータに文書のサイズを保持しておき、領域情報のサイズが文書のサイズと同一の場合には領域情報が無効であると判断し、データ処理サーバーで改めて領域情報抽出処理を行なう方法がある。
【００３０】
ステップＳ５０３では、ステップＳ５０２において領域情報が無効であると判断された場合に、データ処理サーバーで改めて領域情報抽出処理を行なう。より詳しくは、ブロックセレクションなどの領域情報抽出アルゴリズムを文書画像に適用し、文書画像に含まれる領域情報を抽出する。ブロックセレクションとは、入力された画像を解析して、文字領域、線画領域、自然画（イメージ）領域、表領域などの、属性毎の領域に分割して領域情報を抽出する処理である。本発明においては、ブロックセレクションに限らず公知の領域抽出方法であればどのような方法であってもよい。
【００３１】
ステップＳ５０４では、クライアントＰＣ１０２から受信したジョブデータ中の領域情報、あるいはステップＳ５０３で抽出した領域情報を用いて、画像の特徴量抽出を行なう。
【００３２】
ステップＳ５０５では、ステップ５０４で抽出された画像特徴量を、アーカイブサーバー１０６に送信し、格納する。
【００３３】
図６は、領域情報抽出の一例を示す説明図である。文書データ６０１のように、複数の画像や図形が重なっている場合について説明する。文書データ６０１では、自動車の画像と人物の画像が重なって配置されていると考えられる。データ処理サーバー１０３に送信される画像に対して画像領域抽出処理を行なった場合、領域情報は領域６０２にように１つの領域として得られる。それに対し、プリンタドライバで領域情報を抽出した場合は、領域６０３および領域６０４のように重なっていても別の領域として抽出することができる。
【００３４】
画像特徴量の抽出処理は、領域情報に対して行なうため、領域６０２のように複数の画像、図形が1つの領域として誤認識されてしまうと、特徴量も誤って抽出されてしまうため、画像検索の精度が低下してしまう恐れがある。本発明では、プリンタドライバで領域情報を抽出するため、幾何学的なアルゴリズムの適用による領域情報の誤認識を避けることができる。
【００３５】
検索においてもプリンタドライバと同様の領域情報抽出処理を適用することができる。ユーザーがクエリー画像として文書データ６０１を選択した場合、領域情報抽出処理によって領域６０３および領域６０４を抽出する。その中からユーザーが選択した領域の画像をクエリー画像として類似画像検索を行なうことで、検索精度が向上される。ユーザーが選択したファイルが画像やテキストから構成される文書データではなく、６０１のようなレイアウトの一枚の画像データであった場合は、従来どおりブロックセレクションなどの処理により、領域６０２を抽出し、その領域の画像をクエリー画像として類似画像検索を行なう。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係るシステム構成図
【図２】本発明の実施形態に係るクライアントＰＣ１０２、データ処理サーバー１０３、アーカイブサーバー１０６、検索サーバ−１０７および検索クライアント１０８の構成を示すブロック図
【図３】クライアントＰＣ１０２における印刷処理のための一構成を示す図
【図４】プリンタドライバの処理を示すフローチャート
【図５】データ処理サーバー１０３での画像特徴量登録のフローチャート
【図６】領域情報抽出の一例を示す説明図
【符号の説明】
【００３７】
１０１ ネットワーク
１０２ クライアントＰＣ
１０３ データ処理サーバー
１０４ プリンタ
１０５ デジタル複合機
１０６ アーカイブサーバー
１０７ 検索サーバー
１０８ 検索クライアント
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ＨＤＤ
２０５ 入力装置
２０６ モニタ
２０７ ネットワークインタフェース
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法に関し、詳しくは、パーソナルコンピュータ等の情報処理装置とプリンタなどの印刷装置を有して構成されるシステムにおける特許である。特に、前記印刷装置から印刷された文書の内容を蓄積し追跡可能とすることで、情報漏えいを抑止するネットワーク印刷システムに関するものである。
【背景技術】
【０００２】
近年、コンピュータ技術の発達やデジタル複合機の普及に伴い、原稿の印刷や複写、送信などの作業が容易に行なえるようになっている。このような利便性向上の反面、機密原稿の複写や送信といった情報漏えいの可能性が増加し、企業活動において情報管理が重要な問題となっている。このような情報漏えいへの対策として、プリンタ及びデジタル複合機の各ジョブを実行する際に、ジョブの実行情報（ジョブ実行時刻、ジョブ実行ユーザーなど）と、ジョブで扱った文書データを記憶装置に蓄積しておく情報漏えい抑止システムがある。このようなシステムでは、情報が漏えいした場合に蓄積された文書データを参照することで、その情報がいつ、どこで、どのような処理をされたか、などの情報を追跡でき、情報漏えいの原因究明が可能となる。
【０００３】
蓄積したジョブデータを検索する手段は、大きく属性検索、全文検索、類似画像検索に分けられる。属性検索は、ジョブ実行情報に対して検索するものである。たとえば、ユーザー名を指定することで、そのユーザーが行ったジョブの履歴を参照することができる。全文検索は、文書内に含まれるテキストに対して検索するものである。たとえば、「印刷禁止」という文字列を指定することで、「印刷禁止」という文字列を含む文書を扱ったジョブの履歴を参照することができる。類似画像検索は、文書に含まれる画像に対して検索するものである。ある画像を指定することで、その画像に類似した画像を含む文書を扱ったジョブの履歴を参照することができる。一般に、類似しているかどうかは画像のエッジ情報、輝度情報などを比較することで判断する。
【０００４】
属性やテキストに対する検索が文字列のマッチングを行なうのに対し、類似画像検索は画像の特徴のパターンマッチングを行なう。そのため、蓄積したジョブデータに含まれる画像に対して類似画像検索を行なうためには、ジョブデータに含まれる画像の特徴量を抽出しておく必要がある。大量のジョブデータを扱う情報漏えい抑止システムでは、各ユーザーが実行したジョブデータをサーバーに収集し、サーバーでの画像処理によって特徴量を抽出するのが一般的である。画像に対して画像領域を認識し、特徴量を抽出する方法して、特許文献１がある。
また、各ユーザーがジョブを実行した際にプリンタドライバで特徴量を抽出する手段として、特許文献２および特許文献３がある。
【特許文献１】特開２００１−０８４２７４号公報
【特許文献２】特開平０８−１６１４６７号公報
【特許文献３】特開平０８−１４７４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術では、まず特許文献１に書かれている方法を情報漏えい抑止システムに適用した場合、大量のジョブデータに対してサーバーで画像処理を行なうため、サーバーの負荷が高くなり、システムのボトルネックとなる危険性がある。また、画像の色情報などに基づいて画像領域を判断するため、印刷条件や文書レイアウトに影響されやすいという問題がある。たとえば、近い位置に二つの画像が貼り付けられた文書データの場合、サーバーでの画像領域抽出処理によって、二つの画像が一つの大きな画像と誤認識される可能性もある。そのため、画像の特徴量を正確に抽出することができず、類似画像検索の精度低下につながる。
【０００６】
それに対し、特許文献２および特許文献３では、ユーザーが印刷実行した際に、プリンタドライバにて特徴量抽出することにより、サーバーの負荷を低減することができる。また、プリンタドライバで描画情報を認識しているため、二つの画像を一つの大きな画像と誤認識する恐れもない。しかし、これら２つの特許文献はいずれも、プリンタドライバ内で抽出した検索用キーワードを画像の特徴量と考え、それを画像と共にデータベースへ格納している。これはすなわち、属性検索を実現する方法であり、類似画像検索を実現することができない。そもそも、プリンタドライバはＧＤＩ（Graphic Device Interface）などの描画情報を認識するものであり、画像の特徴を表すエッジや輝度といった情報は認識することができない。
【課題を解決するための手段】
【０００７】
プリンタで印刷した文書データを蓄積することで、追跡可能とする情報漏えい抑止システムであって、文書データ印刷時に文書データ内画像の領域情報を抽出する第一領域情報抽出手段と、文書データから追跡用ジョブデータを抽出するジョブデータ抽出手段と、前記第一領域情報抽出手段で抽出された領域情報と前記ジョブデータ抽出手段によって抽出された追跡用ジョブデータをサーバーへ送信するジョブデータ送信手段と、領域情報に基づいてジョブデータの画像から画像特徴量を抽出する特徴量抽出手段と、前記ジョブデータ抽出手段によって得られたジョブデータと前記特徴量抽出手段によって得られた画像特徴量を関連付けて蓄積するジョブデータ蓄積手段と、前記ジョブデータ蓄積手段によって蓄積されたジョブデータの中から、ジョブデータを検索するジョブデータ検索手段と、前記ジョブデータ検索手段の結果をユーザーに提示する検索結果表示手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明は、上記のような構成を有することで、精度の良い特徴量抽出を実現することができる。その結果、情報漏えい抑止システムが蓄積したジョブデータの画像に対する類似画像検索の精度を高める効果がある。
【０００９】
また、サーバーでの領域情報抽出処理が不要となるため、画像処理の負荷が低減され、システムのスループットが向上する。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態に係る情報漏えい抑止システムに関する実施形態について説明する。
【００１１】
図１は、本実施形態におけるシステム構成図を示す。図示するように、ＬＡＮなどのネットワーク１０１を介して、各構成要素が相互に接続されている。クライアントＰＣ１０２は、ユーザーの印刷指示に応じてジョブデータをデータ処理サーバー１０３へ送信する。また、クライアントＰＣ１０２は、印刷指示に応じて印刷情報をプリンタ１０４やデジタル複合機１０５へ送信する。プリンタ１０４やデジタル複合機１０５は、クライアントＰＣ１０２から受信した印刷情報にしたがって、印刷を実行する。データ処理サーバー１０３は、クライアントＰＣ１０２から受信したジョブデータに対して、画像の特徴量抽出やＯＣＲなどの処理を行い、印刷された文書データを検索可能な情報と合わせてアーカイブサーバー１０６へ送信する。同様に、デジタル複合機１０５で行なわれたコピー、スキャン、Ｓｅｎｄなどの各入出力ジョブデータは、データ処理サーバー１０３へ送信され、データ処理を行なった後にアーカイブサーバー１０６に送信される。アーカイブサーバー１０６は、データ処理サーバー１０３から受信したジョブデータを蓄積する。検索サーバー１０７は、検索クライアント１０８からクエリー画像や検索条件を受信し、クエリー画像に対しては画像領域抽出処理や特徴量抽出処理を行なう。そして、クエリー画像の特徴量と検索条件に基づいて、アーカイブサーバー１０６に蓄積されたジョブデータの中から、検索条件を満たし、かつクエリー画像と類似した文書画像を検索する。検索クライアント１０８は、ユーザーが指定したクエリー画像や検索条件を検索サーバー１０７へ送信して検索指示を出し、算出された類似度に応じた検索結果をーに表示する。
【００１２】
図２は、本実施形態における図１のクライアントＰＣ１０２、データ処理サーバー１０３、アーカイブサーバー１０６、検索サーバー１０７および検索クライアント１０８のハードウェア構成を示すブロック図である。いずれもＩＢＭ−ＰＣ／ＡＴ互換機などの汎用ＰＣなので同じブロック図としている。なお、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムであっても、ＬＡＮやＷＡＮ等のネットワークを介して接続され、処理が行われるシステムであっても本発明を適用できる。
【００１３】
ＣＰＵ２０１は、内部バスで接続されるＲＡＭやＨＤＤを制御し、本発明を実現するためのプログラムを実行する。ＲＯＭ２０２は、ＢＩＯＳなどの基本ソフトウェアを格納している。ＲＡＭ２０３は、ＣＰＵ２０１のワークスペースや、本発明を実現するためのプログラムを読み込むための一時記憶領域として利用される。ＨＤＤ２０４は、前記プログラムをファイルとして格納してある。また、アーカイブサーバー１０６においては、ジョブデータを蓄積するデータベースを備える。入力装置２０５は、前記プログラムの中で操作画面を持つものを操作する機能を備える。モニタ２０６は、前記操作やプログラムの動作を確認するのため表示機能を備える。ネットワークインタフェース２０７は、ネットワークに接続するための機能を備える。
【００１４】
システムで動作するアプリケーションやサービスはＨＤＤ２０４に格納されており、実行時にはＲＡＭ２０３上にロードされ、ＣＰＵ２０１の制御のもと実行される。
【００１５】
図３は、図１に示したクライアントＰＣ１０２における印刷処理のための一構成を示す図である。アプリケーション３０１、グラフィックエンジン３０２、プリンタドライバ３０３、およびシステムスプーラ３０４は、ＨＤＤ２０４に保存されたファイルとして存在する。これらプログラムモジュールは、ＲＡＭ２０３にロードされて実行される。
【００１６】
アプリケーション３０１からプリンタ１０４やデジタル複合機１０５に対して印刷を行なう際には、グラフィックエンジン３０２を利用して出力（描画）を行なう。
【００１７】
グラフィックエンジン３０２は、プリンタなどの印刷装置ごとに用意されたプリンタドライバ３０３をＨＤＤ２０４からＲＡＭ２０３にロードし、アプリケーション３０１の出力をプリンタドライバ３０３に設定する。また、グラフィックエンジン３０２はアプリケーション３０１から受け取るＧＤＩ関数をＤＤＩ（Device Driver Interface）関数に変換して、プリンタドライバ３０３へ出力する。
【００１８】
プリンタドライバ３０３は、グラフィックエンジン３０２から受け取ったＤＤＩ関数に基づいて、プリンタが認識可能な制御コマンド、例えばＰＤＬ（Page Description Language）に変換する。変換されたプリンタ制御コマンドは、ＯＳによってＲＡＭ２０３にロードされたシステムスプーラ３０４を経て、プリンタ１０４やデジタル複合機１０５へ印刷データとして出力される。
【００１９】
本実施形態の印刷システムは、プリンタドライバ３０３内にジョブ追跡機能部３０５を有する。ジョブ追跡機能部３０５はプリンタドライバ３０３のビルドインモジュールであってもよいし、個別のインストーレーションによって追加されるライブラリモジュールの形式であっても構わない。また、プリンタドライバ３０３は、ジョブ追跡機能部３０５の実行により、追跡用データの抽出・生成を行い、ジョブ追跡管理部３０６へ送る。
【００２０】
ジョブ追跡管理部３０６は追跡用データを受け取り、これをデータ処理サーバー１０３へ転送する。尚、ジョブ追跡管理部３０６は受け取った追跡用データを必要に応じて加工したり、選別したりしてもよく、また更に、追跡用データを受け取ると同時にデータ処理サーバー１０３へ送信したり、一時的にハードディスク等の記憶領域内に貯め置きし、別途指定される送信スケジュールに従いデータ処理サーバー１０３へ送信しても良い。
【００２１】
また、データ処理サーバー１０３での処理が不要であれば、直接アーカイブサーバー１０６へ送信しても良い。
【００２２】
図４は、プリンタドライバの処理を示すフローチャートである。印刷ジョブが開始された後、ステップＳ４０１でプリンタドライバ３０３はＧＤＩから描画命令（ＤＤＩコマンド）を受信する。ステップＳ４０２で、プリンタドライバ３０３とジョブ追跡機能部３０５は受信した描画命令に呼応した追跡用データの収集や生成を行なう。
【００２３】
より詳しくは、例えば、受信した描画命令が印刷開始命令であればジョブに関する属性情報や印刷が行われている環境情報などを追跡用データとし、ページ開始命令であればそのページに関する属性情報等を追跡用データとする。
【００２４】
また、ジョブ追跡機能部３０５に対して、テキスト情報の抽出とページイメージ抽出が指示できる。ジョブ追跡機能部に対３０５してテキスト情報の抽出が指示されている場合、テキスト描画コマンドから文字列情報など抽出し追跡用データとし、同じくイメージ抽出が指示されているのであれば、各描画命令を確保してあるメモリ領域等にビットマップイメージとして描く。
【００２５】
さらに本発明では、ジョブ追跡機能部３０５において文書に含まれる画像の領域情報を抽出し、ジョブ追跡管理部３０６へと転送する。この領域情報は、追跡用データとなるのではなく、データ処理サーバー１０３において画像の特徴量を抽出するために使用されるものである。
【００２６】
上記のようにジョブ追跡機能部３０５で収集・生成されたジョブデータは、ジョブ追跡管理部３０６へと転送される。
【００２７】
ステップＳ４０３では、ステップＳ４０１で受信した描画命令に合致する印刷データ（プリンタ１０４やデジタル複合機１０５が認知可能な制御コマンド）の生成を行なう。そして、この印刷データシステムスプーラ３０４へ書き出し、プリンタ１０４やデジタル複合機１０５へ転送する。
【００２８】
このようにして、描画コマンドの受信（Ｓ４０１）、追跡用データの生成・送信（Ｓ４０２）、印刷データ生成・転送（Ｓ４０３）の各処理をジョブ終了命令が処理されるまで繰り返し実行する。（ステップＳ４０４）
図５は、本実施形態におけるデータ処理サーバー１０３での画像特徴量登録のフローチャートである。ステップＳ５０１では、クライアントＰＣ１０２（より詳しくは、ジョブ追跡管理部３０６）からジョブデータを受信する。
【００２９】
ステップＳ５０２では、ジョブデータ内に含まれる領域情報が特徴量抽出に有効かどうかを判断する。判断の方法としては、あらかじめアプリケーションを指定しておき、指定されたアプリケーションから印刷したジョブデータに対しては領域情報が有効であると判断する方法がある。またさらには、あらかじめファイルの種類を指定しておき、指定された種類のファイルを印刷したジョブデータに対しては領域情報が有効であると判断する方法がある。またさらには、ジョブデータに文書のサイズを保持しておき、領域情報のサイズが文書のサイズと同一の場合には領域情報が無効であると判断し、データ処理サーバーで改めて領域情報抽出処理を行なう方法がある。
【００３０】
ステップＳ５０３では、ステップＳ５０２において領域情報が無効であると判断された場合に、データ処理サーバーで改めて領域情報抽出処理を行なう。より詳しくは、ブロックセレクションなどの領域情報抽出アルゴリズムを文書画像に適用し、文書画像に含まれる領域情報を抽出する。ブロックセレクションとは、入力された画像を解析して、文字領域、線画領域、自然画（イメージ）領域、表領域などの、属性毎の領域に分割して領域情報を抽出する処理である。本発明においては、ブロックセレクションに限らず公知の領域抽出方法であればどのような方法であってもよい。
【００３１】
ステップＳ５０４では、クライアントＰＣ１０２から受信したジョブデータ中の領域情報、あるいはステップＳ５０３で抽出した領域情報を用いて、画像の特徴量抽出を行なう。
【００３２】
ステップＳ５０５では、ステップ５０４で抽出された画像特徴量を、アーカイブサーバー１０６に送信し、格納する。
【００３３】
図６は、領域情報抽出の一例を示す説明図である。文書データ６０１のように、複数の画像や図形が重なっている場合について説明する。文書データ６０１では、自動車の画像と人物の画像が重なって配置されていると考えられる。データ処理サーバー１０３に送信される画像に対して画像領域抽出処理を行なった場合、領域情報は領域６０２にように１つの領域として得られる。それに対し、プリンタドライバで領域情報を抽出した場合は、領域６０３および領域６０４のように重なっていても別の領域として抽出することができる。
【００３４】
画像特徴量の抽出処理は、領域情報に対して行なうため、領域６０２のように複数の画像、図形が1つの領域として誤認識されてしまうと、特徴量も誤って抽出されてしまうため、画像検索の精度が低下してしまう恐れがある。本発明では、プリンタドライバで領域情報を抽出するため、幾何学的なアルゴリズムの適用による領域情報の誤認識を避けることができる。
【００３５】
検索においてもプリンタドライバと同様の領域情報抽出処理を適用することができる。ユーザーがクエリー画像として文書データ６０１を選択した場合、領域情報抽出処理によって領域６０３および領域６０４を抽出する。その中からユーザーが選択した領域の画像をクエリー画像として類似画像検索を行なうことで、検索精度が向上される。ユーザーが選択したファイルが画像やテキストから構成される文書データではなく、６０１のようなレイアウトの一枚の画像データであった場合は、従来どおりブロックセレクションなどの処理により、領域６０２を抽出し、その領域の画像をクエリー画像として類似画像検索を行なう。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係るシステム構成図
【図２】本発明の実施形態に係るクライアントＰＣ１０２、データ処理サーバー１０３、アーカイブサーバー１０６、検索サーバ−１０７および検索クライアント１０８の構成を示すブロック図
【図３】クライアントＰＣ１０２における印刷処理のための一構成を示す図
【図４】プリンタドライバの処理を示すフローチャート
【図５】データ処理サーバー１０３での画像特徴量登録のフローチャート
【図６】領域情報抽出の一例を示す説明図
【符号の説明】
【００３７】
１０１ ネットワーク
１０２ クライアントＰＣ
１０３ データ処理サーバー
１０４ プリンタ
１０５ デジタル複合機
１０６ アーカイブサーバー
１０７ 検索サーバー
１０８ 検索クライアント
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ＨＤＤ
２０５ 入力装置
２０６ モニタ
２０７ ネットワークインタフェース
【特許請求の範囲】
【請求項１】
プリンタで印刷した文書データを蓄積することで、追跡可能とする情報漏えい抑止システムであって、
文書データ印刷時に文書データ内画像の領域情報を抽出する第一領域情報抽出手段と、
文書データから追跡用ジョブデータを抽出するジョブデータ抽出手段と、
前記第一領域情報抽出手段で抽出された領域情報と前記ジョブデータ抽出手段によって抽出された追跡用ジョブデータをサーバーへ送信するジョブデータ送信手段と、
領域情報に基づいてジョブデータの画像から画像特徴量を抽出する特徴量抽出手段と、
前記ジョブデータ抽出手段によって得られたジョブデータと前記特徴量抽出手段によって得られた画像特徴量を関連付けて蓄積するジョブデータ蓄積手段と、
前記ジョブデータ蓄積手段によって蓄積されたジョブデータの中から、ジョブデータを検索するジョブデータ検索手段と、
前記ジョブデータ検索手段の結果をユーザーに提示する検索結果表示手段と、
を有することを特徴とする情報漏えい抑止システム。
【請求項２】
前記ジョブデータ抽出手段によって得られる追跡用ジョブデータは、文書データを画像化した文書画像データと、文書データに含まれるテキストデータと、印刷実行環境データと、
から構成されることを特徴とする請求項１に記載の情報漏えい抑止システム。
【請求項３】
前記特徴量抽出手段は、前記第一領域情報抽出手段によって抽出された領域情報が有効であるかを判断する領域情報有効性判断手段と、
前記領域情報有効性判断手段が有効でないと判断した場合にあらためて領域情報を抽出する第二領域情報抽出手段と、
前記第一領域情報抽出手段または前記第二領域情報抽出手段によって抽出された領域情報に対して、画像の特徴量を抽出する特徴量抽出手段と、
を有することを特徴とする請求項１に記載の情報漏えい抑止システム。
【請求項４】
請求項３に記載の領域情報有効性判断手段は、印刷を実行したアプリケーションの種類に応じて判断することを特徴とする情報漏えい抑止システム。
【請求項５】
請求項３に記載の判断手段は、印刷された文書ファイルの種類に基づいて判断することを特徴とする情報漏えい抑止システム。
【請求項６】
請求項３に記載の判断手段は、前記領域情報と文書データの大きさを比較することにより判断することを特徴とする情報漏えい抑止システム。
【請求項７】
前記ジョブデータ検索手段は、文書に含まれる文字列を検索対象とする全文検索手段と、
前記印刷実行環境データを検索対象とする属性検索手段と、
文書画像データを検索対象とする類似画像検索手段と、
上記３つの検索手段の少なくとも１つ以上組み合わせて検索する複合検索手段と、
を有することを特徴とする請求項１に記載の情報漏えい抑止システム。
【請求項８】
前記類似画像検索手段は、ユーザーが検索条件とするクエリー画像指定手段と、
前記クエリー画像指定手段で指定されたクエリー画像の特徴量を抽出するクエリー画像特徴量抽出手段と、
前記クエリー画像特徴量抽出手段によって得られたクエリー画像の特徴量を、前記蓄積手段に蓄積されているジョブデータの画像特徴量と比較し、類似度を算出する類似度算出手段と、
前記類似度算出手段によって得られた類似度が高いジョブデータを検索結果の上位とする検索結果算出手段と、
を有することを特徴とする請求項１に記載の情報漏えい抑止システム。
【請求項９】
前記クエリー画像指定手段は、ユーザーがクエリー画像を含む文書データを指定するための文書データ指定手段と、
前記文書データ指定手段で指定された文書データに含まれる画像の領域情報を抽出する第三領域情報抽出手段と、
前記第三領域情報抽出手段によって抽出された領域情報をユーザーに提示する領域情報提示手段と、
前記領域情報提示手段で示された領域情報をユーザーが選択するためのクエリー画像領域選択手段と、
を有することを特徴とする請求項８に記載の情報漏えい抑止システム。
【請求項１０】
請求項９に記載の第三領域情報抽出手段は、第一領域情報抽出手段と同一の処理を行なうことを特徴とする情報漏えい抑止システム。
【請求項１】
プリンタで印刷した文書データを蓄積することで、追跡可能とする情報漏えい抑止システムであって、
文書データ印刷時に文書データ内画像の領域情報を抽出する第一領域情報抽出手段と、
文書データから追跡用ジョブデータを抽出するジョブデータ抽出手段と、
前記第一領域情報抽出手段で抽出された領域情報と前記ジョブデータ抽出手段によって抽出された追跡用ジョブデータをサーバーへ送信するジョブデータ送信手段と、
領域情報に基づいてジョブデータの画像から画像特徴量を抽出する特徴量抽出手段と、
前記ジョブデータ抽出手段によって得られたジョブデータと前記特徴量抽出手段によって得られた画像特徴量を関連付けて蓄積するジョブデータ蓄積手段と、
前記ジョブデータ蓄積手段によって蓄積されたジョブデータの中から、ジョブデータを検索するジョブデータ検索手段と、
前記ジョブデータ検索手段の結果をユーザーに提示する検索結果表示手段と、
を有することを特徴とする情報漏えい抑止システム。
【請求項２】
前記ジョブデータ抽出手段によって得られる追跡用ジョブデータは、文書データを画像化した文書画像データと、文書データに含まれるテキストデータと、印刷実行環境データと、
から構成されることを特徴とする請求項１に記載の情報漏えい抑止システム。
【請求項３】
前記特徴量抽出手段は、前記第一領域情報抽出手段によって抽出された領域情報が有効であるかを判断する領域情報有効性判断手段と、
前記領域情報有効性判断手段が有効でないと判断した場合にあらためて領域情報を抽出する第二領域情報抽出手段と、
前記第一領域情報抽出手段または前記第二領域情報抽出手段によって抽出された領域情報に対して、画像の特徴量を抽出する特徴量抽出手段と、
を有することを特徴とする請求項１に記載の情報漏えい抑止システム。
【請求項４】
請求項３に記載の領域情報有効性判断手段は、印刷を実行したアプリケーションの種類に応じて判断することを特徴とする情報漏えい抑止システム。
【請求項５】
請求項３に記載の判断手段は、印刷された文書ファイルの種類に基づいて判断することを特徴とする情報漏えい抑止システム。
【請求項６】
請求項３に記載の判断手段は、前記領域情報と文書データの大きさを比較することにより判断することを特徴とする情報漏えい抑止システム。
【請求項７】
前記ジョブデータ検索手段は、文書に含まれる文字列を検索対象とする全文検索手段と、
前記印刷実行環境データを検索対象とする属性検索手段と、
文書画像データを検索対象とする類似画像検索手段と、
上記３つの検索手段の少なくとも１つ以上組み合わせて検索する複合検索手段と、
を有することを特徴とする請求項１に記載の情報漏えい抑止システム。
【請求項８】
前記類似画像検索手段は、ユーザーが検索条件とするクエリー画像指定手段と、
前記クエリー画像指定手段で指定されたクエリー画像の特徴量を抽出するクエリー画像特徴量抽出手段と、
前記クエリー画像特徴量抽出手段によって得られたクエリー画像の特徴量を、前記蓄積手段に蓄積されているジョブデータの画像特徴量と比較し、類似度を算出する類似度算出手段と、
前記類似度算出手段によって得られた類似度が高いジョブデータを検索結果の上位とする検索結果算出手段と、
を有することを特徴とする請求項１に記載の情報漏えい抑止システム。
【請求項９】
前記クエリー画像指定手段は、ユーザーがクエリー画像を含む文書データを指定するための文書データ指定手段と、
前記文書データ指定手段で指定された文書データに含まれる画像の領域情報を抽出する第三領域情報抽出手段と、
前記第三領域情報抽出手段によって抽出された領域情報をユーザーに提示する領域情報提示手段と、
前記領域情報提示手段で示された領域情報をユーザーが選択するためのクエリー画像領域選択手段と、
を有することを特徴とする請求項８に記載の情報漏えい抑止システム。
【請求項１０】
請求項９に記載の第三領域情報抽出手段は、第一領域情報抽出手段と同一の処理を行なうことを特徴とする情報漏えい抑止システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２９９４０１（Ｐ２００８−２９９４０１Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４２０３９（Ｐ２００７−１４２０３９）
【出願日】平成１９年５月２９日（２００７．５．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年５月２９日（２００７．５．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]