画像処理システム
【課題】画像処理システムを提供すること。
【解決手段】画像処理システムは、端末装置1において原稿を読み取ってその画像データの圧縮データを生成すると共に、画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を付加情報を取得し、サーバ装置2において圧縮方式、圧縮パラメータ、圧縮データの符号量等に基づいて第2の画像処理部24により圧縮データを解析するために要する解析処理予測時間を推測する。
【解決手段】画像処理システムは、端末装置1において原稿を読み取ってその画像データの圧縮データを生成すると共に、画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を付加情報を取得し、サーバ装置2において圧縮方式、圧縮パラメータ、圧縮データの符号量等に基づいて第2の画像処理部24により圧縮データを解析するために要する解析処理予測時間を推測する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、1つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続し、サーバ装置において各端末装置から送られてきた各画像データを画像解析する画像処理システムに関する。
【背景技術】
【0002】
かかる画像処理システムは、各端末装置においてそれぞれ原稿をスキャンして各画像データ等(スキャン情報)を取得してサーバ装置に送り、このサーバ装置において各端末装置から送られてきた各画像データを各ジョブとして受け付け、これらジョブとして各画像データの画像解析を行う。この画像処理システムの各端末装置としては、例えばデジタル複合機(MFP)がある。この画像処理システムは、各端末装置において取得した各画像データ等を一括で管理することを目的として1台のサーバで画像解析を行う。
【0003】
このサーバ装置では、各ジョブに対してどのように当該サーバの資源を割り当て各ジョブを実行するかの順番を決定する。このため、サーバ装置は、例えばジョブの受付順に優先度を付けたり、何らかの条件を元にジョブの優先度を付けることによってジョブを実行する順番を決定するスケジューラを持つ。上記条件としては、例えばアクセスログからジョブの処理時間を予測して優先度を付けたり、ジョブ毎に優先度を決めるものがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−263409号公報
【特許文献2】特開平08−106369号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ジョブを実行する順番を決定するスケジューリングでは、例えば各ジョブの投入順に優先度を決定するものがある。このようなジョブ実行の順番の決定では、各ジョブを処理するに要する時間が長くなってしまう。
【課題を解決するための手段】
【0006】
実施の形態の画像処理システムによれば、1つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、前記端末装置は、原稿を画像データに変換する画像入力部と、前記画像データに対して画像圧縮して圧縮データを生成すると共に、前記圧縮データに関する第1の付加情報を取得する画像処理部とを有し、前記サーバ装置は、前記画像符号化部により生成された前記圧縮データを伸長する画像伸長部と、前記画像復号化部により伸長された画像データを解析する画像解析処理部と、前記圧縮データの前記第1の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部とを有する。
【0007】
実施の形態の他の画像処理システムによれば、少なくともと1つの端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、前記端末装置は、原稿を画像データに変換する画像入力部と、前記画像データに対する予め設定された処理を行って1つ以上の第2の付加情報を取得する付加情報取得部と、前記画像データに対して画像圧縮して圧縮データを生成する圧縮情報取得部とを有し、前記サーバ装置は、前記圧縮情報取得部により生成された前記圧縮データを伸長する画像伸長部と、前記画像伸長部により伸長された画像データを解析する画像解析処理部と、前記第2の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部とを有する。
【図面の簡単な説明】
【0008】
【図1】第1の実施の形態の画像処理システムを示すブロック構成図。
【図2】同システムにおける端末装置の第1の画像処理部の具体的な構成を示すブロック構成図。
【図3】同システムにおける第2のプロセッサを示す機能ブロック図。
【図4】同システムにおける第2の画像処理部を示す機能ブロック図。
【図5】同システムにおける端末装置の端末処理フローチャート。
【図6】同システムにおけるサーバ装置のサーバ処理フローチャート。
【図7】同システムにおけるスケジューリング部のスケジューリングフローチャート。
【図8】同システムにおけるサーバ装置へのジョブの入力の一例を示す図。
【図9】従来のシステムにおけるジョブ予約のスケジューリングを示す模式図。
【図10】本システムにおけるジョブ予約のスケジューリングを示す模式図。
【図11】第2の実施の形態の画像処理システムを示すブロック構成図。
【図12】同システムにおける端末装置の端末処理フローチャート。
【図13】同システムにおけるサーバ装置のサーバ処理フローチャート。
【発明を実施するための形態】
【0009】
(第1の実施の形態)
以下、第1の実施の形態について図面を参照して説明する。
図1は画像処理システムのブロック構成図を示す。本システムは、1つ以上の端末装置1とサーバ装置2とをローカルエリアネットワーク(LAN)等のネットワーク3を介して互いに接続されている。ここでは1台の端末装置1と1台のサーバ装置2とをネットワーク3を介して互いに接続された構成とする。端末装置1は、例えばコピー、プリンタ又はファクシミリ等を一体的に備えたデジタル複合機(MFP)等の機能を有するもので、例えば、端末装置1によりQRコードを含む原稿をスキャンしてQRコードデータをサーバ装置2に送り、このサーバ装置2によりQRコードデータのデコードを行ってQRコードに関する情報を得る。なお、端末装置1は、MFPに限らず、複合機、スキャナ、又はカメラであってもよい。
【0010】
端末装置1は、第1のプロセッサ10を備え、この第1のプロセッサ10にバス11を介して第1のユーザインタフェース部12と、画像入力部13と、第1の記憶部14と、第1の画像処理部15と、第1のNIC(Network Interface Card)16とを有する。
【0011】
第1のプロセッサ10は、コピー、プリンタ又はファクシミリ等の各動作プログラムを予め記憶し、これら動作プログラムを実行してコピー、プリンタ又はファクシミリ等の動作を行うために第1のユーザインタフェース部12と、画像入力部13と、第1の記憶部14と、第1の画像処理部15と、第1のNIC16とに対して命令を発する。
【0012】
第1のユーザインタフェース部12は、ユーザの操作を受けてその操作指示を受け付けるもので、例えばキーボード、マウス、タッチパネル等を有する。
画像入力部13は、第1のプロセッサ10から原稿のスキャンの依頼を受けると、例えばQRコードを含む原稿をスキャンし、原稿を画像データに変換出力する。
記憶部14は、画像入力部13から入力された画像データや、第1の画像処理部15により画像処理された画像データなどを記憶する。
【0013】
第1の画像処理部15は、画像入力部13から入力された画像データに対して画像圧縮して圧縮データを生成すると共に、この圧縮データの第1の付加情報を取得する。この第1の圧縮データの付加情報は、画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量を含む。
なお、圧縮データの第1の付加情報は、圧縮方式、圧縮パラメータ、圧縮データの符号量に限らず、例えば画像解像度(画像の幅高さ)、処理ページ数、画像の幅高さ、画像色数(color/pixel)、bit深度(bits/sample)を用いても良い。
【0014】
この第1の画像処理部15は、具体的に図2に示すように画像符号化部30と、圧縮情報取得部31とを有する。画像符号化部30は、画像データに対して画像圧縮して圧縮データを生成する。圧縮情報取得部31は、画像符号化部30により生成された圧縮データの第1の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を得する。なお、これら画像符号化部30と圧縮情報取得部31とは、第1のプロセッサ10の機能に含めても良い。
【0015】
第1のNIC16は、端末装置1をLAN等のネットワーク3と接続するためのインタフェースカードである。
【0016】
一方、サーバ装置2は、端末装置1から送られてきた圧縮データ等を入力し、この圧縮データに対して画像解析等を行うもので、第2のプロセッサ20を備え、この第2のプロセッサ20にバス21を介して第2のユーザインタフェース部22と、第2の記憶部23と、第2の画像処理部24と、第2のNIC25とを有する。このサーバ装置2の第2のプロセッサ20は、画像解析等を行うための各動作プログラムを予め記憶し、これら動作プログラムを実行して第2のユーザインタフェース部22と、第2の記憶部23と、第2の画像処理部24と、第2のNIC25とに対して命令を発するもので、図3に示すようにジョブ受付時間取得部40と、ジョブ情報保存部41と、画像解析処理予測部42と、スケジューリング部43と、スケジューリング情報保存部44と、スケジューリング情報削除部45とを有する。
【0017】
ジョブ受付時間取得部40は、端末装置1から送られてきた圧縮データ及びその第1の付加情報(圧縮方式、圧縮パラメータ、圧縮データの符号量等)をジョブとして受け付した受付時間を取得する。
ジョブ情報保存部41は、端末装置1から送られてきた圧縮データ及びその第1の付加情報(圧縮方式、圧縮パラメータ、圧縮データの符号量等)や、ジョブ受付時間取得部40により取得したジョブの受付時間を例えば第2の記憶部23に記憶する。
画像解析処理予測部42は、第2の記憶部23に記憶されている圧縮データの第1の付加情報、すなわち圧縮方式、圧縮パラメータ、圧縮データの符号量等を読み出し、これら圧縮方式、圧縮パラメータ、符号量に基づいて端末装置1から送られてきた圧縮データを第2の画像処理部24により解析するために要する時間(解析処理予測時間)を推測する。
【0018】
スケジューリング部43は、画像解析処理予測部42により推測された圧縮データを解析するに要する解析処理予測時間に基づいて複数の圧縮データを解析するためのスケジューリングを行う。例えば、このスケジューリング部43は、画像解析処理予測部42により画像解析の実行待機中のジョブと新規のジョブとのスケジューリングを行うもので、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部40において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部42により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う。なお、スケジューリング部43は、ジョブの処理時間を予測してスケジューリングするものであれば、如何なるスケジューラでもよい。
【0019】
スケジューリング情報保存部44は、スケジューリング部43により再スケジューリングしたスケジュール情報を例えば第2の記憶部23に保存する。
スケジューリング情報削除部45は、スケジューリング情報保存部44に保存されているスケジュール情報を削除する。
第2のユーザインタフェース部22は、ユーザの操作を受けてその操作指示を受け付けるもので、例えばキーボード、マウス、タッチパネル等を有する。
第2の記憶部23は、端末装置1から送られてきた圧縮データや、第2の画像処理部24により画像処理された画像データなどを記憶する。
【0020】
第2の画像処理部24は、端末装置1から送られてきた圧縮データに対して画像解析等を行うもので、図4に示すように画像伸長部50と、画像解析処理部51とを有する。画像伸長部50は、端末装置1から送られてきた圧縮データを伸長する。
【0021】
画像解析処理部51は、画像伸長部50より伸長された画像データを解析、例えば画像データに対してQRコードの位置を探索し、かつQRコードのデコードを行う。なお、これら画像伸長部50と画像解析処理部51とは、第2のプロセッサ20の機能に含めてもよい。
この画像解析処理部51は、画像伸長部50より伸長された画像データに含むQRコードの位置の探索を含むデータコードの抽出に限らず、画像伸長部50より伸長された画像データから光学的な読み取り、又は伸長された画像データ中に含まれる領域を抽出するレイアウト解析を行う。
【0022】
次に、上記の如く構成されたシステムの端末装置1の動作について図5に示す端末処理フローチャートに従って説明する。
第1のプロセッサ10は、画像入力部13に対して原稿のスキャンを依頼する(ACT1)。この画像入力部13は、原稿のスキャンの依頼を受けると、例えばQRコードを含む原稿をスキャンし、この原稿を画像データに変換出力する。
第1のプロセッサ10は、第1の画像処理部15に対して圧縮処理を依頼する。この第1の画像処理部15の画像符号化部30は、画像入力部13からの画像データを入力し、この画像データに対して画像圧縮して圧縮データを生成する(ACT2)。
第1のプロセッサ10は、第1の画像処理部15に対して圧縮データの第1の付加情報の取得を依頼する。この第1の画像処理部15の圧縮情報取得部31は、画像符号化部30により生成された圧縮データの第1の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を取得する(ACT3)。
【0023】
第1のプロセッサ10は、第1のNIC16に対して圧縮データ及びその第1の付加情報の送信を依頼する(ACT4)。この第1のNIC16は、圧縮データ及びその第1の付加情報の送信の依頼を受けると、画像符号化部30により生成された圧縮データを受け取ると共に、画像符号化部30により生成された圧縮データの第1の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を受け取り、これら画像データと、その第1の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等をネットワーク3を介して1台のサーバ装置2に送信する。
【0024】
次に、上記の如く構成されたシステムのサーバ装置2の動作について図6に示すサーバ処理フローチャートに従って説明する。
第2のプロセッサ20は、第2のNIC25に対して端末装置1から送信された圧縮データ及びその第1の付加情報を常時受信するように依頼している。この第2のNIC25は、端末装置1から送信された圧縮データ及びその第1の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等を受信すると(ACT10)、これら圧縮データ及びその第1の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等を第2のプロセッサ20に送る。
【0025】
この第2のプロセッサ20のジョブ受付時間取得部40は、端末装置1から送られてきた圧縮データ及びその圧縮情報取得部31(圧縮方式、圧縮パラメータ、圧縮データの符号量等)をジョブとして受け付した受付時間を取得する(ACT11)。
ジョブ情報保存部41は、第2のNIC25により受信した圧縮データ及びその圧縮情報取得部31である圧縮方式、圧縮パラメータ、圧縮データの符号量等や、ジョブ受付時間取得部40により取得したジョブの受付時間を例えば第2の記憶部23に記憶する(ACT12)。
【0026】
画像解析処理予測部42は、第2の記憶部23に記憶されている圧縮データの圧縮情報取得部31、すなわち圧縮方式、圧縮パラメータ、圧縮データの符号量等を読み出し、これら圧縮方式、圧縮パラメータ、符号量に基づいて端末装置1から送られてきた圧縮データを第2の画像処理部24により解析するために要する解析処理予測時間を推測する(ACT13)。
【0027】
ところで、画像解析処理予測部42により圧縮データを解析する場合、この圧縮データの解析に要する処理時間は、端末装置1から送信された圧縮データによって大きく変わることがほとんどである。画像データ(圧縮データを伸長した画像データ)に含まれるQRコードをデコード処理するには、先ず、画像データ中からQRコードの位置を特定し、この特定された位置でQRコードを解析する。
【0028】
しかしながら、画像データには、例えば文字を多く含んだ画像中にQRコードが存在するものがある。このような画像データでは、QRコードの位置を特定するためのオブジェクトすなわち黒画素群等が多くなり、QRコード候補位置を決定するのに長い処理時間を必要とする。これに対してQRコード以外に何も書かれていないような画像データの場合には、QRコードの位置を特定するオブジェクトすなわち画像データにおける黒画素群等が少ないために処理時間が短くなる。
【0029】
JPEGやMMR圧縮等の画像全面に対して一律で、かつ同様の方法によって圧縮をした圧縮データサイズは、画像データの影響を受け、例えば、複雑な画像データすなわちオブジェクトの多い画像データは符号量が多くなり、シンプルな画像すなわちオブジェクトの少ない画像データは符号量が少なくなる傾向にある。
一方で、JPEGやJPEG2000のように可逆圧縮/非可逆圧縮が選択でき方式は、見た目は殆ど同じなのに圧縮データサイズが大きく相違する。これは量子化パラメータ等にも同様のことが言える。
【0030】
従って、画像解析処理予測部42は、圧縮方式、圧縮パラメータ、符号量から画像データの処理時間を予め把握しテーブルに保存しておき、QRコードのデコード処理時間の推測に用いる。例えば、同一フォーマットで同一パラメータの場合で、符号量とQRコードの探索・デコード処理時間に概ね比例関係がある場合、以下のような式を用いる。なお、簡単な計算式で表現できない場合は、画像処理時間の推測テーブルを持つ。
画像解析処理予測部42は、画像データの解析処理予測時間T1を次式(1)を演算することにより求める。
処理推測時間T1=α×符号量 …(1)
ここで、αは比例定数である。
但し、JPEGやJPEG2000等のように圧縮率を調整できるような圧縮方式の場合は、上記次式(1)に示すように符号量だけで画像データの処理推測時間T1を推測できない場合がある。そこで、例えば圧縮パラメータを高圧縮、中圧縮、低圧縮のように3段階設定できるようにする。3段階のうち高圧縮の画像データに対する圧縮率が最も高く、次に中圧縮が高く、低圧縮が最も低く設定されている。このような3段階の圧縮率を有する圧縮パラメータを設定可能なシステムであれば、例えば、以下の重み付け(±0.5)を行う。
【0031】
しかるに、画像解析処理予測部42は、画像データの解析処理予測時間T1を次式(2)乃至(4)を演算することにより求める。
【0032】
(a)低圧縮
処理推測時間T1=α×(1−0.5)×符号量 …(2)
(b)中圧縮
処理推測時間T1=α×符号量 …(3)
(c)高圧縮
処理推測時間T1=α×(1+0.5)×符号量 …(4)
中圧縮の上記式(3)は、上記式(1)と同一である。
なお、簡単な計算式で表現できない場合は、画像処理時間の推測テーブルを持つ。圧縮率は、圧縮方法によって異なるので、圧縮方法に応じた重み付を行う。
【0033】
第2のプロセッサ20は、スケジューリング部43に対して再スケジューリングを依頼する。このスケジューリング部43は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部40において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部42により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う(ACT14)。
ここで、スケジューリング部43によるジョブの予約の方法の一例について図7に示すスケジューリングフローチャートに従って説明する。
スケジューリング部43は、第2の画像処理部24により圧縮データを解析するジョブを実行するためのスレッドに空きがあるか否かを判定する。スレッドは、例えば第1のスレッドと第2のスレッドとの2つのスレッドがあるものとする(ACT30)。
この判定の結果、2つのスレッドのうちいずれか一方又は両方に空きがあれば、スケジューリング部43は、当該空スレッドによりジョブを実行する(ACT31)。
【0034】
上記空スレッドがあるか否か判定の結果、空スレッドがなければ、スケジューリング部43は、新規に受け付けたジョブを除き、実行待ちにあるジョブ数が1以上存在するか否かを判定する(ACT32)。この判定の結果、実行待ちにあるジョブ数が1以上存在すれば、スケジューリング部43は、例えばジョブを実行中の2つのスレッドのうち最も終了予定時間の早いスレッドにジョブを予約する(ACT33)。上記判定の結果、実行待ちにあるジョブ数が1以上存在しなければ(ジョブ数n=0)、スケジューリング部43は、総実行待ちのジョブ数N(n=0)とする(ACT34)。
スケジューリング部43は、実行待ちにあるジョブを最も終了予定時間の早いスレッドに予約する(ACT35)。
【0035】
スケジューリング部43は、実行待ちの未予約のジョブがあるか否か、すなわちN≠nであるか否かを判定する(ACT36)。この判定の結果、実行待ちの未予約のジョブがあれば、スケジューリング部43は、実行待ちの未予約のジョブを予約済みのジョブ情報も含めて最も終了予定時間の早いスレッドに予約し、ジョブ数n=1とする(ACT37)。
【0036】
スケジューリング部43は、上記予約したジョブのジョブ終了予定時間と当該ジョブの受付時間との時間差、すなわち
時間差T2=ジョブ終了予定時間−ジョブの受付時間 …(5)
を求め、この時間差T2が規定値よりも短いか否かを判定する(ACT38)。
この規定値は、ユーザが望むジョブのレスポンス、すなわちジョブ受付から処理完了までの時間であるレスポンスタイムのうち最悪値を示し、例えば10秒以下にすることが求められている。又、レスポンスタイムは、ジョブを投げてから画像解析処理等を行うまで時間が遅くとも5秒以内にするように設定してもよい。
【0037】
この判定の結果、時間差T2が規定値よりも短ければ、スケジューリング部43は、上記ACT36に戻る。時間差T2が規定値よりも長ければ、スケジューリング部43は、全ての予約ジョブを再配置して、全てのジョブの終了予定時刻とジョブの受付時間との時間差、すなわち
時間差T3=全てのジョブ終了予定時間−ジョブの受付時間 …(6)
を求め、この時間差T3が規定値よりも短くすることが可能であるか否かを判定する(ACT39)。
【0038】
この判定の結果、時間差T3が規定値よりも短ければ、スケジューリング部43は、上記再配置した予約ジョブのスケジュールを登録する、すなわち予約ジョブのスケジュールデータを第2の記憶部23に保存する(ACT40)。一方、時間差T3が規定値よりも長ければ、スケジューリング部43は、上記再配置した前の予約ジョブのスケジュールを登録する、すなわち当該予約ジョブのスケジュールデータを第2の記憶部23に保存する(ACT41)。
【0039】
以下、ジョブのスケジューリングの具体的な一例について説明する。
スケジューリング部43は、ジョブ受付から処理完了までの時間であるレスポンスタイムを例えば10秒以下にすることが求められているとする。又、スケジューリング部43は、上記の通りサーバにおいて2つスレッドを持ち、最大2並列でジョブを処理できるものとする。
【0040】
図8はサーバ装置2へのジョブの入力の一例を示す。サーバ装置2には、例えば各ジョブA、B、C、Dが1秒(1s)間隔で順次入力している。ジョブAがサーバ装置2に入力したとき、他の実行中のジョブ、待機中のジョブはないものとする。又、ジョブAは、処理時間に5秒(5s)を要し、ジョブBは、処理時間に7秒(7s)、ジョブCは、処理時間に4秒(4s)、ジョブDは、処理時間に8秒(8s)を要するものとする。なお、同図において例えばジョブBに記載の「1+7s」は、ジョブBがジョブAの開始時から1秒後に入力され、処理時間に7秒を要することを表す。
【0041】
先ず、ジョブAが第1のスレッドで実行される。このジョブAの開始時から1秒後にジョブBが第2のスレッドで実行される。
このジョブBの開始時から1秒後にジョブCが入力されると、このジョブCの入力した時点では、第1のスレッドでジョブAが実行され、これと共に第2のスレッドでジョブBが実行されている。このジョブ実行の状態で、ジョブCが入力すると、ジョブAが先に終了すると想定されるので、ジョブCは、第1のスレッドにおけるジョブAの終了後に予約される。さらに、ジョブCが入力した1秒後にジョブDが入力する。
【0042】
ジョブのスケジューリングをジョブの投入順を優先度として決定すると、上記図8に示すように各ジョブA、B、C、Dが順次入力した場合、図9に示すように第1のスレッドにジョブAが予約され、次に第2のスレッドにジョブBが予約され、次に第1のスレッドにジョブCが予約され、次に第2のスレッドにジョブDが予約される。
このように各ジョブA、B、C、Dの投入順を優先度として第1と第2のスレッドに各ジョブA、B、C、Dを予約すると、第1のスレッドに各ジョブA、Cが予約され、第2のスレッドに各ジョブB、Dが予約されると、第2のスレッドにおいて各ジョブB、Dが終了するまでに16秒(16s)を要してしまい、ジョブ受付から処理完了までのレスポンスタイムが目標時間とする例えば10秒以下にならず、当該目標時間よりも長くなってしまう。
【0043】
これに対して本スケジューリング部43は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部40において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部42により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行うので、各ジョブA、B、C、Dの各処理推測時間T1から各ジョブA、B、C、Dの各ジョブ終了予定時間を求める。
【0044】
スケジューリング部43は、各ジョブA、B、C、Dの各ジョブ終了予定時間を用いて上記式(5)
時間差T2=ジョブ終了予定時間−ジョブの受付時間
を演算し、この時間差T2が規定値よりも短いか否かを判定する。
【0045】
この判定の結果、時間差T2が規定値よりも短ければ、スケジューリング部43は、上記ACT36に戻り、時間差T2が規定値よりも長ければ、全ての予約ジョブA、B、C、Dを再配置して上記式(6)
時間差T3=全てのジョブ終了予定時間−ジョブの受付時間
を求め、この時間差T3が規定値よりも短くすることが可能であるか否かを判定し、時間差T3が規定値よりも短ければ、再配置した予約ジョブのスケジュールを登録する。
この結果、例えば図10に示すようにジョブCを第2のスレッドに予約し、ジョブDを第1のスレッドに予約するように再配置し、全てのジョブA、B、C、Dを10秒以下のレスポンスタイムに調整する。
【0046】
スケジューリング情報保存部44は、スケジューリング部43により再スケジューリングしたスケジュール情報を例えば第2の記憶部23に保存する(ACT15)。
第2のプロセッサ20は、特定のジョブ、例えばジョブAに対してジョブを実行するための命令を第2の画像処理部24に送ったか否かを判定する。この判定の結果、当該ジョブを実行するための命令を送っていなければ、第2のプロセッサ20は、当該ジョブを実行するための命令を送られることを確認するまで判定を続ける(ACT16)。
当該ジョブを実行するための命令が送られると、第2の画像処理部24の画像伸長部50は、ジョブAに対するジョブの実行、例えば端末装置1から送られてきた圧縮データを伸長する(ACT17)。
【0047】
第2のプロセッサ20は、第2の画像処理部24に対して画像解析処理を行う命令を送る。第2の画像処理部24は、画像伸長部50より伸長された画像データを解析、例えば画像データに対してQRコードの位置を探索し、かつQRコードのデコードを行う(ACT18)。
スケジューリング情報削除部45は、スケジューリング情報保存部44に保存されているスケジュール情報、ここではジョブAを削除する(ACT19)。
第2のプロセッサ20は、待機しているジョブが有るか否かを確認する(ACT20)。この判定の結果、待機しているジョブが有れば、第2のプロセッサ20は、待機しているジョブのうち最も優先度の高いジョブに対して画像解析処理を行う命令を第2の画像処理部24に送り、上記ACT16に移る(ACT21)。待機しているジョブが無ければ、第2のプロセッサ20は、サーバ装置2の処理を終了する。
【0048】
このように上記第1の実施の形態によれば、端末装置1において原稿を読み取ってその画像データの圧縮データを生成すると共に、画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を圧縮情報取得部31を取得し、サーバ装置2において圧縮方式、圧縮パラメータ、圧縮データの符号量等に基づいて第2の画像処理部24により圧縮データを解析するために要する解析処理予測時間を推測し、スケジューリング部43により画像解析処理予測部42により画像解析の実行待機中のジョブと新規のジョブとのスケジューリングを行うので、各ジョブを処理するに要する時間が長くならず、全てのジョブA、B、C、Dを解析処理の目標時間以下のレスポンスタイムにすることができる。すなわち、圧縮方式、圧縮パラメータ、符号量を用いて画像データを画像解析するときの解析処理量の大きさ、解析処理するときの処理手順の複雑さなどが反映される解析処理予測時間を推測することにより、より精度の良いスケジューラの作成が可能となる。これにより、サーバ装置2では、軽い負荷で精度の高く解析処理予測時間を推測することができ、より精度の良いスケジューラの作成が可能となる。
【0049】
しかるに、サーバ装置2では、端末装置1で得られる第1の付加情報を基に、画像データ毎に画像解析処理時間をより正確に予測し優先度を付けることにより、レスポンスタイムの長いジョブの発生を減らすことができる。
画像解析処理時間の予測のための付加情報を、端末装置1で必要な処理の第1の付加情報、そこから容易に得られる情報を用いることにより、サーバ装置2の負荷軽減、高速化を実現することができる。
【0050】
(第2の実施の形態)
次に、第2の実施の形態について図面を参照して説明する。なお、第2の実施の形態の画像処理システムの構成は、上記第1の実施の形態の画像処理システムと同一部分について上記図1乃至図4に示す構成図を援用し、かつ相違する部分について図11に示す機能ブロック図を参照して説明する。
図11は端末装置1における第1の画像処理部15の機能ブロック図を示す。この第1の画像処理部15は、画像符号化部30と、圧縮情報取得部31とに加えて付加情報取得部60を有する。この付加情報取得部60は、画像入力部13から出力された画像データを受け取り、この画像データに対する予め設定された処理を行って1つ以上の第2の付加情報を取得する。この第2の付加情報は、画像データを一定領域毎に分割し、これら分割した一定領域毎に当該一定領域が一定範囲内の画素値で構成されているか否かを含む情報であって、例えばカラー画像におけるRGB画素のそれぞれの画素値が一定範囲内、例えば±5値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置1において画像データを形成するための命令数である。
【0051】
第2のプロセッサ20における画像解析処理予測部42は、第2の付加情報に基づいて画像解析処理部51による画像データを解析するに要する時間を推測する。
具体的に、画像解析処理予測部42は、第2の付加情報、例えば分割した一定領域が一定範囲内の画素値で構成されている前記領域(分割した領域)が多い程、すなわち画像データにおける黒画素の連結成分数から一定値を示す領域が多い程、画像データを解析するに要する時間が短いと推測する。一方、画像解析処理予測部42は、第2の付加情報、例えば画像データにおける黒画素の連結成分数から、分割した一定領域が一定範囲外の画素値で構成されている一定領域が隣り合っている程、画像データを解析するに要する時間が長いと推測する。
【0052】
次に、上記の如く構成されたシステムの端末装置1の動作について図12に示す端末処理フローチャートに従って説明する。
第1のプロセッサ10は、画像入力部13に対して原稿のスキャンを依頼する(ACT50)。この画像入力部13は、原稿のスキャンの依頼を受けると、例えばQRコードを含む原稿をスキャンし、この原稿を画像データに変換出力する。
第1のプロセッサ10は、第1の画像処理部15に対して第2の付加情報の取得を依頼する。この第1の画像処理部15の付加情報取得部60は、画像入力部13から出力された画像データを受け取り、この画像データに対する予め設定された処理を行って1つ以上の第2の付加情報を取得する。この第2の付加情報は、画像データを一定領域毎に分割し、これら分割した一定領域毎に、当該一定領域が一定範囲内の画素値で構成されているか否かという情報を含むものであって、例えばカラー画像におけるRGB画素のそれぞれの画素値が一定範囲内、例えば±5値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置1において画像データを形成するための命令数である。
【0053】
具体的に、付加情報取得部60は、画像入力部13から出力された画像データに対してスキャン画像処理を施す、すなわち画像データに対して2値化処理し、この2値化処理時に付加情報として2値化した画像データを一定サイズの複数のブロックにブロック化し、これらブロック毎に画素値が全て白か否かを判定(白/非白判定)し、この判定を示す情報(白ブロック情報)を第2の付加情報として取得する(ACT51)。
【0054】
第1のプロセッサ10は、第1の画像処理部15に対して圧縮処理を依頼する。この第1の画像処理部15の画像符号化部30は、画像入力部13からの画像データを入力し、この画像データに対して画像圧縮して圧縮データを生成する(ACT52)。このとき、圧縮情報取得部31は、画像符号化部30により生成された圧縮データの第1の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を取得する。
【0055】
第1のプロセッサ10は、第1のNIC16に対して圧縮データ及び第1と第2の付加情報の送信を依頼する(ACT53)。この第1のNIC16は、圧縮データ及び第1と第2の付加情報の送信の依頼を受けると、画像符号化部30により生成された圧縮データを受け取ると共に、画像符号化部30により生成された第1の付加情報すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、付加情報取得部60により取得された第2の付加情報すなわち画像データにおける複数のブロック毎の白ブロック情報とを受け取り、これら圧縮データ及び第1と第2の付加情報をネットワーク3を介して1台のサーバ装置2に送信する。
【0056】
次に、上記の如く構成されたシステムのサーバ装置2の動作について図13に示す端末処理フローチャートに従って説明する。
サーバ装置2の第2のNIC25は、端末装置1から送信された圧縮データと、第1の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第2の付加情報である画像データにおける複数のブロック毎の白ブロック情報とを受信する(ACT60)。
【0057】
サーバ装置2の第2のプロセッサ20のジョブ受付時間取得部40は、端末装置1から送られてきた圧縮データと、第1の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第2の付加情報である画像データにおける複数のブロック毎の白ブロック情報とをジョブとして受け付し、この受付時間を取得する(ACT61)。
ジョブ情報保存部41は、第2のNIC25により受信した圧縮データと、第1の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第2の付加情報である画像データにおける複数のブロック毎の白ブロック情報と、ジョブ受付時間取得部40により取得したジョブの受付時間とを例えば第2の記憶部23に記憶する(ACT62)。
【0058】
第2のプロセッサ20の画像解析処理予測部42は、第2の付加情報である画像データにおける複数のブロック毎の白ブロック情報、例えばカラー画像におけるRGB画素のそれぞれの画素値が例えば±5値以内に収まっているか否かの情報や、画像データにおける黒画素の連結成分数に基づいて画像解析処理部51による画像データを解析するに要する時間を推測する(ACT63)。
この画像解析処理予測部42は、例えば分割した一定領域が一定範囲内の画素値で構成され、これら一定領域が多い程、すなわち画像データにおける黒画素の連結成分数から一定値を示す領域が多い程、画像データを解析するに要する時間が短いと推測し、反対に、例えば画像データにおける黒画素の連結成分数等から分割した一定領域が一定範囲外の画素値で構成されている一定領域が隣り合っている程、画像データを解析するに要する時間が長いと推測する。
【0059】
具体的に画像解析処理予測部42は、白ブロック情報から白ブロック数をカウントし、例えば以下に示す式(7)を演算して解析処理予測時間T1を推測する。
解析処理予測時間T1=基本処理時間×{1−(白ブロック数/ブロック総数)}
…(7)
なお、画像解析処理予測部42は、白ブロックでないブロックが隣同士で繋がっている場合、解析処理予測時間T1に所定時間αを加算する等、処理内容によってそれぞれ計算方法を異ならせてもよい。これら計算方法は、予めテーブル化して第2の記憶部23に記憶しておいてもよい。
【0060】
第2の付加情報は、端末装置1の画像処理の方法にも依存するが、例えば以下のような情報としてもよい。
(a)第2の付加情報として圧縮データの符号量と画像データの輝度値とは、それぞれが付加情報取得部60における2値化の閾値より小さい画素値の比率(黒画素となる比率)γ[%]を用いて算出する。
//画素符号量が一定値(th)以上で、画素比率が一定値(γth)以上の場合、
//QRコード候補位置を特定するパターン候補は、符号量に比例せず少ないと想定する。
//(2値化すると同一値となるがノイズの影響で符号量が多い可能性大)
if(γ>γth && 画素符号量>th){解析処理予測時間T1
=[β×(100−γ)/100]×画像符号量}
else{解析処理予測時間T1=[β×γ/100]×画像符号量} …(8)
βは比例定数である。
(b)第2の付加情報は、黒画素の連結成分数(オブジェクト数)より算出する。
解析処理予測時間T1=γ×基本処理単位時間 …(9)
γは黒画素の連結成分数(オブジェクト数)である。
(c)第2の付加情報は、PostScript等の画像形成の為の命令数より算出する。
【0061】
解析処理予測時間T1=δ×基本処理単位時間 …(10)
δは命令数である。
【0062】
第2のプロセッサ20は、スケジューリング部43に対して再スケジューリングを依頼する。このスケジューリング部43は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部40において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部42により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う(ACT14)。
このスケジューリング部43は、上記図7に示すスケジューリングフローチャートに従ってジョブの予約を行うもので、ここではその説明を省略する。
スケジューリング情報保存部44は、スケジューリング部43により再スケジューリングしたスケジュール情報を例えば第2の記憶部23に保存する(ACT15)。
以下、第2のプロセッサ20は、上記図6に示すサーバ処理フローチャートにおけるACT16〜ACT21と同様の動作を行ってサーバ装置2の処理を終了する。
【0063】
このように上記第2の実施の形態によれば、端末装置1において画像入力部13から出力された画像データに対する予め設定された処理を行って1つ以上の第2の付加情報、例えば画像データを一定領域毎に分割し、これら分割した一定領域毎に当該各一定領域が一定範囲内の画素値で構成されているか否かという情報を含むものであって、例えばカラー画像におけるRGB画素のそれぞれの画素値が一定範囲内、例えば±5値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置1において画像データを形成するための命令数を取得し、この第2の付加情報に基づいて画像解析処理予測部42により画像解析処理部51による画像データを解析するに要する時間を推測するので、上記第1の実施の形態と同様の効果を奏することができる。
【符号の説明】
【0064】
1:端末装置、2:サーバ装置、3:ネットワーク、10:第1のプロセッサ、11:バス、12:第1のユーザインタフェース部、13:画像入力部、14:第1の記憶部、15:第1の画像処理部、16:第1のニック(NIC)、30:画像符号化部、31:圧縮情報取得部、20:第2のプロセッサ、21:バス、22:第2のユーザインタフェース部、23:第2の記憶部、24:第2の画像処理部、25:第2のNIC、40:ジョブ受付時間取得部、41:ジョブ情報保存部、42:画像解析処理予測部、43:スケジューリング部、44:スケジューリング情報保存部、45:スケジューリング情報削除部、50:画像伸長部、51:画像解析処理部、60:付加情報取得部。
【技術分野】
【0001】
本発明の実施形態は、1つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続し、サーバ装置において各端末装置から送られてきた各画像データを画像解析する画像処理システムに関する。
【背景技術】
【0002】
かかる画像処理システムは、各端末装置においてそれぞれ原稿をスキャンして各画像データ等(スキャン情報)を取得してサーバ装置に送り、このサーバ装置において各端末装置から送られてきた各画像データを各ジョブとして受け付け、これらジョブとして各画像データの画像解析を行う。この画像処理システムの各端末装置としては、例えばデジタル複合機(MFP)がある。この画像処理システムは、各端末装置において取得した各画像データ等を一括で管理することを目的として1台のサーバで画像解析を行う。
【0003】
このサーバ装置では、各ジョブに対してどのように当該サーバの資源を割り当て各ジョブを実行するかの順番を決定する。このため、サーバ装置は、例えばジョブの受付順に優先度を付けたり、何らかの条件を元にジョブの優先度を付けることによってジョブを実行する順番を決定するスケジューラを持つ。上記条件としては、例えばアクセスログからジョブの処理時間を予測して優先度を付けたり、ジョブ毎に優先度を決めるものがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−263409号公報
【特許文献2】特開平08−106369号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ジョブを実行する順番を決定するスケジューリングでは、例えば各ジョブの投入順に優先度を決定するものがある。このようなジョブ実行の順番の決定では、各ジョブを処理するに要する時間が長くなってしまう。
【課題を解決するための手段】
【0006】
実施の形態の画像処理システムによれば、1つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、前記端末装置は、原稿を画像データに変換する画像入力部と、前記画像データに対して画像圧縮して圧縮データを生成すると共に、前記圧縮データに関する第1の付加情報を取得する画像処理部とを有し、前記サーバ装置は、前記画像符号化部により生成された前記圧縮データを伸長する画像伸長部と、前記画像復号化部により伸長された画像データを解析する画像解析処理部と、前記圧縮データの前記第1の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部とを有する。
【0007】
実施の形態の他の画像処理システムによれば、少なくともと1つの端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、前記端末装置は、原稿を画像データに変換する画像入力部と、前記画像データに対する予め設定された処理を行って1つ以上の第2の付加情報を取得する付加情報取得部と、前記画像データに対して画像圧縮して圧縮データを生成する圧縮情報取得部とを有し、前記サーバ装置は、前記圧縮情報取得部により生成された前記圧縮データを伸長する画像伸長部と、前記画像伸長部により伸長された画像データを解析する画像解析処理部と、前記第2の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部とを有する。
【図面の簡単な説明】
【0008】
【図1】第1の実施の形態の画像処理システムを示すブロック構成図。
【図2】同システムにおける端末装置の第1の画像処理部の具体的な構成を示すブロック構成図。
【図3】同システムにおける第2のプロセッサを示す機能ブロック図。
【図4】同システムにおける第2の画像処理部を示す機能ブロック図。
【図5】同システムにおける端末装置の端末処理フローチャート。
【図6】同システムにおけるサーバ装置のサーバ処理フローチャート。
【図7】同システムにおけるスケジューリング部のスケジューリングフローチャート。
【図8】同システムにおけるサーバ装置へのジョブの入力の一例を示す図。
【図9】従来のシステムにおけるジョブ予約のスケジューリングを示す模式図。
【図10】本システムにおけるジョブ予約のスケジューリングを示す模式図。
【図11】第2の実施の形態の画像処理システムを示すブロック構成図。
【図12】同システムにおける端末装置の端末処理フローチャート。
【図13】同システムにおけるサーバ装置のサーバ処理フローチャート。
【発明を実施するための形態】
【0009】
(第1の実施の形態)
以下、第1の実施の形態について図面を参照して説明する。
図1は画像処理システムのブロック構成図を示す。本システムは、1つ以上の端末装置1とサーバ装置2とをローカルエリアネットワーク(LAN)等のネットワーク3を介して互いに接続されている。ここでは1台の端末装置1と1台のサーバ装置2とをネットワーク3を介して互いに接続された構成とする。端末装置1は、例えばコピー、プリンタ又はファクシミリ等を一体的に備えたデジタル複合機(MFP)等の機能を有するもので、例えば、端末装置1によりQRコードを含む原稿をスキャンしてQRコードデータをサーバ装置2に送り、このサーバ装置2によりQRコードデータのデコードを行ってQRコードに関する情報を得る。なお、端末装置1は、MFPに限らず、複合機、スキャナ、又はカメラであってもよい。
【0010】
端末装置1は、第1のプロセッサ10を備え、この第1のプロセッサ10にバス11を介して第1のユーザインタフェース部12と、画像入力部13と、第1の記憶部14と、第1の画像処理部15と、第1のNIC(Network Interface Card)16とを有する。
【0011】
第1のプロセッサ10は、コピー、プリンタ又はファクシミリ等の各動作プログラムを予め記憶し、これら動作プログラムを実行してコピー、プリンタ又はファクシミリ等の動作を行うために第1のユーザインタフェース部12と、画像入力部13と、第1の記憶部14と、第1の画像処理部15と、第1のNIC16とに対して命令を発する。
【0012】
第1のユーザインタフェース部12は、ユーザの操作を受けてその操作指示を受け付けるもので、例えばキーボード、マウス、タッチパネル等を有する。
画像入力部13は、第1のプロセッサ10から原稿のスキャンの依頼を受けると、例えばQRコードを含む原稿をスキャンし、原稿を画像データに変換出力する。
記憶部14は、画像入力部13から入力された画像データや、第1の画像処理部15により画像処理された画像データなどを記憶する。
【0013】
第1の画像処理部15は、画像入力部13から入力された画像データに対して画像圧縮して圧縮データを生成すると共に、この圧縮データの第1の付加情報を取得する。この第1の圧縮データの付加情報は、画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量を含む。
なお、圧縮データの第1の付加情報は、圧縮方式、圧縮パラメータ、圧縮データの符号量に限らず、例えば画像解像度(画像の幅高さ)、処理ページ数、画像の幅高さ、画像色数(color/pixel)、bit深度(bits/sample)を用いても良い。
【0014】
この第1の画像処理部15は、具体的に図2に示すように画像符号化部30と、圧縮情報取得部31とを有する。画像符号化部30は、画像データに対して画像圧縮して圧縮データを生成する。圧縮情報取得部31は、画像符号化部30により生成された圧縮データの第1の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を得する。なお、これら画像符号化部30と圧縮情報取得部31とは、第1のプロセッサ10の機能に含めても良い。
【0015】
第1のNIC16は、端末装置1をLAN等のネットワーク3と接続するためのインタフェースカードである。
【0016】
一方、サーバ装置2は、端末装置1から送られてきた圧縮データ等を入力し、この圧縮データに対して画像解析等を行うもので、第2のプロセッサ20を備え、この第2のプロセッサ20にバス21を介して第2のユーザインタフェース部22と、第2の記憶部23と、第2の画像処理部24と、第2のNIC25とを有する。このサーバ装置2の第2のプロセッサ20は、画像解析等を行うための各動作プログラムを予め記憶し、これら動作プログラムを実行して第2のユーザインタフェース部22と、第2の記憶部23と、第2の画像処理部24と、第2のNIC25とに対して命令を発するもので、図3に示すようにジョブ受付時間取得部40と、ジョブ情報保存部41と、画像解析処理予測部42と、スケジューリング部43と、スケジューリング情報保存部44と、スケジューリング情報削除部45とを有する。
【0017】
ジョブ受付時間取得部40は、端末装置1から送られてきた圧縮データ及びその第1の付加情報(圧縮方式、圧縮パラメータ、圧縮データの符号量等)をジョブとして受け付した受付時間を取得する。
ジョブ情報保存部41は、端末装置1から送られてきた圧縮データ及びその第1の付加情報(圧縮方式、圧縮パラメータ、圧縮データの符号量等)や、ジョブ受付時間取得部40により取得したジョブの受付時間を例えば第2の記憶部23に記憶する。
画像解析処理予測部42は、第2の記憶部23に記憶されている圧縮データの第1の付加情報、すなわち圧縮方式、圧縮パラメータ、圧縮データの符号量等を読み出し、これら圧縮方式、圧縮パラメータ、符号量に基づいて端末装置1から送られてきた圧縮データを第2の画像処理部24により解析するために要する時間(解析処理予測時間)を推測する。
【0018】
スケジューリング部43は、画像解析処理予測部42により推測された圧縮データを解析するに要する解析処理予測時間に基づいて複数の圧縮データを解析するためのスケジューリングを行う。例えば、このスケジューリング部43は、画像解析処理予測部42により画像解析の実行待機中のジョブと新規のジョブとのスケジューリングを行うもので、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部40において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部42により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う。なお、スケジューリング部43は、ジョブの処理時間を予測してスケジューリングするものであれば、如何なるスケジューラでもよい。
【0019】
スケジューリング情報保存部44は、スケジューリング部43により再スケジューリングしたスケジュール情報を例えば第2の記憶部23に保存する。
スケジューリング情報削除部45は、スケジューリング情報保存部44に保存されているスケジュール情報を削除する。
第2のユーザインタフェース部22は、ユーザの操作を受けてその操作指示を受け付けるもので、例えばキーボード、マウス、タッチパネル等を有する。
第2の記憶部23は、端末装置1から送られてきた圧縮データや、第2の画像処理部24により画像処理された画像データなどを記憶する。
【0020】
第2の画像処理部24は、端末装置1から送られてきた圧縮データに対して画像解析等を行うもので、図4に示すように画像伸長部50と、画像解析処理部51とを有する。画像伸長部50は、端末装置1から送られてきた圧縮データを伸長する。
【0021】
画像解析処理部51は、画像伸長部50より伸長された画像データを解析、例えば画像データに対してQRコードの位置を探索し、かつQRコードのデコードを行う。なお、これら画像伸長部50と画像解析処理部51とは、第2のプロセッサ20の機能に含めてもよい。
この画像解析処理部51は、画像伸長部50より伸長された画像データに含むQRコードの位置の探索を含むデータコードの抽出に限らず、画像伸長部50より伸長された画像データから光学的な読み取り、又は伸長された画像データ中に含まれる領域を抽出するレイアウト解析を行う。
【0022】
次に、上記の如く構成されたシステムの端末装置1の動作について図5に示す端末処理フローチャートに従って説明する。
第1のプロセッサ10は、画像入力部13に対して原稿のスキャンを依頼する(ACT1)。この画像入力部13は、原稿のスキャンの依頼を受けると、例えばQRコードを含む原稿をスキャンし、この原稿を画像データに変換出力する。
第1のプロセッサ10は、第1の画像処理部15に対して圧縮処理を依頼する。この第1の画像処理部15の画像符号化部30は、画像入力部13からの画像データを入力し、この画像データに対して画像圧縮して圧縮データを生成する(ACT2)。
第1のプロセッサ10は、第1の画像処理部15に対して圧縮データの第1の付加情報の取得を依頼する。この第1の画像処理部15の圧縮情報取得部31は、画像符号化部30により生成された圧縮データの第1の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を取得する(ACT3)。
【0023】
第1のプロセッサ10は、第1のNIC16に対して圧縮データ及びその第1の付加情報の送信を依頼する(ACT4)。この第1のNIC16は、圧縮データ及びその第1の付加情報の送信の依頼を受けると、画像符号化部30により生成された圧縮データを受け取ると共に、画像符号化部30により生成された圧縮データの第1の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を受け取り、これら画像データと、その第1の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等をネットワーク3を介して1台のサーバ装置2に送信する。
【0024】
次に、上記の如く構成されたシステムのサーバ装置2の動作について図6に示すサーバ処理フローチャートに従って説明する。
第2のプロセッサ20は、第2のNIC25に対して端末装置1から送信された圧縮データ及びその第1の付加情報を常時受信するように依頼している。この第2のNIC25は、端末装置1から送信された圧縮データ及びその第1の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等を受信すると(ACT10)、これら圧縮データ及びその第1の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等を第2のプロセッサ20に送る。
【0025】
この第2のプロセッサ20のジョブ受付時間取得部40は、端末装置1から送られてきた圧縮データ及びその圧縮情報取得部31(圧縮方式、圧縮パラメータ、圧縮データの符号量等)をジョブとして受け付した受付時間を取得する(ACT11)。
ジョブ情報保存部41は、第2のNIC25により受信した圧縮データ及びその圧縮情報取得部31である圧縮方式、圧縮パラメータ、圧縮データの符号量等や、ジョブ受付時間取得部40により取得したジョブの受付時間を例えば第2の記憶部23に記憶する(ACT12)。
【0026】
画像解析処理予測部42は、第2の記憶部23に記憶されている圧縮データの圧縮情報取得部31、すなわち圧縮方式、圧縮パラメータ、圧縮データの符号量等を読み出し、これら圧縮方式、圧縮パラメータ、符号量に基づいて端末装置1から送られてきた圧縮データを第2の画像処理部24により解析するために要する解析処理予測時間を推測する(ACT13)。
【0027】
ところで、画像解析処理予測部42により圧縮データを解析する場合、この圧縮データの解析に要する処理時間は、端末装置1から送信された圧縮データによって大きく変わることがほとんどである。画像データ(圧縮データを伸長した画像データ)に含まれるQRコードをデコード処理するには、先ず、画像データ中からQRコードの位置を特定し、この特定された位置でQRコードを解析する。
【0028】
しかしながら、画像データには、例えば文字を多く含んだ画像中にQRコードが存在するものがある。このような画像データでは、QRコードの位置を特定するためのオブジェクトすなわち黒画素群等が多くなり、QRコード候補位置を決定するのに長い処理時間を必要とする。これに対してQRコード以外に何も書かれていないような画像データの場合には、QRコードの位置を特定するオブジェクトすなわち画像データにおける黒画素群等が少ないために処理時間が短くなる。
【0029】
JPEGやMMR圧縮等の画像全面に対して一律で、かつ同様の方法によって圧縮をした圧縮データサイズは、画像データの影響を受け、例えば、複雑な画像データすなわちオブジェクトの多い画像データは符号量が多くなり、シンプルな画像すなわちオブジェクトの少ない画像データは符号量が少なくなる傾向にある。
一方で、JPEGやJPEG2000のように可逆圧縮/非可逆圧縮が選択でき方式は、見た目は殆ど同じなのに圧縮データサイズが大きく相違する。これは量子化パラメータ等にも同様のことが言える。
【0030】
従って、画像解析処理予測部42は、圧縮方式、圧縮パラメータ、符号量から画像データの処理時間を予め把握しテーブルに保存しておき、QRコードのデコード処理時間の推測に用いる。例えば、同一フォーマットで同一パラメータの場合で、符号量とQRコードの探索・デコード処理時間に概ね比例関係がある場合、以下のような式を用いる。なお、簡単な計算式で表現できない場合は、画像処理時間の推測テーブルを持つ。
画像解析処理予測部42は、画像データの解析処理予測時間T1を次式(1)を演算することにより求める。
処理推測時間T1=α×符号量 …(1)
ここで、αは比例定数である。
但し、JPEGやJPEG2000等のように圧縮率を調整できるような圧縮方式の場合は、上記次式(1)に示すように符号量だけで画像データの処理推測時間T1を推測できない場合がある。そこで、例えば圧縮パラメータを高圧縮、中圧縮、低圧縮のように3段階設定できるようにする。3段階のうち高圧縮の画像データに対する圧縮率が最も高く、次に中圧縮が高く、低圧縮が最も低く設定されている。このような3段階の圧縮率を有する圧縮パラメータを設定可能なシステムであれば、例えば、以下の重み付け(±0.5)を行う。
【0031】
しかるに、画像解析処理予測部42は、画像データの解析処理予測時間T1を次式(2)乃至(4)を演算することにより求める。
【0032】
(a)低圧縮
処理推測時間T1=α×(1−0.5)×符号量 …(2)
(b)中圧縮
処理推測時間T1=α×符号量 …(3)
(c)高圧縮
処理推測時間T1=α×(1+0.5)×符号量 …(4)
中圧縮の上記式(3)は、上記式(1)と同一である。
なお、簡単な計算式で表現できない場合は、画像処理時間の推測テーブルを持つ。圧縮率は、圧縮方法によって異なるので、圧縮方法に応じた重み付を行う。
【0033】
第2のプロセッサ20は、スケジューリング部43に対して再スケジューリングを依頼する。このスケジューリング部43は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部40において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部42により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う(ACT14)。
ここで、スケジューリング部43によるジョブの予約の方法の一例について図7に示すスケジューリングフローチャートに従って説明する。
スケジューリング部43は、第2の画像処理部24により圧縮データを解析するジョブを実行するためのスレッドに空きがあるか否かを判定する。スレッドは、例えば第1のスレッドと第2のスレッドとの2つのスレッドがあるものとする(ACT30)。
この判定の結果、2つのスレッドのうちいずれか一方又は両方に空きがあれば、スケジューリング部43は、当該空スレッドによりジョブを実行する(ACT31)。
【0034】
上記空スレッドがあるか否か判定の結果、空スレッドがなければ、スケジューリング部43は、新規に受け付けたジョブを除き、実行待ちにあるジョブ数が1以上存在するか否かを判定する(ACT32)。この判定の結果、実行待ちにあるジョブ数が1以上存在すれば、スケジューリング部43は、例えばジョブを実行中の2つのスレッドのうち最も終了予定時間の早いスレッドにジョブを予約する(ACT33)。上記判定の結果、実行待ちにあるジョブ数が1以上存在しなければ(ジョブ数n=0)、スケジューリング部43は、総実行待ちのジョブ数N(n=0)とする(ACT34)。
スケジューリング部43は、実行待ちにあるジョブを最も終了予定時間の早いスレッドに予約する(ACT35)。
【0035】
スケジューリング部43は、実行待ちの未予約のジョブがあるか否か、すなわちN≠nであるか否かを判定する(ACT36)。この判定の結果、実行待ちの未予約のジョブがあれば、スケジューリング部43は、実行待ちの未予約のジョブを予約済みのジョブ情報も含めて最も終了予定時間の早いスレッドに予約し、ジョブ数n=1とする(ACT37)。
【0036】
スケジューリング部43は、上記予約したジョブのジョブ終了予定時間と当該ジョブの受付時間との時間差、すなわち
時間差T2=ジョブ終了予定時間−ジョブの受付時間 …(5)
を求め、この時間差T2が規定値よりも短いか否かを判定する(ACT38)。
この規定値は、ユーザが望むジョブのレスポンス、すなわちジョブ受付から処理完了までの時間であるレスポンスタイムのうち最悪値を示し、例えば10秒以下にすることが求められている。又、レスポンスタイムは、ジョブを投げてから画像解析処理等を行うまで時間が遅くとも5秒以内にするように設定してもよい。
【0037】
この判定の結果、時間差T2が規定値よりも短ければ、スケジューリング部43は、上記ACT36に戻る。時間差T2が規定値よりも長ければ、スケジューリング部43は、全ての予約ジョブを再配置して、全てのジョブの終了予定時刻とジョブの受付時間との時間差、すなわち
時間差T3=全てのジョブ終了予定時間−ジョブの受付時間 …(6)
を求め、この時間差T3が規定値よりも短くすることが可能であるか否かを判定する(ACT39)。
【0038】
この判定の結果、時間差T3が規定値よりも短ければ、スケジューリング部43は、上記再配置した予約ジョブのスケジュールを登録する、すなわち予約ジョブのスケジュールデータを第2の記憶部23に保存する(ACT40)。一方、時間差T3が規定値よりも長ければ、スケジューリング部43は、上記再配置した前の予約ジョブのスケジュールを登録する、すなわち当該予約ジョブのスケジュールデータを第2の記憶部23に保存する(ACT41)。
【0039】
以下、ジョブのスケジューリングの具体的な一例について説明する。
スケジューリング部43は、ジョブ受付から処理完了までの時間であるレスポンスタイムを例えば10秒以下にすることが求められているとする。又、スケジューリング部43は、上記の通りサーバにおいて2つスレッドを持ち、最大2並列でジョブを処理できるものとする。
【0040】
図8はサーバ装置2へのジョブの入力の一例を示す。サーバ装置2には、例えば各ジョブA、B、C、Dが1秒(1s)間隔で順次入力している。ジョブAがサーバ装置2に入力したとき、他の実行中のジョブ、待機中のジョブはないものとする。又、ジョブAは、処理時間に5秒(5s)を要し、ジョブBは、処理時間に7秒(7s)、ジョブCは、処理時間に4秒(4s)、ジョブDは、処理時間に8秒(8s)を要するものとする。なお、同図において例えばジョブBに記載の「1+7s」は、ジョブBがジョブAの開始時から1秒後に入力され、処理時間に7秒を要することを表す。
【0041】
先ず、ジョブAが第1のスレッドで実行される。このジョブAの開始時から1秒後にジョブBが第2のスレッドで実行される。
このジョブBの開始時から1秒後にジョブCが入力されると、このジョブCの入力した時点では、第1のスレッドでジョブAが実行され、これと共に第2のスレッドでジョブBが実行されている。このジョブ実行の状態で、ジョブCが入力すると、ジョブAが先に終了すると想定されるので、ジョブCは、第1のスレッドにおけるジョブAの終了後に予約される。さらに、ジョブCが入力した1秒後にジョブDが入力する。
【0042】
ジョブのスケジューリングをジョブの投入順を優先度として決定すると、上記図8に示すように各ジョブA、B、C、Dが順次入力した場合、図9に示すように第1のスレッドにジョブAが予約され、次に第2のスレッドにジョブBが予約され、次に第1のスレッドにジョブCが予約され、次に第2のスレッドにジョブDが予約される。
このように各ジョブA、B、C、Dの投入順を優先度として第1と第2のスレッドに各ジョブA、B、C、Dを予約すると、第1のスレッドに各ジョブA、Cが予約され、第2のスレッドに各ジョブB、Dが予約されると、第2のスレッドにおいて各ジョブB、Dが終了するまでに16秒(16s)を要してしまい、ジョブ受付から処理完了までのレスポンスタイムが目標時間とする例えば10秒以下にならず、当該目標時間よりも長くなってしまう。
【0043】
これに対して本スケジューリング部43は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部40において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部42により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行うので、各ジョブA、B、C、Dの各処理推測時間T1から各ジョブA、B、C、Dの各ジョブ終了予定時間を求める。
【0044】
スケジューリング部43は、各ジョブA、B、C、Dの各ジョブ終了予定時間を用いて上記式(5)
時間差T2=ジョブ終了予定時間−ジョブの受付時間
を演算し、この時間差T2が規定値よりも短いか否かを判定する。
【0045】
この判定の結果、時間差T2が規定値よりも短ければ、スケジューリング部43は、上記ACT36に戻り、時間差T2が規定値よりも長ければ、全ての予約ジョブA、B、C、Dを再配置して上記式(6)
時間差T3=全てのジョブ終了予定時間−ジョブの受付時間
を求め、この時間差T3が規定値よりも短くすることが可能であるか否かを判定し、時間差T3が規定値よりも短ければ、再配置した予約ジョブのスケジュールを登録する。
この結果、例えば図10に示すようにジョブCを第2のスレッドに予約し、ジョブDを第1のスレッドに予約するように再配置し、全てのジョブA、B、C、Dを10秒以下のレスポンスタイムに調整する。
【0046】
スケジューリング情報保存部44は、スケジューリング部43により再スケジューリングしたスケジュール情報を例えば第2の記憶部23に保存する(ACT15)。
第2のプロセッサ20は、特定のジョブ、例えばジョブAに対してジョブを実行するための命令を第2の画像処理部24に送ったか否かを判定する。この判定の結果、当該ジョブを実行するための命令を送っていなければ、第2のプロセッサ20は、当該ジョブを実行するための命令を送られることを確認するまで判定を続ける(ACT16)。
当該ジョブを実行するための命令が送られると、第2の画像処理部24の画像伸長部50は、ジョブAに対するジョブの実行、例えば端末装置1から送られてきた圧縮データを伸長する(ACT17)。
【0047】
第2のプロセッサ20は、第2の画像処理部24に対して画像解析処理を行う命令を送る。第2の画像処理部24は、画像伸長部50より伸長された画像データを解析、例えば画像データに対してQRコードの位置を探索し、かつQRコードのデコードを行う(ACT18)。
スケジューリング情報削除部45は、スケジューリング情報保存部44に保存されているスケジュール情報、ここではジョブAを削除する(ACT19)。
第2のプロセッサ20は、待機しているジョブが有るか否かを確認する(ACT20)。この判定の結果、待機しているジョブが有れば、第2のプロセッサ20は、待機しているジョブのうち最も優先度の高いジョブに対して画像解析処理を行う命令を第2の画像処理部24に送り、上記ACT16に移る(ACT21)。待機しているジョブが無ければ、第2のプロセッサ20は、サーバ装置2の処理を終了する。
【0048】
このように上記第1の実施の形態によれば、端末装置1において原稿を読み取ってその画像データの圧縮データを生成すると共に、画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を圧縮情報取得部31を取得し、サーバ装置2において圧縮方式、圧縮パラメータ、圧縮データの符号量等に基づいて第2の画像処理部24により圧縮データを解析するために要する解析処理予測時間を推測し、スケジューリング部43により画像解析処理予測部42により画像解析の実行待機中のジョブと新規のジョブとのスケジューリングを行うので、各ジョブを処理するに要する時間が長くならず、全てのジョブA、B、C、Dを解析処理の目標時間以下のレスポンスタイムにすることができる。すなわち、圧縮方式、圧縮パラメータ、符号量を用いて画像データを画像解析するときの解析処理量の大きさ、解析処理するときの処理手順の複雑さなどが反映される解析処理予測時間を推測することにより、より精度の良いスケジューラの作成が可能となる。これにより、サーバ装置2では、軽い負荷で精度の高く解析処理予測時間を推測することができ、より精度の良いスケジューラの作成が可能となる。
【0049】
しかるに、サーバ装置2では、端末装置1で得られる第1の付加情報を基に、画像データ毎に画像解析処理時間をより正確に予測し優先度を付けることにより、レスポンスタイムの長いジョブの発生を減らすことができる。
画像解析処理時間の予測のための付加情報を、端末装置1で必要な処理の第1の付加情報、そこから容易に得られる情報を用いることにより、サーバ装置2の負荷軽減、高速化を実現することができる。
【0050】
(第2の実施の形態)
次に、第2の実施の形態について図面を参照して説明する。なお、第2の実施の形態の画像処理システムの構成は、上記第1の実施の形態の画像処理システムと同一部分について上記図1乃至図4に示す構成図を援用し、かつ相違する部分について図11に示す機能ブロック図を参照して説明する。
図11は端末装置1における第1の画像処理部15の機能ブロック図を示す。この第1の画像処理部15は、画像符号化部30と、圧縮情報取得部31とに加えて付加情報取得部60を有する。この付加情報取得部60は、画像入力部13から出力された画像データを受け取り、この画像データに対する予め設定された処理を行って1つ以上の第2の付加情報を取得する。この第2の付加情報は、画像データを一定領域毎に分割し、これら分割した一定領域毎に当該一定領域が一定範囲内の画素値で構成されているか否かを含む情報であって、例えばカラー画像におけるRGB画素のそれぞれの画素値が一定範囲内、例えば±5値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置1において画像データを形成するための命令数である。
【0051】
第2のプロセッサ20における画像解析処理予測部42は、第2の付加情報に基づいて画像解析処理部51による画像データを解析するに要する時間を推測する。
具体的に、画像解析処理予測部42は、第2の付加情報、例えば分割した一定領域が一定範囲内の画素値で構成されている前記領域(分割した領域)が多い程、すなわち画像データにおける黒画素の連結成分数から一定値を示す領域が多い程、画像データを解析するに要する時間が短いと推測する。一方、画像解析処理予測部42は、第2の付加情報、例えば画像データにおける黒画素の連結成分数から、分割した一定領域が一定範囲外の画素値で構成されている一定領域が隣り合っている程、画像データを解析するに要する時間が長いと推測する。
【0052】
次に、上記の如く構成されたシステムの端末装置1の動作について図12に示す端末処理フローチャートに従って説明する。
第1のプロセッサ10は、画像入力部13に対して原稿のスキャンを依頼する(ACT50)。この画像入力部13は、原稿のスキャンの依頼を受けると、例えばQRコードを含む原稿をスキャンし、この原稿を画像データに変換出力する。
第1のプロセッサ10は、第1の画像処理部15に対して第2の付加情報の取得を依頼する。この第1の画像処理部15の付加情報取得部60は、画像入力部13から出力された画像データを受け取り、この画像データに対する予め設定された処理を行って1つ以上の第2の付加情報を取得する。この第2の付加情報は、画像データを一定領域毎に分割し、これら分割した一定領域毎に、当該一定領域が一定範囲内の画素値で構成されているか否かという情報を含むものであって、例えばカラー画像におけるRGB画素のそれぞれの画素値が一定範囲内、例えば±5値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置1において画像データを形成するための命令数である。
【0053】
具体的に、付加情報取得部60は、画像入力部13から出力された画像データに対してスキャン画像処理を施す、すなわち画像データに対して2値化処理し、この2値化処理時に付加情報として2値化した画像データを一定サイズの複数のブロックにブロック化し、これらブロック毎に画素値が全て白か否かを判定(白/非白判定)し、この判定を示す情報(白ブロック情報)を第2の付加情報として取得する(ACT51)。
【0054】
第1のプロセッサ10は、第1の画像処理部15に対して圧縮処理を依頼する。この第1の画像処理部15の画像符号化部30は、画像入力部13からの画像データを入力し、この画像データに対して画像圧縮して圧縮データを生成する(ACT52)。このとき、圧縮情報取得部31は、画像符号化部30により生成された圧縮データの第1の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を取得する。
【0055】
第1のプロセッサ10は、第1のNIC16に対して圧縮データ及び第1と第2の付加情報の送信を依頼する(ACT53)。この第1のNIC16は、圧縮データ及び第1と第2の付加情報の送信の依頼を受けると、画像符号化部30により生成された圧縮データを受け取ると共に、画像符号化部30により生成された第1の付加情報すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、付加情報取得部60により取得された第2の付加情報すなわち画像データにおける複数のブロック毎の白ブロック情報とを受け取り、これら圧縮データ及び第1と第2の付加情報をネットワーク3を介して1台のサーバ装置2に送信する。
【0056】
次に、上記の如く構成されたシステムのサーバ装置2の動作について図13に示す端末処理フローチャートに従って説明する。
サーバ装置2の第2のNIC25は、端末装置1から送信された圧縮データと、第1の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第2の付加情報である画像データにおける複数のブロック毎の白ブロック情報とを受信する(ACT60)。
【0057】
サーバ装置2の第2のプロセッサ20のジョブ受付時間取得部40は、端末装置1から送られてきた圧縮データと、第1の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第2の付加情報である画像データにおける複数のブロック毎の白ブロック情報とをジョブとして受け付し、この受付時間を取得する(ACT61)。
ジョブ情報保存部41は、第2のNIC25により受信した圧縮データと、第1の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第2の付加情報である画像データにおける複数のブロック毎の白ブロック情報と、ジョブ受付時間取得部40により取得したジョブの受付時間とを例えば第2の記憶部23に記憶する(ACT62)。
【0058】
第2のプロセッサ20の画像解析処理予測部42は、第2の付加情報である画像データにおける複数のブロック毎の白ブロック情報、例えばカラー画像におけるRGB画素のそれぞれの画素値が例えば±5値以内に収まっているか否かの情報や、画像データにおける黒画素の連結成分数に基づいて画像解析処理部51による画像データを解析するに要する時間を推測する(ACT63)。
この画像解析処理予測部42は、例えば分割した一定領域が一定範囲内の画素値で構成され、これら一定領域が多い程、すなわち画像データにおける黒画素の連結成分数から一定値を示す領域が多い程、画像データを解析するに要する時間が短いと推測し、反対に、例えば画像データにおける黒画素の連結成分数等から分割した一定領域が一定範囲外の画素値で構成されている一定領域が隣り合っている程、画像データを解析するに要する時間が長いと推測する。
【0059】
具体的に画像解析処理予測部42は、白ブロック情報から白ブロック数をカウントし、例えば以下に示す式(7)を演算して解析処理予測時間T1を推測する。
解析処理予測時間T1=基本処理時間×{1−(白ブロック数/ブロック総数)}
…(7)
なお、画像解析処理予測部42は、白ブロックでないブロックが隣同士で繋がっている場合、解析処理予測時間T1に所定時間αを加算する等、処理内容によってそれぞれ計算方法を異ならせてもよい。これら計算方法は、予めテーブル化して第2の記憶部23に記憶しておいてもよい。
【0060】
第2の付加情報は、端末装置1の画像処理の方法にも依存するが、例えば以下のような情報としてもよい。
(a)第2の付加情報として圧縮データの符号量と画像データの輝度値とは、それぞれが付加情報取得部60における2値化の閾値より小さい画素値の比率(黒画素となる比率)γ[%]を用いて算出する。
//画素符号量が一定値(th)以上で、画素比率が一定値(γth)以上の場合、
//QRコード候補位置を特定するパターン候補は、符号量に比例せず少ないと想定する。
//(2値化すると同一値となるがノイズの影響で符号量が多い可能性大)
if(γ>γth && 画素符号量>th){解析処理予測時間T1
=[β×(100−γ)/100]×画像符号量}
else{解析処理予測時間T1=[β×γ/100]×画像符号量} …(8)
βは比例定数である。
(b)第2の付加情報は、黒画素の連結成分数(オブジェクト数)より算出する。
解析処理予測時間T1=γ×基本処理単位時間 …(9)
γは黒画素の連結成分数(オブジェクト数)である。
(c)第2の付加情報は、PostScript等の画像形成の為の命令数より算出する。
【0061】
解析処理予測時間T1=δ×基本処理単位時間 …(10)
δは命令数である。
【0062】
第2のプロセッサ20は、スケジューリング部43に対して再スケジューリングを依頼する。このスケジューリング部43は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部40において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部42により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う(ACT14)。
このスケジューリング部43は、上記図7に示すスケジューリングフローチャートに従ってジョブの予約を行うもので、ここではその説明を省略する。
スケジューリング情報保存部44は、スケジューリング部43により再スケジューリングしたスケジュール情報を例えば第2の記憶部23に保存する(ACT15)。
以下、第2のプロセッサ20は、上記図6に示すサーバ処理フローチャートにおけるACT16〜ACT21と同様の動作を行ってサーバ装置2の処理を終了する。
【0063】
このように上記第2の実施の形態によれば、端末装置1において画像入力部13から出力された画像データに対する予め設定された処理を行って1つ以上の第2の付加情報、例えば画像データを一定領域毎に分割し、これら分割した一定領域毎に当該各一定領域が一定範囲内の画素値で構成されているか否かという情報を含むものであって、例えばカラー画像におけるRGB画素のそれぞれの画素値が一定範囲内、例えば±5値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置1において画像データを形成するための命令数を取得し、この第2の付加情報に基づいて画像解析処理予測部42により画像解析処理部51による画像データを解析するに要する時間を推測するので、上記第1の実施の形態と同様の効果を奏することができる。
【符号の説明】
【0064】
1:端末装置、2:サーバ装置、3:ネットワーク、10:第1のプロセッサ、11:バス、12:第1のユーザインタフェース部、13:画像入力部、14:第1の記憶部、15:第1の画像処理部、16:第1のニック(NIC)、30:画像符号化部、31:圧縮情報取得部、20:第2のプロセッサ、21:バス、22:第2のユーザインタフェース部、23:第2の記憶部、24:第2の画像処理部、25:第2のNIC、40:ジョブ受付時間取得部、41:ジョブ情報保存部、42:画像解析処理予測部、43:スケジューリング部、44:スケジューリング情報保存部、45:スケジューリング情報削除部、50:画像伸長部、51:画像解析処理部、60:付加情報取得部。
【特許請求の範囲】
【請求項1】
1つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、
前記端末装置は、原稿を画像データに変換する画像入力部と、
前記画像データに対して画像圧縮して圧縮データを生成すると共に、前記圧縮データに関する第1の付加情報を取得する画像処理部と、
を有し、
前記サーバ装置は、前記画像符号化部により生成された前記圧縮データを伸長する画像伸長部と、
前記画像復号化部により伸長された画像データを解析する画像解析処理部と、
前記圧縮データの前記第1の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部と、
を有することを特徴とする画像処理システム。
【請求項2】
前記圧縮データの前記第1の付加情報は、前記画像圧縮における少なくとも圧縮方式、圧縮パラメータ、符号量を含むことを特徴とする請求項1記載の画像処理システム。
【請求項3】
前記画像処理部は、前記画像データに対して画像圧縮して圧縮データを生成する画像符号化部と、
前記圧縮データの前記第1の付加情報を取得する圧縮情報取得部と、
を有することを特徴とする請求項1記載の画像処理システム。
【請求項4】
少なくともと1つの端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、
前記端末装置は、原稿を画像データに変換する画像入力部と、
前記画像データに対する予め設定された処理を行って1つ以上の第2の付加情報を取得する付加情報取得部と、
前記画像データに対して画像圧縮して圧縮データを生成する圧縮情報取得部と、
を有し、
前記サーバ装置は、前記圧縮情報取得部により生成された前記圧縮データを伸長する画像伸長部と、
前記画像伸長部により伸長された画像データを解析する画像解析処理部と、
前記第2の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部と、
を有することを特徴とする画像処理システム。
【請求項5】
前記第2の付加情報は、前記画像データを一定領域毎に分割し、当該各一定領域毎に当該領域が一定範囲内の画素値で構成されているか否かという情報を含み、
前記画像解析処理予測部は、前記第2の付加情報から前記一定範囲内の画素値で構成されている前記一定領域が多い程前記画像データを解析するに要する前記時間が短いと推測する、
ことを特徴とする請求項4記載の画像処理システム。
【請求項6】
前記第2の付加情報は、前記画像データを一定領域毎に分割し、当該各一定領域毎に当該領域が一定範囲内の画素値で構成されているか否かという情報を含み、
前記画像解析処理予測部は、前記第2の付加情報から一定範囲外の画素値で構成されている前記一定領域が隣り合っている程前記画像データを解析するに要する前記時間が長いと推測することを特徴とする請求項4記載の画像処理システム。
【請求項7】
前記第2の付加情報は、前記画像データにおける黒画素の連結成分数を含むことを特徴とする請求項4記載の画像処理システム。
【請求項8】
前記第2の付加情報は、前記端末装置において前記画像データを形成するための命令数を含むことを特徴とする請求項4記載の画像処理システム。
【請求項9】
前記画像解析処理部は、前記伸長された画像データに含むデータコードの抽出、前記伸長された画像データから光学的な読み取り、又は前記伸長された画像データ中に含まれる領域を抽出するレイアウト解析を含むことを特徴とする請求項1又は4記載の画像処理システム。
【請求項10】
前記画像解析処理予測部により推測された前記画像データを解析するに要する前記時間に基づいて複数の前記画像データを解析するためのスケジューリングを行うスケジューリング部を有することを特徴とする請求項1又は4記載の画像処理システム。
【請求項1】
1つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、
前記端末装置は、原稿を画像データに変換する画像入力部と、
前記画像データに対して画像圧縮して圧縮データを生成すると共に、前記圧縮データに関する第1の付加情報を取得する画像処理部と、
を有し、
前記サーバ装置は、前記画像符号化部により生成された前記圧縮データを伸長する画像伸長部と、
前記画像復号化部により伸長された画像データを解析する画像解析処理部と、
前記圧縮データの前記第1の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部と、
を有することを特徴とする画像処理システム。
【請求項2】
前記圧縮データの前記第1の付加情報は、前記画像圧縮における少なくとも圧縮方式、圧縮パラメータ、符号量を含むことを特徴とする請求項1記載の画像処理システム。
【請求項3】
前記画像処理部は、前記画像データに対して画像圧縮して圧縮データを生成する画像符号化部と、
前記圧縮データの前記第1の付加情報を取得する圧縮情報取得部と、
を有することを特徴とする請求項1記載の画像処理システム。
【請求項4】
少なくともと1つの端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、
前記端末装置は、原稿を画像データに変換する画像入力部と、
前記画像データに対する予め設定された処理を行って1つ以上の第2の付加情報を取得する付加情報取得部と、
前記画像データに対して画像圧縮して圧縮データを生成する圧縮情報取得部と、
を有し、
前記サーバ装置は、前記圧縮情報取得部により生成された前記圧縮データを伸長する画像伸長部と、
前記画像伸長部により伸長された画像データを解析する画像解析処理部と、
前記第2の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部と、
を有することを特徴とする画像処理システム。
【請求項5】
前記第2の付加情報は、前記画像データを一定領域毎に分割し、当該各一定領域毎に当該領域が一定範囲内の画素値で構成されているか否かという情報を含み、
前記画像解析処理予測部は、前記第2の付加情報から前記一定範囲内の画素値で構成されている前記一定領域が多い程前記画像データを解析するに要する前記時間が短いと推測する、
ことを特徴とする請求項4記載の画像処理システム。
【請求項6】
前記第2の付加情報は、前記画像データを一定領域毎に分割し、当該各一定領域毎に当該領域が一定範囲内の画素値で構成されているか否かという情報を含み、
前記画像解析処理予測部は、前記第2の付加情報から一定範囲外の画素値で構成されている前記一定領域が隣り合っている程前記画像データを解析するに要する前記時間が長いと推測することを特徴とする請求項4記載の画像処理システム。
【請求項7】
前記第2の付加情報は、前記画像データにおける黒画素の連結成分数を含むことを特徴とする請求項4記載の画像処理システム。
【請求項8】
前記第2の付加情報は、前記端末装置において前記画像データを形成するための命令数を含むことを特徴とする請求項4記載の画像処理システム。
【請求項9】
前記画像解析処理部は、前記伸長された画像データに含むデータコードの抽出、前記伸長された画像データから光学的な読み取り、又は前記伸長された画像データ中に含まれる領域を抽出するレイアウト解析を含むことを特徴とする請求項1又は4記載の画像処理システム。
【請求項10】
前記画像解析処理予測部により推測された前記画像データを解析するに要する前記時間に基づいて複数の前記画像データを解析するためのスケジューリングを行うスケジューリング部を有することを特徴とする請求項1又は4記載の画像処理システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−5117(P2012−5117A)
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願番号】特願2011−124478(P2011−124478)
【出願日】平成23年6月2日(2011.6.2)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願日】平成23年6月2日(2011.6.2)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(000003562)東芝テック株式会社 (5,631)
【Fターム(参考)】
[ Back to top ]