説明

入力支援装置、入力支援方法及びプログラム

【課題】 画像を参照する文字列の入力の効率を向上することができるようにする。
【解決手段】 入力支援システム10は、帳票画像を表示するためのスキャンデータを記憶するスキャンデータ記憶部131と、カーソル領域を示すカーソル定義情報を記憶するカーソル定義記憶部132と、スキャンデータに基づく帳票画像のビュー202を表示する帳票画像表示部112と、イメージカーソル204を表示するイメージカーソル表示部113とを備える。帳票画像表示部112は、ビュー領域にカーソル領域が含まれていない場合、カーソル領域がビュー領域に含まれるようにビュー領域を変更し、変更したビュー領域に含まれるビューを表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力支援装置、入力支援方法及びプログラムに関する。
【背景技術】
【0002】
スキャナなどから取り込んだ画像をオペレータが参照しながら、画像に表示されている文字列をコンピュータに入力したり、画像からOCRにより読み取った文字列を修正したりすることが行われている。このような入力作業の効率化を図るべく、例えば特許文献1では、伝票を読み取ったイメージデータに、入力フィールドに対応する部分イメージを加工して表示することが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平5−303661号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
項目が多い帳票などについては、全体を画面に表示すると項目が見にくくなるため、画像の一部のみを表示することが多い。しかしながら、特許文献1では、イメージデータの全体を表示することが前提となっており、項目が多い伝票などでは記入された内容を参照することが難しくなってしまう。
【0005】
本発明は、このような背景を鑑みてなされたものであり、画像を参照する文字列の入力の効率を向上することのできる入力支援装置、入力支援方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するための本発明の主たる発明は、画像内に描画された文字列の入力を支援する装置であって、前記画像を表示するための画像データを記憶する画像データ記憶部と、前記画像上において、入力すべき前記文字列が描画される領域である文字列領域を特定するための文字列領域情報を記憶する文字列領域情報記憶部と、前記画像のうち、画面に表示される一部の領域であるビュー領域に含まれる部分画像を表示する画像表示部と、前記文字列領域情報により特定される前記文字列領域を他の領域と区別可能に表示するイメージカーソル表示部と、を備え、前記画像表示部は、前記ビュー領域に前記文字列領域が含まれていない場合に、前記文字列領域が前記ビュー領域に含まれるように前記ビュー領域を変更し、前記変更したビュー領域に含まれる前記部分画像を表示することとする。
【0007】
本発明の入力支援システムによれば、画像において文字列が描画されている領域を他の領域と区別することが可能となるので、オペレータは入力すべき文字列を容易に参照することができる。したがって、文字列の入力効率が向上される。本発明の入力支援システムではさらに、ビュー領域に文字列領域が含まれていない場合、すなわち文字列が部分画像として表示されていない場合には、文字列領域がビュー領域に含まれるようにビュー領域が調整されるので、参照すべき文字列が部分画像の一部として確実に表示されるようにすることができる。したがって、参照すべき文字列がどこに表示されているかを探す手間を省くことができるので、さらに文字列の入力効率を向上することができる。
【0008】
また、本発明の入力支援装置は、前記文字列を入力するための入力欄を画面に複数表示する入力欄表示部と、前記入力欄がフォーカスを取得したことを検知するフォーカス検知部と、をさらに備え、前記文字列領域情報記憶部は、前記入力欄ごとに、前記入力欄に入力するべき前記文字列が描画される前記文字列領域を特定するための前記文字列領域情報を記憶しており、前記イメージカーソル表示部は、前記フォーカスを取得した前記入力欄に対応する前記文字列領域情報を前記文字列領域情報記憶部から読み出し、前記読み出した文字列領域情報により特定される前記文字列領域を前記他の領域から区別可能に表示するようにしてもよい。
この場合、画像において入力者が参照すべき場所を、入力欄のフォーカスに応じて強調することができる。したがって、さらに入力効率を向上することができる。
【0009】
また、本発明の入力支援装置では、前記画像表示部は、前記フォーカスを取得した第1の前記入力欄に対応する第1の前記文字列領域情報により特定される第1の前記文字列領域が前記ビュー領域に含まれていない場合、前記フォーカスを喪失した第2の前記入力欄に対応する第2の前記文字列領域情報により特定される第2の前記文字列領域から前記第1の文字列領域までのオフセットを計算し、前記オフセットに応じて前記ビュー領域の位置を変更するようにしてもよい。
【0010】
また、本発明の入力支援装置では、前記文字列領域は矩形であり、前記文字列領域情報は、前記矩形の基準点を示す座標値と、前記矩形の幅及び高さとを含むようにしてもよい。
【0011】
また、本発明の入力支援装置では、前記画像に対する、拡大、縮小、回転及び移動を含む画像操作の指示を受け付ける画像操作指示入力部をさらに備え、前記画像表示部は、前記画像データに対して前記画像操作を適用し、前記画像操作を適用した前記画像データに基づく画像から、前記ビュー領域に含まれる前記部分画像を抽出して表示し、前記イメージカーソル表示部は、前記画像操作に応じて前記文字列領域を前記他の領域から区別可能に表示するようにしてもよい。
この場合、画像に対する拡大、縮小、回転、移動などの画像操作と連動させて、参照すべき場所を他の領域から区別可能に表示することができる。したがって、オペレータは参照すべき領域を確実に把握することができる。
【0012】
また、本発明の入力支援装置では、前記イメージカーソル表示部は、前記部分画像に重なる透明なパネルを作成し、作成した前記透明なパネル上に前記文字列領域を示す図形を描画するようにしてもよい。
この場合、透明パネル上に図形を描画すればよいので、元画像に対する編集を行うことなく、参照すべき場所を強調することができる。また、元画像に対する拡大や縮小、回転、移動などの画像操作を行う場合にも、一般的な画像処理を行えばよいので、特別な画像処理ルーチンを準備する必要がなく、開発効率を向上することができる。
【0013】
また、本発明の入力支援装置では、前記画像表示部は、オブジェクト指向プログラミング言語の第1のクラスにより定義されるプログラムを実行することにより実現され、前記イメージカーソル表示部は、前記第1のクラスを継承する第2のクラスにより定義されるプログラムを実行することにより実現されるようにしてもよい。
この場合、画像の一部を表示する第1のクラスが存在しているときに、第1のクラスを継承させて、画像上に文字列領域を示す図形を表示するメソッドを含む第2のクラスを作成することで、第1のクラスで実装済みの画像処理に関するメソッドを利用しつつ、文字列領域を示す図形を表示するメソッドのみを開発すればよいので、開発効率を向上することができる。
【0014】
また、本発明の入力支援装置は、前記文字列領域情報により特定される前記文字列領域に記載されている前記文字列をOCR処理によって認識する文字認識処理部をさらに備えるようにしてもよい。
この場合、OCRにより認識可能な文字列については入力者の入力を省略することができる。したがって、さらに入力効率を向上することができる。また、入力者は認識エラーを修正することなどの、入力内容の確認作業に力を入れることができるので、入力ミスの低減が期待される。
【0015】
また、本発明の入力支援装置では、前記画像データ記憶部は、前記画像データに対応付けて前記画像のカテゴリを記憶しており、前記文字列領域情報記憶部は、前記カテゴリに対応付けて前記文字列領域情報を記憶しており、前記画像データの指定を受け付ける画像指定部をさらに備え、前記画像表示部は、前記指定された画像データに基づく前記画像から前記ビュー領域に含まれる前記部分画像を抽出して表示し、前記イメージカーソル表示部は、前記指定された画像データに対応する前記カテゴリを前記画像データ記憶部から読み出し、前記読み出したカテゴリに対応する前記文字列領域情報を前記文字列領域情報記憶部から読み出し、前記読み出した文字列領域情報により特定される前記文字列領域を表す前記図形を表示するようにしてもよい。
この場合、帳票の様式に応じて図形を調整することができる。したがって、様々な様式のデータを参照しながら入力を行う場合でも、効率的に入力を行うことが可能となる。
【0016】
また、本発明の入力支援装置では、前記カテゴリが印刷された帳票を読み込んで前記画像データを出力するスキャナと接続され、前記スキャナから取り込んだ前記画像データを解析して前記カテゴリを判別する画像解析部と、前記画像データに前記画像解析部が判別した前記カテゴリを対応付けて前記画像データ記憶部に登録する画像登録部と、をさらに備えるようにしてもよい。
この場合、帳票に印刷されたカテゴリを認識して、文字列領域を強調する図形の位置や大きさを変更することができる。したがって、帳票にカテゴリを印刷しておければ、文字の記入後に帳票をスキャナにより読み込んですぐに文字列領域を強調することが可能となり、例えば、複数のサービスに関する帳票を受け付ける窓口業務などにおいて、効率よく記入された文字を入力することができる。
【0017】
また、本発明の他の態様は、画像に描画された文字列の入力を支援する方法であって、前記画像を表示するための画像データを記憶するステップと、前記画像上において、入力すべき前記文字列が描画される領域である文字列領域を特定するための文字列領域情報を記憶するステップと、前記画像データに基づく前記画像の一部の領域であるビュー領域に含まれる部分画像を表示するステップと、前記文字列領域情報により特定される前記文字列領域を表す図形を表示するステップと、を備え、前記部分画像を表示するステップは、前記ビュー領域に前記文字列領域が含まれていない場合に、前記文字列領域が前記ビュー領域に含まれるように前記ビュー領域を変更し、前記変更したビュー領域に含まれる前記部分画像を表示するステップを含むこととする。
【0018】
また、本発明の他の態様は、画像に描画された文字列の入力を支援するためのプログラムであって、コンピュータに、前記画像を表示するための画像データを記憶するステップと、前記コンピュータが、前記画像上において、入力すべき前記文字列が描画される領域である文字列領域を特定するための文字列領域情報を記憶するステップと、前記コンピュータが、前記画像データに基づく前記画像の一部の領域であるビュー領域に含まれる部分画像を表示するステップと、前記コンピュータが、前記文字列領域情報により特定される前記文字列領域を表す図形を表示するステップと、を実行させ、前記部分画像を表示するステップにおいて、前記コンピュータに、前記ビュー領域に前記文字列領域が含まれていない場合に、前記文字列領域が前記ビュー領域に含まれるように前記ビュー領域を変更し、前記変更したビュー領域に含まれる前記部分画像を表示するステップをさらに実行させることとする。
【0019】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【0020】
本発明によれば、画像を参照する文字列の入力の効率を向上することができる。
【図面の簡単な説明】
【0021】
【図1】入力支援システム10が表示する画面20の一例を示す図である。
【図2】イメージカーソル204を表示した場合の画面20の一例を示す図である。
【図3】帳票画像を拡大した場合の画面20の一例を示す図である。
【図4】入力支援システム10のハードウェア構成例を示す図である。
【図5】入力支援システム10のソフトウェア構成例を示す図である。
【図6】カーソル定義記憶部132に登録されるカーソル定義情報の構成例を示す図である。
【図7】帳票画像22上に重ねられるカーソルパネルにイメージカーソル204が描画されている状態を説明する図である。
【図8】入力データ記憶部133の構成例を示す図である。
【図9】入力支援システム10において実行される処理の流れを説明する図である。
【図10】初期化処理について説明する図である。
【図11】フォーカスの変更に応じてイメージカーソル204を再描画する処理を説明する図である。
【図12】スクロール処理を説明する図である。
【図13】イメージカーソル204の描画処理の流れを示す図である。
【図14】帳票画像22を拡大又は縮小する処理を説明する図である。
【図15】帳票画像22を回転する処理を説明する図である。
【発明を実施するための形態】
【0022】
本発明の一実施形態に係る入力支援システム10は、手書きの帳票をスキャナで読み取った画像(以下、帳票画像という。)を表示して、オペレータによる帳票画像に表示されている各入力項目の文字列の入力を支援するものである。
【0023】
図1は、本実施形態の入力支援システム10により表示される画面20の一例を示す図である。図1の例では、画面20の左側の表示欄201に帳票画像の全部又は一部(以下、表示欄201に表示される帳票画像の一部又は全部をビュー202と称する。)が表示されている。帳票には入力項目に対応する記入欄が設けられており、右側に各入力項目に対応する入力欄203が表示される。オペレータは、帳票画像のビュー202を参照し、帳票画像に表示されている文字列を入力欄203に入力する。終了ボタン211が押下されると、入力処理が終了する。
【0024】
マウスによる入力欄203のクリックやキーボードの操作などにより、画面20上では1つの入力欄203が選択され、当該入力欄203のみに対してキーボードからの入力が可能となる。入力欄203が入力可能となった状態のことは、フォーカスといわれる。本実施形態の入力支援システム10では、入力欄203がフォーカスを取得すると、図2に示すように、フォーカスを取得した入力欄203に対応する帳票上の記入欄の領域を示す図形(以下、イメージカーソル204という。)が帳票画像のビュー202に重畳して表示される。このようにイメージカーソル204が帳票画像上に表示されることにより、入力者が帳票のどこを参考に入力を行えばよいかを容易に把握することが可能となり、入力の効率が向上する。
【0025】
画面20の表示欄201の下部には、拡大ボタン205、縮小ボタン206、左回転ボタン207及び右回転ボタン208が設けられる。これらのボタンが押下されると、帳票画像は拡大されもしくは縮小され、または回転される。また、イメージカーソル204も、帳票画像の拡大、縮小、回転に合わせて拡大、縮小、回転される。図3は帳票画像を拡大表示した状態を説明する図である。図3の例では、帳票画像のビュー202は帳票画像の一部のみを表示している。イメージカーソル204も帳票画像の拡大に合わせて拡大表示されている。
【0026】
画面20では、表示欄201の下端及び右端にはそれぞれ、水平方向のスクロールバー(以下、水平スクロールバー209という。)と、垂直方向のスクロールバー(以下、垂直スクロールバー210という。)と、が表示されており、これらの操作に応じて帳票画像は水平方向及び垂直方向に移動(スクロール)される。イメージカーソル204も帳票画像のスクロールに合わせて移動される。これにより、帳票上の記入欄をオペレータの見やすいように調整して表示させることができる。以下、詳細について説明する。
【0027】
図4は、本実施形態の入力支援システム10のハードウェア構成例を示す図である。入力支援システム10は、データ入力を行う入力者が操作するパーソナルコンピュータやスマートフォン、PDA(Personal Digital Assistant)などのコンピュータにより実現されることを想定する。入力支援システム10は、CPU101、メモリ102、記憶装置103、キーボード105、マウス106、ディスプレイ107、スキャナ108を備える。記憶装置103は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。CPU101は記憶装置103に記憶されているプログラムをメモリ102に読み出して実行することにより各種の機能を実現する。キーボード105及びマウス106は、入力支援システム10を操作する入力者からデータの入力を受け付ける。ディスプレイ106は、データを出力する。スキャナ208は手書きの帳票などを読み取り、画像データとして出力する。
【0028】
図5は、入力支援システム10のソフトウェア構成例を示す図である。入力支援システム10は、スキャンデータ登録部111、帳票画像表示部112、イメージカーソル表示部113、画像操作指示入力部114、データ入力部115、スキャンデータ記憶部131、カーソル定義記憶部132、入力データ記憶部133を備えている。なお、スキャンデータ登録部111、帳票画像表示部112、イメージカーソル表示部113、画像操作指示入力部114、データ入力部115は、入力支援システム10が備えるCPU101が記憶装置103に記憶されているプログラムをメモリ102に読み出して実行することにより実現され、スキャンデータ記憶部131、カーソル定義記憶部132、入力データ記憶部133は、メモリ102及び記憶装置103が提供する記憶領域の一部として実現される。
【0029】
スキャンデータ記憶部131は、帳票画像を表示するための画像データ(以下、スキャンデータという。)を記憶する。スキャンデータ記憶部131は、例えば、入力支援システム10において動作するオペレーティングシステムが提供するファイルシステムのフォルダ(ディレクトリ)として実現することができる。この場合、スキャンデータは例えば画像ファイルとして管理することができる。なお、スキャンデータ記憶部131は、これに限らず、例えばリレーショナルデータベース管理システム(RDBMS)により管理されるテーブルとして実現することもできる。
【0030】
スキャンデータ登録部111は、スキャナ108を制御して、スキャナ108が読み取った帳票画像のデータを取得し、スキャンデータをスキャンデータ記憶部131に登録する。スキャンデータは、例えばTIFF、Jpeg、GIF、PNGなどのビットマップ画像形式であるものとし、スキャンデータから画像のサイズ(幅及び高さ)が取得可能であるものとする。本実施形態では、スキャナ108はJpeg形式のデータを出力するものとし、スキャンデータ登録部111は、スキャナ108から出力されたデータをそのままスキャンデータ記憶部131に登録するものとする。なお、スキャンデータ登録部111が、スキャナ108が出力するデータを上記のような形式の画像データに変換するようにしてもよい。
【0031】
帳票画像表示部112は、スキャンデータに基づいて表示欄201に帳票画像のビュー202を表示する。また、帳票画像表示部112は、オペレータからの指示に応じて、帳票画像に対する拡大、縮小、移動、回転などの画像操作を行うこともできる。本実施形態では、帳票画像表示部112は、スキャンデータに対して画像操作を行ったもの(以下、加工データという。)を作成してメモリ102に記憶し、この加工データに基づいて帳票画像を表示する。帳票画像表示部112は、表示欄201のサイズに合わせて帳票画像の一部のみをビュー202として表示欄201に表示する。なお、帳票画像表示部112が帳票画像を表示する処理は、一般的な画像データに基づく画像の表示処理を用いることができる。
【0032】
カーソル定義記憶部132は、イメージカーソル204を表示するための情報(以下、カーソル定義情報という。)を記憶する。図6はカーソル定義記憶部132に登録されるカーソル定義情報の構成例を示す図である。カーソル定義情報には、入力項目を特定する情報(以下、入力項目IDという。)と、当該入力欄203に対応するイメージカーソル204の形状(すなわち、帳票画像上における当該入力項目に対応する記入欄を囲む領域である。)を示す情報(以下、文字列領域情報という。)と、が含まれる。本実施形態では、イメージカーソル204は矩形であるものとし、文字列領域情報により特定される矩形(以下、イメージカーソル204が囲む領域をカーソル領域という。本発明の文字列領域に対応する。)は、スキャンデータに基づいて等倍の拡大率で作成される帳票画像上における位置により特定される。すなわち、等倍の拡大率の帳票画像の左上隅を(0,0)とし、右方向及び下方向に増加する座標系において、矩形の左上隅の座標を(X,Y)とし、横(X)軸方向の幅をW、縦(Y)軸方向の高さをHとした(X,Y,W,H)で文字列領域情報は表現されるものとする。
【0033】
なお、以下の説明において、帳票画像上の記入欄を囲む領域に限らず、各種の領域はすべて矩形であるものとし、矩形について、「(矩形の左上隅のX座標,矩形の左上隅のY座標,矩形の幅,矩形の高さ)」と表記するものとする。
【0034】
イメージカーソル表示部113は、カーソル定義情報に基づいてイメージカーソル204を帳票画像のビュー202に重畳させて描画する。本実施形態では、画面20の表示欄201に画像を描画するために2枚のパネル(レイヤーとも呼ばれる。)を作成し、一方のパネルに帳票画像表示部112が帳票画像のビュー202を描画するとともに、他方のパネルにイメージカーソル表示部113がイメージカーソル204を描画する。イメージカーソル表示部113は、画面20において入力欄203のフォーカスが変更された場合、フォーカスを取得した入力欄203に対応するカーソル定義情報に基づいてイメージカーソル204を再描画する。
【0035】
イメージカーソル204を描画するパネル(以下、カーソルパネルという。)は透明であり、図7に示すように、帳票画像のビュー202を描画するパネル(以下、ビューパネルという。)の上に重ねられる。これにより、イメージカーソル表示部113は、帳票画像のビュー202を加工することなく、イメージカーソル204を描画することが可能となる。また、帳票画像表示部112には、一般的なパネルへの描画ルーチンを用いつつ、イメージカーソル204をその上に重畳させて描画することができる。なお、パネルは、例えば、Java(登録商標)言語におけるJPanelを用いて実装することができる。また、カーソルパネルは、図7に示すようにビューパネルと同じ大きさのものとして、イメージカーソル表示部113はカーソルパネル上に矩形を描画するようにしてもよいし、カーソルパネルをイメージカーソル204の矩形の大きさとして、カーソルパネルの境界線に色をつけることにより矩形を表現するようにしてもよい。
【0036】
データ入力部115は、画面20の入力欄203に入力された文字列の入力を受け付け、受け付けた文字列を入力データ記憶部133に登録する。図8は、入力データ記憶部133の構成例を示す図である。図8の例では、データ入力部115には、入力項目IDに対応づけて、入力欄203に入力された文字列が入力値として管理されている。なお、データ入力部115は、入力欄203に入力された文字列を入力データ記憶部133に登録せず、例えば他のアプリケーションに通知するようにしてもよいし、他のコンピュータに文字列を設定したメッセージを送信するようにしてもよい。
【0037】
画像操作指示入力部114は、オペレータから、帳票画像に対する拡大、縮小、移動、回転などの画像操作の指示を受け付ける。
【0038】
図9は、本実施形態の入力支援システム10において実行される処理の流れを説明する図である。本実施形態の入力支援システム10では、まず図10に示す初期化処理が行われる(S31)。その後、入力欄203のフォーカスが変更された場合には(S32:YES)、図11に示すフォーカス変更処理が行われ(S33)、水平スクロールバー209及び垂直スクロールバー210の少なくともいずれかが操作された場合には(S34:YES)、ビュー領域を移動させる、図12のスクロール処理が行われる(S35)。拡大ボタン205又は縮小ボタン206が押下された場合には(S36:YES)、図14に示す拡大縮小処理が行われ(S37)、左回転ボタン207又は右回転ボタン208が押下された場合には(S38:YES),図15に示す回転処理が行われる(S39)。終了ボタン211が押下されていなければ(S40:NO)、ステップS32からの処理をくり返し、終了ボタン211が押下されれば(S40:YES)、入力欄203に入力された文字列が入力データ記憶部133に登録される(S41)。
【0039】
図10の初期化処理では、帳票画像表示部112は、帳票画像上におけるビュー202の範囲(以下、ビュー領域という。)を、ビュー202の左上隅座標を(VX,VY)とし、ビュー202の幅をVW、ビュー202の高さをVHとして、(0,0,700,900)に初期化する(S3101)。なお、本実施形態では、表示欄201の幅が700、表示欄201の高さが900とするが、この値に限らず、画面20の大きさに応じてVW及びVHの値を設定することができる。
【0040】
次に、イメージカーソル表示部113は、イメージカーソル204を描画するカーソル領域を示す(CX,CY,CW,CH)にそれぞれ0を設定する(S3102)。帳票画像表示部112は、帳票画像の全体が表示欄201に表示可能な拡大率を初期値として設定する(S3103)。スキャンデータ記憶部131に記憶される全てのスキャンデータの大きさが同じである場合には、図10の例のように所定の値(図10の例では0.1を)を拡大率の初期値として設定することができる。スキャンデータの大きさが異なる場合には、例えばスキャンデータの幅をVWで割った商と、スキャンデータの高さをVHで割った商との小さい方を拡大率の初期値として設定することができる。
【0041】
帳票画像表示部112は、帳票画像を回転させる角度を0度に初期化し(S3104)、スキャンデータ記憶部131からスキャンデータを読み出し、読み出したスキャンデータを拡大率で拡大又は縮小して加工データとする(S3105)。帳票画像表示部112は、例えばオペレータからファイル名の入力を受け付け、受け付けたファイル名が示すスキャンデータを読み出すようにしてもよいし、予め決められた順にスキャンデータを読み出すようにしてもよい。なお、スキャンデータの拡大又は縮小処理には、一般的な画像処理を適用することができる。
【0042】
イメージカーソル表示部113は、イメージカーソル204用の透明パネルを作成し(S3106)、帳票画像表示部112は、加工データに基づいて、帳票画像からビュー領域のビュー202を抽出して表示欄201に表示する(S3107)。
【0043】
図11のフォーカス変更処理では、フォーカスの変更に応じてイメージカーソル204を再描画する。イメージカーソル表示部113は、フォーカスを取得した入力欄203を示す入力項目IDを取得する(S3301)。例えば、各入力欄203に入力項目IDを付帯させておき、オペレーティングシステムや、オペレーティングシステム上で動作しているウィンドウ管理システム、Java(登録商標)の仮想マシンなど、フォーカスを管理しているプロセスからフォーカスを取得した入力欄203を示す情報を取得し、取得した入力欄203に付帯されている入力項目IDを取得することができる。イメージカーソル表示部113は、取得した入力項目IDに対応するカーソル定義情報をカーソル定義記憶部132から読み出し(S3302)、CX,CY,CW,CHに、カーソル定義情報に含まれる文字列領域情報の(X,Y,W,H)をそれぞれ設定する(S3303)。
【0044】
イメージカーソル表示部113は、カーソル領域がビュー領域に含まれているか否かを判定する(S3304)。イメージカーソル表示部113は、ビュー領域の右端のX座標値(VX+VW)がカーソル領域の右端のX座標値(CX+CW)以上であり、かつ、ビュー領域の下端のY座標値(VY+VH)がカーソル領域の下端のY座標値(CY+CH)以上であるかどうかにより、カーソル領域がビュー領域に含まれているか否かを判定する。カーソル領域がビュー領域に含まれていなかった場合(S3304:NO)、イメージカーソル表示部113は、ビュー領域の左上隅の座標が(CX,CY)になるように、水平スクロールバー209にCXを設定し、垂直スクロールバー210にCYを設定して、図12に示すスクロール処理を実行させる(S3305)。カーソル領域がビュー領域に含まれていた場合には(S3304:YES)、図13に示すイメージカーソル204の描画処理を行う(S3306)。
【0045】
図12のスクロール処理では、ビュー領域を移動してビュー202を再描画する。帳票画像表示部112は、水平スクロールバー209の値を取得してVXとし(S3501)、垂直スクロールバー210の値を取得してVYとする(S3502)。帳票画像表示部112は、スキャンデータからビュー領域の画像を抽出してビューパネルにビュー202を表示する(S3503)。イメージカーソル表示部113は、図13のイメージカーソル204の表示処理を行う(S3504)。
【0046】
図13の処理では、イメージカーソル204を表示する。イメージカーソル表示部113は、カーソルパネル上のイメージカーソル204を消去する(S51)。イメージカーソル表示部113は、CX及びCYのそれぞれに拡大率を乗じた値からVX及びVYをそれぞれ引いて、ビュー領域の左上隅を基準点とした座標系における座標(x,y)を算出し(S52)、CW及びCHのそれぞれに拡大率を乗じてイメージカーソル204の幅w及び高さhを算出する(S53)。イメージカーソル表示部113は、(x,y,w,h)の矩形を描画する(S54)。なお、イメージカーソル表示部113は、例えばカーソルパネルを(x,y,w,h)の位置及び大きさとし、カーソルパネルの境界線を描画するようにしてもよい。
【0047】
図14の拡大縮小処理では、帳票画像を拡大又は縮小させて表示する。画像操作指示入力部114は、オペレータから拡大率の入力を受け付ける(S3701)。画像操作指示入力部114は、例えば、画面20の拡大ボタン205が押下された場合には、拡大率に所定のステップ値(例えば、0.05や0.1など任意の値)を加算し、縮小ボタン206が押下された場合には拡大率から上記ステップ値を減算するようにすることができる。帳票画像表示部112は、スキャンデータ記憶部131からスキャンデータを読み出し、読み出したスキャンデータを拡大率で拡大又は縮小して加工データとする(S3702)。帳票画像表示部112は、加工データに基づいて、帳票画像からビュー領域のビュー202を抽出して表示欄201に表示し(S3703)、イメージカーソル表示部113は、図13の処理によりイメージカーソル204を描画する(S3704)。
【0048】
図15の回転処理では、帳票画像を回転させて描画するとともに、イメージカーソル204も合わせて回転させて描画する。
【0049】
画像操作指示入力部114は、オペレータから回転角度の入力を受け付ける(S3901)。なお、本実施形態では、帳票画像の回転は、0度、90度、180度、270度のいずれかであるものとする。画像操作指示入力部114は、例えば画面20の左回転ボタン207が押下された場合には、回転角度から90度を減算して回転角度が0度未満になれば360度を加算し、右回転ボタン208が押下された場合には、回転角度に90度を加算して回転角度が360度以上になれば360度を減算するようにして、回転角度を算出することができる。
【0050】
イメージカーソル表示部113は、CX,CY,CW,CHをそれぞれx,y,w,hとする(S3902)。回転角度が90度の場合(S3903:YES)、イメージカーソル表示部113は、y及びhの和を加工データの高さから減算した値、x、h、wをそれぞれCX,CY,CW,CHに設定する(S3904)。回転角度が180度の場合(S3905:YES)、イメージカーソル表示部113は、x及びwの和を加工データの幅から減算した値と、y及びhの和を加工データの高さから減算した値とをそれぞれCXとCYとに設定する(S3906)。回転角度が270度の場合(S3907:YES)、イメージカーソル表示部113は、yと、x及びwの和を加工データの幅から減算した値と、hと、wとをそれぞれCX,CY,CW,CHに設定する(S3908)。
【0051】
帳票画像表示部112は、スキャンデータ記憶部131からスキャンデータを読み出し、読み出したスキャンデータを拡大率で拡大又は縮小し、回転角度で時計回りに回転させたものを加工データとし(S3909)、加工データに基づいて、帳票画像からビュー領域のビュー202を抽出して表示欄201に表示する(S3910)。イメージカーソル表示部113は、図13の処理によりイメージカーソル204を再描画する(S3711)。
【0052】
以上説明したように、本実施形態の入力支援システム10によれば、表示欄201に表示されている帳票画像のうち、入力項目に対応する記入欄をイメージカーソル204により他の領域とは区別するようにすることができる。したがって、例えば、振込伝票の手交を受けて振込先や振込金額などの入力を行う銀行員のように、帳票画像を参照して文字列を入力するオペレータは、たとえ1枚の記入用紙に数多くの入力項目が存在するような様式の帳票であっても、参照すべき文字列が帳票画像のどこに記入されているかを容易に視認することができる。これにより、オペレータの入力効率を向上することができる。
【0053】
また、本実施形態の入力支援システム10によれば、入力欄203のフォーカスが変更されることに応じてイメージカーソル204も入力欄203に対応する記入欄の位置に移動させることができる。したがって、入力すべき文字列をイメージカーソル204により確実に強調することができる。
【0054】
さらに、ビュー領域にカーソル領域が含まれていない場合には、ビュー領域にカーソル領域が含まれるようにビュー領域の帳票画像に対する位置(左上隅の座標からのオフセット)を調整することができる。したがって、たとえフォーカスの変更により、入力欄203に対応する文字列の記入欄が帳票画像のビュー202に表示されていない部分であったとしても、ビュー202には当該記入欄を確実に表示させるようにすることができる。よって、オペレータがイメージカーソル204により強調されるカーソル領域を見失うことがなくなるので、文字列の入力を効率的に行うことが可能となる。
【0055】
また、本実施形態の入力支援システム10によれば、帳票画像に対する拡大、縮小、回転、スクロールに連動させてイメージカーソル204の位置及び大きさも変更することができる。したがって、イメージカーソル204により参照すべき場所を強調しながら、帳票画像を見やすい位置や大きさ、角度に調整することができる。よって、オペレータによる文字列の入力効率を向上することができる。
【0056】
また、本実施形態の入力支援システム10では、透明なカーソルパネルを帳票画像とは別に作成しておき、カーソルパネル上にイメージカーソル204を描画するようにしているので、帳票画像自体には編集を行うことなくカーソル領域を強調することができる。したがって、カーソル領域は強調しつつも、オペレータには帳票に記載されたそのままの状態を確認させることが可能となり、画像が編集されたことにより記入された文字列が見にくくなってしまうような状況を回避することができる。
【0057】
なお、本実施形態では、入力支援システム10は1台のコンピュータにより実現されるものとしたが、複数台のコンピュータにより構成するようにすることができる。例えば、スキャンデータを作成するコンピュータと、帳票画像及びイメージカーソル204を表示して文字列の入力を受け付ける処理を行うコンピュータとを別のコンピュータとすることもできる。また、クライアント及びサーバにより入力支援システム10を構成し、サーバ側において、帳票画像のビュー202やイメージカーソル204を合成した1枚の画像データを作成し、この画像データ及び入力欄203を含むWebページを表示するための画面データをHTML(HyperText Markup Language)により作成し、これをクライアント側で表示するようにしてもよい。
【0058】
また、本実施形態では、帳票を読み取った画像を表示するものとしたが、帳票に限らず文字列を記入するものを読み取った画像であれば何でもよい。
【0059】
また、本実施形態では、スキャナにより画像を読み取るものとしたが、スキャナに限らず、例えばデジタルカメラで撮像することによりスキャンデータを作成するようにしてもよい。
【0060】
また、本実施形態では、イメージカーソル表示部113は、透明なカーソルパネルを作成し、カーソルパネル上にイメージカーソル204を矩形の図形として描画するものとしたが、これに限らず、カーソル領域が他の領域と区別できるようにすればよい。例えば、イメージカーソル表示部113は、帳票画像上に直接矩形を描画するようにしてもよいし、カーソルパネル上にカーソル領域を塗りつぶした四角形を帳票画像が透けて見えるように描画するようにしてもよい。また、帳票画像のカーソル領域に含まれるピクセルに演算処理を行った色を変えるようにしてもよい。また、カーソル領域の画像を拡大した上で帳票画像に重畳させて表示するようにしてもよい。また、帳票画像を、カーソル領域の矩形と、カーソル領域の上下左右に隣接する矩形と、これら上下左右の矩形に挟まれる、カーソル領域の左上、右上、右下及び左下の矩形とに分割し、これらの矩形の間に隙間を設けるように帳票画像のビュー202を表示するようにしてもよい。
【0061】
また、本実施形態では、カーソル領域の全体がビュー領域に含まれていない場合には、カーソル領域の左上隅とビュー領域の左上隅とを合わせるようにビュー領域を変更するスクロール処理を行うものとしたが、カーソル領域の一部がビュー領域に含まれている場合には、スクロール処理は行わないようにしてもよい。また、本実施形態では、図11のステップS3305においてビュー領域の左上隅の座標が(CX,CY)となるようにスクロール処理を行うものとしたが、ここでビュー領域の右端X座標が帳票画像の右端X座標を超える場合には、ビュー領域の左上隅のX座標値をビュー領域の右端X座標値からビュー領域の幅VWを減じた値とし、ビュー領域の下端Y座標が帳票画像の下端Y座標を超える場合には、ビュー領域の左上隅のY座標値をビュー領域の下端Y座標値からビュー領域の高さVHを減じた値とするように、スクロール処理を行うようにしてもよい。
【0062】
また、ビュー領域の左上隅をカーソル領域に合わせるのではなく、ビュー領域とカーソル領域との位置関係を保ったままビュー領域を移動させるようにしてもよい。この場合、図11のステップS3303より前に、CX及びVXの差(CX−VX)及びCY及びVYの差(CY−VX)を(DX,DY)として計算しておき、ステップS3303においてフォーカスを取得した入力欄203に対応するカーソル定義情報のX,Y,W,Hを読み出した後、ステップS3304−S3306を省略して、CX及びCYからDX及びDYを引いた座標(CX−DX,CY−DY)にスクロール処理を行うようにすることができる。これにより、ビュー領域における相対的なカーソル領域の位置を固定しながらフォーカスに応じたイメージカーソル204を表示することができる。
【0063】
また、本実施形態では、帳票画像表示部112及びイメージカーソル表示部113は、CPU101が記憶装置103に記憶されているプログラムを実行することにより実現すると記載するにとどめたが、例えば、各機能部がJava(登録商標)などのオブジェクト指向プログラミング言語で記述されている場合には、帳票画像表示部112を、画像の描画処理のために一般的に提供されている第1のクラスとして実装し、イメージカーソル表示部113は、第1のクラスを継承する第2のクラスとして実装するようにすることができる。この場合、一般的に提供されている第1のクラスを継承させて、画像上にカーソル領域を示す図形を表示するメソッドを含む第2のクラスを作成することで、第1のクラスで実装済みの画像処理に関するメソッドを利用しつつ、カーソル領域を示す図形を表示するメソッドのみを開発すればよいので、開発効率を向上することができる。
【0064】
また、本実施形態では、帳票画像に表示される文字列はオペレータがキーボードで入力欄203に入力することを前提としたが、カーソル定義情報のそれぞれについて、カーソル定義情報に含まれる文字列領域情報により特定されるカーソル領域の部分画像を抽出して解析し、カーソル領域に記入されている文字列を検出するOCR(Optical Character Reader;光学式文字読取装置)処理を行い、検出した文字列を対応する入力欄203に入力するOCR処理部を設けるようにしてもよい。なお、OCR処理には一般的な文字列の認識処理を採用することができる。この場合、OCRにより認識可能な文字列については入力者の入力を省略することができる。したがって、さらに文字列の入力効率を向上することができる。また、オペレータは、認識エラーを修正することなどの、入力内容の確認作業に力を入れることができるので、入力ミスの低減が期待される。
【0065】
また、本実施形態では、スキャンデータは全て同じ様式であって、同じカーソル領域に同じ入力項目があることを前提としたが、帳票の種類ごとにカーソル領域を管理するようにしてもよい。この場合、カーソル定義記憶部132は、帳票の種類ごとにカーソル定義情報を記憶する。帳票画像表示部112は、スキャンデータを読み出すときに、オペレータから帳票の種類の入力を受け付ける。イメージカーソル表示部113は、入力された種類に対応するカーソル定義情報を読み出す。これにより、様々な種類の帳票について、イメージカーソル204を表示することができる。この場合、帳票の様式に応じてイメージカーソル204の位置や形状を調整することができる。したがって、様々な様式のデータを参照しながら入力を行う場合でも、効率的に入力を行うことが可能となる。
【0066】
また、帳票にバーコードやQRコード(登録商標)などにより、帳票の種類(カテゴリ)を符号化した画像を表示しておき、スキャンデータ登録部111がこの符号化された種類を認識し、認識した種類に対応づけてスキャンデータをスキャンデータ記憶部131に登録するようにしてもよい。また、帳票に文字列や数字、記号などにより帳票の種類を印刷しておき、これを認識するようにしてもよい。この場合、帳票に印刷された種類を認識してイメージカーソル204の位置や大きさを変更することができる。したがって、帳票にその種類を印刷しておければ、文字の記入後に帳票をスキャナで読み込んだ後すぐにイメージカーソル204を描画することが可能となり、例えば、複数のサービスに関する帳票を受け付ける窓口業務などにおいて、文字列の入力処理を効率化することができる。
【0067】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【符号の説明】
【0068】
10 入力支援システム
111 スキャンデータ登録部
112 帳票画像表示部
113 イメージカーソル表示部
114 画像操作指示入力部
115 データ入力部
131 スキャンデータ記憶部
132 カーソル定義記憶部
133 入力データ記憶部
20 画面
201 表示欄
202 ビュー
203 入力欄
204 イメージカーソル
205 拡大ボタン
206 縮小ボタン
207 左回転ボタン
208 右回転ボタン
209 水平スクロールバー
210 垂直スクロールバー
211 終了ボタン

【特許請求の範囲】
【請求項1】
画像内に描画された文字列の入力を支援する装置であって、
前記画像を表示するための画像データを記憶する画像データ記憶部と、
前記画像上において、入力すべき前記文字列が描画される領域である文字列領域を特定するための文字列領域情報を記憶する文字列領域情報記憶部と、
前記画像のうち、画面に表示される一部の領域であるビュー領域に含まれる部分画像を表示する画像表示部と、
前記文字列領域情報により特定される前記文字列領域を他の領域と区別可能に表示するイメージカーソル表示部と、
を備え、
前記画像表示部は、前記ビュー領域に前記文字列領域が含まれていない場合に、前記文字列領域が前記ビュー領域に含まれるように前記ビュー領域を変更し、前記変更したビュー領域に含まれる前記部分画像を表示すること、
を特徴とする入力支援装置。
【請求項2】
請求項1に記載の入力支援装置であって、
前記文字列を入力するための入力欄を画面に複数表示する入力欄表示部と、
前記入力欄がフォーカスを取得したことを検知するフォーカス検知部と、
をさらに備え、
前記文字列領域情報記憶部は、前記入力欄ごとに、前記入力欄に入力するべき前記文字列が描画される前記文字列領域を特定するための前記文字列領域情報を記憶しており、
前記イメージカーソル表示部は、前記フォーカスを取得した前記入力欄に対応する前記文字列領域情報を前記文字列領域情報記憶部から読み出し、前記読み出した文字列領域情報により特定される前記文字列領域を前記他の領域から区別可能に表示すること、
を特徴とする入力支援装置。
【請求項3】
請求項2に記載の入力支援装置であって、
前記画像表示部は、前記フォーカスを取得した第1の前記入力欄に対応する第1の前記文字列領域情報により特定される第1の前記文字列領域が前記ビュー領域に含まれていない場合、前記フォーカスを喪失した第2の前記入力欄に対応する第2の前記文字列領域情報により特定される第2の前記文字列領域から前記第1の文字列領域までのオフセットを計算し、前記オフセットに応じて前記ビュー領域の位置を変更すること、
を特徴とする入力支援装置。
【請求項4】
請求項1乃至3のいずれか1項に記載の入力支援装置であって、
前記文字列領域は矩形であり、前記文字列領域情報は、前記矩形の基準点を示す座標値と、前記矩形の幅及び高さとを含むこと、
を特徴とする入力支援装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の入力支援装置であって、
前記画像に対する、拡大、縮小、回転及び移動を含む画像操作の指示を受け付ける画像操作指示入力部をさらに備え、
前記画像表示部は、前記画像データに対して前記画像操作を適用し、前記画像操作を適用した前記画像データに基づく画像から、前記ビュー領域に含まれる前記部分画像を抽出して表示し、
前記イメージカーソル表示部は、前記画像操作に応じて前記文字列領域を前記他の領域から区別可能に表示すること、
を特徴とする入力支援装置。
【請求項6】
請求項1乃至5のいずれか1項に記載の入力支援装置であって、
前記イメージカーソル表示部は、前記部分画像に重なる透明なパネルを作成し、作成した前記透明なパネル上に前記文字列領域を示す図形を描画すること、
を特徴とする入力支援装置。
【請求項7】
請求項1乃至6のいずれか1項に記載の入力支援装置であって、
前記画像表示部は、オブジェクト指向プログラミング言語の第1のクラスにより定義されるプログラムを実行することにより実現され、
前記イメージカーソル表示部は、前記第1のクラスを継承する第2のクラスにより定義されるプログラムを実行することにより実現されること、
を特徴とする入力支援装置。
【請求項8】
請求項1乃至7のいずれか1項に記載の入力支援装置であって、
前記文字列領域情報により特定される前記文字列領域に記載されている前記文字列をOCR処理によって認識する文字認識処理部をさらに備えること、
を特徴とする入力支援装置。
【請求項9】
請求項1乃至8のいずれか1項に記載の入力支援装置であって、
前記画像データ記憶部は、前記画像データに対応付けて前記画像のカテゴリを記憶しており、
前記文字列領域情報記憶部は、前記カテゴリに対応付けて前記文字列領域情報を記憶しており、
前記画像データの指定を受け付ける画像指定部をさらに備え、
前記画像表示部は、前記指定された画像データに基づく前記画像から前記ビュー領域に含まれる前記部分画像を抽出して表示し、
前記イメージカーソル表示部は、前記指定された画像データに対応する前記カテゴリを前記画像データ記憶部から読み出し、前記読み出したカテゴリに対応する前記文字列領域情報を前記文字列領域情報記憶部から読み出し、前記読み出した文字列領域情報により特定される前記文字列領域を前記他の領域と区別可能に表示すること、
を特徴とする入力支援装置。
【請求項10】
請求項9に記載の入力支援装置であって、
前記カテゴリが印刷された帳票を読み込んで前記画像データを出力するスキャナと接続され、
前記スキャナから取り込んだ前記画像データを解析して前記カテゴリを判別する画像解析部と、
前記画像データに前記画像解析部が判別した前記カテゴリを対応付けて前記画像データ記憶部に登録する画像登録部と、
をさらに備えることを特徴とする入力支援装置。
【請求項11】
画像内に描画された文字列の入力を支援する方法であって、
前記画像を表示するための画像データを記憶するステップと、
前記画像上において、入力すべき前記文字列が描画される領域である文字列領域を特定するための文字列領域情報を記憶するステップと、
前記画像のうち、画面に表示される一部の領域であるビュー領域に含まれる部分画像を表示するステップと、
前記文字列領域情報により特定される前記文字列領域を他の領域と区別可能に表示するステップと、
を備え、
前記部分画像を表示するステップは、前記ビュー領域に前記文字列領域が含まれていない場合に、前記文字列領域が前記ビュー領域に含まれるように前記ビュー領域を変更し、前記変更したビュー領域に含まれる前記部分画像を表示するステップを含むこと、
を特徴とする入力支援方法。
【請求項12】
画像に描画された文字列の入力を支援するためのプログラムであって、
コンピュータに、
前記画像を表示するための画像データを記憶するステップと、
前記画像上において、入力すべき前記文字列が描画される領域である文字列領域を特定するための文字列領域情報を記憶するステップと、
前記画像のうち、画面に表示される一部の領域であるビュー領域に含まれる部分画像を表示するステップと、
前記文字列領域情報により特定される前記文字列領域を他の領域と区別可能に表示するステップと、
を実行させ、
前記部分画像を表示するステップにおいて、前記コンピュータに、前記ビュー領域に前記文字列領域が含まれていない場合に、前記文字列領域が前記ビュー領域に含まれるように前記ビュー領域を変更し、前記変更したビュー領域に含まれる前記部分画像を表示するステップをさらに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−37399(P2013−37399A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−170427(P2011−170427)
【出願日】平成23年8月3日(2011.8.3)
【出願人】(598049322)株式会社三菱東京UFJ銀行 (200)
【Fターム(参考)】