説明

情報自動入力プログラム

【課題】汎用アプリケーション固有の入力情報保存方法や、コントロールID、タグ情報等に依存することなく、所定情報の入力欄とOKボタンの位置を特定して所定情報の自動入力とOKボタンの自動押下を行う情報自動入力プログラムを提供する。
【解決手段】登録時にブラウザによりモニタ画面上に表示されるユーザ認証画面27の入力欄28所定情報を入力しOKボタン29を押下すると、入力された所定情報、入力欄及びOKボタンの位置情報、ユーザ認証画面の識別情報が入力部10により取得され、格納部23を介して外部記憶装置に登録される。入力時に認証画面検出部15により上記のユーザ認証画面27(27´)が検出されると、入力/押下部22は格納部23を介して外部記憶装置5から読み出した位置情報により得られる入力欄28の位置に、同じく外部記憶装置5から読み出した所定情報を自動入力し、更にOKボタン29の位置を自動押下する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザ認証後にユーザ認証画面にIDやパスワードを自動入力し更にその入力内容を確定するOKボタンを自動押下するシステムにおける入力又は押下すべき位置を自動的に特定して自動入力又は自動押下を行う情報自動入力プログラムに関する。
【背景技術】
【0002】
近年の急速な情報化に伴い、電子メールやグループウェアなどのアプリケーションソフトウエア(以下、単にアプリケーションという)が増加している。これらのアプリケーションでは、必ずユーザ認証を必要とし、そのため、ユーザにはIDの入力やパスワードの入力といった入力操作が要求される。
【0003】
通常、ユーザによって使用される上記のようなアプリケーションは、種類が多く、したがって、ユーザにとってIDやバスワード(以下、代表的に単にパスワードという)を管理する負担が増加している。そのようなユーザによるパスワードの管理を簡単にするために、全アプリケーションのユーザ認証を、1回の認証で代行することが提案されている。
【0004】
これは、コンピュータ画面上にユーザ認証画面が表示されるのを監視し、ユーザ認証画面が表示されると指紋などの生体情報又はパスワードの入力を要求し、この入力によってユーザ認証が得られたときは、コンピュータ画面上に表示される他のアプリケーションによるユーザ認証画面に対してもパスワードの自動入力と、この入力内容を確定するOKボタンの自動押下を行うとい技術が提案されている。
【0005】
例えば、そのような従来の提案の一例として、ユーザ認証画面を形成するコントロール(入力欄、ボタンなど)には、通常、コントロールIDが割り当てられており、このコントロールIDはアプリケーションの画面内でコントロールと一義的に対応しているものであることに着目したものがある。
【0006】
すなわち、この従来例1は、上記のコントロールIDを取得して、その取得したコントロールIDとパスワードを予めユーザ側の記憶装置に登録しておき、コンピュータ画面上にユーザ認証画面の表示が検出された場合、登録されているコントロールIDから、パスワードを入力すべき入力欄と押下すべきOKボタンとを特定して、この特定されるべき入力欄及びOKボタンの位置に、パスワードの自動入力とOKボタンの自動押下を行うというものである。
【0007】
このように、メールソフトや一般の業務アプリケーションなどユーザ認証画面が存在するWindows(登録商標)アプリケーション、ブラウザから別画面として認証ダイアログボックスが起動されるWebアプリケーションなどで、入力欄とOKボタンからコントロールIDを一義的に取得できるものについては、バスワードの自動入力とOKボタンの自動押下を行うことができる。
【0008】
また、従来提案されている他の例としては、Webアプリケーションによるモニタ画面上の表示画面領域に入力欄とOKボタンが埋め込まれているユーザ認証画面(埋め込み型認証画面)の場合、一般に、ユーザ認証画面を表示するにはHTMLやXMLなどのマークアップ言語で作成されたファイルが用いられることに着目したものがある。
【0009】
マークアップ言語は、テキスト文で記述されており、その記述はタグ(開始タグと終了タグの両方を単にタグという場合が多い)及び開始タグと終了タグとの間に挟まれたテキ
スト文字列などからなっている。開始タグ内には各種の表示指定情報が含まれており、タグの種類は多種多様である。上記の入力欄とOKボタンを示す記述も、特有の開始タグと終了タグで囲まれて存在している。
【0010】
上記の従来例2は、そのようなタグ情報(タグ及び開始タグと終了タグとの間に挟まれたテキスト文字列などの情報)を予め登録しておき、その登録されているタグ情報から入力すべき入力欄と押下すべきOKボタンの位置を特定して、パスワードの自動入力とOKボタンの自動押下を行うというものである。
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、上記の従来例1のコントロールIDから画面上の入力欄とOKボタンの位置を検出する方法は、入力欄やOKボタンとコントロールIDとが一義的に対応しているブラウザなどに適用できるものであり、それ以外のブラウザには適用できない。
【0012】
ブラウザは、本来は、データファイルの中身を次々と見ていくためのソフトの呼び名であるが、現在、一般には、インターネット上でマークアップ言語で記述されたファイルやデータを閲覧するWebブラウザを指す場合が多い。代表的なWebブラウザの例としては、Internet Explorer(IE)と、Netscape Navigator(NN)が存在する。
【0013】
これらのIEやNNはもちろんであるが、一般にメールソフトなども、入力したパスワードを保存する指定をユーザが行うと次回からはパスワードが自動入力されるものであるから、本来なら、わざわざパスワードの自動入力を考える必要はない。しかし、このように保存されたパスワードは、IE、NN、又はメールソフト等で予め定めれられているファイルに保存されるものであり、また、IE、NN、又はメールソフト等は、用途よりも不特定多数のユーザに共通な仕様という意味では汎用的なアプリケーションであるから、そのシステムに通暁しているユーザも多く、そのようなユーザであれば、保存されているパスワードが他人のものであっても容易に知ることができる。
【0014】
したがって、IE、NN、又はメールソフト等の場合でも、それらの上記のような自動保存の機能に依存せず、ユーザ側で独自のアプリケーションによって、パスワードを保存し、自動入力するようにする必要がある。
【0015】
ところが、従来例1の場合、WebブラウザがIEのときは、IEの仕様ではコントロールIDは入力欄やOKボタンに個別に対応付けられているのではなく入力欄やOKボタンを表示する認証ダイアログボックスに対応付けられている。したがって、コントロールIDによって表示画面上の認証ダイアログボックスの位置は取得できても、入力欄やOKボタンの位置は取得できないという問題がある。
【0016】
また、WebブラウザがNNの場合、コントロールIDによって表示画面上の入力欄やOKボタンの位置を取得することがはできる。しかし、NNの仕様ではWebページや認証画面の表示が変わる度に、その表示ページに対してコントロールIDが新たに割り当てられる。したがって、最初の認証登録時にコントロールIDを取得して、そのコントロールIDを予め登録しておいても、上記のように認証画面が表示される度にコントロールIDが変わるから、ユーザ側で登録しておいたコントロールIDから入力欄とOKボタンを特定することができない、という問題がある。
【0017】
また、上記の従来例2のマークアップ言語の入力欄とOKボタンのタグ情報から入力欄と0Kボタンの位置を特定する方法は、マークアップ言語が基本形式で記述されている場
合であれば支障なく実行できる。しかし、近年、見た目を楽しくするために、例えば、OKボタンのタグに「OK」のテキスト文字列の代わりにJpeg等の画像を貼り付けるなどして、タグの記述に特殊な記述を付加するような場合が多くなっている。そうすると、タグ情報からでは入力欄の位置やOKボタンの位置を取得することが困難になる場合が多くなる。
【0018】
特に、近年のWebアプリケーションでは、マークアップ言語で記述されたファイルによる埋め込み型認証画面が増加しているが、そのようなWebアプリケーションの増加と共に、マークアップ言語の規格がバージョンアップされて、多様なタグ記述が開発されて使用される傾向がある。そうなると、今後、単純には入力欄やOKボタンの位置取得に対応できないWebアプリケーションの増加が予想される。
【0019】
本発明の課題は、上記従来の実情に鑑み、汎用アプリケーション固有の入力情報保存方法や、コントロールID、タグ情報等に依存することなく、所定情報の入力欄とOKボタンの位置を特定して所定情報の自動入力とOKボタンの自動押下を行う情報自動入力プログラムを提供することである。
【課題を解決するための手段】
【0020】
以下に、本発明に係わる情報自動入力プログラムの構成を述べる。
先ず、第1の発明の情報自動入力プログラムは、アプリケーションによりモニタ画面上に表示される情報入力欄の情報自動入力させる処理をコンピュータに実行させる情報自動入力プログラムであって、上記モニタ画面上に表示された画面上の所定の探索領域において上記情報自動入力する初期位置を決定する初期位置決定処理と、該初期位置決定処理にて決定された初期位置を基準として所定の規則で異なる位置に次の自動入力位置を順次移動させる次位置決定処理と、上記初期位置決定処理又は上記次位置決定処理にて決定された位置に上記情報自動入力を行う入力処理と、該入力処理による情報自動入力により上記情報入力欄への情報入力が成功したか失敗したかを検出する入力成否検出処理と、上記初期位置決定処理により決定された位置に対して上記入力処理により行われた上記情報自動入力に対し上記入力成否検出処理により失敗が検出されたとき、上記次位置決定処理は次の位置を決定し、該位置に上記入力処理は上記情報自動入力を行い、該情報自動入力に対し上記入力成否検出処理は入力の成否を検出し、該検出で失敗が検出されたとき、上記次位置決定処理は再び次の位置を決定し、該位置に上記入力処理は上記情報自動入力を行い、該情報自動入力に対し上記入力成否検出処理は入力の成否を検出するということを、入力の所定の結果が得られるまで繰り返すよう上記各処理を制御する制御処理と、を上記コンピュータに実行させるように構成される。
【0021】
そして、このプログラムは、例えば、上記情報自動入力を行う場合は、上記情報を予め登録する入力情報登録処理と、該予め登録された上記情報を上記情報自動入力時に入力する情報入力処理とを、上記コンピュータに実行させるように構成される。
【0022】
また、このプログラムは、例えば、上記入力欄を上記モニタ画面上に表示する上記アプリケーションに対し、何らの変更も加えないように構成される。
次に、第2の発明の情報自動入力プログラムは、アプリケーションによりモニタ画面上に表示される押下ボタンを自動押下させる処理をコンピュータに実行させる情報自動入力プログラムであって、上記モニタ画面上に表示された画面上の所定の探索領域において上記自動押下する初期位置を決定する初期位置決定処理と、該初期位置決定処理にて決定された初期位置を基準として所定の規則で異なる位置に次の自動押下位置を順次移動させる次位置決定処理と、上記初期位置決定処理又は上記次位置決定処理にて決定された位置に上記自動押下を行う押下処理と、該押下処理による自動押下により上記押下ボタンへの押下が成功したか失敗したかを検出する押下成否検出処理と、上記初期位置決定処理により
決定された位置に対して上記押下処理により行われた上記自動押下に対し上記押下成否検出処理により失敗が検出されたとき、上記次位置決定処理は次の位置を決定し、該位置に上記押下処理は上記自動押下を行い、該自動押下に対し上記押下成否検出処理は押下の成否を検出し、該検出で失敗が検出されたとき、上記次位置決定処理は再び次の位置を決定し、該位置に上記押下処理は上記自動押下を行い、該自動押下に対し上記押下成否検出処理は押下の成否を検出するということを、押下の所定の結果が得られるまで繰り返すよう上記各処理を制御する制御処理と、を上記コンピュータに実行させるように構成される。
【0023】
上記第1又は第2の発明の情報自動入力プログラムは、例えば、上記コンピュータに、予め登録された上記所定情報を入力する上記入力欄を表示する上記アプリケーションを特定する識別情報を上記アプリケーションから予め取得して該所得した上記識別情報を予め登録する識別情報登録処理と、上記モニタ画面上に表示される画面を監視して、上記識別情報登録処理により登録されている上記識別情報を有するアプリケーションによる画面表示が行われたことを検出する表示検出処理と、を更に実行させるように構成される。
【発明の効果】
【0024】
本発明によれば、汎用アプリケーション固有の入力情報保存方法や、コントロールID、タグ情報等に依存することなく、所定情報の入力欄とOKボタンの位置を特定して所定情報の自動入力とOKボタンの自動押下を行うことができるので、比較的頻繁に呼び出される同一画面への特定情報の入力とその確定入力を自動化することができ、これにより、例えばメールソフト、Windows(登録商標)へのログイン、スクリーンセーバーのロック解除、ネットワーク接続時のパスワード入力、ダイアルアップ時の認証、MS OFFICE(登録商標)ファイルのパスワードロック、会員専用のホームページへのアクセスなど、幅広い分野において高いセキュリティ性を維持したまま特定情報の入力手数を省くことができ、ユーザの負担が大幅に軽減される。
【発明を実施するための最良の形態】
【0025】
以下、本発明の実施の形態を図面を参照しながら説明する。尚、以下の説明では、情報入力ダイアログボックス画面を、代表的にユーザ認証画面ということにする。
図1は、本発明の情報自動入力プログラムによる処理を実行するコンピュータのハードウエア構成を示すブロック図である。同図に示す本例のコンピュータ1は、例えばインターネットやイントラネット等のネットワークに接続されたパーソナルコンピュータ等のクライアント装置である。
【0026】
同図に示すように、コンピュータ1は、CPU(中央処理装置)2、メモリ3、出力装置4、外部記憶装置5、ネットワーク接続装置6、及び入力装置7を備え、それらはバス8により互いに接続されている。
【0027】
メモリ2は、例えばROM(Read Only Memory)、RAM(Random Access Memory)等を含み、処理に用いられるプログラムとデータを格納する。CPU1は、メモリ2を利用してプログラムを実行することにより、必要な処理を行う。
【0028】
つまり、例えば外部記憶装置5に搭載されているWebブラウザを逐次メモリ3に読み出して、このWebブラウザにより、ネットワーク接続装置6を介してネットワークに接続されているサーバ装置のファイルやデータを検索して取得し、その取得したファイル内容やデータ内容を表示装置に表示する。
【0029】
このようなWebブラウザや他のアプリケーションプログラム(以下、単にアプリケーションという)によってクライアント装置の表示装置の表示画面に表示される例えばユー
ザ認証画面等の入力欄に、必要な情報を自動入力し、この入力欄に対応するOKボタンを自動押下する本発明の処理は、メモリ3に格納された情報自動入力プログラムで実行される。
【0030】
出力装置4は、ディスプレイ等のモニタ画面を備え、ユーザは、所望のアプリケーションによってモニタ画面に表示される表示画面を見ながら、マウス、キーボードなどの入力装置7を用いて入力情報登録の作業などの操作を行う。
【0031】
外部記憶装置5は、例えば磁気ディスク装置、光ディスク装置、光磁気ディスク装置などである。コンピュータ1は、この外部記憶装置5に、上述の各種アプリケーションや本発明の情報自動入力プログラム又はデータ等を保存し、必要に応じて、それらをメモリ3にロードして使用することができる。
【0032】
ネットワーク接続装置6は、LAN(Local Area Network)やインターネット等の任意のネットワーク(回線)を介して外部のサーバ装置との通信を中継する。
【0033】
次に、上記コンピュータ1の構成において、例えば指紋等による本人認証を行った後、予め登録されている所定情報を埋め込み型入力画面の入力欄こ自動入力するシステムの処理について、第1の実施の形態として以下に説明する。
【0034】
尚、個人認証は、指紋に限定るものではなく、他の生体情報、例えば声紋、虹彩、網膜、顔や、署名、キーストロークなどの生体固有の動作、あるいは本人専有の所有物による認証等、いずれの方法であってもよい。
【0035】
また、本例は、先ず上記の個人認証で、コンピュータ1の操作許可を取得した後、以降、そのコンピュータ1の出力装置4のモニタ画面に表示される各種の情報入力画面に、所定の入力情報を自動入力し、その自動入力を確定するためのOKボタンの自動押下を行おうとする処理である。
【0036】
図2は、上記コンピュータ1の外部記憶装置5からメモリ3に読み出され、CPU2によって実行される情報自動入力プログラムによる処理の第1の実施の形態における処理機能モジュールのブロック図である。
【0037】
同図に示すように、処理機能モジュールは、入力部10、所定情報登録部11、位置情報登録部12、アプリケーション情報登録部13、識別情報登録部14、認証画面検出部15、入力情報照合部16、アプリケーション情報取得部17、アプリケーション比較部18、アプリケーション変更部19、位置情報算出部21、入力/押下部22、及び格納部23から成る。格納部23には、図1に示した記録装置5が連携している。
【0038】
図3(a) は、上記第1の実施の形態において、格納部23を介して外部記憶装置5に格納される、ユーザからの登録時の入力に対応して生成されるデータベースの構成を示す図であり、同図(b) は、その登録時の入力に対応するように予め格納されているデータベースの構成を示す図である。尚、以下の説明では、説明を簡単にするために、出力装置4のモニタ画面に画面表示するアプリケーションを代表的にWebブラウザ(以下、単にブラウザという)として説明する。
【0039】
図3(a) に示すように、ユーザからの入力に対応して生成されるデータベース25は、所定情報25−1、位置情報25−2、識別情報25−3、ブラウザ情報25−4で構成される。所定情報25−1は、入力装置7のキーボードからユーザによりキー入力される
ユーザの個人情報であり、特には図示しないが、例えばID、パスワード、住所、電話番号、又は氏名等である。
【0040】
位置情報25−2は、ブラウザの表示画面上で所定のアプリケーションにより埋め込み表示またはオーバーラップ表示される個人情報入力用のダイアログ画面(以下、代表的にユーザ認証画面という)の、ユーザによりマウスでクリック操作される所定情報の入力欄と、この入力欄に対応する入力確定用のOKボタンの位置を示す情報である。
【0041】
識別情報25−3は、上記ブラウザの表示画面上に表示されるユーザ認証画面の、例えばウインドウタイトルなどのユーザ認証画面を特定する識別情報であり、上記の位置情報の取得時に、詳しくは後述するように、情報自動入力プログラムによって自動的に取り入れられる。
【0042】
ブラウザ情報25−4は、同図(a) にプルアウトメニュー形式で示すように、画面サイズ情報25−4−1、フォントサイズ情報25−4−2、フォント種類情報25−4−3、名称25−4−4、バージョン情報25−4−5、ブラウザ固有の機能を示すボタン類の有無情報25−4−6、及びブラウザに属する小ウインドウ表示の有無情報25−4−7で構成される。
【0043】
また、同図(b) に示すように、予め作成されて外部記憶装置5に格納されているデータベース26は、ブラウザ種間およびバージョン間の差異情報26−1、及びブラウザ固有の機能を示すボタン類及びブラウザに属する小ウインドウ表示の有無による差異情報26−2で構成されている。これらの情報は、予め異なるブラウザによって所望の画面をそれぞれ表示させ、あるいは異なるバージョン間で所望の画面をそれぞれ表示させることによって取得しておくことができる。
【0044】
上記の図2において(以下、図3も参照)、登録時すなわちコンピュータ1の出力示装置4のモニタ画面に表示されるユーザ認証画面に対する所定情報の登録時において、入力部10は、ユーザから入力された上述した所定情報25−1を所定情報登録部11に出力し、所定情報登録部11は、入力部10から受け取った上記の所定情報25−1を格納部23を介して外部記憶装置5に格納(つまり登録、以下同様)する。
【0045】
また、入力部10は、マウスやスティック、トラックボール、トラックパッド等のポインティングデバイス(以下、全てのポインティングデバイスを代表してマウスという)によるクリック操作によって得られる所定情報25−1を入力すべき入力欄や、その入力欄に対応するOKボタンの位置情報25−2を位置情報登録部12に出力し、位置情報登録部12は、入力部10から受け取ったそれらの位置情報25−2を格納部23を介して外部記憶装置5に格納する。
【0046】
また、入力部10は、同じくマウスによる例えばWebページの場合であればタイトルバーの左端のクリックによって取得されるブラウザの名称など含むブラウザ情報25−4を位置情報登録部12に出力する。位置情報登録部12は、入力部10から受け取った上記のブラウザ情報25−4をアプリケーション情報登録部13に出力する。
【0047】
アプリケーション情報登録部13は、位置情報登録部12から入力されるブラウザ情報25−4を、表示装置に画面表示を行っているブラウザを特定する情報すなわち名称やバージョン、さらにはその画面サイズや表示に使用されているフォントのサイズや種類、その他の表示有無などの情報として格納部23を介して外部記憶装置5に格納する。
【0048】
また、入力部10は、モニタ画面上に表示中の画面に埋め込み表示されているユーザ認
証画面の例えばウインドウタイトル等の識別情報25−3を取得して、この識別情報25−3を識別情報登録部14に出力する。識別情報登録部14は、入力部10から受け取った識別情報25−3をユーザ認証画面を識別するための情報として格納部23を介して外部記憶装置5に格納する。
【0049】
また、入力部10は、入力装置7に設けられている指紋検出装置によって取得される指紋データを入力情報照合部16に出力する。入力情報照合部16は、入力部10から受け取った指紋データを格納部23を介して外部記憶装置5に格納する。
【0050】
他方、入力時すなわちコンピュータ1のモニタ画面上に所定のブラウザにより表示されるユーザ認証画面への自動入力時においては、認証画面検出部15は外部記憶装置5に格納されている識別情報25−3を格納部23を介して読み出すとともに、表示装置の表示中の画面を監視し、外部記憶装置5に格納されている識別情報25−3と同一の識別情報を有するユーザ認証画面が監視中の画面に埋め込み表示またはオーバーラップ表示されたとき、自動入力すべきユーザ認証画面がモニタ画面上に表示されたことを、入力情報照合部16に通知する。
【0051】
ここで、入力部10は、指紋検出装置によって取得される指紋データを入力情報照合部16に出力する。入力情報照合部16は、入力部10から受け取った指紋データと、格納部23を介して外部記憶装置5から読み出した指紋データとを比較して、入力部10から受け取った指紋データが外部記憶装置5から読み出した指紋データと一致するか否かを判別し、一致したときは、個人認証が有効であることをアプリケーション情報取得部17に通知する。
【0052】
アプリケーション情報取得部17は、入力情報照合部16から個人認証が有効である通知を受け取ると、ユーザ認証画面を表示したWebページ画面を表示しているブラウザのブラウザ情報を取得し、この取得したブラウザ情報を、アプリケーション比較部18に出力する。
【0053】
アプリケーション比較部18は、上記のユーザ認証画面への入力情報登録時に、その入力情報と対応付けられて登録されているブラウザ情報25−4を、格納部23を介して外部記憶装置5から読み出し、その読み出したブラウザ情報25−4と上記アプリケーション情報取得部17から受け取ったブラウザ情報とを比較し、一致又は不一致の結果情報をアプリケーション変更部19に通知する。
【0054】
アプリケーション変更部19は、アプリケーション比較部18から受け取った情報が「一致」のときは現在ユーザ認証画面を表示しているブラウザをそのまま維持し、受け取った情報が「不一致」のときは、ブラウザ情報25−4の中で細目の情報25−4−1〜25−4−4で不一致であれば、つまり現在ユーザ認証画面を表示しているブラウザが表示する画面サイズ、フォントの種類、又はフォントの大きさが、ユーザ認証画面への入力情報登録時に登録されているブラウザ情報が示す画面サイズ、フォントの種類、又はフォントと異なっていれば、現在表示中の画面サイズ、フォントの種類、又はフォントの大きさを、登録されているブラウザ情報が示す画面サイズ、フォントの種類、又はフォントの大きさに変更する。
【0055】
位置情報算出部21は、アプリケーション変更部19からブラウザを維持する情報又は変更した場合はブラウザの変更が完了した通知を受け取ってから、格納部23を介して外部記憶装置5に登録されている入力欄とOKボタンの位置情報25−2を読み出し、アプリケーション比較部18から通知されたブラウザ情報25−4の中で細目の情報25−4−4〜25−4−7に差異のあるものについて、その差異に基づき、入力欄とOKボタン
の正しい現在位置を算出して、その算出した入力欄の位置情報とOKボタンの位置情報を入力/押下部22に通知する。
【0056】
また、位置情報算出部21は、ブラウザ情報に変化がないときは、外部記憶装置5から読み出した登録されている入力欄とOKボタンの位置情報25−2をそのまま入力/押下部22に通知する。
【0057】
入力/押下部22は、位置情報算出部21から受け取った入力欄の位置にマウスのポインティング情報と左クリック情報を出力して入力欄をアクティブにし、外部記憶装置5に登録されている入力すべき所定情報25−1を格納部23を介して読み出して、この読み出した所定情報25−1を入力情報として出力する。出力された所定情報25−1はアクティブになった入力欄への入力情報としてブラウザ側に取得される。
【0058】
また、入力/押下部22は、位置情報算出部21から受け取ったOKボタンの位置にマウスの左クリック情報を出力する。この左クリック情報はOKボタンの押下情報としてブラウザ側に取得される。
【0059】
このようにして、所定のユーザ認証画面の入力欄への個人情報自動入力と、この入力の確定のためのOKボタンの自動押下が完了する。
一般に、今後はインターネット上での金融や商品取引等が頻繁に行われるようになってくると予想されている。このような金融や商品取引等に係わるWebページでは、本人認証が必ず必要である。そして、このようなWebページでの金融や商品取引等が頻繁に行われるようになと、本人認証も頻繁に必要になる。
【0060】
そのような場合でも、コントロールIDやタグ情報に依存することなく、入力欄の位置とOKボタンの位置を検出して、ユーザ認証のための個人情報の自動入力と、OKボタンの自動押下を行うことができる。これにより、頻繁に必要になる本人認証に対しても、自動入力と自動押下によって、ユーザの手数を省くことができる。
【0061】
図4は、上記第1の実施の形態における処理機能モジュールの基本処理における処理機能モジュール間の関係を示す図である。
図5(a) は、上記基本処理において表示装置の画面上に表示される登録時の認証画面を模式的に示す図であり、同図(b) は、入力時の認証画面を模式的に示す図である。
【0062】
図6は、上記第1の実施の形態における登録時の処理を示すフローチャートである。尚、図6においてS1、S2、・・・は処理の手順を表している(これは後述する図7のS11、S12・・・・や図15、図16におけるフローチャートの場合も同様である)。
【0063】
この第1の実施の形態における基本処理に示す登録時においては、まず図6のS1で、ユーザからの入力操作によって、所定のブラウザによってモニタ画面上に表示されている表示画面上に、所定情報25−1を入力すべきユーザ認証画面27(図4及び図5(a) 参照))が表示される。
【0064】
続いて、図6のS2では、図4に示す入力部10は、前述の図2で説明したように、入力装置7のキーボードからキー入力される所定の入力情報を、所定情報登録部11及び格納部23を介して外部記憶装置5に登録する。
【0065】
図6のS3では、図4に示す入力部10は、最初にブラウザに対し一定のコマンドを出力し、そのコマンドに対する返し値として、ブラウザから通知されるユーザ認証画面の表示位置の座標を取得する。この座標値が、図5(a) に示すように、ユーザ認証画面27の
基準座標(0,0)となる。
【0066】
続いて、入力部10は、ユーザ認証画面27の入力欄28及びOKボタン29の位置をマウス操作によってクリックするよう、画面上からユーザに指示する。これにより、ユーザによるマウス操作が行われ、入力欄28及びOKボタン29の位置がクリックされ、これら位置情報25−2が入力部10によって取得される。これら取得された位置情報25−2が位置情報登録部12及び格納部23を介して外部記憶装置5に登録される。
【0067】
更に図6のS4では、図4に示す入力部10によりブラウザ情報25−4が取得されて、このブラウザ情報25−4が図2のアプリケーション情報登録部13及び図2(図4も同じ)の格納部23を介して外部記憶装置5に登録される。
【0068】
更に図6に示すS5では、図4に示す入力部10により、ユーザ認証画面27の識別情報25−3が取得されて、この識別情報25−3が識別情報登録部14及び格納部23を介して外部記憶装置5に登録される。
【0069】
このようにして、自動入力のための事前処理である入力用の所定情報25−1、その所定情報25−1を入力するための入力欄や、その入力を確定するためのOKボタンの位置情報25−2、その入力のためのユーザ認証画面27を特定する識別情報25−3、及びそのユーザ認証画面27を表示するブラウザのブラウザ情報25−4が、予め外部記憶装置5に登録される。
【0070】
次に、この第1の実施の形態における入力時においては、図4に示す認証画面検出部15は、前述の図2で説明したように、出力装置4のモニタ画面に表示中の画面を監視し、格納部23を介して外部記憶装置5から読み出した識別情報25−3に基づいて、自動入力すべきユーザ認証画面27が表示中画面に表示されたことを検出する。この検出情報は入力/押下部22に通知される。
【0071】
入力/押下部22は、格納部23を介して外部記憶装置5から読み出した位置情報25−2により得られる入力欄28の位置に、同じく外部記憶装置5から読み出した入力すべき所定情報25−1を、図5(b) に示すように自動入力し、更にOKボタン29の位置を自動押下する。これにより、所定のユーザ認証画面27の入力欄28への所定情報25−1の自動入力と、この入力の確定のためのOKボタン29の自動押下が完了する。
【0072】
図7は、図4及び図5(b) に示す場合とやや異なる入力時の処理を示すフローチャートである。また、この場合は、図6に示した登録時のフローチャートにおいて、S4で所得されるブラウザ情報は、図3(a) に示したように単にブラウザの種類の違いのみでなく、同一ブラウザの場合であってもバージョンの違い、更にはユーザ認証画面を埋め込み表示する又はオーバーラップ表示する親画面としてのWebページの画面サイズ、更に、使用されているフォント情報なども、ブラウザ情報として取得されて、このブラウザ情報がアプリケーション情報登録部13及び格納部23を介して外部記憶装置5に登録されている。
【0073】
一般に、ブラウザ上で表示されるWebページの表示サイズはユーザの画面操作性の好みによって、マウスを用いて容易に変化させることができる。Webページの表示サイズが変化すると、これに伴ってユーザ認証画面のサイズが変化するものとしないものがある。一般に埋め込み表示画面はサイズが変化し、オーバーラップ表示画面はサイズが変化しないものが多い。
【0074】
また、ブラウザの種類が異なると同一のマークアップ言語で同一の内容を記述したデー
タを表示しても、例えば入力欄のサイズ、位置、フォント大きさなどが変わってくる。
また、ブラウザ固有の機能を示すボタン(主としてツールバーに表示される)又はブラウザに属する小ウインドウの表示が有るか否かで画面全体の表示領域の配置が変動してくる。
【0075】
いずれにしても、Webページに表示されているユーザ認証画面のサイズや位置に変動があると、ユーザ認証画面の入力欄やOKボタンの位置が登録時の位置と異なってくる。そのような場合でも、以下に述べる本発明の情報自動入力プログラムによる処理により入力欄への自動入力とOKボタンの自動押下に十分に対処することができる。
【0076】
図7において、S11では、認証画面検出部15によって、モニタ画面上に表示中の画面が監視され、自動入力すべきユーザ認証画面が表示中画面に表示されたことが検出される。
【0077】
S12では、本人認証を行うために指紋データ入力装置によるユーザの指紋データの入力が行われる。
続いて、S13では、図2に示す入力情報照合部16による前述した指紋照合が行われ、失敗(入力指紋データが登録指紋データと異なる)か成功(入力指紋データが登録指紋データと一致)かが判別される。そして、この判別で失敗であれば直ちに処理が終了される。すなわち自動入力処理は行われない。
【0078】
他方、S13の判別で成功であれば、次のS14で、モニタ画面に画面を表示しているブラウザのブラウザ情報が取得される。
そして、S15で、上記取得されたブラウザ情報と、外部記憶装置5から読み出された登録済みのブラウザ情報25−4とが比較される。すなわち、画面表示中のブラウザと登録されているブラウザとの間にブラウザの違いがあるか、また、同一ブラウザであってもバージョンに違いがあるか、更に、ユーザ認証画面を表示する親画面としてのWebページの画面サイズが変更されているか、また、各種の固有ツールボタンを表示するツールバーの表示の有無、使用されているフォントのサイズや種類が変化しているかなどの比較が行われ、その差異が判別される。そして、一部でも異なるならS16の処理に進み、全てが同一ならS17の処理に進む。
【0079】
S16では、フォントのサイズ又は種類が登録時のフォントのサイズ又は種類と異なっていたときは、登録時のフォントのサイズ又は種類に変更する。また、Webページの画面サイズが異なっていたときは、登録時の画面サイズに変更する。また、ツールバーの表示の有無が登録時と異なっていたとき、あるいは、ブラウザや、そのバージョンが登録時と異なっていたときは、その旨をS17に通知する。
【0080】
S17では、外部記憶装置5から登録されている入力欄とOKボタンの位置情報25−2を読み出して、表示中の画面のツールバーの表示の有無が登録時と異なっていたときは、ツールバー表示の有無によって変動している入力欄の位置とOKボタンの位置を補正する。また、ブラウザやそのバージョンが登録時と異なっているときは、そのために表示領域が変動して表示位置が変化している入力欄の位置とOKボタンの位置を補正する。
【0081】
この後、S18で、外部記憶装置5に登録されている所定情報25−1を読み出して、この読み出した所定情報25−1を、上記補正によって位置が確定している入力欄に自動入力し、更にOKボタンを自動押下する。
【0082】
以上の処理をユーザ認証画面を用いて更に説明する。
図8(a),(b),(c) は、入力時のユーザ認証画面のサイズが登録時のサイズと異なった場
合の自動入力と自動押下の例を説明する図である。同図(a) に示すように、登録時においては、ユーザ認証画面30の入力欄31とOKボタン32の中心位置は、それぞれ(x1 ,y1 )及び(x1 ,y2 )であった。
【0083】
しかし、入力時においてモニタ画面上に表示されたときは、同図(b) に示すように、ユーザ認証画面30´のように画面サイズが、画面の左側へほぼ横1/2に縮小されて表示されたものとする。従って入力欄31´とOKボタン32´の位置も大きく左側にずれこんでいる。このように入力時の画面サイズが登録時のサイズと異なっていると、入力欄およぴOKボタンの表示位置が異なるから、登録時に登録されている位置情報25−2を用いたのでは自動入力および自動押下に失敗することになる。
【0084】
そこで、ブラウザ情報25−4の画面サイズ情報25−4−1に基づいて、同図(b) に示す現在表示中の画面サイズを同図(c) に示すように、登録時の画面サイズに変更する。そうすると、同図(b) では、左にずれていた入力欄31´とOKボタン32´の中心位置が、それぞれ同図(c) に示すように登録時の位置(x1 ,y1 )及び(x1 ,y2 )に変更されて、入力欄31及びOKボタン32となり、これで、登録時の位置情報25−2を用いて所定情報25−1の入力欄31への自動入力とOKボタン32の自動押下を行うことができる。
【0085】
尚、上記のサイズ変更に先立って、表示中のユーザ認証画面30´の画面サイズを一時的に記憶しておき、同図(c) に示すユーザ認証画面30への自動入力と自動押下を完了した後、一時記憶しておいた画面サイズにより同図(b) のように画面サイズを復元するようにすると、ユーザにとって違和感がなくなるのでユーザに対して親切なプログラム設計ということができる。
【0086】
尚、画面サイズに限らず、入力時のユーザ認証画面30´のフォントのサイズやフォントの種類が、図3(a) に示した登録時のフォントサイズ情報25−4−2やフォント種類情報25−4−3と異なる場合も、登録時のフォントサイズ及びフォントの種類で表示するように変更すると、入力時の表示のユーザ認証画面30´が登録時のユーザ認証画面30に変更されるので、この場合も自動入力と自動押下を容易に行うことができる。
【0087】
また、この場合も、表示中のユーザ認証画面30´のフォントサイズ及びフォントの種類を一時記憶しておき、ユーザ認証画面30への自動入力と自動押下を完了した後、一時記憶しておいたフォントサイズ及びフォントの種類を用いた画面表示に戻すようにするとよい。
【0088】
図9(a),(b),(c) は、入力時のユーザ認証画面の表示ブラウザが登録時の表示ブラウザと異なった場合の自動入力と自動押下の例を説明する図である。
同図(a) に示すように、登録時においては、ユーザ認証画面33はブラウザAによって表示されており、その入力欄34の中心位置は(x1 ,y1 )及びOKボタン32の中心位置は(x1 ,y2 )であった。
【0089】
しかし、入力時においてモニタ画面上に表示されたユーザ認証画面は、ブラウザBによって表示され、同図(b) に示すように、ユーザ認証画面33´となって表示されたものとする。ブラウザAとブラウザBでは表示方式の仕様が異なり、ブラウザBによる表示では、同図(a) の入力欄34及びOKボタン35が同図(b) に示す入力欄34´及びOKボタン35´のように、縦座標のy1 及びy2 に対して上方にずれている。
【0090】
このように入力時の入力欄とOKボタンの位置が登録時のときよりも上方にずれていると、入力欄およぴOKボタンの表示位置が異なるから、登録時に登録されている位置情報
25−2を用いたのでは自動入力および自動押下に失敗することになる。
【0091】
そこで、図3(b) に示したブラウザ種間およびバージョン間の差異情報26−1の中のブラウザ種間の差異情報に基づいて、同図(b) に示す現在表示中の、ユーザ認証画面33´の入力欄31´とOKボタン32´の中心位置のy座標を算出し、同図(c) に示すように、入力欄34´については位置(x1 ,y1')、OKボタン35´については位置(x1 ,y2')に補正する。そして、この正しく示された入力欄34´の位置に所定情報25−1を自動入力し、OKボタン35´の位置を自動押下する。
【0092】
尚、この場合は、位置を示す座標値の補正は、情報自動入力プログラムによる内部処理のみで行っており、モニタ画面上の目に見える表示上の変更は行っていないので、復元の処理等は必要がない。
【0093】
また、上記の例では、ブラウザの種類が異なる例で説明したが、同一ブラウザでバージョンが異なる場合も、Webページ内に表示されるボックス画像の位置が変化するので、その場合も、図3(b) に示したブラウザ種間およびバージョン間の差異情報26−1の中のバージョン間の差異情報に基づいて上記と同様に入力欄とOKボタンの座標値の補正を行って、自動入力を自動押下を行う。
【0094】
図10(a),(b),(c) は、ユーザ認証画面を表示するブラウザに固有のボタン類の表示(各種固有のボタン類を表示するツールバーの表示)が登録時と入力時で異なる(表示のあったものが無い)場合の自動入力と自動押下の例を説明する図である。
【0095】
同図(a) に示すように、登録時においては、ユーザ認証を行う画面36を表示したブラウザの表示画面には、その上方にツールバー39が表示されており、入力欄37の中心位置は座標(x1 ,y1 )及びOKボタン38の中心位置は座標(x1 ,y2 )であった。
【0096】
しかし入力時において表示された同図(b) に示すユーザ認証を行う画面36´は、登録時と同じブラウザによって表示されものではあるが、ユーザの選択によって、同図(a) では表示されていたツールバー39が表示されなくなっている。このため画面全体の表示が図の上方にずれ込み、同図(b) に示すように、入力欄37´の中心位置は座標(x1 ,y1 )よりも上方(y=0方向)にずれ、OKボタン38´の中心位置も座標(x1 ,y2 )よりも上方(y=0方向)にずbトいる。同図(a) に示すツールバー39の上下方向(y座標方向)の幅の値が「a」であるとすると、上記の入力欄37´及びOKボタン38´のずれ量もy=0方向にa、すなわち元の位置に対するずれ量は「−a」である。
【0097】
このように入力時の入力欄とOKボタンの位置が登録時のときよりもy=0側にずれていると、入力欄およぴOKボタンの位置が登録時と異なるから、登録時に登録されている位置情報25−2を用いたのでは自動入力および自動押下に失敗することになる。
【0098】
そこで、図3(b) に示したブラウザ固有の機能を示すボタン類及びブラウザに属する小ウインドウ表示の有無による差異情報26−2の中のブラウザ固有の機能を示すボタン類の表示の有無による差異情報に基づいて、同図(b) に示す現在表示中の画面36´の入力欄37´とOKボタン38´の中心位置の正しいy座標を算出し、同図(c) に示すように、入力欄37´については座標(x1 ,y1 −a)、OKボタン38´については座標(x1 ,y2 −a)に補正する。そして、この正しく示された入力欄37´の位置に所定情報25−1を自動入力し、OKボタン38´の位置を自動押下する。
【0099】
尚、この場合も、位置を示す座標値の補正は、情報自動入力プログラムによる内部処理のみで行っており、モニタ画面上の目に見える表示上の変更は行っていないので、復元の
処理等は必要がない。
【0100】
また、上記の例では、ブラウザ固有の機能を示すボタン類の表示の有無で説明したが、同一ブラウザでブラウザに属する小ウインドウ表示の有無が異なる場合も、画面内に表示される入力欄とOKボタンの位置が変化するので、その場合も、図3(b) に示したブラウザ固有の機能を示すボタン類及びブラウザに属する小ウインドウ表示の有無による差異情報26−2の中のブラウザに属する小ウインドウ表示の有無による差異情報に基づいて上記と同様に入力欄とOKボタンの座標値の補正を行って、自動入力を自動押下を行う。
【0101】
ところで、上記のようにしても位置の補正結果が正しく得られない場合があるかも知れない。例えば、ツールバー39の幅aが比較的大きかった場合(ボタンのアイコンを小、中、大のうちの大とし、全部のボタンを表示させて、ツールバーが二段表示されているような場合)には、このツールバーを消した画面の全体表示は、ツールバーが消えて空いた表示領域分だけ全体が平均してy=0方向にずれる。つまり、上述したように必ずしも全部の画面内表示がツールバーの幅a分だけy=0方向にずれるわけでない。
【0102】
したがって、補正後の位置に所定情報の自動入力や自動押下を行っても失敗する可能性が残されている。本例では、このような場合でも、自動入力や自動押下を成功裏に終了させる方法がある。
【0103】
この方法は、後述する第2の実施の形態にも、やや関連するので、データ構造等の図示は省略して簡単に説明する。この方法は、所定情報の自動入力を行ったとき及びOKボタンの自動押下を行っとき、その自動入力又は自動押下が成功したか失敗であるかを、入力又は押下に対するブラウザからの返し値を参照して、判別し、失敗である場合に行う処理である。以下、この場合の再自動入力と再自動押下について説明する。
【0104】
図11(a),(b) は、補正後の位置への自動入力や自動押下が失敗した場合でも再自動入力と再自動押下で成功する方法を説明する図である。
先ず、特には図示しないが、自動入力と自動押下に失敗した位置とは異なる位置を決定する適宜の規則を経験的に作成してこの規則を予め外部記憶装置5に格納しておく。そして、自動入力と自動押下に失敗したときは、上記の規則に従って次に自動入力と自動押下を行うべき位置として、失敗位置とは異なる位置を決定する。
【0105】
上記の規則としては、図11(a) に示すように、ブラウザの表示画面41の最初の失敗位置つまり外部記憶装置5に登録されている位置情報25−2により得られた位置座標(同図(a) の十字印)の近傍から行う。図11(a) に示す例では、十字印の中心から時計回り方向又は反時計回り方向に螺旋状に、前位置から後位置へと位置を変更(決定)しながら自動入力と自動押下を繰り返す。
【0106】
この場合、先ず入力欄42の周囲44を最初の再自動入力領域として、十字印を中心として螺旋状に前位置から後位置へと位置を変更して再自動入力を繰り返す。これで、ブラウザからの入力完了の返し値が得られない場合は、周囲44の更に周囲に再自動入力領域を拡大して再自動入力を、入力完了の返し値が得られるまで繰り返す。
【0107】
次に、OKボタン43の周囲45を最初の再自動押下領域として、十字印を中心として螺旋状に前位置から後位置へと位置を変更して再自動押下を繰り返す。そして、ブラウザからの押下完了の返し値が得られない場合は、周囲45の更に周囲に再自動押下領域を拡大して再自動押下を、押下完了の返し値が得られるまで繰り返す。
【0108】
また、一般に、図11(b) に示すように、入力欄47およびOKボタン48はブラウザ
の表示画面46の中央に存在することが多いので、上記の規則としては、最初の失敗位置からの再自動入力と再自動押下を中央から左右に広げていくように行うことが考えられる。
【0109】
すなわち、ブラウザの表示画面46において、最初の失敗位置(外部記憶装置5に登録されている位置情報25−2から得られる位置)のx座標を中心として、先ずその上下(y座標方向)全部の範囲49を指定し、更に自動入力と自動押下に失敗した場合は、次に矢印50a及び50bで示すように左右(x座標の中心からプラス・マイナス方向)へ順次範囲を広げて再自動入力と再自動押下を、成功の返し値が得られるまで繰り返していく方法である。いずれにしても、自動入力と自動押下が必ず成功裏に完了する。
【0110】
次に、上記のように入力欄およびOKボタンに関する位置情報を予め必要とせずに、所定情報の自動入力とOKボタンの自動押下を行う方法を、第2の実施の形態として説明する。
【0111】
この方法では、ユーザ認証画面上のある位置に対して、所定情報を自動入力し、その自動入力が成功したかどうかを判定する。失敗した場合には位置をずらして、再度自動入力を行う。そして自動入力に成功するまで、位置をずらして自動入力を繰り返すという処理を行う。OKボタンの自動押下についても同様である。
【0112】
図12は、図1に示すコンピュータ1の外部記憶装置5からメモリ3に読み出され、CPU2によって実行される情報自動入力プログラムによる処理の第2の実施の形態における処理機能モジュールのブロック図である。
【0113】
同図に示すように、処理機能モジュールは、入力部10、所定情報登録部11、識別情報登録部14、認証画面検出部15、入力情報照合部16、位置決定部51、入力/押下部22、判定部52、及び格納部23から成る。格納部23には、図1に示した記録装置5が連携している。
【0114】
図13(a) は、上記第2の実施の形態において、格納部23を介して外部記憶装置5に格納される、ユーザからの登録時の入力に対応して生成されるデータベースの構成を示す図であり、同図(b) は、その入力に対応するように予め格納されているデータベースの構成を示す図である。
【0115】
図13(a) に示すように、ユーザからの入力に対応して生成されるデータベース55は、所定情報55−1及び識別情報55−2である。この場合も所定情報55−1は、入力装置7のキーボードからユーザによりキー入力される情報である。そして、ユーザの個人情報の場合であれば、例えばID、パスワード、住所、電話番号、氏名等である。勿論、個人情報と限るものではなく、同一の情報入力画面が表示されたときに入力すべき情報であれば何でもよい。
【0116】
識別情報55−2は、所定情報登録時に上記情報入力画面が表示されたとき、この情報自動入力プログラムによって画面から自動的に取り入れられる情報であり、上記情報入力画面を特定する識別情報である。
【0117】
また、同図(b) に示すように、予め作成されて外部記憶装置5に格納されているデータベース56は、初期位置決定の規則56−1、及び位置変更の規則56−2で構成されている。
【0118】
上記の規則としては、初期値の決定規則では初期位置を表示画面の座標原点(通常は左
上隅)とし、位置変更の規則では変更位置を上記の座標原点から画素情報の主走査方向に端部まで順次位置を移動させ、これを副走査方向に下端まで順次繰り返す方法が先ず考えられる。これは時間が掛かるが確実な方法である。
【0119】
次には、一般に、入力欄およびOKボタンは表示画面の中央に配置されることが多いので、初期位置を表示画面の中央として、位置変更は、中央縦方向から順次左右にように決める方法が考えられる。
【0120】
また、ブラウザの表示画面などでは、入力欄およびOKボタンが画面左側に配置されることが多いので、初期位置を表示画面の左側とし、位置の変更ではその左側から順次右側へ位置を移動させるなどが考えられる。このような規則を用いることによって、効率的に正しい位置に自動入力および自動押下をコンピュータに実行させることができる。
【0121】
同図(a) に示す識別情報25−2並びに同図(b) に示す初期位置決定の規則56−1及び位置変更の規則56−2の各情報は、所定情報55−1と対応付けられて、外部記憶装置5に格納(登録)される。
【0122】
上記の図12において、入力部10は、ユーザによりキー入力される所定情報の入力を行う。所定情報登録部11は、入力部10にて入力された上記の所定情報を格納部23に引き渡す。格納部23は、その所定情報を所定情報入力画面ごとに対応付けて、図13(a) に示す所定情報55−1として外部記憶装置5に格納(登録)する。
【0123】
また、入力部10は、上記所定情報を入力された所定情報入力画面の識別情報の入力を行う。識別情報は表示中の画面から所定のコマンドによって自動的に取得される。識別情報登録部14は、入力部10にて入力された識別情報を格納部23に引き渡す。格納部23は、その識別情報を所定情報入力画面ごとに対応付けて、図13(a) に示す識別情報55−2として外部記憶装置5に格納する。
【0124】
認証画面検出部15は、出力装置4のモニタ画面を監視し、格納部23を介して得られる登録されている所定情報の対応する所定情報入力画面が表示されたことを検出すると、その検出したことを、入力情報照合部16に通知する。
【0125】
このとき、他方では、入力部10は、入力装置7に設けられている指紋検出装置によって取得される指紋データを入力情報照合部16に出力する。
入力情報照合部16は、入力部10から受け取った指紋データと格納部23を介して外部記憶装置5から読み出した登録指紋データとを比較して、入力部10から受け取った指紋データが外部記憶装置5から読み出した登録指紋データと一致するか否かを判別し、一致したときは、個人認証が有効であることを位置決定部51に通知する。
【0126】
位置決定部51は、格納部23を介して外部記憶装置5から読み出した図13(b) に示す初期位置決定の規則56−1に基づいて初期値を決定して、この決定した初期位置を入力/押下部22に通知する。
【0127】
入力/押下部22は、所定情報55−1を格納部23を介して取得し、所定情報入力画面上の上記位置決定部51から通知された位置こ対して、上記の所定情報55−1を自動入力する。もしくはOKボタンの自動押下を行う。
【0128】
判定部52は、所定情報入力画面を表示中のアプリケーションからの返し値を取得し、この返し値から上記の自動入力もしくは自動押下の結果が成功したか失敗であるかを判定する。失敗した場合には入力/押下部22に、異なる位置に再度入力するように通知する

【0129】
入力/押下部22は、位置決定部51に対し次の位置の決定を要求し、位置決定部51は、格納部23を介して外部記憶装置5から読み出した図13(b) に示す位置変更の規則56−2に基づいて次の位置を決定して、この決定した位置を入力/押下部22に通知する。
【0130】
入力/押下部22は、自動入力及び自動押下に成功するまで、判定部52からの失敗通知の受け取りと、位置決定部51への次位置の要求及びその次位置の取得を繰り返して、所定の結果が得られるまで上記の自動入力もしくは自動押下を実行する。
【0131】
図14は、上記第2の実施の形態における処理機能モジュールの基本処理における処理機能モジュール間の関係を示す図である。
図15は、上記第2の実施の形態における登録時の処理を示すフローチャートである。この第1の実施の形態における基本処理において、登録時においては、先ず、S100で、ユーザからの入力操作によって所定の情報が入力されるべき情報入力画面がモニタ画面に表示される。
【0132】
そして、まず、図15のS101で、本発明のプログラムで表示される画面の入力欄に、ユーザにより所定情報が入力される。この所定情報は、図14(図12も参照、以下同様)に示す入力部10により入力され、所定情報登録部11及び格納部23を介して図12に示す外部記録装置5に、図13(a) に示す所定情報55−1として格納される。
【0133】
続いて、図15のS102で、図14に示す入力部10により、上記情報入力画面の識別情報が取り込まれる。この識別情報も前述したユーザ認証画面の場合と同様に、ウインドウタイトル等の上記の情報入力画面を特定する識別情報である。この取り込まれた識別情報は、図13(a) に示す識別情報55−2として、識別情報登録部14及び格納部23を介して図12に示す外部記録装置5に格納される。この第2の実施の形態においては、上記までの処理で、登録処理が全て完了する。
【0134】
次に、この第2の実施の形態における入力時における基本動作は、図14において、認証画面検出部15は、表示中のモニタ画面を監視し、格納部23を介して外部記憶装置5から読み出した図13(a) に示す識別情報55−2に基づいて、自動入力すべき情報入力画面がモニタ画面として表示されたことを検出する。この検出情報は入力/押下部22に通知される。
【0135】
入力/押下部22は、所定情報入力画面上の格納部23を介して取得した所定情報55−1が示す位置に所定情報55−1を自動入力する。もしくはOKボタンの自動押下を行う。
【0136】
判定部52は、上記の自動入力もしくは自動押下の結果が成功したか失敗であるかを判定して、この判定結果を入力/押下部22に通知する。
図16は、上記の自動入力と自動押下について更に詳しく説明するフローチャートである。この処理では、判定部52の判定結果が失敗であった場合に、図12の位置決定部51、図13(b) の初期位置決定の規則56−1又は位置変更の規則56−2、及び図12の入力/押下部22等によって行われる処理を示している。
【0137】
図16において、先ず、S201では、コンピュータ1のモニタ画面に表示される画面を監視し、登録された所定情報55−1が入力されるべきユーザ認証画面が表示されたことを検出する。
【0138】
次に、S202では、ユーザに指紋情報の入力を要求する。この要求は表示画面上に例えばオーバーラップ表示される。ここでユーザは自己の指紋情報を指紋検出装置に入力する。
【0139】
S203では、上記入力された指紋情報を、外部記憶装置5に格納されている指紋情報と比較し、一致するか否かを判定する。そして一致した場合(S203が成功)のみS204の処理に進み、一致しない(S203が失敗)場合は直ちにこの処理を終了して、他の処理を行う。
【0140】
S204では、図13(b) に示す初期位置を決定する規則56−1に従い、所定情報を自動入力する初期位置を決定する。この初期位置を決定する規則56−1としては、前述したように、規則1としては初期位置を表示画面の座標原点とし変更位置を主走査方向から副走査方向に移動する場合、規則2としては初期位置を表示画面の中央として変更位置は中央縦方向から順次左右に移動する場合、そして、規則3としては初期位置を表示画面の左側とし変更位置を順次右側へ移動させる場合、の少なくとも3通りの規則がある。
【0141】
図17は、上記の規則1の規則にしたがって表示画面上の入力位置を変化させる状態を模式的に示す図である。同図に示すように、表示画面57上において入力の初期位置は矢印1で示す左上隅の座標である。上記のS204では、この矢印1で示す位置が決定される。
【0142】
S205では、格納部23を介して外部記憶装置5から図13(a) に示す所定情報55−1が取得される。
続いて、S206では、上記の位置に所定情報55−1が入力される。
【0143】
S208では、上記の入力結果が成功であるか失敗であるかが判別される。そして、失敗であると(S208が失敗)、S207で、位置変更がなされて、S206に戻る。失敗が繰り返されると、位置変更は、図17に示すように、左上隅の矢印1を初期位置とし、矢印2、矢印3、・・・、矢印nというように順次左から右へ移動され、右端に達したら下(副走査方向)に移動させ、再び左から右へ移動させ、これを繰り返す。尚、この規則1は予め外部記憶装置5に格納されている。
【0144】
この繰り返しにより、図17に示すように、やがて変更位置が入力欄59の左端に達し、入力欄59がアクティブになり、ここで矢印61で示すように所定情報55−1が入力される。したがって、S208の判別が「成功」となり、S209に進む。
【0145】
S209では、今度は図17に示すOKボタン60を自動押下する初期位置を決定する。この初期位置は、上記入力欄59への所定情報55−1の入力が成功した次の位置から開始することが好ましい。これは、一般にOKボタンの位置は図17のOKボタン60で示すように、入力欄の位置よりも表示画面57の中で下方に位置するからである。
【0146】
S210では、上記決定し位置に自動押下が行われる。
S212では、上記の押下結果が成功であるか失敗であるかが判別される。そして、失敗であると(S212が失敗)、S211で、位置変更がなされS210に戻る。失敗が繰り返されると、以下、S208、S207、S206、S208の処理と同様の処理を、S212、S211、S210の間で繰り返して、やがて変更位置が図17のOKボタン60の位置に達して、押下が成功し(S212が成功)、この自動入力と自動押下の処理を成功裏に終了することができる。
【0147】
図18(a) は、規則2の規則にしたがって表示画面上の入力位置を変化させる状態を模式的に示す図であり、同図(b) は、規則3の規則にしたがって表示画面上の入力位置を変化させる状態を模式的に示す図である。
【0148】
同図(a) では、最初に初期位置63を、表示画面62の中央として、先ず中央縦方向に変更位置を移動させ、入力(又は押下)が失敗の場合は、更にその中央縦方向から矢印で示すように順次左右に移動させるように位置を決めていく。同図(a) に示すように、入力欄61とOKボタン62が表示画面62の中央にある場合には、自動入力と自動押下の処理が迅速に終了する。
【0149】
また同図(b) の場合は、初期位置67を表示画面64の左端として、先ずこの左端を縦方向に変更位置を移動させ、入力(又は押下)が失敗の場合は、更にその左端から矢印で示すように順次右に移動させるように位置を決めていく。同図(b) に示す入力欄65とOKボタン66が同図(b) に示す位置よりも表示画面64の左方側に寄って表示されて場合には、自動入力と自動押下の処理が迅速に終了する。
【0150】
上記の3例は、所定情報の入力とOKボタンの押下の2回の処理を説明しているが、所定情報をIDとパスワードとして、この2つの情報を2つの入力欄にそれぞれ自動入力する場合にも適用できる。
【0151】
また、同様に所定情報をIDとパスワードとして、一つの入力欄にIDとパスワードのいずれか一方または両方を入力する場合にも適用できる。
また、上記第1または大2の実施の形態で、図3(a) に示す識別情報25−3又は図13(a) に示す識別情報55−1を取得することに関連して、ユーザ認証画面を作成する場合、特には図示していないが、ウインドウタイトル等のファイル情報に付加情報を追加するようにしてもよい。
【0152】
この付加情報としては、ユーザ認証画面を唯一に特定する文字列情報が考えられる。すなわち、HTMLで記述されたファイルの場合、ブラウザの表示画面には表示されないコメントタグ(<!・・、・・!>)を用い、文字列情報(例えば本発明の方式+アプリケーション名など)を記述してもよい。
【0153】
そして、ファイル情報を登録する際に、本発明の方式が記述されたコメントの内容(図3に示す例では、アプリケーションの名称25−4−4)のみ登録する。ユーザ認証画面を検出する際には、まず付加情報の有無で判断し、付加情報が有る場合には、コメントの内容から、外部記憶装置5に登録されている内容かを判断する。
【0154】
このように、本発明の方法に従った付加情報を予め追加することで、他のファイル情報と確実に区別できる。さらにファイル情報全体を登録する場合より、必要とするファイル容量が少なく、ファイル情報の一部の比較ですむため比較時間が短縮される。
【0155】
このように、上記いずれの実施の形態においても、汎用アプリケーション固有の入力情報保存方法や、コントロールID、タグ情報等に依存することなく、且つ所定情報の入力欄を表示しているアプリケーションに変更を加えることなく(本発明の表示画面の変更や位置の検出では、アプリケーションによって表示されている表示態様の画面に対してであって、アプリケーションそのものには変更を加えるものではない)、所定情報の入力欄の位置を特定して所定情報の自動入力とOKボタンの自動押下を行うことができる。
【0156】
尚、上記の実施形態の説明では、いずれもブラウザによって表示されるユーザ認証画面について説明しているが、これに限ることなく、メールソフトなどのアプリケーションで
表示される所定情報入力画面、また、ブラウザによって表示される画面の場合であってもブラウザからは別画面として起動されるダイアログボックスの入力欄への所定情報の自動入力にも適用できる。
【0157】
また、画面表示のアプリケーションをブラウザとした場合、本発明は、ブラウザ上の表示額域に埋め込まれている入力欄に対して所定の情報を入力することができ、ユーザ認証画面に限定するものではない。
【0158】
本発明の入力欄への所定情報の入力は、上記のメールソフトの他にも、例えばWindows(登録商標)へのログイン、スクリーンセーバーのロック解除、ネットワーク接続時のパスワード入力、ダイアルアップ時の認証、MS OFFICE(登録商標)ファイルのパスワードロック、会員専用のホームページへのアクセスなど、用途はきわめて広いものである。
【0159】
また、上記の実施形態では、例として入力欄1個と0Kボタン1個で説明してきたが、もちろん入力欄やOKボタンは複数存在しても良い。その場合も第1の実施形態では予め複数の入力欄とOKボタンの位置を取得して所定情報と共に登録するようにする。そして、入力時には、所定情報を自動入力する処理を所定情報数分繰り返すとよい。OKボタンの場合も同様である。
(付記1)アプリケーションによりモニタ画面上に表示される入力画面における所定情報を入力するための入力画面の入力欄に対して前記所定情報を自動入力させる処理をコンピュータに実行させる情報自動入力プログラムであって、
登録時において、
前記所定情報を登録する情報登録処理と、
前記モニタ画面上に表示される前記入力画面の前記入力欄の位置情報を登録する入力位置登録処理と、
を実行させ、
入力時において、
前記入力位置登録処理により登録された前記位置情報に基づいて前記モニタ画面上に表示される前記入力画面の前記入力欄の位置を検出する入力位置検出処理と、
該入力位置検出処理により検出された前記入力欄に、前記情報登録処理により登録された前記所定情報を自動入力する情報入力処理と、
を前記コンピュータに実行させる
ことを特徴とする情報自動入力プログラム。
(付記2)前記コンピュータに、
前記登録時において、
前記モニタ画面上の前記入力欄に対応して表示されるボタンの位置情報を登録するボタン位置登録処理を
更に実行させ、
前記入力時において、
前記ボタン位置登録処理により登録された前記位置情報に基づいて前記ボタンの位置を特定するボタン位置特定処理と、
該ボタン位置特定処理により特定された前記位置にある前記ボタンを自動押下する押下処理と、
を更に実行させる
ことを特徴とする付記1記載の情報自動入力プログラム。
(付記3)前記コンピュータに、
前記登録時において、
前記入力欄を表示する前記アプリケーションを特定する識別情報を前記アプリケーションから取得する識別情報取得処理と、
該識別情報取得処理により取得された前記識別情報を登録する識別情報登録処理と、
を更に実行させ、
前記入力時において、
前記モニタ画面上に表示される画面を監視して、前記識別情報登録処理により登録されている前記識別情報を有するアプリケーションによる画面表示が行われたことを検出する表示検出処理を、
更に実行させる
ことを特徴とする付記1又は2記載の情報自動入力プログラム。
(付記4)前記コンピュータに、
前記入力位置登録処理では、ポインティングデバイスにより入力位置指定された位置を前記入力欄の位置として登録処理を実行させ、
前記ボタン位置登録処理では、ポインティングデバイスにより押下された位置を前記ボタンの位置として登録処理を実行させる、
ことを特徴とする付記1又は2記載の情報自動入力プログラム。
(付記5)前記コンピュータに、
前記登録時において、
モニタ画面上に表示される画面のサイズ情報を登録するサイズ登録処理を
更に実行させ、
前記入力時において、前記モニタ画面上に表示中の画面のサイズが該画面のサイズ登録時のサイズと異なる場合に、
前記表示中の画面のサイズを、前記サイズ登録処理により登録されている画面のサイズ情報に基づいてサイズ登録時のサイズに自動変更する画面サイズ変更処理を
更に実行させる
ことを特徴とする付記1又は2記載の情報自動入力プログラム。
(付記6)前記コンピュータに、
前記所定情報の自動入力または前記ボタンの自動押下後に、前記サイズ変更処理によりサイズ変更した画面のサイズを表示中当初の画面サイズに復元する画面サイズ復元処理を
更に実行させることを特徴とする付記5記載の情報自動入力プログラム。
(付記7)前記コンピュータに、
前記登録時において、
前記モニタ画面上の表示画面に使用されている文字フォントのサイズ情報及び種類情報を登録するフォント情報登録処理を、
更に実行させ、
前記入力時において、前記モニタ画面上に表示中の画面に使用されているフォントのサイズ又は種類が前記登録時におけるフォントのサイズ又は種類と異なる場合に、
表示中の前記画面に使用されているフォントのサイズ又は種類を前記登録されているフォントのサイズ又は種類に自動変更するフォント変更処理を
更に実行させる、
ことを特徴とする付記1又は2記載の情報自動入力プログラム。
(付記8)前記コンピュータに、
前記所定情報の自動入力または前記ボタンの自動押下後に、前記フォント変更処理により変更した画面のフォントのサイズ又は種類を、表示中当初の画面のフォントのサイズ又は種類に復元するフォント復元処理を
更に実行させる、
ことを特徴とする付記7記載の情報自動入力プログラム。
(付記9)前記コンピュータに、
前記登録時において、
前記モニタ画面上に表示される前記入力欄又は前記ボタンの位置について、該入力欄又は該ボタンを画面表示しているアプリケーションの種類又はバージョンの情報を取得するアプリケーション情報取得処理と、
該アプリケーション情報取得処理により取得された前記アプリケーションの種類間又はバージョンの情報を、前記入力欄又は前記ボタンの位置情報と対応付けて登録するアプリケーション情報登録処理と、
を更に実行させ、
前記入力時において、
前記モニタ画面上に前記入力欄又は前記ボタンを表示しているアプリケーションの種類又はバージョンが、前記登録時において前記モニタ画面上に前記入力欄又は前記ボタンを表示したアプリケーションの種類又はバージョンと異なる場合に、それらアプリケーションの種類間又はバージョン間における画面表示上の差異について予め登録されている差異情報に基づいて、前記異なる種類又はバージョンのアプリケーションで前記モニタ画面上に表示されている前記入力欄又は前記ボタンの位置を算出する位置算出処理を
更に実行させる
ことを特徴とする付記1又は2記載の情報自動入力プログラム。
(付記10)前記プログラムに、
前記登録時において、
前記モニタ画面上に表示された前記入力欄又は前記ボタンの位置について、アプリケーション固有の機能を示すボタン又はアプリケーションに属する小ウインドウの表示が有るか否かの他表示の有無を登録する他表示有無登録処理と、
前記モニタ画面上の前記入力欄又は前記ボタンの位置について前記他表示の有無に対応する差異情報を登録する他表示差異情報登録処理と、
更に実行させ、
前記入力時において、
前記モニタ画面上に前記入力欄又は前記ボタンを表示中のアプリケーションにおける前記他表示の有無が、前記登緑時において登録されている他表示の有無と異なる場合に、前記他表示差異情報登録処理において登録されている前記差異情報に基づいて、前記アプリケーションにて表示中の前記入力欄又は前記ボタンの表示位置を算出する位置算出処理を、
実行させる
ことを特徴とする付記1又は2記載の情報自動入力プログラム。
(付記11)前記コンピュータに、
前記入力時において、前記入力欄への前記所定情報の自動入力又は前記ボタンの自動押下が成功したか失敗したかを検出する入力成否検出処理と、
該入力成否検出処理により失敗が検出された場合に、前記モニタ画面上に所定の探索領域を設定する探索領域設定処理と、
該探索領域設定処理により設定された探索領域において位置を移動して前記所定情報の自動入力又は前記ボタンの自動押下を行う試行処理と、
該試行処理による前記所定情報の自動入力又は前記ボタンの自動押下に失敗した場合に、前記探索領域における位置の移動と前記所定情報の自動入力又は前記ボタンの自動押下とを所定の結果が得られるまで試みるよう制御する試行回数制御処理と、
を更に実行させる
ことを特徴とする付記1又は2記載の情報自動入力プログラム。
(付記12)前記コンピュータに、
前記入力時において、
前記探索領域の異なる位置を指定する所定の規則を予め登録する規則登録処理と、
前記探索領域設定処理において設定された前記探索領域の前記試行回数制御処理の下で前記試行処理による前記入力欄への所定情報の自動入力又は前記ボタンの自動押下に失敗した場合に、前記規則登録処理により登録されている前記規則に従って指定される位置を基準として、該基準位置から位置を移動しながら前記試行回数制御処理の下に前記試行処理を繰り返す繰返し処理と、
を更に実行させる
ことを特徴とする付記9記載の情報自動入力プログラム。
(付記13)アプリケーションによりモニタ画面上に表示される情報入力欄の情報自動入力させる処理をコンピュータに実行させる情報自動入力プログラムであって、
前記モニタ画面上に表示された画面上の所定の探索領域において前記情報自動入力する初期位置を決定する初期位置決定処理と、
該初期位置決定処理にて決定された初期位置を基準として所定の規則で異なる位置に次の自動入力位置を順次移動させる次位置決定処理と、
前記初期位置決定処理又は前記次位置決定処理にて決定された位置に前記情報自動入力を行う入力処理と、
該入力処理による情報自動入力により前記情報入力欄への情報入力が成功したか失敗したかを検出する入力成否検出処理と、
前記初期位置決定処理により決定された位置に対して前記入力処理により行われた前記情報自動入力に対し前記入力成否検出処理により失敗が検出されたとき、
前記次位置決定処理は次の位置を決定し、該位置に前記入力処理は前記情報自動入力を行い、該情報自動入力に対し前記入力成否検出処理は入力の成否を検出し、該検出で失敗が検出されたとき、前記次位置決定処理は再び次の位置を決定し、該位置に前記入力処理は前記情報自動入力を行い、該情報自動入力に対し前記入力成否検出処理は入力の成否を検出するということを、入力の所定の結果が得られるまで繰り返すよう前記各処理を制御する制御処理と、
を前記コンピュータに実行させることを特徴とする情報自動入力プログラム。
(付記14)アプリケーションによりモニタ画面上に表示される押下ボタンを自動押下させる処理をコンピュータに実行させる情報自動入力プログラムであって、
前記モニタ画面上に表示された画面上の所定の探索領域において前記自動押下する初期位置を決定する初期位置決定処理と、
該初期位置決定処理にて決定された初期位置を基準として所定の規則で異なる位置に次の自動押下位置を順次移動させる次位置決定処理と、
前記初期位置決定処理又は前記次位置決定処理にて決定された位置に前記自動押下を行う押下処理と、
該押下処理による自動押下により前記押下ボタンへの押下が成功したか失敗したかを検出する押下成否検出処理と、
前記初期位置決定処理により決定された位置に対して前記押下処理により行われた前記自動押下に対し前記押下成否検出処理により失敗が検出されたとき、
前記次位置決定処理は次の位置を決定し、該位置に前記押下処理は前記自動押下を行い、該自動押下に対し前記押下成否検出処理は押下の成否を検出し、該検出で失敗が検出されたとき、前記次位置決定処理は再び次の位置を決定し、該位置に前記押下処理は前記自動押下を行い、該自動押下に対し前記押下成否検出処理は押下の成否を検出するということを、押下の所定の結果が得られるまで繰り返すよう前記各処理を制御する制御処理と、
を前記コンピュータに実行させることを特徴とする情報自動入力プログラム。
(付記15)前記情報自動入力を行う場合は、前記情報を予め登録する入力情報登録処理と、該予め登録された前記情報を前記情報自動入力時に入力する情報入力処理とを、前記コンピュータに実行させることを特徴とする付記13記載の情報自動入力プログラム。
(付記16)前記コンピュータに、
予め登録された前記所定情報を入力する前記入力欄を表示する前記アプリケーションを特定する識別情報を前記アプリケーションから予め取得して該所得した前記識別情報を予め登録する識別情報登録処理と、
前記モニタ画面上に表示される画面を監視して、前記識別情報登録処理により登録されている前記識別情報を有するアプリケーションによる画面表示が行われたことを検出する表示検出処理と、
を更に実行させる
ことを特徴とする付記13又は14記載の情報自動入力プログラム。
(付記17)前記コンピュータに、
前記初期入力位置決定処理において前記初期入力位置を決定する第1の規則又は前記初期押下位置決定処理において前記初期押下位置を決定する第2の規則を登録する初期位置決定規則登録処理を、
更に実行させ、
前記初期入力位置決定処理では前記初期位置決定規則登録処理により登録されている第1の規則に従って前記初期入力位置を決定し、又は前記初期押下位置決定処理では前記初期位置決定規則登録処理により登録されている第2の規則に従って前記初期押下位置を決定するように処理を実行させることを特徴とする付記13又は14記載の情報自動入力プログラム。
(付記18)前記コンピュータに、
前記次入力位置決定処理において前記次入力位置を決定する第3の規則又は前記次押下位置決定処理において前記次押下位置を決定する第4の規則を登録する次位置決定規則登録処理を、
更に実行させ、
前記次入力位置決定処理では前記次位置決定規則登録処理により登録されている第3の規則に従って前記次入力位置を決定し、又は前記次押下位置決定処理では前記次位置決定規則登録処理により登録されている第4の規則に従って前記次押下位置を決定するように処理を実行させることを特徴とする付記13又は14記載の情報自動入力プログラム。
(付記19)前記コンピュータに、
前記入力欄を表示する前記モニタ画面上の表示画面を特定する識別情報として前記表示画面を作成するマークアップ言語のファイル情報を予め登録するファイル情報登録処理と、
前記入力時において、
前記モニタ画面上に表示される表示画面のファイル情報を取得するファイル情報取得処理と、
該ファイル情報取得処理により取得されたファイル情報を前記ファイル情報登録処理により登録されているファイル情報と比較する比較処理と、
該比較処理により両ファイル情報が一致したとき、表示中画面に対し前期所定情報の自動入力または前記ボタンの自動押下を実行するよう制御する実行制御処理と、
を実行させることを特徴とする付記1、2、13又は14記載の情報自動入力プログラム。
(付記20)前記コンピュータに、
前記モニタ画面上に前記入力欄又は前記ボタンを表示する画面のマークアップ言語により記述されたファイルの所定の記述箇所に予め所定の付加情報を追加する付加情報追加処理と、
前記入力時において、
前記モニタ画面上に表示される表示画面のマークアップ言語の所定の記述箇所に所定の付加情報が追加して記述されているか否かを判別する判別処理と、
該判別処理で所定の付加情報が判別されたとき前記表示画面に対し前期所定情報の自動入力または前記ボタンの自動押下を実行するよう制御する実行制御処理と、
を実行させることを特徴とする付記1、2、13又は14記載の情報自動入力プログラム。
(付記21)前記コンピュータに、
前記所定情報として、ID又はパスワードのいずれか一方もしくは両方を前記入力欄に自動入力する処理を実行させることを特徴とする付記1又は13記載の情報自動入力プログラム。
(付記22)前記コンピュータに、
前記モニタ画面上において所定の表示領域の上端を前記所定情報の自動入力の初期位置とする初期位置決定処理と、
該初期位置決定処理により決定された初期位置を基準として次の入力位置を順位下方に移動させる次位置決定処理と、
前記初期位置決定処理又は前記次位置決定処理により決定された2つの位置にIDとパスワードを順次自動入力する入力処理と、
該入力処理による自動入力により前記入力欄への前記ID又はパスワードの入力が成功したか失敗したかを検出する入力成否検出処理と、
前記初期位置決定処理により決定された位置に対して前記入力処理により行われた前記自動入力に対し前記入力成否検出処理により失敗が検出されたとき、
前記次位置決定処理は次の位置を決定し、該位置に前記入力処理は前記自動入力を行い、該自動入力に対し前記入力成否検出処理は入力成否を検出し、該検出で失敗が検出されたとき、前記次位置決定処理は再び次の位置を決定し、該位置に前記入力処理は前記自動入力を行い、該自動入力に対し前記入力成否検出処理は入力成否を検出するということを所定の結果が得られるまで繰り返すよう前記各処理を制御する制御処理と、
を実行させることを特徴とする付記13記載の情報自動入力プログラム。
(付記23)前記モニタ画面上の表示画面は、電子商取引に係わるWebページの表示画面であり、前記所定情報は、前記電子商取引の商品の購入に必要な情報である、ことを特徴とする付記1又は13記載の情報自動入力プログラム。
(付記24)前記入力欄は、Webページの情報入力欄、メールソフトの情報入力欄、もしくはブラウザから別画面として起動されるダイアログボックス、又はこれらに類似の情報入力欄である、ことを特徴とする請求項1、2、13又は14記載の情報自動入力プログラム。
(付記25)前記入力欄を前記モニタ画面上に表示する前記アプリケーションに対し、何らの変更も加えないことを特徴とする請求項1又は13記載の情報自動入力プログラム。(付記26)アプリケーションによりモニタ画面上に入力欄と該入力欄に対応するボタンを表示する表示画面上において前記入力欄に対し所定情報を自動入力し前記ボタンを自動押下する情報自動入力方法であって、
登録時において、
前記所定情報を登録する情報登録工程と、
前記モニタ画面上に表示される前記表示画面の前記入力欄の位置情報を登録する入力位置登録工程と、
前記モニタ画面上に表示される前記表示画面の前記ボタンの位置情報を登録するボタン位置登録工程と、
前記入力欄及び前記ボタンを表示する前記アプリケーションを特定する識別情報を前記アプリケーションから取得する識別情報取得工程と、
該識別情報取得工程により取得された前記識別情報を登録する識別情報登録工程と、
入力時において
前記モニタ画面上に表示される画面を監視して、前記識別情報登録工程により登録されている前記識別情報を有するアプリケーションによる画面表示が行われたことを検出する表示検出工程と、
前記入力位置登録工程により登録された前記位置情報に基づいて前記モニタ画面上の前記入力欄の位置を検出する入力位置検出工程と、
該入力位置検出工程により検出された前記入力欄に、前記情報登録工程により登録された前記所定情報を自動入力する情報入力工程と、
前記ボタン位置登録工程により登録された前記位置情報に基づいて前記モニタ画面上の前記ボタンの位置を特定するボタン位置特定工程と、
該ボタン位置特定工程により特定された前記位置にある前記ボタンを自動押下する押下工程と、
を含むことを特徴とする情報自動入力方法。
(付記27)アプリケーションによりモニタ画面上に入力欄と該入力欄に対応するボタンを表示する表示画面上において前記入力欄に対し所定情報を自動入力し前記ボタンを自動
押下する情報自動入力方法であって、
前記所定情報を予め登録する入力情報登録工程と
前記入力欄と前記ボタンを表示する前記アプリケーションを特定する識別情報を前記アプリケーションから予め取得して該所得した前記識別情報を予め登録する識別情報登録工程と、
前記モニタ画面上に表示される画面を監視して、前記識別情報登録工程により登録されている前記識別情報を有するアプリケーションによる画面表示が行われたことを検出する表示検出工程と、
前記モニタ画面上に表示される前記入力画面において所定の位置を前記所定情報の自動入力の初期位置とする初期位置決定工程と、
該初期位置決定工程により決定された初期位置を基準として次の入力位置を所定の規則に従って順位移動させる次位置決定工程と、
前記初期位置決定工程又は前記次位置決定工程により決定された2つの位置に前記所定情報の自動入力と前記ボタンの自動押下とを順次行う入力押下工程と、
該入力押下工程による自動入力又は自動押下が成功したか失敗したかを検出する入力押下成否検出工程と、
前記初期位置決定工程により決定された位置に対して前記入力押下工程により行われた前記自動入力又は押下に対し前記入力押下成否検出工程により失敗が検出されたとき、
前記次位置決定工程は次の位置を決定し、該位置に前記入力押下工程は前記自動入力又は押下を行い、該自動入力又は押下に対し前記入力押下成否検出工程は入力または押下の成否を検出し、該検出で失敗が検出されたとき、前記次位置決定工程は再び次の位置を決定し、該位置に前記入力押下工程は前記自動入力又は押下を行い、該自動入力又は押下に対し前記入力押下成否検出工程は入力又は押下の成否を検出するということを繰り返す工程と、
を含むことを特徴とする情報自動入力方法。
(付記28)アプリケーションによりモニタ画面上に入力欄と該入力欄に対応するボタンを表示する表示画面上において前記入力欄に対し所定情報を自動入力し前記ボタンを自動押下する情報自動入力装置であって、
登録時において、
前記所定情報を登録する情報登録手段と、
前記モニタ画面上の前記入力欄の位置情報を登録する入力位置登録手段と、
前記モニタ画面上の前記ボタンの位置情報を登録するボタン位置登録手段と、
前記入力欄及び前記ボタンを表示する前記アプリケーションを特定する識別情報を前記アプリケーションから取得する識別情報取得手段と、
該識別情報取得手段により取得された前記識別情報を登録する識別情報登録手段と、
入力時において
前記モニタ画面上に表示される画面を監視して、前記識別情報登録手段により登録されている前記識別情報を有するアプリケーションによる画面表示が行われたことを検出する表示検出手段と、
前記入力位置登録手段により登録された前記位置情報に基づいて前記モニタ画面上の前記入力欄の位置を検出する入力位置検出手段と、
該入力位置検出手段により検出された前記入力欄に、前記情報登録手段により登録された前記所定情報を自動入力する情報入力手段と、
前記ボタン位置登録手段により登録された前記位置情報に基づいて前記モニタ画面上の前記ボタンの位置を特定するボタン位置特定手段と、
該ボタン位置特定手段により特定された前記位置にある前記ボタンを自動押下する押下手段と、
を備えたことを特徴とする情報自動入力装置。
(付記29)アプリケーションによりモニタ画面上に入力欄と該入力欄に対応するボタンを表示する表示画面上において前記入力欄に対し所定情報を自動入力し前記ボタンを自動
押下する情報自動入力装置であって、
前記所定情報を予め登録する入力情報登録手段と
前記入力欄と前記ボタンを表示する前記アプリケーションを特定する識別情報を前記アプリケーションから予め取得して該所得した前記識別情報を予め登録する識別情報登録手段と、
前記モニタ画面上に表示される画面を監視して、前記識別情報登録手段により登録されている前記識別情報を有するアプリケーションによる画面表示が行われたことを検出する表示検出手段と、
前記モニタ画面上において所定の位置を前記所定情報の自動入力の初期位置とする初期位置決定手段と、
該初期位置決定手段により決定された初期位置を基準として次の入力位置を所定の規則に従って順位移動させる次位置決定手段と、
前記初期位置決定手段又は前記次位置決定手段により決定された2つの位置に前記所定情報の自動入力と前記ボタンの自動押下とを順次行う入力押下手段と、
該入力押下手段による自動入力又は自動押下が成功したか失敗したかを検出する入力押下成否検出手段と、
前記初期位置決定手段により決定された位置に対して前記入力押下手段により行われた前記自動入力又は押下に対し前記入力押下成否検出手段により失敗が検出されたとき、
前記次位置決定手段は次の位置を決定し、該位置に前記入力押下手段は前記自動入力又は押下を行い、該自動入力又は押下に対し前記入力押下成否検出手段は入力または押下の成否を検出し、該検出で失敗が検出されたとき、前記次位置決定手段は再び次の位置を決定し、該位置に前記入力押下手段は前記自動入力又は押下を行い、該自動入力又は押下に対し前記入力押下成否検出手段は入力又は押下の成否を検出するということを繰り返す手段と、
を備えたことを特徴とする情報自動入力装置。
【図面の簡単な説明】
【0160】
【図1】本発明の情報自動入力プログラムによる処理を実行するコンピュータのハードウエア構成を示すブロック図である。
【図2】コンピュータのCPUによって実行される情報自動入力プログラムによる処理の第1の実施の形態における処理機能モジュールのブロック図である。
【図3】(a) は第1の実施の形態において登録時に外部記憶装置に格納されるデータベースの構成を示す図、(b) は予め外部記憶装置に格納されているデータベースの構成を示す図である。
【図4】第1の実施の形態の処理機能モジュールの基本処理における処理機能モジュール間の関係を示す図である。
【図5】(a) は基本処理において表示装置の画面上に表示される登録時の認証画面を模式的に示す図、(b) は入力時の認証画面を模式的に示す図である。
【図6】第1の実施の形態における登録時の処理を示すフローチャートである。
【図7】図4及び図5(b) に示す場合とやや異なる入力時の処理を示すフローチャートである。
【図8】(a),(b),(c) は入力時のユーザ認証画面のサイズが登録時のサイズと異なった場合の自動入力と自動押下の例を説明する図である。
【図9】(a),(b),(c) は入力時のユーザ認証画面の表示ブラウザが登録時の表示ブラウザと異なった場合の自動入力と自動押下の例を説明する図である。
【図10】(a),(b),(c) はユーザ認証画面を表示するブラウザに固有のボタン類の表示が登録時と入力時で異なる場合の自動入力と自動押下の例を説明する図である。
【図11】(a),(b) は補正後の位置への自動入力や自動押下が失敗した場合でも再自動入力と再自動押下で成功する方法を説明する図である。
【図12】コンピュータのCPUによって実行される情報自動入力プログラムによる処理の第2の実施の形態における処理機能モジュールのブロック図である。
【図13】(a) は第2の実施の形態において登録時に外部記憶装置に格納されるデータベースの構成を示す図、(b) は予め外部記憶装置に格納されているデータベースの構成を示す図である。
【図14】第2の実施の形態における処理機能モジュールの基本処理における処理機能モジュール間の関係を示す図である。
【図15】第2の実施の形態における登録時の処理を示すフローチャートである。
【図16】第2の実施の形態における入力時の自動入力と自動押下について更に詳しく説明するフローチャートである。
【図17】規則1の規則にしたがって表示画面上の入力位置を変化させる状態を模式的に示す図である。
【図18】(a) は規則2の規則にしたがって表示画面上の入力位置を変化させる状態を模式的に示す図、(b) は規則3の規則にしたがって表示画面上の入力位置を変化させる状態を模式的に示す図である。
【符号の説明】
【0161】
1 コンピュータ
2 CPU(中央処理装置)
3 メモリ
4 出力装置
5 外部記憶装置
6 ネットワーク接続装置
7 入力装置
8 バス
10 入力部
11 所定情報登録部
12 位置情報登録部
13 アプリケーション情報登録部
14 識別情報登録部
15 認証画面検出部
16 入力情報照合部
17 アプリケーション情報取得部
18 アプリケーション比較部
19 アプリケーション変更部
21 位置情報算出部
22 入力/押下部
23 格納部
25 登録時に生成されるデータベース
25−1 所定情報
25−2 位置情報
25−3 識別情報
25−4 ブラウザ情報
25−4−1 画面サイズ情報
25−4−2 フォントサイズ情報
25−4−3 フォント種類情報
25−4−4 名称
25−4−5 バージョン情報
25−4−6 ブラウザ固有の機能を示すボタン類の有無情報
25−4−7 ブラウザに属する小ウインドウ表示の有無情報
26 予め作成されるデータベース
26−1 ブラウザ種間およびバージョン間の差異情報
26−2 ブラウザ固有ボタン類及び小ウインドウ表示有無の差異情報
27 ユーザ認証画面
28 入力欄
29 OKボタン
30、30´ ユーザ認証画面
31、31´ 入力欄
32、32´ OKボタン
33、33´ ユーザ認証画面
34、34´ 入力欄
35、35´ OKボタン
36、36´ ユーザ認証画面
37、37´ 入力欄
38、38´ OKボタン
41 ブラウザの表示画面
42 入力欄
43 OKボタン
44 入力欄の周囲
45 OKボタンの周囲
46 ブラウザの表示画面
47 入力欄
48 OKボタン
49 最初の上下範囲
51 位置決定部
52 判定部
55 登録時に生成されるデータベース
55−1 所定情報
55−2 識別情報
56 予め作成されるデータベース
56−1 初期位置決定規則
56−2 位置変更規則

【特許請求の範囲】
【請求項1】
アプリケーションによりモニタ画面上に表示される情報入力欄の情報自動入力させる処理をコンピュータに実行させる情報自動入力プログラムであって、
前記モニタ画面上に表示された画面上の所定の探索領域において前記情報自動入力する初期位置を決定する初期位置決定処理と、
該初期位置決定処理にて決定された初期位置を基準として所定の規則で異なる位置に次の自動入力位置を順次移動させる次位置決定処理と、
前記初期位置決定処理又は前記次位置決定処理にて決定された位置に前記情報自動入力を行う入力処理と、
該入力処理による情報自動入力により前記情報入力欄への情報入力が成功したか失敗したかを検出する入力成否検出処理と、
前記初期位置決定処理により決定された位置に対して前記入力処理により行われた前記情報自動入力に対し前記入力成否検出処理により失敗が検出されたとき、
前記次位置決定処理は次の位置を決定し、該位置に前記入力処理は前記情報自動入力を行い、該情報自動入力に対し前記入力成否検出処理は入力の成否を検出し、該検出で失敗が検出されたとき、前記次位置決定処理は再び次の位置を決定し、該位置に前記入力処理は前記情報自動入力を行い、該情報自動入力に対し前記入力成否検出処理は入力の成否を検出するということを、入力の所定の結果が得られるまで繰り返すよう前記各処理を制御する制御処理と、
を前記コンピュータに実行させることを特徴とする情報自動入力プログラム。
【請求項2】
アプリケーションによりモニタ画面上に表示される押下ボタンを自動押下させる処理をコンピュータに実行させる情報自動入力プログラムであって、
前記モニタ画面上に表示された画面上の所定の探索領域において前記自動押下する初期位置を決定する初期位置決定処理と、
該初期位置決定処理にて決定された初期位置を基準として所定の規則で異なる位置に次の自動押下位置を順次移動させる次位置決定処理と、
前記初期位置決定処理又は前記次位置決定処理にて決定された位置に前記自動押下を行う押下処理と、
該押下処理による自動押下により前記押下ボタンへの押下が成功したか失敗したかを検出する押下成否検出処理と、
前記初期位置決定処理により決定された位置に対して前記押下処理により行われた前記自動押下に対し前記押下成否検出処理により失敗が検出されたとき、
前記次位置決定処理は次の位置を決定し、該位置に前記押下処理は前記自動押下を行い、該自動押下に対し前記押下成否検出処理は押下の成否を検出し、該検出で失敗が検出されたとき、前記次位置決定処理は再び次の位置を決定し、該位置に前記押下処理は前記自動押下を行い、該自動押下に対し前記押下成否検出処理は押下の成否を検出するということを、押下の所定の結果が得られるまで繰り返すよう前記各処理を制御する制御処理と、
を前記コンピュータに実行させることを特徴とする情報自動入力プログラム。
【請求項3】
前記情報自動入力を行う場合は、前記情報を予め登録する入力情報登録処理と、該予め登録された前記情報を前記情報自動入力時に入力する情報入力処理とを、前記コンピュータに実行させることを特徴とする請求項1記載の情報自動入力プログラム。
【請求項4】
前記コンピュータに、
予め登録された前記所定情報を入力する前記入力欄を表示する前記アプリケーションを特定する識別情報を前記アプリケーションから予め取得して該所得した前記識別情報を予め登録する識別情報登録処理と、
前記モニタ画面上に表示される画面を監視して、前記識別情報登録処理により登録され
ている前記識別情報を有するアプリケーションによる画面表示が行われたことを検出する表示検出処理と、
を更に実行させる
ことを特徴とする請求項1又は2記載の情報自動入力プログラム。
【請求項5】
前記入力欄を前記モニタ画面上に表示する前記アプリケーションに対し、何らの変更も加えないことを特徴とする請求項1記載の情報自動入力プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2008−140393(P2008−140393A)
【公開日】平成20年6月19日(2008.6.19)
【国際特許分類】
【出願番号】特願2007−310627(P2007−310627)
【出願日】平成19年11月30日(2007.11.30)
【分割の表示】特願2002−96845(P2002−96845)の分割
【原出願日】平成14年3月29日(2002.3.29)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】