説明

入力補助システム、入力補助方法及び入力補助プログラム

【課題】自動入力に伴うユーザの準備作業の労力を軽減できるとともに、過去に入力されていない内容であっても、自動入力する内容を高い精度で予測できる入力補助システムを提供する。
【解決手段】操作情報特定手段83は、操作対象コンテンツの入力欄にデータが入力されるときに、その操作対象コンテンツの入力欄の位置と、入力欄へ入力される参照コンテンツのデータ位置とを関連付ける操作情報を、データ位置の選択操作及び入力欄へのデータ入力操作によって特定する。操作情報履歴登録手段85は、操作情報をもとに、入力欄の位置と参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段84に登録する。入力内容推定手段86は、操作情報履歴保持手段84に記憶された参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、その入力欄にデータを表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力内容を予測してユーザの入力を補助する入力補助システム、入力補助方法及び入力補助プログラムに関する。
【背景技術】
【0002】
携帯電話やパソコンの普及によって、個人においてもメールやスケジュール管理などの様々な情報を情報機器で管理することが多くなった。したがって、ユーザが機器を通してデータを入力する機会も増えており、入力作業の負担を軽減することが課題になっている。
【0003】
そこで、事前に用意した辞書や履歴などを用いてユーザが入力する内容を予測することにより、入力内容の候補を提示したり、ユーザの代わりに自動で入力したりする方法が提案されている。これらの方法によれば、ユーザは、入力内容を提示された選択肢から選ぶだけでよく、また、自動で入力された内容を確認するだけでよいので、入力にかかる負担が軽減される。
【0004】
また、上述の方法を実現するシステム及び方法が、特許文献1及び特許文献2に記載されている。
【0005】
特許文献1には、携帯情報端末に記録されている個人データを利用して、情報家電における情報入力を簡略化する入力支援システムが記載されている。特許文献1に記載された入力支援システムでは、データ抽出部が別の情報機器に保存されている住所や氏名などの個人情報から、文書ファイル中の入力フォームの項目名に適合する個人データを抽出する。そして、文書ファイル変換部が、入力フォームに表示するため、抽出した情報をプルダウン形式の選択肢に変換する。このように、入力フォームをプルダウン形式のメニューに変換して提示することで、ユーザは選択肢から入力する内容を選択するだけでデータを入力できる。したがって、データを全て入力する必要がなくなり、負担を軽減できる。
【0006】
特許文献2には、同じウィンドウに属する複数の操作対象項目に対する入力操作を一括して予測する入力操作支援方法が記載されている。特許文献2に記載された方法では、マルチウィンドウシステムにおいて、各ウィンドウにおける入力操作履歴とアクティブウィンドウの遷移の履歴を記憶しておく。その後、同じようなアクティブウィンドウの遷移が行われたときに、記録された入力履歴から、そのウィンドウでよく行われている入力を候補として提示する。このように、履歴に基づいて入力操作の候補を提示することで、よく行われる入力操作は自動で行うことができるため、ユーザの手間を削減できる。
【0007】
また、特許文献3には、効率の良いデータ入力作業を実現する入力支援プログラムが記載されている。特許文献3に記載された入力支援プログラムを搭載したコンピュータのデータベースに、入力フィールドに付与された変数を検索キーとし、その検索キーとデータとを対応付けて記憶しておく。そして、データ取得手段が、表示する入力フィールドに付与された変数に対応付けられたデータをデータベースから取得する。また、指定記憶手段は、使用者が入力フィールドにデータを手動指定すると、入力フィールドに付与されている変数を選択されたデータと対応付けてデータベースに記憶する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2009−70189号公報(段落0046〜0048)
【特許文献2】特開2007−58737号公報(段落0006)
【特許文献3】特開2004−246647号公報(段落0027,0031)
【発明の概要】
【発明が解決しようとする課題】
【0009】
一般的に、データの入力位置に対して自動入力または補完される内容は、辞書や履歴などで事前に準備された固定の内容に限られる。例えば、最近見たページに表示された内容をコピーして入力情報に使用したとする。この場合、入力情報を履歴情報として管理すれば、その入力情報を自動入力する内容として予測することは可能である。
【0010】
以下、具体例を用いて説明する。例えば、アドレス帳から検索したメールアドレスをコピーしてメールの宛先欄に入力したとする。この後、再度メールを送信しようとする場合、履歴を利用することでメールの宛先欄に対して、前回入力したメールアドレスを自動入力することは可能である。一方、別の操作で、アドレス帳から別のメールアドレスを検索したとする。しかし、事前に登録された履歴を利用する場合には、そのメールアドレスをメールの宛先欄に自動入力することは困難である。すなわち、このように、最近閲覧した情報を流用して別の情報を自動入力することは困難である。これは、Webで検索した店舗の住所をメールの本文に入力したりする場合なども同様である。
【0011】
このような課題を解決するために、自動入力を行うための情報を予め大量に準備しておくことも考えられる。しかし、このような準備作業は、ユーザの負担を増加させてしまうという課題がある。
【0012】
また、特許文献1に記載された入力支援システムでは、メニューに表示される入力内容は、別の機器に事前に保存されている個人情報に限られてしまう。一方、特許文献2に記載された方法では、事前に辞書のような情報を用意する必要はない。しかし、自動入力される情報は、過去の操作で入力されたユーザIDやパスワードなど、固定的な内容に限られてしまう。また、特許文献3に記載された入力支援プログラムを利用する場合も、入力フォームに対して過去に入力されたデータしか自動入力することができないという課題がある。
【0013】
そこで、本発明は、自動入力に伴うユーザの準備作業の労力を軽減できるとともに、過去に入力されていない内容であっても、自動入力する内容を高い精度で予測できる入力補助システム、入力補助方法及び入力補助プログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明による入力補助システムは、データが入力される入力欄を含むコンテンツである操作対象コンテンツを表示する操作コンテンツ表示手段と、操作対象コンテンツに入力されるデータが含まれるコンテンツである参照コンテンツを表示する参照コンテンツ表示手段と、操作対象コンテンツの入力欄にデータが入力されるときに、その操作対象コンテンツの入力欄の位置と、その入力欄へ入力される参照コンテンツのデータ位置とを関連付ける操作を示す情報である操作情報を、そのデータ位置の選択操作及びその入力欄へのデータ入力操作によって特定する操作情報特定手段と、入力欄の位置と参照コンテンツのデータの位置とを関連付けて記憶する操作情報履歴保持手段と、操作情報特定手段が特定した操作情報をもとに、入力欄の位置と参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段に登録する操作情報履歴登録手段と、操作情報履歴保持手段に記憶された参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、その入力欄にデータを表示する入力内容推定手段とを備えたことを特徴とする。
【0015】
本発明による入力補助方法は、データが入力される入力欄を含むコンテンツである操作対象コンテンツを表示し、操作対象コンテンツに入力されるデータが含まれるコンテンツである参照コンテンツを表示し、操作対象コンテンツの入力欄にデータが入力されるときに、その操作対象コンテンツの入力欄の位置と、その入力欄へ入力される参照コンテンツのデータ位置とを関連付ける操作を示す情報である操作情報を、そのデータ位置の選択操作及びその入力欄へのデータ入力操作によって特定し、特定された操作情報をもとに、入力欄の位置と参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段に登録し、操作情報履歴保持手段に記憶された参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、その入力欄にデータを表示することを特徴とする。
【0016】
本発明による入力補助プログラムは、コンピュータに、データが入力される入力欄を含むコンテンツである操作対象コンテンツを表示する操作コンテンツ表示処理、操作対象コンテンツに入力されるデータが含まれるコンテンツである参照コンテンツを表示する参照コンテンツ表示処理、操作対象コンテンツの入力欄にデータが入力されるときに、その操作対象コンテンツの入力欄の位置と、その入力欄へ入力される参照コンテンツのデータ位置とを関連付ける操作を示す情報である操作情報を、そのデータ位置の選択操作及びその入力欄へのデータ入力操作によって特定する操作情報特定処理、特定された操作情報をもとに、入力欄の位置と参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段に登録する操作情報履歴登録処理、および、操作情報履歴保持手段に記憶された参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、その入力欄にデータを表示する入力内容推定処理を実行させることを特徴とする。
【発明の効果】
【0017】
本発明によれば、自動入力に伴うユーザの準備作業の労力を軽減できるとともに、過去に入力されていない内容であっても、自動入力する内容を高い精度で予測できる。
【図面の簡単な説明】
【0018】
【図1】本発明による第1の実施形態における入力補助システムの構成例を示すブロック図である。
【図2】第1の実施形態におけるシステム画面構成の一例を示す説明図である。
【図3】参照データと入力フォームの関係を指定する方法の例を示す説明図である。
【図4】操作情報履歴保持手段104に記憶される操作情報の一例を示す説明図である。
【図5】第1の実施形態で操作情報を記録する際の動作の例を示すフローチャートである。
【図6】第1の実施形態で入力操作を推定する際の動作の例を示すフローチャートである。
【図7】本発明による第2の実施形態における入力補助システムの構成例を示すブロック図である。
【図8】第2の実施形態におけるシステム画面構成の一例を示す説明図である。
【図9】操作情報履歴保持手段204に記憶される操作情報の一例を示す説明図である。
【図10】第2の実施形態で操作情報を記録する際の動作の例を示すフローチャートである。
【図11】第2の実施形態で入力操作を推定する際の動作の例を示すフローチャートである。
【図12】本発明による第3の実施形態における入力補助システムの構成例を示すブロック図である。
【図13】参照データと入力フォームの関係及び加工情報を指定する方法の一例を示す説明図である。
【図14】操作情報履歴保持手段304に記憶される操作情報の一例を示す説明図である。
【図15】第3の実施形態で操作情報を記録する際の動作の例を示すフローチャートである。
【図16】本発明による入力補助システムの最小構成例を示すブロック図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態を図面を参照して説明する。
【0020】
実施形態1.
まず、第1の実施形態の構成例について説明する。図1は、本発明による第1の実施形態における入力補助システムの構成例を示すブロック図である。図1に例示するように、第1の実施形態における入力補助システムは、操作コンテンツ表示手段101と、参照コンテンツ表示手段102と、操作情報特定手段103と、操作情報履歴保持手段104と、入力内容推定手段105とを備えている。なお、以下の説明では、操作コンテンツ表示手段101と、参照コンテンツ表示手段102と、操作情報特定手段103と、操作情報履歴保持手段104とをまとめた部分を、操作情報記録部106と記すこともある。また、操作コンテンツ表示手段101と、入力内容推定手段105とをまとめた部分を、入力内容推定部107と記すこともある。
【0021】
操作コンテンツ表示手段101は、利用者の操作に応じてデータが入力される対象のコンテンツ(以下、操作対象コンテンツと記す。)を表示する。すなわち、操作コンテンツ表示手段101は、操作対象コンテンツを表示し、コンテンツに対する操作を行う。操作対象コンテンツは、コンテンツの利用者の指示に応じて決定される。例えば、利用者がWebブラウザにしたがって表示されるページのリンクをクリックしたこと契機として、操作コンテンツ表示手段101がそのリンクにより特定されるページを操作対象コンテンツと決定してもよい。もしくは、操作対象コンテンツがファイルシステムである場合、ユーザがファイルの一覧から表示するファイルを指定したことを契機として、操作コンテンツ表示手段101がそのファイルを操作対象コンテンツと決定してもよい。なお、上記説明では、操作対象コンテンツがコンテンツの利用者の指示に応じて決定される場合について説明した。ただし、操作対象コンテンツを決定する方法は、利用者の指示に応じて決定する方法に限定されない。例えば、データの入力順が定められているコンテンツを表示対象とする場合、操作コンテンツ表示手段101は、定められた入力順に基づいて操作対象コンテンツを決定してもよい。操作コンテンツ表示手段101は、例えば、ディスプレイ装置などの出力装置(図示せず)に操作対象コンテンツを表示させる。以下の説明では、操作コンテンツ表示手段101は、ディスプレイ装置などの出力装置を含むものとする。
【0022】
参照コンテンツ表示手段102は、操作対象コンテンツに入力するデータが含まれるコンテンツ(以下、参照コンテンツと記す。)を表示する。すなわち、参照コンテンツ表示手段102は、操作対象コンテンツに対する入力データとして利用されるデータが含まれるコンテンツを表示する。参照コンテンツ表示手段102に表示する参照コンテンツは、例えば、記憶装置(図示せず)に記憶された履歴情報をもとに特定されるコンテンツである。履歴情報の例として、例えば、過去に参照したコンテンツのURLやファイルパス、ローカルディスクに保存された文書のコピーなどが挙げられる。参照コンテンツ表示手段102は、これらの履歴情報の中から予め定められた基準を満たすコンテンツを表示する。参照コンテンツ表示手段102は、例えば、閲覧時刻や閲覧頻度を基準として表示する参照コンテンツを決定してもよい。また、これらの基準は、ユーザが指定してもよい。参照コンテンツ表示手段102は、ディスプレイ装置などの出力装置(図示せず)に参照コンテンツを表示させる。以下の説明では、参照コンテンツ表示手段102は、ディスプレイ装置などの出力装置を含むものとする。
【0023】
操作情報特定手段103は、入力フォームにデータが入力されるときに、データが入力される操作対象コンテンツの入力フォームの位置と、その入力フォームへ入力される参照コンテンツのデータ位置とを関連付ける操作を示す情報(以下、操作情報と記す。)を特定する。具体的には、操作情報特定手段103は、操作対象コンテンツへの入力と同時に、参照コンテンツのどの位置にあるデータを、操作対象コンテンツのどの位置の入力フォームに入力するかを特定する。
【0024】
また、操作情報特定手段103は、特定した操作情報をもとに、入力フォームの位置と参照コンテンツのデータの位置とを関連付けて、後述の操作情報履歴保持手段104に登録する。
【0025】
操作情報履歴保持手段104は、入力フォームの位置と参照コンテンツのデータの位置とを関連付けて記憶する。すなわち、操作情報履歴保持手段104は、操作情報特定手段103が特定した参照データ位置と入力フォーム位置とを記憶する。操作情報履歴保持手段104は、例えば、磁気ディスク装置等によって実現される。
【0026】
入力内容推定手段105は、操作情報履歴保持手段104に記憶された参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力フォームに入力するデータと推定する。このとき、入力内容推定手段105は、予め定められた条件を満たすデータを、入力するデータと推定してもよい。そして、入力内容推定手段105は、推定したデータを操作コンテンツ表示手段101の該当する入力フォームに表示させる。すなわち、入力内容推定手段105は、操作情報履歴保持手段104から得られた情報を用いて、操作対象コンテンツに対する入力内容を推定し、その内容を自動入力する。また、このように、入力内容推定手段105は、操作情報履歴保持手段104に記憶された情報をもとにユーザに情報を提示することから、入力する情報をユーザに推薦していると言うこともできる。
【0027】
以上に記載するように、図1に示す操作情報記録部106(より具体的には、操作コンテンツ表示手段101と、参照コンテンツ表示手段102と、操作情報特定手段103と、操作情報履歴保持手段104)は、ユーザによる操作の情報を特定していると言える。以下、各要素の動作を説明する。
【0028】
図2は、第1の実施形態におけるシステム画面構成の一例を示す説明図である。図2に示す例では、左側に操作コンテンツ表示手段101が表示した画面を示し、右側に参照コンテンツ表示手段102が表示した画面を示している。また、図2に示す例では、操作コンテンツ表示手段101が、現在ユーザが閲覧しているWebページを表示し、参照コンテンツ表示手段102が、最近ユーザが閲覧したページの履歴により特定されるコンテンツを表示している。なお、ここでは、操作コンテンツ表示手段101は、操作対象コンテンツとして、「スケジュール管理システムのスケジュール登録ページ」を表示しているものとする。また、参照コンテンツ表示手段102は、参照コンテンツとして、履歴データである「最近閲覧した会議室予約システムのWebページ」を表示しているものとする。
【0029】
操作コンテンツ表示手段101は、操作対象コンテンツを表示し、同時に操作対象コンテンツを操作するためのインターフェースを提供する。また、操作対象コンテンツへデータが入力されると、操作コンテンツ表示手段101は、データが入力された入力フォームの情報を操作情報特定手段103に通知する。具体的には、操作コンテンツ表示手段101は、参照コンテンツ表示手段102に表示される参照コンテンツ内で指定されたデータが操作対象コンテンツのどの入力フォームに入力されたかを操作情報特定手段103に通知する。なお、入力フォームに関する情報には、データが入力された入力フォームの位置と、操作対象コンテンツを識別する情報(例えば、操作対象コンテンツの識別子)とを含む。
【0030】
また、操作コンテンツ表示手段101は、入力内容推定手段105が推定した入力内容を受け取り、その推定結果を受けて、入力内容の候補を提示したり、自動入力したりするなどの入力補助を行う。
【0031】
参照コンテンツ表示手段102は、操作対象コンテンツへの入力に利用されるデータが含まれる参照コンテンツを表示する。ユーザが、参照コンテンツ中のデータから操作対象コンテンツに入力したいデータを指定し、操作コンテンツ表示手段101に表示されている操作対象コンテンツの入力フォームに入力すると、参照コンテンツ表示手段102は、指定されたデータに関する情報を操作情報特定手段103に通知する。具体的には、参照コンテンツ表示手段102は、どのデータが操作コンテンツ表示手段101内の操作対象コンテンツに入力されたかを操作情報特定手段103に通知する。なお、指定されたデータに関する情報には、指定されたデータ(参照データと記すこともある。)の位置と、参照コンテンツを識別する情報(例えば、参照コンテンツの識別子)とを含む。
【0032】
なお、図2に示す例では、参照コンテンツ表示手段102が参照コンテンツを1ページ表示しているが、参照コンテンツ表示手段102が表示する参照コンテンツは、1ページに限定されない。参照コンテンツ表示手段102は、直前に表示した10ページや、1日前までなど、予め定められた基準を満たす複数のコンテンツを表示してもよい。
【0033】
操作情報特定手段103は、参照コンテンツ表示手段102上で指定された参照データの位置及びその参照コンテンツの識別子と、操作コンテンツ表示手段101上で指定された入力フォームの位置及びその操作対象コンテンツの識別子とをそれぞれ受け取る。そして、操作情報特定手段103は、受け取った情報をもとに操作情報を特定し、この操作情報を操作情報履歴保持手段104に登録する(すなわち、記憶させる)。また、操作情報特定手段103は、操作情報が示す操作が行われた回数を、その操作情報と関連付けて操作情報履歴保持手段104に登録してもよい。
【0034】
例えば、操作情報特定手段103は、参照コンテンツ表示手段102上でコピー操作が行われた情報と、コピーされたデータが操作コンテンツ表示手段101上のフォームへペースト操作された情報とを受け取った場合、この一連の操作を、入力フォームの位置と参照コンテンツのデータ位置とを関連付ける操作(すなわち、操作情報)と特定してもよい。この場合、操作情報特定手段103は、参照コンテンツ内で行われるデータのコピー操作と、操作対象コンテンツへのペースト操作から、参照データ位置と入力フォームの位置を推定すればよい。他にも、操作情報特定手段103は、マウスカーソルを使用して行われる操作をもとに操作情報を特定してもよい。
【0035】
ただし、操作情報を特定するために用いられるデバイスは、マウスに限られず、トラックボールやタッチパッド、ポインティング・スティックやタッチパネルなどのポインティングデバイスであってもよい。操作情報特定手段103は、このようなポインティングデバイスによるカーソル操作をもとに操作情報を特定してもよい。具体的には、操作情報特定手段103は、参照コンテンツ表示手段102上で選択されたデータがドラッグ操作された情報と、ドラッグされたデータが操作コンテンツ表示手段101上のフォームへドロップ操作された情報とを受け取った場合、この一連の操作を、操作情報と特定してもよい。ただし、操作情報特定手段103が操作情報を特定する方法は、上述の、いわゆるコピーアンドペースト操作やドラッグアンドドロップ操作に限定されない。このように、操作情報特定手段103は、参照コンテンツのデータ位置の選択操作及び操作対象コンテンツの入力欄への入力操作によって、操作情報を特定する。
【0036】
ここで、参照コンテンツの識別子及び操作対象コンテンツの識別子は、どのコンテンツからどのコンテンツへデータが入力されたかを指定するための情報であり、操作情報特定手段103は、これらの情報を操作情報履歴保持手段104に登録する。例えば、コンテンツがWebページの場合、操作情報特定手段103は、そのページのURL(Uniform Resource Locator)を操作情報履歴保持手段104に登録する。
【0037】
また、参照データの位置及び入力フォームの位置は、コンテンツのどの部分にあるデータをどのフォームに入力するかを指定するための情報であり、操作情報特定手段103は、これらの情報を操作情報履歴保持手段104に登録する。例えば、コンテンツがWebページの場合、操作情報特定手段103は、そのデータの位置を一意に特定できるXPathを操作情報履歴保持手段104に登録する。また、Webページに表示されたデータの表示位置が固定の場合、操作情報特定手段103は、そのデータの位置を示す座標を操作情報履歴保持手段104に登録してもよい。
【0038】
例えば、図2に例示する「会議予約システムのWebページ」の情報112(部屋名「601会議室」)を、操作対象コンテンツの「スケジュール登録ページ」の場所フォーム111に入力するものとする。このとき、参照コンテンツ表示手段102及び操作コンテンツ表示手段101は、「会議予約システムのWebページ」のURL、部屋名が記述された情報112の位置のXPath、スケジュール登録ページのURL及び場所フォーム111の位置のXPathを操作情報特定手段103へ通知する。
【0039】
なお、上述の通り、操作情報特定手段103へ通知される情報は、参照コンテンツ中のどの位置にあるデータを操作対象コンテンツ中のどの入力フォームに入力するか記録するための情報である。したがって、各コンテンツの識別子はURLに限られず、コンテンツごとに付与されたID、タグなどでもよい。また、参照データの位置や、入力フォームの位置を表す方法は、XPathに限られない。位置を表す方法として、参照データや入力フォームごとに付与されたID、タグなどを用いてもよい。また、参照データや入力フォームが表示される位置が固定の場合であれば、座標を用いてこれらの位置を表してもよい。
【0040】
参照コンテンツ表示手段102が特定する参照データ位置と、操作コンテンツ表示手段101が特定する入力フォーム位置とをもとに、操作情報特定手段103が操作情報を特定する方法の一例を図3を用いて説明する。図3は、参照データと入力フォームの関係を指定する方法の例を示す説明図である。図3に示す例では、ユーザは、参照コンテンツ表示手段102によって表示されている会議室予約システムの部屋名「601会議室」を、操作コンテンツ表示手段101によって表示されているスケジュール登録ページの場所フォーム111に入力するものとする。具体的には、ユーザが、参照コンテンツ表示手段102によって表示されている文字列「601会議室」をカーソル108でドラッグして、操作コンテンツ表示手段101によって表示された場所フォーム111へドロップする。この操作を、情報112から場所フォーム111へ向けた矢印で示す。このとき、操作情報特定手段103は、情報112に表示されたデータ「601会議室」が場所フォーム111に入力されると同時に、参照データの位置と入力ファイルの位置を特定する。このように、ユーザが入力フォームにデータを入力したときに操作情報特定手段103が操作情報を特定するため、自動入力に伴うユーザの準備作業の労力を軽減できる。
【0041】
参照コンテンツ表示手段102によって表示された参照コンテンツ上で指定される入力データと、操作コンテンツ表示手段101によって表示された操作対象コンテンツ上で指定される入力先フォームとをもとに、操作情報特定手段103が操作情報を特定する方法の別の一例を図2を用いて説明する。例えば、ユーザが、参照コンテンツ上の文字列「601会議室」を選択し、クリップボードにコピーする操作を行った場合、操作情報特定手段103は、参照データ位置をメモリ(図示せず)などに記録しておく。そして、ユーザが、クリップボードのデータ(「601会議室」)を場所フォーム111にペーストする操作を行ったときに、操作情報特定手段103は、場所フォーム111に「601会議室」を入力すると同時に、参照データと入力フォームの位置を特定する。すなわち、このような処理によっても、操作情報特定手段103は、参照データと入力フォームの位置を特定できる。
【0042】
このように、操作情報特定手段103は、参照データと入力フォームとの関係(引き継ぎ関係と記すこともある。)を特定する。したがって、その関係の特定方法は、上述の方法に限定されない。例えば、操作情報特定手段103は、ユーザがキーボードを利用して選択した情報や、ユーザの音声による命令などをもとに引き継ぎ関係を特定してもよい。また、操作情報特定手段103は、操作対象コンテンツに入力されたデータと、参照コンテンツに表示されたデータとを比較し、同一と推定されるデータをもとに引き継ぎ関係を特定してもよい。
【0043】
操作情報履歴保持手段104は、操作情報特定手段103が特定した操作情報を記憶する。図4は、操作情報履歴保持手段104に記憶される操作情報の例を示す説明図である。図4に例示する操作情報履歴保持手段104は、参照コンテンツURL、参照データの位置、操作対象コンテンツURL、入力フォームの位置、及び、上記参照データが入力フォームに入力される操作が行われた回数を関連付けて記憶している。例えば、1行目は、操作情報履歴保持手段104が、参照コンテンツ表示手段102によって表示されている会議室予約システムの部屋名を操作コンテンツ表示手段101によって表示されているスケジュール登録ページの場所フォームに入力する場合の操作情報と、その操作が行われた回数とを記録していることを示す。
【0044】
具体的には、参照コンテンツURLとして会議室予約システムのWebページのURL、参照データ位置として「部屋名」のXPath、操作対象コンテンツURLとしてスケジュール登録ページのURL、入力フォーム位置として「場所」フォームのXPathが操作情報履歴保持手段104に記録されている。1行目に示す例では、この例と同じ操作である「会議室予約システムの「部屋名」をスケジュール登録ページの「場所」フォームに入力する操作」が4回行われたことが、操作情報履歴保持手段104に記録されていることを示す。2行目及び3行目に登録されている内容についても同様である。
【0045】
次に、本システムにおいて入力内容の推定処理(ユーザに入力内容を推薦する処理)が行われる入力内容推定部107の各要素の動作について説明する。
【0046】
入力内容推定手段105は、まず、操作情報履歴保持手段104から操作情報履歴を読み取る。また、入力内容推定手段105は、操作コンテンツ表示手段101から現在表示されている操作対象コンテンツを、参照コンテンツ表示手段102から参照コンテンツの一覧を、それぞれ受け取る。その後、入力内容推定手段105は、これらの情報から、過去に同じ識別子を持つ操作対象コンテンツに対して、同じ識別子を持つ参照コンテンツからの入力があった場合に、その操作対象コンテンツに入力する内容を推定し、操作コンテンツ表示手段101へ推定結果を通知する。
【0047】
具体的には、入力内容推定手段105は、受け取った操作対象コンテンツ及び参照コンテンツの情報が、操作情報履歴保持手段104の操作情報履歴に含まれているか否かを判断する。受け取ったコンテンツの情報が操作情報履歴に含まれている場合、入力内容推定手段105は、参照コンテンツのデータ位置に対応する位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力フォームの対応する位置に入力するデータと推定する。そして、入力内容推定手段105は、操作コンテンツ表示手段101へ推定結果を通知して推定結果を表示させる。
【0048】
入力内容推定手段105がデータを推定する方法の一例について、図4を用いて説明する。まず、入力内容推定手段105は、参照コンテンツURLと操作対象コンテンツURLが参照コンテンツ表示手段102及び操作コンテンツ表示手段101から受け取った現在の参照コンテンツURL及び操作対象コンテンツURLの両方と一致する操作情報を操作情報履歴保持手段104から検索する。
【0049】
例えば、現在、操作コンテンツ表示手段101が操作対象コンテンツとして「スケジュール登録ページ」(http://www.abc.co.jp/schedule)を表示しており、「会議予約システムのページ」(http://www.abc.co.jp/roomreserve)が履歴として参照コンテンツに含まれているとする。ここで、図4に例示する操作情報履歴には、操作対象コンテンツURLがスケジュール登録ページ(http://www.abc.co.jp/schedule)であり、参照コンテンツURLが会議室予約システムのページ(http://www.abc.co.jp/roomreserve)である操作情報は2件存在する(図4における1行目と2行目)。
【0050】
入力内容推定手段105は、この操作情報の中から、一定の基準を満たす操作情報を操作コンテンツ表示手段101に通知する。例えば、「3回以上行われている操作を対象にする」という基準を予め定めていてもよい。この例では、入力内容推定手段105は、会議室予約システムの「部屋名」をスケジュール登録ページの「場所」フォームに入力する操作情報を操作情報履歴保持手段104から読み取る。そして、入力内容推定手段105は、読み取った操作情報のうち、操作が3回以上行われている1行目の情報を、入力内容と推定する。最後に、入力内容推定手段105は、操作コンテンツ表示手段101へ推定結果を出力させる。このように、入力内容推定手段105が、予め定められた条件を満たすデータを入力するデータと推定するため、自動入力する内容を高い精度で予測できる。なお、推定結果は、入力の操作を推定した結果(すなわち、操作推定結果)と言うこともできる。
【0051】
このように、入力内容推定手段105は、操作情報履歴保持手段104に記憶された回数が予め定められた回数以上である場合に、その回数に関連付けられた参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力フォームに入力するデータと推定する。
【0052】
なお、上記説明では、入力内容の推定に利用する操作情報を操作情報履歴保持手段104から探す際、入力内容推定手段105が、両者のURLが一致している操作情報を読み取る方法について説明した。他にも、入力内容推定手段105は、操作情報に含まれる参照コンテンツ及び操作対象コンテンツと、現在の参照コンテンツ及び操作対象コンテンツとのレイアウトや内容を比較して、操作情報を探してもよい。
【0053】
操作コンテンツ表示手段101は、入力内容推定手段105から操作推定結果を受けとり、表示している操作対象コンテンツに対して受けとった入力操作を実行する。例えば、操作コンテンツ表示手段101は、「会議室予約システムの「部屋名」をスケジュール登録ページの「場所」フォームに入力する操作」を入力内容推定手段105から受けとったとする。この場合、操作コンテンツ表示手段101は、参照コンテンツに表示されている会議室予約システムのページから、「部屋名」の表示されているデータを抽出し、現在表示されているスケジュール登録ページの「場所」フォームに入力する。
【0054】
操作コンテンツ表示手段101と、参照コンテンツ表示手段102と、操作情報特定手段103と、入力内容推定手段105とは、プログラム(入力補助プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、本システムに適用される情報処理端末の記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、操作コンテンツ表示手段101、参照コンテンツ表示手段102と操作情報特定手段103及び入力内容推定手段105として動作してもよい。また、操作コンテンツ表示手段101と、参照コンテンツ表示手段102と、操作情報特定手段103と、入力内容推定手段105とは、それぞれが専用のハードウェアで実現されていてもよい。また、操作コンテンツ表示手段101及び参照コンテンツ表示手段102は、ディスプレイなどの出力装置を含んでいてもよい。
【0055】
次に、上記構成例の動作について説明する。
【0056】
図5は、本実施形態で操作情報を記録する際の動作の例を示すフローチャートであり、図1の操作情報記録部106における処理に該当する。まず、操作情報特定手段103は、参照コンテンツ表示手段102から参照コンテンツのURLと参照データの位置とを受け取る(ステップS1)。次に、操作情報特定手段103は、操作コンテンツ表示手段101から操作対象コンテンツのURLと入力フォームの位置を受け取る(ステップS2)。次に、操作情報特定手段103は、参照コンテンツ表示手段102及び操作コンテンツ表示手段101から受け取った情報をもとに操作情報を特定し、その操作情報を用いて、操作情報履歴保持手段104を更新する(ステップS3)。
【0057】
図6は、本実施形態で入力操作を推定する際の動作の例を示すフローチャートであり、図1の入力内容推定部107における処理に該当する。まず、入力内容推定手段105は、参照コンテンツ表示手段102から現在表示している参照コンテンツのURLの一覧を受け取る(ステップS11)。次に、入力内容推定手段105は、操作コンテンツ表示手段101から現在表示している操作対象コンテンツのURLを受け取る(ステップS12)。その後、入力内容推定手段105は、受け取ったURLに一致する操作履歴が操作情報履歴保持手段104に記憶されているか否かを確認し、参照コンテンツと操作対象コンテンツ間で行われた操作が過去に行われているか否かを判断する(ステップS13)。一致する履歴が記憶されていない場合(ステップS13におけるNO)、入力内容推定手段105は、入力内容を推定せずに処理を終了する。一方、一致する履歴が記憶されている場合(ステップS13におけるYES)、入力内容推定手段105は、一定の基準を満たす操作情報をもとに操作コンテンツ表示手段101にデータを出力させる(ステップS14)。その後、操作コンテンツ表示手段101は入力内容推定手段105から受け取った操作情報をもとに、参照コンテンツからデータを抽出し、そのデータを操作対象コンテンツの入力フォームに入力する(ステップS15)。
【0058】
以上のように、本実施形態によれば、操作コンテンツ表示手段101が操作対象コンテンツを、参照コンテンツ表示手段102が参照コンテンツとしてユーザの閲覧履歴をそれぞれ表示する。操作情報特定手段103は、操作対象コンテンツの入力フォームにデータが入力されるときに、その操作対象コンテンツの入力フォームの位置と、その入力フォームへ入力される参照コンテンツのデータ位置とを関連付ける操作情報を特定する。そして、操作情報特定手段103は、特定された操作情報をもとに、入力フォームの位置と参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段104に登録する。そして、入力内容推定手段105は、操作情報履歴保持手段104に記憶された参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力フォームに入力するデータと推定して、その入力フォームにデータを表示する。そのため、自動入力に伴うユーザの準備作業の労力を軽減できるとともに、過去に入力されていない内容であっても、自動入力する内容を高い精度で予測できる。
【0059】
具体的には、過去に操作したコンテンツと同じ形式の参照コンテンツ及び操作対象コンテンツを利用する際に、参照コンテンツの内容が関連付けを行ったときの内容と違う場合でも、参照コンテンツの内容に応じた入力内容を操作コンテンツに自動で入力できる。
【0060】
例えば、本実施形態で説明したように、現在閲覧しているWebページとして「スケジュールの登録のページ」が操作コンテンツ表示手段101に表示され、最近閲覧したWebページとして「会議室予約のページ」が参照コンテンツ表示手段102に表示されているとする。ここで、最近閲覧したページのある部分に含まれるデータを、現在閲覧しているページの入力に利用することが多い場合、データの内容によらず、自動で入力できることが望ましい。本実施形態では、過去に入力したデータの位置関係をもとに入力を自動化できる。そのため、例えば、会議室を予約した後、スケジュールの登録をするなど、最近閲覧したページに含まれるデータを、現在閲覧しているページの入力に利用することが多い場合、過去に入力されていない内容であっても、自動入力する内容を高い精度で予測できる。すなわち、自動入力するための情報として参照データと入力フォームの位置関係だけを記録しているので、参照データの内容が変化しても、その変化に応じた内容を推定して入力できる。
【0061】
また、操作情報特定手段103が、操作対象コンテンツの入力フォームにデータが入力されるときに操作情報を特定する。具体的には、データの入力操作としてドラッグアンドドロップ操作やコピーアンドペースト操作が行われるときに操作情報を特定する。このように、参照データ位置や入力フォーム位置を少ない労力で指定できるため、自動入力に伴うユーザの準備作業の労力を軽減できる。
【0062】
また、本実施形態によれば、参照データの位置や入力フォームの位置をXPathや座標を用いて表現するため、対象とする情報を特定することが容易になる。通常、項目名の表記にゆれがある場合や、項目名が適切に付与されていない場合、入力候補を絞り込んで提示することは困難である。例えば、特許文献1に記載された入力支援システムと比較すると、どの個人情報をメニューとして提示するかを、入力フォームに付随する項目名から絞り込んで決定する入力支援システムでは、項目名の表記にゆれがある場合や、項目名が適切に付与されていない場合には、入力候補を絞り込んで提示することは困難である。一方、本実施形態によれば、項目名の表記にゆれがある場合や、項目名が適切に付与されていない場合でも、対象とする情報を特定することが容易になる。
【0063】
また、本実施形態によれば、参照コンテンツ表示手段102が参照コンテンツとしてユーザの閲覧履歴を表示し、操作情報特定手段103が、この履歴を利用して操作した操作情報を操作情報履歴保持手段104に登録する。そして、入力内容推定手段105が、この操作情報をもとに入力内容を推定する。そのため、自動入力する内容を高い精度で予測できる。一般的に、高精度の自動入力や候補の提示を、少ない労力で行うのは困難である。自動入力や候補の提示を行う場合、大量の履歴や辞書を保持していても、適切な内容だけを選んで提示できなければ、逆にユーザの負担を増加させてしまう。したがって、自動入力や候補を行う際には、その精度の向上が課題となる。例えば、特許文献2に記載された方法では、ウィンドウ遷移と入力の履歴の統計情報から入力内容を提示するので、入力フォームに項目名やIDなどを付与しなくてもよい。しかし、この方法では、ウィンドウ遷移や入力の順番にゆれが多い場合には、適切な候補の提示を行うことが難しい。一方、本実施形態によれば、ウィンドウ遷移や入力の順番にゆれが多い場合であっても、自動入力する内容を高い精度で予測できる。
【0064】
実施形態2.
次に、第2の実施形態の構成例について説明する。図7は、本発明による第2の実施形態における入力補助システムの構成例を示すブロック図である。図7に例示するように、第2の実施形態における入力補助システムは、操作コンテンツ表示手段101と、コンテキストデータ表示手段202と、操作情報特定手段203と、操作情報履歴保持手段204と、入力内容推定手段205とを備えている。すなわち、第2の実施形態における入力補助システムは、コンテキストデータ表示手段202と、操作情報特定手段203と、操作情報履歴保持手段204と、入力内容推定手段205とが第1の実施形態と異なり、その他の構成については第1の実施形態と同様である。第1の実施形態と同様の構成要素については、図1と同一の符号を付し、詳細な説明を省略する。
【0065】
コンテキストデータ表示手段202は、操作対象コンテンツへの入力に利用するコンテキストデータを表示する。コンテキストデータとは、機器によって測定される現在の状態を表すデータで、時刻やGPS(Global Positioning System)による位置データ(以下、GPSデータと記すこともある。)、温度などを表す。現在の状態を測定する機器として、例えば、タイマや、温度センサ、GPS衛星からの信号を受信するGPS受信機などが挙げられる。例えば、ユーザがコンテキストデータ表示手段202に表示されたコンテキストデータの中から操作コンテンツ表示手段101に入力したいコンテキストデータを指定し、操作コンテンツ表示手段101に表示されている操作対象コンテンツの入力フォームに入力したとする。このとき、コンテキストデータ表示手段202は、指定されたコンテキストデータを操作情報特定手段203に通知する。具体的には、コンテキストデータ表示手段202は、どのデータが操作コンテンツ表示手段101内の操作対象コンテンツに入力されたかを操作情報特定手段203に通知する。なお、コンテキストデータ表示手段202に表示するコンテキストデータは、タイマ(図示せず)や、温度センサ(図示せず)が計測したデータであってもよく、GPS衛星からの信号を受け取ったGPS受信機(図示せず)が検知したGPSデータであってもよい。また、このように、コンテキストデータが表示されたコンテンツは、操作対象コンテンツに入力されるデータが含まれるコンテンツ(すなわち、参照コンテンツ)であると言える。
【0066】
図8は、第2の実施形態におけるシステム画面構成の一例を示す説明図である。図8に示す例では、左側に操作コンテンツ表示手段101が表示した画面を示し、右側にコンテキストデータ表示手段202が表示した画面を示している。操作コンテンツ表示手段101が表示する内容は、図2に例示する操作コンテンツ表示手段101が表示する内容と同様である。また、図8に示す例では、コンテキストデータ表示手段202がコンテキストデータを表示している。図8に示す例では、「GPS」が現在のGPSデータを表し、「10:33」が現在時刻を表す。また「晴」は現在の天気を表し、「会社」,「自宅」,「Aさん」がそれぞれの電話番号を表す。
【0067】
このように、コンテキストデータ表示手段202は、時刻や場所など、現在の状況に応じて変化するコンテキストデータを表示する。したがって、表示するコンテキストデータは、上述の例に限定されない。例えば、コンテキストデータ表示手段202は、コンテキストデータとして、「最近受信したメールの差し出しアドレス」や、外部にある機器から得られる他のコンテキストデータなどを表示してもよい。また、コンテキストデータ表示手段202が表示するコンテキストデータの種類は、予め定められた種類のコンテキストデータであってもよく、ユーザが自由に選択できる種類のコンテキストデータであってもよい。以下の説明では、コンテキストデータ表示手段202は、ディスプレイ装置などの出力装置を含むものとする。
【0068】
操作情報特定手段203は、入力フォームにデータが入力されるときに、データが入力される操作対象コンテンツの入力フォームの位置と、その入力フォームへ入力されるコンテキストデータの位置とを関連付ける操作を示す情報(すなわち、操作情報)を特定する。また、操作情報特定手段203は、特定した操作情報をもとに、入力フォームの位置とコンテキストデータとを関連付けて、後述の操作情報履歴保持手段204に登録する。
【0069】
すなわち、操作情報特定手段203は、コンテキストデータ表示手段202上で指定されたコンテキストデータを特定する情報(例えば、コンテキストデータの識別子)と、操作コンテンツ表示手段101上で指定された入力フォームの位置及びその操作対象コンテンツの識別子とをそれぞれ受け取る。そして、操作情報特定手段203は、受け取った情報をもとに操作情報を特定し、この操作情報を操作情報履歴保持手段204に登録する。操作情報特定手段203が操作情報を特定する方法は、第1の実施形態で操作情報特定手段103が操作情報を特定する方法と同様である。
【0070】
操作情報履歴保持手段204は、入力フォームの位置とコンテキストデータとを関連付けて記憶する。すなわち、操作情報履歴保持手段204は、操作情報特定手段203が特定した操作情報を記憶する。図9は、操作情報履歴保持手段204に記憶される操作情報の一例を示す説明図である。図9に例示する操作情報履歴保持手段204は、コンテキストデータ、操作対象コンテンツURL、入力フォームの位置、及び、上記コンテキストデータが入力フォームに入力される操作が行われた回数を関連付けて記憶している。すなわち、図9に示す例では、操作対象コンテンツがどのコンテキストデータを使用したかを記録したことを示す。例えば、1行目は、現在時刻が入力された操作情報を示し、2行目は、GPSデータが入力された操作情報を示す。なお、操作対象コンテンツURL、入力フォーム位置及び回数が示す意味は、第1の実施形態における図4に示す例と同様である。
【0071】
入力内容推定手段205は、操作情報履歴保持手段204に記憶されたコンテキストデータを、そのコンテキストデータに関連付けられた操作対象コンテンツの入力フォームの対応する位置に入力するデータと推定する。このとき、入力内容推定手段205は、予め定められた条件を満たす操作情報を、入力するデータと推定してもよい。そして、入力内容推定手段205は、操作コンテンツ表示手段101に、推定したデータをその入力フォームに表示させる。
【0072】
すなわち、入力内容推定手段205は、まず、操作情報履歴保持手段204から操作情報履歴を読み取る。また、入力内容推定手段205は、操作コンテンツ表示手段101から現在表示されている操作対象コンテンツを、コンテキストデータ表示手段202からコンテキストデータの一覧を、それぞれ受け取る。その後、入力内容推定手段205は、これらの情報から、過去に同じ識別子を持つ操作対象コンテンツに対し、同じ識別子を持つコンテキストデータからの入力があった場合に、その操作対象コンテンツに入力する内容を推定し、操作コンテンツ表示手段101へ推定結果を通知する。
【0073】
具体的には、入力内容推定手段205は、受け取った操作対象コンテンツ及びコンテキストデータが、操作情報履歴保持手段204の操作情報履歴に含まれているか否かを判断する。受け取ったコンテンツの情報及びコンテキストデータが操作情報履歴に含まれている場合、入力内容推定手段205は、コンテキストデータを、そのコンテキストデータに関連付けられた操作対象コンテンツの入力フォームの対応する位置に入力するデータと推定する。そして、入力内容推定手段205は、操作コンテンツ表示手段101へ推定結果を通知して推定結果を表示させる。なお、入力内容推定手段205が表示するデータを推定する方法は、第1の実施形態における入力内容推定手段105が推定する方法と同様である。
【0074】
操作コンテンツ表示手段101と、コンテキストデータ表示手段202と、操作情報特定手段203と、入力内容推定手段205とは、プログラム(入力補助プログラム)に従って動作するコンピュータのCPUによって実現される。また、操作コンテンツ表示手段101と、コンテキストデータ表示手段202と、操作情報特定手段203と、入力内容推定手段205とは、それぞれが専用のハードウェアで実現されていてもよい。また、操作コンテンツ表示手段101及びコンテキストデータ表示手段202は、ディスプレイなどの出力装置を含んでいてもよい。
【0075】
次に、上記構成例の動作について説明する。
【0076】
図10は、本実施形態で操作情報を記録する際の動作の例を示すフローチャートである。まず、操作情報特定手段203は、コンテキストデータ表示手段202からコンテキストデータを受け取る(ステップS21)。次に、操作情報特定手段203は、操作コンテンツ表示手段101から操作対象コンテンツのURLと入力フォームの位置を受け取る(ステップS2)。次に、操作情報特定手段203は、コンテキストデータ表示手段202及び操作コンテンツ表示手段101から受け取った情報をもとに操作情報を特定し、その操作情報を用いて、操作情報履歴保持手段204を更新する(ステップS3)。なお、ステップS2,S3の処理は、図5に例示するステップS2,S3における処理と同様である。
【0077】
図11は、本実施形態で入力操作を推定する際の動作の例を示すフローチャートである。第1の実施形態と同様の動作については、図6と同一の符号を付し、詳細な説明を省略する。まず、入力内容推定手段205は、コンテキストデータ表示手段202から現在表示しているコンテキストデータの一覧を受け取る(ステップS31)。以降、入力内容推定手段205が、操作情報履歴保持手段204に一致する履歴があるか否かを判断し、一定の基準を満たす操作情報を操作コンテンツ表示手段101に出力させるまでの処理は、図6に例示するステップS12〜S15における処理と同様である。
【0078】
すなわち、第2の実施形態では、操作情報の記録の際に、操作情報特定手段203がコンテキストデータ表示手段202からコンテキストデータを受け取る点(図10におけるステップS21)において第1の実施形態と異なる。また、入力操作の推定の際に、入力内容推定手段205がコンテキストデータ表示手段202から現在表示されているコンテキストデータの一覧を受け取る点(図11におけるステップS31)においても第1の実施形態と異なる。
【0079】
以上のように、本実施形態によれば、コンテキストデータ表示手段202が、参照コンテンツとしてコンテキストデータを表示する。操作情報特定手段203は、入力フォームの位置とその入力フォームへ入力されるコンテキストデータのデータ位置とを関連付ける操作情報を特定し、その操作情報をもとに、入力フォームの位置とコンテキストデータのデータ位置とを関連付けて操作情報履歴保持手段204に登録する。そして、入力内容推定手段205は、コンテキストデータのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力フォームに入力するデータと推定する。そのため、自動入力に伴うユーザの準備作業の労力を軽減できるとともに、過去に入力されていない内容であっても、自動入力する内容を高い精度で予測できる。
【0080】
すなわち、本実施形態では、操作対象コンテンツへの入力に、時刻や場所などの現在の状況に応じて変化するコンテキストデータを利用する。したがって、現在時刻や現在位置など、操作の状況に応じて入力内容が変化するようなデータの場合でも、過去に同じ操作が行われていれば、そのデータを自動で入力させることができる。
【0081】
実施形態3.
次に、第3の実施形態の構成例について説明する。図12は、本発明による第3の実施形態における入力補助システムの構成例を示すブロック図である。図12に示すように、第3の実施形態における入力補助システムは、操作コンテンツ表示手段101と、参照コンテンツ表示手段102と、操作情報特定手段303と、操作情報履歴保持手段304と、入力内容推定手段305とを備えている。すなわち、第3の実施形態における入力補助システムは、操作情報特定手段303と、操作情報履歴保持手段304と、入力内容推定手段305とが第1の実施形態と異なり、その他の構成については第1の実施形態と同様である。第1の実施形態と同様の構成要素については、図1と同一の符号を付し、詳細な説明を省略する。
【0082】
操作情報特定手段303は、第1の実施形態における操作情報特定手段103と同様、参照コンテンツ表示手段102上で指定された参照データの位置及びその参照コンテンツの識別子と、操作コンテンツ表示手段101上で指定された入力フォームの位置及びその操作対象コンテンツの識別子とをそれぞれから受けとる。そして、操作情報特定手段303は、受けとった情報をもとに操作情報を特定し、この操作情報を操作情報履歴保持手段304に登録する。また、操作情報特定手段303は、参照データを加工する方法を示す情報(以下、加工情報と記す。)を特定し、加工する参照データとその加工情報とを関連付けて操作情報履歴保持手段304に登録する。具体的には、操作情報特定手段303は、操作情報を特定する際に合わせて指定されるドラッグ操作や入力操作などによって加工情報を特定する。
【0083】
例えば、参照コンテンツである会議予約システムのページに表示された「予約時間」の項目が「09:00」であり、操作対象コンテンツであるスケジュール登録ページの「開始日時フォーム」に、予約時間を30分遅らせた「09:30」を表示する場合について説明する。このとき、操作情報特定手段303は、会議室予約システムのURL、「予約時間」のXPath、スケジュール登録ページのURL、「開始日時フォーム」のXPathをそれぞれ参照コンテンツ表示手段102と操作コンテンツ表示手段101から受け取る。そして、操作情報特定手段303は、これらの操作情報に「時刻を30分遅らせる」という加工情報を加えて操作情報履歴保持手段304に登録する。
【0084】
操作情報特定手段303が、参照コンテンツ表示手段102が特定する参照データ位置と、操作コンテンツ表示手段101が特定する入力先フォーム位置と、加工情報とをもとに、操作情報を特定する方法の一例を図13を用いて説明する。図13は、参照データと入力フォームの関係及び加工情報を指定する方法の一例を示す説明図である。図13に示す例では、変換加工モジュール309を使用して加工情報を指定する方法について説明する。なお、図13に例示する操作対象コンテンツ及び参照コンテンツの内容は、図2に例示する内容と同様である。
【0085】
変換加工モジュール309は、参照データを加工する情報の一覧をディスプレイ装置(図示せず)などに表示させるモジュールである。図13に示す例では、変換加工モジュール309が参照データを加工する情報として、参照データに15分進める「+15」、参照データに30分進める「+30」、参照データに45分進める「+45」、参照データから15分遅らせる「−15」、参照データから30分遅らせる「−30」、参照データから45分遅らせる「−45」をディスプレイ装置(図示せず)に表示させていることを示す。
【0086】
例えば、参照コンテンツ表示手段102に表示されている会議室予約システムの予約時間113(「09:00」)を30分遅らせて(すなわち、「09:30」として)操作コンテンツ表示手段101に表示されているスケジュール登録ページの開始日時フォーム114に入力するとする。このとき、例えば、ユーザが参照コンテンツ表示手段102に表示されている文字列「09:00」をカーソル308でドラッグして、30分進めることを意味する変換加工モジュール309の「+30」を通過させて、操作コンテンツ表示手段101の「開始日時」フォームへドロップするものとする。この操作を、予約時間113から変換加工モジュール309を経由して開始日時フォーム114へ向けた矢印で示す。この場合、操作情報特定手段303は、予約時間113と開始日時フォーム114との関係、及び「データに30分進める」という加工情報を特定できる。また、言い換えると、ユーザは、開始日時フォーム114に「09:30」を入力すると同時に、参照データと入力フォームの関係及び加工情報を指定できる。
【0087】
なお、上記説明では、加工情報を指定するために変換加工モジュール309を使用する場合について説明したが、加工情報を指定する方法は、変換加工モジュール309を使用する場合に限定されない。例えば、コピーアンドペースト操作で操作情報を特定する場合であれば、操作情報特定手段303は、コピー操作とペースト操作の間に指定された加工情報を、コピーアンドペースト操作によって関連付ける加工情報と判断してもよい。
【0088】
操作情報履歴保持手段304は、操作情報特定手段303が特定した操作情報を記憶する。図14は、操作情報履歴保持手段304に記憶される操作情報の例を示す説明図である。図14に例示する操作情報履歴保持手段304は、参照コンテンツURL、参照データの位置、操作対象コンテンツURL、入力フォームの位置、及び、上記参照データが入力フォームに入力される操作が行われた回数に加え、加工情報を関連付けて記憶していることを示す。すなわち、操作情報履歴保持手段304は、図4において操作情報履歴保持手段104が記憶する情報に加え、加工情報を記憶している。例えば、1行目には、「参照データを30分遅らせる」ことを示す情報が加工情報として記憶されていることを示す。
【0089】
入力内容推定手段305は、まず、操作情報履歴保持手段304から操作情報履歴を読み取る。また、入力内容推定手段305は、操作コンテンツ表示手段101から現在表示されている操作対象コンテンツを、参照コンテンツ表示手段102から参照コンテンツの一覧を、それぞれ受け取る。その後、入力内容推定手段305は、これらの情報から、過去に同じ識別子を持つ操作対象コンテンツに対し、同じ識別子を持つ参照コンテンツからの入力があった場合に、その操作対象コンテンツに入力する内容を推定し、操作コンテンツ表示手段101へ推定結果を通知する。入力内容推定手段305が入力内容を推定する方法は、第1の実施形態で入力内容推定手段105が推定する方法と同様である。なお、入力内容推定手段305は、操作情報履歴保持手段304から読み取った加工情報に基づいて加工した参照データを操作コンテンツ表示手段101に出力させる。
【0090】
操作コンテンツ表示手段101と、参照コンテンツ表示手段102と、操作情報特定手段303と、入力内容推定手段305とは、プログラム(入力補助プログラム)に従って動作するコンピュータのCPUによって実現される。また、操作コンテンツ表示手段101と、参照コンテンツ表示手段102と、操作情報特定手段303と、入力内容推定手段305とは、それぞれが専用のハードウェアで実現されていてもよい。また、操作コンテンツ表示手段101及び参照コンテンツ表示手段102は、ディスプレイなどの出力装置を含んでいてもよい。
【0091】
次に、上記構成例の動作について説明する。
【0092】
図15は、本実施形態で操作情報を記録する際の動作の例を示すフローチャートである。まず、操作情報特定手段303は、参照コンテンツ表示手段102から参照コンテンツのURLと参照データの位置とを受け取るとともに、その参照データを加工する加工情報を受け取る(ステップS41)。次に、操作情報特定手段303は、操作コンテンツ表示手段101から操作対象コンテンツのURLと入力フォームの位置を受け取る(ステップS2)。次に、操作情報特定手段303は、参照コンテンツ表示手段102及び操作コンテンツ表示手段101から受け取った情報をもとに操作情報を特定し、加工情報を含む操作情報を用いて、操作情報履歴保持手段304を更新する(ステップS3)。なお、ステップS2,S3の処理は、図5に例示するステップS2,S3における処理と同様である。
【0093】
次に、本実施形態で入力操作を推定する際の動作について、図6に例示するフローチャートを用いて説明する。なお、第1の実施形態と同様の動作については、詳細な説明を省略する。入力内容推定手段305が、参照コンテンツのURLの一覧及び操作対象コンテンツのURLに一致する操作情報が記憶されているか否か判断するまでの処理は、図6におけるステップS11〜S13までの処理と同様である。一致する履歴が記憶されている場合(ステップS13におけるYES)、入力内容推定手段305は、一定の基準を満たす操作情報をもとに操作コンテンツ表示手段101にデータを出力させる(ステップS14)。この際、入力内容推定手段305は、操作情報履歴保持手段304から読み取った加工情報に基づいて参照データを加工した情報を操作コンテンツ表示手段101に出力させる。その後、操作コンテンツ表示手段101は入力内容推定手段305から受け取った操作情報をもとに、参照コンテンツからデータを抽出し、そのデータを操作対象コンテンツの入力フォームに入力する(ステップS15)。
【0094】
すなわち、第3の実施形態は、操作情報の記録の際に、操作情報特定手段303が加工情報を特定する点(図15におけるステップS41)で第1の実施形態と異なる。
【0095】
以上のように、本実施形態によれば、操作情報特定手段303が、加工情報を特定し、その加工情報と加工する参照データとを関連付けて操作情報履歴保持手段304に登録する。そして、入力内容推定手段305が、加工情報に基づいて加工した参照データを操作対象コンテンツの入力フォームに表示する。よって、第1の実施形態及び第2の実施形態の効果に加え、ユーザの入力作業の負荷をより軽減できる。
【0096】
すなわち、本実施形態では、操作対象コンテンツへの入力データに対する加工情報も同時に操作情報履歴保持手段304に記録する。したがって、参照データの内容が変化し、かつ、そのデータを毎回同じように加工して入力するような場合でも、過去に同じ操作が行われていれば、加工後のデータを自動で入力させることができる。
【0097】
次に、本発明による入力補助システムの最小構成の例を説明する。図16は、本発明による入力補助システムの最小構成例を示すブロック図である。本発明による入力補助システムは、データが入力される入力欄を含むコンテンツである操作対象コンテンツを表示する操作コンテンツ表示手段81(例えば、操作コンテンツ表示手段101)と、操作対象コンテンツに入力されるデータが含まれるコンテンツである参照コンテンツを表示する参照コンテンツ表示手段82(例えば、参照コンテンツ表示手段102)と、操作対象コンテンツの入力欄(例えば、入力フォーム)にデータが入力されるときに、その操作対象コンテンツの入力欄の位置(例えば、場所フォーム111)と、その入力欄へ入力される参照コンテンツのデータ位置(例えば、情報112)とを関連付ける操作(例えば、ドラッグアンドドロップ操作、コピーアンドペースト操作)を示す情報である操作情報を、そのデータ位置の選択操作及び入力欄へのデータ入力操作によって特定する操作情報特定手段83(例えば、操作情報特定手段103)と、入力欄の位置と参照コンテンツのデータの位置とを関連付けて記憶する操作情報履歴保持手段84(例えば、操作情報履歴保持手段104)と、操作情報特定手段83が特定した操作情報をもとに、入力欄の位置と参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段84に登録する操作情報履歴登録手段85(操作情報特定手段103)と、操作情報履歴保持手段84に記憶された参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、その入力欄にデータを表示する入力内容推定手段86(例えば、入力内容推定手段105)とを備えている。
【0098】
そのような構成により、自動入力に伴うユーザの準備作業の労力を軽減できるとともに、過去に入力されていない内容であっても、自動入力する内容を高い精度で予測できる。
【0099】
なお、少なくとも以下に示すような入力補助システムも、上記に示すいずれかの実施形態に開示されている。
【0100】
(1)データが入力される入力欄を含むコンテンツである操作対象コンテンツを表示する操作コンテンツ表示手段(例えば、操作コンテンツ表示手段101)と、操作対象コンテンツに入力されるデータが含まれるコンテンツである参照コンテンツを表示する参照コンテンツ表示手段(例えば、参照コンテンツ表示手段102)と、操作対象コンテンツの入力欄(例えば、入力フォーム)にデータが入力されるときに、その操作対象コンテンツの入力欄の位置(例えば、場所フォーム111)と、その入力欄へ入力される参照コンテンツのデータ位置(例えば、情報112)とを関連付ける操作(例えば、ドラッグアンドドロップ操作、コピーアンドペースト操作)を示す情報である操作情報を、そのデータ位置の選択操作及び入力欄へのデータ入力操作によって特定する操作情報特定手段(例えば、操作情報特定手段103)と、入力欄の位置と参照コンテンツのデータの位置とを関連付けて記憶する操作情報履歴保持手段(例えば、操作情報履歴保持手段104)と、操作情報特定手段が特定した操作情報をもとに、入力欄の位置と参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段に登録する操作情報履歴登録手段(操作情報特定手段103)と、操作情報履歴保持手段に記憶された参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、その入力欄にデータを表示する入力内容推定手段(例えば、入力内容推定手段105)とを備えた入力補助システム。
【0101】
(2)参照コンテンツ表示手段(例えば、参照コンテンツ表示手段102)が、参照コンテンツとしてユーザの閲覧履歴を表示し、操作情報特定手段(例えば、操作情報特定手段103)が、入力欄の位置とその入力欄へ入力されるユーザの閲覧履歴のデータ位置とを関連付ける操作情報を特定し、操作情報履歴登録手段(例えば、操作情報特定手段103)が、操作情報特定手段が特定した操作情報をもとに、入力欄の位置とユーザの閲覧履歴のデータ位置とを関連付けて操作情報履歴保持手段(例えば、操作情報履歴保持手段104)に登録し、入力内容推定手段(例えば、入力内容推定手段105)が、ユーザの閲覧履歴のデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定する入力補助システム。
【0102】
(3)参照コンテンツ表示手段(例えば、コンテキストデータ表示手段202)が、参照コンテンツとして、機器によって測定される現在の状態を表すデータであるコンテキストデータ(例えば、時刻やGPSデータ、温度など)を表示し、操作情報特定手段(例えば、操作情報特定手段203)が、入力欄の位置とその入力欄へ入力されるコンテキストデータのデータ位置とを関連付ける操作情報を特定し、操作情報履歴登録手段(例えば、操作情報特定手段203)が、操作情報特定手段が特定した操作情報をもとに、入力欄の位置とコンテキストデータのデータ位置とを関連付けて操作情報履歴保持手段(操作情報履歴保持手段204)に登録し、入力内容推定手段(例えば、入力内容推定手段205)が、コンテキストデータのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定する入力補助システム。
【0103】
(4)操作情報履歴登録手段が、操作情報が示す操作が行われた回数をその操作情報と関連付けて操作情報履歴保持手段に登録し、入力内容推定手段が、操作情報履歴保持手段に記憶された回数が予め定められた回数以上である場合に、その回数に関連付けられた参照コンテンツのデータ位置に表示されたデータを、そのデータ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定する入力補助システム。
【0104】
(5)操作情報特定手段(例えば、操作情報特定手段303)が、参照データを加工する方法を示す情報である加工情報(例えば、参照データに30分進めるなど)を、操作情報を特定する際に合わせて指定される操作によって特定し、操作情報履歴登録手段(例えば、操作情報特定手段303)が、加工する参照データと加工情報とを関連付けて操作情報履歴保持手段(例えば、操作情報履歴保持手段304)に登録し、入力内容推定手段(例えば、入力内容推定手段305)が、加工情報に基づいて加工した参照データを操作対象コンテンツの入力欄に表示する入力補助システム。
【0105】
(6)操作情報特定手段が、ポインティングデバイスによるカーソル操作(例えば、ドラッグアンドドロップ操作)をもとに操作情報を特定する入力補助システム。
【0106】
(7)操作情報特定手段が、参照コンテンツ内で行われるデータのコピー操作と、操作対象コンテンツへのペースト操作(例えば、コピーアンドペースト操作)とから操作情報を特定する入力補助システム。
【0107】
(8)操作情報特定手段が、参照コンテンツの識別子と、その参照コンテンツ内の参照データの位置と、操作対象コンテンツの識別子と、その操作対象コンテンツ内の入力欄の位置の組合せ、及び、その操作の回数を含む操作情報を特定する入力補助システム。
【産業上の利用可能性】
【0108】
本発明は、閲覧履歴もしくはコンテキスト情報を利用した入力補助システムや、入力予測システムに好適に適用される。また、本発明は、ユーザが指定したデータの引き継ぎ関係(関連付け)を、以後の入力の補助もしくは予測に利用する入力補助システムや、入力予測システムに好適に適用される。
【符号の説明】
【0109】
101 操作コンテンツ表示手段
102 参照コンテンツ表示手段
103,203,303 操作情報特定手段
104,204,304 操作情報履歴保持手段
105,205,305 入力内容推定手段
106 操作情報記録部
107 入力内容推定部
202 コンテキストデータ表示手段

【特許請求の範囲】
【請求項1】
データが入力される入力欄を含むコンテンツである操作対象コンテンツを表示する操作コンテンツ表示手段と、
前記操作対象コンテンツに入力されるデータが含まれるコンテンツである参照コンテンツを表示する参照コンテンツ表示手段と、
前記操作対象コンテンツの入力欄にデータが入力されるときに、当該操作対象コンテンツの入力欄の位置と、当該入力欄へ入力される前記参照コンテンツのデータ位置とを関連付ける操作を示す情報である操作情報を、当該データ位置の選択操作及び当該入力欄へのデータ入力操作によって特定する操作情報特定手段と、
前記入力欄の位置と前記参照コンテンツのデータの位置とを関連付けて記憶する操作情報履歴保持手段と、
前記操作情報特定手段が特定した操作情報をもとに、前記入力欄の位置と前記参照コンテンツのデータの位置とを関連付けて前記操作情報履歴保持手段に登録する操作情報履歴登録手段と、
前記操作情報履歴保持手段に記憶された参照コンテンツのデータ位置に表示されたデータを、当該データ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、当該入力欄に前記データを表示する入力内容推定手段とを備えた
ことを特徴とする入力補助システム。
【請求項2】
参照コンテンツ表示手段は、参照コンテンツとしてユーザの閲覧履歴を表示し、
操作情報特定手段は、入力欄の位置と当該入力欄へ入力されるユーザの閲覧履歴のデータ位置とを関連付ける操作情報を特定し、
操作情報履歴登録手段は、操作情報特定手段が特定した操作情報をもとに、前記入力欄の位置と前記ユーザの閲覧履歴のデータ位置とを関連付けて操作情報履歴保持手段に登録し、
入力内容推定手段は、前記ユーザの閲覧履歴のデータ位置に表示されたデータを、当該データ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定する
請求項1に記載の入力補助システム。
【請求項3】
参照コンテンツ表示手段は、参照コンテンツとして、機器によって測定される現在の状態を表すデータであるコンテキストデータを表示し、
操作情報特定手段は、入力欄の位置と当該入力欄へ入力される前記コンテキストデータのデータ位置とを関連付ける操作情報を特定し、
操作情報履歴登録手段は、操作情報特定手段が特定した操作情報をもとに、前記入力欄の位置と前記コンテキストデータのデータ位置とを関連付けて操作情報履歴保持手段に登録し、
入力内容推定手段は、前記コンテキストデータのデータ位置に表示されたデータを、当該データ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定する
請求項1に記載の入力補助システム。
【請求項4】
操作情報履歴登録手段は、操作情報が示す操作が行われた回数を当該操作情報と関連付けて操作情報履歴保持手段に登録し、
入力内容推定手段は、前記操作情報履歴保持手段に記憶された回数が予め定められた回数以上である場合に、当該回数に関連付けられた参照コンテンツのデータ位置に表示されたデータを、当該データ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定する
請求項1から請求項3のうちのいずれか1項に記載の入力補助システム。
【請求項5】
操作情報特定手段は、参照データを加工する方法を示す情報である加工情報を、操作情報を特定する際に合わせて指定される操作によって特定し、
操作情報履歴登録手段は、加工する参照データと前記加工情報とを関連付けて操作情報履歴保持手段に登録し、
入力内容推定手段は、前記加工情報に基づいて加工した参照データを操作対象コンテンツの入力欄に表示する
請求項1から請求項4のうちのいずれか1項に記載の入力補助システム。
【請求項6】
操作情報特定手段は、ポインティングデバイスによるカーソル操作をもとに操作情報を特定する
請求項1から請求項5のうちのいずれか1項に記載の入力補助システム。
【請求項7】
操作情報特定手段は、参照コンテンツ内で行われるデータのコピー操作と、操作対象コンテンツへのペースト操作とから操作情報を特定する
請求項1から請求項6のうちのいずれか1項に記載の入力補助システム。
【請求項8】
操作情報特定手段は、参照コンテンツの識別子と、当該参照コンテンツ内の参照データの位置と、操作対象コンテンツの識別子と、当該操作対象コンテンツ内の入力欄の位置の組合せ、及び、操作の回数を含む操作情報を特定する
請求項1から請求項7のうちのいずれか1項に記載の入力補助システム。
【請求項9】
データが入力される入力欄を含むコンテンツである操作対象コンテンツを表示し、
前記操作対象コンテンツに入力されるデータが含まれるコンテンツである参照コンテンツを表示し、
前記操作対象コンテンツの入力欄にデータが入力されるときに、当該操作対象コンテンツの入力欄の位置と、当該入力欄へ入力される前記参照コンテンツのデータ位置とを関連付ける操作を示す情報である操作情報を、当該データ位置の選択操作及び当該入力欄へのデータ入力操作によって特定し、
特定された操作情報をもとに、前記入力欄の位置と前記参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段に登録し、
前記操作情報履歴保持手段に記憶された参照コンテンツのデータ位置に表示されたデータを、当該データ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、当該入力欄に前記データを表示する
ことを特徴とする入力補助方法。
【請求項10】
コンピュータに、
データが入力される入力欄を含むコンテンツである操作対象コンテンツを表示する操作コンテンツ表示処理、
前記操作対象コンテンツに入力されるデータが含まれるコンテンツである参照コンテンツを表示する参照コンテンツ表示処理、
前記操作対象コンテンツの入力欄にデータが入力されるときに、当該操作対象コンテンツの入力欄の位置と、当該入力欄へ入力される前記参照コンテンツのデータ位置とを関連付ける操作を示す情報である操作情報を、当該データ位置の選択操作及び当該入力欄へのデータ入力操作によって特定する操作情報特定処理、
特定された操作情報をもとに、前記入力欄の位置と前記参照コンテンツのデータの位置とを関連付けて操作情報履歴保持手段に登録する操作情報履歴登録処理、および、
前記操作情報履歴保持手段に記憶された参照コンテンツのデータ位置に表示されたデータを、当該データ位置に関連付けられた操作対象コンテンツの入力欄に入力するデータと推定して、当該入力欄に前記データを表示する入力内容推定処理
を実行させるための入力補助プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate