情報入力装置および情報入力方法
【課題】利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減すること。
【解決手段】撮影部13に対して文書を配置した利用者から撮影指示を受け付けると、撮影画像生成部17aは、撮影画像を生成し、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御する。そして、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行し、表示制御部17bは、利用者が所望する処理を指定するための指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御する。端末制御部17dは、利用者により処理内容が指定された場合、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信する。
【解決手段】撮影部13に対して文書を配置した利用者から撮影指示を受け付けると、撮影画像生成部17aは、撮影画像を生成し、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御する。そして、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行し、表示制御部17bは、利用者が所望する処理を指定するための指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御する。端末制御部17dは、利用者により処理内容が指定された場合、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報入力装置および情報入力方法に関する。
【背景技術】
【0002】
従来より、携帯電話などの携帯端末やPC(Personal Computer)などの利用者端末に対して利用者が所望の情報を入力する際の労力を軽減するための多彩なサービスが知られている。
【0003】
例えば、携帯電話の付属カメラで2次元コードであるQRコードを撮影し、撮影したQRコードに記載されているURLを読み取ることで、利用者が所望するWebsiteを表示するサービスが知られている(例えば、非特許文献1参照)。かかるサービスを用いることで、利用者は、URLをキー入力することなく、所望するWebsiteを閲覧することができる。
【0004】
また、文字認識機能を有する携帯電話の付属カメラで撮影した画像から利用者が所望する文字列を認識するサービスや、携帯電話の付属カメラで撮影した画像から、画像内に埋め込まれている「電子透かし」の情報を読み取るサービスも知られている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】“バーコード読み取り機能”、[online]、[平成21年3月30日検索]、インターネット<http://www.nttdocomo.co.jp/service/func_tool/barcode/index.html>
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上記した従来の技術は、QRコードや画像に描出されている文字列や電子透かしの情報など、個々の情報源から利用者が所望する情報を読み取ることができるものの、特定の情報源からしか利用者が所望する情報を読み取れなかった。
【0007】
すなわち、上記した従来の技術は、利用者が所望する情報を入力する際の労力を低減できる対象となる情報源が限定されているという課題があった。
【0008】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、
利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる情報入力装置および情報入力方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した課題を解決し、目的を達成するために、この装置は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置であって、前記利用者が配置した文書を撮影して撮影画像を生成する撮影手段と、前記撮影手段によって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御手段と、前記表示制御手段の制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御手段と、を備えたことを要件とする。
【0010】
また、この方法は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置に適用される情報入力方法であって、前記利用者が配置した文書を撮影して撮影画像を生成する撮影ステップと、前記撮影ステップによって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御ステップと、前記表示制御ステップの制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御ステップと、を含んだことを要件とする。
【発明の効果】
【0011】
開示の装置および方法によれば、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。
【図面の簡単な説明】
【0012】
【図1】図1は、実施例1における情報入力装置の外観例を説明するための図である。
【図2】図2は、実施例1における情報入力装置の構成を説明するためのブロック図である。
【図3】図3は、実施例1において用いられる文書の具体例を説明するための図である。
【図4】図4は、情報認識部による文字列の認識処理を説明するための図である。
【図5】図5は、実施例1にて表示されるタッチパネルを説明するための図である。
【図6】図6は、端末制御部による処理結果を説明するための図(1)である。
【図7】図7は、端末制御部による処理結果を説明するための図(2)である。
【図8】図8は、実施例1における情報入力装置の処理を説明するためのフローチャートである。
【図9】図9は、実施例1における利用者端末の処理を説明するためのフローチャートである。
【図10】図10は、実施例2における情報入力装置を説明するための図である。
【図11】図11は、実施例2における情報入力装置の処理を説明するためのフローチャートである。
【図12】図12は、変形例を説明するための図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照して、この発明に係る情報入力装置および情報入力方法の実施例を詳細に説明する。なお、以下では、本発明に係る情報入力方法を実行する情報入力装置を実施例として説明する。
【実施例1】
【0014】
まず、図1を用いて、実施例1における情報入力装置の外観の一例について説明する。図1は、実施例1における情報入力装置の外観例を説明するための図である。
【0015】
実施例1における情報入力装置10は、図1の(A)に示すように、PC(Personal Computer)や携帯電話といった利用者が操作する利用者端末20と接続されている。例えば、情報入力装置10と利用者端末20とは、通信ケーブルを介して接続されている。なお、本発明は、情報入力装置10と利用者端末20との間でデータ通信が可能であるならば、任意の接続形態が適用可能である。
【0016】
そして、情報入力装置10は、図1の(B)に示すように、下面に撮影機能を有し、上面に撮影機能によって撮影された画像を表示したり、利用者が操作指示を入力するためのタッチパネルを表示したりするための表示機能を有する。例えば、利用者は、図1の(C)に示すように、情報入力装置10を上から覗き込むことにより、表示機能によって表示されている画像を参照する。
【0017】
ここで、実施例1における情報入力装置10は、利用者端末20と協働して利用者が所望する情報の入力処理を実行するが、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となることに主たる特徴がある。
【0018】
以下、この主たる特徴について、図2〜7を用いて説明する。なお、図2は、実施例1における情報入力装置の構成を説明するためのブロック図であり、図3は、実施例1において用いられる文書の具体例を説明するための図であり、図4は、情報認識部による文字列の認識処理を説明するための図であり、図5は、実施例1にて表示されるタッチパネルを説明するための図であり、図6および7は、端末制御部による処理結果を説明するための図である。
【0019】
図2に示すように、実施例1における情報入力装置10は、入力部11と、表示部12と、撮影部13と、通信部14と、入出力制御I/F部15と、記憶部16と、制御部17とを有し、利用者端末20と接続される。
【0020】
利用者端末20は、PCや携帯電話など、利用者が操作する端末であり、特に本実施例に密接に関係するものとして、アプリケーション群21を有する。アプリケーション群21は、利用者が直接的または間接的に入力した情報を用いて、各種処理を実行する各種アプリケーションから構成され、アプリケーション群21の各種アプリケーションは、図示しない利用者端末20が有するOS(Operating System)による制御のもと、所定の処理を実行する。なお、本実施例において、各種処理を実行するアプリケーションについては、後に詳述する。
【0021】
入力部11は、利用者から操作指示を受け付ける。具体的には、入力部11は、操作指示を入力するための各種ボタンや、表示部12が表示するタッチパネルなどを介して、利用者から操作指示を受け付ける。
【0022】
表示部12は、図1を用いて説明した表示機能に対応し、後述する撮影画像生成部17aによって生成された撮影画像を表示したり、タッチパネルを表示したりするためのモニタである。
【0023】
撮影部13は、図1を用いて説明した撮影機能に対応し、利用者が配置した印刷物や手書きのメモなどの文書を撮影するカメラであり、例えば、CCDカメラなどが用いられる。
【0024】
通信部14は、利用者端末20と情報入力装置10との間でデータの送受信を行なう装置である。
【0025】
入出力制御I/F部15は、入力部11、表示部12、撮影部13および通信部14と、記憶部16および制御部17との間におけるデータ転送を制御する。
【0026】
記憶部16は、制御部17による各種処理結果を記憶し、図2に示すように、特に本実施例に密接に関連するものとして、撮影画像記憶部16aおよび認識結果記憶部16bを有する。
【0027】
撮影画像記憶部16aは、後述する撮影画像生成部17aによる処理結果を記憶し、認識結果記憶部16bは、後述する情報認識部17cによる処理結果を記憶するが、これらについては、後に詳述する。
【0028】
制御部17は、入出力制御I/F部15から転送された情報に基づいて、各種処理を実行し、特に本実施例に密接に関連するものとして、撮影画像生成部17aと、表示制御部17bと、情報認識部17cと、端末制御部17dとを有する。
【0029】
撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから画像(以下、撮影画像と記す)を生成し、生成した撮影画像を撮影画像記憶部16aに格納する。
【0030】
例えば、まず、利用者は、読み取りたい情報が記載されている文書(印刷物や、はがきなど)を机などの水平な場所に配置する。そして、利用者は、文書の上に撮影部13を置いたのち、入力部11が有する撮影開始ボタンを押下する。
【0031】
撮影開始ボタンが押下されると、撮影部13は、撮影データを取得し、取得した撮影データを、撮影画像生成部17aに転送する。そして、撮影画像生成部17aは、転送された撮影データから、利用者が撮影部13に対して配置した文書の撮影画像を生成する。
【0032】
表示制御部17bは、撮影画像記憶部16aに格納された撮影画像を読み出して、表示部12のモニタにて表示するように制御する。また、表示制御部17bは、利用者がモニタにて表示された撮影画像にて指定した範囲を、白黒反転表示するように制御する。また、表示制御部17bは、利用者が所望する処理を指定するためのタッチパネルを表示部12のモニタに表示するように制御する。
【0033】
情報認識部17cは、文字認識機能により、表示制御部17bの制御に基づいて表示部12のモニタにて表示された撮影画像、または、撮影画像にて利用者が指定した範囲に描出されている文字列を認識する。そして、情報認識部17cは、認識した文字列を認識結果として、認識結果記憶部16bに格納する。
【0034】
端末制御部17dは、利用者が指定した処理に対応するアプリケーションにて、情報認識部17cが認識した文字列を用いた処理が実行されるように制御するための実行指示を、通信部14を介して、利用者端末20のOSに通知する。
【0035】
上述した制御部17による一連の処理について、図3の(A)および(B)に示す文書を用いて具体的に説明する。ここで、図3の(A)に示す「原稿」は、利用者が参照している書類の原稿を印刷した文書であり、「この発明は人にやさしいインタフェースを提供します。」と記載されている。
【0036】
また、図3の(B)に示す「はがき」は、利用者宛に「A田B子」さんから届いた文書であり、「こんにちは 連絡くださいね。」のメッセージとともに、「A田B子」さんの電話番号、電子メールアドレスおよびURLが記載されている。
【0037】
そこで、利用者は、自身が所望する情報を読み取るために、撮影部13にて図3の(A)および(B)に示す文書を撮影する。これにより、撮影画像生成部17aは撮影画像を生成し、表示制御部17bの制御により、表示部12のモニタは、利用者に対して、撮影画像が文書から浮き上がって見えているかのように表示する。
【0038】
ここで、利用者は、図4の(A)に示すように、図3の(A)に示す「原稿」の撮影画像「この発明は人に」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。例えば、利用者は、表示部12のモニタ上にて「発」から「明」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(A)に示すように、指定された「発明」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
【0039】
これにより、図4の(A)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「発明」を認識する。
【0040】
また、利用者は、図4の(B)に示すように、図3の(B)に示す「はがき」の撮影画像「L 090−xxxx−yyyy」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「0」から「y」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(B)に示すように、指定された「090−xxxx−yyyy」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
【0041】
これにより、図4の(B)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「090−xxxx−yyyy」を認識する。
【0042】
また、利用者は、図4の(C)に示すように、図3の(B)に示す「はがき」の撮影画像「ール ABAB@cde.com」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「A」から「m」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(C)に示すように、指定された「ABAB@cde.com」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
【0043】
これにより、図4の(C)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「ABAB@cde.com」を認識する。
【0044】
また、利用者は、図4の(D)に示すように、図3の(B)に示す「はがき」の撮影画像「L http://www.efgf.com」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「h」から「m」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(D)に示すように、指定された「http://www.efgf.com」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
【0045】
これにより、図4の(D)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「http://www.efgf.com」を認識する。
【0046】
なお、撮影範囲が適切であり、撮影画像に読み取り対象となる情報のみが描出されている場合、利用者は、範囲指定を実行せずに、例えば、図示しない認識開始ボタンを押下することで、情報認識部17cによる文字認識処理を実行させてもよい。
【0047】
そして、情報認識部17cは、認識した「発明」や「090−xxxx−yyyy」や「ABAB@cde.com」や「http://www.efgf.com」を、認識結果記憶部16bに格納する。
【0048】
そして、表示制御部17bは、情報認識部17cが認識された文字列が認識結果記憶部16bに格納されると、表示部12のモニタ上に、図5に示すように、タッチパネルとして、「指定一覧」を表示させる。ここで、「指定一覧」には、利用者が所望する処理を指定するための各項目が表示されており、例えば、「辞書」、「電話」、「メール」、「サイト閲覧」、「サイト検索」、「メール検索」、「番号検索」などが一覧表示される。そして、利用者は、認識された文字列を用いて自身が実行したい処理を、指定一覧の項目をタップすることで指定する。
【0049】
そして、端末制御部17dは、「指定一覧」にて指定された処理に該当するアプリケーションにて、『認識された文字列を用いた処理が実行されるように制御するための実行指示』を、通信部14を介して利用者端末20のOSに送信する。なお、実行指示には、指定された処理に該当するアプリケーションの起動指示も含まれる。
【0050】
例えば、端末制御部17dは、文字列「発明」が認識され、「指定一覧」の「辞書」が利用者によりタップされた場合、『アプリケーション群21の辞書検索アプリケーションにて、「発明」をクエリーとする辞書検索が実行されるように制御するための実行指示』を送信する。
【0051】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の辞書検索アプリケーションは、図6の(A)に示すように、「発明」の辞書検索を実行して、検索結果を表示する。
【0052】
また、端末制御部17dは、文字列「090−xxxx−yyyy」が認識され、「指定一覧」の「電話」が利用者によりタップされた場合、『アプリケーション群21の電話アプリケーションにて、「090−xxxx−yyyy」を電話番号として発信する処理が実行されるように制御するための実行指示』を送信する。
【0053】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電話アプリケーションは、図6の(B)に示すように、文字列「090−xxxx−yyyy」を電話番号入力画面に設定する。なお、実際の電話発信は、利用者により電話番号入力画面の「発信」ボタンが押下されない限り実行されない。
【0054】
また、端末制御部17dは、文字列「ABAB@cde.com」が認識され、「指定一覧」の「メール」が利用者によりタップされた場合、『アプリケーション群21の電子メールアプリケーションにて、「ABAB@cde.com」を宛先アドレスとする電子メールの作成が実行されるように制御するための実行指示』を送信する。
【0055】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電子メールアプリケーションは、図6の(C)に示すように、文字列「ABAB@cde.com」をメール作成画面の宛先欄に設定する。
【0056】
また、端末制御部17dは、文字列「http://www.efgf.com」が認識され、「指定一覧」の「サイト閲覧」が利用者によりタップされた場合、『アプリケーション群21のブラウザにて、「http://www.efgf.com」をURLとするウェブサイトの表示が実行されるように制御するための実行指示』を送信する。
【0057】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21のブラウザは、図6の(D)に示すように、「http://www.efgf.com」をURLの入力欄に設定する。なお、図には示さないが、アプリケーション群21のブラウザは、URLの入力欄に設定されたウェブサイトに自動的にアクセスする。
【0058】
あるいは、端末制御部17dは、文字列「発明」が認識され、「指定一覧」の「サイト検索」が利用者により押下された場合、『アプリケーション群21のブラウザにて、検索サイト「http://www.abcd.com」にて、「発明」をクエリーとするサイト検索が実行されるように制御するための実行指示』を送信する。
【0059】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21のブラウザは、図7の(A)に示すように、検索サイト「http://www.abcd.com」のキーワード入力欄に「発明」を設定して、ウェブサイトの検索を実行する。そして、アプリケーション群21のブラウザは、図7の(B)に示すように、ウェブサイトの検索結果を表示する。
【0060】
あるいは、端末制御部17dは、文字列「C山D男」が認識され、「指定一覧」の「メール検索」が利用者により押下された場合、『アプリケーション群21の電子メールアプリケーションにて、「C山D男」の電子メールアドレス検索が実行されるように制御するための実行指示』を送信する。
【0061】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電子メールアプリケーションは、図7の(C)に示すように、「C山D男」のメールアドレスを検索して、検索結果「CDCD@cde.com」を表示する。
【0062】
あるいは、端末制御部17dは、文字列「C山D男」が認識され、「指定一覧」の「番号検索」が利用者により押下された場合、『アプリケーション群21の電話アプリケーションにて、「C山D男」の電子番号検索が実行されるように制御するための実行指示』を送信する。
【0063】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電話アプリケーションは、図7の(D)に示すように、「C山D男」のメールアドレスを検索して、検索結果「090−xxxx−zzzz」を表示する。
【0064】
なお、上記では、アプリケーション群21による処理結果が、利用者端末20にて表示される場合について説明したが、本発明はこれに限定されるものではなく、アプリケーション群21による処理結果を受信した情報入力装置10の表示部12にて表示される場合であってもよい。
【0065】
続いて、図8および図9を用いて実施例1における情報入力装置10および利用者端末20の処理の手順について説明する。図8は、実施例1における情報入力装置の処理を説明するためのフローチャートであり、図9は、実施例1における利用者端末の処理を説明するためのフローチャートである。
【0066】
図8に示すように、本実施例における情報入力装置10は、利用者が撮影部13に対して文書を配置したうえで撮影開始ボタンを押下することにより、撮影指示を受け付けると(ステップS101肯定)、撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから撮影画像を生成する(ステップS102)。
【0067】
そして、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御し(ステップS103)、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行する(ステップS104)。
【0068】
そののち、表示制御部17bは、指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御し(ステップS105)、端末制御部17dは、利用者により処理内容が指定されたか否かを判定する(ステップS106)。
【0069】
端末制御部17dは、利用者により処理内容が指定されない場合(ステップS106否定)、処理内容を受け付けるまで待機する。
【0070】
一方、利用者により処理内容が指定された場合(ステップS106肯定)、端末制御部17dは、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信し(ステップS107)、処理を終了する。
【0071】
次に、利用者端末20の処理について説明する。図9に示すように、実施例1における利用者端末20は、情報入力装置10から実行指示を受け付けると(ステップS201肯定)、利用者端末20のOSは、アプリケーション群21のうち、実行指示にて指定されたアプリケーションを起動させる(ステップS202)。
【0072】
そして、利用者端末20のOSは、起動したアプリケーションにて、実行指示により受信した文字列を用いた処理を実行するように制御し(ステップS203)、そののち、処理結果を表示するように制御し(ステップS204)、処理を終了する。なお、利用者端末20は、処理結果を自身が有するモニタにて表示するが、上述したように、処理結果は、情報入力装置10の表示部12にて表示される場合であってもよい。
【0073】
上述してきたように、実施例1では、撮影部13に対して文書を配置した利用者から撮影指示を受け付けると、撮影画像生成部17aは、撮影部13が撮影した文書の撮影画像を生成し、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御する。そして、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行し、表示制御部17bは、利用者が所望する処理を指定するための指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御する。端末制御部17dは、利用者により処理内容が指定された場合、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信する。
【0074】
したがって、利用者は、自身が入力したい情報が記載されている任意の情報源から所望の情報を自動的に入力することができ、上記した主たる特徴の通り、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。
【0075】
また、文字認識の範囲を指定することができるので、文字認識処理の正確性を保証することができ、利用者の情報入力にかかる労力をさらに低減することが可能となる。また、情報入力だけでなく、入力された情報に基づく処理を自動的に利用者端末20にて実行させることができ、利用者の操作指示入力にかかる労力を低減することが可能となる。
【実施例2】
【0076】
上述した実施例1では、利用者端末20にて実行される処理が利用者によって指定される場合について説明したが、実施例2では、利用者端末20にて実行される処理が情報入力装置10によって特定される場合について説明する。
【0077】
実施例2における情報入力装置10は、図2を用いて説明した実施例1における情報入力装置10と同様の構成となるが、情報認識部17cが実行する処理内容が実施例1と異なる。以下、これを中心に説明する。
【0078】
実施例2における情報認識部17cは、認識した文字列に含まれる情報に応じて、利用者が所望する処理を実行するためのアプリケーションを特定する。例えば、実施例2における情報認識部17cは、文字列に含まれる特徴的な情報に応じて、認識した文字列が電話番号であるか否か、電子メールアドレスであるか否か、URLであるか否かなどを解析して、解析結果と連携するアプリケーションを特定する。
【0079】
例えば、情報認識部17cは、図10の(A)に示すように、文字認識により「090−xxxx−yyyy」を文字列として認識した場合、連続する数字の桁数およびハイフンの位置から、「090−xxxx−yyyy」が電話番号であり、連携するアプリケーションが電話アプリケーションであると特定する。
【0080】
また、情報認識部17cは、図10の(B)に示すように、文字認識により「ABAB@cde.com」を文字列として認識した場合、アットマークが含まれることから「ABAB@cde.com」が電子メールアドレスであり、連携するアプリケーションが電子メールアプリケーションであると特定する。
【0081】
また、情報認識部17cは、図10の(C)に示すように、文字認識により「http://www.efgf.com」を文字列として認識した場合、「http」や「www」などが含まれることから「http://www.efgf.com」がURLであり、連携するアプリケーションがブラウザであると特定する。
【0082】
そして、情報認識部17cは、認識した文字列および特定したアプリケーションを認識結果記憶部16bに格納し、端末制御部17dは、認識結果記憶部16bから特定されたアプリケーションおよび文字列を読み出して、通信部14を介して、実行指示を利用者端末20に送信する。
【0083】
続いて、図11を用いて実施例1における情報入力装置10の処理の手順について説明する。図11は、実施例2における情報入力装置の処理を説明するためのフローチャートである。なお、実施例2における利用者端末20の処理は、図9を用いて説明した実施例1における利用者端末20の処理と同様であるので、説明を省略する。
【0084】
図11に示すように、本実施例における情報入力装置10は、利用者が撮影部13に対して文書を配置したうえで撮影開始ボタンを押下することにより、撮影指示を受け付けると(ステップS301肯定)、撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから撮影画像を生成する(ステップS302)。
【0085】
そして、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御し(ステップS303)、情報認識部17cは、表示範囲または指定範囲にて文字列認識処理を実行する(ステップS304)。
【0086】
そののち、情報認識部17cは、認識した文字列を解析して、解析結果と連携するアプリケーションを特定し(ステップS305)、端末制御部17dは、通信部14を介して、特定したアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信し(ステップS306)、処理を終了する。
【0087】
なお、ステップS305において、情報認識部17cによりアプリケーションが特定されなかった場合は、実施例1と同様に、表示制御部17bが指定一覧を表示するように制御することで、利用者により処理の指定が行なわれてもよい。
【0088】
上述してきたように、実施例2では、利用者が所望する処理および利用者が所望する処理を実行可能なアプリケーションを自動的に特定するので、利用者の情報入力にかかる労力をより低減することが可能となる。
【0089】
なお、上記した実施例1および2では、情報入力装置10において、文字列を認識する場合について説明したが、本発明はこれに限定されるものではなく、利用者端末20において文字列を認識する場合であってもよい。これについて、図12を用いて説明する。なお、図12は、変形例について説明するための図である。
【0090】
すなわち、変形例における情報入力装置10は、図12に示すように、表示範囲または指定範囲の撮影画像を利用者端末20に送信し、利用者端末20は、自身が有する情報認識部を用いて、受信した撮影画像から文字列を認識する。これによっても、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。
【0091】
また、本発明は、情報入力装置10の撮影対象が、手書きメモである場合であっても適用可能である。さらに、本発明は、情報入力装置10の撮影対象が、上述したような紙媒体でなく、利用者端末20のモニタや、他の端末装置のモニタにて表示されている画面である場合であっても適用可能である。
【0092】
また、本発明は、情報認識部17cにバーコード読み取り機能や電子透かし読み取り機能をさらに付加して、一次元バーコードやQRコードなどの二次元バーコードや画像に埋め込まれた電子すかしの情報を読み取ることによって認識された文字列を用いて上述した情報入力処理を実行する場合であってもよい。
【0093】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0094】
なお、本実施例で説明した情報入力方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【0095】
以上のように、本発明に係る情報入力装置および情報入力方法は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する場合に有用であり、特に、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することに適する。
【符号の説明】
【0096】
10 情報入力装置
11 入力部
12 表示部
13 撮影部
14 通信部
15 入出力制御I/F部
16 記憶部
16a 撮影画像記憶部
16b 認識結果記憶部
17 制御部
17a 撮影画像生成部
17b 表示制御部
17c 情報認識部
17d 端末制御部
20 利用者端末
21 アプリケーション群
【技術分野】
【0001】
この発明は、情報入力装置および情報入力方法に関する。
【背景技術】
【0002】
従来より、携帯電話などの携帯端末やPC(Personal Computer)などの利用者端末に対して利用者が所望の情報を入力する際の労力を軽減するための多彩なサービスが知られている。
【0003】
例えば、携帯電話の付属カメラで2次元コードであるQRコードを撮影し、撮影したQRコードに記載されているURLを読み取ることで、利用者が所望するWebsiteを表示するサービスが知られている(例えば、非特許文献1参照)。かかるサービスを用いることで、利用者は、URLをキー入力することなく、所望するWebsiteを閲覧することができる。
【0004】
また、文字認識機能を有する携帯電話の付属カメラで撮影した画像から利用者が所望する文字列を認識するサービスや、携帯電話の付属カメラで撮影した画像から、画像内に埋め込まれている「電子透かし」の情報を読み取るサービスも知られている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】“バーコード読み取り機能”、[online]、[平成21年3月30日検索]、インターネット<http://www.nttdocomo.co.jp/service/func_tool/barcode/index.html>
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上記した従来の技術は、QRコードや画像に描出されている文字列や電子透かしの情報など、個々の情報源から利用者が所望する情報を読み取ることができるものの、特定の情報源からしか利用者が所望する情報を読み取れなかった。
【0007】
すなわち、上記した従来の技術は、利用者が所望する情報を入力する際の労力を低減できる対象となる情報源が限定されているという課題があった。
【0008】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、
利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる情報入力装置および情報入力方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した課題を解決し、目的を達成するために、この装置は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置であって、前記利用者が配置した文書を撮影して撮影画像を生成する撮影手段と、前記撮影手段によって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御手段と、前記表示制御手段の制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御手段と、を備えたことを要件とする。
【0010】
また、この方法は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置に適用される情報入力方法であって、前記利用者が配置した文書を撮影して撮影画像を生成する撮影ステップと、前記撮影ステップによって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御ステップと、前記表示制御ステップの制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御ステップと、を含んだことを要件とする。
【発明の効果】
【0011】
開示の装置および方法によれば、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。
【図面の簡単な説明】
【0012】
【図1】図1は、実施例1における情報入力装置の外観例を説明するための図である。
【図2】図2は、実施例1における情報入力装置の構成を説明するためのブロック図である。
【図3】図3は、実施例1において用いられる文書の具体例を説明するための図である。
【図4】図4は、情報認識部による文字列の認識処理を説明するための図である。
【図5】図5は、実施例1にて表示されるタッチパネルを説明するための図である。
【図6】図6は、端末制御部による処理結果を説明するための図(1)である。
【図7】図7は、端末制御部による処理結果を説明するための図(2)である。
【図8】図8は、実施例1における情報入力装置の処理を説明するためのフローチャートである。
【図9】図9は、実施例1における利用者端末の処理を説明するためのフローチャートである。
【図10】図10は、実施例2における情報入力装置を説明するための図である。
【図11】図11は、実施例2における情報入力装置の処理を説明するためのフローチャートである。
【図12】図12は、変形例を説明するための図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照して、この発明に係る情報入力装置および情報入力方法の実施例を詳細に説明する。なお、以下では、本発明に係る情報入力方法を実行する情報入力装置を実施例として説明する。
【実施例1】
【0014】
まず、図1を用いて、実施例1における情報入力装置の外観の一例について説明する。図1は、実施例1における情報入力装置の外観例を説明するための図である。
【0015】
実施例1における情報入力装置10は、図1の(A)に示すように、PC(Personal Computer)や携帯電話といった利用者が操作する利用者端末20と接続されている。例えば、情報入力装置10と利用者端末20とは、通信ケーブルを介して接続されている。なお、本発明は、情報入力装置10と利用者端末20との間でデータ通信が可能であるならば、任意の接続形態が適用可能である。
【0016】
そして、情報入力装置10は、図1の(B)に示すように、下面に撮影機能を有し、上面に撮影機能によって撮影された画像を表示したり、利用者が操作指示を入力するためのタッチパネルを表示したりするための表示機能を有する。例えば、利用者は、図1の(C)に示すように、情報入力装置10を上から覗き込むことにより、表示機能によって表示されている画像を参照する。
【0017】
ここで、実施例1における情報入力装置10は、利用者端末20と協働して利用者が所望する情報の入力処理を実行するが、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となることに主たる特徴がある。
【0018】
以下、この主たる特徴について、図2〜7を用いて説明する。なお、図2は、実施例1における情報入力装置の構成を説明するためのブロック図であり、図3は、実施例1において用いられる文書の具体例を説明するための図であり、図4は、情報認識部による文字列の認識処理を説明するための図であり、図5は、実施例1にて表示されるタッチパネルを説明するための図であり、図6および7は、端末制御部による処理結果を説明するための図である。
【0019】
図2に示すように、実施例1における情報入力装置10は、入力部11と、表示部12と、撮影部13と、通信部14と、入出力制御I/F部15と、記憶部16と、制御部17とを有し、利用者端末20と接続される。
【0020】
利用者端末20は、PCや携帯電話など、利用者が操作する端末であり、特に本実施例に密接に関係するものとして、アプリケーション群21を有する。アプリケーション群21は、利用者が直接的または間接的に入力した情報を用いて、各種処理を実行する各種アプリケーションから構成され、アプリケーション群21の各種アプリケーションは、図示しない利用者端末20が有するOS(Operating System)による制御のもと、所定の処理を実行する。なお、本実施例において、各種処理を実行するアプリケーションについては、後に詳述する。
【0021】
入力部11は、利用者から操作指示を受け付ける。具体的には、入力部11は、操作指示を入力するための各種ボタンや、表示部12が表示するタッチパネルなどを介して、利用者から操作指示を受け付ける。
【0022】
表示部12は、図1を用いて説明した表示機能に対応し、後述する撮影画像生成部17aによって生成された撮影画像を表示したり、タッチパネルを表示したりするためのモニタである。
【0023】
撮影部13は、図1を用いて説明した撮影機能に対応し、利用者が配置した印刷物や手書きのメモなどの文書を撮影するカメラであり、例えば、CCDカメラなどが用いられる。
【0024】
通信部14は、利用者端末20と情報入力装置10との間でデータの送受信を行なう装置である。
【0025】
入出力制御I/F部15は、入力部11、表示部12、撮影部13および通信部14と、記憶部16および制御部17との間におけるデータ転送を制御する。
【0026】
記憶部16は、制御部17による各種処理結果を記憶し、図2に示すように、特に本実施例に密接に関連するものとして、撮影画像記憶部16aおよび認識結果記憶部16bを有する。
【0027】
撮影画像記憶部16aは、後述する撮影画像生成部17aによる処理結果を記憶し、認識結果記憶部16bは、後述する情報認識部17cによる処理結果を記憶するが、これらについては、後に詳述する。
【0028】
制御部17は、入出力制御I/F部15から転送された情報に基づいて、各種処理を実行し、特に本実施例に密接に関連するものとして、撮影画像生成部17aと、表示制御部17bと、情報認識部17cと、端末制御部17dとを有する。
【0029】
撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから画像(以下、撮影画像と記す)を生成し、生成した撮影画像を撮影画像記憶部16aに格納する。
【0030】
例えば、まず、利用者は、読み取りたい情報が記載されている文書(印刷物や、はがきなど)を机などの水平な場所に配置する。そして、利用者は、文書の上に撮影部13を置いたのち、入力部11が有する撮影開始ボタンを押下する。
【0031】
撮影開始ボタンが押下されると、撮影部13は、撮影データを取得し、取得した撮影データを、撮影画像生成部17aに転送する。そして、撮影画像生成部17aは、転送された撮影データから、利用者が撮影部13に対して配置した文書の撮影画像を生成する。
【0032】
表示制御部17bは、撮影画像記憶部16aに格納された撮影画像を読み出して、表示部12のモニタにて表示するように制御する。また、表示制御部17bは、利用者がモニタにて表示された撮影画像にて指定した範囲を、白黒反転表示するように制御する。また、表示制御部17bは、利用者が所望する処理を指定するためのタッチパネルを表示部12のモニタに表示するように制御する。
【0033】
情報認識部17cは、文字認識機能により、表示制御部17bの制御に基づいて表示部12のモニタにて表示された撮影画像、または、撮影画像にて利用者が指定した範囲に描出されている文字列を認識する。そして、情報認識部17cは、認識した文字列を認識結果として、認識結果記憶部16bに格納する。
【0034】
端末制御部17dは、利用者が指定した処理に対応するアプリケーションにて、情報認識部17cが認識した文字列を用いた処理が実行されるように制御するための実行指示を、通信部14を介して、利用者端末20のOSに通知する。
【0035】
上述した制御部17による一連の処理について、図3の(A)および(B)に示す文書を用いて具体的に説明する。ここで、図3の(A)に示す「原稿」は、利用者が参照している書類の原稿を印刷した文書であり、「この発明は人にやさしいインタフェースを提供します。」と記載されている。
【0036】
また、図3の(B)に示す「はがき」は、利用者宛に「A田B子」さんから届いた文書であり、「こんにちは 連絡くださいね。」のメッセージとともに、「A田B子」さんの電話番号、電子メールアドレスおよびURLが記載されている。
【0037】
そこで、利用者は、自身が所望する情報を読み取るために、撮影部13にて図3の(A)および(B)に示す文書を撮影する。これにより、撮影画像生成部17aは撮影画像を生成し、表示制御部17bの制御により、表示部12のモニタは、利用者に対して、撮影画像が文書から浮き上がって見えているかのように表示する。
【0038】
ここで、利用者は、図4の(A)に示すように、図3の(A)に示す「原稿」の撮影画像「この発明は人に」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。例えば、利用者は、表示部12のモニタ上にて「発」から「明」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(A)に示すように、指定された「発明」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
【0039】
これにより、図4の(A)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「発明」を認識する。
【0040】
また、利用者は、図4の(B)に示すように、図3の(B)に示す「はがき」の撮影画像「L 090−xxxx−yyyy」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「0」から「y」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(B)に示すように、指定された「090−xxxx−yyyy」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
【0041】
これにより、図4の(B)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「090−xxxx−yyyy」を認識する。
【0042】
また、利用者は、図4の(C)に示すように、図3の(B)に示す「はがき」の撮影画像「ール ABAB@cde.com」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「A」から「m」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(C)に示すように、指定された「ABAB@cde.com」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
【0043】
これにより、図4の(C)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「ABAB@cde.com」を認識する。
【0044】
また、利用者は、図4の(D)に示すように、図3の(B)に示す「はがき」の撮影画像「L http://www.efgf.com」を参照して、情報認識部17cが文字認識を行なうための範囲を指定する。すなわち、上述したように、利用者は、表示部12のモニタ上にて「h」から「m」の範囲を指でなぞることで指定し、その結果、表示制御部17bは、図4の(D)に示すように、指定された「http://www.efgf.com」の範囲を白黒反転表示させるように制御する。そして、指定した範囲が間違いなく反転されていることを確認した利用者は、反転表示されている部分をタップする。
【0045】
これにより、図4の(D)に示すように、情報認識部17cは、文字認識により、撮影画像の指定範囲における文字列「http://www.efgf.com」を認識する。
【0046】
なお、撮影範囲が適切であり、撮影画像に読み取り対象となる情報のみが描出されている場合、利用者は、範囲指定を実行せずに、例えば、図示しない認識開始ボタンを押下することで、情報認識部17cによる文字認識処理を実行させてもよい。
【0047】
そして、情報認識部17cは、認識した「発明」や「090−xxxx−yyyy」や「ABAB@cde.com」や「http://www.efgf.com」を、認識結果記憶部16bに格納する。
【0048】
そして、表示制御部17bは、情報認識部17cが認識された文字列が認識結果記憶部16bに格納されると、表示部12のモニタ上に、図5に示すように、タッチパネルとして、「指定一覧」を表示させる。ここで、「指定一覧」には、利用者が所望する処理を指定するための各項目が表示されており、例えば、「辞書」、「電話」、「メール」、「サイト閲覧」、「サイト検索」、「メール検索」、「番号検索」などが一覧表示される。そして、利用者は、認識された文字列を用いて自身が実行したい処理を、指定一覧の項目をタップすることで指定する。
【0049】
そして、端末制御部17dは、「指定一覧」にて指定された処理に該当するアプリケーションにて、『認識された文字列を用いた処理が実行されるように制御するための実行指示』を、通信部14を介して利用者端末20のOSに送信する。なお、実行指示には、指定された処理に該当するアプリケーションの起動指示も含まれる。
【0050】
例えば、端末制御部17dは、文字列「発明」が認識され、「指定一覧」の「辞書」が利用者によりタップされた場合、『アプリケーション群21の辞書検索アプリケーションにて、「発明」をクエリーとする辞書検索が実行されるように制御するための実行指示』を送信する。
【0051】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の辞書検索アプリケーションは、図6の(A)に示すように、「発明」の辞書検索を実行して、検索結果を表示する。
【0052】
また、端末制御部17dは、文字列「090−xxxx−yyyy」が認識され、「指定一覧」の「電話」が利用者によりタップされた場合、『アプリケーション群21の電話アプリケーションにて、「090−xxxx−yyyy」を電話番号として発信する処理が実行されるように制御するための実行指示』を送信する。
【0053】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電話アプリケーションは、図6の(B)に示すように、文字列「090−xxxx−yyyy」を電話番号入力画面に設定する。なお、実際の電話発信は、利用者により電話番号入力画面の「発信」ボタンが押下されない限り実行されない。
【0054】
また、端末制御部17dは、文字列「ABAB@cde.com」が認識され、「指定一覧」の「メール」が利用者によりタップされた場合、『アプリケーション群21の電子メールアプリケーションにて、「ABAB@cde.com」を宛先アドレスとする電子メールの作成が実行されるように制御するための実行指示』を送信する。
【0055】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電子メールアプリケーションは、図6の(C)に示すように、文字列「ABAB@cde.com」をメール作成画面の宛先欄に設定する。
【0056】
また、端末制御部17dは、文字列「http://www.efgf.com」が認識され、「指定一覧」の「サイト閲覧」が利用者によりタップされた場合、『アプリケーション群21のブラウザにて、「http://www.efgf.com」をURLとするウェブサイトの表示が実行されるように制御するための実行指示』を送信する。
【0057】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21のブラウザは、図6の(D)に示すように、「http://www.efgf.com」をURLの入力欄に設定する。なお、図には示さないが、アプリケーション群21のブラウザは、URLの入力欄に設定されたウェブサイトに自動的にアクセスする。
【0058】
あるいは、端末制御部17dは、文字列「発明」が認識され、「指定一覧」の「サイト検索」が利用者により押下された場合、『アプリケーション群21のブラウザにて、検索サイト「http://www.abcd.com」にて、「発明」をクエリーとするサイト検索が実行されるように制御するための実行指示』を送信する。
【0059】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21のブラウザは、図7の(A)に示すように、検索サイト「http://www.abcd.com」のキーワード入力欄に「発明」を設定して、ウェブサイトの検索を実行する。そして、アプリケーション群21のブラウザは、図7の(B)に示すように、ウェブサイトの検索結果を表示する。
【0060】
あるいは、端末制御部17dは、文字列「C山D男」が認識され、「指定一覧」の「メール検索」が利用者により押下された場合、『アプリケーション群21の電子メールアプリケーションにて、「C山D男」の電子メールアドレス検索が実行されるように制御するための実行指示』を送信する。
【0061】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電子メールアプリケーションは、図7の(C)に示すように、「C山D男」のメールアドレスを検索して、検索結果「CDCD@cde.com」を表示する。
【0062】
あるいは、端末制御部17dは、文字列「C山D男」が認識され、「指定一覧」の「番号検索」が利用者により押下された場合、『アプリケーション群21の電話アプリケーションにて、「C山D男」の電子番号検索が実行されるように制御するための実行指示』を送信する。
【0063】
そして、実行指示を受信した利用者端末20のOSの制御により、アプリケーション群21の電話アプリケーションは、図7の(D)に示すように、「C山D男」のメールアドレスを検索して、検索結果「090−xxxx−zzzz」を表示する。
【0064】
なお、上記では、アプリケーション群21による処理結果が、利用者端末20にて表示される場合について説明したが、本発明はこれに限定されるものではなく、アプリケーション群21による処理結果を受信した情報入力装置10の表示部12にて表示される場合であってもよい。
【0065】
続いて、図8および図9を用いて実施例1における情報入力装置10および利用者端末20の処理の手順について説明する。図8は、実施例1における情報入力装置の処理を説明するためのフローチャートであり、図9は、実施例1における利用者端末の処理を説明するためのフローチャートである。
【0066】
図8に示すように、本実施例における情報入力装置10は、利用者が撮影部13に対して文書を配置したうえで撮影開始ボタンを押下することにより、撮影指示を受け付けると(ステップS101肯定)、撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから撮影画像を生成する(ステップS102)。
【0067】
そして、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御し(ステップS103)、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行する(ステップS104)。
【0068】
そののち、表示制御部17bは、指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御し(ステップS105)、端末制御部17dは、利用者により処理内容が指定されたか否かを判定する(ステップS106)。
【0069】
端末制御部17dは、利用者により処理内容が指定されない場合(ステップS106否定)、処理内容を受け付けるまで待機する。
【0070】
一方、利用者により処理内容が指定された場合(ステップS106肯定)、端末制御部17dは、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信し(ステップS107)、処理を終了する。
【0071】
次に、利用者端末20の処理について説明する。図9に示すように、実施例1における利用者端末20は、情報入力装置10から実行指示を受け付けると(ステップS201肯定)、利用者端末20のOSは、アプリケーション群21のうち、実行指示にて指定されたアプリケーションを起動させる(ステップS202)。
【0072】
そして、利用者端末20のOSは、起動したアプリケーションにて、実行指示により受信した文字列を用いた処理を実行するように制御し(ステップS203)、そののち、処理結果を表示するように制御し(ステップS204)、処理を終了する。なお、利用者端末20は、処理結果を自身が有するモニタにて表示するが、上述したように、処理結果は、情報入力装置10の表示部12にて表示される場合であってもよい。
【0073】
上述してきたように、実施例1では、撮影部13に対して文書を配置した利用者から撮影指示を受け付けると、撮影画像生成部17aは、撮影部13が撮影した文書の撮影画像を生成し、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御する。そして、情報認識部17cは、モニタに表示されている表示範囲または利用者が指定した指定範囲にて文字列認識処理を実行し、表示制御部17bは、利用者が所望する処理を指定するための指定一覧をタッチパネルとして表示部12のモニタにて表示するように制御する。端末制御部17dは、利用者により処理内容が指定された場合、通信部14を介して、処理内容に該当するアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信する。
【0074】
したがって、利用者は、自身が入力したい情報が記載されている任意の情報源から所望の情報を自動的に入力することができ、上記した主たる特徴の通り、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。
【0075】
また、文字認識の範囲を指定することができるので、文字認識処理の正確性を保証することができ、利用者の情報入力にかかる労力をさらに低減することが可能となる。また、情報入力だけでなく、入力された情報に基づく処理を自動的に利用者端末20にて実行させることができ、利用者の操作指示入力にかかる労力を低減することが可能となる。
【実施例2】
【0076】
上述した実施例1では、利用者端末20にて実行される処理が利用者によって指定される場合について説明したが、実施例2では、利用者端末20にて実行される処理が情報入力装置10によって特定される場合について説明する。
【0077】
実施例2における情報入力装置10は、図2を用いて説明した実施例1における情報入力装置10と同様の構成となるが、情報認識部17cが実行する処理内容が実施例1と異なる。以下、これを中心に説明する。
【0078】
実施例2における情報認識部17cは、認識した文字列に含まれる情報に応じて、利用者が所望する処理を実行するためのアプリケーションを特定する。例えば、実施例2における情報認識部17cは、文字列に含まれる特徴的な情報に応じて、認識した文字列が電話番号であるか否か、電子メールアドレスであるか否か、URLであるか否かなどを解析して、解析結果と連携するアプリケーションを特定する。
【0079】
例えば、情報認識部17cは、図10の(A)に示すように、文字認識により「090−xxxx−yyyy」を文字列として認識した場合、連続する数字の桁数およびハイフンの位置から、「090−xxxx−yyyy」が電話番号であり、連携するアプリケーションが電話アプリケーションであると特定する。
【0080】
また、情報認識部17cは、図10の(B)に示すように、文字認識により「ABAB@cde.com」を文字列として認識した場合、アットマークが含まれることから「ABAB@cde.com」が電子メールアドレスであり、連携するアプリケーションが電子メールアプリケーションであると特定する。
【0081】
また、情報認識部17cは、図10の(C)に示すように、文字認識により「http://www.efgf.com」を文字列として認識した場合、「http」や「www」などが含まれることから「http://www.efgf.com」がURLであり、連携するアプリケーションがブラウザであると特定する。
【0082】
そして、情報認識部17cは、認識した文字列および特定したアプリケーションを認識結果記憶部16bに格納し、端末制御部17dは、認識結果記憶部16bから特定されたアプリケーションおよび文字列を読み出して、通信部14を介して、実行指示を利用者端末20に送信する。
【0083】
続いて、図11を用いて実施例1における情報入力装置10の処理の手順について説明する。図11は、実施例2における情報入力装置の処理を説明するためのフローチャートである。なお、実施例2における利用者端末20の処理は、図9を用いて説明した実施例1における利用者端末20の処理と同様であるので、説明を省略する。
【0084】
図11に示すように、本実施例における情報入力装置10は、利用者が撮影部13に対して文書を配置したうえで撮影開始ボタンを押下することにより、撮影指示を受け付けると(ステップS301肯定)、撮影画像生成部17aは、撮影部13が撮影した文書の撮影データから撮影画像を生成する(ステップS302)。
【0085】
そして、表示制御部17bは、撮影画像を表示部12のモニタにて表示するように制御し(ステップS303)、情報認識部17cは、表示範囲または指定範囲にて文字列認識処理を実行する(ステップS304)。
【0086】
そののち、情報認識部17cは、認識した文字列を解析して、解析結果と連携するアプリケーションを特定し(ステップS305)、端末制御部17dは、通信部14を介して、特定したアプリケーションにて、認識された文字列を用いた処理が実行されるように制御する実行指示を利用者端末20に送信し(ステップS306)、処理を終了する。
【0087】
なお、ステップS305において、情報認識部17cによりアプリケーションが特定されなかった場合は、実施例1と同様に、表示制御部17bが指定一覧を表示するように制御することで、利用者により処理の指定が行なわれてもよい。
【0088】
上述してきたように、実施例2では、利用者が所望する処理および利用者が所望する処理を実行可能なアプリケーションを自動的に特定するので、利用者の情報入力にかかる労力をより低減することが可能となる。
【0089】
なお、上記した実施例1および2では、情報入力装置10において、文字列を認識する場合について説明したが、本発明はこれに限定されるものではなく、利用者端末20において文字列を認識する場合であってもよい。これについて、図12を用いて説明する。なお、図12は、変形例について説明するための図である。
【0090】
すなわち、変形例における情報入力装置10は、図12に示すように、表示範囲または指定範囲の撮影画像を利用者端末20に送信し、利用者端末20は、自身が有する情報認識部を用いて、受信した撮影画像から文字列を認識する。これによっても、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することが可能となる。
【0091】
また、本発明は、情報入力装置10の撮影対象が、手書きメモである場合であっても適用可能である。さらに、本発明は、情報入力装置10の撮影対象が、上述したような紙媒体でなく、利用者端末20のモニタや、他の端末装置のモニタにて表示されている画面である場合であっても適用可能である。
【0092】
また、本発明は、情報認識部17cにバーコード読み取り機能や電子透かし読み取り機能をさらに付加して、一次元バーコードやQRコードなどの二次元バーコードや画像に埋め込まれた電子すかしの情報を読み取ることによって認識された文字列を用いて上述した情報入力処理を実行する場合であってもよい。
【0093】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0094】
なお、本実施例で説明した情報入力方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【0095】
以上のように、本発明に係る情報入力装置および情報入力方法は、利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する場合に有用であり、特に、利用者が所望する情報を幅広い情報源から読み取ることで、利用者の情報入力にかかる労力を低減することに適する。
【符号の説明】
【0096】
10 情報入力装置
11 入力部
12 表示部
13 撮影部
14 通信部
15 入出力制御I/F部
16 記憶部
16a 撮影画像記憶部
16b 認識結果記憶部
17 制御部
17a 撮影画像生成部
17b 表示制御部
17c 情報認識部
17d 端末制御部
20 利用者端末
21 アプリケーション群
【特許請求の範囲】
【請求項1】
利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置であって、
前記利用者が配置した文書を撮影して撮影画像を生成する撮影手段と、
前記撮影手段によって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御手段と、
前記表示制御手段の制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御手段と、
を備えたことを特徴とする情報入力装置。
【請求項2】
前記表示制御手段は、前記利用者が所望する処理を指定するための指定画面を前記所定の表示部に表示するように制御し、
前記端末制御手段は、前記表示制御手段の制御に基づいて前記所定の表示部に表示された前記指定画面を参照した前記利用者によって指定された処理に該当するアプリケーションにて、前記認識された文字列を用いた処理が実行されるように制御するための実行指示を送信することを特徴とする請求項1に記載の情報入力装置。
【請求項3】
前記文字認識機能が認識した文字列に含まれる情報に応じて、前記利用者が所望する処理を実行するためのアプリケーションを特定する特定手段をさらに備え、
前記端末制御手段は、前記特定手段によって特定されたアプリケーションにて、前記認識された文字列を用いた処理が実行されるように制御するための実行指示を送信することを特徴とする請求項1に記載の情報入力装置。
【請求項4】
前記文字認識機能は、前記所定の表示部に表示された前記撮影画像において前記利用者が指定した範囲に描出されている文字列を認識することを特徴とする請求項2または3に記載の情報入力装置。
【請求項5】
利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置に適用される情報入力方法であって、
前記利用者が配置した文書を撮影して撮影画像を生成する撮影ステップと、
前記撮影ステップによって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御ステップと、
前記表示制御ステップの制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御ステップと、
を含んだことを特徴とする情報入力方法。
【請求項1】
利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置であって、
前記利用者が配置した文書を撮影して撮影画像を生成する撮影手段と、
前記撮影手段によって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御手段と、
前記表示制御手段の制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御手段と、
を備えたことを特徴とする情報入力装置。
【請求項2】
前記表示制御手段は、前記利用者が所望する処理を指定するための指定画面を前記所定の表示部に表示するように制御し、
前記端末制御手段は、前記表示制御手段の制御に基づいて前記所定の表示部に表示された前記指定画面を参照した前記利用者によって指定された処理に該当するアプリケーションにて、前記認識された文字列を用いた処理が実行されるように制御するための実行指示を送信することを特徴とする請求項1に記載の情報入力装置。
【請求項3】
前記文字認識機能が認識した文字列に含まれる情報に応じて、前記利用者が所望する処理を実行するためのアプリケーションを特定する特定手段をさらに備え、
前記端末制御手段は、前記特定手段によって特定されたアプリケーションにて、前記認識された文字列を用いた処理が実行されるように制御するための実行指示を送信することを特徴とする請求項1に記載の情報入力装置。
【請求項4】
前記文字認識機能は、前記所定の表示部に表示された前記撮影画像において前記利用者が指定した範囲に描出されている文字列を認識することを特徴とする請求項2または3に記載の情報入力装置。
【請求項5】
利用者が操作する利用者端末と協働して、当該利用者が所望する情報の入力処理を実行する情報入力装置に適用される情報入力方法であって、
前記利用者が配置した文書を撮影して撮影画像を生成する撮影ステップと、
前記撮影ステップによって生成された前記撮影画像を所定の表示部にて表示するように制御する表示制御ステップと、
前記表示制御ステップの制御に基づいて前記所定の表示部にて表示された前記撮影画像において描出されている文字列を自装置または前記利用者端末が有する文字認識機能により認識し、当該認識された文字列を用いた処理が、利用者が所望するアプリケーションにて実行されるように制御するための実行指示を前記利用者端末に送信する端末制御ステップと、
を含んだことを特徴とする情報入力方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−244211(P2010−244211A)
【公開日】平成22年10月28日(2010.10.28)
【国際特許分類】
【出願番号】特願2009−90523(P2009−90523)
【出願日】平成21年4月2日(2009.4.2)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成22年10月28日(2010.10.28)
【国際特許分類】
【出願日】平成21年4月2日(2009.4.2)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]