情報処理装置、プログラム、記録媒体および情報処理システム
【課題】電子ペンの筆記データに対して、半自動でユーザが所望する処理を行う。
【解決手段】ユーザにより付加された属性情報を伴う、電子ペン１００の筆記データを受信する受信部３１０と、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付ける認識部３５０と、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索する検索部３６０と、上記ユーザが所望する情報を、表示用のデータに加工する加工３７０部と、上記表示用のデータを表示する表示部３８０とを備える情報処理装置３００を提供する。
【解決手段】ユーザにより付加された属性情報を伴う、電子ペン１００の筆記データを受信する受信部３１０と、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付ける認識部３５０と、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索する検索部３６０と、上記ユーザが所望する情報を、表示用のデータに加工する加工３７０部と、上記表示用のデータを表示する表示部３８０とを備える情報処理装置３００を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、プログラム、記録媒体および情報処理システムに関する。
【背景技術】
【０００２】
情報処理装置への入力手段として、電子ペンが知られている。電子ペンは、例えば電磁誘導方式や、抵抗膜方式、赤外線・超音波方式、アノト（登録商標）方式などにより、ユーザの筆記を情報処理装置に入力する手段である。手書きにより直感的な入力が可能であることや、レシーバ（不要な場合もある）を含めても軽量で、持ち運びが容易であることが利点である。
【０００３】
上記のような電子ペンによって情報処理装置に入力されるユーザの筆記データは、一般には筆記が行われた位置を示す座標情報である。この座標情報に対して、例えばＯＣＲ（Optical Character Reader）の処理を行うことによって、情報処理装置において処理可能な文字列に変換することができる。
【０００４】
ユーザは、このように変換された文字列に対して、情報処理装置を用いて様々な操作を行うことができる。例えば、文書としてファイルを作成したり、メモした言葉の意味を調べるために検索のキーワードとして用いたりといった操作が考えられる。
【０００５】
そのため、電子ペンを含む情報処理システムにおいて、ユーザの筆記データを情報処理装置に入力するだけでなく、入力後の情報処理装置における操作をも容易にするための技術が開発されている。例えば特許文献１には、電子ペンを、ジョイスティックやマウスといった補助入力装置の機能としても使用する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１２２６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上述したように、電子ペンは、持ち運びが容易であることが利点の一つである。そのため、ユーザが、電子ペンとレシーバのみを持ち歩いて筆記を行ってデータを蓄積し、時間が経過した後でデータを情報処理装置に取り込む場合も多いと考えられる。このような場合、例えば、筆記データを情報処理装置に取り込んだ際にどのような処理をしようと考えていたかが、時間の経過によってわからなくなってしまうという問題があった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、電子ペンの筆記データに対して、半自動的にユーザが所望する処理を行うことが可能な、新規かつ改良された情報処理装置、プログラム、記録媒体および情報処理システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信する受信部と、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付ける認識部と、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索する検索部と、上記ユーザが所望する情報を、表示用のデータに加工する加工部と、上記表示用のデータを表示する表示部とを備える情報処理装置が提供される。
【００１０】
かかる構成により、電子ペンの筆記データから認識された文字列または図形に対して、筆記データが情報処理装置に受信された際に、ユーザによる別途の操作を伴わずに、ユーザが所望する処理を行うことができる。
【００１１】
上記認識部は、上記受信部によって上記属性情報を伴う筆記データが受信された場合、自動的に、上記文字列または上記図形の認識と、上記文字列または上記図形への上記属性情報の対応付けを行い、上記検索部は、上記文字列または上記図形に対応付けられた上記属性情報が存在する場合、自動的に、上記ユーザが所望する情報を検索してもよい。
【００１２】
上記検索部は、上記属性情報の種類に対応する種類の情報を検索してもよい。
【００１３】
上記情報処理装置は、ユーザの操作を受け付ける入力部をさらに備え、上記検索部は、上記属性情報の種類に対応する複数の種類の情報のうち、上記入力部が受け付けた上記ユーザの操作により指定された種類の情報を検索してもよい。
【００１４】
上記情報処理装置は、ネットワークと通信を行う通信部をさらに備え、上記検索部は、上記通信部を介して、上記ネットワーク上の情報から、上記ユーザが所望する情報を検索してもよい。
【００１５】
上記情報処理装置は、情報を格納する記憶部をさらに備え、上記検索部は、上記記憶部に格納された情報から、上記ユーザが所望する情報を検索してもよい。
【００１６】
上記検索部は、上記ユーザが所望する情報として、上記文字列に関連する文字情報を検索してもよい。
【００１７】
上記検索部は、上記ユーザが所望する情報として、上記図形に類似する画像情報を検索してもよい。
【００１８】
上記検索部は、上記ユーザが所望する情報として、上記図形を分解した図形要素情報を検索し、上記加工部は、上記図形要素情報を結合して、整形された上記図形の情報を生成してもよい。
【００１９】
上記検索部は、上記ユーザが所望する情報として、上記図形の領域に含まれる文字列に関連する画像情報を検索してもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、電子ペンと、上記電子ペンの筆記データを、ユーザにより付加された属性情報とともに送信するレシーバと、上記属性情報を伴う上記筆記データを受信する受信部と、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付ける認識部と、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索する検索部と、上記ユーザが所望する情報を、表示用のデータに加工する加工部と、上記表示用のデータを表示する表示部とを備える情報処理装置と、を含む、情報処理システムが提供される。
【００２１】
また、上記課題を解決するために、本発明のさらに別の観点によれば、ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信するステップと、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付けるステップと、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索するステップと、上記ユーザが所望する情報を、表示用のデータに加工するステップと、上記表示用のデータを表示するステップと、を、コンピュータに実行させるためのプログラムが提供される。
【００２２】
また、上記課題を解決するために、本発明のさらに別の観点によれば、ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信するステップと、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付けるステップと、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索するステップと、上記ユーザが所望する情報を、表示用のデータに加工するステップと、上記表示用のデータを表示するステップと、を、コンピュータに実行させるためのプログラムを格納した、コンピュータにより読み取り可能な記録媒体が提供される。
【発明の効果】
【００２３】
以上説明したように本発明によれば、電子ペンの筆記データに対して、容易にユーザが所望する処理を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る情報処理システムの概要を示す図である。
【図２】本発明の実施形態に係る電子ペンの機能構成の一例を示す図である。
【図３】本発明の実施形態に係る電子ペンにおける、切替スイッチの実装例を示す図である。
【図４】本発明の実施形態に係る電子ペンにおける、切替スイッチの別の実装例を示す図である。
【図５】本発明の実施形態に係るレシーバの機能構成の一例を示す図である。
【図６】本発明の実施形態に係る電子ペンからレシーバに送られる信号の例を示す図である。
【図７】本発明の実施形態に係るレシーバにおける、切替スイッチの実装例を示す図である。
【図８】本発明の実施形態に係る情報処理装置の機能構成の一例を示す図である。
【図９】本発明の第１の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。
【図１０】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図１１】同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。
【図１２】本発明の第２の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。
【図１３】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図１４】同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。
【図１５】本発明の第３の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。
【図１６】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図１７】本発明の第４の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。
【図１８】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図１９】同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。
【図２０】本発明の第５の実施形態に係る情報処理装置の処理を示すフローチャートである。
【図２１】同実施形態に係る情報処理装置の処理のうち、画像検索処理を示すフローチャートである。
【図２２】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図２３】同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
なお、説明は以下の順序で行うものとする。
１．実施形態の共通構成
１−１．情報処理システム
１−２．電子ペンおよびレシーバ
１−２−１．電子ペンによって属性情報を付加する場合
１−２−２．レシーバによって属性情報を付加する場合
１−３．情報処理装置
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態
７．補足
【００２７】
＜１．実施形態の共通構成＞
［１−１．情報処理システム］
図１は、本発明の実施形態に係る情報処理システム１０の概要を示す図である。情報処理システム１０は、電子ペン１００、レシーバ２００、および情報処理装置３００からなる。
【００２８】
電子ペン１００は、筆記を行うユーザによって保持される。ユーザが筆記を行っている間、電子ペン１００は、ペン先に備えられた超音波発信素子１１０および赤外線発信素子１２０により、超音波信号および赤外線信号を発信する。
【００２９】
レシーバ２００は、電子ペン１００から発信される超音波信号および赤外線信号を受信し、電子ペン１００の座標を特定して筆記データを生成する。ここで、筆記データとは、ユーザが電子ペン１００で筆記した筆跡のデータである。
【００３０】
また、レシーバ２００は、筆記データに属性情報を付加する。ここで、属性情報とは、筆記データを情報処理装置３００に取り込んで利用する際に、ユーザが筆記データに対して行いたい処理を示す付加的な情報である。属性情報を伴う筆記データはレシーバ２００に蓄積されてもよい。
【００３１】
上記の属性情報としては、例えば、「検索キーワードとして利用」、「類似した図形を検索」、「図として整形」、「文字または図形としてそのまま利用」などが考えられる。このような属性情報を付加するためのユーザの操作は、電子ペン１００またはレシーバ２００によって受け付けられる。
【００３２】
情報処理装置３００は、レシーバ２００と接続されて、属性情報を伴う筆記データを取り込む、例えばＰＣ（Personal Computer）である。ユーザが電子ペン１００を用いて筆記を行っている間、レシーバ２００と情報処理装置３００とは接続されていなくてもよい。この場合、属性情報を伴う筆記データはレシーバ２００に蓄積され、ユーザが一連の筆記を終えた後、レシーバ２００が情報処理装置３００に接続された際に一括して情報処理装置３００に取り込まれる。
【００３３】
さらに、情報処理装置３００は、属性情報を伴う筆記データに対して、様々な処理を行う。例えば、情報処理装置３００は、座標情報として取り込まれた筆記データから、ＯＣＲ等の処理により文字列や図形を認識する。情報処理装置３００はさらに、属性情報に基づいて、識別された文字列をキーワードとした情報の検索や、識別された図形の編集を行う。
【００３４】
なお、上記で説明した情報処理システム１０においては、電子ペン１００は赤外線・超音波方式を用い、レシーバ２００は情報処理装置３００と分離している。しかし、電子ペン１００には、電磁誘導方式、抵抗膜方式、アノト（登録商標）方式などの他の方式が用いられてもよい。また、レシーバ２００は、電子ペン１００の方式に応じて異なった構成となり、また情報処理装置３００と一体となったものでもよい。
【００３５】
［１−２．電子ペンおよびレシーバ］
（１−２−１．電子ペンによって属性情報を付加する場合）
本発明の実施形態においては、属性情報を付加するためのユーザの操作は、電子ペン１００またはレシーバ２００によって受け付けられる。ここではまず、属性情報を付加するためのユーザの操作が、電子ペン１００によって受け付けられる場合について説明する。
【００３６】
図２は、本発明の実施形態に係る電子ペン１００の機能構成の一例を示す図である。電子ペン１００は、例えば赤外線・超音波方式の場合、超音波発信素子１１０、赤外線発信素子１２０、属性切替部１３０、属性記憶部１４０、属性送信部１５０、およびインク１６０を備える。
【００３７】
超音波発信素子１１０は、超音波信号を発信する、例えばスピーカである。赤外線発信素子１２０は、赤外線信号を発信する、例えばＬＥＤ（Light Emitting Diode）である。超音波信号および赤外線信号は、ユーザが電子ペン１００を用いて筆記を行っている間のみ発信されるようにしてもよい。
【００３８】
属性切替部１３０は、属性情報を切り替えるためのユーザの操作を受け付ける。この属性切替部１３０は、例えば電子ペン１００に設けられたスイッチとして実装することができる。以下で、図３および図４を参照してその例について説明する。
【００３９】
図３は、本発明の実施形態に係る電子ペン１００において、属性切替部１３０をボタン式の切替スイッチ１３０Ａとして実装した電子ペン１００Ａを示す図である。切替スイッチ１３０Ａには、それぞれが属性に対応するボタンが設けられ、ユーザは、所望の属性に対応する切替スイッチ１３０Ａのボタンを押下して筆記を行う。
【００４０】
図４は、本発明の実施形態に係る電子ペン１００において、属性切替部１３０をスライド式の切替スイッチ１３０Ｂとして実装した電子ペン１００Ｂを示す図である。切替スイッチ１３０Ｂには、それぞれが属性に対応するポジションが設けられ、ユーザは、所望の属性に対応するポジションに切替スイッチ１３０Ｂをスライドさせて筆記を行う。
【００４１】
なお、属性切替部１３０は、上記の例の他にも、例えば回転式のスイッチや、単一のボタンの押下回数に応じて切り替えるスイッチなど、既知の様々な形のスイッチとして実装することができる。また、属性切替部１３０は、電子ペン１００の傾きや振動などを検知するセンサとして実装することもできる。
【００４２】
また、以下の実施形態の説明では特に言及しないが、ユーザが筆記データを「文字または図形としてそのまま利用」したい場合、すなわち属性を指定しない場合も、上記の属性切替部１３０による切替の対象となる。つまり、例えば上記で説明した切替スイッチ１３０Ａ，１３０Ｂには、以下の実施形態の説明で言及される属性に対応するボタンまたはポジションに加えて、「属性を指定しない」ことに対応するボタンまたはポジションが設けられてもよい。
【００４３】
再び図２を参照して、属性記憶部１４０は、属性切替部１３０が受け付けたユーザの操作によって切り替えられた属性情報を記憶する。属性記憶部１４０は、例えばフラッシュメモリ等の小型の記憶装置によって実装されてもよい。また、例えば属性切替部１３０が機械的な仕組みによりその位置を保持することが可能なスイッチである場合には、その位置が保持されることをもって属性記憶部１４０に代えてもよい。
【００４４】
属性送信部１５０は、選択されている属性情報を、筆記データに付加して送信する。属性送信部１５０は、超音波発信素子１１０および赤外線発信素子１２０とは別に設けられた無線通信デバイスとして実装されてもよい。また、属性送信部１５０は、超音波発信素子１１０または赤外線発信素子１２０が発信する信号に、属性情報を示す所定の変化を与えるためのデバイスであってもよい。
【００４５】
インク１６０は、電子ペン１００による紙への筆記を行う。インク１６０は、属性切替部１３０等の要素とは関係なく実装できるが、筆記の色を変えるための既知の方法により、属性切替部１３０によって切り替えられた属性に応じて異なった色となるようにすることもできる。
【００４６】
図５は、本発明の実施形態に係るレシーバ２００の機能構成の一例を示す図である。レシーバ２００は、例えば赤外線・超音波方式の場合、超音波受信素子２１０Ａ，２１０Ｂ、赤外線受信素子２２０、属性受信部２３０、位置検出部２４０、記憶部２５０、登録処理部２６０、送信部２７０を備える。
【００４７】
超音波受信素子２１０Ａ，２１０Ｂは、電子ペン１００が発信した超音波信号を受信する、例えばマイクである。赤外線受信素子２２０は、電子ペン１００が発信した赤外線信号を受信する、例えばフォトダイオードである。
【００４８】
属性受信部２３０は、電子ペン１００からの属性情報を受信する。この属性受信部２３０は、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０とは別に設けられた無線通信デバイスとして実装されてもよい。また、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０と組み合わせて実装されてもよい。
【００４９】
位置検出部２４０は、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０が受信した超音波信号および赤外線信号から、電子ペン１００の座標を特定し、筆記データを生成する。以下で、図６を参照して、属性受信部２３０および位置検出部２４０が行う処理の例について説明する。
【００５０】
図６は、本発明の実施形態に係る電子ペン１００からレシーバ２００に送られる、属性情報を含む信号の例を示す図である。レシーバ２００は、電子ペン１００の超音波発信素子１１０から発信される超音波信号を、超音波受信素子２１０Ａ，２１１Ｂで受信し、また、電子ペン１００の赤外線発信素子１２０から発信された赤外線信号を、赤外線受信素子２２０で受信する。
【００５１】
図示されている赤外線・超音波方式においては、赤外線受信素子２２０が電子ペン１００からの赤外線信号を受信する時刻と、超音波受信素子２１０Ａ，２１１Ｂが電子ペン１００からの超音波信号を受信する時刻には、電子ペン１００の位置に応じて、時間差ｔ１およびｔ２が生じる。レシーバ２００の位置検出部２４０は、この時間差ｔ１およびｔ２と、超音波受信素子２１０Ａ，２１１Ｂの既知の間隔Ｒ０とによって、超音波受信素子２１０Ａ，２１１Ｂのそれぞれから電子ペン１００までの距離Ｒ１，Ｒ２を算出し、これにより電子ペン１００の位置を特定する。
【００５２】
ここで、電子ペン１００の属性送信部１５０は、例えば、本来のパルス信号ｐ１に、特定の属性情報が付加されていることを示すパルス信号ｐ２を付加したパターンの赤外線信号を、赤外線発信素子１２０に発信させることができる。この場合、レシーバ２００の属性受信部２３０は、赤外線受信素子２２０が受信した赤外線信号のパターンが、パルス信号ｐ２を含む場合に、筆記データに付加された属性情報を受信したと判断する。
【００５３】
上記と同様に属性情報を送受信する処理を、電子ペン１００の超音波発信素子１１０が発信する超音波信号において行うことも可能である。また、電子ペン１００に、アノト（登録商標）方式などの、信号に変化を加えることが可能な他の方式が用いられる場合、その方式において送受信される信号において、同様の処理を行うことも可能である。
【００５４】
再び図５を参照して、記憶部２５０は、属性情報を伴う筆記データ、および必要に応じて、レシーバ２００の機能を実現するためのプログラムを格納する、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶装置である。
【００５５】
登録処理部２６０は、位置検出部２４０が生成した筆記データに、属性受信部２３０が受信した属性情報を対応させ、記憶部２５０に格納する。
【００５６】
送信部２７０は、記憶部２５０に格納された、属性情報を伴う筆記データを、情報処理装置３００に向けて送信する、例えばＵＳＢ（Universal Serial Bus）、ＬＡＮ（Local Area Network）等の有線または無線の通信インタフェースである。
【００５７】
ここで、位置検出部２４０、登録処理部２６０は、専用のハードウェアによって実装されてもよく、またソフトウェアを適宜組み合わせて実装されてもよい。ソフトウェアによって実装される場合、ＣＰＵ（Central Processing Unit）が、記憶部２５０に格納されたプログラムを実行することによって各部の機能が実現される。
【００５８】
（１−２−２．レシーバによって属性情報を付加する場合）
次に、属性情報を付加するためのユーザの操作が、レシーバ２００によって受け付けられる場合について説明する。この場合、電子ペン１００は、属性切替部１３０、属性記憶部１４０、属性送信部１５０を備える必要がなく、通常用いられる電子ペンと同様の構成とすることができる。一方、レシーバ２００の属性受信部２３０は、属性情報を付加するためのユーザの操作を受け付けるインタフェースとして実装される。
【００５９】
図７は、本発明の実施形態に係るレシーバ２００において、属性受信部２３０をボタン式の切替スイッチ２３０Ａとして実装したレシーバ２００Ａを示す図である。切替スイッチ２３０Ａには、それぞれが属性に対応するボタンが設けられ、ユーザは、所望の属性に対応する切替スイッチ２３０Ａのボタンを押して筆記を行う。
【００６０】
なお、上記の場合の属性受信部２３０は、電子ペン１００の属性切替部１３０と同様に、既知の様々な形のスイッチとして実装することができる。また、レシーバ２００Ａは、表示画面２３５を備え、そこに選択された属性情報が表示されるようにしてもよい。
【００６１】
［１−３．情報処理装置］
本発明の実施形態においては、属性情報を伴う筆記データが、レシーバ２００から情報処理装置３００に送信される。情報処理装置３００は、属性情報に基づいて、筆記データに対して様々な処理を行う。
【００６２】
図８は、本発明の実施形態に係る情報処理装置３００の機能構成の一例を示す図である。情報処理装置３００は、例えば、受信部３１０、記憶部３２０、ネットワーク通信部３３０、入力部３４０、認識部３５０、検索部３６０、加工部３７０、表示部３８０および制御部３９０を備える。
【００６３】
受信部３１０は、レシーバ２００から送信された筆記データおよび属性情報を受信する、例えばＵＳＢ、ＬＡＮ等の有線または無線の通信インタフェースである。
【００６４】
記憶部３２０は、情報処理装置３００における一連の処理に用いられるデータや、情報処理装置３００の機能を実現するためのプログラムを格納する、例えばＲＯＭ、ＲＡＭなどの記憶装置、ＨＤＤ（Hard Disk Drive）などの二次記憶装置、または光ディスクや半導体メモリ等のリムーバブル記憶媒体を適宜組み合わせたものである。
【００６５】
ネットワーク通信部３３０は、ネットワークと情報の送受信を行う、例えばインターネットに接続されたＬＡＮ等の有線または無線の通信インタフェースであって、必要に応じて備えられる。入力部３４０は、ユーザによる情報処理装置３００への操作を受け付ける、例えばマウス、キーボード等のデバイスである。
【００６６】
認識部３５０は、受信部３１０が受信した筆記データから文字列や図形を認識する。また、認識部３５０は、筆記データに伴う属性情報を、認識された文字列や図形に対応付ける。
【００６７】
検索部３６０は、認識部３５０が認識した文字列や図形と、文字列および図形に対応付けられた属性情報に基づいて、ユーザが所望する情報の検索処理を行う。検索処理は、例えばネットワーク通信部３３０を介して行うインターネット検索でもよく、また記憶部３２０に格納されたファイルなどのデータを検索するローカル検索でもよい。
【００６８】
加工部３７０は、検索部３６０が検索した情報を、表示用のデータに加工する。表示部３８０は、加工部３７０が加工したデータを表示する、情報処理装置３００自体に備えられたモニタなどの表示装置、または情報処理装置３００に接続された外部の表示装置に表示をさせるためのデバイスである。
【００６９】
制御部３９０は、認識部３５０、検索部３６０、加工部３７０および表示部３８０を制御する。この制御部３９０は、受信部３１０によって属性情報を伴う筆記データが受信された場合、自動的に、認識部３５０に認識および対応付けの処理を行わせてもよい。また、制御部３９０は、認識部３５０によって認識された文字列や図形に、属性情報が対応付けられている場合、自動的に、検索部３６０に検索処理を行わせてもよい。
【００７０】
ここで、認識部３５０、検索部３６０、加工部３７０、表示部３８０および制御部３９０は、専用のハードウェアによって実装されてもよく、またソフトウェアを適宜組み合わせて実装されてもよい。ソフトウェアによって実装される場合、ＣＰＵが、記憶部３２０に格納されたプログラム、またはネットワーク通信部３３０を介してネットワークから取得したプログラムを実行することによって各部の機能が実現される。
【００７１】
＜２．第１の実施形態＞
本発明の第１の実施形態においては、筆記データに「検索キーワード」という属性情報が付加される。この「検索キーワード」という属性情報は、「筆記した単語をキーワードとして、検索処理を行う」ということを意味する。すなわち、属性「検索キーワード」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された部分の単語で検索処理を行うことを所望していると考えられる。
【００７２】
図９は、本発明の第１の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分４０１において、ユーザは属性を指定せずに筆記を行っている。
【００７３】
ここで、例えば筆記した「Ａｉｒ Ｍａｓｓ」という言葉の意味を知りたいと考えた場合、ユーザは、属性「検索キーワード」を指定し、属性筆記部分４０３のアンダーラインを筆記する。その後、次に意味を知りたい言葉が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。
【００７４】
この後、情報処理装置３００に筆記データが取り込まれた場合、認識部３５０により、属性「検索キーワード」でアンダーラインを引かれた「Ａｉｒ Ｍａｓｓ」が、検索キーワード４０５として認識される。
【００７５】
なお、検索キーワード４０５を必ずしも属性「検索キーワード」のアンダーラインによって指定する必要はない。言葉そのものを属性「検索キーワード」で筆記してもよいし、アンダーラインの代わりに囲み線等を筆記してもよい。
【００７６】
図１０は、本発明の第１の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ４０７は、履歴領域４０９、筆記データ表示領域４１１などにより構成される。
【００７７】
この場合、情報処理装置３００の認識部３５０は、例えばＯＣＲの処理によって認識された文字列が、属性「検索キーワード」を伴う筆記データによるものである場合に、この文字列を検索キーワードとして抽出する。
【００７８】
次に、検索部３６０は、認識部３５０が抽出した検索キーワードに基づいて、キーワード検索処理を行う。キーワード検索処理は、例えばネットワーク通信部３３０を介して行うインターネット検索でもよく、また記憶部３２０に格納されたファイルなどのデータを検索するローカル検索でもよい。
【００７９】
また、加工部３７０は、認識部３５０が抽出した検索キーワードの情報を加工して、キーワードリスト４１３の表示用データを生成する。制御部３９０は、表示部３８０に、加工部３７０が生成したキーワードリスト４１３と、検索キーワードが抽出され、キーワード検索処理が行われたことをユーザに通知するダイアログ４１５とをさらに表示させる。
【００８０】
図１１は、上記の場合で、さらに、ダイアログ４１５の「結果の表示」ボタンが押下され、検索結果ウインドウ４１７が表示された状態の画面の一例を示す図である。この検索結果ウインドウ４１７は、筆記データ表示領域４１１の該当するキーワード表示部分や、キーワードリスト４１３の該当するキーワード表示部分４１９が、ポインタでクリックされた場合に表示されるようにしてもよい。
【００８１】
ここで、検索結果ウインドウ４１７は、例えば検索部３６０によりインターネット検索が行われた場合であれば、検索結果のページを表示したブラウザウインドウである。また、検索部３６０によりローカル検索が行われた場合であれば、検索されたファイル等を表示したアプリケーションウインドウである。
【００８２】
さらに、他の日付にユーザが筆記した検索キーワードに対する検索結果は、履歴領域４０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。
【００８３】
＜３．第２の実施形態＞
本発明の第２の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「筆記した図形について、類似画像の検索処理を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された図形に類似する画像を検索することを所望していると考えられる。
【００８４】
図１２は、本発明の第２の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分５０１において、ユーザは属性を指定せずに筆記を行っている。
【００８５】
ここで、例えば太陽のイラストを配置したいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分５０３として、ユーザがイメージする太陽のイラストに近い図形を筆記する。その後、次に図を配置したい箇所が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。
【００８６】
この後、情報処理装置３００に筆記データが取り込まれた場合、属性「図記入」で描かれた太陽のイラストに近い図形が、検索対象図形５０５として認識される。
【００８７】
なお、検索対象図形５０５を必ずしも属性「図記入」で筆記することによって指定する必要はない。属性を指定せずに筆記した図形を、属性「図記入」で筆記した線で囲む等してもよい。
【００８８】
図１３は、本発明の第２の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ５０７は、履歴領域５０９、筆記データ表示領域５１１などにより構成される。
【００８９】
この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を、検索対象図形として抽出する。
【００９０】
次に、検索部３６０は、認識部３５０が抽出した検索対象図形に基づいて、類似画像の検索処理を行う。類似画像の検索処理は、例えばネットワーク通信部３３０を介して行うインターネット類似画像検索でもよく、また記憶部３２０に格納された画像ファイルを検索するローカル類似画像検索でもよい。
【００９１】
また、加工部３７０は、検索部３６０が検索した類似画像の情報を加工して、検索画像リスト５１３の表示用データを生成する。加工部３７０は例えば、検索された類似画像をサムネイル化したり、表示領域に合わせてサイズを調整したりといった処理を行う。制御部３９０は、表示部３８０に、加工部３７０が生成した検索画像リスト５１３と、検索対象図形が抽出され、類似画像の検索処理が行われたことをユーザに通知するダイアログ５１５とをさらに表示させる。
【００９２】
図１４は、上記の場合で、さらに、ダイアログ５１５の「結果の表示」ボタンが押下され、検索結果ウインドウ５１７が表示された状態の画面の一例を示す図である。この検索結果ウインドウ５１７は、筆記データ表示領域５１１の該当する図形表示部分５１９や、検索画像リスト５１３の該当する画像が、ポインタでクリックされた場合に表示されるようにしてもよい。
【００９３】
ここで、検索結果ウインドウ５１７は、例えば検索部３６０によりインターネット類似画像検索が行われた場合であれば、検索結果の画像群を表示したブラウザウインドウである。また、検索部３６０によりローカル類似画像検索が行われた場合であれば、検索された画像ファイルを表示したアプリケーションウインドウである。
【００９４】
さらに、他の日付にユーザが筆記した検索対象図形に対する検索結果は、履歴領域５０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。
【００９５】
＜４．第３の実施形態＞
本発明の第３の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「筆記した図形について、整形を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された図形を整形することを所望していると考えられる。
【００９６】
図１５は、本発明の第３の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。例えば回路図を描きたいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分６０３として、ユーザがイメージする回路図を筆記する。
【００９７】
この後、情報処理装置３００に筆記データが取り込まれた場合、属性「図記入」で描かれた回路図が、整形対象図形６０５として認識される。
【００９８】
なお、整形対象図形６０５を必ずしも属性「図記入」で筆記することによって指定する必要はない。属性を指定せずに筆記した図形を、属性「図記入」で筆記した線で囲む等してもよい。
【００９９】
図１６は、本発明の第３の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ６０７は、履歴領域６０９、筆記データ表示領域６１１などにより構成される。
【０１００】
この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を、整形対象図形として抽出する。
【０１０１】
次に、検索部３６０は、認識部３５０が抽出した整形対象図形を適宜切り分け、切り分けた各部分を置き換えるための図形要素を検索する。ここで、図形要素とは、直線、円弧、二次曲線等の、図形を構成する所定の種類の要素である。検索部３６０は、整形対象図形を図形要素の集合として精度よく近似できるように、整形対象図形を適切な要素に切り分け、切り分けた各部分を検索された図形要素に置き換える。
【０１０２】
また、加工部３７０は、検索部３６０が検索した図形要素を再度結合して、整形済図形６１３の表示用データを生成する。さらに、制御部３９０は、表示部３８０に表示されている筆記データ表示領域６１１のうち、整形対象図形の部分を、加工部３７０が生成した整形済図形６１３に置き換えて表示させる。
【０１０３】
ここで、整形済図形６１３がポインタによってクリックされた場合、制御部３９０は、表示部３８０に、整形済図形を編集するための画像編集アプリケーションウインドウ６１５をさらに表示させる。
【０１０４】
さらに、他の日付にユーザが筆記した検索対象図形に対する検索結果は、履歴領域６０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。
【０１０５】
＜５．第４の実施形態＞
本発明の第４の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「指定した領域に筆記された文字列をキーワードとして、画像の検索処理を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で指定した領域に筆記された文字列をキーワードとして画像を検索することを所望していると考えられる。
【０１０６】
図１７は、本発明の第４の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分７０１において、ユーザは属性を指定せずに筆記を行っている。
【０１０７】
ここで、例えば、検索した太陽の画像を配置したいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分７０３として、画像を配置したい領域を筆記する。さらにユーザは、領域内に「太陽」という文字列を筆記する。この文字列部分については、属性「図記入」で筆記してもよいし、その他の属性または属性なしで筆記してもよい。その後、次に画像を検索したい箇所が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。
【０１０８】
この後、情報処理装置３００に筆記データが取り込まれた場合、「太陽」という文字列を含む属性「図記入」で描かれた領域が、検索対象領域７０５として認識される。
【０１０９】
図１８は、本発明の第４の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ７０７は、履歴領域７０９、筆記データ表示領域７１１などにより構成される。
【０１１０】
この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を検索対象領域とし、検索対象領域の外周を取り除いた部分に対してＯＣＲ等の処理を行って文字列を認識する。
【０１１１】
次に、検索部３６０は、認識部３５０が認識した、検索対象領域に含まれる文字列をキーワードとして、画像検索処理を行う。画像検索処理は、例えばネットワーク通信部３３０を介して行うインターネット画像検索でもよく、また記憶部３２０に格納された画像ファイルを検索するローカル画像検索でもよい。
【０１１２】
また、加工部３７０は、検索部３６０が検索した画像の情報を加工して、検索画像リスト７１３の表示用データを生成する。加工部３７０は例えば、検索された画像をサムネイル化したり、表示領域に合わせてサイズを調整したりといった処理を行う。制御部３９０は、表示部３８０に、加工部３７０が生成した検索画像リスト７１３と、検索対象領域が抽出され、類似画像の検索処理が行われたことをユーザに通知するダイアログ７１７とをさらに表示させる。また、加工部３７０はさらに、検索キーワードリスト７１５の表示用データを生成し、制御部３９０は、表示部３８０に検索キーワードリスト７１５を表示させてもよい。
【０１１３】
図１９は、上記の場合で、さらに、ダイアログ７１７の「結果の表示」ボタンが押下され、検索結果ウインドウ７１９が表示された状態の画面の一例を示す図である。この検索結果ウインドウ７１９は、筆記データ表示領域７１１の該当する画像表示部分７２１や、検索画像リスト７１３または検索キーワードリスト７１５の該当する画像が、ポインタでクリックされた場合に表示されるようにしてもよい。
【０１１４】
ここで、検索結果ウインドウ７１９は、例えば検索部３６０によりインターネット画像検索が行われた場合であれば、検索結果の画像群を表示したブラウザウインドウである。また、検索部３６０によりローカル画像検索が行われた場合であれば、検索された画像ファイルを表示したアプリケーションウインドウである。
【０１１５】
さらに、他の日付にユーザが筆記した検索対象領域に含まれる文字列に対する検索結果は、履歴領域７０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。
【０１１６】
＜６．第５の実施形態＞
本発明の第５の実施形態においては、筆記データに「キーワード検索」または「図記入」という属性情報が付加される。ここで、「検索キーワード」という属性情報は、「筆記した単語をキーワードとして、検索処理を行う」ということを意味する。また、「図記入」という属性情報は、「筆記した図形について、類似画像の検索処理を行う」または「筆記した図形について、整形を行う」のいずれかを意味する。筆記を行うユーザは、上記の２つの属性情報のうち、所望のものを適宜選択して指定する。
【０１１７】
図２０は、本発明の第５の実施形態に係る情報処理装置３００の処理を示すフローチャートである。まず、受信部３１０が、レシーバ２００から、属性情報を伴う筆記データを受信する（ステップＳ１０１）。次に、認識部３５０が、筆記データから文字列または図形を認識し、筆記データに伴う属性情報をこの文字列または図形に対応付ける（ステップＳ１０３）。
【０１１８】
ここで、認識部３５０によって認識された文字列が、属性「検索キーワード」に対応付けられた場合（ステップＳ１０５）、制御部３９０は、検索部３６０に、認識された文字列を検索キーワードとして、検索処理を行わせる（ステップＳ１０７）。
【０１１９】
一方、認識部３５０によって認識された図形が、属性「図記入」に対応付けられた場合（ステップＳ１０９）、認識された一連の図形について、検索部３６０などにより画像検索処理が行われる（ステップＳ１１１）。画像検索処理については後述する。
【０１２０】
上記のように、検索部３６０は、文字列または図形に対応付けられた属性情報の種類に対応する種類の情報を検索する。
【０１２１】
上記で、検索部３６０によっていずれかの検索処理が行われた場合（ステップＳ１０７、ステップＳ１１１）、制御部３９０は、検索部３６０が検索した結果を記憶部３２０に格納する（ステップＳ１１３）。
【０１２２】
ここで、認識部３５０が認識すべき次の筆記データがある場合（ステップＳ１１５）、再度認識部３５０によって属性情報を伴う筆記データの認識が行われる（ステップＳ１０３）。
【０１２３】
上記のステップＳ１１５において、次の処理対象がない場合、制御部３９０は、加工部３７０に、検索に用いた文字列および図形の一覧の表示用データを作成させ（ステップＳ１１７）、表示部３８０に、検索に用いた文字列および図形の一覧と、検索が行われたことを示すダイアログとを表示させる（ステップＳ１１９）。
【０１２４】
図２１は、本発明の第５の実施形態に係る情報処理装置３００の処理のうち、画像検索処理を示すフローチャートである。まず、制御部３９０が、表示部３８０に、図形検索処理の対象が認識されたことを示す確認ダイアログを表示させる（ステップＳ２０１）。
【０１２５】
ここで、入力部３４０によって、ユーザが処理を続行する旨の指示が取得された場合（ステップＳ２０３）、制御部３９０は、検索部３６０に、認識部３５０によって認識された図形の類似画像検索と、認識部３５０によって認識された図形を置き換える図形要素検索の両方を行わせる（ステップＳ２０５）。制御部３９０はさらに、表示部３８０に、検索部３６０の検索結果の一部をサンプルとして含む選択ダイアログを表示させる（ステップＳ２０７）。
【０１２６】
さらにここで、入力部３４０によって、ユーザが類似画像の検索処理を行うことを所望する旨の指示が取得された場合（ステップＳ２０９）、制御部３９０は、検索部３６０の検索結果のうち、類似画像検索の結果を画像検索の結果に設定する（ステップＳ２１１）。
【０１２７】
一方、入力部３４０によって、ユーザが図形の整形処理を行うことを所望する旨の指示が取得された場合（ステップＳ２１３）、制御部３９０は、検索部３６０の検索結果のうち、図形要素検索の結果を画像検索の結果に設定する（ステップＳ２１５）。
【０１２８】
また、上記のステップＳ２０１またはステップＳ２０５で表示されるダイアログにおいて、入力部３４０によって、ユーザがダイアログを閉じることを所望する旨の指示が取得された場合、制御部３９０は、検索部３６０に検索処理を行わせることなく、画像検索処理を終了する。
【０１２９】
上記の処理により、結果として、検索部３６０は、入力部３４０が受け付けたユーザの操作により指定された種類の情報を検索したことになる。
【０１３０】
図２２は、上記のステップＳ２０１において、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ８０７は、履歴領域８０９、筆記データ表示領域８１１などにより構成され、確認ダイアログ８１３が表示される。
【０１３１】
図２３は、上記のステップＳ２０５において、表示部３８０により表示される画面の一例を示す図である。選択ダイアログ８１５は、検索部３６０によって検索された、類似画像検索と図形要素のそれぞれのサンプル、および、いずれかの処理を選択するためのラジオボタン等を含む。
【０１３２】
＜７．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１３３】
例えば、上記実施形態では、ユーザが電子ペンまたはレシーバに設けられたスイッチを操作することにより、筆記データの属性を指定することとしたが、本発明はかかる例に限定されない。例えば、属性を指定せずに筆記が行われていても、記号等の特定の形状が認識された場合、それをもって属性が指定されていると判断してもよい。
【０１３４】
また、例えば、上記実施形態では、情報処理装置の検索部は単純にインターネット検索またはローカル検索等を行うこととしたが、本発明はかかる例に限定されない。例えば、インターネット検索の場合にはインターネット上の辞書サービスを優先して検索したり、ローカル検索の場合には特定のユーザが作成したファイルを優先して検索したりして、ユーザの求める結果に近い検索結果が優先して表示されるようにしてもよい。
【符号の説明】
【０１３５】
１０ 情報処理システム
１００ 電子ペン
２００ レシーバ
３００ 情報処理装置
３１０ 受信部
３２０ 記憶部
３３０ 通信部
３４０ 入力部
３５０ 認識部
３６０ 検索部
３７０ 加工部
３８０ 表示部
３９０ 制御部
４０５ 検索キーワード
４１３ キーワードリスト
５０５ 検索対象図形
５１３ 検索画像リスト
６０５ 整形対象図形
６１３ 整形済図形
７０５ 検索対象領域
７１３ 検索画像リスト
８１３ 確認ダイアログ
８１５ 選択ダイアログ
【技術分野】
【０００１】
本発明は、情報処理装置、プログラム、記録媒体および情報処理システムに関する。
【背景技術】
【０００２】
情報処理装置への入力手段として、電子ペンが知られている。電子ペンは、例えば電磁誘導方式や、抵抗膜方式、赤外線・超音波方式、アノト（登録商標）方式などにより、ユーザの筆記を情報処理装置に入力する手段である。手書きにより直感的な入力が可能であることや、レシーバ（不要な場合もある）を含めても軽量で、持ち運びが容易であることが利点である。
【０００３】
上記のような電子ペンによって情報処理装置に入力されるユーザの筆記データは、一般には筆記が行われた位置を示す座標情報である。この座標情報に対して、例えばＯＣＲ（Optical Character Reader）の処理を行うことによって、情報処理装置において処理可能な文字列に変換することができる。
【０００４】
ユーザは、このように変換された文字列に対して、情報処理装置を用いて様々な操作を行うことができる。例えば、文書としてファイルを作成したり、メモした言葉の意味を調べるために検索のキーワードとして用いたりといった操作が考えられる。
【０００５】
そのため、電子ペンを含む情報処理システムにおいて、ユーザの筆記データを情報処理装置に入力するだけでなく、入力後の情報処理装置における操作をも容易にするための技術が開発されている。例えば特許文献１には、電子ペンを、ジョイスティックやマウスといった補助入力装置の機能としても使用する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１２２６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上述したように、電子ペンは、持ち運びが容易であることが利点の一つである。そのため、ユーザが、電子ペンとレシーバのみを持ち歩いて筆記を行ってデータを蓄積し、時間が経過した後でデータを情報処理装置に取り込む場合も多いと考えられる。このような場合、例えば、筆記データを情報処理装置に取り込んだ際にどのような処理をしようと考えていたかが、時間の経過によってわからなくなってしまうという問題があった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、電子ペンの筆記データに対して、半自動的にユーザが所望する処理を行うことが可能な、新規かつ改良された情報処理装置、プログラム、記録媒体および情報処理システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信する受信部と、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付ける認識部と、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索する検索部と、上記ユーザが所望する情報を、表示用のデータに加工する加工部と、上記表示用のデータを表示する表示部とを備える情報処理装置が提供される。
【００１０】
かかる構成により、電子ペンの筆記データから認識された文字列または図形に対して、筆記データが情報処理装置に受信された際に、ユーザによる別途の操作を伴わずに、ユーザが所望する処理を行うことができる。
【００１１】
上記認識部は、上記受信部によって上記属性情報を伴う筆記データが受信された場合、自動的に、上記文字列または上記図形の認識と、上記文字列または上記図形への上記属性情報の対応付けを行い、上記検索部は、上記文字列または上記図形に対応付けられた上記属性情報が存在する場合、自動的に、上記ユーザが所望する情報を検索してもよい。
【００１２】
上記検索部は、上記属性情報の種類に対応する種類の情報を検索してもよい。
【００１３】
上記情報処理装置は、ユーザの操作を受け付ける入力部をさらに備え、上記検索部は、上記属性情報の種類に対応する複数の種類の情報のうち、上記入力部が受け付けた上記ユーザの操作により指定された種類の情報を検索してもよい。
【００１４】
上記情報処理装置は、ネットワークと通信を行う通信部をさらに備え、上記検索部は、上記通信部を介して、上記ネットワーク上の情報から、上記ユーザが所望する情報を検索してもよい。
【００１５】
上記情報処理装置は、情報を格納する記憶部をさらに備え、上記検索部は、上記記憶部に格納された情報から、上記ユーザが所望する情報を検索してもよい。
【００１６】
上記検索部は、上記ユーザが所望する情報として、上記文字列に関連する文字情報を検索してもよい。
【００１７】
上記検索部は、上記ユーザが所望する情報として、上記図形に類似する画像情報を検索してもよい。
【００１８】
上記検索部は、上記ユーザが所望する情報として、上記図形を分解した図形要素情報を検索し、上記加工部は、上記図形要素情報を結合して、整形された上記図形の情報を生成してもよい。
【００１９】
上記検索部は、上記ユーザが所望する情報として、上記図形の領域に含まれる文字列に関連する画像情報を検索してもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、電子ペンと、上記電子ペンの筆記データを、ユーザにより付加された属性情報とともに送信するレシーバと、上記属性情報を伴う上記筆記データを受信する受信部と、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付ける認識部と、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索する検索部と、上記ユーザが所望する情報を、表示用のデータに加工する加工部と、上記表示用のデータを表示する表示部とを備える情報処理装置と、を含む、情報処理システムが提供される。
【００２１】
また、上記課題を解決するために、本発明のさらに別の観点によれば、ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信するステップと、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付けるステップと、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索するステップと、上記ユーザが所望する情報を、表示用のデータに加工するステップと、上記表示用のデータを表示するステップと、を、コンピュータに実行させるためのプログラムが提供される。
【００２２】
また、上記課題を解決するために、本発明のさらに別の観点によれば、ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信するステップと、上記属性情報を伴う上記筆記データから、文字列または図形を認識し、上記筆記データに伴う上記属性情報を、上記文字列または上記図形に対応付けるステップと、上記文字列または上記図形と、上記文字列または上記図形に対応付けられた上記属性情報とに基づいて、上記ユーザが所望する情報を検索するステップと、上記ユーザが所望する情報を、表示用のデータに加工するステップと、上記表示用のデータを表示するステップと、を、コンピュータに実行させるためのプログラムを格納した、コンピュータにより読み取り可能な記録媒体が提供される。
【発明の効果】
【００２３】
以上説明したように本発明によれば、電子ペンの筆記データに対して、容易にユーザが所望する処理を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る情報処理システムの概要を示す図である。
【図２】本発明の実施形態に係る電子ペンの機能構成の一例を示す図である。
【図３】本発明の実施形態に係る電子ペンにおける、切替スイッチの実装例を示す図である。
【図４】本発明の実施形態に係る電子ペンにおける、切替スイッチの別の実装例を示す図である。
【図５】本発明の実施形態に係るレシーバの機能構成の一例を示す図である。
【図６】本発明の実施形態に係る電子ペンからレシーバに送られる信号の例を示す図である。
【図７】本発明の実施形態に係るレシーバにおける、切替スイッチの実装例を示す図である。
【図８】本発明の実施形態に係る情報処理装置の機能構成の一例を示す図である。
【図９】本発明の第１の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。
【図１０】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図１１】同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。
【図１２】本発明の第２の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。
【図１３】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図１４】同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。
【図１５】本発明の第３の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。
【図１６】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図１７】本発明の第４の実施形態に係る情報処理システムにおいて、ユーザが行う筆記の例を示す図である。
【図１８】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図１９】同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。
【図２０】本発明の第５の実施形態に係る情報処理装置の処理を示すフローチャートである。
【図２１】同実施形態に係る情報処理装置の処理のうち、画像検索処理を示すフローチャートである。
【図２２】同実施形態に係る情報処理装置によって表示される画面の一例を示す図である。
【図２３】同実施形態に係る情報処理装置によって表示される画面の別の例を示す図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
なお、説明は以下の順序で行うものとする。
１．実施形態の共通構成
１−１．情報処理システム
１−２．電子ペンおよびレシーバ
１−２−１．電子ペンによって属性情報を付加する場合
１−２−２．レシーバによって属性情報を付加する場合
１−３．情報処理装置
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態
７．補足
【００２７】
＜１．実施形態の共通構成＞
［１−１．情報処理システム］
図１は、本発明の実施形態に係る情報処理システム１０の概要を示す図である。情報処理システム１０は、電子ペン１００、レシーバ２００、および情報処理装置３００からなる。
【００２８】
電子ペン１００は、筆記を行うユーザによって保持される。ユーザが筆記を行っている間、電子ペン１００は、ペン先に備えられた超音波発信素子１１０および赤外線発信素子１２０により、超音波信号および赤外線信号を発信する。
【００２９】
レシーバ２００は、電子ペン１００から発信される超音波信号および赤外線信号を受信し、電子ペン１００の座標を特定して筆記データを生成する。ここで、筆記データとは、ユーザが電子ペン１００で筆記した筆跡のデータである。
【００３０】
また、レシーバ２００は、筆記データに属性情報を付加する。ここで、属性情報とは、筆記データを情報処理装置３００に取り込んで利用する際に、ユーザが筆記データに対して行いたい処理を示す付加的な情報である。属性情報を伴う筆記データはレシーバ２００に蓄積されてもよい。
【００３１】
上記の属性情報としては、例えば、「検索キーワードとして利用」、「類似した図形を検索」、「図として整形」、「文字または図形としてそのまま利用」などが考えられる。このような属性情報を付加するためのユーザの操作は、電子ペン１００またはレシーバ２００によって受け付けられる。
【００３２】
情報処理装置３００は、レシーバ２００と接続されて、属性情報を伴う筆記データを取り込む、例えばＰＣ（Personal Computer）である。ユーザが電子ペン１００を用いて筆記を行っている間、レシーバ２００と情報処理装置３００とは接続されていなくてもよい。この場合、属性情報を伴う筆記データはレシーバ２００に蓄積され、ユーザが一連の筆記を終えた後、レシーバ２００が情報処理装置３００に接続された際に一括して情報処理装置３００に取り込まれる。
【００３３】
さらに、情報処理装置３００は、属性情報を伴う筆記データに対して、様々な処理を行う。例えば、情報処理装置３００は、座標情報として取り込まれた筆記データから、ＯＣＲ等の処理により文字列や図形を認識する。情報処理装置３００はさらに、属性情報に基づいて、識別された文字列をキーワードとした情報の検索や、識別された図形の編集を行う。
【００３４】
なお、上記で説明した情報処理システム１０においては、電子ペン１００は赤外線・超音波方式を用い、レシーバ２００は情報処理装置３００と分離している。しかし、電子ペン１００には、電磁誘導方式、抵抗膜方式、アノト（登録商標）方式などの他の方式が用いられてもよい。また、レシーバ２００は、電子ペン１００の方式に応じて異なった構成となり、また情報処理装置３００と一体となったものでもよい。
【００３５】
［１−２．電子ペンおよびレシーバ］
（１−２−１．電子ペンによって属性情報を付加する場合）
本発明の実施形態においては、属性情報を付加するためのユーザの操作は、電子ペン１００またはレシーバ２００によって受け付けられる。ここではまず、属性情報を付加するためのユーザの操作が、電子ペン１００によって受け付けられる場合について説明する。
【００３６】
図２は、本発明の実施形態に係る電子ペン１００の機能構成の一例を示す図である。電子ペン１００は、例えば赤外線・超音波方式の場合、超音波発信素子１１０、赤外線発信素子１２０、属性切替部１３０、属性記憶部１４０、属性送信部１５０、およびインク１６０を備える。
【００３７】
超音波発信素子１１０は、超音波信号を発信する、例えばスピーカである。赤外線発信素子１２０は、赤外線信号を発信する、例えばＬＥＤ（Light Emitting Diode）である。超音波信号および赤外線信号は、ユーザが電子ペン１００を用いて筆記を行っている間のみ発信されるようにしてもよい。
【００３８】
属性切替部１３０は、属性情報を切り替えるためのユーザの操作を受け付ける。この属性切替部１３０は、例えば電子ペン１００に設けられたスイッチとして実装することができる。以下で、図３および図４を参照してその例について説明する。
【００３９】
図３は、本発明の実施形態に係る電子ペン１００において、属性切替部１３０をボタン式の切替スイッチ１３０Ａとして実装した電子ペン１００Ａを示す図である。切替スイッチ１３０Ａには、それぞれが属性に対応するボタンが設けられ、ユーザは、所望の属性に対応する切替スイッチ１３０Ａのボタンを押下して筆記を行う。
【００４０】
図４は、本発明の実施形態に係る電子ペン１００において、属性切替部１３０をスライド式の切替スイッチ１３０Ｂとして実装した電子ペン１００Ｂを示す図である。切替スイッチ１３０Ｂには、それぞれが属性に対応するポジションが設けられ、ユーザは、所望の属性に対応するポジションに切替スイッチ１３０Ｂをスライドさせて筆記を行う。
【００４１】
なお、属性切替部１３０は、上記の例の他にも、例えば回転式のスイッチや、単一のボタンの押下回数に応じて切り替えるスイッチなど、既知の様々な形のスイッチとして実装することができる。また、属性切替部１３０は、電子ペン１００の傾きや振動などを検知するセンサとして実装することもできる。
【００４２】
また、以下の実施形態の説明では特に言及しないが、ユーザが筆記データを「文字または図形としてそのまま利用」したい場合、すなわち属性を指定しない場合も、上記の属性切替部１３０による切替の対象となる。つまり、例えば上記で説明した切替スイッチ１３０Ａ，１３０Ｂには、以下の実施形態の説明で言及される属性に対応するボタンまたはポジションに加えて、「属性を指定しない」ことに対応するボタンまたはポジションが設けられてもよい。
【００４３】
再び図２を参照して、属性記憶部１４０は、属性切替部１３０が受け付けたユーザの操作によって切り替えられた属性情報を記憶する。属性記憶部１４０は、例えばフラッシュメモリ等の小型の記憶装置によって実装されてもよい。また、例えば属性切替部１３０が機械的な仕組みによりその位置を保持することが可能なスイッチである場合には、その位置が保持されることをもって属性記憶部１４０に代えてもよい。
【００４４】
属性送信部１５０は、選択されている属性情報を、筆記データに付加して送信する。属性送信部１５０は、超音波発信素子１１０および赤外線発信素子１２０とは別に設けられた無線通信デバイスとして実装されてもよい。また、属性送信部１５０は、超音波発信素子１１０または赤外線発信素子１２０が発信する信号に、属性情報を示す所定の変化を与えるためのデバイスであってもよい。
【００４５】
インク１６０は、電子ペン１００による紙への筆記を行う。インク１６０は、属性切替部１３０等の要素とは関係なく実装できるが、筆記の色を変えるための既知の方法により、属性切替部１３０によって切り替えられた属性に応じて異なった色となるようにすることもできる。
【００４６】
図５は、本発明の実施形態に係るレシーバ２００の機能構成の一例を示す図である。レシーバ２００は、例えば赤外線・超音波方式の場合、超音波受信素子２１０Ａ，２１０Ｂ、赤外線受信素子２２０、属性受信部２３０、位置検出部２４０、記憶部２５０、登録処理部２６０、送信部２７０を備える。
【００４７】
超音波受信素子２１０Ａ，２１０Ｂは、電子ペン１００が発信した超音波信号を受信する、例えばマイクである。赤外線受信素子２２０は、電子ペン１００が発信した赤外線信号を受信する、例えばフォトダイオードである。
【００４８】
属性受信部２３０は、電子ペン１００からの属性情報を受信する。この属性受信部２３０は、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０とは別に設けられた無線通信デバイスとして実装されてもよい。また、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０と組み合わせて実装されてもよい。
【００４９】
位置検出部２４０は、超音波受信素子２１０Ａ，２１０Ｂ、および赤外線受信素子２２０が受信した超音波信号および赤外線信号から、電子ペン１００の座標を特定し、筆記データを生成する。以下で、図６を参照して、属性受信部２３０および位置検出部２４０が行う処理の例について説明する。
【００５０】
図６は、本発明の実施形態に係る電子ペン１００からレシーバ２００に送られる、属性情報を含む信号の例を示す図である。レシーバ２００は、電子ペン１００の超音波発信素子１１０から発信される超音波信号を、超音波受信素子２１０Ａ，２１１Ｂで受信し、また、電子ペン１００の赤外線発信素子１２０から発信された赤外線信号を、赤外線受信素子２２０で受信する。
【００５１】
図示されている赤外線・超音波方式においては、赤外線受信素子２２０が電子ペン１００からの赤外線信号を受信する時刻と、超音波受信素子２１０Ａ，２１１Ｂが電子ペン１００からの超音波信号を受信する時刻には、電子ペン１００の位置に応じて、時間差ｔ１およびｔ２が生じる。レシーバ２００の位置検出部２４０は、この時間差ｔ１およびｔ２と、超音波受信素子２１０Ａ，２１１Ｂの既知の間隔Ｒ０とによって、超音波受信素子２１０Ａ，２１１Ｂのそれぞれから電子ペン１００までの距離Ｒ１，Ｒ２を算出し、これにより電子ペン１００の位置を特定する。
【００５２】
ここで、電子ペン１００の属性送信部１５０は、例えば、本来のパルス信号ｐ１に、特定の属性情報が付加されていることを示すパルス信号ｐ２を付加したパターンの赤外線信号を、赤外線発信素子１２０に発信させることができる。この場合、レシーバ２００の属性受信部２３０は、赤外線受信素子２２０が受信した赤外線信号のパターンが、パルス信号ｐ２を含む場合に、筆記データに付加された属性情報を受信したと判断する。
【００５３】
上記と同様に属性情報を送受信する処理を、電子ペン１００の超音波発信素子１１０が発信する超音波信号において行うことも可能である。また、電子ペン１００に、アノト（登録商標）方式などの、信号に変化を加えることが可能な他の方式が用いられる場合、その方式において送受信される信号において、同様の処理を行うことも可能である。
【００５４】
再び図５を参照して、記憶部２５０は、属性情報を伴う筆記データ、および必要に応じて、レシーバ２００の機能を実現するためのプログラムを格納する、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶装置である。
【００５５】
登録処理部２６０は、位置検出部２４０が生成した筆記データに、属性受信部２３０が受信した属性情報を対応させ、記憶部２５０に格納する。
【００５６】
送信部２７０は、記憶部２５０に格納された、属性情報を伴う筆記データを、情報処理装置３００に向けて送信する、例えばＵＳＢ（Universal Serial Bus）、ＬＡＮ（Local Area Network）等の有線または無線の通信インタフェースである。
【００５７】
ここで、位置検出部２４０、登録処理部２６０は、専用のハードウェアによって実装されてもよく、またソフトウェアを適宜組み合わせて実装されてもよい。ソフトウェアによって実装される場合、ＣＰＵ（Central Processing Unit）が、記憶部２５０に格納されたプログラムを実行することによって各部の機能が実現される。
【００５８】
（１−２−２．レシーバによって属性情報を付加する場合）
次に、属性情報を付加するためのユーザの操作が、レシーバ２００によって受け付けられる場合について説明する。この場合、電子ペン１００は、属性切替部１３０、属性記憶部１４０、属性送信部１５０を備える必要がなく、通常用いられる電子ペンと同様の構成とすることができる。一方、レシーバ２００の属性受信部２３０は、属性情報を付加するためのユーザの操作を受け付けるインタフェースとして実装される。
【００５９】
図７は、本発明の実施形態に係るレシーバ２００において、属性受信部２３０をボタン式の切替スイッチ２３０Ａとして実装したレシーバ２００Ａを示す図である。切替スイッチ２３０Ａには、それぞれが属性に対応するボタンが設けられ、ユーザは、所望の属性に対応する切替スイッチ２３０Ａのボタンを押して筆記を行う。
【００６０】
なお、上記の場合の属性受信部２３０は、電子ペン１００の属性切替部１３０と同様に、既知の様々な形のスイッチとして実装することができる。また、レシーバ２００Ａは、表示画面２３５を備え、そこに選択された属性情報が表示されるようにしてもよい。
【００６１】
［１−３．情報処理装置］
本発明の実施形態においては、属性情報を伴う筆記データが、レシーバ２００から情報処理装置３００に送信される。情報処理装置３００は、属性情報に基づいて、筆記データに対して様々な処理を行う。
【００６２】
図８は、本発明の実施形態に係る情報処理装置３００の機能構成の一例を示す図である。情報処理装置３００は、例えば、受信部３１０、記憶部３２０、ネットワーク通信部３３０、入力部３４０、認識部３５０、検索部３６０、加工部３７０、表示部３８０および制御部３９０を備える。
【００６３】
受信部３１０は、レシーバ２００から送信された筆記データおよび属性情報を受信する、例えばＵＳＢ、ＬＡＮ等の有線または無線の通信インタフェースである。
【００６４】
記憶部３２０は、情報処理装置３００における一連の処理に用いられるデータや、情報処理装置３００の機能を実現するためのプログラムを格納する、例えばＲＯＭ、ＲＡＭなどの記憶装置、ＨＤＤ（Hard Disk Drive）などの二次記憶装置、または光ディスクや半導体メモリ等のリムーバブル記憶媒体を適宜組み合わせたものである。
【００６５】
ネットワーク通信部３３０は、ネットワークと情報の送受信を行う、例えばインターネットに接続されたＬＡＮ等の有線または無線の通信インタフェースであって、必要に応じて備えられる。入力部３４０は、ユーザによる情報処理装置３００への操作を受け付ける、例えばマウス、キーボード等のデバイスである。
【００６６】
認識部３５０は、受信部３１０が受信した筆記データから文字列や図形を認識する。また、認識部３５０は、筆記データに伴う属性情報を、認識された文字列や図形に対応付ける。
【００６７】
検索部３６０は、認識部３５０が認識した文字列や図形と、文字列および図形に対応付けられた属性情報に基づいて、ユーザが所望する情報の検索処理を行う。検索処理は、例えばネットワーク通信部３３０を介して行うインターネット検索でもよく、また記憶部３２０に格納されたファイルなどのデータを検索するローカル検索でもよい。
【００６８】
加工部３７０は、検索部３６０が検索した情報を、表示用のデータに加工する。表示部３８０は、加工部３７０が加工したデータを表示する、情報処理装置３００自体に備えられたモニタなどの表示装置、または情報処理装置３００に接続された外部の表示装置に表示をさせるためのデバイスである。
【００６９】
制御部３９０は、認識部３５０、検索部３６０、加工部３７０および表示部３８０を制御する。この制御部３９０は、受信部３１０によって属性情報を伴う筆記データが受信された場合、自動的に、認識部３５０に認識および対応付けの処理を行わせてもよい。また、制御部３９０は、認識部３５０によって認識された文字列や図形に、属性情報が対応付けられている場合、自動的に、検索部３６０に検索処理を行わせてもよい。
【００７０】
ここで、認識部３５０、検索部３６０、加工部３７０、表示部３８０および制御部３９０は、専用のハードウェアによって実装されてもよく、またソフトウェアを適宜組み合わせて実装されてもよい。ソフトウェアによって実装される場合、ＣＰＵが、記憶部３２０に格納されたプログラム、またはネットワーク通信部３３０を介してネットワークから取得したプログラムを実行することによって各部の機能が実現される。
【００７１】
＜２．第１の実施形態＞
本発明の第１の実施形態においては、筆記データに「検索キーワード」という属性情報が付加される。この「検索キーワード」という属性情報は、「筆記した単語をキーワードとして、検索処理を行う」ということを意味する。すなわち、属性「検索キーワード」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された部分の単語で検索処理を行うことを所望していると考えられる。
【００７２】
図９は、本発明の第１の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分４０１において、ユーザは属性を指定せずに筆記を行っている。
【００７３】
ここで、例えば筆記した「Ａｉｒ Ｍａｓｓ」という言葉の意味を知りたいと考えた場合、ユーザは、属性「検索キーワード」を指定し、属性筆記部分４０３のアンダーラインを筆記する。その後、次に意味を知りたい言葉が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。
【００７４】
この後、情報処理装置３００に筆記データが取り込まれた場合、認識部３５０により、属性「検索キーワード」でアンダーラインを引かれた「Ａｉｒ Ｍａｓｓ」が、検索キーワード４０５として認識される。
【００７５】
なお、検索キーワード４０５を必ずしも属性「検索キーワード」のアンダーラインによって指定する必要はない。言葉そのものを属性「検索キーワード」で筆記してもよいし、アンダーラインの代わりに囲み線等を筆記してもよい。
【００７６】
図１０は、本発明の第１の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ４０７は、履歴領域４０９、筆記データ表示領域４１１などにより構成される。
【００７７】
この場合、情報処理装置３００の認識部３５０は、例えばＯＣＲの処理によって認識された文字列が、属性「検索キーワード」を伴う筆記データによるものである場合に、この文字列を検索キーワードとして抽出する。
【００７８】
次に、検索部３６０は、認識部３５０が抽出した検索キーワードに基づいて、キーワード検索処理を行う。キーワード検索処理は、例えばネットワーク通信部３３０を介して行うインターネット検索でもよく、また記憶部３２０に格納されたファイルなどのデータを検索するローカル検索でもよい。
【００７９】
また、加工部３７０は、認識部３５０が抽出した検索キーワードの情報を加工して、キーワードリスト４１３の表示用データを生成する。制御部３９０は、表示部３８０に、加工部３７０が生成したキーワードリスト４１３と、検索キーワードが抽出され、キーワード検索処理が行われたことをユーザに通知するダイアログ４１５とをさらに表示させる。
【００８０】
図１１は、上記の場合で、さらに、ダイアログ４１５の「結果の表示」ボタンが押下され、検索結果ウインドウ４１７が表示された状態の画面の一例を示す図である。この検索結果ウインドウ４１７は、筆記データ表示領域４１１の該当するキーワード表示部分や、キーワードリスト４１３の該当するキーワード表示部分４１９が、ポインタでクリックされた場合に表示されるようにしてもよい。
【００８１】
ここで、検索結果ウインドウ４１７は、例えば検索部３６０によりインターネット検索が行われた場合であれば、検索結果のページを表示したブラウザウインドウである。また、検索部３６０によりローカル検索が行われた場合であれば、検索されたファイル等を表示したアプリケーションウインドウである。
【００８２】
さらに、他の日付にユーザが筆記した検索キーワードに対する検索結果は、履歴領域４０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。
【００８３】
＜３．第２の実施形態＞
本発明の第２の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「筆記した図形について、類似画像の検索処理を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された図形に類似する画像を検索することを所望していると考えられる。
【００８４】
図１２は、本発明の第２の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分５０１において、ユーザは属性を指定せずに筆記を行っている。
【００８５】
ここで、例えば太陽のイラストを配置したいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分５０３として、ユーザがイメージする太陽のイラストに近い図形を筆記する。その後、次に図を配置したい箇所が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。
【００８６】
この後、情報処理装置３００に筆記データが取り込まれた場合、属性「図記入」で描かれた太陽のイラストに近い図形が、検索対象図形５０５として認識される。
【００８７】
なお、検索対象図形５０５を必ずしも属性「図記入」で筆記することによって指定する必要はない。属性を指定せずに筆記した図形を、属性「図記入」で筆記した線で囲む等してもよい。
【００８８】
図１３は、本発明の第２の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ５０７は、履歴領域５０９、筆記データ表示領域５１１などにより構成される。
【００８９】
この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を、検索対象図形として抽出する。
【００９０】
次に、検索部３６０は、認識部３５０が抽出した検索対象図形に基づいて、類似画像の検索処理を行う。類似画像の検索処理は、例えばネットワーク通信部３３０を介して行うインターネット類似画像検索でもよく、また記憶部３２０に格納された画像ファイルを検索するローカル類似画像検索でもよい。
【００９１】
また、加工部３７０は、検索部３６０が検索した類似画像の情報を加工して、検索画像リスト５１３の表示用データを生成する。加工部３７０は例えば、検索された類似画像をサムネイル化したり、表示領域に合わせてサイズを調整したりといった処理を行う。制御部３９０は、表示部３８０に、加工部３７０が生成した検索画像リスト５１３と、検索対象図形が抽出され、類似画像の検索処理が行われたことをユーザに通知するダイアログ５１５とをさらに表示させる。
【００９２】
図１４は、上記の場合で、さらに、ダイアログ５１５の「結果の表示」ボタンが押下され、検索結果ウインドウ５１７が表示された状態の画面の一例を示す図である。この検索結果ウインドウ５１７は、筆記データ表示領域５１１の該当する図形表示部分５１９や、検索画像リスト５１３の該当する画像が、ポインタでクリックされた場合に表示されるようにしてもよい。
【００９３】
ここで、検索結果ウインドウ５１７は、例えば検索部３６０によりインターネット類似画像検索が行われた場合であれば、検索結果の画像群を表示したブラウザウインドウである。また、検索部３６０によりローカル類似画像検索が行われた場合であれば、検索された画像ファイルを表示したアプリケーションウインドウである。
【００９４】
さらに、他の日付にユーザが筆記した検索対象図形に対する検索結果は、履歴領域５０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。
【００９５】
＜４．第３の実施形態＞
本発明の第３の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「筆記した図形について、整形を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で筆記された図形を整形することを所望していると考えられる。
【００９６】
図１５は、本発明の第３の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。例えば回路図を描きたいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分６０３として、ユーザがイメージする回路図を筆記する。
【００９７】
この後、情報処理装置３００に筆記データが取り込まれた場合、属性「図記入」で描かれた回路図が、整形対象図形６０５として認識される。
【００９８】
なお、整形対象図形６０５を必ずしも属性「図記入」で筆記することによって指定する必要はない。属性を指定せずに筆記した図形を、属性「図記入」で筆記した線で囲む等してもよい。
【００９９】
図１６は、本発明の第３の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ６０７は、履歴領域６０９、筆記データ表示領域６１１などにより構成される。
【０１００】
この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を、整形対象図形として抽出する。
【０１０１】
次に、検索部３６０は、認識部３５０が抽出した整形対象図形を適宜切り分け、切り分けた各部分を置き換えるための図形要素を検索する。ここで、図形要素とは、直線、円弧、二次曲線等の、図形を構成する所定の種類の要素である。検索部３６０は、整形対象図形を図形要素の集合として精度よく近似できるように、整形対象図形を適切な要素に切り分け、切り分けた各部分を検索された図形要素に置き換える。
【０１０２】
また、加工部３７０は、検索部３６０が検索した図形要素を再度結合して、整形済図形６１３の表示用データを生成する。さらに、制御部３９０は、表示部３８０に表示されている筆記データ表示領域６１１のうち、整形対象図形の部分を、加工部３７０が生成した整形済図形６１３に置き換えて表示させる。
【０１０３】
ここで、整形済図形６１３がポインタによってクリックされた場合、制御部３９０は、表示部３８０に、整形済図形を編集するための画像編集アプリケーションウインドウ６１５をさらに表示させる。
【０１０４】
さらに、他の日付にユーザが筆記した検索対象図形に対する検索結果は、履歴領域６０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。
【０１０５】
＜５．第４の実施形態＞
本発明の第４の実施形態においては、筆記データに「図記入」という属性情報が付加される。この「図記入」という属性情報は、「指定した領域に筆記された文字列をキーワードとして、画像の検索処理を行う」ということを意味する。すなわち、属性「図記入」を指定して筆記を行ったユーザは、その筆記データを情報処理装置３００に取り込んだ際に、当該属性で指定した領域に筆記された文字列をキーワードとして画像を検索することを所望していると考えられる。
【０１０６】
図１７は、本発明の第４の実施形態に係る情報処理システム１０において、ユーザが行う筆記の例を示す図である。通常筆記部分７０１において、ユーザは属性を指定せずに筆記を行っている。
【０１０７】
ここで、例えば、検索した太陽の画像を配置したいと考えた場合、ユーザは、属性「図記入」を指定し、属性筆記部分７０３として、画像を配置したい領域を筆記する。さらにユーザは、領域内に「太陽」という文字列を筆記する。この文字列部分については、属性「図記入」で筆記してもよいし、その他の属性または属性なしで筆記してもよい。その後、次に画像を検索したい箇所が出てくるまで、ユーザは再び属性を指定せずに筆記を行う。
【０１０８】
この後、情報処理装置３００に筆記データが取り込まれた場合、「太陽」という文字列を含む属性「図記入」で描かれた領域が、検索対象領域７０５として認識される。
【０１０９】
図１８は、本発明の第４の実施形態において、筆記データをレシーバ２００から情報処理装置３００に取り込んだ場合に、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ７０７は、履歴領域７０９、筆記データ表示領域７１１などにより構成される。
【０１１０】
この場合、情報処理装置３００の認識部３５０は、属性「図記入」を伴う筆記データによって認識される図形を検索対象領域とし、検索対象領域の外周を取り除いた部分に対してＯＣＲ等の処理を行って文字列を認識する。
【０１１１】
次に、検索部３６０は、認識部３５０が認識した、検索対象領域に含まれる文字列をキーワードとして、画像検索処理を行う。画像検索処理は、例えばネットワーク通信部３３０を介して行うインターネット画像検索でもよく、また記憶部３２０に格納された画像ファイルを検索するローカル画像検索でもよい。
【０１１２】
また、加工部３７０は、検索部３６０が検索した画像の情報を加工して、検索画像リスト７１３の表示用データを生成する。加工部３７０は例えば、検索された画像をサムネイル化したり、表示領域に合わせてサイズを調整したりといった処理を行う。制御部３９０は、表示部３８０に、加工部３７０が生成した検索画像リスト７１３と、検索対象領域が抽出され、類似画像の検索処理が行われたことをユーザに通知するダイアログ７１７とをさらに表示させる。また、加工部３７０はさらに、検索キーワードリスト７１５の表示用データを生成し、制御部３９０は、表示部３８０に検索キーワードリスト７１５を表示させてもよい。
【０１１３】
図１９は、上記の場合で、さらに、ダイアログ７１７の「結果の表示」ボタンが押下され、検索結果ウインドウ７１９が表示された状態の画面の一例を示す図である。この検索結果ウインドウ７１９は、筆記データ表示領域７１１の該当する画像表示部分７２１や、検索画像リスト７１３または検索キーワードリスト７１５の該当する画像が、ポインタでクリックされた場合に表示されるようにしてもよい。
【０１１４】
ここで、検索結果ウインドウ７１９は、例えば検索部３６０によりインターネット画像検索が行われた場合であれば、検索結果の画像群を表示したブラウザウインドウである。また、検索部３６０によりローカル画像検索が行われた場合であれば、検索された画像ファイルを表示したアプリケーションウインドウである。
【０１１５】
さらに、他の日付にユーザが筆記した検索対象領域に含まれる文字列に対する検索結果は、履歴領域７０９に表示されている日付をクリックすることで、上記の場合と同様に閲覧することができる。
【０１１６】
＜６．第５の実施形態＞
本発明の第５の実施形態においては、筆記データに「キーワード検索」または「図記入」という属性情報が付加される。ここで、「検索キーワード」という属性情報は、「筆記した単語をキーワードとして、検索処理を行う」ということを意味する。また、「図記入」という属性情報は、「筆記した図形について、類似画像の検索処理を行う」または「筆記した図形について、整形を行う」のいずれかを意味する。筆記を行うユーザは、上記の２つの属性情報のうち、所望のものを適宜選択して指定する。
【０１１７】
図２０は、本発明の第５の実施形態に係る情報処理装置３００の処理を示すフローチャートである。まず、受信部３１０が、レシーバ２００から、属性情報を伴う筆記データを受信する（ステップＳ１０１）。次に、認識部３５０が、筆記データから文字列または図形を認識し、筆記データに伴う属性情報をこの文字列または図形に対応付ける（ステップＳ１０３）。
【０１１８】
ここで、認識部３５０によって認識された文字列が、属性「検索キーワード」に対応付けられた場合（ステップＳ１０５）、制御部３９０は、検索部３６０に、認識された文字列を検索キーワードとして、検索処理を行わせる（ステップＳ１０７）。
【０１１９】
一方、認識部３５０によって認識された図形が、属性「図記入」に対応付けられた場合（ステップＳ１０９）、認識された一連の図形について、検索部３６０などにより画像検索処理が行われる（ステップＳ１１１）。画像検索処理については後述する。
【０１２０】
上記のように、検索部３６０は、文字列または図形に対応付けられた属性情報の種類に対応する種類の情報を検索する。
【０１２１】
上記で、検索部３６０によっていずれかの検索処理が行われた場合（ステップＳ１０７、ステップＳ１１１）、制御部３９０は、検索部３６０が検索した結果を記憶部３２０に格納する（ステップＳ１１３）。
【０１２２】
ここで、認識部３５０が認識すべき次の筆記データがある場合（ステップＳ１１５）、再度認識部３５０によって属性情報を伴う筆記データの認識が行われる（ステップＳ１０３）。
【０１２３】
上記のステップＳ１１５において、次の処理対象がない場合、制御部３９０は、加工部３７０に、検索に用いた文字列および図形の一覧の表示用データを作成させ（ステップＳ１１７）、表示部３８０に、検索に用いた文字列および図形の一覧と、検索が行われたことを示すダイアログとを表示させる（ステップＳ１１９）。
【０１２４】
図２１は、本発明の第５の実施形態に係る情報処理装置３００の処理のうち、画像検索処理を示すフローチャートである。まず、制御部３９０が、表示部３８０に、図形検索処理の対象が認識されたことを示す確認ダイアログを表示させる（ステップＳ２０１）。
【０１２５】
ここで、入力部３４０によって、ユーザが処理を続行する旨の指示が取得された場合（ステップＳ２０３）、制御部３９０は、検索部３６０に、認識部３５０によって認識された図形の類似画像検索と、認識部３５０によって認識された図形を置き換える図形要素検索の両方を行わせる（ステップＳ２０５）。制御部３９０はさらに、表示部３８０に、検索部３６０の検索結果の一部をサンプルとして含む選択ダイアログを表示させる（ステップＳ２０７）。
【０１２６】
さらにここで、入力部３４０によって、ユーザが類似画像の検索処理を行うことを所望する旨の指示が取得された場合（ステップＳ２０９）、制御部３９０は、検索部３６０の検索結果のうち、類似画像検索の結果を画像検索の結果に設定する（ステップＳ２１１）。
【０１２７】
一方、入力部３４０によって、ユーザが図形の整形処理を行うことを所望する旨の指示が取得された場合（ステップＳ２１３）、制御部３９０は、検索部３６０の検索結果のうち、図形要素検索の結果を画像検索の結果に設定する（ステップＳ２１５）。
【０１２８】
また、上記のステップＳ２０１またはステップＳ２０５で表示されるダイアログにおいて、入力部３４０によって、ユーザがダイアログを閉じることを所望する旨の指示が取得された場合、制御部３９０は、検索部３６０に検索処理を行わせることなく、画像検索処理を終了する。
【０１２９】
上記の処理により、結果として、検索部３６０は、入力部３４０が受け付けたユーザの操作により指定された種類の情報を検索したことになる。
【０１３０】
図２２は、上記のステップＳ２０１において、表示部３８０により表示される画面の一例を示す図である。ここで、アプリケーションウインドウ８０７は、履歴領域８０９、筆記データ表示領域８１１などにより構成され、確認ダイアログ８１３が表示される。
【０１３１】
図２３は、上記のステップＳ２０５において、表示部３８０により表示される画面の一例を示す図である。選択ダイアログ８１５は、検索部３６０によって検索された、類似画像検索と図形要素のそれぞれのサンプル、および、いずれかの処理を選択するためのラジオボタン等を含む。
【０１３２】
＜７．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１３３】
例えば、上記実施形態では、ユーザが電子ペンまたはレシーバに設けられたスイッチを操作することにより、筆記データの属性を指定することとしたが、本発明はかかる例に限定されない。例えば、属性を指定せずに筆記が行われていても、記号等の特定の形状が認識された場合、それをもって属性が指定されていると判断してもよい。
【０１３４】
また、例えば、上記実施形態では、情報処理装置の検索部は単純にインターネット検索またはローカル検索等を行うこととしたが、本発明はかかる例に限定されない。例えば、インターネット検索の場合にはインターネット上の辞書サービスを優先して検索したり、ローカル検索の場合には特定のユーザが作成したファイルを優先して検索したりして、ユーザの求める結果に近い検索結果が優先して表示されるようにしてもよい。
【符号の説明】
【０１３５】
１０ 情報処理システム
１００ 電子ペン
２００ レシーバ
３００ 情報処理装置
３１０ 受信部
３２０ 記憶部
３３０ 通信部
３４０ 入力部
３５０ 認識部
３６０ 検索部
３７０ 加工部
３８０ 表示部
３９０ 制御部
４０５ 検索キーワード
４１３ キーワードリスト
５０５ 検索対象図形
５１３ 検索画像リスト
６０５ 整形対象図形
６１３ 整形済図形
７０５ 検索対象領域
７１３ 検索画像リスト
８１３ 確認ダイアログ
８１５ 選択ダイアログ
【特許請求の範囲】
【請求項１】
ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信する受信部と；
前記属性情報を伴う前記筆記データから、文字列または図形を認識し、前記筆記データに伴う前記属性情報を、前記文字列または前記図形に対応付ける認識部と；
前記文字列または前記図形と、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索する検索部と；
前記ユーザが所望する情報を、表示用のデータに加工する加工部と；
前記表示用のデータを表示する表示部と；
を備える、情報処理装置。
【請求項２】
前記認識部は、前記受信部によって前記属性情報を伴う前記筆記データが受信された場合、自動的に、前記文字列または前記図形の認識と、前記文字列または前記図形への前記属性情報の対応付けを行う、
請求項１に記載の情報処理装置。
【請求項３】
前記検索部は、前記文字列または前記図形に対応付けられた前記属性情報が存在する場合、自動的に、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索する、
請求項１または２に記載の情報処理装置。
【請求項４】
前記検索部は、前記属性情報の種類に対応する種類の情報を検索する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
ユーザの操作を受け付ける入力部をさらに備え、
前記検索部は、前記属性情報の種類に対応する複数の種類の情報のうち、前記入力部が受け付けた前記ユーザの操作により指定された種類の情報を検索する、
請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
ネットワークと通信を行う通信部をさらに備え、
前記検索部は、前記通信部を介して、前記ネットワーク上の情報から、前記ユーザが所望する情報を検索する、
請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
情報を格納する記憶部をさらに備え、
前記検索部は、前記記憶部に格納された情報から、前記ユーザが所望する情報を検索する、
請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記検索部は、前記ユーザが所望する情報として、前記文字列に関連する文字情報を検索する、
請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
前記検索部は、前記ユーザが所望する情報として、前記図形に類似する画像情報を検索する、
請求項１〜８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記検索部は、前記ユーザが所望する情報として、前記図形を分解した図形要素情報を検索し、
前記加工部は、前記図形要素情報を結合して、整形された前記図形の情報を生成する、
請求項１〜９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記検索部は、前記ユーザが所望する情報として、前記図形の領域に含まれる文字列に関連する画像情報を検索する、
請求項１〜１０のいずれか１項に記載の情報処理装置。
【請求項１２】
電子ペンと；
前記電子ペンの筆記データを、ユーザにより付加された属性情報とともに送信するレシーバと；
前記属性情報を伴う前記筆記データを受信する受信部と、前記属性情報を伴う前記筆記データから、文字列または図形を認識し、前記筆記データに伴う前記属性情報を、前記文字列または前記図形に対応付ける認識部と、前記文字列または前記図形と、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索する検索部と、前記ユーザが所望する情報を、表示用のデータに加工する加工部と；
前記表示用のデータを表示する表示部とを備える情報処理装置と；
を含む、情報処理システム。
【請求項１３】
ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信するステップと；
前記属性情報を伴う前記筆記データから、文字列または図形を認識し、前記筆記データに伴う前記属性情報を、前記文字列または前記図形に対応付けるステップと；
前記文字列または前記図形と、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索するステップと；
前記ユーザが所望する情報を、表示用のデータに加工するステップと；
前記表示用のデータを表示するステップと；
を、コンピュータに実行させるためのプログラム。
【請求項１４】
ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信するステップと；
前記属性情報を伴う前記筆記データから、文字列または図形を認識し、前記筆記データに伴う前記属性情報を、前記文字列または前記図形に対応付けるステップと；
前記文字列または前記図形と、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索するステップと；
前記ユーザが所望する情報を、表示用のデータに加工するステップと；
前記表示用のデータを表示するステップと；
を、コンピュータに実行させるためのプログラムを格納した、コンピュータにより読み取り可能な記録媒体。
【請求項１】
ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信する受信部と；
前記属性情報を伴う前記筆記データから、文字列または図形を認識し、前記筆記データに伴う前記属性情報を、前記文字列または前記図形に対応付ける認識部と；
前記文字列または前記図形と、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索する検索部と；
前記ユーザが所望する情報を、表示用のデータに加工する加工部と；
前記表示用のデータを表示する表示部と；
を備える、情報処理装置。
【請求項２】
前記認識部は、前記受信部によって前記属性情報を伴う前記筆記データが受信された場合、自動的に、前記文字列または前記図形の認識と、前記文字列または前記図形への前記属性情報の対応付けを行う、
請求項１に記載の情報処理装置。
【請求項３】
前記検索部は、前記文字列または前記図形に対応付けられた前記属性情報が存在する場合、自動的に、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索する、
請求項１または２に記載の情報処理装置。
【請求項４】
前記検索部は、前記属性情報の種類に対応する種類の情報を検索する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
ユーザの操作を受け付ける入力部をさらに備え、
前記検索部は、前記属性情報の種類に対応する複数の種類の情報のうち、前記入力部が受け付けた前記ユーザの操作により指定された種類の情報を検索する、
請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
ネットワークと通信を行う通信部をさらに備え、
前記検索部は、前記通信部を介して、前記ネットワーク上の情報から、前記ユーザが所望する情報を検索する、
請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
情報を格納する記憶部をさらに備え、
前記検索部は、前記記憶部に格納された情報から、前記ユーザが所望する情報を検索する、
請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記検索部は、前記ユーザが所望する情報として、前記文字列に関連する文字情報を検索する、
請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
前記検索部は、前記ユーザが所望する情報として、前記図形に類似する画像情報を検索する、
請求項１〜８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記検索部は、前記ユーザが所望する情報として、前記図形を分解した図形要素情報を検索し、
前記加工部は、前記図形要素情報を結合して、整形された前記図形の情報を生成する、
請求項１〜９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記検索部は、前記ユーザが所望する情報として、前記図形の領域に含まれる文字列に関連する画像情報を検索する、
請求項１〜１０のいずれか１項に記載の情報処理装置。
【請求項１２】
電子ペンと；
前記電子ペンの筆記データを、ユーザにより付加された属性情報とともに送信するレシーバと；
前記属性情報を伴う前記筆記データを受信する受信部と、前記属性情報を伴う前記筆記データから、文字列または図形を認識し、前記筆記データに伴う前記属性情報を、前記文字列または前記図形に対応付ける認識部と、前記文字列または前記図形と、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索する検索部と、前記ユーザが所望する情報を、表示用のデータに加工する加工部と；
前記表示用のデータを表示する表示部とを備える情報処理装置と；
を含む、情報処理システム。
【請求項１３】
ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信するステップと；
前記属性情報を伴う前記筆記データから、文字列または図形を認識し、前記筆記データに伴う前記属性情報を、前記文字列または前記図形に対応付けるステップと；
前記文字列または前記図形と、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索するステップと；
前記ユーザが所望する情報を、表示用のデータに加工するステップと；
前記表示用のデータを表示するステップと；
を、コンピュータに実行させるためのプログラム。
【請求項１４】
ユーザにより付加された属性情報を伴う、電子ペンの筆記データを受信するステップと；
前記属性情報を伴う前記筆記データから、文字列または図形を認識し、前記筆記データに伴う前記属性情報を、前記文字列または前記図形に対応付けるステップと；
前記文字列または前記図形と、前記文字列または前記図形に対応付けられた前記属性情報とに基づいて、前記ユーザが所望する情報を検索するステップと；
前記ユーザが所望する情報を、表示用のデータに加工するステップと；
前記表示用のデータを表示するステップと；
を、コンピュータに実行させるためのプログラムを格納した、コンピュータにより読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１１−１９７７４４（Ｐ２０１１−１９７７４４Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６０８６９（Ｐ２０１０−６０８６９）
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]