情報処理システム
【課題】 手書き文字から利用者が必要とするコンテンツを利用者が指定する任意のタイミングで再生することができる機能を備えた情報処理システムを提供すること。
【解決手段】 複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを認識する第１の手段と、特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の記述アクションがなされたかを検出する第２の手段と、特定の記述アクションを検出したことを契機に、前記特定の単語または熟語に対応したコンテンツを取得する第３の手段と、取得したコンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示する第４の手段とを備える。
【解決手段】 複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを認識する第１の手段と、特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の記述アクションがなされたかを検出する第２の手段と、特定の記述アクションを検出したことを契機に、前記特定の単語または熟語に対応したコンテンツを取得する第３の手段と、取得したコンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示する第４の手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き文字入力面に入力された手書き文字を認識し、その認識結果に応じたコンテンツを取得して前記手書き文字入力面に投影表示する情報処理システムに関するものである。
【背景技術】
【０００２】
従来から、コンテンツ実行指示の方法として紙面に印刷された文字情報を認識し、認識情報に応じた処理を行う技術が存在する。例えば、下記特許文献１では新聞や雑誌等のテレビ番組表をカメラで認識し、テレビ番組に示された「○」「×」を認識し番組の録画予約の実行/削除が指示されることが記載されている。
また、下記特許文献２では手書き入力された文字を認識し、各文字に対応する色情報を関連付けて記憶する文字/色関連テーブルに基づいて各文字に関連付けられた色情報を出力することでユーザの手書き入力された文字が認識可能か否かを判別でき文字認識性能を向上させることができることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１４２５７６号公報
【特許文献２】特開２００３−２７１８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された技術においては、利用者は特定する「録画」という一つのコンテンツの操作のみが可能であり、他のコンテンツを操作することができなかった。
また、上述した特許文献２に記載された技術においても、利用者のタイミングに関係なく手書き入力された文字を認識し、「色情報を出力する」とういうプログラムが自動的に実行されるため、利用者はプログラムの起動操作を任意のタイミングで行えなかった。
すなわち、上記のいずれの技術においても、利用者が必要とするあらゆるコンテンツまたはコンテンツを再生するプログラムを利用者が指定した任意のタイミングで起動させることが不可能であった。
【０００５】
本発明の目的は、手書き文字から利用者が必要とするコンテンツを利用者が指定する任意のタイミングで再生することができる機能を備えた情報処理システムを提供することである。
【課題を解決するための手段】
【０００６】
上記目的を解決するために、本発明は、手書き文字入力面に入力された手書き文字を認識し、その認識結果に応じたコンテンツを取得して前記手書き文字入力面に投影表示する情報処理システムであって、
前記認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブルに登録した単語または熟語とコンテンツの対応関係に基づき認識する第１の手段と、
前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたかを検出する第２の手段と、
特定の線または記号から成る記述アクションを検出したことを契機に、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているコンテンツを内部または外部のコンテンツ資源から取得する第３の手段と、
取得したコンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示させる第４の手段と
を備えることを特徴とする。
また、前記第２の手段は、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたか否かを、記述アクションを記述態様別に定義したアクション定義テーブルに基づき検出することを特徴とする。
さらに、前記投影表示手段はコンテンツに含まれる音を再生する発音手段を含むものであることを特徴とする。
また、前記第３の手段は、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているプログラムを起動し、この起動されたプログラミングに対応付けられたコンテンツを内部または外部のコンテンツ資源から取得することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザが手書きした文字を認識し、その認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブルに登録した単語とコンテンツの対応関係に基づき認識し、前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたかを検出し、特定の線または記号から成る記述アクションがなされたことを契機に、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているコンテンツを内部または外部のコンテンツ資源から取得し、当該コンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示するように構成したため、利用者が指定した任意のタイミングで利用者が必要とする教材などのコンテンツを手書き文字入力画面に投影表示することができ、特に、学校教育などにおいて生徒が教科を理解し易くなるような副教材などを投影表示する場合に極めて有効な効果を発揮する。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態を示すシステム構成図である。
【図２】単語対応コンテンツテーブルの登録内容の例を示す図である。
【図３】アクション態様定義テーブルの登録内容の例を示す図である。
【図４】手書き文字を認識した後、単語または熟語として認識したことを強調表示する例を示す図である。
【図５】ユーザによって特定のアクションがなされた場合に単語対応のコンテンツが表示された例を示す図である。
【図６】単語対応のコンテンツの他の例を示す図である。
【図７】情報処理装置の各部の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明に係る情報処理システムの一実施形態を示すシステム構成図である。
図１に示すように、本実施形態は、ユーザ（例えば教師）１０１がホワイトボード用描画ペン１０２で手書き文字（例えば、炎色反応とは）を記述するホワイトボード１０３と、このホワイトボード１０３の手書き文字入力面に記述された手書き文字を撮影するカメラ１０４と、カメラ１０４で撮影した手書き文字を公知のイメージ認識技術によって文字認識し、その認識結果に含まれる単語や熟語に対応して予め登録されたコンテンツを取得する情報処理装置１０５と、取得したコンテンツを投影表示する投影表示装置１０６およびスピーカ１０７と、表示装置１０８と、外部のコンテンツＤＢ１０９、コンテンツサーバ１１０とから構成されている。
ここで、外部のコンテンツＤＢ１０９、コンテンツサーバ１１０はインターネットなどのネットワーク１１２を介してアクセス可能になっているが、コンテンツＤＢ１０９は情報処理システム１０５内に内蔵される場合がある。
【００１０】
情報処理システム１０５は、ホワイトボード１０３の手書き文字入力面に入力された手書き文字を文字／単語辞書１０５１に登録された情報に基づいて認識し、その認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブル１０５２に登録した単語とコンテンツの対応関係に基づき認識する識別部１０５３と、前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の下線または記号から成る記述アクションがなされたかをアクション定義テーブル１０５４の登録情報に基づいて検出するユーザアクション検出部１０５５と、特定の線または記号から成る記述アクションがなされたことを契機に、前記識別部１０５３認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブル１０５２に登録されているコンテンツを内部または外部のコンテンツ資源１０９または１１１から取得するコンテンツ取得部１０５６と、取得したコンテンツを視聴可能なように再生処理し、投影表示装置１０６よりホワイトボード１０３の手書き文字入力面に投影表示すると共に、スピーカ１０７から発音させるコンテンツ再生出力部１０５７とを備えて構成されている。
ここで、ホワイトボード１０３の手書き文字入力面に入力された手書き文字を認識する識別部１０５３の処理は公知の技術であるため、その詳細な説明は省略する。
【００１１】
図２は、単語対応コンテンツテーブル１０５２の登録内容の一例を示す図であり、特定単語／熟語１０５２１に対して特定のコンテンツである教材１０５２２が登録され、かつ教材を取得した場合の動作１０５２３が登録されている。
例えば「炎色反応」と言う単語に対しては動画Ａがコンテンツとして登録され、教師(ユーザ)によって「炎色反応」という単語の下部位置に下線を引くという記述アクションがなされた場合には、このことを検出したタイミングで動画Ａを再生させ、動画Ａを投影表示するという動作が実行される。
教材の格納場所の指定の仕方としては、ファイル名、ＵＲＬなどの公知の指定の仕方を用いることが可能である。
【００１２】
図３は、アクション態様定義テーブル１０５４の登録内容の一例を示す図であり、アクションナンバー１０５４１別に、アクション態様１０５４２、現在設定１０５４３が登録されている。
アクション態様１０５４２とは、識別部１０５３が認識した単語または熟語に対してユーザがどういう記述アクションをしたかを検出するための定義であって、ここでは認識した文字列(単語または熟語)を丸印で囲むといったアクション、認識した文字列(単語または熟語)に下線を引くなどの定義が登録されている。
ユーザアクション検出部１０５５は、この定義に従い、認識した文字列(単語または熟語)が丸印（長楕円）で囲まれたか、あるいは下線が引かれたかを認識する。この認識処理も公知の技術を用いることができるのでその詳細な説明は省略する。
現在設定１０５４３は、どのアクションナンバーのアクション定義が使用可能になっているかを示すものであり、図３の例ではアクションナンバー１と２が使用可能になっていることを示している。
【００１３】
図４は、ホワイトボード１０３上に描画ペン１０で文字４０１を手書きした場合の動作を説明する図である。
図示のように例えば「炎色反応とは、」という文字４０１を手書きすると、この手書き文字４０１は識別部１０５３によって個々の文字が認識される（図４ａ）。情報処置装置１０５に複数の文字列からなる単語または熟語として認識されると、情報処理装置１０５が単語または熟語として認識したことをユーザに確認させるために識別部１０５３は認識した文字４０１を太字に変更し、強調表示する(図４ｂ)。この場合、太字でなく、他の文字種または色を変更して強調表示するようにしてもよい。
【００１４】
次に、ユーザが描画ペン１０２を用いて、認識した単語または熟語の下部に下線４０３を引くと（図４ｃ）、ユーザアクション検出部１０５５はこの下線を引くアクションを認識し、単語または熟語に対応したコンテンツを取得して表示するタイミングがユーザによって指示されたものと判定する。そして、その判定結果をコンテンツ取得部１０５６に通知し、コンテンツ資源１０９または１１１からコンテンツを取得させた後、コンテンツ再生出力部１０５７に再生処理させ、投影表示装置１０６に投影表示させる。
【００１５】
図５は、「アルカリ金属とは」という文字列の認識結果に基づいて取得したコンテンツを吹き出し形式５０１で表示した例を示すものである。
【００１６】
また、図６は「春蛙秋蝉（しゅんあしゅうぜん）とは、」という文字列の認識結果に対し、単語対応コンテンツテーブル１０５２に登録されたアニメーションのコンテンツを取得し、アニメーション６０１として投影表示した例を示すものである。
【００１７】
図７は、情報処理装置１０５の各部の処理を示すフローチャートである。
ユーザ１０１が手書き文字をホワイトボード１０３上に入力すると（ステップ７０１）、カメラ１０４はその手書き文字の画像を識別部１０５３に送信する。識別部１０５３は、入力された手書き文字の画像により当該手書き文字が何と言う文字であるかを識別し、さらに複数の文字列が何と言う単語または熟語であるかを文字／単語辞書１０５１を参照し、公知の文字認識技術によって識別する（ステップ７０２）。
この識別結果はユーザアクション検出部１０５５とコンテンツ取得部１０５６に送信される。
【００１８】
ユーザアクション検出部１０５５は、識別された単語または熟語に対して、アクション定義テーブル１０５４に定義されたアクション、すなわちユーザによって手書きされた単語または熟語に対し下線を引く、または丸印（長楕円）で囲むといったアクションがなされたかを検出したならば（ステップ７０３）、このことをコンテンツ識別部１０５６に通知する。
【００１９】
コンテンツ取得部１０５６は、ユーザの特定アクションを検出したタイミングで識別部１０５３が認識した単語または熟語に対応して登録されているコンテンツの存在場所（格納位置）またはコンテンツ名（ファイル名）を単語対応コンテンツテーブル１０５２から取得し、該当するコンテンツをコンテンツ資源１０９または１１１から取得する（ステップ７０４）。そして、取得したコンテンツをコンテン再生出力部１０５７に送信し、投影表示装置１０６及びスピーカ１０７から視聴可能なように再生処理する。再生されたコンテンツは投影表示装置１０６によってホワイトボード上に表示されると同時に、表示装置１０８にも表示される(ステップ７０５)。この場合、コンテンツが楽音や音声などの音を含むものであったときにはスピーカ１０７から発音されることは言うまでもない。
【００２０】
以上のように本実施形態によれば、ユーザが手書きした文字を認識し、その認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブルに登録した単語とコンテンツの対応関係に基づき認識し、前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたかを検出し、特定の線または記号から成る記述アクションがなされたことを契機に、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているコンテンツを内部または外部のコンテンツ資源から取得し、当該コンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示するように構成したため、利用者が指定した任意のタイミングで利用者が必要とする教材などのコンテンツを手書き文字入力画面に投影表示することができ、特に、学校教育などにおいて生徒が教科を理解し易くなるような副教材などを投影表示する場合に極めて有効な効果を発揮する。
【００２１】
なお、上記実施形態においては、単語／熟語対応のコンテンツをコンテンツ資源から直接取得する例を挙げて説明したが、コンテンツが特定のプログラムを起動することによって間接的に提供される形態になっているものについては、コンテンツを直接取得する代わりに、起動対象のプログラムを起動するように単語対応コンテンツテーブルに登録すればよい。すなわち、コンテンツ取得部は、識別部が認識した特定の単語または熟語に対応して単語対応コンテンツテーブルに登録されているプログラムを起動し、この起動されたプログラムに対応付けられたコンテンツを内部または外部のコンテンツ資源から取得するように構成することができる。
また、ホワイトボードに投影表示する例を挙げて説明したが、白色の壁面に投影表示することも可能である。
【符号の説明】
【００２２】
１０１ ユーザ
１０２ 描画ペン
１０３ ホワイトボード
１０４ カメラ
１０５ 情報処理装置
１０６ 投影表示装置
１０７ スピーカ
１０８ 表示装置
１０９ コンテンツＤＢ
１１０ コンテンツサーバ
１０５１ 文字／単語辞書
１０５２ 単語対応コンテンツテーブル
１０５３ 識別部
１０５４ アクション態様定義テーブル
１０５５ ユーザアクション認識部
１０５６ コンテンツ取得部
１０５７ コンテンツ再生出力部
【技術分野】
【０００１】
本発明は、手書き文字入力面に入力された手書き文字を認識し、その認識結果に応じたコンテンツを取得して前記手書き文字入力面に投影表示する情報処理システムに関するものである。
【背景技術】
【０００２】
従来から、コンテンツ実行指示の方法として紙面に印刷された文字情報を認識し、認識情報に応じた処理を行う技術が存在する。例えば、下記特許文献１では新聞や雑誌等のテレビ番組表をカメラで認識し、テレビ番組に示された「○」「×」を認識し番組の録画予約の実行/削除が指示されることが記載されている。
また、下記特許文献２では手書き入力された文字を認識し、各文字に対応する色情報を関連付けて記憶する文字/色関連テーブルに基づいて各文字に関連付けられた色情報を出力することでユーザの手書き入力された文字が認識可能か否かを判別でき文字認識性能を向上させることができることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１４２５７６号公報
【特許文献２】特開２００３−２７１８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された技術においては、利用者は特定する「録画」という一つのコンテンツの操作のみが可能であり、他のコンテンツを操作することができなかった。
また、上述した特許文献２に記載された技術においても、利用者のタイミングに関係なく手書き入力された文字を認識し、「色情報を出力する」とういうプログラムが自動的に実行されるため、利用者はプログラムの起動操作を任意のタイミングで行えなかった。
すなわち、上記のいずれの技術においても、利用者が必要とするあらゆるコンテンツまたはコンテンツを再生するプログラムを利用者が指定した任意のタイミングで起動させることが不可能であった。
【０００５】
本発明の目的は、手書き文字から利用者が必要とするコンテンツを利用者が指定する任意のタイミングで再生することができる機能を備えた情報処理システムを提供することである。
【課題を解決するための手段】
【０００６】
上記目的を解決するために、本発明は、手書き文字入力面に入力された手書き文字を認識し、その認識結果に応じたコンテンツを取得して前記手書き文字入力面に投影表示する情報処理システムであって、
前記認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブルに登録した単語または熟語とコンテンツの対応関係に基づき認識する第１の手段と、
前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたかを検出する第２の手段と、
特定の線または記号から成る記述アクションを検出したことを契機に、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているコンテンツを内部または外部のコンテンツ資源から取得する第３の手段と、
取得したコンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示させる第４の手段と
を備えることを特徴とする。
また、前記第２の手段は、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたか否かを、記述アクションを記述態様別に定義したアクション定義テーブルに基づき検出することを特徴とする。
さらに、前記投影表示手段はコンテンツに含まれる音を再生する発音手段を含むものであることを特徴とする。
また、前記第３の手段は、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているプログラムを起動し、この起動されたプログラミングに対応付けられたコンテンツを内部または外部のコンテンツ資源から取得することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザが手書きした文字を認識し、その認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブルに登録した単語とコンテンツの対応関係に基づき認識し、前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたかを検出し、特定の線または記号から成る記述アクションがなされたことを契機に、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているコンテンツを内部または外部のコンテンツ資源から取得し、当該コンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示するように構成したため、利用者が指定した任意のタイミングで利用者が必要とする教材などのコンテンツを手書き文字入力画面に投影表示することができ、特に、学校教育などにおいて生徒が教科を理解し易くなるような副教材などを投影表示する場合に極めて有効な効果を発揮する。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態を示すシステム構成図である。
【図２】単語対応コンテンツテーブルの登録内容の例を示す図である。
【図３】アクション態様定義テーブルの登録内容の例を示す図である。
【図４】手書き文字を認識した後、単語または熟語として認識したことを強調表示する例を示す図である。
【図５】ユーザによって特定のアクションがなされた場合に単語対応のコンテンツが表示された例を示す図である。
【図６】単語対応のコンテンツの他の例を示す図である。
【図７】情報処理装置の各部の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明に係る情報処理システムの一実施形態を示すシステム構成図である。
図１に示すように、本実施形態は、ユーザ（例えば教師）１０１がホワイトボード用描画ペン１０２で手書き文字（例えば、炎色反応とは）を記述するホワイトボード１０３と、このホワイトボード１０３の手書き文字入力面に記述された手書き文字を撮影するカメラ１０４と、カメラ１０４で撮影した手書き文字を公知のイメージ認識技術によって文字認識し、その認識結果に含まれる単語や熟語に対応して予め登録されたコンテンツを取得する情報処理装置１０５と、取得したコンテンツを投影表示する投影表示装置１０６およびスピーカ１０７と、表示装置１０８と、外部のコンテンツＤＢ１０９、コンテンツサーバ１１０とから構成されている。
ここで、外部のコンテンツＤＢ１０９、コンテンツサーバ１１０はインターネットなどのネットワーク１１２を介してアクセス可能になっているが、コンテンツＤＢ１０９は情報処理システム１０５内に内蔵される場合がある。
【００１０】
情報処理システム１０５は、ホワイトボード１０３の手書き文字入力面に入力された手書き文字を文字／単語辞書１０５１に登録された情報に基づいて認識し、その認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブル１０５２に登録した単語とコンテンツの対応関係に基づき認識する識別部１０５３と、前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の下線または記号から成る記述アクションがなされたかをアクション定義テーブル１０５４の登録情報に基づいて検出するユーザアクション検出部１０５５と、特定の線または記号から成る記述アクションがなされたことを契機に、前記識別部１０５３認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブル１０５２に登録されているコンテンツを内部または外部のコンテンツ資源１０９または１１１から取得するコンテンツ取得部１０５６と、取得したコンテンツを視聴可能なように再生処理し、投影表示装置１０６よりホワイトボード１０３の手書き文字入力面に投影表示すると共に、スピーカ１０７から発音させるコンテンツ再生出力部１０５７とを備えて構成されている。
ここで、ホワイトボード１０３の手書き文字入力面に入力された手書き文字を認識する識別部１０５３の処理は公知の技術であるため、その詳細な説明は省略する。
【００１１】
図２は、単語対応コンテンツテーブル１０５２の登録内容の一例を示す図であり、特定単語／熟語１０５２１に対して特定のコンテンツである教材１０５２２が登録され、かつ教材を取得した場合の動作１０５２３が登録されている。
例えば「炎色反応」と言う単語に対しては動画Ａがコンテンツとして登録され、教師(ユーザ)によって「炎色反応」という単語の下部位置に下線を引くという記述アクションがなされた場合には、このことを検出したタイミングで動画Ａを再生させ、動画Ａを投影表示するという動作が実行される。
教材の格納場所の指定の仕方としては、ファイル名、ＵＲＬなどの公知の指定の仕方を用いることが可能である。
【００１２】
図３は、アクション態様定義テーブル１０５４の登録内容の一例を示す図であり、アクションナンバー１０５４１別に、アクション態様１０５４２、現在設定１０５４３が登録されている。
アクション態様１０５４２とは、識別部１０５３が認識した単語または熟語に対してユーザがどういう記述アクションをしたかを検出するための定義であって、ここでは認識した文字列(単語または熟語)を丸印で囲むといったアクション、認識した文字列(単語または熟語)に下線を引くなどの定義が登録されている。
ユーザアクション検出部１０５５は、この定義に従い、認識した文字列(単語または熟語)が丸印（長楕円）で囲まれたか、あるいは下線が引かれたかを認識する。この認識処理も公知の技術を用いることができるのでその詳細な説明は省略する。
現在設定１０５４３は、どのアクションナンバーのアクション定義が使用可能になっているかを示すものであり、図３の例ではアクションナンバー１と２が使用可能になっていることを示している。
【００１３】
図４は、ホワイトボード１０３上に描画ペン１０で文字４０１を手書きした場合の動作を説明する図である。
図示のように例えば「炎色反応とは、」という文字４０１を手書きすると、この手書き文字４０１は識別部１０５３によって個々の文字が認識される（図４ａ）。情報処置装置１０５に複数の文字列からなる単語または熟語として認識されると、情報処理装置１０５が単語または熟語として認識したことをユーザに確認させるために識別部１０５３は認識した文字４０１を太字に変更し、強調表示する(図４ｂ)。この場合、太字でなく、他の文字種または色を変更して強調表示するようにしてもよい。
【００１４】
次に、ユーザが描画ペン１０２を用いて、認識した単語または熟語の下部に下線４０３を引くと（図４ｃ）、ユーザアクション検出部１０５５はこの下線を引くアクションを認識し、単語または熟語に対応したコンテンツを取得して表示するタイミングがユーザによって指示されたものと判定する。そして、その判定結果をコンテンツ取得部１０５６に通知し、コンテンツ資源１０９または１１１からコンテンツを取得させた後、コンテンツ再生出力部１０５７に再生処理させ、投影表示装置１０６に投影表示させる。
【００１５】
図５は、「アルカリ金属とは」という文字列の認識結果に基づいて取得したコンテンツを吹き出し形式５０１で表示した例を示すものである。
【００１６】
また、図６は「春蛙秋蝉（しゅんあしゅうぜん）とは、」という文字列の認識結果に対し、単語対応コンテンツテーブル１０５２に登録されたアニメーションのコンテンツを取得し、アニメーション６０１として投影表示した例を示すものである。
【００１７】
図７は、情報処理装置１０５の各部の処理を示すフローチャートである。
ユーザ１０１が手書き文字をホワイトボード１０３上に入力すると（ステップ７０１）、カメラ１０４はその手書き文字の画像を識別部１０５３に送信する。識別部１０５３は、入力された手書き文字の画像により当該手書き文字が何と言う文字であるかを識別し、さらに複数の文字列が何と言う単語または熟語であるかを文字／単語辞書１０５１を参照し、公知の文字認識技術によって識別する（ステップ７０２）。
この識別結果はユーザアクション検出部１０５５とコンテンツ取得部１０５６に送信される。
【００１８】
ユーザアクション検出部１０５５は、識別された単語または熟語に対して、アクション定義テーブル１０５４に定義されたアクション、すなわちユーザによって手書きされた単語または熟語に対し下線を引く、または丸印（長楕円）で囲むといったアクションがなされたかを検出したならば（ステップ７０３）、このことをコンテンツ識別部１０５６に通知する。
【００１９】
コンテンツ取得部１０５６は、ユーザの特定アクションを検出したタイミングで識別部１０５３が認識した単語または熟語に対応して登録されているコンテンツの存在場所（格納位置）またはコンテンツ名（ファイル名）を単語対応コンテンツテーブル１０５２から取得し、該当するコンテンツをコンテンツ資源１０９または１１１から取得する（ステップ７０４）。そして、取得したコンテンツをコンテン再生出力部１０５７に送信し、投影表示装置１０６及びスピーカ１０７から視聴可能なように再生処理する。再生されたコンテンツは投影表示装置１０６によってホワイトボード上に表示されると同時に、表示装置１０８にも表示される(ステップ７０５)。この場合、コンテンツが楽音や音声などの音を含むものであったときにはスピーカ１０７から発音されることは言うまでもない。
【００２０】
以上のように本実施形態によれば、ユーザが手書きした文字を認識し、その認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブルに登録した単語とコンテンツの対応関係に基づき認識し、前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたかを検出し、特定の線または記号から成る記述アクションがなされたことを契機に、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているコンテンツを内部または外部のコンテンツ資源から取得し、当該コンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示するように構成したため、利用者が指定した任意のタイミングで利用者が必要とする教材などのコンテンツを手書き文字入力画面に投影表示することができ、特に、学校教育などにおいて生徒が教科を理解し易くなるような副教材などを投影表示する場合に極めて有効な効果を発揮する。
【００２１】
なお、上記実施形態においては、単語／熟語対応のコンテンツをコンテンツ資源から直接取得する例を挙げて説明したが、コンテンツが特定のプログラムを起動することによって間接的に提供される形態になっているものについては、コンテンツを直接取得する代わりに、起動対象のプログラムを起動するように単語対応コンテンツテーブルに登録すればよい。すなわち、コンテンツ取得部は、識別部が認識した特定の単語または熟語に対応して単語対応コンテンツテーブルに登録されているプログラムを起動し、この起動されたプログラムに対応付けられたコンテンツを内部または外部のコンテンツ資源から取得するように構成することができる。
また、ホワイトボードに投影表示する例を挙げて説明したが、白色の壁面に投影表示することも可能である。
【符号の説明】
【００２２】
１０１ ユーザ
１０２ 描画ペン
１０３ ホワイトボード
１０４ カメラ
１０５ 情報処理装置
１０６ 投影表示装置
１０７ スピーカ
１０８ 表示装置
１０９ コンテンツＤＢ
１１０ コンテンツサーバ
１０５１ 文字／単語辞書
１０５２ 単語対応コンテンツテーブル
１０５３ 識別部
１０５４ アクション態様定義テーブル
１０５５ ユーザアクション認識部
１０５６ コンテンツ取得部
１０５７ コンテンツ再生出力部
【特許請求の範囲】
【請求項１】
手書き文字入力面に入力された手書き文字を認識し、その認識結果に応じたコンテンツを取得して前記手書き文字入力面に投影表示する情報処理システムであって、
前記認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブルに登録した単語または熟語とコンテンツの対応関係に基づき認識する第１の手段と、
前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたかを検出する第２の手段と、
特定の線または記号から成る記述アクションを検出したことを契機に、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているコンテンツを内部または外部のコンテンツ資源から取得する第３の手段と、
取得したコンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示させる第４の手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記第２の手段は、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたか否かを、記述アクションを記述態様別に定義したアクション定義テーブルに基づき検出することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記投影表示手段はコンテンツに含まれる音を再生する発音手段を含むものであることを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記第３の手段は、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているプログラムを起動し、この起動されたプログラミングに対応付けられたコンテンツを内部または外部のコンテンツ資源から取得することを特徴とする請求項１〜３のいずれかに記載の情報処理システム。
【請求項１】
手書き文字入力面に入力された手書き文字を認識し、その認識結果に応じたコンテンツを取得して前記手書き文字入力面に投影表示する情報処理システムであって、
前記認識した複数の手書き文字から成る文字列が取得対象のコンテンツに対応する特定の単語または熟語に該当するか否かを単語対応コンテンツテーブルに登録した単語または熟語とコンテンツの対応関係に基づき認識する第１の手段と、
前記文字列が特定の単語または熟語に該当した場合に、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたかを検出する第２の手段と、
特定の線または記号から成る記述アクションを検出したことを契機に、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているコンテンツを内部または外部のコンテンツ資源から取得する第３の手段と、
取得したコンテンツを視聴可能なように再生処理し、投影表示手段により前記手書き文字入力面に投影表示させる第４の手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記第２の手段は、当該特定の単語または熟語の記述位置にコンテンツ取得の契機となる特定の線または記号から成る記述アクションがなされたか否かを、記述アクションを記述態様別に定義したアクション定義テーブルに基づき検出することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記投影表示手段はコンテンツに含まれる音を再生する発音手段を含むものであることを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記第３の手段は、前記第１の手段が認識した特定の単語または熟語に対応して前記単語対応コンテンツテーブルに登録されているプログラムを起動し、この起動されたプログラミングに対応付けられたコンテンツを内部または外部のコンテンツ資源から取得することを特徴とする請求項１〜３のいずれかに記載の情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１０５２２９（Ｐ２０１３−１０５２２９Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７１１６（Ｐ２０１１−２４７１１６）
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]