学習支援装置、これを用いる学習支援方法、学習支援プログラムおよび記録媒体
【課題】 マスク画像を作成するための入力作業を単純化することのできる学習支援装置、これを用いる学習支援方法、学習支援プログラムおよび記録媒体を提供することである。
【解決手段】 学習支援装置２０において文字認識部２２は、文書画像に含まれる各文字を認識する。文字位置認識部２６は、表示画面上の文字表示領域を認識する。文字表示領域には、文字認識部２２によって認識された各文字が配置される。位置指定入力部２７は、位置指定情報４０を入力するための部分であり、位置指定情報４０は、表示画面上において位置を指定する。指定位置判定部２８は、位置指定情報４０によって指定された位置が、文字表示領域に含まれるか否かを判定する。
【解決手段】 学習支援装置２０において文字認識部２２は、文書画像に含まれる各文字を認識する。文字位置認識部２６は、表示画面上の文字表示領域を認識する。文字表示領域には、文字認識部２２によって認識された各文字が配置される。位置指定入力部２７は、位置指定情報４０を入力するための部分であり、位置指定情報４０は、表示画面上において位置を指定する。指定位置判定部２８は、位置指定情報４０によって指定された位置が、文字表示領域に含まれるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習を支援する学習支援装置、これを用いる学習支援方法、学習支援プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
図１７は、従来技術に係る学習支援装置である電子教科書１の構成を表すブロック図である。従来技術に係る学習支援装置として、文書を画像として読取る画像取得部２と、読み込んだ画像を表示する表示部３と、表示部３の上に積層され操作入力を可能とする操作部４と、操作部４への入力操作に基づいて前記表示部３における画像表示をマスクするためのマスクデータを作成するマスクデータ作成手段とを含む電子教科書１が知られる。
【０００３】
この電子教科書１では、操作部４を介して閉曲線を成す図形が入力されると、操作部４に対して押圧によって入力された座標情報は、押圧信号検出部５によって押圧信号として検出される。これによって、閉曲線によって囲繞される領域をマスクするためのマスクデータが、マスクデータ作成手段６によって作成される。この電子教科書１では、画像取得部２によって読取られた画像と、マスクデータ作成手段６によって作成されたマスクデータとが重畳されて表示部３において表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３４０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術における電子教科書１では、マスクされる領域を指定するためには閉曲線が描かれるように入力操作しなければならず、マスクデータ作成手段６に対してマスク領域を指示するための入力作業が煩雑であるという問題点がある。
【０００６】
本発明の目的は、マスク画像を作成するためのマスク領域の入力作業を単純化することのできる学習支援装置、これを用いる学習支援方法、学習支援プログラムおよび記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、１または複数の文字が記載される文書を文書画像として読取る画像読取部と、
前記文書画像に含まれる各文字を認識する文字認識部と、
表示画面を有し、前記文書画像を前記表示画面上に表示する表示部と、
前記文字認識部によって認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識部と、
前記表示画面上において位置を指定する位置指定情報を入力するための位置指定入力部と、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定部と、
前記位置指定入力部によって指定された位置が前記文字表示領域に含まれると、前記指定位置判定部によって判定されたときに、前記位置指定情報によって指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識部と、
前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成部と、
前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成部と、
前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御部とを含むことを特徴とする学習支援装置である。
【０００８】
また本発明は、１または複数の前記文書画像と１または複数の前記重畳画像とを記憶する画像記憶部であって、
一文書画像に対応して１または複数の前記マスク画像が前記マスク画像生成部によって生成されたときに、前記１または複数の前記マスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する画像記憶部をさらに含むことを特徴とする。
【０００９】
また本発明は、前記文書画像および前記重畳画像のうちいずれか１つの画像を選択する選択指令情報を入力するための選択指令入力部をさらに含み、
前記表示制御部は、前記選択指令情報に応じて、前記表示部に、前記選択された文書画像または重畳画像を表示させることを特徴とする。
【００１０】
また本発明は、前記画像記憶部は、前記文書画像および前記重畳画像のうち前記選択指令情報によって選択された文書画像または重畳画像に、前記選択指令情報によって選択されたことを表す選択履歴情報を付与して記憶することを特徴とする。
【００１１】
また本発明は、日時情報を取得する日時情報取得部をさらに含み、
前記画像記憶部は、前記画像読取部が各文書画像を読取ったときに前記日時情報取得部が取得した日時情報を、読取った前記各文書画像の読取日時情報として記憶し、前記表示部が各文書画像または各重畳画像を表示したときに前記日時情報取得部が取得した日時情報を、表示した前記各文書画像または各重畳画像の表示日時情報として記憶することを特徴とする。
【００１２】
また本発明は、前記選択指令情報の入力によって前記文書画像および前記重畳画像のうちの１つ画像が選択されると、前記選択指令情報の入力が行われたときに前記日時情報取得部が取得した日時情報を現在日時として取得し、前記選択された文書画像の読取日時情報、または前記選択された重畳画像の読取日時情報と、前記現在日時とを比較し、時間的な差分値を算出する時間差算出部をさらに含み、
前記表示制御部は、前記時間差算出部による算出結果が、予め定める時間的な長さ以上であるか否かを判定し、前記時間差算出部による算出結果が予め定める時間的な長さ以上であると判定された場合、
前記選択指令情報が一文書画像を選択する情報であるときには、前記一文書画像に関連付けられる１または複数の重畳画像が前記画像記憶部に記憶されているか否かの情報を取得し、
前記画像記憶部に重畳画像が記憶されていれば、前記重畳画像の１つを前記表示部に表示させ、前記画像記憶部に前記一文書画像に関連付けられる重畳画像が記憶されていなければ、前記一文書画像を表示部に表示させることを特徴とする。
【００１３】
また本発明は、連続して並ぶ前記マスク領域に配置される複数の文字を、一連の文字列として認識する文字列抽出部と、
前記一連の文字列の少なくとも一部の文字を単語として認識する単語認識部と、
前記単語認識部によって認識される単語、および前記単語に関連付けられる関連情報を記憶する関連情報記憶部と、
前記関連情報を表示する関連画像を生成する関連画像生成部とをさらに含み、
前記表示制御部は、前記一連の文字列が配置される文書画像または重畳画像と、前記関連画像とを重畳して表示部に表示させることを特徴とする。
【００１４】
また本発明は、前記学習支援装置を用い、
前記画像読取部によって、１または複数の文字が記載される文書を文書画像として読取る画像読取工程と、
前記文字認識部によって、前記文書画像に含まれる各文字を認識する文字認識工程と、
前記表示部によって、前記文書画像を前記表示画面上に表示する表示工程と、
前記文字位置認識部によって、前記文字認識工程において認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識工程と、
前記位置指定入力部によって、前記表示画面上において位置を指定する位置指定情報を入力する位置指定入力工程と、
前記指定位置判定部によって、前記位置指定入力工程において指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定工程と、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれると、前記指定位置判定工程において判定されたときに、前記マスク領域認識部によって、前記位置指定入力工程において指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識工程と、
前記マスク画像生成部によって、前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成工程と、
前記重畳画像生成部によって、前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成工程と、
前記表示制御部によって前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御工程とを含むことを特徴とする学習支援方法である。
【００１５】
また本発明は、１または複数の文字が記載される文書を文書画像として読取る画像読取部と、表示画面を有し、前記文書画像を前記表示画面上に表示する表示部と、
前記表示画面上において位置を指定する位置指定情報を入力するための位置指定入力部とに接続されたコンピュータを、
前記文書画像に含まれる各文字を認識する文字認識部、
前記文字認識部によって認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識部、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定部、
前記位置指定入力部によって指定された位置が前記文字表示領域に含まれると、前記指定位置判定部によって判定されたときに、前記位置指定情報によって指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識部、
前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成部、
前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成部、および
前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御部として機能させることを特徴とする学習支援プログラムである。
【００１６】
また本発明は、前記学習支援プログラムが、コンピュータに読取り可能に記録される記録媒体である。
【発明の効果】
【００１７】
本発明によれば、学習支援装置において文字位置認識部は、文字が配置される表示画面上の領域を、文字表示領域として認識する。文字表示領域には、文字認識部によって認識された各文字が配置される。位置指定入力部は、位置指定情報を入力するための部分であり、位置指定情報は、表示画面上において位置を指定する。指定位置判定部は、位置指定情報によって指定された位置が、文字表示領域に含まれるか否かを判定する。マスク領域認識部は、位置指定情報によって指定された位置が、文字表示領域に含まれると、指定位置判定部によって判定されたときに、位置指定情報によって指定された位置を含む文字表示領域を、マスク領域として認識する。マスク領域は、マスクされるべき領域である。マスク画像生成部は、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成部は、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御部は、表示部を制御し、表示部に重畳画像を表示させる。
【００１８】
これによって、位置指定入力部によって指定した位置を含む文字表示領域を、マスク領域として指定することができる。したがって、文字表示領域のうち１点でも指定すれば、その文字表示領域に含まれる文字をマスクするマスク画像を生成することができる。文字表示領域は、文字認識部によって認識されるので、文字表示領域を規定する端の位置は、自動的に認識される。これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、直接的に入力するのではなく、隣接する文字表示領域同士の間に、自動的に位置させることができる。したがって、マスクしたい文字列を、他の領域の文字列と区別して囲繞するのではなく、紙面上においてマーカーペンで文字列をなぞるように、マスクしたい文字列を指定することができる。これによって、マスク画像を作成するための入力作業を単純化することができる。
【００１９】
また本発明によれば、学習支援装置は、画像記憶部をさらに含んで構成される。画像記憶部は、１または複数の文書画像と１または複数の重畳画像とを記憶する。画像記憶部は、一文書画像に対応して１または複数のマスク画像がマスク画像生成部によって生成されたときに、１または複数のマスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する。これによって、画像記憶部から繰返して読み出すことによって、文字画像および重畳画像を複数回にわたって表示させることができる。したがって、複数回の確認作業を行うことが可能となり、容易に復習することができ、効果的に学習支援を行うことができる。
【００２０】
また本発明によれば、学習支援装置は、選択指令入力部をさらに含んで構成される。選択指令入力部は、選択指令情報を入力するための部分である。選択指令情報は、文書画像および重畳画像のうちいずれか１つの画像を選択する情報である。表示制御部は、選択指令情報に応じて、表示部に、選択された文書画像または重畳画像を表示させる。これによって、選択指令入力部によって、表示部に、文書画像および重畳画像のいずれかの画像を表示させることができる。したがって、マスク領域においてマスクされる文字を思い出す作業を繰返して行うことができ、効率的に学習を行うことができる。
【００２１】
また本発明によれば、画像記憶部は、文書画像および重畳画像のうち選択指令情報によって選択された文書画像または重畳画像に、選択履歴情報を付与して記憶する。選択履歴情報は、選択指令情報によって選択されたことを表す。これによって、すでに文書画像および重畳画像の表示が行われた履歴があるか否か、表示回数の計測、および表示が行われた時期などを記録することが可能となる。したがって、表示履歴の有無、表示回数の多少、または表示時期などに応じて文書画像に優先順位を付与することも可能となる。これによって、文書画像および重畳画像の表示順序を、優先順位に応じて変更することが可能となる。したがって、効果的な学習支援を行うことができる。
【００２２】
また本発明によれば、学習支援装置は、日時情報取得部をさらに含み、日時情報取得部は、日時情報を取得する。画像記憶部は、画像読取部が各文書画像を読取ったときに日時情報取得部が取得した日時情報を、読取った各文書画像の読取日時情報として記憶する。また画像記憶部は、表示部が各文書画像または各重畳画像を表示したときに日時情報取得部が取得した日時情報を、表示した各文書画像または各重畳画像の表示日時情報として記憶する。これによって、文書画像として読取りが行われた時期、文書画像または重畳画像が表示された時期に応じて文書画像および重畳画像に優先順位を付与することが可能となる。したがって、文書画像または重畳画像の新旧に応じて表示順序を変更することが可能となる。
【００２３】
また本発明によれば、学習支援装置は、時間差算出部をさらに含んで構成される。時間差算出部は、選択指令情報の入力によって文書画像および重畳画像のうちの１つの画像が選択されると、選択指令情報の入力が行われたときに日時情報取得部が取得した日時情報を現在日時として取得する。また時間差算出部は、選択された文書画像の読取日時情報、または選択された重畳画像の読取日時情報と、現在日時とを比較し、時間的な差分値を算出する。表示制御部は、時間差算出部による算出結果が、予め定める時間的な長さ以上であるか否かを判定する。表示制御部は、時間差算出部による算出結果が予め定める時間的な長さ以上であると判定された場合、選択指令情報が一文書画像を選択する情報であるときには、前記一文書画像に関連付けられる１または複数の重畳画像が画像記憶部に記憶されているか否かの情報を取得する。画像記憶部に重畳画像が記憶されていれば、表示制御部は、重畳画像の１つを表示部に表示させる。画像記憶部に、前記一文書画像に関連付けられる重畳画像が記憶されていなければ、前記一文書画像を表示部に表示させる。
【００２４】
これによって、選択指令情報が一文書画像を選択する情報であるときに、選択された一文書画像が予め定める時間的な長さ以上の時間を隔てた過去に読取られたものであり、かつこの一文書画像について重畳画像が画像記憶部に記憶されていれば、一文書画像の表示よりも重畳画像の表示を優先的に行うことができる。したがって、すでに学習されていて然るべき内容には、マスク画像が重畳された重畳画像による復習学習を優先して支援することができる。
【００２５】
また本発明によれば、学習支援装置は、文字列抽出部と、単語認識部と、関連情報記憶部と、関連画像生成部とをさらに含んで構成される。文字列抽出部は、連続して並ぶマスク領域に配置される複数の文字を、一連の文字列として認識する。単語認識部は、一連の文字列の少なくとも一部の文字を単語として認識する。関連情報記憶部は、関連情報を記憶する。関連情報は、単語認識部によって認識される単語および前記単語に関連付けられる。関連画像生成部は、関連情報を表示する関連画像を生成する。表示制御部は、一連の文字列が配置される文書画像または重畳画像と、関連画像とを重畳して表示部に表示させる。
【００２６】
これによって、マスクされた文字列に関連する関連情報を関連画像として表示することができる。したがって、マスクされた文字列を介して、この文字列を含む文字画像とは異なる情報を表示することが可能となる。これによって、効果的な学習支援を行うことができる。
【００２７】
また本発明によれば、学習支援方法において文字位置認識工程では、文字が配置される表示画面上の領域を、文字表示領域として認識する。文字表示領域には、文字認識部によって認識された各文字が配置される。位置指定入力工程では、位置指定情報を入力する工程であり、位置指定情報は、表示画面上において位置を指定する。指定位置判定工程では、位置指定情報によって指定された位置が、文字表示領域に含まれるか否かを判定する。マスク領域認識工程では、位置指定情報によって指定された位置が、文字表示領域に含まれると、指定位置判定部によって判定されたときに、位置指定情報によって指定された位置を含む文字表示領域を、マスク領域として認識する。マスク領域は、マスクされるべき領域である。マスク画像生成工程では、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成工程では、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御工程では、表示部を制御し、表示部に重畳画像を表示させる。
【００２８】
これによって、位置指定入力工程において指定した位置を含む文字表示領域を、マスク領域として指定することができる。したがって、文字表示領域のうち１点でも指定すれば、その文字表示領域に含まれる文字をマスクするマスク画像を生成することができる。文字表示領域は、文字認識部によって認識されるので、文字表示領域を規定する端の位置は、自動的に認識される。これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、直接的に入力するのではなく、隣接する文字表示領域同士の間に、自動的に位置させることができる。したがって、マスクしたい文字列を、他の領域の文字列と区別して囲繞するのではなく、紙面上においてマーカーペンで文字列をなぞるように、マスクしたい文字列を指定することができる。これによって、マスク画像を作成するための入力作業を単純化することができる。
【００２９】
学習支援プログラムは、コンピュータを、文字認識部、文字位置認識部、位置指定入力部、指定位置判定部、マスク領域認識部、マスク画像生成部、重畳画像生成部、および表示制御部として機能させる。これによって、前記学習支援装置を、コンピュータを含む構成によって実現することができる。
【００３０】
記録媒体には、前記学習支援プログラムが、コンピュータに読取り可能に記録される。これによって、前記学習支援プログラムを、コンピュータに読み取り可能な記録媒体によって提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１実施形態に係る学習支援装置２０の構成を表すブロック図である。
【図２】本発明の第１実施形態に係る学習支援方法の各工程を表すフローチャートである。
【図３】本発明の第２実施形態に係る学習支援方法の工程を表すフローチャートである。
【図４】本発明の第３実施形態に係る学習支援方法の工程を表すフローチャートである。
【図５】本発明の第４実施形態に係る学習支援方法の工程を表すフローチャートである。
【図６】本発明の第５実施形態に係る学習支援装置２０の構成を表すブロック図である。
【図７】本発明の第５実施形態に係る学習支援方法の工程を表すフローチャートである。
【図８】本発明の第６実施形態に係る学習支援装置２０の構成を表すブロック図である。
【図９】本発明の第６実施形態に係る学習支援方法の工程を表すフローチャートである。
【図１０】本発明の第７実施形態に係る学習支援装置２０の構成を表すブロック図である。
【図１１】本発明の第７実施形態において各重畳画像に関連付けられて記憶される蓄積情報の一例である。
【図１２】本発明の第１実施形態における表示画面による表示の一例である。
【図１３】本発明の第１実施形態に係る学習支援装置２０のマスク情報５６の内容である。
【図１４】本発明の第１実施形態に係る学習支援装置２０の位置指定情報４０の内容である。
【図１５】本発明の第７実施形態に係る学習支援方法の工程を表すフローチャートである。
【図１６】第７実施形態における関連情報記憶部４９に記憶される関連情報の一例である。
【図１７】従来技術に係る学習支援装置である電子教科書１の構成を表すブロック図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照しながら、本発明を実施するための複数の形態について説明する。以下の説明においては、各形態に先行する形態ですでに説明している事項に対応している部分には同一の参照符を付し、重複する説明を略す場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。実施の各形態で具体的に説明している部分の組合せばかりではなく、特に組合せに支障が生じなければ、実施の形態同士を部分的に組合せることも可能である。またそれぞれの実施形態は、本発明に係る技術を具体化するために例示するものであり、本発明の技術的範囲を限定するものではない。本発明に係る技術内容は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることが可能である。以下、学習支援装置２０、学習支援プログラム、および学習支援方法についての説明を含む。
【００３３】
（第１実施形態）
図１は、本発明の第１実施形態に係る学習支援装置２０の構成を表すブロック図である。第１実施形態に係る学習支援装置２０は、文書を文書画像として読取り、文書画像を表示するとともに、文書画像の少なくとも一部をマスクした状態で表示したり、マスクが解除された状態で表示したりすることで、学習を支援する電子装置である。この学習支援装置２０では、画像から文字を認識し、文字認識した結果と表示部２４の上にポイントされた座標位置情報から指定文字領域を抽出する。さらに指定文字領域をマスクして表示したり、文字認識した結果に関連する情報を合成して表示することを可能とする。
【００３４】
学習支援装置２０は、画像読取部２１と、文字認識部２２と、表示部２４と、文字位置認識部２６と、位置指定入力部２７と、指定位置判定部２８と、マスク領域認識部３２と、マスク画像生成部３３と、重畳画像生成部３４と、表示制御部３６とを含んで構成される。画像読取部２１は、１または複数の文字が記載される文書を、文書画像として読取る。文字認識部２２は、文書画像に含まれる各文字を認識する。表示部２４は、表示画面を有し、表示部２４は、文書画像を表示画面上に表示する。
【００３５】
文字位置認識部２６は、文字が配置される表示画面上の領域を、文字表示領域として認識する。文字表示領域には、文字認識部２２によって認識された各文字が配置される。位置指定入力部２７は、位置指定情報４０（図１４参照）を入力するための部分であり、位置指定情報４０は、表示画面上において位置を指定する。指定位置判定部２８は、位置指定情報４０によって指定された位置が、文字表示領域に含まれるか否かを判定する。
【００３６】
マスク領域認識部３２は、位置指定情報４０によって指定された位置が、文字表示領域に含まれると、指定位置判定部２８によって判定されたときに、位置指定情報４０によって指定された位置を含む文字表示領域を、マスク領域として認識する。マスク領域は、マスクされるべき領域である。マスク画像生成部３３は、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成部３４は、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御部３６は、表示部２４を制御し、表示部２４に重畳画像を表示させる。
【００３７】
画像読取部２１は、たとえばスキャナ、カメラなどの画像取得手段である。表示制御部３６は、中央処理装置（central processing unit, 略称「ＣＰＵ」）を含んで実現され、ＲＡＭ（random access memory）などを含んでもよい。表示部２４は、たとえば液晶パネルなどを含んで実現される。位置指定入力部２７は、表示部２４の表示画面上に添付される透明なシート状の部品を含み、たとえばタッチパネルによって実現されるポインティング装置である。タッチパネルは、押圧されると押圧信号を検知し、押圧された位置の座標を検出し、座標情報として出力する。
【００３８】
ただし位置指定入力部２７は、タッチパネルに限定するものではなく、たとえばマウス、トラックボール、トラックパッドなどのポインティング装置を用いて実現することも可能である。また表示部２４を、光センサを内蔵した液晶パネルとすれば、たとえば手指などを表示画面に近接させて外方からの光を遮蔽することによって、位置情報を入力することができる。
【００３９】
その他、文字認識部２２、文字位置認識部２６、指定位置判定部２８、マスク領域認識部３２、マスク画像生成部３３、および重畳画像生成部３４は、表示制御部３６と同様にＣＰＵによって実現される。これらのうち文字認識部２２による文字認識は、光学文字認識（optical character reader, 略称「ＯＣＲ」）などの技術によって実現することができる。またこれによって、文字の姿勢によって文字の上下を判断し、文書画像の上下を判断することもでき、また文書画像内において文字が並ぶ縦方向または横方向など、文字の並ぶ方向を特定することもできる。
【００４０】
学習支援装置２０は、画像記憶部３８を含んで構成される。画像記憶部３８は、１または複数の文書画像と１または複数の重畳画像とを記憶する。画像記憶部３８は、一文書画像に対応して１または複数のマスク画像がマスク画像生成部によって生成されたときに、１または複数のマスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する。画像記憶部３８は、たとえばハードディスクおよびハードディスクドライブ、メモリカードおよびカードリーダなどを含んで実現される。
【００４１】
学習支援装置２０は、選択指令入力部３９を含んで構成される。選択指令入力部３９は、選択指令情報を入力するための部分である。選択指令情報は、文書画像および重畳画像のうちいずれか１つの画像を選択する情報である。表示制御部３６は、選択指令情報に応じて、表示部２４に、選択された文書画像または重畳画像を表示させる。
【００４２】
画像記憶部３８は、文書画像および重畳画像のうち選択指令情報によって選択された文書画像または重畳画像に、選択履歴情報を付与して記憶する。選択履歴情報は、選択指令情報によって選択されたことを表す。
【００４３】
選択指令入力部３９は、位置指定入力部２７とは異なる、たとえばボタンなどを含んで実現されてもよく、また表示画面中の特定の領域に指示アイコンを表示し、これをポインティング装置によってポイントすることによって、選択指令情報を入力することも可能である。表示制御部３６は、画像記憶部３８に対して画像呼び出し手段として機能し、画像記憶部３８に記憶される情報の検索、取得、転送、などを行い、または表示部２４などへの情報の出力を行わせることができる。
【００４４】
学習支援装置２０のうち、文字認識部２２、文字位置認識部２６、指定位置判定部２８、マスク領域認識部３２、マスク画像生成部３３、重畳画像生成部３４および表示制御部３６は、コンピュータによって実現され、コンピュータは、画像読取部２１と、表示部２４と、位置指定入力部２７とに接続される。学習支援プログラムは、コンピュータを、文字認識部２２、文字位置認識部２６、指定位置判定部２８、マスク領域認識部３２、マスク画像生成部３３、重畳画像生成部３４および表示制御部３６として機能させる。第１実施形態においてこのコンピュータは、さらに画像記憶部３８、選択指令入力部３９などにも接続される。学習支援プログラムは、コンピュータに読み取り可能な状態で、記録媒体に記録される。これによって記録媒体による供給が可能となる。
【００４５】
第１実施形態によれば、学習支援装置２０において文字位置認識部２６は、表示画面上の文字表示領域を認識する。文字表示領域には、文字認識部２２によって認識された各文字が配置される。位置指定入力部２７は、位置指定情報４０を入力するための部分であり、位置指定情報４０は、表示画面上において位置を指定する。指定位置判定部２８は、位置指定情報４０によって指定された位置が、文字表示領域に含まれるか否かを判定する。
【００４６】
マスク領域認識部３２は、位置指定情報４０によって指定された位置が、文字表示領域に含まれると、指定位置判定部２８によって判定されたときに、位置指定情報４０によって指定された位置を含む文字表示領域を、マスク領域として認識する。マスク領域は、マスクされるべき領域である。マスク画像生成部３３は、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成部３４は、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御部３６は、表示部２４を制御し、表示部２４に重畳画像を表示させる。
【００４７】
これによって、位置指定入力部２７によって指定した位置を含む文字表示領域を、マスク領域として指定することができる。したがって、文字表示領域のうち１点でも指定すれば、その文字表示領域に含まれる文字をマスクするマスク画像を生成することができる。文字表示領域は、文字認識部２２によって認識されるので、文字表示領域を規定する端の位置は、自動的に認識される。
【００４８】
これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、直接的に入力するのではなく、隣接する文字表示領域同士の間に、自動的に位置させることができる。したがって、マスクしたい文字列を、他の領域の文字列と区別して囲繞するのではなく、紙面上においてマーカーペンで文字列をなぞるように、マスクしたい文字列を指定することができる。これによって、マスク画像を作成するための入力作業を単純化することができる。
【００４９】
また、文字画像において隣接する文字と文字との間隔が狭い場合であっても、文字画像を拡大表示することなく、マスク領域を容易に指定し、マスク画像を生成することができる。したがって、表示画面上に表示される文字が小さい場合、または行間が詰まっている場合などであっても、閉曲線により抽出する必要がない。したがって、複数の文字行を抽出してしまう等、意図しないマスク領域が指定されてしまうことを防止することができる。さらに文字認識を行うので、文字認識結果４１（図１１（ｂ）および図１３（ａ）参照）の文字コードを利用した処理を行うことも可能となる。
【００５０】
また第１実施形態によれば、学習支援装置２０は、画像記憶部３８をさらに含んで構成される。画像記憶部３８は、１または複数の文書画像と１または複数の重畳画像とを記憶する。画像記憶部３８は、一文書画像に対応して１または複数のマスク画像がマスク画像生成部によって生成されたときに、１または複数のマスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する。これによって、画像記憶部３８から繰返して読み出すことによって、文字画像および重畳画像を複数回にわたって表示させることができる。したがって、複数回の確認作業を行うことが可能となり、容易に復習することができ、効果的に学習支援を行うことができる。
【００５１】
また第１実施形態によれば、学習支援装置２０は、選択指令入力部３９をさらに含んで構成される。選択指令入力部３９は、選択指令情報を入力するための部分である。選択指令情報は、文書画像および重畳画像のうちいずれか１つの画像を選択する情報である。表示制御部３６は、選択指令情報に応じて、表示部２４に、選択された文書画像または重畳画像を表示させる。これによって、選択指令入力部３９によって、表示部２４に、文書画像および重畳画像のいずれかの画像を表示させることができる。したがって、マスク領域においてマスクされる文字を思い出す作業を繰返して行うことができ、効率的に学習を行うことができる。
【００５２】
また第１実施形態によれば、画像記憶部３８は、文書画像および重畳画像のうち選択指令情報によって選択された文書画像または重畳画像に、選択履歴情報を付与して記憶する。選択履歴情報は、選択指令情報によって選択されたことを表す。これによって、すでに文書画像および重畳画像の表示が行われた履歴があるか否か、表示回数の計測、および表示が行われた時期などを記録することが可能となる。したがって、表示履歴の有無、表示回数の多少、または表示時期などに応じて文書画像に優先順位を付与することも可能となる。これによって、文書画像および重畳画像の表示順序を、優先順位に応じて変更することが可能となる。したがって、効果的な学習支援を行うことができる。
【００５３】
図２は、本発明の第１実施形態に係る学習支援方法の各工程を表すフローチャートである。第１実施形態に係る学習支援方法は、前述した学習支援装置２０を用い、学習を支援する方法である。本発明の第１実施形態に係る学習支援方法は、画像読取工程と、文字認識工程と、表示工程と、文字位置認識工程と、位置指定入力工程と、指定位置判定工程と、マスク領域認識工程と、マスク画像生成工程と、重畳画像生成工程と、表示制御工程とを含んで構成される。
【００５４】
画像読取工程では、画像読取部２１によって、１または複数の文字が記載される文書を、文書画像として読取る。文字認識工程では、文字認識部２２によって、文書画像に含まれる各文字を認識する。表示部２４には、表示画面が形成される。表示工程では、表示部２４によって、文書画像を表示画面上に表示する。文字位置認識工程では、文字位置認識によって、表示画面上の文字表示領域を認識する。文字表示領域には、文字認識部２２によって認識された各文字が配置される。
【００５５】
位置指定入力工程では、位置指定入力部２７によって、位置指定情報４０を入力する。位置指定情報４０は、表示画面上において位置を指定する。指定位置判定工程では、指定位置判定部２８によって、位置指定入力工程において指定された位置が、文字表示領域に含まれるか否かを判定する。マスク領域認識工程では、マスク領域認識部３２によって、位置指定入力工程において指定された位置が、文字表示領域に含まれると、指定位置判定部２８によって判定されたときに、位置指定情報４０によって指定された位置を含む文字表示領域を、マスク領域として認識する。
【００５６】
マスク領域は、マスクされるべき領域である。マスク画像生成工程では、マスク画像生成部３３によって、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成工程では、重畳画像生成部３４によって、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御工程では、表示制御部３６によって、表示部２４を制御し、表示部２４に重畳画像を表示させる。
【００５７】
本処理開始後、ステップａ１の工程に移行し、学習支援を終了するか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。学習支援を終了するとの選択指令情報が入力されれば、本処理を終了する。画像入力を終了しない場合には、次のステップａ２の画像読取工程に移行し、文書画像の読取を行う。次にステップａ３の文字認識工程に移行し、読み取った文書画像に含まれる文字の認識を行う。次にステップａ４の表示工程に移行し、読み取った文書画像の表示を行う。ステップａ３の文字認識工程およびステップａ４の表示工程は、順序を逆にしてもよい。
【００５８】
次にステップａ５の文字位置認識工程に移行し、表示画面上における各文字の位置の認識を行う。これは、各文字に外接する矩形の領域を設定し、矩形を成す４つの頂点のうち少なくとも対角線上の２つの点の座標の検出を行う。このとき、矩形における４つの頂点の座標を検出してもよい。
【００５９】
次にステップａ６の位置指定入力工程に移行し、位置指定情報４０の入力を行う。このとき学習支援装置２０では、位置指定情報４０の入力が行われたか否かの判断を行い、入力が行われていないとの判断結果であれば、ステップａ１の工程に移行する。位置指定情報４０の入力が行われた場合には、位置指定情報４０によって指定された位置を座標によって表す。次にステップａ７の指定位置判定工程に移行し、位置指定情報４０によって指定された位置が、表示画面上のいずれかの文字表示領域に含まれる位置であるか否かを判定する。このとき、位置指定情報４０によって指定された位置が、表示画面上のいずれの文字表示領域にも含まれないと判定された場合には、ステップａ６の位置指定入力工程に移行する。
【００６０】
指定位置判定工程において、位置指定情報４０で指定された位置が、表示画面上のいずれかの文字表示領域に含まれる位置であると判定された場合には、ステップａ８のマスク領域認識工程に移行し、この位置を含む文字表示領域を検出し、この文字表示領域をマスク領域として認識する。次にステップａ９のマスク画像生成工程に移行し、マスク画像の生成を行う。
【００６１】
次にステップａ１０の重畳画像生成工程に移行し、文字画像とマスク画像とを重畳して、重畳画像を生成する。これは、文字画像とマスク画像とがそれぞれ異なる層であるという情報を維持して重畳画像を生成してもよいし、レイヤーを統合して分離不可能な画像として生成してもよい。次にステップａ１１の表示制御工程に移行する。第１実施形態において表示制御工程では、表示部２４に、重畳画像の表示を行わせる。ステップａ１１の表示制御工程の後には、ステップａ１に移行し、学習支援を終了するのか否かの判断を行い、学習支援を終了するとの選択指令情報が入力されれば、本処理を終了する。
【００６２】
これによって、位置指定入力工程において指定した位置を含む文字表示領域を、マスク領域として指定することができる。したがって、文字表示領域のうち１点でも指定すれば、その文字表示領域に含まれる文字をマスクするマスク画像を生成することができる。文字表示領域は、文字認識部２２によって認識されるので、文字表示領域を規定する端の位置は、自動的に認識される。
【００６３】
これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、直接的に入力するのではなく、隣接する文字表示領域同士の間に、自動的に位置させることができる。したがって、マスクしたい文字列を、他の領域の文字列と区別して囲繞するのではなく、紙面上においてマーカーペンで文字列をなぞるように、マスクしたい文字列を指定することができる。これによって、マスク画像を作成するための入力作業を単純化することができる。
【００６４】
また、文字画像において隣接する文字と文字との間隔が狭い場合であっても、文字画像を拡大表示することなく、マスク領域を容易に指定し、マスク画像を生成することができる。したがって、表示画面上に表示される文字が小さい場合、または行間が詰まっている場合などであっても、閉曲線により抽出する必要がない。したがって、複数の文字行を抽出してしまう等、意図しないマスク領域が指定されてしまうことを防止することができる。さらに文字認識を行うので、文字認識結果４１の文字コードを利用した処理を行うことも可能となる。
【００６５】
（第２実施形態）
図３は、本発明の第２実施形態に係る学習支援方法の工程を表すフローチャートである。第２実施形態に係る学習支援装置２０および学習支援方法は、第１実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第１実施形態に対する第２実施形態の相違点を中心に説明する。
【００６６】
第２実施形態に係る学習支援方法では、画像読取部２１によって読取られる画像、および画像記憶部３８に記憶される画像のうち、いずれの画像を表示部２４に表示するかを選択することができる。本処理開始後、ステップｂ１に移行し、画像記憶部３８に記憶される画像を読み出すか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。画像記憶部３８に記憶される画像を読み出す場合には、ステップｂ２の蓄積画像表示工程に移行し、選択指令情報によって指定された画像の読み出しを行う。
【００６７】
蓄積画像表示工程の次には、ステップｂ３の工程に移行し、画像表示を終了するか否かの判断を行う。この工程でも、選択指令入力部３９からの選択指令情報が表示制御部３６によって判断され、選択指令情報が画像表示を終了しないことを意味する場合には、画像表示を継続し、画像記憶部３８に記憶される画像の表示を続ける。このとき、選択指令情報が、表示中の画像についての表示を終了する指令を意味する場合には、ステップｂ１に移行する。画像記憶部３８に記憶される画像のうちの他の画像への切換えを意味するならば、ステップｂ１において他の蓄積画像を読み出すものと判断され、それに従って表示を行うことができる。
【００６８】
ステップｂ１の工程において、画像記憶部３８に記憶される画像を読み出さないと判断された場合には、ステップｂ４の工程に移行する。ステップｂ４では、学習支援を終了するのか否かの判断を行う。ステップｂ４〜ステップｂ１４は、第１実施形態におけるステップａ１〜ステップａ１１の工程と同様である。ステップｂ１４の表示制御工程の後、ステップｂ１５の重畳画像保存判断工程に移行し、重畳画像の保存を行うか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。このとき、重畳画像の保存を行わないと判断されると、ステップｂ４に移行し、重畳画像の保存を行うと判断されると、次のステップｂ１６の重畳画像保存工程に移行する。
【００６９】
ｂ１６の重畳画像保存工程では、重畳画像の画像記憶部３８への保存を行う。このとき重畳画像とは別にマスク画像を保存することもできる。各重畳画像および各マスク画像は、１つの文書画像に対応するものであるので、その文書画像と関連付けられた状態で、保存される。ステップｂ１６の重畳画像保存工程の後には、ステップｂ４に移行し、学習支援を終了するのか否かの判断を行い、学習支援を終了するとの選択指令情報が入力されれば、本処理を終了する。
【００７０】
（第３実施形態）
図４は、本発明の第３実施形態に係る学習支援方法の工程を表すフローチャートである。第３実施形態に係る学習支援装置２０および学習支援方法は、第１実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第１実施形態に対する第３実施形態の相違点を中心に説明する。第３実施形態では、画像記憶部３８に記憶された画像の、文書画像および重畳画像のうち、いずれか一方の表示を、選択指令入力部３９からの選択指令情報に沿って行う。
【００７１】
本処理開始後、ステップｃ１に移行し、画像記憶部３８に記憶される画像を読み出すか否かの判断を行う。この工程は、第２実施形態におけるステップｂ１と同様である。このとき、画像記憶部３８に記憶される画像を読み出すと判断されると、ステップｃ２に移行し、文書画像および重畳画像のうちのいずれを表示するのかの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。
【００７２】
ここでは、複数の文書画像および複数の重畳画像のうちのいずれか１つを、選択指令情報の入力によって選択してもよいけれども、学習を支援するためには、文書画像を表示した後、これに対応する重畳画像を表示するという順序と、重畳画像を表示した後、これに対応する文書画像を表示するという順序とでは意味が異なるので、別段の指定がない場合には、重畳画像を、文書画像よりも時間的に早く表示する構成とすることが好ましい。
【００７３】
第３実施形態では、ステップｃ２において文書画像の表示を行うと判断されると、ステップｃ３の文書画像表示工程に移行し、文書画像を表示する。ステップｃ２において重畳画像の表示を行うと判断されると、ステップｃ４の重畳画像表示工程に移行し、１つの重畳画像の表示の後、この重畳画像において重畳される文書画像の表示を行う。
【００７４】
ステップｃ３およびステップｃ４の後には、ステップｃ５の工程に移行し、画像表示を終了するか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。ステップｃ５の工程において、画像表示を終了しないと判断されると、ステップｃ２の工程に移行する。ステップｃ５の工程において、画像表示を終了すると判断されると、本処理を終了する。ステップｃ１において、画像記憶部３８に記憶される画像を読み出さないと判断された場合には、ステップｃ６に移行し、学習支援を終了するか否かの判断を行う。ステップｃ６以降の工程は、第２実施形態におけるステップｂ４以降の工程と同様である。
【００７５】
（第４実施形態）
図５は、本発明の第４実施形態に係る学習支援方法の工程を表すフローチャートである。第４実施形態に係る学習支援装置２０および学習支援方法は、第１実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第１実施形態に対する第４実施形態の相違点を中心に説明する。第４実施形態では、文書画像の入力を行った後に、画像記憶部３８に記憶された画像の表示を、選択指令入力部３９からの選択指令情報に沿って行う。
【００７６】
本処理開始後、ステップｄ１に移行し、学習支援を終了するか否かを判断するステップｄ１〜ｄ１０は、第１実施形態のステップａ１〜ステップａ１０と同様である。ステップｄ１０の重畳画像生成工程の後、ステップｄ１１に移行し、文書画像および重畳画像のうちのいずれを表示するのかの判断を行う。ステップｄ１１〜ｄ１３は、第３実施形態におけるステップｃ２〜ｃ４と同様である。ただしステップｄ１１〜ｄ１３において取扱われる文書画像および重畳画像は、画像記憶部３８には、まだ記憶されていない、画像読取部２１によって読み込まれた状態の文書画像およびこれに基づいて作成された重畳画像である。
【００７７】
ステップｄ１２の文書画像表示工程およびステップｄ１３の重畳画像表示工程の後には、ステップｄ１４の工程に移行し、ステップｄ１１〜ｄ１３において取扱われる文書画像および重畳画像を、画像記憶部３８に保存するか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。このとき、保存しないと判断されると、ステップｄ１に移行し、保存すると判断されると、ステップｄ１５に移行する。ステップｄ１５では、画像読取部２１によって読み込まれた状態の文書画像およびこれに基づいて作成された重畳画像を画像記憶部３８に保存する。その後、ステップｄ１に移行する。
【００７８】
（第５実施形態）
図６は、本発明の第５実施形態に係る学習支援装置２０の構成を表すブロック図である。図７は、本発明の第５実施形態に係る学習支援方法の工程を表すフローチャートである。第５実施形態に係る学習支援装置２０および学習支援方法は、第４実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第４実施形態に対する第５実施形態の相違点を中心に説明する。第５実施形態では、文書画像および重畳画像の保存を行うときに、各画像に日時情報を付与して保存する。
【００７９】
学習支援装置２０は、日時情報取得部４２をさらに含み、日時情報取得部４２は、日時情報を取得する。画像記憶部３８は、画像読取部２１が各文書画像を読取ったときに日時情報取得部４２が取得した日時情報を、読取った各文書画像の読取日時情報として記憶する。また画像記憶部３８は、表示部２４が各文書画像または各重畳画像を表示したときに日時情報取得部４２が取得した日時情報を、表示した各文書画像または各重畳画像の表示日時情報として記憶する。
【００８０】
本処理開始後、ステップｅ１に移行し、学習支援を終了するか否かを判断する。ステップｅ１〜ｅ１４は、第４実施形態のステップｄ１〜ｄ１４と同様である。ステップｅ１４において、画像読取部２１によって読み込まれた状態の文書画像およびこれに基づいて作成された重畳画像を、画像記憶部３８に保存すると判断されると、ステップｅ１５に移行し、日時情報取得部４２から現在日時を表す日時情報を取得する。次にステップｅ１６に移行し、文書画像および重畳画像に日時情報を、保存日時として付与し、文書画像および重畳画像とともに記憶する。文書画像については、画像読取部２１によって読取りが行われたときに日時情報取得部４２から日時方法を取得し、文書画像に、文書画像の読取日時情報として付与し、記憶してもよい。その後、ステップｅ１に移行する。ステップｄ１４において文書画像または重畳画像を画像記憶部３８に保存しないと判断されると、ステップｅ１に移行する。
【００８１】
第５実施形態において、文字画像入力を行うことに先立って、第３実施形態と同様に、画像記憶部３８に記憶される文書画像または重畳画像を表示する構成とすることもできる。この場合には、文書画像として読取りが行われた時期、文書画像または重畳画像が表示された時期に応じて文書画像および重畳画像に優先順位を付与する構成としてもよい。また、文書画像または重畳画像の新旧に応じて表示順序を変更する構成としてもよい。
【００８２】
（第６実施形態）
図８は、本発明の第６実施形態に係る学習支援装置２０の構成を表すブロック図である。図９は、本発明の第６実施形態に係る学習支援方法の工程を表すフローチャートである。第６実施形態に係る学習支援装置２０および学習支援方法は、第５実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第５実施形態に対する第６実施形態の相違点を中心に説明する。第６実施形態では、文書画像および重畳画像の保存を行うときに、各画像に日時情報を付与して保存し、文書画像または重畳画像の表示を行うときに、文書画像および重畳画像に付与された日時情報に基づいて、表示を制御する。
【００８３】
学習支援装置２０は、時間差算出部４４をさらに含んで構成される。時間差算出部４４は、選択指令情報の入力によって文書画像および重畳画像のうちの１つの画像が選択されると、選択指令情報の入力が行われたときに日時情報取得部４２が取得した日時情報を現在日時として取得する。また時間差算出部４４は、選択された文書画像の読取日時情報、または選択された重畳画像の読取日時情報と、現在日時とを比較し、時間的な差分値を算出する。表示制御部３６は、時間差算出部４４による算出結果が、予め定める時間的な長さ以上であるか否かを判定する。
【００８４】
表示制御部３６は、時間差算出部４４による算出結果が予め定める時間的な長さ以上であると判定された場合、選択指令情報が一文書画像を選択する情報であるときには、前記一文書画像に関連付けられる１または複数の重畳画像が画像記憶部３８に記憶されているか否かの情報を取得する。画像記憶部３８に重畳画像が記憶されていれば、表示制御部３６は、重畳画像の１つを表示部２４に表示させる。画像記憶部３８に、前記一文書画像に関連付けられる重畳画像が記憶されていなければ、前記一文書画像を表示部２４に表示させる。
【００８５】
時間差算出部４４による算出結果が予め定める時間的な長さ未満であると判定された場合、文書画像および重畳画像の表示は、選択指令入力部３９からの選択指令情報に従って、表示制御部３６が表示部２４を制御することによって行われる。時間差算出部４４による算出結果が予め定める時間的な長さ以上であると判定され、かつ選択指令情報が重畳画像を選択する情報であるときには、選択指令情報に従って、重畳画像を表示する。時間差算出部４４による算出結果が予め定める時間的な長さ以上であると判定され、選択指令情報が一文書画像を選択する情報であり、かつ複数の重畳画像が画像記憶部３８に記憶されているときには、たとえば保存日時が現在日時に近い重畳画像を、保存日時が現在日時から遠い重畳画像よりも優先して表示する構成としてもよい。
【００８６】
本処理開始後、ステップｆ１に移行し、画像記憶部３８に記憶される画像を読み出すか否かの判断を行う。この工程は、第２実施形態におけるステップｂ１と同様である。このとき、画像記憶部３８に記憶される画像を読み出すと判断されると、ステップｆ２に移行し、保存日時情報が、現在日時から予め定める時間的な長さ以上、前であるか否かを判定する。すなわち、保存日時が予め定める基準よりも古いか否かを判断する。このとき、予め定める定める時間的な長さ未満である、すなわち比較的新しいと判定されたときには、ステップｆ３に移行し、選択指令情報に応じて文書画像または重畳画像の表示を行う。ステップｆ２において、予め定める時間的な長さ以上である、すなわち比較的古いと判定されたときには、ステップｆ４に移行し、重畳画像を優先して表示する。重畳画像を表示した後には、これに対応する文書画像の表示を行ってもよい。
【００８７】
ステップｆ３およびステップｆ４の後には、ステップｆ５に移行し、画像表示を終了するか否かを判断する。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。表示制御部３６は、選択指令情報として指令信号の入力があることによって終了指令であると判断し、指令信号の入力がないことによって継続指令であると判断してもよい。ステップｆ５において、画像表示を終しないと判断されると、選択された画像の表示または重畳画像の表示を継続する。ステップｆ５において画像の表示を終了すると判断され、ステップｆ１に移行する。
【００８８】
ステップｆ１において画像記憶部３８に記憶された画像を表示しないと判断されると、ステップｆ６に移行する。ステップｆ６以降は、第５実施形態におけるステップｅ１以降と同様である。
【００８９】
第６実施形態では、選択指令情報が一文書画像を選択する情報であるときに、選択された一文書画像が予め定める時間的な長さよりも長い時間を隔てた過去に読取られたものであり、かつこの一文書画像について重畳画像が画像記憶部３８に記憶されていれば、一文書画像の表示よりも重畳画像の表示を優先的に行うことができる。したがって、すでに学習されていて然るべき内容には、マスク画像が重畳された重畳画像による復習学習を優先して支援することができる。
【００９０】
（第７実施形態）
図１０は、本発明の第７実施形態に係る学習支援装置２０の構成を表すブロック図である。第７実施形態に係る学習支援装置２０および学習支援方法は、第６実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第６実施形態に対する第７実施形態の相違点を中心に説明する。第７実施形態では、文書画像の内容に関連する関連情報を記憶した関連情報記憶部４９が設けられ、関連情報に基づく画像表示を行う。
【００９１】
学習支援装置２０は、文字列抽出部４６と、単語認識部４８と、関連情報記憶部４９と、関連画像生成部５１とをさらに含んで構成される。文字列抽出部４６は、連続して並ぶマスク領域に配置される複数の文字を、一連の文字列として認識する。文字列抽出部４６によって認識された一連の文字列を「キー文字列」（５４）と称することがある。単語認識部４８は、一連の文字列の少なくとも一部の文字を単語として認識する。関連情報記憶部４９は、関連情報を記憶する。関連情報は、単語認識部４８によって認識される単語および前記単語に関連付けられる。関連画像生成部５１は、関連情報を表示する関連画像を生成する。表示制御部３６は、一連の文字列が配置される文書画像または重畳画像と、関連画像とを重畳して表示部２４に表示させる。
【００９２】
これによって、マスクされた文字列に関連する関連情報を関連画像として表示することができる。したがって、マスクされた文字列を介して、この文字列を含む文字画像とは異なる情報を表示することが可能となる。これによって、効果的な学習支援を行うことができる。
【００９３】
図１１は、本発明の第７実施形態において各重畳画像に関連付けられて記憶される蓄積情報の一例である。また第７実施形態では、単語認識部４８は、単語辞書部分５２を有する。単語辞書部分５２は、１または複数の文字によって表される複数の単語を記憶する。単語認識部４８は、表示画面上において連続して並ぶ文字表示領域に配置される複数の文字から、単語辞書部分５２に記憶される複数の単語５５に基づいて、単語５５に一致する単語文字列を認識する。文字列抽出部４６によって抽出された一連の文字列が、単語文字列に満たないとき、マスク領域認識部３２は、一連の文字列を含む単語文字列の文字表示領域を、マスク領域として認識する。
【００９４】
これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、単語５５を表す単語文字列と、これに隣接する他の文字列との間に、自動的に位置させることができる。したがって、位置指定入力部２７によって指定されたマスク領域から、単語５５を成す単語文字列の一部が逸脱している場合にも、逸脱している文字列の一部を、マスクされるべきマスク領域に含むことができる。これによって、単語認識部４８によって単語文字列を認識しない場合に比べて、マスク画像を作成するための入力作業を単純化することができる。
【００９５】
また第７実施形態に類似する他の実施形態では、マスク領域認識部３２は、文字列抽出部４６によって抽出された一連の文字列と、他の一連の文字列とが、予め定める字数以下の、マスク領域とは異なる文字表示領域によって隔てられているか否かを判定してもよい。このとき、予め定める字数以下の文字表示領域によって隔てられていると判定されるならば、マスク領域認識部３２は、前記一連の文字列と他の一連の文字列とを隔てている文字表示領域をもマスク領域として認識する。予め定める時数は、たとえば１字または２字などを設定する。
【００９６】
これによって、連続した一連の文字列をマスク領域として指定するときに、指定に漏れがあった場合であっても、指定の漏れを補間して、マスク領域を指定することができる。これによって、補間してマスク領域を指定しない場合に比べて、マスク画像を作成するための入力作業を簡単化することができる。
【００９７】
（実施例）
図１２は、本発明の第１実施形態における表示画面による表示の一例である。図１２（ａ）にはポインティング装置による位置指定情報４０が入力されていない状態を表し、図１２（ｂ）にはポインティング装置による位置指定情報４０が入力された状態を表している。図１２（ｂ）では、「６」，「４」，「５」の文字表示領域がそれぞれ位置指定情報４０によって位置指定されている。
【００９８】
図１３は、本発明の第１実施形態に係る学習支援装置２０のマスク情報５６の内容である。図１４は、本発明の第１実施形態に係る学習支援装置２０の位置指定情報４０の内容である。たとえば図１３（ａ）の文字認識結果４１であった場合に、マスク情報５６は、図１３（ｂ）の座標情報となる。マスク情報５６は、図１２のようにポイントされた座標位置情報が６４５年の部分の座標つまり図１４に示されるような情報であった場合、図１３の座標を含む図１３（a）の文字認識結果座標を探索し、ポイントされた座標位置情報の座標位置を含む文字認識結果座標をマスク情報５６の座標とする。
【００９９】
図１５は、本発明の第７実施形態に係る学習支援方法の工程を表すフローチャートである。本処理開始後、ステップｇ１に移行し、画像記憶部３８に記憶される蓄積画像を読み出すか否かの判断を行う。ステップｇ１において蓄積画像を読み出すと判断されると、ステップｇ２に移行する。ステップｇ２〜ｇ６は、第６実施形態におけるステップｆ２〜ｆ６と同様である。また第７実施形態におけるステップｇ６〜ｇ１３は、第１実施形態におけるステップａ１〜ａ８と同様である。ステップｇ１３のマスク領域認識工程の後、ステップｇ１４に移行し、マスク領域に位置してマスクされる文字列に関連して記憶される関連情報を検索して抽出し、関連情報記憶部４９から読み出す。次にステップｇ１５のマスク画像生成工程に移行する。これは、第１実施形態におけるステップａ９と同様である。次にステップｇ１６の関連画像生成工程に移行し関連情報に基づく関連画像を生成する。
【０１００】
次にステップｇ１７の重畳画像生成工程に移行し、重畳画像を生成する。これには、文書画像、マスク画像および関連画像が重畳される。次にステップｇ１８の表示制御工程に移行する。ステップｇ１８のこの工程は、第１実施形態におけるステップａ１１と同様である。次にステップｇ１９に移行し、ステップｇ１９の次にはステップｇ２０に移行する。ステップｇ１９およびｇ２０は、第３実施形態におけるステップｃ１７およびｃ１８と同様である。
【０１０１】
第７実施形態に係る学習支援方法の、第１〜第６実施形態との最も大きな差異は、ステップｇ１４において、関連情報記憶部４９に記憶される関連情報を、検索する工程が追加されることである。ここでは、ステップｇ１３においてマスク領域として認識された領域においてマスクされた文字列をキーワードとして、関連情報記憶部４９を検索する。
【０１０２】
図１６は、第７実施形態における関連情報記憶部４９に記憶される関連情報の一例である。キー文字列５４とキー文字列５４に関する詳細情報５８が対応づけられており、キー文字列５４からさらに詳細な情報が抽出できる。たとえば、歴史分野に関する関連情報であれば、たとえば年号から歴史上の事件の詳細情報５８が得られたり、歴史上の人物からその人物の肖像画像データが得られたりする。詳細情報５８は、キー文字列５４の代わりに補間によって補われたマスク領域５６の文字列または単語５５として単語認識部４８に認識された文字列に関連付けられていてもよい。
【０１０３】
これはデータベースではないので、関連情報記憶部４９ではなく、画像記憶部３８において記憶される。蓄積情報としては、たとえばマスクの座標、画像が保存された保存日時、文書画像と重畳画像との優先順位、および関連情報記憶部４９から得られた関連情報などである。文書画像と重畳画像との優先順位については、たとえば「マスク表示ＯＮ」で重畳画像の優先度を高く設定することが表され、「マスク表示ＯＦＦ」で文書画像の優先度を高く設定することが表される。
【０１０４】
このような蓄積情報には、さらに最終の表示日時を表す最新閲覧日時情報などが付記されていてもよい。また関連情報記憶部４９は、学習支援装置２０の外部の記憶装置を、学習支援装置２０に接続して利用されるものであってもよい。
【符号の説明】
【０１０５】
２０ 学習支援装置
２１ 画像読取部
２２ 文字認識部
２４ 表示部
２６ 文字位置認識部
２７ 位置指定入力部
２８ 指定位置判定部
３２ マスク領域認識部
３３ マスク画像生成部
３４ 重畳画像生成部
３６ 表示制御部
３８ 画像記憶部
３９ 選択指令入力部
４２ 日時情報取得部
４４ 時間差算出部
４６ 文字列抽出部
４８ 単語認識部
４９ 関連情報記憶部
５１ 関連画像生成部
５２ 単語辞書部分
【技術分野】
【０００１】
本発明は、学習を支援する学習支援装置、これを用いる学習支援方法、学習支援プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
図１７は、従来技術に係る学習支援装置である電子教科書１の構成を表すブロック図である。従来技術に係る学習支援装置として、文書を画像として読取る画像取得部２と、読み込んだ画像を表示する表示部３と、表示部３の上に積層され操作入力を可能とする操作部４と、操作部４への入力操作に基づいて前記表示部３における画像表示をマスクするためのマスクデータを作成するマスクデータ作成手段とを含む電子教科書１が知られる。
【０００３】
この電子教科書１では、操作部４を介して閉曲線を成す図形が入力されると、操作部４に対して押圧によって入力された座標情報は、押圧信号検出部５によって押圧信号として検出される。これによって、閉曲線によって囲繞される領域をマスクするためのマスクデータが、マスクデータ作成手段６によって作成される。この電子教科書１では、画像取得部２によって読取られた画像と、マスクデータ作成手段６によって作成されたマスクデータとが重畳されて表示部３において表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３４０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術における電子教科書１では、マスクされる領域を指定するためには閉曲線が描かれるように入力操作しなければならず、マスクデータ作成手段６に対してマスク領域を指示するための入力作業が煩雑であるという問題点がある。
【０００６】
本発明の目的は、マスク画像を作成するためのマスク領域の入力作業を単純化することのできる学習支援装置、これを用いる学習支援方法、学習支援プログラムおよび記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、１または複数の文字が記載される文書を文書画像として読取る画像読取部と、
前記文書画像に含まれる各文字を認識する文字認識部と、
表示画面を有し、前記文書画像を前記表示画面上に表示する表示部と、
前記文字認識部によって認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識部と、
前記表示画面上において位置を指定する位置指定情報を入力するための位置指定入力部と、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定部と、
前記位置指定入力部によって指定された位置が前記文字表示領域に含まれると、前記指定位置判定部によって判定されたときに、前記位置指定情報によって指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識部と、
前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成部と、
前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成部と、
前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御部とを含むことを特徴とする学習支援装置である。
【０００８】
また本発明は、１または複数の前記文書画像と１または複数の前記重畳画像とを記憶する画像記憶部であって、
一文書画像に対応して１または複数の前記マスク画像が前記マスク画像生成部によって生成されたときに、前記１または複数の前記マスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する画像記憶部をさらに含むことを特徴とする。
【０００９】
また本発明は、前記文書画像および前記重畳画像のうちいずれか１つの画像を選択する選択指令情報を入力するための選択指令入力部をさらに含み、
前記表示制御部は、前記選択指令情報に応じて、前記表示部に、前記選択された文書画像または重畳画像を表示させることを特徴とする。
【００１０】
また本発明は、前記画像記憶部は、前記文書画像および前記重畳画像のうち前記選択指令情報によって選択された文書画像または重畳画像に、前記選択指令情報によって選択されたことを表す選択履歴情報を付与して記憶することを特徴とする。
【００１１】
また本発明は、日時情報を取得する日時情報取得部をさらに含み、
前記画像記憶部は、前記画像読取部が各文書画像を読取ったときに前記日時情報取得部が取得した日時情報を、読取った前記各文書画像の読取日時情報として記憶し、前記表示部が各文書画像または各重畳画像を表示したときに前記日時情報取得部が取得した日時情報を、表示した前記各文書画像または各重畳画像の表示日時情報として記憶することを特徴とする。
【００１２】
また本発明は、前記選択指令情報の入力によって前記文書画像および前記重畳画像のうちの１つ画像が選択されると、前記選択指令情報の入力が行われたときに前記日時情報取得部が取得した日時情報を現在日時として取得し、前記選択された文書画像の読取日時情報、または前記選択された重畳画像の読取日時情報と、前記現在日時とを比較し、時間的な差分値を算出する時間差算出部をさらに含み、
前記表示制御部は、前記時間差算出部による算出結果が、予め定める時間的な長さ以上であるか否かを判定し、前記時間差算出部による算出結果が予め定める時間的な長さ以上であると判定された場合、
前記選択指令情報が一文書画像を選択する情報であるときには、前記一文書画像に関連付けられる１または複数の重畳画像が前記画像記憶部に記憶されているか否かの情報を取得し、
前記画像記憶部に重畳画像が記憶されていれば、前記重畳画像の１つを前記表示部に表示させ、前記画像記憶部に前記一文書画像に関連付けられる重畳画像が記憶されていなければ、前記一文書画像を表示部に表示させることを特徴とする。
【００１３】
また本発明は、連続して並ぶ前記マスク領域に配置される複数の文字を、一連の文字列として認識する文字列抽出部と、
前記一連の文字列の少なくとも一部の文字を単語として認識する単語認識部と、
前記単語認識部によって認識される単語、および前記単語に関連付けられる関連情報を記憶する関連情報記憶部と、
前記関連情報を表示する関連画像を生成する関連画像生成部とをさらに含み、
前記表示制御部は、前記一連の文字列が配置される文書画像または重畳画像と、前記関連画像とを重畳して表示部に表示させることを特徴とする。
【００１４】
また本発明は、前記学習支援装置を用い、
前記画像読取部によって、１または複数の文字が記載される文書を文書画像として読取る画像読取工程と、
前記文字認識部によって、前記文書画像に含まれる各文字を認識する文字認識工程と、
前記表示部によって、前記文書画像を前記表示画面上に表示する表示工程と、
前記文字位置認識部によって、前記文字認識工程において認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識工程と、
前記位置指定入力部によって、前記表示画面上において位置を指定する位置指定情報を入力する位置指定入力工程と、
前記指定位置判定部によって、前記位置指定入力工程において指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定工程と、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれると、前記指定位置判定工程において判定されたときに、前記マスク領域認識部によって、前記位置指定入力工程において指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識工程と、
前記マスク画像生成部によって、前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成工程と、
前記重畳画像生成部によって、前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成工程と、
前記表示制御部によって前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御工程とを含むことを特徴とする学習支援方法である。
【００１５】
また本発明は、１または複数の文字が記載される文書を文書画像として読取る画像読取部と、表示画面を有し、前記文書画像を前記表示画面上に表示する表示部と、
前記表示画面上において位置を指定する位置指定情報を入力するための位置指定入力部とに接続されたコンピュータを、
前記文書画像に含まれる各文字を認識する文字認識部、
前記文字認識部によって認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識部、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定部、
前記位置指定入力部によって指定された位置が前記文字表示領域に含まれると、前記指定位置判定部によって判定されたときに、前記位置指定情報によって指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識部、
前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成部、
前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成部、および
前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御部として機能させることを特徴とする学習支援プログラムである。
【００１６】
また本発明は、前記学習支援プログラムが、コンピュータに読取り可能に記録される記録媒体である。
【発明の効果】
【００１７】
本発明によれば、学習支援装置において文字位置認識部は、文字が配置される表示画面上の領域を、文字表示領域として認識する。文字表示領域には、文字認識部によって認識された各文字が配置される。位置指定入力部は、位置指定情報を入力するための部分であり、位置指定情報は、表示画面上において位置を指定する。指定位置判定部は、位置指定情報によって指定された位置が、文字表示領域に含まれるか否かを判定する。マスク領域認識部は、位置指定情報によって指定された位置が、文字表示領域に含まれると、指定位置判定部によって判定されたときに、位置指定情報によって指定された位置を含む文字表示領域を、マスク領域として認識する。マスク領域は、マスクされるべき領域である。マスク画像生成部は、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成部は、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御部は、表示部を制御し、表示部に重畳画像を表示させる。
【００１８】
これによって、位置指定入力部によって指定した位置を含む文字表示領域を、マスク領域として指定することができる。したがって、文字表示領域のうち１点でも指定すれば、その文字表示領域に含まれる文字をマスクするマスク画像を生成することができる。文字表示領域は、文字認識部によって認識されるので、文字表示領域を規定する端の位置は、自動的に認識される。これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、直接的に入力するのではなく、隣接する文字表示領域同士の間に、自動的に位置させることができる。したがって、マスクしたい文字列を、他の領域の文字列と区別して囲繞するのではなく、紙面上においてマーカーペンで文字列をなぞるように、マスクしたい文字列を指定することができる。これによって、マスク画像を作成するための入力作業を単純化することができる。
【００１９】
また本発明によれば、学習支援装置は、画像記憶部をさらに含んで構成される。画像記憶部は、１または複数の文書画像と１または複数の重畳画像とを記憶する。画像記憶部は、一文書画像に対応して１または複数のマスク画像がマスク画像生成部によって生成されたときに、１または複数のマスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する。これによって、画像記憶部から繰返して読み出すことによって、文字画像および重畳画像を複数回にわたって表示させることができる。したがって、複数回の確認作業を行うことが可能となり、容易に復習することができ、効果的に学習支援を行うことができる。
【００２０】
また本発明によれば、学習支援装置は、選択指令入力部をさらに含んで構成される。選択指令入力部は、選択指令情報を入力するための部分である。選択指令情報は、文書画像および重畳画像のうちいずれか１つの画像を選択する情報である。表示制御部は、選択指令情報に応じて、表示部に、選択された文書画像または重畳画像を表示させる。これによって、選択指令入力部によって、表示部に、文書画像および重畳画像のいずれかの画像を表示させることができる。したがって、マスク領域においてマスクされる文字を思い出す作業を繰返して行うことができ、効率的に学習を行うことができる。
【００２１】
また本発明によれば、画像記憶部は、文書画像および重畳画像のうち選択指令情報によって選択された文書画像または重畳画像に、選択履歴情報を付与して記憶する。選択履歴情報は、選択指令情報によって選択されたことを表す。これによって、すでに文書画像および重畳画像の表示が行われた履歴があるか否か、表示回数の計測、および表示が行われた時期などを記録することが可能となる。したがって、表示履歴の有無、表示回数の多少、または表示時期などに応じて文書画像に優先順位を付与することも可能となる。これによって、文書画像および重畳画像の表示順序を、優先順位に応じて変更することが可能となる。したがって、効果的な学習支援を行うことができる。
【００２２】
また本発明によれば、学習支援装置は、日時情報取得部をさらに含み、日時情報取得部は、日時情報を取得する。画像記憶部は、画像読取部が各文書画像を読取ったときに日時情報取得部が取得した日時情報を、読取った各文書画像の読取日時情報として記憶する。また画像記憶部は、表示部が各文書画像または各重畳画像を表示したときに日時情報取得部が取得した日時情報を、表示した各文書画像または各重畳画像の表示日時情報として記憶する。これによって、文書画像として読取りが行われた時期、文書画像または重畳画像が表示された時期に応じて文書画像および重畳画像に優先順位を付与することが可能となる。したがって、文書画像または重畳画像の新旧に応じて表示順序を変更することが可能となる。
【００２３】
また本発明によれば、学習支援装置は、時間差算出部をさらに含んで構成される。時間差算出部は、選択指令情報の入力によって文書画像および重畳画像のうちの１つの画像が選択されると、選択指令情報の入力が行われたときに日時情報取得部が取得した日時情報を現在日時として取得する。また時間差算出部は、選択された文書画像の読取日時情報、または選択された重畳画像の読取日時情報と、現在日時とを比較し、時間的な差分値を算出する。表示制御部は、時間差算出部による算出結果が、予め定める時間的な長さ以上であるか否かを判定する。表示制御部は、時間差算出部による算出結果が予め定める時間的な長さ以上であると判定された場合、選択指令情報が一文書画像を選択する情報であるときには、前記一文書画像に関連付けられる１または複数の重畳画像が画像記憶部に記憶されているか否かの情報を取得する。画像記憶部に重畳画像が記憶されていれば、表示制御部は、重畳画像の１つを表示部に表示させる。画像記憶部に、前記一文書画像に関連付けられる重畳画像が記憶されていなければ、前記一文書画像を表示部に表示させる。
【００２４】
これによって、選択指令情報が一文書画像を選択する情報であるときに、選択された一文書画像が予め定める時間的な長さ以上の時間を隔てた過去に読取られたものであり、かつこの一文書画像について重畳画像が画像記憶部に記憶されていれば、一文書画像の表示よりも重畳画像の表示を優先的に行うことができる。したがって、すでに学習されていて然るべき内容には、マスク画像が重畳された重畳画像による復習学習を優先して支援することができる。
【００２５】
また本発明によれば、学習支援装置は、文字列抽出部と、単語認識部と、関連情報記憶部と、関連画像生成部とをさらに含んで構成される。文字列抽出部は、連続して並ぶマスク領域に配置される複数の文字を、一連の文字列として認識する。単語認識部は、一連の文字列の少なくとも一部の文字を単語として認識する。関連情報記憶部は、関連情報を記憶する。関連情報は、単語認識部によって認識される単語および前記単語に関連付けられる。関連画像生成部は、関連情報を表示する関連画像を生成する。表示制御部は、一連の文字列が配置される文書画像または重畳画像と、関連画像とを重畳して表示部に表示させる。
【００２６】
これによって、マスクされた文字列に関連する関連情報を関連画像として表示することができる。したがって、マスクされた文字列を介して、この文字列を含む文字画像とは異なる情報を表示することが可能となる。これによって、効果的な学習支援を行うことができる。
【００２７】
また本発明によれば、学習支援方法において文字位置認識工程では、文字が配置される表示画面上の領域を、文字表示領域として認識する。文字表示領域には、文字認識部によって認識された各文字が配置される。位置指定入力工程では、位置指定情報を入力する工程であり、位置指定情報は、表示画面上において位置を指定する。指定位置判定工程では、位置指定情報によって指定された位置が、文字表示領域に含まれるか否かを判定する。マスク領域認識工程では、位置指定情報によって指定された位置が、文字表示領域に含まれると、指定位置判定部によって判定されたときに、位置指定情報によって指定された位置を含む文字表示領域を、マスク領域として認識する。マスク領域は、マスクされるべき領域である。マスク画像生成工程では、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成工程では、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御工程では、表示部を制御し、表示部に重畳画像を表示させる。
【００２８】
これによって、位置指定入力工程において指定した位置を含む文字表示領域を、マスク領域として指定することができる。したがって、文字表示領域のうち１点でも指定すれば、その文字表示領域に含まれる文字をマスクするマスク画像を生成することができる。文字表示領域は、文字認識部によって認識されるので、文字表示領域を規定する端の位置は、自動的に認識される。これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、直接的に入力するのではなく、隣接する文字表示領域同士の間に、自動的に位置させることができる。したがって、マスクしたい文字列を、他の領域の文字列と区別して囲繞するのではなく、紙面上においてマーカーペンで文字列をなぞるように、マスクしたい文字列を指定することができる。これによって、マスク画像を作成するための入力作業を単純化することができる。
【００２９】
学習支援プログラムは、コンピュータを、文字認識部、文字位置認識部、位置指定入力部、指定位置判定部、マスク領域認識部、マスク画像生成部、重畳画像生成部、および表示制御部として機能させる。これによって、前記学習支援装置を、コンピュータを含む構成によって実現することができる。
【００３０】
記録媒体には、前記学習支援プログラムが、コンピュータに読取り可能に記録される。これによって、前記学習支援プログラムを、コンピュータに読み取り可能な記録媒体によって提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１実施形態に係る学習支援装置２０の構成を表すブロック図である。
【図２】本発明の第１実施形態に係る学習支援方法の各工程を表すフローチャートである。
【図３】本発明の第２実施形態に係る学習支援方法の工程を表すフローチャートである。
【図４】本発明の第３実施形態に係る学習支援方法の工程を表すフローチャートである。
【図５】本発明の第４実施形態に係る学習支援方法の工程を表すフローチャートである。
【図６】本発明の第５実施形態に係る学習支援装置２０の構成を表すブロック図である。
【図７】本発明の第５実施形態に係る学習支援方法の工程を表すフローチャートである。
【図８】本発明の第６実施形態に係る学習支援装置２０の構成を表すブロック図である。
【図９】本発明の第６実施形態に係る学習支援方法の工程を表すフローチャートである。
【図１０】本発明の第７実施形態に係る学習支援装置２０の構成を表すブロック図である。
【図１１】本発明の第７実施形態において各重畳画像に関連付けられて記憶される蓄積情報の一例である。
【図１２】本発明の第１実施形態における表示画面による表示の一例である。
【図１３】本発明の第１実施形態に係る学習支援装置２０のマスク情報５６の内容である。
【図１４】本発明の第１実施形態に係る学習支援装置２０の位置指定情報４０の内容である。
【図１５】本発明の第７実施形態に係る学習支援方法の工程を表すフローチャートである。
【図１６】第７実施形態における関連情報記憶部４９に記憶される関連情報の一例である。
【図１７】従来技術に係る学習支援装置である電子教科書１の構成を表すブロック図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照しながら、本発明を実施するための複数の形態について説明する。以下の説明においては、各形態に先行する形態ですでに説明している事項に対応している部分には同一の参照符を付し、重複する説明を略す場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。実施の各形態で具体的に説明している部分の組合せばかりではなく、特に組合せに支障が生じなければ、実施の形態同士を部分的に組合せることも可能である。またそれぞれの実施形態は、本発明に係る技術を具体化するために例示するものであり、本発明の技術的範囲を限定するものではない。本発明に係る技術内容は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることが可能である。以下、学習支援装置２０、学習支援プログラム、および学習支援方法についての説明を含む。
【００３３】
（第１実施形態）
図１は、本発明の第１実施形態に係る学習支援装置２０の構成を表すブロック図である。第１実施形態に係る学習支援装置２０は、文書を文書画像として読取り、文書画像を表示するとともに、文書画像の少なくとも一部をマスクした状態で表示したり、マスクが解除された状態で表示したりすることで、学習を支援する電子装置である。この学習支援装置２０では、画像から文字を認識し、文字認識した結果と表示部２４の上にポイントされた座標位置情報から指定文字領域を抽出する。さらに指定文字領域をマスクして表示したり、文字認識した結果に関連する情報を合成して表示することを可能とする。
【００３４】
学習支援装置２０は、画像読取部２１と、文字認識部２２と、表示部２４と、文字位置認識部２６と、位置指定入力部２７と、指定位置判定部２８と、マスク領域認識部３２と、マスク画像生成部３３と、重畳画像生成部３４と、表示制御部３６とを含んで構成される。画像読取部２１は、１または複数の文字が記載される文書を、文書画像として読取る。文字認識部２２は、文書画像に含まれる各文字を認識する。表示部２４は、表示画面を有し、表示部２４は、文書画像を表示画面上に表示する。
【００３５】
文字位置認識部２６は、文字が配置される表示画面上の領域を、文字表示領域として認識する。文字表示領域には、文字認識部２２によって認識された各文字が配置される。位置指定入力部２７は、位置指定情報４０（図１４参照）を入力するための部分であり、位置指定情報４０は、表示画面上において位置を指定する。指定位置判定部２８は、位置指定情報４０によって指定された位置が、文字表示領域に含まれるか否かを判定する。
【００３６】
マスク領域認識部３２は、位置指定情報４０によって指定された位置が、文字表示領域に含まれると、指定位置判定部２８によって判定されたときに、位置指定情報４０によって指定された位置を含む文字表示領域を、マスク領域として認識する。マスク領域は、マスクされるべき領域である。マスク画像生成部３３は、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成部３４は、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御部３６は、表示部２４を制御し、表示部２４に重畳画像を表示させる。
【００３７】
画像読取部２１は、たとえばスキャナ、カメラなどの画像取得手段である。表示制御部３６は、中央処理装置（central processing unit, 略称「ＣＰＵ」）を含んで実現され、ＲＡＭ（random access memory）などを含んでもよい。表示部２４は、たとえば液晶パネルなどを含んで実現される。位置指定入力部２７は、表示部２４の表示画面上に添付される透明なシート状の部品を含み、たとえばタッチパネルによって実現されるポインティング装置である。タッチパネルは、押圧されると押圧信号を検知し、押圧された位置の座標を検出し、座標情報として出力する。
【００３８】
ただし位置指定入力部２７は、タッチパネルに限定するものではなく、たとえばマウス、トラックボール、トラックパッドなどのポインティング装置を用いて実現することも可能である。また表示部２４を、光センサを内蔵した液晶パネルとすれば、たとえば手指などを表示画面に近接させて外方からの光を遮蔽することによって、位置情報を入力することができる。
【００３９】
その他、文字認識部２２、文字位置認識部２６、指定位置判定部２８、マスク領域認識部３２、マスク画像生成部３３、および重畳画像生成部３４は、表示制御部３６と同様にＣＰＵによって実現される。これらのうち文字認識部２２による文字認識は、光学文字認識（optical character reader, 略称「ＯＣＲ」）などの技術によって実現することができる。またこれによって、文字の姿勢によって文字の上下を判断し、文書画像の上下を判断することもでき、また文書画像内において文字が並ぶ縦方向または横方向など、文字の並ぶ方向を特定することもできる。
【００４０】
学習支援装置２０は、画像記憶部３８を含んで構成される。画像記憶部３８は、１または複数の文書画像と１または複数の重畳画像とを記憶する。画像記憶部３８は、一文書画像に対応して１または複数のマスク画像がマスク画像生成部によって生成されたときに、１または複数のマスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する。画像記憶部３８は、たとえばハードディスクおよびハードディスクドライブ、メモリカードおよびカードリーダなどを含んで実現される。
【００４１】
学習支援装置２０は、選択指令入力部３９を含んで構成される。選択指令入力部３９は、選択指令情報を入力するための部分である。選択指令情報は、文書画像および重畳画像のうちいずれか１つの画像を選択する情報である。表示制御部３６は、選択指令情報に応じて、表示部２４に、選択された文書画像または重畳画像を表示させる。
【００４２】
画像記憶部３８は、文書画像および重畳画像のうち選択指令情報によって選択された文書画像または重畳画像に、選択履歴情報を付与して記憶する。選択履歴情報は、選択指令情報によって選択されたことを表す。
【００４３】
選択指令入力部３９は、位置指定入力部２７とは異なる、たとえばボタンなどを含んで実現されてもよく、また表示画面中の特定の領域に指示アイコンを表示し、これをポインティング装置によってポイントすることによって、選択指令情報を入力することも可能である。表示制御部３６は、画像記憶部３８に対して画像呼び出し手段として機能し、画像記憶部３８に記憶される情報の検索、取得、転送、などを行い、または表示部２４などへの情報の出力を行わせることができる。
【００４４】
学習支援装置２０のうち、文字認識部２２、文字位置認識部２６、指定位置判定部２８、マスク領域認識部３２、マスク画像生成部３３、重畳画像生成部３４および表示制御部３６は、コンピュータによって実現され、コンピュータは、画像読取部２１と、表示部２４と、位置指定入力部２７とに接続される。学習支援プログラムは、コンピュータを、文字認識部２２、文字位置認識部２６、指定位置判定部２８、マスク領域認識部３２、マスク画像生成部３３、重畳画像生成部３４および表示制御部３６として機能させる。第１実施形態においてこのコンピュータは、さらに画像記憶部３８、選択指令入力部３９などにも接続される。学習支援プログラムは、コンピュータに読み取り可能な状態で、記録媒体に記録される。これによって記録媒体による供給が可能となる。
【００４５】
第１実施形態によれば、学習支援装置２０において文字位置認識部２６は、表示画面上の文字表示領域を認識する。文字表示領域には、文字認識部２２によって認識された各文字が配置される。位置指定入力部２７は、位置指定情報４０を入力するための部分であり、位置指定情報４０は、表示画面上において位置を指定する。指定位置判定部２８は、位置指定情報４０によって指定された位置が、文字表示領域に含まれるか否かを判定する。
【００４６】
マスク領域認識部３２は、位置指定情報４０によって指定された位置が、文字表示領域に含まれると、指定位置判定部２８によって判定されたときに、位置指定情報４０によって指定された位置を含む文字表示領域を、マスク領域として認識する。マスク領域は、マスクされるべき領域である。マスク画像生成部３３は、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成部３４は、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御部３６は、表示部２４を制御し、表示部２４に重畳画像を表示させる。
【００４７】
これによって、位置指定入力部２７によって指定した位置を含む文字表示領域を、マスク領域として指定することができる。したがって、文字表示領域のうち１点でも指定すれば、その文字表示領域に含まれる文字をマスクするマスク画像を生成することができる。文字表示領域は、文字認識部２２によって認識されるので、文字表示領域を規定する端の位置は、自動的に認識される。
【００４８】
これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、直接的に入力するのではなく、隣接する文字表示領域同士の間に、自動的に位置させることができる。したがって、マスクしたい文字列を、他の領域の文字列と区別して囲繞するのではなく、紙面上においてマーカーペンで文字列をなぞるように、マスクしたい文字列を指定することができる。これによって、マスク画像を作成するための入力作業を単純化することができる。
【００４９】
また、文字画像において隣接する文字と文字との間隔が狭い場合であっても、文字画像を拡大表示することなく、マスク領域を容易に指定し、マスク画像を生成することができる。したがって、表示画面上に表示される文字が小さい場合、または行間が詰まっている場合などであっても、閉曲線により抽出する必要がない。したがって、複数の文字行を抽出してしまう等、意図しないマスク領域が指定されてしまうことを防止することができる。さらに文字認識を行うので、文字認識結果４１（図１１（ｂ）および図１３（ａ）参照）の文字コードを利用した処理を行うことも可能となる。
【００５０】
また第１実施形態によれば、学習支援装置２０は、画像記憶部３８をさらに含んで構成される。画像記憶部３８は、１または複数の文書画像と１または複数の重畳画像とを記憶する。画像記憶部３８は、一文書画像に対応して１または複数のマスク画像がマスク画像生成部によって生成されたときに、１または複数のマスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する。これによって、画像記憶部３８から繰返して読み出すことによって、文字画像および重畳画像を複数回にわたって表示させることができる。したがって、複数回の確認作業を行うことが可能となり、容易に復習することができ、効果的に学習支援を行うことができる。
【００５１】
また第１実施形態によれば、学習支援装置２０は、選択指令入力部３９をさらに含んで構成される。選択指令入力部３９は、選択指令情報を入力するための部分である。選択指令情報は、文書画像および重畳画像のうちいずれか１つの画像を選択する情報である。表示制御部３６は、選択指令情報に応じて、表示部２４に、選択された文書画像または重畳画像を表示させる。これによって、選択指令入力部３９によって、表示部２４に、文書画像および重畳画像のいずれかの画像を表示させることができる。したがって、マスク領域においてマスクされる文字を思い出す作業を繰返して行うことができ、効率的に学習を行うことができる。
【００５２】
また第１実施形態によれば、画像記憶部３８は、文書画像および重畳画像のうち選択指令情報によって選択された文書画像または重畳画像に、選択履歴情報を付与して記憶する。選択履歴情報は、選択指令情報によって選択されたことを表す。これによって、すでに文書画像および重畳画像の表示が行われた履歴があるか否か、表示回数の計測、および表示が行われた時期などを記録することが可能となる。したがって、表示履歴の有無、表示回数の多少、または表示時期などに応じて文書画像に優先順位を付与することも可能となる。これによって、文書画像および重畳画像の表示順序を、優先順位に応じて変更することが可能となる。したがって、効果的な学習支援を行うことができる。
【００５３】
図２は、本発明の第１実施形態に係る学習支援方法の各工程を表すフローチャートである。第１実施形態に係る学習支援方法は、前述した学習支援装置２０を用い、学習を支援する方法である。本発明の第１実施形態に係る学習支援方法は、画像読取工程と、文字認識工程と、表示工程と、文字位置認識工程と、位置指定入力工程と、指定位置判定工程と、マスク領域認識工程と、マスク画像生成工程と、重畳画像生成工程と、表示制御工程とを含んで構成される。
【００５４】
画像読取工程では、画像読取部２１によって、１または複数の文字が記載される文書を、文書画像として読取る。文字認識工程では、文字認識部２２によって、文書画像に含まれる各文字を認識する。表示部２４には、表示画面が形成される。表示工程では、表示部２４によって、文書画像を表示画面上に表示する。文字位置認識工程では、文字位置認識によって、表示画面上の文字表示領域を認識する。文字表示領域には、文字認識部２２によって認識された各文字が配置される。
【００５５】
位置指定入力工程では、位置指定入力部２７によって、位置指定情報４０を入力する。位置指定情報４０は、表示画面上において位置を指定する。指定位置判定工程では、指定位置判定部２８によって、位置指定入力工程において指定された位置が、文字表示領域に含まれるか否かを判定する。マスク領域認識工程では、マスク領域認識部３２によって、位置指定入力工程において指定された位置が、文字表示領域に含まれると、指定位置判定部２８によって判定されたときに、位置指定情報４０によって指定された位置を含む文字表示領域を、マスク領域として認識する。
【００５６】
マスク領域は、マスクされるべき領域である。マスク画像生成工程では、マスク画像生成部３３によって、マスク画像を生成する。マスク画像は、マスク領域として認識された文字表示領域をマスクする。重畳画像生成工程では、重畳画像生成部３４によって、重畳画像を生成する。重畳画像は、文字画像とマスク画像とが重畳されて形成された画像である。表示制御工程では、表示制御部３６によって、表示部２４を制御し、表示部２４に重畳画像を表示させる。
【００５７】
本処理開始後、ステップａ１の工程に移行し、学習支援を終了するか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。学習支援を終了するとの選択指令情報が入力されれば、本処理を終了する。画像入力を終了しない場合には、次のステップａ２の画像読取工程に移行し、文書画像の読取を行う。次にステップａ３の文字認識工程に移行し、読み取った文書画像に含まれる文字の認識を行う。次にステップａ４の表示工程に移行し、読み取った文書画像の表示を行う。ステップａ３の文字認識工程およびステップａ４の表示工程は、順序を逆にしてもよい。
【００５８】
次にステップａ５の文字位置認識工程に移行し、表示画面上における各文字の位置の認識を行う。これは、各文字に外接する矩形の領域を設定し、矩形を成す４つの頂点のうち少なくとも対角線上の２つの点の座標の検出を行う。このとき、矩形における４つの頂点の座標を検出してもよい。
【００５９】
次にステップａ６の位置指定入力工程に移行し、位置指定情報４０の入力を行う。このとき学習支援装置２０では、位置指定情報４０の入力が行われたか否かの判断を行い、入力が行われていないとの判断結果であれば、ステップａ１の工程に移行する。位置指定情報４０の入力が行われた場合には、位置指定情報４０によって指定された位置を座標によって表す。次にステップａ７の指定位置判定工程に移行し、位置指定情報４０によって指定された位置が、表示画面上のいずれかの文字表示領域に含まれる位置であるか否かを判定する。このとき、位置指定情報４０によって指定された位置が、表示画面上のいずれの文字表示領域にも含まれないと判定された場合には、ステップａ６の位置指定入力工程に移行する。
【００６０】
指定位置判定工程において、位置指定情報４０で指定された位置が、表示画面上のいずれかの文字表示領域に含まれる位置であると判定された場合には、ステップａ８のマスク領域認識工程に移行し、この位置を含む文字表示領域を検出し、この文字表示領域をマスク領域として認識する。次にステップａ９のマスク画像生成工程に移行し、マスク画像の生成を行う。
【００６１】
次にステップａ１０の重畳画像生成工程に移行し、文字画像とマスク画像とを重畳して、重畳画像を生成する。これは、文字画像とマスク画像とがそれぞれ異なる層であるという情報を維持して重畳画像を生成してもよいし、レイヤーを統合して分離不可能な画像として生成してもよい。次にステップａ１１の表示制御工程に移行する。第１実施形態において表示制御工程では、表示部２４に、重畳画像の表示を行わせる。ステップａ１１の表示制御工程の後には、ステップａ１に移行し、学習支援を終了するのか否かの判断を行い、学習支援を終了するとの選択指令情報が入力されれば、本処理を終了する。
【００６２】
これによって、位置指定入力工程において指定した位置を含む文字表示領域を、マスク領域として指定することができる。したがって、文字表示領域のうち１点でも指定すれば、その文字表示領域に含まれる文字をマスクするマスク画像を生成することができる。文字表示領域は、文字認識部２２によって認識されるので、文字表示領域を規定する端の位置は、自動的に認識される。
【００６３】
これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、直接的に入力するのではなく、隣接する文字表示領域同士の間に、自動的に位置させることができる。したがって、マスクしたい文字列を、他の領域の文字列と区別して囲繞するのではなく、紙面上においてマーカーペンで文字列をなぞるように、マスクしたい文字列を指定することができる。これによって、マスク画像を作成するための入力作業を単純化することができる。
【００６４】
また、文字画像において隣接する文字と文字との間隔が狭い場合であっても、文字画像を拡大表示することなく、マスク領域を容易に指定し、マスク画像を生成することができる。したがって、表示画面上に表示される文字が小さい場合、または行間が詰まっている場合などであっても、閉曲線により抽出する必要がない。したがって、複数の文字行を抽出してしまう等、意図しないマスク領域が指定されてしまうことを防止することができる。さらに文字認識を行うので、文字認識結果４１の文字コードを利用した処理を行うことも可能となる。
【００６５】
（第２実施形態）
図３は、本発明の第２実施形態に係る学習支援方法の工程を表すフローチャートである。第２実施形態に係る学習支援装置２０および学習支援方法は、第１実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第１実施形態に対する第２実施形態の相違点を中心に説明する。
【００６６】
第２実施形態に係る学習支援方法では、画像読取部２１によって読取られる画像、および画像記憶部３８に記憶される画像のうち、いずれの画像を表示部２４に表示するかを選択することができる。本処理開始後、ステップｂ１に移行し、画像記憶部３８に記憶される画像を読み出すか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。画像記憶部３８に記憶される画像を読み出す場合には、ステップｂ２の蓄積画像表示工程に移行し、選択指令情報によって指定された画像の読み出しを行う。
【００６７】
蓄積画像表示工程の次には、ステップｂ３の工程に移行し、画像表示を終了するか否かの判断を行う。この工程でも、選択指令入力部３９からの選択指令情報が表示制御部３６によって判断され、選択指令情報が画像表示を終了しないことを意味する場合には、画像表示を継続し、画像記憶部３８に記憶される画像の表示を続ける。このとき、選択指令情報が、表示中の画像についての表示を終了する指令を意味する場合には、ステップｂ１に移行する。画像記憶部３８に記憶される画像のうちの他の画像への切換えを意味するならば、ステップｂ１において他の蓄積画像を読み出すものと判断され、それに従って表示を行うことができる。
【００６８】
ステップｂ１の工程において、画像記憶部３８に記憶される画像を読み出さないと判断された場合には、ステップｂ４の工程に移行する。ステップｂ４では、学習支援を終了するのか否かの判断を行う。ステップｂ４〜ステップｂ１４は、第１実施形態におけるステップａ１〜ステップａ１１の工程と同様である。ステップｂ１４の表示制御工程の後、ステップｂ１５の重畳画像保存判断工程に移行し、重畳画像の保存を行うか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。このとき、重畳画像の保存を行わないと判断されると、ステップｂ４に移行し、重畳画像の保存を行うと判断されると、次のステップｂ１６の重畳画像保存工程に移行する。
【００６９】
ｂ１６の重畳画像保存工程では、重畳画像の画像記憶部３８への保存を行う。このとき重畳画像とは別にマスク画像を保存することもできる。各重畳画像および各マスク画像は、１つの文書画像に対応するものであるので、その文書画像と関連付けられた状態で、保存される。ステップｂ１６の重畳画像保存工程の後には、ステップｂ４に移行し、学習支援を終了するのか否かの判断を行い、学習支援を終了するとの選択指令情報が入力されれば、本処理を終了する。
【００７０】
（第３実施形態）
図４は、本発明の第３実施形態に係る学習支援方法の工程を表すフローチャートである。第３実施形態に係る学習支援装置２０および学習支援方法は、第１実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第１実施形態に対する第３実施形態の相違点を中心に説明する。第３実施形態では、画像記憶部３８に記憶された画像の、文書画像および重畳画像のうち、いずれか一方の表示を、選択指令入力部３９からの選択指令情報に沿って行う。
【００７１】
本処理開始後、ステップｃ１に移行し、画像記憶部３８に記憶される画像を読み出すか否かの判断を行う。この工程は、第２実施形態におけるステップｂ１と同様である。このとき、画像記憶部３８に記憶される画像を読み出すと判断されると、ステップｃ２に移行し、文書画像および重畳画像のうちのいずれを表示するのかの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。
【００７２】
ここでは、複数の文書画像および複数の重畳画像のうちのいずれか１つを、選択指令情報の入力によって選択してもよいけれども、学習を支援するためには、文書画像を表示した後、これに対応する重畳画像を表示するという順序と、重畳画像を表示した後、これに対応する文書画像を表示するという順序とでは意味が異なるので、別段の指定がない場合には、重畳画像を、文書画像よりも時間的に早く表示する構成とすることが好ましい。
【００７３】
第３実施形態では、ステップｃ２において文書画像の表示を行うと判断されると、ステップｃ３の文書画像表示工程に移行し、文書画像を表示する。ステップｃ２において重畳画像の表示を行うと判断されると、ステップｃ４の重畳画像表示工程に移行し、１つの重畳画像の表示の後、この重畳画像において重畳される文書画像の表示を行う。
【００７４】
ステップｃ３およびステップｃ４の後には、ステップｃ５の工程に移行し、画像表示を終了するか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。ステップｃ５の工程において、画像表示を終了しないと判断されると、ステップｃ２の工程に移行する。ステップｃ５の工程において、画像表示を終了すると判断されると、本処理を終了する。ステップｃ１において、画像記憶部３８に記憶される画像を読み出さないと判断された場合には、ステップｃ６に移行し、学習支援を終了するか否かの判断を行う。ステップｃ６以降の工程は、第２実施形態におけるステップｂ４以降の工程と同様である。
【００７５】
（第４実施形態）
図５は、本発明の第４実施形態に係る学習支援方法の工程を表すフローチャートである。第４実施形態に係る学習支援装置２０および学習支援方法は、第１実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第１実施形態に対する第４実施形態の相違点を中心に説明する。第４実施形態では、文書画像の入力を行った後に、画像記憶部３８に記憶された画像の表示を、選択指令入力部３９からの選択指令情報に沿って行う。
【００７６】
本処理開始後、ステップｄ１に移行し、学習支援を終了するか否かを判断するステップｄ１〜ｄ１０は、第１実施形態のステップａ１〜ステップａ１０と同様である。ステップｄ１０の重畳画像生成工程の後、ステップｄ１１に移行し、文書画像および重畳画像のうちのいずれを表示するのかの判断を行う。ステップｄ１１〜ｄ１３は、第３実施形態におけるステップｃ２〜ｃ４と同様である。ただしステップｄ１１〜ｄ１３において取扱われる文書画像および重畳画像は、画像記憶部３８には、まだ記憶されていない、画像読取部２１によって読み込まれた状態の文書画像およびこれに基づいて作成された重畳画像である。
【００７７】
ステップｄ１２の文書画像表示工程およびステップｄ１３の重畳画像表示工程の後には、ステップｄ１４の工程に移行し、ステップｄ１１〜ｄ１３において取扱われる文書画像および重畳画像を、画像記憶部３８に保存するか否かの判断を行う。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。このとき、保存しないと判断されると、ステップｄ１に移行し、保存すると判断されると、ステップｄ１５に移行する。ステップｄ１５では、画像読取部２１によって読み込まれた状態の文書画像およびこれに基づいて作成された重畳画像を画像記憶部３８に保存する。その後、ステップｄ１に移行する。
【００７８】
（第５実施形態）
図６は、本発明の第５実施形態に係る学習支援装置２０の構成を表すブロック図である。図７は、本発明の第５実施形態に係る学習支援方法の工程を表すフローチャートである。第５実施形態に係る学習支援装置２０および学習支援方法は、第４実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第４実施形態に対する第５実施形態の相違点を中心に説明する。第５実施形態では、文書画像および重畳画像の保存を行うときに、各画像に日時情報を付与して保存する。
【００７９】
学習支援装置２０は、日時情報取得部４２をさらに含み、日時情報取得部４２は、日時情報を取得する。画像記憶部３８は、画像読取部２１が各文書画像を読取ったときに日時情報取得部４２が取得した日時情報を、読取った各文書画像の読取日時情報として記憶する。また画像記憶部３８は、表示部２４が各文書画像または各重畳画像を表示したときに日時情報取得部４２が取得した日時情報を、表示した各文書画像または各重畳画像の表示日時情報として記憶する。
【００８０】
本処理開始後、ステップｅ１に移行し、学習支援を終了するか否かを判断する。ステップｅ１〜ｅ１４は、第４実施形態のステップｄ１〜ｄ１４と同様である。ステップｅ１４において、画像読取部２１によって読み込まれた状態の文書画像およびこれに基づいて作成された重畳画像を、画像記憶部３８に保存すると判断されると、ステップｅ１５に移行し、日時情報取得部４２から現在日時を表す日時情報を取得する。次にステップｅ１６に移行し、文書画像および重畳画像に日時情報を、保存日時として付与し、文書画像および重畳画像とともに記憶する。文書画像については、画像読取部２１によって読取りが行われたときに日時情報取得部４２から日時方法を取得し、文書画像に、文書画像の読取日時情報として付与し、記憶してもよい。その後、ステップｅ１に移行する。ステップｄ１４において文書画像または重畳画像を画像記憶部３８に保存しないと判断されると、ステップｅ１に移行する。
【００８１】
第５実施形態において、文字画像入力を行うことに先立って、第３実施形態と同様に、画像記憶部３８に記憶される文書画像または重畳画像を表示する構成とすることもできる。この場合には、文書画像として読取りが行われた時期、文書画像または重畳画像が表示された時期に応じて文書画像および重畳画像に優先順位を付与する構成としてもよい。また、文書画像または重畳画像の新旧に応じて表示順序を変更する構成としてもよい。
【００８２】
（第６実施形態）
図８は、本発明の第６実施形態に係る学習支援装置２０の構成を表すブロック図である。図９は、本発明の第６実施形態に係る学習支援方法の工程を表すフローチャートである。第６実施形態に係る学習支援装置２０および学習支援方法は、第５実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第５実施形態に対する第６実施形態の相違点を中心に説明する。第６実施形態では、文書画像および重畳画像の保存を行うときに、各画像に日時情報を付与して保存し、文書画像または重畳画像の表示を行うときに、文書画像および重畳画像に付与された日時情報に基づいて、表示を制御する。
【００８３】
学習支援装置２０は、時間差算出部４４をさらに含んで構成される。時間差算出部４４は、選択指令情報の入力によって文書画像および重畳画像のうちの１つの画像が選択されると、選択指令情報の入力が行われたときに日時情報取得部４２が取得した日時情報を現在日時として取得する。また時間差算出部４４は、選択された文書画像の読取日時情報、または選択された重畳画像の読取日時情報と、現在日時とを比較し、時間的な差分値を算出する。表示制御部３６は、時間差算出部４４による算出結果が、予め定める時間的な長さ以上であるか否かを判定する。
【００８４】
表示制御部３６は、時間差算出部４４による算出結果が予め定める時間的な長さ以上であると判定された場合、選択指令情報が一文書画像を選択する情報であるときには、前記一文書画像に関連付けられる１または複数の重畳画像が画像記憶部３８に記憶されているか否かの情報を取得する。画像記憶部３８に重畳画像が記憶されていれば、表示制御部３６は、重畳画像の１つを表示部２４に表示させる。画像記憶部３８に、前記一文書画像に関連付けられる重畳画像が記憶されていなければ、前記一文書画像を表示部２４に表示させる。
【００８５】
時間差算出部４４による算出結果が予め定める時間的な長さ未満であると判定された場合、文書画像および重畳画像の表示は、選択指令入力部３９からの選択指令情報に従って、表示制御部３６が表示部２４を制御することによって行われる。時間差算出部４４による算出結果が予め定める時間的な長さ以上であると判定され、かつ選択指令情報が重畳画像を選択する情報であるときには、選択指令情報に従って、重畳画像を表示する。時間差算出部４４による算出結果が予め定める時間的な長さ以上であると判定され、選択指令情報が一文書画像を選択する情報であり、かつ複数の重畳画像が画像記憶部３８に記憶されているときには、たとえば保存日時が現在日時に近い重畳画像を、保存日時が現在日時から遠い重畳画像よりも優先して表示する構成としてもよい。
【００８６】
本処理開始後、ステップｆ１に移行し、画像記憶部３８に記憶される画像を読み出すか否かの判断を行う。この工程は、第２実施形態におけるステップｂ１と同様である。このとき、画像記憶部３８に記憶される画像を読み出すと判断されると、ステップｆ２に移行し、保存日時情報が、現在日時から予め定める時間的な長さ以上、前であるか否かを判定する。すなわち、保存日時が予め定める基準よりも古いか否かを判断する。このとき、予め定める定める時間的な長さ未満である、すなわち比較的新しいと判定されたときには、ステップｆ３に移行し、選択指令情報に応じて文書画像または重畳画像の表示を行う。ステップｆ２において、予め定める時間的な長さ以上である、すなわち比較的古いと判定されたときには、ステップｆ４に移行し、重畳画像を優先して表示する。重畳画像を表示した後には、これに対応する文書画像の表示を行ってもよい。
【００８７】
ステップｆ３およびステップｆ４の後には、ステップｆ５に移行し、画像表示を終了するか否かを判断する。この工程は、選択指令入力部３９からの選択指令情報を表示制御部３６が判断することによって行われる。表示制御部３６は、選択指令情報として指令信号の入力があることによって終了指令であると判断し、指令信号の入力がないことによって継続指令であると判断してもよい。ステップｆ５において、画像表示を終しないと判断されると、選択された画像の表示または重畳画像の表示を継続する。ステップｆ５において画像の表示を終了すると判断され、ステップｆ１に移行する。
【００８８】
ステップｆ１において画像記憶部３８に記憶された画像を表示しないと判断されると、ステップｆ６に移行する。ステップｆ６以降は、第５実施形態におけるステップｅ１以降と同様である。
【００８９】
第６実施形態では、選択指令情報が一文書画像を選択する情報であるときに、選択された一文書画像が予め定める時間的な長さよりも長い時間を隔てた過去に読取られたものであり、かつこの一文書画像について重畳画像が画像記憶部３８に記憶されていれば、一文書画像の表示よりも重畳画像の表示を優先的に行うことができる。したがって、すでに学習されていて然るべき内容には、マスク画像が重畳された重畳画像による復習学習を優先して支援することができる。
【００９０】
（第７実施形態）
図１０は、本発明の第７実施形態に係る学習支援装置２０の構成を表すブロック図である。第７実施形態に係る学習支援装置２０および学習支援方法は、第６実施形態に係る学習支援装置２０および学習支援方法に類似しており、以下、第６実施形態に対する第７実施形態の相違点を中心に説明する。第７実施形態では、文書画像の内容に関連する関連情報を記憶した関連情報記憶部４９が設けられ、関連情報に基づく画像表示を行う。
【００９１】
学習支援装置２０は、文字列抽出部４６と、単語認識部４８と、関連情報記憶部４９と、関連画像生成部５１とをさらに含んで構成される。文字列抽出部４６は、連続して並ぶマスク領域に配置される複数の文字を、一連の文字列として認識する。文字列抽出部４６によって認識された一連の文字列を「キー文字列」（５４）と称することがある。単語認識部４８は、一連の文字列の少なくとも一部の文字を単語として認識する。関連情報記憶部４９は、関連情報を記憶する。関連情報は、単語認識部４８によって認識される単語および前記単語に関連付けられる。関連画像生成部５１は、関連情報を表示する関連画像を生成する。表示制御部３６は、一連の文字列が配置される文書画像または重畳画像と、関連画像とを重畳して表示部２４に表示させる。
【００９２】
これによって、マスクされた文字列に関連する関連情報を関連画像として表示することができる。したがって、マスクされた文字列を介して、この文字列を含む文字画像とは異なる情報を表示することが可能となる。これによって、効果的な学習支援を行うことができる。
【００９３】
図１１は、本発明の第７実施形態において各重畳画像に関連付けられて記憶される蓄積情報の一例である。また第７実施形態では、単語認識部４８は、単語辞書部分５２を有する。単語辞書部分５２は、１または複数の文字によって表される複数の単語を記憶する。単語認識部４８は、表示画面上において連続して並ぶ文字表示領域に配置される複数の文字から、単語辞書部分５２に記憶される複数の単語５５に基づいて、単語５５に一致する単語文字列を認識する。文字列抽出部４６によって抽出された一連の文字列が、単語文字列に満たないとき、マスク領域認識部３２は、一連の文字列を含む単語文字列の文字表示領域を、マスク領域として認識する。
【００９４】
これによって、マスク領域と、これに隣接しマスク領域とは異なる領域との境界線を、単語５５を表す単語文字列と、これに隣接する他の文字列との間に、自動的に位置させることができる。したがって、位置指定入力部２７によって指定されたマスク領域から、単語５５を成す単語文字列の一部が逸脱している場合にも、逸脱している文字列の一部を、マスクされるべきマスク領域に含むことができる。これによって、単語認識部４８によって単語文字列を認識しない場合に比べて、マスク画像を作成するための入力作業を単純化することができる。
【００９５】
また第７実施形態に類似する他の実施形態では、マスク領域認識部３２は、文字列抽出部４６によって抽出された一連の文字列と、他の一連の文字列とが、予め定める字数以下の、マスク領域とは異なる文字表示領域によって隔てられているか否かを判定してもよい。このとき、予め定める字数以下の文字表示領域によって隔てられていると判定されるならば、マスク領域認識部３２は、前記一連の文字列と他の一連の文字列とを隔てている文字表示領域をもマスク領域として認識する。予め定める時数は、たとえば１字または２字などを設定する。
【００９６】
これによって、連続した一連の文字列をマスク領域として指定するときに、指定に漏れがあった場合であっても、指定の漏れを補間して、マスク領域を指定することができる。これによって、補間してマスク領域を指定しない場合に比べて、マスク画像を作成するための入力作業を簡単化することができる。
【００９７】
（実施例）
図１２は、本発明の第１実施形態における表示画面による表示の一例である。図１２（ａ）にはポインティング装置による位置指定情報４０が入力されていない状態を表し、図１２（ｂ）にはポインティング装置による位置指定情報４０が入力された状態を表している。図１２（ｂ）では、「６」，「４」，「５」の文字表示領域がそれぞれ位置指定情報４０によって位置指定されている。
【００９８】
図１３は、本発明の第１実施形態に係る学習支援装置２０のマスク情報５６の内容である。図１４は、本発明の第１実施形態に係る学習支援装置２０の位置指定情報４０の内容である。たとえば図１３（ａ）の文字認識結果４１であった場合に、マスク情報５６は、図１３（ｂ）の座標情報となる。マスク情報５６は、図１２のようにポイントされた座標位置情報が６４５年の部分の座標つまり図１４に示されるような情報であった場合、図１３の座標を含む図１３（a）の文字認識結果座標を探索し、ポイントされた座標位置情報の座標位置を含む文字認識結果座標をマスク情報５６の座標とする。
【００９９】
図１５は、本発明の第７実施形態に係る学習支援方法の工程を表すフローチャートである。本処理開始後、ステップｇ１に移行し、画像記憶部３８に記憶される蓄積画像を読み出すか否かの判断を行う。ステップｇ１において蓄積画像を読み出すと判断されると、ステップｇ２に移行する。ステップｇ２〜ｇ６は、第６実施形態におけるステップｆ２〜ｆ６と同様である。また第７実施形態におけるステップｇ６〜ｇ１３は、第１実施形態におけるステップａ１〜ａ８と同様である。ステップｇ１３のマスク領域認識工程の後、ステップｇ１４に移行し、マスク領域に位置してマスクされる文字列に関連して記憶される関連情報を検索して抽出し、関連情報記憶部４９から読み出す。次にステップｇ１５のマスク画像生成工程に移行する。これは、第１実施形態におけるステップａ９と同様である。次にステップｇ１６の関連画像生成工程に移行し関連情報に基づく関連画像を生成する。
【０１００】
次にステップｇ１７の重畳画像生成工程に移行し、重畳画像を生成する。これには、文書画像、マスク画像および関連画像が重畳される。次にステップｇ１８の表示制御工程に移行する。ステップｇ１８のこの工程は、第１実施形態におけるステップａ１１と同様である。次にステップｇ１９に移行し、ステップｇ１９の次にはステップｇ２０に移行する。ステップｇ１９およびｇ２０は、第３実施形態におけるステップｃ１７およびｃ１８と同様である。
【０１０１】
第７実施形態に係る学習支援方法の、第１〜第６実施形態との最も大きな差異は、ステップｇ１４において、関連情報記憶部４９に記憶される関連情報を、検索する工程が追加されることである。ここでは、ステップｇ１３においてマスク領域として認識された領域においてマスクされた文字列をキーワードとして、関連情報記憶部４９を検索する。
【０１０２】
図１６は、第７実施形態における関連情報記憶部４９に記憶される関連情報の一例である。キー文字列５４とキー文字列５４に関する詳細情報５８が対応づけられており、キー文字列５４からさらに詳細な情報が抽出できる。たとえば、歴史分野に関する関連情報であれば、たとえば年号から歴史上の事件の詳細情報５８が得られたり、歴史上の人物からその人物の肖像画像データが得られたりする。詳細情報５８は、キー文字列５４の代わりに補間によって補われたマスク領域５６の文字列または単語５５として単語認識部４８に認識された文字列に関連付けられていてもよい。
【０１０３】
これはデータベースではないので、関連情報記憶部４９ではなく、画像記憶部３８において記憶される。蓄積情報としては、たとえばマスクの座標、画像が保存された保存日時、文書画像と重畳画像との優先順位、および関連情報記憶部４９から得られた関連情報などである。文書画像と重畳画像との優先順位については、たとえば「マスク表示ＯＮ」で重畳画像の優先度を高く設定することが表され、「マスク表示ＯＦＦ」で文書画像の優先度を高く設定することが表される。
【０１０４】
このような蓄積情報には、さらに最終の表示日時を表す最新閲覧日時情報などが付記されていてもよい。また関連情報記憶部４９は、学習支援装置２０の外部の記憶装置を、学習支援装置２０に接続して利用されるものであってもよい。
【符号の説明】
【０１０５】
２０ 学習支援装置
２１ 画像読取部
２２ 文字認識部
２４ 表示部
２６ 文字位置認識部
２７ 位置指定入力部
２８ 指定位置判定部
３２ マスク領域認識部
３３ マスク画像生成部
３４ 重畳画像生成部
３６ 表示制御部
３８ 画像記憶部
３９ 選択指令入力部
４２ 日時情報取得部
４４ 時間差算出部
４６ 文字列抽出部
４８ 単語認識部
４９ 関連情報記憶部
５１ 関連画像生成部
５２ 単語辞書部分
【特許請求の範囲】
【請求項１】
１または複数の文字が記載される文書を文書画像として読取る画像読取部と、
前記文書画像に含まれる各文字を認識する文字認識部と、
表示画面を有し、前記文書画像を前記表示画面上に表示する表示部と、
前記文字認識部によって認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識部と、
前記表示画面上において位置を指定する位置指定情報を入力するための位置指定入力部と、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定部と、
前記位置指定入力部によって指定された位置が前記文字表示領域に含まれると、前記指定位置判定部によって判定されたときに、前記位置指定情報によって指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識部と、
前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成部と、
前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成部と、
前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御部とを含むことを特徴とする学習支援装置。
【請求項２】
１または複数の前記文書画像と１または複数の前記重畳画像とを記憶する画像記憶部であって、
一文書画像に対応して１または複数の前記マスク画像が前記マスク画像生成部によって生成されたときに、前記１または複数の前記マスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する画像記憶部をさらに含むことを特徴とする請求項１に記載の学習支援装置。
【請求項３】
前記文書画像および前記重畳画像のうちいずれか１つの画像を選択する選択指令情報を入力するための選択指令入力部をさらに含み、
前記表示制御部は、前記選択指令情報に応じて、前記表示部に、前記選択された文書画像または重畳画像を表示させることを特徴とする請求項２に記載の学習支援装置。
【請求項４】
前記画像記憶部は、前記文書画像および前記重畳画像のうち前記選択指令情報によって選択された文書画像または重畳画像に、前記選択指令情報によって選択されたことを表す選択履歴情報を付与して記憶することを特徴とする請求項３に記載の学習支援装置。
【請求項５】
日時情報を取得する日時情報取得部をさらに含み、
前記画像記憶部は、前記画像読取部が各文書画像を読取ったときに前記日時情報取得部が取得した日時情報を、読取った前記各文書画像の読取日時情報として記憶し、前記表示部が各文書画像または各重畳画像を表示したときに前記日時情報取得部が取得した日時情報を、表示した前記各文書画像または各重畳画像の表示日時情報として記憶することを特徴とする請求項３または４に記載の学習支援装置。
【請求項６】
前記選択指令情報の入力によって前記文書画像および前記重畳画像のうちの１つ画像が選択されると、前記選択指令情報の入力が行われたときに前記日時情報取得部が取得した日時情報を現在日時として取得し、前記選択された文書画像の読取日時情報、または前記選択された重畳画像の読取日時情報と、前記現在日時とを比較し、時間的な差分値を算出する時間差算出部をさらに含み、
前記表示制御部は、前記時間差算出部による算出結果が、予め定める時間的な長さ以上であるか否かを判定し、前記時間差算出部による算出結果が予め定める時間的な長さ以上であると判定された場合、
前記選択指令情報が一文書画像を選択する情報であるときには、前記一文書画像に関連付けられる１または複数の重畳画像が前記画像記憶部に記憶されているか否かの情報を取得し、
前記画像記憶部に重畳画像が記憶されていれば、前記重畳画像の１つを前記表示部に表示させ、前記画像記憶部に前記一文書画像に関連付けられる重畳画像が記憶されていなければ、前記一文書画像を表示部に表示させることを特徴とする請求項５に記載の学習支援装置。
【請求項７】
連続して並ぶ前記マスク領域に配置される複数の文字を、一連の文字列として認識する文字列抽出部と、
前記一連の文字列の少なくとも一部の文字を単語として認識する単語認識部と、
前記単語認識部によって認識される単語、および前記単語に関連付けられる関連情報を記憶する関連情報記憶部と、
前記関連情報を表示する関連画像を生成する関連画像生成部とをさらに含み、
前記表示制御部は、前記一連の文字列が配置される文書画像または重畳画像と、前記関連画像とを重畳して表示部に表示させることを特徴とする請求項１〜６のいずれか１つに記載の学習支援装置。
【請求項８】
請求項１〜７のいずれか１つに記載の学習支援装置を用い、
前記画像読取部によって、１または複数の文字が記載される文書を文書画像として読取る画像読取工程と、
前記文字認識部によって、前記文書画像に含まれる各文字を認識する文字認識工程と、
前記表示部によって、前記文書画像を前記表示画面上に表示する表示工程と、
前記文字位置認識部によって、前記文字認識工程において認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識工程と、
前記位置指定入力部によって、前記表示画面上において位置を指定する位置指定情報を入力する位置指定入力工程と、
前記指定位置判定部によって、前記位置指定入力工程において指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定工程と、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれると、前記指定位置判定工程において判定されたときに、前記マスク領域認識部によって、前記位置指定入力工程において指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識工程と、
前記マスク画像生成部によって、前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成工程と、
前記重畳画像生成部によって、前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成工程と、
前記表示制御部によって前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御工程とを含むことを特徴とする学習支援方法。
【請求項９】
１または複数の文字が記載される文書を文書画像として読取る画像読取部と、表示画面を有し、前記文書画像を前記表示画面上に表示する表示部と、
前記表示画面上において位置を指定する位置指定情報を入力するための位置指定入力部とに接続されたコンピュータを、
前記文書画像に含まれる各文字を認識する文字認識部、
前記文字認識部によって認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識部、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定部、
前記位置指定入力部によって指定された位置が前記文字表示領域に含まれると、前記指定位置判定部によって判定されたときに、前記位置指定情報によって指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識部、
前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成部、
前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成部、および
前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御部として機能させることを特徴とする学習支援プログラム。
【請求項１０】
請求項９に記載の学習支援プログラムが、コンピュータに読取り可能に記録される記録媒体。
【請求項１】
１または複数の文字が記載される文書を文書画像として読取る画像読取部と、
前記文書画像に含まれる各文字を認識する文字認識部と、
表示画面を有し、前記文書画像を前記表示画面上に表示する表示部と、
前記文字認識部によって認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識部と、
前記表示画面上において位置を指定する位置指定情報を入力するための位置指定入力部と、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定部と、
前記位置指定入力部によって指定された位置が前記文字表示領域に含まれると、前記指定位置判定部によって判定されたときに、前記位置指定情報によって指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識部と、
前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成部と、
前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成部と、
前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御部とを含むことを特徴とする学習支援装置。
【請求項２】
１または複数の前記文書画像と１または複数の前記重畳画像とを記憶する画像記憶部であって、
一文書画像に対応して１または複数の前記マスク画像が前記マスク画像生成部によって生成されたときに、前記１または複数の前記マスク画像が前記一文書画像に重畳されて形成された１または複数の重畳画像と、前記一文書画像とを、互いに関連付けて記憶する画像記憶部をさらに含むことを特徴とする請求項１に記載の学習支援装置。
【請求項３】
前記文書画像および前記重畳画像のうちいずれか１つの画像を選択する選択指令情報を入力するための選択指令入力部をさらに含み、
前記表示制御部は、前記選択指令情報に応じて、前記表示部に、前記選択された文書画像または重畳画像を表示させることを特徴とする請求項２に記載の学習支援装置。
【請求項４】
前記画像記憶部は、前記文書画像および前記重畳画像のうち前記選択指令情報によって選択された文書画像または重畳画像に、前記選択指令情報によって選択されたことを表す選択履歴情報を付与して記憶することを特徴とする請求項３に記載の学習支援装置。
【請求項５】
日時情報を取得する日時情報取得部をさらに含み、
前記画像記憶部は、前記画像読取部が各文書画像を読取ったときに前記日時情報取得部が取得した日時情報を、読取った前記各文書画像の読取日時情報として記憶し、前記表示部が各文書画像または各重畳画像を表示したときに前記日時情報取得部が取得した日時情報を、表示した前記各文書画像または各重畳画像の表示日時情報として記憶することを特徴とする請求項３または４に記載の学習支援装置。
【請求項６】
前記選択指令情報の入力によって前記文書画像および前記重畳画像のうちの１つ画像が選択されると、前記選択指令情報の入力が行われたときに前記日時情報取得部が取得した日時情報を現在日時として取得し、前記選択された文書画像の読取日時情報、または前記選択された重畳画像の読取日時情報と、前記現在日時とを比較し、時間的な差分値を算出する時間差算出部をさらに含み、
前記表示制御部は、前記時間差算出部による算出結果が、予め定める時間的な長さ以上であるか否かを判定し、前記時間差算出部による算出結果が予め定める時間的な長さ以上であると判定された場合、
前記選択指令情報が一文書画像を選択する情報であるときには、前記一文書画像に関連付けられる１または複数の重畳画像が前記画像記憶部に記憶されているか否かの情報を取得し、
前記画像記憶部に重畳画像が記憶されていれば、前記重畳画像の１つを前記表示部に表示させ、前記画像記憶部に前記一文書画像に関連付けられる重畳画像が記憶されていなければ、前記一文書画像を表示部に表示させることを特徴とする請求項５に記載の学習支援装置。
【請求項７】
連続して並ぶ前記マスク領域に配置される複数の文字を、一連の文字列として認識する文字列抽出部と、
前記一連の文字列の少なくとも一部の文字を単語として認識する単語認識部と、
前記単語認識部によって認識される単語、および前記単語に関連付けられる関連情報を記憶する関連情報記憶部と、
前記関連情報を表示する関連画像を生成する関連画像生成部とをさらに含み、
前記表示制御部は、前記一連の文字列が配置される文書画像または重畳画像と、前記関連画像とを重畳して表示部に表示させることを特徴とする請求項１〜６のいずれか１つに記載の学習支援装置。
【請求項８】
請求項１〜７のいずれか１つに記載の学習支援装置を用い、
前記画像読取部によって、１または複数の文字が記載される文書を文書画像として読取る画像読取工程と、
前記文字認識部によって、前記文書画像に含まれる各文字を認識する文字認識工程と、
前記表示部によって、前記文書画像を前記表示画面上に表示する表示工程と、
前記文字位置認識部によって、前記文字認識工程において認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識工程と、
前記位置指定入力部によって、前記表示画面上において位置を指定する位置指定情報を入力する位置指定入力工程と、
前記指定位置判定部によって、前記位置指定入力工程において指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定工程と、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれると、前記指定位置判定工程において判定されたときに、前記マスク領域認識部によって、前記位置指定入力工程において指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識工程と、
前記マスク画像生成部によって、前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成工程と、
前記重畳画像生成部によって、前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成工程と、
前記表示制御部によって前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御工程とを含むことを特徴とする学習支援方法。
【請求項９】
１または複数の文字が記載される文書を文書画像として読取る画像読取部と、表示画面を有し、前記文書画像を前記表示画面上に表示する表示部と、
前記表示画面上において位置を指定する位置指定情報を入力するための位置指定入力部とに接続されたコンピュータを、
前記文書画像に含まれる各文字を認識する文字認識部、
前記文字認識部によって認識された各文字が配置される、前記表示画面上の領域を、文字表示領域として認識する文字位置認識部、
前記位置指定情報によって指定された位置が、前記文字表示領域に含まれるか否かを判定する指定位置判定部、
前記位置指定入力部によって指定された位置が前記文字表示領域に含まれると、前記指定位置判定部によって判定されたときに、前記位置指定情報によって指定された位置を含む前記文字表示領域を、マスクされるべきマスク領域として認識するマスク領域認識部、
前記マスク領域として認識された文字表示領域をマスクするマスク画像を生成するマスク画像生成部、
前記文書画像と前記マスク画像とが重畳されて形成された重畳画像を生成する重畳画像生成部、および
前記表示部を制御し、前記表示部に前記重畳画像を表示させる表示制御部として機能させることを特徴とする学習支援プログラム。
【請求項１０】
請求項９に記載の学習支援プログラムが、コンピュータに読取り可能に記録される記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１２】
【公開番号】特開２０１１−２５７４５３（Ｐ２０１１−２５７４５３Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１２９３９８（Ｐ２０１０−１２９３９８）
【出願日】平成２２年６月４日（２０１０．６．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月４日（２０１０．６．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]