ハンドヘルド点字変換装置、点字変換方法及びプログラム
【課題】利用者が過度に音声出力に依存するのを防ぎつつ、点字の習得が可能なハンドヘルド点字変換装置を提供する。
【解決手段】ハンドヘルド点字変換装置は、点字表示部と、撮影手段と、文字認識手段と、点字変換手段と、表示制御手段と、音声制御手段と、を備える。点字表示部は、点字を表示する。撮影手段は、装置周辺の所定範囲を撮影する。文字認識手段は、撮影画像に存在する文字の有無を検知し、存在する文字を認識する。点字変換手段は、文字認識手段が認識した文字の一部又は全部を点字に変換する。表示制御手段は、点字変換手段が変換した点字を点字表示部に表示させる。音声制御手段は、点字表示部が点字を表示中に、撮影画像が所定時間幅以上変化しない場合、点字表示部が表示する所定の点字に対応する文字の音声出力を行う。
【解決手段】ハンドヘルド点字変換装置は、点字表示部と、撮影手段と、文字認識手段と、点字変換手段と、表示制御手段と、音声制御手段と、を備える。点字表示部は、点字を表示する。撮影手段は、装置周辺の所定範囲を撮影する。文字認識手段は、撮影画像に存在する文字の有無を検知し、存在する文字を認識する。点字変換手段は、文字認識手段が認識した文字の一部又は全部を点字に変換する。表示制御手段は、点字変換手段が変換した点字を点字表示部に表示させる。音声制御手段は、点字表示部が点字を表示中に、撮影画像が所定時間幅以上変化しない場合、点字表示部が表示する所定の点字に対応する文字の音声出力を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字を点字変換する手法に関する。
【背景技術】
【０００２】
従来から、情報を触覚により利用者に伝達する技術が知られている。例えば、特許文献１には、視覚障害者用の文字閲覧装置として、カメラにより撮像された文字列の電子データを点字に変換し表示するハンドヘルド型の点字変換装置が開示されている。また、特許文献２には、文書を点字に変換して表示すると共に、触覚センサに入力があった場合には、表示中の点字の文字を読み上げる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２０１０／０２９９８０
【特許文献２】特開平１０−２３２５９９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
点字の学習支援として音声出力を併用する場合、利用者が指定したタイミングで容易に音声出力がなされると、利用者が過度に音声出力に依存する可能性があり、この場合には学習速度が低下するという問題がある。
【０００５】
本発明が解決しようとする課題としては、上記のようなものが例として挙げられる。本発明は、利用者が過度に音声出力に依存するのを防ぎつつ、点字の習得が可能なハンドヘルド点字変換装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段と、を備えることを特徴とする。
【０００７】
請求項５に記載の発明では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御工程と、を備えることを特徴とする。
【０００８】
請求項６に記載の発明では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置に搭載され実行されるプログラムであって、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段、として前記ハンドヘルド点字変換装置を機能させることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】ハンドヘルド点字変換装置の構成を示すブロック図の一例である。
【図２】ハンドヘルド点字変換装置の構造を示すブロック図の一例である。
【図３】ハンドヘルド点字変換装置の機能構成を示すブロック図の一例である。
【図４】点字表示部の平面図の一例である。
【図５】学習支援モードにおける可動式ピンの状態を示す。
【図６】学習支援モードにおける可動式ピンの状態を示す。
【図７】本実施例に係る処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【００１０】
本発明の１つの観点では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段と、を備える。
【００１１】
上記のハンドヘルド点字変換装置は、点字表示部と、撮影手段と、文字認識手段と、点字変換手段と、表示制御手段と、音声制御手段と、を備える。点字表示部は、ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する。撮影手段は、装置周辺の所定範囲を撮影する。文字認識手段は、撮影画像に存在する文字の有無を検知し、存在する文字を認識する。点字変換手段は、文字認識手段が認識した文字の一部又は全部を点字に変換する。表示制御手段は、点字変換手段が変換した点字を点字表示部に表示させる。音声制御手段は、点字表示部が点字を表示中に、撮影画像が所定時間幅以上変化しない場合、点字表示部が表示する所定の点字に対応する文字の音声出力を行う。このようにすることで、ハンドヘルド点字変換装置は、通常の点字による閲覧を阻害することなく、利用者が知らない点字が表示されたと推定された場合に限り、音声出力により点字に対応する文字を知らせることができる。これにより、利用者は、過度に音声出力に依存することなく、点字の学習を行うことができる。
【００１２】
上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記撮影画像が所定時間幅以上変化しない場合、前記音声制御手段が音声出力する文字に対応する点字を前記点字表示部に表示させ、前記音声制御手段が音声出力する文字以外の文字に対応する点字を前記点字表示部に表示させない。これにより、ハンドヘルド点字変換装置は、利用者に音声出力する文字とその点字表示とをより明確に対応づけさせることができ、点字の習得を促進させることができる。
【００１３】
上記のハンドヘルド点字変換装置の他の一態様では、前記所定の点字は、前記点字表示部の中心に最も近い位置で表示される点字である。これにより、ハンドヘルド点字変換装置は、利用者が解読できなかった可能性の高い点字表示に対応する文字を音声出力することができる。
【００１４】
上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記撮影画像が所定時間幅以上変化しない状態から前記撮影画像が変化した場合、前記点字変換手段が変換した点字を前記点字表示部に表示を再開させる。これにより、利用者は、学習用に点字表示がなされた状態からハンドヘルド点字変換装置を動かすことで、再び通常の点字による閲覧を行うことができる。
【００１５】
本発明の他の観点では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御工程と、を備える。ハンドヘルド点字変換装置は、この点字変換方法を実行することで、通常の点字による閲覧を阻害することなく、利用者が知らない点字が表示されたと推定された場合に限り、音声出力により点字に対応する文字を知らせることができる。これにより、利用者が過度に音声出力に依存することなく、点字の学習を行うことができる。
【００１６】
本発明のさらに別の観点では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置に搭載され実行されるプログラムであって、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段、として前記ハンドヘルド点字変換装置を機能させる。ハンドヘルド点字変換装置は、このプログラムを搭載し実行することで、通常の点字による閲覧を阻害することなく、利用者が知らない点字が表示されたと推定された場合に限り、音声出力により点字に対応する文字を知らせることができる。これにより、利用者が過度に音声出力に依存することなく、点字の学習を行うことができる。
【実施例】
【００１７】
以下、図面を参照して本発明の好適な実施例について説明する。
【００１８】
［構成］
まず、本発明の本実施例に係るハンドヘルド点字変換装置１の構成について図１乃至図４を用いて説明する。
【００１９】
後述するように、ハンドヘルド点字変換装置１は、点字表示中の所定のタイミングで、点字表示されていた所定の文字を音声出力することで、利用者に点字の読み取りを学習させる点字の学習支援機能を備える。以後では、当該学習支援機能の実行時を「学習支援モード」と呼ぶ。
【００２０】
（ハードウェア構成）
図１は、本発明の本実施例に係るハンドヘルド点字変換装置１を模式的に表した図である。図示のように、ハンドヘルド点字変換装置１は、点字表示部１０、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７、スピーカ１８を備える。
【００２１】
点字表示部１０は、図示のように複数の可動式ピン２１を備え、これを昇降させて凸形状を形成することにより点字を表示する。可動式ピン２１の配置などの詳細については後述する。
【００２２】
カメラ１５は、ユーザが印刷物の上にハンドヘルド点字変換装置１を置くことにより、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、撮影画像をＣＰＵ１１に送信する。カメラ１５は、たとえば、ＣＣＤカメラとすることができる。
【００２３】
ＣＰＵ１１は、予めＲＡＭ１２又はＲＯＭ１３に記憶されたプログラムを実行することにより、カメラ１５から取得した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ；光学文字認識）処理を実行することで、文字の認識を行う。ＣＰＵ１１は、ＲＡＭ１２及びＲＯＭ１３といったメモリに記憶された漢字と読みとを対応つけた辞書情報と、読みと点字、又は、文字と点字とを対応付けた点字定義情報とを参照し、認識した文字を点字に変換する。そして、ＣＰＵ１１は、変換した点字を点字表示部１０に表示させる。さらに、ＣＰＵ１１は、学習支援モードでは、点字表示する文字を、学習対象として音声出力する文字（以後、「学習対象文字Ｌｔａｇ」と呼ぶ。）に限定すると共に、当該学習対象文字Ｌｔａｇをスピーカ１８に音声出力させる。具体的には、ＣＰＵ１１は、各文字に対応する音声データのデータベースである音声情報をＲＡＭ１２等から参照し、学習対象文字Ｌｔａｇをスピーカ１８に音声出力させる。
【００２４】
電源１４は、ハンドヘルド点字変換装置１に電力を供給する。レンズ１６は、カメラ１５のレンズであり、照明用ＬＥＤ１７は、カメラ１５が文字を撮影する際に必要な光源である。スピーカ１８は、学習支援モード時に学習対象文字ＬｔａｇをＣＰＵ１１の制御に基づき音声出力する。
【００２５】
図２は、本発明の本実施例に係るハンドヘルド点字変換装置１の構造を示す。図２（ａ）はハンドヘルド点字変換装置１の内部構造を示す側面透視図であり、図２（ｂ）はハンドヘルド点字変換装置１の内部構造を破線で表示した俯瞰図である。ハンドヘルド点字変換装置１は、ユーザが片手で保持した状態で移動させることが可能なハンドヘルド型装置であり、内部に点字表示部１０、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７、システムコントローラ１９、を備える。カメラ１５とシステムコントローラ１９、システムコントローラ１９と点字表示部１０、システムコントローラ１９と電源１４はそれぞれ配線により電気的に接続されている。また、上述したように、ハンドヘルド点字変換装置１は、図２において図示しないスピーカ１８を備える。
【００２６】
点字表示部１０は、ユーザが片手の親指及び小指でこのハンドヘルド点字変換装置１を保持した状態で人差し指、中指及び薬指の少なくともいずれかの指で点字表示部１０に接触可能な位置に配置されている。
【００２７】
カメラ１５、レンズ１６及び照明用ＬＥＤ１７は、点字表示部１０の直下周辺に配置されている。本実施例では、点字表示部１０の直下部分とこの部分から所定距離以内の部分を直下周辺とする。所定距離とは、例えば３ｃｍである。
【００２８】
システムコントローラ１９は、ＣＰＵ１１、ＲＡＭ１２及びＲＯＭ１３を含んでおり、ハンドヘルド点字変換装置１全体の制御を行う。電源１４は、例えば電池などで構成され、システムコントローラ１９に電力を供給し、システムコントローラ１９を介し、各部品に電力を供給する。なお、電源１４が、システムコントローラ１９を介さず、各部品に直接電力を供給するようにしてもよい。
【００２９】
（機能構成）
図３は、本実施例のハンドヘルド点字変換装置１の機能構成を示すブロック図の一例である。これらの機能は、図１に示す構成要素により実現される。
【００３０】
ハンドヘルド点字変換装置１は、上述したように、カメラ１５と、ＣＰＵ１１と、ＲＯＭ１３と、点字表示部１０と、スピーカ１８とを備える。ＣＰＵ１１は、予め用意されたプログラムを実行することにより、文字認識部１０１、点字変換部１０２、表示制御部１０３、及び音声制御部１０４として機能する。ＲＯＭ１３は、辞書情報、点字定義情報、及び音声情報を記憶している。なお、辞書情報、点字定義情報、及び音声情報の一部はＲＡＭ１２に記憶されていてもよい。
【００３１】
カメラ１５は、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、撮影画像をＣＰＵ１１に送信する。カメラ１５は、本発明における撮影手段として機能する。
【００３２】
文字認識部１０１は、カメラ１５から受信した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ処理を実行することで、文字の認識を行う。
【００３３】
点字変換部１０２は、文字認識部１０１が認識した文字が漢字である場合は、まず、漢字と読みとを対応付けた辞書情報に基づいて漢字を読みに変換し、次に、読みと点字とを対応付けた点字定義情報に基づいて読みを点字に変換する。点字変換部１０２は、文字認識部１０１が認識した文字がひらがな、カタカナ、数字及びアルファベットである場合は、これらと点字とを対応付けた点字定義情報に基づいて点字に変換する。なお、点字変換部１０２は、検知した文字全てを点字に変換するようにしてもよく、一部（例えば、点字表示部１０で表示可能な文字数）のみを点字に変換するようにしてもよい。そして、点字変換部１０２は、変換した点字の情報（以下、「点字情報」という。）を、表示制御部１０３に供給する。
【００３４】
表示制御部１０３は、点字変換部１０２が変換した点字を点字表示部１０に表示させる。さらに、表示制御部１０３は、ハンドヘルド点字変換装置１の現在の位置が適切か否か知らせると共に、必要に応じて移動方向を適切な方向に誘導するための表示（以後、「位置関係適否表示」とよぶ。）を、点字表示部１０に表示させる。以後では、表示制御部１０３が可動式ピン２１を昇らせて凸形状を形成することを、「可動式ピン２１を立たせる」とも表現する。また、表示制御部１０３は、後述するように、学習支援モードでは、学習対象文字Ｌｔａｇ以外の文字の点字表示を行わない。
【００３５】
音声制御部１０４は、学習支援モード中に、音声情報を参照し、学習対象文字Ｌｔａｇに対応する音声データをスピーカ１８により出力する。
【００３６】
点字表示部１０は、上述したように、可動式ピン２１を昇降させて凸形状を形成することにより点字表示や位置関係適否表示などを行う。
【００３７】
（点字表示部の構成）
次に、点字表示部１０の構成について図４を用いて説明する。図４は、点字表示部１０の平面図を示す。
【００３８】
点字表示部１０は、計６４個の可動式ピン２１が配置される。可動式ピン２１は２列４行の計８個で１つの単位点字表示部２２を構成する。従って、点字表示部１０は、合計８つの単位点字表示部２２Ｌ、２２Ａ乃至２２Ｆ、２２Ｒが横並びに配置されている。
【００３９】
このうち、単位点字表示部２２Ａ乃至２２Ｆは、点字を表示する部分に相当する。具体的には、単位点字表示部２２Ａ乃至２２Ｆは、各々が８個の可動式ピン２１を昇降し、凸形状を形成することにより点字を表示する。そして、単位点字表示部２２Ａ乃至２２Ｆは、１つ又は２つで１文字を表す。以後では、単位点字表示部２２Ａ乃至２２Ｆに配置された可動式ピン２１を、「第１ピン」と称す。また、単位点字表示部２２Ａ乃至２２Ｆにより表現される１または複数の文字を「点字対象文字」と呼ぶ。
【００４０】
一方、単位点字表示部２２Ｌ、２２Ｒは、可動式ピン２１の全部または一部を突出させることで、文字の有無の表示又は位置関係適否表示を行う。これにより、単位点字表示部２２Ｌ、２２Ｒは、読み取る対象となる文字列をカメラ１５により適切に撮像させ、利用者によるハンドヘルド点字変換装置１の移動操作の誘導を行う。以後では、単位点字表示部２２Ｌ、２２Ｒに配置された可動式ピン２１を、「第２ピン」と呼ぶ。例えば、表示制御部１０３は、利用者がハンドヘルド点字変換装置１に置いた指に対して、ハンドヘルド点字変換装置１の移動方向を修正したい方向に位置する第２ピンを立たせると共に、他の方向に位置する第２ピンを下げる。
【００４１】
［学習支援モード］
次に、学習支援モードについて詳しく説明する。概略的には、ハンドヘルド点字変換装置１は、点字表示中に撮影画像が所定時間幅以上変動しない場合、学習支援モードを行う。そして、学習支援モードでは、ハンドヘルド点字変換装置１は、点字表示中の文字のうち、中央に位置する文字を学習対象文字Ｌｔａｇに指定し、学習対象文字Ｌｔａｇのみを点字表示すると共に、学習対象文字Ｌｔａｇを音声出力する。これにより、ハンドヘルド点字変換装置１は、利用者の操作を阻害することなく、利用者の意図に即したタイミングで学習支援を実行することができる。
【００４２】
これについて図５を参照して具体的に説明する。図５は、学習支援モードの前後における可動式ピン２１の状態を示す図である。具体的には、図５（ａ）は、学習支援モードの直前の可動式ピン２１の状態を示し、図５（ｂ）は、学習支援モードでの可動式ピン２１の状態を示し、図５（ｃ）は、学習支援モード実行後の可動式ピン２１の状態を示す。
【００４３】
まず、図５（ａ）に相当する学習支援モードの直前では、文字認識部１０１は、カメラ１５から受信した撮影画像から文字「ａ」〜「ｆ」の認識を行い、点字変換部１０２は、各文字を点字定義情報に基づいて点字に変換する。そして、表示制御部１０３は、図５（ａ）に示すように、撮影画像中に存在する「ａ」〜「ｆ」の文字を点字表示する。具体的には、表示制御部１０３は、単位点字表示部２２Ａの第１行目かつ第１列目の第１ピンを上げることで「ａ」を表現し、単位点字表示部２２Ｂの第１列目の第１行目及び第２行目の２つの第１ピンを上げることで「ｂ」を表現し、以下同様に単位点字表示部２２Ｃ〜２２Ｆによりそれぞれ「ｃ」〜「ｆ」を表現している。また、表示制御部１０３は、単位点字表示部２２Ｌの第１行目及び第４行目の計４つの第２ピン及び単位点字表示部２２Ｒの第１行目及び第４行目の計４つの第２ピンをそれぞれ上げることで、撮影画像中に文字が存在し、かつ、当該文字を認識可能である旨を利用者に示している。
【００４４】
そして、表示制御部１０３は、点字表示中では、撮影画像が変化していない時間幅（以後、「停止時間幅Ｔｗ」と呼ぶ。）を計測する。これにより、表示制御部１０３は、ハンドヘルド点字変換装置１が停止している時間幅を推測する。例えば、表示制御部１０３は、周知の画像認識技術に基づき、連続して取得された撮影画像間で、各画素の値が一致又は近似していた場合撮影画像の変化がないと判断する。他の例では、表示制御部１０３は、点字表示対象文字列が前後の撮影画像で一致している場合、撮影画像が変化していないと判断する。そして、表示制御部１０３は、これらの例に基づき、撮影画像が変化していないと判断される時間幅を停止時間幅Ｔｗとして計測する。
【００４５】
そして、表示制御部１０３は、停止時間幅Ｔｗが所定の閾値（以後、「閾値Ｔｗｔｈ」と呼ぶ。）以上になった場合、学習支援モードを実行する。ここで、閾値Ｔｗｔｈは、例えば１秒に設定され、具体的には、利用者が点字表示を読み取れない場合にハンドヘルド点字変換装置１の操作を停止する時間幅の下限値等に実験等に基づき予め設定される。
【００４６】
学習支援モードでは、表示制御部１０３は、点字対象文字のうち、点字表示部１０３の中心に最も近い位置に表示される文字（「中央文字」とも呼ぶ。）のみを学習対象文字Ｌｔａｇとして表示する。ここで、中央文字は、点字表示を行う単位点字表示部２２Ａ乃至２２Ｆのうち、中央に位置する単位点字表示部２２Ｃ又は／及び２２Ｄが表示する文字である。図５（ｂ）では、表示制御部１０３は、単位点字表示部２２Ｃの第１列目の２つの第１ピンを立たせることで中央文字の１つである「ｃ」を学習対象文字Ｌｔａｇとして点字表示すると共に、単位点字表示部２２Ａ、２２Ｂ、２２Ｄ〜２２Ｆの第１ピンを全て下げている。また、これと同時に、音声制御部１０４は、学習対象文字Ｌｔａｇである文字「ｃ」をスピーカ１８により音声出力する。これにより、ハンドヘルド点字変換装置１は、学習対象文字Ｌｔａｇの呼称と、その点字表示とを対応付けて利用者に知らせることができる。なお、好適には、音声制御部１０４は、停止時間幅Ｔｗが閾値Ｔｗｔｈに達し、学習対象文字Ｌｔａｇのみが点字表示されたタイミングで１度のみ学習対象文字Ｌｔａｇの音声出力を行う。
【００４７】
そして、表示制御部１０３は、学習支援モードに移行した後、撮影画像が再び変化した場合、学習支援モードを終了し、図５（ｃ）に示すように、通常の点字表示を行う。具体的には、文字認識部１０１は、変化後の撮影画像から点字対象文字（ここでは、「ａ」〜「ｆ」とする。）を認識し、点字変換部１０２は、各点字対象文字を点字定義情報に基づいて点字に変換する。そして、表示制御部１０３は、図５（ｃ）に示すように、変化後の撮影画像中に存在する「ａ」〜「ｆ」の文字を点字表示する。
【００４８】
次に、学習対象文字Ｌｔａｇが点字表示に２の単位点字表示部２２を必要とする場合について図６を参照して説明する。
【００４９】
図６（ａ）は、点字対象文字が「ａ」、「ｂ」、「８」、「ｅ」、「ｆ」の場合であって学習支援モード直前の可動式ピン２１の状態を示す。この場合、表示制御部１０３は、単位点字表示部２２Ａにより「ａ」を表現し、単位点字表示部２２Ｂにより「ｂ」を表現し、単位点字表示部２２Ｃ、２２Ｄにより「８」を表現し、単位点字表示部２２Ｅ、２２Ｆによりそれぞれ「ｅ」、「ｆ」を表現している。
【００５０】
図６（ｂ）は、図６（ａ）の状態から停止時間幅Ｔｗが閾値Ｔｗｔｈ以上となった場合の可動式ピン２１の状態を示す。上述したように、ハンドヘルド点字変換装置１は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上になった場合、学習支援モードを開始する。従って、この場合、表示制御部１０３は、点字対象文字の中央文字にあたる「８」のみを学習対象文字Ｌｔａｇとして単位点字表示部２２Ｃ、２２Ｄにより点字表示する。これにより、図６（ｂ）では、単位点字表示部２２Ａ、２２Ｂ、２２Ｅ、２２Ｆの第１ピンは全て下げられている。また、これと同時に、音声制御部１０４は、学習対象文字Ｌｔａｇである文字「８」をスピーカ１８により音声出力する。これにより、ハンドヘルド点字変換装置１は、学習対象文字Ｌｔａｇの呼称と、学習対象文字Ｌｔａｇの点字表示とを明確に対応付けて利用者に知らせることができる。
【００５１】
図６（ｃ）は、学習支援モードに移行した後、撮影画像が再び変化した場合の可動式ピン２１の状態を示す。図６（ｃ）に示すように、ハンドヘルド点字変換装置１は、図６（ｂ）の状態から撮影画像が再び変化した場合、学習支援モードを終了し、再び撮影画像から認識した文字の点字表示を行う。
【００５２】
［処理フロー］
次に、本実施例の学習支援モードの処理手順について図７を参照して説明する。図７は、ＣＰＵ１１が実行する学習支援モードの処理手順を示すフローチャートの一例である。ＣＰＵ１１は、図７に示す処理を所定の周期に従い繰り返し実行する。
【００５３】
ユーザは、点字表示したい文字が存在する印刷物等の上にハンドヘルド点字変換装置１を置いて、点字変換を開始するスイッチをＯＮにする（ステップＳ１）。カメラ１５は、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し（ステップＳ２）、撮影画像を文字認識部１０１に送信する。
【００５４】
次に、表示制御部１０３は、点字表示中であるか否か判定する（ステップＳ３）。そして、表示制御部１０３は、点字表示中であると判断した場合（ステップＳ３；Ｙｅｓ）、ステップＳ４へ処理を進める。一方、表示制御部１０３は、点字表示中ではないと判断した場合（ステップＳ３：Ｎｏ）、ステップＳ５へ処理を進める。
【００５５】
次に、ステップＳ４では、文字認識部１０１は、撮影画像に変化があるか否か判定する（ステップＳ４）。そして、文字認識部１０１は、撮影画像に変化があると判断した場合（ステップＳ４；Ｙｅｓ）、撮影画像に文字が存在するか否か判定する（ステップＳ５）。そして、文字認識部１０１が撮影画像に文字があると判断した場合には（ステップＳ５；Ｙｅｓ）、表示制御部１０３は、撮影画像中の中央文字の前後６セル分の点字表示を行う（ステップＳ６）。ここで、中央文字は、上述したように、点字表示部１０３の中心に最も近い文字である。一方、文字認識部１０１は、撮影画像に文字が存在しないと判断した場合（ステップＳ５；Ｎｏ）、ステップＳ１１へ処理を進める。
【００５６】
一方、表示制御部１０３は、撮影画像に変化がないと判断した場合（ステップＳ４；Ｎｏ）、音声を出力済みであるか否か判定する（ステップＳ７）。即ち、表示制御部１０３は、撮影画像に変化がない状態で、後述するステップＳ９の処理を実行済みであるか否か判定する。そして、表示制御部１０３は、音声を出力済みでないと判断した場合（ステップＳ７；Ｙｅｓ）、点字の表示を継続する。これにより、表示制御部１０３は、音声出力が続けて実行されるのを防ぐ。
【００５７】
次に、表示制御部１０３は、音声を出力済みではないと判断した場合（ステップＳ７；Ｎｏ）、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上か否か判定する（ステップＳ８）。そして、表示制御部１０３は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上の場合（ステップＳ８；Ｙｅｓ）、中央文字のみ点字表示し、かつ、音声制御部１０４は、中央文字の音声出力を行う（ステップＳ９）。即ち、この場合、ハンドヘルド点字変換装置１は、学習支援モードに移行し、中央文字を学習対象文字Ｌｔａｇに指定して点字表示及び音声出力を行う。また、表示制御部１０３は、中央文字に対応する単位点字表示部２２以外の単位点字表示部２２の第１ピンを全て下げる。これにより、ハンドヘルド点字変換装置１は、音声出力する文字と、その点字表示とを明確に対応付けて利用者に学習させることができる。
【００５８】
一方、停止時間幅Ｔｗが閾値Ｔｗｔｈ未満である場合（ステップＳ８；Ｎｏ）、表示制御部１０３は、点字の表示を継続する（ステップＳ１０）。即ち、この場合には、ハンドヘルド点字変換装置１は、学習支援モードに移行せず、点字対象文字の全ての点字表示を継続して行い、ステップＳ４へ処理を戻す。
【００５９】
次に、ハンドヘルド点字変換装置１は、ステップＳ１のスイッチがＯＦＦになったか否かを判定する（ステップＳ１１）。そして、ハンドヘルド点字変換装置１は、当該スイッチがＯＦＦになっていない場合（ステップＳ１１；Ｎｏ）、ステップＳ２へ処理を戻す。当該スイッチがＯＦＦになった場合（ステップＳ１１；Ｙｅｓ）、ハンドヘルド点字変換装置１は点字変換の処理を終了する。
【００６０】
［効果］
次に、上述の実施例の効果についてさらに補足説明する。利用者は、ハンドヘルド点字変換装置１を用いることで、点字の基本的な読み方を学習した後、容易に点字を活用することができる。例えば、利用者は、解読できない文字（以後、「解読不能文字」とも呼ぶ。）が点字表示された場合には、当該装置を一定時間停止させることで、解読不能文字の点字表示と、解読不能文字の称呼とを同時に把握することができる。従って、利用者は、文書を点字により閲覧しつつ、文字と点字との関係を習得することができる。
【００６１】
また、学習支援モードは、停止時間幅Ｔｗが閾値Ｔｗｔｈに達した場合のみ実行される。従って、利用者は、文書中の文字列に沿ってハンドヘルド点字変換装置１を移動させることで当該文書を閲覧する場合に、不要に操作を阻害されることがない。また、ハンドヘルド点字変換装置１は、学習支援モード時に、音声情報を参照し、スピーカ１８により学習対象文字Ｌｔａｇを音声出力する。従って、ハンドヘルド点字変換装置１は、文字又は文字列の意味を解釈する必要がなく、低コストにより製作可能である。また、ハンドヘルド点字変換装置１は、停止時間幅Ｔｗが閾値Ｔｗｔｈに達するまで音声出力をしないことで、停止中に利用者が自分で解読出来るか挑戦する気持ちを育成することができ、結果として点字の習得を促進させることができる。
【００６２】
次に、中央文字を学習対象文字Ｌｔａｇに指定する主な理由を２つ挙げる。
【００６３】
まず、第１の理由について説明する。一般に、利用者は、所定の文書を閲覧しているとき、解読不能文字を見つけると、次の様に操作すると推定される。この場合、利用者は、すぐ解読不能文字にハンドヘルド点字変換装置１を停止させるのではなく、その先の文字まで読んで、解読不能文字を両側の周辺の文字から推測出来るか試みる。これは、解読不能文字の片側に存在する文字から解読不能文字を推測するより、解読不能文字の両側にある文字から解読不能文字を推測する方が解読不能文字を推測しやすいことに基づく。そして、利用者は、解読不能文字を見つけると、解読不能文字を前後の文字から解読する動作をした後、解読できなかった場合には諦めてハンドヘルド点字変換装置１を停止させることが推測される。
【００６４】
また、解読不能文字が複数の単位点字表示部２２に対応する場合も、利用者は、解読不能文字を表す単位点字表示部２２を特定するために、解読不能文字が点字表示の中央付近にくるまでハンドヘルド点字変換装置１を文字列に沿って動かすことが推定される。
【００６５】
以上のように、利用者は、解読不能文字を見つけると、自然的に、解読不能文字が撮影画像の中央に近い位置になるようにハンドヘルド点字変換装置１を操作することが推測される。
【００６６】
次に、第２の理由について説明する。基本的に点字では、１文字の点字対象文字は、原則的に１つの単位点字表示部２２で表現されるが、例外的に２つの単位点字表示部２２や３つの単位点字表示部２２で表現される場合がある。例えば、点字対象文字が略語の場合などがこの場合に該当する。
【００６７】
従って、仮に、中央文字以外の点字対象文字が学習対象文字Ｌｔａｇに設定され、かつ、当該点字対象文字が複数の単位点字表示部２２で表現される場合、当該学習対象文字Ｌｔａｇは、表現される単位点字表示部２２の個数が不足した状態で不完全に点字表示される可能性がある。この場合、ハンドヘルド点字変換装置１は、学習対象文字Ｌｔａｇが適切な単位点字表示部２２の個数により点字表示されるように、学習対象文字Ｌｔａｇと単位点字表示部２２との対応をずらして点字表示する必要がある。従って、この場合、ハンドヘルド点字変換装置１は、利用者に戸惑いを与え、操作性を損なう可能性がある。
【００６８】
以上を勘案し、ハンドヘルド点字変換装置１は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上の場合、中央文字を学習対象文字Ｌｔａｇに設定する。これにより、ハンドヘルド点字変換装置１は、解読不能文字を学習対象文字Ｌｔａｇに指定し、利用者の解読不能文字の点字表示の習得を促進させることができる。
【００６９】
また、ハンドヘルド点字変換装置１は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上の場合に、学習対象文字Ｌｔａｇを中央文字のみに限定することで、利用者の過度な音声出力による解読への依存を抑制し、利用者の点字学習の上達を促進することができる。即ち、ハンドヘルド点字変換装置１は、学習対象文字Ｌｔａｇを中央文字のみに限定することで、利用者に点字での読み取りを促進させることができる。
【００７０】
［変形例］
次に、本実施例の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用することができる。
【００７１】
（変形例１）
図１では、ハンドヘルド点字変換装置１は、スピーカ１８を備えていた。しかし、本発明が適用可能な構成は、これに限定されない。これに代えて、ハンドヘルド点字変換装置１は、外付けのスピーカと接続可能なインターフェースを備えてもよい。この場合、ハンドヘルド点字変換装置１は、上述のインターフェースに外付けのスピーカが接続されていた場合には、停止時間幅Ｔｗに基づき学習支援モードを実行する。一方、ハンドヘルド点字変換装置１は、上述のインターフェースに外付けのスピーカが接続されていない場合には、停止時間幅Ｔｗによらず学習支援モードを実行しない。これにより、スピーカの接続の有無に応じて自動的に学習モードのＯＮ／ＯＦＦを切り換えることができる。
【００７２】
（変形例２）
表示制御部１０３は、（点字表示部の構成）の説明に加え、第２ピンを立たせる際に、素早く上下に震動させてもよい。これにより、表示制御部１０３は、利用者が第１ピンによる点字表示と第２ピンによる位置関係適否表示とを混同するのを防ぐことができる。
【００７３】
（変形例３）
上述のフローチャート等の説明では、音声制御部１０４は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上の場合に音声出力を１回限り実行した。これに代えて、音声制御部１０４は、音声出力を行った場合に停止時間幅Ｔｗの計測タイマーを初期化し、初期化後停止時間幅Ｔｗだけ経過したときに音声出力を再び実行してもよい。従って、この場合、音声制御部１０４は、音声出力を複数回実行してもよい。
【符号の説明】
【００７４】
１ ハンドヘルド点字変換装置
１０ 点字表示部
１１ ＣＰＵ
１４ 電源
１５ カメラ
１６ レンズ
１７ 照明用ＬＥＤ
１８ スピーカ
１９ システムコントローラ
１０１ 文字認識部
１０２ 点字変換部
１０３ 表示制御部
１０４ 音声制御部
【技術分野】
【０００１】
本発明は、文字を点字変換する手法に関する。
【背景技術】
【０００２】
従来から、情報を触覚により利用者に伝達する技術が知られている。例えば、特許文献１には、視覚障害者用の文字閲覧装置として、カメラにより撮像された文字列の電子データを点字に変換し表示するハンドヘルド型の点字変換装置が開示されている。また、特許文献２には、文書を点字に変換して表示すると共に、触覚センサに入力があった場合には、表示中の点字の文字を読み上げる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２０１０／０２９９８０
【特許文献２】特開平１０−２３２５９９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
点字の学習支援として音声出力を併用する場合、利用者が指定したタイミングで容易に音声出力がなされると、利用者が過度に音声出力に依存する可能性があり、この場合には学習速度が低下するという問題がある。
【０００５】
本発明が解決しようとする課題としては、上記のようなものが例として挙げられる。本発明は、利用者が過度に音声出力に依存するのを防ぎつつ、点字の習得が可能なハンドヘルド点字変換装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段と、を備えることを特徴とする。
【０００７】
請求項５に記載の発明では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御工程と、を備えることを特徴とする。
【０００８】
請求項６に記載の発明では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置に搭載され実行されるプログラムであって、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段、として前記ハンドヘルド点字変換装置を機能させることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】ハンドヘルド点字変換装置の構成を示すブロック図の一例である。
【図２】ハンドヘルド点字変換装置の構造を示すブロック図の一例である。
【図３】ハンドヘルド点字変換装置の機能構成を示すブロック図の一例である。
【図４】点字表示部の平面図の一例である。
【図５】学習支援モードにおける可動式ピンの状態を示す。
【図６】学習支援モードにおける可動式ピンの状態を示す。
【図７】本実施例に係る処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【００１０】
本発明の１つの観点では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段と、を備える。
【００１１】
上記のハンドヘルド点字変換装置は、点字表示部と、撮影手段と、文字認識手段と、点字変換手段と、表示制御手段と、音声制御手段と、を備える。点字表示部は、ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する。撮影手段は、装置周辺の所定範囲を撮影する。文字認識手段は、撮影画像に存在する文字の有無を検知し、存在する文字を認識する。点字変換手段は、文字認識手段が認識した文字の一部又は全部を点字に変換する。表示制御手段は、点字変換手段が変換した点字を点字表示部に表示させる。音声制御手段は、点字表示部が点字を表示中に、撮影画像が所定時間幅以上変化しない場合、点字表示部が表示する所定の点字に対応する文字の音声出力を行う。このようにすることで、ハンドヘルド点字変換装置は、通常の点字による閲覧を阻害することなく、利用者が知らない点字が表示されたと推定された場合に限り、音声出力により点字に対応する文字を知らせることができる。これにより、利用者は、過度に音声出力に依存することなく、点字の学習を行うことができる。
【００１２】
上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記撮影画像が所定時間幅以上変化しない場合、前記音声制御手段が音声出力する文字に対応する点字を前記点字表示部に表示させ、前記音声制御手段が音声出力する文字以外の文字に対応する点字を前記点字表示部に表示させない。これにより、ハンドヘルド点字変換装置は、利用者に音声出力する文字とその点字表示とをより明確に対応づけさせることができ、点字の習得を促進させることができる。
【００１３】
上記のハンドヘルド点字変換装置の他の一態様では、前記所定の点字は、前記点字表示部の中心に最も近い位置で表示される点字である。これにより、ハンドヘルド点字変換装置は、利用者が解読できなかった可能性の高い点字表示に対応する文字を音声出力することができる。
【００１４】
上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記撮影画像が所定時間幅以上変化しない状態から前記撮影画像が変化した場合、前記点字変換手段が変換した点字を前記点字表示部に表示を再開させる。これにより、利用者は、学習用に点字表示がなされた状態からハンドヘルド点字変換装置を動かすことで、再び通常の点字による閲覧を行うことができる。
【００１５】
本発明の他の観点では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御工程と、を備える。ハンドヘルド点字変換装置は、この点字変換方法を実行することで、通常の点字による閲覧を阻害することなく、利用者が知らない点字が表示されたと推定された場合に限り、音声出力により点字に対応する文字を知らせることができる。これにより、利用者が過度に音声出力に依存することなく、点字の学習を行うことができる。
【００１６】
本発明のさらに別の観点では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置に搭載され実行されるプログラムであって、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段、として前記ハンドヘルド点字変換装置を機能させる。ハンドヘルド点字変換装置は、このプログラムを搭載し実行することで、通常の点字による閲覧を阻害することなく、利用者が知らない点字が表示されたと推定された場合に限り、音声出力により点字に対応する文字を知らせることができる。これにより、利用者が過度に音声出力に依存することなく、点字の学習を行うことができる。
【実施例】
【００１７】
以下、図面を参照して本発明の好適な実施例について説明する。
【００１８】
［構成］
まず、本発明の本実施例に係るハンドヘルド点字変換装置１の構成について図１乃至図４を用いて説明する。
【００１９】
後述するように、ハンドヘルド点字変換装置１は、点字表示中の所定のタイミングで、点字表示されていた所定の文字を音声出力することで、利用者に点字の読み取りを学習させる点字の学習支援機能を備える。以後では、当該学習支援機能の実行時を「学習支援モード」と呼ぶ。
【００２０】
（ハードウェア構成）
図１は、本発明の本実施例に係るハンドヘルド点字変換装置１を模式的に表した図である。図示のように、ハンドヘルド点字変換装置１は、点字表示部１０、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７、スピーカ１８を備える。
【００２１】
点字表示部１０は、図示のように複数の可動式ピン２１を備え、これを昇降させて凸形状を形成することにより点字を表示する。可動式ピン２１の配置などの詳細については後述する。
【００２２】
カメラ１５は、ユーザが印刷物の上にハンドヘルド点字変換装置１を置くことにより、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、撮影画像をＣＰＵ１１に送信する。カメラ１５は、たとえば、ＣＣＤカメラとすることができる。
【００２３】
ＣＰＵ１１は、予めＲＡＭ１２又はＲＯＭ１３に記憶されたプログラムを実行することにより、カメラ１５から取得した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ；光学文字認識）処理を実行することで、文字の認識を行う。ＣＰＵ１１は、ＲＡＭ１２及びＲＯＭ１３といったメモリに記憶された漢字と読みとを対応つけた辞書情報と、読みと点字、又は、文字と点字とを対応付けた点字定義情報とを参照し、認識した文字を点字に変換する。そして、ＣＰＵ１１は、変換した点字を点字表示部１０に表示させる。さらに、ＣＰＵ１１は、学習支援モードでは、点字表示する文字を、学習対象として音声出力する文字（以後、「学習対象文字Ｌｔａｇ」と呼ぶ。）に限定すると共に、当該学習対象文字Ｌｔａｇをスピーカ１８に音声出力させる。具体的には、ＣＰＵ１１は、各文字に対応する音声データのデータベースである音声情報をＲＡＭ１２等から参照し、学習対象文字Ｌｔａｇをスピーカ１８に音声出力させる。
【００２４】
電源１４は、ハンドヘルド点字変換装置１に電力を供給する。レンズ１６は、カメラ１５のレンズであり、照明用ＬＥＤ１７は、カメラ１５が文字を撮影する際に必要な光源である。スピーカ１８は、学習支援モード時に学習対象文字ＬｔａｇをＣＰＵ１１の制御に基づき音声出力する。
【００２５】
図２は、本発明の本実施例に係るハンドヘルド点字変換装置１の構造を示す。図２（ａ）はハンドヘルド点字変換装置１の内部構造を示す側面透視図であり、図２（ｂ）はハンドヘルド点字変換装置１の内部構造を破線で表示した俯瞰図である。ハンドヘルド点字変換装置１は、ユーザが片手で保持した状態で移動させることが可能なハンドヘルド型装置であり、内部に点字表示部１０、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７、システムコントローラ１９、を備える。カメラ１５とシステムコントローラ１９、システムコントローラ１９と点字表示部１０、システムコントローラ１９と電源１４はそれぞれ配線により電気的に接続されている。また、上述したように、ハンドヘルド点字変換装置１は、図２において図示しないスピーカ１８を備える。
【００２６】
点字表示部１０は、ユーザが片手の親指及び小指でこのハンドヘルド点字変換装置１を保持した状態で人差し指、中指及び薬指の少なくともいずれかの指で点字表示部１０に接触可能な位置に配置されている。
【００２７】
カメラ１５、レンズ１６及び照明用ＬＥＤ１７は、点字表示部１０の直下周辺に配置されている。本実施例では、点字表示部１０の直下部分とこの部分から所定距離以内の部分を直下周辺とする。所定距離とは、例えば３ｃｍである。
【００２８】
システムコントローラ１９は、ＣＰＵ１１、ＲＡＭ１２及びＲＯＭ１３を含んでおり、ハンドヘルド点字変換装置１全体の制御を行う。電源１４は、例えば電池などで構成され、システムコントローラ１９に電力を供給し、システムコントローラ１９を介し、各部品に電力を供給する。なお、電源１４が、システムコントローラ１９を介さず、各部品に直接電力を供給するようにしてもよい。
【００２９】
（機能構成）
図３は、本実施例のハンドヘルド点字変換装置１の機能構成を示すブロック図の一例である。これらの機能は、図１に示す構成要素により実現される。
【００３０】
ハンドヘルド点字変換装置１は、上述したように、カメラ１５と、ＣＰＵ１１と、ＲＯＭ１３と、点字表示部１０と、スピーカ１８とを備える。ＣＰＵ１１は、予め用意されたプログラムを実行することにより、文字認識部１０１、点字変換部１０２、表示制御部１０３、及び音声制御部１０４として機能する。ＲＯＭ１３は、辞書情報、点字定義情報、及び音声情報を記憶している。なお、辞書情報、点字定義情報、及び音声情報の一部はＲＡＭ１２に記憶されていてもよい。
【００３１】
カメラ１５は、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、撮影画像をＣＰＵ１１に送信する。カメラ１５は、本発明における撮影手段として機能する。
【００３２】
文字認識部１０１は、カメラ１５から受信した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ処理を実行することで、文字の認識を行う。
【００３３】
点字変換部１０２は、文字認識部１０１が認識した文字が漢字である場合は、まず、漢字と読みとを対応付けた辞書情報に基づいて漢字を読みに変換し、次に、読みと点字とを対応付けた点字定義情報に基づいて読みを点字に変換する。点字変換部１０２は、文字認識部１０１が認識した文字がひらがな、カタカナ、数字及びアルファベットである場合は、これらと点字とを対応付けた点字定義情報に基づいて点字に変換する。なお、点字変換部１０２は、検知した文字全てを点字に変換するようにしてもよく、一部（例えば、点字表示部１０で表示可能な文字数）のみを点字に変換するようにしてもよい。そして、点字変換部１０２は、変換した点字の情報（以下、「点字情報」という。）を、表示制御部１０３に供給する。
【００３４】
表示制御部１０３は、点字変換部１０２が変換した点字を点字表示部１０に表示させる。さらに、表示制御部１０３は、ハンドヘルド点字変換装置１の現在の位置が適切か否か知らせると共に、必要に応じて移動方向を適切な方向に誘導するための表示（以後、「位置関係適否表示」とよぶ。）を、点字表示部１０に表示させる。以後では、表示制御部１０３が可動式ピン２１を昇らせて凸形状を形成することを、「可動式ピン２１を立たせる」とも表現する。また、表示制御部１０３は、後述するように、学習支援モードでは、学習対象文字Ｌｔａｇ以外の文字の点字表示を行わない。
【００３５】
音声制御部１０４は、学習支援モード中に、音声情報を参照し、学習対象文字Ｌｔａｇに対応する音声データをスピーカ１８により出力する。
【００３６】
点字表示部１０は、上述したように、可動式ピン２１を昇降させて凸形状を形成することにより点字表示や位置関係適否表示などを行う。
【００３７】
（点字表示部の構成）
次に、点字表示部１０の構成について図４を用いて説明する。図４は、点字表示部１０の平面図を示す。
【００３８】
点字表示部１０は、計６４個の可動式ピン２１が配置される。可動式ピン２１は２列４行の計８個で１つの単位点字表示部２２を構成する。従って、点字表示部１０は、合計８つの単位点字表示部２２Ｌ、２２Ａ乃至２２Ｆ、２２Ｒが横並びに配置されている。
【００３９】
このうち、単位点字表示部２２Ａ乃至２２Ｆは、点字を表示する部分に相当する。具体的には、単位点字表示部２２Ａ乃至２２Ｆは、各々が８個の可動式ピン２１を昇降し、凸形状を形成することにより点字を表示する。そして、単位点字表示部２２Ａ乃至２２Ｆは、１つ又は２つで１文字を表す。以後では、単位点字表示部２２Ａ乃至２２Ｆに配置された可動式ピン２１を、「第１ピン」と称す。また、単位点字表示部２２Ａ乃至２２Ｆにより表現される１または複数の文字を「点字対象文字」と呼ぶ。
【００４０】
一方、単位点字表示部２２Ｌ、２２Ｒは、可動式ピン２１の全部または一部を突出させることで、文字の有無の表示又は位置関係適否表示を行う。これにより、単位点字表示部２２Ｌ、２２Ｒは、読み取る対象となる文字列をカメラ１５により適切に撮像させ、利用者によるハンドヘルド点字変換装置１の移動操作の誘導を行う。以後では、単位点字表示部２２Ｌ、２２Ｒに配置された可動式ピン２１を、「第２ピン」と呼ぶ。例えば、表示制御部１０３は、利用者がハンドヘルド点字変換装置１に置いた指に対して、ハンドヘルド点字変換装置１の移動方向を修正したい方向に位置する第２ピンを立たせると共に、他の方向に位置する第２ピンを下げる。
【００４１】
［学習支援モード］
次に、学習支援モードについて詳しく説明する。概略的には、ハンドヘルド点字変換装置１は、点字表示中に撮影画像が所定時間幅以上変動しない場合、学習支援モードを行う。そして、学習支援モードでは、ハンドヘルド点字変換装置１は、点字表示中の文字のうち、中央に位置する文字を学習対象文字Ｌｔａｇに指定し、学習対象文字Ｌｔａｇのみを点字表示すると共に、学習対象文字Ｌｔａｇを音声出力する。これにより、ハンドヘルド点字変換装置１は、利用者の操作を阻害することなく、利用者の意図に即したタイミングで学習支援を実行することができる。
【００４２】
これについて図５を参照して具体的に説明する。図５は、学習支援モードの前後における可動式ピン２１の状態を示す図である。具体的には、図５（ａ）は、学習支援モードの直前の可動式ピン２１の状態を示し、図５（ｂ）は、学習支援モードでの可動式ピン２１の状態を示し、図５（ｃ）は、学習支援モード実行後の可動式ピン２１の状態を示す。
【００４３】
まず、図５（ａ）に相当する学習支援モードの直前では、文字認識部１０１は、カメラ１５から受信した撮影画像から文字「ａ」〜「ｆ」の認識を行い、点字変換部１０２は、各文字を点字定義情報に基づいて点字に変換する。そして、表示制御部１０３は、図５（ａ）に示すように、撮影画像中に存在する「ａ」〜「ｆ」の文字を点字表示する。具体的には、表示制御部１０３は、単位点字表示部２２Ａの第１行目かつ第１列目の第１ピンを上げることで「ａ」を表現し、単位点字表示部２２Ｂの第１列目の第１行目及び第２行目の２つの第１ピンを上げることで「ｂ」を表現し、以下同様に単位点字表示部２２Ｃ〜２２Ｆによりそれぞれ「ｃ」〜「ｆ」を表現している。また、表示制御部１０３は、単位点字表示部２２Ｌの第１行目及び第４行目の計４つの第２ピン及び単位点字表示部２２Ｒの第１行目及び第４行目の計４つの第２ピンをそれぞれ上げることで、撮影画像中に文字が存在し、かつ、当該文字を認識可能である旨を利用者に示している。
【００４４】
そして、表示制御部１０３は、点字表示中では、撮影画像が変化していない時間幅（以後、「停止時間幅Ｔｗ」と呼ぶ。）を計測する。これにより、表示制御部１０３は、ハンドヘルド点字変換装置１が停止している時間幅を推測する。例えば、表示制御部１０３は、周知の画像認識技術に基づき、連続して取得された撮影画像間で、各画素の値が一致又は近似していた場合撮影画像の変化がないと判断する。他の例では、表示制御部１０３は、点字表示対象文字列が前後の撮影画像で一致している場合、撮影画像が変化していないと判断する。そして、表示制御部１０３は、これらの例に基づき、撮影画像が変化していないと判断される時間幅を停止時間幅Ｔｗとして計測する。
【００４５】
そして、表示制御部１０３は、停止時間幅Ｔｗが所定の閾値（以後、「閾値Ｔｗｔｈ」と呼ぶ。）以上になった場合、学習支援モードを実行する。ここで、閾値Ｔｗｔｈは、例えば１秒に設定され、具体的には、利用者が点字表示を読み取れない場合にハンドヘルド点字変換装置１の操作を停止する時間幅の下限値等に実験等に基づき予め設定される。
【００４６】
学習支援モードでは、表示制御部１０３は、点字対象文字のうち、点字表示部１０３の中心に最も近い位置に表示される文字（「中央文字」とも呼ぶ。）のみを学習対象文字Ｌｔａｇとして表示する。ここで、中央文字は、点字表示を行う単位点字表示部２２Ａ乃至２２Ｆのうち、中央に位置する単位点字表示部２２Ｃ又は／及び２２Ｄが表示する文字である。図５（ｂ）では、表示制御部１０３は、単位点字表示部２２Ｃの第１列目の２つの第１ピンを立たせることで中央文字の１つである「ｃ」を学習対象文字Ｌｔａｇとして点字表示すると共に、単位点字表示部２２Ａ、２２Ｂ、２２Ｄ〜２２Ｆの第１ピンを全て下げている。また、これと同時に、音声制御部１０４は、学習対象文字Ｌｔａｇである文字「ｃ」をスピーカ１８により音声出力する。これにより、ハンドヘルド点字変換装置１は、学習対象文字Ｌｔａｇの呼称と、その点字表示とを対応付けて利用者に知らせることができる。なお、好適には、音声制御部１０４は、停止時間幅Ｔｗが閾値Ｔｗｔｈに達し、学習対象文字Ｌｔａｇのみが点字表示されたタイミングで１度のみ学習対象文字Ｌｔａｇの音声出力を行う。
【００４７】
そして、表示制御部１０３は、学習支援モードに移行した後、撮影画像が再び変化した場合、学習支援モードを終了し、図５（ｃ）に示すように、通常の点字表示を行う。具体的には、文字認識部１０１は、変化後の撮影画像から点字対象文字（ここでは、「ａ」〜「ｆ」とする。）を認識し、点字変換部１０２は、各点字対象文字を点字定義情報に基づいて点字に変換する。そして、表示制御部１０３は、図５（ｃ）に示すように、変化後の撮影画像中に存在する「ａ」〜「ｆ」の文字を点字表示する。
【００４８】
次に、学習対象文字Ｌｔａｇが点字表示に２の単位点字表示部２２を必要とする場合について図６を参照して説明する。
【００４９】
図６（ａ）は、点字対象文字が「ａ」、「ｂ」、「８」、「ｅ」、「ｆ」の場合であって学習支援モード直前の可動式ピン２１の状態を示す。この場合、表示制御部１０３は、単位点字表示部２２Ａにより「ａ」を表現し、単位点字表示部２２Ｂにより「ｂ」を表現し、単位点字表示部２２Ｃ、２２Ｄにより「８」を表現し、単位点字表示部２２Ｅ、２２Ｆによりそれぞれ「ｅ」、「ｆ」を表現している。
【００５０】
図６（ｂ）は、図６（ａ）の状態から停止時間幅Ｔｗが閾値Ｔｗｔｈ以上となった場合の可動式ピン２１の状態を示す。上述したように、ハンドヘルド点字変換装置１は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上になった場合、学習支援モードを開始する。従って、この場合、表示制御部１０３は、点字対象文字の中央文字にあたる「８」のみを学習対象文字Ｌｔａｇとして単位点字表示部２２Ｃ、２２Ｄにより点字表示する。これにより、図６（ｂ）では、単位点字表示部２２Ａ、２２Ｂ、２２Ｅ、２２Ｆの第１ピンは全て下げられている。また、これと同時に、音声制御部１０４は、学習対象文字Ｌｔａｇである文字「８」をスピーカ１８により音声出力する。これにより、ハンドヘルド点字変換装置１は、学習対象文字Ｌｔａｇの呼称と、学習対象文字Ｌｔａｇの点字表示とを明確に対応付けて利用者に知らせることができる。
【００５１】
図６（ｃ）は、学習支援モードに移行した後、撮影画像が再び変化した場合の可動式ピン２１の状態を示す。図６（ｃ）に示すように、ハンドヘルド点字変換装置１は、図６（ｂ）の状態から撮影画像が再び変化した場合、学習支援モードを終了し、再び撮影画像から認識した文字の点字表示を行う。
【００５２】
［処理フロー］
次に、本実施例の学習支援モードの処理手順について図７を参照して説明する。図７は、ＣＰＵ１１が実行する学習支援モードの処理手順を示すフローチャートの一例である。ＣＰＵ１１は、図７に示す処理を所定の周期に従い繰り返し実行する。
【００５３】
ユーザは、点字表示したい文字が存在する印刷物等の上にハンドヘルド点字変換装置１を置いて、点字変換を開始するスイッチをＯＮにする（ステップＳ１）。カメラ１５は、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し（ステップＳ２）、撮影画像を文字認識部１０１に送信する。
【００５４】
次に、表示制御部１０３は、点字表示中であるか否か判定する（ステップＳ３）。そして、表示制御部１０３は、点字表示中であると判断した場合（ステップＳ３；Ｙｅｓ）、ステップＳ４へ処理を進める。一方、表示制御部１０３は、点字表示中ではないと判断した場合（ステップＳ３：Ｎｏ）、ステップＳ５へ処理を進める。
【００５５】
次に、ステップＳ４では、文字認識部１０１は、撮影画像に変化があるか否か判定する（ステップＳ４）。そして、文字認識部１０１は、撮影画像に変化があると判断した場合（ステップＳ４；Ｙｅｓ）、撮影画像に文字が存在するか否か判定する（ステップＳ５）。そして、文字認識部１０１が撮影画像に文字があると判断した場合には（ステップＳ５；Ｙｅｓ）、表示制御部１０３は、撮影画像中の中央文字の前後６セル分の点字表示を行う（ステップＳ６）。ここで、中央文字は、上述したように、点字表示部１０３の中心に最も近い文字である。一方、文字認識部１０１は、撮影画像に文字が存在しないと判断した場合（ステップＳ５；Ｎｏ）、ステップＳ１１へ処理を進める。
【００５６】
一方、表示制御部１０３は、撮影画像に変化がないと判断した場合（ステップＳ４；Ｎｏ）、音声を出力済みであるか否か判定する（ステップＳ７）。即ち、表示制御部１０３は、撮影画像に変化がない状態で、後述するステップＳ９の処理を実行済みであるか否か判定する。そして、表示制御部１０３は、音声を出力済みでないと判断した場合（ステップＳ７；Ｙｅｓ）、点字の表示を継続する。これにより、表示制御部１０３は、音声出力が続けて実行されるのを防ぐ。
【００５７】
次に、表示制御部１０３は、音声を出力済みではないと判断した場合（ステップＳ７；Ｎｏ）、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上か否か判定する（ステップＳ８）。そして、表示制御部１０３は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上の場合（ステップＳ８；Ｙｅｓ）、中央文字のみ点字表示し、かつ、音声制御部１０４は、中央文字の音声出力を行う（ステップＳ９）。即ち、この場合、ハンドヘルド点字変換装置１は、学習支援モードに移行し、中央文字を学習対象文字Ｌｔａｇに指定して点字表示及び音声出力を行う。また、表示制御部１０３は、中央文字に対応する単位点字表示部２２以外の単位点字表示部２２の第１ピンを全て下げる。これにより、ハンドヘルド点字変換装置１は、音声出力する文字と、その点字表示とを明確に対応付けて利用者に学習させることができる。
【００５８】
一方、停止時間幅Ｔｗが閾値Ｔｗｔｈ未満である場合（ステップＳ８；Ｎｏ）、表示制御部１０３は、点字の表示を継続する（ステップＳ１０）。即ち、この場合には、ハンドヘルド点字変換装置１は、学習支援モードに移行せず、点字対象文字の全ての点字表示を継続して行い、ステップＳ４へ処理を戻す。
【００５９】
次に、ハンドヘルド点字変換装置１は、ステップＳ１のスイッチがＯＦＦになったか否かを判定する（ステップＳ１１）。そして、ハンドヘルド点字変換装置１は、当該スイッチがＯＦＦになっていない場合（ステップＳ１１；Ｎｏ）、ステップＳ２へ処理を戻す。当該スイッチがＯＦＦになった場合（ステップＳ１１；Ｙｅｓ）、ハンドヘルド点字変換装置１は点字変換の処理を終了する。
【００６０】
［効果］
次に、上述の実施例の効果についてさらに補足説明する。利用者は、ハンドヘルド点字変換装置１を用いることで、点字の基本的な読み方を学習した後、容易に点字を活用することができる。例えば、利用者は、解読できない文字（以後、「解読不能文字」とも呼ぶ。）が点字表示された場合には、当該装置を一定時間停止させることで、解読不能文字の点字表示と、解読不能文字の称呼とを同時に把握することができる。従って、利用者は、文書を点字により閲覧しつつ、文字と点字との関係を習得することができる。
【００６１】
また、学習支援モードは、停止時間幅Ｔｗが閾値Ｔｗｔｈに達した場合のみ実行される。従って、利用者は、文書中の文字列に沿ってハンドヘルド点字変換装置１を移動させることで当該文書を閲覧する場合に、不要に操作を阻害されることがない。また、ハンドヘルド点字変換装置１は、学習支援モード時に、音声情報を参照し、スピーカ１８により学習対象文字Ｌｔａｇを音声出力する。従って、ハンドヘルド点字変換装置１は、文字又は文字列の意味を解釈する必要がなく、低コストにより製作可能である。また、ハンドヘルド点字変換装置１は、停止時間幅Ｔｗが閾値Ｔｗｔｈに達するまで音声出力をしないことで、停止中に利用者が自分で解読出来るか挑戦する気持ちを育成することができ、結果として点字の習得を促進させることができる。
【００６２】
次に、中央文字を学習対象文字Ｌｔａｇに指定する主な理由を２つ挙げる。
【００６３】
まず、第１の理由について説明する。一般に、利用者は、所定の文書を閲覧しているとき、解読不能文字を見つけると、次の様に操作すると推定される。この場合、利用者は、すぐ解読不能文字にハンドヘルド点字変換装置１を停止させるのではなく、その先の文字まで読んで、解読不能文字を両側の周辺の文字から推測出来るか試みる。これは、解読不能文字の片側に存在する文字から解読不能文字を推測するより、解読不能文字の両側にある文字から解読不能文字を推測する方が解読不能文字を推測しやすいことに基づく。そして、利用者は、解読不能文字を見つけると、解読不能文字を前後の文字から解読する動作をした後、解読できなかった場合には諦めてハンドヘルド点字変換装置１を停止させることが推測される。
【００６４】
また、解読不能文字が複数の単位点字表示部２２に対応する場合も、利用者は、解読不能文字を表す単位点字表示部２２を特定するために、解読不能文字が点字表示の中央付近にくるまでハンドヘルド点字変換装置１を文字列に沿って動かすことが推定される。
【００６５】
以上のように、利用者は、解読不能文字を見つけると、自然的に、解読不能文字が撮影画像の中央に近い位置になるようにハンドヘルド点字変換装置１を操作することが推測される。
【００６６】
次に、第２の理由について説明する。基本的に点字では、１文字の点字対象文字は、原則的に１つの単位点字表示部２２で表現されるが、例外的に２つの単位点字表示部２２や３つの単位点字表示部２２で表現される場合がある。例えば、点字対象文字が略語の場合などがこの場合に該当する。
【００６７】
従って、仮に、中央文字以外の点字対象文字が学習対象文字Ｌｔａｇに設定され、かつ、当該点字対象文字が複数の単位点字表示部２２で表現される場合、当該学習対象文字Ｌｔａｇは、表現される単位点字表示部２２の個数が不足した状態で不完全に点字表示される可能性がある。この場合、ハンドヘルド点字変換装置１は、学習対象文字Ｌｔａｇが適切な単位点字表示部２２の個数により点字表示されるように、学習対象文字Ｌｔａｇと単位点字表示部２２との対応をずらして点字表示する必要がある。従って、この場合、ハンドヘルド点字変換装置１は、利用者に戸惑いを与え、操作性を損なう可能性がある。
【００６８】
以上を勘案し、ハンドヘルド点字変換装置１は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上の場合、中央文字を学習対象文字Ｌｔａｇに設定する。これにより、ハンドヘルド点字変換装置１は、解読不能文字を学習対象文字Ｌｔａｇに指定し、利用者の解読不能文字の点字表示の習得を促進させることができる。
【００６９】
また、ハンドヘルド点字変換装置１は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上の場合に、学習対象文字Ｌｔａｇを中央文字のみに限定することで、利用者の過度な音声出力による解読への依存を抑制し、利用者の点字学習の上達を促進することができる。即ち、ハンドヘルド点字変換装置１は、学習対象文字Ｌｔａｇを中央文字のみに限定することで、利用者に点字での読み取りを促進させることができる。
【００７０】
［変形例］
次に、本実施例の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用することができる。
【００７１】
（変形例１）
図１では、ハンドヘルド点字変換装置１は、スピーカ１８を備えていた。しかし、本発明が適用可能な構成は、これに限定されない。これに代えて、ハンドヘルド点字変換装置１は、外付けのスピーカと接続可能なインターフェースを備えてもよい。この場合、ハンドヘルド点字変換装置１は、上述のインターフェースに外付けのスピーカが接続されていた場合には、停止時間幅Ｔｗに基づき学習支援モードを実行する。一方、ハンドヘルド点字変換装置１は、上述のインターフェースに外付けのスピーカが接続されていない場合には、停止時間幅Ｔｗによらず学習支援モードを実行しない。これにより、スピーカの接続の有無に応じて自動的に学習モードのＯＮ／ＯＦＦを切り換えることができる。
【００７２】
（変形例２）
表示制御部１０３は、（点字表示部の構成）の説明に加え、第２ピンを立たせる際に、素早く上下に震動させてもよい。これにより、表示制御部１０３は、利用者が第１ピンによる点字表示と第２ピンによる位置関係適否表示とを混同するのを防ぐことができる。
【００７３】
（変形例３）
上述のフローチャート等の説明では、音声制御部１０４は、停止時間幅Ｔｗが閾値Ｔｗｔｈ以上の場合に音声出力を１回限り実行した。これに代えて、音声制御部１０４は、音声出力を行った場合に停止時間幅Ｔｗの計測タイマーを初期化し、初期化後停止時間幅Ｔｗだけ経過したときに音声出力を再び実行してもよい。従って、この場合、音声制御部１０４は、音声出力を複数回実行してもよい。
【符号の説明】
【００７４】
１ ハンドヘルド点字変換装置
１０ 点字表示部
１１ ＣＰＵ
１４ 電源
１５ カメラ
１６ レンズ
１７ 照明用ＬＥＤ
１８ スピーカ
１９ システムコントローラ
１０１ 文字認識部
１０２ 点字変換部
１０３ 表示制御部
１０４ 音声制御部
【特許請求の範囲】
【請求項１】
利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、
前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、
前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、
前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、
前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、
前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、
前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段と、
を備えることを特徴とするハンドヘルド点字変換装置。
【請求項２】
前記表示制御手段は、前記撮影画像が所定時間幅以上変化しない場合、前記音声制御手段が音声出力する文字に対応する点字を前記点字表示部に表示させ、前記音声制御手段が音声出力する文字以外の文字に対応する点字を前記点字表示部に表示させないことを特徴とする請求項１に記載のハンドヘルド点字変換装置。
【請求項３】
前記所定の点字は、前記点字表示部の中心に最も近い位置で表示される点字であることを特徴とする請求項１または２に記載のハンドヘルド点字変換装置。
【請求項４】
前記表示制御手段は、前記撮影画像が所定時間幅以上変化しない状態から前記撮影画像が変化した場合、前記点字変換手段が変換した点字を前記点字表示部に表示を再開させることを特徴とする請求項２に記載のハンドヘルド点字変換装置。
【請求項５】
利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、
前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、
前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、
前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、
前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御工程と、
を備えることを特徴とする点字変換方法。
【請求項６】
利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置に搭載され実行されるプログラムであって、
前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段、
前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、
前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、
前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段、
として前記ハンドヘルド点字変換装置を機能させることを特徴とするプログラム。
【請求項１】
利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、
前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、
前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、
前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、
前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、
前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、
前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段と、
を備えることを特徴とするハンドヘルド点字変換装置。
【請求項２】
前記表示制御手段は、前記撮影画像が所定時間幅以上変化しない場合、前記音声制御手段が音声出力する文字に対応する点字を前記点字表示部に表示させ、前記音声制御手段が音声出力する文字以外の文字に対応する点字を前記点字表示部に表示させないことを特徴とする請求項１に記載のハンドヘルド点字変換装置。
【請求項３】
前記所定の点字は、前記点字表示部の中心に最も近い位置で表示される点字であることを特徴とする請求項１または２に記載のハンドヘルド点字変換装置。
【請求項４】
前記表示制御手段は、前記撮影画像が所定時間幅以上変化しない状態から前記撮影画像が変化した場合、前記点字変換手段が変換した点字を前記点字表示部に表示を再開させることを特徴とする請求項２に記載のハンドヘルド点字変換装置。
【請求項５】
利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、
前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、
前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、
前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、
前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御工程と、
を備えることを特徴とする点字変換方法。
【請求項６】
利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、を備えるハンドヘルド点字変換装置に搭載され実行されるプログラムであって、
前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段、
前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、
前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、
前記点字表示部が点字を表示中に、前記撮影画像が所定時間幅以上変化しない場合、前記点字表示部が表示する所定の点字に対応する文字の音声出力を行う音声制御手段、
として前記ハンドヘルド点字変換装置を機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−４２８２３（Ｐ２０１２−４２８２３Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８５３８６（Ｐ２０１０−１８５３８６）
【出願日】平成２２年８月２０日（２０１０．８．２０）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月２０日（２０１０．８．２０）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
[ Back to top ]