辞書機能を備えた電子機器およびプログラム
【課題】撮影画像に含まれる調べたい文字が、特殊な態様で書かれていたり字形が崩れていたりした場合でも、正しく文字認識させて同文字に対応する辞書情報を検索することが可能になる辞書機能を備えた電子機器を提供する。
【解決手段】ユーザが撮影した例えばノートや案内板などの画像データGをタッチパネル式表示部(メイン画面)16に表示させ、当該画像データGに含まれる任意の文字列「恒星」について、その一部の文字「恒」が汚れや字形の崩れにより「明」と誤認識された場合でも、当該誤認識された文字「恒」の画像を手書き入力部(サブ画面)15に表示させ、手書きで上書きして正しく再認識させ、容易に内蔵の辞書で見出し語検索しその説明情報Hを表示させることができる。
【解決手段】ユーザが撮影した例えばノートや案内板などの画像データGをタッチパネル式表示部(メイン画面)16に表示させ、当該画像データGに含まれる任意の文字列「恒星」について、その一部の文字「恒」が汚れや字形の崩れにより「明」と誤認識された場合でも、当該誤認識された文字「恒」の画像を手書き入力部(サブ画面)15に表示させ、手書きで上書きして正しく再認識させ、容易に内蔵の辞書で見出し語検索しその説明情報Hを表示させることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザ入力された検索語と一致する見出し語を検索し当該見出し語の説明情報を表示する辞書機能を備えた電子機器およびその制御プログラムに関する。
【背景技術】
【0002】
外出先の案内板や手書きのノートなどを撮影し、後にその撮影画像を見て同案内板やノートに書かれた内容を調べようとすることがある。
【0003】
撮影された画像に含まれる文字を文字認識によりテキスト化し、この文字と一致する見出し語を内蔵の辞書から検索してその意味を表示する携帯情報機器が考えられている(例えば、特許文献1参照。)。
【0004】
さらに、撮影された画像を画像認識し、当該画像に対応する文字に変換して表示すること、例えば富士山の写真画像を「富士山」の文字に変換することが可能なカメラ付き携帯情報端末も考えられている(例えば、特許文献2参照。)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−301914号公報
【特許文献2】特開2005−316912号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、撮影の対象となる前記案内板やノート等に書かれている文字が、一般的でない特殊な態様で書かれていたり、汚れや劣化などにより字形が崩れていたりした場合、撮影画像から当該文字を上手く認識することができず、その文字に対応する辞書情報を検索できない。
【0007】
本発明は、このような課題に鑑みなされたもので、撮影画像に含まれる調べたい文字が、特殊な態様で書かれていたり字形が崩れていたりした場合でも、正しく文字認識させて同文字に対応する辞書情報を検索することが可能になる辞書機能を備えた電子機器およびその制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
請求項1に記載の辞書機能を備えた電子機器は、タッチパネル式の表示画面を有し辞書機能を備えた電子機器であって、画像データを取り込む画像取り込み手段と、この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させる画像表示手段と、この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段と、この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第2の表示画面に表示させる選択画像表示手段と、この選択画像表示手段により前記タッチパネル式の第2の表示画面に前記選択された画像パターンが表示された状態で、当該第2の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段と、この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段と、を備えたことを特徴としている。
【0009】
請求項2に記載の辞書機能を備えた電子機器は、前記請求項1に記載の辞書機能を備えた電子機器において、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報と対応付けて登録する検索履歴登録手段と、前記画像表示手段により前記取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させた際に、当該画像データに対応付けて前記検索履歴登録手段により辞書の検索情報が登録されているかを判断する履歴有り判断手段と、この履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンの位置情報に対応する位置に履歴有りマークを表示させるマーク表示手段と、このマーク表示手段により表示された履歴有りマークの位置がタッチされた際に、当該タッチ位置に対応付けて登録された前記辞書の検索情報に基づく見出し語の説明情報を、前記タッチパネル式の第2の表示画面に表示させる説明情報表示手段と、を備えたことを特徴としている。
【0010】
請求項3に記載の辞書機能を備えた電子機器は、前記請求項2に記載の辞書機能を備えた電子機器において、前記検索履歴登録手段は、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報および前記文字認識手段により認識した手書き文字と対応付けて登録し、前記履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンを、当該画像パターンの位置情報に対応付けて登録された前記手書き文字に置き換えて表示させる置き換え表示手段をさらに備えたことを特徴としている。
【0011】
請求項4に記載の辞書機能を備えた電子機器は、前記請求項1ないし請求項3の何れか1項に記載の辞書機能を備えた電子機器において、前記タッチパネル式の第1の表示画面と第2の表示画面とは、それぞれ独立した表示部として構成されることを特徴としている。
【0012】
請求項5に記載のプログラムは、タッチパネル式の表示画面を有し辞書機能を備えた電子機器のコンピュータを制御するためのプログラムであって、前記コンピュータを、画像データを取り込む画像取り込み手段、この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させる画像表示手段、この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段、この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第2の表示画面に表示させる選択画像表示手段、この選択画像表示手段により前記タッチパネル式の第2の表示画面に前記選択された画像パターンが表示された状態で、当該第2の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段、この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段、として機能させることを特徴としている。
【発明の効果】
【0013】
本発明によれば、撮影画像に含まれる調べたい文字が、特殊な態様で書かれていたり字形が崩れていたりした場合でも、正しく文字認識させて同文字に対応する辞書情報を検索することが可能になる辞書機能を備えた電子機器およびその制御プログラムを提供できる。
【図面の簡単な説明】
【0014】
【図1】本発明の辞書機能を備えた電子機器の実施形態に係るカメラ付き電子辞書装置10の外観構成を示す正面図。
【図2】前記電子辞書装置10の電子回路の構成を示すブロック図。
【図3】前記電子辞書装置10の履歴データメモリ22dに登録された検索履歴データの内容を示す図。
【図4】前記電子辞書装置10による画像取り込み処理を示すフローチャート。
【図5】前記電子辞書装置10による画像読み出し処理を示すフローチャート。
【図6】前記電子辞書装置10の画像読み出し処理に伴う辞書表示処理を示すフローチャート。
【図7】前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その1)を示す図。
【図8】前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その2)を示す図。
【図9】前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その3)を示す図。
【図10】前記電子辞書装置10の画像読み出し処理に伴う画像表示処理を示すフローチャート。
【図11】前記電子辞書装置10の画像表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作を示す図。
【発明を実施するための形態】
【0015】
以下図面により本発明の実施の形態について説明する。
【0016】
図1は、本発明の辞書機能を備えた電子機器の実施形態に係るカメラ付き電子辞書装置10の外観構成を示す正面図である。
【0017】
この電子辞書装置10は、以下に説明する電子辞書専用の携帯機器として構成されるか、辞書機能を備えたPDA(personal digital assistants)、PC(personal computer)、携帯電話、電子ブック、携帯ゲーム機等として構成される。
【0018】
この電子辞書装置10は、その本体ケース11と蓋体ケース12とがヒンジ部13を介して展開/閉塞可能な折り畳み型ケースを備えて構成される。この折り畳み型ケースを展開した本体ケース11の表面には、文字入力キー14a、辞書指定キー14b、[訳/決定]キー14c、[戻る]キー14d、カーソルキー14e、[撮影]キー14f、[画像]キー14g、[辞書]キー14hなどを備えたキー入力部(キーボード)14、および手書き入力部(サブ画面)15が備えられる。
【0019】
この手書き入力部(サブ画面)15は、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、キー入力部14の中央手前側において例えば256×64ドットのカラー液晶表示画面15dに透明タッチパネル15tを重ねて構成される。この手書き入力部15の入力領域は、必要に応じて、手書き文字を入力するための手書き文字入力領域W(図8・図9参照)や各種機能のボタン入力領域、あるいは当該各入力領域が混在する領域に切り替えられる。
【0020】
そして、前記手書き入力部15が手書き文字入力領域に切り替えられた状態での手書き入力に伴う軌跡はそのカラー液晶表示画面15dにエコーバックして表示される。
【0021】
また、前記本体ケース11の裏面には撮像部17が設けられ、この撮像部17は、前記[撮影]キー14fの操作に応じて撮像動作する。
【0022】
一方、前記蓋体ケース12の表面には、そのほぼ全面を対象に例えば480×320ドットのバックライト付きのタッチパネル式表示部(メイン画面)16が設けられる。このタッチパネル式表示部(メイン画面)16も、前記手書き入力部(サブ画面)15と同様に、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、そのカラー液晶表示画面16dに透明タッチパネル16tを重ねて構成される。
【0023】
図2は、前記電子辞書装置10の電子回路の構成を示すブロック図である。
【0024】
この電子辞書装置10は、各種の記憶媒体に記録されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、CPU(central processing unit)21が備えられる。
【0025】
CPU21は、主記憶装置22内に予め記憶された装置制御プログラム22a、あるいはROMカードなどの外部記憶媒体23から記憶媒体読み書き部24を介して前記主記憶装置22に読み込まれた装置制御プログラム22a、あるいはインターネットN上のWebサーバ(この場合はプログラムサーバ)30から外部インターフェイス25を介して前記主記憶装置22に読み込まれた装置制御プログラム22aに応じて、RAM26を作業用メモリとして回路各部の動作を制御する。
【0026】
主記憶装置22には、前記装置制御プログラム22a、辞書データベース22bが記憶され、画像データメモリ22c、履歴データメモリ22d、手書きデータメモリ22eなどが確保される。
【0027】
主記憶装置22に記憶された装置制御プログラム22aは、キー入力部14、手書き入力部15、タッチパネル式表示部16からのユーザ操作に応じた入力信号、あるいは外部インターフェイス25を介して接続されるインターネットN上の各Webサーバ30…との通信信号に応じて起動される。
【0028】
前記装置制御プログラム22aとしては、当該電子辞書装置10の全体の動作を司るシステムプログラムや外部インターフェイス25を介してインターネットN上の各Webサーバ30…や図示しないユーザPC(Personal Computer)などとデータ通信するための通信プログラムが記憶される。
【0029】
また他に、辞書機能における見出し語検索処理、検索見出し語の一覧表示処理、ユーザ指定の見出し語に対応する訳語・意味内容・例文(用例)などの各種説明情報の読み出し表示処理など、辞書データベース22bに基づく検索・表示処理全般を制御するための辞書検索プログラムが記憶される。
【0030】
さらに、前記装置制御プログラム22aとしては、前記[撮影]キー14fの入力に応じて撮像部17により撮影された画像データを保存するための画像取り込みプログラム(図4参照)、保存された複数の画像データの中から任意に選択した画像データを読み出してタッチパネル式表示部(メイン画面)16に表示させるための画像読み出しプログラム(図5参照)、前記タッチパネル式表示部(メイン画面)16に表示された画像データの中から任意に選択した文字の画像を文字認識し、認識された文字を検索語として辞書から検索した情報を手書き入力部(サブ画面)15に表示させるための辞書表示プログラム(図6参照)、この辞書表示プログラムに従い辞書検索した履歴のある画像データを前記タッチパネル式表示部(メイン画面)16に表示させた場合に、検索済みの辞書情報を読み出して手書き入力部(サブ画面)15に表示させるための画像表示プログラム(図10参照)も記憶される。
【0031】
辞書データベース22bには、例えば日本語の見出し語に対応付けて日本語の説明情報が記述された[国語辞書]、英語の見出し語に対応付けて日本語の説明情報が記述された[英和辞書]、日本語の見出し語に対応付けて英語の説明情報が記述された[和英辞書]など、複数種類の辞書データが予め記憶されるかあるいはダウンロードされて記憶される。
【0032】
画像データメモリ22cには、撮像部17により撮像された画像データや外部から読み込まれた画像データが記憶される。
【0033】
履歴データメモリ22dには、前記画像読み出しプログラム(図5参照)および前記辞書表示プログラム(図6参照)に従い、前記画像データメモリ22cから読み出された画像データの中で任意に選択した文字の画像を文字認識し、認識された文字を検索語として辞書情報を検索し表示させた際に、当該画像データの選択された文字の位置と対応付けてその検索履歴が登録される。
【0034】
手書きデータメモリ22eには、前記画像データからの選択された文字の文字認識における誤認識または認識不可に応じて、同選択された文字を手書き入力し再認識した際に、当該画像データの選択された文字の位置と対応付けてその手書き文字が登録される。
【0035】
RAM26には、タッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15それぞれのフレームバッファとして機能する表示データメモリ26aが備えられる。
【0036】
このように、前記CPU21には、前記主記憶装置22、記憶媒体読み書き部24、外部インターフェイス25、RAM26、キー入力部14、手書き入力部15、タッチパネル式表示部16、撮像部17が接続される。
【0037】
図3は、前記電子辞書装置10の履歴データメモリ22dに登録された検索履歴データの内容を示す図である。
【0038】
すなわち、前記履歴データメモリ22dに登録される検索履歴データとしては、辞書情報の検索対象とした文字を含む画像データのIDと同画像データの中での検索文字の位置情報、検索に使用した辞書の種類と見出し語、検索対象とした文字を手書き文字にして再認識している場合の同手書き文字の登録先が記憶される。
【0039】
このように構成されたカメラ付き電子辞書装置10は、CPU21が前記装置制御プログラム22a(画像取り込みプログラム/画像読み出しプログラム/辞書表示プログラム/画像表示プログラムを含む)に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。
【0040】
次に、前記構成のカメラ付き電子辞書装置10の動作について説明する。
【0041】
図4は、前記電子辞書装置10による画像取り込み処理を示すフローチャートである。
【0042】
[撮影]キー14fが長押しされるとカメラモードになり、撮像部17により撮像される画像がタッチパネル式表示部(メイン画面)16に表示される。
【0043】
ここで、前記[撮影]キー14fが押されると、そのキー押下の都度、前記撮像部17により撮像されている被写体が撮影され(ステップA1)、撮影された画像データが画像データメモリ22cに記憶されて保存される(ステップA2)。
【0044】
本実施形態において、電子辞書装置10のユーザは、例えば手書きのノートの重要な部分や歴史案内板の興味ある案内文を撮影して保存する。
【0045】
図5は、前記電子辞書装置10による画像読み出し処理を示すフローチャートである。
【0046】
図6は、前記電子辞書装置10の画像読み出し処理に伴う辞書表示処理を示すフローチャートである。
【0047】
図7は、前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その1)を示す図である。
【0048】
[画像]キー14gが押下されると、図5における画像読み出し処理が起動され、画像データメモリ22cに保存されている各画像データが、例えばインデックス表示、サムネイル表示、カーソルキー14eの押下に応じた切り替え表示により選択可能な状態になる(ステップB1)。
【0049】
ここで、任意の画像が選択されて[訳/決定]キー14cが押下されると、例えば図7に示すように、選択された画像データGがタッチパネル式表示部(メイン画面)16に表示される(ステップB2)。
【0050】
すると、表示された画像データGに対応付けられた検索履歴データが履歴データメモリ22dに登録されているか否か判断され(ステップB3)、履歴データの登録ありと判断された場合には(ステップB3(Yes))、図10を参照して後述する画像表示処理へ移行される(ステップBC)。
【0051】
一方、前記表示された画像データGについて履歴データの登録なしと判断された場合には(ステップB3(No))、[辞書]キー14hが押下されたか否かが判断される(ステップB4)。
【0052】
以下、図7に示す手書きノートの画像を表示させた状態から、ノートに記載された文字を辞書で調べることを例として説明する。ユーザは前記表示された画像データGに含まれる所望の文字(例えば「恒星」)について辞書で調べたい場合には[辞書]キー14hを押下する。そして、[辞書]キー14hが押下されたと判断されると(ステップB4(Yes))、図6における辞書表示処理へ移行される(ステップBS)。
【0053】
辞書表示処理が起動されると、前記タッチパネル式表示部(メイン画面)16に表示されている画像データG上に、当該画像データG内の所望の文字を選択するための矩形の選択枠Sが表示される(ステップS1)。
【0054】
また、手書き入力部(サブ画面)15に対して、検索に使用する辞書の種類を指定するための辞書一覧Ldが表示される(ステップS2)。なお、この辞書一覧Ldは、同手書き入力部(サブ画面)15の右端に表示されたカーソルボタンBcのタッチに応じてスクロール可能であり、表示しきれない他の辞書の選択を可能にする。
【0055】
図8は、前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その2)を示す図である。
【0056】
図9は、前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その3)を示す図である。
【0057】
前記タッチパネル式表示部(メイン画面)16の画像データG上に表示された選択枠Sは、タッチ操作により同画面内で移動可能であると共に、矩形サイズを変更可能であり、ユーザは、同選択枠Sを、図8(A)(あるいは図9(A))に示すように、前記所望の文字「恒星」の位置に移動させて同文字「恒星」を囲んで選択する(ステップS3)。なお、画面上での文字部分の選択は、ユーザが直接ペン等により対象部分を囲むように線を引くことで行ってもよい。
【0058】
文字の選択後、前記手書き入力部(サブ画面)15に表示された辞書一覧Ldをタッチすることで、検索に使用する辞書の種類(例えば[百科辞典])が指定されると(ステップS4)、前記選択枠Sにより選択された文字「恒星」の画像パターンを対象に文字認識が実行され(ステップS5)、文字認識不可能か否(認識可能)か判断される(ステップS6)。
【0059】
そして、前記選択された文字「恒星」の画像パターンについて文字認識不可能ではない、つまり認識可能と判断されると(ステップS6(No))、当該文字認識された文字「恒星」と先頭一致する見出し語が、前記ステップS4にて指定された辞書[百科辞典]から検索され、図8(B)に示すように、手書き入力部(サブ画面)15に見出し語一覧Lmとして表示される(ステップS7)。
【0060】
ここで、見出し語一覧Lm[恒星/恒星雲/恒星磁場/…]から、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、再認識の必要なしと判断され(ステップS8(No))、図8(C)に示すように、当該選択された見出し語「恒星磁場」の説明情報Hが前記指定の辞書[百科辞典]から読み出され手書き入力部(サブ画面)15に表示される(ステップS9)。
【0061】
すると、前記タッチパネル式表示部(メイン画面)16に表示された画像データGのIDと同画像データG上での検索対象文字「恒星」の位置情報、指定の辞書の種類[百科辞典]と選択された見出し語「恒星磁場」が対応付けられた検索履歴が生成され、履歴データメモリ22dに登録される(ステップS10)。
【0062】
これにより、ユーザが撮影した例えばノートや案内板などの画像データGに含まれる任意の文字について、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データG上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報からなる検索履歴を登録することができる。
【0063】
一方、前記画像データG上で選択された文字「恒星」の画像パターンが、汚れなどによりその一部が欠けていたり字形が崩れたりしていて、「恒」の画像パターンが「明」と誤認識された場合には、図8(D)に示すように、見出し語一覧Lm[明星/明星学園/明星製菓/…]が表示される(ステップS7)。ユーザは見出し語一覧を見ることで誤認識されたことを知るので、再認識の指令を入力する。再認識の指令は、例えば見出し語表示中に行われる「辞書」キー14hの操作とする。そして、再認識の指令があった場合には、その後、当該誤認識された画像データG上の文字「恒」がタッチされて指定される(ステップS8(Yes)→S11)。
【0064】
すると、図8(E)に示すように、前記画像データG上で指定された一部欠落した文字「恒」の画像が手書き入力部(サブ画面)15の手書き文字入力領域Wに表示される(ステップS12)。
【0065】
この際、前記手書き入力部(サブ画面)15の手書き文字入力領域Wの左側には、同手書き文字入力領域Wに手書きされた文字の文字認識を指示するための[認識]ボタンBnと、手書きされた文字を消去して訂正するための[訂正]ボタンBtが表示される。
【0066】
ここで、前記手書き入力部(サブ画面)15の手書き文字入力領域Wに表示された一部が欠けている文字「恒」の画像パターンに対して、図8(F)に示すように、ユーザにより上書きにより「恒」の文字が書き直され前記[認識]ボタンBnがタッチされると(ステップS13)、入力された手書き文字「恒」が手書き文字認識される(ステップS14)。
【0067】
すると、この再認識された手書き文字「恒」によって訂正された認識文字「恒星」と先頭一致する見出し語が、前記ステップS4にて指定された辞書[百科辞典]から検索され、図8(B)に示すように、手書き入力部(サブ画面)15に見出し語一覧Lm[恒星/恒星雲/恒星磁場/…]として表示される(ステップS15)。
【0068】
そして、手書き入力部(サブ画面)15に表示された見出し語一覧Lmにおいて、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、図8(C)に示すように、当該選択された見出し語「恒星磁場」の説明情報Hが前記指定の辞書[百科辞典]から読み出され同手書き入力部(サブ画面)15に表示される(ステップS16)。
【0069】
ここで、前記ステップS14にて再認識した手書き文字「恒」を登録するか否かのユーザ判断を促すメッセージが表示され(ステップS17)、手書き文字の登録が指示されると(ステップS17(Yes))、当該手書き文字「恒」が手書きデータメモリ22eに登録される(ステップS18)。
【0070】
そして、前記タッチパネル式表示部(メイン画面)16に表示された画像データGのIDと同画像データG上での検索対象文字「恒星」の位置情報、指定の辞書の種類[百科辞典]と選択された見出し語「恒星磁場」、前記手書き文字「恒」の登録先が対応付けられた検索履歴が生成され、履歴データメモリ22dに登録される(ステップS10)。
【0071】
これにより、ユーザが撮影した例えばノートや案内板などの画像データGに含まれる任意の文字列について、その一部の文字が汚れや字形の崩れにより誤認識された場合でも、当該誤認識された文字を手書き入力して手書き認識により正しく再認識させ、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データG上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報と書き直した手書き文字の情報とからなる検索履歴を登録することができる。
【0072】
一方、前記画像データG上で選択された文字「恒星」の画像パターンについて、全体的な汚れや掠れなどによりその全体にわたり欠けがあったり全体の字形が特殊であったり、崩れたりしていて文字認識不可能と判断されると(ステップS6(Yes))、図9(B)に示すように、前記画像データG上で選択されている不鮮明な文字「恒星」の画像が手書き入力部(サブ画面)15の手書き文字入力領域Wに表示される(ステップS19)。
【0073】
ここで、前記手書き入力部(サブ画面)15の手書き文字入力領域Wに表示された不鮮明な文字「恒星」の画像パターンに対して、図9(C)に示すように、上書きにより「恒星」の文字が書き直され前記[認識]ボタンBnがタッチされると(ステップS20)、入力された手書き文字「恒星」が手書き文字認識される(ステップS21)。
【0074】
すると、この再認識された認識文字「恒星」と先頭一致する見出し語が、前記ステップS4にて指定された辞書[百科辞典]から検索され、図9(D)に示すように、手書き入力部(サブ画面)15に見出し語一覧Lm[恒星/恒星雲/恒星磁場/…]として表示される(ステップS22)。
【0075】
そして、手書き入力部(サブ画面)15に表示された見出し語一覧Lmにおいて、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、図9(E)に示すように、当該選択された見出し語「恒星磁場」の説明情報Hが前記指定の辞書[百科辞典]から読み出され同手書き入力部(サブ画面)15に表示される(ステップS23)。
【0076】
ここで、前記ステップS21にて再認識した手書き文字「恒星」を登録するか否かのユーザ判断を促すメッセージが表示され(ステップS24)、手書き文字の登録が指示されると(ステップS24(Yes))、当該手書き文字「恒星」が手書きデータメモリ22eに登録される(ステップS25)。
【0077】
そして、前記タッチパネル式表示部(メイン画面)16に表示された画像データGのIDと同画像データG上での検索対象文字「恒星」の位置情報、指定の辞書の種類[百科辞典]と選択された見出し語「恒星磁場」、前記手書き文字「恒星」の登録先が対応付けられた検索履歴が生成され、履歴データメモリ22dに登録される(ステップS10)。
【0078】
これにより、ユーザが撮影した例えばノートや案内板などの画像データGに含まれる任意の文字列について、その全体が不鮮明で文字認識不可能と判断された場合でも、当該不鮮明な文字列を手書き入力して正しく再認識させ、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データG上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報と書き直した手書き文字の情報とからなる検索履歴を登録することができる。
【0079】
図10は、前記電子辞書装置10の画像読み出し処理に伴う画像表示処理を示すフローチャートである。
【0080】
図11は、前記電子辞書装置10の画像表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作を示す図である。
【0081】
前記図5における画像読み出し処理に従い、画像データメモリ22cから選択的に読み出された画像データGが、例えば図11に示すように、タッチパネル式表示部(メイン画面)16に表示された際に(ステップB1,B2)、表示された画像データGのIDを有する検索履歴データが履歴データメモリ22dに登録されていると判断されると(ステップB3(Yes))、図10における画像表示処理へ移行される(ステップBC)。
【0082】
画像表示処理が起動されると、前記タッチパネル式表示部(メイン画面)16に表示された画像データGのIDを有する検索履歴データ(図3参照)が履歴データメモリ22dから読み出される(ステップC1)。そして、読み出された検索履歴データに手書き文字の登録先が含まれるか否か判断される(ステップC2)。
【0083】
ここで、前記画像データGの検索履歴データに手書き文字の登録先が含まれると判断された場合は(ステップC2(Yes))、当該登録先で示される手書きデータメモリ22eのアドレスから手書き文字(この場合は「恒」または「恒星」)が読み出される。そして、同検索履歴データに含まれる画像データG上での検索対象文字の位置情報に従い、該当する位置の文字(「恒」または「恒星」)の画像が、前記読み出された手書き文字に置き換えられて表示される(ステップC3)。
【0084】
また、同検索履歴データに含まれる画像データG上での検索対象文字「恒星」の位置に対応させて、検索履歴が有ることを示す履歴有りマークMが表示される(ステップC4)。
【0085】
ここで、前記画像データG上に表示された履歴有りマークMがタッチされて指示されると(ステップC5(Yes))、前記検索履歴データとして登録された辞書の種類[百科辞典]と見出し語「恒星磁場」に従いその説明情報Hが読み出され、手書き入力部(サブ画面)15に表示される(ステップC6)。
【0086】
これにより、検索履歴データが登録されている画像データGをタッチパネル式表示部(メイン画面)16に読み出して表示させた場合には、元の画像でかすれて読み辛い文字をユーザにより手書きされた文字に置き換えて表示することができ、また当該画像データG上に表示された履歴有りマークMをタッチするだけで、この履歴有りマークMにより示される文字に応じて過去に辞書検索された説明情報を直ちに読み出して手書き入力部(サブ画面)15に表示させることができる。このため、ノートや教科書、文献等の画像データGを、その重要な記述の説明情報を付加価値として付けて保存することができ、これを反復学習する際の自己テストに使用できるなど、効果的に見返し学習するための資料とすることができる。
【0087】
なお、前記実施形態では、画像データメモリ22cから選択的に読み出された画像データGをタッチパネル式表示部(メイン画面)16に表示させ、辞書一覧Ldや見出し語一覧Lm、再認識の対象となる前記画像データG内の文字の画像、見出し語検索された説明情報Hを、何れも手書き入力部(サブ画面)15に表示させる構成とした。これに対し、前記手書き入力部(サブ画面)15として機能する画面は、前記タッチパネル式表示部(メイン画面)16の画面内にウインドウとして表示させる構成としてもよい。
【0088】
また、前記実施形態における画像データGは、撮像部17により撮影された画像として説明したが、外部から取り込まれて画像データメモリ22cに記憶させた画像でも勿論よい。
【0089】
なお、前記各実施形態において記載したカメラ付き電子辞書装置10による各処理の手法、すなわち、図4のフローチャートに示す画像取り込み処理、図5のフローチャートに示す画像読み出し処理、図6のフローチャートに示す前記画像読み出し処理に伴う辞書表示処理、図10のフローチャートに示す前記画像読み出し処理に伴う画像表示処理などの各手法、及び各種の辞書データ(22b)は、何れもコンピュータに実行させることができるプログラムとして、メモリ・カード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶媒体23に格納して配布することができる。そして、電子機器のコンピュータは、この外部記憶媒体23に記憶されたプログラムを記憶装置(22)に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した撮影画像からの文字認識・辞書検索・検索履歴登録機能を実現し、前述した手法による同様の処理を実行することができる。
【0090】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワークN上を伝送させることができ、このプログラムデータを、ネットワークNに接続された電子機器のコンピュータに通信制御部(25)によって取り込むことで、前述した撮影画像からの文字認識・辞書検索・検索履歴登録機能を実現することもできる。
【0091】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【符号の説明】
【0092】
10 …電子辞書装置
11 …本体ケース
12 …蓋体ケース
13 …ヒンジ部
14 …キー入力部(キーボード)
14a…文字入力キー
14b…辞書指定キー
14c…[訳/決定]キー
14d…[戻る]キー
14e…カーソルキー
14f…[撮影]キー
14g…[画像]キー
14h…[辞書]キー
15 …手書き入力部(サブ画面)
15d…カラー液晶表示部
15t…透明タッチパネル
16 …タッチパネル式表示部(メイン画面)
16d…カラー液晶表示部
16t…透明タッチパネル
17 …撮像部
21 …CPU
22 …主記憶装置
22a…装置制御プログラム
22b…辞書データベース
22c…画像データメモリ
22d…履歴データメモリ
22e…手書きデータメモリ
23 …外部記憶媒体
24 …記憶媒体読み書き部
25 …外部インターフェイス
26 …RAM
26a…表示データメモリ
30 …Webサーバ
G …画像データ
S …選択枠
Ld…辞書一覧
Lm…見出し語一覧
W …手書き文字入力領域
Bc…カーソルボタン
Bn…認識ボタン
Bt…訂正ボタン
H …説明情報
M …履歴有りマーク
【技術分野】
【0001】
本発明は、ユーザ入力された検索語と一致する見出し語を検索し当該見出し語の説明情報を表示する辞書機能を備えた電子機器およびその制御プログラムに関する。
【背景技術】
【0002】
外出先の案内板や手書きのノートなどを撮影し、後にその撮影画像を見て同案内板やノートに書かれた内容を調べようとすることがある。
【0003】
撮影された画像に含まれる文字を文字認識によりテキスト化し、この文字と一致する見出し語を内蔵の辞書から検索してその意味を表示する携帯情報機器が考えられている(例えば、特許文献1参照。)。
【0004】
さらに、撮影された画像を画像認識し、当該画像に対応する文字に変換して表示すること、例えば富士山の写真画像を「富士山」の文字に変換することが可能なカメラ付き携帯情報端末も考えられている(例えば、特許文献2参照。)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−301914号公報
【特許文献2】特開2005−316912号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、撮影の対象となる前記案内板やノート等に書かれている文字が、一般的でない特殊な態様で書かれていたり、汚れや劣化などにより字形が崩れていたりした場合、撮影画像から当該文字を上手く認識することができず、その文字に対応する辞書情報を検索できない。
【0007】
本発明は、このような課題に鑑みなされたもので、撮影画像に含まれる調べたい文字が、特殊な態様で書かれていたり字形が崩れていたりした場合でも、正しく文字認識させて同文字に対応する辞書情報を検索することが可能になる辞書機能を備えた電子機器およびその制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
請求項1に記載の辞書機能を備えた電子機器は、タッチパネル式の表示画面を有し辞書機能を備えた電子機器であって、画像データを取り込む画像取り込み手段と、この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させる画像表示手段と、この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段と、この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第2の表示画面に表示させる選択画像表示手段と、この選択画像表示手段により前記タッチパネル式の第2の表示画面に前記選択された画像パターンが表示された状態で、当該第2の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段と、この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段と、を備えたことを特徴としている。
【0009】
請求項2に記載の辞書機能を備えた電子機器は、前記請求項1に記載の辞書機能を備えた電子機器において、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報と対応付けて登録する検索履歴登録手段と、前記画像表示手段により前記取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させた際に、当該画像データに対応付けて前記検索履歴登録手段により辞書の検索情報が登録されているかを判断する履歴有り判断手段と、この履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンの位置情報に対応する位置に履歴有りマークを表示させるマーク表示手段と、このマーク表示手段により表示された履歴有りマークの位置がタッチされた際に、当該タッチ位置に対応付けて登録された前記辞書の検索情報に基づく見出し語の説明情報を、前記タッチパネル式の第2の表示画面に表示させる説明情報表示手段と、を備えたことを特徴としている。
【0010】
請求項3に記載の辞書機能を備えた電子機器は、前記請求項2に記載の辞書機能を備えた電子機器において、前記検索履歴登録手段は、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報および前記文字認識手段により認識した手書き文字と対応付けて登録し、前記履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンを、当該画像パターンの位置情報に対応付けて登録された前記手書き文字に置き換えて表示させる置き換え表示手段をさらに備えたことを特徴としている。
【0011】
請求項4に記載の辞書機能を備えた電子機器は、前記請求項1ないし請求項3の何れか1項に記載の辞書機能を備えた電子機器において、前記タッチパネル式の第1の表示画面と第2の表示画面とは、それぞれ独立した表示部として構成されることを特徴としている。
【0012】
請求項5に記載のプログラムは、タッチパネル式の表示画面を有し辞書機能を備えた電子機器のコンピュータを制御するためのプログラムであって、前記コンピュータを、画像データを取り込む画像取り込み手段、この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させる画像表示手段、この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段、この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第2の表示画面に表示させる選択画像表示手段、この選択画像表示手段により前記タッチパネル式の第2の表示画面に前記選択された画像パターンが表示された状態で、当該第2の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段、この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段、として機能させることを特徴としている。
【発明の効果】
【0013】
本発明によれば、撮影画像に含まれる調べたい文字が、特殊な態様で書かれていたり字形が崩れていたりした場合でも、正しく文字認識させて同文字に対応する辞書情報を検索することが可能になる辞書機能を備えた電子機器およびその制御プログラムを提供できる。
【図面の簡単な説明】
【0014】
【図1】本発明の辞書機能を備えた電子機器の実施形態に係るカメラ付き電子辞書装置10の外観構成を示す正面図。
【図2】前記電子辞書装置10の電子回路の構成を示すブロック図。
【図3】前記電子辞書装置10の履歴データメモリ22dに登録された検索履歴データの内容を示す図。
【図4】前記電子辞書装置10による画像取り込み処理を示すフローチャート。
【図5】前記電子辞書装置10による画像読み出し処理を示すフローチャート。
【図6】前記電子辞書装置10の画像読み出し処理に伴う辞書表示処理を示すフローチャート。
【図7】前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その1)を示す図。
【図8】前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その2)を示す図。
【図9】前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その3)を示す図。
【図10】前記電子辞書装置10の画像読み出し処理に伴う画像表示処理を示すフローチャート。
【図11】前記電子辞書装置10の画像表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作を示す図。
【発明を実施するための形態】
【0015】
以下図面により本発明の実施の形態について説明する。
【0016】
図1は、本発明の辞書機能を備えた電子機器の実施形態に係るカメラ付き電子辞書装置10の外観構成を示す正面図である。
【0017】
この電子辞書装置10は、以下に説明する電子辞書専用の携帯機器として構成されるか、辞書機能を備えたPDA(personal digital assistants)、PC(personal computer)、携帯電話、電子ブック、携帯ゲーム機等として構成される。
【0018】
この電子辞書装置10は、その本体ケース11と蓋体ケース12とがヒンジ部13を介して展開/閉塞可能な折り畳み型ケースを備えて構成される。この折り畳み型ケースを展開した本体ケース11の表面には、文字入力キー14a、辞書指定キー14b、[訳/決定]キー14c、[戻る]キー14d、カーソルキー14e、[撮影]キー14f、[画像]キー14g、[辞書]キー14hなどを備えたキー入力部(キーボード)14、および手書き入力部(サブ画面)15が備えられる。
【0019】
この手書き入力部(サブ画面)15は、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、キー入力部14の中央手前側において例えば256×64ドットのカラー液晶表示画面15dに透明タッチパネル15tを重ねて構成される。この手書き入力部15の入力領域は、必要に応じて、手書き文字を入力するための手書き文字入力領域W(図8・図9参照)や各種機能のボタン入力領域、あるいは当該各入力領域が混在する領域に切り替えられる。
【0020】
そして、前記手書き入力部15が手書き文字入力領域に切り替えられた状態での手書き入力に伴う軌跡はそのカラー液晶表示画面15dにエコーバックして表示される。
【0021】
また、前記本体ケース11の裏面には撮像部17が設けられ、この撮像部17は、前記[撮影]キー14fの操作に応じて撮像動作する。
【0022】
一方、前記蓋体ケース12の表面には、そのほぼ全面を対象に例えば480×320ドットのバックライト付きのタッチパネル式表示部(メイン画面)16が設けられる。このタッチパネル式表示部(メイン画面)16も、前記手書き入力部(サブ画面)15と同様に、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、そのカラー液晶表示画面16dに透明タッチパネル16tを重ねて構成される。
【0023】
図2は、前記電子辞書装置10の電子回路の構成を示すブロック図である。
【0024】
この電子辞書装置10は、各種の記憶媒体に記録されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、CPU(central processing unit)21が備えられる。
【0025】
CPU21は、主記憶装置22内に予め記憶された装置制御プログラム22a、あるいはROMカードなどの外部記憶媒体23から記憶媒体読み書き部24を介して前記主記憶装置22に読み込まれた装置制御プログラム22a、あるいはインターネットN上のWebサーバ(この場合はプログラムサーバ)30から外部インターフェイス25を介して前記主記憶装置22に読み込まれた装置制御プログラム22aに応じて、RAM26を作業用メモリとして回路各部の動作を制御する。
【0026】
主記憶装置22には、前記装置制御プログラム22a、辞書データベース22bが記憶され、画像データメモリ22c、履歴データメモリ22d、手書きデータメモリ22eなどが確保される。
【0027】
主記憶装置22に記憶された装置制御プログラム22aは、キー入力部14、手書き入力部15、タッチパネル式表示部16からのユーザ操作に応じた入力信号、あるいは外部インターフェイス25を介して接続されるインターネットN上の各Webサーバ30…との通信信号に応じて起動される。
【0028】
前記装置制御プログラム22aとしては、当該電子辞書装置10の全体の動作を司るシステムプログラムや外部インターフェイス25を介してインターネットN上の各Webサーバ30…や図示しないユーザPC(Personal Computer)などとデータ通信するための通信プログラムが記憶される。
【0029】
また他に、辞書機能における見出し語検索処理、検索見出し語の一覧表示処理、ユーザ指定の見出し語に対応する訳語・意味内容・例文(用例)などの各種説明情報の読み出し表示処理など、辞書データベース22bに基づく検索・表示処理全般を制御するための辞書検索プログラムが記憶される。
【0030】
さらに、前記装置制御プログラム22aとしては、前記[撮影]キー14fの入力に応じて撮像部17により撮影された画像データを保存するための画像取り込みプログラム(図4参照)、保存された複数の画像データの中から任意に選択した画像データを読み出してタッチパネル式表示部(メイン画面)16に表示させるための画像読み出しプログラム(図5参照)、前記タッチパネル式表示部(メイン画面)16に表示された画像データの中から任意に選択した文字の画像を文字認識し、認識された文字を検索語として辞書から検索した情報を手書き入力部(サブ画面)15に表示させるための辞書表示プログラム(図6参照)、この辞書表示プログラムに従い辞書検索した履歴のある画像データを前記タッチパネル式表示部(メイン画面)16に表示させた場合に、検索済みの辞書情報を読み出して手書き入力部(サブ画面)15に表示させるための画像表示プログラム(図10参照)も記憶される。
【0031】
辞書データベース22bには、例えば日本語の見出し語に対応付けて日本語の説明情報が記述された[国語辞書]、英語の見出し語に対応付けて日本語の説明情報が記述された[英和辞書]、日本語の見出し語に対応付けて英語の説明情報が記述された[和英辞書]など、複数種類の辞書データが予め記憶されるかあるいはダウンロードされて記憶される。
【0032】
画像データメモリ22cには、撮像部17により撮像された画像データや外部から読み込まれた画像データが記憶される。
【0033】
履歴データメモリ22dには、前記画像読み出しプログラム(図5参照)および前記辞書表示プログラム(図6参照)に従い、前記画像データメモリ22cから読み出された画像データの中で任意に選択した文字の画像を文字認識し、認識された文字を検索語として辞書情報を検索し表示させた際に、当該画像データの選択された文字の位置と対応付けてその検索履歴が登録される。
【0034】
手書きデータメモリ22eには、前記画像データからの選択された文字の文字認識における誤認識または認識不可に応じて、同選択された文字を手書き入力し再認識した際に、当該画像データの選択された文字の位置と対応付けてその手書き文字が登録される。
【0035】
RAM26には、タッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15それぞれのフレームバッファとして機能する表示データメモリ26aが備えられる。
【0036】
このように、前記CPU21には、前記主記憶装置22、記憶媒体読み書き部24、外部インターフェイス25、RAM26、キー入力部14、手書き入力部15、タッチパネル式表示部16、撮像部17が接続される。
【0037】
図3は、前記電子辞書装置10の履歴データメモリ22dに登録された検索履歴データの内容を示す図である。
【0038】
すなわち、前記履歴データメモリ22dに登録される検索履歴データとしては、辞書情報の検索対象とした文字を含む画像データのIDと同画像データの中での検索文字の位置情報、検索に使用した辞書の種類と見出し語、検索対象とした文字を手書き文字にして再認識している場合の同手書き文字の登録先が記憶される。
【0039】
このように構成されたカメラ付き電子辞書装置10は、CPU21が前記装置制御プログラム22a(画像取り込みプログラム/画像読み出しプログラム/辞書表示プログラム/画像表示プログラムを含む)に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。
【0040】
次に、前記構成のカメラ付き電子辞書装置10の動作について説明する。
【0041】
図4は、前記電子辞書装置10による画像取り込み処理を示すフローチャートである。
【0042】
[撮影]キー14fが長押しされるとカメラモードになり、撮像部17により撮像される画像がタッチパネル式表示部(メイン画面)16に表示される。
【0043】
ここで、前記[撮影]キー14fが押されると、そのキー押下の都度、前記撮像部17により撮像されている被写体が撮影され(ステップA1)、撮影された画像データが画像データメモリ22cに記憶されて保存される(ステップA2)。
【0044】
本実施形態において、電子辞書装置10のユーザは、例えば手書きのノートの重要な部分や歴史案内板の興味ある案内文を撮影して保存する。
【0045】
図5は、前記電子辞書装置10による画像読み出し処理を示すフローチャートである。
【0046】
図6は、前記電子辞書装置10の画像読み出し処理に伴う辞書表示処理を示すフローチャートである。
【0047】
図7は、前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その1)を示す図である。
【0048】
[画像]キー14gが押下されると、図5における画像読み出し処理が起動され、画像データメモリ22cに保存されている各画像データが、例えばインデックス表示、サムネイル表示、カーソルキー14eの押下に応じた切り替え表示により選択可能な状態になる(ステップB1)。
【0049】
ここで、任意の画像が選択されて[訳/決定]キー14cが押下されると、例えば図7に示すように、選択された画像データGがタッチパネル式表示部(メイン画面)16に表示される(ステップB2)。
【0050】
すると、表示された画像データGに対応付けられた検索履歴データが履歴データメモリ22dに登録されているか否か判断され(ステップB3)、履歴データの登録ありと判断された場合には(ステップB3(Yes))、図10を参照して後述する画像表示処理へ移行される(ステップBC)。
【0051】
一方、前記表示された画像データGについて履歴データの登録なしと判断された場合には(ステップB3(No))、[辞書]キー14hが押下されたか否かが判断される(ステップB4)。
【0052】
以下、図7に示す手書きノートの画像を表示させた状態から、ノートに記載された文字を辞書で調べることを例として説明する。ユーザは前記表示された画像データGに含まれる所望の文字(例えば「恒星」)について辞書で調べたい場合には[辞書]キー14hを押下する。そして、[辞書]キー14hが押下されたと判断されると(ステップB4(Yes))、図6における辞書表示処理へ移行される(ステップBS)。
【0053】
辞書表示処理が起動されると、前記タッチパネル式表示部(メイン画面)16に表示されている画像データG上に、当該画像データG内の所望の文字を選択するための矩形の選択枠Sが表示される(ステップS1)。
【0054】
また、手書き入力部(サブ画面)15に対して、検索に使用する辞書の種類を指定するための辞書一覧Ldが表示される(ステップS2)。なお、この辞書一覧Ldは、同手書き入力部(サブ画面)15の右端に表示されたカーソルボタンBcのタッチに応じてスクロール可能であり、表示しきれない他の辞書の選択を可能にする。
【0055】
図8は、前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その2)を示す図である。
【0056】
図9は、前記電子辞書装置10の辞書表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作(その3)を示す図である。
【0057】
前記タッチパネル式表示部(メイン画面)16の画像データG上に表示された選択枠Sは、タッチ操作により同画面内で移動可能であると共に、矩形サイズを変更可能であり、ユーザは、同選択枠Sを、図8(A)(あるいは図9(A))に示すように、前記所望の文字「恒星」の位置に移動させて同文字「恒星」を囲んで選択する(ステップS3)。なお、画面上での文字部分の選択は、ユーザが直接ペン等により対象部分を囲むように線を引くことで行ってもよい。
【0058】
文字の選択後、前記手書き入力部(サブ画面)15に表示された辞書一覧Ldをタッチすることで、検索に使用する辞書の種類(例えば[百科辞典])が指定されると(ステップS4)、前記選択枠Sにより選択された文字「恒星」の画像パターンを対象に文字認識が実行され(ステップS5)、文字認識不可能か否(認識可能)か判断される(ステップS6)。
【0059】
そして、前記選択された文字「恒星」の画像パターンについて文字認識不可能ではない、つまり認識可能と判断されると(ステップS6(No))、当該文字認識された文字「恒星」と先頭一致する見出し語が、前記ステップS4にて指定された辞書[百科辞典]から検索され、図8(B)に示すように、手書き入力部(サブ画面)15に見出し語一覧Lmとして表示される(ステップS7)。
【0060】
ここで、見出し語一覧Lm[恒星/恒星雲/恒星磁場/…]から、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、再認識の必要なしと判断され(ステップS8(No))、図8(C)に示すように、当該選択された見出し語「恒星磁場」の説明情報Hが前記指定の辞書[百科辞典]から読み出され手書き入力部(サブ画面)15に表示される(ステップS9)。
【0061】
すると、前記タッチパネル式表示部(メイン画面)16に表示された画像データGのIDと同画像データG上での検索対象文字「恒星」の位置情報、指定の辞書の種類[百科辞典]と選択された見出し語「恒星磁場」が対応付けられた検索履歴が生成され、履歴データメモリ22dに登録される(ステップS10)。
【0062】
これにより、ユーザが撮影した例えばノートや案内板などの画像データGに含まれる任意の文字について、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データG上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報からなる検索履歴を登録することができる。
【0063】
一方、前記画像データG上で選択された文字「恒星」の画像パターンが、汚れなどによりその一部が欠けていたり字形が崩れたりしていて、「恒」の画像パターンが「明」と誤認識された場合には、図8(D)に示すように、見出し語一覧Lm[明星/明星学園/明星製菓/…]が表示される(ステップS7)。ユーザは見出し語一覧を見ることで誤認識されたことを知るので、再認識の指令を入力する。再認識の指令は、例えば見出し語表示中に行われる「辞書」キー14hの操作とする。そして、再認識の指令があった場合には、その後、当該誤認識された画像データG上の文字「恒」がタッチされて指定される(ステップS8(Yes)→S11)。
【0064】
すると、図8(E)に示すように、前記画像データG上で指定された一部欠落した文字「恒」の画像が手書き入力部(サブ画面)15の手書き文字入力領域Wに表示される(ステップS12)。
【0065】
この際、前記手書き入力部(サブ画面)15の手書き文字入力領域Wの左側には、同手書き文字入力領域Wに手書きされた文字の文字認識を指示するための[認識]ボタンBnと、手書きされた文字を消去して訂正するための[訂正]ボタンBtが表示される。
【0066】
ここで、前記手書き入力部(サブ画面)15の手書き文字入力領域Wに表示された一部が欠けている文字「恒」の画像パターンに対して、図8(F)に示すように、ユーザにより上書きにより「恒」の文字が書き直され前記[認識]ボタンBnがタッチされると(ステップS13)、入力された手書き文字「恒」が手書き文字認識される(ステップS14)。
【0067】
すると、この再認識された手書き文字「恒」によって訂正された認識文字「恒星」と先頭一致する見出し語が、前記ステップS4にて指定された辞書[百科辞典]から検索され、図8(B)に示すように、手書き入力部(サブ画面)15に見出し語一覧Lm[恒星/恒星雲/恒星磁場/…]として表示される(ステップS15)。
【0068】
そして、手書き入力部(サブ画面)15に表示された見出し語一覧Lmにおいて、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、図8(C)に示すように、当該選択された見出し語「恒星磁場」の説明情報Hが前記指定の辞書[百科辞典]から読み出され同手書き入力部(サブ画面)15に表示される(ステップS16)。
【0069】
ここで、前記ステップS14にて再認識した手書き文字「恒」を登録するか否かのユーザ判断を促すメッセージが表示され(ステップS17)、手書き文字の登録が指示されると(ステップS17(Yes))、当該手書き文字「恒」が手書きデータメモリ22eに登録される(ステップS18)。
【0070】
そして、前記タッチパネル式表示部(メイン画面)16に表示された画像データGのIDと同画像データG上での検索対象文字「恒星」の位置情報、指定の辞書の種類[百科辞典]と選択された見出し語「恒星磁場」、前記手書き文字「恒」の登録先が対応付けられた検索履歴が生成され、履歴データメモリ22dに登録される(ステップS10)。
【0071】
これにより、ユーザが撮影した例えばノートや案内板などの画像データGに含まれる任意の文字列について、その一部の文字が汚れや字形の崩れにより誤認識された場合でも、当該誤認識された文字を手書き入力して手書き認識により正しく再認識させ、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データG上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報と書き直した手書き文字の情報とからなる検索履歴を登録することができる。
【0072】
一方、前記画像データG上で選択された文字「恒星」の画像パターンについて、全体的な汚れや掠れなどによりその全体にわたり欠けがあったり全体の字形が特殊であったり、崩れたりしていて文字認識不可能と判断されると(ステップS6(Yes))、図9(B)に示すように、前記画像データG上で選択されている不鮮明な文字「恒星」の画像が手書き入力部(サブ画面)15の手書き文字入力領域Wに表示される(ステップS19)。
【0073】
ここで、前記手書き入力部(サブ画面)15の手書き文字入力領域Wに表示された不鮮明な文字「恒星」の画像パターンに対して、図9(C)に示すように、上書きにより「恒星」の文字が書き直され前記[認識]ボタンBnがタッチされると(ステップS20)、入力された手書き文字「恒星」が手書き文字認識される(ステップS21)。
【0074】
すると、この再認識された認識文字「恒星」と先頭一致する見出し語が、前記ステップS4にて指定された辞書[百科辞典]から検索され、図9(D)に示すように、手書き入力部(サブ画面)15に見出し語一覧Lm[恒星/恒星雲/恒星磁場/…]として表示される(ステップS22)。
【0075】
そして、手書き入力部(サブ画面)15に表示された見出し語一覧Lmにおいて、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、図9(E)に示すように、当該選択された見出し語「恒星磁場」の説明情報Hが前記指定の辞書[百科辞典]から読み出され同手書き入力部(サブ画面)15に表示される(ステップS23)。
【0076】
ここで、前記ステップS21にて再認識した手書き文字「恒星」を登録するか否かのユーザ判断を促すメッセージが表示され(ステップS24)、手書き文字の登録が指示されると(ステップS24(Yes))、当該手書き文字「恒星」が手書きデータメモリ22eに登録される(ステップS25)。
【0077】
そして、前記タッチパネル式表示部(メイン画面)16に表示された画像データGのIDと同画像データG上での検索対象文字「恒星」の位置情報、指定の辞書の種類[百科辞典]と選択された見出し語「恒星磁場」、前記手書き文字「恒星」の登録先が対応付けられた検索履歴が生成され、履歴データメモリ22dに登録される(ステップS10)。
【0078】
これにより、ユーザが撮影した例えばノートや案内板などの画像データGに含まれる任意の文字列について、その全体が不鮮明で文字認識不可能と判断された場合でも、当該不鮮明な文字列を手書き入力して正しく再認識させ、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データG上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報と書き直した手書き文字の情報とからなる検索履歴を登録することができる。
【0079】
図10は、前記電子辞書装置10の画像読み出し処理に伴う画像表示処理を示すフローチャートである。
【0080】
図11は、前記電子辞書装置10の画像表示処理に伴うタッチパネル式表示部(メイン画面)16および手書き入力部(サブ画面)15での表示動作を示す図である。
【0081】
前記図5における画像読み出し処理に従い、画像データメモリ22cから選択的に読み出された画像データGが、例えば図11に示すように、タッチパネル式表示部(メイン画面)16に表示された際に(ステップB1,B2)、表示された画像データGのIDを有する検索履歴データが履歴データメモリ22dに登録されていると判断されると(ステップB3(Yes))、図10における画像表示処理へ移行される(ステップBC)。
【0082】
画像表示処理が起動されると、前記タッチパネル式表示部(メイン画面)16に表示された画像データGのIDを有する検索履歴データ(図3参照)が履歴データメモリ22dから読み出される(ステップC1)。そして、読み出された検索履歴データに手書き文字の登録先が含まれるか否か判断される(ステップC2)。
【0083】
ここで、前記画像データGの検索履歴データに手書き文字の登録先が含まれると判断された場合は(ステップC2(Yes))、当該登録先で示される手書きデータメモリ22eのアドレスから手書き文字(この場合は「恒」または「恒星」)が読み出される。そして、同検索履歴データに含まれる画像データG上での検索対象文字の位置情報に従い、該当する位置の文字(「恒」または「恒星」)の画像が、前記読み出された手書き文字に置き換えられて表示される(ステップC3)。
【0084】
また、同検索履歴データに含まれる画像データG上での検索対象文字「恒星」の位置に対応させて、検索履歴が有ることを示す履歴有りマークMが表示される(ステップC4)。
【0085】
ここで、前記画像データG上に表示された履歴有りマークMがタッチされて指示されると(ステップC5(Yes))、前記検索履歴データとして登録された辞書の種類[百科辞典]と見出し語「恒星磁場」に従いその説明情報Hが読み出され、手書き入力部(サブ画面)15に表示される(ステップC6)。
【0086】
これにより、検索履歴データが登録されている画像データGをタッチパネル式表示部(メイン画面)16に読み出して表示させた場合には、元の画像でかすれて読み辛い文字をユーザにより手書きされた文字に置き換えて表示することができ、また当該画像データG上に表示された履歴有りマークMをタッチするだけで、この履歴有りマークMにより示される文字に応じて過去に辞書検索された説明情報を直ちに読み出して手書き入力部(サブ画面)15に表示させることができる。このため、ノートや教科書、文献等の画像データGを、その重要な記述の説明情報を付加価値として付けて保存することができ、これを反復学習する際の自己テストに使用できるなど、効果的に見返し学習するための資料とすることができる。
【0087】
なお、前記実施形態では、画像データメモリ22cから選択的に読み出された画像データGをタッチパネル式表示部(メイン画面)16に表示させ、辞書一覧Ldや見出し語一覧Lm、再認識の対象となる前記画像データG内の文字の画像、見出し語検索された説明情報Hを、何れも手書き入力部(サブ画面)15に表示させる構成とした。これに対し、前記手書き入力部(サブ画面)15として機能する画面は、前記タッチパネル式表示部(メイン画面)16の画面内にウインドウとして表示させる構成としてもよい。
【0088】
また、前記実施形態における画像データGは、撮像部17により撮影された画像として説明したが、外部から取り込まれて画像データメモリ22cに記憶させた画像でも勿論よい。
【0089】
なお、前記各実施形態において記載したカメラ付き電子辞書装置10による各処理の手法、すなわち、図4のフローチャートに示す画像取り込み処理、図5のフローチャートに示す画像読み出し処理、図6のフローチャートに示す前記画像読み出し処理に伴う辞書表示処理、図10のフローチャートに示す前記画像読み出し処理に伴う画像表示処理などの各手法、及び各種の辞書データ(22b)は、何れもコンピュータに実行させることができるプログラムとして、メモリ・カード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶媒体23に格納して配布することができる。そして、電子機器のコンピュータは、この外部記憶媒体23に記憶されたプログラムを記憶装置(22)に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した撮影画像からの文字認識・辞書検索・検索履歴登録機能を実現し、前述した手法による同様の処理を実行することができる。
【0090】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワークN上を伝送させることができ、このプログラムデータを、ネットワークNに接続された電子機器のコンピュータに通信制御部(25)によって取り込むことで、前述した撮影画像からの文字認識・辞書検索・検索履歴登録機能を実現することもできる。
【0091】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【符号の説明】
【0092】
10 …電子辞書装置
11 …本体ケース
12 …蓋体ケース
13 …ヒンジ部
14 …キー入力部(キーボード)
14a…文字入力キー
14b…辞書指定キー
14c…[訳/決定]キー
14d…[戻る]キー
14e…カーソルキー
14f…[撮影]キー
14g…[画像]キー
14h…[辞書]キー
15 …手書き入力部(サブ画面)
15d…カラー液晶表示部
15t…透明タッチパネル
16 …タッチパネル式表示部(メイン画面)
16d…カラー液晶表示部
16t…透明タッチパネル
17 …撮像部
21 …CPU
22 …主記憶装置
22a…装置制御プログラム
22b…辞書データベース
22c…画像データメモリ
22d…履歴データメモリ
22e…手書きデータメモリ
23 …外部記憶媒体
24 …記憶媒体読み書き部
25 …外部インターフェイス
26 …RAM
26a…表示データメモリ
30 …Webサーバ
G …画像データ
S …選択枠
Ld…辞書一覧
Lm…見出し語一覧
W …手書き文字入力領域
Bc…カーソルボタン
Bn…認識ボタン
Bt…訂正ボタン
H …説明情報
M …履歴有りマーク
【特許請求の範囲】
【請求項1】
タッチパネル式の表示画面を有し辞書機能を備えた電子機器であって、
画像データを取り込む画像取り込み手段と、
この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させる画像表示手段と、
この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段と、
この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第2の表示画面に表示させる選択画像表示手段と、
この選択画像表示手段により前記タッチパネル式の第2の表示画面に前記選択された画像パターンが表示された状態で、当該第2の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段と、
この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段と、
を備えたことを特徴とする辞書機能を備えた電子機器。
【請求項2】
前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報と対応付けて登録する検索履歴登録手段と、
前記画像表示手段により前記取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させた際に、当該画像データに対応付けて前記検索履歴登録手段により辞書の検索情報が登録されているかを判断する履歴有り判断手段と、
この履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンの位置情報に対応する位置に履歴有りマークを表示させるマーク表示手段と、
このマーク表示手段により表示された履歴有りマークの位置がタッチされた際に、当該タッチ位置に対応付けて登録された前記辞書の検索情報に基づく見出し語の説明情報を、前記タッチパネル式の第2の表示画面に表示させる説明情報表示手段と、
を備えたことを特徴とする請求項1に記載の辞書機能を備えた電子機器。
【請求項3】
前記検索履歴登録手段は、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報および前記文字認識手段により認識した手書き文字と対応付けて登録し、
前記履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンを、当該画像パターンの位置情報に対応付けて登録された前記手書き文字に置き換えて表示させる置き換え表示手段をさらに備えたことを特徴とする請求項2に記載の辞書機能を備えた電子機器。
【請求項4】
前記タッチパネル式の第1の表示画面と第2の表示画面とは、それぞれ独立した表示部として構成されることを特徴とする請求項1ないし請求項3の何れか1項に記載の辞書機能を備えた電子機器。
【請求項5】
タッチパネル式の表示画面を有し辞書機能を備えた電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
画像データを取り込む画像取り込み手段、
この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させる画像表示手段、
この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段、
この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第2の表示画面に表示させる選択画像表示手段、
この選択画像表示手段により前記タッチパネル式の第2の表示画面に前記選択された画像パターンが表示された状態で、当該第2の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段、
この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段、
として機能させるためのプログラム。
【請求項1】
タッチパネル式の表示画面を有し辞書機能を備えた電子機器であって、
画像データを取り込む画像取り込み手段と、
この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させる画像表示手段と、
この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段と、
この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第2の表示画面に表示させる選択画像表示手段と、
この選択画像表示手段により前記タッチパネル式の第2の表示画面に前記選択された画像パターンが表示された状態で、当該第2の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段と、
この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段と、
を備えたことを特徴とする辞書機能を備えた電子機器。
【請求項2】
前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報と対応付けて登録する検索履歴登録手段と、
前記画像表示手段により前記取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させた際に、当該画像データに対応付けて前記検索履歴登録手段により辞書の検索情報が登録されているかを判断する履歴有り判断手段と、
この履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンの位置情報に対応する位置に履歴有りマークを表示させるマーク表示手段と、
このマーク表示手段により表示された履歴有りマークの位置がタッチされた際に、当該タッチ位置に対応付けて登録された前記辞書の検索情報に基づく見出し語の説明情報を、前記タッチパネル式の第2の表示画面に表示させる説明情報表示手段と、
を備えたことを特徴とする請求項1に記載の辞書機能を備えた電子機器。
【請求項3】
前記検索履歴登録手段は、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報および前記文字認識手段により認識した手書き文字と対応付けて登録し、
前記履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンを、当該画像パターンの位置情報に対応付けて登録された前記手書き文字に置き換えて表示させる置き換え表示手段をさらに備えたことを特徴とする請求項2に記載の辞書機能を備えた電子機器。
【請求項4】
前記タッチパネル式の第1の表示画面と第2の表示画面とは、それぞれ独立した表示部として構成されることを特徴とする請求項1ないし請求項3の何れか1項に記載の辞書機能を備えた電子機器。
【請求項5】
タッチパネル式の表示画面を有し辞書機能を備えた電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
画像データを取り込む画像取り込み手段、
この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第1の表示画面に表示させる画像表示手段、
この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段、
この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第2の表示画面に表示させる選択画像表示手段、
この選択画像表示手段により前記タッチパネル式の第2の表示画面に前記選択された画像パターンが表示された状態で、当該第2の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段、
この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段、
として機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−128789(P2012−128789A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2010−281721(P2010−281721)
【出願日】平成22年12月17日(2010.12.17)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願日】平成22年12月17日(2010.12.17)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]