手書き数式認識機能を備えた電子計算機およびプログラム
【課題】手書き入力した数式の認識率を大幅に向上させることが可能になる手書き数式認識機能を備えた電子計算機を提供する。
【解決手段】手書き数式入力モードに設定されると、タッチパネル表示部16(17)に、手書き入力する各文字の数式としての位置や種類を文字入力の直前に認識補助情報として指定するための１０種の認識ガイドボタンＧが表示される。任意の数式を構成する各文字・記号を手書き入力する際、その都度前記ボタンＧにより各文字・記号に応じた認識ガイドを指定しながら同文字・記号を手書き入力すると、指定された認識ガイドに応じた数式としての文字・記号、種類の認識データベースに基づき、手書き入力された各文字・記号が認識され、表示制御コードＣｎと認識テキストからなる数式表示データが生成され認識数式データＦｎとして表示されると共に、演算コードからなる数式演算データが生成される。
【解決手段】手書き数式入力モードに設定されると、タッチパネル表示部16(17)に、手書き入力する各文字の数式としての位置や種類を文字入力の直前に認識補助情報として指定するための１０種の認識ガイドボタンＧが表示される。任意の数式を構成する各文字・記号を手書き入力する際、その都度前記ボタンＧにより各文字・記号に応じた認識ガイドを指定しながら同文字・記号を手書き入力すると、指定された認識ガイドに応じた数式としての文字・記号、種類の認識データベースに基づき、手書き入力された各文字・記号が認識され、表示制御コードＣｎと認識テキストからなる数式表示データが生成され認識数式データＦｎとして表示されると共に、演算コードからなる数式演算データが生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き数式認識機能を備えた電子計算機およびその制御プログラムに関する。
【背景技術】
【０００２】
従来から、三角関数などの関数計算機能を備えた小型電子式計算機（関数電卓）が広く実用されている。近年は、従来の関数電卓からその処理可能な関数の種類や計算速度などの各機能を格段に向上させると共に、任意の関数式をグラフにして表示したり、プログラミングによる計算機能も備えたりしたより高機能なグラフ関数電卓が実用されている。
【０００３】
このようなグラフ関数電卓にあっては、高機能であるが故に多種多様な種類の数字・文字・記号を入力可能にする必要があり、キーの数が多くなるのは勿論、簡単な数式、複雑な数式、プログラムを含め、その入力すべき内容に応じて予め設定された順序で各種のキーを選択的に入力しなければならない。
【０００４】
例えば定積分の数式を入力する場合には、積分記号“∫”→積分区間の上限値を示す記号“＾”→上限値“ａ”→下限値を示す記号“＿”→下限値“ｂ”→被積分値“ｘ”の順にキー入力する。
【０００５】
このように、入力したい数式の種類に応じた様々なキー入力の順序を、ユーザが全て覚えるのは負担が大きいため、ユーザがタッチパネルを使用して手書きで入力した数式を構成する数値や記号などの部品を認識し、所望の数式を入力することのできる手書き数式の認識装置が考えられている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−０７２７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の手書き数式の認識装置では、手書き入力されたあらゆる数値や記号などを一部品ずつ、膨大な１つの認識データベースに基づき照合・認識処理するために、認識処理に要する時間が長くなる。また、手書き入力された文字や記号間の位置関係が微妙な場合は、ユーザの意図する数式として認識されない場合がある。
【０００８】
本発明は、このような課題に鑑みなされたもので、手書き入力した数式の認識率を大幅に向上させることが可能になる手書き数式認識機能を備えた電子計算機およびその制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の電子計算機は、手書き数式認識機能を備えた電子計算機であって、タッチパネル式表示部と、ユーザ操作に応じて認識すべき手書き文字の認識補助情報を入力する認識補助入力手段と、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された認識補助情報に基づき数式の文字として認識する手書き数式認識手段と、この手書き数式認識手段により認識された数式の文字を出力する認識数式出力手段と、を備えたことを特徴としている。
【００１０】
請求項２に記載の電子計算機は、前記請求項１に記載の手書き数式認識機能を備えた電子計算機において、前記認識補助入力手段は、ユーザ操作に応じて認識すべき手書き文字の数式としての位置情報を入力し、前記手書き数式認識手段は、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された数式としての位置情報に基づき、数式の該当する位置の文字として認識する、ことを特徴としている。
【００１１】
請求項３に記載の電子計算機は、前記請求項１に記載の手書き数式認識機能を備えた電子計算機において、前記認識補助入力手段は、ユーザ操作に応じて認識すべき手書き文字の数式としての種類情報を入力し、前記手書き数式認識手段は、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された数式としての種類情報に基づき、数式の該当する種類の文字として認識する、ことを特徴としている。
【００１２】
請求項４に記載の電子計算機は、前記請求項１に記載の手書き数式認識機能を備えた電子計算機において、前記認識数式出力手段は、前記手書き数式認識手段により認識された数式の文字を前記タッチパネル式表示部に表示させ、ユーザ操作に応じて訂正モードを設定する訂正モード設定手段と、この訂正モード設定手段により設定された訂正モードにおいて、前記認識数式出力手段により前記タッチパネル式表示部に表示された数式の中からユーザ操作に応じて指定された訂正対象の文字を識別表示させる訂正文字指定表示手段と、この訂正文字指定表示手段により識別表示された数式の中の文字を、前記認識補助入力手段により新たに入力された認識補助情報に基づき数式の文字として再認識する数式訂正認識手段と、この数式訂正認識手段により再認識された数式の文字に応じて、前記訂正文字指定表示手段により識別表示された数式の中の文字を訂正して表示させる数式訂正表示手段と、を備えたことを特徴としている。
【００１３】
請求項５に記載のプログラムは、タッチパネル式表示部を有する手書き数式認識機能を備えた電子計算機のコンピュータを制御するためのプログラムであって、前記コンピュータを、ユーザ操作に応じて認識すべき手書き文字の認識補助情報を入力する認識補助入力手段、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された認識補助情報に基づき数式の文字として認識する手書き数式認識手段、この手書き数式認識手段により認識された数式の文字を前記タッチパネル式表示部に出力させる認識数式出力手段、として機能させることを特徴としている。
【発明の効果】
【００１４】
本発明によれば、手書き入力した数式の認識率を大幅に向上させることが可能になる手書き数式認識機能を備えた電子計算機およびその制御プログラムを提供できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の手書き数式認識機能を備えた電子計算機の実施形態に係るグラフ関数電卓１０の外観構成を示す正面図。
【図２】前記グラフ関数電卓１０の電子回路の構成を示すブロック図。
【図３】前記グラフ関数電卓１０の入力イメージデータメモリ２６ｃに記憶される入力イメージデータの内容を示す図。
【図４】前記グラフ関数電卓１０の数式表示データメモリ２６ｄに記憶される数式表示データの内容を示す図。
【図５】前記グラフ関数電卓１０の数式演算データメモリ２６ｅに記憶される数式演算データの内容を示す図。
【図６】前記グラフ関数電卓１０の手書き入力処理を示すフローチャート。
【図７】前記グラフ関数電卓１０の手書き入力処理に伴う手書き認識処理を示すフローチャート。
【図８】前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その１）を示す図。
【図９】前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その２）を示す図。
【図１０】前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その３）を示す図。
【発明を実施するための形態】
【００１６】
以下図面により本発明の実施の形態について説明する。
【００１７】
図１は、本発明の手書き数式認識機能を備えた電子計算機の実施形態に係るグラフ関数電卓１０の外観構成を示す正面図である。
【００１８】
このグラフ関数電卓１０は、その携帯性の必要からユーザが片手で十分把持し片手で操作可能な小型サイズからなり、この電卓１０の本体正面にはキー入力部１１および液晶ドットマトリクス型の表示部１６が設けられる。
【００１９】
この表示部１６は、その表示画面上に透明タブレットのタッチパネル１７が重ねて設けられ、手書き入力部としても動作する。
【００２０】
キー入力部１１には、数字・文字・各種算術記号を入力したり計算の実行を指示したりするための数字・文字・演算記号キー群１２、各種の関数機能を設定したりメモリ機能を設定したりするための計算機能設定キー群１３、各種の動作モードを設定したりメニュー画面を表示させたりするためのモード設定キー群１４、表示部１６に表示されたカーソルの移動操作やデータ項目の選択操作などを行うためのカーソルキー１５、表示部１６の下端に沿ってメニュー表示される各種の機能を選択的に指定するためのファンクションキー［Ｆ１］〜［Ｆ４］などが備えられる。
【００２１】
前記数字・文字・演算記号キー群１２としては、［０］〜［９］（数字）キー、［＋］［−］［×］［÷］（算術記号）キー、［ＤＥＬ］（削除）キー、［ＥＸＥ］（実行）キー、［ＡＣ］（クリア）キーなどが配列される。
【００２２】
前記計算機能設定キー群１３としては、［ｌｏｇ］（対数）キー、「√」（平方根）キー、三角関数の［ｓｉｎ］キー、［ｃｏｓ］キー、［ｔａｎ］キーなどが配列される。
【００２３】
前記モード設定キー群１４としては、［Ｍｅｎｕ］（メニュー）キー、［Ｉｎｓｅｒｔ」（挿入）キー、［Ｇｒａｐｈ］（グラフ）キー、［Ｔｒａｃ］（トレース）キー、［ＥＸＩＴ］（終了）キー、［訂正］キー１４Ｔなどが配列される。
【００２４】
［訂正］キー１４Ｔは、手書き数式入力モードの設定状態において、前記表示部１６およびタッチパネル１７からなる手書き入力部にてユーザ任意の数式が手書き入力されて認識された際、当該認識された数式の誤認識部分を訂正するための訂正モードに設定するのに操作される。
【００２５】
このグラフ関数電卓１０は、動作モードを手書き数式入力モードに設定すると、タッチパネル表示部１６（１７）に対して、手書き入力する各文字の数式としての位置と種類とを、文字入力の直前に認識補助情報として指定するための認識ガイドボタンＧを表示する機能を備える。
【００２６】
具体的には、例えば数式上での位置指定用ボタンを［最下段］［下段］［中段］［上段］［最上段］として表示し、種類指定用ボタンを［始点］［終点］［分母］［分子］［べき乗］として表示する。位置指定用ボタンは、その指定後に手書きされるキャラクタに関する手書き認識において、数式のどこに位置するかを認識するための補助情報として与えるもので、例えば［最下段］はΣの始値、［最上段］はΣの終値の入力に用い、種類指定用ボタンは、その指定後に手書きされるキャラクタに関する手書き認識において、数式の何の構成要素かを認識するための補助情報として与えるもの例えば、［始点］は定積分の始値、［終点］は定積分の終値の入力に用いる。
【００２７】
この手書き数式入力モードを設定したタッチパネル表示部１６（１７）において、前記認識ガイドボタンＧにより直後に入力する各文字の数式としての位置や種類を指定しながら任意の数式を手書き入力すると、手書きされた数式データＦｈがそのまま表示されると共に、前記指定された数式としての位置や種類に基づき認識された数式データＦｎが画面左上に表示される。
【００２８】
図２は、前記グラフ関数電卓１０の電子回路の構成を示すブロック図である。
【００２９】
このグラフ関数電卓１０は、コンピュータである制御部（ＣＰＵ）２１を備えている。
【００３０】
制御部（ＣＰＵ）２１は、記憶装置２２に予め記憶されているシステムプログラム、あるいはメモリカードなどの外部記憶媒体２３から記憶媒体読み取り部２４を介して記憶装置２２に読み込まれた計算機制御プログラム、あるいは通信ネットワークＮ上のＷｅｂサーバ（プログラムサーバ）３０から通信制御部２５を介してダウンロードされ前記記憶装置２２に読み込まれた計算機制御プログラムに従い、ＲＡＭ２６を作業用メモリとして回路各部の動作を制御する。そして、前記記憶装置２２に予め記憶されたシステムプログラムや計算機制御プログラムは、キー入力部１１からのキー入力信号に応じて起動される。
【００３１】
記憶装置２２には、前記システムプログラムや計算機制御プログラム２２ａの他、各種の動作モードにおいてタッチパネル１７を使用して手書きで入力される手書きデータ（入力イメージデータ２６ｃ）を、各種の数字・文字・記号として認識し変換するための手書き認識プログラム２２ｂなどが記憶される。
【００３２】
前記制御部（ＣＰＵ）２１には、前記記憶装置２２、記憶媒体読み取り部２４、通信制御部２５、ＲＡＭ２６、キー入力部１１が接続される他に、液晶表示部（ＬＣＤ）１６およびタッチパネル１７が接続される。
【００３３】
ＲＡＭ２６には、表示データメモリ２６ａ、入力座標データメモリ２６ｂ、入力イメージデータメモリ２６ｃ、数式表示データメモリ２６ｄ、数式演算データメモリ２６ｅの他、各種の計算処理に伴い制御部２１に入出力される種々のデータが必要に応じて記憶されるデータメモリが確保される。
【００３４】
表示データメモリ２６ａには、表示部１６に表示させるための表示画面サイズで生成されたビットマップパターンのデータが記憶される。
【００３５】
入力座標データメモリ２６ｂには、タッチパネル１７における現在のタッチ操作位置に対応する座標データが記憶される。
【００３６】
図３は、前記グラフ関数電卓１０の入力イメージデータメモリ２６ｃに記憶される入力イメージデータの内容を示す図である。
【００３７】
この入力イメージデータメモリ２６ｃには、ヘッダに続けて、タッチパネル１７での手書き入力に伴い当該タッチパネル１７から出力された手書きの軌跡を座標列にしたデータｄ１，ｄ２，…が記憶される。なお、手書き入力の直前に、前記タッチパネル表示部１６（１７）に表示された認識ガイドボタンＧにより手書き入力すべき位置または種類が指定された場合には、当該指定された位置または種類の認識ガイドデータがヘッダの直後に書き込まれる。
【００３８】
図４は、前記グラフ関数電卓１０の数式表示データメモリ２６ｄに記憶される数式表示データの内容を示す図である。
【００３９】
この数式表示データメモリ２６ｄには、タッチパネル１７から手書きで入力され前記手書き認識プログラム２２ｂにより認識処理されて得られた数式の各構成要素のテキストが、表示画面上のどの位置にどの大きさで表示するかを示す表示制御コードＣｎに対応付けられて記憶される。
【００４０】
図５は、前記グラフ関数電卓１０の数式演算データメモリ２６ｅに記憶される数式演算データの内容を示す図である。
【００４１】
この数式演算データメモリ２６ｅには、タッチパネル１７から手書きで入力された数字・文字・記号の手書きデータが、前記手書き認識プログラム２２ａにより認識処理されて得られた数式を演算処理するためのデータが演算コードとして記憶される。
【００４２】
このグラフ関数電卓１０では、手書き数式入力モードにおいて前記手書き認識プログラム２２ｂにより手書きデータを認識処理するときに、個々の手書き入力文字毎に、該手書き文字について数式として認識対象とする位置や文字種を、前記認識ガイドボタンＧにより指定できる。
【００４３】
次に、前記構成のグラフ関数電卓１０における手書き数式認識機能について説明する。
【００４４】
図６は、前記グラフ関数電卓１０の手書き入力処理を示すフローチャートである。
【００４５】
図７は、前記グラフ関数電卓１０の手書き入力処理に伴う手書き認識処理を示すフローチャートである。
【００４６】
図８は、前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その１）を示す図である。
【００４７】
［ＭＥＮＵ］（メニュー）キーの操作に応じて表示部１６に表示される動作モードの選択画面（図示せず）に従って、このグラフ関数電卓１０の動作モードが手書き数式入力モードに設定されると、図８に示すように、表示画面の下端に沿って認識ガイドボタンＧが表示される（ステップＳ１）。
【００４８】
ここで、ユーザが手書き入力しようとする１キャラクタ毎に、入力するキャラクタの数式としての位置または種類を前記認識ガイドボタンＧにより指定する。
【００４９】
例えば、積分記号「∫」を手書き入力するのに、前記認識ガイドボタンＧの位置指定用ボタン［中段］がタッチペン（図示せず）によりタッチされると（ステップＳ３（Ｙｅｓ））、ＲＡＭ２６内の入力イメージデータメモリ２６ｃのヘッダに続けて、認識ガイドデータ［中段］が書き込まれる（ステップＳ４）。
【００５０】
そして、前記積分記号「∫」がタッチパネル表示部１６（１７）にて手書き入力されると（ステップＳ５（Ｙｅｓ））、その手書きの軌跡の座標データｄ１，ｄ２，…が前記入力イメージデータメモリ２６ｃの認識ガイドデータ［中段］に続けて順次書き込まれると共に、表示部１６に手書き数式データＦｈとして表示される（ステップＳ６）。
【００５１】
この後、前記手書きによる積分記号「∫」の書き終えに伴い、タッチパネル１７からタッチペンが離れたと判断され（ステップＳ７（Ｙｅｓ））、これから一定時間が経過することで１キャラクタの手書き入力が終了し認識処理への移行であると判断されると（ステップＳ８（Ｙｅｓ））、前記入力イメージデータメモリ２６ｃに書き込まれた認識ガイドデータ［中段］と手書き軌跡の座標列ｄ１，ｄ２，…に基づき、図７における手書き認識処理が実行される（ステップＳＡ）。
【００５２】
手書き認識処理が起動されると、先ず、前記入力イメージデータメモリ２６ｃのヘッダに続けて認識ガイドデータが有るか否か判断される（ステップＡ１）。
【００５３】
ここで、認識ガイドデータが有ると判断されると（ステップＡ１（Ｙｅｓ））、当該認識ガイドデータ［中段］が読み取られ（ステップＡ２）、この認識ガイドデータ［中段］に応じた数式としての文字・記号、種類の認識データベースに基づき、前記手書き軌跡の座標列ｄ１，ｄ２，…が数式としての積分記号「∫」であると認識される（ステップＡ３）。
【００５４】
すると、前記図４で示したように、数式表示データメモリ２６ｄに対して積分記号の表示制御コードＣ１と対応付けてそのテキスト「∫」が書き込まれ、数式表示データが生成される（ステップＡ４）。
【００５５】
また、図５（Ｂ）に示すように、数式演算データメモリ２６ｅに対して積分「∫」の演算コードが書き込まれ、数式演算データが生成される（ステップＡ５）。
【００５６】
一方、前記ステップＡ１において、入力イメージデータメモリ２６ｃのヘッダに続けて認識ガイドデータが無いと判断された場合は（ステップＡ１（Ｎｏ））、同ヘッダに続けて書き込まれた手書き軌跡の座標列ｄ１，ｄ２，…に基づく形状と位置から、数式としての文字・記号とその種類が認識される（ステップＡ６）。
【００５７】
そして、この認識された数式としての文字・記号とその種類に従い、前記数式表示データメモリ２６ｄに対して表示制御コードＣｎと対応付けて当該文字・記号のテキストが書き込まれ、数式表示データが生成される（ステップＡ４）。
【００５８】
また、数式演算データメモリ２６ｅに対して同認識された文字・記号とその種類に対応した演算コードが書き込まれ、数式演算データが生成される（ステップＡ５）。
【００５９】
すると、前記数式表示データメモリ２６ｄに書き込まれた積分記号の表示制御コードＣ１とそのテキスト「∫」に従い、表示部１６に認識数式データＦｎが表示される（ステップＳ９）。
【００６０】
続いて、積分の始値を手書き入力するのに、前記認識ガイドボタンＧの種類指定用ボタン［始点］がタッチされると（ステップＳ３（Ｙｅｓ））、前記入力イメージデータメモリ２６ｃのヘッダに続けて、認識ガイドデータ［始点］が書き込まれる（ステップＳ４）。
【００６１】
そして、前記積分の始値「１」がタッチパネル表示部１６（１７）にて前記積分記号「∫」に合わせて手書き入力されると（ステップＳ５（Ｙｅｓ））、その手書きの軌跡の座標データｄ１，ｄ２，…が前記入力イメージデータメモリ２６ｃの認識ガイドデータ［始点］に続けて順次書き込まれると共に、表示部１６に手書き数式データＦｈとして表示される（ステップＳ６）。
【００６２】
この後、前記手書きによる積分の始値「１」の書き終えに伴い、タッチパネル１７からタッチペンが離れたと判断され（ステップＳ７（Ｙｅｓ））、これから一定時間が経過することで前回同様に１キャラクタの手書き入力が終了し認識処理への移行であると判断されると（ステップＳ８（Ｙｅｓ））、前記入力イメージデータメモリ２６ｃに書き込まれた認識ガイドデータ［始点］と手書き軌跡の座標列ｄ１，ｄ２，…に基づき、図７における手書き認識処理が実行される（ステップＳＡ）。
【００６３】
ここで、認識ガイドデータが有ると判断されると（ステップＡ１（Ｙｅｓ））、当該認識ガイドデータ［始点］が読み取られ（ステップＡ２）、この認識ガイドデータ［始点］に応じた数式としての文字・記号、種類の認識データベースに基づき、前記手書き軌跡の座標列ｄ１，ｄ２，…が数式としての積分の始値「１」であると認識される（ステップＡ３）。
【００６４】
すると、前記図４で示したように、数式表示データメモリ２６ｄに対して積分の始値の表示制御コードＣ２と対応付けてそのテキスト「１」が書き込まれ、数式表示データが生成される（ステップＡ４）。
【００６５】
また、図５（Ｂ）に示すように、数式演算データメモリ２６ｅに対して積分の始値「１」の数値コードが書き込まれ、数式演算データが生成される（ステップＡ５）。
【００６６】
すると、前記数式表示データメモリ２６ｄに書き込まれた積分の始値の表示制御コードＣ２とそのテキスト「１」に従い、表示部１６に認識数式データＦｎが表示される（ステップＳ９）。
【００６７】
この後、前記同様に種類認識ガイド「終点」を指定して積分の終値「２」を手書き入力し、また、位置認識ガイド「中段」を指定して積分の変数「ｘ」を手書き入力し、また、種類認識ガイド「べき乗」を指定して前記変数「ｘ」のべき乗値「２」を手書き入力し、また、位置認識ガイド「中段」を指定して積分識別子「ｄｘ」を手書き入力すると、その都度、当該指定の認識ガイドに応じた文字・記号、種類の認識データベースに基づく手書き認識処理が実行されて数式表示データ（２６ｄ）および数式演算データ（２６ｅ）が生成され、図８に示すように、順次手書き数式データＦｈとして表示されながら認識数式データＦｎとして表示される（ステップＳ２〜Ｓ９）。
【００６８】
こうして、手書き入力された積分の数式［∫(1~2)ｘ2dx］（以下、明細書中の積分の数式に記載される（１〜２）は積分範囲を示す）が手書き数式データＦｈおよび認識数式データＦｎとして表示された状態で、［ＥＸＥ］（実行）キーが操作されると（ステップＳ１０（Ｙｅｓ））、数式演算データメモリ２６ｅに生成された前記数式の演算用データに従った演算処理が実行され、その結果データが表示部１６に表示される（ステップＳ１１）。
【００６９】
図９は、前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その２）を示す図である。
【００７０】
図１０は、前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その３）を示す図である。
【００７１】
前記図６・図７で示した手書き入力処理（ステップＳ１〜Ｓ１０）に従い、ユーザとしては前記同様の積分の数式［∫(1~2)ｘ2dx］を手書き入力したものの、認識ガイドボタンＧを利用せずに入力したため、そのべき乗値「２」が、図５（Ａ）および図９に示すように乗算値「２」となり、意図しない数式［∫(1~2)ｘ2dx］として認識されてしまった場合に、［訂正］キー１４Ｔが操作されると（ステップＳ２（Ｙｅｓ））、当該数式の誤った認識部分を訂正するための訂正モードに設定される。
【００７２】
そして、タッチパネル表示部１６（１７）に表示された認識数式データＦｎの訂正対象とするテキスト「２」がタッチされて指定されると（ステップＳ１２（Ｙｅｓ））、図１０に示すように、当該認識数式データＦｎの指定されたテキスト「２」が反転表示Ｈされると共に、手書き数式データＦｈにおける対応する手書き部が消去される（ステップＳ１３）。
【００７３】
ここで、前記訂正対象としたテキスト「２」をべき乗値「２」として訂正するために、認識ガイドボタンＧの種類指定用ボタン［べき乗］がタッチされて選択されると（ステップＳ１４（Ｙｅｓ））、当該訂正対象のテキスト「２」が、選択された認識ガイド［べき乗］に応じた数式としての文字・記号、種類の認識データベースに基づき、べき乗値「２」として訂正されて認識される。これにより、数式表示データメモリ２６ｄ（図４参照）に記憶されている数式表示データの訂正対象テキスト「２」の表示制御コードＣ５が訂正されると共に、数式演算データメモリ２６ｅに記憶されている数式演算データも、図５（Ｂ）に示すようにその数値「２」の乗算コード「×」がべき乗コード「＾」に訂正される（ステップＳ１５）。
【００７４】
すると、前記図８で示したように、［∫(1~2)ｘ2dx］として訂正された認識数式データＦｎが表示部１６に表示される（ステップＳ９）。
【００７５】
一方、前記図１０で示したように、認識数式データＦｎの訂正対象のテキスト「２」が反転表示Ｈされると共に、手書き数式データＦｈにおける対応する手書き部が消去された状態で（ステップＳ１２（Ｙｅｓ）→Ｓ１３）、前記認識ガイドボタンＧによる認識ガイドの選択を行うことなく（ステップＳ１４（Ｎｏ））、前記消去された手書き部にべき乗値「２」を意識して書き直すと、当該書き直した手書き軌跡の座標列ｄ１，ｄ２，…に基づく形状と位置から、数式としての文字・記号とその種類が再認識されて訂正される。これにより、数式表示データメモリ２６ｄに記憶されている数式表示データの訂正対象テキストの表示制御コードＣｎが訂正されると共に、数式演算データメモリ２６ｅに記憶されている数式演算データも訂正される（ステップＳ１６）。
【００７６】
したがって、前記構成のグラフ関数電卓１０における手書き数式認識機能によれば、ユーザ操作に応じて手書き数式入力モードに設定されると、タッチパネル表示部１６（１７）に、手書き入力する各文字の数式としての位置や種類を文字入力の直前に認識補助情報として指定するための位置指定用ボタン［最下段］［下段］［中段］［上段］［最上段］および種類指定用ボタン［始点］［終点］［分母］［分子］［べき乗］からなる認識ガイドボタンＧが表示される。そして、任意の数式を構成する各文字・記号を手書き入力する際に、その都度、前記認識ガイドボタンＧにより各文字・記号に応じた認識ガイドを指定しながら同文字・記号を手書き入力すると、指定された認識ガイドに応じた数式としての文字・記号、種類の認識データベースに基づき、手書き入力された各文字・記号が認識され、表示制御コードＣｎと認識テキストからなる数式表示データ（２６ａ）が生成され認識数式データＦｎとして表示されると共に、演算コードからなる数式演算データ（２６ｅ）が生成される。
【００７７】
このため、手書き入力された文字や記号間の位置関係が微妙な場合でも、ユーザの意図する数式として効率よく認識できるようになる。
【００７８】
また、前記構成のグラフ関数電卓１０における手書き数式認識機能によれば、［訂正］キーを操作した訂正モードにおいて、タッチパネル表示部１６（１７）に認識されて表示された認識数式データＦｎの訂正対象のテキストを指定し、前記認識ガイドボタンＧにより訂正したい文字・記号に応じた認識ガイドを選択する。すると、選択された認識ガイドに応じた数式としての文字・記号、種類の認識データベースに基づき、前記指定のテキストが再認識され、前記数式表示データ（２６ａ）が訂正されて新たな認識数式データＦｎとして表示されると共に、前記数式演算データ（２６ｅ）も訂正される。
【００７９】
このため、一旦手書き入力した数式を構成する文字・記号について、当該文字・記号のテキストは同じで数式としての位置や種類が異なる場合など、簡単且つ効率よく訂正できるようになる。
【００８０】
なお、前記各実施形態において記載した手法、すなわち、図６のフローチャートに示す手書き入力処理、図７のフローチャートに示す前記手書き入力処理に伴う手書き認識処理等の各手法は、コンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ(登録商標)・ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体２３に格納して配布することができる。そして、タッチパネル表示部１６（１７）を備えた電子機器のコンピュータは、この外部記録媒体２３に記録されたプログラムを記録媒体読み取り部２４によって読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した数式としての位置や種類を指定可能な手書きの文字・記号による数式認識機能を実現し、前述した手法による同様の処理を実行することができる。
【００８１】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）３０から前記のプログラムデータを取り込み、前述した数式としての位置や種類を指定可能な手書きの文字・記号による数式認識機能を実現することもできる。
【００８２】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【符号の説明】
【００８３】
１０ …グラフ関数電卓（電子計算機）
１１ …キー入力部
１２ …数字・文字・演算記号キー群
１３ …計算機能設定キー群
１４ …モード設定キー群
１４Ｔ…［訂正］キー
１５ …カーソルキー
１６ …液晶ドットマトリクス型表示部
１７ …タッチパネル
２１ …制御部（ＣＰＵ）
２２ …記憶装置
２２ａ…計算機制御プログラム
２２ｂ…手書き認識プログラム
２３ …外部記憶媒体
２４ …記憶媒体読み込み部
２５ …通信制御部
２６ …ＲＡＭ
２６ａ…表示データメモリ
２６ｂ…入力座標データメモリ
２６ｃ…入力イメージデータメモリ
２６ｄ…数式表示データメモリ
２６ｅ…数式演算データメモリ
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク
Ｇ …認識ガイドボタン
Ｆｈ …手書き数式データ
Ｆｎ …認識数式データ
Ｈ …反転表示
【技術分野】
【０００１】
本発明は、手書き数式認識機能を備えた電子計算機およびその制御プログラムに関する。
【背景技術】
【０００２】
従来から、三角関数などの関数計算機能を備えた小型電子式計算機（関数電卓）が広く実用されている。近年は、従来の関数電卓からその処理可能な関数の種類や計算速度などの各機能を格段に向上させると共に、任意の関数式をグラフにして表示したり、プログラミングによる計算機能も備えたりしたより高機能なグラフ関数電卓が実用されている。
【０００３】
このようなグラフ関数電卓にあっては、高機能であるが故に多種多様な種類の数字・文字・記号を入力可能にする必要があり、キーの数が多くなるのは勿論、簡単な数式、複雑な数式、プログラムを含め、その入力すべき内容に応じて予め設定された順序で各種のキーを選択的に入力しなければならない。
【０００４】
例えば定積分の数式を入力する場合には、積分記号“∫”→積分区間の上限値を示す記号“＾”→上限値“ａ”→下限値を示す記号“＿”→下限値“ｂ”→被積分値“ｘ”の順にキー入力する。
【０００５】
このように、入力したい数式の種類に応じた様々なキー入力の順序を、ユーザが全て覚えるのは負担が大きいため、ユーザがタッチパネルを使用して手書きで入力した数式を構成する数値や記号などの部品を認識し、所望の数式を入力することのできる手書き数式の認識装置が考えられている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−０７２７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の手書き数式の認識装置では、手書き入力されたあらゆる数値や記号などを一部品ずつ、膨大な１つの認識データベースに基づき照合・認識処理するために、認識処理に要する時間が長くなる。また、手書き入力された文字や記号間の位置関係が微妙な場合は、ユーザの意図する数式として認識されない場合がある。
【０００８】
本発明は、このような課題に鑑みなされたもので、手書き入力した数式の認識率を大幅に向上させることが可能になる手書き数式認識機能を備えた電子計算機およびその制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の電子計算機は、手書き数式認識機能を備えた電子計算機であって、タッチパネル式表示部と、ユーザ操作に応じて認識すべき手書き文字の認識補助情報を入力する認識補助入力手段と、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された認識補助情報に基づき数式の文字として認識する手書き数式認識手段と、この手書き数式認識手段により認識された数式の文字を出力する認識数式出力手段と、を備えたことを特徴としている。
【００１０】
請求項２に記載の電子計算機は、前記請求項１に記載の手書き数式認識機能を備えた電子計算機において、前記認識補助入力手段は、ユーザ操作に応じて認識すべき手書き文字の数式としての位置情報を入力し、前記手書き数式認識手段は、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された数式としての位置情報に基づき、数式の該当する位置の文字として認識する、ことを特徴としている。
【００１１】
請求項３に記載の電子計算機は、前記請求項１に記載の手書き数式認識機能を備えた電子計算機において、前記認識補助入力手段は、ユーザ操作に応じて認識すべき手書き文字の数式としての種類情報を入力し、前記手書き数式認識手段は、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された数式としての種類情報に基づき、数式の該当する種類の文字として認識する、ことを特徴としている。
【００１２】
請求項４に記載の電子計算機は、前記請求項１に記載の手書き数式認識機能を備えた電子計算機において、前記認識数式出力手段は、前記手書き数式認識手段により認識された数式の文字を前記タッチパネル式表示部に表示させ、ユーザ操作に応じて訂正モードを設定する訂正モード設定手段と、この訂正モード設定手段により設定された訂正モードにおいて、前記認識数式出力手段により前記タッチパネル式表示部に表示された数式の中からユーザ操作に応じて指定された訂正対象の文字を識別表示させる訂正文字指定表示手段と、この訂正文字指定表示手段により識別表示された数式の中の文字を、前記認識補助入力手段により新たに入力された認識補助情報に基づき数式の文字として再認識する数式訂正認識手段と、この数式訂正認識手段により再認識された数式の文字に応じて、前記訂正文字指定表示手段により識別表示された数式の中の文字を訂正して表示させる数式訂正表示手段と、を備えたことを特徴としている。
【００１３】
請求項５に記載のプログラムは、タッチパネル式表示部を有する手書き数式認識機能を備えた電子計算機のコンピュータを制御するためのプログラムであって、前記コンピュータを、ユーザ操作に応じて認識すべき手書き文字の認識補助情報を入力する認識補助入力手段、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された認識補助情報に基づき数式の文字として認識する手書き数式認識手段、この手書き数式認識手段により認識された数式の文字を前記タッチパネル式表示部に出力させる認識数式出力手段、として機能させることを特徴としている。
【発明の効果】
【００１４】
本発明によれば、手書き入力した数式の認識率を大幅に向上させることが可能になる手書き数式認識機能を備えた電子計算機およびその制御プログラムを提供できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の手書き数式認識機能を備えた電子計算機の実施形態に係るグラフ関数電卓１０の外観構成を示す正面図。
【図２】前記グラフ関数電卓１０の電子回路の構成を示すブロック図。
【図３】前記グラフ関数電卓１０の入力イメージデータメモリ２６ｃに記憶される入力イメージデータの内容を示す図。
【図４】前記グラフ関数電卓１０の数式表示データメモリ２６ｄに記憶される数式表示データの内容を示す図。
【図５】前記グラフ関数電卓１０の数式演算データメモリ２６ｅに記憶される数式演算データの内容を示す図。
【図６】前記グラフ関数電卓１０の手書き入力処理を示すフローチャート。
【図７】前記グラフ関数電卓１０の手書き入力処理に伴う手書き認識処理を示すフローチャート。
【図８】前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その１）を示す図。
【図９】前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その２）を示す図。
【図１０】前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その３）を示す図。
【発明を実施するための形態】
【００１６】
以下図面により本発明の実施の形態について説明する。
【００１７】
図１は、本発明の手書き数式認識機能を備えた電子計算機の実施形態に係るグラフ関数電卓１０の外観構成を示す正面図である。
【００１８】
このグラフ関数電卓１０は、その携帯性の必要からユーザが片手で十分把持し片手で操作可能な小型サイズからなり、この電卓１０の本体正面にはキー入力部１１および液晶ドットマトリクス型の表示部１６が設けられる。
【００１９】
この表示部１６は、その表示画面上に透明タブレットのタッチパネル１７が重ねて設けられ、手書き入力部としても動作する。
【００２０】
キー入力部１１には、数字・文字・各種算術記号を入力したり計算の実行を指示したりするための数字・文字・演算記号キー群１２、各種の関数機能を設定したりメモリ機能を設定したりするための計算機能設定キー群１３、各種の動作モードを設定したりメニュー画面を表示させたりするためのモード設定キー群１４、表示部１６に表示されたカーソルの移動操作やデータ項目の選択操作などを行うためのカーソルキー１５、表示部１６の下端に沿ってメニュー表示される各種の機能を選択的に指定するためのファンクションキー［Ｆ１］〜［Ｆ４］などが備えられる。
【００２１】
前記数字・文字・演算記号キー群１２としては、［０］〜［９］（数字）キー、［＋］［−］［×］［÷］（算術記号）キー、［ＤＥＬ］（削除）キー、［ＥＸＥ］（実行）キー、［ＡＣ］（クリア）キーなどが配列される。
【００２２】
前記計算機能設定キー群１３としては、［ｌｏｇ］（対数）キー、「√」（平方根）キー、三角関数の［ｓｉｎ］キー、［ｃｏｓ］キー、［ｔａｎ］キーなどが配列される。
【００２３】
前記モード設定キー群１４としては、［Ｍｅｎｕ］（メニュー）キー、［Ｉｎｓｅｒｔ」（挿入）キー、［Ｇｒａｐｈ］（グラフ）キー、［Ｔｒａｃ］（トレース）キー、［ＥＸＩＴ］（終了）キー、［訂正］キー１４Ｔなどが配列される。
【００２４】
［訂正］キー１４Ｔは、手書き数式入力モードの設定状態において、前記表示部１６およびタッチパネル１７からなる手書き入力部にてユーザ任意の数式が手書き入力されて認識された際、当該認識された数式の誤認識部分を訂正するための訂正モードに設定するのに操作される。
【００２５】
このグラフ関数電卓１０は、動作モードを手書き数式入力モードに設定すると、タッチパネル表示部１６（１７）に対して、手書き入力する各文字の数式としての位置と種類とを、文字入力の直前に認識補助情報として指定するための認識ガイドボタンＧを表示する機能を備える。
【００２６】
具体的には、例えば数式上での位置指定用ボタンを［最下段］［下段］［中段］［上段］［最上段］として表示し、種類指定用ボタンを［始点］［終点］［分母］［分子］［べき乗］として表示する。位置指定用ボタンは、その指定後に手書きされるキャラクタに関する手書き認識において、数式のどこに位置するかを認識するための補助情報として与えるもので、例えば［最下段］はΣの始値、［最上段］はΣの終値の入力に用い、種類指定用ボタンは、その指定後に手書きされるキャラクタに関する手書き認識において、数式の何の構成要素かを認識するための補助情報として与えるもの例えば、［始点］は定積分の始値、［終点］は定積分の終値の入力に用いる。
【００２７】
この手書き数式入力モードを設定したタッチパネル表示部１６（１７）において、前記認識ガイドボタンＧにより直後に入力する各文字の数式としての位置や種類を指定しながら任意の数式を手書き入力すると、手書きされた数式データＦｈがそのまま表示されると共に、前記指定された数式としての位置や種類に基づき認識された数式データＦｎが画面左上に表示される。
【００２８】
図２は、前記グラフ関数電卓１０の電子回路の構成を示すブロック図である。
【００２９】
このグラフ関数電卓１０は、コンピュータである制御部（ＣＰＵ）２１を備えている。
【００３０】
制御部（ＣＰＵ）２１は、記憶装置２２に予め記憶されているシステムプログラム、あるいはメモリカードなどの外部記憶媒体２３から記憶媒体読み取り部２４を介して記憶装置２２に読み込まれた計算機制御プログラム、あるいは通信ネットワークＮ上のＷｅｂサーバ（プログラムサーバ）３０から通信制御部２５を介してダウンロードされ前記記憶装置２２に読み込まれた計算機制御プログラムに従い、ＲＡＭ２６を作業用メモリとして回路各部の動作を制御する。そして、前記記憶装置２２に予め記憶されたシステムプログラムや計算機制御プログラムは、キー入力部１１からのキー入力信号に応じて起動される。
【００３１】
記憶装置２２には、前記システムプログラムや計算機制御プログラム２２ａの他、各種の動作モードにおいてタッチパネル１７を使用して手書きで入力される手書きデータ（入力イメージデータ２６ｃ）を、各種の数字・文字・記号として認識し変換するための手書き認識プログラム２２ｂなどが記憶される。
【００３２】
前記制御部（ＣＰＵ）２１には、前記記憶装置２２、記憶媒体読み取り部２４、通信制御部２５、ＲＡＭ２６、キー入力部１１が接続される他に、液晶表示部（ＬＣＤ）１６およびタッチパネル１７が接続される。
【００３３】
ＲＡＭ２６には、表示データメモリ２６ａ、入力座標データメモリ２６ｂ、入力イメージデータメモリ２６ｃ、数式表示データメモリ２６ｄ、数式演算データメモリ２６ｅの他、各種の計算処理に伴い制御部２１に入出力される種々のデータが必要に応じて記憶されるデータメモリが確保される。
【００３４】
表示データメモリ２６ａには、表示部１６に表示させるための表示画面サイズで生成されたビットマップパターンのデータが記憶される。
【００３５】
入力座標データメモリ２６ｂには、タッチパネル１７における現在のタッチ操作位置に対応する座標データが記憶される。
【００３６】
図３は、前記グラフ関数電卓１０の入力イメージデータメモリ２６ｃに記憶される入力イメージデータの内容を示す図である。
【００３７】
この入力イメージデータメモリ２６ｃには、ヘッダに続けて、タッチパネル１７での手書き入力に伴い当該タッチパネル１７から出力された手書きの軌跡を座標列にしたデータｄ１，ｄ２，…が記憶される。なお、手書き入力の直前に、前記タッチパネル表示部１６（１７）に表示された認識ガイドボタンＧにより手書き入力すべき位置または種類が指定された場合には、当該指定された位置または種類の認識ガイドデータがヘッダの直後に書き込まれる。
【００３８】
図４は、前記グラフ関数電卓１０の数式表示データメモリ２６ｄに記憶される数式表示データの内容を示す図である。
【００３９】
この数式表示データメモリ２６ｄには、タッチパネル１７から手書きで入力され前記手書き認識プログラム２２ｂにより認識処理されて得られた数式の各構成要素のテキストが、表示画面上のどの位置にどの大きさで表示するかを示す表示制御コードＣｎに対応付けられて記憶される。
【００４０】
図５は、前記グラフ関数電卓１０の数式演算データメモリ２６ｅに記憶される数式演算データの内容を示す図である。
【００４１】
この数式演算データメモリ２６ｅには、タッチパネル１７から手書きで入力された数字・文字・記号の手書きデータが、前記手書き認識プログラム２２ａにより認識処理されて得られた数式を演算処理するためのデータが演算コードとして記憶される。
【００４２】
このグラフ関数電卓１０では、手書き数式入力モードにおいて前記手書き認識プログラム２２ｂにより手書きデータを認識処理するときに、個々の手書き入力文字毎に、該手書き文字について数式として認識対象とする位置や文字種を、前記認識ガイドボタンＧにより指定できる。
【００４３】
次に、前記構成のグラフ関数電卓１０における手書き数式認識機能について説明する。
【００４４】
図６は、前記グラフ関数電卓１０の手書き入力処理を示すフローチャートである。
【００４５】
図７は、前記グラフ関数電卓１０の手書き入力処理に伴う手書き認識処理を示すフローチャートである。
【００４６】
図８は、前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その１）を示す図である。
【００４７】
［ＭＥＮＵ］（メニュー）キーの操作に応じて表示部１６に表示される動作モードの選択画面（図示せず）に従って、このグラフ関数電卓１０の動作モードが手書き数式入力モードに設定されると、図８に示すように、表示画面の下端に沿って認識ガイドボタンＧが表示される（ステップＳ１）。
【００４８】
ここで、ユーザが手書き入力しようとする１キャラクタ毎に、入力するキャラクタの数式としての位置または種類を前記認識ガイドボタンＧにより指定する。
【００４９】
例えば、積分記号「∫」を手書き入力するのに、前記認識ガイドボタンＧの位置指定用ボタン［中段］がタッチペン（図示せず）によりタッチされると（ステップＳ３（Ｙｅｓ））、ＲＡＭ２６内の入力イメージデータメモリ２６ｃのヘッダに続けて、認識ガイドデータ［中段］が書き込まれる（ステップＳ４）。
【００５０】
そして、前記積分記号「∫」がタッチパネル表示部１６（１７）にて手書き入力されると（ステップＳ５（Ｙｅｓ））、その手書きの軌跡の座標データｄ１，ｄ２，…が前記入力イメージデータメモリ２６ｃの認識ガイドデータ［中段］に続けて順次書き込まれると共に、表示部１６に手書き数式データＦｈとして表示される（ステップＳ６）。
【００５１】
この後、前記手書きによる積分記号「∫」の書き終えに伴い、タッチパネル１７からタッチペンが離れたと判断され（ステップＳ７（Ｙｅｓ））、これから一定時間が経過することで１キャラクタの手書き入力が終了し認識処理への移行であると判断されると（ステップＳ８（Ｙｅｓ））、前記入力イメージデータメモリ２６ｃに書き込まれた認識ガイドデータ［中段］と手書き軌跡の座標列ｄ１，ｄ２，…に基づき、図７における手書き認識処理が実行される（ステップＳＡ）。
【００５２】
手書き認識処理が起動されると、先ず、前記入力イメージデータメモリ２６ｃのヘッダに続けて認識ガイドデータが有るか否か判断される（ステップＡ１）。
【００５３】
ここで、認識ガイドデータが有ると判断されると（ステップＡ１（Ｙｅｓ））、当該認識ガイドデータ［中段］が読み取られ（ステップＡ２）、この認識ガイドデータ［中段］に応じた数式としての文字・記号、種類の認識データベースに基づき、前記手書き軌跡の座標列ｄ１，ｄ２，…が数式としての積分記号「∫」であると認識される（ステップＡ３）。
【００５４】
すると、前記図４で示したように、数式表示データメモリ２６ｄに対して積分記号の表示制御コードＣ１と対応付けてそのテキスト「∫」が書き込まれ、数式表示データが生成される（ステップＡ４）。
【００５５】
また、図５（Ｂ）に示すように、数式演算データメモリ２６ｅに対して積分「∫」の演算コードが書き込まれ、数式演算データが生成される（ステップＡ５）。
【００５６】
一方、前記ステップＡ１において、入力イメージデータメモリ２６ｃのヘッダに続けて認識ガイドデータが無いと判断された場合は（ステップＡ１（Ｎｏ））、同ヘッダに続けて書き込まれた手書き軌跡の座標列ｄ１，ｄ２，…に基づく形状と位置から、数式としての文字・記号とその種類が認識される（ステップＡ６）。
【００５７】
そして、この認識された数式としての文字・記号とその種類に従い、前記数式表示データメモリ２６ｄに対して表示制御コードＣｎと対応付けて当該文字・記号のテキストが書き込まれ、数式表示データが生成される（ステップＡ４）。
【００５８】
また、数式演算データメモリ２６ｅに対して同認識された文字・記号とその種類に対応した演算コードが書き込まれ、数式演算データが生成される（ステップＡ５）。
【００５９】
すると、前記数式表示データメモリ２６ｄに書き込まれた積分記号の表示制御コードＣ１とそのテキスト「∫」に従い、表示部１６に認識数式データＦｎが表示される（ステップＳ９）。
【００６０】
続いて、積分の始値を手書き入力するのに、前記認識ガイドボタンＧの種類指定用ボタン［始点］がタッチされると（ステップＳ３（Ｙｅｓ））、前記入力イメージデータメモリ２６ｃのヘッダに続けて、認識ガイドデータ［始点］が書き込まれる（ステップＳ４）。
【００６１】
そして、前記積分の始値「１」がタッチパネル表示部１６（１７）にて前記積分記号「∫」に合わせて手書き入力されると（ステップＳ５（Ｙｅｓ））、その手書きの軌跡の座標データｄ１，ｄ２，…が前記入力イメージデータメモリ２６ｃの認識ガイドデータ［始点］に続けて順次書き込まれると共に、表示部１６に手書き数式データＦｈとして表示される（ステップＳ６）。
【００６２】
この後、前記手書きによる積分の始値「１」の書き終えに伴い、タッチパネル１７からタッチペンが離れたと判断され（ステップＳ７（Ｙｅｓ））、これから一定時間が経過することで前回同様に１キャラクタの手書き入力が終了し認識処理への移行であると判断されると（ステップＳ８（Ｙｅｓ））、前記入力イメージデータメモリ２６ｃに書き込まれた認識ガイドデータ［始点］と手書き軌跡の座標列ｄ１，ｄ２，…に基づき、図７における手書き認識処理が実行される（ステップＳＡ）。
【００６３】
ここで、認識ガイドデータが有ると判断されると（ステップＡ１（Ｙｅｓ））、当該認識ガイドデータ［始点］が読み取られ（ステップＡ２）、この認識ガイドデータ［始点］に応じた数式としての文字・記号、種類の認識データベースに基づき、前記手書き軌跡の座標列ｄ１，ｄ２，…が数式としての積分の始値「１」であると認識される（ステップＡ３）。
【００６４】
すると、前記図４で示したように、数式表示データメモリ２６ｄに対して積分の始値の表示制御コードＣ２と対応付けてそのテキスト「１」が書き込まれ、数式表示データが生成される（ステップＡ４）。
【００６５】
また、図５（Ｂ）に示すように、数式演算データメモリ２６ｅに対して積分の始値「１」の数値コードが書き込まれ、数式演算データが生成される（ステップＡ５）。
【００６６】
すると、前記数式表示データメモリ２６ｄに書き込まれた積分の始値の表示制御コードＣ２とそのテキスト「１」に従い、表示部１６に認識数式データＦｎが表示される（ステップＳ９）。
【００６７】
この後、前記同様に種類認識ガイド「終点」を指定して積分の終値「２」を手書き入力し、また、位置認識ガイド「中段」を指定して積分の変数「ｘ」を手書き入力し、また、種類認識ガイド「べき乗」を指定して前記変数「ｘ」のべき乗値「２」を手書き入力し、また、位置認識ガイド「中段」を指定して積分識別子「ｄｘ」を手書き入力すると、その都度、当該指定の認識ガイドに応じた文字・記号、種類の認識データベースに基づく手書き認識処理が実行されて数式表示データ（２６ｄ）および数式演算データ（２６ｅ）が生成され、図８に示すように、順次手書き数式データＦｈとして表示されながら認識数式データＦｎとして表示される（ステップＳ２〜Ｓ９）。
【００６８】
こうして、手書き入力された積分の数式［∫(1~2)ｘ2dx］（以下、明細書中の積分の数式に記載される（１〜２）は積分範囲を示す）が手書き数式データＦｈおよび認識数式データＦｎとして表示された状態で、［ＥＸＥ］（実行）キーが操作されると（ステップＳ１０（Ｙｅｓ））、数式演算データメモリ２６ｅに生成された前記数式の演算用データに従った演算処理が実行され、その結果データが表示部１６に表示される（ステップＳ１１）。
【００６９】
図９は、前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その２）を示す図である。
【００７０】
図１０は、前記グラフ関数電卓１０の手書き入力処理に伴う表示動作（その３）を示す図である。
【００７１】
前記図６・図７で示した手書き入力処理（ステップＳ１〜Ｓ１０）に従い、ユーザとしては前記同様の積分の数式［∫(1~2)ｘ2dx］を手書き入力したものの、認識ガイドボタンＧを利用せずに入力したため、そのべき乗値「２」が、図５（Ａ）および図９に示すように乗算値「２」となり、意図しない数式［∫(1~2)ｘ2dx］として認識されてしまった場合に、［訂正］キー１４Ｔが操作されると（ステップＳ２（Ｙｅｓ））、当該数式の誤った認識部分を訂正するための訂正モードに設定される。
【００７２】
そして、タッチパネル表示部１６（１７）に表示された認識数式データＦｎの訂正対象とするテキスト「２」がタッチされて指定されると（ステップＳ１２（Ｙｅｓ））、図１０に示すように、当該認識数式データＦｎの指定されたテキスト「２」が反転表示Ｈされると共に、手書き数式データＦｈにおける対応する手書き部が消去される（ステップＳ１３）。
【００７３】
ここで、前記訂正対象としたテキスト「２」をべき乗値「２」として訂正するために、認識ガイドボタンＧの種類指定用ボタン［べき乗］がタッチされて選択されると（ステップＳ１４（Ｙｅｓ））、当該訂正対象のテキスト「２」が、選択された認識ガイド［べき乗］に応じた数式としての文字・記号、種類の認識データベースに基づき、べき乗値「２」として訂正されて認識される。これにより、数式表示データメモリ２６ｄ（図４参照）に記憶されている数式表示データの訂正対象テキスト「２」の表示制御コードＣ５が訂正されると共に、数式演算データメモリ２６ｅに記憶されている数式演算データも、図５（Ｂ）に示すようにその数値「２」の乗算コード「×」がべき乗コード「＾」に訂正される（ステップＳ１５）。
【００７４】
すると、前記図８で示したように、［∫(1~2)ｘ2dx］として訂正された認識数式データＦｎが表示部１６に表示される（ステップＳ９）。
【００７５】
一方、前記図１０で示したように、認識数式データＦｎの訂正対象のテキスト「２」が反転表示Ｈされると共に、手書き数式データＦｈにおける対応する手書き部が消去された状態で（ステップＳ１２（Ｙｅｓ）→Ｓ１３）、前記認識ガイドボタンＧによる認識ガイドの選択を行うことなく（ステップＳ１４（Ｎｏ））、前記消去された手書き部にべき乗値「２」を意識して書き直すと、当該書き直した手書き軌跡の座標列ｄ１，ｄ２，…に基づく形状と位置から、数式としての文字・記号とその種類が再認識されて訂正される。これにより、数式表示データメモリ２６ｄに記憶されている数式表示データの訂正対象テキストの表示制御コードＣｎが訂正されると共に、数式演算データメモリ２６ｅに記憶されている数式演算データも訂正される（ステップＳ１６）。
【００７６】
したがって、前記構成のグラフ関数電卓１０における手書き数式認識機能によれば、ユーザ操作に応じて手書き数式入力モードに設定されると、タッチパネル表示部１６（１７）に、手書き入力する各文字の数式としての位置や種類を文字入力の直前に認識補助情報として指定するための位置指定用ボタン［最下段］［下段］［中段］［上段］［最上段］および種類指定用ボタン［始点］［終点］［分母］［分子］［べき乗］からなる認識ガイドボタンＧが表示される。そして、任意の数式を構成する各文字・記号を手書き入力する際に、その都度、前記認識ガイドボタンＧにより各文字・記号に応じた認識ガイドを指定しながら同文字・記号を手書き入力すると、指定された認識ガイドに応じた数式としての文字・記号、種類の認識データベースに基づき、手書き入力された各文字・記号が認識され、表示制御コードＣｎと認識テキストからなる数式表示データ（２６ａ）が生成され認識数式データＦｎとして表示されると共に、演算コードからなる数式演算データ（２６ｅ）が生成される。
【００７７】
このため、手書き入力された文字や記号間の位置関係が微妙な場合でも、ユーザの意図する数式として効率よく認識できるようになる。
【００７８】
また、前記構成のグラフ関数電卓１０における手書き数式認識機能によれば、［訂正］キーを操作した訂正モードにおいて、タッチパネル表示部１６（１７）に認識されて表示された認識数式データＦｎの訂正対象のテキストを指定し、前記認識ガイドボタンＧにより訂正したい文字・記号に応じた認識ガイドを選択する。すると、選択された認識ガイドに応じた数式としての文字・記号、種類の認識データベースに基づき、前記指定のテキストが再認識され、前記数式表示データ（２６ａ）が訂正されて新たな認識数式データＦｎとして表示されると共に、前記数式演算データ（２６ｅ）も訂正される。
【００７９】
このため、一旦手書き入力した数式を構成する文字・記号について、当該文字・記号のテキストは同じで数式としての位置や種類が異なる場合など、簡単且つ効率よく訂正できるようになる。
【００８０】
なお、前記各実施形態において記載した手法、すなわち、図６のフローチャートに示す手書き入力処理、図７のフローチャートに示す前記手書き入力処理に伴う手書き認識処理等の各手法は、コンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ(登録商標)・ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体２３に格納して配布することができる。そして、タッチパネル表示部１６（１７）を備えた電子機器のコンピュータは、この外部記録媒体２３に記録されたプログラムを記録媒体読み取り部２４によって読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した数式としての位置や種類を指定可能な手書きの文字・記号による数式認識機能を実現し、前述した手法による同様の処理を実行することができる。
【００８１】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）３０から前記のプログラムデータを取り込み、前述した数式としての位置や種類を指定可能な手書きの文字・記号による数式認識機能を実現することもできる。
【００８２】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【符号の説明】
【００８３】
１０ …グラフ関数電卓（電子計算機）
１１ …キー入力部
１２ …数字・文字・演算記号キー群
１３ …計算機能設定キー群
１４ …モード設定キー群
１４Ｔ…［訂正］キー
１５ …カーソルキー
１６ …液晶ドットマトリクス型表示部
１７ …タッチパネル
２１ …制御部（ＣＰＵ）
２２ …記憶装置
２２ａ…計算機制御プログラム
２２ｂ…手書き認識プログラム
２３ …外部記憶媒体
２４ …記憶媒体読み込み部
２５ …通信制御部
２６ …ＲＡＭ
２６ａ…表示データメモリ
２６ｂ…入力座標データメモリ
２６ｃ…入力イメージデータメモリ
２６ｄ…数式表示データメモリ
２６ｅ…数式演算データメモリ
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク
Ｇ …認識ガイドボタン
Ｆｈ …手書き数式データ
Ｆｎ …認識数式データ
Ｈ …反転表示
【特許請求の範囲】
【請求項１】
手書き数式認識機能を備えた電子計算機であって、
タッチパネル式表示部と、
ユーザ操作に応じて認識すべき手書き文字の認識補助情報を入力する認識補助入力手段と、
前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された認識補助情報に基づき数式の文字として認識する手書き数式認識手段と、
この手書き数式認識手段により認識された数式の文字を出力する認識数式出力手段と、
を備えたことを特徴とする手書き数式認識機能を備えた電子計算機。
【請求項２】
前記認識補助入力手段は、ユーザ操作に応じて認識すべき手書き文字の数式としての位置情報を入力し、
前記手書き数式認識手段は、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された数式としての位置情報に基づき、数式の該当する位置の文字として認識する、
ことを特徴とする請求項１に記載の手書き数式認識機能を備えた電子計算機。
【請求項３】
前記認識補助入力手段は、ユーザ操作に応じて認識すべき手書き文字の数式としての種類情報を入力し、
前記手書き数式認識手段は、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された数式としての種類情報に基づき、数式の該当する種類の文字として認識する、
ことを特徴とする請求項１に記載の手書き数式認識機能を備えた電子計算機。
【請求項４】
前記認識数式出力手段は、前記手書き数式認識手段により認識された数式の文字を前記タッチパネル式表示部に表示させ、
ユーザ操作に応じて訂正モードを設定する訂正モード設定手段と、
この訂正モード設定手段により設定された訂正モードにおいて、前記認識数式出力手段により前記タッチパネル式表示部に表示された数式の中からユーザ操作に応じて指定された訂正対象の文字を識別表示させる訂正文字指定表示手段と、
この訂正文字指定表示手段により識別表示された数式の中の文字を、前記認識補助入力手段により新たに入力された認識補助情報に基づき数式の文字として再認識する数式訂正認識手段と、
この数式訂正認識手段により再認識された数式の文字に応じて、前記訂正文字指定表示手段により識別表示された数式の中の文字を訂正して表示させる数式訂正表示手段と、
を備えたことを特徴とする請求項１に記載の手書き数式認識機能を備えた電子計算機。
【請求項５】
タッチパネル式表示部を有する手書き数式認識機能を備えた電子計算機のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
ユーザ操作に応じて認識すべき手書き文字の認識補助情報を入力する認識補助入力手段、
前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された認識補助情報に基づき数式の文字として認識する手書き数式認識手段、
この手書き数式認識手段により認識された数式の文字を前記タッチパネル式表示部に出力させる認識数式出力手段、
として機能させるためのプログラム。
【請求項１】
手書き数式認識機能を備えた電子計算機であって、
タッチパネル式表示部と、
ユーザ操作に応じて認識すべき手書き文字の認識補助情報を入力する認識補助入力手段と、
前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された認識補助情報に基づき数式の文字として認識する手書き数式認識手段と、
この手書き数式認識手段により認識された数式の文字を出力する認識数式出力手段と、
を備えたことを特徴とする手書き数式認識機能を備えた電子計算機。
【請求項２】
前記認識補助入力手段は、ユーザ操作に応じて認識すべき手書き文字の数式としての位置情報を入力し、
前記手書き数式認識手段は、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された数式としての位置情報に基づき、数式の該当する位置の文字として認識する、
ことを特徴とする請求項１に記載の手書き数式認識機能を備えた電子計算機。
【請求項３】
前記認識補助入力手段は、ユーザ操作に応じて認識すべき手書き文字の数式としての種類情報を入力し、
前記手書き数式認識手段は、前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された数式としての種類情報に基づき、数式の該当する種類の文字として認識する、
ことを特徴とする請求項１に記載の手書き数式認識機能を備えた電子計算機。
【請求項４】
前記認識数式出力手段は、前記手書き数式認識手段により認識された数式の文字を前記タッチパネル式表示部に表示させ、
ユーザ操作に応じて訂正モードを設定する訂正モード設定手段と、
この訂正モード設定手段により設定された訂正モードにおいて、前記認識数式出力手段により前記タッチパネル式表示部に表示された数式の中からユーザ操作に応じて指定された訂正対象の文字を識別表示させる訂正文字指定表示手段と、
この訂正文字指定表示手段により識別表示された数式の中の文字を、前記認識補助入力手段により新たに入力された認識補助情報に基づき数式の文字として再認識する数式訂正認識手段と、
この数式訂正認識手段により再認識された数式の文字に応じて、前記訂正文字指定表示手段により識別表示された数式の中の文字を訂正して表示させる数式訂正表示手段と、
を備えたことを特徴とする請求項１に記載の手書き数式認識機能を備えた電子計算機。
【請求項５】
タッチパネル式表示部を有する手書き数式認識機能を備えた電子計算機のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
ユーザ操作に応じて認識すべき手書き文字の認識補助情報を入力する認識補助入力手段、
前記タッチパネル式表示部に手書き入力されて表示された手書き文字を、前記認識補助入力手段により入力された認識補助情報に基づき数式の文字として認識する手書き数式認識手段、
この手書き数式認識手段により認識された数式の文字を前記タッチパネル式表示部に出力させる認識数式出力手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３３６２７（Ｐ２０１２−１３３６２７Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８５８９８（Ｐ２０１０−２８５８９８）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]