説明

画像表示装置、画像表示方法、及び画像表示プログラム

【課題】手書き入力を簡便なものとする画像表示装置、画像表示方法、及び画像表示プログラムを提供する。
【解決手段】タッチパネル24により入力されたストローク情報に係る座標情報を取得する取得手段50と、その取得手段50により取得された座標情報を記録する記録手段52と、その記録手段52により記録された座標情報が予め定められた条件を満たすか否かを判定する判定手段54と、その判定手段54の判定が肯定される場合には、過去に記録された座標情報とその判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出手段58と、その代表算出手段58により算出された代表となる座標情報に対応するストローク情報を表示装置22に表示させる表示出力手段60とを、備えたものであることから、1回1回の描線は思わしくないものであっても代表値を算出して総合的に利用することで、手書き入力を簡便なものとすることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を表示させる表示部を備えた画像表示装置、画像表示方法、及び画像表示プログラムの改良に関する。
【背景技術】
【0002】
画像を表示させる表示部と、手書き入力に相当するストローク情報の入力操作を受け付ける操作入力装置とを、備えた画像表示装置が知られている。例えば、画像を表示させると共に利用者の接触に応じて入力を行うタッチパネルディスプレイを備えた画像表示装置がそれである。そのような画像表示装置においては、上記タッチパネルディスプレイに対する接触を維持しつつその接触部位を移動させること等により所謂手書き入力に相当する情報の入力が可能とされる。斯かる画像表示装置において、入力された手書き入力情報の訂正を簡便なものとするための技術が提案されている。例えば、特許文献1に記載された手書き情報入力システムがそれである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−115907号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、前記従来の技術は、単に取消線の筆跡を検出することによりその取消線が引かれた手書き情報を取り消す技術に過ぎず、手書き入力を簡便化し得るものではなかった。すなわち、タッチパネルディスプレイ等による手書き入力では、紙に対して通常の筆記具で描くのとは描き心地が大きく異なるため、なかなか思ったように線を描くことができないという不具合があった。更に、うまく描けなかった線を修正しようと取り消した場合であっても、再び思わしくない線を描いてしまうことが考えられ、特に初心者にとっては利便性の低いものであった。このため、手書き入力を簡便なものとする画像表示装置、画像表示方法、及び画像表示プログラムの開発が求められていた。
【0005】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、手書き入力を簡便なものとする画像表示装置、画像表示方法、及び画像表示プログラムを提供することにある。
【課題を解決するための手段】
【0006】
斯かる目的を達成するために、本第1発明の要旨とするところは、画像を表示させる表示部と、手書き入力に相当するストローク情報の入力操作を受け付ける操作入力装置とを、備えた画像表示装置であって、前記操作入力装置により入力されたストローク情報に係る座標情報を取得する取得手段と、その取得手段により取得された座標情報を記録する記録手段と、その記録手段により記録された座標情報が予め定められた条件を満たすか否かを判定する判定手段と、その判定手段の判定が肯定される場合には、前記記録手段により過去に記録された座標情報とその判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出手段と、その代表算出手段により算出された代表となる座標情報に対応するストローク情報を前記表示部に表示させる表示出力手段とを、備えたことを特徴とするものである。
【0007】
また、前記目的を達成するために、本第2発明の要旨とするところは、画像を表示させる表示部と、手書き入力に相当するストローク情報の入力操作を受け付ける操作入力装置とを、備えた画像表示装置における画像表示方法であって、前記操作入力装置により入力されたストローク情報に係る座標情報を取得する取得過程と、その取得過程において取得された座標情報を記録する記録過程と、その記録過程において記録された座標情報が予め定められた条件を満たすか否かを判定する判定過程と、その判定過程の判定が肯定される場合には、前記記録過程において過去に記録された座標情報とその判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出過程と、その代表算出過程において算出された代表となる座標情報に対応するストローク情報を前記表示部に表示させる表示出力過程とを、含むことを特徴とするものである。
【0008】
また、前記目的を達成するために、本第3発明の要旨とするところは、画像を表示させる表示部と、手書き入力に相当するストローク情報の入力操作を受け付ける操作入力装置とを、備えた画像表示装置における制御装置を、前記操作入力装置により入力されたストローク情報に係る座標情報を取得する取得手段、その取得手段により取得された座標情報を記録する記録手段、その記録手段により記録された座標情報が予め定められた条件を満たすか否かを判定する判定手段、その判定手段の判定が肯定される場合には、前記記録手段により過去に記録された座標情報とその判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出手段、及びその代表算出手段により算出された代表となる座標情報に対応するストローク情報を前記表示部に表示させる表示出力手段として機能させることを特徴とする画像表示プログラムである。
【発明の効果】
【0009】
このように、前記第1発明によれば、うまく描けなかった線を消去するのではなく同じ部分に繰り返し描く前提において、1回1回の描線は思わしくないものであってもそれらを平均化する等、代表値を算出して総合的に利用することで、利用者の思っている線に近い描線を簡単に実現することができる。すなわち、手書き入力を簡便なものとする画像表示装置を提供することができる。
【0010】
ここで、前記第1発明において、好適には、前記記録手段により記録された座標情報に基づいて、前記判定手段による判定の条件に係る判定値を算出する判定値算出手段を備え、前記判定手段は、前記条件を満たすか否かの判定として、前記記録手段により記録された座標情報がその判定値算出手段により算出される判定値に該当するか否かを判定するものである。このようにすれば、所定のストローク情報に対応して繰り返し描かれた線に関して、実用的な態様で代表となる座標情報を算出することができ、利用者の思っている線に近い描線を簡単に実現することができる。
【0011】
また、好適には、前記代表算出手段は、前記記録手段により過去に記録された座標情報と前記判定に係る座標情報とに基づく代表となる座標情報の算出に際して、予め定められた関係からその判定に係る座標情報及び前記判定値算出手段により算出される判定値に基づいて、その代表となる座標情報の算出に係るアルゴリズムを決定するものである。このようにすれば、所定のストローク情報に対応して繰り返し描かれた線のうち何れかの線を優先して平均化するように重み付けする等、更に実用的な態様で代表となる座標情報を算出することができ、利用者の思っている線に近い描線を簡単に実現することができる。
【0012】
また、前記代表算出手段は、前記記録手段により記録された複数の座標情報に関して、前記判定手段の判定が予め定められた規定回数以上肯定された場合に、その判定に係る座標情報に関して前記代表となる座標情報の算出を行うものである。このようにすれば、所定のストローク情報に対応して繰り返し描かれた線に基づいて実用的な態様で代表となる座標情報を算出することができ、利用者の思っている線に近い描線を簡単に実現することができる。
【0013】
また、好適には、前記記録手段は、前記取得手段により取得された座標情報に対応するストローク情報に関する属性情報を記憶するものであり、前記判定手段は、前記ストローク情報に係る属性情報に基づいて前記条件を満たすか否かの判定を行うものである。このようにすれば、例えば線幅が規定値未満であるストローク情報に関してのみ前記条件を満たすか否かの判定を行う等の制御を行うことにより、不要な制御が行われることを好適に抑制できる。
【0014】
また、好適には、予め定められた文字見本情報から前記記録手段により記録された座標情報に基づいて文字認識を行う文字認識手段を備え、その文字認識手段は、前記記録手段により記録された座標情報を各字画とする第1の候補、前記代表算出手段により算出された代表となる座標情報を少なくとも1つの字画とする第2の候補、及び前記記録手段により最も新しく記録された座標情報を優先するアルゴリズムをもって前記代表算出手段により算出された代表となる座標情報を少なくとも1つの字画とする第3の候補のうち、前記文字見本情報との類似度が最も高い候補を前記表示出力手段による表示に係る座標情報として採用するものである。このようにすれば、所定の文字入力に係るストローク情報に対応して繰り返し描かれた線に関して、実用的な態様で文字見本に類似するストローク情報を表示させることができる。
【0015】
また、前記第2発明によれば、うまく描けなかった線を消去するのではなく同じ部分に繰り返し描く前提において、1回1回の描線は思わしくないものであってもそれらを平均化する等、代表値を算出して総合的に利用することで、利用者の思っている線に近い描線を簡単に実現することができる。すなわち、手書き入力を簡便なものとする画像表示方法を提供することができる。
【0016】
また、前記第3発明によれば、うまく描けなかった線を消去するのではなく同じ部分に繰り返し描く前提において、1回1回の描線は思わしくないものであってもそれらを平均化する等、代表値を算出して総合的に利用することで、利用者の思っている線に近い描線を簡単に実現することができる。すなわち、手書き入力を簡便なものとする画像表示プログラムを提供することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施例である画像表示装置の外観の概要を示す図である。
【図2】図1の画像表示装置に備えられた構成を説明するブロック線図である。
【図3】図1の画像表示装置の制御部に備えられた制御機能の要部を説明する機能ブロック線図である。
【図4】図1の画像表示装置における記憶部に設けられたストローク/グループデータベースの内容を例示する図であり、複数のストローク情報をグループ化して記憶するグループデータを示している。
【図5】図1の画像表示装置における記憶部に設けられたストローク/グループデータベースの内容を例示する図であり、各グループにおけるストローク情報の詳細データを示している。
【図6】図1の画像表示装置におけるタッチパネルにより手書き入力が行われ、その入力に対応するストローク情報が描画されてタッチパネルディスプレイに表示された様子を示している。
【図7】図6の描画におけるストローク情報に重ねて新たなストローク情報が描画された様子を示している。
【図8】図7に示す入力の結果として、図6の描画におけるストローク情報が新たなストローク情報に置き換えられた様子を示している。
【図9】図8の描画におけるストローク情報に重ねて新たなストローク情報が描画された様子を示している。
【図10】図9に示す入力の結果として、代表となる座標情報が算出されてその座標情報に対応するストローク情報がタッチパネルディスプレイに表示された様子を示している。
【図11】図1の画像表示装置におけるタッチパネルにより手書き入力が行われ、その入力に対応する複数のストローク情報が描画されてタッチパネルディスプレイに表示された様子を示している。
【図12】図11の描画における所定のストローク情報に重ねて新たなストローク情報が描画された様子を示している。
【図13】図12に示す入力の結果として、図11の描画における所定のストローク情報が新たなストローク情報に置き換えられた様子を示している。
【図14】図13の描画における所定のストローク情報に重ねて新たなストローク情報が描画された様子を示している。
【図15】図14に示す入力の結果として、代表となる座標情報が算出されてその座標情報に対応するストローク情報がタッチパネルディスプレイに表示された様子を示している。
【図16】図1の画像表示装置におけるタッチパネルによる手書き入力に際して制御部により実行される描画制御の要部を説明するフローチャートである。
【図17】図16の制御における描画線演算制御の要部を説明するフローチャートである。
【図18】図17の制御における線分補正制御の要部を説明するフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。
【実施例】
【0019】
図1は、本発明の一実施例である画像表示装置10の外観の概要を示す図である。また、図2は、斯かる画像表示装置10に備えられた構成を説明するブロック線図である。これらの図に示すように、本実施例の画像表示装置10は、所定の画像(映像)を表示させると共に、利用者の接触操作に応じて入力を行うためのタッチパネルディスプレイ12を備えている。また、図2に示すように、画像表示装置10による画像表示制御をはじめとする各種制御を実行する制御部14と、複数の画像情報(画像ファイル)等、各種情報を記憶する記憶部16と、例えばプリンタ等の他の機器との間で情報の送受信を行う通信部としての通信インターフェイス18とを、備えて構成されている。また、好適には、図1に示すように、画像表示装置10にはタッチパネルディスプレイ12に対する入力子としてのペン20等が備えられている。
【0020】
図2に示すように、タッチパネルディスプレイ12は、そのタッチパネルディスプレイ12に所定の映像を表示させる表示部(ディスプレイ)としての表示装置22と、利用者の指や備え付けのペン20等によるタッチパネルディスプレイ12への接触により入力を行う操作入力装置としてのタッチパネル24とを、備えて構成されている。また、画像表示装置10には、表示装置22による画像(映像)の表示制御を行う表示制御部26と、タッチパネル24により入力される入力情報を処理する入力制御部28とが備えられており、それら表示制御部26及び入力制御部28により表示装置22及びタッチパネル24を介してタッチパネルディスプレイ12による画像表示制御乃至情報入力制御が実行される。
【0021】
また、図2に示すように、制御部14は、中央演算処理装置であるCPU30と、読出専用メモリであるROM32と、随時書込読出メモリであるRAM34とを、備えて構成されている。すなわち、制御部14は、RAM34の一時記憶機能を利用しつつROM32に記憶された情報に基づいてCPU30により種々の情報処理を実行する所謂マイクロコンピュータであり、表示制御部26を介してタッチパネルディスプレイ12(表示装置22)に所定の画像を表示させる画像表示制御、そのタッチパネルディスプレイ12(タッチパネル24)への接触操作に応じて入力制御部28を介して入力される入力信号を処理する入力処理制御、及び通信インターフェイス18を介して他の機器との間で情報の送受信を行う情報通信制御等、画像表示装置10に関する各種制御に加えて、後述する本実施例の描画制御(手書き入力制御)等を実行する。
【0022】
通信インターフェイス18は、例えば画像表示装置10を無線により或いは有線接続にてLAN40に接続するLANインターフェイスである。画像表示装置10は、この通信インターフェイス18によりLAN40に接続されることで、そのLAN40を介して例えばプリンタ等の他の機器(外部装置)との間で情報の通信が可能とされる。また、好適には、LAN40は図示しないルータ等を介して公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続可能とされ、画像表示装置10とインターネットに接続された他の機器との間での通信が可能とされたものである。なお、インターネットへの接続やプリンタによる印刷を特に必要としない態様においては、通信インターフェイス18等の構成は必ずしも設けられなくともよい。また、通信インターフェイス18は、USB(Universal Serial Bus)やブルートゥース(Bluetooth)等のローカルなネットワークを介して画像表示装置10を周辺機器に接続するものであってもよく、通信態様としては種々の構成が適宜用いられる。
【0023】
記憶部16には、画像データベースをはじめとする各種データベースが設けられている。この画像データベースには、例えば、表示制御部26を介してタッチパネルディスプレイ12(表示装置22)に所定の画像を表示させるための画像情報として、例えばJPEG(Joint Photographic Experts Group)、PNG(Portable Network Graphics)、GIF(Graphics Interchange Format)等のファイル形式の複数の画像データ(画像ファイル)が、それぞれの識別情報(ファイル名)をインデックスとして記憶されている。なお、表示装置22は、静止画像のみならず動画を表示させるものであってもよく、画像データベースに記憶される画像情報は、静止画若しくは動画の何れであってもよい。また、画像データベースにはPDF(Portable Document Format)形式のドキュメントファイルや、Excel(登録商標)形式のワークシートファイル等が記憶されるものであってもよく、換言すれば、画像乃至電子文書ファイルデータベースである。
【0024】
また、記憶部16又はRAM34には、操作入力装置としてのタッチパネル24により入力されたストローク情報を記録するストローク/グループデータベース36(図4及び図5を参照)と、タッチパネル24により入力されたストローク情報に基づいて文字認識を行うために複数の文字に対応する文字見本情報を記憶する文字見本データベース38とが設けられている。なお、本実施例においては、ストローク/グループデータベース36及び文字見本データベース38が何れも記憶部16に備えられた態様について説明する。また、これらストローク/グループデータベース36及び文字見本データベース38に関しては、制御部14に備えられた記録手段52による制御及び文字認識手段62による制御に関して後述する。
【0025】
図3は、画像表示装置10の制御部14に備えられた制御機能の要部を説明する機能ブロック線図である。この図3に示す取得手段50は、操作入力装置としてのタッチパネル24により入力されたストローク情報に係る座標情報を取得する。また、記録手段52は、取得手段50により取得された座標情報をストローク/グループデータベース36に記録する。この座標情報とは、表示装置22の表示領域全体に対する相対位置を示す座標(横方向をx、縦方向をyとするxy二次元座標)であり、本実施例においては表示装置22の画面と共通の入力面を有するタッチパネル24における入力部位(接触入力に係る位置)の入力面全体に対する相対位置の座標に相当する。
【0026】
画像表示装置10においては、操作入力装置としてのタッチパネル24の平面部(タッチパネルディスプレイ12の表面)に対する接触操作に応じて描画されるストローク情報(軌跡情報)の入力が可能とされている。すなわち、タッチパネル24の平面部に対してペン20等を接触させた状態でその接触部位を移動させる操作(以下、接触移動操作と言う)により、自由曲線や直線等を組み合わせた所謂手書き入力(フリードロー)が可能とされている。すなわち、上記ストローク情報は、操作入力装置としてのタッチパネル24に対する接触移動操作により入力される自由曲線や直線等を組み合わせた描画(オブジェクト)に相当するものであり、好適には、曲線乃至直線等の線状図形で表される情報であり、表示装置22に表示される描画としての手書き入力情報である。また、本実施例においてストローク情報という場合、1ストローク分の入力情報すなわちタッチパネル24に対する接触移動操作が開始されてから(タッチパネル24に対して入力子の接触が行われてから)、その接触移動操作が終了させられるまで(タッチパネル24から入力子が離されるまで)の入力情報をいうものとする。
【0027】
図4及び図5は、記憶部16に設けられたストローク/グループデータベース36の内容を例示する図であり、図4は複数のストローク情報に対応する座標情報をグループ化して記憶するグループデータを、図5は各グループにおけるストローク情報に対応する座標情報の詳細データをそれぞれ示している。取得手段50は、好適には、タッチパネル24により入力されたストローク情報に係る座標情報として、そのストローク情報の始点(タッチパネル24に対して入力子の接触が開始された点)及び終点(タッチパネル24から入力子が離された点)の座標を取得する。図4に示すグループデータは、そのようにして取得される各ストローク情報の始点及び終点の座標情報に基づいて後述する判定手段54により判定されるストロークグループに関する情報を記憶するものであり、判定手段54による制御に関しては後述する。
【0028】
また、取得手段50は、好適には、単位となる各ストローク情報の入力過程において、タッチパネル24に対する接触移動操作に対応する各座標(タッチパネル24の平面部全体に対する相対的な座標)を例えば所定時間毎に取得(サンプリング)する。記録手段52は、そのように所定時間毎に取得手段50により取得される座標を各ストローク情報に対応する座標情報としてストローク/グループデータベース36に識別情報であるID(ストロークNo.)を付して記憶する。図5に示すストローク情報の詳細データは、そのようにして取得される各ストローク情報に対応する座標情報を示している。例えば、ストロークNo.aのストローク情報について、ノード1に対応する座標(x1,y1)=(55,60)、ノード2に対応する座標(x2,y2)=(70,58)、ノード3に対応する座標(x3,y3)=(90,70)、ノード4に対応する座標(x4,y4)=(100,67)、・・・といったように、所定時間毎にサンプリングされた座標情報が取得順(サンプリングされた順)に記録される。なお、取得手段50は、各ストローク情報の入力過程において、タッチパネル24による接触移動操作の移動距離に関して所定距離毎にサンプリングを行うものであってもよい。すなわち、タッチパネル24により予め定められた所定距離の接触移動操作が行われる毎に座標情報の取得を行うものであってもよい。また、サンプリングされた各座標における接触移動操作の指向する方向すなわちベクトルを取得し、各座標に対応付けて記録する態様も考えられる。
【0029】
また、記録手段52は、好適には、取得手段50により取得された座標情報に対応するストローク情報に関する属性情報を記憶する。この属性情報とは、タッチパネル24によるストローク情報の入力に際して設定可能とされる書式情報である。すなわち、画像表示装置10における手書き入力においては、各ストローク情報の線幅(線の太さ)、実線乃至破線等の線種、及び色等の属性情報(プロパティ)等の設定が可能とされており、記録手段52は、タッチパネル24によるストローク情報の入力に際して設定された属性情報を、各ストローク情報と対応付けてストローク/グループデータベース36に記憶する。
【0030】
図3に示す判定手段54は、記録手段52により記録された座標情報が予め定められた条件を満たすか否かを判定する。例えば、記録手段52により新たに記録された(取得手段50により新たに取得された)座標情報が、ストローク/グループデータベース36に記録された座標情報との対比において予め定められた条件を満たすか否かを判定する。この条件とは、ストローク/グループデータベース36に記録されたストロークグループに関して、記録手段52により新たに記録されたストローク情報が何れかのグループに属するか否かを判定するための条件であり、判定手段54は、換言すれば、記録手段52により記録された座標情報がストローク/グループデータベース36に記録された何れかのストロークグループに属するか否かを判定する。
【0031】
図3に示すように、判定手段54は、好適には、判定値算出手段56を備えている。この判定値算出手段56は、記録手段52により記録された座標情報に基づいて、判定手段54による判定の条件に係る判定値を算出する。判定手段54は、好適には、上記条件を満たすか否かの判定として、記録手段52により記録された座標情報が判定値算出手段56により算出される判定値に該当するか否かを判定する。以下、判定値算出手段56による判定値の算出制御及びその判定値に基づく判定手段54による判定制御について具体例を説明する。
【0032】
判定手段54は、好適には、記録手段52により記録される各ストローク情報の始点及び終点に基づいて、対象となるストローク情報が過去にストローク/グループデータベース36に記録された何れかのストロークグループに属するか否かを判定する。図4に示すように、ストローク/グループデータベース36には、識別情報であるID(グループNo.)によって識別される各ストロークグループ毎に、始点及び終点に係る座標情報の最小値及び最大値が記録されている。例えば、グループNo.Aのストロークグループについて、始点に係るx座標の最小値Xsmin=55、x座標の最大値Xsmax=65、y座標の最小値Ysmin=50、y座標の最大値Ysmax=60、終点に係るx座標の最小値Xemin=210、x座標の最大値Xemax=250、y座標の最小値Yemin=60、y座標の最大値Yemax=70が記録されている。判定手段54は、例えば、記録手段52により記録される各ストローク情報の始点に係る座標(Xs,Ys)及び終点に係る座標(Xe,Ye)が、ストローク/グループデータベース36に記録された何れかのストロークグループに係る始点及び終点の最小値乃至最大値の範囲内に該当するか否かを判定する。すなわち、新しく記録されたストローク情報の始点に係るx座標(Xs)及びy座標(Ys)、終点に係るx座標(Xe)及びy座標(Ye)それぞれが、Xsmin≦Xs≦Xsmax、Ysmin≦Ys≦Ysmax、Xemin≦Xe≦Xemax、Yemin≦Ye≦Yemaxを何れも満たすストロークグループがストローク/グループデータベース36に記録されているか否かを判定(検索)する。
【0033】
記録手段52は、好適には、記録手段52により新たに記録された座標情報に対応するストローク情報を、そのストローク情報に係る判定手段54の判定結果に基づいてストローク/グループデータベース36における各ストロークグループに登録する。すなわち、記録手段52により新たに記録されたストローク情報の始点及び終点に係る座標が、ストローク/グループデータベース36に記録された何れかのストロークグループに係る始点及び終点の最小値乃至最大値の範囲内に該当する場合には、新たに記録されたストローク情報をそのストロークグループに含まれるストローク情報として登録する。一方、該当するストロークグループがない場合、すなわち記録手段52により新たに記録されたストローク情報の始点及び終点に係る座標が、ストローク/グループデータベース36に記録された何れのストロークグループに係る始点及び終点の最小値乃至最大値の範囲内にも該当しない場合には、その新たに記録されたストローク情報に対応して新規ストロークグループを作成し、識別情報であるID(グループNo.)を付してストローク/グループデータベース36に登録する。
【0034】
判定値算出手段56は、好適には、判定手段54による上記判定に係る各ストロークグループに係る始点及び終点の最小値乃至最大値を算出する。すなわち、記録手段52により記録された複数の座標情報に基づいて、それら座標情報に対応するストローク情報の含まれるストロークグループに係る始点及び終点の最小値乃至最大値を前記判定値として算出する。例えば、ストローク/グループデータベース36に新たなストロークグループが作成された場合、そのストロークグループに属するストローク情報は1つであり、始点及び終点はそのストローク情報に対応する値のみとなる。ここで、記録手段52により新たに記録されたストローク情報に関して、そのストローク情報の始点及び終点と新規ストロークグループに属する単一のストローク情報に係る始点及び終点との距離が、それぞれ予め定められた規定距離未満である場合には、新たに記録されたストローク情報をそのストロークグループに含まれるストローク情報としてストローク/グループデータベース36に登録する。そして、対象となるストロークグループに予め定められた規定数(例えば、3つ)以上のストローク情報が登録された段階で、判定値算出手段56によりそれらストローク情報の始点に係る最小値(Xsmin,Ysmin)及び最大値(Xsmax,Ysmax)、終点に係る最小値(Xemin,Yemin)及び最大値(Xemax,Yemax)を算出する。
【0035】
また、好適には、ストローク/グループデータベース36に新たなストロークグループが作成された場合であって、対象となるストロークグループに属するストローク情報が1つ乃至規定数未満である場合には、ストローク情報の形状の類似度に基づいて、記録手段52により新たに記録されたストローク情報がストローク/グループデータベース36に記録された何れかのストロークグループに属するか否かを判定する。例えば、記録手段52により新たに記録されたストローク情報及び対象となるストロークグループに属するストローク情報それぞれの形状が相互に類似するか否かを判定し、類似すると判定される場合には、新たに記録されたストローク情報をそのストロークグループに含まれるストローク情報としてストローク/グループデータベース36に登録する。この類似度の判定は、具体的には、ストローク情報に含まれる各座標に係る主成分分析や、パターンマッチング等のよく知られた手法が好適に用いられる。また、各ストローク情報に対応する中心線ベクトルが相互に成す角度が所定角度未満であるか否かに基づいて類似判定を行うものであってもよい。この中心線ベクトルは、好適には、各ストローク情報に関してよく知られた近似直線導出法により数学的に算出される中心線において始端から終端に向かう方向のベクトルであるが、各ストローク情報を構成する複数の座標それぞれのベクトルのベクトル和であってもよい。
【0036】
また、判定手段54は、好適には、記録手段52により新たに記録された座標情報に係る判定に際して、その座標情報に対応するストローク情報に係る属性情報に基づいて前記条件を満たすか否かの判定を行う。例えば、対象となるストローク情報の属性情報として設定された線幅が予め定められた規定値以上である場合には、前記条件を満たすストロークグループがストローク/グループデータベース36に記録されているか否かの判定を行うことなく、対象となる新たに記録された座標情報に係るストローク情報に対応して新規ストロークグループを作成し、識別情報であるIDを付してストローク/グループデータベース36に登録する。換言すれば、判定手段54は、記録手段52により新たに記録されたストローク情報に係る属性情報に基づいて前記判定を行うか否かを決定する。
【0037】
代表算出手段58は、判定手段54の判定が肯定される場合には、記録手段52により過去に記録された座標情報とその判定に係る座標情報とに基づいて代表となる座標情報を算出する。この代表となる座標情報とは、タッチパネル24により複数のストローク情報の入力があった場合において、それらのストローク情報に基づいて所定のアルゴリズムにより算出される代表値であり、換言すれば、タッチパネル24により手書き入力を行う利用者が所望する描画の理想線分に対応する座標である。以下、代表算出手段58による代表となる座標情報の算出について、図6〜図10を用いて具体的な一例を説明する。
【0038】
図6は、タッチパネル24により手書き入力すなわち接触移動操作が行われ、その接触移動操作に対応するストローク情報42a(以下、特に別のストローク情報と区別しない場合には単にストローク情報42という)が描画されてタッチパネルディスプレイ12(表示装置22)に表示された様子を示している。このストローク情報42aは、所謂ハートマークを描こうとしたものであるが、いびつに歪んでおり利用者が所望する描画にはなっていない。
【0039】
図6に示すように描画されたストローク情報42aを修正する場合、新たな手書き入力を行うことにより描き直すことが考えられる。すなわち、図7に示すようにストローク情報42aに重ねて新たなストローク情報42bが描画された場合、図8に示すようにストローク情報42aが消去されて新たなストローク情報42bに置き換えられる。なお、図7においては新たなストローク情報42bと区別可能とするため、便宜上ストローク情報42aを破線で示している。しかし、新たなストローク情報42bを描き直す態様では、やはり思ったような描画にならないおそれがあり、図8に示すストローク情報42bは利用者が所望する描画にはなっていない。
【0040】
そこで、代表となる座標情報を算出する本実施例の制御について考える。図9に示すようにストローク情報42bに重ねて新たなストローク情報42cが描画された場合、代表算出手段58によりストローク情報42a、42b、42cに基づく代表となる座標情報の算出が実行される。すなわち、第1回目の入力に係るストローク情報42aに対応する座標情報、第2回目の入力に係るストローク情報42bに対応する座標情報、及び第3回目の入力に係るストローク情報42cに対応する座標情報に基づいて、後述する(1)〜(5)式等を用いたアルゴリズムにより代表となる座標情報が算出される。そして、図10に示すようなストローク情報42dが導出される。このストローク情報42dは、ストローク情報42a、42b、42cに基づいて代表算出手段58により算出された代表となる座標情報に対応するものであり、利用者が所望する描画である所謂ハートマークとなっている。このストローク情報42dの導出の元となったストローク情報42a、42b、42cは、何れも単体としては利用者が所望する描画ではないが、それらのストローク情報42a、42b、42cに対応する座標情報を平均化する等、代表となる座標を算出することで所望の描画を実現することができるのである。
【0041】
ここで、代表算出手段58は、好適には、記録手段52により記録された複数の座標情報に関して、判定手段54の判定が予め定められた規定回数以上肯定された場合に、その判定に係る座標情報に関して前記代表となる座標情報の算出を行う。すなわち、代表となる座標情報の算出に係るストロークグループに属するストローク情報が予め定められた規定数以上となった場合に、それら複数のストローク情報に対応する座標情報に基づく代表となる座標情報の算出を行う。好適には、判定手段54の判定が3回以上肯定された場合、すなわち代表となる座標情報の算出に係るストロークグループに属するストローク情報が3つ以上となった場合に、それらストローク情報に対応する座標情報に基づく代表となる座標情報の算出を行う。
【0042】
また、代表算出手段58は、好適には、記録手段52により過去に記録された座標情報すなわちストローク/グループデータベース36に記録された単数乃至複数の座標情報と、判定に係る座標情報すなわち記録手段52により新たに記録された座標情報であって判定手段54による判定が肯定された座標情報とを平均化する第1のアルゴリズム(通常の描画線演算アルゴリズム)により代表となる座標情報を算出する。例えば、以下の(1)式に示すように、対象となる複数の座標情報に関して、各ノードデータ(図5を参照)におけるx座標及びy座標それぞれの平均値(算術平均)を算出する。この平均値に対応する座標情報が、対象となる複数の座標情報から算出される代表となる座標情報に相当する。なお、後述するようにこの第1のアルゴリズムは、好適には、新規ストローク情報に係る全てのノードデータに対応する座標が(2)式によって求められる第1規定値σ内である場合すなわち標準偏差の範囲内である場合に実行される。
【0043】
【数1】

【0044】
【数2】

【0045】
また、代表算出手段58は、好適には、記録手段52により過去に記録された座標情報すなわちストローク/グループデータベース36に記録された単数乃至複数の座標情報と、判定に係る座標情報すなわち記録手段52により新たに記録された座標情報であって判定手段54による判定が肯定された座標情報とを対象として、所定の座標情報に重み付けをして平均化する第2のアルゴリズム(重み付け描画線演算アルゴリズム)により代表となる座標情報を算出する。例えば、重み付けの対象となるノードデータをxoverとした場合、以下の(5)によって求められるσ′内に収まるような係数kを求め、以下の(3)、(4)式に示すように、対象となるノードデータxoverにkの重み付けをして各ノードデータにおけるx座標及びy座標それぞれの平均値(算術平均)を算出する。すなわち、対象となるノードデータxoverを他の値よりk回余分に加算した上で平均値の算出を行う。この平均値に対応する座標情報が、対象となる複数の座標情報から算出される代表となる座標情報に相当する。なお、後述するようにこの第2のアルゴリズムは、好適には、新規ストローク情報に係る少なくとも1つのノードデータに対応する座標が(2)式によって求められる第1規定値σの範囲外である場合に、新規ストローク情報に係る座標を重み付けの対象となるノードデータをxoverとして実行される。
【0046】
【数3】

【0047】
【数4】

【0048】
【数5】

【0049】
また、代表算出手段58は、好適には、記録手段52により過去に記録された座標情報と判定手段54による判定に係る座標情報とに基づく代表となる座標情報の算出に際して、予め定められた関係からその判定に係る座標情報及び判定値算出手段56により算出される判定値に基づいて、その代表となる座標情報の算出に係るアルゴリズムを決定する。例えば、判定に係る座標情報すなわち記録手段52により新たに記録された座標情報であって判定手段54による判定が肯定された座標情報が、判定値算出手段56により算出される第1規定値σ及び第2規定値2σに該当するか否かを判定し、その判定結果に応じて代表となる座標情報の算出に係るアルゴリズムを決定する。ここで、第1規定値σは、例えば前述した(2)式により算出される値すなわち標準偏差であり、第2規定値2σは、例えばその第1規定値σの2倍の値すなわち標準偏差の2倍値である。
【0050】
代表算出手段58は、例えば、判定に係る対象となる座標情報すなわち記録手段52により新たに記録された座標情報であって判定手段54による判定が肯定された座標情報に係る全てのノードデータが、判定値算出手段56により算出される第1規定値σに該当する値すなわち第1規定値σ内の値であると判定される場合には、前述した第1のアルゴリズムにより代表となる座標情報を算出する。また、対象となる座標情報に係る少なくとも1つのノードデータが、判定値算出手段56により算出される第1規定値σ外の値であって第2規定値2σ内の値であると判定される場合には、前述した第2のアルゴリズムにより代表となる座標情報を算出する。また、対象となる座標情報に係る少なくとも1つのノードデータが判定値算出手段56により算出される第2規定値2σ外の値であると判定される場合には、対象となる座標情報すなわち記録手段52により新たに記録された座標情報を代表となる座標情報として算出(設定)する。また、タッチパネル24を介して利用者により選択されるノードデータ乃至ストローク情報を重み付けの対象として、前述した第2のアルゴリズムにより代表となる座標情報を算出する態様も考えられる。
【0051】
図3に示す表示出力手段60は、タッチパネル24による接触移動操作により入力されたストローク情報を表示装置22に表示させる。また、代表算出手段58により代表となる座標情報が算出された場合、その代表算出手段58により算出された代表となる座標情報に対応するストローク情報を表示装置22に表示させる。ここで、この代表となる座標情報に対応するストローク情報の表示に際して、代表算出の元となった各ストローク情報はそのままストローク/グループデータベース36に記録しておいてもよいし、代表となる座標情報が確定した段階或いはその表示が行われた段階で消去してもよい。また、タッチパネル24による入力操作に応じて、利用者の所望するストローク情報を代表となる座標情報に対応するストローク情報として確定し得るように構成してもよく、斯かる入力操作により代表となる座標情報が確定した段階で表示出力手段60によりその代表となる座標情報に対応するストローク情報を表示装置22に表示させるものであってもよい。
【0052】
文字認識手段62は、文字見本データベース38に記憶された文字見本情報から記録手段52により記録された座標情報に基づいて文字認識を行う。例えば、タッチパネル24による接触移動操作に応じて取得手段50により取得され、記録手段52によりストローク/グループデータベース36に記録された座標情報に対応するストローク情報に関して、よく知られた手書き文字認識技術によりその軌跡情報を文字乃至文字列として認識する。例えば、対象となる軌跡情報における各文字に相当する部分を、それぞれ予め定められた判定用のデータすなわち文字見本データベース38に記憶された文字見本情報と比較することにより各部分を文字として認識し、延いては軌跡情報全体を一連の文字列として認識する。
【0053】
代表算出手段58は、好適には、文字認識手段62による文字認識に係るストローク情報に関して代表となる座標情報の算出を行う。すなわち、文字認識に係る複数のストローク情報から成る描画(オブジェクト)に関して、判定の対象となる各文字における少なくとも1つの字画に相当するストローク情報に関して、記録手段52により過去に記録された座標情報と新たに記録された座標情報とに基づいて代表となる座標情報を算出する処理を行う。以下、この文字認識手段62による文字認識に係る代表算出手段58による代表となる座標情報の算出について、図11〜図15を用いて具体的な一例を説明する。
【0054】
図11は、タッチパネル24により手書き入力すなわち接触移動操作が行われ、その接触移動操作に対応して複数のストローク情報44a、46a、48a(以下、特に別のストローク情報と区別しない場合には単にストローク情報44、46、48という)が描画されてタッチパネルディスプレイ12(表示装置22)に表示された様子を示している。これらのストローク情報44a、46a、48aは、アルファベット「K」における各字画に相当するものであり、ストローク情報44aが第1画、ストローク情報46aが第2画、ストローク情報48aが第3画にそれぞれ相当する。しかし、図11に示す描画においては、第2画に相当するストローク情報46aがいびつに歪んでおり、全体として利用者が所望する文字の形にはなっていない。
【0055】
図11に示すような描画におけるストローク情報46aを修正する場合、新たな手書き入力を行うことにより描き直すことが考えられる。すなわち、図12に示すようにストローク情報46aに重ねて新たなストローク情報46bが描画された場合、図13に示すようにストローク情報46aが消去されて新たなストローク情報46bに置き換えられる。なお、図12においては新たなストローク情報46bと区別可能とするため、便宜上ストローク情報46aを破線で示している。しかし、新たなストローク情報46bを描き直す態様では、やはり思ったような描画にならないおそれがあり、図13に示すストローク情報46bを字画とするアルファベット「K」においても、全体として利用者が所望する文字の形にはなっていない。
【0056】
そこで、代表となる座標情報を算出する本実施例の制御について考える。図14に示すようにストローク情報46bに重ねて新たなストローク情報46cが描画された場合、代表算出手段58によりストローク情報46a、46b、46cに基づく代表となる座標情報の算出が実行される。すなわち、第1回目の入力に係るストローク情報46aに対応する座標情報、第2回目の入力に係るストローク情報46bに対応する座標情報、及び第3回目の入力に係るストローク情報46cに対応する座標情報に基づいて、前述した(1)〜(5)式等を用いたアルゴリズムにより代表となる座標情報が算出される。そして、図15に示すようなストローク情報46dが導出される。このストローク情報46dは、ストローク情報46a、46b、46cに基づいて代表算出手段58により算出された代表となる座標情報に対応するものであり、このストローク情報46dを第2画とする描画では、全体として利用者が所望するアルファベット「K」の形が実現されている。このストローク情報46dの導出の元となったストローク情報46a、46b、46cは、何れも単体としては利用者が所望する描画ではないが、それらのストローク情報46a、46b、46cに対応する座標情報を平均化する等、代表となる座標を算出することで所望の描画を実現することができるのである。
【0057】
ここで、文字認識手段62は、好適には、記録手段52により記録された座標情報を各字画とする第1の候補、代表算出手段58により算出された代表となる座標情報を少なくとも1つの字画とする第2の候補、及び記録手段52により最も新しく記録された座標情報を優先するアルゴリズムをもって代表算出手段58により算出された代表となる座標情報を少なくとも1つの字画とする第3の候補のうち、対応する文字見本情報との類似度が最も高い候補を表示出力手段60による表示に係る座標情報として採用する。換言すれば、新たに入力されたストローク情報を採用する等の入力情報そのもの(代表の算出を行わない)に対応するストローク情報、前記第1のアルゴリズムによる平均化によって算出された代表となる座標情報に対応するストローク情報、及び前記第2のアルゴリズムによる所定のストローク情報を優先する平均化によって算出された代表となる座標情報に対応するストローク情報、を各字画に当てはめ、文字全体として文字見本データベース38に記憶された対応する文字見本情報との類似度が最も高い候補(文字認識の結果、最も認識スコアが高かった候補)を採用し、表示出力手段60により表示装置22に表示させる。
【0058】
図16は、タッチパネル24による手書き入力に際して制御部14により実行される描画制御(手書き入力制御)の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0059】
先ず、ステップ(以下、ステップを省略する)S1において、タッチパネル24による入力操作が行われているか否かが判断される。このS1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S1の判断が肯定される場合には、S2において、タッチパネル24による接触移動操作に応じた入力線すなわちストローク情報の描画が受け付けられ、そのストローク情報が表示装置22に表示される。次に、S3において、タッチパネル24による入力操作が終了したか否か、すなわちタッチパネル24に対する接触操作が解除されたか否かが判断される。このS3の判断が否定される場合には、S2以下の処理が再び実行されるが、S3の判断が肯定される場合には、SAにおいて、図17に示す描画線演算制御が実行される。次に、S4において、確定線の描画すなわちSAにおける描画線演算制御の結果確定したストローク情報が表示装置22に表示された後、本ルーチンが終了させられる。また、文字認識が実行される場合には、S4において、文字見本データベース38に記録された文字見本情報からSAにおける描画線演算制御の結果確定したストローク情報に基づいて文字認識が行われ、文字見本情報との類似度が最も高い候補が表示装置22に表示された後、本ルーチンが終了させられる。
【0060】
図17は、図16のSAにおける描画線演算制御の要部を説明するフローチャートである。先ず、SA1において、新たに記録されたストローク情報の始点に係る座標が、ストローク/グループデータベース36に記録された何れかのストロークグループに係る始点の最小値乃至最大値の範囲内に該当するか否かが判断される。このSA1の判断が肯定される場合には、SA4以下の処理が実行されるが、SA1の判断が否定される場合には、SA2において、新たに記録されたストローク情報に対応する新規ストロークグループがストローク/グループデータベース36に登録される。次に、SA3において、新たに記録されたストローク情報が描画線分として確定された後、図16に示すメインルーチンへ復帰させられる。
【0061】
SA4においては、新たに記録されたストローク情報の終点に係る座標が、ストローク/グループデータベース36に記録された何れかのストロークグループに係る終点の最小値乃至最大値の範囲内に該当するか否かが判断される。好適には、SA1において始点が最小値乃至最大値の範囲内に該当すると判断されたストロークグループに関して斯かる判断が行われる。このSA4の判断が否定される場合には、SA2以下の処理が実行されるが、SA4の判断が肯定される場合には、SA5において、新たに記録されたストローク情報及びストローク/グループデータベース36に記録された何れかのストロークグループに属するストローク情報それぞれの形状が相互に類似するか否かが判断される。好適には、SA1及びSA4において始点及び終点が最小値乃至最大値の範囲内に該当すると判断されたストロークグループに関して斯かる判断が行われる。このSA5の判断が否定される場合には、SA2以下の処理が実行されるが、SA5の判断が肯定される場合には、SA6以下の処理が実行される。
【0062】
SA6においては、新たに記録されたストローク情報がストローク/グループデータベース36に記録された該当ストロークグループに登録される。好適には、SA1、SA4、及びSA5の判断が何れも肯定されたストロークグループに登録される。次に、SA7において、新たに記録されたストローク情報が登録されたストロークグループに、予め定められた規定数以上のストローク情報が登録されているか否かが判断される。このSA7の判断が否定される場合には、SA8において、新たに記録されたストローク情報が描画線分として確定された後、図16に示すメインルーチンへ復帰させられるが、SA7の判断が肯定される場合には、SA9において、描画設定すなわちストローク情報に関する属性情報は修正対象であるか否か、すなわち新たに記録されたストローク情報に対応する線分が修正対象として設定されているか否かが判断される。このSA9の判断が否定される場合には、SA8以下の処理が実行されるが、SA9の判断が肯定される場合には、SAAにおいて、図18に示す線分補正制御が実行された後、図16に示すメインルーチンへ復帰させられる。
【0063】
図18は、図17のSAAにおける線分補正制御の要部を説明するフローチャートである。先ず、SAA1において、新規データすなわち新しく記録されたストローク情報に係るノードデータに対応する座標において、前述した(2)式によって求められる第1規定値σ外の座標が存在するか否かが判断される。このSAA1の判断が否定される場合には、SAA2において、平均化による通常の描画線演算アルゴリズム、すなわち過去にストローク/グループデータベース36に記録された座標情報と、新たに記録されたストローク情報に係る座標情報とを平均化する第1のアルゴリズムにより代表となる座標情報を算出する演算が実行された後、SAA6以下の処理が実行されるが、SAA1の判断が肯定される場合には、SAA3において、新規データすなわち新しく記録されたストローク情報に係るノードデータに対応する座標において、前述した(2)式によって求められるσの2倍値である第2規定値2σ外の座標が存在するか否かが判断される。このSAA3の判断が否定される場合には、SAA4において、重みつき描画線演算アルゴリズム、すなわち対象となるノードデータに所定の重み付けをして各ノードデータにおけるそれぞれの平均値を算出する第2のアルゴリズムにより代表となる座標情報を算出する演算が実行された後、SAA6以下の処理が実行されるが、SAA3の判断が肯定される場合には、SAA5において、最新のストローク情報すなわち新たに記録されたストローク情報が描画線分として確定される。次に、SAA6において、SAA2、SAA4、乃至SAA5の処理に基づいて描画線分が確定された後、図17に示すメインルーチンへ復帰させられる。
【0064】
以上、図16〜図18に示す制御において、S2が取得手段50の動作乃至取得過程に、S2、SA2、及びSA6が記録手段52の動作乃至記録過程に、SA1、SA4、及びSA5が判定手段54の動作乃至判定過程に、SAA1及びSAA2が判定値算出手段56の動作に、SAAが代表算出手段58の動作乃至代表算出過程に、S4が表示出力手段60の動作乃至表示出力過程及び文字認識手段62の動作にそれぞれ対応する。
【0065】
このように、本実施例によれば、操作入力装置であるタッチパネル24により入力されたストローク情報42等に係る座標情報を取得する取得手段50(S2)と、その取得手段50により取得された座標情報を記録する記録手段52(S2、SA2、及びSA6)と、その記録手段52により記録された座標情報が予め定められた条件を満たすか否かを判定する判定手段54(SA1、SA4、及びSA5)と、その判定手段54の判定が肯定される場合には、記録手段52により過去に記録された座標情報とその判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出手段58(SAA)と、その代表算出手段58により算出された代表となる座標情報に対応するストローク情報42等を表示部としての表示装置22に表示させる表示出力手段60(S4)とを、備えたものであることから、うまく描けなかった線を消去するのではなく同じ部分に繰り返し描く前提において、1回1回の描線は思わしくないものであってもそれらを平均化する等、代表値を算出して総合的に利用することで、利用者の思っている線に近い描線を簡単に実現することができる。すなわち、手書き入力を簡便なものとする画像表示装置10を提供することができる。
【0066】
また、記録手段52により記録された座標情報に基づいて、判定手段54による判定の条件に係る判定値を算出する判定値算出手段56(SAA1及びSAA2)を備え、判定手段54は、前記条件を満たすか否かの判定として、記録手段52により記録された座標情報がその判定値算出手段により算出される判定値に該当するか否かを判定するものであるため、所定のストローク情報42等に対応して繰り返し描かれた線に関して、実用的な態様で代表となる座標情報を算出することができ、利用者の思っている線に近い描線を簡単に実現することができる。
【0067】
また、代表算出手段58は、記録手段52により過去に記録された座標情報と前記判定に係る座標情報とに基づく代表となる座標情報の算出に際して、予め定められた関係からその判定に係る座標情報及び判定値算出手段56により算出される判定値に基づいて、その代表となる座標情報の算出に係るアルゴリズムを決定するものであるため、所定のストローク情報42等に対応して繰り返し描かれた線のうち何れかの線を優先して平均化するように重み付けする等、更に実用的な態様で代表となる座標情報を算出することができ、利用者の思っている線に近い描線を簡単に実現することができる。
【0068】
また、代表算出手段58は、記録手段52により記録された複数の座標情報に関して、判定手段54の判定が予め定められた規定回数以上肯定された場合に、その判定に係る座標情報に関して前記代表となる座標情報の算出を行うものであるため、所定のストローク情報42等に対応して繰り返し描かれた線に基づいて実用的な態様で代表となる座標情報を算出することができ、利用者の思っている線に近い描線を簡単に実現することができる。
【0069】
また、記録手段52は、取得手段50により取得された座標情報に対応するストローク情報42等に関する属性情報を記憶するものであり、判定手段54は、ストローク情報42等に係る属性情報に基づいて前記条件を満たすか否かの判定を行うものであるため、例えば線幅が規定値未満であるストローク情報42等に関してのみ前記条件を満たすか否かの判定を行う等の制御を行うことにより、不要な制御が行われることを好適に抑制できる。
【0070】
また、予め定められた文字見本情報から記録手段52により記録された座標情報に基づいて文字認識を行う文字認識手段62(S4)を備え、その文字認識手段62は、記録手段52により記録された座標情報を各字画とする第1の候補、代表算出手段58により算出された代表となる座標情報を少なくとも1つの字画とする第2の候補、及び記録手段52により最も新しく記録された座標情報を優先するアルゴリズムをもって代表算出手段58により算出された代表となる座標情報を少なくとも1つの字画とする第3の候補のうち、文字見本情報との類似度が最も高い候補を表示出力手段60による表示に係る座標情報として採用するものであるため、所定の文字入力に係るストローク情報42等に対応して繰り返し描かれた線に関して、実用的な態様で文字見本に類似するストローク情報42等を表示させることができる。
【0071】
また、本実施例によれば、タッチパネル24により入力されたストローク情報42等に係る座標情報を取得する取得過程(S2)と、その取得過程において取得された座標情報を記録する記録過程(S2、SA2、及びSA6)と、その記録過程において記録された座標情報が予め定められた条件を満たすか否かを判定する判定過程(SA1、SA4、及びSA5)と、その判定過程の判定が肯定される場合には、記録過程において過去に記録された座標情報とその判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出過程(SAA)と、その代表算出過程において算出された代表となる座標情報に対応するストローク情報42等を表示装置22に表示させる表示出力過程(S4)とを、含むことから、うまく描けなかった線を消去するのではなく同じ部分に繰り返し描く前提において、1回1回の描線は思わしくないものであってもそれらを平均化する等、代表値を算出して総合的に利用することで、利用者の思っている線に近い描線を簡単に実現することができる。すなわち、手書き入力を簡便なものとする画像表示方法を提供することができる。
【0072】
また、本実施例によれば、画像表示装置10における制御部14を、タッチパネル24により入力されたストローク情報42等に係る座標情報を取得する取得手段50、その取得手段50により取得された座標情報を記録する記録手段52、その記録手段52により記録された座標情報が予め定められた条件を満たすか否かを判定する判定手段54、その判定手段54の判定が肯定される場合には、記録手段52により過去に記録された座標情報とその判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出手段58、及びその代表算出手段58により算出された代表となる座標情報に対応するストローク情報42等を表示装置22に表示させる表示出力手段60として機能させる画像表示プログラムであることから、うまく描けなかった線を消去するのではなく同じ部分に繰り返し描く前提において、1回1回の描線は思わしくないものであってもそれらを平均化する等、代表値を算出して総合的に利用することで、利用者の思っている線に近い描線を簡単に実現することができる。すなわち、手書き入力を簡便なものとする画像表示プログラムを提供することができる。
【0073】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【0074】
例えば、前述の実施例において、取得手段50、記録手段52、判定手段54、代表算出手段58、表示出力手段60、及び文字認識手段62は、何れも制御部14に機能的に備えられたものであったが、その一部乃至全部が同等の機能を奏する個別の制御部として制御部14とは別体に備えられたものであってもよい。また、画像表示装置10においては、タッチパネルディスプレイ12の表示制御乃至入力情報処理を行う表示制御部26及び入力制御部28が制御部14とは別体の制御部として備えられたものであったが、これらはその一方乃至両方が制御部14に機能的に備えられたものであってもよい。
【0075】
また、前述の実施例では、画像表示機能を有すると共に接触による操作入力装置として機能するタッチパネルディスプレイ12を備えた画像表示装置10に本発明が適用された例を説明したが、本発明の画像表示装置は必ずしもタッチパネルディスプレイを備えたものでなくともよく、画像を表示し得るディスプレイを備えた画像表示装置に広く適用されるものである。
【0076】
また、前述の実施例において、手書き入力に相当するストローク情報の入力操作を受け付ける操作入力装置としてタッチパネル24を備えた画像表示装置10について説明したが、例えば、操作入力装置としてマウスを備えた画像表示装置において、そのマウスによる手書き入力操作によって描画されるストローク情報を受け付けるものであってもよい。また、外部装置としてのペンタブレットを接続可能に構成された画像表示装置において、そのペンタブレットによる手書き入力操作によって描画されるストローク情報を受け付けるものであってもよい。
【0077】
また、前述の実施例では特に言及していないが、本発明の手書き入力制御が適用される例としては、JPEGファイル等の画像ファイル上に所謂ドローソフトによって手書き入力を行う制御、所定形式のドキュメントファイルにおいて手書き文字等を入力する制御、その他、文字判定(偏やつくり等の部首を入力することによる文字検索)のためにフリードロー入力を行う制御等、種々の態様が考えられる。
【0078】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【0079】
10:画像表示装置、14:制御部(制御装置)、22:表示装置(表示部)、24:タッチパネル(操作入力装置)、42、44、46、48:ストローク情報、50:取得手段、52:記録手段、54:判定手段、56:判定値算出手段、58:代表算出手段、60:表示出力手段、62:文字認識手段

【特許請求の範囲】
【請求項1】
画像を表示させる表示部と、手書き入力に相当するストローク情報の入力操作を受け付ける操作入力装置とを、備えた画像表示装置であって、
前記操作入力装置により入力されたストローク情報に係る座標情報を取得する取得手段と、
該取得手段により取得された座標情報を記録する記録手段と、
該記録手段により記録された座標情報が予め定められた条件を満たすか否かを判定する判定手段と、
該判定手段の判定が肯定される場合には、前記記録手段により過去に記録された座標情報と該判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出手段と、
該代表算出手段により算出された代表となる座標情報に対応するストローク情報を前記表示部に表示させる表示出力手段と
を、備えたものであることを特徴とする画像表示装置。
【請求項2】
前記記録手段により記録された座標情報に基づいて、前記判定手段による判定の条件に係る判定値を算出する判定値算出手段を備え、
前記判定手段は、前記条件を満たすか否かの判定として、前記記録手段により記録された座標情報が該判定値算出手段により算出される判定値に該当するか否かを判定するものである
請求項1に記載の画像表示装置。
【請求項3】
前記代表算出手段は、前記記録手段により過去に記録された座標情報と前記判定に係る座標情報とに基づく代表となる座標情報の算出に際して、予め定められた関係から該判定に係る座標情報及び前記判定値算出手段により算出される判定値に基づいて、該代表となる座標情報の算出に係るアルゴリズムを決定するものである請求項2に記載の画像表示装置。
【請求項4】
前記代表算出手段は、前記記録手段により記録された複数の座標情報に関して、前記判定手段の判定が予め定められた規定回数以上肯定された場合に、該判定に係る座標情報に関して前記代表となる座標情報の算出を行うものである請求項1から3の何れか1項に記載の画像表示装置。
【請求項5】
前記記録手段は、前記取得手段により取得された座標情報に対応するストローク情報に関する属性情報を記憶するものであり、
前記判定手段は、前記ストローク情報に係る属性情報に基づいて前記条件を満たすか否かの判定を行うものである請求項1から4の何れか1項に記載の画像表示装置。
【請求項6】
予め定められた文字見本情報から前記記録手段により記録された座標情報に基づいて文字認識を行う文字認識手段を備え、
該文字認識手段は、前記記録手段により記録された座標情報を各字画とする第1の候補、前記代表算出手段により算出された代表となる座標情報を少なくとも1つの字画とする第2の候補、及び前記記録手段により最も新しく記録された座標情報を優先するアルゴリズムをもって前記代表算出手段により算出された代表となる座標情報を少なくとも1つの字画とする第3の候補のうち、前記文字見本情報との類似度が最も高い候補を前記表示出力手段による表示に係る座標情報として採用するものである請求項3から5の何れか1項に記載の画像表示装置。
【請求項7】
画像を表示させる表示部と、手書き入力に相当するストローク情報の入力操作を受け付ける操作入力装置とを、備えた画像表示装置における画像表示方法であって、
前記操作入力装置により入力されたストローク情報に係る座標情報を取得する取得過程と、
該取得過程において取得された座標情報を記録する記録過程と、
該記録過程において記録された座標情報が予め定められた条件を満たすか否かを判定する判定過程と、
該判定過程の判定が肯定される場合には、前記記録過程において過去に記録された座標情報と該判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出過程と、
該代表算出過程において算出された代表となる座標情報に対応するストローク情報を前記表示部に表示させる表示出力過程と
を、含むことを特徴とする画像表示方法。
【請求項8】
画像を表示させる表示部と、手書き入力に相当するストローク情報の入力操作を受け付ける操作入力装置とを、備えた画像表示装置における制御装置を、
前記操作入力装置により入力されたストローク情報に係る座標情報を取得する取得手段、
該取得手段により取得された座標情報を記録する記録手段、
該記録手段により記録された座標情報が予め定められた条件を満たすか否かを判定する判定手段、
該判定手段の判定が肯定される場合には、前記記録手段により過去に記録された座標情報と該判定に係る座標情報とに基づいて代表となる座標情報を算出する代表算出手段、
及び該代表算出手段により算出された代表となる座標情報に対応するストローク情報を前記表示部に表示させる表示出力手段
として機能させるものであることを特徴とする画像表示プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2012−32989(P2012−32989A)
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願番号】特願2010−171710(P2010−171710)
【出願日】平成22年7月30日(2010.7.30)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】