表示装置および表示プログラム
【課題】 表示部に表示された文書を表す画像データにおいて、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる表示装置および表示プログラムを提供する。
【解決手段】 表示装置１では、近似曲線生成部６８は、タッチパネル２に手書き入力された入力線分Ｌ１と重なった文字列を構成する文字のうち、第１端部文字Ｃ１および第２端部文字Ｃｎを含む任意の複数の文字に接して、文字配列方向に沿って延びる第１曲線ＢＵおよび第２曲線ＢＬを文字ごとに生成する。そして、帯状領域生成部６９は、第１曲線ＢＵと第２曲線ＢＬとの間で幅が規定される帯状領域ＯＬを生成し、生成した帯状領域ＯＬ内を文書画像データが透過するような色、透明度で表示パネル３に表示させる。
【解決手段】 表示装置１では、近似曲線生成部６８は、タッチパネル２に手書き入力された入力線分Ｌ１と重なった文字列を構成する文字のうち、第１端部文字Ｃ１および第２端部文字Ｃｎを含む任意の複数の文字に接して、文字配列方向に沿って延びる第１曲線ＢＵおよび第２曲線ＢＬを文字ごとに生成する。そして、帯状領域生成部６９は、第１曲線ＢＵと第２曲線ＢＬとの間で幅が規定される帯状領域ＯＬを生成し、生成した帯状領域ＯＬ内を文書画像データが透過するような色、透明度で表示パネル３に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示パネルと一体的に形成されたタッチパネルを備え、表示パネルに表示された文書画像を表す画像データと重なるようにタッチパネルに手書き入力された線分に基づいて、文書画像を表す画像データを透過するような色、透明度で塗り潰された曲線線分を生成し、その曲線線分を表示パネルに表示することができる表示装置および表示プログラムに関する。
【背景技術】
【０００２】
電子黒板システム、パーソナルコンピュータ、携帯電話端末、電子手帳などには、液晶ディスプレイなどの表示パネルと、この表示パネルと一体的に形成されたタッチパネルとを含んで構成される、手書きで入力された文字を表示可能な表示装置が備えられている。表示装置は、タッチパネルに対する入力操作により手書き入力された軌跡の入力座標データに基づいて、文書画像を表す画像データを取得し、その取得した文書画像を表す画像データを表示パネルに表示する。また、表示装置は、ＰＤＦ形式のデータファイル等の電子文書ファイルを、文書画像を表す画像データとして取得し、その取得した文書画像を表す画像データを表示パネルに表示する。
【０００３】
このような表示装置において、表示パネルに表示された文書画像を表す画像データの所望部分に、注目のための修飾記号を付加する技術が提案されている。
【０００４】
たとえば、特許文献１には、表示パネルに表示された文書画像を表す画像データの、ユーザが所望する文字列部分に、文字列を塗り潰す線分を付加するような修飾編集機能に関する技術が開示されている。特許文献１に開示の技術によれば、表示パネルに表示された文書画像を表す画像データの任意の文字列に対応して、タッチパネルを介して手書きで線分を入力することによって、任意の文字列の画像に重なり、かつ文字列の画像が透過するように、直線線分が表示される。
【０００５】
このように、ユーザは、所望する任意の文字列に対応して手書きで線分を入力するだけで、文字列の視認性を損なわず、手書き線分を体裁よく直線線分として表示させることができる。そのため、任意の文字列に対して蛍光ペンで定規を用いて直線を上書きしたように、文字列を修飾編集することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２８２７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示の技術は、直線状に配列した任意の文字列に対して、直線線分を付加して修飾するものである。そのため、特許文献１に開示の技術では、タッチパネルに対して手書き入力された軌跡に基づく文書画像を表す画像データや、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像を表す画像データなどに含まれる、直線状に配列されていない文字列に対しては、蛍光ペンで上書きしたように修飾編集することができない。
【０００８】
したがって本発明の目的は、表示部に表示された文書画像を表す画像データにおいて、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる表示装置および表示プログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、文書画像を表す画像データを取得する文書画像データ取得部と、
前記文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示する表示部と、
前記表示部の表面上に積層されて、前記表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する入力部と、
前記入力部から出力される手書き入力の軌跡に対応する座標データに基づいて、前記表示部に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する入力線分認識部と、
前記入力線分の両端点の座標データに基づいて、前記入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する文字認識部と、
前記文字認識部が取得した１文字ごとの座標データに基づいて、前記文字認識部が認識した文字列を構成する文字のうち、前記入力線分の両端点のそれぞれに最も近接する２つの文字である第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する文字抽出部と、
前記文字抽出部が抽出した各文字の外接矩形における前記文字列の文字配列方向に延びる２辺のそれぞれを含む、各文字に対する２つの接線線分である第１接線線分および第２接線線分を、文字ごとに生成する文字接線生成部と、
前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する近似曲線生成部と、
前記近似曲線生成部が生成した前記第１曲線と前記第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を前記文書画像を透過するような色で前記表示部に表示させる帯状領域生成部と、を備えることを特徴とする表示装置である。
【００１０】
また本発明の表示装置において、前記文書画像データ取得部は、前記入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得することを特徴とする。
【００１１】
また本発明の表示装置において、前記近似曲線生成部は、前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を前記第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を前記第２曲線として生成することを特徴とする。
【００１２】
また本発明の表示装置において、前記帯状領域生成部は、前記第１端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第２端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第１曲線、および前記第２曲線で囲まれた領域を、帯状領域として生成することを特徴とする。
【００１３】
また本発明は、入力部および表示部を備えるコンピュータを、前記表示装置として機能させることを特徴とする表示プログラムである。
【発明の効果】
【００１４】
本発明によれば、表示装置は、文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示部に表示する装置である。さらに、表示装置は、入力部と、入力線分認識部と、文字認識部と、文字抽出部と、文字接線生成部と、近似曲線生成部と、帯状領域生成部とを備える。
【００１５】
入力部は、表示部の表面上に積層されて表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する。入力線分認識部は、たとえばユーザが、表示部に表示された文書画像と重なるように、入力部に対して線分を手書き入力した場合、その手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する。文字認識部は、入力線分の両端点の座標データに基づいて、入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する。文字抽出部は、文字認識部が取得した１文字ごとの座標データに基づいて、文字認識部が認識した文字列を構成する文字のうち、入力線分の両端点のそれぞれに最も近接する第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。
【００１６】
文字接線生成部は、文字抽出部が抽出した各文字に対する２つの接線線分である第１接線線分および第２接線線分を文字ごとに生成する。この第１接線線分および第２接線線分は、各文字の外接矩形における、文字列の文字配列方向に延びる２辺のそれぞれを含む線分である。近似曲線生成部は、文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する。そして、帯状領域生成部は、近似曲線生成部が生成した第１曲線と第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色で表示部に表示させる。
【００１７】
本発明の表示装置では、近似曲線生成部が生成する第１曲線および第２曲線は、入力部に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部は、上記のような第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示部に表示させる。これによって、表示部に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。
【００１８】
また本発明によれば、文書画像データ取得部は、入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得する。文書画像データ取得部によって取得された、入力部に対するユーザの入力操作によって手書き入力された軌跡に基づく文書画像を表す画像データは、表示部に表示される。
【００１９】
本発明の表示装置では、上記のようにして表示部に表示された文書画像と重なるように手書き入力された入力線分に基づいて、帯状領域生成部によって帯状領域が生成される。生成される帯状領域は、入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接する第１曲線と第２曲線との間で幅が規定され、文書画像を透過するような色、透明度で塗り潰された領域である。このようにして、表示装置は、入力部に対して手書き入力された軌跡に基づく文書画像に含まれる、曲線状に配列された文字列に対して、蛍光ペンで上書きしたように修飾編集することができる。
【００２０】
また本発明によれば、近似曲線生成部は、文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を第２曲線として生成する。このようにして、近似曲線生成部は、入力部に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる第１曲線および第２曲線を生成することができる。
【００２１】
また本発明によれば、帯状領域生成部は、第１端部文字に対応する第１接線線分と第２接線線分との外方側端点を通る直線、第２端部文字に対応する第１接線線分と第２接線線分との外方側端点を通る直線、第１曲線、および第２曲線で囲まれた領域を、帯状領域として生成する。このようにして、帯状領域生成部は、第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示部に表示させることができる。
【００２２】
また本発明によれば、表示プログラムは、入力部および表示部を備えるコンピュータを、前記表示装置として機能させるためのプログラムである。このような表示プログラムは、表示部に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することが可能な表示処理を、ソフトウェアで制御することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の一形態に係る表示装置１の構成を示すブロック図である。
【図２】表示装置１の動作を示すフローチャートである。
【図３】表示装置１における入力線分認識処理の動作を示すフローチャートである。
【図４】表示装置１における入力線分認識処理の動作を説明するための図である。
【図５】表示装置１における修飾編集範囲設定処理の動作を示すフローチャートである。
【図６】表示装置１における修飾編集範囲設定処理の動作を説明するための図である。
【図７】表示装置１における文字認識処理の動作を示すフローチャートである。
【図８Ａ】表示装置１における文字認識処理の動作を説明するための図である。
【図８Ｂ】表示装置１における文字認識処理の動作を説明するための図である。
【図８Ｃ】表示装置１における文字認識処理の動作を説明するための図である。
【図９】表示装置１における文字抽出処理の動作を示すフローチャートである。
【図１０】表示装置１における文字抽出処理の動作を説明するための図である。
【図１１】表示装置１における接線線分生成処理の動作を示すフローチャートである。
【図１２】表示装置１における接線線分生成処理の動作を説明するための図である。
【図１３】表示装置１における近似曲線生成処理の動作を示すフローチャートである。
【図１４】表示装置１における近似曲線生成処理の動作を説明するための図である。
【図１５】表示装置１における帯状領域生成処理の動作を示すフローチャートである。
【図１６】表示装置１における帯状領域生成処理の動作を説明するための図である。
【発明を実施するための形態】
【００２４】
図１は、本発明の実施の一形態に係る表示装置１の構成を示すブロック図である。表示装置１は、入力部である透明なタッチパネル２と、表示部である表示パネル３と、タッチパネルデータ処理部４と、表示データ処理部５と、制御手段であるＣＰＵ６と、メモリなどで構成される第１記憶手段７と、ＨＤＤなどで構成される第２記憶手段８とを含む。表示装置１は、タッチパネル２に対して手書き入力された軌跡に基づく文書画像を表す画像データ（以下、「文書画像データ」という）や、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像データなどを表示パネル３に表示する装置である。
【００２５】
本実施形態の表示装置１では、タッチパネル２は、直交座標が設定された入力面を有し、表示パネル３の表面上に積層されて、表示パネル３と一体的に形成されている。このタッチパネル２は、入力面に対する入力操作によって手書き入力され、入力された座標点を表わす座標データを出力する。タッチパネルデータ処理部４は、タッチパネルドライバによって実現され、表示データ処理部５は、表示ドライバによって実現される。
【００２６】
上記以外の入力方式として赤外線を遮る赤外線遮断方式、静電容量結合方式、電磁誘導方式、カメラ方式等のタブレットを用いることも可能である。
【００２７】
ＣＰＵ６は、文書画像データ取得部６０と、座標データ取得部６１と、軌跡表示指示部６２と、入力線分認識部６３と、修飾編集範囲設定部６４と、文字認識部６５と、文字抽出部６６と、文字接線生成部６７と、近似曲線生成部６８と、帯状領域生成部６９とを含む。
【００２８】
文書画像データ取得部６０は、タッチパネル２に対して手書き入力された軌跡に対応する座標データに基づいて、文書画像データを取得する。また、文書画像データ取得部６０は、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像データを取得する。文書画像データ取得部６０によって取得された文書画像データに基づいて、表示パネル３に文書画像が表示される。
【００２９】
座標データ取得部６１は、タッチパネル２から出力される座標データを取得する。軌跡表示指示部６２は、タッチパネル２に入力される手書き入力の座標データを表示パネル３に送信し、この座標データに基づいた手書き入力の軌跡を表示パネル３に表示させる。
【００３０】
入力線分認識部６３は、タッチパネル２から出力される手書き入力の軌跡に対応する座標データに基づいて、表示パネル３に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する。入力線分認識部６３が認識する入力線分は、ユーザのタッチパネル２の入力面に対する入力操作によって設定される。
【００３１】
修飾編集範囲設定部６４は、入力線分認識部６３が取得した入力線分の両端点の座標データに基づいて、表示パネル３に表示された文書画像のうち、入力線分と重なった特定領域の範囲を示す修飾編集範囲を設定する。この修飾編集範囲設定部６４が設定する修飾編集範囲が、後述する帯状領域生成部６９により生成される帯状領域で、蛍光ペンで上書きしたように修飾編集される対象領域となる。
【００３２】
文字認識部６５は、修飾編集範囲設定部６４が設定した修飾編集範囲内における文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する。文字認識部６５は、ＯＣＲ（Optical Character Recognition）技術を利用して、文字領域に含まれる文字の認識を行う。また、文字認識部６５は、認識した各文字の外接矩形を設定し、その外接矩形の座標データ、Ｘ軸に対する各文字の傾き、各文字のサイズデータを取得する。
【００３３】
文字抽出部６６は、文字認識部６５が取得した１文字ごとの座標データに基づいて、文字認識部６５が認識した文字列を構成する文字のうち、入力線分の両端点のそれぞれに最も近接する第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。また、文字抽出部６６は、抽出した各文字の傾き、各文字のサイズデータを取得する。
【００３４】
文字接線生成部６７は、文字抽出部６６が抽出した各文字に対する２つの接線線分である第１接線線分および第２接線線分を文字ごとに生成する。この第１接線線分および第２接線線分は、各文字の外接矩形における、文字列の文字配列方向に延びる２辺のそれぞれを含む線分である。
【００３５】
近似曲線生成部６８は、文字接線生成部６７が生成した文字ごとのそれぞれの第１接線線分上の任意の点（制御点）を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点（制御点）を通るように曲線近似された第２曲線とを生成する。
【００３６】
帯状領域生成部６９は、近似曲線生成部６８が生成した第１曲線と第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示パネル３に表示させる。
【００３７】
本実施形態の表示装置１では、近似曲線生成部６８が生成する第１曲線および第２曲線は、タッチパネル２に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部６９は、上記のような第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示パネル３に表示させる。これによって、表示パネル３に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。
【００３８】
第１記憶手段７は、表示装置１におけるワーキングメモリとしての機能を有する。第１記憶手段７は、表示情報記憶部７０と、座標データ記憶部７１と、認識文字情報記憶部７２と、認識文字数記憶部７３と、抽出文字情報記憶部７４と、接線線分情報記憶部７５と、近似曲線生成用制御点記憶部７６と、標準文字サイズ情報記憶部７７と、文字サンプル情報記憶部７８とを含む。
【００３９】
表示情報記憶部７０は、表示パネル３に表示されている表示情報を記憶する。座標データ記憶部７１は、タッチパネル２から出力された入力線分の座標データ、および、手書き入力された軌跡に基づく座標データを記憶する。認識文字情報記憶部７２は、文字認識部６５が取得した認識文字の外接矩形の座標データ、Ｘ軸に対する文字傾き、サイズデータなどの認識文字の情報を記憶する。認識文字数記憶部７３は、文字認識部６５が認識した文字の数を記憶する。抽出文字情報記憶部７４は、文字抽出部６６が取得した抽出文字の外接矩形の座標データ、Ｘ軸に対する文字傾き、サイズデータなどの抽出文字の情報を記憶する。
【００４０】
接線線分情報記憶部７５は、文字接線生成部６７が生成した、各抽出文字に対応する第１接線線分および第２接線線分の座標データを記憶する。近似曲線生成用制御点記憶部７６は、近似曲線生成部６８が第１曲線および第２曲線を生成するときに用いる、第１接線線分および第２接線線分上に位置する任意の制御点の座標データを記憶する。標準文字サイズ情報記憶部７７は、修飾編集範囲設定部６４が修飾編集範囲を設定するときに用いる、予め定める標準文字のサイズ（高さ、幅）に関する情報を記憶する。文字サンプル情報記憶部７８は、文字認識部６５が文字認識処理を実行するときに用いる、比較用の文字サンプルの形状に関する情報を記憶する。
【００４１】
第２記憶手段８は、ソフトウェア記憶部８０と、ドライバ記憶部８１と、ユーザ設定表示画面記憶部８２とを含む。ソフトウェア記憶部８０は、表示装置１を動作させるためのソフトウェアを記憶する。ドライバ記憶部８１は、タッチパネルデータ処理部４を実現するタッチパネルドライバと、表示データ処理部５を実現する表示ドライバとを記憶する。ユーザ設定表示画面記憶部８２は、表示装置１を操作するユーザが設定する、表示パネル３の設定に関する情報を記憶する。
【００４２】
次に、本実施形態の表示装置１の動作について、図２を用いて説明する。図２は、表示装置１の動作を示すフローチャートである。
【００４３】
ステップｓ１では、文書画像データ取得部６０は、たとえば、タッチパネル２に対して手書き入力された軌跡に対応する座標データに基づいて、文書画像データを取得する。文書画像データ取得部６０によって取得された文書画像データに基づいて、表示パネル３に文書画像が表示される。
【００４４】
次に、ステップｓ２では、修飾編集を実行する指示を表す指示信号がタッチパネル２を介して入力された後に、タッチパネル２に対する手書き入力の入力操作がなされることで、表示装置１は、入力線分認識処理を行う。
【００４５】
図３は、表示装置１における入力線分認識処理の動作を示すフローチャートである。図４は、表示装置１における入力線分認識処理の動作を説明するための図である。
【００４６】
入力線分認識部６３は、図４（ａ）に示すように、表示パネル３の表示面３１に文書画像が表示された状態で、タッチパネル２の入力面２１に対する手書き入力の入力操作がなされることで、入力線分認識処理を行う。図４（ａ）では、表示パネル３の表示面３１には、手書き入力された軌跡に基づく「強調したい文字をマーク」という文字列からなる文書画像が表示されている。この「強調したい文字をマーク」という文字列における各文字は、表示面３１のＸ軸左端部側からＸ軸右端部側に向かうにつれて、Ｙ軸方向下方側に配置されるように、曲線状に配列されている。
【００４７】
まず、ステップｓ２−１では、入力線分認識部６３は、タッチパネル２の入力面２１に対する入力線分Ｌ１の手書き入力が開始されたか否かを判定する。入力線分認識部６３は、手書き入力の入力開始点Ｔ１に対応する座標データがタッチパネル２から出力された場合に、入力線分Ｌ１の手書き入力が開始されたと判定する。入力線分認識部６３が入力線分Ｌ１の手書き入力が開始されたと判定した場合にはステップｓ２−２に進み、入力線分Ｌ１の手書き入力が開始されていないと判定した場合にはステップｓ２−１を繰返す。なお、タッチパネル２から出力された入力開始点Ｔ１に対応する座標データは、座標データ記憶部７１に記憶される。
【００４８】
ステップｓ２−２では、入力線分認識部６３は、座標データ記憶部７１から入力開始点Ｔ１に対応する座標データを取得する。
【００４９】
次に、ステップｓ２−３では、入力線分認識部６３は、タッチパネル２の入力面２１に対する入力線分Ｌ１の手書き入力が終了したか否かを判定する。入力線分認識部６３は、予め定める時間経過してもタッチパネル２の入力面２１に対する入力操作が行われない場合に、入力線分Ｌ１の手書き入力が終了したと判定する。入力線分認識部６３が入力線分Ｌ１の手書き入力が終了したと判定した場合にはステップｓ２−４に進み、入力線分Ｌ１の手書き入力が終了していないと判定した場合にはステップｓ２−３を繰返す。なお、入力線分Ｌ１の手書き入力による軌跡に対応する座標データは、入力終了点Ｔ２の座標データも含めて座標データ記憶部７１に記憶される。
【００５０】
ステップｓ２−４では、入力線分認識部６３は、座標データ記憶部７１から入力終了点Ｔ２に対応する座標データを取得する。
【００５１】
以上のようにして、入力線分認識部６３は、図４（ｂ）に示すように、表示パネル３の表示面３１に表示された文書画像と重なるように手書き入力された入力線分Ｌ１を認識し、入力線分の両端点である入力開始点Ｔ１の座標データ、および入力終了点Ｔ２の座標データを取得する。
【００５２】
図２に戻って、ステップｓ２において入力線分認識処理が終了すると、ステップｓ３に進む。ステップｓ３では、表示装置１は、修飾編集範囲設定処理を行う。
【００５３】
図５は、表示装置１における修飾編集範囲設定処理の動作を示すフローチャートである。図６は、表示装置１における修飾編集範囲設定処理の動作を説明するための図である。修飾編集範囲設定部６４は、入力線分認識部６３が取得した入力線分Ｌ１の両端点（入力開始点Ｔ１および入力終了点Ｔ２）の座標データに基づいて、表示パネル３の表示面３１に表示された文書画像のうち、入力線分Ｌ１と重なった修飾編集範囲を設定する。
【００５４】
まず、ステップｓ３−１では、修飾編集範囲設定部６４は、標準文字サイズ情報記憶部７７から標準文字のサイズ情報を読出す。なお、標準文字の幅サイズ（Ｘ軸方向のサイズ）を「Ｓｘ」とし、高さサイズ（Ｙ軸方向のサイズ）を「Ｓｙ」とする。
【００５５】
次に、ステップｓ３−２では、修飾編集範囲設定部６４は、図６（ａ）に示すように、入力開始点Ｔ１からＸ軸方向外方側に「Ｓｘ／２」、Ｙ軸方向上方側に「Ｓｙ／２」だけ移動した位置を第１基準点Ｒ１として設定する。次に、ステップｓ３−３では、修飾編集範囲設定部６４は、入力終了点Ｔ２からＸ軸方向外方側に「Ｓｘ／２」、Ｙ軸方向下方側に「Ｓｙ／２」だけ移動した位置を第２基準点Ｒ２として設定する。
【００５６】
そして、ステップｓ３−４では、修飾編集範囲設定部６４は、図６（ｂ）に示すように、第１基準点Ｒ１と第２基準点Ｒ２とを対角線の頂点とする矩形範囲を、修飾編集範囲Ｒとして設定し、修飾編集範囲設定処理を終了する。
【００５７】
図２に戻って、ステップｓ３において修飾編集範囲設定処理が終了すると、ステップｓ４に進む。ステップｓ４では、表示装置１は、文字認識処理を行う。
【００５８】
図７は、表示装置１における文字認識処理の動作を示すフローチャートである。図８Ａ〜図８Ｃは、表示装置１における文字認識処理の動作を説明するための図である。文字認識部６５は、修飾編集範囲設定部６４が設定した修飾編集範囲Ｒ内における文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識する。
【００５９】
まず、ステップｓ４−１では、文字認識部６５は、図８Ａ（ａ）に示すように、入力開始点Ｔ１から表示面３１の周縁右端部まで、Ｘ軸に平行に延びる水平線Ｌ２を生成する。そして、文字認識部６５は、図８Ａ（ｂ）に示すように、水平線Ｌ２が修飾編集範囲Ｒ内の文字と重ならない位置まで、水平線Ｌ２をＹ軸方向上方側に移動させる。これによって、水平線Ｌ２は、点Ｔ３から表示面３１の周縁右端部まで、Ｘ軸に平行に延びる線となる。
【００６０】
次に、ステップｓ４−２では、文字認識部６５は、図８Ａ（ｃ）に示すように、修飾編集範囲Ｒ内のいずれかの文字と点接触するまで水平線Ｌ２を点Ｔ３を中心に回転させて、文字認識基準線Ｌ３を生成する。次に、ステップｓ４−３では、文字認識部６５は、図８Ｂ（ｄ）に示すように、点Ｔ３を通り、文字認識基準線Ｌ３に垂直な垂線Ｌ４を生成する。
【００６１】
次に、ステップｓ４−４では、文字認識部６５は、図８Ｂ（ｅ）に示すように、垂線Ｌ４を、その傾きが変化しないように表示面３１の周縁右端部に向けて平行移動させながら、垂線Ｌ４と文字との交点Ａ１の数を算出する。次に、ステップｓ４−５では、文字認識部６５は、垂線Ｌ４と文字との交点Ａ１の数に基づいてヒストグラムを作成し、そのヒストグラムを２値化する。
【００６２】
次に、ステップｓ４−６では、文字認識部６５は、図８Ｂ（ｆ）に示すように、２値化の結果に基づいて、修飾編集範囲Ｒ内における文書画像を１文字ごとに分離する。
【００６３】
そして、ステップｓ４−７では、文字認識部６５は、図８Ｃ（ｇ）に示すように、分離した文字に対して文字認識を実施し、各文字の軌跡を表す座標データを取得するとともに、認識した文字の情報を取得する。具体的には、文字認識部６５は、図８Ｃ（ｈ）に示すように、分離した各文字に対応する比較用の標準的な文字サンプルを、文字サンプル情報記憶部７８から読出して、その文字サンプルと分離した各文字とを比較することで、認識文字の情報を取得する。まず、文字認識部６５は、分離した各文字に対して、文字サンプルを回転させながらマッチングさせ、最もマッチした文字サンプルのＸ軸に対する傾斜角度を、分離した各文字の傾き「Ｒｉ」として算出する。次に、文字認識部６５は、分離した各文字に対して、文字サンプルの大きさを変化させ、最もマッチした文字サンプルのサイズを、分離した各文字のサイズデータ（幅サイズＷｉ、高さサイズＨｉ）として算出する。
【００６４】
このようにして算出した文字の傾き「Ｒｉ」、文字のサイズデータを用いて、文字認識部６５は、分離した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。文字認識部６５は、外接矩形の座標データとして、外接矩形の４つの頂点、すなわち、上辺のＸ軸左端部側の頂点ＰＵ１、上辺のＸ軸右端部側の頂点ＰＵ２、下辺のＸ軸左端部側の頂点ＰＬ１、下辺のＸ軸右端部側の頂点ＰＬ２の座標データを取得する。
【００６５】
なお、文字認識部６５が取得した文字の傾き「Ｒｉ」、文字のサイズデータ、および外接矩形の座標データなどの認識文字の情報は、認識文字情報記憶部７２に記憶される。
【００６６】
図２に戻って、ステップｓ４において文字認識処理が終了すると、ステップｓ５に進む。ステップｓ５では、認識文字数記憶部７３は、文字認識部６５が認識した文字の数を記憶する。たとえば、文字認識部６５が「強調したい文字をマーク」という文書画像データから、１文字ごとに文字を認識した場合には、「強」、「調」、「し」、「た」、「い」、「文」、「字」、「を」、「マ」、「ー」、および「ク」の合計１１個の文字が認識されるので、認識文字数記憶部７３には、認識文字数として「１１」が記憶される。
【００６７】
次に、ステップｓ６では、表示装置１は、文字抽出処理を行う。図９は、表示装置１における文字抽出処理の動作を示すフローチャートである。図１０は、表示装置１における文字抽出処理の動作を説明するための図である。文字抽出部６６は、文字認識部６５が認識した文字列を構成する文字から任意の文字を抽出する。
【００６８】
まず、ステップｓ６−１では、文字抽出部６６は、図１０に示すように、文字認識部６５が認識した文字のうち、入力線分Ｌ１の入力開始点Ｔ１に最も近接する第１端部文字Ｃ１を抽出する。図１０では、第１端部文字Ｃ１は、「強」である。
【００６９】
次に、ステップｓ６−２では、文字抽出部６６は、文字認識部６５が認識した文字のうち、入力線分Ｌ１の入力終了点Ｔ２に最も近接する第２端部文字Ｃｎを抽出する。図１０では、第２端部文字Ｃｎは、「ク」である。
【００７０】
次に、ステップｓ６−３では、文字抽出部６６は、認識文字数記憶部７３から認識文字数の情報を読出し、認識文字数「ｎ」が予め定める文字数「Ｎ」以下であるか否かを判定する。文字抽出部６６が文字数「Ｎ」以下であると判定した場合にはステップｓ６−４に進み、文字数「Ｎ」を超えると判定した場合にはステップｓ６−５に進む。
【００７１】
ステップｓ６−４では、文字抽出部６６は、文字認識結果の２文字目から（ｎ−１）文字目までを中間文字ＣＳとして抽出する。
【００７２】
ステップｓ６−５では、文字抽出部６６は、文字認識結果の２文字目から（ｎ−１）文字目までの文字のうち、間の文字数が等間隔となるように、（Ｎ−２）個の文字を中間文字Ｃｓとして抽出する。たとえば、「強」、「調」、「し」、「た」、「い」、「文」、「字」、「を」、「マ」、「ー」、および「ク」の合計１１個（認識文字数ｎ＝１１）の文字が配列され、予め定める文字数「Ｎ」が「３」である場合、中間文字Ｃｓの文字数は、（Ｎ−２）＝１個であり、その中間文字ＣＳとして「文」が抽出される。中間文字ＣＳである「文」は、２文字目の「調」から（ｎ−１）文字目までの「ー」のうち、第１端部文字Ｃ１である「強」との間に「調」、「し」、「た」、および「い」の４文字が配置され、第２端部文字Ｃｎである「ク」との間に「字」、「を」、「マ」、および「ー」の４文字が配置されている。
【００７３】
また、認識文字数「ｎ」が「１０」であり、文字数「Ｎ」が「３」である場合、文字抽出部６６は、（Ｎ−２）＝１個の中間文字ＣＳとして、たとえば５文字目の文字を抽出する。この場合には、第１端部文字Ｃ１と中間文字ＣＳとの間には３文字、第２端部文字Ｃｎと中間文字ＣＳとの間には４文字が配置されているが、このような場合においても、間の文字数が等間隔であると見なす。
【００７４】
また、文字抽出部６６は、抽出した第１端部文字Ｃ１、第２端部文字Ｃｎ、および中間文字ＣＳの、文字の傾き「Ｒｉ」、文字のサイズデータ（幅サイズＷｉ、高さサイズＨｉ）、および外接矩形の座標データなどの抽出文字の情報を取得する。
【００７５】
なお、文字抽出部６６が取得した文字の傾き「Ｒｉ」、文字のサイズデータ、および外接矩形の座標データなどの抽出文字の情報は、抽出文字情報記憶部７４に記憶される。
【００７６】
図２に戻って、ステップｓ６において文字抽出処理が終了すると、ステップｓ７に進む。ステップｓ７では、表示装置１は、接線線分生成処理を行う。
【００７７】
図１１は、表示装置１における接線線分生成処理の動作を示すフローチャートである。図１２は、表示装置１における接線線分生成処理の動作を説明するための図である。文字接線生成部６７は、文字抽出部６６が抽出した各文字に対する２つの接線線分である第１接線線分Ｓ１および第２接線線分Ｓ２を文字ごとに生成する。
【００７８】
まず、ステップｓ７−１では、文字接線生成部６７は、抽出文字情報記憶部７４から抽出文字の情報を読出す。
【００７９】
次に、ステップｓ７−２では、文字接線生成部６７は、図１２に示すように、文字抽出部６６が抽出した各文字の外接矩形における、文字列の文字配列方向（Ｘ軸方向）に延びる上辺を含む第１接線線分Ｓ１を文字ごとに生成する。本実施形態では、文字接線生成部６７は、外接矩形の上辺のＸ軸左端部側の頂点ＰＵ１から、上辺のＸ軸右端部側の頂点ＰＵ２まで延びる線分を、第１接線線分Ｓ１として生成する。この第１接線線分Ｓ１は、線分の長さが文字の幅サイズＷｉに対応する長さであり、傾きが文字の傾きＲｉに対応する。
【００８０】
次に、ステップｓ７−３では、文字接線生成部６７は、文字抽出部６６が抽出した各文字の外接矩形における、文字列の文字配列方向（Ｘ軸方向）に延びる下辺を含む第２接線線分Ｓ２を文字ごとに生成する。本実施形態では、文字接線生成部６７は、外接矩形の下辺のＸ軸左端部側の頂点ＰＬ１から、下辺のＸ軸右端部側の頂点ＰＬ２まで延びる線分を、第２接線線分Ｓ２として生成する。この第２接線線分Ｓ２は、線分の長さが文字の幅サイズＷｉに対応する長さであり、傾きが文字の傾きＲｉに対応する。
【００８１】
文字接線生成部６７は、上記のように生成した第１接線線分Ｓ１の両端点ＳＵ１，ＳＵ２の座標データを取得する。端点ＳＵ１は頂点ＰＵ１に対応し、端点ＳＵ２は頂点ＰＵ２に対応する。また、文字接線生成部６７は、第２接線線分Ｓ２の両端点ＳＬ１，ＳＬ２の座標データを取得する。端点ＳＬ１は頂点ＰＬ１に対応し、端点ＳＬ２は頂点ＰＬ２に対応する。
【００８２】
なお、文字接線生成部６７が取得した第１接線線分Ｓ１の両端点ＳＵ１，ＳＵ２の座標データ、第２接線線分Ｓ２の両端点ＳＬ１，ＳＬ２の座標データは、近似曲線生成用制御点記憶部７６に記憶される。
【００８３】
図２に戻って、ステップｓ７において接線線分生成処理が終了すると、ステップｓ８に進む。ステップｓ８では、表示装置１は、近似曲線生成処理を行う。
【００８４】
図１３は、表示装置１における近似曲線生成処理の動作を示すフローチャートである。図１４は、表示装置１における近似曲線生成処理の動作を説明するための図である。近似曲線生成部６８は、第１曲線ＢＵと、第２曲線ＢＬとを生成する。
【００８５】
まず、ステップｓ８−１では、近似曲線生成部６８は、近似曲線生成用制御点記憶部７６から、文字抽出部６６が抽出した各文字に対応して、第１接線線分Ｓ１の両端点ＳＵ１，ＳＵ２の座標データ、第２接線線分Ｓ２の両端点ＳＬ１，ＳＬ２の座標データを読出す。
【００８６】
次に、ステップｓ８−２では、近似曲線生成部６８は、図１４に示すように、文字抽出部６６が抽出した各文字に対応する、文字ごとのそれぞれの第１接線線分Ｓ１の両端点ＳＵ１，ＳＵ２を通る近似曲線（ベジェ曲線）を、第１曲線ＢＵとして生成する。
【００８７】
そして、ステップｓ８−３では、近似曲線生成部６８は、文字抽出部６６が抽出した各文字に対応する、文字ごとのそれぞれの第２接線線分Ｓ２の両端点ＳＬ１，ＳＬ２を通る近似曲線（ベジェ曲線）を、第２曲線ＢＬとして生成する。
【００８８】
図２に戻って、ステップｓ８において近似曲線生成処理が終了すると、ステップｓ９に進む。ステップｓ９では、表示装置１は、帯状領域生成処理を行う。
【００８９】
図１５は、表示装置１における帯状領域生成処理の動作を示すフローチャートである。図１６は、表示装置１における帯状領域生成処理の動作を説明するための図である。帯状領域生成部６９は、近似曲線生成部６８が生成した第１曲線ＢＵと第２曲線ＢＬとの間で幅が規定され、文書画像を透過する帯状領域を生成する。
【００９０】
まず、ステップｓ９−１では、帯状領域生成部６９は、図１６（ａ）に示すように、第１接線線分Ｓ１の端点ＳＵ１と、第２接線線分Ｓ２の端点ＳＬ１とを結ぶ直線Ｌ５を生成する。次に、ステップｓ９−２では、帯状領域生成部６９は、第１接線線分Ｓ１の端点ＳＵ２と、第２接線線分Ｓ２の端点ＳＬ２とを結ぶ直線Ｌ６を生成する。
【００９１】
そして、ステップｓ９−３では、帯状領域生成部６９は、図１６（ｂ）に示すように、第１曲線ＢＵと、第２曲線ＢＬと、直線Ｌ５と、直線Ｌ６とで囲まれた領域を、帯状領域ＯＬとして生成し、生成した帯状領域ＯＬ内を文書画像を透過するような色、透明度で表示パネル３に表示させる。この帯状領域ＯＬは、文書画像を透過するような色、透明度で塗り潰された領域である。
【００９２】
以上のように、本実施形態の表示装置１では、近似曲線生成部６８が生成する第１曲線ＢＵおよび第２曲線ＢＬは、タッチパネル２に手書き入力された入力線分Ｌ１と重なった文字列を構成する文字のうち、第１端部文字Ｃ１および第２端部文字Ｃｎを含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部６９は、上記のような第１曲線ＢＵと第２曲線ＢＬとの間で幅が規定される帯状領域ＯＬを生成し、生成した帯状領域ＯＬ内を文書画像を透過するような色、透明度で表示パネル３に表示させる。これによって、表示パネル３に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。
【００９３】
また本発明のさらに他の実施の形態として、コンピュータを前述した表示装置１として機能させるために、コンピュータに実行させるための表示プログラム（実行形式プログラム、中間コードプログラムおよびソースプログラムの少なくともいずれか１つ）、およびこの表示プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することも可能である。
【００９４】
なお、表示プログラムを記録する記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、たとえばＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）のようなものそのものがプログラムメディアであってもよいし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
【００９５】
いずれの場合においても、格納されている表示プログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、いずれの場合も表示プログラムを読み出し、読み出された表示プログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、その表示プログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００９６】
上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ（Magneto Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００９７】
また、インターネットを含む通信ネットワークを接続可能なシステム構成を持つことで、通信ネットワークから表示プログラムをダウンロードするように流動的に表示プログラムを担持する媒体であってもよい。なお、このように通信ネットワークから表示プログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、本発明は、上記表示プログラムが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【符号の説明】
【００９８】
１ 表示装置
２ タッチパネル
３ 表示パネル
６０ 文書画像データ取得部
６１ 座標データ取得部
６２ 軌跡表示指示部
６３ 入力線分認識部
６４ 修飾編集範囲設定部
６５ 文字認識部
６６ 文字抽出部
６７ 文字接線生成部
６８ 近似曲線生成部
６９ 帯状領域生成部
【技術分野】
【０００１】
本発明は、表示パネルと一体的に形成されたタッチパネルを備え、表示パネルに表示された文書画像を表す画像データと重なるようにタッチパネルに手書き入力された線分に基づいて、文書画像を表す画像データを透過するような色、透明度で塗り潰された曲線線分を生成し、その曲線線分を表示パネルに表示することができる表示装置および表示プログラムに関する。
【背景技術】
【０００２】
電子黒板システム、パーソナルコンピュータ、携帯電話端末、電子手帳などには、液晶ディスプレイなどの表示パネルと、この表示パネルと一体的に形成されたタッチパネルとを含んで構成される、手書きで入力された文字を表示可能な表示装置が備えられている。表示装置は、タッチパネルに対する入力操作により手書き入力された軌跡の入力座標データに基づいて、文書画像を表す画像データを取得し、その取得した文書画像を表す画像データを表示パネルに表示する。また、表示装置は、ＰＤＦ形式のデータファイル等の電子文書ファイルを、文書画像を表す画像データとして取得し、その取得した文書画像を表す画像データを表示パネルに表示する。
【０００３】
このような表示装置において、表示パネルに表示された文書画像を表す画像データの所望部分に、注目のための修飾記号を付加する技術が提案されている。
【０００４】
たとえば、特許文献１には、表示パネルに表示された文書画像を表す画像データの、ユーザが所望する文字列部分に、文字列を塗り潰す線分を付加するような修飾編集機能に関する技術が開示されている。特許文献１に開示の技術によれば、表示パネルに表示された文書画像を表す画像データの任意の文字列に対応して、タッチパネルを介して手書きで線分を入力することによって、任意の文字列の画像に重なり、かつ文字列の画像が透過するように、直線線分が表示される。
【０００５】
このように、ユーザは、所望する任意の文字列に対応して手書きで線分を入力するだけで、文字列の視認性を損なわず、手書き線分を体裁よく直線線分として表示させることができる。そのため、任意の文字列に対して蛍光ペンで定規を用いて直線を上書きしたように、文字列を修飾編集することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２８２７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示の技術は、直線状に配列した任意の文字列に対して、直線線分を付加して修飾するものである。そのため、特許文献１に開示の技術では、タッチパネルに対して手書き入力された軌跡に基づく文書画像を表す画像データや、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像を表す画像データなどに含まれる、直線状に配列されていない文字列に対しては、蛍光ペンで上書きしたように修飾編集することができない。
【０００８】
したがって本発明の目的は、表示部に表示された文書画像を表す画像データにおいて、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる表示装置および表示プログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、文書画像を表す画像データを取得する文書画像データ取得部と、
前記文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示する表示部と、
前記表示部の表面上に積層されて、前記表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する入力部と、
前記入力部から出力される手書き入力の軌跡に対応する座標データに基づいて、前記表示部に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する入力線分認識部と、
前記入力線分の両端点の座標データに基づいて、前記入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する文字認識部と、
前記文字認識部が取得した１文字ごとの座標データに基づいて、前記文字認識部が認識した文字列を構成する文字のうち、前記入力線分の両端点のそれぞれに最も近接する２つの文字である第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する文字抽出部と、
前記文字抽出部が抽出した各文字の外接矩形における前記文字列の文字配列方向に延びる２辺のそれぞれを含む、各文字に対する２つの接線線分である第１接線線分および第２接線線分を、文字ごとに生成する文字接線生成部と、
前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する近似曲線生成部と、
前記近似曲線生成部が生成した前記第１曲線と前記第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を前記文書画像を透過するような色で前記表示部に表示させる帯状領域生成部と、を備えることを特徴とする表示装置である。
【００１０】
また本発明の表示装置において、前記文書画像データ取得部は、前記入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得することを特徴とする。
【００１１】
また本発明の表示装置において、前記近似曲線生成部は、前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を前記第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を前記第２曲線として生成することを特徴とする。
【００１２】
また本発明の表示装置において、前記帯状領域生成部は、前記第１端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第２端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第１曲線、および前記第２曲線で囲まれた領域を、帯状領域として生成することを特徴とする。
【００１３】
また本発明は、入力部および表示部を備えるコンピュータを、前記表示装置として機能させることを特徴とする表示プログラムである。
【発明の効果】
【００１４】
本発明によれば、表示装置は、文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示部に表示する装置である。さらに、表示装置は、入力部と、入力線分認識部と、文字認識部と、文字抽出部と、文字接線生成部と、近似曲線生成部と、帯状領域生成部とを備える。
【００１５】
入力部は、表示部の表面上に積層されて表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する。入力線分認識部は、たとえばユーザが、表示部に表示された文書画像と重なるように、入力部に対して線分を手書き入力した場合、その手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する。文字認識部は、入力線分の両端点の座標データに基づいて、入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する。文字抽出部は、文字認識部が取得した１文字ごとの座標データに基づいて、文字認識部が認識した文字列を構成する文字のうち、入力線分の両端点のそれぞれに最も近接する第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。
【００１６】
文字接線生成部は、文字抽出部が抽出した各文字に対する２つの接線線分である第１接線線分および第２接線線分を文字ごとに生成する。この第１接線線分および第２接線線分は、各文字の外接矩形における、文字列の文字配列方向に延びる２辺のそれぞれを含む線分である。近似曲線生成部は、文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する。そして、帯状領域生成部は、近似曲線生成部が生成した第１曲線と第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色で表示部に表示させる。
【００１７】
本発明の表示装置では、近似曲線生成部が生成する第１曲線および第２曲線は、入力部に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部は、上記のような第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示部に表示させる。これによって、表示部に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。
【００１８】
また本発明によれば、文書画像データ取得部は、入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得する。文書画像データ取得部によって取得された、入力部に対するユーザの入力操作によって手書き入力された軌跡に基づく文書画像を表す画像データは、表示部に表示される。
【００１９】
本発明の表示装置では、上記のようにして表示部に表示された文書画像と重なるように手書き入力された入力線分に基づいて、帯状領域生成部によって帯状領域が生成される。生成される帯状領域は、入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接する第１曲線と第２曲線との間で幅が規定され、文書画像を透過するような色、透明度で塗り潰された領域である。このようにして、表示装置は、入力部に対して手書き入力された軌跡に基づく文書画像に含まれる、曲線状に配列された文字列に対して、蛍光ペンで上書きしたように修飾編集することができる。
【００２０】
また本発明によれば、近似曲線生成部は、文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を第２曲線として生成する。このようにして、近似曲線生成部は、入力部に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる第１曲線および第２曲線を生成することができる。
【００２１】
また本発明によれば、帯状領域生成部は、第１端部文字に対応する第１接線線分と第２接線線分との外方側端点を通る直線、第２端部文字に対応する第１接線線分と第２接線線分との外方側端点を通る直線、第１曲線、および第２曲線で囲まれた領域を、帯状領域として生成する。このようにして、帯状領域生成部は、第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示部に表示させることができる。
【００２２】
また本発明によれば、表示プログラムは、入力部および表示部を備えるコンピュータを、前記表示装置として機能させるためのプログラムである。このような表示プログラムは、表示部に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することが可能な表示処理を、ソフトウェアで制御することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の一形態に係る表示装置１の構成を示すブロック図である。
【図２】表示装置１の動作を示すフローチャートである。
【図３】表示装置１における入力線分認識処理の動作を示すフローチャートである。
【図４】表示装置１における入力線分認識処理の動作を説明するための図である。
【図５】表示装置１における修飾編集範囲設定処理の動作を示すフローチャートである。
【図６】表示装置１における修飾編集範囲設定処理の動作を説明するための図である。
【図７】表示装置１における文字認識処理の動作を示すフローチャートである。
【図８Ａ】表示装置１における文字認識処理の動作を説明するための図である。
【図８Ｂ】表示装置１における文字認識処理の動作を説明するための図である。
【図８Ｃ】表示装置１における文字認識処理の動作を説明するための図である。
【図９】表示装置１における文字抽出処理の動作を示すフローチャートである。
【図１０】表示装置１における文字抽出処理の動作を説明するための図である。
【図１１】表示装置１における接線線分生成処理の動作を示すフローチャートである。
【図１２】表示装置１における接線線分生成処理の動作を説明するための図である。
【図１３】表示装置１における近似曲線生成処理の動作を示すフローチャートである。
【図１４】表示装置１における近似曲線生成処理の動作を説明するための図である。
【図１５】表示装置１における帯状領域生成処理の動作を示すフローチャートである。
【図１６】表示装置１における帯状領域生成処理の動作を説明するための図である。
【発明を実施するための形態】
【００２４】
図１は、本発明の実施の一形態に係る表示装置１の構成を示すブロック図である。表示装置１は、入力部である透明なタッチパネル２と、表示部である表示パネル３と、タッチパネルデータ処理部４と、表示データ処理部５と、制御手段であるＣＰＵ６と、メモリなどで構成される第１記憶手段７と、ＨＤＤなどで構成される第２記憶手段８とを含む。表示装置１は、タッチパネル２に対して手書き入力された軌跡に基づく文書画像を表す画像データ（以下、「文書画像データ」という）や、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像データなどを表示パネル３に表示する装置である。
【００２５】
本実施形態の表示装置１では、タッチパネル２は、直交座標が設定された入力面を有し、表示パネル３の表面上に積層されて、表示パネル３と一体的に形成されている。このタッチパネル２は、入力面に対する入力操作によって手書き入力され、入力された座標点を表わす座標データを出力する。タッチパネルデータ処理部４は、タッチパネルドライバによって実現され、表示データ処理部５は、表示ドライバによって実現される。
【００２６】
上記以外の入力方式として赤外線を遮る赤外線遮断方式、静電容量結合方式、電磁誘導方式、カメラ方式等のタブレットを用いることも可能である。
【００２７】
ＣＰＵ６は、文書画像データ取得部６０と、座標データ取得部６１と、軌跡表示指示部６２と、入力線分認識部６３と、修飾編集範囲設定部６４と、文字認識部６５と、文字抽出部６６と、文字接線生成部６７と、近似曲線生成部６８と、帯状領域生成部６９とを含む。
【００２８】
文書画像データ取得部６０は、タッチパネル２に対して手書き入力された軌跡に対応する座標データに基づいて、文書画像データを取得する。また、文書画像データ取得部６０は、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像データを取得する。文書画像データ取得部６０によって取得された文書画像データに基づいて、表示パネル３に文書画像が表示される。
【００２９】
座標データ取得部６１は、タッチパネル２から出力される座標データを取得する。軌跡表示指示部６２は、タッチパネル２に入力される手書き入力の座標データを表示パネル３に送信し、この座標データに基づいた手書き入力の軌跡を表示パネル３に表示させる。
【００３０】
入力線分認識部６３は、タッチパネル２から出力される手書き入力の軌跡に対応する座標データに基づいて、表示パネル３に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する。入力線分認識部６３が認識する入力線分は、ユーザのタッチパネル２の入力面に対する入力操作によって設定される。
【００３１】
修飾編集範囲設定部６４は、入力線分認識部６３が取得した入力線分の両端点の座標データに基づいて、表示パネル３に表示された文書画像のうち、入力線分と重なった特定領域の範囲を示す修飾編集範囲を設定する。この修飾編集範囲設定部６４が設定する修飾編集範囲が、後述する帯状領域生成部６９により生成される帯状領域で、蛍光ペンで上書きしたように修飾編集される対象領域となる。
【００３２】
文字認識部６５は、修飾編集範囲設定部６４が設定した修飾編集範囲内における文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する。文字認識部６５は、ＯＣＲ（Optical Character Recognition）技術を利用して、文字領域に含まれる文字の認識を行う。また、文字認識部６５は、認識した各文字の外接矩形を設定し、その外接矩形の座標データ、Ｘ軸に対する各文字の傾き、各文字のサイズデータを取得する。
【００３３】
文字抽出部６６は、文字認識部６５が取得した１文字ごとの座標データに基づいて、文字認識部６５が認識した文字列を構成する文字のうち、入力線分の両端点のそれぞれに最も近接する第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。また、文字抽出部６６は、抽出した各文字の傾き、各文字のサイズデータを取得する。
【００３４】
文字接線生成部６７は、文字抽出部６６が抽出した各文字に対する２つの接線線分である第１接線線分および第２接線線分を文字ごとに生成する。この第１接線線分および第２接線線分は、各文字の外接矩形における、文字列の文字配列方向に延びる２辺のそれぞれを含む線分である。
【００３５】
近似曲線生成部６８は、文字接線生成部６７が生成した文字ごとのそれぞれの第１接線線分上の任意の点（制御点）を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点（制御点）を通るように曲線近似された第２曲線とを生成する。
【００３６】
帯状領域生成部６９は、近似曲線生成部６８が生成した第１曲線と第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示パネル３に表示させる。
【００３７】
本実施形態の表示装置１では、近似曲線生成部６８が生成する第１曲線および第２曲線は、タッチパネル２に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部６９は、上記のような第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示パネル３に表示させる。これによって、表示パネル３に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。
【００３８】
第１記憶手段７は、表示装置１におけるワーキングメモリとしての機能を有する。第１記憶手段７は、表示情報記憶部７０と、座標データ記憶部７１と、認識文字情報記憶部７２と、認識文字数記憶部７３と、抽出文字情報記憶部７４と、接線線分情報記憶部７５と、近似曲線生成用制御点記憶部７６と、標準文字サイズ情報記憶部７７と、文字サンプル情報記憶部７８とを含む。
【００３９】
表示情報記憶部７０は、表示パネル３に表示されている表示情報を記憶する。座標データ記憶部７１は、タッチパネル２から出力された入力線分の座標データ、および、手書き入力された軌跡に基づく座標データを記憶する。認識文字情報記憶部７２は、文字認識部６５が取得した認識文字の外接矩形の座標データ、Ｘ軸に対する文字傾き、サイズデータなどの認識文字の情報を記憶する。認識文字数記憶部７３は、文字認識部６５が認識した文字の数を記憶する。抽出文字情報記憶部７４は、文字抽出部６６が取得した抽出文字の外接矩形の座標データ、Ｘ軸に対する文字傾き、サイズデータなどの抽出文字の情報を記憶する。
【００４０】
接線線分情報記憶部７５は、文字接線生成部６７が生成した、各抽出文字に対応する第１接線線分および第２接線線分の座標データを記憶する。近似曲線生成用制御点記憶部７６は、近似曲線生成部６８が第１曲線および第２曲線を生成するときに用いる、第１接線線分および第２接線線分上に位置する任意の制御点の座標データを記憶する。標準文字サイズ情報記憶部７７は、修飾編集範囲設定部６４が修飾編集範囲を設定するときに用いる、予め定める標準文字のサイズ（高さ、幅）に関する情報を記憶する。文字サンプル情報記憶部７８は、文字認識部６５が文字認識処理を実行するときに用いる、比較用の文字サンプルの形状に関する情報を記憶する。
【００４１】
第２記憶手段８は、ソフトウェア記憶部８０と、ドライバ記憶部８１と、ユーザ設定表示画面記憶部８２とを含む。ソフトウェア記憶部８０は、表示装置１を動作させるためのソフトウェアを記憶する。ドライバ記憶部８１は、タッチパネルデータ処理部４を実現するタッチパネルドライバと、表示データ処理部５を実現する表示ドライバとを記憶する。ユーザ設定表示画面記憶部８２は、表示装置１を操作するユーザが設定する、表示パネル３の設定に関する情報を記憶する。
【００４２】
次に、本実施形態の表示装置１の動作について、図２を用いて説明する。図２は、表示装置１の動作を示すフローチャートである。
【００４３】
ステップｓ１では、文書画像データ取得部６０は、たとえば、タッチパネル２に対して手書き入力された軌跡に対応する座標データに基づいて、文書画像データを取得する。文書画像データ取得部６０によって取得された文書画像データに基づいて、表示パネル３に文書画像が表示される。
【００４４】
次に、ステップｓ２では、修飾編集を実行する指示を表す指示信号がタッチパネル２を介して入力された後に、タッチパネル２に対する手書き入力の入力操作がなされることで、表示装置１は、入力線分認識処理を行う。
【００４５】
図３は、表示装置１における入力線分認識処理の動作を示すフローチャートである。図４は、表示装置１における入力線分認識処理の動作を説明するための図である。
【００４６】
入力線分認識部６３は、図４（ａ）に示すように、表示パネル３の表示面３１に文書画像が表示された状態で、タッチパネル２の入力面２１に対する手書き入力の入力操作がなされることで、入力線分認識処理を行う。図４（ａ）では、表示パネル３の表示面３１には、手書き入力された軌跡に基づく「強調したい文字をマーク」という文字列からなる文書画像が表示されている。この「強調したい文字をマーク」という文字列における各文字は、表示面３１のＸ軸左端部側からＸ軸右端部側に向かうにつれて、Ｙ軸方向下方側に配置されるように、曲線状に配列されている。
【００４７】
まず、ステップｓ２−１では、入力線分認識部６３は、タッチパネル２の入力面２１に対する入力線分Ｌ１の手書き入力が開始されたか否かを判定する。入力線分認識部６３は、手書き入力の入力開始点Ｔ１に対応する座標データがタッチパネル２から出力された場合に、入力線分Ｌ１の手書き入力が開始されたと判定する。入力線分認識部６３が入力線分Ｌ１の手書き入力が開始されたと判定した場合にはステップｓ２−２に進み、入力線分Ｌ１の手書き入力が開始されていないと判定した場合にはステップｓ２−１を繰返す。なお、タッチパネル２から出力された入力開始点Ｔ１に対応する座標データは、座標データ記憶部７１に記憶される。
【００４８】
ステップｓ２−２では、入力線分認識部６３は、座標データ記憶部７１から入力開始点Ｔ１に対応する座標データを取得する。
【００４９】
次に、ステップｓ２−３では、入力線分認識部６３は、タッチパネル２の入力面２１に対する入力線分Ｌ１の手書き入力が終了したか否かを判定する。入力線分認識部６３は、予め定める時間経過してもタッチパネル２の入力面２１に対する入力操作が行われない場合に、入力線分Ｌ１の手書き入力が終了したと判定する。入力線分認識部６３が入力線分Ｌ１の手書き入力が終了したと判定した場合にはステップｓ２−４に進み、入力線分Ｌ１の手書き入力が終了していないと判定した場合にはステップｓ２−３を繰返す。なお、入力線分Ｌ１の手書き入力による軌跡に対応する座標データは、入力終了点Ｔ２の座標データも含めて座標データ記憶部７１に記憶される。
【００５０】
ステップｓ２−４では、入力線分認識部６３は、座標データ記憶部７１から入力終了点Ｔ２に対応する座標データを取得する。
【００５１】
以上のようにして、入力線分認識部６３は、図４（ｂ）に示すように、表示パネル３の表示面３１に表示された文書画像と重なるように手書き入力された入力線分Ｌ１を認識し、入力線分の両端点である入力開始点Ｔ１の座標データ、および入力終了点Ｔ２の座標データを取得する。
【００５２】
図２に戻って、ステップｓ２において入力線分認識処理が終了すると、ステップｓ３に進む。ステップｓ３では、表示装置１は、修飾編集範囲設定処理を行う。
【００５３】
図５は、表示装置１における修飾編集範囲設定処理の動作を示すフローチャートである。図６は、表示装置１における修飾編集範囲設定処理の動作を説明するための図である。修飾編集範囲設定部６４は、入力線分認識部６３が取得した入力線分Ｌ１の両端点（入力開始点Ｔ１および入力終了点Ｔ２）の座標データに基づいて、表示パネル３の表示面３１に表示された文書画像のうち、入力線分Ｌ１と重なった修飾編集範囲を設定する。
【００５４】
まず、ステップｓ３−１では、修飾編集範囲設定部６４は、標準文字サイズ情報記憶部７７から標準文字のサイズ情報を読出す。なお、標準文字の幅サイズ（Ｘ軸方向のサイズ）を「Ｓｘ」とし、高さサイズ（Ｙ軸方向のサイズ）を「Ｓｙ」とする。
【００５５】
次に、ステップｓ３−２では、修飾編集範囲設定部６４は、図６（ａ）に示すように、入力開始点Ｔ１からＸ軸方向外方側に「Ｓｘ／２」、Ｙ軸方向上方側に「Ｓｙ／２」だけ移動した位置を第１基準点Ｒ１として設定する。次に、ステップｓ３−３では、修飾編集範囲設定部６４は、入力終了点Ｔ２からＸ軸方向外方側に「Ｓｘ／２」、Ｙ軸方向下方側に「Ｓｙ／２」だけ移動した位置を第２基準点Ｒ２として設定する。
【００５６】
そして、ステップｓ３−４では、修飾編集範囲設定部６４は、図６（ｂ）に示すように、第１基準点Ｒ１と第２基準点Ｒ２とを対角線の頂点とする矩形範囲を、修飾編集範囲Ｒとして設定し、修飾編集範囲設定処理を終了する。
【００５７】
図２に戻って、ステップｓ３において修飾編集範囲設定処理が終了すると、ステップｓ４に進む。ステップｓ４では、表示装置１は、文字認識処理を行う。
【００５８】
図７は、表示装置１における文字認識処理の動作を示すフローチャートである。図８Ａ〜図８Ｃは、表示装置１における文字認識処理の動作を説明するための図である。文字認識部６５は、修飾編集範囲設定部６４が設定した修飾編集範囲Ｒ内における文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識する。
【００５９】
まず、ステップｓ４−１では、文字認識部６５は、図８Ａ（ａ）に示すように、入力開始点Ｔ１から表示面３１の周縁右端部まで、Ｘ軸に平行に延びる水平線Ｌ２を生成する。そして、文字認識部６５は、図８Ａ（ｂ）に示すように、水平線Ｌ２が修飾編集範囲Ｒ内の文字と重ならない位置まで、水平線Ｌ２をＹ軸方向上方側に移動させる。これによって、水平線Ｌ２は、点Ｔ３から表示面３１の周縁右端部まで、Ｘ軸に平行に延びる線となる。
【００６０】
次に、ステップｓ４−２では、文字認識部６５は、図８Ａ（ｃ）に示すように、修飾編集範囲Ｒ内のいずれかの文字と点接触するまで水平線Ｌ２を点Ｔ３を中心に回転させて、文字認識基準線Ｌ３を生成する。次に、ステップｓ４−３では、文字認識部６５は、図８Ｂ（ｄ）に示すように、点Ｔ３を通り、文字認識基準線Ｌ３に垂直な垂線Ｌ４を生成する。
【００６１】
次に、ステップｓ４−４では、文字認識部６５は、図８Ｂ（ｅ）に示すように、垂線Ｌ４を、その傾きが変化しないように表示面３１の周縁右端部に向けて平行移動させながら、垂線Ｌ４と文字との交点Ａ１の数を算出する。次に、ステップｓ４−５では、文字認識部６５は、垂線Ｌ４と文字との交点Ａ１の数に基づいてヒストグラムを作成し、そのヒストグラムを２値化する。
【００６２】
次に、ステップｓ４−６では、文字認識部６５は、図８Ｂ（ｆ）に示すように、２値化の結果に基づいて、修飾編集範囲Ｒ内における文書画像を１文字ごとに分離する。
【００６３】
そして、ステップｓ４−７では、文字認識部６５は、図８Ｃ（ｇ）に示すように、分離した文字に対して文字認識を実施し、各文字の軌跡を表す座標データを取得するとともに、認識した文字の情報を取得する。具体的には、文字認識部６５は、図８Ｃ（ｈ）に示すように、分離した各文字に対応する比較用の標準的な文字サンプルを、文字サンプル情報記憶部７８から読出して、その文字サンプルと分離した各文字とを比較することで、認識文字の情報を取得する。まず、文字認識部６５は、分離した各文字に対して、文字サンプルを回転させながらマッチングさせ、最もマッチした文字サンプルのＸ軸に対する傾斜角度を、分離した各文字の傾き「Ｒｉ」として算出する。次に、文字認識部６５は、分離した各文字に対して、文字サンプルの大きさを変化させ、最もマッチした文字サンプルのサイズを、分離した各文字のサイズデータ（幅サイズＷｉ、高さサイズＨｉ）として算出する。
【００６４】
このようにして算出した文字の傾き「Ｒｉ」、文字のサイズデータを用いて、文字認識部６５は、分離した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。文字認識部６５は、外接矩形の座標データとして、外接矩形の４つの頂点、すなわち、上辺のＸ軸左端部側の頂点ＰＵ１、上辺のＸ軸右端部側の頂点ＰＵ２、下辺のＸ軸左端部側の頂点ＰＬ１、下辺のＸ軸右端部側の頂点ＰＬ２の座標データを取得する。
【００６５】
なお、文字認識部６５が取得した文字の傾き「Ｒｉ」、文字のサイズデータ、および外接矩形の座標データなどの認識文字の情報は、認識文字情報記憶部７２に記憶される。
【００６６】
図２に戻って、ステップｓ４において文字認識処理が終了すると、ステップｓ５に進む。ステップｓ５では、認識文字数記憶部７３は、文字認識部６５が認識した文字の数を記憶する。たとえば、文字認識部６５が「強調したい文字をマーク」という文書画像データから、１文字ごとに文字を認識した場合には、「強」、「調」、「し」、「た」、「い」、「文」、「字」、「を」、「マ」、「ー」、および「ク」の合計１１個の文字が認識されるので、認識文字数記憶部７３には、認識文字数として「１１」が記憶される。
【００６７】
次に、ステップｓ６では、表示装置１は、文字抽出処理を行う。図９は、表示装置１における文字抽出処理の動作を示すフローチャートである。図１０は、表示装置１における文字抽出処理の動作を説明するための図である。文字抽出部６６は、文字認識部６５が認識した文字列を構成する文字から任意の文字を抽出する。
【００６８】
まず、ステップｓ６−１では、文字抽出部６６は、図１０に示すように、文字認識部６５が認識した文字のうち、入力線分Ｌ１の入力開始点Ｔ１に最も近接する第１端部文字Ｃ１を抽出する。図１０では、第１端部文字Ｃ１は、「強」である。
【００６９】
次に、ステップｓ６−２では、文字抽出部６６は、文字認識部６５が認識した文字のうち、入力線分Ｌ１の入力終了点Ｔ２に最も近接する第２端部文字Ｃｎを抽出する。図１０では、第２端部文字Ｃｎは、「ク」である。
【００７０】
次に、ステップｓ６−３では、文字抽出部６６は、認識文字数記憶部７３から認識文字数の情報を読出し、認識文字数「ｎ」が予め定める文字数「Ｎ」以下であるか否かを判定する。文字抽出部６６が文字数「Ｎ」以下であると判定した場合にはステップｓ６−４に進み、文字数「Ｎ」を超えると判定した場合にはステップｓ６−５に進む。
【００７１】
ステップｓ６−４では、文字抽出部６６は、文字認識結果の２文字目から（ｎ−１）文字目までを中間文字ＣＳとして抽出する。
【００７２】
ステップｓ６−５では、文字抽出部６６は、文字認識結果の２文字目から（ｎ−１）文字目までの文字のうち、間の文字数が等間隔となるように、（Ｎ−２）個の文字を中間文字Ｃｓとして抽出する。たとえば、「強」、「調」、「し」、「た」、「い」、「文」、「字」、「を」、「マ」、「ー」、および「ク」の合計１１個（認識文字数ｎ＝１１）の文字が配列され、予め定める文字数「Ｎ」が「３」である場合、中間文字Ｃｓの文字数は、（Ｎ−２）＝１個であり、その中間文字ＣＳとして「文」が抽出される。中間文字ＣＳである「文」は、２文字目の「調」から（ｎ−１）文字目までの「ー」のうち、第１端部文字Ｃ１である「強」との間に「調」、「し」、「た」、および「い」の４文字が配置され、第２端部文字Ｃｎである「ク」との間に「字」、「を」、「マ」、および「ー」の４文字が配置されている。
【００７３】
また、認識文字数「ｎ」が「１０」であり、文字数「Ｎ」が「３」である場合、文字抽出部６６は、（Ｎ−２）＝１個の中間文字ＣＳとして、たとえば５文字目の文字を抽出する。この場合には、第１端部文字Ｃ１と中間文字ＣＳとの間には３文字、第２端部文字Ｃｎと中間文字ＣＳとの間には４文字が配置されているが、このような場合においても、間の文字数が等間隔であると見なす。
【００７４】
また、文字抽出部６６は、抽出した第１端部文字Ｃ１、第２端部文字Ｃｎ、および中間文字ＣＳの、文字の傾き「Ｒｉ」、文字のサイズデータ（幅サイズＷｉ、高さサイズＨｉ）、および外接矩形の座標データなどの抽出文字の情報を取得する。
【００７５】
なお、文字抽出部６６が取得した文字の傾き「Ｒｉ」、文字のサイズデータ、および外接矩形の座標データなどの抽出文字の情報は、抽出文字情報記憶部７４に記憶される。
【００７６】
図２に戻って、ステップｓ６において文字抽出処理が終了すると、ステップｓ７に進む。ステップｓ７では、表示装置１は、接線線分生成処理を行う。
【００７７】
図１１は、表示装置１における接線線分生成処理の動作を示すフローチャートである。図１２は、表示装置１における接線線分生成処理の動作を説明するための図である。文字接線生成部６７は、文字抽出部６６が抽出した各文字に対する２つの接線線分である第１接線線分Ｓ１および第２接線線分Ｓ２を文字ごとに生成する。
【００７８】
まず、ステップｓ７−１では、文字接線生成部６７は、抽出文字情報記憶部７４から抽出文字の情報を読出す。
【００７９】
次に、ステップｓ７−２では、文字接線生成部６７は、図１２に示すように、文字抽出部６６が抽出した各文字の外接矩形における、文字列の文字配列方向（Ｘ軸方向）に延びる上辺を含む第１接線線分Ｓ１を文字ごとに生成する。本実施形態では、文字接線生成部６７は、外接矩形の上辺のＸ軸左端部側の頂点ＰＵ１から、上辺のＸ軸右端部側の頂点ＰＵ２まで延びる線分を、第１接線線分Ｓ１として生成する。この第１接線線分Ｓ１は、線分の長さが文字の幅サイズＷｉに対応する長さであり、傾きが文字の傾きＲｉに対応する。
【００８０】
次に、ステップｓ７−３では、文字接線生成部６７は、文字抽出部６６が抽出した各文字の外接矩形における、文字列の文字配列方向（Ｘ軸方向）に延びる下辺を含む第２接線線分Ｓ２を文字ごとに生成する。本実施形態では、文字接線生成部６７は、外接矩形の下辺のＸ軸左端部側の頂点ＰＬ１から、下辺のＸ軸右端部側の頂点ＰＬ２まで延びる線分を、第２接線線分Ｓ２として生成する。この第２接線線分Ｓ２は、線分の長さが文字の幅サイズＷｉに対応する長さであり、傾きが文字の傾きＲｉに対応する。
【００８１】
文字接線生成部６７は、上記のように生成した第１接線線分Ｓ１の両端点ＳＵ１，ＳＵ２の座標データを取得する。端点ＳＵ１は頂点ＰＵ１に対応し、端点ＳＵ２は頂点ＰＵ２に対応する。また、文字接線生成部６７は、第２接線線分Ｓ２の両端点ＳＬ１，ＳＬ２の座標データを取得する。端点ＳＬ１は頂点ＰＬ１に対応し、端点ＳＬ２は頂点ＰＬ２に対応する。
【００８２】
なお、文字接線生成部６７が取得した第１接線線分Ｓ１の両端点ＳＵ１，ＳＵ２の座標データ、第２接線線分Ｓ２の両端点ＳＬ１，ＳＬ２の座標データは、近似曲線生成用制御点記憶部７６に記憶される。
【００８３】
図２に戻って、ステップｓ７において接線線分生成処理が終了すると、ステップｓ８に進む。ステップｓ８では、表示装置１は、近似曲線生成処理を行う。
【００８４】
図１３は、表示装置１における近似曲線生成処理の動作を示すフローチャートである。図１４は、表示装置１における近似曲線生成処理の動作を説明するための図である。近似曲線生成部６８は、第１曲線ＢＵと、第２曲線ＢＬとを生成する。
【００８５】
まず、ステップｓ８−１では、近似曲線生成部６８は、近似曲線生成用制御点記憶部７６から、文字抽出部６６が抽出した各文字に対応して、第１接線線分Ｓ１の両端点ＳＵ１，ＳＵ２の座標データ、第２接線線分Ｓ２の両端点ＳＬ１，ＳＬ２の座標データを読出す。
【００８６】
次に、ステップｓ８−２では、近似曲線生成部６８は、図１４に示すように、文字抽出部６６が抽出した各文字に対応する、文字ごとのそれぞれの第１接線線分Ｓ１の両端点ＳＵ１，ＳＵ２を通る近似曲線（ベジェ曲線）を、第１曲線ＢＵとして生成する。
【００８７】
そして、ステップｓ８−３では、近似曲線生成部６８は、文字抽出部６６が抽出した各文字に対応する、文字ごとのそれぞれの第２接線線分Ｓ２の両端点ＳＬ１，ＳＬ２を通る近似曲線（ベジェ曲線）を、第２曲線ＢＬとして生成する。
【００８８】
図２に戻って、ステップｓ８において近似曲線生成処理が終了すると、ステップｓ９に進む。ステップｓ９では、表示装置１は、帯状領域生成処理を行う。
【００８９】
図１５は、表示装置１における帯状領域生成処理の動作を示すフローチャートである。図１６は、表示装置１における帯状領域生成処理の動作を説明するための図である。帯状領域生成部６９は、近似曲線生成部６８が生成した第１曲線ＢＵと第２曲線ＢＬとの間で幅が規定され、文書画像を透過する帯状領域を生成する。
【００９０】
まず、ステップｓ９−１では、帯状領域生成部６９は、図１６（ａ）に示すように、第１接線線分Ｓ１の端点ＳＵ１と、第２接線線分Ｓ２の端点ＳＬ１とを結ぶ直線Ｌ５を生成する。次に、ステップｓ９−２では、帯状領域生成部６９は、第１接線線分Ｓ１の端点ＳＵ２と、第２接線線分Ｓ２の端点ＳＬ２とを結ぶ直線Ｌ６を生成する。
【００９１】
そして、ステップｓ９−３では、帯状領域生成部６９は、図１６（ｂ）に示すように、第１曲線ＢＵと、第２曲線ＢＬと、直線Ｌ５と、直線Ｌ６とで囲まれた領域を、帯状領域ＯＬとして生成し、生成した帯状領域ＯＬ内を文書画像を透過するような色、透明度で表示パネル３に表示させる。この帯状領域ＯＬは、文書画像を透過するような色、透明度で塗り潰された領域である。
【００９２】
以上のように、本実施形態の表示装置１では、近似曲線生成部６８が生成する第１曲線ＢＵおよび第２曲線ＢＬは、タッチパネル２に手書き入力された入力線分Ｌ１と重なった文字列を構成する文字のうち、第１端部文字Ｃ１および第２端部文字Ｃｎを含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部６９は、上記のような第１曲線ＢＵと第２曲線ＢＬとの間で幅が規定される帯状領域ＯＬを生成し、生成した帯状領域ＯＬ内を文書画像を透過するような色、透明度で表示パネル３に表示させる。これによって、表示パネル３に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。
【００９３】
また本発明のさらに他の実施の形態として、コンピュータを前述した表示装置１として機能させるために、コンピュータに実行させるための表示プログラム（実行形式プログラム、中間コードプログラムおよびソースプログラムの少なくともいずれか１つ）、およびこの表示プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することも可能である。
【００９４】
なお、表示プログラムを記録する記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、たとえばＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）のようなものそのものがプログラムメディアであってもよいし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
【００９５】
いずれの場合においても、格納されている表示プログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、いずれの場合も表示プログラムを読み出し、読み出された表示プログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、その表示プログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００９６】
上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ（Magneto Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００９７】
また、インターネットを含む通信ネットワークを接続可能なシステム構成を持つことで、通信ネットワークから表示プログラムをダウンロードするように流動的に表示プログラムを担持する媒体であってもよい。なお、このように通信ネットワークから表示プログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、本発明は、上記表示プログラムが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【符号の説明】
【００９８】
１ 表示装置
２ タッチパネル
３ 表示パネル
６０ 文書画像データ取得部
６１ 座標データ取得部
６２ 軌跡表示指示部
６３ 入力線分認識部
６４ 修飾編集範囲設定部
６５ 文字認識部
６６ 文字抽出部
６７ 文字接線生成部
６８ 近似曲線生成部
６９ 帯状領域生成部
【特許請求の範囲】
【請求項１】
文書画像を表す画像データを取得する文書画像データ取得部と、
前記文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示する表示部と、
前記表示部の表面上に積層されて、前記表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する入力部と、
前記入力部から出力される手書き入力の軌跡に対応する座標データに基づいて、前記表示部に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する入力線分認識部と、
前記入力線分の両端点の座標データに基づいて、前記入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する文字認識部と、
前記文字認識部が取得した１文字ごとの座標データに基づいて、前記文字認識部が認識した文字列を構成する文字のうち、前記入力線分の両端点のそれぞれに最も近接する２つの文字である第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する文字抽出部と、
前記文字抽出部が抽出した各文字の外接矩形における前記文字列の文字配列方向に延びる２辺のそれぞれを含む、各文字に対する２つの接線線分である第１接線線分および第２接線線分を、文字ごとに生成する文字接線生成部と、
前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する近似曲線生成部と、
前記近似曲線生成部が生成した前記第１曲線と前記第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を前記文書画像を透過するような色で前記表示部に表示させる帯状領域生成部と、を備えることを特徴とする表示装置。
【請求項２】
前記文書画像データ取得部は、前記入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記近似曲線生成部は、前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を前記第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を前記第２曲線として生成することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記帯状領域生成部は、前記第１端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第２端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第１曲線、および前記第２曲線で囲まれた領域を、帯状領域として生成することを特徴とする請求項１〜３のいずれか１つに記載の表示装置。
【請求項５】
入力部および表示部を備えるコンピュータを、請求項１〜４のいずれか１つに記載の表示装置として機能させることを特徴とする表示プログラム。
【請求項１】
文書画像を表す画像データを取得する文書画像データ取得部と、
前記文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示する表示部と、
前記表示部の表面上に積層されて、前記表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する入力部と、
前記入力部から出力される手書き入力の軌跡に対応する座標データに基づいて、前記表示部に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する入力線分認識部と、
前記入力線分の両端点の座標データに基づいて、前記入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する文字認識部と、
前記文字認識部が取得した１文字ごとの座標データに基づいて、前記文字認識部が認識した文字列を構成する文字のうち、前記入力線分の両端点のそれぞれに最も近接する２つの文字である第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する文字抽出部と、
前記文字抽出部が抽出した各文字の外接矩形における前記文字列の文字配列方向に延びる２辺のそれぞれを含む、各文字に対する２つの接線線分である第１接線線分および第２接線線分を、文字ごとに生成する文字接線生成部と、
前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する近似曲線生成部と、
前記近似曲線生成部が生成した前記第１曲線と前記第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を前記文書画像を透過するような色で前記表示部に表示させる帯状領域生成部と、を備えることを特徴とする表示装置。
【請求項２】
前記文書画像データ取得部は、前記入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記近似曲線生成部は、前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を前記第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を前記第２曲線として生成することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記帯状領域生成部は、前記第１端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第２端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第１曲線、および前記第２曲線で囲まれた領域を、帯状領域として生成することを特徴とする請求項１〜３のいずれか１つに記載の表示装置。
【請求項５】
入力部および表示部を備えるコンピュータを、請求項１〜４のいずれか１つに記載の表示装置として機能させることを特徴とする表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２４３１６７（Ｐ２０１２−２４３１６７Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４２２０（Ｐ２０１１−１１４２２０）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]