表示装置及び表示制御プログラム
【課題】簡便な操作で、原稿に表示された文字列から画像を生成して表示する。
【解決手段】原稿の画像を表示する画面を有し、画面に表示されている原稿中の文字を認識する機能と、画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置であって、原稿の画像が表示されている画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、書き込み領域内に表示されている文字列を取得する入出力管理部と、取得した文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、画像種別をユーザに選択させるための候補を表示する入力画像解析部と、取得した文字列に基づいて、特定又は選択された画像種別の画像を生成する画像生成部と、画面に表示されている原稿の画像に、生成した画像を重ねて表示する画像表示部と、を備える。
【解決手段】原稿の画像を表示する画面を有し、画面に表示されている原稿中の文字を認識する機能と、画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置であって、原稿の画像が表示されている画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、書き込み領域内に表示されている文字列を取得する入出力管理部と、取得した文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、画像種別をユーザに選択させるための候補を表示する入力画像解析部と、取得した文字列に基づいて、特定又は選択された画像種別の画像を生成する画像生成部と、画面に表示されている原稿の画像に、生成した画像を重ねて表示する画像表示部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置及び表示制御プログラムに関し、特に、タッチペン等で入力が可能なタッチパネルを備える表示装置及び表示装置で動作する表示制御プログラムに関する。
【背景技術】
【０００２】
近年、タブレット端末のようなタッチパネルを備えた表示装置が会議等に利用されており、例えば、表示装置上で動作する電子会議アプリケーションを用いて、表示装置の画面に会議の原稿を表示したり、表示した原稿にメモなどを追記したり、保存したりすることが行われている。
【０００３】
原稿にメモなどを追記する技術として、例えば、下記特許文献１には、原稿画像を読取り、画像データを得る読取手段と、前記画像データに基づいて、表示装置で前記画像データを表示させるための電子文書データを生成する電子文書化手段と、前記画像データより、手書きで追記された部分を含む追記領域を抽出する抽出手段と、前記追記領域に基づいて注釈用のデータを生成する生成手段と、前記画像データ上の前記追記領域の位置に基づいて、前記表示装置が前記電子文書データに前記注釈用データを表示するための位置を算出し、前記注釈用のデータに対して設定する設定手段とを備える、画像形成装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１８１４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
表示されている原稿にタッチペンで追記できるようにすることで、紙媒体に印刷した原稿と同様に、原稿に文字を付加することができるが、従来の方法では、メモ書き程度の文字を追記したり、付箋などに貼り付けたりすることができるだけであり、追記としては不十分であった。
【０００６】
例えば、原稿等に住所が含まれている場合にその住所を地図上で確認できたり、原稿等にデータが含まれている場合にそのデータをグラフで確認できたり、原稿等にＵＲＬ（Uniform Resource Locator）が含まれている場合にそのＵＲＬをコード情報として確認できたりすれば、原稿の閲覧するユーザにとって非常に便利である。
【０００７】
しかしながら、従来の方法では、地図やグラフ、コード情報のような画像を手書きで追記することは困難である。また、地図やグラフのような画像を手書きで追記できたとしても、住所やデータなどのテキスト情報を地図やグラフなどの画像に変換する処理はユーザ自身が行わなければならないため、操作が煩雑である。また、ユーザ自身が画像を手書きで追記する場合は、地図データに基づいて作成される正確な地図や、データ処理アプリケーションを用いて作成される正確なグラフを追記することができない。
【０００８】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、簡便な操作で、原稿に表示された文字列から画像を生成して表示することができる表示装置及び表示制御プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、原稿の画像を表示する画面を有し、前記画面に表示されている原稿中の文字を認識する機能と、前記画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置であって、前記原稿の画像が表示されている前記画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、前記書き込み領域内に表示されている文字列を取得する入出力管理部と、取得した前記文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、前記画像種別をユーザに選択させるための候補を表示する入力画像解析部と、取得した前記文字列に基づいて、特定又は選択された前記画像種別の画像を生成する画像生成部と、前記画面に表示されている前記原稿の画像に、生成した前記画像を重ねて表示する画像表示部と、を備えるものである。
【００１０】
また、本発明は、原稿の画像を表示する画面を有し、前記画面に表示されている原稿中の文字を認識する機能と、前記画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置で動作する表示制御プログラムであって、前記表示装置を、前記原稿の画像が表示されている前記画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、前記書き込み領域内に表示されている文字列を取得する入出力管理部、取得した前記文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、前記画像種別をユーザに選択させるための候補を表示する入力画像解析部、取得した前記文字列に基づいて、特定又は選択された前記画像種別の画像を生成する画像生成部、前記画面に表示されている前記原稿の画像に、生成した前記画像を重ねて表示する画像表示部、として機能させるものである。
【発明の効果】
【００１１】
本発明の表示装置及び表示制御プログラムによれば、簡便な操作で、原稿に表示された文字列から画像を生成して表示することができる。
【００１２】
その理由は、原稿に記載された文字列を囲むように書き込みが行われると、書き込み領域内の文字列を取得して解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、画像種別をユーザに選択させるための候補を表示し、取得した文字列から、特定又は選択された画像種別の画像を生成し、原稿の画像に重ね合わせて表示する制御を行うからである。
【００１３】
これにより、表示装置に原稿を表示する使用形態の特徴を十分に生かして、原稿を閲覧するユーザに有益な情報を提供することができ、ユーザの利便性を格段に向上させることができる。
【００１４】
また、文字列の囲み方や文字列を解析し、履歴情報に基づいて学習することにより、ユーザが所望する画像を即座に提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例に係る表示装置の一例を示す図である。
【図２】本発明の一実施例に係る表示装置の主要構成及び概略動作を示す図である。
【図３】本発明の一実施例に係る表示装置の全体処理を示すフローチャート図である。
【図４】本発明の一実施例に係る表示装置を用いた画像生成処理の具体例を示す図である。
【図５】本発明の一実施例に係る表示装置を用いた画像生成処理のバリエーションを示す図である。
【図６】本発明の一実施例に係る表示装置の画像生成処理を示すフローチャート図である。
【図７】本発明の一実施例に係る表示装置の囲み領域解析処理を示すフローチャート図である。
【図８】本発明の一実施例に係る表示装置の文字列解析処理を示すフローチャート図である。
【図９】本発明の一実施例に係る表示装置の実際の処理を示すフローチャート図である。
【図１０】本発明の一実施例に係る検索キーワード記憶テーブルの一例を示す図である。
【図１１】本発明の一実施例に係る解析情報記憶テーブル（デフォルト値）の一例を示す図である。
【図１２】本発明の一実施例に係る解析情報記憶テーブルの一例を示す図である。
【図１３】本発明の一実施例に係る解析情報記憶テーブル（ユーザA）の一例を示す図である。
【発明を実施するための形態】
【００１６】
背景技術で示したように、タブレット端末などのタッチパネルを備える表示装置を用い、当該装置で動作する電子会議アプリケーションを利用して、会議の原稿などを表示したり、表示した原稿にタッチペンで文字などを追記したりすることができる。
【００１７】
ここで、例えば、表示されている原稿に住所が含まれている場合に、その住所近傍の地図を表示したり、原稿にデータが含まれている場合に、そのデータを処理したグラフを表示したり、原稿にＵＲＬが含まれている場合に、そのＵＲＬを携帯端末で読み取るためのコード情報を表示したりすることによって、原稿を閲覧するユーザの便利性を向上させることができる。
【００１８】
しかしながら、従来の方法では、地図やグラフ、ＵＲＬなどの画像を追記することは困難である。また、追記できたとしても、住所やデータなどのテキスト情報を地図やグラフなどの画像情報に変換する処理はユーザ自身が行わなければならないため、操作が煩雑である。また、手書きでは正確な地図や正確なグラフを追記することができない。
【００１９】
そこで、本発明の一実施の形態では、画面上に表示された文字列に基づいて自動的に画像を生成し、生成した画像を原稿の画像に重ね合わせて表示できるようにする手法を提案する。
【００２０】
例えば、原稿に住所が含まれている場合に、住所の文字列をタッチペンで囲むと、その住所近傍の地図を自動的に生成して表示したり、原稿に数値が含まれている場合に、数値の文字列をタッチペンで囲むと、その数値に基づくグラフを自動的に生成して表示したり、原稿にＵＲＬが含まれている場合に、ＵＲＬの文字列をタッチペンで囲むと、そのＵＲＬをコード化したＱＲコードを自動的に生成して表示したりする。
【００２１】
また、上記文字列の囲み方や囲まれている文字列の内容を解析し、各々のユーザが所望する画像を学習し、よく変換されている画像を自動的に生成したり、よく変換されている画像の候補を画面に提示したりする。
【実施例】
【００２２】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る表示装置及び表示制御プログラムについて、図１乃至図１３を参照して説明する。図１は、本実施例の表示装置の一例を示す図であり、図２は、表示装置の主要構成及び概略動作を示す図である。また、図３は、本実施例の表示装置の全体処理を示すフローチャート図であり、図４及び図５は、本実施例の表示装置を用いた画像生成処理の一例を示す図である。また、図６乃至図９は、本実施例の表示装置の画像生成処理の詳細を示すフローチャート図であり、図１０乃至図１３は、画像生成処理の際に参照するテーブルの一例を示す図である。
【００２３】
図１に示すように、本実施例の表示装置１０は、タブレット端末や電子ブック、薄型のコンピュータ装置などの表示デバイスを備えた装置である。この表示装置１０には、原稿の画像を表示する領域（原稿表示画面）と、原稿表示画面に表示する原稿を選択する領域（原稿選択画面）と、追記するためのペンの選択、色や幅の指定などを行う領域（ペン選択コントロール）と、が設けられており、ペン選択コントロールでペン／筆アイコンをクリックすると、原稿表示画面に表示されるペン／筆で原稿に追記ができるようになっている。
【００２４】
図２は、表示装置１０の主要構成及び概略動作を示しており、表示装置１０は、画像表示コンポーネント１１と、入出力管理モジュール１２と、入力画像解析モジュール１３と、画像生成モジュール１４と、画像表示モジュール１５と、画像保存モジュール１６と、通信部１７と、解析情報記憶部１８と、記憶部１９などで構成される。
【００２５】
画像表示コンポーネント１１は、例えば、液晶表示装置や有機ＥＬ（electroluminescence）表示装置等の表示部上に、透明電極が格子状に配置された感圧式のタッチパネル等の操作部を備えている。また、画像表示コンポーネント１１は、ＯＣＲ（Optical Character Recognition）機能を備えており、表示部に表示された原稿を構成する文字を認識することができる。そして、タッチペン等を用いて矩形や楕円などの所定の図形を書き込むと、画像表示コンポーネント１１は、入出力管理モジュール１２に対して書き込みイベントを通知する。また、タッチペン等を用いて保存が指示（保存ボタンがタッチ）されると、画像表示コンポーネント１１は、画像保存モジュール１６に対して保存イベントを通知する。なお、所定の図形は、領域を特定できればよく、例えば、「」などの記号としてもよい。
【００２６】
入出力管理モジュール１２は、書き込みイベントを検出すると、画像表示コンポーネント１１から上記所定の図形の座標を取得して、所定の図形で囲まれた領域（書き込み領域と呼ぶ。）を特定する共に、画像表示コンポーネント１１のＯＣＲ機能を利用して、書き込み領域内に表示されている文字列を取得し、特定した書き込み領域の情報と取得した文字列の情報とを入力画像解析モジュール１３に通知する。
【００２７】
入力画像解析モジュール１３は、入出力管理モジュール１２から書き込み領域情報と文字列情報とを受信すると、書き込み領域内の文字列を解析し、解析情報記憶部１８に予め記憶されている情報（後述する検索キーワード記憶テーブル）に基づいて、文字列に含まれるキーワードを抽出し、解析情報記憶部１８に予め記憶されている情報（後述する解析情報記憶テーブル）から、抽出したキーワードを含む文字列を検索し、検索した文字列に対応する画像種別を、生成する画像の画像種別として特定する。また、入力画像解析モジュール１３は、書き込み領域のサイズを取得し、解析情報記憶部１８に予め記憶されている情報（後述する解析情報記憶テーブル）から、取得したサイズに近いサイズの書き込み領域を検索し、検索した書き込み領域に対応する画像種別を、生成する画像の画像種別として特定する。また、入力画像解析モジュール１３は、画像変換候補を提示して、ユーザに画像種別を選択させる。そして、特定又は選択された画像種別の画像を生成する画像生成モジュール１４に文字列情報を通知する。
【００２８】
画像生成モジュール１４は、入力画像解析モジュール１３から受け取った文字列情報に基づいて画像を生成する部分であり、本実施例では、コード情報生成モジュール１４ａとグラフ生成モジュール１４ｂと地図情報生成モジュール１４ｃとを含む。コード情報生成モジュール１４ａは、文字列がＵＲＬの場合に動作するモジュールであり、公知の技術を利用してＵＲＬをコード化し、ＱＲコード（登録商標）やバーコードなどのコード情報を生成し、生成したコード情報を画像表示モジュール１５に送信する。グラフ生成モジュール１４ｂは、書き込み領域のサイズが２行以上の文字列を含む大きさの場合に動作するモジュールであり、文字列から数値を取得し、その数値を用いて、円グラフや折れ線グラフ、棒グラフなどを生成し、生成したグラフを画像表示モジュール１５に送信する。地図情報生成モジュール１４ｃは、文字列が住所の場合に動作するモジュールであり、予め記憶した地図の中からその住所近傍の地図を抽出して地図情報を生成し、生成した地図情報を画像表示モジュール１５に送信する。
【００２９】
画像表示モジュール１５は、原稿選択画面で選択された原稿を原稿表示画面に表示させたり、ペン選択コントロールで選択されたペンの画像を原稿表示画面に表示させたり、画像生成モジュール１４で生成された画像（コード情報又はグラフ又は地図情報）を原稿の画像に重ね合わせて原稿表示画面に表示させたりする。
【００３０】
画像保存モジュール１６は、保存イベントを検出すると、画像表示コンポーネント１１から原稿表示画面に表示された合成画像情報（原稿の画像に、生成された画像を重ね合わせた画像情報）を取得し、その画像情報を記憶部１９に保存する。また、通信部１７を介してインターネットなどから画像情報をダウンロードした場合は、ダウンロードした画像情報を記憶部１９に保存する。
【００３１】
通信部１７は、ＮＩＣ（Network Interface Card）やモデムなどであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの通信ネットワークを介して、外部装置（例えば、原稿データを保存するサーバ、画像情報を提供するサーバ、表示した画像情報を印刷するプリンタやＭＦＰ（Multi Function Peripheral）などの画像形成装置）と接続する。
【００３２】
解析情報記憶部１８は、メモリやＨＤＤ（Hard Disk Drive）であり、図１０に示すような検索キーワード記憶テーブルや、図１１乃至図１３に示すような解析情報記憶テーブルなどを記憶すると共に、入力画像解析モジュール１３で解析した結果を履歴情報として上記解析情報記憶テーブルに反映する。
【００３３】
記憶部１９も、メモリやＨＤＤであり、画像表示コンポーネント１１から取得した画像情報や通信部１７を介してインターネットなどからダウンロードした画像情報などを記憶する。なお、解析情報記憶部１８と記憶部１９とは、単一のメモリ乃至はＨＤＤの異なる記憶エリアをそれぞれ使用することにより構成しても良い。
【００３４】
なお、図２では、入出力管理モジュール１２、入力画像解析モジュール１３、画像生成モジュール１４、画像表示モジュール１５、画像保存モジュール１６をハードウェアとして構成しているが、これらは、ＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとで構成される制御部により実行されるプログラム（表示制御プログラム）として構成してもよい。
【００３５】
次に、上記構成の表示装置１０の全体処理について、図３のフローチャート図を参照して概説する。
【００３６】
まず、ユーザが表示装置１０の原稿選択画面を操作して原稿を選択すると、表示装置１０の画像表示モジュール１５は、画像表示コンポーネント１１（原稿表示画面）に、選択された原稿を表示させる（Ｓ１０１）。
【００３７】
次に、ユーザが表示装置１０のペン選択コントロールを操作してペンを選択し、タッチペン等を用いて表示された原稿の所定の文字列を囲むように所定の図形の書き込みを行うと、画像表示コンポーネント１１は、所定の図形の書き込みを検出し、所定の図形が書き込まれたことを知らせる書き込みイベントを入出力管理モジュール１２に通知する（Ｓ１０２）。なお、所定の図形の書き込み方法は特に限定されず、手書きで図形を描画してもよいし、始点と終点を指定して矩形を描画してもよい。
【００３８】
次に、入出力管理モジュール１２は、画像表示コンポーネント１１から所定の図形の座標を取得して、所定の図形で囲まれた書き込み領域を特定する共に、書き込み領域内に表示されている文字列を取得し（Ｓ１０３）、特定した書き込み領域情報と取得した文字列情報とを入力画像解析モジュール１３に通知する。
【００３９】
通知を受けた入力画像解析モジュール１３は、文字列を解析し、解析した文字列を解析情報記憶部１８に記憶された検索キーワード記憶テーブル（図１０参照）のキーワードで検索し、文字列に含まれるキーワードを抽出する（Ｓ１０４）。なお、入力画像解析モジュール１３は、書き込み領域のサイズの解析も行う場合もあるが、このフローでは理解を容易にするために書き込み領域のサイズの解析については説明しない。
【００４０】
次に、入力画像解析モジュール１３は、抽出したキーワードで解析情報記憶部１８に記憶された解析情報記憶テーブル（図１１乃至図１３参照）を検索し、キーワードに対応する画像種別を特定し（Ｓ１０５）、特定した画像種別及び文字列情報を画像生成モジュール１４に通知する。
【００４１】
次に、特定した画像種別に対応する画像生成モジュール１４（コード情報生成モジュール１４ａ又はグラフ作成モジュール１４ｂ又は地図情報作成モジュール１４ｃ）は、文字列情報から、特定した画像種別に対応する画像を生成し（Ｓ１０６）、生成した画像の情報を画像表示モジュール１５に通知する。
【００４２】
次に、画像表示モジュール１５は、画像表示コンポーネント１１（原稿表示画面）に表示されている原稿の画像に、特定した画像種別に対応する画像を重ね合わせて表示させる（Ｓ１０７）。なお、特定した画像種別に対応する画像を表示する位置は特に限定されないが、画像の元となる文字列の近傍（例えば、文字列の上下左右の余白領域など）に表示することが好ましい。
【００４３】
その後、画像保存モジュール１６は、画像表示コンポーネント１１（原稿表示画面）から、原稿の画像に特定した画像種別に対応する画像を重ね合わせた合成画像の情報を取得し、その合成画像の情報を記憶部１９に保存して（Ｓ１０８）、一連の処理を終了する。
【００４４】
このように、表示された原稿の所定の文字列を囲むように所定の図形の書き込みを行うと、その書き込み領域内の文字列を解析し、その文字列に含まれるキーワードを抽出し、抽出したキーワードに対応する画像種別を特定し、文字列から特定した画像種別に対応する画像を生成して、原稿に重ね合わせて表示するため、ユーザは表示された原稿に関連する有益な情報を得ることができる。
【００４５】
以下、文字列から画像を生成する画像生成処理について、図４及び図５の具体例、図６乃至図９のフローチャート図、図１０乃至図１３のテーブルを参照して具体的に説明する。なお、図６は、図３のフローチャート図のＳ１０４からＳ１０６までの処理の詳細を表しており、図７及び図８は、各々、図６の書き込み領域解析処理、文字列解析処理の詳細を表している。
【００４６】
［画像生成処理］
図６に示すように、入力画像解析モジュール１３は、入出力管理モジュール１２から書き込み領域情報と文字列情報を取得すると、書き込み領域内の文字列を解析する（Ｓ２１０）。
【００４７】
次に、１文字の縦横のサイズを取得する（Ｓ２２０）。なお、文字列を構成する各文字のサイズが異なる場合は、最も多くの文字で使用されているサイズや最も小さい文字のサイズ、平均的な文字のサイズなどを取得することができる。
【００４８】
次に、入力画像解析モジュール１３は、書き込み領域の縦のサイズと１文字の縦のサイズとを比較する（Ｓ２３０）。なお、書き込み領域を手書きした場合は、書き込み領域の縦のサイズは一定にはならないが、その場合は、間隔が最も狭い部分の寸法や間隔が平均的な部分の寸法を縦のサイズとすることができる。
【００４９】
そして、入力画像解析モジュール１３は、書き込み領域の縦のサイズが１文字の縦のサイズの２倍以上（すなわち、文字列が複数行）であるかを判断し（Ｓ２４０）、文字列が複数行（例えば、図４のダウンロード時間を示す文字列）の場合は、書き込み領域解析処理を行って画像種別を特定する（Ｓ２５０）、文字列が１行（例えば、図４の住所を示す文字列やＵＲＬを示す文字列）の場合は、文字列解析処理を行って画像種別を特定する（Ｓ２６０）。
【００５０】
［書き込み領域解析処理］
図７は、図６のＳ２５０の詳細を示すフローチャート図である。書き込み領域解析処理では、入力画像解析モジュール１３は、解析情報記憶テーブルに記載された書き込み領域情報の中から、特定した書き込み領域の縦横のサイズに近いもの（サイズが略等しいもの）を検索する（Ｓ２５１）。この検索は、例えば、ＳＱＬ（Structured Query Language）のＳＥＬＥＣＴ文で実行することができる。
【００５１】
なお、初期状態では、解析情報記憶テーブルは図１１に示すような構成であり、書き込み領域情報が記録されていないため、書き込み領域の縦横のサイズに近いものを検索することはできないが、本実施例の画像生成処理を繰り返すと、解析情報記憶テーブルには、解析した文字列とその文字列の書き込み領域情報とその文字列から生成した画像の画像種別とが登録されて図１２のような構成になるため、書き込み領域の縦横のサイズに近いものを検索することができるようになる。
【００５２】
次に、入力画像解析モジュール１３は、解析情報記憶テーブルに登録された書き込み領域情報の中に、特定した書き込み領域の縦横サイズに近いものがあるかを判断する（Ｓ２５２）。そして、特定した書き込み領域の縦横サイズに近いものがあれば、同じ種別の画像に変換する可能性が高いことから、必要に応じて、その書き込み領域情報に対応する画像種別（過去に変換した画像種別）を画像変換候補として表示する（Ｓ２５３）。一方、特定した書き込み領域の縦横サイズに近いものがなければ、どの種別の画像に変換すればよいかが判断できないことから、画像種別をユーザに選択させるための複数の画像変換候補を表示する（Ｓ２５４）。なお、特定した書き込み領域の縦横サイズに近い書き込み領域情報が複数あり、それらの書き込み領域情報に対応する画像種別が複数の場合は、複数の画像変換候補を表示してもよく、その場合は、書き込み領域情報の数が多い順に画像種別を表示することができる。
【００５３】
そして、入力画像解析モジュール１３は、過去に変換した画像種別、若しくは、画像変換候補の中からユーザが選択した画像種別を、文字列を変換する画像種別として特定し（Ｓ２５５）、その画像種別に応じた画像生成モジュール１４に文字列情報を通知する。
【００５４】
［文字列解析処理］
図８は、図６のＳ２６０の詳細を示すフローチャート図である。文字列解析処理では、入力画像解析モジュール１３は、解析した文字列を検索キーワード記憶テーブルのキーワードで検索する（Ｓ２６１）。この検索もＳＱＬのＳＥＬＥＣＴ文で実行することができる。例えば、図９（ａ）に示すような書き込みを行った場合、図９（ｂ）に示すように、書き込み領域内の文字列が「神奈川県厚木市上落合２３１−１」と認識され、図９（ｃ）、（ｄ）に示すように、順次、検索キーワード記憶テーブルからキーワードが検索される。具体的には、図１０に示すような検索キーワード記憶テーブルが登録されている場合は、キーワード３の「神奈川」とキーワード４の「県」とキーワード６の「市」とが検索される。
【００５５】
次に、入力画像解析モジュール１３は、文字列内にキーワードが見つかったかを判断し（Ｓ２６２）、キーワードが見つかった場合は、該当したキーワードで解析情報記憶テーブルを検索する（Ｓ２６３）。この検索もＳＱＬのＳＥＬＥＣＴ文で実行することができる。例えば、解析情報記憶テーブルが図１２の構成の場合は、ＩＤ＝２、４、６、８、９、１０の６つが検索される。
【００５６】
次に、入力画像解析モジュール１３は、検索結果の件数が多いかを判断し（Ｓ２６４）、検索結果が多い場合は、同じ種別の画像に変換する可能性が高いことから、必要に応じて、過去に変換した画像種別を画像変換候補として表示する（Ｓ２６５）。例えば、上記例では、図９（ｅ）に示すように、解析情報記憶テーブルの全１３件中の６件が該当しているため、図９（ｆ）で、過去に変換した画像種別（地図）を候補として表示する。一方、検索結果が少ない場合は、どの種別の画像に変換すればよいかの判断が難しいことから、画像種別をユーザに選択させるための画像種別候補を表示する（Ｓ２６６）。例えば、図５（ａ）に示すように、ＵＲＬを囲むように書き込みを行った場合、図５（ｂ）に示すような複数の画像変換候補を表示する。なお、検索結果が多い場合であって、検索結果に対応する画像種別が複数の場合は、複数の画像変換候補を表示してもよい。また、複数の画像変換候補を表示する場合は、検索結果の数が多い順に画像種別を表示することができる。
【００５７】
そして、入力画像解析モジュール１３は、過去に変換した画像種別、若しくは、画像変換候補の中からユーザが選択した画像種別を、文字列を変換する画像種別として特定し（Ｓ２６７）、その画像種別に対応する画像生成モジュール１４に文字列情報を通知する。例えば、図９（ｆ）で、過去に変換した画像種別として地図を表示した場合は、入力画像解析モジュール１３は、地図情報作成モジュール１４ｃに文字列情報を通知する。また、図５（ｂ）に示すような画像変換候補の中から、ユーザが「ＱＲコード生成」を選択した場合は、入力画像解析モジュール１３は、コード情報生成モジュール１４ａに文字列情報を通知する。
【００５８】
図６のフローチャート図に戻って、特定された画像種別に応じた画像生成モジュール１４（コード情報生成モジュール１４ａ又はグラフ作成モジュール１４ｂ又は地図情報作成モジュール１４ｃ）は、通知された文字列情報から特定した画像種別に応じた画像を生成する（Ｓ２７０）。例えば、図５（ｂ）の画像変換候補でユーザが「ＱＲコード生成」を選択した場合は、コード情報生成モジュール１４ａは、図５（ｃ）に示すようなＱＲコードを生成する。
【００５９】
なお、解析情報記憶テーブルは図１２に示すように装置毎に設けてもよいが、図１３に示すようにユーザ毎に設けることもでき、ユーザ毎の解析情報記憶テーブルを使用することにより、そのユーザが所望する画像を確実に生成することができる。
【００６０】
また、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。例えば、上記実施例では、画像種別として地図とグラフとコード情報を例示したが、文字列から変換可能な画像であればよい。
【産業上の利用可能性】
【００６１】
本発明は、タッチペン等で入力が可能なタッチパネルを備える表示装置及び当該表示装置で動作する表示制御プログラムに利用可能である。
【符号の説明】
【００６２】
１０ 表示装置
１１ 画像表示コンポーネント
１２ 入出力管理モジュール
１３ 入力画像解析モジュール
１４ 画像生成モジュール
１４ａ コード情報生成モジュール
１４ｂ グラフ生成モジュール
１４ｃ 地図情報生成モジュール
１５ 画像表示モジュール
１６ 画像保存モジュール
１７ 通信部
１８ 解析情報記憶部
１９ 記憶部
【技術分野】
【０００１】
本発明は、表示装置及び表示制御プログラムに関し、特に、タッチペン等で入力が可能なタッチパネルを備える表示装置及び表示装置で動作する表示制御プログラムに関する。
【背景技術】
【０００２】
近年、タブレット端末のようなタッチパネルを備えた表示装置が会議等に利用されており、例えば、表示装置上で動作する電子会議アプリケーションを用いて、表示装置の画面に会議の原稿を表示したり、表示した原稿にメモなどを追記したり、保存したりすることが行われている。
【０００３】
原稿にメモなどを追記する技術として、例えば、下記特許文献１には、原稿画像を読取り、画像データを得る読取手段と、前記画像データに基づいて、表示装置で前記画像データを表示させるための電子文書データを生成する電子文書化手段と、前記画像データより、手書きで追記された部分を含む追記領域を抽出する抽出手段と、前記追記領域に基づいて注釈用のデータを生成する生成手段と、前記画像データ上の前記追記領域の位置に基づいて、前記表示装置が前記電子文書データに前記注釈用データを表示するための位置を算出し、前記注釈用のデータに対して設定する設定手段とを備える、画像形成装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１８１４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
表示されている原稿にタッチペンで追記できるようにすることで、紙媒体に印刷した原稿と同様に、原稿に文字を付加することができるが、従来の方法では、メモ書き程度の文字を追記したり、付箋などに貼り付けたりすることができるだけであり、追記としては不十分であった。
【０００６】
例えば、原稿等に住所が含まれている場合にその住所を地図上で確認できたり、原稿等にデータが含まれている場合にそのデータをグラフで確認できたり、原稿等にＵＲＬ（Uniform Resource Locator）が含まれている場合にそのＵＲＬをコード情報として確認できたりすれば、原稿の閲覧するユーザにとって非常に便利である。
【０００７】
しかしながら、従来の方法では、地図やグラフ、コード情報のような画像を手書きで追記することは困難である。また、地図やグラフのような画像を手書きで追記できたとしても、住所やデータなどのテキスト情報を地図やグラフなどの画像に変換する処理はユーザ自身が行わなければならないため、操作が煩雑である。また、ユーザ自身が画像を手書きで追記する場合は、地図データに基づいて作成される正確な地図や、データ処理アプリケーションを用いて作成される正確なグラフを追記することができない。
【０００８】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、簡便な操作で、原稿に表示された文字列から画像を生成して表示することができる表示装置及び表示制御プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、原稿の画像を表示する画面を有し、前記画面に表示されている原稿中の文字を認識する機能と、前記画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置であって、前記原稿の画像が表示されている前記画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、前記書き込み領域内に表示されている文字列を取得する入出力管理部と、取得した前記文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、前記画像種別をユーザに選択させるための候補を表示する入力画像解析部と、取得した前記文字列に基づいて、特定又は選択された前記画像種別の画像を生成する画像生成部と、前記画面に表示されている前記原稿の画像に、生成した前記画像を重ねて表示する画像表示部と、を備えるものである。
【００１０】
また、本発明は、原稿の画像を表示する画面を有し、前記画面に表示されている原稿中の文字を認識する機能と、前記画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置で動作する表示制御プログラムであって、前記表示装置を、前記原稿の画像が表示されている前記画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、前記書き込み領域内に表示されている文字列を取得する入出力管理部、取得した前記文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、前記画像種別をユーザに選択させるための候補を表示する入力画像解析部、取得した前記文字列に基づいて、特定又は選択された前記画像種別の画像を生成する画像生成部、前記画面に表示されている前記原稿の画像に、生成した前記画像を重ねて表示する画像表示部、として機能させるものである。
【発明の効果】
【００１１】
本発明の表示装置及び表示制御プログラムによれば、簡便な操作で、原稿に表示された文字列から画像を生成して表示することができる。
【００１２】
その理由は、原稿に記載された文字列を囲むように書き込みが行われると、書き込み領域内の文字列を取得して解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、画像種別をユーザに選択させるための候補を表示し、取得した文字列から、特定又は選択された画像種別の画像を生成し、原稿の画像に重ね合わせて表示する制御を行うからである。
【００１３】
これにより、表示装置に原稿を表示する使用形態の特徴を十分に生かして、原稿を閲覧するユーザに有益な情報を提供することができ、ユーザの利便性を格段に向上させることができる。
【００１４】
また、文字列の囲み方や文字列を解析し、履歴情報に基づいて学習することにより、ユーザが所望する画像を即座に提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例に係る表示装置の一例を示す図である。
【図２】本発明の一実施例に係る表示装置の主要構成及び概略動作を示す図である。
【図３】本発明の一実施例に係る表示装置の全体処理を示すフローチャート図である。
【図４】本発明の一実施例に係る表示装置を用いた画像生成処理の具体例を示す図である。
【図５】本発明の一実施例に係る表示装置を用いた画像生成処理のバリエーションを示す図である。
【図６】本発明の一実施例に係る表示装置の画像生成処理を示すフローチャート図である。
【図７】本発明の一実施例に係る表示装置の囲み領域解析処理を示すフローチャート図である。
【図８】本発明の一実施例に係る表示装置の文字列解析処理を示すフローチャート図である。
【図９】本発明の一実施例に係る表示装置の実際の処理を示すフローチャート図である。
【図１０】本発明の一実施例に係る検索キーワード記憶テーブルの一例を示す図である。
【図１１】本発明の一実施例に係る解析情報記憶テーブル（デフォルト値）の一例を示す図である。
【図１２】本発明の一実施例に係る解析情報記憶テーブルの一例を示す図である。
【図１３】本発明の一実施例に係る解析情報記憶テーブル（ユーザA）の一例を示す図である。
【発明を実施するための形態】
【００１６】
背景技術で示したように、タブレット端末などのタッチパネルを備える表示装置を用い、当該装置で動作する電子会議アプリケーションを利用して、会議の原稿などを表示したり、表示した原稿にタッチペンで文字などを追記したりすることができる。
【００１７】
ここで、例えば、表示されている原稿に住所が含まれている場合に、その住所近傍の地図を表示したり、原稿にデータが含まれている場合に、そのデータを処理したグラフを表示したり、原稿にＵＲＬが含まれている場合に、そのＵＲＬを携帯端末で読み取るためのコード情報を表示したりすることによって、原稿を閲覧するユーザの便利性を向上させることができる。
【００１８】
しかしながら、従来の方法では、地図やグラフ、ＵＲＬなどの画像を追記することは困難である。また、追記できたとしても、住所やデータなどのテキスト情報を地図やグラフなどの画像情報に変換する処理はユーザ自身が行わなければならないため、操作が煩雑である。また、手書きでは正確な地図や正確なグラフを追記することができない。
【００１９】
そこで、本発明の一実施の形態では、画面上に表示された文字列に基づいて自動的に画像を生成し、生成した画像を原稿の画像に重ね合わせて表示できるようにする手法を提案する。
【００２０】
例えば、原稿に住所が含まれている場合に、住所の文字列をタッチペンで囲むと、その住所近傍の地図を自動的に生成して表示したり、原稿に数値が含まれている場合に、数値の文字列をタッチペンで囲むと、その数値に基づくグラフを自動的に生成して表示したり、原稿にＵＲＬが含まれている場合に、ＵＲＬの文字列をタッチペンで囲むと、そのＵＲＬをコード化したＱＲコードを自動的に生成して表示したりする。
【００２１】
また、上記文字列の囲み方や囲まれている文字列の内容を解析し、各々のユーザが所望する画像を学習し、よく変換されている画像を自動的に生成したり、よく変換されている画像の候補を画面に提示したりする。
【実施例】
【００２２】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る表示装置及び表示制御プログラムについて、図１乃至図１３を参照して説明する。図１は、本実施例の表示装置の一例を示す図であり、図２は、表示装置の主要構成及び概略動作を示す図である。また、図３は、本実施例の表示装置の全体処理を示すフローチャート図であり、図４及び図５は、本実施例の表示装置を用いた画像生成処理の一例を示す図である。また、図６乃至図９は、本実施例の表示装置の画像生成処理の詳細を示すフローチャート図であり、図１０乃至図１３は、画像生成処理の際に参照するテーブルの一例を示す図である。
【００２３】
図１に示すように、本実施例の表示装置１０は、タブレット端末や電子ブック、薄型のコンピュータ装置などの表示デバイスを備えた装置である。この表示装置１０には、原稿の画像を表示する領域（原稿表示画面）と、原稿表示画面に表示する原稿を選択する領域（原稿選択画面）と、追記するためのペンの選択、色や幅の指定などを行う領域（ペン選択コントロール）と、が設けられており、ペン選択コントロールでペン／筆アイコンをクリックすると、原稿表示画面に表示されるペン／筆で原稿に追記ができるようになっている。
【００２４】
図２は、表示装置１０の主要構成及び概略動作を示しており、表示装置１０は、画像表示コンポーネント１１と、入出力管理モジュール１２と、入力画像解析モジュール１３と、画像生成モジュール１４と、画像表示モジュール１５と、画像保存モジュール１６と、通信部１７と、解析情報記憶部１８と、記憶部１９などで構成される。
【００２５】
画像表示コンポーネント１１は、例えば、液晶表示装置や有機ＥＬ（electroluminescence）表示装置等の表示部上に、透明電極が格子状に配置された感圧式のタッチパネル等の操作部を備えている。また、画像表示コンポーネント１１は、ＯＣＲ（Optical Character Recognition）機能を備えており、表示部に表示された原稿を構成する文字を認識することができる。そして、タッチペン等を用いて矩形や楕円などの所定の図形を書き込むと、画像表示コンポーネント１１は、入出力管理モジュール１２に対して書き込みイベントを通知する。また、タッチペン等を用いて保存が指示（保存ボタンがタッチ）されると、画像表示コンポーネント１１は、画像保存モジュール１６に対して保存イベントを通知する。なお、所定の図形は、領域を特定できればよく、例えば、「」などの記号としてもよい。
【００２６】
入出力管理モジュール１２は、書き込みイベントを検出すると、画像表示コンポーネント１１から上記所定の図形の座標を取得して、所定の図形で囲まれた領域（書き込み領域と呼ぶ。）を特定する共に、画像表示コンポーネント１１のＯＣＲ機能を利用して、書き込み領域内に表示されている文字列を取得し、特定した書き込み領域の情報と取得した文字列の情報とを入力画像解析モジュール１３に通知する。
【００２７】
入力画像解析モジュール１３は、入出力管理モジュール１２から書き込み領域情報と文字列情報とを受信すると、書き込み領域内の文字列を解析し、解析情報記憶部１８に予め記憶されている情報（後述する検索キーワード記憶テーブル）に基づいて、文字列に含まれるキーワードを抽出し、解析情報記憶部１８に予め記憶されている情報（後述する解析情報記憶テーブル）から、抽出したキーワードを含む文字列を検索し、検索した文字列に対応する画像種別を、生成する画像の画像種別として特定する。また、入力画像解析モジュール１３は、書き込み領域のサイズを取得し、解析情報記憶部１８に予め記憶されている情報（後述する解析情報記憶テーブル）から、取得したサイズに近いサイズの書き込み領域を検索し、検索した書き込み領域に対応する画像種別を、生成する画像の画像種別として特定する。また、入力画像解析モジュール１３は、画像変換候補を提示して、ユーザに画像種別を選択させる。そして、特定又は選択された画像種別の画像を生成する画像生成モジュール１４に文字列情報を通知する。
【００２８】
画像生成モジュール１４は、入力画像解析モジュール１３から受け取った文字列情報に基づいて画像を生成する部分であり、本実施例では、コード情報生成モジュール１４ａとグラフ生成モジュール１４ｂと地図情報生成モジュール１４ｃとを含む。コード情報生成モジュール１４ａは、文字列がＵＲＬの場合に動作するモジュールであり、公知の技術を利用してＵＲＬをコード化し、ＱＲコード（登録商標）やバーコードなどのコード情報を生成し、生成したコード情報を画像表示モジュール１５に送信する。グラフ生成モジュール１４ｂは、書き込み領域のサイズが２行以上の文字列を含む大きさの場合に動作するモジュールであり、文字列から数値を取得し、その数値を用いて、円グラフや折れ線グラフ、棒グラフなどを生成し、生成したグラフを画像表示モジュール１５に送信する。地図情報生成モジュール１４ｃは、文字列が住所の場合に動作するモジュールであり、予め記憶した地図の中からその住所近傍の地図を抽出して地図情報を生成し、生成した地図情報を画像表示モジュール１５に送信する。
【００２９】
画像表示モジュール１５は、原稿選択画面で選択された原稿を原稿表示画面に表示させたり、ペン選択コントロールで選択されたペンの画像を原稿表示画面に表示させたり、画像生成モジュール１４で生成された画像（コード情報又はグラフ又は地図情報）を原稿の画像に重ね合わせて原稿表示画面に表示させたりする。
【００３０】
画像保存モジュール１６は、保存イベントを検出すると、画像表示コンポーネント１１から原稿表示画面に表示された合成画像情報（原稿の画像に、生成された画像を重ね合わせた画像情報）を取得し、その画像情報を記憶部１９に保存する。また、通信部１７を介してインターネットなどから画像情報をダウンロードした場合は、ダウンロードした画像情報を記憶部１９に保存する。
【００３１】
通信部１７は、ＮＩＣ（Network Interface Card）やモデムなどであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの通信ネットワークを介して、外部装置（例えば、原稿データを保存するサーバ、画像情報を提供するサーバ、表示した画像情報を印刷するプリンタやＭＦＰ（Multi Function Peripheral）などの画像形成装置）と接続する。
【００３２】
解析情報記憶部１８は、メモリやＨＤＤ（Hard Disk Drive）であり、図１０に示すような検索キーワード記憶テーブルや、図１１乃至図１３に示すような解析情報記憶テーブルなどを記憶すると共に、入力画像解析モジュール１３で解析した結果を履歴情報として上記解析情報記憶テーブルに反映する。
【００３３】
記憶部１９も、メモリやＨＤＤであり、画像表示コンポーネント１１から取得した画像情報や通信部１７を介してインターネットなどからダウンロードした画像情報などを記憶する。なお、解析情報記憶部１８と記憶部１９とは、単一のメモリ乃至はＨＤＤの異なる記憶エリアをそれぞれ使用することにより構成しても良い。
【００３４】
なお、図２では、入出力管理モジュール１２、入力画像解析モジュール１３、画像生成モジュール１４、画像表示モジュール１５、画像保存モジュール１６をハードウェアとして構成しているが、これらは、ＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとで構成される制御部により実行されるプログラム（表示制御プログラム）として構成してもよい。
【００３５】
次に、上記構成の表示装置１０の全体処理について、図３のフローチャート図を参照して概説する。
【００３６】
まず、ユーザが表示装置１０の原稿選択画面を操作して原稿を選択すると、表示装置１０の画像表示モジュール１５は、画像表示コンポーネント１１（原稿表示画面）に、選択された原稿を表示させる（Ｓ１０１）。
【００３７】
次に、ユーザが表示装置１０のペン選択コントロールを操作してペンを選択し、タッチペン等を用いて表示された原稿の所定の文字列を囲むように所定の図形の書き込みを行うと、画像表示コンポーネント１１は、所定の図形の書き込みを検出し、所定の図形が書き込まれたことを知らせる書き込みイベントを入出力管理モジュール１２に通知する（Ｓ１０２）。なお、所定の図形の書き込み方法は特に限定されず、手書きで図形を描画してもよいし、始点と終点を指定して矩形を描画してもよい。
【００３８】
次に、入出力管理モジュール１２は、画像表示コンポーネント１１から所定の図形の座標を取得して、所定の図形で囲まれた書き込み領域を特定する共に、書き込み領域内に表示されている文字列を取得し（Ｓ１０３）、特定した書き込み領域情報と取得した文字列情報とを入力画像解析モジュール１３に通知する。
【００３９】
通知を受けた入力画像解析モジュール１３は、文字列を解析し、解析した文字列を解析情報記憶部１８に記憶された検索キーワード記憶テーブル（図１０参照）のキーワードで検索し、文字列に含まれるキーワードを抽出する（Ｓ１０４）。なお、入力画像解析モジュール１３は、書き込み領域のサイズの解析も行う場合もあるが、このフローでは理解を容易にするために書き込み領域のサイズの解析については説明しない。
【００４０】
次に、入力画像解析モジュール１３は、抽出したキーワードで解析情報記憶部１８に記憶された解析情報記憶テーブル（図１１乃至図１３参照）を検索し、キーワードに対応する画像種別を特定し（Ｓ１０５）、特定した画像種別及び文字列情報を画像生成モジュール１４に通知する。
【００４１】
次に、特定した画像種別に対応する画像生成モジュール１４（コード情報生成モジュール１４ａ又はグラフ作成モジュール１４ｂ又は地図情報作成モジュール１４ｃ）は、文字列情報から、特定した画像種別に対応する画像を生成し（Ｓ１０６）、生成した画像の情報を画像表示モジュール１５に通知する。
【００４２】
次に、画像表示モジュール１５は、画像表示コンポーネント１１（原稿表示画面）に表示されている原稿の画像に、特定した画像種別に対応する画像を重ね合わせて表示させる（Ｓ１０７）。なお、特定した画像種別に対応する画像を表示する位置は特に限定されないが、画像の元となる文字列の近傍（例えば、文字列の上下左右の余白領域など）に表示することが好ましい。
【００４３】
その後、画像保存モジュール１６は、画像表示コンポーネント１１（原稿表示画面）から、原稿の画像に特定した画像種別に対応する画像を重ね合わせた合成画像の情報を取得し、その合成画像の情報を記憶部１９に保存して（Ｓ１０８）、一連の処理を終了する。
【００４４】
このように、表示された原稿の所定の文字列を囲むように所定の図形の書き込みを行うと、その書き込み領域内の文字列を解析し、その文字列に含まれるキーワードを抽出し、抽出したキーワードに対応する画像種別を特定し、文字列から特定した画像種別に対応する画像を生成して、原稿に重ね合わせて表示するため、ユーザは表示された原稿に関連する有益な情報を得ることができる。
【００４５】
以下、文字列から画像を生成する画像生成処理について、図４及び図５の具体例、図６乃至図９のフローチャート図、図１０乃至図１３のテーブルを参照して具体的に説明する。なお、図６は、図３のフローチャート図のＳ１０４からＳ１０６までの処理の詳細を表しており、図７及び図８は、各々、図６の書き込み領域解析処理、文字列解析処理の詳細を表している。
【００４６】
［画像生成処理］
図６に示すように、入力画像解析モジュール１３は、入出力管理モジュール１２から書き込み領域情報と文字列情報を取得すると、書き込み領域内の文字列を解析する（Ｓ２１０）。
【００４７】
次に、１文字の縦横のサイズを取得する（Ｓ２２０）。なお、文字列を構成する各文字のサイズが異なる場合は、最も多くの文字で使用されているサイズや最も小さい文字のサイズ、平均的な文字のサイズなどを取得することができる。
【００４８】
次に、入力画像解析モジュール１３は、書き込み領域の縦のサイズと１文字の縦のサイズとを比較する（Ｓ２３０）。なお、書き込み領域を手書きした場合は、書き込み領域の縦のサイズは一定にはならないが、その場合は、間隔が最も狭い部分の寸法や間隔が平均的な部分の寸法を縦のサイズとすることができる。
【００４９】
そして、入力画像解析モジュール１３は、書き込み領域の縦のサイズが１文字の縦のサイズの２倍以上（すなわち、文字列が複数行）であるかを判断し（Ｓ２４０）、文字列が複数行（例えば、図４のダウンロード時間を示す文字列）の場合は、書き込み領域解析処理を行って画像種別を特定する（Ｓ２５０）、文字列が１行（例えば、図４の住所を示す文字列やＵＲＬを示す文字列）の場合は、文字列解析処理を行って画像種別を特定する（Ｓ２６０）。
【００５０】
［書き込み領域解析処理］
図７は、図６のＳ２５０の詳細を示すフローチャート図である。書き込み領域解析処理では、入力画像解析モジュール１３は、解析情報記憶テーブルに記載された書き込み領域情報の中から、特定した書き込み領域の縦横のサイズに近いもの（サイズが略等しいもの）を検索する（Ｓ２５１）。この検索は、例えば、ＳＱＬ（Structured Query Language）のＳＥＬＥＣＴ文で実行することができる。
【００５１】
なお、初期状態では、解析情報記憶テーブルは図１１に示すような構成であり、書き込み領域情報が記録されていないため、書き込み領域の縦横のサイズに近いものを検索することはできないが、本実施例の画像生成処理を繰り返すと、解析情報記憶テーブルには、解析した文字列とその文字列の書き込み領域情報とその文字列から生成した画像の画像種別とが登録されて図１２のような構成になるため、書き込み領域の縦横のサイズに近いものを検索することができるようになる。
【００５２】
次に、入力画像解析モジュール１３は、解析情報記憶テーブルに登録された書き込み領域情報の中に、特定した書き込み領域の縦横サイズに近いものがあるかを判断する（Ｓ２５２）。そして、特定した書き込み領域の縦横サイズに近いものがあれば、同じ種別の画像に変換する可能性が高いことから、必要に応じて、その書き込み領域情報に対応する画像種別（過去に変換した画像種別）を画像変換候補として表示する（Ｓ２５３）。一方、特定した書き込み領域の縦横サイズに近いものがなければ、どの種別の画像に変換すればよいかが判断できないことから、画像種別をユーザに選択させるための複数の画像変換候補を表示する（Ｓ２５４）。なお、特定した書き込み領域の縦横サイズに近い書き込み領域情報が複数あり、それらの書き込み領域情報に対応する画像種別が複数の場合は、複数の画像変換候補を表示してもよく、その場合は、書き込み領域情報の数が多い順に画像種別を表示することができる。
【００５３】
そして、入力画像解析モジュール１３は、過去に変換した画像種別、若しくは、画像変換候補の中からユーザが選択した画像種別を、文字列を変換する画像種別として特定し（Ｓ２５５）、その画像種別に応じた画像生成モジュール１４に文字列情報を通知する。
【００５４】
［文字列解析処理］
図８は、図６のＳ２６０の詳細を示すフローチャート図である。文字列解析処理では、入力画像解析モジュール１３は、解析した文字列を検索キーワード記憶テーブルのキーワードで検索する（Ｓ２６１）。この検索もＳＱＬのＳＥＬＥＣＴ文で実行することができる。例えば、図９（ａ）に示すような書き込みを行った場合、図９（ｂ）に示すように、書き込み領域内の文字列が「神奈川県厚木市上落合２３１−１」と認識され、図９（ｃ）、（ｄ）に示すように、順次、検索キーワード記憶テーブルからキーワードが検索される。具体的には、図１０に示すような検索キーワード記憶テーブルが登録されている場合は、キーワード３の「神奈川」とキーワード４の「県」とキーワード６の「市」とが検索される。
【００５５】
次に、入力画像解析モジュール１３は、文字列内にキーワードが見つかったかを判断し（Ｓ２６２）、キーワードが見つかった場合は、該当したキーワードで解析情報記憶テーブルを検索する（Ｓ２６３）。この検索もＳＱＬのＳＥＬＥＣＴ文で実行することができる。例えば、解析情報記憶テーブルが図１２の構成の場合は、ＩＤ＝２、４、６、８、９、１０の６つが検索される。
【００５６】
次に、入力画像解析モジュール１３は、検索結果の件数が多いかを判断し（Ｓ２６４）、検索結果が多い場合は、同じ種別の画像に変換する可能性が高いことから、必要に応じて、過去に変換した画像種別を画像変換候補として表示する（Ｓ２６５）。例えば、上記例では、図９（ｅ）に示すように、解析情報記憶テーブルの全１３件中の６件が該当しているため、図９（ｆ）で、過去に変換した画像種別（地図）を候補として表示する。一方、検索結果が少ない場合は、どの種別の画像に変換すればよいかの判断が難しいことから、画像種別をユーザに選択させるための画像種別候補を表示する（Ｓ２６６）。例えば、図５（ａ）に示すように、ＵＲＬを囲むように書き込みを行った場合、図５（ｂ）に示すような複数の画像変換候補を表示する。なお、検索結果が多い場合であって、検索結果に対応する画像種別が複数の場合は、複数の画像変換候補を表示してもよい。また、複数の画像変換候補を表示する場合は、検索結果の数が多い順に画像種別を表示することができる。
【００５７】
そして、入力画像解析モジュール１３は、過去に変換した画像種別、若しくは、画像変換候補の中からユーザが選択した画像種別を、文字列を変換する画像種別として特定し（Ｓ２６７）、その画像種別に対応する画像生成モジュール１４に文字列情報を通知する。例えば、図９（ｆ）で、過去に変換した画像種別として地図を表示した場合は、入力画像解析モジュール１３は、地図情報作成モジュール１４ｃに文字列情報を通知する。また、図５（ｂ）に示すような画像変換候補の中から、ユーザが「ＱＲコード生成」を選択した場合は、入力画像解析モジュール１３は、コード情報生成モジュール１４ａに文字列情報を通知する。
【００５８】
図６のフローチャート図に戻って、特定された画像種別に応じた画像生成モジュール１４（コード情報生成モジュール１４ａ又はグラフ作成モジュール１４ｂ又は地図情報作成モジュール１４ｃ）は、通知された文字列情報から特定した画像種別に応じた画像を生成する（Ｓ２７０）。例えば、図５（ｂ）の画像変換候補でユーザが「ＱＲコード生成」を選択した場合は、コード情報生成モジュール１４ａは、図５（ｃ）に示すようなＱＲコードを生成する。
【００５９】
なお、解析情報記憶テーブルは図１２に示すように装置毎に設けてもよいが、図１３に示すようにユーザ毎に設けることもでき、ユーザ毎の解析情報記憶テーブルを使用することにより、そのユーザが所望する画像を確実に生成することができる。
【００６０】
また、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。例えば、上記実施例では、画像種別として地図とグラフとコード情報を例示したが、文字列から変換可能な画像であればよい。
【産業上の利用可能性】
【００６１】
本発明は、タッチペン等で入力が可能なタッチパネルを備える表示装置及び当該表示装置で動作する表示制御プログラムに利用可能である。
【符号の説明】
【００６２】
１０ 表示装置
１１ 画像表示コンポーネント
１２ 入出力管理モジュール
１３ 入力画像解析モジュール
１４ 画像生成モジュール
１４ａ コード情報生成モジュール
１４ｂ グラフ生成モジュール
１４ｃ 地図情報生成モジュール
１５ 画像表示モジュール
１６ 画像保存モジュール
１７ 通信部
１８ 解析情報記憶部
１９ 記憶部
【特許請求の範囲】
【請求項１】
原稿の画像を表示する画面を有し、前記画面に表示されている原稿中の文字を認識する機能と、前記画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置であって、
前記原稿の画像が表示されている前記画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、前記書き込み領域内に表示されている文字列を取得する入出力管理部と、
取得した前記文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、前記画像種別をユーザに選択させるための候補を表示する入力画像解析部と、
取得した前記文字列に基づいて、特定又は選択された前記画像種別の画像を生成する画像生成部と、
前記画面に表示されている前記原稿の画像に、生成した前記画像を重ねて表示する画像表示部と、を備えることを特徴とする表示装置。
【請求項２】
以前に取得した文字列と当該文字列に基づいて生成した画像の画像種別とを対応付けるテーブルが予め記憶されており、
前記入力画像解析部は、取得した前記文字列から予め定めたキーワードを抽出し、前記テーブルから、抽出した前記キーワードを含む文字列を検索し、検索した文字列に対応する画像種別を、生成する画像の画像種別として特定する、ことを特徴とする請求項１に記載の表示装置。
【請求項３】
以前に取得した文字列と以前に書き込まれた図形で規定される書き込み領域のサイズと当該文字列に基づいて生成した画像の画像種別とを対応付けるテーブルが予め記憶されており、
前記入力画像解析部は、書き込まれた前記図形で規定される書き込み領域のサイズを取得し、前記テーブルから、取得したサイズと略等しいサイズの書き込み領域を検索し、検索した書き込み領域に対応する画像種別を、生成する画像の画像種別として特定する、ことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記入力画像解析部は、前記テーブルから、前記キーワードを含む文字列又は取得したサイズに近いサイズの書き込み領域が複数検索され、検索された複数の文字列又は書き込み領域に対応する画像種別が複数ある場合は、複数の画像種別の候補を検索数が多い順に表示する、ことを特徴とする請求項２又は３に記載の表示装置。
【請求項５】
原稿の画像を表示する画面を有し、前記画面に表示されている原稿中の文字を認識する機能と、前記画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置で動作する表示制御プログラムであって、
前記表示装置を、
前記原稿の画像が表示されている前記画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、前記書き込み領域内に表示されている文字列を取得する入出力管理部、
取得した前記文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、前記画像種別をユーザに選択させるための候補を表示する入力画像解析部、
取得した前記文字列に基づいて、特定又は選択された前記画像種別の画像を生成する画像生成部、
前記画面に表示されている前記原稿の画像に、生成した前記画像を重ねて表示する画像表示部、として機能させることを特徴とする表示制御プログラム。
【請求項６】
以前に取得した文字列と当該文字列に基づいて生成した画像の画像種別とを対応付けるテーブルが予め記憶されており、
前記入力画像解析部は、取得した前記文字列から予め定めたキーワードを抽出し、前記テーブルから、抽出した前記キーワードを含む文字列を検索し、検索した文字列に対応する画像種別を、生成する画像の画像種別として特定する、ことを特徴とする請求項５に記載の表示制御プログラム。
【請求項７】
以前に取得した文字列と以前に書き込まれた図形で規定される書き込み領域のサイズと当該文字列に基づいて生成した画像の画像種別とを対応付けるテーブルが予め記憶されており、
前記入力画像解析部は、書き込まれた前記図形で規定される書き込み領域のサイズを取得し、前記テーブルから、取得したサイズと略等しいサイズの書き込み領域を検索し、検索した書き込み領域に対応する画像種別を、生成する画像の画像種別として特定する、ことを特徴とする請求項５に記載の表示制御プログラム。
【請求項８】
前記入力画像解析部は、前記テーブルから、前記キーワードを含む文字列又は取得したサイズに近いサイズの書き込み領域が複数検索され、検索された複数の文字列又は書き込み領域に対応する画像種別が複数ある場合は、複数の画像種別の候補を検索数が多い順に表示する、ことを特徴とする請求項６又は７に記載の表示制御プログラム。
【請求項１】
原稿の画像を表示する画面を有し、前記画面に表示されている原稿中の文字を認識する機能と、前記画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置であって、
前記原稿の画像が表示されている前記画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、前記書き込み領域内に表示されている文字列を取得する入出力管理部と、
取得した前記文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、前記画像種別をユーザに選択させるための候補を表示する入力画像解析部と、
取得した前記文字列に基づいて、特定又は選択された前記画像種別の画像を生成する画像生成部と、
前記画面に表示されている前記原稿の画像に、生成した前記画像を重ねて表示する画像表示部と、を備えることを特徴とする表示装置。
【請求項２】
以前に取得した文字列と当該文字列に基づいて生成した画像の画像種別とを対応付けるテーブルが予め記憶されており、
前記入力画像解析部は、取得した前記文字列から予め定めたキーワードを抽出し、前記テーブルから、抽出した前記キーワードを含む文字列を検索し、検索した文字列に対応する画像種別を、生成する画像の画像種別として特定する、ことを特徴とする請求項１に記載の表示装置。
【請求項３】
以前に取得した文字列と以前に書き込まれた図形で規定される書き込み領域のサイズと当該文字列に基づいて生成した画像の画像種別とを対応付けるテーブルが予め記憶されており、
前記入力画像解析部は、書き込まれた前記図形で規定される書き込み領域のサイズを取得し、前記テーブルから、取得したサイズと略等しいサイズの書き込み領域を検索し、検索した書き込み領域に対応する画像種別を、生成する画像の画像種別として特定する、ことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記入力画像解析部は、前記テーブルから、前記キーワードを含む文字列又は取得したサイズに近いサイズの書き込み領域が複数検索され、検索された複数の文字列又は書き込み領域に対応する画像種別が複数ある場合は、複数の画像種別の候補を検索数が多い順に表示する、ことを特徴とする請求項２又は３に記載の表示装置。
【請求項５】
原稿の画像を表示する画面を有し、前記画面に表示されている原稿中の文字を認識する機能と、前記画面にタッチペンで書き込まれた図形を認識する機能と、を備える表示装置で動作する表示制御プログラムであって、
前記表示装置を、
前記原稿の画像が表示されている前記画面に図形が書き込まれたら、当該図形で規定される書き込み領域を特定し、前記書き込み領域内に表示されている文字列を取得する入出力管理部、
取得した前記文字列を解析し、当該文字列に基づいて生成する画像の画像種別を特定、若しくは、前記画像種別をユーザに選択させるための候補を表示する入力画像解析部、
取得した前記文字列に基づいて、特定又は選択された前記画像種別の画像を生成する画像生成部、
前記画面に表示されている前記原稿の画像に、生成した前記画像を重ねて表示する画像表示部、として機能させることを特徴とする表示制御プログラム。
【請求項６】
以前に取得した文字列と当該文字列に基づいて生成した画像の画像種別とを対応付けるテーブルが予め記憶されており、
前記入力画像解析部は、取得した前記文字列から予め定めたキーワードを抽出し、前記テーブルから、抽出した前記キーワードを含む文字列を検索し、検索した文字列に対応する画像種別を、生成する画像の画像種別として特定する、ことを特徴とする請求項５に記載の表示制御プログラム。
【請求項７】
以前に取得した文字列と以前に書き込まれた図形で規定される書き込み領域のサイズと当該文字列に基づいて生成した画像の画像種別とを対応付けるテーブルが予め記憶されており、
前記入力画像解析部は、書き込まれた前記図形で規定される書き込み領域のサイズを取得し、前記テーブルから、取得したサイズと略等しいサイズの書き込み領域を検索し、検索した書き込み領域に対応する画像種別を、生成する画像の画像種別として特定する、ことを特徴とする請求項５に記載の表示制御プログラム。
【請求項８】
前記入力画像解析部は、前記テーブルから、前記キーワードを含む文字列又は取得したサイズに近いサイズの書き込み領域が複数検索され、検索された複数の文字列又は書き込み領域に対応する画像種別が複数ある場合は、複数の画像種別の候補を検索数が多い順に表示する、ことを特徴とする請求項６又は７に記載の表示制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２１３６７（Ｐ２０１２−２２１３６７Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８８４６８（Ｐ２０１１−８８４６８）
【出願日】平成２３年４月１２日（２０１１．４．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１２日（２０１１．４．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]