説明

情報入力装置及び情報入力システム及び情報入力方法

【課題】位置情報の入力操作や位置と関連付けられた情報の入力操作に関して、ペン型入力デバイスの特徴である、操作者が簡単に利用方法を体得できるようする。
【解決手段】座標位置の軌跡として表される筆跡データを取得するペン型入力デバイスを用いた入力により位置情報を入力する情報入力装置であって、前記筆跡データを解釈するための入力書式であって、図面における位置を特定可能な態様で図形又は記号を入力する位置入力欄を有する入力書式を提示する入力書式提示手段と、前記位置入力欄に入力された記号の前記筆跡データに基づいて、入力した前記図形又は記号を認識するとともに前記位置入力欄に入力された前記図形又は記号の位置の情報を取得する位置情報取得手段とを備えることを特徴とする情報入力装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報入力技術に関し、特に、筆跡をデジタル的に記録可能なペン型の入力デバイス等を用いて、地図や図面上に調査対象物の位置を入力することができるコンピュータを利用した情報入力技術に関する。
【背景技術】
【0002】
デジタル入力システムとしては、スタイラスペンなどに筆跡等を記録するタイプ、タッチパネルを用いて筆跡を検知するタイプのものがある。
【0003】
デジタルペンやスタイラスのようなペン型の入力デバイスは、紙にボールペン等の筆記具で記載する場合と同様の感覚で操作が出来るため、近年、特に開発が盛んになってきている。かかる入力デバイスを用いると、ユーザが簡単に使用方法を体得できること、入力デバイスの持ち運びがしやすくいつでもどこでも利用できること、また、いつ誰が書いたか等の情報に関する属性も筆跡と関連付けして記録することが簡単にできることから、証跡として利用できるなどの様々な特徴を持っている。
【0004】
また、技術的な観点からは、筆順や筆圧を検知することが可能なため、スキャナーでデジタル化した手書き文字をOCR(Optical Character Recognition、光学文字認識)で認識する場合等に比べて、文字認識率を高くすることができるという特徴がある。
【0005】
ペン型入力デバイスは、業務向けの用途では、これまで、主としてコンピュータシステムへの入力作業の負荷を軽減するために導入されてきた。このような用途における入力作業では、主に数量の入力、名前などの文字入力、幾つかの選択肢から丸印やチェックマークをつけて選ぶ、などの方法でペンを使って入力することができる。ユーザが書いた数字や文字、印の筆跡はペン先の移動位置の座標列としてデジタル的に記録され、コンピュータシステムに取り込んで認識ソフトウェアを介して数値や文字に変換することができる。
【0006】
なお、本発明に関連する公知技術文献としては、下記の特許文献1、特許文献2等がある。これらの文献には、ペンで文字パターンを観測してその位置(座標値)を時系列等でペンに記録するタイプのもの、記録用紙の原点からの位置座標を読みとってペンに記録し、それをPC等に送信して記録させるものが記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】国際特許出願公開第2008−141250A2号公報
【特許文献2】国際特許出願公開第2009−143533A2号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
帳票に書き込んだ筆跡データを認識して数値や文字に変換し、情報システムに登録する方法は、従来のようにデジタル技術を使わずに紙とボールペンで業務(非デジタル入力)を行った場合と、操作者の感覚として使い方の大きな変更がないため、操作者からみた使用方法の体得のしやすさとしては完成度が高い。
【0009】
しかしながら、位置情報の入力に関しては、ペン型入力デバイスで操作者がどのように位置情報を入力するか、また位置と関連付いた情報をどのように入力するかについては、従来の非デジタル入力技術、すなわち紙にボールペンで記載する業務と、上記のようなデジタルペンを用いたる業務とでは、使い方に大きな差異がある。
【0010】
例えば、従来の非デジタル入力では、例えば地図に位置をポイントし、このポイントの近傍に関連情報を記載するのが一般的である。
【0011】
一方、デジタル入力では、一般的な書式に、(x,y)座標の数値などにより位置情報を入力し、関連情報も同様に入力することにより行われるのが一般的である。従って、帳票を作成する際の従来の非デジタル技術による操作と比較すると、位置情報を入力する操作に関しては、操作方法が異なるため、操作者の立場から見て位置情報の入力等に関する操作方法の体得が容易ではなく、体感的にも同じ動作をしているという感覚がないという問題があった。
【0012】
また、上記特許文献1や特許文献2では、操作者がこれから行う操作を紙上に指示するために、あらかじめ決められた場所に印刷されている凡例、ステンシルや画面のボタンを模したアイコン等をデジタルペン等でなぞり、それから地図に対して点を打つという方法で位置情報の入力を実現している。
【0013】
一方、紙上の位置の特定方法としては、例えば、紙に位置と関係付けたパターンが印刷されており、入力ペンでその紙に記号等を記載する場合に、そのパターンを取得して、記号等と位置情報とを対応付けする方法や、ペンと装置との間の光と音との差に基づいて、座標位置を取得する方法などがあった。この位置情報をPC等に送信することで位置情報を入力することができる。
【0014】
このような方法においても、紙とボールペンで従来から行われていた業務でのペンの使い方と異なる方法であるため、操作者がその操作方法の実際の方法と対比させて体得することが難しいという問題点があった。
【0015】
本発明の目的は、位置情報の入力操作や位置と関連付けられた情報の入力操作に関して、ペン型入力デバイスの特徴である、操作者が簡単に利用方法を体得できるようにした情報入力技術を提供することにある。
【課題を解決するための手段】
【0016】
本発明の一観点によれば、座標位置の軌跡として表される筆跡データを取得するペン型入力デバイスを用いた入力により位置情報を入力する情報入力装置であって、前記筆跡データを解釈するための入力書式であって、図面における位置を特定可能な態様で図形又は記号を入力する位置入力欄を有する入力書式を提示する入力書式提示手段と、前記位置入力欄に入力された記号の前記筆跡データに基づいて、入力した前記図形又は記号を認識するとともに前記位置入力欄に入力された前記図形又は記号の位置の情報を取得する位置情報取得手段とを備えることを特徴とする情報入力装置が提供される。
【0017】
例えば入力書式として地図を提示し、この地図上の位置を記号又は図形、例えば図4に示すように点によりポイントすることで、その筆跡データから、図形又は記号がポイント(点)であることを認識し、また、位置情報の軌跡である筆跡データから、ポイントとして認識された筆跡データに対応する位置を特定することで、ポイントの位置を取得することができる。幾何図形認識部が入力された筆跡データを点と認識すると、筆跡データとともに分割された座標データのうちから、提示された書式に入力された点を特定し、この点の座標データから位置(データ)を取得することができる。
【0018】
尚、書式の座標とペンの座標とを予め座標系を一致させておくことにより、地図等における位置を指定することができる。
【0019】
位置情報は相対的なものであるが、入力書式に絶対座標が定義されていれば、その絶対座標に基づいて入力位置を絶対値として取得することができる。
【0020】
前記位置情報取得手段は、前記位置入力欄の位置情報を用いて、前記位置入力欄の範囲内に位置する前記筆跡データを、前記入力欄と対応付けすることで前記図形又は記号の位置を求めることが好ましい。また、前記入力書式提示手段は、前記図形又は記号の位置を参照するための前記図形又は記号の位置と関連付けたい位置関連情報を入力する位置関連情報入力欄と、を有する入力書式を提示し、前記図形又は記号の位置と前記位置関連情報とを入力結果データとして生成する入力結果データ生成手段と、を備えることが好ましい。
【0021】
位置関連情報入力欄を設けることで、位置と関連付けたい情報を当該位置と対応させることができる。
【0022】
また、本発明は、座標位置の軌跡として表される筆跡データを取得するペン型入力デバイスを用いた入力により位置情報を入力する情報入力装置であって、
前記筆跡データを解釈するための入力書式であって、図面に少なくとも点を含む図形又は記号を入力することで前記図形又は記号の位置を指定し、当該位置を特定するための第1の記号に関連付けて入力する位置入力欄と、前記図形又は記号の位置を参照するための第2の記号を含み前記図形又は記号の位置と関連付けたい位置関連情報を入力する位置関連情報入力欄と、を有する入力書式を提示する手段と、
前記筆跡データから前記図形又は記号を認識するとともに、前記第1の記号に関連付けされ前記位置入力欄に入力された前記図形又は記号の座標を特定し、当該図形又は記号の位置を取得する手段と、前記第1の記号と前記第2の記号とを照合する照合手段と、
前記照合手段による照合結果に基づいて、前記第1の記号と前記第2の記号とが同じであれば、前記第1の記号に関連付けされた前記図形又は記号の位置と前記第2の記号に関連付けされた位置関連情報との組を入力結果データとして生成する入力結果データ生成手段とを備えることを特徴とする情報入力装置である。
【0023】
前記図形又は記号の位置を取得する手段は、前記位置入力欄の位置情報を用いて、前記位置入力欄の範囲内に位置する前記筆跡データを、前記入力欄と対応付けすることで前記図形又は記号の位置を求めることが好ましい。
【0024】
本発明は、上記のいずれか1に記載の情報入力装置と、前記ペン型入力デバイスと、前記ペン型入力デバイスから筆跡データを取得する筆跡データ取得手段と、前記入力結果データを情報システムに出力する出力部と、を有する情報入力システムである。
【0025】
本発明の他の観点によれば、座標位置の軌跡として表される筆跡データを取得するペン型入力デバイスから位置情報と位置に関連付けた情報とを取得する情報入力方法であって、前記筆跡データ解釈するための入力書式であって、図面における位置を図形又は記号により特定可能な態様で入力する位置入力欄と、前記図形又は記号の位置を参照するための前記図形又は記号の位置と関連付けたい位置関連情報を入力する位置関連情報入力欄と、を有する入力書式を提示するステップと、前記筆跡データから前記図形又は記号を認識するとともに、前記位置入力欄に入力された前記図形又は記号の位置を特定し、当該位置の情報を取得するステップと、前記図形又は記号の位置と前記位置関連情報とを入力結果データとして生成する入力結果データ生成ステップとを備えることを特徴とする情報入力方法である。
【0026】
本発明は、上記に記載の情報入力方法をコンピュータに実行させるためのプログラム、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。
【発明の効果】
【0027】
本発明の位置情報および位置に関連付いた情報入力技術においては、操作者にとって使いやすいシステムを実現できる。
【図面の簡単な説明】
【0028】
【図1】本発明の一実施の形態によるデジタル入力システムの一構成例を示す機能ブロック図である。
【図2】本実施の形態による情報入力システムにおける入力書式の一例を示す図である。
【図3】本実施の形態による情報入力システムにおける入力書式データのデータ構造例を示す図であり、図2の入力書式に対応する例を示す図である。
【図4】図4(a)から(h)までは、本実施の形態によるデジタル入力システムにおける記号パターンデータで表現される記号の種々の例を示す図である。
【図5】本実施の形態による情報入力システムにおける記号パターンデータの構造の例を示す図である。
【図6】本実施の形態による情報入力システムにおける入力結果データの出力例を示す図である。
【図7】本実施の形態による情報入力システムにおける入力欄割り当て部の処理の流れを示すフローチャート図である。
【図8】本実施の形態による情報入力システムにおける記号照合部の処理の流れを示すフローチャート図である。
【図9】本実施の形態による情報入力システムにおける入力結果データ生成部の処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【0029】
以下、本発明を適用した位置情報および位置に関連付いた情報入力システムの実施の形態の一例について図面を参照しながら説明する。
【0030】
図1は、本発明の一実施の形態による情報入力システムの一構成例を示す機能ブロック図である。位置情報および位置に関連付いた情報入力システムAは、入力書式データを格納する入力書式データベースDB102と記号パターンを記憶する記号パターンデータベースDB103とを備えた(或いはネットワーク接続された)入力ホストシステム101と、この入力ホストシステム101に設けられ又はネットワーク接続され入力結果データを格納する入力結果データベースDB104と、入力ホストシステム101とネットワークで接続される入力端末(PC)105と、入力端末105とネットワークで接続されるペン型入力デバイス106と、で構成される。
【0031】
入力ホストシステム101は、一般的なCPU101aとメモリ101bと、インターフェイス部101cとを備えており、例えばメモリ101bに格納されたプログラムに基づいてCPU101aが処理を実行することで、入力欄割り当て部107と、文字・幾何図形認識部108と、記号照合部109と、入力結果データ生成部110と、して機能させることができるように構成されている。以下、各機能部について説明する。
【0032】
入力欄割り当て部107は、後述のように入力端末105を経由してペン型入力デバイス106から取り込まれた位置座標の軌跡として表される筆跡データを、入力書式データ102に指定されている入力欄のデータを用いて、入力欄ごとに筆跡データを分割する(図7等参照)。筆跡データは、2次元平面上の位置の軌跡として、例えば、{(x1,y1)、(x2,y2)、(x3,y3)、…、(xn,yn)}として表される。(nは正の整数である。)。筆跡データには後述する図4の属性(ペン属性など)を含んでいても良い。例えば赤いペン(ペンIDにより識別することができる。)であれば、赤い色の文字で記載されている旨の属性を含んでいる。筆跡データは、それぞれの位置の座標における入力時刻を含んでいることが好ましい(少なくとも筆跡データの一部の点について)。筆跡データの認識のための補助情報として、筆圧や筆速等が入っていても良い。
【0033】
文字・幾何図形認識部108は、各入力欄の筆跡データを解析して文字や幾何図形を取得する機能を提供する。この機能は、ペン型デバイスに付属するソフトウェアまたは別売のソフトウェアとして提供されており、そのソフトウェアの開発キットを用いてプログラム的に連係することによって実現することができる。一般的な機能であるため、本明細書では、その説明を省略するが、入力された位置座標と、当該位置座標と対応付けされる時間と、に基づいて、入力された筆跡データが、文字や記号であるか、図形であるか、またどのような文字、図形であるかを認識するものであり、例えば、認識対象領域の限定処理、文字抽出処理、文字認識(文字の抽出後、個々の文字のイメージが認識エンジンに入力され、対応する文字コードが何かを特定する。)などにより行われる。
【0034】
例えば、文字・幾何図形認識部108は、文字を認識する場合、筆跡データを入力として、文字コードデータの並びを返す。幾何図形を認識する場合、筆跡データを入力として、幾何図形の種類と座標データ列を返す。例えば、筆跡を点と認識した場合、点であることを示すコードと点の座標値とを返す。筆跡を三角形と認識した場合、三角形であることを示すコードと3点の座標値とを返す。
【0035】
本実施の形態による情報入力システムが機能するためには、少なくとも文字・幾何図形認識部108が筆跡データから点を検出できる必要がある。筆跡データが座標値の列{(x1,y1)、(x2,y2)、(x3,y3)、…、(xn,yn)}を含んでいるため、点の検出は非常に簡易な判定で実現できる。ある位置(及びその近傍)のデータのみが筆跡として入力されていれば、それを点として認識できる。加えて、時間のデータを含んでいれば、ある時間について同じ位置が指定されていれば、点は入力された可能性がより高いため、認識精度が向上する。尚、認識処理をより実用的に扱うには、文字や簡単な記号の認識も可能であることが好ましい。例えば、筆跡データが、{(x1,y1)、(x1,y1)、(x1,y1)、…、(x1,y1)}など、或いは、x1、y1に近い値が継続的に入力される場合である。
【0036】
記号照合部109は、後述するように、認識した文字・幾何図形から記号を抽出し、記号の位置情報と記号に関連付けられた情報とを取得する機能を提供する(図8参照)。
【0037】
入力結果データ生成部110は、後述のように記号照合部109において取得した記号の位置情報と記号に関連付けられた情報とを入力結果データとして入力結果DB104に出力する機能を提供する。入力結果DB104から、例えば、業務用PCなどの一般的な情報システム121に対して入力結果が出力され、例えば、業務用PCの管理DB123などに格納されて管理される。
【0038】
入力端末(PC)105は、入力ホストシステム101とそのインターフェイス101を介して通信するためのインターフェイス部105dと、CPU105aと、メモリ105bとを有し、メモリ105bに記憶されているプログラムをCPU105aが実行することにより筆跡データ取り込み部111として機能させる。当該筆跡データ取り込み部111は、ペン型入力デバイス106からインターフェイス部105cを介して筆跡データを取り込んで入力ホストシステム101に送信する機能を提供する。
【0039】
ペン型入力デバイス106は、ペンで書いた筆跡を記憶部106bにデジタル的に記録可能なデバイスであり、例えばデジタルペンやスタイラスなどがある。デジタルペンは、ボールペンと同じインクのペン先を持ち、紙に書いた筆跡がデジタルデータとして記録される入力デバイスである。スタイラスは、フラットパネルディスプレイやタブレット、電子ペーパーなどの上をスタイラスで書くと、筆跡がデジタル的に記録される入力デバイスである。例えば、ペン先が紙などに接して押されたことを感知する感知部106aなどのセンサが取り付けされている。筆跡データは、インターフェイス部106cを介して、有線通信や無線通信などにより入力端末105に出力される。入力端末105は、筆跡データを入力ホストシステム101が取得するための筆跡データ取得手段として機能する。
【0040】
入力書式DB102に格納される入力書式データは、ユーザが入力する情報の書式データである。ペン型入力デバイス106により入力された項目が、どのような種類の情報であり空間的にどの位置に書き込むのかを指定するように構成されている。ここで、入力デバイス106が、一般的なデジタルペンの場合には、後述するように、図2(a)、図2(b)に例示するような書式を、紙などに印刷してユーザに提供する。ユーザは、この紙の書式に沿って、入力デバイス(ペン)で入力を行う。一方、入力デバイス106が、スタイラスペン(テンプレートに書き込む形式)の場合には、ペン型の入力デバイス106とセットになったPC(例えばタブレットPC)などの表示部に図2(a)、(b)のような書式が表示され、その書式に対して点や記号などを記述(入力)する。
【0041】
以下では、紙の印刷物にペン型入力デバイス106で図2のように書き込む例について説明するが、後者の例であっても同様の処理を行うことができる。スタイラスを用いて電子ペーパーに入力するタイプを利用することもでき、スマートフォンやPDA、電子ペーパーに用いて実行することもできる。
【0042】
図2は、入力書式データベースDB102から印刷等の出力が行われた入力書式の一例を示した図である。この図は、地図上のある位置を指摘する場合に提示される入力書式を例にした図である。図2に示す入力書式に対して、ペン型入力デバイス106で入力を行って、その際の筆跡データを、ペン型入力デバイス106、入力端末105を介してホストデバイスに取り込む。
【0043】
図2(a)は、提示される入力書式が地図の場合の入力書式の例を示す図であり、地図の中に位置情報を書き込む入力書式201を示すものである。提示された時点では、2つの点と記号M1、M2とは記載されていない。図2(b)は位置に関連付いた情報を書き込むための入力書式204の例を示す図である。提示された時点では、文字、整数、位置という情報と、入力用の枠205、206、207だけが記載されており、具体的な文字であるABC、整数である123、位置に付される情報であるM1は記載されていない。
【0044】
図2(a)に示すように、入力書式201には、位置を例えば地図内に入力(ポイント)するための入力欄202があり、破線203内に示されているように、位置を示すポイント(点)と、それに対応付けされた記号(ここではM1)を地図内に入力することができる。ここでは、入力書式として地図を例にして示したが、これは、地図上に位置を入力する場合を例にしているからであり、例えば自動車の修理箇所を示すための位置入力の場合には、自動車の修理箇所をポイントで示すための自動車の図などが提示され、その他、任意の対象物の位置を示すための書式を提示することが可能である。
【0045】
図2(a)においては、点(図形)と第1の記号M1とを近接させて(関連付けして)入力する。尚、図2(a)では、点が2つあるために、これらをM1、M2という位置を識別するための情報を付しているが、その代わりに、丸い点と四角い点、黒抜きの点と白抜きの点というように点が形状等で識別できる場合、或いは、1つの図面(地図等)又は帳票内に、位置情報を1つしか入力しない場合等には、ポイントを区別するための記号を付さなくても良い。この入力書式に、点、記号等をペン型入力デバイス106で記載した際の筆跡データが、筆跡データ取り込み部111に取り込まれ、さらに、入力ホストシステム101内に取り込まれる。
【0046】
図2(b)に示す入力書式204は、位置に関連付けたい情報(文字、整数等)と、位置を区別するための記号等を入力する書式の一例を示す図であり、図2(b)では、例として3種類の入力欄が指定されており、入力欄205は文字を入力する欄として指定され、入力欄206は数値を入力する欄として指定され、これらの入力欄205、206は、位置情報(図2(a)の点)に関連付けたい情報(文字、整数等)と、どの位置に関連付けるかを特定するための情報(ここでは、M1)とを記述する入力欄207とを有する入力書式となっている。図2(b)に示す例では、入力欄の表題として、「文字」、「整数」、「位置」という汎用の表題が付けられているが、実際に業務で用いる場合には、業務に合わせた入力項目の表題をつけることができる。この入力書式に、点、記号等をペン型入力デバイス106で記載した際の筆跡データも、筆跡データ取り込み部111に取り込まれる。
【0047】
尚、図2(b)では、入力欄の位置が分かりやすいように、入力欄を四角形で表しているが、実際の表現はこれと異なる態様でもよく、操作者が欄を識別できるようなものであれば良い。例えば、書き込む欄を薄い色で塗りつぶすことによっても、操作者に入力欄を提示することが可能である。
【0048】
図2の地図の文字等を記載する例としては、例えば、損害保険会社等で、ある自動車がどの地点でどのような事故を起こしたかを保存して出力するための入力システムとして用いることができる。その他、自動車の修理箇所の指示など種々の例に用いることができる。
【0049】
図3は、図2(a)と図2(b)とに示したペン型入力デバイスによるペン入力前の2つの入力書式(ペン型入力デバイスでの記載前)を、XML(Extensible Markup Language、拡張可能なマーク付け言語)形式のデータとして表現した例を示す図である。このような入力書式を含む入力書式集タグを用いることで、任意の数の入力書式を提示することができる。図3に示す入力書式データ301は、筆跡データを解釈するために必要な基準となるデータであり、図3の図タグ302は図2(a)の白地図の状態を示すデータであり、文字タグ303−1、整数タグ303−2、位置参照タグ303−3からなる303の部分は、図2(b)に示す入力欄(まだ、入力欄になにも記載されていない状態)を示すデータである。
【0050】
入力書式タグは、例えば図2(a)の入力書式201や図2(b)の入力書式204に相当する。入力書式タグの中には、任意の数の入力欄を表すタグを指定できる。図3に示す例では、図タグ302、文字タグ303−1、整数タグ303−2、位置参照タグ303−3がある。図タグ302は、位置をペン型入力デバイス106で入力するための欄の書式を示している。すなわち、図2(a)の入力欄202の様式を示している。文字タグ303−1は、文字をペン型入力デバイス106で入力するための欄であり、図2(b)の入力欄205に相当する。整数タグ303−2は、整数をペン型入力デバイス106で入力するための欄であり、図2(b)の入力欄206に相当する。位置参照タグ303−3は、図タグで指定された位置入力欄に書き込んだ記号あるいは記号の名前をペン型入力デバイス106で入力するための欄であり、図2(b)の入力欄207に相当する。入力欄を表すタグには、その欄が操作者に提示する書式のどの位置にあるかという情報が記述される。
【0051】
上記のように、図3に示す書式データ自体には、筆跡データ等が記述されていない。以下に示す図2との対比では、入力書式202内への点の入力や、入力書式内における文字、整数、位置等の欄205から207までへの記載はなされていない。
【0052】
図3に示す例では、302−2に示すように、左上位置タグに欄の左上座標、大きさタグに欄の大きさが指定されている(任意に設けることができる欄である)。図タグ302は、さらに、図面においては図面のモデル内の何処を表しているか、また地図においては地図の中の何処を表しているかに関する情報も付加されている。この例では、地図上での位置を表しており、図タグ302が表す地図の枠の中心が地図上では中心座標タグに示された北緯35度40分53秒、東経139度45分57秒にあり、縮尺は縮尺タグに指定された2千5百分の1であり、緯度経度や縮尺の基準となる座標系は座標系タグに指定され、緯度経度の基準は世界標準であるWGS84測地座標系、地図の投影方法はUTM(Universal Transverse Mercator、ユニバーサル横メルカトル投影法)であることが示されている。これらの情報(左上位置タグに欄の左上座標、大きさタグに欄の大きさ及び中心座標)は、白地図上に記入されたポイント等の位置を特定する際に利用することができる。すなわち、これらの情報により、ポイントの位置を絶対位置として求めることができる。
【0053】
前述の図タグ302、文字タグ303−1、整数タグ303−2、位置参照タグ303−3のように、XMLタグで表されている情報は、このXMLドキュメント301内で一意な識別子を持つことができる。タグの識別子は、この例では、タグのid属性で表されている。例えば、図3における図タグ302の識別子は、id=”drawing1”というタグ属性によりdrawing1と指定されている。位置参照タグ303−3は、位置情報がどの書式のどの図にあるのかを指定することができる。図3の例では、ref属性によって、ref=”drawing1”と指定され、drawing1という識別子を持つ図に描かれた記号から位置情報を取得することを表している。また、文字タグ303−1、整数タグ303−2、位置参照タグ303−3には、左上位置と大きさとが記述されており、この情報により、それぞれ文字、整数、位置参照が、指摘された範囲内(左上位置と大きさとにより画定される領域内)に記述されることが示されている。また、位置参照タグ303−3には、“drawing1”の識別子を持つ図に描かれている記号と関連付けされている図形(点)から位置情報を取得することが指定されている。
【0054】
記号パターンデータベース103に格納される記号パターンは、入力書式データベース102に格納される入力書式データによって定められた入力書式の中の位置を入力する欄に対して、どのような記号が書き込まれるかを指定するデータである。
【0055】
図4は、記号パターンデータベースDB103に格納される記号パターンに指定されうる記号の例を示す図である。図4(a)において、記号401は、点で位置を示し、点に隣接して文字(M1)を書くことによって場所(位置)に名前をつけて場所を特定するための記号である。図4(b)において、記号402は、点が混み合っている場合等を考慮して、点から引き出し線を引いて文字(M1)を書いた例である。図4(c)において、記号403は、線を引いてその線に対して名前(P1)をつけた例である。図4(d)において、記号404は、文字(BL)を記号代わりに使用している例を示す図である。図4(e)において、記号405は、丸印の中に文字(M)を入れ、またその周りに付加情報として文字(1)を書いた記号である。図4(f)において、記号406は、文字を持たない例である。図4(g)において、記号407は、面図形に対して名前(A1)をつけた例である。図4(h)において、記号408は、文字(RD)を記号代わりにしており、かつ、ペンの色(例えば赤色)で区別している記号である。
【0056】
このように、記号は、任意の図形と文字との集合で表され、図形と図形、図形と文字、および文字と文字の空間的な関係や、ペン型入力デバイスにおけるペンの色などのペンの属性によっても識別される。
【0057】
図5は、図4に示した記号401の記号パターンを例にして、これをXML形式で表現した例501を示す図である。このパターンは、入力ホストシステム101の記号パターンデータベースDB103内に格納されている。記号パターン集タグは、任意の数の記号パターンを持つことができる。記号パターンタグは、図5に示す例では、図4(a)の記号401に相当し、図形タグ501−1、文字タグ501−2、条件タグ501−3、ペン属性タグ501−4がある。図形タグ501−1の中には、図形種タグによって点である“point”(点)と指定され、この記号パターンには点が1つあることが示されている。文字タグ501−2の中には、文字パターンタグによって、記号に使用できる文字の種類や順番のルールが示されている。この例では、正規表現を使用しており、最初の1文字は英大文字(A−Z)、その後に任意の長さの数字(0−9)が並ぶことが示されている(例えば図2のM1に相当する)。条件タグ501−3では、上記の図形と文字との空間的な関係が指定されている。対象タグ501−1によってpoint1(図形の識別子)とtext1(文字の識別子)が指定され、その2つの空間的な関係は関係タグによって「隣接配置」と指定されている。さらに、ペン属性タグ501−4によって、ペン型入力デバイスのペンの色が黒であることが指定されている。すなわち、点の図形とそれに隣接した文字があって、その文字パターンが最初の1文字は英大文字、2文字目以降が数字であり、かつ、ペン型入力デバイスのペンの色が黒である場合に、この記号パターンに合致したとみなされる。記号パターンタグには位置タグ501−5があり、記号パターンに合致する記号が見つかった場合に、位置情報をどの図形あるいは文字から取得するかを指定している。この例では、“point1”、すなわち点の位置から取得される。
【0058】
入力結果データベース104の入力結果データは、ペン型入力デバイス106で書き込んだ情報がどのように文字や数値などの値として取り込まれるかというデータを表している。図6に示す入力結果は、図2で示された書式に、図2に書き込まれたデータがあった場合の、入力結果データの例を示している。図2(a)では、入力書式201の中に位置情報を入力するための入力欄202があり、記号203で示される箇所に点とM1という文字が書き込まれている。また、図2(b)に示す入力書式204には、文字の入力欄205にABC、整数の入力欄206に123、位置情報への参照の入力欄207にM1が書き込まれている。
【0059】
図6に示す入力結果データの例は、入力結果データを、CSV(Comma Separated Values、カンマで区切られた表形式データ)で表したものである。図6の1行目には、図3の入力書式に例示した入力欄の識別子、すなわち文字入力欄303−1がtext1 601−1、整数入力欄303−2がinteger1 601−2、位置参照入力欄303−3がlocation1 601−3であり、さらに、位置参照入力欄303−3に書き込まれたM1という値を、位置情報を入力するための入力欄202に書かれた記号(M1)と照らし合わせ、その記号(M1)の位置を取り出した結果を入れる列としてlocation1−x(X座標)とlocation1−y(Y座標)601−4がある。
【0060】
2行目からは、1行目の入力欄の順番に従って、ペン型入力デバイス106で書き込まれた値が並べられ(601−5〜601−7)、location1−xとlocation1−y601−4には対応する記号の緯度と経度がこの例では度単位で並べられている(601−8)。この例では、データとして1行のみが記述されているが、図2の入力書式204に書き込んだ筆跡データが複数ある場合には、その数だけのデータ行が並ぶ。このようにして、ペンで書き込まれた位置情報(location1−x、location1−y)601−4と、位置に関連付けられた情報(text1、integer1)601−1、601−2を、図1に示す情報システム121に取り込むことができる。すなわち、入力ホストシステム101に入力をしたデータを、情報システム121に送ることができる。
【0061】
本実施の形態による情報システムにおける、処理手順について例示する。図1に示すように、入力端末105の筆跡データ取り込み部111がペン型入力デバイス106から筆跡データを取り込み、この筆跡データがネットワークを介して入力ホストシステム101に送信される。筆跡データは、インターフェイス101cを介して入力ホストシステム101の入力欄割り当て部107が取得する。
【0062】
入力欄割り当て部107では、図7を参照して説明する(後述)処理手順のように、入力書式データベースDB102から図2に示すような入力書式のデータを受け取り、また、筆跡データ取り込み部111から取得した筆跡データが、どの入力欄に書かれたものかを判定し、例えば、入力欄ごとに筆跡データを分割する(データを対応付けてテーブル化しても良い)。
【0063】
次に、記号照合部109において、図2の入力書式201に示したような位置情報の入力欄に書かれている記号(例えばM1)と、入力書式204の中の位置情報を参照するための入力欄207の情報(M1)とを照合して、両者が一致している場合は位置情報(M1の点の位置情報)と、位置に関連付いた情報すなわち図2(b)の例では入力欄205、入力欄206の情報と、を関連付け(結びつけ)る。
【0064】
最後に、入力結果データ生成部110において、記号照合部109において結び付けられた位置情報(図6の2行目の139.765603,35.68138)と位置に関連付いた情報(ABC,123,M1)とを組にして、入力結果データベース(記憶部)104に出力する(図6の2行目参照)。入力欄割り当て部107、文字・幾何図形認識部108、記号照合部109が、位置情報取得手段を構成する。
【0065】
以下に、処理の流れの詳細について説明する。
【0066】
図7は、入力欄割り当て部107における処理の流れを示すフローチャート図である。入力割り当て部107は、入力書式データベース102から、例えば、入力書式301に指定された入力欄の情報を取得する(ステップS701)。入力書式データベース102の中の、各入力書式、また入力書式の中の各入力欄について、以下ステップS703〜S704を実行する(ステップS702)。すなわち、対象の入力欄から入力欄の範囲の情報、例えば図3の入力書式データの例では、左上位置タグと大きさタグで指定される矩形範囲の座標値、を用いて、図2の入力デバイスから取り込んだ筆跡データ{(x1,y1)、(x2、y2),(x3、y3),…(xn,yn)}がその矩形(202、205〜207等)の範囲内に位置するかどうかを判定する(ステップS703)。
【0067】
尚、筆跡データの座標系と入力欄の座標系とが異なる場合は、座標系を合わせてから判定する。
【0068】
もし、筆跡データ{(x1,y1)、(x2、y2),(x3、y3),…(xn,yn)}が入力欄の範囲内にあれば、その入力欄(図2の202、205〜207)と筆跡データ(図2の点、M1等、ABC、123、M1等とその位置座標)とを対応付けて記憶する(ステップS704:図2)。尚、ステップS703の判定では、操作者が欄外にはみ出している文字を記してしまった場合を考慮して、その際のはみ出しをどの程度まで許容するか、などの許容条件を予め定めておいても良い。
【0069】
以上の処理により、図2に示すような入力欄の割り当て(入力欄202、205〜207)と、そこに記載された分割された各入力欄のどの欄に対応付けされているかに関する筆跡データ及びその位置座標との対応付け処理が行われる。
【0070】
前述のように、文字・幾何図形認識部108では、例えば外部の認識エンジンに、図7の処理で対応付けたデータを渡し、(すなわち、入力欄割り当て部107において入力欄ごとに分割された筆跡データから)文字の場合には文字コードデータ、幾何図形の場合には図形の種類とその座標値のデータを取得する。この処理は、公知の方法を持ち家行うことができる。
【0071】
図8は、記号照合部109における記号照合処理の流れを示すフローチャート図である。まず、記号照合部109は、記号パターンデータDB103から、図5に示すような記号パターンデータ501を取得する(ステップS801)。記号パターンデータ501の中の各記号パターンについて、図2の203、205〜207に関する対応付けを行うために以下ステップS803〜S807の処理を実行する(ステップ802)。位置データを記入する入力欄202、205〜207内の、図形や文字を、周知の認識エンジンに渡し、その認識処理の結果として得られた認識結果(図形か文字等の情報)の中から、現在照合する筆跡データである対象の記号パターンで指定された図形種に合致する図形、また指定された文字パターンに合致する文字(又は図形種)を取得する(ステップS803)。例えば、図2(a)で言えば、点の図形と文字M1とが取得される。
【0072】
次いで、対象の記号パターンに、ペン属性501−4が指定されているかを判定する(ステップ804)。ペン属性501−4が指定されている場合には、ステップS803において取得した図形や文字の中で、記号パターンに指定されたペン属性を持つものだけを取得する(ステップS805)。次に、図5に示すような記号パターンに指定された条件に合致する図形や文字を取得する。この条件は、条件の種類の数だけ関数が用意され、その関数に対象となる図形や文字の情報(種類、座標値、文字コード)を渡すことにより判定される。例えば、「隣接配置」関数は、指定された2つの図形あるいは文字が、その座標値から隣り合っていると判定された場合には真の論理値を、そうでない場合に偽の論理値を返す(ステップS806)。パターンに合致した記号から、その記号を参照しているすべての位置参照入力欄の入力を取得し、対応付ける。例えば、図2(a)で言えば、点図形と文字M1とが「隣接配置」された入力として対応付けされる。
【0073】
この対応付け方法には2通りあり、位置参照入力欄に記号が入力されている場合と、記号のうちの文字情報だけが入力されている場合で異なる。すなわち、位置参照入力欄に記号が入力されている場合の判定方法は、位置データを記入する入力欄に対して行う記号の判定処理(ステップS802〜S806)を位置参照入力欄に対して行い、記号データが一致しているかどうかで判定する。一方、位置参照入力欄に文字情報だけが入力されている場合は、ステップS806で取得した記号の情報から、周知の文字コード列を取り出し、位置参照入力欄に記入された文字と比較する(ステップS807)。
【0074】
以上により、記号の位置情報(例えば、図6の2行目の位置情報)と記号に関連付けられた情報(記号への参照M1)とを対応付けて取得することができる。
【0075】
図9に、入力結果データ生成部110の処理手順を示す。入力結果データ生成部110は、入力欄の情報を入力結果データベース104のヘッダー部分に出力する(ステップS901)。このヘッダー部分は、図6の入力結果データの1行目の記述に対応する。ヘッダー部分は、入力結果データ104を受け取るシステムにとってデータ構造が既知であれば、省略することも可能である。各入力欄について、以下、ステップS903〜S905を実行する(ステップ902)。入力欄に対応する筆跡データから文字・幾何図形認識部108において認識したデータを文字列として入力結果データベースに出力する(ステップS903:例えば、図6のABC、123,M1))。次いで、入力欄(205、206、207)が位置情報への参照のための入力欄であるかどうか(図3の位置参照であるか否か)を判定する(ステップS904)。もし、位置参照入力欄である場合は(YES:207)、記号照合部109において対応付けた記号M1の位置情報(座標値情報:(139.765603,35.68138))を取得し、入力結果データベース104に出力する(ステップS905)。ステップS904で、位置への参照のための入力欄でないと判定されると(NO)、次の入力欄についての処理に進む。ここでの位置は、図2(a)の用紙における位置であり、絶対座標とはなっていないが、例えば、図3の緯度経度のデータを用いることで、絶対位置の座標として得ることができる。地図ではなく、図面やグラフの場合には、緯度・経度の情報を用いなくても良い。
【0076】
以上のようにして、図6に示すような入力結果データ(2行目)を生成することができる。この入力結果データを、図1の結果データベース104から情報システム121に送信し、表示、印刷などの出力処理や、編集処理に用いることができる。例えば、情報システム121がGIS(地図情報システム)を有するものであれば、ペン型入力デバイス106で地図上に入力した位置における緯度経度情報を、その位置をポイントすることにより情報システム121の表示部に表示させるなど、地図上の任意の点における位置参照がペン型入力デバイス106の地図への指示により可能となる。
【0077】
なお、入力デバイスとしては、デジタルペンやスタイラス、電子黒板、遠隔共同作業支援装置、遠隔プレゼンテーション装置などが想定される。
【0078】
以上のように、本実施の形態による位置情報および位置に関連付いた情報の入力システムにおいては、以下のような効果がある。
(1)位置情報を入力する操作手順、及び位置に関連付いた情報を入力する操作手順が、地図などに点を付し、その点に関する情報を位置入力欄に入力する操作等で実行することができ、紙とボールペンとを用いていた従来の操作と同様の操作となるため、操作者が容易に体得できる方法によって標準化されており、操作者にとって使いやすいシステムを実現することができる。
(2)ペン型入力デバイスで書き込んだ筆跡の情報を、操作者が見直しても分かりやすい形で保存することができる。システムに取り込む前の状態でも、他の装置に渡して情報の共有やチェックし、修正することができる。
(3)これまでの数値や文字の情報だけでなく、位置情報や位置情報との関連に関しても証跡として残すことが可能になる。
【0079】
上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【産業上の利用可能性】
【0080】
本発明は、情報入力システムに利用することができる。
【符号の説明】
【0081】
101…入力ホストシステム、102…入力書式データDB(入力書式提示手段)、103…記号パターンデータDB、104…入力結果データ、105…入力端末、106…ペン型入力デバイス、107…入力欄割り当て部、108…文字・幾何図形認識部、109…記号照合部、110…入力結果データ生成部、201…位置情報を入力する入力書式の例、202…位置情報を入力する入力欄の例、203…記号を用いた位置情報の入力の例、204…位置に関連付いた情報を入力する入力書式の例、205…文字情報入力欄の例、206…数値情報入力欄の例、207…位置情報への参照を入力する欄の例、401〜408…記号パターンデータで表現しうる記号の例。


【特許請求の範囲】
【請求項1】
座標位置の軌跡として表される筆跡データを取得するペン型入力デバイスを用いた入力により位置情報を入力する情報入力装置であって、
前記筆跡データを解釈するための入力書式であって、図面における位置を特定可能な態様で図形又は記号を入力する位置入力欄を有する入力書式を提示する入力書式提示手段と、
前記位置入力欄に入力された記号の前記筆跡データに基づいて、入力した前記図形又は記号を認識するとともに前記位置入力欄に入力された前記図形又は記号の位置の情報を取得する位置情報取得手段とを備えることを特徴とする情報入力装置。
【請求項2】
前記位置情報取得手段は、
前記位置入力欄の位置情報を用いて、前記位置入力欄の範囲内に位置する前記筆跡データを、前記入力欄と対応付けすることで前記図形又は記号の位置を求めることを特徴とする請求項1に記載の情報入力装置。
【請求項3】
前記入力書式提示手段は、
前記図形又は記号の位置を参照するための前記図形又は記号の位置と関連付けたい位置関連情報を入力する位置関連情報入力欄と、を有する入力書式を提示し、
前記図形又は記号の位置と前記位置関連情報とを入力結果データとして生成する入力結果データ生成手段と
を備えることを特徴とする請求項1又は2に記載の情報入力装置。
【請求項4】
座標位置の軌跡として表される筆跡データを取得するペン型入力デバイスを用いた入力により位置情報を入力する情報入力装置であって、
前記筆跡データを解釈するための入力書式であって、図面に少なくとも点を含む図形又は記号を入力することで前記図形又は記号の位置を指定し、当該位置を特定するための第1の記号に関連付けて入力する位置入力欄と、前記図形又は記号の位置を参照するための第2の記号を含み前記図形又は記号の位置と関連付けたい位置関連情報を入力する位置関連情報入力欄と、を有する入力書式を提示する手段と、
前記筆跡データから前記図形又は記号を認識するとともに、前記第1の記号に関連付けされ前記位置入力欄に入力された前記図形又は記号の座標を特定し、当該図形又は記号の位置を取得する手段と、
前記第1の記号と前記第2の記号とを照合する照合手段と、
前記照合手段による照合結果に基づいて、前記第1の記号と前記第2の記号とが同じであれば、前記第1の記号に関連付けされた前記図形又は記号の位置と前記第2の記号に関連付けされた位置関連情報との組を入力結果データとして生成する入力結果データ生成手段と
を備えることを特徴とする情報入力装置。
【請求項5】
前記図形又は記号の位置を取得する手段は、
前記位置入力欄の位置情報を用いて、前記位置入力欄の範囲内に位置する前記筆跡データを、前記入力欄と対応付けすることで前記図形又は記号の位置を求めることを特徴とする請求項4に記載の情報入力装置。
【請求項6】
請求項1から5までのいずれか1項に記載の情報入力装置と、
前記ペン型入力デバイスと、
前記ペン型入力デバイスから筆跡データを取得する筆跡データ取得手段と、
前記入力結果データを情報システムに出力する出力部と
を有する情報入力システム。
【請求項7】
座標位置の軌跡として表される筆跡データを取得するペン型入力デバイスから位置情報と位置に関連付けた情報とを取得する情報入力方法であって、
前記筆跡データ解釈するための入力書式であって、図面における位置を図形又は記号により特定可能な態様で入力する位置入力欄と、前記図形又は記号の位置を参照するための前記図形又は記号の位置と関連付けたい位置関連情報を入力する位置関連情報入力欄と、を有する入力書式を提示するステップと、
前記筆跡データから前記図形又は記号を認識するとともに、前記位置入力欄に入力された前記図形又は記号の位置を特定し、当該位置の情報を取得するステップと、
前記図形又は記号の位置と前記位置関連情報とを入力結果データとして生成する入力結果データ生成ステップと
を備えることを特徴とする情報入力方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−238115(P2012−238115A)
【公開日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2011−105605(P2011−105605)
【出願日】平成23年5月10日(2011.5.10)
【出願人】(000233055)株式会社日立ソリューションズ (1,610)
【Fターム(参考)】