手書き文字テキスト化システム
【課題】ノートに記入された手書き文字の高精度な読み取りが可能で、かつノートの不正利用も防止可能な手書き文字テキスト化システムを提供する。
【解決手段】端末に搭載したデジタルカメラが撮影した文字画像データを、通信回線網を利用してサーバに送信し、文字画像データをテキストデータ化処理部によりテキストデータに変換するように構成すれば、ノートに記入した手書き文字のテキストデータ化処理を高精度で行うことができる。しかも、ノートに付した２次元コードを利用し、サービス利用前にノートの認証を行うため、手書き文字の消去やノートコピーなどによるテキストデータ化処理サービスの利用回数の不正を防止できる。
【解決手段】端末に搭載したデジタルカメラが撮影した文字画像データを、通信回線網を利用してサーバに送信し、文字画像データをテキストデータ化処理部によりテキストデータに変換するように構成すれば、ノートに記入した手書き文字のテキストデータ化処理を高精度で行うことができる。しかも、ノートに付した２次元コードを利用し、サービス利用前にノートの認証を行うため、手書き文字の消去やノートコピーなどによるテキストデータ化処理サービスの利用回数の不正を防止できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、手書き文字テキスト化システム、詳しくはノートに記入された手書き文字を、サーバのテキストデータ化処理部を利用してテキストデータ化する手書き文字テキスト化システムに関する。
【背景技術】
【０００２】
近年、手書きした内容を電子データ化する技術として、例えば、ノートに記入した手書き文字をスマートフォンのデジタルカメラにより撮影し、スマートフォンにインストールしたアプリケーションにより、文字画像データを画面に表示するとともにストレージに記憶させる株式会社キングジム製の「ショットノート」が開発されている（非特許文献１）。
非特許文献１では、紙面の四隅に印されたガイドマークを利用し、アプリケーションに搭載された歪補正部により文字画像データの歪みを補正するとともに、アプリケーションに搭載された簡易なＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）機能によって、ヘッダの日付と整理番号とのみを光学的に読み取ってテキストデータ化し、これらを文字画像データと関連付けてアプリケーションのストレージに記憶することで、ノートへの手書き内容の検索を容易としていた。
【先行技術文献】
【特許文献】
【０００３】
【非特許文献１】［平成２３年９月２５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｋｉｎｇｊｉｍ．ｃｏ．ｊｐ／ｓｐ／ｓｈｏｔｎｏｔｅ／〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１の「ショットノート」では、手書き文字を文字画像データのままで画面表示し、かつアプリケーションのストレージに記憶していた。そのため、例えばストレージに文字画像データとして記憶した議事録を、クライアントが電子メールを利用して関係者に文書で送信したい場合には、まずアプリケーションを起動し、テキストデータ化されたヘッダの日付や整理番号をインデックスとして、その議事録の文字画像データをスマートフォンのディスプレイに読み出し、それの内容をパソコンのワープロソフトにキーボードによって入力し、テキストデータ化する必要があった。
そこで、このようなクライアントに手入力を強いる煩わしさを解消するため、読み取り対象が数字のみという従来の簡易なＯＣＲではなく、手書き文字を光学的に読み取る高精度なＯＣＲを、アプリケーションに搭載することが考えられる。しかしながら、このように手書き文字も読み取れるＯＣＲでは、読み取り精度が十分とは言えなかった。
【０００５】
そこで、本発明者らは鋭意研究の結果、スマートフォンに搭載したデジタルカメラにより撮影した文字画像データを、通信回線網を利用してセンタのサーバに送信し、ここで文字画像データをテキストデータに変換すればよいことに想到した。すなわち、サーバにオペレータの端末から送信された読み取り結果としての（部分）テキストデータを利用する文字画像データのテキストデータ化処理部を設ければ、手書き文字（活字を含む）の高精度なテキストデータ化処理を行えることを知見するに至った。
しかしながら、サーバ側では、このテキストデータ化処理サービスをクライアントが利用する前に、クライアントが利用するノートの大きさや頁数などを把握しておく必要がある。その理由は、例えば手書き文字の消去やノートをコピーするといったテキストデータ化処理部の利用回数の不正を防止するためである。そこで、発明者は、ノートにＱＲコード（登録商標）などの２次元コードを印字し、これを利用して事前にノートのアクティベート（認証処理）をクライアント（ユーザ）に行わせ、その際、購入したノートのテキストデータ化利用回数の情報を取得するように構成すれば、上述した問題はすべて解消することを知見し、この発明を完成させた。
【０００６】
この発明は、ノートに記入された手書き文字の高精度な読み取りが可能で、かつノートの不正利用も防止することができる手書き文字テキスト化システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明は、文字の手書きスペースを有し、ノート認証用の２次元コードが表示された手書き用のノートと、前記手書きスペースに記入された手書き文字を撮影するデジタルカメラと、前記２次元コードを読み取る２次元コードリーダと、通信回線網を利用する端末側の通信部とを搭載した端末と、前記端末側の通信部よりそれぞれ送信された前記２次元コードリーダによる前記２次元コードの読み取りデータと、前記デジタルカメラによる前記手書き文字の文字画像データとを、前記通信回線網を利用して受信するサーバ側の通信部が搭載されたサーバと、前記サーバに設けられ、かつ前記２次元コードの読み取りデータを受信することで、前記ノートの利用を認証するとともに、該ノートによる前記テキストデータ化処理部の利用回数のデータを取得するノート認証部と、前記文字画像データを読み取ってテキストデータに変換するテキストデータ化処理部とを備えた手書き文字テキスト化システムである。
【０００８】
ここでいう「ノート」とは、複数枚の紙（頁紙、用紙）を横綴じまたは縦綴じしたノートブック（帳面、冊子など）である。また、紙１枚だけのものでもよい。ノートサイズとしては、例えばＡ７，Ａ５，Ａ１が挙げられる。紙の手書きされる紙面（手書き面）は、例えば紙の表面である。
「手書き文字」とは、鉛筆、シャープペンシル、ボールペン、マジックペン、筆などの筆記具を用いて、人手により書かれた字（漢字、ひらがな、カタカナ、数字、アルファベットなど）で、印刷機により印刷された活字とは異なる。
「手書きスペース」とは、通常、紙の手書き面の全部または中央部のみであるが、例えば手書き面の上部のみ、下部のみまたは外周部のみでもよい。手書きスペースには、横罫や縦罫、マス目などを記入してもよい。
【０００９】
また、ノート紙面の撮影画像の歪みを、例えば端末のアプリケーションの歪補正機能により補正するようにしてもよい。補正法としては、台形補正法（射影変換）などを採用することができる。具体的には、デジタルカメラにより紙面を撮影し、その撮影画像の中から四隅のガイドマークを探し出し、発見した四隅のガイドマークを利用して、台形補正法によって、撮影画像を矩形状の整った紙面画像に変換する。これと同時に、端末のアプリケーションのノート種類特定機能により、四隅のガイドマークの形状や配列に基づき、読み取り対象のノートの種類（ノートサイズ、ノート等級）を特定する。
【００１０】
ここでいう「ノート認証」とは、アプリケーションのアクティベート機能により行われ、該当ノートに対して利用許可を与える処理である。
ここでいう「２次元コード（２次元バーコード）」とは、文字や数字などのデータを二次元の図形パターンとして紙面に刻印、印刷したもので、例えば、マトリックス型２次元コード（ＱＲコード）、スタック型２次元コードなどが挙げられる。
ノート上の２次元コードの表示位置は任意である。例えば、ノートの表紙の表面や裏面でも、各紙（頁紙）の紙面でも、表紙と１枚目の読み取り用紙との間に配置された認証専用紙の表面でもよい。この場合、認証専用紙の裏面にアクティベート方法を含むノートの利用方法の説明書きをしてもよい。特に、ノートの表紙をめくった１頁目（認証専用紙）に２次元コードを表示した方が、第三者が店内でノートを購入せずに携帯電話のデジタルカメラで撮影した後に、そのノートを購入したクライアントのアクティベートを妨害することを防止するとともに、利用しやすいという点から好ましい。
【００１１】
ここでいう端末とは、例えば個人用の携帯コンピュータの機能を併せ持った携帯電話（スマートフォン）の他、携帯コンピュータの機能を有さない携帯電話、パソコンなどを採用することができる。その他、クライアントが指定した別のパソコンでもよい。
デジタルカメラとしては、例えばＣＣＤカメラ、ＣＭＯＳカメラなどを採用することができる。
ここでいう「文字画像データ」とは、ノートに記入された手書き文字をデジタルカメラに撮影して得た手書き文字のイメージデータ（静止画像データ）である。例えば、ビットマップ・データ（Ｂｉｔｍａｐ Ｄａｔａ）などが挙げられる。
【００１２】
２次元コードリーダ（２次元バーコードリーダ）の種類は限定されない。
通信回線網としては、例えばインターネットなどを採用することができる。
端末側の通信部としては、無線伝送用の通信機器を採用することができる。また、サーバ側の通信部としては、有線伝送用の通信機器を採用することができる。一般的に、テキストデータはサーバ側のストレージに記憶し、必要時にクライアントが端末を使用して通信回線網からサーバにアクセスし、ストレージに記憶されたテキストデータを利用する。または、取得後のテキストデータをサーバから端末に返送するようにしてもよい。
テキストデータとは、レイアウト情報や修飾情報を持たない、純粋に文字のみで構成されるデータである。
【００１３】
ここでいう「テキストデータ化処理部」とは、例えば、２人以上のオペレータがノートの手書きスペースに記入された手書き文字を読み取り、その読み取り結果をオペレータ端末から送信（入力）することでテキストデータ化する処理部を採用することができる。その他、ノートのヘッダに手書きされた記入日（日付）や、フッタに記載された企業番号、整理番号だけでなく、手書きスペースの手書き文字を光学的に読み取ってテキストデータ化するＯＣＲでもよい。または、オペレータが介在する処理部とＯＣＲとの両方を併用したものでもよい。ＯＣＲ部を設けた場合には、テキストデータ化処理部に、ＯＣＲ部によるテキストデータ化が正しく行われたか否かを判定する２人以上のＯＣＲ判定オペレータのオペレータ端末から送信された判定結果が一致しているか否かを判定するＯＣＲ判定部を設けた方が望ましい。これにより、ＯＣＲ部による手書き文字の自動読み取りの精度が高まる。
【００１４】
ここでいう「２次元コードの読み取りデータを受信することで、ノートの利用を認証する」とは、２次元コード中に図形パターン化されたノート情報（手書きスペース付きの紙面数など）を２次元コードリーダにより読み取り、対象ノートによるテキストデータ化処理部の利用を承認するものである。これに加えて、対象のノートを使用してテキストデータ化処理を何回利用できるかという情報を取得するものである。また、実際に発行しているコードかどうかも偽造防止のためチェックすることができる。
「ノート認証部」とは、アクティベーション（ライセンス認証）を行うソフトウエアである。
【００１５】
また、この発明は、テキストデータ化処理部が、文字画像データを複数の部分文字画像データに分割する画像分割部と、１つの部分文字画像データを個別に読み取る２人以上の読み取りオペレータの各オペレータ端末から１つずつ送信された部分文字画像データの読み取り結果としての複数の部分テキストデータが一致しているか否かを判定する部分テキスト判定部と、部分テキスト判定部が一致すると判定した部分テキストデータを記憶する記憶部と、記憶部に記憶したテキストデータの全体分の部分テキストデータを、複数の部分文字画像データに文字画像データを分割した配列に則して繋げることで、テキストデータを作成するテキスト作成部とを有したものとし、テキストデータの作成後、サーバ側の通信部により、通信回線網を利用してテキストデータを端末に返送するようにした方が望ましい。
【００１６】
ここでいう「文字画像データを複数の部分文字画像データに分割する」とは、文字画像データを、所定の文字数ごと、所定の紙面領域（所定間隔、所定行数ごと）ごとに細分化することをいう。文字画像データの分割数、分割サイズは任意である。
「部分文字画像データ」とは、文字画像データを画像分割部により分割して得られたデータである。
「画像分割部」とは、この文字画像データの分割を行うソフトウエアである。
「１つの部分文字画像データを個別に読み取る２人以上の読み取りオペレータ」とは、文字画像データを分割して得た複数の部分文字画像データのうち、選出された１つの部分文字画像データについて、互いに協議することなく独自の判断で読み取りを行う２人または３人以上の読み取りオペレータをいう。
【００１７】
「各オペレータ端末から１つずつ送信された部分文字画像データの読み取り結果としての複数の部分テキストデータ」とは、２人以上の読み取りオペレータが個別に所有するオペレータ端末から部分テキスト判定部に送信（入力）された各オペレータの部分文字画像データの読み取り結果を意味する。各オペレータ端末からの読み取り結果は１台につき１つずつである。
「部分テキスト判定部」とは、各オペレータ端末から１つずつ送信された複数の部分テキストデータが一致（合致）または不一致かを判定するソフトウエアである。判定の対象となる部分テキストデータが３つ以上の場合の判定としては、例えばすべての部分テキストデータが一致するか否かという判定方法を採用することができる。この場合には、読み取りオペレータの人数が増えるほど、部分文字画像データの読み取り精度が高まる。その他、このすべての部分テキストデータが一致するか否かという判定方法の場合を除く、１組（２つ）以上の部分テキストデータが一致するか否かの判定としてもよい。
【００１８】
「記憶部」としては、例えばサーバのホストコンピュータが有する各種のストレージなどを採用することができる。
ここでいう「記憶部に記憶したテキストデータの全体分の部分テキストデータ」とは、読み取り対象としての文字画像データの全体分量にあたる、すべての部分文字画像データについて個別に行われた部分テキスト判定部による一致判定（みなし一致判定を含む）で得られた部分テキストデータ（テキストデータを構成するために必要なすべての部分テキストデータ）を意味する。
ここでいう「テキストデータの全体分の部分テキストデータを、複数の部分文字画像データに文字画像データを分割した配列に則して繋げる」とは、複数の部分文字画像データに文字画像データを分割したときの配列順で、記憶部に記憶されたすべての部分テキストデータ、すなわち部分テキスト判定部による判定で一致（みなし一致判定を含む）しているとされたすべての部分テキストデータを繋げることで、テキストデータを作成することをいう。
「テキスト作成部」とは、サーバのホストコンピュータに設けられた前記すべての部分テキストデータからテキストデータを作成する（組み立てる）ソフトウエアである。
【００１９】
また、この発明は、部分テキスト判定部として、１人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、２人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータとが一致しているか否かを判定する第１の部分判定部と、第１の部分判定部の判定結果が不一致だった場合の３人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、１人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否か、および、３人目の部分テキストデータと２人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否かを判定する第２の部分判定部とを有したものを採用し、記憶部に記憶される部分テキストデータは、第１の部分判定部が一致していると判定した部分テキストデータか、第１の部分判定部が一致していないと判定した後の第２の部分判定部が一致していると判定した部分テキストデータとした方が望ましい。
【００２０】
記憶部に記憶される部分テキストデータは、第１の部分判定部が一致していると判定した部分テキストデータである。または、第１の部分判定部が一致しないと判定した場合における第２の部分判定部が一致していると判定した部分テキストデータとなる。
さらに、第２の部分判定部による判定で一致するという結果が得られなかった場合には、４人目以降（５人目、６人目…、ｎ人目）の読み取りオペレータのオペレータ端末から送信された部分テキストデータと、それまでに取得された部分テキストデータとが一致しているかを、第３以降（第４、第５…、ｎ−１番目）の部分判定部により一致しているか否かを判定するようにしてもよい。また、４人目以降の読み取りオペレータは、それまでに取得された部分テキストデータを参照し、記憶部に記憶すべき部分テキストデータが存在すれば、取得済みの部分テキストデータの中から該当する部分テキストデータを選出し、この選出した部分テキストデータを４人目以降の読み取りオペレータの端末から、そのオペレータの読み取り結果の部分テキストデータとして送信するようにしてもよい。
【発明の効果】
【００２１】
請求項１に記載の発明によれば、ノートの２次元コードを２次元コードリーダによって読み取り、その後、通信回線網を利用し、２次元コードの読み取り結果であるノートの認証情報とノート記載文字のテキストデータ化利用回数情報とが、サーバのノート認証部に送信される。これにより、ノートのアクティベート（認証処理）が実施されるとともに、サーバ側に、そのノートのテキストデータ化利用回数情報も伝わる。その結果、クライアントがテキストデータ化処理サービスを要求する前に、ノートの規格（頁数など）を把握しておくことができる。よって、例えば手書き文字の消去やコピーノートを用いてのノートの不正使用、ひいてはテキストデータ化処理部による手書き文字のテキストデータ化処理サービスの不正利用を防止することができる。
次に、端末（例えばスマートフォン）のデジタルカメラにより撮影した文字画像データを、通信回線網を利用して文字読み取りセンタとしてのサーバに送信し、サーバが有したテキストデータ化処理部により、手書き文字をイメージ化した文字画像データに対するテキストデータ化処理を行う。これにより、手書き文字のテキストデータ化処理を高精度に行うことができる。
【００２２】
特に、請求項２に記載の発明によれば、画像分割部により文字画像データを複数の部分文字画像データに分割し、その後、部分テキスト判定部によって、それぞれの部分文字画像データに対して、個別に読み取る２人以上の読み取りオペレータの各オペレータ端末から１つずつ送信された複数の部分テキストデータが一致しているか否かを判定する。ここで、部分テキスト判定部が一致すると判定した部分テキストデータは記憶部に記憶する。同様の処理で、テキストデータの全体分の部分テキストデータが記憶部に記憶された後、テキスト作成部により、複数の部分文字画像データに文字画像データを分割した配列に則して、記憶部の中のすべての部分テキストデータを繋げて、テキストデータを作成する。これにより、ＯＣＲよりも高精度な手書き文字のテキストデータ化処理が可能となる。しかも、画像分割部により文字画像データを複数の部分文字画像データに分割することで、文字画像データの全体を各オペレータが目視することができない。これにより、情報漏洩を防止することができる。
【００２３】
請求項３に記載の発明によれば、部分テキスト判定部により判定する際には、まず１人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、２人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータとが一致しているか否かを第１の部分判定部により判定する。ここで、第１の部分判定部が一致していないと判定した場合には、３人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、１人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否か、および、３人目の部分テキストデータと２人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否かを、第２の判定部により判定する。
このような複数ステップで行われる部分テキスト判定部による判定後、記憶部に記憶される部分テキストデータは、第１の部分判定部が一致していると判定した部分テキストデータか、第２の部分判定部が一致していると判定した部分テキストデータとなる。その結果、オペレータ端末の使用数を少なくして、請求項２の場合よりもさらに高精度な手書き文字のテキストデータ化処理が可能となる。
【図面の簡単な説明】
【００２４】
【図１】この発明の実施例１に係る手書き文字テキスト化システムの全体構成を示す斜視図である。
【図２】この発明の実施例１に係る手書き文字テキスト化システムの要部ブロック図である。
【図３】この発明の実施例１に係る手書き文字テキスト化システムのノート認証のフローシートである。
【図４】この発明の実施例１に係る手書き文字テキスト化システムの手書き文字テキスト化処理の全体フローシートである。
【図５】この発明の実施例１に係る手書き文字テキスト化システムのテキストデータ化処理工程のフローシートである。
【図６】この発明の実施例１に係る手書き文字テキスト化システムのノートの手書きスペースを有する紙面の拡大正面図である。
【図７】この発明の実施例１に係る手書き文字テキスト化システムのテキストデータ化処理の部分テキスト判定工程のフローシートである。
【発明を実施するための形態】
【００２５】
以下、この発明の実施例を具体的に説明する。
【実施例】
【００２６】
図１および図２において、１０は実施例１に係る手書き文字テキスト化用システム（以下、テキスト化システム）で、このテキスト化システム１０は、各紙１１の外周部を除く部分に手書き文字の手書きスペースＳを有し、ノート認証用のＱＲコード（２次元コード）１４が表示された手書き用のノート１５と、手書きスペースＳに記入された手書き文字を撮影するＣＭＯＳカメラ（デジタルカメラ）１６、ＱＲコード１４を読み取る２次元コードリーダ１７、インターネット（通信回線網）１８を利用する端末側の通信部１９、および、テキストデータ化処理用のアプリケーション２０をそれぞれ搭載した端末（ここではスマートフォン）２１と、端末側の通信部１９よりそれぞれ送信された２次元コードリーダ１７によるＱＲコード１４の読み取りデータと、ＣＭＯＳカメラ１６による手書き文字の文字画像データとを、インターネット１８を利用して受信するサーバ２２と、インターネット１８を利用するサーバ側の通信部２３と、サーバ２２に設けられ、文字画像データを読み取ってテキストデータに変換するテキストデータ化処理部２４と、サーバ２２に設けられ、かつＱＲコード１４の読み取りデータを受信することで、ノート１５の利用を認証するとともに、ノート１５によるテキストデータ化処理部２４の利用回数のデータを取得するノート認証部２５とを備えている。
【００２７】
図１および図６に示すように、ノート１５は、端末２１と同一サイズ（横６０ｍｍ、縦１１５ｍｍ）の２９枚（説明書付きの２０枚〜５０枚でもよい）の紙１１を、縦綴りし、これを厚地の表紙１２と裏表紙１３との間に挟み込んだ冊子である。よって、テキストデータ化処理サービスの最大利用回数は２９回である。なお、表紙１２と１枚目の紙１１との間には、表面に２次元コードが表示され、かつ裏面にノート認証を含むノートの使用法が記載された認証専用紙１２Ａが差し入れられている。また、表紙１２の表面の中央部には、図示しない提携企業の社名とロゴとが印刷されている。
【００２８】
各紙１１の表面の上端部には、ヘッダに当たる記入日（記入した年月日）２６を手書きするため、８桁の矩形状の小枠が印刷されている。また、各紙１１の表面の下端部には、フッタに該当する６桁の数字（英字でもよい）のフッタコード（分類コード）２７が印字されている。フッタコード２７は、左から３ケタまでが広告（企業）コード（例えば０００；広告なし、００１；第１の自社広告、００２；第２の自社広告など）、左から４桁目が機能コード（例えば０；機能なし、１；カレンダー、２；タグ、カレンダーなど）、左から５桁目が文字画像データの分割方法のコード（例えば０；現在の固定座標分割、１；マニュアル分割など）、左から６桁目（右端）が検査数字であるチェックデジットのコードである。ここでのチェックデジットの計算方法は、広告コードの各桁の数字をすべて足し、機能コードの数字を２倍し、分割コードの数字を３倍し、これらを合算して得た総数を１０で除算した答えの余りをチェックデジットとする。これらは、サーバ２２の記憶部３３に記憶される。
【００２９】
手書きの記入日２６は、後述するＯＣＲ部２８によって自動的に読み取られ、また活字のフッタコード２７は端末側のＯＣＲ部（認識できない場合はオペレータによる読み取り）５２によって自動的に読み取られる。なお、ヘッダに手書きされた記入日２６とフッタコード２７の活字とを各判定部により読み取る際には、これらの領域に記入された各文字を、同時に読み取るようにしてもよい。さらに、各紙１１の表面の四隅には、歪補正用およびノート情報取得用のガイドマーク（分類マーク）２９が印刷されている。この四隅のガイドマーク２９をカメラ撮影することで、後述するアプリケーション２０に搭載された歪補正部５３により、カメラ撮影時の文字画像データの歪みが補正される。しかも、アプリケーション２０を使用して、ガイドマーク２９の形状、四隅での配列などからノートサイズやノート等級（テキストデータ化提供速度・品質を変えてもよい）などの情報を読み取る。
【００３０】
ガイドマーク２９は、表１に示すように、ヘッダ（左隅）用の６種類（横並び）と、フッタ（左隅）用の６種類（縦並び）とからなる。ヘッダ用の６種類のものとしては、１；上下に近接した正方形が２個の組み合わせ、２；１個の正方形と１個の縦長な長方形が上下に近接した組み合わせ、３；２個の正方形が上下に離間した組み合わせ、４；２個の若干横長な長方形が左右に近接した組み合わせ、５；１個の正方形と１個の横長な長方形とが左右に近接した組み合わせ、６；２個の正方形が左右に離間した組み合わせが挙げられる。また、フッタ用の６種類としては、１；２個の正方形が上下に近接した組み合わせ、２；１個の縦長な長方形と１個の正方形とが上下に近接した組み合わせ、３；２個の正方形が上下に離間した組み合わせ、４；２個の若干横長な正方形が左右に近接した組み合わせ、５；１個の正方形と１個の横長な長方形とが左右に近接した組み合わせ、６；２個の正方形が左右に離間した組み合わせが挙げられる。表１のデータは、サーバ２２の記憶部３３にあらかじめ記憶されている。
【００３１】
【表１】
【００３２】
また、各紙１１の表面の外周部を除く部分には、手書きスペースＳが形成されている。具体的な手書きスペースＳの形成位置は、各紙１１の表面の記入日２６とフッタコード２７との間の領域である。
【００３３】
このような手書きスペースＳは、最上段のタイトル記入欄３０と、それより下方の領域を、合計８本の横罫（実線）ａによって上下均等に区分した６つの部分文字画像データ表示欄３１とにより構成されている。なお、横罫ａはノートサイズにより異なる。また、カレンダ連携用時刻記載欄、タグ記載欄などを設けてもよい。各部分文字画像データ表示欄３１は、幅方向の中間部にそれぞれ平行に配置された破線の横罫ｂによって、上下１行ずつの２行書きとなっている。手書き文字は、それぞれの部分文字画像データ表示欄３１に上下２行で記入することが正規であるものの、破線の横罫ｂを跨ぐような大きな字で、１つの部分文字画像データ表示欄３１に１行書きしてもよい。
また、ノート１５の認証専用紙１２Ａの表面の中央部には、ノート認証用の２次元コード１４が１つ印刷されている。サーバ２２側は、この２次元コード１４を２次元コードリーダ１７によって読み取ることで、クライアントに対して事前にノート１５のアクティベート（認証処理）を行わせる。しかも、購入したノート１５のテキストデータ化利用回数の情報を取得する。
【００３４】
次に、図１および図２を参照して、クライアントの端末２１を詳細に説明する。
この端末２１は、携帯電話の一種であるスマートフォンで、ＣＰＵ５０に対して、インターネット接続用の端末側の通信部１９と、ネットストアから端末２１にインストールしたテキストデータ化処理専用のアプリケーション２０と、裏面の上部に埋め込まれたデジタルカメラの一種であるＣＭＯＳカメラ１６と、２次元コード１４を読み取る２次元コードリーダ１７と、記憶部３２とがそれぞれ電気的に接続されている。アプリケーション２０には、ＣＭＯＳカメラ１６により撮影されたノート紙面の撮影画像の歪を補正するための歪補正部５３と、フッターコード２７を読み取るＯＣＲ部５２とが搭載されている。歪補正部５３は、手書きスペースＳを有する各紙１１の紙面の四隅に表示された前記複数のガイドマーク２９を利用し、紙面の撮影画像の歪みを台形補正法（射影変換）により補正するソフトウエアである。ＯＣＲ部５２は、印刷された数字が読み取れる程度の簡易なものである。
【００３５】
次いで、図２および図７を参照して、サーバ２２の構成を詳細に説明する。
サーバ２２は、ＣＰＵ５１に対して、サーバ用の通信部２３と、手書きの文字画像データをテキストデータに変換するテキストデータ化処理部２４と、クライアントが購入したノート１５の認証を行うノート認証部２５とが電気的に接続されたものである。
【００３６】
このうち、図２に示すように、テキストデータ化処理部２４は、端末２１からサーバ２２にアップロードされた文字画像データを、タイトルを含めて７つの部分文字画像データに分割する画像分割部３４と、ヘッダの記入日２６および手書きの本文を光学的に読み取るＯＣＲ部２８と、サーバ２２のＯＣＲ部２８と端末２１のＯＣＲ部５２のテキストデータ化が正しく行われたか否かを判定する２人のＯＣＲ判定オペレータα、βの各オペレータ端末２１α、２１βから１つずつ送信された判定結果としてのサーバ２２のＯＣＲ部２８と端末２１のＯＣＲ部５２とのテキストデータが一致しているか否かを判定するＯＣＲ判定部３５と、１つの部分文字画像データを個別に読み取る２人以上の読み取りオペレータの各オペレータ端末２１Ａ〜２１Ｅ（図７）から１つずつ送信された部分文字画像データの読み取り結果としての複数の部分テキストデータが一致しているか否かを判定する部分テキスト判定部４０と、この部分テキスト判定部４０が一致すると判定した部分テキストデータとを記憶する記憶部３３と、記憶部３３に記憶したテキストデータの全体分の部分テキストデータを、合計７つの部分文字画像データに文字画像データを分割した配列に則して繋げることで、テキストデータを作成するテキスト作成部４１とを有している。作成されたテキストデータは、サーバ２２の記憶部３３に記憶され、必要時にクライアントが端末２１やパソコンなどからサーバ２２にアクセスし、テキストデータを取得する。このとき、ＯＣＲ判定オペレータまたは読み取りオペレータは、通常勤務のオペレータではなく、自宅にいながら都合の良い時間に自己の端末を利用して、サーバ２２にアクセスして作業を行ってもよい。部分文字画像データの数は７つに限定されない（例えば１１でもよい）。
【００３７】
ここで、図７のフローシートを参照して、データエントリが行われる部分テキスト判定部の具体的な構成を説明する。
部分テキスト判定部４０は、１人目の読み取りオペレータＡのオペレータ端末２１Ａから送信された読み取り結果としての部分テキストデータと、２人目の読み取りオペレータＢのオペレータ端末２１Ｂから送信された読み取り結果としての部分テキストデータとが一致しているか否かを判定する第１の部分判定部３６と、第１の部分判定部３６の判定結果が不一致だった場合の３人目の読み取りオペレータＣのオペレータ端末２１Ｃから送信された読み取り結果としての部分テキストデータと、１人目の読み取りオペレータＡのオペレータ端末２１Ａから送信された部分テキストデータとが一致しているか否か、および、３人目の部分テキストデータと２人目の読み取りオペレータＢのオペレータ端末２１Ｂから送信された部分テキストデータとが一致しているか否かを判定する第２の判定部３７を有し、第２の部分判定部３７による判定で何れも一致していないという判定結果が得られた場合には、４人目の読み取りオペレータＤのオペレータ端末２１Ｄから、サーバ２２の記憶部３３に送信された読み取り結果としての部分テキストデータを、部分テキスト判定部４０における一致した判定結果とみなすものである。
【００３８】
したがって、記憶部３３に記憶される部分テキストデータは、第１の部分判定部３６が一致していると判定した部分テキストデータか、第１の部分判定部３６が一致していないと判定した後に、第２の部分判定部３７が一致していると判定した部分テキストデータか、第２の部分判定部３７が一致していないと判定した後に４人目の読み取りオペレータＤのオペレータ端末２１Ｄからサーバ２２の記憶部３３に送信された部分テキストデータの何れかである。つまり、読み取りオペレータＤは、読み取りオペレータＡ、Ｂ、Ｃの読み取り結果を閲覧し、自己の判断で読み取り結果をオペレータ端末２１Ｄから記憶部３３に送信可能である。
【００３９】
次に、図１〜図７を参照して、この発明の実施例１に係るテキスト化システム１０によるクライアントがノート１５に記入した手書き文字のテキストデータ化処理方法を説明する。
まず、クライアントは、スマートフォンである端末２１をインターネット１８に接続し、ネットストアからテキストデータ化処理専用のアプリケーション２０をインストールするとともに、ネットショップなどからノート１５を購入する。
次いで、クライアントは、テキスト化システム１０によるテキストデータ化処理サービスを利用する前に、図３のフローシートに示すように、ノート１５の表紙１２を捲り、認証専用紙１２Ａの２次元コード１４を、２次元（ＱＲ）コードリーダ１７により読み取ってコード情報を得る。その後、端末側の通信部１９からインターネット１８を利用し、２次元コード１４の読み取り結果としてのテキストデータ化利用回数情報（利用回数２９回）を含むノート１５の認証情報をサーバ２２に送信し、これらをサーバ側の通信部２３が受信してノート認証部２５に送信する。その後、ノート認証部２５によるノート１５の認証が行われ、認証終了後、ノート認証部２５から端末２１へ認証完了通知が返信される。これにより、ノート１５のアクティベート（認証処理）が実施されるとともに、サーバ２２にノート１５のテキストデータ化利用回数情報が伝達される。その結果、例えば手書き文字の消去やコピーノートを用いてのノート１５の不正使用、ひいてはこのテキストデータ化処理サービスの不正利用を防止することができる。
【００４０】
次に、図４、図５および図７の各フローシートおよび図１、図６を参照して、テキスト化システム１０を用いて行われる、ノート１５に記入した手書き文字のテキストデータ化処理方法を説明する。
まず、図１および図６に示すように、ノート１５の認証専用紙１２Ａをめくり、紙１１の表面のヘッダの８つの小枠内に記入日２６を示す、例えば「２０１１−０８−０６」を、ペンを使って手書きする。ただし、西暦の「２０」はすでに印刷され、フッタコード２７にもあらかじめ６桁「５５５１６５」が印刷されている。その後、手書きスペースＳに、ペンを使用して日誌を手書きする。記入にあたっては、タイトル記入欄３０にタイトルの「ＭＶ ｐｅｎを購入」を手書きするとともに、上から３段までの部分文字画像データ表示欄３１に、１段２行で日誌を手書きする。具体的には、最上段の部分文字画像データ表示欄３１には「スマートにアナログメモ→ｉｐｈｏｎｅ→ＫＹＢＥＲ」を上下２段に手書きし、上から２段目の部分文字画像データ表示欄３１には「又はＥｖｅｒｎｏｔｅで、グラウド上に保存でき」を上下２段に手書きするとともに、上から３段目の部分文字画像データ表示欄３１の上１段のみに「ないか奮闘中…」をそれぞれ手書きする。
【００４１】
その後、図４のフローシートに示すように、端末（スマートフォン）２１のアプリケーション２０を作動した状態で、ＣＭＯＳカメラ１６により、手書きされた紙１１の表面全体を撮影する。撮影された文字画像データは、紙１１の表面の四隅に印刷されたガイドマーク２９を利用し、アプリケーション２０に搭載された歪補正部（歪補正機能）５３により、カメラ１６撮影時の歪みが補正される。すなわち、歪補正部５３は、文字画像データの中から、手書きスペースＳを有する各紙１１の紙面の四隅に表示されたガイドマーク２９を探し出し、これらを利用し、紙面の撮影画像の歪みを周知の台形補正法（射影変換）により補正する。また、アプリケーション２０に搭載されたＯＣＲ部５２により、フッターコード２７を読み取る。
【００４２】
補正後の文字画像データ、アプリケーション２０により処理された四隅のガイドマーク２９の読み取りデータおよびフッターコード２７の読み取りデータは、端末側の送信部１９からインターネット１８を利用して文字テキスト化センタとしてのサーバ２２に送信され、サーバ側の通信部２３がこれを受信してテキストデータ化処理部２４に送信する。ここでは、まずテキストデータ化処理サービスの利用回数が規定回数（２９回）以内か否かが判断され、規定回数以内である場合には、次のテキストデータ化処理工程に移行する。一方、規定回数を上回っている場合には、規定回数超えの通知を、サーバ側の通信部２３とインターネット１８と端末側の通信部１９とを順次経て、端末２１のアプリケーション２０に送信され、指定回数超えであることが、端末２１の液晶画面に表示される。
次に、テキストデータ化処理部２４によって文字画像データがテキストデータに変換される。得られたテキストデータは、サーバ２２の記憶部３３に記憶される。こうすることで、クライアントの端末２１からアクセスがあったときに、このサーバ２２の記憶部３３からテキストデータを取り出すことができる。なお、テキストデータを、サーバ側の通信部２３から端末側の通信部１９に送信し、端末２１の液晶画面に表示するとともに、端末２１の記憶部（メモリ）３２に記憶するようにしてもよい。
【００４３】
ここで、図５および図７のフローシートを参照して、テキストデータ化処理部２４によるテキストデータ化処理工程を詳細に説明する。
テキストデータ化処理部２４では、まず画像分割部３４により文字画像データが、ヘッダの部分と、フッタ部分と、タイトル部分と、手書き文字の本文部分とに分割される。このうち、ヘッダ部分に手書きされた記入日２６と本文部分とはＯＣＲ部２８により光学的に読み取られてテキストデータ化される。フッタコード２７は、あらかじめ端末側のＯＣＲ部５２により読み取られているので、ＯＣＲ判定部３５による判定結果に基づき、インターネット１８を通して端末２１の液晶画面に提携先企業のＵＲＬに結びついた各提携先企業の社名やロゴなどを表示させる。これにより、表紙１２の表面のアナログの宣伝だけでなく、デジタルの宣伝効果も同時に得られる。
【００４４】
四隅のガイドマーク２９の読み取りデータに基づき、ノート１５の用紙サイズや等級（テキストデータ化提供速度、品質を変えてもよい）をアプリケーション２０にて認識する。すなわち、ヘッダの左隅に印刷された複数のガイドマーク２９の形状および配置と、フッタの左隅に印刷された複数のガイドマーク２９の形状および配置との組み合わせを、表１に示すガイドマーク２９の分類表に照らし合わせることで、ノート１５の用紙サイズと等級とを認識することができる。例えば、表１の分類表において、ヘッダ用が「１」でフッタ用が「３」の組み合わせの場合は、アイフォン用（通常価格）であることが判る（なお、その他の組み合わせは、表１を参照）。端末２１から送信されたデータに基づき、文字画像データを、部分文字画像データに分割する。
【００４５】
次に、端末２１より送信された６桁の数字からなるフッタコード２７の読み取りデータから、広告コードと機能コードと文字画像データとを取得する。フッタコード２７は、左から３ケタまでが広告（企業）コード（０００；広告なし、００１；第１の自社広告、００２；第２の自社広告）、左から４桁目が機能コード（０；機能なし、１；カレンダー、２；タグ、カレンダー）、左から５桁目が文字画像データの分割方法のコード（０；現在の固定座標分割、１；マニュアル分割）、左から６桁目（右端）が検査数字であるチェックデジットのコードである。チェックデジットの計算方法は、広告コードの各桁の数字（５５５）を足し（５＋５＋５＝１５）、機能コードの数字（１）を２倍し（１×２＝２）、分割コードの数字（６）を３倍し（６×３＝１８）、これらを合算して得た総数（１５＋２＋１８＝３５）を１０で除算した答えの余り（３５÷１０＝３…０５）「５」をチェックデジットとする。
【００４６】
その後、図５および図７のフローシートに示すように、ＯＣＲ部２８による記入日２６と、端末側のＯＣＲ部５２によるフッタコード２７と、手書き文字の本文とのテキストデータ化が正しく行われたか否かを２人のＯＣＲ判定オペレータα，βが判定する。その後、２人のＯＣＲ判定オペレータα，βの各オペレータ端末２１α，２１βから１つずつ送信された判定結果としての記入日２６およびフッタコード２７と、手書き文字の本文のテキストデータが一致しているか否かをＯＣＲ判定部３５が判定し、これらが一致している場合には後述するチェック専用のオペレータＥによるチェックが行われる一方、一致していない場合には、選出された１つの部分文字画像データについて、第１〜第４のオペレータＡ〜Ｄおよびチェック専用のオペレータＥを介在させるデータエントリ方式の読み取り工程が実施される。
【００４７】
具体的には、１人目の読み取りオペレータＡのオペレータ端末２１Ａから送信された読み取り結果としての部分テキストデータと、２人目の読み取りオペレータＢのオペレータ端末２１Ｂから送信された読み取り結果としての部分テキストデータとが一致しているか否かを第１の部分判定部３６により判定する。一致している場合には、その共通する部分テキストデータがチェック専用のオペレータＥのオペレータ端末２１Ｅに送信される。一方、一致していない場合（不一致率は５％程度）には、３人目の読み取りオペレータＣのオペレータ端末２１Ｃから送信された読み取り結果としての部分テキストデータと、１人目の読み取りオペレータＡのオペレータ端末２１Ａから送信された部分テキストデータとが一致しているか否か、および、３人目の部分テキストデータと２人目の読み取りオペレータＢのオペレータ端末２１Ｂから送信された部分テキストデータとが一致しているか否かを、第２の部分判定部３７により判定する。
【００４８】
第２の部分判定部３７での判定が一致している場合には、前記チェック専用のオペレータ端末２１Ｅに、その共通する部分テキストデータが送信される。一方、第２の部分判定部３７による判定で何れも一致していないという判定結果が得られた場合（不一致率は１％程度）には、４人目の読み取りオペレータＤのオペレータ端末２１Ｄから、サーバ２２の記憶部３３に送信された読み取り結果としての部分テキストデータが、この部分テキスト判定部４０における一致した判定結果とみなし、チェック専用のオペレータ端末２１Ｅに、その見なされた部分テキストデータが送信される。
このように、選出した１つの部分文字画像データに対応して得られた部分テキストデータは、順次、サーバ２２の記憶部３３に記憶される。このとき、記憶部３３に記憶される部分テキストデータは、第１の部分判定部３６が一致していると判定した部分テキストデータか、第１の部分判定部３６が一致していないと判定した後に、第２の部分判定部３７が一致していると判定した部分テキストデータか、第２の部分判定部３７が一致していないと判定した後に、４人目の読み取りオペレータＤのオペレータ端末２１Ｄからサーバ２２の記憶部３３に送信された部分テキストデータの何れかである。これにより、ＯＣＲ部２８よりも高精度な手書き文字のテキストデータ化処理が可能となる。
【００４９】
その後、全ての部分画像データのテキスト化が終了したか否かが判断され、終了している場合には、記憶部３３に記憶された文字画像データの全体分の全ての部分テキストデータを、テキスト作成部４１により、複数の部分文字画像データに文字画像データを分割した配列に則して繋げて、テキストデータを作成する。これにより、ＯＣＲ部２８よりも高精度な手書き文字のテキストデータ化処理が可能となる。
以上説明したテキストデータ化処理部２４によって文字画像データのテキストデータ化処理を行うように構成したので、手書き文字のテキストデータ化処理を高精度で行うことができる。しかも、画像分割部３４により文字画像データを複数の部分文字画像データに分割することで、文字画像データの全体を各オペレータＡ〜Ｄが目視することができない。これにより、情報漏洩を防止することができる。
【００５０】
また、端末２１のＯＣＲ部５２によるフッタコード２７の読み取り結果に基づき、提携企業が特定される。そのため、この読み取り時にサーバ２２がインターネット１８を通して例えば提携企業のＵＲＬにアクセスし、提携企業のアイコンやバナーを端末２１のアプリケーション２０やクライアントのＰＣ画面上などに、文字画像データとテキストデータとに並べて表示を行うことができる。その結果、ノート１５の表紙１２の表面に印刷されたアナログな企業広告と、液晶画面上でのアイコンやバナーによるデジタルな企業広告とが連動した新しい広告方法を提供することができる。しかも、アクティベーションにスポンサー企業の広告や会社名ロゴをスプラッシュウィンドウとして表示してもよい。
【産業上の利用可能性】
【００５１】
この発明は、ノートに記入された手書き文字を、サーバのテキストデータ化処理部を利用してテキストデータ化する技術として有用である。
【符号の説明】
【００５２】
１０ 手書き文字テキスト化システム、
１４ ＱＲコード（２次元コード）、
１５ ノート、
１６ ＣＭＯＳカメラ（デジタルカメラ）、
１７ ２次元コードリーダ、
１８ インターネット（通信回線網）、
１９ 端末側の通信部、
２１ 端末、
２１Ａ〜２１Ｅ オペレータ端末、
２２ サーバ、
２３ サーバ側の通信部
２４ テキストデータ化処理部、
２５ ノート認証部、
３３ 記憶部、
３４ 画像分割部、
４０ 部分テキスト判定部、
４１ テキスト作成部、
Ａ １人目の読み取りオペレータ、
Ｂ ２人目の読み取りオペレータ、
Ｃ ３人目の読み取りオペレータ、
Ｄ ４人目の読み取りオペレータ、
Ｓ 手書きスペース。
【技術分野】
【０００１】
この発明は、手書き文字テキスト化システム、詳しくはノートに記入された手書き文字を、サーバのテキストデータ化処理部を利用してテキストデータ化する手書き文字テキスト化システムに関する。
【背景技術】
【０００２】
近年、手書きした内容を電子データ化する技術として、例えば、ノートに記入した手書き文字をスマートフォンのデジタルカメラにより撮影し、スマートフォンにインストールしたアプリケーションにより、文字画像データを画面に表示するとともにストレージに記憶させる株式会社キングジム製の「ショットノート」が開発されている（非特許文献１）。
非特許文献１では、紙面の四隅に印されたガイドマークを利用し、アプリケーションに搭載された歪補正部により文字画像データの歪みを補正するとともに、アプリケーションに搭載された簡易なＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）機能によって、ヘッダの日付と整理番号とのみを光学的に読み取ってテキストデータ化し、これらを文字画像データと関連付けてアプリケーションのストレージに記憶することで、ノートへの手書き内容の検索を容易としていた。
【先行技術文献】
【特許文献】
【０００３】
【非特許文献１】［平成２３年９月２５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｋｉｎｇｊｉｍ．ｃｏ．ｊｐ／ｓｐ／ｓｈｏｔｎｏｔｅ／〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１の「ショットノート」では、手書き文字を文字画像データのままで画面表示し、かつアプリケーションのストレージに記憶していた。そのため、例えばストレージに文字画像データとして記憶した議事録を、クライアントが電子メールを利用して関係者に文書で送信したい場合には、まずアプリケーションを起動し、テキストデータ化されたヘッダの日付や整理番号をインデックスとして、その議事録の文字画像データをスマートフォンのディスプレイに読み出し、それの内容をパソコンのワープロソフトにキーボードによって入力し、テキストデータ化する必要があった。
そこで、このようなクライアントに手入力を強いる煩わしさを解消するため、読み取り対象が数字のみという従来の簡易なＯＣＲではなく、手書き文字を光学的に読み取る高精度なＯＣＲを、アプリケーションに搭載することが考えられる。しかしながら、このように手書き文字も読み取れるＯＣＲでは、読み取り精度が十分とは言えなかった。
【０００５】
そこで、本発明者らは鋭意研究の結果、スマートフォンに搭載したデジタルカメラにより撮影した文字画像データを、通信回線網を利用してセンタのサーバに送信し、ここで文字画像データをテキストデータに変換すればよいことに想到した。すなわち、サーバにオペレータの端末から送信された読み取り結果としての（部分）テキストデータを利用する文字画像データのテキストデータ化処理部を設ければ、手書き文字（活字を含む）の高精度なテキストデータ化処理を行えることを知見するに至った。
しかしながら、サーバ側では、このテキストデータ化処理サービスをクライアントが利用する前に、クライアントが利用するノートの大きさや頁数などを把握しておく必要がある。その理由は、例えば手書き文字の消去やノートをコピーするといったテキストデータ化処理部の利用回数の不正を防止するためである。そこで、発明者は、ノートにＱＲコード（登録商標）などの２次元コードを印字し、これを利用して事前にノートのアクティベート（認証処理）をクライアント（ユーザ）に行わせ、その際、購入したノートのテキストデータ化利用回数の情報を取得するように構成すれば、上述した問題はすべて解消することを知見し、この発明を完成させた。
【０００６】
この発明は、ノートに記入された手書き文字の高精度な読み取りが可能で、かつノートの不正利用も防止することができる手書き文字テキスト化システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明は、文字の手書きスペースを有し、ノート認証用の２次元コードが表示された手書き用のノートと、前記手書きスペースに記入された手書き文字を撮影するデジタルカメラと、前記２次元コードを読み取る２次元コードリーダと、通信回線網を利用する端末側の通信部とを搭載した端末と、前記端末側の通信部よりそれぞれ送信された前記２次元コードリーダによる前記２次元コードの読み取りデータと、前記デジタルカメラによる前記手書き文字の文字画像データとを、前記通信回線網を利用して受信するサーバ側の通信部が搭載されたサーバと、前記サーバに設けられ、かつ前記２次元コードの読み取りデータを受信することで、前記ノートの利用を認証するとともに、該ノートによる前記テキストデータ化処理部の利用回数のデータを取得するノート認証部と、前記文字画像データを読み取ってテキストデータに変換するテキストデータ化処理部とを備えた手書き文字テキスト化システムである。
【０００８】
ここでいう「ノート」とは、複数枚の紙（頁紙、用紙）を横綴じまたは縦綴じしたノートブック（帳面、冊子など）である。また、紙１枚だけのものでもよい。ノートサイズとしては、例えばＡ７，Ａ５，Ａ１が挙げられる。紙の手書きされる紙面（手書き面）は、例えば紙の表面である。
「手書き文字」とは、鉛筆、シャープペンシル、ボールペン、マジックペン、筆などの筆記具を用いて、人手により書かれた字（漢字、ひらがな、カタカナ、数字、アルファベットなど）で、印刷機により印刷された活字とは異なる。
「手書きスペース」とは、通常、紙の手書き面の全部または中央部のみであるが、例えば手書き面の上部のみ、下部のみまたは外周部のみでもよい。手書きスペースには、横罫や縦罫、マス目などを記入してもよい。
【０００９】
また、ノート紙面の撮影画像の歪みを、例えば端末のアプリケーションの歪補正機能により補正するようにしてもよい。補正法としては、台形補正法（射影変換）などを採用することができる。具体的には、デジタルカメラにより紙面を撮影し、その撮影画像の中から四隅のガイドマークを探し出し、発見した四隅のガイドマークを利用して、台形補正法によって、撮影画像を矩形状の整った紙面画像に変換する。これと同時に、端末のアプリケーションのノート種類特定機能により、四隅のガイドマークの形状や配列に基づき、読み取り対象のノートの種類（ノートサイズ、ノート等級）を特定する。
【００１０】
ここでいう「ノート認証」とは、アプリケーションのアクティベート機能により行われ、該当ノートに対して利用許可を与える処理である。
ここでいう「２次元コード（２次元バーコード）」とは、文字や数字などのデータを二次元の図形パターンとして紙面に刻印、印刷したもので、例えば、マトリックス型２次元コード（ＱＲコード）、スタック型２次元コードなどが挙げられる。
ノート上の２次元コードの表示位置は任意である。例えば、ノートの表紙の表面や裏面でも、各紙（頁紙）の紙面でも、表紙と１枚目の読み取り用紙との間に配置された認証専用紙の表面でもよい。この場合、認証専用紙の裏面にアクティベート方法を含むノートの利用方法の説明書きをしてもよい。特に、ノートの表紙をめくった１頁目（認証専用紙）に２次元コードを表示した方が、第三者が店内でノートを購入せずに携帯電話のデジタルカメラで撮影した後に、そのノートを購入したクライアントのアクティベートを妨害することを防止するとともに、利用しやすいという点から好ましい。
【００１１】
ここでいう端末とは、例えば個人用の携帯コンピュータの機能を併せ持った携帯電話（スマートフォン）の他、携帯コンピュータの機能を有さない携帯電話、パソコンなどを採用することができる。その他、クライアントが指定した別のパソコンでもよい。
デジタルカメラとしては、例えばＣＣＤカメラ、ＣＭＯＳカメラなどを採用することができる。
ここでいう「文字画像データ」とは、ノートに記入された手書き文字をデジタルカメラに撮影して得た手書き文字のイメージデータ（静止画像データ）である。例えば、ビットマップ・データ（Ｂｉｔｍａｐ Ｄａｔａ）などが挙げられる。
【００１２】
２次元コードリーダ（２次元バーコードリーダ）の種類は限定されない。
通信回線網としては、例えばインターネットなどを採用することができる。
端末側の通信部としては、無線伝送用の通信機器を採用することができる。また、サーバ側の通信部としては、有線伝送用の通信機器を採用することができる。一般的に、テキストデータはサーバ側のストレージに記憶し、必要時にクライアントが端末を使用して通信回線網からサーバにアクセスし、ストレージに記憶されたテキストデータを利用する。または、取得後のテキストデータをサーバから端末に返送するようにしてもよい。
テキストデータとは、レイアウト情報や修飾情報を持たない、純粋に文字のみで構成されるデータである。
【００１３】
ここでいう「テキストデータ化処理部」とは、例えば、２人以上のオペレータがノートの手書きスペースに記入された手書き文字を読み取り、その読み取り結果をオペレータ端末から送信（入力）することでテキストデータ化する処理部を採用することができる。その他、ノートのヘッダに手書きされた記入日（日付）や、フッタに記載された企業番号、整理番号だけでなく、手書きスペースの手書き文字を光学的に読み取ってテキストデータ化するＯＣＲでもよい。または、オペレータが介在する処理部とＯＣＲとの両方を併用したものでもよい。ＯＣＲ部を設けた場合には、テキストデータ化処理部に、ＯＣＲ部によるテキストデータ化が正しく行われたか否かを判定する２人以上のＯＣＲ判定オペレータのオペレータ端末から送信された判定結果が一致しているか否かを判定するＯＣＲ判定部を設けた方が望ましい。これにより、ＯＣＲ部による手書き文字の自動読み取りの精度が高まる。
【００１４】
ここでいう「２次元コードの読み取りデータを受信することで、ノートの利用を認証する」とは、２次元コード中に図形パターン化されたノート情報（手書きスペース付きの紙面数など）を２次元コードリーダにより読み取り、対象ノートによるテキストデータ化処理部の利用を承認するものである。これに加えて、対象のノートを使用してテキストデータ化処理を何回利用できるかという情報を取得するものである。また、実際に発行しているコードかどうかも偽造防止のためチェックすることができる。
「ノート認証部」とは、アクティベーション（ライセンス認証）を行うソフトウエアである。
【００１５】
また、この発明は、テキストデータ化処理部が、文字画像データを複数の部分文字画像データに分割する画像分割部と、１つの部分文字画像データを個別に読み取る２人以上の読み取りオペレータの各オペレータ端末から１つずつ送信された部分文字画像データの読み取り結果としての複数の部分テキストデータが一致しているか否かを判定する部分テキスト判定部と、部分テキスト判定部が一致すると判定した部分テキストデータを記憶する記憶部と、記憶部に記憶したテキストデータの全体分の部分テキストデータを、複数の部分文字画像データに文字画像データを分割した配列に則して繋げることで、テキストデータを作成するテキスト作成部とを有したものとし、テキストデータの作成後、サーバ側の通信部により、通信回線網を利用してテキストデータを端末に返送するようにした方が望ましい。
【００１６】
ここでいう「文字画像データを複数の部分文字画像データに分割する」とは、文字画像データを、所定の文字数ごと、所定の紙面領域（所定間隔、所定行数ごと）ごとに細分化することをいう。文字画像データの分割数、分割サイズは任意である。
「部分文字画像データ」とは、文字画像データを画像分割部により分割して得られたデータである。
「画像分割部」とは、この文字画像データの分割を行うソフトウエアである。
「１つの部分文字画像データを個別に読み取る２人以上の読み取りオペレータ」とは、文字画像データを分割して得た複数の部分文字画像データのうち、選出された１つの部分文字画像データについて、互いに協議することなく独自の判断で読み取りを行う２人または３人以上の読み取りオペレータをいう。
【００１７】
「各オペレータ端末から１つずつ送信された部分文字画像データの読み取り結果としての複数の部分テキストデータ」とは、２人以上の読み取りオペレータが個別に所有するオペレータ端末から部分テキスト判定部に送信（入力）された各オペレータの部分文字画像データの読み取り結果を意味する。各オペレータ端末からの読み取り結果は１台につき１つずつである。
「部分テキスト判定部」とは、各オペレータ端末から１つずつ送信された複数の部分テキストデータが一致（合致）または不一致かを判定するソフトウエアである。判定の対象となる部分テキストデータが３つ以上の場合の判定としては、例えばすべての部分テキストデータが一致するか否かという判定方法を採用することができる。この場合には、読み取りオペレータの人数が増えるほど、部分文字画像データの読み取り精度が高まる。その他、このすべての部分テキストデータが一致するか否かという判定方法の場合を除く、１組（２つ）以上の部分テキストデータが一致するか否かの判定としてもよい。
【００１８】
「記憶部」としては、例えばサーバのホストコンピュータが有する各種のストレージなどを採用することができる。
ここでいう「記憶部に記憶したテキストデータの全体分の部分テキストデータ」とは、読み取り対象としての文字画像データの全体分量にあたる、すべての部分文字画像データについて個別に行われた部分テキスト判定部による一致判定（みなし一致判定を含む）で得られた部分テキストデータ（テキストデータを構成するために必要なすべての部分テキストデータ）を意味する。
ここでいう「テキストデータの全体分の部分テキストデータを、複数の部分文字画像データに文字画像データを分割した配列に則して繋げる」とは、複数の部分文字画像データに文字画像データを分割したときの配列順で、記憶部に記憶されたすべての部分テキストデータ、すなわち部分テキスト判定部による判定で一致（みなし一致判定を含む）しているとされたすべての部分テキストデータを繋げることで、テキストデータを作成することをいう。
「テキスト作成部」とは、サーバのホストコンピュータに設けられた前記すべての部分テキストデータからテキストデータを作成する（組み立てる）ソフトウエアである。
【００１９】
また、この発明は、部分テキスト判定部として、１人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、２人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータとが一致しているか否かを判定する第１の部分判定部と、第１の部分判定部の判定結果が不一致だった場合の３人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、１人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否か、および、３人目の部分テキストデータと２人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否かを判定する第２の部分判定部とを有したものを採用し、記憶部に記憶される部分テキストデータは、第１の部分判定部が一致していると判定した部分テキストデータか、第１の部分判定部が一致していないと判定した後の第２の部分判定部が一致していると判定した部分テキストデータとした方が望ましい。
【００２０】
記憶部に記憶される部分テキストデータは、第１の部分判定部が一致していると判定した部分テキストデータである。または、第１の部分判定部が一致しないと判定した場合における第２の部分判定部が一致していると判定した部分テキストデータとなる。
さらに、第２の部分判定部による判定で一致するという結果が得られなかった場合には、４人目以降（５人目、６人目…、ｎ人目）の読み取りオペレータのオペレータ端末から送信された部分テキストデータと、それまでに取得された部分テキストデータとが一致しているかを、第３以降（第４、第５…、ｎ−１番目）の部分判定部により一致しているか否かを判定するようにしてもよい。また、４人目以降の読み取りオペレータは、それまでに取得された部分テキストデータを参照し、記憶部に記憶すべき部分テキストデータが存在すれば、取得済みの部分テキストデータの中から該当する部分テキストデータを選出し、この選出した部分テキストデータを４人目以降の読み取りオペレータの端末から、そのオペレータの読み取り結果の部分テキストデータとして送信するようにしてもよい。
【発明の効果】
【００２１】
請求項１に記載の発明によれば、ノートの２次元コードを２次元コードリーダによって読み取り、その後、通信回線網を利用し、２次元コードの読み取り結果であるノートの認証情報とノート記載文字のテキストデータ化利用回数情報とが、サーバのノート認証部に送信される。これにより、ノートのアクティベート（認証処理）が実施されるとともに、サーバ側に、そのノートのテキストデータ化利用回数情報も伝わる。その結果、クライアントがテキストデータ化処理サービスを要求する前に、ノートの規格（頁数など）を把握しておくことができる。よって、例えば手書き文字の消去やコピーノートを用いてのノートの不正使用、ひいてはテキストデータ化処理部による手書き文字のテキストデータ化処理サービスの不正利用を防止することができる。
次に、端末（例えばスマートフォン）のデジタルカメラにより撮影した文字画像データを、通信回線網を利用して文字読み取りセンタとしてのサーバに送信し、サーバが有したテキストデータ化処理部により、手書き文字をイメージ化した文字画像データに対するテキストデータ化処理を行う。これにより、手書き文字のテキストデータ化処理を高精度に行うことができる。
【００２２】
特に、請求項２に記載の発明によれば、画像分割部により文字画像データを複数の部分文字画像データに分割し、その後、部分テキスト判定部によって、それぞれの部分文字画像データに対して、個別に読み取る２人以上の読み取りオペレータの各オペレータ端末から１つずつ送信された複数の部分テキストデータが一致しているか否かを判定する。ここで、部分テキスト判定部が一致すると判定した部分テキストデータは記憶部に記憶する。同様の処理で、テキストデータの全体分の部分テキストデータが記憶部に記憶された後、テキスト作成部により、複数の部分文字画像データに文字画像データを分割した配列に則して、記憶部の中のすべての部分テキストデータを繋げて、テキストデータを作成する。これにより、ＯＣＲよりも高精度な手書き文字のテキストデータ化処理が可能となる。しかも、画像分割部により文字画像データを複数の部分文字画像データに分割することで、文字画像データの全体を各オペレータが目視することができない。これにより、情報漏洩を防止することができる。
【００２３】
請求項３に記載の発明によれば、部分テキスト判定部により判定する際には、まず１人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、２人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータとが一致しているか否かを第１の部分判定部により判定する。ここで、第１の部分判定部が一致していないと判定した場合には、３人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、１人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否か、および、３人目の部分テキストデータと２人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否かを、第２の判定部により判定する。
このような複数ステップで行われる部分テキスト判定部による判定後、記憶部に記憶される部分テキストデータは、第１の部分判定部が一致していると判定した部分テキストデータか、第２の部分判定部が一致していると判定した部分テキストデータとなる。その結果、オペレータ端末の使用数を少なくして、請求項２の場合よりもさらに高精度な手書き文字のテキストデータ化処理が可能となる。
【図面の簡単な説明】
【００２４】
【図１】この発明の実施例１に係る手書き文字テキスト化システムの全体構成を示す斜視図である。
【図２】この発明の実施例１に係る手書き文字テキスト化システムの要部ブロック図である。
【図３】この発明の実施例１に係る手書き文字テキスト化システムのノート認証のフローシートである。
【図４】この発明の実施例１に係る手書き文字テキスト化システムの手書き文字テキスト化処理の全体フローシートである。
【図５】この発明の実施例１に係る手書き文字テキスト化システムのテキストデータ化処理工程のフローシートである。
【図６】この発明の実施例１に係る手書き文字テキスト化システムのノートの手書きスペースを有する紙面の拡大正面図である。
【図７】この発明の実施例１に係る手書き文字テキスト化システムのテキストデータ化処理の部分テキスト判定工程のフローシートである。
【発明を実施するための形態】
【００２５】
以下、この発明の実施例を具体的に説明する。
【実施例】
【００２６】
図１および図２において、１０は実施例１に係る手書き文字テキスト化用システム（以下、テキスト化システム）で、このテキスト化システム１０は、各紙１１の外周部を除く部分に手書き文字の手書きスペースＳを有し、ノート認証用のＱＲコード（２次元コード）１４が表示された手書き用のノート１５と、手書きスペースＳに記入された手書き文字を撮影するＣＭＯＳカメラ（デジタルカメラ）１６、ＱＲコード１４を読み取る２次元コードリーダ１７、インターネット（通信回線網）１８を利用する端末側の通信部１９、および、テキストデータ化処理用のアプリケーション２０をそれぞれ搭載した端末（ここではスマートフォン）２１と、端末側の通信部１９よりそれぞれ送信された２次元コードリーダ１７によるＱＲコード１４の読み取りデータと、ＣＭＯＳカメラ１６による手書き文字の文字画像データとを、インターネット１８を利用して受信するサーバ２２と、インターネット１８を利用するサーバ側の通信部２３と、サーバ２２に設けられ、文字画像データを読み取ってテキストデータに変換するテキストデータ化処理部２４と、サーバ２２に設けられ、かつＱＲコード１４の読み取りデータを受信することで、ノート１５の利用を認証するとともに、ノート１５によるテキストデータ化処理部２４の利用回数のデータを取得するノート認証部２５とを備えている。
【００２７】
図１および図６に示すように、ノート１５は、端末２１と同一サイズ（横６０ｍｍ、縦１１５ｍｍ）の２９枚（説明書付きの２０枚〜５０枚でもよい）の紙１１を、縦綴りし、これを厚地の表紙１２と裏表紙１３との間に挟み込んだ冊子である。よって、テキストデータ化処理サービスの最大利用回数は２９回である。なお、表紙１２と１枚目の紙１１との間には、表面に２次元コードが表示され、かつ裏面にノート認証を含むノートの使用法が記載された認証専用紙１２Ａが差し入れられている。また、表紙１２の表面の中央部には、図示しない提携企業の社名とロゴとが印刷されている。
【００２８】
各紙１１の表面の上端部には、ヘッダに当たる記入日（記入した年月日）２６を手書きするため、８桁の矩形状の小枠が印刷されている。また、各紙１１の表面の下端部には、フッタに該当する６桁の数字（英字でもよい）のフッタコード（分類コード）２７が印字されている。フッタコード２７は、左から３ケタまでが広告（企業）コード（例えば０００；広告なし、００１；第１の自社広告、００２；第２の自社広告など）、左から４桁目が機能コード（例えば０；機能なし、１；カレンダー、２；タグ、カレンダーなど）、左から５桁目が文字画像データの分割方法のコード（例えば０；現在の固定座標分割、１；マニュアル分割など）、左から６桁目（右端）が検査数字であるチェックデジットのコードである。ここでのチェックデジットの計算方法は、広告コードの各桁の数字をすべて足し、機能コードの数字を２倍し、分割コードの数字を３倍し、これらを合算して得た総数を１０で除算した答えの余りをチェックデジットとする。これらは、サーバ２２の記憶部３３に記憶される。
【００２９】
手書きの記入日２６は、後述するＯＣＲ部２８によって自動的に読み取られ、また活字のフッタコード２７は端末側のＯＣＲ部（認識できない場合はオペレータによる読み取り）５２によって自動的に読み取られる。なお、ヘッダに手書きされた記入日２６とフッタコード２７の活字とを各判定部により読み取る際には、これらの領域に記入された各文字を、同時に読み取るようにしてもよい。さらに、各紙１１の表面の四隅には、歪補正用およびノート情報取得用のガイドマーク（分類マーク）２９が印刷されている。この四隅のガイドマーク２９をカメラ撮影することで、後述するアプリケーション２０に搭載された歪補正部５３により、カメラ撮影時の文字画像データの歪みが補正される。しかも、アプリケーション２０を使用して、ガイドマーク２９の形状、四隅での配列などからノートサイズやノート等級（テキストデータ化提供速度・品質を変えてもよい）などの情報を読み取る。
【００３０】
ガイドマーク２９は、表１に示すように、ヘッダ（左隅）用の６種類（横並び）と、フッタ（左隅）用の６種類（縦並び）とからなる。ヘッダ用の６種類のものとしては、１；上下に近接した正方形が２個の組み合わせ、２；１個の正方形と１個の縦長な長方形が上下に近接した組み合わせ、３；２個の正方形が上下に離間した組み合わせ、４；２個の若干横長な長方形が左右に近接した組み合わせ、５；１個の正方形と１個の横長な長方形とが左右に近接した組み合わせ、６；２個の正方形が左右に離間した組み合わせが挙げられる。また、フッタ用の６種類としては、１；２個の正方形が上下に近接した組み合わせ、２；１個の縦長な長方形と１個の正方形とが上下に近接した組み合わせ、３；２個の正方形が上下に離間した組み合わせ、４；２個の若干横長な正方形が左右に近接した組み合わせ、５；１個の正方形と１個の横長な長方形とが左右に近接した組み合わせ、６；２個の正方形が左右に離間した組み合わせが挙げられる。表１のデータは、サーバ２２の記憶部３３にあらかじめ記憶されている。
【００３１】
【表１】
【００３２】
また、各紙１１の表面の外周部を除く部分には、手書きスペースＳが形成されている。具体的な手書きスペースＳの形成位置は、各紙１１の表面の記入日２６とフッタコード２７との間の領域である。
【００３３】
このような手書きスペースＳは、最上段のタイトル記入欄３０と、それより下方の領域を、合計８本の横罫（実線）ａによって上下均等に区分した６つの部分文字画像データ表示欄３１とにより構成されている。なお、横罫ａはノートサイズにより異なる。また、カレンダ連携用時刻記載欄、タグ記載欄などを設けてもよい。各部分文字画像データ表示欄３１は、幅方向の中間部にそれぞれ平行に配置された破線の横罫ｂによって、上下１行ずつの２行書きとなっている。手書き文字は、それぞれの部分文字画像データ表示欄３１に上下２行で記入することが正規であるものの、破線の横罫ｂを跨ぐような大きな字で、１つの部分文字画像データ表示欄３１に１行書きしてもよい。
また、ノート１５の認証専用紙１２Ａの表面の中央部には、ノート認証用の２次元コード１４が１つ印刷されている。サーバ２２側は、この２次元コード１４を２次元コードリーダ１７によって読み取ることで、クライアントに対して事前にノート１５のアクティベート（認証処理）を行わせる。しかも、購入したノート１５のテキストデータ化利用回数の情報を取得する。
【００３４】
次に、図１および図２を参照して、クライアントの端末２１を詳細に説明する。
この端末２１は、携帯電話の一種であるスマートフォンで、ＣＰＵ５０に対して、インターネット接続用の端末側の通信部１９と、ネットストアから端末２１にインストールしたテキストデータ化処理専用のアプリケーション２０と、裏面の上部に埋め込まれたデジタルカメラの一種であるＣＭＯＳカメラ１６と、２次元コード１４を読み取る２次元コードリーダ１７と、記憶部３２とがそれぞれ電気的に接続されている。アプリケーション２０には、ＣＭＯＳカメラ１６により撮影されたノート紙面の撮影画像の歪を補正するための歪補正部５３と、フッターコード２７を読み取るＯＣＲ部５２とが搭載されている。歪補正部５３は、手書きスペースＳを有する各紙１１の紙面の四隅に表示された前記複数のガイドマーク２９を利用し、紙面の撮影画像の歪みを台形補正法（射影変換）により補正するソフトウエアである。ＯＣＲ部５２は、印刷された数字が読み取れる程度の簡易なものである。
【００３５】
次いで、図２および図７を参照して、サーバ２２の構成を詳細に説明する。
サーバ２２は、ＣＰＵ５１に対して、サーバ用の通信部２３と、手書きの文字画像データをテキストデータに変換するテキストデータ化処理部２４と、クライアントが購入したノート１５の認証を行うノート認証部２５とが電気的に接続されたものである。
【００３６】
このうち、図２に示すように、テキストデータ化処理部２４は、端末２１からサーバ２２にアップロードされた文字画像データを、タイトルを含めて７つの部分文字画像データに分割する画像分割部３４と、ヘッダの記入日２６および手書きの本文を光学的に読み取るＯＣＲ部２８と、サーバ２２のＯＣＲ部２８と端末２１のＯＣＲ部５２のテキストデータ化が正しく行われたか否かを判定する２人のＯＣＲ判定オペレータα、βの各オペレータ端末２１α、２１βから１つずつ送信された判定結果としてのサーバ２２のＯＣＲ部２８と端末２１のＯＣＲ部５２とのテキストデータが一致しているか否かを判定するＯＣＲ判定部３５と、１つの部分文字画像データを個別に読み取る２人以上の読み取りオペレータの各オペレータ端末２１Ａ〜２１Ｅ（図７）から１つずつ送信された部分文字画像データの読み取り結果としての複数の部分テキストデータが一致しているか否かを判定する部分テキスト判定部４０と、この部分テキスト判定部４０が一致すると判定した部分テキストデータとを記憶する記憶部３３と、記憶部３３に記憶したテキストデータの全体分の部分テキストデータを、合計７つの部分文字画像データに文字画像データを分割した配列に則して繋げることで、テキストデータを作成するテキスト作成部４１とを有している。作成されたテキストデータは、サーバ２２の記憶部３３に記憶され、必要時にクライアントが端末２１やパソコンなどからサーバ２２にアクセスし、テキストデータを取得する。このとき、ＯＣＲ判定オペレータまたは読み取りオペレータは、通常勤務のオペレータではなく、自宅にいながら都合の良い時間に自己の端末を利用して、サーバ２２にアクセスして作業を行ってもよい。部分文字画像データの数は７つに限定されない（例えば１１でもよい）。
【００３７】
ここで、図７のフローシートを参照して、データエントリが行われる部分テキスト判定部の具体的な構成を説明する。
部分テキスト判定部４０は、１人目の読み取りオペレータＡのオペレータ端末２１Ａから送信された読み取り結果としての部分テキストデータと、２人目の読み取りオペレータＢのオペレータ端末２１Ｂから送信された読み取り結果としての部分テキストデータとが一致しているか否かを判定する第１の部分判定部３６と、第１の部分判定部３６の判定結果が不一致だった場合の３人目の読み取りオペレータＣのオペレータ端末２１Ｃから送信された読み取り結果としての部分テキストデータと、１人目の読み取りオペレータＡのオペレータ端末２１Ａから送信された部分テキストデータとが一致しているか否か、および、３人目の部分テキストデータと２人目の読み取りオペレータＢのオペレータ端末２１Ｂから送信された部分テキストデータとが一致しているか否かを判定する第２の判定部３７を有し、第２の部分判定部３７による判定で何れも一致していないという判定結果が得られた場合には、４人目の読み取りオペレータＤのオペレータ端末２１Ｄから、サーバ２２の記憶部３３に送信された読み取り結果としての部分テキストデータを、部分テキスト判定部４０における一致した判定結果とみなすものである。
【００３８】
したがって、記憶部３３に記憶される部分テキストデータは、第１の部分判定部３６が一致していると判定した部分テキストデータか、第１の部分判定部３６が一致していないと判定した後に、第２の部分判定部３７が一致していると判定した部分テキストデータか、第２の部分判定部３７が一致していないと判定した後に４人目の読み取りオペレータＤのオペレータ端末２１Ｄからサーバ２２の記憶部３３に送信された部分テキストデータの何れかである。つまり、読み取りオペレータＤは、読み取りオペレータＡ、Ｂ、Ｃの読み取り結果を閲覧し、自己の判断で読み取り結果をオペレータ端末２１Ｄから記憶部３３に送信可能である。
【００３９】
次に、図１〜図７を参照して、この発明の実施例１に係るテキスト化システム１０によるクライアントがノート１５に記入した手書き文字のテキストデータ化処理方法を説明する。
まず、クライアントは、スマートフォンである端末２１をインターネット１８に接続し、ネットストアからテキストデータ化処理専用のアプリケーション２０をインストールするとともに、ネットショップなどからノート１５を購入する。
次いで、クライアントは、テキスト化システム１０によるテキストデータ化処理サービスを利用する前に、図３のフローシートに示すように、ノート１５の表紙１２を捲り、認証専用紙１２Ａの２次元コード１４を、２次元（ＱＲ）コードリーダ１７により読み取ってコード情報を得る。その後、端末側の通信部１９からインターネット１８を利用し、２次元コード１４の読み取り結果としてのテキストデータ化利用回数情報（利用回数２９回）を含むノート１５の認証情報をサーバ２２に送信し、これらをサーバ側の通信部２３が受信してノート認証部２５に送信する。その後、ノート認証部２５によるノート１５の認証が行われ、認証終了後、ノート認証部２５から端末２１へ認証完了通知が返信される。これにより、ノート１５のアクティベート（認証処理）が実施されるとともに、サーバ２２にノート１５のテキストデータ化利用回数情報が伝達される。その結果、例えば手書き文字の消去やコピーノートを用いてのノート１５の不正使用、ひいてはこのテキストデータ化処理サービスの不正利用を防止することができる。
【００４０】
次に、図４、図５および図７の各フローシートおよび図１、図６を参照して、テキスト化システム１０を用いて行われる、ノート１５に記入した手書き文字のテキストデータ化処理方法を説明する。
まず、図１および図６に示すように、ノート１５の認証専用紙１２Ａをめくり、紙１１の表面のヘッダの８つの小枠内に記入日２６を示す、例えば「２０１１−０８−０６」を、ペンを使って手書きする。ただし、西暦の「２０」はすでに印刷され、フッタコード２７にもあらかじめ６桁「５５５１６５」が印刷されている。その後、手書きスペースＳに、ペンを使用して日誌を手書きする。記入にあたっては、タイトル記入欄３０にタイトルの「ＭＶ ｐｅｎを購入」を手書きするとともに、上から３段までの部分文字画像データ表示欄３１に、１段２行で日誌を手書きする。具体的には、最上段の部分文字画像データ表示欄３１には「スマートにアナログメモ→ｉｐｈｏｎｅ→ＫＹＢＥＲ」を上下２段に手書きし、上から２段目の部分文字画像データ表示欄３１には「又はＥｖｅｒｎｏｔｅで、グラウド上に保存でき」を上下２段に手書きするとともに、上から３段目の部分文字画像データ表示欄３１の上１段のみに「ないか奮闘中…」をそれぞれ手書きする。
【００４１】
その後、図４のフローシートに示すように、端末（スマートフォン）２１のアプリケーション２０を作動した状態で、ＣＭＯＳカメラ１６により、手書きされた紙１１の表面全体を撮影する。撮影された文字画像データは、紙１１の表面の四隅に印刷されたガイドマーク２９を利用し、アプリケーション２０に搭載された歪補正部（歪補正機能）５３により、カメラ１６撮影時の歪みが補正される。すなわち、歪補正部５３は、文字画像データの中から、手書きスペースＳを有する各紙１１の紙面の四隅に表示されたガイドマーク２９を探し出し、これらを利用し、紙面の撮影画像の歪みを周知の台形補正法（射影変換）により補正する。また、アプリケーション２０に搭載されたＯＣＲ部５２により、フッターコード２７を読み取る。
【００４２】
補正後の文字画像データ、アプリケーション２０により処理された四隅のガイドマーク２９の読み取りデータおよびフッターコード２７の読み取りデータは、端末側の送信部１９からインターネット１８を利用して文字テキスト化センタとしてのサーバ２２に送信され、サーバ側の通信部２３がこれを受信してテキストデータ化処理部２４に送信する。ここでは、まずテキストデータ化処理サービスの利用回数が規定回数（２９回）以内か否かが判断され、規定回数以内である場合には、次のテキストデータ化処理工程に移行する。一方、規定回数を上回っている場合には、規定回数超えの通知を、サーバ側の通信部２３とインターネット１８と端末側の通信部１９とを順次経て、端末２１のアプリケーション２０に送信され、指定回数超えであることが、端末２１の液晶画面に表示される。
次に、テキストデータ化処理部２４によって文字画像データがテキストデータに変換される。得られたテキストデータは、サーバ２２の記憶部３３に記憶される。こうすることで、クライアントの端末２１からアクセスがあったときに、このサーバ２２の記憶部３３からテキストデータを取り出すことができる。なお、テキストデータを、サーバ側の通信部２３から端末側の通信部１９に送信し、端末２１の液晶画面に表示するとともに、端末２１の記憶部（メモリ）３２に記憶するようにしてもよい。
【００４３】
ここで、図５および図７のフローシートを参照して、テキストデータ化処理部２４によるテキストデータ化処理工程を詳細に説明する。
テキストデータ化処理部２４では、まず画像分割部３４により文字画像データが、ヘッダの部分と、フッタ部分と、タイトル部分と、手書き文字の本文部分とに分割される。このうち、ヘッダ部分に手書きされた記入日２６と本文部分とはＯＣＲ部２８により光学的に読み取られてテキストデータ化される。フッタコード２７は、あらかじめ端末側のＯＣＲ部５２により読み取られているので、ＯＣＲ判定部３５による判定結果に基づき、インターネット１８を通して端末２１の液晶画面に提携先企業のＵＲＬに結びついた各提携先企業の社名やロゴなどを表示させる。これにより、表紙１２の表面のアナログの宣伝だけでなく、デジタルの宣伝効果も同時に得られる。
【００４４】
四隅のガイドマーク２９の読み取りデータに基づき、ノート１５の用紙サイズや等級（テキストデータ化提供速度、品質を変えてもよい）をアプリケーション２０にて認識する。すなわち、ヘッダの左隅に印刷された複数のガイドマーク２９の形状および配置と、フッタの左隅に印刷された複数のガイドマーク２９の形状および配置との組み合わせを、表１に示すガイドマーク２９の分類表に照らし合わせることで、ノート１５の用紙サイズと等級とを認識することができる。例えば、表１の分類表において、ヘッダ用が「１」でフッタ用が「３」の組み合わせの場合は、アイフォン用（通常価格）であることが判る（なお、その他の組み合わせは、表１を参照）。端末２１から送信されたデータに基づき、文字画像データを、部分文字画像データに分割する。
【００４５】
次に、端末２１より送信された６桁の数字からなるフッタコード２７の読み取りデータから、広告コードと機能コードと文字画像データとを取得する。フッタコード２７は、左から３ケタまでが広告（企業）コード（０００；広告なし、００１；第１の自社広告、００２；第２の自社広告）、左から４桁目が機能コード（０；機能なし、１；カレンダー、２；タグ、カレンダー）、左から５桁目が文字画像データの分割方法のコード（０；現在の固定座標分割、１；マニュアル分割）、左から６桁目（右端）が検査数字であるチェックデジットのコードである。チェックデジットの計算方法は、広告コードの各桁の数字（５５５）を足し（５＋５＋５＝１５）、機能コードの数字（１）を２倍し（１×２＝２）、分割コードの数字（６）を３倍し（６×３＝１８）、これらを合算して得た総数（１５＋２＋１８＝３５）を１０で除算した答えの余り（３５÷１０＝３…０５）「５」をチェックデジットとする。
【００４６】
その後、図５および図７のフローシートに示すように、ＯＣＲ部２８による記入日２６と、端末側のＯＣＲ部５２によるフッタコード２７と、手書き文字の本文とのテキストデータ化が正しく行われたか否かを２人のＯＣＲ判定オペレータα，βが判定する。その後、２人のＯＣＲ判定オペレータα，βの各オペレータ端末２１α，２１βから１つずつ送信された判定結果としての記入日２６およびフッタコード２７と、手書き文字の本文のテキストデータが一致しているか否かをＯＣＲ判定部３５が判定し、これらが一致している場合には後述するチェック専用のオペレータＥによるチェックが行われる一方、一致していない場合には、選出された１つの部分文字画像データについて、第１〜第４のオペレータＡ〜Ｄおよびチェック専用のオペレータＥを介在させるデータエントリ方式の読み取り工程が実施される。
【００４７】
具体的には、１人目の読み取りオペレータＡのオペレータ端末２１Ａから送信された読み取り結果としての部分テキストデータと、２人目の読み取りオペレータＢのオペレータ端末２１Ｂから送信された読み取り結果としての部分テキストデータとが一致しているか否かを第１の部分判定部３６により判定する。一致している場合には、その共通する部分テキストデータがチェック専用のオペレータＥのオペレータ端末２１Ｅに送信される。一方、一致していない場合（不一致率は５％程度）には、３人目の読み取りオペレータＣのオペレータ端末２１Ｃから送信された読み取り結果としての部分テキストデータと、１人目の読み取りオペレータＡのオペレータ端末２１Ａから送信された部分テキストデータとが一致しているか否か、および、３人目の部分テキストデータと２人目の読み取りオペレータＢのオペレータ端末２１Ｂから送信された部分テキストデータとが一致しているか否かを、第２の部分判定部３７により判定する。
【００４８】
第２の部分判定部３７での判定が一致している場合には、前記チェック専用のオペレータ端末２１Ｅに、その共通する部分テキストデータが送信される。一方、第２の部分判定部３７による判定で何れも一致していないという判定結果が得られた場合（不一致率は１％程度）には、４人目の読み取りオペレータＤのオペレータ端末２１Ｄから、サーバ２２の記憶部３３に送信された読み取り結果としての部分テキストデータが、この部分テキスト判定部４０における一致した判定結果とみなし、チェック専用のオペレータ端末２１Ｅに、その見なされた部分テキストデータが送信される。
このように、選出した１つの部分文字画像データに対応して得られた部分テキストデータは、順次、サーバ２２の記憶部３３に記憶される。このとき、記憶部３３に記憶される部分テキストデータは、第１の部分判定部３６が一致していると判定した部分テキストデータか、第１の部分判定部３６が一致していないと判定した後に、第２の部分判定部３７が一致していると判定した部分テキストデータか、第２の部分判定部３７が一致していないと判定した後に、４人目の読み取りオペレータＤのオペレータ端末２１Ｄからサーバ２２の記憶部３３に送信された部分テキストデータの何れかである。これにより、ＯＣＲ部２８よりも高精度な手書き文字のテキストデータ化処理が可能となる。
【００４９】
その後、全ての部分画像データのテキスト化が終了したか否かが判断され、終了している場合には、記憶部３３に記憶された文字画像データの全体分の全ての部分テキストデータを、テキスト作成部４１により、複数の部分文字画像データに文字画像データを分割した配列に則して繋げて、テキストデータを作成する。これにより、ＯＣＲ部２８よりも高精度な手書き文字のテキストデータ化処理が可能となる。
以上説明したテキストデータ化処理部２４によって文字画像データのテキストデータ化処理を行うように構成したので、手書き文字のテキストデータ化処理を高精度で行うことができる。しかも、画像分割部３４により文字画像データを複数の部分文字画像データに分割することで、文字画像データの全体を各オペレータＡ〜Ｄが目視することができない。これにより、情報漏洩を防止することができる。
【００５０】
また、端末２１のＯＣＲ部５２によるフッタコード２７の読み取り結果に基づき、提携企業が特定される。そのため、この読み取り時にサーバ２２がインターネット１８を通して例えば提携企業のＵＲＬにアクセスし、提携企業のアイコンやバナーを端末２１のアプリケーション２０やクライアントのＰＣ画面上などに、文字画像データとテキストデータとに並べて表示を行うことができる。その結果、ノート１５の表紙１２の表面に印刷されたアナログな企業広告と、液晶画面上でのアイコンやバナーによるデジタルな企業広告とが連動した新しい広告方法を提供することができる。しかも、アクティベーションにスポンサー企業の広告や会社名ロゴをスプラッシュウィンドウとして表示してもよい。
【産業上の利用可能性】
【００５１】
この発明は、ノートに記入された手書き文字を、サーバのテキストデータ化処理部を利用してテキストデータ化する技術として有用である。
【符号の説明】
【００５２】
１０ 手書き文字テキスト化システム、
１４ ＱＲコード（２次元コード）、
１５ ノート、
１６ ＣＭＯＳカメラ（デジタルカメラ）、
１７ ２次元コードリーダ、
１８ インターネット（通信回線網）、
１９ 端末側の通信部、
２１ 端末、
２１Ａ〜２１Ｅ オペレータ端末、
２２ サーバ、
２３ サーバ側の通信部
２４ テキストデータ化処理部、
２５ ノート認証部、
３３ 記憶部、
３４ 画像分割部、
４０ 部分テキスト判定部、
４１ テキスト作成部、
Ａ １人目の読み取りオペレータ、
Ｂ ２人目の読み取りオペレータ、
Ｃ ３人目の読み取りオペレータ、
Ｄ ４人目の読み取りオペレータ、
Ｓ 手書きスペース。
【特許請求の範囲】
【請求項１】
文字の手書きスペースを有し、ノート認証用の２次元コードが表示された手書き用のノートと、
前記手書きスペースに記入された手書き文字を撮影するデジタルカメラと、前記２次元コードを読み取る２次元コードリーダと、通信回線網を利用する端末側の通信部とを搭載した端末と、
前記端末側の通信部よりそれぞれ送信された前記２次元コードリーダによる前記２次元コードの読み取りデータと、前記デジタルカメラによる前記手書き文字の文字画像データとを、前記通信回線網を利用して受信するサーバ側の通信部が搭載されたサーバと、
前記サーバに設けられ、かつ前記２次元コードの読み取りデータを受信することで、前記ノートの利用を認証するとともに、該ノートによる前記テキストデータ化処理部の利用回数のデータを取得するノート認証部と、
前記文字画像データを読み取ってテキストデータに変換するテキストデータ化処理部とを備えた手書き文字テキスト化システム。
【請求項２】
前記テキストデータ化処理部は、
前記文字画像データを複数の部分文字画像データに分割する画像分割部と、
１つの前記部分文字画像データを個別に読み取る２人以上の読み取りオペレータの各オペレータ端末から１つずつ送信された前記部分文字画像データの読み取り結果としての複数の部分テキストデータが一致しているか否かを判定する部分テキスト判定部と、
該部分テキスト判定部が一致すると判定した前記部分テキストデータを記憶する記憶部と、
該記憶部に記憶した前記テキストデータの全体分の前記部分テキストデータを、前記複数の部分文字画像データに前記文字画像データを分割した配列に則して繋げることで、前記テキストデータを作成するテキスト作成部とを有する請求項１に記載の手書き文字テキスト化システム。
【請求項３】
前記部分テキスト判定部は、
１人目の前記読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、２人目の前記読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータとが一致しているか否かを判定する第１の部分判定部と、
該第１の部分判定部の判定結果が不一致だった場合の３人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、前記１人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否か、および、前記３人目の部分テキストデータと前記２人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否かを判定する第２の部分判定部とを有し、
前記記憶部に記憶される部分テキストデータは、前記第１の部分判定部が一致していると判定した部分テキストデータか、前記第１の部分判定部が一致していないと判定した後に、前記第２の部分判定部が一致していると判定した部分テキストデータである請求項２に記載の手書き文字テキスト化システム。
【請求項１】
文字の手書きスペースを有し、ノート認証用の２次元コードが表示された手書き用のノートと、
前記手書きスペースに記入された手書き文字を撮影するデジタルカメラと、前記２次元コードを読み取る２次元コードリーダと、通信回線網を利用する端末側の通信部とを搭載した端末と、
前記端末側の通信部よりそれぞれ送信された前記２次元コードリーダによる前記２次元コードの読み取りデータと、前記デジタルカメラによる前記手書き文字の文字画像データとを、前記通信回線網を利用して受信するサーバ側の通信部が搭載されたサーバと、
前記サーバに設けられ、かつ前記２次元コードの読み取りデータを受信することで、前記ノートの利用を認証するとともに、該ノートによる前記テキストデータ化処理部の利用回数のデータを取得するノート認証部と、
前記文字画像データを読み取ってテキストデータに変換するテキストデータ化処理部とを備えた手書き文字テキスト化システム。
【請求項２】
前記テキストデータ化処理部は、
前記文字画像データを複数の部分文字画像データに分割する画像分割部と、
１つの前記部分文字画像データを個別に読み取る２人以上の読み取りオペレータの各オペレータ端末から１つずつ送信された前記部分文字画像データの読み取り結果としての複数の部分テキストデータが一致しているか否かを判定する部分テキスト判定部と、
該部分テキスト判定部が一致すると判定した前記部分テキストデータを記憶する記憶部と、
該記憶部に記憶した前記テキストデータの全体分の前記部分テキストデータを、前記複数の部分文字画像データに前記文字画像データを分割した配列に則して繋げることで、前記テキストデータを作成するテキスト作成部とを有する請求項１に記載の手書き文字テキスト化システム。
【請求項３】
前記部分テキスト判定部は、
１人目の前記読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、２人目の前記読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータとが一致しているか否かを判定する第１の部分判定部と、
該第１の部分判定部の判定結果が不一致だった場合の３人目の読み取りオペレータのオペレータ端末から送信された読み取り結果としての部分テキストデータと、前記１人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否か、および、前記３人目の部分テキストデータと前記２人目の読み取りオペレータのオペレータ端末から送信された部分テキストデータとが一致しているか否かを判定する第２の部分判定部とを有し、
前記記憶部に記憶される部分テキストデータは、前記第１の部分判定部が一致していると判定した部分テキストデータか、前記第１の部分判定部が一致していないと判定した後に、前記第２の部分判定部が一致していると判定した部分テキストデータである請求項２に記載の手書き文字テキスト化システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９７３９３（Ｐ２０１３−９７３９３Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３６４０６（Ｐ２０１１−２３６４０６）
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（５０２００５４０８）株式会社オーリッド (1)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（５０２００５４０８）株式会社オーリッド (1)
【Ｆターム（参考）】
[ Back to top ]