イメージ処理システム及びイメージ処理方法
【目的】 携帯電話等の汎用端末装置のカメラ機能を用いて、各種伝票処理を可能とする。
【構成】 端末装置で伝票イメージを撮影し、撮影したイメージをセンターに送信し、センターでは送信されたイメージの品質が満足のいく品質か否かを調べ、満足のいく品質でない場合には端末装置に撮影イメージの品質不良を知らせると共にイメージの再送を指示する。指示された端末装置は再度伝票イメージを撮影して再送する。送信された伝票イメージの品質が満足のいく品質であった場合には文字認識処理を行い、読み取り伝票イメージを文字認識結果と共に検索可能に登録する。伝票処理時には登録されている伝票イメージを可視表示すると共に、対応する文字認識結果を可視表示し、必要に応じて文字認識結果を更新して伝票イメージと関連付けて再登録可能とする。
【構成】 端末装置で伝票イメージを撮影し、撮影したイメージをセンターに送信し、センターでは送信されたイメージの品質が満足のいく品質か否かを調べ、満足のいく品質でない場合には端末装置に撮影イメージの品質不良を知らせると共にイメージの再送を指示する。指示された端末装置は再度伝票イメージを撮影して再送する。送信された伝票イメージの品質が満足のいく品質であった場合には文字認識処理を行い、読み取り伝票イメージを文字認識結果と共に検索可能に登録する。伝票処理時には登録されている伝票イメージを可視表示すると共に、対応する文字認識結果を可視表示し、必要に応じて文字認識結果を更新して伝票イメージと関連付けて再登録可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、満足のいく品質のイメージ情報に固有の識別番号を付して当該イメージ情報に対するパターン認識結果と関連付けて登録するイメージ処理システム及びイメージ処理方法に関するものである。
【背景技術】
【０００２】
近年の電子技術の発達により、装置の小型化、高性能化が進み、他の装置などとの間の通信機能に加えカメラ機能を内蔵する携帯電話機や携帯情報端末が普及してきている。更に、これらの機能も年々高機能化してきている。このため、この端末装置のカメラ機能を利用するアプリケーションも数多く登場してきている。
【０００３】
例えば特許文献１には、ガスの使用量を計測するガスメータの検針にカメラ機能を有する汎用の携帯電話機を用い、ガスメータのカウンター表示をカメラで撮影し、撮影データを公衆通信回線を介して管理センターに送り、管理センターで目視確認、あるいは文字認識処理ソフトにより直接数値データとして読み取ることが記載されている。
【０００４】
更に、特許文献２には、携帯電話機のカメラ機能を用いて原稿を撮影し、撮影画像をサーバに送り、サーバで文字認識を行いテキストデータとして携帯電話にメールに添付させて返信するシステムが記載されている。サーバではその際、送られてきた画像を所定角度づつ回転させて、各回転位置において予備的な文字認識処理を行い、文字認識率が最大の回転状態を適正回転状態として正規の文字認識処理を行っていた。
【０００５】
【特許文献１】特開２００７−１１６６５号公報
【特許文献２】特開２００４−２７２６５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、携帯電話機による撮影データについて何らのチェックをも行っておらず、撮影データに不備があると検針をすることができず、ふたたび検針をやり直さなければならず、実際の使用には問題があるものであった。
【０００７】
更に、特許文献２でも、撮影画像についてはそのまま受け取るのみであり、受け取った画像に対して傾き補正を行うことが記載されているに過ぎず、撮影画像はそのまま使用することを前提としており、撮影画像の画質が悪い場合にはほとんど文字認識できなかった。
【０００８】
このように、従来のこの種の装置は、撮影画像に問題がないことが前提であり、理論上使用できることはあっても、実際に一般ユーザが操作した情報を取り扱うような場合には問題があるものであった。
【課題を解決するための手段】
【０００９】
本発明は、上述した課題を解決することを目的としてなされたもので、携帯電話などのカメラ機能を有する端末装置が撮影するなどして生成した画像イメージが、文字認識等をするのに適した品質となるように撮影画像の品質を担保することにある。
【００１０】
係る目的を達成する一手段として例えば以下の構成を備える。すなわち、
イメージを生成するイメージ生成手段と、該イメージ生成手段で生成したイメージ中の所定領域のパターン認識を行い、パターン認識結果により前記イメージ生成手段で生成したイメージ情報が満足のいく品質か否かを確認する品質確認手段と、前記品質評価手段が満足のいく品質のイメージ情報でなかったときに前記イメージ生成手段にイメージ情報の再生成を指示する再生成指示手段と、前記品質確認手段が満足のいく品質と確認したイメージに固有の識別番号を付して登録する登録手段と、前記品質確認手段が満足のいく品質と確認したイメージに対してパターン認識処理を行うパターン認識手段とを備え、前記登録手段は、登録イメージ情報に、前記パターン認識手段が認識した当該登録イメージ情報に対するパターン認識結果を関連付けて登録するイメージ処理システムであることを特徴とする。
【００１１】
そして例えば、前記品質確認手段は、前記イメージ生成手段が生成したイメージ情報の所定領域のパターンに対してパターン識別をおこない、パターン識別結果によりイメージ情報の品質を確認することを特徴とする。
【００１２】
また例えば、前記パターン認識手段が認識するパターン情報は少なくとも文字パターン情報であり、該文字パターン情報をキャラクタデータに変換可能であることを特徴とする。あるいは、前記パターン認識手段が認識するパターン情報は少なくとも撮影対象種別ごとに特有のパターン情報であることを特徴とする。
更に例えば、前記イメージ生成手段は、通信媒体を介して他と通信可能な携帯端末装置に備えられた撮像手段と、該撮像手段の撮影画像を通信媒体を介して送信する送信手段とを含み、前記再生成指示手段は満足のいく品質のイメージ情報でなかったときには前記携帯端末にイメージ情報の再撮影及び再送を指示することを特徴とする。
【００１３】
また例えば、イメージ情報を生成するイメージ生成手段を備える端末装置と、前記端末装置と通信媒体を介して通信可能なセンター装置が含まれるイメージ処理システムであって、前記端末装置は、更に前記通信媒体を介して前記センター装置との間で情報通信が可能な通信手段と、前記通信手段により前記イメージ生成手段で生成したイメージを前記センター装置に送信するイメージ送信手段と、前記通信手段が前記センター装置よりのイメージ再送要求を受信すると受信メッセージを表示可能な表示手段と、前記イメージ再送要求を受信後に生成されたイメージ情報を再送イメージ情報として前記センター装置に送信するイメージ再送手段とを備え、前記センター装置は、前記通信媒体を介して送られてくる前記端末装置よりのイメージ情報を受信するイメージ受信手段と、前記イメージ受信手段で受信したイメージ情報の品質を判断する品質判断手段と、前記品質判断手段で判断した品質が満足のいく品質でない場合に当該イメージを送ってきた端末装置にイメージ再送要求を送信する再送要求手段と、前記品質判断手段で判断した品質が満足のいく品質である場合に当該イメージに対する文字認識を行う文字認識手段と、前記文字認識手段による文字認識結果と前記文字認識したイメージ情報とを関連付けて登録する登録手段とを備えることを特徴とする。
【００１４】
また例えば、前記端末装置のイメージ生成手段は、イメージ情報を撮影可能なカメラ機能を含み、前記表示手段は前記カメラ機能で撮影したイメージ情報を表示して撮影結果を目視確認可能であることを特徴とする。
【００１５】
更に例えば、前記センター装置の判断手段は、イメージ情報の一部領域に対してパターン認識処理を行ない認識結果に従ってイメージ情報の品質を判断する判断手法を含むことを特徴とする。
【００１６】
また例えば、前記センタ装置は、更に前記登録手段に登録されているイメージ情報及び文字認識結果を検索する検索手段と、前記検索結果により検索したイメージ情報と文字認識結果を表示する登録情報表示手段と、前記文字認識結果の修正指示を受け付け、受け付けた修正指示に対応して前記文字認識結果を修正して再登録する修正手段とを備えることを特徴とする。
【００１７】
また例えば、前記端末装置の生成するイメージ情報は伝票情報であり、前記文字認識手段は受信した伝票イメージに対して文字認識を行い、文字認識結果より伝票処理を可能とすることを特徴とする。
【００１８】
更に例えば、前記品質判断手段は、受信したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記文字認識を行うことを特徴とする。
【００１９】
または、イメージ情報を生成するイメージ生成手段を備える端末装置と、前記端末装置と通信媒体を介して通信可能なセンター装置が含まれるイメージ処理システムにおけるイメージ処理方法であって、前記端末装置は、前記通信媒体を介して前記センター装置との間で情報通信が可能な通信手段により前記イメージ生成手段で生成したイメージを前記センター装置に送信し、前記通信手段が前記センター装置よりのイメージ再送要求を受信すると受信メッセージを表示し、前記イメージ再送要求を受信後に生成されたイメージ情報を再送イメージ情報として前記センター装置に送信するとともに、前記センター装置は、記憶手段を備え、前記通信媒体を介して送られてくる前記端末装置よりのイメージ情報を受信し、受信したイメージ情報の品質を判断し、判断した品質が満足のいく品質でない場合に当該イメージを送ってきた端末装置にイメージ再送要求を送信し、前記判断した品質が満足のいく品質である場合には当該イメージに対する文字認識を行ない、前記文字認識結果と前記文字認識したイメージ情報とを関連付けて前記記憶手段に登録することを特徴とするイメージ処理方法とする。
【００２０】
そして例えば、前記端末装置のイメージ生成手段は、イメージ情報を撮影可能なカメラ機能を含み、前記端末装置は、前記カメラ機能で撮影したイメージ情報を表示して撮影結果を目視確認可能であることを特徴とするイメージ処理方法とする。
【００２１】
また例えば、前記センター装置は、イメージ情報の一部領域に対してパターン認識処理を行ない認識結果に従ってイメージ情報の品質を判断する判断手法を採用することを特徴とするイメージ処理方法とする。
【００２２】
更に例えば、前記センタ装置は、更に前記記憶手段に記憶されているイメージ情報及び文字認識結果を検索可能とし、検索結果により検索したイメージ情報と文字認識結果を表示して前記文字認識結果の修正指示を受け付け、受け付けた修正指示に対応して前記文字認識結果を修正して前記記憶手段に再登録することを特徴とするイメージ処理方法とする。
【００２３】
また例えば、前記端末装置の生成するイメージ情報は伝票情報であり、前記センター装置は受信した伝票イメージに対して文字認識を行い、文字認識結果より伝票処理を可能とすることを特徴とするイメージ処理方法とする。
【００２４】
更に例えば、前記生成イメージ情報の品質判断は、受信したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記文字認識を行うことを特徴とするイメージ処理方法とする。
【発明の効果】
【００２５】
本発明によれば、端末装置から満足のいく品質のイメージ情報を得ることができ、文字認識などの処理を行う場合であっても、その後の処理に利用することができるイメージデータを容易に得ることが可能となり、各種処理を簡単に行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を適用した具体的な一実施の形態例について図面を参照しながら詳細に説明する。以下の説明は、一般に市販されている汎用端末、例えば携帯電話機、あるいは携帯ゲーム機などを用いて各種の処理対象イメージ情報の管理・処理を行う例について説明する。
【００２７】
〔第１の実施の形態例〕
図１は本発明に係る一発明の実施の形態例のイメージ処理システムであり、図１は伝票イメージを処理する例を示している。
【００２８】
図１において、１００はネットワーク３００を介して他の情報処理装置や携帯電話機などの端末装置（通信端末装置）との間で情報通信が可能なサーバ装置であり、端末装置（通信端末装置）にとってのセンター装置となる。サーバ装置１００は、通信端末装置よりの生成イメージ情報、例えばカメラ機構での撮影情報を受け取って固有の番号を割り当てて登録可能であると共に、登録イメージ情報の検索が可能に構成されており、検索指示を受け取り、検索結果を送信する。
【００２９】
２００はネットワークシステム３００を介して、あるいは通信媒体を介して直接サーバ装置１００との間で各種情報の授受を行うと共に、処理対象のイメージ情報、例えば伝票読み取り情報を受領して伝票処理を行う伝票処理システムである。
【００３０】
３００は公衆通信回線網やインターネット回線網等のネットワークである。４１０〜４４０は処理対象イメージを生成可能なカメラ機能が備えられている端末装置であり、例えば携帯電話機や、携帯型情報処理装置などである。各端末装置４１０，４２０，４３０，４４０には、カメラ機能を利用して撮影した撮影画像（例えば処理を行おうとする伝票撮影画像）を目視確認できる表示部が備えられている。
【００３１】
５００は民間業者等が行う書面の保存等における情報通信の技術の利用に関する法律（以下「E文書法」と称する。）で求められている電子署名とタイムスタンプを発行するE文書の特定認証局であり、サーバ装置１００よりの要求に従って、必要な電子署名とタイムスタンプを発行する。
【００３２】
５１０はタイムスタンプに利用する時刻情報を配信する時刻配信局であり、特定認証局とは別の構成であっても良いことは勿論である。５５０は時刻配信局から配信される時刻情報を元にタイムスタンプを発行するタイムスタンプ局である。
【００３３】
サーバ１００において、１１０は各種処理情報や他との通信情報を表示可能な表示部であり、例えば携帯電話機より送られてきたイメージ情報及び文字認識結果などを表示する。
【００３４】
１２０は各種指示等を入力可能な操作部、１３０は詳細を後述する受信したイメージ情報の品質を評価し良品質か否かを判断する品質評価部である。１４０は受信したイメージ情報、あるいは登録しているイメージ情報のパターン認識を行う文字認識部であり、特に認識したパターンに対応したコード情報を生成して出力する。
【００３５】
認識するパターンには、撮影対象の種別などを特定するための撮影対象種別ごとに特有のパターン（例えば、特定バーコードパターンや特有の記号パターン等を含む）や、文字パターン、所定の記号パターンが含まれる。文字認識部１４０には後述する受信したイメージ情報の補正処理も併せて行うことが可能に構成されている。
【００３６】
１５０は登録制御部であり、品質評価部１３０で評価したイメージ情報と、該イメージ情報に対して文字認識部１４０で認識した文字認識結果を関連付けてデータベース１８０に登録すると共に、データベース１８０に登録したイメージ情報を文字認識結果を検索読み出し制御を行う。
【００３７】
また、登録制御部１５０は、登録するべきイメージがE文書として登録するべきイメージである場合には、該イメージ情報をデータベース１８０に登録する際に、E文書の特定認証局５００から電子署名とタイムスタンプの発行依頼をして、イメージ情報の登録時に発行された電子署名と必要な電子署名及びタイムスタンプをイメージ情報に付加して一体化して登録することが可能に構成されている。
【００３８】
１８０は品質評価部１３０で評価したイメージ情報と、該イメージ情報に対して文字認識部１４０で認識した文字認識結果を関連付けて登録するデータベースであり、登録情報の検索、修正後の検索情報に対する文字認識結果や処理履歴情報の再登録が可能に構成された記憶手段であるデータベースである。
【００３９】
データベース１８０における登録データの一例を図２に示す。図２は、本実施の形態例のデータベースにおける端末装置よりの送信データ登録部の構成例を示す図である。
【００４０】
図２において、１８１はイメージ情報毎に割り当てられる各イメージ情報に固有の固有番号（登録アドレス）が登録される固有番号部であり、固有番号部１８１で特定される端末装置よりのイメージ情報とともに該イメージ情報の付属情報が関連付けて登録されている。
【００４１】
１８２は当該情報を送信してきた端末装置、例えば端末装置を特定する端末特定情報が登録されるである送信端末情報部、１８３は後述する画像品質評価で良品質と評価された端末装置よりの撮影イメージ情報を基にした登録イメージ部、１８４は当該登録イメージ情報に対する文字認識結果部、１８５は登録イメージ情報をE文書として登録したか否かを示すE文書フラグ部、１８６は、例えば登録イメージ情報が伝票データであった場合に、当該伝票データに対する伝票処理が行われたか否かを示す処理履歴部である。
【００４２】
以上の構成を備える本実施の形態例の端末装置から、処理を望むイメージ情報、例えば処理を希望する伝票のイメージを画像撮影などの方法で取り込み、イメージ画像を通信媒体を介してサーバ装置１００に送り、サーバ装置１００は送られてきた伝票イメージに対する処理を行う、本実施の形態例のデータ処理を図３乃至図５などを参照して以下に説明する。
【００４３】
図３は本実施の形態例における主に伝票処理を行う場合の端末装置の制御例を説明するための図、図４は本実施の形態例における主に伝票処理を行う場合のサーバ装置１００の制御例を説明するための図、図５は図４の画像品質評価処理の詳細を説明するための図である。
【００４４】
まず図３を参照してカメラ機能付き端末装置、例えばカメラ機構付き携帯電話機を用いて処理すべき伝票を撮影し、サーバ１００を介して伝票処理システム２００で処理できる状態とする場合を例として説明する。しかし、本発明は伝票処理に限定されるものではなく、撮影することが可能なあらゆる書類、あるいは物体について適用可能である。例えば、カタログ販売における購入物品を撮影して処理する例でも、新聞広告欄の購入希望部分の撮影であっても良く、端末装置での撮影が可能な物であれば種別などにより限定はされない。
【００４５】
端末装置、例えば図１の携帯電話機４３０の所持者が、自己に送られてきた請求伝票の処理を行う場合を例として以下の説明を行う。
【００４６】
端末装置では、まずステップＳ１０において、キーボード部のキーが操作されたか否かを調べる。キー操作がされた場合にはステップＳ１３に進み、取消機能キーが操作されたのか否かを調べる。取消指示でない場合にはステップＳ１５に進み、サーバ装置への送信指示か否かを調べる。
【００４７】
送信指示でない場合にはステップＳ１７に進み、サーバ装置１００にすでに送ってある画像イメージの検索指示か否かを調べる。検索指示でもない場合にはステップＳ１９に進み、入力されたキーに応じた処理を行う。そして初期状態に戻る。
【００４８】
一方、取消キーの入力である場合にはステップＳ１３よりステップＳ２０に進み、実行中の処理を中止し、初期画面表示状態とする。よって、途中まで実行中の処理を初期状態に戻ることができる。
【００４９】
更に、検索指示入力であった場合にはステップＳ１７よりステップＳ２４に進み、すでに撮影した画像でサーバ装置に登録されている画像イメージが特定できる、例えば登録画像に割り当てられている固有番号を検索キーワードとして表示する。そしてステップＳ２６において表示されている検索対象の選択が行われるのを監視する。
【００５０】
検索対象の選択指定が行われるとサーバ装置１００に対して先に登録されているイメージ画像を特定する固有番号（ユニーク番号）と共に検索指示をネットワーク３００を介してサーバ装置１００に送る。
【００５１】
なお、この検索処理における検索キーワードとしては、図２における送信端末情報１８２として自端末の情報を送信して、データベース１８０に既登録されている自端末送信イメージ画像を一次検索情報として送ってもらい、これを表示して検索絞り込みを行っても良く、各種検索キーワードをサーバ装置１００に送って検索結果一覧を送ってもらい、徐々に検索対象を絞り込んでもよい。
【００５２】
この検索絞り込みには限定がなく、すでに他で提供されている各種の検索エンジンを利用して絞り込んでもよい。あるいは、登録イメージを特定する情報ではなく、文字認識結果を特定する情報等を参考とすることが可能に構成されている。あるいは、自己機が既送信した情報に関する履歴から選択するようにしてもよい。
【００５３】
そしてステップＳ３０で検索結果が送られてくるのを監視する。検索結果が送られてきた場合にはステップＳ３２に進み、データベース１８０の所望の登録イメージと対応する認識結果、処理履歴などを表示することになる。
【００５４】
一方、ステップＳ１０でキー操作でない場合にはステップＳ１０よりステップＳ３５に進み、撮影指示がなされたか否かを調べる。
【００５５】
携帯電話機４３０の所有者は、伝票処理を行おうとする場合、処理しようとする伝票を用意し、例えば机の上やテーブルなどの平らなものの上に載置する。そして携帯電話機のカメラ機構を用いて伝票を撮影する操作を行う。すなわち、カメラ機構を使用した撮影指示が検出されることになる。撮影指示がなされるとステップＳ３５よりステップＳ３７に進み、例えば上記のようにして撮影した画像を取り込む。
【００５６】
具体的には、カメラでの撮影モードを選択すると表示部に被写体の撮影状況が表示される。このため、表示部の表示状態を確認しながら伝票の必要部位が表示された状態となる様に位置決めし、被写体、例えば伝票の撮影を指示し、携帯電話機４３０内の不図示のメモリに撮影イメージ情報を記憶させることになる。
【００５７】
ここで、撮影されたイメージ情報は、ステップＳ３９に示すように表示部に表示される。このため、表示部に表示される撮影結果を目視確認して、伝票の必要部分が撮影されているか、撮影画像の焦点が合っているかなどを目視確認することが望ましい。
【００５８】
表示部を確認して被写体がうまく撮影されていないと判断した場合には実行中の処理を中断し（取消を行い）、次の被写体撮影を待つ状態とし、再度の伝票読み取り処理を行う指示を行い、先の処理をやり直すことが望ましい。これにより、後述する画像再送処理を未然に防ぐことにもつながる。
【００５９】
表示部の画像を確認してサーバ装置１００に送れると判断すると送信指示を行い、上述したステップＳ１５よりステップＳ２２の処理に移行し、表示されている撮影画像をサーバ装置１００に送ることになる。このサーバ装置１００への送信フォーマットには、少なくとも「撮影イメージ情報」と「端末特定情報」とが含まれる。
【００６０】
一方、ステップＳ３５で撮影指示でなかった場合にはステップＳ４０に進み、サーバ装置１００よりの撮影画像の再送信指示を受信したのか否かを調べる。再送信指示を受信していない場合にはステップＳ４４に進み、送信画像の受理通知を受信したか否かを調べる。
【００６１】
送信画像の受理通知を受信していない場合にはステップＳ４８に進み、対応する処理を行う。例えば第三者よりのメールを受信した場合などにおいてはこのメールを受信してメモリに格納し、メール受信を報知するなどの処理を行うなどする。
【００６２】
一方、ステップＳ４０で再送信指示を受信した場合には、サーバ１００に撮影情報を送信した結果、サーバ１００側で送られてきたイメージ情報の品質が満足のいく品質でないと判断した場合で、先の送信情報の破棄と送られてきたイメージ情報の処理が行われなかったことを示している。
【００６３】
このため、最も期近に送信した撮影画像、あるいは再送信指示で指定された撮影画像を再度撮影し直して再送信する必要があるため、ステップＳ４０よりステップＳ４２に進み、表示部に再送信指示の受信を表示する。
【００６４】
例えば、再送信を指示された撮影画像と、該撮影画像の品質が悪くサーバ装置１００で処理できない旨、再度撮影して送るべきことを表示する。この表示を確認した、例えば伝票処理を希望する携帯電話操作者は、再度伝票をセットして再度撮影操作を行うことになり、ステップＳ３５乃至ステップＳ３９の処理を再度行うことになる。この際は特に撮影に注意をはらい、焦点を合わし、伝票全体が確実に撮影できているようにすることが望ましい。
【００６５】
このようにして端末装置の操作者は、単に処理を希望する伝票の情報をカメラ機構で撮影して送るのみで、他に特別の負荷をかけることがないため、端末装置の制御をきわめて簡単なものと出来、複雑なプログラムをインストールすることなく簡単な操作で伝票撮影イメージ情報をサーバ１００に送ることができる。
【００６６】
撮影イメージ情報の送信は、例えばパケット通信機能などを用いて撮影画像をサーバ１００に送信しても、あるいは、携帯電話機のメール送信機能を用いて送信しても良く、何らかの方法で通信路を確立してサーバ１００に撮影画像を送れる方法であれば何れの方法を採用してもよい。
【００６７】
また、ステップＳ４４で送信画像の受理通知の受信であれば、ステップＳ４４よりステップＳ４６に進み、受理通知に添付されている情報を例えば検索キーワードに加え、検索対象に追加する。この受理通知には、例えば送信画像に割り当てられている固有番号情報やＥ文書化された旨を示す情報などが含まれている。
【００６８】
次の図４、図５を参照してサーバ１００側の処理を説明する。サーバ装置１００は、ネットワーク３００を介して端末装置、例えば携帯電話端末よりのパケット通信を受信したりメールを受信するなどのネットワーク３００を介した端末装置よりのアクセスが検出されると図４のステップＳ１００に示す端末装置に関する処理に移行する。
【００６９】
まずステップＳ１０１において、端末装置から送られてきたのがデータベース１８０に登録されている登録画像の検索指示か否かを調べる。登録画像情報の検索指示でない場合にはステップＳ１０２に進み、端末装置から登録すべき画像が送られてきたのか否かを調べる。端末装置より登録すべき画像が送られてきていない場合にはステップＳ１０３に進み、端末よりのデータベース１８０への登録イメージ情報の検索処理か否かを調べる。端末よりの検索指示でもない場合にはステップＳ１０４に進み、対応する処理を実行してリターンする。
【００７０】
端末装置より登録すべき画像が送られてきた場合にはステップＳ１０２よりステップＳ１０５に進み、端末装置のステップＳ２２に示す処理で送られてくる撮影画像を受信する。
【００７１】
そしてステップＳ２００において、品質評価部１３０を用いて受信したイメージ画像部分の画像の品質が満足のいく品質かどうかを評価する画像品質評価処理を行う。この画像品質評価処理の詳細は後述する。画像品質評価処理による評価が行われるとステップＳ１０６に進み、結果画像の品質が良品質と評価されたか否かを調べる。
【００７２】
良品質でなかった場合にはステップＳ１０７に進み、画像を送ってきた端末装置に対して、通信制御部１６０、ネットワーク３００を介して撮影画像の再送信指示を送る。再送信指示は、例えば送られてきた撮影画像を返信すると共に、画像中に重ねて送信画像品質不良により再送信を指示する旨のメッセージを含ませること等が考えられる。
【００７３】
ここでは、送信した画像を特定できる方法であれば、画像番号で撮影画像を特定するものであってもよい。そして端末装置との間の処理を終了する。その後この再送信指示に応じて再度撮影情報が送られてきた場合には再度上記処理を行うことになる。
【００７４】
一方、ステップＳ１０６で画像の品質が良品質である場合にはステップＳ１０６よりステップＳ１１０に進み、Ｅ文書化するために、Ｅ文書であることの認証を行う特定認証センター５００から、電子署名とタイムスタンプを受領し、登録イメージに付加してＥ文書としての認証を受けたことを明確化する。
【００７５】
続いてステップＳ１１１において、受信画像に固有番号を割り振り、品質評価部１３０で画像補正処理を行っていない場合にはＥ文書フラグがセットされた受信イメージ画像を、画像補正処理を行っている場合には補正したイメージ画像にＥ文書フラグがセットされたイメージ画像をデータベース１８０に例えば図２に示す形式で登録する。なお、このとき同時に端末装置より送られてきた端末特定情報を併せて登録する。この時点では文字認識結果１８４は含まれていない状態である。
【００７６】
受信したイメージ情報がＥ文書化する必要がないイメージである場合にはステップＳ１１０の処理を行わずに、ステップＳ１０６よりステップＳ１１１の処理に移行する。この場合には、Ｅ文書フラグはセットされないイメージ画像が登録される。
【００７７】
その後ステップＳ１１２において、文字認識部１４０を動作させて画像の必要領域について文字認識処理を行う。文字認識結果はステップＳ１１２に示す様に、対応する画像イメージ情報と関連付けてデータベース１８０に登録される。この処理により図２の文字認識結果１８４が格納され、当該処理を終了することになる。
【００７８】
文字認識を行う範囲は、伝票イメージを文字認識する場合には伝票の枠内の必要文字等であり、認識する対象は、数字、文字の他、予め登録されている外字パターンあるいは特定のマークなどを含めることができる。
【００７９】
この文字認識結果は、例えば、認識の結果、認識結果に確信が得られる場合（認識結果に誤りがないと予想される場合）には通常の色のキャラクタの形式で表示するようにし、認識結果に確信が得られない場合や誤認識の可能性がある場合には当該認識結果の表示色を変えたり、点滅表示させたり、アンダーライン表示したりして正常認識と思われる認識結果表示と区別がつく表示となるようにすることが望ましい。
【００８０】
端末装置の処理において、ステップＳ１０１でサーバ装置１００の操作部１２０よりの、あるいは伝票処理システム２００よりの登録画像検索指示であった場合にはステップＳ１５０に進み、検索指示に従ったデータベース１８０の登録情報検索処理を実行し、検索された登録イメージ情報と文字認識結果とを関連付けて例えば表示部１１０に表示する。例えば並列に並べて表示し、認識箇所と撮影イメージの対応する箇所が目視確認できる態様で表示する。
【００８１】
なお、伝票処理システム２００よりの検索指示であった場合には検索結果を伝票処理システム２００に送信して伝票処理システム２００の不図示の表示部にサーバ装置１００の場合と同じように表示して以下に示す処理と同様の処理を行い、修正結果と登録指示を送信してくることになる。これらの処理はサーバ装置１００の場合と同様であるため詳細説明を省略する。
【００８２】
この検索指示は、図２に示す登録情報の何れの項目も検索キーワードとして用いることができ、例えば、固有番号をキーワードとする場合の他、読み込んだ端末装置情報をキーワードとして、あるいは、文字認識結果の一部項目をキーワードとすることも可能に構成されている。なお、必要に応じてキーワードに応じた検索結果の表示、新たな検索キーワードの追加、絞り込まれた検索結果の表示、再度の絞り込みといった検索処理を必要に応じて繰り返すことになる。
【００８３】
そして続くステップＳ１５１において検索結果に対する修正指示があるか否か調べる。修正指示がない場合にはステップＳ１５４で登録指示があるか（認識結果の上書き指示があるか）を調べる。登録指示もなければステップＳ１５１に戻り修正指示または登録指示を監視する。
【００８４】
ここで、修正指示があった場合にはステップＳ１５１よりステップＳ１５２に進み、修正指示に従って認識結果を修正する。そして修正が行われると読み出してきた検索結果に対する認識結果が修正され、ステップＳ１５４に進む。この処理は、例えば操作者が撮影イメージ画像と認識結果とを見比べて、文字認識結果を確認し、必要な部分については認識結果の修正を行う処理である。
【００８５】
本実施の形態例では、端末装置（携帯端末や携帯電話機など）から撮影イメージ情報を受け取ったときに連続して文字認識処理を完結させるのではなく、撮影イメージ情報を文字認識結果と関連付けて登録し、その後に検索可能とすることにより、文字認識結果の確認をバッチ処理で行うことが可能に構成されている。
【００８６】
このため、例えば登録結果を人件費を低く抑えられる低賃金での処理が可能な諸外国に送り、この確認処理を行うことが可能となるため、実際の伝票処理を行う前に低費用で確実な伝票内容のチェックが可能となる。
【００８７】
この結果、端末装置のカメラ機能での撮影イメージの品質が非常な高品質でなくとも対応することができ、一般に広く使用されている携帯電話機のカメラ機構を用いて撮影した程度の品質のものであっても、確実かつ間違いなく処理することが可能となる。従って、特別の訓練を受けていない一般の人が撮影した撮影イメージを利用でき、利用範囲を大きく拡げることができる。
【００８８】
このように認識結果の確認を行い、登録内容を修正しようとする場合には、修正結果の再登録を指示する。するとステップＳ１５４よりステップＳ１５５の処理に移行し、修正された認識結果をデータベース１８０の新たな文字認識結果として登録する。
【００８９】
認識結果の再登録が行われるとステップＳ１５７に進み、認識結果に従った処理を実行してリターンする。ここでは、例えば伝票処理システム２００に再登録が行われた情報については伝票処理を行う準備が整ったとして報知することなどが考えられる。
【００９０】
なお、この場合に、処理履歴１８６に伝票処理は行われていないが認識結果が再登録されたものであることを示すフラグを付与することにより、少なくとも１回は認識結果がチェックされたことがわかる。このため、伝票処理システム２００では、文字認識結果が再登録されたものであることを確認してから実際の伝票処理を行うように取り扱うことができ、伝票処理の精度を上げることができる。
【００９１】
本実施の形態例では、文字認識部１４０での文字認識処理において、すべての文字についてすべて誤りがなくなるまで認識処理を行い、結果を確定するのではなく、例えば携帯電話機のカメラ機構などで読み取ったイメージ情報を処理の基本とし、イメージ情報に対する認識結果を関連付けて検索、読み出し可能な状態に管理し、両者を目視確認して適宜必要に応じて認識結果を修正可能とすることにより、認識誤りがあってもいつでもこれを修正できる状態に維持でき、後述する伝票処理を行っている場合でもいつでも処理経過を確認でき、最終的な処理ミスを防ぐことができる。
【００９２】
次にステップＳ２００の画像品質評価処理の詳細を図５のフローチャートも参照して以下に説明する。
【００９３】
画像品質評価処理では、ますステップＳ２０１で端末装置から受信したイメージ画像情報から必要な画像部分を切り出す切り出し処理を実行する。これは、例えば伝票撮影イメージであれば、伝票フォーマットに従った所定の罫線で囲まれた範囲のみがあれば必要な情報は得られるため、余分な部分の処理を行う負荷を軽減するためである。
【００９４】
つづいてステップＳ２０２において画像の傾き補正（スキュー補正）を行う。例えば、たとえは縦罫線あるいは横罫線をいくつか抽出し、上部と下部の横罫線の傾きが１８０度に近くなるように補正、あるいは左右端部の縦罫線の傾きが９０度に近くなるように補正する。
【００９５】
次にステップＳ２０３において台形補正を行う。これは、撮影時に焦点距離に短い部分は大きく、焦点距離の長い部分は小さく撮影されている場合に、この撮影イメージの大きさを揃えるためである。
【００９６】
これらの処理により撮影画像の補正を行い、その後ステップＳ２０４で所定領域のみ文字認識処理を行う。文字認識する領域は、例えば撮影イメージの四隅部分についてそれぞれ文字認識する。そしてステップＳ２０５に進む。
なお、文字認識するのは、伝票種別を表す特定の場所に表された「ロゴ」の認識、あるいは、所定形状のマークの認識処理、識別マークの認識処理、端部近傍の罫線の検出の有無等であり、要求されるイメージの要求レベルに合わせた閾値レベルが設定される。
【００９７】
上記の文字認識領域は以上の例に限定されるものではなく、中心部分について、あるいは上下端近傍部分、または左右端近傍部分についていくつか文字認識させることが考えられる。伝票フォーマットに対応付けて重要部分が認識できるかで決めてもよい。
【００９８】
また、本実施の形態例では、撮影画像の補正処理としてステップＳ２０１乃至ステップＳ２０３の処理を行ったが、以上の処理に限定されるものではなく、この中の任意の処理のみ行っても良く、あるいは、他の処理を追加して行っても良い。
【００９９】
追加処理には、ノイズ除去処理やぼかし処理、シャープネス処理、輪郭強調処理、写真修整処理、下地除去処理等任意の処理を適宜選択して実行してもよい。
【０１００】
ステップＳ２０５において文字認識結果を判断し、文字認識の結果正解の確率が所定閾値以上である場合（あるいは一義的に定まった場合、特定のロゴやマークが認識できた場合）には文字認識できた（イメージの品質が良好）と判断する。
【０１０１】
文字認識ができたと判断した場合にはステップＳ２０６に進み。撮影画像を良品質画像として評価し、補正処理を行った撮影画像を受信画像としてリターンする。
【０１０２】
一方、ステップＳ２０５で文字認識が全くできなかった場合、あるいは文字認識できた文字数が少なかった場合には認識できなかったとしてステップＳ２０７に進み、低品質画像として評価し、補正処理をキャンセルしてリターンする。
【０１０３】
以上に説明したように本実施の形態例では、携帯電話機などの一般市販端末装置をそのまま用いて必要な撮影イメージ画像を得ることができ、非常に汎用性の高い処理システムが構築できる。しかも、端末装置から必要な情報が取り込めるため、処理のために専用の店舗や専用の装置が不要となり、誰もが、どこからでも所望の伝票処理等の各種処理を行うことが可能となる。
【０１０４】
以上の説明では、端末装置で独自に撮影をしてからサーバ装置１００に撮影情報を送信したが、伝票を用意した状態で予め端末装置側からサーバ装置１００をアクセスし、伝票処理を行う旨の要求を行い、サーバ装置１００から伝票処理を行うためのガイダンス情報及び必要な制御手順を受信してから行っても良い。
【０１０５】
この場合には、端末装置の表示部から伝票処理のためのガイダンスが表示され、ガイダンスに従って伝票を撮影し、撮影結果の確認を行い、その後撮影イメージを送信させ、再送指示、あるいは撮影情報受付を確認して読み込み処理を終了するように制御できる。
【０１０６】
そして、その後伝票処理の状況を問い合わせ可能に制御してもよい。これにより、処理伝票種別などを予め特定することができ、処理の信頼性を上げることができる。
【０１０７】
以上の説明では、撮影情報の品質の評価を所定領域の文字認識結果で行う例を示したが、伝票フォーマットが正しく認識できるかで品質評価を行っても良い。この場合には必要な伝票の最外罫線部が撮影されて認識できたかで判断すれば良く、この部分の文字認識ができたかの文字認識結果と組みあわせて総合的に判断してもよい。
【０１０８】
あるいは、伝票フォーマットが判明している場合には、全体画像の大きさに比較した罫線の太さなどを判定し、一定範囲の罫線太さであれば画像焦点が合い、所定の解像度が確保できていると判断してもよい。
【０１０９】
本実施の形態例では、処理対象を撮影した段階で文字認識処理などすべての処理を完結しなくてもその後の処理を可能にしているため、単に撮影されている処理対象の撮影品質としてある程度の品質が担保されていれば足りるため、一般需要者が操作保持する端末装置、例えば携帯電話機を用いても、必要な処理が可能となる。
【０１１０】
〔第２の実施の形態例〕
以上の説明は、ネットワーク網２００に接続可能な端末装置は、カメラ機能を利用して処理対象を撮影してサーバ装置１００に送信するのみで、撮影した画像については撮影のやり直しを行うのみであった。
【０１１１】
しかしながら、本発明は以上の例に限定されるものではなく、端末装置に機能が高い場合には、端末装置側で撮影のみでなく、撮影画像に対する補正あるいは文字認識を行う等、良好な品質の画像であるか否かの判断機能を持たせるようにしても良い。
【０１１２】
端末装置側で撮影のみでなく、撮影画像に対する補正あるいは文字認識を行う等、良好な品質の画像であるか否かの判断機能を持たせるようにした本発明に係る第２の実施の形態例を以下に説明する。
【０１１３】
第２の実施の形態例においては、端末装置側に予め画像処理、文字認識処理を行うためのプログラムを格納しておいても、あるいは当該イメージ処理を行う前に、例えばサーバ装置１００あるいは他のセンター装置にプログラムのダウンロード要求を行い、要求に応じて送られてくるプログラムをダウンロードして必要な処理を行っても良く、また、処理を行う場合に必要最小限の範囲のプログラムを必要とする毎にその都度少しづつダウンロードして実行するものであってもよい。
【０１１４】
以下の説明は、処理を行う場合に必要最小限の範囲のプログラムを必要とする毎にその都度少しづつダウンロードして実行する例について行う。図６は本発明に係る第２の実施の形態例の端末装置側の処理を説明するためのフローチャートである。
【０１１５】
第２の実施の形態例においても、端末装置の画像処理を除く制御は上述した第１の実施の形態例における端末装置と同様であり、図３に示す処理と異なるのは、ステップＳ３９でイメージ画像を撮影した後にステップＳ１０に戻るのではなく、ステップＳ５０以下の処理を行う部分が相違するのみである。このため、以下の説明はステップＳ５０以下の処理について行い、他の処理についての説明は省略する。
【０１１６】
第２の実施の形態例では、ステップＳ３９における撮影画像の表示画面の一部に、画像を補正する必要性の有無を指示するための「補正ボタン」または「補正ボタン」と「補正なしボタン」とを表示させる。
【０１１７】
そして、例えば伝票画像などを撮影するとステップＳ３９の撮影画像の表示画面に表示されている「補正ボタン」または「補正なしボタン」のいずれかを指示することで次の処理に移行する。このため、ステップＳ５０において、撮影者は撮影した画像を確認して画像に対する補正処理を行うか否かを判断することになる。判断の結果、補正をする必要がないと判断すると補正なしを指示する。するとステップＳ５０よりステップＳ１０に戻る。
【０１１８】
一方、判断の結果、補正をする必要があると判断した場合には補正を指示することになる。するとステップＳ５０よりステップＳ５２に進み、どのような補正をするのかを選択し、必要なプログラムのダウンロード要求を例えばサーバ装置１００に対して行う。
【０１１９】
この必要プログラムのダウンロード要求する時の端末装置の表示画面例を図７に示す。図７において、６１０が実行するべき補正処理を選択したことを示す選択表示ガイド、６３０が選択するべき補正処理種別表示ガイド６１１乃至６１７が補正処理選択表示枠、６３１乃至６３７が選択可能な補正処理表示部、６５０が補正実行ボタン、６６０が取消ボタンである。
【０１２０】
ここで、端末装置が選択可能な補正処理は、プログラムを供給するサーバ装置側に依存しており、図６の例に限定されるものではなく、任意に選択実行可能であることはもちろんである。
【０１２１】
図７の例では、すでに切り出し処理と傾き処理にチェックが入っており（６１１、６１２）、傾き補正が選択された状態であり、不図示の「決定ボタン」を押下することで選択枠にチェックが入り、チェックがされてすでに選択されている補正処理が再び選択されたときには選択解除となる。
【０１２２】
このようにして行おうとする補正処理を選択して補正実行ボタン６５０を選択すると図６のステップＳ５２よりステップＳ５４に進み、選択された補正プログラムのダウンロードが行われ、続くステップＳ５６で補正処理が実行される。そしてステップＳ５８で補正処理を終了する場合で補正終了が指示された場合にはステップＳ１０に戻る。一方、次の補正処理を行う場合にはステップＳ５０に戻る。
【０１２３】
なお、選択された補正処理が多数に及ぶ場合には、一つずつの補正プログラムをダウンロードし、必要な補正を行い、続いて次の補正プログラムをダウンロードして次の補正を行うように制御する。これにより、端末装置の負荷を最小限に抑えることができる。
【０１２４】
図７に示した例では、一度に複数の補正処理が選択可能であったが、このうちの一つの補正処理のみ選択可能に制御し、複数の補正が必要な場合には繰り返し補正処理の選択実行を行うように制御してもよい。この場合の制御も図６に示す場合と同じである。
【０１２５】
以上説明したように第２の実施の形態例によれば、端末装置側でも必要な補正処理を実行可能であるため、品質が良好なイメージ情報を送ることが可能であり、サーバ装置に送られるイメージの品質が上がり、イメージ情報の生成し直し及び再送信の回数を軽減できる。
【０１２６】
これは、撮影者が撮影画像の品質に注意を払う機会が増えることになり、撮影画像品質の向上に寄与することができる。
【０１２７】
〔第３の実施の形態例〕
以上の説明は、端末装置よりサーバ装置に送られる情報の特定は、主に端末装置情報に基づいて特定した例について説明をした。しかし、イメージ情報を特定する根拠となる情報が端末装置情報とイメージを登録する際の時刻情報のみであるよりは、より多様な情報を元にイメージ情報の特定が可能な方が、例えば検索の場合などを考慮しても都合がよい。
【０１２８】
第３の実施の形態例では、この点に着目して端末装置である例えば携帯電話機などが近年標準装備してきているグローバル・ポジショニング・システム (GPS: Global Positioning System) 機能（以下、「ＧＰＳ機能」とも称す。）を活用して、イメージ情報を生成した端末装置の位置情報をイメージ情報と共に例えばサーバ装置に転送し、サーバ装置では、イメージ情報と共に送られてくる端末特定情報と共に、端末位置情報をイメージ情報と関連付けてデータべースに登録する。
【０１２９】
第３の実施の形態例では、上述した実施の形態例における図３あるいは図６のステップＳ２２の撮影画像送信処理において、「イメージ情報」と「端末特定情報」に加え、「端末装置の位置情報」を併せて送信する。
【０１３０】
この情報を受け取った例えばサーバ装置では、データベースでの登録情報に端末位置情報を加え、また位置情報で検索も可能とする。このように地球上の端末装置の位置情報を測位してイメージ情報と共に登録することが可能となるため、更に詳細な情報を得ることができ、伝票処理のみではなく、地域キャンペーンへの応募等、端末装置の位置情報を有効に活用できるアプリケーションへの適用など更に適用範囲を拡げることができる。
【０１３１】
第３の実施の形態例における位置情報は、一般に市販されている携帯電話機のＧＰＳ機能で採用されている位置情報の報知システムをそのまま利用することにより、携帯電話機のユーザに特別の負担をかけることなく、自動的に位置情報を収集することが可能となり、簡単な機能を加えるのみで更に広範囲への活用が可能となる。
【０１３２】
〔他の実施の形態例〕
以上説明した本実施の形態例では、端末装置、例えば携帯電話機などで撮影されたイメージ情報が適切な品質であるか否かはセンター装置側で全て行う例について説明した。しかし、本発明は以上の例に限定されるものではなく、携帯端末側で一部の品質認定処理を携帯端末側で行う例も本発明の他の実施の形態例に含まれる。
【０１３３】
例えば、上述した第２の実施の形態例の撮影画像補正処理機能を備えた端末装置に、品質判別用のパターン認識機能を備えさせ、撮影対象原稿などの所定の領域部分に撮影対象物の種別などを特定する所定イメージ情報、例えば特定のバーコードパターン、特定の記号パターン、特定文字列などを表示しておき、端末装置のパターン認識機能を用いて撮影したイメージ情報の所定領域からこの所定イメージ情報が認識されるか否かを自動認識し、所定領域に所定イメージ情報が認識できたパターン情報をセンター装置に送信する。
【０１３４】
この際、認識できた所定イメージ情報から撮影したイメージ情報の種別がある程度判別できるため、ネットワークなどに撮影イメージ情報を送信する時に同時に撮影イメージ種別情報を付加して送信してもよい。これにより、品質不良のイメージ情報を送信して再送となるリスクを未然に防止することができる。
なお、以上の端末装置は、第２の実施の形態例で説明した端末装置に品質判別機能を持たせた例について説明したが、第１の実施の形態例に記載した如くの画像補正機能を有さない端末装置に該品質判別用のパターン認識機能を持たせ、撮影画像に対して直接品質判別用のパターン認識を行い、正しくパターン認識ができたか否かで撮影のやり直しの指示を行うか制御してもよい。
【０１３５】
更に、以上の説明においては、本発明を伝票処理に適用した例を説明した。このため、伝票のパターン及び伝票の記入欄に必要な情報が記入された伝票イメージ情報の記入欄に記入されている文字パターンや数字パターンを認識して記載内容の整合性を確認してパターン認識の精度の確認及び記載内容の正誤の確認を行なうなど、必要な伝票処理を行うことを説明してきた。
【０１３６】
しかし、以上の例に限定されるものではなく、例えば、イメージ情報処理において、契約書の契約内容を表すイメージ情報の生成・撮影及び登録を行い、各種の契約申込業務に適用してもよい。この場合には、契約書の全内容を全て撮影などする必要はなく、契約者が実際に書き込んだ部分のみ撮影などしてこの部分のイメージ情報を登録するようにしてもよい。
【０１３７】
また、仕入・売上業務に本システムを使用してもよい。仕入れ業務（発注業務）に適用する場合には、仕入れ伝票（発注伝票）の例えば所定領域に表示されている伝票種別を特定できるパターンを認識して、伝票種別に応じたパターン認識するべき領域の文字・記号パターンに対して文字認識処理などを行い、固有の識別番号を付して登録される伝票イメージ情報に関連付けて認識結果を登録する。これにより、仮に認識結果に疑義が生じても、いつでも元データである撮影イメージ情報を確認することができ、並列表示して両者を目視確認したりすることができ、迅速かつ間違いのない伝票処理をおこなうことができる。
【０１３８】
更に、この場合にも、バッチ処理で認識結果が正しいか目視確認させることができ、このバッチ処理を人件費の廉価な土地で行わせることで、処理費を低く抑えることも容易にできる。
【０１３９】
更に、以上に説明したように、撮影機能を用いて撮影するなどして生成したイメージ情報を特有の識別番号を付して登録し、この登録イメージ情報に関連付けて認識結果を合わせ登録しておくことにより、認識結果を利用して、いつでも原イメージ情報を確認することができる。
【０１４０】
このため、以上に説明した各業務処理を容易かつ正確に行うことができる。更に、その業務処理にともなう変更・追加業務を行う場合においても、いつでも原イメージ情報を確認でき、この原イメージ情報を元データとしていつでも各種の処理を行うことができる。更に、原イメージ情報に必要に応じた証明・認証情報を付加する等して、例えばＥ文書化することにより、基準となる元データの信頼性を高めることができ、広範囲な分野での利用が可能となる。
【０１４１】
また、適切な品質であることを確認されたイメージ情報は、センター装置に送られた後、帳票上のイメージ情報認識と各種のチェック・編集、必要なデータ付加がなされ、センター装置で正否確認処理された後、保存されることから、登録イメージ情報の信頼性を確保することができ、いつでも利用確認することができる。
【０１４２】
登録イメージ情報には、固有の識別番号が付与されており、また、外部装置あるいは内部装置よりの検索が可能に構成されていることから、必要に応じて外部システムへ転送することができ、Ｅ文書化されている情報の場合には外部システムにおいても、信頼性を担保した状態に維持され、信頼性の高い情報として種々のアプリケーションに容易に使用することができる。
その他、請求のはいいに記載された発明の範囲を逸脱しない範囲で種々変形可能であり、上記記載内容の技術に限定されることなく、請求の範囲に表された機能、技術的思想の及ぶ範囲内にそのまま適用されうることは勿論である。
【図面の簡単な説明】
【０１４３】
【図１】本発明に係る一実施の形態例のイメージ処理システムを説明するためのブロック図である
【図２】本実施の形態例のデータベースにおける端末装置よりの送信データ登録部の構成例を示す図である。
【図３】本実施の形態例における主に伝票処理を行う場合の端末装置の制御例を説明するための図である。
【図４】本実施の形態例における主にサーバ装置の制御例を説明するための図である。
【図５】図４の画像品質評価処理の詳細を説明するための図である。
【図６】本発明に係る第２の実施の形態例の主に端末装置の制御例を説明するための図である。
【図７】第２の実施の形態例における端末装置の撮影画像補正指示表示画面例を示す図である。
【符号の説明】
【０１４４】
１００ サーバ装置
１１０ 表示部
１２０ 操作部
１３０ 品質評価部
１４０ 文字認識部
１５０ 登録制御部
１８０ データベース
１８１ 固有番号（登録アドレス）部
１８２ 送信端末情報部
１８３ 登録イメージ部
１８４ 文字認識結果部
１８５ 処理履歴部
２００ 伝票処理システム
３００ ネットワーク網
４１０〜４４０ カメラ機能が備えられている端末装置
５００ Ｅ文書特定認証センター
５１０ 時刻配信局
５５０ タイムスタンプ局
【技術分野】
【０００１】
本発明は、満足のいく品質のイメージ情報に固有の識別番号を付して当該イメージ情報に対するパターン認識結果と関連付けて登録するイメージ処理システム及びイメージ処理方法に関するものである。
【背景技術】
【０００２】
近年の電子技術の発達により、装置の小型化、高性能化が進み、他の装置などとの間の通信機能に加えカメラ機能を内蔵する携帯電話機や携帯情報端末が普及してきている。更に、これらの機能も年々高機能化してきている。このため、この端末装置のカメラ機能を利用するアプリケーションも数多く登場してきている。
【０００３】
例えば特許文献１には、ガスの使用量を計測するガスメータの検針にカメラ機能を有する汎用の携帯電話機を用い、ガスメータのカウンター表示をカメラで撮影し、撮影データを公衆通信回線を介して管理センターに送り、管理センターで目視確認、あるいは文字認識処理ソフトにより直接数値データとして読み取ることが記載されている。
【０００４】
更に、特許文献２には、携帯電話機のカメラ機能を用いて原稿を撮影し、撮影画像をサーバに送り、サーバで文字認識を行いテキストデータとして携帯電話にメールに添付させて返信するシステムが記載されている。サーバではその際、送られてきた画像を所定角度づつ回転させて、各回転位置において予備的な文字認識処理を行い、文字認識率が最大の回転状態を適正回転状態として正規の文字認識処理を行っていた。
【０００５】
【特許文献１】特開２００７−１１６６５号公報
【特許文献２】特開２００４−２７２６５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、携帯電話機による撮影データについて何らのチェックをも行っておらず、撮影データに不備があると検針をすることができず、ふたたび検針をやり直さなければならず、実際の使用には問題があるものであった。
【０００７】
更に、特許文献２でも、撮影画像についてはそのまま受け取るのみであり、受け取った画像に対して傾き補正を行うことが記載されているに過ぎず、撮影画像はそのまま使用することを前提としており、撮影画像の画質が悪い場合にはほとんど文字認識できなかった。
【０００８】
このように、従来のこの種の装置は、撮影画像に問題がないことが前提であり、理論上使用できることはあっても、実際に一般ユーザが操作した情報を取り扱うような場合には問題があるものであった。
【課題を解決するための手段】
【０００９】
本発明は、上述した課題を解決することを目的としてなされたもので、携帯電話などのカメラ機能を有する端末装置が撮影するなどして生成した画像イメージが、文字認識等をするのに適した品質となるように撮影画像の品質を担保することにある。
【００１０】
係る目的を達成する一手段として例えば以下の構成を備える。すなわち、
イメージを生成するイメージ生成手段と、該イメージ生成手段で生成したイメージ中の所定領域のパターン認識を行い、パターン認識結果により前記イメージ生成手段で生成したイメージ情報が満足のいく品質か否かを確認する品質確認手段と、前記品質評価手段が満足のいく品質のイメージ情報でなかったときに前記イメージ生成手段にイメージ情報の再生成を指示する再生成指示手段と、前記品質確認手段が満足のいく品質と確認したイメージに固有の識別番号を付して登録する登録手段と、前記品質確認手段が満足のいく品質と確認したイメージに対してパターン認識処理を行うパターン認識手段とを備え、前記登録手段は、登録イメージ情報に、前記パターン認識手段が認識した当該登録イメージ情報に対するパターン認識結果を関連付けて登録するイメージ処理システムであることを特徴とする。
【００１１】
そして例えば、前記品質確認手段は、前記イメージ生成手段が生成したイメージ情報の所定領域のパターンに対してパターン識別をおこない、パターン識別結果によりイメージ情報の品質を確認することを特徴とする。
【００１２】
また例えば、前記パターン認識手段が認識するパターン情報は少なくとも文字パターン情報であり、該文字パターン情報をキャラクタデータに変換可能であることを特徴とする。あるいは、前記パターン認識手段が認識するパターン情報は少なくとも撮影対象種別ごとに特有のパターン情報であることを特徴とする。
更に例えば、前記イメージ生成手段は、通信媒体を介して他と通信可能な携帯端末装置に備えられた撮像手段と、該撮像手段の撮影画像を通信媒体を介して送信する送信手段とを含み、前記再生成指示手段は満足のいく品質のイメージ情報でなかったときには前記携帯端末にイメージ情報の再撮影及び再送を指示することを特徴とする。
【００１３】
また例えば、イメージ情報を生成するイメージ生成手段を備える端末装置と、前記端末装置と通信媒体を介して通信可能なセンター装置が含まれるイメージ処理システムであって、前記端末装置は、更に前記通信媒体を介して前記センター装置との間で情報通信が可能な通信手段と、前記通信手段により前記イメージ生成手段で生成したイメージを前記センター装置に送信するイメージ送信手段と、前記通信手段が前記センター装置よりのイメージ再送要求を受信すると受信メッセージを表示可能な表示手段と、前記イメージ再送要求を受信後に生成されたイメージ情報を再送イメージ情報として前記センター装置に送信するイメージ再送手段とを備え、前記センター装置は、前記通信媒体を介して送られてくる前記端末装置よりのイメージ情報を受信するイメージ受信手段と、前記イメージ受信手段で受信したイメージ情報の品質を判断する品質判断手段と、前記品質判断手段で判断した品質が満足のいく品質でない場合に当該イメージを送ってきた端末装置にイメージ再送要求を送信する再送要求手段と、前記品質判断手段で判断した品質が満足のいく品質である場合に当該イメージに対する文字認識を行う文字認識手段と、前記文字認識手段による文字認識結果と前記文字認識したイメージ情報とを関連付けて登録する登録手段とを備えることを特徴とする。
【００１４】
また例えば、前記端末装置のイメージ生成手段は、イメージ情報を撮影可能なカメラ機能を含み、前記表示手段は前記カメラ機能で撮影したイメージ情報を表示して撮影結果を目視確認可能であることを特徴とする。
【００１５】
更に例えば、前記センター装置の判断手段は、イメージ情報の一部領域に対してパターン認識処理を行ない認識結果に従ってイメージ情報の品質を判断する判断手法を含むことを特徴とする。
【００１６】
また例えば、前記センタ装置は、更に前記登録手段に登録されているイメージ情報及び文字認識結果を検索する検索手段と、前記検索結果により検索したイメージ情報と文字認識結果を表示する登録情報表示手段と、前記文字認識結果の修正指示を受け付け、受け付けた修正指示に対応して前記文字認識結果を修正して再登録する修正手段とを備えることを特徴とする。
【００１７】
また例えば、前記端末装置の生成するイメージ情報は伝票情報であり、前記文字認識手段は受信した伝票イメージに対して文字認識を行い、文字認識結果より伝票処理を可能とすることを特徴とする。
【００１８】
更に例えば、前記品質判断手段は、受信したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記文字認識を行うことを特徴とする。
【００１９】
または、イメージ情報を生成するイメージ生成手段を備える端末装置と、前記端末装置と通信媒体を介して通信可能なセンター装置が含まれるイメージ処理システムにおけるイメージ処理方法であって、前記端末装置は、前記通信媒体を介して前記センター装置との間で情報通信が可能な通信手段により前記イメージ生成手段で生成したイメージを前記センター装置に送信し、前記通信手段が前記センター装置よりのイメージ再送要求を受信すると受信メッセージを表示し、前記イメージ再送要求を受信後に生成されたイメージ情報を再送イメージ情報として前記センター装置に送信するとともに、前記センター装置は、記憶手段を備え、前記通信媒体を介して送られてくる前記端末装置よりのイメージ情報を受信し、受信したイメージ情報の品質を判断し、判断した品質が満足のいく品質でない場合に当該イメージを送ってきた端末装置にイメージ再送要求を送信し、前記判断した品質が満足のいく品質である場合には当該イメージに対する文字認識を行ない、前記文字認識結果と前記文字認識したイメージ情報とを関連付けて前記記憶手段に登録することを特徴とするイメージ処理方法とする。
【００２０】
そして例えば、前記端末装置のイメージ生成手段は、イメージ情報を撮影可能なカメラ機能を含み、前記端末装置は、前記カメラ機能で撮影したイメージ情報を表示して撮影結果を目視確認可能であることを特徴とするイメージ処理方法とする。
【００２１】
また例えば、前記センター装置は、イメージ情報の一部領域に対してパターン認識処理を行ない認識結果に従ってイメージ情報の品質を判断する判断手法を採用することを特徴とするイメージ処理方法とする。
【００２２】
更に例えば、前記センタ装置は、更に前記記憶手段に記憶されているイメージ情報及び文字認識結果を検索可能とし、検索結果により検索したイメージ情報と文字認識結果を表示して前記文字認識結果の修正指示を受け付け、受け付けた修正指示に対応して前記文字認識結果を修正して前記記憶手段に再登録することを特徴とするイメージ処理方法とする。
【００２３】
また例えば、前記端末装置の生成するイメージ情報は伝票情報であり、前記センター装置は受信した伝票イメージに対して文字認識を行い、文字認識結果より伝票処理を可能とすることを特徴とするイメージ処理方法とする。
【００２４】
更に例えば、前記生成イメージ情報の品質判断は、受信したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記文字認識を行うことを特徴とするイメージ処理方法とする。
【発明の効果】
【００２５】
本発明によれば、端末装置から満足のいく品質のイメージ情報を得ることができ、文字認識などの処理を行う場合であっても、その後の処理に利用することができるイメージデータを容易に得ることが可能となり、各種処理を簡単に行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を適用した具体的な一実施の形態例について図面を参照しながら詳細に説明する。以下の説明は、一般に市販されている汎用端末、例えば携帯電話機、あるいは携帯ゲーム機などを用いて各種の処理対象イメージ情報の管理・処理を行う例について説明する。
【００２７】
〔第１の実施の形態例〕
図１は本発明に係る一発明の実施の形態例のイメージ処理システムであり、図１は伝票イメージを処理する例を示している。
【００２８】
図１において、１００はネットワーク３００を介して他の情報処理装置や携帯電話機などの端末装置（通信端末装置）との間で情報通信が可能なサーバ装置であり、端末装置（通信端末装置）にとってのセンター装置となる。サーバ装置１００は、通信端末装置よりの生成イメージ情報、例えばカメラ機構での撮影情報を受け取って固有の番号を割り当てて登録可能であると共に、登録イメージ情報の検索が可能に構成されており、検索指示を受け取り、検索結果を送信する。
【００２９】
２００はネットワークシステム３００を介して、あるいは通信媒体を介して直接サーバ装置１００との間で各種情報の授受を行うと共に、処理対象のイメージ情報、例えば伝票読み取り情報を受領して伝票処理を行う伝票処理システムである。
【００３０】
３００は公衆通信回線網やインターネット回線網等のネットワークである。４１０〜４４０は処理対象イメージを生成可能なカメラ機能が備えられている端末装置であり、例えば携帯電話機や、携帯型情報処理装置などである。各端末装置４１０，４２０，４３０，４４０には、カメラ機能を利用して撮影した撮影画像（例えば処理を行おうとする伝票撮影画像）を目視確認できる表示部が備えられている。
【００３１】
５００は民間業者等が行う書面の保存等における情報通信の技術の利用に関する法律（以下「E文書法」と称する。）で求められている電子署名とタイムスタンプを発行するE文書の特定認証局であり、サーバ装置１００よりの要求に従って、必要な電子署名とタイムスタンプを発行する。
【００３２】
５１０はタイムスタンプに利用する時刻情報を配信する時刻配信局であり、特定認証局とは別の構成であっても良いことは勿論である。５５０は時刻配信局から配信される時刻情報を元にタイムスタンプを発行するタイムスタンプ局である。
【００３３】
サーバ１００において、１１０は各種処理情報や他との通信情報を表示可能な表示部であり、例えば携帯電話機より送られてきたイメージ情報及び文字認識結果などを表示する。
【００３４】
１２０は各種指示等を入力可能な操作部、１３０は詳細を後述する受信したイメージ情報の品質を評価し良品質か否かを判断する品質評価部である。１４０は受信したイメージ情報、あるいは登録しているイメージ情報のパターン認識を行う文字認識部であり、特に認識したパターンに対応したコード情報を生成して出力する。
【００３５】
認識するパターンには、撮影対象の種別などを特定するための撮影対象種別ごとに特有のパターン（例えば、特定バーコードパターンや特有の記号パターン等を含む）や、文字パターン、所定の記号パターンが含まれる。文字認識部１４０には後述する受信したイメージ情報の補正処理も併せて行うことが可能に構成されている。
【００３６】
１５０は登録制御部であり、品質評価部１３０で評価したイメージ情報と、該イメージ情報に対して文字認識部１４０で認識した文字認識結果を関連付けてデータベース１８０に登録すると共に、データベース１８０に登録したイメージ情報を文字認識結果を検索読み出し制御を行う。
【００３７】
また、登録制御部１５０は、登録するべきイメージがE文書として登録するべきイメージである場合には、該イメージ情報をデータベース１８０に登録する際に、E文書の特定認証局５００から電子署名とタイムスタンプの発行依頼をして、イメージ情報の登録時に発行された電子署名と必要な電子署名及びタイムスタンプをイメージ情報に付加して一体化して登録することが可能に構成されている。
【００３８】
１８０は品質評価部１３０で評価したイメージ情報と、該イメージ情報に対して文字認識部１４０で認識した文字認識結果を関連付けて登録するデータベースであり、登録情報の検索、修正後の検索情報に対する文字認識結果や処理履歴情報の再登録が可能に構成された記憶手段であるデータベースである。
【００３９】
データベース１８０における登録データの一例を図２に示す。図２は、本実施の形態例のデータベースにおける端末装置よりの送信データ登録部の構成例を示す図である。
【００４０】
図２において、１８１はイメージ情報毎に割り当てられる各イメージ情報に固有の固有番号（登録アドレス）が登録される固有番号部であり、固有番号部１８１で特定される端末装置よりのイメージ情報とともに該イメージ情報の付属情報が関連付けて登録されている。
【００４１】
１８２は当該情報を送信してきた端末装置、例えば端末装置を特定する端末特定情報が登録されるである送信端末情報部、１８３は後述する画像品質評価で良品質と評価された端末装置よりの撮影イメージ情報を基にした登録イメージ部、１８４は当該登録イメージ情報に対する文字認識結果部、１８５は登録イメージ情報をE文書として登録したか否かを示すE文書フラグ部、１８６は、例えば登録イメージ情報が伝票データであった場合に、当該伝票データに対する伝票処理が行われたか否かを示す処理履歴部である。
【００４２】
以上の構成を備える本実施の形態例の端末装置から、処理を望むイメージ情報、例えば処理を希望する伝票のイメージを画像撮影などの方法で取り込み、イメージ画像を通信媒体を介してサーバ装置１００に送り、サーバ装置１００は送られてきた伝票イメージに対する処理を行う、本実施の形態例のデータ処理を図３乃至図５などを参照して以下に説明する。
【００４３】
図３は本実施の形態例における主に伝票処理を行う場合の端末装置の制御例を説明するための図、図４は本実施の形態例における主に伝票処理を行う場合のサーバ装置１００の制御例を説明するための図、図５は図４の画像品質評価処理の詳細を説明するための図である。
【００４４】
まず図３を参照してカメラ機能付き端末装置、例えばカメラ機構付き携帯電話機を用いて処理すべき伝票を撮影し、サーバ１００を介して伝票処理システム２００で処理できる状態とする場合を例として説明する。しかし、本発明は伝票処理に限定されるものではなく、撮影することが可能なあらゆる書類、あるいは物体について適用可能である。例えば、カタログ販売における購入物品を撮影して処理する例でも、新聞広告欄の購入希望部分の撮影であっても良く、端末装置での撮影が可能な物であれば種別などにより限定はされない。
【００４５】
端末装置、例えば図１の携帯電話機４３０の所持者が、自己に送られてきた請求伝票の処理を行う場合を例として以下の説明を行う。
【００４６】
端末装置では、まずステップＳ１０において、キーボード部のキーが操作されたか否かを調べる。キー操作がされた場合にはステップＳ１３に進み、取消機能キーが操作されたのか否かを調べる。取消指示でない場合にはステップＳ１５に進み、サーバ装置への送信指示か否かを調べる。
【００４７】
送信指示でない場合にはステップＳ１７に進み、サーバ装置１００にすでに送ってある画像イメージの検索指示か否かを調べる。検索指示でもない場合にはステップＳ１９に進み、入力されたキーに応じた処理を行う。そして初期状態に戻る。
【００４８】
一方、取消キーの入力である場合にはステップＳ１３よりステップＳ２０に進み、実行中の処理を中止し、初期画面表示状態とする。よって、途中まで実行中の処理を初期状態に戻ることができる。
【００４９】
更に、検索指示入力であった場合にはステップＳ１７よりステップＳ２４に進み、すでに撮影した画像でサーバ装置に登録されている画像イメージが特定できる、例えば登録画像に割り当てられている固有番号を検索キーワードとして表示する。そしてステップＳ２６において表示されている検索対象の選択が行われるのを監視する。
【００５０】
検索対象の選択指定が行われるとサーバ装置１００に対して先に登録されているイメージ画像を特定する固有番号（ユニーク番号）と共に検索指示をネットワーク３００を介してサーバ装置１００に送る。
【００５１】
なお、この検索処理における検索キーワードとしては、図２における送信端末情報１８２として自端末の情報を送信して、データベース１８０に既登録されている自端末送信イメージ画像を一次検索情報として送ってもらい、これを表示して検索絞り込みを行っても良く、各種検索キーワードをサーバ装置１００に送って検索結果一覧を送ってもらい、徐々に検索対象を絞り込んでもよい。
【００５２】
この検索絞り込みには限定がなく、すでに他で提供されている各種の検索エンジンを利用して絞り込んでもよい。あるいは、登録イメージを特定する情報ではなく、文字認識結果を特定する情報等を参考とすることが可能に構成されている。あるいは、自己機が既送信した情報に関する履歴から選択するようにしてもよい。
【００５３】
そしてステップＳ３０で検索結果が送られてくるのを監視する。検索結果が送られてきた場合にはステップＳ３２に進み、データベース１８０の所望の登録イメージと対応する認識結果、処理履歴などを表示することになる。
【００５４】
一方、ステップＳ１０でキー操作でない場合にはステップＳ１０よりステップＳ３５に進み、撮影指示がなされたか否かを調べる。
【００５５】
携帯電話機４３０の所有者は、伝票処理を行おうとする場合、処理しようとする伝票を用意し、例えば机の上やテーブルなどの平らなものの上に載置する。そして携帯電話機のカメラ機構を用いて伝票を撮影する操作を行う。すなわち、カメラ機構を使用した撮影指示が検出されることになる。撮影指示がなされるとステップＳ３５よりステップＳ３７に進み、例えば上記のようにして撮影した画像を取り込む。
【００５６】
具体的には、カメラでの撮影モードを選択すると表示部に被写体の撮影状況が表示される。このため、表示部の表示状態を確認しながら伝票の必要部位が表示された状態となる様に位置決めし、被写体、例えば伝票の撮影を指示し、携帯電話機４３０内の不図示のメモリに撮影イメージ情報を記憶させることになる。
【００５７】
ここで、撮影されたイメージ情報は、ステップＳ３９に示すように表示部に表示される。このため、表示部に表示される撮影結果を目視確認して、伝票の必要部分が撮影されているか、撮影画像の焦点が合っているかなどを目視確認することが望ましい。
【００５８】
表示部を確認して被写体がうまく撮影されていないと判断した場合には実行中の処理を中断し（取消を行い）、次の被写体撮影を待つ状態とし、再度の伝票読み取り処理を行う指示を行い、先の処理をやり直すことが望ましい。これにより、後述する画像再送処理を未然に防ぐことにもつながる。
【００５９】
表示部の画像を確認してサーバ装置１００に送れると判断すると送信指示を行い、上述したステップＳ１５よりステップＳ２２の処理に移行し、表示されている撮影画像をサーバ装置１００に送ることになる。このサーバ装置１００への送信フォーマットには、少なくとも「撮影イメージ情報」と「端末特定情報」とが含まれる。
【００６０】
一方、ステップＳ３５で撮影指示でなかった場合にはステップＳ４０に進み、サーバ装置１００よりの撮影画像の再送信指示を受信したのか否かを調べる。再送信指示を受信していない場合にはステップＳ４４に進み、送信画像の受理通知を受信したか否かを調べる。
【００６１】
送信画像の受理通知を受信していない場合にはステップＳ４８に進み、対応する処理を行う。例えば第三者よりのメールを受信した場合などにおいてはこのメールを受信してメモリに格納し、メール受信を報知するなどの処理を行うなどする。
【００６２】
一方、ステップＳ４０で再送信指示を受信した場合には、サーバ１００に撮影情報を送信した結果、サーバ１００側で送られてきたイメージ情報の品質が満足のいく品質でないと判断した場合で、先の送信情報の破棄と送られてきたイメージ情報の処理が行われなかったことを示している。
【００６３】
このため、最も期近に送信した撮影画像、あるいは再送信指示で指定された撮影画像を再度撮影し直して再送信する必要があるため、ステップＳ４０よりステップＳ４２に進み、表示部に再送信指示の受信を表示する。
【００６４】
例えば、再送信を指示された撮影画像と、該撮影画像の品質が悪くサーバ装置１００で処理できない旨、再度撮影して送るべきことを表示する。この表示を確認した、例えば伝票処理を希望する携帯電話操作者は、再度伝票をセットして再度撮影操作を行うことになり、ステップＳ３５乃至ステップＳ３９の処理を再度行うことになる。この際は特に撮影に注意をはらい、焦点を合わし、伝票全体が確実に撮影できているようにすることが望ましい。
【００６５】
このようにして端末装置の操作者は、単に処理を希望する伝票の情報をカメラ機構で撮影して送るのみで、他に特別の負荷をかけることがないため、端末装置の制御をきわめて簡単なものと出来、複雑なプログラムをインストールすることなく簡単な操作で伝票撮影イメージ情報をサーバ１００に送ることができる。
【００６６】
撮影イメージ情報の送信は、例えばパケット通信機能などを用いて撮影画像をサーバ１００に送信しても、あるいは、携帯電話機のメール送信機能を用いて送信しても良く、何らかの方法で通信路を確立してサーバ１００に撮影画像を送れる方法であれば何れの方法を採用してもよい。
【００６７】
また、ステップＳ４４で送信画像の受理通知の受信であれば、ステップＳ４４よりステップＳ４６に進み、受理通知に添付されている情報を例えば検索キーワードに加え、検索対象に追加する。この受理通知には、例えば送信画像に割り当てられている固有番号情報やＥ文書化された旨を示す情報などが含まれている。
【００６８】
次の図４、図５を参照してサーバ１００側の処理を説明する。サーバ装置１００は、ネットワーク３００を介して端末装置、例えば携帯電話端末よりのパケット通信を受信したりメールを受信するなどのネットワーク３００を介した端末装置よりのアクセスが検出されると図４のステップＳ１００に示す端末装置に関する処理に移行する。
【００６９】
まずステップＳ１０１において、端末装置から送られてきたのがデータベース１８０に登録されている登録画像の検索指示か否かを調べる。登録画像情報の検索指示でない場合にはステップＳ１０２に進み、端末装置から登録すべき画像が送られてきたのか否かを調べる。端末装置より登録すべき画像が送られてきていない場合にはステップＳ１０３に進み、端末よりのデータベース１８０への登録イメージ情報の検索処理か否かを調べる。端末よりの検索指示でもない場合にはステップＳ１０４に進み、対応する処理を実行してリターンする。
【００７０】
端末装置より登録すべき画像が送られてきた場合にはステップＳ１０２よりステップＳ１０５に進み、端末装置のステップＳ２２に示す処理で送られてくる撮影画像を受信する。
【００７１】
そしてステップＳ２００において、品質評価部１３０を用いて受信したイメージ画像部分の画像の品質が満足のいく品質かどうかを評価する画像品質評価処理を行う。この画像品質評価処理の詳細は後述する。画像品質評価処理による評価が行われるとステップＳ１０６に進み、結果画像の品質が良品質と評価されたか否かを調べる。
【００７２】
良品質でなかった場合にはステップＳ１０７に進み、画像を送ってきた端末装置に対して、通信制御部１６０、ネットワーク３００を介して撮影画像の再送信指示を送る。再送信指示は、例えば送られてきた撮影画像を返信すると共に、画像中に重ねて送信画像品質不良により再送信を指示する旨のメッセージを含ませること等が考えられる。
【００７３】
ここでは、送信した画像を特定できる方法であれば、画像番号で撮影画像を特定するものであってもよい。そして端末装置との間の処理を終了する。その後この再送信指示に応じて再度撮影情報が送られてきた場合には再度上記処理を行うことになる。
【００７４】
一方、ステップＳ１０６で画像の品質が良品質である場合にはステップＳ１０６よりステップＳ１１０に進み、Ｅ文書化するために、Ｅ文書であることの認証を行う特定認証センター５００から、電子署名とタイムスタンプを受領し、登録イメージに付加してＥ文書としての認証を受けたことを明確化する。
【００７５】
続いてステップＳ１１１において、受信画像に固有番号を割り振り、品質評価部１３０で画像補正処理を行っていない場合にはＥ文書フラグがセットされた受信イメージ画像を、画像補正処理を行っている場合には補正したイメージ画像にＥ文書フラグがセットされたイメージ画像をデータベース１８０に例えば図２に示す形式で登録する。なお、このとき同時に端末装置より送られてきた端末特定情報を併せて登録する。この時点では文字認識結果１８４は含まれていない状態である。
【００７６】
受信したイメージ情報がＥ文書化する必要がないイメージである場合にはステップＳ１１０の処理を行わずに、ステップＳ１０６よりステップＳ１１１の処理に移行する。この場合には、Ｅ文書フラグはセットされないイメージ画像が登録される。
【００７７】
その後ステップＳ１１２において、文字認識部１４０を動作させて画像の必要領域について文字認識処理を行う。文字認識結果はステップＳ１１２に示す様に、対応する画像イメージ情報と関連付けてデータベース１８０に登録される。この処理により図２の文字認識結果１８４が格納され、当該処理を終了することになる。
【００７８】
文字認識を行う範囲は、伝票イメージを文字認識する場合には伝票の枠内の必要文字等であり、認識する対象は、数字、文字の他、予め登録されている外字パターンあるいは特定のマークなどを含めることができる。
【００７９】
この文字認識結果は、例えば、認識の結果、認識結果に確信が得られる場合（認識結果に誤りがないと予想される場合）には通常の色のキャラクタの形式で表示するようにし、認識結果に確信が得られない場合や誤認識の可能性がある場合には当該認識結果の表示色を変えたり、点滅表示させたり、アンダーライン表示したりして正常認識と思われる認識結果表示と区別がつく表示となるようにすることが望ましい。
【００８０】
端末装置の処理において、ステップＳ１０１でサーバ装置１００の操作部１２０よりの、あるいは伝票処理システム２００よりの登録画像検索指示であった場合にはステップＳ１５０に進み、検索指示に従ったデータベース１８０の登録情報検索処理を実行し、検索された登録イメージ情報と文字認識結果とを関連付けて例えば表示部１１０に表示する。例えば並列に並べて表示し、認識箇所と撮影イメージの対応する箇所が目視確認できる態様で表示する。
【００８１】
なお、伝票処理システム２００よりの検索指示であった場合には検索結果を伝票処理システム２００に送信して伝票処理システム２００の不図示の表示部にサーバ装置１００の場合と同じように表示して以下に示す処理と同様の処理を行い、修正結果と登録指示を送信してくることになる。これらの処理はサーバ装置１００の場合と同様であるため詳細説明を省略する。
【００８２】
この検索指示は、図２に示す登録情報の何れの項目も検索キーワードとして用いることができ、例えば、固有番号をキーワードとする場合の他、読み込んだ端末装置情報をキーワードとして、あるいは、文字認識結果の一部項目をキーワードとすることも可能に構成されている。なお、必要に応じてキーワードに応じた検索結果の表示、新たな検索キーワードの追加、絞り込まれた検索結果の表示、再度の絞り込みといった検索処理を必要に応じて繰り返すことになる。
【００８３】
そして続くステップＳ１５１において検索結果に対する修正指示があるか否か調べる。修正指示がない場合にはステップＳ１５４で登録指示があるか（認識結果の上書き指示があるか）を調べる。登録指示もなければステップＳ１５１に戻り修正指示または登録指示を監視する。
【００８４】
ここで、修正指示があった場合にはステップＳ１５１よりステップＳ１５２に進み、修正指示に従って認識結果を修正する。そして修正が行われると読み出してきた検索結果に対する認識結果が修正され、ステップＳ１５４に進む。この処理は、例えば操作者が撮影イメージ画像と認識結果とを見比べて、文字認識結果を確認し、必要な部分については認識結果の修正を行う処理である。
【００８５】
本実施の形態例では、端末装置（携帯端末や携帯電話機など）から撮影イメージ情報を受け取ったときに連続して文字認識処理を完結させるのではなく、撮影イメージ情報を文字認識結果と関連付けて登録し、その後に検索可能とすることにより、文字認識結果の確認をバッチ処理で行うことが可能に構成されている。
【００８６】
このため、例えば登録結果を人件費を低く抑えられる低賃金での処理が可能な諸外国に送り、この確認処理を行うことが可能となるため、実際の伝票処理を行う前に低費用で確実な伝票内容のチェックが可能となる。
【００８７】
この結果、端末装置のカメラ機能での撮影イメージの品質が非常な高品質でなくとも対応することができ、一般に広く使用されている携帯電話機のカメラ機構を用いて撮影した程度の品質のものであっても、確実かつ間違いなく処理することが可能となる。従って、特別の訓練を受けていない一般の人が撮影した撮影イメージを利用でき、利用範囲を大きく拡げることができる。
【００８８】
このように認識結果の確認を行い、登録内容を修正しようとする場合には、修正結果の再登録を指示する。するとステップＳ１５４よりステップＳ１５５の処理に移行し、修正された認識結果をデータベース１８０の新たな文字認識結果として登録する。
【００８９】
認識結果の再登録が行われるとステップＳ１５７に進み、認識結果に従った処理を実行してリターンする。ここでは、例えば伝票処理システム２００に再登録が行われた情報については伝票処理を行う準備が整ったとして報知することなどが考えられる。
【００９０】
なお、この場合に、処理履歴１８６に伝票処理は行われていないが認識結果が再登録されたものであることを示すフラグを付与することにより、少なくとも１回は認識結果がチェックされたことがわかる。このため、伝票処理システム２００では、文字認識結果が再登録されたものであることを確認してから実際の伝票処理を行うように取り扱うことができ、伝票処理の精度を上げることができる。
【００９１】
本実施の形態例では、文字認識部１４０での文字認識処理において、すべての文字についてすべて誤りがなくなるまで認識処理を行い、結果を確定するのではなく、例えば携帯電話機のカメラ機構などで読み取ったイメージ情報を処理の基本とし、イメージ情報に対する認識結果を関連付けて検索、読み出し可能な状態に管理し、両者を目視確認して適宜必要に応じて認識結果を修正可能とすることにより、認識誤りがあってもいつでもこれを修正できる状態に維持でき、後述する伝票処理を行っている場合でもいつでも処理経過を確認でき、最終的な処理ミスを防ぐことができる。
【００９２】
次にステップＳ２００の画像品質評価処理の詳細を図５のフローチャートも参照して以下に説明する。
【００９３】
画像品質評価処理では、ますステップＳ２０１で端末装置から受信したイメージ画像情報から必要な画像部分を切り出す切り出し処理を実行する。これは、例えば伝票撮影イメージであれば、伝票フォーマットに従った所定の罫線で囲まれた範囲のみがあれば必要な情報は得られるため、余分な部分の処理を行う負荷を軽減するためである。
【００９４】
つづいてステップＳ２０２において画像の傾き補正（スキュー補正）を行う。例えば、たとえは縦罫線あるいは横罫線をいくつか抽出し、上部と下部の横罫線の傾きが１８０度に近くなるように補正、あるいは左右端部の縦罫線の傾きが９０度に近くなるように補正する。
【００９５】
次にステップＳ２０３において台形補正を行う。これは、撮影時に焦点距離に短い部分は大きく、焦点距離の長い部分は小さく撮影されている場合に、この撮影イメージの大きさを揃えるためである。
【００９６】
これらの処理により撮影画像の補正を行い、その後ステップＳ２０４で所定領域のみ文字認識処理を行う。文字認識する領域は、例えば撮影イメージの四隅部分についてそれぞれ文字認識する。そしてステップＳ２０５に進む。
なお、文字認識するのは、伝票種別を表す特定の場所に表された「ロゴ」の認識、あるいは、所定形状のマークの認識処理、識別マークの認識処理、端部近傍の罫線の検出の有無等であり、要求されるイメージの要求レベルに合わせた閾値レベルが設定される。
【００９７】
上記の文字認識領域は以上の例に限定されるものではなく、中心部分について、あるいは上下端近傍部分、または左右端近傍部分についていくつか文字認識させることが考えられる。伝票フォーマットに対応付けて重要部分が認識できるかで決めてもよい。
【００９８】
また、本実施の形態例では、撮影画像の補正処理としてステップＳ２０１乃至ステップＳ２０３の処理を行ったが、以上の処理に限定されるものではなく、この中の任意の処理のみ行っても良く、あるいは、他の処理を追加して行っても良い。
【００９９】
追加処理には、ノイズ除去処理やぼかし処理、シャープネス処理、輪郭強調処理、写真修整処理、下地除去処理等任意の処理を適宜選択して実行してもよい。
【０１００】
ステップＳ２０５において文字認識結果を判断し、文字認識の結果正解の確率が所定閾値以上である場合（あるいは一義的に定まった場合、特定のロゴやマークが認識できた場合）には文字認識できた（イメージの品質が良好）と判断する。
【０１０１】
文字認識ができたと判断した場合にはステップＳ２０６に進み。撮影画像を良品質画像として評価し、補正処理を行った撮影画像を受信画像としてリターンする。
【０１０２】
一方、ステップＳ２０５で文字認識が全くできなかった場合、あるいは文字認識できた文字数が少なかった場合には認識できなかったとしてステップＳ２０７に進み、低品質画像として評価し、補正処理をキャンセルしてリターンする。
【０１０３】
以上に説明したように本実施の形態例では、携帯電話機などの一般市販端末装置をそのまま用いて必要な撮影イメージ画像を得ることができ、非常に汎用性の高い処理システムが構築できる。しかも、端末装置から必要な情報が取り込めるため、処理のために専用の店舗や専用の装置が不要となり、誰もが、どこからでも所望の伝票処理等の各種処理を行うことが可能となる。
【０１０４】
以上の説明では、端末装置で独自に撮影をしてからサーバ装置１００に撮影情報を送信したが、伝票を用意した状態で予め端末装置側からサーバ装置１００をアクセスし、伝票処理を行う旨の要求を行い、サーバ装置１００から伝票処理を行うためのガイダンス情報及び必要な制御手順を受信してから行っても良い。
【０１０５】
この場合には、端末装置の表示部から伝票処理のためのガイダンスが表示され、ガイダンスに従って伝票を撮影し、撮影結果の確認を行い、その後撮影イメージを送信させ、再送指示、あるいは撮影情報受付を確認して読み込み処理を終了するように制御できる。
【０１０６】
そして、その後伝票処理の状況を問い合わせ可能に制御してもよい。これにより、処理伝票種別などを予め特定することができ、処理の信頼性を上げることができる。
【０１０７】
以上の説明では、撮影情報の品質の評価を所定領域の文字認識結果で行う例を示したが、伝票フォーマットが正しく認識できるかで品質評価を行っても良い。この場合には必要な伝票の最外罫線部が撮影されて認識できたかで判断すれば良く、この部分の文字認識ができたかの文字認識結果と組みあわせて総合的に判断してもよい。
【０１０８】
あるいは、伝票フォーマットが判明している場合には、全体画像の大きさに比較した罫線の太さなどを判定し、一定範囲の罫線太さであれば画像焦点が合い、所定の解像度が確保できていると判断してもよい。
【０１０９】
本実施の形態例では、処理対象を撮影した段階で文字認識処理などすべての処理を完結しなくてもその後の処理を可能にしているため、単に撮影されている処理対象の撮影品質としてある程度の品質が担保されていれば足りるため、一般需要者が操作保持する端末装置、例えば携帯電話機を用いても、必要な処理が可能となる。
【０１１０】
〔第２の実施の形態例〕
以上の説明は、ネットワーク網２００に接続可能な端末装置は、カメラ機能を利用して処理対象を撮影してサーバ装置１００に送信するのみで、撮影した画像については撮影のやり直しを行うのみであった。
【０１１１】
しかしながら、本発明は以上の例に限定されるものではなく、端末装置に機能が高い場合には、端末装置側で撮影のみでなく、撮影画像に対する補正あるいは文字認識を行う等、良好な品質の画像であるか否かの判断機能を持たせるようにしても良い。
【０１１２】
端末装置側で撮影のみでなく、撮影画像に対する補正あるいは文字認識を行う等、良好な品質の画像であるか否かの判断機能を持たせるようにした本発明に係る第２の実施の形態例を以下に説明する。
【０１１３】
第２の実施の形態例においては、端末装置側に予め画像処理、文字認識処理を行うためのプログラムを格納しておいても、あるいは当該イメージ処理を行う前に、例えばサーバ装置１００あるいは他のセンター装置にプログラムのダウンロード要求を行い、要求に応じて送られてくるプログラムをダウンロードして必要な処理を行っても良く、また、処理を行う場合に必要最小限の範囲のプログラムを必要とする毎にその都度少しづつダウンロードして実行するものであってもよい。
【０１１４】
以下の説明は、処理を行う場合に必要最小限の範囲のプログラムを必要とする毎にその都度少しづつダウンロードして実行する例について行う。図６は本発明に係る第２の実施の形態例の端末装置側の処理を説明するためのフローチャートである。
【０１１５】
第２の実施の形態例においても、端末装置の画像処理を除く制御は上述した第１の実施の形態例における端末装置と同様であり、図３に示す処理と異なるのは、ステップＳ３９でイメージ画像を撮影した後にステップＳ１０に戻るのではなく、ステップＳ５０以下の処理を行う部分が相違するのみである。このため、以下の説明はステップＳ５０以下の処理について行い、他の処理についての説明は省略する。
【０１１６】
第２の実施の形態例では、ステップＳ３９における撮影画像の表示画面の一部に、画像を補正する必要性の有無を指示するための「補正ボタン」または「補正ボタン」と「補正なしボタン」とを表示させる。
【０１１７】
そして、例えば伝票画像などを撮影するとステップＳ３９の撮影画像の表示画面に表示されている「補正ボタン」または「補正なしボタン」のいずれかを指示することで次の処理に移行する。このため、ステップＳ５０において、撮影者は撮影した画像を確認して画像に対する補正処理を行うか否かを判断することになる。判断の結果、補正をする必要がないと判断すると補正なしを指示する。するとステップＳ５０よりステップＳ１０に戻る。
【０１１８】
一方、判断の結果、補正をする必要があると判断した場合には補正を指示することになる。するとステップＳ５０よりステップＳ５２に進み、どのような補正をするのかを選択し、必要なプログラムのダウンロード要求を例えばサーバ装置１００に対して行う。
【０１１９】
この必要プログラムのダウンロード要求する時の端末装置の表示画面例を図７に示す。図７において、６１０が実行するべき補正処理を選択したことを示す選択表示ガイド、６３０が選択するべき補正処理種別表示ガイド６１１乃至６１７が補正処理選択表示枠、６３１乃至６３７が選択可能な補正処理表示部、６５０が補正実行ボタン、６６０が取消ボタンである。
【０１２０】
ここで、端末装置が選択可能な補正処理は、プログラムを供給するサーバ装置側に依存しており、図６の例に限定されるものではなく、任意に選択実行可能であることはもちろんである。
【０１２１】
図７の例では、すでに切り出し処理と傾き処理にチェックが入っており（６１１、６１２）、傾き補正が選択された状態であり、不図示の「決定ボタン」を押下することで選択枠にチェックが入り、チェックがされてすでに選択されている補正処理が再び選択されたときには選択解除となる。
【０１２２】
このようにして行おうとする補正処理を選択して補正実行ボタン６５０を選択すると図６のステップＳ５２よりステップＳ５４に進み、選択された補正プログラムのダウンロードが行われ、続くステップＳ５６で補正処理が実行される。そしてステップＳ５８で補正処理を終了する場合で補正終了が指示された場合にはステップＳ１０に戻る。一方、次の補正処理を行う場合にはステップＳ５０に戻る。
【０１２３】
なお、選択された補正処理が多数に及ぶ場合には、一つずつの補正プログラムをダウンロードし、必要な補正を行い、続いて次の補正プログラムをダウンロードして次の補正を行うように制御する。これにより、端末装置の負荷を最小限に抑えることができる。
【０１２４】
図７に示した例では、一度に複数の補正処理が選択可能であったが、このうちの一つの補正処理のみ選択可能に制御し、複数の補正が必要な場合には繰り返し補正処理の選択実行を行うように制御してもよい。この場合の制御も図６に示す場合と同じである。
【０１２５】
以上説明したように第２の実施の形態例によれば、端末装置側でも必要な補正処理を実行可能であるため、品質が良好なイメージ情報を送ることが可能であり、サーバ装置に送られるイメージの品質が上がり、イメージ情報の生成し直し及び再送信の回数を軽減できる。
【０１２６】
これは、撮影者が撮影画像の品質に注意を払う機会が増えることになり、撮影画像品質の向上に寄与することができる。
【０１２７】
〔第３の実施の形態例〕
以上の説明は、端末装置よりサーバ装置に送られる情報の特定は、主に端末装置情報に基づいて特定した例について説明をした。しかし、イメージ情報を特定する根拠となる情報が端末装置情報とイメージを登録する際の時刻情報のみであるよりは、より多様な情報を元にイメージ情報の特定が可能な方が、例えば検索の場合などを考慮しても都合がよい。
【０１２８】
第３の実施の形態例では、この点に着目して端末装置である例えば携帯電話機などが近年標準装備してきているグローバル・ポジショニング・システム (GPS: Global Positioning System) 機能（以下、「ＧＰＳ機能」とも称す。）を活用して、イメージ情報を生成した端末装置の位置情報をイメージ情報と共に例えばサーバ装置に転送し、サーバ装置では、イメージ情報と共に送られてくる端末特定情報と共に、端末位置情報をイメージ情報と関連付けてデータべースに登録する。
【０１２９】
第３の実施の形態例では、上述した実施の形態例における図３あるいは図６のステップＳ２２の撮影画像送信処理において、「イメージ情報」と「端末特定情報」に加え、「端末装置の位置情報」を併せて送信する。
【０１３０】
この情報を受け取った例えばサーバ装置では、データベースでの登録情報に端末位置情報を加え、また位置情報で検索も可能とする。このように地球上の端末装置の位置情報を測位してイメージ情報と共に登録することが可能となるため、更に詳細な情報を得ることができ、伝票処理のみではなく、地域キャンペーンへの応募等、端末装置の位置情報を有効に活用できるアプリケーションへの適用など更に適用範囲を拡げることができる。
【０１３１】
第３の実施の形態例における位置情報は、一般に市販されている携帯電話機のＧＰＳ機能で採用されている位置情報の報知システムをそのまま利用することにより、携帯電話機のユーザに特別の負担をかけることなく、自動的に位置情報を収集することが可能となり、簡単な機能を加えるのみで更に広範囲への活用が可能となる。
【０１３２】
〔他の実施の形態例〕
以上説明した本実施の形態例では、端末装置、例えば携帯電話機などで撮影されたイメージ情報が適切な品質であるか否かはセンター装置側で全て行う例について説明した。しかし、本発明は以上の例に限定されるものではなく、携帯端末側で一部の品質認定処理を携帯端末側で行う例も本発明の他の実施の形態例に含まれる。
【０１３３】
例えば、上述した第２の実施の形態例の撮影画像補正処理機能を備えた端末装置に、品質判別用のパターン認識機能を備えさせ、撮影対象原稿などの所定の領域部分に撮影対象物の種別などを特定する所定イメージ情報、例えば特定のバーコードパターン、特定の記号パターン、特定文字列などを表示しておき、端末装置のパターン認識機能を用いて撮影したイメージ情報の所定領域からこの所定イメージ情報が認識されるか否かを自動認識し、所定領域に所定イメージ情報が認識できたパターン情報をセンター装置に送信する。
【０１３４】
この際、認識できた所定イメージ情報から撮影したイメージ情報の種別がある程度判別できるため、ネットワークなどに撮影イメージ情報を送信する時に同時に撮影イメージ種別情報を付加して送信してもよい。これにより、品質不良のイメージ情報を送信して再送となるリスクを未然に防止することができる。
なお、以上の端末装置は、第２の実施の形態例で説明した端末装置に品質判別機能を持たせた例について説明したが、第１の実施の形態例に記載した如くの画像補正機能を有さない端末装置に該品質判別用のパターン認識機能を持たせ、撮影画像に対して直接品質判別用のパターン認識を行い、正しくパターン認識ができたか否かで撮影のやり直しの指示を行うか制御してもよい。
【０１３５】
更に、以上の説明においては、本発明を伝票処理に適用した例を説明した。このため、伝票のパターン及び伝票の記入欄に必要な情報が記入された伝票イメージ情報の記入欄に記入されている文字パターンや数字パターンを認識して記載内容の整合性を確認してパターン認識の精度の確認及び記載内容の正誤の確認を行なうなど、必要な伝票処理を行うことを説明してきた。
【０１３６】
しかし、以上の例に限定されるものではなく、例えば、イメージ情報処理において、契約書の契約内容を表すイメージ情報の生成・撮影及び登録を行い、各種の契約申込業務に適用してもよい。この場合には、契約書の全内容を全て撮影などする必要はなく、契約者が実際に書き込んだ部分のみ撮影などしてこの部分のイメージ情報を登録するようにしてもよい。
【０１３７】
また、仕入・売上業務に本システムを使用してもよい。仕入れ業務（発注業務）に適用する場合には、仕入れ伝票（発注伝票）の例えば所定領域に表示されている伝票種別を特定できるパターンを認識して、伝票種別に応じたパターン認識するべき領域の文字・記号パターンに対して文字認識処理などを行い、固有の識別番号を付して登録される伝票イメージ情報に関連付けて認識結果を登録する。これにより、仮に認識結果に疑義が生じても、いつでも元データである撮影イメージ情報を確認することができ、並列表示して両者を目視確認したりすることができ、迅速かつ間違いのない伝票処理をおこなうことができる。
【０１３８】
更に、この場合にも、バッチ処理で認識結果が正しいか目視確認させることができ、このバッチ処理を人件費の廉価な土地で行わせることで、処理費を低く抑えることも容易にできる。
【０１３９】
更に、以上に説明したように、撮影機能を用いて撮影するなどして生成したイメージ情報を特有の識別番号を付して登録し、この登録イメージ情報に関連付けて認識結果を合わせ登録しておくことにより、認識結果を利用して、いつでも原イメージ情報を確認することができる。
【０１４０】
このため、以上に説明した各業務処理を容易かつ正確に行うことができる。更に、その業務処理にともなう変更・追加業務を行う場合においても、いつでも原イメージ情報を確認でき、この原イメージ情報を元データとしていつでも各種の処理を行うことができる。更に、原イメージ情報に必要に応じた証明・認証情報を付加する等して、例えばＥ文書化することにより、基準となる元データの信頼性を高めることができ、広範囲な分野での利用が可能となる。
【０１４１】
また、適切な品質であることを確認されたイメージ情報は、センター装置に送られた後、帳票上のイメージ情報認識と各種のチェック・編集、必要なデータ付加がなされ、センター装置で正否確認処理された後、保存されることから、登録イメージ情報の信頼性を確保することができ、いつでも利用確認することができる。
【０１４２】
登録イメージ情報には、固有の識別番号が付与されており、また、外部装置あるいは内部装置よりの検索が可能に構成されていることから、必要に応じて外部システムへ転送することができ、Ｅ文書化されている情報の場合には外部システムにおいても、信頼性を担保した状態に維持され、信頼性の高い情報として種々のアプリケーションに容易に使用することができる。
その他、請求のはいいに記載された発明の範囲を逸脱しない範囲で種々変形可能であり、上記記載内容の技術に限定されることなく、請求の範囲に表された機能、技術的思想の及ぶ範囲内にそのまま適用されうることは勿論である。
【図面の簡単な説明】
【０１４３】
【図１】本発明に係る一実施の形態例のイメージ処理システムを説明するためのブロック図である
【図２】本実施の形態例のデータベースにおける端末装置よりの送信データ登録部の構成例を示す図である。
【図３】本実施の形態例における主に伝票処理を行う場合の端末装置の制御例を説明するための図である。
【図４】本実施の形態例における主にサーバ装置の制御例を説明するための図である。
【図５】図４の画像品質評価処理の詳細を説明するための図である。
【図６】本発明に係る第２の実施の形態例の主に端末装置の制御例を説明するための図である。
【図７】第２の実施の形態例における端末装置の撮影画像補正指示表示画面例を示す図である。
【符号の説明】
【０１４４】
１００ サーバ装置
１１０ 表示部
１２０ 操作部
１３０ 品質評価部
１４０ 文字認識部
１５０ 登録制御部
１８０ データベース
１８１ 固有番号（登録アドレス）部
１８２ 送信端末情報部
１８３ 登録イメージ部
１８４ 文字認識結果部
１８５ 処理履歴部
２００ 伝票処理システム
３００ ネットワーク網
４１０〜４４０ カメラ機能が備えられている端末装置
５００ Ｅ文書特定認証センター
５１０ 時刻配信局
５５０ タイムスタンプ局
【特許請求の範囲】
【請求項１】
イメージを生成するイメージ生成手段と、
該イメージ生成手段で生成したイメージ中の所定領域のパターン認識を行い、パターン認識結果により前記イメージ生成手段で生成したイメージ情報が満足のいく品質か否かを確認する品質確認手段と、
前記品質評価手段が満足のいく品質のイメージ情報でなかったときに前記イメージ生成手段にイメージ情報の再生成を指示する再生成指示手段と、
前記品質確認手段が満足のいく品質と確認したイメージに固有の識別番号を付して登録する登録手段と、
前記品質確認手段が満足のいく品質と確認したイメージに対してパターン認識処理を行うパターン認識手段とを備え、
前記登録手段は、登録イメージ情報に、前記パターン認識手段が認識した当該登録イメージ情報に対するパターン認識結果を関連付けて登録することを特徴とするイメージ処理システム。
【請求項２】
前記品質確認手段は、前記イメージ生成手段が生成したイメージ情報の所定領域のパターンに対してパターン識別をおこない、パターン識別結果によりイメージ情報の品質を確認することを特徴とする請求項1記載のイメージ処理システム。
【請求項３】
前記パターン認識手段が認識するパターン情報は少なくとも文字パターン情報であり、該文字パターン情報をキャラクタデータに変換可能であることを特徴とする請求項１または請求項２記載のイメージ処理システム。
【請求項４】
前記パターン認識手段が認識するパターン情報は少なくとも撮影対象種別ごとに特有のパターン情報であることを特徴とする請求項１または請求項２記載のイメージ処理システム。
【請求項５】
前記イメージ生成手段は、通信媒体を介して他と通信可能な携帯端末装置に備えられた撮像手段と、該撮像手段の撮影画像を通信媒体を介して送信する送信手段とを含み、
前記再生成指示手段は満足のいく品質のイメージ情報でなかったときには前記携帯端末にイメージ情報の再撮影及び再送を指示することを特徴とする請求項１乃至請求項４のいずれかに記載のイメージ処理システム。
【請求項６】
イメージ情報を生成するイメージ生成手段を備える端末装置と、前記端末装置と通信媒体を介して通信可能なセンター装置が含まれるイメージ処理システムであって、
前記端末装置は、
前記通信媒体を介して前記センター装置との間で情報通信が可能な通信手段と、
前記通信手段により前記イメージ生成手段で生成したイメージを前記センター装置に送信するイメージ送信手段と、
前記通信手段を介して前記センター装置よりのイメージ再送要求受け取りを報知する報知手段とを備え、
前記センター装置は、前記通信媒体を介して送られてくる前記端末装置よりのイメージ情報を受信するイメージ受信手段と、
前記イメージ受信手段で受信したイメージ情報の品質を判断する品質判断手段と、
前記品質判断手段で判断した品質が満足のいく品質である場合に当該イメージに固有の番号を割り当てて登録する登録手段と、
前記登録するイメージ情報に対して文字認識処理を行う文字認識手段とを備え、
前記登録手段は、前記文字認識手段による文字認識結果を前記文字認識したイメージ情報と関連付けて登録することを特徴とするイメージ処理システム。
【請求項７】
前記端末装置はイメージ情報等を表示する表示手段を備え、前記イメージ生成手段は、イメージ情報を撮影可能なカメラ機能を含み、
前記表示手段は前記カメラ機能で撮影したイメージ情報を表示して撮影結果を目視確認可能であることを特徴とする請求項６記載のイメージ処理システム。
【請求項８】
前記センター装置の品質判断手段は、品質を判断するイメージ情報の少なくとも一部領域に対してパターン認識処理を行ない認識結果に従ってイメージ情報の品質を判断することを特徴とする請求項６又は請求項７に記載のイメージ処理システム。
【請求項９】
前記センター装置は、更に、前記品質判断手段で判断した品質が満足のいく品質でない場合に当該イメージを送ってきた端末装置にイメージ再送要求を送信する再送要求手段を備え、
先に送られてきたイメージ情報を未登録とすることを特徴とする請求項６乃至請求項８のいずれかに記載のイメージ処理システム。
【請求項１０】
前記センタ装置は、更に前記登録手段に登録されているイメージ情報及び文字認識結果を検索する検索手段と、
前記検索したイメージ情報と文字認識結果を表示する登録情報表示手段と、
前記文字認識結果の修正指示を受け付ける修正受付手段とを備え、
前記登録手段は、受け付けた修正指示に対応して前記文字認識結果を修正してイメージ情報に関連付けて再登録することを特徴とする請求項６乃至請求項９のいずれかに記載のイメージ処理システム。
【請求項１１】
前記端末装置の生成するイメージ情報は伝票情報であり、前記登録手段は受信した伝票イメージを登録し、前記文字認識手段は伝票イメージに対して文字認識を行い、伝票イメージに基づく伝票処理に加え、前記文字認識結果を利用可能とすることを特徴とする請求項６乃至請求項１０のいずれかに記載のイメージ情報処理システム。
【請求項１２】
前記品質判断手段は、受信したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記文字認識を行うことを特徴とする請求項６乃至請求項１１のいずれかに記載のイメージ情報処理システム。
【請求項１３】
前記端末装置のイメージ生成手段は、生成したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記イメージ送信手段によりイメージ情報を送信することを特徴とする請求項６乃至請求項１２のいずれかに記載のイメージ情報処理システム。
【請求項１４】
イメージ情報を生成するイメージ生成手段を備える端末装置と、前記端末装置と通信媒体を介して通信可能なセンター装置が含まれるイメージ処理システムにおけるイメージ処理方法であって、
前記端末装置は、前記通信媒体を介して前記センター装置との間で情報通信が可能な通信手段により前記イメージ生成手段で生成したイメージを前記センター装置に送信し、
前記通信手段が前記センター装置よりのイメージ再送要求を受信すると受信メッセージを表示するとともに、
前記センター装置は、記憶手段を備え、前記通信媒体を介して送られてくる前記端末装置よりのイメージ情報を受信し、
受信したイメージ情報の品質を判断し、判断した品質が満足のいく品質でない場合に当該イメージを送ってきた端末装置にイメージ再送要求を送信し、
前記判断した品質が満足のいく品質である場合には当該イメージ情報に固有の番号を割り振って前記記憶手段に記憶させると共に、登録するイメージ情報に対する文字認識を行ない前記文字認識結果を前記文字認識したイメージ情報とを関連付けて前記記憶手段に記憶することを特徴とするイメージ処理方法。
【請求項１５】
前記センター装置は、イメージ情報の少なくとも一部領域に対してパターン認識処理を行ない認識結果に従ってイメージ情報の品質を判断する判断手法を採用することを特徴とする請求項１４に記載のイメージ処理方法。
【請求項１６】
前記センタ装置は、更に前記記憶手段に記憶されているイメージ情報を検索可能とし、
検索したイメージ情報と文字認識結果を表示して前記文字認識結果の修正指示を受け付け、受け付けた修正指示に対応して前記文字認識結果を修正して前記記憶手段に記憶されているイメージ情報に関連付けて再登録することを特徴とする請求項１４または請求項１５に記載のイメージ処理方法。
【請求項１７】
前記端末装置の生成するイメージ情報は伝票情報であり、前記センタ装置は、受信した伝票イメージを登録すると共に伝票イメージに対して文字認識を行い、伝票イメージに基づく伝票処理に加え、前記文字認識結果を利用可能とすることを特徴とする請求項１４乃至請求項１６のいずれかに記載のイメージ処理方法。
【請求項１８】
前記生成イメージ情報の品質判断は、受信したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記文字認識を行うことを特徴とする請求項１４乃至請求項１７のいずれかに記載のイメージ処理方法。
【請求項１９】
前記端末装置のイメージ生成手段は、イメージ情報を撮影可能なカメラ機能を含み、
前記端末装置は、前記カメラ機能で撮影したイメージ情報を表示して撮影結果を目視確認可能であることを特徴とする請求項１７記載のイメージ処理方法。
【請求項２０】
前記端末装置は、撮影したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記センタ装置に送信することを特徴とする請求項１９に記載のイメージ処理方法。
【請求項１】
イメージを生成するイメージ生成手段と、
該イメージ生成手段で生成したイメージ中の所定領域のパターン認識を行い、パターン認識結果により前記イメージ生成手段で生成したイメージ情報が満足のいく品質か否かを確認する品質確認手段と、
前記品質評価手段が満足のいく品質のイメージ情報でなかったときに前記イメージ生成手段にイメージ情報の再生成を指示する再生成指示手段と、
前記品質確認手段が満足のいく品質と確認したイメージに固有の識別番号を付して登録する登録手段と、
前記品質確認手段が満足のいく品質と確認したイメージに対してパターン認識処理を行うパターン認識手段とを備え、
前記登録手段は、登録イメージ情報に、前記パターン認識手段が認識した当該登録イメージ情報に対するパターン認識結果を関連付けて登録することを特徴とするイメージ処理システム。
【請求項２】
前記品質確認手段は、前記イメージ生成手段が生成したイメージ情報の所定領域のパターンに対してパターン識別をおこない、パターン識別結果によりイメージ情報の品質を確認することを特徴とする請求項1記載のイメージ処理システム。
【請求項３】
前記パターン認識手段が認識するパターン情報は少なくとも文字パターン情報であり、該文字パターン情報をキャラクタデータに変換可能であることを特徴とする請求項１または請求項２記載のイメージ処理システム。
【請求項４】
前記パターン認識手段が認識するパターン情報は少なくとも撮影対象種別ごとに特有のパターン情報であることを特徴とする請求項１または請求項２記載のイメージ処理システム。
【請求項５】
前記イメージ生成手段は、通信媒体を介して他と通信可能な携帯端末装置に備えられた撮像手段と、該撮像手段の撮影画像を通信媒体を介して送信する送信手段とを含み、
前記再生成指示手段は満足のいく品質のイメージ情報でなかったときには前記携帯端末にイメージ情報の再撮影及び再送を指示することを特徴とする請求項１乃至請求項４のいずれかに記載のイメージ処理システム。
【請求項６】
イメージ情報を生成するイメージ生成手段を備える端末装置と、前記端末装置と通信媒体を介して通信可能なセンター装置が含まれるイメージ処理システムであって、
前記端末装置は、
前記通信媒体を介して前記センター装置との間で情報通信が可能な通信手段と、
前記通信手段により前記イメージ生成手段で生成したイメージを前記センター装置に送信するイメージ送信手段と、
前記通信手段を介して前記センター装置よりのイメージ再送要求受け取りを報知する報知手段とを備え、
前記センター装置は、前記通信媒体を介して送られてくる前記端末装置よりのイメージ情報を受信するイメージ受信手段と、
前記イメージ受信手段で受信したイメージ情報の品質を判断する品質判断手段と、
前記品質判断手段で判断した品質が満足のいく品質である場合に当該イメージに固有の番号を割り当てて登録する登録手段と、
前記登録するイメージ情報に対して文字認識処理を行う文字認識手段とを備え、
前記登録手段は、前記文字認識手段による文字認識結果を前記文字認識したイメージ情報と関連付けて登録することを特徴とするイメージ処理システム。
【請求項７】
前記端末装置はイメージ情報等を表示する表示手段を備え、前記イメージ生成手段は、イメージ情報を撮影可能なカメラ機能を含み、
前記表示手段は前記カメラ機能で撮影したイメージ情報を表示して撮影結果を目視確認可能であることを特徴とする請求項６記載のイメージ処理システム。
【請求項８】
前記センター装置の品質判断手段は、品質を判断するイメージ情報の少なくとも一部領域に対してパターン認識処理を行ない認識結果に従ってイメージ情報の品質を判断することを特徴とする請求項６又は請求項７に記載のイメージ処理システム。
【請求項９】
前記センター装置は、更に、前記品質判断手段で判断した品質が満足のいく品質でない場合に当該イメージを送ってきた端末装置にイメージ再送要求を送信する再送要求手段を備え、
先に送られてきたイメージ情報を未登録とすることを特徴とする請求項６乃至請求項８のいずれかに記載のイメージ処理システム。
【請求項１０】
前記センタ装置は、更に前記登録手段に登録されているイメージ情報及び文字認識結果を検索する検索手段と、
前記検索したイメージ情報と文字認識結果を表示する登録情報表示手段と、
前記文字認識結果の修正指示を受け付ける修正受付手段とを備え、
前記登録手段は、受け付けた修正指示に対応して前記文字認識結果を修正してイメージ情報に関連付けて再登録することを特徴とする請求項６乃至請求項９のいずれかに記載のイメージ処理システム。
【請求項１１】
前記端末装置の生成するイメージ情報は伝票情報であり、前記登録手段は受信した伝票イメージを登録し、前記文字認識手段は伝票イメージに対して文字認識を行い、伝票イメージに基づく伝票処理に加え、前記文字認識結果を利用可能とすることを特徴とする請求項６乃至請求項１０のいずれかに記載のイメージ情報処理システム。
【請求項１２】
前記品質判断手段は、受信したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記文字認識を行うことを特徴とする請求項６乃至請求項１１のいずれかに記載のイメージ情報処理システム。
【請求項１３】
前記端末装置のイメージ生成手段は、生成したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記イメージ送信手段によりイメージ情報を送信することを特徴とする請求項６乃至請求項１２のいずれかに記載のイメージ情報処理システム。
【請求項１４】
イメージ情報を生成するイメージ生成手段を備える端末装置と、前記端末装置と通信媒体を介して通信可能なセンター装置が含まれるイメージ処理システムにおけるイメージ処理方法であって、
前記端末装置は、前記通信媒体を介して前記センター装置との間で情報通信が可能な通信手段により前記イメージ生成手段で生成したイメージを前記センター装置に送信し、
前記通信手段が前記センター装置よりのイメージ再送要求を受信すると受信メッセージを表示するとともに、
前記センター装置は、記憶手段を備え、前記通信媒体を介して送られてくる前記端末装置よりのイメージ情報を受信し、
受信したイメージ情報の品質を判断し、判断した品質が満足のいく品質でない場合に当該イメージを送ってきた端末装置にイメージ再送要求を送信し、
前記判断した品質が満足のいく品質である場合には当該イメージ情報に固有の番号を割り振って前記記憶手段に記憶させると共に、登録するイメージ情報に対する文字認識を行ない前記文字認識結果を前記文字認識したイメージ情報とを関連付けて前記記憶手段に記憶することを特徴とするイメージ処理方法。
【請求項１５】
前記センター装置は、イメージ情報の少なくとも一部領域に対してパターン認識処理を行ない認識結果に従ってイメージ情報の品質を判断する判断手法を採用することを特徴とする請求項１４に記載のイメージ処理方法。
【請求項１６】
前記センタ装置は、更に前記記憶手段に記憶されているイメージ情報を検索可能とし、
検索したイメージ情報と文字認識結果を表示して前記文字認識結果の修正指示を受け付け、受け付けた修正指示に対応して前記文字認識結果を修正して前記記憶手段に記憶されているイメージ情報に関連付けて再登録することを特徴とする請求項１４または請求項１５に記載のイメージ処理方法。
【請求項１７】
前記端末装置の生成するイメージ情報は伝票情報であり、前記センタ装置は、受信した伝票イメージを登録すると共に伝票イメージに対して文字認識を行い、伝票イメージに基づく伝票処理に加え、前記文字認識結果を利用可能とすることを特徴とする請求項１４乃至請求項１６のいずれかに記載のイメージ処理方法。
【請求項１８】
前記生成イメージ情報の品質判断は、受信したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記文字認識を行うことを特徴とする請求項１４乃至請求項１７のいずれかに記載のイメージ処理方法。
【請求項１９】
前記端末装置のイメージ生成手段は、イメージ情報を撮影可能なカメラ機能を含み、
前記端末装置は、前記カメラ機能で撮影したイメージ情報を表示して撮影結果を目視確認可能であることを特徴とする請求項１７記載のイメージ処理方法。
【請求項２０】
前記端末装置は、撮影したイメージ情報に対して少なくともイメージ切り出し処理、傾き補正処理、台形修正処理のいずれかを実行した後に前記センタ装置に送信することを特徴とする請求項１９に記載のイメージ処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１３６２２１（Ｐ２０１０−１３６２２１Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３１１６２４（Ｐ２００８−３１１６２４）
【出願日】平成２０年１２月５日（２００８．１２．５）
【出願人】（５９９００１３８９）バンクテック・ジャパン株式会社 (10)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月５日（２００８．１２．５）
【出願人】（５９９００１３８９）バンクテック・ジャパン株式会社 (10)
【Ｆターム（参考）】
[ Back to top ]