画像処理装置および画像処理システム
【課題】書類から光学的に読み取った画像の文字列の判読性を確認できる画像処理装置を提供する。
【解決手段】画像処理装置は、画像取得部、記憶部、文字認識部、比較部、判読性判定部を備える。前記画像取得部は書類の画像を取得する。前記記憶部には前記書類特有の文字列候補が前記書類の種別毎に記憶されている。前記文字認識部は前記画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る。前記比較部は前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する。前記判読性判定部は、前記比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する。
【解決手段】画像処理装置は、画像取得部、記憶部、文字認識部、比較部、判読性判定部を備える。前記画像取得部は書類の画像を取得する。前記記憶部には前記書類特有の文字列候補が前記書類の種別毎に記憶されている。前記文字認識部は前記画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る。前記比較部は前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する。前記判読性判定部は、前記比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および画像処理システムに関する。
【背景技術】
【０００２】
従来から、例えば書類などの文書を電子化するにあたってはフラットベッドスキャナなどの画像読取装置が利用されている。
【０００３】
近年、デジタルカメラやカメラ付き携帯電話機などの携帯端末のカメラ性能の向上（高画素化）に伴い文書の電子化に携帯端末などが利用されつつある。
【０００４】
文字が記載された文書を携帯端末で撮影しその文書の画像を人が読むためには、携帯端末で読み取った画像が十分な判読性を備えていることが重要である。このため、より正確に判読性の有無を確認する技術の構築が必要である。
【０００５】
画像の判読性の判定する技術は、既にいくつか公開されているものの、文書の文字サイズから判読性を判定するため、実際に人が読めるかどうかといったことは判りにくい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６５９７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
また、読取元の文書が例えば複写したもの、つまりコピー文書などの場合、読取元の文書自体にコピーの影響による文字のつぶれなどが発生していた場合、携帯端末で読み取った画像では、文書に書かれている文字が実際に正しく読めるかどうかは定かでない。
【０００８】
本発明が解決しようとする課題は、書類から光学的に読み取った画像の文字列の判読性を確認することができる画像処理装置および画像処理システムを提供することにある。
【課題を解決するための手段】
【０００９】
実施形態の画像処理装置は、画像取得部、記憶部、文字認識部、比較部、判読性判定部を備える。前記画像取得部は書類の画像を取得する。前記記憶部には前記書類特有の文字列候補が前記書類の種別毎に記憶されている。前記文字認識部は前記画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る。前記比較部は前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する。前記判読性判定部は、前記比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の画像処理システムの概要構成を示す図である。
【図２】携帯端末の構成を示す図である。
【図３】サーバの構成を示す図である。
【図４】この画像処理システムの動作を示すフローチャートである。
【図５】携帯端末の手続き一覧画面を示す図である。
【図６】携帯端末の書類撮影画面を示す図である。
【図７】判読性ありと判定される書類画像の例を示す図である。
【図８】判読性なしと判定される書類画像の例を示す図である。
【図９】画像処理装置の第２実施形態の構成を示す図である。
【図１０】携帯端末のＱＲコード認識画面を示す図である。
【図１１】画像処理装置の第３実施形態の構成を示す図である。
【図１２】携帯端末の確認書類の送付画面を示す図である。
【図１３】携帯端末の送信メール作成画面を示す図である。
【図１４】携帯端末の添付データ選択メニュー画面を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態を詳細に説明する。
（第１実施形態）
図１は第１実施形態の画像処理装置の構成を示す図である。
図１に示すように、この第１実施形態の画像処理システムは、携帯端末１とサーバ３とを無線基地局２ａおよびインターネットなどのネットワーク２を介して接続して構成されている。携帯端末１は、例えばカメラ付き携帯電話機などであり、保険の契約者などが携行している。サーバ３は、例えば保険会社または保険契約の審査会社などに配置されている。
【００１２】
図２に示すように、携帯端末１は、表示部９、メモリ１０、キー操作部１１、画像取得部１２、手続き識別子付与部１３、画像ファイル暗号化部１４、無線通信部１５、画像廃棄部１６、制御部１７などを有している。
【００１３】
表示部９は例えば液晶ディスプレイなどである。メモリ１０は、各部が行う処理の作業領域として利用される。メモリ１０には、画像取得部１２により取得された画像が記憶される。キー操作部１１は、例えばテンキー、矢印キー、決定キーなどの操作ボタン（スイッチ）であり、表示部９に表示された複数の書類の種別の中からユーザが選択した書類の種別を受け付ける。キー操作部１１は、画像取得部１２で画像を取得する書類を指定する書類指定部として機能する。
【００１４】
画像取得部１２は、例えばＣＣＤカメラなどであり、被写体としての書類を撮像し、書類の画像を取得する。ＣＣＤカメラの性能（解像度）としては、例えば２００万画素（６５ｄｐｉ）以上あることが好ましい。
【００１５】
画像取得部１２による書類撮影の際にキー操作部１１の決定キーは撮像ボタンとして機能する。手続き識別子付与部１３は、キー操作部１１により受け付けられた書類の種別を示す識別子（識別情報）を画像に付与する。すなわち手続き識別子付与部１３は、画像取得部１２により取得された画像にキー操作部１１により指定（選択）された書類の種別を示す識別情報を付与する。
【００１６】
画像ファイル暗号化部１４は、書類の種別を示す識別子が付与された送信対象の画像を暗号化する。無線通信部１５は、画像ファイル暗号化部１４により暗号化された画像を送信する。すなわち無線通信部１５は、識別子が付与された書類の画像をサーバ３へ送信する送信部として機能する。画像廃棄部１６は、画像を送信した後、メモリ１０の画像を消去（廃棄）する。
【００１７】
図３に示すように、サーバ３は、通信部３１、画像復号部３２、手続き特定部３３、書類名特定部３４、書類キーワード抽出部３５、文字認識部３６、認識結果キーワード比較部３７、判読性および書類種別判定部３８、書類エッジ検出部３９、はみ出し判定部４０、記憶部４２、マスタＤＢ４３などを有している。
【００１８】
マスタＤＢ４３は、サーバ３の大容量記憶装置、例えばハードディスク装置などに設けられるデータベースである。マスタＤＢ４３には、例えば保険の手続きに関する情報（例えば手続き一覧に載せるリストなど）や保険契約者の情報などが記憶されている。 リストとしては、例えば「契約内容確認・変更」、「保険料振替口座変更」、「保険控除証明書再発行」、「改姓・名、契約者変更、受取人変更」、「入院給付金請求」、「死亡保険金請求」などがある。このうち、例えば「入院給付金請求」であれば、手続き名称として「給付金のご請求」、給付金の請求に関する詳細情報（必要な書類：「医療機関の領収書」、「診療報明細書」…など）といった書類の種別が記憶されている。
【００１９】
また「医療機関の領収書」という種別の書類であれば、この書類を特定するための領収書キーワード（書類特有の文字列候補）として、例えば「領収書」、「領収証」、「合計」、「円」、「￥」などが記憶されている。このようにマスタＤＢ４３は、書類特有の文字列候補を書類の種別毎に記憶する記憶部として機能する。
【００２０】
またマスタＤＢ４３には、画像に付加される書類の識別子に対応付けて保険の手続きが記憶されている。例えば識別子「０００１」に対して「契約内容確認・変更」が対応付けられ、識別子「０００２」に対して「保険料振替口座変更」が対応付けられ、識別子「０００３」に対して「保険控除証明書再発行」が対応付けられ、識別子「０００４」に対して「入院給付金請求」が対応付けられている。
【００２１】
通信部３１は、携帯端末１からネットワーク２を通じて送られてきた画像を受信し記憶部４２に記憶する。また通信部３１は、判読性および書類種別判定部３８により判定された画像の見読性判定結果を、ネットワーク２を通じて携帯端末１へ送り通知する判定結果通知部として機能する。画像復号部３２は、通信部３１により受信された画像を複合化する。
【００２２】
手続き特定部３３は、画像に付与された識別子から当該手続きを特定する。書類名特定部３４は、手続きにて必要となるいくつかの書類の候補（例えば医療機関の領収書」、「診療報明細書」など）を特定する。氏名特定部４４は、受信された電子メールの送信元アドレスから送信者（契約者）の氏名を特定する。これらの特定にはマスタＤＢ４３の契約情報を用いる。
【００２３】
書類キーワード抽出部３５は、特定された手続きに必要な書類の候補（「医療機関の領収書」、「診療報明細書」など）に対して予め設定されている文字（円、￥など）および文字列（合計、領収証、領収書など）をマスタＤＢ４３から読み出す。
【００２４】
文字認識部３６は、画像を文字認識し、個々の文字の画像とテキストとのペアを生成する。文字認識部３６は、認識結果の１文字ずつ連続するテキストの行を文節また単語の単位に区切った文字または文字列を生成する。すなわち文字認識部３６は、通信部３１により受信された画像に対して予め設定された文字認識辞書（図示せず）を用いて文字認識処理を行い、文字または文字列を得る。
【００２５】
認識結果キーワード比較部３７は、文字認識部３６により文字認識されて文字認識結果として得られた文字列と、書類キーワード抽出部３５により抽出された文字列とを比較し、一致／不一致を判定する。すなわち認識結果キーワード比較部３７は、文字認識部３６により得られた文字列とマスタＤＢ４３の書類の種別毎の文字列候補とを比較する。
【００２６】
判読性および書類種別判定部３８は、画像の階調変化率を求め、予め設定されている閾値と比較することでフォーカスの状態（ピントが合っているか否か）を判定し、書類画像の判読性（見読性）を判定する。
【００２７】
また判読性および書類種別判定部３８は、認識結果キーワード比較部３７により比較された結果、一致した文字列（書類キーワード）を多く持つ書類（例えば診療報明細書と医療機関の領収書などの候補のうち例えば医療機関の領収書の方）をマスタＤＢ４３の参照により特定する。すなわち判読性および書類種別判定部３８は、認識結果キーワード比較部３７により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、書類の種別と書類の判読性を判定する。
【００２８】
書類エッジ検出部３９は、当該画像中の書類縁線を検出する。はみ出し判定部４０は、書類縁線が、携帯端末１のＣＣＤカメラの撮影範囲から、はみ出しているか否かを判定する。
【００２９】
判定結果通知部４１は、はみ出し判定部４０による、はみ出し判定結果に応じた定型メッセージを記憶部４２から読み出し、通信部３１から携帯端末１へ通知する。すなわち判定結果通知部４１は、判読性および書類種別判定部３８により判定された書類の判読性判定結果を携帯端末１へ通知する。
【００３０】
記憶部４２は、例えばメモリなどであり、通信部３１により受信された画像が記憶される。記憶部４２には、はみ出し判定部４０の判定結果に応じた定型メッセージが記憶されている。
【００３１】
判定結果が「合格」の場合、書類の画像を正常に受理した旨の通知情報として、例えば「お送りいただきました証明書の画像は正常に受理されました。」などの定型メッセージが記憶部４２に記憶されている。
【００３２】
また判定結果が「不合格」の場合、読み取り不可の通知情報として「［重要］公的証明書の再撮影・ご送付のお願い。先ほどご送付頂きました写真は受理できませんでした。理由：文字列が読み取れませんでした。お願い：お手数ですが再撮影・ご送付をお願いいたします。」などの定型メッセージが記憶部４２に記憶されている。
【００３３】
次に、図４乃至図８を参照してこの第１実施形態の画像処理システムの動作を説明する。
この第１実施形態の場合、利用者が携帯端末１のキーを操作して、予め携帯端末１にインストールされている手続き用アプリケーションソフトウェア（以下「手続き用アプリ」と称す）を起動すると（図４のステップＳ１０１）、携帯端末１に、図５に示すような画面５１が表示される。手続き用アプリの起動は携帯端末１の所定のキー（アプリキーなど）の操作で行うものとする。
【００３４】
この画面５１には、「お手続き一覧」として、マスタＤＢ４３のリスト（「契約内容確認・変更」、「保険料振替口座変更」、「保険控除証明書再発行」、「改姓・名、契約者変更、受取人変更」、「入院給付金請求」、「死亡保険金請求」）が選択メニューとして表示されている。
【００３５】
この中から、ユーザがキー操作部１１により「入院給付金請求」を選択すると（ステップＳ１０２）、画像取得部１２は、図６に示すような撮像枠５２（カメラの視野）を表示する書類撮影画面５３を表示し（ステップＳ１０３）、ユーザが書類を撮像枠５２内に入れるようにして撮像ボタンを押下することで、書類の画像が画像取得部１２により撮影されると共に（ステップＳ１０４）、選択された書類の種別を示す識別子が、手続き識別子付与部１３により画像ファイル名に付与されて（ステップＳ１０５）、メモリ１０に記憶される。
【００３６】
さらにメモリ１０の画像は、画像ファイル暗号化部１４により暗号化された後（ステップＳ１０６）、無線通信部１５によりサーバ３へ送信される（ステップＳ１０７）。
【００３７】
画像が無線通信部１５によりサーバ３へ送信された後、画像廃棄部１６はメモリ１０に保持されている画像を廃棄する（ステップＳ１０８）。
【００３８】
一方、サーバ３では、携帯端末１からネットワーク２を通じて送られてきた、暗号化された画像が通信部３１により受信され、記憶部４２に記憶される。
【００３９】
すると、画像復号部３２が、記憶部４２の暗号化された画像を読み出して復号し（ステップＳ２０１）、その画像を記憶部４２に記憶する。
【００４０】
続いて、手続き特定部３３は、復号した画像のファイル名に付与された識別子をキーワードにしてマスタＤＢ４３を検索することで当該手続きの内容を特定する（ステップＳ２０２）。
【００４１】
手続きの内容が特定されると、書類名特定部３４は、当該手続きでマスタＤＢ４３を検索し（ステップＳ２０３）、当該手続きに必要となる書類を特定する。
【００４２】
この例のように、手続きが例えば入院給付金の精算であれば、画像のファイル名に付加されていた識別子より必要書類は"医療機関の領収書"か"医療報酬明細書"である。
【００４３】
書類が特定されると、書類キーワード抽出部３５は、特定された書類の書類キーワード（文字列）をマスタＤＢ４３から読み出し（ステップＳ２０４）、認識結果キーワード比較部３７に渡す。"医療機関の領収書"であれば、領収書キーワードとして、「領収書」、「領収証」、「合計」、「円」、「￥」などが予めマスタＤＢ４３に登録されており、これらがマスタＤＢ４３から読み出される。
【００４４】
また、文字認識部３６は、記憶部４２から画像を読み出し、文字認識し（ステップＳ２０５）、その認識結果として得られた文字列を認識結果キーワード比較部３７に渡す。
【００４５】
認識結果キーワード比較部３７は、書類キーワード抽出部３５から渡された文字列（文字列候補）と文字認識部３６から渡された文字認識結果の文字列とを比較して（ステップＳ２０６）、文字列候補と文字列との一致／不一致の度合い、つまり互いの文字列の一致度を判定する。
【００４６】
判読性および書類種別判定部３８は、認識結果キーワード比較部３７により比較された結果、文字列の一致度が予め設定された閾値よりも高い場合、画像の判読性有りするとともに、書類の種別（例えば医療機関の領収書」）を特定する（ステップＳ２０７）。なお閾値は例えば８０％などに設定されている。
【００４７】
この他、判読性および書類種別判定部３８は、画像の階調変化率を求め、求めた画像の階調変化率が予め設定された閾値を超えたか否かによりピントの合否を判定し、このピントの合否判定結果を判読性判定結果の一つに含める。
続いて書類エッジ検出部３９は、当該画像中の書類縁線（書類の外縁）を検出する（ステップＳ２０８）。
【００４８】
書類縁線が検出されると、はみ出し判定部４０は、図７に示すように、その検出された元画像７１の書類縁線７２が、予め設定された書類の画像の判読許容範囲（内側と外側の２つの基準線７３，７４）に接しているか否かによって、書類の傾きによる判読範囲からのはみ出しの有無を判定する（ステップＳ２０９）。
【００４９】
例えば図７に示すように、内側と外側の２つの基準線７３，７４に書類縁線７２が接していなければ、はみ出し判定部４０は、その書類の画像は判読できるもの、つまり判読性に問題がない「合格」と判定する。また図８に示すように、内側と外側の２つの基準線７３，７４のうち少なくとも一つに書類縁線７２が接していれば、はみ出し判定部４０は、その書類の画像は判読できないもの、つまり判読性に問題がある「不合格」と判定する。
【００５０】
はみ出し判定部４０は、書類エッジ検出部３９により検出された書類の外縁が画像からはみ出しているか否かを判定し、このはみ出し判定結果を判読性判定結果の一つに含める。
【００５１】
判定結果通知部４１は、はみ出し判定部４０による判定結果に応じた定型メッセージを記憶部４２から読み出し、通信部３１から携帯端末１へ通知する（ステップＳ２１０）。判定後の画像は制御部３０により記憶部４２からハードディスク装置などの不揮発性記憶部に移されて保存される（ステップＳ２１１）。
【００５２】
このようにこの第１実施形態によれば、携帯端末１で撮影した書類の画像のファイル名に書類の種別を示す識別子を付けてサーバ３へ送信し、サーバ３では、携帯端末１から受信された画像に対して文字認識して得られた文字列と画像のファイル名の識別子が示す書類を特定するいくつかの文字列候補との一致度を確認して書類の種別を判定するので、画像が書類としての判読性を備えており、かつ画像が手続きに必要な書類の画像であることを同時に確認でき、信頼性の高い確認結果を得ることができる。
【００５３】
また、取得した画像における被写体（書類）の外縁形状を検出し、被写領域における書類の占める割合の合否、及び被写領域からのはみ出しの有無を判定して結果を通知することで、撮影失敗時のリカバーを効率化し、後戻り作業を防ぐことに貢献できる。
【００５４】
さらに、画像における階調変化率を確認することにより被写体全体のピントの合否を確認することで、文字列だけでなく、絵や写真の部分についても見易さ（見読性）を確認できる。
【００５５】
なお上記実施形態では、携帯端末１の画面５１で、ユーザが所望の「手続き」を選択する場合について説明したが、「手続き」によっては複数の書類が必要なものもあり書類を特定するのに候補をあげ、その中から絞り込むという処理が必要である。
【００５６】
そこで、携帯端末１の画面５１でユーザが所望の「手続き」を選択した後、続いて、必要な書類の候補を列挙し、列挙した中でユーザが送る書類をユーザに選択させるようにすれば、撮像される書類が確定し、サーバ３側での書類種別の絞り込み処理が不用になる。
（第２実施形態）
次に図９、図１０を参照して第２実施形態を説明する。図９は第２実施形態の画像処理システムの携帯端末の構成を示す図である。なお第１実施形態と同様の構成には同一の符号を付しその説明は省略する。
【００５７】
図９に示すように、この第２実施形態の携帯端末１は、ＱＲコード認識部１８を備える。ＱＲコード認識部１８はユーザがこれから送る書類または手続きの識別情報（識別子）を含むＱＲコードを認識する。すなわちＱＲコード認識部１８は、画像取得部１２により画像が取得される書類の情報をＱＲコードから得る。
【００５８】
この第２実施形態の場合、手続き毎または書類毎のＱＲコードを予め紙などに印刷しておき、ＱＲコード認識部１８は、図１０に示すように、ＱＲコード認識画面８１を表示し、紙に印刷された所望の書類または手続きを示すＱＲコード８２を撮像し認識することで、書類または手続きを識別する識別情報（識別子）を取得し、それを書類画像のファイル名の一部として付加する。
【００５９】
書類画像のファイル名については、携帯端末１のデフォルトの名称を自動でリネームするか、または手操作にて「タイトル編集」でリネームする。
【００６０】
当該書類画像ファイルを取得後、ユーザによる送信操作により、当該書類画像ファイルは画像ファイル暗号化部１４により暗号化され、無線通信部１５からネットワーク２を通じてサーバ３へアップロードされる。そして、サーバ３へのアップロード後、メモリ１０に保持されていた画像ファイルは画像廃棄部１６により廃棄される。
【００６１】
サーバ３では、ネットワーク２から受信された、暗号化されたファイルを画像復号部３２が復号する。復号した画像ファイルの名称から書類種別を導出し、当該書類に含まれる書類キーワード（文字列の候補）をマスタＤＢ４３から読み出し、当該画像ファイルを文字認識し、その文字認識の結果と当該文書キーワード（文字列の候補）との一致／不一致を確認する。
【００６２】
書類キーワード（文字列の候補）と一致する文字認識結果の文字列が検出された場合には画像が判読性を備えており、かつ画像ファイルがその名称に付与されていた識別子が示す書類であることが確認できる。
【００６３】
一方、文書キーワード（文字列の候補）と一致する文字認識結果の文字列が検出されなかった場合には、その画像が判読性を備えていないか、または、受信された画像ファイルがその名称の識別子が示す書類でないことが確認できる。
【００６４】
このような判読性の判定の他に、画像中の書類紙面のエッジを検出し、画像内に書類全体が含まれているか（画像から書類がはみ出していないか）を確認する処理（はみ出し判定）を入れても良い）
このようにこの第２実施形態によれば、ＱＲコード認識部１８を設けて、書類または手続きを示すＱＲコード８２を認識することで、第１実施形態の効果に加え、書類または手続きの指定（入力）を容易にかつ確実に行うことができる。
すなわち、撮影した画像と合せて保持させる画像中に含まれる文字列情報をＱＲコードから取得することで、キー入力による手間・ミスを軽減できる。
（第３実施形態）
次に図１１乃至図１４を参照して第３実施形態を説明する。図１１は第３実施形態の画像処理システムの携帯端末１の構成を示す図である。なお第１実施形態及び第２実施形態と同様の構成には同一の符号を付しその説明は省略する。
【００６５】
この第３実施形態の携帯端末１は、図１１に示すように、アドレスリンク入力部１９を備える。このアドレスリンク入力部１９は、書類種別毎に異なるメールアドレスのリンクを手続きの選択項目に設定し、選択項目が選択されることで、送信メール作成画面を表示し、送信メール作成画面の宛先の欄に、リンクされたメールアドレスを入力する。
【００６６】
図１２に示すように、図５に示した手続き一覧の画面５１から、ユーザが例えば契約内容の確認・変更などの選択項目を選択すると、アドレスリンク入力部１９は、図１２に示すように、「ご本人確認書類の送付」というタイトルの画面８３（以下「確認書類の送付画面８３」と称す）を表示する。
【００６７】
この確認書類の送付画面８３には、「契約内容確認」、「契約内容変更」といった２つの選択項目と、同意のチェックボックスと、「戻る」、「入力」、「メニュー」のリンクボタンが設けられている。２つの選択項目にはそれぞれ異なる送信先メールアドレスがリンクされている。
【００６８】
マスタＤＢ４３には、例えば"契約内容確認"という選択項目に対してサーバ３の受信アドレスとして、例えばxx0@xxxx.co.jpが対応して記憶され、"契約内容変更"という選択項目に対してサーバ３の受信アドレスとして、例えばxx1@xxxx.co.jpなどが対応して記憶された手続き−電子メールアドレス対応テーブルが設けられている。またサーバ３は手続き毎の受信メールアカウントを有しており、電子メールが受信された受信メールアカウントによって、手続きの内容を判定できる。
【００６９】
ここで、例えば「契約内容変更」という選択項目を選択し、「同意…」のチェックボックスにチェックを入れ、「入力」のリンクボタンを操作すると、アドレスリンク入力部１９は、図１３に示すように、宛先にxx1@xxxx.co.jpを挿入した送信メール作成画面８４を表示する。
【００７０】
この送信メール作成画面８４にて、「添付」の項目を選択すると、アドレスリンク入力部１９は、図１４に示すような添付データ選択メニュー画面８５を表示する。
【００７１】
ここで、ユーザが「フォト撮影」の項目８６を選択すると、図６に示した撮像枠５２を設けた書類撮影画面５３を表示し、ユーザが書類を撮像枠５２内に入れるようにして撮像ボタンを押下することで、書類の画像が撮影され、撮影された書類の画像ファイルを添付した電子メールがサーバ３へ送信される。
【００７２】
この場合、サーバ３の通信部３１には、書類毎に設定されたサーバ３の受信アドレスが設定されており、通信部３１は、電子メールが受信された受信アドレスによって、電子メールに添付されている書類画像の種別を識別できる。またこの例の場合、マスタＤＢ４３には、事前にユーザ（契約者）の氏名または個人を特定する識別子（契約者番号など）とユーザの電子メールアドレス（送信元アドレス）とを対応付けて記憶しておく。
【００７３】
以下、この第３実施形態の動作を説明する。まず概要動作を説明する。この第２実施形態の場合、携帯端末１から手続きに必要な書類の画像を送信する際に、ユーザが、送信する書類を選択することで、書類の種別毎に設定された送信先サーバの電子メールアドレスを宛先とした送信メール作成画面（電子メール送信用の画面）を表示し、通常の撮影画像添付操作により取得した画像ファイルを添付した電子メールをサーバ３へ送信する。
【００７４】
サーバ３では、通信部３１が電子メールを受信し、添付されている当該画像ファイルを取得すると、受信した電子メールの送信元アドレスをキーにしてマスタＤＢ４３を検索し、当該電子メールの送付者（契約者）の氏名または個人を特定する識別子（契約者番号など）を読み出し、当該電子メールに添付されていた画像ファイルを文字認識した結果から送付者の氏名もしくは個人を特定する識別子を取得し、互いを比較および照合する。
【００７５】
マスタＤＢ４３から読み出した氏名や識別子と一致する文字列が文字認識結果から見つかった場合には画像が判読性を備えており、かつ電子メールの送付者に関する書類であることが確認できる。
【００７６】
一方、一致する文字列が文字認識結果から見つからなかった場合には画像が判読性を備えていないか、または、電子メールの送付者に関する書類でないことが確認できる。
【００７７】
なお、このような判読性の判定の他に、第１実施形態で説明したように、書類画像の階調変化率を求めたり、画像から書類縁線（エッジ）を検出し、はみ出し判定処理を行うことによりさらに確実な判読性の判定を行える。
【００７８】
次に、この第３実施形態の詳細な動作を説明する。
携帯端末１の手続き一覧の画面５１にて選択された「手続き」から、確認書類の送付画面８３（図１２参照）を表示し、種別の書類を画像取得部１２にて撮影し、その画像を画像ファイル暗号化部１４が暗号化して電子メールの添付ファイルとしてサーバ３へ送信する。電子メールをサーバ３へ送信した後、画像廃棄部１６はメモリ１０に保持されている書類の画像を廃棄（消去）する。
【００７９】
サーバ３では、携帯端末１から送信されてきた電子メールが通信部３１により受信されると、その電子メールに添付されている、暗号化されたファイルを画像復号部３２が復号し、復号した画像を記憶部４２に記憶する。
【００８０】
すると、手続き特定部３３は、画像が添付された電子メールの送信先アドレスから、手続きを特定する。また氏名特定部４４は、受信された電子メールから送信元アドレスを抽出し、マスタＤＢ４３を参照して送信元アドレスに該当する保険契約者の氏名を特定し、記憶部４２に記憶する。
【００８１】
続いて、文字認識部３６は、記憶部４２の画像を読み出して文字認識し、文字認識した結果として得られた文字列を記憶部４２に記憶する。
【００８２】
認識結果キーワード比較部３７は、記憶部４２に記憶された文字認識結果の文字列と保険契約者の氏名とを読み出して互いを比較し、比較結果を判読性及び書類種別判定部３８に渡す。
【００８３】
判読性及び書類種別判定部３８は、認識結果キーワード比較部３７から渡された比較結果を基に当該画像の書類としての判読性と、受信された電子メールの送信者が保険契約者であるか否かを判定する。例えば保険契約者の氏名と文字認識結果の文字列とが一致するものが検出された場合、画像の判読性ありと判定し、かつ画像が電子メールの送付者である契約者に関する書類であることが確認できる。
【００８４】
さらに、書類エッジ検出部３９は、当該画像中から書類縁線を検出し、はみ出し判定部４０にて撮影範囲からの書類縁線のはみ出しの有無を判定する。
【００８５】
これら判定結果（判読性判定結果とはみ出しを判定結果）を判定結果通知部４１が携帯端末１へ通知し、通知後、サーバ３では、判読性ありと判定された画像をハードディスク装置のマスタＤＢ４３の契約者情報と紐付けて保存する。
【００８６】
この第３実施形態によれば、書類毎に異なる送信先のアドレスリンクを入力するアドレスリンク入力部１９を携帯端末１に設けることで、サーバ３では、携帯端末１から送信されてきた電子メールの受信アドレスで書類を特定でき、手続きや書類を特定するためのファイル名から識別子抽出処理などをすることなく、電子メールに添付されてきた書類画像の判読性を確かめることができる。
【００８７】
なお、携帯端末１から電子メールで書類の画像をサーバ３へ送信する際、携帯端末１が例えば携帯電話機などでは、通信料金（パケット代）がユーザの負担になる。
【００８８】
そこで、ユーザに対してパケット代を補填するため、フリーダイヤルのように受け手がパケット代を払うメールアドレスの仕組みを用いる。具体的には、キャリヤ間のサービス連携により特定メールアドレスへのパケット送信料を受け手側に請求する仕組みを採用するか、もしくは例えば当該手続きが保険金請求であった場合、パケット代相当分を保険金等の支払い時に合算して入金する仕組みとすることが好ましい。
【００８９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９０】
上記実施形態では、携帯端末１としての一例に、カメラ付き携帯電話機を例示したが、この他、例えばインターネット接続機能とカメラ機能を搭載したＰＤＡ、タブレット端末および電子ブック端末などであってもよい。
【００９１】
タブレット端末に、携帯端末１の機能とサーバ３の機能とを備えることで、タブレット端末は、書類の画像を取得する画像取得部と、書類特有の文字列候補を書類の種別毎に記憶する記憶部と、画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字または文字列を得る文字認識部と、文字認識部により得られた文字列と記憶部の書類の種別毎の文字列候補とを比較する比較部と、比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、画像取得部により前記画像が取得された書類の種別と書類の判読性を判定する判読性判定部とを備える画像処理装置として機能する。
【００９２】
上記実施形態では、画像ファイル名の一部に、書類の種別を識別するための識別情報を含ませたが、この他、例えば画像自体に電子透かしとして識別情報を埋め込んでもよい。この場合、書類の識別情報を隠蔽できるため、書類画像の不正利用などを抑止することができる効果がある。
【００９３】
また上記実施形態に示した各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。電子媒体としては、例えばＣＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。
【符号の説明】
【００９４】
１…携帯端末、２…ネットワーク、２ａ…無線基地局、３…サーバ、９…表示部、１０…メモリ、１１…キー操作部、１２…画像取得部、１３…手続き識別子付与部、１４…画像ファイル暗号化部、１５…無線通信部、１６…画像廃棄部、１７…制御部、１８…ＱＲコード認識部、１９…アドレスリンク入力部、３０…制御部、３１…通信部、３２…画像復号部、３３…手続き特定部、３４…書類名特定部、３５…書類キーワード抽出部、３６…文字認識部、３７…認識結果キーワード比較部、３８…書類種別判定部、３９…書類エッジ検出部、４０…はみ出し判定部、４１…判定結果通知部、４２…記憶部、４４…氏名特定部。
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および画像処理システムに関する。
【背景技術】
【０００２】
従来から、例えば書類などの文書を電子化するにあたってはフラットベッドスキャナなどの画像読取装置が利用されている。
【０００３】
近年、デジタルカメラやカメラ付き携帯電話機などの携帯端末のカメラ性能の向上（高画素化）に伴い文書の電子化に携帯端末などが利用されつつある。
【０００４】
文字が記載された文書を携帯端末で撮影しその文書の画像を人が読むためには、携帯端末で読み取った画像が十分な判読性を備えていることが重要である。このため、より正確に判読性の有無を確認する技術の構築が必要である。
【０００５】
画像の判読性の判定する技術は、既にいくつか公開されているものの、文書の文字サイズから判読性を判定するため、実際に人が読めるかどうかといったことは判りにくい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６５９７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
また、読取元の文書が例えば複写したもの、つまりコピー文書などの場合、読取元の文書自体にコピーの影響による文字のつぶれなどが発生していた場合、携帯端末で読み取った画像では、文書に書かれている文字が実際に正しく読めるかどうかは定かでない。
【０００８】
本発明が解決しようとする課題は、書類から光学的に読み取った画像の文字列の判読性を確認することができる画像処理装置および画像処理システムを提供することにある。
【課題を解決するための手段】
【０００９】
実施形態の画像処理装置は、画像取得部、記憶部、文字認識部、比較部、判読性判定部を備える。前記画像取得部は書類の画像を取得する。前記記憶部には前記書類特有の文字列候補が前記書類の種別毎に記憶されている。前記文字認識部は前記画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る。前記比較部は前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する。前記判読性判定部は、前記比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の画像処理システムの概要構成を示す図である。
【図２】携帯端末の構成を示す図である。
【図３】サーバの構成を示す図である。
【図４】この画像処理システムの動作を示すフローチャートである。
【図５】携帯端末の手続き一覧画面を示す図である。
【図６】携帯端末の書類撮影画面を示す図である。
【図７】判読性ありと判定される書類画像の例を示す図である。
【図８】判読性なしと判定される書類画像の例を示す図である。
【図９】画像処理装置の第２実施形態の構成を示す図である。
【図１０】携帯端末のＱＲコード認識画面を示す図である。
【図１１】画像処理装置の第３実施形態の構成を示す図である。
【図１２】携帯端末の確認書類の送付画面を示す図である。
【図１３】携帯端末の送信メール作成画面を示す図である。
【図１４】携帯端末の添付データ選択メニュー画面を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態を詳細に説明する。
（第１実施形態）
図１は第１実施形態の画像処理装置の構成を示す図である。
図１に示すように、この第１実施形態の画像処理システムは、携帯端末１とサーバ３とを無線基地局２ａおよびインターネットなどのネットワーク２を介して接続して構成されている。携帯端末１は、例えばカメラ付き携帯電話機などであり、保険の契約者などが携行している。サーバ３は、例えば保険会社または保険契約の審査会社などに配置されている。
【００１２】
図２に示すように、携帯端末１は、表示部９、メモリ１０、キー操作部１１、画像取得部１２、手続き識別子付与部１３、画像ファイル暗号化部１４、無線通信部１５、画像廃棄部１６、制御部１７などを有している。
【００１３】
表示部９は例えば液晶ディスプレイなどである。メモリ１０は、各部が行う処理の作業領域として利用される。メモリ１０には、画像取得部１２により取得された画像が記憶される。キー操作部１１は、例えばテンキー、矢印キー、決定キーなどの操作ボタン（スイッチ）であり、表示部９に表示された複数の書類の種別の中からユーザが選択した書類の種別を受け付ける。キー操作部１１は、画像取得部１２で画像を取得する書類を指定する書類指定部として機能する。
【００１４】
画像取得部１２は、例えばＣＣＤカメラなどであり、被写体としての書類を撮像し、書類の画像を取得する。ＣＣＤカメラの性能（解像度）としては、例えば２００万画素（６５ｄｐｉ）以上あることが好ましい。
【００１５】
画像取得部１２による書類撮影の際にキー操作部１１の決定キーは撮像ボタンとして機能する。手続き識別子付与部１３は、キー操作部１１により受け付けられた書類の種別を示す識別子（識別情報）を画像に付与する。すなわち手続き識別子付与部１３は、画像取得部１２により取得された画像にキー操作部１１により指定（選択）された書類の種別を示す識別情報を付与する。
【００１６】
画像ファイル暗号化部１４は、書類の種別を示す識別子が付与された送信対象の画像を暗号化する。無線通信部１５は、画像ファイル暗号化部１４により暗号化された画像を送信する。すなわち無線通信部１５は、識別子が付与された書類の画像をサーバ３へ送信する送信部として機能する。画像廃棄部１６は、画像を送信した後、メモリ１０の画像を消去（廃棄）する。
【００１７】
図３に示すように、サーバ３は、通信部３１、画像復号部３２、手続き特定部３３、書類名特定部３４、書類キーワード抽出部３５、文字認識部３６、認識結果キーワード比較部３７、判読性および書類種別判定部３８、書類エッジ検出部３９、はみ出し判定部４０、記憶部４２、マスタＤＢ４３などを有している。
【００１８】
マスタＤＢ４３は、サーバ３の大容量記憶装置、例えばハードディスク装置などに設けられるデータベースである。マスタＤＢ４３には、例えば保険の手続きに関する情報（例えば手続き一覧に載せるリストなど）や保険契約者の情報などが記憶されている。 リストとしては、例えば「契約内容確認・変更」、「保険料振替口座変更」、「保険控除証明書再発行」、「改姓・名、契約者変更、受取人変更」、「入院給付金請求」、「死亡保険金請求」などがある。このうち、例えば「入院給付金請求」であれば、手続き名称として「給付金のご請求」、給付金の請求に関する詳細情報（必要な書類：「医療機関の領収書」、「診療報明細書」…など）といった書類の種別が記憶されている。
【００１９】
また「医療機関の領収書」という種別の書類であれば、この書類を特定するための領収書キーワード（書類特有の文字列候補）として、例えば「領収書」、「領収証」、「合計」、「円」、「￥」などが記憶されている。このようにマスタＤＢ４３は、書類特有の文字列候補を書類の種別毎に記憶する記憶部として機能する。
【００２０】
またマスタＤＢ４３には、画像に付加される書類の識別子に対応付けて保険の手続きが記憶されている。例えば識別子「０００１」に対して「契約内容確認・変更」が対応付けられ、識別子「０００２」に対して「保険料振替口座変更」が対応付けられ、識別子「０００３」に対して「保険控除証明書再発行」が対応付けられ、識別子「０００４」に対して「入院給付金請求」が対応付けられている。
【００２１】
通信部３１は、携帯端末１からネットワーク２を通じて送られてきた画像を受信し記憶部４２に記憶する。また通信部３１は、判読性および書類種別判定部３８により判定された画像の見読性判定結果を、ネットワーク２を通じて携帯端末１へ送り通知する判定結果通知部として機能する。画像復号部３２は、通信部３１により受信された画像を複合化する。
【００２２】
手続き特定部３３は、画像に付与された識別子から当該手続きを特定する。書類名特定部３４は、手続きにて必要となるいくつかの書類の候補（例えば医療機関の領収書」、「診療報明細書」など）を特定する。氏名特定部４４は、受信された電子メールの送信元アドレスから送信者（契約者）の氏名を特定する。これらの特定にはマスタＤＢ４３の契約情報を用いる。
【００２３】
書類キーワード抽出部３５は、特定された手続きに必要な書類の候補（「医療機関の領収書」、「診療報明細書」など）に対して予め設定されている文字（円、￥など）および文字列（合計、領収証、領収書など）をマスタＤＢ４３から読み出す。
【００２４】
文字認識部３６は、画像を文字認識し、個々の文字の画像とテキストとのペアを生成する。文字認識部３６は、認識結果の１文字ずつ連続するテキストの行を文節また単語の単位に区切った文字または文字列を生成する。すなわち文字認識部３６は、通信部３１により受信された画像に対して予め設定された文字認識辞書（図示せず）を用いて文字認識処理を行い、文字または文字列を得る。
【００２５】
認識結果キーワード比較部３７は、文字認識部３６により文字認識されて文字認識結果として得られた文字列と、書類キーワード抽出部３５により抽出された文字列とを比較し、一致／不一致を判定する。すなわち認識結果キーワード比較部３７は、文字認識部３６により得られた文字列とマスタＤＢ４３の書類の種別毎の文字列候補とを比較する。
【００２６】
判読性および書類種別判定部３８は、画像の階調変化率を求め、予め設定されている閾値と比較することでフォーカスの状態（ピントが合っているか否か）を判定し、書類画像の判読性（見読性）を判定する。
【００２７】
また判読性および書類種別判定部３８は、認識結果キーワード比較部３７により比較された結果、一致した文字列（書類キーワード）を多く持つ書類（例えば診療報明細書と医療機関の領収書などの候補のうち例えば医療機関の領収書の方）をマスタＤＢ４３の参照により特定する。すなわち判読性および書類種別判定部３８は、認識結果キーワード比較部３７により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、書類の種別と書類の判読性を判定する。
【００２８】
書類エッジ検出部３９は、当該画像中の書類縁線を検出する。はみ出し判定部４０は、書類縁線が、携帯端末１のＣＣＤカメラの撮影範囲から、はみ出しているか否かを判定する。
【００２９】
判定結果通知部４１は、はみ出し判定部４０による、はみ出し判定結果に応じた定型メッセージを記憶部４２から読み出し、通信部３１から携帯端末１へ通知する。すなわち判定結果通知部４１は、判読性および書類種別判定部３８により判定された書類の判読性判定結果を携帯端末１へ通知する。
【００３０】
記憶部４２は、例えばメモリなどであり、通信部３１により受信された画像が記憶される。記憶部４２には、はみ出し判定部４０の判定結果に応じた定型メッセージが記憶されている。
【００３１】
判定結果が「合格」の場合、書類の画像を正常に受理した旨の通知情報として、例えば「お送りいただきました証明書の画像は正常に受理されました。」などの定型メッセージが記憶部４２に記憶されている。
【００３２】
また判定結果が「不合格」の場合、読み取り不可の通知情報として「［重要］公的証明書の再撮影・ご送付のお願い。先ほどご送付頂きました写真は受理できませんでした。理由：文字列が読み取れませんでした。お願い：お手数ですが再撮影・ご送付をお願いいたします。」などの定型メッセージが記憶部４２に記憶されている。
【００３３】
次に、図４乃至図８を参照してこの第１実施形態の画像処理システムの動作を説明する。
この第１実施形態の場合、利用者が携帯端末１のキーを操作して、予め携帯端末１にインストールされている手続き用アプリケーションソフトウェア（以下「手続き用アプリ」と称す）を起動すると（図４のステップＳ１０１）、携帯端末１に、図５に示すような画面５１が表示される。手続き用アプリの起動は携帯端末１の所定のキー（アプリキーなど）の操作で行うものとする。
【００３４】
この画面５１には、「お手続き一覧」として、マスタＤＢ４３のリスト（「契約内容確認・変更」、「保険料振替口座変更」、「保険控除証明書再発行」、「改姓・名、契約者変更、受取人変更」、「入院給付金請求」、「死亡保険金請求」）が選択メニューとして表示されている。
【００３５】
この中から、ユーザがキー操作部１１により「入院給付金請求」を選択すると（ステップＳ１０２）、画像取得部１２は、図６に示すような撮像枠５２（カメラの視野）を表示する書類撮影画面５３を表示し（ステップＳ１０３）、ユーザが書類を撮像枠５２内に入れるようにして撮像ボタンを押下することで、書類の画像が画像取得部１２により撮影されると共に（ステップＳ１０４）、選択された書類の種別を示す識別子が、手続き識別子付与部１３により画像ファイル名に付与されて（ステップＳ１０５）、メモリ１０に記憶される。
【００３６】
さらにメモリ１０の画像は、画像ファイル暗号化部１４により暗号化された後（ステップＳ１０６）、無線通信部１５によりサーバ３へ送信される（ステップＳ１０７）。
【００３７】
画像が無線通信部１５によりサーバ３へ送信された後、画像廃棄部１６はメモリ１０に保持されている画像を廃棄する（ステップＳ１０８）。
【００３８】
一方、サーバ３では、携帯端末１からネットワーク２を通じて送られてきた、暗号化された画像が通信部３１により受信され、記憶部４２に記憶される。
【００３９】
すると、画像復号部３２が、記憶部４２の暗号化された画像を読み出して復号し（ステップＳ２０１）、その画像を記憶部４２に記憶する。
【００４０】
続いて、手続き特定部３３は、復号した画像のファイル名に付与された識別子をキーワードにしてマスタＤＢ４３を検索することで当該手続きの内容を特定する（ステップＳ２０２）。
【００４１】
手続きの内容が特定されると、書類名特定部３４は、当該手続きでマスタＤＢ４３を検索し（ステップＳ２０３）、当該手続きに必要となる書類を特定する。
【００４２】
この例のように、手続きが例えば入院給付金の精算であれば、画像のファイル名に付加されていた識別子より必要書類は"医療機関の領収書"か"医療報酬明細書"である。
【００４３】
書類が特定されると、書類キーワード抽出部３５は、特定された書類の書類キーワード（文字列）をマスタＤＢ４３から読み出し（ステップＳ２０４）、認識結果キーワード比較部３７に渡す。"医療機関の領収書"であれば、領収書キーワードとして、「領収書」、「領収証」、「合計」、「円」、「￥」などが予めマスタＤＢ４３に登録されており、これらがマスタＤＢ４３から読み出される。
【００４４】
また、文字認識部３６は、記憶部４２から画像を読み出し、文字認識し（ステップＳ２０５）、その認識結果として得られた文字列を認識結果キーワード比較部３７に渡す。
【００４５】
認識結果キーワード比較部３７は、書類キーワード抽出部３５から渡された文字列（文字列候補）と文字認識部３６から渡された文字認識結果の文字列とを比較して（ステップＳ２０６）、文字列候補と文字列との一致／不一致の度合い、つまり互いの文字列の一致度を判定する。
【００４６】
判読性および書類種別判定部３８は、認識結果キーワード比較部３７により比較された結果、文字列の一致度が予め設定された閾値よりも高い場合、画像の判読性有りするとともに、書類の種別（例えば医療機関の領収書」）を特定する（ステップＳ２０７）。なお閾値は例えば８０％などに設定されている。
【００４７】
この他、判読性および書類種別判定部３８は、画像の階調変化率を求め、求めた画像の階調変化率が予め設定された閾値を超えたか否かによりピントの合否を判定し、このピントの合否判定結果を判読性判定結果の一つに含める。
続いて書類エッジ検出部３９は、当該画像中の書類縁線（書類の外縁）を検出する（ステップＳ２０８）。
【００４８】
書類縁線が検出されると、はみ出し判定部４０は、図７に示すように、その検出された元画像７１の書類縁線７２が、予め設定された書類の画像の判読許容範囲（内側と外側の２つの基準線７３，７４）に接しているか否かによって、書類の傾きによる判読範囲からのはみ出しの有無を判定する（ステップＳ２０９）。
【００４９】
例えば図７に示すように、内側と外側の２つの基準線７３，７４に書類縁線７２が接していなければ、はみ出し判定部４０は、その書類の画像は判読できるもの、つまり判読性に問題がない「合格」と判定する。また図８に示すように、内側と外側の２つの基準線７３，７４のうち少なくとも一つに書類縁線７２が接していれば、はみ出し判定部４０は、その書類の画像は判読できないもの、つまり判読性に問題がある「不合格」と判定する。
【００５０】
はみ出し判定部４０は、書類エッジ検出部３９により検出された書類の外縁が画像からはみ出しているか否かを判定し、このはみ出し判定結果を判読性判定結果の一つに含める。
【００５１】
判定結果通知部４１は、はみ出し判定部４０による判定結果に応じた定型メッセージを記憶部４２から読み出し、通信部３１から携帯端末１へ通知する（ステップＳ２１０）。判定後の画像は制御部３０により記憶部４２からハードディスク装置などの不揮発性記憶部に移されて保存される（ステップＳ２１１）。
【００５２】
このようにこの第１実施形態によれば、携帯端末１で撮影した書類の画像のファイル名に書類の種別を示す識別子を付けてサーバ３へ送信し、サーバ３では、携帯端末１から受信された画像に対して文字認識して得られた文字列と画像のファイル名の識別子が示す書類を特定するいくつかの文字列候補との一致度を確認して書類の種別を判定するので、画像が書類としての判読性を備えており、かつ画像が手続きに必要な書類の画像であることを同時に確認でき、信頼性の高い確認結果を得ることができる。
【００５３】
また、取得した画像における被写体（書類）の外縁形状を検出し、被写領域における書類の占める割合の合否、及び被写領域からのはみ出しの有無を判定して結果を通知することで、撮影失敗時のリカバーを効率化し、後戻り作業を防ぐことに貢献できる。
【００５４】
さらに、画像における階調変化率を確認することにより被写体全体のピントの合否を確認することで、文字列だけでなく、絵や写真の部分についても見易さ（見読性）を確認できる。
【００５５】
なお上記実施形態では、携帯端末１の画面５１で、ユーザが所望の「手続き」を選択する場合について説明したが、「手続き」によっては複数の書類が必要なものもあり書類を特定するのに候補をあげ、その中から絞り込むという処理が必要である。
【００５６】
そこで、携帯端末１の画面５１でユーザが所望の「手続き」を選択した後、続いて、必要な書類の候補を列挙し、列挙した中でユーザが送る書類をユーザに選択させるようにすれば、撮像される書類が確定し、サーバ３側での書類種別の絞り込み処理が不用になる。
（第２実施形態）
次に図９、図１０を参照して第２実施形態を説明する。図９は第２実施形態の画像処理システムの携帯端末の構成を示す図である。なお第１実施形態と同様の構成には同一の符号を付しその説明は省略する。
【００５７】
図９に示すように、この第２実施形態の携帯端末１は、ＱＲコード認識部１８を備える。ＱＲコード認識部１８はユーザがこれから送る書類または手続きの識別情報（識別子）を含むＱＲコードを認識する。すなわちＱＲコード認識部１８は、画像取得部１２により画像が取得される書類の情報をＱＲコードから得る。
【００５８】
この第２実施形態の場合、手続き毎または書類毎のＱＲコードを予め紙などに印刷しておき、ＱＲコード認識部１８は、図１０に示すように、ＱＲコード認識画面８１を表示し、紙に印刷された所望の書類または手続きを示すＱＲコード８２を撮像し認識することで、書類または手続きを識別する識別情報（識別子）を取得し、それを書類画像のファイル名の一部として付加する。
【００５９】
書類画像のファイル名については、携帯端末１のデフォルトの名称を自動でリネームするか、または手操作にて「タイトル編集」でリネームする。
【００６０】
当該書類画像ファイルを取得後、ユーザによる送信操作により、当該書類画像ファイルは画像ファイル暗号化部１４により暗号化され、無線通信部１５からネットワーク２を通じてサーバ３へアップロードされる。そして、サーバ３へのアップロード後、メモリ１０に保持されていた画像ファイルは画像廃棄部１６により廃棄される。
【００６１】
サーバ３では、ネットワーク２から受信された、暗号化されたファイルを画像復号部３２が復号する。復号した画像ファイルの名称から書類種別を導出し、当該書類に含まれる書類キーワード（文字列の候補）をマスタＤＢ４３から読み出し、当該画像ファイルを文字認識し、その文字認識の結果と当該文書キーワード（文字列の候補）との一致／不一致を確認する。
【００６２】
書類キーワード（文字列の候補）と一致する文字認識結果の文字列が検出された場合には画像が判読性を備えており、かつ画像ファイルがその名称に付与されていた識別子が示す書類であることが確認できる。
【００６３】
一方、文書キーワード（文字列の候補）と一致する文字認識結果の文字列が検出されなかった場合には、その画像が判読性を備えていないか、または、受信された画像ファイルがその名称の識別子が示す書類でないことが確認できる。
【００６４】
このような判読性の判定の他に、画像中の書類紙面のエッジを検出し、画像内に書類全体が含まれているか（画像から書類がはみ出していないか）を確認する処理（はみ出し判定）を入れても良い）
このようにこの第２実施形態によれば、ＱＲコード認識部１８を設けて、書類または手続きを示すＱＲコード８２を認識することで、第１実施形態の効果に加え、書類または手続きの指定（入力）を容易にかつ確実に行うことができる。
すなわち、撮影した画像と合せて保持させる画像中に含まれる文字列情報をＱＲコードから取得することで、キー入力による手間・ミスを軽減できる。
（第３実施形態）
次に図１１乃至図１４を参照して第３実施形態を説明する。図１１は第３実施形態の画像処理システムの携帯端末１の構成を示す図である。なお第１実施形態及び第２実施形態と同様の構成には同一の符号を付しその説明は省略する。
【００６５】
この第３実施形態の携帯端末１は、図１１に示すように、アドレスリンク入力部１９を備える。このアドレスリンク入力部１９は、書類種別毎に異なるメールアドレスのリンクを手続きの選択項目に設定し、選択項目が選択されることで、送信メール作成画面を表示し、送信メール作成画面の宛先の欄に、リンクされたメールアドレスを入力する。
【００６６】
図１２に示すように、図５に示した手続き一覧の画面５１から、ユーザが例えば契約内容の確認・変更などの選択項目を選択すると、アドレスリンク入力部１９は、図１２に示すように、「ご本人確認書類の送付」というタイトルの画面８３（以下「確認書類の送付画面８３」と称す）を表示する。
【００６７】
この確認書類の送付画面８３には、「契約内容確認」、「契約内容変更」といった２つの選択項目と、同意のチェックボックスと、「戻る」、「入力」、「メニュー」のリンクボタンが設けられている。２つの選択項目にはそれぞれ異なる送信先メールアドレスがリンクされている。
【００６８】
マスタＤＢ４３には、例えば"契約内容確認"という選択項目に対してサーバ３の受信アドレスとして、例えばxx0@xxxx.co.jpが対応して記憶され、"契約内容変更"という選択項目に対してサーバ３の受信アドレスとして、例えばxx1@xxxx.co.jpなどが対応して記憶された手続き−電子メールアドレス対応テーブルが設けられている。またサーバ３は手続き毎の受信メールアカウントを有しており、電子メールが受信された受信メールアカウントによって、手続きの内容を判定できる。
【００６９】
ここで、例えば「契約内容変更」という選択項目を選択し、「同意…」のチェックボックスにチェックを入れ、「入力」のリンクボタンを操作すると、アドレスリンク入力部１９は、図１３に示すように、宛先にxx1@xxxx.co.jpを挿入した送信メール作成画面８４を表示する。
【００７０】
この送信メール作成画面８４にて、「添付」の項目を選択すると、アドレスリンク入力部１９は、図１４に示すような添付データ選択メニュー画面８５を表示する。
【００７１】
ここで、ユーザが「フォト撮影」の項目８６を選択すると、図６に示した撮像枠５２を設けた書類撮影画面５３を表示し、ユーザが書類を撮像枠５２内に入れるようにして撮像ボタンを押下することで、書類の画像が撮影され、撮影された書類の画像ファイルを添付した電子メールがサーバ３へ送信される。
【００７２】
この場合、サーバ３の通信部３１には、書類毎に設定されたサーバ３の受信アドレスが設定されており、通信部３１は、電子メールが受信された受信アドレスによって、電子メールに添付されている書類画像の種別を識別できる。またこの例の場合、マスタＤＢ４３には、事前にユーザ（契約者）の氏名または個人を特定する識別子（契約者番号など）とユーザの電子メールアドレス（送信元アドレス）とを対応付けて記憶しておく。
【００７３】
以下、この第３実施形態の動作を説明する。まず概要動作を説明する。この第２実施形態の場合、携帯端末１から手続きに必要な書類の画像を送信する際に、ユーザが、送信する書類を選択することで、書類の種別毎に設定された送信先サーバの電子メールアドレスを宛先とした送信メール作成画面（電子メール送信用の画面）を表示し、通常の撮影画像添付操作により取得した画像ファイルを添付した電子メールをサーバ３へ送信する。
【００７４】
サーバ３では、通信部３１が電子メールを受信し、添付されている当該画像ファイルを取得すると、受信した電子メールの送信元アドレスをキーにしてマスタＤＢ４３を検索し、当該電子メールの送付者（契約者）の氏名または個人を特定する識別子（契約者番号など）を読み出し、当該電子メールに添付されていた画像ファイルを文字認識した結果から送付者の氏名もしくは個人を特定する識別子を取得し、互いを比較および照合する。
【００７５】
マスタＤＢ４３から読み出した氏名や識別子と一致する文字列が文字認識結果から見つかった場合には画像が判読性を備えており、かつ電子メールの送付者に関する書類であることが確認できる。
【００７６】
一方、一致する文字列が文字認識結果から見つからなかった場合には画像が判読性を備えていないか、または、電子メールの送付者に関する書類でないことが確認できる。
【００７７】
なお、このような判読性の判定の他に、第１実施形態で説明したように、書類画像の階調変化率を求めたり、画像から書類縁線（エッジ）を検出し、はみ出し判定処理を行うことによりさらに確実な判読性の判定を行える。
【００７８】
次に、この第３実施形態の詳細な動作を説明する。
携帯端末１の手続き一覧の画面５１にて選択された「手続き」から、確認書類の送付画面８３（図１２参照）を表示し、種別の書類を画像取得部１２にて撮影し、その画像を画像ファイル暗号化部１４が暗号化して電子メールの添付ファイルとしてサーバ３へ送信する。電子メールをサーバ３へ送信した後、画像廃棄部１６はメモリ１０に保持されている書類の画像を廃棄（消去）する。
【００７９】
サーバ３では、携帯端末１から送信されてきた電子メールが通信部３１により受信されると、その電子メールに添付されている、暗号化されたファイルを画像復号部３２が復号し、復号した画像を記憶部４２に記憶する。
【００８０】
すると、手続き特定部３３は、画像が添付された電子メールの送信先アドレスから、手続きを特定する。また氏名特定部４４は、受信された電子メールから送信元アドレスを抽出し、マスタＤＢ４３を参照して送信元アドレスに該当する保険契約者の氏名を特定し、記憶部４２に記憶する。
【００８１】
続いて、文字認識部３６は、記憶部４２の画像を読み出して文字認識し、文字認識した結果として得られた文字列を記憶部４２に記憶する。
【００８２】
認識結果キーワード比較部３７は、記憶部４２に記憶された文字認識結果の文字列と保険契約者の氏名とを読み出して互いを比較し、比較結果を判読性及び書類種別判定部３８に渡す。
【００８３】
判読性及び書類種別判定部３８は、認識結果キーワード比較部３７から渡された比較結果を基に当該画像の書類としての判読性と、受信された電子メールの送信者が保険契約者であるか否かを判定する。例えば保険契約者の氏名と文字認識結果の文字列とが一致するものが検出された場合、画像の判読性ありと判定し、かつ画像が電子メールの送付者である契約者に関する書類であることが確認できる。
【００８４】
さらに、書類エッジ検出部３９は、当該画像中から書類縁線を検出し、はみ出し判定部４０にて撮影範囲からの書類縁線のはみ出しの有無を判定する。
【００８５】
これら判定結果（判読性判定結果とはみ出しを判定結果）を判定結果通知部４１が携帯端末１へ通知し、通知後、サーバ３では、判読性ありと判定された画像をハードディスク装置のマスタＤＢ４３の契約者情報と紐付けて保存する。
【００８６】
この第３実施形態によれば、書類毎に異なる送信先のアドレスリンクを入力するアドレスリンク入力部１９を携帯端末１に設けることで、サーバ３では、携帯端末１から送信されてきた電子メールの受信アドレスで書類を特定でき、手続きや書類を特定するためのファイル名から識別子抽出処理などをすることなく、電子メールに添付されてきた書類画像の判読性を確かめることができる。
【００８７】
なお、携帯端末１から電子メールで書類の画像をサーバ３へ送信する際、携帯端末１が例えば携帯電話機などでは、通信料金（パケット代）がユーザの負担になる。
【００８８】
そこで、ユーザに対してパケット代を補填するため、フリーダイヤルのように受け手がパケット代を払うメールアドレスの仕組みを用いる。具体的には、キャリヤ間のサービス連携により特定メールアドレスへのパケット送信料を受け手側に請求する仕組みを採用するか、もしくは例えば当該手続きが保険金請求であった場合、パケット代相当分を保険金等の支払い時に合算して入金する仕組みとすることが好ましい。
【００８９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９０】
上記実施形態では、携帯端末１としての一例に、カメラ付き携帯電話機を例示したが、この他、例えばインターネット接続機能とカメラ機能を搭載したＰＤＡ、タブレット端末および電子ブック端末などであってもよい。
【００９１】
タブレット端末に、携帯端末１の機能とサーバ３の機能とを備えることで、タブレット端末は、書類の画像を取得する画像取得部と、書類特有の文字列候補を書類の種別毎に記憶する記憶部と、画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字または文字列を得る文字認識部と、文字認識部により得られた文字列と記憶部の書類の種別毎の文字列候補とを比較する比較部と、比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、画像取得部により前記画像が取得された書類の種別と書類の判読性を判定する判読性判定部とを備える画像処理装置として機能する。
【００９２】
上記実施形態では、画像ファイル名の一部に、書類の種別を識別するための識別情報を含ませたが、この他、例えば画像自体に電子透かしとして識別情報を埋め込んでもよい。この場合、書類の識別情報を隠蔽できるため、書類画像の不正利用などを抑止することができる効果がある。
【００９３】
また上記実施形態に示した各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。電子媒体としては、例えばＣＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。
【符号の説明】
【００９４】
１…携帯端末、２…ネットワーク、２ａ…無線基地局、３…サーバ、９…表示部、１０…メモリ、１１…キー操作部、１２…画像取得部、１３…手続き識別子付与部、１４…画像ファイル暗号化部、１５…無線通信部、１６…画像廃棄部、１７…制御部、１８…ＱＲコード認識部、１９…アドレスリンク入力部、３０…制御部、３１…通信部、３２…画像復号部、３３…手続き特定部、３４…書類名特定部、３５…書類キーワード抽出部、３６…文字認識部、３７…認識結果キーワード比較部、３８…書類種別判定部、３９…書類エッジ検出部、４０…はみ出し判定部、４１…判定結果通知部、４２…記憶部、４４…氏名特定部。
【特許請求の範囲】
【請求項１】
書類の画像を取得する画像取得部と、
前記書類特有の文字列候補を前記書類の種別毎に記憶する記憶部と、
前記画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る文字認識部と、
前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する比較部と
前記比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する判読性判定部と
を具備することを特徴とする画像処理装置。
【請求項２】
前記判読性判定部は、
前記画像の階調変化率を求め、求めた前記画像の階調変化率が予め設定された閾値を超えたか否かによりピントの合否を判定し、このピントの合否判定結果を前記判読性判定結果の一つに含めることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像に含まれる書類の外縁を検出する縁線検出部と、
前記縁線検出部により検出された書類の外縁が前記画像からはみ出しているか否かを判定し、このはみ出し判定結果を前記判読性判定結果の一つに含めるはみ出し判定部をさらに具備することを特徴とする請求項１または２いずれか記載の画像処理装置。
【請求項４】
前記画像取得部により画像が取得される書類の情報を、ＱＲコードから得るＱＲコード認識部を具備することを特徴とする請求項１乃至３いずれか１記載の画像処理装置。
【請求項５】
携帯端末とサーバとをネットワークを介して接続した画像処理システムにおいて、
前記携帯端末は、
書類の画像を取得する画像取得部と、
前記画像取得部で画像を取得する書類を指定する書類指定部と、
前記画像取得部により取得された画像に前記書類指定部により指定された書類の種別を示す識別情報を付与する付与部と、
前記識別情報が付与された前記画像を前記サーバへ送信する送信部とを備え、
前記サーバは、
前記画像を受信する受信部と、
前記書類特有の文字列候補を前記書類の種別毎に記憶する記憶部と、
前記受信部により受信された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る文字認識部と、
前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する比較部と
前記比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する判読性判定部と、
前記判読性判定部により判定された書類の判読性判定結果を前記携帯端末へ通知する通知部と
を具備することを特徴とする画像処理システム。
【請求項１】
書類の画像を取得する画像取得部と、
前記書類特有の文字列候補を前記書類の種別毎に記憶する記憶部と、
前記画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る文字認識部と、
前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する比較部と
前記比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する判読性判定部と
を具備することを特徴とする画像処理装置。
【請求項２】
前記判読性判定部は、
前記画像の階調変化率を求め、求めた前記画像の階調変化率が予め設定された閾値を超えたか否かによりピントの合否を判定し、このピントの合否判定結果を前記判読性判定結果の一つに含めることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像に含まれる書類の外縁を検出する縁線検出部と、
前記縁線検出部により検出された書類の外縁が前記画像からはみ出しているか否かを判定し、このはみ出し判定結果を前記判読性判定結果の一つに含めるはみ出し判定部をさらに具備することを特徴とする請求項１または２いずれか記載の画像処理装置。
【請求項４】
前記画像取得部により画像が取得される書類の情報を、ＱＲコードから得るＱＲコード認識部を具備することを特徴とする請求項１乃至３いずれか１記載の画像処理装置。
【請求項５】
携帯端末とサーバとをネットワークを介して接続した画像処理システムにおいて、
前記携帯端末は、
書類の画像を取得する画像取得部と、
前記画像取得部で画像を取得する書類を指定する書類指定部と、
前記画像取得部により取得された画像に前記書類指定部により指定された書類の種別を示す識別情報を付与する付与部と、
前記識別情報が付与された前記画像を前記サーバへ送信する送信部とを備え、
前記サーバは、
前記画像を受信する受信部と、
前記書類特有の文字列候補を前記書類の種別毎に記憶する記憶部と、
前記受信部により受信された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る文字認識部と、
前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する比較部と
前記比較部により比較された書類の種別毎の文字列候補と文字列との一致／不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する判読性判定部と、
前記判読性判定部により判定された書類の判読性判定結果を前記携帯端末へ通知する通知部と
を具備することを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−５３５１９（Ｐ２０１２−５３５１９Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９３３５９（Ｐ２０１０−１９３３５９）
【出願日】平成２２年８月３１日（２０１０．８．３１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年８月３１日（２０１０．８．３１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
[ Back to top ]