説明

携帯情報端末及び携帯情報端末による画像処理方法

【課題】一般市販されるカメラ付の携帯電話機を利用して読み取った画像のデータ処理を個々の業務に特化して行えるようにする。
【解決手段】携帯電話機10は、ユーザによる情報の書換えが不可能にされ、カメラ付携帯情報端末の画像撮影機能、文字認識機能、電子メール機能、表示機能などの基本機能を動作させるファームウェアを記憶するメモリ12のユーザ領域12bと、ユーザにより情報の書換えが可能とされ、この携帯電話機の各機能処理とハードウェア制御を含むフォーマットコントロール記述式(フォーマットコントロールファイル20)を記憶するメモリ12のシステム領域12aと、ファームウェアにより基本機能が動作する中で、文字認識機能が指定された場合、ユーザ領域12bに記憶されたフォーマットコントロールファイル20を解釈し、その記述内容に従って画像撮影機能、文字認識機能、電子メール機能、表示機能を制御するCPU18とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば帳票を処理する業務に用いられる携帯情報端末及び携帯情報端末による画像処理方法に関する。
【背景技術】
【0002】
一般に、配送業などでは、物品の配達を行う車両の運転者(配送員)と、物流センターの電話オペレータ間の連絡、配送管理などに、携帯電話機が利用されている。
【0003】
また、現在、物流センターでは、配送員が物品を配達する顧客の伝票を配送員から回収し、その伝票をOCR(光学的文字読取装置)にかけて電子データ化する処理を行い、データベースに蓄積することで、業務管理及び照会を行っている。
電子データ化される情報は、伝票のイメージデータと、このイメージデータを部分的に文字認識することで読み取った文字データ(伝票番号、配送金額など)である。
物流センターでは、伝票の一極集中のため、ときには、数百万枚という伝票を一日で処理することもあり、このため、数百人規模の事務員が処理作業に携っている。
【0004】
近年、携帯電話機の機能向上は目覚しく、高解像度のカメラ機能が標準機能として付加されるようになった。
【0005】
そこで、携帯電話機を携行している配送員にカメラ機能を利用させて伝票を直接電子データ化することで、物流センターにおける伝票処理を廃止し、人員削減及び業務の効率化を行うことが考えられる。
【0006】
従来の携帯電話機のカメラ機能を利用した文字認識の技術としては、例えばカメラを用いて撮像して得た動画像から文字認識を行うため静止画を画像抽出部が抽出し、抽出した静止画像について文字認識を行う技術が開示されている(例えば特許文献1参照)。
この技術は、携帯電話機にカメラ制御機能と文字認識機能とを組み込んだものである。
【0007】
しかしながら、通常、携帯電話機は、電話機メーカにより製造されて携帯キャリアにより販売されることから、カメラ機能を配達伝票の文字読み取りに特化したものを開発しても、購入者が限定されるため商品化は難しい。
【特許文献1】特開2003−216893号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
このように携帯電話機の従来の技術として、カメラで撮影した画像から部分的に文字認識を行う技術は公開されているものの、この種の技術は、ハードウェア制御を伴うため、ダウンロードして使用する追加ソフトウェア(アプレット)では対応不可能であり、組み込みプログラム(ファームウェア)としての実装を余儀なくされ、特に配送業の帳票のデータ処理のためにだけ利用するようにものの商品化、実用化は難しいという問題があった。
【0009】
本発明はこのような課題を解決するためになされたもので、一般市販される携帯情報端末を利用し、携帯情報端末の撮像手段で撮像した画像の処理を個々の業務に特化して行うことのできる携帯情報端末及び携帯情報端末による画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
上記した課題を解決するために、本発明の携帯情報端末は、画像を撮像するための撮像手段と、前記撮像手段により撮像された画像の中で文字認識対象の第1領域を設定するためのフォーマットコントロール記述式を記憶する記憶手段と、前記フォーマットコントロール記述式に基づいて前記撮像手段より撮像された画像の中の前記第1領域より文字の認識を行う文字認識機能と、前記撮像された画像と前記文字認識結果とを所定の送信先へ送信する送信手段とを具備したことを特徴とする。
【0011】
上記フォーマットコントロール記述式には、画像の位置合せのためのガイドを表示する記述が含まれていることを特徴とする。
【0012】
本発明の携帯情報端末による画像処理方法は、撮影手段、文字認識機能、送信手段、記憶手段を備えた携帯情報端末による画像処理方法において、前記撮影手段により画像を撮像するステップと、前記記憶手段に記憶され、前記撮影手段により撮像される画像の中で文字認識対象の第1領域を設定するためのフォーマットコントロール記述式に基づいて前記撮像ステップにより撮像された画像の中の前記第1領域より前記文字認識機能が文字の認識を行うステップと、前記撮像ステップにより撮像された画像と前記文字認識結果とを前記送信手段が所定の送信先へ送信するステップとを有することを特徴とする。
【0013】
本発明では、携帯情報端末において文字認識機能を動作させると、撮影手段により画像が撮像され、記憶手段に記憶されたフォーマットコントロール記述式に基づいて、撮像された画像の中の第1領域より文字の認識が行われ、文字認識結果と撮像された画像とが所定の送信先へ送信されるので、携帯情報端末に予め個々の業務に特化した文字認識機能を組み込むことなく、各種業務に応じた画像の処理が可能になる。
【発明の効果】
【0014】
以上説明したように本発明によれば、一般市販される携帯情報端末を利用し、携帯情報端末の撮像手段で撮像した画像のデータ処理を個々の業務に特化して行うことができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は本発明に係る一つの実施の形態の物流管理システムの構成を示す図である。
同図に示すように、この物流管理システムは、サーバコンピュータ1(以下サーバ1と称す)と、このサーバ1にインターネット、電話網などの通信網2及び無線基地局3を介して通信可能な携帯電話機10とから構成されている。サーバ1は、例えば物流センターなどに設置されている。なお、サーバ1の設置場所については、本社あるいはインターネットサービスプロバイダー(ISP)など、さまざまなところに設置してもよく、物流センターに限るものではない。
【0016】
サーバ1は、携帯電話機10から電子メールを受信および/または送信する電子メール機能と、携帯電話機10から受信される電子メールの受信データ(伝票のイメージデータとこのイメージデータを部分的に文字認識した文字データ(伝票番号、支払い金額など))を対応つけて登録及び管理するデータベースの機能と、伝票番号のキー入力機能と、伝票番号のキー入力によりデータベースを検索し、該当データを読み出しモニタ、プリンタなどに出力する照会機能を備えている。
【0017】
携帯電話機10は、キー操作部11、記憶手段としてのメモリ12、通話部14、撮像手段としてカメラ部15、無線通信部16、画面表示手段としてのリキッド・クリスタル・ディスプレイ表示部17(以下LCD表示部17と称す)、制御手段としてのCPU18などを備えている。
【0018】
キー操作部11は、電源スイッチ、テンキー(文字キー兼用)、画面に表示された選択項目を上下左右に移動する方向キー、選択項目を確定及び編集終了を指定するファンクションキー(Fキーなどと称す)などを備えている。メモリ12には、第1の記憶手段としてのシステム領域12aと、第2の記憶手段としてのユーザ領域12bとが設けられている。
システム領域12aは、ユーザによる情報の書換えが不可能にされた記憶領域であり、この携帯電話機10の画像撮影機能(カメラ部15の制御など)、文字認識機能(イメージデータの切り出し、文字認識処理などのOCR機能)、フォーマットコントロールファイル20の解釈機能、音声通信機能(通話など)およびメッセージ通信機能(電子メールの送受信など)、表示機能(LCD表示部17の画面表示制御など)などの基本機能を動作させる制御プログラム(ファームウェア)が記憶されている。
ユーザ領域12bは、ユーザにより情報の書換えが可能とされる記憶領域であり、この携帯電話機10の各機能処理とハードウェア制御を含むフォーマットコントロール記述式であるフォーマットコントロールファイル20(図2参照)が記憶されている。
【0019】
フォーマットコントロールファイル20の記述の一例を図2に示す。フォーマットコントロールファイル20は、XML言語などで制御記述が記載されたテキストファイルである。図2には、文字認識対象の帳票が払込伝票である場合の具体例が記述されている。このフォーマットコントロールファイル20には、払込伝票の外形輪郭を囲むための枠(位置合わせをするための枠)を表示するための表示制御記述と、文字認識の対象となるイメージデータの切り出し範囲(領域)を示す枠を表示するための表示制御記述と、この文字認識の対象となるイメージデータの切り出し範囲(領域)を示す枠で指定された範囲から切り出したイメージ中の文字イメージを文字認識するための字種を指定する字種制御記述(一例として、伝票番号や金額を認識する場合は「英数字」と指定する)と、文字認識により得たデータに対するアクションの記述が記載されている。アクションの記述の一例としては、所定のアドレス(ocrceter@xxxx.co.jp)へ日付、時刻、電話番号、文字認識した伝票番号、文字認識した払込金額を記載した電子メールを送信する、というものである。
【0020】
通話部14は、マイク、スピーカなどとその制御回路などから構成されている。カメラ部15は、レンズ、CCDカメラとその制御回路などからなり、レンズの開口部が向けられた方向の画像を撮像する。有効撮影画素数は、例えば31万画素などであり、これ以上の画素数であるとさらに良い。無線通信部16は、無線基地局3と無線通信を行う。LCD表示部17は、各種画面(機能メニュー画面、帳票選択画面、OCR画面、修正画面など)と、OCR画面では文字認識対象の枠線である文字認識領域枠34、ユーザが位置決めを行うためのガイド用の枠線であるガイド枠35などを表示する。
【0021】
CPU18は、ユーザ操作に伴いシステム領域12aに記憶されたファームウェアにより各機能が動作する中で、例えばOCRの機能など、所定の機能がユーザにより選択及び指定された場合、ユーザ領域12bに記憶されているフォーマットコントロールファイル20を読み込んで解釈する手段として機能する。また、CPU18は、解釈されたフォーマットコントロールファイル20の内容に基づいて画像撮影手段、文字認識機能、音声およびメッセージ通信機能(電子メール送信手段)、画面表示機能を制御する制御手段として機能する。
【0022】
すなわち、この携帯電話機10は、画像を撮像する撮像手段としてのカメラ部15と、このカメラ部15により撮像された画像の中で文字認識対象の第1領域としての文字認識領域枠34を表示するための書式制御情報であるフォーマットコントロールファイル20を記憶する記憶手段としてのメモリ12と、このメモリ12に記憶されたフォーマットコントロールファイル20を解釈する解釈機能と、この解釈機能により解釈されたフォーマットコントロールファイル20の記述内容に基づいてカメラ部15により撮像された画像の中の文字認識領域枠34の部分(第1領域)を切り出して文字の認識処理を行う文字認識機能と、この文字認識機能により認識された文字を編集可能に表示する画面表示機能とを備えている。
【0023】
また、この携帯電話機10は、帳票としての伝票R1の画像を撮像する撮像手段としてのカメラ部15と、このカメラ部15により撮像された画像の中で文字認識対象の第1領域としての文字認識領域枠34および画像の位置合せのための第2領域としてのガイド枠35の少なくとも一つを表示するための書式制御情報であるフォーマットコントロールファイル20を記憶する記憶手段としてのメモリ12と、このメモリ12に記憶されたフォーマットコントロールファイル20を解釈する解釈機能と、この解釈機能により解釈されたフォーマットコントロールファイル20の記述内容に基づいてカメラ部15により撮像された画像の中の文字認識領域枠34が指定する部分(第1領域)を切り出して文字の認識処理を行う文字認識機能と、カメラ部15により撮像された伝票R1の画像とガイド枠35と文字認識機能により認識された文字とこの文字に対する修正あるいは確定を促すメッセージとを表示する表示機能と、確定された文字と撮像された伝票R1の画像とを所定の送信先であるサーバ1のアドレスへ送信するメッセージ通信機能としての電子メール送信手段とを備えている。
【0024】
以下、図3〜図8を参照してこの物流管理システムの動作を説明する。
この物流管理システムの場合、ユーザである配送員は、図7に示す配送対象の物品の伝票R1を読み取る際に、キー操作部11に対して機能メニュー表示のための操作を行う。
すると、携帯電話機10のCPU18は、システム領域12aに記憶されているファームウェアに従いLCD表示部17に、図4に示すように、機能メニュー画面31を表示する(S201)。
この機能メニュー画面31には、1.送信メールボックス、2.受信メールボックス、3.メロディボックス、4.写真ボックス、5.OCR機能ボックスなどの選択項目が表示される。
【0025】
これら選択項目の中から、例えば「5.」が選択されると(S202のYes)、CPU18は、メモリ12のユーザ領域12bに記憶されているフォーマットコントロールファイル20の内容を読み込み解釈する。なお、複数ある場合は、すべてのフォーマットコントロールファイル20を読み込み、図5に示すように、この読み込んだフォーマットコントロールファイル20に対応する帳票を選択するための帳票選択画面32を表示する(S203)。
帳票選択画面32には、1.一般文書、2.A社通販伝票読取、3.B社申込書読取、4.C社バーコード読取などの選択項目が表示される。
これら選択項目の中から、例えば「2.」の[A社通販伝票読取]が選択されると(S204のYes)、CPU18は、この選択した帳票を読み取るために作成されたフォーマットコントロールファイル20の内容(図2参照)を解釈する(S205)。
【0026】
そして、フォーマットコントロールファイル20の内容を解釈した後、CPU18は、図6に示すように、OCR画面33を表示すると共に、カメラ部15を制御して撮像を開始する。OCR画面33には、文字認識領域枠34とガイド枠35と「帳票の上の枠に合せて下さい。」などのメッセージが表示される(S206)。文字認識領域枠34とガイド枠35は、フォーマットコントロールファイル20の記述で指定された位置に表示される。ガイド枠35は、ユーザが携帯電話機10の位置を変えて帳票R1の輪郭を合せるためのものである。これらの枠は、帳票スタイルを簡略化したものである。
【0027】
図7に示すように、帳票としての伝票R1は、所定位置、例えば帳票面の左上隅に伝票番号「13」と、帳票面の右下隅に払込金額の記載欄が印刷されたものであり、払込金額の記載欄には「24000」などが記載されている。それ以外の帳票面には、払込人の氏名、住所、品目などが記載されている。払込人の氏名、住所、品目などはイメージデータとして読み取っておくだけで良い。
OCR画面33には、カメラ部15により撮像された帳票R1の画像が文字認識領域枠34とガイド枠35の背景に画面いっぱいに表示される(S207)。このOCR画面33の画像は、所定時間間隔(数msec毎)で撮像されるので、携帯電話機10を動かすと、それに伴って位置がずれる。
【0028】
ユーザは、OCR画面33に表示されたメッセージに従い、OCR画面33の背景に映し出された帳票R1の画像の輪郭をガイド枠35に重なるように携帯電話機10を動かして位置を変え、適当と思われる位置でFキーを押すと、CPU18は、フラッシュを点灯しシャッター動作(記憶動作)、つまり撮像された画像をメモリ12に記憶する。なお、カメラ部15を撮像制御して数msec毎に画像を撮像しメモリ12に記憶しつつ下記文字認識処理を実行することで、ユーザのシャッター操作を省略することもできる。
CPU18は、メモリ12に記憶された画像より文字認識領域枠34の部分の画像を切り出して文字認識処理を実行する(S208)。そして、文字認識結果が得られ、文字認識処理が完了すると(S209のYes)、CPU18は、通話部14のスピーカより音声を発生させて(S210)、その旨をユーザに通知する。
【0029】
CPU18は、図8に示すように、修正画面36を表示して(S211)、その画面内に文字認識結果のテキストデータと、「帳票の記載内容と照合してください。」などのメッセージを表示する。この例では、文字認識結果のテキストデータとして、伝票番号の右横に「13」、払込金額の右横に「24000」が表示される。この修正画面36の内容が正しければユーザは修正せずに(正しくなければキー操作により修正した後)、Fキーを押して確定操作する。
【0030】
すると、CPU18は、文字認識結果が確定したものと判定して(S212のYes)、フォーマットコントロールファイル20の記述内容に従って後処理としてのアクションを起こす。
この例では、CPU18は、日付、時刻、電話番号、文字認識結果のテキストデータ(13,24000)をメール本文に挿入し、読み取ったイメージデータを添付した電子メールを所定の宛先、この場合、サーバ1の電子メールアドレスへ送信する(S213)。
サーバ1では、携帯電話機10から電子メールが受信されると、受信メールのデータを定型のフォームに落とし込み、データベースに登録及び管理する。なお、携帯電話機10側で行う後処理は単純な集計処理であっても良い。
【0031】
このようにこの実施形態の物流管理システムによれば、携帯電話機10にフォーマットコントロールファイル20の解釈機能を備え、メモリ12のユーザ領域12bにフォーマットコントロールファイル20を記憶し、文字認識時にこれを選択して利用することで、配送業の伝票R1の読み取り及び文字認識といった特殊な処理を一般市販のカメラ機能付きの携帯電話機10で行えるようになる。
また、一般市販されるカメラ機能付の携帯電話機10のカメラ機能を利用して伝票R1から読み取った画像から配送用の伝票R1の所定位置に印字あるいは記載された伝票番号(英数字)と金額(数字)を文字認識して、撮像したイメージデータと共に電子メールでサーバ1へ送信するので、物流センターにおいて大量の伝票処理を行わずに済むようになり、センター人員の削減、あるいはセンター処理の廃止など、固定費の削減、業務効率の向上などに寄与することができる。
【0032】
続いて、図9〜図12を参照して上記実施形態の他のフォーマットコントロールの例について説明する。
フォーマットコントロールの他の例として、図9に示すように、帳票選択画面32の選択項目の中から、例えば「3.」の[B社申込書]の項目が選択されると、CPU18は、この選択した帳票[B社申込書]に対応するフォーマットコントロールファイルの内容を解釈する。
【0033】
フォーマットコントロールファイルの内容を解釈した後、CPU18は、図10に示すように、OCR画面37を表示すると共に、カメラ部15を制御して撮像を開始する。このOCR画面37には、該当フォーマットコントロールファイルの記述に従い、IDフィールド枠38が表示されると共に、「IDフィールドを上の枠にあわせてください。」などのメッセージが表示される。このIDフィールド枠38は、ガイド枠を兼ねたものである。この例のIDフィールド枠38は、複数枚で一つの帳票とされている申込用紙のうち例えば4枚目のD票か否かを判定するために用いる文字認識枠である。つまり、この例は、帳票自体の種別を識別及び判定するときに利用する。なお、IDフィールド枠38内の画像から文字認識を行う処理以降は上記実施形態と同じである。
【0034】
また、図11に示すように、帳票選択画面32の選択項目の中から、例えば「4.」の[C社バーコード読取]の項目が選択されると、CPU18は、この選択した帳票[C社バーコード読取]に対応するフォーマットコントロールファイルの内容を解釈する。
【0035】
フォーマットコントロールファイルの内容を解釈した後、CPU18は、図12に示すように、OCR画面39を表示すると共に、カメラ部15を制御して撮像を開始する。このOCR画面39には、該当フォーマットコントロールファイルの記述に従い、3つのマーク40が表示されると共に、「3点マーク検出中。」などのメッセージが表示される。この3つのマーク40は、ガイド枠を兼ねたものであり、ユーザは、各マーク40に、帳票に印字されたマークを合せるように携帯電話機10を動かす。この例では、各マーク40の位置に、帳票のマークが合うと、CPU18は、帳票の右下の所定位置に印字されたバーコードの読み取り処理を行う。なお、バーコードの読み取り処理については、既存の技術を利用する。
このようにフォーマットコントロールファイルの記述を変えるだけでさまざまな形態の帳票の文字認識あるいはバーコード読み取りを行えるようになる。
【0036】
なお、上記実施形態では、配送員自身が携行する携帯電話機10で帳票を読み取る例について説明したが、ビジネスモデルとしては、この他、顧客から配送依頼される物品をコンビニエンスストアなどの小売店で保管しておき、配送員がルートサービスで取りに行くことも考えられるので、この場合は、小売店が保持する携帯電話機にて伝票を読み取り予め電子データ化しておいた方が効率的である。この場合、小売店の携帯電話機に電子化したデータを携帯電話機のスロットに装着したメモリカードなどに蓄積しておき、メモリカードを介して、配送員が携行する携帯電話機10にデータを移すことで、配送員の携帯電話機10からサーバ1へデータを送信しても良い。また、データの移動媒体としては、メモリカードに限らず、携帯電話機相互接続用のケーブルなどを用いても良く、また、赤外線あるいは電波を利用しても良い。
また、上記実施形態では、携帯情報端末として、携帯電話機10を一例にあげて説明したが、この他、Personal Digital Assistant:PDAなどであっても良い。
【図面の簡単な説明】
【0037】
【図1】物流管理システムの構成を示す図。
【図2】図1の物流管理システムで使用する携帯電話機に記憶されたフォーマットコントロールファイルを示す図。
【図3】携帯電話機の動作を示すフローチャート。
【図4】携帯電話機の機能メニュー画面を示す図。
【図5】携帯電話機の帳票選択画面を示す図。
【図6】携帯電話機のOCR画面を示す図。
【図7】伝票の一例を示す図。
【図8】携帯電話機の修正画面を示す図。
【図9】携帯電話機の帳票選択画面を示す図。
【図10】携帯電話機のOCR画面を示す図。
【図11】携帯電話機の帳票選択画面を示す図。
【図12】携帯電話機のOCR画面を示す図。
【符号の説明】
【0038】
1…サーバ、2…インターネット、3…無線基地局、10…携帯電話機、11…キー層操作部、12…メモリ、14…通話部、15…カメラ部、16…無線通信部、17…LCD表示部、18…CPU、R1…伝票。

【特許請求の範囲】
【請求項1】
画像を撮像するための撮像手段と、
前記撮像手段により撮像された画像の中で文字認識対象の第1領域を設定するためのフォーマットコントロール記述式を記憶する記憶手段と、
前記フォーマットコントロール記述式に基づいて前記撮像手段より撮像された画像の中の前記第1領域より文字の認識を行う文字認識機能と、
前記撮像された画像と前記文字認識結果とを所定の送信先へ送信する送信手段と
を具備したことを特徴とする携帯情報端末。
【請求項2】
前記フォーマットコントロール記述式には、
画像の位置合せのためのガイドを表示する記述が含まれていることを特徴とする請求項1,2いずれか記載の携帯情報端末。
【請求項3】
撮影手段、文字認識機能、送信手段、記憶手段を備えた携帯情報端末による画像処理方法において、
前記撮影手段により画像を撮像するステップと、
前記記憶手段に記憶され、前記撮影手段により撮像される画像の中で文字認識対象の第1領域を設定するためのフォーマットコントロール記述式に基づいて前記撮像ステップにより撮像された画像の中の前記第1領域より前記文字認識機能が文字の認識を行うステップと、
前記撮像ステップにより撮像された画像と前記文字認識結果とを前記送信手段が所定の送信先へ送信するステップと
を有することを特徴とする携帯情報端末による画像処理方法。

【図1】
image rotate



【図2】
image rotate



【図3】
image rotate



【図4】
image rotate



【図5】
image rotate



【図6】
image rotate



【図7】
image rotate



【図8】
image rotate



【図9】
image rotate



【図10】
image rotate



【図11】
image rotate



【図12】
image rotate


【公開番号】特開2005−216102(P2005−216102A)
【公開日】平成17年8月11日(2005.8.11)
【国際特許分類】
【出願番号】特願2004−23595(P2004−23595)
【出願日】平成16年1月30日(2004.1.30)
【出願人】(301063496)東芝ソリューション株式会社 (1,478)
【Fターム(参考)】