文字抽出方法、文字抽出装置およびプログラム
【課題】影と日向との境界を含むような画像から文字領域を的確に抽出する。
【解決手段】対象画像に平滑化処理およびエッジ抽出処理を施し、該処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施し、第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去し、消去後の画像に対して膨張収縮処理を施し、収縮処理後の画像に対して第２のラベリング処理を施し、前記消去後の画像（膨張収縮前の画像）に残っているラベリングされた各領域の中で、第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する。
【解決手段】対象画像に平滑化処理およびエッジ抽出処理を施し、該処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施し、第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去し、消去後の画像に対して膨張収縮処理を施し、収縮処理後の画像に対して第２のラベリング処理を施し、前記消去後の画像（膨張収縮前の画像）に残っているラベリングされた各領域の中で、第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の文字を抽出するための技術に関する。
【背景技術】
【０００２】
画像内の文字を抽出する方法には、画像の濃度ヒストグラムを作成し、その谷部分を見つけて適当なしきい値を設定し、該しきい値で画像を２値化する判別分析法や、画像を複数の領域に分割し、領域毎に上記の判別分析法を適用する方法などが知られている（たとえば、特許文献１参照。）。
【０００３】
【特許文献１】特開平０９−２５９２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
解像度を高くして車のナンバープレートを屋外で撮影した画像から文字を抽出するような場合には、ナンバープレートを保持する枠やバンパーなどの周辺環境の影響を受けて、ナンバープレート内の一部の領域に影やコントラスト差が発生することがあり、特に、車の後部にあるナンバープレートにおいて発生し易い。
【０００５】
図１２（ａ）に示すように、影のない画像（以後、この画像を標準画像と呼ぶ。）については、図１２（ｂ）のように従来の判別分析法で画像を２値化することによって文字を抽出可能であるが、図１３（ａ）のように、文字の途中に影と日向の境界が存在するような画像（以後、この画像を影あり画像と呼ぶ。）の場合には、判別分析法による２値化処理では、図１３（ｂ）のように、文字を上手く抽出することができなかった。また、ナンバープレートにおいては自家用と事業用とで文字と背景との明暗が逆転しているので、文字抽出を適切に行なうためには自家用と事業用とを判別することも重要になる。
【０００６】
本発明は、上記の問題を解決しようとするものであり、影などの影響を受けることなく画像内の文字を抽出することのできる文字抽出方法、文字抽出装置およびプログラムを提供することを目的としている。
【０００７】
また、文字と背景との明暗の逆転に影響されずに文字を抽出することのできる文字抽出方法、文字抽出装置、文字色判定方法、文字色判定装置およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の目的は以下に示す各項の発明により達成される。
【０００９】
（１）画像内から文字を抽出する文字抽出方法において、
元画像に対してエッジ抽出処理を施すステップと、
前記エッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を有する
ことを特徴とする文字抽出方法。
【００１０】
上記発明では、元画像にエッジ抽出処理を施し、抽出した輪郭線で区切られた連続領域毎にラベリングする。仮に文字の途中に影と日向との境界があれば、文字を構成する連続領域が該境界により複数の領域に分割される。そこで、小さい領域は文字の一部である可能性があるので残し、文字として扱うべき上限サイズより大きな領域を消去する。この状態では「８」や「口」などの文字を構成する線の内側にも領域が残っているので、画像を膨張収縮して内側の領域を文字の線と連結させた画像を作成し、膨張収縮前の画像と対比し、膨張収縮前は独立した領域であったが膨張収縮後は内側に連結されてしまった領域を見出し、該領域を膨張収縮前の画像から削除する。これにより、「８」や「口」などの内側に残っていた領域が削除され、残った領域は文字として抽出された領域になる。
【００１１】
（２）前記エッジ抽出処理は、輪郭線が文字の輪郭の外側に出るように施す
ことを特徴とする（１）に記載の文字抽出方法。
【００１２】
上記発明では、輪郭線が文字の輪郭の外側に出るようにエッジ抽出処理が施される。これにより、文字を構成する線が細くなったり、かすれたりすることが防止される。
【００１３】
（３）画像内から文字を抽出する文字抽出方法において、
元画像に第１のエッジ抽出処理を施した画像を生成するステップと、
前記第１のエッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定の結果に応じて選択するステップと、
前記選択された処理方法で前記元画像に対して前記第２のエッジ抽出処理を施すステップと、
前記第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を有する
ことを特徴とする文字抽出方法。
【００１４】
上記発明では、第１のエッジ抽出処理により、輪郭線を描き出し、閉じた輪郭線の内外の輝度を比較することで、白地に黒文字が存在する画像か、黒地に白文字が存在する画像かを判定する。内外の輝度を比較する際の境界となる閉じた輪郭線は、該輪郭線で囲まれた閉領域が文字の一部であろうと推定される大きさや位置にあるものを選出する。判定結果から、白地に黒文字の場合は黒領域の外側に輪郭線が出るように第２のエッジ抽出処理を施し、黒地に白文字の場合は白領域の外側に輪郭線が出るように第２のエッジ抽出処理を施す。これにより、白地に黒文字と黒地に白文字のいずれであっても、文字領域が細ることなくエッジ抽出される。
【００１５】
その後、第２のエッジ抽出処理で抽出した輪郭線で区切られた連続領域毎にラベリングし、その中で、文字として扱うべき上限サイズより大きな領域を消去する。さらに、膨張処理、収縮処理を施して内側の領域を連結された画像を作成し、膨張収縮前の画像と対比し、膨張収縮前は独立した領域であったが膨張収縮後は内側に連結されてしまった領域を見出し、該領域を膨張収縮前の画像から削除する。これにより、「８」や「口」などの内側に残っていた領域が削除され、残った領域は文字として抽出された領域になる。
【００１６】
（４）白地に黒文字が存するか黒地に白文字が存するかを判定する文字色判定方法において、
元画像に対してエッジ抽出処理を施した画像を生成するステップと、
前記エッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと
を有する
ことを特徴とする文字色判定方法。
【００１７】
上記発明では、エッジ抽出処理により、輪郭線を描き出し、閉じた輪郭線の内外の輝度を比較することで、白地に黒文字が存在する画像か、黒地に白文字が存在する画像かを判定する。内外の輝度を比較する際の境界となる閉じた輪郭線は、該輪郭線で囲まれた閉領域が文字の一部であろうと推定される大きさや位置にあるものを選出する。
【００１８】
（５）画像内から文字を抽出する文字抽出装置において、
元画像に対してエッジ抽出処理を施すエッジ抽出部と、
前記エッジ抽出部でエッジ抽出処理を施した後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す第１のラベリング部と、
前記第１のラベリング部でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する領域絞込み部と、
前記領域絞込み部による消去後の画像に対して膨張処理を施した画像を生成する膨張処理部と、
前記膨張処理部で膨張処理を施した後の画像に対して収縮処理を施す収縮処理部と、
前記収縮処理部で収縮処理を施した後の画像に対して第２のラベリング処理を施す第２のラベリング部と、
前記領域絞込み部による消去後の画像に残っているラベリングされた各領域の中で、前記第２のラベリング部でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する削除部と
を有する
ことを特徴とする文字抽出装置。
【００１９】
（６）前記エッジ抽出部は、輪郭線が文字の輪郭の外側に出るように前記エッジ抽出処理を施す
ことを特徴とする（５）に記載の文字抽出装置。
【００２０】
（７）画像内から文字を抽出する文字抽出装置において、
元画像に対して第１のエッジ抽出処理を施した画像を生成する第１のエッジ抽出部と、
前記第１のエッジ抽出部によって抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定する判定部と、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定部での判定結果に応じて選択する選択部と、
前記選択部で選択した処理方法で前記元画像に対して前記第２のエッジ抽出処理を施す第２のエッジ抽出部と、
前記第２のエッジ抽出部で前記第２のエッジ抽出処理を施した後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す第１のラベリング部と、
前記第１のラベリング部でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する領域絞込み部と、
前記領域絞込み部による消去後の画像に対して膨張処理を施した画像を生成する膨張処理部と、
前記膨張処理部で膨張処理を施した後の画像に対して収縮処理を施す収縮処理部と、
前記収縮処理部で収縮処理を施した後の画像に対して第２のラベリング処理を施す第２のラベリング部と、
前記領域絞込み部による消去後の画像に残っているラベリングされた各領域の中で、前記第２のラベリング部でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する削除部と
を有する
ことを特徴とする文字抽出装置。
【００２１】
（８）白地に黒文字が存するか黒地に白文字が存するかを判定する文字色判定装置において、
元画像にエッジ抽出処理を施した画像を生成するエッジ抽出部と、
前記エッジ抽出部によって抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定する判定部と
を有する
ことを特徴とする文字色判定装置。
（９）画像内から文字を抽出するためのプログラムであって、
コンピュータに、
元画像に対してエッジ抽出処理を施すステップと、
前記エッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を実行させるためのプログラム。
【００２２】
（１０）前記エッジ抽出処理は、輪郭線が文字の輪郭の外側に出るように施す
ことを特徴とする（９）に記載のプログラム。
【００２３】
（１１）画像内から文字を抽出するためのプログラムであって、
コンピュータに、
元画像に対して第１のエッジ抽出処理を施した画像を生成するステップと、
前記第１のエッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定の結果に応じて選択するステップと、
前記選択された処理方法で前記元画像に対して前記第２のエッジ抽出処理を施すステップと、
前記第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を実行させるためのプログラム。
【００２４】
（１２）白地に黒文字が存するか黒地に白文字が存するかを判定するためのプログラムであって、
コンピュータに、
元画像に対してエッジ抽出処理を施した画像を生成するステップと、
前記エッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと
を実行させるためのプログラム。
【発明の効果】
【００２５】
本発明に係わる文字抽出方法、文字抽出装置および文字抽出のプログラムによれば、影などの影響を受けることなく、画像内の文字を抽出することができる。
【００２６】
特に、白地に黒文字の画像であるか黒地に白文字の画像かを判定し、該判定結果に応じた処理を施すので、文字と背景との明暗の逆転に影響されることなく文字を抽出できる。
【００２７】
また、エッジ抽出処理で得た輪郭線の中で文字らしいサイズの領域を囲むいずれかの輪郭線を特定し、該輪郭線の内外で輝度を対比し、その対比結果に基づいて白地に黒文字の画像であるか黒地に白文字の画像かを判定するものでは、影などの影響を受けることなく、簡単な処理で、白地に黒文字か黒地に白文字かを判定することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面に基づき本発明の実施の形態を説明する。
【００２９】
図１は、本実施の形態に係わる文字抽出装置１０の構成を示している。文字抽出装置１０は、判別分析法を用いて画像全体を１つのしきい値で２値化するのではなく、文字のエッジ情報を用いて文字領域か否かを判断することで文字抽出を行うようになっている。文字抽出装置１０は、画像入力部１１と、画像記憶部１２と、表示操作部１３と、処理部２０とから構成される。
【００３０】
画像入力部１１は、文字抽出の対象となる元画像を文字抽出装置１０に入力する機能を果たす。画像入力部１１は、デジタルカメラやスキャナなどでもよいし、デジタルカメラなどで撮影した画像の画像データを通信ケーブルやメモリカードを介して入力するものであってもよい。
【００３１】
画像記憶部１２は、画像入力部１１から入力された画像データや処理中・処理後の画像データを記憶するためのメモリである。
【００３２】
処理部２０は、ＣＰＵ（Central Processing Unit）を主要部として構成され、各種の画像処理を実行したり文字抽出装置１０全体の動作を制御したりする機能を果たす。表示操作部１３は、ユーザインターフェース機能を果たし、処理対象の画像や操作画面などを表示するための液晶ディスプレイ、ユーザから各種の操作を受け付けるための操作スイッチなどで構成される。
【００３３】
処理部２０は、文字抽出に関して、平滑化部２１と、第１のエッジ抽出部２２と、判定部２３と、選択部２４と、第２のエッジ抽出部２５と、第１のラベリング部２６と、領域絞込み部２７と、膨張処理部２８と、収縮処理部２９と、第２のラベリング部３１と、削除部３２としての機能を果たす。
【００３４】
平滑化部２１は、画像を平滑化する。第１のエッジ抽出部２２は、この平滑化画像に対して第１のエッジ抽出処理を施した画像を生成する。第１のエッジ抽出部２２は平滑化画像（元画像）自体は壊さないように処理される。判定部２３は、第１のエッジ抽出部２２でエッジ抽出処理を施した画像を解析して、白地に黒文字が存する画像か黒地に白文字が存する画像かを判定する。選択部２４は、この判定結果に応じて第２のエッジ抽出部２５が行なう第２のエッジ抽出処理の処理方法を選択する。詳細には、輪郭線（エッジ）が文字の輪郭の外側に出るように第２のエッジ抽出処理における処理方法を判定部２３での判定結果に応じて選択する。
【００３５】
第２のエッジ抽出部２５は、選択部２４で選択された処理方法により、元画像（平滑化画像）に対して第２のエッジ抽出処理を施す。第１のラベリング部２６は、第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す。領域絞込み部２７は、第１のラベリング部２６によってラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する。膨張処理部２８は、領域絞込み部２７による消去後の画像に対して膨張処理を施し、収縮処理部２９は膨張処理後の画像に対して収縮処理を施す。第２のラベリング部３１は、収縮処理後の画像に対して第２のラベリング処理を施す。削除部３２は、領域絞込み部２７による消去後の画像に残っているラベリングされた各領域の中で、第２のラベリング部３１でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を、領域絞込み部２７による消去後の画像からさらに削除する。削除後に残った領域が文字として抽出された領域になる。
【００３６】
図２は、文字抽出装置１０が、解像度を高くして車のナンバープレートを撮影した画像を対象にして文字抽出し、文字認識するまでの動作全体の流れを示している。なお、文字抽出とは、画像中から文字とその他の部分とを分離することで、本実施の形態では、文字を白画素に、その他を黒画素にした画像を作成することを指す。
【００３７】
まず、自家用・事業用判定処理でナンバープレートが自家用（白地に黒（実際は緑）文字）か事業用（黒（実際は緑）地に白文字）かを判定する（ステップＳ１０１）。この判定結果に基づき、文字が白色となって抽出されるように文字抽出処理を行なう（ステップＳ１０２）。抽出した文字の位置を基準にして画像内からナンバープレートの位置を特定して（ステップＳ１０３）ナンバープレート領域を切り出し(ステップＳ１０４)、切り出したナンバープレート領域を対象に、再度、文字抽出処理を行ない（ステップＳ１０５）、該文字抽出された画像から文字認識して(ステップＳ１０６)処理を終了する（エンド）。
【００３８】
本処理では、当初は解像度を半分にして画像処理を高速に行なうようにし、ナンバープレート領域が画像内で小さい場合には、元の解像度でナンバープレート領域を切り出し、該切り出した領域に対して、再度、文字抽出処理を行なうことで、１文字を構成する画素数が少なくなって、文字抽出や文字認識の精度が低下することを防止している。
【００３９】
なお、ナンバープレートを画面いっぱいに撮影していることが明らかな場合など、ナンバープレート部を切り出す必要がない場合には、ナンバー位置特定処理（ステップＳ１０３）、ナンバー切り出し処理（ステップＳ１０４）および再度の文字抽出処理（ステップＳ１０５）は不要となる。
【００４０】
図３は、自家用・事業用判定処理（色判定処理）の流れを示している。まず、平滑化部２１で対象画像を平滑化して局所的なノイズを削除した平滑化画像（元画像とする）を作成し（ステップＳ２０１）、該平滑化画像に対して第１のエッジ抽出部２２で第１のエッジ抽出処理を行なってエッジ抽出画像を生成する（ステップＳ２０２）。第１のエッジ抽出処理はどのような手法でもかまわないが、ここでは、図１２（ａ）に示すように、ナンバープレートが画像の中心に比較的大きく撮影されることを前提として、平滑化画像の中心部を対象に第１のエッジ抽出処理を施す。また、注目画素を中心とした３×３領域の中で最小の輝度値と最大の輝度値との差分を求め、該差分が固定のしきい値以上の場合に、注目画素を輪郭線となる画素（ここでは白画素）にする２値化手法、すなわち、３×３領域のmin-max差分処理を固定しきい値で２値化する手法を用いている。
【００４１】
図４（ａ）は、上記ステップＳ２０１、Ｓ２０２の処理を図１２（ａ）の標準画像に施した結果であり、図４（ｂ）は、図１３（ａ）の影あり画像に上記処理を施した結果である。エッジ（輪郭線）部分は白画素、その他は黒画素になっている。
【００４２】
判定部２３は、このエッジ抽出画像内での画素の連続性を検査して連続領域毎に画像を区分けするラベリング処理を行ない、これらラベリングされた連続領域の中で文字らしい大きさのものを１つ特定する(ステップＳ２０３)。たとえば、ナンバープレートが画像の中心に比較的大きく撮影されるという条件において撮影画像に現れる標準的な文字サイズを予め規定しておき、輪郭線で囲まれた連続領域の大きさが該文字サイズに最も近いものを、文字らしい連続領域に特定する。
【００４３】
判定部２３は、特定した連続領域を囲む輪郭線の内側領域の輝度値と外側領域の輝度値とを、第１のエッジ抽出処理を施す前の平滑化画像において対比し（ステップＳ２０４）、外側領域の輝度値が内側領域の輝度値より高いときは（ステップＳ２０５；Ｙ）、自家用（白地に黒文字が存する）と判定し（ステップＳ２０６）、内側領域の輝度値が外側領域の輝度値より高いときは（ステップＳ２０５；Ｎ）、事業用（黒地に白文字が存する）と判定して（ステップＳ２０７）処理を終了する（エンド）。内外の輝度値の比較においては、数画素の平均を用いると精度が向上する。
【００４４】
図４のエッジ抽出画像を見ると、自家用・事業用の判定を行なわずに、該画像から直接文字抽出できそうであるが、該画像の輪郭線は、実際の文字の輪郭の内外に股がるように抽出されているので、この輪郭線をそのまま使用し、その内側を文字領域として抽出すると、文字領域（文字の線）が細くなったり、かすれたりしてしまう。また、輪郭線を含めて文字領域とすると、近接する他の領域が連結するなどの影響が現れてしまう。
【００４５】
そこで、本実施の形態では、エッジ抽出処理で抽出される輪郭線が文字の輪郭の外側に必ず出るように、自家用・事業用判定処理の判定結果に基づいてエッジ抽出処理の処理方法を選択し、該選択した処理方法でエッジ抽出処理をやり直すようになっている。輪郭線が輪郭の外側に出るようにしてエッジ抽出処理を施し、該輪郭線の内側を文字領域とすれば、細くなったり、太くなったりせずに文字領域を抽出することができる。
【００４６】
図５は、上記エッジ抽出処理のやり直しを含む、文字抽出処理の流れを示している。平滑化部２１で対象画像を平滑化して局所的なノイズを削除した平滑化画像を生成する（ステップＳ３０１）。次に、選択部２４は自家用・事業用判定処理の判定結果に応じて第２のエッジ抽出処理での処理方法を選択し、第２のエッジ抽出部２５は、選択部２４が選択した処理方法で先の平滑化画像に対して第２のエッジ抽出処理を行なう（ステップＳ３０２からＳ３０６）。
【００４７】
具体的には、前処理として、平滑化画像の画素毎に、その画素を注目画素とした５×５領域内（注目画素を除く、もしくは注目画素を含んでもかまわない）での最小輝度値と最大輝度値とを調べ、これらの輝度値を注目画素の座標に関連付けて所定のデータテーブルに登録する（ステップＳ３０２）。自家用・事業用判定処理の判定結果が自家用（白地に黒文字）の場合は（ステップＳ３０３；Ｙ）、各画素(注目画素)の輝度値とその画素に関連付けて先のデータテーブルに登録されている最小輝度値（注目画素近傍５×５領域内の最小輝度値）との差分を求め（ステップＳ３０４）、該差分が所定のしきい値以上の場合にその注目画素を黒画素（輪郭線を構成する画素）にする（ステップＳ３０６）。
【００４８】
一方、自家用・事業用判定処理の判定結果が事業用（黒地に白文字）の場合は（ステップＳ３０３；Ｎ）、各画素(注目画素)の輝度値とその画素に関連付けて先のデータテーブルに登録されている最大輝度値（注目画素近傍５×５領域内の最大輝度値）との差分を求め（ステップＳ３０５）、該差分が所定のしきい値以上の場合にその注目画素を黒画素（輪郭線を構成する画素）にする（ステップＳ３０６）。
【００４９】
これにより、白地に黒文字か黒字に白文字かにかかわらず、第２のエッジ抽出処理により、輪郭線が文字の輪郭の外側に出たエッジ抽出画像が取得される。なお、ここでは、注目画素近傍の５×５領域を用いることで２画素分の幅の輪郭線が得られる。図６（ａ）は、上記のステップＳ３０１〜Ｓ３０６の処理を図１２（ａ）の標準画像に施した結果であり、図６（ｂ）は、図１３（ａ）の影あり画像に同様の処理を施した結果である。
【００５０】
次に、領域絞込み部２７は、上記処理で得たエッジ抽出画像に対して、輪郭線以外の部分について画素の連続性を検査し、画像を連続領域毎に区分けするラベリング処理（第１のラベリング処理）を行なう。そして、各連続領域の面積、縦横の長さを基に、文字とはいえない連続領域を消去する（ステップＳ３０７）。文字の途中に影と日向との境界があると文字が分裂して小さい領域になるので、小さい連続領域は文字の可能性がある。そこで小さい連続領域は残しておき、予め定めた文字としての上限サイズより大きい連続領域のみを消去する。但し、明らかにノイズと呼べる極小領域は除去する。図７（ａ）は図６（ａ）の画像に、図７（ｂ）は図６（ｂ）の画像にそれぞれ上記の領域絞り込み処理を施した結果である。図７に示す消去後の画像では、背景が黒に、消去されずに残った連続領域が白になっている。
【００５１】
図７に示す消去後の画像では、「０」や「６」の文字の内側に、文字以外の余計な白い領域が残っている。そこで、このような余計な白領域を削除するために、まず、膨張処理部２８で画像に膨張処理を施し、さらにこの膨張処理後の画像に収縮処理部２９で収縮処理を施して(ステップＳ３０８)、内側の白領域をその外側の領域に連結させた画像を生成する。そして、この画像に対して第２のラベリング部３１でもう一度ラベリング処理を行なう（ステップＳ３０９）。図８（ａ）は図７（ａ）の画像に、図８（ｂ）は図７（ｂ）の画像にそれぞれ膨張処理および収縮処理を施した結果である。
【００５２】
次に、図７に示す消去後の画像に残っていた各連続領域と、膨張収縮処理後の画像に対して第２のラベリング処理を施して得た各連続領域とを比較し、消去後の画像に存する連続領域の中で第２のラベリング処理でラベリングされた連続領域の内側に包含されてしまった領域を検出し、該検出された領域を、消去後の画像（膨張処理前の画像）から削除する（ステップＳ３１０）。
【００５３】
ここでは、膨張収縮処理前の画像に存する各領域（処理前領域）の座標と膨張収縮処理後の画像に存する各領域（処理後領域）との座標を比較し、処理後領域の中に明らかに含まれている処理前領域を見出し、該処理前領域を膨張収縮処理前の画像から削除する。明らかに含まれるとは、たとえば、領域の外側端部より数画素分内側に含まれていることをいう。膨張収縮させると元の画像よりも１画素ぐらい太ることがあり得るので、１画素程度内側に存在するならば、削除せずに残し、たとえば、５画素位内側に存在する領域は、明らかに内側に含まれるとして削除する。
【００５４】
図９（ａ）は図８（ａ）の画像に対して、図９（ｂ）は図８（ｂ）の画像に対してそれぞれ、図５のステップＳ３１０の削除処理を施した結果を示している。図９の画像は、不要な領域が消去された文字抽出画像になっている。なお、文字抽出画像から直接、文字認識してもよいし、文字抽出画像からナンバープレート領域を特定して切り出し、該切り出したナンバープレート領域に対して文字抽出処理を再度施して得た画像から文字認識してもよい。
【００５５】
次に、上記の膨張収縮処理（ステップＳ３０７、Ｓ３０８）と、内側に包含された領域の削除処理（ステップＳ３０９、Ｓ３１０）とについて詳しく説明する。
【００５６】
膨張処理は、図１０（ａ）に示すように、対象となる画素値（ここでは白）の領域を周囲へ広げる処理であり、４近傍に膨張させる場合は上下左右の隣接４画素に領域拡張し、８近傍に膨張させる場合は周囲の８画素に領域拡張する。収縮処理は、図１０（ｂ）に示すように、膨張処理と反対で、黒画素（膨張処理で対象とした画素値と反対の画素値）の領域を広げる処理である。
【００５７】
図１１は、膨張収縮処理により、内側領域５１が外側領域５２に連結される様子を示している。なお、同図は黒画素を膨張収縮するように描いてある。図１１（ａ）は膨張処理前の画像で、外側領域５２の中に、内側領域５１が存在している。図１１（ｂ）は、図１１（ａ）の画像の黒領域を４近傍で膨張させた結果を示している。膨張で増えた画像には斜線を付してある。図１１（ｃ）は図１１（ｂ）の膨張画像に４近傍の収縮処理を施した結果である。膨張処理により黒画素（図中は斜線の画素）で埋って繋がった箇所には、もはや白画素が存在しないので、収縮処理を施しても繋がったままの状態で残り、そうでないところは元の状態（大きさ）に戻る。図１１（ｃ）では、斜線を付した画素は膨張処理で増加したが収縮処理で収縮されずに残った画素を示しており、図１１（ａ）にあった内側領域５１が外側領域５２に繋がって連結領域５３を形成している。
【００５８】
図１１（ａ）に示す膨張収縮前の画像の存する領域５１、５２と、図１１（ｃ）に示す膨張収縮処理後の画像に存する連結領域５３とを対比すると、内側領域５１は連結領域５３の外側端部から見て充分内側に包含されている。そのため、削除処理により、内側領域５１は膨張収縮前の画像から消去される。
【００５９】
たとえば、図７（ａ）の文字「０」には、内側に孤立した白領域が存在するが、図８（ａ）の膨張収縮処理後の画像では、内側に孤立していた白領域が文字「０」を構成していた外側領域と繋がっている。また、図７（ｂ）の影あり画像については、文字「０」およびその内側にあった白領域がそれぞれ影と日向との境界線により上下に分断されているが、図８（ｂ）の膨張収縮処理後の画像では、内側に孤立していた白領域が文字「０」を構成していた外側領域と繋がって連結されている。
【００６０】
このように膨張収縮処理により外側領域に連結されてしまった内側領域を、膨張収縮前の画像から削除すると、図９（ｂ）に示すように、文字の内側にある孤立した領域を、影が存在していても消去することができ、影の影響を受けず文字領域を抽出することができる。
【００６１】
なお、「０」などの文字自体が影と日向との境界により途切れていなければ、閉領域の内側に孤立して存在する領域を検出して消去するという処理により文字「０」の内側にある白領域を消去することができる。しかし、図７（ｂ）のように影と日向との境界で文字「０」が途切れている場合には閉領域にならないので、上記の手法では内側の白領域を消去できない。これに対し、本発明では、膨張収縮処理を施し、該処理により連結されて内側に包含されてしまった領域を削除するという方法を採るので、影の境界で文字が途切れている場合でも内側の余計な領域を上手く削除することができる。
【００６２】
なお、図９（ｂ）に示すように文字抽出後の画像にも影の境界が出て、たとえば「０」の文字が上下に途切れているが、この画像に対してさらに膨張収縮処理を施したり、この画像から文字領域を判断し、細い線状の途切れを連結させたりするなどの処理を施せば、一つの領域にすることができる。
【００６３】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【００６４】
本実施の形態では文字抽出装置１０を専用の装置として構成したが、本発明は、汎用のコンピュータ装置や携帯型端末装置を文字抽出装置１０として機能させるためのプログラムとして構成されてもよい。
【００６５】
また、実施の形態では、車のナンバープレートから文字を抽出する場合を例に説明したが、本発明はこれに限定されるものではない。また、対象画像が、白地に黒文字であるか黒地に白文字であるかのいずれか一方に固定されている場合や、外部から白地に黒文字の画像か黒地に白文字の画像かを示す情報が提供される場合には、白地に黒文字か黒地に白文字かの判定処理は省略してもよい。
【００６６】
本実施の形態では、撮影条件により、画像内の文字がある程度のサイズになっていることを前提にし、予め定めた文字としての上限サイズ以上の大きさをもつ領域を絞り込み処理（図５のＳ３０７）において消去するようにしたが、かかる前提は必須ではない。たとえば、別途の方法でナンバープレート領域や文字の存在する領域を特定し、該特定した領域外の余計な画像を消去すれば、先の前提は不要になる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態に係わる文字抽出装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係わる文字抽出装置が文字抽出して文字認識するまでの動作全体を示す流れ図である。
【図３】本発明の実施の形態に係わる文字抽出装置が行なう自家用・事業用判定処理（色判定処理）を示す流れ図である。
【図４】標準画像および影あり画像に対して平滑化処理と第１のエッジ抽出処理とを施した結果の画像を例示した説明図である。
【図５】本発明の実施の形態に係わる文字抽出装置が行なう文字抽出処理を示す流れ図である。
【図６】標準画像および影あり画像に対して、輪郭線が文字の輪郭の外側に出るようにしてエッジ抽出処理を施した結果の画像を例示した説明図である。
【図７】図６の各画像をラベリングし、文字としての上限サイズ以上の領域を消去した結果の画像を例示した説明図である。
【図８】図７の各画像に、膨張処理を施した結果の画像を例示した説明図である。
【図９】図６の各画像から、膨張収縮処理によって連結された内側領域を削除した結果の画像（最終的な文字抽出画像）を例示した説明図である。
【図１０】膨張処理および収縮処理の説明図である。
【図１１】膨張収縮処理により内側領域が連結される様子を例示した説明図である。
【図１２】標準的なナンバープレートの画像（標準画像）とこれを判別分析法で２値化した画像とを示す説明図である。
【図１３】影と日向との境界のあるナンバープレート画像（影あり画像）とこれを判別分析法で２値化した画像とを示す説明図である。
【符号の説明】
【００６８】
１０…文字抽出装置
１１…画像入力部
１２…画像記憶部
１３…表示操作部
２０…処理部
２１…平滑化部
２２…第１のエッジ抽出部
２３…判定部
２４…選択部
２５…第２のエッジ抽出部
２６…第１のラベリング部
２７…領域絞込み部
２８…膨張処理部
２９…収縮処理部
３１…第２のラベリング部
３２…削除部
５１…内側領域
５２…外側領域
５３…連結領域
【技術分野】
【０００１】
本発明は、画像内の文字を抽出するための技術に関する。
【背景技術】
【０００２】
画像内の文字を抽出する方法には、画像の濃度ヒストグラムを作成し、その谷部分を見つけて適当なしきい値を設定し、該しきい値で画像を２値化する判別分析法や、画像を複数の領域に分割し、領域毎に上記の判別分析法を適用する方法などが知られている（たとえば、特許文献１参照。）。
【０００３】
【特許文献１】特開平０９−２５９２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
解像度を高くして車のナンバープレートを屋外で撮影した画像から文字を抽出するような場合には、ナンバープレートを保持する枠やバンパーなどの周辺環境の影響を受けて、ナンバープレート内の一部の領域に影やコントラスト差が発生することがあり、特に、車の後部にあるナンバープレートにおいて発生し易い。
【０００５】
図１２（ａ）に示すように、影のない画像（以後、この画像を標準画像と呼ぶ。）については、図１２（ｂ）のように従来の判別分析法で画像を２値化することによって文字を抽出可能であるが、図１３（ａ）のように、文字の途中に影と日向の境界が存在するような画像（以後、この画像を影あり画像と呼ぶ。）の場合には、判別分析法による２値化処理では、図１３（ｂ）のように、文字を上手く抽出することができなかった。また、ナンバープレートにおいては自家用と事業用とで文字と背景との明暗が逆転しているので、文字抽出を適切に行なうためには自家用と事業用とを判別することも重要になる。
【０００６】
本発明は、上記の問題を解決しようとするものであり、影などの影響を受けることなく画像内の文字を抽出することのできる文字抽出方法、文字抽出装置およびプログラムを提供することを目的としている。
【０００７】
また、文字と背景との明暗の逆転に影響されずに文字を抽出することのできる文字抽出方法、文字抽出装置、文字色判定方法、文字色判定装置およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の目的は以下に示す各項の発明により達成される。
【０００９】
（１）画像内から文字を抽出する文字抽出方法において、
元画像に対してエッジ抽出処理を施すステップと、
前記エッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を有する
ことを特徴とする文字抽出方法。
【００１０】
上記発明では、元画像にエッジ抽出処理を施し、抽出した輪郭線で区切られた連続領域毎にラベリングする。仮に文字の途中に影と日向との境界があれば、文字を構成する連続領域が該境界により複数の領域に分割される。そこで、小さい領域は文字の一部である可能性があるので残し、文字として扱うべき上限サイズより大きな領域を消去する。この状態では「８」や「口」などの文字を構成する線の内側にも領域が残っているので、画像を膨張収縮して内側の領域を文字の線と連結させた画像を作成し、膨張収縮前の画像と対比し、膨張収縮前は独立した領域であったが膨張収縮後は内側に連結されてしまった領域を見出し、該領域を膨張収縮前の画像から削除する。これにより、「８」や「口」などの内側に残っていた領域が削除され、残った領域は文字として抽出された領域になる。
【００１１】
（２）前記エッジ抽出処理は、輪郭線が文字の輪郭の外側に出るように施す
ことを特徴とする（１）に記載の文字抽出方法。
【００１２】
上記発明では、輪郭線が文字の輪郭の外側に出るようにエッジ抽出処理が施される。これにより、文字を構成する線が細くなったり、かすれたりすることが防止される。
【００１３】
（３）画像内から文字を抽出する文字抽出方法において、
元画像に第１のエッジ抽出処理を施した画像を生成するステップと、
前記第１のエッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定の結果に応じて選択するステップと、
前記選択された処理方法で前記元画像に対して前記第２のエッジ抽出処理を施すステップと、
前記第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を有する
ことを特徴とする文字抽出方法。
【００１４】
上記発明では、第１のエッジ抽出処理により、輪郭線を描き出し、閉じた輪郭線の内外の輝度を比較することで、白地に黒文字が存在する画像か、黒地に白文字が存在する画像かを判定する。内外の輝度を比較する際の境界となる閉じた輪郭線は、該輪郭線で囲まれた閉領域が文字の一部であろうと推定される大きさや位置にあるものを選出する。判定結果から、白地に黒文字の場合は黒領域の外側に輪郭線が出るように第２のエッジ抽出処理を施し、黒地に白文字の場合は白領域の外側に輪郭線が出るように第２のエッジ抽出処理を施す。これにより、白地に黒文字と黒地に白文字のいずれであっても、文字領域が細ることなくエッジ抽出される。
【００１５】
その後、第２のエッジ抽出処理で抽出した輪郭線で区切られた連続領域毎にラベリングし、その中で、文字として扱うべき上限サイズより大きな領域を消去する。さらに、膨張処理、収縮処理を施して内側の領域を連結された画像を作成し、膨張収縮前の画像と対比し、膨張収縮前は独立した領域であったが膨張収縮後は内側に連結されてしまった領域を見出し、該領域を膨張収縮前の画像から削除する。これにより、「８」や「口」などの内側に残っていた領域が削除され、残った領域は文字として抽出された領域になる。
【００１６】
（４）白地に黒文字が存するか黒地に白文字が存するかを判定する文字色判定方法において、
元画像に対してエッジ抽出処理を施した画像を生成するステップと、
前記エッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと
を有する
ことを特徴とする文字色判定方法。
【００１７】
上記発明では、エッジ抽出処理により、輪郭線を描き出し、閉じた輪郭線の内外の輝度を比較することで、白地に黒文字が存在する画像か、黒地に白文字が存在する画像かを判定する。内外の輝度を比較する際の境界となる閉じた輪郭線は、該輪郭線で囲まれた閉領域が文字の一部であろうと推定される大きさや位置にあるものを選出する。
【００１８】
（５）画像内から文字を抽出する文字抽出装置において、
元画像に対してエッジ抽出処理を施すエッジ抽出部と、
前記エッジ抽出部でエッジ抽出処理を施した後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す第１のラベリング部と、
前記第１のラベリング部でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する領域絞込み部と、
前記領域絞込み部による消去後の画像に対して膨張処理を施した画像を生成する膨張処理部と、
前記膨張処理部で膨張処理を施した後の画像に対して収縮処理を施す収縮処理部と、
前記収縮処理部で収縮処理を施した後の画像に対して第２のラベリング処理を施す第２のラベリング部と、
前記領域絞込み部による消去後の画像に残っているラベリングされた各領域の中で、前記第２のラベリング部でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する削除部と
を有する
ことを特徴とする文字抽出装置。
【００１９】
（６）前記エッジ抽出部は、輪郭線が文字の輪郭の外側に出るように前記エッジ抽出処理を施す
ことを特徴とする（５）に記載の文字抽出装置。
【００２０】
（７）画像内から文字を抽出する文字抽出装置において、
元画像に対して第１のエッジ抽出処理を施した画像を生成する第１のエッジ抽出部と、
前記第１のエッジ抽出部によって抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定する判定部と、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定部での判定結果に応じて選択する選択部と、
前記選択部で選択した処理方法で前記元画像に対して前記第２のエッジ抽出処理を施す第２のエッジ抽出部と、
前記第２のエッジ抽出部で前記第２のエッジ抽出処理を施した後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す第１のラベリング部と、
前記第１のラベリング部でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する領域絞込み部と、
前記領域絞込み部による消去後の画像に対して膨張処理を施した画像を生成する膨張処理部と、
前記膨張処理部で膨張処理を施した後の画像に対して収縮処理を施す収縮処理部と、
前記収縮処理部で収縮処理を施した後の画像に対して第２のラベリング処理を施す第２のラベリング部と、
前記領域絞込み部による消去後の画像に残っているラベリングされた各領域の中で、前記第２のラベリング部でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する削除部と
を有する
ことを特徴とする文字抽出装置。
【００２１】
（８）白地に黒文字が存するか黒地に白文字が存するかを判定する文字色判定装置において、
元画像にエッジ抽出処理を施した画像を生成するエッジ抽出部と、
前記エッジ抽出部によって抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定する判定部と
を有する
ことを特徴とする文字色判定装置。
（９）画像内から文字を抽出するためのプログラムであって、
コンピュータに、
元画像に対してエッジ抽出処理を施すステップと、
前記エッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を実行させるためのプログラム。
【００２２】
（１０）前記エッジ抽出処理は、輪郭線が文字の輪郭の外側に出るように施す
ことを特徴とする（９）に記載のプログラム。
【００２３】
（１１）画像内から文字を抽出するためのプログラムであって、
コンピュータに、
元画像に対して第１のエッジ抽出処理を施した画像を生成するステップと、
前記第１のエッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定の結果に応じて選択するステップと、
前記選択された処理方法で前記元画像に対して前記第２のエッジ抽出処理を施すステップと、
前記第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を実行させるためのプログラム。
【００２４】
（１２）白地に黒文字が存するか黒地に白文字が存するかを判定するためのプログラムであって、
コンピュータに、
元画像に対してエッジ抽出処理を施した画像を生成するステップと、
前記エッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと
を実行させるためのプログラム。
【発明の効果】
【００２５】
本発明に係わる文字抽出方法、文字抽出装置および文字抽出のプログラムによれば、影などの影響を受けることなく、画像内の文字を抽出することができる。
【００２６】
特に、白地に黒文字の画像であるか黒地に白文字の画像かを判定し、該判定結果に応じた処理を施すので、文字と背景との明暗の逆転に影響されることなく文字を抽出できる。
【００２７】
また、エッジ抽出処理で得た輪郭線の中で文字らしいサイズの領域を囲むいずれかの輪郭線を特定し、該輪郭線の内外で輝度を対比し、その対比結果に基づいて白地に黒文字の画像であるか黒地に白文字の画像かを判定するものでは、影などの影響を受けることなく、簡単な処理で、白地に黒文字か黒地に白文字かを判定することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面に基づき本発明の実施の形態を説明する。
【００２９】
図１は、本実施の形態に係わる文字抽出装置１０の構成を示している。文字抽出装置１０は、判別分析法を用いて画像全体を１つのしきい値で２値化するのではなく、文字のエッジ情報を用いて文字領域か否かを判断することで文字抽出を行うようになっている。文字抽出装置１０は、画像入力部１１と、画像記憶部１２と、表示操作部１３と、処理部２０とから構成される。
【００３０】
画像入力部１１は、文字抽出の対象となる元画像を文字抽出装置１０に入力する機能を果たす。画像入力部１１は、デジタルカメラやスキャナなどでもよいし、デジタルカメラなどで撮影した画像の画像データを通信ケーブルやメモリカードを介して入力するものであってもよい。
【００３１】
画像記憶部１２は、画像入力部１１から入力された画像データや処理中・処理後の画像データを記憶するためのメモリである。
【００３２】
処理部２０は、ＣＰＵ（Central Processing Unit）を主要部として構成され、各種の画像処理を実行したり文字抽出装置１０全体の動作を制御したりする機能を果たす。表示操作部１３は、ユーザインターフェース機能を果たし、処理対象の画像や操作画面などを表示するための液晶ディスプレイ、ユーザから各種の操作を受け付けるための操作スイッチなどで構成される。
【００３３】
処理部２０は、文字抽出に関して、平滑化部２１と、第１のエッジ抽出部２２と、判定部２３と、選択部２４と、第２のエッジ抽出部２５と、第１のラベリング部２６と、領域絞込み部２７と、膨張処理部２８と、収縮処理部２９と、第２のラベリング部３１と、削除部３２としての機能を果たす。
【００３４】
平滑化部２１は、画像を平滑化する。第１のエッジ抽出部２２は、この平滑化画像に対して第１のエッジ抽出処理を施した画像を生成する。第１のエッジ抽出部２２は平滑化画像（元画像）自体は壊さないように処理される。判定部２３は、第１のエッジ抽出部２２でエッジ抽出処理を施した画像を解析して、白地に黒文字が存する画像か黒地に白文字が存する画像かを判定する。選択部２４は、この判定結果に応じて第２のエッジ抽出部２５が行なう第２のエッジ抽出処理の処理方法を選択する。詳細には、輪郭線（エッジ）が文字の輪郭の外側に出るように第２のエッジ抽出処理における処理方法を判定部２３での判定結果に応じて選択する。
【００３５】
第２のエッジ抽出部２５は、選択部２４で選択された処理方法により、元画像（平滑化画像）に対して第２のエッジ抽出処理を施す。第１のラベリング部２６は、第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す。領域絞込み部２７は、第１のラベリング部２６によってラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する。膨張処理部２８は、領域絞込み部２７による消去後の画像に対して膨張処理を施し、収縮処理部２９は膨張処理後の画像に対して収縮処理を施す。第２のラベリング部３１は、収縮処理後の画像に対して第２のラベリング処理を施す。削除部３２は、領域絞込み部２７による消去後の画像に残っているラベリングされた各領域の中で、第２のラベリング部３１でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を、領域絞込み部２７による消去後の画像からさらに削除する。削除後に残った領域が文字として抽出された領域になる。
【００３６】
図２は、文字抽出装置１０が、解像度を高くして車のナンバープレートを撮影した画像を対象にして文字抽出し、文字認識するまでの動作全体の流れを示している。なお、文字抽出とは、画像中から文字とその他の部分とを分離することで、本実施の形態では、文字を白画素に、その他を黒画素にした画像を作成することを指す。
【００３７】
まず、自家用・事業用判定処理でナンバープレートが自家用（白地に黒（実際は緑）文字）か事業用（黒（実際は緑）地に白文字）かを判定する（ステップＳ１０１）。この判定結果に基づき、文字が白色となって抽出されるように文字抽出処理を行なう（ステップＳ１０２）。抽出した文字の位置を基準にして画像内からナンバープレートの位置を特定して（ステップＳ１０３）ナンバープレート領域を切り出し(ステップＳ１０４)、切り出したナンバープレート領域を対象に、再度、文字抽出処理を行ない（ステップＳ１０５）、該文字抽出された画像から文字認識して(ステップＳ１０６)処理を終了する（エンド）。
【００３８】
本処理では、当初は解像度を半分にして画像処理を高速に行なうようにし、ナンバープレート領域が画像内で小さい場合には、元の解像度でナンバープレート領域を切り出し、該切り出した領域に対して、再度、文字抽出処理を行なうことで、１文字を構成する画素数が少なくなって、文字抽出や文字認識の精度が低下することを防止している。
【００３９】
なお、ナンバープレートを画面いっぱいに撮影していることが明らかな場合など、ナンバープレート部を切り出す必要がない場合には、ナンバー位置特定処理（ステップＳ１０３）、ナンバー切り出し処理（ステップＳ１０４）および再度の文字抽出処理（ステップＳ１０５）は不要となる。
【００４０】
図３は、自家用・事業用判定処理（色判定処理）の流れを示している。まず、平滑化部２１で対象画像を平滑化して局所的なノイズを削除した平滑化画像（元画像とする）を作成し（ステップＳ２０１）、該平滑化画像に対して第１のエッジ抽出部２２で第１のエッジ抽出処理を行なってエッジ抽出画像を生成する（ステップＳ２０２）。第１のエッジ抽出処理はどのような手法でもかまわないが、ここでは、図１２（ａ）に示すように、ナンバープレートが画像の中心に比較的大きく撮影されることを前提として、平滑化画像の中心部を対象に第１のエッジ抽出処理を施す。また、注目画素を中心とした３×３領域の中で最小の輝度値と最大の輝度値との差分を求め、該差分が固定のしきい値以上の場合に、注目画素を輪郭線となる画素（ここでは白画素）にする２値化手法、すなわち、３×３領域のmin-max差分処理を固定しきい値で２値化する手法を用いている。
【００４１】
図４（ａ）は、上記ステップＳ２０１、Ｓ２０２の処理を図１２（ａ）の標準画像に施した結果であり、図４（ｂ）は、図１３（ａ）の影あり画像に上記処理を施した結果である。エッジ（輪郭線）部分は白画素、その他は黒画素になっている。
【００４２】
判定部２３は、このエッジ抽出画像内での画素の連続性を検査して連続領域毎に画像を区分けするラベリング処理を行ない、これらラベリングされた連続領域の中で文字らしい大きさのものを１つ特定する(ステップＳ２０３)。たとえば、ナンバープレートが画像の中心に比較的大きく撮影されるという条件において撮影画像に現れる標準的な文字サイズを予め規定しておき、輪郭線で囲まれた連続領域の大きさが該文字サイズに最も近いものを、文字らしい連続領域に特定する。
【００４３】
判定部２３は、特定した連続領域を囲む輪郭線の内側領域の輝度値と外側領域の輝度値とを、第１のエッジ抽出処理を施す前の平滑化画像において対比し（ステップＳ２０４）、外側領域の輝度値が内側領域の輝度値より高いときは（ステップＳ２０５；Ｙ）、自家用（白地に黒文字が存する）と判定し（ステップＳ２０６）、内側領域の輝度値が外側領域の輝度値より高いときは（ステップＳ２０５；Ｎ）、事業用（黒地に白文字が存する）と判定して（ステップＳ２０７）処理を終了する（エンド）。内外の輝度値の比較においては、数画素の平均を用いると精度が向上する。
【００４４】
図４のエッジ抽出画像を見ると、自家用・事業用の判定を行なわずに、該画像から直接文字抽出できそうであるが、該画像の輪郭線は、実際の文字の輪郭の内外に股がるように抽出されているので、この輪郭線をそのまま使用し、その内側を文字領域として抽出すると、文字領域（文字の線）が細くなったり、かすれたりしてしまう。また、輪郭線を含めて文字領域とすると、近接する他の領域が連結するなどの影響が現れてしまう。
【００４５】
そこで、本実施の形態では、エッジ抽出処理で抽出される輪郭線が文字の輪郭の外側に必ず出るように、自家用・事業用判定処理の判定結果に基づいてエッジ抽出処理の処理方法を選択し、該選択した処理方法でエッジ抽出処理をやり直すようになっている。輪郭線が輪郭の外側に出るようにしてエッジ抽出処理を施し、該輪郭線の内側を文字領域とすれば、細くなったり、太くなったりせずに文字領域を抽出することができる。
【００４６】
図５は、上記エッジ抽出処理のやり直しを含む、文字抽出処理の流れを示している。平滑化部２１で対象画像を平滑化して局所的なノイズを削除した平滑化画像を生成する（ステップＳ３０１）。次に、選択部２４は自家用・事業用判定処理の判定結果に応じて第２のエッジ抽出処理での処理方法を選択し、第２のエッジ抽出部２５は、選択部２４が選択した処理方法で先の平滑化画像に対して第２のエッジ抽出処理を行なう（ステップＳ３０２からＳ３０６）。
【００４７】
具体的には、前処理として、平滑化画像の画素毎に、その画素を注目画素とした５×５領域内（注目画素を除く、もしくは注目画素を含んでもかまわない）での最小輝度値と最大輝度値とを調べ、これらの輝度値を注目画素の座標に関連付けて所定のデータテーブルに登録する（ステップＳ３０２）。自家用・事業用判定処理の判定結果が自家用（白地に黒文字）の場合は（ステップＳ３０３；Ｙ）、各画素(注目画素)の輝度値とその画素に関連付けて先のデータテーブルに登録されている最小輝度値（注目画素近傍５×５領域内の最小輝度値）との差分を求め（ステップＳ３０４）、該差分が所定のしきい値以上の場合にその注目画素を黒画素（輪郭線を構成する画素）にする（ステップＳ３０６）。
【００４８】
一方、自家用・事業用判定処理の判定結果が事業用（黒地に白文字）の場合は（ステップＳ３０３；Ｎ）、各画素(注目画素)の輝度値とその画素に関連付けて先のデータテーブルに登録されている最大輝度値（注目画素近傍５×５領域内の最大輝度値）との差分を求め（ステップＳ３０５）、該差分が所定のしきい値以上の場合にその注目画素を黒画素（輪郭線を構成する画素）にする（ステップＳ３０６）。
【００４９】
これにより、白地に黒文字か黒字に白文字かにかかわらず、第２のエッジ抽出処理により、輪郭線が文字の輪郭の外側に出たエッジ抽出画像が取得される。なお、ここでは、注目画素近傍の５×５領域を用いることで２画素分の幅の輪郭線が得られる。図６（ａ）は、上記のステップＳ３０１〜Ｓ３０６の処理を図１２（ａ）の標準画像に施した結果であり、図６（ｂ）は、図１３（ａ）の影あり画像に同様の処理を施した結果である。
【００５０】
次に、領域絞込み部２７は、上記処理で得たエッジ抽出画像に対して、輪郭線以外の部分について画素の連続性を検査し、画像を連続領域毎に区分けするラベリング処理（第１のラベリング処理）を行なう。そして、各連続領域の面積、縦横の長さを基に、文字とはいえない連続領域を消去する（ステップＳ３０７）。文字の途中に影と日向との境界があると文字が分裂して小さい領域になるので、小さい連続領域は文字の可能性がある。そこで小さい連続領域は残しておき、予め定めた文字としての上限サイズより大きい連続領域のみを消去する。但し、明らかにノイズと呼べる極小領域は除去する。図７（ａ）は図６（ａ）の画像に、図７（ｂ）は図６（ｂ）の画像にそれぞれ上記の領域絞り込み処理を施した結果である。図７に示す消去後の画像では、背景が黒に、消去されずに残った連続領域が白になっている。
【００５１】
図７に示す消去後の画像では、「０」や「６」の文字の内側に、文字以外の余計な白い領域が残っている。そこで、このような余計な白領域を削除するために、まず、膨張処理部２８で画像に膨張処理を施し、さらにこの膨張処理後の画像に収縮処理部２９で収縮処理を施して(ステップＳ３０８)、内側の白領域をその外側の領域に連結させた画像を生成する。そして、この画像に対して第２のラベリング部３１でもう一度ラベリング処理を行なう（ステップＳ３０９）。図８（ａ）は図７（ａ）の画像に、図８（ｂ）は図７（ｂ）の画像にそれぞれ膨張処理および収縮処理を施した結果である。
【００５２】
次に、図７に示す消去後の画像に残っていた各連続領域と、膨張収縮処理後の画像に対して第２のラベリング処理を施して得た各連続領域とを比較し、消去後の画像に存する連続領域の中で第２のラベリング処理でラベリングされた連続領域の内側に包含されてしまった領域を検出し、該検出された領域を、消去後の画像（膨張処理前の画像）から削除する（ステップＳ３１０）。
【００５３】
ここでは、膨張収縮処理前の画像に存する各領域（処理前領域）の座標と膨張収縮処理後の画像に存する各領域（処理後領域）との座標を比較し、処理後領域の中に明らかに含まれている処理前領域を見出し、該処理前領域を膨張収縮処理前の画像から削除する。明らかに含まれるとは、たとえば、領域の外側端部より数画素分内側に含まれていることをいう。膨張収縮させると元の画像よりも１画素ぐらい太ることがあり得るので、１画素程度内側に存在するならば、削除せずに残し、たとえば、５画素位内側に存在する領域は、明らかに内側に含まれるとして削除する。
【００５４】
図９（ａ）は図８（ａ）の画像に対して、図９（ｂ）は図８（ｂ）の画像に対してそれぞれ、図５のステップＳ３１０の削除処理を施した結果を示している。図９の画像は、不要な領域が消去された文字抽出画像になっている。なお、文字抽出画像から直接、文字認識してもよいし、文字抽出画像からナンバープレート領域を特定して切り出し、該切り出したナンバープレート領域に対して文字抽出処理を再度施して得た画像から文字認識してもよい。
【００５５】
次に、上記の膨張収縮処理（ステップＳ３０７、Ｓ３０８）と、内側に包含された領域の削除処理（ステップＳ３０９、Ｓ３１０）とについて詳しく説明する。
【００５６】
膨張処理は、図１０（ａ）に示すように、対象となる画素値（ここでは白）の領域を周囲へ広げる処理であり、４近傍に膨張させる場合は上下左右の隣接４画素に領域拡張し、８近傍に膨張させる場合は周囲の８画素に領域拡張する。収縮処理は、図１０（ｂ）に示すように、膨張処理と反対で、黒画素（膨張処理で対象とした画素値と反対の画素値）の領域を広げる処理である。
【００５７】
図１１は、膨張収縮処理により、内側領域５１が外側領域５２に連結される様子を示している。なお、同図は黒画素を膨張収縮するように描いてある。図１１（ａ）は膨張処理前の画像で、外側領域５２の中に、内側領域５１が存在している。図１１（ｂ）は、図１１（ａ）の画像の黒領域を４近傍で膨張させた結果を示している。膨張で増えた画像には斜線を付してある。図１１（ｃ）は図１１（ｂ）の膨張画像に４近傍の収縮処理を施した結果である。膨張処理により黒画素（図中は斜線の画素）で埋って繋がった箇所には、もはや白画素が存在しないので、収縮処理を施しても繋がったままの状態で残り、そうでないところは元の状態（大きさ）に戻る。図１１（ｃ）では、斜線を付した画素は膨張処理で増加したが収縮処理で収縮されずに残った画素を示しており、図１１（ａ）にあった内側領域５１が外側領域５２に繋がって連結領域５３を形成している。
【００５８】
図１１（ａ）に示す膨張収縮前の画像の存する領域５１、５２と、図１１（ｃ）に示す膨張収縮処理後の画像に存する連結領域５３とを対比すると、内側領域５１は連結領域５３の外側端部から見て充分内側に包含されている。そのため、削除処理により、内側領域５１は膨張収縮前の画像から消去される。
【００５９】
たとえば、図７（ａ）の文字「０」には、内側に孤立した白領域が存在するが、図８（ａ）の膨張収縮処理後の画像では、内側に孤立していた白領域が文字「０」を構成していた外側領域と繋がっている。また、図７（ｂ）の影あり画像については、文字「０」およびその内側にあった白領域がそれぞれ影と日向との境界線により上下に分断されているが、図８（ｂ）の膨張収縮処理後の画像では、内側に孤立していた白領域が文字「０」を構成していた外側領域と繋がって連結されている。
【００６０】
このように膨張収縮処理により外側領域に連結されてしまった内側領域を、膨張収縮前の画像から削除すると、図９（ｂ）に示すように、文字の内側にある孤立した領域を、影が存在していても消去することができ、影の影響を受けず文字領域を抽出することができる。
【００６１】
なお、「０」などの文字自体が影と日向との境界により途切れていなければ、閉領域の内側に孤立して存在する領域を検出して消去するという処理により文字「０」の内側にある白領域を消去することができる。しかし、図７（ｂ）のように影と日向との境界で文字「０」が途切れている場合には閉領域にならないので、上記の手法では内側の白領域を消去できない。これに対し、本発明では、膨張収縮処理を施し、該処理により連結されて内側に包含されてしまった領域を削除するという方法を採るので、影の境界で文字が途切れている場合でも内側の余計な領域を上手く削除することができる。
【００６２】
なお、図９（ｂ）に示すように文字抽出後の画像にも影の境界が出て、たとえば「０」の文字が上下に途切れているが、この画像に対してさらに膨張収縮処理を施したり、この画像から文字領域を判断し、細い線状の途切れを連結させたりするなどの処理を施せば、一つの領域にすることができる。
【００６３】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【００６４】
本実施の形態では文字抽出装置１０を専用の装置として構成したが、本発明は、汎用のコンピュータ装置や携帯型端末装置を文字抽出装置１０として機能させるためのプログラムとして構成されてもよい。
【００６５】
また、実施の形態では、車のナンバープレートから文字を抽出する場合を例に説明したが、本発明はこれに限定されるものではない。また、対象画像が、白地に黒文字であるか黒地に白文字であるかのいずれか一方に固定されている場合や、外部から白地に黒文字の画像か黒地に白文字の画像かを示す情報が提供される場合には、白地に黒文字か黒地に白文字かの判定処理は省略してもよい。
【００６６】
本実施の形態では、撮影条件により、画像内の文字がある程度のサイズになっていることを前提にし、予め定めた文字としての上限サイズ以上の大きさをもつ領域を絞り込み処理（図５のＳ３０７）において消去するようにしたが、かかる前提は必須ではない。たとえば、別途の方法でナンバープレート領域や文字の存在する領域を特定し、該特定した領域外の余計な画像を消去すれば、先の前提は不要になる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態に係わる文字抽出装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係わる文字抽出装置が文字抽出して文字認識するまでの動作全体を示す流れ図である。
【図３】本発明の実施の形態に係わる文字抽出装置が行なう自家用・事業用判定処理（色判定処理）を示す流れ図である。
【図４】標準画像および影あり画像に対して平滑化処理と第１のエッジ抽出処理とを施した結果の画像を例示した説明図である。
【図５】本発明の実施の形態に係わる文字抽出装置が行なう文字抽出処理を示す流れ図である。
【図６】標準画像および影あり画像に対して、輪郭線が文字の輪郭の外側に出るようにしてエッジ抽出処理を施した結果の画像を例示した説明図である。
【図７】図６の各画像をラベリングし、文字としての上限サイズ以上の領域を消去した結果の画像を例示した説明図である。
【図８】図７の各画像に、膨張処理を施した結果の画像を例示した説明図である。
【図９】図６の各画像から、膨張収縮処理によって連結された内側領域を削除した結果の画像（最終的な文字抽出画像）を例示した説明図である。
【図１０】膨張処理および収縮処理の説明図である。
【図１１】膨張収縮処理により内側領域が連結される様子を例示した説明図である。
【図１２】標準的なナンバープレートの画像（標準画像）とこれを判別分析法で２値化した画像とを示す説明図である。
【図１３】影と日向との境界のあるナンバープレート画像（影あり画像）とこれを判別分析法で２値化した画像とを示す説明図である。
【符号の説明】
【００６８】
１０…文字抽出装置
１１…画像入力部
１２…画像記憶部
１３…表示操作部
２０…処理部
２１…平滑化部
２２…第１のエッジ抽出部
２３…判定部
２４…選択部
２５…第２のエッジ抽出部
２６…第１のラベリング部
２７…領域絞込み部
２８…膨張処理部
２９…収縮処理部
３１…第２のラベリング部
３２…削除部
５１…内側領域
５２…外側領域
５３…連結領域
【特許請求の範囲】
【請求項１】
画像内から文字を抽出する文字抽出方法において、
元画像に対してエッジ抽出処理を施すステップと、
前記エッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を有する
ことを特徴とする文字抽出方法。
【請求項２】
前記エッジ抽出処理は、輪郭線が文字の輪郭の外側に出るように施す
ことを特徴とする請求項１に記載の文字抽出方法。
【請求項３】
画像内から文字を抽出する文字抽出方法において、
元画像に第１のエッジ抽出処理を施した画像を生成するステップと、
前記第１のエッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定の結果に応じて選択するステップと、
前記選択された処理方法で前記元画像に対して前記第２のエッジ抽出処理を施すステップと、
前記第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を有する
ことを特徴とする文字抽出方法。
【請求項４】
白地に黒文字が存するか黒地に白文字が存するかを判定する文字色判定方法において、
元画像に対してエッジ抽出処理を施した画像を生成するステップと、
前記エッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと
を有する
ことを特徴とする文字色判定方法。
【請求項５】
画像内から文字を抽出する文字抽出装置において、
元画像に対してエッジ抽出処理を施すエッジ抽出部と、
前記エッジ抽出部でエッジ抽出処理を施した後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す第１のラベリング部と、
前記第１のラベリング部でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する領域絞込み部と、
前記領域絞込み部による消去後の画像に対して膨張処理を施した画像を生成する膨張処理部と、
前記膨張処理部で膨張処理を施した後の画像に対して収縮処理を施す収縮処理部と、
前記収縮処理部で収縮処理を施した後の画像に対して第２のラベリング処理を施す第２のラベリング部と、
前記領域絞込み部による消去後の画像に残っているラベリングされた各領域の中で、前記第２のラベリング部でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する削除部と
を有する
ことを特徴とする文字抽出装置。
【請求項６】
前記エッジ抽出部は、輪郭線が文字の輪郭の外側に出るように前記エッジ抽出処理を施す
ことを特徴とする請求項５に記載の文字抽出装置。
【請求項７】
画像内から文字を抽出する文字抽出装置において、
元画像に対して第１のエッジ抽出処理を施した画像を生成する第１のエッジ抽出部と、
前記第１のエッジ抽出部によって抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定する判定部と、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定部での判定結果に応じて選択する選択部と、
前記選択部で選択した処理方法で前記元画像に対して前記第２のエッジ抽出処理を施す第２のエッジ抽出部と、
前記第２のエッジ抽出部で前記第２のエッジ抽出処理を施した後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す第１のラベリング部と、
前記第１のラベリング部でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する領域絞込み部と、
前記領域絞込み部による消去後の画像に対して膨張処理を施した画像を生成する膨張処理部と、
前記膨張処理部で膨張処理を施した後の画像に対して収縮処理を施す収縮処理部と、
前記収縮処理部で収縮処理を施した後の画像に対して第２のラベリング処理を施す第２のラベリング部と、
前記領域絞込み部による消去後の画像に残っているラベリングされた各領域の中で、前記第２のラベリング部でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する削除部と
を有する
ことを特徴とする文字抽出装置。
【請求項８】
白地に黒文字が存するか黒地に白文字が存するかを判定する文字色判定装置において、
元画像にエッジ抽出処理を施した画像を生成するエッジ抽出部と、
前記エッジ抽出部によって抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定する判定部と
を有する
ことを特徴とする文字色判定装置。
【請求項９】
画像内から文字を抽出するためのプログラムであって、
コンピュータに、
元画像に対してエッジ抽出処理を施すステップと、
前記エッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を実行させるためのプログラム。
【請求項１０】
前記エッジ抽出処理は、輪郭線が文字の輪郭の外側に出るように施す
ことを特徴とする請求項９に記載のプログラム。
【請求項１１】
画像内から文字を抽出するためのプログラムであって、
コンピュータに、
元画像に対して第１のエッジ抽出処理を施した画像を生成するステップと、
前記第１のエッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定の結果に応じて選択するステップと、
前記選択された処理方法で前記元画像に対して前記第２のエッジ抽出処理を施すステップと、
前記第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を実行させるためのプログラム。
【請求項１２】
白地に黒文字が存するか黒地に白文字が存するかを判定するためのプログラムであって、
コンピュータに、
元画像に対してエッジ抽出処理を施した画像を生成するステップと、
前記エッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと
を実行させるためのプログラム。
【請求項１】
画像内から文字を抽出する文字抽出方法において、
元画像に対してエッジ抽出処理を施すステップと、
前記エッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を有する
ことを特徴とする文字抽出方法。
【請求項２】
前記エッジ抽出処理は、輪郭線が文字の輪郭の外側に出るように施す
ことを特徴とする請求項１に記載の文字抽出方法。
【請求項３】
画像内から文字を抽出する文字抽出方法において、
元画像に第１のエッジ抽出処理を施した画像を生成するステップと、
前記第１のエッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定の結果に応じて選択するステップと、
前記選択された処理方法で前記元画像に対して前記第２のエッジ抽出処理を施すステップと、
前記第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を有する
ことを特徴とする文字抽出方法。
【請求項４】
白地に黒文字が存するか黒地に白文字が存するかを判定する文字色判定方法において、
元画像に対してエッジ抽出処理を施した画像を生成するステップと、
前記エッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと
を有する
ことを特徴とする文字色判定方法。
【請求項５】
画像内から文字を抽出する文字抽出装置において、
元画像に対してエッジ抽出処理を施すエッジ抽出部と、
前記エッジ抽出部でエッジ抽出処理を施した後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す第１のラベリング部と、
前記第１のラベリング部でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する領域絞込み部と、
前記領域絞込み部による消去後の画像に対して膨張処理を施した画像を生成する膨張処理部と、
前記膨張処理部で膨張処理を施した後の画像に対して収縮処理を施す収縮処理部と、
前記収縮処理部で収縮処理を施した後の画像に対して第２のラベリング処理を施す第２のラベリング部と、
前記領域絞込み部による消去後の画像に残っているラベリングされた各領域の中で、前記第２のラベリング部でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する削除部と
を有する
ことを特徴とする文字抽出装置。
【請求項６】
前記エッジ抽出部は、輪郭線が文字の輪郭の外側に出るように前記エッジ抽出処理を施す
ことを特徴とする請求項５に記載の文字抽出装置。
【請求項７】
画像内から文字を抽出する文字抽出装置において、
元画像に対して第１のエッジ抽出処理を施した画像を生成する第１のエッジ抽出部と、
前記第１のエッジ抽出部によって抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定する判定部と、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定部での判定結果に応じて選択する選択部と、
前記選択部で選択した処理方法で前記元画像に対して前記第２のエッジ抽出処理を施す第２のエッジ抽出部と、
前記第２のエッジ抽出部で前記第２のエッジ抽出処理を施した後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施す第１のラベリング部と、
前記第１のラベリング部でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去する領域絞込み部と、
前記領域絞込み部による消去後の画像に対して膨張処理を施した画像を生成する膨張処理部と、
前記膨張処理部で膨張処理を施した後の画像に対して収縮処理を施す収縮処理部と、
前記収縮処理部で収縮処理を施した後の画像に対して第２のラベリング処理を施す第２のラベリング部と、
前記領域絞込み部による消去後の画像に残っているラベリングされた各領域の中で、前記第２のラベリング部でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除する削除部と
を有する
ことを特徴とする文字抽出装置。
【請求項８】
白地に黒文字が存するか黒地に白文字が存するかを判定する文字色判定装置において、
元画像にエッジ抽出処理を施した画像を生成するエッジ抽出部と、
前記エッジ抽出部によって抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定する判定部と
を有する
ことを特徴とする文字色判定装置。
【請求項９】
画像内から文字を抽出するためのプログラムであって、
コンピュータに、
元画像に対してエッジ抽出処理を施すステップと、
前記エッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を実行させるためのプログラム。
【請求項１０】
前記エッジ抽出処理は、輪郭線が文字の輪郭の外側に出るように施す
ことを特徴とする請求項９に記載のプログラム。
【請求項１１】
画像内から文字を抽出するためのプログラムであって、
コンピュータに、
元画像に対して第１のエッジ抽出処理を施した画像を生成するステップと、
前記第１のエッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記第１のエッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと、
前記元画像に対して第２のエッジ抽出処理を施した場合に輪郭線が文字の輪郭の外側に出るように、前記第２のエッジ抽出処理における処理方法を前記判定の結果に応じて選択するステップと、
前記選択された処理方法で前記元画像に対して前記第２のエッジ抽出処理を施すステップと、
前記第２のエッジ抽出処理後の画像に対して、連続領域毎に画像を区分けする第１のラベリング処理を施すステップと、
前記第１のラベリング処理でラベリングされた各連続領域の中で、予め定めた文字としての上限サイズより大きい領域を消去するステップと、
前記消去後の画像に対して膨張処理を施した画像を生成するステップと、
前記膨張処理後の画像に対して収縮処理を施すステップと、
前記収縮処理後の画像に対して第２のラベリング処理を施すステップと、
前記消去後の画像に存するラベリングされた各領域の中で前記第２のラベリング処理でラベリングされた領域の内側に包含された領域を検出し、該検出された領域を前記消去後の画像から削除するステップと
を実行させるためのプログラム。
【請求項１２】
白地に黒文字が存するか黒地に白文字が存するかを判定するためのプログラムであって、
コンピュータに、
元画像に対してエッジ抽出処理を施した画像を生成するステップと、
前記エッジ抽出処理で抽出された、文字らしいサイズの領域を囲むいずれかの輪郭線の内側領域の輝度と外側領域の輝度とを前記エッジ抽出処理を施す前の前記元画像において対比し、前記外側領域の輝度が前記内側領域の輝度より高いときは白地に黒文字が存すると判定し、前記内側領域の輝度が前記外側領域の輝度より高いときは黒地に白文字が存すると判定するステップと
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−１５６７４１（Ｐ２００７−１５６７４１Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００５−３４９７４５（Ｐ２００５−３４９７４５）
【出願日】平成１７年１２月２日（２００５．１２．２）
【出願人】（３９００１００５４）小糸工業株式会社 (136)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１７年１２月２日（２００５．１２．２）
【出願人】（３９００１００５４）小糸工業株式会社 (136)
【Ｆターム（参考）】
[ Back to top ]