文字認識処理装置、方法、及びプログラム
【課題】低コントラストな画像においても正確に文字認識を行うことが可能な文字認識処理装置を提供する。
【解決手段】抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換手段と、輝度変換後入力画像から、帯域通過フィルタを用いて文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタ手段と、文字部抽出画像を、入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳部と、文字強調画像に基づいて文字認識処理を行う文字認識処理手段とを備える。
【解決手段】抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換手段と、輝度変換後入力画像から、帯域通過フィルタを用いて文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタ手段と、文字部抽出画像を、入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳部と、文字強調画像に基づいて文字認識処理を行う文字認識処理手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字認識処理装置に関し、特に低品質画像に係る文字認識処理装置に関する。
【背景技術】
【０００２】
自動車ナンバー自動読取システムは、自動車のナンバープレートから、不正車両を自動で割り出すシステムである。自動車ナンバー自動読取システムは、撮像装置によって料金所等を通過する自動車のナンバープレートを撮影し、当該ナンバープレートの画像からナンバープレートに表記されている自動車ナンバーを、文字認識処理を行うことによって認識する。さらに、自動車ナンバー自動読取システムは、不正車両データ管理サーバーにおいて、当該自動車ナンバーと不正車両の自動車ナンバーの照合を行い、当該自動車ナンバーを有する自動車が不正車両であるかを特定する。
【０００３】
従来の自動車ナンバー自動読取システムは、出力の大きい照明と高解像度かつ高ダイナミックレンジの撮像装置を用いてナンバープレートを撮影していた。そのため、従来の自動車ナンバー自動読取システムでは、屋外環境における様々な照明条件においても、一定以上のコントラストを確保したナンバープレートの画像撮影が可能であった。
しかし、自動車ナンバー自動読取システムは、低コスト化や撮像装置の小型化等により機能が低下している。そのため、撮像装置の撮影するナンバープレートの画像は、低解像度画像や低コントラスト画像というような低品質化傾向にある。
【０００４】
図１は、低コントラスト画像１及び高コントラスト画像２による、ナンバープレート画像の例を示している。図１のナンバープレートは、いずれも背景部が黒色で文字部は白色である。図１において、低コントラスト画像１は、低パワーの照明を用いて、低画質のカメラでナンバープレートを撮影した画像である。低コントラスト画像１は、文字部と背景部の輝度差が少なく、白色の文字部も暗く（輝度が低い）はっきりしないため、文字部が認識しづらい。一方、高コントラスト画像２は、高パワーの照明を用いて、高品質カメラでナンバープレートを撮影した画像である。高コントラスト画像２は、文字部と背景部の輝度差が大きく、白色の文字部が明るく（輝度が高い）はっきりしているため、文字部を認識しやすい。
【０００５】
文字認識処理は、ナンバープレート画像から文字部のみを抽出することによって行われる。ナンバープレート画像から文字部を抽出する処理は、一般に文字部と背景部との輝度差に基づいて行われる。そのため、低コントラスト画像１を用いて文字認識を行う場合、文字部と背景部との識別が困難となり、文字認識率の低下する。
このような問題を解決するために、低コントラストの画像を用いて文字認識処理を行う場合は、ナンバープレート画像の文字部と背景部との識別が明確に可能となるように、画像処理を行ってコントラストを向上する（輝度差を拡大する）必要がある。画像のコントラストを向上するための方法として、次のようなものが開示されている。
【０００６】
特許文献１は、改良された鮮明度を向上させる方法と装置を開示している。特許文献１の改良された鮮明度を向上させる方法は、入力信号を濾波して、濾波された信号を得るステップと、濾波された信号に可制御係数を乗算して、乗算された信号を得るステップと、乗算された信号を入力信号に加算するステップとを有し、可制御係数が非線形関数に依存する。
この画像処理では、視覚対象物と背景との境界（エッジ）をいかに強調するか、あるいは平滑化するかという点に重点をおいている。これは、このような画像処理では、人間が見る画像を対象としており、人間の視覚の特性が視覚対象物と背景とのエッジによって視覚対象物を認識していることに着目していることによる。本発明が対象とする文字認識処理は、文字部全体と背景部との輝度差を拡大する必要があり、前述のようにエッジ強調処理のみに着目している画像処理は適用することはできない。
【特許文献１】特表２００２−５３５８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、低コントラストな画像においても正確に文字認識を行うことが可能な文字認識処理装置を提供することである。
【課題を解決するための手段】
【０００８】
以下に、（発明を実施するための最良の形態）で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、（特許請求の範囲）の記載と（発明を実施するための最良の形態）との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、（特許請求の範囲）に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００９】
本発明の文字認識処理装置は、抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換手段（４６３ａ）と、輝度変換後入力画像から、帯域通過フィルタを用いて文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタ手段（４６３ｂ）と、文字部抽出画像を、入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳部（４６３ｃ）と、文字強調画像に基づいて文字認識処理を行う文字認識処理手段（４６４、４６５）とを備える。
【００１０】
本発明の文字認識処理装置の非線形輝度変換手段（４６３ａ）は、３点の変局点を含む非線形輝度変換曲線を用いて輝度変換処理を行う。
【００１１】
本発明の文字認識処理装置は、入力画像の１フレーム毎の画像統計量を算出する画像統計量算出手段（４６３ａ−１）と、画像統計量に基づいて、入力画像の輝度変換処理に使用する算出非線形輝度変換曲線を算出する変換曲線算出手段（４６３ａ−２、４６３ａ−３）とをさらに備え、非線形輝度変換手段（４６３ａ−４）は、算出非線形輝度変換曲線に基づいて輝度変換処理を行う。
【００１２】
本発明の文字認識処理装置において、画像統計量算出手段（４６３ａ−１）の算出する画像統計量は、入力画像の１フレーム毎の全画素における、輝度の平均値、輝度の標準偏差、輝度の最頻値である。
【００１３】
本発明の文字認識処理装置の変換曲線算出手段（４６３ａ−２、４６３ａ−３）は、輝度の平均値をＡｖｅ、輝度の標準偏差をＳｔｄ、輝度の最頻値をＦｒｑとして、「Ａｖｅ ＞ Ｆｒｑ」である場合は、（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）の３点から算出する２次曲線１と、Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）の３点から算出する２次曲線２とに基づいて算出非線形輝度変換曲線を算出し、「Ａｖｅ ≦ Ｆｒｑ」である場合は、（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）の３点から算出する２次曲線１と、Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）の３点から算出する２次曲線２とに基づいて算出非線形輝度曲線を算出する。
【００１４】
本発明の文字認識処理装置は、輝度変換後入力画像の内の対象画素毎に、対象画素から定められた範囲に含まれる画素の輝度分散を算出して、輝度分散に基づいて対象画素に対する重みを決定する重み算出手段（４６３ｄ）と、文字部抽出画像の各画素へ重みを乗算する乗算部（４６３ｅ）をさらに備える。
【００１５】
本発明の文字認識処理装置は、輝度変換後入力画像のフレーム毎の変換後画像統計量を算出し、変換後画像統計量に基づいて重み付け関数選択して、重み付け関数を用いて輝度変換後入力画像の各画素に対して重み付けを決定する画素重み付け算出手段（４６３ｆ）と、文字部抽出画像の各画素へ重み付けを乗算する乗算部（４６３ｅ）をさらに備える。
【００１６】
本発明の文字認識処理装置は、エッジ抽出フィルタを用いて入力画像からエッジ部を抽出するエッジ抽出手段（４６３ｇ）と、エッジ部のエッジ強度に基づいて、エッジ部を文字部抽出画像から減算処理を行うかを判定する判定処理手段（４６３ｈ）と、判定処理手段（４６３ｈ）が減算処理を行うと判定した場合に、エッジ強度を調整して調整後エッジ強度を算出する重み付け手段（４６３ｉ）と、文字部抽出画像から調整後エッジ強度の減算処理を行う減算部（４６３ｊ）をさらに備える。
【００１７】
本発明の文字認識処理装置は、それぞれ異なるパラメータ有する複数の構成によって生
成された文字部抽出画像を複数入力して、複数の文字部抽出画像のうちで、最も輝度重畳量が多い選択文字部抽出画像を決定する重畳量判定処理手段（４６３ｋ）をさらに備え、重畳部（４６３ｃ）は、選択文字部抽出画像を入力画像へ重畳する重畳処理を行う。
【００１８】
本発明の文字認識処理方法は、抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換ステップと、輝度変換後入力画像から、帯域通過フィルタを用いて文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタステップと、文字部抽出画像を、入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳ステップと、文字強調画像に基づいて文字認識処理を行う文字認識処理ステップとを備える。
【００１９】
本発明の文字認識処理方法の非線形輝度変換ステップは、３点の変局点を含む非線形輝度変換曲線を用いて輝度変換処理を行うステップを含む。
【００２０】
本発明の文字認識処理方法は、入力画像の１フレーム毎の画像統計量を算出する画像統計量算出ステップと、画像統計量に基づいて、入力画像の輝度変換処理に使用する算出非線形輝度変換曲線を算出する変換曲線算出ステップとをさらに備え、非線形輝度変換ステップは、算出非線形輝度変換曲線に基づいて輝度変換処理を行うステップを含む。
【００２１】
本発明の文字認識処理方法の画像統計量算出ステップは、画像統計量として、入力画像の１フレーム毎の全画素における、輝度の平均値、輝度の標準偏差、輝度の最頻値を算出するステップを含む。
【００２２】
本発明の文字認識処理方法の変換曲線算出ステップは、輝度の平均値をＡｖｅ、輝度の標準偏差をＳｔｄ、輝度の最頻値をＦｒｑとして、「Ａｖｅ ＞ Ｆｒｑ」である場合は、（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）の３点から算出する２次曲線１と、Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）の３点から算出する２次曲線２とに基づいて算出非線形輝度変換曲線を算出し、「Ａｖｅ ≦ Ｆｒｑ」である場合は、（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）の３点から算出する２次曲線１と、Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）の３点から算出する２次曲線２とに基づいて算出非線形輝度曲線を算出するステップを含む。
【００２３】
本発明の文字認識処理方法は、輝度変換後入力画像の内の対象画素毎に、対象画素から定められた範囲に含まれる画素の輝度分散を算出して、輝度分散に基づいて対象画素に対する重みを決定する重み算出ステップと、文字部抽出画像の各画素へ重みを乗算する乗算ステップとをさらに備える。
【００２４】
本発明の文字認識処理方法は、輝度変換後入力画像のフレーム毎の変換後画像統計量を算出し、変換後画像統計量に基づいて重み付け関数選択して、重み付け関数を用いて輝度変換後入力画像の各画素に対して重み付けを決定する画素重み付け算出ステップと、文字部抽出画像の各画素へ重み付けを乗算する乗算ステップとをさらに備える。
【００２５】
本発明の文字認識処理方法は、エッジ抽出フィルタを用いて入力画像からエッジ部を抽出するエッジ抽出ステップと、エッジ部のエッジ強度に基づいて、エッジ部を文字部抽出画像から減算処理を行うかを判定する判定処理ステップと、減算処理を行うと判定した場合に、エッジ強度を調整して調整後エッジ強度を算出する重み付けステップと、文字部抽出画像から調整後エッジ強度の減算処理を行う減算ステップをさらに備える。
【００２６】
本発明の文字認識処理方法は、それぞれ異なるパラメータ有する複数の構成によって生成された文字部抽出画像を複数入力して、複数の文字部抽出画像のうちで、最も輝度重畳量が多い選択文字部抽出画像を決定する重畳量判定処理ステップをさらに備え、重畳ステップは、選択文字部抽出画像を入力画像へ重畳する重畳処理を行う。
【００２７】
本発明のプログラムは、上述の文字認識処理方法をコンピュータによって実現する。
【発明の効果】
【００２８】
本発明によれば、低コントラストな画像においても正確に文字認識を行うことが可能な文字認識処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２９】
添付図面を参照して、本発明の実施形態による文字認識処理装置を、以下に説明する。
【００３０】
（第１実施形態）
始めに、本発明の第１実施形態について説明を行う。
【００３１】
［自動車ナンバー自動読取システムの構成の説明］
まず、図２を用いて、本実施形態における文字認識処理装置を使用する自動車ナンバー自動読取システムの構成を説明する。図２は、自動車ナンバー自動読取システムの構成を示している。図２に示す、自動車ナンバー自動読取システムは、自動車１００と、照明装置２００と、撮像装置３００と、文字認識処理装置４００と、不正車両データ管理サーバ５００とを備える。
【００３２】
自動車１００は、車体の前後に、自動車を識別するためのナンバー（以下、自動車ナンバー）を記載したナンバープレート（以下、ナンバープレート）を備えている。自動車１００は、例えば、高速道路の料金所の等を通過する。
【００３３】
照明装置２００は、自動車１００を照らすためのライトを備えている。照明装置２００は、例えば、自動車１００が通過する料金所のゲート等に設置される。照明装置２００は、ライトから発する明かりによって、通過する自動車１００を照らす。なお、本実施形態において、照明装置２００のライトは、従来に比べてパワーが低いことを想定している。
【００３４】
撮像装置３００は、自動車１００を撮影するためのカメラを備える。撮像装置３００は、例えば、料金所のゲート等に設置される。撮像装置３００は、照明装置２００からの照明に照らされながら料金所を通過する自動車１００の画像をカメラによって撮影する。また、撮像装置３００は、文字認識処理装置４００とケーブル等によって接続されている。撮像装置３００は、自動車１００を撮影した画像（以下、車体画像）の画像データを、文字認識処理装置４００へ出力する。
なお、本実施形態において、撮像装置３００は、従来の撮像装置に比べて低機能な撮像装置を想定している。また、前述のとおり照明装置２００のライトは、従来に比べてパワーが低いことを想定している。そのため、撮像装置３００が撮影する車体画像の画像品質は低く、明るさが足りない等の理由によって、コントラストの悪い画像となる。
【００３５】
文字認識処理装置４００は、車体画像から自動車ナンバーを認識する。文字認識処理装置４００は、料金所内等に設置される。文字認識処理装置４００は、撮像装置３００から車体画像の画像データを入力する。文字認識処理装置４００は、車体画像の画像データに対して、後述する文字認識処理等を行うことによって、自動車１００の自動車ナンバーの認識結果（以下、ナンバー認識結果）を得る。また、文字認識処理装置４００は、ケーブル等により、あるいはネットワークを介して、不正車両データ管理サーバ５００と接続されている。文字認識処理装置４００は、ナンバー認識結果を、不正車両データ管理サーバに送信する。
【００３６】
不正車両データ管理サーバ５００は、ナンバー認識結果に基づいて、当該自動車ナンバーを有する自動車１００に対する不正車両の照合処理を行う。不正車両データ管理サーバ５００は、料金所内、あるいはデータセンタ等に設置される。不正車両データ管理サーバ５００は、文字認識処理装置４００が送信した、自動車ナンバーを受信する。不正車両データ管理サーバ５００は、ナンバー認識結果に基づいて、不正車両の照合処理を行うことによって、不正車両照合結果を得る。ナンバー認識結果に基づく不正車両の照合処理は、公知の技術であるため詳細な説明は省略する。
【００３７】
［文字認識処理装置の構成の説明］
次に、図３を用いて、本実施形態における文字認識処理装置４００を、詳細に説明する。図３は、文字認識処理装置４００の構成を示している。図３の文字認識処理装置４００は、入力部４１０と、出力部４２０と、記憶部４３０と、画像入力ＩＦ４４０と、通信部４５０と、処理部４６０とを備える。
【００３８】
入力部４１０は、キーボードやマウス等で構成される。入力部４１０は、文字認識処理装置４００の使用者とのユーザーインターフェイスである。入力部４１０は、入力されるキー入力等を処理部４６０へ出力する。
【００３９】
出力部４２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等で構成される。出力部４２０は、処理部４６０から出力されるデータを表示する。
【００４０】
記憶部４３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。記憶部４３０は、文字認識処理装置４００の機能を実現するための処理プログラムを保存している。また、記憶部４３０は、文字認識処理に必要なデータを保存している。文字認識処理に必要な情報とは、パターン認識用のデータ等である。
【００４１】
画像入力ＩＦ４４０は、画像入力用のインターフェイスボード等で構成される。画像入力ＩＦ４４０は、カメラ３００が出力する映像信号を入力する。画像入力ＩＦ４４０は、画像信号を処理部４６０へ出力する。
【００４２】
通信部４５０は、通信用ポート等を備える。通信部４５０は、例えばＴＣＰ／ＩＰのようなプロトコルに基づいて、文字認識処理装置４００と外部装置との通信を可能にする。通信部４５０は、処理部４６０が出力する自動車ナンバーの文字認識結果を入力して、不正車両データ管理サーバ５００へ送信する。
【００４３】
処理部４６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成される。処理部４６０は、記憶部４３０に記録されている処理用プログラムを読み出して実行することにより、文字認識処理装置４００の機能を実現する。
【００４４】
さらに処理部４６０について詳細に説明を行う。処理部４６０は、画像入力手段４６１と、プレート切り出し手段４６２と、文字強調手段４６３と、文字２値化手段４６４と、文字認識手段４６５と、認識結果出力手段４６６を備える。
【００４５】
画像入力手段４６１は、カメラ３００が撮影した自動車１００の車体画像を、画像入力IFを介して入力する。画像入力手段４６１は、自動車１００の車体画像をプレート切り出し手段４６２へ出力する。
【００４６】
プレート切り出し手段４６２は、自動車１００の車体画像からナンバープレート部分の切り出し処理を行う。プレート切り出し手段４６２は、プレート切り出し処理によって、自動車ナンバープレート部分の画像（以下、プレート切り出し画像）を得る。プレート切り出し手段４６２が行う元画像からのプレート切り出し画像への切り出し処理は、公知の技術による処理であるため、詳細な説明は省略する。
【００４７】
文字強調手段４６３は、プレート切り出し画像に含まれる、自動車ナンバーの文字にあたる部分（以下、文字部）と背景にあたる部分（以下、背景部）との輝度差を拡大させるために文字強調処理を行う。文字強調手段４６３は、プレート切り出し画像に対して行う文字強調処理によって、文字強調処理が施されたプレート切り出し画像（以下、文字強調画像）得る。文字強調手段４６３が行う文字強調処理は、後に詳しく説明する。
【００４８】
文字２値化処理部４６４は、文字強調画像に対して、文字部と背景部を切り分けるための文字２値化処理を行う。文字２値化処理部４６４は、文字２値化処理を行うことによって、文字強調画像の２値化データ（以下、２値化データ）を得る。文字２値化手段４６４が行う文字２値化処理は、公知の技術による処理であるため、詳細な説明は省略する。
【００４９】
文字認識手段４６５は、２値化データに基づいて、文字認識処理を行う。文字認識手段４６５が、文字認識処理を行うことによって、２値化データからナンバー認識結果を得る。文字認識手段４６５が、行う文字認識処理は、公知の技術による処理であるため、詳細な説明は省略する。
【００５０】
認識結果出力手段４６６は、ナンバー認識結果を、通信部４５０を介して不正車両データ管理サーバ５００へ送信する。
【００５１】
以上が、文字認識処理装置４００の構成の説明である。
【００５２】
［文字認識処理装置の動作方法の説明］
次に、図４を用いて、本実施形態における文字認識処理措置の動作方法の説明を行う。図４は、文字認識処理装置の動作フローを示している。
【００５３】
（ステップＳ１００）
撮像装置３００は、照明２００に照らされた自動車１００の車体画像を撮影する。撮像装置３００は、車体画像を文字認識処理装置４００へ出力する。
【００５４】
（ステップＳ２００）
文字認識装置４００の画像入力手段４６１は、画像入力IFを介して、撮像装置３００が撮影した車体画像の画像データを入力する。画像入力手段４６１は、車体画像の画像データをプレート切り出し手段４６２へ出力する。
【００５５】
（ステップＳ３００）
プレート切り出し手段４６２は、画像入力手段４６１の出力した、車体画像の画像データを入力する。プレート切り出し手段４６２は、車体画像からナンバープレート部分の切り出し処理を行う。プレート切り出し手段４６２は、プレート切り出し処理によって、プレート切り出し画像を得る。プレート切り出し手段４６２は、プレート切り出し画像を文字強調手段４６３へ出力する。
【００５６】
（ステップＳ４００）
文字強調手段４６３は、プレート切り出し手段４６２の出力した、プレート切り出し画像を入力する。文字強調手段４６３は、プレート切り出し画像に対して、後述する一連の文字強調処理をおこなう。文字強調手段４６３は、文字強調処理によって、文字強調画像を得る。文字強調手段４６３は、文字強調画像を文字２値化手段４６４へ出力する。
【００５７】
（ステップＳ５００）
文字２値化手段４６４は、文字強調手段４６３の出力した、文字強調画像を入力する。文字２値化手段４６４は、文字強調画像に対して、文字２値化処理を行う。文字２値化処理部４６４は、文字２値化処理によって、２値化データを得る。文字２値化処理手段４６４は、２値化データを、文字認識手段４６５へ出力する。
【００５８】
（ステップＳ６００）
文字認識手段４６５は、文字２値化手段４６４の出力した、２値化データを入力する。文字認識手段４６５は、２値化データに基づいて、文字認識処理を行う。文字認識手段４６５は、文字認識処理によって、ナンバー認識結果を得る。文字認識手段４６５は、ナンバー認識結果を、認識結果出力手段４６６へ出力する。
【００５９】
（ステップＳ７００）
認識結果出力手段４６６は、文字認識手段４６５の出力した、ナンバー認識結果を入力する。認識結果出力手段４６６は、ナンバー認識結果を、通信部４５０を介して不正車両データ管理サーバ５００へ出力する。
【００６０】
（ステップＳ８００）
不正車両データ管理サーバ５００は、文字認識処理装置４００の認識結果出力手段４６６が出力した、ナンバー認識結果を入力する。不正車両データ管理サーバ５００は、ナンバー認識結果に基づいて、当該自動車ナンバーを有する自動車１００に対する不正車両の照合処理を行い、不正車両照合結果を得る。
【００６１】
以上が、本実施形態における文字認識処理措置を使用する自動車ナンバー自動読取システムの動作方法の説明である。このような動作方法によって、自動車ナンバー自動読取システムは、自動車ナンバーから不正車両を特定する。なお、本動作方法のうち、ステップＳ２００からステップＳ７００までが、本実施形態における文字認識処理装置の動作方法である。
【００６２】
［文字強調手段４６３の構成の説明］
次に、図５から図９を用いて、本実施形態において処理部４６０の文字強調手段４６３の行う文字強調処理の詳細について説明を行う。
【００６３】
本実施形態においては、前述のとおり、パワーの低い照明もとで、低機能の撮像装置３００が、画像を取得する状態を想定している。このため、撮像装置３００が撮影する車体画像は、明るさが足りずコントラストの悪い画像となる。従って、プレート切り出し手段４６２が、車体画像から切り出したプレート切り出し画像も、コントラストの悪い画像となる。コントラストの悪い画像とは、画像に存在する文字部と背景部との輝度差が少ないことにより、文字部を認識しづらい画像である。
文字２値化手段４６４が行う文字２値化処理は、画像の各画素における輝度に基づいて、文字部と背景部とを切り分ける処理である。そのため、コントラストの悪い画像を用いて、２値化処理を行うと文字部と背景部の切りわけが正確に行われず、その後の文字認識処理において正確に自動車ナンバーが認識されない原因となる。この問題を解消するべく、文字強調手段４６３は、コントラストの悪いプレート切り出し画像に対して、文字部と背景部との輝度差を広げて、コントラストの改善を図る処理を行う。文字強調手段４６３による文字強調処理は、本発明において最も重要な部分である。
【００６４】
始めに、図５は、文字強調処理手段４５３の構成を示している。図５に示す文字強調手段４６３は、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重畳部４６３ｃとを備える。
【００６５】
非線形輝度変換手段４６３ａは、プレート切り出し画像の各画素に対して、非線形輝度変換曲線に基づく輝度変換処理を行う。非線形輝度変換手段４６３ａは、非線形輝度変換によって得た画像（以下、輝度変換後プレート画像）を帯域通過フィルタ手段４６３ｂへ出力する。
帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像から、文字部の抽出する処理（以下、文字部抽出処理）を行う。帯域通過フィルタ手段４６３ｂは、文字部抽出処理によって得た画像（以下、文字部抽出画像）を重畳部４６３ｃへ出力する。
重畳部４６３ｃは、文字部抽出画像の各画素の輝度を、元画像であるプレート切り出し画像に対して重畳処理を行う。重畳部４６３ｃは、重畳処理によって得た画像（以下、文字強調画像）を後段の処理部である文字２値化手段４６４へ出力する。
このように、プレート切り出し画像から非線形輝度変換によって背景部との輝度差が拡大させた文字部を抽出して、元画像であるプレート切り出し画像へ重畳することで、文字部が強調された文字強調画像を得ることができる。以下、各部位について詳細に説明する。
【００６６】
まず、非線形輝度変換手段４６３ａについて説明を行う。非線形輝度変換手段４６３ａは、プレート切り出し画像の各画素に対して、輝度変換処理を行う。非線形輝度変換手段４６３ａは、プレート切り出し手段４６２の出力したプレート切り出し画像を入力する。非線形輝度変換手段４６３ａは、プレート切り出し画像の１画素毎に輝度を入力して輝度変換処理を行う。非線形輝度変換手段４６３ａは、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）に基づいて、入力輝度を対応する出力輝度へ変換する。ＬＵＴは、入力輝度に対して出力輝度が一対一に決定される変換テーブルである。本実施形態において、ＬＵＴは、非線形輝度変換曲線の特性に基づいて、入力輝度に対応する出力輝度が決定される。
なお、ＬＵＴは、予め非線形輝度曲線の特性に基づいて生成されており、記憶部４３０等に記憶されている。非線形輝度変換手段４６３ａは、記憶部４３０等に記憶されている非線形輝度曲線の特性に基づくＬＵＴを用いて、プレート切り出し画像の各画素毎に輝度変換処理を行う。非線形輝度変換手段４６３ａは、輝度変換処理によって得た輝度変換後プレート画像を、帯域通過フィルタ手段４６３ｂへ出力する。
【００６７】
図６は、非線形輝度変換曲線の例としてガンマ曲線のような２次曲線を用いたグラフを示している。図６の非線形輝度変換曲線グラフは、横軸に入力輝度（８ｂｉｔ），縦軸に出力輝度（８ｂｉｔ）を取り、示される非線形曲線の特性によって、８ｂｉｔの入力輝度に８ｂｉｔの出力輝度が、一対一に対応している。図６の非線形輝度変換曲線の特性を参照すると、低輝度側の入力輝度が、出力輝度において輝度値を引き上げられていることが確認できる。このことから、図６の非線形輝度変換曲線を用いて輝度変換処理を行う場合には、低輝度側の入力輝度に対して輝度差を拡大させる効果があるといえる。このように、非線形輝度変換手段４６３ａは、非線形輝度変換曲線を用いて、プレート切り出し画像の１画素毎に輝度変換処理を行うことで、プレート切り出し画像の輝度差を広げコントラストを改善する。
【００６８】
次に、図７を用いて、非線形輝度変換手段４６３ａが輝度変換処理に用いる非線形輝度変換曲線について詳細に説明する。図７は、ナンバープレートにおける文字部と背景部との輝度パターンと、非線形輝度変換曲線の特性との関係について表した表である。
ナンバープレートには、２種類の形態が存在する。１つは、背景部が黒系（輝度が低い）で文字部が白系（輝度が高い）のナンバープレート（以下、白色文字部プレート）である。もう１つは、背景部が白系（輝度が高く）で文字部が黒系（輝度が低い）のナンバープレート（黒色文字部プレート）である。
なお、これら２種類のナンバープレートは、文字部及び背景部の白黒といった色ではなく、輝度の強弱によって分類されることに留意されたい。例えば、背景部が黄色（輝度が高い）で、文字部が黒（輝度が低い）のナンバープレートであれば、黒色文字部プレート６に分類される。一方、背景部が深緑（輝度が低い）で、文字部が白（輝度が高い）のナンバープレートであれば、白色文字部プレート５に分類される。
【００６９】
このように、２種類の形態が存在するナンバープレートに対して、非線形輝度変換手段４６３ａが用いる、非線形輝度変換曲線の特性を考える。非線形輝度変換手段４６３ａが、ガンマ曲線のような２次曲線を用いた場合、図７に示すような２種類の曲線が考えられる。１つは、低輝度側の輝度差を拡大する特性を描く低域拡大変換曲線７である。図７に示すとおり低域拡大変換曲線７は、低域側の輝度差を拡大するために上向きのカーブを描く２次曲線である。もう１つは、高輝度側の輝度差を拡大する特性を描く高域拡大変換曲線８である。図７に示すとおり、高域拡大変換曲線８は、高域の輝度差を拡大するために下向きのカーブを描く２次曲線である。
【００７０】
まず、非線形輝度変換手段４６３ａが、低域拡大変換曲線７を用いた場合を考える。低域拡大変換曲線７は、低域入力輝度の輝度差を拡大させることが可能な特性を有するため、白色文字部プレート５においては、背景部の輝度差を拡大する効果を得ることができる。そのため、非線形輝度変換手段４６３ａは、低域拡大変換曲線７を用いることで、白色文字部プレート５に対して、文字部と背景部の輝度差を拡大する効果を得ることができる。一方、低域拡大変換曲線７は、高域入力輝度の輝度差を圧縮してしまう特性を有するため、黒色文字部プレート６においては、背景部の輝度差を圧縮することになる。そのため、非線形輝度変換手段４６３ａは、低域拡大変換曲線７を用いると、黒色文字部プレート６に対しては、文字部と背景部の輝度差を拡大する効果を得られない。
【００７１】
次に、非線形輝度変換手段４６３ａが、高域拡大変換曲線８を用いた場合を考える。高域拡大変換曲線８は、高域入力輝度の輝度差を拡大させることが可能な特性を有するため、黒色文字部プレート６においては、背景部の輝度差を拡大する効果を得ることができる。そのため、非線形輝度変換手段４６３ａが、高域拡大変換曲線８を用いると、黒色文字部プレートに対して、文字部と背景部の輝度差を拡大する効果を得ることができる。一方、高域拡大変換曲線８は、低域入力輝度の輝度差を圧縮してしまう特性を有するため、白色文字部プレート５においては、背景部の輝度差を圧縮してしまうことになる。そのため、非線形輝度変換手段４６３ａが、高域拡大変換曲線８を用いると、白色輝度プレート５に対しては、文字部と背景部の輝度差を拡大する効果を得られない。
【００７２】
このように、非線形輝度変換手段４６３ａが、低域拡大変換曲線７と高域拡大変換曲線８のような２次曲線を用いた場合、低域又は高域のいずれかにおいて輝度差を拡大する効果を得る一方で、対する領域において輝度差を圧縮せざるを得ないという特性がある。
【００７３】
本実施形態では、このような問題を解決するために、非線形輝度変換手段４６３ａは、低域と高域の双方において輝度差を拡大させることが可能な特性を有する高次変換曲線９を用いる。高次変換曲線９は、図７に示すとおり、３次以上の非線形特性を有する非線形輝度変換曲線である。高次変換曲線９は、低域入力輝度及び高域入力輝度に対して出力輝度の輝度差を拡大する特性を描く。これによって、高次変換曲線９は、低域拡大変換曲線７と高域拡大変換曲線８のそれぞれの特性を兼ね備える。
ここで、非線形輝度変換手段４６３ａが、高次変換曲線９を用いた場合を考える。高次変換曲線９は、低域入力輝度の輝度差を拡大させる特性を有するため、白色文字部プレート５において、背景部の輝度差を拡大する効果を得ることができる。そのため、非線形輝度変換手段４６３ａは、高次変換曲線９を用いることによって、白色文字部プレート５に
対して、文字部と背景部の輝度差を拡大する効果を得ることができる。また、高次変換曲線９は、高域入力輝度の輝度差も拡大させる特性を有するため、黒色文字部プレート６においても、背景部の輝度差を拡大する効果を得ることができる。そのため、非線形輝度変換手段４６３ａは、高次変換曲線９を用いることによって、黒色文字部プレート６に対しても、文字部と背景部の輝度差を拡大する効果を得ることができる。
このように、非線形輝度変換手段４６３ａが、高次変換曲線９を用いることによって、白色文字部プレート５と黒色文字部プレート６のいずれに対しても、文字部と背景部との輝度差を拡大する効果を得ることが可能となる。
【００７４】
なお、高次変換曲線９は、中域入力輝度に対して出力輝度の輝度差を圧縮する特性を有する。しかし、文字部と背景部が、中輝度付近に偏ることによって、コントラストが悪い状態となることは無いため問題とはならない。なぜならば、コントラストの悪い状態は、もともとは十分な輝度差を有する文字部と背景部の輝度が、画像の明るさが足りないために低域に偏る、あるいは画面の明るさが多すぎるために高域に偏る、という原因に起因して発生しているためである。本実施形態では、低パワーの照明装置２００や低機能の撮像装置３００を使用していることを想定しており、プレート切り出し画像の輝度は、低域または高域のいずれかに偏っている。そのため、非線形輝度変換手段４６３ａは、このような高次変換曲線９を用いることによって、白色文字部プレート５および黒色文字部プレート６のいずれにおいても、文字部と背景部との輝度差を拡大する効果を得ることができる。
【００７５】
図８は、高次変換曲線９の考え方に基づいた非線形輝度変換曲線の例を示した図である。図８の非線形輝度変換曲線は、（Ｉｎ１，Ｏｕｔ１）、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）、（Ｉｎ２，Ｏｕｔ２）の３つの変局点を有する。非線形輝度変換曲線は、（０，０）、（Ｉｎ１，Ｏｕｔ１）、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）の３点を通る上向きの正弦カーブを描く特性と、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）、（Ｉｎ２，Ｏｕｔ２）、（２５５，２５５）の３点を通る下向きの正弦カーブを描く特性を有する。
なお、（Ｉｎ１，Ｏｕｔ１）、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）、（Ｉｎ２，Ｏｕｔ２）は、数多くの画像から統計的に算出する固定パラメータを用いるため、ここでは具体的な値を限定しない。非線形輝度変換手段４６３ａは、このような非線形輝度変換曲線を
用いることで、白色文字部プレート５及び黒色文字部プレート６のいずれにも対応することが可能となる。
また、非線形輝度変換曲線は、（０，０）、（Ｉｎ１，Ｏｕｔ１）、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）の３点を通る上向きの正弦カーブを描く特性と、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）、（Ｉｎ２，Ｏｕｔ２）、（２５５，２５５）の３点を通る下向きの正弦カーブを描く特性を用いることで、それぞれの点を通る線形特性を描く場合にくらべて、より変換後の輝度差を拡大する効果がある。以上が、非線形輝度変換手段４６３ａの説明である。
【００７６】
次に、帯域通過フィルタ手段４６３ｂの説明を行う。帯域通過フィルタ手段４６３ｂは、非線形輝度変換手段４６３ａの出力する輝度変換後プレート画像から、文字部抽出処理を行い、文字部抽出画像を得る。帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、帯域通過フィルタを適用することで、帯域通過フィルタの幅（画素数）より小さい幅を有する部分のみを抽出する。帯域通過フィルタは、既知のデータに基づいて、文字部と同等の幅に設定されている。帯域通過フィルタ手段４６３ｂは、帯域通過フィルタの幅（画素数）より小さい幅を有する部分のみを抽出することで、文字部を抽出することができる。
文字部抽出処理において、帯域通過フィルタ手段４６３ｂは、まず、帯域通過フィルタの幅より大きい幅を有する部分を抽出する。次に、帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像から帯域通過フィルタの幅より大きい幅を有する部分を減算する。これによって、帯域通過フィルタ手段４６３ｂは、帯域通過フィルタの幅より小さい幅を有する部分のみが抽出された文字部抽出画像を得る。
帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、Ｏｐｅｎｉｎｇ処理（または、Ｃｌｏｓｉｎｇ処理）を行うことによって、帯域通過フィルタの幅より大きい幅を有する部分を抽出する。Ｏｐｅｎｉｎｇ処理（または、Ｃｌｏｓｉｎｇ処理）は、フィルタ内の一定輝度以下、あるいは以上の画素を、周辺の画素と同等の輝度に置き換えることによって、フィルタ内における輝度の凹凸を埋める処理となる。そのため、輝度変換後プレート画像における帯域通過フィルタ処理は、背景部の輝度と異なり帯域通過フィルタの幅より小さい幅を有する部分を、背景部と同等の輝度によって塗りつぶす処理となる。しかし、帯域通過フィルタより大きい部分は、Ｏｐｅｎｉｎｇ処理（または、Ｃｌｏｓｉｎｇ処理）によっても、残存するので、帯域通過フィルタ手段４６３ｂは、帯域通過フィルタより大きい部分を抽出した画像を得る。帯域通過フィルタ手段４６３ｂは、この帯域通過フィルタより大きい部分を抽出した画像を、輝度変換後プレート画像から減算することで、文字部抽出画像を得る。
なお、Ｏｐｅｎｉｎｇ処理（または、Ｃｌｏｓｉｎｇ処理）は、一般的なモフォロジ処理であるので詳細な説明を省略する。また、文字部の幅と同等とする帯域通過フィルタの幅は、文字部の幅に関する既知のデータに基づいて設定する。そのため、帯域通過フィルタの幅は、具体的に値を限定しない。帯域通過フィルタ手段４６３ｂは、文字部抽出画像を重畳部４６３ｃへ出力する。
【００７７】
図９は、帯域通過フィルタ手段４６３ｂの文字部抽出処理のイメージを表している。フィルタ３およびフィルタ４は、文字部を抽出するために用いられる帯域通過フィルタである。なお、フィルタ３およびフィルタ４は、説明のために名称を分けているのであって、輝度変換後プレート画像の異なる位置に適用された同じ帯域通過フィルタである。フィルタ３を参照すると、輝度変換後プレート画像に存在する文字「Ｌ」の幅は、フィルタ３の幅より小さい。一方、フィルタ４を参照すると、輝度変換後プレート画像内のフィルタより大きな部分が存在する。帯域通過フィルタ手段４６３ｂは、フィルタ３の幅より幅の小さい部分である文字「Ｌ」については抽出する。一方、帯域通過フィルタ手段４６３ｂは、フィルタ４の幅より幅の大きい部分については抽出をしない。同様にして、帯域通過フィルタ手段４６３ｂは、帯域通過フィルタの幅より小さい幅を有する部分を抽出する。
【００７８】
具体的な処理としては、前述のとおり、帯域通過フィルタ手段４６３ｂは、Ｏｐｅｎｉｎｇ処理（またはＣｌｏｓｉｎｇ処理）によって、フィルタ３より小さい部分である文字「Ｌ」を背景部と同等の輝度によって塗りつぶす。同様に、帯域通過フィルタ手段４６３ｂは、例えば、文字「ＳＨＢ９４８」のように、輝度変換後プレート画像に存在する帯域通過フィルタより小さい部分を背景部と同等の輝度によって塗りつぶす。一方、帯域通過フィルタより大きな部分については、Ｏｐｅｎｉｎｇ処理（またはＣｌｏｓｉｎｇ処理）によっても残存することになる。そのため、帯域通過フィルタ手段４６３ｂは、輝度変換
後プレート画像に対して、Ｏｐｅｎｉｎｇ処理（またはＣｌｏｓｉｎｇ処理）が完了すると、帯域通過フィルタより大きい部分が残存した画像を得る。帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像から帯域通過フィルタより大きい部分が残存した画像を減算する。これによって、帯域通過フィルタ手段４６３ｂは、文字部と同等の幅を有する部分のみを抽出した文字部抽出画像を得る。以上が、帯域通過フィルタ手段４６３ｂの説明である。
【００７９】
次に、重畳部４６３ｃについて説明を行う。重畳部４６３ｃは、文字部抽出画像の各画素の輝度をプレート切り出し画像へ重畳処理を行う。文字部抽出画像は、帯域通過フィルタ手段４６３ｂによって文字部と背景部との輝度差が拡大され、帯域通過フィルタ手段４６３ｂによって文字部が切り出された画像である。文字部抽出画像をプレート切り出し画像に重畳することで、文字部と背景部の輝度差が拡大する。本実施形態において、プレート切り出し画像はコントラストの悪い画像である。非線形輝度変換手段４６３ａと帯域通過フィルタ手段４６３ｂの処理によって、文字部以外のノイズ部分（以下、ノイズ部）も文字部抽出画像に含まれていることが考えられる。しかし、プレート切り出し画像に重畳することによって、文字部とノイズ部との実質的な輝度差を拡大させることができる。これによって、後段の２値化処理手段４６４は、正確な２値化処理が可能となる。重畳部４６３ｃは、文字部抽出画像をプレート切り出し画像へ重畳処理を行うことによって、文字強調画像を得る。重畳部４６３ｃは、文字強調画像を後段の処理部である文字２値化手段４６４へ出力する。以上が、重畳部４６３ｃの説明である。
【００８０】
以上が、本実施形態における文字強調手段４６３の構成の説明である。
【００８１】
［文字強調手段４６３の動作方法の説明］
次に、図１０を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図１０は、文字強調手段４６３の動作フローを示している。
【００８２】
（ステップＳ４１０）
非線形輝度変換手段４６３ａは、プレート切り出し手段４６２が出力した、プレート切り出し画像を入力する。
【００８３】
（ステップＳ４２０）
非線形輝度変換手段４６３ａは、プレート切り出し画像の各画素を、非線形輝度変換曲線に基づいて作成されたＬＵＴを用いて輝度変換処理を行う。非線形輝度変換手段４６３ａは、輝度変換処理の完了すると、輝度変換後プレート画像を得る。非線形輝度変換手段４６３ａは、輝度変換後プレート画像を、帯域通過フィルタ手段４６３ｂへ出力する。
【００８４】
（ステップＳ４３０）
帯域通過フィルタ手段４６３ｂは、非線形輝度変換手段４６３ａが出力した、輝度変換後プレート画像を入力する。帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、帯域通過フィルタを適用して文字部抽出処理を行う。帯域通過フィルタ手段４６３ｂは、文字部抽出処理によって、帯域通過フィルタの幅より小さい幅を有する部分を抽出する。なお、帯域通過フィルタの幅は、輝度変換後プレート画像に含まれる既知の文字の幅に基づいて設定される。帯域通過フィルタ手段４６３ｂは、文字部抽出処理を完了すると、文字部抽出画像を得る。帯域通過フィルタ手段４６３ｂは、文字部抽出画像を重畳部４６３ｃへ出力する。
【００８５】
（ステップ４４０）
重畳部４６３ｃは、帯域通過フィルタ手段４６３ｂが出力した、文字部抽出画像を入力する。重畳部４６３ｃは、文字部抽出画像の各画素の輝度を、プレート切り出し画像へ重畳する重畳処理を行う。重畳部４６３ｃは、重畳処理を完了すると、文字強調画像を得る。
【００８６】
（ステップ４５０）
重畳部４６３ｃは、文字強調画像を、後段の文字２値化処理手段４６４へ出力する。
【００８７】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【００８８】
以上が、第１実施形態の説明である。非線形輝度変換手段４６３ａは、プレート切り出
し画像に対して、非線形輝度変換曲線に基づいたＬＵＴを参照して輝度変換処理を行う。輝度変換処理においては、図９に示したような、３つの変局点からなる非線形変換曲線を用いることによって、ナンバープレートが、白色文字部プレート５であっても黒色文字部プレート６であっても効果的に、文字部と背景部の輝度差を拡大できる。また、帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、帯域通過フィルタを適用することで、画像内の文字部を抽出した文字部抽出画像を得る。さらに、重畳部４６３ｃは、文字部抽出画像４６３ｂを、プレート切り出し画像へ重畳することによって、文字強調画像を得る。このようにして得た文字強調画像は、プレート切り出し画像に含まれる文字部の輝度が強調されており、文字部と背景部との輝度差を拡大させた画像であるため、後段の２値化処理手段４６４は、２値化処理を正確に行うことが可能となる。
【００８９】
（第２実施形態）
次に、第２実施形態について説明を行う。第１実施形態において、文字認識処理装置４００は、図８に示すような３点の変局点を有する非線形輝度曲線を用いて輝度変換処理を行った。本実施形態において、文字認識処理装置４００は、プレート切り出し画像の輝度値に関する画像統計量に基づいて、非線形輝度曲線を動的に切り替えて輝度変換処理を行う。
本実施形態において、基本的な構成および動作方法は、第１実施形態と同じである。本実施形態において、第１実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３の非線形輝度変換手段４６３ａである。そのため、以下の説明においては、第１実施形態と違いを有する部分を中心に説明を行う。
【００９０】
［非線形輝度変換手段４６３ａの構成の説明］
まず、図１１を用いて、本実施形態における、非線形輝度変換手段４６３ａの構成の説明を行う。図１１は、本実施形態における、非線形輝度変換手段４６３ａの構成を示している。図１１に示す、非線形輝度変換手段４６３ａは、画像統計量算出手段４６３ａ−１と、変換曲線算出手段４６３ａ−２と、ＬＵＴ作成手段４６３ａ−３と、非線形輝度変換手段４６３ａ−４を備える。
【００９１】
まず、画像統計量算出手段４６３ａ−１の説明を行う。画像統計量算出手段４６３ａ−１は、プレート切り出し画像の１フレーム毎に、プレート切り出し画像内の全ての画素に関する画像統計量を算出する。画像統計量算出手段４６３ａ−１は、画像統計量として、プレート切り出し画像の１フレームにおける、輝度の平均値、輝度の標準偏差、輝度の最頻値を求める。平均値は、プレート切り出し画像の１フレーム内における、全画素の輝度の平均値である。標準偏差は、プレート切り出し画像の１フレーム内における、全画素の輝度の分散の度合である。最頻値は、プレート切り出し画像の１フレーム内における、全画素の輝度の内で、最も画素数の多い輝度値である。
【００９２】
次に、変換曲線算出手段４６３ａ−２の説明を行う。変換曲線算出手段４６３ａ−２は、画像統計量算出手段４６３ａ−１が、プレート切り出し画像の１フレーム毎に算出した、輝度の平均値（以下、Ａｖｅ）、輝度の標準偏差（以下、Ｓｔｄ）、輝度の最頻値（以下、Ｆｒｑ）に基づいて非線形輝度変換曲線を算出する。変換曲線算出手段４６３ａ−２は、非線形輝度変換曲線を次のとおり算出する。
【００９３】
Ａｖｅ ＞ Ｆｒｑ の場合
「２次曲線１」を以下の３点から算出：
（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）
「２次曲線２」を以下の３点から案出：
Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）
【００９４】
Ａｖｅ ≦ Ｆｒｑ の場合
「２次曲線１」を以下の３点から算出：
（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）
「２次曲線２」を以下の３点から算出：
Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）
【００９５】
変換曲線算出手段４６３ａ−２は、「２次曲線１」および「２次曲線２」を上述の３つの点からなる連立２次方程式によって算出する。変換曲線算出手段４６３ａ−２は、「２次曲線１」及び「２次曲線２」により非線形輝度変換曲線を計算する。
なお、Ｏｕｔ３からＯｕｔ８は、輝度変換処理後の出力輝度値である。また、ｋ（ｋ＝１，２，３…）は、標準偏差の係数であり、偏差を含める範囲を決定する。これらは、数多くのサンプルから得られる経験的な値に基づく。
【００９６】
次に、図１２から図１５を用いて、変換曲線算出手段４６３ａ−２が算出する非線形輝度曲線の例について説明する。
【００９７】
まず、図１２を用いて、画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合のプレート切り出し画像の例を説明する。図１２は、画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合のプレート切り出し画像の例を示している。画像統計量が「Ａｖｅ ＞ Ｆｒｑ」となる場合は、プレート切り出し画像の輝度は、全体的に輝度値が低く、黒っぽい画像となる。本来、プレート切り出し画像は、ナンバープレートの部分のみが切り出されていることが望ましい。しかし、通常、プレート切り出し画像は、ナンバープレートの周辺も含めて切り出される。「Ａｖｅ ＞ Ｆｒｑ」となる場合は、ナンバープレートが、黒系の車体を有する自動車１００につけられているような場合に想定される。１０ａは、白色文字部プレート５である。１０ｂは、ナンバープレートの周囲であり、例えば自動車１００の車体に相当する。この場合、１０ｂは、黒系の自動車１００の車体である。一方、１１ａは、黒色文字部プレートである。１１ｂは、ナンバープレートの周囲であり、例えば自動車１００の車体に相当する。１１ｂは、１０ｂと同様に、黒系の自動車１００の車体である。黒色文字部プレートは、背景部が白色（輝度が高い）であるが、ナンバープレート外（自動車１００の車体部分）の輝度が低いことから、「Ａｖｅ ＞ Ｆｒｑ」となる。
【００９８】
図１３を用いて、画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合の非線形輝度変換曲線を説明する。図１３は、画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合の非線形輝度変換曲線を示している。図１３の非線形輝度変換曲線は、Ａ（Ｉｎ３，Ｏｕｔ３），Ｂ（Ｉｎ４，Ｏｕｔ４），Ｃ（Ｉｎ５，Ｏｕｔ５）の、３つ変局点を有し（０，０）から（２５５，２５５）を結ぶ曲線である。それぞれの変局点は、３つの変局点と、
Ａ（Ｉｎ３，Ｏｕｔ３） ＝ （Ｆｒｑ，Ｏｕｔ３）
Ｂ（Ｉｎ４，Ｏｕｔ４） ＝ （Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）
Ｃ（Ｉｎ５，Ｏｕｔ５） ＝ （（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５）
のように対応している。画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合は、フレーム切り出し画像内の輝度は、低域から中域に多く存在する。入力輝度の最頻値付近（変局点Ａ）からある程度の偏差を含んだ付近（変局点Ｂ）までの輝度差を拡大することによって、背景部と文字部との輝度差を拡大することができる。
【００９９】
次に、図１４を用いて、画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合のプレート切り出し画像の例を説明する。図１４は、画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合のプレート切り出し画像の例を示している。
画像統計量が「Ａｖｅ ≦ Ｆｒｑ」となる場合は、プレート切り出し画像の輝度は、全体的に輝度値が高く、白っぽい画像となる。本来、プレート切り出し画像は、ナンバープレートの部分のみが切り出されていることが望ましい。しかし、通常、プレート切り出し画像は、ナンバープレートの周辺も含めて切り出される。「Ａｖｅ ≦ Ｆｒｑ」となる場合は、ナンバープレートが、白系の車体を有する自動車１００につけられているような場合に想定される。１２ａは、白色文字部プレート５である。１２ｂは、ナンバープレートの周囲であり、例えば自動車１００の車体に相当する。この場合、１２ｂは、白系の自動車１００の車体である。一方、１３ａは、黒色文字部プレートである。１３ｂは、ナンバープレートの周囲であり、例えば自動車１００の車体に相当する。１３ｂは、１２ｂと同様に、白系の自動車１００の車体である。白色文字部プレートは、背景部が黒色（輝度が低い）であるが、ナンバープレート外（自動車１００の車体部分）の輝度が高いことから、「Ａｖｅ ≦ Ｆｒｑ」となる。
【０１００】
図１５を用いて、画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合の非線形輝度変換曲線を説明する。図１５は、画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合の非線形輝度変換曲線を示している。図１５の非線形輝度変換曲線は、Ｄ（Ｉｎ６，Ｏｕｔ６），Ｅ（Ｉｎ７，Ｏｕｔ７），Ｆ（Ｉｎ８，Ｏｕｔ８）の、３つ変局点を有して（０，０）から（２５５，２５５）を結ぶ曲線である。それぞれの変局点は、３つの変局点と、
Ｄ（Ｉｎ６，Ｏｕｔ６） ＝ （Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６）
Ｅ（Ｉｎ７，Ｏｕｔ７） ＝ （Ｆｒｑ，Ｏｕｔ７）
Ｆ（Ｉｎ８，Ｏｕｔ８） ＝ （（２５５＋Ｆｒｑ）／２，Ｏｕｔ８）
のように対応している。画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合は、フレーム切り出し画像内の輝度は、中域から高域に多く存在する。入力輝度の最頻値からある程度の偏差を含んだ付近（変局点Ｄ）から最頻値付近（変局点Ｅ）までの輝度差を拡大することによって、背景部と文字部との輝度差を拡大することができる。
【０１０１】
以上のように、変換曲線算出手段４６３ａ−２は、プレート切り出し画像の画像統計量に基づいて非線形輝度変換曲線を算出する。
【０１０２】
次に、ＬＵＴ作成手段４６３ａ−３の説明を行う。ＬＵＴ作成手段４６３ａ−３は、変換曲線算出手段４６３ａ−２が算出した非線形輝度変換曲線に基づいてＬＵＴを作成する。ＬＵＴ作成手段４６３ａ−３は、作成したＬＵＴを記憶部４３０に記憶する。あるいは、ＬＵＴ作成手段４６３ａ−３が、作成したＬＵＴを記憶していてもよい。また、非線形輝度変換曲線に基づくＬＵＴの作成方法については、従来の技術であるので詳細な説明は省略する。
【０１０３】
次に、非線形輝度変換手段４６３ａ−４の説明を行う。非線形輝度変換手段４６３ａ−４は、ＬＵＴ作成手段４６３ａ−３が作成したＬＵＴを参照して、プレート切り出し画像のプレート切り出し画像の各画素に対して、輝度変換処理を行う。非線形輝度変換手段４６３ａ−４の行う輝度変換処理は、第１実施形態で説明した輝度変換処理と同様であるので、詳細な説明は省略する。
ただし、本実施形態においては、非線形輝度変換手段４６３ａ−４は、ＬＵＴ作成手段４６３ａ−３がプレート切り出し画像の１フレーム毎に作成したＬＵＴを使用して、当該プレート切り出し画像の輝度変換処理を行う。
【０１０４】
以上が、本実施形態における、非線形輝度変換手段４６３ａの構成の説明である。
【０１０５】
［非線形輝度変換手段４６３ａの動作方法の説明］
次に、図１６を用いて、本実施形態における、非線形輝度変換手段４６３ａの動作方法の説明を行う。図１６は、本実施形態における、非線形輝度変換手段４６３ａの動作フローを示している。
【０１０６】
（ステップＳ４２１）
画像統計量算出手段４６３ａ−１は、プレート切り出し手段４６２が出力する、プレート切り出し画像を入力する。
【０１０７】
（ステップＳ４２２）
画像統計量算出手段４６３ａ−１は、プレート切り出し画像の１フレーム毎に、プレート切り出し画像内の全ての画素に関する画像統計量を算出する。画像統計量算出手段４６３ａ−１は画像統計量として、プレート切り出し画像の１フレームにおける輝度の平均値、輝度の標準偏差、輝度の最頻値を算出する。画像統計量算出手段４６３ａ−１は、画像統計量を、変換曲線算出手段４６３ａ−２へ出力する。
【０１０８】
（ステップＳ４２３）
変換曲線算出手段４６３ａ−２は、画像統計量算出手段４６３ａ−１が出力する、画像統計量を入力する。変換曲線算出手段４６３ａ−２は、プレート切り出し画像の１フレーム毎の、輝度の平均値（Ａｖｅ）、輝度の標準偏差（Ｓｔｄ）、輝度の最頻値（Ｆｒｑ）に基づいて、非線形輝度変換曲線を算出する。変換曲線算出手段４６３ａ−２は、プレート切り出し画像の１フレーム毎に算出する非線形輝度変換曲線を、ＬＵＴ作成手段４６３ａ−３へ出力する。
【０１０９】
（ステップＳ４２４）
ＬＵＴ作成手段４６３ａ−３は、変換曲線算出手段４６３ａ−２が出力する、非線形輝度曲線を入力する。ＬＵＴ作成手段４６３ａ−３は、変換曲線算出手段４６３ａ−２が算出した非線形輝度変換曲線に基づいてＬＵＴを作成する。ＬＵＴ作成手段４６３ａ−３は、作成したＬＵＴを記憶部４３０に記憶する。あるいは、ＬＵＴ作成手段４６３ａ−３が、作成したＬＵＴを記憶していてもよい。
【０１１０】
（ステップＳ４２５）
非線形輝度変換手段４６３ａ−４は、プレート切り出し手段４６２が出力するプレート切り出し画像を入力する。非線形輝度変換手段４６３ａ−４は、ＬＵＴ作成手段４６３ａ−３が作成したＬＵＴを参照して、プレート切り出し画像の各画素に対して輝度変換処理を行う。本実施形態においては、非線形輝度変換手段４６３ａ−４は、ＬＵＴ作成手段４６３ａ−３がプレート切り出し画像の１フレーム毎に作成したＬＵＴを使用して、当該プレート切り出し画像の輝度変換処理を行う。非線形輝度変換手段４６３ａ−４は、輝度変換処理によって、輝度変換後プレート画像を得る。
【０１１１】
（ステップＳ４２６）
非線形輝度変換手段４６３ａ−４は、輝度変換後プレート画像を、帯域通過フィルタ４６３ｂへ出力する。
【０１１２】
以上が、本実施形態における、非線形輝度変換手段４６３ａの動作方法の説明である。
【０１１３】
以上が、第２実施形態の説明である。このように構成することによって、プレート切り出し画像の画像統計量に応じて、動的に非線形輝度変換曲線を算出することが可能となる。そのため、プレート切り出し画像に応じた非線形輝度変換処理を行うことが可能となる。
【０１１４】
（第３実施形態）
次に、第３実施形態について説明を行う。第３実施形態は、第１実施形態あるいは第２実施形態と組み合わせて実施する。第１実施形態及び第２実施形態では、輝度変換後画像に対して、帯域通過フィルタを用いて文字部抽出処理を行っている。この文字部抽出処理では、帯域通過フィルタのフィルタ幅（画素数）より小さい幅を有する部分を抽出する。しかし、文字部抽出処理においては、帯域通過フィルタの幅より小さい幅を有する部分を抽出するため、ノイズ部も同時に抽出してしまう。本実施形態では、この問題を解決するべく局所的輝度分散を抽出するフィルタを用いて、ノイズ部の影響を除去する。
本実施形態において、基本的な構成および動作方法は、第１実施形態あるいは第２実施形態を適用した場合と同じである。本実施形態において、第１実施形態あるいは第２実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３である。そのため、以下の説明においては、第１実施形態および第２実施形態と違いを有する部分を中心に説明を行う。
【０１１５】
［文字強調手段４６３の構成の説明］
まず、図１７を用いて、本実施形態における、文字強調手段４６３の構成の説明を行う。図１７は、本実施形態における、文字強調手段４６３の構成を示している。本実施形態において、文字強調手段４６３は、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重畳部４６３ｃと、局所的輝度分散に基づく重み算出処理手段（以下、本実施形態において重み算出手段）４６３ｄと、乗算部４６３ｅとを備える。
【０１１６】
なお、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂは、第１実施形態あるいは第２実施形態と同様の構成であるので、説明を省略する。
【０１１７】
まず、重み算出手段４６３ｄの説明を行う。重み算出手段４６３ｄは、輝度変換後プレート画像の各画素に対する重み付けを決定する重み付け決定処理を行う。重み算出手段４６３ｄは、輝度変換後プレート画像に局所的な輝度分散（局所的輝度分散）を算出するフィルタ（以下、分散算出フィルタ）を用いて、各画素の重み付けを決定する。重み算出手段４６３ｅは、重み付け決定処理を行うことで、重み付けデータを得る。
【０１１８】
分散算出フィルタは、重み付けを行う画素（以下、重み付け対象画素）を中心に、例えば、周辺の３×３画素における輝度値の分散を算出するフィルタである。重み算出手段４６３ｄは、分散算出フィルタによって算出された分散が小さければ、当該重み付け対象画素の重み付けを大きく決定する。一方、重み算出手段４６３は、分散算出フィルタによって算出された分散が大きければ、当該重み付け対象画素の重み付けを小さく決定する。図１８は、輝度変換後プレート画像内における、分散算出フィルタの適用例を示している。
【０１１９】
まず、符号１４は、背景部に存在するノイズ部に分散算出フィルタが適用されているこ
とを示している。符号１４が示す分散算出フィルタ内には、背景部の輝度を有する画素と、文字部と同等の輝度を有するノイズ部の画素が存在する。この場合、分散算出フィルタが算出するフィルタ内の輝度分散値は、大きくなる。そのため、重み算出手段４６３ｄは、重み付け対象画素の重み付けを小さく決定する。これによって、重み算出手段４６３ｄは、ノイズ部の画素の重み付けを小さく決定することが可能となる。
【０１２０】
次に、符号１５は、文字部に分散算出フィルタが適用されていることを示している。符号１５が示す分散算出フィルタ内には、文字部の輝度を有する画素しか存在しない。この場合、分散算出フィルタが算出するフィルタ内の輝度分散値は小さくなる。そのため、重み算出手段４６３ｄは、重み付け対象画素の重み付けを大きく決定する。これによって、重み算出手段４６３ｄは、文字部の画素の重み付けを大きく決定することが可能となる。
【０１２１】
さらに、符号１６は、文字部と背景部の境界に分散算出フィルタが適用されていることを示している。符号１６が示す分散算出フィルタ内には、文字部の輝度を有する画素と、背景部の輝度を有する画素とが存在する。この場合、分散算出フィルタが算出するフィルタ内の輝度分散値は、大きくなる。そのため、重み算出手段４６３ｄは、重み付け対象画素の重み付けを小さく決定する。これによって、重み算出手段４６３ｄは、文字部と背景部との境界付近の画素の重み付けを小さくすることが可能となる。
重み算出手段４６３ｄは、文字部と背景部との境界付近の画素の重み付けを小さくすることで、文字強調処理に伴い文字部が太くなることを防ぐことができる。文字部が太くなることによる影響は、後段の文字２値化処理での文字同士の境界が接してしまうことなどにより、文字認識処理での認識率の低下として現れる。重み算出手段４６３ｄは、分散算出フィルタを用いることで、文字部と背景部の境界付近の重み付けを低く決定し、文字部が太くなることを防ぐ。
【０１２２】
また、重み算出手段４６３ｄは、分散算出フィルタを用いることによって、文字がボケている場合にも同様の効果を得ることができる。
図１９は、輝度変換後プレート画像の文字部のボケ部分に対して、分散算出フィルタを適用した例を示している。図１９を参照すると、文字部がボケていることが確認できる。符号１７は、文字部がボケた部分に分散算出フィルタが適用されていることを示している。このような場合、文字部と背景部の境目が、ボケによって局所的に輝度の分散が小さくなっている。そのため、重み算出手段４６３ｄは、分散算出フィルタにより分散の値が小さく算出することで、ボケの部分の重み付け対象画素について、重み付けを大きく決定する恐れがある。
【０１２３】
このような問題に対しても、本実施形態では対応が可能である。本実施形態は、非線形輝度変換手段４６３ａが、輝度変換処理によって、文字部と背景部の輝度差を広げている。非線形輝度変換手段４６３ａの輝度変換処理は、ボケの部分についても、本来の文字部とボケの部分との輝度差を広げる効果がある。したがって、輝度変換後プレート画像において、分散フィルタは、ボケの部分であっても分散値を大きく算出する。そのため、重み算出手段４６３ｄは、ボケの部分の重み付け対象画素の重み付けを、小さく決定する。これによって、不要にボケの部分を強調することを回避し、文字部が太くなることを防ぐことができる。このように、重み算出手段４６３ｄの重み付け決定処理は、非線形輝度変換手段４６３ａの輝度変換処理と組み合わせることによって、より大きな効果を得る。
【０１２４】
なお、重み算出手段４６３ｄは、分散フィルタが算出する分散の大小に対応して、分散が小さいときには重み付けを大きく、分散が大きくなるにつれて重み付けを小さくして、一定以上分散が大きくなった場合は重み付けを無しとしても良い。また、具体的な重み付けの値は、多数のサンプルに基づいて算出されるもとして限定はしない。例えば、後段の処理において、文字部と背景部との輝度差が２５６階調（８ビット）で３２階調ほど必要である場合、重畳量の最大値が３２となるように重みをつけるといった例が考えられる。
また、分散フィルタのサイズは、「３×３フィルタ」としているが、「５×５フィルタ」でも「９×９フィルタ」でもかまわない。これらは、ノイズ部の大きさ等を考慮して決定すべき事項であり、特に限定はしない。
【０１２５】
次に、乗算部４６３ｅの説明を行う。乗算部４６３ｅは、帯域通過フィルタが出力する文字部抽出画像の各画素へ、重み算出手段４６３ｄが決定した重み付けデータを乗算する重み付け処理をおこなう。重み算出手段４６３ｄは、ノイズ部を小さく、文字部を大きく、重み付けを決定している。乗算部４６３ｅが、文字部抽出画像へ重み付け処理を行うことで、文字部とノイズ部との輝度差が拡大する。乗算部４６３ｅは、重み付け処理を行うことによって、重み付け後文字部抽出画像を得る。
【０１２６】
次に、重畳部４６３ｃの説明を行う。重畳部４６３ｃは、重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。本実施形態において、重畳部４６３ｃは、乗算部４６３ｅが重み付けを乗算した重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。重畳部４６３ｃは、重畳処理によって、文字強調画像を得る。
【０１２７】
以上、本実施形態における、文字強調手段４６３の構成の説明である。
【０１２８】
［文字強調手段４６３の動作方法の説明］
次に、図２０を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図２０は、本実施形態における、文字強調手段４６３の動作フローを示している。本説明においては、第１実施形態と第２実施形態と違いを有する部分に特化して説明を行う。
【０１２９】
（ステップＳ４３１）
重み算出手段４６３ｄは、非線形輝度変換手段４６３ａが出力した、輝度変換後プレート画像を入力する。
【０１３０】
（ステップＳ４３２）
重み算出手段４６３ｄは、輝度変換後プレート画像の各画素に対して、分散算出フィルタを適用することによって重み付けを決定する重み付け決定処理を行う。重み算出手段４６３ｅｄは、重み付け決定処理によって、重み付けデータを得る。重み算出手段４６３ｄは、重み付けデータを、乗算部４６３ｅへ出力する。
【０１３１】
（ステップＳ４３３）
乗算部４６３ｅは、重み算出手段４６３ｄが出力した、重み付けデータを入力する。また、乗算部４６３ｅは、帯域通過フィルタ手段４６３ｂが出力した、文字部抽出画像を入力する。乗算部４６３ｅは、文字部抽出画像の各画素に対して、重み付けデータに基づく重み付けを乗算する。乗算部４６３ｅは、重み付け処理を行うことで、重み付け後文字部抽出画像を得る。乗算部４６３ｅは、重み付け処理の完了した重み付け後文字部抽出画像を、重畳部４６３ｃへ出力する。
【０１３２】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【０１３３】
以上が、第３実施形態の説明である。重み算出手段４６３ｄが、輝度変換後プレート画像の各画素に分散算出フィルタを適用することにより、各画素に対する重み付けを決定する。乗算部４６３ｅは、重み付けデータに基づく重み付けを、帯域フィルタ手段４６３ｂが出力した文字部抽出画像の各画素へ与える。文字部抽出画像に含まれるノイズ部は、重み付け処理によって重み付けが小さくなる。一方、文字部抽出画像に含まれる文字部は、重み付け処理によって重み付けが大きくなる。そのため、重畳部４６３ｃが、文字部抽出画像をプレート切り出し画像へ重畳する際に、文字部とノイズ部との輝度差を拡大することができる。これによって、後段の処理におけるノイズ部の影響を排除することが可能となる。
【０１３４】
（第４実施形態）
次に、第４実施形態について説明を行う。第４実施形態は、第３実施形態における重み付けの決定方法を、変更した実施形態である。第３実施形態では、局所輝度分散に基づく重み算出処理手段４６３ｄが、分散算出フィルタを用いて算出した分散値に基づいて重み付けを決定した。本実施形態では、輝度変換後プレート画像の各画素の輝度に基づいて重み付けを決定する。
本実施形態において、基本的な構成および動作方法は、第３実施形態を適用した場合と同じである。本実施形態において、第３実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３である。そのため、以下の説明においては、第３実施形態と違いを有する部分を中心に説明を行う。
【０１３５】
［文字強調手段４６３の構成の説明］
まず、図２１を用いて、本実施形態における、文字強調手段４６３の構成の説明を行う。図２１は、本実施形態における、文字強調手段４６３の構成を示している。本実施形態において、文字強調手段４６３は、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重畳部４６３ｃと、画素の輝度値に基づく重み算出処理手段（以下、本実施形態において画素重み算出手段）４６３ｆと、乗算部４６３ｅとを備える。
【０１３６】
なお、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂは、第１実施形態あるいは第２実施形態と同様の構成であるので、説明を省略する。
【０１３７】
まず、画素重み算出手段４６３ｆの説明を行う。画素重み算出手段４６３ｆは、輝度変換後プレート画像の各画素の輝度値に基づいて重み付けを決定する画素重み付け決定処理を行う。画素重み算出手段４６３ｆは、輝度変換後プレート画像において、文字部と思われる特定の範囲の輝度を有する画素に対して重み付けを大きく決定する。一方、画素重み算出手段４６３ｆは、輝度変換後プレート画像において、文字部と思われる特定の範囲以外の輝度を有する画素に対しては、重み付けを行わない。このようにして、画素重み算出手段４６３ｆは、文字部と思われる輝度を有する画素に対してのみ重み付けを行うことによって、後段の重畳処理における文字部と背景部との輝度差を拡大する。
【０１３８】
ここで、文字部の輝度は、白色文字部プレートと黒色文字部プレートとによって大きく異なる。そのため、画素重み算出手段４６３ｆは、輝度変換後プレート画像の１フレーム毎に、画像全体の画像統計量を算出する。画素重み算出手段４６３ｆは、画像統計量に基づいて、入力した輝度変換後プレート画像が白色文字部プレートか黒色文字部プレートかを判定する。
【０１３９】
図２２および図２３は、画素重み算出手段４６３ｆが、重み付けに使用する重み付け関数を示している。いずれのグラフにおいても、横軸は入力輝度、縦軸は重みである。
【０１４０】
まず、図２２は、黒色文字部プレートに対して重み付けを決定するための重み付け関数
を示している。図２２を参照すると、この重み付け関数を用いた場合、低域の入力輝度に対してのみ重み付けを与えていることが確認できる。黒色文字部プレートは、文字部が低輝度であるため、低域の入力輝度に対してのみ重み付けを与えている。これによって、画素重み算出手段４６３ｆは、黒色文字部プレートにおける文字部に重み付けを行うことができる。なお、図２２に示す重み付け関数の最大値αを含む、具体的な重み付けの値は、多数のサンプルに基づいて算出されるもとして限定はしない。例えば、後段の処理において、文字部と背景部との輝度差が２５６階調（８ビット）で３２階調ほど必要である場合、重畳量の最大値が３２となるように重みをつけるといった例が考えられる。
【０１４１】
次に、図２３は、白色文字部プレートに対して重み付けを決定するための重み付け関数を示している。図２３を参照すると、この関数を用いた場合、低域の入力輝度に対してのみ重み付けを与えていることが確認できる。白色文字部プレートは、文字部が高輝度であるため、高域の入力輝度に対してのみ重み付けを与えている。これによって、画素重み算出手段４６３ｆは、白色文字部プレートにおける文字部に重み付けを行うことができる。なお、図２３に示す重み付け関数の最大値αを含む、具体的な重み付けの値は、多数のサンプルに基づいて算出されるもとして限定はしない。例えば、後段の処理において、文字部と背景部との輝度差が２５６階調（８ビット）で３２階調ほど必要である場合、重畳量の最大値が３２となるように重みをつけるといった例が考えられる。
【０１４２】
画素重み算出手段４６３ｆは、輝度変換後プレート画像を入力すると、画像統計量を算出し、ナンバープレートが白色文字部プレートか黒色文字部プレートかに応じて、図２２および図２３に示す重み付け関数を使い分け、輝度変換後プレート画像の１画素毎に画素重み付け決定処理を行う。画素重み算出手段４６３ｆは、画素重み付け決定処理を行うことによって画素重み付けデータを得る。なお、重み付け関数は、輝度変換のＬＵＴのように、入力輝度に対して一対一に重みが決定できるテーブルが予め作成されていてもよい。その場合は、画素重み算出手段４６３ｆは、輝度変換後プレート画像のナンバープレートが、黒色文字部プレートか白色文字部プレートかによって、参照するテーブルを切り替えて画素重み付け処理を行う。
【０１４３】
次に、乗算部４６３ｅの説明を行う。乗算部４６３ｅは、帯域通過フィルタが出力する文字部抽出画像の各画素へ、画素重み算出手段４６３ｆが決定した画素重み付けデータを乗算する画素重み付け処理をおこなう。画素重み算出手段４６３ｆは、ノイズ部を小さく、文字部を大きく、重み付けを決定している。乗算部４６３ｅが、文字部抽出画像へ画素重み付け処理を行うことで、文字部とノイズ部との輝度差が拡大する。乗算部４６３ｅは、画素重み付け処理を行うことによって、画素重み付け後文字部抽出画像を得る。
【０１４４】
次に、重畳部４６３ｃの説明を行う。重畳部４６３ｃは、画素重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。本実施形態において、重畳部４６３ｃは、乗算部４６３ｅが重み付けを乗算した画素重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。重畳部４６３ｃは、重畳処理によって、文字強調画像を得る。
【０１４５】
以上が、本実施形態における、文字強調手段４６３の構成の説明である。
【０１４６】
［文字強調手段４６３の動作方法の説明］
次に、図２４を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図２４は、本実施形態における、文字強調手段４６３の動作フローを示している。本説明においては、第３実施形態と違いを有する部分に特化して説明を行う。
【０１４７】
（ステップＳ４３４）
画素重み算出手段４６３ｆは、非線形輝度変換手段４６３ａが出力した、輝度変換後プレート画像を入力する。
【０１４８】
（ステップＳ４３５）
画素重み算出手段４６３ｆは、輝度変換後プレート画像の１フレーム毎に、画像全体の画像統計量を算出する。
【０１４９】
（ステップＳ４３６）
画素重み算出手段４６３ｆは、画像統計量に基づいて、入力した輝度変換後プレート画像が白色文字部プレートか黒色文字部プレートかを判定する。画素重み算出手段４６３ｆは、判定結果に基づいて、重み付け関数を選択する。
【０１５０】
（ステップＳ４３７）
画素重み算出手段４６３ｆは、選択した重み付け関数を用いて、輝度変換後プレート画像の１画素毎に画素重み付け決定処理を行う。画素重み算出手段４６３ｆは、画素重み付け決定処理によって、画素重み付けデータを得る。画素重み算出手段４６３ｆは、画素重み付けデータを、乗算部４６３ｅへ出力する。
【０１５１】
（ステップＳ４３８）
乗算部４６３ｅは、画素重み算出手段４６３ｆが出力した、画素重み付けデータを入力する。また、乗算部４６３ｅは、帯域通過フィルタ４６３ｂが出力した、文字部抽出画像を入力する。乗算部４６３ｅは、文字部抽出画像の各画素に対して、画素重み付けデータに基づく画素重み付け乗算処理を行う。乗算部４６３ｅは、画素重み付け乗算処理によって、画素重み付け後文字部抽出画像を得る。
【０１５２】
（ステップＳ４３９）
乗算部４６３ｅは、重み付け処理の完了した画素重み付け後文字部抽出画像を、重畳部４６３ｃへ出力する。本実施形態において、重畳部４６３ｃは、乗算部４６３ｅが重み付けを乗算した画素重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。
【０１５３】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【０１５４】
以上が、第４実施形態の説明である。画素重み算出手段４６３ｆは、輝度変換後プレート画像に写るナンバープレートが、白色文字部プレートか黒色文字部プレートかに応じて、重み付け関数を選択する。画素重み算出手段４６３ｆは、選択した重み付け関数を用いて、輝度変換後プレート画像の１画素毎に重み付けを行う。このようにすることで、画素重み算出手段４６３ｆは、各画素の輝度値に基づいて重み付けを行うことができるので、重み付け処理の処理速度を向上させることが可能となる。
【０１５５】
（第５実施形態）
次に、第５実施形態について説明を行う。第５実施形態は、第１から第４実施形態までのいずれかと組み合わせて実施する。本実施形態では、プレート切り出し画像からエッジ抽出を行い、文字部抽出画像（または、重み付け後文字部抽出画像、画素重み付け後文字部抽出画像を含む。）からエッジ部を減算して、プレート切り出し画像へ重畳する。これにより、第１から第４実施形態の文字強調手段４６３によって、文字部と同様に強調されてしまった文字のボケ部を除去して、本来の文字部の幅のみを抽出してプレート切り出し画像へ重畳することができる。
本実施形態において、構成および動作方法は、第１から第４実施形態を適用することが可能である。第１から第４実施形態の実施形態と組み合わせて構成する場合、第１から第４実施形態と同様の構成を有する部分は、第１から第４実施形態において説明を行った構成及び動作方法と同じである。本実施形態において、第１から第４実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３である。そのため、以下の説明においては、第１から第４実施形態と違いを有する部分を中心に説明を行う。
【０１５６】
［文字強調手段４６３の構成の説明］
まず、図２５を用いて、本実施形態における、文字強調手段４６３の構成の説明を行う。図２５は、本実施形態における、文字強調手段４６３の構成を示している。本実施形態において、文字強調手段４６３は、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重畳部４６３ｃと、局所的輝度分散に基づく重み算出処理手段（以下、本実施形態において重み算出手段）４６３ｄと、乗算部４６３ｅと、エッジ抽出処理手段４６３ｇと、判定処理手段４６３ｈと、重み付け手段４６３ｉと、減算部４６３ｊを備える。なお、重み算出手段４６３ｄは、第４実施形態において説明した、画素の輝度値に基づく重み算出処理手段４６３ｆに置き換わっても実現可能である。
【０１５７】
なお、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重み算出手段４６３ｄと、乗算部４６３ｅとは、第３実施形態と同様の構成であるので、説明を省略する。
【０１５８】
まず、エッジ抽出処理手段４６３ｇの説明を行う。エッジ抽出処理手段４６３ｇは、プレート切り出し画像から、エッジ抽出フィルタを用いて、エッジ抽出処理を行う。エッジ抽出処理手段４６３ｇは、１次微分フィルタであるＳｏｂｅｌフィルタや、２次微分フィルタであるラプラシアンフィルタ等を用いてエッジ抽出処理を行う。エッジ抽出処理手段４６３ｇが、Ｓｏｂｅｌフィルタやラプラシアンフィルタ等を用いて行う、エッジ抽出処理は公知技術であるので詳細な説明は省略する。なお、エッジ抽出処理手段４６３ｇが、用いるエッジ抽出フィルタはこれらに限定しない。エッジ抽出処理手段４６３ｇは、エッジ抽出処理を行うことによって、エッジデータを得る。
【０１５９】
次に、判定処理手段４６３ｈの説明を行う。判定処理手段４６３ｈは、エッジデータに基づいて、文字部抽出画像（または、重み付け後文字部抽出画像、画素重み付け後文字部抽出画像を含む。以下、本実施形態において、特に明示がない場合は、乗算部４６３ｅが出力する画像をまとめて文字部抽出画像と表記する。）からエッジ部を減算するか否かを判定する。文字部抽出画像からエッジ部を減算する場合に、条件を考慮することなく減算を行うと、もともとボケのないシャープな画像においてもエッジ部を減算することとなり、文字部が細くなる恐れがある。そこで、エッジデータに基づくエッジ強度に応じて、エッジ部を減算するか否かの判定処理を行う。判定処理手段４６３ｈは、判定処理を行うことによって、エッジ減算判定結果を得る。
【０１６０】
判定処理手段４６３ｈは、エッジ強度を「Ｅ」として、次のような判定を行う。
（１） ０ ≦ Ｅ ≦ Ｔｈ１ ：エッジ部を減算しないと判定
（２）Ｔｈ１ ≦ Ｅ ≦ Ｔｈ２ ：エッジ部を減算すると判定
（３）Ｔｈ２ ≦ Ｅ ≦ ２５５ ：エッジ部を減算しないと判定
なお、Ｔｈ１，Ｔｈ２については、多数の画像から統計的に算出される固定パラメータを用いる。
【０１６１】
（１）の場合にエッジ部の減算を行わないと判定するのは、画像の品質等において輝度に一定のばらつきがあることを考慮したものである。また、（３）の場合にエッジ部の減算を行わないと判定するのは、急激な輝度の変化であるため、文字部のエッジにボケがない画像であると考えられるからである。また、（１）の最小値が「０」となっており、（３）の最大値「２５５」となっているが、エッジ抽出処理手段４６３ｇが使用するエッジ抽出フィルタによっては、これらを超えてしまう場合があることを留意する必要がある。その場合も、判定処理手段４６３ｈは、Ｔｈ１、Ｔｈ２の値を使用して判定を行うことで、問題なく判定が行える。
【０１６２】
次に、重み付け手段４６３ｉの説明を行う。重み付け手段４６３ｉは、判定処理手段４６３ｈによってエッジ部を減算すると判定された場合、エッジデータのエッジ強度に重み付け係数を乗算して重み付け処理を行う。重み付け手段４６３ｉが、エッジデータのエッジ強度へ乗算する重み付け係数は、多数の画像から統計的に算出される固定パラメータを用いるため、具体的な値は特に限定しない。重み付け手段４６３ｉは、重み付け処理を行うことによって、重み付けエッジデータを得る。
【０１６３】
次に、減算部４６３ｊの説明を行う。減算部４６３ｊは、文字部抽出画像から重み付けエッジデータを減算するエッジ減算処理を行う。減算部４６３ｊのエッジ減算処理により、文字部抽出画像に存在する文字部は、本来の文字部の幅として抽出される。減算部４６３ｊは、エッジ減算処理を行うことで、エッジ減算文字部抽出画像を得る。
【０１６４】
次に、重畳部４６３ｃの説明を行う。重畳部４６３ｃは、エッジ減算文字部抽出画像を、プレート切り出し画像へ重畳する。
【０１６５】
ここで、図２６Ａから図２６Ｄを用いて、エッジ減算処理を説明する。
まず、図２６Ａは、プレート切り出し画像における文字部の拡大図である。図２６Ａにおいて、文字「Ｌ」に対する輝度水平断面Ｚ−Ｚ’を取り、この断面を例にして説明を行う。図２６Ａを参照すると、輝度水平断面Ｚ−Ｚ’に沿って輝度値に変化があることが確認できる。図２６Ａのプレート切り出し画像では、文字部と背景部との境目においてボケが発生している。
【０１６６】
次に、図２６Ｂは、輝度水平断面Ｚ−Ｚ’の水平座標と輝度値の関係とを表したグラフである。図２６Ｂのグラフは、横軸に水平座標を取り、縦軸に輝度値を取る。図２６Ｂのグラフにおいて、説明を簡易に行うために、背景部の輝度は「０」としている。符号１８は、輝度水平断面Ｚ−Ｚ’における本来の文字部の幅（以下、文字部幅１８）である。符号２０は、本来の文字部の輝度（以下、文字部分輝度２０）である。また、符号１９は、文字部のボケ部分の輝度（ボケ部分輝度１９）である。
【０１６７】
次に、図２６Ｃは、非線形輝度変換手段４６３ａによる輝度変換処理と、帯域通過フィルタ手段４６３ｂによる文字部抽出処理を行った後の、文字部抽出画像における輝度水平断面Ｚ−Ｚ’を表している。文字部輝度２０とボケ部分輝度１９が共に、輝度変換処理と文字部抽出処理によって強調されて、輝度値が増していることが確認できる。
【０１６８】
次に、図２６Ｄは、重畳部４６３Ｃが文字部抽出画像へエッジ減算処理を行わずにプレート切り出し画像へ重畳した場合の、輝度水平断面Ｚ−Ｚ’を表している。輝度水平断面Ｚ−Ｚ’は、エッジ減算処理を行っていないため文字部輝度２０とボケ部分１９の双方が強調されている。この状態の輝度水平断面Ｚ−Ｚ’において、低めの輝度値を閾値として文字２値化処理を行うとすると、文字部の幅は、ボケ部分１９によって拡大（文字を太く）してしまう。このような、文字部の幅の拡大は、他の文字部との接触を招き、後段の文字認識処理における認識率の低下につながる。
【０１６９】
次に、図２６Ｅは、プレート切り出し画像に対して、エッジ抽出フィルタを適用してエッジ抽出を行った後の輝度水平断面Ｚ−Ｚ’を表している。符号２１は、エッジ抽出処理手段４６３ｇのエッジ抽出処理によって、輝度水平断面Ｚ−Ｚ’に検出されたエッジ部である。エッジ部２１は、文字部幅１８の両側に検出される。エッジ部２１の有する輝度が、エッジ強度（Ｅ）となる。本実施形態では、判定処理手段４６３ｈの判定処理によって、エッジ強度Ｅが、定められた閾値Ｔｈ１とＴｈ２との間の値であると判定された場合に、文字部抽出画像に対してエッジ減算処理を行う。説明の簡易のために、図２６Ｅのエッジ部のエッジ強度は、「Ｔｈ１≦Ｅ≦Ｔｈ２」であるとする。
【０１７０】
次に、図２６Ｆは、文字抽出画像に対してエッジ減算処理を行った後のエッジ減算文字部抽出画像をあらわしている。重み付け手段４６３ｉは、図２６Ｅで抽出されたエッジ強度に重み付け係数を乗算し、適正な強度へ重み付けを行う。その上で、減算部４６３ｊが、文字抽出画像に対してエッジ減算処理を行う。図２６Ｆを参照すると、輝度水平断面Ｚ−Ｚ’には、エッジ減算処理によって、本来文字幅１８の文字部輝度２０のみが抽出されていることが確認できる。
このように、エッジ抽出処理手段４６３ｇがエッジ抽出し、判定処理手段４６３ｈがエッジ強度を判定し、重み付け手段４６３ｉがエッジ強度へ重み付けを行って、減算部４６３ｊが文字部抽出画像からエッジ減算処理を行うことで、図２６Ｆに示すように、文字部輝度２０のみを抽出することが可能となる。
【０１７１】
以上が、本実施形態における、文字強調手段４６３の構成の説明である。
【０１７２】
［文字強調手段４６３の動作方法の説明］
次に、図２７を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図２７は、本実施形態における、文字強調手段４６３の動作フローを示している。本説明においては、第１から第４実施形態と違いを有する部分に特化して説明を行う。
【０１７３】
（ステップＳ４６１）
エッジ抽出処理手段４６３ｇは、プレート切り出し手段４６２が出力したプレート切り出し画像を入力する。
【０１７４】
（ステップＳ４６２）
エッジ抽出処理手段４６３ｇは、エッジ抽出フィルタを用いてエッジ抽出処理を行い、プレート切り出し画像からエッジ部を抽出する。エッジ抽出処理手段４６３ｇは、エッジ抽出処理によって、エッジデータを得る。エッジ抽出処理手段４６３ｇは、エッジデータを判定処理手段４６３ｈへ出力する。
【０１７５】
（ステップＳ４６３）
判定処理手段４６３ｈはエッジ抽出処理手段４６３ｇの出力したエッジデータを入力する。判定処理手段４６３ｈは、エッジデータに対して、判定処理を行う。判定処理手段４６３ｈは、エッジ強度を「Ｅ」として、「Ｔｈ１ ≦ Ｅ ≦ Ｔｈ２」であるかを判定する。なお、Ｔｈ１，Ｔｈ２については、多数の画像から統計的に算出される固定パラメータを用いる。「Ｔｈ１ ≦ Ｅ ≦ Ｔｈ２」である場合には、判定処理手段４６３ｈは、エッジ部を減算するとの判定結果を得る。この場合は、判定処理手段４６３ｈは、判定結果とエッジデータを重み付け手段４６３ｉへ出力する。この後、ステップＳ４６４へ進む。
一方、「Ｔｈ１ ≦ Ｅ ≦ Ｔｈ２」でない場合には、判定処理手段４６３ｈは、エッジ部を減算しないとの判定結果を得る。この場合は、減算部４６３ｊは、エッジ減算処理を行わない。そのため、減算部４６３ｊは、乗算部４６３ｅが抽出する文字部抽出画像を、特に処理を行うことなく重畳部４６３ｃへ出力する。このように、判定処理手段４６３ｈがエッジ部を減算しないとの判定を行った場合、重畳部４６３ｃは、文字部抽出画像を、そのままプレート切り出し画像へ重畳する。この場合、本動作方法は終了となる。
【０１７６】
（ステップＳ４６４）
重み付け手段４６３ｉは、判定処理部４６３ｈからエッジ部を減算するとの判定結果とエッジデータを入力する。重み付け手段４６３ｉは、エッジデータのエッジ強度に重み付け係数を乗算して重み付け処理を行う。重み付け手段４６３ｉは、重み付け処理を行うことによって、重み付けエッジデータを得る。重み付け手段４６３ｉは、重み付けエッジデータを減算部４６３ｊへ出力する。
【０１７７】
（ステップＳ４６５）
減算部４６３ｊは、重み付け手段４６３ｉが出力した、重み付けエッジデータを入力する。また、減算部４６３ｊは、乗算部４６３ｅが出力する文字部抽出画像を入力する。減算部４６３ｊは、文字部抽出画像から重み付けエッジデータを減算する減算処理を行う。減算部４６３ｊは、減算処理を行うことによって、エッジ減算文字部抽出画像を得る。減算部４６３ｊは、エッジ減算文字部抽出画像を重畳部４６３ｃへ出力する。このように、判定処理手段４６３ｈがエッジ部を減算するとの判定を行った場合、重畳部４６３ｃは、エッジ減算文字部抽出画像をプレート切り出し画像へ重畳する。
【０１７８】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【０１７９】
以上が、第５実施形態の説明である。エッジ抽出処理手段４６３ｇが、プレート切り出し画像からエッジ抽出処理によってエッジ部を抽出する。判定処理部４６３ｈは、エッジ部のエッジ強度によってエッジ減算処理を行うか否かを判定する。重み付け手段４６３ｉは、エッジ部の重み付けを調整して、減算部４６３ｊは、文字部抽出画像からエッジ部を減算する。このように構成することによって、本来の文字部の幅のみが抽出されたエッジ減算文字部抽出画像を得ることができる。そのため、重畳部４６３ｃが、エッジ減算文字部抽出画像をプレート切り出し画像へ重畳しても、プレート切り出し画像においては、本来の文字部のみが強調され、ボケ強調による文字部の拡大を防ぐことが可能となる。これによって、後段の文字認識処理における文字認識率の低下を避けることができる。
【０１８０】
（第６実施形態）
次に、第６実施形態について説明を行う。第１から第５実施形態では、それぞれ異なる構成の文字強調手段４６３によって、一連の文字強調処理を行うことを説明した。本実施形態では、第１から第５実施形態における文字強調手段４６３の構成を複数備える。それぞれ構成において異なるパラメータを用い、文字強調処理を行って得られた重畳量を比較し、最も重畳量が多い文字強調処理結果をプレート切り出し画像へ重畳する。
本実施形態において、構成および動作方法は、第１から第５実施形態を複数組み合わせることによって実現する。各々実施形態の構成と同様の部分に関しては、構成及び動作方法は同じである。本実施形態において、第１から第５実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３である。以下の説明においては、第１から第５実施形態と違いを有する部分を中心に説明を行う。
【０１８１】
［文字強調手段４６３の構成の説明］
まず、図２８を用いて、本実施形態における、文字強調手段４６３の構成の説明を行う。図２８は、本実施形態における、文字強調手段４６３の構成を示している。本実施形態では、第１実施形態から第５実施形態までに説明を行った文字強調手段４６３の内部構成を複数備える。図２８を参照すると、本実施形態における文字強調手段４６３は、第３実施形態において説明を行った構成を複数備えていることが確認できる。以下の説明においては、説明の簡易上、このような構成における説明にとどめるが、これはその他の実施形態において説明を行った構成を複数備えるように置き換えてもかまわない。また、異なる実施形態の構成を組み合わせて構成を行ってもかまわない。
【０１８２】
図２８示す本実施形態における、文字強調手段４６３は、非線形輝度変換４６３ａと、非線形輝度変換４６３ａ’と、帯域通過フィルタ手段４６３ｂと、帯域通過フィルタ手段４６３ｂ’と、重畳部４６３ｃと、局所的輝度分散に基づく重み算出処理手段４６３ｄと、局所的輝度分散に基づく重み算出処理手段４６３ｄ’と、乗算部４６３ｅと、乗算部４６３ｅ’と、重畳量判定処理手段４６３ｋとを備える。
【０１８３】
なお、非線形輝度変換４６３ａと、帯域通過フィルタ手段４６３ｂと、局所的輝度分散に基づく重み算出処理手段４６３ｄと、乗算部４６３ｅとによる構成（以下、本実施形態において構成１）は、第３実施形態において説明を行った構成と同様である。非線形輝度変換４６３ａ’と、帯域通過フィルタ手段４６３ｂ’と、局所的輝度分散に基づく重み算出処理手段４６３ｄ’と、乗算部４６３ｅ’とによる構成（以下、本実施形態において構成２）も、第３実施形態において説明を行った構成と同様である。そのため、これらの構成１及び構成２に関する詳細な説明は省略する。なお、構成１及び構成２は、非線形輝度変換手段４６３ａと非線形輝度変換手段４６３ａ’において用いるパラメータが異なるとして以下の説明を行う。なお、このパラメータは、非線形輝度変換手段４６３ａと非線形輝度変換手段４６３ａ’とにおいて異なるのみに限定しない。第１実施形態から第５実施形態まで説明において、設定される各種のパラメータを異なるように設定することが可能である。
【０１８４】
まず、重畳量判定処理手段４６３ｋの説明を行う。重畳量判定処理手段４６３ｋは、構成１および構成２から出力される重み付け後文字部抽出画像の１フレーム毎に、重畳量を比較して重畳量の多い結果を持つ、重み付け後文字部抽出画像を選択する。
ここで、重畳量が多いとは、重み付け後文字部抽出画像の１フレームにおける輝度の平均値が高いことを示す。重畳量判定処理手段４６３ｋは、重み付け後文字部抽出画像の１フレーム毎に輝度の平均値を算出して、輝度の平均値が高い画像を選択する。重み付け後文字部抽出画像は、文字部のみが抽出された画像であり、１フレームにおける輝度の平均値が高いということは、プレート切り出し画像の文字部に重畳される輝度値が多いことを意味する。
また、重畳量判定処理手段４６３ｋは、重み付け後文字部中抽出画像の１フレームにおける輝度分散が高い画像を選択しても良い。この場合、重畳量判定処理手段４６３ｋは、重み付け後文字部抽出画像の１フレーム毎に輝度の分散を算出して、輝度の分散が高い画像を選択する。
なお、重畳量判定処理手段４６３ｋは、構成１及び構成２の二つの出力に基づいて判定を行っているが、比較する出力数はこれに限定しない。文字強調手段４６４が、より多く文字強調処理のための構成を有数場合には、それらのそれぞれ出力に基づいて判定処理を行ってもかまわない。
【０１８５】
次に、重畳部４６３ｃの説明を行う。重畳部４６３ｃは、重畳量判定処理手段４６３ｋが選択した、重み付け後文字部抽出画像を、プレート切り出し画像へ重畳する。
【０１８６】
以上が、本実施例における、文字強調手段４６３の構成の説明である。
【０１８７】
［文字強調手段４６３の動作方法の説明］
次に、図２９を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図２９は、本実施形態における、文字強調手段４６３の動作フローを示している。本説明においては、第１から第５実施形態と違いを有する部分に特化して説明を行う。
【０１８８】
（ステップＳ４７１）
重畳量判定処理手段４６３ｋは、構成１及び構成２が出力した、重み付け後文字部抽出画像を入力する。
【０１８９】
（ステップＳ４７２）
重畳量判定処理手段４６３ｋは、重み付け後文字部抽出画像の１フレーム毎に画像統計量（輝度の平均値、あるいは輝度の分散）を算出する。重畳量判定処理手段４６３ｋは、画像統計量に基づいて重畳量を比較し、重畳量の多い結果を持つ重み付け後文字部抽出画像を選択する。重畳量判定処理手段４６３ｋは、選択した重み付け後文字部抽出画像を重畳部４６３ｃへ出力する。
【０１９０】
（ステップＳ４７３）
重畳部４６３ｃは、重畳量判定処理部４６３ｋが出力した、重み付け後文字部抽出画像を入力する。重畳部４６３ｃは、重畳量判定処理部４６３ｋ選択した重み付け後文字部抽出画像を、プレート切り出し画像へ重畳する。重畳部４６３ｃは、重畳処理によって文字強調画像を得る。
【０１９１】
（ステップＳ４７４）
重畳部４６３ｃは、文字強調画像を後段の、文字２値化手段４６４へ出力する。
【０１９２】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【０１９３】
以上が、第６実施形態の説明である。重畳量判定処理手段４６３ｋは、複数の構成によって、それぞれ文字強調処理が行われた画像を入力して、そのうちから最も重畳量が多い結果を有する画像を選択する。重畳部４６３ｃは、重畳量判定処理手段４６３ｋが選択した画像をプレート切り出し画像へ重畳する。このように構成することによって、複数のパラメータを用いて文字強調処理を行った結果から最も重畳量の多い結果を選択することが可能となる。一連の文字強調処理において使用するパラメータは、プレート切り出し画像毎に適正な値が変化するものと考えられる。いくつかのパラメータを用いて文字強調処理を行うことによって、フレーム毎に異なるプレート切り出し画像に対する適正なパラメータを選択することが可能となる。
【０１９４】
これまで説明を行ってきたように、本発明の文字認識処理装置によれば、
第１実施形態では、非線形輝度変換手段４６３ａが、図９に示したような、３つの変局点からなる非線形変換曲線を用いて輝度変換処理を行う。これによって撮像されたナンバープレートが、白色文字部プレートであっても黒色文字部プレートであっても効果的に、文字部と背景部の輝度差を拡大できる。また、帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、帯域通過フィルタを適用することで、文字部のみを抽出した文字部抽出画像を得る。重畳部４６３ｃは、輝度変換処理によって輝度を寄り高められ、文字抽出処理によって文字部のみを抽出した文字部抽出画像を、プレート切り出し画像へ重畳する。このように構成することによって、プレート切り出し画像の文字部と背景部との輝度差を拡大することが可能となる。
【０１９５】
第２実施形態では、画像統計量算出手段４６３ａ−１がプレート切り出し画像の画像統計量を算出する。変換曲線算出手段４６３ａ−２は、画像統計量に基づいて、非線形変換曲線を算出する。ＬＵＴ作成手段４６３ａ−３は、非線形変換曲線に基づいてＬＵＴを作成する。非線形輝度変換手段４６３ａ−４は、作成されたＬＵＴに基づいて輝度変換処理を行う。このように構成することによって、プレート切り出し画像の画像統計量に応じて、動的に非線形輝度変換曲線を算出することが可能となる。そのため、プレート切り出し画像毎に適した非線形輝度変換処理に基づく輝度変換処理を行うことが可能となる。
【０１９６】
第３実施形態では、局所的輝度分散に基づく重み算出処理手段４６３ｄが、輝度変換後プレート画像に分散算出フィルタを適用することにより、輝度変換後プレート画像の各画素とその周辺の画素との輝度分散を算出する。局所的輝度分散に基づく重み算出処理手段４６３ｄは、輝度分散に基づいて当該画素に対する重み付けを決定する。局所的輝度分散に基づく重み算出処理手段４６３ｄは、分散の大きい（ノイズ部）画素へは、重み付けを小さく決定する。一方、局所的輝度分散に基づく重み算出処理手段４６３ｄは、分散の小さい（文字部）画素へは、重み付けを大きく決定する。乗算部４６３ｅは、各画素に対する重み付けを、帯域フィルタ手段４６３ｂが出力する文字部抽出画像の各画素へ乗算する。重畳部４６３ｃは、重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。このように構成を行うことによって、文字強調画像は、重み付け後文字部抽出画像を重畳されると、文字部とノイズ部との輝度差を拡大する。
【０１９７】
第４実施形態では、画素重み算出手段４６３ｆは、輝度変換後プレート画像の画像統計量を算出する。画素重み算出手段４６３ｆは、画像統計量に基づいて、輝度変換後プレート画像が、白色文字部プレートか黒色文字部プレートかを判定する。画素重み算出手段４６３ｆは、判定結果に基づいて重み付け関数を選択する。画素重み算出手段４６３ｆは、輝度変換後プレート画像の１画素毎を選択して、文字部と同等の輝度を有する画素の場合には、重み付け関数に基づいて重み付け処理を行う。乗算部４６３ｅは、重み付け処理後の画素重み付けデータを、文字部抽出画像へ乗算する。このように構成することで、輝度変換後プレート画像の各画素の輝度値に基づいて重み付け処理を行うことができる。そのため、重み付け処理の処理速度を向上させることが可能となる。
【０１９８】
第５実施形態では、エッジ抽出処理手段４６３ｇが、プレート切り出し画像からエッジ抽出処理によってエッジ部を抽出する。判定処理部４６３ｈは、エッジ部のエッジ強度によってエッジ減算処理を行うか否かを判定する。重み付け手段４６３ｉは、エッジ部の重み付けを調整して、減算部４６３ｊは、文字部抽出画像からエッジ部を減算する。このように構成することによって、本来の文字部の幅のみが抽出されたエッジ減算文字部抽出画像を得ることができる。そのため、重畳部４６３ｃが、エッジ減算文字部抽出画像をプレート切り出し画像へ重畳しても、プレート切り出し画像においては、本来の文字部のみが強調され、ボケ強調による文字部の拡大を防ぐことが可能となる。これによって、後段の文字認識処理における文字認識率の低下を避けることができる。
【０１９９】
第６実施形態では、重畳量判定処理手段４６３ｋは、複数の構成によりそれぞれ文字強調処理が行われた画像を入力し、そのうちから最も重畳量が多い結果を有する画像を選択する。重畳部４６３ｃは、重畳量判定処理手段４６３ｋが選択した画像をプレート切り出し画像へ重畳する。このように構成することによって、複数のパラメータを用いて文字強調処理を行った結果から最も重畳量の多い結果を選択することが可能となる。一連の文字強調処理において使用するパラメータは、プレート切り出し画像毎に適正な値が変化するものと考えられる。いくつかのパラメータを用いて文字強調処理を行うことによって、フレーム毎に異なるプレート切り出し画像に対する適正なパラメータを選択することが可能となる。
【０２００】
以上のように、各実施形態で説明を行った文字強調処理を行うことで、低品質の撮像装置を用いて、低パワーの照明の下で画像取得を行った場合でも、画像のコントラストを改善することが可能となり、正確な文字認識処理を行うことが可能となるのである。
なお、各実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更を加えることができる。また、各実施形態を組み合わせて実現することも可能であるのは、各実施形態において述べたとおりである。
【図面の簡単な説明】
【０２０１】
【図１】低コントラスト画像と高コントラスト画像の例を示した図である。
【図２】自動車ナンバー自動読取システムの構成を示す図である。
【図３】文字認識処理装置の構成を示した図である。
【図４】文字認識処理装置の動作フローである。
【図５】第１実施形態における文字強調処理手段の構成を示す図である。
【図６】第１実施形態における非線形輝度変換曲線の例を示した図である。
【図７】ナンバープレートにおける文字部と背景部との輝度パターンと、非線形輝度変換曲線の特性との関係について表した表である。
【図８】第１実施形態における非線形輝度変換曲線の例を示した図である。
【図９】帯域通過フィルタ手段の文字部抽出処理のイメージ図である。
【図１０】第１実施形態における文字強調手段の動作フローである。
【図１１】第２実施形態における非線形輝度変換手段の構成を示す図である。
【図１２】画像統計量が「Ａｖｅ＞Ｆｒｑ」となる場合のプレート切り出し画像の例を示す図である。
【図１３】画像統計量が「Ａｖｅ＞Ｆｒｑ」となる場合の非線形輝度変換曲線を示した図である。
【図１４】画像統計量が「Ａｖｅ≦Ｆｒｑ」となる場合のプレート切り出し画像の例を示す図である。
【図１５】画像統計量が「Ａｖｅ≦Ｆｒｑ」となる場合の非線形輝度変換曲線を示した図である。
【図１６】第２実施形態における非線形輝度変換手段の動作フローである。
【図１７】第３実施形態における文字強調手段の構成を示す図である。
【図１８】画像内での分散算出フィルタの適用例を示す図である。
【図１９】画像内のボケ部に分散算出フィルタを適用した例を示す図である。
【図２０】第３実施形態における文字強調手段の動作フローである。
【図２１】第４実施形態における文字強調手段の構成を示す図である。
【図２２】第４実施形態における黒色文字部プレートに対する重み付け関数を示す図である。
【図２３】第４実施形態における白色文字部プレートに対する重み付け関数を示す図である。
【図２４】第４実施形態における文字強調手段の動作フローである。
【図２５】第５実施形態における文字強調手段の構成を示す図である。
【図２６Ａ】プレート切り出し画像における文字部の拡大図である。
【図２６Ｂ】プレート切り出し画像における輝度水平断面Ｚ−Ｚ’の輝度値を表したグラフである。
【図２６Ｃ】文字部抽出画像における輝度水平断面Ｚ−Ｚ’を表したグラフである。
【図２６Ｄ】文字部抽出画像にエッジ減算処理を行わずにプレート切り出し画像へ重畳した場合の輝度水平断面Ｚ−Ｚ’を表したグラフである。
【図２６Ｅ】プレート切り出し画像に対してエッジ抽出を行った後の輝度水平断面Ｚ−Ｚ’を表したグラフである。
【図２６Ｆ】エッジ減算文字部抽出画像の輝度水平断面Ｚ−Ｚ’を表したグラフである。
【図２７】第５実施形態における文字強調手段の動作フローである。
【図２８】第６実施形態における文字強調手段の構成を示す図である。
【図２９】第６実施形態における文字強調手段動作フローである。
【符号の説明】
【０２０２】
１ 低コントラスト画像
２ 高コントラスト画像
３ 帯域通過フィルタ
４ 帯域通過フィルタ
５ 白色文字部プレート
６ 黒色文字部プレート
７ 低域拡大変換曲線
８ 高域拡大変換曲線
９ 高次輝度変換曲線
１０ａ 黒系車体に設置した白色文字部プレートのプレート部
１０ｂ 白色文字部プレートが設置された黒系車体の車体部
１１ａ 黒系車体に設置した黒色文字部プレートのプレート部
１１ｂ 黒色文字部プレートが設置された黒系車体の車体部
１２ａ 白系車体に設置した白色文字部プレートのプレート部
１２ｂ 白色文字部プレートが設置された白系車体の車体部
１３ａ 白系車体に設置した黒色文字部プレートのプレート部
１３ｂ 黒色文字部プレートが設置された白系車体の車体部
１４ ノイズ部に適用した分散算出フィルタ
１５ 文字部に適用した分散算出フィルタ
１６ 文字部と背景部との境界に適用した分散算出フィルタ
１７ 文字部のボケ部分に適用した分散算出フィルタ
１８ 本来の文字部の文字幅
１９ 文字部のボケ部分の輝度
２０ 文字部の輝度
２１ エッジ部分の輝度
１００ 自動車
２００ 照明装置
３００ 撮像装置
４００ 文字認識装置
４１０ 入力部
４２０ 出力部
４３０ 記憶部
４４０ 画像入力ＩＦ
４５０ 通信部
４６０ 処理部
４６１ 画像入力手段
４６２ プレート切り出し手段
４６３ 文字強調手段
４６３ａ 非線形輝度変換手段
４６３ａ’ 非線形輝度変換手段
４６３ａ−１ 画像統計量算出手段
４６３ａ−２ 変換曲線算出手段
４６３ａ−３ ＬＵＴ作成手段
４６３ａ−４ 非線形輝度変換手段
４６３ｂ 帯域通過フィルタ手段
４６３ｂ’ 帯域通過フィルタ手段
４６３ｃ 重畳部
４６３ｄ 局所的輝度分散に基づく重み算出処理手段
４６３ｄ’ 局所的輝度分散に基づく重み算出処理手段
４６３ｅ 乗算部
４６３ｅ’ 乗算部
４６３ｆ 画素の輝度値に基づく重み算出処理手段
４６３ｇ エッジ抽出処理手段
４６３ｈ 判定処理手段
４６３ｉ 重み付け手段
４６３ｊ 減算部
４６３ｋ 重畳量判定処理手段
４６４ 文字２値化手段
４６５ 文字認識手段
４６６ 認識結果出力手段
５００ 不正車両データ管理サーバ
【技術分野】
【０００１】
本発明は、文字認識処理装置に関し、特に低品質画像に係る文字認識処理装置に関する。
【背景技術】
【０００２】
自動車ナンバー自動読取システムは、自動車のナンバープレートから、不正車両を自動で割り出すシステムである。自動車ナンバー自動読取システムは、撮像装置によって料金所等を通過する自動車のナンバープレートを撮影し、当該ナンバープレートの画像からナンバープレートに表記されている自動車ナンバーを、文字認識処理を行うことによって認識する。さらに、自動車ナンバー自動読取システムは、不正車両データ管理サーバーにおいて、当該自動車ナンバーと不正車両の自動車ナンバーの照合を行い、当該自動車ナンバーを有する自動車が不正車両であるかを特定する。
【０００３】
従来の自動車ナンバー自動読取システムは、出力の大きい照明と高解像度かつ高ダイナミックレンジの撮像装置を用いてナンバープレートを撮影していた。そのため、従来の自動車ナンバー自動読取システムでは、屋外環境における様々な照明条件においても、一定以上のコントラストを確保したナンバープレートの画像撮影が可能であった。
しかし、自動車ナンバー自動読取システムは、低コスト化や撮像装置の小型化等により機能が低下している。そのため、撮像装置の撮影するナンバープレートの画像は、低解像度画像や低コントラスト画像というような低品質化傾向にある。
【０００４】
図１は、低コントラスト画像１及び高コントラスト画像２による、ナンバープレート画像の例を示している。図１のナンバープレートは、いずれも背景部が黒色で文字部は白色である。図１において、低コントラスト画像１は、低パワーの照明を用いて、低画質のカメラでナンバープレートを撮影した画像である。低コントラスト画像１は、文字部と背景部の輝度差が少なく、白色の文字部も暗く（輝度が低い）はっきりしないため、文字部が認識しづらい。一方、高コントラスト画像２は、高パワーの照明を用いて、高品質カメラでナンバープレートを撮影した画像である。高コントラスト画像２は、文字部と背景部の輝度差が大きく、白色の文字部が明るく（輝度が高い）はっきりしているため、文字部を認識しやすい。
【０００５】
文字認識処理は、ナンバープレート画像から文字部のみを抽出することによって行われる。ナンバープレート画像から文字部を抽出する処理は、一般に文字部と背景部との輝度差に基づいて行われる。そのため、低コントラスト画像１を用いて文字認識を行う場合、文字部と背景部との識別が困難となり、文字認識率の低下する。
このような問題を解決するために、低コントラストの画像を用いて文字認識処理を行う場合は、ナンバープレート画像の文字部と背景部との識別が明確に可能となるように、画像処理を行ってコントラストを向上する（輝度差を拡大する）必要がある。画像のコントラストを向上するための方法として、次のようなものが開示されている。
【０００６】
特許文献１は、改良された鮮明度を向上させる方法と装置を開示している。特許文献１の改良された鮮明度を向上させる方法は、入力信号を濾波して、濾波された信号を得るステップと、濾波された信号に可制御係数を乗算して、乗算された信号を得るステップと、乗算された信号を入力信号に加算するステップとを有し、可制御係数が非線形関数に依存する。
この画像処理では、視覚対象物と背景との境界（エッジ）をいかに強調するか、あるいは平滑化するかという点に重点をおいている。これは、このような画像処理では、人間が見る画像を対象としており、人間の視覚の特性が視覚対象物と背景とのエッジによって視覚対象物を認識していることに着目していることによる。本発明が対象とする文字認識処理は、文字部全体と背景部との輝度差を拡大する必要があり、前述のようにエッジ強調処理のみに着目している画像処理は適用することはできない。
【特許文献１】特表２００２−５３５８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、低コントラストな画像においても正確に文字認識を行うことが可能な文字認識処理装置を提供することである。
【課題を解決するための手段】
【０００８】
以下に、（発明を実施するための最良の形態）で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、（特許請求の範囲）の記載と（発明を実施するための最良の形態）との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、（特許請求の範囲）に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００９】
本発明の文字認識処理装置は、抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換手段（４６３ａ）と、輝度変換後入力画像から、帯域通過フィルタを用いて文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタ手段（４６３ｂ）と、文字部抽出画像を、入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳部（４６３ｃ）と、文字強調画像に基づいて文字認識処理を行う文字認識処理手段（４６４、４６５）とを備える。
【００１０】
本発明の文字認識処理装置の非線形輝度変換手段（４６３ａ）は、３点の変局点を含む非線形輝度変換曲線を用いて輝度変換処理を行う。
【００１１】
本発明の文字認識処理装置は、入力画像の１フレーム毎の画像統計量を算出する画像統計量算出手段（４６３ａ−１）と、画像統計量に基づいて、入力画像の輝度変換処理に使用する算出非線形輝度変換曲線を算出する変換曲線算出手段（４６３ａ−２、４６３ａ−３）とをさらに備え、非線形輝度変換手段（４６３ａ−４）は、算出非線形輝度変換曲線に基づいて輝度変換処理を行う。
【００１２】
本発明の文字認識処理装置において、画像統計量算出手段（４６３ａ−１）の算出する画像統計量は、入力画像の１フレーム毎の全画素における、輝度の平均値、輝度の標準偏差、輝度の最頻値である。
【００１３】
本発明の文字認識処理装置の変換曲線算出手段（４６３ａ−２、４６３ａ−３）は、輝度の平均値をＡｖｅ、輝度の標準偏差をＳｔｄ、輝度の最頻値をＦｒｑとして、「Ａｖｅ ＞ Ｆｒｑ」である場合は、（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）の３点から算出する２次曲線１と、Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）の３点から算出する２次曲線２とに基づいて算出非線形輝度変換曲線を算出し、「Ａｖｅ ≦ Ｆｒｑ」である場合は、（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）の３点から算出する２次曲線１と、Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）の３点から算出する２次曲線２とに基づいて算出非線形輝度曲線を算出する。
【００１４】
本発明の文字認識処理装置は、輝度変換後入力画像の内の対象画素毎に、対象画素から定められた範囲に含まれる画素の輝度分散を算出して、輝度分散に基づいて対象画素に対する重みを決定する重み算出手段（４６３ｄ）と、文字部抽出画像の各画素へ重みを乗算する乗算部（４６３ｅ）をさらに備える。
【００１５】
本発明の文字認識処理装置は、輝度変換後入力画像のフレーム毎の変換後画像統計量を算出し、変換後画像統計量に基づいて重み付け関数選択して、重み付け関数を用いて輝度変換後入力画像の各画素に対して重み付けを決定する画素重み付け算出手段（４６３ｆ）と、文字部抽出画像の各画素へ重み付けを乗算する乗算部（４６３ｅ）をさらに備える。
【００１６】
本発明の文字認識処理装置は、エッジ抽出フィルタを用いて入力画像からエッジ部を抽出するエッジ抽出手段（４６３ｇ）と、エッジ部のエッジ強度に基づいて、エッジ部を文字部抽出画像から減算処理を行うかを判定する判定処理手段（４６３ｈ）と、判定処理手段（４６３ｈ）が減算処理を行うと判定した場合に、エッジ強度を調整して調整後エッジ強度を算出する重み付け手段（４６３ｉ）と、文字部抽出画像から調整後エッジ強度の減算処理を行う減算部（４６３ｊ）をさらに備える。
【００１７】
本発明の文字認識処理装置は、それぞれ異なるパラメータ有する複数の構成によって生
成された文字部抽出画像を複数入力して、複数の文字部抽出画像のうちで、最も輝度重畳量が多い選択文字部抽出画像を決定する重畳量判定処理手段（４６３ｋ）をさらに備え、重畳部（４６３ｃ）は、選択文字部抽出画像を入力画像へ重畳する重畳処理を行う。
【００１８】
本発明の文字認識処理方法は、抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換ステップと、輝度変換後入力画像から、帯域通過フィルタを用いて文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタステップと、文字部抽出画像を、入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳ステップと、文字強調画像に基づいて文字認識処理を行う文字認識処理ステップとを備える。
【００１９】
本発明の文字認識処理方法の非線形輝度変換ステップは、３点の変局点を含む非線形輝度変換曲線を用いて輝度変換処理を行うステップを含む。
【００２０】
本発明の文字認識処理方法は、入力画像の１フレーム毎の画像統計量を算出する画像統計量算出ステップと、画像統計量に基づいて、入力画像の輝度変換処理に使用する算出非線形輝度変換曲線を算出する変換曲線算出ステップとをさらに備え、非線形輝度変換ステップは、算出非線形輝度変換曲線に基づいて輝度変換処理を行うステップを含む。
【００２１】
本発明の文字認識処理方法の画像統計量算出ステップは、画像統計量として、入力画像の１フレーム毎の全画素における、輝度の平均値、輝度の標準偏差、輝度の最頻値を算出するステップを含む。
【００２２】
本発明の文字認識処理方法の変換曲線算出ステップは、輝度の平均値をＡｖｅ、輝度の標準偏差をＳｔｄ、輝度の最頻値をＦｒｑとして、「Ａｖｅ ＞ Ｆｒｑ」である場合は、（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）の３点から算出する２次曲線１と、Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）の３点から算出する２次曲線２とに基づいて算出非線形輝度変換曲線を算出し、「Ａｖｅ ≦ Ｆｒｑ」である場合は、（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）の３点から算出する２次曲線１と、Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）の３点から算出する２次曲線２とに基づいて算出非線形輝度曲線を算出するステップを含む。
【００２３】
本発明の文字認識処理方法は、輝度変換後入力画像の内の対象画素毎に、対象画素から定められた範囲に含まれる画素の輝度分散を算出して、輝度分散に基づいて対象画素に対する重みを決定する重み算出ステップと、文字部抽出画像の各画素へ重みを乗算する乗算ステップとをさらに備える。
【００２４】
本発明の文字認識処理方法は、輝度変換後入力画像のフレーム毎の変換後画像統計量を算出し、変換後画像統計量に基づいて重み付け関数選択して、重み付け関数を用いて輝度変換後入力画像の各画素に対して重み付けを決定する画素重み付け算出ステップと、文字部抽出画像の各画素へ重み付けを乗算する乗算ステップとをさらに備える。
【００２５】
本発明の文字認識処理方法は、エッジ抽出フィルタを用いて入力画像からエッジ部を抽出するエッジ抽出ステップと、エッジ部のエッジ強度に基づいて、エッジ部を文字部抽出画像から減算処理を行うかを判定する判定処理ステップと、減算処理を行うと判定した場合に、エッジ強度を調整して調整後エッジ強度を算出する重み付けステップと、文字部抽出画像から調整後エッジ強度の減算処理を行う減算ステップをさらに備える。
【００２６】
本発明の文字認識処理方法は、それぞれ異なるパラメータ有する複数の構成によって生成された文字部抽出画像を複数入力して、複数の文字部抽出画像のうちで、最も輝度重畳量が多い選択文字部抽出画像を決定する重畳量判定処理ステップをさらに備え、重畳ステップは、選択文字部抽出画像を入力画像へ重畳する重畳処理を行う。
【００２７】
本発明のプログラムは、上述の文字認識処理方法をコンピュータによって実現する。
【発明の効果】
【００２８】
本発明によれば、低コントラストな画像においても正確に文字認識を行うことが可能な文字認識処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２９】
添付図面を参照して、本発明の実施形態による文字認識処理装置を、以下に説明する。
【００３０】
（第１実施形態）
始めに、本発明の第１実施形態について説明を行う。
【００３１】
［自動車ナンバー自動読取システムの構成の説明］
まず、図２を用いて、本実施形態における文字認識処理装置を使用する自動車ナンバー自動読取システムの構成を説明する。図２は、自動車ナンバー自動読取システムの構成を示している。図２に示す、自動車ナンバー自動読取システムは、自動車１００と、照明装置２００と、撮像装置３００と、文字認識処理装置４００と、不正車両データ管理サーバ５００とを備える。
【００３２】
自動車１００は、車体の前後に、自動車を識別するためのナンバー（以下、自動車ナンバー）を記載したナンバープレート（以下、ナンバープレート）を備えている。自動車１００は、例えば、高速道路の料金所の等を通過する。
【００３３】
照明装置２００は、自動車１００を照らすためのライトを備えている。照明装置２００は、例えば、自動車１００が通過する料金所のゲート等に設置される。照明装置２００は、ライトから発する明かりによって、通過する自動車１００を照らす。なお、本実施形態において、照明装置２００のライトは、従来に比べてパワーが低いことを想定している。
【００３４】
撮像装置３００は、自動車１００を撮影するためのカメラを備える。撮像装置３００は、例えば、料金所のゲート等に設置される。撮像装置３００は、照明装置２００からの照明に照らされながら料金所を通過する自動車１００の画像をカメラによって撮影する。また、撮像装置３００は、文字認識処理装置４００とケーブル等によって接続されている。撮像装置３００は、自動車１００を撮影した画像（以下、車体画像）の画像データを、文字認識処理装置４００へ出力する。
なお、本実施形態において、撮像装置３００は、従来の撮像装置に比べて低機能な撮像装置を想定している。また、前述のとおり照明装置２００のライトは、従来に比べてパワーが低いことを想定している。そのため、撮像装置３００が撮影する車体画像の画像品質は低く、明るさが足りない等の理由によって、コントラストの悪い画像となる。
【００３５】
文字認識処理装置４００は、車体画像から自動車ナンバーを認識する。文字認識処理装置４００は、料金所内等に設置される。文字認識処理装置４００は、撮像装置３００から車体画像の画像データを入力する。文字認識処理装置４００は、車体画像の画像データに対して、後述する文字認識処理等を行うことによって、自動車１００の自動車ナンバーの認識結果（以下、ナンバー認識結果）を得る。また、文字認識処理装置４００は、ケーブル等により、あるいはネットワークを介して、不正車両データ管理サーバ５００と接続されている。文字認識処理装置４００は、ナンバー認識結果を、不正車両データ管理サーバに送信する。
【００３６】
不正車両データ管理サーバ５００は、ナンバー認識結果に基づいて、当該自動車ナンバーを有する自動車１００に対する不正車両の照合処理を行う。不正車両データ管理サーバ５００は、料金所内、あるいはデータセンタ等に設置される。不正車両データ管理サーバ５００は、文字認識処理装置４００が送信した、自動車ナンバーを受信する。不正車両データ管理サーバ５００は、ナンバー認識結果に基づいて、不正車両の照合処理を行うことによって、不正車両照合結果を得る。ナンバー認識結果に基づく不正車両の照合処理は、公知の技術であるため詳細な説明は省略する。
【００３７】
［文字認識処理装置の構成の説明］
次に、図３を用いて、本実施形態における文字認識処理装置４００を、詳細に説明する。図３は、文字認識処理装置４００の構成を示している。図３の文字認識処理装置４００は、入力部４１０と、出力部４２０と、記憶部４３０と、画像入力ＩＦ４４０と、通信部４５０と、処理部４６０とを備える。
【００３８】
入力部４１０は、キーボードやマウス等で構成される。入力部４１０は、文字認識処理装置４００の使用者とのユーザーインターフェイスである。入力部４１０は、入力されるキー入力等を処理部４６０へ出力する。
【００３９】
出力部４２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等で構成される。出力部４２０は、処理部４６０から出力されるデータを表示する。
【００４０】
記憶部４３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。記憶部４３０は、文字認識処理装置４００の機能を実現するための処理プログラムを保存している。また、記憶部４３０は、文字認識処理に必要なデータを保存している。文字認識処理に必要な情報とは、パターン認識用のデータ等である。
【００４１】
画像入力ＩＦ４４０は、画像入力用のインターフェイスボード等で構成される。画像入力ＩＦ４４０は、カメラ３００が出力する映像信号を入力する。画像入力ＩＦ４４０は、画像信号を処理部４６０へ出力する。
【００４２】
通信部４５０は、通信用ポート等を備える。通信部４５０は、例えばＴＣＰ／ＩＰのようなプロトコルに基づいて、文字認識処理装置４００と外部装置との通信を可能にする。通信部４５０は、処理部４６０が出力する自動車ナンバーの文字認識結果を入力して、不正車両データ管理サーバ５００へ送信する。
【００４３】
処理部４６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成される。処理部４６０は、記憶部４３０に記録されている処理用プログラムを読み出して実行することにより、文字認識処理装置４００の機能を実現する。
【００４４】
さらに処理部４６０について詳細に説明を行う。処理部４６０は、画像入力手段４６１と、プレート切り出し手段４６２と、文字強調手段４６３と、文字２値化手段４６４と、文字認識手段４６５と、認識結果出力手段４６６を備える。
【００４５】
画像入力手段４６１は、カメラ３００が撮影した自動車１００の車体画像を、画像入力IFを介して入力する。画像入力手段４６１は、自動車１００の車体画像をプレート切り出し手段４６２へ出力する。
【００４６】
プレート切り出し手段４６２は、自動車１００の車体画像からナンバープレート部分の切り出し処理を行う。プレート切り出し手段４６２は、プレート切り出し処理によって、自動車ナンバープレート部分の画像（以下、プレート切り出し画像）を得る。プレート切り出し手段４６２が行う元画像からのプレート切り出し画像への切り出し処理は、公知の技術による処理であるため、詳細な説明は省略する。
【００４７】
文字強調手段４６３は、プレート切り出し画像に含まれる、自動車ナンバーの文字にあたる部分（以下、文字部）と背景にあたる部分（以下、背景部）との輝度差を拡大させるために文字強調処理を行う。文字強調手段４６３は、プレート切り出し画像に対して行う文字強調処理によって、文字強調処理が施されたプレート切り出し画像（以下、文字強調画像）得る。文字強調手段４６３が行う文字強調処理は、後に詳しく説明する。
【００４８】
文字２値化処理部４６４は、文字強調画像に対して、文字部と背景部を切り分けるための文字２値化処理を行う。文字２値化処理部４６４は、文字２値化処理を行うことによって、文字強調画像の２値化データ（以下、２値化データ）を得る。文字２値化手段４６４が行う文字２値化処理は、公知の技術による処理であるため、詳細な説明は省略する。
【００４９】
文字認識手段４６５は、２値化データに基づいて、文字認識処理を行う。文字認識手段４６５が、文字認識処理を行うことによって、２値化データからナンバー認識結果を得る。文字認識手段４６５が、行う文字認識処理は、公知の技術による処理であるため、詳細な説明は省略する。
【００５０】
認識結果出力手段４６６は、ナンバー認識結果を、通信部４５０を介して不正車両データ管理サーバ５００へ送信する。
【００５１】
以上が、文字認識処理装置４００の構成の説明である。
【００５２】
［文字認識処理装置の動作方法の説明］
次に、図４を用いて、本実施形態における文字認識処理措置の動作方法の説明を行う。図４は、文字認識処理装置の動作フローを示している。
【００５３】
（ステップＳ１００）
撮像装置３００は、照明２００に照らされた自動車１００の車体画像を撮影する。撮像装置３００は、車体画像を文字認識処理装置４００へ出力する。
【００５４】
（ステップＳ２００）
文字認識装置４００の画像入力手段４６１は、画像入力IFを介して、撮像装置３００が撮影した車体画像の画像データを入力する。画像入力手段４６１は、車体画像の画像データをプレート切り出し手段４６２へ出力する。
【００５５】
（ステップＳ３００）
プレート切り出し手段４６２は、画像入力手段４６１の出力した、車体画像の画像データを入力する。プレート切り出し手段４６２は、車体画像からナンバープレート部分の切り出し処理を行う。プレート切り出し手段４６２は、プレート切り出し処理によって、プレート切り出し画像を得る。プレート切り出し手段４６２は、プレート切り出し画像を文字強調手段４６３へ出力する。
【００５６】
（ステップＳ４００）
文字強調手段４６３は、プレート切り出し手段４６２の出力した、プレート切り出し画像を入力する。文字強調手段４６３は、プレート切り出し画像に対して、後述する一連の文字強調処理をおこなう。文字強調手段４６３は、文字強調処理によって、文字強調画像を得る。文字強調手段４６３は、文字強調画像を文字２値化手段４６４へ出力する。
【００５７】
（ステップＳ５００）
文字２値化手段４６４は、文字強調手段４６３の出力した、文字強調画像を入力する。文字２値化手段４６４は、文字強調画像に対して、文字２値化処理を行う。文字２値化処理部４６４は、文字２値化処理によって、２値化データを得る。文字２値化処理手段４６４は、２値化データを、文字認識手段４６５へ出力する。
【００５８】
（ステップＳ６００）
文字認識手段４６５は、文字２値化手段４６４の出力した、２値化データを入力する。文字認識手段４６５は、２値化データに基づいて、文字認識処理を行う。文字認識手段４６５は、文字認識処理によって、ナンバー認識結果を得る。文字認識手段４６５は、ナンバー認識結果を、認識結果出力手段４６６へ出力する。
【００５９】
（ステップＳ７００）
認識結果出力手段４６６は、文字認識手段４６５の出力した、ナンバー認識結果を入力する。認識結果出力手段４６６は、ナンバー認識結果を、通信部４５０を介して不正車両データ管理サーバ５００へ出力する。
【００６０】
（ステップＳ８００）
不正車両データ管理サーバ５００は、文字認識処理装置４００の認識結果出力手段４６６が出力した、ナンバー認識結果を入力する。不正車両データ管理サーバ５００は、ナンバー認識結果に基づいて、当該自動車ナンバーを有する自動車１００に対する不正車両の照合処理を行い、不正車両照合結果を得る。
【００６１】
以上が、本実施形態における文字認識処理措置を使用する自動車ナンバー自動読取システムの動作方法の説明である。このような動作方法によって、自動車ナンバー自動読取システムは、自動車ナンバーから不正車両を特定する。なお、本動作方法のうち、ステップＳ２００からステップＳ７００までが、本実施形態における文字認識処理装置の動作方法である。
【００６２】
［文字強調手段４６３の構成の説明］
次に、図５から図９を用いて、本実施形態において処理部４６０の文字強調手段４６３の行う文字強調処理の詳細について説明を行う。
【００６３】
本実施形態においては、前述のとおり、パワーの低い照明もとで、低機能の撮像装置３００が、画像を取得する状態を想定している。このため、撮像装置３００が撮影する車体画像は、明るさが足りずコントラストの悪い画像となる。従って、プレート切り出し手段４６２が、車体画像から切り出したプレート切り出し画像も、コントラストの悪い画像となる。コントラストの悪い画像とは、画像に存在する文字部と背景部との輝度差が少ないことにより、文字部を認識しづらい画像である。
文字２値化手段４６４が行う文字２値化処理は、画像の各画素における輝度に基づいて、文字部と背景部とを切り分ける処理である。そのため、コントラストの悪い画像を用いて、２値化処理を行うと文字部と背景部の切りわけが正確に行われず、その後の文字認識処理において正確に自動車ナンバーが認識されない原因となる。この問題を解消するべく、文字強調手段４６３は、コントラストの悪いプレート切り出し画像に対して、文字部と背景部との輝度差を広げて、コントラストの改善を図る処理を行う。文字強調手段４６３による文字強調処理は、本発明において最も重要な部分である。
【００６４】
始めに、図５は、文字強調処理手段４５３の構成を示している。図５に示す文字強調手段４６３は、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重畳部４６３ｃとを備える。
【００６５】
非線形輝度変換手段４６３ａは、プレート切り出し画像の各画素に対して、非線形輝度変換曲線に基づく輝度変換処理を行う。非線形輝度変換手段４６３ａは、非線形輝度変換によって得た画像（以下、輝度変換後プレート画像）を帯域通過フィルタ手段４６３ｂへ出力する。
帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像から、文字部の抽出する処理（以下、文字部抽出処理）を行う。帯域通過フィルタ手段４６３ｂは、文字部抽出処理によって得た画像（以下、文字部抽出画像）を重畳部４６３ｃへ出力する。
重畳部４６３ｃは、文字部抽出画像の各画素の輝度を、元画像であるプレート切り出し画像に対して重畳処理を行う。重畳部４６３ｃは、重畳処理によって得た画像（以下、文字強調画像）を後段の処理部である文字２値化手段４６４へ出力する。
このように、プレート切り出し画像から非線形輝度変換によって背景部との輝度差が拡大させた文字部を抽出して、元画像であるプレート切り出し画像へ重畳することで、文字部が強調された文字強調画像を得ることができる。以下、各部位について詳細に説明する。
【００６６】
まず、非線形輝度変換手段４６３ａについて説明を行う。非線形輝度変換手段４６３ａは、プレート切り出し画像の各画素に対して、輝度変換処理を行う。非線形輝度変換手段４６３ａは、プレート切り出し手段４６２の出力したプレート切り出し画像を入力する。非線形輝度変換手段４６３ａは、プレート切り出し画像の１画素毎に輝度を入力して輝度変換処理を行う。非線形輝度変換手段４６３ａは、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）に基づいて、入力輝度を対応する出力輝度へ変換する。ＬＵＴは、入力輝度に対して出力輝度が一対一に決定される変換テーブルである。本実施形態において、ＬＵＴは、非線形輝度変換曲線の特性に基づいて、入力輝度に対応する出力輝度が決定される。
なお、ＬＵＴは、予め非線形輝度曲線の特性に基づいて生成されており、記憶部４３０等に記憶されている。非線形輝度変換手段４６３ａは、記憶部４３０等に記憶されている非線形輝度曲線の特性に基づくＬＵＴを用いて、プレート切り出し画像の各画素毎に輝度変換処理を行う。非線形輝度変換手段４６３ａは、輝度変換処理によって得た輝度変換後プレート画像を、帯域通過フィルタ手段４６３ｂへ出力する。
【００６７】
図６は、非線形輝度変換曲線の例としてガンマ曲線のような２次曲線を用いたグラフを示している。図６の非線形輝度変換曲線グラフは、横軸に入力輝度（８ｂｉｔ），縦軸に出力輝度（８ｂｉｔ）を取り、示される非線形曲線の特性によって、８ｂｉｔの入力輝度に８ｂｉｔの出力輝度が、一対一に対応している。図６の非線形輝度変換曲線の特性を参照すると、低輝度側の入力輝度が、出力輝度において輝度値を引き上げられていることが確認できる。このことから、図６の非線形輝度変換曲線を用いて輝度変換処理を行う場合には、低輝度側の入力輝度に対して輝度差を拡大させる効果があるといえる。このように、非線形輝度変換手段４６３ａは、非線形輝度変換曲線を用いて、プレート切り出し画像の１画素毎に輝度変換処理を行うことで、プレート切り出し画像の輝度差を広げコントラストを改善する。
【００６８】
次に、図７を用いて、非線形輝度変換手段４６３ａが輝度変換処理に用いる非線形輝度変換曲線について詳細に説明する。図７は、ナンバープレートにおける文字部と背景部との輝度パターンと、非線形輝度変換曲線の特性との関係について表した表である。
ナンバープレートには、２種類の形態が存在する。１つは、背景部が黒系（輝度が低い）で文字部が白系（輝度が高い）のナンバープレート（以下、白色文字部プレート）である。もう１つは、背景部が白系（輝度が高く）で文字部が黒系（輝度が低い）のナンバープレート（黒色文字部プレート）である。
なお、これら２種類のナンバープレートは、文字部及び背景部の白黒といった色ではなく、輝度の強弱によって分類されることに留意されたい。例えば、背景部が黄色（輝度が高い）で、文字部が黒（輝度が低い）のナンバープレートであれば、黒色文字部プレート６に分類される。一方、背景部が深緑（輝度が低い）で、文字部が白（輝度が高い）のナンバープレートであれば、白色文字部プレート５に分類される。
【００６９】
このように、２種類の形態が存在するナンバープレートに対して、非線形輝度変換手段４６３ａが用いる、非線形輝度変換曲線の特性を考える。非線形輝度変換手段４６３ａが、ガンマ曲線のような２次曲線を用いた場合、図７に示すような２種類の曲線が考えられる。１つは、低輝度側の輝度差を拡大する特性を描く低域拡大変換曲線７である。図７に示すとおり低域拡大変換曲線７は、低域側の輝度差を拡大するために上向きのカーブを描く２次曲線である。もう１つは、高輝度側の輝度差を拡大する特性を描く高域拡大変換曲線８である。図７に示すとおり、高域拡大変換曲線８は、高域の輝度差を拡大するために下向きのカーブを描く２次曲線である。
【００７０】
まず、非線形輝度変換手段４６３ａが、低域拡大変換曲線７を用いた場合を考える。低域拡大変換曲線７は、低域入力輝度の輝度差を拡大させることが可能な特性を有するため、白色文字部プレート５においては、背景部の輝度差を拡大する効果を得ることができる。そのため、非線形輝度変換手段４６３ａは、低域拡大変換曲線７を用いることで、白色文字部プレート５に対して、文字部と背景部の輝度差を拡大する効果を得ることができる。一方、低域拡大変換曲線７は、高域入力輝度の輝度差を圧縮してしまう特性を有するため、黒色文字部プレート６においては、背景部の輝度差を圧縮することになる。そのため、非線形輝度変換手段４６３ａは、低域拡大変換曲線７を用いると、黒色文字部プレート６に対しては、文字部と背景部の輝度差を拡大する効果を得られない。
【００７１】
次に、非線形輝度変換手段４６３ａが、高域拡大変換曲線８を用いた場合を考える。高域拡大変換曲線８は、高域入力輝度の輝度差を拡大させることが可能な特性を有するため、黒色文字部プレート６においては、背景部の輝度差を拡大する効果を得ることができる。そのため、非線形輝度変換手段４６３ａが、高域拡大変換曲線８を用いると、黒色文字部プレートに対して、文字部と背景部の輝度差を拡大する効果を得ることができる。一方、高域拡大変換曲線８は、低域入力輝度の輝度差を圧縮してしまう特性を有するため、白色文字部プレート５においては、背景部の輝度差を圧縮してしまうことになる。そのため、非線形輝度変換手段４６３ａが、高域拡大変換曲線８を用いると、白色輝度プレート５に対しては、文字部と背景部の輝度差を拡大する効果を得られない。
【００７２】
このように、非線形輝度変換手段４６３ａが、低域拡大変換曲線７と高域拡大変換曲線８のような２次曲線を用いた場合、低域又は高域のいずれかにおいて輝度差を拡大する効果を得る一方で、対する領域において輝度差を圧縮せざるを得ないという特性がある。
【００７３】
本実施形態では、このような問題を解決するために、非線形輝度変換手段４６３ａは、低域と高域の双方において輝度差を拡大させることが可能な特性を有する高次変換曲線９を用いる。高次変換曲線９は、図７に示すとおり、３次以上の非線形特性を有する非線形輝度変換曲線である。高次変換曲線９は、低域入力輝度及び高域入力輝度に対して出力輝度の輝度差を拡大する特性を描く。これによって、高次変換曲線９は、低域拡大変換曲線７と高域拡大変換曲線８のそれぞれの特性を兼ね備える。
ここで、非線形輝度変換手段４６３ａが、高次変換曲線９を用いた場合を考える。高次変換曲線９は、低域入力輝度の輝度差を拡大させる特性を有するため、白色文字部プレート５において、背景部の輝度差を拡大する効果を得ることができる。そのため、非線形輝度変換手段４６３ａは、高次変換曲線９を用いることによって、白色文字部プレート５に
対して、文字部と背景部の輝度差を拡大する効果を得ることができる。また、高次変換曲線９は、高域入力輝度の輝度差も拡大させる特性を有するため、黒色文字部プレート６においても、背景部の輝度差を拡大する効果を得ることができる。そのため、非線形輝度変換手段４６３ａは、高次変換曲線９を用いることによって、黒色文字部プレート６に対しても、文字部と背景部の輝度差を拡大する効果を得ることができる。
このように、非線形輝度変換手段４６３ａが、高次変換曲線９を用いることによって、白色文字部プレート５と黒色文字部プレート６のいずれに対しても、文字部と背景部との輝度差を拡大する効果を得ることが可能となる。
【００７４】
なお、高次変換曲線９は、中域入力輝度に対して出力輝度の輝度差を圧縮する特性を有する。しかし、文字部と背景部が、中輝度付近に偏ることによって、コントラストが悪い状態となることは無いため問題とはならない。なぜならば、コントラストの悪い状態は、もともとは十分な輝度差を有する文字部と背景部の輝度が、画像の明るさが足りないために低域に偏る、あるいは画面の明るさが多すぎるために高域に偏る、という原因に起因して発生しているためである。本実施形態では、低パワーの照明装置２００や低機能の撮像装置３００を使用していることを想定しており、プレート切り出し画像の輝度は、低域または高域のいずれかに偏っている。そのため、非線形輝度変換手段４６３ａは、このような高次変換曲線９を用いることによって、白色文字部プレート５および黒色文字部プレート６のいずれにおいても、文字部と背景部との輝度差を拡大する効果を得ることができる。
【００７５】
図８は、高次変換曲線９の考え方に基づいた非線形輝度変換曲線の例を示した図である。図８の非線形輝度変換曲線は、（Ｉｎ１，Ｏｕｔ１）、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）、（Ｉｎ２，Ｏｕｔ２）の３つの変局点を有する。非線形輝度変換曲線は、（０，０）、（Ｉｎ１，Ｏｕｔ１）、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）の３点を通る上向きの正弦カーブを描く特性と、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）、（Ｉｎ２，Ｏｕｔ２）、（２５５，２５５）の３点を通る下向きの正弦カーブを描く特性を有する。
なお、（Ｉｎ１，Ｏｕｔ１）、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）、（Ｉｎ２，Ｏｕｔ２）は、数多くの画像から統計的に算出する固定パラメータを用いるため、ここでは具体的な値を限定しない。非線形輝度変換手段４６３ａは、このような非線形輝度変換曲線を
用いることで、白色文字部プレート５及び黒色文字部プレート６のいずれにも対応することが可能となる。
また、非線形輝度変換曲線は、（０，０）、（Ｉｎ１，Ｏｕｔ１）、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）の３点を通る上向きの正弦カーブを描く特性と、（Ｍｉｄ＿Ｉｎ，Ｍｉｄ＿Ｏｕｔ）、（Ｉｎ２，Ｏｕｔ２）、（２５５，２５５）の３点を通る下向きの正弦カーブを描く特性を用いることで、それぞれの点を通る線形特性を描く場合にくらべて、より変換後の輝度差を拡大する効果がある。以上が、非線形輝度変換手段４６３ａの説明である。
【００７６】
次に、帯域通過フィルタ手段４６３ｂの説明を行う。帯域通過フィルタ手段４６３ｂは、非線形輝度変換手段４６３ａの出力する輝度変換後プレート画像から、文字部抽出処理を行い、文字部抽出画像を得る。帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、帯域通過フィルタを適用することで、帯域通過フィルタの幅（画素数）より小さい幅を有する部分のみを抽出する。帯域通過フィルタは、既知のデータに基づいて、文字部と同等の幅に設定されている。帯域通過フィルタ手段４６３ｂは、帯域通過フィルタの幅（画素数）より小さい幅を有する部分のみを抽出することで、文字部を抽出することができる。
文字部抽出処理において、帯域通過フィルタ手段４６３ｂは、まず、帯域通過フィルタの幅より大きい幅を有する部分を抽出する。次に、帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像から帯域通過フィルタの幅より大きい幅を有する部分を減算する。これによって、帯域通過フィルタ手段４６３ｂは、帯域通過フィルタの幅より小さい幅を有する部分のみが抽出された文字部抽出画像を得る。
帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、Ｏｐｅｎｉｎｇ処理（または、Ｃｌｏｓｉｎｇ処理）を行うことによって、帯域通過フィルタの幅より大きい幅を有する部分を抽出する。Ｏｐｅｎｉｎｇ処理（または、Ｃｌｏｓｉｎｇ処理）は、フィルタ内の一定輝度以下、あるいは以上の画素を、周辺の画素と同等の輝度に置き換えることによって、フィルタ内における輝度の凹凸を埋める処理となる。そのため、輝度変換後プレート画像における帯域通過フィルタ処理は、背景部の輝度と異なり帯域通過フィルタの幅より小さい幅を有する部分を、背景部と同等の輝度によって塗りつぶす処理となる。しかし、帯域通過フィルタより大きい部分は、Ｏｐｅｎｉｎｇ処理（または、Ｃｌｏｓｉｎｇ処理）によっても、残存するので、帯域通過フィルタ手段４６３ｂは、帯域通過フィルタより大きい部分を抽出した画像を得る。帯域通過フィルタ手段４６３ｂは、この帯域通過フィルタより大きい部分を抽出した画像を、輝度変換後プレート画像から減算することで、文字部抽出画像を得る。
なお、Ｏｐｅｎｉｎｇ処理（または、Ｃｌｏｓｉｎｇ処理）は、一般的なモフォロジ処理であるので詳細な説明を省略する。また、文字部の幅と同等とする帯域通過フィルタの幅は、文字部の幅に関する既知のデータに基づいて設定する。そのため、帯域通過フィルタの幅は、具体的に値を限定しない。帯域通過フィルタ手段４６３ｂは、文字部抽出画像を重畳部４６３ｃへ出力する。
【００７７】
図９は、帯域通過フィルタ手段４６３ｂの文字部抽出処理のイメージを表している。フィルタ３およびフィルタ４は、文字部を抽出するために用いられる帯域通過フィルタである。なお、フィルタ３およびフィルタ４は、説明のために名称を分けているのであって、輝度変換後プレート画像の異なる位置に適用された同じ帯域通過フィルタである。フィルタ３を参照すると、輝度変換後プレート画像に存在する文字「Ｌ」の幅は、フィルタ３の幅より小さい。一方、フィルタ４を参照すると、輝度変換後プレート画像内のフィルタより大きな部分が存在する。帯域通過フィルタ手段４６３ｂは、フィルタ３の幅より幅の小さい部分である文字「Ｌ」については抽出する。一方、帯域通過フィルタ手段４６３ｂは、フィルタ４の幅より幅の大きい部分については抽出をしない。同様にして、帯域通過フィルタ手段４６３ｂは、帯域通過フィルタの幅より小さい幅を有する部分を抽出する。
【００７８】
具体的な処理としては、前述のとおり、帯域通過フィルタ手段４６３ｂは、Ｏｐｅｎｉｎｇ処理（またはＣｌｏｓｉｎｇ処理）によって、フィルタ３より小さい部分である文字「Ｌ」を背景部と同等の輝度によって塗りつぶす。同様に、帯域通過フィルタ手段４６３ｂは、例えば、文字「ＳＨＢ９４８」のように、輝度変換後プレート画像に存在する帯域通過フィルタより小さい部分を背景部と同等の輝度によって塗りつぶす。一方、帯域通過フィルタより大きな部分については、Ｏｐｅｎｉｎｇ処理（またはＣｌｏｓｉｎｇ処理）によっても残存することになる。そのため、帯域通過フィルタ手段４６３ｂは、輝度変換
後プレート画像に対して、Ｏｐｅｎｉｎｇ処理（またはＣｌｏｓｉｎｇ処理）が完了すると、帯域通過フィルタより大きい部分が残存した画像を得る。帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像から帯域通過フィルタより大きい部分が残存した画像を減算する。これによって、帯域通過フィルタ手段４６３ｂは、文字部と同等の幅を有する部分のみを抽出した文字部抽出画像を得る。以上が、帯域通過フィルタ手段４６３ｂの説明である。
【００７９】
次に、重畳部４６３ｃについて説明を行う。重畳部４６３ｃは、文字部抽出画像の各画素の輝度をプレート切り出し画像へ重畳処理を行う。文字部抽出画像は、帯域通過フィルタ手段４６３ｂによって文字部と背景部との輝度差が拡大され、帯域通過フィルタ手段４６３ｂによって文字部が切り出された画像である。文字部抽出画像をプレート切り出し画像に重畳することで、文字部と背景部の輝度差が拡大する。本実施形態において、プレート切り出し画像はコントラストの悪い画像である。非線形輝度変換手段４６３ａと帯域通過フィルタ手段４６３ｂの処理によって、文字部以外のノイズ部分（以下、ノイズ部）も文字部抽出画像に含まれていることが考えられる。しかし、プレート切り出し画像に重畳することによって、文字部とノイズ部との実質的な輝度差を拡大させることができる。これによって、後段の２値化処理手段４６４は、正確な２値化処理が可能となる。重畳部４６３ｃは、文字部抽出画像をプレート切り出し画像へ重畳処理を行うことによって、文字強調画像を得る。重畳部４６３ｃは、文字強調画像を後段の処理部である文字２値化手段４６４へ出力する。以上が、重畳部４６３ｃの説明である。
【００８０】
以上が、本実施形態における文字強調手段４６３の構成の説明である。
【００８１】
［文字強調手段４６３の動作方法の説明］
次に、図１０を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図１０は、文字強調手段４６３の動作フローを示している。
【００８２】
（ステップＳ４１０）
非線形輝度変換手段４６３ａは、プレート切り出し手段４６２が出力した、プレート切り出し画像を入力する。
【００８３】
（ステップＳ４２０）
非線形輝度変換手段４６３ａは、プレート切り出し画像の各画素を、非線形輝度変換曲線に基づいて作成されたＬＵＴを用いて輝度変換処理を行う。非線形輝度変換手段４６３ａは、輝度変換処理の完了すると、輝度変換後プレート画像を得る。非線形輝度変換手段４６３ａは、輝度変換後プレート画像を、帯域通過フィルタ手段４６３ｂへ出力する。
【００８４】
（ステップＳ４３０）
帯域通過フィルタ手段４６３ｂは、非線形輝度変換手段４６３ａが出力した、輝度変換後プレート画像を入力する。帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、帯域通過フィルタを適用して文字部抽出処理を行う。帯域通過フィルタ手段４６３ｂは、文字部抽出処理によって、帯域通過フィルタの幅より小さい幅を有する部分を抽出する。なお、帯域通過フィルタの幅は、輝度変換後プレート画像に含まれる既知の文字の幅に基づいて設定される。帯域通過フィルタ手段４６３ｂは、文字部抽出処理を完了すると、文字部抽出画像を得る。帯域通過フィルタ手段４６３ｂは、文字部抽出画像を重畳部４６３ｃへ出力する。
【００８５】
（ステップ４４０）
重畳部４６３ｃは、帯域通過フィルタ手段４６３ｂが出力した、文字部抽出画像を入力する。重畳部４６３ｃは、文字部抽出画像の各画素の輝度を、プレート切り出し画像へ重畳する重畳処理を行う。重畳部４６３ｃは、重畳処理を完了すると、文字強調画像を得る。
【００８６】
（ステップ４５０）
重畳部４６３ｃは、文字強調画像を、後段の文字２値化処理手段４６４へ出力する。
【００８７】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【００８８】
以上が、第１実施形態の説明である。非線形輝度変換手段４６３ａは、プレート切り出
し画像に対して、非線形輝度変換曲線に基づいたＬＵＴを参照して輝度変換処理を行う。輝度変換処理においては、図９に示したような、３つの変局点からなる非線形変換曲線を用いることによって、ナンバープレートが、白色文字部プレート５であっても黒色文字部プレート６であっても効果的に、文字部と背景部の輝度差を拡大できる。また、帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、帯域通過フィルタを適用することで、画像内の文字部を抽出した文字部抽出画像を得る。さらに、重畳部４６３ｃは、文字部抽出画像４６３ｂを、プレート切り出し画像へ重畳することによって、文字強調画像を得る。このようにして得た文字強調画像は、プレート切り出し画像に含まれる文字部の輝度が強調されており、文字部と背景部との輝度差を拡大させた画像であるため、後段の２値化処理手段４６４は、２値化処理を正確に行うことが可能となる。
【００８９】
（第２実施形態）
次に、第２実施形態について説明を行う。第１実施形態において、文字認識処理装置４００は、図８に示すような３点の変局点を有する非線形輝度曲線を用いて輝度変換処理を行った。本実施形態において、文字認識処理装置４００は、プレート切り出し画像の輝度値に関する画像統計量に基づいて、非線形輝度曲線を動的に切り替えて輝度変換処理を行う。
本実施形態において、基本的な構成および動作方法は、第１実施形態と同じである。本実施形態において、第１実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３の非線形輝度変換手段４６３ａである。そのため、以下の説明においては、第１実施形態と違いを有する部分を中心に説明を行う。
【００９０】
［非線形輝度変換手段４６３ａの構成の説明］
まず、図１１を用いて、本実施形態における、非線形輝度変換手段４６３ａの構成の説明を行う。図１１は、本実施形態における、非線形輝度変換手段４６３ａの構成を示している。図１１に示す、非線形輝度変換手段４６３ａは、画像統計量算出手段４６３ａ−１と、変換曲線算出手段４６３ａ−２と、ＬＵＴ作成手段４６３ａ−３と、非線形輝度変換手段４６３ａ−４を備える。
【００９１】
まず、画像統計量算出手段４６３ａ−１の説明を行う。画像統計量算出手段４６３ａ−１は、プレート切り出し画像の１フレーム毎に、プレート切り出し画像内の全ての画素に関する画像統計量を算出する。画像統計量算出手段４６３ａ−１は、画像統計量として、プレート切り出し画像の１フレームにおける、輝度の平均値、輝度の標準偏差、輝度の最頻値を求める。平均値は、プレート切り出し画像の１フレーム内における、全画素の輝度の平均値である。標準偏差は、プレート切り出し画像の１フレーム内における、全画素の輝度の分散の度合である。最頻値は、プレート切り出し画像の１フレーム内における、全画素の輝度の内で、最も画素数の多い輝度値である。
【００９２】
次に、変換曲線算出手段４６３ａ−２の説明を行う。変換曲線算出手段４６３ａ−２は、画像統計量算出手段４６３ａ−１が、プレート切り出し画像の１フレーム毎に算出した、輝度の平均値（以下、Ａｖｅ）、輝度の標準偏差（以下、Ｓｔｄ）、輝度の最頻値（以下、Ｆｒｑ）に基づいて非線形輝度変換曲線を算出する。変換曲線算出手段４６３ａ−２は、非線形輝度変換曲線を次のとおり算出する。
【００９３】
Ａｖｅ ＞ Ｆｒｑ の場合
「２次曲線１」を以下の３点から算出：
（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）
「２次曲線２」を以下の３点から案出：
Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）
【００９４】
Ａｖｅ ≦ Ｆｒｑ の場合
「２次曲線１」を以下の３点から算出：
（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）
「２次曲線２」を以下の３点から算出：
Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）
【００９５】
変換曲線算出手段４６３ａ−２は、「２次曲線１」および「２次曲線２」を上述の３つの点からなる連立２次方程式によって算出する。変換曲線算出手段４６３ａ−２は、「２次曲線１」及び「２次曲線２」により非線形輝度変換曲線を計算する。
なお、Ｏｕｔ３からＯｕｔ８は、輝度変換処理後の出力輝度値である。また、ｋ（ｋ＝１，２，３…）は、標準偏差の係数であり、偏差を含める範囲を決定する。これらは、数多くのサンプルから得られる経験的な値に基づく。
【００９６】
次に、図１２から図１５を用いて、変換曲線算出手段４６３ａ−２が算出する非線形輝度曲線の例について説明する。
【００９７】
まず、図１２を用いて、画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合のプレート切り出し画像の例を説明する。図１２は、画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合のプレート切り出し画像の例を示している。画像統計量が「Ａｖｅ ＞ Ｆｒｑ」となる場合は、プレート切り出し画像の輝度は、全体的に輝度値が低く、黒っぽい画像となる。本来、プレート切り出し画像は、ナンバープレートの部分のみが切り出されていることが望ましい。しかし、通常、プレート切り出し画像は、ナンバープレートの周辺も含めて切り出される。「Ａｖｅ ＞ Ｆｒｑ」となる場合は、ナンバープレートが、黒系の車体を有する自動車１００につけられているような場合に想定される。１０ａは、白色文字部プレート５である。１０ｂは、ナンバープレートの周囲であり、例えば自動車１００の車体に相当する。この場合、１０ｂは、黒系の自動車１００の車体である。一方、１１ａは、黒色文字部プレートである。１１ｂは、ナンバープレートの周囲であり、例えば自動車１００の車体に相当する。１１ｂは、１０ｂと同様に、黒系の自動車１００の車体である。黒色文字部プレートは、背景部が白色（輝度が高い）であるが、ナンバープレート外（自動車１００の車体部分）の輝度が低いことから、「Ａｖｅ ＞ Ｆｒｑ」となる。
【００９８】
図１３を用いて、画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合の非線形輝度変換曲線を説明する。図１３は、画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合の非線形輝度変換曲線を示している。図１３の非線形輝度変換曲線は、Ａ（Ｉｎ３，Ｏｕｔ３），Ｂ（Ｉｎ４，Ｏｕｔ４），Ｃ（Ｉｎ５，Ｏｕｔ５）の、３つ変局点を有し（０，０）から（２５５，２５５）を結ぶ曲線である。それぞれの変局点は、３つの変局点と、
Ａ（Ｉｎ３，Ｏｕｔ３） ＝ （Ｆｒｑ，Ｏｕｔ３）
Ｂ（Ｉｎ４，Ｏｕｔ４） ＝ （Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）
Ｃ（Ｉｎ５，Ｏｕｔ５） ＝ （（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５）
のように対応している。画像統計量が、「Ａｖｅ ＞ Ｆｒｑ」となる場合は、フレーム切り出し画像内の輝度は、低域から中域に多く存在する。入力輝度の最頻値付近（変局点Ａ）からある程度の偏差を含んだ付近（変局点Ｂ）までの輝度差を拡大することによって、背景部と文字部との輝度差を拡大することができる。
【００９９】
次に、図１４を用いて、画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合のプレート切り出し画像の例を説明する。図１４は、画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合のプレート切り出し画像の例を示している。
画像統計量が「Ａｖｅ ≦ Ｆｒｑ」となる場合は、プレート切り出し画像の輝度は、全体的に輝度値が高く、白っぽい画像となる。本来、プレート切り出し画像は、ナンバープレートの部分のみが切り出されていることが望ましい。しかし、通常、プレート切り出し画像は、ナンバープレートの周辺も含めて切り出される。「Ａｖｅ ≦ Ｆｒｑ」となる場合は、ナンバープレートが、白系の車体を有する自動車１００につけられているような場合に想定される。１２ａは、白色文字部プレート５である。１２ｂは、ナンバープレートの周囲であり、例えば自動車１００の車体に相当する。この場合、１２ｂは、白系の自動車１００の車体である。一方、１３ａは、黒色文字部プレートである。１３ｂは、ナンバープレートの周囲であり、例えば自動車１００の車体に相当する。１３ｂは、１２ｂと同様に、白系の自動車１００の車体である。白色文字部プレートは、背景部が黒色（輝度が低い）であるが、ナンバープレート外（自動車１００の車体部分）の輝度が高いことから、「Ａｖｅ ≦ Ｆｒｑ」となる。
【０１００】
図１５を用いて、画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合の非線形輝度変換曲線を説明する。図１５は、画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合の非線形輝度変換曲線を示している。図１５の非線形輝度変換曲線は、Ｄ（Ｉｎ６，Ｏｕｔ６），Ｅ（Ｉｎ７，Ｏｕｔ７），Ｆ（Ｉｎ８，Ｏｕｔ８）の、３つ変局点を有して（０，０）から（２５５，２５５）を結ぶ曲線である。それぞれの変局点は、３つの変局点と、
Ｄ（Ｉｎ６，Ｏｕｔ６） ＝ （Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６）
Ｅ（Ｉｎ７，Ｏｕｔ７） ＝ （Ｆｒｑ，Ｏｕｔ７）
Ｆ（Ｉｎ８，Ｏｕｔ８） ＝ （（２５５＋Ｆｒｑ）／２，Ｏｕｔ８）
のように対応している。画像統計量が、「Ａｖｅ ≦ Ｆｒｑ」となる場合は、フレーム切り出し画像内の輝度は、中域から高域に多く存在する。入力輝度の最頻値からある程度の偏差を含んだ付近（変局点Ｄ）から最頻値付近（変局点Ｅ）までの輝度差を拡大することによって、背景部と文字部との輝度差を拡大することができる。
【０１０１】
以上のように、変換曲線算出手段４６３ａ−２は、プレート切り出し画像の画像統計量に基づいて非線形輝度変換曲線を算出する。
【０１０２】
次に、ＬＵＴ作成手段４６３ａ−３の説明を行う。ＬＵＴ作成手段４６３ａ−３は、変換曲線算出手段４６３ａ−２が算出した非線形輝度変換曲線に基づいてＬＵＴを作成する。ＬＵＴ作成手段４６３ａ−３は、作成したＬＵＴを記憶部４３０に記憶する。あるいは、ＬＵＴ作成手段４６３ａ−３が、作成したＬＵＴを記憶していてもよい。また、非線形輝度変換曲線に基づくＬＵＴの作成方法については、従来の技術であるので詳細な説明は省略する。
【０１０３】
次に、非線形輝度変換手段４６３ａ−４の説明を行う。非線形輝度変換手段４６３ａ−４は、ＬＵＴ作成手段４６３ａ−３が作成したＬＵＴを参照して、プレート切り出し画像のプレート切り出し画像の各画素に対して、輝度変換処理を行う。非線形輝度変換手段４６３ａ−４の行う輝度変換処理は、第１実施形態で説明した輝度変換処理と同様であるので、詳細な説明は省略する。
ただし、本実施形態においては、非線形輝度変換手段４６３ａ−４は、ＬＵＴ作成手段４６３ａ−３がプレート切り出し画像の１フレーム毎に作成したＬＵＴを使用して、当該プレート切り出し画像の輝度変換処理を行う。
【０１０４】
以上が、本実施形態における、非線形輝度変換手段４６３ａの構成の説明である。
【０１０５】
［非線形輝度変換手段４６３ａの動作方法の説明］
次に、図１６を用いて、本実施形態における、非線形輝度変換手段４６３ａの動作方法の説明を行う。図１６は、本実施形態における、非線形輝度変換手段４６３ａの動作フローを示している。
【０１０６】
（ステップＳ４２１）
画像統計量算出手段４６３ａ−１は、プレート切り出し手段４６２が出力する、プレート切り出し画像を入力する。
【０１０７】
（ステップＳ４２２）
画像統計量算出手段４６３ａ−１は、プレート切り出し画像の１フレーム毎に、プレート切り出し画像内の全ての画素に関する画像統計量を算出する。画像統計量算出手段４６３ａ−１は画像統計量として、プレート切り出し画像の１フレームにおける輝度の平均値、輝度の標準偏差、輝度の最頻値を算出する。画像統計量算出手段４６３ａ−１は、画像統計量を、変換曲線算出手段４６３ａ−２へ出力する。
【０１０８】
（ステップＳ４２３）
変換曲線算出手段４６３ａ−２は、画像統計量算出手段４６３ａ−１が出力する、画像統計量を入力する。変換曲線算出手段４６３ａ−２は、プレート切り出し画像の１フレーム毎の、輝度の平均値（Ａｖｅ）、輝度の標準偏差（Ｓｔｄ）、輝度の最頻値（Ｆｒｑ）に基づいて、非線形輝度変換曲線を算出する。変換曲線算出手段４６３ａ−２は、プレート切り出し画像の１フレーム毎に算出する非線形輝度変換曲線を、ＬＵＴ作成手段４６３ａ−３へ出力する。
【０１０９】
（ステップＳ４２４）
ＬＵＴ作成手段４６３ａ−３は、変換曲線算出手段４６３ａ−２が出力する、非線形輝度曲線を入力する。ＬＵＴ作成手段４６３ａ−３は、変換曲線算出手段４６３ａ−２が算出した非線形輝度変換曲線に基づいてＬＵＴを作成する。ＬＵＴ作成手段４６３ａ−３は、作成したＬＵＴを記憶部４３０に記憶する。あるいは、ＬＵＴ作成手段４６３ａ−３が、作成したＬＵＴを記憶していてもよい。
【０１１０】
（ステップＳ４２５）
非線形輝度変換手段４６３ａ−４は、プレート切り出し手段４６２が出力するプレート切り出し画像を入力する。非線形輝度変換手段４６３ａ−４は、ＬＵＴ作成手段４６３ａ−３が作成したＬＵＴを参照して、プレート切り出し画像の各画素に対して輝度変換処理を行う。本実施形態においては、非線形輝度変換手段４６３ａ−４は、ＬＵＴ作成手段４６３ａ−３がプレート切り出し画像の１フレーム毎に作成したＬＵＴを使用して、当該プレート切り出し画像の輝度変換処理を行う。非線形輝度変換手段４６３ａ−４は、輝度変換処理によって、輝度変換後プレート画像を得る。
【０１１１】
（ステップＳ４２６）
非線形輝度変換手段４６３ａ−４は、輝度変換後プレート画像を、帯域通過フィルタ４６３ｂへ出力する。
【０１１２】
以上が、本実施形態における、非線形輝度変換手段４６３ａの動作方法の説明である。
【０１１３】
以上が、第２実施形態の説明である。このように構成することによって、プレート切り出し画像の画像統計量に応じて、動的に非線形輝度変換曲線を算出することが可能となる。そのため、プレート切り出し画像に応じた非線形輝度変換処理を行うことが可能となる。
【０１１４】
（第３実施形態）
次に、第３実施形態について説明を行う。第３実施形態は、第１実施形態あるいは第２実施形態と組み合わせて実施する。第１実施形態及び第２実施形態では、輝度変換後画像に対して、帯域通過フィルタを用いて文字部抽出処理を行っている。この文字部抽出処理では、帯域通過フィルタのフィルタ幅（画素数）より小さい幅を有する部分を抽出する。しかし、文字部抽出処理においては、帯域通過フィルタの幅より小さい幅を有する部分を抽出するため、ノイズ部も同時に抽出してしまう。本実施形態では、この問題を解決するべく局所的輝度分散を抽出するフィルタを用いて、ノイズ部の影響を除去する。
本実施形態において、基本的な構成および動作方法は、第１実施形態あるいは第２実施形態を適用した場合と同じである。本実施形態において、第１実施形態あるいは第２実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３である。そのため、以下の説明においては、第１実施形態および第２実施形態と違いを有する部分を中心に説明を行う。
【０１１５】
［文字強調手段４６３の構成の説明］
まず、図１７を用いて、本実施形態における、文字強調手段４６３の構成の説明を行う。図１７は、本実施形態における、文字強調手段４６３の構成を示している。本実施形態において、文字強調手段４６３は、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重畳部４６３ｃと、局所的輝度分散に基づく重み算出処理手段（以下、本実施形態において重み算出手段）４６３ｄと、乗算部４６３ｅとを備える。
【０１１６】
なお、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂは、第１実施形態あるいは第２実施形態と同様の構成であるので、説明を省略する。
【０１１７】
まず、重み算出手段４６３ｄの説明を行う。重み算出手段４６３ｄは、輝度変換後プレート画像の各画素に対する重み付けを決定する重み付け決定処理を行う。重み算出手段４６３ｄは、輝度変換後プレート画像に局所的な輝度分散（局所的輝度分散）を算出するフィルタ（以下、分散算出フィルタ）を用いて、各画素の重み付けを決定する。重み算出手段４６３ｅは、重み付け決定処理を行うことで、重み付けデータを得る。
【０１１８】
分散算出フィルタは、重み付けを行う画素（以下、重み付け対象画素）を中心に、例えば、周辺の３×３画素における輝度値の分散を算出するフィルタである。重み算出手段４６３ｄは、分散算出フィルタによって算出された分散が小さければ、当該重み付け対象画素の重み付けを大きく決定する。一方、重み算出手段４６３は、分散算出フィルタによって算出された分散が大きければ、当該重み付け対象画素の重み付けを小さく決定する。図１８は、輝度変換後プレート画像内における、分散算出フィルタの適用例を示している。
【０１１９】
まず、符号１４は、背景部に存在するノイズ部に分散算出フィルタが適用されているこ
とを示している。符号１４が示す分散算出フィルタ内には、背景部の輝度を有する画素と、文字部と同等の輝度を有するノイズ部の画素が存在する。この場合、分散算出フィルタが算出するフィルタ内の輝度分散値は、大きくなる。そのため、重み算出手段４６３ｄは、重み付け対象画素の重み付けを小さく決定する。これによって、重み算出手段４６３ｄは、ノイズ部の画素の重み付けを小さく決定することが可能となる。
【０１２０】
次に、符号１５は、文字部に分散算出フィルタが適用されていることを示している。符号１５が示す分散算出フィルタ内には、文字部の輝度を有する画素しか存在しない。この場合、分散算出フィルタが算出するフィルタ内の輝度分散値は小さくなる。そのため、重み算出手段４６３ｄは、重み付け対象画素の重み付けを大きく決定する。これによって、重み算出手段４６３ｄは、文字部の画素の重み付けを大きく決定することが可能となる。
【０１２１】
さらに、符号１６は、文字部と背景部の境界に分散算出フィルタが適用されていることを示している。符号１６が示す分散算出フィルタ内には、文字部の輝度を有する画素と、背景部の輝度を有する画素とが存在する。この場合、分散算出フィルタが算出するフィルタ内の輝度分散値は、大きくなる。そのため、重み算出手段４６３ｄは、重み付け対象画素の重み付けを小さく決定する。これによって、重み算出手段４６３ｄは、文字部と背景部との境界付近の画素の重み付けを小さくすることが可能となる。
重み算出手段４６３ｄは、文字部と背景部との境界付近の画素の重み付けを小さくすることで、文字強調処理に伴い文字部が太くなることを防ぐことができる。文字部が太くなることによる影響は、後段の文字２値化処理での文字同士の境界が接してしまうことなどにより、文字認識処理での認識率の低下として現れる。重み算出手段４６３ｄは、分散算出フィルタを用いることで、文字部と背景部の境界付近の重み付けを低く決定し、文字部が太くなることを防ぐ。
【０１２２】
また、重み算出手段４６３ｄは、分散算出フィルタを用いることによって、文字がボケている場合にも同様の効果を得ることができる。
図１９は、輝度変換後プレート画像の文字部のボケ部分に対して、分散算出フィルタを適用した例を示している。図１９を参照すると、文字部がボケていることが確認できる。符号１７は、文字部がボケた部分に分散算出フィルタが適用されていることを示している。このような場合、文字部と背景部の境目が、ボケによって局所的に輝度の分散が小さくなっている。そのため、重み算出手段４６３ｄは、分散算出フィルタにより分散の値が小さく算出することで、ボケの部分の重み付け対象画素について、重み付けを大きく決定する恐れがある。
【０１２３】
このような問題に対しても、本実施形態では対応が可能である。本実施形態は、非線形輝度変換手段４６３ａが、輝度変換処理によって、文字部と背景部の輝度差を広げている。非線形輝度変換手段４６３ａの輝度変換処理は、ボケの部分についても、本来の文字部とボケの部分との輝度差を広げる効果がある。したがって、輝度変換後プレート画像において、分散フィルタは、ボケの部分であっても分散値を大きく算出する。そのため、重み算出手段４６３ｄは、ボケの部分の重み付け対象画素の重み付けを、小さく決定する。これによって、不要にボケの部分を強調することを回避し、文字部が太くなることを防ぐことができる。このように、重み算出手段４６３ｄの重み付け決定処理は、非線形輝度変換手段４６３ａの輝度変換処理と組み合わせることによって、より大きな効果を得る。
【０１２４】
なお、重み算出手段４６３ｄは、分散フィルタが算出する分散の大小に対応して、分散が小さいときには重み付けを大きく、分散が大きくなるにつれて重み付けを小さくして、一定以上分散が大きくなった場合は重み付けを無しとしても良い。また、具体的な重み付けの値は、多数のサンプルに基づいて算出されるもとして限定はしない。例えば、後段の処理において、文字部と背景部との輝度差が２５６階調（８ビット）で３２階調ほど必要である場合、重畳量の最大値が３２となるように重みをつけるといった例が考えられる。
また、分散フィルタのサイズは、「３×３フィルタ」としているが、「５×５フィルタ」でも「９×９フィルタ」でもかまわない。これらは、ノイズ部の大きさ等を考慮して決定すべき事項であり、特に限定はしない。
【０１２５】
次に、乗算部４６３ｅの説明を行う。乗算部４６３ｅは、帯域通過フィルタが出力する文字部抽出画像の各画素へ、重み算出手段４６３ｄが決定した重み付けデータを乗算する重み付け処理をおこなう。重み算出手段４６３ｄは、ノイズ部を小さく、文字部を大きく、重み付けを決定している。乗算部４６３ｅが、文字部抽出画像へ重み付け処理を行うことで、文字部とノイズ部との輝度差が拡大する。乗算部４６３ｅは、重み付け処理を行うことによって、重み付け後文字部抽出画像を得る。
【０１２６】
次に、重畳部４６３ｃの説明を行う。重畳部４６３ｃは、重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。本実施形態において、重畳部４６３ｃは、乗算部４６３ｅが重み付けを乗算した重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。重畳部４６３ｃは、重畳処理によって、文字強調画像を得る。
【０１２７】
以上、本実施形態における、文字強調手段４６３の構成の説明である。
【０１２８】
［文字強調手段４６３の動作方法の説明］
次に、図２０を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図２０は、本実施形態における、文字強調手段４６３の動作フローを示している。本説明においては、第１実施形態と第２実施形態と違いを有する部分に特化して説明を行う。
【０１２９】
（ステップＳ４３１）
重み算出手段４６３ｄは、非線形輝度変換手段４６３ａが出力した、輝度変換後プレート画像を入力する。
【０１３０】
（ステップＳ４３２）
重み算出手段４６３ｄは、輝度変換後プレート画像の各画素に対して、分散算出フィルタを適用することによって重み付けを決定する重み付け決定処理を行う。重み算出手段４６３ｅｄは、重み付け決定処理によって、重み付けデータを得る。重み算出手段４６３ｄは、重み付けデータを、乗算部４６３ｅへ出力する。
【０１３１】
（ステップＳ４３３）
乗算部４６３ｅは、重み算出手段４６３ｄが出力した、重み付けデータを入力する。また、乗算部４６３ｅは、帯域通過フィルタ手段４６３ｂが出力した、文字部抽出画像を入力する。乗算部４６３ｅは、文字部抽出画像の各画素に対して、重み付けデータに基づく重み付けを乗算する。乗算部４６３ｅは、重み付け処理を行うことで、重み付け後文字部抽出画像を得る。乗算部４６３ｅは、重み付け処理の完了した重み付け後文字部抽出画像を、重畳部４６３ｃへ出力する。
【０１３２】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【０１３３】
以上が、第３実施形態の説明である。重み算出手段４６３ｄが、輝度変換後プレート画像の各画素に分散算出フィルタを適用することにより、各画素に対する重み付けを決定する。乗算部４６３ｅは、重み付けデータに基づく重み付けを、帯域フィルタ手段４６３ｂが出力した文字部抽出画像の各画素へ与える。文字部抽出画像に含まれるノイズ部は、重み付け処理によって重み付けが小さくなる。一方、文字部抽出画像に含まれる文字部は、重み付け処理によって重み付けが大きくなる。そのため、重畳部４６３ｃが、文字部抽出画像をプレート切り出し画像へ重畳する際に、文字部とノイズ部との輝度差を拡大することができる。これによって、後段の処理におけるノイズ部の影響を排除することが可能となる。
【０１３４】
（第４実施形態）
次に、第４実施形態について説明を行う。第４実施形態は、第３実施形態における重み付けの決定方法を、変更した実施形態である。第３実施形態では、局所輝度分散に基づく重み算出処理手段４６３ｄが、分散算出フィルタを用いて算出した分散値に基づいて重み付けを決定した。本実施形態では、輝度変換後プレート画像の各画素の輝度に基づいて重み付けを決定する。
本実施形態において、基本的な構成および動作方法は、第３実施形態を適用した場合と同じである。本実施形態において、第３実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３である。そのため、以下の説明においては、第３実施形態と違いを有する部分を中心に説明を行う。
【０１３５】
［文字強調手段４６３の構成の説明］
まず、図２１を用いて、本実施形態における、文字強調手段４６３の構成の説明を行う。図２１は、本実施形態における、文字強調手段４６３の構成を示している。本実施形態において、文字強調手段４６３は、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重畳部４６３ｃと、画素の輝度値に基づく重み算出処理手段（以下、本実施形態において画素重み算出手段）４６３ｆと、乗算部４６３ｅとを備える。
【０１３６】
なお、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂは、第１実施形態あるいは第２実施形態と同様の構成であるので、説明を省略する。
【０１３７】
まず、画素重み算出手段４６３ｆの説明を行う。画素重み算出手段４６３ｆは、輝度変換後プレート画像の各画素の輝度値に基づいて重み付けを決定する画素重み付け決定処理を行う。画素重み算出手段４６３ｆは、輝度変換後プレート画像において、文字部と思われる特定の範囲の輝度を有する画素に対して重み付けを大きく決定する。一方、画素重み算出手段４６３ｆは、輝度変換後プレート画像において、文字部と思われる特定の範囲以外の輝度を有する画素に対しては、重み付けを行わない。このようにして、画素重み算出手段４６３ｆは、文字部と思われる輝度を有する画素に対してのみ重み付けを行うことによって、後段の重畳処理における文字部と背景部との輝度差を拡大する。
【０１３８】
ここで、文字部の輝度は、白色文字部プレートと黒色文字部プレートとによって大きく異なる。そのため、画素重み算出手段４６３ｆは、輝度変換後プレート画像の１フレーム毎に、画像全体の画像統計量を算出する。画素重み算出手段４６３ｆは、画像統計量に基づいて、入力した輝度変換後プレート画像が白色文字部プレートか黒色文字部プレートかを判定する。
【０１３９】
図２２および図２３は、画素重み算出手段４６３ｆが、重み付けに使用する重み付け関数を示している。いずれのグラフにおいても、横軸は入力輝度、縦軸は重みである。
【０１４０】
まず、図２２は、黒色文字部プレートに対して重み付けを決定するための重み付け関数
を示している。図２２を参照すると、この重み付け関数を用いた場合、低域の入力輝度に対してのみ重み付けを与えていることが確認できる。黒色文字部プレートは、文字部が低輝度であるため、低域の入力輝度に対してのみ重み付けを与えている。これによって、画素重み算出手段４６３ｆは、黒色文字部プレートにおける文字部に重み付けを行うことができる。なお、図２２に示す重み付け関数の最大値αを含む、具体的な重み付けの値は、多数のサンプルに基づいて算出されるもとして限定はしない。例えば、後段の処理において、文字部と背景部との輝度差が２５６階調（８ビット）で３２階調ほど必要である場合、重畳量の最大値が３２となるように重みをつけるといった例が考えられる。
【０１４１】
次に、図２３は、白色文字部プレートに対して重み付けを決定するための重み付け関数を示している。図２３を参照すると、この関数を用いた場合、低域の入力輝度に対してのみ重み付けを与えていることが確認できる。白色文字部プレートは、文字部が高輝度であるため、高域の入力輝度に対してのみ重み付けを与えている。これによって、画素重み算出手段４６３ｆは、白色文字部プレートにおける文字部に重み付けを行うことができる。なお、図２３に示す重み付け関数の最大値αを含む、具体的な重み付けの値は、多数のサンプルに基づいて算出されるもとして限定はしない。例えば、後段の処理において、文字部と背景部との輝度差が２５６階調（８ビット）で３２階調ほど必要である場合、重畳量の最大値が３２となるように重みをつけるといった例が考えられる。
【０１４２】
画素重み算出手段４６３ｆは、輝度変換後プレート画像を入力すると、画像統計量を算出し、ナンバープレートが白色文字部プレートか黒色文字部プレートかに応じて、図２２および図２３に示す重み付け関数を使い分け、輝度変換後プレート画像の１画素毎に画素重み付け決定処理を行う。画素重み算出手段４６３ｆは、画素重み付け決定処理を行うことによって画素重み付けデータを得る。なお、重み付け関数は、輝度変換のＬＵＴのように、入力輝度に対して一対一に重みが決定できるテーブルが予め作成されていてもよい。その場合は、画素重み算出手段４６３ｆは、輝度変換後プレート画像のナンバープレートが、黒色文字部プレートか白色文字部プレートかによって、参照するテーブルを切り替えて画素重み付け処理を行う。
【０１４３】
次に、乗算部４６３ｅの説明を行う。乗算部４６３ｅは、帯域通過フィルタが出力する文字部抽出画像の各画素へ、画素重み算出手段４６３ｆが決定した画素重み付けデータを乗算する画素重み付け処理をおこなう。画素重み算出手段４６３ｆは、ノイズ部を小さく、文字部を大きく、重み付けを決定している。乗算部４６３ｅが、文字部抽出画像へ画素重み付け処理を行うことで、文字部とノイズ部との輝度差が拡大する。乗算部４６３ｅは、画素重み付け処理を行うことによって、画素重み付け後文字部抽出画像を得る。
【０１４４】
次に、重畳部４６３ｃの説明を行う。重畳部４６３ｃは、画素重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。本実施形態において、重畳部４６３ｃは、乗算部４６３ｅが重み付けを乗算した画素重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。重畳部４６３ｃは、重畳処理によって、文字強調画像を得る。
【０１４５】
以上が、本実施形態における、文字強調手段４６３の構成の説明である。
【０１４６】
［文字強調手段４６３の動作方法の説明］
次に、図２４を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図２４は、本実施形態における、文字強調手段４６３の動作フローを示している。本説明においては、第３実施形態と違いを有する部分に特化して説明を行う。
【０１４７】
（ステップＳ４３４）
画素重み算出手段４６３ｆは、非線形輝度変換手段４６３ａが出力した、輝度変換後プレート画像を入力する。
【０１４８】
（ステップＳ４３５）
画素重み算出手段４６３ｆは、輝度変換後プレート画像の１フレーム毎に、画像全体の画像統計量を算出する。
【０１４９】
（ステップＳ４３６）
画素重み算出手段４６３ｆは、画像統計量に基づいて、入力した輝度変換後プレート画像が白色文字部プレートか黒色文字部プレートかを判定する。画素重み算出手段４６３ｆは、判定結果に基づいて、重み付け関数を選択する。
【０１５０】
（ステップＳ４３７）
画素重み算出手段４６３ｆは、選択した重み付け関数を用いて、輝度変換後プレート画像の１画素毎に画素重み付け決定処理を行う。画素重み算出手段４６３ｆは、画素重み付け決定処理によって、画素重み付けデータを得る。画素重み算出手段４６３ｆは、画素重み付けデータを、乗算部４６３ｅへ出力する。
【０１５１】
（ステップＳ４３８）
乗算部４６３ｅは、画素重み算出手段４６３ｆが出力した、画素重み付けデータを入力する。また、乗算部４６３ｅは、帯域通過フィルタ４６３ｂが出力した、文字部抽出画像を入力する。乗算部４６３ｅは、文字部抽出画像の各画素に対して、画素重み付けデータに基づく画素重み付け乗算処理を行う。乗算部４６３ｅは、画素重み付け乗算処理によって、画素重み付け後文字部抽出画像を得る。
【０１５２】
（ステップＳ４３９）
乗算部４６３ｅは、重み付け処理の完了した画素重み付け後文字部抽出画像を、重畳部４６３ｃへ出力する。本実施形態において、重畳部４６３ｃは、乗算部４６３ｅが重み付けを乗算した画素重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。
【０１５３】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【０１５４】
以上が、第４実施形態の説明である。画素重み算出手段４６３ｆは、輝度変換後プレート画像に写るナンバープレートが、白色文字部プレートか黒色文字部プレートかに応じて、重み付け関数を選択する。画素重み算出手段４６３ｆは、選択した重み付け関数を用いて、輝度変換後プレート画像の１画素毎に重み付けを行う。このようにすることで、画素重み算出手段４６３ｆは、各画素の輝度値に基づいて重み付けを行うことができるので、重み付け処理の処理速度を向上させることが可能となる。
【０１５５】
（第５実施形態）
次に、第５実施形態について説明を行う。第５実施形態は、第１から第４実施形態までのいずれかと組み合わせて実施する。本実施形態では、プレート切り出し画像からエッジ抽出を行い、文字部抽出画像（または、重み付け後文字部抽出画像、画素重み付け後文字部抽出画像を含む。）からエッジ部を減算して、プレート切り出し画像へ重畳する。これにより、第１から第４実施形態の文字強調手段４６３によって、文字部と同様に強調されてしまった文字のボケ部を除去して、本来の文字部の幅のみを抽出してプレート切り出し画像へ重畳することができる。
本実施形態において、構成および動作方法は、第１から第４実施形態を適用することが可能である。第１から第４実施形態の実施形態と組み合わせて構成する場合、第１から第４実施形態と同様の構成を有する部分は、第１から第４実施形態において説明を行った構成及び動作方法と同じである。本実施形態において、第１から第４実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３である。そのため、以下の説明においては、第１から第４実施形態と違いを有する部分を中心に説明を行う。
【０１５６】
［文字強調手段４６３の構成の説明］
まず、図２５を用いて、本実施形態における、文字強調手段４６３の構成の説明を行う。図２５は、本実施形態における、文字強調手段４６３の構成を示している。本実施形態において、文字強調手段４６３は、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重畳部４６３ｃと、局所的輝度分散に基づく重み算出処理手段（以下、本実施形態において重み算出手段）４６３ｄと、乗算部４６３ｅと、エッジ抽出処理手段４６３ｇと、判定処理手段４６３ｈと、重み付け手段４６３ｉと、減算部４６３ｊを備える。なお、重み算出手段４６３ｄは、第４実施形態において説明した、画素の輝度値に基づく重み算出処理手段４６３ｆに置き換わっても実現可能である。
【０１５７】
なお、非線形輝度変換手段４６３ａと、帯域通過フィルタ手段４６３ｂと、重み算出手段４６３ｄと、乗算部４６３ｅとは、第３実施形態と同様の構成であるので、説明を省略する。
【０１５８】
まず、エッジ抽出処理手段４６３ｇの説明を行う。エッジ抽出処理手段４６３ｇは、プレート切り出し画像から、エッジ抽出フィルタを用いて、エッジ抽出処理を行う。エッジ抽出処理手段４６３ｇは、１次微分フィルタであるＳｏｂｅｌフィルタや、２次微分フィルタであるラプラシアンフィルタ等を用いてエッジ抽出処理を行う。エッジ抽出処理手段４６３ｇが、Ｓｏｂｅｌフィルタやラプラシアンフィルタ等を用いて行う、エッジ抽出処理は公知技術であるので詳細な説明は省略する。なお、エッジ抽出処理手段４６３ｇが、用いるエッジ抽出フィルタはこれらに限定しない。エッジ抽出処理手段４６３ｇは、エッジ抽出処理を行うことによって、エッジデータを得る。
【０１５９】
次に、判定処理手段４６３ｈの説明を行う。判定処理手段４６３ｈは、エッジデータに基づいて、文字部抽出画像（または、重み付け後文字部抽出画像、画素重み付け後文字部抽出画像を含む。以下、本実施形態において、特に明示がない場合は、乗算部４６３ｅが出力する画像をまとめて文字部抽出画像と表記する。）からエッジ部を減算するか否かを判定する。文字部抽出画像からエッジ部を減算する場合に、条件を考慮することなく減算を行うと、もともとボケのないシャープな画像においてもエッジ部を減算することとなり、文字部が細くなる恐れがある。そこで、エッジデータに基づくエッジ強度に応じて、エッジ部を減算するか否かの判定処理を行う。判定処理手段４６３ｈは、判定処理を行うことによって、エッジ減算判定結果を得る。
【０１６０】
判定処理手段４６３ｈは、エッジ強度を「Ｅ」として、次のような判定を行う。
（１） ０ ≦ Ｅ ≦ Ｔｈ１ ：エッジ部を減算しないと判定
（２）Ｔｈ１ ≦ Ｅ ≦ Ｔｈ２ ：エッジ部を減算すると判定
（３）Ｔｈ２ ≦ Ｅ ≦ ２５５ ：エッジ部を減算しないと判定
なお、Ｔｈ１，Ｔｈ２については、多数の画像から統計的に算出される固定パラメータを用いる。
【０１６１】
（１）の場合にエッジ部の減算を行わないと判定するのは、画像の品質等において輝度に一定のばらつきがあることを考慮したものである。また、（３）の場合にエッジ部の減算を行わないと判定するのは、急激な輝度の変化であるため、文字部のエッジにボケがない画像であると考えられるからである。また、（１）の最小値が「０」となっており、（３）の最大値「２５５」となっているが、エッジ抽出処理手段４６３ｇが使用するエッジ抽出フィルタによっては、これらを超えてしまう場合があることを留意する必要がある。その場合も、判定処理手段４６３ｈは、Ｔｈ１、Ｔｈ２の値を使用して判定を行うことで、問題なく判定が行える。
【０１６２】
次に、重み付け手段４６３ｉの説明を行う。重み付け手段４６３ｉは、判定処理手段４６３ｈによってエッジ部を減算すると判定された場合、エッジデータのエッジ強度に重み付け係数を乗算して重み付け処理を行う。重み付け手段４６３ｉが、エッジデータのエッジ強度へ乗算する重み付け係数は、多数の画像から統計的に算出される固定パラメータを用いるため、具体的な値は特に限定しない。重み付け手段４６３ｉは、重み付け処理を行うことによって、重み付けエッジデータを得る。
【０１６３】
次に、減算部４６３ｊの説明を行う。減算部４６３ｊは、文字部抽出画像から重み付けエッジデータを減算するエッジ減算処理を行う。減算部４６３ｊのエッジ減算処理により、文字部抽出画像に存在する文字部は、本来の文字部の幅として抽出される。減算部４６３ｊは、エッジ減算処理を行うことで、エッジ減算文字部抽出画像を得る。
【０１６４】
次に、重畳部４６３ｃの説明を行う。重畳部４６３ｃは、エッジ減算文字部抽出画像を、プレート切り出し画像へ重畳する。
【０１６５】
ここで、図２６Ａから図２６Ｄを用いて、エッジ減算処理を説明する。
まず、図２６Ａは、プレート切り出し画像における文字部の拡大図である。図２６Ａにおいて、文字「Ｌ」に対する輝度水平断面Ｚ−Ｚ’を取り、この断面を例にして説明を行う。図２６Ａを参照すると、輝度水平断面Ｚ−Ｚ’に沿って輝度値に変化があることが確認できる。図２６Ａのプレート切り出し画像では、文字部と背景部との境目においてボケが発生している。
【０１６６】
次に、図２６Ｂは、輝度水平断面Ｚ−Ｚ’の水平座標と輝度値の関係とを表したグラフである。図２６Ｂのグラフは、横軸に水平座標を取り、縦軸に輝度値を取る。図２６Ｂのグラフにおいて、説明を簡易に行うために、背景部の輝度は「０」としている。符号１８は、輝度水平断面Ｚ−Ｚ’における本来の文字部の幅（以下、文字部幅１８）である。符号２０は、本来の文字部の輝度（以下、文字部分輝度２０）である。また、符号１９は、文字部のボケ部分の輝度（ボケ部分輝度１９）である。
【０１６７】
次に、図２６Ｃは、非線形輝度変換手段４６３ａによる輝度変換処理と、帯域通過フィルタ手段４６３ｂによる文字部抽出処理を行った後の、文字部抽出画像における輝度水平断面Ｚ−Ｚ’を表している。文字部輝度２０とボケ部分輝度１９が共に、輝度変換処理と文字部抽出処理によって強調されて、輝度値が増していることが確認できる。
【０１６８】
次に、図２６Ｄは、重畳部４６３Ｃが文字部抽出画像へエッジ減算処理を行わずにプレート切り出し画像へ重畳した場合の、輝度水平断面Ｚ−Ｚ’を表している。輝度水平断面Ｚ−Ｚ’は、エッジ減算処理を行っていないため文字部輝度２０とボケ部分１９の双方が強調されている。この状態の輝度水平断面Ｚ−Ｚ’において、低めの輝度値を閾値として文字２値化処理を行うとすると、文字部の幅は、ボケ部分１９によって拡大（文字を太く）してしまう。このような、文字部の幅の拡大は、他の文字部との接触を招き、後段の文字認識処理における認識率の低下につながる。
【０１６９】
次に、図２６Ｅは、プレート切り出し画像に対して、エッジ抽出フィルタを適用してエッジ抽出を行った後の輝度水平断面Ｚ−Ｚ’を表している。符号２１は、エッジ抽出処理手段４６３ｇのエッジ抽出処理によって、輝度水平断面Ｚ−Ｚ’に検出されたエッジ部である。エッジ部２１は、文字部幅１８の両側に検出される。エッジ部２１の有する輝度が、エッジ強度（Ｅ）となる。本実施形態では、判定処理手段４６３ｈの判定処理によって、エッジ強度Ｅが、定められた閾値Ｔｈ１とＴｈ２との間の値であると判定された場合に、文字部抽出画像に対してエッジ減算処理を行う。説明の簡易のために、図２６Ｅのエッジ部のエッジ強度は、「Ｔｈ１≦Ｅ≦Ｔｈ２」であるとする。
【０１７０】
次に、図２６Ｆは、文字抽出画像に対してエッジ減算処理を行った後のエッジ減算文字部抽出画像をあらわしている。重み付け手段４６３ｉは、図２６Ｅで抽出されたエッジ強度に重み付け係数を乗算し、適正な強度へ重み付けを行う。その上で、減算部４６３ｊが、文字抽出画像に対してエッジ減算処理を行う。図２６Ｆを参照すると、輝度水平断面Ｚ−Ｚ’には、エッジ減算処理によって、本来文字幅１８の文字部輝度２０のみが抽出されていることが確認できる。
このように、エッジ抽出処理手段４６３ｇがエッジ抽出し、判定処理手段４６３ｈがエッジ強度を判定し、重み付け手段４６３ｉがエッジ強度へ重み付けを行って、減算部４６３ｊが文字部抽出画像からエッジ減算処理を行うことで、図２６Ｆに示すように、文字部輝度２０のみを抽出することが可能となる。
【０１７１】
以上が、本実施形態における、文字強調手段４６３の構成の説明である。
【０１７２】
［文字強調手段４６３の動作方法の説明］
次に、図２７を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図２７は、本実施形態における、文字強調手段４６３の動作フローを示している。本説明においては、第１から第４実施形態と違いを有する部分に特化して説明を行う。
【０１７３】
（ステップＳ４６１）
エッジ抽出処理手段４６３ｇは、プレート切り出し手段４６２が出力したプレート切り出し画像を入力する。
【０１７４】
（ステップＳ４６２）
エッジ抽出処理手段４６３ｇは、エッジ抽出フィルタを用いてエッジ抽出処理を行い、プレート切り出し画像からエッジ部を抽出する。エッジ抽出処理手段４６３ｇは、エッジ抽出処理によって、エッジデータを得る。エッジ抽出処理手段４６３ｇは、エッジデータを判定処理手段４６３ｈへ出力する。
【０１７５】
（ステップＳ４６３）
判定処理手段４６３ｈはエッジ抽出処理手段４６３ｇの出力したエッジデータを入力する。判定処理手段４６３ｈは、エッジデータに対して、判定処理を行う。判定処理手段４６３ｈは、エッジ強度を「Ｅ」として、「Ｔｈ１ ≦ Ｅ ≦ Ｔｈ２」であるかを判定する。なお、Ｔｈ１，Ｔｈ２については、多数の画像から統計的に算出される固定パラメータを用いる。「Ｔｈ１ ≦ Ｅ ≦ Ｔｈ２」である場合には、判定処理手段４６３ｈは、エッジ部を減算するとの判定結果を得る。この場合は、判定処理手段４６３ｈは、判定結果とエッジデータを重み付け手段４６３ｉへ出力する。この後、ステップＳ４６４へ進む。
一方、「Ｔｈ１ ≦ Ｅ ≦ Ｔｈ２」でない場合には、判定処理手段４６３ｈは、エッジ部を減算しないとの判定結果を得る。この場合は、減算部４６３ｊは、エッジ減算処理を行わない。そのため、減算部４６３ｊは、乗算部４６３ｅが抽出する文字部抽出画像を、特に処理を行うことなく重畳部４６３ｃへ出力する。このように、判定処理手段４６３ｈがエッジ部を減算しないとの判定を行った場合、重畳部４６３ｃは、文字部抽出画像を、そのままプレート切り出し画像へ重畳する。この場合、本動作方法は終了となる。
【０１７６】
（ステップＳ４６４）
重み付け手段４６３ｉは、判定処理部４６３ｈからエッジ部を減算するとの判定結果とエッジデータを入力する。重み付け手段４６３ｉは、エッジデータのエッジ強度に重み付け係数を乗算して重み付け処理を行う。重み付け手段４６３ｉは、重み付け処理を行うことによって、重み付けエッジデータを得る。重み付け手段４６３ｉは、重み付けエッジデータを減算部４６３ｊへ出力する。
【０１７７】
（ステップＳ４６５）
減算部４６３ｊは、重み付け手段４６３ｉが出力した、重み付けエッジデータを入力する。また、減算部４６３ｊは、乗算部４６３ｅが出力する文字部抽出画像を入力する。減算部４６３ｊは、文字部抽出画像から重み付けエッジデータを減算する減算処理を行う。減算部４６３ｊは、減算処理を行うことによって、エッジ減算文字部抽出画像を得る。減算部４６３ｊは、エッジ減算文字部抽出画像を重畳部４６３ｃへ出力する。このように、判定処理手段４６３ｈがエッジ部を減算するとの判定を行った場合、重畳部４６３ｃは、エッジ減算文字部抽出画像をプレート切り出し画像へ重畳する。
【０１７８】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【０１７９】
以上が、第５実施形態の説明である。エッジ抽出処理手段４６３ｇが、プレート切り出し画像からエッジ抽出処理によってエッジ部を抽出する。判定処理部４６３ｈは、エッジ部のエッジ強度によってエッジ減算処理を行うか否かを判定する。重み付け手段４６３ｉは、エッジ部の重み付けを調整して、減算部４６３ｊは、文字部抽出画像からエッジ部を減算する。このように構成することによって、本来の文字部の幅のみが抽出されたエッジ減算文字部抽出画像を得ることができる。そのため、重畳部４６３ｃが、エッジ減算文字部抽出画像をプレート切り出し画像へ重畳しても、プレート切り出し画像においては、本来の文字部のみが強調され、ボケ強調による文字部の拡大を防ぐことが可能となる。これによって、後段の文字認識処理における文字認識率の低下を避けることができる。
【０１８０】
（第６実施形態）
次に、第６実施形態について説明を行う。第１から第５実施形態では、それぞれ異なる構成の文字強調手段４６３によって、一連の文字強調処理を行うことを説明した。本実施形態では、第１から第５実施形態における文字強調手段４６３の構成を複数備える。それぞれ構成において異なるパラメータを用い、文字強調処理を行って得られた重畳量を比較し、最も重畳量が多い文字強調処理結果をプレート切り出し画像へ重畳する。
本実施形態において、構成および動作方法は、第１から第５実施形態を複数組み合わせることによって実現する。各々実施形態の構成と同様の部分に関しては、構成及び動作方法は同じである。本実施形態において、第１から第５実施形態と構成および動作方法が異なるのは、文字強調処理手段４６３である。以下の説明においては、第１から第５実施形態と違いを有する部分を中心に説明を行う。
【０１８１】
［文字強調手段４６３の構成の説明］
まず、図２８を用いて、本実施形態における、文字強調手段４６３の構成の説明を行う。図２８は、本実施形態における、文字強調手段４６３の構成を示している。本実施形態では、第１実施形態から第５実施形態までに説明を行った文字強調手段４６３の内部構成を複数備える。図２８を参照すると、本実施形態における文字強調手段４６３は、第３実施形態において説明を行った構成を複数備えていることが確認できる。以下の説明においては、説明の簡易上、このような構成における説明にとどめるが、これはその他の実施形態において説明を行った構成を複数備えるように置き換えてもかまわない。また、異なる実施形態の構成を組み合わせて構成を行ってもかまわない。
【０１８２】
図２８示す本実施形態における、文字強調手段４６３は、非線形輝度変換４６３ａと、非線形輝度変換４６３ａ’と、帯域通過フィルタ手段４６３ｂと、帯域通過フィルタ手段４６３ｂ’と、重畳部４６３ｃと、局所的輝度分散に基づく重み算出処理手段４６３ｄと、局所的輝度分散に基づく重み算出処理手段４６３ｄ’と、乗算部４６３ｅと、乗算部４６３ｅ’と、重畳量判定処理手段４６３ｋとを備える。
【０１８３】
なお、非線形輝度変換４６３ａと、帯域通過フィルタ手段４６３ｂと、局所的輝度分散に基づく重み算出処理手段４６３ｄと、乗算部４６３ｅとによる構成（以下、本実施形態において構成１）は、第３実施形態において説明を行った構成と同様である。非線形輝度変換４６３ａ’と、帯域通過フィルタ手段４６３ｂ’と、局所的輝度分散に基づく重み算出処理手段４６３ｄ’と、乗算部４６３ｅ’とによる構成（以下、本実施形態において構成２）も、第３実施形態において説明を行った構成と同様である。そのため、これらの構成１及び構成２に関する詳細な説明は省略する。なお、構成１及び構成２は、非線形輝度変換手段４６３ａと非線形輝度変換手段４６３ａ’において用いるパラメータが異なるとして以下の説明を行う。なお、このパラメータは、非線形輝度変換手段４６３ａと非線形輝度変換手段４６３ａ’とにおいて異なるのみに限定しない。第１実施形態から第５実施形態まで説明において、設定される各種のパラメータを異なるように設定することが可能である。
【０１８４】
まず、重畳量判定処理手段４６３ｋの説明を行う。重畳量判定処理手段４６３ｋは、構成１および構成２から出力される重み付け後文字部抽出画像の１フレーム毎に、重畳量を比較して重畳量の多い結果を持つ、重み付け後文字部抽出画像を選択する。
ここで、重畳量が多いとは、重み付け後文字部抽出画像の１フレームにおける輝度の平均値が高いことを示す。重畳量判定処理手段４６３ｋは、重み付け後文字部抽出画像の１フレーム毎に輝度の平均値を算出して、輝度の平均値が高い画像を選択する。重み付け後文字部抽出画像は、文字部のみが抽出された画像であり、１フレームにおける輝度の平均値が高いということは、プレート切り出し画像の文字部に重畳される輝度値が多いことを意味する。
また、重畳量判定処理手段４６３ｋは、重み付け後文字部中抽出画像の１フレームにおける輝度分散が高い画像を選択しても良い。この場合、重畳量判定処理手段４６３ｋは、重み付け後文字部抽出画像の１フレーム毎に輝度の分散を算出して、輝度の分散が高い画像を選択する。
なお、重畳量判定処理手段４６３ｋは、構成１及び構成２の二つの出力に基づいて判定を行っているが、比較する出力数はこれに限定しない。文字強調手段４６４が、より多く文字強調処理のための構成を有数場合には、それらのそれぞれ出力に基づいて判定処理を行ってもかまわない。
【０１８５】
次に、重畳部４６３ｃの説明を行う。重畳部４６３ｃは、重畳量判定処理手段４６３ｋが選択した、重み付け後文字部抽出画像を、プレート切り出し画像へ重畳する。
【０１８６】
以上が、本実施例における、文字強調手段４６３の構成の説明である。
【０１８７】
［文字強調手段４６３の動作方法の説明］
次に、図２９を用いて、本実施形態における、文字強調手段４６３の動作方法の説明を行う。図２９は、本実施形態における、文字強調手段４６３の動作フローを示している。本説明においては、第１から第５実施形態と違いを有する部分に特化して説明を行う。
【０１８８】
（ステップＳ４７１）
重畳量判定処理手段４６３ｋは、構成１及び構成２が出力した、重み付け後文字部抽出画像を入力する。
【０１８９】
（ステップＳ４７２）
重畳量判定処理手段４６３ｋは、重み付け後文字部抽出画像の１フレーム毎に画像統計量（輝度の平均値、あるいは輝度の分散）を算出する。重畳量判定処理手段４６３ｋは、画像統計量に基づいて重畳量を比較し、重畳量の多い結果を持つ重み付け後文字部抽出画像を選択する。重畳量判定処理手段４６３ｋは、選択した重み付け後文字部抽出画像を重畳部４６３ｃへ出力する。
【０１９０】
（ステップＳ４７３）
重畳部４６３ｃは、重畳量判定処理部４６３ｋが出力した、重み付け後文字部抽出画像を入力する。重畳部４６３ｃは、重畳量判定処理部４６３ｋ選択した重み付け後文字部抽出画像を、プレート切り出し画像へ重畳する。重畳部４６３ｃは、重畳処理によって文字強調画像を得る。
【０１９１】
（ステップＳ４７４）
重畳部４６３ｃは、文字強調画像を後段の、文字２値化手段４６４へ出力する。
【０１９２】
以上が、本実施形態における、文字強調手段４６３の動作方法の説明である。
【０１９３】
以上が、第６実施形態の説明である。重畳量判定処理手段４６３ｋは、複数の構成によって、それぞれ文字強調処理が行われた画像を入力して、そのうちから最も重畳量が多い結果を有する画像を選択する。重畳部４６３ｃは、重畳量判定処理手段４６３ｋが選択した画像をプレート切り出し画像へ重畳する。このように構成することによって、複数のパラメータを用いて文字強調処理を行った結果から最も重畳量の多い結果を選択することが可能となる。一連の文字強調処理において使用するパラメータは、プレート切り出し画像毎に適正な値が変化するものと考えられる。いくつかのパラメータを用いて文字強調処理を行うことによって、フレーム毎に異なるプレート切り出し画像に対する適正なパラメータを選択することが可能となる。
【０１９４】
これまで説明を行ってきたように、本発明の文字認識処理装置によれば、
第１実施形態では、非線形輝度変換手段４６３ａが、図９に示したような、３つの変局点からなる非線形変換曲線を用いて輝度変換処理を行う。これによって撮像されたナンバープレートが、白色文字部プレートであっても黒色文字部プレートであっても効果的に、文字部と背景部の輝度差を拡大できる。また、帯域通過フィルタ手段４６３ｂは、輝度変換後プレート画像に対して、帯域通過フィルタを適用することで、文字部のみを抽出した文字部抽出画像を得る。重畳部４６３ｃは、輝度変換処理によって輝度を寄り高められ、文字抽出処理によって文字部のみを抽出した文字部抽出画像を、プレート切り出し画像へ重畳する。このように構成することによって、プレート切り出し画像の文字部と背景部との輝度差を拡大することが可能となる。
【０１９５】
第２実施形態では、画像統計量算出手段４６３ａ−１がプレート切り出し画像の画像統計量を算出する。変換曲線算出手段４６３ａ−２は、画像統計量に基づいて、非線形変換曲線を算出する。ＬＵＴ作成手段４６３ａ−３は、非線形変換曲線に基づいてＬＵＴを作成する。非線形輝度変換手段４６３ａ−４は、作成されたＬＵＴに基づいて輝度変換処理を行う。このように構成することによって、プレート切り出し画像の画像統計量に応じて、動的に非線形輝度変換曲線を算出することが可能となる。そのため、プレート切り出し画像毎に適した非線形輝度変換処理に基づく輝度変換処理を行うことが可能となる。
【０１９６】
第３実施形態では、局所的輝度分散に基づく重み算出処理手段４６３ｄが、輝度変換後プレート画像に分散算出フィルタを適用することにより、輝度変換後プレート画像の各画素とその周辺の画素との輝度分散を算出する。局所的輝度分散に基づく重み算出処理手段４６３ｄは、輝度分散に基づいて当該画素に対する重み付けを決定する。局所的輝度分散に基づく重み算出処理手段４６３ｄは、分散の大きい（ノイズ部）画素へは、重み付けを小さく決定する。一方、局所的輝度分散に基づく重み算出処理手段４６３ｄは、分散の小さい（文字部）画素へは、重み付けを大きく決定する。乗算部４６３ｅは、各画素に対する重み付けを、帯域フィルタ手段４６３ｂが出力する文字部抽出画像の各画素へ乗算する。重畳部４６３ｃは、重み付け後文字部抽出画像をプレート切り出し画像へ重畳する。このように構成を行うことによって、文字強調画像は、重み付け後文字部抽出画像を重畳されると、文字部とノイズ部との輝度差を拡大する。
【０１９７】
第４実施形態では、画素重み算出手段４６３ｆは、輝度変換後プレート画像の画像統計量を算出する。画素重み算出手段４６３ｆは、画像統計量に基づいて、輝度変換後プレート画像が、白色文字部プレートか黒色文字部プレートかを判定する。画素重み算出手段４６３ｆは、判定結果に基づいて重み付け関数を選択する。画素重み算出手段４６３ｆは、輝度変換後プレート画像の１画素毎を選択して、文字部と同等の輝度を有する画素の場合には、重み付け関数に基づいて重み付け処理を行う。乗算部４６３ｅは、重み付け処理後の画素重み付けデータを、文字部抽出画像へ乗算する。このように構成することで、輝度変換後プレート画像の各画素の輝度値に基づいて重み付け処理を行うことができる。そのため、重み付け処理の処理速度を向上させることが可能となる。
【０１９８】
第５実施形態では、エッジ抽出処理手段４６３ｇが、プレート切り出し画像からエッジ抽出処理によってエッジ部を抽出する。判定処理部４６３ｈは、エッジ部のエッジ強度によってエッジ減算処理を行うか否かを判定する。重み付け手段４６３ｉは、エッジ部の重み付けを調整して、減算部４６３ｊは、文字部抽出画像からエッジ部を減算する。このように構成することによって、本来の文字部の幅のみが抽出されたエッジ減算文字部抽出画像を得ることができる。そのため、重畳部４６３ｃが、エッジ減算文字部抽出画像をプレート切り出し画像へ重畳しても、プレート切り出し画像においては、本来の文字部のみが強調され、ボケ強調による文字部の拡大を防ぐことが可能となる。これによって、後段の文字認識処理における文字認識率の低下を避けることができる。
【０１９９】
第６実施形態では、重畳量判定処理手段４６３ｋは、複数の構成によりそれぞれ文字強調処理が行われた画像を入力し、そのうちから最も重畳量が多い結果を有する画像を選択する。重畳部４６３ｃは、重畳量判定処理手段４６３ｋが選択した画像をプレート切り出し画像へ重畳する。このように構成することによって、複数のパラメータを用いて文字強調処理を行った結果から最も重畳量の多い結果を選択することが可能となる。一連の文字強調処理において使用するパラメータは、プレート切り出し画像毎に適正な値が変化するものと考えられる。いくつかのパラメータを用いて文字強調処理を行うことによって、フレーム毎に異なるプレート切り出し画像に対する適正なパラメータを選択することが可能となる。
【０２００】
以上のように、各実施形態で説明を行った文字強調処理を行うことで、低品質の撮像装置を用いて、低パワーの照明の下で画像取得を行った場合でも、画像のコントラストを改善することが可能となり、正確な文字認識処理を行うことが可能となるのである。
なお、各実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更を加えることができる。また、各実施形態を組み合わせて実現することも可能であるのは、各実施形態において述べたとおりである。
【図面の簡単な説明】
【０２０１】
【図１】低コントラスト画像と高コントラスト画像の例を示した図である。
【図２】自動車ナンバー自動読取システムの構成を示す図である。
【図３】文字認識処理装置の構成を示した図である。
【図４】文字認識処理装置の動作フローである。
【図５】第１実施形態における文字強調処理手段の構成を示す図である。
【図６】第１実施形態における非線形輝度変換曲線の例を示した図である。
【図７】ナンバープレートにおける文字部と背景部との輝度パターンと、非線形輝度変換曲線の特性との関係について表した表である。
【図８】第１実施形態における非線形輝度変換曲線の例を示した図である。
【図９】帯域通過フィルタ手段の文字部抽出処理のイメージ図である。
【図１０】第１実施形態における文字強調手段の動作フローである。
【図１１】第２実施形態における非線形輝度変換手段の構成を示す図である。
【図１２】画像統計量が「Ａｖｅ＞Ｆｒｑ」となる場合のプレート切り出し画像の例を示す図である。
【図１３】画像統計量が「Ａｖｅ＞Ｆｒｑ」となる場合の非線形輝度変換曲線を示した図である。
【図１４】画像統計量が「Ａｖｅ≦Ｆｒｑ」となる場合のプレート切り出し画像の例を示す図である。
【図１５】画像統計量が「Ａｖｅ≦Ｆｒｑ」となる場合の非線形輝度変換曲線を示した図である。
【図１６】第２実施形態における非線形輝度変換手段の動作フローである。
【図１７】第３実施形態における文字強調手段の構成を示す図である。
【図１８】画像内での分散算出フィルタの適用例を示す図である。
【図１９】画像内のボケ部に分散算出フィルタを適用した例を示す図である。
【図２０】第３実施形態における文字強調手段の動作フローである。
【図２１】第４実施形態における文字強調手段の構成を示す図である。
【図２２】第４実施形態における黒色文字部プレートに対する重み付け関数を示す図である。
【図２３】第４実施形態における白色文字部プレートに対する重み付け関数を示す図である。
【図２４】第４実施形態における文字強調手段の動作フローである。
【図２５】第５実施形態における文字強調手段の構成を示す図である。
【図２６Ａ】プレート切り出し画像における文字部の拡大図である。
【図２６Ｂ】プレート切り出し画像における輝度水平断面Ｚ−Ｚ’の輝度値を表したグラフである。
【図２６Ｃ】文字部抽出画像における輝度水平断面Ｚ−Ｚ’を表したグラフである。
【図２６Ｄ】文字部抽出画像にエッジ減算処理を行わずにプレート切り出し画像へ重畳した場合の輝度水平断面Ｚ−Ｚ’を表したグラフである。
【図２６Ｅ】プレート切り出し画像に対してエッジ抽出を行った後の輝度水平断面Ｚ−Ｚ’を表したグラフである。
【図２６Ｆ】エッジ減算文字部抽出画像の輝度水平断面Ｚ−Ｚ’を表したグラフである。
【図２７】第５実施形態における文字強調手段の動作フローである。
【図２８】第６実施形態における文字強調手段の構成を示す図である。
【図２９】第６実施形態における文字強調手段動作フローである。
【符号の説明】
【０２０２】
１ 低コントラスト画像
２ 高コントラスト画像
３ 帯域通過フィルタ
４ 帯域通過フィルタ
５ 白色文字部プレート
６ 黒色文字部プレート
７ 低域拡大変換曲線
８ 高域拡大変換曲線
９ 高次輝度変換曲線
１０ａ 黒系車体に設置した白色文字部プレートのプレート部
１０ｂ 白色文字部プレートが設置された黒系車体の車体部
１１ａ 黒系車体に設置した黒色文字部プレートのプレート部
１１ｂ 黒色文字部プレートが設置された黒系車体の車体部
１２ａ 白系車体に設置した白色文字部プレートのプレート部
１２ｂ 白色文字部プレートが設置された白系車体の車体部
１３ａ 白系車体に設置した黒色文字部プレートのプレート部
１３ｂ 黒色文字部プレートが設置された白系車体の車体部
１４ ノイズ部に適用した分散算出フィルタ
１５ 文字部に適用した分散算出フィルタ
１６ 文字部と背景部との境界に適用した分散算出フィルタ
１７ 文字部のボケ部分に適用した分散算出フィルタ
１８ 本来の文字部の文字幅
１９ 文字部のボケ部分の輝度
２０ 文字部の輝度
２１ エッジ部分の輝度
１００ 自動車
２００ 照明装置
３００ 撮像装置
４００ 文字認識装置
４１０ 入力部
４２０ 出力部
４３０ 記憶部
４４０ 画像入力ＩＦ
４５０ 通信部
４６０ 処理部
４６１ 画像入力手段
４６２ プレート切り出し手段
４６３ 文字強調手段
４６３ａ 非線形輝度変換手段
４６３ａ’ 非線形輝度変換手段
４６３ａ−１ 画像統計量算出手段
４６３ａ−２ 変換曲線算出手段
４６３ａ−３ ＬＵＴ作成手段
４６３ａ−４ 非線形輝度変換手段
４６３ｂ 帯域通過フィルタ手段
４６３ｂ’ 帯域通過フィルタ手段
４６３ｃ 重畳部
４６３ｄ 局所的輝度分散に基づく重み算出処理手段
４６３ｄ’ 局所的輝度分散に基づく重み算出処理手段
４６３ｅ 乗算部
４６３ｅ’ 乗算部
４６３ｆ 画素の輝度値に基づく重み算出処理手段
４６３ｇ エッジ抽出処理手段
４６３ｈ 判定処理手段
４６３ｉ 重み付け手段
４６３ｊ 減算部
４６３ｋ 重畳量判定処理手段
４６４ 文字２値化手段
４６５ 文字認識手段
４６６ 認識結果出力手段
５００ 不正車両データ管理サーバ
【特許請求の範囲】
【請求項１】
抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換手段と、
前記輝度変換後入力画像から、帯域通過フィルタを用いて前記文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタ手段と、
前記文字部抽出画像を、前記入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳部と、
前記文字強調画像に基づいて文字認識処理を行う文字認識処理手段と、
を備える文字認識処理装置。
【請求項２】
請求項１に記載の文字認識処理装置であって、
前記非線形輝度変換手段は、３点の変局点を含む非線形輝度変換曲線を用いて前記輝度変換処理を行う
文字認識処理装置。
【請求項３】
請求項１または請求項２に記載の文字認識処理装置であって、
前記入力画像の１フレーム毎の画像統計量を算出する画像統計量算出手段と、
前記画像統計量に基づいて、前記入力画像の前記輝度変換処理に使用する算出非線形輝度変換曲線を算出する変換曲線算出手段とをさらに備え、
前記非線形輝度変換手段は、前記算出非線形輝度変換曲線に基づいて前記輝度変換処理を行う
文字認識処理装置。
【請求項４】
請求項３に記載の文字認識処理装置であって、
前記画像統計量算出手段の算出する画像統計量は、前記入力画像の１フレーム毎の全画素における、輝度の平均値、輝度の標準偏差、輝度の最頻値である
文字認識処理装置。
【請求項５】
請求項４に記載の文字認識処理装置であって、
前記変換曲線算出手段は、輝度の平均値をＡｖｅ、輝度の標準偏差をＳｔｄ、輝度の最頻値をＦｒｑとして、
「Ａｖｅ ＞ Ｆｒｑ」である場合は、
（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）の３点から算出する２次曲線１と、
Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）の３点から算出する２次曲線２と
に基づいて前記算出非線形輝度変換曲線を算出し、
「Ａｖｅ ≦ Ｆｒｑ」である場合は、
（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）の３点から算出する２次曲線１と、
Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）の３点から算出する２次曲線２と
に基づいて前記算出非線形輝度曲線を算出する
文字認識処理装置。
【請求項６】
請求項１から請求項５までのいずれかに記載の文字認識処理装置であって、
前記輝度変換後入力画像の内の対象画素毎に、前記対象画素から定められた範囲に含まれる画素の輝度分散を算出して、前記輝度分散に基づいて前記対象画素に対する重みを決定する重み算出手段と、
前記文字部抽出画像の各画素へ前記重みを乗算する乗算部と
をさらに備える文字認識処理装置。
【請求項７】
請求項１から請求項５までのいずれかに記載の文字認識処理装置であって、
前記輝度変換後入力画像のフレーム毎の変換後画像統計量を算出し、前記変換後画像統計量に基づいて重み付け関数選択して、前記重み付け関数を用いて前記輝度変換後入力画像の各画素に対して重み付けを決定する画素重み付け算出手段と、
前記文字部抽出画像の各画素へ前記重み付けを乗算する乗算部と
をさらに備える文字認識処理装置。
【請求項８】
請求項１から請求項７までのいずれかに記載の文字認識処理装置であって、
エッジ抽出フィルタを用いて前記入力画像からエッジ部を抽出するエッジ抽出手段と、
前記エッジ部のエッジ強度に基づいて、前記エッジ部を前記文字部抽出画像から減算処理を行うかを判定する判定処理手段と、
前記判定処理手段が前記減算処理を行うと判定した場合に、前記エッジ強度を調整して調整後エッジ強度を算出する重み付け手段と
前記文字部抽出画像から前記調整後エッジ強度の減算処理を行う減算部と
をさらに備える文字認識処理装置。
【請求項９】
請求項１から請求項８までのいずれかに記載の文字認識処理装置であって、
それぞれ異なるパラメータ有する複数の構成によって生成された前記文字部抽出画像を複数入力して、前記複数の文字部抽出画像のうちで、最も輝度重畳量が多い選択文字部抽出画像を決定する重畳量判定処理手段をさらに備え、
前記重畳部は、前記選択文字部抽出画像を前記入力画像へ重畳する重畳処理を行う
文字認識処理装置。
【請求項１０】
抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換ステップと、
前記輝度変換後入力画像から、帯域通過フィルタを用いて前記文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタステップと、
前記文字部抽出画像を、前記入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳ステップと、
前記文字強調画像に基づいて文字認識処理を行う文字認識処理ステップと
を備える文字認識処理方法。
【請求項１１】
請求項１０に記載の文字認識処理方法であって、前記非線形輝度変換ステップは、
３点の変局点を含む非線形輝度変換曲線を用いて前記輝度変換処理を行うステップ
を含む文字認識処理方法。
【請求項１２】
請求項１０または請求項１１に記載の文字認識処理方法であって、
前記入力画像の１フレーム毎の画像統計量を算出する画像統計量算出ステップと、
前記画像統計量に基づいて、前記入力画像の前記輝度変換処理に使用する算出非線形輝度変換曲線を算出する変換曲線算出ステップとをさらに備え、
前記非線形輝度変換ステップは、
前記算出非線形輝度変換曲線に基づいて前記輝度変換処理を行うステップ
を含む文字認識処理方法。
【請求項１３】
請求項１２に記載の文字認識処理方法であって、前記画像統計量算出ステップは、
画像統計量として、前記入力画像の１フレーム毎の全画素における、輝度の平均値、輝度の標準偏差、輝度の最頻値を算出するステップ
を含む文字認識処理方法。
【請求項１４】
請求項１３に記載の文字認識処理方法であって、前記変換曲線算出ステップは、
輝度の平均値をＡｖｅ、輝度の標準偏差をＳｔｄ、輝度の最頻値をＦｒｑとして、
「Ａｖｅ ＞ Ｆｒｑ」である場合は、
（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）の３点から算出する２次曲線１と、
Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）の３点から算出する２次曲線２と
に基づいて前記算出非線形輝度変換曲線を算出し、
「Ａｖｅ ≦ Ｆｒｑ」である場合は、
（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）の３点から算出する２次曲線１と、
Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）の３点から算出する２次曲線２と
に基づいて前記算出非線形輝度曲線を算出するステップ
を含む文字認識処理方法。
【請求項１５】
請求項１０から請求項１４までのいずれかに記載の文字認識処理方法であって、
前記輝度変換後入力画像の内の対象画素毎に、前記対象画素から定められた範囲に含まれる画素の輝度分散を算出して、前記輝度分散に基づいて前記対象画素に対する重みを決定する重み算出ステップと、
前記文字部抽出画像の各画素へ前記重みを乗算する乗算ステップと
をさらに備える文字認識処理方法。
【請求項１６】
請求項１０から請求項１４までのいずれかに記載の文字認識処理方法であって、
前記輝度変換後入力画像のフレーム毎の変換後画像統計量を算出し、前記変換後画像統計量に基づいて重み付け関数選択して、前記重み付け関数を用いて前記輝度変換後入力画像の各画素に対して重み付けを決定する画素重み付け算出ステップと、
前記文字部抽出画像の各画素へ前記重み付けを乗算する乗算ステップと
をさらに備える文字認識処理方法。
【請求項１７】
請求項１０から請求項１６までのいずれかに記載の文字認識処理方法であって、
エッジ抽出フィルタを用いて前記入力画像からエッジ部を抽出するエッジ抽出ステップと、
前記エッジ部のエッジ強度に基づいて、前記エッジ部を前記文字部抽出画像から減算処理を行うかを判定する判定処理ステップと、
前記減算処理を行うと判定した場合に、前記エッジ強度を調整して調整後エッジ強度を算出する重み付けステップと、
前記文字部抽出画像から前記調整後エッジ強度の減算処理を行う減算ステップと
をさらに備える文字認識処理方法。
【請求項１８】
請求項１０から請求項１７までのいずれかに記載の文字認識処理方法であって、
それぞれ異なるパラメータ有する複数の構成によって生成された前記文字部抽出画像を複数入力して、前記複数の文字部抽出画像のうちで、最も輝度重畳量が多い選択文字部抽
出画像を決定する重畳量判定処理ステップをさらに備え、
前記重畳ステップは、
前記選択文字部抽出画像を前記入力画像へ重畳する重畳処理を行う
文字認識処理方法。
【請求項１９】
請求項１０から請求項１８までのいずれかに記載の文字認識処理方法をコンピュータによって実現するプログラム。
【請求項１】
抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換手段と、
前記輝度変換後入力画像から、帯域通過フィルタを用いて前記文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタ手段と、
前記文字部抽出画像を、前記入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳部と、
前記文字強調画像に基づいて文字認識処理を行う文字認識処理手段と、
を備える文字認識処理装置。
【請求項２】
請求項１に記載の文字認識処理装置であって、
前記非線形輝度変換手段は、３点の変局点を含む非線形輝度変換曲線を用いて前記輝度変換処理を行う
文字認識処理装置。
【請求項３】
請求項１または請求項２に記載の文字認識処理装置であって、
前記入力画像の１フレーム毎の画像統計量を算出する画像統計量算出手段と、
前記画像統計量に基づいて、前記入力画像の前記輝度変換処理に使用する算出非線形輝度変換曲線を算出する変換曲線算出手段とをさらに備え、
前記非線形輝度変換手段は、前記算出非線形輝度変換曲線に基づいて前記輝度変換処理を行う
文字認識処理装置。
【請求項４】
請求項３に記載の文字認識処理装置であって、
前記画像統計量算出手段の算出する画像統計量は、前記入力画像の１フレーム毎の全画素における、輝度の平均値、輝度の標準偏差、輝度の最頻値である
文字認識処理装置。
【請求項５】
請求項４に記載の文字認識処理装置であって、
前記変換曲線算出手段は、輝度の平均値をＡｖｅ、輝度の標準偏差をＳｔｄ、輝度の最頻値をＦｒｑとして、
「Ａｖｅ ＞ Ｆｒｑ」である場合は、
（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）の３点から算出する２次曲線１と、
Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）の３点から算出する２次曲線２と
に基づいて前記算出非線形輝度変換曲線を算出し、
「Ａｖｅ ≦ Ｆｒｑ」である場合は、
（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）の３点から算出する２次曲線１と、
Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）の３点から算出する２次曲線２と
に基づいて前記算出非線形輝度曲線を算出する
文字認識処理装置。
【請求項６】
請求項１から請求項５までのいずれかに記載の文字認識処理装置であって、
前記輝度変換後入力画像の内の対象画素毎に、前記対象画素から定められた範囲に含まれる画素の輝度分散を算出して、前記輝度分散に基づいて前記対象画素に対する重みを決定する重み算出手段と、
前記文字部抽出画像の各画素へ前記重みを乗算する乗算部と
をさらに備える文字認識処理装置。
【請求項７】
請求項１から請求項５までのいずれかに記載の文字認識処理装置であって、
前記輝度変換後入力画像のフレーム毎の変換後画像統計量を算出し、前記変換後画像統計量に基づいて重み付け関数選択して、前記重み付け関数を用いて前記輝度変換後入力画像の各画素に対して重み付けを決定する画素重み付け算出手段と、
前記文字部抽出画像の各画素へ前記重み付けを乗算する乗算部と
をさらに備える文字認識処理装置。
【請求項８】
請求項１から請求項７までのいずれかに記載の文字認識処理装置であって、
エッジ抽出フィルタを用いて前記入力画像からエッジ部を抽出するエッジ抽出手段と、
前記エッジ部のエッジ強度に基づいて、前記エッジ部を前記文字部抽出画像から減算処理を行うかを判定する判定処理手段と、
前記判定処理手段が前記減算処理を行うと判定した場合に、前記エッジ強度を調整して調整後エッジ強度を算出する重み付け手段と
前記文字部抽出画像から前記調整後エッジ強度の減算処理を行う減算部と
をさらに備える文字認識処理装置。
【請求項９】
請求項１から請求項８までのいずれかに記載の文字認識処理装置であって、
それぞれ異なるパラメータ有する複数の構成によって生成された前記文字部抽出画像を複数入力して、前記複数の文字部抽出画像のうちで、最も輝度重畳量が多い選択文字部抽出画像を決定する重畳量判定処理手段をさらに備え、
前記重畳部は、前記選択文字部抽出画像を前記入力画像へ重畳する重畳処理を行う
文字認識処理装置。
【請求項１０】
抽出するべき文字を含む入力画像において、各画素の輝度を非線形輝度変換曲線に基づいて輝度変換処理を行い輝度変換後入力画像を生成する非線形輝度変換ステップと、
前記輝度変換後入力画像から、帯域通過フィルタを用いて前記文字の抽出処理を行い文字部抽出画像を生成する帯域通過フィルタステップと、
前記文字部抽出画像を、前記入力画像へ重畳する重畳処理を行って文字強調画像を生成する重畳ステップと、
前記文字強調画像に基づいて文字認識処理を行う文字認識処理ステップと
を備える文字認識処理方法。
【請求項１１】
請求項１０に記載の文字認識処理方法であって、前記非線形輝度変換ステップは、
３点の変局点を含む非線形輝度変換曲線を用いて前記輝度変換処理を行うステップ
を含む文字認識処理方法。
【請求項１２】
請求項１０または請求項１１に記載の文字認識処理方法であって、
前記入力画像の１フレーム毎の画像統計量を算出する画像統計量算出ステップと、
前記画像統計量に基づいて、前記入力画像の前記輝度変換処理に使用する算出非線形輝度変換曲線を算出する変換曲線算出ステップとをさらに備え、
前記非線形輝度変換ステップは、
前記算出非線形輝度変換曲線に基づいて前記輝度変換処理を行うステップ
を含む文字認識処理方法。
【請求項１３】
請求項１２に記載の文字認識処理方法であって、前記画像統計量算出ステップは、
画像統計量として、前記入力画像の１フレーム毎の全画素における、輝度の平均値、輝度の標準偏差、輝度の最頻値を算出するステップ
を含む文字認識処理方法。
【請求項１４】
請求項１３に記載の文字認識処理方法であって、前記変換曲線算出ステップは、
輝度の平均値をＡｖｅ、輝度の標準偏差をＳｔｄ、輝度の最頻値をＦｒｑとして、
「Ａｖｅ ＞ Ｆｒｑ」である場合は、
（０，０），Ａ（Ｆｒｑ，Ｏｕｔ３），Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４）の３点から算出する２次曲線１と、
Ｂ（Ｆｒｑ＋ｋ×Ｓｔｄ，Ｏｕｔ４），Ｃ（（２５５＋Ｆｒｑ＋ｋ×Ｓｔｄ）／２，Ｏｕｔ５），（２５５，２５５）の３点から算出する２次曲線２と
に基づいて前記算出非線形輝度変換曲線を算出し、
「Ａｖｅ ≦ Ｆｒｑ」である場合は、
（０，０），Ｄ（Ｆｒｑ−ｋ×Ｓｔｄ，Ｏｕｔ６），Ｅ（Ｆｒｑ，Ｏｕｔ７）の３点から算出する２次曲線１と、
Ｄ（Ｆｒｑ，Ｏｕｔ７），Ｅ（（２５５＋Ｆｒｑ）／２，Ｏｕｔ８），（２５５，２５５）の３点から算出する２次曲線２と
に基づいて前記算出非線形輝度曲線を算出するステップ
を含む文字認識処理方法。
【請求項１５】
請求項１０から請求項１４までのいずれかに記載の文字認識処理方法であって、
前記輝度変換後入力画像の内の対象画素毎に、前記対象画素から定められた範囲に含まれる画素の輝度分散を算出して、前記輝度分散に基づいて前記対象画素に対する重みを決定する重み算出ステップと、
前記文字部抽出画像の各画素へ前記重みを乗算する乗算ステップと
をさらに備える文字認識処理方法。
【請求項１６】
請求項１０から請求項１４までのいずれかに記載の文字認識処理方法であって、
前記輝度変換後入力画像のフレーム毎の変換後画像統計量を算出し、前記変換後画像統計量に基づいて重み付け関数選択して、前記重み付け関数を用いて前記輝度変換後入力画像の各画素に対して重み付けを決定する画素重み付け算出ステップと、
前記文字部抽出画像の各画素へ前記重み付けを乗算する乗算ステップと
をさらに備える文字認識処理方法。
【請求項１７】
請求項１０から請求項１６までのいずれかに記載の文字認識処理方法であって、
エッジ抽出フィルタを用いて前記入力画像からエッジ部を抽出するエッジ抽出ステップと、
前記エッジ部のエッジ強度に基づいて、前記エッジ部を前記文字部抽出画像から減算処理を行うかを判定する判定処理ステップと、
前記減算処理を行うと判定した場合に、前記エッジ強度を調整して調整後エッジ強度を算出する重み付けステップと、
前記文字部抽出画像から前記調整後エッジ強度の減算処理を行う減算ステップと
をさらに備える文字認識処理方法。
【請求項１８】
請求項１０から請求項１７までのいずれかに記載の文字認識処理方法であって、
それぞれ異なるパラメータ有する複数の構成によって生成された前記文字部抽出画像を複数入力して、前記複数の文字部抽出画像のうちで、最も輝度重畳量が多い選択文字部抽
出画像を決定する重畳量判定処理ステップをさらに備え、
前記重畳ステップは、
前記選択文字部抽出画像を前記入力画像へ重畳する重畳処理を行う
文字認識処理方法。
【請求項１９】
請求項１０から請求項１８までのいずれかに記載の文字認識処理方法をコンピュータによって実現するプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６Ａ】
【図２６Ｂ】
【図２６Ｃ】
【図２６Ｄ】
【図２６Ｅ】
【図２６Ｆ】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６Ａ】
【図２６Ｂ】
【図２６Ｃ】
【図２６Ｄ】
【図２６Ｅ】
【図２６Ｆ】
【図２７】
【図２８】
【図２９】
【公開番号】特開２００９−１９９５６２（Ｐ２００９−１９９５６２Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−４３６４３（Ｐ２００８−４３６４３）
【出願日】平成２０年２月２５日（２００８．２．２５）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２５日（２００８．２．２５）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]