ナンバプレート読取装置およびナンバプレート読取方法

【課題】文字画像の解像度不足や文字が不鮮明であっても、その影響を低減してナンバプレート読取精度の向上が図れるナンバプレート読取装置を提供する。
【解決手段】車両が検知されると、撮像手段から得られるフレーム画像からナンバプレート内の解像度の高い文字のみを認識し、車両速度検出手段により検出された車両速度に基づき、車両が検知されてから当該車両のナンバプレートと撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適となる距離になるまで当該車両が移動する時間を推定し、この推定された時間経過時、その前後フレーム近傍の複数フレームの画像を撮像手段から得られるフレーム画像から抽出し、この抽出された複数のフレーム画像を用いて当該ナンバプレート内の解像度の低い文字画像に対して高精細化処理を行ない、この高精細化された解像度の低い文字画像に対してのみ認識処理を行ない、この解像度の低い文字に対する認識結果と上記解像度の高い文字に対する認識結果とを統合する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、有料道路を走行する車両に対しノンストップで利用料金の収受処理を自動的に行なうＥＴＣ（ＥＴＣ：登録商標）システムと称される料金収受システムにおいて、料金所の料金収受車線（道路）を走行する車両のナンバプレートを撮像し、得られる画像を処理することによりナンバプレート上の文字を読取るナンバプレート読取装置およびナンバプレート読取方法に関する。
【背景技術】
【０００２】
たとえば、高速道路等の有料道路の料金所において、料金収受車線側に設置された路側無線装置と、車両側に設置された料金支払い用のＥＴＣカード（ＩＣカード）が装着された車載器との間で、料金収受車線上に設置されたアンテナ装置を介して無線による通信を行なうことで、車両をノンストップで利用料金の収受処理を自動的に行なうＥＴＣシステム（ノンストップ自動料金収受システム）と称される料金収受システムが実用化されている。
【０００３】
最近、このような料金収受システムにおいては、不正通行防止、速度違反取締り、通行時間計測等のニーズが高まっており、走行する車両から得られる車載器の車両情報と道路側に設置されたカメラからの車両画像情報とを照合する方法が数多く提案されている。たとえば、カメラにより得られた車両画像中のナンバプレートから、車種（大板・中板・小板）、一連指定番号、陸運支局名、分類番号、平仮名などの情報を読取り、車両を特定し、この画像から読取ったナンバプレートの情報が車載器の情報と異なる場合は、その履歴を保存したりオペレータに提示したりするなどして、不正通行防止に役立てることなどが行なわれている。
【０００４】
このようなナンバプレートの読取りに用いられるのがナンバプレート読取装置である。一般的に、この種のナンバプレート読取装置は、カメラにより車両を撮像して得られるフレーム画像（車両画像）から画像処理によりナンバプレートの候補を抽出し、この抽出したナンバプレート候補に対して文字の切出しや文字認識を行なっている（たとえば、特許文献１参照）。
【０００５】
しかし、たとえば、車両の通行履歴情報を保存する目的で、カメラにより車両を撮像して得られるフレーム画像からナンバプレート内の文字を読取るためには、文字読取りに必要な解像度が確保されている必要があり、移動する車両の位置に応じて適切にフレーム画像を選択する必要がある。このような問題に対し従来、カメラから得られる各フレーム画像ごとに文字認識処理を施し、認識できた認識結果を全て統合処理する方法（たとえば、非特許文献１参照）が公知である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３５７２８７号公報
【非特許文献】
【０００７】
【非特許文献１】中尾ほか“低解像度カメラ対応車両番号認識システムの開発”三菱重工技報ｖｏｌ．４５ＮＯ．３２００８
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来は、上記したように車両通行シーンの複数のフレーム画像に対し、各フレーム画像ごとに独立に文字認識処理を行ない、各認識結果を統合する手法が提案されていたが、この手法は一見、ナンバプレートが写る車両について全て認識処理を施すことにより、仮にベストショット位置（最適読取位置）で読取りを失敗しても、その前後の近傍フレーム画像で成功する望みは残されており、結果として読取りが成功する確率は増えるように思える。しかし、ベストショット位置のフレーム画像について解像度等が不足している場合においては、成功する確率はそれほど期待できないという問題がある。
【０００９】
そこで、本発明は、文字画像の解像度不足や文字が不鮮明であっても、その影響を低減してナンバプレート読取精度の向上が図れるナンバプレート読取装置およびナンバプレート読取方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のナンバプレート読取装置は、道路を走行する車両の前方から少なくともナンバプレートを含む画像を所定のフレーム周期で撮像する撮像手段と、この撮像手段の視野内に車両が進入したことを検知する車両検知手段と、この車両検知手段により車両が検知されると、前記撮像手段により撮像されたフレーム画像から前記ナンバプレート内の解像度の高い文字のみを認識する第１の認識手段と、前記撮像手段の視野内に進入した車両の走行速度を検出する車両速度検出手段と、この車両速度検出手段により検出された車両速度に基づき、前記車両検知手段により車両が検知されてから、当該車両のナンバプレートと前記撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適となる距離になるまで当該車両が移動する時間を推定する車両移動時間推定手段と、この車両移動時間推定手段により推定された時間経過時、その前後フレーム近傍の複数フレームの画像を最適フレーム画像として前記撮像手段により撮像されたフレーム画像から抽出する最適フレーム画像抽出手段と、この最適フレーム画像抽出手段により抽出された複数の最適フレーム画像により前記ナンバプレートの位置を検出するナンバプレート位置検出手段と、このナンバプレート位置検出手段により検出されたナンバプレートの位置に基づき、前記最適フレーム画像抽出手段により抽出された複数の最適フレーム画像内のナンバプレートの画質を判定する画質判定手段と、この画質判定手段により画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なう高精細化手段と、この高精細化手段により高精細化された解像度の低い文字画像に対してのみ認識処理を行なう第２の認識手段と、この第２の認識手段の認識結果と前記第１の認識手段の認識結果とを統合する認識結果統合手段とを具備している。
【００１１】
また、本発明のナンバプレート読取方法は、道路を走行する車両の前方から少なくともナンバプレートを含む画像を撮像手段により所定のフレーム周期で撮像する第１のステップと、前記撮像手段の視野内に車両が進入したことを検知する第２のステップと、この第２のステップにより車両が検知されると、前記第１のステップにより撮像されたフレーム画像から前記ナンバプレート内の解像度の高い文字のみを認識する第３のステップと、前記撮像手段の視野内に進入した車両の走行速度を検出する第４のステップと、この第４のステップにより検出された車両速度に基づき、前記第２のステップにより車両が検知されてから、当該車両のナンバプレートと前記撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適となる距離になるまで当該車両が移動する時間を推定する第５のステップと、この第４のステップにより推定された時間経過時、その前後フレーム近傍の複数フレームの画像を最適フレーム画像として前記第１のステップにより撮像されたフレーム画像から抽出する第６のステップと、この第６のステップにより抽出された複数の最適フレーム画像により前記ナンバプレートの位置を検出する第７のステップと、この第７のステップにより検出されたナンバプレートの位置に基づき、前記第６のステップにより抽出された複数の最適フレーム画像内のナンバプレートの画質を判定する第８のステップと、この第８のステップにより画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なう第９のステップと、この第９のステップにより高精細化された解像度の低い文字画像に対してのみ認識処理を行なう第１０のステップと、この第１０のステップの認識結果と前記第３のステップの認識結果とを統合する第１１のステップとを具備している。
【発明の効果】
【００１２】
本発明によれば、文字画像の解像度不足や文字が不鮮明であっても、その影響を低減してナンバプレート読取精度の向上が図れるナンバプレート読取装置およびナンバプレート読取方法を提供できる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係るナンバプレート読取装置の構成を概略的に示す模式図。
【図２】本発明の第１の実施の形態に係るナンバプレート読取処理について説明するフローチャート。
【図３】本発明の第２の実施の形態に係るナンバプレート読取処理について説明するフローチャート。
【図４】本発明の第３の実施の形態に係るナンバプレート読取処理について説明するフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明に係るナンバプレート読取装置の構成を模式的に示すものである。このナンバプレート読取装置は、たとえば、料金所の料金収受車線（道路）を走行する車両１１から少なくともナンバプレート１２を含む画像を撮像する撮像手段としてのカメラ（以降、単にカメラと略称する）１３、および、カメラ１３から得られる画像を処理することによりナンバプレート１２上の文字を認識するとともに、カメラ１３の撮像条件であるカメラパラメータを変更制御する画像処理部１４を有して構成される。
【００１５】
カメラ１３は、たとえば、料金収受車線（道路）上の所定位置に視野領域が設定されていて、図示矢印ａ方向に走行する車両１１の前方（第１、第２の実施の形態）あるいは後方（第３の実施の形態）から少なくともナンバプレート１２を含む画像を所定のフレーム周期で撮像してフレーム画像として逐次出力するもので、ビデオカメラおよび被写体を照明する照明装置などから構成される。
【００１６】
また、カメラ１３は、撮像条件であるカメラパラメータ（たとえば、シャッター速度、絞り、ズーム比等）を変更制御可能に構成されていて、第２の実施の形態で説明するようなカメラパラメータ変更制御が行なわれる。
【００１７】
画像処理部１４は、たとえば、ＣＰＵ（セントラル・プロセッシング・ユニット）などを主体に構成されていて、カメラ１３から逐次得られるフレーム画像に対し、たとえば、周知のノイズ低減処理等の前処理を行なった後、画像メモリ（画像記憶手段）１５に逐次複数一時記憶し、この記憶した複数のフレーム画像に対し後述するような画像処理を行なうことによりナンバプレート１２上の文字を認識するもので、その詳細は以下に説明する。
【００１８】
次に、このような構成において、本発明の第１の実施の形態に係るナンバプレート読取処理について図２に示すフローチャートを参照して説明する。
【００１９】
なお、第１の実施の形態に係るナンバプレート読取処理は、車両１１の前方から、車両１１の前部に取付けられたナンバプレート１２を読取る場合を前提としている。
また、第１の実施の形態に係るナンバプレート読取処理においては、カメラ１３の視野内への車両１１の進入／退出時、車両１１のナンバプレート領域の大きさが一様に変化し、それに伴って解像度が異なるような入力画像を想定している。したがって、車両１１がカメラ１３の前を通過するシーンにおいて、より多くのフレーム画像が取得されること、車両１１の全景が写ることより、車両１１の運転者の画像や、通行時の車両１１の挙動が俯瞰できる。一方で、文字認識に必要な解像度が犠牲となっているような画像である。
【００２０】
カメラ１３は、あらかじめ設定された視野領域の画像を所定のフレーム周期で撮像してフレーム画像として逐次出力し、画像処理部１４へ送る。画像処理部１４は、カメラ１３から逐次得られるフレーム画像に対し、たとえば、周知のノイズ低減処理等の前処理を行なった後、画像メモリ１５に一時記憶する。これにより、画像メモリ１５には、連続した一定フレーム量のフレーム画像が逐次一時記憶される。
【００２１】
画像処理部１４は、たとえば、画像メモリ１５に記憶した現フレーム画像と前フレーム画像との差分画像に基づき、カメラ１３の視野内に車両１１が進入したか否かを検知する（ステップＳ１）。なお、差分画像を用いた車両検知は公知の技術であるので説明は省略する。
【００２２】
ステップＳ１において、車両１１が検知されると、画像処理部１４は、まず、画像メモリ１５に記憶したフレーム画像により、ナンバプレート１２内の解像度の高い文字（たとえば、フォントサイズの大きな文字、具体的にはナンバプレート番号）を認識することによりナンバプレート１２の位置を取得する（ステップＳ２）。この手法としては、たとえば、「河野ほか“数字候補領域の配置情報を利用したナンバプレート認識方法”Ｖｉｓｉｏｎ２００７」が知られており、それを利用することが可能である。これにより、ナンバプレート位置がカメラ１３から遠い（解像度の低い）フレーム画像（たとえば、図１の位置Ｐ１）で検出される。
【００２３】
次に、画像処理部１４は、カメラ１３の視野内に進入した車両１１の走行速度を検出する（ステップＳ３）。すなわち、ステップＳ２で検出されたナンバプレート位置情報と後続するフレーム画像でのナンバプレート１２の位置座標との差分と、カメラ１３の設置条件を考慮すると、車両１１の走行速度（車両速度）が推定（検出）できる。
【００２４】
次に、画像処理部１４は、推定された車両速度とナンバプレート位置とに基づき、車両１１が検知されてから最適読取位置に到達するまでの移動時間を推定する（ステップＳ４）。すなわち、カメラ１３の視野内の車両１１の挙動について、特に障害物がない場合においては等速直線運動であると仮定されるので、先に求めたナンバプレート位置と車両速度とにより、当該車両１１のナンバプレート１２とカメラ１３との距離が当該ナンバプレート１２内の解像度の低い文字（たとえば、フォントサイズの小さな文字、具体的には陸運支局コード、車種コード、用とコード等）を読取るのに最適となる距離（たとえば、図１の位置Ｐ２で、ここを最適読取位置とする）になるまで当該車両１１が移動する時間（フレーム数）を推測することが可能となるため、移動する車両１１が検知位置Ｐ１から最適読取位置（ベストフレーム）Ｐ２に到達するまでの移動時間を算出する。
【００２５】
次に、画像処理部１４は、ステップＳ４で推定された移動時間経過したか否か、すなわち、たとえば、カメラ１３から得られるフレーム画像を計数することにより、最適読取位置Ｐ２に対応するベストフレームに到達したか否かを判定し（ステップＳ５）、ベストフレームに到達すると、ベストフレームおよびその前後フレーム近傍の複数フレームの画像を最適フレーム画像として画像メモリ１５内のフレーム画像から抽出し、画像メモリ１５内に設けられた画像バッファ１５ａ（図示省略）に格納する（ステップＳ６）。
【００２６】
次に、画像処理部１４は、画像バッファ１５ａに格納された複数の最適フレーム画像によりナンバプレート１２が存在する位置を検出する（ステップＳ７）。次に、画像処理部１４は、ナンバプレート１２が斜めに撮像されている場合が多いので、ステップＳ７で検出したナンバプレート１２の位置座標により、ナンバプレート１２の縦方向および横方向のずれを補正する（ステップＳ８）。
【００２７】
次に、画像処理部１４は、検出したナンバプレートの位置に基づき、画像バッファ１５ａに格納された複数の最適フレーム画像内のナンバプレートの画質を判定する（ステップＳ９，Ｓ１０）。すなわち、画像バッファ１５ａに格納された複数の最適フレーム画像内のナンバプレート画像について、たとえば、文字認識可能なコントラストや鮮明度が確保されているか等の画質判定を行なう。
【００２８】
画質判定の結果、仮に白とびや黒つぶれなどが発生しているフレーム画像が含まれている場合には、これらを棄却し（ステップＳ１１）、ステップＳ１２に進む。
上記画質判定の結果、仮に白とびや黒つぶれなどが発生しているフレーム画像が含まれていない場合には、ステップＳ１１をジャンプしてステップＳ１２に進む。
【００２９】
ステップＳ１２では、画像バッファ１５ａ内に残った最適フレーム画像は所定数以上（たとえば、少なくとも２個以上）か否かを判定し、所定数以上存在すれば、画像バッファ１５ａに格納された複数の最適フレーム画像のナンバプレート画像内の文字画像に対し高精細化処理を行なう（ステップＳ１３）。すなわち、画像バッファ１５ａに格納された複数の最適フレーム画像を用いてナンバプレート画像内の文字画像に対し高精細化処理を行なうことで、１つの文字画像を生成する。この代表的な手法としては、たとえば、「文献（M.Irani“Improving Resolution by Image Registration”CVGIP vol.53，No.3，May，pp231-239,1991）」などがよく知られており、それを利用することが可能である。
【００３０】
なお、上記高精細化処理は、ナンバプレート画像内の全ての文字画像に対し高精細化処理を行なってもよいが、以降の文字認識では解像度の低い文字のみを認識するので、少なくとも解像度の低い文字画像（低解像度文字画像）に対してのみ高精細化処理を行なえばよい。
【００３１】
次に、画像処理部１４は、高精細化された解像度の低い文字画像（たとえば、フォントサイズの小さな文字、具体的には陸運支局コード、車種コード、用とコード等）に対してのみ文字認識処理を行ない、その後、単語認識処理を行なう（ステップＳ１４）。
【００３２】
次に、画像処理部１４は、ステップＳ２における解像度の高い文字（フォントサイズの大きな文字）の認識結果とステップＳ１４における解像度の低い文字（フォントサイズの小さな文字）の認識結果とを統合し（ステップＳ１５）、当該読取処理を終了する。これより、解像度が不足気味であっても、認識性能を高く維持することが可能となる。
【００３３】
ステップＳ１２における判定の結果、画像バッファ１５ａ内に最適フレーム画像が所定数以上存在しない場合は、読取不可表示等のエラー処理を行ない（ステップＳ１６）、当該読取処理を終了する。
【００３４】
以上の処理により、走行する車両１１の前方から撮像して逐次得られる複数のフレーム画像（動画像）を用いて、ナンバプレート１２内の文字の解像度（フォントサイズ）に応じて認識性能を向上させることが可能となる。
【００３５】
次に、本発明の第２の実施の形態に係るナンバプレート読取処理について図３に示すフローチャートを参照して説明する。
【００３６】
なお、第２の実施の形態に係るナンバプレート読取処理も、前述した第１の実施の形態と同様に、車両１１の前方から、車両１１の前部に取付けられたナンバプレート１２を読取る場合を前提としている。
また、第２の実施の形態に係るナンバプレート読取処理においても、前述した第１の実施の形態と同様の入力画像を想定している。
【００３７】
カメラ１３は、あらかじめ設定された視野領域の画像を所定のフレーム周期で撮像してフレーム画像として逐次出力し、画像処理部１４へ送る。画像処理部１４は、カメラ１３から逐次得られるフレーム画像に対し、たとえば、周知のノイズ低減処理等の前処理を行なった後、画像メモリ１５に一時記憶する。これにより、画像メモリ１５には、連続した一定フレーム量のフレーム画像が逐次一時記憶される。
【００３８】
画像処理部１４は、たとえば、画像メモリ１５に記憶した現フレーム画像と前フレーム画像との差分画像に基づき、カメラ１３の視野内に車両１１が進入したか否かを検知する（ステップＳ２１）。
【００３９】
ステップＳ２１において、車両１１が検知されると、画像処理部１４は、まず、画像メモリ１５に記憶したフレーム画像により、ナンバプレート１２内の解像度の高い文字（たとえば、フォントサイズの大きな文字、具体的にはナンバプレート番号）を認識することによりナンバプレート１２の位置を取得する（ステップＳ２２）。この手法としては、前述した第１の実施の形態と同様の手法が利用可能である。これにより、ナンバプレート位置がカメラ１３から遠い（解像度の低い）フレーム画像（たとえば、図１の位置Ｐ１）で検出される。
【００４０】
次に、画像処理部１４は、カメラ１３の視野内に進入した車両１１の走行速度を検出する（ステップＳ２３）。すなわち、ステップＳ２２で検出されたナンバプレート位置情報と後続するフレーム画像でのナンバプレート１２の位置座標との差分と、カメラ１３の設置条件を考慮すると、車両１１の走行速度（車両速度）が推定（検出）できる。
【００４１】
次に、画像処理部１４は、推定された車両速度とナンバプレート位置とに基づき、車両１１が検知されてから最適読取位置に到達するまでの移動時間を推定する（ステップＳ２４）。すなわち、カメラ１３の視野内の車両１１の挙動について、特に障害物がない場合においては等速直線運動であると仮定されるので、先に求めたナンバプレート位置と車両速度とにより、当該車両１１のナンバプレート１２とカメラ１３との距離が当該ナンバプレート１２内の解像度の低い文字（たとえば、フォントサイズの小さな文字、具体的には陸運支局コード、車種コード、用とコード等）を読取るのに最適となる距離（たとえば、図１の位置Ｐ２で、ここを最適読取位置とする）になるまで当該車両１１が移動する時間（フレーム数）を推測することが可能となるため、移動する車両１１が検知位置Ｐ１から最適読取位置（ベストフレーム）Ｐ２に到達するまでの移動時間を算出する。
【００４２】
次に、画像処理部１４は、ステップＳ２４で推定された時間内において、当該時間経過時にナンバプレート１３内の解像度の低い文字を読取るのに最適なカメラパラメータとなるよう、カメラ１３のパラメータ（たとえば、シャッター速度、絞り、ズーム比等）を変更制御する（ステップＳ２５）。
【００４３】
なお、ステップＳ２５でのカメラパラメータの変更制御は、カメラパラメータを変更するのに必要な時間ｔ０と車両検知位置Ｐ１から最適読取位置Ｐ２まで車両１１が移動する時間ｔ１との大小関係が逆転しないことが前提となり、ｔ１＞ｔ０の場合にのみカメラパラメータの変更制御を行なう。
【００４４】
次に、画像処理部１４は、ステップＳ２４で推定された移動時間経過したか否か、すなわち、たとえば、カメラ１３から得られるフレーム画像を計数することにより、最適読取位置Ｐ２に対応するベストフレームに到達したか否かを判定し（ステップＳ２６）、ベストフレームに到達すると、ベストフレームおよびその前後フレーム近傍の複数フレームの画像を最適フレーム画像として画像メモリ１５内のフレーム画像から抽出し、画像メモリ１５内に設けられた画像バッファ１５ａ（図示省略）に格納する（ステップＳ２７）。
【００４５】
次に、画像処理部１４は、画像バッファ１５ａに格納された複数の最適フレーム画像によりナンバプレート１２が存在する位置を検出する（ステップＳ２８）。次に、画像処理部１４は、ナンバプレート１２が斜めに撮像されている場合が多いので、ステップＳ２８で検出したナンバプレート１２の位置座標により、ナンバプレート１２の縦方向および横方向のずれを補正する（ステップＳ２９）。
【００４６】
次に、画像処理部１４は、検出したナンバプレートの位置に基づき、画像バッファ１５ａに格納された複数の最適フレーム画像内のナンバプレートの画質を判定する（ステップＳ３０，Ｓ３１）。すなわち、画像バッファ１５ａに格納された複数の最適フレーム画像内のナンバプレート画像について、たとえば、文字認識可能なコントラストや鮮明度が確保されているか等の画質判定を行なう。
【００４７】
画質判定の結果、仮に白とびや黒つぶれなどが発生しているフレーム画像が含まれている場合には、これらを棄却し（ステップＳ３２）、ステップＳ３３に進む。
上記画質判定の結果、仮に白とびや黒つぶれなどが発生しているフレーム画像が含まれていない場合には、ステップＳ３２をジャンプしてステップＳ３３に進む。
【００４８】
ステップＳ３３では、画像バッファ１５ａ内に残った最適フレーム画像は所定数以上（たとえば、少なくとも２個以上）か否かを判定し、所定数以上存在すれば、画像バッファ１５ａに格納された複数の最適フレーム画像のナンバプレート画像内の文字画像に対し高精細化処理を行なう（ステップＳ３４）。すなわち、画像バッファ１５ａに格納された複数の最適フレーム画像を用いてナンバプレート画像内の文字画像に対し高精細化処理を行なうことで、１つの文字画像を生成する。この手法としては、前述した第１の実施の形態と同様の手法が利用可能である。
【００４９】
なお、上記高精細化処理は、ナンバプレート画像内の全ての文字画像に対し高精細化処理を行なってもよいが、以降の文字認識では解像度の低い文字のみを認識するので、少なくとも解像度の低い文字画像（低解像度文字画像）に対してのみ高精細化処理を行なえばよい。
【００５０】
次に、画像処理部１４は、高精細化された解像度の低い文字画像（たとえば、フォントサイズの小さな文字、具体的には陸運支局コード、車種コード、用とコード等）に対してのみ文字認識処理を行ない、その後、単語認識処理を行なう（ステップＳ３５）。
【００５１】
次に、画像処理部１４は、ステップＳ２２における解像度の高い文字（フォントサイズの大きな文字）の認識結果とステップＳ３５における解像度の低い文字（フォントサイズの小さな文字）の認識結果とを統合し（ステップＳ３６）、当該読取処理を終了する。これより、解像度が不足気味であっても、認識性能を高く維持することが可能となる。
【００５２】
ステップＳ３３における判定の結果、画像バッファ１５ａ内に最適フレーム画像が所定数以上存在しない場合は、読取不可表示等のエラー処理を行ない（ステップＳ３７）、当該読取処理を終了する。
【００５３】
以上の処理により、車両１１の前方から低解像度な画像で撮像されたナンバプレート１２内の文字の認識性能を向上させることが可能となる。
【００５４】
次に、本発明の第３の実施の形態に係るナンバプレート読取処理について図４に示すフローチャートを参照して説明する。
【００５５】
なお、第３の実施の形態に係るナンバプレート読取処理は、車両１１の後方から、車両１１の後部に取付けられたナンバプレート１２を読取る場合を前提としている点が前述した第１、第２の実施の形態と異なり、そのためカメラ１３は、走行する車両１１の後方から、車両１１の後部に取付けられたナンバプレート１２を撮像するように設置されているものとし、カメラ１３の視野内に車両１１が進入した際に最も解像度が高く、時刻の経過（車両の退出）に伴い読取対象となる車両番号（ナンバプレート番号）が低解像度になってしまう場合を想定している。
【００５６】
このため、解像度の高い文字（フォントサイズの大きな文字）については、車両１１の検知から一定時間経過した時点（基準位置）にて読取りを行ない、その後に解像度の低い文字（フォントサイズの小さな文字）を読取るための最適読取位置まで遡る時間（フレーム数）を推定し、最適フレーム画像を抽出して認識することとなる。
【００５７】
カメラ１３は、あらかじめ設定された視野領域の画像を所定のフレーム周期で撮像してフレーム画像として逐次出力し、画像処理部１４へ送る。画像処理部１４は、カメラ１３から逐次得られるフレーム画像に対し、たとえば、周知のノイズ低減処理等の前処理を行なった後、画像メモリ１５に一時記憶する。これにより、画像メモリ１５には、連続した一定フレーム量のフレーム画像が逐次一時記憶される。
【００５８】
画像処理部１４は、たとえば、画像メモリ１５に記憶した現フレーム画像と前フレーム画像との差分画像に基づき、カメラ１３の視野内に車両１１が進入したか否かを検知する（ステップＳ４１）。
【００５９】
ステップＳ４１において、車両１１が検知されると、画像処理部１４は、画像メモリ１５に記憶したフレーム画像により当該車両１１を追跡する（ステップＳ４２）。車両の追跡処理は、従来から各種の公知技術が存在するので、それらを利用ことができる。
【００６０】
次に、画像処理部１４は、たとえば、車両１１を検知してからの時間（フレーム数）を計数することで、当該車両１１があらかじめ定められた基準位置に達したか否かを判定し（ステップＳ４３）、基準位置に達した場合、画像メモリ１５に記憶したフレーム画像により、ナンバプレート１２内の解像度の高い文字（たとえば、フォントサイズの大きな文字、具体的にはナンバプレート番号）を認識することによりナンバプレート１２の位置を取得する（ステップＳ４４）。この手法としては、前述した第１の実施の形態と同様の手法が利用可能である。
【００６１】
次に、画像処理部１４は、カメラ１３の視野内に進入した車両１１の走行速度を検出する（ステップＳ４５）。すなわち、ステップＳ４４で検出されたナンバプレート位置情報とそれよりも過去のフレーム画像でのナンバプレート１２の位置座標との差分と、カメラ１３の設置条件を考慮すると、車両１１の走行速度（車両速度）が推定（検出）できる。
【００６２】
次に、画像処理部１４は、推定された車両速度とナンバプレート位置とに基づき最適読取位置まで遡る時間（フレーム数）を推定する（ステップＳ４６）。すなわち、カメラ１３の視野内の車両１１の挙動について、特に障害物がない場合においては等速直線運動であると仮定されるので、先に求めたナンバプレート位置と車両速度とにより、当該車両１１のナンバプレート１２とカメラ１３との距離が当該ナンバプレート１２内の解像度の低い文字（たとえば、フォントサイズの小さな文字、具体的には陸運支局コード、車種コード、用とコード等）を読取るのに最適となる距離（ここを最適読取位置とする）まで遡る時間（フレーム数）を推測することが可能となる。
【００６３】
次に、画像処理部１４は、ステップＳ４６で推定された時間（フレーム数）過去に遡った時点のフレームおよびその前後フレーム近傍の複数フレームの画像を最適フレーム画像として画像メモリ１５内のフレーム画像から抽出し、画像メモリ１５内に設けられた画像バッファ１５ａ（図示省略）に格納する（ステップＳ４７）。
【００６４】
ここで、具体例をあげて説明すれば、たとえば、車両１１が検知された時点に得られたフレーム画像を１フレーム目とし、車両１１が基準位置に達した時点に得られたフレーム画像を２０フレーム目とし、車両１１が最適読取位置に達した時点に得られたフレーム画像が１０フレーム目であるとすると、これらのフレーム画像は画像メモリ１５内に格納されているので、最適読取位置に対応する１０フレーム目のフレーム画像まで遡るフレーム数（この場合は１０個となる）を求める。次に、この求めたフレーム数（１０個）分過去に遡った１０フレーム目のフレーム画像およびその前後フレーム（たとえば、９，１１フレーム目）の各フレーム画像を画像メモリ１５からそれぞれ抽出し、画像バッファ１５ａに格納するものである。
【００６５】
次に、画像処理部１４は、画像バッファ１５ａに格納された複数の最適フレーム画像によりナンバプレート１２が存在する位置を検出する（ステップＳ４８）。次に、画像処理部１４は、ナンバプレート１２が斜めに撮像されている場合が多いので、ステップＳ４８で検出したナンバプレート１２の位置座標により、ナンバプレート１２の縦方向および横方向のずれを補正する（ステップＳ４９）。
【００６６】
次に、画像処理部１４は、検出したナンバプレートの位置に基づき、画像バッファ１５ａに格納された複数の最適フレーム画像内のナンバプレートの画質を判定する（ステップＳ５０，Ｓ５１）。すなわち、画像バッファ１５ａに格納された複数の最適フレーム画像内のナンバプレート画像について、たとえば、文字認識可能なコントラストや鮮明度が確保されているか等の画質判定を行なう。
【００６７】
画質判定の結果、仮に白とびや黒つぶれなどが発生しているフレーム画像が含まれている場合には、これらを棄却し（ステップＳ５２）、ステップＳ５３に進む。
上記画質判定の結果、仮に白とびや黒つぶれなどが発生しているフレーム画像が含まれていない場合には、ステップＳ５２をジャンプしてステップＳ５３に進む。
【００６８】
ステップＳ５３では、画像バッファ１５ａ内に残った最適フレーム画像は所定数以上（たとえば、少なくとも２個以上）か否かを判定し、所定数以上存在すれば、画像バッファ１５ａに格納された複数の最適フレーム画像のナンバプレート画像内の文字画像に対し高精細化処理を行なう（ステップＳ５４）。すなわち、画像バッファ１５ａに格納された複数の最適フレーム画像を用いてナンバプレート画像内の文字画像に対し高精細化処理を行なうことで、１つの文字画像を生成する。この手法としては、前述した第１の実施の形態と同様の手法が利用可能である。
【００６９】
なお、上記高精細化処理は、ナンバプレート画像内の全ての文字画像に対し高精細化処理を行なってもよいが、以降の文字認識では解像度の低い文字のみを認識するので、少なくとも解像度の低い文字画像（低解像度文字画像）に対してのみ高精細化処理を行なえばよい。
【００７０】
次に、画像処理部１４は、高精細化された解像度の低い文字画像（たとえば、フォントサイズの小さな文字、具体的には陸運支局コード、車種コード、用とコード等）に対してのみ文字認識処理を行ない、その後、単語認識処理を行なう（ステップＳ５５）。
【００７１】
次に、画像処理部１４は、ステップＳ４４における解像度の高い文字（フォントサイズの大きな文字）の認識結果とステップＳ５５における解像度の低い文字（フォントサイズの小さな文字）の認識結果とを統合し（ステップＳ５６）、当該読取処理を終了する。
【００７２】
ステップＳ５３における判定の結果、画像バッファ１５ａ内に最適フレーム画像が所定数以上存在しない場合は、読取不可表示等のエラー処理を行ない（ステップＳ５７）、当該読取処理を終了する。
【００７３】
以上の処理により、車両１１の後方から低解像度な画像で撮像されたナンバプレート１２内の文字の認識性能を向上させることが可能となる。
【００７４】
なお、前記実施の形態では、車両検知手段として画像処理による手法を用いた場合について説明したが、本発明はこれに限定されるものではなく、たとえば、光学センサや超音波センサによる車両検知装置を用いてもよい。
【００７５】
また、前記実施の形態では、車両速度検出手段として画像処理による手法を用いた場合について説明したが、本発明はこれに限定されるものではなく、たとえば、レーダやマイクロ波を用いた車両速度検出装置を用いてもよい。
【符号の説明】
【００７６】
１１…車両、１２…ナンバプレート、１３…カメラ（撮像手段）、１４…画像処理部、１５…画像メモリ（画像記憶手段）。

【特許請求の範囲】
【請求項１】
道路を走行する車両の前方から少なくともナンバプレートを含む画像を所定のフレーム周期で撮像する撮像手段と、
この撮像手段の視野内に車両が進入したことを検知する車両検知手段と、
この車両検知手段により車両が検知されると、前記撮像手段により撮像されたフレーム画像から前記ナンバプレート内の解像度の高い文字のみを認識する第１の認識手段と、
前記撮像手段の視野内に進入した車両の走行速度を検出する車両速度検出手段と、
この車両速度検出手段により検出された車両速度に基づき、前記車両検知手段により車両が検知されてから、当該車両のナンバプレートと前記撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適となる距離になるまで当該車両が移動する時間を推定する車両移動時間推定手段と、
この車両移動時間推定手段により推定された時間経過時、その前後フレーム近傍の複数フレームの画像を最適フレーム画像として前記撮像手段により撮像されたフレーム画像から抽出する最適フレーム画像抽出手段と、
この最適フレーム画像抽出手段により抽出された複数の最適フレーム画像により前記ナンバプレートの位置を検出するナンバプレート位置検出手段と、
このナンバプレート位置検出手段により検出されたナンバプレートの位置に基づき、前記最適フレーム画像抽出手段により抽出された複数の最適フレーム画像内のナンバプレートの画質を判定する画質判定手段と、
この画質判定手段により画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なう高精細化手段と、
この高精細化手段により高精細化された解像度の低い文字画像に対してのみ認識処理を行なう第２の認識手段と、
この第２の認識手段の認識結果と前記第１の認識手段の認識結果とを統合する認識結果統合手段と、
を具備したことを特徴とするナンバプレート読取装置。
【請求項２】
道路を走行する車両の前方から少なくともナンバプレートを含む画像を所定のフレーム周期で撮像する、撮像条件を変更制御可能な撮像手段と、
この撮像手段の視野内に車両が進入したことを検知する車両検知手段と、
この車両検知手段により車両が検知されると、前記撮像手段により撮像されたフレーム画像から前記ナンバプレート内の解像度の高い文字のみを認識する第１の認識手段と、
前記撮像手段の視野内に進入した車両の走行速度を検出する車両速度検出手段と、
この車両速度検出手段により検出された車両速度に基づき、前記車両検知手段により車両が検知されてから、当該車両のナンバプレートと前記撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適となる距離になるまで当該車両が移動する時間を推定する車両移動時間推定手段と、
この車両移動時間推定手段により推定された時間内において、当該時間経過時に前記ナンバプレート内の解像度の低い文字を読取るのに最適な撮像条件となるよう、前記撮像手段の撮像条件を変更制御する撮像条件制御手段と、
前記車両移動時間推定手段により推定された時間経過時、その前後フレーム近傍の複数フレームの画像を最適フレーム画像として前記撮像手段により撮像されたフレーム画像から抽出する最適フレーム画像抽出手段と、
この最適フレーム画像抽出手段により抽出された複数の最適フレーム画像により前記ナンバプレートの位置を検出するナンバプレート位置検出手段と、
このナンバプレート位置検出手段により検出されたナンバプレートの位置に基づき、前記最適フレーム画像抽出手段により抽出された複数の最適フレーム画像内のナンバプレートの画質を判定する画質判定手段と、
この画質判定手段により画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なう高精細化手段と、
この高精細化手段により高精細化された解像度の低い文字画像に対してのみ認識処理を行なう第２の認識手段と、
この第２の認識手段の認識結果と前記第１の認識手段の認識結果とを統合する認識結果統合手段と、
を具備したことを特徴とするナンバプレート読取装置。
【請求項３】
道路を走行する車両の後方から少なくともナンバプレートを含む画像を所定のフレーム周期で撮像する撮像手段と、
この撮像手段により撮像されたフレーム画像を逐次複数記憶する画像記憶手段と、
前記撮像手段の視野内に車両が進入したことを検知する車両検知手段と、
この車両検知手段により車両が検知されると、前記画像記憶手段に記憶されたフレーム画像により当該車両を追跡し、あらかじめ定められた基準位置に達したか否かを判定する判定手段と、
この判定手段により当該車両が基準位置に達したと判定された場合、前記画像記憶手段に記憶されたフレーム画像から前記ナンバプレート内の解像度の高い文字のみを認識する第１の認識手段と、
前記撮像手段の視野内に進入した車両の走行速度を検出する車両速度検出手段と、
この車両速度検出手段により検出された車両速度に基づき、当該車両のナンバプレートと前記撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適な距離になった時点まで遡る時間を推定する遡り時間推定手段と、
この遡り時間推定手段により推定された時間過去に遡った時点のフレーム画像およびその近傍の複数フレームの画像を最適フレーム画像として前記画像記憶手段から抽出する最適フレーム画像抽出手段と、
この最適フレーム画像抽出手段により抽出された複数の最適フレーム画像により前記ナンバプレートの位置を検出するナンバプレート位置検出手段と、
このナンバプレート位置検出手段により検出されたナンバプレートの位置に基づき、前記最適フレーム画像抽出手段により抽出された複数の最適フレーム画像内のナンバプレートの画質を判定する画質判定手段と、
この画質判定手段により画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なう高精細化手段と、
この高精細化手段により高精細化された解像度の低い文字画像に対してのみ認識処理を行なう第２の認識手段と、
この第２の認識手段の認識結果と前記第１の認識手段の認識結果とを統合する認識結果統合手段と、
を具備したことを特徴とするナンバプレート読取装置。
【請求項４】
前記高精細化手段は、前記画質判定手段により画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像が複数存在するか否かを判定する手段を有し、残った最適フレーム画像が複数存在する場合、当該複数の最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なうことにより１つの高精細化文字画像を得ることを特徴とする請求項１から請求項３のうちいずれか１つに記載のナンバプレート読取装置。
【請求項５】
道路を走行する車両の前方から少なくともナンバプレートを含む画像を撮像手段により所定のフレーム周期で撮像する第１のステップと、
前記撮像手段の視野内に車両が進入したことを検知する第２のステップと、
この第２のステップにより車両が検知されると、前記第１のステップにより撮像されたフレーム画像から前記ナンバプレート内の解像度の高い文字のみを認識する第３のステップと、
前記撮像手段の視野内に進入した車両の走行速度を検出する第４のステップと、
この第４のステップにより検出された車両速度に基づき、前記第２のステップにより車両が検知されてから、当該車両のナンバプレートと前記撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適となる距離になるまで当該車両が移動する時間を推定する第５のステップと、
この第４のステップにより推定された時間経過時、その前後フレーム近傍の複数フレームの画像を最適フレーム画像として前記第１のステップにより撮像されたフレーム画像から抽出する第６のステップと、
この第６のステップにより抽出された複数の最適フレーム画像により前記ナンバプレートの位置を検出する第７のステップと、
この第７のステップにより検出されたナンバプレートの位置に基づき、前記第６のステップにより抽出された複数の最適フレーム画像内のナンバプレートの画質を判定する第８のステップと、
この第８のステップにより画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なう第９のステップと、
この第９のステップにより高精細化された解像度の低い文字画像に対してのみ認識処理を行なう第１０のステップと、
この第１０のステップの認識結果と前記第３のステップの認識結果とを統合する第１１のステップと、
を具備したことを特徴とするナンバプレート読取方法。
【請求項６】
道路を走行する車両の前方から少なくともナンバプレートを含む画像を撮像条件を変更制御可能な撮像手段により所定のフレーム周期で撮像する第１のステップと、
前記撮像手段の視野内に車両が進入したことを検知する第２のステップと、
この第２のステップにより車両が検知されると、前記第１のステップにより撮像されたフレーム画像から前記ナンバプレート内の解像度の高い文字のみを認識する第３のステップと、
前記撮像手段の視野内に進入した車両の走行速度を検出する第４のステップと、
この第４のステップにより検出された車両速度に基づき、前記第２のステップにより車両が検知されてから、当該車両のナンバプレートと前記撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適となる距離になるまで当該車両が移動する時間を推定する第５のステップと、
この第５のステップにより推定された時間内において、当該時間経過時に前記ナンバプレート内の解像度の低い文字を読取るのに最適な撮像条件となるよう、前記撮像手段の撮像条件を変更制御する第６のステップと、
前記第５のステップにより推定された時間経過時、その前後フレーム近傍の複数フレームの画像を最適フレーム画像として前記撮像手段により撮像されたフレーム画像から抽出する第７のステップと、
この第７のステップにより抽出された複数の最適フレーム画像により前記ナンバプレートの位置を検出する第８のステップと、
この第８のステップにより検出されたナンバプレートの位置に基づき、前記第７のステップにより抽出された複数の最適フレーム画像内のナンバプレートの画質を判定する第９のステップと、
この第９のステップにより画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なう第１０のステップと、
この第１０のステップにより高精細化された解像度の低い文字画像に対してのみ認識処理を行なう第１１のステップと、
この第１１のステップの認識結果と前記第３のステップの認識結果とを統合する第１２のステップと、
を具備したことを特徴とするナンバプレート読取方法。
【請求項７】
道路を走行する車両の後方から少なくともナンバプレートを含む画像を撮像手段により所定のフレーム周期で撮像する第１のステップと、
この第１のステップにより撮像されたフレーム画像を画像記憶手段に逐次複数記憶する第２のステップと、
前記撮像手段の視野内に車両が進入したことを検知する第３のステップと、
この第３のステップにより車両が検知されると、前記画像記憶手段に記憶されたフレーム画像により当該車両を追跡し、あらかじめ定められた基準位置に達したか否かを判定する第４のステップと、
この第４のステップにより当該車両が基準位置に達したと判定された場合、前記画像記憶手段に記憶されたフレーム画像から前記ナンバプレート内の解像度の高い文字のみを認識する第５のステップと、
前記撮像手段の視野内に進入した車両の走行速度を検出する第６のステップと、
この第６のステップにより検出された車両速度に基づき、当該車両のナンバプレートと前記撮像手段との距離が当該ナンバプレート内の解像度の低い文字を読取るのに最適な距離になった時点まで遡る時間を推定する第７のステップと、
この第７のステップにより推定された時間過去に遡った時点のフレーム画像およびその近傍の複数フレームの画像を最適フレーム画像として前記画像記憶手段から抽出する第８のステップと、
この第８のステップにより抽出された複数の最適フレーム画像により前記ナンバプレートの位置を検出する第９のステップと、
この第９のステップにより検出されたナンバプレートの位置に基づき、前記第８のステップにより抽出された複数の最適フレーム画像内のナンバプレートの画質を判定する第１０のステップと、
この第１０のステップにより画質が劣ると判定された最適フレーム画像は棄却し、残った最適フレーム画像を用いて当該ナンバプレート内の少なくとも解像度の低い文字画像に対して高精細化処理を行なう第１１のステップと、
この第１１のステップにより高精細化された解像度の低い文字画像に対してのみ認識処理を行なう第１２のステップと、
この第１２のステップの認識結果と前記第５のステップの認識結果とを統合する第１３のステップと、
を具備したことを特徴とするナンバプレート読取方法。

【図１】