画像処理装置、画像処理方法、及びプログラム
【課題】車両ナンバーの認識処理を高速化する。
【解決手段】プレート位置検出部２００は、複数の入力画像データにおけるナンバープレートの位置を示すプレート位置情報を生成する。第１記憶部３００は、複数の入力画像データをプレート位置情報に対応付けて順次記憶する。文字認識部４００は、第１記憶部３００に記憶されている複数の入力画像データをプレート位置情報に対応付けて順次読み出し、複数の入力画像データ及びプレート位置情報に基づいて、ナンバープレートの文字数列を認識する。第２記憶部５００は、複数の入力画像データそれぞれから認識された複数の文字数列を順次記憶する。ナンバー認識部６００は、第２記憶部に記憶されている複数の文字数列に基づいて、ナンバープレートに記載の車両ナンバーを認識する。
【解決手段】プレート位置検出部２００は、複数の入力画像データにおけるナンバープレートの位置を示すプレート位置情報を生成する。第１記憶部３００は、複数の入力画像データをプレート位置情報に対応付けて順次記憶する。文字認識部４００は、第１記憶部３００に記憶されている複数の入力画像データをプレート位置情報に対応付けて順次読み出し、複数の入力画像データ及びプレート位置情報に基づいて、ナンバープレートの文字数列を認識する。第２記憶部５００は、複数の入力画像データそれぞれから認識された複数の文字数列を順次記憶する。ナンバー認識部６００は、第２記憶部に記憶されている複数の文字数列に基づいて、ナンバープレートに記載の車両ナンバーを認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
車両などの移動体に付けられているナンバープレートを自動で認識することは、不審車両やスピード違反をした車両を特定するために重要である。例えば特許文献１には、プレート画像を切り出してプレート画像メモリに記録し、プレート画像メモリに記録されたプレート画像を順に処理して文字認識を行うことが記載されている。この技術によれば、プレート画像の切り出し処理と、文字認識処理とを並列して実行できる、と記載されている。
【０００３】
また特許文献２には、動画からナンバープレートを検出する場合において、検出タイミングに該当するフレームを処理してナンバープレートを認識することが記載されている。この技術によれば、全てのフレームを処理する場合と比較して処理時間が短くなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２６８２９１号公報
【特許文献２】特開２００９−３１８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年は、車両に車両ナンバーを自動で認識するための画像処理装置を搭載し、対向車両の車両ナンバーを自動で判別することが試みられている。この様な用途では、車両ナンバーを自動で認識する処理をさらに高速化することが求められる。
【０００６】
本発明の目的は、車両ナンバーの認識処理を高速化することができる画像処理装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明によれば、ナンバープレートを有する移動体を動画で撮像することにより生成された複数の入力画像データを取得し、取得した前記複数の入力画像データにおける前記ナンバープレートの位置を示すプレート位置情報を生成するプレート位置検出手段と、
前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶する第１記憶手段と、
前記第１記憶手段に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識する文字認識手段と、
前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶する第２記憶手段と、
前記第２記憶手段に記憶されている前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識するナンバー認識手段と、
を備える画像処理装置が提供される。
【０００８】
本発明によれば、画像生成手段が、ナンバープレートを有する移動体を動画で撮像して複数の入力画像データを生成し、
コンピュータが、前記複数の入力画像データにおける前記ナンバープレートの位置を示すプレート位置情報を生成し、
前記コンピュータに第１記憶手段を設け、前記第１記憶手段に前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶させ、
前記コンピュータが、前記第１記憶手段に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識し、
前記コンピュータに第２記憶手段を設け、前記第２記憶手段に前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶させ、
前記コンピュータが、前記第２記憶手段に記憶されている前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識する画像処理方法が提供される。
【０００９】
本発明によれば、コンピュータを、ナンバープレートを有する移動体を動画で撮像することにより生成した複数の入力画像データを処理して車両ナンバーを認識させる画像処理装置として機能させるためのプログラムであって、
前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶する第１記憶機能と、
前記第１記憶機能に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識する機能と、
前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶する第２記憶機能と、
前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識する機能と、
を実現させるプログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、車両ナンバーの認識処理を高速化することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図２】画像生成部の機能構成を示すブロック図である。
【図３】図１に示した画像処理装置の動作を示すフローチャートである。
【図４】図３のステップＳ１０の詳細を示すフローチャートである。
【図５】図３のステップＳ２０の詳細を示すフローチャートである。
【図６】図３のステップＳ３０の詳細を示すフローチャートである。
【図７】図３のステップＳ４０の詳細を示すフローチャートである。
【図８】図３のステップＳ６０の詳細を示すフローチャートである。
【図９】第２の実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図１０】第３の実施形態に係る画像処理装置の画像生成部の機能構成を示すブロック図である。
【図１１】第４の実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図１２】プレート位置検出部が相対速度を利用してプレート位置情報を生成する処理を示すフローチャートである。
【図１３】第１記憶部が相対速度を利用して記憶処理を行う場合を示すフローチャートである。
【図１４】ナンバー認識部が相対速度を利用して車両ナンバーの認識処理を行う場合を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１３】
図１は、第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。この画像処理装置は、画像生成部１００、プレート位置検出部２００、第１記憶部３００、文字認識部４００、第２記憶部５００、及びナンバー認識部６００を備える。画像生成部１００は、ナンバープレートを有する移動体（例えば車両）を動画で撮像して複数の入力画像データを生成する。プレート位置検出部２００は、複数の入力画像データにおけるナンバープレートの位置を示すプレート位置情報を生成する。第１記憶部３００は、複数の入力画像データをプレート位置情報に対応付けて順次記憶する。文字認識部４００は、第１記憶部３００に記憶されている複数の入力画像データをプレート位置情報に対応付けて順次読み出し、複数の入力画像データ及びプレート位置情報に基づいて、ナンバープレートの文字数列を認識する。第２記憶部５００は、複数の入力画像データそれぞれから認識された複数の文字数列を順次記憶する。ナンバー認識部６００は、第２記憶部に記憶されている複数の文字数列に基づいて、ナンバープレートに記載の車両ナンバーを認識する。認識された車両ナンバーは、ナンバー記憶部７００に記憶される。第１記憶部３００及び第２記憶部５００は、キュー（queue）構造でデータを記憶する。
【００１４】
この画像処理装置は、例えば車両に搭載される装置である。そして画像生成部１００は、対向車を撮像することにより複数の入力画像データを生成する。すなわちこの画像処理装置は、対向車の車両ナンバーを自動で認識する装置である。認識された車両ナンバーは、例えば手配中の車両ナンバーと自動で照合される。
【００１５】
またこの画像処理装置は、道路に設置されてもよい。この場合画像生成部１００は、その道路を通行する車両を撮像することにより複数の入力画像データを生成する。
【００１６】
なお、対向車を撮像する場合及び道路を通行する車両を撮像する場合のいずれにおいても、画像生成部１００は複数の車両を続けて撮像することになる。画像処理装置は、複数の車両それぞれの車両ナンバーを認識する。
【００１７】
図１に示した画像処理装置の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。この画像処理装置の各構成要素は、画像生成部１００のうち後述する撮像部１１０を除いて、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【００１８】
図２は、画像生成部１００の機能構成を示すブロック図である。画像生成部１００は撮像部１１０及びパラメータ設定部１２０を備えている。撮像部１１０は動画を生成する装置である。撮像部１１０は入力画像データを生成し続け、生成した入力画像データをその場でプレート位置検出部２００に出力する。また撮像部１１０は、入力画像データをパラメータ設定部１２０に出力する。パラメータ設定部１２０は、入力画像データの明るさを算出し、この明るさに基づいて撮像部１１０の設定、例えばゲインを変更する。
【００１９】
図３は、図１に示した画像処理装置の動作を示すフローチャートである。まず画像生成部１００は複数の入力画像データを生成する（ステップＳ１０）。プレート位置検出部２００は、画像生成部１００が生成した入力画像データを処理してプレート位置を検出し、プレート位置情報を生成する（ステップＳ２０）。第１記憶部３００は、入力画像データとプレート位置情報を記憶する（ステップＳ３０）。
【００２０】
そして文字認識部４００は、第１記憶部３００から入力画像データとプレート位置情報を読み出して文字数列を認識する処理を行う（ステップＳ４０）。第２記憶部５００は、文字認識部４００が認識した文字数列を記憶する（ステップＳ５０）。そしてナンバー認識部６００は、第２記憶部５００から複数の文字数列を読み出して処理することにより、車両ナンバーを認識し（ステップＳ６０）、認識した車両ナンバーをナンバー記憶部７００に記憶させる（ステップＳ７０）。
【００２１】
本実施形態では、第１記憶部３００及び第２記憶部５００を設けている。このため、ステップＳ１０〜Ｓ２０に示した処理と、ステップＳ４０に示した処理と、ステップＳ６０に示した処理とを並列して処理することができる。従って、車両ナンバーの認識処理を高速化することができる。
【００２２】
図４は、図３のステップＳ１０の詳細を示すフローチャートである。撮像部１１０は、動画の各フレームを生成する（ステップＳ１１０）たびに、そのフレームすなわち入力画像データをプレート位置検出部２００に出力するとともに、パラメータ設定部１２０に出力する（ステップＳ１２０）。パラメータ設定部１２０は、入力画像データの明るさを判別し（ステップＳ１３０）、明るさが基準を満たしていない場合（ステップＳ１４０：Ｙｅｓ）、撮像部１１０の設定、例えばゲインを変更する（ステップＳ１５０）。
【００２３】
図５は、図３のステップＳ２０の詳細を示すフローチャートである。プレート位置検出部２００は、撮像部１１０から入力画像データを取得すると、取得した入力画像データのコントラストを強調する処理を行う（ステップＳ２１０）。プレート位置検出部２００は、入力画像データが逆光であったりハレーションを起こしている場合、これらを補正するための処理も行う。次いでプレート位置検出部２００は、パターン認識技術を用いて入力画像データにおけるプレートの位置を仮検出する（ステップＳ２２０）。
【００２４】
次いでプレート位置検出部２００は、仮検出したプレートの位置と、一つ前の入力画像データにおけるプレートの位置とを比較することにより、仮検出したプレートの位置の妥当性を判断する（ステップＳ２３０）。例えばプレート位置検出部２００は、仮検出したプレートの位置が、一つ前の入力画像データにおけるプレートの位置よりも右下に位置する場合に、仮検出したプレートの位置が妥当であると判断する。プレート位置検出部２００は、仮検出したプレートの位置が妥当であると判断された場合、仮検出したプレートの位置を、正式なプレートの位置と判定し、プレート位置情報を生成する（ステップＳ２４０）。なお仮検出したプレートの位置が妥当でないと判断した場合、プレート位置検出部２００は、その入力画像データに対する処理を終了する。
【００２５】
図６は、図３のステップＳ３０の詳細を示すフローチャートである。第１記憶部３００は、前後する２つの入力画像データにおけるプレート位置情報が同一の位置を示しているか否か、すなわちプレート位置に変化があるか否かを判断する（ステップＳ３１０）。プレート位置に変化がない場合（ステップＳ３１０：Ｙｅｓ）場合、一方の入力画像データを記憶しない。例えば第１記憶部３００は、今回記憶すべき入力画像データのプレート位置情報と、一つ前の入力画像データのプレート位置情報が同一の場合、今回の入力画像データ及びプレート位置情報を記憶しない。そしてそれ以外の場合については、第１記憶部３００は入力画像データ及びプレート位置情報を記憶する（ステップＳ３２０）。なお第１記憶部３００は、ステップＳ２１０で処理した後の入力画像データのみではなく、ステップＳ２１０で処理する前の入力画像データも記憶してもよい。
【００２６】
図７は、図３のステップＳ４０の詳細を示すフローチャートである。文字認識部４００は、第１記憶部３００から入力画像データ及びプレート位置情報を読み出す（ステップＳ４１０）。そして文字認識部４００は、入力画像データのうちプレート位置情報により特定される領域を処理することにより、文字の候補位置を複数検出する。文字認識部４００は、例えば輝度の勾配を見ることにより、文字の候補位置を検出する（ステップＳ４２０）。
【００２７】
また文字認識部４００は、ナンバープレートにおける文字の一般的な配列を示す配列情報を記憶している。そして文字認識部４００は、ステップＳ４２０において検出した複数の文字の候補位置のうち、配列情報に対応している候補位置の組み合わせを選択することにより、車両ナンバーの候補位置を検出する（ステップＳ４３０）。次いで文字認識部４００は、入力画像データのうち車両ナンバーの候補位置を含む領域を２値化し（ステップＳ４４０）、その後文字認識処理を行うことにより、車両ナンバーを示す文字数列を検出する（ステップＳ４５０）。
【００２８】
図８は、図３のステップＳ６０の詳細を示すフローチャートである。ナンバー認識部６００は、第２記憶部５００が所定数の文字数列を記憶する（ステップＳ６１０：Ｙｅｓ）と、これら所定数の文字数列を用いて以下の処理を行う。
【００２９】
上記したように、画像生成部１００は複数の車両を続けて撮像する。このため、第２記憶部５００が記憶している複数の文字数列は、ある文字数列を境に、互いに異なる車両のナンバープレートに対応することになる。そこでナンバー認識部６００は、文字数列それぞれにおいて、一連指定番号に該当する数列を認識し、その数列の共通性に基づいて、いずれの文字数列が互いに同一の車両に対応しているかを判断する（ステップＳ６２０）。
【００３０】
次いでナンバー認識部６００は、同一の車両に対応していると判断した複数の文字数列に対して、以下の処理を行う。まずナンバー認識部６００は、文字数列ごとに、運輸支局、車種、用途、及び一連指定番号それぞれの確度を示すスコア値を算出する（ステップＳ６３０）。例えばナンバー認識部６００は、車両ナンバーに用いられる文字列又は数のテンプレート画像を予め保持しておき、これら複数のテンプレート画像と文字数列を構成する文字及び数とを比較することにより、スコア値を算出する。次いでナンバー認識部６００は、運輸支局、車種、用途、及び一連指定番号別に、最もスコア値の高い文字数列を特定し、特定した文字数列を組み合わせることにより、車両ナンバーを認識する（ステップＳ６４０）。
【００３１】
次に、本実施形態の作用及び効果について説明する。本実施形態に係る画像処理装置は、第１記憶部３００を有している。プレート位置検出部２００は、入力画像データとプレート位置情報を第１記憶部３００に格納し、文字認識部４００は、第１記憶部３００から入力画像データとプレート位置情報を読み出して処理する。このため、プレート位置検出部２００が行う処理と文字認識部４００が行う処理とを並列して行うことができる。
【００３２】
また本実施形態に係る画像処理装置は、第２記憶部５００を有している。文字認識部４００は認識した文字数列を第２記憶部５００に記憶させ、ナンバー認識部６００は、第２記憶部５００から複数の文字数列を読み出して処理する。このため、文字認識部４００が行う処理とナンバー認識部６００が行う処理とを並列して行うことができる。
【００３３】
このように本実施形態に係る画像処理装置は、プレート位置検出部２００、文字認識部４００、及びナンバー認識部６００が並列して動作する。従って、車両ナンバーの認識処理を高速化することができる。
【００３４】
また画像生成部１００は複数の車両を続けて撮像する。このため、第２記憶部５００が記憶している複数の文字数列は、ある文字数列を境に、互いに異なる車両のナンバープレートに対応することになる。本実施形態では、ナンバー認識部６００は、文字数列それぞれにおいて、一連指定番号に該当する数列を認識し、その数列の共通性に基づいて、いずれの文字数列（入力画像データ）が互いに同一の車両に対応しているかを判断する。一連指定番号は車両ナンバーの中では最も文字が大きいため、誤認識される確率は最も低い。また同一の一連指定番号を有する車両が連続して通る確率はきわめて低い。従ってナンバー認識部６００が上記した処理を行うことにより、同一の車両に対応している入力画像データを精度よく特定することができる。
【００３５】
またナンバー認識部６００は、運輸支局、車種、用途、及び一連指定番号別に、最もスコア値の高い文字数列を特定し、特定した文字数列を組み合わせることにより、車両ナンバーを認識している。従って、制度よく車両ナンバーを認識することができる。
【００３６】
また画像処理装置を搭載している車両及び対向車両の双方が停止している場合、連続する少なくとも２つの入力画像データにおけるプレート位置情報は同一の位置を示すことになる。このような場合、複数の入力画像データを処理することは画像処理装置に不要な処理を行わせることになり、画像処理装置の処理効率を低下させる。これに対して本実施形態において第１記憶部３００は、前後する２つの入力画像データにおけるプレート位置情報が同一の位置を示している場合、一方の入力画像データを記憶しない。従って、画像処理装置の処理効率が低下することを抑制できる。
【００３７】
図９は、第２の実施形態に係る画像処理装置の機能構成を示すブロック図である。本実施形態に係る画像処理装置は、第３記憶部８００を有している点を除いて、第１の実施形態に係る画像処理装置と同様の構成である。
【００３８】
第３記憶部８００は、画像生成部１００とプレート位置検出部２００の間に設けられ、複数の入力画像データをキュー構造で順次格納する。そしてプレート位置検出部は、第３記憶部８００に記憶されている入力画像データを順次読み出して処理する。
【００３９】
本実施形態によっても第１の実施形態と同様の効果を得ることができる。また第３記憶部８００を設けているため、画像生成部１００が行う処理と、プレート位置検出部２００が行う処理とを並列して行わせることができる。すなわち本実施形態に係る画像処理装置は、画像生成部１００、プレート位置検出部２００、文字認識部４００、及びナンバー認識部６００が並列して動作する。従って、車両ナンバーの認識処理をさらに高速化することができる。
【００４０】
図１０は、第３の実施形態に係る画像処理装置の画像生成部１００の機能構成を示すブロック図である。本実施形態に係る画像生成部１００は、撮像部としてカラー撮像部１１２及びモノクロ撮像部１１４を有している点を除いて、第１又は第２の実施形態に係る画像処理装置と同様の構成である。カラー撮像部１１２及びモノクロ撮像部１１４は、いずれもパラメータ設定部１２０によってパラメータが調整される。
【００４１】
カラー撮像部１１２は、解像度の高い入力画像データを生成するが、感度は高くない。一方、モノクロ撮像部１１４は、感度が高いが、生成する入力画像データの解像度は高くない。本実施形態においてプレート位置検出部２００は、外の明るさが基準値以上のときにはカラー撮像部１１２が生成した入力画像データを使用し、それ以外のときにはモノクロ撮像部１１４が生成した入力画像データを使用する。
【００４２】
例えば画像生成部１００は、撮像装置の周囲の明るさを検地する明度検出部を有していてもよい。この場合、明度検出部の検出結果が基準値以上の場合にはカラー撮像部１１２が動作し、明度検出部の検出結果が基準値未満の場合にはモノクロ撮像部１１４が動作するようにしてもよい。また画像処理装置のユーザからの入力に従って、カラー撮像部１１２とモノクロ撮像部１１４を選択的に動作させるようにしてもよい。
【００４３】
本実施形態によっても第１の実施形態と同様の効果を得ることができる。またプレート位置検出部２００は、外の明るさが基準値以上のときにはカラー撮像部１１２が生成した入力画像データを使用し、それ以外のときにはモノクロ撮像部１１４が生成した入力画像データを使用する。このため、画像処理装置は、外の明るさによらずに高い精度で車両ナンバーを認識することができる。
【００４４】
図１１は、第４の実施形態に係る画像処理装置の機能構成を示すブロック図である。本実施形態に係る画像処理装置は、速度取得部９００を有している点を除いて第１又は第２の実施形態に係る画像処理装置と同様の構成である。本図は、第２の実施形態と同様の場合を示している。
【００４５】
速度取得部９００は、各入力画像データの生成タイミングにおける、画像生成部１００に対する車両の相対速度を測定する。この相対速度は、画像生成部１００が生成した入力画像データに対応付けられて第３記憶部８００に記憶される。そして記憶された相対速度は、後述するように、プレート位置情報を生成するときに使用される。また記憶された相対速度は、後述するように、第１記憶部３００の記憶処理又はナンバー認識部６００が行う処理のいずれか一方で使用される。
【００４６】
図１２は、プレート位置検出部２００が相対速度を利用してプレート位置情報を生成する処理を示すフローチャートである。まずプレート位置検出部２００は、第３記憶部８００から入力画像データ及び相対速度を取得すると、取得した入力画像データのコントラストを強調する処理を行う（ステップＳ２１０）。次いでプレート位置検出部２００は、一つ前の入力画像データにおけるプレート位置情報を読み出す（ステップＳ２１２）。入力画像データは動画を構成するフレーム画像であるため、一つ前の入力画像データを撮像してから現在処理中の入力画像データを撮像するまでの間隔は既知である。従って、プレート位置検出部２００は、相対速度と上記した間隔とを用いることにより、現在処理中の入力画像データにおけるプレートの予想位置を算出することができる。そしてプレート位置検出部２００は、少なくとも算出した予想位置の周囲をパターン認識することにより、プレート位置情報を算出する（ステップＳ２２２）。
【００４７】
図１３は、第１記憶部３００が相対速度を利用して記憶処理を行う場合を示すフローチャートである。第１記憶部３００は、複数の入力画像データに対応する相対速度が連続して基準値以下の場合、同一の車両を撮像した入力画像データの数が多すぎると推定されるため、その連続する入力画像データの一部を記憶しない。例えば第１記憶部３００は、一つ前に記憶した入力画像データに対応する相対速度と、現在処理している入力画像データの相対速度が連続して基準以下の場合（ステップＳ３１２：Ｙｅｓ）、今回の入力画像データ及びプレート位置情報を記憶しない。そしてそれ以外の場合については、第１記憶部３００は入力画像データ及びプレート位置情報を記憶する（ステップＳ３２０）。
【００４８】
図１４は、ナンバー認識部６００が相対速度を利用して車両ナンバーの認識処理を行う場合を示すフローチャートである。本図に示す処理は、相対速度が基準値以下の文字数列が複数ある場合、その一部を処理対象から除く（ステップＳ６１２）点を除いて、図８に示した処理と同様である。
【００４９】
本実施形態によっても第１の実施形態と同様の効果を得ることができる。また画像生成部１００に対する車両の相対速度を用いることにより、第１記憶部３００が記憶する入力画像データ、又はナンバー認識部６００が処理を行う文字数列を少なくすることができる。従って、画像処理装置の処理効率をさらに高くすることができる。
【００５０】
またプレート位置検出部２００は、画像生成部１００に対する車両の相対速度を用いることにより、現在処理中の入力画像データにおけるプレートの予想位置を算出し、算出した予想位置を用いてプレート位置情報を算出している。従って、画像処理装置におけるプレート位置情報の算出速度が速くなる。
【００５１】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【符号の説明】
【００５２】
１００ 画像生成部
１１０ 撮像部
１１２ カラー撮像部
１１４ モノクロ撮像部
１２０ パラメータ設定部
２００ プレート位置検出部
３００ 第１記憶部
４００ 文字認識部
５００ 第２記憶部
６００ ナンバー認識部
７００ ナンバー記憶部
８００ 第３記憶部
９００ 速度取得部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
車両などの移動体に付けられているナンバープレートを自動で認識することは、不審車両やスピード違反をした車両を特定するために重要である。例えば特許文献１には、プレート画像を切り出してプレート画像メモリに記録し、プレート画像メモリに記録されたプレート画像を順に処理して文字認識を行うことが記載されている。この技術によれば、プレート画像の切り出し処理と、文字認識処理とを並列して実行できる、と記載されている。
【０００３】
また特許文献２には、動画からナンバープレートを検出する場合において、検出タイミングに該当するフレームを処理してナンバープレートを認識することが記載されている。この技術によれば、全てのフレームを処理する場合と比較して処理時間が短くなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２６８２９１号公報
【特許文献２】特開２００９−３１８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年は、車両に車両ナンバーを自動で認識するための画像処理装置を搭載し、対向車両の車両ナンバーを自動で判別することが試みられている。この様な用途では、車両ナンバーを自動で認識する処理をさらに高速化することが求められる。
【０００６】
本発明の目的は、車両ナンバーの認識処理を高速化することができる画像処理装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明によれば、ナンバープレートを有する移動体を動画で撮像することにより生成された複数の入力画像データを取得し、取得した前記複数の入力画像データにおける前記ナンバープレートの位置を示すプレート位置情報を生成するプレート位置検出手段と、
前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶する第１記憶手段と、
前記第１記憶手段に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識する文字認識手段と、
前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶する第２記憶手段と、
前記第２記憶手段に記憶されている前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識するナンバー認識手段と、
を備える画像処理装置が提供される。
【０００８】
本発明によれば、画像生成手段が、ナンバープレートを有する移動体を動画で撮像して複数の入力画像データを生成し、
コンピュータが、前記複数の入力画像データにおける前記ナンバープレートの位置を示すプレート位置情報を生成し、
前記コンピュータに第１記憶手段を設け、前記第１記憶手段に前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶させ、
前記コンピュータが、前記第１記憶手段に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識し、
前記コンピュータに第２記憶手段を設け、前記第２記憶手段に前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶させ、
前記コンピュータが、前記第２記憶手段に記憶されている前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識する画像処理方法が提供される。
【０００９】
本発明によれば、コンピュータを、ナンバープレートを有する移動体を動画で撮像することにより生成した複数の入力画像データを処理して車両ナンバーを認識させる画像処理装置として機能させるためのプログラムであって、
前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶する第１記憶機能と、
前記第１記憶機能に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識する機能と、
前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶する第２記憶機能と、
前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識する機能と、
を実現させるプログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、車両ナンバーの認識処理を高速化することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図２】画像生成部の機能構成を示すブロック図である。
【図３】図１に示した画像処理装置の動作を示すフローチャートである。
【図４】図３のステップＳ１０の詳細を示すフローチャートである。
【図５】図３のステップＳ２０の詳細を示すフローチャートである。
【図６】図３のステップＳ３０の詳細を示すフローチャートである。
【図７】図３のステップＳ４０の詳細を示すフローチャートである。
【図８】図３のステップＳ６０の詳細を示すフローチャートである。
【図９】第２の実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図１０】第３の実施形態に係る画像処理装置の画像生成部の機能構成を示すブロック図である。
【図１１】第４の実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図１２】プレート位置検出部が相対速度を利用してプレート位置情報を生成する処理を示すフローチャートである。
【図１３】第１記憶部が相対速度を利用して記憶処理を行う場合を示すフローチャートである。
【図１４】ナンバー認識部が相対速度を利用して車両ナンバーの認識処理を行う場合を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１３】
図１は、第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。この画像処理装置は、画像生成部１００、プレート位置検出部２００、第１記憶部３００、文字認識部４００、第２記憶部５００、及びナンバー認識部６００を備える。画像生成部１００は、ナンバープレートを有する移動体（例えば車両）を動画で撮像して複数の入力画像データを生成する。プレート位置検出部２００は、複数の入力画像データにおけるナンバープレートの位置を示すプレート位置情報を生成する。第１記憶部３００は、複数の入力画像データをプレート位置情報に対応付けて順次記憶する。文字認識部４００は、第１記憶部３００に記憶されている複数の入力画像データをプレート位置情報に対応付けて順次読み出し、複数の入力画像データ及びプレート位置情報に基づいて、ナンバープレートの文字数列を認識する。第２記憶部５００は、複数の入力画像データそれぞれから認識された複数の文字数列を順次記憶する。ナンバー認識部６００は、第２記憶部に記憶されている複数の文字数列に基づいて、ナンバープレートに記載の車両ナンバーを認識する。認識された車両ナンバーは、ナンバー記憶部７００に記憶される。第１記憶部３００及び第２記憶部５００は、キュー（queue）構造でデータを記憶する。
【００１４】
この画像処理装置は、例えば車両に搭載される装置である。そして画像生成部１００は、対向車を撮像することにより複数の入力画像データを生成する。すなわちこの画像処理装置は、対向車の車両ナンバーを自動で認識する装置である。認識された車両ナンバーは、例えば手配中の車両ナンバーと自動で照合される。
【００１５】
またこの画像処理装置は、道路に設置されてもよい。この場合画像生成部１００は、その道路を通行する車両を撮像することにより複数の入力画像データを生成する。
【００１６】
なお、対向車を撮像する場合及び道路を通行する車両を撮像する場合のいずれにおいても、画像生成部１００は複数の車両を続けて撮像することになる。画像処理装置は、複数の車両それぞれの車両ナンバーを認識する。
【００１７】
図１に示した画像処理装置の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。この画像処理装置の各構成要素は、画像生成部１００のうち後述する撮像部１１０を除いて、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【００１８】
図２は、画像生成部１００の機能構成を示すブロック図である。画像生成部１００は撮像部１１０及びパラメータ設定部１２０を備えている。撮像部１１０は動画を生成する装置である。撮像部１１０は入力画像データを生成し続け、生成した入力画像データをその場でプレート位置検出部２００に出力する。また撮像部１１０は、入力画像データをパラメータ設定部１２０に出力する。パラメータ設定部１２０は、入力画像データの明るさを算出し、この明るさに基づいて撮像部１１０の設定、例えばゲインを変更する。
【００１９】
図３は、図１に示した画像処理装置の動作を示すフローチャートである。まず画像生成部１００は複数の入力画像データを生成する（ステップＳ１０）。プレート位置検出部２００は、画像生成部１００が生成した入力画像データを処理してプレート位置を検出し、プレート位置情報を生成する（ステップＳ２０）。第１記憶部３００は、入力画像データとプレート位置情報を記憶する（ステップＳ３０）。
【００２０】
そして文字認識部４００は、第１記憶部３００から入力画像データとプレート位置情報を読み出して文字数列を認識する処理を行う（ステップＳ４０）。第２記憶部５００は、文字認識部４００が認識した文字数列を記憶する（ステップＳ５０）。そしてナンバー認識部６００は、第２記憶部５００から複数の文字数列を読み出して処理することにより、車両ナンバーを認識し（ステップＳ６０）、認識した車両ナンバーをナンバー記憶部７００に記憶させる（ステップＳ７０）。
【００２１】
本実施形態では、第１記憶部３００及び第２記憶部５００を設けている。このため、ステップＳ１０〜Ｓ２０に示した処理と、ステップＳ４０に示した処理と、ステップＳ６０に示した処理とを並列して処理することができる。従って、車両ナンバーの認識処理を高速化することができる。
【００２２】
図４は、図３のステップＳ１０の詳細を示すフローチャートである。撮像部１１０は、動画の各フレームを生成する（ステップＳ１１０）たびに、そのフレームすなわち入力画像データをプレート位置検出部２００に出力するとともに、パラメータ設定部１２０に出力する（ステップＳ１２０）。パラメータ設定部１２０は、入力画像データの明るさを判別し（ステップＳ１３０）、明るさが基準を満たしていない場合（ステップＳ１４０：Ｙｅｓ）、撮像部１１０の設定、例えばゲインを変更する（ステップＳ１５０）。
【００２３】
図５は、図３のステップＳ２０の詳細を示すフローチャートである。プレート位置検出部２００は、撮像部１１０から入力画像データを取得すると、取得した入力画像データのコントラストを強調する処理を行う（ステップＳ２１０）。プレート位置検出部２００は、入力画像データが逆光であったりハレーションを起こしている場合、これらを補正するための処理も行う。次いでプレート位置検出部２００は、パターン認識技術を用いて入力画像データにおけるプレートの位置を仮検出する（ステップＳ２２０）。
【００２４】
次いでプレート位置検出部２００は、仮検出したプレートの位置と、一つ前の入力画像データにおけるプレートの位置とを比較することにより、仮検出したプレートの位置の妥当性を判断する（ステップＳ２３０）。例えばプレート位置検出部２００は、仮検出したプレートの位置が、一つ前の入力画像データにおけるプレートの位置よりも右下に位置する場合に、仮検出したプレートの位置が妥当であると判断する。プレート位置検出部２００は、仮検出したプレートの位置が妥当であると判断された場合、仮検出したプレートの位置を、正式なプレートの位置と判定し、プレート位置情報を生成する（ステップＳ２４０）。なお仮検出したプレートの位置が妥当でないと判断した場合、プレート位置検出部２００は、その入力画像データに対する処理を終了する。
【００２５】
図６は、図３のステップＳ３０の詳細を示すフローチャートである。第１記憶部３００は、前後する２つの入力画像データにおけるプレート位置情報が同一の位置を示しているか否か、すなわちプレート位置に変化があるか否かを判断する（ステップＳ３１０）。プレート位置に変化がない場合（ステップＳ３１０：Ｙｅｓ）場合、一方の入力画像データを記憶しない。例えば第１記憶部３００は、今回記憶すべき入力画像データのプレート位置情報と、一つ前の入力画像データのプレート位置情報が同一の場合、今回の入力画像データ及びプレート位置情報を記憶しない。そしてそれ以外の場合については、第１記憶部３００は入力画像データ及びプレート位置情報を記憶する（ステップＳ３２０）。なお第１記憶部３００は、ステップＳ２１０で処理した後の入力画像データのみではなく、ステップＳ２１０で処理する前の入力画像データも記憶してもよい。
【００２６】
図７は、図３のステップＳ４０の詳細を示すフローチャートである。文字認識部４００は、第１記憶部３００から入力画像データ及びプレート位置情報を読み出す（ステップＳ４１０）。そして文字認識部４００は、入力画像データのうちプレート位置情報により特定される領域を処理することにより、文字の候補位置を複数検出する。文字認識部４００は、例えば輝度の勾配を見ることにより、文字の候補位置を検出する（ステップＳ４２０）。
【００２７】
また文字認識部４００は、ナンバープレートにおける文字の一般的な配列を示す配列情報を記憶している。そして文字認識部４００は、ステップＳ４２０において検出した複数の文字の候補位置のうち、配列情報に対応している候補位置の組み合わせを選択することにより、車両ナンバーの候補位置を検出する（ステップＳ４３０）。次いで文字認識部４００は、入力画像データのうち車両ナンバーの候補位置を含む領域を２値化し（ステップＳ４４０）、その後文字認識処理を行うことにより、車両ナンバーを示す文字数列を検出する（ステップＳ４５０）。
【００２８】
図８は、図３のステップＳ６０の詳細を示すフローチャートである。ナンバー認識部６００は、第２記憶部５００が所定数の文字数列を記憶する（ステップＳ６１０：Ｙｅｓ）と、これら所定数の文字数列を用いて以下の処理を行う。
【００２９】
上記したように、画像生成部１００は複数の車両を続けて撮像する。このため、第２記憶部５００が記憶している複数の文字数列は、ある文字数列を境に、互いに異なる車両のナンバープレートに対応することになる。そこでナンバー認識部６００は、文字数列それぞれにおいて、一連指定番号に該当する数列を認識し、その数列の共通性に基づいて、いずれの文字数列が互いに同一の車両に対応しているかを判断する（ステップＳ６２０）。
【００３０】
次いでナンバー認識部６００は、同一の車両に対応していると判断した複数の文字数列に対して、以下の処理を行う。まずナンバー認識部６００は、文字数列ごとに、運輸支局、車種、用途、及び一連指定番号それぞれの確度を示すスコア値を算出する（ステップＳ６３０）。例えばナンバー認識部６００は、車両ナンバーに用いられる文字列又は数のテンプレート画像を予め保持しておき、これら複数のテンプレート画像と文字数列を構成する文字及び数とを比較することにより、スコア値を算出する。次いでナンバー認識部６００は、運輸支局、車種、用途、及び一連指定番号別に、最もスコア値の高い文字数列を特定し、特定した文字数列を組み合わせることにより、車両ナンバーを認識する（ステップＳ６４０）。
【００３１】
次に、本実施形態の作用及び効果について説明する。本実施形態に係る画像処理装置は、第１記憶部３００を有している。プレート位置検出部２００は、入力画像データとプレート位置情報を第１記憶部３００に格納し、文字認識部４００は、第１記憶部３００から入力画像データとプレート位置情報を読み出して処理する。このため、プレート位置検出部２００が行う処理と文字認識部４００が行う処理とを並列して行うことができる。
【００３２】
また本実施形態に係る画像処理装置は、第２記憶部５００を有している。文字認識部４００は認識した文字数列を第２記憶部５００に記憶させ、ナンバー認識部６００は、第２記憶部５００から複数の文字数列を読み出して処理する。このため、文字認識部４００が行う処理とナンバー認識部６００が行う処理とを並列して行うことができる。
【００３３】
このように本実施形態に係る画像処理装置は、プレート位置検出部２００、文字認識部４００、及びナンバー認識部６００が並列して動作する。従って、車両ナンバーの認識処理を高速化することができる。
【００３４】
また画像生成部１００は複数の車両を続けて撮像する。このため、第２記憶部５００が記憶している複数の文字数列は、ある文字数列を境に、互いに異なる車両のナンバープレートに対応することになる。本実施形態では、ナンバー認識部６００は、文字数列それぞれにおいて、一連指定番号に該当する数列を認識し、その数列の共通性に基づいて、いずれの文字数列（入力画像データ）が互いに同一の車両に対応しているかを判断する。一連指定番号は車両ナンバーの中では最も文字が大きいため、誤認識される確率は最も低い。また同一の一連指定番号を有する車両が連続して通る確率はきわめて低い。従ってナンバー認識部６００が上記した処理を行うことにより、同一の車両に対応している入力画像データを精度よく特定することができる。
【００３５】
またナンバー認識部６００は、運輸支局、車種、用途、及び一連指定番号別に、最もスコア値の高い文字数列を特定し、特定した文字数列を組み合わせることにより、車両ナンバーを認識している。従って、制度よく車両ナンバーを認識することができる。
【００３６】
また画像処理装置を搭載している車両及び対向車両の双方が停止している場合、連続する少なくとも２つの入力画像データにおけるプレート位置情報は同一の位置を示すことになる。このような場合、複数の入力画像データを処理することは画像処理装置に不要な処理を行わせることになり、画像処理装置の処理効率を低下させる。これに対して本実施形態において第１記憶部３００は、前後する２つの入力画像データにおけるプレート位置情報が同一の位置を示している場合、一方の入力画像データを記憶しない。従って、画像処理装置の処理効率が低下することを抑制できる。
【００３７】
図９は、第２の実施形態に係る画像処理装置の機能構成を示すブロック図である。本実施形態に係る画像処理装置は、第３記憶部８００を有している点を除いて、第１の実施形態に係る画像処理装置と同様の構成である。
【００３８】
第３記憶部８００は、画像生成部１００とプレート位置検出部２００の間に設けられ、複数の入力画像データをキュー構造で順次格納する。そしてプレート位置検出部は、第３記憶部８００に記憶されている入力画像データを順次読み出して処理する。
【００３９】
本実施形態によっても第１の実施形態と同様の効果を得ることができる。また第３記憶部８００を設けているため、画像生成部１００が行う処理と、プレート位置検出部２００が行う処理とを並列して行わせることができる。すなわち本実施形態に係る画像処理装置は、画像生成部１００、プレート位置検出部２００、文字認識部４００、及びナンバー認識部６００が並列して動作する。従って、車両ナンバーの認識処理をさらに高速化することができる。
【００４０】
図１０は、第３の実施形態に係る画像処理装置の画像生成部１００の機能構成を示すブロック図である。本実施形態に係る画像生成部１００は、撮像部としてカラー撮像部１１２及びモノクロ撮像部１１４を有している点を除いて、第１又は第２の実施形態に係る画像処理装置と同様の構成である。カラー撮像部１１２及びモノクロ撮像部１１４は、いずれもパラメータ設定部１２０によってパラメータが調整される。
【００４１】
カラー撮像部１１２は、解像度の高い入力画像データを生成するが、感度は高くない。一方、モノクロ撮像部１１４は、感度が高いが、生成する入力画像データの解像度は高くない。本実施形態においてプレート位置検出部２００は、外の明るさが基準値以上のときにはカラー撮像部１１２が生成した入力画像データを使用し、それ以外のときにはモノクロ撮像部１１４が生成した入力画像データを使用する。
【００４２】
例えば画像生成部１００は、撮像装置の周囲の明るさを検地する明度検出部を有していてもよい。この場合、明度検出部の検出結果が基準値以上の場合にはカラー撮像部１１２が動作し、明度検出部の検出結果が基準値未満の場合にはモノクロ撮像部１１４が動作するようにしてもよい。また画像処理装置のユーザからの入力に従って、カラー撮像部１１２とモノクロ撮像部１１４を選択的に動作させるようにしてもよい。
【００４３】
本実施形態によっても第１の実施形態と同様の効果を得ることができる。またプレート位置検出部２００は、外の明るさが基準値以上のときにはカラー撮像部１１２が生成した入力画像データを使用し、それ以外のときにはモノクロ撮像部１１４が生成した入力画像データを使用する。このため、画像処理装置は、外の明るさによらずに高い精度で車両ナンバーを認識することができる。
【００４４】
図１１は、第４の実施形態に係る画像処理装置の機能構成を示すブロック図である。本実施形態に係る画像処理装置は、速度取得部９００を有している点を除いて第１又は第２の実施形態に係る画像処理装置と同様の構成である。本図は、第２の実施形態と同様の場合を示している。
【００４５】
速度取得部９００は、各入力画像データの生成タイミングにおける、画像生成部１００に対する車両の相対速度を測定する。この相対速度は、画像生成部１００が生成した入力画像データに対応付けられて第３記憶部８００に記憶される。そして記憶された相対速度は、後述するように、プレート位置情報を生成するときに使用される。また記憶された相対速度は、後述するように、第１記憶部３００の記憶処理又はナンバー認識部６００が行う処理のいずれか一方で使用される。
【００４６】
図１２は、プレート位置検出部２００が相対速度を利用してプレート位置情報を生成する処理を示すフローチャートである。まずプレート位置検出部２００は、第３記憶部８００から入力画像データ及び相対速度を取得すると、取得した入力画像データのコントラストを強調する処理を行う（ステップＳ２１０）。次いでプレート位置検出部２００は、一つ前の入力画像データにおけるプレート位置情報を読み出す（ステップＳ２１２）。入力画像データは動画を構成するフレーム画像であるため、一つ前の入力画像データを撮像してから現在処理中の入力画像データを撮像するまでの間隔は既知である。従って、プレート位置検出部２００は、相対速度と上記した間隔とを用いることにより、現在処理中の入力画像データにおけるプレートの予想位置を算出することができる。そしてプレート位置検出部２００は、少なくとも算出した予想位置の周囲をパターン認識することにより、プレート位置情報を算出する（ステップＳ２２２）。
【００４７】
図１３は、第１記憶部３００が相対速度を利用して記憶処理を行う場合を示すフローチャートである。第１記憶部３００は、複数の入力画像データに対応する相対速度が連続して基準値以下の場合、同一の車両を撮像した入力画像データの数が多すぎると推定されるため、その連続する入力画像データの一部を記憶しない。例えば第１記憶部３００は、一つ前に記憶した入力画像データに対応する相対速度と、現在処理している入力画像データの相対速度が連続して基準以下の場合（ステップＳ３１２：Ｙｅｓ）、今回の入力画像データ及びプレート位置情報を記憶しない。そしてそれ以外の場合については、第１記憶部３００は入力画像データ及びプレート位置情報を記憶する（ステップＳ３２０）。
【００４８】
図１４は、ナンバー認識部６００が相対速度を利用して車両ナンバーの認識処理を行う場合を示すフローチャートである。本図に示す処理は、相対速度が基準値以下の文字数列が複数ある場合、その一部を処理対象から除く（ステップＳ６１２）点を除いて、図８に示した処理と同様である。
【００４９】
本実施形態によっても第１の実施形態と同様の効果を得ることができる。また画像生成部１００に対する車両の相対速度を用いることにより、第１記憶部３００が記憶する入力画像データ、又はナンバー認識部６００が処理を行う文字数列を少なくすることができる。従って、画像処理装置の処理効率をさらに高くすることができる。
【００５０】
またプレート位置検出部２００は、画像生成部１００に対する車両の相対速度を用いることにより、現在処理中の入力画像データにおけるプレートの予想位置を算出し、算出した予想位置を用いてプレート位置情報を算出している。従って、画像処理装置におけるプレート位置情報の算出速度が速くなる。
【００５１】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【符号の説明】
【００５２】
１００ 画像生成部
１１０ 撮像部
１１２ カラー撮像部
１１４ モノクロ撮像部
１２０ パラメータ設定部
２００ プレート位置検出部
３００ 第１記憶部
４００ 文字認識部
５００ 第２記憶部
６００ ナンバー認識部
７００ ナンバー記憶部
８００ 第３記憶部
９００ 速度取得部
【特許請求の範囲】
【請求項１】
ナンバープレートを有する移動体を動画で撮像することにより生成された複数の入力画像データを取得し、取得した前記複数の入力画像データにおける前記ナンバープレートの位置を示すプレート位置情報を生成するプレート位置検出手段と、
前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶する第１記憶手段と、
前記第１記憶手段に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識する文字認識手段と、
前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶する第２記憶手段と、
前記第２記憶手段に記憶されている前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識するナンバー認識手段と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記複数の入力画像データを生成する画像生成手段と前記プレート位置検出手段の間に設けられ、前記複数の入力画像データを順次格納する第３記憶手段をさらに備え、
前記プレート位置検出手段は、前記第３記憶手段に記憶されている入力画像データを順次読み出して処理する画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置において、
複数の前記移動体それぞれについて前記複数の入力画像データが生成され、
前記ナンバー認識手段は、一連指定番号に該当する数列の共通性に基づいて、同一の前記移動体に対応している前記複数の文字数列を特定する画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記ナンバー認識手段は、
運輸支局、車種、用途、及び一連指定番号別に確度を示すスコア値を算出する処理を前記複数の文字数列に対して行い、
前記運輸支局、前記車種、前記用途、及び前記一連指定番号別に、最も前記スコア値の高い文字数列を特定し、特定した文字数列を組み合わせることにより、前記車両ナンバーを認識する画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記入力画像データの生成タイミングにおける前記画像生成手段に対する前記移動体の相対速度を測定する速度取得手段をさらに備え、
前記ナンバー認識手段は、前記速度取得手段が取得した前記相対速度が基準値以下の場合、前記複数の文字数列の一部について処理を行わない画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理装置において、
前記複数の入力画像データそれぞれの生成タイミングにおける前記画像生成手段に対する前記移動体の相対速度を測定する速度取得手段をさらに備え、
前記第１記憶手段は、前記速度取得手段が取得した前記相対速度が連続して基準値以下の場合、前記相対速度が前記基準値以下である前記複数の入力画像データの一部を記憶しない画像処理装置。
【請求項７】
請求項１〜５のいずれか一項に記載の画像処理装置において、
前記第１記憶手段は、前後する２つの前記入力画像データにおける前記プレート位置情報が同一の位置を示している場合、一方の前記入力画像データを記憶しない画像処理装置。
【請求項８】
請求項１〜７のいずれか一項に記載の画像処理装置において、
前記入力画像データの生成タイミングにおける前記画像生成手段に対する前記移動体の相対速度を測定する速度取得手段をさらに備え、
前記プレート位置検出手段は、一つ前に処理した前記入力画像データにおける前記位置情報と、前記相対速度を用いて前記プレート位置情報を生成する画像処理装置。
【請求項９】
請求項１〜８のいずれか一項に記載の画像処理装置において、
前記画像生成手段は車両に搭載される画像処理装置。
【請求項１０】
請求項１〜８のいずれか一項に記載の画像処理装置において、
前記画像生成手段は道路に設置される画像処理装置。
【請求項１１】
画像生成手段が、ナンバープレートを有する移動体を動画で撮像して複数の入力画像データを生成し、
コンピュータが、前記複数の入力画像データにおける前記ナンバープレートの位置を示すプレート位置情報を生成し、
前記コンピュータに第１記憶手段を設け、前記第１記憶手段に前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶させ、
前記コンピュータが、前記第１記憶手段に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識し、
前記コンピュータに第２記憶手段を設け、前記第２記憶手段に前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶させ、
前記コンピュータが、前記第２記憶手段に記憶されている前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識する画像処理方法。
【請求項１２】
コンピュータを、ナンバープレートを有する移動体を動画で撮像することにより生成した複数の入力画像データを処理して車両ナンバーを認識させる画像処理装置として機能させるためのプログラムであって、
前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶する第１記憶機能と、
前記第１記憶機能に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識する機能と、
前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶する第２記憶機能と、
前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識する機能と、
を実現させるプログラム。
【請求項１】
ナンバープレートを有する移動体を動画で撮像することにより生成された複数の入力画像データを取得し、取得した前記複数の入力画像データにおける前記ナンバープレートの位置を示すプレート位置情報を生成するプレート位置検出手段と、
前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶する第１記憶手段と、
前記第１記憶手段に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識する文字認識手段と、
前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶する第２記憶手段と、
前記第２記憶手段に記憶されている前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識するナンバー認識手段と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記複数の入力画像データを生成する画像生成手段と前記プレート位置検出手段の間に設けられ、前記複数の入力画像データを順次格納する第３記憶手段をさらに備え、
前記プレート位置検出手段は、前記第３記憶手段に記憶されている入力画像データを順次読み出して処理する画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置において、
複数の前記移動体それぞれについて前記複数の入力画像データが生成され、
前記ナンバー認識手段は、一連指定番号に該当する数列の共通性に基づいて、同一の前記移動体に対応している前記複数の文字数列を特定する画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記ナンバー認識手段は、
運輸支局、車種、用途、及び一連指定番号別に確度を示すスコア値を算出する処理を前記複数の文字数列に対して行い、
前記運輸支局、前記車種、前記用途、及び前記一連指定番号別に、最も前記スコア値の高い文字数列を特定し、特定した文字数列を組み合わせることにより、前記車両ナンバーを認識する画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記入力画像データの生成タイミングにおける前記画像生成手段に対する前記移動体の相対速度を測定する速度取得手段をさらに備え、
前記ナンバー認識手段は、前記速度取得手段が取得した前記相対速度が基準値以下の場合、前記複数の文字数列の一部について処理を行わない画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理装置において、
前記複数の入力画像データそれぞれの生成タイミングにおける前記画像生成手段に対する前記移動体の相対速度を測定する速度取得手段をさらに備え、
前記第１記憶手段は、前記速度取得手段が取得した前記相対速度が連続して基準値以下の場合、前記相対速度が前記基準値以下である前記複数の入力画像データの一部を記憶しない画像処理装置。
【請求項７】
請求項１〜５のいずれか一項に記載の画像処理装置において、
前記第１記憶手段は、前後する２つの前記入力画像データにおける前記プレート位置情報が同一の位置を示している場合、一方の前記入力画像データを記憶しない画像処理装置。
【請求項８】
請求項１〜７のいずれか一項に記載の画像処理装置において、
前記入力画像データの生成タイミングにおける前記画像生成手段に対する前記移動体の相対速度を測定する速度取得手段をさらに備え、
前記プレート位置検出手段は、一つ前に処理した前記入力画像データにおける前記位置情報と、前記相対速度を用いて前記プレート位置情報を生成する画像処理装置。
【請求項９】
請求項１〜８のいずれか一項に記載の画像処理装置において、
前記画像生成手段は車両に搭載される画像処理装置。
【請求項１０】
請求項１〜８のいずれか一項に記載の画像処理装置において、
前記画像生成手段は道路に設置される画像処理装置。
【請求項１１】
画像生成手段が、ナンバープレートを有する移動体を動画で撮像して複数の入力画像データを生成し、
コンピュータが、前記複数の入力画像データにおける前記ナンバープレートの位置を示すプレート位置情報を生成し、
前記コンピュータに第１記憶手段を設け、前記第１記憶手段に前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶させ、
前記コンピュータが、前記第１記憶手段に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識し、
前記コンピュータに第２記憶手段を設け、前記第２記憶手段に前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶させ、
前記コンピュータが、前記第２記憶手段に記憶されている前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識する画像処理方法。
【請求項１２】
コンピュータを、ナンバープレートを有する移動体を動画で撮像することにより生成した複数の入力画像データを処理して車両ナンバーを認識させる画像処理装置として機能させるためのプログラムであって、
前記複数の入力画像データを前記プレート位置情報に対応付けて順次記憶する第１記憶機能と、
前記第１記憶機能に記憶されている前記複数の入力画像データを前記プレート位置情報に対応付けて順次読み出し、前記複数の入力画像データ及び前記プレート位置情報に基づいて、前記ナンバープレートの文字数列を認識する機能と、
前記複数の入力画像データそれぞれから認識された複数の前記文字数列を順次記憶する第２記憶機能と、
前記複数の文字数列に基づいて、前記ナンバープレートに記載の車両ナンバーを認識する機能と、
を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−８９６４（Ｐ２０１２−８９６４Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４６７１２（Ｐ２０１０−１４６７１２）
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（０００２１３３０１）中部日本電気ソフトウェア株式会社 (56)
【出願人】（３９４０１７４９１）株式会社ＮＥＣ情報システムズ (33)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（０００２１３３０１）中部日本電気ソフトウェア株式会社 (56)
【出願人】（３９４０１７４９１）株式会社ＮＥＣ情報システムズ (33)
【Ｆターム（参考）】
[ Back to top ]