パターン認識装置及びパターン認識方法、プログラム及び記録媒体
【課題】同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱えるようにする。
【解決手段】画像入力部１０１により、画像とともにこの画像の撮影地点、時刻等の付帯情報を入力し、画像データ蓄積部１０２に蓄積する。また、文字認識部１０３により画像中の文字認識を行い、認識結果を文字認識結果蓄積部１０４に蓄積する。この画像及び付帯情報と文字認識結果とから、指示部１０５で入力された解析条件に基づき、解析部１０６で対象物に関連する対象物文字情報を抽出して対象物を解析し、解析結果を結果出力部１０７で出力する。これにより、同じ対象物を指し示した文字パターンの変動を解析することで、対象物の変動を解析可能である。
【解決手段】画像入力部１０１により、画像とともにこの画像の撮影地点、時刻等の付帯情報を入力し、画像データ蓄積部１０２に蓄積する。また、文字認識部１０３により画像中の文字認識を行い、認識結果を文字認識結果蓄積部１０４に蓄積する。この画像及び付帯情報と文字認識結果とから、指示部１０５で入力された解析条件に基づき、解析部１０６で対象物に関連する対象物文字情報を抽出して対象物を解析し、解析結果を結果出力部１０７で出力する。これにより、同じ対象物を指し示した文字パターンの変動を解析することで、対象物の変動を解析可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、変動する可能性のある対象物が記録されている複数の画像に基づき、同時に記録された文字情報を用いて、記録された対象物の変動を解析するために利用されるパターン認識技術に関する。
【背景技術】
【０００２】
入力された画像を処理することにより、画像中に含まれる様々なパターンを認識するための技術が従来より提案されている。例えば、特許文献１においては、地図の内容が含まれる画像を処理して地図中の文字列を認識したり、動画中の所定位置に挿入された大きさが一定の文字列情報をパターン認識により認識することを想定している。
【０００３】
例えば、特許文献１に開示されているような従来のパターン認識装置においては、画像中に含まれている文字パターンの位置やサイズ、文字認識の候補文字コードの一致度に応じて文字パターンを複数グループに分割し、グループに含まれる文字全体を用いて文字パターンに対応する文字コードを決定している。
【０００４】
図１４は特許文献１に記載された従来のパターン認識方法における制御の内容を示すフローチャートである。図１４に示す制御において、文字候補獲得工程（Ｓ１〜Ｓ６）では、画像から文字パターンを抽出して、対応する候補文字コードとその確信度を獲得する。グルーピング工程（Ｓ３）では、文字パターンをグループ化して文字グループを生成する。一致文字グループ検出工程（Ｓ６）では、画像に含まれる生成された文字グループに含まれる獲得された候補文字コードのマッチングを、文字グループ間毎に行い、一致する文字グループを検出する。文字コード決定工程（Ｓ７〜Ｓ９）では、検出された一致する文字グループに含まれる候補文字コードごとに対応する確信度を集計し、集計された確信度に基づき、文字グループに含まれる文字パターンに対応する文字コードを決定する。
【特許文献１】特開平９−８１６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した従来のパターン認識技術では、同じ対象物に付加された文字列であっても、その対象物が移動や大きさの変化等によって変動する場合には、同じ対象物に関連付けて扱うことはできなかった。
【０００６】
従来技術では、画像中の文字の位置やサイズで文字パターンを複数グループに分割し、グループに含まれる文字全体を用いて文字パターンに対応する文字コードを決定しているので、同じ対象物を指し示している文字パターンが例えば撮影時刻の異なる複数の画像中にそれぞれ存在している場合であっても、対象物の位置やサイズが画像毎に異なった状態で存在していると、画像毎に独立した対象物を指し示す文字パターンとしてそれぞれ認識されることになる。このため、複数の画像について文字パターンと対象物との関連付けを行うことができない。
【０００７】
例えば、道路上を移動する様々な車両をカメラで撮影して得られる動画像に基づいて車両を自動的に監視しようとするような場合には、それぞれの車両と各車両のナンバープレートに表示されている番号等の文字列、あるいは車両のボディに表示されている広告等の文字列の内容とを対応付けることができれば、それぞれの車両の状態を追跡することが可能になる。しかし、各車両の移動等に伴って対象物とそれを示す文字列パターンのサイズや位置が画像毎に変化することになるので、従来技術では文字列パターンは画像毎に独立したものとして扱われる。そのため、移動中の車両のような対象物については、例えば特定の車両とそのナンバープレートに表示されている番号等とを互いに関連付けて時系列の状態変化として管理することができなかった。
【０００８】
本発明は、上記事情に鑑みてなされたもので、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能なパターン認識装置及びパターン認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力部と、前記画像入力部で入力された画像及び付帯情報を蓄積する画像データ蓄積部と、前記画像入力部で入力された画像に含まれる文字を認識する文字認識部と、前記文字認識部で認識された文字認識結果を蓄積する文字認識結果蓄積部と、対象物の解析条件を入力する指示部と、前記指示部で入力された解析条件に基づき、前記画像データ蓄積部で蓄積された画像及び付帯情報と前記文字認識結果蓄積部で蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析部と、前記解析部で解析された結果を出力する結果出力部とを備えるパターン認識装置を提供する。
上記構成によれば、入力した所定の解析条件に基づき、蓄積した画像及び付帯情報と蓄積した文字認識結果とから、対象物に関連する対象物文字情報を抽出して対象物を解析することで、例えば、複数の画像において、同じ対象物を指し示している文字パターンが位置やサイズが異なった状態でそれぞれ存在している場合であっても、複数の画像上で同じ対象物を指し示しているそれぞれの文字パターンを共通に扱うことが可能となる。このため、文字認識結果を用いて、例えば文字パターンの変動（移動など）を解析することにより、文字パターンが指し示す対象物の変動を解析することが可能になる。
前記付帯情報としては、例えば当該画像を撮影するカメラの設置位置や撮影時刻のような情報を用いることが想定される。つまり、例えば同じ地点で撮影され、撮影時刻が少しずれた複数の画像を処理するような場合には、これらの画像の中に同じ対象物（車両など）が含まれている可能性があるが、対象物及びそれを示す文字パターン（例えば車両のナンバープレート中の表示番号）の画像中の位置や大きさなどは画像毎に位置や大きさなどがずれている可能性が高く、完全に一致することは少ない。しかし、撮影地点の一致の有無や撮影時刻の違いなどを考慮して複数の画像を処理すれば、対象物及びそれを示す文字パターンの変動（移動など）を認識することが可能であり、複数の画像中にそれぞれ現れた同じ対象物及びそれを示す文字パターンを共通の要素として扱うことができ、対象物及びそれを示す文字パターンの変動の状況を検出することも可能になる。
【００１０】
また、本発明は、上記のパターン認識装置であって、前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、前記解析部は、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うものを含む。
上記構成によれば、解析部が解析を行う際に、文字認識結果である候補文字コード及び評価値と、文字の位置及びサイズとを用いることで、例えば対象物の変動に伴ってそれを示す文字パターンが少しずつ異なる状態で複数の画像中にそれぞれ現れる場合であっても、それぞれの文字パターンが共通の対象物を示すものとして扱うことが容易になる。
例えば、文字認識が困難な場合には１つの文字パターンに対する認識結果として複数の候補文字コードが抽出されることになるが、抽出されたそれぞれの候補文字の確信度等を表す評価値を参照することにより、複数の候補文字の中から適切な１つの文字を選択することが可能になる。また、複数の画像の中でそれぞれ検出された文字パターンの位置やサイズの類似性を考慮することにより、各画像中の文字パターンが共通の対象物を示す文字か否かを識別可能になる。
【００１１】
また、本発明は、上記のパターン認識装置であって、前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記解析部は、前記画像の撮影位置及び撮影時間を用いて解析を行うものを含む。
上記構成によれば、解析部が解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報を利用することで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。例えば、同じ地点で撮影され、撮影時刻が非常に近い２枚の画像のそれぞれに対象物及びそれを示す文字パターンが現れている場合に、複数画像中の対象物及び文字パターンが共通であるか否かを撮影時刻等の類似性から判断することが可能になる。
【００１２】
また、本発明は、上記のパターン認識装置であって、前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、前記解析部は、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うものを含む。
上記構成によれば、解析部が解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報と、更に文字認識結果として得られる文字コード及び評価値と、文字の位置及びサイズと、更に複数画像間の文字画像の類似度と、画像の色情報とを用いることで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
例えば、同じ地点で撮影され、撮影時刻が非常に近い２枚の画像のそれぞれに対象物及びそれを示す文字パターンが現れている場合に、複数画像中の対象物及び文字パターンが共通であるか否かを撮影時刻等の類似性から判断することが可能になる。また、各文字パターンの文字認識結果として得られた文字コード及び評価値と、文字の位置及びサイズを利用してそれらの類似性を判定することにより、複数画像中の各文字パターンが共通の対象物を示すものか否かを判断可能になる。更に、複数画像間の文字画像の類似度と色情報とを利用することにより、複数画像中の各文字パターンが共通の対象物を示すものか否かの判断が容易になる。
【００１３】
本発明は、認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力ステップと、前記画像入力ステップで入力された画像及び付帯情報を蓄積する画像データ蓄積ステップと、前記画像入力ステップで入力された画像に含まれる文字を認識する文字認識ステップと、前記文字認識ステップで認識された文字認識結果を蓄積する文字認識結果蓄積ステップと、対象物の解析条件を入力する指示ステップと、前記指示ステップで入力された解析条件に基づき、前記画像データ蓄積ステップで蓄積された画像及び付帯情報と前記文字認識結果蓄積ステップで蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析ステップと、前記解析部で解析された結果を出力する結果出力ステップとを有するパターン認識方法を提供する。
上記手順によれば、入力した所定の解析条件に基づき、蓄積した画像及び付帯情報と蓄積した文字認識結果とから、対象物に関連する対象物文字情報を抽出して対象物を解析することで、例えば、複数の画像において、同じ対象物を指し示している文字パターンが位置やサイズが異なった状態でそれぞれ存在している場合であっても、複数の画像上で同じ対象物を指し示しているそれぞれの文字パターンを共通に扱うことが可能となる。このため、文字認識結果を用いて、例えば文字パターンの変動（移動など）を解析することにより、文字パターンが指し示す対象物の変動を解析することが可能になる。
【００１４】
また、本発明は、上記のパターン認識方法であって、前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、前記解析ステップにおいて、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うものを含む。
上記手順によれば、解析ステップにおいて解析を行う際に、文字認識結果である候補文字コード及び評価値と、文字の位置及びサイズとを用いることで、例えば対象物の変動に伴ってそれを示す文字パターンが少しずつ異なる状態で複数の画像中にそれぞれ現れる場合であっても、それぞれの文字パターンが共通の対象物を示すものとして扱うことが容易になる。
【００１５】
また、本発明は、上記のパターン認識方法であって、前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記解析ステップにおいて、前記画像の撮影位置及び撮影時間を用いて解析を行うものを含む。
上記手順によれば、解析ステップにおいて解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報を利用することで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
【００１６】
また、本発明は、上記のパターン認識方法であって、前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、前記解析ステップにおいて、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うものを含む。
上記手順によれば、解析ステップにおいて解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報と、更に文字認識結果として得られる文字コード及び評価値と、文字の位置及びサイズと、更に複数画像間の文字画像の類似度と、画像の色情報とを用いることで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
【００１７】
また、本発明は、コンピュータに、上記のいずれかに記載のパターン認識方法の各ステップを実行させるためのプログラムを提供する。
また、本発明は、上記のプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【発明の効果】
【００１８】
本発明によれば、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能なパターン認識装置及びパターン認識方法、プログラム及び記録媒体を提供できる。
【発明を実施するための最良の形態】
【００１９】
（実施の形態１）
図１は、本発明の実施の形態に係るパターン認識装置の構成を示すブロック図である。本実施の形態のパターン認識装置は、画像入力部１０１、画像データ蓄積部１０２、文字認識部１０３、文字認識結果蓄積部１０４、指示部１０５、解析部１０６、結果出力部１０７を備えている。
【００２０】
具体的には、このパターン認識装置は、例えば図２に示すような画像中に現れる認識対象物（この例では道路上を走行する車両）を認識するような用途に用いることを想定している。図２は実施の形態１のパターン認識装置に係る１箇所の撮影地点で撮影した画像列の例を示す模式図である。
【００２１】
画像入力部１０１は、対象物が含まれる可能性のある画像について、画像及びそれに付帯する付帯情報を入力する。この付帯情報については、画像の撮影位置及び撮影時間の情報が含まれる。画像入力部１０１については、予め固定された撮影位置で例えば一定の時間間隔で静止画画像を周期的に撮影するカメラを利用して構成することができる。画像データ蓄積部１０２は、画像入力部１０１で入力された画像及び付帯情報を蓄積する。
【００２２】
図２に示す例では、１箇所の撮影地点（Ｐａ）でそれぞれ異なる時点で順番に撮影した複数枚の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・が画像入力部１０１から順に入力される場合を想定している。また、図２に示す例では、移動する車両を含むパターンが静止画の各画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）にそれぞれ現れている。
【００２３】
図３は実施の形態１に係る画像列の付帯情報の構成例を示す模式図である。この図３には、画像入力部１０１が図２に示したような画像列を入力する場合に、画像データ蓄積部１０２に蓄積される画像と各画像に対応した付帯情報の具体例が示されている。
【００２４】
図３に示す例では、複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・のそれぞれについて、画像の他に撮影位置（地点）及び撮影時間（時刻）を表す付帯情報が含まれている。付帯情報の撮影位置（地点）の内容から、図３に示す複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）は、全て同じ撮影位置（地点）で撮影された画像であることが分かる。また、付帯情報の撮影時間（時刻）の内容から、図３に示す複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）は、少しずつずれた時刻に撮影された画像であることが分かる。
【００２５】
文字認識部１０３は、画像入力部１０１で入力された画像に記録されている文字パターンを認識し、文字パターン毎に、対応する１つ又はそれ以上の候補文字を表す候補文字コード及び候補文字毎の評価値（文字認識結果の確信度等に相当する値）と、画像中の文字の位置座標及びサイズを含む認識結果を求める。文字認識結果蓄積部１０４は、文字認識部１０３で認識された文字認識結果を蓄積する。
【００２６】
図４は実施の形態１に係る画像列の文字認識結果の情報の構成例を示す模式図である。この図４には、画像入力部１０１が図３に示したような画像及び付帯情報を入力する場合に、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積される文字認識結果の具体例が示されている。
【００２７】
図４に示す例では、図２に示した複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）のそれぞれについて、文字パターン毎に、各文字パターンを区別する情報（１０４ａ）と、１以上の候補文字コード（１０４ｂ）と、候補文字毎の評価値（１０４ｃ）と、文字パターンの始点及び終点の位置座標（１０４ｄ）の情報が蓄積されている。
【００２８】
例えば、文字認識部１０３において、図２に示す画像（Ｐａ１）に現れている対象物である（車Ａ）のナンバープレートに現れている番号の各文字パターンが認識されると、図４に示すように、画像（Ｐａ１）に対応する各文字パターン（Ｃ７）、（Ｃ８）、（Ｃ９）、（Ｃ１０）としてそれぞれ「１」、「２」、「３」、「４」の候補文字コードが検出され、候補毎の評価値と位置座標の情報が文字認識結果蓄積部１０４に蓄積される。また、各文字パターンの位置座標として始点及び終点の座標が含まれているので、文字パターンのサイズを検出することもできる。
【００２９】
指示部１０５は、対象物の解析条件を入力する。具体的な解析条件としては、例えば認識対象物を特定するための文字列（例えばナンバープレート中の番号）を指定することが想定される。解析部１０６は、指示部１０５で入力された解析条件に基づき、画像データ蓄積部１０２で蓄積された画像及び付帯情報と文字認識結果蓄積部１０４で蓄積された文字認識結果から、文字コード及び評価値と、文字の位置及びサイズと、画像の撮影位置及び撮影時間と、色情報を用いて対象物に関連する対象物文字情報を抽出し対象物を解析する。
【００３０】
結果出力部１０７は、解析部１０６で解析された結果を出力する。
【００３１】
次に、本実施の形態のパターン認識装置の動作を説明する。図５は本実施の形態のパターン認識装置におけるパターン認識処理の手順の概略を示すフローチャートである。このパターン認識装置における処理動作は、本発明のパターン認識方法の実施の形態に係るものである。
【００３２】
画像入力ステップＳ１０１では、画像入力部１０１において、対象物が含まれる可能性のある画像について、画像及び、画像の撮影位置及び撮影時間を含む画像に付帯する付帯情報を入力し、Ｓ１０２へ進む。
【００３３】
画像データ蓄積ステップＳ１０２では、画像データ蓄積部１０２において、画像入力ステップＳ１０１で入力された画像及び付帯情報を蓄積し、Ｓ１０３に進む。
【００３４】
文字認識ステップＳ１０３では、文字認識部１０３において、画像入力ステップＳ１０１で入力された画像に記録されている文字を認識し、候補文字コード及び評価値と、文字の位置及びサイズを含む認識結果を求め、Ｓ１０４へ進む。
【００３５】
文字認識結果蓄積ステップＳ１０４では、文字認識結果蓄積部１０４において、文字認識ステップＳ１０３で認識された文字認識結果を蓄積し、Ｓ１０５へ進む。
【００３６】
指示ステップＳ１０５では、指示部１０５において、対象物の解析条件を入力し、Ｓ１０６へ進む。
【００３７】
解析ステップＳ１０６では、解析部１０６において、指示ステップＳ１０５で入力された解析条件に基づき、画像データ蓄積ステップＳ１０２で蓄積された画像及び付帯情報と文字認識結果蓄積ステップＳ１０４で蓄積された文字認識結果から、文字コード及び評価値と、文字の位置及びサイズと、画像の撮影位置及び撮影時間と、色情報を用いて対象物に関連する対象物文字情報を抽出し対象物を解析し、Ｓ１０７へ進む。
【００３８】
結果出力ステップＳ１０７では、結果出力部１０７において、解析ステップＳ１０６で解析された結果を出力する。
【００３９】
以下、本実施の形態のパターン認識装置の動作の具体例を説明する。ここでは、図２に示された画像列（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・を処理してこれらの画像中に現れている対象物（車Ａ）について解析する場合の処理を説明する。
【００４０】
画像入力部１０１で入力され、画像データ蓄積部１０２に蓄積された各画像には、付帯情報として図３に示されているように、撮影地点と撮影時間（時刻）の情報が記録されている。
【００４１】
また、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積された文字認識結果の情報には、図４に示されているように、処理対象の各画像（Ｐａ１、Ｐａ２、Ｐａ３）内のそれぞれの文字パターンについて、候補文字コード（１０４ｂ）、候補毎の評価値（１０４ｃ）、文字パターンの始点及び終点の位置座標（１０４ｄ）がそれぞれ含まれている。
【００４２】
図２に示したような画像列（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・を処理する場合には、認識対象物となる（車Ａ）を特定するために、（車Ａ）の車体番号「１２３４」を例えば管理者の入力操作により指示部１０５に入力し、この車体番号「１２３４」を対象物の解析条件（指定文字列）として指示部１０５から指示することができる。このような指示を与えた場合の解析部１０６の制御内容の概略を図６に示す。
【００４３】
図６は実施の形態１のパターン認識装置における車体番号が指示された場合の解析部の制御手順の概略を示すフローチャートである。以下、解析部１０６における制御処理の内容について説明する。
【００４４】
Ｓ６０１では、解析部１０６は、文字認識結果蓄積部１０４の内容（図４参照）を参照して、画像（Ｐａ１）の文字認識結果の候補文字コードに、評価値が５０未満である一定基準を満たした文字列「１２３４」が存在するか判定する。存在すればＳ６０２に進み、存在しなければＳ６０３に進む。
【００４５】
解析部１０６が図４に示す内容に含まれている画像（Ｐａ１）を基に、図６に示すような処理を行うことによって、図７に示すような結果（各領域１０４ｅ〜１０４ｈの記録内容）を得ることができる。図７は実施の形態１においての対象となる文字列について記録した処理結果の情報の構成を示す模式図である。なお、図４に示す各領域１０４ａ〜１０４ｄの内容と、図７に示す各領域１０４ａ〜１０４ｄの内容とは同一のものを表している。
【００４６】
解析条件として文字列「１２３４」が指定された場合には、Ｓ６０１において、画像（Ｐａ１）を処理する際に、図７に示されているように４つの文字パターン（Ｃ３）、（Ｃ４）、（Ｃ５）、（Ｃ６）の集合により構成される１つの文字列（Ｌ１）が検出できるので、Ｓ６０２に進む。
【００４７】
Ｓ６０２では、画像（Ｐａ１）の文字列（Ｌ１）に対応する検出情報として、図７に示すように該当する文字列（Ｌ１）に対応付けた領域（１０４ｅ）に、撮影時刻（１０４ｆ）、文字画像群（１０４ｇ）、文字列座標（１０４ｈ）を記憶する。ここで、撮影時刻（１０４ｆ）の情報は、画像データ蓄積部１０２の内容から取得することができる。文字画像群（１０４ｇ）の情報は、文字認識結果蓄積部１０４に記録されている各文字パターンの情報（１０４ａ）の中で、指定された文字列（Ｌ１）の各文字を表す要素の組み合わせとして記録される。すなわち、「１２３４」を表す文字列（Ｌ１）は、図７に示す文字パターン（Ｃ３）、（Ｃ４）、（Ｃ５）、（Ｃ６）の組み合わせとして領域１０４ｇに記録される。また、文字列（Ｌ１）の文字列座標（１０４ｈ）については、文字パターン（Ｃ３）〜（Ｃ６）に対応する座標（１０４ｄの内容）から求められる文字列全体の始点及び終点の座標として領域１０４ｈに記録される。
【００４８】
Ｓ６０３では、全ての画像について処理を実施したか判定し、完了していなければＳ６０１に進み、完了していればＳ６０４に進む。
【００４９】
Ｓ６０２の処理によって、図７に示す各領域１０４ｅ、１０４ｆ、１０４ｇ、１０４ｈに結果が記録される。図７に示す例では、２つの文字列（Ｌ１）、（Ｌ２）が検出できた場合を想定している。すなわち、画像（Ｐａ１）を処理した結果として、指定された文字列「１２３４」に対応する文字列（Ｌ１）が画像（Ｐａ１）の中から検出され、画像（Ｐａ２）を処理した結果として、指定された文字列「１２３４」に対応する文字列（Ｌ２）が画像（Ｐａ２）の中から検出され、これらが領域１０４ｅ〜１０４ｈに記録される。
【００５０】
Ｓ６０４では、解析部１０６は検出できた各文字列（Ｌ１，Ｌ２）の撮影時間（１０４ｆの内容）と文字列座標（１０４ｈの内容）の情報を利用し、図８に示すような判定基準に基づいて文字列の移動方向を判定する。図８は本実施の形態において用いる対象となる文字列の移動方向を判定する判定基準を表す模式図である。
【００５１】
図７に示すような文字認識結果を処理する場合には、同じ文字列「１２３４」に対応する文字列として（Ｌ１）、（Ｌ２）が検出されているので、文字列（Ｌ１）と文字列（Ｌ２）とが同じ対象物（車Ａ）を示すものかどうかを判定することができる。更に、同じ対象物（車Ａ）を示す場合には、これらの文字列（Ｌ１）、（Ｌ２）の移動方向を検出できる。
【００５２】
すなわち、文字列（Ｌ１）、（Ｌ２）は同じ撮影位置で撮影された複数の画像（Ｐａ１）、（Ｐａ２）から抽出されており、文字列の内容が指定された内容「１２３４」と同じであり、しかも画像（Ｐａ１）、（Ｐａ２）の撮影時間の差が小さいので、これらは同じ対象物（車Ａ）を示す文字列であると判定できる。
【００５３】
また、図８に示すような判定基準に基づいて文字列（Ｌ１）、（Ｌ２）の情報（図７に示す領域１０４ｅ〜１０４ｈの内容）を処理することにより、文字列（Ｌ１）、（Ｌ２）に関する移動（対象物の移動に相当する）の状況を判定できる。
【００５４】
図８に示す判定基準においては、「左移動」、「右移動」、「下移動」、「上移動」、「前進」、「後退」の６種類の判定条件を規定している。撮影時間の違いにより、図７中の文字列（Ｌ１）、（Ｌ２）は、それぞれ図８に示す（Ｌａ）、（Ｌｂ）に相当する。つまり、撮影時刻が相対的に前の画像から検出された文字列が図８中の文字列（Ｌａ）に対応し、撮影時刻が相対的に後の画像から検出された文字列が図８中の文字列（Ｌｂ）に相当する。図８中に示す各パラメータの意味は次の通りである。
ＬａＹｓ：文字列（Ｌａ）のパターンの始点Ｙ座標位置
ＬａＹｅ：文字列（Ｌａ）のパターンの終点Ｙ座標位置
ＬａＸｓ：文字列（Ｌａ）のパターンの始点Ｘ座標位置
ＬａＸｅ：文字列（Ｌａ）のパターンの終点Ｘ座標位置
ＬｂＹｓ：文字列（Ｌｂ）のパターンの始点Ｙ座標位置
ＬｂＹｅ：文字列（Ｌｂ）のパターンの終点Ｙ座標位置
ＬｂＸｓ：文字列（Ｌｂ）のパターンの始点Ｘ座標位置
ＬｂＸｅ：文字列（Ｌｂ）のパターンの終点Ｘ座標位置
【００５５】
図８中に示すように、始点は画像中の当該パターンの左上端部座標を表し、終点は右下端部座標を表す。
【００５６】
例えば、図７に示す領域１０４ｅ〜１０４ｈの内容である文字列（Ｌ１）、（Ｌ２）について、解析部１０６が図８に示す判定基準との適合性を調べることにより、下移動の条件が成立する。すなわち、（ＬｂＹｓ＜ＬａＹｓ）、（ＬｂＹｅ＜ＬａＹｅ）、（ＬｂＸｓ≒ＬａＸａ）、（ＬｂＸｅ≒ＬａＸｅ）の全ての条件を満たしているので、指定された文字列「１２３４」に相当する文字列（Ｌ１）、（Ｌ２）は下方向に進んでいると判定できる。よって、対象物（車Ａ）は下方向に進んでいると解析できる。
【００５７】
以上のように、対象物を指し示す文字の位置やサイズを利用することにより、上下左右への移動、前進後退、出現消滅などの対象物の移動状態が解析できる。
【００５８】
（実施の形態２）
次に、実施の形態２として、複数の地点で撮影された画像を処理してパターン認識を行う例を示す。上述した実施の形態１では、図２に示したように同じ地点で撮影された複数の画像（Ｐａ１）、（Ｐａ１）、（Ｐａ３）、・・・を処理する場合を想定しているが、以下の実施の形態２のように、複数の地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）で撮影された画像を処理してパターン認識することも可能である。
【００５９】
図９は実施の形態２のパターン認識装置に係る３箇所の撮影地点で撮影した画像列の例を示す模式図である。ここで、３箇所の撮影地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）は同一の高速道路上にあり、上り線は撮影地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）の順で出現する場合を想定している。以下では、図９の画像列の中に撮影されている対象物（車Ｂ）について解析する場合を説明する。パターン認識装置の構成は図１に示したものと同様であり、ここでは説明を省略する。
【００６０】
図１０は実施の形態２に係る画像列の付帯情報の構成例を示す模式図である。この図１０には、画像入力部１０１が図９に示したような画像列を入力する場合に、画像データ蓄積部１０２に蓄積される画像と各画像に対応した付帯情報の具体例が示されている。この例では、付帯情報において、撮影地点の起点距離（特定の起点位置からの距離）と撮影時間とが記録されている。
【００６１】
図１１は実施の形態２に係る画像列の文字認識結果の情報の構成例を示す模式図である。この図１１には、画像入力部１０１が図１０に示したような画像及び付帯情報を入力する場合に、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積される文字認識結果の具体例が示されている。この場合、各画像内の全ての文字について、各文字パターンを区別する情報（１０４ａ）と、候補毎の候補文字コード（１０４ｂ）と、候補毎の評価値（１０４ｃ）と、文字の始点及び終点の位置座標（１０４ｄ）とが記録されている。
【００６２】
この例では、パターン認識装置を操作する管理者が、指示部１０５を操作することにより、撮影地点及び特定の画像中に現れている対象物を指定できる場合を想定している。このような指定を行った場合の解析部１０６の制御内容の概略を図１２に示す。
【００６３】
図１２は実施の形態２のパターン認識装置における対象物が指定された場合の解析部の制御手順の概略を示すフローチャートである。ここでは、指示部１０５で管理者が撮影地点（Ｐｃ）の画像列の画像（Ｐｃ２）の中に現れている対象物（図９中の車Ｂ）を指定した場合の解析部１０６における制御処理の内容について説明する。
【００６４】
Ｓ６１１では、解析条件を抽出する。例えば、管理者の指示した画像（Ｐｃ２）の撮影時間１０：００（図１０参照）と、管理者が指示した対象物の近辺の領域の文字認識結果（図１１の内容の一部分）に含まれている各候補文字コード（１０４ｂの内容）の中で、評価値（１０４ｃの内容）が５０未満である一定基準を満たした文字列「５６７３」、「５６７８」と、文字列「５６７３」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）及び文字列「５６７８」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）と、文字列「５６７３」に対応する文字位置の周辺の背景色である＜赤＞及び文字列「５６７８」に対応する文字位置の周辺の背景色である＜赤＞と、が解析条件になる。
【００６５】
Ｓ６１２では、撮影時間条件と地点の位置関係から判定対象画像か否かを判定し、対象画像であればＳ６１３に進み、対象画像でなければＳ６１７に進む。具体的には、道路上の各車線における車両の進行方向が予め定まっていること、並びに複数の撮影地点間の移動に要する時間（５０ｋｍの移動に３０分を要する）を考慮して、撮影地点（Ｐｂ）で対象となるのは、指定された画像（Ｐｃ２）の撮影時刻から３０分早く撮影された画像（Ｐｂ１）以前に撮影された画像のみに限定する（図１０参照）。また、撮影地点（Ｐｃ）で対象となるのは、画像（Ｐｃ２）前後に撮影された画像である。撮影地点（Ｐｄ）で対象となるのは、撮影地点間の移動に要する時間を考慮し、画像（Ｐｄ３）以降に撮影された画像のみに限定する。
【００６６】
解析部１０６が図１０に示す情報（画像データ蓄積部１０２の内容）及び図１１に示す情報（文字認識結果蓄積部１０４の内容）を基に、図１２のステップＳ６１３〜Ｓ６１６で示す処理を行うことにより、図１３に示すような結果（各領域１０４ｅ〜１０４ｊの記録内容）を得ることができる。図１３は実施の形態２において対象となる文字列について記録した処理結果の情報の構成を示す模式図である。なお、図１１に示した各領域１０４ａ〜１０４ｄの内容と図１３に示した各領域１０４ａ〜１０４ｄの内容とは同一である。
【００６７】
Ｓ６１３では、解析部１０６は順次入力される画像について、文字認識結果の候補文字コードに、評価値が５０未満である一定基準を満たした文字列「５６７３」「５６７８」が存在するか判定し、存在すればＳ６１４に進み、存在しなければＳ６１７に進む。
【００６８】
図１３に示すように、検査対象の文字列「５６７８」については、画像（Ｐｂ１）から４つの文字パターン（Ｃ１１）、（Ｃ１２）、（Ｃ１３）、（Ｃ１４）の集合である文字列（Ｌ１１）として検出され、画像（Ｐｃ２）から４つの文字パターン（Ｃ２１）、（Ｃ２２）、（Ｃ２３）、（Ｃ２４）の集合である文字列（Ｌ１２）として検出される。
【００６９】
また、検査対象の文字列「５６７３」は、画像（Ｐｃ２）から４つの文字パターン（Ｃ２１）、（Ｃ２２）、（Ｃ２３）、（Ｃ２４）の集合である文字列（Ｌ２１）として検出され、画像（Ｐｄ３）から４つの文字パターン（Ｃ３１）、（Ｃ３２）、（Ｃ３３）、（Ｃ３４）の集合である文字列（Ｌ２２）として検出される。
【００７０】
Ｓ６１４では、検出された文字列（Ｌ１１）、（Ｌ１２）、（Ｌ２１）、（Ｌ２２）の文字画像群について、文字列「５６７８」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）又は文字列「５６７３」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）との類似度を求め、類似度が一定基準を満たしていればＳ６１５に進み、満たしていなければＳ６１７に進む。類似度は、文字認識部１０３における文字認識の評価値の算出方法と同様の方法で求められる。図１３に示す例では、文字列（Ｌ１１）、（Ｌ１２）、（Ｌ２１）、（Ｌ２２）については類似度が基準を満たしているので、Ｓ６１５に進む。
【００７１】
Ｓ６１５では、順次入力される文字列について、対応する文字位置の周辺の背景色を画像の中から検出し、類似色であればＳ６１６に進み、類似色でなければＳ６１７に進む。
【００７２】
例えば、文字列「５６７８」の文字列（Ｌ１１）、（Ｌ１２）については、両方とも画像から検出された背景色が赤色であるため、図１３に示す領域１０４ｊに＜赤＞として記録されており、文字列（Ｌ１１）、（Ｌ１２）を比較する場合にはこれらが類似色であると判断してＳ６１６に進む。
【００７３】
一方、文字列「５６７３」の文字列（Ｌ２１）については図１３の領域１０４ｊに＜赤＞として記録され、文字列（Ｌ２２）については領域１０４ｊに＜白＞として記録されているので、文字列（Ｌ２１）、（Ｌ２２）を比較する場合には両者の背景が類似色でないと判断してＳ６１７に進む。
【００７４】
このように文字列の画像中の背景色を比較することにより、例えば認識対象物が車両である場合に、車両番号（ナンバープレートの表示内容）が似ている複数の車両が存在する場合であっても、車両の車体の色の違いにより複数の車両をそれぞれ区別することが容易になる。
【００７５】
Ｓ６１６では、Ｓ６１２〜Ｓ６１５で最終的に有効な情報と見なされた（指定された対象物との関連性が高く互いに似ている）複数の文字列（Ｌ１１）、（Ｌ１２）についてそれらの起点距離、撮影時刻、文字画像群、文字列座標、背景色の情報が記憶される。
【００７６】
例えば、図１３に示す領域１０４ｅに記録されている文字列「５６７８」を示す文字列（Ｌ１１）、（Ｌ１２）については、両者の関連性が高いと判断されるので、各領域１０４ｆ、１０４ｇ、１０４ｈ、１０４ｉ、１０４ｊに記録されている起点距離、撮影時刻、文字画像群、文字列座標、背景色の情報が有効な情報としてＳ６１６で記録される。
【００７７】
一方、図１３に示す領域１０４ｅに記録されている文字列「５６７３」を示す文字列（Ｌ２１）、（Ｌ２２）については、背景色の違いなどの影響により両者の関連性が低いと判断されるので、これらは有効な情報として記録されない。
【００７８】
Ｓ６１７では、全ての画像について処理を実施したか判定し、完了していなければＳ６１２に進み、完了していればＳ６１８に進む。
【００７９】
Ｓ６１８では、解析条件の文字列毎に、検出できた各文字列（Ｌ）の起点距離、撮影時刻、文字列座標から、文字列の移動状態を判定し、その結果を対象物の移動状態とする。
【００８０】
例えば、図１３に示す有効な文字列（Ｌ１１）、（Ｌ１２）の情報（各領域１０４ｅ、１０４ｆ、１０４ｇ、１０４ｈ、１０４ｉ、１０４ｊの内容に相当）に基づいて対象物（例えば図９に示す車Ｂ）を解析すると、対象物（車Ｂ）は、９：３０の時刻に撮影地点（Ｐｂ）の追越車線（領域１０４ｉの位置座標から分かる）を通過し、１０：００の時刻に撮影地点（Ｐｃ）の走行車線を通過し、まだ撮影地点（Ｐｄ）には到達していないと解析できる。
【００８１】
以上のように、例えば車両のような対象物を指し示す文字（車両番号や広告表示など）の内容や位置やサイズに加えて、画像の撮影位置及び撮影時間や文字画像の類似度や色情報を利用することにより、対象物の移動状態を、より広範囲に渡って詳細かつ正確に解析できる。
【００８２】
なお、本実施の形態では、対象物と同時に撮影され対象物を指し示すパターンが文字列である場合を想定しているが、ロゴやマークなど文字と同様の性質を持つパターンを用いてもよい。各処理における各種条件についても、同様の判定基準であれば、これに限るものではない。
【００８３】
また、図１に示した画像入力部、画像データ蓄積部、文字認識部、文字認識結果蓄積部、解析部等の各機能ブロックについては、典型的には集積回路であるＬＳＩとして実現されてもよい。集積回路化の手法は、ＬＳＩに限るものではない。これらは、個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。この場合、ＬＳＩにおけるハードウェア回路の動作、またはプロセッサ上の所定のソフトウェアプログラムの動作による処理によって各機能を実現可能である。
【００８４】
また、図５、図６、図１２に示した各機能の処理ステップについては、コンピュータで実行可能なプログラムで記述されていてもよく、プログラムの実行により各機能を実現することも可能である。また、適当な記録媒体（例えばＣＤ−ＲＯＭ、ＤＶＤディスク等）からコンピュータにプログラムを読み込んでこれを実行しても良い。
【００８５】
上述したように、本実施形態によれば、同じ対象物を指し示している文字パターンの位置やサイズが異なる状態で複数の画像にそれぞれ現れている場合でも、共通の文字パターンを同じ対象物を示すパターンとして扱うことができる。このため、同じ対象物を指し示した文字パターンの変動を解析することにより、文字パターンが指し示す対象物の変動を解析することができる。本実施形態は、例えば、監視カメラ等で撮影された画像の解析装置、広域監視システム等に応用が可能である。
【００８６】
なお、本発明は上記の実施形態において示されたものに限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
【産業上の利用可能性】
【００８７】
本発明は、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能となる効果を有し、例えば道路上を移動する様々な車両をカメラで撮影して得られる動画像に基づいて車両を自動的に監視するような場合など、変動する可能性のある対象物が記録されている複数の画像に基づき、同時に記録された文字情報を用いて、記録された対象物の変動を解析するために利用されるパターン認識装置及びパターン認識方法、プログラム及び記録媒体等として有用である。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態に係るパターン認識装置の構成を示すブロック図
【図２】実施の形態１のパターン認識装置に係る１箇所の撮影地点で撮影した画像列の例を示す模式図
【図３】実施の形態１に係る画像列の付帯情報の構成例を示す模式図
【図４】実施の形態１に係る画像列の文字認識結果の情報の構成例を示す模式図
【図５】本実施の形態のパターン認識装置におけるパターン認識処理の手順の概略を示すフローチャート
【図６】実施の形態１のパターン認識装置における車体番号が指示された場合の解析部の制御手順の概略を示すフローチャート
【図７】実施の形態１において対象となる文字列について記録した処理結果の情報の構成を示す模式図
【図８】本実施の形態において用いる対象となる文字列の移動方向を判定する判定基準を表す模式図
【図９】実施の形態２のパターン認識装置に係る３箇所の撮影地点で撮影した画像列の例を示す模式図
【図１０】実施の形態２に係る画像列の付帯情報の構成例を示す模式図
【図１１】実施の形態２に係る画像列の文字認識結果の情報の構成例を示す模式図
【図１２】実施の形態２のパターン認識装置における対象物が指定された場合の解析部の制御手順の概略を示すフローチャート
【図１３】実施の形態２において対象となる文字列について記録した処理結果の情報の構成を示す模式図
【図１４】従来のパターン認識方法における制御の内容を示すフローチャート
【符号の説明】
【００８９】
１０１ 画像入力部
１０２ 画像データ蓄積部
１０３ 文字認識部
１０４ 文字認識結果蓄積部
１０５ 指示部
１０６ 解析部
１０７ 結果出力部
【技術分野】
【０００１】
本発明は、変動する可能性のある対象物が記録されている複数の画像に基づき、同時に記録された文字情報を用いて、記録された対象物の変動を解析するために利用されるパターン認識技術に関する。
【背景技術】
【０００２】
入力された画像を処理することにより、画像中に含まれる様々なパターンを認識するための技術が従来より提案されている。例えば、特許文献１においては、地図の内容が含まれる画像を処理して地図中の文字列を認識したり、動画中の所定位置に挿入された大きさが一定の文字列情報をパターン認識により認識することを想定している。
【０００３】
例えば、特許文献１に開示されているような従来のパターン認識装置においては、画像中に含まれている文字パターンの位置やサイズ、文字認識の候補文字コードの一致度に応じて文字パターンを複数グループに分割し、グループに含まれる文字全体を用いて文字パターンに対応する文字コードを決定している。
【０００４】
図１４は特許文献１に記載された従来のパターン認識方法における制御の内容を示すフローチャートである。図１４に示す制御において、文字候補獲得工程（Ｓ１〜Ｓ６）では、画像から文字パターンを抽出して、対応する候補文字コードとその確信度を獲得する。グルーピング工程（Ｓ３）では、文字パターンをグループ化して文字グループを生成する。一致文字グループ検出工程（Ｓ６）では、画像に含まれる生成された文字グループに含まれる獲得された候補文字コードのマッチングを、文字グループ間毎に行い、一致する文字グループを検出する。文字コード決定工程（Ｓ７〜Ｓ９）では、検出された一致する文字グループに含まれる候補文字コードごとに対応する確信度を集計し、集計された確信度に基づき、文字グループに含まれる文字パターンに対応する文字コードを決定する。
【特許文献１】特開平９−８１６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した従来のパターン認識技術では、同じ対象物に付加された文字列であっても、その対象物が移動や大きさの変化等によって変動する場合には、同じ対象物に関連付けて扱うことはできなかった。
【０００６】
従来技術では、画像中の文字の位置やサイズで文字パターンを複数グループに分割し、グループに含まれる文字全体を用いて文字パターンに対応する文字コードを決定しているので、同じ対象物を指し示している文字パターンが例えば撮影時刻の異なる複数の画像中にそれぞれ存在している場合であっても、対象物の位置やサイズが画像毎に異なった状態で存在していると、画像毎に独立した対象物を指し示す文字パターンとしてそれぞれ認識されることになる。このため、複数の画像について文字パターンと対象物との関連付けを行うことができない。
【０００７】
例えば、道路上を移動する様々な車両をカメラで撮影して得られる動画像に基づいて車両を自動的に監視しようとするような場合には、それぞれの車両と各車両のナンバープレートに表示されている番号等の文字列、あるいは車両のボディに表示されている広告等の文字列の内容とを対応付けることができれば、それぞれの車両の状態を追跡することが可能になる。しかし、各車両の移動等に伴って対象物とそれを示す文字列パターンのサイズや位置が画像毎に変化することになるので、従来技術では文字列パターンは画像毎に独立したものとして扱われる。そのため、移動中の車両のような対象物については、例えば特定の車両とそのナンバープレートに表示されている番号等とを互いに関連付けて時系列の状態変化として管理することができなかった。
【０００８】
本発明は、上記事情に鑑みてなされたもので、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能なパターン認識装置及びパターン認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力部と、前記画像入力部で入力された画像及び付帯情報を蓄積する画像データ蓄積部と、前記画像入力部で入力された画像に含まれる文字を認識する文字認識部と、前記文字認識部で認識された文字認識結果を蓄積する文字認識結果蓄積部と、対象物の解析条件を入力する指示部と、前記指示部で入力された解析条件に基づき、前記画像データ蓄積部で蓄積された画像及び付帯情報と前記文字認識結果蓄積部で蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析部と、前記解析部で解析された結果を出力する結果出力部とを備えるパターン認識装置を提供する。
上記構成によれば、入力した所定の解析条件に基づき、蓄積した画像及び付帯情報と蓄積した文字認識結果とから、対象物に関連する対象物文字情報を抽出して対象物を解析することで、例えば、複数の画像において、同じ対象物を指し示している文字パターンが位置やサイズが異なった状態でそれぞれ存在している場合であっても、複数の画像上で同じ対象物を指し示しているそれぞれの文字パターンを共通に扱うことが可能となる。このため、文字認識結果を用いて、例えば文字パターンの変動（移動など）を解析することにより、文字パターンが指し示す対象物の変動を解析することが可能になる。
前記付帯情報としては、例えば当該画像を撮影するカメラの設置位置や撮影時刻のような情報を用いることが想定される。つまり、例えば同じ地点で撮影され、撮影時刻が少しずれた複数の画像を処理するような場合には、これらの画像の中に同じ対象物（車両など）が含まれている可能性があるが、対象物及びそれを示す文字パターン（例えば車両のナンバープレート中の表示番号）の画像中の位置や大きさなどは画像毎に位置や大きさなどがずれている可能性が高く、完全に一致することは少ない。しかし、撮影地点の一致の有無や撮影時刻の違いなどを考慮して複数の画像を処理すれば、対象物及びそれを示す文字パターンの変動（移動など）を認識することが可能であり、複数の画像中にそれぞれ現れた同じ対象物及びそれを示す文字パターンを共通の要素として扱うことができ、対象物及びそれを示す文字パターンの変動の状況を検出することも可能になる。
【００１０】
また、本発明は、上記のパターン認識装置であって、前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、前記解析部は、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うものを含む。
上記構成によれば、解析部が解析を行う際に、文字認識結果である候補文字コード及び評価値と、文字の位置及びサイズとを用いることで、例えば対象物の変動に伴ってそれを示す文字パターンが少しずつ異なる状態で複数の画像中にそれぞれ現れる場合であっても、それぞれの文字パターンが共通の対象物を示すものとして扱うことが容易になる。
例えば、文字認識が困難な場合には１つの文字パターンに対する認識結果として複数の候補文字コードが抽出されることになるが、抽出されたそれぞれの候補文字の確信度等を表す評価値を参照することにより、複数の候補文字の中から適切な１つの文字を選択することが可能になる。また、複数の画像の中でそれぞれ検出された文字パターンの位置やサイズの類似性を考慮することにより、各画像中の文字パターンが共通の対象物を示す文字か否かを識別可能になる。
【００１１】
また、本発明は、上記のパターン認識装置であって、前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記解析部は、前記画像の撮影位置及び撮影時間を用いて解析を行うものを含む。
上記構成によれば、解析部が解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報を利用することで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。例えば、同じ地点で撮影され、撮影時刻が非常に近い２枚の画像のそれぞれに対象物及びそれを示す文字パターンが現れている場合に、複数画像中の対象物及び文字パターンが共通であるか否かを撮影時刻等の類似性から判断することが可能になる。
【００１２】
また、本発明は、上記のパターン認識装置であって、前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、前記解析部は、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うものを含む。
上記構成によれば、解析部が解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報と、更に文字認識結果として得られる文字コード及び評価値と、文字の位置及びサイズと、更に複数画像間の文字画像の類似度と、画像の色情報とを用いることで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
例えば、同じ地点で撮影され、撮影時刻が非常に近い２枚の画像のそれぞれに対象物及びそれを示す文字パターンが現れている場合に、複数画像中の対象物及び文字パターンが共通であるか否かを撮影時刻等の類似性から判断することが可能になる。また、各文字パターンの文字認識結果として得られた文字コード及び評価値と、文字の位置及びサイズを利用してそれらの類似性を判定することにより、複数画像中の各文字パターンが共通の対象物を示すものか否かを判断可能になる。更に、複数画像間の文字画像の類似度と色情報とを利用することにより、複数画像中の各文字パターンが共通の対象物を示すものか否かの判断が容易になる。
【００１３】
本発明は、認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力ステップと、前記画像入力ステップで入力された画像及び付帯情報を蓄積する画像データ蓄積ステップと、前記画像入力ステップで入力された画像に含まれる文字を認識する文字認識ステップと、前記文字認識ステップで認識された文字認識結果を蓄積する文字認識結果蓄積ステップと、対象物の解析条件を入力する指示ステップと、前記指示ステップで入力された解析条件に基づき、前記画像データ蓄積ステップで蓄積された画像及び付帯情報と前記文字認識結果蓄積ステップで蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析ステップと、前記解析部で解析された結果を出力する結果出力ステップとを有するパターン認識方法を提供する。
上記手順によれば、入力した所定の解析条件に基づき、蓄積した画像及び付帯情報と蓄積した文字認識結果とから、対象物に関連する対象物文字情報を抽出して対象物を解析することで、例えば、複数の画像において、同じ対象物を指し示している文字パターンが位置やサイズが異なった状態でそれぞれ存在している場合であっても、複数の画像上で同じ対象物を指し示しているそれぞれの文字パターンを共通に扱うことが可能となる。このため、文字認識結果を用いて、例えば文字パターンの変動（移動など）を解析することにより、文字パターンが指し示す対象物の変動を解析することが可能になる。
【００１４】
また、本発明は、上記のパターン認識方法であって、前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、前記解析ステップにおいて、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うものを含む。
上記手順によれば、解析ステップにおいて解析を行う際に、文字認識結果である候補文字コード及び評価値と、文字の位置及びサイズとを用いることで、例えば対象物の変動に伴ってそれを示す文字パターンが少しずつ異なる状態で複数の画像中にそれぞれ現れる場合であっても、それぞれの文字パターンが共通の対象物を示すものとして扱うことが容易になる。
【００１５】
また、本発明は、上記のパターン認識方法であって、前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記解析ステップにおいて、前記画像の撮影位置及び撮影時間を用いて解析を行うものを含む。
上記手順によれば、解析ステップにおいて解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報を利用することで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
【００１６】
また、本発明は、上記のパターン認識方法であって、前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、前記解析ステップにおいて、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うものを含む。
上記手順によれば、解析ステップにおいて解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報と、更に文字認識結果として得られる文字コード及び評価値と、文字の位置及びサイズと、更に複数画像間の文字画像の類似度と、画像の色情報とを用いることで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
【００１７】
また、本発明は、コンピュータに、上記のいずれかに記載のパターン認識方法の各ステップを実行させるためのプログラムを提供する。
また、本発明は、上記のプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【発明の効果】
【００１８】
本発明によれば、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能なパターン認識装置及びパターン認識方法、プログラム及び記録媒体を提供できる。
【発明を実施するための最良の形態】
【００１９】
（実施の形態１）
図１は、本発明の実施の形態に係るパターン認識装置の構成を示すブロック図である。本実施の形態のパターン認識装置は、画像入力部１０１、画像データ蓄積部１０２、文字認識部１０３、文字認識結果蓄積部１０４、指示部１０５、解析部１０６、結果出力部１０７を備えている。
【００２０】
具体的には、このパターン認識装置は、例えば図２に示すような画像中に現れる認識対象物（この例では道路上を走行する車両）を認識するような用途に用いることを想定している。図２は実施の形態１のパターン認識装置に係る１箇所の撮影地点で撮影した画像列の例を示す模式図である。
【００２１】
画像入力部１０１は、対象物が含まれる可能性のある画像について、画像及びそれに付帯する付帯情報を入力する。この付帯情報については、画像の撮影位置及び撮影時間の情報が含まれる。画像入力部１０１については、予め固定された撮影位置で例えば一定の時間間隔で静止画画像を周期的に撮影するカメラを利用して構成することができる。画像データ蓄積部１０２は、画像入力部１０１で入力された画像及び付帯情報を蓄積する。
【００２２】
図２に示す例では、１箇所の撮影地点（Ｐａ）でそれぞれ異なる時点で順番に撮影した複数枚の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・が画像入力部１０１から順に入力される場合を想定している。また、図２に示す例では、移動する車両を含むパターンが静止画の各画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）にそれぞれ現れている。
【００２３】
図３は実施の形態１に係る画像列の付帯情報の構成例を示す模式図である。この図３には、画像入力部１０１が図２に示したような画像列を入力する場合に、画像データ蓄積部１０２に蓄積される画像と各画像に対応した付帯情報の具体例が示されている。
【００２４】
図３に示す例では、複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・のそれぞれについて、画像の他に撮影位置（地点）及び撮影時間（時刻）を表す付帯情報が含まれている。付帯情報の撮影位置（地点）の内容から、図３に示す複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）は、全て同じ撮影位置（地点）で撮影された画像であることが分かる。また、付帯情報の撮影時間（時刻）の内容から、図３に示す複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）は、少しずつずれた時刻に撮影された画像であることが分かる。
【００２５】
文字認識部１０３は、画像入力部１０１で入力された画像に記録されている文字パターンを認識し、文字パターン毎に、対応する１つ又はそれ以上の候補文字を表す候補文字コード及び候補文字毎の評価値（文字認識結果の確信度等に相当する値）と、画像中の文字の位置座標及びサイズを含む認識結果を求める。文字認識結果蓄積部１０４は、文字認識部１０３で認識された文字認識結果を蓄積する。
【００２６】
図４は実施の形態１に係る画像列の文字認識結果の情報の構成例を示す模式図である。この図４には、画像入力部１０１が図３に示したような画像及び付帯情報を入力する場合に、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積される文字認識結果の具体例が示されている。
【００２７】
図４に示す例では、図２に示した複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）のそれぞれについて、文字パターン毎に、各文字パターンを区別する情報（１０４ａ）と、１以上の候補文字コード（１０４ｂ）と、候補文字毎の評価値（１０４ｃ）と、文字パターンの始点及び終点の位置座標（１０４ｄ）の情報が蓄積されている。
【００２８】
例えば、文字認識部１０３において、図２に示す画像（Ｐａ１）に現れている対象物である（車Ａ）のナンバープレートに現れている番号の各文字パターンが認識されると、図４に示すように、画像（Ｐａ１）に対応する各文字パターン（Ｃ７）、（Ｃ８）、（Ｃ９）、（Ｃ１０）としてそれぞれ「１」、「２」、「３」、「４」の候補文字コードが検出され、候補毎の評価値と位置座標の情報が文字認識結果蓄積部１０４に蓄積される。また、各文字パターンの位置座標として始点及び終点の座標が含まれているので、文字パターンのサイズを検出することもできる。
【００２９】
指示部１０５は、対象物の解析条件を入力する。具体的な解析条件としては、例えば認識対象物を特定するための文字列（例えばナンバープレート中の番号）を指定することが想定される。解析部１０６は、指示部１０５で入力された解析条件に基づき、画像データ蓄積部１０２で蓄積された画像及び付帯情報と文字認識結果蓄積部１０４で蓄積された文字認識結果から、文字コード及び評価値と、文字の位置及びサイズと、画像の撮影位置及び撮影時間と、色情報を用いて対象物に関連する対象物文字情報を抽出し対象物を解析する。
【００３０】
結果出力部１０７は、解析部１０６で解析された結果を出力する。
【００３１】
次に、本実施の形態のパターン認識装置の動作を説明する。図５は本実施の形態のパターン認識装置におけるパターン認識処理の手順の概略を示すフローチャートである。このパターン認識装置における処理動作は、本発明のパターン認識方法の実施の形態に係るものである。
【００３２】
画像入力ステップＳ１０１では、画像入力部１０１において、対象物が含まれる可能性のある画像について、画像及び、画像の撮影位置及び撮影時間を含む画像に付帯する付帯情報を入力し、Ｓ１０２へ進む。
【００３３】
画像データ蓄積ステップＳ１０２では、画像データ蓄積部１０２において、画像入力ステップＳ１０１で入力された画像及び付帯情報を蓄積し、Ｓ１０３に進む。
【００３４】
文字認識ステップＳ１０３では、文字認識部１０３において、画像入力ステップＳ１０１で入力された画像に記録されている文字を認識し、候補文字コード及び評価値と、文字の位置及びサイズを含む認識結果を求め、Ｓ１０４へ進む。
【００３５】
文字認識結果蓄積ステップＳ１０４では、文字認識結果蓄積部１０４において、文字認識ステップＳ１０３で認識された文字認識結果を蓄積し、Ｓ１０５へ進む。
【００３６】
指示ステップＳ１０５では、指示部１０５において、対象物の解析条件を入力し、Ｓ１０６へ進む。
【００３７】
解析ステップＳ１０６では、解析部１０６において、指示ステップＳ１０５で入力された解析条件に基づき、画像データ蓄積ステップＳ１０２で蓄積された画像及び付帯情報と文字認識結果蓄積ステップＳ１０４で蓄積された文字認識結果から、文字コード及び評価値と、文字の位置及びサイズと、画像の撮影位置及び撮影時間と、色情報を用いて対象物に関連する対象物文字情報を抽出し対象物を解析し、Ｓ１０７へ進む。
【００３８】
結果出力ステップＳ１０７では、結果出力部１０７において、解析ステップＳ１０６で解析された結果を出力する。
【００３９】
以下、本実施の形態のパターン認識装置の動作の具体例を説明する。ここでは、図２に示された画像列（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・を処理してこれらの画像中に現れている対象物（車Ａ）について解析する場合の処理を説明する。
【００４０】
画像入力部１０１で入力され、画像データ蓄積部１０２に蓄積された各画像には、付帯情報として図３に示されているように、撮影地点と撮影時間（時刻）の情報が記録されている。
【００４１】
また、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積された文字認識結果の情報には、図４に示されているように、処理対象の各画像（Ｐａ１、Ｐａ２、Ｐａ３）内のそれぞれの文字パターンについて、候補文字コード（１０４ｂ）、候補毎の評価値（１０４ｃ）、文字パターンの始点及び終点の位置座標（１０４ｄ）がそれぞれ含まれている。
【００４２】
図２に示したような画像列（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・を処理する場合には、認識対象物となる（車Ａ）を特定するために、（車Ａ）の車体番号「１２３４」を例えば管理者の入力操作により指示部１０５に入力し、この車体番号「１２３４」を対象物の解析条件（指定文字列）として指示部１０５から指示することができる。このような指示を与えた場合の解析部１０６の制御内容の概略を図６に示す。
【００４３】
図６は実施の形態１のパターン認識装置における車体番号が指示された場合の解析部の制御手順の概略を示すフローチャートである。以下、解析部１０６における制御処理の内容について説明する。
【００４４】
Ｓ６０１では、解析部１０６は、文字認識結果蓄積部１０４の内容（図４参照）を参照して、画像（Ｐａ１）の文字認識結果の候補文字コードに、評価値が５０未満である一定基準を満たした文字列「１２３４」が存在するか判定する。存在すればＳ６０２に進み、存在しなければＳ６０３に進む。
【００４５】
解析部１０６が図４に示す内容に含まれている画像（Ｐａ１）を基に、図６に示すような処理を行うことによって、図７に示すような結果（各領域１０４ｅ〜１０４ｈの記録内容）を得ることができる。図７は実施の形態１においての対象となる文字列について記録した処理結果の情報の構成を示す模式図である。なお、図４に示す各領域１０４ａ〜１０４ｄの内容と、図７に示す各領域１０４ａ〜１０４ｄの内容とは同一のものを表している。
【００４６】
解析条件として文字列「１２３４」が指定された場合には、Ｓ６０１において、画像（Ｐａ１）を処理する際に、図７に示されているように４つの文字パターン（Ｃ３）、（Ｃ４）、（Ｃ５）、（Ｃ６）の集合により構成される１つの文字列（Ｌ１）が検出できるので、Ｓ６０２に進む。
【００４７】
Ｓ６０２では、画像（Ｐａ１）の文字列（Ｌ１）に対応する検出情報として、図７に示すように該当する文字列（Ｌ１）に対応付けた領域（１０４ｅ）に、撮影時刻（１０４ｆ）、文字画像群（１０４ｇ）、文字列座標（１０４ｈ）を記憶する。ここで、撮影時刻（１０４ｆ）の情報は、画像データ蓄積部１０２の内容から取得することができる。文字画像群（１０４ｇ）の情報は、文字認識結果蓄積部１０４に記録されている各文字パターンの情報（１０４ａ）の中で、指定された文字列（Ｌ１）の各文字を表す要素の組み合わせとして記録される。すなわち、「１２３４」を表す文字列（Ｌ１）は、図７に示す文字パターン（Ｃ３）、（Ｃ４）、（Ｃ５）、（Ｃ６）の組み合わせとして領域１０４ｇに記録される。また、文字列（Ｌ１）の文字列座標（１０４ｈ）については、文字パターン（Ｃ３）〜（Ｃ６）に対応する座標（１０４ｄの内容）から求められる文字列全体の始点及び終点の座標として領域１０４ｈに記録される。
【００４８】
Ｓ６０３では、全ての画像について処理を実施したか判定し、完了していなければＳ６０１に進み、完了していればＳ６０４に進む。
【００４９】
Ｓ６０２の処理によって、図７に示す各領域１０４ｅ、１０４ｆ、１０４ｇ、１０４ｈに結果が記録される。図７に示す例では、２つの文字列（Ｌ１）、（Ｌ２）が検出できた場合を想定している。すなわち、画像（Ｐａ１）を処理した結果として、指定された文字列「１２３４」に対応する文字列（Ｌ１）が画像（Ｐａ１）の中から検出され、画像（Ｐａ２）を処理した結果として、指定された文字列「１２３４」に対応する文字列（Ｌ２）が画像（Ｐａ２）の中から検出され、これらが領域１０４ｅ〜１０４ｈに記録される。
【００５０】
Ｓ６０４では、解析部１０６は検出できた各文字列（Ｌ１，Ｌ２）の撮影時間（１０４ｆの内容）と文字列座標（１０４ｈの内容）の情報を利用し、図８に示すような判定基準に基づいて文字列の移動方向を判定する。図８は本実施の形態において用いる対象となる文字列の移動方向を判定する判定基準を表す模式図である。
【００５１】
図７に示すような文字認識結果を処理する場合には、同じ文字列「１２３４」に対応する文字列として（Ｌ１）、（Ｌ２）が検出されているので、文字列（Ｌ１）と文字列（Ｌ２）とが同じ対象物（車Ａ）を示すものかどうかを判定することができる。更に、同じ対象物（車Ａ）を示す場合には、これらの文字列（Ｌ１）、（Ｌ２）の移動方向を検出できる。
【００５２】
すなわち、文字列（Ｌ１）、（Ｌ２）は同じ撮影位置で撮影された複数の画像（Ｐａ１）、（Ｐａ２）から抽出されており、文字列の内容が指定された内容「１２３４」と同じであり、しかも画像（Ｐａ１）、（Ｐａ２）の撮影時間の差が小さいので、これらは同じ対象物（車Ａ）を示す文字列であると判定できる。
【００５３】
また、図８に示すような判定基準に基づいて文字列（Ｌ１）、（Ｌ２）の情報（図７に示す領域１０４ｅ〜１０４ｈの内容）を処理することにより、文字列（Ｌ１）、（Ｌ２）に関する移動（対象物の移動に相当する）の状況を判定できる。
【００５４】
図８に示す判定基準においては、「左移動」、「右移動」、「下移動」、「上移動」、「前進」、「後退」の６種類の判定条件を規定している。撮影時間の違いにより、図７中の文字列（Ｌ１）、（Ｌ２）は、それぞれ図８に示す（Ｌａ）、（Ｌｂ）に相当する。つまり、撮影時刻が相対的に前の画像から検出された文字列が図８中の文字列（Ｌａ）に対応し、撮影時刻が相対的に後の画像から検出された文字列が図８中の文字列（Ｌｂ）に相当する。図８中に示す各パラメータの意味は次の通りである。
ＬａＹｓ：文字列（Ｌａ）のパターンの始点Ｙ座標位置
ＬａＹｅ：文字列（Ｌａ）のパターンの終点Ｙ座標位置
ＬａＸｓ：文字列（Ｌａ）のパターンの始点Ｘ座標位置
ＬａＸｅ：文字列（Ｌａ）のパターンの終点Ｘ座標位置
ＬｂＹｓ：文字列（Ｌｂ）のパターンの始点Ｙ座標位置
ＬｂＹｅ：文字列（Ｌｂ）のパターンの終点Ｙ座標位置
ＬｂＸｓ：文字列（Ｌｂ）のパターンの始点Ｘ座標位置
ＬｂＸｅ：文字列（Ｌｂ）のパターンの終点Ｘ座標位置
【００５５】
図８中に示すように、始点は画像中の当該パターンの左上端部座標を表し、終点は右下端部座標を表す。
【００５６】
例えば、図７に示す領域１０４ｅ〜１０４ｈの内容である文字列（Ｌ１）、（Ｌ２）について、解析部１０６が図８に示す判定基準との適合性を調べることにより、下移動の条件が成立する。すなわち、（ＬｂＹｓ＜ＬａＹｓ）、（ＬｂＹｅ＜ＬａＹｅ）、（ＬｂＸｓ≒ＬａＸａ）、（ＬｂＸｅ≒ＬａＸｅ）の全ての条件を満たしているので、指定された文字列「１２３４」に相当する文字列（Ｌ１）、（Ｌ２）は下方向に進んでいると判定できる。よって、対象物（車Ａ）は下方向に進んでいると解析できる。
【００５７】
以上のように、対象物を指し示す文字の位置やサイズを利用することにより、上下左右への移動、前進後退、出現消滅などの対象物の移動状態が解析できる。
【００５８】
（実施の形態２）
次に、実施の形態２として、複数の地点で撮影された画像を処理してパターン認識を行う例を示す。上述した実施の形態１では、図２に示したように同じ地点で撮影された複数の画像（Ｐａ１）、（Ｐａ１）、（Ｐａ３）、・・・を処理する場合を想定しているが、以下の実施の形態２のように、複数の地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）で撮影された画像を処理してパターン認識することも可能である。
【００５９】
図９は実施の形態２のパターン認識装置に係る３箇所の撮影地点で撮影した画像列の例を示す模式図である。ここで、３箇所の撮影地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）は同一の高速道路上にあり、上り線は撮影地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）の順で出現する場合を想定している。以下では、図９の画像列の中に撮影されている対象物（車Ｂ）について解析する場合を説明する。パターン認識装置の構成は図１に示したものと同様であり、ここでは説明を省略する。
【００６０】
図１０は実施の形態２に係る画像列の付帯情報の構成例を示す模式図である。この図１０には、画像入力部１０１が図９に示したような画像列を入力する場合に、画像データ蓄積部１０２に蓄積される画像と各画像に対応した付帯情報の具体例が示されている。この例では、付帯情報において、撮影地点の起点距離（特定の起点位置からの距離）と撮影時間とが記録されている。
【００６１】
図１１は実施の形態２に係る画像列の文字認識結果の情報の構成例を示す模式図である。この図１１には、画像入力部１０１が図１０に示したような画像及び付帯情報を入力する場合に、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積される文字認識結果の具体例が示されている。この場合、各画像内の全ての文字について、各文字パターンを区別する情報（１０４ａ）と、候補毎の候補文字コード（１０４ｂ）と、候補毎の評価値（１０４ｃ）と、文字の始点及び終点の位置座標（１０４ｄ）とが記録されている。
【００６２】
この例では、パターン認識装置を操作する管理者が、指示部１０５を操作することにより、撮影地点及び特定の画像中に現れている対象物を指定できる場合を想定している。このような指定を行った場合の解析部１０６の制御内容の概略を図１２に示す。
【００６３】
図１２は実施の形態２のパターン認識装置における対象物が指定された場合の解析部の制御手順の概略を示すフローチャートである。ここでは、指示部１０５で管理者が撮影地点（Ｐｃ）の画像列の画像（Ｐｃ２）の中に現れている対象物（図９中の車Ｂ）を指定した場合の解析部１０６における制御処理の内容について説明する。
【００６４】
Ｓ６１１では、解析条件を抽出する。例えば、管理者の指示した画像（Ｐｃ２）の撮影時間１０：００（図１０参照）と、管理者が指示した対象物の近辺の領域の文字認識結果（図１１の内容の一部分）に含まれている各候補文字コード（１０４ｂの内容）の中で、評価値（１０４ｃの内容）が５０未満である一定基準を満たした文字列「５６７３」、「５６７８」と、文字列「５６７３」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）及び文字列「５６７８」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）と、文字列「５６７３」に対応する文字位置の周辺の背景色である＜赤＞及び文字列「５６７８」に対応する文字位置の周辺の背景色である＜赤＞と、が解析条件になる。
【００６５】
Ｓ６１２では、撮影時間条件と地点の位置関係から判定対象画像か否かを判定し、対象画像であればＳ６１３に進み、対象画像でなければＳ６１７に進む。具体的には、道路上の各車線における車両の進行方向が予め定まっていること、並びに複数の撮影地点間の移動に要する時間（５０ｋｍの移動に３０分を要する）を考慮して、撮影地点（Ｐｂ）で対象となるのは、指定された画像（Ｐｃ２）の撮影時刻から３０分早く撮影された画像（Ｐｂ１）以前に撮影された画像のみに限定する（図１０参照）。また、撮影地点（Ｐｃ）で対象となるのは、画像（Ｐｃ２）前後に撮影された画像である。撮影地点（Ｐｄ）で対象となるのは、撮影地点間の移動に要する時間を考慮し、画像（Ｐｄ３）以降に撮影された画像のみに限定する。
【００６６】
解析部１０６が図１０に示す情報（画像データ蓄積部１０２の内容）及び図１１に示す情報（文字認識結果蓄積部１０４の内容）を基に、図１２のステップＳ６１３〜Ｓ６１６で示す処理を行うことにより、図１３に示すような結果（各領域１０４ｅ〜１０４ｊの記録内容）を得ることができる。図１３は実施の形態２において対象となる文字列について記録した処理結果の情報の構成を示す模式図である。なお、図１１に示した各領域１０４ａ〜１０４ｄの内容と図１３に示した各領域１０４ａ〜１０４ｄの内容とは同一である。
【００６７】
Ｓ６１３では、解析部１０６は順次入力される画像について、文字認識結果の候補文字コードに、評価値が５０未満である一定基準を満たした文字列「５６７３」「５６７８」が存在するか判定し、存在すればＳ６１４に進み、存在しなければＳ６１７に進む。
【００６８】
図１３に示すように、検査対象の文字列「５６７８」については、画像（Ｐｂ１）から４つの文字パターン（Ｃ１１）、（Ｃ１２）、（Ｃ１３）、（Ｃ１４）の集合である文字列（Ｌ１１）として検出され、画像（Ｐｃ２）から４つの文字パターン（Ｃ２１）、（Ｃ２２）、（Ｃ２３）、（Ｃ２４）の集合である文字列（Ｌ１２）として検出される。
【００６９】
また、検査対象の文字列「５６７３」は、画像（Ｐｃ２）から４つの文字パターン（Ｃ２１）、（Ｃ２２）、（Ｃ２３）、（Ｃ２４）の集合である文字列（Ｌ２１）として検出され、画像（Ｐｄ３）から４つの文字パターン（Ｃ３１）、（Ｃ３２）、（Ｃ３３）、（Ｃ３４）の集合である文字列（Ｌ２２）として検出される。
【００７０】
Ｓ６１４では、検出された文字列（Ｌ１１）、（Ｌ１２）、（Ｌ２１）、（Ｌ２２）の文字画像群について、文字列「５６７８」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）又は文字列「５６７３」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）との類似度を求め、類似度が一定基準を満たしていればＳ６１５に進み、満たしていなければＳ６１７に進む。類似度は、文字認識部１０３における文字認識の評価値の算出方法と同様の方法で求められる。図１３に示す例では、文字列（Ｌ１１）、（Ｌ１２）、（Ｌ２１）、（Ｌ２２）については類似度が基準を満たしているので、Ｓ６１５に進む。
【００７１】
Ｓ６１５では、順次入力される文字列について、対応する文字位置の周辺の背景色を画像の中から検出し、類似色であればＳ６１６に進み、類似色でなければＳ６１７に進む。
【００７２】
例えば、文字列「５６７８」の文字列（Ｌ１１）、（Ｌ１２）については、両方とも画像から検出された背景色が赤色であるため、図１３に示す領域１０４ｊに＜赤＞として記録されており、文字列（Ｌ１１）、（Ｌ１２）を比較する場合にはこれらが類似色であると判断してＳ６１６に進む。
【００７３】
一方、文字列「５６７３」の文字列（Ｌ２１）については図１３の領域１０４ｊに＜赤＞として記録され、文字列（Ｌ２２）については領域１０４ｊに＜白＞として記録されているので、文字列（Ｌ２１）、（Ｌ２２）を比較する場合には両者の背景が類似色でないと判断してＳ６１７に進む。
【００７４】
このように文字列の画像中の背景色を比較することにより、例えば認識対象物が車両である場合に、車両番号（ナンバープレートの表示内容）が似ている複数の車両が存在する場合であっても、車両の車体の色の違いにより複数の車両をそれぞれ区別することが容易になる。
【００７５】
Ｓ６１６では、Ｓ６１２〜Ｓ６１５で最終的に有効な情報と見なされた（指定された対象物との関連性が高く互いに似ている）複数の文字列（Ｌ１１）、（Ｌ１２）についてそれらの起点距離、撮影時刻、文字画像群、文字列座標、背景色の情報が記憶される。
【００７６】
例えば、図１３に示す領域１０４ｅに記録されている文字列「５６７８」を示す文字列（Ｌ１１）、（Ｌ１２）については、両者の関連性が高いと判断されるので、各領域１０４ｆ、１０４ｇ、１０４ｈ、１０４ｉ、１０４ｊに記録されている起点距離、撮影時刻、文字画像群、文字列座標、背景色の情報が有効な情報としてＳ６１６で記録される。
【００７７】
一方、図１３に示す領域１０４ｅに記録されている文字列「５６７３」を示す文字列（Ｌ２１）、（Ｌ２２）については、背景色の違いなどの影響により両者の関連性が低いと判断されるので、これらは有効な情報として記録されない。
【００７８】
Ｓ６１７では、全ての画像について処理を実施したか判定し、完了していなければＳ６１２に進み、完了していればＳ６１８に進む。
【００７９】
Ｓ６１８では、解析条件の文字列毎に、検出できた各文字列（Ｌ）の起点距離、撮影時刻、文字列座標から、文字列の移動状態を判定し、その結果を対象物の移動状態とする。
【００８０】
例えば、図１３に示す有効な文字列（Ｌ１１）、（Ｌ１２）の情報（各領域１０４ｅ、１０４ｆ、１０４ｇ、１０４ｈ、１０４ｉ、１０４ｊの内容に相当）に基づいて対象物（例えば図９に示す車Ｂ）を解析すると、対象物（車Ｂ）は、９：３０の時刻に撮影地点（Ｐｂ）の追越車線（領域１０４ｉの位置座標から分かる）を通過し、１０：００の時刻に撮影地点（Ｐｃ）の走行車線を通過し、まだ撮影地点（Ｐｄ）には到達していないと解析できる。
【００８１】
以上のように、例えば車両のような対象物を指し示す文字（車両番号や広告表示など）の内容や位置やサイズに加えて、画像の撮影位置及び撮影時間や文字画像の類似度や色情報を利用することにより、対象物の移動状態を、より広範囲に渡って詳細かつ正確に解析できる。
【００８２】
なお、本実施の形態では、対象物と同時に撮影され対象物を指し示すパターンが文字列である場合を想定しているが、ロゴやマークなど文字と同様の性質を持つパターンを用いてもよい。各処理における各種条件についても、同様の判定基準であれば、これに限るものではない。
【００８３】
また、図１に示した画像入力部、画像データ蓄積部、文字認識部、文字認識結果蓄積部、解析部等の各機能ブロックについては、典型的には集積回路であるＬＳＩとして実現されてもよい。集積回路化の手法は、ＬＳＩに限るものではない。これらは、個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。この場合、ＬＳＩにおけるハードウェア回路の動作、またはプロセッサ上の所定のソフトウェアプログラムの動作による処理によって各機能を実現可能である。
【００８４】
また、図５、図６、図１２に示した各機能の処理ステップについては、コンピュータで実行可能なプログラムで記述されていてもよく、プログラムの実行により各機能を実現することも可能である。また、適当な記録媒体（例えばＣＤ−ＲＯＭ、ＤＶＤディスク等）からコンピュータにプログラムを読み込んでこれを実行しても良い。
【００８５】
上述したように、本実施形態によれば、同じ対象物を指し示している文字パターンの位置やサイズが異なる状態で複数の画像にそれぞれ現れている場合でも、共通の文字パターンを同じ対象物を示すパターンとして扱うことができる。このため、同じ対象物を指し示した文字パターンの変動を解析することにより、文字パターンが指し示す対象物の変動を解析することができる。本実施形態は、例えば、監視カメラ等で撮影された画像の解析装置、広域監視システム等に応用が可能である。
【００８６】
なお、本発明は上記の実施形態において示されたものに限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
【産業上の利用可能性】
【００８７】
本発明は、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能となる効果を有し、例えば道路上を移動する様々な車両をカメラで撮影して得られる動画像に基づいて車両を自動的に監視するような場合など、変動する可能性のある対象物が記録されている複数の画像に基づき、同時に記録された文字情報を用いて、記録された対象物の変動を解析するために利用されるパターン認識装置及びパターン認識方法、プログラム及び記録媒体等として有用である。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態に係るパターン認識装置の構成を示すブロック図
【図２】実施の形態１のパターン認識装置に係る１箇所の撮影地点で撮影した画像列の例を示す模式図
【図３】実施の形態１に係る画像列の付帯情報の構成例を示す模式図
【図４】実施の形態１に係る画像列の文字認識結果の情報の構成例を示す模式図
【図５】本実施の形態のパターン認識装置におけるパターン認識処理の手順の概略を示すフローチャート
【図６】実施の形態１のパターン認識装置における車体番号が指示された場合の解析部の制御手順の概略を示すフローチャート
【図７】実施の形態１において対象となる文字列について記録した処理結果の情報の構成を示す模式図
【図８】本実施の形態において用いる対象となる文字列の移動方向を判定する判定基準を表す模式図
【図９】実施の形態２のパターン認識装置に係る３箇所の撮影地点で撮影した画像列の例を示す模式図
【図１０】実施の形態２に係る画像列の付帯情報の構成例を示す模式図
【図１１】実施の形態２に係る画像列の文字認識結果の情報の構成例を示す模式図
【図１２】実施の形態２のパターン認識装置における対象物が指定された場合の解析部の制御手順の概略を示すフローチャート
【図１３】実施の形態２において対象となる文字列について記録した処理結果の情報の構成を示す模式図
【図１４】従来のパターン認識方法における制御の内容を示すフローチャート
【符号の説明】
【００８９】
１０１ 画像入力部
１０２ 画像データ蓄積部
１０３ 文字認識部
１０４ 文字認識結果蓄積部
１０５ 指示部
１０６ 解析部
１０７ 結果出力部
【特許請求の範囲】
【請求項１】
認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力部と、
前記画像入力部で入力された画像及び付帯情報を蓄積する画像データ蓄積部と、
前記画像入力部で入力された画像に含まれる文字を認識する文字認識部と、
前記文字認識部で認識された文字認識結果を蓄積する文字認識結果蓄積部と、
対象物の解析条件を入力する指示部と、
前記指示部で入力された解析条件に基づき、前記画像データ蓄積部で蓄積された画像及び付帯情報と前記文字認識結果蓄積部で蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析部と、
前記解析部で解析された結果を出力する結果出力部と
を備えるパターン認識装置。
【請求項２】
請求項１に記載のパターン認識装置であって、
前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、
前記解析部は、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うパターン認識装置。
【請求項３】
請求項１に記載のパターン認識装置であって、
前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
前記解析部は、前記画像の撮影位置及び撮影時間を用いて解析を行うパターン認識装置。
【請求項４】
請求項１に記載のパターン認識装置であって、
前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、
前記解析部は、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うパターン認識装置。
【請求項５】
認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力ステップと、
前記画像入力ステップで入力された画像及び付帯情報を蓄積する画像データ蓄積ステップと、
前記画像入力ステップで入力された画像に含まれる文字を認識する文字認識ステップと、
前記文字認識ステップで認識された文字認識結果を蓄積する文字認識結果蓄積ステップと、
対象物の解析条件を入力する指示ステップと、
前記指示ステップで入力された解析条件に基づき、前記画像データ蓄積ステップで蓄積された画像及び付帯情報と前記文字認識結果蓄積ステップで蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析ステップと、
前記解析部で解析された結果を出力する結果出力ステップと
を有するパターン認識方法。
【請求項６】
請求項５に記載のパターン認識方法であって、
前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、
前記解析ステップにおいて、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うパターン認識方法。
【請求項７】
請求項５に記載のパターン認識方法であって、
前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
前記解析ステップにおいて、前記画像の撮影位置及び撮影時間を用いて解析を行うパターン認識方法。
【請求項８】
請求項５に記載のパターン認識方法であって、
前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、
前記解析ステップにおいて、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うパターン認識方法。
【請求項９】
コンピュータに、請求項５〜８のいずれかに記載のパターン認識方法の各ステップを実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１】
認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力部と、
前記画像入力部で入力された画像及び付帯情報を蓄積する画像データ蓄積部と、
前記画像入力部で入力された画像に含まれる文字を認識する文字認識部と、
前記文字認識部で認識された文字認識結果を蓄積する文字認識結果蓄積部と、
対象物の解析条件を入力する指示部と、
前記指示部で入力された解析条件に基づき、前記画像データ蓄積部で蓄積された画像及び付帯情報と前記文字認識結果蓄積部で蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析部と、
前記解析部で解析された結果を出力する結果出力部と
を備えるパターン認識装置。
【請求項２】
請求項１に記載のパターン認識装置であって、
前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、
前記解析部は、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うパターン認識装置。
【請求項３】
請求項１に記載のパターン認識装置であって、
前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
前記解析部は、前記画像の撮影位置及び撮影時間を用いて解析を行うパターン認識装置。
【請求項４】
請求項１に記載のパターン認識装置であって、
前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、
前記解析部は、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うパターン認識装置。
【請求項５】
認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力ステップと、
前記画像入力ステップで入力された画像及び付帯情報を蓄積する画像データ蓄積ステップと、
前記画像入力ステップで入力された画像に含まれる文字を認識する文字認識ステップと、
前記文字認識ステップで認識された文字認識結果を蓄積する文字認識結果蓄積ステップと、
対象物の解析条件を入力する指示ステップと、
前記指示ステップで入力された解析条件に基づき、前記画像データ蓄積ステップで蓄積された画像及び付帯情報と前記文字認識結果蓄積ステップで蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析ステップと、
前記解析部で解析された結果を出力する結果出力ステップと
を有するパターン認識方法。
【請求項６】
請求項５に記載のパターン認識方法であって、
前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、
前記解析ステップにおいて、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うパターン認識方法。
【請求項７】
請求項５に記載のパターン認識方法であって、
前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
前記解析ステップにおいて、前記画像の撮影位置及び撮影時間を用いて解析を行うパターン認識方法。
【請求項８】
請求項５に記載のパターン認識方法であって、
前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、
前記解析ステップにおいて、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うパターン認識方法。
【請求項９】
コンピュータに、請求項５〜８のいずれかに記載のパターン認識方法の各ステップを実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−３０１１７９（Ｐ２００９−３０１１７９Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５２７４９（Ｐ２００８−１５２７４９）
【出願日】平成２０年６月１１日（２００８．６．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１１日（２００８．６．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]