文字認識装置、方法及びプログラム
【課題】文字認識の精度を向上すると共に、処理時間を短縮させる文字認識装置、方法及びプログラムを提供する。
【解決手段】画像データを読み込む手段と、画像データからナンバープレートの領域を抽出する抽出手段と、ナンバープレートの領域を長方形に補正する手段と、長方形の画像データを二値化する二値化手段と、二値化データ中に含まれる文字を認識する文字認識手段と、撮影位置を示す情報を取得する撮影位置情報取得手段と、を備える。文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正する。
【解決手段】画像データを読み込む手段と、画像データからナンバープレートの領域を抽出する抽出手段と、ナンバープレートの領域を長方形に補正する手段と、長方形の画像データを二値化する二値化手段と、二値化データ中に含まれる文字を認識する文字認識手段と、撮影位置を示す情報を取得する撮影位置情報取得手段と、を備える。文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどの画像の撮影装置で撮影されたナンバープレート画像データに含まれる文字を認識する文字認識装置、文字認識方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来ナンバープレート認識の技術は、高速道路や駐車場などの料金所で使用され、カメラの位置は固定されており、また赤外線などの特殊な光源を用いるものであった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、デジタルカメラで撮影されたナンバープレート画像を文字認識すると、画像の撮影条件（光源、光源位置、強さなど）による画像の乱れで誤認識することがあった。
【０００４】
本発明は、文字認識の精度を向上すると共に、処理時間を短縮させる文字認識装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の文字認識装置は、画像データを読み込む手段と、 この画像データからナンバープレートの領域を抽出する抽出手段と、このナンバープレートの領域を長方形に補正する手段と、補正された前記長方形の画像データを二値化する二値化手段と、二値化された二値化データの中に含まれる文字を認識する文字認識手段と、前記画像データに含まれる撮影位置を示す情報を取得する撮影位置情報取得手段と、を備え、 文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正することを特徴とする。
【０００６】
また、本発明の文字認識方法は、画像データを読み込む工程と、この画像データからナンバープレートの領域を抽出する抽出工程と、このナンバープレートの領域を長方形に補正する工程と、補正された前記長方形の画像データを二値化する二値化工程と、二値化された二値化データの中に含まれる文字を認識する文字認識工程と、前記画像データに含まれる撮影位置を示す撮影位置情報取得工程と、を有し、文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ナンバープレートの地名部分の文字認識結果の候補順が補正されることにより、文字認識の精度を向上させることができる。また、候補順がより実際的になることにより文字認識結果を用いる処理、例えばナンバープレートデータベースへの照合回数を減らし処理時間を短縮させる効果も得られる。
【発明を実施するための最良の形態】
【０００８】
以下添付図面に従って、本発明に係る実施形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の文字認識装置のハードウェアの概略構成の一例を示すブロック図である。この文字認識装置１０は、装置全体を制御する中央制御装置であるＣＰＵ１１、本実施形態の各種入力条件や解析結果などを表示する表示部１２、本実施形態の解析結果などを保存するハードディスク等の記憶部１３を有する。また、本実施形態の制御プログラム及び各種アプリケーションプログラム、データなどを記憶するＲＯＭ（リードオンリーメモリ）１４を有する。また、上記制御プログラムに基づいてＣＰＵ１１が装置各部を制御しながら処理を行うときに用いる作業領域であるＲＡＭ（ランダムアクセスメモリ）１５や、キーボード、マウスなどの入力部１６等から構成されている。
【０００９】
図２は、本実施形態における装置動作を示す流れ図である。
ステップＳ１０１は、入力されたカラー又はグレーの多値画像の画像データ中にナンバープレートと想定される領域を抽出するステップである。
ステップＳ１０２は、ナンバープレート領域が抽出できたかどうか判定するステップである。抽出できていない場合は処理を終了する。
【００１０】
ステップＳ１０３は、ナンバープレート領域を補正して長方形にする補正処理を行う。ナンバープレートは、常に正面から撮影できるわけではないため、ナンバープレートの領域は菱形に歪んだ状態になっている。このままでは文字認識できないため、ナンバープレートの形を長方形になるように補正する処理を行う。この処理の結果、図３に示すように長方形に補正されたナンバープレート画像が得られる。
【００１１】
ステップＳ１０４は、二値化を行うステップである。
ステップＳ１０５は、ステップＳ１０４で生成された二値化データから文字を認識するステップである。ここでは、図４に示すようなナンバープレートの形式に従い文字認識を行う。
ステップＳ１０６は、元の画像データに撮影位置を表す情報が含まれているかどうかを判定するステップである。情報が無ければ終了する。
ここでの位置情報は、撮影装置が持っているＧＰＳの撮影位置情報取得機能、もしくは撮影装置に接続されたＧＰＳ（全地球測位システム）の機能によって測位された位置情報であり（撮影位置情報取得手段）、地名等に対応付けられている。
【００１２】
ステップＳ１０７は、画像データに含まれる撮影位置を示す情報によりナンバープレートの陸運支局又は自動車検査登録事務所を表す文字の認識候補を補正するステップである。
例えばステップＳ１０５の文字認識で図５のような認識結果が得られたとする。ここでの類似度は０〜１００００の値を取り、大きいほど類似度が高いことを意味する。図６に示す候補陸運支局の位置テーブルを用い、撮影地点と候補地の距離を計算する。例えば図７に示すような位置関係であった場合、「練馬」の方が「群馬」より近くであるため、第一候補と第二候補を入れ替え、一位に「練馬」となるように候補を入れ替える。
【００１３】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。
第１の実施形態では、ステップＳ１０７で距離によって候補を入れ替えたが、第一候補と第二候補の類似度の差を調べ、入れ替えを行うかどうかを判断してもよい。例えば、差が予め決めておいた値Ｍよりも小さい場合だけ入れ替えを行う。
【００１４】
図５のような場合はＭを２００とすると入れ替えを行わないが、Ｍを１０００とすると入れ替えを行うことになる。
また、撮影地点との距離を使ってすべての候補の類似度を補正して、補正結果で並び替えることで順位を入れ替えてもよい。
【００１５】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。
同一の機器で撮影された画像データの中から、所定の時間範囲内の画像データにある位置情報で一番近い時刻のものの位置をその画像の位置として処理することもできる。この場合の処理フローを図８に示す。図８中のステップＳ１０１からステップＳ１０７は、図２のものと同じものである。
【００１６】
ステップＳ２０１は、処理中の画像データに撮影位置情報が含まれなかった場合に行われるステップである。同一の機器で撮影された画像データの中から、前後の一定時間内で最も近い時刻の撮影位置情報を持つ画像の探索を行う。
【００１７】
図９の例で前後１０分を探索範囲とすると、（Ａ），（Ｂ）ともに１６：１２の画像の持つ位置データを各画像の撮影位置とする。
ステップＳ２０２は、ステップＳ２０１の撮影位置情報探索の結果によって処理を分岐するステップである。撮影位置情報を持つ画像がなければ文字認識結果の補正を行わないで終了する。
【００１８】
（第４の実施形態）
次に、本発明の第４の実施形態を説明する。
第１の実施形態では、陸運支局に関連付けられた位置情報は一つであったが、複数個持っていてもよい。複数関連付けられている場合は、それぞれの地点との距離を計算して最も近いところをその候補への距離とする。
【００１９】
図１０のような場合は、撮影地点と群馬の５点との距離を計算し１５２Ｋｍとなり、練馬の４点との距離計算は２２Ｋｍとなる。
【００２０】
（第５の実施形態）
次に、本発明の第５の実施形態を説明する。
第１の実施形態から第４の実施形態では単純に直線距離で補正していたが、コンピュータ等を用いたカーナビゲーションシステムと連携して、撮影位置を出発点とし、候補地を到着点とした実際の道路での移動距離を使っても良い。
また、移動距離ではなく予想される移動時間を用いて補正しても良い。
【図面の簡単な説明】
【００２１】
【図１】本発明の文字認識装置のハードウェアの概略構成例を示すブロック図である。
【図２】本発明の第１の実施形態におけるフローチャートである。
【図３】本発明に係るナンバープレート画像の補正例を示す図である。
【図４】本発明に係るナンバープレートの文字認識位置と認識文字種の例を示す図である。
【図５】本発明に係るナンバープレートの地名の認識例を示す図である。
【図６】本発明に係る地名に対応付けられた位置情報のテーブル例を示す図である。
【図７】本発明の第１の実施形態における撮影地点と候補地への距離の例を示す図である。
【図８】本発明の第３の実施形態におけるフローチャートである。
【図９】本発明に係る位置情報が無い画像データの例を示す図である。
【図１０】本発明の第４の実施形態における撮影地点と候補地への距離の例を示す図である。
【符号の説明】
【００２２】
１０ 文字認識装置
１１ ＣＰＵ
１２ 表示部
１３ 記憶部
１４ ＲＯＭ
１５ ＲＡＭ
１６ 入力部
【技術分野】
【０００１】
本発明は、デジタルカメラなどの画像の撮影装置で撮影されたナンバープレート画像データに含まれる文字を認識する文字認識装置、文字認識方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来ナンバープレート認識の技術は、高速道路や駐車場などの料金所で使用され、カメラの位置は固定されており、また赤外線などの特殊な光源を用いるものであった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、デジタルカメラで撮影されたナンバープレート画像を文字認識すると、画像の撮影条件（光源、光源位置、強さなど）による画像の乱れで誤認識することがあった。
【０００４】
本発明は、文字認識の精度を向上すると共に、処理時間を短縮させる文字認識装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の文字認識装置は、画像データを読み込む手段と、 この画像データからナンバープレートの領域を抽出する抽出手段と、このナンバープレートの領域を長方形に補正する手段と、補正された前記長方形の画像データを二値化する二値化手段と、二値化された二値化データの中に含まれる文字を認識する文字認識手段と、前記画像データに含まれる撮影位置を示す情報を取得する撮影位置情報取得手段と、を備え、 文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正することを特徴とする。
【０００６】
また、本発明の文字認識方法は、画像データを読み込む工程と、この画像データからナンバープレートの領域を抽出する抽出工程と、このナンバープレートの領域を長方形に補正する工程と、補正された前記長方形の画像データを二値化する二値化工程と、二値化された二値化データの中に含まれる文字を認識する文字認識工程と、前記画像データに含まれる撮影位置を示す撮影位置情報取得工程と、を有し、文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ナンバープレートの地名部分の文字認識結果の候補順が補正されることにより、文字認識の精度を向上させることができる。また、候補順がより実際的になることにより文字認識結果を用いる処理、例えばナンバープレートデータベースへの照合回数を減らし処理時間を短縮させる効果も得られる。
【発明を実施するための最良の形態】
【０００８】
以下添付図面に従って、本発明に係る実施形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の文字認識装置のハードウェアの概略構成の一例を示すブロック図である。この文字認識装置１０は、装置全体を制御する中央制御装置であるＣＰＵ１１、本実施形態の各種入力条件や解析結果などを表示する表示部１２、本実施形態の解析結果などを保存するハードディスク等の記憶部１３を有する。また、本実施形態の制御プログラム及び各種アプリケーションプログラム、データなどを記憶するＲＯＭ（リードオンリーメモリ）１４を有する。また、上記制御プログラムに基づいてＣＰＵ１１が装置各部を制御しながら処理を行うときに用いる作業領域であるＲＡＭ（ランダムアクセスメモリ）１５や、キーボード、マウスなどの入力部１６等から構成されている。
【０００９】
図２は、本実施形態における装置動作を示す流れ図である。
ステップＳ１０１は、入力されたカラー又はグレーの多値画像の画像データ中にナンバープレートと想定される領域を抽出するステップである。
ステップＳ１０２は、ナンバープレート領域が抽出できたかどうか判定するステップである。抽出できていない場合は処理を終了する。
【００１０】
ステップＳ１０３は、ナンバープレート領域を補正して長方形にする補正処理を行う。ナンバープレートは、常に正面から撮影できるわけではないため、ナンバープレートの領域は菱形に歪んだ状態になっている。このままでは文字認識できないため、ナンバープレートの形を長方形になるように補正する処理を行う。この処理の結果、図３に示すように長方形に補正されたナンバープレート画像が得られる。
【００１１】
ステップＳ１０４は、二値化を行うステップである。
ステップＳ１０５は、ステップＳ１０４で生成された二値化データから文字を認識するステップである。ここでは、図４に示すようなナンバープレートの形式に従い文字認識を行う。
ステップＳ１０６は、元の画像データに撮影位置を表す情報が含まれているかどうかを判定するステップである。情報が無ければ終了する。
ここでの位置情報は、撮影装置が持っているＧＰＳの撮影位置情報取得機能、もしくは撮影装置に接続されたＧＰＳ（全地球測位システム）の機能によって測位された位置情報であり（撮影位置情報取得手段）、地名等に対応付けられている。
【００１２】
ステップＳ１０７は、画像データに含まれる撮影位置を示す情報によりナンバープレートの陸運支局又は自動車検査登録事務所を表す文字の認識候補を補正するステップである。
例えばステップＳ１０５の文字認識で図５のような認識結果が得られたとする。ここでの類似度は０〜１００００の値を取り、大きいほど類似度が高いことを意味する。図６に示す候補陸運支局の位置テーブルを用い、撮影地点と候補地の距離を計算する。例えば図７に示すような位置関係であった場合、「練馬」の方が「群馬」より近くであるため、第一候補と第二候補を入れ替え、一位に「練馬」となるように候補を入れ替える。
【００１３】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。
第１の実施形態では、ステップＳ１０７で距離によって候補を入れ替えたが、第一候補と第二候補の類似度の差を調べ、入れ替えを行うかどうかを判断してもよい。例えば、差が予め決めておいた値Ｍよりも小さい場合だけ入れ替えを行う。
【００１４】
図５のような場合はＭを２００とすると入れ替えを行わないが、Ｍを１０００とすると入れ替えを行うことになる。
また、撮影地点との距離を使ってすべての候補の類似度を補正して、補正結果で並び替えることで順位を入れ替えてもよい。
【００１５】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。
同一の機器で撮影された画像データの中から、所定の時間範囲内の画像データにある位置情報で一番近い時刻のものの位置をその画像の位置として処理することもできる。この場合の処理フローを図８に示す。図８中のステップＳ１０１からステップＳ１０７は、図２のものと同じものである。
【００１６】
ステップＳ２０１は、処理中の画像データに撮影位置情報が含まれなかった場合に行われるステップである。同一の機器で撮影された画像データの中から、前後の一定時間内で最も近い時刻の撮影位置情報を持つ画像の探索を行う。
【００１７】
図９の例で前後１０分を探索範囲とすると、（Ａ），（Ｂ）ともに１６：１２の画像の持つ位置データを各画像の撮影位置とする。
ステップＳ２０２は、ステップＳ２０１の撮影位置情報探索の結果によって処理を分岐するステップである。撮影位置情報を持つ画像がなければ文字認識結果の補正を行わないで終了する。
【００１８】
（第４の実施形態）
次に、本発明の第４の実施形態を説明する。
第１の実施形態では、陸運支局に関連付けられた位置情報は一つであったが、複数個持っていてもよい。複数関連付けられている場合は、それぞれの地点との距離を計算して最も近いところをその候補への距離とする。
【００１９】
図１０のような場合は、撮影地点と群馬の５点との距離を計算し１５２Ｋｍとなり、練馬の４点との距離計算は２２Ｋｍとなる。
【００２０】
（第５の実施形態）
次に、本発明の第５の実施形態を説明する。
第１の実施形態から第４の実施形態では単純に直線距離で補正していたが、コンピュータ等を用いたカーナビゲーションシステムと連携して、撮影位置を出発点とし、候補地を到着点とした実際の道路での移動距離を使っても良い。
また、移動距離ではなく予想される移動時間を用いて補正しても良い。
【図面の簡単な説明】
【００２１】
【図１】本発明の文字認識装置のハードウェアの概略構成例を示すブロック図である。
【図２】本発明の第１の実施形態におけるフローチャートである。
【図３】本発明に係るナンバープレート画像の補正例を示す図である。
【図４】本発明に係るナンバープレートの文字認識位置と認識文字種の例を示す図である。
【図５】本発明に係るナンバープレートの地名の認識例を示す図である。
【図６】本発明に係る地名に対応付けられた位置情報のテーブル例を示す図である。
【図７】本発明の第１の実施形態における撮影地点と候補地への距離の例を示す図である。
【図８】本発明の第３の実施形態におけるフローチャートである。
【図９】本発明に係る位置情報が無い画像データの例を示す図である。
【図１０】本発明の第４の実施形態における撮影地点と候補地への距離の例を示す図である。
【符号の説明】
【００２２】
１０ 文字認識装置
１１ ＣＰＵ
１２ 表示部
１３ 記憶部
１４ ＲＯＭ
１５ ＲＡＭ
１６ 入力部
【特許請求の範囲】
【請求項１】
画像データを読み込む手段と、
この画像データからナンバープレートの領域を抽出する抽出手段と、
このナンバープレートの領域を長方形に補正する手段と、
補正された前記長方形の画像データを二値化する二値化手段と、
二値化された二値化データの中に含まれる文字を認識する文字認識手段と、
前記画像データに含まれる撮影位置を示す情報を取得する撮影位置情報取得手段と、を備え、
文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正することを特徴とする文字認識装置。
【請求項２】
前記撮影位置情報は、ＧＰＳの測位によって得られることを特徴とする請求項１記載の文字認識装置。
【請求項３】
前記撮影位置情報が前記画像データに含まれていない場合は、所定の時間範囲内の撮影で得られた画像データに含まれる撮影位置情報を、当該画像データの撮影位置とすることを特徴とする請求項１記載の文字認識装置。
【請求項４】
画像データを読み込む工程と、
この画像データからナンバープレートの領域を抽出する抽出工程と、
このナンバープレートの領域を長方形に補正する工程と、
補正された前記長方形の画像データを二値化する二値化工程と、
二値化された二値化データの中に含まれる文字を認識する文字認識工程と、
前記画像データに含まれる撮影位置を示す撮影位置情報取得工程と、を有し、
文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正することを特徴とする文字認識方法。
【請求項５】
請求項４記載の文字認識方法の各工程をコンピュータにて実施させるプログラム。
【請求項１】
画像データを読み込む手段と、
この画像データからナンバープレートの領域を抽出する抽出手段と、
このナンバープレートの領域を長方形に補正する手段と、
補正された前記長方形の画像データを二値化する二値化手段と、
二値化された二値化データの中に含まれる文字を認識する文字認識手段と、
前記画像データに含まれる撮影位置を示す情報を取得する撮影位置情報取得手段と、を備え、
文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正することを特徴とする文字認識装置。
【請求項２】
前記撮影位置情報は、ＧＰＳの測位によって得られることを特徴とする請求項１記載の文字認識装置。
【請求項３】
前記撮影位置情報が前記画像データに含まれていない場合は、所定の時間範囲内の撮影で得られた画像データに含まれる撮影位置情報を、当該画像データの撮影位置とすることを特徴とする請求項１記載の文字認識装置。
【請求項４】
画像データを読み込む工程と、
この画像データからナンバープレートの領域を抽出する抽出工程と、
このナンバープレートの領域を長方形に補正する工程と、
補正された前記長方形の画像データを二値化する二値化工程と、
二値化された二値化データの中に含まれる文字を認識する文字認識工程と、
前記画像データに含まれる撮影位置を示す撮影位置情報取得工程と、を有し、
文字認識結果に含まれる地名の認識候補の順位を、地名に予め対応付けられた位置情報と撮影位置情報とを用いて補正することを特徴とする文字認識方法。
【請求項５】
請求項４記載の文字認識方法の各工程をコンピュータにて実施させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−２５２０４５（Ｐ２００９−２５２０４５Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−１００７５３（Ｐ２００８−１００７５３）
【出願日】平成２０年４月８日（２００８．４．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月８日（２００８．４．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]