除去対象標示体認識装置、除去対象標示体認識方法及び除去対象標示体認識プログラム
【課題】抽出対象外である除去対象標示体を認識する除去対象標示体認識装置を提供する。
【解決手段】除去対象標示体認識装置は、除去対象の標示体を含む画像データを記憶している。カラー領域抽出手段は、上記画像データから除去対象標示体の基礎となるカラーを備えるカラー領域を抽出する。そして、除去対象標示体認識手段は、上記マッチング領域から上記基礎となるカラー及び上記基礎となるカラー以外のカラーの構成に基づいて上記除去対象標示体を認識する。このように、除去対象標示体認識装置は、基礎となるカラー及び基礎となるカラー以外のカラー構成に基づいて標識の種別を判断するので、方面案内標識のように標識内の矢印形状の数や方向が異なる標識でも認識することができる。
【解決手段】除去対象標示体認識装置は、除去対象の標示体を含む画像データを記憶している。カラー領域抽出手段は、上記画像データから除去対象標示体の基礎となるカラーを備えるカラー領域を抽出する。そして、除去対象標示体認識手段は、上記マッチング領域から上記基礎となるカラー及び上記基礎となるカラー以外のカラーの構成に基づいて上記除去対象標示体を認識する。このように、除去対象標示体認識装置は、基礎となるカラー及び基礎となるカラー以外のカラー構成に基づいて標識の種別を判断するので、方面案内標識のように標識内の矢印形状の数や方向が異なる標識でも認識することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識処理により除去対象の標示体を認識する方法に関する。
【背景技術】
【０００２】
カーナビゲーション装置やＰＣ上で動作して地図を表示するアプリケーションなどにおいて使用される地図データには、道路標識やコンビニエンスストアの看板等、道路に設置された標示体のデータが含まれている。このような標示体のデータは、実際の道路に設置された道路標識や看板を撮影した画像データに対して画像認識処理を行うことにより取得される。車載カメラにより道路標識の画像を撮影し、画像認識処理により道路標識を認識する例が特許文献１又は２に記載されている。
【０００３】
上記のような画像認識処理による標示体の認識は、現実に存在する標示体に対応するテンプレート（以下、「標示体パターン」と呼ぶ。）を用意し、これら標示体パターンと撮影した画像データとを形状パターンマッチングすることにより行われる。
【０００４】
【特許文献１】特開２０００−１３２６６８号公報
【特許文献２】特開２０００−２９３６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記の画像認識処理は、各標識を認識するのみであり、例えば、指定方向外進行禁止標識の抽出を行う際、類似する矢印形状を含む方面案内標識を抽出してしまう可能性があるという問題が生じていた。
【０００６】
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、抽出対象外である除去対象標示体を認識する除去対象標示体認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段と、を備えることを特徴とする。
【０００８】
請求項５に記載の発明は、標示体認識の対象となる画像データを記憶する画像データ記憶工程と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出工程と、前記カラー領域抽出工程により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定工程と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識工程と、を備えることを特徴とする。
【０００９】
請求項６に記載の発明は、コンピュータ上で実行される除去対象標示体認識プログラムであって、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段、として前記コンピュータを機能させることを特徴とする。
【発明を実施するための最良の形態】
【００１０】
本発明の好適な実施形態では、除去対象標示体認識装置であって、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、前記マッチング領域から前記基礎となるカラーの割合に基づいて前記除去対象標示体を認識する除去対象標示体認識手段と、を備える。
【００１１】
上記の除去対象標示体認識装置は、予め画像データ記憶手段により、除去対象の標示体を含む画像データが記憶されている。画像データは、例えば、道路に設置された除去対象の標示体を撮影した画像データである。なお、除去対象の標示体とは、具体的には、「方面案内標識」がある。カラー領域抽出手段は、上記画像データから除去対象標示体の基礎となるカラーを備えるカラー領域を抽出する。そして、除去対象標示体認識手段は、上記マッチング領域から上記基礎となるカラー及び上記基礎となるカラー以外のカラーの構成に基づいて上記除去対象標示体を認識する。除去対象標示体認識手段が除去対象標示体を認識する具体的な方法として、前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成比率に基づいて認識する方法がある。
【００１２】
このように、除去対象標示体認識装置は、基礎となるカラー及び基礎となるカラー以外のカラー構成に基づいて除去対象標示体を認識するので、方面案内標識のように標識内の矢印形状の数や方向が異なる標識でも認識することができる。
【００１３】
従って、除去対象標示体認識装置が、予め画像データから案内標識等の除去対象標示体を抽出対象の領域から認識しておけば、上記除去対象の標示体の部分と類似する形状の標識の認識精度を向上させることができる。
【００１４】
上記除去対象標示体認識装置の一態様では、前記除去対象標示体認識手段が認識した除去対象標示体の領域を前記マッチング領域から削除する除去対象標示体領域削除手段をさらに備え、前記マッチング領域設定手段は、前記マッチング領域から前記除去対象標示体領域削除手段が削除した領域を除いた領域を新たなマッチング領域に設定することを特徴とする。これによれば、除去対象標示体認識装置は、除去対象標示体認識手段が認識した除去対象標示体をマッチング領域から削除し、削除した後の残余領域をマッチング領域に設定する。
【００１５】
従って、除去対象標示体認識装置は、除去対象標示体を認識した後に当該除去対象標示体を削除し、残余領域をマッチング領域としているので、上記残余領域からマッチングを行えば、除去対象標示体を抽出対象の標示体であると誤認識してしまう可能性を低減させることができる。
【００１６】
上記除去対象標示体認識装置の他の一態様では、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、前記標示体パターンを用いて、マッチング領域との形状パターンマッチングを行うマッチング手段と、をさらに備え、前記除去対象標示体認識手段は、前記マッチング領域内の領域と、前記標示体パターンとの形状パターンマッチングの結果における、前記標示体パターンの前記マッチング領域に占める面積比率に基づいて除去対象標示体を認識する。これによれば、除去対象標示体認識装置は、標示体パターンを保持する。ここで、上記標示体パターンの具体例として、矢印形状を含む標示体パターンがある。マッチング手段は、上記標示体パターンを用いてマッチングを行い、除去対象標示体認識手段は、上記マッチング領域内の領域と、上記標示体パターンとの形状パターンマッチングの結果における、上記標示体パターンの上記マッチング領域に占める面積比率に基づいて除去対象標示体を認識する。
【００１７】
具体的には、除去対象標示体認識装置は、上記標示パターンを用いてマッチング領域に対してマッチングを行い、マッチングした際の標示パターンの面積と、上記マッチング領域内におけるマッチングした個所の領域周辺の面積とを比較する。そして、除去対象標示体認識装置は、マッチングした際の標示パターンの面積と、上記マッチング領域内におけるマッチングした領域周辺の面積とを比較した結果、マッチング領域内におけるマッチングした領域周辺の面積が著しく大きい場合、上記マッチングした領域周辺が除去対象標示体であると認識する。
【００１８】
このように、除去対象標示体認識装置は、マッチングした際の標示パターンの面積と、マッチング領域内におけるマッチングした個所周辺の領域の面積とを比較することにより、除去対象の標示体である案内標識を認識することができる。
【００１９】
上記除去対象標示体認識装置のさらに他の一態様では、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、前記標示体パターンを用いて、マッチング領域との形状パターンマッチングを行うマッチング手段と、をさらに備え、前記除去対象標示体認識手段は、前記マッチング領域内の所定領域における前記標示体パターンにマッチングした数に基づいて除去対象標示体を認識する。この場合、除去対象標示体認識装置は、標示体パターンを保持する。マッチング手段は、上記標示体パターンを用いてマッチングを行い、上記除去対象標示体認識手段は、上記マッチング領域内の所定領域内における上記標示体パターンにマッチングする数に基づいて除去対象標示体を認識する。
【００２０】
具体的には、除去対象標示体認識装置は、上記標示パターンを用いてマッチング領域に対してマッチングを行い、上記標示パターンにマッチングした個所が所定領域内に複数ある場合、上記マッチングした領域周辺が除去対象標示体であると認識する。
【００２１】
このように、除去対象標示体認識装置は、マッチング領域内における所定領域内について、マッチングした際の標示パターンの数に基づいて、除去対象の標示体である案内標識を認識することができる。
【００２２】
本発明の他の実施形態では、除去対象標示体認識方法は、標示体認識の対象となる画像データを記憶する画像データ記憶工程と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出工程と、前記カラー領域抽出工程により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定工程と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識工程と、を備える。このような除去対象標示体認識方法によっても、基礎となるカラー及び基礎となるカラー以外のカラー構成に基づいて標識の種別を判断するので、案内標識のように標識内の矢印形状の数や方向が異なる標識でも認識することができる。
【００２３】
本発明のさらに他の観点では、コンピュータ上で実行される除去対象標示体認識プログラムであって、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段、として前記コンピュータを機能させる。このような除去対象標示体認識プログラムを、各種装置上で実行することにより、本発明の除去対象標示体認識装置を実現することができる。なお、この除去対象標示体認識プログラムは記録媒体に記録した状態で好適に取り扱うことができる。
【実施例】
【００２４】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２５】
[標示体認識装置]
図１は、本発明の実施例に係る標示体認識方法を適用した標示体認識装置１００の概略構成を示す図である。標示体認識装置１００は、本発明における除去対象標示体認識装置として機能する。
【００２６】
本実施例において、標示体認識装置１００は、道路に設置された標示体を撮影した画像データと、現実に存在する標示体に対応するテンプレートである標示体パターンとを形状パターンマッチングすることにより標示体を認識する装置である。
【００２７】
標示体認識装置１００は、例えば、パーソナルコンピュータにより構成され、システムバス１１と、ＣＰＵ（Central Processing Unit）１２と、メモリ１３と、キーボード１４と、マウスなどの座標指示デバイス１５と、ディスプレイ１６と、プリンタ１７と、データベース１８とを備える。ここで、キーボード１４及び座標指示デバイス１５は、入力装置である。また、ディスプレイ１６及びプリンタ１７は、出力装置である。ＣＰＵ１２は、標示体認識装置１００全体を制御し、入出力装置の制御を行う。
【００２８】
ＣＰＵ１２、メモリ１３、データベース１８は、システムバス１１に接続される。キーボード１４、座標指示デバイス１５、ディスプレイ１６、プリンタ１７も図示しないインタフェースを介してシステムバス１１に接続される。メモリ１３は、作業メモリとしても使用される。
【００２９】
[標示体認識ユニット]
図２は、画像データと、標示体パターンとを形状パターンマッチングすることにより標示体を認識する標示体認識ユニット２００の機能ブロック図である。標示体認識ユニット２００は、実態的には、標示体認識装置１００の構成要素により構成される。図２に示すように、標示体認識ユニット２００は、認識用情報記憶部２０１、マッチング領域設定部２０２、カラー領域抽出部２０３、マッチング部２０４、標示体認識部２０５、認識済領域削除部２０６及び認識結果情報記憶部２０７を備える。
【００３０】
認識用情報記憶部２０１は、道路に設置された標示体を撮影した画像データを記憶する。道路に設置された標示体とは、コンビニエンスストアやガソリンスタンドの看板、規制標識や警戒標識をはじめとする標識などであって、色が変化しないものである。
【００３１】
また、認識用情報記憶部２０１は、現実に存在する標示体に対応するテンプレートである標示体パターンと、各標示体パターンの形状パターンマッチングによる認識率を示す認識率データとを記憶する。
【００３２】
まず、標示体パターンについて、図３及び図４を参照して詳しく説明する。図３は、認識対象となる標示体に対応する標示体パターン（以下、「認識対象パターン」とも呼ぶ。）の例である。図４は、認識対象ではない標示体に対応する標示体パターン（以下、「非認識パターン」とも呼ぶ。）の例である。
【００３３】
一般的に特徴点の少ないシンプルな形状の標示体は誤認識されやすいため、標示体認識ユニット２００は、認識対象となる標示体と近似形状を含む認識対象ではない標示体も認識し、予め除外することとしている。そのため、認識用情報記憶部２０１は、標示体パターンとして認識対象パターン及び非認識パターンを記憶している。
【００３４】
図３（ａ）乃至（ｃ）に示す認識対象パターンは、基礎となるカラーが「青」である「指定方向外進行禁止」の規制標識に対応する標示体パターンである。また、図３（ｄ）乃至（ｇ）に示す認識対象パターンは、基礎となるカラーが「青」である「一方通行」の規制標識に対応する標示体パターンである。図示のように、「指定方向外進行禁止」や「一方通行」の規制標識は、基本的に矢印により進行可能な方向を示した図形となっている。図面において青色の領域は、左斜線で示す。
【００３５】
なお、認識用情報記憶部２０１は、画像データとの形状パターンマッチングにおいて３次元的な奥行きを考慮するため、図３（ｆ）及び（ｇ）に示すように、「一方通行」の規制標識に対応する標示体パターンを複数用意している。これにより、画像データ内の標示体が３次元的な奥行きにより傾いていたとしても、標示体認識ユニット２００は、形状パターンマッチングにより的確に標示体を認識することができる。
【００３６】
図４（ａ）に示す非認識パターンは、基礎となるカラーが「青」である「警笛鳴らせ」の規制標識に対応する標示体パターンである。また、図４（ｂ）に示す非認識パターンは、基礎となるカラーが「青」である「駐車可」の指示標識に対応する標示体パターンである。
【００３７】
本実施例では、画像データと図３に示す認識対象パターンとの形状パターンマッチングにより、「指定方向外進行禁止」及び「一方通行」の規制標識を認識するものとする。また、本実施例では、似たようなカラーパターンを持つ標示体の誤認識を低下させるため、基礎となるカラーが「青」であって、白いマークが描かれている図４に示す標示体パターンを非認識パターンとしている。
【００３８】
しかし、本発明はこれに限定されるものではなく、認識対象パターン及び非認識対象パターンに対応する標識や看板は、任意に設定することができる。例えば、「指定方向外進行禁止」や「一方通行」の規制標識を認識する場合、基礎となるカラーが「青」であって、白い矢印が描かれている「方面案内標識」や「指定方向別通行区分（レーン案内）」を非認識パターンとしてもよい。
【００３９】
次に、各標示体パターンの認識率を示す認識率データについて、図５を参照して説明する。図５は、認識率データのデータ構造を模式的に示す図である。図示のように、認識率データは、標示体パターン、名称及び認識率から構成されている。標示体パターンは、各標示体パターンの代表的な形状を示す。例えば、「指定方向外進行禁止」の規制標識は複数種類存在するが、図５では矢印が左方向の標識に対応する標示体パターンが代表として示されている。名称は、各標示体パターンに対応する標示体の名称を示す。認識率は、事前に検証されたデータであって、各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である。通常、形状パターンマッチングによる認識処理では、特徴の強い形状を持つ標示体パターンほど認識率が高くなる。
【００４０】
認識用情報記憶部２０１は、本発明における画像データ記憶手段、標示体パターン記憶手段、認識率データ記憶手段として機能する。また、認識用情報記憶部２０１は、図１に示すデータベース１８内に構成することができる。
【００４１】
マッチング領域設定部２０２は、認識用情報記憶部２０１により記憶されている標示体パターンと形状パターンマッチングを実行する領域をマッチング領域として設定する。マッチング領域設定部２０２は、まず、１枚の画像データの全領域をマッチング領域として設定する。その後、マッチング領域設定部２０２は、詳細は後述するが、カラー領域抽出部２０３により抽出されたカラー領域をマッチング領域に設定したり、標示体認識部２０５により認識された標示体の領域を削除した残余領域をマッチング領域に設定したりする。マッチング領域設定部２０２は、本発明におけるマッチング領域設定手段として機能する。
【００４２】
カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。ここで、特定の標示体パターンとは、認識したい標示体に対応する標示体パターンであって、標示体パターンを構成する基礎となるカラーとは、対応する標示体を構成する基礎となるカラーである。例えば、基礎となるカラーが「青」である規制標識を認識する場合、カラー領域抽出部２０３は、マッチング領域から青色の成分を多く含む領域を青色領域として抽出する。また、基礎となるカラーが「黄色」である警戒標識を認識する場合、カラー領域抽出部２０３は、マッチング領域から黄色の成分を多く含む領域を黄色領域として抽出する。カラー領域抽出部２０３は、本発明におけるカラー領域抽出手段として機能する。
【００４３】
なお、マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する。このように、標示体パターン及び対応する標示体を基礎となるカラーで複数のグループに分類することで、色によるマッチング領域の絞込みが可能となり、標示体を認識する処理を高速化することができる。
【００４４】
マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率の高い標示体パターンから順に、マッチング領域設定部２０２により設定されたマッチング領域との形状パターンマッチングを実行する。具体的に、マッチング部２０４は、１枚の画像データから抽出されたカラー領域に対して、認識率の高い順に認識対象パターン又は非認識パターンの形状パターンマッチングを実行する。このように、標示体パターン及び対応する標示体を予め検証された認識率に基づいてグループ化した上で、マッチング部２０４は、認識率の高いグループ毎に形状パターンマッチングを実行する。また、マッチング部２０４は、上記のような、認識対象パターン又は非認式パターンの形状マッチングだけでなく、上記カラー領域に対して、上向き矢印パターンの形状パターンマッチングも実行する。マッチング部２０４は、本発明におけるマッチング手段として機能する。
【００４５】
標示体認識部２０５は、マッチング部２０４による形状パターンマッチングの結果に基づいて、マッチング領域と、標示体パターンとのマッチング度合いが所定レベル以上である場合に、そのマッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する。即ち、標示体認識部２０５は、マッチング領域の標示体が認識対象パターンに対応する標示体又は非認識パターンに対応する標示体であると認識する。また、標示体認識部２０５は、後述する種々の方法で、方面案内標識を認識する。標示体認識部２０５は、本発明における除去対象標示体認識手段として機能する。
【００４６】
なお、画像データと、標示体パターンとの形状パターンマッチングの具体的な処理については、周知技術であるため、便宜上説明は省略する。
【００４７】
認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する。標示体認識部２０５は、認識率が高い標示体から順に認識しているため、認識済領域削除部２０６は、認識率が高い標示体の領域から順に削除していく。換言すると、認識済領域削除部２０６は、誤認識の少ない標示体の領域から順に削除していく。また、認識済領域削除部２０６は、標示体認識部２０５が認識した方面案内標識も削除する。認識済領域削除部２０６は、本発明における除去対象標示体領域削除手段として機能する。
【００４８】
なお、マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する。具体的に、マッチング部２０４は、この後、認識率の高い標示体パターンから順に、新たなマッチング領域、即ちカラー領域から認識済領域を削除した残りの残余領域との形状パターンマッチングを実行する。つまり、１枚の画像データに対応するマッチング領域は、標示体認識部２０５により標示体が認識される度に認識済領域がどんどん削除される。また、マッチング部２０４は、どんどん狭くなるマッチング領域と標示体パターンとの形状パターンマッチングを実行する。このように認識率の高いグループ毎に形状パターンマッチングを実行し、認識した標示体の領域をマッチング領域から削除していくことで、重複認識を避け、マッチング領域の減少による処理の高速化及び認識率の向上を実現することができる。
【００４９】
認識結果情報記憶部２０７は、標示体認識部２０５により認識された標示体の中で認識対象である標示体、つまり認識対象パターンに対応する標示体に関する情報を認識結果情報として記憶する。図６は、認識結果情報のデータ構造を模式的に示す図である。認識結果情報は、画像データＩＤ、撮影場所、方向、位置及び標示体ＩＤから構成されている。画像データＩＤは、マッチング部２０４による形状パターンマッチングの基になる画像データを識別する情報である。撮影場所は、対応する画像データの撮影場所を示す緯度及び経度である。方向は、対応する撮影場所において撮影を行った車両の進行方向である。位置は、標示体認識部２０５により認識された標示体の画像データ上の位置を示すＸ座標及びＹ座標である。標示体ＩＤは、標示体認識部２０５により認識された標示体を識別する情報である。認識結果記憶部２０７により記憶された認識結果情報に基づいて、例えば車両のナビゲーション装置に記憶されている地図データ等を更新することができる。なお、本実施例において認識結果情報記憶部２０７は、図６に示すようなデータ構造の認識結果情報を記憶することとしているが、本発明はこれに限定されるものではなく、形状パターンマッチングによるマッチング度合いや標示体の傾き等の情報を認識結果情報に含めることとしてもよい。
【００５０】
本実施例において標示体認識ユニット２００は、標示体認識装置１００の構成要素により構成されることとしているが、本発明はこれに限定されるものではなく、例えば、走行現地調査用の装置や通常の車両に搭載されたカーナビゲーション装置の構成要素により構成されることとしてもよい。
【００５１】
なお、本実施例における標示体認識ユニット２００は、図３及び図４に示す標示体パターンに対応する標示体を認識するものであって、この場合の形状パターンマッチングについては周知の技術であるため、便宜上説明を省略している。しかし、本発明はこれに限定されるものではなく、方面、方向、距離等を指示する方面案内標識を認識することも考えられる。この場合のマッチングについて図７を参照して特に説明する。
【００５２】
方面案内標識は、地名や距離など設置場所固有の情報が記載されているため、規制標識や警戒標識のような定型の標示体ではない。そのため、予め全ての方面案内標識に対応する標示体パターンを認識用情報記憶部２０１に記憶することは、標示体認識ユニット２００にとって負荷が極めて大きい。よって、標示体認識部２０５がマッチング領域に含まれる方面案内標識を認識する場合、マッチング部２０４は、図７に示すように、スケールを変化させながら小さい上向き矢印を、マッチング領域内の方面案内標識の領域とマッチングさせる。このときマッチング部２０４は、上向き矢印を３６０度回転させ、全ての角度について、方面案内標識の領域とのマッチングを実行する。そして、マッチング部２０４のマッチング結果により、矢印を複数個含む標示体が存在する場合、標示体認識部２０５は、「一方通行」や「指定方向外進行禁止」の規制標識と区別するため、標示体全体中の青色領域の割合を算出する。規制標識は、通常、方面案内標識と比べて青色領域の割合が少ないため、標示体認識部２０５は、算出した青色領域の割合が予め設定された閾値より大きい場合に、マッチング領域の標示体を方面案内標識であると認識する。
【００５３】
なお、標示体認識ユニット２００が上記方面案内標識を認識し、当該方面案内標識をマッチング領域から削除する方法については、後述する。
【００５４】
[標示体認識方法]
次に、標示体認識ユニット２００により、画像データと標示体パターンとを形状パターンマッチングすることで標示体を認識する方法について図８乃至図１０を参照して説明する。図８は、本実施例におけるマッチング領域を示す図である。図９は、本実施例における標示体認識方法を説明する図である。図１０は、従来の標示体認識方法を説明する図である。
【００５５】
標示体認識ユニット２００では、まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、カラー領域抽出部２０３は、図８（ａ）に示す画像データから、図８（ｂ）に示すように青色の成分を多く含む青色領域を抽出する。このとき、カラー領域抽出部２０３は、青色の成分を多く含む領域を少し（例えば、数ピクセル）膨らませ、当該領域の周りを含めて青色領域として抽出する。これによれば、基礎となるカラーが「青」であり、エッジが「白」の標示体であっても、カラー領域抽出部２０３は、エッジを含む標示体を青色領域として抽出することができる。
【００５６】
マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する。換言すると、カラー領域抽出部２０３が抽出した青色領域以外の部分は、形状パターンマッチングの対象とならない。よって、図面では、画像データにおいて形状パターンマッチングの対象とならない部分、即ちマッチング領域以外の部分を、便宜上、黒色で表現する。
【００５７】
続いて、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、マッチング領域設定部２０２により設定された新たなマッチング領域との形状パターンマッチングを行う。即ち、マッチング部２０４は、はじめに、最も認識率が高い標示体パターンと、カラー領域との形状パターンマッチングを行う。具体的に、マッチング部２０４は、図５に示すような認識率データに基づいて、認識率が１００％であり最も高い「警笛鳴らせ」の規制標識に対応する非認識パターンと、図８（ｂ）に示す青色領域との形状パターンマッチングを行う。
【００５８】
マッチング部２０４による形状パターンマッチングの結果に基づいて、標示体認識部２０５は、マッチング領域と、標示体パターンとのマッチング度合いが所定レベル以上である場合に、そのマッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する。具体的に、標示体認識部２０５は、図８（ｂ）に示す青色領域と、「警笛鳴らせ」の規制標識に対応する非認識パターンとのマッチング度合いが所定のレベル以上であると判断し、青色領域内に存在する標示体を「警笛鳴らせ」の規制標識であると認識する。標示体を認識すると、認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する。具体的に、認識済領域削除部２０６は、図８（ｃ）に示すように、標示体認識部２０５が認識した「警笛鳴らせ」の規制標識の領域を青色領域から削除する。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域、即ち図８（ｃ）に示す領域を新たなマッチング領域に設定する。
【００５９】
そして、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、新たなマッチング領域との形状パターンマッチングを行う。具体的に、マッチング部２０４は、図５に示すような認識率データに基づいて、認識率が９７．１０％の「指定方向外進行禁止」の規制標識に対応する認識対象パターンと、既に「警笛鳴らせ」の規制標識の領域が削除された図８（ｃ）に示す青色領域との形状パターンマッチングを行う。マッチング部２０４による形状パターンマッチングの結果に基づいて、標示体認識部２０５は、図８（ｃ）に示す青色領域と、「指定方向外進行禁止（右方向）」の規制標識に対応する認識パターンとのマッチング度合いが所定のレベル以上であると判断し、青色領域内に存在する標示体を「指定方向外進行禁止（右方向）」であると認識する。認識対象である標示体を認識した場合、認識結果情報記憶部２０７は、当該標示体に関する情報を、図６に示すような認識結果情報として記憶する。また、認識済領域削除部２０６は、図８（ｄ）に示すように、標示体認識部２０５が認識した「指定方向外進行禁止（右方向）」の規制標識の領域を認識済領域として青色領域から削除する。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域、即ち図８（ｄ）に示す領域を新たなマッチング領域に設定する。
【００６０】
標示体認識ユニット２００は、１枚の画像データに対してマッチング領域がなくなるまでこのような処理を繰り返すことにより、標示体の認識を行う。換言すると、標示体認識ユニット２００は、図９（ａ）に示すように、１枚の画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを一括で行うことで、標示体の認識処理を実行する。このとき、標示体認識ユニット２００は、予め各標示体パターンの認識率を認識率データとして記憶しており、当該認識率データに基づいて認識率の高い標示体パターンから順に形状パターンマッチングを実行する。
【００６１】
これに対し、従来の認識処理では、図１０に示すように、１枚の画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを、標示体パターンの種類毎に複数回実行しており、処理時間が非常に長くなっていた。さらに、１枚の画像データに対する形状パターンマッチングを標示体パターンの種類毎に複数のプロセスで実行するため、１枚の画像データに含まれる１つの標示体を複数の標示体と誤認識するという問題が発生していた。
【００６２】
本実施例のように、標示体認識ユニット２００が、標示体パターンの認識率に基づいて、画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを一括処理することで、処理時間を高速化する共に、認識率の向上を実現することができる。
【００６３】
さらに、本実施例において標示体認識ユニット２００は、形状パターンマッチングにより標示体を認識した場合、認識した標示体の領域を認識済領域としてマッチング領域から削除する。標示体認識ユニット２００の認識用情報記憶部２０１は、認識対象パターン及び非認識パターンを標示体パターンとして記憶しているため、これによれば、認識対象パターンのみならず、非認識対象パターンに対応する標示体を認識した場合にも、その領域を認識済領域としてマッチング領域から削除することができる。よって、的確にマッチング領域を絞り込んでいくことができる。また、このように既に認識した標示体の領域を認識済領域として削除することで、１枚の画像データにおいて認識された１つの標示体が、別の標示体であると重複して認識されることを防止できる。よって、従来の認識処理より標示体の認識率を向上させることが可能となる。特にシンプルな形状である「一方通行」の規制標識は誤認識されやすいが、事前に近似形状を含む「指定方向外進行禁止」や「方面案内標識」の標識を認識対象パターン又は非認識パターンに対応する標示体として認識し、認識済領域をマッチング領域から削除することで、「一方通行」の標識の認識率を効果的に向上させることができる。
【００６４】
また、本実施例において標示体認識ユニット２００は、図９（ｂ）に示すように、マッチング領域から、認識対象パターンを構成する基礎となるカラーを備える領域をカラー領域として抽出した後、当該カラー領域と、予め用意された複数の標示体パターンとの形状パターンマッチングを一括で行うことで、標示体の認識処理を実行する。このように形状パターンマッチングを一括で行う前処理としてカラー領域を抽出することで、形状パターンマッチングを実行するマッチング領域が予め絞られるため、処理時間を従来の認識処理より大幅に短縮することが可能となる。
【００６５】
[標示体認識処理]
次に、本実施例による標示体認識処理について、図１１を参照して説明する。図１１は、本実施例による標示体認識処理のフローチャートである。標示体認識ユニット２００は、標示体認識装置１００の構成要素により構成されるものであって、標示体認識処理は、図１に示すＣＰＵ１２がメモリ１３に記憶されたプログラムを実行することにより実現される。
【００６６】
まず、標示体認識ユニット２００のマッチング領域設定部２０２は、認識用情報記憶部２０１により記憶されている画像データの中から１枚の画像データを抽出し、当該画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する（ステップＳ１）。ここで、特定の標示体パターンとは、画像データから認識したい標示体に対応する標示体パターンである。よって、例えば基礎となるカラーが「青」の規制標識を認識したい場合、カラー領域抽出部２０３は、マッチング領域、即ち画像データの全領域から青色領域を抽出する。マッチング領域設定部２０２は、カラー領域抽出部２０２により抽出されたカラー領域を新たなマッチング領域に設定する。
【００６７】
続いて、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。形状パターンマッチングの結果、標示体パターンとマッチング領域とのマッチング度合いが所定のレベル以上ではない場合（ステップＳ３；Ｎｏ）、マッチング部２０４は、認識率データに基づいて異なる標示体パターンと、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。一方、形状パターンマッチングの結果、標示体パターンとマッチング領域とのマッチング度合いが所定のレベル以上である場合（ステップＳ３；Ｙｅｓ）、標示体認識部２０５は、マッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する（ステップＳ４）。標示体認識部２０５により標示体が認識されると、認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する（ステップＳ５）。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する。
【００６８】
また、標示体認識部２０５は、認識した標示体が認識対象であるか否かを判定する（ステップＳ６）。標示体認識部２０５により認識された標示体が認識対象である場合（ステップＳ６；Ｙｅｓ）、認識結果情報記憶部２０７は、当該標示体に関する情報を認識結果情報として記憶する（ステップＳ７）。そして、標示体認識ユニット２００は、マッチング領域に未認識領域があるか否かを判定する（ステップＳ８）。未認識領域とは、マッチング領域内においてまだ認識されていない標示体が存在する領域のことである。マッチング領域に未認識領域があると判定された場合（ステップＳ８；Ｙｅｓ）、マッチング部２０４は、認識率データに基づいて、標示体パターンと、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。一方、マッチング領域に未認識領域がないと判定された場合（ステップＳ８；Ｎｏ）、標示体認識ユニット２００は、標示体認識処理を完了する。
【００６９】
このように未認識領域がなくなるまで、標示体認識ユニット２００は、マッチング領域、即ちカラー領域から認識済領域が削除された残りの残余領域と、標示体パターンとの形状パターンマッチングを認識率の高い順に１つのプロセスで実行する。換言すると、標示体認識ユニット２００は、認識対象パターン又は非認識パターンに対応する標示体が認識される度に、マッチング領域から認識済領域を削除していき、どんどん狭くなるマッチング領域と標示体パターンとの形状パターンマッチングを実行することで、標示体を認識する。
【００７０】
これによれば、認識対象パターンのみならず、非認識対象パターンに対応する標示体を認識した場合にも、その領域を認識済領域としてマッチング領域から認識率が高い順に削除することができる。また、既に認識した標示体の領域を認識済領域として削除することで、１枚の画像データにおいて認識された１つの標示体が、別の標示体であると重複して認識されることを防止できる。さらに、１つの画像データと、複数の標示体パターンとの形状パターンマッチングを一括で行う前処理としてカラー領域を抽出することで、マッチング領域が予め絞られるため、処理時間を大幅に短縮することができる。よって、標示体認識ユニット２００は、画像データ及び標示体パターンに基づく形状パターンマッチングにより、短い処理時間で効率的に標示体の認識をすると共に、認識率を向上させることができる。
【００７１】
［方面案内標識認識方法の概要］
次に、方面案内標識認識方法の概要について、説明する。本実施例における方面案内標識認識方法とは、標示体認識ユニット２００により、画像データと標示体パターンとを形状パターンマッチングすることで方面案内標識を特定し、当該方面案内標識をマッチング領域から削除する方法をいう。図１２は、本実施例における方面案内標識を認識する方法を説明する図である。
【００７２】
標示体認識ユニット２００では、まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、カラー領域抽出部２０３は、図１２（ａ）に示す画像データから、図１２（ｂ）に示すように青色の成分を多く含む青色領域を抽出する。このとき、カラー領域抽出部２０３は、青色の成分を多く含む領域を少し（例えば、数ピクセル）膨らませ、当該領域の周りを含めて青色領域として抽出する。これによれば、基礎となるカラーが「青」であり、エッジが「白」の標示体であっても、カラー領域抽出部２０３は、エッジを含む標示体を青色領域として抽出することができる。なお、カラー領域抽出部２０３は、小さい青色領域（いわゆるノイズ領域）を抽出した場合は、当該小さい青色領域を抽出対象から除外する。
【００７３】
マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する。
【００７４】
続いて、マッチング部２０４は、矢印パターン２２０について、スケールを変化させたり、回転させたりすることにより、新たなマッチング領域のマッチングを行う。
【００７５】
そして、標示体認識部２０５は、矢印パターン２２０と、マッチング領域とをマッチングし、マッチングした状態における矢印パターン２２０の面積と、マッチング領域中のマッチング対象周辺の領域の面積との比較結果に基づいて、マッチング対象の周辺領域が方面案内標識２５０であることを認識する。
【００７６】
例えば、図１２（ｃ）に示すように、マッチング部２０４が、方面案内標識２５０を含む領域内における、青色及び青色以外の色で構成される標識内矢印２５１と、矢印パターン２２０とをマッチングさせた後に、標示体認識部２０５は、マッチング時の矢印パターン２２０の面積と、標識内矢印２５１の周辺領域である、方面案内標識２５０を含む領域の面積とを比較する。そして、マッチング部２０４は、方面案内標識２５０を含む領域の面積がマッチング時の矢印パターン２２０の面積に比して著しく大きいため、上記の方面案内標識２５０を含む領域は、方面案内標識２５０を含むと認識する。
【００７７】
このように、標示体認識部２０５は、矢印形状が方面案内標識２５０内に占める割合と、矢印形状が「指定方向外進行禁止」の標識内に占める割合とが大きく異なることに着目して、判別対象の領域が方面案内標識であるか否かを判別している。
【００７８】
そして、認識済領域削除部２０６は、標示体認識部２０５が認識した方面案内標識２５０を含む領域をマッチング領域から削除する。
【００７９】
マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する。
【００８０】
上記マッチング領域について、未認識領域があるか否かを判定し、未認識領域があれば、未認識領域について、方面案内標識であるか否かを判定し、未認識領域がなければ、処理を終了する。
【００８１】
このように、標示体認識ユニット２００は、マッチング領域から、「指定方向外進行禁止」の標識に類似する方面案内標識を排除しておけば、「指定方向外進行禁止」の標識の認識精度を向上させることができる。
【００８２】
［方面案内標識認識処理］
以下に、方面案内標識認識処理の手順について図１３に示すフローチャートを用いて説明する。この処理は、標示体認識ユニット２００のＣＰＵ１２が、予め用意されたプログラムを実行することにより実現される。
【００８３】
まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定し、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出し、マッチング領域設定部２０２が、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する（ステップＳ２１）。
【００８４】
続いて、マッチング部２０４は、矢印パターン２２０について、スケールを変化させたり、回転させたりすることにより、新たなマッチング領域のマッチングを行う（ステップＳ２２）。
【００８５】
そして、マッチング部２０４のマッチング結果により、上記マッチング領域内に、矢印パターン２２０にマッチングする標識内矢印２５１が存在する場合、標示体認識部２０５は、上記標識内矢印２５１周辺の領域の面積と、上記マッチングした時点の矢印パターン２２０の面積とを算出し、上記標識内矢印２５１周辺の領域の面積が、マッチングした時点の矢印パターン２２０の面積と比較して、著しく大きい場合（例えば、標識内矢印２５１周辺の領域の面積が矢印パターン２２０の面積の５倍以上の大きさを有する等）、上記マッチング領域を方面案内標識であると認識する（ステップＳ２３）。
【００８６】
そして、認識済領域削除部２０６が、標示体認識部２０５が認識した方面案内標識の領域をマッチング領域から削除し、マッチング領域設定部２０２が、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する（ステップＳ２４）。
【００８７】
そして、マッチング領域に、未認識の領域がある場合（ステップＳ２５；Ｙｅｓ）、ステップＳ２２へ移り、マッチング領域に未認識の領域がない場合（ステップＳ２５；Ｎｏ）、方面案内標識認識処理を終了する。
【００８８】
[方面案内標識認識処理と標示体認識処理との関係について]
ここで、標示体認識処理と方面案内標識認識処理との関係について記載する。上記方面案内標識認識処理は、実際には、標示体認識処理に含まれる。
【００８９】
具体的には、方面案内標識削除処理におけるステップＳ２１は、標示体認識処理におけるステップＳ１に対応し、方面案内標識認識処理におけるステップＳ２２は、標示体認識処理におけるステップＳ２に対応し、方面案内標識認識処理におけるステップＳ２３は、標示体認識処理におけるステップＳ４に対応し、方面案内標識認識処理におけるステップＳ２４は、標示体認識処理におけるステップＳ５に対応し、方面案内標識認識処理におけるステップＳ２５は、標示体認識処理におけるステップＳ８に対応する。
【００９０】
なお、標示体認識ユニット２００は、標示体認識処理におけるステップＳ２で指定方向外進行禁止標識より方面案内標識を優先して形状パターンマッチングを行えば、「指定方向外進行禁止」の標識を認識する時には、既に方面案内標識をマッチング領域から削除しているので、方面案内標識を指定方向外進行禁止標識であると誤認識してしまうことを回避することができる。
【００９１】
以上、述べたように、標示体ユニット２００は、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段と、を備える。
【００９２】
これによれば、標示体ユニット２００は、基礎となるカラー及び基礎となるカラー以外のカラー構成に基づいて標識の種別を判断するので、方面案内標識のように標識内の矢印形状の数や方向が異なる標識でも認識することができる。
【００９３】
[変形例]
本実施例では、認識対象である標示体を構成する基礎となるカラーのカラー領域をカラー領域抽出部２０３により抽出してマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしている。しかし、本発明はこれに限定されるものではなく、認識対象ではない標示体を構成する基礎となるカラーのカラー領域をカラー領域抽出部２０３により抽出し、当該カラー領域を画像データから削除した残余領域をマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしてもよい。また、標示体を構成する基礎となるカラーは複数種類であるため、認識対象である標示体を構成する基礎となるカラーのカラー領域から、認識対象ではない標示体を構成する基礎となるカラーのカラー領域を削除した残余領域をマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしてもよい。つまり、マッチング領域を絞り込むために、カラー領域抽出部２０３により抽出したカラー領域をどのように利用するかは任意である。
【００９４】
ここで、２種類のカラー領域を利用してマッチング領域を絞り込む方法について説明する。
【００９５】
本変形例において、認識対象である標示体は、「指定方向外進行禁止」及び「一方通行」の規制標識であるものとする。「指定方向外進行禁止」及び「一方通行」の規制標識の基礎となるカラーは「青」であり、図面では左斜線で示す。一方、認識対象ではない標示体は、図１４（ａ）及び（ｂ）に示す「車両進入禁止」及び「駐停車禁止」の規制標識であるものとする。「車両進入禁止」の規制標識の基礎となるカラーは「赤」であり、「駐停車禁止」の規制標識の基礎となるカラーは「赤」及び「青」の２色である。図面において赤色の領域は、右斜線で示す。
【００９６】
標示体認識ユニット２００では、まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、図１５を参照して説明する。図１５は、変形例におけるマッチング領域を示す図である。カラー領域抽出部２０３は、図１５（ａ）に示す画像データから、図１５（ｂ）に示すように青色の成分を多く含む青色領域を抽出する。マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出された青色領域を新たなマッチング領域に設定する。これにより、基礎となるカラーが「赤」である「駐停車禁止」の規制標識は、画像データ内に存在するが青色領域としては抽出されないため、マッチング領域から除外される。しかし、基礎となるカラーが「赤」及び「青」の２色である「駐停車禁止」の規制標識は、青色の成分を含んでいる青色領域として抽出され、マッチング領域に含まれている。
【００９７】
さらに、カラー領域抽出部２０３は、マッチング領域設定部２０２により新たに設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、カラー領域抽出部２０３は、図１５（ｂ）に示す青色領域から、赤色の成分を多く含む赤色領域を抽出する。赤色領域としては、基礎となるカラーが「赤」及び「青」の２色である「駐停車禁止」の規制標識の領域が抽出される。マッチング領域設定部２０２は、マッチング領域から、カラー領域抽出部２０３により抽出された赤色領域を削除した残余領域を新たなマッチング領域に設定する。これにより、マッチング領域は、図１５（ｃ）に示すような、「駐停車禁止」の規制標識の領域が削除された青色領域となる。
【００９８】
この後、マッチング部２０４、標示体認識部２０５、認識済領域削除部２０６及び認識結果情報記憶部２０７により実行される標示体認識処理は、上述の実施例とほぼ同様であるため、便宜上説明は省略する。
【００９９】
なお、変形例におけるマッチング領域設定部２０２は、本発明におけるカラー領域削除手段として機能する。
【０１００】
このように、標示体認識ユニット２００は、カラー領域抽出部２０３により抽出した複数のカラー領域を利用して、マッチング領域を効果的に絞り込むことができる。これにより、標示体認識処理の高速化及び認識率の向上を実現することができる。
【０１０１】
上述の実施例では、矢印パターン２２０と、マッチング領域とをマッチングし、マッチングした状態における矢印パターン２２０の面積と、マッチング領域中のマッチング対象周辺の領域の面積との比較結果に基づいて、マッチング対象の周辺領域が案内標識を認識する場合について述べたが、本発明は、これに限られず、マッチング領域内の所定領域の青色部分の比率に基づいて、方面案内標識を認識するようにしても良い。
【０１０２】
この場合、標示体認識ユニット２００は、方面案内標識内における、青色以外の色である矢印形状の割合が少ないことに着目して方面案内標識を認識するので、矢印パターン２２０を使用することなく、方面案内標識を認識することができる。
【０１０３】
上述の実施例では、矢印パターン２２０と、マッチング領域とをマッチングし、マッチングした状態における矢印パターン２２０の面積と、マッチング領域中のマッチング対象周辺の領域の面積との比較結果に基づいて、マッチング対象の周辺領域が案内標識を認識する場合について述べたが、本発明は、これに限られず、マッチング領域内の所定領域内における上記矢印パターン２２０にマッチングした標識内矢印２５１の数に基づいて方面案内標識を認識するようにしても良い。
【０１０４】
この場合、標示体認識ユニット２００は、方面案内標識内には矢印形状が複数含まれていることに着目しており、この方法によっても方面案内標識を認識することができる。
【図面の簡単な説明】
【０１０５】
【図１】標示体認識装置の構成図である。
【図２】標示体認識ユニットの機能構成を示すブロック図である。
【図３】認識対象パターンの例である。
【図４】非認識パターンの例である。
【図５】認識率データのデータ構成を示す図である。
【図６】認識結果情報のデータ構成を示す図である。
【図７】方面案内標識の形状パターンマッチングについて説明する図である。
【図８】実施例におけるマッチング領域を示す図である。
【図９】実施例における標示体認識方法を説明する図である。
【図１０】従来の標示体認識方法を説明する図である。
【図１１】標示体認識処理のフローチャートである。
【図１２】方面案内標識の認識方法を示す図である。
【図１３】方面案内標識認識処理のフローチャートである。
【図１４】変形例において認識対象ではない標示体の例である。
【図１５】変形例におけるマッチング領域を示す図である。
【符号の説明】
【０１０６】
１１ システムバス
１２ ＣＰＵ
１３ メモリ
１４ キーボード
１５ 座標指示デバイス
１６ ディスプレイ
１７ プリンタ
１８ データベース
１００ 標示体認識装置
【技術分野】
【０００１】
本発明は、画像認識処理により除去対象の標示体を認識する方法に関する。
【背景技術】
【０００２】
カーナビゲーション装置やＰＣ上で動作して地図を表示するアプリケーションなどにおいて使用される地図データには、道路標識やコンビニエンスストアの看板等、道路に設置された標示体のデータが含まれている。このような標示体のデータは、実際の道路に設置された道路標識や看板を撮影した画像データに対して画像認識処理を行うことにより取得される。車載カメラにより道路標識の画像を撮影し、画像認識処理により道路標識を認識する例が特許文献１又は２に記載されている。
【０００３】
上記のような画像認識処理による標示体の認識は、現実に存在する標示体に対応するテンプレート（以下、「標示体パターン」と呼ぶ。）を用意し、これら標示体パターンと撮影した画像データとを形状パターンマッチングすることにより行われる。
【０００４】
【特許文献１】特開２０００−１３２６６８号公報
【特許文献２】特開２０００−２９３６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記の画像認識処理は、各標識を認識するのみであり、例えば、指定方向外進行禁止標識の抽出を行う際、類似する矢印形状を含む方面案内標識を抽出してしまう可能性があるという問題が生じていた。
【０００６】
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、抽出対象外である除去対象標示体を認識する除去対象標示体認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段と、を備えることを特徴とする。
【０００８】
請求項５に記載の発明は、標示体認識の対象となる画像データを記憶する画像データ記憶工程と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出工程と、前記カラー領域抽出工程により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定工程と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識工程と、を備えることを特徴とする。
【０００９】
請求項６に記載の発明は、コンピュータ上で実行される除去対象標示体認識プログラムであって、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段、として前記コンピュータを機能させることを特徴とする。
【発明を実施するための最良の形態】
【００１０】
本発明の好適な実施形態では、除去対象標示体認識装置であって、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、前記マッチング領域から前記基礎となるカラーの割合に基づいて前記除去対象標示体を認識する除去対象標示体認識手段と、を備える。
【００１１】
上記の除去対象標示体認識装置は、予め画像データ記憶手段により、除去対象の標示体を含む画像データが記憶されている。画像データは、例えば、道路に設置された除去対象の標示体を撮影した画像データである。なお、除去対象の標示体とは、具体的には、「方面案内標識」がある。カラー領域抽出手段は、上記画像データから除去対象標示体の基礎となるカラーを備えるカラー領域を抽出する。そして、除去対象標示体認識手段は、上記マッチング領域から上記基礎となるカラー及び上記基礎となるカラー以外のカラーの構成に基づいて上記除去対象標示体を認識する。除去対象標示体認識手段が除去対象標示体を認識する具体的な方法として、前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成比率に基づいて認識する方法がある。
【００１２】
このように、除去対象標示体認識装置は、基礎となるカラー及び基礎となるカラー以外のカラー構成に基づいて除去対象標示体を認識するので、方面案内標識のように標識内の矢印形状の数や方向が異なる標識でも認識することができる。
【００１３】
従って、除去対象標示体認識装置が、予め画像データから案内標識等の除去対象標示体を抽出対象の領域から認識しておけば、上記除去対象の標示体の部分と類似する形状の標識の認識精度を向上させることができる。
【００１４】
上記除去対象標示体認識装置の一態様では、前記除去対象標示体認識手段が認識した除去対象標示体の領域を前記マッチング領域から削除する除去対象標示体領域削除手段をさらに備え、前記マッチング領域設定手段は、前記マッチング領域から前記除去対象標示体領域削除手段が削除した領域を除いた領域を新たなマッチング領域に設定することを特徴とする。これによれば、除去対象標示体認識装置は、除去対象標示体認識手段が認識した除去対象標示体をマッチング領域から削除し、削除した後の残余領域をマッチング領域に設定する。
【００１５】
従って、除去対象標示体認識装置は、除去対象標示体を認識した後に当該除去対象標示体を削除し、残余領域をマッチング領域としているので、上記残余領域からマッチングを行えば、除去対象標示体を抽出対象の標示体であると誤認識してしまう可能性を低減させることができる。
【００１６】
上記除去対象標示体認識装置の他の一態様では、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、前記標示体パターンを用いて、マッチング領域との形状パターンマッチングを行うマッチング手段と、をさらに備え、前記除去対象標示体認識手段は、前記マッチング領域内の領域と、前記標示体パターンとの形状パターンマッチングの結果における、前記標示体パターンの前記マッチング領域に占める面積比率に基づいて除去対象標示体を認識する。これによれば、除去対象標示体認識装置は、標示体パターンを保持する。ここで、上記標示体パターンの具体例として、矢印形状を含む標示体パターンがある。マッチング手段は、上記標示体パターンを用いてマッチングを行い、除去対象標示体認識手段は、上記マッチング領域内の領域と、上記標示体パターンとの形状パターンマッチングの結果における、上記標示体パターンの上記マッチング領域に占める面積比率に基づいて除去対象標示体を認識する。
【００１７】
具体的には、除去対象標示体認識装置は、上記標示パターンを用いてマッチング領域に対してマッチングを行い、マッチングした際の標示パターンの面積と、上記マッチング領域内におけるマッチングした個所の領域周辺の面積とを比較する。そして、除去対象標示体認識装置は、マッチングした際の標示パターンの面積と、上記マッチング領域内におけるマッチングした領域周辺の面積とを比較した結果、マッチング領域内におけるマッチングした領域周辺の面積が著しく大きい場合、上記マッチングした領域周辺が除去対象標示体であると認識する。
【００１８】
このように、除去対象標示体認識装置は、マッチングした際の標示パターンの面積と、マッチング領域内におけるマッチングした個所周辺の領域の面積とを比較することにより、除去対象の標示体である案内標識を認識することができる。
【００１９】
上記除去対象標示体認識装置のさらに他の一態様では、形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、前記標示体パターンを用いて、マッチング領域との形状パターンマッチングを行うマッチング手段と、をさらに備え、前記除去対象標示体認識手段は、前記マッチング領域内の所定領域における前記標示体パターンにマッチングした数に基づいて除去対象標示体を認識する。この場合、除去対象標示体認識装置は、標示体パターンを保持する。マッチング手段は、上記標示体パターンを用いてマッチングを行い、上記除去対象標示体認識手段は、上記マッチング領域内の所定領域内における上記標示体パターンにマッチングする数に基づいて除去対象標示体を認識する。
【００２０】
具体的には、除去対象標示体認識装置は、上記標示パターンを用いてマッチング領域に対してマッチングを行い、上記標示パターンにマッチングした個所が所定領域内に複数ある場合、上記マッチングした領域周辺が除去対象標示体であると認識する。
【００２１】
このように、除去対象標示体認識装置は、マッチング領域内における所定領域内について、マッチングした際の標示パターンの数に基づいて、除去対象の標示体である案内標識を認識することができる。
【００２２】
本発明の他の実施形態では、除去対象標示体認識方法は、標示体認識の対象となる画像データを記憶する画像データ記憶工程と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出工程と、前記カラー領域抽出工程により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定工程と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識工程と、を備える。このような除去対象標示体認識方法によっても、基礎となるカラー及び基礎となるカラー以外のカラー構成に基づいて標識の種別を判断するので、案内標識のように標識内の矢印形状の数や方向が異なる標識でも認識することができる。
【００２３】
本発明のさらに他の観点では、コンピュータ上で実行される除去対象標示体認識プログラムであって、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段、として前記コンピュータを機能させる。このような除去対象標示体認識プログラムを、各種装置上で実行することにより、本発明の除去対象標示体認識装置を実現することができる。なお、この除去対象標示体認識プログラムは記録媒体に記録した状態で好適に取り扱うことができる。
【実施例】
【００２４】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２５】
[標示体認識装置]
図１は、本発明の実施例に係る標示体認識方法を適用した標示体認識装置１００の概略構成を示す図である。標示体認識装置１００は、本発明における除去対象標示体認識装置として機能する。
【００２６】
本実施例において、標示体認識装置１００は、道路に設置された標示体を撮影した画像データと、現実に存在する標示体に対応するテンプレートである標示体パターンとを形状パターンマッチングすることにより標示体を認識する装置である。
【００２７】
標示体認識装置１００は、例えば、パーソナルコンピュータにより構成され、システムバス１１と、ＣＰＵ（Central Processing Unit）１２と、メモリ１３と、キーボード１４と、マウスなどの座標指示デバイス１５と、ディスプレイ１６と、プリンタ１７と、データベース１８とを備える。ここで、キーボード１４及び座標指示デバイス１５は、入力装置である。また、ディスプレイ１６及びプリンタ１７は、出力装置である。ＣＰＵ１２は、標示体認識装置１００全体を制御し、入出力装置の制御を行う。
【００２８】
ＣＰＵ１２、メモリ１３、データベース１８は、システムバス１１に接続される。キーボード１４、座標指示デバイス１５、ディスプレイ１６、プリンタ１７も図示しないインタフェースを介してシステムバス１１に接続される。メモリ１３は、作業メモリとしても使用される。
【００２９】
[標示体認識ユニット]
図２は、画像データと、標示体パターンとを形状パターンマッチングすることにより標示体を認識する標示体認識ユニット２００の機能ブロック図である。標示体認識ユニット２００は、実態的には、標示体認識装置１００の構成要素により構成される。図２に示すように、標示体認識ユニット２００は、認識用情報記憶部２０１、マッチング領域設定部２０２、カラー領域抽出部２０３、マッチング部２０４、標示体認識部２０５、認識済領域削除部２０６及び認識結果情報記憶部２０７を備える。
【００３０】
認識用情報記憶部２０１は、道路に設置された標示体を撮影した画像データを記憶する。道路に設置された標示体とは、コンビニエンスストアやガソリンスタンドの看板、規制標識や警戒標識をはじめとする標識などであって、色が変化しないものである。
【００３１】
また、認識用情報記憶部２０１は、現実に存在する標示体に対応するテンプレートである標示体パターンと、各標示体パターンの形状パターンマッチングによる認識率を示す認識率データとを記憶する。
【００３２】
まず、標示体パターンについて、図３及び図４を参照して詳しく説明する。図３は、認識対象となる標示体に対応する標示体パターン（以下、「認識対象パターン」とも呼ぶ。）の例である。図４は、認識対象ではない標示体に対応する標示体パターン（以下、「非認識パターン」とも呼ぶ。）の例である。
【００３３】
一般的に特徴点の少ないシンプルな形状の標示体は誤認識されやすいため、標示体認識ユニット２００は、認識対象となる標示体と近似形状を含む認識対象ではない標示体も認識し、予め除外することとしている。そのため、認識用情報記憶部２０１は、標示体パターンとして認識対象パターン及び非認識パターンを記憶している。
【００３４】
図３（ａ）乃至（ｃ）に示す認識対象パターンは、基礎となるカラーが「青」である「指定方向外進行禁止」の規制標識に対応する標示体パターンである。また、図３（ｄ）乃至（ｇ）に示す認識対象パターンは、基礎となるカラーが「青」である「一方通行」の規制標識に対応する標示体パターンである。図示のように、「指定方向外進行禁止」や「一方通行」の規制標識は、基本的に矢印により進行可能な方向を示した図形となっている。図面において青色の領域は、左斜線で示す。
【００３５】
なお、認識用情報記憶部２０１は、画像データとの形状パターンマッチングにおいて３次元的な奥行きを考慮するため、図３（ｆ）及び（ｇ）に示すように、「一方通行」の規制標識に対応する標示体パターンを複数用意している。これにより、画像データ内の標示体が３次元的な奥行きにより傾いていたとしても、標示体認識ユニット２００は、形状パターンマッチングにより的確に標示体を認識することができる。
【００３６】
図４（ａ）に示す非認識パターンは、基礎となるカラーが「青」である「警笛鳴らせ」の規制標識に対応する標示体パターンである。また、図４（ｂ）に示す非認識パターンは、基礎となるカラーが「青」である「駐車可」の指示標識に対応する標示体パターンである。
【００３７】
本実施例では、画像データと図３に示す認識対象パターンとの形状パターンマッチングにより、「指定方向外進行禁止」及び「一方通行」の規制標識を認識するものとする。また、本実施例では、似たようなカラーパターンを持つ標示体の誤認識を低下させるため、基礎となるカラーが「青」であって、白いマークが描かれている図４に示す標示体パターンを非認識パターンとしている。
【００３８】
しかし、本発明はこれに限定されるものではなく、認識対象パターン及び非認識対象パターンに対応する標識や看板は、任意に設定することができる。例えば、「指定方向外進行禁止」や「一方通行」の規制標識を認識する場合、基礎となるカラーが「青」であって、白い矢印が描かれている「方面案内標識」や「指定方向別通行区分（レーン案内）」を非認識パターンとしてもよい。
【００３９】
次に、各標示体パターンの認識率を示す認識率データについて、図５を参照して説明する。図５は、認識率データのデータ構造を模式的に示す図である。図示のように、認識率データは、標示体パターン、名称及び認識率から構成されている。標示体パターンは、各標示体パターンの代表的な形状を示す。例えば、「指定方向外進行禁止」の規制標識は複数種類存在するが、図５では矢印が左方向の標識に対応する標示体パターンが代表として示されている。名称は、各標示体パターンに対応する標示体の名称を示す。認識率は、事前に検証されたデータであって、各標示体パターンに基づく形状パターンマッチングにより標示体を認識した場合の平均正解率である。通常、形状パターンマッチングによる認識処理では、特徴の強い形状を持つ標示体パターンほど認識率が高くなる。
【００４０】
認識用情報記憶部２０１は、本発明における画像データ記憶手段、標示体パターン記憶手段、認識率データ記憶手段として機能する。また、認識用情報記憶部２０１は、図１に示すデータベース１８内に構成することができる。
【００４１】
マッチング領域設定部２０２は、認識用情報記憶部２０１により記憶されている標示体パターンと形状パターンマッチングを実行する領域をマッチング領域として設定する。マッチング領域設定部２０２は、まず、１枚の画像データの全領域をマッチング領域として設定する。その後、マッチング領域設定部２０２は、詳細は後述するが、カラー領域抽出部２０３により抽出されたカラー領域をマッチング領域に設定したり、標示体認識部２０５により認識された標示体の領域を削除した残余領域をマッチング領域に設定したりする。マッチング領域設定部２０２は、本発明におけるマッチング領域設定手段として機能する。
【００４２】
カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。ここで、特定の標示体パターンとは、認識したい標示体に対応する標示体パターンであって、標示体パターンを構成する基礎となるカラーとは、対応する標示体を構成する基礎となるカラーである。例えば、基礎となるカラーが「青」である規制標識を認識する場合、カラー領域抽出部２０３は、マッチング領域から青色の成分を多く含む領域を青色領域として抽出する。また、基礎となるカラーが「黄色」である警戒標識を認識する場合、カラー領域抽出部２０３は、マッチング領域から黄色の成分を多く含む領域を黄色領域として抽出する。カラー領域抽出部２０３は、本発明におけるカラー領域抽出手段として機能する。
【００４３】
なお、マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する。このように、標示体パターン及び対応する標示体を基礎となるカラーで複数のグループに分類することで、色によるマッチング領域の絞込みが可能となり、標示体を認識する処理を高速化することができる。
【００４４】
マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率の高い標示体パターンから順に、マッチング領域設定部２０２により設定されたマッチング領域との形状パターンマッチングを実行する。具体的に、マッチング部２０４は、１枚の画像データから抽出されたカラー領域に対して、認識率の高い順に認識対象パターン又は非認識パターンの形状パターンマッチングを実行する。このように、標示体パターン及び対応する標示体を予め検証された認識率に基づいてグループ化した上で、マッチング部２０４は、認識率の高いグループ毎に形状パターンマッチングを実行する。また、マッチング部２０４は、上記のような、認識対象パターン又は非認式パターンの形状マッチングだけでなく、上記カラー領域に対して、上向き矢印パターンの形状パターンマッチングも実行する。マッチング部２０４は、本発明におけるマッチング手段として機能する。
【００４５】
標示体認識部２０５は、マッチング部２０４による形状パターンマッチングの結果に基づいて、マッチング領域と、標示体パターンとのマッチング度合いが所定レベル以上である場合に、そのマッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する。即ち、標示体認識部２０５は、マッチング領域の標示体が認識対象パターンに対応する標示体又は非認識パターンに対応する標示体であると認識する。また、標示体認識部２０５は、後述する種々の方法で、方面案内標識を認識する。標示体認識部２０５は、本発明における除去対象標示体認識手段として機能する。
【００４６】
なお、画像データと、標示体パターンとの形状パターンマッチングの具体的な処理については、周知技術であるため、便宜上説明は省略する。
【００４７】
認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する。標示体認識部２０５は、認識率が高い標示体から順に認識しているため、認識済領域削除部２０６は、認識率が高い標示体の領域から順に削除していく。換言すると、認識済領域削除部２０６は、誤認識の少ない標示体の領域から順に削除していく。また、認識済領域削除部２０６は、標示体認識部２０５が認識した方面案内標識も削除する。認識済領域削除部２０６は、本発明における除去対象標示体領域削除手段として機能する。
【００４８】
なお、マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する。具体的に、マッチング部２０４は、この後、認識率の高い標示体パターンから順に、新たなマッチング領域、即ちカラー領域から認識済領域を削除した残りの残余領域との形状パターンマッチングを実行する。つまり、１枚の画像データに対応するマッチング領域は、標示体認識部２０５により標示体が認識される度に認識済領域がどんどん削除される。また、マッチング部２０４は、どんどん狭くなるマッチング領域と標示体パターンとの形状パターンマッチングを実行する。このように認識率の高いグループ毎に形状パターンマッチングを実行し、認識した標示体の領域をマッチング領域から削除していくことで、重複認識を避け、マッチング領域の減少による処理の高速化及び認識率の向上を実現することができる。
【００４９】
認識結果情報記憶部２０７は、標示体認識部２０５により認識された標示体の中で認識対象である標示体、つまり認識対象パターンに対応する標示体に関する情報を認識結果情報として記憶する。図６は、認識結果情報のデータ構造を模式的に示す図である。認識結果情報は、画像データＩＤ、撮影場所、方向、位置及び標示体ＩＤから構成されている。画像データＩＤは、マッチング部２０４による形状パターンマッチングの基になる画像データを識別する情報である。撮影場所は、対応する画像データの撮影場所を示す緯度及び経度である。方向は、対応する撮影場所において撮影を行った車両の進行方向である。位置は、標示体認識部２０５により認識された標示体の画像データ上の位置を示すＸ座標及びＹ座標である。標示体ＩＤは、標示体認識部２０５により認識された標示体を識別する情報である。認識結果記憶部２０７により記憶された認識結果情報に基づいて、例えば車両のナビゲーション装置に記憶されている地図データ等を更新することができる。なお、本実施例において認識結果情報記憶部２０７は、図６に示すようなデータ構造の認識結果情報を記憶することとしているが、本発明はこれに限定されるものではなく、形状パターンマッチングによるマッチング度合いや標示体の傾き等の情報を認識結果情報に含めることとしてもよい。
【００５０】
本実施例において標示体認識ユニット２００は、標示体認識装置１００の構成要素により構成されることとしているが、本発明はこれに限定されるものではなく、例えば、走行現地調査用の装置や通常の車両に搭載されたカーナビゲーション装置の構成要素により構成されることとしてもよい。
【００５１】
なお、本実施例における標示体認識ユニット２００は、図３及び図４に示す標示体パターンに対応する標示体を認識するものであって、この場合の形状パターンマッチングについては周知の技術であるため、便宜上説明を省略している。しかし、本発明はこれに限定されるものではなく、方面、方向、距離等を指示する方面案内標識を認識することも考えられる。この場合のマッチングについて図７を参照して特に説明する。
【００５２】
方面案内標識は、地名や距離など設置場所固有の情報が記載されているため、規制標識や警戒標識のような定型の標示体ではない。そのため、予め全ての方面案内標識に対応する標示体パターンを認識用情報記憶部２０１に記憶することは、標示体認識ユニット２００にとって負荷が極めて大きい。よって、標示体認識部２０５がマッチング領域に含まれる方面案内標識を認識する場合、マッチング部２０４は、図７に示すように、スケールを変化させながら小さい上向き矢印を、マッチング領域内の方面案内標識の領域とマッチングさせる。このときマッチング部２０４は、上向き矢印を３６０度回転させ、全ての角度について、方面案内標識の領域とのマッチングを実行する。そして、マッチング部２０４のマッチング結果により、矢印を複数個含む標示体が存在する場合、標示体認識部２０５は、「一方通行」や「指定方向外進行禁止」の規制標識と区別するため、標示体全体中の青色領域の割合を算出する。規制標識は、通常、方面案内標識と比べて青色領域の割合が少ないため、標示体認識部２０５は、算出した青色領域の割合が予め設定された閾値より大きい場合に、マッチング領域の標示体を方面案内標識であると認識する。
【００５３】
なお、標示体認識ユニット２００が上記方面案内標識を認識し、当該方面案内標識をマッチング領域から削除する方法については、後述する。
【００５４】
[標示体認識方法]
次に、標示体認識ユニット２００により、画像データと標示体パターンとを形状パターンマッチングすることで標示体を認識する方法について図８乃至図１０を参照して説明する。図８は、本実施例におけるマッチング領域を示す図である。図９は、本実施例における標示体認識方法を説明する図である。図１０は、従来の標示体認識方法を説明する図である。
【００５５】
標示体認識ユニット２００では、まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、カラー領域抽出部２０３は、図８（ａ）に示す画像データから、図８（ｂ）に示すように青色の成分を多く含む青色領域を抽出する。このとき、カラー領域抽出部２０３は、青色の成分を多く含む領域を少し（例えば、数ピクセル）膨らませ、当該領域の周りを含めて青色領域として抽出する。これによれば、基礎となるカラーが「青」であり、エッジが「白」の標示体であっても、カラー領域抽出部２０３は、エッジを含む標示体を青色領域として抽出することができる。
【００５６】
マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する。換言すると、カラー領域抽出部２０３が抽出した青色領域以外の部分は、形状パターンマッチングの対象とならない。よって、図面では、画像データにおいて形状パターンマッチングの対象とならない部分、即ちマッチング領域以外の部分を、便宜上、黒色で表現する。
【００５７】
続いて、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、マッチング領域設定部２０２により設定された新たなマッチング領域との形状パターンマッチングを行う。即ち、マッチング部２０４は、はじめに、最も認識率が高い標示体パターンと、カラー領域との形状パターンマッチングを行う。具体的に、マッチング部２０４は、図５に示すような認識率データに基づいて、認識率が１００％であり最も高い「警笛鳴らせ」の規制標識に対応する非認識パターンと、図８（ｂ）に示す青色領域との形状パターンマッチングを行う。
【００５８】
マッチング部２０４による形状パターンマッチングの結果に基づいて、標示体認識部２０５は、マッチング領域と、標示体パターンとのマッチング度合いが所定レベル以上である場合に、そのマッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する。具体的に、標示体認識部２０５は、図８（ｂ）に示す青色領域と、「警笛鳴らせ」の規制標識に対応する非認識パターンとのマッチング度合いが所定のレベル以上であると判断し、青色領域内に存在する標示体を「警笛鳴らせ」の規制標識であると認識する。標示体を認識すると、認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する。具体的に、認識済領域削除部２０６は、図８（ｃ）に示すように、標示体認識部２０５が認識した「警笛鳴らせ」の規制標識の領域を青色領域から削除する。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域、即ち図８（ｃ）に示す領域を新たなマッチング領域に設定する。
【００５９】
そして、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、新たなマッチング領域との形状パターンマッチングを行う。具体的に、マッチング部２０４は、図５に示すような認識率データに基づいて、認識率が９７．１０％の「指定方向外進行禁止」の規制標識に対応する認識対象パターンと、既に「警笛鳴らせ」の規制標識の領域が削除された図８（ｃ）に示す青色領域との形状パターンマッチングを行う。マッチング部２０４による形状パターンマッチングの結果に基づいて、標示体認識部２０５は、図８（ｃ）に示す青色領域と、「指定方向外進行禁止（右方向）」の規制標識に対応する認識パターンとのマッチング度合いが所定のレベル以上であると判断し、青色領域内に存在する標示体を「指定方向外進行禁止（右方向）」であると認識する。認識対象である標示体を認識した場合、認識結果情報記憶部２０７は、当該標示体に関する情報を、図６に示すような認識結果情報として記憶する。また、認識済領域削除部２０６は、図８（ｄ）に示すように、標示体認識部２０５が認識した「指定方向外進行禁止（右方向）」の規制標識の領域を認識済領域として青色領域から削除する。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域、即ち図８（ｄ）に示す領域を新たなマッチング領域に設定する。
【００６０】
標示体認識ユニット２００は、１枚の画像データに対してマッチング領域がなくなるまでこのような処理を繰り返すことにより、標示体の認識を行う。換言すると、標示体認識ユニット２００は、図９（ａ）に示すように、１枚の画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを一括で行うことで、標示体の認識処理を実行する。このとき、標示体認識ユニット２００は、予め各標示体パターンの認識率を認識率データとして記憶しており、当該認識率データに基づいて認識率の高い標示体パターンから順に形状パターンマッチングを実行する。
【００６１】
これに対し、従来の認識処理では、図１０に示すように、１枚の画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを、標示体パターンの種類毎に複数回実行しており、処理時間が非常に長くなっていた。さらに、１枚の画像データに対する形状パターンマッチングを標示体パターンの種類毎に複数のプロセスで実行するため、１枚の画像データに含まれる１つの標示体を複数の標示体と誤認識するという問題が発生していた。
【００６２】
本実施例のように、標示体認識ユニット２００が、標示体パターンの認識率に基づいて、画像データと、予め用意された複数の標示体パターンとの形状パターンマッチングを一括処理することで、処理時間を高速化する共に、認識率の向上を実現することができる。
【００６３】
さらに、本実施例において標示体認識ユニット２００は、形状パターンマッチングにより標示体を認識した場合、認識した標示体の領域を認識済領域としてマッチング領域から削除する。標示体認識ユニット２００の認識用情報記憶部２０１は、認識対象パターン及び非認識パターンを標示体パターンとして記憶しているため、これによれば、認識対象パターンのみならず、非認識対象パターンに対応する標示体を認識した場合にも、その領域を認識済領域としてマッチング領域から削除することができる。よって、的確にマッチング領域を絞り込んでいくことができる。また、このように既に認識した標示体の領域を認識済領域として削除することで、１枚の画像データにおいて認識された１つの標示体が、別の標示体であると重複して認識されることを防止できる。よって、従来の認識処理より標示体の認識率を向上させることが可能となる。特にシンプルな形状である「一方通行」の規制標識は誤認識されやすいが、事前に近似形状を含む「指定方向外進行禁止」や「方面案内標識」の標識を認識対象パターン又は非認識パターンに対応する標示体として認識し、認識済領域をマッチング領域から削除することで、「一方通行」の標識の認識率を効果的に向上させることができる。
【００６４】
また、本実施例において標示体認識ユニット２００は、図９（ｂ）に示すように、マッチング領域から、認識対象パターンを構成する基礎となるカラーを備える領域をカラー領域として抽出した後、当該カラー領域と、予め用意された複数の標示体パターンとの形状パターンマッチングを一括で行うことで、標示体の認識処理を実行する。このように形状パターンマッチングを一括で行う前処理としてカラー領域を抽出することで、形状パターンマッチングを実行するマッチング領域が予め絞られるため、処理時間を従来の認識処理より大幅に短縮することが可能となる。
【００６５】
[標示体認識処理]
次に、本実施例による標示体認識処理について、図１１を参照して説明する。図１１は、本実施例による標示体認識処理のフローチャートである。標示体認識ユニット２００は、標示体認識装置１００の構成要素により構成されるものであって、標示体認識処理は、図１に示すＣＰＵ１２がメモリ１３に記憶されたプログラムを実行することにより実現される。
【００６６】
まず、標示体認識ユニット２００のマッチング領域設定部２０２は、認識用情報記憶部２０１により記憶されている画像データの中から１枚の画像データを抽出し、当該画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する（ステップＳ１）。ここで、特定の標示体パターンとは、画像データから認識したい標示体に対応する標示体パターンである。よって、例えば基礎となるカラーが「青」の規制標識を認識したい場合、カラー領域抽出部２０３は、マッチング領域、即ち画像データの全領域から青色領域を抽出する。マッチング領域設定部２０２は、カラー領域抽出部２０２により抽出されたカラー領域を新たなマッチング領域に設定する。
【００６７】
続いて、マッチング部２０４は、認識用情報記憶部２０１により記憶されている認識率データに基づいて、認識率が高い標示体パターンから順に、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。形状パターンマッチングの結果、標示体パターンとマッチング領域とのマッチング度合いが所定のレベル以上ではない場合（ステップＳ３；Ｎｏ）、マッチング部２０４は、認識率データに基づいて異なる標示体パターンと、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。一方、形状パターンマッチングの結果、標示体パターンとマッチング領域とのマッチング度合いが所定のレベル以上である場合（ステップＳ３；Ｙｅｓ）、標示体認識部２０５は、マッチング領域内に存在する標示体を、当該標示体パターンに対応する標示体であると認識する（ステップＳ４）。標示体認識部２０５により標示体が認識されると、認識済領域削除部２０６は、標示体認識部２０５が認識した標示体の領域を認識済領域としてマッチング領域から削除する（ステップＳ５）。マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する。
【００６８】
また、標示体認識部２０５は、認識した標示体が認識対象であるか否かを判定する（ステップＳ６）。標示体認識部２０５により認識された標示体が認識対象である場合（ステップＳ６；Ｙｅｓ）、認識結果情報記憶部２０７は、当該標示体に関する情報を認識結果情報として記憶する（ステップＳ７）。そして、標示体認識ユニット２００は、マッチング領域に未認識領域があるか否かを判定する（ステップＳ８）。未認識領域とは、マッチング領域内においてまだ認識されていない標示体が存在する領域のことである。マッチング領域に未認識領域があると判定された場合（ステップＳ８；Ｙｅｓ）、マッチング部２０４は、認識率データに基づいて、標示体パターンと、マッチング領域との形状パターンマッチングを実行する（ステップＳ２）。一方、マッチング領域に未認識領域がないと判定された場合（ステップＳ８；Ｎｏ）、標示体認識ユニット２００は、標示体認識処理を完了する。
【００６９】
このように未認識領域がなくなるまで、標示体認識ユニット２００は、マッチング領域、即ちカラー領域から認識済領域が削除された残りの残余領域と、標示体パターンとの形状パターンマッチングを認識率の高い順に１つのプロセスで実行する。換言すると、標示体認識ユニット２００は、認識対象パターン又は非認識パターンに対応する標示体が認識される度に、マッチング領域から認識済領域を削除していき、どんどん狭くなるマッチング領域と標示体パターンとの形状パターンマッチングを実行することで、標示体を認識する。
【００７０】
これによれば、認識対象パターンのみならず、非認識対象パターンに対応する標示体を認識した場合にも、その領域を認識済領域としてマッチング領域から認識率が高い順に削除することができる。また、既に認識した標示体の領域を認識済領域として削除することで、１枚の画像データにおいて認識された１つの標示体が、別の標示体であると重複して認識されることを防止できる。さらに、１つの画像データと、複数の標示体パターンとの形状パターンマッチングを一括で行う前処理としてカラー領域を抽出することで、マッチング領域が予め絞られるため、処理時間を大幅に短縮することができる。よって、標示体認識ユニット２００は、画像データ及び標示体パターンに基づく形状パターンマッチングにより、短い処理時間で効率的に標示体の認識をすると共に、認識率を向上させることができる。
【００７１】
［方面案内標識認識方法の概要］
次に、方面案内標識認識方法の概要について、説明する。本実施例における方面案内標識認識方法とは、標示体認識ユニット２００により、画像データと標示体パターンとを形状パターンマッチングすることで方面案内標識を特定し、当該方面案内標識をマッチング領域から削除する方法をいう。図１２は、本実施例における方面案内標識を認識する方法を説明する図である。
【００７２】
標示体認識ユニット２００では、まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、カラー領域抽出部２０３は、図１２（ａ）に示す画像データから、図１２（ｂ）に示すように青色の成分を多く含む青色領域を抽出する。このとき、カラー領域抽出部２０３は、青色の成分を多く含む領域を少し（例えば、数ピクセル）膨らませ、当該領域の周りを含めて青色領域として抽出する。これによれば、基礎となるカラーが「青」であり、エッジが「白」の標示体であっても、カラー領域抽出部２０３は、エッジを含む標示体を青色領域として抽出することができる。なお、カラー領域抽出部２０３は、小さい青色領域（いわゆるノイズ領域）を抽出した場合は、当該小さい青色領域を抽出対象から除外する。
【００７３】
マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する。
【００７４】
続いて、マッチング部２０４は、矢印パターン２２０について、スケールを変化させたり、回転させたりすることにより、新たなマッチング領域のマッチングを行う。
【００７５】
そして、標示体認識部２０５は、矢印パターン２２０と、マッチング領域とをマッチングし、マッチングした状態における矢印パターン２２０の面積と、マッチング領域中のマッチング対象周辺の領域の面積との比較結果に基づいて、マッチング対象の周辺領域が方面案内標識２５０であることを認識する。
【００７６】
例えば、図１２（ｃ）に示すように、マッチング部２０４が、方面案内標識２５０を含む領域内における、青色及び青色以外の色で構成される標識内矢印２５１と、矢印パターン２２０とをマッチングさせた後に、標示体認識部２０５は、マッチング時の矢印パターン２２０の面積と、標識内矢印２５１の周辺領域である、方面案内標識２５０を含む領域の面積とを比較する。そして、マッチング部２０４は、方面案内標識２５０を含む領域の面積がマッチング時の矢印パターン２２０の面積に比して著しく大きいため、上記の方面案内標識２５０を含む領域は、方面案内標識２５０を含むと認識する。
【００７７】
このように、標示体認識部２０５は、矢印形状が方面案内標識２５０内に占める割合と、矢印形状が「指定方向外進行禁止」の標識内に占める割合とが大きく異なることに着目して、判別対象の領域が方面案内標識であるか否かを判別している。
【００７８】
そして、認識済領域削除部２０６は、標示体認識部２０５が認識した方面案内標識２５０を含む領域をマッチング領域から削除する。
【００７９】
マッチング領域設定部２０２は、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する。
【００８０】
上記マッチング領域について、未認識領域があるか否かを判定し、未認識領域があれば、未認識領域について、方面案内標識であるか否かを判定し、未認識領域がなければ、処理を終了する。
【００８１】
このように、標示体認識ユニット２００は、マッチング領域から、「指定方向外進行禁止」の標識に類似する方面案内標識を排除しておけば、「指定方向外進行禁止」の標識の認識精度を向上させることができる。
【００８２】
［方面案内標識認識処理］
以下に、方面案内標識認識処理の手順について図１３に示すフローチャートを用いて説明する。この処理は、標示体認識ユニット２００のＣＰＵ１２が、予め用意されたプログラムを実行することにより実現される。
【００８３】
まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定し、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出し、マッチング領域設定部２０２が、カラー領域抽出部２０３により抽出されたカラー領域を新たなマッチング領域に設定する（ステップＳ２１）。
【００８４】
続いて、マッチング部２０４は、矢印パターン２２０について、スケールを変化させたり、回転させたりすることにより、新たなマッチング領域のマッチングを行う（ステップＳ２２）。
【００８５】
そして、マッチング部２０４のマッチング結果により、上記マッチング領域内に、矢印パターン２２０にマッチングする標識内矢印２５１が存在する場合、標示体認識部２０５は、上記標識内矢印２５１周辺の領域の面積と、上記マッチングした時点の矢印パターン２２０の面積とを算出し、上記標識内矢印２５１周辺の領域の面積が、マッチングした時点の矢印パターン２２０の面積と比較して、著しく大きい場合（例えば、標識内矢印２５１周辺の領域の面積が矢印パターン２２０の面積の５倍以上の大きさを有する等）、上記マッチング領域を方面案内標識であると認識する（ステップＳ２３）。
【００８６】
そして、認識済領域削除部２０６が、標示体認識部２０５が認識した方面案内標識の領域をマッチング領域から削除し、マッチング領域設定部２０２が、認識済領域削除部２０６によりマッチング領域から認識済領域を削除した残余領域を新たなマッチング領域に設定する（ステップＳ２４）。
【００８７】
そして、マッチング領域に、未認識の領域がある場合（ステップＳ２５；Ｙｅｓ）、ステップＳ２２へ移り、マッチング領域に未認識の領域がない場合（ステップＳ２５；Ｎｏ）、方面案内標識認識処理を終了する。
【００８８】
[方面案内標識認識処理と標示体認識処理との関係について]
ここで、標示体認識処理と方面案内標識認識処理との関係について記載する。上記方面案内標識認識処理は、実際には、標示体認識処理に含まれる。
【００８９】
具体的には、方面案内標識削除処理におけるステップＳ２１は、標示体認識処理におけるステップＳ１に対応し、方面案内標識認識処理におけるステップＳ２２は、標示体認識処理におけるステップＳ２に対応し、方面案内標識認識処理におけるステップＳ２３は、標示体認識処理におけるステップＳ４に対応し、方面案内標識認識処理におけるステップＳ２４は、標示体認識処理におけるステップＳ５に対応し、方面案内標識認識処理におけるステップＳ２５は、標示体認識処理におけるステップＳ８に対応する。
【００９０】
なお、標示体認識ユニット２００は、標示体認識処理におけるステップＳ２で指定方向外進行禁止標識より方面案内標識を優先して形状パターンマッチングを行えば、「指定方向外進行禁止」の標識を認識する時には、既に方面案内標識をマッチング領域から削除しているので、方面案内標識を指定方向外進行禁止標識であると誤認識してしまうことを回避することができる。
【００９１】
以上、述べたように、標示体ユニット２００は、標示体認識の対象となる画像データを記憶する画像データ記憶手段と、画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段と、を備える。
【００９２】
これによれば、標示体ユニット２００は、基礎となるカラー及び基礎となるカラー以外のカラー構成に基づいて標識の種別を判断するので、方面案内標識のように標識内の矢印形状の数や方向が異なる標識でも認識することができる。
【００９３】
[変形例]
本実施例では、認識対象である標示体を構成する基礎となるカラーのカラー領域をカラー領域抽出部２０３により抽出してマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしている。しかし、本発明はこれに限定されるものではなく、認識対象ではない標示体を構成する基礎となるカラーのカラー領域をカラー領域抽出部２０３により抽出し、当該カラー領域を画像データから削除した残余領域をマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしてもよい。また、標示体を構成する基礎となるカラーは複数種類であるため、認識対象である標示体を構成する基礎となるカラーのカラー領域から、認識対象ではない標示体を構成する基礎となるカラーのカラー領域を削除した残余領域をマッチング領域に設定し、当該マッチング領域と、標示体パターンとを形状パターンマッチングすることにより標示体を認識することとしてもよい。つまり、マッチング領域を絞り込むために、カラー領域抽出部２０３により抽出したカラー領域をどのように利用するかは任意である。
【００９４】
ここで、２種類のカラー領域を利用してマッチング領域を絞り込む方法について説明する。
【００９５】
本変形例において、認識対象である標示体は、「指定方向外進行禁止」及び「一方通行」の規制標識であるものとする。「指定方向外進行禁止」及び「一方通行」の規制標識の基礎となるカラーは「青」であり、図面では左斜線で示す。一方、認識対象ではない標示体は、図１４（ａ）及び（ｂ）に示す「車両進入禁止」及び「駐停車禁止」の規制標識であるものとする。「車両進入禁止」の規制標識の基礎となるカラーは「赤」であり、「駐停車禁止」の規制標識の基礎となるカラーは「赤」及び「青」の２色である。図面において赤色の領域は、右斜線で示す。
【００９６】
標示体認識ユニット２００では、まず、マッチング領域設定部２０２が、認識用情報記憶部２０１により記憶されている１枚の画像データの全領域をマッチング領域に設定する。続いて、カラー領域抽出部２０３は、マッチング領域設定部２０２により設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、図１５を参照して説明する。図１５は、変形例におけるマッチング領域を示す図である。カラー領域抽出部２０３は、図１５（ａ）に示す画像データから、図１５（ｂ）に示すように青色の成分を多く含む青色領域を抽出する。マッチング領域設定部２０２は、カラー領域抽出部２０３により抽出された青色領域を新たなマッチング領域に設定する。これにより、基礎となるカラーが「赤」である「駐停車禁止」の規制標識は、画像データ内に存在するが青色領域としては抽出されないため、マッチング領域から除外される。しかし、基礎となるカラーが「赤」及び「青」の２色である「駐停車禁止」の規制標識は、青色の成分を含んでいる青色領域として抽出され、マッチング領域に含まれている。
【００９７】
さらに、カラー領域抽出部２０３は、マッチング領域設定部２０２により新たに設定されたマッチング領域から、特定の標示体パターンを構成する基礎となるカラーを備えるカラー領域を抽出する。具体的に、カラー領域抽出部２０３は、図１５（ｂ）に示す青色領域から、赤色の成分を多く含む赤色領域を抽出する。赤色領域としては、基礎となるカラーが「赤」及び「青」の２色である「駐停車禁止」の規制標識の領域が抽出される。マッチング領域設定部２０２は、マッチング領域から、カラー領域抽出部２０３により抽出された赤色領域を削除した残余領域を新たなマッチング領域に設定する。これにより、マッチング領域は、図１５（ｃ）に示すような、「駐停車禁止」の規制標識の領域が削除された青色領域となる。
【００９８】
この後、マッチング部２０４、標示体認識部２０５、認識済領域削除部２０６及び認識結果情報記憶部２０７により実行される標示体認識処理は、上述の実施例とほぼ同様であるため、便宜上説明は省略する。
【００９９】
なお、変形例におけるマッチング領域設定部２０２は、本発明におけるカラー領域削除手段として機能する。
【０１００】
このように、標示体認識ユニット２００は、カラー領域抽出部２０３により抽出した複数のカラー領域を利用して、マッチング領域を効果的に絞り込むことができる。これにより、標示体認識処理の高速化及び認識率の向上を実現することができる。
【０１０１】
上述の実施例では、矢印パターン２２０と、マッチング領域とをマッチングし、マッチングした状態における矢印パターン２２０の面積と、マッチング領域中のマッチング対象周辺の領域の面積との比較結果に基づいて、マッチング対象の周辺領域が案内標識を認識する場合について述べたが、本発明は、これに限られず、マッチング領域内の所定領域の青色部分の比率に基づいて、方面案内標識を認識するようにしても良い。
【０１０２】
この場合、標示体認識ユニット２００は、方面案内標識内における、青色以外の色である矢印形状の割合が少ないことに着目して方面案内標識を認識するので、矢印パターン２２０を使用することなく、方面案内標識を認識することができる。
【０１０３】
上述の実施例では、矢印パターン２２０と、マッチング領域とをマッチングし、マッチングした状態における矢印パターン２２０の面積と、マッチング領域中のマッチング対象周辺の領域の面積との比較結果に基づいて、マッチング対象の周辺領域が案内標識を認識する場合について述べたが、本発明は、これに限られず、マッチング領域内の所定領域内における上記矢印パターン２２０にマッチングした標識内矢印２５１の数に基づいて方面案内標識を認識するようにしても良い。
【０１０４】
この場合、標示体認識ユニット２００は、方面案内標識内には矢印形状が複数含まれていることに着目しており、この方法によっても方面案内標識を認識することができる。
【図面の簡単な説明】
【０１０５】
【図１】標示体認識装置の構成図である。
【図２】標示体認識ユニットの機能構成を示すブロック図である。
【図３】認識対象パターンの例である。
【図４】非認識パターンの例である。
【図５】認識率データのデータ構成を示す図である。
【図６】認識結果情報のデータ構成を示す図である。
【図７】方面案内標識の形状パターンマッチングについて説明する図である。
【図８】実施例におけるマッチング領域を示す図である。
【図９】実施例における標示体認識方法を説明する図である。
【図１０】従来の標示体認識方法を説明する図である。
【図１１】標示体認識処理のフローチャートである。
【図１２】方面案内標識の認識方法を示す図である。
【図１３】方面案内標識認識処理のフローチャートである。
【図１４】変形例において認識対象ではない標示体の例である。
【図１５】変形例におけるマッチング領域を示す図である。
【符号の説明】
【０１０６】
１１ システムバス
１２ ＣＰＵ
１３ メモリ
１４ キーボード
１５ 座標指示デバイス
１６ ディスプレイ
１７ プリンタ
１８ データベース
１００ 標示体認識装置
【特許請求の範囲】
【請求項１】
標示体認識の対象となる画像データを記憶する画像データ記憶手段と、
前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、
前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、
前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段と、
を備えることを特徴とする除去対象標示体認識装置。
【請求項２】
前記除去対象標示体認識手段が認識した除去対象標示体の領域を前記マッチング領域から削除する除去対象標示体領域削除手段をさらに備え、
前記マッチング領域設定手段は、前記マッチング領域から前記除去対象標示体領域削除手段が削除した領域を除いた領域を新たなマッチング領域に設定することを特徴とする請求項１に記載の除去対象標示体認識装置。
【請求項３】
形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、
前記標示体パターンを用いて、マッチング領域との形状パターンマッチングを行うマッチング手段と、をさらに備え、
前記除去対象標示体認識手段は、前記マッチング領域内の領域と、前記標示体パターンとの形状パターンマッチングの結果における、前記標示体パターンの前記マッチング領域に占める面積比率に基づいて除去対象標示体を認識することを特徴とする請求項１又は２に記載の除去対象標示体認識装置。
【請求項４】
形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、
前記標示体パターンを用いて、マッチング領域との形状パターンマッチングを行うマッチング手段と、をさらに備え、
前記除去対象標示体認識手段は、前記マッチング領域内の所定領域における前記標示体パターンにマッチングした数に基づいて除去対象標示体を認識することを特徴とする請求項１又は２に記載の除去対象標示体認識装置。
【請求項５】
標示体認識の対象となる画像データを記憶する画像データ記憶工程と、
前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出工程と、
前記カラー領域抽出工程により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定工程と、
前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識工程と、
を備えることを特徴とする除去対象標示体認識方法。
【請求項６】
コンピュータ上で実行される除去対象標示体認識プログラムであって、
標示体認識の対象となる画像データを記憶する画像データ記憶手段と、
前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、
前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、
前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段、として前記コンピュータを機能させることを特徴とする除去対象標示体認識プログラム。
【請求項７】
請求項６に記載の除去対象標示体認識プログラムを記録したことを特徴とする記録媒体。
【請求項１】
標示体認識の対象となる画像データを記憶する画像データ記憶手段と、
前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、
前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、
前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段と、
を備えることを特徴とする除去対象標示体認識装置。
【請求項２】
前記除去対象標示体認識手段が認識した除去対象標示体の領域を前記マッチング領域から削除する除去対象標示体領域削除手段をさらに備え、
前記マッチング領域設定手段は、前記マッチング領域から前記除去対象標示体領域削除手段が削除した領域を除いた領域を新たなマッチング領域に設定することを特徴とする請求項１に記載の除去対象標示体認識装置。
【請求項３】
形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、
前記標示体パターンを用いて、マッチング領域との形状パターンマッチングを行うマッチング手段と、をさらに備え、
前記除去対象標示体認識手段は、前記マッチング領域内の領域と、前記標示体パターンとの形状パターンマッチングの結果における、前記標示体パターンの前記マッチング領域に占める面積比率に基づいて除去対象標示体を認識することを特徴とする請求項１又は２に記載の除去対象標示体認識装置。
【請求項４】
形状パターンマッチングの対象となる標示体パターンを記憶する標示体パターン記憶手段と、
前記標示体パターンを用いて、マッチング領域との形状パターンマッチングを行うマッチング手段と、をさらに備え、
前記除去対象標示体認識手段は、前記マッチング領域内の所定領域における前記標示体パターンにマッチングした数に基づいて除去対象標示体を認識することを特徴とする請求項１又は２に記載の除去対象標示体認識装置。
【請求項５】
標示体認識の対象となる画像データを記憶する画像データ記憶工程と、
前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出工程と、
前記カラー領域抽出工程により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定工程と、
前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識工程と、
を備えることを特徴とする除去対象標示体認識方法。
【請求項６】
コンピュータ上で実行される除去対象標示体認識プログラムであって、
標示体認識の対象となる画像データを記憶する画像データ記憶手段と、
前記画像データの全領域から除去対象標示体の基礎となるカラーを備えるカラー領域を抽出するカラー領域抽出手段と、
前記カラー領域抽出手段により抽出されたカラー領域をマッチング領域に設定するマッチング領域設定手段と、
前記マッチング領域から前記基礎となるカラー及び前記基礎となるカラー以外のカラーの構成に基づいて前記除去対象標示体を認識する除去対象標示体認識手段、として前記コンピュータを機能させることを特徴とする除去対象標示体認識プログラム。
【請求項７】
請求項６に記載の除去対象標示体認識プログラムを記録したことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−３７３７５（Ｐ２００９−３７３７５Ａ）
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願番号】特願２００７−２００３９０（Ｐ２００７−２００３９０）
【出願日】平成１９年８月１日（２００７．８．１）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５９５１０５５１５）インクリメント・ピー株式会社 (197)
【Ｆターム（参考）】
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願日】平成１９年８月１日（２００７．８．１）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５９５１０５５１５）インクリメント・ピー株式会社 (197)
【Ｆターム（参考）】
[ Back to top ]