標識認識方法
【課題】できるだけ早い時点で交通標識を認識したり、街路樹等で見え隠れする交通標識も正確に認識する交通標識認識方法を提供する。
【解決手段】乗り物の進行方向前方をカメラ11により撮影した時系列に並ぶ各静止画像Ｓに含まれる交通標識を認識する標識認識方法において、最初の静止画像Ｓから交通標識のみを含む最初の追跡画像Ｔを抽出し、この追跡画像Ｔを判別画像Ｄとして一時記憶し、２番目以降の静止画像Ｓから２番目以降の追跡画像Ｔを抽出し、この追跡画像Ｔと先に一時記憶されている判別画像Ｄとを合成した新たな判別画像Ｄを一時記憶し、前記判別画像Ｄから抽出した特徴情報CIに基づいて乗り物の進行方向前方にある交通標識を認識する交通標識認識方法である。
【解決手段】乗り物の進行方向前方をカメラ11により撮影した時系列に並ぶ各静止画像Ｓに含まれる交通標識を認識する標識認識方法において、最初の静止画像Ｓから交通標識のみを含む最初の追跡画像Ｔを抽出し、この追跡画像Ｔを判別画像Ｄとして一時記憶し、２番目以降の静止画像Ｓから２番目以降の追跡画像Ｔを抽出し、この追跡画像Ｔと先に一時記憶されている判別画像Ｄとを合成した新たな判別画像Ｄを一時記憶し、前記判別画像Ｄから抽出した特徴情報CIに基づいて乗り物の進行方向前方にある交通標識を認識する交通標識認識方法である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗り物の進行方向前方をカメラにより撮影した動画像Ｖから、この乗り物の進行方向前方にある交通標識を精度よく認識する標識認識方法に関する。
【０００２】
本発明が対象とする乗り物は主に自動車（二輪車及び四輪車を含む。以下、同じ。）又は列車であるが、進行方向の交通標識を認識する必要のある陸上又は水上の乗り物は、およそ本発明を適用できる。
【背景技術】
【０００３】
特許文献１は、自動車の進行方向前方をカメラにより撮影した動画像Ｖから、この自動車の進行方向前方にある道路標示や交通標識等の交通標識を抽出し、認識する道路標示等認識装置を開示している。この特許文献１は、交通標識を認識する際の処理負担を軽減し、自動車の進行に伴って交通標識の一部しか撮影できなくなる場合でも交通標識を認識することを課題としている。具体的な道路標示等認識装置は、動画像Ｖから静止画像Ｓ（１フレーム画像）を抽出する画像処理基本部、静止画像Ｓから所定画像を抽出する画像処理部、抽出した所定画像を合成して複合データを得る画像データ識別部、前記複合データとデータベースの特定画像データとを比較し、前記両データの一致の可否を出力する画像認識部から構成されている（特許文献１請求項１ほか参照）。
【０００４】
処理負担の軽減は、画像処理部により静止画像Ｓを分割した所定画像を処理することにより、解決している。交通標識の認識に必要な所定画像を処理すれば、静止画像Ｓ全体を処理するより当然に処理負担が軽減される（特許文献１段落［0091］参照）。また、交通標識の一部しか撮影できなくなる場合でも交通標識を認識する点は、画像データ識別部により抽出した所定画像を合成した複合データとデータベースとを突き合わせることにより、解決している。すなわち、先に取得した所定画像を部品として、新たに取得した所定画像の足りない部分に前記部品を足し合わせることで、認識に用いる完全な複合データを得る（特許文献１段落［0093］又は［0094］参照）。これから、特許文献１の特徴は、動画像Ｖから抽出する静止画像Ｓを分割して処理する点にあると言える。
【０００５】
【特許文献１】特開2003-123197号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１のように、交通標識を認識する目的は、運転手に対して進行方向前方の規制情報を知らせる点にある。これから、できるだけ早い時点で交通標識を認識する、すなわち自動車からより遠方の地点で交通標識を認識することが望ましく、また街路樹等で見え隠れする交通標識も正確に認識できることが望ましいと考えられる。
【０００７】
まず、できるだけ早い時点で交通標識を認識する点について見ると、特許文献１が開示する内容だけでは明らかでない。特許文献１は、静止画像Ｓから抽出した所定画像を合成して複合データを取得する点を開示しているが、前記複合データは所定データを部品としてあくまで交通標識全体を再現した画像でしかなく、複合データの解像度（画像に含まれる画素数、以下同じ）は静止画像Ｓの解像度に依存すると見られる。これから、特許文献１が解像度の高いカメラを用いていれば、複合データの解像度も上がり、比較的早い時点で交通標識を認識できると思われるが、これはカメラに係るコストを高くする問題がある。また、仮に解像度の高いカメラを用いても、必ずしも所定画像、ひいては複合データの解像度を高めるとは限らず、特許文献１によれば、早い時点で交通標識を認識しにくいと考えられる。
【０００８】
また、街路樹等で見え隠れする交通標識も正確に認識する点について、特許文献１は特に触れていないが、静止画像Ｓを分割して抽出された所定画像を組み合せて複合データを形成することから、街路樹等を含む所定画像を除外することで、比較的認識が容易な複合データを形成し、交通標識をより正確に認識できると考えられる。しかし、交通標識が常に街路樹等で見え隠れする場合、街路樹等を含む所定画像しか得られず、どうしても複合データの部品として認識を可能にする程度の所定画像を用意することができない。この結果、複合データによる交通標識の認識は低下せざるを得ないと考えられる。
【０００９】
このように、できるだけ早い時点で交通標識を認識したり、また街路樹等で見え隠れする交通標識を正確に認識するには、仮に高い解像度のカメラを用いたとしても、なお特許文献１の認識方法では不十分である。そこで、たとえカメラの解像度が低くても、できるだけ早い時点で交通標識を認識したり、街路樹等で見え隠れする交通標識も正確に認識するための認識方法を開発するため、検討した。
【課題を解決するための手段】
【００１０】
検討の結果開発したものが、乗り物の進行方向前方をカメラにより撮影した時系列に並ぶ各静止画像Ｓに含まれる交通標識を認識する標識認識方法において、最初の静止画像Ｓから交通標識のみを含む最初の追跡画像Ｔを抽出し、この最初の追跡画像Ｔを判別画像Ｄとして一時記憶し、２番目以降の静止画像Ｓから２番目以降の追跡画像Ｔを抽出し、この２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとを合成した新たな判別画像Ｄを一時記憶し、前記新たな判別画像Ｄから抽出した特徴情報CIに基づいて乗り物の進行方向前方にある交通標識を認識する交通標識認識方法である。本発明に用いる静止画像Ｓは、乗り物の進行方向前方をカメラにより撮影した動画像Ｖからフレーム単位で抽出された静止画像Ｓでもよい。このように、本発明は、乗り物の進行方向前方の静止画像Ｓを取得できれば、静止画カメラ又は動画カメラのいずれでもよい。
【００１１】
本発明は、静止画像Ｓから抽出された追跡画像Ｔ毎に交通標識を認識するのではなく、繰り返して抽出される追跡画像Ｔと一時記憶されている判別画像Ｄとを合成して生成される新たな判別画像Ｄを用いて交通標識を認識する。この新たな判別画像Ｄは、合成する追跡画像Ｔに合わせて解像度を上げていく。この新たな判別画像Ｄの交通標識の輪郭や色彩等が有する特徴情報CIは、各追跡画像Ｔの特徴情報CIを蓄積したものになっている。このため、同じ解像度の追跡画像Ｔから得られる特徴情報CIの量より、判別画像Ｄから得られる特徴情報CIの量が多くなる結果、新たな判別画像Ｄを用いれば、交通標識の認識を高めることができる。これは、追跡画像Ｔから直接交通標識を認識することができない早い段階（例えば自動車と交通標識とが遠く離れた段階）で、判別画像Ｄを用いて交通標識を認識できることを意味し、交通標識の早期認識を実現する効果をもたらす。
【００１２】
ある画像の特徴情報CIの量は、その画像の解像度に比例する。しかし、後述する拡大された判別画像Ｄ'は、見掛け上の画素を増加させるが、解像度を高めておらず、したがって特徴情報CIの量も増加していない。なぜなら、増加した画素は元の画素により補完されたものに過ぎず、この増加した画素が新たな特徴情報CIを生み出すわけではないからである。これから、追跡画像Ｔと判別画像Ｄとの合成は、判別画像Ｄが当初より有する特徴情報CIに追跡画像Ｔの特徴情報CIを追加するばかりでなく、増加した画素に対して追跡画像Ｔの特徴情報CIを新たに付与し、合成後の判別画像Ｄの特徴情報CIの量を増加させる処理となる。
【００１３】
静止画像Ｓは、特定時点における自動車の進行方向前方の全景画像であり、認識対象となる交通標識のほか、風景を含んでいる。この静止画像Ｓの撮影間隔や動画像Ｖからの抽出間隔は任意でよく、等間隔又は不等間隔を問わない。この撮影間隔又は抽出間隔は、追跡画像Ｔの抽出、判別画像Ｄの生成やこの判別画像Ｄによる交通標識の認識に要する処理時間の合計より長いことが好ましい。逆に前記処理時間が十分に短ければ、例えば自動車の進行速度に反比例した時間間隔、すなわち自動車が高速移動していれば撮影間隔又は抽出間隔を短くし、逆に自動車が低速移動していれば撮影間隔又は抽出間隔を長くすることが考えられる。
【００１４】
追跡画像Ｔは、静止画像Ｓ内で選定した交通標識を含む大きさ又は形状の画像であり、処理負担を軽減する目的から、交通標識の外形に倣った形状か、交通標識を最大外形とする長方形又は正方形の画像が好ましい。この追跡画像Ｔは、静止画像Ｓ毎に静止画像Ｓ全体から交通標識を探索し、抽出してもよいが、この場合、追跡画像Ｔの抽出処理の負担が大きいばかりでなく、各静止画像Ｓから抽出される追跡画像Ｔの同一性を保証しにくい。これから、最初の静止画像Ｓから抽出された追跡画像Ｔに基づいて、２番目以降の静止画像Ｓの探索範囲を限定し、前記限定された探索範囲から２番目以降の追跡画像Ｔを抽出するとよい。これから、本発明は、各静止画像Ｓから同一の交通標識を抽出する意味で、「追跡」画像Ｔと呼んでいる。この追跡画像Ｔを抽出する方法は、従来公知の各種方法を用いることができる。
【００１５】
特徴情報CIは、例えば交通標識を識別するに足りる幾何学的特徴を表す情報である。例えば、我が国の規制標識は、白地に赤色の図形が基本であり、必要により青色の図形が追加されることから、判別画像Ｄを白色、赤色及び青色でそれぞれ２値化すると、白地の形状、赤色の図形の形状、そして青色の図形の形状のみからなる３種の特定色抽出画像が生成できる。そして、各特定色抽出画像の輪郭ベクトルを特徴情報CIとして抽出し、データベースに蓄積させた交通標識毎の前記輪郭ベクトルからなる特徴情報CIと比較すれば、判別画像Ｄに含まれる交通標識を判別できる。このように、特徴情報CIは、データベースとの突き合わせにより交通標識を判別できればよく、この特徴情報CIを生成する方法は、従来公知の各種方法を用いることができる。
【００１６】
本発明は、過去の追跡画像Ｔの特徴情報CIを蓄積した判別画像Ｄを生成する点に特徴を有する。しかし、２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとは、当然に大きさが異なるほか、解像度も異なることから、単純に重ね合わせても特徴情報CIをかえって弱めてしまう虞がある。そこで、新たな判別画像Ｄは、２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとのサイズ比Ｒを算出し、前記一時記憶されている判別画像Ｄを前記サイズ比Ｒにより拡大された判別画像Ｄ'を生成し、追跡画像Ｔを重みＷ、前記拡大された判別画像Ｄ'を重み（１−Ｗ）の割合で合成して得ることとした。
【００１７】
２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとは、同じ交通標識を含みながら、自動車が進行方向前方に向けて進んでいくため、大きさ及び解像度が異なっている。これから、まず追跡画像Ｔ及び判別画像Ｄを合成するには、一方を他方の大きさに合わせる必要がある。この場合、追跡画像Ｔを前記サイズ比Ｒにより縮小して判別画像Ｄに合成することも考えられるが、追跡画像Ｔの縮小はこの追跡画像Ｔが有する特徴情報CIを不要に損ねることになる。また、既述したように、追跡画像Ｔ及び判別画像Ｄの合成は、拡大された判別画像Ｄ'の増加した画素に、追跡画像Ｔの特徴情報CIを新たに付与する意味を有する。これから、前記サイズ比Ｒにより拡大された判別画像Ｄ'を追跡画像Ｔに合成することが合理的であることが理解される。
【００１８】
自動車が進行方向に水平かつ直線に進行している基本的な場合、２番目以降の追跡画像Ｔと一時記憶されている判別画像Ｄとは、同一の交通標識を含む画像であり、また判別画像Ｄは過去の追跡画像Ｔから生成されることから、高さ及び幅がほぼ同じ比率の相似した関係にあると考えることができる。この場合、両者のサイズ比Ｒは各画像の高さ、幅又は各画像の特定寸法ｒ（後述参照）を単純に比較して算出できる。ここで、「特定寸法ｒ」は、追跡画像Ｔ又は判別画像Ｄに含まれる交通標識の特定寸法ｒ、例えば円形標識の推定される半径や方形標識又は菱形標識の推定される一辺の長さを意味する。しかし、追跡画像Ｔ又は判別画像Ｄが交通標識の輪郭に倣って抽出される場合、この追跡画像Ｔの半径を特定寸法ｒとし、また追跡画像Ｔが交通標識の外形を最大として抽出される場合はこの追跡画像Ｔの一辺の長さを特定寸法ｒとしてもよい。
【００１９】
また、道路が曲がっていたり、自動車が交差点を曲がっている等、自動車が進行方向に曲がる又は上下に進行している場合、交通標識に対する自動車の角度によって高さ及び幅の比率が変化することから、例えば追跡画像Ｔを正面から見たとして補正された追跡画像Ｔを得て、前記補正された追跡画像Ｔと一時記憶されている判別画像Ｄの高さ、幅又は各画像の特定寸法ｒを比較してサイズ比Ｒを算出するとよい。いずれの場合でも、画像の高さ、幅又は特定寸法ｒの比較を容易にするため、各画像を２値化してもよい。比較対照を高さ、幅又は特定寸法ｒのいずれにするか、また前記２値化等の中間処理を用いるか否かは、本発明を適用するハードウェア又はソフトウェアの能力により決定すればよい。
【００２０】
次に、追跡画像Ｔ及び判別画像Ｄは解像度が異なることから、本発明は、追跡画像Ｔを重みＷ、拡大された判別画像Ｄ'を重み（１−Ｗ）の割合で合成、すなわち加重平均した。ここで、解像度の高い追跡画像Ｔの特徴情報CIをよりよく利用するため、重みＷを0.5以上とし、合成して得られる新たな判別画像Ｄにおける追跡画像Ｔの影響を強くすることが考えられる。しかし、あまり重みＷを大きくすると、合成された判別画像Ｄは追跡画像Ｔそのものと変わらなくなるほか、追跡画像Ｔを重ね合わせた判別画像Ｄに蓄積された特徴情報CIを相対的に低く評価してしまう。そこで、重みＷは、0.5より小さい範囲で、追跡画像Ｔ中の特定寸法ｒについて単調増加する値とし、特定寸法ｒの大小に応じて追跡画像Ｔを評価しながら、重みＷの追跡画像Ｔに比べて、重み（１−Ｗ）の拡大された判別画像Ｄ'を相対的に高く評価し、前記拡大された判別画像Ｄ'の特徴情報CIを交通標識の認識に有効利用できるようにした。具体的には、拡大された判別画像Ｄ'に対する追跡画像Ｔの相対的価値は0.5より低く、重みＷは0.01〜0.40、好ましくは0.05〜0.35に設定するとよい。
【００２１】
重みＷは、追跡画像Ｔ中の特定寸法ｒを変数とする関数Ｗ(ｒ)であり、
dＷ(ｒ)/dｒ＞０、d2Ｗ(ｒ)/dｒ2＜０
であるとよい。関数Ｗ(ｒ)は、特定寸法ｒの増加につれて増加するものの、その増加量が減少するものであればよく、具体的には対数関数log（ｒ）やべき乗関数ｒt（０＜ｔ＜１）を例示できる。特定寸法ｒは、上述した通り、例えば円形標識の推定される半径や方形標識又は菱形標識の推定される一辺の長さである。
【００２２】
好ましい関数Ｗ(ｒ)は、下記数１で表される。
【数１】
Ａ1：増幅率
Ａ2：特定寸法ｒに対する閾値
Ａ3：重みＷに対する閾値
ここで、重みＷを上述した0.05〜0.35の範囲に収めるとした場合、Ａ1は0.05〜0.40、Ａ2は4.0〜8.0、Ａ3は0.01〜0.30の範囲で設定することが好適である。
【００２３】
交通標識がかなり遠方にある場合の追跡画像Ｔに含まれる特徴情報CIは少なく、むしろ不要な情報（ノイズ）が多く、拡大された判別画像Ｄ'に合成することが好ましくなくなる。特定寸法に対する閾値Ａ2は、特定寸法ｒに基づいて、不要な情報が多いと考えられる小さな追跡画像Ｔを、拡大された判別画像Ｄ'との合成から除外するための閾値である。この結果、log（ｒ−Ａ2）が小さくなりすぎる虞があるため、増幅率Ａ1により前記log（ｒ−Ａ2）の値を増加させ、更に重みＷに対する閾値Ａ3を減算することにより前記増幅率Ａ1による過剰な増分を調整する。ここで、重みＷは１未満の正の値でなければならないため、特定寸法ｒが閾値Ａ2より小さかったり、重みＷに対する閾値Ａ3の減算によりＷ（ｒ）が負の値になれば、追跡画像Ｔと拡大された判別画像Ｄ'との合成をすることなく、前記追跡画像Ｔを新たな判別画像Ｄとして一時記憶させるとよい。
【発明の効果】
【００２４】
本発明は、まず交通標識を早い時点で認識できる効果を有する。これらは、過去に抽出された追跡画像Ｔの特徴情報CIを蓄積した判別画像Ｄに基づいて交通標識を認識することによる効果である。前記判別画像Ｄは、過去に抽出された追跡画像Ｔの特徴情報CIを蓄積しているため、同じ解像度の追跡画像Ｔに比べてこの判別画像Ｄを用いた交通標識の認識精度は高く、例えば追跡画像Ｔから交通標識を認識できない場合でも、その追跡画像Ｔを合成して得られる新たな判別画像Ｄによれば、交通標識を認識できることになる。これは、早い時点での交通標識の高精度な認識という効果に繋がる。
【００２５】
また、過去に抽出された追跡画像Ｔの特徴情報CIを蓄積した判別画像Ｄに基づいて交通標識を認識することにより、例えば街路樹等に見え隠れする交通標識でも認識可能にする効果が得られる。従来同種の交通標識認識方法は、取得した静止画像Ｓ又はこの静止画像Ｓから抽出した追跡画像Ｔのみを用いて交通標識を認識していたため、静止画像Ｓ又は追跡画像Ｔ中の交通標識に街路樹等の障害物が重なっていると交通標識が認識できないことも少なくなかった。しかし、本発明が交通標識に用いる判別画像Ｄは、過去に抽出された追跡画像Ｔを合成していく判別画像Ｄを用いて交通標識を認識するため、個々の追跡画像Ｔそれぞれが含む障害物の影響を低減できるほか、障害物の影響がない部分での特徴情報CIを高め、交通標識の認識を可能にしている。
【００２６】
このほか、本発明は抽出された追跡画像Ｔの利用態様を提案するものであり、従来公知の各種交通標識認識方法と併用できる。すなわち、本発明における静止画像Ｓの取得方法、追跡画像Ｔの抽出方法及び判別画像Ｄを用いた認識方法は、従来公知の各種方法を用いることができる。これは、本発明の汎用性を意味する。こうして、本発明は従来公知の各種交通標識認識方法に適用されることにより、実用的な交通標識認識方法を確立する効果を有する。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態について図を参照しながら説明する。図１は本発明を適用した交通標識認識システムの概略構成を表すブロック図、図２は本例の交通標識認識システムを搭載した自動車５を表した使用状態参考図、図３は交通標識認識システムにおける処理手順を表したフローチャート、図４は静止画Ｓの一例を表す参考図、図５は静止画Ｓから抽出した追跡画像Ｔを表す参考図、図６は追跡画像Ｔに対して判別画像Ｄを拡大する処理を模式的に表した参考図、図７は追跡画像Ｔと拡大された判別画像Ｄ'とを合成する処理を模式的に表した参考図、図８は参考画像（ａ）の特定色抽出画像から抽出される輪郭ベクトル画像（ｂ）（ｃ）と輪郭ベクトルを連続的にトレースした輪郭トレース画像（ｄ）を表す参考図である。本例は、自動車５の進行方向前方をカメラにより撮影した動画像Ｖから、この自動車５の進行方向前方にある交通標識６を認識する交通標識認識システムを構成した例である。
【００２８】
交通標識認識システムは、例えば図1に見られるように、カメラ11、車載コンピュータ２、ハードディスク３及びディスプレイ４により構成される。カメラ11は、動画像Ｖを撮影する動画カメラであり、例えば図２に見られるように、自動車５の屋根に搭載して、この自動車５の進行方向前方の風景を常時撮影する。ハードディスク３は、大量のデータを永続的に記憶させる外部記憶装置であり、交通標識６の特徴情報CIから構成されるデータベースや、ディスプレイ４に表示させる地図データを記憶させている。磁気的外部記憶装置であるハードディスク３に代えて、光学的外部記憶装置であるDVD-ROM等の外部記憶装置を用いてもよいし、例えば無線接続のインターネットを介して、自動車外のサーバからデータを逐次入手してもよい。
【００２９】
車載コンピュータ２は、CPU等からなる処理部26とメモリ25とから構成される。処理部26は、本発明に基づく処理手順を実現する処理プログラムを実行することにより、機能的な静止画像抽出手段21、追跡画像抽出手段22、画像合成手段23及び標識認識手段24に分けることができる。処理プログラムは、例えばハードディスク３に記憶させ、交通標識認識システムの起動により車載コンピュータ２の処理部26に読み出して実行させる。処理プログラムの実行によりソフト的に構成される前記各手段は、仕様変更に対応しやすい汎用性を備えるが、処理時間の短縮や装置構成の小型化を図る場合、前記各手段をハード的に構成してもよい。
【００３０】
静止画像抽出手段21は、カメラ11から動画像Ｖを取り込み、この動画像Ｖからフレーム単位の静止画像Ｓを抽出する。追跡画像抽出手段22は、静止画像抽出手段21から静止画像Ｓを取り込み、この静止画像Ｓから交通標識６を含む追跡画像Ｔを抽出する。カメラ11に代えて、例えば静止画カメラ等のカメラ12（図１参照）を用いて直接静止画像Ｓを追跡画像抽出手段22に取り込んでもよい。この追跡画像Ｔが最初の静止画像Ｓから抽出された最初の追跡画像Ｔであれば、メモリ25に一時記憶させる。画像合成手段23は、２番目以降の静止画像Ｓから抽出された２番目以降の追跡画像Ｔを追跡画像抽出手段22から抽出し、この追跡画像Ｔと先に一時記憶されている判別画像Ｄとを合成して新たな判別画像Ｄを生成し、この判別画像Ｄをメモリ25に一時記憶させる。標識認識手段24は、画像合成手段23から生成された新たな判別画像Ｄを取り込み、従来公知の各種方法により判別画像Ｄから特徴情報CIを抽出し、この特徴情報CIをハードディスク３に記憶させたデータベースの特徴情報CIと突き合わせて交通標識６を認識する。そしてディスプレイ４は、標識認識手段24により認識された交通標識６の画像データをハードディスク３のデータベースから取り出し、例えば地図データに合成して表示させる。
【００３１】
本例の交通標識認識システムは、例えば図３に見られる処理手順に従って、動画像Ｖ中の交通標識６を認識する。便宜上、動画像Ｖ中に１つの交通標識６が現われた場合について説明する。複数の交通標識６が現われた場合（図４及び図５参照）は、以下の処理手順が並列的に実行される。まず、処理手順の最初にカウンタｎがリセットされ、カメラ11（図１参照。以下、同じ）が取り込んだ動画像Ｖから静止画像抽出手段21が最初の静止画像Ｓ1を抽出し、この静止画像Ｓ1から追跡画像抽出手段22が最初の追跡画像Ｔ1を抽出する。ここで、最初の追跡画像Ｔ1が抽出されなければ、この処理手順を終了し、改めてカウンタｎをリセットして次の処理手順を開始する。
【００３２】
追跡画像Ｔの抽出は、従来公知の各種方法を用いることができるが、各静止画像Ｓから交通標識のみを含む画像を抽出する方法と、全静止画像Ｓにわたって同一の交通標識を含む前記画像を抽出する方法とが必要となる。まず、各静止画像Ｓから特定の交通標識のみを含む画像を抽出する方法として、領域限定を用いた抽出手法（「特定色判別と領域限定を用いた円形交通標識の抽出（松浦大祐，山内仁，高橋浩光）」，電子情報通信学会論文誌D-II，Vol.J85-D-II，No.6，1075〜1083頁，June 2002.）を例示できる。この領域限定を用いた抽出手法は、１）RGB減算法を用いた特定色抽出手順、２）交通標識が存在しうる画像領域を特定し、後段の形状判別手順の対象領域を削減する探索領域限定手順、そして３）円形、菱形等、交通標識に用いられている形状判別手順から構成されている。
【００３３】
特定色抽出手順に用いるRGB減算法は、輝度成分への寄与率が高い緑色成分を赤色成分から減算して赤色成分又は黄色成分を、また同じく前記緑色成分を青色成分から減算して青色成分を抽出する手法である。ここで、赤色成分及び黄色成分は、元の赤色成分から緑色成分を減算した値の大小で区別され、前記値が大きい場合が赤色成分、逆に前記値が小さい場合が黄色成分として区別される。このRGB減算法は、一般的に用いられるHSL変換等に比べて、演算量が小さく、高速に特定色を抽出できるほか、緑色成分を減算することで例えば空等が白色に撮影されている場合でも、前記白色を除去できる利点がある。
【００３４】
上記RGB減算法によって抽出された赤色成分、緑色成分、青色成分及び黄色成分の各特定色抽出画像は階調を有する濃淡画像であるため、閾値処理を施してそれぞれ2値化画像とし、例えば図４に見られるように、続く軽減及び形状判別手順で利用する。ここで、特定色抽出画像には１〜２画素程度の孤立画素から構成される微小なノイズが含まれていることがある。こうしたノイズは、注目画素を中心とした３×３画素内に含まれる有効画素数の閾値処理により、注目画素を除去又は追加する簡便なフィルタ処理をして、処理時間の大幅な増加を抑えながら、除去するとよい。
【００３５】
軽減は、交通標識が特定形状の組み合せで表されることを利用する。交通標識を含む領域では、交通標識を表す特定形状が水平ライン又は垂直ライン上に一定値以上の有効画素数を有する。これから、有効画素数が前記一定値に満たない水平ライン又は垂直ラインを、交通標識を探す領域＝探索領域から除外できる。また、前記探索領域の幅又は高さが、抽出しようとしている交通標識の大きさより小さければ、その探索領域内に交通標識は存在しえないため、前記探索領域を除外できる。こうした探索領域からの除外を特定色抽出画像のすべてに実施すれば、交通標識を探索する範囲が限定される。ここで、１回の探索領域からの除外では、特定色抽出画像内に存在する他の交通標識や同系色物体の影響により、必ずしも抽出しようとしている交通標識のみを残すことができない。このため、探索領域からの除外は２回以上実施し、余分な領域を除去するとよい。
【００３６】
形状判別手順は、上記軽減で限定された探索領域に対して、交通標識の外形である円形図形又は多角形図形を判別する。例えば円形図形の交通標識の場合、前記探索領域のエッジ探索による中心座標の仮決定と、前記中心座標を中心とする円形図形の半径の円周上の画素数の閾値処理により、円形図形の存在を判定する。また、菱形図形をはじめとする多角形図形の交通標識の場合、円形図形と同様に中心座標を仮決定し、前記中心座標から上下方向又は左右方向へ走査してエッジ探索して中心位置を決定した後、得られたエッジ間の距離を基にした外郭部分の外周及び内周を走査して有効画素数を計数し、更に閾値処理によって多角形図形の存在を判定する。ここで、交通標識と同形状の看板等を選別するため、限定された探索領域内における各特定色の面積比率を算出し、交通標識ならばあり得ない比率が算出された場合、その探索領域を除外する。
【００３７】
このように、特定色抽出手順、探索領域限定手順、そして形状判別手順からなる領域限定を用いた抽出手法により、例えば図５に見られるように、各静止画像Ｓnから交通標識のみを含む画像を追跡画像Ｔnとして抽出できる。しかし、全静止画像Ｓnについて毎回同様の手順を経て追跡画像Ｔnを抽出するのは、処理時間がかかりすぎるし、各静止画像Ｓnから抽出した追跡画像Ｔnが同一の交通標識を含む画像か否かを別途判断しなければならない。そこで、全静止画像Ｓnにわたって同一の交通標識を含む前記画像を抽出する方法として、CONDENSATION（「CONDENSATION - Conditional Density Propagation for Visual Tracking（Michael Isard, and Andrew Blake）」" International Journal of Computer Vision,Vol. 29, No. １, ５〜28頁, 1998.）を用い、最初に抽出された追跡画像Ｔ1を利用して、2番目以降の追跡画像Ｔn（ｎは２以上の整数、以下同じ）を効率的に抽出するとよい。
【００３８】
CONDENSATIONは、ある画像から抽出する特定領域が複数のパラメータによって表現可能であるとき、直前に抽出された画像におけるパラメータ値を中心とした多次元の正規分布を想定し、その分布に従った複数のパラメータ候補群から最も評価値の高いものをその時点におけるパラメータ値として決定する手法である。ここで、CONDENSATIONを利用するには、パラメータ候補群の評価を適切にする必要がある。これから、静止画像Ｓから追跡画像Ｔを抽出する本発明の場合、初期抽出段階で判明する円形、菱形等の標識の形状及び特定色をパラメータ値として設定する。
【００３９】
例えば赤色を主体とする円形標識であれば、CONDENSATIONによって推定するパラメータは、標識の形状である円を表現するのに必要な座標（ｘ、ｙ）及び半径（特定寸法）ｒを用いることができる。この場合、CONDENSATIONによって生成されたパラメータ値の番号をｋとしたとき、それぞれのパラメータ値を（xk、yk、rk）と表すことができる。生成されたパラメータ値の評価値Ekは、対象標識の外周部分が赤色円形であることから、PR（ｘ、ｙ）を中心座標（ｘ、ｙ）における赤色の画素値、ｎを円周の分割数、cをエッジ強度を補正する重みとして、下記数２により求めることができる。
【００４０】
【数２】
【００４１】
上記数２より算出される評価値Ekが大きな値となったとき、前記評価値Ekを算出する基礎となったパラメータ値で表される探索領域が、赤色円形の最外周部である可能性が高いと推定される。これから、各静止画像Ｓ毎に最も評価値Ekの高い探索領域を抽出すれば、最初に抽出した追跡画像Ｔ1と同じ交通標識を含む２番目以降の追跡画像Ｔnを得ることができる。
【００４２】
このようにして最初の静止画像Ｓ1から抽出された最初の追跡画像Ｔ1は、新たな判別画像Ｄとしてメモリ25に一時記憶される。本例では、処理手順の共通化の観点から前記判別画像Ｄから標識認識手段24が特徴情報CIを生成し、ハードディスク３のデータベースの特徴データと前記特徴情報CIとを突き合わせて、交通標識の認識を試みる。本発明は、過去の追跡画像Ｔを重ね合わせた判別画像Ｄを用いて認識精度を向上させるので、前記判別画像Ｄから特徴情報CIを抽出することなく、次の処理手順に移ってもよい。判別画像Ｄから特徴情報CIを抽出する方法については、後述する。
【００４３】
こうして最初の追跡画像Ｔ1から判別画像Ｄが得られると、カウンタｎを１だけ増分して処理手順の最初に戻り、カメラ11が取り込んだ動画像Ｖから静止画像抽出手段21が２番目の静止画像Ｓ2を抽出し、この静止画像Ｓ2から追跡画像抽出手段22が2番目の追跡画像Ｔ2を抽出する。そして、画像合成手段23により、先に一時記憶されている判別画像Ｄと前記２番目の追跡画像Ｔ2とを合成して新たな判別画像Ｄを取得し、更に標識認識手段24により、前記新たな判別画像Ｄから抽出される特徴情報CIに基づいて、追跡画像Ｔ2が含む交通標識を判別する。
【００４４】
画像合成手段23は、一時記憶されている判別画像Ｄと２番目の追跡画像Ｔ2とを合成するため、まず判別画像Ｄを追跡画像Ｔ2に合わせて拡大する。本例では、例えば図６に見られるように、追跡画像Ｔを抽出する際、CONDENSATIONに用いた特定寸法（円形標識における半径）ｒを比較してサイズ比Ｒを算出し、このサイズ比Ｒの比率に従って一時記憶されている判別画像Ｄ'の高さ及び幅を拡大し、拡大された判別画像Ｄ'を得る。これにより、拡大された判別画像Ｄ'の解像度は、見掛け上、追跡画像Ｔと同じになるが、既述したように前記拡大された判別画像Ｄ'は特徴情報CIを有しない画素を含んでいる。この画素に対して、追跡画像Ｔの特徴情報CIを付与する処理が本発明の合成であり、この合成は、図７に見られるように、追跡画像Ｔを重みＷで、拡大された判別画像Ｄ'を重み（１−Ｗ）で合成する加重平均である。前記重みＷの範囲及び算出は既述したところにより、追跡画像Ｔ及び拡大された判別画像Ｄ'の合成は、各画像の画素単位、好ましくは各画像を変換して得られる特徴色画像の画素単位で合成する。
【００４５】
追跡画像Ｔ及び拡大された判別画像Ｄ'の合成を、模式的に説明する。説明の便宜上、追跡画像Ｔが交通標識の特徴情報CIを70％の精度で表す画素ａ（図７中、追跡画像Ｔの実線部分）と、交通標識の特徴情報CIを30％の精度で表す画素ｂ（図７中、追跡画像Ｔの破線部分）とから構成されると仮定する。また、最初の追跡画像Ｔをそのまま一時記憶させた判別画像Ｄの拡大された判別画像Ｄ'は、かなりの確率で追跡画像Ｔより特徴情報CIが少ないと考えられるので、交通標識の特徴情報CIを50％の精度で表す画素ｃ（図７中、追跡画像Ｔの実線部分）と、交通標識の特徴情報CIを20％の精度で表す画素ｄ（図７中、追跡画像Ｔの破線部分）とから構成されると仮定する。そして、特定寸法ｒから算出される重みＷが0.10であるとする。
【００４６】
この場合、追跡画像Ｔの画素ａと拡大された判別画像Ｄ'の画素ｃとが合成される部分は70％×0.10＋50％×0.90＝52％（図７中、判別画像Ｄの太線部分）、画素ｂと画素ｃとが合成される部分は30％×0.10＋50％×0.90＝48％（図７中、判別画像Ｄの実線部分）、画素ａと画素ｄとが合成される部分は70％×0.10＋20％×0.90＝25％（図７中、判別画像Ｄの実線部分）、そして画素ｂと画素ｄとが合成される部分は30％×0.10＋20％×0.90＝21％（図７中、判別画像Ｄの実線部分）の精度で特徴情報CIを表す新たな判別画像Ｄが得られることになる。追跡画像Ｔの影響により、例えば画素ｂと画素ｃとが合成される部分等、部分的に特徴情報CIが若干弱められるように見えるが、得られる新たな判別画像Ｄは全体としてより多くの特徴情報CIを有するほか、全体として特徴情報CIが平均化していることが分かる。
【００４７】
ここで、交通標識に接近した場合を考える。この場合、上記例示と同様に、追跡画像Ｔが交通標識の特徴情報CIを80％の精度で表す画素ａ（図７中、追跡画像Ｔの実線部分）と、交通標識の特徴情報CIを40％の精度で表す画素ｂ（図７中、追跡画像Ｔの破線部分）とから構成されると仮定する。また、判別画像Ｄには過去の追跡画像Ｔが有していた特徴情報CIが蓄積されることから、拡大された判別画像Ｄ'は交通標識の特徴情報CIを80％の精度で表す画素ｃ（図７中、追跡画像Ｔの実線部分）と、交通標識の特徴情報CIを60％の精度で表す画素ｄ（図７中、追跡画像Ｔの破線部分）とから構成されると仮定する。そして、特定寸法ｒから算出される重みＷが0.30であるとする。
【００４８】
この場合、追跡画像Ｔの画素ａと拡大された判別画像Ｄ'の画素ｃとが合成される部分は80％×0.30＋80％×0.70＝80％（図７中、判別画像Ｄの太線部分）、画素ｂと画素ｃとが合成される部分は40％×0.30＋80％×0.70＝68％（図７中、判別画像Ｄの実線部分）、画素ａと画素ｄとが合成される部分は80％×0.30＋60％×0.70＝66％（図７中、判別画像Ｄの実線部分）、そして画素ｂと画素ｄとが合成される部分は40％×0.30＋60％×0.70＝54％（図７中、判別画像Ｄの実線部分）の精度で特徴情報CIを表す新たな判別画像Ｄが得られることになる。この新たな判別画像Ｄも、全体としてより多くの特徴情報CIを有するほか、全体として特徴情報CIが平均化していることが分かる。
【００４９】
こうして合成された新たな判別画像Ｄを基礎に交通標識を判別する手法は、従来公知の各種手法を用いることができ、例えば多くの画像認識に見られるテンプレート・マッチングを利用してもよい。前記テンプレート・マッチングは、新たな判別画像Ｄをテンプレート画像に合わせて拡大又は縮小する必要が生じるが、本発明と異なり、拡大又は縮小された新たな判別画像Ｄに合成する追跡画像Ｔに相当する画像がないことから、拡大又は縮小された新たな判別画像Ｄはかえって特徴情報CIを希薄化させるだけで、結果として交通標識の認識精度を低下させかねない。仮に、拡大又は縮小された新たな判別画像Ｄの画質を高めるため、高度な補間処理を利用すると、処理時間が増大してしまう別の問題が生じる。
【００５０】
これから、本例では、合成された新たな判別画像Ｄを改めて拡大又は縮小することなく、前記判別画像Ｄ中の交通標識の輪郭を抽出し、抽出した輪郭を追跡して得られる輪郭ベクトルを特徴情報CIとして、予めデータベースに記憶させた交通標識の輪郭ベクトルからなる特徴情報CIとを突き合わせて、追跡画像Ｔが含む交通標識を判別する手法（「輪郭ベクトルの追跡による道路標識の認識（山内仁，高橋浩光）」、 映像情報メディア学会論文誌，Vol. 57，No. ７，847〜853頁，July 2003.）を用いている。
【００５１】
画像中の特定形状の輪郭抽出には、一般にソーベル・フィルタやラプラシアン・フィルタ等が用いられる。しかし、これらのフィルタを用いた輪郭抽出では、特定形状の輪郭点が得られるだけであり、その輪郭の内外いずれに画素値の大きな領域、すなわち特定色があるのか判別できず、交通標識の認識には不適である。そこで、前記ソーベル・フィルタを改良し、画素値の大きな領域に対して一定の位置関係を示すベクトルを抽出する手法（以下、説明の便宜上、ベクトル抽出手法と呼ぶ）を用いることとした。特定形状の輪郭は、前記ベクトルを連結していくことで抽出できるため、前記ベクトルを「輪郭ベクトル」と呼ぶことができる。
【００５２】
このベクトル抽出手法における輪郭ベクトル（ｘi,j、ｙi,j）は、座標（ｉ、ｊ）の画素において、下記数３及び数４により導かれる。
【数３】
【数４】
ここで、 （ｕi,j、ｖi,j）は座標（ｉ、ｊ）における画素値である。
【００５３】
輪郭ベクトルは、ベクトルの方向に直交する右側に画素値の大きい領域を有する。これから、算出された複数の輪郭ベクトルを右周りに連結して初期位置に到達する輪郭が抽出できれば、その輪郭の内部に画素値の大きい領域があると判別でき、逆に算出された複数の輪郭ベクトルを左周りに連結して初期位置に到達する輪郭が抽出できれば、その輪郭の外部に画素値の大きい領域があると判別できる。これを交通標識に当て嵌めて考えれば、輪郭ベクトルを連結した輪郭の内部に赤色等の特定色があるか、逆に輪郭の外部に特定色があるかが分かることになり、交通標識の認識を容易にすることが理解される。
【００５４】
実際には、特定形状の輪郭に沿った画素のみを捉えて輪郭ベクトルを算出することはできないので、判別画像Ｄの全画素について輪郭ベクトルを算出し、得られた全輪郭ベクトルの方向及び長さを相互に比較して連結する輪郭ベクトルを選択し、特定形状の輪郭のみを抽出する。この場合、輪郭を形成する輪郭ベクトルの追跡は、輪郭ベクトルの大きい画素を始点にするとよい。ここで、輪郭ベクトルの追跡は画素単位になることから、個々の画素における輪郭ベクトルの方向は隣接する画素の方向、すなわち８方向に正規化する。こうして、前記始点から正規化した方向の画素に移動する操作を、再び始点に到達する、判別画像Ｄの外部へ出る、又は輪郭ベクトルの長さが０となるまで繰り返し、輪郭ベクトルの連結されたベクトル列を得る。
【００５５】
本発明では、特定色のみで構成される交通標識を認識対象としていることから、判別画像Ｄを赤色や青色等のみからなる特定色画像に変換し、この特定色画像毎に輪郭ベクトルの追跡を実施するとよい。例えば、図８に見られるように、追い越し禁止の交通標識の参考画像（図８（а））を例にすれば、赤色抽出画像の輪郭ベクトル画像は図８（ｂ）、青色抽出画像の輪郭ベクトル画像は図８（ｃ）として表され、それぞれの輪郭ベクトルを連結的にトレースして得られる輪郭トレース画像を図８（ｄ）のように得ることができる。ここで、赤色抽出画像及び青色抽出画像の各輪郭ベクトルは、ベクトルの方向を濃淡で表現している。
【００５６】
交通標識は、単純な特定形状を異なる種類で共通して用いられており、輪郭ベクトルだけでは、より具体的な交通標識の種類を判別できない可能性が高い。これから、交通標識の認識にあたっては、輪郭ベクトルの追跡により得られるベクトル列が、判別画像Ｄ中のどの位置に存在するかが分かればよい。この場合、円形標識のように、大きさの異なる赤色の特定形状が同心円状にある場合、各特定形状を区別する必要があるため、ベクトル列としての平均位置ではなく、各輪郭ベクトルの方向毎に平均位置を取得しておくとよい。
【００５７】
輪郭を表すベクトル列は、同じ方向に連続して進行するコードの連接と考えた場合、例えばベクトル列の中で１回又は２回程度別方向を向く輪郭ベクトルはノイズ又は正規化に伴うブレと見ることができる。このノイズ又はブレを除去するには、輪郭を表すベクトル列を、正規化した輪郭ベクトルの方向と、前記輪郭ベクトルの連続長とを一組とした「ランレングス符号」とみなし、ラン長のみを少数回減少させるとよい。こうしてノイズ除去等を終えたベクトル列が、判別画像Ｄの特徴情報CIとなり、交通標識の判別は前記ベクトル列を利用する。
【００５８】
判別画像Ｄから抽出した特徴情報CIを比較する交通標識の特徴情報CIは、作成した交通標識の基準画像から輪郭ベクトル列を予め生成しておき、外部記憶に記憶させて、データベースを構築しておく。交通標識の認識は、判別画像Ｄから抽出した特徴情報CIを前記データベースに記憶させた輪郭ベクトル列との照合による。具体的な照合は、ベクトル列の平均位置と方向の一致判定である。ベクトル列の一致判定は、部分文字列の検索と同様の手法による。ここで、依然として判別画像Ｄが小さい場合、交通標識の細部が潰れて輪郭が短絡したり、障害物等による部分隠蔽のために発生した不要な輪郭等が含まれていると予想されるため、抽出されたベクトル列を小単位に分割し、分割した単位毎に一致判定するとよい。ここで、抽出された輪郭ベクトルの始点が基準画像の輪郭ベクトルの始点と一致することは期待できないため、基準画像側の輪郭ベクトルを円環状に検索する。こうして、特徴情報CIとして判別画像Ｄから抽出されたベクトル方向列長と、基準画像のベクトル方向列長の一定割合以上が一致している場合、前記基準画像の交通標識であると判定し、判別画像Ｄについての認識を完了する。
【００５９】
新たな判別画像Ｄに基づく交通標識の認識は繰り返し実行されるので、例えば認識結果が一定数以上同一で連続することから、交通標識を正しく認識できていると判断することができる。この場合、もはや判別画像Ｄについての認識は不要として、追跡画像Ｔの抽出、追跡画像Ｔ及び判別画像Ｄの合成や判別画像Ｄに基づく認識等の処理を省略するようにしてもよい。また、途中から追跡画像Ｔが抽出されなくなれば、それまで認識の対象としていた交通標識を通過したものと判断し、一時記憶されている判別画像Ｄを消去して前記同様処理手順を終了し、改めて次の処理手順を開始するとよい。
【実施例１】
【００６０】
本発明の有効性を確認するため、検証試験を実施した。カメラは、産業用イメージセンサ（SONY製DFW-VL500）を自動車に搭載し、この自動車を時速40km/hで直進させながら、晴天昼間に15fpsの動画像Ｖを取り込んだ。静止画像抽出手段、追跡画像抽出手段、画像合成手段及び画像認識手段は市販のノートパソコン（IBM製ThinkPad（登録商標）T42p）で処理プログラムを実行して構成し、前記ノートパソコンのメモリをメモリ、内蔵ハードディスクをハードディスク、そしてノートパソコンのディスプレイをディスプレイとして利用した。検証試験では、認識対象となる交通標識は、「駐車禁止」を示す規制標識（赤色円形標識）とした。また、追跡画像Ｔの抽出には上述したCONDENSATIONを、そして判別画像Ｄに含まれる交通標識の認識に際する特定色判定には「輪郭ベクトルによる道路標識認識に向けた特定色判定（山内仁，高橋浩光）」（電子情報通信学会技術研究報告，IE200488, 11〜16頁、Nov.2004．）を用いている。
【００６１】
図９は「駐車禁止」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。追跡画像Ｔと拡大された判別画像Ｄ'との重ね合わせに際して用いる重みＷ（数１参照）は、予備実験により、A1＝0.15、A2＝6.0、そしてA3＝0.025とした。静止画像Ｓは、連続する動画像Ｖから適当間隔で抽出している。すなわち、追跡画像Ｔは動画像Ｖから適当間隔で抽出される。図９では10フレーム間隔の追跡画像Ｔ及び判別画像Ｄのみを示している。また、図９中、各追跡画像Ｔ及び判別画像Ｄの並ぶ左端には、CONDENSATIONにより得られた特定寸法ｒの大きさ（ピクセル数）を記載している。更に、各追跡画像Ｔ及び判別画像Ｄの下段には、認識された交通標識の名称と、各追跡画像Ｔ及び判別画像Ｄの各前後10フレームにおいて交通標識を正しく認識できた割合の数値とを、それぞれ認識結果として記載している。
【００６２】
同一時点（特定寸法ｒが同じ時点）の追跡画像Ｔ及び判別画像Ｄを視覚的に比較すると、追跡画像Ｔは解像度の低い静止画像Ｓの特徴情報CIをそのまま有しているのみのため、個々の画素が強調された形となっているのに対して、判別画像Ｄは個々の画素が相互に干渉し、滑らかな画像となっていることが分かる。これは、判別画像Ｄの全体に特徴情報CIが平均化されて蓄積されていることを視覚的に示しているものと考えられる。
【００６３】
また、追跡画像Ｔ及び判別画像Ｄの認識結果を比較すると、追跡画像Ｔに基づく認識では、特定寸法ｒが9.94、13.72及び16.08の場合に正しく交通標識を認識しているものの、特定寸法ｒが11.30及び11.91の場合に誤っており、交通標識を安定して認識していると言い難い。これに対して、判別画像Ｄに基づく認識では、特定寸法ｒが9.94以降のいずれの段階でも、すなわちこの検証試験における最初から、すべて正しく認識できており、また安定して認識できている。これから、本発明の交通標識認識方法は、ロバスト性の高い認識方法であることが確認できる。
【００６４】
更に、追跡画像Ｔ及び判別画像Ｄの認識率を比較すると、追跡画像Ｔの認識では、特定寸法ｒが9.94の段階で一度高い値を示しながら、一旦認識率の低下が見られ、安定した正しい認識結果が得られるのは特定寸法ｒが13.72になった以降である。これに対して、判別画像Ｄの認識では、いずれの段階においても８割以上の認識率を安定的に示している。これから、本発明の交通標識認識方法は、信頼性の高い認識方法であることが確認できる。
【実施例２】
【００６５】
次に、上記検証試験で認識対象とした「駐車禁止」を示す規制標識に代えて、数字表記を含む「40km/h制限」を示す規制標識を認識対象として、同様な検証試験を実施した。図10は「40km/h制限」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。図10中、追跡画像Ｔ及び判別画像Ｄは動画像Ｖの20フレーム間隔である。この検証試験では、上記検証試験（実施例１）に比べて、光線条件が比較的悪い状況下で実施した。このため、追跡画像Ｔの認識は、認識率が大きく変化しており、安定的とは言い難い。それに対して、判別画像Ｄの認識では、前記光線条件の影響もあり、上記検証試験には及ばないものの、特定寸法ｒが11.78以降に比較的高い認識率を示している。これから、本発明の交通標識認識方法は、ロバスト性が高く、また信頼性の高い認識方法であることが確認できる。
【実施例３】
【００６６】
最後に、交通標識が街路樹や他の交通標識等によって見え隠れしている場合における検証試験を実施した。図11は街路樹や他の交通標識等によって見え隠れしている「追い越し禁止」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図であり、図12はこの検証試験における特定寸法ｒ及び認識率の相関図である。この検証試験は、自動車の進行方向が 左側に曲がり、道路左側の歩道上に設置されている「追越禁止」の交通標識が手前側の街路樹の幹や他の交通標識によって見え隠れする場合の追跡画像Ｔ及び判別画像Ｄを比較している。この検証試験では， 追跡画像Ｔ及び判別画像Ｄの合成に際する重みＷ（数1参照）におけるA1＝0.20、A2＝6.00、そしてA3＝0.10としている。図11から明らかなように、追跡画像Ｔのみの場合は認識できない又は誤認識しているが、判別画像Ｄでは正しく「追越禁止」を認識していることが確認できる。また，判別画像Ｄについては認識率も高く，本発明が障害物によって見え隠れする交通標識の認識について、非常に有効であることが分かる。
【００６７】
この検証試験の結果を、特定寸法（半径）ｒ及び認識率の相関によって示すと、図12に見られるように、追跡画像Ｔ及び判別画像Ｄのいずれとも特定寸法（半径）ｒが大きくなるほど認識率が向上する傾向は同じであるが、全般的に判別画像Ｄの認識率が高く、特に障害物によって交通標識が見え隠れした特定寸法（半径）ｒ＝14〜19ピクセルの範囲では特に判別画像Ｄの認識率が追跡画像Ｔの認識率に大きく差をつけている。このように、相関図からも、本発明が見え隠れする交通標識の認識に有効であることが確認される。以上の結果より，本発明は，交通標識を早期に正しくかつ安定して認識し，高い信頼性を有することに加え、見え隠れする交通標識でも誤認識が少ない交通標識認識方法を提供するものと言える。
【図面の簡単な説明】
【００６８】
【図１】本発明を適用した交通標識認識システムの概略構成を表すブロック図である。
【図２】本例の交通標識認識システムを搭載した自動車を表した使用状態参考図である。
【図３】交通標識認識システムにおける処理手順を表したフローチャートである。
【図４】静止画Ｓの一例を表す参考図である。
【図５】静止画Ｓから抽出した追跡画像Ｔを表す参考図である。
【図６】追跡画像Ｔに対して判別画像Ｄを拡大する処理を模式的に表した参考図である。
【図７】追跡画像Ｔと拡大された判別画像Ｄ'とを合成する処理を模式的に表した参考図である。
【図８】参考画像（ａ）の特定色抽出画像から抽出される輪郭ベクトル画像（ｂ）（ｃ）と輪郭ベクトルを連続的にトレースした輪郭トレース画像（ｄ）を表す参考図である。
【図９】「駐車禁止」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。
【図１０】「40km/h制限」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。
【図１１】街路樹や他の交通標識等によって見え隠れしている「追い越し禁止」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。
【図１２】検証試験における特定寸法ｒ及び認識率の相関図である。
【符号の説明】
【００６９】
11 カメラ（動画カメラ）
12 カメラ（静止画カメラ）
２ 車載コンピュータ
21 静止画像抽出手段
22 追跡画像抽出手段
23 画像合成手段
24 標識認識手段
25 メモリ
26 処理部
３ ハードディスク
４ ディスプレイ
５ 自動車
６ 交通標識
【技術分野】
【０００１】
本発明は、乗り物の進行方向前方をカメラにより撮影した動画像Ｖから、この乗り物の進行方向前方にある交通標識を精度よく認識する標識認識方法に関する。
【０００２】
本発明が対象とする乗り物は主に自動車（二輪車及び四輪車を含む。以下、同じ。）又は列車であるが、進行方向の交通標識を認識する必要のある陸上又は水上の乗り物は、およそ本発明を適用できる。
【背景技術】
【０００３】
特許文献１は、自動車の進行方向前方をカメラにより撮影した動画像Ｖから、この自動車の進行方向前方にある道路標示や交通標識等の交通標識を抽出し、認識する道路標示等認識装置を開示している。この特許文献１は、交通標識を認識する際の処理負担を軽減し、自動車の進行に伴って交通標識の一部しか撮影できなくなる場合でも交通標識を認識することを課題としている。具体的な道路標示等認識装置は、動画像Ｖから静止画像Ｓ（１フレーム画像）を抽出する画像処理基本部、静止画像Ｓから所定画像を抽出する画像処理部、抽出した所定画像を合成して複合データを得る画像データ識別部、前記複合データとデータベースの特定画像データとを比較し、前記両データの一致の可否を出力する画像認識部から構成されている（特許文献１請求項１ほか参照）。
【０００４】
処理負担の軽減は、画像処理部により静止画像Ｓを分割した所定画像を処理することにより、解決している。交通標識の認識に必要な所定画像を処理すれば、静止画像Ｓ全体を処理するより当然に処理負担が軽減される（特許文献１段落［0091］参照）。また、交通標識の一部しか撮影できなくなる場合でも交通標識を認識する点は、画像データ識別部により抽出した所定画像を合成した複合データとデータベースとを突き合わせることにより、解決している。すなわち、先に取得した所定画像を部品として、新たに取得した所定画像の足りない部分に前記部品を足し合わせることで、認識に用いる完全な複合データを得る（特許文献１段落［0093］又は［0094］参照）。これから、特許文献１の特徴は、動画像Ｖから抽出する静止画像Ｓを分割して処理する点にあると言える。
【０００５】
【特許文献１】特開2003-123197号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１のように、交通標識を認識する目的は、運転手に対して進行方向前方の規制情報を知らせる点にある。これから、できるだけ早い時点で交通標識を認識する、すなわち自動車からより遠方の地点で交通標識を認識することが望ましく、また街路樹等で見え隠れする交通標識も正確に認識できることが望ましいと考えられる。
【０００７】
まず、できるだけ早い時点で交通標識を認識する点について見ると、特許文献１が開示する内容だけでは明らかでない。特許文献１は、静止画像Ｓから抽出した所定画像を合成して複合データを取得する点を開示しているが、前記複合データは所定データを部品としてあくまで交通標識全体を再現した画像でしかなく、複合データの解像度（画像に含まれる画素数、以下同じ）は静止画像Ｓの解像度に依存すると見られる。これから、特許文献１が解像度の高いカメラを用いていれば、複合データの解像度も上がり、比較的早い時点で交通標識を認識できると思われるが、これはカメラに係るコストを高くする問題がある。また、仮に解像度の高いカメラを用いても、必ずしも所定画像、ひいては複合データの解像度を高めるとは限らず、特許文献１によれば、早い時点で交通標識を認識しにくいと考えられる。
【０００８】
また、街路樹等で見え隠れする交通標識も正確に認識する点について、特許文献１は特に触れていないが、静止画像Ｓを分割して抽出された所定画像を組み合せて複合データを形成することから、街路樹等を含む所定画像を除外することで、比較的認識が容易な複合データを形成し、交通標識をより正確に認識できると考えられる。しかし、交通標識が常に街路樹等で見え隠れする場合、街路樹等を含む所定画像しか得られず、どうしても複合データの部品として認識を可能にする程度の所定画像を用意することができない。この結果、複合データによる交通標識の認識は低下せざるを得ないと考えられる。
【０００９】
このように、できるだけ早い時点で交通標識を認識したり、また街路樹等で見え隠れする交通標識を正確に認識するには、仮に高い解像度のカメラを用いたとしても、なお特許文献１の認識方法では不十分である。そこで、たとえカメラの解像度が低くても、できるだけ早い時点で交通標識を認識したり、街路樹等で見え隠れする交通標識も正確に認識するための認識方法を開発するため、検討した。
【課題を解決するための手段】
【００１０】
検討の結果開発したものが、乗り物の進行方向前方をカメラにより撮影した時系列に並ぶ各静止画像Ｓに含まれる交通標識を認識する標識認識方法において、最初の静止画像Ｓから交通標識のみを含む最初の追跡画像Ｔを抽出し、この最初の追跡画像Ｔを判別画像Ｄとして一時記憶し、２番目以降の静止画像Ｓから２番目以降の追跡画像Ｔを抽出し、この２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとを合成した新たな判別画像Ｄを一時記憶し、前記新たな判別画像Ｄから抽出した特徴情報CIに基づいて乗り物の進行方向前方にある交通標識を認識する交通標識認識方法である。本発明に用いる静止画像Ｓは、乗り物の進行方向前方をカメラにより撮影した動画像Ｖからフレーム単位で抽出された静止画像Ｓでもよい。このように、本発明は、乗り物の進行方向前方の静止画像Ｓを取得できれば、静止画カメラ又は動画カメラのいずれでもよい。
【００１１】
本発明は、静止画像Ｓから抽出された追跡画像Ｔ毎に交通標識を認識するのではなく、繰り返して抽出される追跡画像Ｔと一時記憶されている判別画像Ｄとを合成して生成される新たな判別画像Ｄを用いて交通標識を認識する。この新たな判別画像Ｄは、合成する追跡画像Ｔに合わせて解像度を上げていく。この新たな判別画像Ｄの交通標識の輪郭や色彩等が有する特徴情報CIは、各追跡画像Ｔの特徴情報CIを蓄積したものになっている。このため、同じ解像度の追跡画像Ｔから得られる特徴情報CIの量より、判別画像Ｄから得られる特徴情報CIの量が多くなる結果、新たな判別画像Ｄを用いれば、交通標識の認識を高めることができる。これは、追跡画像Ｔから直接交通標識を認識することができない早い段階（例えば自動車と交通標識とが遠く離れた段階）で、判別画像Ｄを用いて交通標識を認識できることを意味し、交通標識の早期認識を実現する効果をもたらす。
【００１２】
ある画像の特徴情報CIの量は、その画像の解像度に比例する。しかし、後述する拡大された判別画像Ｄ'は、見掛け上の画素を増加させるが、解像度を高めておらず、したがって特徴情報CIの量も増加していない。なぜなら、増加した画素は元の画素により補完されたものに過ぎず、この増加した画素が新たな特徴情報CIを生み出すわけではないからである。これから、追跡画像Ｔと判別画像Ｄとの合成は、判別画像Ｄが当初より有する特徴情報CIに追跡画像Ｔの特徴情報CIを追加するばかりでなく、増加した画素に対して追跡画像Ｔの特徴情報CIを新たに付与し、合成後の判別画像Ｄの特徴情報CIの量を増加させる処理となる。
【００１３】
静止画像Ｓは、特定時点における自動車の進行方向前方の全景画像であり、認識対象となる交通標識のほか、風景を含んでいる。この静止画像Ｓの撮影間隔や動画像Ｖからの抽出間隔は任意でよく、等間隔又は不等間隔を問わない。この撮影間隔又は抽出間隔は、追跡画像Ｔの抽出、判別画像Ｄの生成やこの判別画像Ｄによる交通標識の認識に要する処理時間の合計より長いことが好ましい。逆に前記処理時間が十分に短ければ、例えば自動車の進行速度に反比例した時間間隔、すなわち自動車が高速移動していれば撮影間隔又は抽出間隔を短くし、逆に自動車が低速移動していれば撮影間隔又は抽出間隔を長くすることが考えられる。
【００１４】
追跡画像Ｔは、静止画像Ｓ内で選定した交通標識を含む大きさ又は形状の画像であり、処理負担を軽減する目的から、交通標識の外形に倣った形状か、交通標識を最大外形とする長方形又は正方形の画像が好ましい。この追跡画像Ｔは、静止画像Ｓ毎に静止画像Ｓ全体から交通標識を探索し、抽出してもよいが、この場合、追跡画像Ｔの抽出処理の負担が大きいばかりでなく、各静止画像Ｓから抽出される追跡画像Ｔの同一性を保証しにくい。これから、最初の静止画像Ｓから抽出された追跡画像Ｔに基づいて、２番目以降の静止画像Ｓの探索範囲を限定し、前記限定された探索範囲から２番目以降の追跡画像Ｔを抽出するとよい。これから、本発明は、各静止画像Ｓから同一の交通標識を抽出する意味で、「追跡」画像Ｔと呼んでいる。この追跡画像Ｔを抽出する方法は、従来公知の各種方法を用いることができる。
【００１５】
特徴情報CIは、例えば交通標識を識別するに足りる幾何学的特徴を表す情報である。例えば、我が国の規制標識は、白地に赤色の図形が基本であり、必要により青色の図形が追加されることから、判別画像Ｄを白色、赤色及び青色でそれぞれ２値化すると、白地の形状、赤色の図形の形状、そして青色の図形の形状のみからなる３種の特定色抽出画像が生成できる。そして、各特定色抽出画像の輪郭ベクトルを特徴情報CIとして抽出し、データベースに蓄積させた交通標識毎の前記輪郭ベクトルからなる特徴情報CIと比較すれば、判別画像Ｄに含まれる交通標識を判別できる。このように、特徴情報CIは、データベースとの突き合わせにより交通標識を判別できればよく、この特徴情報CIを生成する方法は、従来公知の各種方法を用いることができる。
【００１６】
本発明は、過去の追跡画像Ｔの特徴情報CIを蓄積した判別画像Ｄを生成する点に特徴を有する。しかし、２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとは、当然に大きさが異なるほか、解像度も異なることから、単純に重ね合わせても特徴情報CIをかえって弱めてしまう虞がある。そこで、新たな判別画像Ｄは、２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとのサイズ比Ｒを算出し、前記一時記憶されている判別画像Ｄを前記サイズ比Ｒにより拡大された判別画像Ｄ'を生成し、追跡画像Ｔを重みＷ、前記拡大された判別画像Ｄ'を重み（１−Ｗ）の割合で合成して得ることとした。
【００１７】
２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとは、同じ交通標識を含みながら、自動車が進行方向前方に向けて進んでいくため、大きさ及び解像度が異なっている。これから、まず追跡画像Ｔ及び判別画像Ｄを合成するには、一方を他方の大きさに合わせる必要がある。この場合、追跡画像Ｔを前記サイズ比Ｒにより縮小して判別画像Ｄに合成することも考えられるが、追跡画像Ｔの縮小はこの追跡画像Ｔが有する特徴情報CIを不要に損ねることになる。また、既述したように、追跡画像Ｔ及び判別画像Ｄの合成は、拡大された判別画像Ｄ'の増加した画素に、追跡画像Ｔの特徴情報CIを新たに付与する意味を有する。これから、前記サイズ比Ｒにより拡大された判別画像Ｄ'を追跡画像Ｔに合成することが合理的であることが理解される。
【００１８】
自動車が進行方向に水平かつ直線に進行している基本的な場合、２番目以降の追跡画像Ｔと一時記憶されている判別画像Ｄとは、同一の交通標識を含む画像であり、また判別画像Ｄは過去の追跡画像Ｔから生成されることから、高さ及び幅がほぼ同じ比率の相似した関係にあると考えることができる。この場合、両者のサイズ比Ｒは各画像の高さ、幅又は各画像の特定寸法ｒ（後述参照）を単純に比較して算出できる。ここで、「特定寸法ｒ」は、追跡画像Ｔ又は判別画像Ｄに含まれる交通標識の特定寸法ｒ、例えば円形標識の推定される半径や方形標識又は菱形標識の推定される一辺の長さを意味する。しかし、追跡画像Ｔ又は判別画像Ｄが交通標識の輪郭に倣って抽出される場合、この追跡画像Ｔの半径を特定寸法ｒとし、また追跡画像Ｔが交通標識の外形を最大として抽出される場合はこの追跡画像Ｔの一辺の長さを特定寸法ｒとしてもよい。
【００１９】
また、道路が曲がっていたり、自動車が交差点を曲がっている等、自動車が進行方向に曲がる又は上下に進行している場合、交通標識に対する自動車の角度によって高さ及び幅の比率が変化することから、例えば追跡画像Ｔを正面から見たとして補正された追跡画像Ｔを得て、前記補正された追跡画像Ｔと一時記憶されている判別画像Ｄの高さ、幅又は各画像の特定寸法ｒを比較してサイズ比Ｒを算出するとよい。いずれの場合でも、画像の高さ、幅又は特定寸法ｒの比較を容易にするため、各画像を２値化してもよい。比較対照を高さ、幅又は特定寸法ｒのいずれにするか、また前記２値化等の中間処理を用いるか否かは、本発明を適用するハードウェア又はソフトウェアの能力により決定すればよい。
【００２０】
次に、追跡画像Ｔ及び判別画像Ｄは解像度が異なることから、本発明は、追跡画像Ｔを重みＷ、拡大された判別画像Ｄ'を重み（１−Ｗ）の割合で合成、すなわち加重平均した。ここで、解像度の高い追跡画像Ｔの特徴情報CIをよりよく利用するため、重みＷを0.5以上とし、合成して得られる新たな判別画像Ｄにおける追跡画像Ｔの影響を強くすることが考えられる。しかし、あまり重みＷを大きくすると、合成された判別画像Ｄは追跡画像Ｔそのものと変わらなくなるほか、追跡画像Ｔを重ね合わせた判別画像Ｄに蓄積された特徴情報CIを相対的に低く評価してしまう。そこで、重みＷは、0.5より小さい範囲で、追跡画像Ｔ中の特定寸法ｒについて単調増加する値とし、特定寸法ｒの大小に応じて追跡画像Ｔを評価しながら、重みＷの追跡画像Ｔに比べて、重み（１−Ｗ）の拡大された判別画像Ｄ'を相対的に高く評価し、前記拡大された判別画像Ｄ'の特徴情報CIを交通標識の認識に有効利用できるようにした。具体的には、拡大された判別画像Ｄ'に対する追跡画像Ｔの相対的価値は0.5より低く、重みＷは0.01〜0.40、好ましくは0.05〜0.35に設定するとよい。
【００２１】
重みＷは、追跡画像Ｔ中の特定寸法ｒを変数とする関数Ｗ(ｒ)であり、
dＷ(ｒ)/dｒ＞０、d2Ｗ(ｒ)/dｒ2＜０
であるとよい。関数Ｗ(ｒ)は、特定寸法ｒの増加につれて増加するものの、その増加量が減少するものであればよく、具体的には対数関数log（ｒ）やべき乗関数ｒt（０＜ｔ＜１）を例示できる。特定寸法ｒは、上述した通り、例えば円形標識の推定される半径や方形標識又は菱形標識の推定される一辺の長さである。
【００２２】
好ましい関数Ｗ(ｒ)は、下記数１で表される。
【数１】
Ａ1：増幅率
Ａ2：特定寸法ｒに対する閾値
Ａ3：重みＷに対する閾値
ここで、重みＷを上述した0.05〜0.35の範囲に収めるとした場合、Ａ1は0.05〜0.40、Ａ2は4.0〜8.0、Ａ3は0.01〜0.30の範囲で設定することが好適である。
【００２３】
交通標識がかなり遠方にある場合の追跡画像Ｔに含まれる特徴情報CIは少なく、むしろ不要な情報（ノイズ）が多く、拡大された判別画像Ｄ'に合成することが好ましくなくなる。特定寸法に対する閾値Ａ2は、特定寸法ｒに基づいて、不要な情報が多いと考えられる小さな追跡画像Ｔを、拡大された判別画像Ｄ'との合成から除外するための閾値である。この結果、log（ｒ−Ａ2）が小さくなりすぎる虞があるため、増幅率Ａ1により前記log（ｒ−Ａ2）の値を増加させ、更に重みＷに対する閾値Ａ3を減算することにより前記増幅率Ａ1による過剰な増分を調整する。ここで、重みＷは１未満の正の値でなければならないため、特定寸法ｒが閾値Ａ2より小さかったり、重みＷに対する閾値Ａ3の減算によりＷ（ｒ）が負の値になれば、追跡画像Ｔと拡大された判別画像Ｄ'との合成をすることなく、前記追跡画像Ｔを新たな判別画像Ｄとして一時記憶させるとよい。
【発明の効果】
【００２４】
本発明は、まず交通標識を早い時点で認識できる効果を有する。これらは、過去に抽出された追跡画像Ｔの特徴情報CIを蓄積した判別画像Ｄに基づいて交通標識を認識することによる効果である。前記判別画像Ｄは、過去に抽出された追跡画像Ｔの特徴情報CIを蓄積しているため、同じ解像度の追跡画像Ｔに比べてこの判別画像Ｄを用いた交通標識の認識精度は高く、例えば追跡画像Ｔから交通標識を認識できない場合でも、その追跡画像Ｔを合成して得られる新たな判別画像Ｄによれば、交通標識を認識できることになる。これは、早い時点での交通標識の高精度な認識という効果に繋がる。
【００２５】
また、過去に抽出された追跡画像Ｔの特徴情報CIを蓄積した判別画像Ｄに基づいて交通標識を認識することにより、例えば街路樹等に見え隠れする交通標識でも認識可能にする効果が得られる。従来同種の交通標識認識方法は、取得した静止画像Ｓ又はこの静止画像Ｓから抽出した追跡画像Ｔのみを用いて交通標識を認識していたため、静止画像Ｓ又は追跡画像Ｔ中の交通標識に街路樹等の障害物が重なっていると交通標識が認識できないことも少なくなかった。しかし、本発明が交通標識に用いる判別画像Ｄは、過去に抽出された追跡画像Ｔを合成していく判別画像Ｄを用いて交通標識を認識するため、個々の追跡画像Ｔそれぞれが含む障害物の影響を低減できるほか、障害物の影響がない部分での特徴情報CIを高め、交通標識の認識を可能にしている。
【００２６】
このほか、本発明は抽出された追跡画像Ｔの利用態様を提案するものであり、従来公知の各種交通標識認識方法と併用できる。すなわち、本発明における静止画像Ｓの取得方法、追跡画像Ｔの抽出方法及び判別画像Ｄを用いた認識方法は、従来公知の各種方法を用いることができる。これは、本発明の汎用性を意味する。こうして、本発明は従来公知の各種交通標識認識方法に適用されることにより、実用的な交通標識認識方法を確立する効果を有する。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態について図を参照しながら説明する。図１は本発明を適用した交通標識認識システムの概略構成を表すブロック図、図２は本例の交通標識認識システムを搭載した自動車５を表した使用状態参考図、図３は交通標識認識システムにおける処理手順を表したフローチャート、図４は静止画Ｓの一例を表す参考図、図５は静止画Ｓから抽出した追跡画像Ｔを表す参考図、図６は追跡画像Ｔに対して判別画像Ｄを拡大する処理を模式的に表した参考図、図７は追跡画像Ｔと拡大された判別画像Ｄ'とを合成する処理を模式的に表した参考図、図８は参考画像（ａ）の特定色抽出画像から抽出される輪郭ベクトル画像（ｂ）（ｃ）と輪郭ベクトルを連続的にトレースした輪郭トレース画像（ｄ）を表す参考図である。本例は、自動車５の進行方向前方をカメラにより撮影した動画像Ｖから、この自動車５の進行方向前方にある交通標識６を認識する交通標識認識システムを構成した例である。
【００２８】
交通標識認識システムは、例えば図1に見られるように、カメラ11、車載コンピュータ２、ハードディスク３及びディスプレイ４により構成される。カメラ11は、動画像Ｖを撮影する動画カメラであり、例えば図２に見られるように、自動車５の屋根に搭載して、この自動車５の進行方向前方の風景を常時撮影する。ハードディスク３は、大量のデータを永続的に記憶させる外部記憶装置であり、交通標識６の特徴情報CIから構成されるデータベースや、ディスプレイ４に表示させる地図データを記憶させている。磁気的外部記憶装置であるハードディスク３に代えて、光学的外部記憶装置であるDVD-ROM等の外部記憶装置を用いてもよいし、例えば無線接続のインターネットを介して、自動車外のサーバからデータを逐次入手してもよい。
【００２９】
車載コンピュータ２は、CPU等からなる処理部26とメモリ25とから構成される。処理部26は、本発明に基づく処理手順を実現する処理プログラムを実行することにより、機能的な静止画像抽出手段21、追跡画像抽出手段22、画像合成手段23及び標識認識手段24に分けることができる。処理プログラムは、例えばハードディスク３に記憶させ、交通標識認識システムの起動により車載コンピュータ２の処理部26に読み出して実行させる。処理プログラムの実行によりソフト的に構成される前記各手段は、仕様変更に対応しやすい汎用性を備えるが、処理時間の短縮や装置構成の小型化を図る場合、前記各手段をハード的に構成してもよい。
【００３０】
静止画像抽出手段21は、カメラ11から動画像Ｖを取り込み、この動画像Ｖからフレーム単位の静止画像Ｓを抽出する。追跡画像抽出手段22は、静止画像抽出手段21から静止画像Ｓを取り込み、この静止画像Ｓから交通標識６を含む追跡画像Ｔを抽出する。カメラ11に代えて、例えば静止画カメラ等のカメラ12（図１参照）を用いて直接静止画像Ｓを追跡画像抽出手段22に取り込んでもよい。この追跡画像Ｔが最初の静止画像Ｓから抽出された最初の追跡画像Ｔであれば、メモリ25に一時記憶させる。画像合成手段23は、２番目以降の静止画像Ｓから抽出された２番目以降の追跡画像Ｔを追跡画像抽出手段22から抽出し、この追跡画像Ｔと先に一時記憶されている判別画像Ｄとを合成して新たな判別画像Ｄを生成し、この判別画像Ｄをメモリ25に一時記憶させる。標識認識手段24は、画像合成手段23から生成された新たな判別画像Ｄを取り込み、従来公知の各種方法により判別画像Ｄから特徴情報CIを抽出し、この特徴情報CIをハードディスク３に記憶させたデータベースの特徴情報CIと突き合わせて交通標識６を認識する。そしてディスプレイ４は、標識認識手段24により認識された交通標識６の画像データをハードディスク３のデータベースから取り出し、例えば地図データに合成して表示させる。
【００３１】
本例の交通標識認識システムは、例えば図３に見られる処理手順に従って、動画像Ｖ中の交通標識６を認識する。便宜上、動画像Ｖ中に１つの交通標識６が現われた場合について説明する。複数の交通標識６が現われた場合（図４及び図５参照）は、以下の処理手順が並列的に実行される。まず、処理手順の最初にカウンタｎがリセットされ、カメラ11（図１参照。以下、同じ）が取り込んだ動画像Ｖから静止画像抽出手段21が最初の静止画像Ｓ1を抽出し、この静止画像Ｓ1から追跡画像抽出手段22が最初の追跡画像Ｔ1を抽出する。ここで、最初の追跡画像Ｔ1が抽出されなければ、この処理手順を終了し、改めてカウンタｎをリセットして次の処理手順を開始する。
【００３２】
追跡画像Ｔの抽出は、従来公知の各種方法を用いることができるが、各静止画像Ｓから交通標識のみを含む画像を抽出する方法と、全静止画像Ｓにわたって同一の交通標識を含む前記画像を抽出する方法とが必要となる。まず、各静止画像Ｓから特定の交通標識のみを含む画像を抽出する方法として、領域限定を用いた抽出手法（「特定色判別と領域限定を用いた円形交通標識の抽出（松浦大祐，山内仁，高橋浩光）」，電子情報通信学会論文誌D-II，Vol.J85-D-II，No.6，1075〜1083頁，June 2002.）を例示できる。この領域限定を用いた抽出手法は、１）RGB減算法を用いた特定色抽出手順、２）交通標識が存在しうる画像領域を特定し、後段の形状判別手順の対象領域を削減する探索領域限定手順、そして３）円形、菱形等、交通標識に用いられている形状判別手順から構成されている。
【００３３】
特定色抽出手順に用いるRGB減算法は、輝度成分への寄与率が高い緑色成分を赤色成分から減算して赤色成分又は黄色成分を、また同じく前記緑色成分を青色成分から減算して青色成分を抽出する手法である。ここで、赤色成分及び黄色成分は、元の赤色成分から緑色成分を減算した値の大小で区別され、前記値が大きい場合が赤色成分、逆に前記値が小さい場合が黄色成分として区別される。このRGB減算法は、一般的に用いられるHSL変換等に比べて、演算量が小さく、高速に特定色を抽出できるほか、緑色成分を減算することで例えば空等が白色に撮影されている場合でも、前記白色を除去できる利点がある。
【００３４】
上記RGB減算法によって抽出された赤色成分、緑色成分、青色成分及び黄色成分の各特定色抽出画像は階調を有する濃淡画像であるため、閾値処理を施してそれぞれ2値化画像とし、例えば図４に見られるように、続く軽減及び形状判別手順で利用する。ここで、特定色抽出画像には１〜２画素程度の孤立画素から構成される微小なノイズが含まれていることがある。こうしたノイズは、注目画素を中心とした３×３画素内に含まれる有効画素数の閾値処理により、注目画素を除去又は追加する簡便なフィルタ処理をして、処理時間の大幅な増加を抑えながら、除去するとよい。
【００３５】
軽減は、交通標識が特定形状の組み合せで表されることを利用する。交通標識を含む領域では、交通標識を表す特定形状が水平ライン又は垂直ライン上に一定値以上の有効画素数を有する。これから、有効画素数が前記一定値に満たない水平ライン又は垂直ラインを、交通標識を探す領域＝探索領域から除外できる。また、前記探索領域の幅又は高さが、抽出しようとしている交通標識の大きさより小さければ、その探索領域内に交通標識は存在しえないため、前記探索領域を除外できる。こうした探索領域からの除外を特定色抽出画像のすべてに実施すれば、交通標識を探索する範囲が限定される。ここで、１回の探索領域からの除外では、特定色抽出画像内に存在する他の交通標識や同系色物体の影響により、必ずしも抽出しようとしている交通標識のみを残すことができない。このため、探索領域からの除外は２回以上実施し、余分な領域を除去するとよい。
【００３６】
形状判別手順は、上記軽減で限定された探索領域に対して、交通標識の外形である円形図形又は多角形図形を判別する。例えば円形図形の交通標識の場合、前記探索領域のエッジ探索による中心座標の仮決定と、前記中心座標を中心とする円形図形の半径の円周上の画素数の閾値処理により、円形図形の存在を判定する。また、菱形図形をはじめとする多角形図形の交通標識の場合、円形図形と同様に中心座標を仮決定し、前記中心座標から上下方向又は左右方向へ走査してエッジ探索して中心位置を決定した後、得られたエッジ間の距離を基にした外郭部分の外周及び内周を走査して有効画素数を計数し、更に閾値処理によって多角形図形の存在を判定する。ここで、交通標識と同形状の看板等を選別するため、限定された探索領域内における各特定色の面積比率を算出し、交通標識ならばあり得ない比率が算出された場合、その探索領域を除外する。
【００３７】
このように、特定色抽出手順、探索領域限定手順、そして形状判別手順からなる領域限定を用いた抽出手法により、例えば図５に見られるように、各静止画像Ｓnから交通標識のみを含む画像を追跡画像Ｔnとして抽出できる。しかし、全静止画像Ｓnについて毎回同様の手順を経て追跡画像Ｔnを抽出するのは、処理時間がかかりすぎるし、各静止画像Ｓnから抽出した追跡画像Ｔnが同一の交通標識を含む画像か否かを別途判断しなければならない。そこで、全静止画像Ｓnにわたって同一の交通標識を含む前記画像を抽出する方法として、CONDENSATION（「CONDENSATION - Conditional Density Propagation for Visual Tracking（Michael Isard, and Andrew Blake）」" International Journal of Computer Vision,Vol. 29, No. １, ５〜28頁, 1998.）を用い、最初に抽出された追跡画像Ｔ1を利用して、2番目以降の追跡画像Ｔn（ｎは２以上の整数、以下同じ）を効率的に抽出するとよい。
【００３８】
CONDENSATIONは、ある画像から抽出する特定領域が複数のパラメータによって表現可能であるとき、直前に抽出された画像におけるパラメータ値を中心とした多次元の正規分布を想定し、その分布に従った複数のパラメータ候補群から最も評価値の高いものをその時点におけるパラメータ値として決定する手法である。ここで、CONDENSATIONを利用するには、パラメータ候補群の評価を適切にする必要がある。これから、静止画像Ｓから追跡画像Ｔを抽出する本発明の場合、初期抽出段階で判明する円形、菱形等の標識の形状及び特定色をパラメータ値として設定する。
【００３９】
例えば赤色を主体とする円形標識であれば、CONDENSATIONによって推定するパラメータは、標識の形状である円を表現するのに必要な座標（ｘ、ｙ）及び半径（特定寸法）ｒを用いることができる。この場合、CONDENSATIONによって生成されたパラメータ値の番号をｋとしたとき、それぞれのパラメータ値を（xk、yk、rk）と表すことができる。生成されたパラメータ値の評価値Ekは、対象標識の外周部分が赤色円形であることから、PR（ｘ、ｙ）を中心座標（ｘ、ｙ）における赤色の画素値、ｎを円周の分割数、cをエッジ強度を補正する重みとして、下記数２により求めることができる。
【００４０】
【数２】
【００４１】
上記数２より算出される評価値Ekが大きな値となったとき、前記評価値Ekを算出する基礎となったパラメータ値で表される探索領域が、赤色円形の最外周部である可能性が高いと推定される。これから、各静止画像Ｓ毎に最も評価値Ekの高い探索領域を抽出すれば、最初に抽出した追跡画像Ｔ1と同じ交通標識を含む２番目以降の追跡画像Ｔnを得ることができる。
【００４２】
このようにして最初の静止画像Ｓ1から抽出された最初の追跡画像Ｔ1は、新たな判別画像Ｄとしてメモリ25に一時記憶される。本例では、処理手順の共通化の観点から前記判別画像Ｄから標識認識手段24が特徴情報CIを生成し、ハードディスク３のデータベースの特徴データと前記特徴情報CIとを突き合わせて、交通標識の認識を試みる。本発明は、過去の追跡画像Ｔを重ね合わせた判別画像Ｄを用いて認識精度を向上させるので、前記判別画像Ｄから特徴情報CIを抽出することなく、次の処理手順に移ってもよい。判別画像Ｄから特徴情報CIを抽出する方法については、後述する。
【００４３】
こうして最初の追跡画像Ｔ1から判別画像Ｄが得られると、カウンタｎを１だけ増分して処理手順の最初に戻り、カメラ11が取り込んだ動画像Ｖから静止画像抽出手段21が２番目の静止画像Ｓ2を抽出し、この静止画像Ｓ2から追跡画像抽出手段22が2番目の追跡画像Ｔ2を抽出する。そして、画像合成手段23により、先に一時記憶されている判別画像Ｄと前記２番目の追跡画像Ｔ2とを合成して新たな判別画像Ｄを取得し、更に標識認識手段24により、前記新たな判別画像Ｄから抽出される特徴情報CIに基づいて、追跡画像Ｔ2が含む交通標識を判別する。
【００４４】
画像合成手段23は、一時記憶されている判別画像Ｄと２番目の追跡画像Ｔ2とを合成するため、まず判別画像Ｄを追跡画像Ｔ2に合わせて拡大する。本例では、例えば図６に見られるように、追跡画像Ｔを抽出する際、CONDENSATIONに用いた特定寸法（円形標識における半径）ｒを比較してサイズ比Ｒを算出し、このサイズ比Ｒの比率に従って一時記憶されている判別画像Ｄ'の高さ及び幅を拡大し、拡大された判別画像Ｄ'を得る。これにより、拡大された判別画像Ｄ'の解像度は、見掛け上、追跡画像Ｔと同じになるが、既述したように前記拡大された判別画像Ｄ'は特徴情報CIを有しない画素を含んでいる。この画素に対して、追跡画像Ｔの特徴情報CIを付与する処理が本発明の合成であり、この合成は、図７に見られるように、追跡画像Ｔを重みＷで、拡大された判別画像Ｄ'を重み（１−Ｗ）で合成する加重平均である。前記重みＷの範囲及び算出は既述したところにより、追跡画像Ｔ及び拡大された判別画像Ｄ'の合成は、各画像の画素単位、好ましくは各画像を変換して得られる特徴色画像の画素単位で合成する。
【００４５】
追跡画像Ｔ及び拡大された判別画像Ｄ'の合成を、模式的に説明する。説明の便宜上、追跡画像Ｔが交通標識の特徴情報CIを70％の精度で表す画素ａ（図７中、追跡画像Ｔの実線部分）と、交通標識の特徴情報CIを30％の精度で表す画素ｂ（図７中、追跡画像Ｔの破線部分）とから構成されると仮定する。また、最初の追跡画像Ｔをそのまま一時記憶させた判別画像Ｄの拡大された判別画像Ｄ'は、かなりの確率で追跡画像Ｔより特徴情報CIが少ないと考えられるので、交通標識の特徴情報CIを50％の精度で表す画素ｃ（図７中、追跡画像Ｔの実線部分）と、交通標識の特徴情報CIを20％の精度で表す画素ｄ（図７中、追跡画像Ｔの破線部分）とから構成されると仮定する。そして、特定寸法ｒから算出される重みＷが0.10であるとする。
【００４６】
この場合、追跡画像Ｔの画素ａと拡大された判別画像Ｄ'の画素ｃとが合成される部分は70％×0.10＋50％×0.90＝52％（図７中、判別画像Ｄの太線部分）、画素ｂと画素ｃとが合成される部分は30％×0.10＋50％×0.90＝48％（図７中、判別画像Ｄの実線部分）、画素ａと画素ｄとが合成される部分は70％×0.10＋20％×0.90＝25％（図７中、判別画像Ｄの実線部分）、そして画素ｂと画素ｄとが合成される部分は30％×0.10＋20％×0.90＝21％（図７中、判別画像Ｄの実線部分）の精度で特徴情報CIを表す新たな判別画像Ｄが得られることになる。追跡画像Ｔの影響により、例えば画素ｂと画素ｃとが合成される部分等、部分的に特徴情報CIが若干弱められるように見えるが、得られる新たな判別画像Ｄは全体としてより多くの特徴情報CIを有するほか、全体として特徴情報CIが平均化していることが分かる。
【００４７】
ここで、交通標識に接近した場合を考える。この場合、上記例示と同様に、追跡画像Ｔが交通標識の特徴情報CIを80％の精度で表す画素ａ（図７中、追跡画像Ｔの実線部分）と、交通標識の特徴情報CIを40％の精度で表す画素ｂ（図７中、追跡画像Ｔの破線部分）とから構成されると仮定する。また、判別画像Ｄには過去の追跡画像Ｔが有していた特徴情報CIが蓄積されることから、拡大された判別画像Ｄ'は交通標識の特徴情報CIを80％の精度で表す画素ｃ（図７中、追跡画像Ｔの実線部分）と、交通標識の特徴情報CIを60％の精度で表す画素ｄ（図７中、追跡画像Ｔの破線部分）とから構成されると仮定する。そして、特定寸法ｒから算出される重みＷが0.30であるとする。
【００４８】
この場合、追跡画像Ｔの画素ａと拡大された判別画像Ｄ'の画素ｃとが合成される部分は80％×0.30＋80％×0.70＝80％（図７中、判別画像Ｄの太線部分）、画素ｂと画素ｃとが合成される部分は40％×0.30＋80％×0.70＝68％（図７中、判別画像Ｄの実線部分）、画素ａと画素ｄとが合成される部分は80％×0.30＋60％×0.70＝66％（図７中、判別画像Ｄの実線部分）、そして画素ｂと画素ｄとが合成される部分は40％×0.30＋60％×0.70＝54％（図７中、判別画像Ｄの実線部分）の精度で特徴情報CIを表す新たな判別画像Ｄが得られることになる。この新たな判別画像Ｄも、全体としてより多くの特徴情報CIを有するほか、全体として特徴情報CIが平均化していることが分かる。
【００４９】
こうして合成された新たな判別画像Ｄを基礎に交通標識を判別する手法は、従来公知の各種手法を用いることができ、例えば多くの画像認識に見られるテンプレート・マッチングを利用してもよい。前記テンプレート・マッチングは、新たな判別画像Ｄをテンプレート画像に合わせて拡大又は縮小する必要が生じるが、本発明と異なり、拡大又は縮小された新たな判別画像Ｄに合成する追跡画像Ｔに相当する画像がないことから、拡大又は縮小された新たな判別画像Ｄはかえって特徴情報CIを希薄化させるだけで、結果として交通標識の認識精度を低下させかねない。仮に、拡大又は縮小された新たな判別画像Ｄの画質を高めるため、高度な補間処理を利用すると、処理時間が増大してしまう別の問題が生じる。
【００５０】
これから、本例では、合成された新たな判別画像Ｄを改めて拡大又は縮小することなく、前記判別画像Ｄ中の交通標識の輪郭を抽出し、抽出した輪郭を追跡して得られる輪郭ベクトルを特徴情報CIとして、予めデータベースに記憶させた交通標識の輪郭ベクトルからなる特徴情報CIとを突き合わせて、追跡画像Ｔが含む交通標識を判別する手法（「輪郭ベクトルの追跡による道路標識の認識（山内仁，高橋浩光）」、 映像情報メディア学会論文誌，Vol. 57，No. ７，847〜853頁，July 2003.）を用いている。
【００５１】
画像中の特定形状の輪郭抽出には、一般にソーベル・フィルタやラプラシアン・フィルタ等が用いられる。しかし、これらのフィルタを用いた輪郭抽出では、特定形状の輪郭点が得られるだけであり、その輪郭の内外いずれに画素値の大きな領域、すなわち特定色があるのか判別できず、交通標識の認識には不適である。そこで、前記ソーベル・フィルタを改良し、画素値の大きな領域に対して一定の位置関係を示すベクトルを抽出する手法（以下、説明の便宜上、ベクトル抽出手法と呼ぶ）を用いることとした。特定形状の輪郭は、前記ベクトルを連結していくことで抽出できるため、前記ベクトルを「輪郭ベクトル」と呼ぶことができる。
【００５２】
このベクトル抽出手法における輪郭ベクトル（ｘi,j、ｙi,j）は、座標（ｉ、ｊ）の画素において、下記数３及び数４により導かれる。
【数３】
【数４】
ここで、 （ｕi,j、ｖi,j）は座標（ｉ、ｊ）における画素値である。
【００５３】
輪郭ベクトルは、ベクトルの方向に直交する右側に画素値の大きい領域を有する。これから、算出された複数の輪郭ベクトルを右周りに連結して初期位置に到達する輪郭が抽出できれば、その輪郭の内部に画素値の大きい領域があると判別でき、逆に算出された複数の輪郭ベクトルを左周りに連結して初期位置に到達する輪郭が抽出できれば、その輪郭の外部に画素値の大きい領域があると判別できる。これを交通標識に当て嵌めて考えれば、輪郭ベクトルを連結した輪郭の内部に赤色等の特定色があるか、逆に輪郭の外部に特定色があるかが分かることになり、交通標識の認識を容易にすることが理解される。
【００５４】
実際には、特定形状の輪郭に沿った画素のみを捉えて輪郭ベクトルを算出することはできないので、判別画像Ｄの全画素について輪郭ベクトルを算出し、得られた全輪郭ベクトルの方向及び長さを相互に比較して連結する輪郭ベクトルを選択し、特定形状の輪郭のみを抽出する。この場合、輪郭を形成する輪郭ベクトルの追跡は、輪郭ベクトルの大きい画素を始点にするとよい。ここで、輪郭ベクトルの追跡は画素単位になることから、個々の画素における輪郭ベクトルの方向は隣接する画素の方向、すなわち８方向に正規化する。こうして、前記始点から正規化した方向の画素に移動する操作を、再び始点に到達する、判別画像Ｄの外部へ出る、又は輪郭ベクトルの長さが０となるまで繰り返し、輪郭ベクトルの連結されたベクトル列を得る。
【００５５】
本発明では、特定色のみで構成される交通標識を認識対象としていることから、判別画像Ｄを赤色や青色等のみからなる特定色画像に変換し、この特定色画像毎に輪郭ベクトルの追跡を実施するとよい。例えば、図８に見られるように、追い越し禁止の交通標識の参考画像（図８（а））を例にすれば、赤色抽出画像の輪郭ベクトル画像は図８（ｂ）、青色抽出画像の輪郭ベクトル画像は図８（ｃ）として表され、それぞれの輪郭ベクトルを連結的にトレースして得られる輪郭トレース画像を図８（ｄ）のように得ることができる。ここで、赤色抽出画像及び青色抽出画像の各輪郭ベクトルは、ベクトルの方向を濃淡で表現している。
【００５６】
交通標識は、単純な特定形状を異なる種類で共通して用いられており、輪郭ベクトルだけでは、より具体的な交通標識の種類を判別できない可能性が高い。これから、交通標識の認識にあたっては、輪郭ベクトルの追跡により得られるベクトル列が、判別画像Ｄ中のどの位置に存在するかが分かればよい。この場合、円形標識のように、大きさの異なる赤色の特定形状が同心円状にある場合、各特定形状を区別する必要があるため、ベクトル列としての平均位置ではなく、各輪郭ベクトルの方向毎に平均位置を取得しておくとよい。
【００５７】
輪郭を表すベクトル列は、同じ方向に連続して進行するコードの連接と考えた場合、例えばベクトル列の中で１回又は２回程度別方向を向く輪郭ベクトルはノイズ又は正規化に伴うブレと見ることができる。このノイズ又はブレを除去するには、輪郭を表すベクトル列を、正規化した輪郭ベクトルの方向と、前記輪郭ベクトルの連続長とを一組とした「ランレングス符号」とみなし、ラン長のみを少数回減少させるとよい。こうしてノイズ除去等を終えたベクトル列が、判別画像Ｄの特徴情報CIとなり、交通標識の判別は前記ベクトル列を利用する。
【００５８】
判別画像Ｄから抽出した特徴情報CIを比較する交通標識の特徴情報CIは、作成した交通標識の基準画像から輪郭ベクトル列を予め生成しておき、外部記憶に記憶させて、データベースを構築しておく。交通標識の認識は、判別画像Ｄから抽出した特徴情報CIを前記データベースに記憶させた輪郭ベクトル列との照合による。具体的な照合は、ベクトル列の平均位置と方向の一致判定である。ベクトル列の一致判定は、部分文字列の検索と同様の手法による。ここで、依然として判別画像Ｄが小さい場合、交通標識の細部が潰れて輪郭が短絡したり、障害物等による部分隠蔽のために発生した不要な輪郭等が含まれていると予想されるため、抽出されたベクトル列を小単位に分割し、分割した単位毎に一致判定するとよい。ここで、抽出された輪郭ベクトルの始点が基準画像の輪郭ベクトルの始点と一致することは期待できないため、基準画像側の輪郭ベクトルを円環状に検索する。こうして、特徴情報CIとして判別画像Ｄから抽出されたベクトル方向列長と、基準画像のベクトル方向列長の一定割合以上が一致している場合、前記基準画像の交通標識であると判定し、判別画像Ｄについての認識を完了する。
【００５９】
新たな判別画像Ｄに基づく交通標識の認識は繰り返し実行されるので、例えば認識結果が一定数以上同一で連続することから、交通標識を正しく認識できていると判断することができる。この場合、もはや判別画像Ｄについての認識は不要として、追跡画像Ｔの抽出、追跡画像Ｔ及び判別画像Ｄの合成や判別画像Ｄに基づく認識等の処理を省略するようにしてもよい。また、途中から追跡画像Ｔが抽出されなくなれば、それまで認識の対象としていた交通標識を通過したものと判断し、一時記憶されている判別画像Ｄを消去して前記同様処理手順を終了し、改めて次の処理手順を開始するとよい。
【実施例１】
【００６０】
本発明の有効性を確認するため、検証試験を実施した。カメラは、産業用イメージセンサ（SONY製DFW-VL500）を自動車に搭載し、この自動車を時速40km/hで直進させながら、晴天昼間に15fpsの動画像Ｖを取り込んだ。静止画像抽出手段、追跡画像抽出手段、画像合成手段及び画像認識手段は市販のノートパソコン（IBM製ThinkPad（登録商標）T42p）で処理プログラムを実行して構成し、前記ノートパソコンのメモリをメモリ、内蔵ハードディスクをハードディスク、そしてノートパソコンのディスプレイをディスプレイとして利用した。検証試験では、認識対象となる交通標識は、「駐車禁止」を示す規制標識（赤色円形標識）とした。また、追跡画像Ｔの抽出には上述したCONDENSATIONを、そして判別画像Ｄに含まれる交通標識の認識に際する特定色判定には「輪郭ベクトルによる道路標識認識に向けた特定色判定（山内仁，高橋浩光）」（電子情報通信学会技術研究報告，IE200488, 11〜16頁、Nov.2004．）を用いている。
【００６１】
図９は「駐車禁止」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。追跡画像Ｔと拡大された判別画像Ｄ'との重ね合わせに際して用いる重みＷ（数１参照）は、予備実験により、A1＝0.15、A2＝6.0、そしてA3＝0.025とした。静止画像Ｓは、連続する動画像Ｖから適当間隔で抽出している。すなわち、追跡画像Ｔは動画像Ｖから適当間隔で抽出される。図９では10フレーム間隔の追跡画像Ｔ及び判別画像Ｄのみを示している。また、図９中、各追跡画像Ｔ及び判別画像Ｄの並ぶ左端には、CONDENSATIONにより得られた特定寸法ｒの大きさ（ピクセル数）を記載している。更に、各追跡画像Ｔ及び判別画像Ｄの下段には、認識された交通標識の名称と、各追跡画像Ｔ及び判別画像Ｄの各前後10フレームにおいて交通標識を正しく認識できた割合の数値とを、それぞれ認識結果として記載している。
【００６２】
同一時点（特定寸法ｒが同じ時点）の追跡画像Ｔ及び判別画像Ｄを視覚的に比較すると、追跡画像Ｔは解像度の低い静止画像Ｓの特徴情報CIをそのまま有しているのみのため、個々の画素が強調された形となっているのに対して、判別画像Ｄは個々の画素が相互に干渉し、滑らかな画像となっていることが分かる。これは、判別画像Ｄの全体に特徴情報CIが平均化されて蓄積されていることを視覚的に示しているものと考えられる。
【００６３】
また、追跡画像Ｔ及び判別画像Ｄの認識結果を比較すると、追跡画像Ｔに基づく認識では、特定寸法ｒが9.94、13.72及び16.08の場合に正しく交通標識を認識しているものの、特定寸法ｒが11.30及び11.91の場合に誤っており、交通標識を安定して認識していると言い難い。これに対して、判別画像Ｄに基づく認識では、特定寸法ｒが9.94以降のいずれの段階でも、すなわちこの検証試験における最初から、すべて正しく認識できており、また安定して認識できている。これから、本発明の交通標識認識方法は、ロバスト性の高い認識方法であることが確認できる。
【００６４】
更に、追跡画像Ｔ及び判別画像Ｄの認識率を比較すると、追跡画像Ｔの認識では、特定寸法ｒが9.94の段階で一度高い値を示しながら、一旦認識率の低下が見られ、安定した正しい認識結果が得られるのは特定寸法ｒが13.72になった以降である。これに対して、判別画像Ｄの認識では、いずれの段階においても８割以上の認識率を安定的に示している。これから、本発明の交通標識認識方法は、信頼性の高い認識方法であることが確認できる。
【実施例２】
【００６５】
次に、上記検証試験で認識対象とした「駐車禁止」を示す規制標識に代えて、数字表記を含む「40km/h制限」を示す規制標識を認識対象として、同様な検証試験を実施した。図10は「40km/h制限」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。図10中、追跡画像Ｔ及び判別画像Ｄは動画像Ｖの20フレーム間隔である。この検証試験では、上記検証試験（実施例１）に比べて、光線条件が比較的悪い状況下で実施した。このため、追跡画像Ｔの認識は、認識率が大きく変化しており、安定的とは言い難い。それに対して、判別画像Ｄの認識では、前記光線条件の影響もあり、上記検証試験には及ばないものの、特定寸法ｒが11.78以降に比較的高い認識率を示している。これから、本発明の交通標識認識方法は、ロバスト性が高く、また信頼性の高い認識方法であることが確認できる。
【実施例３】
【００６６】
最後に、交通標識が街路樹や他の交通標識等によって見え隠れしている場合における検証試験を実施した。図11は街路樹や他の交通標識等によって見え隠れしている「追い越し禁止」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図であり、図12はこの検証試験における特定寸法ｒ及び認識率の相関図である。この検証試験は、自動車の進行方向が 左側に曲がり、道路左側の歩道上に設置されている「追越禁止」の交通標識が手前側の街路樹の幹や他の交通標識によって見え隠れする場合の追跡画像Ｔ及び判別画像Ｄを比較している。この検証試験では， 追跡画像Ｔ及び判別画像Ｄの合成に際する重みＷ（数1参照）におけるA1＝0.20、A2＝6.00、そしてA3＝0.10としている。図11から明らかなように、追跡画像Ｔのみの場合は認識できない又は誤認識しているが、判別画像Ｄでは正しく「追越禁止」を認識していることが確認できる。また，判別画像Ｄについては認識率も高く，本発明が障害物によって見え隠れする交通標識の認識について、非常に有効であることが分かる。
【００６７】
この検証試験の結果を、特定寸法（半径）ｒ及び認識率の相関によって示すと、図12に見られるように、追跡画像Ｔ及び判別画像Ｄのいずれとも特定寸法（半径）ｒが大きくなるほど認識率が向上する傾向は同じであるが、全般的に判別画像Ｄの認識率が高く、特に障害物によって交通標識が見え隠れした特定寸法（半径）ｒ＝14〜19ピクセルの範囲では特に判別画像Ｄの認識率が追跡画像Ｔの認識率に大きく差をつけている。このように、相関図からも、本発明が見え隠れする交通標識の認識に有効であることが確認される。以上の結果より，本発明は，交通標識を早期に正しくかつ安定して認識し，高い信頼性を有することに加え、見え隠れする交通標識でも誤認識が少ない交通標識認識方法を提供するものと言える。
【図面の簡単な説明】
【００６８】
【図１】本発明を適用した交通標識認識システムの概略構成を表すブロック図である。
【図２】本例の交通標識認識システムを搭載した自動車を表した使用状態参考図である。
【図３】交通標識認識システムにおける処理手順を表したフローチャートである。
【図４】静止画Ｓの一例を表す参考図である。
【図５】静止画Ｓから抽出した追跡画像Ｔを表す参考図である。
【図６】追跡画像Ｔに対して判別画像Ｄを拡大する処理を模式的に表した参考図である。
【図７】追跡画像Ｔと拡大された判別画像Ｄ'とを合成する処理を模式的に表した参考図である。
【図８】参考画像（ａ）の特定色抽出画像から抽出される輪郭ベクトル画像（ｂ）（ｃ）と輪郭ベクトルを連続的にトレースした輪郭トレース画像（ｄ）を表す参考図である。
【図９】「駐車禁止」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。
【図１０】「40km/h制限」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。
【図１１】街路樹や他の交通標識等によって見え隠れしている「追い越し禁止」を示す規制標識の検証試験における追跡画像Ｔ及び判別画像Ｄと各画像の認識結果を表す参考図である。
【図１２】検証試験における特定寸法ｒ及び認識率の相関図である。
【符号の説明】
【００６９】
11 カメラ（動画カメラ）
12 カメラ（静止画カメラ）
２ 車載コンピュータ
21 静止画像抽出手段
22 追跡画像抽出手段
23 画像合成手段
24 標識認識手段
25 メモリ
26 処理部
３ ハードディスク
４ ディスプレイ
５ 自動車
６ 交通標識
【特許請求の範囲】
【請求項１】
乗り物の進行方向前方をカメラにより撮影した時系列に並ぶ静止画像Ｓに含まれる交通標識を認識する標識認識方法において、
最初の静止画像Ｓから交通標識のみを含む最初の追跡画像Ｔを抽出し、この最初の追跡画像Ｔを判別画像Ｄとして一時記憶し、２番目以降の静止画像Ｓから２番目以降の追跡画像Ｔを抽出し、この２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとを合成した新たな判別画像Ｄを一時記憶し、前記新たな判別画像Ｄから抽出した特徴情報CIに基づいて乗り物の進行方向前方にある交通標識を認識することを特徴とする交通標識認識方法。
【請求項２】
静止画像Ｓは、乗り物の進行方向前方をカメラにより撮影した動画像Ｖからフレーム単位で抽出される請求項１記載の交通標識認識方法。
【請求項３】
新たな判別画像Ｄは、２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとのサイズ比Ｒを算出し、前記一時記憶されている判別画像Ｄを前記サイズ比Ｒにより拡大された判別画像Ｄ'を生成し、追跡画像Ｔを重みＷ、前記拡大された判別画像Ｄ'を重み（１−Ｗ）の割合で合成して得られる請求項１又は２記載の交通標識認識方法。
【請求項４】
重みＷは、0.5より小さい範囲で、追跡画像Ｔ中の特定寸法ｒについて単調増加する値である請求項３記載の交通標識認識方法。
【請求項５】
重みＷは、追跡画像Ｔ中の特定寸法ｒを変数とする関数Ｗ(ｒ)であり、
dＷ(ｒ)/dｒ＞０、d2Ｗ(ｒ)/dｒ2＜０
である請求項３又は４いずれか記載の交通標識認識方法。
【請求項６】
関数Ｗ(ｒ)は、下記数1で表される請求項５記載の交通標識認識方法。
【数１】
Ａ1：増幅率
Ａ2：特定寸法ｒに対する閾値
Ａ3：重みＷに対する閾値
【請求項１】
乗り物の進行方向前方をカメラにより撮影した時系列に並ぶ静止画像Ｓに含まれる交通標識を認識する標識認識方法において、
最初の静止画像Ｓから交通標識のみを含む最初の追跡画像Ｔを抽出し、この最初の追跡画像Ｔを判別画像Ｄとして一時記憶し、２番目以降の静止画像Ｓから２番目以降の追跡画像Ｔを抽出し、この２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとを合成した新たな判別画像Ｄを一時記憶し、前記新たな判別画像Ｄから抽出した特徴情報CIに基づいて乗り物の進行方向前方にある交通標識を認識することを特徴とする交通標識認識方法。
【請求項２】
静止画像Ｓは、乗り物の進行方向前方をカメラにより撮影した動画像Ｖからフレーム単位で抽出される請求項１記載の交通標識認識方法。
【請求項３】
新たな判別画像Ｄは、２番目以降の追跡画像Ｔと先に一時記憶されている判別画像Ｄとのサイズ比Ｒを算出し、前記一時記憶されている判別画像Ｄを前記サイズ比Ｒにより拡大された判別画像Ｄ'を生成し、追跡画像Ｔを重みＷ、前記拡大された判別画像Ｄ'を重み（１−Ｗ）の割合で合成して得られる請求項１又は２記載の交通標識認識方法。
【請求項４】
重みＷは、0.5より小さい範囲で、追跡画像Ｔ中の特定寸法ｒについて単調増加する値である請求項３記載の交通標識認識方法。
【請求項５】
重みＷは、追跡画像Ｔ中の特定寸法ｒを変数とする関数Ｗ(ｒ)であり、
dＷ(ｒ)/dｒ＞０、d2Ｗ(ｒ)/dｒ2＜０
である請求項３又は４いずれか記載の交通標識認識方法。
【請求項６】
関数Ｗ(ｒ)は、下記数1で表される請求項５記載の交通標識認識方法。
【数１】
Ａ1：増幅率
Ａ2：特定寸法ｒに対する閾値
Ａ3：重みＷに対する閾値
【図１】
【図２】
【図３】
【図６】
【図７】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図６】
【図７】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−１４０８２８（Ｐ２００７−１４０８２８Ａ）
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願番号】特願２００５−３３２７５８（Ｐ２００５−３３２７５８）
【出願日】平成１７年１１月１７日（２００５．１１．１７）
【出願人】（５９１０６０９８０）岡山県 (96)
【Ｆターム（参考）】
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願日】平成１７年１１月１７日（２００５．１１．１７）
【出願人】（５９１０６０９８０）岡山県 (96)
【Ｆターム（参考）】
[ Back to top ]