標識認識装置及び標識認識方法
【課題】認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、その標識の内容を的確かつ比較的容易に認識することができる標識認識装置及び方法を提供すること。
【解決手段】標識認識装置１００は、発光体標識照合部１１２と、非発光体標識照合部１１３と、候補領域画像の輝度分布に基づいて、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価部１０４と、候補領域画像が発光体標識と判断された場合には発光体標識照合部１１２で照合を行わせ、候補領域画像が非発光体標識と判断された場合には非発光体標識照合部１１３で照合を行わせる照合制御部１０５とを有する。
【解決手段】標識認識装置１００は、発光体標識照合部１１２と、非発光体標識照合部１１３と、候補領域画像の輝度分布に基づいて、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価部１０４と、候補領域画像が発光体標識と判断された場合には発光体標識照合部１１２で照合を行わせ、候補領域画像が非発光体標識と判断された場合には非発光体標識照合部１１３で照合を行わせる照合制御部１０５とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標識認識装置及び標識認識方法に関し、例えば道路交通標識の内容を認識するのに用いて好適な装置及び方法に関する。
【背景技術】
【０００２】
従来、車両に搭載されたカメラによって道路状況を撮像し、それによって得られた画像に基づいて、運転を支援したり、車両を制御することが考えられている。
【０００３】
この場合、カメラで撮像された画像に所定を施すことで画像中に存在する道路交通標識、案内看板、信号機などを検出し、検出した標識や看板の内容メッセージを認識することは、非常に重要なことである。
【０００４】
このような認識技術として、例えば特許文献１などに開示された方法がある。特許文献１に記載された技術は、例えば制限速度標識を認識する場合、まずカラーカメラ画像の色に基づいて標識の候補領域を特定する。次に、特定した候補領域の形状が円形かを識別し、円形である場合、内部分割数、赤領域面積比、円形度などを順番に求め、全てが速度制限標識の条件を満たした場合、パターンマッチングを実行することで制限速度標識を認識する。
【０００５】
ところで、近年、各種標識や信号機として、発光体、とりわけ発光ダイオード(以下「ＬＥＤ」という）を多数利用し、ＬＥＤを特定の形状に配置して構成された標識や信号機が増えている。従って、発光体によって構成された標識や信号機の認識も必要となってきている。
【０００６】
ＬＥＤ信号機の検出装置としては、特許文献２に開示されたものがある。特許文献２に記載された技術は、画像内における色及び形状に基づいて信号機の候補領域を検出し、検出した候補領域が所定周期で点滅しているかを判断することで、ＬＥＤ信号機の存在を検出するものである。
【特許文献１】特開平９−１８５７０３号公報
【特許文献２】特開２００５−３０１５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１のような手法は、発光体標識には適用が困難である。その理由は、色による候補領域の検出を形状検出の手法で代替できるとしても、円形検出後に必要な赤領域面積比計算とパターンマッチング処理を実施するのが困難だからである。
【０００８】
詳しく説明する。図１０Ａに非発光体制限速度標識、図１０Ｂに発光体制限速度標識のグレースケール画像が示されている。非発光体標識の場合は、数字部分が青色で、数字部分の背景が白色で、環状部分が赤色である。
【０００９】
一方、発光体標識の場合は、数字部分がＬＥＤの発光色であるオレンジなどで、背景相当部分が消灯中のＬＥＤの黒色で、環状部分があれば赤色である。赤色環状部分のない発光体標識も存在する。従って、赤領域面積比を例えば輝度の相対的明るさで計算するなどの工夫をしても、発光体標識を認識できない場合もある。
【００１０】
また、特許文献２のような技術は、ＬＥＤ発光体を撮像した画像における周期的点滅特性を利用する。点滅特性は使われた交流電源の正負波形に起因するが、通常、交流電源が全波整流されて使われるため、点灯と消灯の時間比は固定でない。つまり、場所によって点灯と消灯の時間比が異なることもよくある。結果として、特定フレーム率、例えば３０ＦＰＳ（Frame Per Second）のカメラで撮像した画像では、ＬＥＤの点滅周期が一定でなく、数フレーム或いは数十フレームに亘って検出できない場合もある。
【００１１】
本発明は、かかる点を考慮してなされたものであり、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、その標識の内容を的確かつ比較的容易に認識することができる標識認識装置及び方法を提供する。
【課題を解決するための手段】
【００１２】
本発明の標識認識装置は、撮像画像から標識の候補領域画像を抽出する候補領域抽出手段と、前記候補領域画像の輝度分布に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価手段と、前記候補領域画像と、複数の標識に対応した複数のテンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する照合手段と、前記候補領域画像が発光体標識と判断されたかあるいは非発光体標識と判断されたかに基づいて、前記照合手段を制御する照合制御手段と、を具備する構成を採る。
【発明の効果】
【００１３】
本発明によれば、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを候補領域画像の輝度分布に基づいて判断し、発光体標識と判断された場合と非発光体標識と判断された場合とで照合処理を変更したことにより、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、その標識の内容を的確かつ比較的容易に認識することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。以下の実施の形態では、本発明の標識認識装置及び方法を、道路交通標識を認識する場合に適用した例を示す。
【００１５】
（実施の形態１）
図１に、本発明の実施の形態１に係る標識認識装置の構成を示す。標識認識装置１００は、自動車等の車両に搭載されている。
【００１６】
標識認識装置１００は、候補領域抽出部１０１に入力画像を入力する。入力画像は、車に搭載されたカメラによってリアルタイムに撮像された車両周辺の画像である。また入力画像は、事前に記憶装置に保存された画像であってもよい。
【００１７】
候補領域抽出部１０１は、入力画像から特定の形状、例えば三角形や円を含む画像を抽出し、これを標識の候補領域画像として出力する。具体的には、入力画像に含まれる多数の物体画像から標識と予想される画像領域を候補領域画像として抽出する。例えば、逆三角形を一時停止標識の候補、円を制限速度標識の候補として抽出する。なお、形状の抽出は、ハフ変換や色を利用した手法など公知の手法で実現できるため、ここでの詳しい説明は省略する。
【００１８】
候補領域調整部１０２は、候補領域画像のサイズ、向き、形状などを調整（正規化）する。具体的には、候補領域調整部１０２は、候補領域画像を、標準テンプレートデータベース１０６に格納された標準テンプレートと照合し易い画像に調整する。例えば、候補領域画像を、テンプレートと同一サイズ、同一向き及び又は同一形状に変換する。変換の手法としては、アフィン変換など公知の手法を利用できる。候補領域調整部１０２は、調整された候補領域画像Ｓ１１を候補領域調整部１０３及び輝度分布評価部１０４に送出する。
【００１９】
候補領域調整部１０３は、サイズ、向き、形状などが調整された候補領域画像Ｓ１１を入力し、この候補領域画像Ｓ１１の輝度を調整することで、ノイズ成分を抑圧する。すなわち、通常、交通標識は２色又は３色しか有しないので、候補領域画像Ｓ１１の輝度を２値又は３値画像にした方がノイズの影響を抑えることができ、続く照合部１１０での照合精度を向上させることができる。候補領域調整部１０３は、輝度が調整された候補領域画像Ｓ１２を照合部１１０に送出する。
【００２０】
輝度分布評価部１０４は、候補領域画像Ｓ１１の輝度分布を計算し、輝度分布の特徴に基づき、候補領域画像Ｓ１１が発光体標識候補かあるいは非発光体標識候補かを判断する。
【００２１】
ここで、本発明の発明者らは、発光体標識の輝度分布と、非発光体標識の輝度分布とに以下のような特徴があることに着目した。図２は輝度分布のヒストグラムである。図２Ａは発光体標識の輝度分布を示し、図２Ｂ及び図２Ｃは非発光体標識の輝度分布を示す。横軸は２５６段階に分けた輝度を示し、縦軸は各輝度の度数（画素数）を示す。なお、図２Ｂは周囲の明るさが普通の場合の非発光体標識の輝度分布であり、図２Ｃは周囲の明るさが非常に明るい場合の非発光体標識の輝度分布である。
【００２２】
［発光体標識の輝度分布の特徴］
・２つの明確なピークが存在する（換言すれば、２つのピークとそれ以外のピークとの度数の差が所定の閾値以上である）
・ピーク間の幅が、非発光体標識のピーク間の幅よりも広い
・分布範囲が、非発光体標識の分布範囲よりも広い
・分布範囲が、全輝度範囲の半分以上に亘る
・分布が、非発光体標識の分布よりも高輝度側及び低輝度側の両端に集中する
【００２３】
［非発光体標識の輝度分布の特徴］
・２つの明確なピークが存在しない（換言すれば、２つのピークとそれ以外のピークとの度数の差が所定の閾値未満である）
・ピーク間の幅が、発光体標識のピーク間の幅よりも狭い
・分布範囲が、発光体標識の分布範囲よりも狭い
・分布範囲が、全輝度範囲の半分以上に亘らない場合がある
・分布が、発光体標識の分布よりも高輝度側及び低輝度側の両端に集中しない
【００２４】
輝度分布の特徴が、発光体標識と非発光体標識とで、上述したように分かれる原因は、発光体標識の輝度が発光体部分（点灯中ＬＥＤ）と非反射材（消灯中ＬＥＤ）に依存するのに対して、非発光体標識の輝度が反射材（ペント）に依存するからである。因みに、発光体標識の輝度分布における、ピークＰ１は消灯中ＬＥＤの輝度に依存するピークであり、ピークＰ２は点灯中ＬＥＤの輝度に依存するピークである。
【００２５】
輝度分布評価部１０４は、上述した発光体標識の輝度分布と非発光体標識の輝度分布との特徴の違いを基準として、候補領域画像Ｓ１１が発光体標識の画像かあるいは非発光体標識の画像かを判断する。
【００２６】
ここで、上述した基準のうちどの基準を用いるかは適宜選択してよい。要は、候補領域画像の輝度分布ヒストグラムにおける、ピークレベル、ピーク間の距離、輝度分布範囲、及び又は、高輝度側と低輝度側とへの集中度に基づいて、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断すればよい。
【００２７】
本実施の形態の場合には、２つの明確なピークが存在し、かつピーク間の幅が所定値以上の場合に、発光体標識であり、それ以外は非発光体標識であると判断するようになっている。図２Ａの例では、輝度が略１０１であるピークＰ１の度数が略１２０であり、輝度が略２５５であるピークＰ２の度数が略８０である。そして、ピークＰ１、Ｐ２以外のピークの度数がピークＰ１、Ｐ２の度数よりも非常に小さく、かつピークＰ１、Ｐ２の輝度が非常に離れているので、輝度分布評価部１０４は、図２Ａの輝度分布を発光体標識の輝度分布であると判断する。
【００２８】
輝度分布評価部１０４は、判断結果Ｓ１３を照合制御部１０５に送出する。照合制御部１０５は、判断結果Ｓ１３に応じて、照合部１１０での処理を、発光体標識用の照合処理と、非発光体標識用の照合処理とで切り替えるための制御信号Ｓ１４を出力する。
【００２９】
照合部１１０は、制御信号Ｓ１４によって出力先が切り替えられる切替スイッチ１１１と、発光体標識照合部１１２と、非発光体標識照合部１１３とを有する。切替スイッチ１１１は、候補領域画像Ｓ１２を入力し、制御信号Ｓ１４に応じて、候補領域画像Ｓ１２を発光体標識照合部１１２又は非発光体標識照合部１１３のいずれかに出力する。
【００３０】
ここで、標準テンプレートデータベース１０６には、複数の標識に対応した複数のテンプレートが格納されている。さらに、標準テンプレートデータベース１０６には、複数の標識に対応した複数のテンプレートとして、発光体標識用の輝度テンプレートと、非発光体標識用の輝度テンプレートとが格納されている。つまり、上述したように、発光体標識の輝度画像と非発光体標識の輝度画像とは異なるので、同一内容の標識（例えば速度制限が４０キロを示す標識）でも、発光体標識用の輝度テンプレートと非発光体標識用の輝度テンプレートとでは異なる輝度テンプレートが格納されている。
【００３１】
照合部１１０は、判断結果Ｓ１３が発光体標識を示す場合には、候補領域画像Ｓ１２を発光体標識照合部１１２に入力する。このとき、発光体標識照合部１１２は標準テンプレートデータベース１０６から発光体標識用の輝度テンプレートＳ１５ａを読み出し、この輝度テンプレートＳ１５ａに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００３２】
これに対して、照合部１１０は、判断結果Ｓ１３が非発光体標識を示す場合には、候補領域画像Ｓ１２を非発光体標識照合部１１３に入力する。このとき、非発光体標識照合部１１３は標準テンプレートデータベース１０６から非発光体標識用の輝度テンプレートＳ１５ｂを読み出し、この輝度テンプレートＳ１５ｂに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００３３】
このようにして、照合部１１０は、候補領域画像Ｓ１２が、例えば「駐車禁止」を示す標識であることを特定し、これを照合結果として出力部１０７に送出する。
【００３４】
このように、本実施の形態においては、輝度分布評価部１０４において、候補領域画像が発光体標識の画像なのかあるは非発光体標識の画像なのかを判別し、照合部１１０において、各候補領域画像に対して、発光体標識用のパターンマッチング又は非発光体標識用のパターンマッチングのいずれか一方のみを行う。これにより、各候補領域画像に対して、発光体標識用のパターンマッチングと非発光体標識用のパターンマッチングの両方を施す場合と比較して、パターンマッチングに要する処理量を半分に低減することができる。
【００３５】
出力部１０７は、いわゆるインターフェースであり、照合結果を出力先にとって適切な信号に変換して、音声提示部、画像提示部又は車制御装置等に出力する。
【００３６】
次に、図３のフローチャートを用いて、標識認識装置１００の動作を説明する。
【００３７】
標識認識装置１００は、ステップＳＴ１０で標識認識処理を開始すると、ステップＳＴ１１で候補領域抽出部１０１に画像を入力し、ステップＳＴ１２で入力画像から標識の候補である特定形状の領域を、候補領域画像として抽出する。
【００３８】
ステップＳＴ１３では、候補領域調整部１０２によって候補領域画像の幾何特性、例えばサイズ、向き及び形状を正規化する。
【００３９】
ステップＳＴ１４では輝度分布評価部１０４によって候補領域画像Ｓ１１の輝度分布を計算し、ステップＳＴ１５では輝度分布評価部１０４によって輝度分布の特徴に基づき候補領域画像Ｓ１１が発光体標識か否かを判断する。本実施の形態の場合には、輝度分布評価部１０４は、輝度分布ヒストグラムにおいて、２つのピークを有し、かつピーク間の距離が所定の閾値以上である場合に、候補領域画像が発光体標識であると判断し（ステップＳＴ１５：ＹＥＳ）、それ以外には候補領域画像が非発光体標識であると判断する（ステップＳＴ１５：ＮＯ）。
【００４０】
ステップＳＴ１５で候補領域画像が発光体標識であると判断されると、ステップＳＴ１６で候補領域調整部１０３によって輝度特性が調整され、ステップＳＴ１７で発光体標識照合部１１２によって発光体標識用の輝度テンプレートＳ１５ａを用いた照合が行われる。
【００４１】
ステップＳＴ１５で候補領域画像が非発光体標識であると判断されると、ステップＳＴ１８で候補領域調整部１０３によって輝度特性が調整され、ステップＳＴ１９で非発光体標識照合部１１３によって非発光体標識用の輝度テンプレートＳ１５ｂを用いた照合が行われる。
【００４２】
ステップＳＴ２０では、候補領域抽出部１０１が、全画像又は画像の特定領域に対して、全ての候補形状を探索したかを判断し、未だ探索していない領域又は候補形状がある場合は、ステップＳＴ１２に戻り、次の領域又は候補形状に対してステップＳＴ１２−ＳＴ１９の処理が繰り返される。これに対して、ステップＳＴ２０で、候補領域抽出部１０１が、探索を全て完了したと判断した場合は、ステップＳＴ２１に移る。
【００４３】
ステップＳＴ２１では、出力部１０７によって照合結果が出力され、ステップＳＴ２２で標識認識処理が終了される。
【００４４】
以上説明したように、本実施の形態によれば、発光体標識照合部１１２と、非発光体標識照合部１１３と、候補領域画像の輝度分布に基づいて、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価部１０４と、候補領域画像が発光体標識と判断された場合には発光体標識照合部１１２で照合を行わせ、候補領域画像が非発光体標識と判断された場合には非発光体標識照合部１１３で照合を行わせる照合制御部１０５とを設けたことにより、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、その標識の内容を的確かつ比較的容易に認識することができる。
【００４５】
（実施の形態２）
図１との対応部分に同一符号を付して示す図４に、本実施の形態の標識認識装置の構成を示す。
【００４６】
標識認識装置２００は、実施の形態１の標識認識装置１００（図１）と比較して、カメラパラメータ設定部２０２と、カメラ制御部２０３とが追加されている。
【００４７】
カメラパラメータ設定部２０２は、輝度分布評価部２０１によって得られた輝度分布計算結果をＳ２０入力し、この輝度分布計算結果Ｓ２０に基づいて、動的にカメラ２１０の露光量を変動させるパラメータ、例えばカメラの絞り、シャッタースピード、感度などを調整する。カメラ制御部２０３は、カメラパラメータ設定部２０２によって設定されたパラメータに応じて、カメラ２１０の絞り、シャッタースピード、感度などを制御する。これにより、カメラ２１０の露光量が制御される。
【００４８】
カメラ２１０の露光量を変動させると、カメラ２１０から出力される入力画像（撮像画像）の輝度分布が変化する。例えば、露光量を小さくすれば、図２Ｃに示した非発光体標識の輝度分布の高輝度端のピークは左にシフトする。これに対して、露光量を小さくしても、図２Ａに示した発光体標識の輝度分布の高輝度端のピークＰ２はシフトしない。本実施の形態では、輝度分布評価部２０１がこの特性を利用して候補領域画像が発光体標識か否かを判断する。
【００４９】
図３との対応部分に同一符号を付して示す図５に、本実施の形態の標識認識装置２００による標識認識処理手順を示す。以下では、図３に対して追加された処理について説明する。
【００５０】
標識認識装置２００は、ステップＳＴ１５で輝度分布評価部２０１によって候補領域画像が発光体標識であると判断されると（ステップＳＴ１５：ＹＥＳ）、ステップＳＴ３１に移る。ステップＳＴ３１では、カメラ２１０からの入力画像が１フレーム目（１枚目）かあるいは２フレーム目（２枚目）であるか判断し、１枚目と判断した場合にはステップＳＴ３２に移る。
【００５１】
標識認識装置２００は、ステップＳＴ３２において、カメラパラメータ設定部２０２及びカメラ制御部２０３によってカメラ２１０の露光量を変更（例えば露光量を小さく）した後、ステップＳＴ１１に戻り、変更した露光量で撮像した画像を用いて再度、ステップＳＴ１１−ＳＴ１５を繰り返す。
【００５２】
再度ステップＳＴ１５に入ると、輝度分布評価部２０１によって、露光量を変更して撮像された候補領域画像が発光体標識候補であるか否かが評価される。具体的には、輝度分布評価部２０１によって、高輝度端のピークがシフトしたか否かを判断する。高輝度端のピークがシフトした場合、このことは候補領域画像が非発光体標識の画像であることを意味するので、ステップＳＴ１８に移る。これに対して、高輝度端のピークがほとんどシフトしない場合、このことは候補領域画像が発光体標識の画像であることを意味するので、ステップＳＴ３１に移る。
【００５３】
ステップＳＴ３１では、入力画像が２枚目の画像なので、ステップＳＴ３３に移る。続くステップＳＴ３３では、カメラパラメータ設定部２０２及びカメラ制御部２０３によって、必要に応じてカメラ２１０の露光量を１枚目の入力画像を撮像したときの値に復帰させる。
【００５４】
このように本実施の形態では、異なる露光量で撮像された第１及び第２の候補領域画像の輝度分布ヒストグラムにおける、高輝度端ピークのシフトの状態に基づいて、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断したことにより、発光体標識かあるいは非発光体標識かを的確に判別できる。
【００５５】
なお、本実施の形態では、実施の形態１と比較して、１枚目の入力画像が発光体標識かあるいは非発光体標識かを判別する処理（ステップＳＴ１５での１枚目の処理）において、発光体標識であると判断するための基準を緩めてもよい。すなわち、本実施の形態の特徴は、主に、当該複数枚の入力画像から得た候補領域画像間における高輝度端ピークがシフトしたか否かに基づいて、発光体標識かあるいは非発光体標識かを判別することなので、本実施の形態においては１枚目の入力画像のみでの判別はあまり重要ではない。
【００５６】
例えば、１枚目の入力画像のみでの判別は行わずに、１枚目の入力画像を記憶しておき、異なる露光量で撮像した複数枚（例えば２枚）の入力画像を取得した後に、この複数枚の入力画像から得た候補領域画像間において高輝度端ピークがシフトした候補領域画像を発光体標識であると判別してもよい。
【００５７】
（実施の形態３）
図１との対応部分に同一符号を付して示す図６に、本実施の形態の標識認識装置の構成を示す。
【００５８】
標識認識装置３００は、実施の形態１の標識認識装置１００（図１）と比較して、照合部３１０の構成が異なる。照合部は、制御信号Ｓ１４によって出力先が切り替えられる切替スイッチ３１１と、白黒反転部３１２と、非発光体標識照合部３１３とを有する。
【００５９】
標識認識装置３００は、輝度分布評価部１０４において候補領域画像Ｓ１１が非発光体標識であると判断すると、候補領域調整部１０３によって２値化された候補領域画像Ｓ１２を切替スイッチ３１１を介して非発光体標識照合部３１３に入力する。そして、非発光体標識照合部３１３が標準テンプレートデータベース１０６から非発光体標識用の輝度テンプレートＳ１５ｂを読み出し、この輝度テンプレートＳ１５ｂに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００６０】
これに対して、標識認識装置３００は、輝度分布評価部１０４において候補領域画像Ｓ１１が発光体標識であると判断すると、候補領域調整部１０３によって２値化された候補領域画像Ｓ１２を切替スイッチ３１１を介して白黒反転部３１２に入力する。白黒反転部３１２によって白黒反転された２値画像は、非発光体標識照合部３１３に入力される。非発光体標識照合部３１３は、白黒反転画像に対しても上述した非発光体標識画像の場合と同様に、標準テンプレートデータベース１０６から非発光体標識用の輝度テンプレートＳ１５ｂを読み出し、この輝度テンプレートＳ１５ｂに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００６１】
このように、本実施の形態の標識認識装置３００においては、発光体標識照合部１１２（図１）に換えて白黒反転部３１２を設け、発光体標識であると判断された候補領域画像を白黒反転部３１２によって白黒反転した後に、非発光体標識照合部３１３によって非発光体標識用の輝度テンプレートＳ１５ｂを用いて照合する。これにより、標識認識装置３００においては、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、より簡易な構成で標識の内容を特定することができるようになる。
【００６２】
図３との対応部分に同一符号を付して示す図７に、本実施の形態の標識認識装置３００による標識認識処理手順を示す。以下では、図３と異なる処理について説明する。
【００６３】
標識認識装置３００は、ステップＳＴ１５で輝度分布評価部１０４によって候補領域画像が発光体標識でないと判断すると（ステップＳＴ１５：ＮＯ）、ステップＳＴ４１において候補領域調整部１０３によって候補領域画像を２値化し、ステップＳＴ４４において非発光体標識照合部３１３によって照合処理を行う。
【００６４】
これに対して、標識認識装置３００は、ステップＳＴ１５で輝度分布評価部１０４によって候補領域画像が発光体標識であると判断すると（ステップＳＴ１５：ＹＥＳ）、ステップＳＴ４２において候補領域調整部１０３によって候補領域画像を２値化し、ステップＳＴ４３によって白黒反転部３１２によって２値化画像を白黒反転処理した後に、ステップＳＴ４４において白黒反転された２値化画像に対して非発光体標識照合部３１３によって照合処理を行う。
【００６５】
なお、図６の例では、発光体標識照合部１１２（図１）に換えて白黒反転部３１２を設けた場合を示したが、図８に示すように構成してもよい。
【００６６】
図１との対応部分に同一符号を付して示す図８に、本実施の形態の標識認識装置の他の構成例を示す。
【００６７】
標識認識装置４００の照合部４１０は、切替スイッチ４１１と、発光体標識照合部４１２と、白黒反転部４１３とを有する。
【００６８】
標識認識装置４００は、輝度分布評価部１０４において候補領域画像Ｓ１１が発光体標識であると判断すると、候補領域調整部１０３によって２値化された候補領域画像Ｓ１２を切替スイッチ４１１を介して発光体標識照合部４１２に入力する。そして、発光体標識照合部４１２が標準テンプレートデータベース１０６から発光体標識用の輝度テンプレートＳ１５ａを読み出し、この輝度テンプレートＳ１５ａに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００６９】
これに対して、標識認識装置４００は、輝度分布評価部１０４において候補領域画像Ｓ１１が非発光体標識であると判断すると、候補領域調整部１０３によって２値化された候補領域画像Ｓ１２を切替スイッチ４１１を介して白黒反転部４１３に入力する。白黒反転部４１３によって白黒反転された２値画像は、発光体標識照合部４１２に入力される。発光体標識照合部４１２は、白黒反転画像に対しても上述した発光体標識画像の場合と同様に、標準テンプレートデータベース１０６から発光体標識用の輝度テンプレートＳ１５ａを読み出し、この輝度テンプレートＳ１５ａに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００７０】
このように、標識認識装置４００においては、非発光体標識照合部１１３（図１）に換えて白黒反転部４１３を設け、非発光体標識であると判断された候補領域画像を白黒反転部４１３によって白黒反転した後に、発光体標識照合部４１２によって発光体標識用の輝度テンプレートＳ１５ａを用いて照合する。これにより、標識認識装置４００においては、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、より簡易な構成で標識の内容を特定することができるようになる。
【００７１】
図３との対応部分に同一符号を付して示す図９に、標識認識装置４００による標識認識処理手順を示す。以下では、図３と異なる処理について説明する。
【００７２】
標識認識装置４００は、ステップＳＴ１５で輝度分布評価部１０４によって候補領域画像が発光体標識であると判断すると（ステップＳＴ１５：ＹＥＳ）、ステップＳＴ５３において候補領域調整部１０３によって候補領域画像を２値化し、ステップＳＴ５４において発光体標識照合部４１２によって照合処理を行う。
【００７３】
これに対して、標識認識装置４００は、ステップＳＴ１５で輝度分布評価部１０４によって候補領域画像が非発光体標識であると判断すると（ステップＳＴ１５：ＮＯ）、ステップＳＴ５１において候補領域調整部１０３によって候補領域画像を２値化し、ステップＳＴ５２によって白黒反転部４１３によって２値化画像を白黒反転処理した後に、ステップＳＴ５４において白黒反転された２値化画像に対して発光体標識照合部４１２によって照合処理を行う。
【００７４】
（他の実施の形態）
なお、上述した実施の形態では、候補領域画像のサイズ、向き、形状などを調整する候補領域調整部１０２を、候補領域画像の輝度を調整する候補領域調整部１０３の前段側に設けた場合について説明したが、候補領域調整部１０２を、候補領域調整部１０３の後段に設けてもよい。
【００７５】
また、上述した実施の形態では、候補領域調整部１０２によって候補領域画像のサイズを標準テンプレートのサイズに調整する場合について説明したが、候補領域画像のサイズを調整せずに、標準テンプレートのサイズを候補領域画像のサイズに合うように調整してもよい。
【００７６】
ところで、発光体標識の撮像画像においては、発光体標識の交流電源特性とカメラのフレーム率との関係に応じて、時系列画像が点滅する可能性がある。つまり、輝度分布評価部１０４で計算した輝度分布は、常に図２Ａのような分布になるとは限らない。このような状況を考慮し、輝度分布評価部１０４において、図２Ａの高輝度端ピークＰ２の存在が時間的に有無交錯することを許容して、発光体標識を認識してもよい。
【００７７】
さらに、このように発光体標識の時系列画像が点滅することを積極的に利用して、時系列画像が点滅している場合（時系列画像の輝度分布ヒストグラムが大きく変化している場合）には、発光体標識の画像であると判断してもよい。実際には、発光体標識が点灯している場合には高輝度端の度数が高くなるのに対して、発光体標識が消灯している場合には高輝度端の度数が低くなるので、時系列画像における高輝度端の度数の変化が所定の閾値以上の場合に、発光体標識の画像であると判断すればよい。
【００７８】
また、上述した実施の形態では、本発明の標識認識装置及び方法を、道路交通標識の認識に適用した場合について述べたが、本発明はこれに限らず、認識対象に発光体標識と非発光体標識の両方が含まれる場合に広く適用可能である。例えば、ロボットナビゲーションや、リモートセンシングの壁検出装置等の種々の装置にも適用可能である。
【産業上の利用可能性】
【００７９】
本発明は、例えば道路交通標識の内容を認識する標識認識装置に好適である。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態１に係る標識認識装置の構成を示すブロック図
【図２】図２Ａは発光体標識の輝度分布を示すヒストグラム、図２Ｂ及び図２Ｃは非発光体標識の輝度分布を示すヒストグラム
【図３】実施の形態１の動作の説明に供するフローチャート
【図４】実施の形態２の標識認識装置の構成を示すブロック図
【図５】実施の形態２の動作の説明に供するフローチャート
【図６】実施の形態３の標識認識装置の構成を示すブロック図
【図７】実施の形態３の動作の説明に供するフローチャート
【図８】実施の形態３の標識認識装置の構成を示すブロック図
【図９】実施の形態３の動作の説明に供するフローチャート
【図１０】図１０Ａは非発光体の制限速度標識を示す図、図１０Ｂは発光体の制限速度標識を示す図
【符号の説明】
【００８１】
１００、２００、３００、４００ 標識認識装置
１０１ 候補領域抽出部
１０２、１０３ 候補領域調整部
１０４、２０１ 輝度分布評価部
１０５ 照合制御部
１０６ 標準テンプレートデータベース
１１０、３１０、４１０ 照合部
１１１、３１１、４１１ 切替スイッチ
１１２、４１２ 発光体標識照合部
１１３、３１３ 非発光体標識照合部
２０２ カメラパラメータ設定部
２０３ カメラ制御部
３１２、４１３ 白黒反転部
【技術分野】
【０００１】
本発明は、標識認識装置及び標識認識方法に関し、例えば道路交通標識の内容を認識するのに用いて好適な装置及び方法に関する。
【背景技術】
【０００２】
従来、車両に搭載されたカメラによって道路状況を撮像し、それによって得られた画像に基づいて、運転を支援したり、車両を制御することが考えられている。
【０００３】
この場合、カメラで撮像された画像に所定を施すことで画像中に存在する道路交通標識、案内看板、信号機などを検出し、検出した標識や看板の内容メッセージを認識することは、非常に重要なことである。
【０００４】
このような認識技術として、例えば特許文献１などに開示された方法がある。特許文献１に記載された技術は、例えば制限速度標識を認識する場合、まずカラーカメラ画像の色に基づいて標識の候補領域を特定する。次に、特定した候補領域の形状が円形かを識別し、円形である場合、内部分割数、赤領域面積比、円形度などを順番に求め、全てが速度制限標識の条件を満たした場合、パターンマッチングを実行することで制限速度標識を認識する。
【０００５】
ところで、近年、各種標識や信号機として、発光体、とりわけ発光ダイオード(以下「ＬＥＤ」という）を多数利用し、ＬＥＤを特定の形状に配置して構成された標識や信号機が増えている。従って、発光体によって構成された標識や信号機の認識も必要となってきている。
【０００６】
ＬＥＤ信号機の検出装置としては、特許文献２に開示されたものがある。特許文献２に記載された技術は、画像内における色及び形状に基づいて信号機の候補領域を検出し、検出した候補領域が所定周期で点滅しているかを判断することで、ＬＥＤ信号機の存在を検出するものである。
【特許文献１】特開平９−１８５７０３号公報
【特許文献２】特開２００５−３０１５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１のような手法は、発光体標識には適用が困難である。その理由は、色による候補領域の検出を形状検出の手法で代替できるとしても、円形検出後に必要な赤領域面積比計算とパターンマッチング処理を実施するのが困難だからである。
【０００８】
詳しく説明する。図１０Ａに非発光体制限速度標識、図１０Ｂに発光体制限速度標識のグレースケール画像が示されている。非発光体標識の場合は、数字部分が青色で、数字部分の背景が白色で、環状部分が赤色である。
【０００９】
一方、発光体標識の場合は、数字部分がＬＥＤの発光色であるオレンジなどで、背景相当部分が消灯中のＬＥＤの黒色で、環状部分があれば赤色である。赤色環状部分のない発光体標識も存在する。従って、赤領域面積比を例えば輝度の相対的明るさで計算するなどの工夫をしても、発光体標識を認識できない場合もある。
【００１０】
また、特許文献２のような技術は、ＬＥＤ発光体を撮像した画像における周期的点滅特性を利用する。点滅特性は使われた交流電源の正負波形に起因するが、通常、交流電源が全波整流されて使われるため、点灯と消灯の時間比は固定でない。つまり、場所によって点灯と消灯の時間比が異なることもよくある。結果として、特定フレーム率、例えば３０ＦＰＳ（Frame Per Second）のカメラで撮像した画像では、ＬＥＤの点滅周期が一定でなく、数フレーム或いは数十フレームに亘って検出できない場合もある。
【００１１】
本発明は、かかる点を考慮してなされたものであり、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、その標識の内容を的確かつ比較的容易に認識することができる標識認識装置及び方法を提供する。
【課題を解決するための手段】
【００１２】
本発明の標識認識装置は、撮像画像から標識の候補領域画像を抽出する候補領域抽出手段と、前記候補領域画像の輝度分布に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価手段と、前記候補領域画像と、複数の標識に対応した複数のテンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する照合手段と、前記候補領域画像が発光体標識と判断されたかあるいは非発光体標識と判断されたかに基づいて、前記照合手段を制御する照合制御手段と、を具備する構成を採る。
【発明の効果】
【００１３】
本発明によれば、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを候補領域画像の輝度分布に基づいて判断し、発光体標識と判断された場合と非発光体標識と判断された場合とで照合処理を変更したことにより、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、その標識の内容を的確かつ比較的容易に認識することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。以下の実施の形態では、本発明の標識認識装置及び方法を、道路交通標識を認識する場合に適用した例を示す。
【００１５】
（実施の形態１）
図１に、本発明の実施の形態１に係る標識認識装置の構成を示す。標識認識装置１００は、自動車等の車両に搭載されている。
【００１６】
標識認識装置１００は、候補領域抽出部１０１に入力画像を入力する。入力画像は、車に搭載されたカメラによってリアルタイムに撮像された車両周辺の画像である。また入力画像は、事前に記憶装置に保存された画像であってもよい。
【００１７】
候補領域抽出部１０１は、入力画像から特定の形状、例えば三角形や円を含む画像を抽出し、これを標識の候補領域画像として出力する。具体的には、入力画像に含まれる多数の物体画像から標識と予想される画像領域を候補領域画像として抽出する。例えば、逆三角形を一時停止標識の候補、円を制限速度標識の候補として抽出する。なお、形状の抽出は、ハフ変換や色を利用した手法など公知の手法で実現できるため、ここでの詳しい説明は省略する。
【００１８】
候補領域調整部１０２は、候補領域画像のサイズ、向き、形状などを調整（正規化）する。具体的には、候補領域調整部１０２は、候補領域画像を、標準テンプレートデータベース１０６に格納された標準テンプレートと照合し易い画像に調整する。例えば、候補領域画像を、テンプレートと同一サイズ、同一向き及び又は同一形状に変換する。変換の手法としては、アフィン変換など公知の手法を利用できる。候補領域調整部１０２は、調整された候補領域画像Ｓ１１を候補領域調整部１０３及び輝度分布評価部１０４に送出する。
【００１９】
候補領域調整部１０３は、サイズ、向き、形状などが調整された候補領域画像Ｓ１１を入力し、この候補領域画像Ｓ１１の輝度を調整することで、ノイズ成分を抑圧する。すなわち、通常、交通標識は２色又は３色しか有しないので、候補領域画像Ｓ１１の輝度を２値又は３値画像にした方がノイズの影響を抑えることができ、続く照合部１１０での照合精度を向上させることができる。候補領域調整部１０３は、輝度が調整された候補領域画像Ｓ１２を照合部１１０に送出する。
【００２０】
輝度分布評価部１０４は、候補領域画像Ｓ１１の輝度分布を計算し、輝度分布の特徴に基づき、候補領域画像Ｓ１１が発光体標識候補かあるいは非発光体標識候補かを判断する。
【００２１】
ここで、本発明の発明者らは、発光体標識の輝度分布と、非発光体標識の輝度分布とに以下のような特徴があることに着目した。図２は輝度分布のヒストグラムである。図２Ａは発光体標識の輝度分布を示し、図２Ｂ及び図２Ｃは非発光体標識の輝度分布を示す。横軸は２５６段階に分けた輝度を示し、縦軸は各輝度の度数（画素数）を示す。なお、図２Ｂは周囲の明るさが普通の場合の非発光体標識の輝度分布であり、図２Ｃは周囲の明るさが非常に明るい場合の非発光体標識の輝度分布である。
【００２２】
［発光体標識の輝度分布の特徴］
・２つの明確なピークが存在する（換言すれば、２つのピークとそれ以外のピークとの度数の差が所定の閾値以上である）
・ピーク間の幅が、非発光体標識のピーク間の幅よりも広い
・分布範囲が、非発光体標識の分布範囲よりも広い
・分布範囲が、全輝度範囲の半分以上に亘る
・分布が、非発光体標識の分布よりも高輝度側及び低輝度側の両端に集中する
【００２３】
［非発光体標識の輝度分布の特徴］
・２つの明確なピークが存在しない（換言すれば、２つのピークとそれ以外のピークとの度数の差が所定の閾値未満である）
・ピーク間の幅が、発光体標識のピーク間の幅よりも狭い
・分布範囲が、発光体標識の分布範囲よりも狭い
・分布範囲が、全輝度範囲の半分以上に亘らない場合がある
・分布が、発光体標識の分布よりも高輝度側及び低輝度側の両端に集中しない
【００２４】
輝度分布の特徴が、発光体標識と非発光体標識とで、上述したように分かれる原因は、発光体標識の輝度が発光体部分（点灯中ＬＥＤ）と非反射材（消灯中ＬＥＤ）に依存するのに対して、非発光体標識の輝度が反射材（ペント）に依存するからである。因みに、発光体標識の輝度分布における、ピークＰ１は消灯中ＬＥＤの輝度に依存するピークであり、ピークＰ２は点灯中ＬＥＤの輝度に依存するピークである。
【００２５】
輝度分布評価部１０４は、上述した発光体標識の輝度分布と非発光体標識の輝度分布との特徴の違いを基準として、候補領域画像Ｓ１１が発光体標識の画像かあるいは非発光体標識の画像かを判断する。
【００２６】
ここで、上述した基準のうちどの基準を用いるかは適宜選択してよい。要は、候補領域画像の輝度分布ヒストグラムにおける、ピークレベル、ピーク間の距離、輝度分布範囲、及び又は、高輝度側と低輝度側とへの集中度に基づいて、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断すればよい。
【００２７】
本実施の形態の場合には、２つの明確なピークが存在し、かつピーク間の幅が所定値以上の場合に、発光体標識であり、それ以外は非発光体標識であると判断するようになっている。図２Ａの例では、輝度が略１０１であるピークＰ１の度数が略１２０であり、輝度が略２５５であるピークＰ２の度数が略８０である。そして、ピークＰ１、Ｐ２以外のピークの度数がピークＰ１、Ｐ２の度数よりも非常に小さく、かつピークＰ１、Ｐ２の輝度が非常に離れているので、輝度分布評価部１０４は、図２Ａの輝度分布を発光体標識の輝度分布であると判断する。
【００２８】
輝度分布評価部１０４は、判断結果Ｓ１３を照合制御部１０５に送出する。照合制御部１０５は、判断結果Ｓ１３に応じて、照合部１１０での処理を、発光体標識用の照合処理と、非発光体標識用の照合処理とで切り替えるための制御信号Ｓ１４を出力する。
【００２９】
照合部１１０は、制御信号Ｓ１４によって出力先が切り替えられる切替スイッチ１１１と、発光体標識照合部１１２と、非発光体標識照合部１１３とを有する。切替スイッチ１１１は、候補領域画像Ｓ１２を入力し、制御信号Ｓ１４に応じて、候補領域画像Ｓ１２を発光体標識照合部１１２又は非発光体標識照合部１１３のいずれかに出力する。
【００３０】
ここで、標準テンプレートデータベース１０６には、複数の標識に対応した複数のテンプレートが格納されている。さらに、標準テンプレートデータベース１０６には、複数の標識に対応した複数のテンプレートとして、発光体標識用の輝度テンプレートと、非発光体標識用の輝度テンプレートとが格納されている。つまり、上述したように、発光体標識の輝度画像と非発光体標識の輝度画像とは異なるので、同一内容の標識（例えば速度制限が４０キロを示す標識）でも、発光体標識用の輝度テンプレートと非発光体標識用の輝度テンプレートとでは異なる輝度テンプレートが格納されている。
【００３１】
照合部１１０は、判断結果Ｓ１３が発光体標識を示す場合には、候補領域画像Ｓ１２を発光体標識照合部１１２に入力する。このとき、発光体標識照合部１１２は標準テンプレートデータベース１０６から発光体標識用の輝度テンプレートＳ１５ａを読み出し、この輝度テンプレートＳ１５ａに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００３２】
これに対して、照合部１１０は、判断結果Ｓ１３が非発光体標識を示す場合には、候補領域画像Ｓ１２を非発光体標識照合部１１３に入力する。このとき、非発光体標識照合部１１３は標準テンプレートデータベース１０６から非発光体標識用の輝度テンプレートＳ１５ｂを読み出し、この輝度テンプレートＳ１５ｂに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００３３】
このようにして、照合部１１０は、候補領域画像Ｓ１２が、例えば「駐車禁止」を示す標識であることを特定し、これを照合結果として出力部１０７に送出する。
【００３４】
このように、本実施の形態においては、輝度分布評価部１０４において、候補領域画像が発光体標識の画像なのかあるは非発光体標識の画像なのかを判別し、照合部１１０において、各候補領域画像に対して、発光体標識用のパターンマッチング又は非発光体標識用のパターンマッチングのいずれか一方のみを行う。これにより、各候補領域画像に対して、発光体標識用のパターンマッチングと非発光体標識用のパターンマッチングの両方を施す場合と比較して、パターンマッチングに要する処理量を半分に低減することができる。
【００３５】
出力部１０７は、いわゆるインターフェースであり、照合結果を出力先にとって適切な信号に変換して、音声提示部、画像提示部又は車制御装置等に出力する。
【００３６】
次に、図３のフローチャートを用いて、標識認識装置１００の動作を説明する。
【００３７】
標識認識装置１００は、ステップＳＴ１０で標識認識処理を開始すると、ステップＳＴ１１で候補領域抽出部１０１に画像を入力し、ステップＳＴ１２で入力画像から標識の候補である特定形状の領域を、候補領域画像として抽出する。
【００３８】
ステップＳＴ１３では、候補領域調整部１０２によって候補領域画像の幾何特性、例えばサイズ、向き及び形状を正規化する。
【００３９】
ステップＳＴ１４では輝度分布評価部１０４によって候補領域画像Ｓ１１の輝度分布を計算し、ステップＳＴ１５では輝度分布評価部１０４によって輝度分布の特徴に基づき候補領域画像Ｓ１１が発光体標識か否かを判断する。本実施の形態の場合には、輝度分布評価部１０４は、輝度分布ヒストグラムにおいて、２つのピークを有し、かつピーク間の距離が所定の閾値以上である場合に、候補領域画像が発光体標識であると判断し（ステップＳＴ１５：ＹＥＳ）、それ以外には候補領域画像が非発光体標識であると判断する（ステップＳＴ１５：ＮＯ）。
【００４０】
ステップＳＴ１５で候補領域画像が発光体標識であると判断されると、ステップＳＴ１６で候補領域調整部１０３によって輝度特性が調整され、ステップＳＴ１７で発光体標識照合部１１２によって発光体標識用の輝度テンプレートＳ１５ａを用いた照合が行われる。
【００４１】
ステップＳＴ１５で候補領域画像が非発光体標識であると判断されると、ステップＳＴ１８で候補領域調整部１０３によって輝度特性が調整され、ステップＳＴ１９で非発光体標識照合部１１３によって非発光体標識用の輝度テンプレートＳ１５ｂを用いた照合が行われる。
【００４２】
ステップＳＴ２０では、候補領域抽出部１０１が、全画像又は画像の特定領域に対して、全ての候補形状を探索したかを判断し、未だ探索していない領域又は候補形状がある場合は、ステップＳＴ１２に戻り、次の領域又は候補形状に対してステップＳＴ１２−ＳＴ１９の処理が繰り返される。これに対して、ステップＳＴ２０で、候補領域抽出部１０１が、探索を全て完了したと判断した場合は、ステップＳＴ２１に移る。
【００４３】
ステップＳＴ２１では、出力部１０７によって照合結果が出力され、ステップＳＴ２２で標識認識処理が終了される。
【００４４】
以上説明したように、本実施の形態によれば、発光体標識照合部１１２と、非発光体標識照合部１１３と、候補領域画像の輝度分布に基づいて、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価部１０４と、候補領域画像が発光体標識と判断された場合には発光体標識照合部１１２で照合を行わせ、候補領域画像が非発光体標識と判断された場合には非発光体標識照合部１１３で照合を行わせる照合制御部１０５とを設けたことにより、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、その標識の内容を的確かつ比較的容易に認識することができる。
【００４５】
（実施の形態２）
図１との対応部分に同一符号を付して示す図４に、本実施の形態の標識認識装置の構成を示す。
【００４６】
標識認識装置２００は、実施の形態１の標識認識装置１００（図１）と比較して、カメラパラメータ設定部２０２と、カメラ制御部２０３とが追加されている。
【００４７】
カメラパラメータ設定部２０２は、輝度分布評価部２０１によって得られた輝度分布計算結果をＳ２０入力し、この輝度分布計算結果Ｓ２０に基づいて、動的にカメラ２１０の露光量を変動させるパラメータ、例えばカメラの絞り、シャッタースピード、感度などを調整する。カメラ制御部２０３は、カメラパラメータ設定部２０２によって設定されたパラメータに応じて、カメラ２１０の絞り、シャッタースピード、感度などを制御する。これにより、カメラ２１０の露光量が制御される。
【００４８】
カメラ２１０の露光量を変動させると、カメラ２１０から出力される入力画像（撮像画像）の輝度分布が変化する。例えば、露光量を小さくすれば、図２Ｃに示した非発光体標識の輝度分布の高輝度端のピークは左にシフトする。これに対して、露光量を小さくしても、図２Ａに示した発光体標識の輝度分布の高輝度端のピークＰ２はシフトしない。本実施の形態では、輝度分布評価部２０１がこの特性を利用して候補領域画像が発光体標識か否かを判断する。
【００４９】
図３との対応部分に同一符号を付して示す図５に、本実施の形態の標識認識装置２００による標識認識処理手順を示す。以下では、図３に対して追加された処理について説明する。
【００５０】
標識認識装置２００は、ステップＳＴ１５で輝度分布評価部２０１によって候補領域画像が発光体標識であると判断されると（ステップＳＴ１５：ＹＥＳ）、ステップＳＴ３１に移る。ステップＳＴ３１では、カメラ２１０からの入力画像が１フレーム目（１枚目）かあるいは２フレーム目（２枚目）であるか判断し、１枚目と判断した場合にはステップＳＴ３２に移る。
【００５１】
標識認識装置２００は、ステップＳＴ３２において、カメラパラメータ設定部２０２及びカメラ制御部２０３によってカメラ２１０の露光量を変更（例えば露光量を小さく）した後、ステップＳＴ１１に戻り、変更した露光量で撮像した画像を用いて再度、ステップＳＴ１１−ＳＴ１５を繰り返す。
【００５２】
再度ステップＳＴ１５に入ると、輝度分布評価部２０１によって、露光量を変更して撮像された候補領域画像が発光体標識候補であるか否かが評価される。具体的には、輝度分布評価部２０１によって、高輝度端のピークがシフトしたか否かを判断する。高輝度端のピークがシフトした場合、このことは候補領域画像が非発光体標識の画像であることを意味するので、ステップＳＴ１８に移る。これに対して、高輝度端のピークがほとんどシフトしない場合、このことは候補領域画像が発光体標識の画像であることを意味するので、ステップＳＴ３１に移る。
【００５３】
ステップＳＴ３１では、入力画像が２枚目の画像なので、ステップＳＴ３３に移る。続くステップＳＴ３３では、カメラパラメータ設定部２０２及びカメラ制御部２０３によって、必要に応じてカメラ２１０の露光量を１枚目の入力画像を撮像したときの値に復帰させる。
【００５４】
このように本実施の形態では、異なる露光量で撮像された第１及び第２の候補領域画像の輝度分布ヒストグラムにおける、高輝度端ピークのシフトの状態に基づいて、候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断したことにより、発光体標識かあるいは非発光体標識かを的確に判別できる。
【００５５】
なお、本実施の形態では、実施の形態１と比較して、１枚目の入力画像が発光体標識かあるいは非発光体標識かを判別する処理（ステップＳＴ１５での１枚目の処理）において、発光体標識であると判断するための基準を緩めてもよい。すなわち、本実施の形態の特徴は、主に、当該複数枚の入力画像から得た候補領域画像間における高輝度端ピークがシフトしたか否かに基づいて、発光体標識かあるいは非発光体標識かを判別することなので、本実施の形態においては１枚目の入力画像のみでの判別はあまり重要ではない。
【００５６】
例えば、１枚目の入力画像のみでの判別は行わずに、１枚目の入力画像を記憶しておき、異なる露光量で撮像した複数枚（例えば２枚）の入力画像を取得した後に、この複数枚の入力画像から得た候補領域画像間において高輝度端ピークがシフトした候補領域画像を発光体標識であると判別してもよい。
【００５７】
（実施の形態３）
図１との対応部分に同一符号を付して示す図６に、本実施の形態の標識認識装置の構成を示す。
【００５８】
標識認識装置３００は、実施の形態１の標識認識装置１００（図１）と比較して、照合部３１０の構成が異なる。照合部は、制御信号Ｓ１４によって出力先が切り替えられる切替スイッチ３１１と、白黒反転部３１２と、非発光体標識照合部３１３とを有する。
【００５９】
標識認識装置３００は、輝度分布評価部１０４において候補領域画像Ｓ１１が非発光体標識であると判断すると、候補領域調整部１０３によって２値化された候補領域画像Ｓ１２を切替スイッチ３１１を介して非発光体標識照合部３１３に入力する。そして、非発光体標識照合部３１３が標準テンプレートデータベース１０６から非発光体標識用の輝度テンプレートＳ１５ｂを読み出し、この輝度テンプレートＳ１５ｂに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００６０】
これに対して、標識認識装置３００は、輝度分布評価部１０４において候補領域画像Ｓ１１が発光体標識であると判断すると、候補領域調整部１０３によって２値化された候補領域画像Ｓ１２を切替スイッチ３１１を介して白黒反転部３１２に入力する。白黒反転部３１２によって白黒反転された２値画像は、非発光体標識照合部３１３に入力される。非発光体標識照合部３１３は、白黒反転画像に対しても上述した非発光体標識画像の場合と同様に、標準テンプレートデータベース１０６から非発光体標識用の輝度テンプレートＳ１５ｂを読み出し、この輝度テンプレートＳ１５ｂに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００６１】
このように、本実施の形態の標識認識装置３００においては、発光体標識照合部１１２（図１）に換えて白黒反転部３１２を設け、発光体標識であると判断された候補領域画像を白黒反転部３１２によって白黒反転した後に、非発光体標識照合部３１３によって非発光体標識用の輝度テンプレートＳ１５ｂを用いて照合する。これにより、標識認識装置３００においては、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、より簡易な構成で標識の内容を特定することができるようになる。
【００６２】
図３との対応部分に同一符号を付して示す図７に、本実施の形態の標識認識装置３００による標識認識処理手順を示す。以下では、図３と異なる処理について説明する。
【００６３】
標識認識装置３００は、ステップＳＴ１５で輝度分布評価部１０４によって候補領域画像が発光体標識でないと判断すると（ステップＳＴ１５：ＮＯ）、ステップＳＴ４１において候補領域調整部１０３によって候補領域画像を２値化し、ステップＳＴ４４において非発光体標識照合部３１３によって照合処理を行う。
【００６４】
これに対して、標識認識装置３００は、ステップＳＴ１５で輝度分布評価部１０４によって候補領域画像が発光体標識であると判断すると（ステップＳＴ１５：ＹＥＳ）、ステップＳＴ４２において候補領域調整部１０３によって候補領域画像を２値化し、ステップＳＴ４３によって白黒反転部３１２によって２値化画像を白黒反転処理した後に、ステップＳＴ４４において白黒反転された２値化画像に対して非発光体標識照合部３１３によって照合処理を行う。
【００６５】
なお、図６の例では、発光体標識照合部１１２（図１）に換えて白黒反転部３１２を設けた場合を示したが、図８に示すように構成してもよい。
【００６６】
図１との対応部分に同一符号を付して示す図８に、本実施の形態の標識認識装置の他の構成例を示す。
【００６７】
標識認識装置４００の照合部４１０は、切替スイッチ４１１と、発光体標識照合部４１２と、白黒反転部４１３とを有する。
【００６８】
標識認識装置４００は、輝度分布評価部１０４において候補領域画像Ｓ１１が発光体標識であると判断すると、候補領域調整部１０３によって２値化された候補領域画像Ｓ１２を切替スイッチ４１１を介して発光体標識照合部４１２に入力する。そして、発光体標識照合部４１２が標準テンプレートデータベース１０６から発光体標識用の輝度テンプレートＳ１５ａを読み出し、この輝度テンプレートＳ１５ａに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００６９】
これに対して、標識認識装置４００は、輝度分布評価部１０４において候補領域画像Ｓ１１が非発光体標識であると判断すると、候補領域調整部１０３によって２値化された候補領域画像Ｓ１２を切替スイッチ４１１を介して白黒反転部４１３に入力する。白黒反転部４１３によって白黒反転された２値画像は、発光体標識照合部４１２に入力される。発光体標識照合部４１２は、白黒反転画像に対しても上述した発光体標識画像の場合と同様に、標準テンプレートデータベース１０６から発光体標識用の輝度テンプレートＳ１５ａを読み出し、この輝度テンプレートＳ１５ａに含まれる複数の標識の輝度テンプレートと候補領域画像Ｓ１２とを照合する。
【００７０】
このように、標識認識装置４００においては、非発光体標識照合部１１３（図１）に換えて白黒反転部４１３を設け、非発光体標識であると判断された候補領域画像を白黒反転部４１３によって白黒反転した後に、発光体標識照合部４１２によって発光体標識用の輝度テンプレートＳ１５ａを用いて照合する。これにより、標識認識装置４００においては、認識対象に発光体標識と非発光体標識の両方が含まれる場合でも、より簡易な構成で標識の内容を特定することができるようになる。
【００７１】
図３との対応部分に同一符号を付して示す図９に、標識認識装置４００による標識認識処理手順を示す。以下では、図３と異なる処理について説明する。
【００７２】
標識認識装置４００は、ステップＳＴ１５で輝度分布評価部１０４によって候補領域画像が発光体標識であると判断すると（ステップＳＴ１５：ＹＥＳ）、ステップＳＴ５３において候補領域調整部１０３によって候補領域画像を２値化し、ステップＳＴ５４において発光体標識照合部４１２によって照合処理を行う。
【００７３】
これに対して、標識認識装置４００は、ステップＳＴ１５で輝度分布評価部１０４によって候補領域画像が非発光体標識であると判断すると（ステップＳＴ１５：ＮＯ）、ステップＳＴ５１において候補領域調整部１０３によって候補領域画像を２値化し、ステップＳＴ５２によって白黒反転部４１３によって２値化画像を白黒反転処理した後に、ステップＳＴ５４において白黒反転された２値化画像に対して発光体標識照合部４１２によって照合処理を行う。
【００７４】
（他の実施の形態）
なお、上述した実施の形態では、候補領域画像のサイズ、向き、形状などを調整する候補領域調整部１０２を、候補領域画像の輝度を調整する候補領域調整部１０３の前段側に設けた場合について説明したが、候補領域調整部１０２を、候補領域調整部１０３の後段に設けてもよい。
【００７５】
また、上述した実施の形態では、候補領域調整部１０２によって候補領域画像のサイズを標準テンプレートのサイズに調整する場合について説明したが、候補領域画像のサイズを調整せずに、標準テンプレートのサイズを候補領域画像のサイズに合うように調整してもよい。
【００７６】
ところで、発光体標識の撮像画像においては、発光体標識の交流電源特性とカメラのフレーム率との関係に応じて、時系列画像が点滅する可能性がある。つまり、輝度分布評価部１０４で計算した輝度分布は、常に図２Ａのような分布になるとは限らない。このような状況を考慮し、輝度分布評価部１０４において、図２Ａの高輝度端ピークＰ２の存在が時間的に有無交錯することを許容して、発光体標識を認識してもよい。
【００７７】
さらに、このように発光体標識の時系列画像が点滅することを積極的に利用して、時系列画像が点滅している場合（時系列画像の輝度分布ヒストグラムが大きく変化している場合）には、発光体標識の画像であると判断してもよい。実際には、発光体標識が点灯している場合には高輝度端の度数が高くなるのに対して、発光体標識が消灯している場合には高輝度端の度数が低くなるので、時系列画像における高輝度端の度数の変化が所定の閾値以上の場合に、発光体標識の画像であると判断すればよい。
【００７８】
また、上述した実施の形態では、本発明の標識認識装置及び方法を、道路交通標識の認識に適用した場合について述べたが、本発明はこれに限らず、認識対象に発光体標識と非発光体標識の両方が含まれる場合に広く適用可能である。例えば、ロボットナビゲーションや、リモートセンシングの壁検出装置等の種々の装置にも適用可能である。
【産業上の利用可能性】
【００７９】
本発明は、例えば道路交通標識の内容を認識する標識認識装置に好適である。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態１に係る標識認識装置の構成を示すブロック図
【図２】図２Ａは発光体標識の輝度分布を示すヒストグラム、図２Ｂ及び図２Ｃは非発光体標識の輝度分布を示すヒストグラム
【図３】実施の形態１の動作の説明に供するフローチャート
【図４】実施の形態２の標識認識装置の構成を示すブロック図
【図５】実施の形態２の動作の説明に供するフローチャート
【図６】実施の形態３の標識認識装置の構成を示すブロック図
【図７】実施の形態３の動作の説明に供するフローチャート
【図８】実施の形態３の標識認識装置の構成を示すブロック図
【図９】実施の形態３の動作の説明に供するフローチャート
【図１０】図１０Ａは非発光体の制限速度標識を示す図、図１０Ｂは発光体の制限速度標識を示す図
【符号の説明】
【００８１】
１００、２００、３００、４００ 標識認識装置
１０１ 候補領域抽出部
１０２、１０３ 候補領域調整部
１０４、２０１ 輝度分布評価部
１０５ 照合制御部
１０６ 標準テンプレートデータベース
１１０、３１０、４１０ 照合部
１１１、３１１、４１１ 切替スイッチ
１１２、４１２ 発光体標識照合部
１１３、３１３ 非発光体標識照合部
２０２ カメラパラメータ設定部
２０３ カメラ制御部
３１２、４１３ 白黒反転部
【特許請求の範囲】
【請求項１】
撮像画像から標識の候補領域画像を抽出する候補領域抽出手段と、
前記候補領域画像の輝度分布に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価手段と、
前記候補領域画像と、複数の標識に対応した複数のテンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する照合手段と、
前記候補領域画像が発光体標識と判断されたかあるいは非発光体標識と判断されたかに基づいて、前記照合手段を制御する照合制御手段と、
を具備する標識認識装置。
【請求項２】
前記照合手段は、
前記候補領域画像と発光体標識用の標識テンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する発光体標識照合手段と、
前記候補領域画像と非発光体標識用の標識テンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する非発光体標識照合手段と、
を具備し、
前記照合制御手段は、前記候補領域画像が発光体標識と判断された場合には前記発光体標識照合手段が用いられ、前記候補領域画像が非発光体標識と判断された場合には前記非発光体標識照合手段が用いられるように、前記照合手段を制御する、
請求項１に記載の標識認識装置。
【請求項３】
前記照合手段は、
前記候補領域画像と非発光体標識用の標識テンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する非発光体標識照合手段と、
２値化された前記候補領域画像を白黒反転する白黒反転手段と、
を具備し、
前記照合制御手段は、前記候補領域画像が非発光体標識と判断された場合には前記候補領域画像が前記非発光体標識照合手段によって照合され、前記候補領域画像が発光体標識と判断された場合には前記候補領域画像が前記白黒反転手段によって白黒反転された後に前記非発光体標識照合手段によって照合されるように、前記照合手段を制御する、
請求項１に記載の標識認識装置。
【請求項４】
前記照合手段は、
前記候補領域画像と発光体標識用の標識テンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する発光体標識照合手段と、
２値化された前記候補領域画像を白黒反転する白黒反転手段と、
を具備し、
前記照合制御手段は、前記候補領域画像が発光体標識と判断された場合には前記候補領域画像が前記発光体標識照合手段によって照合され、前記候補領域画像が非発光体標識と判断された場合には前記候補領域画像が前記白黒反転手段によって白黒反転された後に前記発光体標識照合手段によって照合されるように、前記照合手段を制御する、
請求項１に記載の標識認識装置。
【請求項５】
前記輝度分布評価手段は、
前記候補領域画像の輝度分布ヒストグラムにおける、ピークレベル、ピーク間の距離、輝度分布範囲、及び又は、高輝度側と低輝度側とへの集中度に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する、
請求項１から請求項４のいずれかに記載の標識認識装置。
【請求項６】
前記輝度分布評価手段は、
時系列画像における前記候補領域画像の輝度分布ヒストグラムにおいて、高輝度端の度数が時系列で所定値以上変化しているか否かに基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する、
請求項１から請求項４のいずれかに記載の標識認識装置。
【請求項７】
前記標識認識装置は、
前記撮像画像を撮像する撮像手段の露光量を変化させる撮像制御手段を、さらに具備し、
前記輝度分布評価手段は、異なる露光量で撮像された第１及び第２の候補領域画像の輝度分布ヒストグラムにおける、高輝度端ピークのシフトの状態に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する、
請求項１から請求項４のいずれかに記載の標識認識装置。
【請求項８】
撮像画像から標識の候補領域画像を抽出する候補領域抽出ステップと、
前記候補領域画像の輝度分布に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価ステップと、
前記候補領域画像と、複数の標識に対応した複数のテンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する照合ステップと、
前記候補領域画像が発光体標識と判断されたかあるいは非発光体標識と判断されかに基づいて、前記照合ステップでの照合処理を変更する照合制御ステップと、
を含む標識認識方法。
【請求項１】
撮像画像から標識の候補領域画像を抽出する候補領域抽出手段と、
前記候補領域画像の輝度分布に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価手段と、
前記候補領域画像と、複数の標識に対応した複数のテンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する照合手段と、
前記候補領域画像が発光体標識と判断されたかあるいは非発光体標識と判断されたかに基づいて、前記照合手段を制御する照合制御手段と、
を具備する標識認識装置。
【請求項２】
前記照合手段は、
前記候補領域画像と発光体標識用の標識テンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する発光体標識照合手段と、
前記候補領域画像と非発光体標識用の標識テンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する非発光体標識照合手段と、
を具備し、
前記照合制御手段は、前記候補領域画像が発光体標識と判断された場合には前記発光体標識照合手段が用いられ、前記候補領域画像が非発光体標識と判断された場合には前記非発光体標識照合手段が用いられるように、前記照合手段を制御する、
請求項１に記載の標識認識装置。
【請求項３】
前記照合手段は、
前記候補領域画像と非発光体標識用の標識テンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する非発光体標識照合手段と、
２値化された前記候補領域画像を白黒反転する白黒反転手段と、
を具備し、
前記照合制御手段は、前記候補領域画像が非発光体標識と判断された場合には前記候補領域画像が前記非発光体標識照合手段によって照合され、前記候補領域画像が発光体標識と判断された場合には前記候補領域画像が前記白黒反転手段によって白黒反転された後に前記非発光体標識照合手段によって照合されるように、前記照合手段を制御する、
請求項１に記載の標識認識装置。
【請求項４】
前記照合手段は、
前記候補領域画像と発光体標識用の標識テンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する発光体標識照合手段と、
２値化された前記候補領域画像を白黒反転する白黒反転手段と、
を具備し、
前記照合制御手段は、前記候補領域画像が発光体標識と判断された場合には前記候補領域画像が前記発光体標識照合手段によって照合され、前記候補領域画像が非発光体標識と判断された場合には前記候補領域画像が前記白黒反転手段によって白黒反転された後に前記発光体標識照合手段によって照合されるように、前記照合手段を制御する、
請求項１に記載の標識認識装置。
【請求項５】
前記輝度分布評価手段は、
前記候補領域画像の輝度分布ヒストグラムにおける、ピークレベル、ピーク間の距離、輝度分布範囲、及び又は、高輝度側と低輝度側とへの集中度に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する、
請求項１から請求項４のいずれかに記載の標識認識装置。
【請求項６】
前記輝度分布評価手段は、
時系列画像における前記候補領域画像の輝度分布ヒストグラムにおいて、高輝度端の度数が時系列で所定値以上変化しているか否かに基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する、
請求項１から請求項４のいずれかに記載の標識認識装置。
【請求項７】
前記標識認識装置は、
前記撮像画像を撮像する撮像手段の露光量を変化させる撮像制御手段を、さらに具備し、
前記輝度分布評価手段は、異なる露光量で撮像された第１及び第２の候補領域画像の輝度分布ヒストグラムにおける、高輝度端ピークのシフトの状態に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する、
請求項１から請求項４のいずれかに記載の標識認識装置。
【請求項８】
撮像画像から標識の候補領域画像を抽出する候補領域抽出ステップと、
前記候補領域画像の輝度分布に基づいて、前記候補領域画像が発光体標識の画像かあるいは非発光体標識の画像かを判断する輝度分布評価ステップと、
前記候補領域画像と、複数の標識に対応した複数のテンプレートとを照合することで、前記候補領域画像に含まれる標識を特定する照合ステップと、
前記候補領域画像が発光体標識と判断されたかあるいは非発光体標識と判断されかに基づいて、前記照合ステップでの照合処理を変更する照合制御ステップと、
を含む標識認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２６５９１（Ｐ２０１０−２６５９１Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１８３９７６（Ｐ２００８−１８３９７６）
【出願日】平成２０年７月１５日（２００８．７．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月１５日（２００８．７．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]