説明

移動体識別装置、移動体識別プログラム

【課題】移動体について、障害物があったとしても、情報処理量の少ない効率的な処理によって、通過数のみならず、その種類をも、移動体の速度にかかわらず極めて精度の良好な状態で識別可能な移動体識別装置、移動体識別プログラムを提供する。
【解決手段】 演算装置10は、複数種類の移動体の移動方向に交差する短冊画像52について取得し、各短冊画像52に属するライン画像において変化の有無に係るライン画像の境目の位置情報から位置変量を算出し、更にこれに基づき移動体の通過速度を算出して、各短冊画像52における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合して抽出パターン画像56を生成し、移動体の種類ごとに予め格納された登録パターン画像62と抽出パターン画像56とをDPマッチングにより比較して、登録パターン画像62の種類に係る移動体を識別する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理を利用して移動体の種類を識別する移動体識別装置および移動体識別プログラムに関する。
【背景技術】
【0002】
本出願人は、移動体識別装置として、移動体の移動方向に交差するライン型フレーム画像を結合して抽出パターン画像を得、これを所定の登録パターン画像とマッチングするものを提案している(下記特許文献1)。この装置では、障害物が存在したとしても、情報処理量の少ない状態で移動体の通過数および種類を把握することができるが、移動体の速度によって抽出パターン画像の幅が変化し、また所定速度以上の場合に抽出パターン画像の情報量が不足するため、識別精度の若干の低下を招いている。
【0003】
一方、画像処理を利用した移動体の検出装置として、下記特許文献2に記載されたものが知られている。この装置では、移動体の速度にかかわらず安定して移動体を検出するために、動画像のフレーム間の差分をとる際の差分間隔を、移動体の移動速度に基づいて制御する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−338617号公報
【特許文献2】特開平8−241414号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の移動体識別装置における精度の向上を図るため、特許文献2における移動速度に応じた差分間隔制御を採用することが考えられるが、この場合、抽出パターン画像の質を保ちながら幅を同等にする差分間隔制御は困難で、実現したとしても多くの処理量を要するし、所定速度以上の移動体について情報量不足が生じる点について対処することができない。
【0006】
そこで、本発明は、移動体について、障害物があったとしても、情報処理量の少ない効率的な処理によって、通過数のみならず、その種類をも、移動体の速度にかかわらず極めて精度の良好な状態で識別可能な移動体識別装置、または移動体識別プログラムを提供することを目的としたものである。
【課題を解決するための手段】
【0007】
上記目的を達成するために、請求項1に記載の発明は、複数種類の移動体の移動方向に交差する短冊画像について、変化を生じている間取得する短冊画像取得手段と、短冊画像取得手段によって取得された各短冊画像に属する移動方向に交差するライン画像において変化を生じていないものを判定し、変化の生じているライン画像との境目の位置情報を取得する位置情報取得手段と、位置情報取得手段によって取得された位置情報のうち、隣接する時刻に係るものを参照してその変化量である位置変量を算出する位置変量算出手段と、位置変量算出手段によって算出された位置変量の総和を、位置変量の個数で除すことにより、移動体の通過速度を算出する通過速度算出手段と、短冊画像取得手段によって取得された各短冊画像における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合し、抽出パターン画像を生成する抽出パターン画像生成手段と、移動体の種類ごとに、抽出パターン画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、抽出パターン画像生成手段によって生成された抽出パターン画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、DPマッチングにより比較し、抽出パターン画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段とを備えることを特徴とするものである。
【0008】
請求項2に記載の発明は、上記目的に加えて、より一層識別精度と処理効率との両立を図る目的を達成するため、上記発明において、識別手段は、登録パターン画像と抽出パターン画像とを、始端および/または終端に自由度を与える端点フリーDPマッチングにより比較して識別することを特徴とする。
【0009】
請求項3に記載の発明は、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、識別手段は、抽出パターン画像の縦横比に応じて識別結果を変更することを特徴とする。
【0010】
請求項4に記載の発明は、上記目的に加えて、処理効率および識別精度をより一層高水準のものとする目的を達成するため、上記発明において、短冊画像取得手段は、短冊画像を含む平面フレーム画像につき取得するカメラと、カメラにより取得された短冊画像を平滑化するとともに、連続する時刻の短冊画像同士で差分をとることで、短冊画像の変化を把握する差分処理手段と、差分処理手段によって変化の把握された短冊画像を参照する短冊画像ピックアップ手段とを備えることを特徴とすることを特徴とする。
【0011】
請求項5に記載の発明は、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、位置情報取得手段は、短冊画像につき、余白を取り除いたうえで、変化を生じていないライン画像を判定することを特徴とする。
【0012】
上記目的を達成するために、請求項6に記載の発明は、コンピュータにおいて上記の各手段を実現させるための移動体識別プログラムにある。
【0013】
なお、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、短冊画像取得手段は、互いに隣接する短冊画像を取得するよう、複数設置されており、識別手段は、同時刻において、互いに隣接する短冊画像が双方とも取得されている場合に、これら短冊画像から生成されるそれぞれの抽出パターン画像に係る識別結果のうち、最も多いものを識別結果とすることが好ましい。
【0014】
また、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、識別手段は、抽出パターン画像における移動方向に交差する方向に並ぶ部分間において所定以上の濃淡分布差を呈している場合に、抽出パターン画像について、濃淡が均一となるように補正する処理を行うことが好ましい。
【発明の効果】
【0015】
本発明によれば、各短冊画像から移動体の進行速度を割り出すとともに、進行速度に応じた幅で短冊画像の一部を取り出して結合し、これを各種登録パターン画像とDPマッチング(動的計画法)により比較することで、いずれの種類の移動体であるかを判断している。よって、移動体について、障害物があったとしても、情報処理量の少ない効率的な処理によって、通過数のみならず、その種類をも、移動体の速度にかかわらず極めて精度の良好な状態で識別可能である、という効果を奏する。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る移動体識別装置のブロック図である。
【図2】図1における移動体識別装置が実行する移動体識別プログラムのフローチャートである。
【図3】平面フレーム画像における短冊画像(検出領域)の説明図である。
【図4】移動体高さ特定処理の説明図である。
【図5】移動体の通過速度の算出処理を示す説明図である。
【図6】線形濃度変換処理の説明図である。
【図7】濃淡均一化処理の説明図である。
【図8】連携処理の検出対象と検出結果の一例を示す説明図である。
【図9】連携処理の説明図である。
【図10】端点フリーDPマッチングの説明図である。
【図11】抽出パターン画像の縦横比に係る度数分布の説明図である。
【図12】抽出パターン画像の縦横比に係る条件付き度数分布の説明図である。
【図13】識別対象および識別結果の例の説明図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態に係る移動体識別装置について、適宜図面に基づいて説明する。なお、本発明の実施形態は、以下の移動体識別装置や変更例に限定されない。
【0018】
図1は当該移動体識別装置1の説明図であって、移動体識別装置1は、カメラ2と、コンピュータ4とを含む。カメラ2は、動画を撮影可能、すなわち平面フレーム画像を次々に取得可能であって、移動体としての歩行者、自転車(バイクを含む)、自動車、大型車(バス)がほぼ左右方向に移動する動画を取得できる守衛室に設置されている。なおここでは動画は24ビットRGBカラーに係り、フレームレートは毎秒30枚である。
【0019】
コンピュータ4は、カメラ2とのインターフェイス6、記憶装置8、およびこれらと電気的に接続される演算装置10を含む。記憶装置8には、移動体識別プログラム12が格納されている。演算装置10は、CPUやメモリを含み、移動体識別プログラム12を読み込んで、記憶装置8を制御し、あるいはインターフェイス6を介してカメラ2を制御する。
【0020】
移動体識別プログラム12を実行する演算装置10は、図2に示すように、まずカメラ2から動画に係る平面フレーム画像50を取得し、記憶装置8に記憶する(ステップ20)。ここでは、平面フレーム画像50はインターレース解除済み映像であり、その幅は360ピクセル、高さは240ピクセルである。なお、演算装置10は、所定時刻以前の平面フレーム画像50を記憶装置8から消去する。
【0021】
また、演算装置10は、各平面フレーム画像50のうち、所定の縦1本の短冊型の領域内の画像(「ライン型フレーム画像」あるいは「短冊画像」)を切り出して参照する(ステップ21、短冊画像ピックアップ手段)。短冊画像に係る領域は、図3において「検出領域」として示されており、平面フレーム画像50内における障害物(ポール、電柱、ドア等の移動体より手前に映る背景画像)を避けた位置において、複数設定される。演算装置10は、これら短冊画像を順次に参照する。各短冊画像は、幅がWピクセル(ここではW=15)で、高さがHピクセル(ここではH=160〜240)である。なお、各短冊画像は、移動体の移動方向である左右方向に交差するよう、上下方向(縦方向)に設定されている。
【0022】
更に、演算装置10は、前処理として、参照した短冊画像にグレースケール化を施し(ステップ22)、更に平滑化(ステップ24)を施して、前処理済の短冊画像52を得、これを記憶装置8に記憶する。ここで、短冊画像52の濃淡値は、0〜255の256階調である。グレースケール化により、短冊画像52の情報量が減少して以後の処理の負担が軽減され、平滑化により、短冊画像52のノイズを除去し、処理精度が向上する。なお、平滑化は、平均値フィルタ、すなわちある着目ピクセルに対し、その周囲のピクセルの濃度値との平均を取り、その値を着目ピクセルの濃度値とするものを、グレースケール化された短冊画像の全体に適用して行う。演算装置10は、以上の処理を連続して行い、時刻がわずかにずれた短冊画像52を次々に記憶する。
【0023】
加えて、演算装置10は、前処理済の短冊画像52に対し、ステップ26の差分処理を行う(差分処理手段)。本処理において、演算装置10は、記憶装置8に記憶された、同一領域に係る時刻の隣接する2枚の短冊画像52を参照し、これらにおける着目ピクセルの濃淡値の差分を短冊画像52全体においてそれぞれ算出して差分短冊画像54を得る。すなわち、時刻t−1,tにおける短冊画像52における左上からx番目のピクセルの濃淡値を順にIx(t−1),Ix(t)とすると、差分短冊画像54の左上からx番目のピクセルの濃淡値Sx(t)は、次の[数1]に示すものとなる。
【0024】
【数1】

【0025】
演算装置10は、このように求めた差分短冊画像54を、短冊画像52に係る領域ごとに記憶装置8に記憶する。差分短冊画像54は、隣接する時刻の短冊画像52の濃淡値変化を濃淡値とするので、当該時刻間に濃淡値変化のある部分、すなわち移動体部分が現れ、濃淡値変化のない部分、すなわち背景部分はほぼ消える。
【0026】
そして、演算装置10は、短冊画像52において、移動体が存在するか否かの判定(存在判定)を、次のように行う。すなわち、演算装置10は、次の[数2]に示すように、画像濃淡のパワー値Pが所定のしきい値Th以上であると、移動体の有無を判定する値であるMにつき、有りを表す1とし、パワー値Pがしきい値Th未満であると、判定値Mにつき無しを表す0とする。ここでは、しきい値Thは10であり、またパワー値Pは[数3]で示されるものである。
【0027】
【数2】

【数3】

【0028】
演算装置10は、M=1となった差分短冊画像54、すなわち移動体の存在する差分短冊画像54につき、以後M=0(移動体の不存在)となるまで同一領域に関して記憶装置8内に順次保持し、これ以外の差分短冊画像54あるいはその基となった短冊画像52を、必要に応じ記憶装置8から消去する。
【0029】
そして、演算装置10は、保持された各差分短冊画像54に対し、移動体高さ特定処理を行う(ステップ27、図4)。すなわち、演算装置10は、まず、差分短冊画像54における水平方向ピクセル列の平均濃淡値a(h)を次の[数4]から求める。
【0030】
【数4】

【0031】
次に、演算装置10は、各高さ方向の位置hにおける平均濃淡値a(h)を差分短冊画像54の上端および下端から走査して、所定しきい値(ここでは20)以上の濃淡値が初めて現れる高さ方向の位置hを上下についてそれぞれ特定する。続いて、演算装置10は、次の時刻に係る差分短冊画像54について、同様に初めて所定値以上の濃淡値となる高さ方向の位置hをそれぞれ特定し、直前の時刻に係る特定された位置hと比較してより上(あるいは下)であれば特定された位置hを更新し、そうでなければ特定された位置hを維持する。そして、演算装置10は、保持された差分短冊画像54について順次これを繰り返し、最後の特定された位置h、すなわち最も上(下)の位置(ピーク)を得、これらの間の高さが移動体の高さであると特定する。
【0032】
また、演算装置10は、保持された差分短冊画像54のうち、ステップ27で特定された移動体高さの範囲内を参照し(余白の除去)、次のとおり移動体の通過速度(動画フレーム当たりの移動量、平均移動量、[pixel/frame])を、図5に示すように求める(ステップ30)。
【0033】
すなわち、まず、演算装置10は、差分短冊画像54における全ての縦のライン画像(1ピクセル幅の画像)について、それぞれ前記[数2]および[数3]による移動体の存在判定を行う。そして、演算装置10は、1つの差分短冊画像54のうちに、移動体の存在する(M=1)ライン画像と存在しない(M=0)ライン画像とが混在している場合(多くは短冊画像52に係る領域へ移動体が進入あるいは退去している場合)に、それらの境目のライン画像の位置情報(左からみていった際のM=1である最初あるいは最後のライン画像の順位、物体端位置[pixel])を得る(位置情報取得手段)。
【0034】
続いて、演算装置10は、隣接する時刻に係る差分短冊画像54の各位置情報の差分をとることで、移動体の進入時あるいは退去時における位置変量を次々に得る(位置変量算出手段)。なお、演算装置10は、左からみてMが0→1となる場合に移動体の存在位置を右と判断し、Mが1→0となる場合に移動体の存在位置を右と判断する。演算装置10は、進入時において移動体の存在位置が右であり、および/または退去時において移動体の存在位置が左である場合に、移動体の進行方向を右と判断し、これと逆の場合は左と判断する。
【0035】
更に、演算装置10は、次の[数5]に示すように、位置変量「Movement」の総和を位置変量の数「number of Movements」で除すことにより算出される位置変量の平均値をもって移動体の通過速度「Speed」とする(通過速度算出手段)。
【0036】
【数5】

【0037】
そして、演算装置10は、各差分短冊画像54から、移動体の通過速度に応じた幅である部分(ライン画像の集合)を取り出し、時刻順に移動体の移動方向と逆に接続していくことで、各差分短冊画像54を結合し、移動体の抽出パターン画像56として記憶装置8に記憶する(ステップ32)。なお、通過速度が整数でない場合は、例えば小数点以下部分が累積により1以上となった場合にライン画像を1本多く参照し、そうでないときは整数部分による本数のライン画像を参照するといったように、適宜調整して参照する。
【0038】
更に、演算装置10は、抽出パターン画像56について、移動体の検出位置(基の差分短冊画像54に係る領域の位置)や通過速度等により相違する濃淡度合いや縦横の大きさをそろえるため、以下のパターン画像加工処理(ステップ34)を行い、記憶装置8に記憶する。すなわち、演算装置10は、抽出パターン画像56の濃淡度合いを整えるため、全ピクセルに対して、[数6]に示す線形濃度変換処理を行う(図6)。
【0039】
【数6】

【0040】
また、特に自転車についてタイヤ部分の濃度が運転者部分と比べ不足することで歩行者と誤認識することが多いことに鑑み、抽出パターン画像56が移動方向に交わる方向(垂直方向、高さ方向)に並ぶ部分において所定以上の濃淡分布差を呈している場合、演算装置10は、抽出パターン画像56について、濃淡が均一となるように補正する処理(濃淡均一化処理)を、ここでは次のように行う。すなわち、まず、演算装置10は、抽出パターン画像56の各水平方向1ラインにおける最大濃淡差を求める。次に、演算装置10は、抽出パターン画像56を垂直方向に並ぶように均等に3分割した場合の上部分と下部分とで、前記最大濃淡差を合計する。続いて、演算装置10は、前記上部分における最大濃淡差の和が、前記下部分における最大濃淡差の和に対して2倍以上の大きさであるか否かを判定し、2倍以上の大きさであったら、抽出パターン画像56を垂直方向に並ぶように均等に2分割した場合の下半分における全ピクセルに対して、[数6]に示す線形濃度変換処理を更に行う。なお、濃淡均一化処理を施した抽出パターン画像56の一例等を図7に示す。
【0041】
一方、演算装置10は、抽出パターン画像56について大きさを整えるため、最近傍法(ニアレストネイバー)による伸縮処理を施して、抽出パターン画像56の高さを統一する(高さの正規化)。またこの際、演算装置10は、高さの伸張率に比例して抽出パターン画像56の横幅を同様に伸張することで、移動体本来のアスペクト比を保持する。なお、統一される高さは、ここでは120ピクセルである。
【0042】
演算装置10は、以上の短冊画像52の参照(ステップ21)から抽出パターン画像56の加工(ステップ34)までの処理を、設定した検出領域ごとに併行して行う(複数の領域による検出処理)。演算装置10は、複数の領域による検出処理の実行により、1つの移動体から多数の抽出パターン画像56を生成取得することができる。また、演算装置10は、次に説明するように、これら領域の連携処理を行うこともできる(図8、図9)。
【0043】
すなわち、図8(a)に示すように、演算装置10は、隣接する領域における短冊画像52を同時に次々に参照し、図8(b)に示すように、これらそれぞれを処理して次々に抽出パターン画像56を生成するが、図9(1)に示すように、平面フレーム画像50の端に配置された領域において、時刻t−1で移動体が隣接領域を含めて存在しないにもかかわらず時刻tで検出された場合には、移動体が端から中央へ入ってくるものとして進入方向を決定する。また、演算装置10は、図9(2)に示すように、平面フレーム画像50の中間領域において、時刻t−1で移動体が隣接領域を含めて存在しないにもかかわらず時刻tで検出された場合には、連携処理においては進入方向を未決定とする。
【0044】
一方、演算装置10は、図9(3)に示すように、いずれか一方の隣接領域において時刻t−1で移動体が存在し、時刻tで着目領域において移動体が検出された場合には、原則として、隣接領域から着目領域の方向へ移動体が進行したと判定する(同(b),(c))。ただし、演算装置10は、隣接領域において進行方向が逆と決定されていた場合は、着目領域における進行方向を未決定とする(同(a))。
【0045】
また、演算装置10は、図9(4)に示すように、双方の隣接領域において時刻t−1で移動体が存在し、時刻tで着目領域において移動体が検出された場合には、時刻t−1の双方の隣接領域で進行方向が同じであれば時刻tの着目領域における進行方向をその方向とし(同左(a),(b))、時刻t−1の双方の隣接領域で進行方向が未決定であれば時刻tの着目領域における進行方向を未決定とし(同左(c))、時刻t−1の双方の隣接領域で進行方向が互いに逆であれば時刻tの着目領域における進行方向を未決定と(同右(a),(b))する。
【0046】
なお、演算装置10は、図9(3)〜(4)のときのように、隣接領域から着目領域に移動体の存在が移る場合においては、隣接領域と着目領域との関連づけを行い、隣接領域で得られた抽出パターン画像56と着目領域で得られた抽出パターン画像56とは同一の移動体に属するものとして、記憶装置8に記憶しておく。
【0047】
一方、記憶装置8には、抽出パターン画像56に対応する登録パターン画像62が格納されている。登録パターン画像62は、移動体の種類ごとに試験的に抽出パターン画像56を取得し、その平均的なものを選択して得られる。登録パターン画像62は、移動体の同一種類に対して複数設けられ得る。また、抽出パターン画像56は正規化され、上下方向のピクセル数(高さ)が120ピクセルに統一されることから、登録パターン画像62の高さも、抽出パターン画像と同じ120ピクセルとしてある。なお、記憶装置8における登録パターン画像62の記憶領域が、登録パターン画像記憶手段に相当する。
【0048】
そして、演算装置10は、抽出パターン画像56と、各登録パターン画像62とを比較し、抽出パターン画像56がどの種類の登録パターン画像62と一致するかを判定する(識別処理、ステップ40)。この判定においては、DPマッチング(動的計画法による判定)を用い、特に図10に示すような、始端および終端に自由度を与える端点フリーDPマッチングを利用する。なお、ステップ40を実行する演算装置10が、識別手段に相当する。また、図10では、理解を容易にするため、抽出パターン画像56を模式的に示して未知パターンと称するとともに、模式的な登録パターン画像62を横転させてある。
【0049】
当該DPマッチングにおいて、フレーム間距離d(i,j)は、次の[数7]のように定義する。また、端点フリー区間は、ここでは3に設定する。更に、対称型パスとして、[数8]に示すものを使用する。なお、この対称型パスは、図10のほぼ中央において黒点とこれを結ぶ線とで模式的に示される。
【0050】
【数7】

【数8】

【0051】
また、始端点フリー区間Δ,Δにおいては、次の[数9]で示されるような(j+1)および(i+1)で重み付けされたパスを用いる。
【0052】
【数9】

【0053】
更に、終端点フリー区間Δ’,Δ’において、次の[数10]に示すように正規化累積距離G(i,j)の最小値を正規化最小累積距離Dとし、これを識別の距離尺度として用いる。ここで、正規化累積距離G(i,j)は次の[数11]で表される。
【0054】
【数10】

【数11】

【0055】
そして、ステップ40を実行する演算装置10は、抽出パターン画像56との関係で、正規化最小累積距離Dを各登録パターン画像62において算出し、これが最小となる登録パターン画像62について、DPマッチングに係る抽出パターン画像56と登録パターン画像62の距離が最も少ないものとして、抽出パターン画像56がその登録パターン画像62と一致するものとして判定する。
【0056】
すなわち、演算装置10は、ステップ40において、まず[数7]に基づき、I×J個のローカル距離d(i,j)を計算する。次に、演算装置10は、[数8]あるいは[数9]に基づき、(i,j)=(0,0)の地点から、隣接地点(1,0)、(0,1)、(1,1)のg(i,j)を計算し、更に隣接する地点のg(i,j)を計算し、これを繰り返す。なお、演算装置10は、[数8]の計算において、g(i−1,j−2)+2d(i,j−1)、g(i−1,j−1)+d(i,j)、およびg(i−2,j−1)+2d(i−1,j)の全ての計算を実行し、これら結果を記憶し、これら記憶値を比べて最小値をとる。この3個の式のうち、一番最初のものが、図10における右上がり後縦方向のパスであり、右上がり前の地点での累積距離gに、右上がり後の地点でのローカル距離dを、2倍の重み付けをして加える。また、中央のものが、図10における右上がりのみのパスであり、右上がり前の地点での累積距離gに、右上がり後の地点でのローカル距離dをそのまま加える。また、最後のものが、図10における右上がり後横方向のパスであり、右上がり前の地点での累積距離gに、右上がり後の地点でのローカル距離dを、2倍の重み付けをして加える。
【0057】
演算装置10は、このようにして累積距離gを計算していき、[数11]に示すようなi+jで割ることで得られる正規化累積距離Gを得、更に[数10]に示すように、I−Δ’≦i≦IあるいはJ−Δ’≦j≦Jの地点にたどり着いた正規化累積距離Gの中から最小のものを選出し、正規化最小累積距離Dを演算する。
【0058】
以上により、図10における灰色部分以外においてDPパスが生成され、従って登録パターン画像62の幅に対し、識別できる抽出パターン画像56の幅は、2分の1ないしは2倍となり、登録パターン画像62の幅と抽出パターン画像56の幅とが合わなかったとしても、すなわち正規化後の抽出パターン画像56の主に左右方向の長さ(ピクセル数)が移動体の通過速度により様々なものとなったとしても、登録パターン画像62との比較が可能となる。なお、登録パターン画像62は、このような識別できる抽出パターン画像56の幅に鑑みて、平均的な幅のものを選定する。
【0059】
また、ステップ32において、抽出パターン画像56は、移動体の通過速度に応じ、通過速度が速いほど、各短冊画像52からライン画像をより多く(各短冊画像52の一部分をより幅の広い状態で)参照して結合することによって生成されるので、通過速度に依らず抽出パターン画像56の幅がほぼ一定となり、登録パターン画像62の幅の2分の1から2倍の間に収まって、移動体の通過速度にかかわらず抽出パターン画像56を登録パターン画像62と比較することができる。
【0060】
なお、移動体が極めて遅い場合には、結局背景と同様に処理され、進入のため有効に移動し始めたときにはライン型フレーム画像の結合がなされる。また、[数7]ないしは[数11]による端点フリーDPマッチングにより、移動体の検出領域に対する進入の始めないしは終わりの態様が変わっても、Δ,ΔあるいはΔ’,Δ’の幅の範囲であれば、抽出パターン画像56と登録パターン画像62との比較が可能となる。そして、変化のあった短冊画像52を結合して抽出パターン画像56を形成することもあり、平面フレーム画像50を逐一監視して動的にDPマッチングにおける比較対象の開始点ないしは終了点を把握する必要がない。
【0061】
このようにして、演算装置10は、端点フリーDPマッチングにより、抽出パターン画像56と各種登録パターン画像62とを比較し、正規化最小累積距離Dが最小となる登録パターン画像62と抽出パターン画像56とが一致したものと判定し、正規化最小累積距離Dが最小となった登録パターン画像62の種類に係る移動体が通過したと識別して、例えば、その計数のための変数に1を加え、記憶装置8に記憶する。
【0062】
ただし、演算装置10は、連携処理により他の検出領域において同一の移動体に属する抽出パターン画像56が存在している判断している場合、識別結果を出すことを一旦留保し、連携処理により複数の検出領域において同一の移動体に属する抽出パターン画像56が実際に複数得られた場合、演算装置10は、各抽出パターン画像56における各識別結果を個別に出して参照し、最も多い識別結果をその移動体における識別結果とする(投票方式)。
【0063】
また、演算装置10は、歩行者および自転車に係る抽出パターン画像56が人を含む画像として互いに似ていることに鑑み、特に識別結果が歩行者と自転車となった場合において、次に述べるように、抽出パターン画像56の縦横比(アスペクト比、横が長いほど大きくなる)が、試行結果の統計的分布に基づき設定された所定値(境界値)以上であれば、識別結果が歩行者であっても自転車に変更し、当該境界値未満であれば、識別結果が自転車であっても歩行者に変更する(縦横比区分処理)。
【0064】
すなわち、予め相当数の歩行者および自転車に係る抽出パターン画像56を取得し、それぞれの縦横比と頻度の関係の度数分布を求め、更に正規分布に近似する(図11)。次に、これらの正規分布に基づくベイズ決定則により歩行者と自転車との識別の基準を得る。すなわち、これらの正規分布を、歩行者(クラスω)および自転車(クラスω)の確率密度関数p(x|ω)(i=1,2)に基づいて生起しているとみなし、クラスωの生起確率をP(ω)、未知パターンxの生起確率をp(x)とし、未知パターンxがクラスωに属する確率をP(ω|x)とすると、次の[数12]〜[数14]が成り立ち、またベイズの定理より[数15]が成り立つ。なお、P(ω)は事前に統計的に求めうる事前確率であり、P(ω|x)は未知パターンx発生後に決定される事後確率である。
【0065】
【数12】

【数13】

【数14】

【数15】

【0066】
ベイズの定理が示すP(ω|x)は、未知パターンxが入力されたとき、その所属するクラスがωである確からしさを示しているので、[数16]として次に示すように、未知パターンxを識別する際に事後確率であるP(ω|x)が最大となるωを識別結果とする(ベイズ決定則)。そして、[数16]を識別関数とみなし、更に[数15]のp(x)が各クラスにおける共通因子であることを考慮すると、結局識別関数は次の[数17]となる。
【0067】
【数16】

【数17】

【0068】
以上の関係を用い、統計的に求められた縦横比分布の平均や分散を求め、正規分布を表す次の[数18]における平均μや分散σに適用する。そして、ここではクラスωの生起確率P(ω)を、いずれも0.5と定める。なお、各クラスの条件付き確率密度分布の例を図12に示す。
【0069】
【数18】

【0070】
そして、予め統計的分布に基づいて得た確率密度分布に基づき、図12の各条件付き確率密度分布の交点におけるxを上記境界値(ベイズ境界x)と定める。このとき、歩行者の分布においては、真の状態が自転車(クラスω)であるが観測した縦横比がx以下である場合に識別誤りが生じ、その誤りの確率は次の[数19]となる。一方、自転車の分布においては、真の状態が歩行者(クラスω)であるが観測した縦横比がx以上である場合に識別誤りが生じ、その誤りの確率は次の[数20]となる。これら誤り確率の和が小さいほど、識別性能が高いために、境界値をベイズ境界xとする。
【0071】
【数19】

【数20】

【0072】
演算装置10は、以上の処理を適宜繰り返し、移動体につきその種類を識別する。
【0073】
上記移動体識別プログラム12を実行する移動体識別装置1における識別結果の例を以下説明する。移動体識別装置1では、例えば図13における「検出対象」について、「検出結果」のような抽出パターン画像56を得た。そして、次の[表1]に示すように、移動体の種類ごとに2枚または1枚の登録パターン画像62を設定し、54〜7個の移動体に対して識別結果を2通り得た。
【0074】
【表1】

【0075】
このうち、移動体の進行速度を考慮した抽出パターン画像56の合成のみを行って得た識別結果を、次の[表2]に示す。この場合、85%以上の識別率を確保でき、歩行者と自転車以外は完全に識別できている。
【0076】
【表2】

【0077】
一方、移動体の進行速度の考慮に加え、連携処理に基づく投票方式の導入、濃淡均一化処理、および縦横比区分処理を施した場合の識別結果を、次の[表3]に示す。この場合、自転車以外は完全に識別でき、登録パターン画像62が4種全7個であっても、全体としての識別率を98.0%という高いものとすることができている。なお、濃淡均一化処理の適用により、不適用時に比べて約半数の識別エラーが抑制された。
【0078】
【表3】

【0079】
上記移動体識別プログラム12を実行する移動体識別装置1では、複数種類の移動体の移動方向に交差する短冊画像52について、変化を生じている間取得し、各短冊画像52に属する移動方向に交差するライン画像において変化を生じていないものを判定し、変化の生じているライン画像との境目の位置情報を取得し、更に、隣接する時刻に係る位置情報を参照してその変化量である位置変量を算出し、位置変量の総和を位置変量の個数で除すことにより移動体の通過速度を算出し、各短冊画像52における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合し、抽出パターン画像56を生成し、移動体の種類ごとに、抽出パターン画像56に対応するように予め決定された登録パターン画像62を格納し、抽出パターン画像56と登録パターン画像62とを、DPマッチングにより比較し、抽出パターン画像56がいずれの種類の登録パターン画像62と一致するかを判別して、一致した登録パターン画像62の種類に係る移動体を識別するので、移動体を捕捉するまでは短冊画像52の監視のみで足り、平面フレーム画像50全体の処理と比べて情報処理量が格段に少なくて済むし、平面フレーム画像50に障害物があったとしても移動体を識別することができる。また、DPマッチングにより、抽出パターン画像56と登録パターン画像62との一致を把握するので、短冊画像52の結合である抽出パターン画像56が、移動体の位置や速度等によって様々に変化しても、一致不一致を判別でき、情報処理量が少なくても、移動体の種類の識別まで精度良く可能になる。そしてこのような情報処理の効率化と種類識別精度との両立により、現実的な移動体識別が即座に可能となる。更に、各短冊画像52における移動体の通過速度に応じた幅の部分を取り出して結合することで抽出パターン画像56を作成するので、通過速度が速くなるほど各短冊画像52の情報を多く取り出すことができ、また通過速度が遅くても必要十分な情報のみ参照して余分な情報を取り出さないようにすることができ、どのような通過速度であっても同等な抽出パターン画像56を得ることができて、通過速度に依らず高精度な識別に供することができる。
【0080】
また、演算装置10は、特に登録パターン画像62と抽出パターン画像56とを、始端および/または終端に自由度を与える端点フリーDPマッチングにより比較するので、動的DPマッチングのような膨大な処理量は不要であり、より一層効率の良い移動体識別が可能となる。
【0081】
更に、演算装置10は、平面フレーム画像50内において互いに隣接する短冊画像52を取得し、同時刻において、互いに隣接する短冊画像52が双方とも取得されている場合に、これら短冊画像52から生成されるそれぞれの抽出パターン画像に係る識別結果のうち、最も多いものを識別結果とするため、同一の移動体に対して複数の処理結果の多数決(投票)によって最終的な処理結果を決定することができ、より一層識別精度を高くすることができる。
【0082】
加えて、演算装置10は、抽出パターン画像56における移動方向に交差する方向に並ぶ部分同士で所定以上の濃淡分布差がある場合に、抽出パターン画像について、濃淡が均一となるように補正する処理を行うので、濃淡の不均等による識別誤りを是正して、識別精度を更に向上することができる。
【0083】
また、演算装置10は、抽出パターン画像の縦横比に応じて識別結果を変更するので、進行速度に応じて作成されるために適正な横幅となる抽出パターン画像56の当該横幅に基づいて識別誤りを補正することができ、特に識別結果を変更する基準としての縦横比の境界値を統計的手法により求めれば、誤りの発生を効果的に減少することができる。
【0084】
更に、移動体識別装置1は、平面フレーム画像50を取得するカメラ2と、カメラ2により取得された各平面フレーム画像50内の短冊画像52を平滑化するとともに、連続する時刻の短冊画像52同士で差分をとることで、短冊画像52の変化を把握する差分処理手段と、変化の把握された短冊画像52を参照する短冊画像ピックアップ手段とを備えるため、抽出パターン画像56を背景情報がなくかつノイズが少ない状態で得ることができ、より一層処理速度や精度を向上できる。
【0085】
加えて、演算装置10は、短冊画像52につき、余白を取り除いたうえで変化を生じていないライン画像を判定するので、移動体の進行速度をより正確に把握することができ、適正な抽出パターン画像56を作成して正確な識別結果に寄与することができる。
【0086】
なお、主に上記実施形態を変更してなる本発明の他の実施形態を例示する。カメラにつき24ビット以外のカラー動画を取得するものとする。あるいは、カメラにつきグレースケール動画を取得するものとし、グレースケール化を省略する。カメラにつき白黒動画を取得するものとし、二値化された短冊画像により抽出パターン画像を生成し、二値化された登録パターン画像と比較する。カメラにつき短冊画像を取得するものとする。また、平滑化処理等を省略する。
【0087】
DPマッチングにおいて、他のパラメータを用いたり、他の形式の数式を用いたり、非対称型のパスを用いたり、他の重み付けに係るパスを用いたり、始端あるいは終端のみ自由度を与えたりする。各種登録パターン画像の種類を変えあるいは増減したり、1個の抽出パターン画像に対して所定の順番で登録パターンと比較するようにし、累積距離が所定値(例えば正規化時において0.1以下)となると当該登録パターンと一致するとみなして識別処理を終了するようにしたりする。
【0088】
登録パターン画像につき、極端な特徴を有するものを手動選択したり、コンピュータによって自動的に平均的あるいは特徴的なものを選択したり、手動あるいは自動で平均的あるいは特徴的なものを作成したりする。各種値につき、正規化を省略する。また、識別された移動体の種類につき、表示装置、ランプ、ブザー等の出力装置に出力する。
【0089】
差分短冊画像の階調の数を256階調から増減する。平面フレーム画像や正規化後の抽出パターン画像等の高さを240ないし120ピクセルから増減する。平面フレーム画像の高さと、短冊画像の高さと、正規化後の抽出パターン画像の高さと、登録パターン画像の高さとを、一部あるいは全部において互いに異なるものとする。短冊画像の幅を、15から増減する(少なくとも複数ピクセルは必要である)。
【0090】
連携処理、連携処理に基づく投票方式の導入、濃淡均一化処理、および縦横比区分処理のうちの一部あるいは全部を省略する。縦横比区分処理の統計化処理に際して、正規分布やベイズの定理以外の分布や統計手法等を採用する。短冊画像やライン画像における移動体の存在判定につき、所定濃度以上のピクセルが所定数以上現れた場合に存在していると判定するもの等とする。また、濃度の均一化に際し、非線形の濃度変換等を行う。
【産業上の利用可能性】
【0091】
上記移動体識別装置は、構内に進入する移動体を自動識別して警備を支援する目的の他、車両別の交通量の自動把握や、工場における物品の種類ごとの流量の自動把握等の目的等に利用することができる。
【符号の説明】
【0092】
1 移動体識別装置
2 カメラ
4 コンピュータ
6 インターフェイス
8 記憶装置
10 演算装置
12 移動体識別プログラム

【特許請求の範囲】
【請求項1】
複数種類の移動体の移動方向に交差する短冊画像について、変化を生じている間取得する短冊画像取得手段と、
短冊画像取得手段によって取得された各短冊画像に属する移動方向に交差するライン画像において変化を生じていないものを判定し、変化の生じているライン画像との境目の位置情報を取得する位置情報取得手段と、
位置情報取得手段によって取得された位置情報のうち、隣接する時刻に係るものを参照してその変化量である位置変量を算出する位置変量算出手段と、
位置変量算出手段によって算出された位置変量の総和を、位置変量の個数で除すことにより、移動体の通過速度を算出する通過速度算出手段と、
短冊画像取得手段によって取得された各短冊画像における通過速度に応じた幅の部分を参照し、当該部分を移動体の移動方向と逆の方向へ時刻順に結合し、抽出パターン画像を生成する抽出パターン画像生成手段と、
移動体の種類ごとに、抽出パターン画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、
抽出パターン画像生成手段によって生成された抽出パターン画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、DPマッチングにより比較し、抽出パターン画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段と
を備えることを特徴とする移動体識別装置。
【請求項2】
識別手段は、登録パターン画像と抽出パターン画像とを、始端および/または終端に自由度を与える端点フリーDPマッチングにより比較して識別する
ことを特徴とする請求項1に記載の移動体識別装置。
【請求項3】
識別手段は、抽出パターン画像の縦横比に応じて識別結果を変更する
ことを特徴とする請求項1または請求項2に記載の移動体識別装置。
【請求項4】
短冊画像取得手段は、
短冊画像を含む平面フレーム画像につき取得するカメラと、
カメラにより取得された短冊画像を平滑化するとともに、連続する時刻の短冊画像同士で差分をとることで、短冊画像の変化を把握する差分処理手段と、
差分処理手段によって変化の把握された短冊画像を参照する短冊画像ピックアップ手段と
を備えることを特徴とする請求項1ないしは請求項3のいずれかに記載の移動体識別装置。
【請求項5】
位置情報取得手段は、短冊画像につき、余白を取り除いたうえで、変化を生じていないライン画像を判定する
ことを特徴とする請求項1ないしは請求項4のいずれかに記載の移動体識別装置。
【請求項6】
コンピュータにおいて請求項1ないしは請求項5のいずれかに記載の各手段を実現させるための移動体識別プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−99121(P2012−99121A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2011−265972(P2011−265972)
【出願日】平成23年12月5日(2011.12.5)
【分割の表示】特願2007−140918(P2007−140918)の分割
【原出願日】平成19年5月28日(2007.5.28)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 1.研究集会における文書による発表▲1▼ (1)研究集会名 ViEW2006ビジョン技術の実利用ワークショップ講演(2)主催者名 社団法人精密工学会(3)開催日 平成18年12月7日 2.研究集会における文書による発表▲2▼ (1)研究集会名 電気学会通信研究会(2)主催者名 社団法人電気学会(3)開催日 平成19年1月26日 3.上記2.に伴う刊行物による発表 (1)発行者名 社団法人電気学会(2)刊行物名 電気学会研究会資料(3)巻数・号数 通信研究会CMN−07−8〜13(4)発行年月日 2007年1月26日
【出願人】(000213297)中部電力株式会社 (811)
【出願人】(399123926)梅テック 有限会社 (11)
【Fターム(参考)】