移動体識別装置、移動体識別プログラム
【課題】 移動体について、障害物があったとしても、情報処理量の少ない効率的な処理によって、移動体の通過数のみならず、その種類をも精度良く識別する。
【解決手段】 演算装置１０は、複数種類の移動体の移動方向に交差する１本のラインに係るライン型フレーム画像５６について変化を生じている間取得し、これら各ライン型フレーム画像５６を移動体の移動方向と逆の方向へ時刻順に結合して抽出サンプル画像６０を生成する一方、移動体の種類ごとに、抽出サンプル画像６０に対応するように予め決定された登録パターン画像６２を記憶装置８に格納し、生成された抽出サンプル画像６０と、記憶装置８に格納された登録パターン画像６２とを、ＤＰマッチングにより比較し、抽出サンプル画像６０がいずれの種類の登録パターン画像６２と一致するかを判別して、一致した登録パターン画像６２の種類に係るものとして移動体を識別する。
【解決手段】 演算装置１０は、複数種類の移動体の移動方向に交差する１本のラインに係るライン型フレーム画像５６について変化を生じている間取得し、これら各ライン型フレーム画像５６を移動体の移動方向と逆の方向へ時刻順に結合して抽出サンプル画像６０を生成する一方、移動体の種類ごとに、抽出サンプル画像６０に対応するように予め決定された登録パターン画像６２を記憶装置８に格納し、生成された抽出サンプル画像６０と、記憶装置８に格納された登録パターン画像６２とを、ＤＰマッチングにより比較し、抽出サンプル画像６０がいずれの種類の登録パターン画像６２と一致するかを判別して、一致した登録パターン画像６２の種類に係るものとして移動体を識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を利用して移動体の種類を識別する移動体識別装置および移動体識別プログラムに関する。
【背景技術】
【０００２】
従来の画像処理を利用した移動体の認識方法として、下記特許文献１に記載されたジェスチャ動画像認識方法が知られている。この方法では、動画像の中から２次元のエッジ情報を逐一取り出して標準パターンと整合し、ジェスチャの内容を把握する。しかし、この方法では、エッジ情報を取り出すにあたり、動画像の各フレームについて複雑な処理を行わなければならず、情報処理量が膨大になるうえ、ジェスチャ動画像を得る際に障害物があると識別不能となり、一般の警備目的などに用いようとしても、リアルタイムに移動体を認識することが到底できないなどの不具合がある。
【０００３】
一方、情報処理量の少ない移動体の認識方法として、下記特許文献２に記載された移動物体計数処理方法が知られている。この方法では、画素列を予め蓄積した背景値と差分処理し、これを時間軸方向に連結して動物体像を形成し、この動物体像を計数することで、移動体の通過数を計数する。
【０００４】
【特許文献１】特許第３１２２２９０号公報
【特許文献２】特許第３１９０８３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来の移動物体計数処理方法は、確かにジェスチャ動画像認識方法に比べ、要求される情報処理量が現実的であるが、通過した移動体の種類が識別できない。移動体の種類が識別できないと、例えば警備目的で使用する場合に、通過した移動体が自動車か歩行者かで異なる対応をとることができないといったように、移動体の種類に応じた処理を行えない。
【０００６】
そこで、本発明は、移動体について、障害物があったとしても、情報処理量の少ない効率的な処理によって、通過数のみならず、その種類をも精度良く識別可能な移動体識別装置または移動体識別プログラムを提供することを目的としたものである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の発明は、複数種類の移動体の移動方向に交差する１本のラインに係るライン型フレーム画像について、変化を生じている間取得するライン型フレーム画像取得手段と、ライン型フレーム画像取得手段によって取得された各ライン型フレーム画像を、移動体の移動方向と逆の方向へ時刻順に結合し、抽出サンプル画像を生成する抽出サンプル画像生成手段と、移動体の種類ごとに、抽出サンプル画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、抽出サンプル画像生成手段によって生成された抽出サンプル画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、ＤＰマッチングにより比較し、抽出サンプル画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段とを備えることを特徴とするものである。
【０００８】
請求項２に記載の発明は、上記目的に加えて、より一層識別精度と処理効率との両立を図る目的を達成するため、上記発明において、識別手段は、登録パターン画像と抽出サンプル画像とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較して識別することを特徴とする。
【０００９】
請求項３に記載の発明は、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、ライン型フレーム画像取得手段は、互いに異なるラインに係るライン型フレーム画像を取得するよう、複数設置されていることを特徴とする。
【００１０】
請求項４に記載の発明は、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、ライン型フレーム画像取得手段は、ラインに係る平面フレーム画像につき取得するカメラと、カメラにより取得された各平面フレーム画像を平滑化するとともに、連続する時刻の平面フレーム画像同士で差分をとることで、ライン型フレーム画像の変化を把握する差分処理手段と、差分処理手段によって変化の把握されたラインに係るライン型フレーム画像を参照するライン型フレーム画像ピックアップ手段とを備えることを特徴とする。
【００１１】
請求項５に記載の発明は、上記目的に加えて、より一層効率良い処理とする目的を達成するため、上記発明において、ライン型フレーム画像取得手段は、ライン型フレーム画像または平面フレーム画像を、グレースケールまたは白黒二値で取得し、あるいは、抽出サンプル画像生成手段は、抽出サンプル画像を、グレースケールまたは白黒二値で生成することを特徴とする。
【００１２】
請求項６に記載の発明は、上記目的に加えて、より一層効率良い処理とする目的を達成するため、上記発明において、抽出サンプル画像生成手段は、抽出サンプル画像につき、余白を取り除いたうえで、移動方向と交差する方向で正規化することを特徴とする。
【００１３】
上記目的を達成するために、請求項７に記載の発明は、コンピュータにおいて上記の各手段を実現させるための移動体識別プログラムにある。
【発明の効果】
【００１４】
本発明によれば、各ライン型フレーム画像（短冊画像）を結合し、これを各種登録パターン画像とＤＰマッチング（動的計画法）により比較することで、いずれの種類の移動体であるかを判断している。よって、障害物があったとしても、情報処理量の少ない効率的な処理によって、リアルタイムに、移動体の通過数のみならず、その種類をも精度良く識別可能である、という効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態に係る移動体識別装置について、適宜図面に基づいて説明する。図１は当該移動体識別装置１の説明図であって、移動体識別装置１は、カメラ２と、コンピュータ４とを含む。カメラ２は、２４ビットカラー動画を撮影可能、すなわち２４ビットカラーの平面フレーム画像を次々に取得可能であって、移動体としての歩行者、自転車（バイクを含む）、自動車、大型車（バス）がほぼ左右方向に移動する動画（図３等参照）を取得できる守衛室に設置されている。
【００１６】
コンピュータ４は、カメラ２とのインターフェイス６、記憶装置８、およびこれらと電気的に接続される演算装置１０を含む。記憶装置８には、移動体識別プログラム１２が格納されている。演算装置１０は、ＣＰＵやメモリを含み、移動体識別プログラム１２を読み込んで、記憶装置８を制御し、あるいはインターフェイス６を介してカメラ２を制御する。
【００１７】
移動体識別プログラム１２を実行する演算装置１０は、図２に示すように、まずカメラ２から動画に係る平面フレーム画像５０を取得し、記憶装置８に記憶する（ステップ２０）。次に、演算装置１０は、記憶した平面フレーム画像をグレースケール化し（ステップ２２、図３）、更に平滑化（ステップ２４、図４）して平滑化された平面フレーム画像５２を得、これを記憶装置８に記憶する。グレースケール化により、画像の情報量が減少して以後の処理の負担が軽減され、平滑化により、平面フレーム画像のノイズを除去し、処理精度が向上する。なお、平滑化は、平均値フィルタ、すなわちある着目画素に対し、その周囲の画素の濃度値との平均を取り、その値を着目画素の濃度値とするものを、平面フレーム画像全体に適用して行う。演算装置１０は、以上の処理を連続して行い、時刻がわずかにずれた平滑化平面フレーム画像を次々に記憶する。
【００１８】
一方、演算装置１０は、上記処理と併行して、ステップ２６の差分処理を行う（差分処理手段）。本処理において、演算装置１０は、記憶装置８に記憶された、時刻の隣接する２枚の平滑化された平面フレーム画像５２を参照し、これらにおける着目画素の輝度の差分を平面フレーム画像５２全体においてそれぞれ算出して差分画像５４（図５参照）を得、これを記憶装置８に記憶する。差分画像５４は、時刻の隣接する平面フレーム画像５２の輝度変化を輝度とするので、当該時刻間に輝度変化のある部分、すなわち移動体部分が現れ、輝度変化のない部分、すなわち背景部分はほぼ消える。
【００１９】
更に併行して、演算装置１０は、差分画像５４のうち、所定の縦１ラインの部分、すなわち１本のラインを参照する（ライン型フレーム画像ピックアップ手段）。ここで、１本のラインは、幅が１画素で、高さが平面フレーム画像と同一であり、図６において黒色のラインとして示されるものである。なお、当該ラインは、移動体の移動方向である左右方向に交差するよう、上下方向（縦方向）に設定されている。また、当該ラインは、平面フレーム画像内における障害物、すなわちポール、電柱、ドアなどの平面フレーム画像内において、移動体より手前に映る背景画像を避けた位置に設定される。
【００２０】
そして、演算装置１０は、当該ラインにおいて、ある所定値以上の輝度を有する画素が、ある所定数以上出現した場合に、ライン走査（ステップ３０）およびライン型フレーム画像の結合（ステップ３２）を始める。ここでは、差分画像５４が２５６階調、高さ１２０画素である場合において、当該ラインに、３２以上の輝度を有する画素が、４８画素以上出現した場合に、ステップ３０，３２を始める。
【００２１】
演算装置１０は、ライン走査において、ラインにおける全画素の輝度を、ライン型フレーム画像５６として記憶装置８に記憶し、次の時刻に係るライン型フレーム画像５６も記憶し、これを繰り返す。また、演算装置１０は、初回のライン走査を除き、図７に示すように、ライン型フレーム画像５６の結合を行う。すなわち、演算装置１０は、直前の時刻に係るライン型フレーム画像５６に対し、今回のライン型フレーム画像５６を、結合方向（移動体の移動方向と逆）の隣接位置に配置していくことを行う。なお、ステップ２０〜３０を実行する演算装置１０およびカメラ２が、ライン型フレーム画像取得手段に相当する。また、ライン型フレーム画像５６の結合により、抽出サンプル画像５８が記憶装置８において形成されていく。
【００２２】
そして、演算装置１０は、ライン走査において、ある所定値以上の輝度の画素が、ある所定数以下となったら、ライン走査ないしはライン型フレーム画像５６の結合を停止する。ここでは、当該ラインにおいて、３２以上の輝度を有する画素が、３２画素以下となった場合に、ライン走査ないしはライン型フレーム画像５６の結合を停止する。こうして、記憶装置８において、抽出サンプル画像５８が記憶される。この後、演算装置１０は、抽出サンプル画像５８を二値化し（ステップ３４、図８の「入力」）、更に高さの正規化を行う（ステップ３６、図８）。
【００２３】
すなわち、まずステップ３４において、演算装置１０は、抽出サンプル画像５８におけるある所定値以上の輝度を持つ画素を黒とし、これ以外を白とする。ここでは、２５６階調で表現される抽出サンプル画像５８において、１００以上の輝度を持つ画素を黒とし、９９以下の輝度を持つ画素を白とする。これにより、情報量が減少して以後の処理負担が軽減されるし、ノイズにより輝度の揺れる画素があっても、このような画素の輝度は移動体部分の輝度より低いことがほとんどであるために、当該画素を除去することができる。
【００２４】
続いて、ステップ３６において、演算装置１０は、二値化された抽出サンプル画像５８につき、上下方向（高さ方向）の平均濃淡値に基づいて上下の余白部分を切り取った後、上下の画素数が所定値（ここでは１２０画素）となるように、縦横比を保持して拡大あるいは縮小する。こうして、演算装置１０は、二値化され正規化された抽出サンプル画像６０を、記憶装置８に記憶する。なお、ステップ３２〜３６を実行する演算装置１０が、抽出サンプル画像生成手段に相当する。
【００２５】
一方、記憶装置８には、抽出サンプル画像６０に対応する登録パターン画像６２が格納されている。登録パターン画像６２は、移動体の種類ごとに試験的に抽出サンプル画像６０を取得し、その平均的なものを選択して得られる。登録パターン画像６２の一部を、図９に示す。同図（ａ）は歩行者に係るものであり、（ｂ）は自転車に係るものであり、（ｃ）は自動車に係るものであり、（ｄ）は大型車（バス）に係るものである。本実施形態では、登録パターン画像６２は、図９の４個の他に、（ａ）〜（ｃ）のほぼ左右対称のもの３個が登録されている。これら７個の登録パターン画像６２の選定は、手動で（人間の眼で）行われる。また、抽出サンプル画像６０は正規化され、上下方向の画素数（高さ）が１２０画素に統一されることから、登録パターン画像６２の高さも、抽出サンプル画像６０と同じ１２０画素としてある。なお、記憶装置８における登録パターン画像６２の記憶領域が、登録パターン画像記憶手段に相当する。
【００２６】
そして、演算装置１０は、抽出サンプル画像６０と、各登録パターン画像６２とを比較し、抽出サンプル画像６０がどの種類の登録パターン画像６２と一致するかを判定する（識別処理、ステップ４０）。この判定においては、ＤＰマッチング（動的計画法による判定）を用い、特に図１０に示すような、始端および終端に自由度を与える端点フリーＤＰマッチングを利用する。なお、ステップ４０を実行する演算装置１０が、識別手段に相当する。また、図１０では、理解を容易にするため、登録パターン画像６２を横転させてある。
【００２７】
当該ＤＰマッチングでは、次の［数１］で示されるような対称型パスを使用する。なお、この対称型パスは、図１０のほぼ中央において黒点とこれを結ぶ線とで模式的に示される。
【００２８】
【数１】
【００２９】
また、始端点フリー区間Δにおいては、次の［数２］で示されるような（ｊ＋１）および（ｉ＋１）で重み付けされたパスを用いる。
【００３０】
【数２】
【００３１】
更に、終端点フリー区間Δ’において、次の［数３］で表されるような正規化累積距離Ｇ（ｉ，ｊ）の最小値を正規化最小累積距離Ｄとし、これを識別の距離尺度として用いる。
【００３２】
【数３】
【００３３】
加えて、ＤＰマッチングで用いるローカル距離（フレーム間距離）、すなわち上記［数１］〜［数３］におけるｌｄ（ｉ，ｊ）を、以下の［数４］で定義する。
【００３４】
【数４】
【００３５】
すなわち、ステップ４０を実行する演算装置１０は、正規化最小累積距離Ｄを各登録パターン画像６２において算出し、これが最小となる登録パターン画像６２について、ＤＰマッチングに係る抽出サンプル画像６０と登録パターン画像６２の距離が最も少ないものとして、すなわち抽出サンプル画像６０と登録パターン画像６２の左右方向の画素数（幅）が異なったとしてもこれらを一致するものとして判定する。
【００３６】
演算装置１０は、ステップ４０において、まず［数４］に基づき、Ｉ×Ｊ個のローカル距離ｌｄ（ｉ，ｊ）を計算する。抽出サンプル画像６０および登録パターン画像６２は二値化されているので、ローカル距離ｌｄ（ｉ，ｊ）は、端的には、抽出サンプル画像６０におけるｉ番目の上下方向画素列と、登録パターン画像６２のｊ番目の上下方向画素列（図１０では左右方向）とにおいて、下からｋ番目の画素同士を見ていき、輝度が相違する数を高さＨで割って正規化したものとなる。
【００３７】
そして、演算装置１０は、［数１］あるいは［数２］に基づき、（ｉ，ｊ）＝（０，０）の地点から、隣接地点（１，０）、（０，１）、（１，１）のｇｄ（ｉ，ｊ）を計算し、更に隣接する地点のｇｄ（ｉ，ｊ）を計算し、これを繰り返す。なお、演算装置１０は、［数１］の計算において、ｇｄ（ｉ−１，ｊ−２）＋２ｌｄ（ｉ，ｊ−１）、ｇｄ（ｉ−１，ｊ−１）＋ｌｄ（ｉ，ｊ）、およびｇｄ（ｉ−２，ｊ−１）＋２ｌｄ（ｉ−１，ｊ）の全ての計算を実行し、これら結果を記憶し、これら記憶値を比べて最小値をとる。この３個の式のうち、一番最初のものが、図１０における右上がり後縦方向のパスであり、右上がり前の地点での累積距離ｇｄに、右上がり後の地点でのローカル距離ｌｄを、２倍の重み付けをして加える。また、中央のものが、図１０における右上がりのみのパスであり、右上がり前の地点での累積距離ｇｄに、右上がり後の地点でのローカル距離ｌｄをそのまま加える。また、最後のものが、図１０における右上がり後横方向のパスであり、右上がり前の地点での累積距離ｇｄに、右上がり後の地点でのローカル距離ｌｄを、２倍の重み付けをして加える。
【００３８】
演算装置１は、このようにして累積距離ｇｄを計算していき、［数３］に示すように、Ｉ−Δ’≦ｉ≦ＩあるいはＪ−Δ’≦ｊ≦Ｊの地点にたどり着いた累積距離ｇｄの中から最小のものを選出し、ｉ＋ｊで割ることで正規化して、正規化最小累積距離Ｄを演算する。
【００３９】
以上により、図１０における灰色部分以外においてＤＰパスが生成され、従って登録パターン画像６２の幅に対し、識別できる抽出サンプル画像６０の幅は、およそ２分の１ないしは２倍となり、登録パターン画像６２の幅と抽出サンプル画像６０の幅とが合わなかったとしても、すなわち正規化後の抽出サンプル画像６０の主に左右方向の長さが移動体の通過速度により様々なものとなったとしても、登録パターンとの比較が可能となる。
【００４０】
なお、ラインに対する移動体の速度が速いと、結合されるライン型フレーム画像の数が少なくなり、抽出サンプル画像６０の左右方向の長さが短くなり、ラインに対する移動体の速度が遅いと、結合される走査画像の数が多くなり、正規化後の抽出サンプル画像６０の左右方向の長さが長くなるが、守衛室（カメラ２）の前を著しく速く通過しない限り、ほぼ全ての移動体に係る抽出サンプル画像６０の幅の登録パターン画像６２の幅に対する倍率は、上記範囲に収まる。また、移動体が極めて遅い場合には、結局背景と同様に処理され、進入のため有効に移動し始めたときにはライン型フレーム画像の結合がなされる。
【００４１】
また、［数２］ないしは［数３］による端点フリーＤＰマッチングにより、移動体のラインに対する進入の始めないしは終わりの態様が変わっても、ΔあるいはΔ’の幅の範囲であれば、抽出サンプル画像６０と登録パターン画像６２との比較が可能となる。なお、変化のあったライン型フレーム画像を結合して抽出サンプル画像６０を形成することもあり、平面フレーム画像を逐一監視して動的にＤＰマッチングにおける比較対象の開始点ないしは終了点を把握する必要がない。
【００４２】
このようにして、演算装置１０は、端点フリーＤＰマッチングにより、抽出サンプル画像６０と各種登録パターン画像６２とを比較し、正規化最小累積距離Ｄが最小となる登録パターン画像６２に係る移動体の種類に関し、その計数のための変数に１を加え、記憶装置８に記憶する。そして、演算装置１０は、以上の処理を適宜繰り返し、移動体につきその種類を識別して種類ごとに計数をしていく。
【００４３】
上記移動体識別プログラム１２を実行する移動体識別装置１における初期段階の識別結果を、次の［表１］に示す。登録パターン画像６２が４種全７個であっても、全種類の移動体につき相当高い識別率を有していることが分かる。
【００４４】
【表１】
【００４５】
上記移動体識別プログラム１２を実行する移動体識別装置１では、演算装置１０が、複数種類の移動体の移動方向に交差するラインに係るライン型フレーム画像５６について変化を生じている間取得し、これら各ライン型フレーム画像５６を移動体の移動方向と逆の方向へ時刻順に結合して抽出サンプル画像６０を生成する一方、移動体の種類ごとに、抽出サンプル画像６０に対応するように予め決定された登録パターン画像６２を記憶装置８に格納し、生成された抽出サンプル画像６０と、記憶装置８に格納された登録パターン画像６２とを、ＤＰマッチングにより比較し、抽出サンプル画像６０がいずれの種類の登録パターン画像６２と一致するかを判別して、一致した登録パターン画像６２の種類に係るものとして移動体を識別するので、移動体を捕捉するまではライン型フレーム画像５６の監視のみで足り、平面フレーム画像５０全体の処理と比べて情報処理量が格段に少なくて済むし、平面フレーム画像５０に障害物があったとしても移動体を識別することができる。また、ＤＰマッチングにより、抽出サンプル画像６０と登録パターン画像６２との一致を把握するので、ライン型フレーム画像５６の結合である抽出サンプル画像６０が、移動体の速度などによって様々に変化しても、一致不一致を判別でき、情報処理量が少なくても、移動体の種類の識別まで精度良く可能になる。そしてこのような情報処理の効率化と種類識別精度との両立により、リアルタイムでの現実的な移動体識別が可能となる。
【００４６】
また、演算装置１０は、特に登録パターン画像６２と抽出サンプル画像６０とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較するので、動的ＤＰマッチングのような膨大な処理量は不要であり、より一層効率の良い移動体識別が可能となる。
【００４７】
更に、移動体識別装置１は、ラインに係る平面フレーム画像につき取得するカメラ２と、カメラ２により取得された各平面フレーム画像５０を平滑化するとともに、連続する時刻の平面フレーム画像５２同士で差分をとることで、ライン型フレーム画像５６の変化を把握する差分処理手段と、差分処理手段によって変化の把握されたラインに係るライン型フレーム画像５６を参照するライン型フレーム画像ピックアップ手段とを備えるため、ライン型フレーム画像５６をノイズの少ない状態で得ることができ、より一層精度を向上できる。
【００４８】
加えて、演算装置１０は、抽出サンプル画像５８につき、余白を取り除いたうえで、移動方向と交差する方向で正規化して抽出サンプル画像６０とするので、ＤＰマッチングによるローカル距離ｌｄなどの計算が容易になり、計算量を減らしてより速く正確に識別結果を得ることができる。
【００４９】
なお、主に上記実施形態を変更してなる本発明の他の実施形態を例示する。ラインを２本以上設定し、いずれのラインにおいても抽出サンプル画像を生成できるようにするなど、ライン型フレーム画像取得手段につき、互いに異なるラインに係るライン型フレーム画像を取得するよう、複数設置する。これにより、あるラインにおいて移動体の後を移動体が通過する場合にも別のラインで移動体を捕捉したり、あるラインにおける抽出パターン画像と、別のラインにおけるそこまでの予測移動時間後に取得された抽出パターン画像とを互いに参照したりして、移動体識別の精度を向上させることができる。
【００５０】
また、カメラにつき２４ビット以外のカラー動画を取得するものとする。あるいは、カメラにつきグレースケール動画を取得するものとし、グレースケール化を省略する。カメラにつき白黒動画を取得するものとし、グレースケール化、二値化を省略する。カメラにつきライン型フレーム画像を取得するものとし、ライン走査を兼ねるようにする。また、平滑化処理などを省略する。
【００５１】
ＤＰマッチングにおいて、他のパラメータを用いたり、他の形式の数式を用いたり、非対称型のパスを用いたり、他の重み付けに係るパスを用いたり、始端あるいは終端のみ自由度を与えたりする。各種登録パターン画像の種類を変えあるいは増減したり、１個の抽出サンプル画像に対して所定の順番で登録パターンと比較するようにし、累積距離が所定値（例えば正規化時において０．１以下）となると当該登録パターンと一致するとみなして識別処理を終了するようにしたりする。
【００５２】
登録パターン画像につき、極端な特徴を有する特徴的なものを手動選択したり、コンピュータによって自動的に平均的あるいは特徴的なものを選択したり、手動あるいは自動で平均的あるいは特徴的なものを作成したりする。各種値につき、正規化を省略する。また、識別された移動体の種類につき、表示装置、ランプ、ブザーなどの出力装置に出力する。
【００５３】
差分画像の階調の数を２５６階調から増減する。平面フレーム画像や正規化後の抽出サンプル画像などの高さを１２０画素から増減する。平面フレーム画像の高さと、ラインの高さと、正規化後の抽出サンプル画像の高さと、登録パターン画像の高さとを、一部あるいは全部において互いに異なるものとする。ライン走査などを始める条件について、輝度のしきい値を３２から増減したり、画素数のしきい値を４８から増減したりする。１本のラインの幅につき、１画素ではなく複数画素とする。
【産業上の利用可能性】
【００５４】
上記移動体識別装置は、構内に進入する移動体を自動識別して警備を支援する目的の他、車両別の交通量の自動把握や、工場における物品の種類ごとの流量の自動把握などの目的に利用することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態に係る移動体識別装置の説明図である。
【図２】図１における移動体識別装置が実行する移動体識別プログラムのフローチャートである。
【図３】グレースケール化した平面フレーム画像の説明図である。
【図４】平滑化した平面フレーム画像の説明図である。
【図５】差分処理後の平面フレーム画像の説明図である。
【図６】ラインの設定を示す説明図である。
【図７】結合画像を示す説明図である。
【図８】正規化の説明図である。
【図９】登録パターン画像の説明図である。
【図１０】端点フリーＤＰマッチングの説明図である。
【符号の説明】
【００５６】
１ 移動体識別装置
２ カメラ
４ コンピュータ
６ インターフェイス
８ 記憶装置
１０ 演算装置
１２ 移動体識別プログラム
【技術分野】
【０００１】
本発明は、画像処理を利用して移動体の種類を識別する移動体識別装置および移動体識別プログラムに関する。
【背景技術】
【０００２】
従来の画像処理を利用した移動体の認識方法として、下記特許文献１に記載されたジェスチャ動画像認識方法が知られている。この方法では、動画像の中から２次元のエッジ情報を逐一取り出して標準パターンと整合し、ジェスチャの内容を把握する。しかし、この方法では、エッジ情報を取り出すにあたり、動画像の各フレームについて複雑な処理を行わなければならず、情報処理量が膨大になるうえ、ジェスチャ動画像を得る際に障害物があると識別不能となり、一般の警備目的などに用いようとしても、リアルタイムに移動体を認識することが到底できないなどの不具合がある。
【０００３】
一方、情報処理量の少ない移動体の認識方法として、下記特許文献２に記載された移動物体計数処理方法が知られている。この方法では、画素列を予め蓄積した背景値と差分処理し、これを時間軸方向に連結して動物体像を形成し、この動物体像を計数することで、移動体の通過数を計数する。
【０００４】
【特許文献１】特許第３１２２２９０号公報
【特許文献２】特許第３１９０８３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来の移動物体計数処理方法は、確かにジェスチャ動画像認識方法に比べ、要求される情報処理量が現実的であるが、通過した移動体の種類が識別できない。移動体の種類が識別できないと、例えば警備目的で使用する場合に、通過した移動体が自動車か歩行者かで異なる対応をとることができないといったように、移動体の種類に応じた処理を行えない。
【０００６】
そこで、本発明は、移動体について、障害物があったとしても、情報処理量の少ない効率的な処理によって、通過数のみならず、その種類をも精度良く識別可能な移動体識別装置または移動体識別プログラムを提供することを目的としたものである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の発明は、複数種類の移動体の移動方向に交差する１本のラインに係るライン型フレーム画像について、変化を生じている間取得するライン型フレーム画像取得手段と、ライン型フレーム画像取得手段によって取得された各ライン型フレーム画像を、移動体の移動方向と逆の方向へ時刻順に結合し、抽出サンプル画像を生成する抽出サンプル画像生成手段と、移動体の種類ごとに、抽出サンプル画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、抽出サンプル画像生成手段によって生成された抽出サンプル画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、ＤＰマッチングにより比較し、抽出サンプル画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段とを備えることを特徴とするものである。
【０００８】
請求項２に記載の発明は、上記目的に加えて、より一層識別精度と処理効率との両立を図る目的を達成するため、上記発明において、識別手段は、登録パターン画像と抽出サンプル画像とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較して識別することを特徴とする。
【０００９】
請求項３に記載の発明は、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、ライン型フレーム画像取得手段は、互いに異なるラインに係るライン型フレーム画像を取得するよう、複数設置されていることを特徴とする。
【００１０】
請求項４に記載の発明は、上記目的に加えて、より一層識別精度を向上する目的を達成するため、上記発明において、ライン型フレーム画像取得手段は、ラインに係る平面フレーム画像につき取得するカメラと、カメラにより取得された各平面フレーム画像を平滑化するとともに、連続する時刻の平面フレーム画像同士で差分をとることで、ライン型フレーム画像の変化を把握する差分処理手段と、差分処理手段によって変化の把握されたラインに係るライン型フレーム画像を参照するライン型フレーム画像ピックアップ手段とを備えることを特徴とする。
【００１１】
請求項５に記載の発明は、上記目的に加えて、より一層効率良い処理とする目的を達成するため、上記発明において、ライン型フレーム画像取得手段は、ライン型フレーム画像または平面フレーム画像を、グレースケールまたは白黒二値で取得し、あるいは、抽出サンプル画像生成手段は、抽出サンプル画像を、グレースケールまたは白黒二値で生成することを特徴とする。
【００１２】
請求項６に記載の発明は、上記目的に加えて、より一層効率良い処理とする目的を達成するため、上記発明において、抽出サンプル画像生成手段は、抽出サンプル画像につき、余白を取り除いたうえで、移動方向と交差する方向で正規化することを特徴とする。
【００１３】
上記目的を達成するために、請求項７に記載の発明は、コンピュータにおいて上記の各手段を実現させるための移動体識別プログラムにある。
【発明の効果】
【００１４】
本発明によれば、各ライン型フレーム画像（短冊画像）を結合し、これを各種登録パターン画像とＤＰマッチング（動的計画法）により比較することで、いずれの種類の移動体であるかを判断している。よって、障害物があったとしても、情報処理量の少ない効率的な処理によって、リアルタイムに、移動体の通過数のみならず、その種類をも精度良く識別可能である、という効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態に係る移動体識別装置について、適宜図面に基づいて説明する。図１は当該移動体識別装置１の説明図であって、移動体識別装置１は、カメラ２と、コンピュータ４とを含む。カメラ２は、２４ビットカラー動画を撮影可能、すなわち２４ビットカラーの平面フレーム画像を次々に取得可能であって、移動体としての歩行者、自転車（バイクを含む）、自動車、大型車（バス）がほぼ左右方向に移動する動画（図３等参照）を取得できる守衛室に設置されている。
【００１６】
コンピュータ４は、カメラ２とのインターフェイス６、記憶装置８、およびこれらと電気的に接続される演算装置１０を含む。記憶装置８には、移動体識別プログラム１２が格納されている。演算装置１０は、ＣＰＵやメモリを含み、移動体識別プログラム１２を読み込んで、記憶装置８を制御し、あるいはインターフェイス６を介してカメラ２を制御する。
【００１７】
移動体識別プログラム１２を実行する演算装置１０は、図２に示すように、まずカメラ２から動画に係る平面フレーム画像５０を取得し、記憶装置８に記憶する（ステップ２０）。次に、演算装置１０は、記憶した平面フレーム画像をグレースケール化し（ステップ２２、図３）、更に平滑化（ステップ２４、図４）して平滑化された平面フレーム画像５２を得、これを記憶装置８に記憶する。グレースケール化により、画像の情報量が減少して以後の処理の負担が軽減され、平滑化により、平面フレーム画像のノイズを除去し、処理精度が向上する。なお、平滑化は、平均値フィルタ、すなわちある着目画素に対し、その周囲の画素の濃度値との平均を取り、その値を着目画素の濃度値とするものを、平面フレーム画像全体に適用して行う。演算装置１０は、以上の処理を連続して行い、時刻がわずかにずれた平滑化平面フレーム画像を次々に記憶する。
【００１８】
一方、演算装置１０は、上記処理と併行して、ステップ２６の差分処理を行う（差分処理手段）。本処理において、演算装置１０は、記憶装置８に記憶された、時刻の隣接する２枚の平滑化された平面フレーム画像５２を参照し、これらにおける着目画素の輝度の差分を平面フレーム画像５２全体においてそれぞれ算出して差分画像５４（図５参照）を得、これを記憶装置８に記憶する。差分画像５４は、時刻の隣接する平面フレーム画像５２の輝度変化を輝度とするので、当該時刻間に輝度変化のある部分、すなわち移動体部分が現れ、輝度変化のない部分、すなわち背景部分はほぼ消える。
【００１９】
更に併行して、演算装置１０は、差分画像５４のうち、所定の縦１ラインの部分、すなわち１本のラインを参照する（ライン型フレーム画像ピックアップ手段）。ここで、１本のラインは、幅が１画素で、高さが平面フレーム画像と同一であり、図６において黒色のラインとして示されるものである。なお、当該ラインは、移動体の移動方向である左右方向に交差するよう、上下方向（縦方向）に設定されている。また、当該ラインは、平面フレーム画像内における障害物、すなわちポール、電柱、ドアなどの平面フレーム画像内において、移動体より手前に映る背景画像を避けた位置に設定される。
【００２０】
そして、演算装置１０は、当該ラインにおいて、ある所定値以上の輝度を有する画素が、ある所定数以上出現した場合に、ライン走査（ステップ３０）およびライン型フレーム画像の結合（ステップ３２）を始める。ここでは、差分画像５４が２５６階調、高さ１２０画素である場合において、当該ラインに、３２以上の輝度を有する画素が、４８画素以上出現した場合に、ステップ３０，３２を始める。
【００２１】
演算装置１０は、ライン走査において、ラインにおける全画素の輝度を、ライン型フレーム画像５６として記憶装置８に記憶し、次の時刻に係るライン型フレーム画像５６も記憶し、これを繰り返す。また、演算装置１０は、初回のライン走査を除き、図７に示すように、ライン型フレーム画像５６の結合を行う。すなわち、演算装置１０は、直前の時刻に係るライン型フレーム画像５６に対し、今回のライン型フレーム画像５６を、結合方向（移動体の移動方向と逆）の隣接位置に配置していくことを行う。なお、ステップ２０〜３０を実行する演算装置１０およびカメラ２が、ライン型フレーム画像取得手段に相当する。また、ライン型フレーム画像５６の結合により、抽出サンプル画像５８が記憶装置８において形成されていく。
【００２２】
そして、演算装置１０は、ライン走査において、ある所定値以上の輝度の画素が、ある所定数以下となったら、ライン走査ないしはライン型フレーム画像５６の結合を停止する。ここでは、当該ラインにおいて、３２以上の輝度を有する画素が、３２画素以下となった場合に、ライン走査ないしはライン型フレーム画像５６の結合を停止する。こうして、記憶装置８において、抽出サンプル画像５８が記憶される。この後、演算装置１０は、抽出サンプル画像５８を二値化し（ステップ３４、図８の「入力」）、更に高さの正規化を行う（ステップ３６、図８）。
【００２３】
すなわち、まずステップ３４において、演算装置１０は、抽出サンプル画像５８におけるある所定値以上の輝度を持つ画素を黒とし、これ以外を白とする。ここでは、２５６階調で表現される抽出サンプル画像５８において、１００以上の輝度を持つ画素を黒とし、９９以下の輝度を持つ画素を白とする。これにより、情報量が減少して以後の処理負担が軽減されるし、ノイズにより輝度の揺れる画素があっても、このような画素の輝度は移動体部分の輝度より低いことがほとんどであるために、当該画素を除去することができる。
【００２４】
続いて、ステップ３６において、演算装置１０は、二値化された抽出サンプル画像５８につき、上下方向（高さ方向）の平均濃淡値に基づいて上下の余白部分を切り取った後、上下の画素数が所定値（ここでは１２０画素）となるように、縦横比を保持して拡大あるいは縮小する。こうして、演算装置１０は、二値化され正規化された抽出サンプル画像６０を、記憶装置８に記憶する。なお、ステップ３２〜３６を実行する演算装置１０が、抽出サンプル画像生成手段に相当する。
【００２５】
一方、記憶装置８には、抽出サンプル画像６０に対応する登録パターン画像６２が格納されている。登録パターン画像６２は、移動体の種類ごとに試験的に抽出サンプル画像６０を取得し、その平均的なものを選択して得られる。登録パターン画像６２の一部を、図９に示す。同図（ａ）は歩行者に係るものであり、（ｂ）は自転車に係るものであり、（ｃ）は自動車に係るものであり、（ｄ）は大型車（バス）に係るものである。本実施形態では、登録パターン画像６２は、図９の４個の他に、（ａ）〜（ｃ）のほぼ左右対称のもの３個が登録されている。これら７個の登録パターン画像６２の選定は、手動で（人間の眼で）行われる。また、抽出サンプル画像６０は正規化され、上下方向の画素数（高さ）が１２０画素に統一されることから、登録パターン画像６２の高さも、抽出サンプル画像６０と同じ１２０画素としてある。なお、記憶装置８における登録パターン画像６２の記憶領域が、登録パターン画像記憶手段に相当する。
【００２６】
そして、演算装置１０は、抽出サンプル画像６０と、各登録パターン画像６２とを比較し、抽出サンプル画像６０がどの種類の登録パターン画像６２と一致するかを判定する（識別処理、ステップ４０）。この判定においては、ＤＰマッチング（動的計画法による判定）を用い、特に図１０に示すような、始端および終端に自由度を与える端点フリーＤＰマッチングを利用する。なお、ステップ４０を実行する演算装置１０が、識別手段に相当する。また、図１０では、理解を容易にするため、登録パターン画像６２を横転させてある。
【００２７】
当該ＤＰマッチングでは、次の［数１］で示されるような対称型パスを使用する。なお、この対称型パスは、図１０のほぼ中央において黒点とこれを結ぶ線とで模式的に示される。
【００２８】
【数１】
【００２９】
また、始端点フリー区間Δにおいては、次の［数２］で示されるような（ｊ＋１）および（ｉ＋１）で重み付けされたパスを用いる。
【００３０】
【数２】
【００３１】
更に、終端点フリー区間Δ’において、次の［数３］で表されるような正規化累積距離Ｇ（ｉ，ｊ）の最小値を正規化最小累積距離Ｄとし、これを識別の距離尺度として用いる。
【００３２】
【数３】
【００３３】
加えて、ＤＰマッチングで用いるローカル距離（フレーム間距離）、すなわち上記［数１］〜［数３］におけるｌｄ（ｉ，ｊ）を、以下の［数４］で定義する。
【００３４】
【数４】
【００３５】
すなわち、ステップ４０を実行する演算装置１０は、正規化最小累積距離Ｄを各登録パターン画像６２において算出し、これが最小となる登録パターン画像６２について、ＤＰマッチングに係る抽出サンプル画像６０と登録パターン画像６２の距離が最も少ないものとして、すなわち抽出サンプル画像６０と登録パターン画像６２の左右方向の画素数（幅）が異なったとしてもこれらを一致するものとして判定する。
【００３６】
演算装置１０は、ステップ４０において、まず［数４］に基づき、Ｉ×Ｊ個のローカル距離ｌｄ（ｉ，ｊ）を計算する。抽出サンプル画像６０および登録パターン画像６２は二値化されているので、ローカル距離ｌｄ（ｉ，ｊ）は、端的には、抽出サンプル画像６０におけるｉ番目の上下方向画素列と、登録パターン画像６２のｊ番目の上下方向画素列（図１０では左右方向）とにおいて、下からｋ番目の画素同士を見ていき、輝度が相違する数を高さＨで割って正規化したものとなる。
【００３７】
そして、演算装置１０は、［数１］あるいは［数２］に基づき、（ｉ，ｊ）＝（０，０）の地点から、隣接地点（１，０）、（０，１）、（１，１）のｇｄ（ｉ，ｊ）を計算し、更に隣接する地点のｇｄ（ｉ，ｊ）を計算し、これを繰り返す。なお、演算装置１０は、［数１］の計算において、ｇｄ（ｉ−１，ｊ−２）＋２ｌｄ（ｉ，ｊ−１）、ｇｄ（ｉ−１，ｊ−１）＋ｌｄ（ｉ，ｊ）、およびｇｄ（ｉ−２，ｊ−１）＋２ｌｄ（ｉ−１，ｊ）の全ての計算を実行し、これら結果を記憶し、これら記憶値を比べて最小値をとる。この３個の式のうち、一番最初のものが、図１０における右上がり後縦方向のパスであり、右上がり前の地点での累積距離ｇｄに、右上がり後の地点でのローカル距離ｌｄを、２倍の重み付けをして加える。また、中央のものが、図１０における右上がりのみのパスであり、右上がり前の地点での累積距離ｇｄに、右上がり後の地点でのローカル距離ｌｄをそのまま加える。また、最後のものが、図１０における右上がり後横方向のパスであり、右上がり前の地点での累積距離ｇｄに、右上がり後の地点でのローカル距離ｌｄを、２倍の重み付けをして加える。
【００３８】
演算装置１は、このようにして累積距離ｇｄを計算していき、［数３］に示すように、Ｉ−Δ’≦ｉ≦ＩあるいはＪ−Δ’≦ｊ≦Ｊの地点にたどり着いた累積距離ｇｄの中から最小のものを選出し、ｉ＋ｊで割ることで正規化して、正規化最小累積距離Ｄを演算する。
【００３９】
以上により、図１０における灰色部分以外においてＤＰパスが生成され、従って登録パターン画像６２の幅に対し、識別できる抽出サンプル画像６０の幅は、およそ２分の１ないしは２倍となり、登録パターン画像６２の幅と抽出サンプル画像６０の幅とが合わなかったとしても、すなわち正規化後の抽出サンプル画像６０の主に左右方向の長さが移動体の通過速度により様々なものとなったとしても、登録パターンとの比較が可能となる。
【００４０】
なお、ラインに対する移動体の速度が速いと、結合されるライン型フレーム画像の数が少なくなり、抽出サンプル画像６０の左右方向の長さが短くなり、ラインに対する移動体の速度が遅いと、結合される走査画像の数が多くなり、正規化後の抽出サンプル画像６０の左右方向の長さが長くなるが、守衛室（カメラ２）の前を著しく速く通過しない限り、ほぼ全ての移動体に係る抽出サンプル画像６０の幅の登録パターン画像６２の幅に対する倍率は、上記範囲に収まる。また、移動体が極めて遅い場合には、結局背景と同様に処理され、進入のため有効に移動し始めたときにはライン型フレーム画像の結合がなされる。
【００４１】
また、［数２］ないしは［数３］による端点フリーＤＰマッチングにより、移動体のラインに対する進入の始めないしは終わりの態様が変わっても、ΔあるいはΔ’の幅の範囲であれば、抽出サンプル画像６０と登録パターン画像６２との比較が可能となる。なお、変化のあったライン型フレーム画像を結合して抽出サンプル画像６０を形成することもあり、平面フレーム画像を逐一監視して動的にＤＰマッチングにおける比較対象の開始点ないしは終了点を把握する必要がない。
【００４２】
このようにして、演算装置１０は、端点フリーＤＰマッチングにより、抽出サンプル画像６０と各種登録パターン画像６２とを比較し、正規化最小累積距離Ｄが最小となる登録パターン画像６２に係る移動体の種類に関し、その計数のための変数に１を加え、記憶装置８に記憶する。そして、演算装置１０は、以上の処理を適宜繰り返し、移動体につきその種類を識別して種類ごとに計数をしていく。
【００４３】
上記移動体識別プログラム１２を実行する移動体識別装置１における初期段階の識別結果を、次の［表１］に示す。登録パターン画像６２が４種全７個であっても、全種類の移動体につき相当高い識別率を有していることが分かる。
【００４４】
【表１】
【００４５】
上記移動体識別プログラム１２を実行する移動体識別装置１では、演算装置１０が、複数種類の移動体の移動方向に交差するラインに係るライン型フレーム画像５６について変化を生じている間取得し、これら各ライン型フレーム画像５６を移動体の移動方向と逆の方向へ時刻順に結合して抽出サンプル画像６０を生成する一方、移動体の種類ごとに、抽出サンプル画像６０に対応するように予め決定された登録パターン画像６２を記憶装置８に格納し、生成された抽出サンプル画像６０と、記憶装置８に格納された登録パターン画像６２とを、ＤＰマッチングにより比較し、抽出サンプル画像６０がいずれの種類の登録パターン画像６２と一致するかを判別して、一致した登録パターン画像６２の種類に係るものとして移動体を識別するので、移動体を捕捉するまではライン型フレーム画像５６の監視のみで足り、平面フレーム画像５０全体の処理と比べて情報処理量が格段に少なくて済むし、平面フレーム画像５０に障害物があったとしても移動体を識別することができる。また、ＤＰマッチングにより、抽出サンプル画像６０と登録パターン画像６２との一致を把握するので、ライン型フレーム画像５６の結合である抽出サンプル画像６０が、移動体の速度などによって様々に変化しても、一致不一致を判別でき、情報処理量が少なくても、移動体の種類の識別まで精度良く可能になる。そしてこのような情報処理の効率化と種類識別精度との両立により、リアルタイムでの現実的な移動体識別が可能となる。
【００４６】
また、演算装置１０は、特に登録パターン画像６２と抽出サンプル画像６０とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較するので、動的ＤＰマッチングのような膨大な処理量は不要であり、より一層効率の良い移動体識別が可能となる。
【００４７】
更に、移動体識別装置１は、ラインに係る平面フレーム画像につき取得するカメラ２と、カメラ２により取得された各平面フレーム画像５０を平滑化するとともに、連続する時刻の平面フレーム画像５２同士で差分をとることで、ライン型フレーム画像５６の変化を把握する差分処理手段と、差分処理手段によって変化の把握されたラインに係るライン型フレーム画像５６を参照するライン型フレーム画像ピックアップ手段とを備えるため、ライン型フレーム画像５６をノイズの少ない状態で得ることができ、より一層精度を向上できる。
【００４８】
加えて、演算装置１０は、抽出サンプル画像５８につき、余白を取り除いたうえで、移動方向と交差する方向で正規化して抽出サンプル画像６０とするので、ＤＰマッチングによるローカル距離ｌｄなどの計算が容易になり、計算量を減らしてより速く正確に識別結果を得ることができる。
【００４９】
なお、主に上記実施形態を変更してなる本発明の他の実施形態を例示する。ラインを２本以上設定し、いずれのラインにおいても抽出サンプル画像を生成できるようにするなど、ライン型フレーム画像取得手段につき、互いに異なるラインに係るライン型フレーム画像を取得するよう、複数設置する。これにより、あるラインにおいて移動体の後を移動体が通過する場合にも別のラインで移動体を捕捉したり、あるラインにおける抽出パターン画像と、別のラインにおけるそこまでの予測移動時間後に取得された抽出パターン画像とを互いに参照したりして、移動体識別の精度を向上させることができる。
【００５０】
また、カメラにつき２４ビット以外のカラー動画を取得するものとする。あるいは、カメラにつきグレースケール動画を取得するものとし、グレースケール化を省略する。カメラにつき白黒動画を取得するものとし、グレースケール化、二値化を省略する。カメラにつきライン型フレーム画像を取得するものとし、ライン走査を兼ねるようにする。また、平滑化処理などを省略する。
【００５１】
ＤＰマッチングにおいて、他のパラメータを用いたり、他の形式の数式を用いたり、非対称型のパスを用いたり、他の重み付けに係るパスを用いたり、始端あるいは終端のみ自由度を与えたりする。各種登録パターン画像の種類を変えあるいは増減したり、１個の抽出サンプル画像に対して所定の順番で登録パターンと比較するようにし、累積距離が所定値（例えば正規化時において０．１以下）となると当該登録パターンと一致するとみなして識別処理を終了するようにしたりする。
【００５２】
登録パターン画像につき、極端な特徴を有する特徴的なものを手動選択したり、コンピュータによって自動的に平均的あるいは特徴的なものを選択したり、手動あるいは自動で平均的あるいは特徴的なものを作成したりする。各種値につき、正規化を省略する。また、識別された移動体の種類につき、表示装置、ランプ、ブザーなどの出力装置に出力する。
【００５３】
差分画像の階調の数を２５６階調から増減する。平面フレーム画像や正規化後の抽出サンプル画像などの高さを１２０画素から増減する。平面フレーム画像の高さと、ラインの高さと、正規化後の抽出サンプル画像の高さと、登録パターン画像の高さとを、一部あるいは全部において互いに異なるものとする。ライン走査などを始める条件について、輝度のしきい値を３２から増減したり、画素数のしきい値を４８から増減したりする。１本のラインの幅につき、１画素ではなく複数画素とする。
【産業上の利用可能性】
【００５４】
上記移動体識別装置は、構内に進入する移動体を自動識別して警備を支援する目的の他、車両別の交通量の自動把握や、工場における物品の種類ごとの流量の自動把握などの目的に利用することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態に係る移動体識別装置の説明図である。
【図２】図１における移動体識別装置が実行する移動体識別プログラムのフローチャートである。
【図３】グレースケール化した平面フレーム画像の説明図である。
【図４】平滑化した平面フレーム画像の説明図である。
【図５】差分処理後の平面フレーム画像の説明図である。
【図６】ラインの設定を示す説明図である。
【図７】結合画像を示す説明図である。
【図８】正規化の説明図である。
【図９】登録パターン画像の説明図である。
【図１０】端点フリーＤＰマッチングの説明図である。
【符号の説明】
【００５６】
１ 移動体識別装置
２ カメラ
４ コンピュータ
６ インターフェイス
８ 記憶装置
１０ 演算装置
１２ 移動体識別プログラム
【特許請求の範囲】
【請求項１】
複数種類の移動体の移動方向に交差する１本のラインに係るライン型フレーム画像について、変化を生じている間取得するライン型フレーム画像取得手段と、
ライン型フレーム画像取得手段によって取得された各ライン型フレーム画像を、移動体の移動方向と逆の方向へ時刻順に結合し、抽出サンプル画像を生成する抽出サンプル画像生成手段と、
移動体の種類ごとに、抽出サンプル画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、
抽出サンプル画像生成手段によって生成された抽出サンプル画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、ＤＰマッチングにより比較し、抽出サンプル画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段と
を備えることを特徴とする移動体識別装置。
【請求項２】
識別手段は、登録パターン画像と抽出サンプル画像とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較して識別する
ことを特徴とする請求項１に記載の移動体識別装置。
【請求項３】
ライン型フレーム画像取得手段は、互いに異なるラインに係るライン型フレーム画像を取得するよう、複数設置されている
ことを特徴とする請求項１または請求項２に記載の移動体識別装置。
【請求項４】
ライン型フレーム画像取得手段は、
ラインに係る平面フレーム画像につき取得するカメラと、
カメラにより取得された各平面フレーム画像を平滑化するとともに、連続する時刻の平面フレーム画像同士で差分をとることで、ライン型フレーム画像の変化を把握する差分処理手段と、
差分処理手段によって変化の把握されたラインに係るライン型フレーム画像を参照するライン型フレーム画像ピックアップ手段と
を備えることを特徴とする請求項１ないしは請求項３のいずれかに記載の移動体識別装置。
【請求項５】
ライン型フレーム画像取得手段は、ライン型フレーム画像または平面フレーム画像を、グレースケールまたは白黒二値で取得し、
あるいは、抽出サンプル画像生成手段は、抽出サンプル画像を、グレースケールまたは白黒二値で生成する
ことを特徴とする請求項１ないしは請求項４のいずれかに記載の移動体識別装置。
【請求項６】
抽出サンプル画像生成手段は、抽出サンプル画像につき、余白を取り除いたうえで、移動方向と交差する方向で正規化する
ことを特徴とする請求項１ないしは請求項５のいずれかに記載の移動体識別装置。
【請求項７】
コンピュータにおいて請求項１ないしは請求項６のいずれかに記載の各手段を実現させるための移動体識別プログラム。
【請求項１】
複数種類の移動体の移動方向に交差する１本のラインに係るライン型フレーム画像について、変化を生じている間取得するライン型フレーム画像取得手段と、
ライン型フレーム画像取得手段によって取得された各ライン型フレーム画像を、移動体の移動方向と逆の方向へ時刻順に結合し、抽出サンプル画像を生成する抽出サンプル画像生成手段と、
移動体の種類ごとに、抽出サンプル画像に対応するように予め決定された登録パターン画像を格納する登録パターン画像記憶手段と、
抽出サンプル画像生成手段によって生成された抽出サンプル画像と、登録パターン画像記憶手段に格納された登録パターン画像とを、ＤＰマッチングにより比較し、抽出サンプル画像がいずれの種類の登録パターン画像と一致するかを判別して、一致した登録パターン画像の種類に係る移動体を識別する識別手段と
を備えることを特徴とする移動体識別装置。
【請求項２】
識別手段は、登録パターン画像と抽出サンプル画像とを、始端および／または終端に自由度を与える端点フリーＤＰマッチングにより比較して識別する
ことを特徴とする請求項１に記載の移動体識別装置。
【請求項３】
ライン型フレーム画像取得手段は、互いに異なるラインに係るライン型フレーム画像を取得するよう、複数設置されている
ことを特徴とする請求項１または請求項２に記載の移動体識別装置。
【請求項４】
ライン型フレーム画像取得手段は、
ラインに係る平面フレーム画像につき取得するカメラと、
カメラにより取得された各平面フレーム画像を平滑化するとともに、連続する時刻の平面フレーム画像同士で差分をとることで、ライン型フレーム画像の変化を把握する差分処理手段と、
差分処理手段によって変化の把握されたラインに係るライン型フレーム画像を参照するライン型フレーム画像ピックアップ手段と
を備えることを特徴とする請求項１ないしは請求項３のいずれかに記載の移動体識別装置。
【請求項５】
ライン型フレーム画像取得手段は、ライン型フレーム画像または平面フレーム画像を、グレースケールまたは白黒二値で取得し、
あるいは、抽出サンプル画像生成手段は、抽出サンプル画像を、グレースケールまたは白黒二値で生成する
ことを特徴とする請求項１ないしは請求項４のいずれかに記載の移動体識別装置。
【請求項６】
抽出サンプル画像生成手段は、抽出サンプル画像につき、余白を取り除いたうえで、移動方向と交差する方向で正規化する
ことを特徴とする請求項１ないしは請求項５のいずれかに記載の移動体識別装置。
【請求項７】
コンピュータにおいて請求項１ないしは請求項６のいずれかに記載の各手段を実現させるための移動体識別プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−３３８６１７（Ｐ２００６−３３８６１７Ａ）
【公開日】平成１８年１２月１４日（２００６．１２．１４）
【国際特許分類】
【出願番号】特願２００５−１６６００７（Ｐ２００５−１６６００７）
【出願日】平成１７年６月６日（２００５．６．６）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【出願人】（３９９１２３９２６）梅テック 有限会社 (11)
【Ｆターム（参考）】
【公開日】平成１８年１２月１４日（２００６．１２．１４）
【国際特許分類】
【出願日】平成１７年６月６日（２００５．６．６）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【出願人】（３９９１２３９２６）梅テック 有限会社 (11)
【Ｆターム（参考）】
[ Back to top ]