物体認識システム及び物体認識装置
【課題】ラインセンサ等の撮像装置を用いて取得した物体の撮像データを用いてその物体を認識する物体認識システムにおいて、物体の通過速度によって撮像データに含まれる物体の画像が歪むため対象物のテンプレートデータとのマッチングの精度が低下し物体の認識精度が低下するという課題があった。
【解決手段】物体認識部３４は、速度検出部３２で検出された物体の速度に応じて、撮像装置１、２で取得された撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをマッチングして物体を認識するので、精度高く物体認識ができる。
【解決手段】物体認識部３４は、速度検出部３２で検出された物体の速度に応じて、撮像装置１、２で取得された撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをマッチングして物体を認識するので、精度高く物体認識ができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ラインセンサ等の撮像装置で撮像される領域に存在する物体を、撮像装置により取得した撮像データを用いて認識する物体認識システム及び物体認識装置に関するものである。
【背景技術】
【０００２】
ラインセンサ等の撮像装置によって得られる強度画像等の撮像データを用い、撮像装置に撮像される領域を通過する車両等の物体を認識する物体認識システムが知られている（例えば、特許文献１参照）。このような物体認識システムにおいては、様々な対象物についてのテンプレートデータを用意し、それら複数のテンプレートデータと取得された撮像データとをそれぞれパターンマッチングすることにより物体を認識する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の物体認識システムでは、撮像装置におけるデータ取得レートは一定であるため、領域を通過する物体の速度によって撮像データに含まれる物体の画像が歪み、例えば車軸であれば扁平率が変化する。そのため、基準の速度で通過する対象物についてのテンプレートデータとのマッチングの精度が低下するという課題があった。また、それぞれの対象物について様々な速度に対応したテンプレートデータを用意するとなると、テンプレートデータの数が膨大になり、パターンマッチング処理についての処理時間が増大するという課題があった。
【０００５】
本発明は、上記のような課題を解決するためになされたものであって、処理時間の増大がなく精度の高い物体認識が可能な物体認識システム及び物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る物体認識システムは、物体が通過する所定領域にレーザ光を照射して得た撮像データを出力する撮像手段と、前記物体が通過する速度を検出する物体速度検出手段と、前記撮像手段から出力された前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備えることを特徴とする。
【０００７】
また、本発明に係る物体認識装置は、物体が通過する所定領域にレーザ光を照射して得られた撮像データが入力され物体又は物体の一部を認識する物体認識装置であって、前記物体が通過する速度を検出する物体速度検出手段と、前記物体速度検出手段で検出された速度に応じて、入力された前記撮像データに含まれる前記物体の画像のサイズを変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の物体認識システム、物体認識装置によれば、検出した物体の速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、処理時間の増大がなく精度高く物体認識ができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る物体認識システムの構成図。
【図２】実施の形態１に係る第１の撮像装置と第２の撮像装置の配置を説明するための図。
【図３】実施の形態１に係る撮像データに含まれる物体である車両の画像を表す図。
【図４】実施の形態１に係る車両を正面から見た図。
【図５】実施の形態１に係る物体認識部の構成図。
【図６】実施の形態１に係る撮像データに含まれる車両の画像のサイズ変更を説明するための図。
【図７】実施の形態１の動作を説明するフローチャート。
【図８】実施の形態２に係る物体認識システムの構成図。
【図９】実施の形態２に係る第１の撮像装置と速度計の配置を説明するための図。
【図１０】実施の形態２の動作を説明するフローチャート。
【図１１】実施の形態３に係る物体認識部の構成図。
【図１２】実施の形態３に係る高度ヒストグラム算出処理の一例を説明するための図。
【図１３】実施の形態３における撮像データに対しての検知フラグ算出処理の一例を説明するための図。
【図１４】実施の形態３の動作を説明するフローチャート。
【図１５】実施の形態３に係る高度ヒストグラム算出処理の他の例を説明するための図。
【図１６】実施の形態３における撮像データに対しての検知フラグ算出処理の他の例を説明するための図。
【図１７】実施の形態４に係る物体認識部の構成図。
【発明を実施するための形態】
【００１０】
実施の形態１．
以下図面を用いて本発明の実施の形態１を説明する。図１は実施の形態１に係る物体認識システムの構成図である。図２は実施の形態１における第１の撮像装置と第２の撮像装置の配置を説明するための図である。図３は実施の形態１における撮像データに含まれる物体である車両の画像を表す図である。図４は実施の形態１における車両を正面から見た図である。図５は実施の形態１に係る物体認識部の構成図である。図６は実施の形態１における撮像データに含まれる車両の画像のサイズ変更を説明するための図である。図７は実施の形態１の動作を説明するフローチャートである。
【００１１】
図１に示すように、物体認識システムは、第１の撮像装置（第１の撮像部）１と、第２の撮像装置（第２の撮像部）２と、物体認識装置３とから構成される。このような物体認識システムは、例えばゲートの侵入監視システムに適用される。ここでは、ゲートに侵入する物体を車両として説明を行うが、これに限定するものではなく、動物、人物等であってもよい。以下も同様である。
【００１２】
まず、第１の撮像装置１と第２の撮像装置２について説明する。第１の撮像装置１と第２の撮像装置２は例えば受信スキャンレス型のレーザ画像計測装置が該当する。第１の撮像装置１は第１の領域に、第２の撮像装置２は第２の領域にそれぞれレーザ光を照射し、照射を行った領域内の各点における強度値を強度データとして取得する。また、領域の照射を行った各点における距離値を距離データとして取得する。第１の撮像装置１及び第２の撮像装置２は、所定の時間間隔毎に、取得した強度データと距離データとをそれぞれ第１の撮像データ、第２の撮像データとして物体認識装置３に出力する。
【００１３】
なお、上記レーザ光が照射される領域については、観測領域、照射領域のように表現してもよい。以下では単に領域（第１の領域、第２の領域）として説明を行う。
【００１４】
図２に示すよう、第１の撮像装置１と第２の撮像装置２は、所定の間隔ｗ（ｍ）をもって車両の通行経路の傍に設置されている。つまり、第２の撮像装置２は、第１の撮像装置１に対して、車両の進行方向（通過方向）に所定間隔をおいて配置されている。図２の例では第１の撮像装置１と第２の撮像装置２は通行経路の反対側にそれぞれ設置されているが、この配置に限るものではなく、同側であってもよい。また、間隔ｗについては、例えば０．８ｍ程度であればよい。
【００１５】
車両が進行方向に移動して第１の撮像装置１がレーザ光を照射する第１の領域を通過すると、第１の撮像装置１は車両についての強度データ及び距離データを取得し、物体認識装置３に出力する。このとき、第１の撮像装置１は強度データを画像データ（強度画像）として出力してもよい。強度画像は、図３に示すよう、横軸を車両進行方向に対応するライン方向、縦軸を撮像装置（センサ）の走査方向に対応するデータ方向と定義された平面において、各画素に強度値が与えられた画像であり、第１の撮像装置１から見た奥行方向の強度値を含めてもよい。
【００１６】
また同様に、車両が進行方向に移動して第２の撮像装置２がレーザ光を照射する第２の領域を通過すると、第２の撮像装置２は車両についての強度データ及び距離データを取得し、物体認識装置３に出力する。
【００１７】
なお、ここでは第１の撮像装置１と第２の撮像装置２を一例としてライン状にスキャン（走査）するラインセンサとしたが、これに限るものではなく、少なくとも強度データと距離データとを取得できるものであればよい。強度データの代わりに、領域の照射を行った各点における輝度値から構成される輝度データを取得できるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等であってもよい。なお、強度データ（又は輝度データ）及び距離データをそれぞれ強度画像（又は輝度画像）、距離画像と画像形式にしたものも撮像データに含まれる。第１の撮像装置１は第１の領域にレーザ光を照射して取得する第１の撮像データを、第２の撮像装置２は第２の領域にレーザ光を照射して取得する第２の撮像データを、物体認識装置３に出力する。
【００１８】
また、第１の撮像装置１及び第２の撮像装置２は、取得した距離データから、高度値（高さ値）及び奥行距離値を算出し、これらを撮像データとして物体認識装置３に出力してもよい。図４に示すように、撮像装置から見た奥行方向をｘ軸、撮像装置の高さ方向である高度方向をｚ軸と定義すると、ｘ−ｚ平面に垂直な方向が進行方向となり、第１の撮像装置１（第２の撮像装置２）は、ｚ軸方向にセンサ高度Ｈ、ビーム走査角度の半角θ、センサオフナディア角φとなるように設置される。この場合、距離画像におけるデータ方向の画素番号をｉ、その最大画素数をＮ、領域における各点の距離値をＲｉとすると、高度値及び奥行距離値は式（１）のとおりに求められる。
【００１９】
【数１】
【００２０】
なお、第１の撮像装置１、第２の撮像装置２はそれぞれ撮像手段（第１の撮像手段、第２の撮像手段）を構成する。また、撮像手段は第１の撮像装置１と第２の撮像装置２とから構成されるものであってもよい。
【００２１】
次に、物体認識装置３について説明する。物体認識装置３は、図１に示すように、撮像データ保存部３１と、物体検知部３２と、速度検出部３３と、物体認識部３４とを備え、第１の撮像装置１から第１の撮像データ、第２の撮像装置２から第２の撮像データが出力される。なお、撮像データ保存部３１、物体検知部３２、速度検出部３３、物体認識部３４、はそれぞれ、撮像データ保存手段３１と、物体検知手段３２と、速度検出手段３３と、物体認識手段３４を構成する。
【００２２】
撮像データ保存部３１には、第１の撮像装置１と第２の撮像装置２から出力された第１の撮像データ、第２の撮像データを保存される。また、複数のテンプレートデータが予め保存されている。このテンプレートデータは、予め設定された基準速度で通行経路を通過する対象物の特徴量（特徴パターン）を有するデータであり、対象物には、トラック、乗用車、軽自動車等の様々な種類の車両や、人物、動物等が該当する。ここで、基準速度をどのように決めるかについては、車両認識を行うにあたり想定される車両の最大通過速度としてもよいし、ユーザが任意に決めてもよい。以下では１例として、一般に車両がゲートを通過する速度Ｖｂを基準速度として説明を行う。
【００２３】
物体検知部３２は、撮像データ保存部３１から取得した撮像データに基づき、領域内に存在する車両を検知する。物体検知部３２は、例えば、領域内に車両が存在しない状態の強度データ（背景データ）を予め取得しておき、この背景データと車両が存在する状態の第１の撮像データとの各点における強度差を読み出し、強度差が所定の閾値を超える点の数が設定数以上あれば物体である車両が存在しているものと検知する。物体検知部３２は、第１の撮像装置１に出力された第１の撮像データから第１の領域内に存在する車両を検知すると、車両の検知を表す第１の検知信号を出力し、第２の撮像装置２に出力された第２の撮像データから第２の領域内に存在する車両を検知すると車両の検知を表す第２の検知信号を出力する。
【００２４】
速度検出部３３は、物体検知部３２から入力される第１の検知信号と第２の検知信号との入力の時間差から、車両の通過する速度を算出する。つまり、速度検出部３３は、第１の撮像装置１と第２の撮像装置２との距離ｗの情報は予め持っているので、第１の撮像装置１から出力される第１の撮像データと第２の装置２から出力される第２の撮像データの出力のタイミング差が把握できれば、車両の通過速度の算出ができる。より具体的には、第１の撮像装置１及び第２の撮像装置２のデータ取得レートをｆｓ（Ｈｚ）、各撮像装置において車両を検知したライン方向のデータ取得数をＳとすると、車両の速度Ｖは式（２）のとおり求められる。速度検出部３３は、検出した速度を物体認識部３４に出力する。
【００２５】
【数２】
【００２６】
なお、物体検知部３２と速度検出部３３とは、物体速度検出手段を構成する。
【００２７】
物体認識部３４は、撮像データに含まれる車両の画像サイズを検出速度Ｖに応じて変更し、変更後の撮像データと基準速度Ｖｂに対応するテンプレートデータとを比較することにより、撮像データに含まれる車両又は車両の一部を認識する。そして、その認識結果を図４には図示しない例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の上位の装置に出力する。物体認識部３４は、図５に示すように、画像サイズ変更部３４１と、判定部３４２と、認識処理部３４３とを備える。
【００２８】
画像サイズ変更部３４１は、速度検出部３３により検出された速度Ｖに基づき、撮像データ保存部３１から取得した撮像データに含まれる車両の画像のサイズを変更する。具体的には、画像サイズ変更部３４１は、撮像データに含まれる車両の画像について、車両のライン方向、すなわち通過方向（横方向）の長さが変更されるよう、バイリニア補間又はバイキュービック補間等を行いサイズを変更する。なお、画像のサイズを変更する処理を、画像を補正すると表現してもよい。
【００２９】
画像のライン方向のサイズをどの程度変更するかについては、例えば基準速度Ｖｂに対する検出速度Ｖの割合に比例するよう変更すればよい。図６に示すよう、検出速度Ｖで通過する車両のライン方向の長さがＡだとした場合、サイズ変更後の車両のライン方向の長さはＡ×Ｖ/Ｖｂとなる。検出速度Ｖが基準速度Ｖｂよりも速い場合、撮像データに含まれる車両の画像は基準速度に対応する画像よりもライン方向に縮んだ画像となっており、サイズ変更されることによりライン方向に伸びるようになる。一方、検出速度Ｖが基準速度Ｖｂよりも遅い場合、撮像データに含まれる車両の画像は基準速度に対応する画像よりもライン方向に伸びた画像となっており、サイズ変更されることによりライン方向に縮むようになる。画像が車軸の場合は、サイズ変換後の車軸の扁平率が０に近づくこととなる。
【００３０】
サイズ変更後のライン方向の長さは、車両が基準速度Ｖｂで通過する場合の車両のライン方向の長さに対応している。そのため、車両がいずれの速度で通過しようとも、その通過速度に起因した画像の歪みを補正し、基準速度Ｖｂで通過した場合の画像サイズに合うようになる。
【００３１】
なお、サイズ変更には、画像のライン方向の長さが大きくなるようサイズ変更した後、さらにアスペクト比を変更したものについても含まれる。また、ライン方向の長さを長く（短く）する代わりにデータ方向（縦方向）の長さが短く（長く）なるように変更してもよいし、ライン方向とデータ方向の両方の長さを変更することによりサイズ変更してもよい。
【００３２】
判定部３４２は、画像サイズ変更部３４１で画像のサイズが変更された撮像データが入力され、この撮像データと、撮像データ保存部３１に予め保存されたテンプレートデータとについて、パターンマッチング処理を行う。判定部３４２は、撮像データに含まれる車両の画像である被探索画像上を、テンプレートデータに含まれる対象物の特徴パターンをｘｙ方向に移動して比較を行っていき、被探索画像上に対象物の特徴パターンの検出を行う。つまり、判定部３４２は、撮像データに含まれる物体である車両の画像が、テンプレートデータに含まれる対象物の特徴パターンを有するか否かを判定する。判定結果は、認識処理部３４３に出力される。
【００３３】
ここで撮像データに含まれる画像とは、強度画像、輝度画像、又は距離画像が該当する。また、高度値及び奥行距離値のデータを有する画像とテンプレート画像とのマッチングであってもよいし、検出速度Ｖを用いて算出されるライン方向の距離値による３次元形状マッチングを用いてもよい。検知を行うスキャンの相対ライン数をｊとすると、ライン方向の距離値Ｙｊは式（３）のように求められる
【００３４】
【数３】
【００３５】
なお、パターンマッチングの方法としては、テンプレートマッチング処理やテクスチャーマッチング処理を用いればよい。また、テンプレートデータについては撮像データ保存部３１に保存されているとしたが、別の保存装置（メモリ）に予め保存されていてもよいし、また判定部３４２が内部メモリを有し予め保存しておいてもよい。また、テンプレートデータは対象物の特徴量を有するものであるとして説明を行ったが、対象物の画像データそのものであってもよい。
【００３６】
認識処理部３４３は、判定部３４２からの判定結果に基づいて、物体の認識結果を求め、その認識結果を例えばＰＣ等の外部装置に出力する。つまり、認識処理部３４３は、判定部３４２により撮像データは対象物の特徴パターンを有するという判定結果が入力されると、撮像データに含まれる物体を対象物と認識し、その認識結果を出力する。例えば撮像データが軽自動車の特徴パターンを有するのであれば、認識処理部３４３は物体を軽自動車と認識し、トラックの特徴パターンを有する場合は、認識処理部３４３は物体をトラックと認識してその認識結果を出力する。
【００３７】
次に、図７を用いて本発明の実施の形態１の動作について説明する。
【００３８】
第１の撮像装置１及び第２の撮像装置２はそれぞれ所定時間間隔をもって取得した撮像データ（第１の撮像データ、第２の撮像データ）を物体認識装置３の撮像データ保存部３１に出力している（ステップＳ１）。
【００３９】
図２に示すように車両が車両進行方向に移動して第１の領域内に入り、第１の撮像装置１が出力する第１の撮像データ中に車両が存在すると（ステップＳ２−Ｙｅｓ）、物体検知部３２は、撮像データ保存部３１から取得したその第１の撮像データ中の物体である車両を検知する。そして、物体検知部３２は、車両が存在することを示す第１の検知信号を速度検出部３３に出力する（ステップＳ３）。なお、この時点では撮像データ中に何か物体が存在することは検知できるが、撮像データ中の物体が車両ということまでは認識できていない。
【００４０】
次いで車両が第２の領域内に入り、第２の撮像装置２が出力する第２の撮像データ中に車両が存在すると（ステップＳ４−Ｙｅｓ）、物体検知部３２は、撮像データ保存部３１から取得したその第２の撮像データ中の物体である車両を検知する。そして、物体検知部３２は、車両が存在することを示す第２の検知信号を速度検出部３３に出力する（ステップＳ５）。
【００４１】
速度検出部３３は、第１の検知信号と第２の検知信号との両方が入力されると、各検知信号の入力の時間差から車両の通過速度Ｖを検出し、検出速度を物体認識部３４に出力する（ステップＳ６）。
【００４２】
物体認識部３４の画像サイズ変更部３４１は、速度検出部３３からの検出速度Ｖが入力されると、撮像データ保存部３１から撮像データを取得し、検出速度Ｖに応じて、撮像データに含まれる車両の画像のサイズを変更する（ステップＳ７）。このようにサイズ変更することにより、車両のライン方向の長さは、車両が基準速度Ｖｂで通過する場合におけるライン方向の長さに対応したものとなる。
【００４３】
画像サイズ変更部３４１は、サイズ変更処理を行うと、その変更後の撮像データを判定部３４２に出力する。ここで、サイズ変更される画像を含む撮像データは、第１の撮像装置１で撮像された第１の撮像データでも、第２の撮像装置２で撮像された第２の撮像データのいずれであってもよい。
【００４４】
判定部３４２は、画像サイズ変更部３４１から変更後の画像を含む撮像データが入力されると、変更された撮像データと、撮像データ保存部３１に保存される複数のテンプレートデータとを比較し（ステップＳ８）、撮像データがテンプレートデータに含まれる対象物の特徴パターンを有するか否かを判定し、その判定結果を認識結果出力部３４３に出力する。
【００４５】
例えば撮像データ保存部３１にテンプレートデータＡ、Ｂ、Ｃが保存されており、各テンプレートデータがそれぞれ、対象物である軽自動車、乗用車、トラックの特徴パターンを有する場合、判定部３４２は変更後の撮像データとテンプレートデータＡ、Ｂ、Ｃとをそれぞれパターンマッチング処理を行う。ここでは、撮像データにはテンプレートデータＣの特徴パターンが含まれるものとして説明する。
【００４６】
このとき、撮像データにふくまれる車両のライン方向の長さは、車両がいずれの速度で通過しようとも、基準速度Ｖｂで通過する場合のライン方向の長さに対応するようサイズ変更されており、また、テンプレートデータＡ、Ｂ、Ｃに含まれる対象物の特徴パターンは基準速度Ｖｂで通行する場合のサイズに対応させたものとなっている。そのため、車両の通過速度が異なることによるミスマッチを防止し、パターンマッチング処理のマッチング精度の低下を防止することができる。また、様々な通過速度に対応したテンプレートデータを用意する必要がないので、パターンマッチング処理における計算コストを下げることが可能となる。
【００４７】
認識処理部３４３は、判定部３４２での判定結果にもとづいて物体を認識し、その結果を出力する（ステップＳ９）。つまり、認識処理部３４３は、判定部３４２から、撮像データにはテンプレートデータＣの特徴パターンが含まれるという判定結果が入力されると、撮像データに含まれる物体である車両はトラックであると認識し、その結果を出力する。
【００４８】
ここで、判定部３４２はサイズ変更された撮像データに含まれる物体の一部と対象物が同一か否か判定してもよい。すなわち、テンプレートデータを車軸の特徴量を有するデータとし、車両の画像を含む撮像データと車軸の特徴量を有するテンプレートデータとでパターンマッチング処理を行ってもよい。こうすることにより、物体である車両の一部に車軸が存在するか否かを判定、認識することが可能となる。またテンプレートデータについては、基準速度で通過する際の車軸の特徴量を有するテンプレートデータだけを保存していればよく、複数の速度に対応した車軸の特徴量を有する複数のテンプレートデータは不要となるので、保存しておくテンプレートデータのパターンの量を大幅に削減することができる。
【００４９】
以上のように、本発明の実施の形態１によれば、検出した物体の速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、マッチングの精度を向上させ精度高い物体認識が可能となる。
【００５０】
また、複数の速度に対応した複数のテンプレートデータを予め用意する必要がなくなるので、撮像データとパターンマッチング処理するテンプレートデータ量が減少し、パターンマッチング処理における計算コストを削減して処理時間の増大を防止することが可能となる。
【００５１】
また、検出した物体である車両の速度に応じて撮像データに含まれる物体の画像のサイズを変更し、その変更後の撮像データと車軸の特徴量を有するテンプレートデータとをパターンマッチング処理することにより、マッチングの精度を良くし、かつ、その計算コストを下げて、通行する車両の車軸を認識することが可能となる。
【００５２】
なお、これまで第１の撮像装置１から出力される第１の撮像データ及び第２の撮像装置２から出力される第２の撮像データは、撮像データ保存部３１に一旦保存されてから物体検知部３２及び物体認識部３４に入力されていたが、この構成に限らず、例えば第１の撮像装置１及び第２の撮像装置２から直接物体検知部３２及び物体認識部３４に出力されることとしてもよい。以下も同様である。
【００５３】
なお、これまで撮像データ保存部３１は物体認識装置３の内部に備えられた構成としたが、これに限らず、物体認識装置３の外部の記憶装置に備えられた構成としてもよい。以下も同様である。
【００５４】
なお、これまで複数のテンプレートデータは撮像データ保存部３１に保存されているとして説明を行ったが、これに限るものではなく、例えば物体認識装置３内の別メモリに保存してもよいし、物体認識部３４の内部メモリに保存してもよい。以下も同様である。
【００５５】
実施の形態２．
以下図面を用いて本発明の実施の形態２について説明する。図８は実施の形態２に係る物体認識システムの構成図である。図９は実施の形態２における第１の撮像装置と速度計の配置を説明するための図である。図１０は実施の形態２の動作を説明するフローチャートである。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
【００５６】
実施の形態２の物体認識システムは、図８に示すように、第１の撮像装置１と、物体認識装置３と、速度計４とを備え、物体認識装置３は撮像データ保存部３１と物体認識部３４を有する。また、物体認識部３４は、実施の形態１と同様に、図５に示す画像変換部３４１、判定部３４２、認識結果出力部３４３とを有する。実施の形態２の物体認識システムは、撮像装置が１台である点と、物体認識装置３が物体検知部３２と速度検出部３３とを有していない点において実施の形態１と異なる。
【００５７】
速度計４は、図９に示すように、通行経路の傍に、第１の撮像装置１と所定の間隔をおいて設置されている。この速度計４は、通過する車両等の物体が速度を検出する領域内に入ると、物体の速度を検知して物体認識部３４の速度比較部３４０に出力する。なお、速度計４は物体速度検出手段を構成する。
【００５８】
図１０を用いて本発明の実施の形態２の動作について説明する。
【００５９】
第１の撮像装置１は所定時間間隔で取得した第１の撮像データを物体認識装置３の撮像データ保存部３１に出力している（ステップＳ０１）。
【００６０】
車両が車両進行方向に移動して速度計４による速度を検出する領域内に入り、速度計４が車両の速度を検出すると（ステップＳ０２−Ｙｅｓ）、その検出した速度を物体認識部３４の画像サイズ変更部３４１に出力する（ステップＳ０３）。なお、この時点では撮像データ中の物体が車両ということは認識できていない。
【００６１】
速度計４により検出された速度が画像サイズ変更部３４１に入力された後の処理（ステップＳ０４〜Ｓ０６）については、実施の形態１で説明した図７のステップＳ７〜Ｓ９と同一であるので、説明を省略する。
【００６２】
以上のように、本発明の実施の形態２によれば、速度計４により物体の通行速度を検出し、その検出速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、実施の形態１よりも撮像装置の設置台数が減り、物体認識装置３において物体検知処理、速度検出処理が不要となるので、実施の形態１と同一の効果を有することに加え、さらに計算コストを下げることが可能となり、また、装置規模を縮小することが可能となる。
【００６３】
実施の形態３．
以下図面を用いて本発明の実施の形態３について説明する。図１１は実施の形態３に係る物体認識部の構成図である。図１２は実施の形態３に係る高度ヒストグラム算出処理の一例を説明するための図である。図１３は実施の形態３における撮像データに対しての検知フラグ算出処理の一例を説明するための図である。図１４は実施の形態３の動作を説明するフローチャートである。図１５は実施の形態３に係る高度ヒストグラム算出処理の他の例を説明するための図である。図１６は実施の形態３における撮像データに対しての検知フラグ算出処理の他の例を説明するための図である。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
【００６４】
実施の形態３の物体認識システムは、物体認識装置３の構成が実施の形態１と異なり、図１１に示すように、新たに速度比較部３４０と、平均化処理部３４４と、ヒストグラム算出領域設定部３４５と、高度ヒストグラム算出部３４６と、データ存在確率算出部３４７と、検知フラグ生成部３４８とを備える。なお、速度比較部３４０、平均化処理部３４４、ヒストグラム算出領域設定部３４５、高度ヒストグラム算出部３４６、データ存在確率算出部３４７、検知フラグ生成部３４８、はそれぞれ、速度比較手段３４０と、平均化処理手段３４４と、ヒストグラム算出領域設定手段３４５と、高度ヒストグラム算出手段３４６と、データ存在確率算出手段３４７と、検知フラグ生成手段３４８を構成する。
【００６５】
速度比較部３４０は、速度検出部３３から検出速度Ｖが入力されると、その検出速度Ｖと予め設定された速度閾値Ｖｔｈとを比較し、検出速度Ｖが速度閾値Ｖｔｈよりも速ければその検出速度Ｖを画像サイズ変更部３４１に出力する。一方、速度比較部３４０は、検出速度Ｖが速度閾値Ｖｔｈよりも遅い場合、又は速度検出部３３から車両の速度を検出できなかったことを表すエラー信号が入力された場合は、画像サイズ変更部３４１に検出速度Ｖを出力せず、平均化処理部３４４に対して処理を行うよう指示する指示信号を出力する。ここで、車両の速度を検出できない場合とは、例えば撮像装置の前で車両が停止した場合等が該当する。
【００６６】
速度閾値Ｖｔｈは、物体認識を行う制限時間内に車両を認識することができる最低の速度値である。すなわち、車両の形状全てを含む画像を保存するために必要な最低の速度であり、車両の通過速度がこのＶｔｈを下回ったとき、制限時間内に車両の全形状の画像が含まれる撮像データが得られないこととなる。速度閾値Ｖｔｈの求め方についての詳細は後述する。
【００６７】
平均化処理部３４４は、速度比較部３４０から指示信号が入力されると、撮像データ保存部３１から撮像データを取得し、撮像データに含まれる車両画像のライン方向に対して移動平均処理を行う。この移動平均処理を行うことにより、移動平均点数をＮＡとして、このＮＡの平方根倍でＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が上昇し、画質を向上させることが可能となる。移動平均点数ＮＡは任意に定めることができるが、１例としては、物体認識を行う必要がある制限時間をＴＬとすると、式（４）のように求められる。
【００６８】
【数４】
【００６９】
なお、平均化処理部３４４の代わりにＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ、Ｂｕｔｔｅｒｗｏｒｔｈフィルタ等のＩＩＲフィルタを用いその次数をＮＡとしてもよい。
【００７０】
ここでの撮像データは、強度データと距離データとからなる三次元データに相当するが、これに限定するものではなく、例えば距離データの三次元データのみに相当するものであってもよい。また、ここでの撮像データは、第１の撮像データでも第２の撮像データのいずれでもよく、以下は単に撮像データとして説明する。
【００７１】
ヒストグラム算出領域設定部３４５は、平均化処理部３４４により移動平均処理がなされた撮像データに対して、第１の領域（又は第２の領域）を所定領域に絞り込み、絞り込んだ所定領域についての撮像データを出力する。この所定領域をヒストグラム算出領域と定義して以下説明する。
【００７２】
このヒストグラム算出領域は、図１２に示すよう、高度方向の上限値Ｈ１a、下限値Ｈ２a、奥行距離方向の上限値Ｓ１a、下限値Ｓ２aとで囲まれた領域である。例えば、高度方向の上限値Ｈ１aは撮像装置で撮像可能な最大高さに設定され、高度方向の下限値Ｈ２aは国産車の最低地上高度に設定され、奥行距離方向の上限値Ｓ１aは車両が走行している車線幅に設定され、奥行距離方向の下限値Ｓ２aは撮像装置と車両との最小距離に設定されるが、これに限定されるものではない。
【００７３】
高度ヒストグラム算出部３４６は、撮像データのうちのヒストグラム算出領域を高度（高さ）方向にＮ分割して総数Ｎ個の区間（高さビン）Ｂｈaを作成し高度ヒストグラムＣａを算出する。この高さビンＢｈaの幅は任意に設定できるが、例えば撮像データの有する高さ方向の空間分解能に相当する値とすればよい。
【００７４】
図１２では高さビンの分割数を２と設定し、車両のルーフ部分Ｂａに該当する撮像データが上部のビンに複数個格納され、車両のドア部分Ｂａ、車両床部分、及びタイヤ部分Ａ’に該当する撮像データが下部のビンに複数個格納される。路面はヒストグラム算出領域外となっているので、路面に該当する撮像データは高さビンには格納されない。そして、高度ヒストグラム算出部３４６は、算出したヒストグラムをデータ存在確率算出部３４７に出力する。
【００７５】
データ存在確率算出部３４７は、高度ヒストグラム算出部３４６で算出された高度ヒストグラムＣａに基づき、強度データ又は距離データが所定数以上格納されたビン数ｎと、高さ方向に分割したビン総数Ｎとの比率ｎ/Ｎをデータ存在確率Ｐaとして算出する。そして、データ存在確率算出部３４７は、図１３(a)に示す撮像データに含まれる車両の断面、つまりライン方向に沿ってデータ存在確率Ｐaを取得する（図１３(b)に対応）。そして、データ存在確率算出部３４７は、車両のライン方向に沿って得たデータ存在確率Ｐaについてのデータを検知フラグ生成部に出力する。なお、撮像データに含まれる車両の画像は、車両の検出速度Ｖが速度閾値Ｖｔｈを下回っているため、図１３(a)に示すように、車両の全形状のうち一部領域が欠落した画像となる。
【００７６】
検知フラグ生成部３４８は、データ存在確率算出部３４７で算出されたデータ存在確率Ｐaと予め設定された閾値とを比較することにより検知フラグを生成する。
【００７７】
検知フラグ生成部３４８は複数の閾値の組（上限閾値、下限閾値）を有し、データ存在確率Ｐaが、上限閾値よりも高い場合には検知フラグをＨ、上限閾値よりも低く下限閾値よりも高い場合はＭ、下限閾値よりも低い場合はＬとする。複数の閾値の組は対象物毎、すなわち車種毎、車両サイズ毎に異なるものとされており、例えばトラック用の閾値の組Ｄ、軽自動車用の閾値の組Ｅ、乗用車用の閾値の組Ｆはそれぞれ異なる値である。このように検知フラグ生成部３４８は、対象物に応じて値が異なる複数の閾値の組と、データ存在確率Ｐaとをそれぞれ比較する。
【００７８】
例えば図１３(b)に示すデータ存在確率Ｐaが入力されると、検知フラグ生成部３４８は、このデータ存在確率Ｐaと上限閾値、下限閾値との比較を行う。ここでは撮像データに含まれる物体である車両は乗用車とし、比較用の閾値の組も乗用車用の閾値の組Ｆとする。比較の結果、図１３(a)に示す撮像データのうち、車両のタイヤ部分におけるデータ存在確率Ｐaは上限閾値を超えているのでＨとなる。車両のルーフ部分におけるデータ存在確率Ｐaは下限閾値よりも大きくかつ上限閾値未満となるのでＭとなる。その他の部分におけるデータ存在確率Ｐaは下限閾値よりも小さくなるのでＬとなる。その結果、図１３(c)に示されるパターンの検知フラグが検知フラグ生成部３４８により生成される。
【００７９】
検知フラグ生成部３４８は、乗用車用の閾値の組Ｆ以外の組の閾値に対してもデータ存在確率Ｐaと比較するが、Ｆ以外の組の閾値においては図１３(c)に示されるような検知フラグのパターンは生成されない。これは、乗用車とトラック、乗用車と軽自動車とでライン方向におけるデータ存在確率Ｐaの値が異なるためである。そのため、閾値の組Ｆにおいて図１３(c)のような検知フラグのパターンが生成されるのは、乗用車に対しては乗用車用の閾値の組Ｆだけとなる。
【００８０】
検知フラグ生成部３４８は、データ存在確率Ｐaと対象物に応じた閾値の組とをそれぞれ比較して複数の検知フラグを生成すると、生成した検知フラグパターンと対応する対象物の情報とを対応づけて認識処理部３４３に出力する。例えば上記の閾値の組Ｄ、Ｅ、Ｆと図１３(b)に示すデータ存在確率Ｐとを比較した場合、Ｄと比較され生成された検知フラグパターンと「トラック」という情報、Ｅと比較され生成された検知フラグパターンと「軽自動車」、Ｆと比較され生成された検知フラグパターン（図１３(c)に対応）と「乗用車」という情報をそれぞれ認識処理部３４３に出力する。
【００８１】
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグパターンと当該パターンに対応する対象物の情報とに基づいて、物体の認識を行う。つまり、認識処理部３４３は、入力された複数の検知フラグパターンを読み取り、所望の検知フラグパターンに対応する閾値の組についての情報から、物体の認識を行う。例えば閾値の組Ｄ、Ｅ、Ｆとの比較により生成された検知フラグパターンと対応する対象物の情報とが入力された場合、認識処理部３４３は、物体を、図１３(c)に示す所望の検知フラグパターンに対応する乗用車であると認識する。
【００８２】
図１４を用いて本発明の実施の形態３の動作について説明する。
【００８３】
ステップＳ００１からＳ００６までの処理については、実施の形態１で説明した図７のステップＳ１〜Ｓ６と同一であるので、説明を省略する。
【００８４】
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖと速度閾値Ｖｔｈとを比較し（ステップＳ００７）、検出速度Ｖが設定速度Ｖｂよりも速い場合（ステップＳ００８−Ｙｅｓ）、画像サイズ変更部３４１に検出速度Ｖを出力し、その後ステップＳ００９〜Ｓ０１１までの処理がなされることとなる。これらステップＳ００９〜Ｓ０１１までの処理は、実施の形態１で説明した図７のステップＳ７〜Ｓ９と同一であるので、説明を省略する。
【００８５】
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが設定速度Ｖｂよりも遅い場合、又は速度検出部３３からエラー信号が入力された場合（ステップＳ００８−Ｎｏ）、ステップＳ００９〜Ｓ０１１までの処理はなされず、ステップＳ０１２〜Ｓ０１７までの処理がなされるよう、処理が切り替わる。つまり、速度比較部３４０は、画像サイズ変更部３４１に検出速度Ｖを出力せず、平均化処理部３４４に対して指示信号を出力することにより処理を切り替える。
【００８６】
平均化処理部３４４は、速度比較部３４０より指示信号が出力されると、撮像データ保存部３１から取得した撮像データに対し移動平均処理を行い、ノイズの除去をする（ステップＳ０１２）。
【００８７】
ヒストグラム算出領域設定部３４５は、移動平均処理が行われた撮像データにおける第１の領域（又は第２の領域）を絞り込み、ヒストグラム算出領域を得る（ステップＳ０１３）。
【００８８】
高度ヒストグラム算出部３４６は、ヒストグラム算出領域を高さ方向にＮ分割して総数Ｎ個の高さビンＢｈaを作成し高度ヒストグラムＣａを算出する（ステップＳ０１４）。高度ヒストグラム算出部３４６は、この高度ヒストグラムを車両のライン方向に沿って算出する。
【００８９】
データ存在確率算出部３４７は、車両のライン方向に沿って算出された高度ヒストグラムに基づき、強度データ又は距離データが所定数以上格納されたビン数ｎと、高さ方向に分割したビン総数Ｎとの比率ｎ/Ｎから、車両のライン方向に沿ったデータ存在確率Ｐaを算出する（ステップＳ０１５）。
【００９０】
検知フラグ生成部３４８は、データ存在確率算出部３４７で算出されたデータ存在確率Ｐaと、対象物に応じてそれぞれ値が異なる閾値の組とを比較することにより複数の検知フラグを生成し、生成した複数の検知フラグパターンと各パターンに対応する対象物の情報とを認識処理部３４３に出力する（ステップＳ０１６）。
【００９１】
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグのパターンとそのパターンに対応する対象物の情報とから、検知された物体を、所望の検知フラグパターンに対応する対象物であると認識する（ステップＳ０１７）。
【００９２】
ここで、ヒストグラム算出領域設定部３４５は、上述したように、車両全体が含まれるような領域をヒストグラム算出領域として設定してもよいが、図１５(a)(b)に示すように、車両のタイヤが含まれる程度の広さの領域に設定してもよい。この場合、ヒストグラム算出領域設定部３４５は、例えば高度方向の上限値Ｈ１を国産車の最低地上高度、下限値Ｈ２を路面に対する高度の標準偏差値、奥行距離方向の上限値Ｓ１を国内で販売されているタイヤ幅の最大値、下限値Ｓ２を撮像装置１と物体との最小距離、のように設定する。
【００９３】
高度ヒストグラム算出部３４６は、ヒストグラム算出領域を高さ方向にＮ分割して総数Ｎ個の高さビンＢｈを作成し、高度ヒストグラムを算出する。図１５(a)に示すように、ヒストグラム算出領域内にタイヤが存在する場合は、設定した高さビンＢｈのいずれの位置においても強度データ又は距離データが存在するヒストグラムＣになるので、データ存在確率Ｐａは１００％となる。
【００９４】
一方、図１５(b)に示すように、ヒストグラム算出領域内にタイヤが存在しない場合、設定した高さビンＢｈの一部についてのみ強度データ又は距離データが存在するので、偏ったヒストグラムＣとなり、データ存在確率Ｐａは２５％程度となる。高度ヒストグラム算出部３４６は、上述したように、車両のライン方向に沿って高度ヒストグラムを算出する。
【００９５】
データ存在確率算出部３４７は、ヒストグラム算出領域内にタイヤが存在する場合、図１６(a)に示す車両のライン方向に沿ってデータ存在確率Ｐを取得する（図１６(b)に対応）。ここで得られたデータ存在確率Ｐは、車両のタイヤが検知されるときに値が高くなる。
【００９６】
検知フラグ生成部３４８は、データ存在確率Ｐと予め設定した閾値とを比較することにより検知フラグを生成し、生成した検知フラグパターンを認識処理部３４３に出力する。
【００９７】
検知フラグは、図１６(b)に示すデータ存在確率Ｐのうち、タイヤが存在しない部分においては閾値を超えず値が０となり、タイヤが存在する部分においては閾値を超え１となる。そのため、検知フラグ生成部３４８は、タイヤが存在する場合には図１６(c)に示すようなタイヤの存在を表す１の検知フラグパターンを生成し、タイヤが存在しない場合においては０の検知フラグパターンを生成することとなる。
【００９８】
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグパターンから、物体にタイヤが存在するか否か、言い換えると、物体に車軸が存在するか否かを判定する。そして、認識処理部３４３は、物体に車軸が存在すると判定すると、物体は車両であると認識する。
【００９９】
なお、取得された撮像データに含まれる車両の画像に後輪のタイヤも含まれた場合、検知フラグのパターンは１のピークが２つ生じるようなパターンとなり、前輪のタイヤのみが検出された場合と同様に物体中に車軸が存在すると判定され、認識処理部３４３により物体は車両であると認識される。
【０１００】
以上のように、本発明の実施の形態３によれば、実施の形態１の効果に加え、物体の検出速度が速度閾値よりも遅い場合又は物体の通過する速度が検出できなかった場合には、撮像データ内の領域を絞り込んだヒストグラム算出領域に対して高度ヒストグラムを算出し、その高度ヒストグラムから算出したデータ存在確率と閾値とを比較することにより検知フラグを生成し、その検知フラグのパターンから物体を認識するようにしたので、物体の形状全てを含む画像を保存できない場合であっても、物体を認識することが可能となる。
【０１０１】
なお、物体認識部３４７は、図１１に図示しないデータ削除部を備えていてもよい。データ削除部は、撮像データ保存部３１において保存していたデータ量の検査を行う。データ量閾値をＭとすると、その決定方法として、例えば、搭載されているメモリ量をＭｅ(bit)とすると、１ラインの画素数Ｎ、１データのbit数Ｆを用いて、式（５）のように求められる。
【０１０２】
【数５】
【０１０３】
また、データ削除部は、物体認識を行う必要がある制限時間ＴＬを用いて、式（６）のように求めてもよい。ただし、式（５）又は式（６）に制限されるものではない。保存されていたデータ量がＭ以上である場合、データ削除部３４７は、最古のデータを破棄し、その結果を電気信号として撮像データ保存部３１に出力する。
【０１０４】
【数６】
【０１０５】
ここで、速度閾値Ｖｔｈの求め方についてその詳細を説明する。速度閾値Ｖｔｈは、式（５）又は式（６）におけるＭを用いて、式（７）のように表される。また、ユーザが任意にＭを定義してもよい。
【０１０６】
【数７】
【０１０７】
実施の形態４．
以下図面を用いて本発明の実施の形態４について説明する。図１７は実施の形態４に係る物体認識部の構成図である。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
【０１０８】
実施の形態４の物体認識システムは、実施の形態３の物体認識システムと比較して、図１８に示すように、新たに平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとを備えた構成であってもよい。これら各構成はそれぞれ図１１の平均化処理部３４４、ヒストグラム算出領域設定部３４５、高度ヒストグラム算出部３４６、データ存在確率算出部３４７、検知フラグ生成部３４８と同一の機能を有するためその説明は省略する。また、速度比較部３４０に検出速度が入力されるまでの動作は実施の形態３と同一であるので、その説明は省略する。
【０１０９】
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが速度閾値Ｖｔｈよりも遅い場合、又は速度検出部３３からエラー信号が入力された場合、平均化処理部３４４に指示信号を出力する。その後は図１４のステップＳ０１２〜Ｓ０１７の処理がなされて物体が認識される。
【０１１０】
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが速度閾値Ｖｔｈよりも速い場合、画像サイズ変更部３４１及び平均化処理部３４４aに検出速度Ｖを出力する。その後は画像サイズ変更部３４１と、判定部３４２とにより図１４のステップＳ００９、Ｓ０１０の処理がなされ、また、平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとにより図１４のステップＳ０１２〜Ｓ０１６に対応する処理もなされる。
【０１１１】
そして、認識処理部３４３は、判定部３４２から出力される判定結果と、検知フラグ生成部３４８aから出力される検知フラグパターン及び対象物の情報と、に基づいて、物体の認識結果を外部ＰＣ等へ出力する。つまり、認識処理部３４３は、画像のサイズが変更された撮像データと基準速度に対応するテンプレートデータとが比較された結果と、撮像データの高度方向について算出したヒストグラムから生成された検知フラグのパターン及び対象物の情報とから物体又は物体の一部を認識する。判定部３４２からの結果と検知フラグ生成部３４８aからの結果が異なる場合は、判定部３４２からの結果を優先させることが好ましい。
【０１１２】
こうすることにより、実施の形態１〜３と比較して、認識処理部３４３における物体認識の精度を向上させることが可能となる。
【０１１３】
なお、平均化処理部３４４aは、移動平均点数ＮＡを、オフセットＣを用いて式（８）のように求めてもよい。動的に移動平均点数を制御することによって、最適な平均化処理を行うことが可能となる。
【０１１４】
【数８】
【０１１５】
なお、速度閾値Ｖｔｈを複数設定してもよく、例えばＶｔｈ、Ｖｔｈ_ｓ（Ｖｔｈ＜Ｖｔｈ_ｓ）とすると、速度比較部３４０において検出速度ＶがＶｔｈ_ｓよりも大きければ図１４のステップＳ００９〜Ｓ０１１に対応する処理がなされ、検出速度ＶがＶｔｈよりも小さければ図１４のステップＳ０１２〜０１７に対応する処理がなされる。検出速度ＶがＶｔｈよりも大きくＶｔｈ_ｓよりも小さければ、本実施の形態で説明したように、画像サイズ変更部３４１と、判定部３４２とにより図１４のステップＳ００９、Ｓ０１０の処理がなされ、また、平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとにより図１４のステップＳ０１２〜Ｓ０１６に対応する処理がなされ、認識処理部３４３は判定部３４２から出力される判定結果と、検知フラグ生成部３４８aから出力される検知フラグパターン及び対象物の情報と、に基づいて、物体を認識する、というようにしてもよい。また、Ｖｔｈ_ｓについては任意に設定してもよい。
【符号の説明】
【０１１６】
１ 第１の撮像装置
２ 第２の撮像装置
３ 物体認識装置
３１ 撮像データ保存部
３２ 物体検知部
３３ 速度検出部
３４ 物体認識部
３４０ 速度比較部
３４１ 画像サイズ変更部
３４２ 判定部
３４３ 認識処理部
３４４、３４４a 平均化処理部
３４５、３４５a ヒストグラム算出領域設定部
３４６、３４６a 高度ヒストグラム算出部
３４７、３４７a データ存在確率算出部
３４８、３４８a 検知フラグ生成部
４ 速度計
【技術分野】
【０００１】
本発明は、ラインセンサ等の撮像装置で撮像される領域に存在する物体を、撮像装置により取得した撮像データを用いて認識する物体認識システム及び物体認識装置に関するものである。
【背景技術】
【０００２】
ラインセンサ等の撮像装置によって得られる強度画像等の撮像データを用い、撮像装置に撮像される領域を通過する車両等の物体を認識する物体認識システムが知られている（例えば、特許文献１参照）。このような物体認識システムにおいては、様々な対象物についてのテンプレートデータを用意し、それら複数のテンプレートデータと取得された撮像データとをそれぞれパターンマッチングすることにより物体を認識する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の物体認識システムでは、撮像装置におけるデータ取得レートは一定であるため、領域を通過する物体の速度によって撮像データに含まれる物体の画像が歪み、例えば車軸であれば扁平率が変化する。そのため、基準の速度で通過する対象物についてのテンプレートデータとのマッチングの精度が低下するという課題があった。また、それぞれの対象物について様々な速度に対応したテンプレートデータを用意するとなると、テンプレートデータの数が膨大になり、パターンマッチング処理についての処理時間が増大するという課題があった。
【０００５】
本発明は、上記のような課題を解決するためになされたものであって、処理時間の増大がなく精度の高い物体認識が可能な物体認識システム及び物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る物体認識システムは、物体が通過する所定領域にレーザ光を照射して得た撮像データを出力する撮像手段と、前記物体が通過する速度を検出する物体速度検出手段と、前記撮像手段から出力された前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備えることを特徴とする。
【０００７】
また、本発明に係る物体認識装置は、物体が通過する所定領域にレーザ光を照射して得られた撮像データが入力され物体又は物体の一部を認識する物体認識装置であって、前記物体が通過する速度を検出する物体速度検出手段と、前記物体速度検出手段で検出された速度に応じて、入力された前記撮像データに含まれる前記物体の画像のサイズを変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の物体認識システム、物体認識装置によれば、検出した物体の速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、処理時間の増大がなく精度高く物体認識ができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る物体認識システムの構成図。
【図２】実施の形態１に係る第１の撮像装置と第２の撮像装置の配置を説明するための図。
【図３】実施の形態１に係る撮像データに含まれる物体である車両の画像を表す図。
【図４】実施の形態１に係る車両を正面から見た図。
【図５】実施の形態１に係る物体認識部の構成図。
【図６】実施の形態１に係る撮像データに含まれる車両の画像のサイズ変更を説明するための図。
【図７】実施の形態１の動作を説明するフローチャート。
【図８】実施の形態２に係る物体認識システムの構成図。
【図９】実施の形態２に係る第１の撮像装置と速度計の配置を説明するための図。
【図１０】実施の形態２の動作を説明するフローチャート。
【図１１】実施の形態３に係る物体認識部の構成図。
【図１２】実施の形態３に係る高度ヒストグラム算出処理の一例を説明するための図。
【図１３】実施の形態３における撮像データに対しての検知フラグ算出処理の一例を説明するための図。
【図１４】実施の形態３の動作を説明するフローチャート。
【図１５】実施の形態３に係る高度ヒストグラム算出処理の他の例を説明するための図。
【図１６】実施の形態３における撮像データに対しての検知フラグ算出処理の他の例を説明するための図。
【図１７】実施の形態４に係る物体認識部の構成図。
【発明を実施するための形態】
【００１０】
実施の形態１．
以下図面を用いて本発明の実施の形態１を説明する。図１は実施の形態１に係る物体認識システムの構成図である。図２は実施の形態１における第１の撮像装置と第２の撮像装置の配置を説明するための図である。図３は実施の形態１における撮像データに含まれる物体である車両の画像を表す図である。図４は実施の形態１における車両を正面から見た図である。図５は実施の形態１に係る物体認識部の構成図である。図６は実施の形態１における撮像データに含まれる車両の画像のサイズ変更を説明するための図である。図７は実施の形態１の動作を説明するフローチャートである。
【００１１】
図１に示すように、物体認識システムは、第１の撮像装置（第１の撮像部）１と、第２の撮像装置（第２の撮像部）２と、物体認識装置３とから構成される。このような物体認識システムは、例えばゲートの侵入監視システムに適用される。ここでは、ゲートに侵入する物体を車両として説明を行うが、これに限定するものではなく、動物、人物等であってもよい。以下も同様である。
【００１２】
まず、第１の撮像装置１と第２の撮像装置２について説明する。第１の撮像装置１と第２の撮像装置２は例えば受信スキャンレス型のレーザ画像計測装置が該当する。第１の撮像装置１は第１の領域に、第２の撮像装置２は第２の領域にそれぞれレーザ光を照射し、照射を行った領域内の各点における強度値を強度データとして取得する。また、領域の照射を行った各点における距離値を距離データとして取得する。第１の撮像装置１及び第２の撮像装置２は、所定の時間間隔毎に、取得した強度データと距離データとをそれぞれ第１の撮像データ、第２の撮像データとして物体認識装置３に出力する。
【００１３】
なお、上記レーザ光が照射される領域については、観測領域、照射領域のように表現してもよい。以下では単に領域（第１の領域、第２の領域）として説明を行う。
【００１４】
図２に示すよう、第１の撮像装置１と第２の撮像装置２は、所定の間隔ｗ（ｍ）をもって車両の通行経路の傍に設置されている。つまり、第２の撮像装置２は、第１の撮像装置１に対して、車両の進行方向（通過方向）に所定間隔をおいて配置されている。図２の例では第１の撮像装置１と第２の撮像装置２は通行経路の反対側にそれぞれ設置されているが、この配置に限るものではなく、同側であってもよい。また、間隔ｗについては、例えば０．８ｍ程度であればよい。
【００１５】
車両が進行方向に移動して第１の撮像装置１がレーザ光を照射する第１の領域を通過すると、第１の撮像装置１は車両についての強度データ及び距離データを取得し、物体認識装置３に出力する。このとき、第１の撮像装置１は強度データを画像データ（強度画像）として出力してもよい。強度画像は、図３に示すよう、横軸を車両進行方向に対応するライン方向、縦軸を撮像装置（センサ）の走査方向に対応するデータ方向と定義された平面において、各画素に強度値が与えられた画像であり、第１の撮像装置１から見た奥行方向の強度値を含めてもよい。
【００１６】
また同様に、車両が進行方向に移動して第２の撮像装置２がレーザ光を照射する第２の領域を通過すると、第２の撮像装置２は車両についての強度データ及び距離データを取得し、物体認識装置３に出力する。
【００１７】
なお、ここでは第１の撮像装置１と第２の撮像装置２を一例としてライン状にスキャン（走査）するラインセンサとしたが、これに限るものではなく、少なくとも強度データと距離データとを取得できるものであればよい。強度データの代わりに、領域の照射を行った各点における輝度値から構成される輝度データを取得できるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等であってもよい。なお、強度データ（又は輝度データ）及び距離データをそれぞれ強度画像（又は輝度画像）、距離画像と画像形式にしたものも撮像データに含まれる。第１の撮像装置１は第１の領域にレーザ光を照射して取得する第１の撮像データを、第２の撮像装置２は第２の領域にレーザ光を照射して取得する第２の撮像データを、物体認識装置３に出力する。
【００１８】
また、第１の撮像装置１及び第２の撮像装置２は、取得した距離データから、高度値（高さ値）及び奥行距離値を算出し、これらを撮像データとして物体認識装置３に出力してもよい。図４に示すように、撮像装置から見た奥行方向をｘ軸、撮像装置の高さ方向である高度方向をｚ軸と定義すると、ｘ−ｚ平面に垂直な方向が進行方向となり、第１の撮像装置１（第２の撮像装置２）は、ｚ軸方向にセンサ高度Ｈ、ビーム走査角度の半角θ、センサオフナディア角φとなるように設置される。この場合、距離画像におけるデータ方向の画素番号をｉ、その最大画素数をＮ、領域における各点の距離値をＲｉとすると、高度値及び奥行距離値は式（１）のとおりに求められる。
【００１９】
【数１】
【００２０】
なお、第１の撮像装置１、第２の撮像装置２はそれぞれ撮像手段（第１の撮像手段、第２の撮像手段）を構成する。また、撮像手段は第１の撮像装置１と第２の撮像装置２とから構成されるものであってもよい。
【００２１】
次に、物体認識装置３について説明する。物体認識装置３は、図１に示すように、撮像データ保存部３１と、物体検知部３２と、速度検出部３３と、物体認識部３４とを備え、第１の撮像装置１から第１の撮像データ、第２の撮像装置２から第２の撮像データが出力される。なお、撮像データ保存部３１、物体検知部３２、速度検出部３３、物体認識部３４、はそれぞれ、撮像データ保存手段３１と、物体検知手段３２と、速度検出手段３３と、物体認識手段３４を構成する。
【００２２】
撮像データ保存部３１には、第１の撮像装置１と第２の撮像装置２から出力された第１の撮像データ、第２の撮像データを保存される。また、複数のテンプレートデータが予め保存されている。このテンプレートデータは、予め設定された基準速度で通行経路を通過する対象物の特徴量（特徴パターン）を有するデータであり、対象物には、トラック、乗用車、軽自動車等の様々な種類の車両や、人物、動物等が該当する。ここで、基準速度をどのように決めるかについては、車両認識を行うにあたり想定される車両の最大通過速度としてもよいし、ユーザが任意に決めてもよい。以下では１例として、一般に車両がゲートを通過する速度Ｖｂを基準速度として説明を行う。
【００２３】
物体検知部３２は、撮像データ保存部３１から取得した撮像データに基づき、領域内に存在する車両を検知する。物体検知部３２は、例えば、領域内に車両が存在しない状態の強度データ（背景データ）を予め取得しておき、この背景データと車両が存在する状態の第１の撮像データとの各点における強度差を読み出し、強度差が所定の閾値を超える点の数が設定数以上あれば物体である車両が存在しているものと検知する。物体検知部３２は、第１の撮像装置１に出力された第１の撮像データから第１の領域内に存在する車両を検知すると、車両の検知を表す第１の検知信号を出力し、第２の撮像装置２に出力された第２の撮像データから第２の領域内に存在する車両を検知すると車両の検知を表す第２の検知信号を出力する。
【００２４】
速度検出部３３は、物体検知部３２から入力される第１の検知信号と第２の検知信号との入力の時間差から、車両の通過する速度を算出する。つまり、速度検出部３３は、第１の撮像装置１と第２の撮像装置２との距離ｗの情報は予め持っているので、第１の撮像装置１から出力される第１の撮像データと第２の装置２から出力される第２の撮像データの出力のタイミング差が把握できれば、車両の通過速度の算出ができる。より具体的には、第１の撮像装置１及び第２の撮像装置２のデータ取得レートをｆｓ（Ｈｚ）、各撮像装置において車両を検知したライン方向のデータ取得数をＳとすると、車両の速度Ｖは式（２）のとおり求められる。速度検出部３３は、検出した速度を物体認識部３４に出力する。
【００２５】
【数２】
【００２６】
なお、物体検知部３２と速度検出部３３とは、物体速度検出手段を構成する。
【００２７】
物体認識部３４は、撮像データに含まれる車両の画像サイズを検出速度Ｖに応じて変更し、変更後の撮像データと基準速度Ｖｂに対応するテンプレートデータとを比較することにより、撮像データに含まれる車両又は車両の一部を認識する。そして、その認識結果を図４には図示しない例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の上位の装置に出力する。物体認識部３４は、図５に示すように、画像サイズ変更部３４１と、判定部３４２と、認識処理部３４３とを備える。
【００２８】
画像サイズ変更部３４１は、速度検出部３３により検出された速度Ｖに基づき、撮像データ保存部３１から取得した撮像データに含まれる車両の画像のサイズを変更する。具体的には、画像サイズ変更部３４１は、撮像データに含まれる車両の画像について、車両のライン方向、すなわち通過方向（横方向）の長さが変更されるよう、バイリニア補間又はバイキュービック補間等を行いサイズを変更する。なお、画像のサイズを変更する処理を、画像を補正すると表現してもよい。
【００２９】
画像のライン方向のサイズをどの程度変更するかについては、例えば基準速度Ｖｂに対する検出速度Ｖの割合に比例するよう変更すればよい。図６に示すよう、検出速度Ｖで通過する車両のライン方向の長さがＡだとした場合、サイズ変更後の車両のライン方向の長さはＡ×Ｖ/Ｖｂとなる。検出速度Ｖが基準速度Ｖｂよりも速い場合、撮像データに含まれる車両の画像は基準速度に対応する画像よりもライン方向に縮んだ画像となっており、サイズ変更されることによりライン方向に伸びるようになる。一方、検出速度Ｖが基準速度Ｖｂよりも遅い場合、撮像データに含まれる車両の画像は基準速度に対応する画像よりもライン方向に伸びた画像となっており、サイズ変更されることによりライン方向に縮むようになる。画像が車軸の場合は、サイズ変換後の車軸の扁平率が０に近づくこととなる。
【００３０】
サイズ変更後のライン方向の長さは、車両が基準速度Ｖｂで通過する場合の車両のライン方向の長さに対応している。そのため、車両がいずれの速度で通過しようとも、その通過速度に起因した画像の歪みを補正し、基準速度Ｖｂで通過した場合の画像サイズに合うようになる。
【００３１】
なお、サイズ変更には、画像のライン方向の長さが大きくなるようサイズ変更した後、さらにアスペクト比を変更したものについても含まれる。また、ライン方向の長さを長く（短く）する代わりにデータ方向（縦方向）の長さが短く（長く）なるように変更してもよいし、ライン方向とデータ方向の両方の長さを変更することによりサイズ変更してもよい。
【００３２】
判定部３４２は、画像サイズ変更部３４１で画像のサイズが変更された撮像データが入力され、この撮像データと、撮像データ保存部３１に予め保存されたテンプレートデータとについて、パターンマッチング処理を行う。判定部３４２は、撮像データに含まれる車両の画像である被探索画像上を、テンプレートデータに含まれる対象物の特徴パターンをｘｙ方向に移動して比較を行っていき、被探索画像上に対象物の特徴パターンの検出を行う。つまり、判定部３４２は、撮像データに含まれる物体である車両の画像が、テンプレートデータに含まれる対象物の特徴パターンを有するか否かを判定する。判定結果は、認識処理部３４３に出力される。
【００３３】
ここで撮像データに含まれる画像とは、強度画像、輝度画像、又は距離画像が該当する。また、高度値及び奥行距離値のデータを有する画像とテンプレート画像とのマッチングであってもよいし、検出速度Ｖを用いて算出されるライン方向の距離値による３次元形状マッチングを用いてもよい。検知を行うスキャンの相対ライン数をｊとすると、ライン方向の距離値Ｙｊは式（３）のように求められる
【００３４】
【数３】
【００３５】
なお、パターンマッチングの方法としては、テンプレートマッチング処理やテクスチャーマッチング処理を用いればよい。また、テンプレートデータについては撮像データ保存部３１に保存されているとしたが、別の保存装置（メモリ）に予め保存されていてもよいし、また判定部３４２が内部メモリを有し予め保存しておいてもよい。また、テンプレートデータは対象物の特徴量を有するものであるとして説明を行ったが、対象物の画像データそのものであってもよい。
【００３６】
認識処理部３４３は、判定部３４２からの判定結果に基づいて、物体の認識結果を求め、その認識結果を例えばＰＣ等の外部装置に出力する。つまり、認識処理部３４３は、判定部３４２により撮像データは対象物の特徴パターンを有するという判定結果が入力されると、撮像データに含まれる物体を対象物と認識し、その認識結果を出力する。例えば撮像データが軽自動車の特徴パターンを有するのであれば、認識処理部３４３は物体を軽自動車と認識し、トラックの特徴パターンを有する場合は、認識処理部３４３は物体をトラックと認識してその認識結果を出力する。
【００３７】
次に、図７を用いて本発明の実施の形態１の動作について説明する。
【００３８】
第１の撮像装置１及び第２の撮像装置２はそれぞれ所定時間間隔をもって取得した撮像データ（第１の撮像データ、第２の撮像データ）を物体認識装置３の撮像データ保存部３１に出力している（ステップＳ１）。
【００３９】
図２に示すように車両が車両進行方向に移動して第１の領域内に入り、第１の撮像装置１が出力する第１の撮像データ中に車両が存在すると（ステップＳ２−Ｙｅｓ）、物体検知部３２は、撮像データ保存部３１から取得したその第１の撮像データ中の物体である車両を検知する。そして、物体検知部３２は、車両が存在することを示す第１の検知信号を速度検出部３３に出力する（ステップＳ３）。なお、この時点では撮像データ中に何か物体が存在することは検知できるが、撮像データ中の物体が車両ということまでは認識できていない。
【００４０】
次いで車両が第２の領域内に入り、第２の撮像装置２が出力する第２の撮像データ中に車両が存在すると（ステップＳ４−Ｙｅｓ）、物体検知部３２は、撮像データ保存部３１から取得したその第２の撮像データ中の物体である車両を検知する。そして、物体検知部３２は、車両が存在することを示す第２の検知信号を速度検出部３３に出力する（ステップＳ５）。
【００４１】
速度検出部３３は、第１の検知信号と第２の検知信号との両方が入力されると、各検知信号の入力の時間差から車両の通過速度Ｖを検出し、検出速度を物体認識部３４に出力する（ステップＳ６）。
【００４２】
物体認識部３４の画像サイズ変更部３４１は、速度検出部３３からの検出速度Ｖが入力されると、撮像データ保存部３１から撮像データを取得し、検出速度Ｖに応じて、撮像データに含まれる車両の画像のサイズを変更する（ステップＳ７）。このようにサイズ変更することにより、車両のライン方向の長さは、車両が基準速度Ｖｂで通過する場合におけるライン方向の長さに対応したものとなる。
【００４３】
画像サイズ変更部３４１は、サイズ変更処理を行うと、その変更後の撮像データを判定部３４２に出力する。ここで、サイズ変更される画像を含む撮像データは、第１の撮像装置１で撮像された第１の撮像データでも、第２の撮像装置２で撮像された第２の撮像データのいずれであってもよい。
【００４４】
判定部３４２は、画像サイズ変更部３４１から変更後の画像を含む撮像データが入力されると、変更された撮像データと、撮像データ保存部３１に保存される複数のテンプレートデータとを比較し（ステップＳ８）、撮像データがテンプレートデータに含まれる対象物の特徴パターンを有するか否かを判定し、その判定結果を認識結果出力部３４３に出力する。
【００４５】
例えば撮像データ保存部３１にテンプレートデータＡ、Ｂ、Ｃが保存されており、各テンプレートデータがそれぞれ、対象物である軽自動車、乗用車、トラックの特徴パターンを有する場合、判定部３４２は変更後の撮像データとテンプレートデータＡ、Ｂ、Ｃとをそれぞれパターンマッチング処理を行う。ここでは、撮像データにはテンプレートデータＣの特徴パターンが含まれるものとして説明する。
【００４６】
このとき、撮像データにふくまれる車両のライン方向の長さは、車両がいずれの速度で通過しようとも、基準速度Ｖｂで通過する場合のライン方向の長さに対応するようサイズ変更されており、また、テンプレートデータＡ、Ｂ、Ｃに含まれる対象物の特徴パターンは基準速度Ｖｂで通行する場合のサイズに対応させたものとなっている。そのため、車両の通過速度が異なることによるミスマッチを防止し、パターンマッチング処理のマッチング精度の低下を防止することができる。また、様々な通過速度に対応したテンプレートデータを用意する必要がないので、パターンマッチング処理における計算コストを下げることが可能となる。
【００４７】
認識処理部３４３は、判定部３４２での判定結果にもとづいて物体を認識し、その結果を出力する（ステップＳ９）。つまり、認識処理部３４３は、判定部３４２から、撮像データにはテンプレートデータＣの特徴パターンが含まれるという判定結果が入力されると、撮像データに含まれる物体である車両はトラックであると認識し、その結果を出力する。
【００４８】
ここで、判定部３４２はサイズ変更された撮像データに含まれる物体の一部と対象物が同一か否か判定してもよい。すなわち、テンプレートデータを車軸の特徴量を有するデータとし、車両の画像を含む撮像データと車軸の特徴量を有するテンプレートデータとでパターンマッチング処理を行ってもよい。こうすることにより、物体である車両の一部に車軸が存在するか否かを判定、認識することが可能となる。またテンプレートデータについては、基準速度で通過する際の車軸の特徴量を有するテンプレートデータだけを保存していればよく、複数の速度に対応した車軸の特徴量を有する複数のテンプレートデータは不要となるので、保存しておくテンプレートデータのパターンの量を大幅に削減することができる。
【００４９】
以上のように、本発明の実施の形態１によれば、検出した物体の速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、マッチングの精度を向上させ精度高い物体認識が可能となる。
【００５０】
また、複数の速度に対応した複数のテンプレートデータを予め用意する必要がなくなるので、撮像データとパターンマッチング処理するテンプレートデータ量が減少し、パターンマッチング処理における計算コストを削減して処理時間の増大を防止することが可能となる。
【００５１】
また、検出した物体である車両の速度に応じて撮像データに含まれる物体の画像のサイズを変更し、その変更後の撮像データと車軸の特徴量を有するテンプレートデータとをパターンマッチング処理することにより、マッチングの精度を良くし、かつ、その計算コストを下げて、通行する車両の車軸を認識することが可能となる。
【００５２】
なお、これまで第１の撮像装置１から出力される第１の撮像データ及び第２の撮像装置２から出力される第２の撮像データは、撮像データ保存部３１に一旦保存されてから物体検知部３２及び物体認識部３４に入力されていたが、この構成に限らず、例えば第１の撮像装置１及び第２の撮像装置２から直接物体検知部３２及び物体認識部３４に出力されることとしてもよい。以下も同様である。
【００５３】
なお、これまで撮像データ保存部３１は物体認識装置３の内部に備えられた構成としたが、これに限らず、物体認識装置３の外部の記憶装置に備えられた構成としてもよい。以下も同様である。
【００５４】
なお、これまで複数のテンプレートデータは撮像データ保存部３１に保存されているとして説明を行ったが、これに限るものではなく、例えば物体認識装置３内の別メモリに保存してもよいし、物体認識部３４の内部メモリに保存してもよい。以下も同様である。
【００５５】
実施の形態２．
以下図面を用いて本発明の実施の形態２について説明する。図８は実施の形態２に係る物体認識システムの構成図である。図９は実施の形態２における第１の撮像装置と速度計の配置を説明するための図である。図１０は実施の形態２の動作を説明するフローチャートである。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
【００５６】
実施の形態２の物体認識システムは、図８に示すように、第１の撮像装置１と、物体認識装置３と、速度計４とを備え、物体認識装置３は撮像データ保存部３１と物体認識部３４を有する。また、物体認識部３４は、実施の形態１と同様に、図５に示す画像変換部３４１、判定部３４２、認識結果出力部３４３とを有する。実施の形態２の物体認識システムは、撮像装置が１台である点と、物体認識装置３が物体検知部３２と速度検出部３３とを有していない点において実施の形態１と異なる。
【００５７】
速度計４は、図９に示すように、通行経路の傍に、第１の撮像装置１と所定の間隔をおいて設置されている。この速度計４は、通過する車両等の物体が速度を検出する領域内に入ると、物体の速度を検知して物体認識部３４の速度比較部３４０に出力する。なお、速度計４は物体速度検出手段を構成する。
【００５８】
図１０を用いて本発明の実施の形態２の動作について説明する。
【００５９】
第１の撮像装置１は所定時間間隔で取得した第１の撮像データを物体認識装置３の撮像データ保存部３１に出力している（ステップＳ０１）。
【００６０】
車両が車両進行方向に移動して速度計４による速度を検出する領域内に入り、速度計４が車両の速度を検出すると（ステップＳ０２−Ｙｅｓ）、その検出した速度を物体認識部３４の画像サイズ変更部３４１に出力する（ステップＳ０３）。なお、この時点では撮像データ中の物体が車両ということは認識できていない。
【００６１】
速度計４により検出された速度が画像サイズ変更部３４１に入力された後の処理（ステップＳ０４〜Ｓ０６）については、実施の形態１で説明した図７のステップＳ７〜Ｓ９と同一であるので、説明を省略する。
【００６２】
以上のように、本発明の実施の形態２によれば、速度計４により物体の通行速度を検出し、その検出速度に応じて撮像データに含まれる物体の画像をサイズ変更し、その変更後の撮像データとテンプレートデータとをパターンマッチング処理することにより物体を認識するので、実施の形態１よりも撮像装置の設置台数が減り、物体認識装置３において物体検知処理、速度検出処理が不要となるので、実施の形態１と同一の効果を有することに加え、さらに計算コストを下げることが可能となり、また、装置規模を縮小することが可能となる。
【００６３】
実施の形態３．
以下図面を用いて本発明の実施の形態３について説明する。図１１は実施の形態３に係る物体認識部の構成図である。図１２は実施の形態３に係る高度ヒストグラム算出処理の一例を説明するための図である。図１３は実施の形態３における撮像データに対しての検知フラグ算出処理の一例を説明するための図である。図１４は実施の形態３の動作を説明するフローチャートである。図１５は実施の形態３に係る高度ヒストグラム算出処理の他の例を説明するための図である。図１６は実施の形態３における撮像データに対しての検知フラグ算出処理の他の例を説明するための図である。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
【００６４】
実施の形態３の物体認識システムは、物体認識装置３の構成が実施の形態１と異なり、図１１に示すように、新たに速度比較部３４０と、平均化処理部３４４と、ヒストグラム算出領域設定部３４５と、高度ヒストグラム算出部３４６と、データ存在確率算出部３４７と、検知フラグ生成部３４８とを備える。なお、速度比較部３４０、平均化処理部３４４、ヒストグラム算出領域設定部３４５、高度ヒストグラム算出部３４６、データ存在確率算出部３４７、検知フラグ生成部３４８、はそれぞれ、速度比較手段３４０と、平均化処理手段３４４と、ヒストグラム算出領域設定手段３４５と、高度ヒストグラム算出手段３４６と、データ存在確率算出手段３４７と、検知フラグ生成手段３４８を構成する。
【００６５】
速度比較部３４０は、速度検出部３３から検出速度Ｖが入力されると、その検出速度Ｖと予め設定された速度閾値Ｖｔｈとを比較し、検出速度Ｖが速度閾値Ｖｔｈよりも速ければその検出速度Ｖを画像サイズ変更部３４１に出力する。一方、速度比較部３４０は、検出速度Ｖが速度閾値Ｖｔｈよりも遅い場合、又は速度検出部３３から車両の速度を検出できなかったことを表すエラー信号が入力された場合は、画像サイズ変更部３４１に検出速度Ｖを出力せず、平均化処理部３４４に対して処理を行うよう指示する指示信号を出力する。ここで、車両の速度を検出できない場合とは、例えば撮像装置の前で車両が停止した場合等が該当する。
【００６６】
速度閾値Ｖｔｈは、物体認識を行う制限時間内に車両を認識することができる最低の速度値である。すなわち、車両の形状全てを含む画像を保存するために必要な最低の速度であり、車両の通過速度がこのＶｔｈを下回ったとき、制限時間内に車両の全形状の画像が含まれる撮像データが得られないこととなる。速度閾値Ｖｔｈの求め方についての詳細は後述する。
【００６７】
平均化処理部３４４は、速度比較部３４０から指示信号が入力されると、撮像データ保存部３１から撮像データを取得し、撮像データに含まれる車両画像のライン方向に対して移動平均処理を行う。この移動平均処理を行うことにより、移動平均点数をＮＡとして、このＮＡの平方根倍でＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が上昇し、画質を向上させることが可能となる。移動平均点数ＮＡは任意に定めることができるが、１例としては、物体認識を行う必要がある制限時間をＴＬとすると、式（４）のように求められる。
【００６８】
【数４】
【００６９】
なお、平均化処理部３４４の代わりにＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ、Ｂｕｔｔｅｒｗｏｒｔｈフィルタ等のＩＩＲフィルタを用いその次数をＮＡとしてもよい。
【００７０】
ここでの撮像データは、強度データと距離データとからなる三次元データに相当するが、これに限定するものではなく、例えば距離データの三次元データのみに相当するものであってもよい。また、ここでの撮像データは、第１の撮像データでも第２の撮像データのいずれでもよく、以下は単に撮像データとして説明する。
【００７１】
ヒストグラム算出領域設定部３４５は、平均化処理部３４４により移動平均処理がなされた撮像データに対して、第１の領域（又は第２の領域）を所定領域に絞り込み、絞り込んだ所定領域についての撮像データを出力する。この所定領域をヒストグラム算出領域と定義して以下説明する。
【００７２】
このヒストグラム算出領域は、図１２に示すよう、高度方向の上限値Ｈ１a、下限値Ｈ２a、奥行距離方向の上限値Ｓ１a、下限値Ｓ２aとで囲まれた領域である。例えば、高度方向の上限値Ｈ１aは撮像装置で撮像可能な最大高さに設定され、高度方向の下限値Ｈ２aは国産車の最低地上高度に設定され、奥行距離方向の上限値Ｓ１aは車両が走行している車線幅に設定され、奥行距離方向の下限値Ｓ２aは撮像装置と車両との最小距離に設定されるが、これに限定されるものではない。
【００７３】
高度ヒストグラム算出部３４６は、撮像データのうちのヒストグラム算出領域を高度（高さ）方向にＮ分割して総数Ｎ個の区間（高さビン）Ｂｈaを作成し高度ヒストグラムＣａを算出する。この高さビンＢｈaの幅は任意に設定できるが、例えば撮像データの有する高さ方向の空間分解能に相当する値とすればよい。
【００７４】
図１２では高さビンの分割数を２と設定し、車両のルーフ部分Ｂａに該当する撮像データが上部のビンに複数個格納され、車両のドア部分Ｂａ、車両床部分、及びタイヤ部分Ａ’に該当する撮像データが下部のビンに複数個格納される。路面はヒストグラム算出領域外となっているので、路面に該当する撮像データは高さビンには格納されない。そして、高度ヒストグラム算出部３４６は、算出したヒストグラムをデータ存在確率算出部３４７に出力する。
【００７５】
データ存在確率算出部３４７は、高度ヒストグラム算出部３４６で算出された高度ヒストグラムＣａに基づき、強度データ又は距離データが所定数以上格納されたビン数ｎと、高さ方向に分割したビン総数Ｎとの比率ｎ/Ｎをデータ存在確率Ｐaとして算出する。そして、データ存在確率算出部３４７は、図１３(a)に示す撮像データに含まれる車両の断面、つまりライン方向に沿ってデータ存在確率Ｐaを取得する（図１３(b)に対応）。そして、データ存在確率算出部３４７は、車両のライン方向に沿って得たデータ存在確率Ｐaについてのデータを検知フラグ生成部に出力する。なお、撮像データに含まれる車両の画像は、車両の検出速度Ｖが速度閾値Ｖｔｈを下回っているため、図１３(a)に示すように、車両の全形状のうち一部領域が欠落した画像となる。
【００７６】
検知フラグ生成部３４８は、データ存在確率算出部３４７で算出されたデータ存在確率Ｐaと予め設定された閾値とを比較することにより検知フラグを生成する。
【００７７】
検知フラグ生成部３４８は複数の閾値の組（上限閾値、下限閾値）を有し、データ存在確率Ｐaが、上限閾値よりも高い場合には検知フラグをＨ、上限閾値よりも低く下限閾値よりも高い場合はＭ、下限閾値よりも低い場合はＬとする。複数の閾値の組は対象物毎、すなわち車種毎、車両サイズ毎に異なるものとされており、例えばトラック用の閾値の組Ｄ、軽自動車用の閾値の組Ｅ、乗用車用の閾値の組Ｆはそれぞれ異なる値である。このように検知フラグ生成部３４８は、対象物に応じて値が異なる複数の閾値の組と、データ存在確率Ｐaとをそれぞれ比較する。
【００７８】
例えば図１３(b)に示すデータ存在確率Ｐaが入力されると、検知フラグ生成部３４８は、このデータ存在確率Ｐaと上限閾値、下限閾値との比較を行う。ここでは撮像データに含まれる物体である車両は乗用車とし、比較用の閾値の組も乗用車用の閾値の組Ｆとする。比較の結果、図１３(a)に示す撮像データのうち、車両のタイヤ部分におけるデータ存在確率Ｐaは上限閾値を超えているのでＨとなる。車両のルーフ部分におけるデータ存在確率Ｐaは下限閾値よりも大きくかつ上限閾値未満となるのでＭとなる。その他の部分におけるデータ存在確率Ｐaは下限閾値よりも小さくなるのでＬとなる。その結果、図１３(c)に示されるパターンの検知フラグが検知フラグ生成部３４８により生成される。
【００７９】
検知フラグ生成部３４８は、乗用車用の閾値の組Ｆ以外の組の閾値に対してもデータ存在確率Ｐaと比較するが、Ｆ以外の組の閾値においては図１３(c)に示されるような検知フラグのパターンは生成されない。これは、乗用車とトラック、乗用車と軽自動車とでライン方向におけるデータ存在確率Ｐaの値が異なるためである。そのため、閾値の組Ｆにおいて図１３(c)のような検知フラグのパターンが生成されるのは、乗用車に対しては乗用車用の閾値の組Ｆだけとなる。
【００８０】
検知フラグ生成部３４８は、データ存在確率Ｐaと対象物に応じた閾値の組とをそれぞれ比較して複数の検知フラグを生成すると、生成した検知フラグパターンと対応する対象物の情報とを対応づけて認識処理部３４３に出力する。例えば上記の閾値の組Ｄ、Ｅ、Ｆと図１３(b)に示すデータ存在確率Ｐとを比較した場合、Ｄと比較され生成された検知フラグパターンと「トラック」という情報、Ｅと比較され生成された検知フラグパターンと「軽自動車」、Ｆと比較され生成された検知フラグパターン（図１３(c)に対応）と「乗用車」という情報をそれぞれ認識処理部３４３に出力する。
【００８１】
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグパターンと当該パターンに対応する対象物の情報とに基づいて、物体の認識を行う。つまり、認識処理部３４３は、入力された複数の検知フラグパターンを読み取り、所望の検知フラグパターンに対応する閾値の組についての情報から、物体の認識を行う。例えば閾値の組Ｄ、Ｅ、Ｆとの比較により生成された検知フラグパターンと対応する対象物の情報とが入力された場合、認識処理部３４３は、物体を、図１３(c)に示す所望の検知フラグパターンに対応する乗用車であると認識する。
【００８２】
図１４を用いて本発明の実施の形態３の動作について説明する。
【００８３】
ステップＳ００１からＳ００６までの処理については、実施の形態１で説明した図７のステップＳ１〜Ｓ６と同一であるので、説明を省略する。
【００８４】
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖと速度閾値Ｖｔｈとを比較し（ステップＳ００７）、検出速度Ｖが設定速度Ｖｂよりも速い場合（ステップＳ００８−Ｙｅｓ）、画像サイズ変更部３４１に検出速度Ｖを出力し、その後ステップＳ００９〜Ｓ０１１までの処理がなされることとなる。これらステップＳ００９〜Ｓ０１１までの処理は、実施の形態１で説明した図７のステップＳ７〜Ｓ９と同一であるので、説明を省略する。
【００８５】
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが設定速度Ｖｂよりも遅い場合、又は速度検出部３３からエラー信号が入力された場合（ステップＳ００８−Ｎｏ）、ステップＳ００９〜Ｓ０１１までの処理はなされず、ステップＳ０１２〜Ｓ０１７までの処理がなされるよう、処理が切り替わる。つまり、速度比較部３４０は、画像サイズ変更部３４１に検出速度Ｖを出力せず、平均化処理部３４４に対して指示信号を出力することにより処理を切り替える。
【００８６】
平均化処理部３４４は、速度比較部３４０より指示信号が出力されると、撮像データ保存部３１から取得した撮像データに対し移動平均処理を行い、ノイズの除去をする（ステップＳ０１２）。
【００８７】
ヒストグラム算出領域設定部３４５は、移動平均処理が行われた撮像データにおける第１の領域（又は第２の領域）を絞り込み、ヒストグラム算出領域を得る（ステップＳ０１３）。
【００８８】
高度ヒストグラム算出部３４６は、ヒストグラム算出領域を高さ方向にＮ分割して総数Ｎ個の高さビンＢｈaを作成し高度ヒストグラムＣａを算出する（ステップＳ０１４）。高度ヒストグラム算出部３４６は、この高度ヒストグラムを車両のライン方向に沿って算出する。
【００８９】
データ存在確率算出部３４７は、車両のライン方向に沿って算出された高度ヒストグラムに基づき、強度データ又は距離データが所定数以上格納されたビン数ｎと、高さ方向に分割したビン総数Ｎとの比率ｎ/Ｎから、車両のライン方向に沿ったデータ存在確率Ｐaを算出する（ステップＳ０１５）。
【００９０】
検知フラグ生成部３４８は、データ存在確率算出部３４７で算出されたデータ存在確率Ｐaと、対象物に応じてそれぞれ値が異なる閾値の組とを比較することにより複数の検知フラグを生成し、生成した複数の検知フラグパターンと各パターンに対応する対象物の情報とを認識処理部３４３に出力する（ステップＳ０１６）。
【００９１】
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグのパターンとそのパターンに対応する対象物の情報とから、検知された物体を、所望の検知フラグパターンに対応する対象物であると認識する（ステップＳ０１７）。
【００９２】
ここで、ヒストグラム算出領域設定部３４５は、上述したように、車両全体が含まれるような領域をヒストグラム算出領域として設定してもよいが、図１５(a)(b)に示すように、車両のタイヤが含まれる程度の広さの領域に設定してもよい。この場合、ヒストグラム算出領域設定部３４５は、例えば高度方向の上限値Ｈ１を国産車の最低地上高度、下限値Ｈ２を路面に対する高度の標準偏差値、奥行距離方向の上限値Ｓ１を国内で販売されているタイヤ幅の最大値、下限値Ｓ２を撮像装置１と物体との最小距離、のように設定する。
【００９３】
高度ヒストグラム算出部３４６は、ヒストグラム算出領域を高さ方向にＮ分割して総数Ｎ個の高さビンＢｈを作成し、高度ヒストグラムを算出する。図１５(a)に示すように、ヒストグラム算出領域内にタイヤが存在する場合は、設定した高さビンＢｈのいずれの位置においても強度データ又は距離データが存在するヒストグラムＣになるので、データ存在確率Ｐａは１００％となる。
【００９４】
一方、図１５(b)に示すように、ヒストグラム算出領域内にタイヤが存在しない場合、設定した高さビンＢｈの一部についてのみ強度データ又は距離データが存在するので、偏ったヒストグラムＣとなり、データ存在確率Ｐａは２５％程度となる。高度ヒストグラム算出部３４６は、上述したように、車両のライン方向に沿って高度ヒストグラムを算出する。
【００９５】
データ存在確率算出部３４７は、ヒストグラム算出領域内にタイヤが存在する場合、図１６(a)に示す車両のライン方向に沿ってデータ存在確率Ｐを取得する（図１６(b)に対応）。ここで得られたデータ存在確率Ｐは、車両のタイヤが検知されるときに値が高くなる。
【００９６】
検知フラグ生成部３４８は、データ存在確率Ｐと予め設定した閾値とを比較することにより検知フラグを生成し、生成した検知フラグパターンを認識処理部３４３に出力する。
【００９７】
検知フラグは、図１６(b)に示すデータ存在確率Ｐのうち、タイヤが存在しない部分においては閾値を超えず値が０となり、タイヤが存在する部分においては閾値を超え１となる。そのため、検知フラグ生成部３４８は、タイヤが存在する場合には図１６(c)に示すようなタイヤの存在を表す１の検知フラグパターンを生成し、タイヤが存在しない場合においては０の検知フラグパターンを生成することとなる。
【００９８】
認識処理部３４３は、検知フラグ生成部３４８から出力された検知フラグパターンから、物体にタイヤが存在するか否か、言い換えると、物体に車軸が存在するか否かを判定する。そして、認識処理部３４３は、物体に車軸が存在すると判定すると、物体は車両であると認識する。
【００９９】
なお、取得された撮像データに含まれる車両の画像に後輪のタイヤも含まれた場合、検知フラグのパターンは１のピークが２つ生じるようなパターンとなり、前輪のタイヤのみが検出された場合と同様に物体中に車軸が存在すると判定され、認識処理部３４３により物体は車両であると認識される。
【０１００】
以上のように、本発明の実施の形態３によれば、実施の形態１の効果に加え、物体の検出速度が速度閾値よりも遅い場合又は物体の通過する速度が検出できなかった場合には、撮像データ内の領域を絞り込んだヒストグラム算出領域に対して高度ヒストグラムを算出し、その高度ヒストグラムから算出したデータ存在確率と閾値とを比較することにより検知フラグを生成し、その検知フラグのパターンから物体を認識するようにしたので、物体の形状全てを含む画像を保存できない場合であっても、物体を認識することが可能となる。
【０１０１】
なお、物体認識部３４７は、図１１に図示しないデータ削除部を備えていてもよい。データ削除部は、撮像データ保存部３１において保存していたデータ量の検査を行う。データ量閾値をＭとすると、その決定方法として、例えば、搭載されているメモリ量をＭｅ(bit)とすると、１ラインの画素数Ｎ、１データのbit数Ｆを用いて、式（５）のように求められる。
【０１０２】
【数５】
【０１０３】
また、データ削除部は、物体認識を行う必要がある制限時間ＴＬを用いて、式（６）のように求めてもよい。ただし、式（５）又は式（６）に制限されるものではない。保存されていたデータ量がＭ以上である場合、データ削除部３４７は、最古のデータを破棄し、その結果を電気信号として撮像データ保存部３１に出力する。
【０１０４】
【数６】
【０１０５】
ここで、速度閾値Ｖｔｈの求め方についてその詳細を説明する。速度閾値Ｖｔｈは、式（５）又は式（６）におけるＭを用いて、式（７）のように表される。また、ユーザが任意にＭを定義してもよい。
【０１０６】
【数７】
【０１０７】
実施の形態４．
以下図面を用いて本発明の実施の形態４について説明する。図１７は実施の形態４に係る物体認識部の構成図である。実施の形態１の画像表示システムの構成に相当する部分には図１と同一符号を付してその説明を省略する。
【０１０８】
実施の形態４の物体認識システムは、実施の形態３の物体認識システムと比較して、図１８に示すように、新たに平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとを備えた構成であってもよい。これら各構成はそれぞれ図１１の平均化処理部３４４、ヒストグラム算出領域設定部３４５、高度ヒストグラム算出部３４６、データ存在確率算出部３４７、検知フラグ生成部３４８と同一の機能を有するためその説明は省略する。また、速度比較部３４０に検出速度が入力されるまでの動作は実施の形態３と同一であるので、その説明は省略する。
【０１０９】
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが速度閾値Ｖｔｈよりも遅い場合、又は速度検出部３３からエラー信号が入力された場合、平均化処理部３４４に指示信号を出力する。その後は図１４のステップＳ０１２〜Ｓ０１７の処理がなされて物体が認識される。
【０１１０】
速度比較部３４０は、速度検出部３３により検出された検出速度Ｖが速度閾値Ｖｔｈよりも速い場合、画像サイズ変更部３４１及び平均化処理部３４４aに検出速度Ｖを出力する。その後は画像サイズ変更部３４１と、判定部３４２とにより図１４のステップＳ００９、Ｓ０１０の処理がなされ、また、平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとにより図１４のステップＳ０１２〜Ｓ０１６に対応する処理もなされる。
【０１１１】
そして、認識処理部３４３は、判定部３４２から出力される判定結果と、検知フラグ生成部３４８aから出力される検知フラグパターン及び対象物の情報と、に基づいて、物体の認識結果を外部ＰＣ等へ出力する。つまり、認識処理部３４３は、画像のサイズが変更された撮像データと基準速度に対応するテンプレートデータとが比較された結果と、撮像データの高度方向について算出したヒストグラムから生成された検知フラグのパターン及び対象物の情報とから物体又は物体の一部を認識する。判定部３４２からの結果と検知フラグ生成部３４８aからの結果が異なる場合は、判定部３４２からの結果を優先させることが好ましい。
【０１１２】
こうすることにより、実施の形態１〜３と比較して、認識処理部３４３における物体認識の精度を向上させることが可能となる。
【０１１３】
なお、平均化処理部３４４aは、移動平均点数ＮＡを、オフセットＣを用いて式（８）のように求めてもよい。動的に移動平均点数を制御することによって、最適な平均化処理を行うことが可能となる。
【０１１４】
【数８】
【０１１５】
なお、速度閾値Ｖｔｈを複数設定してもよく、例えばＶｔｈ、Ｖｔｈ_ｓ（Ｖｔｈ＜Ｖｔｈ_ｓ）とすると、速度比較部３４０において検出速度ＶがＶｔｈ_ｓよりも大きければ図１４のステップＳ００９〜Ｓ０１１に対応する処理がなされ、検出速度ＶがＶｔｈよりも小さければ図１４のステップＳ０１２〜０１７に対応する処理がなされる。検出速度ＶがＶｔｈよりも大きくＶｔｈ_ｓよりも小さければ、本実施の形態で説明したように、画像サイズ変更部３４１と、判定部３４２とにより図１４のステップＳ００９、Ｓ０１０の処理がなされ、また、平均化処理部３４４aと、ヒストグラム算出領域設定部３４５aと、高度ヒストグラム算出部３４６aと、データ存在確率算出部３４７aと、検知フラグ生成部３４８aとにより図１４のステップＳ０１２〜Ｓ０１６に対応する処理がなされ、認識処理部３４３は判定部３４２から出力される判定結果と、検知フラグ生成部３４８aから出力される検知フラグパターン及び対象物の情報と、に基づいて、物体を認識する、というようにしてもよい。また、Ｖｔｈ_ｓについては任意に設定してもよい。
【符号の説明】
【０１１６】
１ 第１の撮像装置
２ 第２の撮像装置
３ 物体認識装置
３１ 撮像データ保存部
３２ 物体検知部
３３ 速度検出部
３４ 物体認識部
３４０ 速度比較部
３４１ 画像サイズ変更部
３４２ 判定部
３４３ 認識処理部
３４４、３４４a 平均化処理部
３４５、３４５a ヒストグラム算出領域設定部
３４６、３４６a 高度ヒストグラム算出部
３４７、３４７a データ存在確率算出部
３４８、３４８a 検知フラグ生成部
４ 速度計
【特許請求の範囲】
【請求項１】
物体が通過する所定領域にレーザ光を照射して得た撮像データを出力する撮像手段と、
前記物体が通過する速度を検出する物体速度検出手段と、
前記撮像手段から出力された前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備えることを特徴とする物体認識システム。
【請求項２】
前記物体認識手段は、
前記基準速度に対する前記検出速度の割合に基づいて前記物体又は前記物体の一部の画像の通過方向の長さを変更してサイズを変更するサイズ変更部と、
前記サイズ変更部で変更された画像を有する前記撮像データと対象物の特徴量を有する前記テンプレートデータとでパターンマッチング処理を行い、前記撮像データが前記対象物の特徴量を有するか否かを判定する判定部と、
前記判定部により前記撮像データが前記対象物の特徴量を有すると判定された場合に、前記物体又は前記物体の一部を前記対象物と認識する認識処理部とを有することを特徴とする請求項１に記載の物体認識システム。
【請求項３】
前記撮像手段は、
前記物体が通過する第１の領域にレーザ光を照射して取得した第１の撮像データを出力する第１の撮像部と、前記第１の撮像部に対して前記物体の通過方向に所定間隔をおいて配置され、前記物体が通過する第２の領域にレーザ光を照射して取得した第２の撮像データを出力する第２の撮像部とを有し、
前記物体速度検出手段は、
前記第１の撮像データから前記第１の領域内の前記物体を検知したことを示す第１の検知信号を出力し、前記第２の撮像データから前記第２の領域内の前記物体を検知したことを示す第２の検知信号を出力する物体検知部と、
前記第１の検知信号と前記第２の検知信号との入力の時間差から前記物体の通過する速度を検出する速度検出部とを有し、
前記物体認識手段は、前記第１の撮像データ又は前記第２の撮像データのいずれかに含まれる前記物体の画像のサイズを変更して前記物体又は前記物体の一部を認識することを特徴とする請求項１又は２に記載の物体認識システム。
【請求項４】
前記物体認識手段は、
前記検出速度と予め設定した速度閾値とを比較する速度比較部を有し、
前記検出速度が前記速度閾値よりも速い場合には前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較して前記物体又は前記物体の一部を認識し、
前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合には、前記撮像データの高度方向について算出したヒストグラムから検知フラグを生成し、前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする請求項１乃至３のいずれかに記載の物体認識システム。
【請求項５】
前記物体認識手段は、
前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合に、前記撮像データの高度方向についてのヒストグラムを算出する高度ヒストグラム算出部と、
前記高度ヒストグラム算出部で算出された前記高度ヒストグラムのうち所定数以上の前記撮像データが存在する割合をデータ存在確率として算出するデータ存在確率算出部と、
前記データ存在確率算出部で算出された前記データ存在確率と予め設定された閾値とを比較して前記検知フラグを生成する検知フラグ生成部とを有し、
前記認識処理部は、前記検知フラグ生成部で生成された前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする請求項４に記載の物体認識システム。
【請求項６】
前記高度ヒストグラム算出部は、前記撮像データを高度方向に分割してＮ個のビンを作成し、
前記データ存在確率算出部は、前記ビンの個数Ｎに対する前記撮像データが所定数よりも多く格納されたビンの個数ｎの比率ｎ/Ｎを前記データ存在確率として算出することを特徴とする請求項５に記載の物体認識システム。
【請求項７】
前記物体認識手段は、
前記検出速度が前記速度閾値よりも速い場合に、前記検出速度に応じて画像サイズが変更された撮像データと基準速度に対応するテンプレートデータとを比較した結果と、前記撮像データの高度方向について算出したヒストグラムから生成された前記検知フラグのパターンとに基づいて前記物体又は前記物体の一部を認識することを特徴とする請求項４乃至６のいずれかに記載の物体認識システム。
【請求項８】
前記物体は車両であるとともに、前記物体の一部は車軸であることを特徴とする請求項１乃至７のいずれかに記載の物体認識システム。
【請求項９】
物体が通過する所定領域にレーザ光を照射して得られた撮像データが入力され物体又は物体の一部を認識する物体認識装置であって、
前記物体が通過する速度を検出する物体速度検出手段と、
前記物体速度検出手段で検出された速度に応じて、入力された前記撮像データに含まれる前記物体の画像のサイズを変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備えることを特徴とする物体認識装置。
【請求項１】
物体が通過する所定領域にレーザ光を照射して得た撮像データを出力する撮像手段と、
前記物体が通過する速度を検出する物体速度検出手段と、
前記撮像手段から出力された前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備えることを特徴とする物体認識システム。
【請求項２】
前記物体認識手段は、
前記基準速度に対する前記検出速度の割合に基づいて前記物体又は前記物体の一部の画像の通過方向の長さを変更してサイズを変更するサイズ変更部と、
前記サイズ変更部で変更された画像を有する前記撮像データと対象物の特徴量を有する前記テンプレートデータとでパターンマッチング処理を行い、前記撮像データが前記対象物の特徴量を有するか否かを判定する判定部と、
前記判定部により前記撮像データが前記対象物の特徴量を有すると判定された場合に、前記物体又は前記物体の一部を前記対象物と認識する認識処理部とを有することを特徴とする請求項１に記載の物体認識システム。
【請求項３】
前記撮像手段は、
前記物体が通過する第１の領域にレーザ光を照射して取得した第１の撮像データを出力する第１の撮像部と、前記第１の撮像部に対して前記物体の通過方向に所定間隔をおいて配置され、前記物体が通過する第２の領域にレーザ光を照射して取得した第２の撮像データを出力する第２の撮像部とを有し、
前記物体速度検出手段は、
前記第１の撮像データから前記第１の領域内の前記物体を検知したことを示す第１の検知信号を出力し、前記第２の撮像データから前記第２の領域内の前記物体を検知したことを示す第２の検知信号を出力する物体検知部と、
前記第１の検知信号と前記第２の検知信号との入力の時間差から前記物体の通過する速度を検出する速度検出部とを有し、
前記物体認識手段は、前記第１の撮像データ又は前記第２の撮像データのいずれかに含まれる前記物体の画像のサイズを変更して前記物体又は前記物体の一部を認識することを特徴とする請求項１又は２に記載の物体認識システム。
【請求項４】
前記物体認識手段は、
前記検出速度と予め設定した速度閾値とを比較する速度比較部を有し、
前記検出速度が前記速度閾値よりも速い場合には前記撮像データに含まれる前記物体の画像のサイズを前記検出速度に応じて変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較して前記物体又は前記物体の一部を認識し、
前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合には、前記撮像データの高度方向について算出したヒストグラムから検知フラグを生成し、前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする請求項１乃至３のいずれかに記載の物体認識システム。
【請求項５】
前記物体認識手段は、
前記検出速度が前記速度閾値よりも遅い場合又は前記物体の速度が検出されない場合に、前記撮像データの高度方向についてのヒストグラムを算出する高度ヒストグラム算出部と、
前記高度ヒストグラム算出部で算出された前記高度ヒストグラムのうち所定数以上の前記撮像データが存在する割合をデータ存在確率として算出するデータ存在確率算出部と、
前記データ存在確率算出部で算出された前記データ存在確率と予め設定された閾値とを比較して前記検知フラグを生成する検知フラグ生成部とを有し、
前記認識処理部は、前記検知フラグ生成部で生成された前記検知フラグのパターンから前記物体又は前記物体の一部を認識することを特徴とする請求項４に記載の物体認識システム。
【請求項６】
前記高度ヒストグラム算出部は、前記撮像データを高度方向に分割してＮ個のビンを作成し、
前記データ存在確率算出部は、前記ビンの個数Ｎに対する前記撮像データが所定数よりも多く格納されたビンの個数ｎの比率ｎ/Ｎを前記データ存在確率として算出することを特徴とする請求項５に記載の物体認識システム。
【請求項７】
前記物体認識手段は、
前記検出速度が前記速度閾値よりも速い場合に、前記検出速度に応じて画像サイズが変更された撮像データと基準速度に対応するテンプレートデータとを比較した結果と、前記撮像データの高度方向について算出したヒストグラムから生成された前記検知フラグのパターンとに基づいて前記物体又は前記物体の一部を認識することを特徴とする請求項４乃至６のいずれかに記載の物体認識システム。
【請求項８】
前記物体は車両であるとともに、前記物体の一部は車軸であることを特徴とする請求項１乃至７のいずれかに記載の物体認識システム。
【請求項９】
物体が通過する所定領域にレーザ光を照射して得られた撮像データが入力され物体又は物体の一部を認識する物体認識装置であって、
前記物体が通過する速度を検出する物体速度検出手段と、
前記物体速度検出手段で検出された速度に応じて、入力された前記撮像データに含まれる前記物体の画像のサイズを変更し、変更後の撮像データと基準速度に対応するテンプレートデータとを比較することにより前記物体又は前記物体の一部を認識する物体認識手段とを備えることを特徴とする物体認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１０５４７４（Ｐ２０１３−１０５４７４Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５１２５８（Ｐ２０１１−２５１２５８）
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]