物体検出装置
【課題】走行する車両等から撮像された時系列画像に撮像された物体を、精度良く検出することができる物体検出装置を提供する。
【解決手段】物体検出装置１００は、物体が撮像された時系列画像を取得する画像取得部１１０と、回帰直線により物体の動き量を最適化し、最適化した動き量に基づいて、物体が撮像された領域を時系列画像から抽出し、該領域の分布情報を出力する領域抽出部１２０と、領域の分布情報と時系列画像とを取得し、分布情報が表す領域を、時空間ＭＲＦによって物体毎に分割することにより、該領域に撮像された物体を検出する領域分割部１４０とを備える。
【解決手段】物体検出装置１００は、物体が撮像された時系列画像を取得する画像取得部１１０と、回帰直線により物体の動き量を最適化し、最適化した動き量に基づいて、物体が撮像された領域を時系列画像から抽出し、該領域の分布情報を出力する領域抽出部１２０と、領域の分布情報と時系列画像とを取得し、分布情報が表す領域を、時空間ＭＲＦによって物体毎に分割することにより、該領域に撮像された物体を検出する領域分割部１４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像に撮像された物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
時系列画像に撮像された移動物体を、その画像上で追跡する追跡方法及び装置が、特許文献１に開示されている。特許文献１に開示された装置は、交差点などの定点から時系列画像を撮像し、撮像された移動物体を時系列画像上で追跡する。定点から撮像した時系列画像では背景がほとんど動かないため、特許文献１に開示された装置は、時系列画像に撮像された移動物体を検出することができた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０７７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、時系列画像を撮像する撮像装置が、例えば、走行する車両に搭載された場合、その車両から撮像された時系列画像の背景は、走行する車両の速度に応じて水平方向に流れてしまう。このため、物体検出装置は、走行する車両から撮像された時系列画像に撮像された物体を、精度良く検出することができないという問題があった。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、走行する車両等から撮像された時系列画像に撮像された物体を、精度良く検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部と、前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部と、前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部と、前記動きベクトル算出部が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、前記動きベクトル算出部が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部と、前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部と、前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、該ブロックの前記動き量を、前記回帰直線が表す動き量に修正する動き量修正部と、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部と、前記ブロック検出部が検出した前記ブロックが互いに隣接している領域を前記画像から抽出し、抽出した該領域を表す分布情報を出力する領域出力部と、前記領域出力部から前記分布情報と、前記画像取得部から前記画像と、を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、前記動きベクトル算出部が算出した前記動きベクトルの相関とのうち少なくとも１つに基づいて、前記領域出力部から取得した前記分布情報が表す前記領域を前記物体毎に分割することにより、該領域に撮像された前記物体を検出する領域分割部と、を備えることを特徴とする物体検出装置である。
【０００７】
また、本発明は、前記領域分割部が分割した前記領域の形状を、前記領域出力部が出力した前記分布情報が表す前記領域の形状に修正する領域修正部を備えることを特徴とする物体検出装置である。
【０００８】
また、本発明は、前記領域出力部が出力した分布情報と、前記領域分割部が分割する前記領域の分布情報とを比較し、前記領域出力部が出力した前記分布情報と、前記領域分割部が分割する前記領域の分布情報とが異なる場合、前記領域出力部が出力した前記分布情報を、新たな領域の分布情報として前記領域分割部に出力する領域生成部を備えることを特徴とする物体検出装置である。
【０００９】
また、本発明は、前記領域分割部が、隣接する前記ブロック同士の前記動きベクトルの類似性が高くなるように前記動きベクトルを最適化し、該最適化した動きベクトルを前記動きベクトル算出部に出力し、前記動きベクトル算出部が、前記領域分割部が最適化した動きベクトルに基づいて、ブロックマッチング法により動きベクトルを算出することを特徴とする物体検出装置である。
【００１０】
また、本発明は、人が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、前記画像取得部から前記画像を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、前記動きベクトル算出部が算出した前記動きベクトルの相関とのうち、少なくとも１つに基づいて、該画像に含まれる領域を分割する領域分割部と、ＨＯＧ特徴量に基づいて、前記人が撮像されている領域を該画像内で探索し、該領域を表す分布情報を出力する領域探索部と、前記領域探索部から該分布情報を取得し、取得した該分布情報に基づいて、前記人が撮像されている領域と、前記人が撮像されていない領域とに、前記領域分割部が分割した前記領域を分けることで、該領域の形状を修正する領域修正部と、を備えることを特徴とする物体検出装置である。
【００１１】
また、本発明は、前記領域探索部が、前記画像において前記人が撮像されている領域が、他の時刻に撮像された前記画像における該領域と比較して垂直方向に短いか否かを判定し、前記領域修正部が、前記画像において前記人が撮像されている領域が、他の時刻に撮像された前記画像における該領域と比較して垂直方向に短いと前記領域探索部が判定した場合、垂直方向に長くなるように該領域の形状を修正することを特徴とする物体検出装置である。
【００１２】
また、本発明は、物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部と、前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部と、前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部と、前記動きベクトル算出部が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、前記動きベクトル算出部が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部と、前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部と、前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、該ブロックの前記動き量を、前記回帰直線が表す動き量に修正する動き量修正部と、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部と、前記ブロック検出部が検出した前記ブロックが互いに隣接している領域を前記画像から抽出することにより、抽出した該領域に撮像された前記物体を検出する領域出力部と、を備えることを特徴とする物体検出装置である。
【発明の効果】
【００１３】
本発明によれば、物体検出装置は、走行する車両等から撮像された時系列画像に撮像された物体を、回帰直線により最適化された動き量に基づいて検出するので、撮像された物体を精度良く検出することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における、物体検出装置の構成を示すブロック図である。
【図２】本発明の一実施形態における、撮像された画像と、動き量と、最適化された動き量との関係を表す図である。
【図３】本発明の一実施形態における、撮像された画像と、最適化された動き量と、最適化された回帰直線回帰直線との関係を表す図である。
【図４】本発明の一実施形態における、モーション・クラスタリングの結果の例を表す図である。
【図５】本発明の一実施形態における、時間軸方向のテクスチャ相関の例を表す図である。
【図６】本発明の一実施形態における、時間軸方向の領域相関の例を表す図である。
【図７】本発明の一実施形態における、空間軸方向の隣接相関の例を表す図である。
【図８】本発明の一実施形態における、空間軸方向の動きベクトル相関の例を表す図である。
【図９】本発明の一実施形態における、時空間ＭＲＦモデルによる検出結果の例を表す図である。
【図１０】本発明の一実施形態における、スプリット判定前の検出結果の例を表す図である。
【図１１】本発明の一実施形態における、スプリット判定に基づく領域分割の例を表す図である。
【図１２】本発明の一実施形態における、スプリット判定後の検出結果の例を表す図である。
【図１３】本発明の一実施形態における、歩行者の脚の動きが、背景の動きに同期した場合の検出結果の例を表す図である。
【図１４】本発明の一実施形態における、歩行者の脚の動きが、背景の動きに同期した場合のオブジェクトマップの例を表す図である。
【図１５】本発明の一実施形態における、歩行者の脚が撮像された領域を構成するブロックに、ラベルが改めて付与されたオブジェクトマップの例を表す図である。
【図１６】本発明の一実施形態における、歩行者の脚が撮像された領域を構成するブロックに、ラベルが改めて付与された場合の検出結果の例を表す図である。
【発明を実施するための形態】
【００１５】
本発明の一実施形態について図面を参照して詳細に説明する。図１には、物体検出装置の構成が、ブロック図で表されている。物体検出装置１００は、走行する車両等から撮像された時系列画像に撮像された前景（例えば、人、物体）を検出する。物体検出装置１００は、画像取得部１１０と、領域抽出部１２０と、領域生成部１３０と、領域分割部１４０と、領域修正部１５０と、画像表示部１６０と、領域探索部１７０とを備える。
【００１６】
画像取得部１１０は、背景と前景とが撮像された画像であって、撮像された時刻が異なる複数の画像（時系列画像）を取得し、取得した時系列画像を、領域抽出部１２０と領域分割部１４０と領域探索部１７０とに出力する。
【００１７】
領域抽出部１２０には、画像取得部１１０から時系列画像が入力される。領域抽出部１２０は、前景が撮像された領域を時系列画像から抽出し、抽出した領域を表す分布情報（例えば、画像における座標）を、領域生成部１３０を介して領域分割部１４０に出力する。領域抽出部１２０は、動きベクトル算出部１２１と、動き量算出部１２２と、回帰直線算出部１２３と、動き量差分算出部１２４と、画素値差分算出部１２５と、動き量修正部１２６と、ブロック検出部１２７と、領域出力部１２８とを備える。
【００１８】
動きベクトル算出部１２１は、画像を水平方向（ｘ成分）及び垂直方向（ｙ成分）に区分するブロック（例えば、８×８画素）毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、時系列画像における動きベクトルＭ（ｘ，ｙ）を算出する。ここで、（ｘ，ｙ）は、動きベクトルＭが算出されたブロックのｘ座標及びｙ座標を表す。
【００１９】
動きベクトル算出部１２１は、例えば、ブロックマッチング法により、動きベクトルをブロック毎に算出する。ここで、動きベクトル算出部１２１は、垂直方向よりも水平方向により広い範囲（例えば、水平方向に±２４画素、垂直方向に±５画素の範囲）で、動きベクトルを画素単位で算出する。車両が水平方向に走行することで背景が水平方向に流れるので、動きベクトル算出部１２１は、垂直方向よりも水平方向により広い範囲で動きベクトルを算出すれば、動きベクトルを安定的に算出することができる。また、垂直方向に±５画素の範囲で動きベクトルが算出されているので、動きベクトル算出部１２１は、撮像装置が上下振動した場合でも、その影響を吸収して動きベクトルを安定的に算出することができる。
【００２０】
ここで、動きベクトル算出部１２１が、水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出するか、又は、水平方向及び垂直方向の両方の方向成分について動きベクトルを算出するかについては、適宜選択されてよい。例えば、撮像装置の上下振動が少ない場合であれば、動きベクトル算出部１２１は、水平方向の成分についてのみ動きベクトルを算出するとしてもよい。
【００２１】
動き量算出部１２２は、動きベクトル算出部１２１が算出した動きベクトルが表す動き量Ｍを、ブロック毎に算出する。
回帰直線算出部１２３は、動き量算出部１２２により動き量Ｍが算出された方向成分について、動き量の回帰直線Ｌを算出する。ここで、動き量Ｍは、全てのｘにおいて回帰直線Ｌの近傍値を採るものと仮定される。
【００２２】
動き量差分算出部１２４は、動きベクトル算出部１２１が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、動き量Ｍと回帰直線Ｌとの差分の絶対値である動き量差分を、ブロック毎に算出する。一方、動き量差分算出部１２４は、動きベクトル算出部１２１が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、動き量Ｍと回帰直線Ｌとの水平方向の差分の絶対値と、動き量Ｍと回帰直線Ｌとの垂直方向の差分の絶対値と、を合計した値である動き量差分を、ブロック毎に算出する。
【００２３】
画素値差分算出部１２５は、動き量差分算出部１２４により算出された動き量差分が、予め定められた第１閾値以上であるか否かをブロック毎に判定し、動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、動き量Ｍが算出された方向成分の方向に回帰直線Ｌが表す動き量Ｍだけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する。
【００２４】
動き量修正部１２６は、動き量Ｍを修正し、ブロック毎に最適化する。ここで、動き量修正部１２６は、画素値差分算出部１２５により算出された画素値差分が、予め定められた第２閾値以下であるか否かを判定し、画素値差分が第２閾値以下である場合、該ブロックの動き量Ｍを、回帰直線Ｌが表す動き量に修正する。これにより、動き量修正部１２６は、背景のテクスチャが複雑又は繰り返しパターンで個性化されている場合でも、動き量Ｍを最適化することができる。具体的には、以下のアルゴリズムにより、動き量Ｍが最適化される。
【００２５】
まず、動きベクトルの水平方向の成分（ｘ成分であるスカラー量）のみが算出された場合における、動き量Ｍを最適化するアルゴリズムについて説明する。
図２には、撮像された画像と、動き量と、最適化された動き量との関係が表されている。図２に示された画像は、走行する車両から撮像された時系列画像を構成する１画像フレームである。図２では、画像フレームに、歩行者Ａ、歩行者Ｂ、及び壁の窪みが撮像されている。ここで、画像フレームに、水平方向に並ぶ複数のブロックにより構成されるマッチングラインを定める。マッチングラインのｙ座標を定数（図２では、ｙ１）として、このマッチングラインにおける動き量をＭ（ｘ）と表記する。
【００２６】
動き量算出部１２２は、マッチングラインを構成する全てのブロックについて、ブロックマッチングにより算出された動きベクトルが表す動き量Ｍ（ｘ）を算出する（ステップＳ１）。
回帰直線算出部１２３は、動き量Ｍが算出された方向成分（ｘ成分）について、最小二乗法により、動き量の回帰直線Ｌ（ｘ）を算出する（ステップＳ２）。
【００２７】
動き量差分算出部１２４は、動き量Ｍと回帰直線Ｌとの差分の絶対値である動き量差分を、ブロック毎に算出する。また、画素値差分算出部１２５は、動き量差分算出部１２４により算出された動き量差分が、予め定められた第１閾値以上であるか否かをブロック毎に判定する。また、画素値差分算出部１２５は、動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、動き量Ｍを算出した方向成分の方向に回帰直線Ｌが表す動き量Ｍだけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する。そして、動き量修正部１２６は、画素値差分算出部１２５により算出された画素値差分が、予め定められた第２閾値以下であるか否かを判定し、画素値差分が第２閾値以下である場合、該ブロックの動き量Ｍ（ｘ）を、回帰直線Ｌが表す最適化された動き量Ｍｏｐｔ（ｘ）に修正する。
【００２８】
一方、動き量差分算出部１２４により算出された動き量差分が、予め定められた第１閾値未満である場合、最適化された動き量Ｍｏｐｔ（ｘ）として、動き量Ｍ（ｘ）が採用される（ステップＳ３）。
【００２９】
ステップＳ３において、動き量Ｍ（ｘ）が修正された場合、領域抽出部１２０の処理は、ステップＳ２に戻る。一方、動き量Ｍ（ｘ）が修正されなかった場合、領域抽出部１２０は、最適化された動き量Ｍｏｐｔ（ｘ）として、動き量Ｍ（ｘ）を採用する。さらに、動き量修正部１２６は、最適化された回帰直線Ｌｏｐｔ（ｘ）として、回帰直線Ｌ（ｘ）を採用する（ステップＳ４）。
このようにして、最適化された動き量Ｍｏｐｔ（ｘ）と、最適化された回帰直線Ｌｏｐｔとが算出される。
【００３０】
図３には、撮像された画像と、最適化された動き量と、最適化された回帰直線との関係が表されている。ここで、マッチングラインのｙ座標を定数（図３では、ｙ２）として、最適化された動き量をＭｏｐｔ（ｘ）と表記する。動き量Ｍ（ｘ）におけるエラーが修正されたことで、最適化された動き量Ｍｏｐｔ（ｘ）が直線状に分布していることが、図３に示されている。また、最適化された動き量Ｍｏｐｔ（ｘ）と、最適化された回帰直線Ｌｏｐｔ（ｘ）との差分の絶対値が大きいブロックには、前景（オブジェクト）である歩行者Ａ、歩行者Ｂ、及び壁の窪みが、それぞれ撮像されていることが判る。
【００３１】
次に、水平方向及び垂直方向の両方の方向成分（ｘ成分及びｙ成分）について動きベクトルが算出された場合における、動き量Ｍを最適化するアルゴリズムについて説明する。
動きベクトル算出部１２１は、動きベクトルＭ（ｘ，ｙ）＝（Ｍｈ（ｘ，ｙ），Ｍｖ（ｘ，ｙ））を、画像における全てのブロックについて算出する（ステップＳａ１）。ここで、Ｍｈは、動きベクトルの水平成分（動き量）である。また、Ｍｖは、動きベクトルの垂直成分（動き量）である。
【００３２】
回帰直線算出部１２３は、動き量Ｍｈを算出した方向成分（ｘ成分）について、最小二乗法により、動きベクトルの水平成分である動き量Ｍｈ（ｘ，ｙ）の回帰直線Ｌｈ（ｘ，Ｙ）を算出する。また、回帰直線算出部１２３は、動き量Ｍｖを算出した方向成分（ｙ成分）についても、最小二乗法により、動きベクトルの垂直成分である動き量Ｍｖ（ｘ，ｙ）の回帰直線Ｌｖ（Ｘ，ｙ）を算出する（ステップＳａ２）。
【００３３】
動き量差分算出部１２４は、動き量Ｍｈ（ｘ，ｙ）と回帰直線Ｌｈ（ｘ，Ｙ）との水平方向の差分の絶対値｜Ｍｈ（ｘ，ｙ）−Ｌｈ（ｘ，Ｙ）｜と、動き量Ｍｖ（ｘ，ｙ）と回帰直線Ｌｖ（Ｘ，ｙ）との垂直方向の差分の絶対値｜Ｍｖ（ｘ，ｙ）−Ｌｖ（Ｘ，ｙ）｜と、を合計した値である動き量差分｜Ｍｈ（ｘ，ｙ）−Ｌｈ（ｘ，Ｙ）｜＋｜Ｍｖ（ｘ，ｙ）−Ｌｖ（Ｘ，ｙ）｜を、全ブロックについて算出する。
【００３４】
画素値差分算出部１２５は、動き量差分算出部１２４により算出された動き量差分｜Ｍｈ（ｘ，ｙ）−Ｌｈ（ｘ，Ｙ）｜＋｜Ｍｖ（ｘ，ｙ）−Ｌｖ（Ｘ，ｙ）｜が、予め定められた第１閾値以上であるか否かをブロック毎に判定する。動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、動き量Ｍを算出した方向成分（ｘ成分及びｙ成分）のそれぞれの方向に、回帰直線Ｌｈが表す動き量Ｍｈ及び回帰直線Ｌｖが表す動き量Ｍｖだけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する。また、動き量修正部１２６は、画素値差分算出部１２５により算出された画素値差分が、予め定められた第２閾値以下であるか否かを判定し、画素値差分が第２閾値以下である場合、該ブロックの動きベクトルＭ（ｘ，ｙ）、すなわち、該ブロックのｘ方向及びｙ方向への動き量を、回帰直線Ｌが表す動きベクトル（Ｌｈ（ｘ，Ｙ），Ｌｖ（Ｘ，ｙ））に修正する。
【００３５】
一方、動き量差分算出部１２４により算出された動き量差分が、予め定められた第１閾値未満である場合、最適化された動きベクトルＭｏｐｔ（ｘ，ｙ）として、（Ｍｈ（ｘ，ｙ），Ｍｖ（ｘ，ｙ））が採用される（ステップＳａ３）。
【００３６】
ステップＳａ３において、動きベクトルＭ（ｘ，ｙ）が修正された場合、領域抽出部１２０の処理は、ステップＳ２に戻る。一方、領域抽出部１２０は、動きベクトルＭ（ｘ，ｙ）が修正されなかった場合、最適化された動きベクトルＭｏｐｔ（ｘ，ｙ）として、動きベクトルＭ（ｘ，ｙ）を採用する。さらに、動き量修正部１２６は、最適化された回帰直線Ｌｈｏｐｔ（ｘ，Ｙ）として、回帰直線Ｌｈ（ｘ，Ｙ）を採用する。また、動き量修正部１２６は、最適化された回帰直線Ｌｖｏｐｔ（Ｘ，ｙ）として、回帰直線Ｌｖ（Ｘ，ｙ）を採用する（ステップＳ４）。
このようにして、最適化された動きベクトルＭｏｐｔ（ｘ，ｙ）と、最適化された回帰直線Ｌｈｏｐｔ（ｘ，Ｙ）と、最適化された回帰直線Ｌｖｏｐｔ（Ｘ，ｙ）とが算出される。
【００３７】
ブロック検出部１２７は、最適化された動き量Ｍｏｐｔと最適化された回帰直線Ｌｏｐｔとの差分の絶対値が、予め定められた第３閾値以上であるか否かをブロック毎に判定し、最適化された動き量Ｍｏｐｔと最適化された回帰直線Ｌｏｐｔとの差分の絶対値が第３閾値以上であるブロックを、画像から検出する。
【００３８】
領域出力部１２８は、ブロック検出部１２７が検出したブロックが互いに隣接している領域を画像から抽出し（モーション・クラスタリング）、抽出した該領域（クラスタ）を表す分布情報を、領域分割部１４０及び画像表示部１６０に出力する。ここで、領域出力部１２８は、物体（オブジェクト）が撮像された領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）毎に、その物体に固有のラベル（物体ＩＤ）を付与し、付与したラベルを分布情報に対応付けて領域分割部１４０に出力する。
【００３９】
図４には、モーション・クラスタリングの結果の例が表されている。図４において、背景と異なる色で表示されている領域（クラスタ）は、領域抽出部１２０により抽出された領域であり、背景の動き量とは異なる動き量のブロックが、互いに隣接している領域である。
【００４０】
画像表示部１６０は、領域抽出部１２０が抽出した領域を、時系列画像に重畳して表示する（図４を参照）。また、画像表示部１６０は、領域分割部１４０が領域を分割した結果（トラッキング結果）、すなわち、領域分割部１４０が検出した前景（例えば、物体、人）を表す領域に外接する枠を、時系列画像に重畳して表示する（後述する図９を参照）。
【００４１】
領域分割部１４０は、画像取得部１１０から時系列画像を取得する。また、領域分割部１４０は、領域抽出部１２０が抽出した領域を表す分布情報と、領域毎のラベルとを、領域生成部１３０を介して領域抽出部１２０から取得する。領域分割部１４０は、領域を表す分布情報と、領域毎のラベルとに基づいて、オブジェクトマップ（領域分割情報）を初期化する。
【００４２】
ここで、オブジェクトマップとは、画像において領域が前景（オブジェクト）毎にどのように分割されているかを表す情報マップである。オブジェクトマップでは、前景が撮像された領域を構成する各ブロックに、その前景に固有のラベルが付与されている。領域分割部１４０は、オブジェクトマップにおいて、取得した分布情報が表す領域を前景毎に分割することにより、その領域に撮像された前景を検出する。
【００４３】
領域分割部１４０は、時空間ＭＲＦ（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ）モデルにより領域を分割する。ここで、領域分割部１４０は、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、動きベクトルの相関とのうち少なくとも１つに基づいて、領域を分割する。
【００４４】
時空間ＭＲＦモデルの概要について説明する。
まず、エネルギ関数の項Ｕｐｒｅを表す式（１）について説明する。式（１）は、パラメータＭｘｙｋ及びパラメータＤｘｙｋを用いたボルツマン（Ｂｏｌｔｚｍａｎｎ）分布の指数部分から導かれる。
【００４５】
【数１】
【００４６】
ここで、パラメータＤｘｙｋは、式（２）で表される。また、パラメータＭｘｙｋ及びパラメータＤｘｙｋの添え字ｘは、時刻ｔ−１に撮像された前画像Ｇ（ｔ−１）に対して算出されたオブジェクトマップが、Ｘ（ｔ−１）＝ｘであることを表す。また、パラメータＭｘｙｋ及びパラメータＤｘｙｋの添え字ｙは、時刻ｔに撮像された現画像Ｇ（ｔ）に対して算出されるオブジェクトマップが、Ｘ（ｔ）＝ｙであることを表す。また、ｙの添え字ｋは、最適化の対象となっているブロックが、ｋ番目のブロックＣｋ（ｔ）であることを表す。
【００４７】
パラメータＤｘｙｋは、前画像Ｇ（ｔ−１）と現画像Ｇ（ｔ）との間のテクスチャ相関を表す。図５には、時間軸方向のテクスチャ相関の例が表されている。テクスチャ相関は、前画像Ｇ（ｔ−１）と現画像Ｇ（ｔ）との局所的な動きベクトルＶｏｍｋ＝（−ｖｍｋｉ，−ｖｍｋｊ）により定まる位置関係にある画素同士について、その画素値の絶対差分和により表される。ここで、Ｏｍは、領域を構成するブロックＣｋ（ｔ）に付与するラベルの候補である。また、ｉ及びｊは、画像フレームにおける空間座標を表す。また、パラメータＤｘｙｋが小さいほど、ラベルＯｍが付与された領域にブロックＣｋ（ｔ）が属する可能性が高いことを表す。
【００４８】
パラメータＭｘｙｋは、現画像Ｇ（ｔ）に対して算出されるオブジェクトマップＸ（ｔ）と、前画像Ｇ（ｔ−１）に対して算出されたオブジェクトマップＸ（ｔ−１）との領域相関を定量化するパラメータである。
【００４９】
図６には、時間軸方向の領域相関の例が表されている。ブロックＣｋ（ｔ）に関する領域相関を評価する場合について説明する。パラメータＭｘｙｋは、局所的な動きベクトルＶｏｍｋ＝（−ｖｍｋｉ，−ｖｍｋｊ）により平行移動されたブロックＣｋ（ｔ）と、前画像Ｇ（ｔ−１）においてラベルＯｍが付与されているブロックとが重なっている範囲に含まれる領域（重なり領域）を構成する画素の数である。また、パラメータＭｘｙｋが値０に近いほど、ラベルＯｍの付与が確からしいことを表す。
【００５０】
次に、エネルギ関数の項ＵＮを表す式（３）について説明する。
【００５１】
【数２】
【００５２】
ここで、パラメータＮｙｋは、現画像Ｇ（ｔ）に対して算出されるオブジェクトマップＸ（ｔ）における、同一のラベルが付与されたブロックの隣接相関を表す。パラメータＮｙｋの添え字ｙは、時刻ｔに撮像された現画像Ｇ（ｔ）に対して算出されるオブジェクトマップが、Ｘ（ｔ）＝ｙであることを表す。また、ｙの添え字ｋは、最適化の対象となっているブロックが、ｋ番目のブロックＣｋ（ｔ）であることを表す。
【００５３】
図７には、空間軸方向の隣接相関の例が表されている。ブロックＣｋ（ｔ）にラベルＯｍが付与されている場合、パラメータＮｙｋは、ブロックＣｋ（ｔ）に隣接するブロックのうち、同一のラベルＯｍが付与されているブロックの数を表す。図７に示す例では、パラメータＮｙｋ＝５である。また、パラメータＮｙｋが大きいほど、ラベルＯｍの付与が確からしいことを表す。
【００５４】
次に、エネルギ関数の項Ｕｍｖを表す式（４）について説明する。
【００５５】
【数３】
【００５６】
ここで、Ｂｋ（ｔ−１）は、時刻ｔ−１におけるブロックＣｋ（ｔ−１）に隣接するブロック（図７を参照）を表す。また、ベクトルＶＣｋ（ｔ−１）は、ブロックＣｋ（ｔ−１）からブロックＣｋ（ｔ）への動きベクトルである。また、ベクトルＶＢｋ（ｔ−１）は、ブロックＢｋ（ｔ−１）からブロックＢｋ（ｔ）への動きベクトルである。また、ベクトルＶＣｋ（ｔ−１）と、ベクトルＶＢｋ（ｔ−１）との類似性が高いほど、ブロックＣｋ（ｔ−１）において算出された動きベクトルが確からしいことを表す。
【００５７】
図８には、空間軸方向の動きベクトル相関の例が表されている。領域分割部１４０は、パラメータＭｘｙｋ、及びパラメータＤｘｙｋを同時に満たすことを条件として、隣接するブロック同士の動きベクトルの類似性（動きベクトル相関）が高くなるように各ブロックの動きベクトルを最適化し、式（４）により確率緩和を実行する。
【００５８】
エネルギ関数は、式（１）〜（４）を用いて、式（５）により表される。
【００５９】
【数４】
【００６０】
ここで、Ｕ（ｙｋ）における項ＵＭ（Ｍｘｙｋ）及びＵＤ（Ｄｘｙｋ）は、前景が撮像された領域を構成するブロックにおける局所的な動きベクトルを基に評価される。また、Ｕｍｖ（Ｃｋ（ｔ−１））は、前画像Ｇ（ｔ−１）から現画像Ｇ（ｔ）への動きベクトルを基に評価される。これらの評価により、式（５）が最小化されることで、領域の境界（輪郭）及び動きベクトルが最適化される。すなわち、この最適化問題は、エネルギ関数の式（５）を最小化するオブジェクトマップＸ（ｔ）＝ｙを算出する問題に帰着する。
以上が、時空間ＭＲＦモデルの概要である。
【００６１】
領域分割部１４０は、時空間ＭＲＦモデルにより領域を分割した結果（トラッキング結果）、すなわち、検出した前景（例えば、物体、人）を表す領域に外接する枠を、時系列画像に重畳させて画面に表示させる。
【００６２】
ここで、領域分割部１４０は、時空間ＭＲＦモデルにより最適化した領域の境界及び動きベクトルを、領域抽出部１２０にフィードバックしてもよい（最適化ループ）。このフィードバックされた領域の境界及び動きベクトルに基づいて、領域抽出部１２０は、領域を抽出し、抽出した該領域を表す分布情報と、領域毎に付与したラベルとを、領域分割部１４０に出力する。領域分割部１４０は、この最適化ループにおいて、領域を分割した結果と、動きベクトルを最適化した結果とが変化しなくなった場合に、最適化ループを終わらせ、検出した前景を表す領域に外接する枠を、時系列画像に重畳して画面に表示させるとしてもよい。
【００６３】
図９には、時空間ＭＲＦモデルによる検出結果の例が表されている。この例では、領域分割部１４０が領域を分割した結果（トラッキング結果）、すなわち、領域分割部１４０が検出した前景（図９では、歩行者、街路樹、ガードレールなど）を表す領域に外接する枠が、時系列画像に重畳されて画像表示部１６０に表示されている。
【００６４】
図１に戻り、物体検出装置の構成の説明を続ける。領域生成部１３０は、領域抽出部１２０の領域出力部１２８が出力した分布情報を、領域分割部１４０に転送する。ここで、領域生成部１３０は、領域抽出部１２０の領域出力部１２８が出力した分布情報と、領域分割部１４０が分割する領域の分布情報（オブジェクトマップ）とを比較する。これらの分布情報が異なる場合、領域生成部１３０は、領域出力部１２８が出力した分布情報を、オブジェクトマップに無い新たな領域の分布情報として、領域分割部１４０に出力する。これにより、領域生成部１３０は、時系列画像に新たな前景が撮像された場合、その新たな前景が撮像された領域の分布を、領域分割部１４０に通知することができる。
【００６５】
領域探索部１７０には、領域分割部１４０からオブジェクトマップと、画像取得部１１０から時系列画像とが入力される。領域探索部１７０は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量に基づいて、人が撮像されている領域を該画像内で探索し、該領域を表す分布情報を領域修正部１５０に出力する。ここで、ＨＯＧ特徴量は、時空間ＭＲＦモデルが属する物理層よりも上位にある形相（形態）層において、事象認識アルゴリズムにより画像特徴量として算出される。
【００６６】
なお、領域探索部１７０は、人が撮像された領域の垂直方向下限の座標から、その領域の垂直方向上限の座標を推定することで、人が撮像されている領域を探索する範囲を予め限定してもよい。領域探索部１７０は、例えば、カメラキャリブレーションに応じて定まる領域の位置及び大きさの関係に基づいて、人が撮像されている領域を探索する範囲を予め限定してもよい。
【００６７】
領域修正部１５０は、領域分割部１４０がオブジェクトマップにおいて分割した領域の形状（後述する「スプリット判定」に基づいて修正される前の形状）を、領域抽出部１２０の領域出力部１２８が出力した分布情報が表す領域の形状に修正する。ここで、領域修正部１５０は、領域分割部１４０が使用しているオブジェクトマップにおいて、領域抽出部１２０が抽出した領域に重なるブロックであって、同一のラベルが付与されたブロックが所定数以上である場合、領域分割部１４０がオブジェクトマップにおいて分割した領域の形状を、領域抽出部１２０の領域出力部１２８が出力した分布情報が表す領域の形状に修正する。これにより、領域分割部１４０がオブジェクトマップにおいて分割する領域の形状は、更新（リフレッシュ）される。
【００６８】
＜異なるオブジェクトが、画像上で近接又は重なっている（オクルージョン）場合について＞
領域修正部１５０は、人が撮像されている領域の分布情報を領域探索部１７０から取得し、単一領域に複数の前景（例えば、物体、人）が撮像されていることにより、その単一領域を前景毎に分割することが可能か否かを判定する（スプリット判定）。ここで、単一領域に複数の前景が検出された場合、領域を前景毎に分割することが可能であると判定される。
【００６９】
領域修正部１５０は、スプリット判定に基づいて、人が撮像されている領域と、人が撮像されていない領域とに、領域分割部１４０が分割した領域を分けることで、該領域の形状を修正する。具体的には、領域修正部１５０は、人が撮像されている領域を単一領域から差し引くことで、単一領域から差し引かれずに残った領域を、人が撮像されていない領域とする。
【００７０】
領域修正部１５０は、このように修正した領域の形状（同一のラベルが付与されたブロックの分布情報）を領域分割部１４０に出力することにより、オブジェクトマップにおける領域の形状を修正する。
【００７１】
図１０には、スプリット判定前の検出結果の例が表されている。図１０では、前景（ＲＯＩ）として、歩行者と電柱とが撮像されている。ここで、歩行者と電柱とが画像上で近接しているために、スプリット判定前において、領域分割部１４０は、歩行者と電柱とが一体となった前景を単一領域（図１０では、ラベル３７が付与されたブロック）として検出しているものとする。
【００７２】
図１０における枠３７は、単一領域に割り当てられたラベル３７が付与されたブロックが構成する領域に外接する枠である。また、図１０における枠９６は、背景であることを表すラベル９６が付与されたブロックが構成する領域に外接する枠である。
【００７３】
図１１には、スプリット判定に基づく領域分割の例が表されている。ここで、図１１における空白のブロックには、背景であること表すラベル９６が付与されているものとする。図１１（Ａ）には、図１０においてラベル３７が付与されたブロックが構成する単一領域の分布が、オブジェクトマップにより表されている。また、図１１（Ｂ）には、スプリット判定に基づいて、人が撮像されている領域と、人が撮像されていない領域とに分けられた領域の分布が、スプリット判定マップにより表されている。
【００７４】
スプリット判定マップにおいて、値０が付与されているブロックは、ＨＯＧ特徴量により人が撮像された領域であると判定されたブロックである。また、スプリット判定マップにおいて、値１が付与されているブロックは、人が撮像されていない領域であると判定されたブロックである。このスプリット判定マップは、領域修正部１５０から領域分割部１４０に、インタフェース関数を介して入力される。
【００７５】
また、図１１（Ｃ）には、領域分割部１４０が、スプリット判定マップに基づいて、図１１（Ａ）に示した単一領域を分割した結果を表すオブジェクトマップが表されている。領域分割部１４０は、スプリット判定マップにおいて値０が付与されているブロックに、元のラベル（図１１（Ｃ）では、ラベル３７）をそのまま付与する。一方、領域分割部１４０は、スプリット判定マップにおいて値１が付与されているブロックに、ラベル３７とは異なるラベル（図１１（Ｃ）では、ラベル４１）を付与する。
【００７６】
図１２には、スプリット判定後の検出結果の例が表されている。図１２において、枠３７は、図１１（Ｃ）に表されたラベル３７が付与されたブロックが構成する領域に外接する枠である。また、枠４１は、図１１（Ｃ）に表されたラベル４１が付与されたブロックが構成する領域に外接する枠である。画面上で近接している歩行者及び電柱は、スプリット判定前において、単一領域として検出されていたが（図１０を参照）、スプリット判定後において、歩行者（ラベル３７）及び電柱（ラベル４１）が、それぞれ異なる領域（オブジェクト）として検出されていることが表されている。
【００７７】
＜歩行者の脚の動きが、背景の動きに同期した場合について＞
図１３には、歩行者の脚の動きが、背景の動きに同期した場合の検出結果の例が表されている。図１３（Ａ）は、時刻ｔ−２に撮像された画像である。また、図１３（Ｂ）は、時刻ｔ−１に撮像された画像である。また、図１３（Ｃ）は、時刻ｔに撮像された画像である。
【００７８】
走行する車両等から撮像された歩行者の脚の動きは、画像上において背景の動きと同期することがある。この場合、歩行者の脚の動き量と、背景の動き量との差が少なく、識別し難いので、歩行者の全身が撮像されている領域から、歩行者の脚が撮像されている領域のみが欠けてしまうことが起こり得る。
【００７９】
ここで、時刻ｔに撮像された歩行者の脚の動きが、画像上において背景の動きと同期したとする。このため、図１３（Ｃ）では、歩行者の脚が撮像されている領域だけ、枠３７が欠けてしまっていることが表されている。
【００８０】
図１４には、歩行者の脚の動きが、背景の動きに同期した場合のオブジェクトマップの例が表されている。ここで、図１４（Ａ）は図１３（Ａ）に対応し、図１４（Ｂ）は図１３（Ｂ）に対応し、図１４（Ｃ）は図１３（Ｃ）に対応する。図１４（Ａ）及び（Ｂ）では領域を構成するブロックに欠けは無いが、図１４（Ｃ）では、歩行者の脚が撮像されている領域を構成するブロックが欠け、歩行者が検出された領域が垂直方向に短くなっていることが表されている。
【００８１】
領域探索部１７０は、時系列画像において人が撮像されている領域が、他の時刻に撮像された時系列画像における該領域と比較して垂直方向に短いか否かを判定し、判定結果を領域修正部１５０に出力する。ここで、領域探索部１７０は、例えば、領域分割部１４０が使用しているオブジェクトマップにおいて、人が撮像されている領域の垂直方向の長さの等加重平均を、時系列画像毎に算出する。さらに、領域探索部１７０は、その等加重平均に基づいて、時刻ｔ−２又は時刻ｔ−１に撮像された時系列画像における該領域と比較して、時刻ｔに人が撮像されている領域が垂直方向に短いか否かを判定するとしてもよい。
【００８２】
また、領域探索部１７０は、人（歩行者）が撮像された領域であるとＨＯＧ特徴量に基づいて判定した領域において、その人の足元が撮像された位置を示す座標（垂直方向下限の座標）を推定し、推定した座標を領域修正部１５０に出力する。
【００８３】
領域修正部１５０は、時系列画像において人が撮像されている領域が、他の時刻に撮像された時系列画像における該領域と比較して垂直方向に短いと領域探索部１７０が判定した場合、該領域が垂直方向に長くなるように、ブロックに改めてラベルを付与することで、該領域の形状を修正する。形状を修正した結果は、インタフェース関数を介して領域分割部１４０に通知される。
【００８４】
図１５には、歩行者の脚が撮像された領域を構成するブロックに、ラベルが改めて付与されたオブジェクトマップの例が表されている。図１４（Ｃ）に表されたオブジェクトマップにおいてラベル３７が付与されたブロックから、歩行者の足元が撮像された領域の垂直方向下限の座標にあるブロックまで、図１５では、ラベル３７が改めて付与され（図１５における太枠内）、領域の形状が垂直方向に長くなるように修正されていることが表されている。
【００８５】
図１６には、歩行者の脚が撮像された領域を構成するブロックに、ラベルが改めて付与された場合の検出結果の例が表されている。歩行者の脚が撮像された領域を構成するブロックに、ラベル３７が改めて付与されたことにより（図１５を参照）、歩行者の足元が撮像された領域まで、枠３７が垂直方向に長くなっている。
【００８６】
以上のように、物体検出装置１００は、物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部１１０と、該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部１２１と、前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部１２２と、前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部１２３と、動きベクトル算出部１２１が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、動きベクトル算出部１２１が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部１２４と、前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部１２５と、前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、前記回帰直線が表す動き量に該ブロックの前記動き量を修正する動き量修正部１２６と、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部１２７と、ブロック検出部１２７が検出した前記ブロックが互いに隣接している領域を前記画像から抽出し、抽出した該領域を表す分布情報を出力する領域出力部１２８と、領域出力部１２８から前記分布情報と、前記画像取得部から前記画像と、を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、動きベクトル算出部１２１が算出した前記動きベクトルの相関とのうち少なくとも１つに基づいて、領域出力部１２８から取得した前記分布情報が表す前記領域を前記物体毎に分割することにより、該領域に撮像された前記物体を検出する領域分割部１４０と、を備える。
【００８７】
これにより、物体検出装置は、走行する車両等から撮像された時系列画像に撮像された物体を、回帰直線により最適化された動き量に基づいて検出するので、撮像された物体を精度良く検出することができる。
【００８８】
また、物体検出装置１００は、領域分割部１４０が分割した前記領域の形状を、領域出力部１２８が出力した前記分布情報が表す前記領域の形状に修正する領域修正部１２６を備える。これにより、物体検出装置は、オブジェクトマップにおいて分割する領域の形状を、所定周期で更新（リフレッシュ）することができる。
【００８９】
また、物体検出装置１００は、領域出力部１２８が出力した分布情報と、領域分割部１４０が分割する前記領域の分布情報とを比較し、領域出力部１２８が出力した前記分布情報と、領域分割部１４０が分割する前記領域の分布情報とが異なる場合、領域出力部１２８が出力した前記分布情報を、新たな領域の分布情報として領域分割部１４０に出力する領域生成部１３０を備える。これにより、物体検出装置は、時系列画像に新たな前景が撮像された場合、その新たな前景を表す分布情報に基づいて、撮像された物体を精度良く検出することができる。
【００９０】
また、物体検出装置１００は、領域分割部１４０が、隣接するブロック同士の動きベクトルの類似性が高くなるように動きベクトルを最適化し、該最適化した動きベクトルを動き量算出部１２２に出力し、動き量算出部１２２は、領域分割部１４０が最適化した動きベクトルに基づいて、ブロックマッチング法により動きベクトルを算出する。
【００９１】
これにより、物体検出装置は、時空間ＭＲＦモデルとブロックマッチング法とによる最適化ループにより、動きベクトルを最適化することができる。
【００９２】
また、物体検出装置１００は、人が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部１１０と、画像取得部１１０から前記画像を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、動きベクトル算出部１２１が算出した前記動きベクトルの相関とのうち、少なくとも１つに基づいて、該画像に含まれる領域を分割する領域分割部１４０と、ＨＯＧ特徴量に基づいて、前記人が撮像されている領域を該画像内で探索し、該領域を表す分布情報を出力する領域探索部１７０と、領域探索部１７０から該分布情報を取得し、取得した該分布情報に基づいて、前記人が撮像されている領域と、前記人が撮像されていない領域とに、領域分割部１４０が分割した前記領域を分けることで、該領域の形状を修正する領域修正部１５０と、を備える。
【００９３】
これにより、物体検出装置は、走行する車両から撮像された時系列画像に撮像された人を、ＨＯＧ特徴量に基づいて検出するので、撮像された人を精度良く検出することができる。
【００９４】
また、物体検出装置は、領域探索部１７０が、画像取得部１１０が取得した前記画像において、前記人が撮像されている領域が、他の画像と比較して垂直方向に短いか否かを判定し、領域修正部１５０が、前記人が撮像されている領域が他の画像と比較して垂直方向に短いと領域探索部１７０が判定した場合、垂直方向に長くなるように該領域の形状を修正する。
【００９５】
これにより、物体検出装置は、撮像された歩行者の脚の動きと背景の動きとが同期した場合でも、その歩行者の全身を検出することができる。
【００９６】
また、物体検出装置１００は、物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部１１０と、該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部１２１と、前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部１２２と、前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部１２３と、動きベクトル算出部１２１が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、動きベクトル算出部１２１が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部１２４と、前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部１２５と、前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、前記回帰直線が表す動き量に該ブロックの前記動き量を修正する動き量修正部１２６と、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部１２７と、ブロック検出部１２７が検出した前記ブロックが互いに隣接している領域を前記画像から抽出することにより、抽出した該領域に撮像された前記物体を検出する領域出力部１２８と、を備える。
【００９７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００９８】
なお、以上に説明した物体検出装置を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００９９】
１００…物体検出装置、１１０…画像取得部、１２０…領域抽出部、１２１…動きベクトル算出部、１２２…動き量算出部、１２３…回帰直線算出部、１２４…動き量差分算出部、１２５…画素値差分算出部、１２６…動き量修正部、１２７…ブロック検出部、１２８…領域出力部、１３０…領域生成部、１４０…領域分割部、１５０…領域修正部、１６０…画像表示部、１７０…領域探索部
【技術分野】
【０００１】
本発明は、時系列画像に撮像された物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
時系列画像に撮像された移動物体を、その画像上で追跡する追跡方法及び装置が、特許文献１に開示されている。特許文献１に開示された装置は、交差点などの定点から時系列画像を撮像し、撮像された移動物体を時系列画像上で追跡する。定点から撮像した時系列画像では背景がほとんど動かないため、特許文献１に開示された装置は、時系列画像に撮像された移動物体を検出することができた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０７７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、時系列画像を撮像する撮像装置が、例えば、走行する車両に搭載された場合、その車両から撮像された時系列画像の背景は、走行する車両の速度に応じて水平方向に流れてしまう。このため、物体検出装置は、走行する車両から撮像された時系列画像に撮像された物体を、精度良く検出することができないという問題があった。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、走行する車両等から撮像された時系列画像に撮像された物体を、精度良く検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部と、前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部と、前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部と、前記動きベクトル算出部が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、前記動きベクトル算出部が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部と、前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部と、前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、該ブロックの前記動き量を、前記回帰直線が表す動き量に修正する動き量修正部と、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部と、前記ブロック検出部が検出した前記ブロックが互いに隣接している領域を前記画像から抽出し、抽出した該領域を表す分布情報を出力する領域出力部と、前記領域出力部から前記分布情報と、前記画像取得部から前記画像と、を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、前記動きベクトル算出部が算出した前記動きベクトルの相関とのうち少なくとも１つに基づいて、前記領域出力部から取得した前記分布情報が表す前記領域を前記物体毎に分割することにより、該領域に撮像された前記物体を検出する領域分割部と、を備えることを特徴とする物体検出装置である。
【０００７】
また、本発明は、前記領域分割部が分割した前記領域の形状を、前記領域出力部が出力した前記分布情報が表す前記領域の形状に修正する領域修正部を備えることを特徴とする物体検出装置である。
【０００８】
また、本発明は、前記領域出力部が出力した分布情報と、前記領域分割部が分割する前記領域の分布情報とを比較し、前記領域出力部が出力した前記分布情報と、前記領域分割部が分割する前記領域の分布情報とが異なる場合、前記領域出力部が出力した前記分布情報を、新たな領域の分布情報として前記領域分割部に出力する領域生成部を備えることを特徴とする物体検出装置である。
【０００９】
また、本発明は、前記領域分割部が、隣接する前記ブロック同士の前記動きベクトルの類似性が高くなるように前記動きベクトルを最適化し、該最適化した動きベクトルを前記動きベクトル算出部に出力し、前記動きベクトル算出部が、前記領域分割部が最適化した動きベクトルに基づいて、ブロックマッチング法により動きベクトルを算出することを特徴とする物体検出装置である。
【００１０】
また、本発明は、人が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、前記画像取得部から前記画像を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、前記動きベクトル算出部が算出した前記動きベクトルの相関とのうち、少なくとも１つに基づいて、該画像に含まれる領域を分割する領域分割部と、ＨＯＧ特徴量に基づいて、前記人が撮像されている領域を該画像内で探索し、該領域を表す分布情報を出力する領域探索部と、前記領域探索部から該分布情報を取得し、取得した該分布情報に基づいて、前記人が撮像されている領域と、前記人が撮像されていない領域とに、前記領域分割部が分割した前記領域を分けることで、該領域の形状を修正する領域修正部と、を備えることを特徴とする物体検出装置である。
【００１１】
また、本発明は、前記領域探索部が、前記画像において前記人が撮像されている領域が、他の時刻に撮像された前記画像における該領域と比較して垂直方向に短いか否かを判定し、前記領域修正部が、前記画像において前記人が撮像されている領域が、他の時刻に撮像された前記画像における該領域と比較して垂直方向に短いと前記領域探索部が判定した場合、垂直方向に長くなるように該領域の形状を修正することを特徴とする物体検出装置である。
【００１２】
また、本発明は、物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部と、前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部と、前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部と、前記動きベクトル算出部が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、前記動きベクトル算出部が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部と、前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部と、前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、該ブロックの前記動き量を、前記回帰直線が表す動き量に修正する動き量修正部と、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部と、前記ブロック検出部が検出した前記ブロックが互いに隣接している領域を前記画像から抽出することにより、抽出した該領域に撮像された前記物体を検出する領域出力部と、を備えることを特徴とする物体検出装置である。
【発明の効果】
【００１３】
本発明によれば、物体検出装置は、走行する車両等から撮像された時系列画像に撮像された物体を、回帰直線により最適化された動き量に基づいて検出するので、撮像された物体を精度良く検出することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における、物体検出装置の構成を示すブロック図である。
【図２】本発明の一実施形態における、撮像された画像と、動き量と、最適化された動き量との関係を表す図である。
【図３】本発明の一実施形態における、撮像された画像と、最適化された動き量と、最適化された回帰直線回帰直線との関係を表す図である。
【図４】本発明の一実施形態における、モーション・クラスタリングの結果の例を表す図である。
【図５】本発明の一実施形態における、時間軸方向のテクスチャ相関の例を表す図である。
【図６】本発明の一実施形態における、時間軸方向の領域相関の例を表す図である。
【図７】本発明の一実施形態における、空間軸方向の隣接相関の例を表す図である。
【図８】本発明の一実施形態における、空間軸方向の動きベクトル相関の例を表す図である。
【図９】本発明の一実施形態における、時空間ＭＲＦモデルによる検出結果の例を表す図である。
【図１０】本発明の一実施形態における、スプリット判定前の検出結果の例を表す図である。
【図１１】本発明の一実施形態における、スプリット判定に基づく領域分割の例を表す図である。
【図１２】本発明の一実施形態における、スプリット判定後の検出結果の例を表す図である。
【図１３】本発明の一実施形態における、歩行者の脚の動きが、背景の動きに同期した場合の検出結果の例を表す図である。
【図１４】本発明の一実施形態における、歩行者の脚の動きが、背景の動きに同期した場合のオブジェクトマップの例を表す図である。
【図１５】本発明の一実施形態における、歩行者の脚が撮像された領域を構成するブロックに、ラベルが改めて付与されたオブジェクトマップの例を表す図である。
【図１６】本発明の一実施形態における、歩行者の脚が撮像された領域を構成するブロックに、ラベルが改めて付与された場合の検出結果の例を表す図である。
【発明を実施するための形態】
【００１５】
本発明の一実施形態について図面を参照して詳細に説明する。図１には、物体検出装置の構成が、ブロック図で表されている。物体検出装置１００は、走行する車両等から撮像された時系列画像に撮像された前景（例えば、人、物体）を検出する。物体検出装置１００は、画像取得部１１０と、領域抽出部１２０と、領域生成部１３０と、領域分割部１４０と、領域修正部１５０と、画像表示部１６０と、領域探索部１７０とを備える。
【００１６】
画像取得部１１０は、背景と前景とが撮像された画像であって、撮像された時刻が異なる複数の画像（時系列画像）を取得し、取得した時系列画像を、領域抽出部１２０と領域分割部１４０と領域探索部１７０とに出力する。
【００１７】
領域抽出部１２０には、画像取得部１１０から時系列画像が入力される。領域抽出部１２０は、前景が撮像された領域を時系列画像から抽出し、抽出した領域を表す分布情報（例えば、画像における座標）を、領域生成部１３０を介して領域分割部１４０に出力する。領域抽出部１２０は、動きベクトル算出部１２１と、動き量算出部１２２と、回帰直線算出部１２３と、動き量差分算出部１２４と、画素値差分算出部１２５と、動き量修正部１２６と、ブロック検出部１２７と、領域出力部１２８とを備える。
【００１８】
動きベクトル算出部１２１は、画像を水平方向（ｘ成分）及び垂直方向（ｙ成分）に区分するブロック（例えば、８×８画素）毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、時系列画像における動きベクトルＭ（ｘ，ｙ）を算出する。ここで、（ｘ，ｙ）は、動きベクトルＭが算出されたブロックのｘ座標及びｙ座標を表す。
【００１９】
動きベクトル算出部１２１は、例えば、ブロックマッチング法により、動きベクトルをブロック毎に算出する。ここで、動きベクトル算出部１２１は、垂直方向よりも水平方向により広い範囲（例えば、水平方向に±２４画素、垂直方向に±５画素の範囲）で、動きベクトルを画素単位で算出する。車両が水平方向に走行することで背景が水平方向に流れるので、動きベクトル算出部１２１は、垂直方向よりも水平方向により広い範囲で動きベクトルを算出すれば、動きベクトルを安定的に算出することができる。また、垂直方向に±５画素の範囲で動きベクトルが算出されているので、動きベクトル算出部１２１は、撮像装置が上下振動した場合でも、その影響を吸収して動きベクトルを安定的に算出することができる。
【００２０】
ここで、動きベクトル算出部１２１が、水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出するか、又は、水平方向及び垂直方向の両方の方向成分について動きベクトルを算出するかについては、適宜選択されてよい。例えば、撮像装置の上下振動が少ない場合であれば、動きベクトル算出部１２１は、水平方向の成分についてのみ動きベクトルを算出するとしてもよい。
【００２１】
動き量算出部１２２は、動きベクトル算出部１２１が算出した動きベクトルが表す動き量Ｍを、ブロック毎に算出する。
回帰直線算出部１２３は、動き量算出部１２２により動き量Ｍが算出された方向成分について、動き量の回帰直線Ｌを算出する。ここで、動き量Ｍは、全てのｘにおいて回帰直線Ｌの近傍値を採るものと仮定される。
【００２２】
動き量差分算出部１２４は、動きベクトル算出部１２１が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、動き量Ｍと回帰直線Ｌとの差分の絶対値である動き量差分を、ブロック毎に算出する。一方、動き量差分算出部１２４は、動きベクトル算出部１２１が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、動き量Ｍと回帰直線Ｌとの水平方向の差分の絶対値と、動き量Ｍと回帰直線Ｌとの垂直方向の差分の絶対値と、を合計した値である動き量差分を、ブロック毎に算出する。
【００２３】
画素値差分算出部１２５は、動き量差分算出部１２４により算出された動き量差分が、予め定められた第１閾値以上であるか否かをブロック毎に判定し、動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、動き量Ｍが算出された方向成分の方向に回帰直線Ｌが表す動き量Ｍだけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する。
【００２４】
動き量修正部１２６は、動き量Ｍを修正し、ブロック毎に最適化する。ここで、動き量修正部１２６は、画素値差分算出部１２５により算出された画素値差分が、予め定められた第２閾値以下であるか否かを判定し、画素値差分が第２閾値以下である場合、該ブロックの動き量Ｍを、回帰直線Ｌが表す動き量に修正する。これにより、動き量修正部１２６は、背景のテクスチャが複雑又は繰り返しパターンで個性化されている場合でも、動き量Ｍを最適化することができる。具体的には、以下のアルゴリズムにより、動き量Ｍが最適化される。
【００２５】
まず、動きベクトルの水平方向の成分（ｘ成分であるスカラー量）のみが算出された場合における、動き量Ｍを最適化するアルゴリズムについて説明する。
図２には、撮像された画像と、動き量と、最適化された動き量との関係が表されている。図２に示された画像は、走行する車両から撮像された時系列画像を構成する１画像フレームである。図２では、画像フレームに、歩行者Ａ、歩行者Ｂ、及び壁の窪みが撮像されている。ここで、画像フレームに、水平方向に並ぶ複数のブロックにより構成されるマッチングラインを定める。マッチングラインのｙ座標を定数（図２では、ｙ１）として、このマッチングラインにおける動き量をＭ（ｘ）と表記する。
【００２６】
動き量算出部１２２は、マッチングラインを構成する全てのブロックについて、ブロックマッチングにより算出された動きベクトルが表す動き量Ｍ（ｘ）を算出する（ステップＳ１）。
回帰直線算出部１２３は、動き量Ｍが算出された方向成分（ｘ成分）について、最小二乗法により、動き量の回帰直線Ｌ（ｘ）を算出する（ステップＳ２）。
【００２７】
動き量差分算出部１２４は、動き量Ｍと回帰直線Ｌとの差分の絶対値である動き量差分を、ブロック毎に算出する。また、画素値差分算出部１２５は、動き量差分算出部１２４により算出された動き量差分が、予め定められた第１閾値以上であるか否かをブロック毎に判定する。また、画素値差分算出部１２５は、動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、動き量Ｍを算出した方向成分の方向に回帰直線Ｌが表す動き量Ｍだけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する。そして、動き量修正部１２６は、画素値差分算出部１２５により算出された画素値差分が、予め定められた第２閾値以下であるか否かを判定し、画素値差分が第２閾値以下である場合、該ブロックの動き量Ｍ（ｘ）を、回帰直線Ｌが表す最適化された動き量Ｍｏｐｔ（ｘ）に修正する。
【００２８】
一方、動き量差分算出部１２４により算出された動き量差分が、予め定められた第１閾値未満である場合、最適化された動き量Ｍｏｐｔ（ｘ）として、動き量Ｍ（ｘ）が採用される（ステップＳ３）。
【００２９】
ステップＳ３において、動き量Ｍ（ｘ）が修正された場合、領域抽出部１２０の処理は、ステップＳ２に戻る。一方、動き量Ｍ（ｘ）が修正されなかった場合、領域抽出部１２０は、最適化された動き量Ｍｏｐｔ（ｘ）として、動き量Ｍ（ｘ）を採用する。さらに、動き量修正部１２６は、最適化された回帰直線Ｌｏｐｔ（ｘ）として、回帰直線Ｌ（ｘ）を採用する（ステップＳ４）。
このようにして、最適化された動き量Ｍｏｐｔ（ｘ）と、最適化された回帰直線Ｌｏｐｔとが算出される。
【００３０】
図３には、撮像された画像と、最適化された動き量と、最適化された回帰直線との関係が表されている。ここで、マッチングラインのｙ座標を定数（図３では、ｙ２）として、最適化された動き量をＭｏｐｔ（ｘ）と表記する。動き量Ｍ（ｘ）におけるエラーが修正されたことで、最適化された動き量Ｍｏｐｔ（ｘ）が直線状に分布していることが、図３に示されている。また、最適化された動き量Ｍｏｐｔ（ｘ）と、最適化された回帰直線Ｌｏｐｔ（ｘ）との差分の絶対値が大きいブロックには、前景（オブジェクト）である歩行者Ａ、歩行者Ｂ、及び壁の窪みが、それぞれ撮像されていることが判る。
【００３１】
次に、水平方向及び垂直方向の両方の方向成分（ｘ成分及びｙ成分）について動きベクトルが算出された場合における、動き量Ｍを最適化するアルゴリズムについて説明する。
動きベクトル算出部１２１は、動きベクトルＭ（ｘ，ｙ）＝（Ｍｈ（ｘ，ｙ），Ｍｖ（ｘ，ｙ））を、画像における全てのブロックについて算出する（ステップＳａ１）。ここで、Ｍｈは、動きベクトルの水平成分（動き量）である。また、Ｍｖは、動きベクトルの垂直成分（動き量）である。
【００３２】
回帰直線算出部１２３は、動き量Ｍｈを算出した方向成分（ｘ成分）について、最小二乗法により、動きベクトルの水平成分である動き量Ｍｈ（ｘ，ｙ）の回帰直線Ｌｈ（ｘ，Ｙ）を算出する。また、回帰直線算出部１２３は、動き量Ｍｖを算出した方向成分（ｙ成分）についても、最小二乗法により、動きベクトルの垂直成分である動き量Ｍｖ（ｘ，ｙ）の回帰直線Ｌｖ（Ｘ，ｙ）を算出する（ステップＳａ２）。
【００３３】
動き量差分算出部１２４は、動き量Ｍｈ（ｘ，ｙ）と回帰直線Ｌｈ（ｘ，Ｙ）との水平方向の差分の絶対値｜Ｍｈ（ｘ，ｙ）−Ｌｈ（ｘ，Ｙ）｜と、動き量Ｍｖ（ｘ，ｙ）と回帰直線Ｌｖ（Ｘ，ｙ）との垂直方向の差分の絶対値｜Ｍｖ（ｘ，ｙ）−Ｌｖ（Ｘ，ｙ）｜と、を合計した値である動き量差分｜Ｍｈ（ｘ，ｙ）−Ｌｈ（ｘ，Ｙ）｜＋｜Ｍｖ（ｘ，ｙ）−Ｌｖ（Ｘ，ｙ）｜を、全ブロックについて算出する。
【００３４】
画素値差分算出部１２５は、動き量差分算出部１２４により算出された動き量差分｜Ｍｈ（ｘ，ｙ）−Ｌｈ（ｘ，Ｙ）｜＋｜Ｍｖ（ｘ，ｙ）−Ｌｖ（Ｘ，ｙ）｜が、予め定められた第１閾値以上であるか否かをブロック毎に判定する。動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、動き量Ｍを算出した方向成分（ｘ成分及びｙ成分）のそれぞれの方向に、回帰直線Ｌｈが表す動き量Ｍｈ及び回帰直線Ｌｖが表す動き量Ｍｖだけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する。また、動き量修正部１２６は、画素値差分算出部１２５により算出された画素値差分が、予め定められた第２閾値以下であるか否かを判定し、画素値差分が第２閾値以下である場合、該ブロックの動きベクトルＭ（ｘ，ｙ）、すなわち、該ブロックのｘ方向及びｙ方向への動き量を、回帰直線Ｌが表す動きベクトル（Ｌｈ（ｘ，Ｙ），Ｌｖ（Ｘ，ｙ））に修正する。
【００３５】
一方、動き量差分算出部１２４により算出された動き量差分が、予め定められた第１閾値未満である場合、最適化された動きベクトルＭｏｐｔ（ｘ，ｙ）として、（Ｍｈ（ｘ，ｙ），Ｍｖ（ｘ，ｙ））が採用される（ステップＳａ３）。
【００３６】
ステップＳａ３において、動きベクトルＭ（ｘ，ｙ）が修正された場合、領域抽出部１２０の処理は、ステップＳ２に戻る。一方、領域抽出部１２０は、動きベクトルＭ（ｘ，ｙ）が修正されなかった場合、最適化された動きベクトルＭｏｐｔ（ｘ，ｙ）として、動きベクトルＭ（ｘ，ｙ）を採用する。さらに、動き量修正部１２６は、最適化された回帰直線Ｌｈｏｐｔ（ｘ，Ｙ）として、回帰直線Ｌｈ（ｘ，Ｙ）を採用する。また、動き量修正部１２６は、最適化された回帰直線Ｌｖｏｐｔ（Ｘ，ｙ）として、回帰直線Ｌｖ（Ｘ，ｙ）を採用する（ステップＳ４）。
このようにして、最適化された動きベクトルＭｏｐｔ（ｘ，ｙ）と、最適化された回帰直線Ｌｈｏｐｔ（ｘ，Ｙ）と、最適化された回帰直線Ｌｖｏｐｔ（Ｘ，ｙ）とが算出される。
【００３７】
ブロック検出部１２７は、最適化された動き量Ｍｏｐｔと最適化された回帰直線Ｌｏｐｔとの差分の絶対値が、予め定められた第３閾値以上であるか否かをブロック毎に判定し、最適化された動き量Ｍｏｐｔと最適化された回帰直線Ｌｏｐｔとの差分の絶対値が第３閾値以上であるブロックを、画像から検出する。
【００３８】
領域出力部１２８は、ブロック検出部１２７が検出したブロックが互いに隣接している領域を画像から抽出し（モーション・クラスタリング）、抽出した該領域（クラスタ）を表す分布情報を、領域分割部１４０及び画像表示部１６０に出力する。ここで、領域出力部１２８は、物体（オブジェクト）が撮像された領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）毎に、その物体に固有のラベル（物体ＩＤ）を付与し、付与したラベルを分布情報に対応付けて領域分割部１４０に出力する。
【００３９】
図４には、モーション・クラスタリングの結果の例が表されている。図４において、背景と異なる色で表示されている領域（クラスタ）は、領域抽出部１２０により抽出された領域であり、背景の動き量とは異なる動き量のブロックが、互いに隣接している領域である。
【００４０】
画像表示部１６０は、領域抽出部１２０が抽出した領域を、時系列画像に重畳して表示する（図４を参照）。また、画像表示部１６０は、領域分割部１４０が領域を分割した結果（トラッキング結果）、すなわち、領域分割部１４０が検出した前景（例えば、物体、人）を表す領域に外接する枠を、時系列画像に重畳して表示する（後述する図９を参照）。
【００４１】
領域分割部１４０は、画像取得部１１０から時系列画像を取得する。また、領域分割部１４０は、領域抽出部１２０が抽出した領域を表す分布情報と、領域毎のラベルとを、領域生成部１３０を介して領域抽出部１２０から取得する。領域分割部１４０は、領域を表す分布情報と、領域毎のラベルとに基づいて、オブジェクトマップ（領域分割情報）を初期化する。
【００４２】
ここで、オブジェクトマップとは、画像において領域が前景（オブジェクト）毎にどのように分割されているかを表す情報マップである。オブジェクトマップでは、前景が撮像された領域を構成する各ブロックに、その前景に固有のラベルが付与されている。領域分割部１４０は、オブジェクトマップにおいて、取得した分布情報が表す領域を前景毎に分割することにより、その領域に撮像された前景を検出する。
【００４３】
領域分割部１４０は、時空間ＭＲＦ（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ）モデルにより領域を分割する。ここで、領域分割部１４０は、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、動きベクトルの相関とのうち少なくとも１つに基づいて、領域を分割する。
【００４４】
時空間ＭＲＦモデルの概要について説明する。
まず、エネルギ関数の項Ｕｐｒｅを表す式（１）について説明する。式（１）は、パラメータＭｘｙｋ及びパラメータＤｘｙｋを用いたボルツマン（Ｂｏｌｔｚｍａｎｎ）分布の指数部分から導かれる。
【００４５】
【数１】
【００４６】
ここで、パラメータＤｘｙｋは、式（２）で表される。また、パラメータＭｘｙｋ及びパラメータＤｘｙｋの添え字ｘは、時刻ｔ−１に撮像された前画像Ｇ（ｔ−１）に対して算出されたオブジェクトマップが、Ｘ（ｔ−１）＝ｘであることを表す。また、パラメータＭｘｙｋ及びパラメータＤｘｙｋの添え字ｙは、時刻ｔに撮像された現画像Ｇ（ｔ）に対して算出されるオブジェクトマップが、Ｘ（ｔ）＝ｙであることを表す。また、ｙの添え字ｋは、最適化の対象となっているブロックが、ｋ番目のブロックＣｋ（ｔ）であることを表す。
【００４７】
パラメータＤｘｙｋは、前画像Ｇ（ｔ−１）と現画像Ｇ（ｔ）との間のテクスチャ相関を表す。図５には、時間軸方向のテクスチャ相関の例が表されている。テクスチャ相関は、前画像Ｇ（ｔ−１）と現画像Ｇ（ｔ）との局所的な動きベクトルＶｏｍｋ＝（−ｖｍｋｉ，−ｖｍｋｊ）により定まる位置関係にある画素同士について、その画素値の絶対差分和により表される。ここで、Ｏｍは、領域を構成するブロックＣｋ（ｔ）に付与するラベルの候補である。また、ｉ及びｊは、画像フレームにおける空間座標を表す。また、パラメータＤｘｙｋが小さいほど、ラベルＯｍが付与された領域にブロックＣｋ（ｔ）が属する可能性が高いことを表す。
【００４８】
パラメータＭｘｙｋは、現画像Ｇ（ｔ）に対して算出されるオブジェクトマップＸ（ｔ）と、前画像Ｇ（ｔ−１）に対して算出されたオブジェクトマップＸ（ｔ−１）との領域相関を定量化するパラメータである。
【００４９】
図６には、時間軸方向の領域相関の例が表されている。ブロックＣｋ（ｔ）に関する領域相関を評価する場合について説明する。パラメータＭｘｙｋは、局所的な動きベクトルＶｏｍｋ＝（−ｖｍｋｉ，−ｖｍｋｊ）により平行移動されたブロックＣｋ（ｔ）と、前画像Ｇ（ｔ−１）においてラベルＯｍが付与されているブロックとが重なっている範囲に含まれる領域（重なり領域）を構成する画素の数である。また、パラメータＭｘｙｋが値０に近いほど、ラベルＯｍの付与が確からしいことを表す。
【００５０】
次に、エネルギ関数の項ＵＮを表す式（３）について説明する。
【００５１】
【数２】
【００５２】
ここで、パラメータＮｙｋは、現画像Ｇ（ｔ）に対して算出されるオブジェクトマップＸ（ｔ）における、同一のラベルが付与されたブロックの隣接相関を表す。パラメータＮｙｋの添え字ｙは、時刻ｔに撮像された現画像Ｇ（ｔ）に対して算出されるオブジェクトマップが、Ｘ（ｔ）＝ｙであることを表す。また、ｙの添え字ｋは、最適化の対象となっているブロックが、ｋ番目のブロックＣｋ（ｔ）であることを表す。
【００５３】
図７には、空間軸方向の隣接相関の例が表されている。ブロックＣｋ（ｔ）にラベルＯｍが付与されている場合、パラメータＮｙｋは、ブロックＣｋ（ｔ）に隣接するブロックのうち、同一のラベルＯｍが付与されているブロックの数を表す。図７に示す例では、パラメータＮｙｋ＝５である。また、パラメータＮｙｋが大きいほど、ラベルＯｍの付与が確からしいことを表す。
【００５４】
次に、エネルギ関数の項Ｕｍｖを表す式（４）について説明する。
【００５５】
【数３】
【００５６】
ここで、Ｂｋ（ｔ−１）は、時刻ｔ−１におけるブロックＣｋ（ｔ−１）に隣接するブロック（図７を参照）を表す。また、ベクトルＶＣｋ（ｔ−１）は、ブロックＣｋ（ｔ−１）からブロックＣｋ（ｔ）への動きベクトルである。また、ベクトルＶＢｋ（ｔ−１）は、ブロックＢｋ（ｔ−１）からブロックＢｋ（ｔ）への動きベクトルである。また、ベクトルＶＣｋ（ｔ−１）と、ベクトルＶＢｋ（ｔ−１）との類似性が高いほど、ブロックＣｋ（ｔ−１）において算出された動きベクトルが確からしいことを表す。
【００５７】
図８には、空間軸方向の動きベクトル相関の例が表されている。領域分割部１４０は、パラメータＭｘｙｋ、及びパラメータＤｘｙｋを同時に満たすことを条件として、隣接するブロック同士の動きベクトルの類似性（動きベクトル相関）が高くなるように各ブロックの動きベクトルを最適化し、式（４）により確率緩和を実行する。
【００５８】
エネルギ関数は、式（１）〜（４）を用いて、式（５）により表される。
【００５９】
【数４】
【００６０】
ここで、Ｕ（ｙｋ）における項ＵＭ（Ｍｘｙｋ）及びＵＤ（Ｄｘｙｋ）は、前景が撮像された領域を構成するブロックにおける局所的な動きベクトルを基に評価される。また、Ｕｍｖ（Ｃｋ（ｔ−１））は、前画像Ｇ（ｔ−１）から現画像Ｇ（ｔ）への動きベクトルを基に評価される。これらの評価により、式（５）が最小化されることで、領域の境界（輪郭）及び動きベクトルが最適化される。すなわち、この最適化問題は、エネルギ関数の式（５）を最小化するオブジェクトマップＸ（ｔ）＝ｙを算出する問題に帰着する。
以上が、時空間ＭＲＦモデルの概要である。
【００６１】
領域分割部１４０は、時空間ＭＲＦモデルにより領域を分割した結果（トラッキング結果）、すなわち、検出した前景（例えば、物体、人）を表す領域に外接する枠を、時系列画像に重畳させて画面に表示させる。
【００６２】
ここで、領域分割部１４０は、時空間ＭＲＦモデルにより最適化した領域の境界及び動きベクトルを、領域抽出部１２０にフィードバックしてもよい（最適化ループ）。このフィードバックされた領域の境界及び動きベクトルに基づいて、領域抽出部１２０は、領域を抽出し、抽出した該領域を表す分布情報と、領域毎に付与したラベルとを、領域分割部１４０に出力する。領域分割部１４０は、この最適化ループにおいて、領域を分割した結果と、動きベクトルを最適化した結果とが変化しなくなった場合に、最適化ループを終わらせ、検出した前景を表す領域に外接する枠を、時系列画像に重畳して画面に表示させるとしてもよい。
【００６３】
図９には、時空間ＭＲＦモデルによる検出結果の例が表されている。この例では、領域分割部１４０が領域を分割した結果（トラッキング結果）、すなわち、領域分割部１４０が検出した前景（図９では、歩行者、街路樹、ガードレールなど）を表す領域に外接する枠が、時系列画像に重畳されて画像表示部１６０に表示されている。
【００６４】
図１に戻り、物体検出装置の構成の説明を続ける。領域生成部１３０は、領域抽出部１２０の領域出力部１２８が出力した分布情報を、領域分割部１４０に転送する。ここで、領域生成部１３０は、領域抽出部１２０の領域出力部１２８が出力した分布情報と、領域分割部１４０が分割する領域の分布情報（オブジェクトマップ）とを比較する。これらの分布情報が異なる場合、領域生成部１３０は、領域出力部１２８が出力した分布情報を、オブジェクトマップに無い新たな領域の分布情報として、領域分割部１４０に出力する。これにより、領域生成部１３０は、時系列画像に新たな前景が撮像された場合、その新たな前景が撮像された領域の分布を、領域分割部１４０に通知することができる。
【００６５】
領域探索部１７０には、領域分割部１４０からオブジェクトマップと、画像取得部１１０から時系列画像とが入力される。領域探索部１７０は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量に基づいて、人が撮像されている領域を該画像内で探索し、該領域を表す分布情報を領域修正部１５０に出力する。ここで、ＨＯＧ特徴量は、時空間ＭＲＦモデルが属する物理層よりも上位にある形相（形態）層において、事象認識アルゴリズムにより画像特徴量として算出される。
【００６６】
なお、領域探索部１７０は、人が撮像された領域の垂直方向下限の座標から、その領域の垂直方向上限の座標を推定することで、人が撮像されている領域を探索する範囲を予め限定してもよい。領域探索部１７０は、例えば、カメラキャリブレーションに応じて定まる領域の位置及び大きさの関係に基づいて、人が撮像されている領域を探索する範囲を予め限定してもよい。
【００６７】
領域修正部１５０は、領域分割部１４０がオブジェクトマップにおいて分割した領域の形状（後述する「スプリット判定」に基づいて修正される前の形状）を、領域抽出部１２０の領域出力部１２８が出力した分布情報が表す領域の形状に修正する。ここで、領域修正部１５０は、領域分割部１４０が使用しているオブジェクトマップにおいて、領域抽出部１２０が抽出した領域に重なるブロックであって、同一のラベルが付与されたブロックが所定数以上である場合、領域分割部１４０がオブジェクトマップにおいて分割した領域の形状を、領域抽出部１２０の領域出力部１２８が出力した分布情報が表す領域の形状に修正する。これにより、領域分割部１４０がオブジェクトマップにおいて分割する領域の形状は、更新（リフレッシュ）される。
【００６８】
＜異なるオブジェクトが、画像上で近接又は重なっている（オクルージョン）場合について＞
領域修正部１５０は、人が撮像されている領域の分布情報を領域探索部１７０から取得し、単一領域に複数の前景（例えば、物体、人）が撮像されていることにより、その単一領域を前景毎に分割することが可能か否かを判定する（スプリット判定）。ここで、単一領域に複数の前景が検出された場合、領域を前景毎に分割することが可能であると判定される。
【００６９】
領域修正部１５０は、スプリット判定に基づいて、人が撮像されている領域と、人が撮像されていない領域とに、領域分割部１４０が分割した領域を分けることで、該領域の形状を修正する。具体的には、領域修正部１５０は、人が撮像されている領域を単一領域から差し引くことで、単一領域から差し引かれずに残った領域を、人が撮像されていない領域とする。
【００７０】
領域修正部１５０は、このように修正した領域の形状（同一のラベルが付与されたブロックの分布情報）を領域分割部１４０に出力することにより、オブジェクトマップにおける領域の形状を修正する。
【００７１】
図１０には、スプリット判定前の検出結果の例が表されている。図１０では、前景（ＲＯＩ）として、歩行者と電柱とが撮像されている。ここで、歩行者と電柱とが画像上で近接しているために、スプリット判定前において、領域分割部１４０は、歩行者と電柱とが一体となった前景を単一領域（図１０では、ラベル３７が付与されたブロック）として検出しているものとする。
【００７２】
図１０における枠３７は、単一領域に割り当てられたラベル３７が付与されたブロックが構成する領域に外接する枠である。また、図１０における枠９６は、背景であることを表すラベル９６が付与されたブロックが構成する領域に外接する枠である。
【００７３】
図１１には、スプリット判定に基づく領域分割の例が表されている。ここで、図１１における空白のブロックには、背景であること表すラベル９６が付与されているものとする。図１１（Ａ）には、図１０においてラベル３７が付与されたブロックが構成する単一領域の分布が、オブジェクトマップにより表されている。また、図１１（Ｂ）には、スプリット判定に基づいて、人が撮像されている領域と、人が撮像されていない領域とに分けられた領域の分布が、スプリット判定マップにより表されている。
【００７４】
スプリット判定マップにおいて、値０が付与されているブロックは、ＨＯＧ特徴量により人が撮像された領域であると判定されたブロックである。また、スプリット判定マップにおいて、値１が付与されているブロックは、人が撮像されていない領域であると判定されたブロックである。このスプリット判定マップは、領域修正部１５０から領域分割部１４０に、インタフェース関数を介して入力される。
【００７５】
また、図１１（Ｃ）には、領域分割部１４０が、スプリット判定マップに基づいて、図１１（Ａ）に示した単一領域を分割した結果を表すオブジェクトマップが表されている。領域分割部１４０は、スプリット判定マップにおいて値０が付与されているブロックに、元のラベル（図１１（Ｃ）では、ラベル３７）をそのまま付与する。一方、領域分割部１４０は、スプリット判定マップにおいて値１が付与されているブロックに、ラベル３７とは異なるラベル（図１１（Ｃ）では、ラベル４１）を付与する。
【００７６】
図１２には、スプリット判定後の検出結果の例が表されている。図１２において、枠３７は、図１１（Ｃ）に表されたラベル３７が付与されたブロックが構成する領域に外接する枠である。また、枠４１は、図１１（Ｃ）に表されたラベル４１が付与されたブロックが構成する領域に外接する枠である。画面上で近接している歩行者及び電柱は、スプリット判定前において、単一領域として検出されていたが（図１０を参照）、スプリット判定後において、歩行者（ラベル３７）及び電柱（ラベル４１）が、それぞれ異なる領域（オブジェクト）として検出されていることが表されている。
【００７７】
＜歩行者の脚の動きが、背景の動きに同期した場合について＞
図１３には、歩行者の脚の動きが、背景の動きに同期した場合の検出結果の例が表されている。図１３（Ａ）は、時刻ｔ−２に撮像された画像である。また、図１３（Ｂ）は、時刻ｔ−１に撮像された画像である。また、図１３（Ｃ）は、時刻ｔに撮像された画像である。
【００７８】
走行する車両等から撮像された歩行者の脚の動きは、画像上において背景の動きと同期することがある。この場合、歩行者の脚の動き量と、背景の動き量との差が少なく、識別し難いので、歩行者の全身が撮像されている領域から、歩行者の脚が撮像されている領域のみが欠けてしまうことが起こり得る。
【００７９】
ここで、時刻ｔに撮像された歩行者の脚の動きが、画像上において背景の動きと同期したとする。このため、図１３（Ｃ）では、歩行者の脚が撮像されている領域だけ、枠３７が欠けてしまっていることが表されている。
【００８０】
図１４には、歩行者の脚の動きが、背景の動きに同期した場合のオブジェクトマップの例が表されている。ここで、図１４（Ａ）は図１３（Ａ）に対応し、図１４（Ｂ）は図１３（Ｂ）に対応し、図１４（Ｃ）は図１３（Ｃ）に対応する。図１４（Ａ）及び（Ｂ）では領域を構成するブロックに欠けは無いが、図１４（Ｃ）では、歩行者の脚が撮像されている領域を構成するブロックが欠け、歩行者が検出された領域が垂直方向に短くなっていることが表されている。
【００８１】
領域探索部１７０は、時系列画像において人が撮像されている領域が、他の時刻に撮像された時系列画像における該領域と比較して垂直方向に短いか否かを判定し、判定結果を領域修正部１５０に出力する。ここで、領域探索部１７０は、例えば、領域分割部１４０が使用しているオブジェクトマップにおいて、人が撮像されている領域の垂直方向の長さの等加重平均を、時系列画像毎に算出する。さらに、領域探索部１７０は、その等加重平均に基づいて、時刻ｔ−２又は時刻ｔ−１に撮像された時系列画像における該領域と比較して、時刻ｔに人が撮像されている領域が垂直方向に短いか否かを判定するとしてもよい。
【００８２】
また、領域探索部１７０は、人（歩行者）が撮像された領域であるとＨＯＧ特徴量に基づいて判定した領域において、その人の足元が撮像された位置を示す座標（垂直方向下限の座標）を推定し、推定した座標を領域修正部１５０に出力する。
【００８３】
領域修正部１５０は、時系列画像において人が撮像されている領域が、他の時刻に撮像された時系列画像における該領域と比較して垂直方向に短いと領域探索部１７０が判定した場合、該領域が垂直方向に長くなるように、ブロックに改めてラベルを付与することで、該領域の形状を修正する。形状を修正した結果は、インタフェース関数を介して領域分割部１４０に通知される。
【００８４】
図１５には、歩行者の脚が撮像された領域を構成するブロックに、ラベルが改めて付与されたオブジェクトマップの例が表されている。図１４（Ｃ）に表されたオブジェクトマップにおいてラベル３７が付与されたブロックから、歩行者の足元が撮像された領域の垂直方向下限の座標にあるブロックまで、図１５では、ラベル３７が改めて付与され（図１５における太枠内）、領域の形状が垂直方向に長くなるように修正されていることが表されている。
【００８５】
図１６には、歩行者の脚が撮像された領域を構成するブロックに、ラベルが改めて付与された場合の検出結果の例が表されている。歩行者の脚が撮像された領域を構成するブロックに、ラベル３７が改めて付与されたことにより（図１５を参照）、歩行者の足元が撮像された領域まで、枠３７が垂直方向に長くなっている。
【００８６】
以上のように、物体検出装置１００は、物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部１１０と、該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部１２１と、前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部１２２と、前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部１２３と、動きベクトル算出部１２１が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、動きベクトル算出部１２１が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部１２４と、前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部１２５と、前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、前記回帰直線が表す動き量に該ブロックの前記動き量を修正する動き量修正部１２６と、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部１２７と、ブロック検出部１２７が検出した前記ブロックが互いに隣接している領域を前記画像から抽出し、抽出した該領域を表す分布情報を出力する領域出力部１２８と、領域出力部１２８から前記分布情報と、前記画像取得部から前記画像と、を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、動きベクトル算出部１２１が算出した前記動きベクトルの相関とのうち少なくとも１つに基づいて、領域出力部１２８から取得した前記分布情報が表す前記領域を前記物体毎に分割することにより、該領域に撮像された前記物体を検出する領域分割部１４０と、を備える。
【００８７】
これにより、物体検出装置は、走行する車両等から撮像された時系列画像に撮像された物体を、回帰直線により最適化された動き量に基づいて検出するので、撮像された物体を精度良く検出することができる。
【００８８】
また、物体検出装置１００は、領域分割部１４０が分割した前記領域の形状を、領域出力部１２８が出力した前記分布情報が表す前記領域の形状に修正する領域修正部１２６を備える。これにより、物体検出装置は、オブジェクトマップにおいて分割する領域の形状を、所定周期で更新（リフレッシュ）することができる。
【００８９】
また、物体検出装置１００は、領域出力部１２８が出力した分布情報と、領域分割部１４０が分割する前記領域の分布情報とを比較し、領域出力部１２８が出力した前記分布情報と、領域分割部１４０が分割する前記領域の分布情報とが異なる場合、領域出力部１２８が出力した前記分布情報を、新たな領域の分布情報として領域分割部１４０に出力する領域生成部１３０を備える。これにより、物体検出装置は、時系列画像に新たな前景が撮像された場合、その新たな前景を表す分布情報に基づいて、撮像された物体を精度良く検出することができる。
【００９０】
また、物体検出装置１００は、領域分割部１４０が、隣接するブロック同士の動きベクトルの類似性が高くなるように動きベクトルを最適化し、該最適化した動きベクトルを動き量算出部１２２に出力し、動き量算出部１２２は、領域分割部１４０が最適化した動きベクトルに基づいて、ブロックマッチング法により動きベクトルを算出する。
【００９１】
これにより、物体検出装置は、時空間ＭＲＦモデルとブロックマッチング法とによる最適化ループにより、動きベクトルを最適化することができる。
【００９２】
また、物体検出装置１００は、人が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部１１０と、画像取得部１１０から前記画像を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、動きベクトル算出部１２１が算出した前記動きベクトルの相関とのうち、少なくとも１つに基づいて、該画像に含まれる領域を分割する領域分割部１４０と、ＨＯＧ特徴量に基づいて、前記人が撮像されている領域を該画像内で探索し、該領域を表す分布情報を出力する領域探索部１７０と、領域探索部１７０から該分布情報を取得し、取得した該分布情報に基づいて、前記人が撮像されている領域と、前記人が撮像されていない領域とに、領域分割部１４０が分割した前記領域を分けることで、該領域の形状を修正する領域修正部１５０と、を備える。
【００９３】
これにより、物体検出装置は、走行する車両から撮像された時系列画像に撮像された人を、ＨＯＧ特徴量に基づいて検出するので、撮像された人を精度良く検出することができる。
【００９４】
また、物体検出装置は、領域探索部１７０が、画像取得部１１０が取得した前記画像において、前記人が撮像されている領域が、他の画像と比較して垂直方向に短いか否かを判定し、領域修正部１５０が、前記人が撮像されている領域が他の画像と比較して垂直方向に短いと領域探索部１７０が判定した場合、垂直方向に長くなるように該領域の形状を修正する。
【００９５】
これにより、物体検出装置は、撮像された歩行者の脚の動きと背景の動きとが同期した場合でも、その歩行者の全身を検出することができる。
【００９６】
また、物体検出装置１００は、物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部１１０と、該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部１２１と、前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部１２２と、前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部１２３と、動きベクトル算出部１２１が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、動きベクトル算出部１２１が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部１２４と、前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部１２５と、前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、前記回帰直線が表す動き量に該ブロックの前記動き量を修正する動き量修正部１２６と、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部１２７と、ブロック検出部１２７が検出した前記ブロックが互いに隣接している領域を前記画像から抽出することにより、抽出した該領域に撮像された前記物体を検出する領域出力部１２８と、を備える。
【００９７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００９８】
なお、以上に説明した物体検出装置を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００９９】
１００…物体検出装置、１１０…画像取得部、１２０…領域抽出部、１２１…動きベクトル算出部、１２２…動き量算出部、１２３…回帰直線算出部、１２４…動き量差分算出部、１２５…画素値差分算出部、１２６…動き量修正部、１２７…ブロック検出部、１２８…領域出力部、１３０…領域生成部、１４０…領域分割部、１５０…領域修正部、１６０…画像表示部、１７０…領域探索部
【特許請求の範囲】
【請求項１】
物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、
該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部と、
前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部と、
前記動きベクトル算出部が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、前記動きベクトル算出部が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部と、
前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部と、
前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、該ブロックの前記動き量を、前記回帰直線が表す動き量に修正する動き量修正部と、
前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部と、
前記ブロック検出部が検出した前記ブロックが互いに隣接している領域を前記画像から抽出し、抽出した該領域を表す分布情報を出力する領域出力部と、
前記領域出力部から前記分布情報と、前記画像取得部から前記画像と、を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、前記動きベクトル算出部が算出した前記動きベクトルの相関とのうち少なくとも１つに基づいて、前記領域出力部から取得した前記分布情報が表す前記領域を前記物体毎に分割することにより、該領域に撮像された前記物体を検出する領域分割部と、
を備えることを特徴とする物体検出装置。
【請求項２】
前記領域分割部が分割した前記領域の形状を、前記領域出力部が出力した前記分布情報が表す前記領域の形状に修正する領域修正部
を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記領域出力部が出力した分布情報と、前記領域分割部が分割する前記領域の分布情報とを比較し、前記領域出力部が出力した前記分布情報と、前記領域分割部が分割する前記領域の分布情報とが異なる場合、前記領域出力部が出力した前記分布情報を、新たな領域の分布情報として前記領域分割部に出力する領域生成部
を備えることを特徴とする請求項１又は請求項２に記載の物体検出装置。
【請求項４】
前記領域分割部は、隣接する前記ブロック同士の前記動きベクトルの類似性が高くなるように前記動きベクトルを最適化し、該最適化した動きベクトルを前記動きベクトル算出部に出力し、
前記動きベクトル算出部は、前記領域分割部が最適化した動きベクトルに基づいて、ブロックマッチング法により動きベクトルを算出することを特徴とする請求項１から請求項３のいずれか１つに記載の物体検出装置。
【請求項５】
人が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、
前記画像取得部から前記画像を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、前記動きベクトル算出部が算出した前記動きベクトルの相関とのうち、少なくとも１つに基づいて、該画像に含まれる領域を分割する領域分割部と、
ＨＯＧ特徴量に基づいて、前記人が撮像されている領域を該画像内で探索し、該領域を表す分布情報を出力する領域探索部と、
前記領域探索部から該分布情報を取得し、取得した該分布情報に基づいて、前記人が撮像されている領域と、前記人が撮像されていない領域とに、前記領域分割部が分割した前記領域を分けることで、該領域の形状を修正する領域修正部と、
を備えることを特徴とする物体検出装置。
【請求項６】
前記領域探索部は、前記画像において前記人が撮像されている領域が、他の時刻に撮像された前記画像における該領域と比較して垂直方向に短いか否かを判定し、
前記領域修正部は、前記画像において前記人が撮像されている領域が、他の時刻に撮像された前記画像における該領域と比較して垂直方向に短いと前記領域探索部が判定した場合、垂直方向に長くなるように該領域の形状を修正することを特徴とする請求項５に記載の物体検出装置。
【請求項７】
物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、
該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部と、
前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部と、
前記動きベクトル算出部が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、前記動きベクトル算出部が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部と、
前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部と、
前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、該ブロックの前記動き量を、前記回帰直線が表す動き量に修正する動き量修正部と、
前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部と、
前記ブロック検出部が検出した前記ブロックが互いに隣接している領域を前記画像から抽出することにより、抽出した該領域に撮像された前記物体を検出する領域出力部と、
を備えることを特徴とする物体検出装置。
【請求項１】
物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、
該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部と、
前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部と、
前記動きベクトル算出部が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、前記動きベクトル算出部が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部と、
前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部と、
前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、該ブロックの前記動き量を、前記回帰直線が表す動き量に修正する動き量修正部と、
前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部と、
前記ブロック検出部が検出した前記ブロックが互いに隣接している領域を前記画像から抽出し、抽出した該領域を表す分布情報を出力する領域出力部と、
前記領域出力部から前記分布情報と、前記画像取得部から前記画像と、を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、前記動きベクトル算出部が算出した前記動きベクトルの相関とのうち少なくとも１つに基づいて、前記領域出力部から取得した前記分布情報が表す前記領域を前記物体毎に分割することにより、該領域に撮像された前記物体を検出する領域分割部と、
を備えることを特徴とする物体検出装置。
【請求項２】
前記領域分割部が分割した前記領域の形状を、前記領域出力部が出力した前記分布情報が表す前記領域の形状に修正する領域修正部
を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記領域出力部が出力した分布情報と、前記領域分割部が分割する前記領域の分布情報とを比較し、前記領域出力部が出力した前記分布情報と、前記領域分割部が分割する前記領域の分布情報とが異なる場合、前記領域出力部が出力した前記分布情報を、新たな領域の分布情報として前記領域分割部に出力する領域生成部
を備えることを特徴とする請求項１又は請求項２に記載の物体検出装置。
【請求項４】
前記領域分割部は、隣接する前記ブロック同士の前記動きベクトルの類似性が高くなるように前記動きベクトルを最適化し、該最適化した動きベクトルを前記動きベクトル算出部に出力し、
前記動きベクトル算出部は、前記領域分割部が最適化した動きベクトルに基づいて、ブロックマッチング法により動きベクトルを算出することを特徴とする請求項１から請求項３のいずれか１つに記載の物体検出装置。
【請求項５】
人が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、
前記画像取得部から前記画像を取得し、時間軸方向における該画像のテクスチャの相関と、時間軸方向における該画像の画素値の相関と、空間軸方向における該画像の画素値の相関と、前記動きベクトル算出部が算出した前記動きベクトルの相関とのうち、少なくとも１つに基づいて、該画像に含まれる領域を分割する領域分割部と、
ＨＯＧ特徴量に基づいて、前記人が撮像されている領域を該画像内で探索し、該領域を表す分布情報を出力する領域探索部と、
前記領域探索部から該分布情報を取得し、取得した該分布情報に基づいて、前記人が撮像されている領域と、前記人が撮像されていない領域とに、前記領域分割部が分割した前記領域を分けることで、該領域の形状を修正する領域修正部と、
を備えることを特徴とする物体検出装置。
【請求項６】
前記領域探索部は、前記画像において前記人が撮像されている領域が、他の時刻に撮像された前記画像における該領域と比較して垂直方向に短いか否かを判定し、
前記領域修正部は、前記画像において前記人が撮像されている領域が、他の時刻に撮像された前記画像における該領域と比較して垂直方向に短いと前記領域探索部が判定した場合、垂直方向に長くなるように該領域の形状を修正することを特徴とする請求項５に記載の物体検出装置。
【請求項７】
物体が撮像された画像であって、撮像された時刻が異なる複数の該画像を取得する画像取得部と、
該画像を水平方向及び垂直方向に区分するブロック毎に、水平方向及び垂直方向の少なくとも一方の方向成分について、動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルが表す動き量を前記ブロック毎に算出する動き量算出部と、
前記動き量が算出された前記方向成分について、該動き量の回帰直線を算出する回帰直線算出部と、
前記動きベクトル算出部が水平方向及び垂直方向のいずれかの方向成分についてのみ動きベクトルを算出した場合、前記動き量と前記回帰直線との差分の絶対値である動き量差分を前記ブロック毎に算出し、一方、前記動きベクトル算出部が水平方向及び垂直方向の両方の方向成分について動きベクトルを算出した場合、前記動き量と前記回帰直線との水平方向の差分の絶対値と、前記動き量と前記回帰直線との垂直方向の差分の絶対値と、を合計した値である動き量差分を前記ブロック毎に算出する動き量差分算出部と、
前記動き量差分が第１閾値以上であるか否かを前記ブロック毎に判定し、前記動き量差分が第１閾値以上である場合、該ブロックを構成する画素の画素値の合計と、前記動き量が算出された前記方向成分の方向に前記回帰直線が表す動き量だけ該ブロックを移動させた位置に在る画素の画素値の合計と、の差分の絶対値である画素値差分を算出する画素値差分算出部と、
前記画素値差分が第２閾値以下であるか否かを判定し、前記画素値差分が第２閾値以下である場合、該ブロックの前記動き量を、前記回帰直線が表す動き量に修正する動き量修正部と、
前記動き量と前記回帰直線との差分の絶対値が第３閾値以上であるか否かを前記ブロック毎に判定し、前記動き量と前記回帰直線との差分の絶対値が第３閾値以上である前記ブロックを、前記画像から検出するブロック検出部と、
前記ブロック検出部が検出した前記ブロックが互いに隣接している領域を前記画像から抽出することにより、抽出した該領域に撮像された前記物体を検出する領域出力部と、
を備えることを特徴とする物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−８４０５６（Ｐ２０１２−８４０５６Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２３１５６５（Ｐ２０１０−２３１５６５）
【出願日】平成２２年１０月１４日（２０１０．１０．１４）
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月１４日（２０１０．１０．１４）
【出願人】（８０１００００４９）財団法人生産技術研究奨励会 (72)
【Ｆターム（参考）】
[ Back to top ]