動き検出装置
【課題】測定対象物の移動方向が変化した場合であっても、これを即時に検出して測定対象物の移動速度を求めることが可能な動き検出装置を提供する。
【解決手段】特徴領域に対応する画素の投票値のうち、中央の画素にピークが存在する場合には、測定対象物の移動方向が反転したものと判断する。そして、移動方向が反転した場合には、各特徴領域に対応する画素の投票値のうち、方向変化前の影響による投票値と方向変化後の影響による投票値に分類する。そして、方向変化後の影響による投票値に基づき、これを補正して測定対象物の速度を算出する。従って、測定対象物の移動方向が変化した場合には、これを即時に認識し、測定対象物の移動速度検出に反映させることが可能となる。
【解決手段】特徴領域に対応する画素の投票値のうち、中央の画素にピークが存在する場合には、測定対象物の移動方向が反転したものと判断する。そして、移動方向が反転した場合には、各特徴領域に対応する画素の投票値のうち、方向変化前の影響による投票値と方向変化後の影響による投票値に分類する。そして、方向変化後の影響による投票値に基づき、これを補正して測定対象物の速度を算出する。従って、測定対象物の移動方向が変化した場合には、これを即時に認識し、測定対象物の移動速度検出に反映させることが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺画像を時系列的に複数撮像し、撮像した画像に含まれる対象物の動きを検出する動き検出装置に係り、特に、対象物の移動方向が変化した場合であっても対象物の動きを高精度に検出する技術に関する。
【背景技術】
【０００２】
従来における動き検出装置として例えば、特開２０１０−１４４４７４号公報（特許文献１）に記載されたものが知られている。この特許文献１では、測距センサにより測定される障害物のオプティカルフローを検出することにより、障害物の動きを検出しようとするものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２４４４７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示された従来例は、例えば、横断歩道を歩行中の歩行者が反対方向に向きを代えた場合等、測定対象物の動きの方向が変化した場合には、これを検知することができないという問題点があった。
【０００５】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、測定対象物の移動方向が変化した場合であっても、これを即時に検出して測定対象物の移動速度を求めることが可能な動き検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、車両周辺の画像を時系列的に複数撮像する撮像手段と、撮像手段にて撮像された複数の画像からそれぞれ測定対象物の特徴点を抽出する特徴抽出手段と、特徴抽出手段で抽出された特徴点の大きさを、画像の画素に対応して規格化し、規格化された特徴点を特徴領域として設定する特徴点規格化手段とを有する。更に、特徴点規格化手段にて設定された特徴領域が、前記複数の画像に含まれる各画素について、特徴領域が存在した場合に１つの投票値を付与し、更に、複数の画像に対して付与される投票値を各画素毎に積算する特徴領域投票手段と、特徴領域の、中央に存在する画素である内部画素の投票値と、この内部画素周辺の画素の投票値を比較し、内部画素に最大投票値が存在するか否かを判断する投票値比較手段と、投票値評価手段による比較結果に基づいて、特徴領域に対応する各画素の投票値を補正する投票値補正手段と、特徴領域に対応する各画素の補正後の投票値に基づいて、特徴領域の移動速度を算出する移動速度算出手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明に係る動き検出装置では、特徴領域に対応する画素の投票値の増減に基づいて、測定対象物の移動方向が変化しているか否かを判断し、移動方向が変化していると判断された場合には、各特徴領域に対応する画素の投票値のうち、方向変化前の影響による投票値と方向変化後の影響による投票値に分類する。そして、方向変化後の影響による投票値に基づき、これを補正して測定対象物の速度を算出する。従って、測定対象物の移動方向が変化した場合には、これを即時に認識し、測定対象物の移動速度検出に反映させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【図２】測定対象物が等速で移動している場合の、各画素の投票値の変化を示す説明図である。
【図３】測定対象物の移動方向が反転した場合の、各画素の投票値の変化を示す説明図である。
【図４】測定対象物の移動方向が反転した場合の、各画素の投票値の変化を示す説明図である。
【図５】測定対象物の移動方向が反転した場合の、各画素の投票値の補正手順を示す説明図である。
【図６】本発明の一実施形態に係る動き検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【００１０】
図１に示すように、この動き検出装置１００は、車両に搭載して車両外部に存在する測定対象物（例えば、歩行者）の動きを検出するものであり、車両外部に存在する測定対象物を撮像する撮像部（撮像手段）１１と、該撮像部１１で撮像された映像から特徴点を抽出する特徴抽出部（特徴抽出手段）１２と、特徴点を規格化して特徴領域を設定する特徴規格部（特徴点規格化手段）１３と、特徴領域が存在する画素に投票値を加算する特徴投票部（特徴領域投票手段）１４と、各画素の投票値を評価する投票値比較部（投票値比較手段）１５と、評価結果に基づいて投票値を補正する投票値補正部（投票値補正手段）１６と、補正後の投票値に基づいて測定対象物の速度を求める速度算出部（移動速度算出手段）１７と、を備えている。
【００１１】
撮像部１１は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子によって構成され、車両周囲の画像を時系列的に撮像する。例えば、３０［フレーム／秒］の一定の間隔で周囲の画像を撮像し、撮像した画像データを特徴抽出部１２に出力する。
【００１２】
特徴抽出部１２は、撮像部１１で撮像された画像を取得し、この画像を画像処理して動き検出の対象となる対象物（例えば、歩行者）の特徴点を抽出する。特徴点は、例えば画像の濃淡が急激に変化する点であり、対象物のエッジ等である。また、特徴点の抽出方法としては、測定対象物のエッジを検出して特徴点とするエッジ検出フィルタ、測定対象物のコーナエッジを検出して特徴点とするコーナエッジ検出フィルタ、或いは測定対象物の形状特徴成分を特徴点として抽出する手法等を採用することができる。
【００１３】
特徴規格化部１３は、特徴抽出部１２にて抽出された特徴点を基準として、特徴領域の大きさを規格化する。例えば、特徴点を含む周囲の９画素を特徴領域として規格化する。従って、特徴抽出部１２で抽出された特徴点を含む特徴領域が一定の大きさとなるように設定されることになる。
【００１４】
特徴投票部１４は、特徴規格化部１３により規格化された特徴領域が検出された位置に対応する画素の投票値を積算する処理、及び、特徴領域が検出されなくなった位置に対応する画素の投票値をリセットする処理を実行する。詳細については、後述する。
【００１５】
投票値比較部１５は、特徴投票部１４で投票された投票値の積算値に基づいて、測定対象物の移動方向が変化したか否かを判断する。詳細には、特徴領域に対応する画素の、周囲以外に存在する画素（例えば、中央の画素）に投票値のピーク（最大投票値）が存在する場合には、測定対象物の移動方向が変化しているものと判断する。
【００１６】
投票値補正部１６は、投票値比較部１５にて測定対象物の移動方向が変化しているものと判断された場合には、特徴領域に対応する各画素の投票値を、方向変化前の影響による投票値と方向変化後の影響による投票値に分類し、方向変化後の影響による投票値に基づいて、各画素の投票値を補正する。具体的には、後述するように、測定対象物の移動方向が変化した場合には、移動方向変化前の影響による投票値をリセットし（後述の図５のＡ２に示す投票値を削除）、移動方向変化後の移動元となる特徴領域に対応する画素の補正値を加算する（後述の図５のｑ１，ｑ２を加算する）。そして、この補正値は、移動元側の方が大きくなるように設定する。詳細については後述する。
【００１７】
速度算出部１７は、特徴投票部１４で投票された投票値に基づいて測定対象物の移動速度を算出すると共に、測定対象物の移動方向が変化した場合には、投票値補正部１６で補正された各画素の投票値に基づき、各画素の投票値の変化から特徴領域（測定対象物）の移動速度を算出する。
【００１８】
次に、測定対象物が等速で移動する場合、及び移動方向が変化する場合における特徴投票部１４、投票値比較部１５、及び投票値補正部１６による処理を、図２〜図５を参照して説明する。
【００１９】
［対象物が等速で移動する場合］
図２（ａ）〜（ｃ）に示す各マスは、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。図２の例では、説明を簡単にするため特徴領域を３つの画素としている。また、撮像部１１は、時刻ｔ１，ｔ２，ｔ３，・・・の順に所定の時間間隔で時系列的に周囲画像を撮像するものとする。
【００２０】
そして、撮像部１１で撮像される画像中の、左側から右側に向けて等速で移動する測定対象物が存在すると、図２（ａ）に示すように、時刻ｔ１，ｔ２において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図２（ｂ）に示すように、時刻ｔ３，ｔ４において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、図２（ｃ）に示すように、時刻ｔ５，ｔ６において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出される。換言すれば、時刻ｔ１，ｔ２の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ３，ｔ４の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ５，ｔ６の間は特徴領域は画素Ｐ３〜Ｐ５に停滞する。
【００２１】
そして、図１に示した特徴投票部では、各画素に対し特徴領域が停滞した回数分の投票値を付与し、この投票値を積算する。従って、画素Ｐ１〜Ｐ３には、図２（ａ）に示すように時刻ｔ１，ｔ２の２画像分の投票値が付与されるので、それぞれ投票値は「２」となる。次いで、図２（ｂ）に示すように時刻ｔ３，ｔ４では、画素Ｐ２〜Ｐ４に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「４」「４」「２」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図２（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００２２】
更に、図２（ｃ）に示すように時刻ｔ５，ｔ６では、画素Ｐ３〜Ｐ５に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「６」「４」「２」となる。また、画素Ｐ２の投票値はリセットされるので「０」となる。
【００２３】
その後、測定対象物が等速で移動する場合には、この状況が継続されるので、投票値が「６」「４」「２」となる画素が左側から右側に順次移動することになる。そして、速度算出部１７は、この傾斜（変化）に基づいて測定対象物の速度を求めることができる。具体的には、左端の投票値である「６」と右端の投票値である「２」の差分を求め、この差分である「４」の逆数が速度に対応する数値となるので、この数値に基づいて対象物の速度を求める。
【００２４】
［対象物が移動方向を反転する場合］
次に、図３，図４を参照して、測定対象物の移動方向が反転した場合について説明する。図３（ａ）〜（ｃ）、図４（ａ），（ｂ）に示す各マスは、前述と同様に、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。図３，図４の例では、説明を簡単にするため特徴領域を３つの画素としている。また、撮像部１１は、時刻ｔ１，ｔ２，ｔ３，・・・の順に所定の時間間隔で時系列的に周囲画像を撮像するものとする。
【００２５】
そして、撮像部１１で撮像される画像中の、左側から右側に向けて移動する測定対象物が存在すると、図３（ａ）に示すように、時刻ｔ１，ｔ２において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図３（ｂ）に示すように、時刻ｔ３，ｔ４において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、図３（ｃ）に示すように、時刻ｔ５，ｔ６において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出される。
【００２６】
更に、測定対象物が移動方向を反転する場合には、該測定対象物の特徴領域は一時的に停滞するので、図４（ｄ）に示すように、時刻ｔ７，ｔ８において、Ｐ３〜Ｐ５に示す画素にて検出される。その後、測定対象物は左方向に移動するので、図４（ｅ）に示すように、時刻ｔ９において、Ｐ２〜Ｐ４に示す画素で検出される。
【００２７】
換言すれば、時刻ｔ１，ｔ２の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ３，ｔ４の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ５，ｔ６の間及び時刻ｔ７，ｔ８の間は特徴領域は画素Ｐ３〜Ｐ５に停滞し、時刻ｔ９の間は特徴領域は画素Ｐ２〜Ｐ４に停滞する。
【００２８】
そして、図１に示した特徴投票部１４では、各画素に対し特徴領域が停滞した回数分の投票値を付与し、この投票値を積算する。従って、画素Ｐ１〜Ｐ３には、図３（ａ）に示すように時刻ｔ１，ｔ２の２画像分の投票値が付与されるので、それぞれ投票値は「２」となる。次いで、図３（ｂ）に示すように時刻ｔ３，ｔ４では、画素Ｐ２〜Ｐ４に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「４」「４」「２」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図３（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００２９】
更に、図３（ｃ）に示すように時刻ｔ５，ｔ６では、画素Ｐ３〜Ｐ５に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「６」「４」「２」となる。また、画素Ｐ２の投票値はリセットされるので「０」となる。
【００３０】
その後、図４（ｄ）に示すように時刻ｔ７，ｔ８では、画素Ｐ３〜Ｐ５に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「８」「６」「４」となる。また、図４（ｅ）に示すように時刻ｔ９では、画素Ｐ２〜Ｐ４に対して、１画像分の投票値が付与されるので、それぞれに投票値「１」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「１」「９」「７」となる。また、画素Ｐ５の投票値はリセットされるので「０」となる。
【００３１】
そして、速度算出部１７は、投票値の傾斜（変化）に基づいて測定対象物の速度を求める。具体的には、測定対象物は右側から左側に移動するので、右端の投票値である「７」と左端の投票値である「１」の差分を求め、この差分の逆数が速度に対応する数値となるので、この数値に基づいて測定対象物の速度を求める。この際、「７」と「１」の差分は「６」であり、実際の移動速度を反映した数値となっていない。即ち、測定対象物が移動方向を反転させたことにより、投票値のピーク（最大投票値）が中央の画素（図４（ｅ）の例では画素Ｐ３）に来ているので、移動方向が反転（変化）した直後においては正確な速度検出ができないことになる。
【００３２】
本実施形態では、図１に示した投票値比較部１５、及び投票値補正部１６により、測定対象物の実際の速度が反映するように投票値を補正する。以下、投票値を補正する処理について、図５を参照して説明する。
【００３３】
図５は、３画素分の特徴領域の投票値の変化を模式的に示す説明図であり、図５（ａ）は測定対象物（特徴領域）が方向反転のため、停滞している場合を示している。即ち、図４（ｅ）に示す状態を示している。また、図５（ｂ）は、測定対象物が方向を反転し、反転した方向に移動を開始した場合を示し、図５（ｃ），（ｄ）は投票値を補正する様子を示している。また、図５（ａ）〜（ｄ）に示すマスは、積算された投票値を示している。
【００３４】
図５（ａ）に示すように、測定対象物が等速で右方向に移動し、その後方向を反転するために停滞した場合には、３つの特徴領域Ｑ１〜Ｑ３の投票値は前述した図４（ｄ）にて示したようにそれぞれ「８」「６」「４」となる。また、図５（ｂ）に示すように、測定対象物が反転した方向に移動を開始した場合には、３つの特徴領域Ｑ１〜Ｑ３の投票値は図４（ｅ）に示したようにそれぞれ「１」「９」「７」となる。
【００３５】
そして、投票値比較部１５は、各特徴領域Ｑ１〜Ｑ３の投票値の変化に基づいて、測定対象物の移動方向が反転しているか否かを判断する。具体的には、３つの特徴領域のうち中央の特徴領域に投票値のピークが存在する場合には、この特徴領域は移動方向を反転しているものと判断する。図５に示す例では、同図（ｂ）に示すように、３つの特徴領域Ｑ１〜Ｑ３の投票値はそれぞれ「１」「９」「７」であり、中央の特徴領域Ｑ２（内部画素）にピークが存在するので、この特徴領域、即ち、移動対象物は移動方向が反転したものと判断する。この場合は、右側への移動から、左側への移動に反転したものと判断する。
【００３６】
そして、投票値補正部１６は、測定対象物の移動方向が反転していると判断された場合には、反転後の影響による投票値の増加分に基づいて、各特徴領域Ｑ１〜Ｑ３の投票値を補正する。
【００３７】
以下、具体的に説明すると、測定対象物の移動方向が反転したことにより、各特徴領域Ｑ１〜Ｑ３の投票値は、特徴領域が停滞した分と、反対方向に移動した分が加算されたことになる。即ち、図４（ｄ）に示したように、方向反転時に特徴領域が停滞したことにより投票値「２」が加算され、更に、図４（ｅ）に示したように、反対方向に移動したことにより投票値「１」が加算される。従って、図５（ａ）のＡ１及び同図（ｂ）のＡ２に示す投票値は、方向反転前（方向変化前）の影響による投票値であり、それ以外の投票値が方向反転後（方向変化後）の影響による投票値ということになる。
【００３８】
投票値補正部１６は、図５（ｃ）に示すように方向反転前の影響による投票値を削除し、更に、方向反転後の影響による投票値に基づいて、各特徴領域Ｑ１〜Ｑ３の投票値を補正する。具体的には、図５（ｄ）に示すように、特徴領域Ｑ２とＱ１の投票値の差分を算出し、この差分、即ち「２」を特徴領域Ｑ３の投票値に加算する。その結果、図５（ｄ）に示すように、特徴領域Ｑ３の投票値に、符号ｑ１，ｑ２に示す投票値が加算されることになり、速度算出部１７では、特徴領域Ｑ３とＱ１の差分に基づいて、測定対象物の速度を算出するので、実際の速度を反映した速度の算出が可能となる。
【００３９】
即ち、投票値補正部１６により補正された投票値を採用して速度を求めることにより、測定対象物の移動方向が反転した場合であっても、この速度を正確に求めることが可能となる。なお、図５（ｄ）に示す例では、特徴領域が３画素である場合を例に示しているので、最も右側（移動元）の特徴領域Ｑ３の投票値に２つ分の補正値（ｑ１，ｑ２）を加算しているが、特徴領域がより多くの画素を有する場合には、移動元となる特徴領域（図中右側）により多くの補正値を加算して投票値を補正すれば良い。
【００４０】
［処理手順の説明］
次に、上述のように構成された本実施形態に係る動き検出装置の処理動作を図６に示すフローチャートを参照して説明する。
【００４１】
初めに、ステップＳ１１において、撮像部１１は、車両の周辺画像を時系列的に撮像し、撮像した画像データを出力する。ステップＳ１２において、特徴抽出部１２は、取得した画像についてエッジ検出を行う。更に、ステップＳ１３において、エッジの画素を２５５とし、エッジ以外の画素を０とする処理、即ち２値化処理を実行する。ステップＳ１４において、特徴抽出部１２は、エッジ幅が１画素となるように細線化する。
【００４２】
更に、ステップＳ１５において、特徴規格化部１３は、エッジ幅が均一となるように膨張させ、エッジ幅を規格化する。この処理では、エッジ幅を例えば３画素とする。このエッジ幅が特徴領域に対応する。
【００４３】
ステップＳ１６において、特徴投票部１４は、エッジに該当する画素の投票値に「１」を加算し、エッジに該当しない画素の投票値をリセットする。
【００４４】
ステップＳ１７において、投票値比較部１５は、エッジに該当する領域を特徴領域とし、該特徴領域に対応する画素の投票値を参照して、特徴領域の中心となる画素の投票値とこの中心画素に隣接する画素の投票値を比較し、中心画素にピーク値が存在するか否かを判断する。そして、中心画素にピーク値が存在する場合には測定対象物が移動方向を反転したものと判断してステップＳ１８に処理を進め、中心画素にピークが存在しない場合には移動方向は反転していないものと判断してステップＳ２２に処理を進める。
【００４５】
ステップＳ１８において、投票値補正部１６は、特徴領域に対応する画素の投票値を、方向反転前の影響による投票値と、方向反転後の影響による投票値とに分類する。即ち、前述した図５で示したように、方向反転前の影響による投票値（Ａ１，Ａ２）と、方向反転後の影響による投票値（Ａ１，Ａ２以外）とに分類する。
【００４６】
ステップＳ２０において、投票値補正部１６は、方向反転前の影響による投票値をクリアする。即ち、図５（ｃ）に示したように、方向反転前の影響による投票値を削除して方向反転後の影響による投票値のみとする。
【００４７】
ステップＳ１９において、投票値補正部１６は、方向反転後の影響による投票値に基づいて、各特徴領域に対応する画素の投票値を補正し、更に速度算出部１７は、補正後投票値に基づいて、測定対象物の速度を算出する。即ち、図５（ｄ）にて示したように、特徴領域Ｑ３の投票値にｑ１，ｑ２を加算する補正を行い、補正後の投票値に基づいて速度を算出する。
【００４８】
ステップＳ２１において、特徴投票部１４は、反転後の移動方向に対して投票値を加算する処理を行う。
【００４９】
ステップＳ２２において、速度算出部１７は、ステップＳ２１の処理で求められた投票値、或いはステップＳ１６の処理で投票された投票値に基づいて、測定対象物の速度を算出する。
【００５０】
ステップＳ２３において、速度算出部１７は、全てのエッジについて速度を算出したか否かを判定し、算出していなければ（ステップＳ２３でＮＯ）、ステップＳ１７に処理を戻し、算出していれば（ステップＳ２３でＹＥＳ）、ステップＳ２４に処理を進める。
【００５１】
ステップＳ２４において、イグニッションがオフであるか否かを判断し、オフでなければ（ステップＳ２４でＮＯ）、ステップＳ１１に処理を戻し、オフであれば（ステップＳ２４でＹＥＳ）、本処理を終了する。
【００５２】
このようにして、本実施形態に係る動き検出装置では、各特徴領域の投票値に基づいて、測定対象物の移動方向が変化したか否かを判断し、移動方向が変化していると判断された場合には、各画素の投票値を方向変化前の影響による投票値と、方向変化後の影響による投票値に分類し、このうち方向変化後の影響による投票値を用いて、各特徴領域に対応する画素の投票値を補正する。
【００５３】
そして、補正後の投票値に基づいて、方向変化後の移動速度を算出する。従って、方向変化前の投票値の影響を受けることが無いので、方向変化をいち早く検出し、更に方向変化後の移動速度を高精度に求めることが可能となる。
【００５４】
更に、測定対象物の特徴抽出の手法として、コーナエッジ成分を検出することにより、高精度な特徴点の検出が可能となり、特徴領域の移動状況を確実に認識することが可能となる。また、他の手法として測定対象物の形状特徴成分、例えば、歩行者の頭部や眼等を抽出して特徴領域とすることにより、特徴領域の移動状況を高精度に認識することが可能となる。
【００５５】
以上、本発明の動き検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【００５６】
例えば、上述した実施形態では、測定対象物の移動方向が反転した場合を検出する例について説明したが、本発明は、移動方向の反転に限定されるものではなく、移動方向が変化した場合について適用することができる。また、上述した実施形態では、３つの特徴領域のうち、中央の特徴領域にピークが存在する場合に、測定対象物の方向が変化しているものと判断する例について説明したが、特徴領域は、３画素に限定されるものでなく、４画素以上とすることも可能である。この場合、特徴領域の周辺以外の画素にピークが存在する場合に、測定対象物の移動方向が変化したものと判断して、上記の補正処理を行うことができる。
【産業上の利用可能性】
【００５７】
本発明は、測定対象物が移動方向を変化させた場合であっても対象物の動きを高精度に検出することに利用することができる。
【符号の説明】
【００５８】
１１ 撮像部
１２ 特徴抽出部
１３ 特徴規格化部
１４ 特徴投票部
１５ 投票値比較部
１６ 投票値補正部
１７ 速度算出部
１００ 動き検出装置
【技術分野】
【０００１】
本発明は、車両の周辺画像を時系列的に複数撮像し、撮像した画像に含まれる対象物の動きを検出する動き検出装置に係り、特に、対象物の移動方向が変化した場合であっても対象物の動きを高精度に検出する技術に関する。
【背景技術】
【０００２】
従来における動き検出装置として例えば、特開２０１０−１４４４７４号公報（特許文献１）に記載されたものが知られている。この特許文献１では、測距センサにより測定される障害物のオプティカルフローを検出することにより、障害物の動きを検出しようとするものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２４４４７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示された従来例は、例えば、横断歩道を歩行中の歩行者が反対方向に向きを代えた場合等、測定対象物の動きの方向が変化した場合には、これを検知することができないという問題点があった。
【０００５】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、測定対象物の移動方向が変化した場合であっても、これを即時に検出して測定対象物の移動速度を求めることが可能な動き検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、車両周辺の画像を時系列的に複数撮像する撮像手段と、撮像手段にて撮像された複数の画像からそれぞれ測定対象物の特徴点を抽出する特徴抽出手段と、特徴抽出手段で抽出された特徴点の大きさを、画像の画素に対応して規格化し、規格化された特徴点を特徴領域として設定する特徴点規格化手段とを有する。更に、特徴点規格化手段にて設定された特徴領域が、前記複数の画像に含まれる各画素について、特徴領域が存在した場合に１つの投票値を付与し、更に、複数の画像に対して付与される投票値を各画素毎に積算する特徴領域投票手段と、特徴領域の、中央に存在する画素である内部画素の投票値と、この内部画素周辺の画素の投票値を比較し、内部画素に最大投票値が存在するか否かを判断する投票値比較手段と、投票値評価手段による比較結果に基づいて、特徴領域に対応する各画素の投票値を補正する投票値補正手段と、特徴領域に対応する各画素の補正後の投票値に基づいて、特徴領域の移動速度を算出する移動速度算出手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明に係る動き検出装置では、特徴領域に対応する画素の投票値の増減に基づいて、測定対象物の移動方向が変化しているか否かを判断し、移動方向が変化していると判断された場合には、各特徴領域に対応する画素の投票値のうち、方向変化前の影響による投票値と方向変化後の影響による投票値に分類する。そして、方向変化後の影響による投票値に基づき、これを補正して測定対象物の速度を算出する。従って、測定対象物の移動方向が変化した場合には、これを即時に認識し、測定対象物の移動速度検出に反映させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【図２】測定対象物が等速で移動している場合の、各画素の投票値の変化を示す説明図である。
【図３】測定対象物の移動方向が反転した場合の、各画素の投票値の変化を示す説明図である。
【図４】測定対象物の移動方向が反転した場合の、各画素の投票値の変化を示す説明図である。
【図５】測定対象物の移動方向が反転した場合の、各画素の投票値の補正手順を示す説明図である。
【図６】本発明の一実施形態に係る動き検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【００１０】
図１に示すように、この動き検出装置１００は、車両に搭載して車両外部に存在する測定対象物（例えば、歩行者）の動きを検出するものであり、車両外部に存在する測定対象物を撮像する撮像部（撮像手段）１１と、該撮像部１１で撮像された映像から特徴点を抽出する特徴抽出部（特徴抽出手段）１２と、特徴点を規格化して特徴領域を設定する特徴規格部（特徴点規格化手段）１３と、特徴領域が存在する画素に投票値を加算する特徴投票部（特徴領域投票手段）１４と、各画素の投票値を評価する投票値比較部（投票値比較手段）１５と、評価結果に基づいて投票値を補正する投票値補正部（投票値補正手段）１６と、補正後の投票値に基づいて測定対象物の速度を求める速度算出部（移動速度算出手段）１７と、を備えている。
【００１１】
撮像部１１は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子によって構成され、車両周囲の画像を時系列的に撮像する。例えば、３０［フレーム／秒］の一定の間隔で周囲の画像を撮像し、撮像した画像データを特徴抽出部１２に出力する。
【００１２】
特徴抽出部１２は、撮像部１１で撮像された画像を取得し、この画像を画像処理して動き検出の対象となる対象物（例えば、歩行者）の特徴点を抽出する。特徴点は、例えば画像の濃淡が急激に変化する点であり、対象物のエッジ等である。また、特徴点の抽出方法としては、測定対象物のエッジを検出して特徴点とするエッジ検出フィルタ、測定対象物のコーナエッジを検出して特徴点とするコーナエッジ検出フィルタ、或いは測定対象物の形状特徴成分を特徴点として抽出する手法等を採用することができる。
【００１３】
特徴規格化部１３は、特徴抽出部１２にて抽出された特徴点を基準として、特徴領域の大きさを規格化する。例えば、特徴点を含む周囲の９画素を特徴領域として規格化する。従って、特徴抽出部１２で抽出された特徴点を含む特徴領域が一定の大きさとなるように設定されることになる。
【００１４】
特徴投票部１４は、特徴規格化部１３により規格化された特徴領域が検出された位置に対応する画素の投票値を積算する処理、及び、特徴領域が検出されなくなった位置に対応する画素の投票値をリセットする処理を実行する。詳細については、後述する。
【００１５】
投票値比較部１５は、特徴投票部１４で投票された投票値の積算値に基づいて、測定対象物の移動方向が変化したか否かを判断する。詳細には、特徴領域に対応する画素の、周囲以外に存在する画素（例えば、中央の画素）に投票値のピーク（最大投票値）が存在する場合には、測定対象物の移動方向が変化しているものと判断する。
【００１６】
投票値補正部１６は、投票値比較部１５にて測定対象物の移動方向が変化しているものと判断された場合には、特徴領域に対応する各画素の投票値を、方向変化前の影響による投票値と方向変化後の影響による投票値に分類し、方向変化後の影響による投票値に基づいて、各画素の投票値を補正する。具体的には、後述するように、測定対象物の移動方向が変化した場合には、移動方向変化前の影響による投票値をリセットし（後述の図５のＡ２に示す投票値を削除）、移動方向変化後の移動元となる特徴領域に対応する画素の補正値を加算する（後述の図５のｑ１，ｑ２を加算する）。そして、この補正値は、移動元側の方が大きくなるように設定する。詳細については後述する。
【００１７】
速度算出部１７は、特徴投票部１４で投票された投票値に基づいて測定対象物の移動速度を算出すると共に、測定対象物の移動方向が変化した場合には、投票値補正部１６で補正された各画素の投票値に基づき、各画素の投票値の変化から特徴領域（測定対象物）の移動速度を算出する。
【００１８】
次に、測定対象物が等速で移動する場合、及び移動方向が変化する場合における特徴投票部１４、投票値比較部１５、及び投票値補正部１６による処理を、図２〜図５を参照して説明する。
【００１９】
［対象物が等速で移動する場合］
図２（ａ）〜（ｃ）に示す各マスは、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。図２の例では、説明を簡単にするため特徴領域を３つの画素としている。また、撮像部１１は、時刻ｔ１，ｔ２，ｔ３，・・・の順に所定の時間間隔で時系列的に周囲画像を撮像するものとする。
【００２０】
そして、撮像部１１で撮像される画像中の、左側から右側に向けて等速で移動する測定対象物が存在すると、図２（ａ）に示すように、時刻ｔ１，ｔ２において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図２（ｂ）に示すように、時刻ｔ３，ｔ４において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、図２（ｃ）に示すように、時刻ｔ５，ｔ６において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出される。換言すれば、時刻ｔ１，ｔ２の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ３，ｔ４の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ５，ｔ６の間は特徴領域は画素Ｐ３〜Ｐ５に停滞する。
【００２１】
そして、図１に示した特徴投票部では、各画素に対し特徴領域が停滞した回数分の投票値を付与し、この投票値を積算する。従って、画素Ｐ１〜Ｐ３には、図２（ａ）に示すように時刻ｔ１，ｔ２の２画像分の投票値が付与されるので、それぞれ投票値は「２」となる。次いで、図２（ｂ）に示すように時刻ｔ３，ｔ４では、画素Ｐ２〜Ｐ４に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「４」「４」「２」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図２（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００２２】
更に、図２（ｃ）に示すように時刻ｔ５，ｔ６では、画素Ｐ３〜Ｐ５に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「６」「４」「２」となる。また、画素Ｐ２の投票値はリセットされるので「０」となる。
【００２３】
その後、測定対象物が等速で移動する場合には、この状況が継続されるので、投票値が「６」「４」「２」となる画素が左側から右側に順次移動することになる。そして、速度算出部１７は、この傾斜（変化）に基づいて測定対象物の速度を求めることができる。具体的には、左端の投票値である「６」と右端の投票値である「２」の差分を求め、この差分である「４」の逆数が速度に対応する数値となるので、この数値に基づいて対象物の速度を求める。
【００２４】
［対象物が移動方向を反転する場合］
次に、図３，図４を参照して、測定対象物の移動方向が反転した場合について説明する。図３（ａ）〜（ｃ）、図４（ａ），（ｂ）に示す各マスは、前述と同様に、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。図３，図４の例では、説明を簡単にするため特徴領域を３つの画素としている。また、撮像部１１は、時刻ｔ１，ｔ２，ｔ３，・・・の順に所定の時間間隔で時系列的に周囲画像を撮像するものとする。
【００２５】
そして、撮像部１１で撮像される画像中の、左側から右側に向けて移動する測定対象物が存在すると、図３（ａ）に示すように、時刻ｔ１，ｔ２において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図３（ｂ）に示すように、時刻ｔ３，ｔ４において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、図３（ｃ）に示すように、時刻ｔ５，ｔ６において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出される。
【００２６】
更に、測定対象物が移動方向を反転する場合には、該測定対象物の特徴領域は一時的に停滞するので、図４（ｄ）に示すように、時刻ｔ７，ｔ８において、Ｐ３〜Ｐ５に示す画素にて検出される。その後、測定対象物は左方向に移動するので、図４（ｅ）に示すように、時刻ｔ９において、Ｐ２〜Ｐ４に示す画素で検出される。
【００２７】
換言すれば、時刻ｔ１，ｔ２の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ３，ｔ４の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ５，ｔ６の間及び時刻ｔ７，ｔ８の間は特徴領域は画素Ｐ３〜Ｐ５に停滞し、時刻ｔ９の間は特徴領域は画素Ｐ２〜Ｐ４に停滞する。
【００２８】
そして、図１に示した特徴投票部１４では、各画素に対し特徴領域が停滞した回数分の投票値を付与し、この投票値を積算する。従って、画素Ｐ１〜Ｐ３には、図３（ａ）に示すように時刻ｔ１，ｔ２の２画像分の投票値が付与されるので、それぞれ投票値は「２」となる。次いで、図３（ｂ）に示すように時刻ｔ３，ｔ４では、画素Ｐ２〜Ｐ４に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「４」「４」「２」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図３（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００２９】
更に、図３（ｃ）に示すように時刻ｔ５，ｔ６では、画素Ｐ３〜Ｐ５に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「６」「４」「２」となる。また、画素Ｐ２の投票値はリセットされるので「０」となる。
【００３０】
その後、図４（ｄ）に示すように時刻ｔ７，ｔ８では、画素Ｐ３〜Ｐ５に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「８」「６」「４」となる。また、図４（ｅ）に示すように時刻ｔ９では、画素Ｐ２〜Ｐ４に対して、１画像分の投票値が付与されるので、それぞれに投票値「１」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「１」「９」「７」となる。また、画素Ｐ５の投票値はリセットされるので「０」となる。
【００３１】
そして、速度算出部１７は、投票値の傾斜（変化）に基づいて測定対象物の速度を求める。具体的には、測定対象物は右側から左側に移動するので、右端の投票値である「７」と左端の投票値である「１」の差分を求め、この差分の逆数が速度に対応する数値となるので、この数値に基づいて測定対象物の速度を求める。この際、「７」と「１」の差分は「６」であり、実際の移動速度を反映した数値となっていない。即ち、測定対象物が移動方向を反転させたことにより、投票値のピーク（最大投票値）が中央の画素（図４（ｅ）の例では画素Ｐ３）に来ているので、移動方向が反転（変化）した直後においては正確な速度検出ができないことになる。
【００３２】
本実施形態では、図１に示した投票値比較部１５、及び投票値補正部１６により、測定対象物の実際の速度が反映するように投票値を補正する。以下、投票値を補正する処理について、図５を参照して説明する。
【００３３】
図５は、３画素分の特徴領域の投票値の変化を模式的に示す説明図であり、図５（ａ）は測定対象物（特徴領域）が方向反転のため、停滞している場合を示している。即ち、図４（ｅ）に示す状態を示している。また、図５（ｂ）は、測定対象物が方向を反転し、反転した方向に移動を開始した場合を示し、図５（ｃ），（ｄ）は投票値を補正する様子を示している。また、図５（ａ）〜（ｄ）に示すマスは、積算された投票値を示している。
【００３４】
図５（ａ）に示すように、測定対象物が等速で右方向に移動し、その後方向を反転するために停滞した場合には、３つの特徴領域Ｑ１〜Ｑ３の投票値は前述した図４（ｄ）にて示したようにそれぞれ「８」「６」「４」となる。また、図５（ｂ）に示すように、測定対象物が反転した方向に移動を開始した場合には、３つの特徴領域Ｑ１〜Ｑ３の投票値は図４（ｅ）に示したようにそれぞれ「１」「９」「７」となる。
【００３５】
そして、投票値比較部１５は、各特徴領域Ｑ１〜Ｑ３の投票値の変化に基づいて、測定対象物の移動方向が反転しているか否かを判断する。具体的には、３つの特徴領域のうち中央の特徴領域に投票値のピークが存在する場合には、この特徴領域は移動方向を反転しているものと判断する。図５に示す例では、同図（ｂ）に示すように、３つの特徴領域Ｑ１〜Ｑ３の投票値はそれぞれ「１」「９」「７」であり、中央の特徴領域Ｑ２（内部画素）にピークが存在するので、この特徴領域、即ち、移動対象物は移動方向が反転したものと判断する。この場合は、右側への移動から、左側への移動に反転したものと判断する。
【００３６】
そして、投票値補正部１６は、測定対象物の移動方向が反転していると判断された場合には、反転後の影響による投票値の増加分に基づいて、各特徴領域Ｑ１〜Ｑ３の投票値を補正する。
【００３７】
以下、具体的に説明すると、測定対象物の移動方向が反転したことにより、各特徴領域Ｑ１〜Ｑ３の投票値は、特徴領域が停滞した分と、反対方向に移動した分が加算されたことになる。即ち、図４（ｄ）に示したように、方向反転時に特徴領域が停滞したことにより投票値「２」が加算され、更に、図４（ｅ）に示したように、反対方向に移動したことにより投票値「１」が加算される。従って、図５（ａ）のＡ１及び同図（ｂ）のＡ２に示す投票値は、方向反転前（方向変化前）の影響による投票値であり、それ以外の投票値が方向反転後（方向変化後）の影響による投票値ということになる。
【００３８】
投票値補正部１６は、図５（ｃ）に示すように方向反転前の影響による投票値を削除し、更に、方向反転後の影響による投票値に基づいて、各特徴領域Ｑ１〜Ｑ３の投票値を補正する。具体的には、図５（ｄ）に示すように、特徴領域Ｑ２とＱ１の投票値の差分を算出し、この差分、即ち「２」を特徴領域Ｑ３の投票値に加算する。その結果、図５（ｄ）に示すように、特徴領域Ｑ３の投票値に、符号ｑ１，ｑ２に示す投票値が加算されることになり、速度算出部１７では、特徴領域Ｑ３とＱ１の差分に基づいて、測定対象物の速度を算出するので、実際の速度を反映した速度の算出が可能となる。
【００３９】
即ち、投票値補正部１６により補正された投票値を採用して速度を求めることにより、測定対象物の移動方向が反転した場合であっても、この速度を正確に求めることが可能となる。なお、図５（ｄ）に示す例では、特徴領域が３画素である場合を例に示しているので、最も右側（移動元）の特徴領域Ｑ３の投票値に２つ分の補正値（ｑ１，ｑ２）を加算しているが、特徴領域がより多くの画素を有する場合には、移動元となる特徴領域（図中右側）により多くの補正値を加算して投票値を補正すれば良い。
【００４０】
［処理手順の説明］
次に、上述のように構成された本実施形態に係る動き検出装置の処理動作を図６に示すフローチャートを参照して説明する。
【００４１】
初めに、ステップＳ１１において、撮像部１１は、車両の周辺画像を時系列的に撮像し、撮像した画像データを出力する。ステップＳ１２において、特徴抽出部１２は、取得した画像についてエッジ検出を行う。更に、ステップＳ１３において、エッジの画素を２５５とし、エッジ以外の画素を０とする処理、即ち２値化処理を実行する。ステップＳ１４において、特徴抽出部１２は、エッジ幅が１画素となるように細線化する。
【００４２】
更に、ステップＳ１５において、特徴規格化部１３は、エッジ幅が均一となるように膨張させ、エッジ幅を規格化する。この処理では、エッジ幅を例えば３画素とする。このエッジ幅が特徴領域に対応する。
【００４３】
ステップＳ１６において、特徴投票部１４は、エッジに該当する画素の投票値に「１」を加算し、エッジに該当しない画素の投票値をリセットする。
【００４４】
ステップＳ１７において、投票値比較部１５は、エッジに該当する領域を特徴領域とし、該特徴領域に対応する画素の投票値を参照して、特徴領域の中心となる画素の投票値とこの中心画素に隣接する画素の投票値を比較し、中心画素にピーク値が存在するか否かを判断する。そして、中心画素にピーク値が存在する場合には測定対象物が移動方向を反転したものと判断してステップＳ１８に処理を進め、中心画素にピークが存在しない場合には移動方向は反転していないものと判断してステップＳ２２に処理を進める。
【００４５】
ステップＳ１８において、投票値補正部１６は、特徴領域に対応する画素の投票値を、方向反転前の影響による投票値と、方向反転後の影響による投票値とに分類する。即ち、前述した図５で示したように、方向反転前の影響による投票値（Ａ１，Ａ２）と、方向反転後の影響による投票値（Ａ１，Ａ２以外）とに分類する。
【００４６】
ステップＳ２０において、投票値補正部１６は、方向反転前の影響による投票値をクリアする。即ち、図５（ｃ）に示したように、方向反転前の影響による投票値を削除して方向反転後の影響による投票値のみとする。
【００４７】
ステップＳ１９において、投票値補正部１６は、方向反転後の影響による投票値に基づいて、各特徴領域に対応する画素の投票値を補正し、更に速度算出部１７は、補正後投票値に基づいて、測定対象物の速度を算出する。即ち、図５（ｄ）にて示したように、特徴領域Ｑ３の投票値にｑ１，ｑ２を加算する補正を行い、補正後の投票値に基づいて速度を算出する。
【００４８】
ステップＳ２１において、特徴投票部１４は、反転後の移動方向に対して投票値を加算する処理を行う。
【００４９】
ステップＳ２２において、速度算出部１７は、ステップＳ２１の処理で求められた投票値、或いはステップＳ１６の処理で投票された投票値に基づいて、測定対象物の速度を算出する。
【００５０】
ステップＳ２３において、速度算出部１７は、全てのエッジについて速度を算出したか否かを判定し、算出していなければ（ステップＳ２３でＮＯ）、ステップＳ１７に処理を戻し、算出していれば（ステップＳ２３でＹＥＳ）、ステップＳ２４に処理を進める。
【００５１】
ステップＳ２４において、イグニッションがオフであるか否かを判断し、オフでなければ（ステップＳ２４でＮＯ）、ステップＳ１１に処理を戻し、オフであれば（ステップＳ２４でＹＥＳ）、本処理を終了する。
【００５２】
このようにして、本実施形態に係る動き検出装置では、各特徴領域の投票値に基づいて、測定対象物の移動方向が変化したか否かを判断し、移動方向が変化していると判断された場合には、各画素の投票値を方向変化前の影響による投票値と、方向変化後の影響による投票値に分類し、このうち方向変化後の影響による投票値を用いて、各特徴領域に対応する画素の投票値を補正する。
【００５３】
そして、補正後の投票値に基づいて、方向変化後の移動速度を算出する。従って、方向変化前の投票値の影響を受けることが無いので、方向変化をいち早く検出し、更に方向変化後の移動速度を高精度に求めることが可能となる。
【００５４】
更に、測定対象物の特徴抽出の手法として、コーナエッジ成分を検出することにより、高精度な特徴点の検出が可能となり、特徴領域の移動状況を確実に認識することが可能となる。また、他の手法として測定対象物の形状特徴成分、例えば、歩行者の頭部や眼等を抽出して特徴領域とすることにより、特徴領域の移動状況を高精度に認識することが可能となる。
【００５５】
以上、本発明の動き検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【００５６】
例えば、上述した実施形態では、測定対象物の移動方向が反転した場合を検出する例について説明したが、本発明は、移動方向の反転に限定されるものではなく、移動方向が変化した場合について適用することができる。また、上述した実施形態では、３つの特徴領域のうち、中央の特徴領域にピークが存在する場合に、測定対象物の方向が変化しているものと判断する例について説明したが、特徴領域は、３画素に限定されるものでなく、４画素以上とすることも可能である。この場合、特徴領域の周辺以外の画素にピークが存在する場合に、測定対象物の移動方向が変化したものと判断して、上記の補正処理を行うことができる。
【産業上の利用可能性】
【００５７】
本発明は、測定対象物が移動方向を変化させた場合であっても対象物の動きを高精度に検出することに利用することができる。
【符号の説明】
【００５８】
１１ 撮像部
１２ 特徴抽出部
１３ 特徴規格化部
１４ 特徴投票部
１５ 投票値比較部
１６ 投票値補正部
１７ 速度算出部
１００ 動き検出装置
【特許請求の範囲】
【請求項１】
車両周辺の画像を時系列的に複数撮像する撮像手段と、
前記撮像手段にて撮像された複数の画像からそれぞれ測定対象物の特徴点を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴点の大きさを、前記画像の画素に対応して規格化し、規格化された特徴点を特徴領域として設定する特徴点規格化手段と、
前記特徴点規格化手段にて設定された特徴領域が、前記複数の画像に含まれる各画素について、前記特徴領域が存在した場合に１つの投票値を付与し、更に、複数の画像に対して付与される前記投票値を各画素毎に積算する特徴領域投票手段と、
前記特徴領域の、中央に存在する画素である内部画素の投票値と、この内部画素周辺の画素の投票値を比較し、前記内部画素に最大投票値が存在するか否かを判断する投票値比較手段と、
前記投票値評価手段による比較結果に基づいて、前記特徴領域に対応する各画素の投票値を補正する投票値補正手段と、
前記特徴領域に対応する各画素の補正後の投票値に基づいて、前記特徴領域の移動速度を算出する移動速度算出手段と、
を備えたことを特徴とする動き検出装置。
【請求項２】
前記投票値比較手段は、前記内部画素に最大投票値が存在する場合には、前記測定対象物の移動方向が変化したものと判断し、
前記投票値補正手段は、前記測定対象物の移動方向が変化したと判断された場合には、前記特徴領域に存在する画素の投票値を、方向変化前の影響による投票値と、方向変化後の影響による投票値に分類し、方向変化後の影響による投票値に基づいて、前記特徴領域に対応する画素の投票値に補正値を加算することを特徴とする請求項１に記載の動き検出装置。
【請求項３】
前記投票値補正手段は、前記測定対象物の移動方向が変化した場合には、方向変化前の影響による投票値をリセットすることを特徴とする請求項２に記載の動き検出装置。
【請求項４】
前記投票値補正手段は、前記測定対象物の移動方向が変化した場合には、前記方向変化後の影響による投票値に対し、方向変化後の移動方向の移動元となる特徴領域に対応する画素の補正値が大きくなるように設定することを特徴とする請求項２または請求項３のいずれかに記載の動き検出装置。
【請求項５】
前記特徴抽出手段は、前記測定対象物のコーナエッジ成分を、前記特徴領域として抽出することを特徴とする請求項１〜請求項４のいずれか１項に記載の動き検出装置。
【請求項６】
前記特徴抽出手段は、前記測定対象物の形状特徴成分を、前記特徴領域として抽出することを特徴とする請求項１〜請求項４のいずれか１項に記載の動き検出装置。
【請求項１】
車両周辺の画像を時系列的に複数撮像する撮像手段と、
前記撮像手段にて撮像された複数の画像からそれぞれ測定対象物の特徴点を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴点の大きさを、前記画像の画素に対応して規格化し、規格化された特徴点を特徴領域として設定する特徴点規格化手段と、
前記特徴点規格化手段にて設定された特徴領域が、前記複数の画像に含まれる各画素について、前記特徴領域が存在した場合に１つの投票値を付与し、更に、複数の画像に対して付与される前記投票値を各画素毎に積算する特徴領域投票手段と、
前記特徴領域の、中央に存在する画素である内部画素の投票値と、この内部画素周辺の画素の投票値を比較し、前記内部画素に最大投票値が存在するか否かを判断する投票値比較手段と、
前記投票値評価手段による比較結果に基づいて、前記特徴領域に対応する各画素の投票値を補正する投票値補正手段と、
前記特徴領域に対応する各画素の補正後の投票値に基づいて、前記特徴領域の移動速度を算出する移動速度算出手段と、
を備えたことを特徴とする動き検出装置。
【請求項２】
前記投票値比較手段は、前記内部画素に最大投票値が存在する場合には、前記測定対象物の移動方向が変化したものと判断し、
前記投票値補正手段は、前記測定対象物の移動方向が変化したと判断された場合には、前記特徴領域に存在する画素の投票値を、方向変化前の影響による投票値と、方向変化後の影響による投票値に分類し、方向変化後の影響による投票値に基づいて、前記特徴領域に対応する画素の投票値に補正値を加算することを特徴とする請求項１に記載の動き検出装置。
【請求項３】
前記投票値補正手段は、前記測定対象物の移動方向が変化した場合には、方向変化前の影響による投票値をリセットすることを特徴とする請求項２に記載の動き検出装置。
【請求項４】
前記投票値補正手段は、前記測定対象物の移動方向が変化した場合には、前記方向変化後の影響による投票値に対し、方向変化後の移動方向の移動元となる特徴領域に対応する画素の補正値が大きくなるように設定することを特徴とする請求項２または請求項３のいずれかに記載の動き検出装置。
【請求項５】
前記特徴抽出手段は、前記測定対象物のコーナエッジ成分を、前記特徴領域として抽出することを特徴とする請求項１〜請求項４のいずれか１項に記載の動き検出装置。
【請求項６】
前記特徴抽出手段は、前記測定対象物の形状特徴成分を、前記特徴領域として抽出することを特徴とする請求項１〜請求項４のいずれか１項に記載の動き検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−５０７９８（Ｐ２０１３−５０７９８Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８７５３６（Ｐ２０１１−１８７５３６）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]