動き検出装置
【課題】移動する測定対象物が加速、減速した場合であっても該測定対象物の速度を高精度に測定することが可能な動き検出装置を提供する。
【解決手段】撮像部１１で撮像される画像の各画素に、測定対象物の測定対象物が存在した場合に、投票値を付与する。そして、積算された投票値が増加する場合には、測定対象物は減速しているものと判断し、他方、積算された投票値が減少する場合には、測定対象物は加速しているものと判断する。そして減速している場合には、特徴領域に対応する画素の投票値に、所定の補正値を加算することにより、実際の速度を反映した投票値に補正する。また、減速している場合には、特徴領域に対応する画素の投票値から所定の補正値を減算することにより、実際の速度を反映した投票値に補正する。
【解決手段】撮像部１１で撮像される画像の各画素に、測定対象物の測定対象物が存在した場合に、投票値を付与する。そして、積算された投票値が増加する場合には、測定対象物は減速しているものと判断し、他方、積算された投票値が減少する場合には、測定対象物は加速しているものと判断する。そして減速している場合には、特徴領域に対応する画素の投票値に、所定の補正値を加算することにより、実際の速度を反映した投票値に補正する。また、減速している場合には、特徴領域に対応する画素の投票値から所定の補正値を減算することにより、実際の速度を反映した投票値に補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺画像を時系列的に複数撮像し、撮像した画像に含まれる対象物の動きを検出する動き検出装置に係り、特に、対象物に加速、減速が生じた場合であっても対象物の動きを高精度に検出する技術に関する。
【背景技術】
【０００２】
移動する対象物の動きを検出する動き検出装置として、例えば特開平８−１４９５１６号公報（特許文献１）に記載されたものが知られている。該特許文献１では、物体が通過している空間にスリット光、パターン光を照射し、照射された移動物体の画像を時間的に順に複数取得し、光が照射されている部分の輪郭を抽出し、各輪郭をパターンマッチングすることで物体の速度を検出することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１４９５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示された従来例は、パターンマッチングによる移動ベクトルを算出する手法を採用しているので、演算に長時間を要し、物体を撮像する際のフレーム間隔を長くせざるを得なくなり、更に、フレーム間隔が長くなると、物体の速度が急激に変化した際には、正確な速度を検出することができなくなるという問題が発生する。
【０００５】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、移動する対象物の速度を高精度に測定することが可能な動き検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、車両周辺の画像を時系列的に複数撮像する撮像手段と、撮像手段にて撮像された複数の画像からそれぞれ測定対象物の特徴点を抽出する特徴抽出手段と、特徴抽出手段で抽出された特徴点の大きさを画素に対応して規格化し、規格化された特徴点を特徴領域として設定する特徴点規格化手段とを有する。更に、特徴点規格化手段にて設定された特徴領域が、複数の画像に含まれる各画素について、特徴領域が存在した場合に１つの投票値を付与し、更に、複数の画像に対して付与される投票値を各画素毎に積算する特徴領域投票手段と、特徴領域に対応する画素の投票値、及び特徴領域の過去の動き情報に基づいて、特徴領域の加速、減速を評価する投票値評価手段と、投票値評価手段による評価結果に基づいて、特徴領域に対応する各画素の投票値を補正する投票値補正手段と、特徴領域に対応する各画素の補正後の投票値に基づいて、特徴領域の移動速度を算出する移動速度算出手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明に係る動き検出装置では、特徴領域に対応する画素の投票値の増減に基づいて、測定対象物が加速しているか、或いは減速しているかを判断し、この判断結果に基づいて各特徴領域に対応する画素の投票値を補正する。従って、測定対象物の加速、減速を即時に認識し、測定対象物の移動速度に反映させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【図２】測定対象物が等速で移動している場合の、各画素の投票値の変化を示す説明図である。
【図３】測定対象物が減速しながら移動している場合の、各画素の投票値の変化を示す説明図である。
【図４】測定対象物が減速しながら移動している場合の、各画素の投票値の補正手順を示す説明図である。
【図５】測定対象物が加速しながら移動している場合の、各画素の投票値の変化を示す説明図である。
【図６】測定対象物が減速しながら移動している場合の、各画素の投票値の補正手順を示す説明図である。
【図７】本発明の一実施形態に係る動き検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【００１０】
図１に示すように、この動き検出装置１００は、車両に搭載して車両外部に存在する測定対象物（例えば、歩行者）の動きを検出するものであり、車両外部に存在する測定対象物を撮像する撮像部（撮像手段）１１と、該撮像部１１で撮像された映像から特徴点を抽出する特徴抽出部（特徴抽出手段）１２と、特徴点を規格化して特徴領域を設定する特徴規格部（特徴点規格化手段）１３と、特徴領域が存在する画素に投票値を加算する特徴投票部（特徴領域投票手段）１４と、各画素の投票値を評価する投票値評価部（投票値評価手段）１５と、評価結果に基づいて投票値を補正する投票値補正部（投票値補正手段）１６と、補正後の投票値に基づいて測定対象物の速度を求める速度算出部（移動速度算出手段）１７と、を備えている。
【００１１】
撮像部１１は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子によって構成され、車両周囲の画像を時系列的に撮像する。例えば、３０［フレーム／秒］の一定の間隔で周囲の画像を撮像し、撮像した画像データを特徴抽出部１２に出力する。
【００１２】
特徴抽出部１２は、撮像部１１で撮像された画像を取得し、この画像を画像処理して動き検出の対象となる対象物（例えば、歩行者）の特徴点を抽出する。特徴点は、例えば画像の濃淡が急激に変化する点であり、対象物のエッジ等である。また、特徴点の抽出方法としては、測定対象物のエッジを検出して特徴点とするエッジ検出フィルタ、測定対象物のコーナエッジを検出して特徴点とするコーナエッジ検出フィルタ、或いは測定対象物の形状特徴成分を特徴点として抽出する手法等を採用することができる。
【００１３】
特徴規格化部１３は、特徴抽出部１２にて抽出された特徴点を基準として、特徴領域の大きさを規格化する。例えば、特徴点を含む周囲の９画素を特徴領域として規格化する。従って、特徴抽出部１２で抽出された特徴点を含む特徴領域が一定の大きさとなるように設定されることになる。
【００１４】
特徴投票部１４は、特徴規格化部１３により規格化された特徴領域が検出された位置に対応する画素の投票値を積算する処理、及び、特徴領域が検出されなくなった位置に対応する画素の投票値をリセットする処理を実行する。詳細については、後述する。
【００１５】
投票値評価部１５は、特徴投票部１４で投票された投票値の積算値に基づいて、対象物に加速または減速が生じているか否かを判断する。詳細には、特徴領域に対応する画素の投票値が増加した場合には、測定対象物の移動速度が低下（減速）しているものと判断し、特徴領域に対応する画素の投票値が減少した場合には、測定対象物の移動速度が増加（加速）しているものと判断する。
【００１６】
投票値補正部１６は、投票値評価部１５にて測定対象物に加速または減速が生じていると判断された場合には、加速または減速が生じる前に積算された投票値（加速・減速前の影響による投票値）と、加速または減速が生じた後に積算された投票値（加速・減速後の影響による投票値）とに分類し、更に、加速または減速が生じた後に積算された投票値に基づいて、特徴領域に対応する各画素の投票値を補正する処理を実行する。また、後述するように、減速が生じていると判断された場合には、特徴領域が移動する方向に向けて補正値（加算する投票値）が小さくなるように設定し、他方、加速が生じていると判断された場合には、移動元となる特徴領域の画素の補正値（減算する投票値）が大きくなるように設定する。詳細については後述する。
【００１７】
速度算出部１７は、特徴投票部１４で投票された投票値に基づいて、測定対象物の移動速度を算出すると共に、測定対象物の移動速度に減速、または加速が発生した場合には、投票補正部１６で補正された各画素の投票値に基づき、各画素の投票値の変化から特徴領域（測定対象物）の移動速度、及び移動方向を算出する。
【００１８】
次に、測定対象物が等速で移動する場合、及び加速または減速を伴って移動する場合における特徴投票部１４、投票値評価部１５及び投票値補正部１６による処理を、図２〜図６を参照して説明する。
【００１９】
［対象物が等速で移動する場合］
図２（ａ）〜（ｃ）に示す各マスは、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。図２の例では、説明を簡単にするため特徴領域を３つの画素としている。また、撮像部１１は、時刻ｔ１，ｔ２，ｔ３，・・・の順に所定の時間間隔で時系列的に周囲画像を撮像するものとする。
【００２０】
そして、撮像部１１で撮像される画像中の、左側から右側に向けて等速で移動する測定対象物が存在すると、図２（ａ）に示すように、時刻ｔ１，ｔ２において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図２（ｂ）に示すように、時刻ｔ３，ｔ４において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、図２（ｃ）に示すように、時刻ｔ５，ｔ６において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出される。換言すれば、時刻ｔ１，ｔ２の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ３，ｔ４の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ５，ｔ６の間は特徴領域は画素Ｐ３〜Ｐ５に停滞する。
【００２１】
そして、図１に示した特徴投票部では、各画素に対し特徴領域が停滞した回数分の投票値を付与し、この投票値を積算する。従って、画素Ｐ１〜Ｐ３には、図２（ａ）に示すように時刻ｔ１，ｔ２の２画像分の投票値が付与されるので、それぞれ投票値は「２」となる。次いで、図２（ｂ）に示すように時刻ｔ３，ｔ４では、画素Ｐ２〜Ｐ４に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「４」「４」「２」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図２（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００２２】
更に、図２（ｃ）に示すように時刻ｔ５，ｔ６では、画素Ｐ３〜Ｐ５に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「６」「４」「２」となる。また、画素Ｐ２の投票値はリセットされるので「０」となる。
【００２３】
その後、測定対象物が等速で移動する場合には、この状況が継続されるので、投票値が「６」「４」「２」となる画素が左側から右側に順次移動することになる。そして、速度算出部１７は、この傾斜（変化）に基づいて測定対象物の速度を求めることができる。具体的には、左端の投票値である「６」と右端の投票値である「２」の差分を求め、この差分である「４」の逆数が速度に対応する数値となるので、この数値に基づいて対象物の速度を求める。
【００２４】
［対象物が減速する場合］
次に、測定対象物が減速した場合について図３に示す説明図を参照して説明する。図２の場合と同様に、図３（ａ）〜（ｃ）に示す各マスは、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。
【００２５】
そして、時刻ｔ１，ｔ２，ｔ３，・・で撮像部１１より時系列的に画像が取得され、更に画像中に左側から右側に移動しながら減速している測定対象物が存在すると、図３（ａ）に示すように、時刻ｔ１，ｔ２において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図３（ｂ）に示すように、時刻ｔ３，ｔ４において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、更に、減速したことにより図３（ｃ）に示すように、時刻ｔ４，ｔ５，ｔ６において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出される。換言すれば、時刻ｔ１，ｔ２の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ３，ｔ４の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ５，ｔ６，ｔ７の間は特徴領域は画素Ｐ３〜Ｐ５に停滞する。つまり、測定対象物が減速したことにより、画素Ｐ３〜Ｐ５に停滞する時間が長くなっている。
【００２６】
そして、各画素には特徴領域が停滞した回数分の投票値が付与されて積算される。従って、図３（ａ）に示す時刻ｔ１，ｔ２では、画素Ｐ１〜Ｐ３には、時刻ｔ１，ｔ２の２画像分の投票値が付与されるので、それぞれ投票値は「２」となる。次いで、図３（ｂ）に示す時刻ｔ３，ｔ４では、画素Ｐ２〜Ｐ４に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「４」「４」「２」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図３（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００２７】
更に、図３（ｃ）に示す時刻ｔ５，ｔ６，ｔ７では、画素Ｐ３〜Ｐ５に対して、３画像分の投票値が付与されるので、それぞれに投票値「３」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「７」「５」「３」となる。また、画素Ｐ２の投票値はリセットされるので「０」となる。
【００２８】
そして、速度算出部１７は、投票値の傾斜（変化）に基づいて測定対象物の速度を求める。具体的には、左端の投票値である「７」と右端の投票値である「３」の差分を求め、この差分の逆数が速度に対応する数値となるので、この数値に基づいて測定対象物の速度を求める。この際、「７」と「３」の差分は「４」であり、図２に示した等速で移動する場合と同一となる。このため、測定対象物が減速しているにも関わらず、等速で移動している場合と同一の速度であるものとして、速度を算出することになる。
【００２９】
本実施形態では、図１に示した投票値評価部１５、及び投票値補正部１６により、測定対象物の実際の速度が反映するように投票値を補正する。以下、投票値を補正する処理について、図４を参照して説明する。
【００３０】
図４は、３画素分の特徴領域の投票値の変化を模式的に示す説明図であり、図４（ａ）は測定対象物（特徴領域）が等速で移動している場合を示し、図４（ｂ）は測定対象物が減速している場合を示し、図４（ｃ）は投票値補正部１６により補正した後の投票値を示している。また、図４（ａ）〜（ｃ）に示すマスは、積算された投票値を示している。
【００３１】
図４（ａ）に示すように、測定対象物が等速で移動している場合には、３つの特徴領域Ｑ１〜Ｑ３の投票値は前述した図２にて示したようにそれぞれ「６」「４」「２」となる。また、図４（ｂ）に示すように、測定対象物が減速している場合には、３つの特徴領域Ｑ１〜Ｑ３の投票値は前述した図３にて示したようにそれぞれ「７」「５」「３」となる。
【００３２】
そして、投票値評価部１５は、各特徴領域Ｑ１〜Ｑ３の投票値の増加、減少に基づいて、測定対象物が減速しているか、或いは加速しているかを判断する。具体的には、投票値が増加している場合には測定対象物は減速しているものと判断し、投票値が減少している場合には測定対象物は加速しているものと判断する。
【００３３】
図４（ｂ）に示す場合には、各特徴領域Ｑ１〜Ｑ３の投票値は増加しているので（即ち、「６」「４」「２」から「７」「５」「３」へと変化しているので）、測定対象物は減速しているものと判断する。そして、投票値補正部１６は、測定対象物が減速していると判断された場合には、減速後の影響による投票値の増加分に基づいて、各特徴領域Ｑ１〜Ｑ３の投票値を補正する。
【００３４】
以下、具体的に説明すると、測定対象物が減速したことにより、各特徴領域Ｑ１〜Ｑ３の投票値は「１」ずつ加算されたことになる。即ち、図４（ｂ）のｑ１，ｑ２，ｑ３に示す投票値が加算されたことになり、減速後の影響による投票値は「１」である。本実施形態では、投票値補正部１６により、この投票値ｑ１，ｑ２，ｑ３を、特徴領域Ｑ１，Ｑ２の投票値に加算する処理を実行する。具体的には、図４（ｃ）に示すように、特徴領域Ｑ１に対して２つ分の投票値ｑ４，ｑ５を加算し、特徴領域Ｑ２に対して１つ分の投票値ｑ６を加算する。なお、特徴領域Ｑ３については加算処理を行わない。
【００３５】
つまり、特徴領域の各画素について、特徴領域が移動する方向（図中右側）に向けて補正値（加算する投票値）が小さくなるように設定している。即ち、加算する投票値は、左側から順に、「２」「１」「０」に設定されている。
【００３６】
その結果、補正後の投票値は、図４（ｃ）に示すように、各特徴領域Ｑ１〜Ｑ３に対してそれぞれ「９」「６」「３」となり、左端の投票値である「９」と右端の投票値である「３」の差分が「６」となり、この差分に基づいて算出される測定対象物の速度は、減速していることが反映されている。即ち、図４（ｂ）に示す投票値に基づいて測定対象物の速度を算出すると、左端の投票値である「７」と右端の投票値である「３」の差分が「４」であるから、測定対象物の減速が反映されていないが、図４（ｃ）に示す補正後の投票値に基づいて測定対象物の速度を算出すると差分が「６」となるので、減速が反映していることになる。即ち、投票値補正部１６により補正された投票値を採用して速度を求めることにより、測定対象物が減速している場合であっても、この速度を正確に求めることが可能となる。
【００３７】
［対象物が加速する場合］
次に、対象物が加速した場合について図５に示す説明図を参照して説明する。図２，図３の場合と同様に、図５（ａ）〜（ｄ）に示す各マスは、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。
【００３８】
そして、時刻ｔ１，ｔ２，ｔ３，・・で撮像部１１より時系列的に画像が取得され、更に画像中に左側から右側に向けて加速している測定対象物が存在すると、図５（ａ）に示すように、時刻ｔ１〜ｔ４において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図５（ｂ）に示すように、時刻ｔ５〜ｔ８において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、図５（ｃ）に示すように、加速したことにより時刻ｔ９，ｔ１０において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出され、更に、図５（ｄ）に示すように、時刻ｔ１１において、測定対象物の特徴領域はＰ４〜Ｐ６に示す画素にて検出される。
【００３９】
換言すれば、時刻ｔ１〜ｔ４の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ５〜ｔ８の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ９，ｔ１０の間は特徴領域は画素Ｐ３〜Ｐ５に停滞し、時刻ｔ１１の間は特徴領域は画素Ｐ４〜Ｐ６に停滞する。つまり、測定対象物が加速したことにより、画素Ｐ３〜Ｐ５、画素Ｐ４〜Ｐ６に停滞する時間が短くなっている。
【００４０】
そして、各画素には特徴領域が停滞した回数分の投票値が付与されて積算される。従って、図５（ａ）に示す時刻ｔ１〜ｔ４では、画素Ｐ１〜Ｐ３には、時刻ｔ１〜ｔ４の４画像分の投票値が付与されるので、それぞれ投票値は「４」となる。次いで、図５（ｂ）に示す時刻ｔ５〜ｔ８では、画素Ｐ２〜Ｐ４に対して、４画像分の投票値が付与されるので、それぞれに投票値「４」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「８」「８」「４」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図５（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００４１】
更に、図５（ｃ）に示す時刻ｔ９，ｔ１０では、画素Ｐ３〜Ｐ５に対して２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「１０」「６」「２」となる。また、画素Ｐ２の投票値はリセットされて「０」となる。
【００４２】
また、図５（ｄ）に示す時刻ｔ１１では、画素Ｐ４〜Ｐ６に対して１画像分の投票値が付与されるので、それぞれに投票値「１」が加算されて、画素Ｐ４〜Ｐ６の投票値はそれぞれ「７」「３」「１」となる。また、画素Ｐ３の投票値はリセットされて「０」となる。
【００４３】
速度算出部１７は、投票値の傾斜（変化）に基づいて測定対象物の速度を求める。具体的には、左端の投票値である「７」と右端の投票値である「１」の差分を求め、この差分の逆数が速度に対応する数値となるので、この数値に基づいて測定対象物の速度を求める。この際、「７」と「１」の差分は「６」であり、この逆数に応じた速度が算出されることになる。しかし、実際には測定対象物は加速しているので、正確な速度が求められていないことになる。
【００４４】
本実施形態では、図１に示した投票値評価部１５、及び投票値補正部１６により、測定対象物の実際の速度が反映するように投票値を補正する。以下、投票値を補正する処理について、図６を参照して説明する。
【００４５】
図６は、測定対象物が加速しながら移動しているときの、３画素分の特徴領域の投票値の変化を模式的に示す説明図であり、図６（ａ）は特徴領域が図５（ｃ）の状態にある場合の投票値を示し、図６（ｂ）は測定対象物が加速して図５（ｄ）の状態にある場合の投票値を示し、図６（ｃ）は投票値補正部１６により補正した後の投票値を示している。また、図６（ａ）〜（ｃ）に示すマスは、積算された投票値を示している。
【００４６】
図６（ａ）に示すように、測定対象物が等速状態から加速に移行する場合には、３つの特徴領域Ｑ１１〜Ｑ１３の投票値は前述した図５（ｃ）に示したようにそれぞれ「１０」「６」「２」となる。また、図６（ｂ）に示すように、測定対象物が加速している場合には、各画素に停滞する時間が減少するので３つの特徴領域Ｑ１１〜Ｑ１３の投票値は、それぞれ「７」「３」「１」となる。
【００４７】
そして、投票値評価部１５は、各特徴領域Ｑ１１〜Ｑ１３の投票値の増加、減少に基づいて、測定対象物が減速しているか、或いは加速しているかを判断する。具体的には、投票値が増加している場合には測定対象物は減速しているものと判断し、投票値が減少している場合には測定対象物は加速しているものと判断する。
【００４８】
図６（ｂ）に示す場合には、各特徴領域Ｑ１３の投票値が減少しているので（即ち「２」から「１」へと変化しているので）、測定対象物は加速しているものと判断する。そして、投票値補正部１６は、測定対象物が加速していると判断された場合には、特徴領域Ｑ１１の投票値を補正する。
【００４９】
以下、具体的に説明すると、測定対象物が加速したことにより、各特徴領域Ｑ１１〜Ｑ１３の投票値は「１」ずつ加算されたことになる。即ち、図６（ｂ）のｑ１１，ｑ１２，ｑ１３に示す投票値が加算されたことになる。つまり、加速後の影響による投票値は「１」であり、これ以外の投票値は加速前の影響による投票値である。
【００５０】
この場合、特徴領域Ｑ１２とＱ１３の投票値より得られる速度が実際の速度を反映した数値となる。つまり、特徴領域Ｑ１２の投票値「３」と特徴領域Ｑ１３の投票値「１」の差分値は「２」であり、この差分値を用いることによりにより現実に近い速度を求めることができる。ところが、図６（ｂ）の特徴領域Ｑ１１の投票値は「７」であるから、Ｑ１１とＱ１３の投票値の差分は「６」となり、測定対象物の実際の速度を反映していないことになる。
【００５１】
本実施形態では、投票値補正部１６により、特徴領域Ｑ１１の投票値を変更することにより、実際の速度が反映されるようにする。具体的には、特徴領域Ｑ１２とＱ１３との間の投票値の差分は「２」であるから、特徴領域Ｑ１１とＱ１２との間の投票値の差分もこれと同一の「２」となるように補正する。即ち、図６（ｃ）に示すように、特徴領域Ｑ１１の投票値から２つ分を削減し、投票値を「５」に補正する。その結果、特徴領域Ｑ１１とＱ１３の差分値は「４」となり、測定対象物の速度を反映した速度を算出することができることになる。即ち、投票値補正部１６により補正された投票値を採用して速度を求めることにより、測定対象物が加速している場合であっても、この速度を正確に求めることが可能となる。
【００５２】
［処理手順の説明］
次に、上述のように構成された本実施形態に係る動き検出装置の処理動作を図７に示すフローチャートを参照して説明する。
【００５３】
初めに、ステップＳ１１において、撮像部１１は、車両の周辺画像を時系列的に撮像し、撮像した画像データを出力する。ステップＳ１２において、特徴抽出部１２は、取得した画像についてエッジ検出を行う。更に、ステップＳ１３において、エッジの画素を２５５とし、エッジ以外の画素を０とする処理、即ち２値化処理を実行する。ステップＳ１４において、特徴抽出部１２は、エッジ幅が１画素となるように細線化する。
【００５４】
更に、ステップＳ１５において、特徴規格化部１３は、エッジ幅が均一となるように膨張させ、エッジ幅を規格化する。この処理では、エッジ幅を例えば３画素とする。このエッジ幅に対応する領域を特徴領域とする。
【００５５】
ステップＳ１６において、特徴投票部１４は、特徴領域に該当する画素の投票値に「１」を加算し、特徴領域に該当しない画素の投票値をリセットする。
【００５６】
ステップＳ１７において、投票値評価部１５は、前回速度から算出した現時刻における推定投票値と、実際の投票値とを比較し、増減が存在する場合にはステップＳ１８に処理を進め、増減が無ければステップＳ２１に処理を進める。
【００５７】
ステップＳ１８において、増減量を算出し、増加である場合にはステップＳ１９に処理を進め、減少である場合にはステップＳ２０に処理を進める。
【００５８】
ステップＳ１９において、投票値補正部１６は、投票値の増加量に基づいて投票値を補正する。具体的には、図４に示したように、投票値を追加する処理を実行する。
【００５９】
ステップＳ２０において、投票値補正部１６は、投票値の減少量に基づいて、投票値を補正する。具体的には、図６に示したように、投票値を削減する処理を実行する。
【００６０】
ステップＳ２１において、速度算出部１７は、求められた投票値、或いは補正された投票値に基づいて、測定対象物の速度を算出する。
【００６１】
ステップＳ２２において、速度算出部１７は、全てのエッジについて速度を算出したか否かを判定し、算出していなければ（ステップＳ２２でＮＯ）、ステップＳ１７に処理を戻し、算出していれば（ステップＳ２２でＹＥＳ）、ステップＳ２３に処理を進める。
【００６２】
ステップＳ２３において、イグニッションがオフであるか否かを判断し、オフでなければ（ステップＳ２３でＮＯ）、ステップＳ１１に処理を戻し、オフであれば（ステップＳ２３でＹＥＳ）、本処理を終了する。
【００６３】
このようにして、本実施形態に係る動き検出装置では、各特徴領域の投票値の増減に基づいて、測定対象物が等速で移動しているか、減速しているか、或いは加速しているかを判断し、減速していると判断された場合には、特徴領域に対応する各画素の投票値に補正値を加算する処理を行う。この際、加算値は、特徴領域が移動する方向に向けて小さくなるように設定する。即ち、図４に示したように、移動する方向に向けて「２」「１」「０」の補正値を加算する。その結果、測定対象物が減速していることを即時に求めることができ、動き検出の即応性を向上させることができる。
【００６４】
また、測定対象物の速度が加速していると判断された場合には、特徴領域の移動元となる画素の投票値を削減する処理を行う。即ち、図６に示したように、移動元となる画素Ｑ１１の投票値を２個分削減することにより、投票値の変化（傾き）を低減することができるので、この投票値に基づいて求められる測定対象物の移動速度は、測定対象物が加速したことを反映した速度となる。従って、測定対象物が加速していることを即時に求めることができ、動き検出の即応性を向上させることができる。
【００６５】
更に、測定対象物の特徴抽出の手法として、コーナエッジ成分を検出することにより、高精度な特徴点の検出が可能となり、特徴領域の移動状況を確実に認識することが可能となる。また、他の手法として測定対象物の形状特徴成分、例えば、歩行者の頭部や眼等を抽出して特徴領域とすることにより、特徴領域の移動状況を高精度に認識することが可能となる。
【００６６】
以上、本発明の動き検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【００６７】
例えば、上述した実施形態では、特徴領域を３画素としたが、本発明はこれに限定されるものではなく、４画素以上とすることも可能である。
【産業上の利用可能性】
【００６８】
本発明は、測定対象物が加速、減速した場合であっても対象物の動きを高精度に検出することに利用することができる。
【符号の説明】
【００６９】
１１ 撮像部
１２ 特徴抽出部
１３ 特徴規格化部
１４ 特徴投票部
１５ 投票値評価部
１６ 投票値補正部
１７ 速度算出部
１００ 動き検出装置
【技術分野】
【０００１】
本発明は、車両の周辺画像を時系列的に複数撮像し、撮像した画像に含まれる対象物の動きを検出する動き検出装置に係り、特に、対象物に加速、減速が生じた場合であっても対象物の動きを高精度に検出する技術に関する。
【背景技術】
【０００２】
移動する対象物の動きを検出する動き検出装置として、例えば特開平８−１４９５１６号公報（特許文献１）に記載されたものが知られている。該特許文献１では、物体が通過している空間にスリット光、パターン光を照射し、照射された移動物体の画像を時間的に順に複数取得し、光が照射されている部分の輪郭を抽出し、各輪郭をパターンマッチングすることで物体の速度を検出することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１４９５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示された従来例は、パターンマッチングによる移動ベクトルを算出する手法を採用しているので、演算に長時間を要し、物体を撮像する際のフレーム間隔を長くせざるを得なくなり、更に、フレーム間隔が長くなると、物体の速度が急激に変化した際には、正確な速度を検出することができなくなるという問題が発生する。
【０００５】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、移動する対象物の速度を高精度に測定することが可能な動き検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、車両周辺の画像を時系列的に複数撮像する撮像手段と、撮像手段にて撮像された複数の画像からそれぞれ測定対象物の特徴点を抽出する特徴抽出手段と、特徴抽出手段で抽出された特徴点の大きさを画素に対応して規格化し、規格化された特徴点を特徴領域として設定する特徴点規格化手段とを有する。更に、特徴点規格化手段にて設定された特徴領域が、複数の画像に含まれる各画素について、特徴領域が存在した場合に１つの投票値を付与し、更に、複数の画像に対して付与される投票値を各画素毎に積算する特徴領域投票手段と、特徴領域に対応する画素の投票値、及び特徴領域の過去の動き情報に基づいて、特徴領域の加速、減速を評価する投票値評価手段と、投票値評価手段による評価結果に基づいて、特徴領域に対応する各画素の投票値を補正する投票値補正手段と、特徴領域に対応する各画素の補正後の投票値に基づいて、特徴領域の移動速度を算出する移動速度算出手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明に係る動き検出装置では、特徴領域に対応する画素の投票値の増減に基づいて、測定対象物が加速しているか、或いは減速しているかを判断し、この判断結果に基づいて各特徴領域に対応する画素の投票値を補正する。従って、測定対象物の加速、減速を即時に認識し、測定対象物の移動速度に反映させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【図２】測定対象物が等速で移動している場合の、各画素の投票値の変化を示す説明図である。
【図３】測定対象物が減速しながら移動している場合の、各画素の投票値の変化を示す説明図である。
【図４】測定対象物が減速しながら移動している場合の、各画素の投票値の補正手順を示す説明図である。
【図５】測定対象物が加速しながら移動している場合の、各画素の投票値の変化を示す説明図である。
【図６】測定対象物が減速しながら移動している場合の、各画素の投票値の補正手順を示す説明図である。
【図７】本発明の一実施形態に係る動き検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
【００１０】
図１に示すように、この動き検出装置１００は、車両に搭載して車両外部に存在する測定対象物（例えば、歩行者）の動きを検出するものであり、車両外部に存在する測定対象物を撮像する撮像部（撮像手段）１１と、該撮像部１１で撮像された映像から特徴点を抽出する特徴抽出部（特徴抽出手段）１２と、特徴点を規格化して特徴領域を設定する特徴規格部（特徴点規格化手段）１３と、特徴領域が存在する画素に投票値を加算する特徴投票部（特徴領域投票手段）１４と、各画素の投票値を評価する投票値評価部（投票値評価手段）１５と、評価結果に基づいて投票値を補正する投票値補正部（投票値補正手段）１６と、補正後の投票値に基づいて測定対象物の速度を求める速度算出部（移動速度算出手段）１７と、を備えている。
【００１１】
撮像部１１は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子によって構成され、車両周囲の画像を時系列的に撮像する。例えば、３０［フレーム／秒］の一定の間隔で周囲の画像を撮像し、撮像した画像データを特徴抽出部１２に出力する。
【００１２】
特徴抽出部１２は、撮像部１１で撮像された画像を取得し、この画像を画像処理して動き検出の対象となる対象物（例えば、歩行者）の特徴点を抽出する。特徴点は、例えば画像の濃淡が急激に変化する点であり、対象物のエッジ等である。また、特徴点の抽出方法としては、測定対象物のエッジを検出して特徴点とするエッジ検出フィルタ、測定対象物のコーナエッジを検出して特徴点とするコーナエッジ検出フィルタ、或いは測定対象物の形状特徴成分を特徴点として抽出する手法等を採用することができる。
【００１３】
特徴規格化部１３は、特徴抽出部１２にて抽出された特徴点を基準として、特徴領域の大きさを規格化する。例えば、特徴点を含む周囲の９画素を特徴領域として規格化する。従って、特徴抽出部１２で抽出された特徴点を含む特徴領域が一定の大きさとなるように設定されることになる。
【００１４】
特徴投票部１４は、特徴規格化部１３により規格化された特徴領域が検出された位置に対応する画素の投票値を積算する処理、及び、特徴領域が検出されなくなった位置に対応する画素の投票値をリセットする処理を実行する。詳細については、後述する。
【００１５】
投票値評価部１５は、特徴投票部１４で投票された投票値の積算値に基づいて、対象物に加速または減速が生じているか否かを判断する。詳細には、特徴領域に対応する画素の投票値が増加した場合には、測定対象物の移動速度が低下（減速）しているものと判断し、特徴領域に対応する画素の投票値が減少した場合には、測定対象物の移動速度が増加（加速）しているものと判断する。
【００１６】
投票値補正部１６は、投票値評価部１５にて測定対象物に加速または減速が生じていると判断された場合には、加速または減速が生じる前に積算された投票値（加速・減速前の影響による投票値）と、加速または減速が生じた後に積算された投票値（加速・減速後の影響による投票値）とに分類し、更に、加速または減速が生じた後に積算された投票値に基づいて、特徴領域に対応する各画素の投票値を補正する処理を実行する。また、後述するように、減速が生じていると判断された場合には、特徴領域が移動する方向に向けて補正値（加算する投票値）が小さくなるように設定し、他方、加速が生じていると判断された場合には、移動元となる特徴領域の画素の補正値（減算する投票値）が大きくなるように設定する。詳細については後述する。
【００１７】
速度算出部１７は、特徴投票部１４で投票された投票値に基づいて、測定対象物の移動速度を算出すると共に、測定対象物の移動速度に減速、または加速が発生した場合には、投票補正部１６で補正された各画素の投票値に基づき、各画素の投票値の変化から特徴領域（測定対象物）の移動速度、及び移動方向を算出する。
【００１８】
次に、測定対象物が等速で移動する場合、及び加速または減速を伴って移動する場合における特徴投票部１４、投票値評価部１５及び投票値補正部１６による処理を、図２〜図６を参照して説明する。
【００１９】
［対象物が等速で移動する場合］
図２（ａ）〜（ｃ）に示す各マスは、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。図２の例では、説明を簡単にするため特徴領域を３つの画素としている。また、撮像部１１は、時刻ｔ１，ｔ２，ｔ３，・・・の順に所定の時間間隔で時系列的に周囲画像を撮像するものとする。
【００２０】
そして、撮像部１１で撮像される画像中の、左側から右側に向けて等速で移動する測定対象物が存在すると、図２（ａ）に示すように、時刻ｔ１，ｔ２において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図２（ｂ）に示すように、時刻ｔ３，ｔ４において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、図２（ｃ）に示すように、時刻ｔ５，ｔ６において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出される。換言すれば、時刻ｔ１，ｔ２の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ３，ｔ４の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ５，ｔ６の間は特徴領域は画素Ｐ３〜Ｐ５に停滞する。
【００２１】
そして、図１に示した特徴投票部では、各画素に対し特徴領域が停滞した回数分の投票値を付与し、この投票値を積算する。従って、画素Ｐ１〜Ｐ３には、図２（ａ）に示すように時刻ｔ１，ｔ２の２画像分の投票値が付与されるので、それぞれ投票値は「２」となる。次いで、図２（ｂ）に示すように時刻ｔ３，ｔ４では、画素Ｐ２〜Ｐ４に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「４」「４」「２」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図２（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００２２】
更に、図２（ｃ）に示すように時刻ｔ５，ｔ６では、画素Ｐ３〜Ｐ５に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「６」「４」「２」となる。また、画素Ｐ２の投票値はリセットされるので「０」となる。
【００２３】
その後、測定対象物が等速で移動する場合には、この状況が継続されるので、投票値が「６」「４」「２」となる画素が左側から右側に順次移動することになる。そして、速度算出部１７は、この傾斜（変化）に基づいて測定対象物の速度を求めることができる。具体的には、左端の投票値である「６」と右端の投票値である「２」の差分を求め、この差分である「４」の逆数が速度に対応する数値となるので、この数値に基づいて対象物の速度を求める。
【００２４】
［対象物が減速する場合］
次に、測定対象物が減速した場合について図３に示す説明図を参照して説明する。図２の場合と同様に、図３（ａ）〜（ｃ）に示す各マスは、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。
【００２５】
そして、時刻ｔ１，ｔ２，ｔ３，・・で撮像部１１より時系列的に画像が取得され、更に画像中に左側から右側に移動しながら減速している測定対象物が存在すると、図３（ａ）に示すように、時刻ｔ１，ｔ２において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図３（ｂ）に示すように、時刻ｔ３，ｔ４において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、更に、減速したことにより図３（ｃ）に示すように、時刻ｔ４，ｔ５，ｔ６において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出される。換言すれば、時刻ｔ１，ｔ２の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ３，ｔ４の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ５，ｔ６，ｔ７の間は特徴領域は画素Ｐ３〜Ｐ５に停滞する。つまり、測定対象物が減速したことにより、画素Ｐ３〜Ｐ５に停滞する時間が長くなっている。
【００２６】
そして、各画素には特徴領域が停滞した回数分の投票値が付与されて積算される。従って、図３（ａ）に示す時刻ｔ１，ｔ２では、画素Ｐ１〜Ｐ３には、時刻ｔ１，ｔ２の２画像分の投票値が付与されるので、それぞれ投票値は「２」となる。次いで、図３（ｂ）に示す時刻ｔ３，ｔ４では、画素Ｐ２〜Ｐ４に対して、２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「４」「４」「２」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図３（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００２７】
更に、図３（ｃ）に示す時刻ｔ５，ｔ６，ｔ７では、画素Ｐ３〜Ｐ５に対して、３画像分の投票値が付与されるので、それぞれに投票値「３」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「７」「５」「３」となる。また、画素Ｐ２の投票値はリセットされるので「０」となる。
【００２８】
そして、速度算出部１７は、投票値の傾斜（変化）に基づいて測定対象物の速度を求める。具体的には、左端の投票値である「７」と右端の投票値である「３」の差分を求め、この差分の逆数が速度に対応する数値となるので、この数値に基づいて測定対象物の速度を求める。この際、「７」と「３」の差分は「４」であり、図２に示した等速で移動する場合と同一となる。このため、測定対象物が減速しているにも関わらず、等速で移動している場合と同一の速度であるものとして、速度を算出することになる。
【００２９】
本実施形態では、図１に示した投票値評価部１５、及び投票値補正部１６により、測定対象物の実際の速度が反映するように投票値を補正する。以下、投票値を補正する処理について、図４を参照して説明する。
【００３０】
図４は、３画素分の特徴領域の投票値の変化を模式的に示す説明図であり、図４（ａ）は測定対象物（特徴領域）が等速で移動している場合を示し、図４（ｂ）は測定対象物が減速している場合を示し、図４（ｃ）は投票値補正部１６により補正した後の投票値を示している。また、図４（ａ）〜（ｃ）に示すマスは、積算された投票値を示している。
【００３１】
図４（ａ）に示すように、測定対象物が等速で移動している場合には、３つの特徴領域Ｑ１〜Ｑ３の投票値は前述した図２にて示したようにそれぞれ「６」「４」「２」となる。また、図４（ｂ）に示すように、測定対象物が減速している場合には、３つの特徴領域Ｑ１〜Ｑ３の投票値は前述した図３にて示したようにそれぞれ「７」「５」「３」となる。
【００３２】
そして、投票値評価部１５は、各特徴領域Ｑ１〜Ｑ３の投票値の増加、減少に基づいて、測定対象物が減速しているか、或いは加速しているかを判断する。具体的には、投票値が増加している場合には測定対象物は減速しているものと判断し、投票値が減少している場合には測定対象物は加速しているものと判断する。
【００３３】
図４（ｂ）に示す場合には、各特徴領域Ｑ１〜Ｑ３の投票値は増加しているので（即ち、「６」「４」「２」から「７」「５」「３」へと変化しているので）、測定対象物は減速しているものと判断する。そして、投票値補正部１６は、測定対象物が減速していると判断された場合には、減速後の影響による投票値の増加分に基づいて、各特徴領域Ｑ１〜Ｑ３の投票値を補正する。
【００３４】
以下、具体的に説明すると、測定対象物が減速したことにより、各特徴領域Ｑ１〜Ｑ３の投票値は「１」ずつ加算されたことになる。即ち、図４（ｂ）のｑ１，ｑ２，ｑ３に示す投票値が加算されたことになり、減速後の影響による投票値は「１」である。本実施形態では、投票値補正部１６により、この投票値ｑ１，ｑ２，ｑ３を、特徴領域Ｑ１，Ｑ２の投票値に加算する処理を実行する。具体的には、図４（ｃ）に示すように、特徴領域Ｑ１に対して２つ分の投票値ｑ４，ｑ５を加算し、特徴領域Ｑ２に対して１つ分の投票値ｑ６を加算する。なお、特徴領域Ｑ３については加算処理を行わない。
【００３５】
つまり、特徴領域の各画素について、特徴領域が移動する方向（図中右側）に向けて補正値（加算する投票値）が小さくなるように設定している。即ち、加算する投票値は、左側から順に、「２」「１」「０」に設定されている。
【００３６】
その結果、補正後の投票値は、図４（ｃ）に示すように、各特徴領域Ｑ１〜Ｑ３に対してそれぞれ「９」「６」「３」となり、左端の投票値である「９」と右端の投票値である「３」の差分が「６」となり、この差分に基づいて算出される測定対象物の速度は、減速していることが反映されている。即ち、図４（ｂ）に示す投票値に基づいて測定対象物の速度を算出すると、左端の投票値である「７」と右端の投票値である「３」の差分が「４」であるから、測定対象物の減速が反映されていないが、図４（ｃ）に示す補正後の投票値に基づいて測定対象物の速度を算出すると差分が「６」となるので、減速が反映していることになる。即ち、投票値補正部１６により補正された投票値を採用して速度を求めることにより、測定対象物が減速している場合であっても、この速度を正確に求めることが可能となる。
【００３７】
［対象物が加速する場合］
次に、対象物が加速した場合について図５に示す説明図を参照して説明する。図２，図３の場合と同様に、図５（ａ）〜（ｄ）に示す各マスは、撮像部１１で撮像される画像の画素を模式化して示しており、斜線で示す画素は、特徴領域が検出されている領域を示している。
【００３８】
そして、時刻ｔ１，ｔ２，ｔ３，・・で撮像部１１より時系列的に画像が取得され、更に画像中に左側から右側に向けて加速している測定対象物が存在すると、図５（ａ）に示すように、時刻ｔ１〜ｔ４において、測定対象物の特徴領域はＰ１〜Ｐ３に示す３つの画素にて検出され、図５（ｂ）に示すように、時刻ｔ５〜ｔ８において、測定対象物の特徴領域はＰ２〜Ｐ４に示す画素にて検出され、図５（ｃ）に示すように、加速したことにより時刻ｔ９，ｔ１０において、測定対象物の特徴領域はＰ３〜Ｐ５に示す画素にて検出され、更に、図５（ｄ）に示すように、時刻ｔ１１において、測定対象物の特徴領域はＰ４〜Ｐ６に示す画素にて検出される。
【００３９】
換言すれば、時刻ｔ１〜ｔ４の間は特徴領域は画素Ｐ１〜Ｐ３に停滞し、時刻ｔ５〜ｔ８の間は特徴領域は画素Ｐ２〜Ｐ４に停滞し、時刻ｔ９，ｔ１０の間は特徴領域は画素Ｐ３〜Ｐ５に停滞し、時刻ｔ１１の間は特徴領域は画素Ｐ４〜Ｐ６に停滞する。つまり、測定対象物が加速したことにより、画素Ｐ３〜Ｐ５、画素Ｐ４〜Ｐ６に停滞する時間が短くなっている。
【００４０】
そして、各画素には特徴領域が停滞した回数分の投票値が付与されて積算される。従って、図５（ａ）に示す時刻ｔ１〜ｔ４では、画素Ｐ１〜Ｐ３には、時刻ｔ１〜ｔ４の４画像分の投票値が付与されるので、それぞれ投票値は「４」となる。次いで、図５（ｂ）に示す時刻ｔ５〜ｔ８では、画素Ｐ２〜Ｐ４に対して、４画像分の投票値が付与されるので、それぞれに投票値「４」が加算されて、画素Ｐ２〜Ｐ４の投票値はそれぞれ「８」「８」「４」となる。この際、特徴領域の外側となる画素Ｐ１は、投票値がリセットされる。即ち、図５（ｂ）に示す画素Ｐ１の投票値は「０」とされる。
【００４１】
更に、図５（ｃ）に示す時刻ｔ９，ｔ１０では、画素Ｐ３〜Ｐ５に対して２画像分の投票値が付与されるので、それぞれに投票値「２」が加算されて、画素Ｐ３〜Ｐ５の投票値はそれぞれ「１０」「６」「２」となる。また、画素Ｐ２の投票値はリセットされて「０」となる。
【００４２】
また、図５（ｄ）に示す時刻ｔ１１では、画素Ｐ４〜Ｐ６に対して１画像分の投票値が付与されるので、それぞれに投票値「１」が加算されて、画素Ｐ４〜Ｐ６の投票値はそれぞれ「７」「３」「１」となる。また、画素Ｐ３の投票値はリセットされて「０」となる。
【００４３】
速度算出部１７は、投票値の傾斜（変化）に基づいて測定対象物の速度を求める。具体的には、左端の投票値である「７」と右端の投票値である「１」の差分を求め、この差分の逆数が速度に対応する数値となるので、この数値に基づいて測定対象物の速度を求める。この際、「７」と「１」の差分は「６」であり、この逆数に応じた速度が算出されることになる。しかし、実際には測定対象物は加速しているので、正確な速度が求められていないことになる。
【００４４】
本実施形態では、図１に示した投票値評価部１５、及び投票値補正部１６により、測定対象物の実際の速度が反映するように投票値を補正する。以下、投票値を補正する処理について、図６を参照して説明する。
【００４５】
図６は、測定対象物が加速しながら移動しているときの、３画素分の特徴領域の投票値の変化を模式的に示す説明図であり、図６（ａ）は特徴領域が図５（ｃ）の状態にある場合の投票値を示し、図６（ｂ）は測定対象物が加速して図５（ｄ）の状態にある場合の投票値を示し、図６（ｃ）は投票値補正部１６により補正した後の投票値を示している。また、図６（ａ）〜（ｃ）に示すマスは、積算された投票値を示している。
【００４６】
図６（ａ）に示すように、測定対象物が等速状態から加速に移行する場合には、３つの特徴領域Ｑ１１〜Ｑ１３の投票値は前述した図５（ｃ）に示したようにそれぞれ「１０」「６」「２」となる。また、図６（ｂ）に示すように、測定対象物が加速している場合には、各画素に停滞する時間が減少するので３つの特徴領域Ｑ１１〜Ｑ１３の投票値は、それぞれ「７」「３」「１」となる。
【００４７】
そして、投票値評価部１５は、各特徴領域Ｑ１１〜Ｑ１３の投票値の増加、減少に基づいて、測定対象物が減速しているか、或いは加速しているかを判断する。具体的には、投票値が増加している場合には測定対象物は減速しているものと判断し、投票値が減少している場合には測定対象物は加速しているものと判断する。
【００４８】
図６（ｂ）に示す場合には、各特徴領域Ｑ１３の投票値が減少しているので（即ち「２」から「１」へと変化しているので）、測定対象物は加速しているものと判断する。そして、投票値補正部１６は、測定対象物が加速していると判断された場合には、特徴領域Ｑ１１の投票値を補正する。
【００４９】
以下、具体的に説明すると、測定対象物が加速したことにより、各特徴領域Ｑ１１〜Ｑ１３の投票値は「１」ずつ加算されたことになる。即ち、図６（ｂ）のｑ１１，ｑ１２，ｑ１３に示す投票値が加算されたことになる。つまり、加速後の影響による投票値は「１」であり、これ以外の投票値は加速前の影響による投票値である。
【００５０】
この場合、特徴領域Ｑ１２とＱ１３の投票値より得られる速度が実際の速度を反映した数値となる。つまり、特徴領域Ｑ１２の投票値「３」と特徴領域Ｑ１３の投票値「１」の差分値は「２」であり、この差分値を用いることによりにより現実に近い速度を求めることができる。ところが、図６（ｂ）の特徴領域Ｑ１１の投票値は「７」であるから、Ｑ１１とＱ１３の投票値の差分は「６」となり、測定対象物の実際の速度を反映していないことになる。
【００５１】
本実施形態では、投票値補正部１６により、特徴領域Ｑ１１の投票値を変更することにより、実際の速度が反映されるようにする。具体的には、特徴領域Ｑ１２とＱ１３との間の投票値の差分は「２」であるから、特徴領域Ｑ１１とＱ１２との間の投票値の差分もこれと同一の「２」となるように補正する。即ち、図６（ｃ）に示すように、特徴領域Ｑ１１の投票値から２つ分を削減し、投票値を「５」に補正する。その結果、特徴領域Ｑ１１とＱ１３の差分値は「４」となり、測定対象物の速度を反映した速度を算出することができることになる。即ち、投票値補正部１６により補正された投票値を採用して速度を求めることにより、測定対象物が加速している場合であっても、この速度を正確に求めることが可能となる。
【００５２】
［処理手順の説明］
次に、上述のように構成された本実施形態に係る動き検出装置の処理動作を図７に示すフローチャートを参照して説明する。
【００５３】
初めに、ステップＳ１１において、撮像部１１は、車両の周辺画像を時系列的に撮像し、撮像した画像データを出力する。ステップＳ１２において、特徴抽出部１２は、取得した画像についてエッジ検出を行う。更に、ステップＳ１３において、エッジの画素を２５５とし、エッジ以外の画素を０とする処理、即ち２値化処理を実行する。ステップＳ１４において、特徴抽出部１２は、エッジ幅が１画素となるように細線化する。
【００５４】
更に、ステップＳ１５において、特徴規格化部１３は、エッジ幅が均一となるように膨張させ、エッジ幅を規格化する。この処理では、エッジ幅を例えば３画素とする。このエッジ幅に対応する領域を特徴領域とする。
【００５５】
ステップＳ１６において、特徴投票部１４は、特徴領域に該当する画素の投票値に「１」を加算し、特徴領域に該当しない画素の投票値をリセットする。
【００５６】
ステップＳ１７において、投票値評価部１５は、前回速度から算出した現時刻における推定投票値と、実際の投票値とを比較し、増減が存在する場合にはステップＳ１８に処理を進め、増減が無ければステップＳ２１に処理を進める。
【００５７】
ステップＳ１８において、増減量を算出し、増加である場合にはステップＳ１９に処理を進め、減少である場合にはステップＳ２０に処理を進める。
【００５８】
ステップＳ１９において、投票値補正部１６は、投票値の増加量に基づいて投票値を補正する。具体的には、図４に示したように、投票値を追加する処理を実行する。
【００５９】
ステップＳ２０において、投票値補正部１６は、投票値の減少量に基づいて、投票値を補正する。具体的には、図６に示したように、投票値を削減する処理を実行する。
【００６０】
ステップＳ２１において、速度算出部１７は、求められた投票値、或いは補正された投票値に基づいて、測定対象物の速度を算出する。
【００６１】
ステップＳ２２において、速度算出部１７は、全てのエッジについて速度を算出したか否かを判定し、算出していなければ（ステップＳ２２でＮＯ）、ステップＳ１７に処理を戻し、算出していれば（ステップＳ２２でＹＥＳ）、ステップＳ２３に処理を進める。
【００６２】
ステップＳ２３において、イグニッションがオフであるか否かを判断し、オフでなければ（ステップＳ２３でＮＯ）、ステップＳ１１に処理を戻し、オフであれば（ステップＳ２３でＹＥＳ）、本処理を終了する。
【００６３】
このようにして、本実施形態に係る動き検出装置では、各特徴領域の投票値の増減に基づいて、測定対象物が等速で移動しているか、減速しているか、或いは加速しているかを判断し、減速していると判断された場合には、特徴領域に対応する各画素の投票値に補正値を加算する処理を行う。この際、加算値は、特徴領域が移動する方向に向けて小さくなるように設定する。即ち、図４に示したように、移動する方向に向けて「２」「１」「０」の補正値を加算する。その結果、測定対象物が減速していることを即時に求めることができ、動き検出の即応性を向上させることができる。
【００６４】
また、測定対象物の速度が加速していると判断された場合には、特徴領域の移動元となる画素の投票値を削減する処理を行う。即ち、図６に示したように、移動元となる画素Ｑ１１の投票値を２個分削減することにより、投票値の変化（傾き）を低減することができるので、この投票値に基づいて求められる測定対象物の移動速度は、測定対象物が加速したことを反映した速度となる。従って、測定対象物が加速していることを即時に求めることができ、動き検出の即応性を向上させることができる。
【００６５】
更に、測定対象物の特徴抽出の手法として、コーナエッジ成分を検出することにより、高精度な特徴点の検出が可能となり、特徴領域の移動状況を確実に認識することが可能となる。また、他の手法として測定対象物の形状特徴成分、例えば、歩行者の頭部や眼等を抽出して特徴領域とすることにより、特徴領域の移動状況を高精度に認識することが可能となる。
【００６６】
以上、本発明の動き検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【００６７】
例えば、上述した実施形態では、特徴領域を３画素としたが、本発明はこれに限定されるものではなく、４画素以上とすることも可能である。
【産業上の利用可能性】
【００６８】
本発明は、測定対象物が加速、減速した場合であっても対象物の動きを高精度に検出することに利用することができる。
【符号の説明】
【００６９】
１１ 撮像部
１２ 特徴抽出部
１３ 特徴規格化部
１４ 特徴投票部
１５ 投票値評価部
１６ 投票値補正部
１７ 速度算出部
１００ 動き検出装置
【特許請求の範囲】
【請求項１】
車両周辺の画像を時系列的に複数撮像する撮像手段と、
前記撮像手段にて撮像された複数の画像からそれぞれ測定対象物の特徴点を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴点の大きさを、前記画像の画素に対応して規格化し、規格化された特徴点を特徴領域として設定する特徴点規格化手段と、
前記特徴点規格化手段にて設定された特徴領域が、前記複数の画素に含まれる各画素について、前記特徴領域が存在した場合に１つの投票値を付与し、更に、複数の画像に対して付与される前記投票値を各画素毎に積算する特徴領域投票手段と、
特徴領域に対応する画素の投票値、及び特徴領域の過去の動き情報に基づいて、特徴領域の加速、減速を評価する投票値評価手段と、
前記投票値評価手段による評価結果に基づいて、前記特徴領域に対応する各画素の投票値を補正する投票値補正手段と、
前記特徴領域に対応する各画素の補正後の投票値に基づいて、前記特徴領域の移動速度を算出する移動速度算出手段と、
を備えたことを特徴とする動き検出装置。
【請求項２】
前記投票値評価手段は、前記特徴領域に対応する画素の投票値が増加した場合に、前記測定対象物の移動速度が減速しているものと判断し、
前記投票値補正手段は、前記測定対象物が減速していると判断された場合には、前記特徴領域に存在する画素の投票値を、減速前の影響による投票値と減速後の影響による投票値に分類し、前記減速後の影響による投票値に基づいて、前記特徴領域に対応する各画素の投票値に補正値を加算する処理を実行すること
を特徴とする請求項１に記載の動き検出装置。
【請求項３】
前記投票値補正手段は、前記特徴領域に対応する各画素について、特徴領域が移動する方向に向けて前記補正値が小さくなるように設定することを特徴とする請求項２に記載の動き検出装置。
【請求項４】
前記投票値評価手段は、前記特徴位置に対応する画素の投票値が減少した場合に、前記測定対象物の移動速度が加速しているものと判断し、
前記投票値補正手段は、前記測定対象物が加速していると判断された場合には、前記特徴領域に存在する画素の投票値を、加速前の影響による投票値と加速後の影響による投票値に分類し、前記加速後の影響による投票値に基づいて、前記特徴領域に対応する各画素の投票値から補正値を減算する処理を実行すること
を特徴とする請求項１に記載の動き検出装置。
【請求項５】
前記投票値補正手段は、前記特徴領域に対応する各画素について、特徴領域が移動する際の移動元となる特徴領域に対応する画素の補正値が大きくなるように設定することを特徴とする請求項４に記載の動き検出装置。
【請求項６】
前記特徴抽出手段は、前記測定対象物のコーナエッジ成分を、前記特徴領域として抽出することを特徴とする請求項１〜請求項５のいずれか１項に記載の動き検出装置。
【請求項７】
前記特徴抽出手段は、前記測定対象物の形状特徴成分を、前記特徴領域として抽出することを特徴とする請求項１〜請求項５のいずれか１項に記載の動き検出装置。
【請求項１】
車両周辺の画像を時系列的に複数撮像する撮像手段と、
前記撮像手段にて撮像された複数の画像からそれぞれ測定対象物の特徴点を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴点の大きさを、前記画像の画素に対応して規格化し、規格化された特徴点を特徴領域として設定する特徴点規格化手段と、
前記特徴点規格化手段にて設定された特徴領域が、前記複数の画素に含まれる各画素について、前記特徴領域が存在した場合に１つの投票値を付与し、更に、複数の画像に対して付与される前記投票値を各画素毎に積算する特徴領域投票手段と、
特徴領域に対応する画素の投票値、及び特徴領域の過去の動き情報に基づいて、特徴領域の加速、減速を評価する投票値評価手段と、
前記投票値評価手段による評価結果に基づいて、前記特徴領域に対応する各画素の投票値を補正する投票値補正手段と、
前記特徴領域に対応する各画素の補正後の投票値に基づいて、前記特徴領域の移動速度を算出する移動速度算出手段と、
を備えたことを特徴とする動き検出装置。
【請求項２】
前記投票値評価手段は、前記特徴領域に対応する画素の投票値が増加した場合に、前記測定対象物の移動速度が減速しているものと判断し、
前記投票値補正手段は、前記測定対象物が減速していると判断された場合には、前記特徴領域に存在する画素の投票値を、減速前の影響による投票値と減速後の影響による投票値に分類し、前記減速後の影響による投票値に基づいて、前記特徴領域に対応する各画素の投票値に補正値を加算する処理を実行すること
を特徴とする請求項１に記載の動き検出装置。
【請求項３】
前記投票値補正手段は、前記特徴領域に対応する各画素について、特徴領域が移動する方向に向けて前記補正値が小さくなるように設定することを特徴とする請求項２に記載の動き検出装置。
【請求項４】
前記投票値評価手段は、前記特徴位置に対応する画素の投票値が減少した場合に、前記測定対象物の移動速度が加速しているものと判断し、
前記投票値補正手段は、前記測定対象物が加速していると判断された場合には、前記特徴領域に存在する画素の投票値を、加速前の影響による投票値と加速後の影響による投票値に分類し、前記加速後の影響による投票値に基づいて、前記特徴領域に対応する各画素の投票値から補正値を減算する処理を実行すること
を特徴とする請求項１に記載の動き検出装置。
【請求項５】
前記投票値補正手段は、前記特徴領域に対応する各画素について、特徴領域が移動する際の移動元となる特徴領域に対応する画素の補正値が大きくなるように設定することを特徴とする請求項４に記載の動き検出装置。
【請求項６】
前記特徴抽出手段は、前記測定対象物のコーナエッジ成分を、前記特徴領域として抽出することを特徴とする請求項１〜請求項５のいずれか１項に記載の動き検出装置。
【請求項７】
前記特徴抽出手段は、前記測定対象物の形状特徴成分を、前記特徴領域として抽出することを特徴とする請求項１〜請求項５のいずれか１項に記載の動き検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−５０７９７（Ｐ２０１３−５０７９７Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８７５３２（Ｐ２０１１−１８７５３２）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]