移動体検出装置及び移動体検出方法
【課題】移動体の検出精度を向上させることが可能な移動体検出装置及び移動体検出方法を提供する。
【解決手段】移動体検出装置1は、カメラ10による撮像にて得られた異なる時刻の画像データを、鳥瞰視上で位置を合わせる位置合わせ部32と、位置合わせ部32により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、自車両周囲の移動体を検出する移動体検出部33とを備えている。また、移動体検出部33は、検出領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する差分波形生成部33aと、差分波形生成部33aにより生成された差分波形の大きさが所定以上である場合、移動体検出部33による移動体検出を禁止する禁止部33bとを有する。
【解決手段】移動体検出装置1は、カメラ10による撮像にて得られた異なる時刻の画像データを、鳥瞰視上で位置を合わせる位置合わせ部32と、位置合わせ部32により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、自車両周囲の移動体を検出する移動体検出部33とを備えている。また、移動体検出部33は、検出領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する差分波形生成部33aと、差分波形生成部33aにより生成された差分波形の大きさが所定以上である場合、移動体検出部33による移動体検出を禁止する禁止部33bとを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体検出装置及び移動体検出方法に関する。
【背景技術】
【0002】
従来、車両周囲を撮影するカメラを備え、カメラにより撮影された画像を鳥瞰画像に変換すると共に、異なる時刻の鳥瞰画像の差分をとり、この差分に基づいて車両周囲の立体物を検出する障害物検出装置が提案されている。この障害物検出装置は、鳥瞰画像内に他車両等の立体物が存在する場合に他車両等が差分となって表れることから、この特徴に基づいて他車両等の立体物を検出する(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−227646号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載の技術を用いて、立体物が移動体であるか静止物であるかを判断する技術に応用した場合、静止物を移動体であると誤判断してしまうことがあった。すなわち、特許文献1に記載の障害物検出装置において、鳥瞰画像内に草や壁(以下草壁という)などのテクスチャが複雑な立体物が存在する場合、複雑な差分波形となって表れることとなる。このため、複雑な差分波形に基づいて、立体物が移動体であるか静止物であるかを判断しなければならず、草壁のような静止物を誤って移動体と判断してしまう可能性があった。
【0005】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、移動体の検出精度を向上させることが可能な移動体検出装置及び移動体検出方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の移動体検出装置では、撮像にて得られた異なる時刻の画像データを、鳥瞰視上で位置を合わせて、位置合わせされた異なる時刻の画像データの差分画像データに基づいて、自車両周囲の移動体を検出する。また、移動体検出にあたっては、所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する。さらに、移動体検出にあたり、差分波形の大きさが所定以上である場合には移動体検出が禁止される。
【発明の効果】
【0007】
本発明によれば、生成された差分波形の大きさが所定以上である場合、移動体検出を禁止するため、例えば草や壁のようにテクスチャが複雑で差分波形が大きく表れやすい立体物について、誤って移動体と判断しないように移動体検出自体が禁止されることとなる。従って、移動体の検出精度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る移動体検出装置の概略構成図であって、移動体検出装置1が車両Vに搭載される場合の例を示している。
【図2】図1に示した車両の走行状態を示す上面図である。
【図3】図1に示した計算機の詳細を示すブロック図である。
【図4】図3に示した位置合わせ部の処理の概要を示す上面図であり、(a)は車両Vの移動状態を示し、(b)は位置合わせの概要を示している。
【図5】図3に示した差分波形生成部による差分波形の生成の様子を示す概略図である。
【図6】差分波形を示す図であり、(a)は検出領域に他車両が存在する場合の差分波形を示し、(b)は検出領域に草壁が存在する場合の差分波形を示している。
【図7】本実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートである。
【図8】第2実施形態に係る計算機の詳細を示すブロック図である。
【図9】第2実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートであって、前半部分を示している。
【図10】第2実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートであって、後半部分を示している。
【図11】第3実施形態に係る計算機の詳細を示すブロック図である。
【図12】第3実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートであって、前半部分を示している。
【図13】第3実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートであって、後半部分を示している。
【発明を実施するための形態】
【0009】
以下、本発明の好適な実施形態を図面に基づいて説明する。図1は、本実施形態に係る移動体検出装置1の概略構成図であって、移動体検出装置1が車両Vに搭載される場合の例を示している。図1に示す移動体検出装置1は、自車両Vの周囲の撮像結果から自車両Vの運転者に対して各種情報を提供するものであって、カメラ(撮像手段)10と、車速センサ20と、計算機30とを備えている。
【0010】
図1に示すカメラ10は、自車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように取り付けられている。カメラ10は、この位置から検出領域を撮像するようになっている。車速センサ20は、自車両Vの走行速度を検出するものであって、例えば車輪の回転数を検知するセンサなどが適用される。計算機30は、カメラ10により撮像された画像に基づいて、自車両Vの周囲に存在する移動体(例えば他車両、二輪車等)を検出するものである。
【0011】
また、移動体検出装置1は、不図示の警報装置を備えており、計算機30により検出された移動体が自車両Vに接触する可能性がある場合などに、自車両Vの運転者に警告するものである。
【0012】
図2は、図1に示した車両の走行状態を示す上面図である。図2に示すようにカメラ10は、自車両Vの後側方を撮像可能となっている。自車両Vが走行する走行車線に隣接する隣接車線には、他車両等の移動体を検出するための検出領域(所定領域)A1,A2が設定されている。計算機30は、検出領域A1,A2内に移動体が存在するか否かを検出することとなる。これにより、自車両Vが車線変更した場合に接触の可能性があるかを判断することができるからである。
【0013】
このような検出領域A1,A2は、自車両Vに対する相対位置から設定されてもよいし、白線の位置を基準に設定されてもよい。白線の位置を基準に設定する場合、移動体検出装置1は、例えば既存の白線認識技術等を利用するとよい。また、検出領域A1,A2は、自車両Vの後側方に限らず、他の箇所に設定されてもよい。
【0014】
図3は、図1に示した計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10及び車速センサ20についても図示するものとする。
【0015】
図3に示すように、計算機30は、視点変換部31と、位置合わせ部(位置合わせ手段)32と、移動体検出部(移動体検出手段)33とを備えている。
【0016】
視点変換部31は、カメラ10による撮像にて得られた検出領域A1,A2を含む撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換するものである。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載さるようにして実行される。
【0017】
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせるものである。図4は、図3に示した位置合わせ部32の処理の概要を示す上面図であり、(a)は車両Vの移動状態を示し、(b)は位置合わせの概要を示している。
【0018】
図4(a)に示すように、現時刻の自車両VがV1に位置し、一時刻前の自車両VがV2に位置しているとする。また、自車両Vの後側方向に他車両Vが位置して自車両Vと並走状態にあり、現時刻の他車両VがV3に位置し、一時刻前の他車両VがV4に位置しているとする。さらに、自車両Vは、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であっても良いし、任意の時間だけ過去の時刻であっても良い。
【0019】
このような状態において、現時刻における鳥瞰画像PBtは図4(b)に示すようになる。この鳥瞰画像PBtでは、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V3については倒れ込みが発生している。また、一時刻前における鳥瞰画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V4については倒れ込みが発生している。
【0020】
位置合わせ部32は、上記のような鳥瞰画像PBt,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰画像PBtと位置を一致させる。オフセット量d’は、図4(a)に示した移動距離dに対応するだけの量となり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
【0021】
また、位置合わせ後において位置合わせ部32は、鳥瞰画像PBt,PBt−1の差分ととり、差分画像PDtのデータを生成する。ここで、差分画像PDtの画素値は、鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の値を超えたときに「1」とし、超えないときに「0」としてもよい。
【0022】
再度、図3を参照する。移動体検出部33は、図4に示したような差分画像PDtのデータに基づいて移動体を検出するものである。この移動体検出部33は、差分波形生成部(差分波形生成手段)33aと、禁止部(禁止手段)33bとを備えている。
【0023】
図5は、図3に示した差分波形生成部33aによる差分波形の生成の様子を示す概略図である。図5に示すように、移動体検出部33は、差分画像PDtのうち検出領域A1,
A2に相当する部分から、差分波形DWtを生成する。この際、移動体検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWtを生成する。なお、図5に示す例では、便宜上検出領域A1のみを用いて説明する。
【0024】
具体的に説明すると、まず移動体検出部33は、差分画像DWtのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、移動体検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。ここで、所定の差分を示す差分画素DPは、差分画像DWtの画素値が鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものである場合、所定の値を超える画素であり、差分画像DWtの画素値が「0」「1」で表現されている場合、「1」を示す画素である。
【0025】
移動体検出部33は、差分画素DPの数をカウントした後、線Laと線L1との交点CPを求める。そして、移動体検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置(図5の紙面上下方向軸における位置)を決定し、カウント数から縦軸位置(図5の紙面左右方向軸における位置)を決定する。
【0026】
以下同様に、移動体検出部33は、立体物が倒れ込む方向上の線を定義して、差分画素DPの数をカウントし、交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定する。移動体検出部33は、上記を順次繰り返して度数分布化することで差分波形DWtを生成する。
【0027】
なお、図5に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなってしまう。このため、移動体検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、移動体検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWtに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWtの値はほぼ同じとなっている。
【0028】
差分波形DWtの生成後、移動体検出部33の禁止部33bは、移動体の検出処理を禁止すべきか否かを判断する。図6は、差分波形DWtを示す図であり、(a)は検出領域A1,A2に他車両が存在する場合の差分波形DWtを示し、(b)は検出領域A1,A2に草壁が存在する場合の差分波形DWtを示している。
【0029】
図6(a)に示すように、検出領域A1,A2に他車両が存在する場合、差分波形DWtはある程度の大きさを示す。このとき、差分波形DWtには他車両のタイヤに相当する箇所において差分が表れるため、極大値は大凡2つとなる。
【0030】
一方、検出領域A1,A2に草壁が存在する場合、図6(b)に示すように、差分波形DWtは、他車両が存在するときよりも大きくなる。さらに、差分波形DWtは、草壁など複雑なテクスチャに応じて、起伏の激しいものとなる。
【0031】
禁止部33bは、図6(b)に示すように、差分波形DWtの大きさが所定以上である場合、差分波形DWtが草壁によるものと判断し、移動体検出部33による移動体検出を禁止させる。具体的に禁止部33bは、差分波形DWtの平均値avrが閾値TH以上である場合、差分波形DWtの大きさが所定以上であると判断して移動体検出部33による移動体検出を禁止させる。
【0032】
また、禁止部33bは、差分波形DWtのうち、閾値TH以上となる面積割合が所定割合以上である場合、差分波形DWtの大きさが所定以上であると判断して移動体検出部33による移動体検出を禁止させてもよい。
【0033】
このように、本実施形態に係る移動体検出装置1は、差分波形DWtが草壁によるものと判断できる場合に移動体検出部33による移動体検出を禁止することで、移動体の検出精度を向上させることとなる。
【0034】
また、禁止部33bは、より精度を高めるために、以下の場合に移動体検出を禁止させることが好ましい。例えば上記の如く、所定以上の大きさを示す差分波形DWtが自車両Vの進行方向側から発生した場合に、移動体検出を禁止させる。草壁は静止物であるため、自車両Vの進行方向側から発生する傾向にある。よって、このような場合、禁止部33bは移動体検出を禁止させる。
【0035】
一方、禁止部33bは、所定以上の大きさを示す差分波形DWtが進行方向側と逆方向から発生した場合に、移動体検出を許可する。例えばトラックなどはタイヤの間にコンプレッサ等があり、このコンプレッサ等により差分波形DWtが大きくなってしまうことがある。このような場合、禁止部33bにより移動体検出を禁止してしまうと、移動体を検出できなくなってしまう。そこで、禁止部33bは、トラックなどが自車両Vを追い越す可能性を考慮し、所定以上の大きさを示す差分波形DWtが進行方向側と逆方向から発生した場合に移動体検出を許可する。
【0036】
また、トラックなどは、草壁と異なり一時刻前の差分波形DWt−1と今回の差分波形DWtとがあまり変化しない傾向にある。このため、禁止部33bは、所定以上の大きさを示す差分波形DWtの安定性が所定値以上である場合、移動体検出を許可することが好ましい。これにより、一層移動体の検出精度を高めることができるからである。ここで、安定性とは、類似度すなわち相互相関により求めることができるが、特に相互相関に限られるものではない。
【0037】
次に、本実施形態に係る移動体検出方法を説明する。図7は、本実施形態に係る移動体検出装置1の移動体検出方法を示すフローチャートである。
【0038】
図7に示すように、まず、計算機30は、車速センサ20からの信号に基づいて車速を検出する(S1)。次いで、位置合わせ部32は差分を検出する(S2)。この際、位置合わせ部32は、図4を参照して説明したように差分画像PDtのデータを生成する。
【0039】
次いで、差分波形生成部33aは、ステップS2において生成された差分画像PDtに基づき、図5を参照して説明したようにして差分波形DWtを生成する(S3)。次いで、移動体検出部33は、現在草壁の検出中であるか否かを判断する(S4)。
【0040】
草壁検出中であると判断した場合(S4:YES)、移動体検出部33は、終了差分閾値を設定する(S5)。そして、処理はステップS7に移行する。一方、草壁検出中でないと判断した場合(S4:NO)、移動体検出部33は、開始差分閾値を設定する(S6)。そして、処理はステップS7に移行する。
【0041】
ここで、開始差分閾値及び終了差分閾値は、図6(a)及び図6(b)に示した閾値THに相当するものである。なお、終了差分閾値は、開始差分閾値よりも低く設定される。開始差分閾値と終了差分閾値とが同じ値であると、草壁の検出状態と非検出状態とが次々に移り変わってしまい、処理が安定しなくなってしまう可能性がある。このため、本実施
形態では、終了差分閾値を開始差分閾値よりも低く設定して、処理を安定させるようにしている。
【0042】
ステップS7において禁止部33bは、ステップS3において生成した差分波形DWtと、ステップS5,S6にて設定した閾値THとを比較し、差分波形DWtの大きさが所定以上であるか否かを判断する(S7)。差分波形DWtが所定以上でないと判断した場合(S7:NO)、差分波形DWtは草壁によるものではないと判断できる。よって、移動体検出部33は、一時刻前の差分波形DWt−1と今回の差分波形DWtとを対応付けることで、立体物の推定速度を算出する(S11)。
【0043】
その後、移動体検出部33は、ステップS11において算出された推定速度が検出対象であるか否かを判断する(S12)。ここで、本実施形態において移動体検出装置1は、車線変更時に接触の可能性がある他車両や二輪車等を検出するものである。このため、移動体検出部33は、ステップS12において推定速度が他車両や二輪車等の速度として適切であるかを判断することとなる。
【0044】
推定速度が他車両や二輪車等の速度として適切であると判断した場合(S12:YES)、移動体検出部33は、差分波形DWtによって示される立体物が検出対象となる移動体(他車両や二輪車等)であると判断する(S13)。そして、図7に示す処理は終了する。一方、推定速度が他車両や二輪車等の速度として適切でないと判断した場合(S12:NO)、移動体検出部33は、差分波形DWtによって示される立体物が検出対象となる移動体でないと判断し、図7に示す処理は終了する。
【0045】
ところで、ステップS7に示す処理において差分波形DWtが所定以上であると判断した場合(S7:YES)、差分波形DWtが草壁によるものである可能性がある。このため、禁止部33bは、差分波形DWtが自車両Vの進行方向側から発生したものであるか否かを判断する(S8)。差分波形DWtが自車両Vの進行方向側から発生したものでないと判断した場合(S8:NO)、差分波形DWtが草壁によるものでなくトラック等であると判断できることから、処理はステップS11に移行する。
【0046】
一方、差分波形DWtが自車両Vの進行方向側から発生したものであると判断した場合(S8:YES)、差分波形DWtが草壁によるものである可能性がある。このため、禁止部33bは、一時刻前の差分波形DWt−1と今回の差分波形DWtとの類似度が所定値未満であるか否かを判断する(S9)。すなわち、差分波形DWtの安定性が高いか否かを判断することとなる。ここで、差分波形DWtが草壁によるものである場合、複雑なテクスチャであるかゆえに、差分波形DWtは激しく変化する可能性が高く、安定性は低くなる。一方、差分波形DWtがトラック等である場合、差分波形DWtは草壁よりも変化が少なく安定する傾向にある。
【0047】
よって、一時刻前の差分波形DWt−1と今回の差分波形DWtとの類似度が所定値未満であると判断した場合(S9:YES)、禁止部33bは、差分波形DWtが草壁による静止物であると判断する(S10)。そして、ステップS11〜S13に示す処理を実行することなく、図7に示す処理は終了する。このように、禁止部33bは、差分波形DWtが草壁による静止物であると判断した場合、移動体検出部33bによる移動体検出を禁止することとなる。
【0048】
このようにして、本実施形態に係る移動体検出装置1及び移動体検出方法によれば、生成された差分波形DWtの大きさが所定以上である場合、移動体検出を禁止する。このため、例えば草や壁のようにテクスチャが複雑で差分波形DWtが大きく表れやすい立体物について、誤って移動体と判断しないように、移動体検出自体が禁止されることとなる。
従って、移動体の検出精度を向上させることができる。
【0049】
また、大きさが所定以上の差分波形DWtが、自車両の進行方向側から発生した場合、移動体検出を禁止し、当該進行方向と逆方向から発生した場合、移動体検出を許可する。このため、草壁などのように自車両の進行方向側から発生し易い立体物については移動体検出を禁止できると共に、トラックなどのように当該進行方向と逆方向から発生する可能性があり、且つ差分波形が大きく表れる移動体については移動体検出を行うことができる。従って、一層移動体の検出精度を向上させることができる。
【0050】
また、差分波形DWtの大きさが所定以上である場合において、異なる時刻の差分波形DWt,DWt−1の安定性が所定値以上であるとき、移動体検出を許可するため、例えばトラックのように差分波形が大きくなるものの草壁のように差分波形DWt,DWt−1の変化が少ない場合には、トラック等を判断できることから、移動体検出を許可する。これにより、一層移動体の検出精度を向上させることができる。
【0051】
また、差分波形DWtの平均値avrが閾値TH以上である場合に、差分波形DWtの大きさが所定以上であると判断するため、草壁のようにテクスチャが複雑で差分波形DWtが大きくなる場合を閾値処理により明確に判断することができる。
【0052】
また、閾値TH以上となる面積割合が所定割合以上である場合に、差分波形DWtの大きさが所定以上であると判断するため、草壁のようにテクスチャが複雑で差分波形DWtが大きくなる場合を閾値処理により明確に判断することができる。
【0053】
次に、本発明の第2実施形態を説明する。第2実施形態に係る移動体検出装置及び移動体検出方法は、第1実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第1実施形態との相違点を説明する。
【0054】
図8は、第2実施形態に係る計算機30の詳細を示すブロック図である。なお、図8においては、接続関係を明確とするためにカメラ10及び車速センサ20についても図示するものとする。
【0055】
図8に示すように、第2実施形態において車速センサ20は、移動体検出部33に対して車速データを送信する構成となっている。また、第2実施形態に係る移動体検出部33は、車両挙動の変化を判断する。この変化時において自車両Vは、カメラ10の光軸が変化してしまう。よって、図2に示した検出領域A1,A2もずれてしまうこととなる。具体的に車両加速時には、一度車両後端側が沈み込んだ後に持ち上がる。また、車両減速時には度車両後端側が持ち上がった後に沈み込む。これにより、検出領域A1,A2もやや遠めにずれたり、やや近めにずれたりしてしまい、検出領域A1,A2が瞬時的に隣接車線でなく路外に設定されてしまう場合がある。
【0056】
従って、第2実施形態に係る移動体検出部33は、車両挙動発生時に閾値THを変化させる。具体的に移動体検出部33は、草壁の検出中において車両挙動が変化すると予測される場合、閾値THを低める。すなわち、上記した終了差分閾値THを低く設定することとなる。また、移動体検出部33は、草壁の非検出中において車両挙動が変化すると予測される場合、閾値THを高める。すなわち、上記した開始差分閾値THを高く設定することとなる。
【0057】
なお、図8に示す例において移動体検出部33は車速センサ20からの信号により車両挙動の変化を予測しているが、これに限らず、車両挙動の変化については、横G、ヨーレート、操舵角、ブレーキ、及びアクセル開度などから予測してもよい。
【0058】
次に、第2実施形態に係る移動体検出方法を説明する。図9及び図10は、第2実施形態に係る移動体検出装置2の移動体検出方法を示すフローチャートである。
【0059】
図9に示すように、まず移動体検出部33は、車速センサ20からの信号に基づいて、車両挙動を予測する(S21)。次いで、移動体検出部33は、車両挙動が変化するか否かを判断する(S22)。車両挙動が変化しないと判断した場合(S22:NO)、処理はステップS26に移行する。
【0060】
一方、車両挙動が変化すると判断した場合(S22:YES)、移動体検出部33は、草壁検出中であるか否かを判断する(S23)。草壁検出中であると判断した場合(S23:YES)、移動体検出部33は、終了差分閾値を低下させる(S24)。草壁の検出中において車両挙動により撮像領域がずれてしまい、草壁の一部が検出領域A1,A2から外れてしまっても、終了差分閾値を低くすることにより壁草の検出が抜けないようにすることができるからである。その後、処理はステップS26に移行する。
【0061】
一方、草壁検出中でないと判断した場合(S23:NO)、移動体検出部33は、開始差分閾値を上昇させる(S25)。例えば車両検出中に車両挙動により検出領域A1,A2がずれてしまい、草壁の一部が検出領域A1,A2に入ってしまっても、閾値を高くすることにより折角車両検出中にも拘わらず草壁検出と判断してしま言わないようにすることができるからである。その後、処理はステップS26に移行する。
【0062】
なお、図9及び図10に示すステップS26〜S38の処理は、図7に示したステップS1〜S13の処理と同様であるため、説明を省略する。
【0063】
このようにして、第2実施形態に係る移動体検出装置2及び移動体検出方法によれば、第1実施形態と同様に、移動体の検出精度を(一層)向上させることができ、且つ、草壁のようにテクスチャが複雑で差分波形DWtが大きくなる場合を閾値処理により明確に判断することができる。
【0064】
さらに、第2実施形態によれば、前回処理において草壁を検出中である場合において、車両挙動が変化すると判断したとき、閾値THを低めるため、草壁の検出中において車両挙動により撮像領域がずれてしまい、草壁の一部が撮像領域から外れてしまっても、閾値THを低くすることにより壁草の検出が抜けないようにすることができる。
【0065】
また、前回処理において草壁を非検出中である場合において、車両挙動が変化すると判断したとき、閾値THを高めるため、例えば車両検出中に車両挙動により撮像領域がずれてしまい、草壁の一部が撮像領域に入ってしまっても、閾値THを高くすることにより折角車両検出中にも拘わらず草壁検出と判断してしま言わないようにすることができる。
【0066】
次に、本発明の第3実施形態を説明する。第3実施形態に係る移動体検出装置及び移動体検出方法は、第1実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第1実施形態との相違点を説明する。
【0067】
図11は、第3実施形態に係る計算機30の詳細を示すブロック図である。なお、図11においては、接続関係を明確とするためにカメラ10及び車速センサ20についても図示するものとする。
【0068】
図11に示すように、第3実施形態に係る計算機30は、区分線情報取得部(区分線情報取得手段)34を備えている。区分線情報取得部34は、車線を区分する区分線の情報
を取得するものである。すなわち、区分線情報取得部34は、カメラ10により撮像された撮像画像データから、車両上に描かれている区分線が白線であるか黄線であるか等の情報を取得する。
【0069】
また、移動体検出部33は、区分線情報取得部34により取得された区分線の情報に基づいて、検出領域A1,A2が路外であるか否かを判断する。そして、路外であると判断した場合、移動体検出部33は、上記した開始差分閾値及び終了差分閾値を低める。これにより、路外のように草壁が存在する可能性が高い領域を撮像しているときに、閾値を低めて草壁を検出し易くすることができる。
【0070】
次に、第3実施形態に係る移動体検出方法を説明する。図12及び図13は、第3実施形態に係る移動体検出装置3の移動体検出方法を示すフローチャートである。
【0071】
図12に示すように、まず区分線情報取得部34は、車線を区分する区分線の情報を取得する(S41)。次いで、移動体検出部33は、検出領域A1,A2が路外に存在する可能性が高いか否かを判断する(S42)。路外に存在する可能性が高いと判断できない場合(S42:NO)、処理はステップS44に移行する。
【0072】
一方、路外に存在する可能性が高いと判断できる場合(S42:YES)、移動体検出部33は、路外を撮像しているときに草壁を検出し易くなるように、開始差分閾値及び終了差分閾値を低下させる(S43)。その後、処理はステップS44に移行する。
【0073】
なお、図12及び図13に示すステップS44〜S56の処理は、図7に示したステップS1〜S13の処理と同様であるため、説明を省略する。
【0074】
このようにして、第3実施形態に係る移動体検出装置3及び移動体検出方法によれば、第1実施形態と同様に、移動体の検出精度を(一層)向上させることができ、且つ、草壁のようにテクスチャが複雑で差分波形DWtが大きくなる場合を閾値処理により明確に判断することができる。
【0075】
また、第3実施形態によれば、車線を区分する区分線の情報を取得し、移動体検出領域が路外である可能性が高いと判断できる場合、閾値THを低めるため、路外のように草壁が存在する可能性が高い領域を撮像しているときに、閾値THを低めて草壁を検出し易くすることができる。
【0076】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものでは無く、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【0077】
例えば、上記実施形態において、自車両Vの車速を速度センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。また、車両挙動についても画像のみから判断するようにしてもよい。
【0078】
なお、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDtを生成し、生成した差分画像PDtを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWtを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した
方向)に沿って評価することによって差分波形DWtを生成しても良い。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDtを生成し、差分画像PDtを鳥瞰図に変換した際の立体物の倒れ込み方向沿って評価できれば、必ずしも明に鳥瞰図を生成しなくとも良い。
【0079】
さらに、第1実施形態においては、ステップS8,S9の処理を実行しているが、これに限らず、これら処理の一方又は双方を省略してもよい。なお、第2及び第3実施形態も同様である。
【符号の説明】
【0080】
1〜3…移動距離検出装置
10…カメラ(撮像手段)
20…車速センサ
30…計算機
31…視点変換部
32…位置合わせ部(位置合わせ手段)
33…移動体検出部(移動体検出手段)
34…区分線情報取得部(区分線情報取得手段)
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
La,Lb…立体物が倒れ込む方向上の線
PBt…鳥瞰画像
PDt…差分画像
V…自車両、他車両
【技術分野】
【0001】
本発明は、移動体検出装置及び移動体検出方法に関する。
【背景技術】
【0002】
従来、車両周囲を撮影するカメラを備え、カメラにより撮影された画像を鳥瞰画像に変換すると共に、異なる時刻の鳥瞰画像の差分をとり、この差分に基づいて車両周囲の立体物を検出する障害物検出装置が提案されている。この障害物検出装置は、鳥瞰画像内に他車両等の立体物が存在する場合に他車両等が差分となって表れることから、この特徴に基づいて他車両等の立体物を検出する(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−227646号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載の技術を用いて、立体物が移動体であるか静止物であるかを判断する技術に応用した場合、静止物を移動体であると誤判断してしまうことがあった。すなわち、特許文献1に記載の障害物検出装置において、鳥瞰画像内に草や壁(以下草壁という)などのテクスチャが複雑な立体物が存在する場合、複雑な差分波形となって表れることとなる。このため、複雑な差分波形に基づいて、立体物が移動体であるか静止物であるかを判断しなければならず、草壁のような静止物を誤って移動体と判断してしまう可能性があった。
【0005】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、移動体の検出精度を向上させることが可能な移動体検出装置及び移動体検出方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の移動体検出装置では、撮像にて得られた異なる時刻の画像データを、鳥瞰視上で位置を合わせて、位置合わせされた異なる時刻の画像データの差分画像データに基づいて、自車両周囲の移動体を検出する。また、移動体検出にあたっては、所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する。さらに、移動体検出にあたり、差分波形の大きさが所定以上である場合には移動体検出が禁止される。
【発明の効果】
【0007】
本発明によれば、生成された差分波形の大きさが所定以上である場合、移動体検出を禁止するため、例えば草や壁のようにテクスチャが複雑で差分波形が大きく表れやすい立体物について、誤って移動体と判断しないように移動体検出自体が禁止されることとなる。従って、移動体の検出精度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る移動体検出装置の概略構成図であって、移動体検出装置1が車両Vに搭載される場合の例を示している。
【図2】図1に示した車両の走行状態を示す上面図である。
【図3】図1に示した計算機の詳細を示すブロック図である。
【図4】図3に示した位置合わせ部の処理の概要を示す上面図であり、(a)は車両Vの移動状態を示し、(b)は位置合わせの概要を示している。
【図5】図3に示した差分波形生成部による差分波形の生成の様子を示す概略図である。
【図6】差分波形を示す図であり、(a)は検出領域に他車両が存在する場合の差分波形を示し、(b)は検出領域に草壁が存在する場合の差分波形を示している。
【図7】本実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートである。
【図8】第2実施形態に係る計算機の詳細を示すブロック図である。
【図9】第2実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートであって、前半部分を示している。
【図10】第2実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートであって、後半部分を示している。
【図11】第3実施形態に係る計算機の詳細を示すブロック図である。
【図12】第3実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートであって、前半部分を示している。
【図13】第3実施形態に係る移動体検出装置の移動体検出方法を示すフローチャートであって、後半部分を示している。
【発明を実施するための形態】
【0009】
以下、本発明の好適な実施形態を図面に基づいて説明する。図1は、本実施形態に係る移動体検出装置1の概略構成図であって、移動体検出装置1が車両Vに搭載される場合の例を示している。図1に示す移動体検出装置1は、自車両Vの周囲の撮像結果から自車両Vの運転者に対して各種情報を提供するものであって、カメラ(撮像手段)10と、車速センサ20と、計算機30とを備えている。
【0010】
図1に示すカメラ10は、自車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように取り付けられている。カメラ10は、この位置から検出領域を撮像するようになっている。車速センサ20は、自車両Vの走行速度を検出するものであって、例えば車輪の回転数を検知するセンサなどが適用される。計算機30は、カメラ10により撮像された画像に基づいて、自車両Vの周囲に存在する移動体(例えば他車両、二輪車等)を検出するものである。
【0011】
また、移動体検出装置1は、不図示の警報装置を備えており、計算機30により検出された移動体が自車両Vに接触する可能性がある場合などに、自車両Vの運転者に警告するものである。
【0012】
図2は、図1に示した車両の走行状態を示す上面図である。図2に示すようにカメラ10は、自車両Vの後側方を撮像可能となっている。自車両Vが走行する走行車線に隣接する隣接車線には、他車両等の移動体を検出するための検出領域(所定領域)A1,A2が設定されている。計算機30は、検出領域A1,A2内に移動体が存在するか否かを検出することとなる。これにより、自車両Vが車線変更した場合に接触の可能性があるかを判断することができるからである。
【0013】
このような検出領域A1,A2は、自車両Vに対する相対位置から設定されてもよいし、白線の位置を基準に設定されてもよい。白線の位置を基準に設定する場合、移動体検出装置1は、例えば既存の白線認識技術等を利用するとよい。また、検出領域A1,A2は、自車両Vの後側方に限らず、他の箇所に設定されてもよい。
【0014】
図3は、図1に示した計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10及び車速センサ20についても図示するものとする。
【0015】
図3に示すように、計算機30は、視点変換部31と、位置合わせ部(位置合わせ手段)32と、移動体検出部(移動体検出手段)33とを備えている。
【0016】
視点変換部31は、カメラ10による撮像にて得られた検出領域A1,A2を含む撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換するものである。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載さるようにして実行される。
【0017】
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせるものである。図4は、図3に示した位置合わせ部32の処理の概要を示す上面図であり、(a)は車両Vの移動状態を示し、(b)は位置合わせの概要を示している。
【0018】
図4(a)に示すように、現時刻の自車両VがV1に位置し、一時刻前の自車両VがV2に位置しているとする。また、自車両Vの後側方向に他車両Vが位置して自車両Vと並走状態にあり、現時刻の他車両VがV3に位置し、一時刻前の他車両VがV4に位置しているとする。さらに、自車両Vは、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であっても良いし、任意の時間だけ過去の時刻であっても良い。
【0019】
このような状態において、現時刻における鳥瞰画像PBtは図4(b)に示すようになる。この鳥瞰画像PBtでは、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V3については倒れ込みが発生している。また、一時刻前における鳥瞰画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に上面視された状態となっているが、他車両V4については倒れ込みが発生している。
【0020】
位置合わせ部32は、上記のような鳥瞰画像PBt,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰画像PBtと位置を一致させる。オフセット量d’は、図4(a)に示した移動距離dに対応するだけの量となり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
【0021】
また、位置合わせ後において位置合わせ部32は、鳥瞰画像PBt,PBt−1の差分ととり、差分画像PDtのデータを生成する。ここで、差分画像PDtの画素値は、鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の値を超えたときに「1」とし、超えないときに「0」としてもよい。
【0022】
再度、図3を参照する。移動体検出部33は、図4に示したような差分画像PDtのデータに基づいて移動体を検出するものである。この移動体検出部33は、差分波形生成部(差分波形生成手段)33aと、禁止部(禁止手段)33bとを備えている。
【0023】
図5は、図3に示した差分波形生成部33aによる差分波形の生成の様子を示す概略図である。図5に示すように、移動体検出部33は、差分画像PDtのうち検出領域A1,
A2に相当する部分から、差分波形DWtを生成する。この際、移動体検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWtを生成する。なお、図5に示す例では、便宜上検出領域A1のみを用いて説明する。
【0024】
具体的に説明すると、まず移動体検出部33は、差分画像DWtのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、移動体検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。ここで、所定の差分を示す差分画素DPは、差分画像DWtの画素値が鳥瞰画像PBt,PBt−1の画素値の差を絶対値化したものである場合、所定の値を超える画素であり、差分画像DWtの画素値が「0」「1」で表現されている場合、「1」を示す画素である。
【0025】
移動体検出部33は、差分画素DPの数をカウントした後、線Laと線L1との交点CPを求める。そして、移動体検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置(図5の紙面上下方向軸における位置)を決定し、カウント数から縦軸位置(図5の紙面左右方向軸における位置)を決定する。
【0026】
以下同様に、移動体検出部33は、立体物が倒れ込む方向上の線を定義して、差分画素DPの数をカウントし、交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定する。移動体検出部33は、上記を順次繰り返して度数分布化することで差分波形DWtを生成する。
【0027】
なお、図5に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなってしまう。このため、移動体検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、移動体検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWtに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWtの値はほぼ同じとなっている。
【0028】
差分波形DWtの生成後、移動体検出部33の禁止部33bは、移動体の検出処理を禁止すべきか否かを判断する。図6は、差分波形DWtを示す図であり、(a)は検出領域A1,A2に他車両が存在する場合の差分波形DWtを示し、(b)は検出領域A1,A2に草壁が存在する場合の差分波形DWtを示している。
【0029】
図6(a)に示すように、検出領域A1,A2に他車両が存在する場合、差分波形DWtはある程度の大きさを示す。このとき、差分波形DWtには他車両のタイヤに相当する箇所において差分が表れるため、極大値は大凡2つとなる。
【0030】
一方、検出領域A1,A2に草壁が存在する場合、図6(b)に示すように、差分波形DWtは、他車両が存在するときよりも大きくなる。さらに、差分波形DWtは、草壁など複雑なテクスチャに応じて、起伏の激しいものとなる。
【0031】
禁止部33bは、図6(b)に示すように、差分波形DWtの大きさが所定以上である場合、差分波形DWtが草壁によるものと判断し、移動体検出部33による移動体検出を禁止させる。具体的に禁止部33bは、差分波形DWtの平均値avrが閾値TH以上である場合、差分波形DWtの大きさが所定以上であると判断して移動体検出部33による移動体検出を禁止させる。
【0032】
また、禁止部33bは、差分波形DWtのうち、閾値TH以上となる面積割合が所定割合以上である場合、差分波形DWtの大きさが所定以上であると判断して移動体検出部33による移動体検出を禁止させてもよい。
【0033】
このように、本実施形態に係る移動体検出装置1は、差分波形DWtが草壁によるものと判断できる場合に移動体検出部33による移動体検出を禁止することで、移動体の検出精度を向上させることとなる。
【0034】
また、禁止部33bは、より精度を高めるために、以下の場合に移動体検出を禁止させることが好ましい。例えば上記の如く、所定以上の大きさを示す差分波形DWtが自車両Vの進行方向側から発生した場合に、移動体検出を禁止させる。草壁は静止物であるため、自車両Vの進行方向側から発生する傾向にある。よって、このような場合、禁止部33bは移動体検出を禁止させる。
【0035】
一方、禁止部33bは、所定以上の大きさを示す差分波形DWtが進行方向側と逆方向から発生した場合に、移動体検出を許可する。例えばトラックなどはタイヤの間にコンプレッサ等があり、このコンプレッサ等により差分波形DWtが大きくなってしまうことがある。このような場合、禁止部33bにより移動体検出を禁止してしまうと、移動体を検出できなくなってしまう。そこで、禁止部33bは、トラックなどが自車両Vを追い越す可能性を考慮し、所定以上の大きさを示す差分波形DWtが進行方向側と逆方向から発生した場合に移動体検出を許可する。
【0036】
また、トラックなどは、草壁と異なり一時刻前の差分波形DWt−1と今回の差分波形DWtとがあまり変化しない傾向にある。このため、禁止部33bは、所定以上の大きさを示す差分波形DWtの安定性が所定値以上である場合、移動体検出を許可することが好ましい。これにより、一層移動体の検出精度を高めることができるからである。ここで、安定性とは、類似度すなわち相互相関により求めることができるが、特に相互相関に限られるものではない。
【0037】
次に、本実施形態に係る移動体検出方法を説明する。図7は、本実施形態に係る移動体検出装置1の移動体検出方法を示すフローチャートである。
【0038】
図7に示すように、まず、計算機30は、車速センサ20からの信号に基づいて車速を検出する(S1)。次いで、位置合わせ部32は差分を検出する(S2)。この際、位置合わせ部32は、図4を参照して説明したように差分画像PDtのデータを生成する。
【0039】
次いで、差分波形生成部33aは、ステップS2において生成された差分画像PDtに基づき、図5を参照して説明したようにして差分波形DWtを生成する(S3)。次いで、移動体検出部33は、現在草壁の検出中であるか否かを判断する(S4)。
【0040】
草壁検出中であると判断した場合(S4:YES)、移動体検出部33は、終了差分閾値を設定する(S5)。そして、処理はステップS7に移行する。一方、草壁検出中でないと判断した場合(S4:NO)、移動体検出部33は、開始差分閾値を設定する(S6)。そして、処理はステップS7に移行する。
【0041】
ここで、開始差分閾値及び終了差分閾値は、図6(a)及び図6(b)に示した閾値THに相当するものである。なお、終了差分閾値は、開始差分閾値よりも低く設定される。開始差分閾値と終了差分閾値とが同じ値であると、草壁の検出状態と非検出状態とが次々に移り変わってしまい、処理が安定しなくなってしまう可能性がある。このため、本実施
形態では、終了差分閾値を開始差分閾値よりも低く設定して、処理を安定させるようにしている。
【0042】
ステップS7において禁止部33bは、ステップS3において生成した差分波形DWtと、ステップS5,S6にて設定した閾値THとを比較し、差分波形DWtの大きさが所定以上であるか否かを判断する(S7)。差分波形DWtが所定以上でないと判断した場合(S7:NO)、差分波形DWtは草壁によるものではないと判断できる。よって、移動体検出部33は、一時刻前の差分波形DWt−1と今回の差分波形DWtとを対応付けることで、立体物の推定速度を算出する(S11)。
【0043】
その後、移動体検出部33は、ステップS11において算出された推定速度が検出対象であるか否かを判断する(S12)。ここで、本実施形態において移動体検出装置1は、車線変更時に接触の可能性がある他車両や二輪車等を検出するものである。このため、移動体検出部33は、ステップS12において推定速度が他車両や二輪車等の速度として適切であるかを判断することとなる。
【0044】
推定速度が他車両や二輪車等の速度として適切であると判断した場合(S12:YES)、移動体検出部33は、差分波形DWtによって示される立体物が検出対象となる移動体(他車両や二輪車等)であると判断する(S13)。そして、図7に示す処理は終了する。一方、推定速度が他車両や二輪車等の速度として適切でないと判断した場合(S12:NO)、移動体検出部33は、差分波形DWtによって示される立体物が検出対象となる移動体でないと判断し、図7に示す処理は終了する。
【0045】
ところで、ステップS7に示す処理において差分波形DWtが所定以上であると判断した場合(S7:YES)、差分波形DWtが草壁によるものである可能性がある。このため、禁止部33bは、差分波形DWtが自車両Vの進行方向側から発生したものであるか否かを判断する(S8)。差分波形DWtが自車両Vの進行方向側から発生したものでないと判断した場合(S8:NO)、差分波形DWtが草壁によるものでなくトラック等であると判断できることから、処理はステップS11に移行する。
【0046】
一方、差分波形DWtが自車両Vの進行方向側から発生したものであると判断した場合(S8:YES)、差分波形DWtが草壁によるものである可能性がある。このため、禁止部33bは、一時刻前の差分波形DWt−1と今回の差分波形DWtとの類似度が所定値未満であるか否かを判断する(S9)。すなわち、差分波形DWtの安定性が高いか否かを判断することとなる。ここで、差分波形DWtが草壁によるものである場合、複雑なテクスチャであるかゆえに、差分波形DWtは激しく変化する可能性が高く、安定性は低くなる。一方、差分波形DWtがトラック等である場合、差分波形DWtは草壁よりも変化が少なく安定する傾向にある。
【0047】
よって、一時刻前の差分波形DWt−1と今回の差分波形DWtとの類似度が所定値未満であると判断した場合(S9:YES)、禁止部33bは、差分波形DWtが草壁による静止物であると判断する(S10)。そして、ステップS11〜S13に示す処理を実行することなく、図7に示す処理は終了する。このように、禁止部33bは、差分波形DWtが草壁による静止物であると判断した場合、移動体検出部33bによる移動体検出を禁止することとなる。
【0048】
このようにして、本実施形態に係る移動体検出装置1及び移動体検出方法によれば、生成された差分波形DWtの大きさが所定以上である場合、移動体検出を禁止する。このため、例えば草や壁のようにテクスチャが複雑で差分波形DWtが大きく表れやすい立体物について、誤って移動体と判断しないように、移動体検出自体が禁止されることとなる。
従って、移動体の検出精度を向上させることができる。
【0049】
また、大きさが所定以上の差分波形DWtが、自車両の進行方向側から発生した場合、移動体検出を禁止し、当該進行方向と逆方向から発生した場合、移動体検出を許可する。このため、草壁などのように自車両の進行方向側から発生し易い立体物については移動体検出を禁止できると共に、トラックなどのように当該進行方向と逆方向から発生する可能性があり、且つ差分波形が大きく表れる移動体については移動体検出を行うことができる。従って、一層移動体の検出精度を向上させることができる。
【0050】
また、差分波形DWtの大きさが所定以上である場合において、異なる時刻の差分波形DWt,DWt−1の安定性が所定値以上であるとき、移動体検出を許可するため、例えばトラックのように差分波形が大きくなるものの草壁のように差分波形DWt,DWt−1の変化が少ない場合には、トラック等を判断できることから、移動体検出を許可する。これにより、一層移動体の検出精度を向上させることができる。
【0051】
また、差分波形DWtの平均値avrが閾値TH以上である場合に、差分波形DWtの大きさが所定以上であると判断するため、草壁のようにテクスチャが複雑で差分波形DWtが大きくなる場合を閾値処理により明確に判断することができる。
【0052】
また、閾値TH以上となる面積割合が所定割合以上である場合に、差分波形DWtの大きさが所定以上であると判断するため、草壁のようにテクスチャが複雑で差分波形DWtが大きくなる場合を閾値処理により明確に判断することができる。
【0053】
次に、本発明の第2実施形態を説明する。第2実施形態に係る移動体検出装置及び移動体検出方法は、第1実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第1実施形態との相違点を説明する。
【0054】
図8は、第2実施形態に係る計算機30の詳細を示すブロック図である。なお、図8においては、接続関係を明確とするためにカメラ10及び車速センサ20についても図示するものとする。
【0055】
図8に示すように、第2実施形態において車速センサ20は、移動体検出部33に対して車速データを送信する構成となっている。また、第2実施形態に係る移動体検出部33は、車両挙動の変化を判断する。この変化時において自車両Vは、カメラ10の光軸が変化してしまう。よって、図2に示した検出領域A1,A2もずれてしまうこととなる。具体的に車両加速時には、一度車両後端側が沈み込んだ後に持ち上がる。また、車両減速時には度車両後端側が持ち上がった後に沈み込む。これにより、検出領域A1,A2もやや遠めにずれたり、やや近めにずれたりしてしまい、検出領域A1,A2が瞬時的に隣接車線でなく路外に設定されてしまう場合がある。
【0056】
従って、第2実施形態に係る移動体検出部33は、車両挙動発生時に閾値THを変化させる。具体的に移動体検出部33は、草壁の検出中において車両挙動が変化すると予測される場合、閾値THを低める。すなわち、上記した終了差分閾値THを低く設定することとなる。また、移動体検出部33は、草壁の非検出中において車両挙動が変化すると予測される場合、閾値THを高める。すなわち、上記した開始差分閾値THを高く設定することとなる。
【0057】
なお、図8に示す例において移動体検出部33は車速センサ20からの信号により車両挙動の変化を予測しているが、これに限らず、車両挙動の変化については、横G、ヨーレート、操舵角、ブレーキ、及びアクセル開度などから予測してもよい。
【0058】
次に、第2実施形態に係る移動体検出方法を説明する。図9及び図10は、第2実施形態に係る移動体検出装置2の移動体検出方法を示すフローチャートである。
【0059】
図9に示すように、まず移動体検出部33は、車速センサ20からの信号に基づいて、車両挙動を予測する(S21)。次いで、移動体検出部33は、車両挙動が変化するか否かを判断する(S22)。車両挙動が変化しないと判断した場合(S22:NO)、処理はステップS26に移行する。
【0060】
一方、車両挙動が変化すると判断した場合(S22:YES)、移動体検出部33は、草壁検出中であるか否かを判断する(S23)。草壁検出中であると判断した場合(S23:YES)、移動体検出部33は、終了差分閾値を低下させる(S24)。草壁の検出中において車両挙動により撮像領域がずれてしまい、草壁の一部が検出領域A1,A2から外れてしまっても、終了差分閾値を低くすることにより壁草の検出が抜けないようにすることができるからである。その後、処理はステップS26に移行する。
【0061】
一方、草壁検出中でないと判断した場合(S23:NO)、移動体検出部33は、開始差分閾値を上昇させる(S25)。例えば車両検出中に車両挙動により検出領域A1,A2がずれてしまい、草壁の一部が検出領域A1,A2に入ってしまっても、閾値を高くすることにより折角車両検出中にも拘わらず草壁検出と判断してしま言わないようにすることができるからである。その後、処理はステップS26に移行する。
【0062】
なお、図9及び図10に示すステップS26〜S38の処理は、図7に示したステップS1〜S13の処理と同様であるため、説明を省略する。
【0063】
このようにして、第2実施形態に係る移動体検出装置2及び移動体検出方法によれば、第1実施形態と同様に、移動体の検出精度を(一層)向上させることができ、且つ、草壁のようにテクスチャが複雑で差分波形DWtが大きくなる場合を閾値処理により明確に判断することができる。
【0064】
さらに、第2実施形態によれば、前回処理において草壁を検出中である場合において、車両挙動が変化すると判断したとき、閾値THを低めるため、草壁の検出中において車両挙動により撮像領域がずれてしまい、草壁の一部が撮像領域から外れてしまっても、閾値THを低くすることにより壁草の検出が抜けないようにすることができる。
【0065】
また、前回処理において草壁を非検出中である場合において、車両挙動が変化すると判断したとき、閾値THを高めるため、例えば車両検出中に車両挙動により撮像領域がずれてしまい、草壁の一部が撮像領域に入ってしまっても、閾値THを高くすることにより折角車両検出中にも拘わらず草壁検出と判断してしま言わないようにすることができる。
【0066】
次に、本発明の第3実施形態を説明する。第3実施形態に係る移動体検出装置及び移動体検出方法は、第1実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第1実施形態との相違点を説明する。
【0067】
図11は、第3実施形態に係る計算機30の詳細を示すブロック図である。なお、図11においては、接続関係を明確とするためにカメラ10及び車速センサ20についても図示するものとする。
【0068】
図11に示すように、第3実施形態に係る計算機30は、区分線情報取得部(区分線情報取得手段)34を備えている。区分線情報取得部34は、車線を区分する区分線の情報
を取得するものである。すなわち、区分線情報取得部34は、カメラ10により撮像された撮像画像データから、車両上に描かれている区分線が白線であるか黄線であるか等の情報を取得する。
【0069】
また、移動体検出部33は、区分線情報取得部34により取得された区分線の情報に基づいて、検出領域A1,A2が路外であるか否かを判断する。そして、路外であると判断した場合、移動体検出部33は、上記した開始差分閾値及び終了差分閾値を低める。これにより、路外のように草壁が存在する可能性が高い領域を撮像しているときに、閾値を低めて草壁を検出し易くすることができる。
【0070】
次に、第3実施形態に係る移動体検出方法を説明する。図12及び図13は、第3実施形態に係る移動体検出装置3の移動体検出方法を示すフローチャートである。
【0071】
図12に示すように、まず区分線情報取得部34は、車線を区分する区分線の情報を取得する(S41)。次いで、移動体検出部33は、検出領域A1,A2が路外に存在する可能性が高いか否かを判断する(S42)。路外に存在する可能性が高いと判断できない場合(S42:NO)、処理はステップS44に移行する。
【0072】
一方、路外に存在する可能性が高いと判断できる場合(S42:YES)、移動体検出部33は、路外を撮像しているときに草壁を検出し易くなるように、開始差分閾値及び終了差分閾値を低下させる(S43)。その後、処理はステップS44に移行する。
【0073】
なお、図12及び図13に示すステップS44〜S56の処理は、図7に示したステップS1〜S13の処理と同様であるため、説明を省略する。
【0074】
このようにして、第3実施形態に係る移動体検出装置3及び移動体検出方法によれば、第1実施形態と同様に、移動体の検出精度を(一層)向上させることができ、且つ、草壁のようにテクスチャが複雑で差分波形DWtが大きくなる場合を閾値処理により明確に判断することができる。
【0075】
また、第3実施形態によれば、車線を区分する区分線の情報を取得し、移動体検出領域が路外である可能性が高いと判断できる場合、閾値THを低めるため、路外のように草壁が存在する可能性が高い領域を撮像しているときに、閾値THを低めて草壁を検出し易くすることができる。
【0076】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものでは無く、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【0077】
例えば、上記実施形態において、自車両Vの車速を速度センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。また、車両挙動についても画像のみから判断するようにしてもよい。
【0078】
なお、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDtを生成し、生成した差分画像PDtを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWtを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した
方向)に沿って評価することによって差分波形DWtを生成しても良い。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDtを生成し、差分画像PDtを鳥瞰図に変換した際の立体物の倒れ込み方向沿って評価できれば、必ずしも明に鳥瞰図を生成しなくとも良い。
【0079】
さらに、第1実施形態においては、ステップS8,S9の処理を実行しているが、これに限らず、これら処理の一方又は双方を省略してもよい。なお、第2及び第3実施形態も同様である。
【符号の説明】
【0080】
1〜3…移動距離検出装置
10…カメラ(撮像手段)
20…車速センサ
30…計算機
31…視点変換部
32…位置合わせ部(位置合わせ手段)
33…移動体検出部(移動体検出手段)
34…区分線情報取得部(区分線情報取得手段)
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
La,Lb…立体物が倒れ込む方向上の線
PBt…鳥瞰画像
PDt…差分画像
V…自車両、他車両
【特許請求の範囲】
【請求項1】
自車両周囲の移動体を検出する移動体検出装置であって、
自車両に搭載され、自車両周囲の所定領域を撮像する撮像手段と、
前記撮像手段による撮像にて得られた異なる時刻の画像データを、鳥瞰視上で位置を合わせる位置合わせ手段と、
前記位置合わせ手段により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、自車両周囲の移動体を検出する移動体検出手段と、を備え、
前記移動体検出手段は、
前記所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する差分波形生成手段と、
前記差分波形生成手段により生成された差分波形の大きさが所定以上である場合、前記移動体検出手段による移動体検出を禁止する禁止手段と、を有する
ことを特徴とする移動体検出装置。
【請求項2】
前記禁止手段は、大きさが所定以上の差分波形が、自車両の進行方向側から発生した場合、前記移動体検出手段による移動体検出を禁止し、当該進行方向と逆方向から発生した場合、前記移動体検出手段による移動体検出を許可する
ことを特徴とする請求項1に記載の移動体検出装置。
【請求項3】
前記禁止手段は、前記差分波形生成手段により生成された差分波形の大きさが所定以上である場合において、異なる時刻の差分波形の安定性が所定値未満であるとき、前記移動体検出手段による移動体検出を禁止し、異なる時刻の差分波形の安定性が所定値以上であるとき、前記移動体検出手段による移動体検出を許可する
ことを特徴とする請求項1又は請求項2のいずれかに記載の移動体検出装置。
【請求項4】
前記禁止手段は、前記差分波形生成手段により生成された差分波形の平均値が閾値以上である場合に、当該差分波形の大きさが所定以上であると判断する
ことを特徴とする請求項1から請求項3のいずれか1項に記載の移動体検出装置。
【請求項5】
前記禁止手段は、前記差分波形生成手段により生成された差分波形のうち、閾値以上となる面積割合が所定割合以上である場合に、当該差分波形の大きさが所定以上であると判断する
ことを特徴とする請求項1から請求項3のいずれか1項に記載の移動体検出装置。
【請求項6】
前記移動体検出手段は、前回処理において草壁を検出中である場合において、車両挙動が変化すると判断したとき、前記閾値を低める
ことを特徴とする請求項4又は請求項5のいずれかに記載の移動体検出装置。
【請求項7】
前記移動体検出手段は、前回処理において草壁を非検出中である場合において、車両挙動が変化すると判断したとき、前記閾値を高める
ことを特徴とする請求項4又は請求項5のいずれかに記載の移動体検出装置。
【請求項8】
車線を区分する区分線の情報を取得する区分線情報取得手段をさらに備え、
前記移動体検出手段は、前記区分線情報取得手段により移動体検出領域が路外である可能性が高いと判断できる場合、前記閾値を低める
ことを特徴とする請求項4又は請求項5のいずれかに記載の移動体検出装置。
【請求項9】
自車両周囲の移動体を検出する移動体検出方法であって、
自車両から、自車両周囲の所定領域を撮像する撮像工程と、
前記撮像工程における撮像にて得られた異なる時刻の画像データを、鳥瞰視上で位置を合わせる位置合わせ工程と、
前記位置合わせ工程において位置合わせされた異なる時刻の画像データの差分画像データに基づいて、自車両周囲の移動体を検出する移動体検出工程と、を備え、
前記移動体検出工程では、
前記所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する差分波形生成工程と、
前記差分波形生成工程において生成された差分波形の大きさが所定以上である場合、前記移動体検出工程における移動体検出を禁止する禁止工程と、を有する
ことを特徴とする移動体検出方法。
【請求項1】
自車両周囲の移動体を検出する移動体検出装置であって、
自車両に搭載され、自車両周囲の所定領域を撮像する撮像手段と、
前記撮像手段による撮像にて得られた異なる時刻の画像データを、鳥瞰視上で位置を合わせる位置合わせ手段と、
前記位置合わせ手段により位置合わせされた異なる時刻の画像データの差分画像データに基づいて、自車両周囲の移動体を検出する移動体検出手段と、を備え、
前記移動体検出手段は、
前記所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する差分波形生成手段と、
前記差分波形生成手段により生成された差分波形の大きさが所定以上である場合、前記移動体検出手段による移動体検出を禁止する禁止手段と、を有する
ことを特徴とする移動体検出装置。
【請求項2】
前記禁止手段は、大きさが所定以上の差分波形が、自車両の進行方向側から発生した場合、前記移動体検出手段による移動体検出を禁止し、当該進行方向と逆方向から発生した場合、前記移動体検出手段による移動体検出を許可する
ことを特徴とする請求項1に記載の移動体検出装置。
【請求項3】
前記禁止手段は、前記差分波形生成手段により生成された差分波形の大きさが所定以上である場合において、異なる時刻の差分波形の安定性が所定値未満であるとき、前記移動体検出手段による移動体検出を禁止し、異なる時刻の差分波形の安定性が所定値以上であるとき、前記移動体検出手段による移動体検出を許可する
ことを特徴とする請求項1又は請求項2のいずれかに記載の移動体検出装置。
【請求項4】
前記禁止手段は、前記差分波形生成手段により生成された差分波形の平均値が閾値以上である場合に、当該差分波形の大きさが所定以上であると判断する
ことを特徴とする請求項1から請求項3のいずれか1項に記載の移動体検出装置。
【請求項5】
前記禁止手段は、前記差分波形生成手段により生成された差分波形のうち、閾値以上となる面積割合が所定割合以上である場合に、当該差分波形の大きさが所定以上であると判断する
ことを特徴とする請求項1から請求項3のいずれか1項に記載の移動体検出装置。
【請求項6】
前記移動体検出手段は、前回処理において草壁を検出中である場合において、車両挙動が変化すると判断したとき、前記閾値を低める
ことを特徴とする請求項4又は請求項5のいずれかに記載の移動体検出装置。
【請求項7】
前記移動体検出手段は、前回処理において草壁を非検出中である場合において、車両挙動が変化すると判断したとき、前記閾値を高める
ことを特徴とする請求項4又は請求項5のいずれかに記載の移動体検出装置。
【請求項8】
車線を区分する区分線の情報を取得する区分線情報取得手段をさらに備え、
前記移動体検出手段は、前記区分線情報取得手段により移動体検出領域が路外である可能性が高いと判断できる場合、前記閾値を低める
ことを特徴とする請求項4又は請求項5のいずれかに記載の移動体検出装置。
【請求項9】
自車両周囲の移動体を検出する移動体検出方法であって、
自車両から、自車両周囲の所定領域を撮像する撮像工程と、
前記撮像工程における撮像にて得られた異なる時刻の画像データを、鳥瞰視上で位置を合わせる位置合わせ工程と、
前記位置合わせ工程において位置合わせされた異なる時刻の画像データの差分画像データに基づいて、自車両周囲の移動体を検出する移動体検出工程と、を備え、
前記移動体検出工程では、
前記所定領域の画像を鳥瞰視に視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像データ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形を生成する差分波形生成工程と、
前記差分波形生成工程において生成された差分波形の大きさが所定以上である場合、前記移動体検出工程における移動体検出を禁止する禁止工程と、を有する
ことを特徴とする移動体検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−50750(P2013−50750A)
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願番号】特願2011−186739(P2011−186739)
【出願日】平成23年8月30日(2011.8.30)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願日】平成23年8月30日(2011.8.30)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
[ Back to top ]