物体検出装置および物体検出方法
【課題】オプティカルフローの算出精度を高めることによって物体検出精度を向上させること。
【解決手段】画像分割部が、フレーム画像を、オプティカルフローの出現点を含む第１の領域と第１の領域以外の領域である第２の領域とに分割し、フレーム間隔決定部が、第１の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第１のフレーム間隔と、第２の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第２のフレーム間隔とを個別に決定するように物体検出装置を構成する。
【解決手段】画像分割部が、フレーム画像を、オプティカルフローの出現点を含む第１の領域と第１の領域以外の領域である第２の領域とに分割し、フレーム間隔決定部が、第１の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第１のフレーム間隔と、第２の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第２のフレーム間隔とを個別に決定するように物体検出装置を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体において所定の時間間隔で撮像された複数のフレーム画像における同一特徴点を結ぶことによって生成されるオプティカルフローに基づいてフレーム画像に含まれる物体を検出する物体検出装置および物体検出方法に関し、特に、オプティカルフローの算出精度を高めることによって物体検出精度を向上させることができる物体検出装置および物体検出方法に関する。
【背景技術】
【０００２】
近年、車両や船舶といった移動体の衝突事故を防止する技術が種々開発されている。たとえば、車両の衝突事故を防止する技術としては、車両の前方に搭載されたカメラで車外の様子を撮像し、撮像した画像に基づいて移動体を検出するものが提案されている。
【０００３】
かかる移動体検出技術では、所定の時間間隔で連続して撮像された画像（以下、「フレーム画像」と記載する）を用い、時系列に並んだフレーム画像間の同一特徴点（たとえば、建物の角や、他車両のヘッドライトなど）を結んだオプティカルフローを生成する。そして、生成されたオプティカルフローに基づいて移動体を検出する（たとえば、特許文献１および特許文献２参照）。
【０００４】
そして、検出したオプティカルフローを用いることで、自車両と衝突する可能性がある移動体（他車両や歩行者など）の存在をドライバーへ報知することができる。また、静止物体の位置を検出し、自車両と衝突する可能性がある静止物体（走路上の障害物など）の存在をドライバーへ報知することもできる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−９７１２６号公報
【特許文献２】特開２００４−２２００５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や特許文献２といった従来技術には、生成されるオプティカルフローの精度が低いために、オプティカルフローに基づいて検出される物体の検出精度も低くなってしまうという問題があった。
【０００７】
具体的には、オプティカルフローは、移動する車両上で撮像された画像において、物体が出現してくるように見える「出現点」から、放射状に広がるように生成される。そして、各オプティカルフローの長さは、自車両の走行速度や、画面内の位置によって異なるものとなる。
【０００８】
このため、オプティカルフローの長さが短すぎる場合、オプティカルフローに基づいて検出される物体の検出精度は低くなる。また、車両の移動速度が速すぎる場合には、同一特徴点が、片方のフレーム画像に含まれず、オプティカルフロー自体の生成に失敗する事態も起こりうる。
【０００９】
これらのことから、オプティカルフローの算出精度を高めることによって物体検出精度を向上させることができる物体検出装置あるいは物体検出方法をいかにして実現するかが大きな課題となっている。
【００１０】
本発明は、上述した従来技術による問題点を解消するためになされたものであって、オプティカルフローの算出精度を高めることによって物体検出精度を向上させることができる物体検出装置および物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、移動体において所定の時間間隔で撮像された複数のフレーム画像における同一特徴点を結ぶことによって生成されるオプティカルフローに基づいて前記フレーム画像に含まれる物体を検出する物体検出装置であって、前記フレーム画像を、前記オプティカルフローの出現点を含む第１の領域と前記第１の領域以外の領域である第２の領域とに分割する分割手段と、前記第１の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第１のフレーム間隔と、前記第２の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第２のフレーム間隔とを個別に決定する決定手段とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、フレーム画像を、オプティカルフローの出現点を含む第１の領域と第１の領域以外の領域である第２の領域とに分割し、第１の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第１のフレーム間隔と、第２の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第２のフレーム間隔とを個別に決定することとしたので、オプティカルフローの長さを適度に調整することによってオプティカルフローの算出精度を高め、これにより、物体検出精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明に係る物体検出手法の概要を示す図である。
【図２】図２は、本実施例に係る物体検出装置の構成を示すブロック図である。
【図３】図３は、フレーム画像の分割例を示す図である。
【図４】図４は、フレーム間隔情報を示す図である。
【図５】図５は、各エリアにおけるオプティカルフロー算出処理の概要を示す図である。
【図６】図６は、物体検出装置が実行する処理手順を示すフローチャートである。
【図７】図７は、フレーム間隔情報に追加される追加情報の例を示す図である。
【図８】図８は、フレーム間隔を動的に調整する場合の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照して、本発明に係る物体検出装置および物体検出方法の実施例を詳細に説明する。なお、以下の説明では、本発明に係る物体検出手法の概要について図１を説明した後に、本発明に係る物体検出手法を適用した物体検出装置の実施例について説明することとする。
【００１５】
まず、本発明に係る物体検出手法の概要について図１を用いて説明する。図１は、本発明に係る物体検出手法の概要を示す図である。なお、同図の（Ａ）には、従来技術に係る物体検出手法について、同図の（Ｂ）には、本発明に係る物体検出手法について、それぞれ示している。
【００１６】
図１の（Ａ）に示したように、オプティカルフローを算出する場合には、所定時間間隔で連続して撮像されたフレーム画像が用いられる。なお、同図には、所定の時間（ｔ）において撮像されたフレーム画像（以下、「フレーム画像（ｔ）」と記載する）と、所定の時間（ｔ）の直前に撮像されたフレーム画像（以下、「フレーム画像（ｔ−１）」と記載する）とを示している。
【００１７】
この場合、各フレーム画像には、物体が出現してくるように見える点である出現点１０１が含まれている。たとえば、車載カメラが車両の前方を撮像するように設置されており、車両が直進している場合には、かかる出現点１０１のフレーム画像１００内における位置はほぼ同一となる。
【００１８】
そして、フレーム画像（ｔ）と、フレーム画像（ｔ−１）とを合成し、各画像における同一の特徴点を結ぶと、同図に示したオプティカルフロー１０２や、オプティカルフロー１０３が得られる。
【００１９】
しかしながら、出現点１０１の近傍のオプティカルフロー１０２は、フロー長が短くなる傾向にあり、一方、出現点１０１から遠いオプティカルフロー１０３は、フロー長が長くなる傾向にある。これは、移動する自車両から見た場合、出現点１０１の近傍、すなわち、自車両から遠い位置における物体の移動量は小さくなるからである。また、出現点１０１から遠方、すなわち、自車両に近い位置における物体の移動量は大きくなるからである。
【００２０】
このため、従来は、出現点１０１の近傍におけるオプティカルフロー１０２のフロー長が、精度良い物体検出を行うには短すぎるという問題があった。また、出現点１０１から遠方におけるオプティカルフローを算出しようとした場合、片方のフレーム画像から特徴点がはみ出してしまい、オプティカルフローの算出自体に失敗してしまうという問題があった。
【００２１】
そこで、本発明に係る物体検出手法では、フレーム画像１００を、出現点１０１近傍のエリアと、その他のエリアとに分割し、各エリアで個別にフレーム間隔を決定することとした。具体的には、図１の（Ｂ）に示したように、フレーム画像を出現点近傍エリアと、出現点近傍エリア以外のエリアである他エリアとに分割する（同図の（Ｂ−１）参照）。
【００２２】
そして、本発明に係る物体検出手法では、エリアごとにフレーム間隔を決定する（同図の（Ｂ―２）参照）。たとえば、出現点近傍エリアのフレーム間隔が「３」と決定された場合には、フレーム画像（ｔ）と、フレーム画像（ｔ−３）とを用いてオプティカルフローが算出されることになる。また、他エリアのフレーム間隔が「１」と決定された場合には、フレーム画像（ｔ）と、フレーム画像（ｔ−１）とを用いてオプティカルフローが算出されることになる。
【００２３】
つづいて、本発明に係る物体検出手法では、各エリアにおいてオプティカルフローが算出されたならば（同図の（Ｂ−３参照）、各エリアを合成する（同図の（Ｂ―４）参照）。そして、合成されたエリアに基づいて物体検出が行われることになる。なお、各エリアにおいて物体検出を行うこととしてもよい。
【００２４】
このように、本発明に係る物体検出手法では、出現点近傍エリアと他エリアとで、個別にフレーム間隔を決定することとしたので、各エリアにおけるオプティカルフローのフロー長を適切に調整することができる。したがって、オプティカルフローに基づく物体検出を高精度に行うことが可能となる。
【００２５】
以下では、かかる物体検出手法を適用した物体検出装置についての実施例を詳細に説明する。なお、以下に示す物体検出装置は、車両に搭載されるものとするが、船舶や列車といった移動体に搭載することとしてもよい。
【実施例】
【００２６】
図２は、本実施例に係る物体検出装置１０の構成を示すブロック図である。同図に示すように、物体検出装置１０は、カメラ１１と、車両運動取得部１２と、制御部１３と、記憶部１４とを備えている。また、制御部１３は、画像格納部１３ａと、画像分割部１３ｂと、自車速抽出部１３ｃと、フレーム間隔決定部１３ｄと、オプティカルフロー算出部１３ｅと、移動物体検出部１３ｆと、３次元復元部１３ｇとをさらに備えている。そして、記憶部１４は、時系列画像情報１４ａと、画像分割情報１４ｂと、フレーム間隔情報１４ｃとを記憶する。
【００２７】
カメラ１１は、ＣＣＤ（Charge Coupled Devices）カメラなどのカメラであり、車両の前方を撮像する位置に設置される。また、カメラ１１は、所定の時間間隔で撮像した時系列の各フレーム画像を制御部１３に対して通知する。なお、本実施例では、カメラ１１を、車両の前方を撮像する位置に設けた場合について説明するが、車両の後方や側方を撮像する位置に設けることとしてもよい。
【００２８】
車両運動取得部１２は、車速センサや、加速度センサ、角速度センサといった各種センサで構成されるデバイスであり、取得した各センサ値を制御部１３に対して通知する。
【００２９】
制御部１３は、カメラ１１によって撮像された時系列のフレーム画像を記憶部１４へ記憶するとともに、フレーム画像を出現点近傍エリアと他エリアとに分割し、エリアごとのフレーム間隔を決定したうえで、エリアごとにオプティカルフローを算出する処理を行う処理部である。また、制御部１３は、各エリアでそれぞれ算出されたオプティカルフローを合成し、合成後のオプティカルフローを用いて物体検出処理を行う処理部でもある。
【００３０】
画像格納部１３ａは、カメラ１１から受け取った時系列のフレーム画像を記憶部１４の時系列画像情報１４ａへ格納する処理を行う処理部である。なお、時系列画像情報１４ａは、最新のフレーム画像を含め所定個数のフレーム画像を有しているものとする。たとえば、最新のフレーム画像が画像格納部１３ａによって格納された場合には、時系列にみて最も古いフレーム画像が削除される。
【００３１】
画像分割部１３ｂは、記憶部１４の画像分割情報１４ｂに基づき、各フレーム画像を出現点近傍エリアと他エリアとに分割する処理を行う処理部である。たとえば、この画像分割部１３ｂは、出現点を含んだ出現点近傍エリアの面積とフレーム画像の面積との比が、所定値になるように両エリアを分割する。
【００３２】
ここで、フレーム画像の分割例にについて図３を用いて説明しておく。図３は、フレーム画像の分割例を示す図である。なお、同図の（Ａ）には、フレーム画像の分割例を、同図の（Ｂ−１）および（Ｂ−２）には、分割後の各エリアを、それぞれ示している。
【００３３】
図３の（Ａ）に示すように、フレーム画像１００には、出現点１０１が含まれている。なお、同図では、出現点１０１から伸びる線３１ａおよび線３１ｂを例示している。これらの線３１ａおよび線３１ｂは、たとえば、道路脇の段差などをあらわす。
【００３４】
ここで、フレーム画像１００の幅をＷ、高さをＨとし、出現点近傍エリア（同図の破線矩形を参照）の幅をα、高さをβとする。この場合、画像分割情報１４ｂには、Ｗに対するαの比率およびＨに対するβの比率があらかじめ定義されている。
【００３５】
そして、画像分割部１３ｂは、画像分割情報１４ｂに定義された比率を用い、出現点１０１が中心となるように出現点近傍エリア２００（図３の（Ｂ−１）参照）を決定する。また、画像分割部１３ｂは、フレーム画像１００における出現点近傍エリア２００以外の領域を他エリア３００（図３の（Ｂ−２）参照）として決定する。
【００３６】
なお、同図では、出現点１０１が出現点近傍エリア２００の中央とする場合について示したが、出現点１０１の位置を出現点近傍エリア２００内の他の位置、たとえば、縦方向を１：２に内分する位置などにすることとしてもよい。
【００３７】
また、フレーム画像１００の縦横比（Ｈ：Ｗ）と、出現点近傍エリア２００の縦横比（β：α）とを同一にする場合には、画像分割情報１４ｂに、Ｈとβとの比、または、Ｗとαとの比を定義しておくこととすればよい。
【００３８】
さらに、本実施例では、出現点近傍エリア２００の形状を矩形とする場合について示したが、かかる形状を、円や楕円としたり、多角形としたりすることとしてもよい。また、本実施例では、フレーム画像１００を２つのエリアに分割する場合について示したが、フレーム画像１００を出現点１０１の距離に応じて３つ以上のエリアに分割することとしてもよい。
【００３９】
また、図３では、静的な画像分割情報１４ｂに基づいて出現点近傍エリア２００を一律に決定する場合について示したが、オプティカルフローの生成状況などに応じて出現点近傍エリア２００を動的に変更することとしてもよい。
【００４０】
図２の説明に戻り、制御部１３についての説明をつづける。自車速抽出部１３ｃは、車両運動取得部１２が出力する各種センサ値の中から自車両の速度に係るセンサ値を抽出する処理を行う処理部である。具体的には、自車速抽出部１３ｃは、抽出したセンサ値から自車両の速度（以下、「自車速」と記載する）を算出したうえで、算出した自車速をフレーム間決定部１３ｄへ通知する処理を行う処理部である。
【００４１】
フレーム間隔決定部１３ｄは、自車速抽出部１３ｃから受け取った自車速で、記憶部１４のフレーム間隔情報１４ｃを検索することによって、出現点近傍エリア２００におけるフレーム間隔および他エリア３００におけるフレーム間隔をそれぞれ決定する処理を行う処理部である。
【００４２】
オプティカルフロー算出部１３ｅは、フレーム間隔決定部１３によって決定された各フレーム間隔に基づいて出現点近傍エリア２００のオプティカルフローの算出と、他エリア３００のオプティカルフローの算出とを行う処理部である。
【００４３】
ここで、フレーム間隔情報１４ｃの例について図４を、オプティカルフロー算出部１３ｅによって行われるオプティカルフロー算出の概要について図５を、それぞれ用いて説明しておく。
【００４４】
図４は、フレーム間隔情報１４ｃを示す図である。同図に示すように、フレーム間隔情報１４ｃは、自車速の区間ごとに、出現点近傍エリア２００におけるフレーム間隔（Ｘ）と、他エリア３００におけるフレーム間隔（Ｙ）とを定義した情報である。
【００４５】
たとえば、同図に示した場合では、自車速が１０ｋｍ／ｈであれば、出現点近傍エリア２００におけるフレーム間隔（Ｘ）は「５」であり、他エリア３００におけるフレーム間隔（Ｙ）は「３」である。また、自車速が５０ｋｍ／ｈであれば、出現点近傍エリア２００におけるフレーム間隔（Ｘ）は「３」であり、他エリア３００におけるフレーム間隔（Ｙ）は「１」である。
【００４６】
このように、フレーム間隔情報１４ｃは、自車速の区間ごとに、各エリアのフレーム間隔をあらかじめ定めた情報である。しかし、後述するように、フレーム間隔情報１４ｃに定義されたフレーム間隔を初期値として用いてオプティカルフローを生成し、生成したオプティカルフローの状況に基づいて各エリアのフレーム間隔を動的に調整することとしてもよい。
【００４７】
図５は、各エリアにおけるオプティカルフロー算出処理の概要を示す図である。ここで、同図の（Ａ）には、時系列画像情報１４ａの例を、同図の（Ｂ）には、各エリアにおけるオプティカルフロー算出処理の例を、それぞれ示している。なお、図５の（Ａ）には、図４において、自車速が４１ｋｍ／ｈ〜６０ｋｍ／ｈの区間に該当し、出現点近傍エリア２００のフレーム間隔（Ｘ）が「３」と、他エリア３００のフレーム間隔（Ｙ）が「１」と、それぞれ決定された場合を例示している。
【００４８】
図５の（Ａ）に示したように、フレーム間隔（Ｘ）が３で、フレーム間隔（Ｙ）が１の場合には、出現点近傍エリア２００では、フレーム画像（ｔ）と、フレーム画像（ｔ−３）とを用いてオプティカルフローが算出される。また、他エリア３００では、フレーム画像（ｔ）と、フレーム画像（ｔ−１）とを用いてオプティカルフローが算出される。
【００４９】
また、図５の（Ｂ）に示したように、使用されるフレーム画像を上記したＸおよびＹを用いて一般化すると、出現点近傍エリア２００では、フレーム画像（ｔ）と、フレーム画像（ｔ−Ｘ）とを用いてオプティカルフローが算出されることになる（同図の（Ｂ−１）参照）。また、他エリア３００では、フレーム画像（ｔ）と、フレーム画像（ｔ−Ｙ）とを用いてオプティカルフローが算出されることになる（同図の（Ｂ−２）参照）。
【００５０】
図２の説明に戻り、制御部１３についての説明をつづける。移動物体検出部１３ｆは、オプティカルフロー算出部１３ｅによって各エリア（出現点近傍エリア２００および他エリア３００）ごとに算出されたオプティカルフローに基づいて移動物体を検出する処理を行う処理部である。
【００５１】
具体的には、移動物体検出部１３ｆによって、オプティカルフローのうち自車速に基づくオプティカルフローとベクトルが一致しないオプティカルフローが移動物体として検出されることになる。なお、静止物体については位置のみが、移動物体については位置および動き方向が検出される。また、移動物体検出部１３ｆは、検出した移動物体のオプティカルフローと、検出した静止物体のオプティカルフローとを、３次元復元部１３ｇへ通知する処理を併せて行う。
【００５２】
３次元復元部１３ｇは、移動物体検出部１３ｆから通知された静止物体のオプティカルフローから３次元復元計算を行い、静止物体および移動物体を３次元空間上に配置することで、自車両周辺の物体位置を復元する処理を行う処理部である。なお、３次元復元部１３ｇによって復元された物体位置は、自車両に対する衝突の危険性算出処理や、走路上における障害物の有無検出処理に用いられることになる。
【００５３】
記憶部１４は、ハードディスクドライブや不揮発性メモリといった記憶デバイスで構成された記憶部であり、時系列画像情報１４ａと、画像分割情報１４ｂと、フレーム間隔情報１４ｃとを記憶する。
【００５４】
時系列画像情報１４ａは、たとえば、図５の（Ａ）に示したように、所定間隔で撮像されたフレーム画像を、時系列に並べた情報である。また、画像分割情報１４ｂは、図３を用いて既に説明したように、出現点近傍エリア２００と、他エリア３００との境界線を指定する情報である。なお、フレーム間隔情報１４ｃについては、図４を用いて既に説明したので、ここでの説明を省略する。
【００５５】
次に、物体検出装置１０が実行する処理手順について図６を用いて説明する。図６は、物体検出装置１０が実行する処理手順を示すフローチャートである。なお、同図では、上述したフレーム画像を単に「画像」と記載している。
【００５６】
同図に示すように、物体検出装置１０は、画像（Ｔ＝ｔ）を入力し（ステップＳ１０１）、特徴点を算出するとともに（ステップＳ１０２）、出現点を算出する（ステップＳ１０３）。つづいて、自車速を取得したうえで（ステップＳ１０４）、対象とするエリアが出現点近傍エリア２００であるか否かを判定する（ステップＳ１０５）。
【００５７】
そして、エリアが出現点近傍エリア２００である場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０４で取得した自車速で画像分割情報１４ｂを検索することによってフレーム間隔（Ｘ）を取得し（ステップＳ１０６）、画像（Ｔ＝ｔ−Ｘ）を入力する（ステップＳ１０７）。つづいて、画像（Ｔ＝ｔ）および画像（Ｔ＝ｔ−Ｘ）を用いてオプティカルフローを生成する（ステップＳ１０８）。
【００５８】
また、ステップＳ１０８で生成したオプティカルフローから移動物体を検出する（ステップＳ１０９）。つづいて、ステップＳ１０９で検出された移動物体と、検出された移動物体以外の物体、すなわち、静止物体とを用いて物体の３次元復元を行う（ステップＳ１１０）。
【００５９】
一方、ステップＳ１０５の判定条件を満たさなかった場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０４で取得した自車速で画像分割情報１４ｂを検索することによってフレーム間隔（Ｙ）を取得し（ステップＳ１１１）、画像（Ｔ＝ｔ−Ｙ）を入力する（ステップＳ１１２）。つづいて、画像（Ｔ＝ｔ）および画像（Ｔ＝ｔ−Ｙ）を用いてオプティカルフローを生成する（ステップＳ１１３）。
【００６０】
また、ステップＳ１１３で生成したオプティカルフローから移動物体を検出する（ステップＳ１１４）。つづいて、ステップＳ１１４で検出された移動物体と、検出された移動物体以外の物体、すなわち、静止物体とを用いて物体の３次元復元を行う（ステップＳ１１５）。
【００６１】
そして、出現点近傍エリア２００における３次元復元（ステップＳ１１０）および他エリア３００における３次元復元（ステップＳ１１５）が完了したならば両者を合成し（ステップＳ１１６）、処理を終了する。
【００６２】
ところで、図６では、ステップＳ１０６およびステップＳ１１１において画像分割情報１４ｂから静的なフレーム間隔（ＸあるいはＹ）を取得する場合について示した。しかしながら、これに限らず、所定のフレーム間隔を用いて生成したオプティカルフローの生成状況をフィードバックすることで、フレーム間隔を動的に調整することとしてもよい。
【００６３】
そこで、以下では、各エリアにおけるフレーム間隔を動的に調整する場合について説明することとする。
【００６４】
図７は、フレーム間隔情報１４ｂに追加される追加情報の例を示す図である。図７の（Ａ）に示したのは、各エリアにおけるオプティカルフローの総数に基づいてフレーム間隔を調整する場合に用いられる閾値（ｔｈ＿ｆｃ）である。
【００６５】
具体的には、閾値ｔｈ＿ｆｃは、各エリアにおける総フロー数と比較され、総フロー数がｔｈ＿ｆｃよりも小さい場合には、フレーム間隔を小さくする調整が行われる。このように、フレーム間隔を小さくするのは、フレーム間隔が長すぎて対応点が片方のフレーム画像からはみ出したと考えられるからである。
【００６６】
一方、フロー数がｔｈ＿ｆｃ以上である場合には、フレーム間隔を長くする調整が行われる。このように、フレーム間隔を長くするのは、フレーム間隔が短すぎてフロー長が短い多数のオプティカルフローを検出してしまったと考えられるからである。
【００６７】
なお、図７の（Ａ）に示した場合では、出現点近傍エリア２００のｔｈ＿ｆｃは「１０」に、他エリア３００のｔｈ＿ｆｃは「４０」に、それぞれ設定されている。この場合、たとえば、出現点近傍エリア２００の総フロー数が５であれば、ｔｈ＿ｆｃよりも小さいので、フレーム間隔を小さくする調整が行われることになる。
【００６８】
図７の（Ｂ）に示したのは、所定の長さ以上のオプティカルフロー（以下、「長大フロー」と記載する）の数に基づいてフレーム間隔を調整する場合に用いられる閾値（ｔｈ＿Ｌおよびｔｈ＿Ｌｃ）である。
【００６９】
具体的には、閾値ｔｈ＿Ｌは、各オプティカルフローの長さ（フロー長）と比較され、フロー長が長大フロー長（ｔｈ＿Ｌ）以上である場合には、長大フローとみなされて長大フロー数がカウントアップされる。
【００７０】
ここで、図７の（Ｂ）に示した場合では、出現点近傍エリア２００および他エリア３００の双方ともｔｈ＿Ｌは１０ピクセルに設定されている。この場合、たとえば、出現点近傍エリア２００に１５ピクセルの長さのオプティカルフローがあれば、フロー長はｔｈ＿Ｌよりも大きいので、かかるオプティカルフローは長大フローとしてカウントされることになる。なお、同図では、２つのエリアに共通のピクセル値を設定しているが、エリアごとに異なるピクセル値を設定することとしてもよい。
【００７１】
また、閾値ｔｈ＿Ｌｃは、各エリアにおける長大フロー数と比較され、長大フロー数がｔｈ＿Ｌｃよりも小さい場合には、フレーム間隔を長くする調整が行われる。このように、フレーム間隔を長くするのは、フレーム間隔が短すぎて物体検出に有用な長大フローがすくなくなってしまったと考えられるためである。なお、長大フロー数がｔｈ＿Ｌｃ以上である場合には、オプティカルフローの生成状況が十分と考えられることから、フレーム間隔の調整は行われない。
【００７２】
なお、図７に示した各閾値は、フレーム間隔情報１４ｃに含まれる旨の説明を行ったが、図７の各閾値を、フレーム間隔情報１４ｃと区別して記憶部１４に格納しておくこととしてもよい。
【００７３】
次に、図７に示した各閾値を用いてフレーム間隔を動的に調整する場合の処理手順について図８を用いて説明する。図８は、フレーム間隔を動的に調整する場合の処理手順を示すフローチャートである。ここで、図８に示したフローチャートは、図６に示したフローチャートにおけるステップＳ１０６の代わりに用いられる。なお、図８に示したフローチャートにおける「Ｘ」を「Ｙ」へ変更すれば、図６のステップＳ１１１へ適用することもできる。
【００７４】
図８に示すように、フレーム間隔Ｘを入力し（ステップＳ２０１）、画像（Ｔ＝ｔ−Ｘ）を入力する（ステップＳ２０２）。つづいて、画像（Ｔ＝ｔ）と画像（Ｔ＝ｔ−Ｘ）とを用いてオプティカルフローを生成し（ステップＳ２０３）、フロー総数（ｆｃ）をカウントする（ステップＳ２０４）。また、長大フロー長用の閾値（ｔｈ＿Ｌ）以上のフロー数（Ｌｃ）についてもカウントする（ステップＳ２０５）。
【００７５】
つづいて、フロー総数（ｆｃ）が閾値（ｔｈ＿ｆｃ）よりも小さいか否かを判定し（ステップＳ２０６）、ｆｃがｔｈ＿ｆｃよりも小さい場合には（ステップＳ２０６，Ｙｅｓ）、フレーム間隔（Ｘ）を１つ減らすことでフレーム間隔を短縮する（ステップＳ２０７）。
【００７６】
そして、あらたなフレーム間隔（Ｘ）が所定の下限閾値（ｔｈ１＿Ｘ）と上限閾値（ｔｈ２＿Ｘ）の間の適正値であるか否かを判定し（ステップＳ２０８）、適正値である場合には（ステップＳ２０８，Ｙｅｓ）、ステップＳ２０２以降の処理を繰り返す。
【００７７】
一方、ステップＳ２０８の判定条件を満たさなかった場合には（ステップＳ２０８，Ｎｏ）、フレーム間隔（Ｘ）をステップＳ２０７の減算処理を行う前の値に戻したうえで（ステップＳ２０９）、Ｘを出力し（ステップＳ２１４）、処理を終了する。
【００７８】
ところで、ステップＳ２０６の判定条件を満たさなかった場合には（ステップＳ２０６，Ｎｏ）、つづいて、長大フロー数（Ｌｃ）が閾値（ｔｈ＿Ｌｃ）よりも小さいか否かを判定する（ステップＳ２１０）。そして、Ｌｃがｔｈ＿Ｌｃよりも小さい場合には（ステップＳ２１０，Ｙｅｓ）、フレーム間隔（Ｘ）を１つ増加させることでフレーム間隔を延長する（ステップＳ２１１）。
【００７９】
そして、あらたなフレーム間隔（Ｘ）が所定の下限閾値（ｔｈ１＿Ｘ）と上限閾値（ｔｈ２＿Ｘ）の間の適正値であるか否かを判定し（ステップＳ２１２）、適正値である場合には（ステップＳ２１２，Ｙｅｓ）、ステップＳ２０２以降の処理を繰り返す。
【００８０】
一方、ステップＳ２１２の判定条件を満たさなかった場合には（ステップＳ２１２，Ｎｏ）、フレーム間隔（Ｘ）をステップＳ２１１の加算処理を行う前の値に戻したうえで（ステップＳ２１３）、Ｘを出力し（ステップＳ２１４）、処理を終了する。なお、ステップＳ２１０の判定条件を満たさなかった場合には（ステップＳ２１０，Ｎｏ）、ステップＳ２１１〜ステップＳ２１３の処理を行うことなく、Ｘを出力し（ステップＳ２１４）、処理を終了する。
【００８１】
上述してきたように、本実施例では、画像分割部が、フレーム画像を、オプティカルフローの出現点を含む第１の領域と第１の領域以外の領域である第２の領域とに分割し、フレーム間隔決定部が、第１の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第１のフレーム間隔と、第２の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第２のフレーム間隔とを個別に決定するように物体検出装置を構成した。したがって、エリアごとにオプティカルフローの長さを適度に調整することによってオプティカルフローの算出精度を高め、これにより、物体検出精度を向上させることができる。
【産業上の利用可能性】
【００８２】
以上のように、本発明に係る物体検出装置および物体検出方法は、オプティカルフローを用いた物体検出の検出精度を向上させたい場合に有用であり、特に、車両などの移動体における衝突防止機能への適用に適している。
【符号の説明】
【００８３】
１０ 物体検出装置
１１ カメラ
１２ 車両運動取得部
１３ 制御部
１３ａ 画像格納部
１３ｂ 画像分割部
１３ｃ 自車速抽出部
１３ｄ フレーム間隔決定部
１３ｅ オプティカルフロー算出部
１３ｆ 移動物体検出部
１３ｇ ３次元復元部
１４ 記憶部
１４ａ 時系列画像情報
１４ｂ 画像分割情報
１４ｃ フレーム間隔情報
１００ フレーム画像
１０１ 出現点
１０２、１０３ オプティカルフロー
２００ 出現点近傍エリア
３００ 他エリア
【技術分野】
【０００１】
この発明は、移動体において所定の時間間隔で撮像された複数のフレーム画像における同一特徴点を結ぶことによって生成されるオプティカルフローに基づいてフレーム画像に含まれる物体を検出する物体検出装置および物体検出方法に関し、特に、オプティカルフローの算出精度を高めることによって物体検出精度を向上させることができる物体検出装置および物体検出方法に関する。
【背景技術】
【０００２】
近年、車両や船舶といった移動体の衝突事故を防止する技術が種々開発されている。たとえば、車両の衝突事故を防止する技術としては、車両の前方に搭載されたカメラで車外の様子を撮像し、撮像した画像に基づいて移動体を検出するものが提案されている。
【０００３】
かかる移動体検出技術では、所定の時間間隔で連続して撮像された画像（以下、「フレーム画像」と記載する）を用い、時系列に並んだフレーム画像間の同一特徴点（たとえば、建物の角や、他車両のヘッドライトなど）を結んだオプティカルフローを生成する。そして、生成されたオプティカルフローに基づいて移動体を検出する（たとえば、特許文献１および特許文献２参照）。
【０００４】
そして、検出したオプティカルフローを用いることで、自車両と衝突する可能性がある移動体（他車両や歩行者など）の存在をドライバーへ報知することができる。また、静止物体の位置を検出し、自車両と衝突する可能性がある静止物体（走路上の障害物など）の存在をドライバーへ報知することもできる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−９７１２６号公報
【特許文献２】特開２００４−２２００５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や特許文献２といった従来技術には、生成されるオプティカルフローの精度が低いために、オプティカルフローに基づいて検出される物体の検出精度も低くなってしまうという問題があった。
【０００７】
具体的には、オプティカルフローは、移動する車両上で撮像された画像において、物体が出現してくるように見える「出現点」から、放射状に広がるように生成される。そして、各オプティカルフローの長さは、自車両の走行速度や、画面内の位置によって異なるものとなる。
【０００８】
このため、オプティカルフローの長さが短すぎる場合、オプティカルフローに基づいて検出される物体の検出精度は低くなる。また、車両の移動速度が速すぎる場合には、同一特徴点が、片方のフレーム画像に含まれず、オプティカルフロー自体の生成に失敗する事態も起こりうる。
【０００９】
これらのことから、オプティカルフローの算出精度を高めることによって物体検出精度を向上させることができる物体検出装置あるいは物体検出方法をいかにして実現するかが大きな課題となっている。
【００１０】
本発明は、上述した従来技術による問題点を解消するためになされたものであって、オプティカルフローの算出精度を高めることによって物体検出精度を向上させることができる物体検出装置および物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、移動体において所定の時間間隔で撮像された複数のフレーム画像における同一特徴点を結ぶことによって生成されるオプティカルフローに基づいて前記フレーム画像に含まれる物体を検出する物体検出装置であって、前記フレーム画像を、前記オプティカルフローの出現点を含む第１の領域と前記第１の領域以外の領域である第２の領域とに分割する分割手段と、前記第１の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第１のフレーム間隔と、前記第２の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第２のフレーム間隔とを個別に決定する決定手段とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、フレーム画像を、オプティカルフローの出現点を含む第１の領域と第１の領域以外の領域である第２の領域とに分割し、第１の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第１のフレーム間隔と、第２の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第２のフレーム間隔とを個別に決定することとしたので、オプティカルフローの長さを適度に調整することによってオプティカルフローの算出精度を高め、これにより、物体検出精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明に係る物体検出手法の概要を示す図である。
【図２】図２は、本実施例に係る物体検出装置の構成を示すブロック図である。
【図３】図３は、フレーム画像の分割例を示す図である。
【図４】図４は、フレーム間隔情報を示す図である。
【図５】図５は、各エリアにおけるオプティカルフロー算出処理の概要を示す図である。
【図６】図６は、物体検出装置が実行する処理手順を示すフローチャートである。
【図７】図７は、フレーム間隔情報に追加される追加情報の例を示す図である。
【図８】図８は、フレーム間隔を動的に調整する場合の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照して、本発明に係る物体検出装置および物体検出方法の実施例を詳細に説明する。なお、以下の説明では、本発明に係る物体検出手法の概要について図１を説明した後に、本発明に係る物体検出手法を適用した物体検出装置の実施例について説明することとする。
【００１５】
まず、本発明に係る物体検出手法の概要について図１を用いて説明する。図１は、本発明に係る物体検出手法の概要を示す図である。なお、同図の（Ａ）には、従来技術に係る物体検出手法について、同図の（Ｂ）には、本発明に係る物体検出手法について、それぞれ示している。
【００１６】
図１の（Ａ）に示したように、オプティカルフローを算出する場合には、所定時間間隔で連続して撮像されたフレーム画像が用いられる。なお、同図には、所定の時間（ｔ）において撮像されたフレーム画像（以下、「フレーム画像（ｔ）」と記載する）と、所定の時間（ｔ）の直前に撮像されたフレーム画像（以下、「フレーム画像（ｔ−１）」と記載する）とを示している。
【００１７】
この場合、各フレーム画像には、物体が出現してくるように見える点である出現点１０１が含まれている。たとえば、車載カメラが車両の前方を撮像するように設置されており、車両が直進している場合には、かかる出現点１０１のフレーム画像１００内における位置はほぼ同一となる。
【００１８】
そして、フレーム画像（ｔ）と、フレーム画像（ｔ−１）とを合成し、各画像における同一の特徴点を結ぶと、同図に示したオプティカルフロー１０２や、オプティカルフロー１０３が得られる。
【００１９】
しかしながら、出現点１０１の近傍のオプティカルフロー１０２は、フロー長が短くなる傾向にあり、一方、出現点１０１から遠いオプティカルフロー１０３は、フロー長が長くなる傾向にある。これは、移動する自車両から見た場合、出現点１０１の近傍、すなわち、自車両から遠い位置における物体の移動量は小さくなるからである。また、出現点１０１から遠方、すなわち、自車両に近い位置における物体の移動量は大きくなるからである。
【００２０】
このため、従来は、出現点１０１の近傍におけるオプティカルフロー１０２のフロー長が、精度良い物体検出を行うには短すぎるという問題があった。また、出現点１０１から遠方におけるオプティカルフローを算出しようとした場合、片方のフレーム画像から特徴点がはみ出してしまい、オプティカルフローの算出自体に失敗してしまうという問題があった。
【００２１】
そこで、本発明に係る物体検出手法では、フレーム画像１００を、出現点１０１近傍のエリアと、その他のエリアとに分割し、各エリアで個別にフレーム間隔を決定することとした。具体的には、図１の（Ｂ）に示したように、フレーム画像を出現点近傍エリアと、出現点近傍エリア以外のエリアである他エリアとに分割する（同図の（Ｂ−１）参照）。
【００２２】
そして、本発明に係る物体検出手法では、エリアごとにフレーム間隔を決定する（同図の（Ｂ―２）参照）。たとえば、出現点近傍エリアのフレーム間隔が「３」と決定された場合には、フレーム画像（ｔ）と、フレーム画像（ｔ−３）とを用いてオプティカルフローが算出されることになる。また、他エリアのフレーム間隔が「１」と決定された場合には、フレーム画像（ｔ）と、フレーム画像（ｔ−１）とを用いてオプティカルフローが算出されることになる。
【００２３】
つづいて、本発明に係る物体検出手法では、各エリアにおいてオプティカルフローが算出されたならば（同図の（Ｂ−３参照）、各エリアを合成する（同図の（Ｂ―４）参照）。そして、合成されたエリアに基づいて物体検出が行われることになる。なお、各エリアにおいて物体検出を行うこととしてもよい。
【００２４】
このように、本発明に係る物体検出手法では、出現点近傍エリアと他エリアとで、個別にフレーム間隔を決定することとしたので、各エリアにおけるオプティカルフローのフロー長を適切に調整することができる。したがって、オプティカルフローに基づく物体検出を高精度に行うことが可能となる。
【００２５】
以下では、かかる物体検出手法を適用した物体検出装置についての実施例を詳細に説明する。なお、以下に示す物体検出装置は、車両に搭載されるものとするが、船舶や列車といった移動体に搭載することとしてもよい。
【実施例】
【００２６】
図２は、本実施例に係る物体検出装置１０の構成を示すブロック図である。同図に示すように、物体検出装置１０は、カメラ１１と、車両運動取得部１２と、制御部１３と、記憶部１４とを備えている。また、制御部１３は、画像格納部１３ａと、画像分割部１３ｂと、自車速抽出部１３ｃと、フレーム間隔決定部１３ｄと、オプティカルフロー算出部１３ｅと、移動物体検出部１３ｆと、３次元復元部１３ｇとをさらに備えている。そして、記憶部１４は、時系列画像情報１４ａと、画像分割情報１４ｂと、フレーム間隔情報１４ｃとを記憶する。
【００２７】
カメラ１１は、ＣＣＤ（Charge Coupled Devices）カメラなどのカメラであり、車両の前方を撮像する位置に設置される。また、カメラ１１は、所定の時間間隔で撮像した時系列の各フレーム画像を制御部１３に対して通知する。なお、本実施例では、カメラ１１を、車両の前方を撮像する位置に設けた場合について説明するが、車両の後方や側方を撮像する位置に設けることとしてもよい。
【００２８】
車両運動取得部１２は、車速センサや、加速度センサ、角速度センサといった各種センサで構成されるデバイスであり、取得した各センサ値を制御部１３に対して通知する。
【００２９】
制御部１３は、カメラ１１によって撮像された時系列のフレーム画像を記憶部１４へ記憶するとともに、フレーム画像を出現点近傍エリアと他エリアとに分割し、エリアごとのフレーム間隔を決定したうえで、エリアごとにオプティカルフローを算出する処理を行う処理部である。また、制御部１３は、各エリアでそれぞれ算出されたオプティカルフローを合成し、合成後のオプティカルフローを用いて物体検出処理を行う処理部でもある。
【００３０】
画像格納部１３ａは、カメラ１１から受け取った時系列のフレーム画像を記憶部１４の時系列画像情報１４ａへ格納する処理を行う処理部である。なお、時系列画像情報１４ａは、最新のフレーム画像を含め所定個数のフレーム画像を有しているものとする。たとえば、最新のフレーム画像が画像格納部１３ａによって格納された場合には、時系列にみて最も古いフレーム画像が削除される。
【００３１】
画像分割部１３ｂは、記憶部１４の画像分割情報１４ｂに基づき、各フレーム画像を出現点近傍エリアと他エリアとに分割する処理を行う処理部である。たとえば、この画像分割部１３ｂは、出現点を含んだ出現点近傍エリアの面積とフレーム画像の面積との比が、所定値になるように両エリアを分割する。
【００３２】
ここで、フレーム画像の分割例にについて図３を用いて説明しておく。図３は、フレーム画像の分割例を示す図である。なお、同図の（Ａ）には、フレーム画像の分割例を、同図の（Ｂ−１）および（Ｂ−２）には、分割後の各エリアを、それぞれ示している。
【００３３】
図３の（Ａ）に示すように、フレーム画像１００には、出現点１０１が含まれている。なお、同図では、出現点１０１から伸びる線３１ａおよび線３１ｂを例示している。これらの線３１ａおよび線３１ｂは、たとえば、道路脇の段差などをあらわす。
【００３４】
ここで、フレーム画像１００の幅をＷ、高さをＨとし、出現点近傍エリア（同図の破線矩形を参照）の幅をα、高さをβとする。この場合、画像分割情報１４ｂには、Ｗに対するαの比率およびＨに対するβの比率があらかじめ定義されている。
【００３５】
そして、画像分割部１３ｂは、画像分割情報１４ｂに定義された比率を用い、出現点１０１が中心となるように出現点近傍エリア２００（図３の（Ｂ−１）参照）を決定する。また、画像分割部１３ｂは、フレーム画像１００における出現点近傍エリア２００以外の領域を他エリア３００（図３の（Ｂ−２）参照）として決定する。
【００３６】
なお、同図では、出現点１０１が出現点近傍エリア２００の中央とする場合について示したが、出現点１０１の位置を出現点近傍エリア２００内の他の位置、たとえば、縦方向を１：２に内分する位置などにすることとしてもよい。
【００３７】
また、フレーム画像１００の縦横比（Ｈ：Ｗ）と、出現点近傍エリア２００の縦横比（β：α）とを同一にする場合には、画像分割情報１４ｂに、Ｈとβとの比、または、Ｗとαとの比を定義しておくこととすればよい。
【００３８】
さらに、本実施例では、出現点近傍エリア２００の形状を矩形とする場合について示したが、かかる形状を、円や楕円としたり、多角形としたりすることとしてもよい。また、本実施例では、フレーム画像１００を２つのエリアに分割する場合について示したが、フレーム画像１００を出現点１０１の距離に応じて３つ以上のエリアに分割することとしてもよい。
【００３９】
また、図３では、静的な画像分割情報１４ｂに基づいて出現点近傍エリア２００を一律に決定する場合について示したが、オプティカルフローの生成状況などに応じて出現点近傍エリア２００を動的に変更することとしてもよい。
【００４０】
図２の説明に戻り、制御部１３についての説明をつづける。自車速抽出部１３ｃは、車両運動取得部１２が出力する各種センサ値の中から自車両の速度に係るセンサ値を抽出する処理を行う処理部である。具体的には、自車速抽出部１３ｃは、抽出したセンサ値から自車両の速度（以下、「自車速」と記載する）を算出したうえで、算出した自車速をフレーム間決定部１３ｄへ通知する処理を行う処理部である。
【００４１】
フレーム間隔決定部１３ｄは、自車速抽出部１３ｃから受け取った自車速で、記憶部１４のフレーム間隔情報１４ｃを検索することによって、出現点近傍エリア２００におけるフレーム間隔および他エリア３００におけるフレーム間隔をそれぞれ決定する処理を行う処理部である。
【００４２】
オプティカルフロー算出部１３ｅは、フレーム間隔決定部１３によって決定された各フレーム間隔に基づいて出現点近傍エリア２００のオプティカルフローの算出と、他エリア３００のオプティカルフローの算出とを行う処理部である。
【００４３】
ここで、フレーム間隔情報１４ｃの例について図４を、オプティカルフロー算出部１３ｅによって行われるオプティカルフロー算出の概要について図５を、それぞれ用いて説明しておく。
【００４４】
図４は、フレーム間隔情報１４ｃを示す図である。同図に示すように、フレーム間隔情報１４ｃは、自車速の区間ごとに、出現点近傍エリア２００におけるフレーム間隔（Ｘ）と、他エリア３００におけるフレーム間隔（Ｙ）とを定義した情報である。
【００４５】
たとえば、同図に示した場合では、自車速が１０ｋｍ／ｈであれば、出現点近傍エリア２００におけるフレーム間隔（Ｘ）は「５」であり、他エリア３００におけるフレーム間隔（Ｙ）は「３」である。また、自車速が５０ｋｍ／ｈであれば、出現点近傍エリア２００におけるフレーム間隔（Ｘ）は「３」であり、他エリア３００におけるフレーム間隔（Ｙ）は「１」である。
【００４６】
このように、フレーム間隔情報１４ｃは、自車速の区間ごとに、各エリアのフレーム間隔をあらかじめ定めた情報である。しかし、後述するように、フレーム間隔情報１４ｃに定義されたフレーム間隔を初期値として用いてオプティカルフローを生成し、生成したオプティカルフローの状況に基づいて各エリアのフレーム間隔を動的に調整することとしてもよい。
【００４７】
図５は、各エリアにおけるオプティカルフロー算出処理の概要を示す図である。ここで、同図の（Ａ）には、時系列画像情報１４ａの例を、同図の（Ｂ）には、各エリアにおけるオプティカルフロー算出処理の例を、それぞれ示している。なお、図５の（Ａ）には、図４において、自車速が４１ｋｍ／ｈ〜６０ｋｍ／ｈの区間に該当し、出現点近傍エリア２００のフレーム間隔（Ｘ）が「３」と、他エリア３００のフレーム間隔（Ｙ）が「１」と、それぞれ決定された場合を例示している。
【００４８】
図５の（Ａ）に示したように、フレーム間隔（Ｘ）が３で、フレーム間隔（Ｙ）が１の場合には、出現点近傍エリア２００では、フレーム画像（ｔ）と、フレーム画像（ｔ−３）とを用いてオプティカルフローが算出される。また、他エリア３００では、フレーム画像（ｔ）と、フレーム画像（ｔ−１）とを用いてオプティカルフローが算出される。
【００４９】
また、図５の（Ｂ）に示したように、使用されるフレーム画像を上記したＸおよびＹを用いて一般化すると、出現点近傍エリア２００では、フレーム画像（ｔ）と、フレーム画像（ｔ−Ｘ）とを用いてオプティカルフローが算出されることになる（同図の（Ｂ−１）参照）。また、他エリア３００では、フレーム画像（ｔ）と、フレーム画像（ｔ−Ｙ）とを用いてオプティカルフローが算出されることになる（同図の（Ｂ−２）参照）。
【００５０】
図２の説明に戻り、制御部１３についての説明をつづける。移動物体検出部１３ｆは、オプティカルフロー算出部１３ｅによって各エリア（出現点近傍エリア２００および他エリア３００）ごとに算出されたオプティカルフローに基づいて移動物体を検出する処理を行う処理部である。
【００５１】
具体的には、移動物体検出部１３ｆによって、オプティカルフローのうち自車速に基づくオプティカルフローとベクトルが一致しないオプティカルフローが移動物体として検出されることになる。なお、静止物体については位置のみが、移動物体については位置および動き方向が検出される。また、移動物体検出部１３ｆは、検出した移動物体のオプティカルフローと、検出した静止物体のオプティカルフローとを、３次元復元部１３ｇへ通知する処理を併せて行う。
【００５２】
３次元復元部１３ｇは、移動物体検出部１３ｆから通知された静止物体のオプティカルフローから３次元復元計算を行い、静止物体および移動物体を３次元空間上に配置することで、自車両周辺の物体位置を復元する処理を行う処理部である。なお、３次元復元部１３ｇによって復元された物体位置は、自車両に対する衝突の危険性算出処理や、走路上における障害物の有無検出処理に用いられることになる。
【００５３】
記憶部１４は、ハードディスクドライブや不揮発性メモリといった記憶デバイスで構成された記憶部であり、時系列画像情報１４ａと、画像分割情報１４ｂと、フレーム間隔情報１４ｃとを記憶する。
【００５４】
時系列画像情報１４ａは、たとえば、図５の（Ａ）に示したように、所定間隔で撮像されたフレーム画像を、時系列に並べた情報である。また、画像分割情報１４ｂは、図３を用いて既に説明したように、出現点近傍エリア２００と、他エリア３００との境界線を指定する情報である。なお、フレーム間隔情報１４ｃについては、図４を用いて既に説明したので、ここでの説明を省略する。
【００５５】
次に、物体検出装置１０が実行する処理手順について図６を用いて説明する。図６は、物体検出装置１０が実行する処理手順を示すフローチャートである。なお、同図では、上述したフレーム画像を単に「画像」と記載している。
【００５６】
同図に示すように、物体検出装置１０は、画像（Ｔ＝ｔ）を入力し（ステップＳ１０１）、特徴点を算出するとともに（ステップＳ１０２）、出現点を算出する（ステップＳ１０３）。つづいて、自車速を取得したうえで（ステップＳ１０４）、対象とするエリアが出現点近傍エリア２００であるか否かを判定する（ステップＳ１０５）。
【００５７】
そして、エリアが出現点近傍エリア２００である場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０４で取得した自車速で画像分割情報１４ｂを検索することによってフレーム間隔（Ｘ）を取得し（ステップＳ１０６）、画像（Ｔ＝ｔ−Ｘ）を入力する（ステップＳ１０７）。つづいて、画像（Ｔ＝ｔ）および画像（Ｔ＝ｔ−Ｘ）を用いてオプティカルフローを生成する（ステップＳ１０８）。
【００５８】
また、ステップＳ１０８で生成したオプティカルフローから移動物体を検出する（ステップＳ１０９）。つづいて、ステップＳ１０９で検出された移動物体と、検出された移動物体以外の物体、すなわち、静止物体とを用いて物体の３次元復元を行う（ステップＳ１１０）。
【００５９】
一方、ステップＳ１０５の判定条件を満たさなかった場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０４で取得した自車速で画像分割情報１４ｂを検索することによってフレーム間隔（Ｙ）を取得し（ステップＳ１１１）、画像（Ｔ＝ｔ−Ｙ）を入力する（ステップＳ１１２）。つづいて、画像（Ｔ＝ｔ）および画像（Ｔ＝ｔ−Ｙ）を用いてオプティカルフローを生成する（ステップＳ１１３）。
【００６０】
また、ステップＳ１１３で生成したオプティカルフローから移動物体を検出する（ステップＳ１１４）。つづいて、ステップＳ１１４で検出された移動物体と、検出された移動物体以外の物体、すなわち、静止物体とを用いて物体の３次元復元を行う（ステップＳ１１５）。
【００６１】
そして、出現点近傍エリア２００における３次元復元（ステップＳ１１０）および他エリア３００における３次元復元（ステップＳ１１５）が完了したならば両者を合成し（ステップＳ１１６）、処理を終了する。
【００６２】
ところで、図６では、ステップＳ１０６およびステップＳ１１１において画像分割情報１４ｂから静的なフレーム間隔（ＸあるいはＹ）を取得する場合について示した。しかしながら、これに限らず、所定のフレーム間隔を用いて生成したオプティカルフローの生成状況をフィードバックすることで、フレーム間隔を動的に調整することとしてもよい。
【００６３】
そこで、以下では、各エリアにおけるフレーム間隔を動的に調整する場合について説明することとする。
【００６４】
図７は、フレーム間隔情報１４ｂに追加される追加情報の例を示す図である。図７の（Ａ）に示したのは、各エリアにおけるオプティカルフローの総数に基づいてフレーム間隔を調整する場合に用いられる閾値（ｔｈ＿ｆｃ）である。
【００６５】
具体的には、閾値ｔｈ＿ｆｃは、各エリアにおける総フロー数と比較され、総フロー数がｔｈ＿ｆｃよりも小さい場合には、フレーム間隔を小さくする調整が行われる。このように、フレーム間隔を小さくするのは、フレーム間隔が長すぎて対応点が片方のフレーム画像からはみ出したと考えられるからである。
【００６６】
一方、フロー数がｔｈ＿ｆｃ以上である場合には、フレーム間隔を長くする調整が行われる。このように、フレーム間隔を長くするのは、フレーム間隔が短すぎてフロー長が短い多数のオプティカルフローを検出してしまったと考えられるからである。
【００６７】
なお、図７の（Ａ）に示した場合では、出現点近傍エリア２００のｔｈ＿ｆｃは「１０」に、他エリア３００のｔｈ＿ｆｃは「４０」に、それぞれ設定されている。この場合、たとえば、出現点近傍エリア２００の総フロー数が５であれば、ｔｈ＿ｆｃよりも小さいので、フレーム間隔を小さくする調整が行われることになる。
【００６８】
図７の（Ｂ）に示したのは、所定の長さ以上のオプティカルフロー（以下、「長大フロー」と記載する）の数に基づいてフレーム間隔を調整する場合に用いられる閾値（ｔｈ＿Ｌおよびｔｈ＿Ｌｃ）である。
【００６９】
具体的には、閾値ｔｈ＿Ｌは、各オプティカルフローの長さ（フロー長）と比較され、フロー長が長大フロー長（ｔｈ＿Ｌ）以上である場合には、長大フローとみなされて長大フロー数がカウントアップされる。
【００７０】
ここで、図７の（Ｂ）に示した場合では、出現点近傍エリア２００および他エリア３００の双方ともｔｈ＿Ｌは１０ピクセルに設定されている。この場合、たとえば、出現点近傍エリア２００に１５ピクセルの長さのオプティカルフローがあれば、フロー長はｔｈ＿Ｌよりも大きいので、かかるオプティカルフローは長大フローとしてカウントされることになる。なお、同図では、２つのエリアに共通のピクセル値を設定しているが、エリアごとに異なるピクセル値を設定することとしてもよい。
【００７１】
また、閾値ｔｈ＿Ｌｃは、各エリアにおける長大フロー数と比較され、長大フロー数がｔｈ＿Ｌｃよりも小さい場合には、フレーム間隔を長くする調整が行われる。このように、フレーム間隔を長くするのは、フレーム間隔が短すぎて物体検出に有用な長大フローがすくなくなってしまったと考えられるためである。なお、長大フロー数がｔｈ＿Ｌｃ以上である場合には、オプティカルフローの生成状況が十分と考えられることから、フレーム間隔の調整は行われない。
【００７２】
なお、図７に示した各閾値は、フレーム間隔情報１４ｃに含まれる旨の説明を行ったが、図７の各閾値を、フレーム間隔情報１４ｃと区別して記憶部１４に格納しておくこととしてもよい。
【００７３】
次に、図７に示した各閾値を用いてフレーム間隔を動的に調整する場合の処理手順について図８を用いて説明する。図８は、フレーム間隔を動的に調整する場合の処理手順を示すフローチャートである。ここで、図８に示したフローチャートは、図６に示したフローチャートにおけるステップＳ１０６の代わりに用いられる。なお、図８に示したフローチャートにおける「Ｘ」を「Ｙ」へ変更すれば、図６のステップＳ１１１へ適用することもできる。
【００７４】
図８に示すように、フレーム間隔Ｘを入力し（ステップＳ２０１）、画像（Ｔ＝ｔ−Ｘ）を入力する（ステップＳ２０２）。つづいて、画像（Ｔ＝ｔ）と画像（Ｔ＝ｔ−Ｘ）とを用いてオプティカルフローを生成し（ステップＳ２０３）、フロー総数（ｆｃ）をカウントする（ステップＳ２０４）。また、長大フロー長用の閾値（ｔｈ＿Ｌ）以上のフロー数（Ｌｃ）についてもカウントする（ステップＳ２０５）。
【００７５】
つづいて、フロー総数（ｆｃ）が閾値（ｔｈ＿ｆｃ）よりも小さいか否かを判定し（ステップＳ２０６）、ｆｃがｔｈ＿ｆｃよりも小さい場合には（ステップＳ２０６，Ｙｅｓ）、フレーム間隔（Ｘ）を１つ減らすことでフレーム間隔を短縮する（ステップＳ２０７）。
【００７６】
そして、あらたなフレーム間隔（Ｘ）が所定の下限閾値（ｔｈ１＿Ｘ）と上限閾値（ｔｈ２＿Ｘ）の間の適正値であるか否かを判定し（ステップＳ２０８）、適正値である場合には（ステップＳ２０８，Ｙｅｓ）、ステップＳ２０２以降の処理を繰り返す。
【００７７】
一方、ステップＳ２０８の判定条件を満たさなかった場合には（ステップＳ２０８，Ｎｏ）、フレーム間隔（Ｘ）をステップＳ２０７の減算処理を行う前の値に戻したうえで（ステップＳ２０９）、Ｘを出力し（ステップＳ２１４）、処理を終了する。
【００７８】
ところで、ステップＳ２０６の判定条件を満たさなかった場合には（ステップＳ２０６，Ｎｏ）、つづいて、長大フロー数（Ｌｃ）が閾値（ｔｈ＿Ｌｃ）よりも小さいか否かを判定する（ステップＳ２１０）。そして、Ｌｃがｔｈ＿Ｌｃよりも小さい場合には（ステップＳ２１０，Ｙｅｓ）、フレーム間隔（Ｘ）を１つ増加させることでフレーム間隔を延長する（ステップＳ２１１）。
【００７９】
そして、あらたなフレーム間隔（Ｘ）が所定の下限閾値（ｔｈ１＿Ｘ）と上限閾値（ｔｈ２＿Ｘ）の間の適正値であるか否かを判定し（ステップＳ２１２）、適正値である場合には（ステップＳ２１２，Ｙｅｓ）、ステップＳ２０２以降の処理を繰り返す。
【００８０】
一方、ステップＳ２１２の判定条件を満たさなかった場合には（ステップＳ２１２，Ｎｏ）、フレーム間隔（Ｘ）をステップＳ２１１の加算処理を行う前の値に戻したうえで（ステップＳ２１３）、Ｘを出力し（ステップＳ２１４）、処理を終了する。なお、ステップＳ２１０の判定条件を満たさなかった場合には（ステップＳ２１０，Ｎｏ）、ステップＳ２１１〜ステップＳ２１３の処理を行うことなく、Ｘを出力し（ステップＳ２１４）、処理を終了する。
【００８１】
上述してきたように、本実施例では、画像分割部が、フレーム画像を、オプティカルフローの出現点を含む第１の領域と第１の領域以外の領域である第２の領域とに分割し、フレーム間隔決定部が、第１の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第１のフレーム間隔と、第２の領域におけるオプティカルフローを生成するために用いる１組のフレーム画像の間隔を示す第２のフレーム間隔とを個別に決定するように物体検出装置を構成した。したがって、エリアごとにオプティカルフローの長さを適度に調整することによってオプティカルフローの算出精度を高め、これにより、物体検出精度を向上させることができる。
【産業上の利用可能性】
【００８２】
以上のように、本発明に係る物体検出装置および物体検出方法は、オプティカルフローを用いた物体検出の検出精度を向上させたい場合に有用であり、特に、車両などの移動体における衝突防止機能への適用に適している。
【符号の説明】
【００８３】
１０ 物体検出装置
１１ カメラ
１２ 車両運動取得部
１３ 制御部
１３ａ 画像格納部
１３ｂ 画像分割部
１３ｃ 自車速抽出部
１３ｄ フレーム間隔決定部
１３ｅ オプティカルフロー算出部
１３ｆ 移動物体検出部
１３ｇ ３次元復元部
１４ 記憶部
１４ａ 時系列画像情報
１４ｂ 画像分割情報
１４ｃ フレーム間隔情報
１００ フレーム画像
１０１ 出現点
１０２、１０３ オプティカルフロー
２００ 出現点近傍エリア
３００ 他エリア
【特許請求の範囲】
【請求項１】
移動体において所定の時間間隔で撮像された複数のフレーム画像における同一特徴点を結ぶことによって生成されるオプティカルフローに基づいて前記フレーム画像に含まれる物体を検出する物体検出装置であって、
前記フレーム画像を、前記オプティカルフローの出現点を含む第１の領域と前記第１の領域以外の領域である第２の領域とに分割する分割手段と、
前記第１の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第１のフレーム間隔と、前記第２の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第２のフレーム間隔とを個別に決定する決定手段と
を備えたことを特徴とする物体検出装置。
【請求項２】
前記決定手段は、
前記第１の領域に対応する前記第１のフレーム間隔が、前記第２の領域に対応する前記第２のフレーム間隔よりも長くなるように決定することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記決定手段は、
前記移動体の移動速度に基づいて前記第１のフレーム間隔および前記第２のフレーム間隔を決定することを特徴とする請求項１または２に記載の物体検出装置。
【請求項４】
前記決定手段は、
前記第１の領域において生成した前記オプティカルフローの総数であるフロー総数が所定の下限閾値以下である場合には、該フロー総数が該下限閾値を上回るまで前記第１のフレーム間隔を減少させ、前記第２の領域に対応する前記フロー総数が所定の下限閾値以下である場合には、該フロー総数が該下限閾値を上回るまで前記第２のフレーム間隔を減少させることを特徴とする請求項１、２または３に記載の物体検出装置。
【請求項５】
前記決定手段は、
前記第１の領域において生成した前記オプティカルフローのうち所定の長さ以上の前記オプティカルフローの数である長大フロー数が所定の下限閾値以下である場合には、該長大フロー数が該下限閾値を上回るまで前記第１のフレーム間隔を増加させ、前記第２の領域に対応する前記長大フロー数が所定の下限閾値以下である場合には、該長大フロー数が該下限閾値を上回るまで前記第２のフレーム間隔を増加させることを特徴とする請求項１〜４のいずれか一つに記載の物体検出装置。
【請求項６】
前記分割手段は、
前記第１の領域に含まれる前記オプティカルフローの数および該第１の領域の面積との比に基づいて該第１の領域と前記第２の領域との境界線を変更することを特徴とする請求項１〜５のいずれか一つに記載の物体検出装置。
【請求項７】
前記決定手段によって決定された前記第１のフレーム間隔および前記第２のフレーム間隔に基づいて生成された前記オプティカルフローから移動物体を検出することによって前記物体を検出する物体検出手段
をさらに備えたことを特徴とする請求項１〜６のいずれか一つに記載の物体検出装置。
【請求項８】
移動体において所定の時間間隔で撮像された複数のフレーム画像における同一特徴点を結ぶことによって生成されるオプティカルフローに基づいて前記フレーム画像に含まれる物体を検出する物体検出方法であって、
前記フレーム画像を、前記オプティカルフローの出現点を含む第１の領域と前記第１の領域以外の領域である第２の領域とに分割する分割工程と、
前記第１の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第１のフレーム間隔と、前記第２の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第２のフレーム間隔とを個別に決定する決定工程と
を含んだことを特徴とする物体検出方法。
【請求項１】
移動体において所定の時間間隔で撮像された複数のフレーム画像における同一特徴点を結ぶことによって生成されるオプティカルフローに基づいて前記フレーム画像に含まれる物体を検出する物体検出装置であって、
前記フレーム画像を、前記オプティカルフローの出現点を含む第１の領域と前記第１の領域以外の領域である第２の領域とに分割する分割手段と、
前記第１の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第１のフレーム間隔と、前記第２の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第２のフレーム間隔とを個別に決定する決定手段と
を備えたことを特徴とする物体検出装置。
【請求項２】
前記決定手段は、
前記第１の領域に対応する前記第１のフレーム間隔が、前記第２の領域に対応する前記第２のフレーム間隔よりも長くなるように決定することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記決定手段は、
前記移動体の移動速度に基づいて前記第１のフレーム間隔および前記第２のフレーム間隔を決定することを特徴とする請求項１または２に記載の物体検出装置。
【請求項４】
前記決定手段は、
前記第１の領域において生成した前記オプティカルフローの総数であるフロー総数が所定の下限閾値以下である場合には、該フロー総数が該下限閾値を上回るまで前記第１のフレーム間隔を減少させ、前記第２の領域に対応する前記フロー総数が所定の下限閾値以下である場合には、該フロー総数が該下限閾値を上回るまで前記第２のフレーム間隔を減少させることを特徴とする請求項１、２または３に記載の物体検出装置。
【請求項５】
前記決定手段は、
前記第１の領域において生成した前記オプティカルフローのうち所定の長さ以上の前記オプティカルフローの数である長大フロー数が所定の下限閾値以下である場合には、該長大フロー数が該下限閾値を上回るまで前記第１のフレーム間隔を増加させ、前記第２の領域に対応する前記長大フロー数が所定の下限閾値以下である場合には、該長大フロー数が該下限閾値を上回るまで前記第２のフレーム間隔を増加させることを特徴とする請求項１〜４のいずれか一つに記載の物体検出装置。
【請求項６】
前記分割手段は、
前記第１の領域に含まれる前記オプティカルフローの数および該第１の領域の面積との比に基づいて該第１の領域と前記第２の領域との境界線を変更することを特徴とする請求項１〜５のいずれか一つに記載の物体検出装置。
【請求項７】
前記決定手段によって決定された前記第１のフレーム間隔および前記第２のフレーム間隔に基づいて生成された前記オプティカルフローから移動物体を検出することによって前記物体を検出する物体検出手段
をさらに備えたことを特徴とする請求項１〜６のいずれか一つに記載の物体検出装置。
【請求項８】
移動体において所定の時間間隔で撮像された複数のフレーム画像における同一特徴点を結ぶことによって生成されるオプティカルフローに基づいて前記フレーム画像に含まれる物体を検出する物体検出方法であって、
前記フレーム画像を、前記オプティカルフローの出現点を含む第１の領域と前記第１の領域以外の領域である第２の領域とに分割する分割工程と、
前記第１の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第１のフレーム間隔と、前記第２の領域における前記オプティカルフローを生成するために用いる１組の前記フレーム画像の間隔を示す第２のフレーム間隔とを個別に決定する決定工程と
を含んだことを特徴とする物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２８６９８５（Ｐ２０１０−２８６９８５Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１３９２９７（Ｐ２００９−１３９２９７）
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]