対応ブロック探索装置
【課題】簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことのできる技術を提供する。
【解決手段】対応ブロック探索装置１００は、自車両に設けられた、自車両の前方または後方を撮影する撮像装置１０１と、撮像装置１０１で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する対応ブロック探索部１０２と、を有する。対応ブロック探索部１０２は、予め求められた基準点と、基準ブロックとを結ぶ直線に近い位置で、直線から遠い位置に比べ、より細かく対応ブロックを探索する。基準点は、自車両が直線道路上を走行する際に撮影される画像の消失点である。
【解決手段】対応ブロック探索装置１００は、自車両に設けられた、自車両の前方または後方を撮影する撮像装置１０１と、撮像装置１０１で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する対応ブロック探索部１０２と、を有する。対応ブロック探索部１０２は、予め求められた基準点と、基準ブロックとを結ぶ直線に近い位置で、直線から遠い位置に比べ、より細かく対応ブロックを探索する。基準点は、自車両が直線道路上を走行する際に撮影される画像の消失点である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対応ブロック探索装置に関する。
【背景技術】
【０００２】
従来、２つの画像を比較する手法の１つとして、ブロックマッチング法がある。ブロックマッチング法では、例えば、撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する。対応ブロックは、探索フレームの全領域、または、探索フレーム内に定められた探索領域の中から探索される。このような探索により、ある時刻のフレーム内に映っていた物体や風景が、他の時刻のフレームでは何処に位置するのかなどを把握することができる。それにより、撮像装置と被写体の相対的な移動（移動ベクトル；基準ブロックの位置と対応ブロックの位置との差分）を把握することができる。
【０００３】
また、基準ブロックの位置と対応ブロックの位置との差分の情報でフレームを構成することにより、少ない情報量で動画像を構成することができる（例えば、ＭＰＥＧ形式などのデータは１枚の画像データとフレーム間の差分の情報で構成されている）。
【０００４】
このような基準ブロックの探索は演算量が多いため、演算量を軽減することが望まれている。
【０００５】
基準ブロックの探索の演算量を軽減するための従来技術として、段階探索法などがある。段階探索法は、探索領域全体を粗く探索し、基準ブロックに最も類似するブロック周辺で対応ブロックを細かく探索する手法である。しかしながら、段階探索法は様々な動画像に対応した汎用的な手法であるため、撮像装置が車両に設けられることを前提とする場合には、その場合に特化した方法で対応ブロックを探索することが好ましい。
【０００６】
撮像装置が車両に設けられていることを前提とした従来技術は、例えば、特許文献１に開示されている。具体的には、特許文献１に開示されている車載画像処理装置では、自車両の速度、加速度、旋回状態に基づいて、対応ブロックの探索開始位置を決める。しかしながら、特許文献１に開示されている方法では、自車両の速度、加速度、旋回状態などの車両の走行情報を取得する構成が必要となるため、構成が複雑になってしまう。
【０００７】
【特許文献１】特開２００５−３０１３５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことのできる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は以下の構成を採用する。
【００１０】
本発明に係る対応ブロック探索装置は、
車両に設けられた、前記車両の前方または後方を撮影する撮像装置と、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探
索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する対応ブロック探索手段と、
を有する対応ブロック探索装置であって、
前記対応ブロック探索手段は、予め求められた基準点と、前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする。
【００１１】
本発明に係る対応ブロック探索装置では、予め求められた基準点と基準ブロックとを結ぶ直線に近い位置で、該直線から遠い位置に比べ、より細かく対応ブロックを探索する。即ち、基準点と基準ブロックとを結ぶ直線から遠い位置で、該直線から近い位置に比べ、より粗く対応ブロックを探索する。それにより、探索領域全体について細かく対応ブロックを探索するのに比べ、少ない演算量で対応ブロックの探索を行うことができる。また、撮像装置が車両の前方または後方を撮影する場合には、車両が直線道路上を走行する際に撮影される動画像において、周囲の車両、路側機、建物などの被写体は、撮影画像の消失点と被写体とを結ぶ直線上を移動することが多い。そのため、対応ブロックは基準ブロックと消失点とを結ぶ直線付近に存在する可能性が高い。そこで、このような方法で基準ブロックを探索することにより、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことができる。また、本発明に係る対応ブロック探索装置では、基準点を予め求めておけばよいため、簡易な構成で対応ブロックの探索を行うことが可能となる。
【００１２】
前記対応ブロック探索手段は、
前記直線に近い位置から順に前記対応ブロックを探索し、
前記基準ブロックの画素値との差が所定値未満の画素値であるブロックが探索された場合に、当該ブロックを対応ブロックとし、探索処理を停止する
ことが好ましい。
上述したように、対応ブロックは基準ブロックと消失点とを結ぶ直線付近に存在する可能性が高い。そのため、このような構成にすることにより、より少ない処理量で対応ブロックを探索することが可能となる。
【００１３】
前記直線は、前記基準点と前記基準ブロックの中心とを結ぶ直線であることが好ましい。
撮像装置が車両の前方または後方を撮影する場合には、対応ブロックは基準ブロックの中心と消失点とを結ぶ直線付近に存在する可能性が高い。そのため、このような構成にすることにより、より適切な位置で細かく対応ブロックを探索することが可能となる。
【００１４】
前記基準点は、前記撮像装置を設置した際に求められることが好ましい。
車両が直線道路上を走行する際に撮影される画像の消失点は、撮像装置を設置した時点で略定まるため、撮像装置を設置した際に基準点を求めることにより、撮像装置の設置前に基準点を求める場合よりも正確に基準点を求めることが可能となる。
【００１５】
前記基準ブロックと前記対応ブロックの位置座標に基づいて、前記基準ブロックの動きベクトルを算出する動きベクトル算出手段を有することが好ましい。
それにより、簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した動きベクトルの算出が可能となる。
【００１６】
前記対応ブロック探索手段は、
過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測し、
前記予測された位置に近い位置で、前記予測された位置から遠い位置に比べ、より細か
く前記対応ブロックを探索する
ことが好ましい。
以前に動きベクトルが算出されている場合には、その動きベクトルに基づいて対応ブロックの位置を予測することができる。例えば、動きのある物体や風景は、ある程度継続して同じ方向に動くことが多い。具体的には、或る時刻のフレームにおいて左へ走行する車両が写っていた場合には、当該車両はその直前のフレームにおいても左へ走行していることが多い（瞬間的に車両の走行方向が変化することは少ない）。そのため、過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測することができる。そして、予測された位置に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索することで、より正確な対応ブロックを探索することが可能となる。
【００１７】
また、本発明は、上記手段の少なくとも一部を有する対応ブロック探索装置として捉えてもよいし、上記処理の少なくとも一部を含む対応ブロック探索方法、または、かかる方法を実現するための対応ブロック探索プログラムやそのプログラムを記憶した記憶媒体として捉えることもできる。また、本発明は、上記手段の少なくとも一部を有する車両として捉えてもよい。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１８】
本発明によれば、簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことのできる技術を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。本実施形態に係る対応ブロック探索装置は、ブロックマッチング法を用いて２つの画像を比較する装置に好ましく適用できる。例えば、動画像の形式をＭＰＥＧ形式などに変換する画像処理装置や、動画像中の物体を認証するための物体認証装置などに好ましく適用できる。
【００２０】
＜装置構成＞
図１は、本実施形態に係る対応ブロック探索装置の機能・構成を示すブロック図である。図１に示すように、本実施形態に係る対応ブロック探索装置１００は、撮像装置１０１、対応ブロック探索部１０２、動きベクトル算出部１０３を備える。
【００２１】
撮像装置１０１は、車両に設けられており、当該車両の前方または後方を撮影する。撮像装置１０１としては、光学系と撮像素子（ＣＣＤ、ＣＭＯＳセンサなど）を備えるデジタルカメラを好ましく適用できる。
【００２２】
対応ブロック探索部１０２は、撮像装置１０１で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する。なお、探索フレームは基準フレームより前のフレームであっても、後ろのフレームであってもよい。本実施形態では、撮影中の最も新しいフレームを基準フレームとし、その直前のフレームを探索フレームとする。
【００２３】
動きベクトル算出部１０３は、基準ブロックと対応ブロックの位置座標に基づいて、基準ブロックの動きベクトルを算出する。
【００２４】
＜対応ブロック探索部＞
以下に、本実施形態に係る対応ブロック探索部１０２の機能について図面を用いて例示的に詳しく説明する。
【００２５】
まず、撮像装置１０１が設けられている車両（自車両）が、直線状の道路（直線道路）を走行する場合を考える。このような場合に撮影される動画像において、周囲の車両（他車両）、路側機、建物などの被写体は、撮影画像の消失点と被写体とを結ぶ直線上を移動することが多い（図２（Ｂ））。具体的には、被写体が或る直線と平行な方向に離れていく場合には、撮影画像上では、被写体は消失点に向かって直線的に移動し、消失点に到達した後、消失する。複数の被写体が互いに平行な方向に離れていく場合には、撮影画像上では、それら複数の被写体は全て同じ消失点へ向かって直線的に移動する。直線道路上では、自車両や他車両は、直線道路と略平行な方向に移動することが多いため（図２（Ａ））、直線道路上を走行する際に撮影される動画像において、多くの被写体は１つの消失点と被写体とを結ぶ直線上を移動する（図２（Ｂ））。
【００２６】
そのため、自車両が直線道路を走行する場合には、対応ブロックは基準ブロックと消失点とを結ぶ直線付近に存在する可能性が高い。
【００２７】
そこで、本実施形態では、基準点として、自車両が直線道路上を走行する際に撮影される画像の消失点を予め求める。消失点の求め方としては、例えば、傾きを有する直線成分（水平及び垂直方向の直線成分以外）を検出し、それら直線成分を延長した際の交点を消失点としてもよいし、道路上の白線（傾きを有する白線）を検出し、それらの白線を延長した際の交点を消失点としてもよい。また、撮像装置の取り付け高さや向きに応じて求めてもよい。
【００２８】
基準点は、撮像装置を設置した際に求めてもよいし、撮像装置を設置する前の設計段階等で求めてもよい。但し、車両が直線道路上を走行する際に撮影される画像の消失点は、撮像装置を設置した時点で略定まるため、撮像装置を設置した際に基準点を求めることにより、撮像装置の設置前に基準点を求める場合よりも正確に基準点を求めることができる。基準点は、例えば、撮像装置を車両に取り付けた後、対応ブロック探索装置の起動時などに自動的に求まるようにしてもよいし、撮像装置を車両に取り付けた直後に、その取り付け高さや向きに応じて求めてもよい。なお、基準点は、対応ブロック探索装置の初回起動時のみに求めてもよいし、定期的に求めてもよい。例えば、対応ブロック探索装置の起動の度に基準点を求めてもよいし、自車両が直線道路に入る度に基準点を求めてもよい。
【００２９】
そして、対応ブロック探索部１０２は、予め求められた基準点と、基準ブロックとを結ぶ直線に近い位置で、直線から遠い位置に比べ、より細かく対応ブロックを探索する。即ち、基準点と基準ブロックとを結ぶ直線から遠い位置で、該直線から近い位置に比べ、より粗く対応ブロックを探索する。
【００３０】
例えば、対応ブロック探索部１０２は、図３に示すように、基準ブロックと基準点とを結ぶ直線（基準直線）を中心として、探索領域を複数の領域（領域３１ａ〜３１ｄ）に区分し、領域毎に探索の粗さを異ならせる。基準直線に対し線対称の領域（例えば、同じ符号を付した２つの領域）では、探索の粗さは互いに同じであってもよいし異なっていてもよい。なお、探索の粗さは、基準ブロックと基準点とを結ぶ直線からの距離に応じて連続的に変化させてもよい。基準ブロックとを結ぶ直線に近い位置で、直線から遠い位置よりも細かく対応ブロックが探索されればよい。
【００３１】
それにより、探索領域全体について細かく対応ブロックを探索するのに比べ、少ない演算量で撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことができる。また、本実施形態に係る対応ブロック探索装置では、基準点を予め求めておけばよい（従来技術のように、自車両の速度、加速度、旋回状態などの情報が不要）ため、簡易な構成で対応ブロックの探索を行うことができる。
【００３２】
また、対応ブロック探索部１０２は、対応ブロックを探索する際に探索領域内をどのように走査してもよい。但し、上述したように、対応ブロックは基準ブロックと消失点とを結ぶ直線（基準直線）付近に存在する可能性が高いため、基準直線に近い位置から順に対応ブロックを探索することが好ましい。そして、基準ブロックの画素値との差が所定値未満の画素値であるブロックが探索された場合に、当該ブロックを対応ブロックとし、探索処理を停止するような構成にすれば、より少ない処理量で対応ブロックを探索することができる。
【００３３】
なお、基準直線は、図４（Ａ）に示すように、基準ブロックの中心と基準点とを結ぶ直線であってもよいし、図４（Ｂ）に示すように、基準ブロックの角と基準点とを結ぶ直線であってもよい。基準直線は、基準ブロックと基準点とを通過するような直線であればどのように定義されてもよい。但し、撮像装置が車両の前方または後方を撮影する場合には、対応ブロックは基準ブロックの中心と消失点とを結ぶ直線付近に存在する可能性が高い。そのため、図４（Ａ）のように基準直線を定義することにより、より適切な位置で細かく対応ブロックを探索することが可能となる。
【００３４】
また、本実施形態では、対応ブロック探索部１０２は、過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測する。そして、予測された位置（予測位置）に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索する。
【００３５】
以前に動きベクトルが算出されている場合には、その動きベクトルに基づいて対応ブロックの位置を予測することができる。例えば、動きのある物体や風景は、ある程度継続して同じ方向に動くことが多い。具体的には、図５に示すように、或る時刻のフレームにおいて左へ走行する車両が写っていた場合には、当該車両はその直前のフレームにおいても左へ走行していることが多い（瞬間的に車両の走行方向が変化することは少ない）。そのため、過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測することができる。そして、予測された位置に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索することで、より正確な対応ブロックを探索することが可能となる（対応ブロックの誤検出を低減することができる）。
【００３６】
具体的には、図６に示すように、探索フレームが基準フレームよりも前のフレームであり、探索フレームとその前のフレーム間で、基準ブロックの位置でベクトル（ブロックＡ１の動き）が算出されていたとする。その場合には、ブロックＡ１とＡ２が共に同じ車両の一部であること、自車両が略一定の旋回量で旋回していることなどが予想されるため、基準ブロック（ブロックＡ２）も、ブロックＡ１と同じ動きをすることが予想される。そこで、そのような場合には、位置６０１に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索すればよい。
【００３７】
一方、図７に示すように、探索フレームが基準フレームよりも後のフレームであり、基準フレームとその前のフレーム間で、基準ブロックの位置で動きベクトル（ブロックＢ１の動き）が算出されていたとする。その場合には、ブロックＢ１は、基準フレームと探索フレームとの間においても略同様に動くことが予想される（上述したように、動きのある物体や風景は、ある程度継続して同じ方向に動くことが多いため）。そこで、そのような場合には、位置７０１に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索すればよい。
【００３８】
なお、このような場合においても、対応ブロックを探索する際の探索領域内の走査は、どのように行われてもよい。基準ブロックの画素値との差が所定値未満の画素値であるブロックを対応ブロックとし、探索処理を停止する場合には、予測位置に近い位置から走査
することが効率的であることは言うまでも無い。
【００３９】
＜対応ブロック探索処理＞
次に、対応ブロック探索部１０２による対応ブロック探索処理の流れの一例について図８、９を用いて説明する。図８、９は、対応ブロック探索処理の流れの一例を示すフローチャートである。なお、図８、９では、基準点が既に求められているものとして説明する。また、基準フレーム内の走査（基準ブロックの位置の切り換え）については、本実施形態に係る対応ブロック探索装置の特徴部分ではないため、説明を省略する。
【００４０】
まず、対応ブロック探索部１０２は、基準フレームの直前のフレームである探索フレームとその前のフレームとの間で、基準ブロックの位置で動きベクトルが算出されているか否かを判定する（ステップＳ８０１）。探索フレームとその前のフレームとの間で動きベクトルが算出されている場合には（ステップＳ８０１：ＹＥＳ）、ステップＳ８０８へ進み、探索フレームとその前のフレームとの間で動きベクトルが算出されていない場合には（ステップＳ８０１：ＮＯ）、ステップＳ８０２へ進む。
【００４１】
ステップＳ８０２では、対応ブロック探索部１０２が、探索フレーム内の探索領域の一部であって、基準直線に最も近い領域を候補ブロック（対応ブロックの候補）とする。なお、基準直線からの距離が互いに等しい領域が複数存在する場合には、それらの中で基準ブロックの中心位置からの距離が最も近い領域を候補ブロックとしてもよいし、それらの中のいずれかの領域を候補ブロックとしてもよい。
【００４２】
次に、基準ブロックの画素値と候補ブロックの画素値とを比較する（ステップＳ８０３）。基準ブロックの画素値と候補ブロックの画素値との差が所定の閾値以下の場合には（ステップＳ８０３：ＹＥＳ）、当該候補ブロックを対応ブロックとし（ステップＳ８０４）、対応ブロック探索処理を終了する。
【００４３】
基準ブロックの画素値と候補ブロックの画素値との差が所定の閾値より大きい場合には（ステップＳ８０３：ＮＯ）、探索領域全体について探索を行ったか否かを判定する（ステップＳ８０５）。探索領域全体について探索を行った場合には（ステップＳ８０５：ＹＥＳ）、対応ブロックは無いものとし（ステップＳ８０７）、対応ブロック探索処理を終了する。
【００４４】
探索領域全体について探索を行っていない場合には（ステップＳ８０５：ＮＯ）、候補ブロックの位置を、基準直線からの距離に応じた分だけ移動させる（ステップＳ８０６）。例えば、基準直線から候補ブロックまでの距離Ｌ＜αの場合に、候補ブロックを１ピクセル分ずらし、α≦距離Ｌ＜βの場合に３ピクセル分ずらし、β≦距離Ｌ＜γの場合に５ピクセル分ずらす（α＜β＜γ）。その後、ステップＳ８０３へ戻る。
【００４５】
ステップＳ８０８では、対応ブロック探索部が、探索フレーム内の探索領域の一部であって、探索フレームとその前のフレームとの間で算出された動きベクトルに最も近い領域を候補ブロック（対応ブロックの候補）とする。
【００４６】
次に、基準ブロックの画素値と候補ブロックの画素値とを比較する（ステップＳ８０９）。基準ブロックの画素値と候補ブロックの画素値との差が所定の閾値以下の場合には（ステップＳ８０９：ＹＥＳ）、当該候補ブロックを対応ブロックとし（ステップＳ８１０）、対応ブロック探索処理を終了する。
【００４７】
基準ブロックの画素値と候補ブロックの画素値との差が所定の閾値より大きい場合には（ステップＳ８０９：ＮＯ）、探索領域全体について探索を行ったか否かを判定する（ス
テップＳ８１１）。探索領域全体について探索を行った場合には（ステップＳ８１１：ＹＥＳ）、対応ブロックは無いものとし（ステップＳ８１３）、対応ブロック探索処理を終了する。
【００４８】
探索領域全体について探索を行っていない場合には（ステップＳ８１１：ＮＯ）、候補ブロックの位置を、探索フレームとその前のフレームとの間で算出された動きベクトルからの距離に応じた分だけ移動させる（ステップＳ８１２）。例えば、探索フレームとその前のフレームとの間で算出された動きベクトルから候補ブロックまでの距離Ｌ’＜α’の場合に、候補ブロックを１ピクセル分ずらし、α’≦距離Ｌ’＜β’の場合に３ピクセル分ずらし、β’≦距離Ｌ’＜γ’の場合に５ピクセル分ずらす（α’＜β’＜γ’）。その後、ステップＳ８０９へ戻る。
【００４９】
次に、ステップＳ８０６の処理の一例について図１０のフローチャートを用いて詳しく説明する。なお、ステップＳ８１２の処理はステップＳ８０６と同様のため説明を省略する。また、以下の説明ではα＜β＜γとする。
【００５０】
まず、対応ブロック探索部は、基準直線から候補ブロックまでの距離Ｌがαより小さいか否かを判定する（ステップＳ１００１）。距離Ｌがαより小さい場合には（ステップＳ１００１：ＹＥＳ）、候補ブロックの位置を１ピクセル分ずらし（ステップＳ１００２）、ステップＳ８０３へ進む。
【００５１】
距離Ｌがα以上の場合には（ステップＳ１００１：ＮＯ）、距離Ｌがβより小さいか否かを判定する（ステップＳ１００３）。距離Ｌがβより小さい場合には（ステップＳ１００３：ＹＥＳ）、候補ブロックの位置を３ピクセル分ずらし（ステップＳ１００４）、ステップＳ８０３へ進む。
【００５２】
距離Ｌがβ以上の場合には（ステップＳ１００３：ＮＯ）、距離Ｌがγより小さいか否かを判定する（ステップＳ１００５）。距離Ｌがγより小さい場合には（ステップＳ１００５：ＹＥＳ）、候補ブロックの位置を５ピクセル分ずらし（ステップＳ１００６）、ステップＳ８０３へ進む。
【００５３】
距離Ｌがγ以上の場合には（ステップＳ１００５：ＮＯ）、候補ブロックの位置を１０ピクセル分ずらし（ステップＳ１００７）、ステップＳ８０３へ進む。
【００５４】
＜従来技術との比較＞
次に、対応ブロック探索処理を途中で停止せずに探索領域全体を走査した場合の対応ブロックの候補数について、本実施形態に係る方法と探索領域全体について同じ粗さで探索する従来の方法とを比較する。
【００５５】
具体的には、図１１に示すように、ブロックの大きさをＢ×Ｂ＝１６ピクセル×１６ピクセルとする。そして、ブロックが中心にあるときに、ブロックと探索領域の輪郭までの距離が上下左右Ｗ＝３２ピクセル（即ち、探索領域が８０ピクセル×８０ピクセル）である場合について比較する。
【００５６】
まず、探索領域全体について同じ粗さで探索する従来の方法では、１ピクセル間隔で探索する場合に、対応ブロックの候補数は、（２Ｗ＋１）２＝４２２５となる。
【００５７】
本実施形態に係る方法では、図１１に示すように、基準ブロックの中心と基準点を結ぶ直線からの距離に応じて、探索領域を５つの領域（領域１１１ａ〜１１１ｅ）に区分するものとした。具体的には、直線に近い領域から順に、１ピクセル間隔で探索する領域１１
１ａ、２ピクセル間隔で探索する領域１１１ｂ、４ピクセル間隔で探索する領域１１１ｃ、８ピクセル間隔で探索する領域１１１ｄ、１６ピクセル間隔で探索する領域１１１ｅの５つの領域に区分したときの対応ブロックの候補数について求めた。
【００５８】
また、基準ブロックの中心と基準点を結ぶ直線の傾きは、基準ブロックの位置によって異なるため、直線が水平の場合を傾き０［ｒａｄ］とし、水平方向からの傾きθ［ｒａｄ］＝０、π／８、２π／８、３π／８、４π／８である場合について、それぞれ対応ブロックの候補数を求めた。
【００５９】
図１２に本実施形態に係る方法での対応ブロックの候補数及び従来の方法との比較結果を示す。図１２に示すように、本実施形態に係る方法での対応ブロックの候補数は、θ［ｒａｄ］＝０で２１９５、π／８で２１８３、２π／８で２２４５、３π／８で２３３０、４π／８で２３５９であった。そして、従来の方法での対応ブロックの候補数に対する本実施形態に係る方法での対応ブロックの候補数は、θ［ｒａｄ］＝０で５１％、π／８で５１％、２π／８で５３％、３π／８で５５％、４π／８で５５％であった。
【００６０】
以上の結果から、本実施形態の方法を用いれば、探索領域内全体を探索した場合において、従来の方法に比べ約半分の計算量で探索できることが確認された。
【００６１】
以上述べたように、本実施形態に係る対応ブロック探索装置では、予め求められた基準点を用いるという簡易な構成、且つ、少ない演算量で、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことができる。
【００６２】
また、本実施形態では、対応ブロック探索装置が動きベクトル算出部を備えているため、簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した動きベクトルの算出が可能となる。
【００６３】
なお、探索領域は基準ブロックの位置によらない一定の領域（例えば、道路上など、動きがあると予想される領域）であってもよいし、基準ブロック毎に基準ブロックの位置を基準に定められていてもよい。
【００６４】
なお、本実施形態では、候補ブロックの位置の切り換えを図１０のフローチャートに従って行う構成としたが、基準直線の傾きに対して、候補ブロックのとりうる位置を予め記憶していてもよい。基準直線の傾きに応じて、記憶された位置間で候補ブロックの位置を切り換えることにより、処理量を低減することができる。
【図面の簡単な説明】
【００６５】
【図１】図１は、本実施形態に係る対応ブロック探索装置の機能・構成を示すブロック図である。
【図２】図２（Ａ）は、直線状の道路における自車両と他車両の動きを示す図であり、図２（Ｂ）は図２（Ａ）のような状況で撮影された動画像の一例を示す図である。
【図３】図３は、本実施形態に係る対応ブロック探索部の機能を示す図である。
【図４】図４（Ａ）及び図４（Ｂ）は、基準直線の定義の一例を示す図である。
【図５】図５は、撮像装置で撮影される動画像の一例を示す図である。
【図６】図６は、対応ブロックの位置の予測方法の一例を示す図である。
【図７】図７は、対応ブロックの位置の予測方法の一例を示す図である。
【図８】図８は、対応ブロック探索処理の流れの一例を示すフローチャートである。
【図９】図９は、対応ブロック探索処理の流れの一例を示すフローチャートである。
【図１０】図１０は、ステップＳ８０６の処理の一例を示すフローチャートである。
【図１１】図１１は、ブロック及び探索領域の一例、及び、本実施形態に係る対応ブロックの探索方法の一例を示す図である。
【図１２】図１２は、本実施形態に係る方法での対応ブロックの候補数及び従来の方法との比較結果を示す図である。
【符号の説明】
【００６６】
１００ 対応ブロック探索装置
１０１ 撮像装置
１０２ 対応ブロック探索部
１０３ ベクトル算出部
３１ａ〜３１ｄ，１１１ａ〜１１１ｅ 領域
【技術分野】
【０００１】
本発明は、対応ブロック探索装置に関する。
【背景技術】
【０００２】
従来、２つの画像を比較する手法の１つとして、ブロックマッチング法がある。ブロックマッチング法では、例えば、撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する。対応ブロックは、探索フレームの全領域、または、探索フレーム内に定められた探索領域の中から探索される。このような探索により、ある時刻のフレーム内に映っていた物体や風景が、他の時刻のフレームでは何処に位置するのかなどを把握することができる。それにより、撮像装置と被写体の相対的な移動（移動ベクトル；基準ブロックの位置と対応ブロックの位置との差分）を把握することができる。
【０００３】
また、基準ブロックの位置と対応ブロックの位置との差分の情報でフレームを構成することにより、少ない情報量で動画像を構成することができる（例えば、ＭＰＥＧ形式などのデータは１枚の画像データとフレーム間の差分の情報で構成されている）。
【０００４】
このような基準ブロックの探索は演算量が多いため、演算量を軽減することが望まれている。
【０００５】
基準ブロックの探索の演算量を軽減するための従来技術として、段階探索法などがある。段階探索法は、探索領域全体を粗く探索し、基準ブロックに最も類似するブロック周辺で対応ブロックを細かく探索する手法である。しかしながら、段階探索法は様々な動画像に対応した汎用的な手法であるため、撮像装置が車両に設けられることを前提とする場合には、その場合に特化した方法で対応ブロックを探索することが好ましい。
【０００６】
撮像装置が車両に設けられていることを前提とした従来技術は、例えば、特許文献１に開示されている。具体的には、特許文献１に開示されている車載画像処理装置では、自車両の速度、加速度、旋回状態に基づいて、対応ブロックの探索開始位置を決める。しかしながら、特許文献１に開示されている方法では、自車両の速度、加速度、旋回状態などの車両の走行情報を取得する構成が必要となるため、構成が複雑になってしまう。
【０００７】
【特許文献１】特開２００５−３０１３５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことのできる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は以下の構成を採用する。
【００１０】
本発明に係る対応ブロック探索装置は、
車両に設けられた、前記車両の前方または後方を撮影する撮像装置と、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探
索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する対応ブロック探索手段と、
を有する対応ブロック探索装置であって、
前記対応ブロック探索手段は、予め求められた基準点と、前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする。
【００１１】
本発明に係る対応ブロック探索装置では、予め求められた基準点と基準ブロックとを結ぶ直線に近い位置で、該直線から遠い位置に比べ、より細かく対応ブロックを探索する。即ち、基準点と基準ブロックとを結ぶ直線から遠い位置で、該直線から近い位置に比べ、より粗く対応ブロックを探索する。それにより、探索領域全体について細かく対応ブロックを探索するのに比べ、少ない演算量で対応ブロックの探索を行うことができる。また、撮像装置が車両の前方または後方を撮影する場合には、車両が直線道路上を走行する際に撮影される動画像において、周囲の車両、路側機、建物などの被写体は、撮影画像の消失点と被写体とを結ぶ直線上を移動することが多い。そのため、対応ブロックは基準ブロックと消失点とを結ぶ直線付近に存在する可能性が高い。そこで、このような方法で基準ブロックを探索することにより、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことができる。また、本発明に係る対応ブロック探索装置では、基準点を予め求めておけばよいため、簡易な構成で対応ブロックの探索を行うことが可能となる。
【００１２】
前記対応ブロック探索手段は、
前記直線に近い位置から順に前記対応ブロックを探索し、
前記基準ブロックの画素値との差が所定値未満の画素値であるブロックが探索された場合に、当該ブロックを対応ブロックとし、探索処理を停止する
ことが好ましい。
上述したように、対応ブロックは基準ブロックと消失点とを結ぶ直線付近に存在する可能性が高い。そのため、このような構成にすることにより、より少ない処理量で対応ブロックを探索することが可能となる。
【００１３】
前記直線は、前記基準点と前記基準ブロックの中心とを結ぶ直線であることが好ましい。
撮像装置が車両の前方または後方を撮影する場合には、対応ブロックは基準ブロックの中心と消失点とを結ぶ直線付近に存在する可能性が高い。そのため、このような構成にすることにより、より適切な位置で細かく対応ブロックを探索することが可能となる。
【００１４】
前記基準点は、前記撮像装置を設置した際に求められることが好ましい。
車両が直線道路上を走行する際に撮影される画像の消失点は、撮像装置を設置した時点で略定まるため、撮像装置を設置した際に基準点を求めることにより、撮像装置の設置前に基準点を求める場合よりも正確に基準点を求めることが可能となる。
【００１５】
前記基準ブロックと前記対応ブロックの位置座標に基づいて、前記基準ブロックの動きベクトルを算出する動きベクトル算出手段を有することが好ましい。
それにより、簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した動きベクトルの算出が可能となる。
【００１６】
前記対応ブロック探索手段は、
過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測し、
前記予測された位置に近い位置で、前記予測された位置から遠い位置に比べ、より細か
く前記対応ブロックを探索する
ことが好ましい。
以前に動きベクトルが算出されている場合には、その動きベクトルに基づいて対応ブロックの位置を予測することができる。例えば、動きのある物体や風景は、ある程度継続して同じ方向に動くことが多い。具体的には、或る時刻のフレームにおいて左へ走行する車両が写っていた場合には、当該車両はその直前のフレームにおいても左へ走行していることが多い（瞬間的に車両の走行方向が変化することは少ない）。そのため、過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測することができる。そして、予測された位置に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索することで、より正確な対応ブロックを探索することが可能となる。
【００１７】
また、本発明は、上記手段の少なくとも一部を有する対応ブロック探索装置として捉えてもよいし、上記処理の少なくとも一部を含む対応ブロック探索方法、または、かかる方法を実現するための対応ブロック探索プログラムやそのプログラムを記憶した記憶媒体として捉えることもできる。また、本発明は、上記手段の少なくとも一部を有する車両として捉えてもよい。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１８】
本発明によれば、簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことのできる技術を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。本実施形態に係る対応ブロック探索装置は、ブロックマッチング法を用いて２つの画像を比較する装置に好ましく適用できる。例えば、動画像の形式をＭＰＥＧ形式などに変換する画像処理装置や、動画像中の物体を認証するための物体認証装置などに好ましく適用できる。
【００２０】
＜装置構成＞
図１は、本実施形態に係る対応ブロック探索装置の機能・構成を示すブロック図である。図１に示すように、本実施形態に係る対応ブロック探索装置１００は、撮像装置１０１、対応ブロック探索部１０２、動きベクトル算出部１０３を備える。
【００２１】
撮像装置１０１は、車両に設けられており、当該車両の前方または後方を撮影する。撮像装置１０１としては、光学系と撮像素子（ＣＣＤ、ＣＭＯＳセンサなど）を備えるデジタルカメラを好ましく適用できる。
【００２２】
対応ブロック探索部１０２は、撮像装置１０１で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する。なお、探索フレームは基準フレームより前のフレームであっても、後ろのフレームであってもよい。本実施形態では、撮影中の最も新しいフレームを基準フレームとし、その直前のフレームを探索フレームとする。
【００２３】
動きベクトル算出部１０３は、基準ブロックと対応ブロックの位置座標に基づいて、基準ブロックの動きベクトルを算出する。
【００２４】
＜対応ブロック探索部＞
以下に、本実施形態に係る対応ブロック探索部１０２の機能について図面を用いて例示的に詳しく説明する。
【００２５】
まず、撮像装置１０１が設けられている車両（自車両）が、直線状の道路（直線道路）を走行する場合を考える。このような場合に撮影される動画像において、周囲の車両（他車両）、路側機、建物などの被写体は、撮影画像の消失点と被写体とを結ぶ直線上を移動することが多い（図２（Ｂ））。具体的には、被写体が或る直線と平行な方向に離れていく場合には、撮影画像上では、被写体は消失点に向かって直線的に移動し、消失点に到達した後、消失する。複数の被写体が互いに平行な方向に離れていく場合には、撮影画像上では、それら複数の被写体は全て同じ消失点へ向かって直線的に移動する。直線道路上では、自車両や他車両は、直線道路と略平行な方向に移動することが多いため（図２（Ａ））、直線道路上を走行する際に撮影される動画像において、多くの被写体は１つの消失点と被写体とを結ぶ直線上を移動する（図２（Ｂ））。
【００２６】
そのため、自車両が直線道路を走行する場合には、対応ブロックは基準ブロックと消失点とを結ぶ直線付近に存在する可能性が高い。
【００２７】
そこで、本実施形態では、基準点として、自車両が直線道路上を走行する際に撮影される画像の消失点を予め求める。消失点の求め方としては、例えば、傾きを有する直線成分（水平及び垂直方向の直線成分以外）を検出し、それら直線成分を延長した際の交点を消失点としてもよいし、道路上の白線（傾きを有する白線）を検出し、それらの白線を延長した際の交点を消失点としてもよい。また、撮像装置の取り付け高さや向きに応じて求めてもよい。
【００２８】
基準点は、撮像装置を設置した際に求めてもよいし、撮像装置を設置する前の設計段階等で求めてもよい。但し、車両が直線道路上を走行する際に撮影される画像の消失点は、撮像装置を設置した時点で略定まるため、撮像装置を設置した際に基準点を求めることにより、撮像装置の設置前に基準点を求める場合よりも正確に基準点を求めることができる。基準点は、例えば、撮像装置を車両に取り付けた後、対応ブロック探索装置の起動時などに自動的に求まるようにしてもよいし、撮像装置を車両に取り付けた直後に、その取り付け高さや向きに応じて求めてもよい。なお、基準点は、対応ブロック探索装置の初回起動時のみに求めてもよいし、定期的に求めてもよい。例えば、対応ブロック探索装置の起動の度に基準点を求めてもよいし、自車両が直線道路に入る度に基準点を求めてもよい。
【００２９】
そして、対応ブロック探索部１０２は、予め求められた基準点と、基準ブロックとを結ぶ直線に近い位置で、直線から遠い位置に比べ、より細かく対応ブロックを探索する。即ち、基準点と基準ブロックとを結ぶ直線から遠い位置で、該直線から近い位置に比べ、より粗く対応ブロックを探索する。
【００３０】
例えば、対応ブロック探索部１０２は、図３に示すように、基準ブロックと基準点とを結ぶ直線（基準直線）を中心として、探索領域を複数の領域（領域３１ａ〜３１ｄ）に区分し、領域毎に探索の粗さを異ならせる。基準直線に対し線対称の領域（例えば、同じ符号を付した２つの領域）では、探索の粗さは互いに同じであってもよいし異なっていてもよい。なお、探索の粗さは、基準ブロックと基準点とを結ぶ直線からの距離に応じて連続的に変化させてもよい。基準ブロックとを結ぶ直線に近い位置で、直線から遠い位置よりも細かく対応ブロックが探索されればよい。
【００３１】
それにより、探索領域全体について細かく対応ブロックを探索するのに比べ、少ない演算量で撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことができる。また、本実施形態に係る対応ブロック探索装置では、基準点を予め求めておけばよい（従来技術のように、自車両の速度、加速度、旋回状態などの情報が不要）ため、簡易な構成で対応ブロックの探索を行うことができる。
【００３２】
また、対応ブロック探索部１０２は、対応ブロックを探索する際に探索領域内をどのように走査してもよい。但し、上述したように、対応ブロックは基準ブロックと消失点とを結ぶ直線（基準直線）付近に存在する可能性が高いため、基準直線に近い位置から順に対応ブロックを探索することが好ましい。そして、基準ブロックの画素値との差が所定値未満の画素値であるブロックが探索された場合に、当該ブロックを対応ブロックとし、探索処理を停止するような構成にすれば、より少ない処理量で対応ブロックを探索することができる。
【００３３】
なお、基準直線は、図４（Ａ）に示すように、基準ブロックの中心と基準点とを結ぶ直線であってもよいし、図４（Ｂ）に示すように、基準ブロックの角と基準点とを結ぶ直線であってもよい。基準直線は、基準ブロックと基準点とを通過するような直線であればどのように定義されてもよい。但し、撮像装置が車両の前方または後方を撮影する場合には、対応ブロックは基準ブロックの中心と消失点とを結ぶ直線付近に存在する可能性が高い。そのため、図４（Ａ）のように基準直線を定義することにより、より適切な位置で細かく対応ブロックを探索することが可能となる。
【００３４】
また、本実施形態では、対応ブロック探索部１０２は、過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測する。そして、予測された位置（予測位置）に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索する。
【００３５】
以前に動きベクトルが算出されている場合には、その動きベクトルに基づいて対応ブロックの位置を予測することができる。例えば、動きのある物体や風景は、ある程度継続して同じ方向に動くことが多い。具体的には、図５に示すように、或る時刻のフレームにおいて左へ走行する車両が写っていた場合には、当該車両はその直前のフレームにおいても左へ走行していることが多い（瞬間的に車両の走行方向が変化することは少ない）。そのため、過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測することができる。そして、予測された位置に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索することで、より正確な対応ブロックを探索することが可能となる（対応ブロックの誤検出を低減することができる）。
【００３６】
具体的には、図６に示すように、探索フレームが基準フレームよりも前のフレームであり、探索フレームとその前のフレーム間で、基準ブロックの位置でベクトル（ブロックＡ１の動き）が算出されていたとする。その場合には、ブロックＡ１とＡ２が共に同じ車両の一部であること、自車両が略一定の旋回量で旋回していることなどが予想されるため、基準ブロック（ブロックＡ２）も、ブロックＡ１と同じ動きをすることが予想される。そこで、そのような場合には、位置６０１に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索すればよい。
【００３７】
一方、図７に示すように、探索フレームが基準フレームよりも後のフレームであり、基準フレームとその前のフレーム間で、基準ブロックの位置で動きベクトル（ブロックＢ１の動き）が算出されていたとする。その場合には、ブロックＢ１は、基準フレームと探索フレームとの間においても略同様に動くことが予想される（上述したように、動きのある物体や風景は、ある程度継続して同じ方向に動くことが多いため）。そこで、そのような場合には、位置７０１に近い位置で、予測された位置から遠い位置に比べ、より細かく対応ブロックを探索すればよい。
【００３８】
なお、このような場合においても、対応ブロックを探索する際の探索領域内の走査は、どのように行われてもよい。基準ブロックの画素値との差が所定値未満の画素値であるブロックを対応ブロックとし、探索処理を停止する場合には、予測位置に近い位置から走査
することが効率的であることは言うまでも無い。
【００３９】
＜対応ブロック探索処理＞
次に、対応ブロック探索部１０２による対応ブロック探索処理の流れの一例について図８、９を用いて説明する。図８、９は、対応ブロック探索処理の流れの一例を示すフローチャートである。なお、図８、９では、基準点が既に求められているものとして説明する。また、基準フレーム内の走査（基準ブロックの位置の切り換え）については、本実施形態に係る対応ブロック探索装置の特徴部分ではないため、説明を省略する。
【００４０】
まず、対応ブロック探索部１０２は、基準フレームの直前のフレームである探索フレームとその前のフレームとの間で、基準ブロックの位置で動きベクトルが算出されているか否かを判定する（ステップＳ８０１）。探索フレームとその前のフレームとの間で動きベクトルが算出されている場合には（ステップＳ８０１：ＹＥＳ）、ステップＳ８０８へ進み、探索フレームとその前のフレームとの間で動きベクトルが算出されていない場合には（ステップＳ８０１：ＮＯ）、ステップＳ８０２へ進む。
【００４１】
ステップＳ８０２では、対応ブロック探索部１０２が、探索フレーム内の探索領域の一部であって、基準直線に最も近い領域を候補ブロック（対応ブロックの候補）とする。なお、基準直線からの距離が互いに等しい領域が複数存在する場合には、それらの中で基準ブロックの中心位置からの距離が最も近い領域を候補ブロックとしてもよいし、それらの中のいずれかの領域を候補ブロックとしてもよい。
【００４２】
次に、基準ブロックの画素値と候補ブロックの画素値とを比較する（ステップＳ８０３）。基準ブロックの画素値と候補ブロックの画素値との差が所定の閾値以下の場合には（ステップＳ８０３：ＹＥＳ）、当該候補ブロックを対応ブロックとし（ステップＳ８０４）、対応ブロック探索処理を終了する。
【００４３】
基準ブロックの画素値と候補ブロックの画素値との差が所定の閾値より大きい場合には（ステップＳ８０３：ＮＯ）、探索領域全体について探索を行ったか否かを判定する（ステップＳ８０５）。探索領域全体について探索を行った場合には（ステップＳ８０５：ＹＥＳ）、対応ブロックは無いものとし（ステップＳ８０７）、対応ブロック探索処理を終了する。
【００４４】
探索領域全体について探索を行っていない場合には（ステップＳ８０５：ＮＯ）、候補ブロックの位置を、基準直線からの距離に応じた分だけ移動させる（ステップＳ８０６）。例えば、基準直線から候補ブロックまでの距離Ｌ＜αの場合に、候補ブロックを１ピクセル分ずらし、α≦距離Ｌ＜βの場合に３ピクセル分ずらし、β≦距離Ｌ＜γの場合に５ピクセル分ずらす（α＜β＜γ）。その後、ステップＳ８０３へ戻る。
【００４５】
ステップＳ８０８では、対応ブロック探索部が、探索フレーム内の探索領域の一部であって、探索フレームとその前のフレームとの間で算出された動きベクトルに最も近い領域を候補ブロック（対応ブロックの候補）とする。
【００４６】
次に、基準ブロックの画素値と候補ブロックの画素値とを比較する（ステップＳ８０９）。基準ブロックの画素値と候補ブロックの画素値との差が所定の閾値以下の場合には（ステップＳ８０９：ＹＥＳ）、当該候補ブロックを対応ブロックとし（ステップＳ８１０）、対応ブロック探索処理を終了する。
【００４７】
基準ブロックの画素値と候補ブロックの画素値との差が所定の閾値より大きい場合には（ステップＳ８０９：ＮＯ）、探索領域全体について探索を行ったか否かを判定する（ス
テップＳ８１１）。探索領域全体について探索を行った場合には（ステップＳ８１１：ＹＥＳ）、対応ブロックは無いものとし（ステップＳ８１３）、対応ブロック探索処理を終了する。
【００４８】
探索領域全体について探索を行っていない場合には（ステップＳ８１１：ＮＯ）、候補ブロックの位置を、探索フレームとその前のフレームとの間で算出された動きベクトルからの距離に応じた分だけ移動させる（ステップＳ８１２）。例えば、探索フレームとその前のフレームとの間で算出された動きベクトルから候補ブロックまでの距離Ｌ’＜α’の場合に、候補ブロックを１ピクセル分ずらし、α’≦距離Ｌ’＜β’の場合に３ピクセル分ずらし、β’≦距離Ｌ’＜γ’の場合に５ピクセル分ずらす（α’＜β’＜γ’）。その後、ステップＳ８０９へ戻る。
【００４９】
次に、ステップＳ８０６の処理の一例について図１０のフローチャートを用いて詳しく説明する。なお、ステップＳ８１２の処理はステップＳ８０６と同様のため説明を省略する。また、以下の説明ではα＜β＜γとする。
【００５０】
まず、対応ブロック探索部は、基準直線から候補ブロックまでの距離Ｌがαより小さいか否かを判定する（ステップＳ１００１）。距離Ｌがαより小さい場合には（ステップＳ１００１：ＹＥＳ）、候補ブロックの位置を１ピクセル分ずらし（ステップＳ１００２）、ステップＳ８０３へ進む。
【００５１】
距離Ｌがα以上の場合には（ステップＳ１００１：ＮＯ）、距離Ｌがβより小さいか否かを判定する（ステップＳ１００３）。距離Ｌがβより小さい場合には（ステップＳ１００３：ＹＥＳ）、候補ブロックの位置を３ピクセル分ずらし（ステップＳ１００４）、ステップＳ８０３へ進む。
【００５２】
距離Ｌがβ以上の場合には（ステップＳ１００３：ＮＯ）、距離Ｌがγより小さいか否かを判定する（ステップＳ１００５）。距離Ｌがγより小さい場合には（ステップＳ１００５：ＹＥＳ）、候補ブロックの位置を５ピクセル分ずらし（ステップＳ１００６）、ステップＳ８０３へ進む。
【００５３】
距離Ｌがγ以上の場合には（ステップＳ１００５：ＮＯ）、候補ブロックの位置を１０ピクセル分ずらし（ステップＳ１００７）、ステップＳ８０３へ進む。
【００５４】
＜従来技術との比較＞
次に、対応ブロック探索処理を途中で停止せずに探索領域全体を走査した場合の対応ブロックの候補数について、本実施形態に係る方法と探索領域全体について同じ粗さで探索する従来の方法とを比較する。
【００５５】
具体的には、図１１に示すように、ブロックの大きさをＢ×Ｂ＝１６ピクセル×１６ピクセルとする。そして、ブロックが中心にあるときに、ブロックと探索領域の輪郭までの距離が上下左右Ｗ＝３２ピクセル（即ち、探索領域が８０ピクセル×８０ピクセル）である場合について比較する。
【００５６】
まず、探索領域全体について同じ粗さで探索する従来の方法では、１ピクセル間隔で探索する場合に、対応ブロックの候補数は、（２Ｗ＋１）２＝４２２５となる。
【００５７】
本実施形態に係る方法では、図１１に示すように、基準ブロックの中心と基準点を結ぶ直線からの距離に応じて、探索領域を５つの領域（領域１１１ａ〜１１１ｅ）に区分するものとした。具体的には、直線に近い領域から順に、１ピクセル間隔で探索する領域１１
１ａ、２ピクセル間隔で探索する領域１１１ｂ、４ピクセル間隔で探索する領域１１１ｃ、８ピクセル間隔で探索する領域１１１ｄ、１６ピクセル間隔で探索する領域１１１ｅの５つの領域に区分したときの対応ブロックの候補数について求めた。
【００５８】
また、基準ブロックの中心と基準点を結ぶ直線の傾きは、基準ブロックの位置によって異なるため、直線が水平の場合を傾き０［ｒａｄ］とし、水平方向からの傾きθ［ｒａｄ］＝０、π／８、２π／８、３π／８、４π／８である場合について、それぞれ対応ブロックの候補数を求めた。
【００５９】
図１２に本実施形態に係る方法での対応ブロックの候補数及び従来の方法との比較結果を示す。図１２に示すように、本実施形態に係る方法での対応ブロックの候補数は、θ［ｒａｄ］＝０で２１９５、π／８で２１８３、２π／８で２２４５、３π／８で２３３０、４π／８で２３５９であった。そして、従来の方法での対応ブロックの候補数に対する本実施形態に係る方法での対応ブロックの候補数は、θ［ｒａｄ］＝０で５１％、π／８で５１％、２π／８で５３％、３π／８で５５％、４π／８で５５％であった。
【００６０】
以上の結果から、本実施形態の方法を用いれば、探索領域内全体を探索した場合において、従来の方法に比べ約半分の計算量で探索できることが確認された。
【００６１】
以上述べたように、本実施形態に係る対応ブロック探索装置では、予め求められた基準点を用いるという簡易な構成、且つ、少ない演算量で、撮像装置が車両に設けられている場合に特化した対応ブロックの探索を行うことができる。
【００６２】
また、本実施形態では、対応ブロック探索装置が動きベクトル算出部を備えているため、簡易な構成且つ少ない演算量で、撮像装置が車両に設けられている場合に特化した動きベクトルの算出が可能となる。
【００６３】
なお、探索領域は基準ブロックの位置によらない一定の領域（例えば、道路上など、動きがあると予想される領域）であってもよいし、基準ブロック毎に基準ブロックの位置を基準に定められていてもよい。
【００６４】
なお、本実施形態では、候補ブロックの位置の切り換えを図１０のフローチャートに従って行う構成としたが、基準直線の傾きに対して、候補ブロックのとりうる位置を予め記憶していてもよい。基準直線の傾きに応じて、記憶された位置間で候補ブロックの位置を切り換えることにより、処理量を低減することができる。
【図面の簡単な説明】
【００６５】
【図１】図１は、本実施形態に係る対応ブロック探索装置の機能・構成を示すブロック図である。
【図２】図２（Ａ）は、直線状の道路における自車両と他車両の動きを示す図であり、図２（Ｂ）は図２（Ａ）のような状況で撮影された動画像の一例を示す図である。
【図３】図３は、本実施形態に係る対応ブロック探索部の機能を示す図である。
【図４】図４（Ａ）及び図４（Ｂ）は、基準直線の定義の一例を示す図である。
【図５】図５は、撮像装置で撮影される動画像の一例を示す図である。
【図６】図６は、対応ブロックの位置の予測方法の一例を示す図である。
【図７】図７は、対応ブロックの位置の予測方法の一例を示す図である。
【図８】図８は、対応ブロック探索処理の流れの一例を示すフローチャートである。
【図９】図９は、対応ブロック探索処理の流れの一例を示すフローチャートである。
【図１０】図１０は、ステップＳ８０６の処理の一例を示すフローチャートである。
【図１１】図１１は、ブロック及び探索領域の一例、及び、本実施形態に係る対応ブロックの探索方法の一例を示す図である。
【図１２】図１２は、本実施形態に係る方法での対応ブロックの候補数及び従来の方法との比較結果を示す図である。
【符号の説明】
【００６６】
１００ 対応ブロック探索装置
１０１ 撮像装置
１０２ 対応ブロック探索部
１０３ ベクトル算出部
３１ａ〜３１ｄ，１１１ａ〜１１１ｅ 領域
【特許請求の範囲】
【請求項１】
車両に設けられた、前記車両の前方または後方を撮影する撮像装置と、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する対応ブロック探索手段と、
を有する対応ブロック探索装置であって、
前記対応ブロック探索手段は、予め求められた基準点と、前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする対応ブロック探索装置。
【請求項２】
前記対応ブロック探索手段は、
前記直線に近い位置から順に前記対応ブロックを探索し、
前記基準ブロックの画素値との差が所定値未満の画素値であるブロックが探索された場合に、当該ブロックを対応ブロックとし、探索処理を停止する
ことを特徴とする請求項１に記載の対応ブロック探索装置。
【請求項３】
前記直線は、前記基準点と前記基準ブロックの中心とを結ぶ直線である
ことを特徴とする請求項１または２に記載の対応ブロック探索装置。
【請求項４】
前記基準点は、前記撮像装置を設置した際に求められる
ことを特徴とする請求項１〜３のいずれか１項に記載の対応ブロック探索装置。
【請求項５】
前記基準ブロックと前記対応ブロックの位置座標に基づいて、前記基準ブロックの動きベクトルを算出する動きベクトル算出手段を有する
ことを特徴とする請求項１〜４のいずれか１項に記載の対応ブロック探索装置。
【請求項６】
前記対応ブロック探索手段は、
過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測し、
前記予測された位置に近い位置で、前記予測された位置から遠い位置に比べ、より細かく前記対応ブロックを探索する
ことを特徴とする請求項５に記載の対応ブロック探索装置。
【請求項７】
コンピュータが、
基準点を予め求めるステップと、
車両に設けられた撮像装置で、前記車両の前方または後方を撮影するステップと、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索するステップと、
を実行する対応ブロック探索方法であって、
前記対応ブロックを探索するステップでは、前記基準点と前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする対応ブロック探索方法。
【請求項８】
コンピュータに、
基準点を予め求めるステップと、
車両に設けられた撮像装置で、前記車両の前方または後方を撮影するステップと、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探
索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索するステップと、
を実行させるための対応ブロック探索プログラムであって、
前記対応ブロックを探索するステップでは、前記基準点と前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする対応ブロック探索プログラム。
【請求項９】
車両の前方または後方を撮影する撮像装置と、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する対応ブロック探索手段と、
を有する車両であって、
前記対応ブロック探索手段は、予め求められた基準点と、前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする車両。
【請求項１】
車両に設けられた、前記車両の前方または後方を撮影する撮像装置と、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する対応ブロック探索手段と、
を有する対応ブロック探索装置であって、
前記対応ブロック探索手段は、予め求められた基準点と、前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする対応ブロック探索装置。
【請求項２】
前記対応ブロック探索手段は、
前記直線に近い位置から順に前記対応ブロックを探索し、
前記基準ブロックの画素値との差が所定値未満の画素値であるブロックが探索された場合に、当該ブロックを対応ブロックとし、探索処理を停止する
ことを特徴とする請求項１に記載の対応ブロック探索装置。
【請求項３】
前記直線は、前記基準点と前記基準ブロックの中心とを結ぶ直線である
ことを特徴とする請求項１または２に記載の対応ブロック探索装置。
【請求項４】
前記基準点は、前記撮像装置を設置した際に求められる
ことを特徴とする請求項１〜３のいずれか１項に記載の対応ブロック探索装置。
【請求項５】
前記基準ブロックと前記対応ブロックの位置座標に基づいて、前記基準ブロックの動きベクトルを算出する動きベクトル算出手段を有する
ことを特徴とする請求項１〜４のいずれか１項に記載の対応ブロック探索装置。
【請求項６】
前記対応ブロック探索手段は、
過去に算出された動きベクトルに基づいて、対応ブロックの位置を予測し、
前記予測された位置に近い位置で、前記予測された位置から遠い位置に比べ、より細かく前記対応ブロックを探索する
ことを特徴とする請求項５に記載の対応ブロック探索装置。
【請求項７】
コンピュータが、
基準点を予め求めるステップと、
車両に設けられた撮像装置で、前記車両の前方または後方を撮影するステップと、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索するステップと、
を実行する対応ブロック探索方法であって、
前記対応ブロックを探索するステップでは、前記基準点と前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする対応ブロック探索方法。
【請求項８】
コンピュータに、
基準点を予め求めるステップと、
車両に設けられた撮像装置で、前記車両の前方または後方を撮影するステップと、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探
索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索するステップと、
を実行させるための対応ブロック探索プログラムであって、
前記対応ブロックを探索するステップでは、前記基準点と前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする対応ブロック探索プログラム。
【請求項９】
車両の前方または後方を撮影する撮像装置と、
前記撮像装置で撮影された動画像中のフレームの１つである基準フレームとは異なる探索フレームから、基準フレーム内の一部の領域である基準ブロックに対応する対応ブロックを探索する対応ブロック探索手段と、
を有する車両であって、
前記対応ブロック探索手段は、予め求められた基準点と、前記基準ブロックとを結ぶ直線に近い位置で、前記直線から遠い位置に比べ、より細かく前記対応ブロックを探索し、
前記基準点は、前記車両が直線道路上を走行する際に撮影される画像の消失点である
ことを特徴とする車両。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１２８７４４（Ｐ２０１０−１２８７４４Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０２１５０（Ｐ２００８−３０２１５０）
【出願日】平成２０年１１月２７日（２００８．１１．２７）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２７日（２００８．１１．２７）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]