画像処理装置
【課題】撮影画像の消失点（ＦＯＥ）を少ない計算負担で迅速に検出できるようにする。
【解決手段】領域決定手段３４により車両１の撮像装置２が撮影した車両周囲の撮影画像から消失点（ＦＯＥ）が存在する可能性がある候補領域を決定し、フロー算出手段３５により撮影画像の算出対象領域のオプティカルフローを算出する。個別類似性演算手段３６により候補領域の消失点候補画素毎に各算出対象領域と消失点候補画素とを結ぶ線分の向きと各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算し、総合類似性演算手段３７により各指標値に基づいて消失点候補画素それぞれの類似性の度合いの総合値を演算する。このとき、演算中の総合値が演算の終了した他の消失点候補画素の総合値より消失点である確度が低い値に確定すると、演算制御手段３９によりその消失点候補画素の演算を終了し、消失点決定手段３８により、少ない計算負荷で絞り込んだ確度の高い候補領域から消失点（ＦＯＥ）を決定する。
【解決手段】領域決定手段３４により車両１の撮像装置２が撮影した車両周囲の撮影画像から消失点（ＦＯＥ）が存在する可能性がある候補領域を決定し、フロー算出手段３５により撮影画像の算出対象領域のオプティカルフローを算出する。個別類似性演算手段３６により候補領域の消失点候補画素毎に各算出対象領域と消失点候補画素とを結ぶ線分の向きと各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算し、総合類似性演算手段３７により各指標値に基づいて消失点候補画素それぞれの類似性の度合いの総合値を演算する。このとき、演算中の総合値が演算の終了した他の消失点候補画素の総合値より消失点である確度が低い値に確定すると、演算制御手段３９によりその消失点候補画素の演算を終了し、消失点決定手段３８により、少ない計算負荷で絞り込んだ確度の高い候補領域から消失点（ＦＯＥ）を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両（自車）の撮像装置が撮影した車両周囲（前方等）の撮影画像につき、背景と、他の車両（自転車等も含む）や人（歩行者等）等の動くものとを区別するための消失点（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）を求める画像処理装置に関する。
【背景技術】
【０００２】
従来、車両の安全運転支援装置の一つとして、車両（自車）に搭載した撮像装置が撮影した車両周囲（前方等）の撮影画像から、他の車両（自転車等も含む）や人（歩行者等）等の動くものと自車との衝突の可能性を判定する衝突防止支援装置が提案されている。
【０００３】
この衝突防止支援装置を形成する従来の画像処理装置においては、撮影画像の道路に平行な各線分を算出し、それらの線分の延長線の交点の画素から、背景の流れ（オプティカルフロー）と前記動くものの動きとを区別するための消失点（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）を求めることが提案されている（例えば、特許文献１（請求項６、段落［００９２］、［０１２９］、［０１３１］、図６等）参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２５７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記特許文献１に記載の画像処理装置の場合、道路に平行な各線分の延長線の交点の画素を特定するためには多元連立方程式を解く複雑な演算をする必要があり、計算負荷が膨大となる。また、車両挙動等に起因する撮像装置の振動等に基づき、実際には、たとえ静止した背景画のみであっても、前記延長線の全てが一点で交差することはほとんどなく、前記演算の解が１つに収束しないため、消失点の特定は容易ではない。
【０００６】
本発明は、撮影画像から計算負荷を軽くして精度よく消失点（ＦＯＥ）が検出できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために、本発明の画像処理装置は、車両に搭載された撮像装置と、前記撮像装置が撮影した車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する領域決定手段と、前記候補領域を除く前記各分割領域のうちの算出対象領域のオプティカルフローを算出する算出手段と、前記候補領域の消失点候補画素毎に、前記各算出対象領域と前記消失点候補画素とを結ぶ線分の向きと、前記各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算する個別類似性演算手段と、前記消失点候補画素それぞれにつき、あらたな前記ペアの前記指標値が演算される毎に演算された当該指標値を過去の前記類似性の度合いの総合値に追加して最新の前記総合値を演算する総合類似性演算手段と、演算中の前記総合値が演算の終了した他の消失点候補画素の前記総合値より前記消失点である確度の低い値に確定するまでは、前記個別類似性演算手段および前記総合類似性演算手段の演算をくり返し、演算中の前記総合値が前記他の消失点候補画素の前記総合値より前記消失点である確度が低い値に確定した時点で前記個別類似性演算手段および前記総合類似性演算手段の演算を終了する演算制御手段と、前記総合類似性演算手段の演算結果から前記消失点である確度が最も高い前記消失点候補画素を前記消失点に決定する決定手段とを備えたことを特徴としている（請求項１）。
【発明の効果】
【０００８】
請求項１の発明の場合、撮像装置が撮影した車両周囲の撮影画像につき、領域決定手段により画像の消失点（ＦＯＥ）が存在する可能性がある候補領域を決定して抽出する。また、算出手段により、候補領域を除く各分割領域のうちの算出対象領域のオプティカルフローを算出する。そして、個別類似性演算手段により、候補領域の消失点候補画素毎に各算出対象領域と消失点候補画素とを結ぶ線分の向きと、各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算することにより、各消失点候補画素の消失点（ＦＯＥ）としての確度を撮影画像の分割した各算出対象領域毎に個別に求めることができる。さらに、総合類似性演算手段により、消失点候補画素それぞれについてあらたなペアの前記指標値が演算される毎に演算された指標値を追加して最新の総合値を演算し、各消失点候補画素につき、個別類似性演算手段の各算出対象領域毎の個別の演算結果を総合して消失点（ＦＯＥ）としての確度を求めることができる。このとき、演算制御手段により、各消失点候補画素それそれの演算中の総合値が他の消失点候補画素の総合値より消失点である確度が低い値に確定すると、途中で演算を終了してつぎの消失点候補画素の総合値の演算に移るので、計算の無駄が無い。
【０００９】
そして、決定手段により、総合類似性演算手段の演算結果から消失点（ＦＯＥ）である確度が最も高い消失点候補画素を消失点（ＦＯＥ）に決定するため、撮影画像の道路に平行な線分の延長線の全ての交点を求めるような複雑な演算を行なうことなく、撮影画増から絞り込んだ確度の高い一部の候補領域についてのみ、各消失点候補画素毎に、撮影画像の他の領域のオプティカルフローと、その画素と他の領域とを結ぶ線分のベクトルとの類似性から、消失点（ＦＯＥ）である可能性の確度を判断して消失点（ＦＯＥ）を求めることができる。
【００１０】
そのため、極力少ない計算負担で迅速に精度よく消失点（ＦＯＥ）を求めることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の画像処理装置のブロック図である。
【図２】分割領域が均一な場合のオプティカルフローの一例の説明図である。
【図３】図１の撮影画像の均一な分割領域の説明図である。
【図４】図３の分割領域から候補領域を決定する過程の一部の説明図である。
【図５】図４の場合の投票結果の説明図である。
【図６】図３の分割領域から候補領域を決定する過程の他の一部の説明図である。
【図７】図５の投票結果に加算された図６の場合の投票結果の説明図である。
【図８】図１の候補領域決定の処理を説明するフローチャートである。
【図９】図１の撮影画像の不均一分割領域の説明図である。
【図１０】分割領域が均一な場合のオプティカルフローの一例の説明図である。
【図１１】候補領域からの外積演算の一例の説明図である。
【図１２】図９の場合の外積の説明図である。
【図１３】候補領域からの外積演算の他の例の説明図である。
【図１４】図１１の場合の外積の説明図である。
【図１５】外積演算による消失点決定の処理を説明するフローチャートである。
【図１６】本発明の他の実施形態の候補領域からの内積演算の一例の説明図である。
【図１７】内積演算の他の例の説明図である。
【図１８】本発明の他の実施形態の内積演算による消失点決定の処理を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
つぎに、本発明をより詳細に説明するため、実施形態について、図１〜図１８を参照して詳述する。
【００１３】
（一実施形態）
本発明の一実施形態について、図１〜図１５を参照して説明する。
【００１４】
図１は車両（自車）１が備える本実施形態の衝突防止支援装置としての画像処理装置の構成を示し、本実施形態の場合、走行中の車両１の前方の他の車両（自転車等も含む）や人（歩行者等）等の動くもの（動的障害物）と車両１との衝突の可能性を判定するため、車両（自車）１に搭載した撮像装置（例えば単眼のＣＣＤカメラからなる）２により車両１の前方を連続的に撮影し、その撮影画像をマイクロコンピュータ構成の処理装置（画像解析装置）３に送る。そして、処理装置３により消失点（ＦＯＥ）を検出し、検出した消失点等の情報を後段の判定装置４に送って衝突の可能性を判定する。
【００１５】
つぎに、処理装置３における撮影画像の消失点（ＦＯＥ）の決定方法について説明する。
【００１６】
まず、撮像装置２から送られてくる毎フレームの撮影画像は例えば６４０画素（横）×４００画素（縦）である。
【００１７】
そして、撮影画像を処理して車両１の走行車線（自車線）方向に近づく動的障害物を検出する際、車両１が静止していると、撮影画像の背景が静止するので、例えば連続する２枚の撮影画像のずれている部分から動的障害物を簡単に検出できるが、車両１が動いている場合は、撮影画像全体に背景も含めて流れが発生するので、そのような手法では動的障害物を検出できない。
【００１８】
図２は車両１が前進している場合の撮影画像例を示し、図中の各矢印が撮影画像各部のオプティカルフローのフローベクトルであり、画面全体に流れが発生していることが分かる。
【００１９】
一方、撮影画像の各部のオプティカルフローのベクトル（フローベクトル）を求めると、その異同から、背景の部分と異なる動きを示す部分を動的障害物として検出することができる。なお、図２は撮影画像を均一なメッシュ（矩形）の領域に分割した場合の各領域のフローベクトルを矢印線で示したものである。
【００２０】
車両１が前進している場合、撮影画像の背景のフローベクトルは画像中心等の撮影画像の消失点（ＦＯＥ）から外側に湧き出す向きのベクトルとして分布し、動的障害物のフローベクトルはその移動方向に応じた向きのベクトルになる（図２参照）。なお、車両１が後進する場合は、背景のフローベクトルは撮影画像の消失点（ＦＯＥ）に向かう内側に収束する向きのベクトルとして分布する。そして、撮影画像の消失点（ＦＯＥ）を決定して求めることにより、例えば撮影画像の各領域のフローベクトルが消失点（ＦＯＥ）から湧き出す向き（又は消失点に向かう向き）のベクトルか否かから、走行中の車両１の撮影画像点から動的障害物を検出できる。
【００２１】
そして、本実施形態においては、撮像装置２の車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する。そのため、撮影画像を複数の領域（分割領域）に分け、周知のオプティカルフロー抽出方法により、分割領域の単位で撮影画像のオプティカルフローのベクトル（フローベクトル）を求め、各分割領域のフローベクトルの延長線が交わる点を含む分割領域を、消失点（ＦＯＥ）が存在する領域（候補領域）に決定する。さらに、このようにして絞り込んで決定した確度の高い領域から、後述するベクトルの外積演算又は内積演算により消失点（ＦＯＥ）を決定して求める。この場合、道路に平行な線分全ての延長線の交点を求めるような複雑な演算をすることなく画像の消失点（ＦＯＥ）が存在する可能性が高い候補領域を絞り込んで決定し、絞り込んだ確度の高い候補領域から消失点（ＦＯＥ）を求めるので、計算の負担が少なくなり、しかも、車両１の挙動等に起因する撮像装置２の振動等の影響が少なくなって消失点（ＦＯＥ）の検出精度も向上する。
【００２２】
処理装置３は、まず前記候補領域を決定するため、図１に示すように、撮像装置２の撮影画像を複数の領域（分割領域）に分割する画面分割手段３１と、各領域のオプティカルフローを算出するフロー算出手段３２と、各領域のオプティカルフローを延長した延長線を求める本発明の延長手段３３と、記撮影画像の所定数以上の前記延長線が通る領域を簡単な投票方式の多数決処理で画像の消失点（ＦＯＥ）が存在する可能性がある候補領域に決定する領域決定手段３４とを備える。なお、各手段３１〜３４は画像処理のソフトウェアにより形成される。
【００２３】
そして、画面分割手段３１により撮影画像全体を適当な大きさの領域に分割する。本実施形態においては、撮影画像が６４０画素（横）×４００画素（縦）であるとすると、撮影画像を、例えばｍ画素（横）×ｎ画素（縦）の均一なメッシュ状の領域に分割する。なお、ｍ×ｎは例えば４×４、８×８、１６×１６、・・・であり、その大きさは検出精度等から設定される。
【００２４】
図３は、撮影画像をｍ×ｎの画素数に分割して形成された均一な分割領域αを示す。
【００２５】
つぎに、フロー算出手段３２により、本実施形態の場合、全ての分割領域αを算出対象領域とし、算出対象領域である各分割領域αついて、分割領域α毎に周知の抽出手法でフローベクトルＶ（α）を求めて各領域のオプティカルフローを算出する。なお、計算負荷をより少なくする場合は、例えば選択した一部の分割領域αを算出対象領域とし、それらの領域についてのみオプティカルフローを算出してもよい。
【００２６】
さらに、延長手段３３により各分割領域αのオプティカルフローのフローベクトルＶ（α）を延ばして延長線を求める。車両１が前進している場合には、各分割領域αのオプティカルフローの外側向きのフローベクトルＶ（α）を逆の内側向きに直線状に延ばし、車両１が後進している場合には、各分割領域αのオプティカルフローの内側向きのフローベクトルＶ（α）を外側向きに直線状に延ばして延長線Ｌａを求める。
【００２７】
図４は車両１が前進している場合の延長線Ｌａの例を示し、各分割領域αを撮影画像の左上隅から行列順にαｉｊ＝α１１、α１２、…、α２１、α２２、…とすると、図中の延長線Ｌａは、撮影画像の右上隅の分割領域α１１のオプティカルフローの外側向きのフローベクトルＶ（α）を、図４のように逆向き（内側向き）に直線状に延ばして求められる。
【００２８】
そして、領域決定手段３４により延長線Ｌａが通る各分割領域αを求める（図４の斜線を付した分割領域α）。このとき、延長線Ｌａが通る分割領域αを全て求めてもよいが、マイクロコンピュータの処理負担を軽減して消失点の検出精度をより向上するため、本実施形態の場合、画面分割手段３１が分割した各分割領域αのうちの延長線Ｌａが中心部分から所定範囲を通過する分割領域αのみを延長線Ｌａが通る分割領域αとして求める。具体的には、例えば各分割領域αの中心点で直交する十字状の２直線ｘ、ｙを設定し、延長線Ｌａが２直線ｘ、ｙの少なくともいずれかと交差する分割領域αのみを延長線Ｌａが通る分割領域αとして求める。すなわち、この十字状の２直線ｘ、ｙの端をそれぞれ結ぶことにより形成される領域が上記の「中心部分から所定範囲」であるが、２直線ｘ、ｙを通るか否かの簡単な判断で分割領域αとして求めるので、マイクロコンピュータの処理負担が少ない。なお、２直線ｘ、ｙは直交するものに限られない。
【００２９】
図４の分割領域α１１のフローベクトルＶ（α）の延長線Ｌａの場合、延長線Ｌａが２直線ｘ、ｙの両方と交差する斜線を付した分割領域α２２、α３３、…は延長線Ｌａが通る分割領域αとして求められるが、そうでない分割領域α２３、α４４、…は延長線Ｌａが通る分割領域αとはみなされない。
【００３０】
つぎに、各分割領域αの延長線Ｌａの交点を求め、その交点を含む分割領域αを候補領域βに決定するのでは、分割領域αの数の多元の連立方程式を解いたりする必要があり、計算負荷が大きくなる。また、車両１の走行により撮像装置２の位置が変動し、しかも、背景の分割領域αと動的障害物の分割領域αとでフローベクトルの向きが異なるので、前記連立方程式の解が１つに収束しないことがあり、消失点（ＦＯＥ）が存在する候補領域βの決定が容易でない。
【００３１】
そこで、本実施形態においては、前記連立方程式を解いたりする代わりに、いわゆる投票方式の多数決処理により、簡単に所定数以上であって最も多くの延長線Ｌａが通る分割領域αを消失点（ＦＯＥ）が存在する候補領域βに決定する。すなわち、領域決定手段３４は、延長線Ｌａが求められると、その延長線Ｌａが通る分割領域αに１票を投票する。
【００３２】
図５は図４の分割領域α１１のフローベクトルＶ（α）の延長線Ｌａについての投票結果を示し、「１」を付した斜線の分割領域αは１票投票されたことを示す。
【００３３】
そして、撮影画像の全ての算出対象領域について、すなわち、本実施形態の場合は全ての分割領域αについて、前記と同様にしてフローベクトルＶ（α）の延長線Ｌａが通る各分割領域αを求めてそれらの分割領域αに１票を投票する。
【００３４】
図６は分割領域α２８のフローベクトルＶ（α）に注目し、このフローベクトルＶ（α）の延長線Ｌａが通る斜線の各分割領域αを示す。
【００３５】
図７は分割領域α１１のフローベクトルＶ（α）の延長線Ｌａについての投票結果に、分割領域α２８のフローベクトルＶ（α）の延長線Ｌａについての投票結果が加わった場合の投票結果例である。
【００３６】
ぞして、撮影画像の全ての分割領域（算出対象領域）αのフローベクトルＶ（α）の延長線Ｌａについての投票が終了すると、領域決定手段３４は、各分割領域αの投票数を開票し、投票数が一番多く、消失点（ＦＯＥ）が存在する可能性が最も高い分割領域αを、その撮影画像の消失点（ＦＯＥ）の候補領域βに決定する。この場合、投票方式の多数決処理により、分割領域αの数の多元の連立方程式を解いたりすることなく候補領域βが簡単に求められ、処理装置３の計算負荷が大きくならない。また、車両１の走行により撮像装置２の位置が変動したり、背景の分割領域αと動的障害物の分割領域αとでフローベクトルの向きが異なっていても、それらの影響はほとんど受けることがない。
【００３７】
なお、投票総数が設定総数より少ない場合（オプティカルフローの検出が良好でない場合）や、投票総数に対して一番多い得票数が設定した基準票数より少ない場合（消失点（ＦＯＥ）が撮影画像の外にある場合）などには、交差する延長線Ｌａが所定数より少ないので、消失点（ＦＯＥ）が存在する分割領域αは無いと判断して候補領域βの決定は行なわない。
【００３８】
図８は以上説明した候補領域βの決定の処理手順例を示し、画面分割手段３１が撮影画像を分割領域αに分割すると（ステップＳ１）、フロー算出手段３２が各分割領域αのフローベクトルＶ（α）を算出し、延長手段３３が各分割領域αについて延長線Ｌａを作図し（ステップＳ２）、領域決定手段３４は延長線Ｌａが通る分割領域αを検出し（ステップＳ３）、延長線Ｌａが通る分割領域αに１票を投票する（ステップＳ４）。そして、ステップＳ２〜ステップＳ４の処理を算出対象領域となった各分割領域αに対して繰り返し行なうと、ステップＳ５を介してステップＳ６に移行し、投票結果を開票して投票数が最も多い分割領域αを候補領域βに決定する（ステップＳ７）。
【００３９】
ところで、上述のように、撮影画像を均一に分割し、各分割領域αを同じ画素数の同一面積の領域として分割領域α毎のオプティカルフローのフローベクトルＶ（α）を求め、その延長線Ｌａについての投票結果から同じ大きさの候補領域βを決定する代わりに、撮影画像を画像中心に至るほど細かくなるように分割し、各分割領域αを、撮影画像の周辺では大きく、中心に近づくほど細かく設定し、それらの分割領域α毎のオプティカルフローのフローベクトルＶ（α）を求め、その延長線Ｌａについての投票結果から、画像中心に至る程小面積になる候補領域βを決定してもよい。
【００４０】
図９は本実施形態の分割領域αの一例を示し、撮影画像の周辺では大きく、中心に近づくほど細かくなっている。
【００４１】
車両１が直進（前進又は後進）している場合、撮像装置２の撮影画像の画像中心付近に消失点（ＦＯＥ）が存在し、消失点（ＦＯＥ）を中心に外側又は内側に向かってフローベクトルＶ（α）が分布する。このため、画像中心付近の画像密度は高く、物体が小さく見え、画像の周辺に至る程画像密度は低くなって物体は大きく見える。
【００４２】
そして、撮影画像の全域を複数の領域に分割してオプティカルフローを検出し、前記と同様にして消失点（ＦＯＥ）を求める場合、撮影画像全域の分割領域を細かくすれば、各分割領域の画像密度が濃くなり、小さな物体についてのオプティカルフローフローも検出することが可能となり、より正確に消失点（ＦＯＥ）を求めることができるが、その分計算負荷が増え、また、検出の誤りによるバラツキも大きくなる。
【００４３】
そのため、各分割領域αを均一な大きさのメッシュ領域とした場合は、計算負荷や検出の誤りによるばらつき等を考慮して、各分割領域αの大きさを適当に設定する必要がある。
【００４４】
そこで、撮影画像全体を不均一なメッシュ領域に分け、各分割領域αを、撮影画像の周辺では大きく、中心に近づくほど細かくなるように設定する。
【００４５】
このように設定して消失点（ＦＯＥ）が存在する候補領域βを決定すると、撮影画面全体での計算負荷（計算時間）を、撮影画面全体を細かな領域に分割する場合より小さく（短く）し、画像密度が高い画像中心付近では極めて精密に、画像密度が低い画像の周辺（外縁部）では粗く、画像密度に応じた大きさの領域の単位で消失点（ＦＯＥ）が存在する候補領域βを決定することができ、一層正確に消失点（ＦＯＥ）の画素を検出できる。
【００４６】
図１０は車両１が前進する際に、撮影画像に不均一なメッシュ状の分割領域αを設定した場合の一例を示し、各分割領域αを撮影画像の周辺では大きく、中心に近づくほど細かくすることにより、フローベクトルＶ（α）の矢印線は、周辺では粗く、画像中心に至るにしたがって密になっている。なお、撮像装置２の取り付け設定等に基づき、殆どの場合、消失点（ＦＯＥ）は画像密度が高い撮影画像の中心（画面中央）付近に位置するが、図１０の場合は、図２の場合と同様、車両１が上り坂等を走行しているので消失点（ＦＯＥ）がたまたま撮影画像の中心（画面中央）より上方にずれている。
【００４７】
したがって、撮影画像に不均一なメッシュ状の分割領域αを設定した場合は、消失点（ＦＯＥ）の検出精度が一層向上する利点がある。なお、前記不均一なメッシュ領域の形状や大きさ等は図１０のものに限られるものではなく、実験等に基づいて適当に設定すればよい。
【００４８】
以上説明したようにして、消失点（ＦＯＥ）の画素が存在する候補領域βを撮影画像から絞り込んで決定することにより、極めて少ない計算負荷で迅速に候補領域βが求まる。また、車両挙動等に起因する撮像装置２の振動等の影響が少なく、消失点（ＦＯＥ）の検出精度も向上する。
【００４９】
そして、消失点（ＦＯＥ）の画素が存在する候補領域βを絞り込んで決定すると、つぎには、その候補領域βから、極力少ない計算負荷で精度よく消失点（ＦＯＥ）を検出して決定するため、図１に示すように、領域決定部３４の後段にフロー算出手段（本発明の算出手段）３５、個別類似性演算手段３６、総合類似性演算手段３７、消失点決定手段（本発明の決定手段）３８を備え、演算手段３６、３７の演算を演算制御手段３９により制御し、本実施形態の場合は、つぎに説明する外積演算を行なって、絞り込んだ候補領域βの消失点（ＦＯＥ）の画素を決定して消失点（ＦＯＥ）を検出する。なお、手段３５〜３９も画像処理のソフトウェアにより形成される。
【００５０】
領域決定手段３４により消失点（ＦＯＥ）の画素が存在する候補領域βを絞り込んで決定すると、フロー算出手段３５は撮影画像の候補領域βを除く各分割領域αのうちの算出対象領域のオプティカルフローを算出する。ところで、本実施例の場合、算出対象領域は候補領域βを除く各分割領域αであり、フロー算出手段３２により撮影画像の各分割領域αのフローベクトルＶ（α）は既に求められているので、フロー算出手段３５は、フロー算出手段３２により求められている候補領域βを除く各分割領域αのフローベクトルＶ（α）を次段の個別類似性演算手段３６に渡す。なお、領域決定手段３４により本実施形態と異なる手法で候補領域βを決定して求めてもよいが、このとき、フロー算出手段３２が設けられておらず、撮影画像の各分割領域αのフローベクトルＶ（α）が求められていなければ、フロー算出手段３５は、フロー算出手段３３と同様にして候補領域βを除く各分割領域αのフローベクトルＶ（α）を求め、求めた各フローベクトルＶ（α）を次段の個別類似性演算手段３６に渡す。
【００５１】
[外積演算]
個別類似性演算手段３６は、候補領域βの各画素（ｍ×ｎ）を順次に消失点候補画素Ｐとし、候補領域βの消失点候補画素Ｐ毎に、各分割領域（算出対象領域）αと消失点候補画素Ｐとを結ぶ線分Ｌｂのベクトル（前進の場合は消失点候補画素Ｐから各分割領域（算出対象領域）αに向かう外向きのベクトル、後進の場合はその逆の内向きのベクトル）と、各分割領域（算出対象領域）αのフローベクトルＶ（α）とについて単位ベクトルの外積を演算し、演算結果の外積の絶対値を、各分割領域（算出対象領域）αと消失点候補画素Ｐとを結ぶ線分Ｌｂの向きと、各分割領域（算出対象領域）αのオプティカルフローの向きとのペアについての類似性の度合いの指標値として求める。なお、線分ＬｂおよびフローベクトルＶ（α）の座標値が既知であるので、それらの単位ベクトルは、簡単な２行２列の行列式の座標の引き算と各座標までの長さから求められる。
【００５２】
図１１は分割領域α５５が候補領域βの場合において、分割領域α１１と消失点候補画素Ｐとを結ぶ線分Ｌｂと、分割領域α１１のフローベクトルＶ（α）の例を示す。
【００５３】
図１２は図１１の線分Ｌｂの単位ベクトルＥ（Ｌｂ）と、分割領域α２８のフローベクトルＶ（α）の単位ベクトルＥ（α１１）との外積（Ｅ（Ｌｂ）×Ｅ（α１１））を示し、単位ベクトルＥ（Ｌｂ）、Ｅ（α１１）が等しくなる程（似ている程）、外積（Ｅ（Ｌｂ）×Ｅ（α１１））は小さくなる。
【００５４】
図１３は分割領域α５５が候補領域βの場合において、分割領域α２８と消失点候補画素Ｐとを結ぶ線分Ｌｂと、分割領域α２８のオプティカルフローのフローベクトルＶ（α）の例を示す。
【００５５】
図１４は図１３の線分Ｌｂの単位ベクトルＥ（Ｌｂ）と、分割領域α２８フローベクトルＶ（α）の単位ベクトルＥ（α２８）との外積（Ｅ（Ｌｂ）×Ｅ（α２８））を示し、この場合も、単位ベクトルＥ（Ｌｂ）、Ｅ（α１８）が等しくなる程（似ている程）、外積（Ｅ（Ｌｂ）×Ｅ（α２８））は小さくなる。
【００５６】
総合類似性演算手段３７は、消失点候補画素Ｐそれぞれにつき、あらたなペアの指標値としての外積演算の結果（外積）が得られる毎に、演算された外積の絶対値を当該消失点候補画素Ｐのそれまでの（過去の）類似性の度合いの総合値（外積の絶対値の和）ｓｕｍ＿ｅｐに追加（加算）して最新の総合値ｓｕｍ＿ｅｐを演算する。
【００５７】
このとき、線分Ｌｂと消失点候補画素Ｐのオプティカルフローとが接近するにしたがって外積の絶対値は０に近づき、消失点（ＦＯＥ）に近い消失点候補画素Ｐ程、外積の絶対値は小さくなって消失点（ＦＯＥ）の確度が高くなる。
【００５８】
そこで、演算制御手段３９は、各消失点候補画素Ｐの演算中の総合値ｓｕｍ＿ｅｐが、演算の終了した他の消失点候補画素Ｐの総合値ｓｕｍ＿ｅｐより消失点（ＦＯＥ）である確度の低い値に確定するまでは、個別類似性演算手段３６および総合類似性演算手段３７の演算をくり返し、演算中の総合値ｓｕｍ＿ｅｐが、他の消失点候補画素Ｐの演算の終了した総合値ｓｕｍ＿ｅｐより大きくなり、消失点（ＦＯＥ）である確度が低い値に確定した時点で個別類似性演算手段３６および総合類似性演算手段３７の演算を終了する。すなわち、各消失点候補画素Ｐの演算中の総合値ｓｕｍ＿ｅｐが、全ての分割領域（算出対象領域）αの線分Ｌｂについての外積の演算が終了した他の消失点候補画素Ｐの総合値ｓｕｍ＿ｅｐより大きくなると、その消失点候補画素Ｐは消失点（ＦＯＥ）である確度が前記他の消失点候補画素Ｐより低い値に確定するので、直ちに演算を終了してつぎの消失点候補画素Ｐについての総合値ｓｕｍ＿ｅｐの演算に移行する。このようにすることで、無駄な演算を行なうことなく（計算負荷を後述する内積演算より軽くして）、迅速に総合値ｓｕｍ＿ｅｐが最小となる消失点候補画素Ｐが求められる。
【００５９】
そして、総合類似性演算手段３７が全ての消失点候補画素Ｐについて総合値ｓｕｍ＿ｅｐの演算を終了すると、消失点決定手段３８は、それらの演算結果から消失点（ＦＯＥ）である確度が最も高い消失点候補画素Ｐを消失点（ＦＯＥ）に決定する。すなわち、外積演算の場合、演算制御手段３９の制御により、自動的に演算が正常に終了した最も小さい総合値ｓｕｍ＿ｅｐのみが総合類似性演算手段３７から消失点決定手段３８に送られるので、消失点決定手段３８は、総合値ｓｕｍ＿ｅｐが送られてきた消失点候補画素Ｐを消失点（ＦＯＥ）に決定する。
【００６０】
図１５は以上説明した候補領域βから外積の演算で消失点（ＦＯＥ）を決定する処理手順例を示し、フロー算出手段３５からのフローベクトルＶ（α）に基づき、個別類似性演算手段３６は、候補領域βの演算対象の消失点候補画素Ｐを設定すると（ステップＱ１）、その消失点候補画素Ｐについて他の分割領域αに対する線分Ｌｂの単位ベクトルＥ（Ｌｂ）、他の分割領域αのフローベクトルＶ（α）の単位ベクトルＥ（αｉｊ）を求め（ステップＱ２、Ｑ３）、それらの外積を演算して総合類似性演算手段３７により総合値ｓｕｍ＿ｅｐを求める（ステップＱ４）。そして、演算中の総合値ｓｕｍ＿ｅｐが既に演算の終了した他の消失点候補画素Ｐの総合値ｓｕｍ＿ｅｐより大きくなると、演算を終了してつぎの消失点候補画素Ｐの総合値ｓｕｍ＿ｅｐの演算に移る（ステップＱ５）。このようにして全ての消失点候補画素Ｐについて総合値ｓｕｍ＿ｅｐを演算すると、消出点決定手段３８により、総合値ｓｕｍ＿ｅｐが最小の消失点候補画素Ｐを消失点（ＦＯＥ）に決定する（ステップＱ６、Ｑ７）。
【００６１】
そして、外積演算により決定した消失点（ＦＯＥ）が処理装置３から判定装置４に送られ、判定装置４は例えば消失点（ＦＯＥ）から撮影画像の各画素への線分の向き等から、他の車両（自転車等も含む）や人（歩行者等）等の動くものを認識し、連続する撮影画像についてのそれらの移動変化から自車１との衝突の可能性を判定し、判定結果を車内の警報装置や衝突防止支援の各種の制御装置に送る。
【００６２】
したがって、前記実施形態の場合、撮影画像の各分割領域（算出対象領域）αから絞り込んで決定した消失点（ＦＯＥ）の画素が存在確度の高い候補領域βにつき、各消失点候補画素Ｐ毎の簡単なベクトルの外積演算または内積演算により、少ない計算負荷で迅速に候補領域βから消失点（ＦＯＥ）の画素を決定して消失点（ＦＯＥ）を検出することができる。
【００６３】
（他の実施形態）
他の実施形態について、図１、図１１、図１３および図１６〜図１８を参照して説明する。
【００６４】
本実施形態の場合、構成は一実施形態の場合と同じであるが、図１の個別類似性演算手段３６、総合類似性演算手段３７により、つぎに説明する内積演算を行なって、絞り込んだ候補領域βの消失点（ＦＯＥ）の画素を決定して消失点（ＦＯＥ）を検出する。
【００６５】
[内積演算]
一実施形態の外積演算の場合と同様、領域決定手段３４により消失点（ＦＯＥ）の画素が存在する候補領域βを絞り込んで決定すると、フロー算出手段３５は、フロー算出手段３２により求められている候補領域βを除く各分割領域αのフローベクトルＶ（α）を次段の個別類似性演算手段３６に渡す。
【００６６】
個別類似性演算手段３６は、候補領域βの各画素（ｍ×ｎ）を順次に消失点候補画素Ｐとし、候補領域βの消失点候補画素Ｐ毎に、各分割領域（算出対象領域）αと消失点候補画素Ｐとを結ぶ線分Ｌｂのベクトルと、各分割領域（算出対象領域）αのフローベクトルＶ（α）とについて単位ベクトルの内積を演算し、演算結果の内積値を、各分割領域（算出対象領域）αと消失点候補画素Ｐとを結ぶ線分Ｌｂの向きと、各分割領域（算出対象領域）αのオプティカルフローの向きとのペアについての類似性の度合いの指標値として求める。なお、線分ＬｂおよびフローベクトルＶ（α）の座標値が既知であるので、それらの単位ベクトルは、外積演算の場合と同様、簡単な２行２列の行列式の座標の引き算と各座標までの長さから求められる。また、前記内積の演算は２つのベクトルの周知の積和演算と同様の演算により比較的簡単に求められる。
【００６７】
図１６は分割領域α５５が候補領域βである図１１の場合の分割領域α１１と消失点候補画素Ｐとを結ぶ線分Ｌｂの単位ベクトルＥ（Ｌｂ）と、フローベクトルＶ（α１１）の単位ベクトルＥ（α１１）との内積（Ｅ（Ｌｂ）・Ｅ（α１１））を示し、単位ベクトルＥ（Ｌｂ）、Ｅ（α１１）が等しくなる程（似ている程）、内積値（Ｅ（Ｌｂ）・Ｅ（α１１））は大きくなる。
【００６８】
図１７は同じく分割領域α５５が候補領域βの場合において、図１３のように分割領域α２８と消失点候補画素Ｐとを結ぶ線分Ｌｂと、分割領域α２８のフローベクトルＶ（α）の内積（Ｅ（Ｌｂ）・Ｅ（α２８））を示し、この場合も、単位ベクトルＥ（Ｌｂ）、Ｅ（α１８）が等しくなる程（似ている程）、内積値（Ｅ（Ｌｂ）・Ｅ（α２８））は大きくなる。
【００６９】
総合類似性演算手段３７は、消失点候補画素Ｐそれぞれにつき、あらたなペアの指標値としての内積演算の結果（内積）が得られる毎に、演算された内積値を当該消失点候補画素Ｐのそれまでの（過去の）類似性の度合いの総合値（内積値の和）ｓｕｍ＿ｉｐに追加（加算）して最新の総合値ｓｕｍ＿ｉｐを演算し、各消失点候補画素Ｐについて、各分割領域（算出対象領域）αの内積の総合値ｓｕｍ＿ｉｐを順次演算する。このとき、演算が終了した総合値ｓｕｍ＿ｉｐは、消失点（ＦＯＥ）である確度が最も高い消失点候補画素Ｐのものが最も大きくなる。
【００７０】
そして、演算制御手段３９は、各消失点候補画素Ｐの演算中の総合値ｓｕｍ＿ｉｐが、演算の終了した他の消失点候補画素Ｐの総合値ｓｕｍ＿ｉｐより消失点（ＦＯＥ）である確度の低い値に確定するまでは、個別類似性演算手段３６および総合類似性演算手段３７の演算をくり返し、演算中の総合値ｓｕｍ＿ｉｐが他の消失点候補画素Ｐの総合値ｓｕｍ＿ｉｐより消失点（ＦＯＥ）である確度が低い値に確定した時点で個別類似性演算手段３６および総合類似性演算手段３７の演算を終了するが、内積演算の場合、各消失点候補画素Ｐの総合値ｓｕｍが消失点（ＦＯＥ）である確度に比例して増加し、各消失点候補画素Ｐの総合値ｓｕｍ＿ｉｐは、それぞれ全ての分割領域（算出対象領域）αの線分Ｌｂについての内積の演算が終了するまでは確定しないので、演算制御手段３９は、全ての分割領域（算出対象領域）αの線分Ｌｂについての内積の演算が終了する毎に、消失点候補画素Ｐを変えて個別類似性演算手段３６および総合類似性演算手段３７の演算をくり返すように制御する。
【００７１】
つぎに、消失点決定手段３８は、総合類似性演算手段３７が全ての消失点候補画素Ｐについて総合値ｓｕｍ＿ｉｐの演算を終了すると、それらの演算結果から消失点（ＦＯＥ）である確度が最も高い消失点候補画素Ｐを消失点（ＦＯＥ）に決定する。すなわち、内積演算の場合、全ての消失点候補画素Ｐについての総合値ｓｕｍ＿ｉｐから最も大きな総合値ｓｕｍ＿ｉｐを選択し、選択した総合値ｓｕｍ＿ｉｐの消失点候補画素Ｐを消失点（ＦＯＥ）に決定する。
【００７２】
図１８は候補領域βから内積の演算で消失点（ＦＯＥ）を決定する処理手順例を示し、フロー算出手段３５からのフローベクトルＶ（α）に基づき、個別類似性演算手段３６は、候補領域βの演算対象の消失点候補画素Ｐを設定すると（ステップＲ１）、その消失点候補画素Ｐについて他の分割領域αに対する線分Ｌｂの単位ベクトルＥ（Ｌｂ）、他の分割領域αのフローベクトルＶ（α）の単位ベクトルＥ（αｉｊ）を求め（ステップＲ２、Ｒ３）、それらの内積を演算して総合類似性演算手段３７により総合値ｓｕｍ＿ｉｐを求める（ステップＲ４）。そして、全ての消失点候補画素Ｐについて総合値ｓｕｍ＿ｉｐを演算すると（ステップＲ５）、消出点決定手段３８により、総合値ｓｕｍ＿ｉｐが最も大きい消失点候補画素Ｐを消失点（ＦＯＥ）に決定する（ステップＲ６）。
【００７３】
そして、本発明は上記した両実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、候補領域βの決定は、前記した投票方式の多数決処理以外の方法で行なってもよい。
【００７４】
また、候補領域βの消失点（ＦＯＥ）の画素検出は、前記した内積演算、外積演算以外の演算方法で行なってもよい。
【００７５】
つぎに、撮像装置２の撮影画像の画素数や縦横の比、各分割領域αの画素数や縦横の比（或いは形状）等はどのようであってもよいのは勿論である。また、撮像装置２は車両１の後方の周囲を撮影するものであってもよく、この場合、車両１の前進、後進とフローベクトルＶ（α）の向きが前記した両実施形態とは異なるが、それ以外は同様であり、前記した両実施形態と同様にして消失点（ＦＯＥ）を求めることができる。さらに、撮像装置２は車両１の左右側の周囲を斜め前向きや斜め後ろ向きに撮影するものであってもよく、これらの場合も前記した両実施形態の場合と略同様にして消失点（ＦＯＥ）を求めることができる。
【００７６】
また、処理装置２等の構成や処理手順等が前記両実施形態と異なっていてもよいのも勿論である。
【００７７】
そして、本発明は、種々の車両の安全運転支援装置等の画像処理装置に適用することができる。
【符号の説明】
【００７８】
１ 車両
２ 撮像装置
３１ 画面分割手段
３２ フロー算出手段
３３ 延長手段
３４ 領域決定手段
α 分割領域
β 候補領域
Ｌａ 延長線
【技術分野】
【０００１】
この発明は、車両（自車）の撮像装置が撮影した車両周囲（前方等）の撮影画像につき、背景と、他の車両（自転車等も含む）や人（歩行者等）等の動くものとを区別するための消失点（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）を求める画像処理装置に関する。
【背景技術】
【０００２】
従来、車両の安全運転支援装置の一つとして、車両（自車）に搭載した撮像装置が撮影した車両周囲（前方等）の撮影画像から、他の車両（自転車等も含む）や人（歩行者等）等の動くものと自車との衝突の可能性を判定する衝突防止支援装置が提案されている。
【０００３】
この衝突防止支援装置を形成する従来の画像処理装置においては、撮影画像の道路に平行な各線分を算出し、それらの線分の延長線の交点の画素から、背景の流れ（オプティカルフロー）と前記動くものの動きとを区別するための消失点（ＦＯＥ：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）を求めることが提案されている（例えば、特許文献１（請求項６、段落［００９２］、［０１２９］、［０１３１］、図６等）参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２５７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記特許文献１に記載の画像処理装置の場合、道路に平行な各線分の延長線の交点の画素を特定するためには多元連立方程式を解く複雑な演算をする必要があり、計算負荷が膨大となる。また、車両挙動等に起因する撮像装置の振動等に基づき、実際には、たとえ静止した背景画のみであっても、前記延長線の全てが一点で交差することはほとんどなく、前記演算の解が１つに収束しないため、消失点の特定は容易ではない。
【０００６】
本発明は、撮影画像から計算負荷を軽くして精度よく消失点（ＦＯＥ）が検出できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために、本発明の画像処理装置は、車両に搭載された撮像装置と、前記撮像装置が撮影した車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する領域決定手段と、前記候補領域を除く前記各分割領域のうちの算出対象領域のオプティカルフローを算出する算出手段と、前記候補領域の消失点候補画素毎に、前記各算出対象領域と前記消失点候補画素とを結ぶ線分の向きと、前記各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算する個別類似性演算手段と、前記消失点候補画素それぞれにつき、あらたな前記ペアの前記指標値が演算される毎に演算された当該指標値を過去の前記類似性の度合いの総合値に追加して最新の前記総合値を演算する総合類似性演算手段と、演算中の前記総合値が演算の終了した他の消失点候補画素の前記総合値より前記消失点である確度の低い値に確定するまでは、前記個別類似性演算手段および前記総合類似性演算手段の演算をくり返し、演算中の前記総合値が前記他の消失点候補画素の前記総合値より前記消失点である確度が低い値に確定した時点で前記個別類似性演算手段および前記総合類似性演算手段の演算を終了する演算制御手段と、前記総合類似性演算手段の演算結果から前記消失点である確度が最も高い前記消失点候補画素を前記消失点に決定する決定手段とを備えたことを特徴としている（請求項１）。
【発明の効果】
【０００８】
請求項１の発明の場合、撮像装置が撮影した車両周囲の撮影画像につき、領域決定手段により画像の消失点（ＦＯＥ）が存在する可能性がある候補領域を決定して抽出する。また、算出手段により、候補領域を除く各分割領域のうちの算出対象領域のオプティカルフローを算出する。そして、個別類似性演算手段により、候補領域の消失点候補画素毎に各算出対象領域と消失点候補画素とを結ぶ線分の向きと、各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算することにより、各消失点候補画素の消失点（ＦＯＥ）としての確度を撮影画像の分割した各算出対象領域毎に個別に求めることができる。さらに、総合類似性演算手段により、消失点候補画素それぞれについてあらたなペアの前記指標値が演算される毎に演算された指標値を追加して最新の総合値を演算し、各消失点候補画素につき、個別類似性演算手段の各算出対象領域毎の個別の演算結果を総合して消失点（ＦＯＥ）としての確度を求めることができる。このとき、演算制御手段により、各消失点候補画素それそれの演算中の総合値が他の消失点候補画素の総合値より消失点である確度が低い値に確定すると、途中で演算を終了してつぎの消失点候補画素の総合値の演算に移るので、計算の無駄が無い。
【０００９】
そして、決定手段により、総合類似性演算手段の演算結果から消失点（ＦＯＥ）である確度が最も高い消失点候補画素を消失点（ＦＯＥ）に決定するため、撮影画像の道路に平行な線分の延長線の全ての交点を求めるような複雑な演算を行なうことなく、撮影画増から絞り込んだ確度の高い一部の候補領域についてのみ、各消失点候補画素毎に、撮影画像の他の領域のオプティカルフローと、その画素と他の領域とを結ぶ線分のベクトルとの類似性から、消失点（ＦＯＥ）である可能性の確度を判断して消失点（ＦＯＥ）を求めることができる。
【００１０】
そのため、極力少ない計算負担で迅速に精度よく消失点（ＦＯＥ）を求めることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の画像処理装置のブロック図である。
【図２】分割領域が均一な場合のオプティカルフローの一例の説明図である。
【図３】図１の撮影画像の均一な分割領域の説明図である。
【図４】図３の分割領域から候補領域を決定する過程の一部の説明図である。
【図５】図４の場合の投票結果の説明図である。
【図６】図３の分割領域から候補領域を決定する過程の他の一部の説明図である。
【図７】図５の投票結果に加算された図６の場合の投票結果の説明図である。
【図８】図１の候補領域決定の処理を説明するフローチャートである。
【図９】図１の撮影画像の不均一分割領域の説明図である。
【図１０】分割領域が均一な場合のオプティカルフローの一例の説明図である。
【図１１】候補領域からの外積演算の一例の説明図である。
【図１２】図９の場合の外積の説明図である。
【図１３】候補領域からの外積演算の他の例の説明図である。
【図１４】図１１の場合の外積の説明図である。
【図１５】外積演算による消失点決定の処理を説明するフローチャートである。
【図１６】本発明の他の実施形態の候補領域からの内積演算の一例の説明図である。
【図１７】内積演算の他の例の説明図である。
【図１８】本発明の他の実施形態の内積演算による消失点決定の処理を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
つぎに、本発明をより詳細に説明するため、実施形態について、図１〜図１８を参照して詳述する。
【００１３】
（一実施形態）
本発明の一実施形態について、図１〜図１５を参照して説明する。
【００１４】
図１は車両（自車）１が備える本実施形態の衝突防止支援装置としての画像処理装置の構成を示し、本実施形態の場合、走行中の車両１の前方の他の車両（自転車等も含む）や人（歩行者等）等の動くもの（動的障害物）と車両１との衝突の可能性を判定するため、車両（自車）１に搭載した撮像装置（例えば単眼のＣＣＤカメラからなる）２により車両１の前方を連続的に撮影し、その撮影画像をマイクロコンピュータ構成の処理装置（画像解析装置）３に送る。そして、処理装置３により消失点（ＦＯＥ）を検出し、検出した消失点等の情報を後段の判定装置４に送って衝突の可能性を判定する。
【００１５】
つぎに、処理装置３における撮影画像の消失点（ＦＯＥ）の決定方法について説明する。
【００１６】
まず、撮像装置２から送られてくる毎フレームの撮影画像は例えば６４０画素（横）×４００画素（縦）である。
【００１７】
そして、撮影画像を処理して車両１の走行車線（自車線）方向に近づく動的障害物を検出する際、車両１が静止していると、撮影画像の背景が静止するので、例えば連続する２枚の撮影画像のずれている部分から動的障害物を簡単に検出できるが、車両１が動いている場合は、撮影画像全体に背景も含めて流れが発生するので、そのような手法では動的障害物を検出できない。
【００１８】
図２は車両１が前進している場合の撮影画像例を示し、図中の各矢印が撮影画像各部のオプティカルフローのフローベクトルであり、画面全体に流れが発生していることが分かる。
【００１９】
一方、撮影画像の各部のオプティカルフローのベクトル（フローベクトル）を求めると、その異同から、背景の部分と異なる動きを示す部分を動的障害物として検出することができる。なお、図２は撮影画像を均一なメッシュ（矩形）の領域に分割した場合の各領域のフローベクトルを矢印線で示したものである。
【００２０】
車両１が前進している場合、撮影画像の背景のフローベクトルは画像中心等の撮影画像の消失点（ＦＯＥ）から外側に湧き出す向きのベクトルとして分布し、動的障害物のフローベクトルはその移動方向に応じた向きのベクトルになる（図２参照）。なお、車両１が後進する場合は、背景のフローベクトルは撮影画像の消失点（ＦＯＥ）に向かう内側に収束する向きのベクトルとして分布する。そして、撮影画像の消失点（ＦＯＥ）を決定して求めることにより、例えば撮影画像の各領域のフローベクトルが消失点（ＦＯＥ）から湧き出す向き（又は消失点に向かう向き）のベクトルか否かから、走行中の車両１の撮影画像点から動的障害物を検出できる。
【００２１】
そして、本実施形態においては、撮像装置２の車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する。そのため、撮影画像を複数の領域（分割領域）に分け、周知のオプティカルフロー抽出方法により、分割領域の単位で撮影画像のオプティカルフローのベクトル（フローベクトル）を求め、各分割領域のフローベクトルの延長線が交わる点を含む分割領域を、消失点（ＦＯＥ）が存在する領域（候補領域）に決定する。さらに、このようにして絞り込んで決定した確度の高い領域から、後述するベクトルの外積演算又は内積演算により消失点（ＦＯＥ）を決定して求める。この場合、道路に平行な線分全ての延長線の交点を求めるような複雑な演算をすることなく画像の消失点（ＦＯＥ）が存在する可能性が高い候補領域を絞り込んで決定し、絞り込んだ確度の高い候補領域から消失点（ＦＯＥ）を求めるので、計算の負担が少なくなり、しかも、車両１の挙動等に起因する撮像装置２の振動等の影響が少なくなって消失点（ＦＯＥ）の検出精度も向上する。
【００２２】
処理装置３は、まず前記候補領域を決定するため、図１に示すように、撮像装置２の撮影画像を複数の領域（分割領域）に分割する画面分割手段３１と、各領域のオプティカルフローを算出するフロー算出手段３２と、各領域のオプティカルフローを延長した延長線を求める本発明の延長手段３３と、記撮影画像の所定数以上の前記延長線が通る領域を簡単な投票方式の多数決処理で画像の消失点（ＦＯＥ）が存在する可能性がある候補領域に決定する領域決定手段３４とを備える。なお、各手段３１〜３４は画像処理のソフトウェアにより形成される。
【００２３】
そして、画面分割手段３１により撮影画像全体を適当な大きさの領域に分割する。本実施形態においては、撮影画像が６４０画素（横）×４００画素（縦）であるとすると、撮影画像を、例えばｍ画素（横）×ｎ画素（縦）の均一なメッシュ状の領域に分割する。なお、ｍ×ｎは例えば４×４、８×８、１６×１６、・・・であり、その大きさは検出精度等から設定される。
【００２４】
図３は、撮影画像をｍ×ｎの画素数に分割して形成された均一な分割領域αを示す。
【００２５】
つぎに、フロー算出手段３２により、本実施形態の場合、全ての分割領域αを算出対象領域とし、算出対象領域である各分割領域αついて、分割領域α毎に周知の抽出手法でフローベクトルＶ（α）を求めて各領域のオプティカルフローを算出する。なお、計算負荷をより少なくする場合は、例えば選択した一部の分割領域αを算出対象領域とし、それらの領域についてのみオプティカルフローを算出してもよい。
【００２６】
さらに、延長手段３３により各分割領域αのオプティカルフローのフローベクトルＶ（α）を延ばして延長線を求める。車両１が前進している場合には、各分割領域αのオプティカルフローの外側向きのフローベクトルＶ（α）を逆の内側向きに直線状に延ばし、車両１が後進している場合には、各分割領域αのオプティカルフローの内側向きのフローベクトルＶ（α）を外側向きに直線状に延ばして延長線Ｌａを求める。
【００２７】
図４は車両１が前進している場合の延長線Ｌａの例を示し、各分割領域αを撮影画像の左上隅から行列順にαｉｊ＝α１１、α１２、…、α２１、α２２、…とすると、図中の延長線Ｌａは、撮影画像の右上隅の分割領域α１１のオプティカルフローの外側向きのフローベクトルＶ（α）を、図４のように逆向き（内側向き）に直線状に延ばして求められる。
【００２８】
そして、領域決定手段３４により延長線Ｌａが通る各分割領域αを求める（図４の斜線を付した分割領域α）。このとき、延長線Ｌａが通る分割領域αを全て求めてもよいが、マイクロコンピュータの処理負担を軽減して消失点の検出精度をより向上するため、本実施形態の場合、画面分割手段３１が分割した各分割領域αのうちの延長線Ｌａが中心部分から所定範囲を通過する分割領域αのみを延長線Ｌａが通る分割領域αとして求める。具体的には、例えば各分割領域αの中心点で直交する十字状の２直線ｘ、ｙを設定し、延長線Ｌａが２直線ｘ、ｙの少なくともいずれかと交差する分割領域αのみを延長線Ｌａが通る分割領域αとして求める。すなわち、この十字状の２直線ｘ、ｙの端をそれぞれ結ぶことにより形成される領域が上記の「中心部分から所定範囲」であるが、２直線ｘ、ｙを通るか否かの簡単な判断で分割領域αとして求めるので、マイクロコンピュータの処理負担が少ない。なお、２直線ｘ、ｙは直交するものに限られない。
【００２９】
図４の分割領域α１１のフローベクトルＶ（α）の延長線Ｌａの場合、延長線Ｌａが２直線ｘ、ｙの両方と交差する斜線を付した分割領域α２２、α３３、…は延長線Ｌａが通る分割領域αとして求められるが、そうでない分割領域α２３、α４４、…は延長線Ｌａが通る分割領域αとはみなされない。
【００３０】
つぎに、各分割領域αの延長線Ｌａの交点を求め、その交点を含む分割領域αを候補領域βに決定するのでは、分割領域αの数の多元の連立方程式を解いたりする必要があり、計算負荷が大きくなる。また、車両１の走行により撮像装置２の位置が変動し、しかも、背景の分割領域αと動的障害物の分割領域αとでフローベクトルの向きが異なるので、前記連立方程式の解が１つに収束しないことがあり、消失点（ＦＯＥ）が存在する候補領域βの決定が容易でない。
【００３１】
そこで、本実施形態においては、前記連立方程式を解いたりする代わりに、いわゆる投票方式の多数決処理により、簡単に所定数以上であって最も多くの延長線Ｌａが通る分割領域αを消失点（ＦＯＥ）が存在する候補領域βに決定する。すなわち、領域決定手段３４は、延長線Ｌａが求められると、その延長線Ｌａが通る分割領域αに１票を投票する。
【００３２】
図５は図４の分割領域α１１のフローベクトルＶ（α）の延長線Ｌａについての投票結果を示し、「１」を付した斜線の分割領域αは１票投票されたことを示す。
【００３３】
そして、撮影画像の全ての算出対象領域について、すなわち、本実施形態の場合は全ての分割領域αについて、前記と同様にしてフローベクトルＶ（α）の延長線Ｌａが通る各分割領域αを求めてそれらの分割領域αに１票を投票する。
【００３４】
図６は分割領域α２８のフローベクトルＶ（α）に注目し、このフローベクトルＶ（α）の延長線Ｌａが通る斜線の各分割領域αを示す。
【００３５】
図７は分割領域α１１のフローベクトルＶ（α）の延長線Ｌａについての投票結果に、分割領域α２８のフローベクトルＶ（α）の延長線Ｌａについての投票結果が加わった場合の投票結果例である。
【００３６】
ぞして、撮影画像の全ての分割領域（算出対象領域）αのフローベクトルＶ（α）の延長線Ｌａについての投票が終了すると、領域決定手段３４は、各分割領域αの投票数を開票し、投票数が一番多く、消失点（ＦＯＥ）が存在する可能性が最も高い分割領域αを、その撮影画像の消失点（ＦＯＥ）の候補領域βに決定する。この場合、投票方式の多数決処理により、分割領域αの数の多元の連立方程式を解いたりすることなく候補領域βが簡単に求められ、処理装置３の計算負荷が大きくならない。また、車両１の走行により撮像装置２の位置が変動したり、背景の分割領域αと動的障害物の分割領域αとでフローベクトルの向きが異なっていても、それらの影響はほとんど受けることがない。
【００３７】
なお、投票総数が設定総数より少ない場合（オプティカルフローの検出が良好でない場合）や、投票総数に対して一番多い得票数が設定した基準票数より少ない場合（消失点（ＦＯＥ）が撮影画像の外にある場合）などには、交差する延長線Ｌａが所定数より少ないので、消失点（ＦＯＥ）が存在する分割領域αは無いと判断して候補領域βの決定は行なわない。
【００３８】
図８は以上説明した候補領域βの決定の処理手順例を示し、画面分割手段３１が撮影画像を分割領域αに分割すると（ステップＳ１）、フロー算出手段３２が各分割領域αのフローベクトルＶ（α）を算出し、延長手段３３が各分割領域αについて延長線Ｌａを作図し（ステップＳ２）、領域決定手段３４は延長線Ｌａが通る分割領域αを検出し（ステップＳ３）、延長線Ｌａが通る分割領域αに１票を投票する（ステップＳ４）。そして、ステップＳ２〜ステップＳ４の処理を算出対象領域となった各分割領域αに対して繰り返し行なうと、ステップＳ５を介してステップＳ６に移行し、投票結果を開票して投票数が最も多い分割領域αを候補領域βに決定する（ステップＳ７）。
【００３９】
ところで、上述のように、撮影画像を均一に分割し、各分割領域αを同じ画素数の同一面積の領域として分割領域α毎のオプティカルフローのフローベクトルＶ（α）を求め、その延長線Ｌａについての投票結果から同じ大きさの候補領域βを決定する代わりに、撮影画像を画像中心に至るほど細かくなるように分割し、各分割領域αを、撮影画像の周辺では大きく、中心に近づくほど細かく設定し、それらの分割領域α毎のオプティカルフローのフローベクトルＶ（α）を求め、その延長線Ｌａについての投票結果から、画像中心に至る程小面積になる候補領域βを決定してもよい。
【００４０】
図９は本実施形態の分割領域αの一例を示し、撮影画像の周辺では大きく、中心に近づくほど細かくなっている。
【００４１】
車両１が直進（前進又は後進）している場合、撮像装置２の撮影画像の画像中心付近に消失点（ＦＯＥ）が存在し、消失点（ＦＯＥ）を中心に外側又は内側に向かってフローベクトルＶ（α）が分布する。このため、画像中心付近の画像密度は高く、物体が小さく見え、画像の周辺に至る程画像密度は低くなって物体は大きく見える。
【００４２】
そして、撮影画像の全域を複数の領域に分割してオプティカルフローを検出し、前記と同様にして消失点（ＦＯＥ）を求める場合、撮影画像全域の分割領域を細かくすれば、各分割領域の画像密度が濃くなり、小さな物体についてのオプティカルフローフローも検出することが可能となり、より正確に消失点（ＦＯＥ）を求めることができるが、その分計算負荷が増え、また、検出の誤りによるバラツキも大きくなる。
【００４３】
そのため、各分割領域αを均一な大きさのメッシュ領域とした場合は、計算負荷や検出の誤りによるばらつき等を考慮して、各分割領域αの大きさを適当に設定する必要がある。
【００４４】
そこで、撮影画像全体を不均一なメッシュ領域に分け、各分割領域αを、撮影画像の周辺では大きく、中心に近づくほど細かくなるように設定する。
【００４５】
このように設定して消失点（ＦＯＥ）が存在する候補領域βを決定すると、撮影画面全体での計算負荷（計算時間）を、撮影画面全体を細かな領域に分割する場合より小さく（短く）し、画像密度が高い画像中心付近では極めて精密に、画像密度が低い画像の周辺（外縁部）では粗く、画像密度に応じた大きさの領域の単位で消失点（ＦＯＥ）が存在する候補領域βを決定することができ、一層正確に消失点（ＦＯＥ）の画素を検出できる。
【００４６】
図１０は車両１が前進する際に、撮影画像に不均一なメッシュ状の分割領域αを設定した場合の一例を示し、各分割領域αを撮影画像の周辺では大きく、中心に近づくほど細かくすることにより、フローベクトルＶ（α）の矢印線は、周辺では粗く、画像中心に至るにしたがって密になっている。なお、撮像装置２の取り付け設定等に基づき、殆どの場合、消失点（ＦＯＥ）は画像密度が高い撮影画像の中心（画面中央）付近に位置するが、図１０の場合は、図２の場合と同様、車両１が上り坂等を走行しているので消失点（ＦＯＥ）がたまたま撮影画像の中心（画面中央）より上方にずれている。
【００４７】
したがって、撮影画像に不均一なメッシュ状の分割領域αを設定した場合は、消失点（ＦＯＥ）の検出精度が一層向上する利点がある。なお、前記不均一なメッシュ領域の形状や大きさ等は図１０のものに限られるものではなく、実験等に基づいて適当に設定すればよい。
【００４８】
以上説明したようにして、消失点（ＦＯＥ）の画素が存在する候補領域βを撮影画像から絞り込んで決定することにより、極めて少ない計算負荷で迅速に候補領域βが求まる。また、車両挙動等に起因する撮像装置２の振動等の影響が少なく、消失点（ＦＯＥ）の検出精度も向上する。
【００４９】
そして、消失点（ＦＯＥ）の画素が存在する候補領域βを絞り込んで決定すると、つぎには、その候補領域βから、極力少ない計算負荷で精度よく消失点（ＦＯＥ）を検出して決定するため、図１に示すように、領域決定部３４の後段にフロー算出手段（本発明の算出手段）３５、個別類似性演算手段３６、総合類似性演算手段３７、消失点決定手段（本発明の決定手段）３８を備え、演算手段３６、３７の演算を演算制御手段３９により制御し、本実施形態の場合は、つぎに説明する外積演算を行なって、絞り込んだ候補領域βの消失点（ＦＯＥ）の画素を決定して消失点（ＦＯＥ）を検出する。なお、手段３５〜３９も画像処理のソフトウェアにより形成される。
【００５０】
領域決定手段３４により消失点（ＦＯＥ）の画素が存在する候補領域βを絞り込んで決定すると、フロー算出手段３５は撮影画像の候補領域βを除く各分割領域αのうちの算出対象領域のオプティカルフローを算出する。ところで、本実施例の場合、算出対象領域は候補領域βを除く各分割領域αであり、フロー算出手段３２により撮影画像の各分割領域αのフローベクトルＶ（α）は既に求められているので、フロー算出手段３５は、フロー算出手段３２により求められている候補領域βを除く各分割領域αのフローベクトルＶ（α）を次段の個別類似性演算手段３６に渡す。なお、領域決定手段３４により本実施形態と異なる手法で候補領域βを決定して求めてもよいが、このとき、フロー算出手段３２が設けられておらず、撮影画像の各分割領域αのフローベクトルＶ（α）が求められていなければ、フロー算出手段３５は、フロー算出手段３３と同様にして候補領域βを除く各分割領域αのフローベクトルＶ（α）を求め、求めた各フローベクトルＶ（α）を次段の個別類似性演算手段３６に渡す。
【００５１】
[外積演算]
個別類似性演算手段３６は、候補領域βの各画素（ｍ×ｎ）を順次に消失点候補画素Ｐとし、候補領域βの消失点候補画素Ｐ毎に、各分割領域（算出対象領域）αと消失点候補画素Ｐとを結ぶ線分Ｌｂのベクトル（前進の場合は消失点候補画素Ｐから各分割領域（算出対象領域）αに向かう外向きのベクトル、後進の場合はその逆の内向きのベクトル）と、各分割領域（算出対象領域）αのフローベクトルＶ（α）とについて単位ベクトルの外積を演算し、演算結果の外積の絶対値を、各分割領域（算出対象領域）αと消失点候補画素Ｐとを結ぶ線分Ｌｂの向きと、各分割領域（算出対象領域）αのオプティカルフローの向きとのペアについての類似性の度合いの指標値として求める。なお、線分ＬｂおよびフローベクトルＶ（α）の座標値が既知であるので、それらの単位ベクトルは、簡単な２行２列の行列式の座標の引き算と各座標までの長さから求められる。
【００５２】
図１１は分割領域α５５が候補領域βの場合において、分割領域α１１と消失点候補画素Ｐとを結ぶ線分Ｌｂと、分割領域α１１のフローベクトルＶ（α）の例を示す。
【００５３】
図１２は図１１の線分Ｌｂの単位ベクトルＥ（Ｌｂ）と、分割領域α２８のフローベクトルＶ（α）の単位ベクトルＥ（α１１）との外積（Ｅ（Ｌｂ）×Ｅ（α１１））を示し、単位ベクトルＥ（Ｌｂ）、Ｅ（α１１）が等しくなる程（似ている程）、外積（Ｅ（Ｌｂ）×Ｅ（α１１））は小さくなる。
【００５４】
図１３は分割領域α５５が候補領域βの場合において、分割領域α２８と消失点候補画素Ｐとを結ぶ線分Ｌｂと、分割領域α２８のオプティカルフローのフローベクトルＶ（α）の例を示す。
【００５５】
図１４は図１３の線分Ｌｂの単位ベクトルＥ（Ｌｂ）と、分割領域α２８フローベクトルＶ（α）の単位ベクトルＥ（α２８）との外積（Ｅ（Ｌｂ）×Ｅ（α２８））を示し、この場合も、単位ベクトルＥ（Ｌｂ）、Ｅ（α１８）が等しくなる程（似ている程）、外積（Ｅ（Ｌｂ）×Ｅ（α２８））は小さくなる。
【００５６】
総合類似性演算手段３７は、消失点候補画素Ｐそれぞれにつき、あらたなペアの指標値としての外積演算の結果（外積）が得られる毎に、演算された外積の絶対値を当該消失点候補画素Ｐのそれまでの（過去の）類似性の度合いの総合値（外積の絶対値の和）ｓｕｍ＿ｅｐに追加（加算）して最新の総合値ｓｕｍ＿ｅｐを演算する。
【００５７】
このとき、線分Ｌｂと消失点候補画素Ｐのオプティカルフローとが接近するにしたがって外積の絶対値は０に近づき、消失点（ＦＯＥ）に近い消失点候補画素Ｐ程、外積の絶対値は小さくなって消失点（ＦＯＥ）の確度が高くなる。
【００５８】
そこで、演算制御手段３９は、各消失点候補画素Ｐの演算中の総合値ｓｕｍ＿ｅｐが、演算の終了した他の消失点候補画素Ｐの総合値ｓｕｍ＿ｅｐより消失点（ＦＯＥ）である確度の低い値に確定するまでは、個別類似性演算手段３６および総合類似性演算手段３７の演算をくり返し、演算中の総合値ｓｕｍ＿ｅｐが、他の消失点候補画素Ｐの演算の終了した総合値ｓｕｍ＿ｅｐより大きくなり、消失点（ＦＯＥ）である確度が低い値に確定した時点で個別類似性演算手段３６および総合類似性演算手段３７の演算を終了する。すなわち、各消失点候補画素Ｐの演算中の総合値ｓｕｍ＿ｅｐが、全ての分割領域（算出対象領域）αの線分Ｌｂについての外積の演算が終了した他の消失点候補画素Ｐの総合値ｓｕｍ＿ｅｐより大きくなると、その消失点候補画素Ｐは消失点（ＦＯＥ）である確度が前記他の消失点候補画素Ｐより低い値に確定するので、直ちに演算を終了してつぎの消失点候補画素Ｐについての総合値ｓｕｍ＿ｅｐの演算に移行する。このようにすることで、無駄な演算を行なうことなく（計算負荷を後述する内積演算より軽くして）、迅速に総合値ｓｕｍ＿ｅｐが最小となる消失点候補画素Ｐが求められる。
【００５９】
そして、総合類似性演算手段３７が全ての消失点候補画素Ｐについて総合値ｓｕｍ＿ｅｐの演算を終了すると、消失点決定手段３８は、それらの演算結果から消失点（ＦＯＥ）である確度が最も高い消失点候補画素Ｐを消失点（ＦＯＥ）に決定する。すなわち、外積演算の場合、演算制御手段３９の制御により、自動的に演算が正常に終了した最も小さい総合値ｓｕｍ＿ｅｐのみが総合類似性演算手段３７から消失点決定手段３８に送られるので、消失点決定手段３８は、総合値ｓｕｍ＿ｅｐが送られてきた消失点候補画素Ｐを消失点（ＦＯＥ）に決定する。
【００６０】
図１５は以上説明した候補領域βから外積の演算で消失点（ＦＯＥ）を決定する処理手順例を示し、フロー算出手段３５からのフローベクトルＶ（α）に基づき、個別類似性演算手段３６は、候補領域βの演算対象の消失点候補画素Ｐを設定すると（ステップＱ１）、その消失点候補画素Ｐについて他の分割領域αに対する線分Ｌｂの単位ベクトルＥ（Ｌｂ）、他の分割領域αのフローベクトルＶ（α）の単位ベクトルＥ（αｉｊ）を求め（ステップＱ２、Ｑ３）、それらの外積を演算して総合類似性演算手段３７により総合値ｓｕｍ＿ｅｐを求める（ステップＱ４）。そして、演算中の総合値ｓｕｍ＿ｅｐが既に演算の終了した他の消失点候補画素Ｐの総合値ｓｕｍ＿ｅｐより大きくなると、演算を終了してつぎの消失点候補画素Ｐの総合値ｓｕｍ＿ｅｐの演算に移る（ステップＱ５）。このようにして全ての消失点候補画素Ｐについて総合値ｓｕｍ＿ｅｐを演算すると、消出点決定手段３８により、総合値ｓｕｍ＿ｅｐが最小の消失点候補画素Ｐを消失点（ＦＯＥ）に決定する（ステップＱ６、Ｑ７）。
【００６１】
そして、外積演算により決定した消失点（ＦＯＥ）が処理装置３から判定装置４に送られ、判定装置４は例えば消失点（ＦＯＥ）から撮影画像の各画素への線分の向き等から、他の車両（自転車等も含む）や人（歩行者等）等の動くものを認識し、連続する撮影画像についてのそれらの移動変化から自車１との衝突の可能性を判定し、判定結果を車内の警報装置や衝突防止支援の各種の制御装置に送る。
【００６２】
したがって、前記実施形態の場合、撮影画像の各分割領域（算出対象領域）αから絞り込んで決定した消失点（ＦＯＥ）の画素が存在確度の高い候補領域βにつき、各消失点候補画素Ｐ毎の簡単なベクトルの外積演算または内積演算により、少ない計算負荷で迅速に候補領域βから消失点（ＦＯＥ）の画素を決定して消失点（ＦＯＥ）を検出することができる。
【００６３】
（他の実施形態）
他の実施形態について、図１、図１１、図１３および図１６〜図１８を参照して説明する。
【００６４】
本実施形態の場合、構成は一実施形態の場合と同じであるが、図１の個別類似性演算手段３６、総合類似性演算手段３７により、つぎに説明する内積演算を行なって、絞り込んだ候補領域βの消失点（ＦＯＥ）の画素を決定して消失点（ＦＯＥ）を検出する。
【００６５】
[内積演算]
一実施形態の外積演算の場合と同様、領域決定手段３４により消失点（ＦＯＥ）の画素が存在する候補領域βを絞り込んで決定すると、フロー算出手段３５は、フロー算出手段３２により求められている候補領域βを除く各分割領域αのフローベクトルＶ（α）を次段の個別類似性演算手段３６に渡す。
【００６６】
個別類似性演算手段３６は、候補領域βの各画素（ｍ×ｎ）を順次に消失点候補画素Ｐとし、候補領域βの消失点候補画素Ｐ毎に、各分割領域（算出対象領域）αと消失点候補画素Ｐとを結ぶ線分Ｌｂのベクトルと、各分割領域（算出対象領域）αのフローベクトルＶ（α）とについて単位ベクトルの内積を演算し、演算結果の内積値を、各分割領域（算出対象領域）αと消失点候補画素Ｐとを結ぶ線分Ｌｂの向きと、各分割領域（算出対象領域）αのオプティカルフローの向きとのペアについての類似性の度合いの指標値として求める。なお、線分ＬｂおよびフローベクトルＶ（α）の座標値が既知であるので、それらの単位ベクトルは、外積演算の場合と同様、簡単な２行２列の行列式の座標の引き算と各座標までの長さから求められる。また、前記内積の演算は２つのベクトルの周知の積和演算と同様の演算により比較的簡単に求められる。
【００６７】
図１６は分割領域α５５が候補領域βである図１１の場合の分割領域α１１と消失点候補画素Ｐとを結ぶ線分Ｌｂの単位ベクトルＥ（Ｌｂ）と、フローベクトルＶ（α１１）の単位ベクトルＥ（α１１）との内積（Ｅ（Ｌｂ）・Ｅ（α１１））を示し、単位ベクトルＥ（Ｌｂ）、Ｅ（α１１）が等しくなる程（似ている程）、内積値（Ｅ（Ｌｂ）・Ｅ（α１１））は大きくなる。
【００６８】
図１７は同じく分割領域α５５が候補領域βの場合において、図１３のように分割領域α２８と消失点候補画素Ｐとを結ぶ線分Ｌｂと、分割領域α２８のフローベクトルＶ（α）の内積（Ｅ（Ｌｂ）・Ｅ（α２８））を示し、この場合も、単位ベクトルＥ（Ｌｂ）、Ｅ（α１８）が等しくなる程（似ている程）、内積値（Ｅ（Ｌｂ）・Ｅ（α２８））は大きくなる。
【００６９】
総合類似性演算手段３７は、消失点候補画素Ｐそれぞれにつき、あらたなペアの指標値としての内積演算の結果（内積）が得られる毎に、演算された内積値を当該消失点候補画素Ｐのそれまでの（過去の）類似性の度合いの総合値（内積値の和）ｓｕｍ＿ｉｐに追加（加算）して最新の総合値ｓｕｍ＿ｉｐを演算し、各消失点候補画素Ｐについて、各分割領域（算出対象領域）αの内積の総合値ｓｕｍ＿ｉｐを順次演算する。このとき、演算が終了した総合値ｓｕｍ＿ｉｐは、消失点（ＦＯＥ）である確度が最も高い消失点候補画素Ｐのものが最も大きくなる。
【００７０】
そして、演算制御手段３９は、各消失点候補画素Ｐの演算中の総合値ｓｕｍ＿ｉｐが、演算の終了した他の消失点候補画素Ｐの総合値ｓｕｍ＿ｉｐより消失点（ＦＯＥ）である確度の低い値に確定するまでは、個別類似性演算手段３６および総合類似性演算手段３７の演算をくり返し、演算中の総合値ｓｕｍ＿ｉｐが他の消失点候補画素Ｐの総合値ｓｕｍ＿ｉｐより消失点（ＦＯＥ）である確度が低い値に確定した時点で個別類似性演算手段３６および総合類似性演算手段３７の演算を終了するが、内積演算の場合、各消失点候補画素Ｐの総合値ｓｕｍが消失点（ＦＯＥ）である確度に比例して増加し、各消失点候補画素Ｐの総合値ｓｕｍ＿ｉｐは、それぞれ全ての分割領域（算出対象領域）αの線分Ｌｂについての内積の演算が終了するまでは確定しないので、演算制御手段３９は、全ての分割領域（算出対象領域）αの線分Ｌｂについての内積の演算が終了する毎に、消失点候補画素Ｐを変えて個別類似性演算手段３６および総合類似性演算手段３７の演算をくり返すように制御する。
【００７１】
つぎに、消失点決定手段３８は、総合類似性演算手段３７が全ての消失点候補画素Ｐについて総合値ｓｕｍ＿ｉｐの演算を終了すると、それらの演算結果から消失点（ＦＯＥ）である確度が最も高い消失点候補画素Ｐを消失点（ＦＯＥ）に決定する。すなわち、内積演算の場合、全ての消失点候補画素Ｐについての総合値ｓｕｍ＿ｉｐから最も大きな総合値ｓｕｍ＿ｉｐを選択し、選択した総合値ｓｕｍ＿ｉｐの消失点候補画素Ｐを消失点（ＦＯＥ）に決定する。
【００７２】
図１８は候補領域βから内積の演算で消失点（ＦＯＥ）を決定する処理手順例を示し、フロー算出手段３５からのフローベクトルＶ（α）に基づき、個別類似性演算手段３６は、候補領域βの演算対象の消失点候補画素Ｐを設定すると（ステップＲ１）、その消失点候補画素Ｐについて他の分割領域αに対する線分Ｌｂの単位ベクトルＥ（Ｌｂ）、他の分割領域αのフローベクトルＶ（α）の単位ベクトルＥ（αｉｊ）を求め（ステップＲ２、Ｒ３）、それらの内積を演算して総合類似性演算手段３７により総合値ｓｕｍ＿ｉｐを求める（ステップＲ４）。そして、全ての消失点候補画素Ｐについて総合値ｓｕｍ＿ｉｐを演算すると（ステップＲ５）、消出点決定手段３８により、総合値ｓｕｍ＿ｉｐが最も大きい消失点候補画素Ｐを消失点（ＦＯＥ）に決定する（ステップＲ６）。
【００７３】
そして、本発明は上記した両実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、候補領域βの決定は、前記した投票方式の多数決処理以外の方法で行なってもよい。
【００７４】
また、候補領域βの消失点（ＦＯＥ）の画素検出は、前記した内積演算、外積演算以外の演算方法で行なってもよい。
【００７５】
つぎに、撮像装置２の撮影画像の画素数や縦横の比、各分割領域αの画素数や縦横の比（或いは形状）等はどのようであってもよいのは勿論である。また、撮像装置２は車両１の後方の周囲を撮影するものであってもよく、この場合、車両１の前進、後進とフローベクトルＶ（α）の向きが前記した両実施形態とは異なるが、それ以外は同様であり、前記した両実施形態と同様にして消失点（ＦＯＥ）を求めることができる。さらに、撮像装置２は車両１の左右側の周囲を斜め前向きや斜め後ろ向きに撮影するものであってもよく、これらの場合も前記した両実施形態の場合と略同様にして消失点（ＦＯＥ）を求めることができる。
【００７６】
また、処理装置２等の構成や処理手順等が前記両実施形態と異なっていてもよいのも勿論である。
【００７７】
そして、本発明は、種々の車両の安全運転支援装置等の画像処理装置に適用することができる。
【符号の説明】
【００７８】
１ 車両
２ 撮像装置
３１ 画面分割手段
３２ フロー算出手段
３３ 延長手段
３４ 領域決定手段
α 分割領域
β 候補領域
Ｌａ 延長線
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置と、
前記撮像装置が撮影した車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する領域決定手段と、
前記候補領域を除く前記各分割領域のうちの算出対象領域のオプティカルフローを算出する算出手段と、
前記候補領域の消失点候補画素毎に、前記各算出対象領域と前記消失点候補画素とを結ぶ線分の向きと、前記各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算する個別類似性演算手段と、
前記消失点候補画素それぞれにつき、あらたな前記ペアの前記指標値が演算される毎に演算された当該指標値を過去の前記類似性の度合いの総合値に追加して最新の前記総合値を演算する総合類似性演算手段と、
演算中の前記総合値が演算の終了した他の消失点候補画素の前記総合値より前記消失点である確度の低い値になるまでは、前記個別類似性演算手段および前記総合類似性演算手段の演算をくり返し、演算中の前記総合値が前記他の消失点候補画素の前記総合値より前記消失点である確度が低い値になった時点で前記個別類似性演算手段および前記総合類似性演算手段の演算を終了する演算制御手段と、
前記総合類似性演算手段の演算結果から前記消失点である確度が最も高い前記消失点候補画素を前記消失点に決定する決定手段とを備えたことを特徴とする画像処理装置。
【請求項１】
車両に搭載された撮像装置と、
前記撮像装置が撮影した車両周囲の撮影画像を分割した複数の分割領域から画像の消失点が存在する可能性がある候補領域を決定する領域決定手段と、
前記候補領域を除く前記各分割領域のうちの算出対象領域のオプティカルフローを算出する算出手段と、
前記候補領域の消失点候補画素毎に、前記各算出対象領域と前記消失点候補画素とを結ぶ線分の向きと、前記各算出対象領域のオプティカルフローの向きとのペアについての類似性の度合いの指標値を演算する個別類似性演算手段と、
前記消失点候補画素それぞれにつき、あらたな前記ペアの前記指標値が演算される毎に演算された当該指標値を過去の前記類似性の度合いの総合値に追加して最新の前記総合値を演算する総合類似性演算手段と、
演算中の前記総合値が演算の終了した他の消失点候補画素の前記総合値より前記消失点である確度の低い値になるまでは、前記個別類似性演算手段および前記総合類似性演算手段の演算をくり返し、演算中の前記総合値が前記他の消失点候補画素の前記総合値より前記消失点である確度が低い値になった時点で前記個別類似性演算手段および前記総合類似性演算手段の演算を終了する演算制御手段と、
前記総合類似性演算手段の演算結果から前記消失点である確度が最も高い前記消失点候補画素を前記消失点に決定する決定手段とを備えたことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−５３７３２（Ｐ２０１１−５３７３２Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−１９９２９３（Ｐ２００９−１９９２９３）
【出願日】平成２１年８月３１日（２００９．８．３１）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年８月３１日（２００９．８．３１）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]