移動物体認識装置、移動物体認識方法及びコンピュータプログラム
【課題】画像から移動物体を正確に検出できる移動物体認識装置を提供する。
【解決手段】時系列の画像を撮像するカメラ２と、カメラ２で撮像した時系列の各画像の特徴点を抽出する特徴点抽出部２３と、時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する特徴点を結ぶオプティカルフローを生成するオプティカルフロー生成部２４と、オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、オプティカルフローの延長線においてオプティカルフローの一方の端点を外分点として、オプティカルフローの他方の端点と消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング処理部２５と、を備える。さらに、カメラ２で撮像した画像を、カメラ２のレンズの特性に合わせて、透視図に補正する画像補正部２２を備えてもよい。
【解決手段】時系列の画像を撮像するカメラ２と、カメラ２で撮像した時系列の各画像の特徴点を抽出する特徴点抽出部２３と、時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する特徴点を結ぶオプティカルフローを生成するオプティカルフロー生成部２４と、オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、オプティカルフローの延長線においてオプティカルフローの一方の端点を外分点として、オプティカルフローの他方の端点と消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング処理部２５と、を備える。さらに、カメラ２で撮像した画像を、カメラ２のレンズの特性に合わせて、透視図に補正する画像補正部２２を備えてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を用いて移動物体を認識する移動物体認識装置、移動物体認識方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、車両をより安全に運転できるように運転者に他車の接近を知らせる目的で、車両に接近してくる移動物体、とりわけ進行方向の後方から接近する車両等を検知する技術が提案されている。
【０００３】
例えば、特許文献１の技術は、撮像画像から導出されたオプティカルフローと、車速センサによる自車の走行速度に対応したオプティカルフローとの一致、不一致に基づいて、斜め後方の走行車を検出するものである。
【０００４】
特許文献２は、暗所を走行している場合においても他車両を認識するための技術が記載されている。特許文献２の技術は、自車両の後側方を撮像した所定時間相前後する２画像中における同一点について、当該点の無限遠点から発散する方向の移動をオプティカルフローとして検出する。そして、自車両の走行方向情報及び走行距離情報に基づいて算出した移動量により、オプティカルフローの無限遠点の位置を変更する。
【０００５】
特許文献３は、自車が直進走行していない状況においても得られたオプティカルフローから車両周囲の移動物体を認識する技術が記載されている。特許文献３の技術は、時系列の画像から算出されたオプティカルフローを、変化が連続的な複数群に分類する。一方、車速センサ及びヨーレートセンサから推定した自車の運動方向に基づいてオプティカルフローを補正する。そして、補正されたオプティカルフロー群から移動物体を抽出し、相対速度を演算する。
【特許文献１】特開平６−１３００７６号公報
【特許文献２】特開平９−８６３１４号公報
【特許文献３】特開平６−２８２６５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術は画像を使って後側方からの接近車を認識するものであるが、これらは、２枚の時系列画像からオプティカルフローを抽出し、オプティカルフローから接近車両を検出する技術を基本としている。
【０００７】
特許文献１の技術では、オプティカルフローと自車速の差から移動体を検出している。画像面上では自車速は背景のオプティカルフローに対応している。背景とは異なるオプティカルフローを移動体と認識できるが、オプティカルフローをグルーピングしないので、移動体ごとの対応が取れない。
【０００８】
特許文献２は、無限遠点からのオプティカルフローの方向から移動体を検出しているが、これも見かけ上(画像面上)のフローをグルーピングすることはできない。
【０００９】
特許文献３は、変化が連続的なオプティカルフローを複数群に分けているが、変化の連続性だけでは画像上の位置で幾何学的な大きさが異なる為、グルーピングができない場合がある。特に広角レンズを使用する場合、同一移動物体のオプティカルフローであっても接近時に広がりが大きいため、方向や大きさが変わってしまいグルーピングが難しく、間違えてしまう場合があった。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、画像から移動物体を正確に検出できる移動物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の第１の観点に係る移動物体認識装置は、時系列の画像を撮像する撮像手段と、前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、を備えることを特徴とする。
【００１２】
好ましくは、前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする。
【００１３】
さらに、前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段を備えてもよい。
【００１４】
本発明の第２の観点に係る移動物体認識装置は、時系列の画像を撮像する撮像手段と、前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、前記撮像手段から、前記特徴点抽出手段で抽出した少なくとも１つの特徴点までの距離を検知する距離検知手段と、前記距離検知手段で検知した特徴点までの距離と前記特徴点を含むオプティカルフローから、前記オプティカルフローにおける特徴点の変位を算出する変位算出手段と、前記変位算出手段で算出された変位が等しい特徴点を１つの移動物体に属する特徴点として選択する等変位点選択手段と、を備えることを特徴とする。
【００１５】
好ましくは、前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする。
【００１６】
さらに、前記距離検知手段は、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段と、を備え、前記距離算出手段で算出した距離を特徴点までの距離としてもよい。
【００１７】
なお、前記距離検知手段は、光、電磁波もしくは音波などを用いる物理的手段によって前記移動物体までの距離を計測する構成としてもよい。
【００１８】
本発明の第３の観点に係る移動物体認識方法は、時系列の画像を入力する撮像ステップと、前記撮像ステップで入力した前記時系列の各画像の特徴点を抽出する特徴点抽出ステップと、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成ステップと、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを選択するグルーピングステップと、を備えることを特徴とする。
【００１９】
好ましくは、前記撮像ステップで入力した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正ステップを備え、前記特徴点抽出ステップは、前記画像補正ステップで補正された画像の特徴点を抽出することを特徴とする。
【００２０】
本発明の第４の観点に係るコンピュータプログラムは、コンピュータを、時系列の画像を撮像手段から入力する画像入力手段と、画像入力手段で入力した時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、画像上で位置が変化した同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段、として機能させることを特徴とする。
【発明の効果】
【００２１】
本発明の移動物体認識装置によれば、時系列の画像から抽出した特徴点のオプティカルフローを、移動物体毎に正しくグルーピングして移動物体を検出できる。
【発明を実施するための最良の形態】
【００２２】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。本発明に係る移動物体認識装置の一実施の形態として、車両の移動物体認識装置について、図を参照して説明する。
【００２３】
（実施の形態１）
図１は、本発明の一実施の形態である移動物体認識装置の論理的な構成を示すブロック図である。移動物体認識装置１は、カメラ２、画像入力部２１、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、グルーピング処理部２５、データ保持部５、移動物体判定部２６、表示処理部２７、表示装置７などから構成される。データ保持部５には、収集時系列画像データ５１、補正時系列画像データ５２、特徴点データ５３、オプティカルフローデータ５４、グルーピングデータ５５が記憶保持される。移動物体認識装置１は、車両の周囲に移動物体があるかどうか、また、どのような移動物体であるかを認識する。特に、車両進行方向の後方から接近する車両等を検出する。
【００２４】
ここで、オプティカルフローとそのグルーピング手法について説明する。図３は、オプティカルフローを説明する図である。図３では、移動物体として車両がカメラ２の方に近づいてくる場合を模式的に示す。現在の画像Π１における特徴点をｘ1i（ｉ＝１．．．ｎ）とする。過去の画像Π２におけるｘ1iに対応する特徴点をｘ2iとする。現在の画像Π１に過去の画像Π２の特徴点ｘ2iを重ねて表したときに、ｘ2iからｘ1iに向かうベクトルをオプティカルフローという。
【００２５】
画像が透視図である場合は、カメラ２に固定された座標（カメラ座標）に対して平行に（カメラ座標で直進）運動する物体の特徴点のオプティカルフローを延長すると、画像上で１点で交わる（図３）。カメラ座標に対して各特徴点は平行な直線を描くので、これを透視図法で見れば平行線は１点で交わるからである。この点を消失点（ＦＯＥ：Focus Of Expansion）という。異なる移動物体が互いに平行に移動していなければ、それらのオプティカルフローは異なる消失点で交わる。
【００２６】
カメラ座標に対して平行に移動している１つの物体のオプティカルフローは、画像が透視図の場合は次の関係が成り立つ。
【数１】
ここで、ｘ1iは現在の画像Π１の特徴点の画像上の座標、ｘ2iは過去の画像Π２の特徴点の画像上の座標、ｘfoeは消失点の画像上の座標、Ｃは定数である。
【００２７】
すなわち、オプティカルフローの一方の端点である現在の画像の特徴点ｘ1iを外分点とする、オプティカルフローの過去の画像の特徴点ｘ2i（他方の端点）と消失点ｘfoeとを結ぶ線分の外分比が、１つの平行移動する物体では一定である。したがって、１点の消失点で交わり、かつ、上記の外分比が等しいオプティカルフローを１つの物体のオプティカルフローとしてグルーピングできる。外分比としては上記のほかに、例えば、消失点を外分点として、オプティカルフローの外分比をとっても１つの平行移動物体では一定である。
【００２８】
図１に戻って、移動物体認識装置１の各部の作用を説明する。カメラ２は画像を撮像しデジタル画像データに変換する。画像入力部２１は、一定時間間隔でカメラ２から時系列の画像データを入力し、データ保持部５に収集時系列画像データ５１として記憶する。
【００２９】
移動物体を撮像するカメラ２として、例えば図４に示すような車両４の後方モニター用のカメラ２を利用することができる。後方モニター用のカメラ２を用いることによって、新たにカメラ２を設ける必要がなく、低コストで移動物体認識装置１を構成できる。
【００３０】
駐車支援の後方モニターカメラは広角レンズであるので、画像の周辺が歪んでおり、遠方の分解能が低い。また取り付け位置が低い。これらの条件は、実世界座標として画像を処理するのに都合が悪く、接近する移動物体を認識するのを難しくしている。
【００３１】
そこで、撮像した画像の歪みを補正する。図１の画像補正部２２は、撮像した画像をレンズの特性に応じて歪みを補正し、透視図の画像に変換する。補正した画像を補正時系列画像データとしてデータ保持部５に記憶する。
【００３２】
透視図の画像の座標（ｘ，ｙ）とそれに対応する補正前画像の座標（ｘ’，ｙ’）は次の式の関係がある。
【数２】
ここで、（ｘ0，ｙ0）は補正画像の歪み中心座標、（ｘ'0、ｙ'0）は補正前の画像の歪み中心座標である。fn(r)はカメラレンズ歪み特性関数である。
【００３３】
さらに、カメラ２の向きを水平にした場合の画像に変換してもよい。カメラ２の向きを変える場合の変換は、変換前の座標を（ｘ'，ｙ'）、変換後の座標を（ｘ'，ｙ'）として、次の式で表される。
【数３】
ここで、βはカメラ２のチルト角、ｚはスケール因子、ｅ0は画像変換前の消失点と画像中心の距離、Ｈ＝［ｈij］は画像変換行列をそれぞれ表す。
【００３４】
図５は、広角レンズの後方モニタカメラで撮像した画像の例である。図６は、図５の歪みを補正した画像の例である。図５では、路面の白線が湾曲しているが、図６の補正画像では直線道路の白線が補正されて直線になっている。図７は図６の画像を正規化した画像を示す。これは、さらにカメラ２の向きを水平にして撮像した画像に変換したものである。図６では、鉛直線が下方の１点に収束するが、図７ではカメラ２の向きを水平に補正しているので、鉛直線が平行になっている。
【００３５】
次に補正された時系列の画像データから、画像間の比較を行うための特徴点を抽出する。特徴点抽出部２３は、補正時系列画像データ５２から特徴点を抽出し、特徴点データ５３としてデータ保持部５に記憶する。オプティカルフロー生成部２４は、特徴点を画像間で比較してパターンの相関の高い特徴点を結ぶベクトルをオプティカルフローとして生成する。オプティカルフロー生成部２４は、生成したオプティカルフローをオプティカルフローデータ５４としてデータ保持部５に記憶する。特徴点抽出とオプティカルフロー生成の方法を次に説明する。
【００３６】
背景差分によって得られた探索領域に対して、接近物体を検出するため、動きベクトルを算出する。動きベクトルの算出方法には各種考えられるが、比較的環境の変化に強いテンプレートマッチングを採用することができる。テンプレートマッチングには追跡しやすい画像ブロックを選択することが重要である。例えば、ＫＬＴ特徴点計算法を用いることができる。
【００３７】
輝度勾配∇Ｉ＝［Ｉx，Ｉy］Tのモーメント行列を、
【数４】
とおく。ここで、
【数５】
である。ＫＬＴ特徴量をλ2／λ1（行列Ｍ（ｘ，ｙ）の条件数＝固有値の比）、もしくはｍｉｎ（λ2，λ1）として、ＫＬＴ特徴点計算法は次の計算式で表される。
【数６】
【００３８】
得られた特徴点の周りにテンプレートを設定し、時系列の後の画像からテンプレートと相関の高い領域を探索する。その移動ベクトルが動きベクトル（オプティカルフロー）として得られる。テンプレートマッチングの手法として、正規化相関法（ＮＣＣ）を採用できる。正規化相関法の類似度ＲNCCは次の式によって求められる。
【数７】
ここで、IはＮ行×Ｍ列の領域の輝度値ベクトル、ＴはＮ行×Ｍ列のテンプレート領域の輝度値ベクトルである。変数の上のバーはそれぞれの領域内の平均値を表す。
【００３９】
領域の全探索を行うと計算量が大きいので、状況に応じて物体の移動制約量を想定し、その制約された領域のみを探索して計算量を低減する。例えば、接近方向以外は探索しない。または、過去の移動量から物理的に可能性が低い領域は探索しない、等である。さらに、カメラ２に近い物体は画像上で移動量が大きいので階層化処理を行い、上位階層でのマッチングで探索領域を絞った上で詳細探索することによって、計算量を低減できる。
【００４０】
図８は、オプティカルフローの例を示す。白抜きの四角が前回フレームの特徴点、白抜きの丸がそれと相関値の高い最新フレームの点を表す。１つの移動物体のオプティカルフローであっても、例えば、フロントグリルのオプティカルフローと後輪のオプティカルフローでは、方向と長さが異なり、１つの移動物体のオプティカルフローとしてグルーピングするのは難しい。
【００４１】
そこで、前述のとおり、１点の消失点で交わり、かつ、数１の外分比が等しいオプティカルフローを１つの物体のオプティカルフローとしてグルーピングする。グルーピング処理部２５は、例えば、次のようにオプティカルフローをグルーピングする。
【００４２】
数１は２つのパラメータ（消失点と外分比定数）があり、各オプティカルフローに対して、パラメータが同様の値であることがグルーピングの条件である。そこで、数１を２つの変数に対する直線の式に変形する。
【数８】
ここで、ｄｘi＝ｘ1i−ｘ2i、C1＝C・ｘfoe である。
【００４３】
各オプティカルフローに対して、ｄｘiとｘ1iをｘ座標とｙ座標それぞれについて平面にプロットすると、図９のようになる。図９（ａ）は、ｘ1iのｘ座標に対するｄｘiのｘ成分を示す。図９（ｂ）は、ｘ1iのｙ座標に対するｄｘiのｙ成分を示す。
【００４４】
図９のようにプロットした点のうち、ある誤差を許容して直線上にある点を同一の移動物体に属するオプティカルフローとしてグルーピングできる。直線上にあるかどうかを判定するには種々の方法があるが、例えば、RANSAC（RANdom SAmple Consensus）を用いることができる。RANSACは任意の２点を選んで、その２点を結ぶ直線の一定許容幅内にある点の数を数え、最も点数の多い直線を選択するアルゴリズムである。選択された直線の一定許容幅内にある点を１つのオプティカルフローのグループとする。
【００４５】
１つのグループに分類された点を除いて、さらにある誤差を許容して直線上にある点を選択することによって、別の移動物体に属するオプティカルフローをグルーピングできる。これを繰り返して、複数の移動物体を認識することができる。
【００４６】
オプティカルフロー処理部は、グルーピングしたオプティカルフローのデータをグルーピングデータ５５としてデータ保持部５に記憶する。移動物体判定部２６は、グルーピングデータ５５から移動物体を判定する。例えば、特徴点の配置から移動物体の大きさ、車種などを判定する。また、移動物体までの距離を算出することもできる。
【００４７】
オプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、次の式で移動物体までの距離を算出することができる。ここでの距離Ｚは、カメラから物体の特徴点までの距離の撮像方向への方向余弦である。撮像方向はカメラの光軸の向きであるが、画像を水平方向に正規化した場合は、水平方向（路面に平行）である。以下は、撮像方向を水平（路面に平行）とする。画像平面座標を（ｕ，ｖ）、世界座標を（Ｘ，Ｙ，Ｚ）、画像中心座標を（ｃu、ｃv）とする。Ｕ＝ｕ−ｃu、Ｖ＝ｖ−ｃvとおく。
【数９】
ここで、ｆはカメラ２の焦点距離、δｕ、δｖはそれぞれ横方向、縦方向の画素の物理的間隔、ｈは路面からのカメラ高さである。また、Ｒ＝［ｒij］は射影変換行列係数の回転行列、Ｔ＝［ｔk］Tは射影変換行列係数の平行移動ベクトルである。
【００４８】
表示処理部２７は、移動物体判定部２６で判定した結果を表示装置７に表示する。例えば、後方の接近車の位置の自車両との関係を平面図で示す。また、表示装置７の表示は、音声又はチャイムなどの音響を伴ってもよい。
【００４９】
図２は、移動物体認識装置１の物理的な構成の一例を示すブロック図である。図１に示す本発明の移動物体認識装置１は、ハードウェアとしては図２に示すように、制御部１１、主記憶部１２、外部記憶部１３、操作部１４、画面表示部１５、送受信部１６、カメラ２、距離計測器３及び表示装置７から構成される。制御部１１、主記憶部１２、外部記憶部１３、操作部１４、画面表示部１５及び送受信部１６はいずれも内部バス１０を介して制御部１１に接続されている。
【００５０】
制御部１１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部１３に記憶されているプログラムに従って、画像入力部２１、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、グルーピング処理部２５、移動物体判定部２６及び表示処理部２７の処理を実行する。画像入力部２１、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、グルーピング処理部２５、移動物体判定部２６及び表示処理部２７は、制御部１１とその上で実行されるプログラムで実現される。
【００５１】
主記憶部１２はＲＡＭ（Random-Access Memory）等から構成され、制御部１１の作業領域として用いられる。データ保持部５は、主記憶部１２の一部に記憶領域の構造体として記憶保持される。
【００５２】
外部記憶部１３は、フラッシュメモリ、ハードディスク、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部１１に行わせるためのプログラムを予め記憶し、また、制御部１１の指示に従って、このプログラムのデータを制御部１１に供給し、制御部１１から供給されたデータを記憶する。例えば、時系列画像データは、外部記憶部１３に格納されている場合がある。
【００５３】
操作部１４は、オペレータが移動体認識装置１に指令を与えるために、キースイッチ、ジョグダイヤル、キーボード及びマウスなどのポインティングデバイス等と、それらを内部バス１０に接続するインターフェース装置を備える。操作部１４を介して、移動物体認識判定条件の入力、移動物体認識の開始などの指令が入力され、制御部１１に供給される。
【００５４】
表示装置７は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、操作部１４から入力された指令に応じた制御部１１の命令によって、収集時系列画像データ５１、補正時系列画像データ５２、移動物体判定結果などを表示する。画面表示部１５は、表示装置７に表示する画面のデータを、表示装置７を駆動する信号に変換する。
【００５５】
表示装置７は、スピーカ又はブザーなどを備えてもよい。その場合、画面表示部１５は、音声又はチャイムなどの音響を表示装置７から出力させる。
【００５６】
カメラ２は、例えば、ＣＣＤなどでレンズの結像を電気信号に変換し、画素ごとにデジタル化した画像データを出力する。距離計測器３は、例えば、ミリ波レーダ、レーザ距離計、超音波距離計などであって、物体までの距離を電気信号として出力する。実施の形態１では、距離計測器３は用いない。後述する実施の形態２で物体までの距離を測定するのに用いる。
【００５７】
送受信部１６は、モデム又は網終端装置、及びそれらと接続するシリアルインタフェース又はＬＡＮ（Local Area Network）インタフェースから構成されている。制御部１１は、送受信部１６を介して、カメラ２又は距離計測器３から時系列データを入力する。
【００５８】
つぎに、移動物体認識装置１の動作について説明する。なお、上述のように、移動物体認識装置１の動作は、制御部１１が主記憶部１２、外部記憶部１３、操作部１４、画面表示部１５及び送受信部１６と協働して行う。
【００５９】
図１１は、移動物体認識の動作の一例を示すフローチャートである。制御部１１は送受信部１６を介してカメラ２から時系列の画像を入力する（ステップＡ１）。そして、前述のとおり、カメラ２のレンズ特性に応じて画像を補正する（ステップＡ２）。さらに、カメラ２のチルト角を補正して水平方向の画像に正規化してもよい。
【００６０】
制御部１１は、補正された画像の特徴点を、例えば前述のＫＬＴ特徴点抽出法で抽出する（ステップＡ３）。制御部１１は、抽出した特徴点を時系列の画像間で比較し、前述のテンプレートマッチングでオプティカルフローを生成する（ステップＡ４）。
【００６１】
次にオプティカルフローをグルーピングする（ステップＡ５）。前述のとおり、図９のようにプロットした点のうち、ある誤差を許容して直線上にある点を同一の移動物体に属するオプティカルフローとしてグルーピングする。直線上にあるかどうかを判定するには、例えば、RANSACを用いる。そして、グルーピングされたオプティカルフローに属する特徴点のパターンから、移動物体を判定する（ステップＡ６）。さらに、オプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、数９に示した方法で移動物体までの距離を算出してもよい。
【００６２】
移動物体が認識された場合は（ステップＡ７；Ｙｅｓ）、制御部１１は、画面表示部１５を介して、表示装置７にその情報を表示する（ステップＡ８）。例えば、後方の接近車の位置を自車両との関係で平面図に示す。また、音声又はチャイムなどの音響で運転者に知らせてもよい。そして、時系列画像データ入力（ステップＡ１）にもどって、移動物体認識を繰り返す。移動物体が認識されない場合は（ステップＡ７；Ｎｏ）、表示を行わずに移動物体認識を繰り返す（ステップＡ１）。
【００６３】
本発明の移動物体認識装置１によれば、時系列の画像データから生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。その結果、移動物体を正確に認識することができる。また、カメラ２のレンズ特性に応じて画像を補正するので、例えば、広角レンズを使用する後方カメラなどであっても、補正された画像データから生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。
【００６４】
（実施の形態２）
次に、オプティカルフローにおける特徴点の座標を算出し、２つの画像間の変位が等しい特徴点を１つの移動物体に属する特徴点としてグルーピングする場合の移動物体認識装置１について説明する。図１２は、本発明の実施の形態２に係る移動物体認識装置１の論理的な構成の例を示すブロック図である。
【００６５】
移動物体認識装置１は、カメラ２、距離計測器３、データ取得部２８、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、等変位点抽出処理部２９、データ保持部５、移動物体判定部２６、表示処理部２７、表示装置７などから構成される。データ保持部５には、収集時系列画像データ５１、距離データ５６、補正時系列画像データ５２、特徴点データ５３、オプティカルフローデータ５４、グルーピングデータ５５が記憶保持される。
【００６６】
カメラ２、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、移動物体判定部２６、表示処理部２７、表示装置７は、実施の形態１と同様である。
【００６７】
距離計測器３は、例えば、ミリ波レーダ、レーザ距離計、超音波距離計などの物理的方法によって距離を測定する計測器であって、カメラ２で撮像する方向にある物体までの距離を計測する。データ取得部２８は、カメラ２から時系列の画像を入力して収集時系列画像データ５１とする。また、距離計測器３のデータを入力し、距離データ５６としてデータ保持部５に記憶する。
【００６８】
等変位点抽出処理部２９は、特徴点までの距離とその特徴点を含むオプティカルフローから、そのオプティカルフローにおける特徴点の変位を算出する。また、算出した変位が等しい特徴点を１つの移動物体に属する特徴点としてグルーピングする。そして、等変位点抽出処理部２９は、グルーピングしたオプティカルフローのデータをグルーピングデータ５５としてデータ保持部５に記憶する。
【００６９】
オプティカルフローの端点である特徴点までの距離Ｚから、以下の式で特徴点の世界座標（Ｘ，Ｙ）を算出することができる。ここでの距離Ｚは、カメラから物体の特徴点までの距離の撮像方向への方向余弦である。撮像方向はカメラの光軸の向きであるが、画像を水平方向に正規化した場合は、水平方向（路面に平行）である。以下は、撮像方向を水平（路面に平行）とする。特徴点の画像平面における座標を（ｕ，ｖ）、世界座標を（Ｘ，Ｙ，Ｚ）、画像中心座標を（ｃu、ｃv）とする。（Ｘnum，Ｙnum）はオプティカルフローの始点の世界座標である。始点の世界座標として、前回計算した値を用いることができる。
【数１０】
ここで、Ｓu、Ｓvはスケールファクタ、Ｒ＝［ｒij］は射影変換行列係数の回転行列、Ｔ＝［ｔk］Tは射影変換行列係数の平行移動ベクトルである。すなわち、θPan、θTilt、θRollをカメラ取り付け角度、ＴX、ＴY、ＴZをカメラ取り付け位置として、射影変換行列係数は次の式で表される。
【数１１】
【００７０】
端点のＺに関して、始点のＺ座標は前回計算した値、終点のＺ座標はオプティカルフローの最下点を路面と仮定して数９で計算した値とすることができる。すなわち、実施の形態１で計算した距離Ｚを用いることができる。その場合、距離計測器３は用いなくてもよい。
【００７１】
特徴点それぞれの距離Ｚを計測して、特徴点の世界座標を計算すれば、世界座標における変位（ベクトル）が等しい特徴点を１つの移動物体に属するものとして、グルーピングできる。近似的には、処理領域の特徴点までの距離Ｚを１つの値で代表して、距離Ｚ（撮像方向への方向余弦）が同じとみなして世界座標を計算してもよい。近似的には、例えば次のようにグルーピングする。
【００７２】
算出した端点を始点から終点へのベクトルとして、（Ｘ，Ｙ）座標を平面にプロットすると、図１０のようになる。このベクトルの方向と長さが同様のもの、すなわち、変位が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属する特徴点としてグルーピングする。グルーピングされたオプティカルフローから移動物体を判定し、表示処理することは、実施の形態１と同様である。
【００７３】
次に、オプティカルフローにおける特徴点の座標を算出し、２つの画像間の変位が等しい特徴点を１つの移動物体に属する特徴点としてグルーピングする場合の移動物体認識装置１の動作について説明する。実施の形態２における移動物体認識装置１の物理的な構成は、例えば図２で示される。図１３は、実施の形態２の移動物体認識の動作の一例を示すフローチャートである。
【００７４】
制御部１１は送受信部１６を介してカメラ２から時系列の画像を入力する（ステップＢ１）。また、距離計測器３から距離データ５６を入力する（ステップＢ２）。距離Ｚをオプティカルフローの最下点を路面と仮定して数９で計算した値とする場合は、前回の値を用いる。前述のとおり、カメラ２のレンズ特性に応じて画像を補正する（ステップＢ３）。さらに、カメラ２のチルト角を補正して水平方向の画像に正規化してもよい。
【００７５】
制御部１１は、補正された画像の特徴点を、例えば前述のＫＬＴ特徴点抽出法で抽出する（ステップＢ４）。制御部１１は、抽出した特徴点を時系列の画像間で比較し、前述のテンプレートマッチングでオプティカルフローを生成する（ステップＢ５）。
【００７６】
次に、オプティカルフローと距離Ｚから特徴点の世界座標を計算する（ステップＢ６）。距離Ｚをオプティカルフローの最下点を路面と仮定して数９で計算した値とする場合は、前回の最下点だった特徴点のオプティカルフローから距離Ｚを計算する。そして、等変位点をグルーピングする（ステップＢ７）。前述のとおり、図１０のようにプロットしたベクトルのうち、ある誤差を許容して同じ方向と大きさのベクトルを同一の移動物体に属するオプティカルフローとしてグルーピングする。
【００７７】
グルーピングされたオプティカルフローに属する特徴点のパターンから、移動物体を判定する（ステップＢ８）。さらに、オプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、数９に示した方法で移動物体までの距離を算出してもよい。
【００７８】
移動物体が認識された場合は（ステップＢ９；Ｙｅｓ）、制御部１１は、画面表示部１５を介して、表示装置７にその情報を表示する（ステップＢ１０）。例えば、後方の接近車の位置を自車両との関係で平面図に示す。また、音声又はチャイムなどの音響で運転者にしらせてもよい。そして、時系列画像データ入力（ステップＢ１）にもどって、移動物体認識を繰り返す。移動物体が認識されない場合は（ステップＢ９；Ｎｏ）、表示を行わずに移動物体認識を繰り返す（ステップＢ１）。
【００７９】
本発明の移動物体認識装置１によれば、時系列の画像データから生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。その結果、移動物体を正確に認識することができる。また、カメラ２のレンズ特性に応じて画像を補正するので、例えば、広角レンズを使用する後方カメラなどであっても、補正された画像データから生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。
【００８０】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更及び修正が可能である。
【００８１】
制御部１１、主記憶部１２、外部記憶部１３、操作部１４、画面表示部１５、送受信部１６及び内部バス１０などから構成される移動物体認識装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、CD-ROM、DVD-ROM等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する移動物体認識装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで移動物体認識装置１を構成してもよい。
【００８２】
また、移動物体認識装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００８３】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施の形態である移動物体認識装置の論理的な構成を示すブロック図である。
【図２】移動物体認識装置の物理的な構成の一例を示すブロック図である。
【図３】オプティカルフローを説明する図である。
【図４】車両のカメラ取り付け位置の例を示す図である。
【図５】広角レンズの後方モニタカメラで撮像した画像の例である。
【図６】図５の歪みを補正した画像の例である。
【図７】図６の画像を正規化した画像を示す図である。
【図８】オプティカルフローの例を示す図である。
【図９】オプティカルフローと消失点の外分比を変形した直線の式のｘ成分（ａ）とｙ成分（ｂ）をプロットしたグラフである。
【図１０】オプティカルフローの世界座標をＸＹ平面に投影した図である。
【図１１】移動物体認識の動作の一例を示すフローチャートである。
【図１２】実施の形態２に係る移動物体認識装置の論理的な構成の例を示すブロック図である。
【図１３】実施の形態２の移動物体認識の動作の一例を示すフローチャートである。
【符号の説明】
【００８５】
１ 移動物体認識装置
２ カメラ（撮像手段）
３ 距離計測器（距離検知手段）
５ データ保持部
７ 表示装置
１０ 内部バス
１１ 制御部（特徴点抽出手段、オプティカルフロー生成手段、グルーピング手段、変位算出手段、等変位点選択手段、画像補正手段）
１２ 主記憶部
１３ 外部記憶部
１４ 操作部
１５ 画面表示部
１６ 送受信部
２１ 画像入力部
２２ 画像補正部（画像補正手段）
２３ 特徴点抽出部（特徴点抽出手段）
２４ オプティカルフロー生成部（オプティカルフロー生成手段）
２５ グルーピング処理部（グルーピング手段）
２６ 移動物体判定部
２７ 表示処理部
２８ データ取得部
２９ 等変位点抽出処理部（変位算出手段、等変位点選択手段）
５１ 収集時系列画像データ
５２ 補正時系列画像データ
５３ 特徴点データ
５４ オプティカルフローデータ
５５ グルーピングデータ
５６ 距離データ
【技術分野】
【０００１】
本発明は、画像を用いて移動物体を認識する移動物体認識装置、移動物体認識方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、車両をより安全に運転できるように運転者に他車の接近を知らせる目的で、車両に接近してくる移動物体、とりわけ進行方向の後方から接近する車両等を検知する技術が提案されている。
【０００３】
例えば、特許文献１の技術は、撮像画像から導出されたオプティカルフローと、車速センサによる自車の走行速度に対応したオプティカルフローとの一致、不一致に基づいて、斜め後方の走行車を検出するものである。
【０００４】
特許文献２は、暗所を走行している場合においても他車両を認識するための技術が記載されている。特許文献２の技術は、自車両の後側方を撮像した所定時間相前後する２画像中における同一点について、当該点の無限遠点から発散する方向の移動をオプティカルフローとして検出する。そして、自車両の走行方向情報及び走行距離情報に基づいて算出した移動量により、オプティカルフローの無限遠点の位置を変更する。
【０００５】
特許文献３は、自車が直進走行していない状況においても得られたオプティカルフローから車両周囲の移動物体を認識する技術が記載されている。特許文献３の技術は、時系列の画像から算出されたオプティカルフローを、変化が連続的な複数群に分類する。一方、車速センサ及びヨーレートセンサから推定した自車の運動方向に基づいてオプティカルフローを補正する。そして、補正されたオプティカルフロー群から移動物体を抽出し、相対速度を演算する。
【特許文献１】特開平６−１３００７６号公報
【特許文献２】特開平９−８６３１４号公報
【特許文献３】特開平６−２８２６５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術は画像を使って後側方からの接近車を認識するものであるが、これらは、２枚の時系列画像からオプティカルフローを抽出し、オプティカルフローから接近車両を検出する技術を基本としている。
【０００７】
特許文献１の技術では、オプティカルフローと自車速の差から移動体を検出している。画像面上では自車速は背景のオプティカルフローに対応している。背景とは異なるオプティカルフローを移動体と認識できるが、オプティカルフローをグルーピングしないので、移動体ごとの対応が取れない。
【０００８】
特許文献２は、無限遠点からのオプティカルフローの方向から移動体を検出しているが、これも見かけ上(画像面上)のフローをグルーピングすることはできない。
【０００９】
特許文献３は、変化が連続的なオプティカルフローを複数群に分けているが、変化の連続性だけでは画像上の位置で幾何学的な大きさが異なる為、グルーピングができない場合がある。特に広角レンズを使用する場合、同一移動物体のオプティカルフローであっても接近時に広がりが大きいため、方向や大きさが変わってしまいグルーピングが難しく、間違えてしまう場合があった。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、画像から移動物体を正確に検出できる移動物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の第１の観点に係る移動物体認識装置は、時系列の画像を撮像する撮像手段と、前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、を備えることを特徴とする。
【００１２】
好ましくは、前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする。
【００１３】
さらに、前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段を備えてもよい。
【００１４】
本発明の第２の観点に係る移動物体認識装置は、時系列の画像を撮像する撮像手段と、前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、前記撮像手段から、前記特徴点抽出手段で抽出した少なくとも１つの特徴点までの距離を検知する距離検知手段と、前記距離検知手段で検知した特徴点までの距離と前記特徴点を含むオプティカルフローから、前記オプティカルフローにおける特徴点の変位を算出する変位算出手段と、前記変位算出手段で算出された変位が等しい特徴点を１つの移動物体に属する特徴点として選択する等変位点選択手段と、を備えることを特徴とする。
【００１５】
好ましくは、前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする。
【００１６】
さらに、前記距離検知手段は、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段と、を備え、前記距離算出手段で算出した距離を特徴点までの距離としてもよい。
【００１７】
なお、前記距離検知手段は、光、電磁波もしくは音波などを用いる物理的手段によって前記移動物体までの距離を計測する構成としてもよい。
【００１８】
本発明の第３の観点に係る移動物体認識方法は、時系列の画像を入力する撮像ステップと、前記撮像ステップで入力した前記時系列の各画像の特徴点を抽出する特徴点抽出ステップと、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成ステップと、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを選択するグルーピングステップと、を備えることを特徴とする。
【００１９】
好ましくは、前記撮像ステップで入力した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正ステップを備え、前記特徴点抽出ステップは、前記画像補正ステップで補正された画像の特徴点を抽出することを特徴とする。
【００２０】
本発明の第４の観点に係るコンピュータプログラムは、コンピュータを、時系列の画像を撮像手段から入力する画像入力手段と、画像入力手段で入力した時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、画像上で位置が変化した同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段、として機能させることを特徴とする。
【発明の効果】
【００２１】
本発明の移動物体認識装置によれば、時系列の画像から抽出した特徴点のオプティカルフローを、移動物体毎に正しくグルーピングして移動物体を検出できる。
【発明を実施するための最良の形態】
【００２２】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。本発明に係る移動物体認識装置の一実施の形態として、車両の移動物体認識装置について、図を参照して説明する。
【００２３】
（実施の形態１）
図１は、本発明の一実施の形態である移動物体認識装置の論理的な構成を示すブロック図である。移動物体認識装置１は、カメラ２、画像入力部２１、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、グルーピング処理部２５、データ保持部５、移動物体判定部２６、表示処理部２７、表示装置７などから構成される。データ保持部５には、収集時系列画像データ５１、補正時系列画像データ５２、特徴点データ５３、オプティカルフローデータ５４、グルーピングデータ５５が記憶保持される。移動物体認識装置１は、車両の周囲に移動物体があるかどうか、また、どのような移動物体であるかを認識する。特に、車両進行方向の後方から接近する車両等を検出する。
【００２４】
ここで、オプティカルフローとそのグルーピング手法について説明する。図３は、オプティカルフローを説明する図である。図３では、移動物体として車両がカメラ２の方に近づいてくる場合を模式的に示す。現在の画像Π１における特徴点をｘ1i（ｉ＝１．．．ｎ）とする。過去の画像Π２におけるｘ1iに対応する特徴点をｘ2iとする。現在の画像Π１に過去の画像Π２の特徴点ｘ2iを重ねて表したときに、ｘ2iからｘ1iに向かうベクトルをオプティカルフローという。
【００２５】
画像が透視図である場合は、カメラ２に固定された座標（カメラ座標）に対して平行に（カメラ座標で直進）運動する物体の特徴点のオプティカルフローを延長すると、画像上で１点で交わる（図３）。カメラ座標に対して各特徴点は平行な直線を描くので、これを透視図法で見れば平行線は１点で交わるからである。この点を消失点（ＦＯＥ：Focus Of Expansion）という。異なる移動物体が互いに平行に移動していなければ、それらのオプティカルフローは異なる消失点で交わる。
【００２６】
カメラ座標に対して平行に移動している１つの物体のオプティカルフローは、画像が透視図の場合は次の関係が成り立つ。
【数１】
ここで、ｘ1iは現在の画像Π１の特徴点の画像上の座標、ｘ2iは過去の画像Π２の特徴点の画像上の座標、ｘfoeは消失点の画像上の座標、Ｃは定数である。
【００２７】
すなわち、オプティカルフローの一方の端点である現在の画像の特徴点ｘ1iを外分点とする、オプティカルフローの過去の画像の特徴点ｘ2i（他方の端点）と消失点ｘfoeとを結ぶ線分の外分比が、１つの平行移動する物体では一定である。したがって、１点の消失点で交わり、かつ、上記の外分比が等しいオプティカルフローを１つの物体のオプティカルフローとしてグルーピングできる。外分比としては上記のほかに、例えば、消失点を外分点として、オプティカルフローの外分比をとっても１つの平行移動物体では一定である。
【００２８】
図１に戻って、移動物体認識装置１の各部の作用を説明する。カメラ２は画像を撮像しデジタル画像データに変換する。画像入力部２１は、一定時間間隔でカメラ２から時系列の画像データを入力し、データ保持部５に収集時系列画像データ５１として記憶する。
【００２９】
移動物体を撮像するカメラ２として、例えば図４に示すような車両４の後方モニター用のカメラ２を利用することができる。後方モニター用のカメラ２を用いることによって、新たにカメラ２を設ける必要がなく、低コストで移動物体認識装置１を構成できる。
【００３０】
駐車支援の後方モニターカメラは広角レンズであるので、画像の周辺が歪んでおり、遠方の分解能が低い。また取り付け位置が低い。これらの条件は、実世界座標として画像を処理するのに都合が悪く、接近する移動物体を認識するのを難しくしている。
【００３１】
そこで、撮像した画像の歪みを補正する。図１の画像補正部２２は、撮像した画像をレンズの特性に応じて歪みを補正し、透視図の画像に変換する。補正した画像を補正時系列画像データとしてデータ保持部５に記憶する。
【００３２】
透視図の画像の座標（ｘ，ｙ）とそれに対応する補正前画像の座標（ｘ’，ｙ’）は次の式の関係がある。
【数２】
ここで、（ｘ0，ｙ0）は補正画像の歪み中心座標、（ｘ'0、ｙ'0）は補正前の画像の歪み中心座標である。fn(r)はカメラレンズ歪み特性関数である。
【００３３】
さらに、カメラ２の向きを水平にした場合の画像に変換してもよい。カメラ２の向きを変える場合の変換は、変換前の座標を（ｘ'，ｙ'）、変換後の座標を（ｘ'，ｙ'）として、次の式で表される。
【数３】
ここで、βはカメラ２のチルト角、ｚはスケール因子、ｅ0は画像変換前の消失点と画像中心の距離、Ｈ＝［ｈij］は画像変換行列をそれぞれ表す。
【００３４】
図５は、広角レンズの後方モニタカメラで撮像した画像の例である。図６は、図５の歪みを補正した画像の例である。図５では、路面の白線が湾曲しているが、図６の補正画像では直線道路の白線が補正されて直線になっている。図７は図６の画像を正規化した画像を示す。これは、さらにカメラ２の向きを水平にして撮像した画像に変換したものである。図６では、鉛直線が下方の１点に収束するが、図７ではカメラ２の向きを水平に補正しているので、鉛直線が平行になっている。
【００３５】
次に補正された時系列の画像データから、画像間の比較を行うための特徴点を抽出する。特徴点抽出部２３は、補正時系列画像データ５２から特徴点を抽出し、特徴点データ５３としてデータ保持部５に記憶する。オプティカルフロー生成部２４は、特徴点を画像間で比較してパターンの相関の高い特徴点を結ぶベクトルをオプティカルフローとして生成する。オプティカルフロー生成部２４は、生成したオプティカルフローをオプティカルフローデータ５４としてデータ保持部５に記憶する。特徴点抽出とオプティカルフロー生成の方法を次に説明する。
【００３６】
背景差分によって得られた探索領域に対して、接近物体を検出するため、動きベクトルを算出する。動きベクトルの算出方法には各種考えられるが、比較的環境の変化に強いテンプレートマッチングを採用することができる。テンプレートマッチングには追跡しやすい画像ブロックを選択することが重要である。例えば、ＫＬＴ特徴点計算法を用いることができる。
【００３７】
輝度勾配∇Ｉ＝［Ｉx，Ｉy］Tのモーメント行列を、
【数４】
とおく。ここで、
【数５】
である。ＫＬＴ特徴量をλ2／λ1（行列Ｍ（ｘ，ｙ）の条件数＝固有値の比）、もしくはｍｉｎ（λ2，λ1）として、ＫＬＴ特徴点計算法は次の計算式で表される。
【数６】
【００３８】
得られた特徴点の周りにテンプレートを設定し、時系列の後の画像からテンプレートと相関の高い領域を探索する。その移動ベクトルが動きベクトル（オプティカルフロー）として得られる。テンプレートマッチングの手法として、正規化相関法（ＮＣＣ）を採用できる。正規化相関法の類似度ＲNCCは次の式によって求められる。
【数７】
ここで、IはＮ行×Ｍ列の領域の輝度値ベクトル、ＴはＮ行×Ｍ列のテンプレート領域の輝度値ベクトルである。変数の上のバーはそれぞれの領域内の平均値を表す。
【００３９】
領域の全探索を行うと計算量が大きいので、状況に応じて物体の移動制約量を想定し、その制約された領域のみを探索して計算量を低減する。例えば、接近方向以外は探索しない。または、過去の移動量から物理的に可能性が低い領域は探索しない、等である。さらに、カメラ２に近い物体は画像上で移動量が大きいので階層化処理を行い、上位階層でのマッチングで探索領域を絞った上で詳細探索することによって、計算量を低減できる。
【００４０】
図８は、オプティカルフローの例を示す。白抜きの四角が前回フレームの特徴点、白抜きの丸がそれと相関値の高い最新フレームの点を表す。１つの移動物体のオプティカルフローであっても、例えば、フロントグリルのオプティカルフローと後輪のオプティカルフローでは、方向と長さが異なり、１つの移動物体のオプティカルフローとしてグルーピングするのは難しい。
【００４１】
そこで、前述のとおり、１点の消失点で交わり、かつ、数１の外分比が等しいオプティカルフローを１つの物体のオプティカルフローとしてグルーピングする。グルーピング処理部２５は、例えば、次のようにオプティカルフローをグルーピングする。
【００４２】
数１は２つのパラメータ（消失点と外分比定数）があり、各オプティカルフローに対して、パラメータが同様の値であることがグルーピングの条件である。そこで、数１を２つの変数に対する直線の式に変形する。
【数８】
ここで、ｄｘi＝ｘ1i−ｘ2i、C1＝C・ｘfoe である。
【００４３】
各オプティカルフローに対して、ｄｘiとｘ1iをｘ座標とｙ座標それぞれについて平面にプロットすると、図９のようになる。図９（ａ）は、ｘ1iのｘ座標に対するｄｘiのｘ成分を示す。図９（ｂ）は、ｘ1iのｙ座標に対するｄｘiのｙ成分を示す。
【００４４】
図９のようにプロットした点のうち、ある誤差を許容して直線上にある点を同一の移動物体に属するオプティカルフローとしてグルーピングできる。直線上にあるかどうかを判定するには種々の方法があるが、例えば、RANSAC（RANdom SAmple Consensus）を用いることができる。RANSACは任意の２点を選んで、その２点を結ぶ直線の一定許容幅内にある点の数を数え、最も点数の多い直線を選択するアルゴリズムである。選択された直線の一定許容幅内にある点を１つのオプティカルフローのグループとする。
【００４５】
１つのグループに分類された点を除いて、さらにある誤差を許容して直線上にある点を選択することによって、別の移動物体に属するオプティカルフローをグルーピングできる。これを繰り返して、複数の移動物体を認識することができる。
【００４６】
オプティカルフロー処理部は、グルーピングしたオプティカルフローのデータをグルーピングデータ５５としてデータ保持部５に記憶する。移動物体判定部２６は、グルーピングデータ５５から移動物体を判定する。例えば、特徴点の配置から移動物体の大きさ、車種などを判定する。また、移動物体までの距離を算出することもできる。
【００４７】
オプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、次の式で移動物体までの距離を算出することができる。ここでの距離Ｚは、カメラから物体の特徴点までの距離の撮像方向への方向余弦である。撮像方向はカメラの光軸の向きであるが、画像を水平方向に正規化した場合は、水平方向（路面に平行）である。以下は、撮像方向を水平（路面に平行）とする。画像平面座標を（ｕ，ｖ）、世界座標を（Ｘ，Ｙ，Ｚ）、画像中心座標を（ｃu、ｃv）とする。Ｕ＝ｕ−ｃu、Ｖ＝ｖ−ｃvとおく。
【数９】
ここで、ｆはカメラ２の焦点距離、δｕ、δｖはそれぞれ横方向、縦方向の画素の物理的間隔、ｈは路面からのカメラ高さである。また、Ｒ＝［ｒij］は射影変換行列係数の回転行列、Ｔ＝［ｔk］Tは射影変換行列係数の平行移動ベクトルである。
【００４８】
表示処理部２７は、移動物体判定部２６で判定した結果を表示装置７に表示する。例えば、後方の接近車の位置の自車両との関係を平面図で示す。また、表示装置７の表示は、音声又はチャイムなどの音響を伴ってもよい。
【００４９】
図２は、移動物体認識装置１の物理的な構成の一例を示すブロック図である。図１に示す本発明の移動物体認識装置１は、ハードウェアとしては図２に示すように、制御部１１、主記憶部１２、外部記憶部１３、操作部１４、画面表示部１５、送受信部１６、カメラ２、距離計測器３及び表示装置７から構成される。制御部１１、主記憶部１２、外部記憶部１３、操作部１４、画面表示部１５及び送受信部１６はいずれも内部バス１０を介して制御部１１に接続されている。
【００５０】
制御部１１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部１３に記憶されているプログラムに従って、画像入力部２１、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、グルーピング処理部２５、移動物体判定部２６及び表示処理部２７の処理を実行する。画像入力部２１、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、グルーピング処理部２５、移動物体判定部２６及び表示処理部２７は、制御部１１とその上で実行されるプログラムで実現される。
【００５１】
主記憶部１２はＲＡＭ（Random-Access Memory）等から構成され、制御部１１の作業領域として用いられる。データ保持部５は、主記憶部１２の一部に記憶領域の構造体として記憶保持される。
【００５２】
外部記憶部１３は、フラッシュメモリ、ハードディスク、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部１１に行わせるためのプログラムを予め記憶し、また、制御部１１の指示に従って、このプログラムのデータを制御部１１に供給し、制御部１１から供給されたデータを記憶する。例えば、時系列画像データは、外部記憶部１３に格納されている場合がある。
【００５３】
操作部１４は、オペレータが移動体認識装置１に指令を与えるために、キースイッチ、ジョグダイヤル、キーボード及びマウスなどのポインティングデバイス等と、それらを内部バス１０に接続するインターフェース装置を備える。操作部１４を介して、移動物体認識判定条件の入力、移動物体認識の開始などの指令が入力され、制御部１１に供給される。
【００５４】
表示装置７は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、操作部１４から入力された指令に応じた制御部１１の命令によって、収集時系列画像データ５１、補正時系列画像データ５２、移動物体判定結果などを表示する。画面表示部１５は、表示装置７に表示する画面のデータを、表示装置７を駆動する信号に変換する。
【００５５】
表示装置７は、スピーカ又はブザーなどを備えてもよい。その場合、画面表示部１５は、音声又はチャイムなどの音響を表示装置７から出力させる。
【００５６】
カメラ２は、例えば、ＣＣＤなどでレンズの結像を電気信号に変換し、画素ごとにデジタル化した画像データを出力する。距離計測器３は、例えば、ミリ波レーダ、レーザ距離計、超音波距離計などであって、物体までの距離を電気信号として出力する。実施の形態１では、距離計測器３は用いない。後述する実施の形態２で物体までの距離を測定するのに用いる。
【００５７】
送受信部１６は、モデム又は網終端装置、及びそれらと接続するシリアルインタフェース又はＬＡＮ（Local Area Network）インタフェースから構成されている。制御部１１は、送受信部１６を介して、カメラ２又は距離計測器３から時系列データを入力する。
【００５８】
つぎに、移動物体認識装置１の動作について説明する。なお、上述のように、移動物体認識装置１の動作は、制御部１１が主記憶部１２、外部記憶部１３、操作部１４、画面表示部１５及び送受信部１６と協働して行う。
【００５９】
図１１は、移動物体認識の動作の一例を示すフローチャートである。制御部１１は送受信部１６を介してカメラ２から時系列の画像を入力する（ステップＡ１）。そして、前述のとおり、カメラ２のレンズ特性に応じて画像を補正する（ステップＡ２）。さらに、カメラ２のチルト角を補正して水平方向の画像に正規化してもよい。
【００６０】
制御部１１は、補正された画像の特徴点を、例えば前述のＫＬＴ特徴点抽出法で抽出する（ステップＡ３）。制御部１１は、抽出した特徴点を時系列の画像間で比較し、前述のテンプレートマッチングでオプティカルフローを生成する（ステップＡ４）。
【００６１】
次にオプティカルフローをグルーピングする（ステップＡ５）。前述のとおり、図９のようにプロットした点のうち、ある誤差を許容して直線上にある点を同一の移動物体に属するオプティカルフローとしてグルーピングする。直線上にあるかどうかを判定するには、例えば、RANSACを用いる。そして、グルーピングされたオプティカルフローに属する特徴点のパターンから、移動物体を判定する（ステップＡ６）。さらに、オプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、数９に示した方法で移動物体までの距離を算出してもよい。
【００６２】
移動物体が認識された場合は（ステップＡ７；Ｙｅｓ）、制御部１１は、画面表示部１５を介して、表示装置７にその情報を表示する（ステップＡ８）。例えば、後方の接近車の位置を自車両との関係で平面図に示す。また、音声又はチャイムなどの音響で運転者に知らせてもよい。そして、時系列画像データ入力（ステップＡ１）にもどって、移動物体認識を繰り返す。移動物体が認識されない場合は（ステップＡ７；Ｎｏ）、表示を行わずに移動物体認識を繰り返す（ステップＡ１）。
【００６３】
本発明の移動物体認識装置１によれば、時系列の画像データから生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。その結果、移動物体を正確に認識することができる。また、カメラ２のレンズ特性に応じて画像を補正するので、例えば、広角レンズを使用する後方カメラなどであっても、補正された画像データから生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。
【００６４】
（実施の形態２）
次に、オプティカルフローにおける特徴点の座標を算出し、２つの画像間の変位が等しい特徴点を１つの移動物体に属する特徴点としてグルーピングする場合の移動物体認識装置１について説明する。図１２は、本発明の実施の形態２に係る移動物体認識装置１の論理的な構成の例を示すブロック図である。
【００６５】
移動物体認識装置１は、カメラ２、距離計測器３、データ取得部２８、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、等変位点抽出処理部２９、データ保持部５、移動物体判定部２６、表示処理部２７、表示装置７などから構成される。データ保持部５には、収集時系列画像データ５１、距離データ５６、補正時系列画像データ５２、特徴点データ５３、オプティカルフローデータ５４、グルーピングデータ５５が記憶保持される。
【００６６】
カメラ２、画像補正部２２、特徴点抽出部２３、オプティカルフロー生成部２４、移動物体判定部２６、表示処理部２７、表示装置７は、実施の形態１と同様である。
【００６７】
距離計測器３は、例えば、ミリ波レーダ、レーザ距離計、超音波距離計などの物理的方法によって距離を測定する計測器であって、カメラ２で撮像する方向にある物体までの距離を計測する。データ取得部２８は、カメラ２から時系列の画像を入力して収集時系列画像データ５１とする。また、距離計測器３のデータを入力し、距離データ５６としてデータ保持部５に記憶する。
【００６８】
等変位点抽出処理部２９は、特徴点までの距離とその特徴点を含むオプティカルフローから、そのオプティカルフローにおける特徴点の変位を算出する。また、算出した変位が等しい特徴点を１つの移動物体に属する特徴点としてグルーピングする。そして、等変位点抽出処理部２９は、グルーピングしたオプティカルフローのデータをグルーピングデータ５５としてデータ保持部５に記憶する。
【００６９】
オプティカルフローの端点である特徴点までの距離Ｚから、以下の式で特徴点の世界座標（Ｘ，Ｙ）を算出することができる。ここでの距離Ｚは、カメラから物体の特徴点までの距離の撮像方向への方向余弦である。撮像方向はカメラの光軸の向きであるが、画像を水平方向に正規化した場合は、水平方向（路面に平行）である。以下は、撮像方向を水平（路面に平行）とする。特徴点の画像平面における座標を（ｕ，ｖ）、世界座標を（Ｘ，Ｙ，Ｚ）、画像中心座標を（ｃu、ｃv）とする。（Ｘnum，Ｙnum）はオプティカルフローの始点の世界座標である。始点の世界座標として、前回計算した値を用いることができる。
【数１０】
ここで、Ｓu、Ｓvはスケールファクタ、Ｒ＝［ｒij］は射影変換行列係数の回転行列、Ｔ＝［ｔk］Tは射影変換行列係数の平行移動ベクトルである。すなわち、θPan、θTilt、θRollをカメラ取り付け角度、ＴX、ＴY、ＴZをカメラ取り付け位置として、射影変換行列係数は次の式で表される。
【数１１】
【００７０】
端点のＺに関して、始点のＺ座標は前回計算した値、終点のＺ座標はオプティカルフローの最下点を路面と仮定して数９で計算した値とすることができる。すなわち、実施の形態１で計算した距離Ｚを用いることができる。その場合、距離計測器３は用いなくてもよい。
【００７１】
特徴点それぞれの距離Ｚを計測して、特徴点の世界座標を計算すれば、世界座標における変位（ベクトル）が等しい特徴点を１つの移動物体に属するものとして、グルーピングできる。近似的には、処理領域の特徴点までの距離Ｚを１つの値で代表して、距離Ｚ（撮像方向への方向余弦）が同じとみなして世界座標を計算してもよい。近似的には、例えば次のようにグルーピングする。
【００７２】
算出した端点を始点から終点へのベクトルとして、（Ｘ，Ｙ）座標を平面にプロットすると、図１０のようになる。このベクトルの方向と長さが同様のもの、すなわち、変位が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属する特徴点としてグルーピングする。グルーピングされたオプティカルフローから移動物体を判定し、表示処理することは、実施の形態１と同様である。
【００７３】
次に、オプティカルフローにおける特徴点の座標を算出し、２つの画像間の変位が等しい特徴点を１つの移動物体に属する特徴点としてグルーピングする場合の移動物体認識装置１の動作について説明する。実施の形態２における移動物体認識装置１の物理的な構成は、例えば図２で示される。図１３は、実施の形態２の移動物体認識の動作の一例を示すフローチャートである。
【００７４】
制御部１１は送受信部１６を介してカメラ２から時系列の画像を入力する（ステップＢ１）。また、距離計測器３から距離データ５６を入力する（ステップＢ２）。距離Ｚをオプティカルフローの最下点を路面と仮定して数９で計算した値とする場合は、前回の値を用いる。前述のとおり、カメラ２のレンズ特性に応じて画像を補正する（ステップＢ３）。さらに、カメラ２のチルト角を補正して水平方向の画像に正規化してもよい。
【００７５】
制御部１１は、補正された画像の特徴点を、例えば前述のＫＬＴ特徴点抽出法で抽出する（ステップＢ４）。制御部１１は、抽出した特徴点を時系列の画像間で比較し、前述のテンプレートマッチングでオプティカルフローを生成する（ステップＢ５）。
【００７６】
次に、オプティカルフローと距離Ｚから特徴点の世界座標を計算する（ステップＢ６）。距離Ｚをオプティカルフローの最下点を路面と仮定して数９で計算した値とする場合は、前回の最下点だった特徴点のオプティカルフローから距離Ｚを計算する。そして、等変位点をグルーピングする（ステップＢ７）。前述のとおり、図１０のようにプロットしたベクトルのうち、ある誤差を許容して同じ方向と大きさのベクトルを同一の移動物体に属するオプティカルフローとしてグルーピングする。
【００７７】
グルーピングされたオプティカルフローに属する特徴点のパターンから、移動物体を判定する（ステップＢ８）。さらに、オプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、数９に示した方法で移動物体までの距離を算出してもよい。
【００７８】
移動物体が認識された場合は（ステップＢ９；Ｙｅｓ）、制御部１１は、画面表示部１５を介して、表示装置７にその情報を表示する（ステップＢ１０）。例えば、後方の接近車の位置を自車両との関係で平面図に示す。また、音声又はチャイムなどの音響で運転者にしらせてもよい。そして、時系列画像データ入力（ステップＢ１）にもどって、移動物体認識を繰り返す。移動物体が認識されない場合は（ステップＢ９；Ｎｏ）、表示を行わずに移動物体認識を繰り返す（ステップＢ１）。
【００７９】
本発明の移動物体認識装置１によれば、時系列の画像データから生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。その結果、移動物体を正確に認識することができる。また、カメラ２のレンズ特性に応じて画像を補正するので、例えば、広角レンズを使用する後方カメラなどであっても、補正された画像データから生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。
【００８０】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更及び修正が可能である。
【００８１】
制御部１１、主記憶部１２、外部記憶部１３、操作部１４、画面表示部１５、送受信部１６及び内部バス１０などから構成される移動物体認識装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、CD-ROM、DVD-ROM等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する移動物体認識装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで移動物体認識装置１を構成してもよい。
【００８２】
また、移動物体認識装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００８３】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施の形態である移動物体認識装置の論理的な構成を示すブロック図である。
【図２】移動物体認識装置の物理的な構成の一例を示すブロック図である。
【図３】オプティカルフローを説明する図である。
【図４】車両のカメラ取り付け位置の例を示す図である。
【図５】広角レンズの後方モニタカメラで撮像した画像の例である。
【図６】図５の歪みを補正した画像の例である。
【図７】図６の画像を正規化した画像を示す図である。
【図８】オプティカルフローの例を示す図である。
【図９】オプティカルフローと消失点の外分比を変形した直線の式のｘ成分（ａ）とｙ成分（ｂ）をプロットしたグラフである。
【図１０】オプティカルフローの世界座標をＸＹ平面に投影した図である。
【図１１】移動物体認識の動作の一例を示すフローチャートである。
【図１２】実施の形態２に係る移動物体認識装置の論理的な構成の例を示すブロック図である。
【図１３】実施の形態２の移動物体認識の動作の一例を示すフローチャートである。
【符号の説明】
【００８５】
１ 移動物体認識装置
２ カメラ（撮像手段）
３ 距離計測器（距離検知手段）
５ データ保持部
７ 表示装置
１０ 内部バス
１１ 制御部（特徴点抽出手段、オプティカルフロー生成手段、グルーピング手段、変位算出手段、等変位点選択手段、画像補正手段）
１２ 主記憶部
１３ 外部記憶部
１４ 操作部
１５ 画面表示部
１６ 送受信部
２１ 画像入力部
２２ 画像補正部（画像補正手段）
２３ 特徴点抽出部（特徴点抽出手段）
２４ オプティカルフロー生成部（オプティカルフロー生成手段）
２５ グルーピング処理部（グルーピング手段）
２６ 移動物体判定部
２７ 表示処理部
２８ データ取得部
２９ 等変位点抽出処理部（変位算出手段、等変位点選択手段）
５１ 収集時系列画像データ
５２ 補正時系列画像データ
５３ 特徴点データ
５４ オプティカルフローデータ
５５ グルーピングデータ
５６ 距離データ
【特許請求の範囲】
【請求項１】
時系列の画像を撮像する撮像手段と、
前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、
前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、
前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、
を備えることを特徴とする移動物体認識装置。
【請求項２】
前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、
前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする請求項１に記載の移動物体認識装置。
【請求項３】
前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段を備えることを特徴とする請求項１に記載の移動物体認識装置。
【請求項４】
時系列の画像を撮像する撮像手段と、
前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、
前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、
前記撮像手段から、前記特徴点抽出手段で抽出した少なくとも１つの特徴点までの距離を検知する距離検知手段と、
前記距離検知手段で検知した特徴点までの距離と前記特徴点を含むオプティカルフローから、前記オプティカルフローにおける特徴点の変位を算出する変位算出手段と、
前記変位算出手段で算出された変位が等しい特徴点を１つの移動物体に属する特徴点として選択する等変位点選択手段と、
を備えることを特徴とする移動物体認識装置。
【請求項５】
前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、
前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする請求項４に記載の移動物体認識装置。
【請求項６】
前記距離検知手段は、
前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、
前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段と、
を備え、前記距離算出手段で算出した距離を特徴点までの距離とすることを特徴とする請求項４に記載の移動物体認識装置。
【請求項７】
前記距離検知手段は、物理的手段によって前記移動物体までの距離を計測することを特徴とする請求項４に記載の移動物体認識装置。
【請求項８】
時系列の画像を入力する撮像ステップと、
前記撮像ステップで入力した前記時系列の各画像の特徴点を抽出する特徴点抽出ステップと、
前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成ステップと、
前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを選択するグルーピングステップと、
を備えることを特徴とする移動物体認識方法。
【請求項９】
前記撮像ステップで入力した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正ステップを備え、
前記特徴点抽出ステップは、前記画像補正ステップで補正された画像の特徴点を抽出することを特徴とする請求項８に記載の移動物体認識方法。
【請求項１０】
コンピュータを、
時系列の画像を撮像手段から入力する画像入力手段と、
画像入力手段で入力した時系列の各画像の複数の特徴点を抽出する特徴点抽出手段と、
前記時系列の画像の特徴点を異なる画像間で比較して、画像上で位置が変化した同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、
前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段、
として機能させることを特徴とするコンピュータプログラム。
【請求項１】
時系列の画像を撮像する撮像手段と、
前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、
前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、
前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、
を備えることを特徴とする移動物体認識装置。
【請求項２】
前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、
前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする請求項１に記載の移動物体認識装置。
【請求項３】
前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段を備えることを特徴とする請求項１に記載の移動物体認識装置。
【請求項４】
時系列の画像を撮像する撮像手段と、
前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、
前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、
前記撮像手段から、前記特徴点抽出手段で抽出した少なくとも１つの特徴点までの距離を検知する距離検知手段と、
前記距離検知手段で検知した特徴点までの距離と前記特徴点を含むオプティカルフローから、前記オプティカルフローにおける特徴点の変位を算出する変位算出手段と、
前記変位算出手段で算出された変位が等しい特徴点を１つの移動物体に属する特徴点として選択する等変位点選択手段と、
を備えることを特徴とする移動物体認識装置。
【請求項５】
前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、
前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする請求項４に記載の移動物体認識装置。
【請求項６】
前記距離検知手段は、
前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、
前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段と、
を備え、前記距離算出手段で算出した距離を特徴点までの距離とすることを特徴とする請求項４に記載の移動物体認識装置。
【請求項７】
前記距離検知手段は、物理的手段によって前記移動物体までの距離を計測することを特徴とする請求項４に記載の移動物体認識装置。
【請求項８】
時系列の画像を入力する撮像ステップと、
前記撮像ステップで入力した前記時系列の各画像の特徴点を抽出する特徴点抽出ステップと、
前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成ステップと、
前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを選択するグルーピングステップと、
を備えることを特徴とする移動物体認識方法。
【請求項９】
前記撮像ステップで入力した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正ステップを備え、
前記特徴点抽出ステップは、前記画像補正ステップで補正された画像の特徴点を抽出することを特徴とする請求項８に記載の移動物体認識方法。
【請求項１０】
コンピュータを、
時系列の画像を撮像手段から入力する画像入力手段と、
画像入力手段で入力した時系列の各画像の複数の特徴点を抽出する特徴点抽出手段と、
前記時系列の画像の特徴点を異なる画像間で比較して、画像上で位置が変化した同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、
前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で１点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、１つの移動物体に属するオプティカルフローとして選択するグルーピング手段、
として機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−９７１２６（Ｐ２００８−９７１２６Ａ）
【公開日】平成２０年４月２４日（２００８．４．２４）
【国際特許分類】
【出願番号】特願２００６−２７５３８７（Ｐ２００６−２７５３８７）
【出願日】平成１８年１０月６日（２００６．１０．６）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２０年４月２４日（２００８．４．２４）
【国際特許分類】
【出願日】平成１８年１０月６日（２００６．１０．６）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]