解析装置
【課題】処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行う。
【解決手段】３Ｄ動きベクトル算出部２６は、変化量算出部２５により算出された３次元位置の変化量と、傾斜情報算出部２２により算出された傾斜情報と、２Ｄ動きベクトル算出部２４により算出された２次元動きベクトルとに基づいて、各計測点を基準としたときの各計測点に対応する移動点の３次元位置の変化量を推定し、推定した変化量を各計測点の３次元動きベクトルとして算出する。
【解決手段】３Ｄ動きベクトル算出部２６は、変化量算出部２５により算出された３次元位置の変化量と、傾斜情報算出部２２により算出された傾斜情報と、２Ｄ動きベクトル算出部２４により算出された２次元動きベクトルとに基づいて、各計測点を基準としたときの各計測点に対応する移動点の３次元位置の変化量を推定し、推定した変化量を各計測点の３次元動きベクトルとして算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を複数の撮影手段により撮影し、当該物体の動きを解析する解析装置に関するものである。
【背景技術】
【０００２】
近年、交通事故を未然に防止するために、ステレオカメラやレーダーを利用した運転支援システムの研究が盛んに行われている。運転支援システムは、進行方向にある障害物を検出し、障害物までの距離を測ることで、危険状態にあるか否かを判断し、運転者に警告を発したり、ブレーキ制御を行ったりするものである。中でも、ステレオカメラを利用した運転支援システムは、撮影した画像を処理することで障害物を特定することが可能であると共に、その障害物の動きも解析可能であるというようにレーダーを利用した運転支援システムにはないメリットを有している。
【０００３】
図２５は、従来の運転支援システムにおいて採用される障害物の３次元動きベクトルの算出手法を示した図である。また、図２６は図２５の処理を示すフローチャートである。なお、図２５に示す境界線Ｌ１０１は、時刻ｔ−Δｔにおける障害物のカメラＫ１０３側の表面を示し、境界線Ｌ１０２は、時刻ｔにおける障害物のカメラＫ１０３側の表面を示す。また、カメラＫ１０３は、自動車に搭載されたステレオカメラであり、αはカメラＫ１０３の光軸方向を示し、βは光軸方向に直交する平面において水平方向と平行な方向を示している。
【０００４】
まず、時刻ｔ−Δｔにおいて、カメラＫ１０３により障害物が撮影され、基準画像及び参照画像が取得され、基準画像上の計測点Ａが設定され、計測点Ａの対応点が参照画像から探索され、計測点Ａと対応点とから計測点Ａの３次元実空間における３次元位置が算出される（ステップ１）。
【０００５】
次に、時刻ｔにおいて、カメラＫ１０３により障害物が撮影され、計測点Ａの時刻ｔにおける基準画像での対応する点である移動点Ｂが探索され、計測点Ａと移動点Ｂとを用いて２次元動きベクトルΔＸが算出される（ステップ２）。
【０００６】
次に、移動点Ｂの対応点が時刻ｔの参照画像から探索され、移動点Ｂと対応点とから移動点Ｂの３次元位置が算出される（ステップ３）。
【０００７】
次に、ステップ１及び３で求められた３次元位置の差分値が３次元動きベクトルとして算出される（ステップ４）。
【０００８】
特許文献１には、時刻Ｔ１において、右目用カメラＲＣ及び左目用カメラＬＣにより撮影された入力画像Ｒ１及びＬ１を用いて入力画像の各点における３次元位置を算出し、時刻Ｔ１での入力画像Ｌ１の各点に対する時刻Ｔ２での入力画像Ｌ１での対応点を求め、各点と対応点との３次元位置から３次元動きベクトルを求める移動検出方法が開示されている（段落［００２２］、［００２８］）。
【０００９】
特許文献２には、ステレオカメラ２により撮影された基準画像データ及び比較画像データをそれぞれ４×４の画素ブロックに分け、基準画像の各画素ブロックと相関の高い画素ブロックを比較画像データから探索して各画素ブロックの実空間上の位置を算出し、時系列的に前の基準画像上の画素ブロックが後の基準画像上のどの位置に変移したかを探索し、変移前後の画素ブロックの３次元位置から３次元動きベクトルを求める技術が開示されている（段落［００５７］〜［００６２］）。
【特許文献１】特開２００４−８４３８３号公報
【特許文献２】特開２００６−１３４０３５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記従来の運転支援システムでは、基準画像に設定された計測点Ａがフレーム毎に追跡され、追跡された各点の３次元位置が算出されているが、これら各点は基準画像上での配列順序が保持されないため、障害物の形状を精度良く計測することができなくなる。すなわち、障害物の形状計測は、通常、基準画像上に設定された各点の３次元位置を求め、近接する点の相対的な位置関係に基づいて各点に面を貼り付けることにより行われるが、上記従来の運転支援システムでは、追跡された各点が基準画像上に一定順序で配列されない場合があるため、このような場合には形状を認識することが困難になる。
【００１１】
また、上記従来の運転支援システムにおいて、追跡された各点に加えて一定間隔に配列された各点の３次元位置を更に求めて、障害物の形状計測を行うことも考えられるが、そうすると、処理コストが膨大になり、リアルタイム処理が困難になると共に、回路規模が増大してハードウエア化が困難になるといった問題が発生する。
【００１２】
また、特許文献１の手法では、時刻Ｔ１での入力画像Ｌ１の各点の対応点が時刻Ｔ２での入力画像Ｌ１から探索されているが、探索された対応点が３次元位置の算出対象の点になっていない場合は、３次元動きベクトルを求めることが困難になってしまう。そのため、特許文献１の手法において、３次元動きベクトルを確実に算出するためには、入力画像Ｌ１の各点の３次元位置を求める必要があり、処理コストが膨大となる。
【００１３】
また、特許文献２の手法では、画素ブロック単位で３次元位置が求められているため、形状計測を精度良く行うことができない。
【００１４】
本発明の目的は、処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行うことができる解析装置を提供することである。
【課題を解決するための手段】
【００１５】
（１）本発明による解析装置は、物体の動きを解析する解析装置であって、前記物体を時系列的に撮影する複数の撮影手段と、１の撮影手段により撮影された画像を基準画像、他の撮影手段により撮影された画像を参照画像として取得する画像取得手段と、各フレームの基準画像上において一定間隔で配列された所定の位置に３次元実空間における３次元位置の計測対象となる計測点を設定し、各計測点に隣接する面の傾斜情報を算出する傾斜情報算出手段と、各計測点の対応点を前記参照画像から探索することで、各計測点の３次元位置をフレーム毎に算出する３Ｄ位置算出手段と、注目フレーム対して時系列的に隣接する隣接フレームの基準画像において、前記注目フレームの各計測点の移動点を探索することで各計測点の２次元動きベクトルを算出する２Ｄ動きベクトル算出手段と、前記３Ｄ位置算出手段により算出された、前記注目フレームの各計測点と前記隣接フレームの各計測点との３次元位置の変化量を算出する変化量算出手段と、前記変化量算出手段により算出された変化量と、前記傾斜情報と、前記２次元動きベクトルとに基づいて、各計測点を基準としたときの各計測点に対応する前記移動点の３次元位置の変化量を推定し、推定した変化量を各計測点の３次元動きベクトルとして算出する３Ｄ動きベクトル算出手段とを備えることを特徴とする。
【００１６】
この構成によれば、基準画像上において一定間隔で配列された所定の位置に計測点が設定され、各計測点の対応点が参照画像から探索され、各計測点の３次元実空間上の３次元位置が算出されている。したがって、全フレームを通じて基準画像上において一定間隔に配列された同一点での３次元実空間上の位置情報を得ることが可能となり、物体の形状認識を行うことができる。
【００１７】
また、時系列的に前後する注目フレーム及び隣接フレーム間での計測点の３次元位置の変化量と、各計測点における面の傾斜情報と、２次元動きベクトルとに基づいて、前記注目フレームの計測点から、各計測点を基準としたときの各計測点に対応する移動点の３次元位置の変化量が推定され、推定された変化量が各計測点の３次元動きベクトルとして算出されている。
【００１８】
そのため、従来の手法のように計測点の隣接フレームにおける対応点の３次元位置を実際に算出しなくても、計測点の３次元動きベクトルを算出することが可能となり、処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行うことができる。
【００１９】
（２）また、前記隣接フレームは、前記注目フレームの時系列的に１つ後の次フレームであり、前記３Ｄ動きベクトル算出手段は、前記次フレームの各計測点の３次元動きベクトルを算出することが好ましい。この構成によれば、次フレームを取得した後で、現フレームの計測点の３次元動きベクトルが算出されることになる。
【００２０】
（３）また、前記隣接フレームは、前記注目フレームの時系列的に１つ前の前フレームであり、前記３Ｄ動きベクトル算出手段は、前記注目フレームの各計測点の３次元動きベクトルを算出することが好ましい。
【００２１】
この構成によれば、前フレームを用いて注目フレームの計測点の３次元動きベクトルが算出されているため、次フレームの取得を待たずに、計測点の３次元動きベクトルを算出することができる。
【００２２】
（４）また、前記傾斜情報算出手段は、前記計測点に隣接する面の法線ベクトルを前記傾斜情報として算出することが好ましい。この構成によれば、計測点に隣接する面の法線ベクトルが傾斜情報とされるため、計測点近傍の面の傾斜情報を精度良く表すことができる。
【００２３】
（５）また、前記３Ｄ動きベクトル算出手段は、３次元動きベクトルの算出対象となるフレームより時系列的に前のフレームの計測点における傾斜情報を用いて、３次元動きベクトルを算出することが好ましい。
【００２４】
この構成によれば、３次元動きベクトルの算出対象となるフレームより時系列的に前のフレームの計測点における傾斜情報を用いて、３次元動きベクトルが算出されるため、３次元動きベクトルの算出対象となるフレームにおける傾斜情報の算出を待たずに３次元動きベクトルを算出することができる。
【００２５】
（６）また、前記３Ｄ動きベクトル算出手段は、前記注目フレームの計測点の傾斜情報と前記隣接フレームの計測点の傾斜情報とを用いて、前記注目フレームの計測点の傾斜情報を補正し、補正した傾斜情報を用いて３次元動きベクトルを算出することが好ましい。
【００２６】
この構成によれば、注目フレームの計測点の傾斜情報と隣接フレームの計測点の傾斜情報とを用いて、注目フレームの計測点の傾斜情報が補正され、補正された傾斜情報を用いて３次元動きベクトルが算出されているため、傾斜情報の時系列的な変化を加味して３次元動きベクトルを算出することが可能となり、回転するような物体の３次元動きベクトルを精度よく算出することができる。
【００２７】
（７）また、前記傾斜情報算出手段は、前記計測点と、前記計測点の周囲の複数の計測点との３次元位置を用いて前記計測点の法線ベクトルを算出することが好ましい。この構成によれば、計測点と、計測点の周囲の複数の点との３次元位置を用いて法線ベクトルが算出されるため、法線ベクトルを精度良く算出することができる。
【００２８】
（８）前記傾斜情報算出手段は、前記計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルを算出し、得られた法線ベクトルの中間値を、前記計測点の傾斜情報として算出することが好ましい。
【００２９】
この構成によれば、計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルの中間値が傾斜情報とされるため、計測点に隣接する面の一部に途中で大きく折り曲がっているような面が含まれていても、この面の法線ベクトルが除外されて３次元動きベクトルが算出されることになり、３次元動きベクトルの算出精度を高めることができる。
【００３０】
（９）また、前記傾斜情報算出手段は、前記計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルを算出し、得られた法線ベクトルの最頻値を、前記計測点の傾斜情報として算出することが好ましい。
【００３１】
この構成によれば、計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルの最頻値が傾斜情報とされるため、計測点に隣接する面の一部に途中で大きく折り曲がっているような面が含まれていても、この面の法線ベクトルが除外されて３次元動きベクトルが算出されることになり、３次元動きベクトルの算出精度を高めることができる。
【発明の効果】
【００３２】
本発明によれば、処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行うことができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の一実施の形態による解析装置について説明する。図１は、本解析装置の全体構成図を示している。図１に示す解析装置は、自動車等の車体に搭載され、複数の撮影手段を用いて撮影された画像を用いて車体前方の物体の動きを解析するものであり、ステレオカメラ１０、演算部２０、及び表示部３０を備えている。ステレオカメラ１０は、左右一対のカメラ１１，１２（撮像手段の一例）により構成されている。図２は、ステレオカメラの設置箇所の一例を示した図である。ステレオカメラ１０は、図２（ａ）に示すように自車体のフロントガラスとウインドウとの間のピラーの上方に取り付けても良いし、図２（ｂ）に示すようにルーフのフロントガラス側に取り付けてもよい。いずれにせよ、ステレオカメラ１０は、自車体の前方に光軸が向くように取り付けられていればよい。
【００３４】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで自車体の前方を撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、自車体の前方を走行する自動車、自動二輪車、及び自転車、並びに自車体の前方を通行する通行人等の物体を撮影する。
【００３５】
演算部２０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるハードウエア装置により構成され、カメラ１１，１２で同一時刻に撮影された２枚の画像に後述する画像処理を施し、物体の動きを解析する。表示部３０は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算部２０による解析結果等の情報を表示する。ここで、表示部３０は、自車体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示部により構成してもよいし、カーナビゲーションシステムとは別の表示部により構成してもよい。
【００３６】
図３は、演算部２０の機能ブロック図である。図３に示すように演算部２０は、画像取得部２１（画像取得手段の一例）、傾斜情報算出部２２（傾斜情報算出手段の一例）、３Ｄ位置算出部２３（３Ｄ位置算出手段の一例）、２Ｄ動きベクトル算出部２４（２Ｄ動きベクトル算出手段の一例）、変化量算出部２５（変化量算出手段の一例）、３Ｄ動きベクトル算出部２６（３Ｄ動きベクトル算出手段の一例）、及び報知制御部２７を備えている。なお、画像取得部２１〜報知制御部２７は、それぞれ専用のハードウエア回路により構成してもよいし、１チップ化して１つの集積回路により構成してもよいし、ＣＰＵに所定のプログラムを実行させることで構成してもよい。
【００３７】
画像取得部２１は、カメラ１１により撮影された画像を基準画像、カメラ１２により撮影された画像を参照画像として取得し、図略のメモリに記憶する。ここで、画像取得部２１は、カメラ１１及び１２により同一時刻で撮影された基準画像及び参照画像を１秒あたり３０枚といった所定のフレームレートで順次取得する。基準画像及び参照画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたデジタルの画像データを採用することができる。
【００３８】
傾斜情報算出部２２は、各フレームの基準画像上において一定間隔で配列された所定の位置に３次元実空間における３次元位置の計測対象となる計測点を設定し、各計測点に隣接する面の傾斜情報を算出する。これにより、各計測点は全フレームを通じて基準画像上の同一座標に位置することになり、形状認識を行うことが可能となる。また、基準画像上に設定される計測点の間隔としては、例えば１枚の基準画像において設定される計測点の個数が、物体の形状を精度良く計測でき、かつ、リアルタイム処理を実現することが可能な個数となるような予め定められた間隔を採用することができる。
【００３９】
また、傾斜情報としては、計測点に隣接する面の法線ベクトルを傾斜情報として採用することができる。計測点に隣接する面の法線ベクトルとしては、計測点と、当該計測点に隣接する他の複数の計測点とによって貼られる平面の法線ベクトルを採用することができる。また、この場合、計測点に隣接する３つ以上の面のそれぞれの法線ベクトルの平均値を求め、この平均値を計測点の傾斜情報として採用することができる。こうすることで、計測点付近の物体の面の情報をより正確に傾斜情報に取り入れることができ、後述する３Ｄ動きベクトル算出部２６による演算精度を高めることができる。
【００４０】
更に、３つ以上の面のそれぞれの法線ベクトルの平均値に代えて、中央値又は最頻値を傾斜情報として採用することができる。この場合、計測点に隣接する複数の面の一部に途中で大きく折り曲がっているような面が含まれていても、この面の法線ベクトルが除外されて傾斜情報が算出されるため、計測点の傾斜情報が折り曲がった面の法線ベクトルの影響によって本来の向きからずれてしまうことを防止することができる。
【００４１】
３Ｄ位置算出部２３は、各計測点の対応点を参照画像から探索することで、各計測点の３次元実空間における３次元位置をフレーム毎に算出する。ここで、３Ｄ位置算出部２３は、１枚の基準画像上の計測点を順次注目点として設定し、ＰＯＣ（位相限定相関法）やＳＡＤ等の探索手法を用いて参照画像から当該注目点の対応点を探索し、探索した対応点と注目点とを基に、ステレオ法を用いて計測点の３次元位置を算出する。
【００４２】
２Ｄ動きベクトル算出部２４は、注目フレーム対して時系列的に隣接する隣接フレームの基準画像において、注目フレームの計測点の移動点をＰＯＣやＳＡＤといった探索手法を用いて探索することで計測点の２次元動きベクトルを算出する。ここで、２次元動きベクトルとしては、注目フレームの計測点の基準画像上における座標と当該計測点の移動点の基準画像上における座標との差分ベクトルを採用することができる。
【００４３】
変化量算出部２５は、３Ｄ位置算出部２３により算出された、注目フレームの計測点と隣接フレームの計測点との３次元位置の変化量を算出する。具体的には、変化量算出部２５は、注目フレームの基準画像及び隣接フレームの基準画像において、座標を同じとする計測点同士の３次元位置の差分値を３次元位置の変化量として算出する。
【００４４】
３Ｄ動きベクトル算出部２６は、変化量算出部２５により算出された３次元位置の変化量と、傾斜情報算出部２２により算出された傾斜情報と、２Ｄ動きベクトル算出部２４により算出された２次元動きベクトルとに基づいて、各計測点を基準としたときの各計測点に対応する移動点の３次元位置の変化量を推定し、推定した変化量を各計測点の３次元動きベクトルとして算出する。具体的には、３Ｄ動きベクトル算出部２６は、変化量算出部２５により算出された計測点の３次元位置の変化量を、当該計測点の２次元動きベクトルと、当該計測点の傾斜情報とを用いて補正し、補正した３次元位置の変化量と、２次元動きベクトルとのベクトル和を求めることで当該計測点の３次元動きベクトルを算出する。
【００４５】
報知制御部２７は、３Ｄ位置算出部２３により算出された各計測点の３次元位置及び３次元動きベクトルから、ステレオカメラ１０により撮影されたシーンに含まれる各物体を特定し、特定した各物体上の各計測点の３次元動きベクトルと自車体とが交差するか否かを判定し、交差する場合は、当該物体を障害物と判定し、障害物が自車体に迫っていることをユーザに報知するための情報を生成し、表示部３０に出力する。ここで、ユーザに報知するための情報としては、画像情報及び音声情報の少なくともいずれか一方を採用すればよく、音声情報は表示部３０が備える図略のスピーカから出力される。
【００４６】
また、報知制御部２７は、各計測点の３次元位置の隣接する３点間に三角形の面を貼ることで、物体の形状を認識する。なお、三角形の面を貼ることに代えて、３次元位置の隣接する４点間又は５点間に四角形又は五角形の面を貼るというように、隣接するｋ個の３次元位置にｋ角形の面を貼ることで、物体の形状を認識してもよい。
【００４７】
次に、本解析装置の動作について説明する。本解析装置は、後述する第１〜第３の手法を用いて３次元動きベクトルを算出することができる。まず、第１の手法について説明する。第１の手法は、隣接フレームを、注目フレームより時系列的に１つ後の次フレームとし、３Ｄ動きベクトル算出部２６が、次フレームの各計測点の３次元動きベクトルを算出することを特徴とする。
【００４８】
図４は、第１の手法を採用した場合の本解析装置の動作を示すフローチャートである。なお、図１のフローチャートはステレオカメラ１０により各フレームの基準画像及び参照画像が取得される毎に実行される。
【００４９】
まず、ステップＳ１において、画像取得部２１は、ステレオカメラ１０により撮影された自車体前方のシーンをとらえた基準画像と参照画像とを次フレームとして取得し、図略のメモリに記憶する。なお、本実施の形態においては、ステレオカメラ１０の収差は良好に補正され、かつ、水平方向に対して平行に設置されているものとするが、ステレオカメラ１０がこれらの条件を満たしていない場合は、所定の画像処理により上記条件を満たす画像を取得すればよい。画像取得部２１は、Δｔの時間間隔で、基準画像及び参照画像を順次取得するものとする。
【００５０】
図５は、ステップＳ１で取得される基準画像と参照画像との一例を示した図である。図５において上段の２枚の画像は、時刻ｔ−Δｔにおける基準画像と参照画像とを示し、下段の２枚の画像は、時刻ｔにおける基準画像と参照画像とを示している。図５に示すように、各時刻において、前方を走行するトラックを物体としてとらえた基準画像と参照画像とが取得されていることが分かる。以下、時刻ｔ−Δｔのフレームが注目フレームを示し、時刻ｔのフレームが次フレームを示すものとする。
【００５１】
図４に戻り、ステップＳ２において、３Ｄ位置算出部２３は、画像取得部２１により時刻ｔにて取得された基準画像の各計測点の３次元位置を時刻ｔにて取得された参照画像を用いて算出し、図略のメモリに記憶する。図６は、ステップＳ２の処理の詳細を示したフローチャートである。まず、ステップＳ２１において、３Ｄ位置算出部２３は、基準画像上の計測点を注目点として順次設定するためのスキャンが終了したか否かを判定し、スキャンが終了した場合は（ステップＳ２１でＹＥＳ）、処理を図４に示すステップＳ３に進め、スキャンが終了しない場合は（ステップＳ２１でＮＯ）、基準画像上の計測点のうちいずれか１の計測点が注目点として設定される（ステップＳ２２）。図７は、３Ｄ位置算出部２３による注目点の設定処理を示した図である。図７（ａ）に示すように、３Ｄ位置算出部２３は、基準画像を例えば左上から右下に向けてラスタスキャンするように、基準画像上の計測点を注目点として順次設定する。そして、基準画像上、右下の計測点に対する３次元位置が算出されると、ステップＳ２１でＮＯと判定し、処理を終了する。
【００５２】
ステップＳ２３において、ステップＳ２２で設定した注目点に対する対応点を参照画像からＰＯＣを用いて探索する対応点探索処理が実行される。図８は、対応点探索処理を示すフローチャートである。まず、ステップＳ２３１，Ｓ２３２において、基準画像及び参照画像のそれぞれに参照ウインドウ及び基準ウインドウが設定される。図９は基準ウインドウ及び参照ウインドウの説明図であり、図９（ａ）は、基準画像に設定される基準ウインドウＷ１を示した図であり、図９（ｂ）は参照画像に設定される参照ウインドウＷ２を示した図である。基準ウインドウＷ１及び参照ウインドウＷ２はそれぞれ同じサイズを有し、例えば、３１×３１のサイズのものを採用することができる。図９（ａ）に示すように基準画像上に設定された注目点ＣＰに中心が位置するように基準ウインドウＷ１が設定され、図９（ｂ）に示すように参照画像上に参照ウインドウＷ２が設定され、参照ウインドウＷ２が参照画像上でラスタスキャンするようにスライドされていることが分かる。
【００５３】
図８に戻り、ステップＳ２３３，Ｓ２３４において、基準ウインドウＷ１内の画像ｆ（ｎ１，ｎ２）及び参照ウインドウＷ２内の画像ｇ（ｎ１，ｎ２）のそれぞれに離散フーリエ変換が施され、画像Ｆ（ｋ１，ｋ２）及び画像Ｇ（ｋ１，ｋ２）が生成される。
【００５４】
次に、ステップＳ２３５において、画像Ｆ（ｋ１，ｋ２）と、画像Ｇ（ｋ１，ｋ２）の複素共役とが乗じられ、相関画像Ｒ（ｋ１，ｋ２）が算出される。図１０は、ステップＳ２３５の処理を示した図である。図１０の左上のグラフは、画像Ｆ（ｋ１，ｋ２）の振幅及び位相成分を示し、左下のグラフは画像Ｇ（ｋ１，ｋ２）の振幅及び位相成分を示し、右のグラフは相関画像Ｒ（ｋ１，ｋ２）の振幅及び位相成分を示している。図１０の右のグラフに示すように画像Ｆ（ｋ１，ｋ２）と画像Ｇ（ｋ１，ｋ２）との相関が相関画像Ｒ（ｋ１，ｋ２）の位相成分の傾きに反映され、位相成分を用いて、画像Ｆ（ｋ１，ｋ２）と画像Ｇ（ｋ１，ｋ２）との相関を求めることができる。
【００５５】
なお、相関画像Ｒ（ｋ１，ｋ２）としては、位相成分の傾きをロバストに推定するために、周波数成分毎に重み付けをして算出してもよい。図１１は、周波数成分毎に重み付けが施された相関画像Ｒ（ｋ１，ｋ２）の算出処理を示した図である。
【００５６】
まず、図１１（ａ）に示すように、Ｆ（ｋ１，ｋ２）とＧ（ｋ１，ｋ２）の複素共役とが乗じられる。次に、図１１（ｂ）に示すように、この乗じた値が規格化され、相関画像Ｒ´（ｋ１，ｋ２）が求められる。次に、図１１（ｃ）に示すように、Ｒ´（ｋ１，ｋ２）に例えばほぼステップ状の重み付け関数Ｈ（ｋ１，ｋ２）が乗じられ、相関画像Ｒ（ｋ１，ｋ２）が求められる。
【００５７】
図８に戻り、ステップＳ２３６において、Ｒ（ｋ１，ｋ２）が離散フーリエ逆変換され、ＰＯＣ関数ｒ（ｎ１，ｎ２）が算出される。ここで、離散フーリエ逆変換としては式（１）を採用することができる。
【００５８】
【数１】
【００５９】
但し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、水平直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示す。
【００６０】
図１２は、ＰＯＣ関数ｒ（ｋ１，ｋ２）を示したグラフである。このグラフにおいて、ｎ１軸及びｎ２軸は、基準ウインドウ及び参照ウインドウ内の各座標を表し、ｚ軸はＰＯＣ値を示している。図１２に示すようにＰＯＣ関数は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは画像ｆ及び画像ｇの相関が高いほど大きくなる。したがって、画像ｆ及び画像ｇの類似度として、例えば相関ピークの高さを採用することで、画像ｆ及び画像ｇがどれだけ近似しているかを示すことが可能となる。
【００６１】
そして、この類似度を参照ウインドウ内の画像の中心点の類似度として採用し、図９（ｂ）に示すように参照ウインドウＷ２を参照画像上で例えばラスタスキャンするようにスライドしながら、類似度が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目点の対応点として算出する（ステップＳ２３７）。
【００６２】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、類似度はピクセルレベルの分解能で算出されることになる。そこで、探索範囲内においてピクセルレベルで算出された類似度に補間処理を施して、ピクセルレベルよりも小さな分解能であるサブピクセルレベルで類似度を求め、サブピクセルレベルで求めた類似度のうち最も高い類似度の位置を注目点の対応点として特定してもよい。このように、サブピクセルレベルで対応点を探索すると対応点の探索精度を上げることが可能となる。
【００６３】
図６に戻り、ステップＳ２４において、３Ｄ位置算出部２３は、注目点として設定された計測点と対応点との３次元位置を基に、ステレオ法による測距方法を用いて計測点の３次元位置を求める。図１３は、ステレオ法による測距方法の説明図である。
【００６４】
図１３において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮影面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、撮影面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、点Ｐの３次元位置Ｐ（Ｘ，Ｙ，Ｚ）は、Ｚ＝（Ｌ×ｆ）／（μ×ｄ）、Ｘ＝ｘ・（Ｚ／ｆ）、Ｙ＝ｙ・（Ｚ／ｆ）により求めることができる。但し、ｘ，ｙは基準画像上の注目点の座標を示している。
【００６５】
図４に戻り、ステップＳ３において、変化量算出部２５は、時刻ｔにおける計測点Ａｎの３次元位置（Ｘｔｎ，Ｙｔｎ，Ｚｔｎ）から、時刻ｔ−Δｔにおける計測点Ａｎの３次元位置Ｐｎ（Ｘｔ−Δｔｎ，Ｙｔ−Δｔｎ，Ｚｔ−Δｔｎ）を減じて、計測点Ａｎの３次元位置の変化量ΔＺを算出する。ただし、ｎは計測点の番号（１〜Ｎ（正の整数））を示す。
【００６６】
ステップＳ４において、傾斜情報算出部２２は、３Ｄ位置算出部２３で算出された各計測点の３次元位置を用いて各計測点の傾斜情報を求める。図１４は、傾斜情報の算出処理の説明図である。図１４に示すように、傾斜情報算出部２２は、計測点Ａｉ，ｊの３次元位置Ｐｉ，ｊと、計測点Ａｉ，ｊの上下左右に隣接する４個の計測点の３次元位置Ｐｉ，ｊ−１、Ｐｉ，ｊ＋１、Ｐｉ−１，ｊ、Ｐｉ＋１，ｊとによって貼られる４つの三角形Ｔｒ１〜Ｔｒ４のそれぞれの法線ベクトルＮ１〜Ｎ４を求め、法線ベクトルＮ１〜Ｎ４の平均値Ｎ（＝（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）／４）を、計測点Ａｉ，ｊの傾斜情報として算出する。ここで、ｉ及びｊは水平及び垂直方向の座標を示す。また、法線ベクトルＮ１〜Ｎ４は、Ｎ１＝（Ｐｉ，ｊ−１−Ｐｉ，ｊ）×（Ｐｉ＋１，ｊ−Ｐｉ，ｊ）、Ｎ２＝（Ｐｉ＋１，ｊ−Ｐｉ，ｊ）×（Ｐｉ，ｊ＋１−Ｐｉ，ｊ）、Ｎ３＝（Ｐｉ，ｊ＋１−Ｐｉ，ｊ）×（Ｐｉ−１，ｊ−Ｐｉ，ｊ）、Ｎ４＝（Ｐｉ−１，ｊ−Ｐｉ，ｊ）×（Ｐｉ，ｊ−１−Ｐｉ，ｊ）により求められる。これにより、計測点Ａｎ付近の面の傾きを精度良く取り入れた傾斜情報を得ることができる。
【００６７】
図１５は、傾斜情報の算出手法の他の一例を示した図である。図１５の場合、傾斜情報算出部２２は、計測点Ａｎの８近傍の計測点によって貼られる８個の三角形Ｔｒ１〜Ｔｒ８のそれぞれの法線ベクトルＮ１〜Ｎ８を求め、法線ベクトルＮ１〜Ｎ８の平均値を計測点Ａｎの傾斜情報として算出している。
【００６８】
ここで、傾斜情報算出部２２は、法線ベクトルＮ１〜Ｎ８の平均値に代えて中央値Ｎ＝ｍｅｄｉａｎ（Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７，Ｎ８）、又は最頻値Ｎ＝最頻値（Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７，Ｎ８）を計測点Ａｎの傾斜情報として採用してもよい。
【００６９】
これにより、図１５に示すように計測点Ａｎに隣接する一部の三角形Ｔｒ１〜Ｔｒ３が点線で示す位置で大きく折れ曲がっている場合であっても、法線ベクトルＮ１〜Ｎ３が除外されて傾斜情報が算出されるため、計測点Ａｎの傾斜情報が法線ベクトルＮ１〜Ｎ３の影響によって本来の向きからずれてしまうことを防止することができる。
【００７０】
また、傾斜情報算出部２２は、計測点Ａｎに隣接する面のみならず、計測点Ａｎの周囲の複数の面の法線ベクトルの平均値、中央値、又は最頻値を計測点Ａｎの傾斜情報として採用してもよい。また、傾斜情報算出部２２は、計測点Ａｎが道路面に該当するような場合は、大局的な平面近似を行うことで傾斜情報を算出してもよい。
【００７１】
図４に戻り、ステップＳ５において、２Ｄ動きベクトル算出部２４は、２次元動きベクトルを算出する。図１６、図１７は、２次元動きベクトルの算出処理の説明図である。図１６に示すように、２Ｄ動きベクトル算出部２４は、時刻ｔ−Δｔの基準画像上の計測点Ａｎ（ｘｎｔ−Δｔ，ｙｎｔ−Δｔ）を注目点として設定し、ステップＳ２と同様にして、ＰＯＣを用いて時刻ｔの基準画像から計測点Ａｎ（ｘｎｔ−Δｔ，ｙｎｔ−Δｔ）に対応する点である移動点Ａ´ｎ（ｘ´ｎｔ，ｙ´ｎｔ）を探索し、Ａ´ｎ（ｘ´ｎｔ，ｙ´ｎｔ）−Ａｎ（ｘｎｔ−Δｔ，ｙｎｔ−Δｔ）により、２次元動きベクトルΔＸを算出する。ただし、ΔＸをΔＸ（Δｘ，Δｙ）とすると、Δｘ＝ｘ´ｎｔ−ｘｎｔ−Δｔ、Δｙ＝ｙ´ｎｔ−ｙｎｔ−Δｔである。
【００７２】
そして、２Ｄ動きベクトル算出部２４は、他の計測点についても同様にして２次元動きベクトルを算出する。図１７に示すように、各計測点において矢印で示す２次元動きベクトルが算出されていることが分かる。
【００７３】
図４に戻り、ステップＳ６において、３Ｄ動きベクトル算出部２６は、ステップＳ３で算出された各計測点の３次元位置の変化量ΔＺを下記に示す式（２）に従って補正する。
【００７４】
ΔＺ´＝ΔＺ＋（ΔＺ／｜ΔＺ｜）・Ｎ・ΔＸ （２）
ここで、Ｎは、各計測点の傾斜情報を示し、ΔＸは２次元動きベクトル示す。また、傾斜情報Ｎとしては、時刻ｔ−Δｔのフレームで算出されたものが採用される。ステップＳ７において、３Ｄ動きベクトル算出部２６は、補正した変化量ΔＺ´に２次元動きベクトルΔＸを加えることで、時刻ｔ、すなわち次フレームにおける計測点Ａの３次元動きベクトルを算出する。
【００７５】
図１８は、第１の手法の説明図である。図１８において、境界線Ｌ１は時刻ｔ−Δｔにおける物体の上面視からの表面を示し、境界線Ｌ２は時刻ｔにおける物体の上面視からの表面を示す。また、αはステレオカメラ１０の光軸方向を示し、βは光軸方向に直交する平面上であって水平方向に平行な方向を示している。
【００７６】
図１８に示すように、計測点Ａの時刻ｔ−Δｔにおける３次元位置をＰＡｔ−Δｔとし、計測点Ａの時刻ｔでの移動点の３次元位置をＰ´Ａｔとし、境界線Ｌ１及びＬ２を平行とすると、計測点Ａの時刻ｔにおける３次元動きベクトルＶ１は、Ｖ１＝ΔＸ＋ΔＺ´で表される。したがって、３Ｄ動きベクトル算出部２６は、ΔＸと式（２）に示すΔＺ´とのベクトル和を求めることで、移動点の３次元位置であるＰ´Ａｔを実際に求めることなく、計測点Ａの時刻ｔにおける３次元動きベクトルＶ１を算出することが可能となる。
【００７７】
すなわち、従来の手法では、Ｐ´Ａｔを対応点探索処理により算出して計測点Ａの３次元動きベクトルが算出されていたため、処理コストが大きくなっていたが、本解析装置では、時刻ｔ−Δｔの計測点Ａを基準としたときの計測点Ａに対応する移動点Ａ´の３次元位置の変化量を推定し、推定した変化量を計測点Ａの３次元動きベクトルＶ１として算出しているため、処理コストを大幅に低減させることができる。
【００７８】
図４に戻り、ステップＳ８において、報知制御部２７は、各計測点における３次元位置からステレオカメラ１０により撮影されたシーンに含まれる物体を検出し、各計測点における３次元動きベクトルを用いて物体の動きを解析する。ここで、報知制御部２７は、ある物体上の計測点の３次元動きベクトルを延長し、延長した３次元動きベクトルが予め定められた３次元実空間に対応する仮想３次元空間上に設定された自車体の前面を示す領域に交差する場合、当該物体を障害物と判定する。
【００７９】
なお、ある物体上に複数の計測点が存在する場合、少なくとも１つの３次元動きベクトルが自車体の前面の領域に交差するとき、当該物体を障害物と判定してもよい。ここで、報知制御部２７は、計測点の３つの成分のうち、ステレオカメラ１０の光軸方向と平行な成分を奥行き成分とすると、例えば奥行き成分が近似し、かつ、動きベクトルがほぼ同一方向を向く連続する計測点を１つの物体の計測点として判定すればよい。
【００８０】
図１９は、報知制御部２７の処理の説明図である。図１９に示すように、報知制御部２７は、物体ＯＢ１上の計測点Ａ，Ｂの３次元動きベクトルＶ１を延長し、延長した３次元動きベクトルＶ１が自車体領域ＤＳ１の前面ＤＳ１１に交差する場合、物体ＯＢ１を障害物として判定し、交差しない場合は障害物と判定しない。したがって、図１９に示すガードレールＧ１や、道路面ＳＦ１などは、３次元動きベクトルＶ１が自車体領域ＤＳ１の左右側面に向かっており、自車体領域ＤＳ１の前面ＤＳ１１と交差しないため、障害物として判定されない。
【００８１】
また、物体ＯＢ１が前進しているとすると、３次元動きベクトルは小さくなるが、物体ＯＢ１が自車体より遅い速度で走行している場合は、３次元動きベクトルが自車体に向かうため、障害物と判定される。逆に、物体ＯＢ１が、自車体よりも速く走行している場合は、動きベクトルは自車体とは逆方向を向くので、障害物と判定されない。更に、異なる車線を走行している物体も障害物と判定されない。
【００８２】
図４に戻り、ステップＳ９において、報知制御部２７は、各物体上の計測点の３次元位置の隣接する３点に三角形の面を貼り付け、各物体の形状を認識する。
【００８３】
ステップＳ１０において、報知制御部２７は、障害物が自車体に迫っていることを示す情報を生成し、表示部３０に表示し、ユーザに報知する。ここで、報知制御部２７は、例えば、障害物までの距離が一定の範囲以下である場合に障害物が自車体に迫っていることを報知してもよい。また、３次元動きベクトルＶ１が前面ＤＳ１１の左、中、右のいずれの位置に交差するかを判定し、交差する位置応じて、自車体のどの部分に障害物が迫っているかを報知してもよい。また、複数の障害物が存在する場合は、各障害物が自車体に迫っていることを報知すればよいし、障害物毎に自車体のどの部分に障害物が迫っているかを報知してもよい。
【００８４】
また、この報知において先に求めた（認識した）物体の形状を用いてもよい。その場合、報知するかの決定に形状情報を利用しても良いし、報知する際に例えば、障害物が人であるとか車である等の形状情報を付加情報としてもよい。
【００８５】
次に、第２の手法を採用した場合の本解析装置の動作について説明する。図２０は、第２の手法を採用した場合の本解析装置の動作を示すフローチャートである。第２の手法は、隣接フレームを注目フレームよりも時系列的に１つ前の前フレームとし、３Ｄ動きベクトル算出部２６が、注目フレームの各計測点の３次元動きベクトルを算出することを特徴とするものである。
【００８６】
まず、ステップＳ１０１において、画像取得部２１は、ステレオカメラ１０により撮影された自車体前方のシーンをとらえた基準画像と参照画像とを注目フレームとして取得し、図略のメモリに記憶する。
【００８７】
ステップＳ１０２〜Ｓ１０４の処理は、時刻ｔ−Δｔのフレームを前フレームとし、時刻ｔのフレームを注目フレームとする以外は、図４のステップＳ２〜Ｓ４と同一であるため、説明を省略する。
【００８８】
ステップＳ１０５において、２Ｄ動きベクトル算出部２４は、２次元動きベクトルを算出する。図２１は、第２の手法の説明図である。図４に示すステップＳ５との相違点は、図２１の点線の丸に示すように、計測点Ａの移動点を次フレームではなく、注目フレームの前フレーム、すなわち、時刻ｔ−Δｔの基準画像から探索する点にある。したがって、２Ｄ動きベクトル算出部２４は、時刻ｔの基準画像上の計測点Ａ（ｘｔ，ｙｔ）を注目点として設定し、ＰＯＣを用いて時刻ｔ−Δｔの基準画像から計測点Ａ（ｘｔ，ｙｔ）に対応する点である移動点Ａ´（ｘ´ｔ−Δｔ，ｙ´ｔ−Δｔ）を探索し、Ａ（ｘｔ，ｙｔ）−Ａ´（ｘ´ｔ−Δｔ，ｙ´ｔ−Δｔ）により、２次元動きベクトルΔＸを算出する。
【００８９】
図２０に戻り、ステップＳ１０６において、３Ｄ動きベクトル算出部２６は、ステップＳ６と同様にして、式（２）を用いて、各計測点の３次元位置の変化量ΔＺを補正する。ステップＳ１０７において、３Ｄ動きベクトル算出部２６は、補正した変化量ΔＺ´に２次元動きベクトルΔＸを加えることで、時刻ｔ、すなわち注目フレームにおける計測点Ａの３次元動きベクトルを算出する。
【００９０】
図２１に示すように、計測点Ａの時刻ｔにおける３次元位置をＰＡｔとし、計測点Ａの時刻ｔ−Δｔでの移動点の３次元位置をＰ´Ａｔ−Δｔとすると、境界線Ｌ１及びＬ２が平行である場合、計測点Ａの時刻ｔにおける３次元動きベクトルＶ１は、Ｖ１＝ΔＸ＋ΔＺ´で表される。したがって、３Ｄ動きベクトル算出部２６は、ΔＸと式（２）に示すΔＺ´とのベクトル和を求めることで、移動点の３次元位置であるＰ´Ａｔ−Δｔを実際に求めることなく、計測点Ａの時刻ｔにおける３次元動きベクトルを算出することが可能となり、処理コストを従来の手法に比べて大幅に低減することができる。
【００９１】
また、第２の手法では、既に取得済みの前フレームを用いて３次元動きベクトルが算出されているため、次フレームの取得を待たずに、注目フレームの３次元動きベクトルを算出することができる。ステップＳ１０８〜Ｓ１１０はステップＳ８〜Ｓ１０と同一であるため、説明を省略する。
【００９２】
次に、第３の手法を採用した場合の本解析装置の動作について説明する。図２２は、第３の手法を採用した場合の本解析装置の動作を示すフローチャートである。また、図２３は、第３の手法の説明図である。第３の手法は、第２の手法において、更に傾斜情報を補正する点を特徴としている。
【００９３】
ステップＳ２０１〜２０５の処理は、図２０のステップＳ１０１〜Ｓ１０５と同一であるため、説明を省略する。
【００９４】
ステップＳ２０６において、３Ｄ動きベクトル算出部２６は、図２３に示すように時刻ｔ−Δｔにおける計測点Ａの傾斜情報Ｎｔ−Δｔを、時刻ｔにおける計測点Ａの傾斜情報Ｎｔを用いて補正する。傾斜情報Ｎｔ−Δｔの補正値としては、Ｎｔ−ΔｔとＮｔとの平均値である（Ｎｔ−Δｔ＋Ｎｔ）／２を採用することができる。このように、傾斜情報を補正することで、時刻ｔ−Δｔから時刻ｔにおいて計測点Ａに隣接する面の向きが変化した場合であっても、３次元動きベクトルを精度良く算出することができ、回転するような物体の３次元動きベクトルを精度良く算出することができる。
【００９５】
ステップＳ２０７において、３Ｄ動きベクトル算出部２６は、ステップＳ２０３で算出された各計測点の３次元位置の変化量ΔＺを下記に示す式（３）に従って補正する。
【００９６】
ΔＺ´＝ΔＺ＋（ΔＺ／｜ΔＺ｜）・（（Ｎｔ−Δｔ＋Ｎｔ）／２）・ΔＸ （３）
ステップＳ２０８において、３Ｄ動きベクトル算出部２６は、注目フレームの３Ｄ動きベクトルを算出する。図２３に示すように、ΔＺ´がΔＺと（ΔＺ／｜ΔＺ｜）・（（Ｎｔ−Δｔ＋Ｎｔ）／２）・ΔＸとのベクトル和が求められ、更に、このベクトル和とΔＸとのベクトル和とが求められ、時刻ｔの計測点Ａにおける３次元動きベクトルＶ１が算出されていることが分かる。ステップＳ２０９〜Ｓ２１１の処理は図２０のステップＳ１０８〜１１０と同一であるため、説明を省略する。なお、図２２に示すフローチャートは第２の手法に傾斜情報を補正する処理を加えているが、第１の手法に傾斜情報を補正する処理を加えても良い。
【００９７】
このように、本解析装置によれば、基準画像上において一定間隔で配列された所定の位置に計測点が設定され、各計測点の対応点が参照画像から探索され、各計測点の３次元実空間上の３次元位置が算出されている。したがって、全フレームを通じて基準画像上において一定間隔に配列された同一点での３次元実空間上の位置情報を得ることが可能となり、物体の形状認識を行うことができる。
【００９８】
また、時系列的に前後する注目フレーム及び隣接フレーム間での計測点の３次元位置の変化量と、各計測点における面の傾斜情報と、２次元動きベクトルとに基づいて、注目フレームの計測点から、各計測点を基準としたときの各計測点に対応する移動点の３次元位置の変化量が推定され、推定された変化量が各計測点の３次元動きベクトルとして算出されている。
【００９９】
そのため、従来の手法のように計測点の隣接フレームにおける対応点の３次元位置を実際に算出しなくても、計測点の３次元動きベクトルを算出することが可能となり、処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行うことができる。
【０１００】
なお、上記説明では解析装置を車両に搭載した場合を例に挙げて説明したが、本発明の解析装置は、これに限定されず、人間のジェスチャを認識するジェスチャ解析装置に適用してもよい。図２４は、ジェスチャ解析装置の説明図である。図２４に示す白丸及び黒丸は計測点ＷＡ及びＢＡを示している。黒丸の計測点ＢＡは、白丸の計測点ＷＡに比べて３次元位置がジェスチャ解析装置に近い。そのため、ジェスチャ解析装置は、計測点ＢＡは人間上の計測点を表すものと判定する。そして、計測点ＢＡの３次元動きベクトルを解析し、ジェスチャを認識する。図２４の場合、左腕に相当する部位上の計測点ＢＡの３次元動きベクトルが右斜め上方を向いているため、この人間は、右腕を上げている動作を行っていると認識される。また、頭、胴体、及び右腕に相当する部位上の計測点ＢＡの動きベクトルは０であるため、これらの部位は静止していると認識される。
【０１０１】
上記説明では、参照画像を１枚としたが、これに限定されず、ステレオカメラ１０を３台以上のカメラにより構成し、複数枚の参照画像を用いて３次元動きベクトルを算出してもよい。この場合、３Ｄ位置算出部２３は、基準画像上に設定した各計測点の対応点を複数の参照画像のそれぞれから探索する。そして、ある計測点と当該計測点に対する複数の対応点との各ペアの視差を求め、これらの視差の平均視差を用いて計測点の３次元位置を算出してもよい。これにより、３次元位置の算出精度を高めることが可能となる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の一実施の形態による解析装置の全体構成図を示している。
【図２】ステレオカメラの設置箇所の一例を示した図である。
【図３】演算部の機能ブロック図を示している。
【図４】第１の手法を採用した場合の解析装置の動作を示すフローチャートである。
【図５】基準画像と参照画像との一例を示した図である。
【図６】３次元位置算出処理の詳細を示したフローチャートである。
【図７】３Ｄ位置算出部による注目点の設定処理を示した図である。
【図８】対応点探索処理の流れを示すフローチャートである。
【図９】基準ウインドウ及び参照ウインドウの説明図である。
【図１０】図８に示すステップＳ２３５の処理を示した図である。
【図１１】周波数成分毎に重み付けされた相関画像の算出処理を示した図である。
【図１２】ＰＯＣ関数を示したグラフである。
【図１３】ステレオ法による測距方法の説明図である。
【図１４】傾斜情報の算出処理の説明図である。
【図１５】傾斜情報の算出手法の他の一例を示した図である。
【図１６】２次元動きベクトルの算出処理の説明図である。
【図１７】２次元動きベクトルの算出処理の説明図である。
【図１８】第１の手法の説明図である。
【図１９】報知制御部の処理の説明図である。
【図２０】第２の手法を採用した場合の解析装置の動作を示すフローチャートである。
【図２１】第２の手法の説明図である。
【図２２】第３の手法を採用した場合の本解析装置の動作を示すフローチャートである。
【図２３】第３の手法の説明図である。
【図２４】ジェスチャ解析装置の説明図である。
【図２５】従来の運転支援システムにおいて採用される障害物の３次元動きベクトルの算出手法を示した図である。
【図２６】図２５の処理を示すフローチャートである。
【符号の説明】
【０１０３】
１０ ステレオカメラ
２０ 演算部
２１ 画像取得部
２２ 傾斜情報算出部
２３ ３Ｄ位置算出部
２４ ２Ｄ動きベクトル算出部
２５ 変化量算出部
２６ ３Ｄ動きベクトル算出部
２７ 報知制御部
３０ 表示部
【技術分野】
【０００１】
本発明は、物体を複数の撮影手段により撮影し、当該物体の動きを解析する解析装置に関するものである。
【背景技術】
【０００２】
近年、交通事故を未然に防止するために、ステレオカメラやレーダーを利用した運転支援システムの研究が盛んに行われている。運転支援システムは、進行方向にある障害物を検出し、障害物までの距離を測ることで、危険状態にあるか否かを判断し、運転者に警告を発したり、ブレーキ制御を行ったりするものである。中でも、ステレオカメラを利用した運転支援システムは、撮影した画像を処理することで障害物を特定することが可能であると共に、その障害物の動きも解析可能であるというようにレーダーを利用した運転支援システムにはないメリットを有している。
【０００３】
図２５は、従来の運転支援システムにおいて採用される障害物の３次元動きベクトルの算出手法を示した図である。また、図２６は図２５の処理を示すフローチャートである。なお、図２５に示す境界線Ｌ１０１は、時刻ｔ−Δｔにおける障害物のカメラＫ１０３側の表面を示し、境界線Ｌ１０２は、時刻ｔにおける障害物のカメラＫ１０３側の表面を示す。また、カメラＫ１０３は、自動車に搭載されたステレオカメラであり、αはカメラＫ１０３の光軸方向を示し、βは光軸方向に直交する平面において水平方向と平行な方向を示している。
【０００４】
まず、時刻ｔ−Δｔにおいて、カメラＫ１０３により障害物が撮影され、基準画像及び参照画像が取得され、基準画像上の計測点Ａが設定され、計測点Ａの対応点が参照画像から探索され、計測点Ａと対応点とから計測点Ａの３次元実空間における３次元位置が算出される（ステップ１）。
【０００５】
次に、時刻ｔにおいて、カメラＫ１０３により障害物が撮影され、計測点Ａの時刻ｔにおける基準画像での対応する点である移動点Ｂが探索され、計測点Ａと移動点Ｂとを用いて２次元動きベクトルΔＸが算出される（ステップ２）。
【０００６】
次に、移動点Ｂの対応点が時刻ｔの参照画像から探索され、移動点Ｂと対応点とから移動点Ｂの３次元位置が算出される（ステップ３）。
【０００７】
次に、ステップ１及び３で求められた３次元位置の差分値が３次元動きベクトルとして算出される（ステップ４）。
【０００８】
特許文献１には、時刻Ｔ１において、右目用カメラＲＣ及び左目用カメラＬＣにより撮影された入力画像Ｒ１及びＬ１を用いて入力画像の各点における３次元位置を算出し、時刻Ｔ１での入力画像Ｌ１の各点に対する時刻Ｔ２での入力画像Ｌ１での対応点を求め、各点と対応点との３次元位置から３次元動きベクトルを求める移動検出方法が開示されている（段落［００２２］、［００２８］）。
【０００９】
特許文献２には、ステレオカメラ２により撮影された基準画像データ及び比較画像データをそれぞれ４×４の画素ブロックに分け、基準画像の各画素ブロックと相関の高い画素ブロックを比較画像データから探索して各画素ブロックの実空間上の位置を算出し、時系列的に前の基準画像上の画素ブロックが後の基準画像上のどの位置に変移したかを探索し、変移前後の画素ブロックの３次元位置から３次元動きベクトルを求める技術が開示されている（段落［００５７］〜［００６２］）。
【特許文献１】特開２００４−８４３８３号公報
【特許文献２】特開２００６−１３４０３５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記従来の運転支援システムでは、基準画像に設定された計測点Ａがフレーム毎に追跡され、追跡された各点の３次元位置が算出されているが、これら各点は基準画像上での配列順序が保持されないため、障害物の形状を精度良く計測することができなくなる。すなわち、障害物の形状計測は、通常、基準画像上に設定された各点の３次元位置を求め、近接する点の相対的な位置関係に基づいて各点に面を貼り付けることにより行われるが、上記従来の運転支援システムでは、追跡された各点が基準画像上に一定順序で配列されない場合があるため、このような場合には形状を認識することが困難になる。
【００１１】
また、上記従来の運転支援システムにおいて、追跡された各点に加えて一定間隔に配列された各点の３次元位置を更に求めて、障害物の形状計測を行うことも考えられるが、そうすると、処理コストが膨大になり、リアルタイム処理が困難になると共に、回路規模が増大してハードウエア化が困難になるといった問題が発生する。
【００１２】
また、特許文献１の手法では、時刻Ｔ１での入力画像Ｌ１の各点の対応点が時刻Ｔ２での入力画像Ｌ１から探索されているが、探索された対応点が３次元位置の算出対象の点になっていない場合は、３次元動きベクトルを求めることが困難になってしまう。そのため、特許文献１の手法において、３次元動きベクトルを確実に算出するためには、入力画像Ｌ１の各点の３次元位置を求める必要があり、処理コストが膨大となる。
【００１３】
また、特許文献２の手法では、画素ブロック単位で３次元位置が求められているため、形状計測を精度良く行うことができない。
【００１４】
本発明の目的は、処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行うことができる解析装置を提供することである。
【課題を解決するための手段】
【００１５】
（１）本発明による解析装置は、物体の動きを解析する解析装置であって、前記物体を時系列的に撮影する複数の撮影手段と、１の撮影手段により撮影された画像を基準画像、他の撮影手段により撮影された画像を参照画像として取得する画像取得手段と、各フレームの基準画像上において一定間隔で配列された所定の位置に３次元実空間における３次元位置の計測対象となる計測点を設定し、各計測点に隣接する面の傾斜情報を算出する傾斜情報算出手段と、各計測点の対応点を前記参照画像から探索することで、各計測点の３次元位置をフレーム毎に算出する３Ｄ位置算出手段と、注目フレーム対して時系列的に隣接する隣接フレームの基準画像において、前記注目フレームの各計測点の移動点を探索することで各計測点の２次元動きベクトルを算出する２Ｄ動きベクトル算出手段と、前記３Ｄ位置算出手段により算出された、前記注目フレームの各計測点と前記隣接フレームの各計測点との３次元位置の変化量を算出する変化量算出手段と、前記変化量算出手段により算出された変化量と、前記傾斜情報と、前記２次元動きベクトルとに基づいて、各計測点を基準としたときの各計測点に対応する前記移動点の３次元位置の変化量を推定し、推定した変化量を各計測点の３次元動きベクトルとして算出する３Ｄ動きベクトル算出手段とを備えることを特徴とする。
【００１６】
この構成によれば、基準画像上において一定間隔で配列された所定の位置に計測点が設定され、各計測点の対応点が参照画像から探索され、各計測点の３次元実空間上の３次元位置が算出されている。したがって、全フレームを通じて基準画像上において一定間隔に配列された同一点での３次元実空間上の位置情報を得ることが可能となり、物体の形状認識を行うことができる。
【００１７】
また、時系列的に前後する注目フレーム及び隣接フレーム間での計測点の３次元位置の変化量と、各計測点における面の傾斜情報と、２次元動きベクトルとに基づいて、前記注目フレームの計測点から、各計測点を基準としたときの各計測点に対応する移動点の３次元位置の変化量が推定され、推定された変化量が各計測点の３次元動きベクトルとして算出されている。
【００１８】
そのため、従来の手法のように計測点の隣接フレームにおける対応点の３次元位置を実際に算出しなくても、計測点の３次元動きベクトルを算出することが可能となり、処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行うことができる。
【００１９】
（２）また、前記隣接フレームは、前記注目フレームの時系列的に１つ後の次フレームであり、前記３Ｄ動きベクトル算出手段は、前記次フレームの各計測点の３次元動きベクトルを算出することが好ましい。この構成によれば、次フレームを取得した後で、現フレームの計測点の３次元動きベクトルが算出されることになる。
【００２０】
（３）また、前記隣接フレームは、前記注目フレームの時系列的に１つ前の前フレームであり、前記３Ｄ動きベクトル算出手段は、前記注目フレームの各計測点の３次元動きベクトルを算出することが好ましい。
【００２１】
この構成によれば、前フレームを用いて注目フレームの計測点の３次元動きベクトルが算出されているため、次フレームの取得を待たずに、計測点の３次元動きベクトルを算出することができる。
【００２２】
（４）また、前記傾斜情報算出手段は、前記計測点に隣接する面の法線ベクトルを前記傾斜情報として算出することが好ましい。この構成によれば、計測点に隣接する面の法線ベクトルが傾斜情報とされるため、計測点近傍の面の傾斜情報を精度良く表すことができる。
【００２３】
（５）また、前記３Ｄ動きベクトル算出手段は、３次元動きベクトルの算出対象となるフレームより時系列的に前のフレームの計測点における傾斜情報を用いて、３次元動きベクトルを算出することが好ましい。
【００２４】
この構成によれば、３次元動きベクトルの算出対象となるフレームより時系列的に前のフレームの計測点における傾斜情報を用いて、３次元動きベクトルが算出されるため、３次元動きベクトルの算出対象となるフレームにおける傾斜情報の算出を待たずに３次元動きベクトルを算出することができる。
【００２５】
（６）また、前記３Ｄ動きベクトル算出手段は、前記注目フレームの計測点の傾斜情報と前記隣接フレームの計測点の傾斜情報とを用いて、前記注目フレームの計測点の傾斜情報を補正し、補正した傾斜情報を用いて３次元動きベクトルを算出することが好ましい。
【００２６】
この構成によれば、注目フレームの計測点の傾斜情報と隣接フレームの計測点の傾斜情報とを用いて、注目フレームの計測点の傾斜情報が補正され、補正された傾斜情報を用いて３次元動きベクトルが算出されているため、傾斜情報の時系列的な変化を加味して３次元動きベクトルを算出することが可能となり、回転するような物体の３次元動きベクトルを精度よく算出することができる。
【００２７】
（７）また、前記傾斜情報算出手段は、前記計測点と、前記計測点の周囲の複数の計測点との３次元位置を用いて前記計測点の法線ベクトルを算出することが好ましい。この構成によれば、計測点と、計測点の周囲の複数の点との３次元位置を用いて法線ベクトルが算出されるため、法線ベクトルを精度良く算出することができる。
【００２８】
（８）前記傾斜情報算出手段は、前記計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルを算出し、得られた法線ベクトルの中間値を、前記計測点の傾斜情報として算出することが好ましい。
【００２９】
この構成によれば、計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルの中間値が傾斜情報とされるため、計測点に隣接する面の一部に途中で大きく折り曲がっているような面が含まれていても、この面の法線ベクトルが除外されて３次元動きベクトルが算出されることになり、３次元動きベクトルの算出精度を高めることができる。
【００３０】
（９）また、前記傾斜情報算出手段は、前記計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルを算出し、得られた法線ベクトルの最頻値を、前記計測点の傾斜情報として算出することが好ましい。
【００３１】
この構成によれば、計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルの最頻値が傾斜情報とされるため、計測点に隣接する面の一部に途中で大きく折り曲がっているような面が含まれていても、この面の法線ベクトルが除外されて３次元動きベクトルが算出されることになり、３次元動きベクトルの算出精度を高めることができる。
【発明の効果】
【００３２】
本発明によれば、処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行うことができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の一実施の形態による解析装置について説明する。図１は、本解析装置の全体構成図を示している。図１に示す解析装置は、自動車等の車体に搭載され、複数の撮影手段を用いて撮影された画像を用いて車体前方の物体の動きを解析するものであり、ステレオカメラ１０、演算部２０、及び表示部３０を備えている。ステレオカメラ１０は、左右一対のカメラ１１，１２（撮像手段の一例）により構成されている。図２は、ステレオカメラの設置箇所の一例を示した図である。ステレオカメラ１０は、図２（ａ）に示すように自車体のフロントガラスとウインドウとの間のピラーの上方に取り付けても良いし、図２（ｂ）に示すようにルーフのフロントガラス側に取り付けてもよい。いずれにせよ、ステレオカメラ１０は、自車体の前方に光軸が向くように取り付けられていればよい。
【００３４】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで自車体の前方を撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、自車体の前方を走行する自動車、自動二輪車、及び自転車、並びに自車体の前方を通行する通行人等の物体を撮影する。
【００３５】
演算部２０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるハードウエア装置により構成され、カメラ１１，１２で同一時刻に撮影された２枚の画像に後述する画像処理を施し、物体の動きを解析する。表示部３０は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算部２０による解析結果等の情報を表示する。ここで、表示部３０は、自車体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示部により構成してもよいし、カーナビゲーションシステムとは別の表示部により構成してもよい。
【００３６】
図３は、演算部２０の機能ブロック図である。図３に示すように演算部２０は、画像取得部２１（画像取得手段の一例）、傾斜情報算出部２２（傾斜情報算出手段の一例）、３Ｄ位置算出部２３（３Ｄ位置算出手段の一例）、２Ｄ動きベクトル算出部２４（２Ｄ動きベクトル算出手段の一例）、変化量算出部２５（変化量算出手段の一例）、３Ｄ動きベクトル算出部２６（３Ｄ動きベクトル算出手段の一例）、及び報知制御部２７を備えている。なお、画像取得部２１〜報知制御部２７は、それぞれ専用のハードウエア回路により構成してもよいし、１チップ化して１つの集積回路により構成してもよいし、ＣＰＵに所定のプログラムを実行させることで構成してもよい。
【００３７】
画像取得部２１は、カメラ１１により撮影された画像を基準画像、カメラ１２により撮影された画像を参照画像として取得し、図略のメモリに記憶する。ここで、画像取得部２１は、カメラ１１及び１２により同一時刻で撮影された基準画像及び参照画像を１秒あたり３０枚といった所定のフレームレートで順次取得する。基準画像及び参照画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたデジタルの画像データを採用することができる。
【００３８】
傾斜情報算出部２２は、各フレームの基準画像上において一定間隔で配列された所定の位置に３次元実空間における３次元位置の計測対象となる計測点を設定し、各計測点に隣接する面の傾斜情報を算出する。これにより、各計測点は全フレームを通じて基準画像上の同一座標に位置することになり、形状認識を行うことが可能となる。また、基準画像上に設定される計測点の間隔としては、例えば１枚の基準画像において設定される計測点の個数が、物体の形状を精度良く計測でき、かつ、リアルタイム処理を実現することが可能な個数となるような予め定められた間隔を採用することができる。
【００３９】
また、傾斜情報としては、計測点に隣接する面の法線ベクトルを傾斜情報として採用することができる。計測点に隣接する面の法線ベクトルとしては、計測点と、当該計測点に隣接する他の複数の計測点とによって貼られる平面の法線ベクトルを採用することができる。また、この場合、計測点に隣接する３つ以上の面のそれぞれの法線ベクトルの平均値を求め、この平均値を計測点の傾斜情報として採用することができる。こうすることで、計測点付近の物体の面の情報をより正確に傾斜情報に取り入れることができ、後述する３Ｄ動きベクトル算出部２６による演算精度を高めることができる。
【００４０】
更に、３つ以上の面のそれぞれの法線ベクトルの平均値に代えて、中央値又は最頻値を傾斜情報として採用することができる。この場合、計測点に隣接する複数の面の一部に途中で大きく折り曲がっているような面が含まれていても、この面の法線ベクトルが除外されて傾斜情報が算出されるため、計測点の傾斜情報が折り曲がった面の法線ベクトルの影響によって本来の向きからずれてしまうことを防止することができる。
【００４１】
３Ｄ位置算出部２３は、各計測点の対応点を参照画像から探索することで、各計測点の３次元実空間における３次元位置をフレーム毎に算出する。ここで、３Ｄ位置算出部２３は、１枚の基準画像上の計測点を順次注目点として設定し、ＰＯＣ（位相限定相関法）やＳＡＤ等の探索手法を用いて参照画像から当該注目点の対応点を探索し、探索した対応点と注目点とを基に、ステレオ法を用いて計測点の３次元位置を算出する。
【００４２】
２Ｄ動きベクトル算出部２４は、注目フレーム対して時系列的に隣接する隣接フレームの基準画像において、注目フレームの計測点の移動点をＰＯＣやＳＡＤといった探索手法を用いて探索することで計測点の２次元動きベクトルを算出する。ここで、２次元動きベクトルとしては、注目フレームの計測点の基準画像上における座標と当該計測点の移動点の基準画像上における座標との差分ベクトルを採用することができる。
【００４３】
変化量算出部２５は、３Ｄ位置算出部２３により算出された、注目フレームの計測点と隣接フレームの計測点との３次元位置の変化量を算出する。具体的には、変化量算出部２５は、注目フレームの基準画像及び隣接フレームの基準画像において、座標を同じとする計測点同士の３次元位置の差分値を３次元位置の変化量として算出する。
【００４４】
３Ｄ動きベクトル算出部２６は、変化量算出部２５により算出された３次元位置の変化量と、傾斜情報算出部２２により算出された傾斜情報と、２Ｄ動きベクトル算出部２４により算出された２次元動きベクトルとに基づいて、各計測点を基準としたときの各計測点に対応する移動点の３次元位置の変化量を推定し、推定した変化量を各計測点の３次元動きベクトルとして算出する。具体的には、３Ｄ動きベクトル算出部２６は、変化量算出部２５により算出された計測点の３次元位置の変化量を、当該計測点の２次元動きベクトルと、当該計測点の傾斜情報とを用いて補正し、補正した３次元位置の変化量と、２次元動きベクトルとのベクトル和を求めることで当該計測点の３次元動きベクトルを算出する。
【００４５】
報知制御部２７は、３Ｄ位置算出部２３により算出された各計測点の３次元位置及び３次元動きベクトルから、ステレオカメラ１０により撮影されたシーンに含まれる各物体を特定し、特定した各物体上の各計測点の３次元動きベクトルと自車体とが交差するか否かを判定し、交差する場合は、当該物体を障害物と判定し、障害物が自車体に迫っていることをユーザに報知するための情報を生成し、表示部３０に出力する。ここで、ユーザに報知するための情報としては、画像情報及び音声情報の少なくともいずれか一方を採用すればよく、音声情報は表示部３０が備える図略のスピーカから出力される。
【００４６】
また、報知制御部２７は、各計測点の３次元位置の隣接する３点間に三角形の面を貼ることで、物体の形状を認識する。なお、三角形の面を貼ることに代えて、３次元位置の隣接する４点間又は５点間に四角形又は五角形の面を貼るというように、隣接するｋ個の３次元位置にｋ角形の面を貼ることで、物体の形状を認識してもよい。
【００４７】
次に、本解析装置の動作について説明する。本解析装置は、後述する第１〜第３の手法を用いて３次元動きベクトルを算出することができる。まず、第１の手法について説明する。第１の手法は、隣接フレームを、注目フレームより時系列的に１つ後の次フレームとし、３Ｄ動きベクトル算出部２６が、次フレームの各計測点の３次元動きベクトルを算出することを特徴とする。
【００４８】
図４は、第１の手法を採用した場合の本解析装置の動作を示すフローチャートである。なお、図１のフローチャートはステレオカメラ１０により各フレームの基準画像及び参照画像が取得される毎に実行される。
【００４９】
まず、ステップＳ１において、画像取得部２１は、ステレオカメラ１０により撮影された自車体前方のシーンをとらえた基準画像と参照画像とを次フレームとして取得し、図略のメモリに記憶する。なお、本実施の形態においては、ステレオカメラ１０の収差は良好に補正され、かつ、水平方向に対して平行に設置されているものとするが、ステレオカメラ１０がこれらの条件を満たしていない場合は、所定の画像処理により上記条件を満たす画像を取得すればよい。画像取得部２１は、Δｔの時間間隔で、基準画像及び参照画像を順次取得するものとする。
【００５０】
図５は、ステップＳ１で取得される基準画像と参照画像との一例を示した図である。図５において上段の２枚の画像は、時刻ｔ−Δｔにおける基準画像と参照画像とを示し、下段の２枚の画像は、時刻ｔにおける基準画像と参照画像とを示している。図５に示すように、各時刻において、前方を走行するトラックを物体としてとらえた基準画像と参照画像とが取得されていることが分かる。以下、時刻ｔ−Δｔのフレームが注目フレームを示し、時刻ｔのフレームが次フレームを示すものとする。
【００５１】
図４に戻り、ステップＳ２において、３Ｄ位置算出部２３は、画像取得部２１により時刻ｔにて取得された基準画像の各計測点の３次元位置を時刻ｔにて取得された参照画像を用いて算出し、図略のメモリに記憶する。図６は、ステップＳ２の処理の詳細を示したフローチャートである。まず、ステップＳ２１において、３Ｄ位置算出部２３は、基準画像上の計測点を注目点として順次設定するためのスキャンが終了したか否かを判定し、スキャンが終了した場合は（ステップＳ２１でＹＥＳ）、処理を図４に示すステップＳ３に進め、スキャンが終了しない場合は（ステップＳ２１でＮＯ）、基準画像上の計測点のうちいずれか１の計測点が注目点として設定される（ステップＳ２２）。図７は、３Ｄ位置算出部２３による注目点の設定処理を示した図である。図７（ａ）に示すように、３Ｄ位置算出部２３は、基準画像を例えば左上から右下に向けてラスタスキャンするように、基準画像上の計測点を注目点として順次設定する。そして、基準画像上、右下の計測点に対する３次元位置が算出されると、ステップＳ２１でＮＯと判定し、処理を終了する。
【００５２】
ステップＳ２３において、ステップＳ２２で設定した注目点に対する対応点を参照画像からＰＯＣを用いて探索する対応点探索処理が実行される。図８は、対応点探索処理を示すフローチャートである。まず、ステップＳ２３１，Ｓ２３２において、基準画像及び参照画像のそれぞれに参照ウインドウ及び基準ウインドウが設定される。図９は基準ウインドウ及び参照ウインドウの説明図であり、図９（ａ）は、基準画像に設定される基準ウインドウＷ１を示した図であり、図９（ｂ）は参照画像に設定される参照ウインドウＷ２を示した図である。基準ウインドウＷ１及び参照ウインドウＷ２はそれぞれ同じサイズを有し、例えば、３１×３１のサイズのものを採用することができる。図９（ａ）に示すように基準画像上に設定された注目点ＣＰに中心が位置するように基準ウインドウＷ１が設定され、図９（ｂ）に示すように参照画像上に参照ウインドウＷ２が設定され、参照ウインドウＷ２が参照画像上でラスタスキャンするようにスライドされていることが分かる。
【００５３】
図８に戻り、ステップＳ２３３，Ｓ２３４において、基準ウインドウＷ１内の画像ｆ（ｎ１，ｎ２）及び参照ウインドウＷ２内の画像ｇ（ｎ１，ｎ２）のそれぞれに離散フーリエ変換が施され、画像Ｆ（ｋ１，ｋ２）及び画像Ｇ（ｋ１，ｋ２）が生成される。
【００５４】
次に、ステップＳ２３５において、画像Ｆ（ｋ１，ｋ２）と、画像Ｇ（ｋ１，ｋ２）の複素共役とが乗じられ、相関画像Ｒ（ｋ１，ｋ２）が算出される。図１０は、ステップＳ２３５の処理を示した図である。図１０の左上のグラフは、画像Ｆ（ｋ１，ｋ２）の振幅及び位相成分を示し、左下のグラフは画像Ｇ（ｋ１，ｋ２）の振幅及び位相成分を示し、右のグラフは相関画像Ｒ（ｋ１，ｋ２）の振幅及び位相成分を示している。図１０の右のグラフに示すように画像Ｆ（ｋ１，ｋ２）と画像Ｇ（ｋ１，ｋ２）との相関が相関画像Ｒ（ｋ１，ｋ２）の位相成分の傾きに反映され、位相成分を用いて、画像Ｆ（ｋ１，ｋ２）と画像Ｇ（ｋ１，ｋ２）との相関を求めることができる。
【００５５】
なお、相関画像Ｒ（ｋ１，ｋ２）としては、位相成分の傾きをロバストに推定するために、周波数成分毎に重み付けをして算出してもよい。図１１は、周波数成分毎に重み付けが施された相関画像Ｒ（ｋ１，ｋ２）の算出処理を示した図である。
【００５６】
まず、図１１（ａ）に示すように、Ｆ（ｋ１，ｋ２）とＧ（ｋ１，ｋ２）の複素共役とが乗じられる。次に、図１１（ｂ）に示すように、この乗じた値が規格化され、相関画像Ｒ´（ｋ１，ｋ２）が求められる。次に、図１１（ｃ）に示すように、Ｒ´（ｋ１，ｋ２）に例えばほぼステップ状の重み付け関数Ｈ（ｋ１，ｋ２）が乗じられ、相関画像Ｒ（ｋ１，ｋ２）が求められる。
【００５７】
図８に戻り、ステップＳ２３６において、Ｒ（ｋ１，ｋ２）が離散フーリエ逆変換され、ＰＯＣ関数ｒ（ｎ１，ｎ２）が算出される。ここで、離散フーリエ逆変換としては式（１）を採用することができる。
【００５８】
【数１】
【００５９】
但し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、水平直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示す。
【００６０】
図１２は、ＰＯＣ関数ｒ（ｋ１，ｋ２）を示したグラフである。このグラフにおいて、ｎ１軸及びｎ２軸は、基準ウインドウ及び参照ウインドウ内の各座標を表し、ｚ軸はＰＯＣ値を示している。図１２に示すようにＰＯＣ関数は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは画像ｆ及び画像ｇの相関が高いほど大きくなる。したがって、画像ｆ及び画像ｇの類似度として、例えば相関ピークの高さを採用することで、画像ｆ及び画像ｇがどれだけ近似しているかを示すことが可能となる。
【００６１】
そして、この類似度を参照ウインドウ内の画像の中心点の類似度として採用し、図９（ｂ）に示すように参照ウインドウＷ２を参照画像上で例えばラスタスキャンするようにスライドしながら、類似度が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目点の対応点として算出する（ステップＳ２３７）。
【００６２】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、類似度はピクセルレベルの分解能で算出されることになる。そこで、探索範囲内においてピクセルレベルで算出された類似度に補間処理を施して、ピクセルレベルよりも小さな分解能であるサブピクセルレベルで類似度を求め、サブピクセルレベルで求めた類似度のうち最も高い類似度の位置を注目点の対応点として特定してもよい。このように、サブピクセルレベルで対応点を探索すると対応点の探索精度を上げることが可能となる。
【００６３】
図６に戻り、ステップＳ２４において、３Ｄ位置算出部２３は、注目点として設定された計測点と対応点との３次元位置を基に、ステレオ法による測距方法を用いて計測点の３次元位置を求める。図１３は、ステレオ法による測距方法の説明図である。
【００６４】
図１３において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮影面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、撮影面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、点Ｐの３次元位置Ｐ（Ｘ，Ｙ，Ｚ）は、Ｚ＝（Ｌ×ｆ）／（μ×ｄ）、Ｘ＝ｘ・（Ｚ／ｆ）、Ｙ＝ｙ・（Ｚ／ｆ）により求めることができる。但し、ｘ，ｙは基準画像上の注目点の座標を示している。
【００６５】
図４に戻り、ステップＳ３において、変化量算出部２５は、時刻ｔにおける計測点Ａｎの３次元位置（Ｘｔｎ，Ｙｔｎ，Ｚｔｎ）から、時刻ｔ−Δｔにおける計測点Ａｎの３次元位置Ｐｎ（Ｘｔ−Δｔｎ，Ｙｔ−Δｔｎ，Ｚｔ−Δｔｎ）を減じて、計測点Ａｎの３次元位置の変化量ΔＺを算出する。ただし、ｎは計測点の番号（１〜Ｎ（正の整数））を示す。
【００６６】
ステップＳ４において、傾斜情報算出部２２は、３Ｄ位置算出部２３で算出された各計測点の３次元位置を用いて各計測点の傾斜情報を求める。図１４は、傾斜情報の算出処理の説明図である。図１４に示すように、傾斜情報算出部２２は、計測点Ａｉ，ｊの３次元位置Ｐｉ，ｊと、計測点Ａｉ，ｊの上下左右に隣接する４個の計測点の３次元位置Ｐｉ，ｊ−１、Ｐｉ，ｊ＋１、Ｐｉ−１，ｊ、Ｐｉ＋１，ｊとによって貼られる４つの三角形Ｔｒ１〜Ｔｒ４のそれぞれの法線ベクトルＮ１〜Ｎ４を求め、法線ベクトルＮ１〜Ｎ４の平均値Ｎ（＝（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）／４）を、計測点Ａｉ，ｊの傾斜情報として算出する。ここで、ｉ及びｊは水平及び垂直方向の座標を示す。また、法線ベクトルＮ１〜Ｎ４は、Ｎ１＝（Ｐｉ，ｊ−１−Ｐｉ，ｊ）×（Ｐｉ＋１，ｊ−Ｐｉ，ｊ）、Ｎ２＝（Ｐｉ＋１，ｊ−Ｐｉ，ｊ）×（Ｐｉ，ｊ＋１−Ｐｉ，ｊ）、Ｎ３＝（Ｐｉ，ｊ＋１−Ｐｉ，ｊ）×（Ｐｉ−１，ｊ−Ｐｉ，ｊ）、Ｎ４＝（Ｐｉ−１，ｊ−Ｐｉ，ｊ）×（Ｐｉ，ｊ−１−Ｐｉ，ｊ）により求められる。これにより、計測点Ａｎ付近の面の傾きを精度良く取り入れた傾斜情報を得ることができる。
【００６７】
図１５は、傾斜情報の算出手法の他の一例を示した図である。図１５の場合、傾斜情報算出部２２は、計測点Ａｎの８近傍の計測点によって貼られる８個の三角形Ｔｒ１〜Ｔｒ８のそれぞれの法線ベクトルＮ１〜Ｎ８を求め、法線ベクトルＮ１〜Ｎ８の平均値を計測点Ａｎの傾斜情報として算出している。
【００６８】
ここで、傾斜情報算出部２２は、法線ベクトルＮ１〜Ｎ８の平均値に代えて中央値Ｎ＝ｍｅｄｉａｎ（Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７，Ｎ８）、又は最頻値Ｎ＝最頻値（Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７，Ｎ８）を計測点Ａｎの傾斜情報として採用してもよい。
【００６９】
これにより、図１５に示すように計測点Ａｎに隣接する一部の三角形Ｔｒ１〜Ｔｒ３が点線で示す位置で大きく折れ曲がっている場合であっても、法線ベクトルＮ１〜Ｎ３が除外されて傾斜情報が算出されるため、計測点Ａｎの傾斜情報が法線ベクトルＮ１〜Ｎ３の影響によって本来の向きからずれてしまうことを防止することができる。
【００７０】
また、傾斜情報算出部２２は、計測点Ａｎに隣接する面のみならず、計測点Ａｎの周囲の複数の面の法線ベクトルの平均値、中央値、又は最頻値を計測点Ａｎの傾斜情報として採用してもよい。また、傾斜情報算出部２２は、計測点Ａｎが道路面に該当するような場合は、大局的な平面近似を行うことで傾斜情報を算出してもよい。
【００７１】
図４に戻り、ステップＳ５において、２Ｄ動きベクトル算出部２４は、２次元動きベクトルを算出する。図１６、図１７は、２次元動きベクトルの算出処理の説明図である。図１６に示すように、２Ｄ動きベクトル算出部２４は、時刻ｔ−Δｔの基準画像上の計測点Ａｎ（ｘｎｔ−Δｔ，ｙｎｔ−Δｔ）を注目点として設定し、ステップＳ２と同様にして、ＰＯＣを用いて時刻ｔの基準画像から計測点Ａｎ（ｘｎｔ−Δｔ，ｙｎｔ−Δｔ）に対応する点である移動点Ａ´ｎ（ｘ´ｎｔ，ｙ´ｎｔ）を探索し、Ａ´ｎ（ｘ´ｎｔ，ｙ´ｎｔ）−Ａｎ（ｘｎｔ−Δｔ，ｙｎｔ−Δｔ）により、２次元動きベクトルΔＸを算出する。ただし、ΔＸをΔＸ（Δｘ，Δｙ）とすると、Δｘ＝ｘ´ｎｔ−ｘｎｔ−Δｔ、Δｙ＝ｙ´ｎｔ−ｙｎｔ−Δｔである。
【００７２】
そして、２Ｄ動きベクトル算出部２４は、他の計測点についても同様にして２次元動きベクトルを算出する。図１７に示すように、各計測点において矢印で示す２次元動きベクトルが算出されていることが分かる。
【００７３】
図４に戻り、ステップＳ６において、３Ｄ動きベクトル算出部２６は、ステップＳ３で算出された各計測点の３次元位置の変化量ΔＺを下記に示す式（２）に従って補正する。
【００７４】
ΔＺ´＝ΔＺ＋（ΔＺ／｜ΔＺ｜）・Ｎ・ΔＸ （２）
ここで、Ｎは、各計測点の傾斜情報を示し、ΔＸは２次元動きベクトル示す。また、傾斜情報Ｎとしては、時刻ｔ−Δｔのフレームで算出されたものが採用される。ステップＳ７において、３Ｄ動きベクトル算出部２６は、補正した変化量ΔＺ´に２次元動きベクトルΔＸを加えることで、時刻ｔ、すなわち次フレームにおける計測点Ａの３次元動きベクトルを算出する。
【００７５】
図１８は、第１の手法の説明図である。図１８において、境界線Ｌ１は時刻ｔ−Δｔにおける物体の上面視からの表面を示し、境界線Ｌ２は時刻ｔにおける物体の上面視からの表面を示す。また、αはステレオカメラ１０の光軸方向を示し、βは光軸方向に直交する平面上であって水平方向に平行な方向を示している。
【００７６】
図１８に示すように、計測点Ａの時刻ｔ−Δｔにおける３次元位置をＰＡｔ−Δｔとし、計測点Ａの時刻ｔでの移動点の３次元位置をＰ´Ａｔとし、境界線Ｌ１及びＬ２を平行とすると、計測点Ａの時刻ｔにおける３次元動きベクトルＶ１は、Ｖ１＝ΔＸ＋ΔＺ´で表される。したがって、３Ｄ動きベクトル算出部２６は、ΔＸと式（２）に示すΔＺ´とのベクトル和を求めることで、移動点の３次元位置であるＰ´Ａｔを実際に求めることなく、計測点Ａの時刻ｔにおける３次元動きベクトルＶ１を算出することが可能となる。
【００７７】
すなわち、従来の手法では、Ｐ´Ａｔを対応点探索処理により算出して計測点Ａの３次元動きベクトルが算出されていたため、処理コストが大きくなっていたが、本解析装置では、時刻ｔ−Δｔの計測点Ａを基準としたときの計測点Ａに対応する移動点Ａ´の３次元位置の変化量を推定し、推定した変化量を計測点Ａの３次元動きベクトルＶ１として算出しているため、処理コストを大幅に低減させることができる。
【００７８】
図４に戻り、ステップＳ８において、報知制御部２７は、各計測点における３次元位置からステレオカメラ１０により撮影されたシーンに含まれる物体を検出し、各計測点における３次元動きベクトルを用いて物体の動きを解析する。ここで、報知制御部２７は、ある物体上の計測点の３次元動きベクトルを延長し、延長した３次元動きベクトルが予め定められた３次元実空間に対応する仮想３次元空間上に設定された自車体の前面を示す領域に交差する場合、当該物体を障害物と判定する。
【００７９】
なお、ある物体上に複数の計測点が存在する場合、少なくとも１つの３次元動きベクトルが自車体の前面の領域に交差するとき、当該物体を障害物と判定してもよい。ここで、報知制御部２７は、計測点の３つの成分のうち、ステレオカメラ１０の光軸方向と平行な成分を奥行き成分とすると、例えば奥行き成分が近似し、かつ、動きベクトルがほぼ同一方向を向く連続する計測点を１つの物体の計測点として判定すればよい。
【００８０】
図１９は、報知制御部２７の処理の説明図である。図１９に示すように、報知制御部２７は、物体ＯＢ１上の計測点Ａ，Ｂの３次元動きベクトルＶ１を延長し、延長した３次元動きベクトルＶ１が自車体領域ＤＳ１の前面ＤＳ１１に交差する場合、物体ＯＢ１を障害物として判定し、交差しない場合は障害物と判定しない。したがって、図１９に示すガードレールＧ１や、道路面ＳＦ１などは、３次元動きベクトルＶ１が自車体領域ＤＳ１の左右側面に向かっており、自車体領域ＤＳ１の前面ＤＳ１１と交差しないため、障害物として判定されない。
【００８１】
また、物体ＯＢ１が前進しているとすると、３次元動きベクトルは小さくなるが、物体ＯＢ１が自車体より遅い速度で走行している場合は、３次元動きベクトルが自車体に向かうため、障害物と判定される。逆に、物体ＯＢ１が、自車体よりも速く走行している場合は、動きベクトルは自車体とは逆方向を向くので、障害物と判定されない。更に、異なる車線を走行している物体も障害物と判定されない。
【００８２】
図４に戻り、ステップＳ９において、報知制御部２７は、各物体上の計測点の３次元位置の隣接する３点に三角形の面を貼り付け、各物体の形状を認識する。
【００８３】
ステップＳ１０において、報知制御部２７は、障害物が自車体に迫っていることを示す情報を生成し、表示部３０に表示し、ユーザに報知する。ここで、報知制御部２７は、例えば、障害物までの距離が一定の範囲以下である場合に障害物が自車体に迫っていることを報知してもよい。また、３次元動きベクトルＶ１が前面ＤＳ１１の左、中、右のいずれの位置に交差するかを判定し、交差する位置応じて、自車体のどの部分に障害物が迫っているかを報知してもよい。また、複数の障害物が存在する場合は、各障害物が自車体に迫っていることを報知すればよいし、障害物毎に自車体のどの部分に障害物が迫っているかを報知してもよい。
【００８４】
また、この報知において先に求めた（認識した）物体の形状を用いてもよい。その場合、報知するかの決定に形状情報を利用しても良いし、報知する際に例えば、障害物が人であるとか車である等の形状情報を付加情報としてもよい。
【００８５】
次に、第２の手法を採用した場合の本解析装置の動作について説明する。図２０は、第２の手法を採用した場合の本解析装置の動作を示すフローチャートである。第２の手法は、隣接フレームを注目フレームよりも時系列的に１つ前の前フレームとし、３Ｄ動きベクトル算出部２６が、注目フレームの各計測点の３次元動きベクトルを算出することを特徴とするものである。
【００８６】
まず、ステップＳ１０１において、画像取得部２１は、ステレオカメラ１０により撮影された自車体前方のシーンをとらえた基準画像と参照画像とを注目フレームとして取得し、図略のメモリに記憶する。
【００８７】
ステップＳ１０２〜Ｓ１０４の処理は、時刻ｔ−Δｔのフレームを前フレームとし、時刻ｔのフレームを注目フレームとする以外は、図４のステップＳ２〜Ｓ４と同一であるため、説明を省略する。
【００８８】
ステップＳ１０５において、２Ｄ動きベクトル算出部２４は、２次元動きベクトルを算出する。図２１は、第２の手法の説明図である。図４に示すステップＳ５との相違点は、図２１の点線の丸に示すように、計測点Ａの移動点を次フレームではなく、注目フレームの前フレーム、すなわち、時刻ｔ−Δｔの基準画像から探索する点にある。したがって、２Ｄ動きベクトル算出部２４は、時刻ｔの基準画像上の計測点Ａ（ｘｔ，ｙｔ）を注目点として設定し、ＰＯＣを用いて時刻ｔ−Δｔの基準画像から計測点Ａ（ｘｔ，ｙｔ）に対応する点である移動点Ａ´（ｘ´ｔ−Δｔ，ｙ´ｔ−Δｔ）を探索し、Ａ（ｘｔ，ｙｔ）−Ａ´（ｘ´ｔ−Δｔ，ｙ´ｔ−Δｔ）により、２次元動きベクトルΔＸを算出する。
【００８９】
図２０に戻り、ステップＳ１０６において、３Ｄ動きベクトル算出部２６は、ステップＳ６と同様にして、式（２）を用いて、各計測点の３次元位置の変化量ΔＺを補正する。ステップＳ１０７において、３Ｄ動きベクトル算出部２６は、補正した変化量ΔＺ´に２次元動きベクトルΔＸを加えることで、時刻ｔ、すなわち注目フレームにおける計測点Ａの３次元動きベクトルを算出する。
【００９０】
図２１に示すように、計測点Ａの時刻ｔにおける３次元位置をＰＡｔとし、計測点Ａの時刻ｔ−Δｔでの移動点の３次元位置をＰ´Ａｔ−Δｔとすると、境界線Ｌ１及びＬ２が平行である場合、計測点Ａの時刻ｔにおける３次元動きベクトルＶ１は、Ｖ１＝ΔＸ＋ΔＺ´で表される。したがって、３Ｄ動きベクトル算出部２６は、ΔＸと式（２）に示すΔＺ´とのベクトル和を求めることで、移動点の３次元位置であるＰ´Ａｔ−Δｔを実際に求めることなく、計測点Ａの時刻ｔにおける３次元動きベクトルを算出することが可能となり、処理コストを従来の手法に比べて大幅に低減することができる。
【００９１】
また、第２の手法では、既に取得済みの前フレームを用いて３次元動きベクトルが算出されているため、次フレームの取得を待たずに、注目フレームの３次元動きベクトルを算出することができる。ステップＳ１０８〜Ｓ１１０はステップＳ８〜Ｓ１０と同一であるため、説明を省略する。
【００９２】
次に、第３の手法を採用した場合の本解析装置の動作について説明する。図２２は、第３の手法を採用した場合の本解析装置の動作を示すフローチャートである。また、図２３は、第３の手法の説明図である。第３の手法は、第２の手法において、更に傾斜情報を補正する点を特徴としている。
【００９３】
ステップＳ２０１〜２０５の処理は、図２０のステップＳ１０１〜Ｓ１０５と同一であるため、説明を省略する。
【００９４】
ステップＳ２０６において、３Ｄ動きベクトル算出部２６は、図２３に示すように時刻ｔ−Δｔにおける計測点Ａの傾斜情報Ｎｔ−Δｔを、時刻ｔにおける計測点Ａの傾斜情報Ｎｔを用いて補正する。傾斜情報Ｎｔ−Δｔの補正値としては、Ｎｔ−ΔｔとＮｔとの平均値である（Ｎｔ−Δｔ＋Ｎｔ）／２を採用することができる。このように、傾斜情報を補正することで、時刻ｔ−Δｔから時刻ｔにおいて計測点Ａに隣接する面の向きが変化した場合であっても、３次元動きベクトルを精度良く算出することができ、回転するような物体の３次元動きベクトルを精度良く算出することができる。
【００９５】
ステップＳ２０７において、３Ｄ動きベクトル算出部２６は、ステップＳ２０３で算出された各計測点の３次元位置の変化量ΔＺを下記に示す式（３）に従って補正する。
【００９６】
ΔＺ´＝ΔＺ＋（ΔＺ／｜ΔＺ｜）・（（Ｎｔ−Δｔ＋Ｎｔ）／２）・ΔＸ （３）
ステップＳ２０８において、３Ｄ動きベクトル算出部２６は、注目フレームの３Ｄ動きベクトルを算出する。図２３に示すように、ΔＺ´がΔＺと（ΔＺ／｜ΔＺ｜）・（（Ｎｔ−Δｔ＋Ｎｔ）／２）・ΔＸとのベクトル和が求められ、更に、このベクトル和とΔＸとのベクトル和とが求められ、時刻ｔの計測点Ａにおける３次元動きベクトルＶ１が算出されていることが分かる。ステップＳ２０９〜Ｓ２１１の処理は図２０のステップＳ１０８〜１１０と同一であるため、説明を省略する。なお、図２２に示すフローチャートは第２の手法に傾斜情報を補正する処理を加えているが、第１の手法に傾斜情報を補正する処理を加えても良い。
【００９７】
このように、本解析装置によれば、基準画像上において一定間隔で配列された所定の位置に計測点が設定され、各計測点の対応点が参照画像から探索され、各計測点の３次元実空間上の３次元位置が算出されている。したがって、全フレームを通じて基準画像上において一定間隔に配列された同一点での３次元実空間上の位置情報を得ることが可能となり、物体の形状認識を行うことができる。
【００９８】
また、時系列的に前後する注目フレーム及び隣接フレーム間での計測点の３次元位置の変化量と、各計測点における面の傾斜情報と、２次元動きベクトルとに基づいて、注目フレームの計測点から、各計測点を基準としたときの各計測点に対応する移動点の３次元位置の変化量が推定され、推定された変化量が各計測点の３次元動きベクトルとして算出されている。
【００９９】
そのため、従来の手法のように計測点の隣接フレームにおける対応点の３次元位置を実際に算出しなくても、計測点の３次元動きベクトルを算出することが可能となり、処理コストを増大させることなく、３次元動きベクトルと物体の形状計測とを精度良く行うことができる。
【０１００】
なお、上記説明では解析装置を車両に搭載した場合を例に挙げて説明したが、本発明の解析装置は、これに限定されず、人間のジェスチャを認識するジェスチャ解析装置に適用してもよい。図２４は、ジェスチャ解析装置の説明図である。図２４に示す白丸及び黒丸は計測点ＷＡ及びＢＡを示している。黒丸の計測点ＢＡは、白丸の計測点ＷＡに比べて３次元位置がジェスチャ解析装置に近い。そのため、ジェスチャ解析装置は、計測点ＢＡは人間上の計測点を表すものと判定する。そして、計測点ＢＡの３次元動きベクトルを解析し、ジェスチャを認識する。図２４の場合、左腕に相当する部位上の計測点ＢＡの３次元動きベクトルが右斜め上方を向いているため、この人間は、右腕を上げている動作を行っていると認識される。また、頭、胴体、及び右腕に相当する部位上の計測点ＢＡの動きベクトルは０であるため、これらの部位は静止していると認識される。
【０１０１】
上記説明では、参照画像を１枚としたが、これに限定されず、ステレオカメラ１０を３台以上のカメラにより構成し、複数枚の参照画像を用いて３次元動きベクトルを算出してもよい。この場合、３Ｄ位置算出部２３は、基準画像上に設定した各計測点の対応点を複数の参照画像のそれぞれから探索する。そして、ある計測点と当該計測点に対する複数の対応点との各ペアの視差を求め、これらの視差の平均視差を用いて計測点の３次元位置を算出してもよい。これにより、３次元位置の算出精度を高めることが可能となる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の一実施の形態による解析装置の全体構成図を示している。
【図２】ステレオカメラの設置箇所の一例を示した図である。
【図３】演算部の機能ブロック図を示している。
【図４】第１の手法を採用した場合の解析装置の動作を示すフローチャートである。
【図５】基準画像と参照画像との一例を示した図である。
【図６】３次元位置算出処理の詳細を示したフローチャートである。
【図７】３Ｄ位置算出部による注目点の設定処理を示した図である。
【図８】対応点探索処理の流れを示すフローチャートである。
【図９】基準ウインドウ及び参照ウインドウの説明図である。
【図１０】図８に示すステップＳ２３５の処理を示した図である。
【図１１】周波数成分毎に重み付けされた相関画像の算出処理を示した図である。
【図１２】ＰＯＣ関数を示したグラフである。
【図１３】ステレオ法による測距方法の説明図である。
【図１４】傾斜情報の算出処理の説明図である。
【図１５】傾斜情報の算出手法の他の一例を示した図である。
【図１６】２次元動きベクトルの算出処理の説明図である。
【図１７】２次元動きベクトルの算出処理の説明図である。
【図１８】第１の手法の説明図である。
【図１９】報知制御部の処理の説明図である。
【図２０】第２の手法を採用した場合の解析装置の動作を示すフローチャートである。
【図２１】第２の手法の説明図である。
【図２２】第３の手法を採用した場合の本解析装置の動作を示すフローチャートである。
【図２３】第３の手法の説明図である。
【図２４】ジェスチャ解析装置の説明図である。
【図２５】従来の運転支援システムにおいて採用される障害物の３次元動きベクトルの算出手法を示した図である。
【図２６】図２５の処理を示すフローチャートである。
【符号の説明】
【０１０３】
１０ ステレオカメラ
２０ 演算部
２１ 画像取得部
２２ 傾斜情報算出部
２３ ３Ｄ位置算出部
２４ ２Ｄ動きベクトル算出部
２５ 変化量算出部
２６ ３Ｄ動きベクトル算出部
２７ 報知制御部
３０ 表示部
【特許請求の範囲】
【請求項１】
物体の動きを解析する解析装置であって、
前記物体を時系列的に撮影する複数の撮影手段と、
１の撮影手段により撮影された画像を基準画像、他の撮影手段により撮影された画像を参照画像として取得する画像取得手段と、
各フレームの基準画像上において一定間隔で配列された所定の位置に３次元実空間における３次元位置の計測対象となる計測点を設定し、各計測点に隣接する面の傾斜情報を算出する傾斜情報算出手段と、
各計測点の対応点を前記参照画像から探索することで、各計測点の３次元位置をフレーム毎に算出する３Ｄ位置算出手段と、
注目フレーム対して時系列的に隣接する隣接フレームの基準画像において、前記注目フレームの各計測点の移動点を探索することで各計測点の２次元動きベクトルを算出する２Ｄ動きベクトル算出手段と、
前記３Ｄ位置算出手段により算出された、前記注目フレームの各計測点と前記隣接フレームの各計測点との３次元位置の変化量を算出する変化量算出手段と、
前記変化量算出手段により算出された変化量と、前記傾斜情報と、前記２次元動きベクトルとに基づいて、各計測点を基準としたときの各計測点に対応する前記移動点の３次元位置の変化量を推定し、推定した変化量を各計測点の３次元動きベクトルとして算出する３Ｄ動きベクトル算出手段とを備えることを特徴とする解析装置。
【請求項２】
前記隣接フレームは、前記注目フレームの時系列的に１つ後の次フレームであり、
前記３Ｄ動きベクトル算出手段は、前記次フレームの各計測点の３次元動きベクトルを算出することを特徴とする請求項１記載の解析装置。
【請求項３】
前記隣接フレームは、前記注目フレームの時系列的に１つ前の前フレームであり、
前記３Ｄ動きベクトル算出手段は、前記注目フレームの各計測点の３次元動きベクトルを算出することを特徴とする請求項１記載の解析装置。
【請求項４】
前記傾斜情報算出手段は、前記計測点に隣接する面の法線ベクトルを前記傾斜情報として算出することを特徴とする請求項１〜３のいずれかに記載の解析装置。
【請求項５】
前記３Ｄ動きベクトル算出手段は、３次元動きベクトルの算出対象となるフレームより時系列的に前のフレームの計測点における傾斜情報を用いて、３次元動きベクトルを算出することを特徴とする請求項１〜４のいずれかに記載の解析装置。
【請求項６】
前記３Ｄ動きベクトル算出手段は、前記注目フレームの計測点の傾斜情報と前記隣接フレームの計測点の傾斜情報とを用いて、前記注目フレームの計測点の傾斜情報を補正し、補正した傾斜情報を用いて３次元動きベクトルを算出することを特徴とする請求項１〜４のいずれかに記載の解析装置。
【請求項７】
前記傾斜情報算出手段は、前記計測点と、前記計測点の周囲の複数の計測点との３次元位置を用いて前記計測点の法線ベクトルを算出することを特徴とする請求項４記載の解析装置。
【請求項８】
前記傾斜情報算出手段は、前記計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルを算出し、得られた法線ベクトルの中間値を、前記計測点の傾斜情報として算出することを特徴とする請求項７記載の解析装置。
【請求項９】
前記傾斜情報算出手段は、前記計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルを算出し、得られた法線ベクトルの最頻値を、前記計測点の傾斜情報として算出することを特徴とする請求項７記載の解析装置。
【請求項１】
物体の動きを解析する解析装置であって、
前記物体を時系列的に撮影する複数の撮影手段と、
１の撮影手段により撮影された画像を基準画像、他の撮影手段により撮影された画像を参照画像として取得する画像取得手段と、
各フレームの基準画像上において一定間隔で配列された所定の位置に３次元実空間における３次元位置の計測対象となる計測点を設定し、各計測点に隣接する面の傾斜情報を算出する傾斜情報算出手段と、
各計測点の対応点を前記参照画像から探索することで、各計測点の３次元位置をフレーム毎に算出する３Ｄ位置算出手段と、
注目フレーム対して時系列的に隣接する隣接フレームの基準画像において、前記注目フレームの各計測点の移動点を探索することで各計測点の２次元動きベクトルを算出する２Ｄ動きベクトル算出手段と、
前記３Ｄ位置算出手段により算出された、前記注目フレームの各計測点と前記隣接フレームの各計測点との３次元位置の変化量を算出する変化量算出手段と、
前記変化量算出手段により算出された変化量と、前記傾斜情報と、前記２次元動きベクトルとに基づいて、各計測点を基準としたときの各計測点に対応する前記移動点の３次元位置の変化量を推定し、推定した変化量を各計測点の３次元動きベクトルとして算出する３Ｄ動きベクトル算出手段とを備えることを特徴とする解析装置。
【請求項２】
前記隣接フレームは、前記注目フレームの時系列的に１つ後の次フレームであり、
前記３Ｄ動きベクトル算出手段は、前記次フレームの各計測点の３次元動きベクトルを算出することを特徴とする請求項１記載の解析装置。
【請求項３】
前記隣接フレームは、前記注目フレームの時系列的に１つ前の前フレームであり、
前記３Ｄ動きベクトル算出手段は、前記注目フレームの各計測点の３次元動きベクトルを算出することを特徴とする請求項１記載の解析装置。
【請求項４】
前記傾斜情報算出手段は、前記計測点に隣接する面の法線ベクトルを前記傾斜情報として算出することを特徴とする請求項１〜３のいずれかに記載の解析装置。
【請求項５】
前記３Ｄ動きベクトル算出手段は、３次元動きベクトルの算出対象となるフレームより時系列的に前のフレームの計測点における傾斜情報を用いて、３次元動きベクトルを算出することを特徴とする請求項１〜４のいずれかに記載の解析装置。
【請求項６】
前記３Ｄ動きベクトル算出手段は、前記注目フレームの計測点の傾斜情報と前記隣接フレームの計測点の傾斜情報とを用いて、前記注目フレームの計測点の傾斜情報を補正し、補正した傾斜情報を用いて３次元動きベクトルを算出することを特徴とする請求項１〜４のいずれかに記載の解析装置。
【請求項７】
前記傾斜情報算出手段は、前記計測点と、前記計測点の周囲の複数の計測点との３次元位置を用いて前記計測点の法線ベクトルを算出することを特徴とする請求項４記載の解析装置。
【請求項８】
前記傾斜情報算出手段は、前記計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルを算出し、得られた法線ベクトルの中間値を、前記計測点の傾斜情報として算出することを特徴とする請求項７記載の解析装置。
【請求項９】
前記傾斜情報算出手段は、前記計測点に隣接する少なくとも３つの面のそれぞれの法線ベクトルを算出し、得られた法線ベクトルの最頻値を、前記計測点の傾斜情報として算出することを特徴とする請求項７記載の解析装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図５】
【図１２】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図５】
【図１２】
【図１６】
【図１７】
【公開番号】特開２００９−１９９２７０（Ｐ２００９−１９９２７０Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−３９３２０（Ｐ２００８−３９３２０）
【出願日】平成２０年２月２０日（２００８．２．２０）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２０日（２００８．２．２０）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]