ステレオ画像による平面推定方法
【課題】平面上から十分な特徴点が得られないような場合でも、既知マーカ等の設置なしに、高精度に平面推定を行う。
【解決手段】 平面上を移動する物体が撮像できるように設置された複数の撮像手段によってステレオ画像を撮像し、前記ステレオ画像のうちの基準画像について複数の特徴点を抽出し、抽出した各特徴点について他の画像中の対応点を探索して得られる視差から三角測量の原理により３次元座標を求め、抽出した各特徴点位置の画像に類似する画像を物体の移動前後の画像から検出し、抽出した各特徴点の３次元的な移動ベクトルから前記平面の３次元的位置を算出するようにした。
【解決手段】 平面上を移動する物体が撮像できるように設置された複数の撮像手段によってステレオ画像を撮像し、前記ステレオ画像のうちの基準画像について複数の特徴点を抽出し、抽出した各特徴点について他の画像中の対応点を探索して得られる視差から三角測量の原理により３次元座標を求め、抽出した各特徴点位置の画像に類似する画像を物体の移動前後の画像から検出し、抽出した各特徴点の３次元的な移動ベクトルから前記平面の３次元的位置を算出するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮像手段によって得られた画像から車輌等の物体を検出する装置に用いられて有効な技術に関し、特に、ステレオ画像から物体が移動する平面の３次元的位置を推定する技術に関するものである。
【背景技術】
【０００２】
従来より、高速道路や駐車場などの映像をカメラで撮影し、得られた画像から走行車輌の数や種別等を検出する装置が実用化されている。例えば、特許文献１では、２台のカメラで得られたステレオ画像から走行車輌の３次元情報を算出し、マッチング処理によって車輌種別を認識する装置が考案されている。
【０００３】
このように複数のカメラで撮像して得たステレオ画像から物体の３次元情報を求める場合には、あらかじめその物体が移動する移動平面（道路の路面等）の空間位置（３次元的位置）を定めておく必要がある。その平面の空間位置を基準にして、物体の高さ情報を算出するためである。
【０００４】
平面の３次元的位置は、設置されるカメラの平面に対する相対的な位置関係で規定される。しかしながら、一般的にはカメラを設置する際にその設置高さや俯角（カメラの光軸と平面のなす角）を正確に調整することは難しい。そこで、おおよその位置にカメラを固定した後に、撮像した画像から平面を推定し、カメラと平面の相対的な位置関係を設定する方法が採られることがある。
【０００５】
従来の一般的な平面推定方法としては３次元位置の既知なマーカ等を平面上に設置して、その点を特徴点として手動もしくは自動で設定し、その位置情報から平面を求める方法があげられる。しかし、道路上にマーカを設置するためには交通規制を実施しなければならず、センサの設置状況によっては規制が困難な場合がある。
【０００６】
交通規制が不要な平面推定方法として、例えば、特許文献２では、相対位置が既知のマーカを設置した専用車輌、もしくは高さ、大きさ等が既知である車輌等の特徴点を使って平面の３次元位置を構成する手法が提案されている。
【０００７】
また、特許文献３では、既知のマーカ等を必要とせず、交通規制も必要としない手法が提案されている。この手法では、路面上に描かれた白線や横断歩道等のペイントを特徴点とし、それら複数の特徴点から平面の３次元位置を推定する手法が提案されている。自動で平面上の特徴点か平面以外の特徴点か（走行中の車輌等）を判別することにより、交通規制や既知マーカなしで平面の３次元位置を算出することが可能である。
【０００８】
【特許文献１】特開平１１−２５９６５８公報
【特許文献２】特願２００２−２３２８６９公報
【特許文献３】特願２００２−２５６４５３公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
単眼カメラの場合、得られるのは２次元の画像データのみであるため、画像上のある点が３次元空間上でどこかにあるかを求めることはできない。ただし、複数の相対的な位置関係が既知な場合に限り３次元情報に変換できるため、一般的には路面等に既知マーカを置いて平面推定を行う。特許文献２の方法がこれに該当する。しかしながら、相対位置が既知のマーカをつけた車輌を用意して走らせる手間は依然として残る。また、不特定多数の車輌の特徴点を使用した場合、相対位置関係の真値を正確に知ることは難しく、平面推定の精度が悪化する恐れがある。
【００１０】
特許文献３の方法では、ステレオカメラによって得られる３次元情報を利用することで、既知マーカ等を用意することなく、路面のペイント等の既に存在する情報から平面推定を行うことが可能である。しかしながら、新設道路や劣化により路面にペイント等がなくテクスチャが一様である場合には特徴点を抽出することができず、平面推定ができないことがある。また、車輌や通行者で混雑しており路面が十分に画像に映らない場合には、路面以外からの特徴点を除去できずに平面推定の精度が落ちてしまうという問題がある。
【００１１】
本発明は上記実情に鑑みてなされたものであって、その目的は平面上から十分な特徴点が得られないような場合でも、既知マーカ等の設置なしに、高精度に平面推定を行うことである。
【課題を解決するための手段】
【００１２】
本発明は、平面上を移動する物体を撮像できるように設置された複数の撮像手段によってステレオ画像を撮像し、前記ステレオ画像のうちの基準画像について複数の特徴点を抽出し、抽出した各特徴点について他の画像中の対応点を探索して得られる視差から三角測量の原理により３次元座標を求め、抽出した各特徴点位置の画像に類似する画像を物体の移動前後の画像から検出し、抽出した各特徴点の３次元的な移動ベクトルから前記平面の３次元的位置を算出するようにした。
【００１３】
本発明における第１の特徴は、「求める平面と、平面上を移動する物体の特徴点の軌跡によってできる平面が平行である」ことを利用したことにある。平面上に特徴が存在しなくても、平面上を移動する物体（例えば走行車輌）には概して特徴点が存在する。この移動物体の特徴点を追跡し、その軌跡が３次元情報として得られれば、軌跡でできた平面と求める平面は平行であることから、求める平面の法線ベクトルは求めることができる。つまり、求める平面上から十分な個数の特徴点が得られるような状況でないときでも、平面のカメラに対する角度の推定が可能となる。
【００１４】
ここで、「物体が移動する平面」は撮像エリアの選び方により種々のものが想定できる。たとえば、撮像エリアが車道や歩道等の場合には、「物体」は車輌、歩行者、自転車等であり、「平面」は道路の平面である。また、撮像エリアが踏切や線路等の場合には、「物体」は電車であり、「平面」は線路である。さらには、撮像エリアが工場内の製造現場や物流現場の場合には、「物体」は製造物や搬送物であり、「平面」はベルトコンベア等の搬送装置の搬送面である。
【００１５】
本発明にあっては、平面上を移動する物体を撮像できるように複数の撮像手段を設置する。このとき、各撮像手段を所定の間隔で配置することにより、ステレオ画像を撮像することができる。なお、撮像手段の数は、２以上であればよい。
【００１６】
このような撮像エリアを上記複数の撮像手段で撮像し、ステレオ画像を得る。そしてまず、ステレオ画像のうちの基準画像について複数の特徴点を抽出する。「特徴点」とは、画像中の他の領域と比較して明確に区別しうる特徴的な部分をいい、たとえば、物体を示す特徴点とは物体のエッジ部分や模様部分等が該当し、平面を示す特徴点としては、道路を想定した場合、レーンマーキング等の平面上の模様部分や物体が平面上につくる影部分等が該当する。
【００１７】
次に、抽出した各特徴点について、他の画像（参照画像）中の対応点を探索することにより視差を求め、その視差から三角測量の原理で３次元位置を算出する。「対応点」とは、基準画像中の特徴点と同一部分を示す参照画像中の点である。特徴点と対応点は撮像手段からの距離に応じて画像上の座標値が異なる。この差が特徴点の視差となる。視差と配備した撮像手段の間隔と、撮像手段の焦点距離から３次元位置を求めることができる。
【００１８】
さらには、抽出した各特徴点位置の画像に類似する画像を物体の移動前後どちらかのの画像から検出し、移動する物体の各特徴点が別の瞬間にどの位置に移動したかを３次元情報として算出する。移動前後の画像は、その画像上の特徴点座標とともにメモリ等に蓄積され、順次読み出され、常に最も現在に近い情報として保存、更新していくことで実現される。
【００１９】
本発明における第２の特徴は、既知高さの特徴点を用いて特許文献３の手法で平面を推定する場合においても、移動物体の軌跡を用いて平面の法線ベクトルのみを別に算出することで、より少ない特徴点数で残りのパラメータであるカメラ高さを精度よく求められるので、平面推定精度が得られることである。平面推定に用いる各特徴点には画像の量子化、Ａ／Ｄ変換、対応づけ誤差等様々なノイズが混入しているため、最小自乗法やハフ変換等の統計的手法を用いて平面推定を行うと精度が向上することが知られているが、統計的アルゴリズムでは求める未知数の種類が少なければ少ないほど、精度が向上するからである。
【００２０】
また、上記平面推定方法において、典型的には、物体の移動方向をあらかじめ設定しておくとよい。移動方向の設定はユーザが指定してもよいし、道路のような場合であれば概ね車輌は車線方向に移動するので、そのような情報を入力してもよい。事前に移動方向が分かっていれば物体の移動するであろう領域を予測することが可能となり、探索する領域が減少し、探索精度も向上する効果がある。
【００２１】
さらに、上記平面推定方法においては、現在の画像上の特徴点と移動前後どちらかの画像の対応を求める際、その特徴点の視差の変化に応じて特徴点画像を拡大縮小させるとよい。物体が移動すると撮像手段からの距離が変化し、像の大きさが変化することになるので、画像上で相関を求めるには画像上２次元走査の他に拡大縮小率も変化させながら探索する必要がある。しかしながら、ステレオ画像から求められる視差の移動前後での変化率で上記拡大縮小率は一意に決定されるため、拡大縮小率を固定値で行え、高速に相関計算が行えるという効果がある。
【発明の効果】
【００２２】
以上記載の本発明によれば、求めたい平面のテクスチャが一様である場合や、車輌や通行者で混雑しており路面が十分に画像に映らない場合など、平面上から十分な個数の特徴点を抽出することができない状況においても、平面上を移動する物体の軌跡情報を利用して平面のカメラに対する角度の推定が可能となる効果がある。
【００２３】
さらに、移動物体の軌跡情報を用いて平面の法線ベクトルのみを別に算出することで、カメラ高さのみをハフ変換等のアルゴリズムで求めることにより、少ない特徴点数で高い平面推定精度が得られる効果が期待できる。
【発明を実施するための最良の形態】
【００２４】
以下に図面を参照して、本発明の好適な実施形態を例示的に詳細に説明する。
【００２５】
なお、以下の実施の形態に記載されている構成部分の形状、大きさ、その相対配置などは、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００２６】
（第１の実施の形態）
図１は、本発明の平面推定方法の一実施形態に係る車輌検出装置の設置例である。
【００２７】
車輌検出装置１は、道路ＲＤの脇に設置された支柱４に取り付けられており、道路ＲＤの各車道毎の通過車輌の台数や車種の判別、特定車輌の通過速度の計測、渋滞状況の把握、違法駐車中の車輌の検出等を自動的に行う装置である。この車輌検出装置１は、２台の撮像装置２ａ、２ｂと制御装置３とを有して構成される。
【００２８】
撮像装置２ａ、２ｂは、走行する車輌５を撮像できるように設置された撮像手段である。撮像手段２ａ、２ｂとしては、たとえばビデオカメラやＣＣＤカメラなどを用いることができる。
【００２９】
各撮像装置２ａ、２ｂは、互いの光軸が平行になり、かつ、所定間隔をあけて縦並びに取り付けられている。したがって、撮像装置２ａ、２ｂにより、走行する車輌５が視野内に入るようなステレオ画像を撮像することができる。
【００３０】
なお、同図の例では、２台の撮像装置を用いているが、これに限らず、３台以上の撮像装置を用いてもよい。また、撮像装置の配置は縦並びに限らず、横並びにしてもよい。
【００３１】
制御装置３はＣＰＵ（中央演算処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、画像メモリ等を基本ハードウェアとして備える制御手段である。装置稼動時には、ＲＯＭに格納されたプログラムがＣＰＵに読み込まれ実行されることで、後述する各機能が実現される。なお、制御装置３は、保守、点検などの必要から支柱４の基部付近に設置することが好ましい。
【００３２】
図２は、車輌検出装置１の機能構成を示す機能ブロック図である。同図に示すように、制御装置３は、概略、画像入力部３０、平面推定処理部３１、物体検出処理部３２、記憶部３３、出力部３４を有している。画像入力部３０は、撮像装置２ａ、２ｂから得られる画像信号を制御装置３に入力するための機能である。前記画像信号がアナログ量の場合には、画像入力部３０によってＡ／Ｄ変換されデジタル画像として取り込まれる。取り込まれた２枚の画像データはステレオ画像として各々画像入力部に設けた画像メモリ（図示略）に格納される。なお、ここで取り込まれる画像はカラー画像でもモノクロ画像（濃淡画像）でもよいが、車輌検出が目的であればモノクロ画像で十分である。
【００３３】
平面推定処理部３１は、画像メモリに取り込まれたステレオ画像から、車輌５が移動する平面（道路ＲＤ）の３次元的位置を推定する平面推定手段として機能する。車輌検出装置１が設置された直後は、撮像装置２ａ、２ｂと道路ＲＤの相対的な位置関係が未知な状態であり、物体検出処理を行うことができない。そこで、最初に平面推定処理を実行し、道路ＲＤの３次元的位置（具体的には撮像装置２ａ、２ｂの道路ＲＤに対する高さや俯角など）を算出するのである。なお、この処理は、車輌検出装置１を設置した際に１度実行すれば足りる。
【００３４】
平面推定処理部３１にて算出された道路ＲＤの３次元的位置データ（以下、単に「平面データ」という）は、記憶部３３に格納される。また、平面推定が正常に行われたかどうかを確認するために、必要に応じて出力部３４から平面データを出力することも可能である。
【００３５】
物体検出装置３２は、道路ＲＤの３次元的位置を基準として撮像エリア内の道路ＲＤ上を移動する物体（車輌５）を検出する検出手段として機能する。
【００３６】
物体検出処理部３２では、画像メモリに取り込まれたステレオ画像のうち一方の基準画像に対しエッジ強度抽出処理を行って、車輌５の輪郭部分などを示す特徴点を抽出する。各々の特徴点について、他方の参照画像中の類似した濃淡パターンを探索することにより対応点を見つけ、視差を求める。そして、各特徴点について、三角測量の原理に基づき実空間上における３次元座標を算出する。
【００３７】
三角測量の原理について図３を参照して説明する。同図では、説明の簡単のため２次元で示している。
【００３８】
同図のＣａ、Ｃｂはそれぞれ基準撮像装置２ａ、参照撮像装置２ｂを表す。基準撮像装置２ａの設置高さはＨであり、撮像装置２ａ、２ｂの焦点距離をｆとすると、撮像された画像Ｉａ、Ｉｂは、図示のようにＣａ、Ｃｂから距離ｆだけ離れた平面として考えることができる。
【００３９】
実空間上の点Ｐは、画像Ｉａ、Ｉｂ中の点ｐａ、ｐｂの位置に現れる。点ｐａが点Ｐを表す特徴点であり、点ｐｂが点ｐａに対応する対応点である。特徴点ｐａの画像Ｉａ中の座標値と特徴点ｐｂの画像Ｉｂ中の座標値は異なり、この差（ｄａ＋ｄｂ）が点Ｐの視差ｄとなる。
【００４０】
このとき、撮像装置２ａ、２ｂの撮像面から点Ｐまでの距離Ｌは、Ｌ＝Ｂｆ／ｄにより算出できる。そして俯角θと設置高さＨが既知であれば、距離Ｌから点Ｐの実空間上における３次元座標を算出することができる。これが三角測量の原理である。
【００４１】
以上まで、三角測量の原理を２次元の図で簡易に示したが、これを実際の３次元空間にあてはめた場合について図４を参照して説明する。図４に示すように、２つのカメラの中点を原点に、光軸方向をＺｃ軸とした座標系をカメラ座標系と呼ぶ。一方、カメラ直下を原点、鉛直方向をＹｇ軸とするようにカメラ座標系を俯角θ、法角γで回転させた座標系をワールド座標系と呼ぶ。俯角θ、法角γ、設置高さＨが既知であれば平面とカメラの相対位置関係が一意に決定されることになる。平面推定処理部３１では、上記３つの未知数の推定が行われ、平面データとして記憶部３３に格納される。物体検出処理では、平面推定処理部３１にて推定された平面（道路ＲＤ）が高さ０であるとしたときの３次元座標が算出されるのである。
【００４２】
このようにして、物体検出装置３２では、道路ＲＤ上に存在する物体（車輌等）の３次元形状を復元することができる。さらに、あらかじめＲＯＭに車輌のモデルデータを格納しておき、そのモデルデータと復元された３次元形状とのマッチング処理を行えば、車輌の数や車種などを判別することが可能となる。
【００４３】
次に、図５のフローチャートを参照して、上記平面推定処理部３１における平面推定処理について詳しく説明する。
【００４４】
まず、ステップＳＴ１１において、各撮像装置２ａ、２ｂによってステレオ画像を撮像する。撮像装置２ａ、２ｂから取り込まれた画像信号は、画像入力部３０によってデジタルデータに変換される。生成されたデジタル量の濃淡画像データは、撮像装置２ａから取り込まれたものは基準画像として、撮像装置２ｂから取り込まれたものは参照画像として、それぞれ画像メモリに格納される。
【００４５】
ステップＳＴ１２において、平面推定処理部３１は、画像メモリに格納された基準画像からエッジ抽出処理によって複数の特徴点を抽出する。エッジ抽出処理は、ラプラシアンフィルタやソーベルフィルタなどの公知のエッジ抽出オペレータで画像を走査することにより行うことができる。これにより、車輌５の輪郭部分、道路ＲＤのレーンマーキングなどが特徴点として抽出される。
【００４６】
次に、平面推定処理部３１は、抽出した各特徴点について参照画像中の対応点を探索するステレオ対応づけ処理により視差を求め、前述の三角測量の原理を用いて３次元座標を算出する（ステップＳＴ１３）。このステレオ対応づけ処理は、例えば特徴点の周囲数近傍の小画像をサンプルパターンとして用意し、このサンプルパターンと類似する濃度パターンを参照画像から探索することにより行うことができる。この段階では、俯角やカメラ高さなどの平面データが未知であるため、３次元座標は基準撮像装置２ａを原点、光軸方向をＺ軸とした座標系での値となる。
【００４７】
ステップＳＴ１４では、各特徴点について一定間隔前後の基準画像上でどの位置であったかをフレーム間対応づけ処理によって求める。このフレーム間対応づけ処理も前述のステレオ対応づけ処理同様の画像探索方法で行うことができる。記憶部３３には、現在の特徴点の画像座標、３次元座標、特徴点近傍の画像が次フレームの画像入力までに保存される（ステップＳＴ１５）。ステップＳＴ１５により、ステップＳＴ１４の処理に入る前には、一定間隔前の画像の特徴点についての上記情報が分かっていることになる。そして、フレーム間対応づけにより類似する移動前の特徴点が検出された場合には、特徴点の移動前後のつながりが分かるように特徴点ラベルの対応をとって記憶部３３に保存する。
【００４８】
このフレーム間対応づけ処理では、現在の画像の特徴点に対する、「過去」の画像上で探索する必要はなく、前もって撮像、蓄積された画像列の現在注目画像に対して、時間が経過した後の画像（移動後の画像）でもよい。ただし、双方の画像は、双方の画像上に移動前後の同一物体が存在している程度の時間間隔で撮像されている必要がある。
【００４９】
ステップＳＴ１６では、平面推定に必要な移動ベクトル群が十分収集されたかどうかを判定し、十分とみなされるまでステップＳＴ１１からＳＴ１５までの処理を複数回繰り返す。例えば、フレーム間で対応づいた特徴点組の個数や移動ベクトルの大きさの合計などを調べることで移動ベクトル群が十分収集されたかを調べることができる。
【００５０】
ステップＳＴ１２で抽出された特徴点のうち、フレーム間で対応づけされた結果、対応づけの相関値が一定値以下の場合や、移動ベクトルの大きさが一定値以下のベクトルはステップＳＴ１７への入力として平面推定に使用されないようにするとよい。ステップＳＴ１２で抽出された特徴点の中には、道路ＲＤのマーキング等移動物体ではない特徴点も含まれていると考えられるからである。
【００５１】
ステップＳＴ１７において、平面推定処理は以下の式によって行われる。
ここで、θは俯角、γは法角、（ａｘｉ，ａｙｉ，ａｚｉ）は移動ベクトルである。上式を満たすθ、γを求めるには、たとえば最小自乗法やハフ変換などの統計的処理により行うことができる。
【００５２】
算出結果は、撮像装置２ａ、２ｂの俯角θおよび法角γ、設置高さＨの形式で記憶部３３に格納されるとともに、確認のため出力部３４から出力される（ステップＳＴ１８）。
【００５３】
さらに、高さが既知の特徴点（例えば路面上の特徴点）が数点存在するような状況であれば、以下の式により高さ既知な特徴点とカメラまでの距離Ｈを算出することができる。
ここで、ｘ、ｙは特徴点の画像上座標位置、ｄは視差、ｆは焦点距離、Ｂは撮像手段の間隔（ベース長）である。上式を満たすＨも、前述のような統計的手法により精度よく求めることができる。いうまでもなく、高さ既知な特徴点が路面上の特徴点であれば、Ｈはカメラ高さである。
【００５４】
また、移動物体（車輌）は平面の「上」を移動すると考えれば、収集された移動ベクトルをなす特徴点の中で、最も高さが低い点は求める平面の特徴点に等しい。さらに詳しくいえば、求める平面と移動物体の境界によってできたエッジ等の特徴点である。よって、高さが既知でない特徴点しか存在しなくても、移動ベクトル群の最下面のベクトルのみを抽出し、抽出した特徴点のみを「００５３」記載の式へ与えることで求める平面のカメラ高さを算出することができる。
【００５５】
（第２の実施形態）
図６は、本発明の平面推定方法の一実施形態に係る車輌検出装置のブロック図である。
【００５６】
本実施形態の車輌検出装置は、探索領域指定部３５を有している。その他の構成および作用においては、第１の実施形態と同一なので、同一の構成部分については、同一の符号を付して、その説明は省略する。
【００５７】
探索領域指定部３５は、移動する物体の方向があらかじめ分かっている場合に、画像上で方向を指定する手段である。本実施形態では、モバイルコンピュータやＰＤＡなど、ディスプレイを備えた携帯端末装置を制御装置３の通信Ｉ／Ｆに接続し、制御装置３と協働させることによって以下の処理を実行する。なお、探索領域指定部３５を制御装置３の内部機能としてもよい。
【００５８】
図７のフローチャートを参照して、上記平面推定処理部３１における平面推定処理について詳しく説明する。本実施形態の平面推定方法では、ステップＳＴ１９の探索領域設定部を有している。その他の構成および作用においては、第１の実施形態と同一なので、同一の構成部分については、同一の符号を付して、その説明は省略する。
【００５９】
ステップＳＴ１９では、平面推定処理のために撮像装置２ａ、２ｂによって撮像された画像は、画像入力部３０によって取り込まれ画像メモリに格納される。すると、画像メモリ内の基準画像が探索領域指定部に送信され、ディスプレイに表示される。
【００６０】
ユーザ（設置作業者）は、ディスプレイに表示された基準画像を参照しつつ、画像中の移動物体の移動ベクトルを指定する。移動物体が車輌の場合、概ね車輌は車線に平行に移動すると考えられるので、車線の両サイドラインを指定することで移動方向を定義できる。その他の場合、たとえば工場内の搬送ラインであれば搬送ベルトのエッジなどを設定すればよい。
【００６１】
指定された直線を構成する２点について、対象画像とのステレオ対応づけを行い、直線の３次元情報を得る。そして、図８に示すような３次元上で等間隔なスリット群を設定する。各スリットは、指定された２直線から構成される平面上で、かつ前記２直線に平行な一定間隔の距離も持つ直線群として定義される。なお、この設定は平面推定処理を始める最初の画像に対してのみ１度実行すれば足りる。
【００６２】
指定されたスリットの情報（３次元位置、画像上位置）は、通信Ｉ／Ｆを介して制御装置３のＲＡＭに格納される。
【００６３】
ステップＳＴ１２で、画像が入力された後、ステップＳＴ１３では、基準画像上でスリット上にある点のみに対し、特徴抽出処理を行う。
【００６４】
よって、ステップＳＴ１５で保存される特徴点は全てスリット上の点ということになり、ステップＳＴ１４で行われるフレーム間対応づけの候補点も全てスリット上の点である。
【００６５】
このように、移動方向が概ね既知である場合には、移動方向に平行なスリットを設定し、移動前後の探索を、移動方向のみで行うことで、探索時間が短縮できることや移動物体の軌跡を効率よく抽出できることの効果が期待できる。
【００６６】
なお上記スリットの間隔は、平面上を移動する物体の最小幅より小さく設定し、探索領域は現在の特徴点のスリットに対して、隣り合うスリットを含めた複数本のスリット上とするとよい。車輌の場合であれば、走行車輌の中で最も小さいと考えられる軽自動車程度の幅以下に設定すればよい。また、移動物体は設定した移動方向のみに一律に移動することは稀であるため、移動方向に若干のぶれマージンを加えるという意味で隣り合うスリット上の特徴点も探索範囲とする。移動物体が車輌の場合のように、移動方向がほぼ車線に平行であると考えてよい場合には、探索するスリットの本数は少なくてよい。
【００６７】
また、平面推定処理中の、現在の移動物体の特徴点が移動前後の画像上ではどこに存在するかを求めるフレーム間対応づけ処理（ステップＳＴ１４）では、それぞれの特徴点の視差を求め、その変化率に応じて、現時点での特徴点の探索用小画像の大きさを決めるとよい。これは以下のような理由からである。
【００６８】
物体（車輌）が移動すると撮像手段から物体までの距離が変化するのが普遍的であり、画像に映る像の大きさも変化するため、移動前後の位置について画像上で相関を求めるには画像上を２次元的に走査する他に、探索する小画像の拡大縮小率も変化させながら探索する必要がある。しかしながら、ステレオ画像から求められる視差の移動前後での変化率で上記拡大縮小率は一意に決定されるため、拡大縮小率を固定値で行える。この原理を図９を参照して詳細に説明する。
【００６９】
前述の三角測量の原理説明どおり、カメラから３次元空間上のある点までの距離Ｌとその点の視差ｄの関係は、ｄ＝Ｂｆ／Ｌで表される。ここで、Ｂは配置したカメラ２つの間隔（ベース長）、ｆはカメラの焦点距離である。一方、実際の３次元上の大きさＷと奥行き距離Ｌとの関係は、ｗ＝Ｗｆ／Ｌである。ｗは画像上に映る物体の大きさである。以上の２式から、容易にｄ＝（Ｂ／Ｗ）・ｗが導くことができる。この式は視差ｄと画像上の像の大きさｗが比例関係であることを示している。すなわち、物体の移動により画像に映る像の大きさが変化しても、ステレオ画像から求められる視差の変化率を使って、像の大きさの変化量が対応づけ探索の前に知ることができる。
【００７０】
移動前後のフレーム間対応づけ処理について図９に具体的に示す。例えば、現在の画像（時刻ｔ）の特徴点が、移動する前（時刻ｔ−１）の画像上のどこに存在するかを探索する場合を考える。時刻ｔ−１の画像におけるある特徴点の視差をｄ、小領域をａピクセル四方とし、時刻ｔの該特徴点の視差をｄ´とすれば、時刻ｔの特徴点の小領域をａ×ｄ／ｄ´分切り出し、その領域をａピクセル四方に拡大／縮小して探索を行う。時刻ｔの画像の特徴点に対して、時刻ｔ＋１の画像上の特徴点を対応づける場合も同様の手法で行うことができる。
【００７１】
このように、時刻の異なる特徴点同士を対応づける際、各特徴点の視差の変化率を小領域の切り出し方に反映させることで、小画像の拡大縮小を行うことなく、高速に探索処理を行うことができる効果がある。
【図面の簡単な説明】
【００７２】
【図１】本発明の平面推定方法の一実施形態に係る車輌検出装置の設置例である。
【図２】第１の実施形態に係る車輌検出装置の機能構成を示すブロック図である。
【図３】三角測量の原理を示す図である。
【図４】カメラ座標系を説明する図である。
【図５】第１の実施形態に係る平面推定処理のフローチャートである。
【図６】第１の実施形態に係る車輌検出装置の機能構成を示すブロック図である。
【図７】第１の実施形態に係る平面推定処理のフローチャートである。
【図８】スリットの設定方法を説明する図である。
【図９】対象物までの距離と視差との関係を説明する図である。
【図１０】移動前後の特徴点を高速に探索する手法を説明する図である。
【符号の説明】
【００７３】
１ 車輌検出装置
２ａ、２ｂ 撮像装置（撮像手段）
３ 制御装置
３０ 画像入力部
３１ 平面推定処理部
３２ 物体検出処理部
３３ 記憶部
３４ 出力部
３５ 探索領域指定部
４ 支柱
５ 車輌（物体）
ＲＤ 道路（平面）
【技術分野】
【０００１】
本発明は、カメラ等の撮像手段によって得られた画像から車輌等の物体を検出する装置に用いられて有効な技術に関し、特に、ステレオ画像から物体が移動する平面の３次元的位置を推定する技術に関するものである。
【背景技術】
【０００２】
従来より、高速道路や駐車場などの映像をカメラで撮影し、得られた画像から走行車輌の数や種別等を検出する装置が実用化されている。例えば、特許文献１では、２台のカメラで得られたステレオ画像から走行車輌の３次元情報を算出し、マッチング処理によって車輌種別を認識する装置が考案されている。
【０００３】
このように複数のカメラで撮像して得たステレオ画像から物体の３次元情報を求める場合には、あらかじめその物体が移動する移動平面（道路の路面等）の空間位置（３次元的位置）を定めておく必要がある。その平面の空間位置を基準にして、物体の高さ情報を算出するためである。
【０００４】
平面の３次元的位置は、設置されるカメラの平面に対する相対的な位置関係で規定される。しかしながら、一般的にはカメラを設置する際にその設置高さや俯角（カメラの光軸と平面のなす角）を正確に調整することは難しい。そこで、おおよその位置にカメラを固定した後に、撮像した画像から平面を推定し、カメラと平面の相対的な位置関係を設定する方法が採られることがある。
【０００５】
従来の一般的な平面推定方法としては３次元位置の既知なマーカ等を平面上に設置して、その点を特徴点として手動もしくは自動で設定し、その位置情報から平面を求める方法があげられる。しかし、道路上にマーカを設置するためには交通規制を実施しなければならず、センサの設置状況によっては規制が困難な場合がある。
【０００６】
交通規制が不要な平面推定方法として、例えば、特許文献２では、相対位置が既知のマーカを設置した専用車輌、もしくは高さ、大きさ等が既知である車輌等の特徴点を使って平面の３次元位置を構成する手法が提案されている。
【０００７】
また、特許文献３では、既知のマーカ等を必要とせず、交通規制も必要としない手法が提案されている。この手法では、路面上に描かれた白線や横断歩道等のペイントを特徴点とし、それら複数の特徴点から平面の３次元位置を推定する手法が提案されている。自動で平面上の特徴点か平面以外の特徴点か（走行中の車輌等）を判別することにより、交通規制や既知マーカなしで平面の３次元位置を算出することが可能である。
【０００８】
【特許文献１】特開平１１−２５９６５８公報
【特許文献２】特願２００２−２３２８６９公報
【特許文献３】特願２００２−２５６４５３公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
単眼カメラの場合、得られるのは２次元の画像データのみであるため、画像上のある点が３次元空間上でどこかにあるかを求めることはできない。ただし、複数の相対的な位置関係が既知な場合に限り３次元情報に変換できるため、一般的には路面等に既知マーカを置いて平面推定を行う。特許文献２の方法がこれに該当する。しかしながら、相対位置が既知のマーカをつけた車輌を用意して走らせる手間は依然として残る。また、不特定多数の車輌の特徴点を使用した場合、相対位置関係の真値を正確に知ることは難しく、平面推定の精度が悪化する恐れがある。
【００１０】
特許文献３の方法では、ステレオカメラによって得られる３次元情報を利用することで、既知マーカ等を用意することなく、路面のペイント等の既に存在する情報から平面推定を行うことが可能である。しかしながら、新設道路や劣化により路面にペイント等がなくテクスチャが一様である場合には特徴点を抽出することができず、平面推定ができないことがある。また、車輌や通行者で混雑しており路面が十分に画像に映らない場合には、路面以外からの特徴点を除去できずに平面推定の精度が落ちてしまうという問題がある。
【００１１】
本発明は上記実情に鑑みてなされたものであって、その目的は平面上から十分な特徴点が得られないような場合でも、既知マーカ等の設置なしに、高精度に平面推定を行うことである。
【課題を解決するための手段】
【００１２】
本発明は、平面上を移動する物体を撮像できるように設置された複数の撮像手段によってステレオ画像を撮像し、前記ステレオ画像のうちの基準画像について複数の特徴点を抽出し、抽出した各特徴点について他の画像中の対応点を探索して得られる視差から三角測量の原理により３次元座標を求め、抽出した各特徴点位置の画像に類似する画像を物体の移動前後の画像から検出し、抽出した各特徴点の３次元的な移動ベクトルから前記平面の３次元的位置を算出するようにした。
【００１３】
本発明における第１の特徴は、「求める平面と、平面上を移動する物体の特徴点の軌跡によってできる平面が平行である」ことを利用したことにある。平面上に特徴が存在しなくても、平面上を移動する物体（例えば走行車輌）には概して特徴点が存在する。この移動物体の特徴点を追跡し、その軌跡が３次元情報として得られれば、軌跡でできた平面と求める平面は平行であることから、求める平面の法線ベクトルは求めることができる。つまり、求める平面上から十分な個数の特徴点が得られるような状況でないときでも、平面のカメラに対する角度の推定が可能となる。
【００１４】
ここで、「物体が移動する平面」は撮像エリアの選び方により種々のものが想定できる。たとえば、撮像エリアが車道や歩道等の場合には、「物体」は車輌、歩行者、自転車等であり、「平面」は道路の平面である。また、撮像エリアが踏切や線路等の場合には、「物体」は電車であり、「平面」は線路である。さらには、撮像エリアが工場内の製造現場や物流現場の場合には、「物体」は製造物や搬送物であり、「平面」はベルトコンベア等の搬送装置の搬送面である。
【００１５】
本発明にあっては、平面上を移動する物体を撮像できるように複数の撮像手段を設置する。このとき、各撮像手段を所定の間隔で配置することにより、ステレオ画像を撮像することができる。なお、撮像手段の数は、２以上であればよい。
【００１６】
このような撮像エリアを上記複数の撮像手段で撮像し、ステレオ画像を得る。そしてまず、ステレオ画像のうちの基準画像について複数の特徴点を抽出する。「特徴点」とは、画像中の他の領域と比較して明確に区別しうる特徴的な部分をいい、たとえば、物体を示す特徴点とは物体のエッジ部分や模様部分等が該当し、平面を示す特徴点としては、道路を想定した場合、レーンマーキング等の平面上の模様部分や物体が平面上につくる影部分等が該当する。
【００１７】
次に、抽出した各特徴点について、他の画像（参照画像）中の対応点を探索することにより視差を求め、その視差から三角測量の原理で３次元位置を算出する。「対応点」とは、基準画像中の特徴点と同一部分を示す参照画像中の点である。特徴点と対応点は撮像手段からの距離に応じて画像上の座標値が異なる。この差が特徴点の視差となる。視差と配備した撮像手段の間隔と、撮像手段の焦点距離から３次元位置を求めることができる。
【００１８】
さらには、抽出した各特徴点位置の画像に類似する画像を物体の移動前後どちらかのの画像から検出し、移動する物体の各特徴点が別の瞬間にどの位置に移動したかを３次元情報として算出する。移動前後の画像は、その画像上の特徴点座標とともにメモリ等に蓄積され、順次読み出され、常に最も現在に近い情報として保存、更新していくことで実現される。
【００１９】
本発明における第２の特徴は、既知高さの特徴点を用いて特許文献３の手法で平面を推定する場合においても、移動物体の軌跡を用いて平面の法線ベクトルのみを別に算出することで、より少ない特徴点数で残りのパラメータであるカメラ高さを精度よく求められるので、平面推定精度が得られることである。平面推定に用いる各特徴点には画像の量子化、Ａ／Ｄ変換、対応づけ誤差等様々なノイズが混入しているため、最小自乗法やハフ変換等の統計的手法を用いて平面推定を行うと精度が向上することが知られているが、統計的アルゴリズムでは求める未知数の種類が少なければ少ないほど、精度が向上するからである。
【００２０】
また、上記平面推定方法において、典型的には、物体の移動方向をあらかじめ設定しておくとよい。移動方向の設定はユーザが指定してもよいし、道路のような場合であれば概ね車輌は車線方向に移動するので、そのような情報を入力してもよい。事前に移動方向が分かっていれば物体の移動するであろう領域を予測することが可能となり、探索する領域が減少し、探索精度も向上する効果がある。
【００２１】
さらに、上記平面推定方法においては、現在の画像上の特徴点と移動前後どちらかの画像の対応を求める際、その特徴点の視差の変化に応じて特徴点画像を拡大縮小させるとよい。物体が移動すると撮像手段からの距離が変化し、像の大きさが変化することになるので、画像上で相関を求めるには画像上２次元走査の他に拡大縮小率も変化させながら探索する必要がある。しかしながら、ステレオ画像から求められる視差の移動前後での変化率で上記拡大縮小率は一意に決定されるため、拡大縮小率を固定値で行え、高速に相関計算が行えるという効果がある。
【発明の効果】
【００２２】
以上記載の本発明によれば、求めたい平面のテクスチャが一様である場合や、車輌や通行者で混雑しており路面が十分に画像に映らない場合など、平面上から十分な個数の特徴点を抽出することができない状況においても、平面上を移動する物体の軌跡情報を利用して平面のカメラに対する角度の推定が可能となる効果がある。
【００２３】
さらに、移動物体の軌跡情報を用いて平面の法線ベクトルのみを別に算出することで、カメラ高さのみをハフ変換等のアルゴリズムで求めることにより、少ない特徴点数で高い平面推定精度が得られる効果が期待できる。
【発明を実施するための最良の形態】
【００２４】
以下に図面を参照して、本発明の好適な実施形態を例示的に詳細に説明する。
【００２５】
なお、以下の実施の形態に記載されている構成部分の形状、大きさ、その相対配置などは、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００２６】
（第１の実施の形態）
図１は、本発明の平面推定方法の一実施形態に係る車輌検出装置の設置例である。
【００２７】
車輌検出装置１は、道路ＲＤの脇に設置された支柱４に取り付けられており、道路ＲＤの各車道毎の通過車輌の台数や車種の判別、特定車輌の通過速度の計測、渋滞状況の把握、違法駐車中の車輌の検出等を自動的に行う装置である。この車輌検出装置１は、２台の撮像装置２ａ、２ｂと制御装置３とを有して構成される。
【００２８】
撮像装置２ａ、２ｂは、走行する車輌５を撮像できるように設置された撮像手段である。撮像手段２ａ、２ｂとしては、たとえばビデオカメラやＣＣＤカメラなどを用いることができる。
【００２９】
各撮像装置２ａ、２ｂは、互いの光軸が平行になり、かつ、所定間隔をあけて縦並びに取り付けられている。したがって、撮像装置２ａ、２ｂにより、走行する車輌５が視野内に入るようなステレオ画像を撮像することができる。
【００３０】
なお、同図の例では、２台の撮像装置を用いているが、これに限らず、３台以上の撮像装置を用いてもよい。また、撮像装置の配置は縦並びに限らず、横並びにしてもよい。
【００３１】
制御装置３はＣＰＵ（中央演算処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、画像メモリ等を基本ハードウェアとして備える制御手段である。装置稼動時には、ＲＯＭに格納されたプログラムがＣＰＵに読み込まれ実行されることで、後述する各機能が実現される。なお、制御装置３は、保守、点検などの必要から支柱４の基部付近に設置することが好ましい。
【００３２】
図２は、車輌検出装置１の機能構成を示す機能ブロック図である。同図に示すように、制御装置３は、概略、画像入力部３０、平面推定処理部３１、物体検出処理部３２、記憶部３３、出力部３４を有している。画像入力部３０は、撮像装置２ａ、２ｂから得られる画像信号を制御装置３に入力するための機能である。前記画像信号がアナログ量の場合には、画像入力部３０によってＡ／Ｄ変換されデジタル画像として取り込まれる。取り込まれた２枚の画像データはステレオ画像として各々画像入力部に設けた画像メモリ（図示略）に格納される。なお、ここで取り込まれる画像はカラー画像でもモノクロ画像（濃淡画像）でもよいが、車輌検出が目的であればモノクロ画像で十分である。
【００３３】
平面推定処理部３１は、画像メモリに取り込まれたステレオ画像から、車輌５が移動する平面（道路ＲＤ）の３次元的位置を推定する平面推定手段として機能する。車輌検出装置１が設置された直後は、撮像装置２ａ、２ｂと道路ＲＤの相対的な位置関係が未知な状態であり、物体検出処理を行うことができない。そこで、最初に平面推定処理を実行し、道路ＲＤの３次元的位置（具体的には撮像装置２ａ、２ｂの道路ＲＤに対する高さや俯角など）を算出するのである。なお、この処理は、車輌検出装置１を設置した際に１度実行すれば足りる。
【００３４】
平面推定処理部３１にて算出された道路ＲＤの３次元的位置データ（以下、単に「平面データ」という）は、記憶部３３に格納される。また、平面推定が正常に行われたかどうかを確認するために、必要に応じて出力部３４から平面データを出力することも可能である。
【００３５】
物体検出装置３２は、道路ＲＤの３次元的位置を基準として撮像エリア内の道路ＲＤ上を移動する物体（車輌５）を検出する検出手段として機能する。
【００３６】
物体検出処理部３２では、画像メモリに取り込まれたステレオ画像のうち一方の基準画像に対しエッジ強度抽出処理を行って、車輌５の輪郭部分などを示す特徴点を抽出する。各々の特徴点について、他方の参照画像中の類似した濃淡パターンを探索することにより対応点を見つけ、視差を求める。そして、各特徴点について、三角測量の原理に基づき実空間上における３次元座標を算出する。
【００３７】
三角測量の原理について図３を参照して説明する。同図では、説明の簡単のため２次元で示している。
【００３８】
同図のＣａ、Ｃｂはそれぞれ基準撮像装置２ａ、参照撮像装置２ｂを表す。基準撮像装置２ａの設置高さはＨであり、撮像装置２ａ、２ｂの焦点距離をｆとすると、撮像された画像Ｉａ、Ｉｂは、図示のようにＣａ、Ｃｂから距離ｆだけ離れた平面として考えることができる。
【００３９】
実空間上の点Ｐは、画像Ｉａ、Ｉｂ中の点ｐａ、ｐｂの位置に現れる。点ｐａが点Ｐを表す特徴点であり、点ｐｂが点ｐａに対応する対応点である。特徴点ｐａの画像Ｉａ中の座標値と特徴点ｐｂの画像Ｉｂ中の座標値は異なり、この差（ｄａ＋ｄｂ）が点Ｐの視差ｄとなる。
【００４０】
このとき、撮像装置２ａ、２ｂの撮像面から点Ｐまでの距離Ｌは、Ｌ＝Ｂｆ／ｄにより算出できる。そして俯角θと設置高さＨが既知であれば、距離Ｌから点Ｐの実空間上における３次元座標を算出することができる。これが三角測量の原理である。
【００４１】
以上まで、三角測量の原理を２次元の図で簡易に示したが、これを実際の３次元空間にあてはめた場合について図４を参照して説明する。図４に示すように、２つのカメラの中点を原点に、光軸方向をＺｃ軸とした座標系をカメラ座標系と呼ぶ。一方、カメラ直下を原点、鉛直方向をＹｇ軸とするようにカメラ座標系を俯角θ、法角γで回転させた座標系をワールド座標系と呼ぶ。俯角θ、法角γ、設置高さＨが既知であれば平面とカメラの相対位置関係が一意に決定されることになる。平面推定処理部３１では、上記３つの未知数の推定が行われ、平面データとして記憶部３３に格納される。物体検出処理では、平面推定処理部３１にて推定された平面（道路ＲＤ）が高さ０であるとしたときの３次元座標が算出されるのである。
【００４２】
このようにして、物体検出装置３２では、道路ＲＤ上に存在する物体（車輌等）の３次元形状を復元することができる。さらに、あらかじめＲＯＭに車輌のモデルデータを格納しておき、そのモデルデータと復元された３次元形状とのマッチング処理を行えば、車輌の数や車種などを判別することが可能となる。
【００４３】
次に、図５のフローチャートを参照して、上記平面推定処理部３１における平面推定処理について詳しく説明する。
【００４４】
まず、ステップＳＴ１１において、各撮像装置２ａ、２ｂによってステレオ画像を撮像する。撮像装置２ａ、２ｂから取り込まれた画像信号は、画像入力部３０によってデジタルデータに変換される。生成されたデジタル量の濃淡画像データは、撮像装置２ａから取り込まれたものは基準画像として、撮像装置２ｂから取り込まれたものは参照画像として、それぞれ画像メモリに格納される。
【００４５】
ステップＳＴ１２において、平面推定処理部３１は、画像メモリに格納された基準画像からエッジ抽出処理によって複数の特徴点を抽出する。エッジ抽出処理は、ラプラシアンフィルタやソーベルフィルタなどの公知のエッジ抽出オペレータで画像を走査することにより行うことができる。これにより、車輌５の輪郭部分、道路ＲＤのレーンマーキングなどが特徴点として抽出される。
【００４６】
次に、平面推定処理部３１は、抽出した各特徴点について参照画像中の対応点を探索するステレオ対応づけ処理により視差を求め、前述の三角測量の原理を用いて３次元座標を算出する（ステップＳＴ１３）。このステレオ対応づけ処理は、例えば特徴点の周囲数近傍の小画像をサンプルパターンとして用意し、このサンプルパターンと類似する濃度パターンを参照画像から探索することにより行うことができる。この段階では、俯角やカメラ高さなどの平面データが未知であるため、３次元座標は基準撮像装置２ａを原点、光軸方向をＺ軸とした座標系での値となる。
【００４７】
ステップＳＴ１４では、各特徴点について一定間隔前後の基準画像上でどの位置であったかをフレーム間対応づけ処理によって求める。このフレーム間対応づけ処理も前述のステレオ対応づけ処理同様の画像探索方法で行うことができる。記憶部３３には、現在の特徴点の画像座標、３次元座標、特徴点近傍の画像が次フレームの画像入力までに保存される（ステップＳＴ１５）。ステップＳＴ１５により、ステップＳＴ１４の処理に入る前には、一定間隔前の画像の特徴点についての上記情報が分かっていることになる。そして、フレーム間対応づけにより類似する移動前の特徴点が検出された場合には、特徴点の移動前後のつながりが分かるように特徴点ラベルの対応をとって記憶部３３に保存する。
【００４８】
このフレーム間対応づけ処理では、現在の画像の特徴点に対する、「過去」の画像上で探索する必要はなく、前もって撮像、蓄積された画像列の現在注目画像に対して、時間が経過した後の画像（移動後の画像）でもよい。ただし、双方の画像は、双方の画像上に移動前後の同一物体が存在している程度の時間間隔で撮像されている必要がある。
【００４９】
ステップＳＴ１６では、平面推定に必要な移動ベクトル群が十分収集されたかどうかを判定し、十分とみなされるまでステップＳＴ１１からＳＴ１５までの処理を複数回繰り返す。例えば、フレーム間で対応づいた特徴点組の個数や移動ベクトルの大きさの合計などを調べることで移動ベクトル群が十分収集されたかを調べることができる。
【００５０】
ステップＳＴ１２で抽出された特徴点のうち、フレーム間で対応づけされた結果、対応づけの相関値が一定値以下の場合や、移動ベクトルの大きさが一定値以下のベクトルはステップＳＴ１７への入力として平面推定に使用されないようにするとよい。ステップＳＴ１２で抽出された特徴点の中には、道路ＲＤのマーキング等移動物体ではない特徴点も含まれていると考えられるからである。
【００５１】
ステップＳＴ１７において、平面推定処理は以下の式によって行われる。
ここで、θは俯角、γは法角、（ａｘｉ，ａｙｉ，ａｚｉ）は移動ベクトルである。上式を満たすθ、γを求めるには、たとえば最小自乗法やハフ変換などの統計的処理により行うことができる。
【００５２】
算出結果は、撮像装置２ａ、２ｂの俯角θおよび法角γ、設置高さＨの形式で記憶部３３に格納されるとともに、確認のため出力部３４から出力される（ステップＳＴ１８）。
【００５３】
さらに、高さが既知の特徴点（例えば路面上の特徴点）が数点存在するような状況であれば、以下の式により高さ既知な特徴点とカメラまでの距離Ｈを算出することができる。
ここで、ｘ、ｙは特徴点の画像上座標位置、ｄは視差、ｆは焦点距離、Ｂは撮像手段の間隔（ベース長）である。上式を満たすＨも、前述のような統計的手法により精度よく求めることができる。いうまでもなく、高さ既知な特徴点が路面上の特徴点であれば、Ｈはカメラ高さである。
【００５４】
また、移動物体（車輌）は平面の「上」を移動すると考えれば、収集された移動ベクトルをなす特徴点の中で、最も高さが低い点は求める平面の特徴点に等しい。さらに詳しくいえば、求める平面と移動物体の境界によってできたエッジ等の特徴点である。よって、高さが既知でない特徴点しか存在しなくても、移動ベクトル群の最下面のベクトルのみを抽出し、抽出した特徴点のみを「００５３」記載の式へ与えることで求める平面のカメラ高さを算出することができる。
【００５５】
（第２の実施形態）
図６は、本発明の平面推定方法の一実施形態に係る車輌検出装置のブロック図である。
【００５６】
本実施形態の車輌検出装置は、探索領域指定部３５を有している。その他の構成および作用においては、第１の実施形態と同一なので、同一の構成部分については、同一の符号を付して、その説明は省略する。
【００５７】
探索領域指定部３５は、移動する物体の方向があらかじめ分かっている場合に、画像上で方向を指定する手段である。本実施形態では、モバイルコンピュータやＰＤＡなど、ディスプレイを備えた携帯端末装置を制御装置３の通信Ｉ／Ｆに接続し、制御装置３と協働させることによって以下の処理を実行する。なお、探索領域指定部３５を制御装置３の内部機能としてもよい。
【００５８】
図７のフローチャートを参照して、上記平面推定処理部３１における平面推定処理について詳しく説明する。本実施形態の平面推定方法では、ステップＳＴ１９の探索領域設定部を有している。その他の構成および作用においては、第１の実施形態と同一なので、同一の構成部分については、同一の符号を付して、その説明は省略する。
【００５９】
ステップＳＴ１９では、平面推定処理のために撮像装置２ａ、２ｂによって撮像された画像は、画像入力部３０によって取り込まれ画像メモリに格納される。すると、画像メモリ内の基準画像が探索領域指定部に送信され、ディスプレイに表示される。
【００６０】
ユーザ（設置作業者）は、ディスプレイに表示された基準画像を参照しつつ、画像中の移動物体の移動ベクトルを指定する。移動物体が車輌の場合、概ね車輌は車線に平行に移動すると考えられるので、車線の両サイドラインを指定することで移動方向を定義できる。その他の場合、たとえば工場内の搬送ラインであれば搬送ベルトのエッジなどを設定すればよい。
【００６１】
指定された直線を構成する２点について、対象画像とのステレオ対応づけを行い、直線の３次元情報を得る。そして、図８に示すような３次元上で等間隔なスリット群を設定する。各スリットは、指定された２直線から構成される平面上で、かつ前記２直線に平行な一定間隔の距離も持つ直線群として定義される。なお、この設定は平面推定処理を始める最初の画像に対してのみ１度実行すれば足りる。
【００６２】
指定されたスリットの情報（３次元位置、画像上位置）は、通信Ｉ／Ｆを介して制御装置３のＲＡＭに格納される。
【００６３】
ステップＳＴ１２で、画像が入力された後、ステップＳＴ１３では、基準画像上でスリット上にある点のみに対し、特徴抽出処理を行う。
【００６４】
よって、ステップＳＴ１５で保存される特徴点は全てスリット上の点ということになり、ステップＳＴ１４で行われるフレーム間対応づけの候補点も全てスリット上の点である。
【００６５】
このように、移動方向が概ね既知である場合には、移動方向に平行なスリットを設定し、移動前後の探索を、移動方向のみで行うことで、探索時間が短縮できることや移動物体の軌跡を効率よく抽出できることの効果が期待できる。
【００６６】
なお上記スリットの間隔は、平面上を移動する物体の最小幅より小さく設定し、探索領域は現在の特徴点のスリットに対して、隣り合うスリットを含めた複数本のスリット上とするとよい。車輌の場合であれば、走行車輌の中で最も小さいと考えられる軽自動車程度の幅以下に設定すればよい。また、移動物体は設定した移動方向のみに一律に移動することは稀であるため、移動方向に若干のぶれマージンを加えるという意味で隣り合うスリット上の特徴点も探索範囲とする。移動物体が車輌の場合のように、移動方向がほぼ車線に平行であると考えてよい場合には、探索するスリットの本数は少なくてよい。
【００６７】
また、平面推定処理中の、現在の移動物体の特徴点が移動前後の画像上ではどこに存在するかを求めるフレーム間対応づけ処理（ステップＳＴ１４）では、それぞれの特徴点の視差を求め、その変化率に応じて、現時点での特徴点の探索用小画像の大きさを決めるとよい。これは以下のような理由からである。
【００６８】
物体（車輌）が移動すると撮像手段から物体までの距離が変化するのが普遍的であり、画像に映る像の大きさも変化するため、移動前後の位置について画像上で相関を求めるには画像上を２次元的に走査する他に、探索する小画像の拡大縮小率も変化させながら探索する必要がある。しかしながら、ステレオ画像から求められる視差の移動前後での変化率で上記拡大縮小率は一意に決定されるため、拡大縮小率を固定値で行える。この原理を図９を参照して詳細に説明する。
【００６９】
前述の三角測量の原理説明どおり、カメラから３次元空間上のある点までの距離Ｌとその点の視差ｄの関係は、ｄ＝Ｂｆ／Ｌで表される。ここで、Ｂは配置したカメラ２つの間隔（ベース長）、ｆはカメラの焦点距離である。一方、実際の３次元上の大きさＷと奥行き距離Ｌとの関係は、ｗ＝Ｗｆ／Ｌである。ｗは画像上に映る物体の大きさである。以上の２式から、容易にｄ＝（Ｂ／Ｗ）・ｗが導くことができる。この式は視差ｄと画像上の像の大きさｗが比例関係であることを示している。すなわち、物体の移動により画像に映る像の大きさが変化しても、ステレオ画像から求められる視差の変化率を使って、像の大きさの変化量が対応づけ探索の前に知ることができる。
【００７０】
移動前後のフレーム間対応づけ処理について図９に具体的に示す。例えば、現在の画像（時刻ｔ）の特徴点が、移動する前（時刻ｔ−１）の画像上のどこに存在するかを探索する場合を考える。時刻ｔ−１の画像におけるある特徴点の視差をｄ、小領域をａピクセル四方とし、時刻ｔの該特徴点の視差をｄ´とすれば、時刻ｔの特徴点の小領域をａ×ｄ／ｄ´分切り出し、その領域をａピクセル四方に拡大／縮小して探索を行う。時刻ｔの画像の特徴点に対して、時刻ｔ＋１の画像上の特徴点を対応づける場合も同様の手法で行うことができる。
【００７１】
このように、時刻の異なる特徴点同士を対応づける際、各特徴点の視差の変化率を小領域の切り出し方に反映させることで、小画像の拡大縮小を行うことなく、高速に探索処理を行うことができる効果がある。
【図面の簡単な説明】
【００７２】
【図１】本発明の平面推定方法の一実施形態に係る車輌検出装置の設置例である。
【図２】第１の実施形態に係る車輌検出装置の機能構成を示すブロック図である。
【図３】三角測量の原理を示す図である。
【図４】カメラ座標系を説明する図である。
【図５】第１の実施形態に係る平面推定処理のフローチャートである。
【図６】第１の実施形態に係る車輌検出装置の機能構成を示すブロック図である。
【図７】第１の実施形態に係る平面推定処理のフローチャートである。
【図８】スリットの設定方法を説明する図である。
【図９】対象物までの距離と視差との関係を説明する図である。
【図１０】移動前後の特徴点を高速に探索する手法を説明する図である。
【符号の説明】
【００７３】
１ 車輌検出装置
２ａ、２ｂ 撮像装置（撮像手段）
３ 制御装置
３０ 画像入力部
３１ 平面推定処理部
３２ 物体検出処理部
３３ 記憶部
３４ 出力部
３５ 探索領域指定部
４ 支柱
５ 車輌（物体）
ＲＤ 道路（平面）
【特許請求の範囲】
【請求項１】
平面上を移動する物体を撮像できるように設置された複数の撮像手段によってステレオ画像を撮像し、前記ステレオ画像のうちの基準画像について複数の特徴点を抽出し、 抽出した各特徴点について他の画像中の対応点を探索して得られる視差から三角測量の原理により３次元座標を求め、抽出した各特徴点位置の画像に類似する画像を物体の移動前後の画像から検出し、抽出した各特徴点の３次元的な移動ベクトルから前記平面の３次元的位置を算出するステレオ画像による平面推定方法。
【請求項２】
高さが既知の特徴点を用いて、平面までの距離を推定する請求項１記載のステレオ画像による平面推定方法。
【請求項３】
抽出した各特徴点の３次元的な移動ベクトルから構成される平行な平面群のうち、最下面を物体が移動する平面とみなして、平面までの距離を推定する請求項１記載のステレオ画像による平面推定方法。
【請求項４】
前記の物体移動前後の画像から各特徴点位置の画像に類似する画像を検出手段について、物体の移動ベクトルをあらかじめ設定し、特徴点位置の画像を物体移動後画像から検出する際に、移動ベクトル方向でのみ探索を行うことを特徴する請求項１記載のステレオ画像による平面推定方法。
【請求項５】
前記の物体移動前後の画像から各特徴点位置の画像に類似する画像を検出手段について、視差の変化に応じて特徴点画像を拡大縮小させることを特徴とする請求項１記載のステレオ画像による平面推定方法。
【請求項１】
平面上を移動する物体を撮像できるように設置された複数の撮像手段によってステレオ画像を撮像し、前記ステレオ画像のうちの基準画像について複数の特徴点を抽出し、 抽出した各特徴点について他の画像中の対応点を探索して得られる視差から三角測量の原理により３次元座標を求め、抽出した各特徴点位置の画像に類似する画像を物体の移動前後の画像から検出し、抽出した各特徴点の３次元的な移動ベクトルから前記平面の３次元的位置を算出するステレオ画像による平面推定方法。
【請求項２】
高さが既知の特徴点を用いて、平面までの距離を推定する請求項１記載のステレオ画像による平面推定方法。
【請求項３】
抽出した各特徴点の３次元的な移動ベクトルから構成される平行な平面群のうち、最下面を物体が移動する平面とみなして、平面までの距離を推定する請求項１記載のステレオ画像による平面推定方法。
【請求項４】
前記の物体移動前後の画像から各特徴点位置の画像に類似する画像を検出手段について、物体の移動ベクトルをあらかじめ設定し、特徴点位置の画像を物体移動後画像から検出する際に、移動ベクトル方向でのみ探索を行うことを特徴する請求項１記載のステレオ画像による平面推定方法。
【請求項５】
前記の物体移動前後の画像から各特徴点位置の画像に類似する画像を検出手段について、視差の変化に応じて特徴点画像を拡大縮小させることを特徴とする請求項１記載のステレオ画像による平面推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１０５６６１（Ｐ２００６−１０５６６１Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２８９８８９（Ｐ２００４−２８９８８９）
【出願日】平成１６年１０月１日（２００４．１０．１）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年１０月１日（２００４．１０．１）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]