校正装置、距離計測システム、校正方法および校正プログラム
【課題】 ステレオカメラの経時的な位置ずれを補正し校正できる装置や方法を提供する。
【解決手段】 この校正装置は、移動体に搭載され、カメラ位置に関するパラメータを校正する装置であり、2地点において一方のカメラで撮影した2つの基準画像と、他方のカメラで撮影した2つの対応画像と2つの基準画像とを用い、各地点につき基準画像と対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部300と、2つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部310と、探索された各特徴点につき、2つの基準画像の各特徴点における視差データから、視差とその視差に対応する視差変化量とをそれぞれ算出する視差計算部320と、算出された複数の視差および視差変化量から、カメラ位置に関するパラメータの補正値を算出する補正値計算部330とを含む。
【解決手段】 この校正装置は、移動体に搭載され、カメラ位置に関するパラメータを校正する装置であり、2地点において一方のカメラで撮影した2つの基準画像と、他方のカメラで撮影した2つの対応画像と2つの基準画像とを用い、各地点につき基準画像と対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部300と、2つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部310と、探索された各特徴点につき、2つの基準画像の各特徴点における視差データから、視差とその視差に対応する視差変化量とをそれぞれ算出する視差計算部320と、算出された複数の視差および視差変化量から、カメラ位置に関するパラメータの補正値を算出する補正値計算部330とを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車等の移動体に搭載されるステレオカメラ方式の距離計測システムに設定されている撮像装置の位置に関するパラメータを校正するための校正装置、その校正装置を備える距離計測システム、その校正方法およびその方法を実行するためのコンピュータ可読な校正プログラムに関する。
【背景技術】
【0002】
近年、自動車の安全性への意識の高まりとコンピュータ性能の向上から、衝突防止装置や車間距離制御装置等が実装されるようになってきている。これらの装置は、車間距離がある範囲に入ると運転者に警告を発し、さらに短くなるとブレーキやステアリング等の制御を行って自動的に衝突を回避する操作を実行するものである。
【0003】
これらの制御を行う上で、車間距離を計測する必要があり、距離計測システムとしてステレオカメラが実用化されている。このステレオカメラは、車両前方の距離画像を生成し、その距離画像から障害物を認識し、その障害物までの距離を計測することができるシステムである。
【0004】
ステレオカメラを使用した距離計測について以下に詳細に説明する。図1は、2つのカメラを平行配置したステレオカメラによる距離計測の原理を説明するための図である。焦点距離をf、光学中心をO0、撮像面をs0とするカメラC0が、図1に向かって真上方向を光軸方向として配置され、かつ同じ焦点距離fをもつカメラC1が、カメラC0の向かって右側に、距離Bだけ離れて平行に配置されている。
【0005】
カメラC0の光学中心O0から光軸方向に距離dだけ離れた位置にある被写体Aの像は、直線AO0と撮像面s0との交点であるP0に結像する。カメラC1では、同じ被写体Aが、撮像面s1上の位置P1に結像する。ここで、カメラC1の光学中心O1を通り、直線AO0と平行な直線と、撮像面s1との交点をP’0とし、位置P’0と位置P1の距離をpとする。位置P’0は、カメラC0上のP0と同じ位置であり、距離pは、同じ被写体の像の、二つのカメラで撮影した画像上での位置のずれ量を表し、視差と呼ばれる。このとき、三角形AO0O1と、三角形O1P’0P1は合同であるので、以下の式1で表すことができる。
【0006】
【数1】
【0007】
式1中、Bは、三角形の一辺である基線長であり、この基線長と焦点距離fが既知であれば、視差pから距離dを求めることができる。
【0008】
以上が、2つのカメラが平行配置されたステレオカメラによる距離計測の原理であるが、これが成立するためには、2つのカメラC0、C1が、図1に示すように、正確に配置されていなければならない。特に、図1に示すY軸まわりのカメラの回転や、光学中心に対する撮像センサの横方向の位置ずれが生じると、Y軸に垂直な、すなわち図1に向かって見て横方向であるX軸方向に像位置が変化するため、その位置ずれが直接視差に加算されてしまい、計測される距離の精度が劣化してしまう。
【0009】
計測距離の精度を維持するためには、製造時に正確な調整を要することはもちろん、長時間利用すれば温度変化や振動等により微妙に配置が変化してしまうことから、校正を行う必要がある。しかしながら、販売後に既知の距離に配置したテストチャート等を使用した校正を要することになると、利用者の利便性を大きく損なってしまう。そこで、テストチャート等を必要とすることなく、周囲の自然な風景を撮影した画像を利用し、校正を行う方法がいくつか提案されている(例えば、特許文献1〜3参照)。
【0010】
特許文献1では、一般道などの任意の場所でカメラ撮影方向のずれを検出し、この検出結果に基づきカメラ校正を行う技術を開示している。具体的には、走行路上の複数の校正用撮影地点における撮影画像から、同一の静止特徴物を認識し、複数の校正用撮影地点における撮影画像内での静止特徴物の位置と、校正用撮影地点間の距離とを基に、複数の撮影手段間の撮影方向のずれを求め、その撮影方向のずれから補正を行い、カメラ校正している。
【0011】
特許文献2では、2つの時刻において、静止対象物の視差の検出を行い、これら2つの時刻間に走行した車両の走行距離を算出し、これらの結果に基づき、2つのカメラの光軸間平行度ずれに起因する誤差を視差オフセット量として求め、視差オフセット量により検出視差を補正している。
【0012】
特許文献3では、物体を認識する処理を行わなくてもカメラパラメータの校正値を算出できるように、撮影手段により所定のフレームレートで撮影された入力画像に複数の注目点を設定し、各注目点の視差と2次元のオプティカルフローを算出し、視差と注目点の垂直成分とを基に、入力画像に含まれる道路面と撮影手段との関係を示す路面パラメータを算出し、オプティカルフローと、視差と、路面パラメータとを基に、カメラパラメータの校正値を算出する構成とされている。
【発明の概要】
【発明が解決しようとする課題】
【0013】
しかしながら、上記特許文献1の方法では、静止被写体の形状を記憶しておく必要があり、記憶している被写体が存在しない場合には校正することができない。静止被写体として青信号や交通標識を使用するが、それらの形状や大きさは地方や国によって異なり、また、将来変更される場合もありうる。このため、登録された形状による静止被写体の判別というこの方法では、うまく校正することができない可能性がある。
【0014】
また、上記特許文献2の方法も同様に、静止対象物の形状を登録し、その登録された形状により静止対象物を判別して校正を行うことから、将来の変更や、国や地方によって異なる形状の静止対象物では、登録されている静止対象物とは異なると判別され、校正を行うことができない可能性がある。
【0015】
上記特許文献3の方法では、路面上の濃淡模様から特徴点を抽出し、その特徴点を利用して距離計測を行い、路面の位置、方向を表す路面パラメータを計算し、この路面パラメータの変化から視差オフセットを算出することから、自動車が走行している限り、直前に平坦な路面が存在する可能性が非常に高く、対象物を発見できないという問題が生じる可能性は低い。また、特定形状の被写体を認識する必要がない点で校正を行うことができないという問題は生じない。
【0016】
しかしながら、視差オフセットを計算する情報源が路面に限定されてしまい、壁、建物、電柱等の平面以外の静止被写体を有効に活用することができない。これでは、特に屋内など車載以外の利用環境に適用することはできない。
【0017】
また、路面上の濃淡は細かく遠距離の特徴点が少なくなるため、近距離しか距離計測することができず、校正には利用することができない。車間距離自動調整等、利用目的によっては、先行車両をより遠距離まで計測範囲にしたいこともあり、これが校正の精度に悪影響を及ぼすこともありうる。
【0018】
このため、ステレオカメラの経時的な位置ずれをパラメータの校正により補正することができる校正装置や方法、特に、カメラ以外の車速センサ等、自位置情報を計測するセンサに依存することなく、信号機や路面平面等の特定の形状の被写体の存在を仮定することなく、走行中に撮影される様々が画像を利用して、視差オフセットを安定して検出し、校正を行うことができる装置や方法の提供が望まれていた。
【課題を解決するための手段】
【0019】
本発明は、上記課題に鑑み、移動体に搭載され、2つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正するための校正装置であって、
2地点において一方の撮像装置で撮像された2つの基準画像と、前記2地点において他方の撮像装置で撮像された2つの対応画像と前記2つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部と、
前記2つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部と、
探索された各特徴点につき、前記2つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出する視差計算部と、
算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する補正値計算部とを含む。
【0020】
このように、撮像された画像から、視差および視差変化量を求め、それらから、撮影地点間の距離によることなく補正値を算出することができるので、車速センサ等の自位置情報を計測するセンサは不要で、特定の形状の被写体が存在してなくても、安定して当該補正値を算出することができる。このため、定期的に繰り返し実行することができ、そのつど補正を行い、距離計測の精度を一定に維持することができる。
【0021】
前記補正値計算部は、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する。モデル曲線は、二次曲線で、二次関数として表すことができ、その視差方向への変位を補正値として算出することができる。この変位が撮像装置の位置ずれ量を示すためである。
【0022】
また、前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価する信頼性評価部をさらに含む。このように信頼性を評価することで、撮像装置以外の外部センサ等に依存することなく、補正値を算出するために悪影響を及ぼす条件を画像自身から検出することができるため、適用可能性が高く、かつ精度の高い校正を実現することができる。
【0023】
前記信頼性評価部は、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する。以下であれば、信頼性ありと判定する。
【0024】
また、信頼性評価部は、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する。以上であれば、信頼性ありと判定する。これらの2つの評価基準を共に適用し、これらの基準を満たす場合に信頼性ありと判定することも可能である。このように2つの基準で判定を行うことにより、より高い精度の校正を実現することができる。
【0025】
前記校正装置は、前記視差変化量を正規化する正規化処理部と、正規化された前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部とを含むことができ、前記補正値計算部は、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出することができる。
【0026】
前記正規化処理部は、前記モデル曲線を表す前記二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する。このように正規化することで、計算を単純化し、また、蓄積した多数のデータを利用することができるため、より精度の高い校正が可能となる。
【0027】
前記信頼性評価部は、前記データ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価することもできる。データ数が多ければ、それだけ信頼性も高くなるからである。
【0028】
本発明では、上述した校正装置に加えて、この校正装置を備える距離計測装置も提供することができる。この距離計測システムは、一定間隔で離間し、同一直線上に各々の撮像面が配置され、同じ焦点距離を有する2つの撮像装置と、前記2地点において他方の撮像装置で撮像された2つの対応画像と前記2つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から複数の視差データを算出して出力する視差データ生成処理装置と、上記の校正装置とを含む。
【0029】
前記視差データ生成処理装置は、前記校正装置から前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行い、前記校正装置へ再び出力する。このような処理を繰り返すことで、常に校正を行い、一定で、高い精度での距離計測を実現することができる。
【0030】
本発明では、上記の校正装置が備える各部、距離計測システムが備える校正装置の各部および各装置により実行される処理を処理ステップとして含む校正方法を提供することができ、また、この処理ステップをコンピュータに実行させるプログラムとして構成することも可能である。このプログラムは、コンピュータが読み取り可能な記録媒体に記録して提供することもできるため、本発明では、このプログラムが記録された記録媒体の提供も可能である。
【図面の簡単な説明】
【0031】
【図1】距離計測システムと被写体との関係を示した図。
【図2】距離計測システムのハードウェア構成を例示した図。
【図3】本発明の校正装置を備える距離計測システムの機能ブロック図。
【図4】距離計測システムにより撮影された撮影画像を例示した図。
【図5】被写体までの距離と視差との関係を示した図。
【図6】視差と視差変化量との関係を示した図。
【図7】校正装置としての視差オフセット検出処理部の機能ブロック図。
【図8】補正値の信頼性を評価するための視差の分布を表した図。
【図9】補正値の信頼性を評価するための視差変化量のばらつきを表した図。
【図10】視差データ生成処理の流れを示したフローチャート。
【図11】補正値算出処理の流れを示したフローチャート。
【発明を実施するための形態】
【0032】
図2は、本発明の距離計測システムのハードウェア構成を示した図である。この距離計測システム10は、例えばステレオカメラであり、被写体を撮像するための2つの撮像装置20、21と、2つの撮像装置20、21により撮像された画像の画像データの入力を受け付け、それらの画像データに基づき、このシステムから被写体までの距離を計算する距離計算装置30とから構成されている。
【0033】
撮像装置20、21は、カメラとされ、同じ焦点距離を有しており、一定間隔で離間し、同一直線上に各々の撮像面が位置するように配置される。このため、同じ焦点距離を有する撮像面に垂直な光軸が平行となる。撮像装置20、21として使用することができるカメラは、ボディと、光を集めるレンズと、光量を調節するための絞りと、指定された時間のみ光を照射するシャッタと、対象物を確認するためのファインダと、受光した光を電気信号へ変換する撮像素子(光学センサ)と、画像処理回路とを含んで構成される。
【0034】
撮像素子から出力される電気信号は、アナログデータであるため、A/Dコンバータによりデジタルデータへ変換され、画像処理回路へ入力される。画像処理回路は、画像エンジンとも呼ばれ、補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮等の画像処理が行われ、距離計算装置30へ出力される。
【0035】
距離計算装置30は、2つの撮像装置20、21を制御し、また、それらの撮像装置20、21から出力された画像処理された画像データを受け取り、これら2つの画像データから、被写体までの距離を計算し、その結果を表示装置等に表示させる。この距離計算装置30は、これらの処理を実現するためのソフトウェアをもち、このソフトウェアを実行することにより、2つの画像データから距離を計算する。このため、このソフトウェアを格納するための不揮発性フラッシュメモリ31、そのフラッシュメモリ31からDRAMメモリ32を介してそのソフトウェアを読み出し、実行するCPU33、USBやIEEE1394等の接続インタフェース34を含んで構成される。フラッシュメモリ31、DRAMメモリ32、CPU33、接続インタフェース34はそれぞれバス35に接続されており、バス35を介してソフトウェアの読み出しを行い、撮像装置20、21へ制御信号を送るとともに、撮像装置20、21から接続インタフェース34およびバス35を介して画像データを受け取ることができる。
【0036】
距離計算装置30は、ソフトウェアをCPU33が実行することにより、図3に示すような、撮像装置20、21を制御する撮像制御部100と、撮像制御部100から入力される画像データの画像から視差データを生成する視差データ生成処理部110と、撮像制御部100から入力される基準画像と、視差データ生成処理部110から入力される視差データとを使用し、視差オフセットを補正値として算出する視差オフセット検出処理部120として機能する。
【0037】
撮像制御部100は、2つの撮像装置20、21の同期、初期化、露光制御等を行い、それらから撮像された画像データを視差データ生成処理部110と視差オフセット検出処理部120とに入力する処理を行う。なお、必要に応じ、光学系による歪曲、画像回転等の一般的にステレオ距離計測に有効とされる、視差オフセット以外の画像補正処理を行うことができる。このため、撮像装置20、21の画像エンジンが行う処理を、この撮像制御部100において行うことができ、撮像装置20、21は、画像エンジンを備えていなくてもよい。
【0038】
視差データ生成処理部110は、一般的なステレオカメラによる距離計測処理と同様の処理を行う。ただし、視差オフセット検出処理部120が生成する視差オフセットを、撮像装置20、21の位置に関するパラメータを校正するための補正値として利用することで、ハードウェアの経時変化による計測精度劣化を低減させることができる。この処理については後述する。
【0039】
視差オフセット検出処理部120は、校正装置を構成し、基準画像と視差データとを用い、補正値としての視差オフセットを計算し、算出された視差オフセットを、視差データ生成処理装置としての視差データ生成処理部110へ送り、それは、以降の視差データ生成処理に供される。
【0040】
ここで、視差オフセットとは、一方の撮像装置20の撮像画像全体が、ステレオ基線方向に平行移動する形の誤差である。この視差オフセットは、光学中心に対する撮像素子の位置ずれにより生じる。また、1つの撮像装置20全体のステレオ基線方向に垂直な光軸まわりの回転による画像変形は、厳密には透視変換によるいわゆる台形歪みとなるが、回転角度が微少な場合には近似的にステレオ基線方向の平行移動とみなすことができるため、これも視差オフセットとして扱うことができる。なお、視差オフセットは、ステレオカメラの視差に直接加算されるため、特に遠距離での距離計測精度に重大な影響を及ぼすことから、その補正は重要である。
【0041】
本発明では、上下方向や面内回転等のその他の位置ずれはないものと仮定し、実際に使用する際は、他の位置ずれを、別の校正技術を用いて補正することが好ましい。以下、視差オフセット検出処理について詳細に説明する。
【0042】
上述したように、基線長をB、焦点距離をf、距離をd、視差をpとすると、上記式1が成り立つ。この式1を微分し、距離dを、基線長B、焦点距離f、視差pを用いて表すと、以下の式2で表すことができる。
【0043】
【数2】
【0044】
式2中、p’は、視差pを距離dで微分した量であり、距離が一定量、例えば1m変化した場合の視差変化量を表すものである。距離の変化に対する変化量は、距離に応じて変化するが、式2は、視差変化量が常に視差の二乗に比例することを示している。
【0045】
直進する自動車に2つの撮像装置20、21を搭載し、撮像すると、画像視野内の静止物体は、すべて一定の速度で撮像装置20、21に近づいてくることになる。例えば、図4に示すような風景を撮像する場合を考えてみる。視野の中に写る先行車200と対向車210は、静止している地面220に対して移動していることから、移動体であり、その他の路面濃淡模様230、道路周辺建物240、交通標識250、山260といった背景風景等、視野内の多くのものが静止している。この静止している静止体は、どれも一定の速度で自分が乗った自動車に近づいてくるように見えることから、その位置に寄らず、すべて上記式2の関係で表されるはずである。したがって、撮像された画像の中の上記のような道路周辺建物240等の特徴を有する各特徴点について、視差と視差変化量とを求め、それをプロットすれば、式2をグラフに示す場合の曲線上にのるものと考えられる。これに対し、先行車200等の移動体は、同じ視差(距離)に存在する静止体に比べ、視差変化量が大きかったり、小さくなることから、その曲線から外れた位置にプロットされることになる。このことから、曲線上にのるか、外れるかにより、静止体であるか、移動体であるかを判別することができる。
【0046】
次に、視差、視差変化量を算出する方法について説明する。図5は、光学中心から被写体までの距離dと視差pの関係を示した図である。説明を簡単にするために、ここでは比例係数を1としている。図5に示すように、距離d0、d1の2つの地点において計測される視差をp0、p1とし、pi=1/diであることから、2つの地点での視差の差と距離の差の比は、次式で表すことができる。
【0047】
【数3】
【0048】
この式3から、曲線p=1/d上でこの傾きをもつ点は、p’=1/d2であるため、距離dは、式4で表すことができ、視差pは、式5で表すことができる。
【0049】
【数4】
【0050】
【数5】
【0051】
このことから、2つの地点で計測される視差がそれぞれp0、p1であった場合、その間の代表的な視差は、上記式5となり、視差変化量p’は、式6として算出することができる。
【0052】
【数6】
【0053】
この式6は、上記式3とは異なり、距離変化(d1−d0)で除していない。これは、画像だけでは自車の移動距離が不明であるため、このp’には、2つの地点間の距離に応じて定数倍の不定性が残る。しかしながら、それでも移動距離が同じ一対の対応画像内では、上記の式2の関係が成立し、また、他の2つの点での計測データとの比較も、後述のように2次曲線抽出後に高さを正規化することができるため、ここではこの式で問題はない。また、上記式5は、視差オフセットを含まない場合に成立する考えであるが、実際に計測される視差p0、p1には視差オフセットが含まれるため、厳密には成立しない。そこで、演算を単純化するために、次式のように置き換えることができる。
【0054】
【数7】
【0055】
次に、視差オフセットを算出する方法について説明する。実際に計測される視差には、視差オフセットが含まれるため、視差pは、真の視差ptからpoffだけずれている。
【0056】
【数8】
【0057】
一方、視差変化量p’は、上記式6に示すように、視差オフセットを含む視差同士の差であるので、オフセット分は差し引き0となり、真の視差変化量と同じものになると考えられる。したがって、視差オフセットを含む視差と視差変化量との関係は、図6に示すように、理想的な上記式2からp軸方向へpoffだけ移動した曲線上にのる。この曲線の式は、次式で表される。
【0058】
【数9】
【0059】
この計測された視差と視差変化量との関係から、ハフ変換等の検出したい線を方程式の形で表現する手法を用い、上記式9の曲線を抽出することにより、そのp軸方向への変位として、すなわちX切片の形で視差オフセットを算出することができる。このほか、上記式9の両辺の平方根をとり、視差pとp’の平方根との関係を表す直線をハフ変換により抽出することも可能である。
【0060】
次に、正規化と蓄積について説明する。上記式9の係数aは、上記式2のBf、および撮影する2つの地点間の距離、すなわち上記式6から得られる距離p’に応じた比例係数であり、2つの地点間の距離が増減すると視差変化量p’は定数倍される。そこで、p’の値を正規化、つまりp’をaで除算した量を記録し、蓄積する。この量p’norは、次式で表される。
【0061】
【数10】
【0062】
このように正規化した視差変化量p’norは、2つの地点間の距離に依存しないので、この正規化した視差変化量を視差と対応付けてデータとして多数蓄積し、その蓄積されたデータからより高精度に視差オフセットを算出することができる。
【0063】
以上のことから、本発明の校正装置として用いることができる視差オフセット検出処理部120は、次の各部から構成することができる。図7は、この視差オフセット検出処理部120の構成を示した図である。この視差オフセット検出処理部120は、撮像制御部100から基本画像を、視差データ生成処理部110から視差データをそれぞれ取得する画像取得部300と、特徴点探索部310と、視差計算部320と、補正値計算部330とを含む構成とされる。
【0064】
画像取得部300は、任意の2地点において、2つの撮像装置20、21のうちの一方の撮像装置20で撮像された2つの画像を基準画像として取得する。また、この画像取得部300は、視差データ生成処理部110が、その2地点において、もう一方の撮像装置21で撮像された2つの画像を対応画像として取得し、当該2つの対応画像と撮像制御部100から取得した2つの基準画像とを用い、各地点につき基準画像と対応画像の中の共通する複数の特徴点の位置から算出した複数の視差データを取得する。
【0065】
特徴点探索部310は、画像取得部300が取得した2つの基準画像の中の共通する複数の特徴点を探索する。特徴点は、上述したように、建物、道路標識、山などの風景、路面濃淡模様、先行車、対向車等である。視差計算部320は、探索された各特徴点につき、2つの基準画像の各特徴点における視差データから、視差とその視差に対応する視差変化量とをそれぞれ算出する。具体的には、上記式5より各地点の視差から代表的な視差を求め、上記式6あるいは7よりその代表的な視差に対応する視差変化量を求める。補正値計算部330は、視差計算部320により算出された複数の視差および視差変化量から、撮像装置20、21の位置に関するパラメータの補正値を算出する。
【0066】
このような構成を採用することで、撮像された画像から視差および視差変化量を求め、撮影地点間の距離によることなく補正値を算出することができるので、車速センサ等の自位置情報を計測するセンサは不要であり、また、特定の形状の被写体が存在してなくても、安定して補正値を算出することができる。このため、定期的に繰り返し実行することができ、そのつど補正を行い、距離計測の精度を一定に維持することができる。
【0067】
補正値計算部330は、具体的には、算出された複数の視差および視差変化量を用いてモデル曲線を作成し、モデル曲線から補正値、上記でいう視差オフセットを算出する。このモデル曲線は、二次曲線とすることができ、二次関数として表すことができる。このため、その視差方向への変位を補正値として算出することができる。
【0068】
これまで視差オフセット検出の原理およびこの原理を利用した校正装置の構成を説明してきたが、この原理を利用するにあたっては、算出された補正値の信頼性を評価することが望ましい。すなわち、図4に示すように、撮像された画像の中には、近距離から遠距離までの静止被写体が含まれ、移動被写体の面積が比較的小さい場合には、その視差と視差変化量との関係は、図6に示すように分布し、上記式9で表されるモデル曲線を抽出することができる。
【0069】
例えば、撮像装置20、21の前方近距離に先行車200が存在し、視野の大部分を占めるときに、特定の視差近辺のデータしか計測されなかった場合、図6の曲線上部や下部に示されるデータのように、抽出される曲線に大きな誤差が含まれる可能性がある。こういった悪条件は、検出し、それを排除しなければならない。
【0070】
そこで、上記視差差分の分散評価で抽出したモデル近傍データについて、視差pが広く分布しているかどうか確認する。例えば、図8に示すように、視差の範囲を定め、2つの視差範囲0と視差範囲1に全計測データのうち20%以上のデータ点が存在する場合に信頼性ありと判定する。この図8では、視差範囲1にしかデータが存在しないので、信頼性なしと判定される。
【0071】
ここまで、直進する車両に搭載した距離計測システムで静止物体を撮像した場合について考えてきた。しかしながら、実際には直進している車両であっても、上下左右に微妙に回転し、すべての静止物体の距離変化が一定とはならない。また、低速度で移動する人等を計測した特徴点は、理想モデル曲線近傍にのり、近似に悪影響を及ぼす。このため、実用的な校正処理の実現のためには、直進する静止物体以外の被写体による悪影響を低減する必要がある。
【0072】
そこで、抽出されるモデル曲線近傍の視差変化量の分布を調査する。視差の計測ばらつきは、光学センサのノイズ特性や、光学系の結像特性に依存し、測定しておくことができる。したがって、視差変化量データの、モデル曲線からの分散が、予め想定されるばらつきより十分に大きい場合には、そのデータはもともと曲線上にのっていなかったと推測し、視差オフセットの算出から排除する。
【0073】
ばらつきによる信頼性評価の概念を、図9に示す。明らかに静止していない特徴点を除去するため、p−p’空間にプロットされる特徴点データのうち、抽出されたモデル曲線近傍のデータのみを抽出する。図9に示すように、モデル曲線の上下p’tolの範囲(破線で囲まれた範囲)にあるデータ点のみ抽出し、それ以外の白丸で示されるデータは除去する。
【0074】
抽出された特徴点データについて、計測値と、近似モデルとの差分二乗平均を求め、これが所定の閾値以下である場合に、信頼性ありと判定する。これは、次式で表すことができる。
【0075】
【数11】
【0076】
閾値は、予め視差の検出ばらつきに応じて設定しておくことができる。この閾値は、距離や輝度により変化させてもよい。
【0077】
以上のことから、視差と視差変化量という2つのパラメータからなる空間に着目する。このパラメータ空間を利用することにより、次の利点を有する。
(1)視差変化量は視差オフセットによらない。
視差変化量は、上記式6で表されるように、計測される視差同士の差分であるため、視差オフセットの影響を排除することができる。
(2)直接視差オフセットを表現することができる。
上記式9で表されるように、モデル曲線のX切片として視差オフセットを算出することができる。
(3)正規化することができる。
視差変化量は、自車の移動距離、被写体距離により変化するが、p’がp2に比例する関係が変わらないことから、移動距離が不明であっても、比例定数を正規化するだけで記録が可能となる。
【0078】
本発明では、このような性質を利用すべく、多数の計測地点、特徴点データを活用し、視差オフセットを正確に推定することができる。
【0079】
そこで、視差オフセット検出処理部120は、図7に示す各部に加えて、複数の視差の分布およびモデル曲線からの複数の視差変化量の分散に基づき、補正値の信頼性の有無を評価する信頼性評価部をさらに含むことができる。この信頼性評価部は、上述したようにして信頼性を評価する。このように信頼性評価部により信頼性を評価することで、撮像装置20、21以外の外部センサ等に依存することなく、補正値を算出するために悪影響を及ぼす条件を画像自身から検出することができるため、適用可能性が高く、かつ精度の高い校正を実現することができる。
【0080】
具体的には、この信頼性評価部は、算出された視差変化量が、モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、それ以外のデータは排除し、その所定範囲内にあるデータの視差変化量とモデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する。そして、閾値以下であれば、信頼性ありと判定する。この所定範囲は、これまでの蓄積されたデータや経験から決定することができ、図9でいう上下p’tolの範囲である。
【0081】
また、信頼性評価部は、予め指定された視差の範囲に含まれる複数の視差の割合を計算し、その割合が所定の割合以上であるか否かを判定する。この視差の範囲は、図8でいう視差範囲0および視差範囲1である。ここでは、所定の割合以上であれば、信頼性ありと判定する。広い視差範囲にデータが分布していれば、それだけ信頼性は高くなるからである。これらの2つの評価基準を共に適用し、これらの基準を満たす場合に信頼性ありと判定することも可能であり、この方法が望ましい。このように2つの基準で判定を行うことにより、より高い精度の校正を実現することができる。
【0082】
また、視差オフセット検出処理部120は、視差変化量を正規化する正規化処理部と、正規化された視差変化量を視差と対応付けて蓄積するデータ蓄積部とを含むことができる。この場合、上記の補正値計算部330は、データ蓄積部に蓄積された複数の視差および正規化された視差変化量から、撮像装置20、21の位置に関するパラメータの補正値を算出することができる。
【0083】
正規化処理部は、上記式10を用い、モデル曲線を表す二次関数の比例係数で視差変化量を除して、正規化された視差変化量を算出する。このように正規化することで、計算を単純化し、また、蓄積した多数のデータを利用することができるため、より精度の高い校正が可能となる。
【0084】
信頼性評価部は、データ蓄積部に蓄積されたデータ数に応じて、補正値の信頼性の有無を評価することもできる。データ数が多ければ、モデル曲線を抽出する際のプロットする点が多くなり、モデル曲線の精度が高くなり、モデル曲線からハフ変換により得られる視差オフセットの精度が高くなり、その結果、補正値の信頼性が高くなるからである。
【0085】
次に、距離計算装置30において行われる処理について詳細に説明する。図10は、視差データ生成処理部110が行う視差データ生成処理の流れを示したフローチャート図である。この処理は、ステップ1000から開始し、まず、ステップ1010で、平行配置された2つの撮像装置20、21により同時に撮影された画像の入力を受け付ける。次に、その画像内の特徴点を探索するが、まず、ステップ1020で、基準となる一方の画像(基準画像)から濃淡変化の激しい特徴点を複数抽出する。次に、ステップ1030で、もう一方の画像(対応画像)から、その基準画像の各特徴点近傍の領域(ブロック)と同じ被写体が写った特徴点の位置を探索する。この対応する特徴点の探索には、SAD(Sum of Absolute Difference)やPOC(位相限定相関)等の周知の技術を利用することができる。
【0086】
SADは、画像間の類似性を評価するため、比較する画像から領域を切り出し、その領域に対する輝度差の総和を求め、最小値を与える切り出し位置を検索することで、画像間の変化を画素単位で求めることができるというものである。POCは、基準となる画像と照合すべき画像の相関(類似性)を求めるため、デジタル信号化された画像をフーリエ変換で数学的に処理し、振幅(濃淡データ)と位相(像の輪郭データ)に分解し、この位相の情報のみを使用して相関を瞬時に画像処理するものである。
【0087】
このようにして特徴点の探索を行った後、ステップ1040で、視差を算出する。視差は、特徴点の探索により得られた2つの画像上の特徴点の位置の差分を取ることにより、それらの間の距離として算出することができる。また、視差オフセット検出処理部120から入力される視差オフセットを減算し、視差オフセット補正を実行する。これは、前回の計算にて計算された視差オフセットの分だけ位置ずれしているのを補正するものである。なお、視差オフセット検出処理の結果が出力されるまでは、補正値としての視差オフセットがないため、初期値として0を利用する。
【0088】
視差を算出したところで、ステップ1050で、視差データを出力する。すなわち、補正された視差量を画素値とする視差画像を視差データとして出力することができる。出力後、ステップ1060で、この処理を終了する。この処理を定期的に繰り返し実行することで、常時、撮像装置20、21の前方の視差データを出力し続けることができる。
【0089】
視差オフセット検出処理部120は、視差データ生成処理部110から入力される視差データを利用して、撮像装置20、21の位置に関するパラメータを補正するための補正値としての視差オフセットを算出する。この視差オフセット検出処理は、温度変化等に依存するため、距離計測システムの使用中は、常時、定時的に繰り返し実行する。図11は、視差オフセット検出処理部120が行う視差オフセット検出処理の流れを示したフローチャート図である。
【0090】
この処理は、ステップ1100から開始し、ステップ1110で、画像の入力を受け付ける。画像は、撮像制御部100から2枚の基準画像を受け付け、視差データ生成処理部110から視差データ、具体的にはそれら基準画像に対応する2枚の視差画像を受け付ける。
【0091】
次に、ステップ1120で、2枚の基準画像間で対応する特徴点を探索する。視差データ生成処理部110による特徴点の探索と同様に、ブロックごとにSADを計算し、最小値をとる位置を探索する。ただし、図10における画像の特徴点探索とは異なり、放射状の探索範囲を設定する。このように探索範囲を設定することにより、特徴点の探索処理の演算量を低減し、同時に横方向への移動物体や自車の回転をある程度排除することができる。
【0092】
ステップ1130で、上記式5を用いて特徴点ごとに、対応する2つの視差から代表的な視差を算出し、上記式6を用いて視差変化量を算出する。そして、ステップ1140で、このようにして算出した視差および視差変化量からハフ変換により、上記式9で表されるような2次曲線を抽出する。具体的には、決定したいパラメータa、poff(以下、bとする。)からなる2次元平面の、予め設定した範囲の所定の間隔で多数の領域に分割し、各領域に対応する2次元配列をメモリ上に用意する。
【0093】
p’=a(p−b)2という式をa、b空間の曲線とみなし、計測された各p、p’に対し、上記a、b空間を表す2次元配列の、曲線b=p±√(p’/a)上にプロットする。全ての計測値p、p’についてのプロットの結果、最もプロットが多い領域に対応するa、bペアが、多くの計測値p、p’を通る曲線を表すものと考えられる。このため、そのa、bペアをモデル曲線として選択することができる。ここで得られるパラメータbは、視差オフセットであり、これを視差補正処理に利用することができる。
【0094】
次に、ステップ1150で、得られたパラメータについての信頼性を評価する。例えば、以下の2つの評価基準で判定することができる。1つは、視差差分の分散である。p−p’空間にプロットされる特徴点データのうち、モデル曲線の上下所定範囲にあるデータ点のみを抽出し、抽出したデータについて、上記式11を用い、計測値と近似モデルの差分二乗平均Eを求め、このEが所定の閾値、図9でいうp’tolが例えば0.3画素以下であるかどうかを判定する。それ以下である場合は、信頼性ありと判定する。
【0095】
もう1つは、距離範囲の分布である。図8に示すように、視差の範囲を定め、2つの視差範囲0と視差範囲1、例えば5画素以下と、10画素以上に、全計測データのうち、それぞれ20%以上のデータ点が存在する場合に信頼性ありと判定する。
【0096】
このように2つの観点から抽出されたモデルパラメータの信頼性を判定し、両方で信頼性ありと判定された場合のみ、次のステップ1160へ進み、そうでない場合は、その計測データを廃棄し、ステップ1110へ戻り、次の画像の入力を受け付ける。
【0097】
ステップ1160では、精度向上のため、多数の計測データを蓄積する。具体的には、ステップ1150での信頼積評価でモデル曲線近傍データとして抽出された計測データp’に対し、得られたモデルパラメータaを使用し、上記式10を用いて除算し、結果のp’tol元のpとペアにして記録する。
【0098】
ステップ1170では、単純に蓄積されたデータの数が、一定の閾値を超えた場合に信頼性が高いと判定し、次のステップ1180へ進む。一方、超えない場合は、記録データを保存したまま、ステップ1110へ戻り、画像の入力を受け付ける。ここでは、単純に蓄積されたデータ数により判断しているが、ステップ1150と同様に、2つの評価基準を適用し、判定することも可能である。
【0099】
ステップ1180では、これまでに移動物体上の特徴点が取り除かれているため、ハフ変換のようなはずれ値除去の機能は不要であり、また、ハフ変換では、離散化したパラメータを得ることができないため、最小二乗近似を採用し、モデルフィットを行うことができる。
【0100】
蓄積されたデータに対し、上記式9を用いて最小二乗近似を行う。ただし、パラメータaは、すでにデータが正規化されているため、1と固定し、パラメータpoffについてのみ最適化を行う。結果として、多数の撮影画像に基づいて視差オフセットが推定される。このとき、以降の処理のため、このステップの最後に、蓄積されたpとp’のペアからなるデータ群を削除する。
【0101】
こうして得られた視差オフセットpoffを、ステップ1190において視差データ生成処理部110へ出力し、ステップ1200においてこの処理を終了する。出力された視差オフセットは、視差データ生成処理部110において視差データを生成する際に行われる視差オフセット補正に利用される。
【0102】
このように視差オフセットを算出し、視差データ生成処理部110へ出力し続けることにより、継続的にカメラパラメータを校正することができ、距離計測の精度を高く維持することができる。
【0103】
上述したように、撮像された画像データから視差データおよび視差変化量データを算出し、それらのデータから撮影地点間の距離によることなく視差オフセットを算出することができるため、カメラ以外の車速センサ等、自位置情報を計測するセンサに依存せず、かつ、特定の形状の被写体の存在を仮定することなく、稼働中に撮影される様々な画像を利用して、視差オフセットを安定して検出することができる。
【0104】
また、撮像装置20、21以外の外部センサに依存せず、補正パラメータ算出に悪影響を及ぼす条件を、撮像画像データ自身から検出するので、適用可能性が高く、かつ精度の高い校正装置を実現することができる。
【0105】
また、多数のフレームを利用するので、より精度の高い校正装置を実現することができ、カメラ画像自身から補正パラメータを算出するので、適用可能性が高く、かつ精度の高い距離計測システムを実現することができる。
【0106】
これまで本発明を上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、本発明は、上記の校正装置および校正方法のほか、その方法を実行するためのコンピュータ可読なプログラム、そのプログラムが記録された記録媒体も提供することができるものである。
【符号の説明】
【0107】
10…距離計測システム、20、21…撮像装置、30…距離計算装置、31…フラッシュメモリ、32…DRAMメモリ、33…CPU、34…接続インタフェース、35…バス、100…撮像制御部、110…視差データ生成処理部、120…視差オフセット検出処理部、200…先行車、210…対向車、220…地面、230…路面濃淡模様、240…道路周辺建物、250…交通標識、260…山、300…画像取得部、310…特徴点探索部、320…視差計算部、330…補正値計算部
【先行技術文献】
【特許文献】
【0108】
【特許文献1】特許第3436074号公報
【特許文献2】特開2001−169310号公報
【特許文献3】特開2009−182879号公報
【技術分野】
【0001】
本発明は、自動車等の移動体に搭載されるステレオカメラ方式の距離計測システムに設定されている撮像装置の位置に関するパラメータを校正するための校正装置、その校正装置を備える距離計測システム、その校正方法およびその方法を実行するためのコンピュータ可読な校正プログラムに関する。
【背景技術】
【0002】
近年、自動車の安全性への意識の高まりとコンピュータ性能の向上から、衝突防止装置や車間距離制御装置等が実装されるようになってきている。これらの装置は、車間距離がある範囲に入ると運転者に警告を発し、さらに短くなるとブレーキやステアリング等の制御を行って自動的に衝突を回避する操作を実行するものである。
【0003】
これらの制御を行う上で、車間距離を計測する必要があり、距離計測システムとしてステレオカメラが実用化されている。このステレオカメラは、車両前方の距離画像を生成し、その距離画像から障害物を認識し、その障害物までの距離を計測することができるシステムである。
【0004】
ステレオカメラを使用した距離計測について以下に詳細に説明する。図1は、2つのカメラを平行配置したステレオカメラによる距離計測の原理を説明するための図である。焦点距離をf、光学中心をO0、撮像面をs0とするカメラC0が、図1に向かって真上方向を光軸方向として配置され、かつ同じ焦点距離fをもつカメラC1が、カメラC0の向かって右側に、距離Bだけ離れて平行に配置されている。
【0005】
カメラC0の光学中心O0から光軸方向に距離dだけ離れた位置にある被写体Aの像は、直線AO0と撮像面s0との交点であるP0に結像する。カメラC1では、同じ被写体Aが、撮像面s1上の位置P1に結像する。ここで、カメラC1の光学中心O1を通り、直線AO0と平行な直線と、撮像面s1との交点をP’0とし、位置P’0と位置P1の距離をpとする。位置P’0は、カメラC0上のP0と同じ位置であり、距離pは、同じ被写体の像の、二つのカメラで撮影した画像上での位置のずれ量を表し、視差と呼ばれる。このとき、三角形AO0O1と、三角形O1P’0P1は合同であるので、以下の式1で表すことができる。
【0006】
【数1】
【0007】
式1中、Bは、三角形の一辺である基線長であり、この基線長と焦点距離fが既知であれば、視差pから距離dを求めることができる。
【0008】
以上が、2つのカメラが平行配置されたステレオカメラによる距離計測の原理であるが、これが成立するためには、2つのカメラC0、C1が、図1に示すように、正確に配置されていなければならない。特に、図1に示すY軸まわりのカメラの回転や、光学中心に対する撮像センサの横方向の位置ずれが生じると、Y軸に垂直な、すなわち図1に向かって見て横方向であるX軸方向に像位置が変化するため、その位置ずれが直接視差に加算されてしまい、計測される距離の精度が劣化してしまう。
【0009】
計測距離の精度を維持するためには、製造時に正確な調整を要することはもちろん、長時間利用すれば温度変化や振動等により微妙に配置が変化してしまうことから、校正を行う必要がある。しかしながら、販売後に既知の距離に配置したテストチャート等を使用した校正を要することになると、利用者の利便性を大きく損なってしまう。そこで、テストチャート等を必要とすることなく、周囲の自然な風景を撮影した画像を利用し、校正を行う方法がいくつか提案されている(例えば、特許文献1〜3参照)。
【0010】
特許文献1では、一般道などの任意の場所でカメラ撮影方向のずれを検出し、この検出結果に基づきカメラ校正を行う技術を開示している。具体的には、走行路上の複数の校正用撮影地点における撮影画像から、同一の静止特徴物を認識し、複数の校正用撮影地点における撮影画像内での静止特徴物の位置と、校正用撮影地点間の距離とを基に、複数の撮影手段間の撮影方向のずれを求め、その撮影方向のずれから補正を行い、カメラ校正している。
【0011】
特許文献2では、2つの時刻において、静止対象物の視差の検出を行い、これら2つの時刻間に走行した車両の走行距離を算出し、これらの結果に基づき、2つのカメラの光軸間平行度ずれに起因する誤差を視差オフセット量として求め、視差オフセット量により検出視差を補正している。
【0012】
特許文献3では、物体を認識する処理を行わなくてもカメラパラメータの校正値を算出できるように、撮影手段により所定のフレームレートで撮影された入力画像に複数の注目点を設定し、各注目点の視差と2次元のオプティカルフローを算出し、視差と注目点の垂直成分とを基に、入力画像に含まれる道路面と撮影手段との関係を示す路面パラメータを算出し、オプティカルフローと、視差と、路面パラメータとを基に、カメラパラメータの校正値を算出する構成とされている。
【発明の概要】
【発明が解決しようとする課題】
【0013】
しかしながら、上記特許文献1の方法では、静止被写体の形状を記憶しておく必要があり、記憶している被写体が存在しない場合には校正することができない。静止被写体として青信号や交通標識を使用するが、それらの形状や大きさは地方や国によって異なり、また、将来変更される場合もありうる。このため、登録された形状による静止被写体の判別というこの方法では、うまく校正することができない可能性がある。
【0014】
また、上記特許文献2の方法も同様に、静止対象物の形状を登録し、その登録された形状により静止対象物を判別して校正を行うことから、将来の変更や、国や地方によって異なる形状の静止対象物では、登録されている静止対象物とは異なると判別され、校正を行うことができない可能性がある。
【0015】
上記特許文献3の方法では、路面上の濃淡模様から特徴点を抽出し、その特徴点を利用して距離計測を行い、路面の位置、方向を表す路面パラメータを計算し、この路面パラメータの変化から視差オフセットを算出することから、自動車が走行している限り、直前に平坦な路面が存在する可能性が非常に高く、対象物を発見できないという問題が生じる可能性は低い。また、特定形状の被写体を認識する必要がない点で校正を行うことができないという問題は生じない。
【0016】
しかしながら、視差オフセットを計算する情報源が路面に限定されてしまい、壁、建物、電柱等の平面以外の静止被写体を有効に活用することができない。これでは、特に屋内など車載以外の利用環境に適用することはできない。
【0017】
また、路面上の濃淡は細かく遠距離の特徴点が少なくなるため、近距離しか距離計測することができず、校正には利用することができない。車間距離自動調整等、利用目的によっては、先行車両をより遠距離まで計測範囲にしたいこともあり、これが校正の精度に悪影響を及ぼすこともありうる。
【0018】
このため、ステレオカメラの経時的な位置ずれをパラメータの校正により補正することができる校正装置や方法、特に、カメラ以外の車速センサ等、自位置情報を計測するセンサに依存することなく、信号機や路面平面等の特定の形状の被写体の存在を仮定することなく、走行中に撮影される様々が画像を利用して、視差オフセットを安定して検出し、校正を行うことができる装置や方法の提供が望まれていた。
【課題を解決するための手段】
【0019】
本発明は、上記課題に鑑み、移動体に搭載され、2つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正するための校正装置であって、
2地点において一方の撮像装置で撮像された2つの基準画像と、前記2地点において他方の撮像装置で撮像された2つの対応画像と前記2つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部と、
前記2つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部と、
探索された各特徴点につき、前記2つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出する視差計算部と、
算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する補正値計算部とを含む。
【0020】
このように、撮像された画像から、視差および視差変化量を求め、それらから、撮影地点間の距離によることなく補正値を算出することができるので、車速センサ等の自位置情報を計測するセンサは不要で、特定の形状の被写体が存在してなくても、安定して当該補正値を算出することができる。このため、定期的に繰り返し実行することができ、そのつど補正を行い、距離計測の精度を一定に維持することができる。
【0021】
前記補正値計算部は、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する。モデル曲線は、二次曲線で、二次関数として表すことができ、その視差方向への変位を補正値として算出することができる。この変位が撮像装置の位置ずれ量を示すためである。
【0022】
また、前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価する信頼性評価部をさらに含む。このように信頼性を評価することで、撮像装置以外の外部センサ等に依存することなく、補正値を算出するために悪影響を及ぼす条件を画像自身から検出することができるため、適用可能性が高く、かつ精度の高い校正を実現することができる。
【0023】
前記信頼性評価部は、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する。以下であれば、信頼性ありと判定する。
【0024】
また、信頼性評価部は、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する。以上であれば、信頼性ありと判定する。これらの2つの評価基準を共に適用し、これらの基準を満たす場合に信頼性ありと判定することも可能である。このように2つの基準で判定を行うことにより、より高い精度の校正を実現することができる。
【0025】
前記校正装置は、前記視差変化量を正規化する正規化処理部と、正規化された前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部とを含むことができ、前記補正値計算部は、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出することができる。
【0026】
前記正規化処理部は、前記モデル曲線を表す前記二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する。このように正規化することで、計算を単純化し、また、蓄積した多数のデータを利用することができるため、より精度の高い校正が可能となる。
【0027】
前記信頼性評価部は、前記データ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価することもできる。データ数が多ければ、それだけ信頼性も高くなるからである。
【0028】
本発明では、上述した校正装置に加えて、この校正装置を備える距離計測装置も提供することができる。この距離計測システムは、一定間隔で離間し、同一直線上に各々の撮像面が配置され、同じ焦点距離を有する2つの撮像装置と、前記2地点において他方の撮像装置で撮像された2つの対応画像と前記2つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から複数の視差データを算出して出力する視差データ生成処理装置と、上記の校正装置とを含む。
【0029】
前記視差データ生成処理装置は、前記校正装置から前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行い、前記校正装置へ再び出力する。このような処理を繰り返すことで、常に校正を行い、一定で、高い精度での距離計測を実現することができる。
【0030】
本発明では、上記の校正装置が備える各部、距離計測システムが備える校正装置の各部および各装置により実行される処理を処理ステップとして含む校正方法を提供することができ、また、この処理ステップをコンピュータに実行させるプログラムとして構成することも可能である。このプログラムは、コンピュータが読み取り可能な記録媒体に記録して提供することもできるため、本発明では、このプログラムが記録された記録媒体の提供も可能である。
【図面の簡単な説明】
【0031】
【図1】距離計測システムと被写体との関係を示した図。
【図2】距離計測システムのハードウェア構成を例示した図。
【図3】本発明の校正装置を備える距離計測システムの機能ブロック図。
【図4】距離計測システムにより撮影された撮影画像を例示した図。
【図5】被写体までの距離と視差との関係を示した図。
【図6】視差と視差変化量との関係を示した図。
【図7】校正装置としての視差オフセット検出処理部の機能ブロック図。
【図8】補正値の信頼性を評価するための視差の分布を表した図。
【図9】補正値の信頼性を評価するための視差変化量のばらつきを表した図。
【図10】視差データ生成処理の流れを示したフローチャート。
【図11】補正値算出処理の流れを示したフローチャート。
【発明を実施するための形態】
【0032】
図2は、本発明の距離計測システムのハードウェア構成を示した図である。この距離計測システム10は、例えばステレオカメラであり、被写体を撮像するための2つの撮像装置20、21と、2つの撮像装置20、21により撮像された画像の画像データの入力を受け付け、それらの画像データに基づき、このシステムから被写体までの距離を計算する距離計算装置30とから構成されている。
【0033】
撮像装置20、21は、カメラとされ、同じ焦点距離を有しており、一定間隔で離間し、同一直線上に各々の撮像面が位置するように配置される。このため、同じ焦点距離を有する撮像面に垂直な光軸が平行となる。撮像装置20、21として使用することができるカメラは、ボディと、光を集めるレンズと、光量を調節するための絞りと、指定された時間のみ光を照射するシャッタと、対象物を確認するためのファインダと、受光した光を電気信号へ変換する撮像素子(光学センサ)と、画像処理回路とを含んで構成される。
【0034】
撮像素子から出力される電気信号は、アナログデータであるため、A/Dコンバータによりデジタルデータへ変換され、画像処理回路へ入力される。画像処理回路は、画像エンジンとも呼ばれ、補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮等の画像処理が行われ、距離計算装置30へ出力される。
【0035】
距離計算装置30は、2つの撮像装置20、21を制御し、また、それらの撮像装置20、21から出力された画像処理された画像データを受け取り、これら2つの画像データから、被写体までの距離を計算し、その結果を表示装置等に表示させる。この距離計算装置30は、これらの処理を実現するためのソフトウェアをもち、このソフトウェアを実行することにより、2つの画像データから距離を計算する。このため、このソフトウェアを格納するための不揮発性フラッシュメモリ31、そのフラッシュメモリ31からDRAMメモリ32を介してそのソフトウェアを読み出し、実行するCPU33、USBやIEEE1394等の接続インタフェース34を含んで構成される。フラッシュメモリ31、DRAMメモリ32、CPU33、接続インタフェース34はそれぞれバス35に接続されており、バス35を介してソフトウェアの読み出しを行い、撮像装置20、21へ制御信号を送るとともに、撮像装置20、21から接続インタフェース34およびバス35を介して画像データを受け取ることができる。
【0036】
距離計算装置30は、ソフトウェアをCPU33が実行することにより、図3に示すような、撮像装置20、21を制御する撮像制御部100と、撮像制御部100から入力される画像データの画像から視差データを生成する視差データ生成処理部110と、撮像制御部100から入力される基準画像と、視差データ生成処理部110から入力される視差データとを使用し、視差オフセットを補正値として算出する視差オフセット検出処理部120として機能する。
【0037】
撮像制御部100は、2つの撮像装置20、21の同期、初期化、露光制御等を行い、それらから撮像された画像データを視差データ生成処理部110と視差オフセット検出処理部120とに入力する処理を行う。なお、必要に応じ、光学系による歪曲、画像回転等の一般的にステレオ距離計測に有効とされる、視差オフセット以外の画像補正処理を行うことができる。このため、撮像装置20、21の画像エンジンが行う処理を、この撮像制御部100において行うことができ、撮像装置20、21は、画像エンジンを備えていなくてもよい。
【0038】
視差データ生成処理部110は、一般的なステレオカメラによる距離計測処理と同様の処理を行う。ただし、視差オフセット検出処理部120が生成する視差オフセットを、撮像装置20、21の位置に関するパラメータを校正するための補正値として利用することで、ハードウェアの経時変化による計測精度劣化を低減させることができる。この処理については後述する。
【0039】
視差オフセット検出処理部120は、校正装置を構成し、基準画像と視差データとを用い、補正値としての視差オフセットを計算し、算出された視差オフセットを、視差データ生成処理装置としての視差データ生成処理部110へ送り、それは、以降の視差データ生成処理に供される。
【0040】
ここで、視差オフセットとは、一方の撮像装置20の撮像画像全体が、ステレオ基線方向に平行移動する形の誤差である。この視差オフセットは、光学中心に対する撮像素子の位置ずれにより生じる。また、1つの撮像装置20全体のステレオ基線方向に垂直な光軸まわりの回転による画像変形は、厳密には透視変換によるいわゆる台形歪みとなるが、回転角度が微少な場合には近似的にステレオ基線方向の平行移動とみなすことができるため、これも視差オフセットとして扱うことができる。なお、視差オフセットは、ステレオカメラの視差に直接加算されるため、特に遠距離での距離計測精度に重大な影響を及ぼすことから、その補正は重要である。
【0041】
本発明では、上下方向や面内回転等のその他の位置ずれはないものと仮定し、実際に使用する際は、他の位置ずれを、別の校正技術を用いて補正することが好ましい。以下、視差オフセット検出処理について詳細に説明する。
【0042】
上述したように、基線長をB、焦点距離をf、距離をd、視差をpとすると、上記式1が成り立つ。この式1を微分し、距離dを、基線長B、焦点距離f、視差pを用いて表すと、以下の式2で表すことができる。
【0043】
【数2】
【0044】
式2中、p’は、視差pを距離dで微分した量であり、距離が一定量、例えば1m変化した場合の視差変化量を表すものである。距離の変化に対する変化量は、距離に応じて変化するが、式2は、視差変化量が常に視差の二乗に比例することを示している。
【0045】
直進する自動車に2つの撮像装置20、21を搭載し、撮像すると、画像視野内の静止物体は、すべて一定の速度で撮像装置20、21に近づいてくることになる。例えば、図4に示すような風景を撮像する場合を考えてみる。視野の中に写る先行車200と対向車210は、静止している地面220に対して移動していることから、移動体であり、その他の路面濃淡模様230、道路周辺建物240、交通標識250、山260といった背景風景等、視野内の多くのものが静止している。この静止している静止体は、どれも一定の速度で自分が乗った自動車に近づいてくるように見えることから、その位置に寄らず、すべて上記式2の関係で表されるはずである。したがって、撮像された画像の中の上記のような道路周辺建物240等の特徴を有する各特徴点について、視差と視差変化量とを求め、それをプロットすれば、式2をグラフに示す場合の曲線上にのるものと考えられる。これに対し、先行車200等の移動体は、同じ視差(距離)に存在する静止体に比べ、視差変化量が大きかったり、小さくなることから、その曲線から外れた位置にプロットされることになる。このことから、曲線上にのるか、外れるかにより、静止体であるか、移動体であるかを判別することができる。
【0046】
次に、視差、視差変化量を算出する方法について説明する。図5は、光学中心から被写体までの距離dと視差pの関係を示した図である。説明を簡単にするために、ここでは比例係数を1としている。図5に示すように、距離d0、d1の2つの地点において計測される視差をp0、p1とし、pi=1/diであることから、2つの地点での視差の差と距離の差の比は、次式で表すことができる。
【0047】
【数3】
【0048】
この式3から、曲線p=1/d上でこの傾きをもつ点は、p’=1/d2であるため、距離dは、式4で表すことができ、視差pは、式5で表すことができる。
【0049】
【数4】
【0050】
【数5】
【0051】
このことから、2つの地点で計測される視差がそれぞれp0、p1であった場合、その間の代表的な視差は、上記式5となり、視差変化量p’は、式6として算出することができる。
【0052】
【数6】
【0053】
この式6は、上記式3とは異なり、距離変化(d1−d0)で除していない。これは、画像だけでは自車の移動距離が不明であるため、このp’には、2つの地点間の距離に応じて定数倍の不定性が残る。しかしながら、それでも移動距離が同じ一対の対応画像内では、上記の式2の関係が成立し、また、他の2つの点での計測データとの比較も、後述のように2次曲線抽出後に高さを正規化することができるため、ここではこの式で問題はない。また、上記式5は、視差オフセットを含まない場合に成立する考えであるが、実際に計測される視差p0、p1には視差オフセットが含まれるため、厳密には成立しない。そこで、演算を単純化するために、次式のように置き換えることができる。
【0054】
【数7】
【0055】
次に、視差オフセットを算出する方法について説明する。実際に計測される視差には、視差オフセットが含まれるため、視差pは、真の視差ptからpoffだけずれている。
【0056】
【数8】
【0057】
一方、視差変化量p’は、上記式6に示すように、視差オフセットを含む視差同士の差であるので、オフセット分は差し引き0となり、真の視差変化量と同じものになると考えられる。したがって、視差オフセットを含む視差と視差変化量との関係は、図6に示すように、理想的な上記式2からp軸方向へpoffだけ移動した曲線上にのる。この曲線の式は、次式で表される。
【0058】
【数9】
【0059】
この計測された視差と視差変化量との関係から、ハフ変換等の検出したい線を方程式の形で表現する手法を用い、上記式9の曲線を抽出することにより、そのp軸方向への変位として、すなわちX切片の形で視差オフセットを算出することができる。このほか、上記式9の両辺の平方根をとり、視差pとp’の平方根との関係を表す直線をハフ変換により抽出することも可能である。
【0060】
次に、正規化と蓄積について説明する。上記式9の係数aは、上記式2のBf、および撮影する2つの地点間の距離、すなわち上記式6から得られる距離p’に応じた比例係数であり、2つの地点間の距離が増減すると視差変化量p’は定数倍される。そこで、p’の値を正規化、つまりp’をaで除算した量を記録し、蓄積する。この量p’norは、次式で表される。
【0061】
【数10】
【0062】
このように正規化した視差変化量p’norは、2つの地点間の距離に依存しないので、この正規化した視差変化量を視差と対応付けてデータとして多数蓄積し、その蓄積されたデータからより高精度に視差オフセットを算出することができる。
【0063】
以上のことから、本発明の校正装置として用いることができる視差オフセット検出処理部120は、次の各部から構成することができる。図7は、この視差オフセット検出処理部120の構成を示した図である。この視差オフセット検出処理部120は、撮像制御部100から基本画像を、視差データ生成処理部110から視差データをそれぞれ取得する画像取得部300と、特徴点探索部310と、視差計算部320と、補正値計算部330とを含む構成とされる。
【0064】
画像取得部300は、任意の2地点において、2つの撮像装置20、21のうちの一方の撮像装置20で撮像された2つの画像を基準画像として取得する。また、この画像取得部300は、視差データ生成処理部110が、その2地点において、もう一方の撮像装置21で撮像された2つの画像を対応画像として取得し、当該2つの対応画像と撮像制御部100から取得した2つの基準画像とを用い、各地点につき基準画像と対応画像の中の共通する複数の特徴点の位置から算出した複数の視差データを取得する。
【0065】
特徴点探索部310は、画像取得部300が取得した2つの基準画像の中の共通する複数の特徴点を探索する。特徴点は、上述したように、建物、道路標識、山などの風景、路面濃淡模様、先行車、対向車等である。視差計算部320は、探索された各特徴点につき、2つの基準画像の各特徴点における視差データから、視差とその視差に対応する視差変化量とをそれぞれ算出する。具体的には、上記式5より各地点の視差から代表的な視差を求め、上記式6あるいは7よりその代表的な視差に対応する視差変化量を求める。補正値計算部330は、視差計算部320により算出された複数の視差および視差変化量から、撮像装置20、21の位置に関するパラメータの補正値を算出する。
【0066】
このような構成を採用することで、撮像された画像から視差および視差変化量を求め、撮影地点間の距離によることなく補正値を算出することができるので、車速センサ等の自位置情報を計測するセンサは不要であり、また、特定の形状の被写体が存在してなくても、安定して補正値を算出することができる。このため、定期的に繰り返し実行することができ、そのつど補正を行い、距離計測の精度を一定に維持することができる。
【0067】
補正値計算部330は、具体的には、算出された複数の視差および視差変化量を用いてモデル曲線を作成し、モデル曲線から補正値、上記でいう視差オフセットを算出する。このモデル曲線は、二次曲線とすることができ、二次関数として表すことができる。このため、その視差方向への変位を補正値として算出することができる。
【0068】
これまで視差オフセット検出の原理およびこの原理を利用した校正装置の構成を説明してきたが、この原理を利用するにあたっては、算出された補正値の信頼性を評価することが望ましい。すなわち、図4に示すように、撮像された画像の中には、近距離から遠距離までの静止被写体が含まれ、移動被写体の面積が比較的小さい場合には、その視差と視差変化量との関係は、図6に示すように分布し、上記式9で表されるモデル曲線を抽出することができる。
【0069】
例えば、撮像装置20、21の前方近距離に先行車200が存在し、視野の大部分を占めるときに、特定の視差近辺のデータしか計測されなかった場合、図6の曲線上部や下部に示されるデータのように、抽出される曲線に大きな誤差が含まれる可能性がある。こういった悪条件は、検出し、それを排除しなければならない。
【0070】
そこで、上記視差差分の分散評価で抽出したモデル近傍データについて、視差pが広く分布しているかどうか確認する。例えば、図8に示すように、視差の範囲を定め、2つの視差範囲0と視差範囲1に全計測データのうち20%以上のデータ点が存在する場合に信頼性ありと判定する。この図8では、視差範囲1にしかデータが存在しないので、信頼性なしと判定される。
【0071】
ここまで、直進する車両に搭載した距離計測システムで静止物体を撮像した場合について考えてきた。しかしながら、実際には直進している車両であっても、上下左右に微妙に回転し、すべての静止物体の距離変化が一定とはならない。また、低速度で移動する人等を計測した特徴点は、理想モデル曲線近傍にのり、近似に悪影響を及ぼす。このため、実用的な校正処理の実現のためには、直進する静止物体以外の被写体による悪影響を低減する必要がある。
【0072】
そこで、抽出されるモデル曲線近傍の視差変化量の分布を調査する。視差の計測ばらつきは、光学センサのノイズ特性や、光学系の結像特性に依存し、測定しておくことができる。したがって、視差変化量データの、モデル曲線からの分散が、予め想定されるばらつきより十分に大きい場合には、そのデータはもともと曲線上にのっていなかったと推測し、視差オフセットの算出から排除する。
【0073】
ばらつきによる信頼性評価の概念を、図9に示す。明らかに静止していない特徴点を除去するため、p−p’空間にプロットされる特徴点データのうち、抽出されたモデル曲線近傍のデータのみを抽出する。図9に示すように、モデル曲線の上下p’tolの範囲(破線で囲まれた範囲)にあるデータ点のみ抽出し、それ以外の白丸で示されるデータは除去する。
【0074】
抽出された特徴点データについて、計測値と、近似モデルとの差分二乗平均を求め、これが所定の閾値以下である場合に、信頼性ありと判定する。これは、次式で表すことができる。
【0075】
【数11】
【0076】
閾値は、予め視差の検出ばらつきに応じて設定しておくことができる。この閾値は、距離や輝度により変化させてもよい。
【0077】
以上のことから、視差と視差変化量という2つのパラメータからなる空間に着目する。このパラメータ空間を利用することにより、次の利点を有する。
(1)視差変化量は視差オフセットによらない。
視差変化量は、上記式6で表されるように、計測される視差同士の差分であるため、視差オフセットの影響を排除することができる。
(2)直接視差オフセットを表現することができる。
上記式9で表されるように、モデル曲線のX切片として視差オフセットを算出することができる。
(3)正規化することができる。
視差変化量は、自車の移動距離、被写体距離により変化するが、p’がp2に比例する関係が変わらないことから、移動距離が不明であっても、比例定数を正規化するだけで記録が可能となる。
【0078】
本発明では、このような性質を利用すべく、多数の計測地点、特徴点データを活用し、視差オフセットを正確に推定することができる。
【0079】
そこで、視差オフセット検出処理部120は、図7に示す各部に加えて、複数の視差の分布およびモデル曲線からの複数の視差変化量の分散に基づき、補正値の信頼性の有無を評価する信頼性評価部をさらに含むことができる。この信頼性評価部は、上述したようにして信頼性を評価する。このように信頼性評価部により信頼性を評価することで、撮像装置20、21以外の外部センサ等に依存することなく、補正値を算出するために悪影響を及ぼす条件を画像自身から検出することができるため、適用可能性が高く、かつ精度の高い校正を実現することができる。
【0080】
具体的には、この信頼性評価部は、算出された視差変化量が、モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、それ以外のデータは排除し、その所定範囲内にあるデータの視差変化量とモデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する。そして、閾値以下であれば、信頼性ありと判定する。この所定範囲は、これまでの蓄積されたデータや経験から決定することができ、図9でいう上下p’tolの範囲である。
【0081】
また、信頼性評価部は、予め指定された視差の範囲に含まれる複数の視差の割合を計算し、その割合が所定の割合以上であるか否かを判定する。この視差の範囲は、図8でいう視差範囲0および視差範囲1である。ここでは、所定の割合以上であれば、信頼性ありと判定する。広い視差範囲にデータが分布していれば、それだけ信頼性は高くなるからである。これらの2つの評価基準を共に適用し、これらの基準を満たす場合に信頼性ありと判定することも可能であり、この方法が望ましい。このように2つの基準で判定を行うことにより、より高い精度の校正を実現することができる。
【0082】
また、視差オフセット検出処理部120は、視差変化量を正規化する正規化処理部と、正規化された視差変化量を視差と対応付けて蓄積するデータ蓄積部とを含むことができる。この場合、上記の補正値計算部330は、データ蓄積部に蓄積された複数の視差および正規化された視差変化量から、撮像装置20、21の位置に関するパラメータの補正値を算出することができる。
【0083】
正規化処理部は、上記式10を用い、モデル曲線を表す二次関数の比例係数で視差変化量を除して、正規化された視差変化量を算出する。このように正規化することで、計算を単純化し、また、蓄積した多数のデータを利用することができるため、より精度の高い校正が可能となる。
【0084】
信頼性評価部は、データ蓄積部に蓄積されたデータ数に応じて、補正値の信頼性の有無を評価することもできる。データ数が多ければ、モデル曲線を抽出する際のプロットする点が多くなり、モデル曲線の精度が高くなり、モデル曲線からハフ変換により得られる視差オフセットの精度が高くなり、その結果、補正値の信頼性が高くなるからである。
【0085】
次に、距離計算装置30において行われる処理について詳細に説明する。図10は、視差データ生成処理部110が行う視差データ生成処理の流れを示したフローチャート図である。この処理は、ステップ1000から開始し、まず、ステップ1010で、平行配置された2つの撮像装置20、21により同時に撮影された画像の入力を受け付ける。次に、その画像内の特徴点を探索するが、まず、ステップ1020で、基準となる一方の画像(基準画像)から濃淡変化の激しい特徴点を複数抽出する。次に、ステップ1030で、もう一方の画像(対応画像)から、その基準画像の各特徴点近傍の領域(ブロック)と同じ被写体が写った特徴点の位置を探索する。この対応する特徴点の探索には、SAD(Sum of Absolute Difference)やPOC(位相限定相関)等の周知の技術を利用することができる。
【0086】
SADは、画像間の類似性を評価するため、比較する画像から領域を切り出し、その領域に対する輝度差の総和を求め、最小値を与える切り出し位置を検索することで、画像間の変化を画素単位で求めることができるというものである。POCは、基準となる画像と照合すべき画像の相関(類似性)を求めるため、デジタル信号化された画像をフーリエ変換で数学的に処理し、振幅(濃淡データ)と位相(像の輪郭データ)に分解し、この位相の情報のみを使用して相関を瞬時に画像処理するものである。
【0087】
このようにして特徴点の探索を行った後、ステップ1040で、視差を算出する。視差は、特徴点の探索により得られた2つの画像上の特徴点の位置の差分を取ることにより、それらの間の距離として算出することができる。また、視差オフセット検出処理部120から入力される視差オフセットを減算し、視差オフセット補正を実行する。これは、前回の計算にて計算された視差オフセットの分だけ位置ずれしているのを補正するものである。なお、視差オフセット検出処理の結果が出力されるまでは、補正値としての視差オフセットがないため、初期値として0を利用する。
【0088】
視差を算出したところで、ステップ1050で、視差データを出力する。すなわち、補正された視差量を画素値とする視差画像を視差データとして出力することができる。出力後、ステップ1060で、この処理を終了する。この処理を定期的に繰り返し実行することで、常時、撮像装置20、21の前方の視差データを出力し続けることができる。
【0089】
視差オフセット検出処理部120は、視差データ生成処理部110から入力される視差データを利用して、撮像装置20、21の位置に関するパラメータを補正するための補正値としての視差オフセットを算出する。この視差オフセット検出処理は、温度変化等に依存するため、距離計測システムの使用中は、常時、定時的に繰り返し実行する。図11は、視差オフセット検出処理部120が行う視差オフセット検出処理の流れを示したフローチャート図である。
【0090】
この処理は、ステップ1100から開始し、ステップ1110で、画像の入力を受け付ける。画像は、撮像制御部100から2枚の基準画像を受け付け、視差データ生成処理部110から視差データ、具体的にはそれら基準画像に対応する2枚の視差画像を受け付ける。
【0091】
次に、ステップ1120で、2枚の基準画像間で対応する特徴点を探索する。視差データ生成処理部110による特徴点の探索と同様に、ブロックごとにSADを計算し、最小値をとる位置を探索する。ただし、図10における画像の特徴点探索とは異なり、放射状の探索範囲を設定する。このように探索範囲を設定することにより、特徴点の探索処理の演算量を低減し、同時に横方向への移動物体や自車の回転をある程度排除することができる。
【0092】
ステップ1130で、上記式5を用いて特徴点ごとに、対応する2つの視差から代表的な視差を算出し、上記式6を用いて視差変化量を算出する。そして、ステップ1140で、このようにして算出した視差および視差変化量からハフ変換により、上記式9で表されるような2次曲線を抽出する。具体的には、決定したいパラメータa、poff(以下、bとする。)からなる2次元平面の、予め設定した範囲の所定の間隔で多数の領域に分割し、各領域に対応する2次元配列をメモリ上に用意する。
【0093】
p’=a(p−b)2という式をa、b空間の曲線とみなし、計測された各p、p’に対し、上記a、b空間を表す2次元配列の、曲線b=p±√(p’/a)上にプロットする。全ての計測値p、p’についてのプロットの結果、最もプロットが多い領域に対応するa、bペアが、多くの計測値p、p’を通る曲線を表すものと考えられる。このため、そのa、bペアをモデル曲線として選択することができる。ここで得られるパラメータbは、視差オフセットであり、これを視差補正処理に利用することができる。
【0094】
次に、ステップ1150で、得られたパラメータについての信頼性を評価する。例えば、以下の2つの評価基準で判定することができる。1つは、視差差分の分散である。p−p’空間にプロットされる特徴点データのうち、モデル曲線の上下所定範囲にあるデータ点のみを抽出し、抽出したデータについて、上記式11を用い、計測値と近似モデルの差分二乗平均Eを求め、このEが所定の閾値、図9でいうp’tolが例えば0.3画素以下であるかどうかを判定する。それ以下である場合は、信頼性ありと判定する。
【0095】
もう1つは、距離範囲の分布である。図8に示すように、視差の範囲を定め、2つの視差範囲0と視差範囲1、例えば5画素以下と、10画素以上に、全計測データのうち、それぞれ20%以上のデータ点が存在する場合に信頼性ありと判定する。
【0096】
このように2つの観点から抽出されたモデルパラメータの信頼性を判定し、両方で信頼性ありと判定された場合のみ、次のステップ1160へ進み、そうでない場合は、その計測データを廃棄し、ステップ1110へ戻り、次の画像の入力を受け付ける。
【0097】
ステップ1160では、精度向上のため、多数の計測データを蓄積する。具体的には、ステップ1150での信頼積評価でモデル曲線近傍データとして抽出された計測データp’に対し、得られたモデルパラメータaを使用し、上記式10を用いて除算し、結果のp’tol元のpとペアにして記録する。
【0098】
ステップ1170では、単純に蓄積されたデータの数が、一定の閾値を超えた場合に信頼性が高いと判定し、次のステップ1180へ進む。一方、超えない場合は、記録データを保存したまま、ステップ1110へ戻り、画像の入力を受け付ける。ここでは、単純に蓄積されたデータ数により判断しているが、ステップ1150と同様に、2つの評価基準を適用し、判定することも可能である。
【0099】
ステップ1180では、これまでに移動物体上の特徴点が取り除かれているため、ハフ変換のようなはずれ値除去の機能は不要であり、また、ハフ変換では、離散化したパラメータを得ることができないため、最小二乗近似を採用し、モデルフィットを行うことができる。
【0100】
蓄積されたデータに対し、上記式9を用いて最小二乗近似を行う。ただし、パラメータaは、すでにデータが正規化されているため、1と固定し、パラメータpoffについてのみ最適化を行う。結果として、多数の撮影画像に基づいて視差オフセットが推定される。このとき、以降の処理のため、このステップの最後に、蓄積されたpとp’のペアからなるデータ群を削除する。
【0101】
こうして得られた視差オフセットpoffを、ステップ1190において視差データ生成処理部110へ出力し、ステップ1200においてこの処理を終了する。出力された視差オフセットは、視差データ生成処理部110において視差データを生成する際に行われる視差オフセット補正に利用される。
【0102】
このように視差オフセットを算出し、視差データ生成処理部110へ出力し続けることにより、継続的にカメラパラメータを校正することができ、距離計測の精度を高く維持することができる。
【0103】
上述したように、撮像された画像データから視差データおよび視差変化量データを算出し、それらのデータから撮影地点間の距離によることなく視差オフセットを算出することができるため、カメラ以外の車速センサ等、自位置情報を計測するセンサに依存せず、かつ、特定の形状の被写体の存在を仮定することなく、稼働中に撮影される様々な画像を利用して、視差オフセットを安定して検出することができる。
【0104】
また、撮像装置20、21以外の外部センサに依存せず、補正パラメータ算出に悪影響を及ぼす条件を、撮像画像データ自身から検出するので、適用可能性が高く、かつ精度の高い校正装置を実現することができる。
【0105】
また、多数のフレームを利用するので、より精度の高い校正装置を実現することができ、カメラ画像自身から補正パラメータを算出するので、適用可能性が高く、かつ精度の高い距離計測システムを実現することができる。
【0106】
これまで本発明を上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、本発明は、上記の校正装置および校正方法のほか、その方法を実行するためのコンピュータ可読なプログラム、そのプログラムが記録された記録媒体も提供することができるものである。
【符号の説明】
【0107】
10…距離計測システム、20、21…撮像装置、30…距離計算装置、31…フラッシュメモリ、32…DRAMメモリ、33…CPU、34…接続インタフェース、35…バス、100…撮像制御部、110…視差データ生成処理部、120…視差オフセット検出処理部、200…先行車、210…対向車、220…地面、230…路面濃淡模様、240…道路周辺建物、250…交通標識、260…山、300…画像取得部、310…特徴点探索部、320…視差計算部、330…補正値計算部
【先行技術文献】
【特許文献】
【0108】
【特許文献1】特許第3436074号公報
【特許文献2】特開2001−169310号公報
【特許文献3】特開2009−182879号公報
【特許請求の範囲】
【請求項1】
移動体に搭載され、2つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正するための校正装置であって、
2地点において一方の前記撮像装置で撮像された2つの基準画像と、前記2地点において他方の前記撮像装置で撮像された2つの対応画像と前記2つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部と、
前記2つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部と、
探索された各前記特徴点につき、前記2つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出する視差計算部と、
算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する補正値計算部とを含む、校正装置。
【請求項2】
前記補正値計算部は、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する、請求項1に記載の校正装置。
【請求項3】
前記モデル曲線は、二次曲線であり、視差方向への変位を補正値として算出する、請求項2に記載の校正装置。
【請求項4】
前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価する信頼性評価部をさらに含む、請求項2または3に記載の校正装置。
【請求項5】
前記信頼性評価部は、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する、請求項4に記載の校正装置。
【請求項6】
前記信頼性評価部は、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する、請求項4に記載の校正装置。
【請求項7】
前記校正装置は、前記視差変化量を正規化する正規化処理部と、正規化された前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部とを含み、
前記補正値計算部は、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する、請求項1〜6のいずれか1項に記載の校正装置。
【請求項8】
前記正規化処理部は、前記モデル曲線を表す二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する、請求項7に記載の校正装置。
【請求項9】
前記信頼性評価部は、前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価する、請求項4に記載の校正装置。
【請求項10】
請求項1〜9のいずれか1項に記載の校正装置と、一定間隔で離間し、同一直線上に各々の撮像面が配置され、同じ焦点距離を有する2つの撮像装置と、前記2地点において前記他方の撮像装置で撮像された前記2つの対応画像と前記2つの基準画像とを用い、前記各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から複数の視差データを算出して出力する視差データ生成処理装置とを含む、距離計測システム。
【請求項11】
前記視差データ生成処理装置は、前記校正装置から前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行い、前記校正装置へ再び出力する、請求項10に記載の距離計測システム。
【請求項12】
移動体に搭載され、2つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正する校正方法であって、
2地点において一方の前記撮像装置で撮像された2つの基準画像と、前記2地点において他方の前記撮像装置で撮像された2つの対応画像と前記2つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付けるステップと、
前記2つの基準画像の中の共通する複数の特徴点を探索するステップと、
探索された各前記特徴点につき、前記2つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出するステップと、
算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出するステップとを含む、校正方法。
【請求項13】
前記補正値を算出するステップでは、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する、請求項12に記載の校正方法。
【請求項14】
前記モデル曲線は、二次曲線であり、視差方向への変位を補正値として算出する、請求項13に記載の校正方法。
【請求項15】
前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価するステップをさらに含む、請求項13または14に記載の校正方法。
【請求項16】
前記評価するステップでは、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する、請求項15に記載の校正方法。
【請求項17】
前記評価するステップでは、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する、請求項15に記載の校正方法。
【請求項18】
さらに、前記視差変化量を正規化するステップと、正規化された前記視差変化量を前記視差と対応付けてデータ蓄積部に蓄積するステップとを含み、
前記補正値を算出するステップでは、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する、請求項12〜17のいずれか1項に記載の校正方法。
【請求項19】
前記正規化するステップでは、前記モデル曲線を表す二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する、請求項18に記載の校正方法。
【請求項20】
前記評価するステップでは、前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価する、請求項15に記載の校正方法。
【請求項21】
前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行うステップをさらに含む、請求項12〜20のいずれか1項に記載の校正方法。
【請求項22】
請求項12〜21のいずれか1項に記載の校正方法を実行するためのコンピュータ可読な校正プログラム。
【請求項1】
移動体に搭載され、2つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正するための校正装置であって、
2地点において一方の前記撮像装置で撮像された2つの基準画像と、前記2地点において他方の前記撮像装置で撮像された2つの対応画像と前記2つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部と、
前記2つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部と、
探索された各前記特徴点につき、前記2つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出する視差計算部と、
算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する補正値計算部とを含む、校正装置。
【請求項2】
前記補正値計算部は、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する、請求項1に記載の校正装置。
【請求項3】
前記モデル曲線は、二次曲線であり、視差方向への変位を補正値として算出する、請求項2に記載の校正装置。
【請求項4】
前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価する信頼性評価部をさらに含む、請求項2または3に記載の校正装置。
【請求項5】
前記信頼性評価部は、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する、請求項4に記載の校正装置。
【請求項6】
前記信頼性評価部は、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する、請求項4に記載の校正装置。
【請求項7】
前記校正装置は、前記視差変化量を正規化する正規化処理部と、正規化された前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部とを含み、
前記補正値計算部は、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する、請求項1〜6のいずれか1項に記載の校正装置。
【請求項8】
前記正規化処理部は、前記モデル曲線を表す二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する、請求項7に記載の校正装置。
【請求項9】
前記信頼性評価部は、前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価する、請求項4に記載の校正装置。
【請求項10】
請求項1〜9のいずれか1項に記載の校正装置と、一定間隔で離間し、同一直線上に各々の撮像面が配置され、同じ焦点距離を有する2つの撮像装置と、前記2地点において前記他方の撮像装置で撮像された前記2つの対応画像と前記2つの基準画像とを用い、前記各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から複数の視差データを算出して出力する視差データ生成処理装置とを含む、距離計測システム。
【請求項11】
前記視差データ生成処理装置は、前記校正装置から前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行い、前記校正装置へ再び出力する、請求項10に記載の距離計測システム。
【請求項12】
移動体に搭載され、2つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正する校正方法であって、
2地点において一方の前記撮像装置で撮像された2つの基準画像と、前記2地点において他方の前記撮像装置で撮像された2つの対応画像と前記2つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付けるステップと、
前記2つの基準画像の中の共通する複数の特徴点を探索するステップと、
探索された各前記特徴点につき、前記2つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出するステップと、
算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出するステップとを含む、校正方法。
【請求項13】
前記補正値を算出するステップでは、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する、請求項12に記載の校正方法。
【請求項14】
前記モデル曲線は、二次曲線であり、視差方向への変位を補正値として算出する、請求項13に記載の校正方法。
【請求項15】
前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価するステップをさらに含む、請求項13または14に記載の校正方法。
【請求項16】
前記評価するステップでは、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する、請求項15に記載の校正方法。
【請求項17】
前記評価するステップでは、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する、請求項15に記載の校正方法。
【請求項18】
さらに、前記視差変化量を正規化するステップと、正規化された前記視差変化量を前記視差と対応付けてデータ蓄積部に蓄積するステップとを含み、
前記補正値を算出するステップでは、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する、請求項12〜17のいずれか1項に記載の校正方法。
【請求項19】
前記正規化するステップでは、前記モデル曲線を表す二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する、請求項18に記載の校正方法。
【請求項20】
前記評価するステップでは、前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価する、請求項15に記載の校正方法。
【請求項21】
前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行うステップをさらに含む、請求項12〜20のいずれか1項に記載の校正方法。
【請求項22】
請求項12〜21のいずれか1項に記載の校正方法を実行するためのコンピュータ可読な校正プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−58188(P2012−58188A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−204328(P2010−204328)
【出願日】平成22年9月13日(2010.9.13)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願日】平成22年9月13日(2010.9.13)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]