道路領域推定装置及びプログラム
【課題】道路形状が１つの平面で表せない場合や、道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定する。
【解決手段】撮像装置１２によって、異なる位置姿勢で第１の画像及び第２の画像を撮像する。第１の画像及び第２の画像に基づいて、平面領域検出部３６による道路候補領域を含む平面領域の検出と、同一領域検出部４０による道路の候補領域を含む同一領域の検出とを、相互に検出結果を利用して繰り返し行う。道路領域推定部４２によって、平面領域検出部３６によって繰り返し行なわれた検出により得られた検出結果、及び同一領域検出部４０によって繰り返し行なわれた検出により得られた検出結果に基づいて、道路領域を推定する。
【解決手段】撮像装置１２によって、異なる位置姿勢で第１の画像及び第２の画像を撮像する。第１の画像及び第２の画像に基づいて、平面領域検出部３６による道路候補領域を含む平面領域の検出と、同一領域検出部４０による道路の候補領域を含む同一領域の検出とを、相互に検出結果を利用して繰り返し行う。道路領域推定部４２によって、平面領域検出部３６によって繰り返し行なわれた検出により得られた検出結果、及び同一領域検出部４０によって繰り返し行なわれた検出により得られた検出結果に基づいて、道路領域を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路領域推定装置及びプログラムに係り、特に、撮像した画像から、道路領域を推定する道路領域推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像下部の小領域の輝度値に基づいて道路領域の判定を行う道路領域判定装置が知られている（特許文献１）。この道路領域判定装置では、基準輝度値を抽出し、画像を分割して生成したウィンドウの輝度値を基準輝度値と比較して所定範囲内にあるかを判定することで道路領域の検出を行っている。
【０００３】
また、ステレオ画像を用いて道路平面に対する射影変換行列を推定し、道路平面領域を検出する方法が知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３０６０９７号公報
【特許文献２】特開２００５−２１７８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に記載の技術では、基準輝度値と比較して、道路領域の検出を行なうため、道路の材質の変化や照明条件の変化により、道路領域の輝度分布が大きく変化する場合には、正しく検出することが難しい、という問題がある。
【０００６】
また、上記の特許文献２に記載の技術では、道路平面に対するステレオ画像間の射影変換を求め、それに基づき道路平面領域を検出するため、１つの平面で表せない道路を正しく検出することができない、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、道路形状が１つの平面で表せない場合や、道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定することができる道路領域推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明に係る道路領域推定装置は、道路領域を含む範囲を撮像した複数の画像を出力する、移動体に搭載された撮像手段と、前記撮像手段が第１の位置及び第１の姿勢となっているときに前記撮像手段によって撮像された第１画像、及び前記第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で前記撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう平面領域検出手段と、前記第１画像及び前記第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、前記第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう同一領域検出手段と、前記平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び前記同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する道路領域推定手段と、を含む道路領域推定装置であって、前記平面領域検出手段は、前記同一領域検出手段によって検出された前記同一領域のうち、前回検出された前記平面を表わす領域に含まれない部分を、前記第１候補領域として設定して前記検出を行ない、前回検出された前記平面を表わす領域との和を、検出結果とし、前記同一領域検出手段は、前記平面領域検出手段によって検出された前記平面を表わす領域のうち、前記検出された前記同一領域に含まれない部分を、前記第２候補領域として設定して前記検出を行ない、前回検出された前記同一領域との和を、検出結果とすることを特徴としている。
【０００９】
本発明に係るプログラムは、コンピュータを、道路領域を含む範囲を撮像した複数の画像を出力する、移動体に搭載された撮像手段が第１の位置及び第１の姿勢となっているときに前記撮像手段によって撮像された第１画像、及び前記第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で前記撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう平面領域検出手段、前記第１画像及び前記第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、前記第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう同一領域検出手段、及び前記平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び前記同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する道路領域推定手段として機能させるためのプログラムであって、前記平面領域検出手段は、前記同一領域検出手段によって検出された前記同一領域のうち、前回検出された前記平面を表わす領域に含まれない部分を、前記第１候補領域として設定して前記検出を行ない、前回検出された前記平面を表わす領域との和を、検出結果とし、前記同一領域検出手段は、前記平面領域検出手段によって検出された前記平面を表わす領域のうち、前記検出された前記同一領域に含まれない部分を、前記第２候補領域として設定して前記検出を行ない、前回検出された前記同一領域との和を、検出結果とすることを特徴としている。
【００１０】
本発明によれば、移動体に搭載された撮像手段によって、道路領域を含む範囲を撮像した複数の画像を出力する。平面領域検出手段によって、撮像手段が第１の位置及び第１の姿勢となっているときに撮像手段によって撮像された第１画像、及び第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう。この平面領域検出手段は、同一領域検出手段によって検出された同一領域のうち、前回検出された平面を表わす領域に含まれない部分を、第１候補領域として設定して検出を行ない、前回検出された平面を表わす領域との和を、検出結果とする。
【００１１】
また、同一領域検出手段によって、第１画像及び第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう。この同一領域検出手段は、平面領域検出手段によって検出された平面を表わす領域のうち、検出された前記同一領域に含まれない部分を、第２候補領域として設定して検出を行ない、前回検出された同一領域との和を、検出結果とする。
【００１２】
そして、道路領域推定手段によって、平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する。
【００１３】
このように、道路の候補領域を含む平面領域の検出と、道路の候補領域を含む同一領域の検出とを、相互に検出結果を利用して繰り返し行って、道路領域を推定することにより、道路形状が１つの平面で表せない場合や、道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定することができる。
【００１４】
本発明の同一領域検出手段は、第２候補領域を含み、かつ、連続する画素の画像特徴量が類似する画素群で構成される領域を、同一領域として検出することができる。
【００１５】
本発明の平面領域検出手段は、第１画像における第１候補領域を、第２画像において第１候補領域が表されるべき領域に変換するための変換によって、第１画像を変換する画像変換手段と、画像変換手段によって変換された第１画像と第２画像とに基づいて、各画素について画素値の差分を算出する差分算出手段とを備え、算出された画素値の差分が閾値未満となる領域を、第１候補領域を含む平面を表わす領域として検出することができる。
【００１６】
上記の画像変換手段を備えた道路領域推定装置は、撮像手段によって撮像された第１画像及び第２画像の各々から、特徴点であって、かつ、第１画像及び第２画像の間で対応した点を検索する検索手段と、検索手段によって検索された対応した点に基づいて、第１の位置及び第１の姿勢と第２の位置及び第２の姿勢との相対関係を算出する位置姿勢算出手段と、検索手段によって検索された対応した点と位置姿勢算出手段によって算出された相対関係とに基づいて、対応した点の３次元位置を算出する位置算出手段と、位置算出手段によって算出された対応した点の３次元位置のうち、第１候補領域に含まれる点の３次元位置に基づいて、第１候補領域を含む平面を表わすパラメータを算出する平面パラメータ算出手段とを更に含み、画像変換手段は、位置姿勢算出手段によって算出された相対関係、及び平面パラメータ算出手段によって算出された第１候補領域を含む平面を表わすパラメータに基づいて、変換の変換行列を算出し、変換行列に基づいて、第１画像を変換することができる。
【００１７】
上記の差分算出手段は、各画素について、画素を含む所定領域の画素値の差分を算出することができる。
【００１８】
本発明のプログラムは、記憶媒体に格納して提供することができる。
【発明の効果】
【００１９】
以上説明したように、本発明の道路領域推定装置及びプログラムによれば、道路の候補領域を含む平面領域の検出と、道路の候補領域を含む同一領域の検出とを、相互に検出結果を利用して繰り返し行って、道路領域を推定することにより、道路形状が１つの平面で表せない場合や、道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態に係る道路領域推定装置を示すブロック図である。
【図２】位置姿勢の変化を表わす並進ベクトル及び回転行列を説明するための図である。
【図３】射影変換行列を説明するための図である。
【図４】（Ａ）第１の画像を示すイメージ図、（Ｂ）第２の画像を示すイメージ図、及び（Ｃ）第１の画像を射影変換により変換した変換画像を示すイメージ図である。
【図５】（Ａ）入力画像を示すイメージ図、及び（Ｂ）分割領域を示すイメージ図である。
【図６】（Ａ）道路候補領域と同一領域とを示すイメージ図、及び（Ｂ）道路候補領域を含む同一領域の検出結果を示すイメージ図である。
【図７】（Ａ）入力画像における道路候補領域を示すイメージ図、及び（Ｂ）道路候補領域を含む平面領域の検出結果を示すイメージ図である。
【図８】（Ａ）入力画像における道路候補領域を示すイメージ図、及び（Ｂ）道路候補領域を含む同一領域の検出結果を示すイメージ図である。
【図９】本発明の第１の実施の形態に係る道路領域推定装置のコンピュータにおける道路領域推定処理ルーチンを示すフローチャートである。
【図１０】本発明の第１の実施の形態に係る道路領域推定装置のコンピュータにおける平面領域検出処理ルーチンを示すフローチャートである。
【図１１】（Ａ）初期設定された道路候補領域を示すイメージ図、（Ｂ）１回目の平面領域検出処理による検出結果を示すイメージ図、（Ｃ）１回目の同一領域検出処理による検出結果を示すイメージ図、（Ｄ）２回目の平面領域検出処理による検出結果を示すイメージ図、（Ｅ）２回目の同一領域検出処理による検出結果を示すイメージ図、及び（Ｆ）３回目の同一領域検出処理による検出結果を示すイメージ図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
図１に示すように、第１の実施の形態に係る道路領域推定装置１０は、車両（図示省略）に搭載され、かつ、道路領域を含む自車両前方を撮像して画像を出力する撮像装置１２と、撮像装置１２から得られる画像に基づいて、道路領域を推定し、推定結果を表示装置１６に表示させるコンピュータ１４とを備えている。
【００２３】
撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する単眼のカメラで構成される撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２４】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する道路領域推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２により異なる位置姿勢で撮像された複数の画像を取得する画像入力部１８と、取得した複数の画像の各々から、画像上で追跡しやすい特徴点を複数抽出する特徴点抽出部２０と、特徴点抽出部２０により得られた２つの画像の各々における特徴点から、２つの画像の間で対応する対応点を検索する対応点検索部２２と、対応点検索部２２で得られた各対応点における各画像の画像座標を入力として、対応点が検索された一方の画像を撮像したときの撮像装置１２の位置姿勢を基準とした、対応点が検索された他方の画像を撮像したときの撮像装置１２の位置姿勢への変化（位置及び姿勢の相対関係）を、撮像装置１２の運動のＸＹＺ軸方向の移動量及びＸＹＺ軸を基準とする回転量として算出する位置姿勢算出部２４と、対応点検索部２２で得られた各対応点における各画像の画像座標と位置姿勢算出部２４によって算出された移動量及び回転量とに基づいて、各対応点の３次元座標を計算する３次元位置計算部２６とを備えている。
【００２５】
画像入力部１８は、異なる位置及び姿勢で撮像された２つの画像を撮像装置１２から取得する。なお、以下では、異なる位置及び姿勢で撮像された２つの画像のうち、第１の位置及び第１の姿勢で撮像された画像を第１の画像とし、第２の位置及び第２の姿勢で撮像された画像を第２の画像として説明する。
【００２６】
特徴点抽出部２０は、撮像装置１２から取得した第１の画像から特徴点を抽出すると共に、撮像装置１２から取得した第２の画像から特徴点を抽出する。特徴点とは、周囲の点と区別でき、異なる画像間で対応関係を求めることが容易な点のことを指す。特徴点は、２次元的に濃淡変化の勾配値が大きくなる画素を検出する方法（例えばＨａｒｒｉｓオペレータなど）を用いて、自動的に抽出される。Ｈａｒｒｉｓオペレータを用いる方法では、以下に説明するように、特徴点を抽出する。まず、画像の点（ｕ，ｖ）の輝度をＩ（ｕ，ｖ）として、以下の（１）式によって、行列Ｍを計算する。
【００２７】
【数１】
【００２８】
ただし、Ｉｕ，Ｉｖはそれぞれ水平方向、垂直方向の微分、Ｇσは標準偏差σのガウス分布による平滑化を表す。
【００２９】
そして、上記（１）式で計算された行列Ｍの固有値λ１、λ２を用いて、以下の（２）式によりコーナー強度を計算する。
【００３０】
【数２】
【００３１】
ただし、ｋは予め設定される定数であって、０．０４〜０．０６の値が一般に用いられる。Ｈａｒｒｉｓオペレータを用いる方法では、このコーナー強度がしきい値以上でかつ極大となる点を選択し、選択された点を特徴点として抽出する。
【００３２】
対応点検索部２２は、特徴点抽出部２０において抽出された第１の画像の特徴点に対応する点を、第２の画像において抽出された特徴点から検索して、特徴点の対応付けを行う。
【００３３】
２つの画像間での特徴点の対応付けでは、特徴点を中心として設定した小領域での輝度分布が似ている点の組を選択し、選択された点の組を対応している点とする。２つの特徴点の間の類似度として、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）などの値を計算すればよい。
【００３４】
例えば、第１の画像Ｉ１の特徴点ｐ＝（ｘ，ｙ）について、第２の画像Ｉ２の特徴点ｐ'＝（ｘ’，ｙ’）の各々との組み合わせをペアとして、以下の（３）式を各々計算する。
【００３５】
【数３】
ただし、ｒは、小領域の大きさを決定する変数であり、予め定められている。
【００３６】
そして、上記（３）式によって計算される値が最小となったときの第２の画像の特徴点を検索し、第１の画像の特徴点に対応する点とする。
【００３７】
上記の計算を、第１の画像の特徴点の各々について行って、第１の画像の特徴点の各々に対応する点を、第２の画像の特徴点から検索する。また、対応点検索部２２は、特徴点抽出部２０において２つの画像の各々から抽出された特徴点について、２つの画像間で対応する点を少なくとも８組検索する。
【００３８】
位置姿勢算出部２４は、対応点検索部２２より得られる２つの画像における少なくとも８組の対応点の画像座標から、２つの画像の各々が撮像されたときの撮像装置１２の位置及び姿勢の変化（ＸＹＺ軸方向の移動量及びＸＹＺ軸を基準とする回転量）を計算する。位置及び姿勢の変化は、図２に示すように、第１の画像から第２の画像への回転行列Ｒ（Ｘ軸を基準とする回転量、Ｙ軸を基準とする回転量、Ｚ軸を基準とする回転量）と、並進ベクトルｔ（Ｘ軸方向の移動量ｔｘ、Ｙ軸方向の移動量ｔｙ、Ｚ軸方向の移動量ｔｚ）との６要素から構成される運動である。なお、回転行列Ｒ及び並進ベクトルｔの要素は、２つの画像間の画像座標の変換を表す物理量である。
【００３９】
ここで、第１の画像から第２の画像への回転行列Ｒと並進ベクトルｔとの計算方法について説明する。第１の画像におけるｎ点の対応点の画像座標Ｉｉと第２の画像におけるｎ点の対応点の画像座標Ｉｉ’とについて（ｎ≧８）、対応点が正しくて誤差がなければ、以下の（４）式を満たす３×３行列Ｆが存在する。
【００４０】
【数４】
【００４１】
ただし、Ｉｉ＝(ｕｉ，ｖｉ，１)Ｔ、Ｉｉ’＝(ｕｉ’，ｖｉ’，１)Ｔであり、第１の画像での画像座標（ｕｉ，ｖｉ）の点に対応する第２の画像での点の画像座標が（ｕｉ’，ｖｉ’）である。
【００４２】
ここで、上記（４）式を満たす行列Ｆは、定数倍の不定性を持っている。すなわち、Ｆｓが上記（４）式を満たす場合には、αＦｓも上記（４）式を満たす（ただし、ａは実数）。よって、行列Ｆを以下の（５）式のように表すことができる。
【００４３】
【数５】
【００４４】
また、上記（４）式、（５）式より、以下の（６）式が成り立つ。
【００４５】
【数６】
【００４６】
ここで、８組以上の対応点Ｉｉ、Ｉｉ’があれば、上記（６）式が少なくとも８つ得られるため、８つの変数ｆ１１〜ｆ３２を求めることができる。なお、得られる８つの式が互いに独立である必要があり、また、誤差が含まれる場合であっても安定して計算するために、他の対応点の組となるべく異なる動きをしている特徴点の組を対応点として検索することが好ましい。
【００４７】
上述したように行列Ｆが計算でき、また、撮像装置１２のキャリブレーション行列Ｋが既知である場合には、以下の（７）式、（８）式より、回転行列Ｒと並進ベクトルｔとを計算することができる．
【００４８】
【数７】
【００４９】
撮像装置１２のキャリブレーション行列Ｋは、以下の（９）式で表される。
【００５０】
【数８】
【００５１】
ただし、ｆｘは、撮像装置１２のＸ方向の焦点距離、ｆｙは、撮像装置１２のＹ方向の焦点距離、（ｃｕ，ｃｖ）は画像中心である。なお、画像上の画像座標は、Ｘ方向に対応するＵ方向の座標ｕとＹ方向に対応するＶ方向の座標ｖとで表されるものとする。
【００５２】
３次元位置計算部２６は、対応点検索部２２から得られる２つの画像間でのｎ点の対応点の画像座標の組Ｉｉ、Ｉｉ’、及び位置姿勢算出部２４から得られる２つの画像間の回転行列及び並進ベクトルを用いて、ｎ点の対応点の３次元座標を計算する。対応点の３次元座標は以下の方法により計算できる。
【００５３】
まず、２枚の画像の各々の対応点の画像座標を（ｕ，ｖ）、（ｕ’，ｖ’）とし、画像間の回転行列をＲとし、並進ベクトルをｔとし、撮像装置１２のキャリブレーション行列をＫとしたとき、以下の（１０）式、（１１）式のような行列Ｐ、Ｐ’を定義する。
【００５４】
【数９】
【００５５】
そして、ｐｉ，ｐ’ｉをそれぞれ行列Ｐ，Ｐ’の第ｉ行のベクトルとすると、対応点の３次元座標Ｘ＝（ｘ，ｙ，ｚ，１）Ｔは以下の（１２）式の解として求めることができる。
【００５６】
【数１０】
【００５７】
また、コンピュータ１４は、第１候補領域としての道路候補領域上の各対応点の３次元座標に基づいて、道路候補領域を含む平面を表わすパラメータを推定する平面推定部３０と、一方の画像の道路候補領域を他方の画像の道路候補領域に重ねるように変換するための変換を示す射影変換行列に基づいて、一方の画像を変換する画像変換部３２と、一方の画像を変換した変換画像と他方の画像との各画素の差分値を計算する差分計算部３４と、各画素の差分値に基づいて、道路候補領域を含む平面を表わす領域を検出する平面領域検出部３６と、一方の画像の各画素の画像特徴量を計算する特徴量計算部３８と、第２候補領域としての道路候補領域と画像特徴量が対応する同一領域を検出する同一領域検出部４０と、平面領域検出部３６の検出結果及び同一領域検出部４０の検出結果に基づいて、道路領域を表わす領域を推定して、推定結果として表示装置１６に表示させる道路領域推定部４２とを備えている。なお、平面推定部３０、画像変換部３２、差分計算部３４、及び平面領域検出部３６は、平面領域検出手段の一例である。
【００５８】
平面推定部３０は、３次元位置計算部２６により得られる対応点の３次元位置のうち、第１の画像の道路候補領域内の対応点の３次元位置を用いて、道路候補領域を含む平面を表わすパラメータを推定する。推定する平面は３次元空間で以下の（１４）式で表すことができる。
【００５９】
【数１１】
【００６０】
上記（１４）式において、（ａ,ｂ,ｃ）が、推定する平面のパラメータである。
【００６１】
平面推定部３０は、第１の画像において、設定された道路候補領域内から対応点を抽出し、抽出された対応点の３次元座標から、上記のパラメータ（ａ,ｂ,ｃ）を求める。３点以上の３次元座標が得られると、上記パラメータの計算が可能であるが、３点より多くの３次元座標から得られた場合には、最小二乗法やＬＭｅｄＳ（Ｌｅａｓｔ Ｍｅｄｉａｎ Ｓｑｕａｒｅｓ）法などにより、パラメータ（ａ,ｂ,ｃ）を推定する。なお、第１の画像において道路候補領域として初期設定される領域は、撮像装置１２の道路平面に対する位置及び姿勢に基づいて、予め求めておけばよい。例えば、画像下部の所定領域が、道路候補領域として初期設定される。または、１ステップ前の処理で推定された道路領域を用いて、第１の画像の道路候補領域を初期設定してもよい。また、上記の推定する平面のパラメータは、撮像装置１２の第１の位置及び第１の姿勢に対する、道路候補領域を含む平面の相対的な位置及び姿勢を表わしている。
【００６２】
画像変換部３２は、位置姿勢算出部２４により算出された第１の画像と第２の画像との間の位置及び姿勢の変化と、平面推定部３０により得られた道路候補領域を含む平面のパラメータとに基づいて、第１の画像における道路候補領域を、第２の画像において道路候補領域が表されるべき領域に重ねるように変換するための変換を示す射影変換行列を計算し、計算された射影変換行列により、第１の画像を変換する。
【００６３】
第１の画像と第２の画像との間の位置及び姿勢の変化が、回転行列Ｒと並進ベクトルｔによって表され、図３に示すように、道路候補領域を含む平面のパラメータ（ａ,ｂ,ｃ）で表される道路候補領域を含む平面がａｘ＋ｂｙ＋ｃｚ＝1であるとき、射影変換行列Ｈは、以下の（１５）式によって計算される。
【００６４】
【数１２】
【００６５】
ただし、行列Ｋは撮像装置１２のキャリブレーション行列である。
【００６６】
上記（１５）式によって計算された射影変換行列Ｈを用いて、第１の画像を射影変換した変換画像を生成する。第１の画像の画素をＩｉとすると、対応する変換画像の画素Ｊｉは以下の（１６）式により計算される。
Ｊｉ＝Ｈ・Ｉｉ ・・・（１６）
例えば、図４（Ａ）に示すような第１の画像を射影変換して、図４（Ｃ）に示すような変換画像を生成する。
【００６７】
差分計算部３４は、画像変換部３２により生成された、射影変換行列により第１の画像を変換した変換画像と第２の画像とについて、各画素の差分値を計算する。例えば、上記図４（Ｃ）に示すような変換画像と、図４（Ｂ）に示すような第２の画像との各画素の差分値を計算する。
【００６８】
平面領域検出部３６は、差分計算部３４により得られた各画素に対する差分値から、以下に説明するように、道路候補領域を含む平面を表わす平面領域を検出する。
【００６９】
まず、各注目画素に対して、その注目画素を中心とする所定領域を設定して、所定領域の画素の差分値として、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）又はＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｅｆｆｅｒｅｎｃｅｓ）を計算し、その計算値が、閾値未満であれば、注目画素が、道路候補領域を含む平面領域上の画素であると判定し、計算値が閾値以上であれば、注目画素が、道路候補領域を含む平面領域上の画素でないと判定する。各画素の判定結果に基づいて、道路候補領域を含む平面領域を検出する。
【００７０】
なお、閾値で道路候補領域を含む平面領域を検出するとき、各画素のＳＡＤ又はＳＳＤの計算値のみに基づいて検出を行うと、誤差やノイズなどにより、孤立した小領域が検出されたり、検出された平面領域内に抜けが発生したりするため、検出された平面領域に対して、収縮、膨張処理を行うようにしても良い。
【００７１】
特徴量計算部３８は、画像入力部１８により取得した第１画像の各画素に対して、画像特徴量を計算する。各画素の特徴量特徴として、例えば、複数の標準偏差を用いてガウシアン平滑化を行ったときの輝度値や、複数のウィンドウサイズを用いた垂直方向および水平方向の勾配値と２次微分値などを計算する。各画素において、これらの複数種類の値を計算し、それらを並べたベクトルを、その画素の画像特徴量とする。
【００７２】
同一領域検出部４０は、各画素の画像特徴量から、第２候補領域としての道路候補領域を含み、かつ、連続する画素の画像特徴量が類似する画素群で構成される領域を、道路候補領域を含む同一領域として検出する。隣接する画素の画像特徴量との距離が、所定の範囲以内であれば、それらの画素を、同一の領域に属する画素と判断していくことにより、同一領域が検出される。例えば、図５（Ａ）に示すような入力画像に対して、同一領域の検出を行なうと、図５（Ｂ）に示すように、画像上での見え方が類似している領域ごとに分割される。本実施の形態に係る同一領域検出部４０では、画像特徴量に基づいて複数の同一領域に分割し、設定された道路候補領域と重なる分割領域をまとめて、道路候補領域を含む同一領域として検出する。
【００７３】
また、図６（Ａ）に示すように、画像下部に道路候補領域が初期設定された場合、あるいは前の時刻での道路領域の検出結果を利用して、画像下部に道路候補領域が設定された場合には、図６（Ｂ）に示すように、道路候補領域と重なる同一領域をまとめて、道路候補領域を含む同一領域の検出結果とする。
【００７４】
次に、本実施の形態の原理について説明する。
【００７５】
平面領域検出部３６及び同一領域検出部４０により、それぞれ道路らしい領域を検出することができるが、平面領域の検出では、道路候補領域から平面を検出するため、道路が複数の平面から構成され、かつ道路候補領域から検出した平面以外の平面が道路候補領域外にある場合には、その領域を検出することができない。例えば、図７（Ａ）のように、途中で勾配が変化するような道路環境において、画像下部に道路候補領域が設定された場合には、図７（Ｂ）に示すように、遠方の道路領域を検出することができない。
【００７６】
一方、同一領域検出部４０では、画像上での見え方が道路候補領域と同様な領域を検出するため、道路候補領域外での道路面の材質変化、汚れ、周囲の立体物の影がある場合には、正しく道路領域を検出することができない。例えば、図８（Ａ）のように、道路候補領域外に、轍の跡、材質の異なる道路面、及び立体物の影が存在する場合には、図８（Ｂ）に示すように、轍の跡、材質の異なる道路面、及び立体物の影の部分を除いて、道路候補領域を含む同一領域が検出される。
【００７７】
そこで、本実施の形態では、以下に説明するように、平面領域検出部３６による平面領域の検出と、同一領域検出部４０による同一領域の検出とを相互に繰り返し行なうと共に、一方が他方の検出結果を用いて検出処理を行う。
【００７８】
平面推定部３０及び同一領域検出部４０の各々では、まず、道路候補領域として、道路領域の少なくとも一部分である画像下部の所定領域を初期設定する、あるいは、前の時刻の道路領域検出結果から現フレームで道路領域である可能性が高い領域を抽出して、道路候補領域として初期設定する。
【００７９】
平面推定部３０は、初期設定された道路候補領域内の特徴点の画像間での対応関係から、道路候補領域を含む平面を推定し、画像変換部３２は、平面に関する画像間での射影変換を得る。平面領域検出部３６は、得られた射影変換を利用して、道路候補領域を含む平面領域を検出する。
【００８０】
一方、同一領域検出部４０は、画像の見え方に基づいて複数の同一領域に分割し、初期設定された道路候補領域と重なる分割領域をまとめて、道路候補領域を含む同一領域として検出する。
【００８１】
次に、同一領域検出部４０による同一領域の検出結果を利用して、平面領域の検出を行う。同一領域検出部４０で検出された同一領域のうち、平面領域検出部３６によって前回検出された道路候補領域を含む平面領域に含まれない部分があれば、平面推定部３０によって、当該部分を、道路候補領域として設定し、当該部分の特徴点の３次元位置から、道路候補領域を含む平面を推定する。平面領域検出部３６では、推定された平面に対する射影変換も用いて、道路候補領域を含む平面領域の検出を行う。平面領域検出部３６は、検出された平面領域と、前回検出された平面領域との和を、検出結果とする。なお、検出された同一領域のうち、前回検出された道路候補領域を含む平面領域に含まれない部分は、道路領域の少なくとも一部分である。
【００８２】
また、同一領域検出部４０においても、平面領域検出部３６による検出結果を利用して、さらに同一領域の検出を行う。平面領域検出部３６で検出された平面領域のうち、同一領域検出部４０によって前回検出された同一領域に含まれない部分があれば、同一領域検出部４０において、当該部分を、道路候補領域として設定し、当該部分と重なる分割領域をまとめて、道路候補領域を含む同一領域として検出する。同一領域検出部４０は、検出された同一領域と、前回検出された同一領域との和を、検出結果とする。検出された平面領域のうち、前回検出された道路候補領域を含む同一領域に含まれない部分は、道路領域の少なくとも一部分である。
【００８３】
道路領域推定部４２は、平面領域検出部３６と同一領域検出部４０とで相互に結果を利用して繰り返し実行されたときに、平面領域検出部３６によって最終的に検出された平面領域と、同一領域検出部４０によって最終的に検出された同一領域との和を計算し、計算された領域を、道路領域として推定する。なお、平面領域検出部３６と同一領域検出部４０とで最終的に検出された２つの検出領域はほぼ同等となるので、２つの検出領域の結果の積をとるようにしてもよい。
【００８４】
次に、第１の実施の形態に係る道路領域推定装置１０の作用について説明する。なお、道路領域推定装置１０を搭載した車両の走行中に、道路領域を推定する場合を例に説明する。
【００８５】
まず、撮像装置１２によって、自車両前方の連続撮像が開始されると、コンピュータ１４において、図９に示す道路領域推定処理ルーチンが実行される。
【００８６】
まず、ステップ１００において、撮像装置１２から、第１の位置及び第１の姿勢で撮像された第１の画像と、第２の位置及び第２の姿勢で撮像された第２の画像とを順に取得する。
【００８７】
そして、ステップ１０２において、上記ステップ１００で取得した第１の画像と第２の画像との各々から特徴点を複数抽出し、ステップ１０４で、上記ステップ１０２で抽出された複数の特徴点から、第１の画像と第２の画像との間で対応する対応点を少なくとも８組検索する。そして、ステップ１０６において、上記ステップ１０４で検索された少なくとも８組の対応点の画像座標に基づいて、第１の画像を撮像したときの撮像装置１２の位置姿勢を基準とした第２の画像を撮像したときの撮像装置１２の位置姿勢の変化を表わす並進ベクトル及び回転行列を算出する。
【００８８】
そして、ステップ１０８において、上記ステップ１０６で算出された第１の画像と第２の画像との間における並進ベクトル及び回転行列、及び上記ステップ１０４で検索された第１の画像と第２の画像との各々における対応点の画像座標に基づいて、この対応点が示す特徴点の３次元座標を計算する。次のステップ１１０では、第１の画像の各画素について、画像特徴量を計算する。
【００８９】
そして、ステップ１１２において、第１の画像の下部の所定領域を、道路候補領域として初期設定する。ステップ１１４において、上記ステップ１１２で設定された道路候補領域を含む平面を表わす領域を検出する処理を行う。上記ステップ１１４は、図１０に示す平面領域検出処理ルーチンによって実現される。
【００９０】
以下、平面領域検出処理ルーチンについて説明する。まず、ステップ１４０において、上記ステップ１０８で計算された、第１の画像の道路候補領域内の対応点である特徴点の３次元座標に基づいて、道路候補領域を含む平面を表わすパラメータを推定する。
【００９１】
そして、ステップ１４２において、上記ステップ１０６で算出された第１の画像と第２の画像との間における並進ベクトル及び回転行列と、上記ステップ１４０で推定された道路候補領域を含む平面を表わすパラメータとに基づいて、射影変換行列を算出する。ステップ１４４において、上記ステップ１４２で算出された射影変換行列に従って、第１の画像を変換する。
【００９２】
次のステップ１４６では、上記ステップ１４４で第１の画像を変換した変換画像と、上記ステップ１００で取得した第２の画像との各画素の差分値を算出する。そして、ステップ１４８において、上記ステップ１４６で算出された差分値が閾値未満となる画素群からなる領域を、道路候補領域を含む平面を表わす平面領域として検出して、平面領域検出処理ルーチンを終了する。
【００９３】
例えば、図１１（Ａ）に示すように、道路面の勾配が途中から変化し、道路面の材質の変化、汚れ、及び影が存在する場合には、上記ステップ１１４を実行することにより、図１１（Ｂ）に示すように、初期設定された道路候補領域を含む平面領域のみが検出される。また、汚れ、材質の変化がある部分でも、道路候補領域を含む平面領域として検出される。
【００９４】
そして、道路領域推定処理ルーチンのステップ１１６において、上記ステップ１１２で初期設定された道路候補領域を含む同一領域を検出する。例えば、図１１（Ｃ）に示すように、材質の変化、汚れ、及び影の部分は、道路候補領域を含む同一領域として検出されない。一方、見え方の変化が少ない部分は、遠方の勾配が変化した領域であっても、道路候補領域を含む同一領域として検出される。
【００９５】
次のステップ１１８では、上記ステップ１１６又は後述する１３０で直近に検出された同一領域のうち、上記ステップ１１４又は後述するステップ１２２における前回の平面領域検出処理により検出された平面領域に含まれない部分があるか否かを判定する。該当する部分がない場合には、ステップ１２６へ移行するが、一方、該当する部分がある場合には、ステップ１２０において、該当する部分を、道路候補領域として設定する。
【００９６】
そして、ステップ１２２で、上記の平面領域検出処理ルーチンを実行することにより、上記ステップ１２０で設定された道路候補領域を含む平面領域を検出する。次のステップ１２４では、前回の平面領域検出処理により検出された平面領域と、上記ステップ１２４で今回検出された平面領域との和を計算し、平面領域の検出結果とする。例えば、１回目の同一領域の検出結果を利用して平面領域を検出すると、図１１（Ｄ）に示すように、遠方の勾配の変化した道路平面が得られ、その射影変換も利用して平面領域検出を行うことで、遠方の勾配が変化した部分まで含めて、平面領域として検出される。
【００９７】
そして、ステップ１２６において、上記ステップ１１４又はステップ１２２で前回検出された平面領域のうち、上記ステップ１１６又は１３０における前回の同一領域検出処理により検出された同一領域に含まれない部分があるか否かを判定する。該当する部分がない場合には、ステップ１３４へ移行するが、一方、該当する部分がある場合には、ステップ１２８において、該当する部分を、道路候補領域として設定する。
【００９８】
そして、ステップ１３０で、上記ステップ１１６と同様に、上記ステップ１２８で設定された道路候補領域を含む同一領域を検出する。次のステップ１３２では、前回の同一領域検出処理により検出された同一領域と、上記ステップ１３０で今回検出された同一領域との和を計算し、同一領域の検出結果とする。例えば、１回目の平面領域検出処理の検出結果を利用し、図１１（Ｅ）に示すように、汚れ、材質の変化、及び手前の影の部分の領域を含めて同一領域が検出される。さらに、２回目の平面領域検出処理の検出結果を用いて、図１１（Ｆ）に示すように、奥の影領域も含めた同一領域が検出される。
【００９９】
そして、ステップ１３４において、上記ステップ１１８及び上記ステップ１２６の双方の判定で、含まれない部分がなかったと判定されたか否かを判定する。少なくとも一方の判定で、含まれない部分があったと判定された場合には、繰り返し処理を行うために、上記ステップ１１８へ戻る。一方、双方の判定で、含まれない部分がなかったと判定された場合には、ステップ１３６で、上記ステップ１２４で最終的に検出結果として得られた平面領域と、上記ステップ１３２で最終的に検出結果として得られた同一領域との和を計算し、計算された領域を、道路領域として推定する。
【０１００】
そして、ステップ１３８において、推定された道路領域を表示装置１６に表示させて、道路領域推定処理ルーチンを終了する。
【０１０１】
以上説明したように、第１の実施の形態に係る道路領域推定装置によれば、道路候補領域を含む平面領域の検出と、道路候補領域を含む同一領域の検出とを、相互に検出結果を利用して繰り返し行って、道路領域を推定することにより、道路形状が１つの平面で表せない場合や、道路の材質が異なる場合や天候の変化、建物の影などで道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定することができる。様々な道路環境を撮影した画像から、道路領域を高精度に推定することができる。
【０１０２】
次に、第２の実施の形態に係る道路領域推定装置について説明する。なお、第２の実施の形態に係る道路領域推定装置は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【０１０３】
第２の実施の形態では、オプティカルフローの近似式を利用して、第１の画像を変換している点が、第１の実施の形態と異なっている。
【０１０４】
第２の実施の形態では、画像変換部３２によって、第１の画像における道路候補領域を、第２の画像において道路候補領域が表されるべき領域に重ねるように変換するための変換を示すオプティカルフローの近似式を計算し、計算された近似式により、第１の画像を変換する。
【０１０５】
位置姿勢算出部２４により算出された第１の画像と第２の画像との間の位置及び姿勢の変化が、回転行列ｗ＝(ｗｘ,ｗｙ,ｗｚ)Ｔと並進ベクトルｔ＝(ｔｘ,ｔｙ,ｔｚ)Ｔで表されるとき、道路平面ＡＸ＋ＢＹ＋ＣＺ＝1上にある点を投影した点ｐ＝(ｘ,ｙ)Ｔの画像間のオプティカルフローの近似式(ｕ,ｖ)Ｔは、以下の（１７）式、（１８）式により計算される。
【０１０６】
【数１３】
【０１０７】
上記（１７）式、（１８）式により、第１の画像における点ｐ＝(ｘ,ｙ)Ｔに対応する第２の画像上の点はｐ’＝(ｘ＋ｕ,ｙ＋ｖ)Ｔとなる。上記（１７）式、（１８）式により、第１の画像の各画素について、変換画像において対応する画素を求め、第１の画像を変換して変換画像を生成する。
【０１０８】
なお、第２の実施の形態に係る道路領域推定装置の他の構成及び作用は、第１の実施の形態と同様であるため、説明を省略する。
【０１０９】
なお、上記の第１の実施の形態〜第２の実施の形態では、隣接する画素の画像特徴量との距離に基づいて、同一領域に属する画素と判断し、同一領域を検出する場合を例に説明したが、これに限定されるものではなく、全画素の画像特徴量をクラスタリングし、隣接する画素が同じクラスタに属する場合に、同一領域に属する画素と判断して、同一領域を検出するようにしてもよい。
【０１１０】
また、最初に全画素の画像特徴量を計算する場合を例に説明したが、これに限定されるものではなく、同一領域の検出において、隣接する画素の画像特徴量との距離を計算するときに、逐次、画素の画像特徴量を計算するようにしてもよい。
【０１１１】
また、平面領域検出部によって最終的に検出された平面領域と、同一領域検出部によって最終的に検出された同一領域とに基づいて、道路領域を推定する場合を例に説明したが、これに限定されるものではなく、平面領域検出部によって最終的に検出された平面領域、及び同一領域検出部４０によって最終的に検出された同一領域の何れか一方を、道路領域の推定結果としてそのまま用いてもよい。
【０１１２】
また、２つの画像から抽出された複数の特徴点から、２つの画像の間で対応する点を検索する場合を例に説明したが、２つの画像の一方の画像から特徴点を抽出し、他方の画像から、抽出された特徴点に対応する対応点を検索するようにしてもよい。
【０１１３】
また、上記の実施の形態では、撮像装置の位置姿勢の変化を表わすものとして、並進ベクトル及び回転行列を算出する場合を例に説明したが、これに限定されるものではなく、撮像装置の位置姿勢の変化を表わすものとして他の指標を算出するようにしてもよい。
【符号の説明】
【０１１４】
１０ 道路領域推定装置
１２ 撮像装置
１４ コンピュータ
２０ 特徴点抽出部
２２ 対応点検索部
２４ 位置姿勢算出部
２６ ３次元位置計算部
３０ 平面推定部
３２ 画像変換部
３４ 差分計算部
３６ 平面領域検出部
３８ 特徴量計算部
４０ 同一領域検出部
４２ 道路領域推定部
【技術分野】
【０００１】
本発明は、道路領域推定装置及びプログラムに係り、特に、撮像した画像から、道路領域を推定する道路領域推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像下部の小領域の輝度値に基づいて道路領域の判定を行う道路領域判定装置が知られている（特許文献１）。この道路領域判定装置では、基準輝度値を抽出し、画像を分割して生成したウィンドウの輝度値を基準輝度値と比較して所定範囲内にあるかを判定することで道路領域の検出を行っている。
【０００３】
また、ステレオ画像を用いて道路平面に対する射影変換行列を推定し、道路平面領域を検出する方法が知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３０６０９７号公報
【特許文献２】特開２００５−２１７８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に記載の技術では、基準輝度値と比較して、道路領域の検出を行なうため、道路の材質の変化や照明条件の変化により、道路領域の輝度分布が大きく変化する場合には、正しく検出することが難しい、という問題がある。
【０００６】
また、上記の特許文献２に記載の技術では、道路平面に対するステレオ画像間の射影変換を求め、それに基づき道路平面領域を検出するため、１つの平面で表せない道路を正しく検出することができない、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、道路形状が１つの平面で表せない場合や、道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定することができる道路領域推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明に係る道路領域推定装置は、道路領域を含む範囲を撮像した複数の画像を出力する、移動体に搭載された撮像手段と、前記撮像手段が第１の位置及び第１の姿勢となっているときに前記撮像手段によって撮像された第１画像、及び前記第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で前記撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう平面領域検出手段と、前記第１画像及び前記第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、前記第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう同一領域検出手段と、前記平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び前記同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する道路領域推定手段と、を含む道路領域推定装置であって、前記平面領域検出手段は、前記同一領域検出手段によって検出された前記同一領域のうち、前回検出された前記平面を表わす領域に含まれない部分を、前記第１候補領域として設定して前記検出を行ない、前回検出された前記平面を表わす領域との和を、検出結果とし、前記同一領域検出手段は、前記平面領域検出手段によって検出された前記平面を表わす領域のうち、前記検出された前記同一領域に含まれない部分を、前記第２候補領域として設定して前記検出を行ない、前回検出された前記同一領域との和を、検出結果とすることを特徴としている。
【０００９】
本発明に係るプログラムは、コンピュータを、道路領域を含む範囲を撮像した複数の画像を出力する、移動体に搭載された撮像手段が第１の位置及び第１の姿勢となっているときに前記撮像手段によって撮像された第１画像、及び前記第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で前記撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう平面領域検出手段、前記第１画像及び前記第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、前記第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう同一領域検出手段、及び前記平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び前記同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する道路領域推定手段として機能させるためのプログラムであって、前記平面領域検出手段は、前記同一領域検出手段によって検出された前記同一領域のうち、前回検出された前記平面を表わす領域に含まれない部分を、前記第１候補領域として設定して前記検出を行ない、前回検出された前記平面を表わす領域との和を、検出結果とし、前記同一領域検出手段は、前記平面領域検出手段によって検出された前記平面を表わす領域のうち、前記検出された前記同一領域に含まれない部分を、前記第２候補領域として設定して前記検出を行ない、前回検出された前記同一領域との和を、検出結果とすることを特徴としている。
【００１０】
本発明によれば、移動体に搭載された撮像手段によって、道路領域を含む範囲を撮像した複数の画像を出力する。平面領域検出手段によって、撮像手段が第１の位置及び第１の姿勢となっているときに撮像手段によって撮像された第１画像、及び第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう。この平面領域検出手段は、同一領域検出手段によって検出された同一領域のうち、前回検出された平面を表わす領域に含まれない部分を、第１候補領域として設定して検出を行ない、前回検出された平面を表わす領域との和を、検出結果とする。
【００１１】
また、同一領域検出手段によって、第１画像及び第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう。この同一領域検出手段は、平面領域検出手段によって検出された平面を表わす領域のうち、検出された前記同一領域に含まれない部分を、第２候補領域として設定して検出を行ない、前回検出された同一領域との和を、検出結果とする。
【００１２】
そして、道路領域推定手段によって、平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する。
【００１３】
このように、道路の候補領域を含む平面領域の検出と、道路の候補領域を含む同一領域の検出とを、相互に検出結果を利用して繰り返し行って、道路領域を推定することにより、道路形状が１つの平面で表せない場合や、道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定することができる。
【００１４】
本発明の同一領域検出手段は、第２候補領域を含み、かつ、連続する画素の画像特徴量が類似する画素群で構成される領域を、同一領域として検出することができる。
【００１５】
本発明の平面領域検出手段は、第１画像における第１候補領域を、第２画像において第１候補領域が表されるべき領域に変換するための変換によって、第１画像を変換する画像変換手段と、画像変換手段によって変換された第１画像と第２画像とに基づいて、各画素について画素値の差分を算出する差分算出手段とを備え、算出された画素値の差分が閾値未満となる領域を、第１候補領域を含む平面を表わす領域として検出することができる。
【００１６】
上記の画像変換手段を備えた道路領域推定装置は、撮像手段によって撮像された第１画像及び第２画像の各々から、特徴点であって、かつ、第１画像及び第２画像の間で対応した点を検索する検索手段と、検索手段によって検索された対応した点に基づいて、第１の位置及び第１の姿勢と第２の位置及び第２の姿勢との相対関係を算出する位置姿勢算出手段と、検索手段によって検索された対応した点と位置姿勢算出手段によって算出された相対関係とに基づいて、対応した点の３次元位置を算出する位置算出手段と、位置算出手段によって算出された対応した点の３次元位置のうち、第１候補領域に含まれる点の３次元位置に基づいて、第１候補領域を含む平面を表わすパラメータを算出する平面パラメータ算出手段とを更に含み、画像変換手段は、位置姿勢算出手段によって算出された相対関係、及び平面パラメータ算出手段によって算出された第１候補領域を含む平面を表わすパラメータに基づいて、変換の変換行列を算出し、変換行列に基づいて、第１画像を変換することができる。
【００１７】
上記の差分算出手段は、各画素について、画素を含む所定領域の画素値の差分を算出することができる。
【００１８】
本発明のプログラムは、記憶媒体に格納して提供することができる。
【発明の効果】
【００１９】
以上説明したように、本発明の道路領域推定装置及びプログラムによれば、道路の候補領域を含む平面領域の検出と、道路の候補領域を含む同一領域の検出とを、相互に検出結果を利用して繰り返し行って、道路領域を推定することにより、道路形状が１つの平面で表せない場合や、道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態に係る道路領域推定装置を示すブロック図である。
【図２】位置姿勢の変化を表わす並進ベクトル及び回転行列を説明するための図である。
【図３】射影変換行列を説明するための図である。
【図４】（Ａ）第１の画像を示すイメージ図、（Ｂ）第２の画像を示すイメージ図、及び（Ｃ）第１の画像を射影変換により変換した変換画像を示すイメージ図である。
【図５】（Ａ）入力画像を示すイメージ図、及び（Ｂ）分割領域を示すイメージ図である。
【図６】（Ａ）道路候補領域と同一領域とを示すイメージ図、及び（Ｂ）道路候補領域を含む同一領域の検出結果を示すイメージ図である。
【図７】（Ａ）入力画像における道路候補領域を示すイメージ図、及び（Ｂ）道路候補領域を含む平面領域の検出結果を示すイメージ図である。
【図８】（Ａ）入力画像における道路候補領域を示すイメージ図、及び（Ｂ）道路候補領域を含む同一領域の検出結果を示すイメージ図である。
【図９】本発明の第１の実施の形態に係る道路領域推定装置のコンピュータにおける道路領域推定処理ルーチンを示すフローチャートである。
【図１０】本発明の第１の実施の形態に係る道路領域推定装置のコンピュータにおける平面領域検出処理ルーチンを示すフローチャートである。
【図１１】（Ａ）初期設定された道路候補領域を示すイメージ図、（Ｂ）１回目の平面領域検出処理による検出結果を示すイメージ図、（Ｃ）１回目の同一領域検出処理による検出結果を示すイメージ図、（Ｄ）２回目の平面領域検出処理による検出結果を示すイメージ図、（Ｅ）２回目の同一領域検出処理による検出結果を示すイメージ図、及び（Ｆ）３回目の同一領域検出処理による検出結果を示すイメージ図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
図１に示すように、第１の実施の形態に係る道路領域推定装置１０は、車両（図示省略）に搭載され、かつ、道路領域を含む自車両前方を撮像して画像を出力する撮像装置１２と、撮像装置１２から得られる画像に基づいて、道路領域を推定し、推定結果を表示装置１６に表示させるコンピュータ１４とを備えている。
【００２３】
撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する単眼のカメラで構成される撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２４】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する道路領域推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２により異なる位置姿勢で撮像された複数の画像を取得する画像入力部１８と、取得した複数の画像の各々から、画像上で追跡しやすい特徴点を複数抽出する特徴点抽出部２０と、特徴点抽出部２０により得られた２つの画像の各々における特徴点から、２つの画像の間で対応する対応点を検索する対応点検索部２２と、対応点検索部２２で得られた各対応点における各画像の画像座標を入力として、対応点が検索された一方の画像を撮像したときの撮像装置１２の位置姿勢を基準とした、対応点が検索された他方の画像を撮像したときの撮像装置１２の位置姿勢への変化（位置及び姿勢の相対関係）を、撮像装置１２の運動のＸＹＺ軸方向の移動量及びＸＹＺ軸を基準とする回転量として算出する位置姿勢算出部２４と、対応点検索部２２で得られた各対応点における各画像の画像座標と位置姿勢算出部２４によって算出された移動量及び回転量とに基づいて、各対応点の３次元座標を計算する３次元位置計算部２６とを備えている。
【００２５】
画像入力部１８は、異なる位置及び姿勢で撮像された２つの画像を撮像装置１２から取得する。なお、以下では、異なる位置及び姿勢で撮像された２つの画像のうち、第１の位置及び第１の姿勢で撮像された画像を第１の画像とし、第２の位置及び第２の姿勢で撮像された画像を第２の画像として説明する。
【００２６】
特徴点抽出部２０は、撮像装置１２から取得した第１の画像から特徴点を抽出すると共に、撮像装置１２から取得した第２の画像から特徴点を抽出する。特徴点とは、周囲の点と区別でき、異なる画像間で対応関係を求めることが容易な点のことを指す。特徴点は、２次元的に濃淡変化の勾配値が大きくなる画素を検出する方法（例えばＨａｒｒｉｓオペレータなど）を用いて、自動的に抽出される。Ｈａｒｒｉｓオペレータを用いる方法では、以下に説明するように、特徴点を抽出する。まず、画像の点（ｕ，ｖ）の輝度をＩ（ｕ，ｖ）として、以下の（１）式によって、行列Ｍを計算する。
【００２７】
【数１】
【００２８】
ただし、Ｉｕ，Ｉｖはそれぞれ水平方向、垂直方向の微分、Ｇσは標準偏差σのガウス分布による平滑化を表す。
【００２９】
そして、上記（１）式で計算された行列Ｍの固有値λ１、λ２を用いて、以下の（２）式によりコーナー強度を計算する。
【００３０】
【数２】
【００３１】
ただし、ｋは予め設定される定数であって、０．０４〜０．０６の値が一般に用いられる。Ｈａｒｒｉｓオペレータを用いる方法では、このコーナー強度がしきい値以上でかつ極大となる点を選択し、選択された点を特徴点として抽出する。
【００３２】
対応点検索部２２は、特徴点抽出部２０において抽出された第１の画像の特徴点に対応する点を、第２の画像において抽出された特徴点から検索して、特徴点の対応付けを行う。
【００３３】
２つの画像間での特徴点の対応付けでは、特徴点を中心として設定した小領域での輝度分布が似ている点の組を選択し、選択された点の組を対応している点とする。２つの特徴点の間の類似度として、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）などの値を計算すればよい。
【００３４】
例えば、第１の画像Ｉ１の特徴点ｐ＝（ｘ，ｙ）について、第２の画像Ｉ２の特徴点ｐ'＝（ｘ’，ｙ’）の各々との組み合わせをペアとして、以下の（３）式を各々計算する。
【００３５】
【数３】
ただし、ｒは、小領域の大きさを決定する変数であり、予め定められている。
【００３６】
そして、上記（３）式によって計算される値が最小となったときの第２の画像の特徴点を検索し、第１の画像の特徴点に対応する点とする。
【００３７】
上記の計算を、第１の画像の特徴点の各々について行って、第１の画像の特徴点の各々に対応する点を、第２の画像の特徴点から検索する。また、対応点検索部２２は、特徴点抽出部２０において２つの画像の各々から抽出された特徴点について、２つの画像間で対応する点を少なくとも８組検索する。
【００３８】
位置姿勢算出部２４は、対応点検索部２２より得られる２つの画像における少なくとも８組の対応点の画像座標から、２つの画像の各々が撮像されたときの撮像装置１２の位置及び姿勢の変化（ＸＹＺ軸方向の移動量及びＸＹＺ軸を基準とする回転量）を計算する。位置及び姿勢の変化は、図２に示すように、第１の画像から第２の画像への回転行列Ｒ（Ｘ軸を基準とする回転量、Ｙ軸を基準とする回転量、Ｚ軸を基準とする回転量）と、並進ベクトルｔ（Ｘ軸方向の移動量ｔｘ、Ｙ軸方向の移動量ｔｙ、Ｚ軸方向の移動量ｔｚ）との６要素から構成される運動である。なお、回転行列Ｒ及び並進ベクトルｔの要素は、２つの画像間の画像座標の変換を表す物理量である。
【００３９】
ここで、第１の画像から第２の画像への回転行列Ｒと並進ベクトルｔとの計算方法について説明する。第１の画像におけるｎ点の対応点の画像座標Ｉｉと第２の画像におけるｎ点の対応点の画像座標Ｉｉ’とについて（ｎ≧８）、対応点が正しくて誤差がなければ、以下の（４）式を満たす３×３行列Ｆが存在する。
【００４０】
【数４】
【００４１】
ただし、Ｉｉ＝(ｕｉ，ｖｉ，１)Ｔ、Ｉｉ’＝(ｕｉ’，ｖｉ’，１)Ｔであり、第１の画像での画像座標（ｕｉ，ｖｉ）の点に対応する第２の画像での点の画像座標が（ｕｉ’，ｖｉ’）である。
【００４２】
ここで、上記（４）式を満たす行列Ｆは、定数倍の不定性を持っている。すなわち、Ｆｓが上記（４）式を満たす場合には、αＦｓも上記（４）式を満たす（ただし、ａは実数）。よって、行列Ｆを以下の（５）式のように表すことができる。
【００４３】
【数５】
【００４４】
また、上記（４）式、（５）式より、以下の（６）式が成り立つ。
【００４５】
【数６】
【００４６】
ここで、８組以上の対応点Ｉｉ、Ｉｉ’があれば、上記（６）式が少なくとも８つ得られるため、８つの変数ｆ１１〜ｆ３２を求めることができる。なお、得られる８つの式が互いに独立である必要があり、また、誤差が含まれる場合であっても安定して計算するために、他の対応点の組となるべく異なる動きをしている特徴点の組を対応点として検索することが好ましい。
【００４７】
上述したように行列Ｆが計算でき、また、撮像装置１２のキャリブレーション行列Ｋが既知である場合には、以下の（７）式、（８）式より、回転行列Ｒと並進ベクトルｔとを計算することができる．
【００４８】
【数７】
【００４９】
撮像装置１２のキャリブレーション行列Ｋは、以下の（９）式で表される。
【００５０】
【数８】
【００５１】
ただし、ｆｘは、撮像装置１２のＸ方向の焦点距離、ｆｙは、撮像装置１２のＹ方向の焦点距離、（ｃｕ，ｃｖ）は画像中心である。なお、画像上の画像座標は、Ｘ方向に対応するＵ方向の座標ｕとＹ方向に対応するＶ方向の座標ｖとで表されるものとする。
【００５２】
３次元位置計算部２６は、対応点検索部２２から得られる２つの画像間でのｎ点の対応点の画像座標の組Ｉｉ、Ｉｉ’、及び位置姿勢算出部２４から得られる２つの画像間の回転行列及び並進ベクトルを用いて、ｎ点の対応点の３次元座標を計算する。対応点の３次元座標は以下の方法により計算できる。
【００５３】
まず、２枚の画像の各々の対応点の画像座標を（ｕ，ｖ）、（ｕ’，ｖ’）とし、画像間の回転行列をＲとし、並進ベクトルをｔとし、撮像装置１２のキャリブレーション行列をＫとしたとき、以下の（１０）式、（１１）式のような行列Ｐ、Ｐ’を定義する。
【００５４】
【数９】
【００５５】
そして、ｐｉ，ｐ’ｉをそれぞれ行列Ｐ，Ｐ’の第ｉ行のベクトルとすると、対応点の３次元座標Ｘ＝（ｘ，ｙ，ｚ，１）Ｔは以下の（１２）式の解として求めることができる。
【００５６】
【数１０】
【００５７】
また、コンピュータ１４は、第１候補領域としての道路候補領域上の各対応点の３次元座標に基づいて、道路候補領域を含む平面を表わすパラメータを推定する平面推定部３０と、一方の画像の道路候補領域を他方の画像の道路候補領域に重ねるように変換するための変換を示す射影変換行列に基づいて、一方の画像を変換する画像変換部３２と、一方の画像を変換した変換画像と他方の画像との各画素の差分値を計算する差分計算部３４と、各画素の差分値に基づいて、道路候補領域を含む平面を表わす領域を検出する平面領域検出部３６と、一方の画像の各画素の画像特徴量を計算する特徴量計算部３８と、第２候補領域としての道路候補領域と画像特徴量が対応する同一領域を検出する同一領域検出部４０と、平面領域検出部３６の検出結果及び同一領域検出部４０の検出結果に基づいて、道路領域を表わす領域を推定して、推定結果として表示装置１６に表示させる道路領域推定部４２とを備えている。なお、平面推定部３０、画像変換部３２、差分計算部３４、及び平面領域検出部３６は、平面領域検出手段の一例である。
【００５８】
平面推定部３０は、３次元位置計算部２６により得られる対応点の３次元位置のうち、第１の画像の道路候補領域内の対応点の３次元位置を用いて、道路候補領域を含む平面を表わすパラメータを推定する。推定する平面は３次元空間で以下の（１４）式で表すことができる。
【００５９】
【数１１】
【００６０】
上記（１４）式において、（ａ,ｂ,ｃ）が、推定する平面のパラメータである。
【００６１】
平面推定部３０は、第１の画像において、設定された道路候補領域内から対応点を抽出し、抽出された対応点の３次元座標から、上記のパラメータ（ａ,ｂ,ｃ）を求める。３点以上の３次元座標が得られると、上記パラメータの計算が可能であるが、３点より多くの３次元座標から得られた場合には、最小二乗法やＬＭｅｄＳ（Ｌｅａｓｔ Ｍｅｄｉａｎ Ｓｑｕａｒｅｓ）法などにより、パラメータ（ａ,ｂ,ｃ）を推定する。なお、第１の画像において道路候補領域として初期設定される領域は、撮像装置１２の道路平面に対する位置及び姿勢に基づいて、予め求めておけばよい。例えば、画像下部の所定領域が、道路候補領域として初期設定される。または、１ステップ前の処理で推定された道路領域を用いて、第１の画像の道路候補領域を初期設定してもよい。また、上記の推定する平面のパラメータは、撮像装置１２の第１の位置及び第１の姿勢に対する、道路候補領域を含む平面の相対的な位置及び姿勢を表わしている。
【００６２】
画像変換部３２は、位置姿勢算出部２４により算出された第１の画像と第２の画像との間の位置及び姿勢の変化と、平面推定部３０により得られた道路候補領域を含む平面のパラメータとに基づいて、第１の画像における道路候補領域を、第２の画像において道路候補領域が表されるべき領域に重ねるように変換するための変換を示す射影変換行列を計算し、計算された射影変換行列により、第１の画像を変換する。
【００６３】
第１の画像と第２の画像との間の位置及び姿勢の変化が、回転行列Ｒと並進ベクトルｔによって表され、図３に示すように、道路候補領域を含む平面のパラメータ（ａ,ｂ,ｃ）で表される道路候補領域を含む平面がａｘ＋ｂｙ＋ｃｚ＝1であるとき、射影変換行列Ｈは、以下の（１５）式によって計算される。
【００６４】
【数１２】
【００６５】
ただし、行列Ｋは撮像装置１２のキャリブレーション行列である。
【００６６】
上記（１５）式によって計算された射影変換行列Ｈを用いて、第１の画像を射影変換した変換画像を生成する。第１の画像の画素をＩｉとすると、対応する変換画像の画素Ｊｉは以下の（１６）式により計算される。
Ｊｉ＝Ｈ・Ｉｉ ・・・（１６）
例えば、図４（Ａ）に示すような第１の画像を射影変換して、図４（Ｃ）に示すような変換画像を生成する。
【００６７】
差分計算部３４は、画像変換部３２により生成された、射影変換行列により第１の画像を変換した変換画像と第２の画像とについて、各画素の差分値を計算する。例えば、上記図４（Ｃ）に示すような変換画像と、図４（Ｂ）に示すような第２の画像との各画素の差分値を計算する。
【００６８】
平面領域検出部３６は、差分計算部３４により得られた各画素に対する差分値から、以下に説明するように、道路候補領域を含む平面を表わす平面領域を検出する。
【００６９】
まず、各注目画素に対して、その注目画素を中心とする所定領域を設定して、所定領域の画素の差分値として、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）又はＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｅｆｆｅｒｅｎｃｅｓ）を計算し、その計算値が、閾値未満であれば、注目画素が、道路候補領域を含む平面領域上の画素であると判定し、計算値が閾値以上であれば、注目画素が、道路候補領域を含む平面領域上の画素でないと判定する。各画素の判定結果に基づいて、道路候補領域を含む平面領域を検出する。
【００７０】
なお、閾値で道路候補領域を含む平面領域を検出するとき、各画素のＳＡＤ又はＳＳＤの計算値のみに基づいて検出を行うと、誤差やノイズなどにより、孤立した小領域が検出されたり、検出された平面領域内に抜けが発生したりするため、検出された平面領域に対して、収縮、膨張処理を行うようにしても良い。
【００７１】
特徴量計算部３８は、画像入力部１８により取得した第１画像の各画素に対して、画像特徴量を計算する。各画素の特徴量特徴として、例えば、複数の標準偏差を用いてガウシアン平滑化を行ったときの輝度値や、複数のウィンドウサイズを用いた垂直方向および水平方向の勾配値と２次微分値などを計算する。各画素において、これらの複数種類の値を計算し、それらを並べたベクトルを、その画素の画像特徴量とする。
【００７２】
同一領域検出部４０は、各画素の画像特徴量から、第２候補領域としての道路候補領域を含み、かつ、連続する画素の画像特徴量が類似する画素群で構成される領域を、道路候補領域を含む同一領域として検出する。隣接する画素の画像特徴量との距離が、所定の範囲以内であれば、それらの画素を、同一の領域に属する画素と判断していくことにより、同一領域が検出される。例えば、図５（Ａ）に示すような入力画像に対して、同一領域の検出を行なうと、図５（Ｂ）に示すように、画像上での見え方が類似している領域ごとに分割される。本実施の形態に係る同一領域検出部４０では、画像特徴量に基づいて複数の同一領域に分割し、設定された道路候補領域と重なる分割領域をまとめて、道路候補領域を含む同一領域として検出する。
【００７３】
また、図６（Ａ）に示すように、画像下部に道路候補領域が初期設定された場合、あるいは前の時刻での道路領域の検出結果を利用して、画像下部に道路候補領域が設定された場合には、図６（Ｂ）に示すように、道路候補領域と重なる同一領域をまとめて、道路候補領域を含む同一領域の検出結果とする。
【００７４】
次に、本実施の形態の原理について説明する。
【００７５】
平面領域検出部３６及び同一領域検出部４０により、それぞれ道路らしい領域を検出することができるが、平面領域の検出では、道路候補領域から平面を検出するため、道路が複数の平面から構成され、かつ道路候補領域から検出した平面以外の平面が道路候補領域外にある場合には、その領域を検出することができない。例えば、図７（Ａ）のように、途中で勾配が変化するような道路環境において、画像下部に道路候補領域が設定された場合には、図７（Ｂ）に示すように、遠方の道路領域を検出することができない。
【００７６】
一方、同一領域検出部４０では、画像上での見え方が道路候補領域と同様な領域を検出するため、道路候補領域外での道路面の材質変化、汚れ、周囲の立体物の影がある場合には、正しく道路領域を検出することができない。例えば、図８（Ａ）のように、道路候補領域外に、轍の跡、材質の異なる道路面、及び立体物の影が存在する場合には、図８（Ｂ）に示すように、轍の跡、材質の異なる道路面、及び立体物の影の部分を除いて、道路候補領域を含む同一領域が検出される。
【００７７】
そこで、本実施の形態では、以下に説明するように、平面領域検出部３６による平面領域の検出と、同一領域検出部４０による同一領域の検出とを相互に繰り返し行なうと共に、一方が他方の検出結果を用いて検出処理を行う。
【００７８】
平面推定部３０及び同一領域検出部４０の各々では、まず、道路候補領域として、道路領域の少なくとも一部分である画像下部の所定領域を初期設定する、あるいは、前の時刻の道路領域検出結果から現フレームで道路領域である可能性が高い領域を抽出して、道路候補領域として初期設定する。
【００７９】
平面推定部３０は、初期設定された道路候補領域内の特徴点の画像間での対応関係から、道路候補領域を含む平面を推定し、画像変換部３２は、平面に関する画像間での射影変換を得る。平面領域検出部３６は、得られた射影変換を利用して、道路候補領域を含む平面領域を検出する。
【００８０】
一方、同一領域検出部４０は、画像の見え方に基づいて複数の同一領域に分割し、初期設定された道路候補領域と重なる分割領域をまとめて、道路候補領域を含む同一領域として検出する。
【００８１】
次に、同一領域検出部４０による同一領域の検出結果を利用して、平面領域の検出を行う。同一領域検出部４０で検出された同一領域のうち、平面領域検出部３６によって前回検出された道路候補領域を含む平面領域に含まれない部分があれば、平面推定部３０によって、当該部分を、道路候補領域として設定し、当該部分の特徴点の３次元位置から、道路候補領域を含む平面を推定する。平面領域検出部３６では、推定された平面に対する射影変換も用いて、道路候補領域を含む平面領域の検出を行う。平面領域検出部３６は、検出された平面領域と、前回検出された平面領域との和を、検出結果とする。なお、検出された同一領域のうち、前回検出された道路候補領域を含む平面領域に含まれない部分は、道路領域の少なくとも一部分である。
【００８２】
また、同一領域検出部４０においても、平面領域検出部３６による検出結果を利用して、さらに同一領域の検出を行う。平面領域検出部３６で検出された平面領域のうち、同一領域検出部４０によって前回検出された同一領域に含まれない部分があれば、同一領域検出部４０において、当該部分を、道路候補領域として設定し、当該部分と重なる分割領域をまとめて、道路候補領域を含む同一領域として検出する。同一領域検出部４０は、検出された同一領域と、前回検出された同一領域との和を、検出結果とする。検出された平面領域のうち、前回検出された道路候補領域を含む同一領域に含まれない部分は、道路領域の少なくとも一部分である。
【００８３】
道路領域推定部４２は、平面領域検出部３６と同一領域検出部４０とで相互に結果を利用して繰り返し実行されたときに、平面領域検出部３６によって最終的に検出された平面領域と、同一領域検出部４０によって最終的に検出された同一領域との和を計算し、計算された領域を、道路領域として推定する。なお、平面領域検出部３６と同一領域検出部４０とで最終的に検出された２つの検出領域はほぼ同等となるので、２つの検出領域の結果の積をとるようにしてもよい。
【００８４】
次に、第１の実施の形態に係る道路領域推定装置１０の作用について説明する。なお、道路領域推定装置１０を搭載した車両の走行中に、道路領域を推定する場合を例に説明する。
【００８５】
まず、撮像装置１２によって、自車両前方の連続撮像が開始されると、コンピュータ１４において、図９に示す道路領域推定処理ルーチンが実行される。
【００８６】
まず、ステップ１００において、撮像装置１２から、第１の位置及び第１の姿勢で撮像された第１の画像と、第２の位置及び第２の姿勢で撮像された第２の画像とを順に取得する。
【００８７】
そして、ステップ１０２において、上記ステップ１００で取得した第１の画像と第２の画像との各々から特徴点を複数抽出し、ステップ１０４で、上記ステップ１０２で抽出された複数の特徴点から、第１の画像と第２の画像との間で対応する対応点を少なくとも８組検索する。そして、ステップ１０６において、上記ステップ１０４で検索された少なくとも８組の対応点の画像座標に基づいて、第１の画像を撮像したときの撮像装置１２の位置姿勢を基準とした第２の画像を撮像したときの撮像装置１２の位置姿勢の変化を表わす並進ベクトル及び回転行列を算出する。
【００８８】
そして、ステップ１０８において、上記ステップ１０６で算出された第１の画像と第２の画像との間における並進ベクトル及び回転行列、及び上記ステップ１０４で検索された第１の画像と第２の画像との各々における対応点の画像座標に基づいて、この対応点が示す特徴点の３次元座標を計算する。次のステップ１１０では、第１の画像の各画素について、画像特徴量を計算する。
【００８９】
そして、ステップ１１２において、第１の画像の下部の所定領域を、道路候補領域として初期設定する。ステップ１１４において、上記ステップ１１２で設定された道路候補領域を含む平面を表わす領域を検出する処理を行う。上記ステップ１１４は、図１０に示す平面領域検出処理ルーチンによって実現される。
【００９０】
以下、平面領域検出処理ルーチンについて説明する。まず、ステップ１４０において、上記ステップ１０８で計算された、第１の画像の道路候補領域内の対応点である特徴点の３次元座標に基づいて、道路候補領域を含む平面を表わすパラメータを推定する。
【００９１】
そして、ステップ１４２において、上記ステップ１０６で算出された第１の画像と第２の画像との間における並進ベクトル及び回転行列と、上記ステップ１４０で推定された道路候補領域を含む平面を表わすパラメータとに基づいて、射影変換行列を算出する。ステップ１４４において、上記ステップ１４２で算出された射影変換行列に従って、第１の画像を変換する。
【００９２】
次のステップ１４６では、上記ステップ１４４で第１の画像を変換した変換画像と、上記ステップ１００で取得した第２の画像との各画素の差分値を算出する。そして、ステップ１４８において、上記ステップ１４６で算出された差分値が閾値未満となる画素群からなる領域を、道路候補領域を含む平面を表わす平面領域として検出して、平面領域検出処理ルーチンを終了する。
【００９３】
例えば、図１１（Ａ）に示すように、道路面の勾配が途中から変化し、道路面の材質の変化、汚れ、及び影が存在する場合には、上記ステップ１１４を実行することにより、図１１（Ｂ）に示すように、初期設定された道路候補領域を含む平面領域のみが検出される。また、汚れ、材質の変化がある部分でも、道路候補領域を含む平面領域として検出される。
【００９４】
そして、道路領域推定処理ルーチンのステップ１１６において、上記ステップ１１２で初期設定された道路候補領域を含む同一領域を検出する。例えば、図１１（Ｃ）に示すように、材質の変化、汚れ、及び影の部分は、道路候補領域を含む同一領域として検出されない。一方、見え方の変化が少ない部分は、遠方の勾配が変化した領域であっても、道路候補領域を含む同一領域として検出される。
【００９５】
次のステップ１１８では、上記ステップ１１６又は後述する１３０で直近に検出された同一領域のうち、上記ステップ１１４又は後述するステップ１２２における前回の平面領域検出処理により検出された平面領域に含まれない部分があるか否かを判定する。該当する部分がない場合には、ステップ１２６へ移行するが、一方、該当する部分がある場合には、ステップ１２０において、該当する部分を、道路候補領域として設定する。
【００９６】
そして、ステップ１２２で、上記の平面領域検出処理ルーチンを実行することにより、上記ステップ１２０で設定された道路候補領域を含む平面領域を検出する。次のステップ１２４では、前回の平面領域検出処理により検出された平面領域と、上記ステップ１２４で今回検出された平面領域との和を計算し、平面領域の検出結果とする。例えば、１回目の同一領域の検出結果を利用して平面領域を検出すると、図１１（Ｄ）に示すように、遠方の勾配の変化した道路平面が得られ、その射影変換も利用して平面領域検出を行うことで、遠方の勾配が変化した部分まで含めて、平面領域として検出される。
【００９７】
そして、ステップ１２６において、上記ステップ１１４又はステップ１２２で前回検出された平面領域のうち、上記ステップ１１６又は１３０における前回の同一領域検出処理により検出された同一領域に含まれない部分があるか否かを判定する。該当する部分がない場合には、ステップ１３４へ移行するが、一方、該当する部分がある場合には、ステップ１２８において、該当する部分を、道路候補領域として設定する。
【００９８】
そして、ステップ１３０で、上記ステップ１１６と同様に、上記ステップ１２８で設定された道路候補領域を含む同一領域を検出する。次のステップ１３２では、前回の同一領域検出処理により検出された同一領域と、上記ステップ１３０で今回検出された同一領域との和を計算し、同一領域の検出結果とする。例えば、１回目の平面領域検出処理の検出結果を利用し、図１１（Ｅ）に示すように、汚れ、材質の変化、及び手前の影の部分の領域を含めて同一領域が検出される。さらに、２回目の平面領域検出処理の検出結果を用いて、図１１（Ｆ）に示すように、奥の影領域も含めた同一領域が検出される。
【００９９】
そして、ステップ１３４において、上記ステップ１１８及び上記ステップ１２６の双方の判定で、含まれない部分がなかったと判定されたか否かを判定する。少なくとも一方の判定で、含まれない部分があったと判定された場合には、繰り返し処理を行うために、上記ステップ１１８へ戻る。一方、双方の判定で、含まれない部分がなかったと判定された場合には、ステップ１３６で、上記ステップ１２４で最終的に検出結果として得られた平面領域と、上記ステップ１３２で最終的に検出結果として得られた同一領域との和を計算し、計算された領域を、道路領域として推定する。
【０１００】
そして、ステップ１３８において、推定された道路領域を表示装置１６に表示させて、道路領域推定処理ルーチンを終了する。
【０１０１】
以上説明したように、第１の実施の形態に係る道路領域推定装置によれば、道路候補領域を含む平面領域の検出と、道路候補領域を含む同一領域の検出とを、相互に検出結果を利用して繰り返し行って、道路領域を推定することにより、道路形状が１つの平面で表せない場合や、道路の材質が異なる場合や天候の変化、建物の影などで道路領域の輝度分布が大きく変化する場合であっても、画像上での道路領域を精度よく推定することができる。様々な道路環境を撮影した画像から、道路領域を高精度に推定することができる。
【０１０２】
次に、第２の実施の形態に係る道路領域推定装置について説明する。なお、第２の実施の形態に係る道路領域推定装置は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【０１０３】
第２の実施の形態では、オプティカルフローの近似式を利用して、第１の画像を変換している点が、第１の実施の形態と異なっている。
【０１０４】
第２の実施の形態では、画像変換部３２によって、第１の画像における道路候補領域を、第２の画像において道路候補領域が表されるべき領域に重ねるように変換するための変換を示すオプティカルフローの近似式を計算し、計算された近似式により、第１の画像を変換する。
【０１０５】
位置姿勢算出部２４により算出された第１の画像と第２の画像との間の位置及び姿勢の変化が、回転行列ｗ＝(ｗｘ,ｗｙ,ｗｚ)Ｔと並進ベクトルｔ＝(ｔｘ,ｔｙ,ｔｚ)Ｔで表されるとき、道路平面ＡＸ＋ＢＹ＋ＣＺ＝1上にある点を投影した点ｐ＝(ｘ,ｙ)Ｔの画像間のオプティカルフローの近似式(ｕ,ｖ)Ｔは、以下の（１７）式、（１８）式により計算される。
【０１０６】
【数１３】
【０１０７】
上記（１７）式、（１８）式により、第１の画像における点ｐ＝(ｘ,ｙ)Ｔに対応する第２の画像上の点はｐ’＝(ｘ＋ｕ,ｙ＋ｖ)Ｔとなる。上記（１７）式、（１８）式により、第１の画像の各画素について、変換画像において対応する画素を求め、第１の画像を変換して変換画像を生成する。
【０１０８】
なお、第２の実施の形態に係る道路領域推定装置の他の構成及び作用は、第１の実施の形態と同様であるため、説明を省略する。
【０１０９】
なお、上記の第１の実施の形態〜第２の実施の形態では、隣接する画素の画像特徴量との距離に基づいて、同一領域に属する画素と判断し、同一領域を検出する場合を例に説明したが、これに限定されるものではなく、全画素の画像特徴量をクラスタリングし、隣接する画素が同じクラスタに属する場合に、同一領域に属する画素と判断して、同一領域を検出するようにしてもよい。
【０１１０】
また、最初に全画素の画像特徴量を計算する場合を例に説明したが、これに限定されるものではなく、同一領域の検出において、隣接する画素の画像特徴量との距離を計算するときに、逐次、画素の画像特徴量を計算するようにしてもよい。
【０１１１】
また、平面領域検出部によって最終的に検出された平面領域と、同一領域検出部によって最終的に検出された同一領域とに基づいて、道路領域を推定する場合を例に説明したが、これに限定されるものではなく、平面領域検出部によって最終的に検出された平面領域、及び同一領域検出部４０によって最終的に検出された同一領域の何れか一方を、道路領域の推定結果としてそのまま用いてもよい。
【０１１２】
また、２つの画像から抽出された複数の特徴点から、２つの画像の間で対応する点を検索する場合を例に説明したが、２つの画像の一方の画像から特徴点を抽出し、他方の画像から、抽出された特徴点に対応する対応点を検索するようにしてもよい。
【０１１３】
また、上記の実施の形態では、撮像装置の位置姿勢の変化を表わすものとして、並進ベクトル及び回転行列を算出する場合を例に説明したが、これに限定されるものではなく、撮像装置の位置姿勢の変化を表わすものとして他の指標を算出するようにしてもよい。
【符号の説明】
【０１１４】
１０ 道路領域推定装置
１２ 撮像装置
１４ コンピュータ
２０ 特徴点抽出部
２２ 対応点検索部
２４ 位置姿勢算出部
２６ ３次元位置計算部
３０ 平面推定部
３２ 画像変換部
３４ 差分計算部
３６ 平面領域検出部
３８ 特徴量計算部
４０ 同一領域検出部
４２ 道路領域推定部
【特許請求の範囲】
【請求項１】
道路領域を含む範囲を撮像した複数の画像を出力する、移動体に搭載された撮像手段と、
前記撮像手段が第１の位置及び第１の姿勢となっているときに前記撮像手段によって撮像された第１画像、及び前記第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で前記撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう平面領域検出手段と、
前記第１画像及び前記第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、前記第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう同一領域検出手段と、
前記平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び前記同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する道路領域推定手段と、
を含む道路領域推定装置であって、
前記平面領域検出手段は、前記同一領域検出手段によって検出された前記同一領域のうち、前回検出された前記平面を表わす領域に含まれない部分を、前記第１候補領域として設定して前記検出を行ない、前回検出された前記平面を表わす領域との和を、検出結果とし、
前記同一領域検出手段は、前記平面領域検出手段によって検出された前記平面を表わす領域のうち、前記検出された前記同一領域に含まれない部分を、前記第２候補領域として設定して前記検出を行ない、前回検出された前記同一領域との和を、検出結果とする
ことを特徴とする道路領域推定装置。
【請求項２】
前記同一領域検出手段は、前記第２候補領域を含み、かつ、連続する画素の画像特徴量が類似する画素群で構成される領域を、前記同一領域として検出する請求項１記載の道路領域推定装置。
【請求項３】
前記平面領域検出手段は、前記第１画像における前記第１候補領域を、前記第２画像において前記第１候補領域が表されるべき領域に変換するための変換によって、前記第１画像を変換する画像変換手段と、前記画像変換手段によって変換された前記第１画像と前記第２画像とに基づいて、各画素について画素値の差分を算出する差分算出手段とを備え、前記算出された画素値の差分が閾値未満となる領域を、前記第１候補領域を含む平面を表わす領域として検出する請求項１又は２記載の道路領域推定装置。
【請求項４】
前記撮像手段によって撮像された前記第１画像及び前記第２画像の各々から、特徴点であって、かつ、前記第１画像及び前記第２画像の間で対応した点を検索する検索手段と、
前記検索手段によって検索された前記対応した点に基づいて、前記第１の位置及び第１の姿勢と前記第２の位置及び第２の姿勢との相対関係を算出する位置姿勢算出手段と、
前記検索手段によって検索された前記対応した点と前記位置姿勢算出手段によって算出された相対関係とに基づいて、前記対応した点の３次元位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記対応した点の３次元位置のうち、前記第１候補領域に含まれる点の３次元位置に基づいて、前記第１候補領域を含む平面を表わすパラメータを算出する平面パラメータ算出手段とを更に含み、
前記画像変換手段は、前記位置姿勢算出手段によって算出された相対関係、及び前記平面パラメータ算出手段によって算出された前記第１候補領域を含む平面を表わすパラメータに基づいて、前記変換の変換行列を算出し、前記変換行列に基づいて、前記第１画像を変換する請求項３項記載の道路領域推定装置。
【請求項５】
前記差分算出手段は、各画素について、画素を含む所定領域の画素値の差分を算出する請求項３又は４記載の道路領域推定装置。
【請求項６】
コンピュータを、
道路領域を含む範囲を撮像した複数の画像を出力する、移動体に搭載された撮像手段が第１の位置及び第１の姿勢となっているときに前記撮像手段によって撮像された第１画像、及び前記第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で前記撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう平面領域検出手段、
前記第１画像及び前記第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、前記第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう同一領域検出手段、及び
前記平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び前記同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する道路領域推定手段
として機能させるためのプログラムであって、
前記平面領域検出手段は、前記同一領域検出手段によって検出された前記同一領域のうち、前回検出された前記平面を表わす領域に含まれない部分を、前記第１候補領域として設定して前記検出を行ない、前回検出された前記平面を表わす領域との和を、検出結果とし、
前記同一領域検出手段は、前記平面領域検出手段によって検出された前記平面を表わす領域のうち、前記検出された前記同一領域に含まれない部分を、前記第２候補領域として設定して前記検出を行ない、前回検出された前記同一領域との和を、検出結果とする
ことを特徴とするプログラム。
【請求項１】
道路領域を含む範囲を撮像した複数の画像を出力する、移動体に搭載された撮像手段と、
前記撮像手段が第１の位置及び第１の姿勢となっているときに前記撮像手段によって撮像された第１画像、及び前記第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で前記撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう平面領域検出手段と、
前記第１画像及び前記第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、前記第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう同一領域検出手段と、
前記平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び前記同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する道路領域推定手段と、
を含む道路領域推定装置であって、
前記平面領域検出手段は、前記同一領域検出手段によって検出された前記同一領域のうち、前回検出された前記平面を表わす領域に含まれない部分を、前記第１候補領域として設定して前記検出を行ない、前回検出された前記平面を表わす領域との和を、検出結果とし、
前記同一領域検出手段は、前記平面領域検出手段によって検出された前記平面を表わす領域のうち、前記検出された前記同一領域に含まれない部分を、前記第２候補領域として設定して前記検出を行ない、前回検出された前記同一領域との和を、検出結果とする
ことを特徴とする道路領域推定装置。
【請求項２】
前記同一領域検出手段は、前記第２候補領域を含み、かつ、連続する画素の画像特徴量が類似する画素群で構成される領域を、前記同一領域として検出する請求項１記載の道路領域推定装置。
【請求項３】
前記平面領域検出手段は、前記第１画像における前記第１候補領域を、前記第２画像において前記第１候補領域が表されるべき領域に変換するための変換によって、前記第１画像を変換する画像変換手段と、前記画像変換手段によって変換された前記第１画像と前記第２画像とに基づいて、各画素について画素値の差分を算出する差分算出手段とを備え、前記算出された画素値の差分が閾値未満となる領域を、前記第１候補領域を含む平面を表わす領域として検出する請求項１又は２記載の道路領域推定装置。
【請求項４】
前記撮像手段によって撮像された前記第１画像及び前記第２画像の各々から、特徴点であって、かつ、前記第１画像及び前記第２画像の間で対応した点を検索する検索手段と、
前記検索手段によって検索された前記対応した点に基づいて、前記第１の位置及び第１の姿勢と前記第２の位置及び第２の姿勢との相対関係を算出する位置姿勢算出手段と、
前記検索手段によって検索された前記対応した点と前記位置姿勢算出手段によって算出された相対関係とに基づいて、前記対応した点の３次元位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記対応した点の３次元位置のうち、前記第１候補領域に含まれる点の３次元位置に基づいて、前記第１候補領域を含む平面を表わすパラメータを算出する平面パラメータ算出手段とを更に含み、
前記画像変換手段は、前記位置姿勢算出手段によって算出された相対関係、及び前記平面パラメータ算出手段によって算出された前記第１候補領域を含む平面を表わすパラメータに基づいて、前記変換の変換行列を算出し、前記変換行列に基づいて、前記第１画像を変換する請求項３項記載の道路領域推定装置。
【請求項５】
前記差分算出手段は、各画素について、画素を含む所定領域の画素値の差分を算出する請求項３又は４記載の道路領域推定装置。
【請求項６】
コンピュータを、
道路領域を含む範囲を撮像した複数の画像を出力する、移動体に搭載された撮像手段が第１の位置及び第１の姿勢となっているときに前記撮像手段によって撮像された第１画像、及び前記第１の位置及び第１の姿勢と異なる第２の位置及び第２の姿勢で前記撮像手段によって撮像された第２画像に基づいて、道路領域の少なくとも一部分として設定された第１候補領域を含む平面を表わす領域の検出を繰り返し行なう平面領域検出手段、
前記第１画像及び前記第２画像に基づいて、道路領域の少なくとも一部分として設定された第２候補領域を含み、かつ、前記第２候補領域と画像特徴量が対応する同一領域の検出を繰り返し行なう同一領域検出手段、及び
前記平面領域検出手段によって繰り返し行なわれた検出により得られた検出結果、及び前記同一領域検出手段によって繰り返し行なわれた検出により得られた検出結果の少なくとも一方に基づいて、道路領域を推定する道路領域推定手段
として機能させるためのプログラムであって、
前記平面領域検出手段は、前記同一領域検出手段によって検出された前記同一領域のうち、前回検出された前記平面を表わす領域に含まれない部分を、前記第１候補領域として設定して前記検出を行ない、前回検出された前記平面を表わす領域との和を、検出結果とし、
前記同一領域検出手段は、前記平面領域検出手段によって検出された前記平面を表わす領域のうち、前記検出された前記同一領域に含まれない部分を、前記第２候補領域として設定して前記検出を行ない、前回検出された前記同一領域との和を、検出結果とする
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−２４４３２３（Ｐ２０１０−２４４３２３Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９２８２５（Ｐ２００９−９２８２５）
【出願日】平成２１年４月７日（２００９．４．７）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月７日（２００９．４．７）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]