直線検知装置
【課題】解像度を劣化させることなく計算量を低減することができ、しかも、左右の対称性を維持することができる直線検知装置を提供する。
【解決手段】画像のＸＹ平面から複数の候補点を抽出する候補点抽出部２と、ＸＹ平面に置かれた原点を基準に各候補点をハフ変換する候補点ハフ変換部３と、ハフ変換で得られた各正弦波に従いθρ平面としてメモリ上に確保された二次元配列の配列要素に投票する配列投票部４と、投票値が閾値を超える配列要素からＸＹ平面上の直線を検知する直線検知部５と、検知された複数の直線から消失点を推定する消失点推定部６と、消失点に画像の原点を置き直す消失点原点化部７とを備える。
【解決手段】画像のＸＹ平面から複数の候補点を抽出する候補点抽出部２と、ＸＹ平面に置かれた原点を基準に各候補点をハフ変換する候補点ハフ変換部３と、ハフ変換で得られた各正弦波に従いθρ平面としてメモリ上に確保された二次元配列の配列要素に投票する配列投票部４と、投票値が閾値を超える配列要素からＸＹ平面上の直線を検知する直線検知部５と、検知された複数の直線から消失点を推定する消失点推定部６と、消失点に画像の原点を置き直す消失点原点化部７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路画像から抽出した候補点をハフ空間で処理して直線を検知する直線検知装置に係り、解像度を劣化させることなく計算量を低減することができ、しかも、左右の対称性を維持することができる直線検知装置に関する。
【背景技術】
【０００２】
従来より、車両の運転を支援するシステムの一環として、車線維持支援や車線逸脱警報に利用する白線を検知するため、カメラで道路を撮像しコンピュータによる画像処理を行う道路白線検知装置が提案されている。
【０００３】
従来の道路白線検知装置は、図６のような構成を有する。すなわち、道路白線検知装置６１は、車両に搭載されて対象となる前方の道路を撮像するカメラ６２と、カメラ６２が撮像した画像の情報を処理用のメモリに取り込む画像取得部６３と、メモリ内に取り込んだ画像を処理して道路の白線を検知する画像処理部６４とを備える。
【０００４】
画像処理部６４では、複数の候補点から直線を探索するためにハフ変換（Hough transform）が用いられる。
【０００５】
以下、ハフ変換の原理を説明する。
【０００６】
図７（ａ）に示されるように、画像（ＸＹ平面）中の任意の点Ｐ（Ｘ，Ｙ）を通る直線は無限に定義できる。各々の直線について、図７（ｂ）に示されるように、原点から直線へ降ろした法線の長さρと角度θとの間には式（１）の関係が成り立つ。
【０００７】
ρ＝Ｘｃｏｓθ＋Ｙｓｉｎθ （１）
図７（ｃ）に示されるように、点Ｐ（Ｘ，Ｙ）を通る複数の直線について式（１）に従ってθとρを求めてθρ平面に描画すると、一つの正弦波が描かれる。この処理をハフ変換と呼ぶ。θρ平面はハフ空間とも呼ばれる。
【０００８】
図８（ａ）に示されるように、ＸＹ平面上の複数の点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄに対して、それぞれ複数のθ，ρの組を求め、それぞれθρ平面に描画すると、図８（ｂ）に示されるように、ＸＹ平面上で同一の直線状に乗る複数の点（点群）Ｐａ，Ｐｂ，Ｐｄによってθρ平面に描かれた複数の正弦波Ｓａ，Ｓｂ，Ｓｄは、全て一つの点Ｑ１で交わる。その点Ｑ１のθ，ρをパラメータとして持つ画像上の直線が点群Ｐａ，Ｐｂ，Ｐｄを結んだ直線を示す。一方、画像上で当該直線上にない点Ｐｃは、θρ平面に描かれた正弦波Ｓｃが点Ｑ１では交わらない。
【０００９】
すなわち、画像における直線探索は、ハフ空間上で正弦波が多く交わる点を探索する手順により実現される。
【００１０】
コンピュータ処理においては、θρ平面として二次元配列をメモリ上に確保する。二次元配列は、θρ平面を縦横に等間隔で分割し、各分割メッシュを座標θ，ρで参照される各配列要素に割り当てたものである。分割を粗く行えば、配列要素の個数は減り、θ，ρの解像度は低下する。分割を細かく行えば、配列要素の個数は増え、θ，ρの解像度は向上する。ＸＹ平面上の全ての候補点についてθを変化させながらρを求め、求めたθとρに対応する配列要素に１を加算していく。この分野では配列要素への加算を投票という。正弦波が多く交わる点では対応する配列要素の投票値が大きい。最終的に、十分に大きい投票値を得た配列要素に対応するθ，ρが求める直線のパラメータである。
【００１１】
したがって、道路の白線の一部として抽出された複数の候補点に対してこのような直線探索の手順を適用すれば、白線を検知することができる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００３−２９４４２２号公報
【特許文献２】特開２００４−２５２８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ハフ変換による直線探索は、画像の大きさ（ドット数）、θ，ρの解像度、候補点の個数などに比例して計算量が増大する。計算量が増大して処理時間が長くなると、場合によっては道路白線検知全体の処理時間の大部分を直線探索が占めることになる。したがって、走行する車両においてリアルタイムで運転を支援するためには、いかに直線探索の計算量を減らすかが重要となる。ただし、θ，ρの解像度を低下させると、直線の角度や位置の精度が悪くなる。
【００１４】
また、複数の候補点から得られるθρ平面上の正弦波の交点は、通常、ある程度の広がりを持って分布するため、投票値が一つの配列要素に集中して大きくならず、最大の投票値を持つ配列要素の近傍に比較的大きい投票値を持つ配列要素が多数存在することになり、直線を特定することが困難になる。この対策として、配列要素間のθの差とρの差とにそれぞれ所定の閾値を設定して差が閾値以下の配列要素は一つにまとめることにより、類似線を除去することが行われる。
【００１５】
ところで、従来は、図９に示されるように、ＸＹ平面においてθとρを求める際に、カメラ画像の隅に相当する点、例えば、ＸＹ平面の左上の頂点に原点が固定されている。このため、ＸＹ平面の左と右とでは、原点との位置関係の違いから、対称性が失われる。
【００１６】
例えば、図９の左下のほぼ同一点を通る２本の直線を左の組とし、右下のほぼ同一点を通る２本の直線を右の組とする。左右二組となっている４本の直線は、長方形Ｓの枠内で左右対称である。これらの直線をθ，ρのパラメータで表した場合、左の組における２本の直線間のθの差と右の組における２本の直線間のθの差はほぼ同じである。しかし、破線円Ａ内と破線円Ｂ内とを比較すると、左の組における２本の直線間のρの差より右の組における２本の直線間のρの差は大きい。
【００１７】
このため、類似線の除去手順において、同一の閾値を適用すると、
左の組のρの差＜閾値＜右の組のρの差
のとき、左の組ではいずれか１本の直線が類似線と見なされて削除され、右の組では２本とも類似線と見なされずに残ってしまう。この結果、検知能力に左右の差が生じてしまう。
【００１８】
そこで、本発明の目的は、上記課題を解決し、解像度を劣化させることなく計算量を低減することができ、しかも、左右の対称性を維持することができる直線検知装置を提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために本発明は、画像のＸＹ平面から複数の候補点を抽出する候補点抽出部と、ＸＹ平面に置かれた原点を基準に各候補点をハフ変換する候補点ハフ変換部と、ハフ変換で得られた各正弦波に従いθρ平面としてメモリ上に確保された二次元配列の配列要素に投票する配列投票部と、投票値が閾値を超える配列要素からＸＹ平面上の直線を検知する直線検知部と、検知された複数の直線から消失点を推定する消失点推定部と、消失点にＸＹ平面の原点を置き直す消失点原点化部とを備えたものである。
【００２０】
推定された消失点で交差する直線の数からその消失点の信頼性を判定する信頼性判定部と、推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部とを備えてもよい。
【００２１】
推定された消失点と過去に推定された消失点との乖離からその消失点の信頼性を判定する信頼性判定部と、推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部とを備えてもよい。
【００２２】
消失点に原点があるとき、前記二次元配列に対し投票を有効とするρの範囲を絶対値が所定値以下の範囲に限定する投票有効範囲限定部を備えてもよい。
【発明の効果】
【００２３】
本発明は次の如き優れた効果を発揮する。
【００２４】
（１）解像度を劣化させることなく計算量を低減することができる。
【００２５】
（２）左右の対称性を維持することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態を示す直線検知装置の構成図である。
【図２】図１の直線検知装置における直線検知処理の手順を示すフローチャートである。
【図３】本発明が適用されるＸＹ平面の図である。
【図４】ＸＹ平面の左上の頂点を原点とするハフ変換で得られるθρ平面の図である。
【図５】消失点を原点とするハフ変換で得られるθρ平面の図である。
【図６】従来の道路白線検知装置のシステム構成図である。
【図７】（ａ）は点を通る直線を示すＸＹ平面図、（ｂ）は直線のθとρの定義を示すＸＹ平面図、（ｃ）は点Ｐのハフ変換像である正弦波を示すθρ平面図である。
【図８】（ａ）は点群を示すＸＹ平面図、（ｂ）は点群の各点のハフ変換像である正弦波を示すθρ平面図である。
【図９】原点位置に依存してＸＹ平面の左と右の対称性が失われることを示すＸＹ平面図である。
【発明を実施するための形態】
【００２７】
以下、本発明の一実施形態を添付図面に基づいて詳述する。
【００２８】
図１に示されるように、本発明に係る直線検知装置１は、従来の道路白線検知装置６１と同様に、車両に搭載されて対象となる前方の道路を撮像するカメラ６２と、カメラ６２が撮像した画像の情報を処理用のメモリに取り込む画像取得部６３と、メモリ内に取り込んだ画像を処理して道路の白線を検知する画像処理部６４とを備える。本発明に係る直線検知装置１は、従来と同じハードウェアで構成されており、画像処理部６４に実装される新規なアルゴリズムに特徴を有する。
【００２９】
すなわち、直線検知装置１は、画像のＸＹ平面から複数の候補点を抽出する候補点抽出部２と、ＸＹ平面に置かれた原点を基準に各候補点をハフ変換する候補点ハフ変換部３と、ハフ変換で得られた各正弦波に従いθρ平面としてメモリ上に確保された二次元配列の配列要素に投票する配列投票部４と、投票値が閾値を超える配列要素からＸＹ平面上の直線を検知する直線検知部５と、検知された複数の直線から消失点を推定する消失点推定部６と、消失点にＸＹ平面の原点を置き直す消失点原点化部７とを備える。
【００３０】
さらに、直線検知装置１は、推定された消失点で交差する直線の数から、又は推定された消失点と過去に推定された消失点との乖離から、その消失点の信頼性を判定する信頼性判定部８と、推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部９と、消失点に原点があるとき、前記二次元配列に対し投票を有効とするρの範囲を絶対値が所定値以下の範囲に限定する投票有効範囲限定部１０とを備える。
【００３１】
直線検知装置１の動作を説明する。
【００３２】
直線検知装置１は、図２の処理を適宜な時間間隔で繰り返し実行する。
【００３３】
図２に示されるように、ステップＳ１にて、直線検知装置１は、画像取得部６３により、カメラ６２が対象となる前方の道路を撮像した画像の情報を処理用のメモリに取り込む。次いでステップＳ２にて、直線検知装置１は、画像処理部６４により、初期フラグの真偽を判定する。初期フラグは、消失点が利用できないので初期点に原点を置くか消失点が利用できるので原点を消失点に置くかを指定するフラグであり、後述する信頼性判定の結果により真偽が決定される。ここでは、初期フラグが真である場合を先に説明する。初期フラグが真であれば、消失点が利用できないので、ステップＳ３に進む。
【００３４】
ステップＳ３にて、原点初期化部９は、あらかじめＸＹ平面に設定された初期点に原点を置く。初期点は、ＸＹ平面上のどこでもよいが、例えば、従来同様、カメラ画像の隅に相当するＸＹ平面の左上の頂点とする。
【００３５】
ステップＳ４にて、候補点抽出部２は、従来公知の画像処理により、ＸＹ平面から複数の候補点を抽出する。候補点は、白線の一部としての特徴を備えた点である。周囲に比べて輝度が高いなどの特徴を有する点が抽出される。輝度の立ち上がりエッジとなる点と立ち下がりエッジとなる点とをそれぞれ区別して抽出してもよい。抽出に先立ち、色むら除去、輝度むら除去、ノイズ除去、エッジ強調化などの従来公知の前処理も行うとよい。
【００３６】
次いで、ステップＳ５にて、候補点ハフ変換部３は、原点を基準にＸＹ平面上の全ての候補点をハフ変換する。これにより、候補点と同じ個数の正弦波が得られる。次いで、ステップＳ６にて、配列投票部４は、従来公知の手順により、全ての正弦波について、それぞれの正弦波が通過する配列要素に投票する。配列要素とは、ハフ空間（θρ平面）としてメモリ上に確保された二次元配列の要素のことである。
【００３７】
次いで、ステップＳ７にて、直線検知部５は、従来公知の手順により、投票値があらかじめ設定された閾値を超える配列要素のθとρに基づいて、ＸＹ平面上の直線を検知する。直線検知部５は、図９で説明したように類似線の除去を行うとよい。また、直線検知部５は、輝度の立ち上がりエッジとして検知された直線から立ち下がりエッジとして検知された直線までの幅を測定し、この測定幅と実道路上に布設される白線の設計幅とをカメラ６２の画角、俯角、地上高を考慮して比較評価し、測定幅が太すぎる場合や細すぎる場合は、これらの直線のペアを白線のものでないとして除去するとよい。さらに、直線検知部５は、ＸＹ平面上でＸ軸に平行に近い角度で延びる直線やＹ軸に平行に近い角度で延びる直線は、他車両や道路脇の構造物に由来する直線として除去するとよい。この結果、道路の左端から右端までに存在する複数の白線に由来する複数の直線のみが検知されるので、ステップＳ１５に進む。
【００３８】
一方、ステップＳ２の判定で初期フラグが偽である判定された場合、消失点が利用できるので、ステップＳ８に進む。
【００３９】
ステップＳ８にて、消失点原点化部７は、消失点にＸＹ平面の原点を置き直す。これは、ＸＹ平面上の全ての点について、元の原点の座標と消失点の座標との差分をオフセットさせることで実現できる。ステップＳ９，１０の処理はステップＳ４，５の処理と同じであり、ステップＳ１２，１３の処理はステップＳ６，７の処理と同じである。しかし、ステップＳ１１にて、投票有効範囲限定部１０は、二次元配列に対し投票を有効とするρの範囲を、ρの絶対値があらかじめ実験結果に基づいて設定された所定値以下となるように限定する。したがって、ステップＳ１２では投票の有効範囲内の配列要素のみに投票が行われることになる。ステップＳ１３で直線が検知された後、ステップＳ１４にて、直線検知部５は、座標のオフセットを解消させることで、直線の原点を元に戻す。次いで、ステップＳ１５に進む。
【００４０】
ステップＳ１５にて、消失点推定部６は、検知された複数の直線から消失点を推定する。例えば、検知された複数の直線のうち２本が交差する点を消失点として推定する。より具体的には、ＸＹ平面の左下域から中央上域に向けて傾斜する直線を１本選択し、右下域から中央上域に向けて傾斜する直線を１本選択し、これら２本の直線を延長して交差する点を消失点として推定する。
【００４１】
次いで、ステップＳ１６にて、信頼性判定部８は、推定された消失点で交差する直線の数からその消失点の信頼性を判定する。例えば、ステップＳ１５で２本の直線が交差する点を消失点として推定した場合、その消失点にさらに１本の他の直線が交差すれば、その消失点は信頼できると判定してよい。合計４本以上の直線が交差するようであれば、いっそう信頼性が高い。逆に、２本の直線が交差する点から推定した消失点にさらに交差する他の直線がなければその消失点は信頼できないと判定してよい。
【００４２】
あるいは、信頼性判定部８は、推定された消失点と過去に推定された消失点との乖離からその消失点の信頼性を判定する。具体的には、今回推定された消失点と前回推定された消失点との距離があらかじめ設定された閾値以上であれば、その消失点は信頼できないと判定する。
【００４３】
次いで、ステップＳ１７にて、直線検知装置１は、信頼性の判定結果に基づき、処理を切り替える。すなわち、消失点が信頼できるのであれば、ステップＳ１８に進み、消失点が信頼できないのであれば、ステップＳ２０に進む。
【００４４】
ステップＳ１８にて、直線検知装置１は、信頼できると判定された消失点を保存して次回からの原点化に備える。次いで、ステップＳ１９にて、直線検知装置１は、初期フラグを偽に設定して終了する。初期フラグを偽に設定したことにより、次回の直線検知処理では消失点を原点とするステップＳ８〜Ｓ１４が実行されることになる。ステップＳ２０に来た場合は、直線検知装置１は、初期フラグを真に設定して終了する。次回の直線検知処理では初期点を原点とするステップＳ３〜Ｓ７が実行されることになる。
【００４５】
直線検知装置１の作用効果を説明する。
【００４６】
本発明では、ハフ変換を行う前に、検知したい直線が付近を通るべき点にＸＹ平面の原点をオフセットさせる。道路の白線のように実空間において平行な二直線は、水平方向あるいは適宜な俯角に向けて設置されたカメラ６２で撮像した画像においては、透視図法で言う消失点で交わる二直線となる。よって、本実施形態では、ＸＹ平面の原点を消失点にオフセットさせる。これにより、道路の白線に由来するＸＹ平面上の直線は、原点付近を通ることになる。原点付近を通る直線とは、ρの絶対値が小さい直線のことであり、θρ平面では複数の正弦波の交点がρ軸の近傍に位置することになる。よって、ρ軸の近傍の配列要素のみ投票を有効とすることで、投票の計算量を削減しつつ、白線とは無関係な直線を排除することができる。
【００４７】
なお、車両のピッチングやヨーイングにより、道路に対するカメラ６２の向きが変わると、カメラ６２が撮像した画像上での消失点の位置は変動するが、図２の処理を繰り返し実行する時間間隔は微小時間であり、このような微小時間での消失点の位置変動は少ないので、前回得られた消失点を今回の原点として使用しても問題はない。また、消失点の位置変動は、ある程度予測することも可能であるので、前回得られた消失点から今回利用する消失点を予測してもよい。
【００４８】
初回の直線検知処理のとき、前回の消失点が信頼できないときなど、前回得られた消失点が存在しない場合は、原点をオフセットする値が不定である。この場合、従来同様の画面左上の頂点あるいはデフォルトとして設定した初期点を原点としてハフ変換を行うことになる。
【００４９】
図３に示されるように、ＸＹ平面から黒点及び白抜き点で示す２５個の候補点が抽出されたとする。黒点の候補点は、白線に由来すると思われる。このような候補点から直線を検知するべきである。白抜き点は、白線に由来しないと思われる。このような候補点からは、直線を検知するべきでない。
【００５０】
これらの候補点に従来のようにＸＹ平面の左上頂点を原点としてハフ変換を適用すると、図４に示されるように、θρ平面には２５個の正弦波が得られる。θρ平面において正弦波の交点が集中する点は、太線四角と太線円で囲んで示す６点となる。これらの点では、配列要素への投票値が大きくなる。太線四角で囲んだ点は図３の検知するべき直線に対応しており、太線円で囲んだ点は検知するべきでない直線に対応している。これらの点はρが小から大まで広い範囲に分布しており、しかも、太線四角で囲んだ点と太線円で囲んだ点とを区別することは難しい。この結果、θρ平面の全域の配列要素への投票を実施しなければ、検知するべき直線を確実に検知できないことになり、計算量が増大し、しかも、検知するべきでない直線までも検知してしまう。
【００５１】
これに対し、本発明において、図３に示した消失点Ｐｖを原点としてハフ変換を適用すると、図５に示されるように、θρ平面には２５個の正弦波が得られる。このとき、検知するべき直線に対応する点（太線四角で囲んだ点）はρが小さい範囲のみに分布し、検知するべきでない直線に対応する点（太線円で囲んだ点）はρが大きい。したがって、正弦波の交点を探索する領域、言い換えると、投票する範囲をρの小さい範囲に限定することができるので、計算量が低減でき、しかも、検知するべきでない直線に対応する点は投票が行われないので、検知するべきでない直線は検知されない。
【００５２】
さらに、本発明では、２本の直線が交差する点を消失点Ｐｖとし、消失点Ｐｖに原点を置いているため、図９で説明したようなＸＹ平面の左右でρの値が違う現象がなくなり、左右の対称性を維持することができる。
【００５３】
以上説明したように、本発明の直線検知装置１は、消失点に原点を置き直してハフ変換を行い、二次元配列に対し投票を有効とするρの範囲を限定するようにしたので、θ，ρの解像度を下げることなく、計算量を低減させることができる。あらかじめメモリに確保する二次元配列を投票有効範囲のみとすることもできる。この場合、メモリの容量も節約することができる。
【００５４】
本発明の直線検知装置１は、消失点に原点を置き直してハフ変換を行うようにしたので、ＸＹ平面の左右でθ，ρの差が非対称になることがなく、左右の対称性を維持することができる。
【００５５】
本発明は、実施形態で述べた道路の白線検知に限らず、金属鋲からなるレーンマーク、分離帯やガードレール、軌道車両の軌道、ロボットの移動を導く床面ラインなどを水平方向あるいは適宜な俯角に向けて設置したカメラで撮像した画像を処理して消失点に向かう直線を検知することに応用することができる。
【００５６】
本発明は、地上面を水平方向あるいは適宜な俯角で見て撮像した画像に限らず、一般的なＸＹ平面上で直線探索するものに応用することができる。複数の直線の交点が既知又は予測可能であれば、その交点に原点を置いてハフ変換を行うことで、直線探索のための投票有効範囲を狭めることができる。
【符号の説明】
【００５７】
１ 直線検知装置
２ 候補点抽出部
３ 候補点ハフ変換部
４ 配列投票部
５ 直線検知部
６ 消失点推定部
７ 消失点原点化部
８ 信頼性判定部
９ 原点初期化部
１０ 投票有効範囲限定部
【技術分野】
【０００１】
本発明は、道路画像から抽出した候補点をハフ空間で処理して直線を検知する直線検知装置に係り、解像度を劣化させることなく計算量を低減することができ、しかも、左右の対称性を維持することができる直線検知装置に関する。
【背景技術】
【０００２】
従来より、車両の運転を支援するシステムの一環として、車線維持支援や車線逸脱警報に利用する白線を検知するため、カメラで道路を撮像しコンピュータによる画像処理を行う道路白線検知装置が提案されている。
【０００３】
従来の道路白線検知装置は、図６のような構成を有する。すなわち、道路白線検知装置６１は、車両に搭載されて対象となる前方の道路を撮像するカメラ６２と、カメラ６２が撮像した画像の情報を処理用のメモリに取り込む画像取得部６３と、メモリ内に取り込んだ画像を処理して道路の白線を検知する画像処理部６４とを備える。
【０００４】
画像処理部６４では、複数の候補点から直線を探索するためにハフ変換（Hough transform）が用いられる。
【０００５】
以下、ハフ変換の原理を説明する。
【０００６】
図７（ａ）に示されるように、画像（ＸＹ平面）中の任意の点Ｐ（Ｘ，Ｙ）を通る直線は無限に定義できる。各々の直線について、図７（ｂ）に示されるように、原点から直線へ降ろした法線の長さρと角度θとの間には式（１）の関係が成り立つ。
【０００７】
ρ＝Ｘｃｏｓθ＋Ｙｓｉｎθ （１）
図７（ｃ）に示されるように、点Ｐ（Ｘ，Ｙ）を通る複数の直線について式（１）に従ってθとρを求めてθρ平面に描画すると、一つの正弦波が描かれる。この処理をハフ変換と呼ぶ。θρ平面はハフ空間とも呼ばれる。
【０００８】
図８（ａ）に示されるように、ＸＹ平面上の複数の点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄに対して、それぞれ複数のθ，ρの組を求め、それぞれθρ平面に描画すると、図８（ｂ）に示されるように、ＸＹ平面上で同一の直線状に乗る複数の点（点群）Ｐａ，Ｐｂ，Ｐｄによってθρ平面に描かれた複数の正弦波Ｓａ，Ｓｂ，Ｓｄは、全て一つの点Ｑ１で交わる。その点Ｑ１のθ，ρをパラメータとして持つ画像上の直線が点群Ｐａ，Ｐｂ，Ｐｄを結んだ直線を示す。一方、画像上で当該直線上にない点Ｐｃは、θρ平面に描かれた正弦波Ｓｃが点Ｑ１では交わらない。
【０００９】
すなわち、画像における直線探索は、ハフ空間上で正弦波が多く交わる点を探索する手順により実現される。
【００１０】
コンピュータ処理においては、θρ平面として二次元配列をメモリ上に確保する。二次元配列は、θρ平面を縦横に等間隔で分割し、各分割メッシュを座標θ，ρで参照される各配列要素に割り当てたものである。分割を粗く行えば、配列要素の個数は減り、θ，ρの解像度は低下する。分割を細かく行えば、配列要素の個数は増え、θ，ρの解像度は向上する。ＸＹ平面上の全ての候補点についてθを変化させながらρを求め、求めたθとρに対応する配列要素に１を加算していく。この分野では配列要素への加算を投票という。正弦波が多く交わる点では対応する配列要素の投票値が大きい。最終的に、十分に大きい投票値を得た配列要素に対応するθ，ρが求める直線のパラメータである。
【００１１】
したがって、道路の白線の一部として抽出された複数の候補点に対してこのような直線探索の手順を適用すれば、白線を検知することができる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００３−２９４４２２号公報
【特許文献２】特開２００４−２５２８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ハフ変換による直線探索は、画像の大きさ（ドット数）、θ，ρの解像度、候補点の個数などに比例して計算量が増大する。計算量が増大して処理時間が長くなると、場合によっては道路白線検知全体の処理時間の大部分を直線探索が占めることになる。したがって、走行する車両においてリアルタイムで運転を支援するためには、いかに直線探索の計算量を減らすかが重要となる。ただし、θ，ρの解像度を低下させると、直線の角度や位置の精度が悪くなる。
【００１４】
また、複数の候補点から得られるθρ平面上の正弦波の交点は、通常、ある程度の広がりを持って分布するため、投票値が一つの配列要素に集中して大きくならず、最大の投票値を持つ配列要素の近傍に比較的大きい投票値を持つ配列要素が多数存在することになり、直線を特定することが困難になる。この対策として、配列要素間のθの差とρの差とにそれぞれ所定の閾値を設定して差が閾値以下の配列要素は一つにまとめることにより、類似線を除去することが行われる。
【００１５】
ところで、従来は、図９に示されるように、ＸＹ平面においてθとρを求める際に、カメラ画像の隅に相当する点、例えば、ＸＹ平面の左上の頂点に原点が固定されている。このため、ＸＹ平面の左と右とでは、原点との位置関係の違いから、対称性が失われる。
【００１６】
例えば、図９の左下のほぼ同一点を通る２本の直線を左の組とし、右下のほぼ同一点を通る２本の直線を右の組とする。左右二組となっている４本の直線は、長方形Ｓの枠内で左右対称である。これらの直線をθ，ρのパラメータで表した場合、左の組における２本の直線間のθの差と右の組における２本の直線間のθの差はほぼ同じである。しかし、破線円Ａ内と破線円Ｂ内とを比較すると、左の組における２本の直線間のρの差より右の組における２本の直線間のρの差は大きい。
【００１７】
このため、類似線の除去手順において、同一の閾値を適用すると、
左の組のρの差＜閾値＜右の組のρの差
のとき、左の組ではいずれか１本の直線が類似線と見なされて削除され、右の組では２本とも類似線と見なされずに残ってしまう。この結果、検知能力に左右の差が生じてしまう。
【００１８】
そこで、本発明の目的は、上記課題を解決し、解像度を劣化させることなく計算量を低減することができ、しかも、左右の対称性を維持することができる直線検知装置を提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために本発明は、画像のＸＹ平面から複数の候補点を抽出する候補点抽出部と、ＸＹ平面に置かれた原点を基準に各候補点をハフ変換する候補点ハフ変換部と、ハフ変換で得られた各正弦波に従いθρ平面としてメモリ上に確保された二次元配列の配列要素に投票する配列投票部と、投票値が閾値を超える配列要素からＸＹ平面上の直線を検知する直線検知部と、検知された複数の直線から消失点を推定する消失点推定部と、消失点にＸＹ平面の原点を置き直す消失点原点化部とを備えたものである。
【００２０】
推定された消失点で交差する直線の数からその消失点の信頼性を判定する信頼性判定部と、推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部とを備えてもよい。
【００２１】
推定された消失点と過去に推定された消失点との乖離からその消失点の信頼性を判定する信頼性判定部と、推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部とを備えてもよい。
【００２２】
消失点に原点があるとき、前記二次元配列に対し投票を有効とするρの範囲を絶対値が所定値以下の範囲に限定する投票有効範囲限定部を備えてもよい。
【発明の効果】
【００２３】
本発明は次の如き優れた効果を発揮する。
【００２４】
（１）解像度を劣化させることなく計算量を低減することができる。
【００２５】
（２）左右の対称性を維持することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態を示す直線検知装置の構成図である。
【図２】図１の直線検知装置における直線検知処理の手順を示すフローチャートである。
【図３】本発明が適用されるＸＹ平面の図である。
【図４】ＸＹ平面の左上の頂点を原点とするハフ変換で得られるθρ平面の図である。
【図５】消失点を原点とするハフ変換で得られるθρ平面の図である。
【図６】従来の道路白線検知装置のシステム構成図である。
【図７】（ａ）は点を通る直線を示すＸＹ平面図、（ｂ）は直線のθとρの定義を示すＸＹ平面図、（ｃ）は点Ｐのハフ変換像である正弦波を示すθρ平面図である。
【図８】（ａ）は点群を示すＸＹ平面図、（ｂ）は点群の各点のハフ変換像である正弦波を示すθρ平面図である。
【図９】原点位置に依存してＸＹ平面の左と右の対称性が失われることを示すＸＹ平面図である。
【発明を実施するための形態】
【００２７】
以下、本発明の一実施形態を添付図面に基づいて詳述する。
【００２８】
図１に示されるように、本発明に係る直線検知装置１は、従来の道路白線検知装置６１と同様に、車両に搭載されて対象となる前方の道路を撮像するカメラ６２と、カメラ６２が撮像した画像の情報を処理用のメモリに取り込む画像取得部６３と、メモリ内に取り込んだ画像を処理して道路の白線を検知する画像処理部６４とを備える。本発明に係る直線検知装置１は、従来と同じハードウェアで構成されており、画像処理部６４に実装される新規なアルゴリズムに特徴を有する。
【００２９】
すなわち、直線検知装置１は、画像のＸＹ平面から複数の候補点を抽出する候補点抽出部２と、ＸＹ平面に置かれた原点を基準に各候補点をハフ変換する候補点ハフ変換部３と、ハフ変換で得られた各正弦波に従いθρ平面としてメモリ上に確保された二次元配列の配列要素に投票する配列投票部４と、投票値が閾値を超える配列要素からＸＹ平面上の直線を検知する直線検知部５と、検知された複数の直線から消失点を推定する消失点推定部６と、消失点にＸＹ平面の原点を置き直す消失点原点化部７とを備える。
【００３０】
さらに、直線検知装置１は、推定された消失点で交差する直線の数から、又は推定された消失点と過去に推定された消失点との乖離から、その消失点の信頼性を判定する信頼性判定部８と、推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部９と、消失点に原点があるとき、前記二次元配列に対し投票を有効とするρの範囲を絶対値が所定値以下の範囲に限定する投票有効範囲限定部１０とを備える。
【００３１】
直線検知装置１の動作を説明する。
【００３２】
直線検知装置１は、図２の処理を適宜な時間間隔で繰り返し実行する。
【００３３】
図２に示されるように、ステップＳ１にて、直線検知装置１は、画像取得部６３により、カメラ６２が対象となる前方の道路を撮像した画像の情報を処理用のメモリに取り込む。次いでステップＳ２にて、直線検知装置１は、画像処理部６４により、初期フラグの真偽を判定する。初期フラグは、消失点が利用できないので初期点に原点を置くか消失点が利用できるので原点を消失点に置くかを指定するフラグであり、後述する信頼性判定の結果により真偽が決定される。ここでは、初期フラグが真である場合を先に説明する。初期フラグが真であれば、消失点が利用できないので、ステップＳ３に進む。
【００３４】
ステップＳ３にて、原点初期化部９は、あらかじめＸＹ平面に設定された初期点に原点を置く。初期点は、ＸＹ平面上のどこでもよいが、例えば、従来同様、カメラ画像の隅に相当するＸＹ平面の左上の頂点とする。
【００３５】
ステップＳ４にて、候補点抽出部２は、従来公知の画像処理により、ＸＹ平面から複数の候補点を抽出する。候補点は、白線の一部としての特徴を備えた点である。周囲に比べて輝度が高いなどの特徴を有する点が抽出される。輝度の立ち上がりエッジとなる点と立ち下がりエッジとなる点とをそれぞれ区別して抽出してもよい。抽出に先立ち、色むら除去、輝度むら除去、ノイズ除去、エッジ強調化などの従来公知の前処理も行うとよい。
【００３６】
次いで、ステップＳ５にて、候補点ハフ変換部３は、原点を基準にＸＹ平面上の全ての候補点をハフ変換する。これにより、候補点と同じ個数の正弦波が得られる。次いで、ステップＳ６にて、配列投票部４は、従来公知の手順により、全ての正弦波について、それぞれの正弦波が通過する配列要素に投票する。配列要素とは、ハフ空間（θρ平面）としてメモリ上に確保された二次元配列の要素のことである。
【００３７】
次いで、ステップＳ７にて、直線検知部５は、従来公知の手順により、投票値があらかじめ設定された閾値を超える配列要素のθとρに基づいて、ＸＹ平面上の直線を検知する。直線検知部５は、図９で説明したように類似線の除去を行うとよい。また、直線検知部５は、輝度の立ち上がりエッジとして検知された直線から立ち下がりエッジとして検知された直線までの幅を測定し、この測定幅と実道路上に布設される白線の設計幅とをカメラ６２の画角、俯角、地上高を考慮して比較評価し、測定幅が太すぎる場合や細すぎる場合は、これらの直線のペアを白線のものでないとして除去するとよい。さらに、直線検知部５は、ＸＹ平面上でＸ軸に平行に近い角度で延びる直線やＹ軸に平行に近い角度で延びる直線は、他車両や道路脇の構造物に由来する直線として除去するとよい。この結果、道路の左端から右端までに存在する複数の白線に由来する複数の直線のみが検知されるので、ステップＳ１５に進む。
【００３８】
一方、ステップＳ２の判定で初期フラグが偽である判定された場合、消失点が利用できるので、ステップＳ８に進む。
【００３９】
ステップＳ８にて、消失点原点化部７は、消失点にＸＹ平面の原点を置き直す。これは、ＸＹ平面上の全ての点について、元の原点の座標と消失点の座標との差分をオフセットさせることで実現できる。ステップＳ９，１０の処理はステップＳ４，５の処理と同じであり、ステップＳ１２，１３の処理はステップＳ６，７の処理と同じである。しかし、ステップＳ１１にて、投票有効範囲限定部１０は、二次元配列に対し投票を有効とするρの範囲を、ρの絶対値があらかじめ実験結果に基づいて設定された所定値以下となるように限定する。したがって、ステップＳ１２では投票の有効範囲内の配列要素のみに投票が行われることになる。ステップＳ１３で直線が検知された後、ステップＳ１４にて、直線検知部５は、座標のオフセットを解消させることで、直線の原点を元に戻す。次いで、ステップＳ１５に進む。
【００４０】
ステップＳ１５にて、消失点推定部６は、検知された複数の直線から消失点を推定する。例えば、検知された複数の直線のうち２本が交差する点を消失点として推定する。より具体的には、ＸＹ平面の左下域から中央上域に向けて傾斜する直線を１本選択し、右下域から中央上域に向けて傾斜する直線を１本選択し、これら２本の直線を延長して交差する点を消失点として推定する。
【００４１】
次いで、ステップＳ１６にて、信頼性判定部８は、推定された消失点で交差する直線の数からその消失点の信頼性を判定する。例えば、ステップＳ１５で２本の直線が交差する点を消失点として推定した場合、その消失点にさらに１本の他の直線が交差すれば、その消失点は信頼できると判定してよい。合計４本以上の直線が交差するようであれば、いっそう信頼性が高い。逆に、２本の直線が交差する点から推定した消失点にさらに交差する他の直線がなければその消失点は信頼できないと判定してよい。
【００４２】
あるいは、信頼性判定部８は、推定された消失点と過去に推定された消失点との乖離からその消失点の信頼性を判定する。具体的には、今回推定された消失点と前回推定された消失点との距離があらかじめ設定された閾値以上であれば、その消失点は信頼できないと判定する。
【００４３】
次いで、ステップＳ１７にて、直線検知装置１は、信頼性の判定結果に基づき、処理を切り替える。すなわち、消失点が信頼できるのであれば、ステップＳ１８に進み、消失点が信頼できないのであれば、ステップＳ２０に進む。
【００４４】
ステップＳ１８にて、直線検知装置１は、信頼できると判定された消失点を保存して次回からの原点化に備える。次いで、ステップＳ１９にて、直線検知装置１は、初期フラグを偽に設定して終了する。初期フラグを偽に設定したことにより、次回の直線検知処理では消失点を原点とするステップＳ８〜Ｓ１４が実行されることになる。ステップＳ２０に来た場合は、直線検知装置１は、初期フラグを真に設定して終了する。次回の直線検知処理では初期点を原点とするステップＳ３〜Ｓ７が実行されることになる。
【００４５】
直線検知装置１の作用効果を説明する。
【００４６】
本発明では、ハフ変換を行う前に、検知したい直線が付近を通るべき点にＸＹ平面の原点をオフセットさせる。道路の白線のように実空間において平行な二直線は、水平方向あるいは適宜な俯角に向けて設置されたカメラ６２で撮像した画像においては、透視図法で言う消失点で交わる二直線となる。よって、本実施形態では、ＸＹ平面の原点を消失点にオフセットさせる。これにより、道路の白線に由来するＸＹ平面上の直線は、原点付近を通ることになる。原点付近を通る直線とは、ρの絶対値が小さい直線のことであり、θρ平面では複数の正弦波の交点がρ軸の近傍に位置することになる。よって、ρ軸の近傍の配列要素のみ投票を有効とすることで、投票の計算量を削減しつつ、白線とは無関係な直線を排除することができる。
【００４７】
なお、車両のピッチングやヨーイングにより、道路に対するカメラ６２の向きが変わると、カメラ６２が撮像した画像上での消失点の位置は変動するが、図２の処理を繰り返し実行する時間間隔は微小時間であり、このような微小時間での消失点の位置変動は少ないので、前回得られた消失点を今回の原点として使用しても問題はない。また、消失点の位置変動は、ある程度予測することも可能であるので、前回得られた消失点から今回利用する消失点を予測してもよい。
【００４８】
初回の直線検知処理のとき、前回の消失点が信頼できないときなど、前回得られた消失点が存在しない場合は、原点をオフセットする値が不定である。この場合、従来同様の画面左上の頂点あるいはデフォルトとして設定した初期点を原点としてハフ変換を行うことになる。
【００４９】
図３に示されるように、ＸＹ平面から黒点及び白抜き点で示す２５個の候補点が抽出されたとする。黒点の候補点は、白線に由来すると思われる。このような候補点から直線を検知するべきである。白抜き点は、白線に由来しないと思われる。このような候補点からは、直線を検知するべきでない。
【００５０】
これらの候補点に従来のようにＸＹ平面の左上頂点を原点としてハフ変換を適用すると、図４に示されるように、θρ平面には２５個の正弦波が得られる。θρ平面において正弦波の交点が集中する点は、太線四角と太線円で囲んで示す６点となる。これらの点では、配列要素への投票値が大きくなる。太線四角で囲んだ点は図３の検知するべき直線に対応しており、太線円で囲んだ点は検知するべきでない直線に対応している。これらの点はρが小から大まで広い範囲に分布しており、しかも、太線四角で囲んだ点と太線円で囲んだ点とを区別することは難しい。この結果、θρ平面の全域の配列要素への投票を実施しなければ、検知するべき直線を確実に検知できないことになり、計算量が増大し、しかも、検知するべきでない直線までも検知してしまう。
【００５１】
これに対し、本発明において、図３に示した消失点Ｐｖを原点としてハフ変換を適用すると、図５に示されるように、θρ平面には２５個の正弦波が得られる。このとき、検知するべき直線に対応する点（太線四角で囲んだ点）はρが小さい範囲のみに分布し、検知するべきでない直線に対応する点（太線円で囲んだ点）はρが大きい。したがって、正弦波の交点を探索する領域、言い換えると、投票する範囲をρの小さい範囲に限定することができるので、計算量が低減でき、しかも、検知するべきでない直線に対応する点は投票が行われないので、検知するべきでない直線は検知されない。
【００５２】
さらに、本発明では、２本の直線が交差する点を消失点Ｐｖとし、消失点Ｐｖに原点を置いているため、図９で説明したようなＸＹ平面の左右でρの値が違う現象がなくなり、左右の対称性を維持することができる。
【００５３】
以上説明したように、本発明の直線検知装置１は、消失点に原点を置き直してハフ変換を行い、二次元配列に対し投票を有効とするρの範囲を限定するようにしたので、θ，ρの解像度を下げることなく、計算量を低減させることができる。あらかじめメモリに確保する二次元配列を投票有効範囲のみとすることもできる。この場合、メモリの容量も節約することができる。
【００５４】
本発明の直線検知装置１は、消失点に原点を置き直してハフ変換を行うようにしたので、ＸＹ平面の左右でθ，ρの差が非対称になることがなく、左右の対称性を維持することができる。
【００５５】
本発明は、実施形態で述べた道路の白線検知に限らず、金属鋲からなるレーンマーク、分離帯やガードレール、軌道車両の軌道、ロボットの移動を導く床面ラインなどを水平方向あるいは適宜な俯角に向けて設置したカメラで撮像した画像を処理して消失点に向かう直線を検知することに応用することができる。
【００５６】
本発明は、地上面を水平方向あるいは適宜な俯角で見て撮像した画像に限らず、一般的なＸＹ平面上で直線探索するものに応用することができる。複数の直線の交点が既知又は予測可能であれば、その交点に原点を置いてハフ変換を行うことで、直線探索のための投票有効範囲を狭めることができる。
【符号の説明】
【００５７】
１ 直線検知装置
２ 候補点抽出部
３ 候補点ハフ変換部
４ 配列投票部
５ 直線検知部
６ 消失点推定部
７ 消失点原点化部
８ 信頼性判定部
９ 原点初期化部
１０ 投票有効範囲限定部
【特許請求の範囲】
【請求項１】
画像のＸＹ平面から複数の候補点を抽出する候補点抽出部と、
ＸＹ平面に置かれた原点を基準に各候補点をハフ変換する候補点ハフ変換部と、
ハフ変換で得られた各正弦波に従いθρ平面としてメモリ上に確保された二次元配列の配列要素に投票する配列投票部と、
投票値が閾値を超える配列要素からＸＹ平面上の直線を検知する直線検知部と、
検知された複数の直線から消失点を推定する消失点推定部と、
消失点にＸＹ平面の原点を置き直す消失点原点化部とを備えたことを特徴とする直線検知装置。
【請求項２】
推定された消失点で交差する直線の数からその消失点の信頼性を判定する信頼性判定部と、
推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部とを備えたことを特徴とする請求項１記載の直線検知装置。
【請求項３】
推定された消失点と過去に推定された消失点との乖離からその消失点の信頼性を判定する信頼性判定部と、
推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部とを備えたことを特徴とする請求項１記載の直線検知装置。
【請求項４】
消失点に原点があるとき、前記二次元配列に対し投票を有効とするρの範囲を絶対値が所定値以下の範囲に限定する投票有効範囲限定部を備えたことを特徴とする請求項１〜３いずれか記載の直線検知装置。
【請求項１】
画像のＸＹ平面から複数の候補点を抽出する候補点抽出部と、
ＸＹ平面に置かれた原点を基準に各候補点をハフ変換する候補点ハフ変換部と、
ハフ変換で得られた各正弦波に従いθρ平面としてメモリ上に確保された二次元配列の配列要素に投票する配列投票部と、
投票値が閾値を超える配列要素からＸＹ平面上の直線を検知する直線検知部と、
検知された複数の直線から消失点を推定する消失点推定部と、
消失点にＸＹ平面の原点を置き直す消失点原点化部とを備えたことを特徴とする直線検知装置。
【請求項２】
推定された消失点で交差する直線の数からその消失点の信頼性を判定する信頼性判定部と、
推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部とを備えたことを特徴とする請求項１記載の直線検知装置。
【請求項３】
推定された消失点と過去に推定された消失点との乖離からその消失点の信頼性を判定する信頼性判定部と、
推定された消失点が信頼できないと判定されたとき、あらかじめＸＹ平面に設定された初期点に原点を置き直す原点初期化部とを備えたことを特徴とする請求項１記載の直線検知装置。
【請求項４】
消失点に原点があるとき、前記二次元配列に対し投票を有効とするρの範囲を絶対値が所定値以下の範囲に限定する投票有効範囲限定部を備えたことを特徴とする請求項１〜３いずれか記載の直線検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−４８２８９（Ｐ２０１２−４８２８９Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１８７１２５（Ｐ２０１０−１８７１２５）
【出願日】平成２２年８月２４日（２０１０．８．２４）
【出願人】（００００００１７０）いすゞ自動車株式会社 (1,721)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月２４日（２０１０．８．２４）
【出願人】（００００００１７０）いすゞ自動車株式会社 (1,721)
【Ｆターム（参考）】
[ Back to top ]