駐車枠検出装置
【課題】駐車枠検出装置において、コンクリートの灰色の路面に黄色やオレンジ色で描かれた駐車枠線を抽出し、さらに、白色で描かれた駐車枠線に対する処理と区別することなく、従来のエッジ検出により駐車枠を検出することにある。
【解決手段】制御手段１４は、撮像手段１２により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段１４Ｂと、この黄色系抽出手段１４Ｂにより抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段１４Ｃとを備え、この輝度加算手段１４Ｃにより予め設定された値を加算された画像から駐車枠を検出する。
【解決手段】制御手段１４は、撮像手段１２により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段１４Ｂと、この黄色系抽出手段１４Ｂにより抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段１４Ｃとを備え、この輝度加算手段１４Ｃにより予め設定された値を加算された画像から駐車枠を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、駐車枠検出装置に係り、特に車両に取り付けた撮像手段（カメラ）により撮像された画像から駐車枠（駐車スペース）を検出する駐車枠検出装置に関する。
【背景技術】
【０００２】
車両には、駐車時の運転を支援するために、駐車枠検出装置を搭載しているものがある。この駐車枠検出装置は、駐車後退動作時に、車両後部に取り付けた撮像手段（カメラ）により撮像された画像から駐車枠（駐車スペース）を検出し、運転者の運転操作を支援するものである。
このような駐車枠検出装置においては、画像中の駐車枠線を検出するために、画像中の駐車枠線のエッジを検出する際に、通常は、Ｓｏｂｅｌフィルタ、ラプラシアン等の２次元オペレータを用いた後、閾値を用いた２値化を行っているが、一意にこの閾値を決定することが困難である場合が多かった。
そして、駐車枠に自車を止めるために、駐車枠線を検出する場合は、画像中縦方向に現れる駐車枠線のエッジを検出する必要がある。この駐車枠線のエッジの検出にあたっては、路面の模様、影、照明等の影響を極力排除する必要がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３０６２２４号公報
【特許文献２】特開２００６−２９００５１号公報
【０００４】
特許文献１に係る駐車支援装置及び駐車支援方法は、駐車可能と判定した運転操作パターンのうち、現在位置から最初に行うべき運転操作を、駐車枠に駐車させるために必要な運転操作として求めて、駐車枠に駐車可能か否かの情報と、駐車枠に駐車させるために必要な運転操作のうち、最初に行うべき運転操作を識別する情報とを、駐車枠と共に、表示させるものである。
特許文献２に係る駐車支援装置及び駐車支援方法は、自車両が障害物に接近したときの心理的な負荷を考慮して、後退移動させて駐車させる時の後退開始位置を設定するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来、駐車枠検出装置においては、図２７の入力画像に示すように、駐車場１０１のコンクリートの灰色の路面１０２に黄色やオレンジ色等で描かれた駐車枠線１０３にあっては、横方向に直線の計測ラインＬ上でラインプロファイル（輝度変化）を測定した場合に、図２８のラインプロファイル（輝度変化）に示すように、路面１０２と左側駐車枠線・右側駐車枠線に明確な輝度（予め設定された閾値を超える程度の輝度）の差が無いため（この例として、黄色やオレンジ色の駐車枠線１０３は、灰色の路面１０２よりも輝度が低い）、駐車枠線１０３の抽出ができない問題があった。
また、図２９には、駐車枠線のエッジを検出した従来例を示すが、エッジが十分に検出されていないことがわかる。
更に、上記の特許文献１では、駐車枠線が白線で描かれていると定義し、また、上記の特許文献２では、駐車枠線のエッジの検出において、「画像処理部は、カメラ画像データのエッジ強度やエッジ形状と、予め求めておいた駐車枠線を示すエッジ強度やエッジ形状とを比較して、エッジを検出する」としているため、予め求めていない未知の駐車枠線の抽出には対応することができないという不都合があった。
更にまた、図３０に示す通常のＳｏｂｅｌフィルタだけでは、駐車枠線のエッジを十分に検出することができなかった。
【０００６】
そこで、この発明の目的は、駐車枠線のエッジの検出の際の閾値の決定手段（適応制御的なもの）を不要とし、処理を簡素化して、駐車枠線の両端に生じるエッジを路面の模様、影、照明等の影響を極力排除して信頼性を高くし、路面と駐車枠線との輝度差が少ない場合にも、安定した駐車枠の検出を行うことができる駐車枠検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
この発明は、車両周囲を撮像する撮像手段と、この撮像手段により撮像した画像から駐車枠を検出する制御手段とを設けた駐車枠検出装置において、前記制御手段は、前記撮像手段により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段と、この黄色系抽出手段により抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段とを備え、この輝度加算手段により予め設定された値を加算された画像から駐車枠を検出することを特徴とする。
【発明の効果】
【０００８】
この発明の駐車枠検出装置は、駐車枠線のエッジの検出の際の閾値の決定手段（適応制御的なもの）を不要とし、処理を簡素化して、駐車枠線の両端に生じるエッジを路面の模様、影、照明等の影響を極力排除して信頼性を高くし、路面と駐車枠線との輝度差が少ない場合にも、安定した駐車枠の検出を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】図１は駐車枠検出のフローチャートである。（実施例１）
【図２】図２は駐車枠検出装置の制御ブロック図である。（実施例１）
【図３】図３は駐車場の駐車枠及び車両を示す平面図である。（実施例１）
【図４】図４は通常のラインプロファイル（ＲＧＢ）（輝度変化）を示す図である。（実施例１）
【図５】図５はＲ成分、Ｇ成分、Ｂ成分毎に分離した画像のうちＲ成分の画像を示す図である。（実施例１）
【図６】図６はＲ成分、Ｇ成分、Ｂ成分毎に分離した画像のうちＢ成分の画像を示す図である。（実施例１）
【図７】図７はＲ値とＢ値との差分の画像を示す図である。（実施例１）
【図８】図８は図７のラインプロファイル（輝度変化）を示す図である。（実施例１）
【図９】図９は駐車枠線（黄色系）の検出結果の画像を示す図である。（実施例１）
【図１０】図１０（Ａ）は白色の駐車枠線に適用した場合の入力画像を示す図である。１０（Ｂ）は白色の駐車枠線に適用した場合の判定処理結果の画像を示す図である。（実施例１）
【図１１】図１１は駐車枠線（黄色系）に輝度値を加算した場合の画像を示す図である。（実施例１）
【図１２】図１２は駐車枠線のエッジの検出結果の画像を示す図である。（実施例１）
【図１３】図１３は白色の駐車枠線に適用した場合の画像を示す図である。（実施例１）
【図１４】図１４（Ａ）は、差分オペレータを示す図である。図１４（Ｂ）は、白線両端微分値強調フィルタのオペレータを示す図である。（実施例１）
【図１５】図１５は白線の検出処理の流れを示す図である。（実施例１）
【図１６】図１６はエッジ検出の処理前の画像を示す図である。（実施例１）
【図１７】図１７はエッジ検出で閾値を「１」とした場合の画像を示す図である。（実施例１）
【図１８】図１８はエッジ検出で閾値を「１０」とした場合の画像を示す図である。（実施例１）
【図１９】図１９はエッジ検出で閾値を「２０」とした場合の画像を示す図である。（実施例１）
【図２０】図２０（Ａ）は「設定１」として「壁（３２０．２４０）の明るさ １８０」とした場合のエッジ検出前の画像を示す図である。図２０（Ｂ）は「設定１」として「壁（３２０．２４０）の明るさ １８０」とした場合のエッジ検出後の画像を示す図である。（実施例１）
【図２１】図２１（Ａ）は「設定２」として「壁（３２０．２４０）の明るさ ６２」とした場合のエッジ検出前の画像を示す図である。図２１（Ｂ）は「設定２」として「壁（３２０．２４０）の明るさ ６２」とした場合のエッジ検出後の画像を示す図である。（実施例１）
【図２２】図２２（Ａ）は「設定３」として「壁（３２０．２４０）の明るさ ３２」とした場合のエッジ検出前の画像を示す図である。図２２（Ｂ）は「設定３」として「壁（３２０．２４０）の明るさ ３２」とした場合のエッジ検出後の画像を示す図である。（実施例１）
【図２３】図２３は図２２の「設定３」にて閾値を「５」とした場合の画像を示す図である。（実施例１）
【図２４】図２４は駐車枠検出のフローチャートである。（実施例２）
【図２５】図２５は駐車枠検出装置の制御ブロック図である。（実施例２）
【図２６】図２６はこの実施例の検出方法をＳｏｂｅｌフィルタに適用した場合のエッジ検出の画像を示す図である。（変形例）
【図２７】図２７は従来における入力画像を示す図である。（従来例）
【図２８】図２８は図２７のラインプロファイル（輝度変化）を示す図である。（従来例）
【図２９】図２９は従来におけるエッジ検出の画像を示す図である。（従来例）
【図３０】図３０は通常のＳｏｂｅｌフィルタによるエッジの画像を示す図である。（従来例）
【発明を実施するための形態】
【００１０】
この発明は、駐車枠線のエッジの検出の際の閾値の決定手段（適応制御的なもの）を不要とし、処理を簡素化して、駐車枠線の両端に生じるエッジを路面の模様、影、照明等の影響を極力排除して信頼性を高くし、路面と駐車枠線との輝度差が少ない場合にも、安定した駐車枠の検出を行う目的を、撮像した画像の輝度信号と色差信号とからＲＧＢ信号へ変換し、このＲＧＢ信号に基づいて画像上の黄色系部分を抽出し、この黄色系部分の画素の輝度に予め設定された値を加算し、この加算された画像から駐車枠を検出して実現するものである。
【実施例１】
【００１１】
図１〜図２３は、この発明の実施例１を示すものである。
図３において、１は車両、２は駐車場である。
この駐車場２は、コンクリートであり、灰色の路面３を有する。
この駐車場２の路面３には、駐車枠（駐車スペース）４が区画されている。
この駐車枠４は、車両１の駐車範囲を区画する駐車枠線５として、長手方向の平行な左側駐車枠線（黄色線又はオレンジ色線）６・右側駐車枠線（黄色線又はオレンジ色線）７と、この左側駐車枠線６・右側駐車枠線７の左前側端部・右前側端部とを繋いで左側駐車枠線６・右側駐車枠線７に対して直交する短手方向の前側駐車枠線（黄色線又はオレンジ色線）８とで、形成される。
また、駐車枠４には、後方部で、輪止めとして、左右の輪止め９・１０が直列で短手方向に配設されている。
【００１２】
車両１には、駐車枠検出装置１１が搭載される。
この駐車枠検出装置１１は、図２に示すように、車両周囲を撮像する超広角の撮像手段（カメラ）１２と、この撮像手段１２に連絡した画像記録手段１３と、この画像記録手段１３に連絡した制御手段１４とを備えている。
撮像手段１２は、車両１の後部に取り付けた超広角のバックカメラ等の撮像機器からなり、車両周囲を撮像する。
画像記録手段１３は、ビデオデコーダ等の記録機器からなり、撮像手段１２により撮像した画像を記録するとともに制御手段１４に出力する。
【００１３】
制御手段１４は、撮像手段１２により撮像した画像から駐車枠線５を抽出して駐車枠４を検出するものであって、撮像手段１２により撮像した画像の輝度信号と色差信号とからＲＧＢ（レッド グリーン ブルー）信号へ変換するＲＧＢ変換手段１４Ａと、撮像手段１２により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段１４Ｂと、この黄色系抽出手段１４Ｂにより抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段１４Ｃとを備え、この輝度加算手段１４Ｃにより予め設定された値を加算された画像から駐車枠４を検出する。
また、前記黄色系抽出手段１４Ｂは、ＲＧＢ変換手段１４Ａにより変換されたＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きく、かつ、Ｒ値からＢ値を減算した値が予め設定された値よりも大きい画素を黄色系部分として抽出する。
【００１４】
次に、この実施例に係る黄色やオレンジ色の駐車枠線５の抽出のために色情報を併せて用いる方法を説明する。
一般に、従来の図２７のような灰色の路面１０２と黄色の駐車枠線１０３との輝度情報に顕著な差が無く、色情報のみ異なる場合に、隣接画素との色情報の違いを検出し、同一色の領域の抽出を行う手法が知られている。
しかし、実際の屋外の環境では、日光や照明等の条件により、例えば、暗所では、黄色でも、茶色に近い色に見え、また、明るい時は、白色に近い色となる。このため、撮像手段にて撮影された画像よりＲの成分、Ｇの成分、Ｂの成分に分離して映像信号を確認しても、駐車枠線をきれいに抽出することが困難である。
例えば、夜間、周囲が暗い中で駐車枠線の一部に照明が当たっている場合、撮像手段のオートゲインコントロール等の影響により、Ｒ成分が飽和することがあるため、Ｒの成分、Ｇの成分、Ｂの成分の比率等は一定しない。
また、黄色は、理想的には、（Ｒ、Ｇ、Ｂ）＝（２５５、２１２、０）であるが、実際の映像では、Ｂ値が、Ｒ値、Ｇ値に比べ極端に小さくなることは少ない。このため、単に事前に設定した色情報のみを用いて黄色の駐車枠線のエッジを抽出しようとすると、難しいものである。
例として、図２７のラインプロファイル（輝度変化）をＲ値、Ｇ値、Ｂ値について計測したものを、図４に示す。
この図４において、左側駐車枠線・右側駐車枠線以外では、Ｒ値、Ｇ値、Ｂ値が略一致しているが、左側駐車枠線・右側駐車枠線では、Ｒ値とＧ値とＢ値の大小関係（Ｒ値が最も大きく、次いで、Ｇ値、Ｂ値が最も小さい）は同じであるが、その比や値は一定しておらず、また、Ｒ値、Ｇ値、Ｂ値、それぞれに範囲を設けることで、黄色系の色を抽出することは困難であることが確認できる。そのため、一定範囲のＲ値、Ｇ値、Ｂ値等の条件を用いて黄色の駐車枠線を抽出することは、困難である。
そこで、黄色やオレンジ色の駐車枠線であるので、Ｒ値とＧ値とはＢ値よりも大きいという条件と、Ｒ値とＢ値との差が第一の閾値以上であることを条件とした駐車枠線の抽出のための補正手法を提案する。
【００１５】
ここで、図４に示すように、オレンジ色の駐車枠線にて、Ｒ＞Ｂ、Ｒ＞Ｇ、Ｇ＞Ｂであることがわかる。
この条件により、先ず、Ｒ＞Ｂ、Ｇ＞Ｂを条件として、駐車枠線を抽出することを考える。
Ｒ＞Ｇを使用しないのは、理想的には、黄色は、（Ｒ、Ｇ、Ｂ）＝（２５５、２１２、０）であり、Ｒ＞Ｇであるが、Ｒ＝Ｇや、Ｒ＜Ｇの領域でも黄色く見える場合が存在するため、ここでは、除外する。
例えば、図４における左右の駐車枠線上のＲ値、Ｇ値、Ｂ値を確認すると、Ｂ値は零（０）に近い値となっておらず、「１７０」程度の高い値になっていることがわかる。これは、図２５では、画面全体が明るく白っぽいことから、Ｒ値、Ｇ値、Ｂ値のそれぞれの値に白色側でバイアスがかかった状態となっているためである。
また、Ｒ＞Ｂ、Ｇ＞Ｂの条件のみでは、白色、灰色、黒色等で、略Ｒ値、Ｇ値、Ｂ値が等しい色の領域にて、誤った領域が抽出されるため、問題がある。
そこで、図２７におけるＲ値、Ｇ値、Ｂ値毎に分離した画像のうち、Ｒ値とＢ値に関するものと、その差分画像を、図５〜図７に示す。
図７では、駐車枠線の部分が周囲に比べ白っぽくなっていることがわかる。
そこで、図７中の直線（横方向）の計測ラインＬ上のラインプロファイル（輝度変化）を計測すると、図８のようになっていることがわかる。
【００１６】
この図８では、左右の駐車枠線の部分に、輝度値５０程度のピークＰ・Ｐが現れていることがわかる。
そこで、差分結果としての｜Ｒ−Ｂ｜（絶対値）が第一の閾値よりも大きいという条件を追加し、駐車枠線の抽出を行う。
先に、Ｒ＞Ｂという条件があるため、｜Ｒ−Ｂ｜＞（第一の閾値）、又は、｜Ｒ−Ｂ｜≧（第一の閾値）とすることも可能である。
ここで、第一の閾値を「１５」とした場合に、図２５に、Ｒ＞Ｂ、Ｇ＞Ｂ、｜Ｒ−Ｂ｜＞（第一の閾値）での判定処理を適用した。この抽出結果を、図９に示す。
この図９では、一部異なった箇所も抽出されているが、直線状ではないため、後のハフ変換等の直線認識処理や孤立点除去にて排除される。
ここで、上記の条件、Ｒ＞Ｂ、Ｇ＞Ｂ、｜Ｒ−Ｂ｜＞（第一の閥値）を、一般的なコンクリートの路面に白線が描かれている場合について適用すると、図１０（Ａ）、図１０（Ｂ）のようになる。
【００１７】
この図１０（Ｂ）より、このような手法では、白線が抽出できない（白線の検出には影響しない）ことがわかる。
しかし、白線の場合は、従来手法等で、隣接画素との輝度値の比較等の処理にてエッジの抽出が可能である。黄色系の駐車枠線についても、白線と同様の処理でエッジ抽出が可能なように工夫を行う。
黄色系の駐車枠線が従来の白線に適用したエッジの抽出手法にてエッジの抽出が行えない理由は、図２８に示したように、駐車枠線と背景（路面）の間の輝度差が少ないことに起因している。
つまり、黄色系の駐車枠線が周囲に比べ十分に明るく（輝度値が高い）なれば、従来と同様の輝度値を用いたエッジ検出が適用できる。
そこで、この実施例では、図１１のように、抽出された黄色系の駐車枠線の輝度値（ＹＣｂＣｒにおけるＹ値）に一定の値を加算する。ここでは、エッジ検出処理を、隣接画素値との差分により行う。
例として、その閾値を「１０」としたときの３倍程度の「３０」を、輝度値に加算する。これは、図８に示したように、この実施例によって抽出される黄色系の駐車枠線は、その輝度値が一定ではなくピークＰ・Ｐを持つため、第一の閾値以上となった領域全てを周囲（路面）に対して十分に明るくするためである。
輝度値を加算した結果を、図１１に示す。この図１１を用いて隣接画素値との差分を用いたエッジ抽出結果を、図１２に示す。
この図１２より、図２９と比較して駐車枠線のエッジが検出できていることが確認できる。なお、この場合、具体的な各閾値は、使用する撮像手段（カメラ）、画像記録機器（ビデオデコーダ）の特性等により変化するため、それらに合わせて調整が必要である。
【００１８】
この実施例に係る検出処理において、図１０（Ａ）、図１０（Ｂ）に示した白色の駐車枠線に適用した場合のエッジ検出結果を、図１３に示す。この図１３では、エッジ検出に悪影響が無いことが確認できる。
ここで、Ｒ＞Ｂ、Ｇ＞Ｂ、｜Ｒ−Ｂ｜＞（第一の閥値）という条件は、黄色から赤色にかけての色を含む領域が抽出することとなる。通常、駐車枠線として路面に赤い線が描かれていることは稀なため、上記の条件で目的を達成できるが、赤色が抽出されることで不具合が生じる場合は、｜Ｒ−Ｇ｜＜（第２の閾値）の条件を設けても良い。これは、黄色ではＲ値とＧ値が略等しく、赤色に近づくにつれて、Ｒ値がＧ値に対し大きくなることを利用したものである。
【００１９】
次に、この実施例に係る駐車枠の検出についてを、以下にさらに具体的に説明する。
撮像手段１２より出力されるＮＴＳＣ信号を画像記録機器１３にて、ＩＴＵ−Ｒ ＢＴ．６０１（国際電気通信連合 無線通信部門）等の規格にあったデジタル信号に変換する。画像記録機器１３のデコーダからの出力信号は、一般に、ＹＣｂＣｒとなっている。このＹＣｂＣｒ信号は、輝度信号Ｙと、色差信号Ｃｂ、Ｃｒとからなる。
ここで、先に挙げた条件、Ｒ＞Ｂ、Ｇ＞Ｂ、｜Ｒ−Ｂ｜＞（第一の閾値）を適用するために、ＹＣｂＣｒ信号よりＲＧＢ信号への変換を行う。
このＲＧＢ信号への変換式は、
ＩＴＵ−Ｒ ＢＴ．６０１より、
Ｒ＝Ｙ＋１．４０２００＊Ｃｒ
Ｇ＝Ｙ−０．３４４１４＊Ｃｂ−０．７１４１４＊Ｃｒ
Ｂ＝Ｙ＋１．７７２００＊Ｃｂ
である。
また、ＩＴＵ−Ｒ ＢＴ．６０１より、ＹＣｂＣｒ信号の値は、デジタル８ｂｉｔで表されるが、０〜２５５ではなく、Ｙは１６〜２３５、ＣｂＣｒは１６〜２４０、一方、ＲＧＢ信号は０〜２５５で表されるため、フルスケールに対する変換が必要である。
この実施例では、必ずしも正確なＲＧＢ値が必要ではなく、ＲＧＢ値の大小関係やＲ値とＢ値との差が検出できれば良いため、厳密に、ＹＣｂＣｒ信号からＲＧＢ信号への変換の必要がなく、より簡略化した変換でかまわない。
例えば、
Ｒ＝Ｙ＋１．５Ｃｒ
Ｇ＝Ｙ−０．２５Ｃｂ−０．７５Ｃｒ
Ｂ＝Ｙ＋１．５Ｃｂ
とし、第一の閾値を「１５」程度としても、同様の結果が得られる。
上記のように、式を簡略化することにより、係数を「０．５」や「０．２５」、「０．７５」、「１．５」等にすることができるため、また、ビットシフトと加算のみで演算ができるため、処理に時間のかかる除算を使用しなくても良いメリットがある。
また、ＲＧＢ信号と異なり、ＹＣｂＣｒ信号では、各画素の輝度値Ｙに対し、色差Ｃｂ、Ｃｒは隣接画素と共通として扱うため、Ｃｂ０、Ｙ０、Ｃｒ０、Ｙ１、Ｃｂ１、Ｙ２のように出力されるため、Ｃｂ０、Ｙ０、Ｃｒ０、Ｙ１の単位で取り扱う必要がある。Ｙ１はＹ０と共通のＣｒ０を用いるが、Ｃｂは、Ｙ０と共通ではなく、Ｙ１の次に出力されるＣｂ１を使用する。このため、ＲＧＢ信号への変換及び黄色系の駐車枠線の抽出処理は、Ｃｂ０、Ｙ０、Ｃｒ０について行い、その結果を受けて、輝度値の加算処理をＹ０、Ｙ１に対して共通に行う。
Ｙ０、Ｙ１が共に、輝度値の加算を行わないと、後のエッジ検出処理にてＹ０とＹ１との間に本来無いエッジが抽出されてしまう問題が生じる。
しかし、Ｙ０、Ｙ１が共に、輝度値の加算を行うことにより、黄色系の領域全ての輝度値が高くなるため、図１２に示すように、その輪郭にエッジが検出されることとなる。
なお、上記の処理は、Ｃｂ０、Ｙ０、Ｃｒ０とＣｒ０、Ｙ１、Ｃｂ１のように、厳密に行ってもよい。
【００２０】
また、隣接画素との差分によりエッジを抽出する理由について、以下のように、考案過程を併せて説明する。
従来手法の処理例として、白線両端微分値強調フィルタを用いた方法を以下に示す。これは、画像の微分を求め、白線両端微分値強調フィルタを用いて道路の白線幅と同じ幅を持つ白線の抽出を行っている。
ここで、微分は差分で置き換え可能であるので、図１４（Ａ）の差分オペレータを用いて差分画像を得る。
白線両端微分値強調フィルタは、道路白線幅（画素数）と同じ幅を持つオペレータであり、図１４（Ｂ）に示すように、オペレータの幅の中央で符号が反転する。
以上の処理により、図１５のような結果が得られる。よって、適切な閾値を選択することにより、道路上の白線と同じ幅を持つ特徴のみを抽出することができる。この閾値の選択には、判別分析法等を用いる。
従来技術で用いられている微分（差分）処理については、同様に走査線方向（画面横方向）での差分処理とする。
しかし、白線両端微分値強調フィルタを用いるためには、画像（走査線）を一度記憶手段（メモリ）に記録する必要があるため、その分のリソースが必要となる。また、白線両端微分値強調フィルタを用いると、図１５のように、閾値のレベルが変動するため、画像の各位置に応じて閾値を適応制御する必要がある。そのためには、判別分析法等の処理が必要となるが、これらの処理は、非常に重く、また、並列処理する場合も膨大なリソースが必要となる。
そこで、「差分画像は、すぐ隣の画素との差分であり、隣接画素と当該画素の明るさ（照明条件）が大きく異なることは稀である」（例外：影によるエッジ）こと、また、一般に、駐車枠に引かれた白線等の駐車枠線は、運転者が識別しやすいよう、路面とコントラストがはっきりしていると考えられるため、閾値は一定値とすることとした。
図１６〜図１９には、処理前の画像及び閾値を「１」、「１０」、「２０」としたときのエッジ検出結果を示す。この場合、エッジの極性による区別なく（白→黒、黒→白）全て表示している。
図１７の閾値「１」では、細かなテクスチャ（凹凸にライトが反射）によるエッジによる影響が見られるが、図１８の閾値「１０」、図１９の閾値「２０」では、良好な結果が得られている。
ここで、輝度変化による影響を確認するため、図１８の閾値「１０」にて、レンズの絞りを変化させたときの結果を、図２０〜図２２に示す。この図２０〜図２２では、ダイナミックレンジの１／４程度の暗さまでは対応可能であることがわかる。
ここで、図２２の「設定３」の場合、画像奥の壁に近づくにつれ、エッジの検出ができなくなっているが、仮に閾値を「５」まで下げた場合、エッジの検出はできるが、ノイズによる影響が大きくなってしまう（図２３参照）。このことより、この手法の閾値の決定に判別分析法を用いても効果が少ないことが、確認できる。
【００２１】
次に、この実施例に係る駐車枠検出の制御を、図１のフローチャートに基づいて説明する。
図１に示すように、制御手段１４でプログラムが開始すると（ステップＡ０１）、撮像手段１２が車両後方の画像を撮像し、この撮像手段１２により撮像された画像を記録し、そして、その画像の信号としての映像信号（ＹＣｂＣｒ）を入力し（ステップＡ０２）、ＲＧＢ信号に変換する（ステップＡ０３）。
そして、ＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きいか否かを判断する（ステップＡ０４）。
このステップＡ０４がＹＥＳの場合には、｜Ｒ−Ｂ｜＞第一の閾値か否かを判断する（ステップＡ０５）。
このステップＡ０５がＹＥＳの場合には、輝度値へ予め設定された一定の値を加算する（ステップＡ０６）。
このステップＡ０６の処理後、前記ステップＡ０４がＮＯの場合、又は、前記ステップＡ０５がＮＯの場合には、プログラムをエンドとする（ステップＡ０７）。
【実施例２】
【００２２】
図２４、図２５は、この発明の実施例２を示すものである。
この実施例２においては、上述の実施例１と同一機能を果たす箇所には、同一符号を付して説明する。
上述の実施例１の駐車枠検出装置１においては、画像記録手段１３のビデオデコーダからの出力信号は、ＹＣｂＣｒとなっている。しかし、ビデオデコーダによっては、ＲＧＢ出力となっているものもある。
図２５に示すように、この実施例２の駐車枠検出装置１においては、画像記録手段１３のビデオデコーダからの出力信号は、ＲＧＢとなっている。
従って、制御手段１４では、撮像手段１２により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段１４Ｂと、撮像手段１２により撮像した画像のＲＧＢ信号からＹＣｂＣｒ信号へ変換するＹＣｂＣｒ変換手段１４Ｄと、このＹＣｂＣｒ変換手段１４Ｄにより変換された画像に対して黄色系抽出手段１４Ｂにより抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段１４Ｃとを備え、この輝度加算手段１４Ｃにより予め設定された値を加算された画像から駐車枠４を検出する。
【００２３】
次に、この実施例２に係る駐車枠検出の制御を、図２４のフローチャートに基づいて説明する。
図２４に示すように、制御手段１４においてプログラムがスタートすると（ステップＢ０１）、撮像手段１２が車両後方の画像を撮像し、この撮像手段１２により撮像された画像を記録し、そして、その画像の信号としての映像信号（ＲＧＢ）を入力する（ステップＢ０２）。
そして、このＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きいか否かを判断する（ステップＢ０３）。
このステップＢ０３がＹＥＳの場合には、｜Ｒ−Ｂ｜＞第一の閾値か否かを判断する（ステップＢ０４）。
このステップＢ０４がＹＥＳの場合には、ＹＣｂＣｒ信号に変換し（ステップＢ０５）、輝度値へ予め設定された一定の値を加算する（ステップＢ０６）。
このステップＢ０６の処理後、前記ステップＢ０３がＮＯの場合、又は、前記ステップＢ０４がＮＯの場合には、プログラムをエンドとする（ステップＢ０７）。
【００２４】
以上、この発明の実施例について説明してきたが、上述の実施例の構成を請求項毎に当てはめて説明する。
先ず、請求項１に記載の発明において、制御手段１４は、撮像手段１２により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段１４Ｂと、この黄色系抽出手段１４Ｂにより抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段１４Ｃとを備え、この輝度加算手段１４Ｃにより予め設定された値を加算された画像から駐車枠を検出する。
これにより、コンクリートの路面３に黄色やオレンジ色で描かれた駐車枠線５を抽出することができる。さらに、白色で描かれた駐車枠線に対する処理と区別することなく、従来のエッジ検出により駐車枠４を検出することができる。
請求項２に記載の発明において、黄色系抽出手段１４Ｂは、ＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きく、かつ、Ｒ値からＢ値を減算した値が予め設定された値よりも大きい画素を黄色系部分として抽出する。
これにより、コンクリートの路面３上に描かれた黄色やオレンジ色の駐車枠線５を精度よく抽出することができる。
【００２５】
図２６は、この発明の変形例を示すものである。
この変形例では、差分によるエッジの検出ではなく、通常のＳｏｂｅｌファイル等にも適用できる。つまり、図３０の通常のＳｏｂｅｌファイルだけでは、エッジを確認できないが、図２６では、Ｓｏｂｅｌファイルにこの実施例に係る検出方法を用いることにより、駐車枠線のエッジを検出できていることがわかる。
【産業上の利用可能性】
【００２６】
この発明の駐車枠検出装置は、運転者に適切な画像を提供させるものであり、各種車両に適用できる。
【符号の説明】
【００２７】
１ 車両
２ 駐車場
３ 駐車場の路面
４ 駐車枠（駐車スペース）
５ 駐車枠線
６ 左側駐車枠線
７ 右側駐車枠線
８ 前側駐車枠線
１１ 駐車枠検出装置
１２ 撮像手段
１３ 映像記録機器
１４ 制御手段
１４Ａ ＲＧＢ変換手段
１４Ｂ 黄色系抽出手段
１４Ｃ 輝度加算手段
【技術分野】
【０００１】
この発明は、駐車枠検出装置に係り、特に車両に取り付けた撮像手段（カメラ）により撮像された画像から駐車枠（駐車スペース）を検出する駐車枠検出装置に関する。
【背景技術】
【０００２】
車両には、駐車時の運転を支援するために、駐車枠検出装置を搭載しているものがある。この駐車枠検出装置は、駐車後退動作時に、車両後部に取り付けた撮像手段（カメラ）により撮像された画像から駐車枠（駐車スペース）を検出し、運転者の運転操作を支援するものである。
このような駐車枠検出装置においては、画像中の駐車枠線を検出するために、画像中の駐車枠線のエッジを検出する際に、通常は、Ｓｏｂｅｌフィルタ、ラプラシアン等の２次元オペレータを用いた後、閾値を用いた２値化を行っているが、一意にこの閾値を決定することが困難である場合が多かった。
そして、駐車枠に自車を止めるために、駐車枠線を検出する場合は、画像中縦方向に現れる駐車枠線のエッジを検出する必要がある。この駐車枠線のエッジの検出にあたっては、路面の模様、影、照明等の影響を極力排除する必要がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３０６２２４号公報
【特許文献２】特開２００６−２９００５１号公報
【０００４】
特許文献１に係る駐車支援装置及び駐車支援方法は、駐車可能と判定した運転操作パターンのうち、現在位置から最初に行うべき運転操作を、駐車枠に駐車させるために必要な運転操作として求めて、駐車枠に駐車可能か否かの情報と、駐車枠に駐車させるために必要な運転操作のうち、最初に行うべき運転操作を識別する情報とを、駐車枠と共に、表示させるものである。
特許文献２に係る駐車支援装置及び駐車支援方法は、自車両が障害物に接近したときの心理的な負荷を考慮して、後退移動させて駐車させる時の後退開始位置を設定するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来、駐車枠検出装置においては、図２７の入力画像に示すように、駐車場１０１のコンクリートの灰色の路面１０２に黄色やオレンジ色等で描かれた駐車枠線１０３にあっては、横方向に直線の計測ラインＬ上でラインプロファイル（輝度変化）を測定した場合に、図２８のラインプロファイル（輝度変化）に示すように、路面１０２と左側駐車枠線・右側駐車枠線に明確な輝度（予め設定された閾値を超える程度の輝度）の差が無いため（この例として、黄色やオレンジ色の駐車枠線１０３は、灰色の路面１０２よりも輝度が低い）、駐車枠線１０３の抽出ができない問題があった。
また、図２９には、駐車枠線のエッジを検出した従来例を示すが、エッジが十分に検出されていないことがわかる。
更に、上記の特許文献１では、駐車枠線が白線で描かれていると定義し、また、上記の特許文献２では、駐車枠線のエッジの検出において、「画像処理部は、カメラ画像データのエッジ強度やエッジ形状と、予め求めておいた駐車枠線を示すエッジ強度やエッジ形状とを比較して、エッジを検出する」としているため、予め求めていない未知の駐車枠線の抽出には対応することができないという不都合があった。
更にまた、図３０に示す通常のＳｏｂｅｌフィルタだけでは、駐車枠線のエッジを十分に検出することができなかった。
【０００６】
そこで、この発明の目的は、駐車枠線のエッジの検出の際の閾値の決定手段（適応制御的なもの）を不要とし、処理を簡素化して、駐車枠線の両端に生じるエッジを路面の模様、影、照明等の影響を極力排除して信頼性を高くし、路面と駐車枠線との輝度差が少ない場合にも、安定した駐車枠の検出を行うことができる駐車枠検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
この発明は、車両周囲を撮像する撮像手段と、この撮像手段により撮像した画像から駐車枠を検出する制御手段とを設けた駐車枠検出装置において、前記制御手段は、前記撮像手段により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段と、この黄色系抽出手段により抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段とを備え、この輝度加算手段により予め設定された値を加算された画像から駐車枠を検出することを特徴とする。
【発明の効果】
【０００８】
この発明の駐車枠検出装置は、駐車枠線のエッジの検出の際の閾値の決定手段（適応制御的なもの）を不要とし、処理を簡素化して、駐車枠線の両端に生じるエッジを路面の模様、影、照明等の影響を極力排除して信頼性を高くし、路面と駐車枠線との輝度差が少ない場合にも、安定した駐車枠の検出を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】図１は駐車枠検出のフローチャートである。（実施例１）
【図２】図２は駐車枠検出装置の制御ブロック図である。（実施例１）
【図３】図３は駐車場の駐車枠及び車両を示す平面図である。（実施例１）
【図４】図４は通常のラインプロファイル（ＲＧＢ）（輝度変化）を示す図である。（実施例１）
【図５】図５はＲ成分、Ｇ成分、Ｂ成分毎に分離した画像のうちＲ成分の画像を示す図である。（実施例１）
【図６】図６はＲ成分、Ｇ成分、Ｂ成分毎に分離した画像のうちＢ成分の画像を示す図である。（実施例１）
【図７】図７はＲ値とＢ値との差分の画像を示す図である。（実施例１）
【図８】図８は図７のラインプロファイル（輝度変化）を示す図である。（実施例１）
【図９】図９は駐車枠線（黄色系）の検出結果の画像を示す図である。（実施例１）
【図１０】図１０（Ａ）は白色の駐車枠線に適用した場合の入力画像を示す図である。１０（Ｂ）は白色の駐車枠線に適用した場合の判定処理結果の画像を示す図である。（実施例１）
【図１１】図１１は駐車枠線（黄色系）に輝度値を加算した場合の画像を示す図である。（実施例１）
【図１２】図１２は駐車枠線のエッジの検出結果の画像を示す図である。（実施例１）
【図１３】図１３は白色の駐車枠線に適用した場合の画像を示す図である。（実施例１）
【図１４】図１４（Ａ）は、差分オペレータを示す図である。図１４（Ｂ）は、白線両端微分値強調フィルタのオペレータを示す図である。（実施例１）
【図１５】図１５は白線の検出処理の流れを示す図である。（実施例１）
【図１６】図１６はエッジ検出の処理前の画像を示す図である。（実施例１）
【図１７】図１７はエッジ検出で閾値を「１」とした場合の画像を示す図である。（実施例１）
【図１８】図１８はエッジ検出で閾値を「１０」とした場合の画像を示す図である。（実施例１）
【図１９】図１９はエッジ検出で閾値を「２０」とした場合の画像を示す図である。（実施例１）
【図２０】図２０（Ａ）は「設定１」として「壁（３２０．２４０）の明るさ １８０」とした場合のエッジ検出前の画像を示す図である。図２０（Ｂ）は「設定１」として「壁（３２０．２４０）の明るさ １８０」とした場合のエッジ検出後の画像を示す図である。（実施例１）
【図２１】図２１（Ａ）は「設定２」として「壁（３２０．２４０）の明るさ ６２」とした場合のエッジ検出前の画像を示す図である。図２１（Ｂ）は「設定２」として「壁（３２０．２４０）の明るさ ６２」とした場合のエッジ検出後の画像を示す図である。（実施例１）
【図２２】図２２（Ａ）は「設定３」として「壁（３２０．２４０）の明るさ ３２」とした場合のエッジ検出前の画像を示す図である。図２２（Ｂ）は「設定３」として「壁（３２０．２４０）の明るさ ３２」とした場合のエッジ検出後の画像を示す図である。（実施例１）
【図２３】図２３は図２２の「設定３」にて閾値を「５」とした場合の画像を示す図である。（実施例１）
【図２４】図２４は駐車枠検出のフローチャートである。（実施例２）
【図２５】図２５は駐車枠検出装置の制御ブロック図である。（実施例２）
【図２６】図２６はこの実施例の検出方法をＳｏｂｅｌフィルタに適用した場合のエッジ検出の画像を示す図である。（変形例）
【図２７】図２７は従来における入力画像を示す図である。（従来例）
【図２８】図２８は図２７のラインプロファイル（輝度変化）を示す図である。（従来例）
【図２９】図２９は従来におけるエッジ検出の画像を示す図である。（従来例）
【図３０】図３０は通常のＳｏｂｅｌフィルタによるエッジの画像を示す図である。（従来例）
【発明を実施するための形態】
【００１０】
この発明は、駐車枠線のエッジの検出の際の閾値の決定手段（適応制御的なもの）を不要とし、処理を簡素化して、駐車枠線の両端に生じるエッジを路面の模様、影、照明等の影響を極力排除して信頼性を高くし、路面と駐車枠線との輝度差が少ない場合にも、安定した駐車枠の検出を行う目的を、撮像した画像の輝度信号と色差信号とからＲＧＢ信号へ変換し、このＲＧＢ信号に基づいて画像上の黄色系部分を抽出し、この黄色系部分の画素の輝度に予め設定された値を加算し、この加算された画像から駐車枠を検出して実現するものである。
【実施例１】
【００１１】
図１〜図２３は、この発明の実施例１を示すものである。
図３において、１は車両、２は駐車場である。
この駐車場２は、コンクリートであり、灰色の路面３を有する。
この駐車場２の路面３には、駐車枠（駐車スペース）４が区画されている。
この駐車枠４は、車両１の駐車範囲を区画する駐車枠線５として、長手方向の平行な左側駐車枠線（黄色線又はオレンジ色線）６・右側駐車枠線（黄色線又はオレンジ色線）７と、この左側駐車枠線６・右側駐車枠線７の左前側端部・右前側端部とを繋いで左側駐車枠線６・右側駐車枠線７に対して直交する短手方向の前側駐車枠線（黄色線又はオレンジ色線）８とで、形成される。
また、駐車枠４には、後方部で、輪止めとして、左右の輪止め９・１０が直列で短手方向に配設されている。
【００１２】
車両１には、駐車枠検出装置１１が搭載される。
この駐車枠検出装置１１は、図２に示すように、車両周囲を撮像する超広角の撮像手段（カメラ）１２と、この撮像手段１２に連絡した画像記録手段１３と、この画像記録手段１３に連絡した制御手段１４とを備えている。
撮像手段１２は、車両１の後部に取り付けた超広角のバックカメラ等の撮像機器からなり、車両周囲を撮像する。
画像記録手段１３は、ビデオデコーダ等の記録機器からなり、撮像手段１２により撮像した画像を記録するとともに制御手段１４に出力する。
【００１３】
制御手段１４は、撮像手段１２により撮像した画像から駐車枠線５を抽出して駐車枠４を検出するものであって、撮像手段１２により撮像した画像の輝度信号と色差信号とからＲＧＢ（レッド グリーン ブルー）信号へ変換するＲＧＢ変換手段１４Ａと、撮像手段１２により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段１４Ｂと、この黄色系抽出手段１４Ｂにより抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段１４Ｃとを備え、この輝度加算手段１４Ｃにより予め設定された値を加算された画像から駐車枠４を検出する。
また、前記黄色系抽出手段１４Ｂは、ＲＧＢ変換手段１４Ａにより変換されたＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きく、かつ、Ｒ値からＢ値を減算した値が予め設定された値よりも大きい画素を黄色系部分として抽出する。
【００１４】
次に、この実施例に係る黄色やオレンジ色の駐車枠線５の抽出のために色情報を併せて用いる方法を説明する。
一般に、従来の図２７のような灰色の路面１０２と黄色の駐車枠線１０３との輝度情報に顕著な差が無く、色情報のみ異なる場合に、隣接画素との色情報の違いを検出し、同一色の領域の抽出を行う手法が知られている。
しかし、実際の屋外の環境では、日光や照明等の条件により、例えば、暗所では、黄色でも、茶色に近い色に見え、また、明るい時は、白色に近い色となる。このため、撮像手段にて撮影された画像よりＲの成分、Ｇの成分、Ｂの成分に分離して映像信号を確認しても、駐車枠線をきれいに抽出することが困難である。
例えば、夜間、周囲が暗い中で駐車枠線の一部に照明が当たっている場合、撮像手段のオートゲインコントロール等の影響により、Ｒ成分が飽和することがあるため、Ｒの成分、Ｇの成分、Ｂの成分の比率等は一定しない。
また、黄色は、理想的には、（Ｒ、Ｇ、Ｂ）＝（２５５、２１２、０）であるが、実際の映像では、Ｂ値が、Ｒ値、Ｇ値に比べ極端に小さくなることは少ない。このため、単に事前に設定した色情報のみを用いて黄色の駐車枠線のエッジを抽出しようとすると、難しいものである。
例として、図２７のラインプロファイル（輝度変化）をＲ値、Ｇ値、Ｂ値について計測したものを、図４に示す。
この図４において、左側駐車枠線・右側駐車枠線以外では、Ｒ値、Ｇ値、Ｂ値が略一致しているが、左側駐車枠線・右側駐車枠線では、Ｒ値とＧ値とＢ値の大小関係（Ｒ値が最も大きく、次いで、Ｇ値、Ｂ値が最も小さい）は同じであるが、その比や値は一定しておらず、また、Ｒ値、Ｇ値、Ｂ値、それぞれに範囲を設けることで、黄色系の色を抽出することは困難であることが確認できる。そのため、一定範囲のＲ値、Ｇ値、Ｂ値等の条件を用いて黄色の駐車枠線を抽出することは、困難である。
そこで、黄色やオレンジ色の駐車枠線であるので、Ｒ値とＧ値とはＢ値よりも大きいという条件と、Ｒ値とＢ値との差が第一の閾値以上であることを条件とした駐車枠線の抽出のための補正手法を提案する。
【００１５】
ここで、図４に示すように、オレンジ色の駐車枠線にて、Ｒ＞Ｂ、Ｒ＞Ｇ、Ｇ＞Ｂであることがわかる。
この条件により、先ず、Ｒ＞Ｂ、Ｇ＞Ｂを条件として、駐車枠線を抽出することを考える。
Ｒ＞Ｇを使用しないのは、理想的には、黄色は、（Ｒ、Ｇ、Ｂ）＝（２５５、２１２、０）であり、Ｒ＞Ｇであるが、Ｒ＝Ｇや、Ｒ＜Ｇの領域でも黄色く見える場合が存在するため、ここでは、除外する。
例えば、図４における左右の駐車枠線上のＲ値、Ｇ値、Ｂ値を確認すると、Ｂ値は零（０）に近い値となっておらず、「１７０」程度の高い値になっていることがわかる。これは、図２５では、画面全体が明るく白っぽいことから、Ｒ値、Ｇ値、Ｂ値のそれぞれの値に白色側でバイアスがかかった状態となっているためである。
また、Ｒ＞Ｂ、Ｇ＞Ｂの条件のみでは、白色、灰色、黒色等で、略Ｒ値、Ｇ値、Ｂ値が等しい色の領域にて、誤った領域が抽出されるため、問題がある。
そこで、図２７におけるＲ値、Ｇ値、Ｂ値毎に分離した画像のうち、Ｒ値とＢ値に関するものと、その差分画像を、図５〜図７に示す。
図７では、駐車枠線の部分が周囲に比べ白っぽくなっていることがわかる。
そこで、図７中の直線（横方向）の計測ラインＬ上のラインプロファイル（輝度変化）を計測すると、図８のようになっていることがわかる。
【００１６】
この図８では、左右の駐車枠線の部分に、輝度値５０程度のピークＰ・Ｐが現れていることがわかる。
そこで、差分結果としての｜Ｒ−Ｂ｜（絶対値）が第一の閾値よりも大きいという条件を追加し、駐車枠線の抽出を行う。
先に、Ｒ＞Ｂという条件があるため、｜Ｒ−Ｂ｜＞（第一の閾値）、又は、｜Ｒ−Ｂ｜≧（第一の閾値）とすることも可能である。
ここで、第一の閾値を「１５」とした場合に、図２５に、Ｒ＞Ｂ、Ｇ＞Ｂ、｜Ｒ−Ｂ｜＞（第一の閾値）での判定処理を適用した。この抽出結果を、図９に示す。
この図９では、一部異なった箇所も抽出されているが、直線状ではないため、後のハフ変換等の直線認識処理や孤立点除去にて排除される。
ここで、上記の条件、Ｒ＞Ｂ、Ｇ＞Ｂ、｜Ｒ−Ｂ｜＞（第一の閥値）を、一般的なコンクリートの路面に白線が描かれている場合について適用すると、図１０（Ａ）、図１０（Ｂ）のようになる。
【００１７】
この図１０（Ｂ）より、このような手法では、白線が抽出できない（白線の検出には影響しない）ことがわかる。
しかし、白線の場合は、従来手法等で、隣接画素との輝度値の比較等の処理にてエッジの抽出が可能である。黄色系の駐車枠線についても、白線と同様の処理でエッジ抽出が可能なように工夫を行う。
黄色系の駐車枠線が従来の白線に適用したエッジの抽出手法にてエッジの抽出が行えない理由は、図２８に示したように、駐車枠線と背景（路面）の間の輝度差が少ないことに起因している。
つまり、黄色系の駐車枠線が周囲に比べ十分に明るく（輝度値が高い）なれば、従来と同様の輝度値を用いたエッジ検出が適用できる。
そこで、この実施例では、図１１のように、抽出された黄色系の駐車枠線の輝度値（ＹＣｂＣｒにおけるＹ値）に一定の値を加算する。ここでは、エッジ検出処理を、隣接画素値との差分により行う。
例として、その閾値を「１０」としたときの３倍程度の「３０」を、輝度値に加算する。これは、図８に示したように、この実施例によって抽出される黄色系の駐車枠線は、その輝度値が一定ではなくピークＰ・Ｐを持つため、第一の閾値以上となった領域全てを周囲（路面）に対して十分に明るくするためである。
輝度値を加算した結果を、図１１に示す。この図１１を用いて隣接画素値との差分を用いたエッジ抽出結果を、図１２に示す。
この図１２より、図２９と比較して駐車枠線のエッジが検出できていることが確認できる。なお、この場合、具体的な各閾値は、使用する撮像手段（カメラ）、画像記録機器（ビデオデコーダ）の特性等により変化するため、それらに合わせて調整が必要である。
【００１８】
この実施例に係る検出処理において、図１０（Ａ）、図１０（Ｂ）に示した白色の駐車枠線に適用した場合のエッジ検出結果を、図１３に示す。この図１３では、エッジ検出に悪影響が無いことが確認できる。
ここで、Ｒ＞Ｂ、Ｇ＞Ｂ、｜Ｒ−Ｂ｜＞（第一の閥値）という条件は、黄色から赤色にかけての色を含む領域が抽出することとなる。通常、駐車枠線として路面に赤い線が描かれていることは稀なため、上記の条件で目的を達成できるが、赤色が抽出されることで不具合が生じる場合は、｜Ｒ−Ｇ｜＜（第２の閾値）の条件を設けても良い。これは、黄色ではＲ値とＧ値が略等しく、赤色に近づくにつれて、Ｒ値がＧ値に対し大きくなることを利用したものである。
【００１９】
次に、この実施例に係る駐車枠の検出についてを、以下にさらに具体的に説明する。
撮像手段１２より出力されるＮＴＳＣ信号を画像記録機器１３にて、ＩＴＵ−Ｒ ＢＴ．６０１（国際電気通信連合 無線通信部門）等の規格にあったデジタル信号に変換する。画像記録機器１３のデコーダからの出力信号は、一般に、ＹＣｂＣｒとなっている。このＹＣｂＣｒ信号は、輝度信号Ｙと、色差信号Ｃｂ、Ｃｒとからなる。
ここで、先に挙げた条件、Ｒ＞Ｂ、Ｇ＞Ｂ、｜Ｒ−Ｂ｜＞（第一の閾値）を適用するために、ＹＣｂＣｒ信号よりＲＧＢ信号への変換を行う。
このＲＧＢ信号への変換式は、
ＩＴＵ−Ｒ ＢＴ．６０１より、
Ｒ＝Ｙ＋１．４０２００＊Ｃｒ
Ｇ＝Ｙ−０．３４４１４＊Ｃｂ−０．７１４１４＊Ｃｒ
Ｂ＝Ｙ＋１．７７２００＊Ｃｂ
である。
また、ＩＴＵ−Ｒ ＢＴ．６０１より、ＹＣｂＣｒ信号の値は、デジタル８ｂｉｔで表されるが、０〜２５５ではなく、Ｙは１６〜２３５、ＣｂＣｒは１６〜２４０、一方、ＲＧＢ信号は０〜２５５で表されるため、フルスケールに対する変換が必要である。
この実施例では、必ずしも正確なＲＧＢ値が必要ではなく、ＲＧＢ値の大小関係やＲ値とＢ値との差が検出できれば良いため、厳密に、ＹＣｂＣｒ信号からＲＧＢ信号への変換の必要がなく、より簡略化した変換でかまわない。
例えば、
Ｒ＝Ｙ＋１．５Ｃｒ
Ｇ＝Ｙ−０．２５Ｃｂ−０．７５Ｃｒ
Ｂ＝Ｙ＋１．５Ｃｂ
とし、第一の閾値を「１５」程度としても、同様の結果が得られる。
上記のように、式を簡略化することにより、係数を「０．５」や「０．２５」、「０．７５」、「１．５」等にすることができるため、また、ビットシフトと加算のみで演算ができるため、処理に時間のかかる除算を使用しなくても良いメリットがある。
また、ＲＧＢ信号と異なり、ＹＣｂＣｒ信号では、各画素の輝度値Ｙに対し、色差Ｃｂ、Ｃｒは隣接画素と共通として扱うため、Ｃｂ０、Ｙ０、Ｃｒ０、Ｙ１、Ｃｂ１、Ｙ２のように出力されるため、Ｃｂ０、Ｙ０、Ｃｒ０、Ｙ１の単位で取り扱う必要がある。Ｙ１はＹ０と共通のＣｒ０を用いるが、Ｃｂは、Ｙ０と共通ではなく、Ｙ１の次に出力されるＣｂ１を使用する。このため、ＲＧＢ信号への変換及び黄色系の駐車枠線の抽出処理は、Ｃｂ０、Ｙ０、Ｃｒ０について行い、その結果を受けて、輝度値の加算処理をＹ０、Ｙ１に対して共通に行う。
Ｙ０、Ｙ１が共に、輝度値の加算を行わないと、後のエッジ検出処理にてＹ０とＹ１との間に本来無いエッジが抽出されてしまう問題が生じる。
しかし、Ｙ０、Ｙ１が共に、輝度値の加算を行うことにより、黄色系の領域全ての輝度値が高くなるため、図１２に示すように、その輪郭にエッジが検出されることとなる。
なお、上記の処理は、Ｃｂ０、Ｙ０、Ｃｒ０とＣｒ０、Ｙ１、Ｃｂ１のように、厳密に行ってもよい。
【００２０】
また、隣接画素との差分によりエッジを抽出する理由について、以下のように、考案過程を併せて説明する。
従来手法の処理例として、白線両端微分値強調フィルタを用いた方法を以下に示す。これは、画像の微分を求め、白線両端微分値強調フィルタを用いて道路の白線幅と同じ幅を持つ白線の抽出を行っている。
ここで、微分は差分で置き換え可能であるので、図１４（Ａ）の差分オペレータを用いて差分画像を得る。
白線両端微分値強調フィルタは、道路白線幅（画素数）と同じ幅を持つオペレータであり、図１４（Ｂ）に示すように、オペレータの幅の中央で符号が反転する。
以上の処理により、図１５のような結果が得られる。よって、適切な閾値を選択することにより、道路上の白線と同じ幅を持つ特徴のみを抽出することができる。この閾値の選択には、判別分析法等を用いる。
従来技術で用いられている微分（差分）処理については、同様に走査線方向（画面横方向）での差分処理とする。
しかし、白線両端微分値強調フィルタを用いるためには、画像（走査線）を一度記憶手段（メモリ）に記録する必要があるため、その分のリソースが必要となる。また、白線両端微分値強調フィルタを用いると、図１５のように、閾値のレベルが変動するため、画像の各位置に応じて閾値を適応制御する必要がある。そのためには、判別分析法等の処理が必要となるが、これらの処理は、非常に重く、また、並列処理する場合も膨大なリソースが必要となる。
そこで、「差分画像は、すぐ隣の画素との差分であり、隣接画素と当該画素の明るさ（照明条件）が大きく異なることは稀である」（例外：影によるエッジ）こと、また、一般に、駐車枠に引かれた白線等の駐車枠線は、運転者が識別しやすいよう、路面とコントラストがはっきりしていると考えられるため、閾値は一定値とすることとした。
図１６〜図１９には、処理前の画像及び閾値を「１」、「１０」、「２０」としたときのエッジ検出結果を示す。この場合、エッジの極性による区別なく（白→黒、黒→白）全て表示している。
図１７の閾値「１」では、細かなテクスチャ（凹凸にライトが反射）によるエッジによる影響が見られるが、図１８の閾値「１０」、図１９の閾値「２０」では、良好な結果が得られている。
ここで、輝度変化による影響を確認するため、図１８の閾値「１０」にて、レンズの絞りを変化させたときの結果を、図２０〜図２２に示す。この図２０〜図２２では、ダイナミックレンジの１／４程度の暗さまでは対応可能であることがわかる。
ここで、図２２の「設定３」の場合、画像奥の壁に近づくにつれ、エッジの検出ができなくなっているが、仮に閾値を「５」まで下げた場合、エッジの検出はできるが、ノイズによる影響が大きくなってしまう（図２３参照）。このことより、この手法の閾値の決定に判別分析法を用いても効果が少ないことが、確認できる。
【００２１】
次に、この実施例に係る駐車枠検出の制御を、図１のフローチャートに基づいて説明する。
図１に示すように、制御手段１４でプログラムが開始すると（ステップＡ０１）、撮像手段１２が車両後方の画像を撮像し、この撮像手段１２により撮像された画像を記録し、そして、その画像の信号としての映像信号（ＹＣｂＣｒ）を入力し（ステップＡ０２）、ＲＧＢ信号に変換する（ステップＡ０３）。
そして、ＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きいか否かを判断する（ステップＡ０４）。
このステップＡ０４がＹＥＳの場合には、｜Ｒ−Ｂ｜＞第一の閾値か否かを判断する（ステップＡ０５）。
このステップＡ０５がＹＥＳの場合には、輝度値へ予め設定された一定の値を加算する（ステップＡ０６）。
このステップＡ０６の処理後、前記ステップＡ０４がＮＯの場合、又は、前記ステップＡ０５がＮＯの場合には、プログラムをエンドとする（ステップＡ０７）。
【実施例２】
【００２２】
図２４、図２５は、この発明の実施例２を示すものである。
この実施例２においては、上述の実施例１と同一機能を果たす箇所には、同一符号を付して説明する。
上述の実施例１の駐車枠検出装置１においては、画像記録手段１３のビデオデコーダからの出力信号は、ＹＣｂＣｒとなっている。しかし、ビデオデコーダによっては、ＲＧＢ出力となっているものもある。
図２５に示すように、この実施例２の駐車枠検出装置１においては、画像記録手段１３のビデオデコーダからの出力信号は、ＲＧＢとなっている。
従って、制御手段１４では、撮像手段１２により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段１４Ｂと、撮像手段１２により撮像した画像のＲＧＢ信号からＹＣｂＣｒ信号へ変換するＹＣｂＣｒ変換手段１４Ｄと、このＹＣｂＣｒ変換手段１４Ｄにより変換された画像に対して黄色系抽出手段１４Ｂにより抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段１４Ｃとを備え、この輝度加算手段１４Ｃにより予め設定された値を加算された画像から駐車枠４を検出する。
【００２３】
次に、この実施例２に係る駐車枠検出の制御を、図２４のフローチャートに基づいて説明する。
図２４に示すように、制御手段１４においてプログラムがスタートすると（ステップＢ０１）、撮像手段１２が車両後方の画像を撮像し、この撮像手段１２により撮像された画像を記録し、そして、その画像の信号としての映像信号（ＲＧＢ）を入力する（ステップＢ０２）。
そして、このＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きいか否かを判断する（ステップＢ０３）。
このステップＢ０３がＹＥＳの場合には、｜Ｒ−Ｂ｜＞第一の閾値か否かを判断する（ステップＢ０４）。
このステップＢ０４がＹＥＳの場合には、ＹＣｂＣｒ信号に変換し（ステップＢ０５）、輝度値へ予め設定された一定の値を加算する（ステップＢ０６）。
このステップＢ０６の処理後、前記ステップＢ０３がＮＯの場合、又は、前記ステップＢ０４がＮＯの場合には、プログラムをエンドとする（ステップＢ０７）。
【００２４】
以上、この発明の実施例について説明してきたが、上述の実施例の構成を請求項毎に当てはめて説明する。
先ず、請求項１に記載の発明において、制御手段１４は、撮像手段１２により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段１４Ｂと、この黄色系抽出手段１４Ｂにより抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段１４Ｃとを備え、この輝度加算手段１４Ｃにより予め設定された値を加算された画像から駐車枠を検出する。
これにより、コンクリートの路面３に黄色やオレンジ色で描かれた駐車枠線５を抽出することができる。さらに、白色で描かれた駐車枠線に対する処理と区別することなく、従来のエッジ検出により駐車枠４を検出することができる。
請求項２に記載の発明において、黄色系抽出手段１４Ｂは、ＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きく、かつ、Ｒ値からＢ値を減算した値が予め設定された値よりも大きい画素を黄色系部分として抽出する。
これにより、コンクリートの路面３上に描かれた黄色やオレンジ色の駐車枠線５を精度よく抽出することができる。
【００２５】
図２６は、この発明の変形例を示すものである。
この変形例では、差分によるエッジの検出ではなく、通常のＳｏｂｅｌファイル等にも適用できる。つまり、図３０の通常のＳｏｂｅｌファイルだけでは、エッジを確認できないが、図２６では、Ｓｏｂｅｌファイルにこの実施例に係る検出方法を用いることにより、駐車枠線のエッジを検出できていることがわかる。
【産業上の利用可能性】
【００２６】
この発明の駐車枠検出装置は、運転者に適切な画像を提供させるものであり、各種車両に適用できる。
【符号の説明】
【００２７】
１ 車両
２ 駐車場
３ 駐車場の路面
４ 駐車枠（駐車スペース）
５ 駐車枠線
６ 左側駐車枠線
７ 右側駐車枠線
８ 前側駐車枠線
１１ 駐車枠検出装置
１２ 撮像手段
１３ 映像記録機器
１４ 制御手段
１４Ａ ＲＧＢ変換手段
１４Ｂ 黄色系抽出手段
１４Ｃ 輝度加算手段
【特許請求の範囲】
【請求項１】
車両周囲を撮像する撮像手段と、
この撮像手段により撮像した画像から駐車枠を検出する制御手段とを設けた駐車枠検出装置において、前記制御手段は、前記撮像手段により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段と、この黄色系抽出手段により抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段とを備え、この輝度加算手段により予め設定された値を加算された画像から駐車枠を検出することを特徴とする駐車枠検出装置。
【請求項２】
前記黄色系抽出手段は、前記ＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きく、かつ、Ｒ値からＢ値を減算した値が予め設定された値よりも大きい画素を黄色系部分として抽出することを特徴とする請求項１に記載の駐車枠検出装置。
【請求項１】
車両周囲を撮像する撮像手段と、
この撮像手段により撮像した画像から駐車枠を検出する制御手段とを設けた駐車枠検出装置において、前記制御手段は、前記撮像手段により撮像した画像のＲＧＢ信号に基づいて前記画像上の黄色系部分を抽出する黄色系抽出手段と、この黄色系抽出手段により抽出された黄色系部分の画素の輝度に予め設定された値を加算する輝度加算手段とを備え、この輝度加算手段により予め設定された値を加算された画像から駐車枠を検出することを特徴とする駐車枠検出装置。
【請求項２】
前記黄色系抽出手段は、前記ＲＧＢ信号のＲ値がＢ値よりも大きく、かつ、Ｇ値がＢ値よりも大きく、かつ、Ｒ値からＢ値を減算した値が予め設定された値よりも大きい画素を黄色系部分として抽出することを特徴とする請求項１に記載の駐車枠検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１２−１７６６４１（Ｐ２０１２−１７６６４１Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−３９３６３（Ｐ２０１１−３９３６３）
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]