輪止検出装置及び輪止検出エリア設定方法

【課題】本発明は、機種毎に演算処理が異ならず、ＦＰＧＡの処理を固定として量産時に安価なＡＳＩＣの採用を可能とすること、車両に対するカメラの取付位置が多少左右にずれて画像が多少傾いても、対応することを目的としている。
【解決手段】このため、撮像手段の車両後方画像上に上下に分割された検出エリアを設定し、車両後退中に上側及び下側検出エリアの輝度の差に基づいて輪止を検出する輪止検出装置において、輪止の長さと検出エリアの横幅に基づいた検出エリアの設定位置を記憶する記憶手段を備え、輪止検出時には記憶手段に記憶された位置に検出エリアを設定する。また、車両後方画像上に車両前後方向の中心線から両側に基準とする輪止の長さに基づいて算出された距離だけ離れた位置に車両後端よりも後方に２本の線を引き、線上において検出エリアの横幅に一致する２点の中点を基準にして検出エリアの位置を算出する。

【発明の詳細な説明】
【技術分野】
【０００１】
この発明は輪止検出装置及び輪止検出エリア設定方法に係り、特に俯瞰画像への切り替え機能を有する駐車用バックカメラにおいて、駐車動作時に輪止への接近を検出し、俯瞰画像へ自動で切り替えを行う輪止検出装置に関する。
【背景技術】
【０００２】
車両を後退させて駐車枠に入れるときに、撮像手段により車両後方を撮像し、この撮像手段により撮像された後方画像上に上下に分割された検出エリアを設定し、車両後退中に上側検出エリアの輝度と下側検出エリアの輝度との差に基づいて輪止を検出する輪止検出装置がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１２３０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の輪止検出装置においては、上記の特許文献１に開示される輪止検出装置及び後方画像表示装置がある。
この特許文献１に開示される輪止検出装置及び後方画像表示装置は、上下（または「上下および左右」とも換言できる。）に分割された検出領域（「検出エリア」ともいう。）を３つ用いて、各検出エリアの輝度値の平均の差などを用いて輪止を検出している。
つまり、上記の特許文献１に開示されるものは、図１４に示す如く、検出エリアにおいて、輪止を検出するのに、実線枠と、この実線枠よりも下方に位置する破線枠との各枠内の輝度平均値の差が閾値以上になることを検出している。
このとき、各枠部分の汚れなどの影響を排除するために、各枠部分を左右に２分割している。
しかし、上記の特許文献１に開示されるものなどでは、検出距離に合わせた検出エリアのサイズを輪止のサイズの１／３程度としており、具体的には装置を適用する車種毎に検出エリアサイズと位置を設定する必要があるという不都合がある。
【０００５】
また、前記検出エリアの設定変更に検出エリアサイズの変更が伴うと、統計値を算出するための式の係数の変更および扱うデータ数が異なるため、統計値演算に用いるＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）の回路の変更を伴うこととなる。
このとき、係数類を外部より与える方法も考えられるが、例えば平均処理など、割り算を用いる処理などの場合、ビットシフトで実現可能な場合とビットシフトが使用できない場合などでは処理速度が異なることや、ビットシフトですむ場合にも除算器を使用するなど回路が冗長かつ大規模となり、コスト増につながるなど、実用的ではないという不都合がある。
【０００６】
この発明は、機種毎に演算処理が異ならず、ＦＰＧＡの処理を固定として量産時に安価なＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）の採用を可能とすること、車両に対する撮像手段の取付位置が多少左右にずれて画像が多少傾いても、対応することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、この発明は、上述不都合を除去するために、車両後方を撮像する撮像手段を備え、この撮像手段により撮像された後方画像上に上下に分割された検出エリアを設定し、車両後退中に上側検出エリアの輝度と下側検出エリアの輝度との差に基づいて輪止を検出する輪止検出装置において、基準とする輪止の長さと検出エリアの横幅とに基づいて算出された検出エリアの設定位置を記憶する記憶手段を備え、輪止検出時には前記記憶手段に記憶された位置に検出エリアを設定することを特徴とする。
また、車両後方画像上に車両前後方向の中心線から両側に基準とする輪止の長さに基づいて算出された距離だけ離れた位置に車両後端よりも後方に２本の線を引き、この線上において検出エリアの横幅に一致する２点の中点を基準にして検出エリアの位置を算出することを特徴とする。
【発明の効果】
【０００８】
以上詳細に説明した如くこの発明によれば、車両後方を撮像する撮像手段を備え、撮像手段により撮像された後方画像上に上下に分割された検出エリアを設定し、車両後退中に上側検出エリアの輝度と下側検出エリアの輝度との差に基づいて輪止を検出する輪止検出装置において、基準とする輪止の長さと検出エリアの横幅とに基づいて算出された検出エリアの設定位置を記憶する記憶手段を備え、輪止検出時には記憶手段に記憶された位置に検出エリアを設定する。
これにより、機種毎に演算処理が異ならないため、ＦＰＧＡの処理を固定にすることができる。したがって、量産時に安価なＡＳＩＣの採用が可能となる。
また、車両後方画像上に車両前後方向の中心線から両側に基準とする輪止の長さに基づいて算出された距離だけ離れた位置に車両後端よりも後方に２本の線を引き、この線上において検出エリアの横幅に一致する２点の中点を基準にして検出エリアの位置を算出する。
従って、車両に対する撮像手段であるカメラの取付位置が多少左右にずれて画像が多少傾いても、対応することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は輪止検出エリアを算出するためのフローチャートである。（実施例）
【図２】図２は輪止検出装置の適用システム構成図である。（実施例）
【図３】図３は輪止検出エリアを算出するためのシステム構成図である。（実施例）
【図４】図４は輝度の平均を求める基本的な処理の説明図である。（実施例）
【図５】図５は検出エリアの高さ合わせを示す図である。（実施例）
【図６】図６は輪止の平均値と閾値とを説明する図である。（実施例）
【図７】図７は左右位置ずれの対策１を示す図である。（実施例）
【図８】図８は左右位置ずれの対策２を示す図である。（実施例）
【図９】図９は図７の中央のＬＣＲのうちの中央のＣ位置における範囲を示す図である。（実施例）
【図１０】図１０は輪止のサイズ例を示す図である。（実施例）
【図１１】図１１はＦＰＧＡへの実装例を示す図である。（実施例）
【図１２】図１２は車両後方の概略平面図である。（実施例）
【図１３】図１３は画素位置を求めるための説明図である。（実施例）
【図１４】図１４はこの発明の従来技術の特開２０１０−１２３０１２号公報の輪止検出領域を示す図である。
【発明を実施するための形態】
【００１０】
以下図面に基づいてこの発明の実施例を詳細に説明する。
【実施例】
【００１１】
図１〜図１３はこの発明の実施例を示すものである。
図２において、１は輪止検出装置を適用した例で、輪止を検出し、表示画像を歪取り画像から俯瞰画像へ切り替える装置である。
この輪止検出装置１は、車両２（図１２参照）後方を撮像する撮像手段（「カメラ」ともいう。）３を備え、この撮像手段３により撮像された後方画像上に上下に分割された検出エリアを設定し、車両後退中に上側検出エリアの輝度と下側検出エリアの輝度との差に基づいて輪止を検出している。
また、前記輪止検出装置１は、図２に示す如く、前記撮像手段３からの車両後方画像を、デコーダ４を介して入力するＦＰＧＡ（「コントローラ」ともいう。）５と、このＦＰＧＡ５の入力画像を一時的に記憶するＲＡＭ（「ランダム・アクセス・メモリ」）６と、前記ＦＰＧＡ５に機種毎に記憶しているデータを出力するＲＯＭ（「リード・オンリ・メモリ」）７と、前記ＦＰＧＡ５からエンコーダ８を介して出力するモニタ９などを備えている。
このとき、前記ＦＰＧＡ５は、入力した車両後方画像の歪取り、俯瞰変換処理を行っている。
そして、前記輪止検出装置１は、基準とする輪止の長さと検出エリアの横幅とに基づいて算出された検出エリアの設定位置を記憶する記憶手段１０を備えている。
この記憶手段１０は、図２に示す如く、例えば、前記ＲＡＭ６と前記ＲＯＭ７とを含んでいる。
つまり、このＲＯＭ７は、基準とする輪止の長さと検出エリアの横幅とを記憶し、前記ＲＡＭ６は、基準とする輪止の長さと検出エリアの横幅とに基づいて算出された検出エリアの設定位置を一時的に記憶している。
なお、算出された検出エリアの設定位置を恒久的に記憶する際には、前記記憶手段１０をＲＯＭ７のみとすることも可能である。
【００１２】
また、前記輪止検出装置１は、輪止検出時には前記記憶手段１０に記憶された位置に検出エリアを設定する構成とする。
これにより、機種毎に演算処理が異ならないため、ＦＰＧＡの処理を固定として、量産時に安価なＡＳＩＣの採用が可能としている。
【００１３】
更に、前記輪止検出装置１は、検出エリアの画素数を２の乗数とする。
これにより、上側検出エリアの輝度と下側検出エリアの輝度との差に基づいて輪止を検出する際の平均値演算等でビットシフトを使用することができる。したがって、除算器によるリソースの増大、処理速度の低下を防止することができる。
【００１４】
また、輪止検出エリア設定方法の輪止検出エリアを算出するためのシステムは、図３に示す如く、前記撮像手段３からの車両後方画像を入力する画像入力工程１１と、画像の歪の補正や俯瞰画像の作成時に行うキャリブレーションのためのキャリブレーションデータ入力工程１２と、前記画像入力工程１１及びキャリブレーションデータ入力工程１２の後に行う３次元データ演算工程１３と、この３次元データ演算工程１３からの各座標データの距離から画素数演算を行う工程１４と、中点演算工程１５と、ＲＯＭデータ作成工程１６とを備えている。
そして、前記３次元データ演算工程１３は、以下の処理を行う。
（１）車両中心延長線上座標取得。
（２）車両中心延長線（車両前後方向）線分（１０ｍｍ毎）取得［ｃｘ］。
（３）車両前後方向中心線±１００ｍｍ座標取得［ｌｘ、ｒｘ］。
また、前記３次元データ演算工程１３からの各座標データの距離から画素数演算を行う工程１４は、
ｃｘ−ｌｘ、ｒｘ−ｃｘ
より画素数を演算し、共に３２画素以下となる点（車両からの距離最小）を求める。
更に、前記中点演算工程１５は、（ｌｘ１、ｌｙ１）、（ｒｘ１、ｒｙ１）の中点（ｃｘ１、ｃｙ１）を演算する。
【００１５】
そして、上述の輪止検出エリア設定方法は、車両後方画像上に車両前後方向の中心線ＣＬから両側に基準とする輪止の長さに基づいて算出された距離だけ離れた位置に車両後端よりも後方に２本の線Ｌ１、Ｌ２を引き、この線Ｌ１、Ｌ２上において検出エリアの横幅に一致する２点（ｌｘ１、ｌｙ１）、（ｒｘ１、ｒｙ１）の中点（ｃｘ１、ｃｙ１）を基準にして検出エリアの位置を算出している。
これにより、上述の輪止検出エリア設定方法は、車両１に対する前記撮像手段３の取付位置が多少左右にずれて画像が多少傾いても、対応することを可能としている。
【００１６】
また、上述の輪止検出エリア設定方法において、車両後方を撮像する前記撮像手段３のキャリブレーション時に検出エリアの位置を算出している。
従って、上述の輪止検出エリア設定方法は、機種変更時にカメラのキャリブレーションと同時に検出エリアの位置を設定するため、工数を削減することができる。
【００１７】
ここで、前記輪止検出装置１及び上述の輪止検出エリア設定方法の基本的な処理から説明する。
この基本的な処理は、上述した特許文献１に開示されるものを利用している。
先ず、第１の処理において、図４に示す如く、検出エリア１、２、３、４中の画素の輝度の平均を求める。
このとき、検出エリア１、２、３、４は、画像中の３箇所（左右輪止検出、中央輪止なし検出）となる。
第２の処理において、図５に示す如く、検出エリア１、２、３、４の高さは画像中の輪止の高さに合わせる。
第３の処理において、図６に示す如く、輪止部分では、検出エリア１と検出エリア３、及び、検出エリア２と検出エリア４の輝度の平均値に閾値以上の差があり、輪止の間（「路面部」とも換言できる。）では、検出エリア１と検出エリア３、及び、検出エリア２と検出エリア４の輝度の平均値の差が閾値以下となる。
また、
検出エリア１＞検出エリア３
、かつ、
検出エリア２＞検出エリア４
または、
検出エリア１＜検出エリア３
、かつ、
検出エリア２＜検出エリア４
の場合のみ検出とする。
ただし、左右の輪止部分の検出枠において、検出エリア１と検出エリア３、及び、検出エリア２と検出エリア４の輝度の平均値の差の極性が同じである場合に輪止を検出したとする。
例えば、右の輪止部分において、
検出エリア１＞検出エリア３
、かつ、
検出エリア２＞検出エリア４
ならば、左の輪止部分も
検出エリア１＞検出エリア３
、かつ、
検出エリア２＞検出エリア４
である場合に検出とする。
第４の処理において、左右位置ずれには、２つの対策がある。
先ず、対策１においては、位置ずれ時の検出用エリアを設定し、位置ずれなしの場合と左右位置ずれの場合とについて並列に処理する。
このとき、図７に示す如く、Ｌ、Ｃ、Ｒ位置についてそれぞれ判定処理を行う。
また、対策２においては、駐車枠線検出手段（図示せず）により出力される、左右位置ずれ情報を基に、図８に示す如く、検出枠を左右に移動する。
【００１８】
また、前記輪止検出装置１及び上述の輪止検出エリア設定方法における処理を説明する。
先ず、上述した基本的な処理の第１の処理にて開示した図４において、検出エリア中のさらに４つの検出エリアサイズを１６Ｘ８（インタレースの場合、１フィールド毎の処理では走査線は１／２となるので、８ライン分となる、フレーム単位の処理では１６Ｘ１６）画素とする。
例えば、平均値の計算は、全画素の輝度の加算後、
１６Ｘ８＝１２８
なので、７ｂｉｔ右シフトで求まる。
また、検出エリアの設定場所を、距離主導ではなく、上記の検出枠の幅（図４の検出エリア１と検出エリア２で）３２画素を基準として検出エリアサイズを固定し、検出エリア位置は、基準とする輪止（長さ６００ｍｍ。図１０参照。）が検出エリアの横幅の３倍（３２Ｘ３画素）となる距離（画像中の縦方向位置）を求め、当該座標に検出枠を配置する。
更に、基準となる位置は、図７中の黒丸形状部分と白三角形状部分とハート形状部分とのいずれかの位置とし、機種毎のデータを記録している前記記憶手段１０の前記ＲＯＭ７の空き領域などに記録する。
つまり、図７のＣ位置において、基準位置を黒丸形状部分として前記記憶手段１０のＲＯＭ７のデータ（ｘ１、ｙ１）を読み込んだ場合に、中央のＬ、Ｃ、Ｒ位置のうち中央のＣ位置の範囲は（インターレースにおいてフィールド毎の処理の場合）、図９に示す如く、
（ｘ１−１６、ｙ１−１６）−（ｘ１＋１６、ｙ１）
となる。
同様に、図７の右側のＣ位置の範囲は、
（ｘ１＋（１６Ｘ５）、ｙ１−１６）−（ｘ１＋（１６Ｘ７）、ｙ１）
となり、図７の左側のＣ位置の範囲は、
（ｘ１−（１６Ｘ７）、ｙ１−１６）−（ｘ１＋（１６Ｘ５）、ｙ１）
となり、求めることができる。
そして、左右位置ずれへの対応時は、それぞれ、Ｌ位置では（ｘ１−３２）、Ｒ位置では（Ｘ１＋３２）を基準とすることで対応可能である。
また、基準の位置は、前記記憶手段１０のＲＯＭ７などに記録され、起動時に読み込まれるため、車種変更時はＲＯＭ７のデータを書き換えることで対応可能となった。
これにより、前記ＦＰＧＡ５の回路変更は不要となり、ＡＳＩＣなどの製造後の書換が不能であるが、量産コストの安価なデバイスの使用が可能である。
【００１９】
前記ＦＰＧＡ５の実装例について説明する。
実際のＦＰＧＡ５への実装については、Ｆｌａｓｈ−ＲＯＭのデータバス幅は１６ｂｉｔであることから、水平方向のオフセット値８ｂｉｔ、垂直方向のオフセット値８ｂｉｔとする。
そして、画像垂直方向は、図１１に示す如く、１フィールド２４０ラインのため、走査線番号をそのまま指示する。
また、水平方向は、図１１に示す如く、６４０画素のうち中心付近の２５６画素を指定範囲とする（中心の枠位置の指定のため、範囲として問題ない。）。
よって、水平方向については、図１１に示す如く、
（６４０−２５６）÷２
より、１９２画素加算して扱う。
上述した基準位置（ｘ１、ｙ１）を求めるには、前記撮像手段３のキャリブレーションを行い、車両２に取り付けられた撮像手段３の画素と地面上の点との対応を求める。
そして、「車両の前後方向の中心線」と「車両の左右方向の中心線と平行な線」とが画像中でほぼ直交するような画像として表示されているとき、画像横方向において地面高さ基準にて輪止の幅（例えば、６００ｍｍ）が検出エリア３個分（３２Ｘ３＝９６画素）となる画像中の「ｙ１」、及び、車両２の中心線ＣＬの延長ＣＬｅ上の点「ｘ１」を求める（３２画素＝２００ｍｍでも良い。）。
なお、参考までに記載すると、上記キャリブレーションは、上述した特許文献１の図２３に開示されるように、画像の歪の補正や俯瞰画像の作成時に行う処理である。
この発明により、輪止の検出エリア位置についてもキャリブレーションと同時に取得、設定可能となる。
また、この実施例においては、キャリブレーションにより得た地面基準での３次元情報において、図１２及び図１３に示す如く、前記車両２の後端から３０００ｍｍまでの範囲で、車両２の前後方向の中心線ＣＬの延長線ＣＬｅ上に１０ｍｍおきに、車両２の前後方向の中心線ＣＬの延長線ＣＬｅとの直交方向に±１００ｍｍ（６００÷３÷２＝１００ｍｍ）した位置の画素位置を求め、±１００ｍｍでの画素数の差が３２ピクセル以下となる最初の位置をそれぞれ（ｌｘ１、ｌｙ１）、（ｒｘ１、ｒｙ１）としている。
そして、前記車両２に対する前記撮像手段３の取付位置は、図１２に示す如く、多少左右方向にずれるため、画像車両の前後方向の中心線ＣＬの延長線ＣＬｅに対して画像が若干傾くため、（ｌｘ１、ｌｙ１）、（ｒｘ１、ｒｙ１）の中点（ｃｘ１、ｃｙ１）を求め、基準点（ｘ１、ｙ１）としている。
【００２０】
次に、図１の輪止検出エリアを算出するためのフローチャートに沿って作用を説明する。
【００２１】
上述の輪止検出エリアを算出するためのプログラムがスタート（１０１）すると、前記画像入力工程１１による画像入力、及び、前記３次元データ演算工程１３による前記車両２の前後方向の中心線ＣＬと並行に±１００ｍｍの線分設定を行う処理（１０２）に移行する。
そして、前記画像入力工程１１による画像入力、及び、前記３次元データ演算工程１３による前記車両２の前後方向の中心線ＣＬと並行に±１００ｍｍの線分設定を行う処理（１０２）の後に、前記３次元データ演算工程１３による車両２側から遠隔方向へ１０ｍｍ毎に±１００ｍｍ線上の画素位置取得を行う処理（１０３）に移行する。
この前記３次元データ演算工程１３による車両２側から遠隔方向へ１０ｍｍ毎に±１００ｍｍ線上の画素位置取得を行う処理（１０３）の後には、前記３次元データ演算工程１３からの各座標データの距離から画素数演算を行う工程１４による±１００ｍｍでの画素数確認
ｃｘ−ｌｘ、ｒｘ−ｃｘ
を行う処理（１０４）に移行する。
また、前記３次元データ演算工程１３からの各座標データの距離から画素数演算を行う工程１４による±１００ｍｍでの画素数確認
ｃｘ−ｌｘ、ｒｘ−ｃｘ
を行う処理（１０４）の後には、確認した画素数が、
ｃｘ−ｌｘ＜３２、かつ、ｒｘ−ｃｘ＜３２
であるか否かの判断（１０５）に移行する。
この判断（１０５）において、判断（１０５）がＮＯの場合には、判断（１０５）がＹＥＳとなるまで、確認した画素数が、
ｃｘ−ｌｘ＜３２ＡＮＤｒｘ−ｃｘ＜３２
であるか否かの判断（１０５）を繰り返し行う。
また、判断（１０５）がＹＥＳの場合には、前記中点演算工程１５による（ｌｘ１、ｌｙ１）、（ｒｘ１、ｒｙ１）の中点演算を行う処理（１０６）に移行する。
この中点演算工程１５による（ｌｘ１、ｌｙ１）、（ｒｘ１、ｒｙ１）の中点演算を行う処理（１０６）は、車両後方画像上に車両前後方向の中心線ＣＬから両側に基準とする輪止の長さに基づいて算出された距離だけ離れた位置に車両後端よりも後方に引いた２本の線Ｌ１、Ｌ２上において検出エリアの横幅に一致する２点（ｌｘ１、ｌｙ１）、（ｒｘ１、ｒｙ１）の中点（ｃｘ１、ｃｙ１）を演算するものである。
そして、前記中点演算工程１５による（ｌｘ１、ｌｙ１）、（ｒｘ１、ｒｙ１）の中点演算を行う処理（１０６）の後には、前記ＲＯＭデータ作成工程１６によってＲＯＭデータを作成し、（ｘ１、ｙ１）を前記記憶手段１０のＲＯＭ７などに記録する処理（１０７）に移行し、その後に、上述の輪止検出エリアを算出するためのプログラムのエンド（１０８）に移行する。
【００２２】
なお、この発明は上述実施例に限定されるものではなく、種々の応用改変が可能である。
【００２３】
例えば、通常使用されている撮像手段であるカメラの画素数は、ＶＧＡ（水平６４０Ｘ垂直４８０）であるが、システム中のＲＯＭのデータバス幅が足りない場合は、検出エリアのサイズが２の乗数となっているため、１／２^ｎ（２のｎ乗分の１）とすることで、データバス幅の削減が可能である。
同様に、高解像度カメラへの対応も可能である。
【符号の説明】
【００２４】
１輪止検出装置
２車両
３撮像手段（「カメラ」ともいう。）
４デコーダ
５ＦＰＧＡ（「コントローラ」ともいう。）
６ＲＡＭ（「ランダム・アクセス・メモリ」）
７ＲＯＭ（「リード・オンリ・メモリ」）
８エンコーダ
９モニタ
１０記憶手段
１１画像入力工程
１２キャリブレーションデータ入力工程
１３３次元データ演算工程
１４画素数演算を行う工程
１５中点演算工程
１６ＲＯＭデータ作成工程

【特許請求の範囲】
【請求項１】
車両後方を撮像する撮像手段を備え、この撮像手段により撮像された後方画像上に上下に分割された検出エリアを設定し、車両後退中に上側検出エリアの輝度と下側検出エリアの輝度との差に基づいて輪止を検出する輪止検出装置において、基準とする輪止の長さと検出エリアの横幅とに基づいて算出された検出エリアの設定位置を記憶する記憶手段を備え、輪止検出時には前記記憶手段に記憶された位置に検出エリアを設定することを特徴とする輪止検出装置。
【請求項２】
検出エリアの画素数を２の乗数とすることを特徴とする請求項１に記載の輪止検出装置。
【請求項３】
車両後方画像上に車両前後方向の中心線から両側に基準とする輪止の長さに基づいて算出された距離だけ離れた位置に車両後端よりも後方に２本の線を引き、この線上において検出エリアの横幅に一致する２点の中点を基準にして検出エリアの位置を算出することを特徴とする輪止検出エリア設定方法。
【請求項４】
車両後方を撮像する撮像手段のキャリブレーション時に検出エリアの位置を算出することを特徴とする請求項３に記載の輪止検出エリア設定方法。

【図１】