画像処理装置、駐車支援システム、画像処理方法及びプログラム
【課題】画像に基づいて車両の駐車対象となる駐車枠の存在を迅速に判定する。
【解決手段】画像処理装置２では、横枠線検出部４４が画像Ｇ中の１つの横枠線検出領域に基づいて駐車枠の横枠線Ｌ１を検出し、縦枠線検出部４５が画像Ｇ中の２つの縦枠線検出領域に基づいて２つの縦枠線を検出する。さらに、接続部検出部４７が、画像Ｇ中の２つの縦枠線検出領域に基づいて２つの接続部を検出する。そして、駐車枠判定部４８は、これらの検出結果に基づいて駐車対象となる駐車枠の存在を判定する。画像Ｇの全体ではなく画像Ｇ中の限られた領域に基づいて駐車枠の存在を判定するため、駐車枠の存在を迅速に判定できる。
【解決手段】画像処理装置２では、横枠線検出部４４が画像Ｇ中の１つの横枠線検出領域に基づいて駐車枠の横枠線Ｌ１を検出し、縦枠線検出部４５が画像Ｇ中の２つの縦枠線検出領域に基づいて２つの縦枠線を検出する。さらに、接続部検出部４７が、画像Ｇ中の２つの縦枠線検出領域に基づいて２つの接続部を検出する。そして、駐車枠判定部４８は、これらの検出結果に基づいて駐車対象となる駐車枠の存在を判定する。画像Ｇの全体ではなく画像Ｇ中の限られた領域に基づいて駐車枠の存在を判定するため、駐車枠の存在を迅速に判定できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に基づいて車両の駐車対象となる駐車枠の存在を判定する技術に関する。
【背景技術】
【０００２】
自動車などの車両を後退させて駐車枠内に駐車させる操作を苦手とするドライバは多い。このため、従来より、車両の駐車を支援するための各種の駐車支援システムが提案されている。
【０００３】
例えば、車両を駐車させるために必要なステアリングの操作などの具体的な操作内容を適切なタイミングで音声によってドライバに案内する駐車支援システムが知られている。また、近年では、車両の挙動を制御して駐車枠内に車両を自動的に移動させるインテリジェントパーキングアシストと呼ばれる駐車支援システムも実用化されている（例えば、特許文献１参照。）。ドライバは、このような駐車支援システムを利用することで、車両を駐車枠内に容易に駐車させることが可能となる。
【０００４】
このような駐車支援システムを利用する場合は、駐車支援システムに駐車対象となる駐車枠の位置（車両に対する相対的な位置）を正しく認識させる必要がある。このため、車両の外部を撮影するカメラで得られた画像に基づいて駐車対象となる駐車枠の位置を認識する画像処理機能を備えた駐車支援システムも知られている（例えば、特許文献１参照。）。このような駐車支援システムは、車両が停止した状態で駐車枠を含む画像を取得し、その画像に基づいて駐車枠の位置を認識するようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９５２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで近年、車両が走行している状態で車両の近傍に駐車可能な駐車枠が存在するか否かを判定し、そのような駐車枠が存在する場合は当該駐車枠に車両を駐車させる駐車支援システムが検討されている。
【０００７】
このような駐車支援システムを実現するためには、車両の走行中に周期的に取得される画像に基づいて駐車可能な駐車枠が存在するか否かを判定する必要がある。したがって、駐車可能な駐車枠が存在するか否かを判定する処理を迅速に行う必要がある。
【０００８】
また、このような駐車支援システムだけではなく、車両が停止した状態で画像を取得する一般的な駐車支援システムにおいても、駐車可能な駐車枠が存在するか否かを判定するまでの処理時間をできるだけ短縮することが望ましい。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、駐車枠の存在を迅速に判定することができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、画像に基づいて車両の駐車対象となる駐車枠の存在を判定する画像処理装置であって、前記車両の外部を撮影するカメラで得られた画像を取得する取得手段と、前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する前記駐車枠の第１線を検出する第１検出手段と、前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する第２検出手段と、前記第１及び前記第２検出手段の検出結果に基づいて、前記駐車枠の存在を判定する判定手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記第１領域は、前記画像の左右中央に設定される。
【００１２】
また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記第１領域の水平方向のサイズは、前記画像の水平方向のサイズの１／１０以下である。
【００１３】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記第１検出手段は、前記第１領域の水平エッジを抽出し、前記第１領域を垂直方向に分割して得られる複数の分割領域をそれぞれ階級とし、前記水平エッジとなる画素の数を度数とするヒストグラムに基づいて前記第１線を検出する。
【００１４】
また、請求項５の発明は、請求項４に記載の画像処理装置において、前記第１検出手段は、前記ヒストグラムにおいて、前記度数が第１閾値Ｔｈ１より大きい階級の数が所定値以下であり、かつ、前記度数が第２閾値Ｔｈ２（Ｔｈ１≦Ｔｈ２）より大きい階級が存在する場合に、前記第１線を検出する。
【００１５】
また、請求項６の発明は、請求項５に記載の画像処理装置において、前記第１検出手段は、前記ヒストグラムにおいて前記度数が最大となる階級の位置に基づいて、前記画像の垂直方向における前記第１線の位置を特定する。
【００１６】
また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像処理装置において、前記第１検出手段は、前記画像における前記第１線の位置を特定し、前記画像処理装置は、前記画像における前記第１線の位置を基準に、前記画像における前記２つの第２領域を設定する領域設定手段、をさらに備えている。
【００１７】
また、請求項８の発明は、請求項１ないし７のいずれかに記載の画像処理装置において、前記第２検出手段は、前記２つの第２領域のそれぞれにおいて垂直エッジを抽出し、前記２つの第２領域のそれぞれにおいて、該第２領域に含まれる全ての水平ラインのうち前記垂直エッジを含む水平ラインの割合に基づいて前記第２線を検出する。
【００１８】
また、請求項９の発明は、請求項１ないし８のいずれかに記載の画像処理装置において、前記第２検出手段は、前記２つの第２領域のそれぞれにおいて、該第２領域に含まれるエッジの方向が右上がりか右下がりかを判定し、その判定結果に基づいて前記第２線を検出する。
【００１９】
また、請求項１０の発明は、請求項１ないし９のいずれかに記載の画像処理装置において、前記第１検出手段は、前記画像における前記第１線の位置を特定し、前記画像処理装置は、前記第１線の位置に基づいて、前記画像における前記駐車枠の領域と推定される推定領域を導出する導出手段と、前記推定領域中の輝度が閾値以下となる画素の数に基づいて前記駐車枠内の駐車車両の有無を判定する車両判定手段と、をさらに備えている。
【００２０】
また、請求項１１の発明は、請求項１ないし１０のいずれかに記載の画像処理装置において、前記２つの第２領域に基づいて、前記第１線と前記第２線とを接続する２つの接続部をそれぞれ検出する第３検出手段、をさらに備えている。
【００２１】
また、請求項１２の発明は、請求項１１に記載の画像処理装置において、前記判定手段は、前記第１検出手段が前記第１線を検出したという第１条件と、前記第２検出手段が前記２つの第２線を検出したという第２条件と、前記第３検出手段が前記２つの接続部を検出したという第３条件と、の全ての条件が満足した場合に、前記駐車枠が存在すると判定する。
【００２２】
また、請求項１３の発明は、請求項１２に記載の画像処理装置において、前記判定手段は、前記第１ないし第３条件のいずれかの条件が満足しない場合には、以降の他の条件に関する処理を実行させない。
【００２３】
また、請求項１４の発明は、請求項１に記載の画像処理装置において、前記カメラは、前記車両の側方を撮影するサイドカメラである。
【００２４】
また、請求項１５の発明は、駐車支援システムであって、請求項１ないし１４のいずれかに記載の画像処理装置と、前記画像処理装置で検出された前記駐車枠への車両の駐車を支援する駐車支援装置と、を備えている。
【００２５】
また、請求項１６の発明は、画像に基づいて車両の駐車対象となる駐車枠の存在を判定する画像処理方法であって、（ａ）前記車両の外部を撮影するカメラで得られた画像を取得する工程と、（ｂ）前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する前記駐車枠の第１線を検出する工程と、（ｃ）前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する工程と、（ｄ）前記工程（ａ）及び（ｂ）の検出結果に基づいて、前記駐車枠の存在を判定する工程と、を備えている。
【００２６】
また、請求項１７の発明は、画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータに、（ａ）車両の外部を撮影するカメラで得られた画像を取得する工程と、（ｂ）前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する駐車枠の第１線を検出する工程と、（ｃ）前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する工程と、（ｄ）前記工程（ａ）及び（ｂ）の検出結果に基づいて、前記駐車枠の存在を判定する工程と、を実行させる。
【発明の効果】
【００２７】
請求項１ないし１７の発明によれば、画像の全体ではなく画像中の限られた領域に基づいて駐車枠の存在を判定する。このため、駐車枠の存在を判定するための演算量を大幅に低減でき、駐車枠の存在を迅速に判定することができる。
【００２８】
また、特に請求項２の発明によれば、画像中の歪の少ない中央の領域に基づいて第１線を検出することができる。
【００２９】
また、特に請求項３の発明によれば、第１領域の水平方向のサイズが小さいため、駐車枠の存在を判定するための演算量を大幅に低減できる。
【００３０】
また、特に請求項４の発明によれば、第１領域の分割領域をそれぞれ階級とするヒストグラムに基づいて第１線を検出するため、駐車枠の第１線がカメラの光軸に正確に直交していなくとも、駐車枠の第１線を検出することができる。
【００３１】
また、特に請求項５の発明によれば、度数が第１閾値より大きい階級の数が多い場合は第１線を検出しない。このため、他の物体が近傍に存在する駐車枠などを駐車対象とすることを防止できる。
【００３２】
また、特に請求項６の発明によれば、画像の垂直方向における第１線の位置を正確に特定できる。
【００３３】
また、特に請求項７の発明によれば、駐車枠の第１線の位置を基準に２つの第２領域を設定するため、駐車枠の第２線を検出する精度を高めることができる。
【００３４】
また、特に請求項８の発明によれば、第２領域に含まれる全ての水平ラインのうち垂直エッジを含む水平ラインの割合に基づいて第２線を検出するため、比較的長い垂直エッジがある場合に第２線を検出することができる。
【００３５】
また、特に請求項９の発明によれば、第２領域に含まれるエッジの方向が右上がりか右下がりかを判定し、その判定結果に基づいて第２線を検出するため、所定の方向に延びるエッジがある場合に第２線を検出することができる。
【００３６】
また、特に請求項１０の発明によれば、比較的低輝度の画素の数に基づいて駐車枠内の駐車車両の有無を判定するため、簡便な処理で駐車車両の有無を判定することができる。
【００３７】
また、特に請求項１１の発明によれば、第２領域に基づいて２つの接続部を検出するため、接続部を検出するための演算量を大幅に低減できる。
【００３８】
また、特に請求項１２の発明によれば、全ての条件を満足した場合に駐車枠が存在すると判定するため、駐車枠を検出する精度を向上できる。
【００３９】
また、特に請求項１３の発明によれば、第１ないし第３条件のいずれかの条件を満足しない場合には他の条件に関する処理が実行されないため、無駄な処理の実行を防止できる。
【００４０】
また、特に請求項１４の発明によれば、車両を走行させながら、車両の側方において駐車対象となる駐車枠が存在するかを判定することができる。
【００４１】
また、特に請求項１５の発明によれば、駐車枠の存在を迅速に判定し、その駐車枠への車両の駐車を支援することができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、駐車支援システムの概要を示す図である。
【図２】図２は、駐車支援システムが駐車支援を実行する場合の車両の動きを示す図である。
【図３】図３は、駐車支援システムの構成を示す図である。
【図４】図４は、車載カメラが車両に配置される位置を示す図である。
【図５】図５は、右サイドカメラで取得された画像の例を示す図である。
【図６】図６は、右サイドカメラで取得された画像の例を示す図である。
【図７】図７は、右サイドカメラで取得された画像の例を示す図である。
【図８】図８は、判定処理に用いられる画像中の領域を示す図である。
【図９】図９は、判定処理の流れを示す図である。
【図１０】図１０は、横枠線検出処理の詳細な流れを示す図である。
【図１１】図１１は、横枠線検出領域が設定された画像の例を示す図である。
【図１２】図１２は、水平エッジを抽出するためのオペレータを示す図である。
【図１３】図１３は、ヒストグラムの例を示す図である。
【図１４】図１４は、ヒストグラムの例を示す図である。
【図１５】図１５は、ヒストグラムの例を示す図である。
【図１６】図１６は、領域設定処理の詳細な流れを示す図である。
【図１７】図１７は、車両判定領域及び縦枠線検出領域の導出手法を説明する図である。
【図１８】図１８は、縦枠線検出領域が設定された画像の例を示す図である。
【図１９】図１９は、縦枠線検出処理の詳細な流れを示す図である。
【図２０】図２０は、垂直エッジを抽出するためのオペレータを示す図である。
【図２１】図２１は、右上がりのエッジの一部を模式的に示す図である。
【図２２】図２２は、右下がりのエッジの一部を模式的に示す図である。
【図２３】図２３は、車両判定処理の詳細な流れを示す図である。
【図２４】図２４は、駐車枠に駐車車両がない場合の画像の例を示す図である。
【図２５】図２５は、駐車枠に駐車車両がある場合の画像の例を示す図である。
【図２６】図２６は、画像中の左側の接続部の近傍を拡大して示す図である。
【図２７】図２７は、接続部検出処理の詳細な流れを示す図である。
【図２８】図２８は、Ｈａａｒ−Ｌｉｋｅ特徴を示す図である。
【図２９】図２９は、Ｈａａｒ−Ｌｉｋｅ特徴を示す図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００４４】
＜１．システムの概要＞
図１は、本実施の形態に係る駐車支援システム１０の概要を示す図である。駐車支援システム１０は、自動車などの車両９に搭載され、車両９の駐車枠内への駐車を支援する駐車支援機能を有している。駐車支援システム１０は、車両９の近傍に存在する駐車枠の存在を判定し、駐車可能な駐車枠が存在する場合は車両９の挙動を制御して当該駐車枠内に車両を自動的に移動させる。以下、駐車支援システム１０が搭載される車両９を「自車両」という。
【００４５】
駐車支援システム１０は、複数の車載カメラ５と、画像処理装置２と、駐車支援装置３とを備えている。画像処理装置２と駐車支援装置３とは通信ケーブル等を介して相互に通信可能となっている。
【００４６】
複数の車載カメラ５は、自車両９の外部を撮影して、自車両９の周囲の様子を示す画像を取得する。画像処理装置２は、複数の車載カメラ５の一つで得られた画像に基づいて駐車可能な駐車枠が存在するか否かを判定し、駐車可能な駐車枠が存在する場合は駐車枠の位置を特定する。そして、駐車支援装置３は、自車両９のステアリング及びブレーキなどを制御して当該駐車枠に自車両９を移動させる。
【００４７】
駐車支援システム１０は、動作モードとして、このような駐車支援を実行する駐車支援モードとともに、自車両９の外部の様子を示す画像を表示する画像表示モードを備えている。駐車支援システム１０は、通常は、画像表示モードとなっている。画像表示モードでは、駐車支援システム１０は、ユーザ（代表的にはドライバ）に選択された車載カメラ５で得られた画像を、画像処理装置２が備えるディスプレイ２２に表示させる。このような画像表示モードにおいてユーザから駐車支援の指示がある場合は、駐車支援システム１０は、駐車支援モードに移行して駐車支援機能を有効化する。
【００４８】
駐車支援システム１０は、並列駐車及び縦列駐車のいずれの駐車支援も実行することが可能であるが、以下では縦列駐車の駐車支援を実行する場合について具体的に説明する。
【００４９】
図２は、駐車支援システム１０が縦列駐車の駐車支援を実行する場合の自車両９の動きを示す図である。以下、図２を参照して、駐車支援システム１０が実行する駐車支援の概要について説明する。
【００５０】
まず、ユーザが、駐車枠ＰＦの長手方向と自車両９の前後方向とがおよそ平行となるように自車両９を停車させる（ステップＳ１）。この際、最終的に駐車対象となる駐車枠ＰＦの位置と自車両９の位置とは離れていてよい。また、駐車枠ＰＦの長手方向と自車両９の前後方向とは、およそ平行であればよく、完全に平行である必要はない。この状態で、ユーザは、駐車支援システム１０に対して、並列駐車及び縦列駐車のいずれの駐車支援を実行するかを指示する。図２の場合は、ユーザは縦列駐車の駐車支援を指示することになる。
【００５１】
ユーザから駐車支援の実行の指示がなされると、駐車支援システム１０の駐車支援装置３が、自車両９のブレーキを制御して自車両９を直進させる（ステップＳ２）。これにより、自車両９は、駐車枠ＰＦの長手方向におよそ平行に走行することになる。
【００５２】
このような自車両９の走行中において、駐車支援システム１０の画像処理装置２が、駐車可能な駐車枠ＰＦが存在するか否かを判定する。画像処理装置２は、自車両９の側方に向けられた車載カメラ５（図２では、右サイドカメラ５Ｒ）で得られた画像に基づいて駐車枠ＰＦの存在を判定する判定処理を実行する。車載カメラ５は所定周期（例えば、１／３０秒周期）で画像を取得し、画像処理装置２は画像が取得されるごとに判定処理を実行する。そして、画像処理装置２は、車載カメラ５の光軸の方向に駐車車両９９が無い駐車枠ＰＦがある場合に、駐車可能な駐車枠ＰＦが存在すると判定する。
【００５３】
画像処理装置２は、駐車可能な駐車枠ＰＦが存在すると判定した場合は、駐車枠ＰＦの位置（自車両９に対する相対的な位置）を特定し、特定した駐車枠ＰＦの位置を駐車支援装置３に受け渡す（ステップＳ３）。これに応答して、駐車支援装置３は自車両９のブレーキを制御して自車両９を停車させる。これにより、自車両９は、駐車可能と判定された駐車枠ＰＦの近傍に停車する。また、駐車支援システム１０は、画像処理装置２のディスプレイ２２を介して、駐車可能な駐車枠ＰＦが検出された旨をユーザに通知し、当該駐車枠ＰＦに自車両９を駐車させるか否かをユーザに問い合わせる。
【００５４】
この問い合わせにより、ユーザは駐車枠ＰＦや周辺状況を自分の目で確認して、当該駐車枠ＰＦに自車両９を駐車させるか否かを判断する。そして、ユーザが駐車させる指示を駐車支援システム１０に行った場合は、駐車支援装置３が自車両９の挙動を制御して自車両９を駐車枠ＰＦ内に移動させる（ステップＳ４）。駐車支援装置３は、まず、画像処理装置２に特定された駐車枠ＰＦの位置に基づいて、自車両９を駐車枠ＰＦ内に移動させるための移動経路Ｋを導出する。そして、駐車支援装置３は、自車両９のステアリング及びギア等を制御して、移動経路Ｋに沿うように自車両９を移動させる。自車両９が駐車枠ＰＦ内に移動すると、駐車支援装置３はブレーキを制御して自車両９を停車させる。このようにして、駐車支援システム１０は、駐車枠ＰＦ内に自車両９を駐車させることになる。
【００５５】
＜２．システムの構成＞
次に、駐車支援システム１０の構成について説明する。図３は、駐車支援システム１０の構成を示す図である。前述のように、駐車支援システム１０は、複数の車載カメラ５と、画像処理装置２と、駐車支援装置３とを備えている。
【００５６】
駐車支援装置３は、例えば、ＥＣＵ（(Electric Control Unit）であり、自車両９の適位置に配置される。駐車支援装置３は、経路導出部３１と車両誘導部３２とを備えている。これら経路導出部３１と車両誘導部３２とは、例えば、ＣＰＵがプログラムに従って演算処理を行うことにより実現される。
【００５７】
経路導出部３１は、画像処理装置２から受け渡された駐車枠ＰＦの位置に基づいて、自車両９を現在の位置から駐車枠ＰＦ内まで移動させるための移動経路Ｋを導出する。また、車両誘導部３２は、自車両９の挙動を制御して、導出された移動経路Ｋに沿うように自車両９を移動させる。車両誘導部３２は、車内ＬＡＮ９０を介して、ステアリングを制御するステアリングシステム９１、ブレーキを制御するブレーキシステム９２及びギアを制御するギアシステム９３と接続されている。車両誘導部３２は、これらのシステム９１〜９３に信号を送信することにより、自車両９の挙動を制御する。
【００５８】
複数の車載カメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両９の周辺の様子を示す画像を電子的に取得する。複数の車載カメラ５はそれぞれ、自車両９の車室外の適位置に配置され、取得した画像を画像処理装置２に入力する。複数の車載カメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両９の異なる位置に配置され、自車両９の外部の異なる方向を撮影する。
【００５９】
図４は、車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒが自車両９に配置される位置を示す図である。フロントカメラ５Ｆは、自車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは自車両９の前方（直進方向）に向けられている。バックカメラ５Ｂは、自車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは自車両９の後方（直進方向の逆方向）に向けられている。左サイドカメラ５Ｌは自車両９の左側のサイドミラー９５Ｌに設けられ、その光軸５Ｌａは自車両９の左側方（直進方向の直交方向）に向けられている。また、右サイドカメラ５Ｒは自車両９の右側のサイドミラー９５Ｒに設けられ、その光軸５Ｒａは自車両９の右側方（直進方向の直交方向）に向けられている。
【００６０】
これらの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角のレンズが採用され、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれは例えば１８０度以上の画角θを有している。このため、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、自車両９の全周囲を撮影することが可能となっている。
【００６１】
図３に戻り、画像処理装置２は、ディスプレイ２２と、操作部２３と、記憶部２４と、制御部２１とを備えている。
【００６２】
ディスプレイ２２は、例えば、液晶パネルなどを備えた薄型の表示装置である。ディスプレイ２２は、制御部２１から出力された画像を表示する。画像処理装置２は、このディスプレイ２２の表示画面がユーザから視認可能なように、車室内のインストルメントパネルなどに配置される。
【００６３】
操作部２３は、ユーザが直接的に操作可能な部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２２の表示画面に重ねて設けられ、操作ボタンはディスプレイ２２の表示画面の周囲に設けられる。ユーザが操作部２３を操作した場合は、その操作内容を示す信号が制御部２１に入力され、制御部２１が操作内容に応じたユーザの指示を受け付ける。ユーザは、操作部２３を介して、動作モードの切り替え指示や駐車支援の実行の指示などの各種の指示を駐車支援システム１０に行うことが可能である。
【００６４】
記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、制御部２１の処理に必要な各種の情報を記憶する。記憶部２４は、例えば、ファームウェアとなるプログラム２４ａを記憶している。画像処理装置２は、プログラムが記憶されたコンピュータ読み取り可能なメモリカードなどの記憶媒体８からカードリーダ（図示せず）を介して読み出すことで、このようなプログラム２４ａを取得できるようになっている。
【００６５】
また、制御部２１は、画像処理装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１は、各種の画像処理機能を有している。図中に示す、表示制御部４１、画像取得部４２、領域設定部４３、横枠線検出部４４、縦枠線検出部４５、車両判定部４６、接続部検出部４７及び駐車枠判定部４８は、制御部２１が備える画像処理機能の一部である。これらの画像処理機能は、記憶部２４に記憶されたプログラム２４ａに従ってＣＰＵが演算処理を行うことで実現される。
【００６６】
画像取得部４２は、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２４は、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのいずれかの画像を選択的に取得することができる。画像取得部２４は、また、取得した画像に対して、ノイズの除去や明るさの調整などの一般的な画像処理を行うことが可能である。
【００６７】
表示制御部４１は、ディスプレイ２２に画像を出力して、ディスプレイ２２に画像を表示させる。画像表示モードでは、表示制御部４１は、画像取得部４２で取得された画像を調整して、ディスプレイ２２に画像を出力する。これにより、ユーザは、車両の周辺の様子を示す画像を確認することができる。
【００６８】
また、領域設定部４３、横枠線検出部４４、縦枠線検出部４５、車両判定部４６、接続部検出部４７及び駐車枠判定部４８は、駐車枠ＰＦの存在を判定する判定処理に係る画像処理機能である。これらの画像処理機能は、駐車支援モードにおいて有効化される。
【００６９】
領域設定部４３は、横枠線検出部４４、縦枠線検出部４５、車両判定部４６、及び、接続部検出部４７が処理の対象とする領域を画像中に設定する。また、駐車枠判定部４８は、横枠線検出部４４、縦枠線検出部４５、車両判定部４６、及び、接続部検出部４７による処理の結果に基づいて駐車対象となる駐車枠の存在を判定する。これらの画像処理機能の詳細については後述する。
【００７０】
＜３．画像＞
次に、駐車枠ＰＦの存在を判定する判定処理に用いられる画像について説明する。判定処理には、例えば、右サイドカメラ５Ｒで取得された画像が利用される。
【００７１】
図５〜図７はそれぞれ、右サイドカメラ５Ｒで取得された画像Ｇの例を示す図である。これらの画像Ｇにおいては、自車両９の右側の側方の様子が示されている。前述のように、右サイドカメラ５Ｒのレンズには魚眼レンズなどの広角のレンズが採用されるため、画像Ｇに含まれる被写体の像には歪みが生じ、その歪みの程度は画像Ｇの左右端に近いほど大きくなっている。
【００７２】
判定処理では、図５の画像Ｇのように、画像Ｇのほぼ左右中央にコの字型（Ｕ字型）の枠線（正確には枠線の像）が含まれている場合に、駐車可能な駐車枠ＰＦが存在すると判定される。
【００７３】
判定の対象となる駐車枠ＰＦは、自車両９が駐車した場合に、自車両９の前後方向（側面）に沿うことになる枠線Ｌ１と、自車両９の左右方向（前面及び背面）に沿うことになる２つの枠線Ｌ２とを含んでいる（図２も合わせて参照。）。枠線Ｌ１と２つの枠線Ｌ２とは、枠線Ｌ１の左右端部にある２つの接続部Ｌｅにおいて接続される。
【００７４】
枠線Ｌ１は右サイドカメラ５Ｒの光軸５Ｒａに略直交して延びるため（図２参照。）、枠線Ｌ１の像は画像Ｇ中のおよそ横方向に延びるように含まれる（図５参照。）。一方、２つの枠線Ｌ２は右サイドカメラ５Ｒの光軸５Ｒａに略沿って延びるため（図２参照。）、２つの枠線Ｌ２の像は画像Ｇ中のおよそ縦方向に延びるように含まれる（図５参照。）。このため、本明細書においては便宜上、枠線Ｌ１を「横枠線」、枠線Ｌ２を「縦枠線」と呼ぶ。左側の接続部Ｌｅは横枠線Ｌ１と左側の縦枠線Ｌ２とを接続し、右側の接続部Ｌｅは横枠線Ｌ１と右側の縦枠線Ｌ２とを接続する。
【００７５】
判定処理では、横枠線Ｌ１、２つの縦枠線Ｌ２及び２つの接続部Ｌｅの全てが画像Ｇに基づいて検出された場合に、駐車枠ＰＦが存在すると判定される。すなわち、横枠線Ｌ１、２つの縦枠線Ｌ２及び２つの接続部Ｌｅのいずれかが検出されなかった場合は、駐車可能な駐車枠ＰＦが存在しないと判定される。例えば、図６に示すように、画像中Ｇに横枠線Ｌ１が含まれていない場合は、駐車可能な駐車枠ＰＦが存在しないと判定される。
【００７６】
また、判定処理では、図７に示すように、画像中Ｇに駐車枠ＰＦが含まれる場合であっても、駐車枠ＰＦ内に駐車車両９９がある場合は、駐車可能な駐車枠ＰＦが存在しないと判定される。また、図７の左側に示すように、画像中Ｇに、駐車車両９９の無い駐車枠ＰＦが含まれる場合であっても、その駐車枠ＰＦの位置が画像Ｇのおよそ左右中央でない場合は、駐車可能な駐車枠ＰＦが存在しないと判定される。
【００７７】
前述した制御部２１が備える画像処理機能のうち、横枠線検出部４４が横枠線Ｌ１を検出し、縦枠線検出部４５が２つの縦枠線Ｌ２を検出し、接続部検出部４７が２つの接続部Ｌｅを検出する。また、車両判定部４６が、駐車枠ＰＦ内の駐車車両９９の有無を判定する。そして、これらの検出結果及び判定結果に基づいて、駐車枠判定部４８が駐車可能な駐車枠ＰＦが存在するか否かを判定することになる。
【００７８】
このような判定処理は、画像Ｇの全領域ではなく、画像Ｇ中の一部の領域のみに基づいて実行される。図８は、判定処理に用いられる画像Ｇ中の領域を示す図である。図８に示すように、画像Ｇ中には、１つの横枠線検出領域Ａ１と、２つの縦枠線検出領域Ａ２と、１つの車両判定領域Ａ３とが含まれている。これらの領域Ａ１，Ａ２，Ａ３は、領域設定部４３により設定される。
【００７９】
横枠線検出領域Ａ１は、横枠線検出部４４が横枠線Ｌ１の検出に用いる領域である。２つの縦枠線検出領域Ａ２は、縦枠線検出部４５が２つの縦枠線Ｌ２の検出に用いるとともに、接続部検出部４７が２つの接続部Ｌｅの検出に用いる領域である。また、車両判定領域Ａ３は、車両判定部４６が駐車枠ＰＦ内の駐車車両９９の有無の判定に用いる領域である。
【００８０】
横枠線検出領域Ａ１は、画像Ｇの垂直方向を長手方向とする長方形の領域であり、画像Ｇの左右中央に設定される。横枠線検出領域Ａ１の水平方向（短手方向）のサイズは、画像Ｇの水平方向のサイズと比較して１／１０以下であることが望ましく、１／１５以下であることがさらに望ましい。横枠線検出部４４は、横枠線検出領域Ａ１に含まれる横枠線Ｌ１の像のみに基づいて横枠線Ｌ１を検出する。これにより、横枠線検出部４４が横枠線Ｌ１を検出するための演算量を大幅に低減できる。
【００８１】
本実施の形態では、画像Ｇのサイズが横３２０×縦２４０画素（ＱＶＧＡ）であるのに対して、横枠線検出領域Ａ１のサイズは横２０×縦６０画素となっている。横枠線検出領域Ａ１は、画像Ｇ中の左右中央の所定の位置に固定的に設定される。このように横枠線検出領域Ａ１は画像Ｇ中の歪の少ない左右中央に設定されることから、比較的小さいサイズの横枠線検出領域Ａ１を用いたとしても、横枠線Ｌ１を精度高く検出することができる。横枠線検出領域Ａ１の下辺の位置は自車両９の右側面から例えば約０．８ｍの位置に相当し、横枠線検出領域Ａ１の上辺の位置は自車両９の右側面から例えば約３．０ｍの位置に相当する。
【００８２】
縦枠線検出領域Ａ２は、２辺が画像Ｇの水平方向に沿った平行四辺形の領域である。縦枠線検出領域Ａ２は、画像Ｇ中の横枠線検出領域Ａ１の左側及び右側にそれぞれ設定される。縦枠線検出部４５は、左側の縦枠線検出領域Ａ２に基づいて画像Ｇ中の左側に含まれる縦枠線Ｌ２を検出し、右側の縦枠線検出領域Ａ２に基づいて画像Ｇ中の右側に含まれる縦枠線Ｌ２を検出する。また、接続部検出部４７は、左側の縦枠線検出領域Ａ２の下半分に基づいて左側の接続部Ｌｅを検出し、右側の縦枠線検出領域Ａ２の下半分に基づいて右側の接続部Ｌｅを検出する。縦枠線検出領域Ａ２の位置は、横枠線検出領域Ａ１で検出された横枠線Ｌ１の垂直方向の位置を基準に設定される。
【００８３】
車両判定領域Ａ３は、上底及び下底となる辺が画像Ｇの水平方向に沿った略台形の領域である（厳密には、下底となる辺は直線にならないことが多い。）。車両判定領域Ａ３は、全体として画像Ｇの水平方向に延びる領域であり、画像Ｇの左右中央に設定される。車両判定領域Ａ３は、画像Ｇにおいて駐車枠ＰＦの領域と推定される推定領域に相当する。車両判定部４６は、この車両判定領域Ａ３に含まれる画素の特徴に基づいて、駐車枠ＰＦ内の駐車車両９９の有無を判定する。車両判定領域Ａ３の位置も、横枠線検出領域Ａ１で検出された横枠線Ｌ１の垂直方向の位置を基準に設定される。
【００８４】
このように駐車支援システム１０の画像処理装置２は、判定処理において、画像Ｇの全体ではなく画像Ｇ中の限られた領域Ａ１，Ａ２，Ａ３に基づいて駐車枠ＰＦの存在を判定する。したがって、駐車枠ＰＦの存在を判定するための演算量を大幅に低減できるため、画像処理装置２は駐車枠ＰＦの存在を迅速に判定できることになる。
【００８５】
＜４．判定処理＞
図９は、駐車対象となる駐車枠ＰＦの存在を判定する判定処理の流れを示す図である。図９に示す処理は、駐車支援モードに移行してユーザから駐車支援の実行の指示がなされた場合に（図２のステップＳ２）、画像処理装置２の制御部２１により実行される。また、図９に示す処理は、右サイドカメラ５Ｒが周期的に取得する画像（フレーム）のそれぞれに対して実行される。したがって、図９に示す処理は、例えば１／３０秒ごとに繰り返し実行されることになる。以下、図９に示す判定処理の流れについて説明する。以下では、最初に判定処理の全体概要について説明し、その後、必要に応じて各ステップの処理について具体的に説明する。
【００８６】
まず、判定処理の対象となる画像Ｇが、画像取得部４２により右サイドカメラ５Ｒから取得される。そして、当該画像Ｇを対象に所定の画像処理である前処理が実行される（ステップＳ１１）。具体的には、画像取得部２４が、メディアンフィルタなどを適用して画像Ｇ中のノイズを除去する。また、領域設定部４３が、画像Ｇの左右中央の所定の位置に１つの横枠線検出領域Ａ１を設定する。
【００８７】
次に、横枠線検出部４４が、横枠線Ｌ１を検出する横枠線検出処理を実行する（ステップＳ１２）。横枠線検出部４４は、画像Ｇの横枠線検出領域Ａ１に基づいて横枠線Ｌ１を検出し、検出した横枠線Ｌ１の画像Ｇの垂直方向における位置を特定する。
【００８８】
この横枠線検出処理において、横枠線検出部４４が横枠線Ｌ１を検出できなかった場合は（ステップＳ１３にてＮｏ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、そのまま判定処理を終了させる。すなわち、ステップＳ１４以降の処理は実行されない。
【００８９】
一方、横枠線検出処理において横枠線検出部４４が横枠線Ｌ１を検出した場合は（ステップＳ１３にてＹｅｓ）、次に、領域設定部４３が、画像Ｇ中に２つの縦枠線検出領域Ａ２と１つの車両判定領域Ａ３とを設定する領域設定処理を行う（ステップＳ１４）。領域設定部４３は、横枠線検出部４４に特定された横枠線Ｌ１の位置を基準に、画像Ｇ中に２つの縦枠線検出領域Ａ２と車両判定領域Ａ３とを設定する。
【００９０】
次に、縦枠線検出部４５が、２つの縦枠線Ｌ２を検出する縦枠線検出処理を実行する（ステップＳ１５）。縦枠線検出部４５は、２つの縦枠線検出領域Ａ２に基づいて２つの縦枠線Ｌ２をそれぞれ検出する。
【００９１】
この縦枠線検出処理において、縦枠線検出部４５が２つの縦枠線Ｌ２の少なくとも１つを検出できなかった場合は（ステップＳ１６にてＮｏ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、そのまま判定処理を終了させる。すなわち、ステップＳ１７以降の処理は実行されない。
【００９２】
一方、縦枠線検出部４５が２つの縦枠線Ｌ２の双方を検出した場合は（ステップＳ１６にてＹｅｓ）、次に、車両判定部４６が駐車枠ＰＦ内の駐車車両９９の有無を判定する車両判定処理を実行する（ステップＳ１７）。車両判定部４６は、車両判定領域Ａ３に基づいて駐車車両９９の有無を判定する。
【００９３】
この車両判定処理において、車両判定部４６が駐車車両９９があると判定した場合は（ステップＳ１８にてＹｅｓ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、そのまま判定処理を終了させる。すなわち、ステップＳ１９以降の処理は実行されない。
【００９４】
一方、車両判定部４６が駐車車両９９がないと判定した場合は（ステップＳ１８にてＮｏ）、次に、接続部検出部４７が、２つの接続部Ｌｅを検出する接続部検出処理を実行する（ステップＳ１９）。接続部検出部４７は、２つの縦枠線検出領域Ａ２に基づいて２つの接続部Ｌｅをそれぞれ検出する。
【００９５】
この接続部検出処理において、接続部検出部４７が２つの接続部Ｌｅの少なくとも１つを検出できなかった場合は（ステップＳ２０にてＮｏ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、そのまま判定処理を終了させる。
【００９６】
一方、接続部検出部４７が２つの接続部Ｌｅの双方を検出した場合は（ステップＳ２０にてＹｅｓ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦが存在すると判定する（ステップＳ２１）。
【００９７】
次に、駐車枠判定部４８は、検出された横枠線Ｌ１の位置及び２つの接続部Ｌｅの位置に基づいて駐車枠ＰＦの位置を特定する。そして、駐車枠判定部４８は、特定した駐車枠ＰＦの位置を、駐車支援装置３に送信する（ステップＳ２２）。
【００９８】
このように判定処理においては、以下の４条件Ａ〜Ｄを満足するか否かが順次に判断され、全ての条件を満足した場合に、駐車枠判定部４８が駐車可能な駐車枠ＰＦが存在すると判定する。
【００９９】
条件Ａ：横枠線検出処理（ステップＳ１２）において、横枠線検出部４４が横枠線Ｌ１を検出した。
【０１００】
条件Ｂ：縦枠線検出処理（ステップＳ１５）において、縦枠線検出部４５が２つの縦枠線Ｌ２の双方を検出した。
【０１０１】
条件Ｃ：車両判定処理（ステップＳ１７）において、車両判定部４６が駐車車両９９がないと判定した。
【０１０２】
条件Ｄ：接続部検出処理（ステップＳ１９）において、接続部検出部４７が２つの接続部Ｌｅの双方を検出した。
【０１０３】
また一方で、上記４条件のいずれかの条件が満足しない場合には、駐車枠判定部４８は駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、以降の他の条件に関する処理を実行させずにそのまま判定処理を終了させる。これにより、無駄な処理の実行が防止されるようになっている。
【０１０４】
以下、横枠線検出処理（ステップＳ１２）、領域設定処理（ステップＳ１４）、縦枠線検出処理（ステップＳ１５）、車両判定処理（ステップＳ１７）及び接続部検出処理（ステップＳ１９）のそれぞれについて具体的に説明する。
【０１０５】
＜４−１．横枠線検出処理＞
まず、横枠線検出部４４が横枠線Ｌ１を検出する横枠線検出処理（図９のステップＳ１２）について具体的に説明する。図１０は、横枠線検出処理の詳細な流れを示す図である。この横枠線検出処理の開始時点においては、図１１に示すように、画像Ｇ中に横枠線検出領域Ａ１が領域設定部４３により設定されている。
【０１０６】
まず、横枠線検出部４４は、横枠線検出領域Ａ１中の水平エッジを抽出する（ステップＳ３１）。横枠線検出部４４は、例えば、図１２に示す横３×縦３の係数を含むオペレータＭ１を用いたソーベルフィルタを適用することで、水平エッジを抽出する。
【０１０７】
横枠線検出部４４は、注目画素を中心とした横３×縦３画素の矩形領域を選択する。そして、横枠線検出部４４は、選択した矩形領域とオペレータＭ１とで重なる位置のそれぞれにおいて画素の値（例えば、輝度）と係数とを乗算し、その乗算結果の合計値を注目画素の新たな値とする。横枠線検出部４４は、横枠線検出領域Ａ１に含まれる全て画素を順次に注目画素としてこの演算を繰り返し実行する。そして、横枠線検出部４４は、演算結果が正となり、かつ、所定の閾値を超える画素を、水平エッジの一部の画素として抽出する。
【０１０８】
これにより、上側が比較的明るく下側が比較的暗くなる位置に形成される水平エッジが抽出されることになる。一般に、画像Ｇにおいて、白線などである駐車枠ＰＦの部分は比較的明るくなり、アスファルトなどである駐車枠ＰＦ以外の部分は比較的暗くなる。したがって、この処理により、画像Ｇ中の横枠線Ｌ１の下端部が、水平エッジとして抽出されることになる。
【０１０９】
次に、横枠線検出部４４は、水平エッジの一部とされた画素の数を度数とするヒストグラム（度数分布）を生成する（ステップＳ３２）。横枠線検出部４４は、図１１に示すように、横枠線検出領域Ａ１を垂直方向に等分に分割し、複数の分割領域Ａｄを形成する。本実施の形態では、横枠線検出部４４は、横枠線検出領域Ａ１を６つの分割領域Ａｄに分割する。そして、横枠線検出部４４は、図１３に示すように、６つの分割領域Ａｄのそれぞれを階級とし、各階級（すなわち、各分割領域Ａｄ）に含まれる水平エッジの一部とされた画素の数を度数とするヒストグラムＨを生成する。
【０１１０】
このヒストグラムＨは、横枠線検出領域Ａ１における水平エッジの垂直方向での分布を示している。図１３〜図１５は、このようにして生成されたヒストグラムＨの例をそれぞれ示している。これらの図では、ヒストグラムＨの階級を縦軸、度数を横軸で示している。
【０１１１】
次に、横枠線検出部４４は、生成したヒストグラムＨを参照して、度数が所定の第１閾値Ｔｈ１より大きい階級の数（以下、「第１カウント値」という。）Ｃ１を計数する（ステップＳ３３）。第１閾値Ｔｈ１は、例えば「５０」とされる。図１３の例の場合は、２つの階級で度数が第１閾値Ｔｈ１を超えるため、第１カウント値Ｃ１は「２」となる。また、図１４の例の場合は、５つの階級で度数が第１閾値Ｔｈ１を超えるため、第１カウント値Ｃ１は「５」となる。さらに、図１５の例の場合は、２つの階級で度数が第１閾値Ｔｈ１を超えるため、第１カウント値Ｃ１は「２」となる。
【０１１２】
次に、横枠線検出部４４は、第１カウント値Ｃ１が所定値以下か否かを判定する（ステップＳ３４）。本実施例では、所定値は例えば「２」とされる。そして、横枠線検出部４４は、第１カウント値Ｃ１が所定値「２」を超える場合は（ステップＳ３４にてＮｏ）、横枠線Ｌ１は不検出と判断して（ステップＳ３８）横枠線検出処理を終了する。例えば、図１４の場合は、第１カウント値Ｃ１が「５」であるため、横枠線Ｌ１は不検出と判断される。
【０１１３】
このように第１カウント値Ｃ１が比較的多い場合は、駐車枠ＰＦ以外の模様（例えば、縞模様）や、障害物などの他の物体が存在する可能性が高い。このため、このような場合に、横枠線Ｌ１は不検出と判断することにより、駐車枠ＰＦ以外の模様や、他の物体が近傍に存在する駐車枠ＰＦなどを駐車対象とすることを防止できる。
【０１１４】
また、第１カウント値Ｃ１が所定値「２」以下の場合は（ステップＳ３４にてＹｅｓ）、次に、横枠線検出部４４は、ヒストグラムＨを参照して、度数が所定の第２閾値Ｔｈ２より大きい階級が存在するか否かを判定する（ステップＳ３５）。第２閾値Ｔｈ２は第１閾値Ｔｈ１以上の値（Ｔｈ１≦Ｔｈ２）であり、例えば「８０」とされる。
【０１１５】
そして、横枠線検出部４４は、度数が第２閾値Ｔｈ２より大きい階級が存在しない場合は（ステップＳ３５にてＮｏ）、横枠線Ｌ１は不検出と判断して（ステップＳ３８）横枠線検出処理を終了する。例えば、図１５の場合は、度数が第２閾値Ｔｈ２より大きい階級が無いため、横枠線Ｌ１は不検出と判断される。このように、度数が第２閾値Ｔｈ２より大きい階級が無い場合は、明確な水平エッジが存在しない場合であるため、横枠線Ｌ１は不検出と判断される。
【０１１６】
また、度数が第２閾値Ｔｈ２より大きい階級が存在する場合は（ステップＳ３５にてＹｅｓ）、横枠線検出部４４は、横枠線Ｌ１を検出したと判断する（ステップＳ３６）。例えば、図１３の場合は、度数が第２閾値Ｔｈ２より大きい階級があるため、横枠線Ｌ１を検出したと判断される。
【０１１７】
続いて、横枠線検出部４４は、画像Ｇの垂直方向における横枠線Ｌ１の位置を特定する（ステップＳ３７）。横枠線検出部４４は、ヒストグラムＨを参照して度数が最大となる階級を特定する。そして、横枠線検出部４４は、この階級に対応する画像Ｇ中の分割領域Ａｄの垂直方向の中央位置を、横枠線Ｌ１の位置として特定する。このように度数が最大となる階級の位置に基づいて横枠線Ｌ１の位置を特定するため、横枠線Ｌ１の位置を正確に特定することができる。
【０１１８】
このように横枠線検出処理においては、横枠線検出領域Ａ１の複数の分割領域Ａｄをそれぞれ階級とするヒストグラムＨを用いる。これらの分割領域Ａｄは垂直方向に幅があるため、横枠線Ｌ１が右サイドカメラ５Ｒの光軸５Ｒａに正確に直交していなくとも、横枠線Ｌ１に係る水平エッジをヒストグラムＨの度数に反映させることができる。したがって、自車両９の前後方向と駐車枠ＰＦの長手方向とが正確に平行でなくとも、駐車枠ＰＦの横枠線Ｌ１を正しく検出できることになる。
【０１１９】
＜４−２．領域設定処理＞
次に、領域設定部４３が、画像Ｇ中に処理の対象とする領域Ａ２，Ａ３を設定する領域設定処理（図９のステップＳ１４）について具体的に説明する。図１６は、領域設定処理の詳細な流れを示す図である。この領域設定処理の開始時点においては、画像Ｇ中の垂直方向の横枠線Ｌ１の位置が横枠線検出部４４により特定されている。
【０１２０】
まず、領域設定部４３が、画像Ｇ中に車両判定領域Ａ３を設定する（ステップＳ４１）。前述のように、車両判定領域Ａ３は、画像Ｇの左右中央に設定される略台形の領域であり、駐車枠ＰＦの領域と推定される推定領域に相当する。領域設定部４３は、画像Ｇ中の垂直方向の横枠線Ｌ１の位置に基づいて、この推定領域を導出する。
【０１２１】
図１７の上部は、領域設定部４３が、車両判定領域Ａ３を導出する手法を説明する図である。図に示すように、画像Ｇ中の各位置は、左上端部を原点、水平方向をＸ軸（右側を正）、垂直方向をＹ軸（下側を正）とする直交２次元座標によって表される。
【０１２２】
車両判定領域Ａ３の下底ｈ１の中央部ＰＯのＹ座標（画像Ｇの上端からのＹ軸方向の長さ）Ｙ０は、横枠線検出部４４に特定された横枠線Ｌ１の垂直方向の位置に対応する。したがって、車両判定領域Ａ３の下底ｈ１の中央部ＰＯのＹ座標Ｙ０は、既知である。
【０１２３】
車両判定領域Ａ３の導出に際してまず、領域設定部４３は、車両判定領域Ａ３の下底ｈ１の２つの端部Ｐ１のＹ座標Ｙ１を導出する。このＹ座標Ｙ１は、中央部ＰＯのＹ座標Ｙ０に基づいて次の式（１）によって導出される。
【０１２４】
Ｙ１ ＝ ０．５６６５ × Ｙ０ ＋ ９７．３５２ …（１）
次に、領域設定部４３は、車両判定領域Ａ３の上底ｈ２の２つの端部Ｐ２のＹ座標Ｙ２を導出する。このＹ座標Ｙ２は、下底ｈ１の端部Ｐ１のＹ座標Ｙ１に基づいて次の式（２）によって導出される。
【０１２５】
Ｙ２ ＝ ０．４６３７ × Ｙ１ ＋ ７３．６２１ …（２）
次に、領域設定部４３は、車両判定領域Ａ３の下底ｈ１の幅（Ｘ軸方向の長さ）Ｗ１を導出する。この下底ｈ１の幅Ｗ１は、下底ｈ１の端部Ｐ１のＹ座標Ｙ１に基づいて次の式（３）によって導出される。
【０１２６】
Ｗ１ ＝ １．６０６２ × Ｙ１ ＋ ３０．４３４ …（３）
さらに、領域設定部４３は、車両判定領域Ａ３の上底ｈ２の幅Ｗ２を導出する。この上底ｈ２の幅Ｗ２は、上底ｈ２の端部Ｐ２のＹ座標Ｙ２に基づいて次の式（４）によって導出される。
【０１２７】
Ｗ２ ＝ １．６０６２ × Ｙ２ ＋ ３０．４３４ …（４）
領域設定部４３は、これらの式（１）〜（４）の演算を行うことにより、略台形となる車両判定領域Ａ３の４角Ｐ１，Ｐ１，Ｐ２，Ｐ２の位置を導出する。すなわち、領域設定部４３は、車両判定領域Ａ３を導出することになる。これらの式（１）〜（４）は、試行を繰り返すことで得られたものである。
【０１２８】
このようにして車両判定領域Ａ３は、画像Ｇ中の垂直方向の横枠線Ｌ１の位置を基準に設定される。横枠線Ｌ１の位置が画像Ｇ中の下方になるほど車両判定領域Ａ３は画像Ｇ中の下方に設定され、横枠線Ｌ１の位置が画像Ｇ中の上方になるほど車両判定領域Ａ３は画像Ｇ中の上方に設定されることになる。
【０１２９】
次に、領域設定部４３は、画像Ｇ中に２つの縦枠線検出領域Ａ２を設定する（ステップＳ４２）。領域設定部４３は、車両判定領域Ａ３の位置に基づいて、２つの縦枠線検出領域Ａ２を導出することになる。
【０１３０】
図１７の下部は、領域設定部４３が、２つの縦枠線検出領域Ａ２を導出する手法を説明する図である。領域設定部４３は、車両判定領域Ａ３の左側の辺ｈ３を左右それぞれ同距離（例えば１０画素）ずつＸ軸方向に移動させて２つの直線ｈ３ａ，ｈ３ｂを設定する。そして、この２つの直線ｈ３ａ，ｈ３ｂを２辺とする平行四辺形を、左側の縦枠線検出領域Ａ２として設定する。同様に、領域設定部４３は、車両判定領域Ａ３の右側の辺ｈ４を左右それぞれ同距離（例えば１０画素）ずつＸ軸方向に移動させて２つの直線ｈ４ａ，ｈ４ｂを設定する。そして、この２つの直線ｈ４ａ，ｈ４ｂを２辺とする平行四辺形を右側の縦枠線検出領域Ａ２として設定する。したがって、２つの縦枠線検出領域Ａ２は、画像Ｇの中央に関して左右対称に設定される。
【０１３１】
これにより縦枠線検出領域Ａ２も、画像Ｇ中の垂直方向の横枠線Ｌ１の位置を基準に設定されることになる。このため、横枠線Ｌ１の位置が画像Ｇ中の下方になるほど縦枠線検出領域Ａ２は画像Ｇ中の下方に設定され、横枠線Ｌ１の位置が画像Ｇ中の上方になるほど縦枠線検出領域Ａ２は画像Ｇ中の上方に設定される。これにより、縦枠線Ｌ２を検出する精度を高めることができる。また、縦枠線Ｌ２を検出するための縦枠線検出領域Ａ２を比較的小さなサイズにすることができる。
【０１３２】
＜４−３．縦枠線検出処理＞
次に、縦枠線検出部４５が、２つの縦枠線Ｌ２を検出する縦枠線検出処理（図９のステップＳ１５）について具体的に説明する。縦枠線検出処理の開始時点においては、図１８に示すように、画像Ｇ中に２つの縦枠線検出領域Ａ２が領域設定部４３により設定されている。縦枠線検出部４５は、左側の縦枠線検出領域Ａ２に基づいて左側の縦枠線Ｌ２を、右側の縦枠線検出領域Ａ２に基づいて右側の縦枠線Ｌ２をそれぞれ検出することになる。
【０１３３】
左側の縦枠線Ｌ２を検出するための処理と、右側の縦枠線Ｌ２を検出するための処理とは左右が反対となる以外は同一である。このため以下では、縦枠線検出処理として、左側の縦枠線Ｌ２を検出するための処理を代表的に説明する。図１９は、左側の縦枠線Ｌ２を検出するための処理の流れを示す図である。
【０１３４】
まず、縦枠線検出部４５が、縦枠線検出領域Ａ２中の垂直エッジを抽出する（ステップＳ５１）。縦枠線検出部４５は、例えば、図２０に示す横３×縦３の係数を含むオペレータＭ２を用いたソーベルフィルタを適用することで、垂直エッジを抽出する。
【０１３５】
縦枠線検出部４５は、注目画素を中心とした横３×縦３画素の矩形領域を選択する。そして、縦枠線検出部４５は、選択した矩形領域とオペレータＭ２とで重なる位置のそれぞれにおいて画素の値（例えば、輝度）と係数とを乗算し、その乗算結果の合計値を注目画素の新たな値とする。縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれる全て画素を順次に注目画素としてこの演算を繰り返し実行する。そして、縦枠線検出部４５は、演算結果が正となり、かつ、所定の閾値を超える画素を、垂直エッジの一部の画素として抽出する。
【０１３６】
これにより、左側が比較的明るく右側が比較的暗くなる位置に形成される垂直エッジが抽出されることになる。したがって、この処理により、画像Ｇ中の縦枠線Ｌ２の右端部が、垂直エッジとして抽出される。
【０１３７】
次に、縦枠線検出部４５は、縦枠線検出領域Ａ２において、垂直エッジが存在する水平ラインの数を計数する（ステップＳ５２）。縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれる全ての水平ラインのうちで、垂直エッジの一部とされた画素を含む水平ラインの数（以下、「第２カウント値」という。）Ｃ２を計数する。
【０１３８】
次に、縦枠線検出部４５は、第２カウント値Ｃ２が全ての水平ラインの１０％以上であるか否かを判定する（ステップＳ５３）。そして、縦枠線検出部４５は、第２カウント値Ｃ２が全ての水平ラインの１０％未満の場合は（ステップＳ５３にてＮｏ）、縦枠線Ｌ２は不検出と判断して（ステップＳ５７）縦枠線検出処理を終了する。これにより、比較的短い垂直エッジのみが存在する場合は、縦枠線Ｌ２は不検出と判断される。つまり、比較的長い垂直エッジがある場合に縦枠線Ｌ２を検出することができる。
【０１３９】
また、第２カウント値Ｃ２が全ての水平ラインの１０％以上である場合は（ステップＳ５３にてＹｅｓ）、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右上がり」か「右下がり」かを判定する（ステップＳ５４）。
【０１４０】
エッジの方向を判定する際には、縦枠線検出部４５は、垂直エッジの一部とされた画素のそれぞれに対して、水平エッジの抽出に用いる図１２のオペレータＭ１を適用する。そして、縦枠線検出部４５は、その演算結果の正負に基づいて、当該画素が「右上がり」のエッジの一部か「右下がり」のエッジの一部かを判断する。
【０１４１】
図２１及び図２２はそれぞれ、エッジの一部を模式的に示す図である。図２１は「右上がり」のエッジＥ１の一部を示し、図２１は「右下がり」のエッジＥ２の一部を示している。また、図中では、水平方向及び垂直方向に沿った２つの矢印ＡＲ１，ＡＲ２を示している。これらの矢印ＡＲ１，ＡＲ２は、エッジを境界として明るい側に向かう方向を示している。
【０１４２】
図２０に示すオペレータＭ２を用いた場合は、エッジの左側が明るくなる場合に演算結果が正となる。垂直エッジの一部とされた画素は、このオペレータＭ２を用いて演算結果が正となった画素である。したがって、この画素に係るエッジの左側は明るくなっている（矢印ＡＲ１が左向きとなる）。この場合において、図２１に示すように、「右上がり」のエッジＥ１の場合は、そのエッジＥ１の上側が明るくなる（矢印ＡＲ２が上向き）。一方で、図２２に示すように、「右下がり」のエッジＥ２の場合は、そのエッジＥ２の下側が明るくなる（矢印ＡＲ２が下向き）。
【０１４３】
エッジの上側及び下側のいずれが明るいかは、図１２に示すオペレータＭ１を用いた演算結果で判断できる。すなわち、オペレータＭ１を用いた演算結果は、エッジの上側が明るいときには正となり、エッジの下側が明るいときには負となる。このため、縦枠線検出部４５は、オペレータＭ１を用いた演算結果が正であれば、当該画素は「右上がり」のエッジの一部と判断する。一方、縦枠線検出部４５は、オペレータＭ１を用いた演算結果が負であれば、当該画素は「右下がり」のエッジの一部と判断する。
【０１４４】
縦枠線検出部４５は、このような判断を、垂直エッジの一部とされた画素のそれぞれに関して実行する。そして、縦枠線検出部４５は、「右上がり」のエッジの一部と判断された画素の数が、「右下がり」のエッジの一部と判断された画素の数よりも多い場合は、縦枠線検出領域Ａ２に含まれるエッジの方向は「右上がり」と判定する。一方、縦枠線検出部４５は、「右上がり」のエッジの一部と判断された画素の数が、「右下がり」のエッジの一部と判断された画素の数よりも少ない場合は、縦枠線検出領域Ａ２に含まれるエッジの方向は「右下がり」と判定する。
【０１４５】
そして、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右上がり」である場合は（ステップＳ５５にてＹｅｓ）、縦枠線Ｌ２を検出したと判断する（ステップＳ５６）。一方、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右下がり」である場合は（ステップＳ５５にてＮｏ）、縦枠線Ｌ２は不検出と判断する（ステップＳ５７）。
【０１４６】
左側の縦枠線Ｌ２は、画像Ｇ中において「右上がり」の方向に延びるはずである。このため、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右上がり」である場合に、縦枠線Ｌ２を検出したと判断することになる。このように、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右上がり」か「右下がり」かを判定し、その判定結果に基づいて縦枠線Ｌ２を検出するため、比較的簡便な処理で縦枠線Ｌ２を検出することができる。なお、右側の縦枠線Ｌ２を検出する場合においては、縦枠線検出領域Ａ２に含まれるエッジの方向が「右下がり」である場合に、縦枠線Ｌ２を検出したと判断すればよい。
【０１４７】
＜４−４．車両判定処理＞
次に、車両判定部４６が駐車枠ＰＦ内の駐車車両９９の有無を判定する車両判定処理（図９のステップＳ１７）について具体的に説明する。図２３は、車両判定処理の詳細な流れを示す図である。この車両判定処理の開始時点においては、図２４に示すように、画像Ｇ中に車両判定領域Ａ３が領域設定部４３により設定されている。
【０１４８】
まず、車両判定部４６は、車両判定領域Ａ３中の比較的低輝度の画素の数を計数する（ステップＳ６１）。車両判定部４６は、車両判定領域Ａ３に含まれる全ての画素のうちで、輝度が所定の閾値以下となる低輝度画素の数（以下、「第３カウント値」という。）Ｃ３を計数する。この閾値は、例えば、輝度が８ビット（０〜２５５）で表現される場合、「３０」とされる。
【０１４９】
次に、車両判定部４６は、第３カウント値が所定値以上か否かを判定する（ステップＳ６２）。本実施例では、所定値は例えば「３００」とされる。そして、車両判定部４６は、第３カウント値Ｃ３が所定値「３００」以上の場合は（ステップＳ６２にてＹｅｓ）、駐車枠ＰＦ内に駐車車両９９があると判定する（ステップＳ６３）。一方、車両判定部４６は、第３カウント値Ｃ３が所定値「３００」未満の場合は（ステップＳ６２にてＮｏ）、駐車枠ＰＦ内に駐車車両９９がないと判定する（ステップＳ６４）。
【０１５０】
低輝度画素は、人間の感覚として非常に暗い画素である。図２４に示すように、駐車枠ＰＦ内に駐車車両９９がない場合は、車両判定領域Ａ３中にこのような低輝度画素はあまり含まれない。これに対して、図２５に示すように、駐車枠ＰＦ内に駐車車両９９がある場合は、車両判定領域Ａ３の付近に駐車車両９９の影及びタイヤに対応する非常に暗い領域Ａｓが存在し、この領域Ａｓに多くの低輝度画素が含まれている。
【０１５１】
したがって、車両判定部４６は、車両判定領域Ａ３にこのような低輝度画素が比較的多く含まれる場合は、駐車枠ＰＦ内に駐車車両９９があると判定することになる。このように、車両判定部４６は、低輝度画素の数に基づいて駐車枠ＰＦ内の駐車車両９９の有無を判定するため、非常に簡便な処理で駐車車両９９の有無を判定することができる。なお、一般に、多くの低輝度画素が含まれる領域Ａｓは、車両判定領域Ａ３の上半分に表れる（図２５参照。）。このため、車両判定領域Ａ３の上半分のみを対象に、車両判定処理を行うようにしてもよい。
【０１５２】
＜４−５．接続部検出処理＞
次に、接続部検出部４７が２つの接続部Ｌｅを検出する接続部検出処理（図９のステップＳ１９）について具体的に説明する。接続部検出処理の開始時点においては、図１８に示すように、画像Ｇ中に２つの縦枠線検出領域Ａ２が領域設定部４３により設定されている。接続部検出部４７は、左側の縦枠線検出領域Ａ２の下半分に基づいて左側の接続部Ｌｅを、右側の縦枠線検出領域Ａ２の下半分に基づいて右側の接続部Ｌｅをそれぞれ検出することになる。
【０１５３】
左側の接続部Ｌｅを検出するための処理と、右側の接続部Ｌｅを検出するための処理とは左右が反対となる以外は同一である。このため以下では、接続部検出処理として、左側の接続部Ｌｅを検出するための処理を代表的に説明する。
【０１５４】
図２６は、接続部検出処理の検出対象となる画像Ｇ中の左側の接続部Ｌｅの近傍を拡大して示す図である。左側の接続部Ｌｅは、およそ水平方向に延びる横枠線Ｌ１と、「右上がり」の方向に延びる左側の縦枠線Ｌ２とを接続する。
【０１５５】
したがって、左側の接続部Ｌｅには、図中において一点鎖線の正方形枠で囲んだパターン形状Ｑが含まれている。このパターン形状Ｑの下半分には、横枠線Ｌ１の一部に対応する比較的明るい矩形の領域Ｑ１が含まれている。また、パターン形状Ｑの上半分の左側には、縦枠線Ｌ２の一部に対応する比較的明るい三角形の領域Ｑ２が含まれている。そして、パターン形状Ｑの他部分は、アスファルトなどに対応する比較的暗い領域Ｑ３となる。
【０１５６】
接続部検出部４７は、このようなパターン形状Ｑを検出することで接続部Ｌｅを検出するようになっている。また、接続部Ｌｅは、縦枠線Ｌ２の下端部であるため、縦枠線検出領域Ａ２の下方に表れる。このため、接続部検出部４７は、縦枠線検出領域Ａ２の下半分のみを対象にして接続部Ｌｅを検出する。図２７は、接続部Ｌｅを検出するための処理の流れを示す図である。
【０１５７】
まず、接続部検出部４７は、縦枠線検出領域Ａ２の下半分を対象に、図２６に示すパターン形状Ｑを検出する（ステップＳ７１）。接続部検出部４７は、図２８に示すＨａａｒ−Ｌｉｋｅ（ハールライク）特徴を用いて、パターン形状Ｑを検出する。
【０１５８】
このＨａａｒ−Ｌｉｋｅ特徴は、全体として例えば横８×縦８画素の正方形の領域であり、４つの領域Ｒ１〜Ｒ４を含んでいる。左下領域Ｒ１、右下領域Ｒ２及び右上領域Ｒ４は、横４×縦４画素の正方形の領域である。また、左上領域Ｒ３は、横４×縦４画素の正方形を対角線で切断して得られる二等辺三角形の領域である。そして、左下領域Ｒ１、右下領域Ｒ２及び左上領域Ｒ３は「明領域」として定義され、ハッチングを付した右上領域Ｒ４は「暗領域」として定義されている。
【０１５９】
接続部検出部４７は、縦枠線検出領域Ａ２の下半分を対象に、このＨａａｒ−Ｌｉｋｅ特徴を用いて走査する。これにより、接続部検出部４７は、実質的にパターン形状Ｑを検出する。より具体的には、接続部検出部４７は、縦枠線検出領域Ａ２の下半分のうちで処理対象とする位置を水平方向及び垂直方向に順次にずらしながら、各位置においてＨａａｒ−Ｌｉｋｅ特徴を適用し、以下の４条件ａ〜ｄの全てを満足するか否かを判定する。輝度は、８ビット（０〜２５５）で表現される。
【０１６０】
条件ａ：３つの「明領域」Ｒ１〜Ｒ３の平均輝度が、「暗領域」Ｒ４の１．４倍以上である。
【０１６１】
条件ｂ：３つの「明領域」Ｒ１〜Ｒ３の平均輝度が、「１００」以上である。
【０１６２】
条件ｃ：水平方向に隣接する「明領域」Ｒ１，Ｒ２の平均輝度差が、「２０」未満である。
【０１６３】
条件ｄ：垂直方向に隣接する「明領域」Ｒ１，Ｒ３の平均輝度差が、「２０」未満である。
【０１６４】
縦枠線検出領域Ａ２の下半分の全領域に関して走査が完了した後、縦枠線検出領域Ａ２の下半分のうちで上記４条件ａ〜ｄを満足する位置がなかった場合は（ステップＳ７２にてＮｏ）、接続部検出部４７は接続部Ｌｅは不検出と判断する（ステップＳ７５）。
【０１６５】
一方、縦枠線検出領域Ａ２の下半分のうちで上記４条件ａ〜ｄを満足する少なくとも１つの位置があった場合は（ステップＳ７２にてＹｅｓ）、接続部検出部４７は接続部Ｌｅを検出したと判断する（ステップＳ７３）。そして、接続部検出部４７は、上記４条件ａ〜ｄを満足する位置の平均の座標を導出し、導出した座標を接続部Ｌｅの位置として特定する（ステップＳ７４）。
【０１６６】
このように接続部検出部４７は、縦枠線検出領域Ａ２の下半分という比較的狭い領域に基づいて接続部Ｌｅを検出するため、接続部Ｌｅを検出するための演算量を大幅に低減できる。また、接続部検出部４７は、正方形及び二等辺三角形のみを含む単純な形状のＨａａｒ−Ｌｉｋｅ特徴を用いて接続部Ｌｅを検出する。このため、比較的簡便な処理で接続部Ｌｅを検出することができる。なお、右側の接続部Ｌｅを検出する場合においては、図２９に示すＨａａｒ−Ｌｉｋｅ特徴を用いればよい。
【０１６７】
以上のように、本実施の形態の画像処理装置２では、横枠線検出部４４が画像Ｇ中の１つの横枠線検出領域Ａ１に基づいて駐車枠ＰＦの横枠線Ｌ１を検出し、縦枠線検出部４５が画像Ｇ中の２つの縦枠線検出領域Ａ２に基づいて２つの縦枠線Ｌ２を検出する。さらに、接続部検出部４７が、画像Ｇ中の２つの縦枠線検出領域Ａ２に基づいて２つの接続部Ｌｅを検出する。そして、駐車枠判定部４８は、これらの検出結果に基づいて、駐車対象となる駐車枠ＰＦの存在を判定する。このように、画像Ｇの全体ではなく画像Ｇ中の限られた領域Ａ１，Ａ２に基づいて駐車枠ＰＦの存在を判定する。このため、駐車枠ＰＦの存在を判定するための演算量を大幅に低減でき、駐車枠ＰＦの存在を迅速に判定することができる。
【０１６８】
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１６９】
上記実施の形態では、駐車枠ＰＦへの自車両９の駐車を支援する駐車支援装置３は、自車両９の挙動を制御して駐車枠ＰＦ内に自車両９を自動的に移動させるものであった。これに対して、駐車支援装置は、車両を駐車させるために必要なステアリングの操作などの具体的な操作内容を適切なタイミングで音声によってユーザに案内するものであってもよい。
【０１７０】
また、上記実施の形態では、画像処理装置２と駐車支援装置３とは別の装置であると説明したが、画像処理装置２と駐車支援装置３とが同一の筐体内に配置されて一体型の装置となっていてもよい。
【０１７１】
また、上記実施の形態では、右サイドカメラ５Ｒで取得された画像を対象に判定処理が行われていた。これに対して、左サイドカメラ５Ｌで取得された画像を対象に判定処理が行われてもよい。また、右サイドカメラ５Ｒと左サイドカメラ５Ｌとのいずれの画像を判定処理に用いるかを、ユーザが選択できるようになっていてもよい。
【０１７２】
また、上記で説明した画像処理の具体的手法は一例であり、他の手法を採用してもよい。例えば、エッジの方向の判定に際してエッジの勾配の値を導出し、その値に基づいてエッジの方向が「右上がり」か「右下がり」かを判定してもよい。
【０１７３】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の画像処理機能が実現されると説明したが、これら画像処理機能のうちの一部または全部は電気的なハードウェア回路により実現されてもよい。
【符号の説明】
【０１７４】
２ 画像処理装置
３ 駐車支援装置
９ 自車両
１０ 駐車支援システム
４３ 領域設定部
４４ 横枠線検出部
４５ 縦枠線検出部
４６ 車両判定部
４７ 接続部検出部
４８ 駐車枠判定部
５Ｒ 右サイドカメラ
９９ 駐車車両
【技術分野】
【０００１】
本発明は、画像に基づいて車両の駐車対象となる駐車枠の存在を判定する技術に関する。
【背景技術】
【０００２】
自動車などの車両を後退させて駐車枠内に駐車させる操作を苦手とするドライバは多い。このため、従来より、車両の駐車を支援するための各種の駐車支援システムが提案されている。
【０００３】
例えば、車両を駐車させるために必要なステアリングの操作などの具体的な操作内容を適切なタイミングで音声によってドライバに案内する駐車支援システムが知られている。また、近年では、車両の挙動を制御して駐車枠内に車両を自動的に移動させるインテリジェントパーキングアシストと呼ばれる駐車支援システムも実用化されている（例えば、特許文献１参照。）。ドライバは、このような駐車支援システムを利用することで、車両を駐車枠内に容易に駐車させることが可能となる。
【０００４】
このような駐車支援システムを利用する場合は、駐車支援システムに駐車対象となる駐車枠の位置（車両に対する相対的な位置）を正しく認識させる必要がある。このため、車両の外部を撮影するカメラで得られた画像に基づいて駐車対象となる駐車枠の位置を認識する画像処理機能を備えた駐車支援システムも知られている（例えば、特許文献１参照。）。このような駐車支援システムは、車両が停止した状態で駐車枠を含む画像を取得し、その画像に基づいて駐車枠の位置を認識するようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９５２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで近年、車両が走行している状態で車両の近傍に駐車可能な駐車枠が存在するか否かを判定し、そのような駐車枠が存在する場合は当該駐車枠に車両を駐車させる駐車支援システムが検討されている。
【０００７】
このような駐車支援システムを実現するためには、車両の走行中に周期的に取得される画像に基づいて駐車可能な駐車枠が存在するか否かを判定する必要がある。したがって、駐車可能な駐車枠が存在するか否かを判定する処理を迅速に行う必要がある。
【０００８】
また、このような駐車支援システムだけではなく、車両が停止した状態で画像を取得する一般的な駐車支援システムにおいても、駐車可能な駐車枠が存在するか否かを判定するまでの処理時間をできるだけ短縮することが望ましい。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、駐車枠の存在を迅速に判定することができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、画像に基づいて車両の駐車対象となる駐車枠の存在を判定する画像処理装置であって、前記車両の外部を撮影するカメラで得られた画像を取得する取得手段と、前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する前記駐車枠の第１線を検出する第１検出手段と、前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する第２検出手段と、前記第１及び前記第２検出手段の検出結果に基づいて、前記駐車枠の存在を判定する判定手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記第１領域は、前記画像の左右中央に設定される。
【００１２】
また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記第１領域の水平方向のサイズは、前記画像の水平方向のサイズの１／１０以下である。
【００１３】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記第１検出手段は、前記第１領域の水平エッジを抽出し、前記第１領域を垂直方向に分割して得られる複数の分割領域をそれぞれ階級とし、前記水平エッジとなる画素の数を度数とするヒストグラムに基づいて前記第１線を検出する。
【００１４】
また、請求項５の発明は、請求項４に記載の画像処理装置において、前記第１検出手段は、前記ヒストグラムにおいて、前記度数が第１閾値Ｔｈ１より大きい階級の数が所定値以下であり、かつ、前記度数が第２閾値Ｔｈ２（Ｔｈ１≦Ｔｈ２）より大きい階級が存在する場合に、前記第１線を検出する。
【００１５】
また、請求項６の発明は、請求項５に記載の画像処理装置において、前記第１検出手段は、前記ヒストグラムにおいて前記度数が最大となる階級の位置に基づいて、前記画像の垂直方向における前記第１線の位置を特定する。
【００１６】
また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像処理装置において、前記第１検出手段は、前記画像における前記第１線の位置を特定し、前記画像処理装置は、前記画像における前記第１線の位置を基準に、前記画像における前記２つの第２領域を設定する領域設定手段、をさらに備えている。
【００１７】
また、請求項８の発明は、請求項１ないし７のいずれかに記載の画像処理装置において、前記第２検出手段は、前記２つの第２領域のそれぞれにおいて垂直エッジを抽出し、前記２つの第２領域のそれぞれにおいて、該第２領域に含まれる全ての水平ラインのうち前記垂直エッジを含む水平ラインの割合に基づいて前記第２線を検出する。
【００１８】
また、請求項９の発明は、請求項１ないし８のいずれかに記載の画像処理装置において、前記第２検出手段は、前記２つの第２領域のそれぞれにおいて、該第２領域に含まれるエッジの方向が右上がりか右下がりかを判定し、その判定結果に基づいて前記第２線を検出する。
【００１９】
また、請求項１０の発明は、請求項１ないし９のいずれかに記載の画像処理装置において、前記第１検出手段は、前記画像における前記第１線の位置を特定し、前記画像処理装置は、前記第１線の位置に基づいて、前記画像における前記駐車枠の領域と推定される推定領域を導出する導出手段と、前記推定領域中の輝度が閾値以下となる画素の数に基づいて前記駐車枠内の駐車車両の有無を判定する車両判定手段と、をさらに備えている。
【００２０】
また、請求項１１の発明は、請求項１ないし１０のいずれかに記載の画像処理装置において、前記２つの第２領域に基づいて、前記第１線と前記第２線とを接続する２つの接続部をそれぞれ検出する第３検出手段、をさらに備えている。
【００２１】
また、請求項１２の発明は、請求項１１に記載の画像処理装置において、前記判定手段は、前記第１検出手段が前記第１線を検出したという第１条件と、前記第２検出手段が前記２つの第２線を検出したという第２条件と、前記第３検出手段が前記２つの接続部を検出したという第３条件と、の全ての条件が満足した場合に、前記駐車枠が存在すると判定する。
【００２２】
また、請求項１３の発明は、請求項１２に記載の画像処理装置において、前記判定手段は、前記第１ないし第３条件のいずれかの条件が満足しない場合には、以降の他の条件に関する処理を実行させない。
【００２３】
また、請求項１４の発明は、請求項１に記載の画像処理装置において、前記カメラは、前記車両の側方を撮影するサイドカメラである。
【００２４】
また、請求項１５の発明は、駐車支援システムであって、請求項１ないし１４のいずれかに記載の画像処理装置と、前記画像処理装置で検出された前記駐車枠への車両の駐車を支援する駐車支援装置と、を備えている。
【００２５】
また、請求項１６の発明は、画像に基づいて車両の駐車対象となる駐車枠の存在を判定する画像処理方法であって、（ａ）前記車両の外部を撮影するカメラで得られた画像を取得する工程と、（ｂ）前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する前記駐車枠の第１線を検出する工程と、（ｃ）前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する工程と、（ｄ）前記工程（ａ）及び（ｂ）の検出結果に基づいて、前記駐車枠の存在を判定する工程と、を備えている。
【００２６】
また、請求項１７の発明は、画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータに、（ａ）車両の外部を撮影するカメラで得られた画像を取得する工程と、（ｂ）前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する駐車枠の第１線を検出する工程と、（ｃ）前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する工程と、（ｄ）前記工程（ａ）及び（ｂ）の検出結果に基づいて、前記駐車枠の存在を判定する工程と、を実行させる。
【発明の効果】
【００２７】
請求項１ないし１７の発明によれば、画像の全体ではなく画像中の限られた領域に基づいて駐車枠の存在を判定する。このため、駐車枠の存在を判定するための演算量を大幅に低減でき、駐車枠の存在を迅速に判定することができる。
【００２８】
また、特に請求項２の発明によれば、画像中の歪の少ない中央の領域に基づいて第１線を検出することができる。
【００２９】
また、特に請求項３の発明によれば、第１領域の水平方向のサイズが小さいため、駐車枠の存在を判定するための演算量を大幅に低減できる。
【００３０】
また、特に請求項４の発明によれば、第１領域の分割領域をそれぞれ階級とするヒストグラムに基づいて第１線を検出するため、駐車枠の第１線がカメラの光軸に正確に直交していなくとも、駐車枠の第１線を検出することができる。
【００３１】
また、特に請求項５の発明によれば、度数が第１閾値より大きい階級の数が多い場合は第１線を検出しない。このため、他の物体が近傍に存在する駐車枠などを駐車対象とすることを防止できる。
【００３２】
また、特に請求項６の発明によれば、画像の垂直方向における第１線の位置を正確に特定できる。
【００３３】
また、特に請求項７の発明によれば、駐車枠の第１線の位置を基準に２つの第２領域を設定するため、駐車枠の第２線を検出する精度を高めることができる。
【００３４】
また、特に請求項８の発明によれば、第２領域に含まれる全ての水平ラインのうち垂直エッジを含む水平ラインの割合に基づいて第２線を検出するため、比較的長い垂直エッジがある場合に第２線を検出することができる。
【００３５】
また、特に請求項９の発明によれば、第２領域に含まれるエッジの方向が右上がりか右下がりかを判定し、その判定結果に基づいて第２線を検出するため、所定の方向に延びるエッジがある場合に第２線を検出することができる。
【００３６】
また、特に請求項１０の発明によれば、比較的低輝度の画素の数に基づいて駐車枠内の駐車車両の有無を判定するため、簡便な処理で駐車車両の有無を判定することができる。
【００３７】
また、特に請求項１１の発明によれば、第２領域に基づいて２つの接続部を検出するため、接続部を検出するための演算量を大幅に低減できる。
【００３８】
また、特に請求項１２の発明によれば、全ての条件を満足した場合に駐車枠が存在すると判定するため、駐車枠を検出する精度を向上できる。
【００３９】
また、特に請求項１３の発明によれば、第１ないし第３条件のいずれかの条件を満足しない場合には他の条件に関する処理が実行されないため、無駄な処理の実行を防止できる。
【００４０】
また、特に請求項１４の発明によれば、車両を走行させながら、車両の側方において駐車対象となる駐車枠が存在するかを判定することができる。
【００４１】
また、特に請求項１５の発明によれば、駐車枠の存在を迅速に判定し、その駐車枠への車両の駐車を支援することができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、駐車支援システムの概要を示す図である。
【図２】図２は、駐車支援システムが駐車支援を実行する場合の車両の動きを示す図である。
【図３】図３は、駐車支援システムの構成を示す図である。
【図４】図４は、車載カメラが車両に配置される位置を示す図である。
【図５】図５は、右サイドカメラで取得された画像の例を示す図である。
【図６】図６は、右サイドカメラで取得された画像の例を示す図である。
【図７】図７は、右サイドカメラで取得された画像の例を示す図である。
【図８】図８は、判定処理に用いられる画像中の領域を示す図である。
【図９】図９は、判定処理の流れを示す図である。
【図１０】図１０は、横枠線検出処理の詳細な流れを示す図である。
【図１１】図１１は、横枠線検出領域が設定された画像の例を示す図である。
【図１２】図１２は、水平エッジを抽出するためのオペレータを示す図である。
【図１３】図１３は、ヒストグラムの例を示す図である。
【図１４】図１４は、ヒストグラムの例を示す図である。
【図１５】図１５は、ヒストグラムの例を示す図である。
【図１６】図１６は、領域設定処理の詳細な流れを示す図である。
【図１７】図１７は、車両判定領域及び縦枠線検出領域の導出手法を説明する図である。
【図１８】図１８は、縦枠線検出領域が設定された画像の例を示す図である。
【図１９】図１９は、縦枠線検出処理の詳細な流れを示す図である。
【図２０】図２０は、垂直エッジを抽出するためのオペレータを示す図である。
【図２１】図２１は、右上がりのエッジの一部を模式的に示す図である。
【図２２】図２２は、右下がりのエッジの一部を模式的に示す図である。
【図２３】図２３は、車両判定処理の詳細な流れを示す図である。
【図２４】図２４は、駐車枠に駐車車両がない場合の画像の例を示す図である。
【図２５】図２５は、駐車枠に駐車車両がある場合の画像の例を示す図である。
【図２６】図２６は、画像中の左側の接続部の近傍を拡大して示す図である。
【図２７】図２７は、接続部検出処理の詳細な流れを示す図である。
【図２８】図２８は、Ｈａａｒ−Ｌｉｋｅ特徴を示す図である。
【図２９】図２９は、Ｈａａｒ−Ｌｉｋｅ特徴を示す図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００４４】
＜１．システムの概要＞
図１は、本実施の形態に係る駐車支援システム１０の概要を示す図である。駐車支援システム１０は、自動車などの車両９に搭載され、車両９の駐車枠内への駐車を支援する駐車支援機能を有している。駐車支援システム１０は、車両９の近傍に存在する駐車枠の存在を判定し、駐車可能な駐車枠が存在する場合は車両９の挙動を制御して当該駐車枠内に車両を自動的に移動させる。以下、駐車支援システム１０が搭載される車両９を「自車両」という。
【００４５】
駐車支援システム１０は、複数の車載カメラ５と、画像処理装置２と、駐車支援装置３とを備えている。画像処理装置２と駐車支援装置３とは通信ケーブル等を介して相互に通信可能となっている。
【００４６】
複数の車載カメラ５は、自車両９の外部を撮影して、自車両９の周囲の様子を示す画像を取得する。画像処理装置２は、複数の車載カメラ５の一つで得られた画像に基づいて駐車可能な駐車枠が存在するか否かを判定し、駐車可能な駐車枠が存在する場合は駐車枠の位置を特定する。そして、駐車支援装置３は、自車両９のステアリング及びブレーキなどを制御して当該駐車枠に自車両９を移動させる。
【００４７】
駐車支援システム１０は、動作モードとして、このような駐車支援を実行する駐車支援モードとともに、自車両９の外部の様子を示す画像を表示する画像表示モードを備えている。駐車支援システム１０は、通常は、画像表示モードとなっている。画像表示モードでは、駐車支援システム１０は、ユーザ（代表的にはドライバ）に選択された車載カメラ５で得られた画像を、画像処理装置２が備えるディスプレイ２２に表示させる。このような画像表示モードにおいてユーザから駐車支援の指示がある場合は、駐車支援システム１０は、駐車支援モードに移行して駐車支援機能を有効化する。
【００４８】
駐車支援システム１０は、並列駐車及び縦列駐車のいずれの駐車支援も実行することが可能であるが、以下では縦列駐車の駐車支援を実行する場合について具体的に説明する。
【００４９】
図２は、駐車支援システム１０が縦列駐車の駐車支援を実行する場合の自車両９の動きを示す図である。以下、図２を参照して、駐車支援システム１０が実行する駐車支援の概要について説明する。
【００５０】
まず、ユーザが、駐車枠ＰＦの長手方向と自車両９の前後方向とがおよそ平行となるように自車両９を停車させる（ステップＳ１）。この際、最終的に駐車対象となる駐車枠ＰＦの位置と自車両９の位置とは離れていてよい。また、駐車枠ＰＦの長手方向と自車両９の前後方向とは、およそ平行であればよく、完全に平行である必要はない。この状態で、ユーザは、駐車支援システム１０に対して、並列駐車及び縦列駐車のいずれの駐車支援を実行するかを指示する。図２の場合は、ユーザは縦列駐車の駐車支援を指示することになる。
【００５１】
ユーザから駐車支援の実行の指示がなされると、駐車支援システム１０の駐車支援装置３が、自車両９のブレーキを制御して自車両９を直進させる（ステップＳ２）。これにより、自車両９は、駐車枠ＰＦの長手方向におよそ平行に走行することになる。
【００５２】
このような自車両９の走行中において、駐車支援システム１０の画像処理装置２が、駐車可能な駐車枠ＰＦが存在するか否かを判定する。画像処理装置２は、自車両９の側方に向けられた車載カメラ５（図２では、右サイドカメラ５Ｒ）で得られた画像に基づいて駐車枠ＰＦの存在を判定する判定処理を実行する。車載カメラ５は所定周期（例えば、１／３０秒周期）で画像を取得し、画像処理装置２は画像が取得されるごとに判定処理を実行する。そして、画像処理装置２は、車載カメラ５の光軸の方向に駐車車両９９が無い駐車枠ＰＦがある場合に、駐車可能な駐車枠ＰＦが存在すると判定する。
【００５３】
画像処理装置２は、駐車可能な駐車枠ＰＦが存在すると判定した場合は、駐車枠ＰＦの位置（自車両９に対する相対的な位置）を特定し、特定した駐車枠ＰＦの位置を駐車支援装置３に受け渡す（ステップＳ３）。これに応答して、駐車支援装置３は自車両９のブレーキを制御して自車両９を停車させる。これにより、自車両９は、駐車可能と判定された駐車枠ＰＦの近傍に停車する。また、駐車支援システム１０は、画像処理装置２のディスプレイ２２を介して、駐車可能な駐車枠ＰＦが検出された旨をユーザに通知し、当該駐車枠ＰＦに自車両９を駐車させるか否かをユーザに問い合わせる。
【００５４】
この問い合わせにより、ユーザは駐車枠ＰＦや周辺状況を自分の目で確認して、当該駐車枠ＰＦに自車両９を駐車させるか否かを判断する。そして、ユーザが駐車させる指示を駐車支援システム１０に行った場合は、駐車支援装置３が自車両９の挙動を制御して自車両９を駐車枠ＰＦ内に移動させる（ステップＳ４）。駐車支援装置３は、まず、画像処理装置２に特定された駐車枠ＰＦの位置に基づいて、自車両９を駐車枠ＰＦ内に移動させるための移動経路Ｋを導出する。そして、駐車支援装置３は、自車両９のステアリング及びギア等を制御して、移動経路Ｋに沿うように自車両９を移動させる。自車両９が駐車枠ＰＦ内に移動すると、駐車支援装置３はブレーキを制御して自車両９を停車させる。このようにして、駐車支援システム１０は、駐車枠ＰＦ内に自車両９を駐車させることになる。
【００５５】
＜２．システムの構成＞
次に、駐車支援システム１０の構成について説明する。図３は、駐車支援システム１０の構成を示す図である。前述のように、駐車支援システム１０は、複数の車載カメラ５と、画像処理装置２と、駐車支援装置３とを備えている。
【００５６】
駐車支援装置３は、例えば、ＥＣＵ（(Electric Control Unit）であり、自車両９の適位置に配置される。駐車支援装置３は、経路導出部３１と車両誘導部３２とを備えている。これら経路導出部３１と車両誘導部３２とは、例えば、ＣＰＵがプログラムに従って演算処理を行うことにより実現される。
【００５７】
経路導出部３１は、画像処理装置２から受け渡された駐車枠ＰＦの位置に基づいて、自車両９を現在の位置から駐車枠ＰＦ内まで移動させるための移動経路Ｋを導出する。また、車両誘導部３２は、自車両９の挙動を制御して、導出された移動経路Ｋに沿うように自車両９を移動させる。車両誘導部３２は、車内ＬＡＮ９０を介して、ステアリングを制御するステアリングシステム９１、ブレーキを制御するブレーキシステム９２及びギアを制御するギアシステム９３と接続されている。車両誘導部３２は、これらのシステム９１〜９３に信号を送信することにより、自車両９の挙動を制御する。
【００５８】
複数の車載カメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両９の周辺の様子を示す画像を電子的に取得する。複数の車載カメラ５はそれぞれ、自車両９の車室外の適位置に配置され、取得した画像を画像処理装置２に入力する。複数の車載カメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両９の異なる位置に配置され、自車両９の外部の異なる方向を撮影する。
【００５９】
図４は、車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒが自車両９に配置される位置を示す図である。フロントカメラ５Ｆは、自車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは自車両９の前方（直進方向）に向けられている。バックカメラ５Ｂは、自車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは自車両９の後方（直進方向の逆方向）に向けられている。左サイドカメラ５Ｌは自車両９の左側のサイドミラー９５Ｌに設けられ、その光軸５Ｌａは自車両９の左側方（直進方向の直交方向）に向けられている。また、右サイドカメラ５Ｒは自車両９の右側のサイドミラー９５Ｒに設けられ、その光軸５Ｒａは自車両９の右側方（直進方向の直交方向）に向けられている。
【００６０】
これらの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角のレンズが採用され、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのそれぞれは例えば１８０度以上の画角θを有している。このため、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、自車両９の全周囲を撮影することが可能となっている。
【００６１】
図３に戻り、画像処理装置２は、ディスプレイ２２と、操作部２３と、記憶部２４と、制御部２１とを備えている。
【００６２】
ディスプレイ２２は、例えば、液晶パネルなどを備えた薄型の表示装置である。ディスプレイ２２は、制御部２１から出力された画像を表示する。画像処理装置２は、このディスプレイ２２の表示画面がユーザから視認可能なように、車室内のインストルメントパネルなどに配置される。
【００６３】
操作部２３は、ユーザが直接的に操作可能な部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２２の表示画面に重ねて設けられ、操作ボタンはディスプレイ２２の表示画面の周囲に設けられる。ユーザが操作部２３を操作した場合は、その操作内容を示す信号が制御部２１に入力され、制御部２１が操作内容に応じたユーザの指示を受け付ける。ユーザは、操作部２３を介して、動作モードの切り替え指示や駐車支援の実行の指示などの各種の指示を駐車支援システム１０に行うことが可能である。
【００６４】
記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、制御部２１の処理に必要な各種の情報を記憶する。記憶部２４は、例えば、ファームウェアとなるプログラム２４ａを記憶している。画像処理装置２は、プログラムが記憶されたコンピュータ読み取り可能なメモリカードなどの記憶媒体８からカードリーダ（図示せず）を介して読み出すことで、このようなプログラム２４ａを取得できるようになっている。
【００６５】
また、制御部２１は、画像処理装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１は、各種の画像処理機能を有している。図中に示す、表示制御部４１、画像取得部４２、領域設定部４３、横枠線検出部４４、縦枠線検出部４５、車両判定部４６、接続部検出部４７及び駐車枠判定部４８は、制御部２１が備える画像処理機能の一部である。これらの画像処理機能は、記憶部２４に記憶されたプログラム２４ａに従ってＣＰＵが演算処理を行うことで実現される。
【００６６】
画像取得部４２は、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２４は、４つの車載カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのいずれかの画像を選択的に取得することができる。画像取得部２４は、また、取得した画像に対して、ノイズの除去や明るさの調整などの一般的な画像処理を行うことが可能である。
【００６７】
表示制御部４１は、ディスプレイ２２に画像を出力して、ディスプレイ２２に画像を表示させる。画像表示モードでは、表示制御部４１は、画像取得部４２で取得された画像を調整して、ディスプレイ２２に画像を出力する。これにより、ユーザは、車両の周辺の様子を示す画像を確認することができる。
【００６８】
また、領域設定部４３、横枠線検出部４４、縦枠線検出部４５、車両判定部４６、接続部検出部４７及び駐車枠判定部４８は、駐車枠ＰＦの存在を判定する判定処理に係る画像処理機能である。これらの画像処理機能は、駐車支援モードにおいて有効化される。
【００６９】
領域設定部４３は、横枠線検出部４４、縦枠線検出部４５、車両判定部４６、及び、接続部検出部４７が処理の対象とする領域を画像中に設定する。また、駐車枠判定部４８は、横枠線検出部４４、縦枠線検出部４５、車両判定部４６、及び、接続部検出部４７による処理の結果に基づいて駐車対象となる駐車枠の存在を判定する。これらの画像処理機能の詳細については後述する。
【００７０】
＜３．画像＞
次に、駐車枠ＰＦの存在を判定する判定処理に用いられる画像について説明する。判定処理には、例えば、右サイドカメラ５Ｒで取得された画像が利用される。
【００７１】
図５〜図７はそれぞれ、右サイドカメラ５Ｒで取得された画像Ｇの例を示す図である。これらの画像Ｇにおいては、自車両９の右側の側方の様子が示されている。前述のように、右サイドカメラ５Ｒのレンズには魚眼レンズなどの広角のレンズが採用されるため、画像Ｇに含まれる被写体の像には歪みが生じ、その歪みの程度は画像Ｇの左右端に近いほど大きくなっている。
【００７２】
判定処理では、図５の画像Ｇのように、画像Ｇのほぼ左右中央にコの字型（Ｕ字型）の枠線（正確には枠線の像）が含まれている場合に、駐車可能な駐車枠ＰＦが存在すると判定される。
【００７３】
判定の対象となる駐車枠ＰＦは、自車両９が駐車した場合に、自車両９の前後方向（側面）に沿うことになる枠線Ｌ１と、自車両９の左右方向（前面及び背面）に沿うことになる２つの枠線Ｌ２とを含んでいる（図２も合わせて参照。）。枠線Ｌ１と２つの枠線Ｌ２とは、枠線Ｌ１の左右端部にある２つの接続部Ｌｅにおいて接続される。
【００７４】
枠線Ｌ１は右サイドカメラ５Ｒの光軸５Ｒａに略直交して延びるため（図２参照。）、枠線Ｌ１の像は画像Ｇ中のおよそ横方向に延びるように含まれる（図５参照。）。一方、２つの枠線Ｌ２は右サイドカメラ５Ｒの光軸５Ｒａに略沿って延びるため（図２参照。）、２つの枠線Ｌ２の像は画像Ｇ中のおよそ縦方向に延びるように含まれる（図５参照。）。このため、本明細書においては便宜上、枠線Ｌ１を「横枠線」、枠線Ｌ２を「縦枠線」と呼ぶ。左側の接続部Ｌｅは横枠線Ｌ１と左側の縦枠線Ｌ２とを接続し、右側の接続部Ｌｅは横枠線Ｌ１と右側の縦枠線Ｌ２とを接続する。
【００７５】
判定処理では、横枠線Ｌ１、２つの縦枠線Ｌ２及び２つの接続部Ｌｅの全てが画像Ｇに基づいて検出された場合に、駐車枠ＰＦが存在すると判定される。すなわち、横枠線Ｌ１、２つの縦枠線Ｌ２及び２つの接続部Ｌｅのいずれかが検出されなかった場合は、駐車可能な駐車枠ＰＦが存在しないと判定される。例えば、図６に示すように、画像中Ｇに横枠線Ｌ１が含まれていない場合は、駐車可能な駐車枠ＰＦが存在しないと判定される。
【００７６】
また、判定処理では、図７に示すように、画像中Ｇに駐車枠ＰＦが含まれる場合であっても、駐車枠ＰＦ内に駐車車両９９がある場合は、駐車可能な駐車枠ＰＦが存在しないと判定される。また、図７の左側に示すように、画像中Ｇに、駐車車両９９の無い駐車枠ＰＦが含まれる場合であっても、その駐車枠ＰＦの位置が画像Ｇのおよそ左右中央でない場合は、駐車可能な駐車枠ＰＦが存在しないと判定される。
【００７７】
前述した制御部２１が備える画像処理機能のうち、横枠線検出部４４が横枠線Ｌ１を検出し、縦枠線検出部４５が２つの縦枠線Ｌ２を検出し、接続部検出部４７が２つの接続部Ｌｅを検出する。また、車両判定部４６が、駐車枠ＰＦ内の駐車車両９９の有無を判定する。そして、これらの検出結果及び判定結果に基づいて、駐車枠判定部４８が駐車可能な駐車枠ＰＦが存在するか否かを判定することになる。
【００７８】
このような判定処理は、画像Ｇの全領域ではなく、画像Ｇ中の一部の領域のみに基づいて実行される。図８は、判定処理に用いられる画像Ｇ中の領域を示す図である。図８に示すように、画像Ｇ中には、１つの横枠線検出領域Ａ１と、２つの縦枠線検出領域Ａ２と、１つの車両判定領域Ａ３とが含まれている。これらの領域Ａ１，Ａ２，Ａ３は、領域設定部４３により設定される。
【００７９】
横枠線検出領域Ａ１は、横枠線検出部４４が横枠線Ｌ１の検出に用いる領域である。２つの縦枠線検出領域Ａ２は、縦枠線検出部４５が２つの縦枠線Ｌ２の検出に用いるとともに、接続部検出部４７が２つの接続部Ｌｅの検出に用いる領域である。また、車両判定領域Ａ３は、車両判定部４６が駐車枠ＰＦ内の駐車車両９９の有無の判定に用いる領域である。
【００８０】
横枠線検出領域Ａ１は、画像Ｇの垂直方向を長手方向とする長方形の領域であり、画像Ｇの左右中央に設定される。横枠線検出領域Ａ１の水平方向（短手方向）のサイズは、画像Ｇの水平方向のサイズと比較して１／１０以下であることが望ましく、１／１５以下であることがさらに望ましい。横枠線検出部４４は、横枠線検出領域Ａ１に含まれる横枠線Ｌ１の像のみに基づいて横枠線Ｌ１を検出する。これにより、横枠線検出部４４が横枠線Ｌ１を検出するための演算量を大幅に低減できる。
【００８１】
本実施の形態では、画像Ｇのサイズが横３２０×縦２４０画素（ＱＶＧＡ）であるのに対して、横枠線検出領域Ａ１のサイズは横２０×縦６０画素となっている。横枠線検出領域Ａ１は、画像Ｇ中の左右中央の所定の位置に固定的に設定される。このように横枠線検出領域Ａ１は画像Ｇ中の歪の少ない左右中央に設定されることから、比較的小さいサイズの横枠線検出領域Ａ１を用いたとしても、横枠線Ｌ１を精度高く検出することができる。横枠線検出領域Ａ１の下辺の位置は自車両９の右側面から例えば約０．８ｍの位置に相当し、横枠線検出領域Ａ１の上辺の位置は自車両９の右側面から例えば約３．０ｍの位置に相当する。
【００８２】
縦枠線検出領域Ａ２は、２辺が画像Ｇの水平方向に沿った平行四辺形の領域である。縦枠線検出領域Ａ２は、画像Ｇ中の横枠線検出領域Ａ１の左側及び右側にそれぞれ設定される。縦枠線検出部４５は、左側の縦枠線検出領域Ａ２に基づいて画像Ｇ中の左側に含まれる縦枠線Ｌ２を検出し、右側の縦枠線検出領域Ａ２に基づいて画像Ｇ中の右側に含まれる縦枠線Ｌ２を検出する。また、接続部検出部４７は、左側の縦枠線検出領域Ａ２の下半分に基づいて左側の接続部Ｌｅを検出し、右側の縦枠線検出領域Ａ２の下半分に基づいて右側の接続部Ｌｅを検出する。縦枠線検出領域Ａ２の位置は、横枠線検出領域Ａ１で検出された横枠線Ｌ１の垂直方向の位置を基準に設定される。
【００８３】
車両判定領域Ａ３は、上底及び下底となる辺が画像Ｇの水平方向に沿った略台形の領域である（厳密には、下底となる辺は直線にならないことが多い。）。車両判定領域Ａ３は、全体として画像Ｇの水平方向に延びる領域であり、画像Ｇの左右中央に設定される。車両判定領域Ａ３は、画像Ｇにおいて駐車枠ＰＦの領域と推定される推定領域に相当する。車両判定部４６は、この車両判定領域Ａ３に含まれる画素の特徴に基づいて、駐車枠ＰＦ内の駐車車両９９の有無を判定する。車両判定領域Ａ３の位置も、横枠線検出領域Ａ１で検出された横枠線Ｌ１の垂直方向の位置を基準に設定される。
【００８４】
このように駐車支援システム１０の画像処理装置２は、判定処理において、画像Ｇの全体ではなく画像Ｇ中の限られた領域Ａ１，Ａ２，Ａ３に基づいて駐車枠ＰＦの存在を判定する。したがって、駐車枠ＰＦの存在を判定するための演算量を大幅に低減できるため、画像処理装置２は駐車枠ＰＦの存在を迅速に判定できることになる。
【００８５】
＜４．判定処理＞
図９は、駐車対象となる駐車枠ＰＦの存在を判定する判定処理の流れを示す図である。図９に示す処理は、駐車支援モードに移行してユーザから駐車支援の実行の指示がなされた場合に（図２のステップＳ２）、画像処理装置２の制御部２１により実行される。また、図９に示す処理は、右サイドカメラ５Ｒが周期的に取得する画像（フレーム）のそれぞれに対して実行される。したがって、図９に示す処理は、例えば１／３０秒ごとに繰り返し実行されることになる。以下、図９に示す判定処理の流れについて説明する。以下では、最初に判定処理の全体概要について説明し、その後、必要に応じて各ステップの処理について具体的に説明する。
【００８６】
まず、判定処理の対象となる画像Ｇが、画像取得部４２により右サイドカメラ５Ｒから取得される。そして、当該画像Ｇを対象に所定の画像処理である前処理が実行される（ステップＳ１１）。具体的には、画像取得部２４が、メディアンフィルタなどを適用して画像Ｇ中のノイズを除去する。また、領域設定部４３が、画像Ｇの左右中央の所定の位置に１つの横枠線検出領域Ａ１を設定する。
【００８７】
次に、横枠線検出部４４が、横枠線Ｌ１を検出する横枠線検出処理を実行する（ステップＳ１２）。横枠線検出部４４は、画像Ｇの横枠線検出領域Ａ１に基づいて横枠線Ｌ１を検出し、検出した横枠線Ｌ１の画像Ｇの垂直方向における位置を特定する。
【００８８】
この横枠線検出処理において、横枠線検出部４４が横枠線Ｌ１を検出できなかった場合は（ステップＳ１３にてＮｏ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、そのまま判定処理を終了させる。すなわち、ステップＳ１４以降の処理は実行されない。
【００８９】
一方、横枠線検出処理において横枠線検出部４４が横枠線Ｌ１を検出した場合は（ステップＳ１３にてＹｅｓ）、次に、領域設定部４３が、画像Ｇ中に２つの縦枠線検出領域Ａ２と１つの車両判定領域Ａ３とを設定する領域設定処理を行う（ステップＳ１４）。領域設定部４３は、横枠線検出部４４に特定された横枠線Ｌ１の位置を基準に、画像Ｇ中に２つの縦枠線検出領域Ａ２と車両判定領域Ａ３とを設定する。
【００９０】
次に、縦枠線検出部４５が、２つの縦枠線Ｌ２を検出する縦枠線検出処理を実行する（ステップＳ１５）。縦枠線検出部４５は、２つの縦枠線検出領域Ａ２に基づいて２つの縦枠線Ｌ２をそれぞれ検出する。
【００９１】
この縦枠線検出処理において、縦枠線検出部４５が２つの縦枠線Ｌ２の少なくとも１つを検出できなかった場合は（ステップＳ１６にてＮｏ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、そのまま判定処理を終了させる。すなわち、ステップＳ１７以降の処理は実行されない。
【００９２】
一方、縦枠線検出部４５が２つの縦枠線Ｌ２の双方を検出した場合は（ステップＳ１６にてＹｅｓ）、次に、車両判定部４６が駐車枠ＰＦ内の駐車車両９９の有無を判定する車両判定処理を実行する（ステップＳ１７）。車両判定部４６は、車両判定領域Ａ３に基づいて駐車車両９９の有無を判定する。
【００９３】
この車両判定処理において、車両判定部４６が駐車車両９９があると判定した場合は（ステップＳ１８にてＹｅｓ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、そのまま判定処理を終了させる。すなわち、ステップＳ１９以降の処理は実行されない。
【００９４】
一方、車両判定部４６が駐車車両９９がないと判定した場合は（ステップＳ１８にてＮｏ）、次に、接続部検出部４７が、２つの接続部Ｌｅを検出する接続部検出処理を実行する（ステップＳ１９）。接続部検出部４７は、２つの縦枠線検出領域Ａ２に基づいて２つの接続部Ｌｅをそれぞれ検出する。
【００９５】
この接続部検出処理において、接続部検出部４７が２つの接続部Ｌｅの少なくとも１つを検出できなかった場合は（ステップＳ２０にてＮｏ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、そのまま判定処理を終了させる。
【００９６】
一方、接続部検出部４７が２つの接続部Ｌｅの双方を検出した場合は（ステップＳ２０にてＹｅｓ）、駐車枠判定部４８が駐車可能な駐車枠ＰＦが存在すると判定する（ステップＳ２１）。
【００９７】
次に、駐車枠判定部４８は、検出された横枠線Ｌ１の位置及び２つの接続部Ｌｅの位置に基づいて駐車枠ＰＦの位置を特定する。そして、駐車枠判定部４８は、特定した駐車枠ＰＦの位置を、駐車支援装置３に送信する（ステップＳ２２）。
【００９８】
このように判定処理においては、以下の４条件Ａ〜Ｄを満足するか否かが順次に判断され、全ての条件を満足した場合に、駐車枠判定部４８が駐車可能な駐車枠ＰＦが存在すると判定する。
【００９９】
条件Ａ：横枠線検出処理（ステップＳ１２）において、横枠線検出部４４が横枠線Ｌ１を検出した。
【０１００】
条件Ｂ：縦枠線検出処理（ステップＳ１５）において、縦枠線検出部４５が２つの縦枠線Ｌ２の双方を検出した。
【０１０１】
条件Ｃ：車両判定処理（ステップＳ１７）において、車両判定部４６が駐車車両９９がないと判定した。
【０１０２】
条件Ｄ：接続部検出処理（ステップＳ１９）において、接続部検出部４７が２つの接続部Ｌｅの双方を検出した。
【０１０３】
また一方で、上記４条件のいずれかの条件が満足しない場合には、駐車枠判定部４８は駐車可能な駐車枠ＰＦは存在しないと判定し（ステップＳ２３）、以降の他の条件に関する処理を実行させずにそのまま判定処理を終了させる。これにより、無駄な処理の実行が防止されるようになっている。
【０１０４】
以下、横枠線検出処理（ステップＳ１２）、領域設定処理（ステップＳ１４）、縦枠線検出処理（ステップＳ１５）、車両判定処理（ステップＳ１７）及び接続部検出処理（ステップＳ１９）のそれぞれについて具体的に説明する。
【０１０５】
＜４−１．横枠線検出処理＞
まず、横枠線検出部４４が横枠線Ｌ１を検出する横枠線検出処理（図９のステップＳ１２）について具体的に説明する。図１０は、横枠線検出処理の詳細な流れを示す図である。この横枠線検出処理の開始時点においては、図１１に示すように、画像Ｇ中に横枠線検出領域Ａ１が領域設定部４３により設定されている。
【０１０６】
まず、横枠線検出部４４は、横枠線検出領域Ａ１中の水平エッジを抽出する（ステップＳ３１）。横枠線検出部４４は、例えば、図１２に示す横３×縦３の係数を含むオペレータＭ１を用いたソーベルフィルタを適用することで、水平エッジを抽出する。
【０１０７】
横枠線検出部４４は、注目画素を中心とした横３×縦３画素の矩形領域を選択する。そして、横枠線検出部４４は、選択した矩形領域とオペレータＭ１とで重なる位置のそれぞれにおいて画素の値（例えば、輝度）と係数とを乗算し、その乗算結果の合計値を注目画素の新たな値とする。横枠線検出部４４は、横枠線検出領域Ａ１に含まれる全て画素を順次に注目画素としてこの演算を繰り返し実行する。そして、横枠線検出部４４は、演算結果が正となり、かつ、所定の閾値を超える画素を、水平エッジの一部の画素として抽出する。
【０１０８】
これにより、上側が比較的明るく下側が比較的暗くなる位置に形成される水平エッジが抽出されることになる。一般に、画像Ｇにおいて、白線などである駐車枠ＰＦの部分は比較的明るくなり、アスファルトなどである駐車枠ＰＦ以外の部分は比較的暗くなる。したがって、この処理により、画像Ｇ中の横枠線Ｌ１の下端部が、水平エッジとして抽出されることになる。
【０１０９】
次に、横枠線検出部４４は、水平エッジの一部とされた画素の数を度数とするヒストグラム（度数分布）を生成する（ステップＳ３２）。横枠線検出部４４は、図１１に示すように、横枠線検出領域Ａ１を垂直方向に等分に分割し、複数の分割領域Ａｄを形成する。本実施の形態では、横枠線検出部４４は、横枠線検出領域Ａ１を６つの分割領域Ａｄに分割する。そして、横枠線検出部４４は、図１３に示すように、６つの分割領域Ａｄのそれぞれを階級とし、各階級（すなわち、各分割領域Ａｄ）に含まれる水平エッジの一部とされた画素の数を度数とするヒストグラムＨを生成する。
【０１１０】
このヒストグラムＨは、横枠線検出領域Ａ１における水平エッジの垂直方向での分布を示している。図１３〜図１５は、このようにして生成されたヒストグラムＨの例をそれぞれ示している。これらの図では、ヒストグラムＨの階級を縦軸、度数を横軸で示している。
【０１１１】
次に、横枠線検出部４４は、生成したヒストグラムＨを参照して、度数が所定の第１閾値Ｔｈ１より大きい階級の数（以下、「第１カウント値」という。）Ｃ１を計数する（ステップＳ３３）。第１閾値Ｔｈ１は、例えば「５０」とされる。図１３の例の場合は、２つの階級で度数が第１閾値Ｔｈ１を超えるため、第１カウント値Ｃ１は「２」となる。また、図１４の例の場合は、５つの階級で度数が第１閾値Ｔｈ１を超えるため、第１カウント値Ｃ１は「５」となる。さらに、図１５の例の場合は、２つの階級で度数が第１閾値Ｔｈ１を超えるため、第１カウント値Ｃ１は「２」となる。
【０１１２】
次に、横枠線検出部４４は、第１カウント値Ｃ１が所定値以下か否かを判定する（ステップＳ３４）。本実施例では、所定値は例えば「２」とされる。そして、横枠線検出部４４は、第１カウント値Ｃ１が所定値「２」を超える場合は（ステップＳ３４にてＮｏ）、横枠線Ｌ１は不検出と判断して（ステップＳ３８）横枠線検出処理を終了する。例えば、図１４の場合は、第１カウント値Ｃ１が「５」であるため、横枠線Ｌ１は不検出と判断される。
【０１１３】
このように第１カウント値Ｃ１が比較的多い場合は、駐車枠ＰＦ以外の模様（例えば、縞模様）や、障害物などの他の物体が存在する可能性が高い。このため、このような場合に、横枠線Ｌ１は不検出と判断することにより、駐車枠ＰＦ以外の模様や、他の物体が近傍に存在する駐車枠ＰＦなどを駐車対象とすることを防止できる。
【０１１４】
また、第１カウント値Ｃ１が所定値「２」以下の場合は（ステップＳ３４にてＹｅｓ）、次に、横枠線検出部４４は、ヒストグラムＨを参照して、度数が所定の第２閾値Ｔｈ２より大きい階級が存在するか否かを判定する（ステップＳ３５）。第２閾値Ｔｈ２は第１閾値Ｔｈ１以上の値（Ｔｈ１≦Ｔｈ２）であり、例えば「８０」とされる。
【０１１５】
そして、横枠線検出部４４は、度数が第２閾値Ｔｈ２より大きい階級が存在しない場合は（ステップＳ３５にてＮｏ）、横枠線Ｌ１は不検出と判断して（ステップＳ３８）横枠線検出処理を終了する。例えば、図１５の場合は、度数が第２閾値Ｔｈ２より大きい階級が無いため、横枠線Ｌ１は不検出と判断される。このように、度数が第２閾値Ｔｈ２より大きい階級が無い場合は、明確な水平エッジが存在しない場合であるため、横枠線Ｌ１は不検出と判断される。
【０１１６】
また、度数が第２閾値Ｔｈ２より大きい階級が存在する場合は（ステップＳ３５にてＹｅｓ）、横枠線検出部４４は、横枠線Ｌ１を検出したと判断する（ステップＳ３６）。例えば、図１３の場合は、度数が第２閾値Ｔｈ２より大きい階級があるため、横枠線Ｌ１を検出したと判断される。
【０１１７】
続いて、横枠線検出部４４は、画像Ｇの垂直方向における横枠線Ｌ１の位置を特定する（ステップＳ３７）。横枠線検出部４４は、ヒストグラムＨを参照して度数が最大となる階級を特定する。そして、横枠線検出部４４は、この階級に対応する画像Ｇ中の分割領域Ａｄの垂直方向の中央位置を、横枠線Ｌ１の位置として特定する。このように度数が最大となる階級の位置に基づいて横枠線Ｌ１の位置を特定するため、横枠線Ｌ１の位置を正確に特定することができる。
【０１１８】
このように横枠線検出処理においては、横枠線検出領域Ａ１の複数の分割領域Ａｄをそれぞれ階級とするヒストグラムＨを用いる。これらの分割領域Ａｄは垂直方向に幅があるため、横枠線Ｌ１が右サイドカメラ５Ｒの光軸５Ｒａに正確に直交していなくとも、横枠線Ｌ１に係る水平エッジをヒストグラムＨの度数に反映させることができる。したがって、自車両９の前後方向と駐車枠ＰＦの長手方向とが正確に平行でなくとも、駐車枠ＰＦの横枠線Ｌ１を正しく検出できることになる。
【０１１９】
＜４−２．領域設定処理＞
次に、領域設定部４３が、画像Ｇ中に処理の対象とする領域Ａ２，Ａ３を設定する領域設定処理（図９のステップＳ１４）について具体的に説明する。図１６は、領域設定処理の詳細な流れを示す図である。この領域設定処理の開始時点においては、画像Ｇ中の垂直方向の横枠線Ｌ１の位置が横枠線検出部４４により特定されている。
【０１２０】
まず、領域設定部４３が、画像Ｇ中に車両判定領域Ａ３を設定する（ステップＳ４１）。前述のように、車両判定領域Ａ３は、画像Ｇの左右中央に設定される略台形の領域であり、駐車枠ＰＦの領域と推定される推定領域に相当する。領域設定部４３は、画像Ｇ中の垂直方向の横枠線Ｌ１の位置に基づいて、この推定領域を導出する。
【０１２１】
図１７の上部は、領域設定部４３が、車両判定領域Ａ３を導出する手法を説明する図である。図に示すように、画像Ｇ中の各位置は、左上端部を原点、水平方向をＸ軸（右側を正）、垂直方向をＹ軸（下側を正）とする直交２次元座標によって表される。
【０１２２】
車両判定領域Ａ３の下底ｈ１の中央部ＰＯのＹ座標（画像Ｇの上端からのＹ軸方向の長さ）Ｙ０は、横枠線検出部４４に特定された横枠線Ｌ１の垂直方向の位置に対応する。したがって、車両判定領域Ａ３の下底ｈ１の中央部ＰＯのＹ座標Ｙ０は、既知である。
【０１２３】
車両判定領域Ａ３の導出に際してまず、領域設定部４３は、車両判定領域Ａ３の下底ｈ１の２つの端部Ｐ１のＹ座標Ｙ１を導出する。このＹ座標Ｙ１は、中央部ＰＯのＹ座標Ｙ０に基づいて次の式（１）によって導出される。
【０１２４】
Ｙ１ ＝ ０．５６６５ × Ｙ０ ＋ ９７．３５２ …（１）
次に、領域設定部４３は、車両判定領域Ａ３の上底ｈ２の２つの端部Ｐ２のＹ座標Ｙ２を導出する。このＹ座標Ｙ２は、下底ｈ１の端部Ｐ１のＹ座標Ｙ１に基づいて次の式（２）によって導出される。
【０１２５】
Ｙ２ ＝ ０．４６３７ × Ｙ１ ＋ ７３．６２１ …（２）
次に、領域設定部４３は、車両判定領域Ａ３の下底ｈ１の幅（Ｘ軸方向の長さ）Ｗ１を導出する。この下底ｈ１の幅Ｗ１は、下底ｈ１の端部Ｐ１のＹ座標Ｙ１に基づいて次の式（３）によって導出される。
【０１２６】
Ｗ１ ＝ １．６０６２ × Ｙ１ ＋ ３０．４３４ …（３）
さらに、領域設定部４３は、車両判定領域Ａ３の上底ｈ２の幅Ｗ２を導出する。この上底ｈ２の幅Ｗ２は、上底ｈ２の端部Ｐ２のＹ座標Ｙ２に基づいて次の式（４）によって導出される。
【０１２７】
Ｗ２ ＝ １．６０６２ × Ｙ２ ＋ ３０．４３４ …（４）
領域設定部４３は、これらの式（１）〜（４）の演算を行うことにより、略台形となる車両判定領域Ａ３の４角Ｐ１，Ｐ１，Ｐ２，Ｐ２の位置を導出する。すなわち、領域設定部４３は、車両判定領域Ａ３を導出することになる。これらの式（１）〜（４）は、試行を繰り返すことで得られたものである。
【０１２８】
このようにして車両判定領域Ａ３は、画像Ｇ中の垂直方向の横枠線Ｌ１の位置を基準に設定される。横枠線Ｌ１の位置が画像Ｇ中の下方になるほど車両判定領域Ａ３は画像Ｇ中の下方に設定され、横枠線Ｌ１の位置が画像Ｇ中の上方になるほど車両判定領域Ａ３は画像Ｇ中の上方に設定されることになる。
【０１２９】
次に、領域設定部４３は、画像Ｇ中に２つの縦枠線検出領域Ａ２を設定する（ステップＳ４２）。領域設定部４３は、車両判定領域Ａ３の位置に基づいて、２つの縦枠線検出領域Ａ２を導出することになる。
【０１３０】
図１７の下部は、領域設定部４３が、２つの縦枠線検出領域Ａ２を導出する手法を説明する図である。領域設定部４３は、車両判定領域Ａ３の左側の辺ｈ３を左右それぞれ同距離（例えば１０画素）ずつＸ軸方向に移動させて２つの直線ｈ３ａ，ｈ３ｂを設定する。そして、この２つの直線ｈ３ａ，ｈ３ｂを２辺とする平行四辺形を、左側の縦枠線検出領域Ａ２として設定する。同様に、領域設定部４３は、車両判定領域Ａ３の右側の辺ｈ４を左右それぞれ同距離（例えば１０画素）ずつＸ軸方向に移動させて２つの直線ｈ４ａ，ｈ４ｂを設定する。そして、この２つの直線ｈ４ａ，ｈ４ｂを２辺とする平行四辺形を右側の縦枠線検出領域Ａ２として設定する。したがって、２つの縦枠線検出領域Ａ２は、画像Ｇの中央に関して左右対称に設定される。
【０１３１】
これにより縦枠線検出領域Ａ２も、画像Ｇ中の垂直方向の横枠線Ｌ１の位置を基準に設定されることになる。このため、横枠線Ｌ１の位置が画像Ｇ中の下方になるほど縦枠線検出領域Ａ２は画像Ｇ中の下方に設定され、横枠線Ｌ１の位置が画像Ｇ中の上方になるほど縦枠線検出領域Ａ２は画像Ｇ中の上方に設定される。これにより、縦枠線Ｌ２を検出する精度を高めることができる。また、縦枠線Ｌ２を検出するための縦枠線検出領域Ａ２を比較的小さなサイズにすることができる。
【０１３２】
＜４−３．縦枠線検出処理＞
次に、縦枠線検出部４５が、２つの縦枠線Ｌ２を検出する縦枠線検出処理（図９のステップＳ１５）について具体的に説明する。縦枠線検出処理の開始時点においては、図１８に示すように、画像Ｇ中に２つの縦枠線検出領域Ａ２が領域設定部４３により設定されている。縦枠線検出部４５は、左側の縦枠線検出領域Ａ２に基づいて左側の縦枠線Ｌ２を、右側の縦枠線検出領域Ａ２に基づいて右側の縦枠線Ｌ２をそれぞれ検出することになる。
【０１３３】
左側の縦枠線Ｌ２を検出するための処理と、右側の縦枠線Ｌ２を検出するための処理とは左右が反対となる以外は同一である。このため以下では、縦枠線検出処理として、左側の縦枠線Ｌ２を検出するための処理を代表的に説明する。図１９は、左側の縦枠線Ｌ２を検出するための処理の流れを示す図である。
【０１３４】
まず、縦枠線検出部４５が、縦枠線検出領域Ａ２中の垂直エッジを抽出する（ステップＳ５１）。縦枠線検出部４５は、例えば、図２０に示す横３×縦３の係数を含むオペレータＭ２を用いたソーベルフィルタを適用することで、垂直エッジを抽出する。
【０１３５】
縦枠線検出部４５は、注目画素を中心とした横３×縦３画素の矩形領域を選択する。そして、縦枠線検出部４５は、選択した矩形領域とオペレータＭ２とで重なる位置のそれぞれにおいて画素の値（例えば、輝度）と係数とを乗算し、その乗算結果の合計値を注目画素の新たな値とする。縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれる全て画素を順次に注目画素としてこの演算を繰り返し実行する。そして、縦枠線検出部４５は、演算結果が正となり、かつ、所定の閾値を超える画素を、垂直エッジの一部の画素として抽出する。
【０１３６】
これにより、左側が比較的明るく右側が比較的暗くなる位置に形成される垂直エッジが抽出されることになる。したがって、この処理により、画像Ｇ中の縦枠線Ｌ２の右端部が、垂直エッジとして抽出される。
【０１３７】
次に、縦枠線検出部４５は、縦枠線検出領域Ａ２において、垂直エッジが存在する水平ラインの数を計数する（ステップＳ５２）。縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれる全ての水平ラインのうちで、垂直エッジの一部とされた画素を含む水平ラインの数（以下、「第２カウント値」という。）Ｃ２を計数する。
【０１３８】
次に、縦枠線検出部４５は、第２カウント値Ｃ２が全ての水平ラインの１０％以上であるか否かを判定する（ステップＳ５３）。そして、縦枠線検出部４５は、第２カウント値Ｃ２が全ての水平ラインの１０％未満の場合は（ステップＳ５３にてＮｏ）、縦枠線Ｌ２は不検出と判断して（ステップＳ５７）縦枠線検出処理を終了する。これにより、比較的短い垂直エッジのみが存在する場合は、縦枠線Ｌ２は不検出と判断される。つまり、比較的長い垂直エッジがある場合に縦枠線Ｌ２を検出することができる。
【０１３９】
また、第２カウント値Ｃ２が全ての水平ラインの１０％以上である場合は（ステップＳ５３にてＹｅｓ）、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右上がり」か「右下がり」かを判定する（ステップＳ５４）。
【０１４０】
エッジの方向を判定する際には、縦枠線検出部４５は、垂直エッジの一部とされた画素のそれぞれに対して、水平エッジの抽出に用いる図１２のオペレータＭ１を適用する。そして、縦枠線検出部４５は、その演算結果の正負に基づいて、当該画素が「右上がり」のエッジの一部か「右下がり」のエッジの一部かを判断する。
【０１４１】
図２１及び図２２はそれぞれ、エッジの一部を模式的に示す図である。図２１は「右上がり」のエッジＥ１の一部を示し、図２１は「右下がり」のエッジＥ２の一部を示している。また、図中では、水平方向及び垂直方向に沿った２つの矢印ＡＲ１，ＡＲ２を示している。これらの矢印ＡＲ１，ＡＲ２は、エッジを境界として明るい側に向かう方向を示している。
【０１４２】
図２０に示すオペレータＭ２を用いた場合は、エッジの左側が明るくなる場合に演算結果が正となる。垂直エッジの一部とされた画素は、このオペレータＭ２を用いて演算結果が正となった画素である。したがって、この画素に係るエッジの左側は明るくなっている（矢印ＡＲ１が左向きとなる）。この場合において、図２１に示すように、「右上がり」のエッジＥ１の場合は、そのエッジＥ１の上側が明るくなる（矢印ＡＲ２が上向き）。一方で、図２２に示すように、「右下がり」のエッジＥ２の場合は、そのエッジＥ２の下側が明るくなる（矢印ＡＲ２が下向き）。
【０１４３】
エッジの上側及び下側のいずれが明るいかは、図１２に示すオペレータＭ１を用いた演算結果で判断できる。すなわち、オペレータＭ１を用いた演算結果は、エッジの上側が明るいときには正となり、エッジの下側が明るいときには負となる。このため、縦枠線検出部４５は、オペレータＭ１を用いた演算結果が正であれば、当該画素は「右上がり」のエッジの一部と判断する。一方、縦枠線検出部４５は、オペレータＭ１を用いた演算結果が負であれば、当該画素は「右下がり」のエッジの一部と判断する。
【０１４４】
縦枠線検出部４５は、このような判断を、垂直エッジの一部とされた画素のそれぞれに関して実行する。そして、縦枠線検出部４５は、「右上がり」のエッジの一部と判断された画素の数が、「右下がり」のエッジの一部と判断された画素の数よりも多い場合は、縦枠線検出領域Ａ２に含まれるエッジの方向は「右上がり」と判定する。一方、縦枠線検出部４５は、「右上がり」のエッジの一部と判断された画素の数が、「右下がり」のエッジの一部と判断された画素の数よりも少ない場合は、縦枠線検出領域Ａ２に含まれるエッジの方向は「右下がり」と判定する。
【０１４５】
そして、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右上がり」である場合は（ステップＳ５５にてＹｅｓ）、縦枠線Ｌ２を検出したと判断する（ステップＳ５６）。一方、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右下がり」である場合は（ステップＳ５５にてＮｏ）、縦枠線Ｌ２は不検出と判断する（ステップＳ５７）。
【０１４６】
左側の縦枠線Ｌ２は、画像Ｇ中において「右上がり」の方向に延びるはずである。このため、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右上がり」である場合に、縦枠線Ｌ２を検出したと判断することになる。このように、縦枠線検出部４５は、縦枠線検出領域Ａ２に含まれるエッジの方向が「右上がり」か「右下がり」かを判定し、その判定結果に基づいて縦枠線Ｌ２を検出するため、比較的簡便な処理で縦枠線Ｌ２を検出することができる。なお、右側の縦枠線Ｌ２を検出する場合においては、縦枠線検出領域Ａ２に含まれるエッジの方向が「右下がり」である場合に、縦枠線Ｌ２を検出したと判断すればよい。
【０１４７】
＜４−４．車両判定処理＞
次に、車両判定部４６が駐車枠ＰＦ内の駐車車両９９の有無を判定する車両判定処理（図９のステップＳ１７）について具体的に説明する。図２３は、車両判定処理の詳細な流れを示す図である。この車両判定処理の開始時点においては、図２４に示すように、画像Ｇ中に車両判定領域Ａ３が領域設定部４３により設定されている。
【０１４８】
まず、車両判定部４６は、車両判定領域Ａ３中の比較的低輝度の画素の数を計数する（ステップＳ６１）。車両判定部４６は、車両判定領域Ａ３に含まれる全ての画素のうちで、輝度が所定の閾値以下となる低輝度画素の数（以下、「第３カウント値」という。）Ｃ３を計数する。この閾値は、例えば、輝度が８ビット（０〜２５５）で表現される場合、「３０」とされる。
【０１４９】
次に、車両判定部４６は、第３カウント値が所定値以上か否かを判定する（ステップＳ６２）。本実施例では、所定値は例えば「３００」とされる。そして、車両判定部４６は、第３カウント値Ｃ３が所定値「３００」以上の場合は（ステップＳ６２にてＹｅｓ）、駐車枠ＰＦ内に駐車車両９９があると判定する（ステップＳ６３）。一方、車両判定部４６は、第３カウント値Ｃ３が所定値「３００」未満の場合は（ステップＳ６２にてＮｏ）、駐車枠ＰＦ内に駐車車両９９がないと判定する（ステップＳ６４）。
【０１５０】
低輝度画素は、人間の感覚として非常に暗い画素である。図２４に示すように、駐車枠ＰＦ内に駐車車両９９がない場合は、車両判定領域Ａ３中にこのような低輝度画素はあまり含まれない。これに対して、図２５に示すように、駐車枠ＰＦ内に駐車車両９９がある場合は、車両判定領域Ａ３の付近に駐車車両９９の影及びタイヤに対応する非常に暗い領域Ａｓが存在し、この領域Ａｓに多くの低輝度画素が含まれている。
【０１５１】
したがって、車両判定部４６は、車両判定領域Ａ３にこのような低輝度画素が比較的多く含まれる場合は、駐車枠ＰＦ内に駐車車両９９があると判定することになる。このように、車両判定部４６は、低輝度画素の数に基づいて駐車枠ＰＦ内の駐車車両９９の有無を判定するため、非常に簡便な処理で駐車車両９９の有無を判定することができる。なお、一般に、多くの低輝度画素が含まれる領域Ａｓは、車両判定領域Ａ３の上半分に表れる（図２５参照。）。このため、車両判定領域Ａ３の上半分のみを対象に、車両判定処理を行うようにしてもよい。
【０１５２】
＜４−５．接続部検出処理＞
次に、接続部検出部４７が２つの接続部Ｌｅを検出する接続部検出処理（図９のステップＳ１９）について具体的に説明する。接続部検出処理の開始時点においては、図１８に示すように、画像Ｇ中に２つの縦枠線検出領域Ａ２が領域設定部４３により設定されている。接続部検出部４７は、左側の縦枠線検出領域Ａ２の下半分に基づいて左側の接続部Ｌｅを、右側の縦枠線検出領域Ａ２の下半分に基づいて右側の接続部Ｌｅをそれぞれ検出することになる。
【０１５３】
左側の接続部Ｌｅを検出するための処理と、右側の接続部Ｌｅを検出するための処理とは左右が反対となる以外は同一である。このため以下では、接続部検出処理として、左側の接続部Ｌｅを検出するための処理を代表的に説明する。
【０１５４】
図２６は、接続部検出処理の検出対象となる画像Ｇ中の左側の接続部Ｌｅの近傍を拡大して示す図である。左側の接続部Ｌｅは、およそ水平方向に延びる横枠線Ｌ１と、「右上がり」の方向に延びる左側の縦枠線Ｌ２とを接続する。
【０１５５】
したがって、左側の接続部Ｌｅには、図中において一点鎖線の正方形枠で囲んだパターン形状Ｑが含まれている。このパターン形状Ｑの下半分には、横枠線Ｌ１の一部に対応する比較的明るい矩形の領域Ｑ１が含まれている。また、パターン形状Ｑの上半分の左側には、縦枠線Ｌ２の一部に対応する比較的明るい三角形の領域Ｑ２が含まれている。そして、パターン形状Ｑの他部分は、アスファルトなどに対応する比較的暗い領域Ｑ３となる。
【０１５６】
接続部検出部４７は、このようなパターン形状Ｑを検出することで接続部Ｌｅを検出するようになっている。また、接続部Ｌｅは、縦枠線Ｌ２の下端部であるため、縦枠線検出領域Ａ２の下方に表れる。このため、接続部検出部４７は、縦枠線検出領域Ａ２の下半分のみを対象にして接続部Ｌｅを検出する。図２７は、接続部Ｌｅを検出するための処理の流れを示す図である。
【０１５７】
まず、接続部検出部４７は、縦枠線検出領域Ａ２の下半分を対象に、図２６に示すパターン形状Ｑを検出する（ステップＳ７１）。接続部検出部４７は、図２８に示すＨａａｒ−Ｌｉｋｅ（ハールライク）特徴を用いて、パターン形状Ｑを検出する。
【０１５８】
このＨａａｒ−Ｌｉｋｅ特徴は、全体として例えば横８×縦８画素の正方形の領域であり、４つの領域Ｒ１〜Ｒ４を含んでいる。左下領域Ｒ１、右下領域Ｒ２及び右上領域Ｒ４は、横４×縦４画素の正方形の領域である。また、左上領域Ｒ３は、横４×縦４画素の正方形を対角線で切断して得られる二等辺三角形の領域である。そして、左下領域Ｒ１、右下領域Ｒ２及び左上領域Ｒ３は「明領域」として定義され、ハッチングを付した右上領域Ｒ４は「暗領域」として定義されている。
【０１５９】
接続部検出部４７は、縦枠線検出領域Ａ２の下半分を対象に、このＨａａｒ−Ｌｉｋｅ特徴を用いて走査する。これにより、接続部検出部４７は、実質的にパターン形状Ｑを検出する。より具体的には、接続部検出部４７は、縦枠線検出領域Ａ２の下半分のうちで処理対象とする位置を水平方向及び垂直方向に順次にずらしながら、各位置においてＨａａｒ−Ｌｉｋｅ特徴を適用し、以下の４条件ａ〜ｄの全てを満足するか否かを判定する。輝度は、８ビット（０〜２５５）で表現される。
【０１６０】
条件ａ：３つの「明領域」Ｒ１〜Ｒ３の平均輝度が、「暗領域」Ｒ４の１．４倍以上である。
【０１６１】
条件ｂ：３つの「明領域」Ｒ１〜Ｒ３の平均輝度が、「１００」以上である。
【０１６２】
条件ｃ：水平方向に隣接する「明領域」Ｒ１，Ｒ２の平均輝度差が、「２０」未満である。
【０１６３】
条件ｄ：垂直方向に隣接する「明領域」Ｒ１，Ｒ３の平均輝度差が、「２０」未満である。
【０１６４】
縦枠線検出領域Ａ２の下半分の全領域に関して走査が完了した後、縦枠線検出領域Ａ２の下半分のうちで上記４条件ａ〜ｄを満足する位置がなかった場合は（ステップＳ７２にてＮｏ）、接続部検出部４７は接続部Ｌｅは不検出と判断する（ステップＳ７５）。
【０１６５】
一方、縦枠線検出領域Ａ２の下半分のうちで上記４条件ａ〜ｄを満足する少なくとも１つの位置があった場合は（ステップＳ７２にてＹｅｓ）、接続部検出部４７は接続部Ｌｅを検出したと判断する（ステップＳ７３）。そして、接続部検出部４７は、上記４条件ａ〜ｄを満足する位置の平均の座標を導出し、導出した座標を接続部Ｌｅの位置として特定する（ステップＳ７４）。
【０１６６】
このように接続部検出部４７は、縦枠線検出領域Ａ２の下半分という比較的狭い領域に基づいて接続部Ｌｅを検出するため、接続部Ｌｅを検出するための演算量を大幅に低減できる。また、接続部検出部４７は、正方形及び二等辺三角形のみを含む単純な形状のＨａａｒ−Ｌｉｋｅ特徴を用いて接続部Ｌｅを検出する。このため、比較的簡便な処理で接続部Ｌｅを検出することができる。なお、右側の接続部Ｌｅを検出する場合においては、図２９に示すＨａａｒ−Ｌｉｋｅ特徴を用いればよい。
【０１６７】
以上のように、本実施の形態の画像処理装置２では、横枠線検出部４４が画像Ｇ中の１つの横枠線検出領域Ａ１に基づいて駐車枠ＰＦの横枠線Ｌ１を検出し、縦枠線検出部４５が画像Ｇ中の２つの縦枠線検出領域Ａ２に基づいて２つの縦枠線Ｌ２を検出する。さらに、接続部検出部４７が、画像Ｇ中の２つの縦枠線検出領域Ａ２に基づいて２つの接続部Ｌｅを検出する。そして、駐車枠判定部４８は、これらの検出結果に基づいて、駐車対象となる駐車枠ＰＦの存在を判定する。このように、画像Ｇの全体ではなく画像Ｇ中の限られた領域Ａ１，Ａ２に基づいて駐車枠ＰＦの存在を判定する。このため、駐車枠ＰＦの存在を判定するための演算量を大幅に低減でき、駐車枠ＰＦの存在を迅速に判定することができる。
【０１６８】
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１６９】
上記実施の形態では、駐車枠ＰＦへの自車両９の駐車を支援する駐車支援装置３は、自車両９の挙動を制御して駐車枠ＰＦ内に自車両９を自動的に移動させるものであった。これに対して、駐車支援装置は、車両を駐車させるために必要なステアリングの操作などの具体的な操作内容を適切なタイミングで音声によってユーザに案内するものであってもよい。
【０１７０】
また、上記実施の形態では、画像処理装置２と駐車支援装置３とは別の装置であると説明したが、画像処理装置２と駐車支援装置３とが同一の筐体内に配置されて一体型の装置となっていてもよい。
【０１７１】
また、上記実施の形態では、右サイドカメラ５Ｒで取得された画像を対象に判定処理が行われていた。これに対して、左サイドカメラ５Ｌで取得された画像を対象に判定処理が行われてもよい。また、右サイドカメラ５Ｒと左サイドカメラ５Ｌとのいずれの画像を判定処理に用いるかを、ユーザが選択できるようになっていてもよい。
【０１７２】
また、上記で説明した画像処理の具体的手法は一例であり、他の手法を採用してもよい。例えば、エッジの方向の判定に際してエッジの勾配の値を導出し、その値に基づいてエッジの方向が「右上がり」か「右下がり」かを判定してもよい。
【０１７３】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の画像処理機能が実現されると説明したが、これら画像処理機能のうちの一部または全部は電気的なハードウェア回路により実現されてもよい。
【符号の説明】
【０１７４】
２ 画像処理装置
３ 駐車支援装置
９ 自車両
１０ 駐車支援システム
４３ 領域設定部
４４ 横枠線検出部
４５ 縦枠線検出部
４６ 車両判定部
４７ 接続部検出部
４８ 駐車枠判定部
５Ｒ 右サイドカメラ
９９ 駐車車両
【特許請求の範囲】
【請求項１】
画像に基づいて車両の駐車対象となる駐車枠の存在を判定する画像処理装置であって、
前記車両の外部を撮影するカメラで得られた画像を取得する取得手段と、
前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する前記駐車枠の第１線を検出する第１検出手段と、
前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する第２検出手段と、
前記第１及び前記第２検出手段の検出結果に基づいて、前記駐車枠の存在を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第１領域は、前記画像の左右中央に設定されることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記第１領域の水平方向のサイズは、前記画像の水平方向のサイズの１／１０以下であることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記第１検出手段は、
前記第１領域の水平エッジを抽出し、
前記第１領域を垂直方向に分割して得られる複数の分割領域をそれぞれ階級とし、前記水平エッジとなる画素の数を度数とするヒストグラムに基づいて前記第１線を検出することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記第１検出手段は、前記ヒストグラムにおいて、
前記度数が第１閾値Ｔｈ１より大きい階級の数が所定値以下であり、かつ、
前記度数が第２閾値Ｔｈ２（Ｔｈ１≦Ｔｈ２）より大きい階級が存在する場合に、前記第１線を検出することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記第１検出手段は、前記ヒストグラムにおいて前記度数が最大となる階級の位置に基づいて、前記画像の垂直方向における前記第１線の位置を特定することを特徴とする画像処理装置。
【請求項７】
請求項１ないし６のいずれかに記載の画像処理装置において、
前記第１検出手段は、前記画像における前記第１線の位置を特定し、
前記画像処理装置は、
前記画像における前記第１線の位置を基準に、前記画像における前記２つの第２領域を設定する領域設定手段、
をさらに備えることを特徴とする画像処理装置。
【請求項８】
請求項１ないし７のいずれかに記載の画像処理装置において、
前記第２検出手段は、
前記２つの第２領域のそれぞれにおいて垂直エッジを抽出し、
前記２つの第２領域のそれぞれにおいて、該第２領域に含まれる全ての水平ラインのうち前記垂直エッジを含む水平ラインの割合に基づいて前記第２線を検出することを特徴とする画像処理装置。
【請求項９】
請求項１ないし８のいずれかに記載の画像処理装置において、
前記第２検出手段は、前記２つの第２領域のそれぞれにおいて、該第２領域に含まれるエッジの方向が右上がりか右下がりかを判定し、その判定結果に基づいて前記第２線を検出することを特徴とする画像処理装置。
【請求項１０】
請求項１ないし９のいずれかに記載の画像処理装置において、
前記第１検出手段は、前記画像における前記第１線の位置を特定し、
前記画像処理装置は、
前記第１線の位置に基づいて、前記画像における前記駐車枠の領域と推定される推定領域を導出する導出手段と、
前記推定領域中の輝度が閾値以下となる画素の数に基づいて前記駐車枠内の駐車車両の有無を判定する車両判定手段と、
をさらに備えることを特徴とする画像処理装置。
【請求項１１】
請求項１ないし１０のいずれかに記載の画像処理装置において、
前記２つの第２領域に基づいて、前記第１線と前記第２線とを接続する２つの接続部をそれぞれ検出する第３検出手段、
をさらに備えることを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置において、
前記判定手段は、
前記第１検出手段が前記第１線を検出したという第１条件と、
前記第２検出手段が前記２つの第２線を検出したという第２条件と、
前記第３検出手段が前記２つの接続部を検出したという第３条件と、
の全ての条件が満足した場合に、前記駐車枠が存在すると判定することを特徴とする画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置において、
前記判定手段は、前記第１ないし第３条件のいずれかの条件が満足しない場合には、以降の他の条件に関する処理を実行させないことを特徴とする画像処理装置。
【請求項１４】
請求項１に記載の画像処理装置において、
前記カメラは、前記車両の側方を撮影するサイドカメラであることを特徴とする画像処理装置。
【請求項１５】
請求項１ないし１４のいずれかに記載の画像処理装置と、
前記画像処理装置で検出された前記駐車枠への車両の駐車を支援する駐車支援装置と、
を備えることを特徴とする駐車支援システム。
【請求項１６】
画像に基づいて車両の駐車対象となる駐車枠の存在を判定する画像処理方法であって、
（ａ）前記車両の外部を撮影するカメラで得られた画像を取得する工程と、
（ｂ）前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する前記駐車枠の第１線を検出する工程と、
（ｃ）前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する工程と、
（ｄ）前記工程（ａ）及び（ｂ）の検出結果に基づいて、前記駐車枠の存在を判定する工程と、
を備えることを特徴とする画像処理方法。
【請求項１７】
画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、
前記コンピュータによる前記プログラムの実行は、前記コンピュータに、
（ａ）車両の外部を撮影するカメラで得られた画像を取得する工程と、
（ｂ）前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する駐車枠の第１線を検出する工程と、
（ｃ）前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する工程と、
（ｄ）前記工程（ａ）及び（ｂ）の検出結果に基づいて、前記駐車枠の存在を判定する工程と、
を実行させることを特徴とするプログラム。
【請求項１】
画像に基づいて車両の駐車対象となる駐車枠の存在を判定する画像処理装置であって、
前記車両の外部を撮影するカメラで得られた画像を取得する取得手段と、
前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する前記駐車枠の第１線を検出する第１検出手段と、
前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する第２検出手段と、
前記第１及び前記第２検出手段の検出結果に基づいて、前記駐車枠の存在を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第１領域は、前記画像の左右中央に設定されることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記第１領域の水平方向のサイズは、前記画像の水平方向のサイズの１／１０以下であることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記第１検出手段は、
前記第１領域の水平エッジを抽出し、
前記第１領域を垂直方向に分割して得られる複数の分割領域をそれぞれ階級とし、前記水平エッジとなる画素の数を度数とするヒストグラムに基づいて前記第１線を検出することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記第１検出手段は、前記ヒストグラムにおいて、
前記度数が第１閾値Ｔｈ１より大きい階級の数が所定値以下であり、かつ、
前記度数が第２閾値Ｔｈ２（Ｔｈ１≦Ｔｈ２）より大きい階級が存在する場合に、前記第１線を検出することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記第１検出手段は、前記ヒストグラムにおいて前記度数が最大となる階級の位置に基づいて、前記画像の垂直方向における前記第１線の位置を特定することを特徴とする画像処理装置。
【請求項７】
請求項１ないし６のいずれかに記載の画像処理装置において、
前記第１検出手段は、前記画像における前記第１線の位置を特定し、
前記画像処理装置は、
前記画像における前記第１線の位置を基準に、前記画像における前記２つの第２領域を設定する領域設定手段、
をさらに備えることを特徴とする画像処理装置。
【請求項８】
請求項１ないし７のいずれかに記載の画像処理装置において、
前記第２検出手段は、
前記２つの第２領域のそれぞれにおいて垂直エッジを抽出し、
前記２つの第２領域のそれぞれにおいて、該第２領域に含まれる全ての水平ラインのうち前記垂直エッジを含む水平ラインの割合に基づいて前記第２線を検出することを特徴とする画像処理装置。
【請求項９】
請求項１ないし８のいずれかに記載の画像処理装置において、
前記第２検出手段は、前記２つの第２領域のそれぞれにおいて、該第２領域に含まれるエッジの方向が右上がりか右下がりかを判定し、その判定結果に基づいて前記第２線を検出することを特徴とする画像処理装置。
【請求項１０】
請求項１ないし９のいずれかに記載の画像処理装置において、
前記第１検出手段は、前記画像における前記第１線の位置を特定し、
前記画像処理装置は、
前記第１線の位置に基づいて、前記画像における前記駐車枠の領域と推定される推定領域を導出する導出手段と、
前記推定領域中の輝度が閾値以下となる画素の数に基づいて前記駐車枠内の駐車車両の有無を判定する車両判定手段と、
をさらに備えることを特徴とする画像処理装置。
【請求項１１】
請求項１ないし１０のいずれかに記載の画像処理装置において、
前記２つの第２領域に基づいて、前記第１線と前記第２線とを接続する２つの接続部をそれぞれ検出する第３検出手段、
をさらに備えることを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置において、
前記判定手段は、
前記第１検出手段が前記第１線を検出したという第１条件と、
前記第２検出手段が前記２つの第２線を検出したという第２条件と、
前記第３検出手段が前記２つの接続部を検出したという第３条件と、
の全ての条件が満足した場合に、前記駐車枠が存在すると判定することを特徴とする画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置において、
前記判定手段は、前記第１ないし第３条件のいずれかの条件が満足しない場合には、以降の他の条件に関する処理を実行させないことを特徴とする画像処理装置。
【請求項１４】
請求項１に記載の画像処理装置において、
前記カメラは、前記車両の側方を撮影するサイドカメラであることを特徴とする画像処理装置。
【請求項１５】
請求項１ないし１４のいずれかに記載の画像処理装置と、
前記画像処理装置で検出された前記駐車枠への車両の駐車を支援する駐車支援装置と、
を備えることを特徴とする駐車支援システム。
【請求項１６】
画像に基づいて車両の駐車対象となる駐車枠の存在を判定する画像処理方法であって、
（ａ）前記車両の外部を撮影するカメラで得られた画像を取得する工程と、
（ｂ）前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する前記駐車枠の第１線を検出する工程と、
（ｃ）前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する工程と、
（ｄ）前記工程（ａ）及び（ｂ）の検出結果に基づいて、前記駐車枠の存在を判定する工程と、
を備えることを特徴とする画像処理方法。
【請求項１７】
画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、
前記コンピュータによる前記プログラムの実行は、前記コンピュータに、
（ａ）車両の外部を撮影するカメラで得られた画像を取得する工程と、
（ｂ）前記画像中の１つの第１領域に基づいて、前記カメラの光軸に略直交する駐車枠の第１線を検出する工程と、
（ｃ）前記画像中の前記第１領域の左側及び右側にそれぞれ設定される２つの第２領域に基づいて、前記カメラの光軸に略沿った前記駐車枠の２つの第２線を検出する工程と、
（ｄ）前記工程（ａ）及び（ｂ）の検出結果に基づいて、前記駐車枠の存在を判定する工程と、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１３−７１７０３（Ｐ２０１３−７１７０３Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１３９００（Ｐ２０１１−２１３９００）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]