車両用障害物検出装置
【課題】カメラで撮影した複数の画像を用いて、障害物とそれ以外の領域を識別可能な俯瞰視点の状況図を自己生成する車両用障害物検出装置を提供する。
【解決手段】車両の周囲を撮影可能な撮像部と、撮像部で撮影した車両周辺の画像に含まれる障害物を検出する障害物検出部と、撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、車両の周辺の状況を表す俯瞰視点の状況図を作成する状況図生成部と、状況図を表示する表示部と、を具備する。
【解決手段】車両の周囲を撮影可能な撮像部と、撮像部で撮影した車両周辺の画像に含まれる障害物を検出する障害物検出部と、撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、車両の周辺の状況を表す俯瞰視点の状況図を作成する状況図生成部と、状況図を表示する表示部と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両にカメラを搭載し、カメラで撮影された画像をもとに車両周辺の障害物を含む状況図を作成し、必要に応じて警告する車両用障害物検出装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載し車両の周囲の映像を撮影し、撮影した画像を車両に設けたディスプレイ等に表示し、車両が障害物に衝突或いは追突するのを避けるようにした障害物検出装置がある。また最近では、複数のカメラで撮影した画像を合成して俯瞰画像を生成し、トップビュー画像のように表示するようにしたものもある。俯瞰画像を表示することで自車両及び周囲の状況を把握しやすくなり、運転者の運転を支援することができる。尚、俯瞰画像は、自車両の上方などに設定した仮想視点から見た画像であり、仮想視点の位置を変えることで俯瞰画像の見え方を変えることができる。
【０００３】
ところで、従来の障害物検出装置では、障害物を検出すると運転者に対して警告を発して衝突を避けるようにしているが、ガレージの壁やガレージ内の工具、縁石などの障害物は、運転者にとって既知の環境立体物であるため、環境立体物を障害物として認識する都度、警告を発したのでは運転者にとって過剰な警告となる可能性がある。また、障害物とそれ以外の領域とを区別できるような俯瞰視点の状況図を自己生成することができれば、以後、同じ道路を通過する際に運転者に対して道路情報を提示することができるが、有効な提示手段がなかった。
【０００４】
特許文献１には、複数のカメラで撮影した画像を入力し、仮想視点から見た俯瞰画像を生成するとともに、自車両を示すイラスト画像を表示するようにした画像処理装置が開示されている。
【０００５】
特許文献２には、立体的な障害物や移動体を検出するようにした障害物検出装置が開示されており、検出した障害物をディスプレイに表示したり、音声等によって運転者に警告するようにしている。しかしながら特許文献２の例では、駐車場の縁石や、ガレージの壁など、運転者にとって既に認識されている環境立体物についても警告してしまうため、運転者にとって煩わしい警告となる場合がある。
【０００６】
また特許文献３には、ＧＰＳと地図情報を基に自車両の現在位置における路上構造物の存在を判定し、路上構造物が存在する場合には、その方向に対するセンサの感度を落とすことで、運転者への煩わしい警告を防ぐようにした障害物検出装置が開示されている。しかしながら、特許文献３の例では、外部から地図情報を入力する必要があり、地図情報に含まれないガレージ等の障害物を検出することができないという不具合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３３００３３４号公報
【特許文献２】特開２００３-４４９９６号公報
【特許文献３】特開２００６-１２３５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の障害物検出装置では、障害物を検出すると運転者に対して警告を発するようにしているが、運転者にとって既知の環境立体物を障害物として認識する都度、警告を発するため運転者にとって過剰な警告となる可能性がある。また地図情報を用いて路上構造物の存在を判別する場合は、外部から地図情報を入力する必要があり、地図情報に含まれないガレージ等の障害物は検出することができないという不具合がある。
【０００９】
本発明はこのような事情に鑑み、カメラで撮影した複数の画像を用いて、障害物とそれ以外の領域を識別できるような俯瞰視点の状況図を自己生成し、かつ運転者が既に認識している環境立体物を検出した場合には過剰に警告しないようにした車両用障害物検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１記載の車両用障害物検出装置は、車両の周囲を撮影可能な撮像部と、前記撮像部で撮影した車両周辺の画像に含まれる障害物を検出する障害物検出部と、前記撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、前記俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、前記車両の周辺の状況を表す俯瞰視点の状況図を作成する状況図生成部と、前記状況図を表示する表示部と、を具備することを特徴とする。
【００１１】
また請求項４記載の車両用障害物検出装置は、車両の周囲を撮影可能な撮像部と、前記撮像部で撮影した車両周辺の画像に含まれる障害物を検出する第１の障害物検出部と、前記撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、前記俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、前記車両の周辺の状況を表す俯瞰視点の状況図を作成するとともに、前記車両の進行に応じて前記状況図を更新作成する状況図生成部と、前記状況図生成部で作成した前記状況図を記憶する記憶部と、前記記憶部に記憶した状況図と、前記状況図生成部で更新作成した状況図とを比較し、新たな障害物の存在を検出する第２の障害物検出部と、前記状況図を表示するとともに、少なくとも前記新たな障害物の存在を検出したときに警告を発する表示・警告部と、を具備することを特徴とする。
【発明の効果】
【００１２】
本発明の車両用画像表示装置によれば、運転者に対して車両の周辺の状況を的確に知らせることができ、安全運転の補助を行うことができる。また運転者に対して過剰に警告するのを防止することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る車両用画像表示装置の構成を示すブロック図。
【図２】一実施形態における画像処理部の構成を示すブロック図。
【図３】本発明の概略的な動作を説明する説明図。
【図４】駐車場に車両を停止しようとする場合の状況図の作成例を示す説明図。
【図５】俯瞰画像３１の生成を具体的に示した説明図。
【図６】状況図３３の生成を具体的に示した説明図。
【図７】車両が狭い曲がり角を通過する際の状況図の作成例を示す説明図。
【図８】俯瞰画像５１の生成を具体的に示した説明図。
【図９】状況図５３の生成を具体的に示した説明図。
【図１０】状況図５３を利用した運転支援を説明する説明図。
【図１１】状況図の作成動作を示すフローチャート。
【図１２】状況図の更新動作を示すフローチャート。
【図１３】本発明の第２の実施形態に係る車両用障害物検出装置の構成を示すブロック図。
【図１４】第２の実施形態の動作を説明する説明図。
【発明を実施するための形態】
【００１４】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１５】
図１は、本発明の一実施形態に係る車両用障害物検出装置の構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１１、画像処理部１２、車両情報生成部１３、記憶部１４、及び表示・警告部１５を備えている。
【００１６】
撮像部１１は、車両１０に取り付けられた複数のカメラ１１１，１１２，１１３…を有している。複数のカメラ１１１，１１２，１１３…は、車両の前方、後方、左側、右側等の周囲の映像を撮影するものであり、魚眼カメラを使用するとよい。
【００１７】
画像処理部１２は、車両周辺を時系列で撮影した複数画像を用いて、環境の一部として常に存在している環境立体物と、路面や白線など障害物ではない平面を区別できるような俯瞰視点の状況図を自己生成する。俯瞰視点の状況図の生成は、過去に撮影した画像を上方からの視点に変換し、障害物領域を除いた複数画像を撮影時点の車両の位置、方向及び角度に基づいて回転・並行移動させ、それら複数画像を加重平均して生成する。画像処理部１２の詳細については後述する。
【００１８】
車両情報生成部１３は、車速計１３１，ジャイロ１３２、ＧＰＳ装置１３３を含む。車速計１３１は自車両の車速情報を生成し、ジャイロ１３２は自車両の傾き等を検出し、ＧＰＳ装置１３３は地図データを格納した記録媒体や目的地までの経路を探索する探索部等を有している。車両情報生成部１３からは、自車両の現在位置や方向及び角度、進行方向（前進、バック、右・左折）等の情報を得ることができ、画像処理部１２にこれらの情報を伝達する。
【００１９】
記憶部１４は、画像処理部１２で自己生成した状況図等を記憶する。表示・警告部１５は、画像処理部１２から出力された画像を表示するものであり、液晶ディスプレイ等で構成される。また必要に応じて警告を発するものである。
【００２０】
図２は、画像処理部１２の構成を示すブロック図である。画像処理部１２は、入力部１２１、障害物検出部１２２、俯瞰画像生成部１２３、回転・移動部１２４、画像調整部１２５、状況図生成部１２６を含む。
【００２１】
入力部１２１は、カメラ１１で撮影した車両周囲の画像を入力する。障害物検出部１２２は、入力部１２１に入力した画像から立体物及び移動体などの障害物を検出する。例えば、カメラ１１で撮影した画像を処理し、道路の路面から突出している物体や移動体を判別する。
【００２２】
俯瞰画像生成部１２３は、障害物検出部１２２からの出力画像を例えば自車両上方に設定した仮想視点から見た俯瞰画像に変換する。上方からの視点に変換するには、例えば画像の全ての画素が路面にあるとの仮定のもとに射影変換を行う。即ち、カメラ１１で撮影した車両の前方画像、後方画像、左側方画像、右側方画像等を合成処理して背景画像を生成し、この背景画像に自車両の画像を合成して、上方の仮想視点から見た俯瞰画像（トップビュー画像）を生成する。仮想視点の位置を変えることで俯瞰画像が変化する。尚、俯瞰画像の生成方法の詳細は、例えば特許文献１に記載されている。
【００２３】
また俯瞰画像生成部１２３は、変換した俯瞰画像に対して、障害物検出部１２２で検出した障害物領域の画素値を特定の値（例えば０値）に変換し、それ以外の領域の画素を障害物領域と異なる値になるように正規化した画像（以下、正規化画像と称す）を生成する。
【００２４】
回転・移動部１２４は、車両情報生成部１３からの情報をもとに自車両の位置と方向及び角度から、正規化画像を回転及び並行移動させた画像を作成する。尚、回転及び並行移動させる際には、回転量と並行移動量を微小に変化させながら、状況図と回転・並行移動した正規化画像をブロックマッチングにより相関値を計算し、最も相関値の高い回転量、並行移動量を求めて、車両位置・方向及び角度の計測値を補正し、補正後の値を使って回転及び並行移動を行う。
【００２５】
画像調整部１２５は、回転・移動部１２４で変換した画像に対してコントラスト調整や、ぼかし処理を行う。状況図生成部１２６は、障害物領域以外について既作成の状況図と新たに作成された状況図を加重平均処理して状況図を作成するとともに、状況図の更新を行う。
【００２６】
以下、本発明の動作を説明する。図３（ａ）は、車両１０をバックさせながらガレージに入れる例を示している。例えば、自宅のガレージ１に車両１０を入れる場合、壁やガレージ内に置かれた障害物２，３は、運転者にとっては既知のものであり、これら障害物２，３を検出する毎に警告を発すると運転者にとっては非常に煩わしいものとなる。したがって、新たな障害物を検出した場合や、既知の障害物２，３に衝突しそうな場合のみ警告を発するようにする。
【００２７】
また、図３（ｂ）は、車両１０が壁４に囲まれた狭い曲がり角を通る場合を想定している。狭い曲がり角を通過する場合、道路の幅やコーナーの曲率、自車両１０と壁４や障害物（電柱など）の間隔を表す状況図を提示できれば、ハンドルやアクセル、ブレーキの制御等、運転支援を行うことができる。
【００２８】
本発明では、このような状況を考慮して、道路等に障害物がある場合に状況図を提示して運転者に知らせるとともに、過剰な警告を防止するようにした障害物検出装置を提供するものである。
【００２９】
先ず、状況図の作成について具体的に説明する。図４は駐車場に車両を停止しようとする場合の状況図の作成例を示している。図４（ａ）は、車両１０を駐車場にバックで駐車しようとする状況を示している。例えば駐車場に白線２１が引かれ、後方に車止め２２があり、隣の車両との境界部に壁２３やポール２４があるものとする。このような状況で、車両１０に設置したカメラ１１で周辺の映像を撮影し、仮想視点を車両の真上に設定した場合、俯瞰画像生成部１２３からは、図４（ｂ）に示すような俯瞰画像３１を得ることができる。俯瞰画像３１は、車両１０の移動にともなって時間軸方向ｔに順次に複数の画像が生成される。
【００３０】
また俯瞰画像生成部１２３では、俯瞰画像３１の内、障害物検出部１２２で検出した障害物の領域（車止め２２、壁２３、ポール２４）の画素値を０値（黒）とし、それ以外の領域（路面や白線２１）を１〜２５５階調に正規化した正規化画像３２（図６）を生成し、これら正規化画像３２から障害物領域を除く領域の平均画像を生成して、図４（ｃ）のような状況図３３を作成する。
【００３１】
図５は、俯瞰画像３１の生成をより具体的に示した説明図である。図５（ａ１），（ｂ１），（ｃ１）は車両の移動を時系列的に示した図であり、図５（ａ２），（ｂ２），（ｃ２）は車両の移動に合わせて生成される俯瞰画像３１を示している。
【００３２】
図６は、状況図３３の生成をより具体的に示した説明図であり、図５の俯瞰画像３１を処理して、障害物領域の画素値を０値（黒）に変換し、それ以外の領域の画素を１〜２５５階調の値になるように正規化した正規化画像３２を生成する。図６（ａ），（ｂ），（ｃ）は車両の移動に伴って生成された正規化画像３２を時系列的に示している。図６（ｄ）は複数の正規化画像３２（ａ，ｂ，ｃ）を時間軸上で示したものであり、これら正規化画像３２（ａ，ｂ，ｃ）を車両の移動と方向及び角度に合わせて、並行移動や回転を行い、合成することで図６（ｅ）に示すような状況図３３が作成される。
【００３３】
状況図３３は、カメラ１１で撮影した画像をもとに自己生成するため、外部から地図情報を入力することなく作成することができる。状況図３３には障害物の画像が例えば黒色で表示されるため、障害物以外の画像と識別することができる。したがって、自車両の俯瞰画像を重ねて表示すれば、自車両と障害物との間隔等を明確に示すことができる。
【００３４】
図７は、車両１０が狭い曲がり角を通過する際の状況図の作成例を示している。図７（ａ）は、車両１０が壁４２，４３に囲まれた道路を通過しようとする状況を示している。例えば道路に白線４１が引かれ、道路の両側に壁４２，４３があり、コーナー部に電柱４４があるものとする。このような状況で、車両１０に設置したカメラ１１で周辺の映像を撮影し、仮想視点を車両の真上に設定した場合、俯瞰画像生成部１２３では、図７（ｂ）に示すような俯瞰画像５１を得ることができる。俯瞰画像５１は、車両１０の移動とハンドルの回転にともなって回転・移動し、時間軸方向ｔに順次に複数の画像が生成される。
【００３５】
また俯瞰画像生成部１２３では、俯瞰画像５１の内、障害物検出部１２２で検出した障害物の領域（壁４２，４３、電柱４４）の画素値を０値（黒）とし、それ以外の領域（路面や白線４１）を１〜２５５階調の値になるように正規化した正規化画像５２を生成し、これら正規化画像５２（図８）から障害物領域を除く領域の平均画像を生成して、図７（ｃ）のような状況図５３を作成する。
【００３６】
図８は、俯瞰画像５１の生成をより具体的に示した説明図であり、図８（ａ１），（ｂ１），（ｃ１）は車両１０の移動を時系列的に示した図であり、図８（ａ２），（ｂ２），（ｃ２）は車両の移動と方向及び角度に合わせて生成される俯瞰画像５１を示している。このとき仮想視点は車両の真上に設定しているため、車両の方向及び角度に合わせて俯瞰画像５１は回転する。
【００３７】
図９は、状況図５３の生成をより具体的に示した説明図であり、図９（ａ），（ｂ），（ｃ）は車両の移動に伴って生成された正規化画像５２を時系列的に示している。図９（ｄ）は複数の正規化画像５２（ａ，ｂ，ｃ）を時間軸上で示したものであり、これら正規化画像５２（ａ，ｂ，ｃ）を車両の移動と方向及び角度に合わせて、並行移動や回転を行い、合成することで図９（ｅ）に示すような状況図５３が作成される。
【００３８】
状況図５３は、カメラ１１で撮影した画像をもとに自己生成するため、外部から地図情報を入力することなく作成することができる。状況図５３には障害物の画像が例えば黒色で表示されるため、障害物以外の画像と識別することができ、自車両の俯瞰画像を重ねて表示すれば、自車両と障害物との間隔等を明確に示すことができる。
【００３９】
図１０は、状況図５３を利用した自車両１０の運転支援を説明する図である。俯瞰視点の状況図５３を参照することで、路面と環境立体物との境界がわかるため、例えば見通しが悪い曲がり角について、以前その地点を通過した時に状況図５３を作成しておけば、次にその地点を通過する際に状況図５３を参照して通過することができる。
【００４０】
例えば、自車両１０が狭い路地を通行し、曲がり角を曲がる場合、図１０で示す状況図５３に自車両の俯瞰画像５４を重ね合わせて表示すると、道路の幅やコーナーの曲率、自車両と障害物（壁４２，４３、電柱４４）との間隔を認識することができ、ハンドルやアクセル、ブレーキの制御等、運転支援を行うことができる。なお、状況図３３、５３は、車両が同じ場所に駐車する場合、或いは同じ道を通過するときに更新される。
【００４１】
図１１は状況図の作成動作を示すフローチャートであり、図１２は、状況図の更新動作を示すフローチャートである。このフローチャートは、主に状況図生成部１２６の動作を示すものである。
【００４２】
図１１において、ステップＳ０は状況図作成のスタートステップであり、ステップＳ１では既に状況図を作成済みか否かの判断を行う。既に状況図が作成されている場合はステップＳ２に進み、状況図の更新処理（図１２）に移行する。ステップＳ１で状況図が作成されていない場合は、ステップＳ３において、状況図の全てを障害物領域、即ち画素値を０として初期化する。
【００４３】
初期化された後は初期化された状況図と画像調整部１２６が生成した状況図のもととなる複数の現画像を使い、ステップＳ４〜Ｓ８のステップの手順を車両の進行に合わせて複数繰り返すことで状況図を作成する。即ち、ステップＳ４では、状況図の各画素が障害物領域か否か、つまり画素値が０か否かを判断する。ステップＳ４で障害物領域と判断された画素は、ステップＳ５において、状況図の該当画素の値を現画像の対応する画素の値にする。
【００４４】
またステップＳ４において、障害物領域ではないと判断した状況図の画素については、ステップＳ６で現画像の対応する画素が障害物領域か否かを判断する。ここで障害物領域であると判断した場合は、ステップＳ７で状況図の該当する画素は更新せずに処理を終了する。またステップＳ６で障害物領域以外の画素であると判断した場合は、ステップＳ８で状況図の該当画素とそれに対応する現画像の画素の加重平均をとり平均化する。こうしてステップＳ５の障害物領域の画素とステップＳ８の障害物領域以外の画素をもとに図６または図９で示した状況図３３，５３が作成され、ステップＳ９で状況図の作成を終了する。
【００４５】
図１２は、状況図の更新動作を示すフローチャートである。図１２のステップＳ１０は更新スタートステップであり、新たに撮影した画像をもとに画像調整部１２６が生成した現画像を使って、ステップＳ１１〜Ｓ１８のステップの手順で、状況図の更新が行われる。また車両の進行に合わせてステップＳ１１に戻り、状況図が順次更新される。
【００４６】
即ち、新たに現画像が生成されると、ステップＳ１１では、状況図の該当画素が障害物領域か否かを判断する。該当画素が障害物領域であると判断した場合は、ステップＳ１２に進み、過去数回の状況を確認する。ステップＳ１２で過去数回の通過時に該当画素の全てが障害物以外であった場合（ＹＥＳ）は、ステップＳ１３に進み、過去数回の通行時の画素の平均をとって更新後の状況図の該当画素とする。またステップＳ１２で、過去数回の通過時において障害物であったことが判断された場合（ＮＯ）は、ステップＳ１４に進み、状況図の更新は行わない。
【００４７】
一方、ステップＳ１１において、状況図の該当画素が障害物領域でないと判断した場合は、ステップＳ１５に移行し、正規化した現画素の該当画素が障害物領域か否かを判断する。ステップＳ１５で障害物領域である（ＹＥＳ）と判断した場合は、ステップ１６で過去数回の通行時の該当画素全てが障害物領域か否かを判断する。全てが障害物領域である場合（ＹＥＳ）は、ステップＳ１７に進み、更新後の状況図の該当画素を障害物の画素領域とする。またステップ１６で過去数回の通過時において障害物以外の領域が判別された場合（ＮＯ）は、ステップＳ１４に進み、状況図の更新は行わない。
【００４８】
またステップ１５で現画像の該当画素が障害物領域以外の画素であると判断した場合（ＮＯ）は、ステップＳ１８で正規化した画像の加重平均をとり更新後の状況図の該当画素とする。こうして過去に通過したときと同じ状況であれば状況図の更新は行わず、新たな障害物が発生した場合は、状況図に追加され平均化される。また、過去に通過したときに存在していた障害物が取り除かれた場合には、複数回通過することによって、状況図から障害物が除去される。ステップＳ１９では更新処理を終了し、環境立体物が状況図に表示される。
【００４９】
このように本発明の実施形態では、道路等に障害物がある場合に状況図を提示して運転支援を行うことができる。また状況図３３、５３は、車両が同じ場所に駐車する場合、或いは同じ道を通過するときに更新され、新たな障害物が存在する場合は、それを障害物として認識することができる。
【実施例２】
【００５０】
次に本発明の第２の実施形態について説明する。第２の実施形態は、新たな障害物が検出されたときに運転者に対して警告を行うようにしたものである。
【００５１】
図１３は、第２の実施形態に係る車両用障害物検出装置の構成を示すブロック図である。図１３では、環境立体物以外の障害物を検出するために第２の障害物検出部１２７を設け、第２の障害物検出部１２７の検出結果を利用して表示・警告部１５に警告文を表示したり、警告音を発するようにした点に特徴がある。
【００５２】
即ち、第２の障害物検出部１２７は、俯瞰画像生成部１２３で生成した俯瞰画像（３１，５１）と記憶部１４に記憶した予め自己生成した状況図（３３，５３）とを比較し、新たな障害物領域を検出する。
【００５３】
図１４は、図１３の動作を説明する説明図であり、図１４（ａ）は、車両１０を駐車場にバックで駐車しようとする状況を示している。この場合、駐車場内に移動物体、例えば動物２５や子供が居る場合を想定している。車両１０に設置したカメラ１１で周辺の映像を撮影し、仮想視点を車両の真上に設定したとすると、俯瞰画像生成部１２３では、図１４（ｂ）に示すような俯瞰画像３１が生成される。図１４（ｂ）の俯瞰画像３１には、車止め２２やポール２４のような環境立体物（点線で示す）の他に、新たな障害物として動物の画像２５が生成される。
【００５４】
また俯瞰画像生成部１２３は、俯瞰画像３１の内、障害物検出部１２２で検出した障害物の領域（車止め２２やポール２４、動物２５）の画素値を０値（黒）とし、それ以外の領域（路面や白線２１）を１〜２５５階調に正規化して、図１４（ｃ）に示すような正規化画像３２を生成する。また図１４（ｄ）は記憶部１４に記憶された既知の状況図３３を示している。
【００５５】
第２の障害物検出部１２７は、正規化画像３２（ｃ）と状況図３３（ｄ）とを比較し、状況図３３には存在しない障害物領域２５が存在する場合に、運転者に対して警告を発する。つまり、既に状況図３３を作成した地点を再び通過する際に、既に作成した状況図と新たに作成した画像を比較することで、環境の一部として常に存在している環境立体物と、それ以外の新たに現れた障害物を区別することができる。したがって、表示・警告部１５のディスプレイに、「障害物が存在します。注意して下さい。」といった警告文を表示したり、スピーカから音声を発生して運転者に知らせることができる。
【００５６】
こうして、運転者は、状況図３３に存在しない新たな障害物が検出された場合は、警告をもとに後方を確認して運転するようになり、衝突などの危険を回避することができる。また新たな障害物２５が移動物体である場合、次に同じ場所に駐車（或いは通過）する場合は、存在しない可能性が高いため、状況図３３，５３が更新されることで消滅していく。
【００５７】
この結果、運転者により既に認識され走行上危険度が低いと思われる壁や駐車場の縁石などの環境立体物がある場合に、運転者に過剰に警告するのを防ぐことができる。尚、より安全性を増すためには、環境立体物が検出されたときにも警告を発するようにしてもよい。但し、環境立体物が検出された場合と新たな障害物が検出された場合とで、運転者に対する警告音や警告表示の色を変え、新たな障害物が検出されたときは大きな音量で警告し、表示文字を赤色で点滅するなど、目立つようにすると良い。
【００５８】
以上説明したように本発明の実施形態によれば、カメラで撮影した画像を仮想視点から見た俯瞰画像に変換し、複数の俯瞰画像を使って自車両が通過する場所の状況図を作成し記憶することにより、地図情報中に存在しない場所であっても状況図を作成することができる。
【００５９】
したがって、自車両が同じ場所を通過する際には状況図を読み出して表示することができ、運転支援を行うことができる。また状況図を更新することで、常時同じ場所にあり運転者に既知と思われる環境立体物とそうでない障害物を識別することができるため、環境立体物について運転者に過剰に警告することを防ぐことができる。こうして、運転者に対して車両の周辺の状況を的確に知らせ、安全運転の補助を行うことができる。
【００６０】
尚、本発明の実施形態については、幾つかの変形例が考えられる。例えば、環境立体物がある場合は、衝突しそうな場合にのみ警告を発するようにしてもよい。またナビゲーション装置の位置情報をもとに、作成した状況図の位置合わせを行うようにしてもよい。この場合、注意して運転すべきポイントに差し掛かった時に、状況図を表示することができるため、道の幅やコーナーの曲率などが分かり、曲がるときのハンドル舵角などについての情報提供や走行制御などの運転支援を行うことができる。さらに特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００６１】
１０…撮像部
１１…カメラ
１２…画像処理部
１２１…入力部
１２２…障害物検出部
１２３…俯瞰画像生成部
１２４…回転・移動部
１２５…画像調整部
１２６…状況図生成部
１２７…第２の障害物検出部
１３…車両情報生成部
１４…記憶部
１５…表示・警告部
【技術分野】
【０００１】
本発明は、車両にカメラを搭載し、カメラで撮影された画像をもとに車両周辺の障害物を含む状況図を作成し、必要に応じて警告する車両用障害物検出装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載し車両の周囲の映像を撮影し、撮影した画像を車両に設けたディスプレイ等に表示し、車両が障害物に衝突或いは追突するのを避けるようにした障害物検出装置がある。また最近では、複数のカメラで撮影した画像を合成して俯瞰画像を生成し、トップビュー画像のように表示するようにしたものもある。俯瞰画像を表示することで自車両及び周囲の状況を把握しやすくなり、運転者の運転を支援することができる。尚、俯瞰画像は、自車両の上方などに設定した仮想視点から見た画像であり、仮想視点の位置を変えることで俯瞰画像の見え方を変えることができる。
【０００３】
ところで、従来の障害物検出装置では、障害物を検出すると運転者に対して警告を発して衝突を避けるようにしているが、ガレージの壁やガレージ内の工具、縁石などの障害物は、運転者にとって既知の環境立体物であるため、環境立体物を障害物として認識する都度、警告を発したのでは運転者にとって過剰な警告となる可能性がある。また、障害物とそれ以外の領域とを区別できるような俯瞰視点の状況図を自己生成することができれば、以後、同じ道路を通過する際に運転者に対して道路情報を提示することができるが、有効な提示手段がなかった。
【０００４】
特許文献１には、複数のカメラで撮影した画像を入力し、仮想視点から見た俯瞰画像を生成するとともに、自車両を示すイラスト画像を表示するようにした画像処理装置が開示されている。
【０００５】
特許文献２には、立体的な障害物や移動体を検出するようにした障害物検出装置が開示されており、検出した障害物をディスプレイに表示したり、音声等によって運転者に警告するようにしている。しかしながら特許文献２の例では、駐車場の縁石や、ガレージの壁など、運転者にとって既に認識されている環境立体物についても警告してしまうため、運転者にとって煩わしい警告となる場合がある。
【０００６】
また特許文献３には、ＧＰＳと地図情報を基に自車両の現在位置における路上構造物の存在を判定し、路上構造物が存在する場合には、その方向に対するセンサの感度を落とすことで、運転者への煩わしい警告を防ぐようにした障害物検出装置が開示されている。しかしながら、特許文献３の例では、外部から地図情報を入力する必要があり、地図情報に含まれないガレージ等の障害物を検出することができないという不具合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３３００３３４号公報
【特許文献２】特開２００３-４４９９６号公報
【特許文献３】特開２００６-１２３５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の障害物検出装置では、障害物を検出すると運転者に対して警告を発するようにしているが、運転者にとって既知の環境立体物を障害物として認識する都度、警告を発するため運転者にとって過剰な警告となる可能性がある。また地図情報を用いて路上構造物の存在を判別する場合は、外部から地図情報を入力する必要があり、地図情報に含まれないガレージ等の障害物は検出することができないという不具合がある。
【０００９】
本発明はこのような事情に鑑み、カメラで撮影した複数の画像を用いて、障害物とそれ以外の領域を識別できるような俯瞰視点の状況図を自己生成し、かつ運転者が既に認識している環境立体物を検出した場合には過剰に警告しないようにした車両用障害物検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１記載の車両用障害物検出装置は、車両の周囲を撮影可能な撮像部と、前記撮像部で撮影した車両周辺の画像に含まれる障害物を検出する障害物検出部と、前記撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、前記俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、前記車両の周辺の状況を表す俯瞰視点の状況図を作成する状況図生成部と、前記状況図を表示する表示部と、を具備することを特徴とする。
【００１１】
また請求項４記載の車両用障害物検出装置は、車両の周囲を撮影可能な撮像部と、前記撮像部で撮影した車両周辺の画像に含まれる障害物を検出する第１の障害物検出部と、前記撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、前記俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、前記車両の周辺の状況を表す俯瞰視点の状況図を作成するとともに、前記車両の進行に応じて前記状況図を更新作成する状況図生成部と、前記状況図生成部で作成した前記状況図を記憶する記憶部と、前記記憶部に記憶した状況図と、前記状況図生成部で更新作成した状況図とを比較し、新たな障害物の存在を検出する第２の障害物検出部と、前記状況図を表示するとともに、少なくとも前記新たな障害物の存在を検出したときに警告を発する表示・警告部と、を具備することを特徴とする。
【発明の効果】
【００１２】
本発明の車両用画像表示装置によれば、運転者に対して車両の周辺の状況を的確に知らせることができ、安全運転の補助を行うことができる。また運転者に対して過剰に警告するのを防止することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る車両用画像表示装置の構成を示すブロック図。
【図２】一実施形態における画像処理部の構成を示すブロック図。
【図３】本発明の概略的な動作を説明する説明図。
【図４】駐車場に車両を停止しようとする場合の状況図の作成例を示す説明図。
【図５】俯瞰画像３１の生成を具体的に示した説明図。
【図６】状況図３３の生成を具体的に示した説明図。
【図７】車両が狭い曲がり角を通過する際の状況図の作成例を示す説明図。
【図８】俯瞰画像５１の生成を具体的に示した説明図。
【図９】状況図５３の生成を具体的に示した説明図。
【図１０】状況図５３を利用した運転支援を説明する説明図。
【図１１】状況図の作成動作を示すフローチャート。
【図１２】状況図の更新動作を示すフローチャート。
【図１３】本発明の第２の実施形態に係る車両用障害物検出装置の構成を示すブロック図。
【図１４】第２の実施形態の動作を説明する説明図。
【発明を実施するための形態】
【００１４】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１５】
図１は、本発明の一実施形態に係る車両用障害物検出装置の構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１１、画像処理部１２、車両情報生成部１３、記憶部１４、及び表示・警告部１５を備えている。
【００１６】
撮像部１１は、車両１０に取り付けられた複数のカメラ１１１，１１２，１１３…を有している。複数のカメラ１１１，１１２，１１３…は、車両の前方、後方、左側、右側等の周囲の映像を撮影するものであり、魚眼カメラを使用するとよい。
【００１７】
画像処理部１２は、車両周辺を時系列で撮影した複数画像を用いて、環境の一部として常に存在している環境立体物と、路面や白線など障害物ではない平面を区別できるような俯瞰視点の状況図を自己生成する。俯瞰視点の状況図の生成は、過去に撮影した画像を上方からの視点に変換し、障害物領域を除いた複数画像を撮影時点の車両の位置、方向及び角度に基づいて回転・並行移動させ、それら複数画像を加重平均して生成する。画像処理部１２の詳細については後述する。
【００１８】
車両情報生成部１３は、車速計１３１，ジャイロ１３２、ＧＰＳ装置１３３を含む。車速計１３１は自車両の車速情報を生成し、ジャイロ１３２は自車両の傾き等を検出し、ＧＰＳ装置１３３は地図データを格納した記録媒体や目的地までの経路を探索する探索部等を有している。車両情報生成部１３からは、自車両の現在位置や方向及び角度、進行方向（前進、バック、右・左折）等の情報を得ることができ、画像処理部１２にこれらの情報を伝達する。
【００１９】
記憶部１４は、画像処理部１２で自己生成した状況図等を記憶する。表示・警告部１５は、画像処理部１２から出力された画像を表示するものであり、液晶ディスプレイ等で構成される。また必要に応じて警告を発するものである。
【００２０】
図２は、画像処理部１２の構成を示すブロック図である。画像処理部１２は、入力部１２１、障害物検出部１２２、俯瞰画像生成部１２３、回転・移動部１２４、画像調整部１２５、状況図生成部１２６を含む。
【００２１】
入力部１２１は、カメラ１１で撮影した車両周囲の画像を入力する。障害物検出部１２２は、入力部１２１に入力した画像から立体物及び移動体などの障害物を検出する。例えば、カメラ１１で撮影した画像を処理し、道路の路面から突出している物体や移動体を判別する。
【００２２】
俯瞰画像生成部１２３は、障害物検出部１２２からの出力画像を例えば自車両上方に設定した仮想視点から見た俯瞰画像に変換する。上方からの視点に変換するには、例えば画像の全ての画素が路面にあるとの仮定のもとに射影変換を行う。即ち、カメラ１１で撮影した車両の前方画像、後方画像、左側方画像、右側方画像等を合成処理して背景画像を生成し、この背景画像に自車両の画像を合成して、上方の仮想視点から見た俯瞰画像（トップビュー画像）を生成する。仮想視点の位置を変えることで俯瞰画像が変化する。尚、俯瞰画像の生成方法の詳細は、例えば特許文献１に記載されている。
【００２３】
また俯瞰画像生成部１２３は、変換した俯瞰画像に対して、障害物検出部１２２で検出した障害物領域の画素値を特定の値（例えば０値）に変換し、それ以外の領域の画素を障害物領域と異なる値になるように正規化した画像（以下、正規化画像と称す）を生成する。
【００２４】
回転・移動部１２４は、車両情報生成部１３からの情報をもとに自車両の位置と方向及び角度から、正規化画像を回転及び並行移動させた画像を作成する。尚、回転及び並行移動させる際には、回転量と並行移動量を微小に変化させながら、状況図と回転・並行移動した正規化画像をブロックマッチングにより相関値を計算し、最も相関値の高い回転量、並行移動量を求めて、車両位置・方向及び角度の計測値を補正し、補正後の値を使って回転及び並行移動を行う。
【００２５】
画像調整部１２５は、回転・移動部１２４で変換した画像に対してコントラスト調整や、ぼかし処理を行う。状況図生成部１２６は、障害物領域以外について既作成の状況図と新たに作成された状況図を加重平均処理して状況図を作成するとともに、状況図の更新を行う。
【００２６】
以下、本発明の動作を説明する。図３（ａ）は、車両１０をバックさせながらガレージに入れる例を示している。例えば、自宅のガレージ１に車両１０を入れる場合、壁やガレージ内に置かれた障害物２，３は、運転者にとっては既知のものであり、これら障害物２，３を検出する毎に警告を発すると運転者にとっては非常に煩わしいものとなる。したがって、新たな障害物を検出した場合や、既知の障害物２，３に衝突しそうな場合のみ警告を発するようにする。
【００２７】
また、図３（ｂ）は、車両１０が壁４に囲まれた狭い曲がり角を通る場合を想定している。狭い曲がり角を通過する場合、道路の幅やコーナーの曲率、自車両１０と壁４や障害物（電柱など）の間隔を表す状況図を提示できれば、ハンドルやアクセル、ブレーキの制御等、運転支援を行うことができる。
【００２８】
本発明では、このような状況を考慮して、道路等に障害物がある場合に状況図を提示して運転者に知らせるとともに、過剰な警告を防止するようにした障害物検出装置を提供するものである。
【００２９】
先ず、状況図の作成について具体的に説明する。図４は駐車場に車両を停止しようとする場合の状況図の作成例を示している。図４（ａ）は、車両１０を駐車場にバックで駐車しようとする状況を示している。例えば駐車場に白線２１が引かれ、後方に車止め２２があり、隣の車両との境界部に壁２３やポール２４があるものとする。このような状況で、車両１０に設置したカメラ１１で周辺の映像を撮影し、仮想視点を車両の真上に設定した場合、俯瞰画像生成部１２３からは、図４（ｂ）に示すような俯瞰画像３１を得ることができる。俯瞰画像３１は、車両１０の移動にともなって時間軸方向ｔに順次に複数の画像が生成される。
【００３０】
また俯瞰画像生成部１２３では、俯瞰画像３１の内、障害物検出部１２２で検出した障害物の領域（車止め２２、壁２３、ポール２４）の画素値を０値（黒）とし、それ以外の領域（路面や白線２１）を１〜２５５階調に正規化した正規化画像３２（図６）を生成し、これら正規化画像３２から障害物領域を除く領域の平均画像を生成して、図４（ｃ）のような状況図３３を作成する。
【００３１】
図５は、俯瞰画像３１の生成をより具体的に示した説明図である。図５（ａ１），（ｂ１），（ｃ１）は車両の移動を時系列的に示した図であり、図５（ａ２），（ｂ２），（ｃ２）は車両の移動に合わせて生成される俯瞰画像３１を示している。
【００３２】
図６は、状況図３３の生成をより具体的に示した説明図であり、図５の俯瞰画像３１を処理して、障害物領域の画素値を０値（黒）に変換し、それ以外の領域の画素を１〜２５５階調の値になるように正規化した正規化画像３２を生成する。図６（ａ），（ｂ），（ｃ）は車両の移動に伴って生成された正規化画像３２を時系列的に示している。図６（ｄ）は複数の正規化画像３２（ａ，ｂ，ｃ）を時間軸上で示したものであり、これら正規化画像３２（ａ，ｂ，ｃ）を車両の移動と方向及び角度に合わせて、並行移動や回転を行い、合成することで図６（ｅ）に示すような状況図３３が作成される。
【００３３】
状況図３３は、カメラ１１で撮影した画像をもとに自己生成するため、外部から地図情報を入力することなく作成することができる。状況図３３には障害物の画像が例えば黒色で表示されるため、障害物以外の画像と識別することができる。したがって、自車両の俯瞰画像を重ねて表示すれば、自車両と障害物との間隔等を明確に示すことができる。
【００３４】
図７は、車両１０が狭い曲がり角を通過する際の状況図の作成例を示している。図７（ａ）は、車両１０が壁４２，４３に囲まれた道路を通過しようとする状況を示している。例えば道路に白線４１が引かれ、道路の両側に壁４２，４３があり、コーナー部に電柱４４があるものとする。このような状況で、車両１０に設置したカメラ１１で周辺の映像を撮影し、仮想視点を車両の真上に設定した場合、俯瞰画像生成部１２３では、図７（ｂ）に示すような俯瞰画像５１を得ることができる。俯瞰画像５１は、車両１０の移動とハンドルの回転にともなって回転・移動し、時間軸方向ｔに順次に複数の画像が生成される。
【００３５】
また俯瞰画像生成部１２３では、俯瞰画像５１の内、障害物検出部１２２で検出した障害物の領域（壁４２，４３、電柱４４）の画素値を０値（黒）とし、それ以外の領域（路面や白線４１）を１〜２５５階調の値になるように正規化した正規化画像５２を生成し、これら正規化画像５２（図８）から障害物領域を除く領域の平均画像を生成して、図７（ｃ）のような状況図５３を作成する。
【００３６】
図８は、俯瞰画像５１の生成をより具体的に示した説明図であり、図８（ａ１），（ｂ１），（ｃ１）は車両１０の移動を時系列的に示した図であり、図８（ａ２），（ｂ２），（ｃ２）は車両の移動と方向及び角度に合わせて生成される俯瞰画像５１を示している。このとき仮想視点は車両の真上に設定しているため、車両の方向及び角度に合わせて俯瞰画像５１は回転する。
【００３７】
図９は、状況図５３の生成をより具体的に示した説明図であり、図９（ａ），（ｂ），（ｃ）は車両の移動に伴って生成された正規化画像５２を時系列的に示している。図９（ｄ）は複数の正規化画像５２（ａ，ｂ，ｃ）を時間軸上で示したものであり、これら正規化画像５２（ａ，ｂ，ｃ）を車両の移動と方向及び角度に合わせて、並行移動や回転を行い、合成することで図９（ｅ）に示すような状況図５３が作成される。
【００３８】
状況図５３は、カメラ１１で撮影した画像をもとに自己生成するため、外部から地図情報を入力することなく作成することができる。状況図５３には障害物の画像が例えば黒色で表示されるため、障害物以外の画像と識別することができ、自車両の俯瞰画像を重ねて表示すれば、自車両と障害物との間隔等を明確に示すことができる。
【００３９】
図１０は、状況図５３を利用した自車両１０の運転支援を説明する図である。俯瞰視点の状況図５３を参照することで、路面と環境立体物との境界がわかるため、例えば見通しが悪い曲がり角について、以前その地点を通過した時に状況図５３を作成しておけば、次にその地点を通過する際に状況図５３を参照して通過することができる。
【００４０】
例えば、自車両１０が狭い路地を通行し、曲がり角を曲がる場合、図１０で示す状況図５３に自車両の俯瞰画像５４を重ね合わせて表示すると、道路の幅やコーナーの曲率、自車両と障害物（壁４２，４３、電柱４４）との間隔を認識することができ、ハンドルやアクセル、ブレーキの制御等、運転支援を行うことができる。なお、状況図３３、５３は、車両が同じ場所に駐車する場合、或いは同じ道を通過するときに更新される。
【００４１】
図１１は状況図の作成動作を示すフローチャートであり、図１２は、状況図の更新動作を示すフローチャートである。このフローチャートは、主に状況図生成部１２６の動作を示すものである。
【００４２】
図１１において、ステップＳ０は状況図作成のスタートステップであり、ステップＳ１では既に状況図を作成済みか否かの判断を行う。既に状況図が作成されている場合はステップＳ２に進み、状況図の更新処理（図１２）に移行する。ステップＳ１で状況図が作成されていない場合は、ステップＳ３において、状況図の全てを障害物領域、即ち画素値を０として初期化する。
【００４３】
初期化された後は初期化された状況図と画像調整部１２６が生成した状況図のもととなる複数の現画像を使い、ステップＳ４〜Ｓ８のステップの手順を車両の進行に合わせて複数繰り返すことで状況図を作成する。即ち、ステップＳ４では、状況図の各画素が障害物領域か否か、つまり画素値が０か否かを判断する。ステップＳ４で障害物領域と判断された画素は、ステップＳ５において、状況図の該当画素の値を現画像の対応する画素の値にする。
【００４４】
またステップＳ４において、障害物領域ではないと判断した状況図の画素については、ステップＳ６で現画像の対応する画素が障害物領域か否かを判断する。ここで障害物領域であると判断した場合は、ステップＳ７で状況図の該当する画素は更新せずに処理を終了する。またステップＳ６で障害物領域以外の画素であると判断した場合は、ステップＳ８で状況図の該当画素とそれに対応する現画像の画素の加重平均をとり平均化する。こうしてステップＳ５の障害物領域の画素とステップＳ８の障害物領域以外の画素をもとに図６または図９で示した状況図３３，５３が作成され、ステップＳ９で状況図の作成を終了する。
【００４５】
図１２は、状況図の更新動作を示すフローチャートである。図１２のステップＳ１０は更新スタートステップであり、新たに撮影した画像をもとに画像調整部１２６が生成した現画像を使って、ステップＳ１１〜Ｓ１８のステップの手順で、状況図の更新が行われる。また車両の進行に合わせてステップＳ１１に戻り、状況図が順次更新される。
【００４６】
即ち、新たに現画像が生成されると、ステップＳ１１では、状況図の該当画素が障害物領域か否かを判断する。該当画素が障害物領域であると判断した場合は、ステップＳ１２に進み、過去数回の状況を確認する。ステップＳ１２で過去数回の通過時に該当画素の全てが障害物以外であった場合（ＹＥＳ）は、ステップＳ１３に進み、過去数回の通行時の画素の平均をとって更新後の状況図の該当画素とする。またステップＳ１２で、過去数回の通過時において障害物であったことが判断された場合（ＮＯ）は、ステップＳ１４に進み、状況図の更新は行わない。
【００４７】
一方、ステップＳ１１において、状況図の該当画素が障害物領域でないと判断した場合は、ステップＳ１５に移行し、正規化した現画素の該当画素が障害物領域か否かを判断する。ステップＳ１５で障害物領域である（ＹＥＳ）と判断した場合は、ステップ１６で過去数回の通行時の該当画素全てが障害物領域か否かを判断する。全てが障害物領域である場合（ＹＥＳ）は、ステップＳ１７に進み、更新後の状況図の該当画素を障害物の画素領域とする。またステップ１６で過去数回の通過時において障害物以外の領域が判別された場合（ＮＯ）は、ステップＳ１４に進み、状況図の更新は行わない。
【００４８】
またステップ１５で現画像の該当画素が障害物領域以外の画素であると判断した場合（ＮＯ）は、ステップＳ１８で正規化した画像の加重平均をとり更新後の状況図の該当画素とする。こうして過去に通過したときと同じ状況であれば状況図の更新は行わず、新たな障害物が発生した場合は、状況図に追加され平均化される。また、過去に通過したときに存在していた障害物が取り除かれた場合には、複数回通過することによって、状況図から障害物が除去される。ステップＳ１９では更新処理を終了し、環境立体物が状況図に表示される。
【００４９】
このように本発明の実施形態では、道路等に障害物がある場合に状況図を提示して運転支援を行うことができる。また状況図３３、５３は、車両が同じ場所に駐車する場合、或いは同じ道を通過するときに更新され、新たな障害物が存在する場合は、それを障害物として認識することができる。
【実施例２】
【００５０】
次に本発明の第２の実施形態について説明する。第２の実施形態は、新たな障害物が検出されたときに運転者に対して警告を行うようにしたものである。
【００５１】
図１３は、第２の実施形態に係る車両用障害物検出装置の構成を示すブロック図である。図１３では、環境立体物以外の障害物を検出するために第２の障害物検出部１２７を設け、第２の障害物検出部１２７の検出結果を利用して表示・警告部１５に警告文を表示したり、警告音を発するようにした点に特徴がある。
【００５２】
即ち、第２の障害物検出部１２７は、俯瞰画像生成部１２３で生成した俯瞰画像（３１，５１）と記憶部１４に記憶した予め自己生成した状況図（３３，５３）とを比較し、新たな障害物領域を検出する。
【００５３】
図１４は、図１３の動作を説明する説明図であり、図１４（ａ）は、車両１０を駐車場にバックで駐車しようとする状況を示している。この場合、駐車場内に移動物体、例えば動物２５や子供が居る場合を想定している。車両１０に設置したカメラ１１で周辺の映像を撮影し、仮想視点を車両の真上に設定したとすると、俯瞰画像生成部１２３では、図１４（ｂ）に示すような俯瞰画像３１が生成される。図１４（ｂ）の俯瞰画像３１には、車止め２２やポール２４のような環境立体物（点線で示す）の他に、新たな障害物として動物の画像２５が生成される。
【００５４】
また俯瞰画像生成部１２３は、俯瞰画像３１の内、障害物検出部１２２で検出した障害物の領域（車止め２２やポール２４、動物２５）の画素値を０値（黒）とし、それ以外の領域（路面や白線２１）を１〜２５５階調に正規化して、図１４（ｃ）に示すような正規化画像３２を生成する。また図１４（ｄ）は記憶部１４に記憶された既知の状況図３３を示している。
【００５５】
第２の障害物検出部１２７は、正規化画像３２（ｃ）と状況図３３（ｄ）とを比較し、状況図３３には存在しない障害物領域２５が存在する場合に、運転者に対して警告を発する。つまり、既に状況図３３を作成した地点を再び通過する際に、既に作成した状況図と新たに作成した画像を比較することで、環境の一部として常に存在している環境立体物と、それ以外の新たに現れた障害物を区別することができる。したがって、表示・警告部１５のディスプレイに、「障害物が存在します。注意して下さい。」といった警告文を表示したり、スピーカから音声を発生して運転者に知らせることができる。
【００５６】
こうして、運転者は、状況図３３に存在しない新たな障害物が検出された場合は、警告をもとに後方を確認して運転するようになり、衝突などの危険を回避することができる。また新たな障害物２５が移動物体である場合、次に同じ場所に駐車（或いは通過）する場合は、存在しない可能性が高いため、状況図３３，５３が更新されることで消滅していく。
【００５７】
この結果、運転者により既に認識され走行上危険度が低いと思われる壁や駐車場の縁石などの環境立体物がある場合に、運転者に過剰に警告するのを防ぐことができる。尚、より安全性を増すためには、環境立体物が検出されたときにも警告を発するようにしてもよい。但し、環境立体物が検出された場合と新たな障害物が検出された場合とで、運転者に対する警告音や警告表示の色を変え、新たな障害物が検出されたときは大きな音量で警告し、表示文字を赤色で点滅するなど、目立つようにすると良い。
【００５８】
以上説明したように本発明の実施形態によれば、カメラで撮影した画像を仮想視点から見た俯瞰画像に変換し、複数の俯瞰画像を使って自車両が通過する場所の状況図を作成し記憶することにより、地図情報中に存在しない場所であっても状況図を作成することができる。
【００５９】
したがって、自車両が同じ場所を通過する際には状況図を読み出して表示することができ、運転支援を行うことができる。また状況図を更新することで、常時同じ場所にあり運転者に既知と思われる環境立体物とそうでない障害物を識別することができるため、環境立体物について運転者に過剰に警告することを防ぐことができる。こうして、運転者に対して車両の周辺の状況を的確に知らせ、安全運転の補助を行うことができる。
【００６０】
尚、本発明の実施形態については、幾つかの変形例が考えられる。例えば、環境立体物がある場合は、衝突しそうな場合にのみ警告を発するようにしてもよい。またナビゲーション装置の位置情報をもとに、作成した状況図の位置合わせを行うようにしてもよい。この場合、注意して運転すべきポイントに差し掛かった時に、状況図を表示することができるため、道の幅やコーナーの曲率などが分かり、曲がるときのハンドル舵角などについての情報提供や走行制御などの運転支援を行うことができる。さらに特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００６１】
１０…撮像部
１１…カメラ
１２…画像処理部
１２１…入力部
１２２…障害物検出部
１２３…俯瞰画像生成部
１２４…回転・移動部
１２５…画像調整部
１２６…状況図生成部
１２７…第２の障害物検出部
１３…車両情報生成部
１４…記憶部
１５…表示・警告部
【特許請求の範囲】
【請求項１】
車両の周囲を撮影可能な撮像部と、
前記撮像部で撮影した車両周辺の画像に含まれる障害物を検出する障害物検出部と、
前記撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、
前記俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、前記車両の周辺の状況を表す俯瞰視点の状況図を作成する状況図生成部と、
前記状況図を表示する表示部と、
を具備することを特徴とする車両用障害物検出装置。
【請求項２】
前記状況図生成部は、前記車両が同じ場所に駐車または同じ場所を通過する際に、前記俯瞰視点の状況図を更新作成することを特徴とする請求項１記載の車両用障害物検出装置。
【請求項３】
前記俯瞰画像生成部は、車両情報生成部からの情報をもとに前記車両の進行に合わせて回転・移動した複数の俯瞰画像を生成し、
前記状況図生成部は、前記複数の俯瞰画像を用いて前記状況図を生成することを特徴とする請求項１記載の車両用障害物検出装置。
【請求項４】
車両の周囲を撮影可能な撮像部と、
前記撮像部で撮影した車両周辺の画像に含まれる障害物を検出する第１の障害物検出部と、
前記撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、
前記俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、前記車両の周辺の状況を表す俯瞰視点の状況図を作成するとともに、前記車両の進行に応じて前記状況図を更新作成する状況図生成部と、
前記状況図生成部で作成した前記状況図を記憶する記憶部と、
前記記憶部に記憶した状況図と、前記状況図生成部で更新作成した状況図とを比較し、新たな障害物の存在を検出する第２の障害物検出部と、
前記状況図を表示するとともに、少なくとも前記新たな障害物の存在を検出したときに警告を発する表示・警告部と、
を具備することを特徴とする車両用障害物検出装置。
【請求項５】
前記俯瞰画像生成部は、車両情報生成部からの情報をもとに前記車両の進行に合わせて回転・移動した複数の俯瞰画像を生成し、
前記状況図生成部は、前記複数の俯瞰画像を用いて前記状況図を生成することを特徴とする請求項４記載の車両用障害物検出装置。
【請求項１】
車両の周囲を撮影可能な撮像部と、
前記撮像部で撮影した車両周辺の画像に含まれる障害物を検出する障害物検出部と、
前記撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、
前記俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、前記車両の周辺の状況を表す俯瞰視点の状況図を作成する状況図生成部と、
前記状況図を表示する表示部と、
を具備することを特徴とする車両用障害物検出装置。
【請求項２】
前記状況図生成部は、前記車両が同じ場所に駐車または同じ場所を通過する際に、前記俯瞰視点の状況図を更新作成することを特徴とする請求項１記載の車両用障害物検出装置。
【請求項３】
前記俯瞰画像生成部は、車両情報生成部からの情報をもとに前記車両の進行に合わせて回転・移動した複数の俯瞰画像を生成し、
前記状況図生成部は、前記複数の俯瞰画像を用いて前記状況図を生成することを特徴とする請求項１記載の車両用障害物検出装置。
【請求項４】
車両の周囲を撮影可能な撮像部と、
前記撮像部で撮影した車両周辺の画像に含まれる障害物を検出する第１の障害物検出部と、
前記撮影部で撮影した車両周辺の画像を所定の仮想視点から見た俯瞰画像に変換して出力する俯瞰画像生成部と、
前記俯瞰画像に含まれる障害物画像と障害物以外の画像とを識別可能な画像に変換し、前記車両の周辺の状況を表す俯瞰視点の状況図を作成するとともに、前記車両の進行に応じて前記状況図を更新作成する状況図生成部と、
前記状況図生成部で作成した前記状況図を記憶する記憶部と、
前記記憶部に記憶した状況図と、前記状況図生成部で更新作成した状況図とを比較し、新たな障害物の存在を検出する第２の障害物検出部と、
前記状況図を表示するとともに、少なくとも前記新たな障害物の存在を検出したときに警告を発する表示・警告部と、
を具備することを特徴とする車両用障害物検出装置。
【請求項５】
前記俯瞰画像生成部は、車両情報生成部からの情報をもとに前記車両の進行に合わせて回転・移動した複数の俯瞰画像を生成し、
前記状況図生成部は、前記複数の俯瞰画像を用いて前記状況図を生成することを特徴とする請求項４記載の車両用障害物検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−５７１０１（Ｐ２０１１−５７１０１Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２０９７２４（Ｐ２００９−２０９７２４）
【出願日】平成２１年９月１０日（２００９．９．１０）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月１０日（２００９．９．１０）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]