障害物警告システム及び画像処理装置
【課題】 超音波センサ及び超音波センサ用のＥＣＵを用いることなく、車両に搭載された撮像装置により撮像した撮像データに基づいて障害物を認識して警告する障害物警告システム及び該障害物警告システムを構成する画像処理装置を提供する。
【解決手段】 ビデオカメラ１、２の共通する撮像領域に存在する路面上の対象物を、立体射影方式の魚眼レンズを有するビデオカメラ１、２夫々で撮像した撮像画像を、画像処理ＥＣＵ３で撮像画像の湾曲部分を矯正する変換テーブルに基づいて変換し、変換後の矯正画像において、前記対象物に対応する障害物候補を夫々抽出し、抽出した障害物候補同士の形状の差異により、該対象物の高さの有無を判定し、高さの無い物は路面上の表示又は影であるとして障害物ではないと認識し、高さの有する物は障害物であると認識して警告する。
【解決手段】 ビデオカメラ１、２の共通する撮像領域に存在する路面上の対象物を、立体射影方式の魚眼レンズを有するビデオカメラ１、２夫々で撮像した撮像画像を、画像処理ＥＣＵ３で撮像画像の湾曲部分を矯正する変換テーブルに基づいて変換し、変換後の矯正画像において、前記対象物に対応する障害物候補を夫々抽出し、抽出した障害物候補同士の形状の差異により、該対象物の高さの有無を判定し、高さの無い物は路面上の表示又は影であるとして障害物ではないと認識し、高さの有する物は障害物であると認識して警告する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に取り付けられた複数の撮像装置により撮像した撮像データを画像処理し、障害物を認識して警告する障害物警告システム及び該障害物警告システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
近年車両に搭載される情報機器の増加に伴い、車両内の省線化又は軽量化を図るため情報系車載ＬＡＮの導入が行われている。特に音声データ又は画像データなどの大量の情報を扱うことができる中速又は高速情報系車載ＬＡＮを搭載したものが提案されている。
【０００３】
例えば、車両の周辺を監視するために、ビデオカメラ及びクリアランスソナーを取り付けたものがある。ビデオカメラはフロントグリル又はドアミラーなどに取り付けられ、ビデオカメラからの映像データを、車載ＬＡＮを介して画像処理ＥＣＵ（Electronic Control Unit）に取り込んで画像処理し、処理した画像データを液晶モニタに表示する。また、クリアランスソナーは車両のバンパに設けられた超音波センサと警報装置とから構成され、超音波センサからの信号を超音波センサ用のＥＣＵに取り込んで障害物の警告を行うものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の例にあっては、車両のバンパに超音波センサを設けている。超音波センサは直径が約１ｃｍの円盤状のセンサ部がバンパ表面に露出するため、車両の外観上容易に目立ち、車両の外観設計において悪影響を及ぼすものであった。また、ビデオカメラ及びクリアランスソナーを車両に搭載した場合は、画像処理ＥＣＵ及び超音波センサ用のＥＣＵの両者が必要であり車載システムの部品コストが増加するため、低コストの車載システムが望まれていた。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、視野の中央部よりも端部において撮像画像の湾曲度合いが大きい撮像装置を複数備え、撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、変換した各矯正画像から抽出した各障害物候補の形状の差異に基づいて障害物を認識する認識手段とを備えることにより、障害物候補の形状の差異により障害物の高さの有無を判定し、超音波センサ及び超音波センサ用のＥＣＵを用いることなく、車両周辺の障害物を認識して警告することができる障害物警告システム及び該障害物警告システムを構成する画像処理装置を提供することを目的とする。
【０００６】
また、本発明の他の目的は、撮像画像を鉛直下方向に撮像した画像に変換する変換手段を備えることにより、車両周辺の広い範囲における障害物を認識して警告することができる障害物警告システムを提供することにある。
【０００７】
また、本発明の他の目的は、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換する変換手段を備えることにより、矯正後の画像を得ることができる障害物警告システムを提供することにある。
【０００８】
また、本発明の他の目的は、障害物候補の画素の座標に基づいて車両から障害物までの距離を算出する算出手段を備え、算出した距離に応じて警告するように構成してあることにより、障害物との接触を回避することができる障害物警告システムを提供することにある。
【０００９】
また、本発明の他の目的は、各障害物候補を構成する画素が有する輝度値に関する相関値に基づいて、障害物候補の形状の差異を識別するように構成してあることにより、路面上の影又は路面表示などを障害物と誤認識することを防止することができる障害物警告システムを提供することにある。
【００１０】
また、本発明の他の目的は、撮像画像及び矯正画像の画素の位置を特定する座標を修正する修正手段を備えることにより、撮像装置の視野中心がずれた場合でも、前記ずれを補正して障害物を認識することができる障害物警告システムを提供することにある。
【００１１】
また、本発明の他の目的は、矯正画像の画素が有する輝度に関するポテンシャル関数を用いた動的輪郭モデルに基づいて障害物候補を抽出する抽出手段を備えることにより、車両又は障害物の動きの有無に拘わらず、障害物を認識することができる障害物警告システムを提供することにある。
【００１２】
また、本発明の他の目的は、魚眼レンズを有する撮像装置を備えることにより、障害物までの距離を高精度に算出することができる障害物警告システムを提供することにある。
【課題を解決するための手段】
【００１３】
第１発明に係る障害物警告システムは、車両の外界の共通する撮像領域を撮像装置で撮像して得られた撮像画像を画像処理装置で画像処理し、障害物を認識して警告する障害物警告システムにおいて、視野の中央部よりも端部において撮像画像の湾曲度合いが大きい撮像装置を複数備え、前記画像処理装置は、撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、変換した各矯正画像の画素が有する輝度に基づいて障害物候補を抽出する抽出手段と、抽出した障害物候補の形状の差異に基づいて障害物を認識する認識手段とを備えたことを特徴とする。
【００１４】
第２発明に係る障害物警告システムは、第１発明において、前記変換手段は、撮像画像を鉛直下方向に撮像した画像に変換するように構成してあることを特徴とする。
【００１５】
第３発明に係る障害物警告システムは、第１又は第２発明において、前記変換手段は、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換するように構成してあることを特徴とする。
【００１６】
第４発明に係る障害物警告システムは、第１乃至第３発明において、矯正画像における前記障害物候補の画素の座標に基づいて、車両から障害物までの距離を算出する算出手段を備え、該算出手段が算出した距離に応じて警告するように構成してあることを特徴とする。
【００１７】
第５発明に係る障害物警告システムは、第１乃至第４発明において、前記認識手段は、前記抽出手段が抽出した各障害物候補の画素が有する輝度値に関する相関値を演算する演算手段と、該演算手段が演算した相関値と第１の閾値とを比較する比較手段とを有し、該比較手段の比較結果に基づいて、前記障害物候補の形状の差異を判定するように構成してあることを特徴とする。
【００１８】
第６発明に係る障害物警告システムは、第５発明において、前記変換手段は、矯正画像の画素の位置を特定する座標を有し、該座標を修正する修正手段を備え、平面状の対象物を撮像した場合に、前記比較手段は、前記抽出手段が抽出した各障害物候補の画素が有する輝度値に関する相関値と第２の閾値とを比較するように構成してあり、前記相関値が第２の閾値より小さいときは、前記修正手段は、一方の障害物候補の形状を他方の障害物候補の形状に一致させるように、前記変換手段が有する座標を修正するように構成してあることを特徴とする。
【００１９】
第７発明に係る障害物警告システムは、第１乃至第６発明において、前記抽出手段は、矯正画像の画素が有する輝度に関するポテンシャル関数を用いた動的輪郭モデルに基づいて障害物候補を抽出するように構成してあることを特徴とする。
【００２０】
第８発明に係る障害物警告システムは、第１乃至第７発明において、前記光学素子は、魚眼レンズを含むことを特徴とする。
【００２１】
第９発明に係る画像処理装置は、取得した撮像画像を画像処理して障害物を認識する画像処理装置において、共通する撮像領域の撮像画像であって、視野の中央部よりも端部において湾曲度合いが大きい撮像画像を複数取得する取得手段と、撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、変換した各矯正画像の画素が有する輝度に基づいて障害物候補を抽出する抽出手段と、抽出した障害物候補の形状の差異に基づいて障害物を認識する認識手段とを備えたことを特徴とする。
【００２２】
第１発明及び第９発明にあっては、車両の外界の撮像領域のうち、一部が共通する撮像領域を撮像し、視野の中央部よりも端部において撮像画像の湾曲度合いが大きい撮像装置を複数設置する。例えば、車両の左前方を共通に撮像し、視野中心を鉛直下方向に向けた撮像装置を車両の前部及び左側部に設置する。標準レンズを有する撮像装置で撮像した場合に比較して、視野の端部において撮像画像の湾曲が生じる撮像装置で撮像した場合は、視野の中央部から端部に近づくにつれて像高が小さくなるため、撮像装置は、視野の端部に近づくにつれて、撮像した画像の湾曲度合い（歪み）が大きくなる湾曲画像を得る。変換手段は、撮像画像の湾曲部分を矯正した矯正画像に変換する。抽出手段は、各撮像装置で撮像した撮像画像を変換した各矯正画像における輝度値の差を利用して、前記矯正画像の画素が有する輝度に基づいて、前記対象物に対応する障害物候補を夫々抽出する。
【００２３】
前記変換手段は、垂直下方向に向けた撮像装置で撮像した撮像画像を、該撮像画像の湾曲部分を矯正した矯正画像に変換するため、路面上の対象物が高さを無視できる平面形状を有する場合には、前記平面形状が湾曲した撮像画像を変換した矯正画像は、前記対象物の前記平面形状の湾曲部分が矯正され、元の平面形状を表す画像となる。この場合は、前記抽出手段は、各撮像装置で撮像する共通領域にある対象物を撮像して得られた各矯正画像において、撮像装置と対象物との相対的な位置関係に基づいて、形状が近似した（形状の差異がない）障害物候補を夫々抽出する。前記認識手段は、前記抽出手段が抽出した障害物候補の形状の差異が無い場合は、前記対象物は高さを無視できるので、前記対象物は障害物ではないと認識する。
【００２４】
路面上の対象物が高さを有する場合は、各撮像装置で撮像した撮像画像は、前記対象物の平面形状が湾曲したものではなく、前記対象物の立体形状を、撮像装置と対象物とで定まる方向（投影方向）から路面に投影した形状（投影形状）が湾曲したものとなる。前記対象物は高さを有し、各撮像装置の投影方向は異なるため、各撮像装置で得られた投影形状は異なる。前記変換手段は、路面上の平面形状の湾曲部分を矯正するため、路面上の平面形状ではない前記投影形状を矯正した場合は、撮像画像を変換した矯正画像は、前記対象物の元の平面形状を表す画像ではなく、撮像画像における湾曲度合いの大小に応じて前記投影形状が異なった画像となる。従って、前記抽出手段は、各矯正画像において、形状が異なる（形状の差異がある）障害物候補を抽出する。前記認識手段は、前記抽出手段が抽出した障害物候補の形状の差異がある場合は、前記対象物は高さを有するので、前記対象物は障害物であると認識する。
【００２５】
第２発明にあっては、前記変換手段は、撮像画像を鉛直下方向に撮像した画像に変換することにより、広い撮像領域を得るために撮像装置の視野中心が鉛直下方向でなく、鉛直方向に対して一定の角度を有するように撮像装置が設置されている場合であっても、撮像装置が撮像した撮像画像を鉛直下方向の画像に視点変換する。これにより、撮像装置で撮像した画像を鉛直下方向の画像に視点変換し、視点変換した画像の湾曲部分を矯正して矯正画像を得る。各矯正画像において、路面と対象物との輝度値の差を利用して、前記矯正画像の画素が有する輝度に基づいて、前記対象物に対応する障害物候補を抽出して障害物の認識をする。
【００２６】
第３発明にあっては、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換することにより、撮像画像における湾曲部分を矯正して矯正画像を得る。
【００２７】
第４発明にあっては、矯正画像において、障害物と認識された障害物候補の画素の座標と、車両の端部を構成する画素の座標との距離を画素数に基づいて算出する。予め定められた１画素当たりの実空間での距離により、車両の前記端部と障害物との距離を算出し、算出した距離に応じて警告をする。
【００２８】
第５発明にあっては、各撮像装置により撮像して得られた矯正画像に基づいて抽出した各障害物候補の画素が有する輝度値に関する相関値を演算する。演算した相関値と第１の閾値とを比較し、前記相関値が第１の閾値より小さい場合は、各障害物候補の形状の差異があると判定し、障害物候補は高さを有するものとして障害物であると認識する。一方、前記相関値が第１の閾値より大きい場合は、各障害物候補の形状の差異が無いと判定し、障害物候補は、路面上の影又は路面表示などの高さを有しないものとして障害物ではないと認識する。
【００２９】
第６発明にあっては、変換手段は、矯正画像の画素の位置を特定する座標を有する。平面状の対象物（例えば、路面表示又は基準パターンなど）を各撮像装置により撮像した場合に、前記抽出手段は、前記対象物に対応する障害物候補を抽出する。抽出した各障害物候補の画素が有する輝度値に関する相関値を演算し、該相関値と第２の閾値とを比較する。前記相関値が第２の閾値より小さい場合は、修正手段は、一方の障害物候補を他方の障害物候補に一致させるように、前記変換手段が有する座標を修正する。
【００３０】
第７発明にあっては、矯正画像の画素が有する輝度に関するポテンシャル関数を用いた動的輪郭モデルに基づいて障害物候補を抽出する抽出手段を備える。矯正画像において、車両のエッジ部を初期値として、車両のエッジ部から離れる方向であって、かつ輝度の変化点が最大値となる輪郭に収束するようにポテンシャル関数を定め、該ポテンシャル関数が最小になるように輪郭曲線を繰り返し算出する。これにより、矯正画像における背景差分又は時間差分を用いて輪郭を求める必要がないため、車両又は障害物が停止している必要がない。
【００３１】
第８発明にあっては、魚眼レンズを有する撮像装置を備えている。魚眼レンズを有する撮像装置の場合は、撮像装置の視野の中央部より端部において像高が大きくなり、撮像した画像の分解能が向上する。
【発明の効果】
【００３２】
第１発明及び第９発明にあっては、複数の撮像装置が撮像した撮像画像の湾曲部分を矯正する変換手段により、撮像画像を矯正画像に変換し、障害物の有無を障害物候補の形状の差異として認識することにより、超音波センサ及び超音波センサ用のＥＣＵを用いることなく、車両周辺の障害物を認識して警告することができる。
【００３３】
第２発明にあっては、撮像画像を鉛直下方向の画像に変換する変換手段を備えることにより、撮像装置の視野中心を鉛直向に対して一定の角度を有するように撮像装置を設置することができ、車両周辺の広い範囲の障害物を認識して警告することができる。
【００３４】
第３発明にあっては、撮像画像の湾曲部分を矯正した矯正画像を得ることができる。
【００３５】
第４発明にあっては、障害物候補の画素の座標に基づいて車両から障害物までの距離を算出する算出手段を備えることにより、車両までの距離の応じた警告をすることができ、障害物との接触を回避することができる。
【００３６】
第５発明にあっては、各障害物候補の画素が有する輝度値に関する相関値に基づいて、障害物候補の形状の差異を識別するように構成してあることにより、路面上の影又は路面表示などを障害物と誤認識することを防止することができる。
【００３７】
第６発明にあっては、矯正画像の画素の座標を修正する修正手段を備え、路面上の平面上の対象物を撮像することにより、前記変換手段における矯正画像の画素の座標を修正して、撮像装置を車両に搭載した後に、車両走行時の振動により撮像装置の視野中心がずれた場合であっても、精度良く障害物を認識して警告することができる。
【００３８】
第７発明にあっては、動的輪郭モデルに基づいて障害物候補を抽出する抽出手段を備えることにより、車両又は障害物の動きの有無に拘わらず、障害物を認識することができる。
【００３９】
第８発明にあっては、魚眼レンズを有する撮像装置を備えることにより、車両から障害物までの距離を高精度に算出することができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明に係る障害物警告システム１０の構成を示すブロック図である。図において、１は車両のフロントグリルの中央部に設置した前方監視用のビデオカメラである。ビデオカメラ１は、立体射影方式の魚眼レンズを有し、魚眼レンズの光軸が車両前方斜め下方向になるように取り付けてある。車両の左側ドアミラーの下部には、ビデオカメラ１と同様の魚眼レンズを有し、該魚眼レンズの光軸が鉛直下方向になるように、左側監視用のビデオカメラ２が取り付けてある。
【００４１】
ビデオカメラ１及び２は、情報系ＬＡＮ７に接続してある。情報系ＬＡＮ７は、車載画像処理装置である画像処理ＥＣＵ３が接続してあり、ゲートウェイ５を介してボディ系ＬＡＮ８に接続してある。画像処理ＥＣＵ３には、操作部及び警報装置を有し車両の運転席に設置された表示装置４が接続してある。また、ボディ系ＬＡＮ８には、車速センサ６が接続してある。
【００４２】
情報系ＬＡＮ７は、高速シリアルバスインタフェースであるＩＥＥＥ１３９４の通信規格に準拠した通信線であり、ビデオカメラ１及び２により撮像した撮像データは、非圧縮で又はＤＶ（Digital Video）圧縮のようなリアルタイム性の高い圧縮形式で圧縮されて伝送される。
【００４３】
図２はビデオカメラ１及び２の撮像範囲を示す説明図である。図に示すように、前方監視用のビデオカメラ１は、車両の前端部に沿って左右方向に延びた直線を直径とする半円形状の撮像範囲１１を有する。また、左側監視用のビデオカメラ２は、車両の左側面に沿って前後方向に延びた直線を直径とする半円形状の撮像範囲２１を有する。ビデオカメラ１、２の共通する撮像領域Ｓ０は、撮像範囲１１と撮像範囲２１とが重なる矩形状の領域であり、車両の左前方に存在する。
【００４４】
図３は画像処理ＥＣＵ３の構成を示すブロック図である。図において３１は通信インタフェース部である。通信インタフェース部３１は、ビデオカメラ１及び２により撮像された撮像データを、情報系ＬＡＮ７を介して受信し、画像処理ＡＳＩＣ３２（Application Specific Integrated Circuit）に出力する。
【００４５】
画像処理ＡＳＩＣ３２は、ビデオカメラ１及び２が撮像した撮像データ夫々を、１フレーム単位でフレームメモリ３３の撮像データ領域３３ａに格納する。画像処理ＡＳＩＣ３２は、変換テーブル用メモリ３４に記憶された変換テーブル３４ａ、３４ｂを読み出し、フレームメモリ３３の撮像データ領域３３ａに格納したビデオカメラ１、２の撮像データ夫々を矯正後データに変換し、矯正後データ夫々をフレームメモリ３３の矯正後データ領域３３ｂに格納する。
【００４６】
図４は変換テーブル３４ａ、３４ｂの概念図である。変換テーブル３４ａは、撮像データで表される撮像画像の各画素を入力画素とし、変換後の矯正後データで表される矯正画像の各画素を出力画素として、どの入力画素（ｘ，ｙ）をどの出力画素（ｘ′，ｙ′）にマッピングするかを示し、画像の走査順に、各画素について所定数（例えば、３２ビット）のビットデータが割り当てられている。前記ビットデータは、フラグ、入力選択、入力番号、及び画素の座標値に区分してあり、フラグは、入力画素を出力画素にマッピングするか否かを定めている。入力選択は、いずれの撮像装置の撮像画像をマッピングするかを定めており、例えば、「１」の場合は変換テーブル３４ａがビデオカメラ１用のものであり、「２」の場合は変換テーブル３４ａがビデオカメラ２用であることを示す。すなわち、ビデオカメラ１、２で撮像した撮像データ夫々を変換する変換テーブル３４ａを変換テーブル用メモリ３４に記憶してある。入力番号は、出力画素にマッピングする入力画素の走査順の番号を示す。画素の座標値は、入力画素を出力画素にマッピングする場合の画素の座標を示す。
【００４７】
変換テーブル３４ｂは、ビデオカメラ１が撮像した撮像データで表される撮像画像の各画素を入力画素とし、鉛直下方向に撮像した画像に変換した後の画像の各画素を出力画素として、どの入力画素（Ｘ，Ｙ）をどの出力画素（ｘ，ｙ）にマッピングするかを示し、変換テーブル３４ａと同様の構成を有する。変換テーブル３４ｂは、変換テーブル３４ａと同様に「入力選択」のビットデータを有することにより、車両後部にビデオカメラ１と同様に後方監視用のビデオカメラを設置した場合でも、夫々のビデオカメラで撮像した撮像データを視点変換することが可能になる。
【００４８】
変換テーブル３４ｂは、変換後の画素の水平座標をｘ、変換後の画素の垂直座標をｙ、変換元の画素の水平座標をＸ、変換元の画素の垂直座標をＹとすると、数１に基づいた対応付けにより、入力画素を出力画素にマッピングするように構成してある。
【００４９】
【数１】
【００５０】
ここで、Ｈは車両の接地面からビデオカメラ１までの距離、Ｆはビデオカメラ１の焦点距離、αは車両の接地面に対するビデオカメラ１の撮像方向（光軸方向）の角度である。
【００５１】
変換テーブル３４ｂにより、ビデオカメラ１で撮像された撮像画像を鉛直下方向に撮像した撮像画像に変換し、次に変換テーブル３４ａにより、変換後の撮像画像の湾曲部分を矯正して、矯正画像に変換する。また、同様に、変換テーブル３４ａにより、ビデオカメラ２で撮像された撮像画像を矯正画像に変換する。
【００５２】
図５はビデオカメラ１により撮像した撮像画像の湾曲部分を矯正する例を示す説明図であり、図６はビデオカメラ２により撮像した撮像画像の湾曲部分を矯正する例を示す説明図である。図はビデオカメラ１及び２により路面上に配置された等間隔の直線マークを撮像した例である。図に示すように、立体射影方式の魚眼レンズを有するビデオカメラ１、２において、魚眼レンズの焦点距離をｆ、魚眼レンズの光軸に対する入射角をθとすると、像高ｙは、ｙ＝２ｆｔａｎ（θ／２）で表される。標準レンズに比較して、入射角θが増加するに伴って像高ｙは小さいため、ビデオカメラ１、２で撮像した画像１ａ、２ａでは、画像の中心から離れるにつれて直線の間隔は徐々に狭くなる。ビデオカメラ１、２により撮像した撮像データを変換テーブル３４ａ、３４ｂにより矯正後データに変換した後の矯正画像１ｂ、２ｂでは、等間隔の直線が表示されるように、出力画素の座標（ｘ１′，ｙ１′）、（ｘ２′，ｙ２′）夫々を入力画素の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）夫々からマッピングするように変換テーブル３４ａ、３４ｂを作成してある。
【００５３】
図７は障害物の矯正画像の画素を示す説明図である。矯正画像は、ビデオカメラ１、２により撮像した撮像データを変換テーブル３４ａ、３４ｂにより変換した変換後の矯正画像１ｂ、２ｂの共通領域Ｓにおける画素からなる。図７において、ｘ′は矯正画像の水平方向の水平画素であり、ｙ′は矯正画像の垂直方向の垂直画素である。矯正画像は、左上を原点（０，０）として水平方向に６４０画素、垂直方向に４８０画素を有する。
【００５４】
ビデオカメラ１、２で撮像する撮像領域の共通領域に存在する対象物を、ビデオカメラ１で撮像した撮像画像の画素（ｘ１，ｙ１）を矯正画像の画素（ｘ１′，ｙ１′）にマッピングし、また、ビデオカメラ２で撮像した撮像画像の画素（ｘ２，ｙ２）を矯正画像の画素（ｘ２′，ｙ２′）にマッピングする。ビデオカメラ１、２で撮像された両画像の変換後の座標系が一致するように、矯正画像の各画素（ｘ１′，ｙ１′）、（ｘ２′，ｙ２′）夫々は、同じ座標（ｘ′，ｙ′）に変換してある。これにより、ビデオカメラ１、２で撮像した撮像画像を、同じ座標に変換する。例えば、ビデオカメラ１で撮像した撮像画像の座標（０，０）の画素（入力番号「１」）は、変換後の矯正画像の座標（０，０）にマッピングされ、ビデオカメラ２で撮像した撮像画像の座標（０，０）の画素（入力番号「１」）は、変換後の矯正画像の座標（０，０）にマッピングされる。矯正画像の他の画素も、同様にビデオカメラ１、２により撮像された撮像画像の他の画素からマッピングされる。なお、撮像された撮像画像の湾曲度合いが大きすぎる場合には、入力画素が出力画素にマッピングされない場合もある。
【００５５】
また、画像処理ＡＳＩＣ３２は、変換テーブル３４ａ、３４ｂに基づいて変換された１フレーム分の矯正後データに対して、路面がアスファルトであるような場合に見られるランダムな輝度のばらつきを除去し、タイルのような規則性のあるテクスチャなどの輝度成分を除去するためのフィルタリング処理を行う。また、矯正後データ夫々の輝度を平均化して、ビデオカメラ１、２で撮像した画像の輝度分布が揃うように矯正後データの輝度補正を行う。
【００５６】
また、画像処理ＡＳＩＣ３２は、フレームメモリ３３の矯正後データ領域３３ｂから読み出した矯正後データに基づいて、障害物候補の抽出処理を行う。抽出処理には、動的輪郭モデルに基づいたアルゴリズムを用いる。
【００５７】
例えば、輪郭線パターンを表す曲線は、パラメータ表現をｖ（ｓ）とするとき、数２で示すエネルギ（ポテンシャル）Ｅを最小にするように、ｖ（ｓ）の位置と形状を変化させる。
【００５８】
【数２】
【００５９】
ここで、Eint(v(s))は内部エネルギと呼ばれる項であり、輪郭の１次差分及び２次差分に関するエネルギの和である。１次差分は輪郭を軟らかくさせるエネルギであり、２次差分は輪郭を硬くさせるエネルギである。また、Eimage(v(s))は画像エネルギと呼ばれる項であり、輪郭を障害物候補のエッジに引き寄せるエネルギであり、矯正後データが有する画素の輝度濃度の１次差分である。
【００６０】
矯正後データにおいて、車両のエッジ部の曲線をパラメータ表現ｖ（ｓ）の初期値として、ｖ（ｓ）で表される曲線を膨張、収縮させることによりエネルギＥを最小とする輪郭を抽出して、障害物候補を抽出する。
【００６１】
また、画像処理ＡＳＩＣ３２は、ビデオカメラ１の撮像画像を変換した矯正画像において抽出された障害物候補Ｐの形状と、ビデオカメラ２の撮像画像を変換した矯正画像において抽出された障害物候補Ｑの形状とを比較する。すなわち、画像処理ＡＳＩＣ３２は、障害物候補Ｐ及び障害物候補Ｑを含む矩形状の画像領域を切り出し、障害物候補Ｐ及び障害物候補Ｑが有する輝度値の間において相関値を演算する。相関値の算出は、数３で表される式に基づいて行われる。なお、相関値の算出前に、切り出した矩形状の画像領域における障害物候補Ｐ及び障害物候補Ｑと、それ以外の領域とを２値化しておくことも可能である。
【００６２】
【数３】
【００６３】
ここで、Ｎは障害物候補Ｐ、Ｑを含む矩形状の画像領域における総画素数、ｋは零からＮ−１までの整数、Ｐｋは障害物候補Ｐを含む矩形状の画像領域におけるｋ番目の画素の輝度値、Ｑｋは障害物候補Ｑを含む矩形状の画像領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。
【００６４】
画像処理ＡＳＩＣ３２は、ＲＯＭ３８に記憶された閾値ＴＨ１を読み出し、演算した相関値Ｒと閾値ＴＨ１とを比較する。相関値Ｒが閾値ＴＨ１よりも小さい場合には、障害物候補Ｐ及び障害物候補Ｑの形状に差異があり、障害物候補Ｐ、Ｑに対応する対象物は高さを有するものと判定し、障害物であると認識し、認識結果をマイクロコンピュータ３６へ出力する。一方、相関値Ｒが閾値ＴＨ１よりも大きい場合には、障害物候補Ｐ及び障害物候補Ｑの形状に差異が無く、障害物候補Ｐ、Ｑに対応する対象物は路面上の路面表示又は影などの高さを有しないものと判定し、障害物ではないと認識し、認識結果をマイクロコンピュータ３６へ出力する。
【００６５】
また、画像処理ＡＳＩＣ３２は、障害物であると認識された障害物候補Ｐ、Ｑの共通する輪郭部分を特徴点として、特徴点の座標を算出する。障害物候補Ｐ、Ｑの共通する輪郭部分は、障害物における路面の位置に対応する。特徴点の座標と矯正画像における車両の左前部の画素の座標との座標差を算出し、予め設定された１画素当たりの距離を示す係数を積算して、車両左前部から障害部までの距離を算出し、算出した結果をマイクロコンピュータ３６へ出力する。
【００６６】
フレームメモリ３３は、ＳＲＡＭ、ＳＤＲＡＭなどの高速アクセスが可能なＲＡＭである。変換テーブル用メモリ３４は、ＦＥＥＰＲＯＭ、ＥＥＰＲＯＭなどの繰り返し書き換え可能なＲＯＭである。
【００６７】
マイクロコンピュータ３６は、ＲＯＭ３８内に記憶されているプログラムをＲＡＭ３７に読み出して、該プログラムに基づいて画像処理ＡＳＩＣ３２が行う画像処理全般の制御処理を行う。マイクロコンピュータ３６は、通信インタフェース部３１を介して入力された車速センサ６からの速度情報と、画像処理ＡＳＩＣ３２から入力された障害物までの距離とに基づいて、障害物に対する危険度を判定し、判定結果を表示装置インタフェース部３５を介して表示装置４へ出力する。例えば、車両と障害物までの距離が短くなるにつれて警告装置の警告音を大きくし、又は警告音の間隔を短くする。また、車両の速度の大小に応じて警告音の大小を変える。これにより、障害物との接触を回避することができる。
【００６８】
次に障害物警告システム１０の動作について説明する。図８は障害物警告システム１０の処理手順を示すフローチャートである。まず、座標変換処理（Ｓ１００）について説明する。運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、画像処理ＡＳＩＣ３２は、ビデオカメラ１、２により撮像された撮像データを、１フレーム単位にフレームメモリ３３の撮像データ領域３３ａに格納する。画像処理ＡＳＩＣ３２は、予め設定してある変換テーブル３４ａ、３４ｂを変換テーブル用メモリ３４から読み出し、フレームメモリ３３の撮像データ領域３３ａに格納した撮像データを矯正後データに変化し、変換後の矯正後データを１フレーム単位にフレームメモリ３３の矯正後データ領域３３ｂに格納する。これにより、ビデオカメラ１により撮像した撮像画像を鉛直下方向に撮像した画像に変換するとともに、撮像画像を矯正画像に変換し、ビデオカメラ２により撮像した撮像画像を矯正画像に変換する。
【００６９】
次に障害物候補抽出処理（Ｓ２００）について説明する。画像処理ＡＳＩＣ３２は、フレームメモリ３３の矯正後データ領域３３ｂに格納した、ビデオカメラ１、２夫々に対応する１フレーム単位の矯正後データを読み出す。画像処理ＡＳＩＣ３２は、動的輪郭モデルに基づいたアルゴリズムにより、１フレーム単位の各矯正後データが有する画素の輝度値の変化点が大きい箇所に収束するような輪郭曲線を求め、ビデオカメラ１、２夫々で撮像した画像に対応する障害物候補Ｐ、Ｑを抽出する。なお、１フレーム単位の矯正後データ夫々において、複数の障害物候補Ｐ１、Ｐ２、…、Ｑ１、Ｑ２、…が抽出された場合には、共通する輪郭部分を有する障害物候補Ｐ１、Ｐ２、…、Ｑ１、Ｑ２、…ごとにグルーピングする。
【００７０】
次に障害物抽出処理（Ｓ３００）について説明する。画像処理ＡＳＩＣ３２は、ビデオカメラ１の撮像画像を変換した矯正画像において抽出された障害物候補Ｐの形状と、ビデオカメラ２の撮像画像を変換した矯正画像において抽出された障害物候補Ｑの形状とを比較する。障害物候補Ｐと障害物候補Ｑとの形状の差異が小さい場合は、障害物候補Ｐ、Ｑに対応する対象物は、高さを有しない路面上の路面表示又は影であるとして、障害物ではないと認識する。一方、障害物候補Ｐと障害物候補Ｑとの形状の差異が大きい場合は、障害物候補Ｐ、Ｑに対応する対象物は、高さを有すると判定し、障害物であると認識する。
【００７１】
図９は路面上の円形マークを撮像した例を示す説明図である。車両の左前方に適径で高さを無視できる円形マークを配置する。画面１ａはビデオカメラ１により撮像した撮像画像を鉛直下方向に撮像した画像に変換した後の撮像画像を示す。図に示すように、円形マークは、ビデオカメラ１と円形マークとで定まる方向に円形マークが縮径したように撮像される。一方、画面２ａは同じ円形マークをビデオカメラ２により撮像した撮像画像を示す。円形マークは、ビデオカメラ２と円形マークとで定まる方向に円形マークが縮径したように撮像される。
【００７２】
共通領域Ｓの画面は、ビデオカメラ１、２により撮像された撮像画像の湾曲部分を矯正する変換テーブル３４ａにより変換した後の矯正画像を示す。変換テーブル３４ａは、路面上のマークをビデオカメラ１、２で撮像して得られた撮像画像の湾曲部分を矯正して、前記マークが有する元の形状を表す画像に変換するものである。矯正後の円形マークＰ１、Ｑ１夫々は、元の形状が再現され、円形マークＰ１、Ｑ１の形状の差異は少ない。これにより、障害物候補Ｐ、Ｑの形状が近似する場合は、障害物候補Ｐ、Ｑに対応する対象物の高さは無視でき、障害物ではないと判定することができる。
【００７３】
図１０は路面上の円柱形状物体を撮像した例を示す説明図である。車両の左前方に適径、適高の円柱形状物体を配置する。画面１ａはビデオカメラ１により撮像した撮像画像を鉛直下方向に撮像した画像に変換した後の撮像画像を示す。図に示すように、円柱形状物体は、ビデオカメラ１と円柱形状物体とで定まる方向から、前記円柱形状物体を路面に投影した形状（投影形状）として撮像される。一方、画面２ａは同じ円柱形状物体をビデオカメラ２により撮像した撮像画像を示す。円柱形状物体は、ビデオカメラ２と円柱形状物体とで定まる方向から、前記円柱形状物体を路面に投影した形状（投影形状）として撮像される。前記円柱形状物体は高さを有し、ビデオカメラ１、２の投影方向は異なるため、ビデオカメラ１、２で得られた投影形状は異なる。
【００７４】
共通領域Ｓの画面は、ビデオカメラ１、２により撮像された撮像画像の湾曲部分を矯正する変換テーブル３４ａにより変換した後の矯正画像を示す。変換テーブル３４ａは、ビデオカメラ１、２で得られた投影形状を路面上の平面形状として矯正するため、撮像画像を変換した矯正画像は、湾曲度合いの大小に応じて前記投影形状の大きさが異なった画像となる。このため、ビデオカメラ１、２に対応する矯正画像における対象物Ｐ２、Ｑ２夫々の形状の差異は大きい。これにより、障害物候補Ｐ、Ｑの形状が相違する場合は、障害物候補Ｐ、Ｑに対応する対象物は高さを有し、障害物であると判定することができる。
【００７５】
次に距離算出処理（Ｓ４００）について説明する。画像処理ＡＳＩＣ３２は、障害物であると認識された障害物候補Ｐ、Ｑの共通する輪郭部分を特徴点として、特徴点の座標を算出する。特徴点の座標と矯正画像における車両の左前部の画素の座標との座標差を算出し、１画素当たりの距離を示す係数を積算して、車両左前部から障害部までの距離を算出する。画像処理ＥＣＵ３は、認識した障害物までの距離と、車速センサ６で検出した車両の速度とに応じて、障害物との接触を回避すべく警告を行う。
【００７６】
画像処理ＡＳＩＣ３２は、上述の処理を１フレーム単位の撮像データに対して行った後は、次のフレーム単位の撮像データに対して、同様の処理を繰り返す。
【００７７】
図１１は路面表示を撮像して変換テーブル３４ａを修正する例を示す説明図である。車両の左前方の路面上に表示された「４」（対象物）という数字を、ビデオカメラ１、２により撮像する。画像処理ＡＳＩＣ３２は、ビデオカメラ１の撮像画像を変換した矯正画像において抽出された数字「４」で表される障害物候補１Ｓの形状と、ビデオカメラ２の撮像画像を変換した矯正画像において抽出された数字「４」で表される障害物候補２Ｓの形状とを比較する。すなわち、画像処理ＡＳＩＣ３２は、障害物候補１Ｓ及び２Ｓが有する輝度値の間において相関値を演算する。相関値の算出は、数３で表される式に基づいて行われる。
【００７８】
画像処理ＡＳＩＣ３２は、ＲＯＭ３８に記憶された閾値ＴＨ２を読み出し、演算した相関値Ｒと閾値ＴＨ２とを比較する。閾値ＴＨ２は、路面上の平面形状の対象物を撮像した場合に、該対象物に対応する障害物候補間の前記相関値と同程度の値を予め設定しておく。相関値Ｒが閾値ＴＨ２よりも小さい場合には、ビデオカメラ１、２の視野中心が初期に設定された状態からずれていると判定し、数字「４」で表される障害物候補１Ｓの形状及び２Ｓの形状の特徴点を抽出する。特徴点としては、例えば、輪郭又は直線などを構成する画素である。抽出した特徴点同士を一致させるべく、変換後の座標を平行移動又は回転移動するように変換テーブル３４ａを修正する。例えば、変換テーブル３４ａの各画素のビットデータのうち、各入力番号に対応する画素の座標を修正する。
【００７９】
修正した変換テーブル３４ａを用いて、ビデオカメラ１、２により撮像した撮像データを変換し、抽出した数字「４」で表される障害物候補１Ｓ及び２Ｓが有する輝度値の間で相関値を算出し、算出した相関値と閾値ＴＨ２とを比較し、相関値が閾値ＴＨ２よりも大きくなるまで、変換テーブル３４ａの修正処理を繰り返す。これにより、ビデオカメラ１、２を車両に搭載した後に、ビデオカメラ１、２の視野中心がずれた場合でも、変換テーブル３４ａを修正することにより、障害物の認識を正確に行うことができる。なお、変換テーブル３４ａを修正するために用いる路面上のマークは路面表示に限られず、例えば、複数の円形マークを表示した基準パターンを表示するプレートであってもよい。
【００８０】
上述の通り、本発明にあっては、路面上の対象物の高さの有無を、ビデオカメラ１、２夫々で撮像した撮像画像を、変換テーブル３４ａ、３４ｂに基づいて変換した矯正画像における対象物の形状の差異により判定し、高さが無い物は路面上の表示又は影であるとして障害物ではないと認識し、高さを有する物は障害物であると認識して警告する。これにより、超音波センサ及び超音波センサ用のＥＣＵを使用せずに障害物の警告をすることができる。
【００８１】
また、変換テーブル３４ｂは、ビデオカメラ１により撮像した撮像画像を鉛直下方向に撮像した画像に変換するように構成してある。これにより、ビデオカメラ１を鉛直下方向に対して一定の角度をなした前方方向に向けて取り付けることができ、ビデオカメラ１で撮像できる撮像範囲が広くなる。
【００８２】
また、本発明にあっては、動的輪郭モデルに基づくアルゴリズムにより障害物候補の抽出を行うことにより、車両又は障害物が動いている場合であっても、障害物の輪郭を抽出することができる。
【００８３】
また、本発明にあっては、変換テーブル３４ａを修正する修正手段を備えている。これにより、車両の走行時の振動によりビデオカメラ１、２の光軸がずれた場合であっても、変換テーブル３４ａを修正して、正確に障害物を認識し、警告することができる。
【００８４】
また、本発明にあっては、立体射影方式の魚眼レンズを用いる。等距離射影方式の魚眼レンズの場合には、魚眼レンズの焦点距離をｆ、魚眼レンズの光軸に対する入射角をθとすると、像高ｙは、ｙ＝ｆθで表される。一方、立体射影方式の魚眼レンズの場合は、魚眼レンズの焦点距離をｆ、魚眼レンズの光軸に対する入射角をθとすると、像高ｙは、ｙ＝２ｆｔａｎ（θ／２）で表される。これにより、立体射影方式の魚眼レンズは、等距離射影方式の魚眼レンズに比較して、入射角が大きい場合の像高が大きくなり、撮像した画像の分解能が向上し、より広い範囲において高精度に障害物までの距離を算出することが可能になる。
【００８５】
上述の実施の形態においては、ビデオカメラ１、２を車両のフロントグリル中央部及び車両の左側ドアミラー下部に取り付ける構成であったが、これに限らず、車両の後部及び右側部に取り付けることにより、車両の四隅における障害物を認識することができる。
【００８６】
上述の実施の形態においては、ビデオカメラ１、２を車両のフロントグリル中央部及び車両のドアミラー下部に取り付ける構成であったが、これに限らず、光軸の異なる２つの光学素子を有し、該光学素子が撮像した撮像データを取り出す２つの撮像素子を備えた一体型のビデオカメラを車両の左前部に設ける構成でもよい。
【００８７】
上述の実施の形態においては、ビデオカメラ１、２は魚眼レンズを有する構成であったが、これに限らず、超広角レンズを用いる構成でよい。なお、この場合には、レンズに合わせて変換テーブル３４ａ、３４ｂを作成しておくことは言うまでもない。
【００８８】
上述の実施の形態においては、撮像画像の湾曲部分を矯正するために変換テーブル３４ａ、３４ｂを用いる構成であったが、これに限らず、撮像画像の画素を矯正画像の画素に変換する変換式に基づいて、演算して変換する構成であってもよい。
【００８９】
上述の実施の形態においては、ビデオカメラ１、２と画像処理ＥＣＵ３との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。
【００９０】
上述の実施の形態においては、障害物候補の抽出処理は、動的輪郭モデルに基づいて行う構成であったが、これに限らず、Ｈｏｕｇｈ変換、エッジ抽出などのアルゴリズムを用いる構成でもよい。
【００９１】
上述の実施の形態においては、障害物の抽出処理は、障害物候補が有する画素の輝度値に関する相関値を算出する構成であったが、これに限らず、障害物候補の輪郭形状同士を比較してパターン認識することにより、形状の差異を判定する構成でもよい。
【図面の簡単な説明】
【００９２】
【図１】本発明に係る障害物警告システムの構成を示すブロック図である。
【図２】ビデオカメラの撮像範囲を示す説明図である。
【図３】画像処理ＥＣＵの構成を示すブロック図である。
【図４】変換テーブルの概念図である。
【図５】ビデオカメラにより撮像した撮像画像の湾曲部分を矯正する例を示す説明図である。
【図６】ビデオカメラにより撮像した撮像画像の湾曲部分を矯正する例を示す説明図である。
【図７】障害物の矯正画像の画素を示す説明図である。
【図８】障害物警告システムの処理手順を示すフローチャートである。
【図９】路面上の円形マークを撮像した例を示す説明図である。
【図１０】路面上の円柱形状物体を撮像した例を示す説明図である。
【図１１】路面表示を撮像して変換テーブルを修正する例を示す説明図である。
【符号の説明】
【００９３】
１、２ ビデオカメラ
３ 画像処理ＥＣＵ
４ 表示装置
６ 車速センサ
７ 情報系ＬＡＮ
３１ 通信インタフェース部
３２ 画像処理ＡＳＩＣ
３３ フレームメモリ
３４ 変換テーブル用メモリ
３４ａ、３４ｂ 変換テーブル
３５ 表示装置インタフェース部
３６ マイクロコンピュータ
３７ ＲＡＭ
３８ ＲＯＭ
【技術分野】
【０００１】
本発明は、車両に取り付けられた複数の撮像装置により撮像した撮像データを画像処理し、障害物を認識して警告する障害物警告システム及び該障害物警告システムを構成する画像処理装置に関する。
【背景技術】
【０００２】
近年車両に搭載される情報機器の増加に伴い、車両内の省線化又は軽量化を図るため情報系車載ＬＡＮの導入が行われている。特に音声データ又は画像データなどの大量の情報を扱うことができる中速又は高速情報系車載ＬＡＮを搭載したものが提案されている。
【０００３】
例えば、車両の周辺を監視するために、ビデオカメラ及びクリアランスソナーを取り付けたものがある。ビデオカメラはフロントグリル又はドアミラーなどに取り付けられ、ビデオカメラからの映像データを、車載ＬＡＮを介して画像処理ＥＣＵ（Electronic Control Unit）に取り込んで画像処理し、処理した画像データを液晶モニタに表示する。また、クリアランスソナーは車両のバンパに設けられた超音波センサと警報装置とから構成され、超音波センサからの信号を超音波センサ用のＥＣＵに取り込んで障害物の警告を行うものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の例にあっては、車両のバンパに超音波センサを設けている。超音波センサは直径が約１ｃｍの円盤状のセンサ部がバンパ表面に露出するため、車両の外観上容易に目立ち、車両の外観設計において悪影響を及ぼすものであった。また、ビデオカメラ及びクリアランスソナーを車両に搭載した場合は、画像処理ＥＣＵ及び超音波センサ用のＥＣＵの両者が必要であり車載システムの部品コストが増加するため、低コストの車載システムが望まれていた。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、視野の中央部よりも端部において撮像画像の湾曲度合いが大きい撮像装置を複数備え、撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、変換した各矯正画像から抽出した各障害物候補の形状の差異に基づいて障害物を認識する認識手段とを備えることにより、障害物候補の形状の差異により障害物の高さの有無を判定し、超音波センサ及び超音波センサ用のＥＣＵを用いることなく、車両周辺の障害物を認識して警告することができる障害物警告システム及び該障害物警告システムを構成する画像処理装置を提供することを目的とする。
【０００６】
また、本発明の他の目的は、撮像画像を鉛直下方向に撮像した画像に変換する変換手段を備えることにより、車両周辺の広い範囲における障害物を認識して警告することができる障害物警告システムを提供することにある。
【０００７】
また、本発明の他の目的は、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換する変換手段を備えることにより、矯正後の画像を得ることができる障害物警告システムを提供することにある。
【０００８】
また、本発明の他の目的は、障害物候補の画素の座標に基づいて車両から障害物までの距離を算出する算出手段を備え、算出した距離に応じて警告するように構成してあることにより、障害物との接触を回避することができる障害物警告システムを提供することにある。
【０００９】
また、本発明の他の目的は、各障害物候補を構成する画素が有する輝度値に関する相関値に基づいて、障害物候補の形状の差異を識別するように構成してあることにより、路面上の影又は路面表示などを障害物と誤認識することを防止することができる障害物警告システムを提供することにある。
【００１０】
また、本発明の他の目的は、撮像画像及び矯正画像の画素の位置を特定する座標を修正する修正手段を備えることにより、撮像装置の視野中心がずれた場合でも、前記ずれを補正して障害物を認識することができる障害物警告システムを提供することにある。
【００１１】
また、本発明の他の目的は、矯正画像の画素が有する輝度に関するポテンシャル関数を用いた動的輪郭モデルに基づいて障害物候補を抽出する抽出手段を備えることにより、車両又は障害物の動きの有無に拘わらず、障害物を認識することができる障害物警告システムを提供することにある。
【００１２】
また、本発明の他の目的は、魚眼レンズを有する撮像装置を備えることにより、障害物までの距離を高精度に算出することができる障害物警告システムを提供することにある。
【課題を解決するための手段】
【００１３】
第１発明に係る障害物警告システムは、車両の外界の共通する撮像領域を撮像装置で撮像して得られた撮像画像を画像処理装置で画像処理し、障害物を認識して警告する障害物警告システムにおいて、視野の中央部よりも端部において撮像画像の湾曲度合いが大きい撮像装置を複数備え、前記画像処理装置は、撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、変換した各矯正画像の画素が有する輝度に基づいて障害物候補を抽出する抽出手段と、抽出した障害物候補の形状の差異に基づいて障害物を認識する認識手段とを備えたことを特徴とする。
【００１４】
第２発明に係る障害物警告システムは、第１発明において、前記変換手段は、撮像画像を鉛直下方向に撮像した画像に変換するように構成してあることを特徴とする。
【００１５】
第３発明に係る障害物警告システムは、第１又は第２発明において、前記変換手段は、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換するように構成してあることを特徴とする。
【００１６】
第４発明に係る障害物警告システムは、第１乃至第３発明において、矯正画像における前記障害物候補の画素の座標に基づいて、車両から障害物までの距離を算出する算出手段を備え、該算出手段が算出した距離に応じて警告するように構成してあることを特徴とする。
【００１７】
第５発明に係る障害物警告システムは、第１乃至第４発明において、前記認識手段は、前記抽出手段が抽出した各障害物候補の画素が有する輝度値に関する相関値を演算する演算手段と、該演算手段が演算した相関値と第１の閾値とを比較する比較手段とを有し、該比較手段の比較結果に基づいて、前記障害物候補の形状の差異を判定するように構成してあることを特徴とする。
【００１８】
第６発明に係る障害物警告システムは、第５発明において、前記変換手段は、矯正画像の画素の位置を特定する座標を有し、該座標を修正する修正手段を備え、平面状の対象物を撮像した場合に、前記比較手段は、前記抽出手段が抽出した各障害物候補の画素が有する輝度値に関する相関値と第２の閾値とを比較するように構成してあり、前記相関値が第２の閾値より小さいときは、前記修正手段は、一方の障害物候補の形状を他方の障害物候補の形状に一致させるように、前記変換手段が有する座標を修正するように構成してあることを特徴とする。
【００１９】
第７発明に係る障害物警告システムは、第１乃至第６発明において、前記抽出手段は、矯正画像の画素が有する輝度に関するポテンシャル関数を用いた動的輪郭モデルに基づいて障害物候補を抽出するように構成してあることを特徴とする。
【００２０】
第８発明に係る障害物警告システムは、第１乃至第７発明において、前記光学素子は、魚眼レンズを含むことを特徴とする。
【００２１】
第９発明に係る画像処理装置は、取得した撮像画像を画像処理して障害物を認識する画像処理装置において、共通する撮像領域の撮像画像であって、視野の中央部よりも端部において湾曲度合いが大きい撮像画像を複数取得する取得手段と、撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、変換した各矯正画像の画素が有する輝度に基づいて障害物候補を抽出する抽出手段と、抽出した障害物候補の形状の差異に基づいて障害物を認識する認識手段とを備えたことを特徴とする。
【００２２】
第１発明及び第９発明にあっては、車両の外界の撮像領域のうち、一部が共通する撮像領域を撮像し、視野の中央部よりも端部において撮像画像の湾曲度合いが大きい撮像装置を複数設置する。例えば、車両の左前方を共通に撮像し、視野中心を鉛直下方向に向けた撮像装置を車両の前部及び左側部に設置する。標準レンズを有する撮像装置で撮像した場合に比較して、視野の端部において撮像画像の湾曲が生じる撮像装置で撮像した場合は、視野の中央部から端部に近づくにつれて像高が小さくなるため、撮像装置は、視野の端部に近づくにつれて、撮像した画像の湾曲度合い（歪み）が大きくなる湾曲画像を得る。変換手段は、撮像画像の湾曲部分を矯正した矯正画像に変換する。抽出手段は、各撮像装置で撮像した撮像画像を変換した各矯正画像における輝度値の差を利用して、前記矯正画像の画素が有する輝度に基づいて、前記対象物に対応する障害物候補を夫々抽出する。
【００２３】
前記変換手段は、垂直下方向に向けた撮像装置で撮像した撮像画像を、該撮像画像の湾曲部分を矯正した矯正画像に変換するため、路面上の対象物が高さを無視できる平面形状を有する場合には、前記平面形状が湾曲した撮像画像を変換した矯正画像は、前記対象物の前記平面形状の湾曲部分が矯正され、元の平面形状を表す画像となる。この場合は、前記抽出手段は、各撮像装置で撮像する共通領域にある対象物を撮像して得られた各矯正画像において、撮像装置と対象物との相対的な位置関係に基づいて、形状が近似した（形状の差異がない）障害物候補を夫々抽出する。前記認識手段は、前記抽出手段が抽出した障害物候補の形状の差異が無い場合は、前記対象物は高さを無視できるので、前記対象物は障害物ではないと認識する。
【００２４】
路面上の対象物が高さを有する場合は、各撮像装置で撮像した撮像画像は、前記対象物の平面形状が湾曲したものではなく、前記対象物の立体形状を、撮像装置と対象物とで定まる方向（投影方向）から路面に投影した形状（投影形状）が湾曲したものとなる。前記対象物は高さを有し、各撮像装置の投影方向は異なるため、各撮像装置で得られた投影形状は異なる。前記変換手段は、路面上の平面形状の湾曲部分を矯正するため、路面上の平面形状ではない前記投影形状を矯正した場合は、撮像画像を変換した矯正画像は、前記対象物の元の平面形状を表す画像ではなく、撮像画像における湾曲度合いの大小に応じて前記投影形状が異なった画像となる。従って、前記抽出手段は、各矯正画像において、形状が異なる（形状の差異がある）障害物候補を抽出する。前記認識手段は、前記抽出手段が抽出した障害物候補の形状の差異がある場合は、前記対象物は高さを有するので、前記対象物は障害物であると認識する。
【００２５】
第２発明にあっては、前記変換手段は、撮像画像を鉛直下方向に撮像した画像に変換することにより、広い撮像領域を得るために撮像装置の視野中心が鉛直下方向でなく、鉛直方向に対して一定の角度を有するように撮像装置が設置されている場合であっても、撮像装置が撮像した撮像画像を鉛直下方向の画像に視点変換する。これにより、撮像装置で撮像した画像を鉛直下方向の画像に視点変換し、視点変換した画像の湾曲部分を矯正して矯正画像を得る。各矯正画像において、路面と対象物との輝度値の差を利用して、前記矯正画像の画素が有する輝度に基づいて、前記対象物に対応する障害物候補を抽出して障害物の認識をする。
【００２６】
第３発明にあっては、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換することにより、撮像画像における湾曲部分を矯正して矯正画像を得る。
【００２７】
第４発明にあっては、矯正画像において、障害物と認識された障害物候補の画素の座標と、車両の端部を構成する画素の座標との距離を画素数に基づいて算出する。予め定められた１画素当たりの実空間での距離により、車両の前記端部と障害物との距離を算出し、算出した距離に応じて警告をする。
【００２８】
第５発明にあっては、各撮像装置により撮像して得られた矯正画像に基づいて抽出した各障害物候補の画素が有する輝度値に関する相関値を演算する。演算した相関値と第１の閾値とを比較し、前記相関値が第１の閾値より小さい場合は、各障害物候補の形状の差異があると判定し、障害物候補は高さを有するものとして障害物であると認識する。一方、前記相関値が第１の閾値より大きい場合は、各障害物候補の形状の差異が無いと判定し、障害物候補は、路面上の影又は路面表示などの高さを有しないものとして障害物ではないと認識する。
【００２９】
第６発明にあっては、変換手段は、矯正画像の画素の位置を特定する座標を有する。平面状の対象物（例えば、路面表示又は基準パターンなど）を各撮像装置により撮像した場合に、前記抽出手段は、前記対象物に対応する障害物候補を抽出する。抽出した各障害物候補の画素が有する輝度値に関する相関値を演算し、該相関値と第２の閾値とを比較する。前記相関値が第２の閾値より小さい場合は、修正手段は、一方の障害物候補を他方の障害物候補に一致させるように、前記変換手段が有する座標を修正する。
【００３０】
第７発明にあっては、矯正画像の画素が有する輝度に関するポテンシャル関数を用いた動的輪郭モデルに基づいて障害物候補を抽出する抽出手段を備える。矯正画像において、車両のエッジ部を初期値として、車両のエッジ部から離れる方向であって、かつ輝度の変化点が最大値となる輪郭に収束するようにポテンシャル関数を定め、該ポテンシャル関数が最小になるように輪郭曲線を繰り返し算出する。これにより、矯正画像における背景差分又は時間差分を用いて輪郭を求める必要がないため、車両又は障害物が停止している必要がない。
【００３１】
第８発明にあっては、魚眼レンズを有する撮像装置を備えている。魚眼レンズを有する撮像装置の場合は、撮像装置の視野の中央部より端部において像高が大きくなり、撮像した画像の分解能が向上する。
【発明の効果】
【００３２】
第１発明及び第９発明にあっては、複数の撮像装置が撮像した撮像画像の湾曲部分を矯正する変換手段により、撮像画像を矯正画像に変換し、障害物の有無を障害物候補の形状の差異として認識することにより、超音波センサ及び超音波センサ用のＥＣＵを用いることなく、車両周辺の障害物を認識して警告することができる。
【００３３】
第２発明にあっては、撮像画像を鉛直下方向の画像に変換する変換手段を備えることにより、撮像装置の視野中心を鉛直向に対して一定の角度を有するように撮像装置を設置することができ、車両周辺の広い範囲の障害物を認識して警告することができる。
【００３４】
第３発明にあっては、撮像画像の湾曲部分を矯正した矯正画像を得ることができる。
【００３５】
第４発明にあっては、障害物候補の画素の座標に基づいて車両から障害物までの距離を算出する算出手段を備えることにより、車両までの距離の応じた警告をすることができ、障害物との接触を回避することができる。
【００３６】
第５発明にあっては、各障害物候補の画素が有する輝度値に関する相関値に基づいて、障害物候補の形状の差異を識別するように構成してあることにより、路面上の影又は路面表示などを障害物と誤認識することを防止することができる。
【００３７】
第６発明にあっては、矯正画像の画素の座標を修正する修正手段を備え、路面上の平面上の対象物を撮像することにより、前記変換手段における矯正画像の画素の座標を修正して、撮像装置を車両に搭載した後に、車両走行時の振動により撮像装置の視野中心がずれた場合であっても、精度良く障害物を認識して警告することができる。
【００３８】
第７発明にあっては、動的輪郭モデルに基づいて障害物候補を抽出する抽出手段を備えることにより、車両又は障害物の動きの有無に拘わらず、障害物を認識することができる。
【００３９】
第８発明にあっては、魚眼レンズを有する撮像装置を備えることにより、車両から障害物までの距離を高精度に算出することができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明に係る障害物警告システム１０の構成を示すブロック図である。図において、１は車両のフロントグリルの中央部に設置した前方監視用のビデオカメラである。ビデオカメラ１は、立体射影方式の魚眼レンズを有し、魚眼レンズの光軸が車両前方斜め下方向になるように取り付けてある。車両の左側ドアミラーの下部には、ビデオカメラ１と同様の魚眼レンズを有し、該魚眼レンズの光軸が鉛直下方向になるように、左側監視用のビデオカメラ２が取り付けてある。
【００４１】
ビデオカメラ１及び２は、情報系ＬＡＮ７に接続してある。情報系ＬＡＮ７は、車載画像処理装置である画像処理ＥＣＵ３が接続してあり、ゲートウェイ５を介してボディ系ＬＡＮ８に接続してある。画像処理ＥＣＵ３には、操作部及び警報装置を有し車両の運転席に設置された表示装置４が接続してある。また、ボディ系ＬＡＮ８には、車速センサ６が接続してある。
【００４２】
情報系ＬＡＮ７は、高速シリアルバスインタフェースであるＩＥＥＥ１３９４の通信規格に準拠した通信線であり、ビデオカメラ１及び２により撮像した撮像データは、非圧縮で又はＤＶ（Digital Video）圧縮のようなリアルタイム性の高い圧縮形式で圧縮されて伝送される。
【００４３】
図２はビデオカメラ１及び２の撮像範囲を示す説明図である。図に示すように、前方監視用のビデオカメラ１は、車両の前端部に沿って左右方向に延びた直線を直径とする半円形状の撮像範囲１１を有する。また、左側監視用のビデオカメラ２は、車両の左側面に沿って前後方向に延びた直線を直径とする半円形状の撮像範囲２１を有する。ビデオカメラ１、２の共通する撮像領域Ｓ０は、撮像範囲１１と撮像範囲２１とが重なる矩形状の領域であり、車両の左前方に存在する。
【００４４】
図３は画像処理ＥＣＵ３の構成を示すブロック図である。図において３１は通信インタフェース部である。通信インタフェース部３１は、ビデオカメラ１及び２により撮像された撮像データを、情報系ＬＡＮ７を介して受信し、画像処理ＡＳＩＣ３２（Application Specific Integrated Circuit）に出力する。
【００４５】
画像処理ＡＳＩＣ３２は、ビデオカメラ１及び２が撮像した撮像データ夫々を、１フレーム単位でフレームメモリ３３の撮像データ領域３３ａに格納する。画像処理ＡＳＩＣ３２は、変換テーブル用メモリ３４に記憶された変換テーブル３４ａ、３４ｂを読み出し、フレームメモリ３３の撮像データ領域３３ａに格納したビデオカメラ１、２の撮像データ夫々を矯正後データに変換し、矯正後データ夫々をフレームメモリ３３の矯正後データ領域３３ｂに格納する。
【００４６】
図４は変換テーブル３４ａ、３４ｂの概念図である。変換テーブル３４ａは、撮像データで表される撮像画像の各画素を入力画素とし、変換後の矯正後データで表される矯正画像の各画素を出力画素として、どの入力画素（ｘ，ｙ）をどの出力画素（ｘ′，ｙ′）にマッピングするかを示し、画像の走査順に、各画素について所定数（例えば、３２ビット）のビットデータが割り当てられている。前記ビットデータは、フラグ、入力選択、入力番号、及び画素の座標値に区分してあり、フラグは、入力画素を出力画素にマッピングするか否かを定めている。入力選択は、いずれの撮像装置の撮像画像をマッピングするかを定めており、例えば、「１」の場合は変換テーブル３４ａがビデオカメラ１用のものであり、「２」の場合は変換テーブル３４ａがビデオカメラ２用であることを示す。すなわち、ビデオカメラ１、２で撮像した撮像データ夫々を変換する変換テーブル３４ａを変換テーブル用メモリ３４に記憶してある。入力番号は、出力画素にマッピングする入力画素の走査順の番号を示す。画素の座標値は、入力画素を出力画素にマッピングする場合の画素の座標を示す。
【００４７】
変換テーブル３４ｂは、ビデオカメラ１が撮像した撮像データで表される撮像画像の各画素を入力画素とし、鉛直下方向に撮像した画像に変換した後の画像の各画素を出力画素として、どの入力画素（Ｘ，Ｙ）をどの出力画素（ｘ，ｙ）にマッピングするかを示し、変換テーブル３４ａと同様の構成を有する。変換テーブル３４ｂは、変換テーブル３４ａと同様に「入力選択」のビットデータを有することにより、車両後部にビデオカメラ１と同様に後方監視用のビデオカメラを設置した場合でも、夫々のビデオカメラで撮像した撮像データを視点変換することが可能になる。
【００４８】
変換テーブル３４ｂは、変換後の画素の水平座標をｘ、変換後の画素の垂直座標をｙ、変換元の画素の水平座標をＸ、変換元の画素の垂直座標をＹとすると、数１に基づいた対応付けにより、入力画素を出力画素にマッピングするように構成してある。
【００４９】
【数１】
【００５０】
ここで、Ｈは車両の接地面からビデオカメラ１までの距離、Ｆはビデオカメラ１の焦点距離、αは車両の接地面に対するビデオカメラ１の撮像方向（光軸方向）の角度である。
【００５１】
変換テーブル３４ｂにより、ビデオカメラ１で撮像された撮像画像を鉛直下方向に撮像した撮像画像に変換し、次に変換テーブル３４ａにより、変換後の撮像画像の湾曲部分を矯正して、矯正画像に変換する。また、同様に、変換テーブル３４ａにより、ビデオカメラ２で撮像された撮像画像を矯正画像に変換する。
【００５２】
図５はビデオカメラ１により撮像した撮像画像の湾曲部分を矯正する例を示す説明図であり、図６はビデオカメラ２により撮像した撮像画像の湾曲部分を矯正する例を示す説明図である。図はビデオカメラ１及び２により路面上に配置された等間隔の直線マークを撮像した例である。図に示すように、立体射影方式の魚眼レンズを有するビデオカメラ１、２において、魚眼レンズの焦点距離をｆ、魚眼レンズの光軸に対する入射角をθとすると、像高ｙは、ｙ＝２ｆｔａｎ（θ／２）で表される。標準レンズに比較して、入射角θが増加するに伴って像高ｙは小さいため、ビデオカメラ１、２で撮像した画像１ａ、２ａでは、画像の中心から離れるにつれて直線の間隔は徐々に狭くなる。ビデオカメラ１、２により撮像した撮像データを変換テーブル３４ａ、３４ｂにより矯正後データに変換した後の矯正画像１ｂ、２ｂでは、等間隔の直線が表示されるように、出力画素の座標（ｘ１′，ｙ１′）、（ｘ２′，ｙ２′）夫々を入力画素の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）夫々からマッピングするように変換テーブル３４ａ、３４ｂを作成してある。
【００５３】
図７は障害物の矯正画像の画素を示す説明図である。矯正画像は、ビデオカメラ１、２により撮像した撮像データを変換テーブル３４ａ、３４ｂにより変換した変換後の矯正画像１ｂ、２ｂの共通領域Ｓにおける画素からなる。図７において、ｘ′は矯正画像の水平方向の水平画素であり、ｙ′は矯正画像の垂直方向の垂直画素である。矯正画像は、左上を原点（０，０）として水平方向に６４０画素、垂直方向に４８０画素を有する。
【００５４】
ビデオカメラ１、２で撮像する撮像領域の共通領域に存在する対象物を、ビデオカメラ１で撮像した撮像画像の画素（ｘ１，ｙ１）を矯正画像の画素（ｘ１′，ｙ１′）にマッピングし、また、ビデオカメラ２で撮像した撮像画像の画素（ｘ２，ｙ２）を矯正画像の画素（ｘ２′，ｙ２′）にマッピングする。ビデオカメラ１、２で撮像された両画像の変換後の座標系が一致するように、矯正画像の各画素（ｘ１′，ｙ１′）、（ｘ２′，ｙ２′）夫々は、同じ座標（ｘ′，ｙ′）に変換してある。これにより、ビデオカメラ１、２で撮像した撮像画像を、同じ座標に変換する。例えば、ビデオカメラ１で撮像した撮像画像の座標（０，０）の画素（入力番号「１」）は、変換後の矯正画像の座標（０，０）にマッピングされ、ビデオカメラ２で撮像した撮像画像の座標（０，０）の画素（入力番号「１」）は、変換後の矯正画像の座標（０，０）にマッピングされる。矯正画像の他の画素も、同様にビデオカメラ１、２により撮像された撮像画像の他の画素からマッピングされる。なお、撮像された撮像画像の湾曲度合いが大きすぎる場合には、入力画素が出力画素にマッピングされない場合もある。
【００５５】
また、画像処理ＡＳＩＣ３２は、変換テーブル３４ａ、３４ｂに基づいて変換された１フレーム分の矯正後データに対して、路面がアスファルトであるような場合に見られるランダムな輝度のばらつきを除去し、タイルのような規則性のあるテクスチャなどの輝度成分を除去するためのフィルタリング処理を行う。また、矯正後データ夫々の輝度を平均化して、ビデオカメラ１、２で撮像した画像の輝度分布が揃うように矯正後データの輝度補正を行う。
【００５６】
また、画像処理ＡＳＩＣ３２は、フレームメモリ３３の矯正後データ領域３３ｂから読み出した矯正後データに基づいて、障害物候補の抽出処理を行う。抽出処理には、動的輪郭モデルに基づいたアルゴリズムを用いる。
【００５７】
例えば、輪郭線パターンを表す曲線は、パラメータ表現をｖ（ｓ）とするとき、数２で示すエネルギ（ポテンシャル）Ｅを最小にするように、ｖ（ｓ）の位置と形状を変化させる。
【００５８】
【数２】
【００５９】
ここで、Eint(v(s))は内部エネルギと呼ばれる項であり、輪郭の１次差分及び２次差分に関するエネルギの和である。１次差分は輪郭を軟らかくさせるエネルギであり、２次差分は輪郭を硬くさせるエネルギである。また、Eimage(v(s))は画像エネルギと呼ばれる項であり、輪郭を障害物候補のエッジに引き寄せるエネルギであり、矯正後データが有する画素の輝度濃度の１次差分である。
【００６０】
矯正後データにおいて、車両のエッジ部の曲線をパラメータ表現ｖ（ｓ）の初期値として、ｖ（ｓ）で表される曲線を膨張、収縮させることによりエネルギＥを最小とする輪郭を抽出して、障害物候補を抽出する。
【００６１】
また、画像処理ＡＳＩＣ３２は、ビデオカメラ１の撮像画像を変換した矯正画像において抽出された障害物候補Ｐの形状と、ビデオカメラ２の撮像画像を変換した矯正画像において抽出された障害物候補Ｑの形状とを比較する。すなわち、画像処理ＡＳＩＣ３２は、障害物候補Ｐ及び障害物候補Ｑを含む矩形状の画像領域を切り出し、障害物候補Ｐ及び障害物候補Ｑが有する輝度値の間において相関値を演算する。相関値の算出は、数３で表される式に基づいて行われる。なお、相関値の算出前に、切り出した矩形状の画像領域における障害物候補Ｐ及び障害物候補Ｑと、それ以外の領域とを２値化しておくことも可能である。
【００６２】
【数３】
【００６３】
ここで、Ｎは障害物候補Ｐ、Ｑを含む矩形状の画像領域における総画素数、ｋは零からＮ−１までの整数、Ｐｋは障害物候補Ｐを含む矩形状の画像領域におけるｋ番目の画素の輝度値、Ｑｋは障害物候補Ｑを含む矩形状の画像領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。
【００６４】
画像処理ＡＳＩＣ３２は、ＲＯＭ３８に記憶された閾値ＴＨ１を読み出し、演算した相関値Ｒと閾値ＴＨ１とを比較する。相関値Ｒが閾値ＴＨ１よりも小さい場合には、障害物候補Ｐ及び障害物候補Ｑの形状に差異があり、障害物候補Ｐ、Ｑに対応する対象物は高さを有するものと判定し、障害物であると認識し、認識結果をマイクロコンピュータ３６へ出力する。一方、相関値Ｒが閾値ＴＨ１よりも大きい場合には、障害物候補Ｐ及び障害物候補Ｑの形状に差異が無く、障害物候補Ｐ、Ｑに対応する対象物は路面上の路面表示又は影などの高さを有しないものと判定し、障害物ではないと認識し、認識結果をマイクロコンピュータ３６へ出力する。
【００６５】
また、画像処理ＡＳＩＣ３２は、障害物であると認識された障害物候補Ｐ、Ｑの共通する輪郭部分を特徴点として、特徴点の座標を算出する。障害物候補Ｐ、Ｑの共通する輪郭部分は、障害物における路面の位置に対応する。特徴点の座標と矯正画像における車両の左前部の画素の座標との座標差を算出し、予め設定された１画素当たりの距離を示す係数を積算して、車両左前部から障害部までの距離を算出し、算出した結果をマイクロコンピュータ３６へ出力する。
【００６６】
フレームメモリ３３は、ＳＲＡＭ、ＳＤＲＡＭなどの高速アクセスが可能なＲＡＭである。変換テーブル用メモリ３４は、ＦＥＥＰＲＯＭ、ＥＥＰＲＯＭなどの繰り返し書き換え可能なＲＯＭである。
【００６７】
マイクロコンピュータ３６は、ＲＯＭ３８内に記憶されているプログラムをＲＡＭ３７に読み出して、該プログラムに基づいて画像処理ＡＳＩＣ３２が行う画像処理全般の制御処理を行う。マイクロコンピュータ３６は、通信インタフェース部３１を介して入力された車速センサ６からの速度情報と、画像処理ＡＳＩＣ３２から入力された障害物までの距離とに基づいて、障害物に対する危険度を判定し、判定結果を表示装置インタフェース部３５を介して表示装置４へ出力する。例えば、車両と障害物までの距離が短くなるにつれて警告装置の警告音を大きくし、又は警告音の間隔を短くする。また、車両の速度の大小に応じて警告音の大小を変える。これにより、障害物との接触を回避することができる。
【００６８】
次に障害物警告システム１０の動作について説明する。図８は障害物警告システム１０の処理手順を示すフローチャートである。まず、座標変換処理（Ｓ１００）について説明する。運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１、２の動作スイッチをオンにすると、画像処理ＡＳＩＣ３２は、ビデオカメラ１、２により撮像された撮像データを、１フレーム単位にフレームメモリ３３の撮像データ領域３３ａに格納する。画像処理ＡＳＩＣ３２は、予め設定してある変換テーブル３４ａ、３４ｂを変換テーブル用メモリ３４から読み出し、フレームメモリ３３の撮像データ領域３３ａに格納した撮像データを矯正後データに変化し、変換後の矯正後データを１フレーム単位にフレームメモリ３３の矯正後データ領域３３ｂに格納する。これにより、ビデオカメラ１により撮像した撮像画像を鉛直下方向に撮像した画像に変換するとともに、撮像画像を矯正画像に変換し、ビデオカメラ２により撮像した撮像画像を矯正画像に変換する。
【００６９】
次に障害物候補抽出処理（Ｓ２００）について説明する。画像処理ＡＳＩＣ３２は、フレームメモリ３３の矯正後データ領域３３ｂに格納した、ビデオカメラ１、２夫々に対応する１フレーム単位の矯正後データを読み出す。画像処理ＡＳＩＣ３２は、動的輪郭モデルに基づいたアルゴリズムにより、１フレーム単位の各矯正後データが有する画素の輝度値の変化点が大きい箇所に収束するような輪郭曲線を求め、ビデオカメラ１、２夫々で撮像した画像に対応する障害物候補Ｐ、Ｑを抽出する。なお、１フレーム単位の矯正後データ夫々において、複数の障害物候補Ｐ１、Ｐ２、…、Ｑ１、Ｑ２、…が抽出された場合には、共通する輪郭部分を有する障害物候補Ｐ１、Ｐ２、…、Ｑ１、Ｑ２、…ごとにグルーピングする。
【００７０】
次に障害物抽出処理（Ｓ３００）について説明する。画像処理ＡＳＩＣ３２は、ビデオカメラ１の撮像画像を変換した矯正画像において抽出された障害物候補Ｐの形状と、ビデオカメラ２の撮像画像を変換した矯正画像において抽出された障害物候補Ｑの形状とを比較する。障害物候補Ｐと障害物候補Ｑとの形状の差異が小さい場合は、障害物候補Ｐ、Ｑに対応する対象物は、高さを有しない路面上の路面表示又は影であるとして、障害物ではないと認識する。一方、障害物候補Ｐと障害物候補Ｑとの形状の差異が大きい場合は、障害物候補Ｐ、Ｑに対応する対象物は、高さを有すると判定し、障害物であると認識する。
【００７１】
図９は路面上の円形マークを撮像した例を示す説明図である。車両の左前方に適径で高さを無視できる円形マークを配置する。画面１ａはビデオカメラ１により撮像した撮像画像を鉛直下方向に撮像した画像に変換した後の撮像画像を示す。図に示すように、円形マークは、ビデオカメラ１と円形マークとで定まる方向に円形マークが縮径したように撮像される。一方、画面２ａは同じ円形マークをビデオカメラ２により撮像した撮像画像を示す。円形マークは、ビデオカメラ２と円形マークとで定まる方向に円形マークが縮径したように撮像される。
【００７２】
共通領域Ｓの画面は、ビデオカメラ１、２により撮像された撮像画像の湾曲部分を矯正する変換テーブル３４ａにより変換した後の矯正画像を示す。変換テーブル３４ａは、路面上のマークをビデオカメラ１、２で撮像して得られた撮像画像の湾曲部分を矯正して、前記マークが有する元の形状を表す画像に変換するものである。矯正後の円形マークＰ１、Ｑ１夫々は、元の形状が再現され、円形マークＰ１、Ｑ１の形状の差異は少ない。これにより、障害物候補Ｐ、Ｑの形状が近似する場合は、障害物候補Ｐ、Ｑに対応する対象物の高さは無視でき、障害物ではないと判定することができる。
【００７３】
図１０は路面上の円柱形状物体を撮像した例を示す説明図である。車両の左前方に適径、適高の円柱形状物体を配置する。画面１ａはビデオカメラ１により撮像した撮像画像を鉛直下方向に撮像した画像に変換した後の撮像画像を示す。図に示すように、円柱形状物体は、ビデオカメラ１と円柱形状物体とで定まる方向から、前記円柱形状物体を路面に投影した形状（投影形状）として撮像される。一方、画面２ａは同じ円柱形状物体をビデオカメラ２により撮像した撮像画像を示す。円柱形状物体は、ビデオカメラ２と円柱形状物体とで定まる方向から、前記円柱形状物体を路面に投影した形状（投影形状）として撮像される。前記円柱形状物体は高さを有し、ビデオカメラ１、２の投影方向は異なるため、ビデオカメラ１、２で得られた投影形状は異なる。
【００７４】
共通領域Ｓの画面は、ビデオカメラ１、２により撮像された撮像画像の湾曲部分を矯正する変換テーブル３４ａにより変換した後の矯正画像を示す。変換テーブル３４ａは、ビデオカメラ１、２で得られた投影形状を路面上の平面形状として矯正するため、撮像画像を変換した矯正画像は、湾曲度合いの大小に応じて前記投影形状の大きさが異なった画像となる。このため、ビデオカメラ１、２に対応する矯正画像における対象物Ｐ２、Ｑ２夫々の形状の差異は大きい。これにより、障害物候補Ｐ、Ｑの形状が相違する場合は、障害物候補Ｐ、Ｑに対応する対象物は高さを有し、障害物であると判定することができる。
【００７５】
次に距離算出処理（Ｓ４００）について説明する。画像処理ＡＳＩＣ３２は、障害物であると認識された障害物候補Ｐ、Ｑの共通する輪郭部分を特徴点として、特徴点の座標を算出する。特徴点の座標と矯正画像における車両の左前部の画素の座標との座標差を算出し、１画素当たりの距離を示す係数を積算して、車両左前部から障害部までの距離を算出する。画像処理ＥＣＵ３は、認識した障害物までの距離と、車速センサ６で検出した車両の速度とに応じて、障害物との接触を回避すべく警告を行う。
【００７６】
画像処理ＡＳＩＣ３２は、上述の処理を１フレーム単位の撮像データに対して行った後は、次のフレーム単位の撮像データに対して、同様の処理を繰り返す。
【００７７】
図１１は路面表示を撮像して変換テーブル３４ａを修正する例を示す説明図である。車両の左前方の路面上に表示された「４」（対象物）という数字を、ビデオカメラ１、２により撮像する。画像処理ＡＳＩＣ３２は、ビデオカメラ１の撮像画像を変換した矯正画像において抽出された数字「４」で表される障害物候補１Ｓの形状と、ビデオカメラ２の撮像画像を変換した矯正画像において抽出された数字「４」で表される障害物候補２Ｓの形状とを比較する。すなわち、画像処理ＡＳＩＣ３２は、障害物候補１Ｓ及び２Ｓが有する輝度値の間において相関値を演算する。相関値の算出は、数３で表される式に基づいて行われる。
【００７８】
画像処理ＡＳＩＣ３２は、ＲＯＭ３８に記憶された閾値ＴＨ２を読み出し、演算した相関値Ｒと閾値ＴＨ２とを比較する。閾値ＴＨ２は、路面上の平面形状の対象物を撮像した場合に、該対象物に対応する障害物候補間の前記相関値と同程度の値を予め設定しておく。相関値Ｒが閾値ＴＨ２よりも小さい場合には、ビデオカメラ１、２の視野中心が初期に設定された状態からずれていると判定し、数字「４」で表される障害物候補１Ｓの形状及び２Ｓの形状の特徴点を抽出する。特徴点としては、例えば、輪郭又は直線などを構成する画素である。抽出した特徴点同士を一致させるべく、変換後の座標を平行移動又は回転移動するように変換テーブル３４ａを修正する。例えば、変換テーブル３４ａの各画素のビットデータのうち、各入力番号に対応する画素の座標を修正する。
【００７９】
修正した変換テーブル３４ａを用いて、ビデオカメラ１、２により撮像した撮像データを変換し、抽出した数字「４」で表される障害物候補１Ｓ及び２Ｓが有する輝度値の間で相関値を算出し、算出した相関値と閾値ＴＨ２とを比較し、相関値が閾値ＴＨ２よりも大きくなるまで、変換テーブル３４ａの修正処理を繰り返す。これにより、ビデオカメラ１、２を車両に搭載した後に、ビデオカメラ１、２の視野中心がずれた場合でも、変換テーブル３４ａを修正することにより、障害物の認識を正確に行うことができる。なお、変換テーブル３４ａを修正するために用いる路面上のマークは路面表示に限られず、例えば、複数の円形マークを表示した基準パターンを表示するプレートであってもよい。
【００８０】
上述の通り、本発明にあっては、路面上の対象物の高さの有無を、ビデオカメラ１、２夫々で撮像した撮像画像を、変換テーブル３４ａ、３４ｂに基づいて変換した矯正画像における対象物の形状の差異により判定し、高さが無い物は路面上の表示又は影であるとして障害物ではないと認識し、高さを有する物は障害物であると認識して警告する。これにより、超音波センサ及び超音波センサ用のＥＣＵを使用せずに障害物の警告をすることができる。
【００８１】
また、変換テーブル３４ｂは、ビデオカメラ１により撮像した撮像画像を鉛直下方向に撮像した画像に変換するように構成してある。これにより、ビデオカメラ１を鉛直下方向に対して一定の角度をなした前方方向に向けて取り付けることができ、ビデオカメラ１で撮像できる撮像範囲が広くなる。
【００８２】
また、本発明にあっては、動的輪郭モデルに基づくアルゴリズムにより障害物候補の抽出を行うことにより、車両又は障害物が動いている場合であっても、障害物の輪郭を抽出することができる。
【００８３】
また、本発明にあっては、変換テーブル３４ａを修正する修正手段を備えている。これにより、車両の走行時の振動によりビデオカメラ１、２の光軸がずれた場合であっても、変換テーブル３４ａを修正して、正確に障害物を認識し、警告することができる。
【００８４】
また、本発明にあっては、立体射影方式の魚眼レンズを用いる。等距離射影方式の魚眼レンズの場合には、魚眼レンズの焦点距離をｆ、魚眼レンズの光軸に対する入射角をθとすると、像高ｙは、ｙ＝ｆθで表される。一方、立体射影方式の魚眼レンズの場合は、魚眼レンズの焦点距離をｆ、魚眼レンズの光軸に対する入射角をθとすると、像高ｙは、ｙ＝２ｆｔａｎ（θ／２）で表される。これにより、立体射影方式の魚眼レンズは、等距離射影方式の魚眼レンズに比較して、入射角が大きい場合の像高が大きくなり、撮像した画像の分解能が向上し、より広い範囲において高精度に障害物までの距離を算出することが可能になる。
【００８５】
上述の実施の形態においては、ビデオカメラ１、２を車両のフロントグリル中央部及び車両の左側ドアミラー下部に取り付ける構成であったが、これに限らず、車両の後部及び右側部に取り付けることにより、車両の四隅における障害物を認識することができる。
【００８６】
上述の実施の形態においては、ビデオカメラ１、２を車両のフロントグリル中央部及び車両のドアミラー下部に取り付ける構成であったが、これに限らず、光軸の異なる２つの光学素子を有し、該光学素子が撮像した撮像データを取り出す２つの撮像素子を備えた一体型のビデオカメラを車両の左前部に設ける構成でもよい。
【００８７】
上述の実施の形態においては、ビデオカメラ１、２は魚眼レンズを有する構成であったが、これに限らず、超広角レンズを用いる構成でよい。なお、この場合には、レンズに合わせて変換テーブル３４ａ、３４ｂを作成しておくことは言うまでもない。
【００８８】
上述の実施の形態においては、撮像画像の湾曲部分を矯正するために変換テーブル３４ａ、３４ｂを用いる構成であったが、これに限らず、撮像画像の画素を矯正画像の画素に変換する変換式に基づいて、演算して変換する構成であってもよい。
【００８９】
上述の実施の形態においては、ビデオカメラ１、２と画像処理ＥＣＵ３との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。
【００９０】
上述の実施の形態においては、障害物候補の抽出処理は、動的輪郭モデルに基づいて行う構成であったが、これに限らず、Ｈｏｕｇｈ変換、エッジ抽出などのアルゴリズムを用いる構成でもよい。
【００９１】
上述の実施の形態においては、障害物の抽出処理は、障害物候補が有する画素の輝度値に関する相関値を算出する構成であったが、これに限らず、障害物候補の輪郭形状同士を比較してパターン認識することにより、形状の差異を判定する構成でもよい。
【図面の簡単な説明】
【００９２】
【図１】本発明に係る障害物警告システムの構成を示すブロック図である。
【図２】ビデオカメラの撮像範囲を示す説明図である。
【図３】画像処理ＥＣＵの構成を示すブロック図である。
【図４】変換テーブルの概念図である。
【図５】ビデオカメラにより撮像した撮像画像の湾曲部分を矯正する例を示す説明図である。
【図６】ビデオカメラにより撮像した撮像画像の湾曲部分を矯正する例を示す説明図である。
【図７】障害物の矯正画像の画素を示す説明図である。
【図８】障害物警告システムの処理手順を示すフローチャートである。
【図９】路面上の円形マークを撮像した例を示す説明図である。
【図１０】路面上の円柱形状物体を撮像した例を示す説明図である。
【図１１】路面表示を撮像して変換テーブルを修正する例を示す説明図である。
【符号の説明】
【００９３】
１、２ ビデオカメラ
３ 画像処理ＥＣＵ
４ 表示装置
６ 車速センサ
７ 情報系ＬＡＮ
３１ 通信インタフェース部
３２ 画像処理ＡＳＩＣ
３３ フレームメモリ
３４ 変換テーブル用メモリ
３４ａ、３４ｂ 変換テーブル
３５ 表示装置インタフェース部
３６ マイクロコンピュータ
３７ ＲＡＭ
３８ ＲＯＭ
【特許請求の範囲】
【請求項１】
車両の外界の共通する撮像領域を撮像装置で撮像して得られた撮像画像を画像処理装置で画像処理し、障害物を認識して警告する障害物警告システムにおいて、
視野の中央部よりも端部において撮像画像の湾曲度合いが大きい撮像装置を複数備え、
前記画像処理装置は、
撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、
変換した各矯正画像の画素が有する輝度に基づいて障害物候補を抽出する抽出手段と、
抽出した障害物候補の形状の差異に基づいて障害物を認識する認識手段と
を備えたことを特徴とする障害物警告システム。
【請求項２】
前記変換手段は、撮像画像を鉛直下方向に撮像した画像に変換するように構成してあることを特徴とする請求項１に記載された障害物警告システム。
【請求項３】
前記変換手段は、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換するように構成してあることを特徴とする請求項１又は請求項２に記載された障害物警告システム。
【請求項４】
矯正画像における前記障害物候補の画素の座標に基づいて、車両から障害物までの距離を算出する算出手段を備え、
該算出手段が算出した距離に応じて警告するように構成してあることを特徴とする請求項１乃至請求項３のいずれかに記載された障害物警告システム。
【請求項５】
前記認識手段は、
前記抽出手段が抽出した各障害物候補の画素が有する輝度値に関する相関値を演算する演算手段と、
該演算手段が演算した相関値と第１の閾値とを比較する比較手段と
を有し、
該比較手段の比較結果に基づいて、前記障害物候補の形状の差異を判定するように構成してあることを特徴とする請求項１乃至請求項４のいずれかに記載された障害物警告システム。
【請求項６】
前記変換手段は、矯正画像の画素の位置を特定する座標を有し、
該座標を修正する修正手段を備え、
平面状の対象物を撮像した場合に、前記比較手段は、前記抽出手段が抽出した各障害物候補の画素が有する輝度値に関する相関値と第２の閾値とを比較するように構成してあり、
前記相関値が第２の閾値より小さいときは、前記修正手段は、一方の障害物候補の形状を他方の障害物候補の形状に一致させるように、前記変換手段が有する座標を修正するように構成してあることを特徴とする請求項５に記載された障害物警告システム。
【請求項７】
前記抽出手段は、矯正画像の画素が有する輝度に関するポテンシャル関数を用いた動的輪郭モデルに基づいて障害物候補を抽出するように構成してあることを特徴とする請求項１乃至請求項６のいずれかに記載された障害物警告システム。
【請求項８】
前記光学素子は、魚眼レンズを含むことを特徴とする請求項１乃至請求項７のいずれかに記載された障害物警告システム。
【請求項９】
取得した撮像画像を画像処理して障害物を認識する画像処理装置において、
共通する撮像領域の撮像画像であって、視野の中央部よりも端部において湾曲度合いが大きい撮像画像を複数取得する取得手段と、
撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、
変換した各矯正画像の画素が有する輝度に基づいて障害物候補を抽出する抽出手段と、
抽出した障害物候補の形状の差異に基づいて障害物を認識する認識手段と
を備えたことを特徴とする画像処理装置。
【請求項１】
車両の外界の共通する撮像領域を撮像装置で撮像して得られた撮像画像を画像処理装置で画像処理し、障害物を認識して警告する障害物警告システムにおいて、
視野の中央部よりも端部において撮像画像の湾曲度合いが大きい撮像装置を複数備え、
前記画像処理装置は、
撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、
変換した各矯正画像の画素が有する輝度に基づいて障害物候補を抽出する抽出手段と、
抽出した障害物候補の形状の差異に基づいて障害物を認識する認識手段と
を備えたことを特徴とする障害物警告システム。
【請求項２】
前記変換手段は、撮像画像を鉛直下方向に撮像した画像に変換するように構成してあることを特徴とする請求項１に記載された障害物警告システム。
【請求項３】
前記変換手段は、撮像画像における画素の位置を特定する座標を矯正画像における画素の位置を特定する座標に変換するように構成してあることを特徴とする請求項１又は請求項２に記載された障害物警告システム。
【請求項４】
矯正画像における前記障害物候補の画素の座標に基づいて、車両から障害物までの距離を算出する算出手段を備え、
該算出手段が算出した距離に応じて警告するように構成してあることを特徴とする請求項１乃至請求項３のいずれかに記載された障害物警告システム。
【請求項５】
前記認識手段は、
前記抽出手段が抽出した各障害物候補の画素が有する輝度値に関する相関値を演算する演算手段と、
該演算手段が演算した相関値と第１の閾値とを比較する比較手段と
を有し、
該比較手段の比較結果に基づいて、前記障害物候補の形状の差異を判定するように構成してあることを特徴とする請求項１乃至請求項４のいずれかに記載された障害物警告システム。
【請求項６】
前記変換手段は、矯正画像の画素の位置を特定する座標を有し、
該座標を修正する修正手段を備え、
平面状の対象物を撮像した場合に、前記比較手段は、前記抽出手段が抽出した各障害物候補の画素が有する輝度値に関する相関値と第２の閾値とを比較するように構成してあり、
前記相関値が第２の閾値より小さいときは、前記修正手段は、一方の障害物候補の形状を他方の障害物候補の形状に一致させるように、前記変換手段が有する座標を修正するように構成してあることを特徴とする請求項５に記載された障害物警告システム。
【請求項７】
前記抽出手段は、矯正画像の画素が有する輝度に関するポテンシャル関数を用いた動的輪郭モデルに基づいて障害物候補を抽出するように構成してあることを特徴とする請求項１乃至請求項６のいずれかに記載された障害物警告システム。
【請求項８】
前記光学素子は、魚眼レンズを含むことを特徴とする請求項１乃至請求項７のいずれかに記載された障害物警告システム。
【請求項９】
取得した撮像画像を画像処理して障害物を認識する画像処理装置において、
共通する撮像領域の撮像画像であって、視野の中央部よりも端部において湾曲度合いが大きい撮像画像を複数取得する取得手段と、
撮像画像の湾曲部分を矯正するために前記撮像画像を矯正画像に変換する変換手段と、
変換した各矯正画像の画素が有する輝度に基づいて障害物候補を抽出する抽出手段と、
抽出した障害物候補の形状の差異に基づいて障害物を認識する認識手段と
を備えたことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−５０４５１（Ｐ２００６−５０４５１Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２３１４７１（Ｐ２００４−２３１４７１）
【出願日】平成１６年８月６日（２００４．８．６）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月６日（２００４．８．６）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]