障害物認識装置
【課題】撮影画像の簡単な処理により障害物を容易な手法で確実かつ安定に認識する。
【解決手段】走行する自車１の撮影手段３が撮影した略同じ路面領域についての異なる複数方向からの撮影画像を画像取得手段により取得し、各方向からの撮影画像に含まれた所定の監視範囲を画像処理手段４の同定手段により抽出して同定し、同定結果に基づき、複雑な画像処理等を行なうことなく、簡単な画像の異同検出により、画像処理手段４の認識手段によって自車１の前方や後方の路面に垂直な障害物を安定かつ確実に認識する。
【解決手段】走行する自車１の撮影手段３が撮影した略同じ路面領域についての異なる複数方向からの撮影画像を画像取得手段により取得し、各方向からの撮影画像に含まれた所定の監視範囲を画像処理手段４の同定手段により抽出して同定し、同定結果に基づき、複雑な画像処理等を行なうことなく、簡単な画像の異同検出により、画像処理手段４の認識手段によって自車１の前方や後方の路面に垂直な障害物を安定かつ確実に認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮影画像を処理して自車が走行する路上の障害物を認識する障害物認識装置に関する。
【背景技術】
【０００２】
従来、車両のプリクラッシュセーフティ（被害軽減や衝突回避等）を実現する場合、走行中の自車の前方や後方の障害物をどのようにして認識するかが重要である。
【０００３】
そして、この種の障害物を認識する装置として、従来、自車に搭載したカメラにより一方向（例えば自車前方）を一定時間毎に撮影し、前後する時刻ｔａと時刻ｔｂの撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出し、これらの特徴点から動きベクトルのオプティカルフローを検出して自車前方の車両等の障害物（路面垂直物）を認識する装置が提案されている（例えば、特許文献１参照）。
【特許文献１】特許第３４６３８５８号公報（例えば、請求項１、段落［００１４］、［００４１］−［００４５］、［０１１８］、図１〜図３）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に記載の従来装置の場合、時間が前後する撮影画像を射影変換し、その差分をとることにより、差分の画像は路面に描かれた道路標示の文字や図形（路面上のペイント）が除去され、その差分の画像から前記動きベクトルを検出し、道路標示を誤認識することなく路上の障害物を検出することは可能であるが、自車前方等の一方向からみた撮影画像を用いて前記オプティカルフローを検出する極めて複雑な画像処理が必要になる問題があるとともに、画像上の僅かな動きベクトルから障害物を認識するため確実に安定して障害物を認識することが容易でない問題がある。
【０００５】
また、障害物の画像は路面に近い下端部が障害物自身の影等の影響を受けて暗くなる。しかも、前記射影変換を行なった場合、路面に近い前記下端部は、射影変換の特性上、自車と障害物との距離変化に対して形状があまり変わらない。そのため、前記差分の画像は路面に近い障害物の下端部の輪郭がほとんど消失した状態になる。したがって、前記差分の画像の障害物下端からの画像距離によって衝突の回避や予測に必要な障害物と自車との距離を把握することも困難である。
【０００６】
さらに、前記従来装置の場合、障害物が自車と同じ速度で走行している自車前方の先行車等であれば、障害物と自車との距離の変化がなく、前記差分がほとんど生じないため、先行車等の障害物を認識できない問題もある。
【０００７】
すなわち、前記従来のこの種の障害物認識装置は、自車前方等の一方向からみた撮影画像を用いて、その画像の先行車等の障害物と自車との距離や形状の時間変化による僅かな差から障害物を認識する構成であるため、オプティカルフローを検出する複雑な画像処理が必要であるだけでなく、障害物の認識が容易でなく、状況によっては障害物を認識できないおそれがあり、安定して確実に障害物を認識することができない。
【０００８】
本発明は、撮影画像の簡単な処理により障害物を容易な手法で確実かつ安定に認識することを目的とする。
【課題を解決するための手段】
【０００９】
上記した目的を達成するために、本発明の障害物認識装置は、走行する自車の複数方向からみた路面撮影が可能な撮影手段と、略同じ路面領域についての前記撮影手段の異なる複数方向からの撮影画像を取得する画像取得手段と、前記画像取得手段が取得した複数方向からの撮影画像に含まれた所定の監視範囲を抽出して同定する同定手段と、前記同定手段の同定結果により、前記監視範囲の撮影画像間で異なる画像部分を路面に垂直な障害物として認識する認識手段とを備えたことを特徴としている（請求項１）。
【００１０】
そして、前記同定手段は、前記監視範囲の抽出に加え、射影変換を行なって各撮影画像の前記監視範囲を同定することが好ましい（請求項２）。
【００１１】
また、本発明の障害物認識装置は、請求項１記載の構成の障害物認識装置において、自車の走行路の路面形状等の路面情報を取得する路面情報取得手段を更に備え、前記同定手段は、前記監視範囲の抽出に加え、前記路面情報に基づく画像処理を行なって各撮影画像の前記監視範囲を同定することを特徴としている（請求項３）。
【発明の効果】
【００１２】
請求項１の発明の場合、説明を簡単にするために複数方向を自車の前、後の２方向とすると、画像取得手段は、例えば時刻ｔｍに撮影手段が撮影した自車前方の一定の路面領域の撮影画像（前方画像）と、自車がその路面領域を通過して時刻ｔｎに撮影手段が撮影した自車後方の略同じ路面領域の撮影画像（後方画像）とを取得する。
【００１３】
そして、同定手段は、画像取得手段が取得した前記前方画像と前記後方画像の略同じ監視範囲を抽出してその画像の異同から同定する。
【００１４】
このとき、前記監視範囲を例えば自車の前方および後方の障害物が存在する可能性がある範囲に設定すると、自車前方に障害物があれば、前方画像の監視範囲には障害物が存在するが、後方画像監視範囲には障害物が存在しない状態になる。逆に、自車後方に障害物があれば、前方画像の監視範囲には障害物が存在しないが、後方画像の監視範囲には障害物が存在する状態になる。
【００１５】
すなわち、自車の前方または後方に障害物が存在するときは、前記前方画像と前記後方画像のいずれか一方の監視範囲にのみ障害物が含まれ、両画像の監視範囲の内容が大きく異なる。
【００１６】
そのため、オプティカルフローを検出する複雑な画像処理等を行なうことなく、簡単な画像の異同検出により自車の前方または後方の障害物を容易に安定して確実に認識することができる。この場合、障害物が自車と同じ速度で走行する先行、後行の車両であっても、それらの障害物を確実に認識することができるのは勿論である。
【００１７】
なお、自車の前方、後方の両方に障害物が存在しないときは、前記前方画像と前記後方画像のいずれの監視範囲も障害物が含まれない同じような路面のみの画像になることから、画像が一致して自車の前方および後方に障害物が存在しないことを確実に認識できる。さらに、自車の前方、後方の両方に障害物が存在するときは、前方画像と後方画像のいずれの監視範囲にも障害物が含まれるが、両方の画像の障害物は別個のものであり、しかも、同タイプの車両であっても前側の形状と後側の形状とは大きく異なることが多いため、形状、大きさ、位置等が一致することは皆無である。そのため、この場合も両画像が一致しないことから自車の前方および後方に障害物が存在することを確実に認識できる。
【００１８】
そして、前記複数方向を自車の前、後、左、右のいずれか２方向とする場合は勿論、前記複数方向を自車の前、後、左、右のいずれか３方向以上とする場合にも、各撮影画像の監視範囲の障害物の有無に基づき、前記と同様の簡単な画像比較の画像処理により、障害物を容易かつ確実に認識することができる。
【００１９】
請求項２の発明によれば、前記同定手段の射影変換により各撮影画像の監視範囲を俯瞰（鳥瞰）した平面（俯瞰平面）の画像が得られる。
【００２０】
このとき、各俯瞰平面の画像において、監視範囲の路面に垂直な障害物は撮影時間のずれに起因して形状が変化するが、監視範囲の路面にペイントされた道路標示は形状がほとんど変化しない。
【００２１】
そのため、前記同定手段は、射影変換後の各俯瞰平面の画像から前記道路標示を除去して障害物を一層正確に同定することができる。
【００２２】
請求項３の発明によれば、同定手段は、前記射影変換を行なう代わりに、路面情報取得手段の路面情報に基づく画像処理を行なって各撮影画像の監視範囲の障害物および道路標示を抽出し、それらの画像の異同等から前記道路標示を除去して障害物を容易かつ正確に同定することができる。
【発明を実施するための最良の形態】
【００２３】
つぎに、本発明をより詳細に説明するため、請求項１、２に対応する一実施形態について、図１〜図１０を参照して詳述する。
【００２４】
図１は自車１に搭載された障害物認識装置２のブロック構成を示し、図２は障害物認識装置２の撮像手段の構成例を示し、図３は障害物認識装置２の動作説明用のフローチャート、図４はその撮影画像の処理例を示し、図５はその同定結果を示す。
【００２５】
図６は射影変換の説明図、図７は自車１の前方のみを撮影して認識する場合の撮影例の説明図、図８は図７の撮影結果の射影変換の説明図である。図９は図７の障害物がない場合の撮影画像の処理例の説明図、図１０は図７の障害物がある場合の撮影画像の処理例の説明図である。
【００２６】
（構成）
図１に示すように、車両１に搭載された障害物認識装置２は、撮影手段３と、その撮影画像を処理して同定するマイクロコンピュータ構成の画像処理手段４と、撮影画像等を書き換え自在に蓄積するデータ蓄積手段５によって構成される。
【００２７】
撮影手段３は、走行する自車１の複数方向からみた路面撮影が可能なモノクロ或いはカラーの単眼カメラからなり、撮影した時々刻々のフレーム画像（又はフィールド画像）を出力する。
【００２８】
なお、複数方向とは、自車１から見たその周囲の各方向であり、実用的には、自車１の前、後、左、右の全部又は一部の方向（２方向以上）である。
【００２９】
そして、本実施形態においては、説明を簡単にするため、撮影手段３の撮影方向を自車１の前方、後方の２方向とする。
【００３０】
また、前記複数方向の路面撮影を行なうため、撮影手段３は例えば撮影方向毎に単眼カメラを設けて形成され、前記複数方向を自車１の前方、後方の２方向とする本実施形態の場合、図２に示すように、自車１の車内の前方、後方の上部位置に、単眼カメラ３ａ、３ｂを同じ角度で上方から適当な角度で斜め下の路面をねらうように設けて撮影手段３が形成される。
【００３１】
なお、単眼カメラ３ａはいわゆるプリクラッシュセンサとして車両１に搭載されるカメラであり、単眼カメラ３ｂは例えばバックセンサと兼用されるカメラである。
【００３２】
また、撮影手段３によって自車１の全周から斜め下の路面を見た映像を撮影してもよく、この場合は、例えば自車１の車室内上部に円錐形の鏡を設け、この鏡に走行中の自車１の全周からみた撮影画像を映し、その撮影画像を１又は複数個の単眼カメラにより撮影する。
【００３３】
つぎに、画像処理手段４は本発明の画像取得手段、同定手段、認識手段を形成し、自車１の走行中に図３のステップＡ１〜Ａ６の認識処理プログラムをくり返し実行する。
【００３４】
画像取得手段は、略同じ路面領域についての撮影手段３の異なる複数方向からの撮影画像を取得する手段であり、本実施形態の場合、図３のステップＡ１、Ａ２に動作し、時刻ｔ１に単眼カメラ３ａが撮影した例えば図４の自車１の前方の路面領域の撮影画像（以下、前方画像という）Ｐ（ｔ１）を取り込んでデータ蓄積手段５に保持し、車速センサ（図示せず）の自車速等から決定した時間だけ遅れた時刻ｔ２に単眼カメラ３ｂが撮影した前記図４の自車１の後方の略同じ路面領域の撮影画像（以下、後方画像という）Ｐ（ｔ２）を取り込んでデータ蓄積手段５に保持する。
【００３５】
同定手段は、画像取得手段が取得した複数方向からの撮影画像に含まれた所定の監視範囲を抽出して同定する手段であり、本実施形態の場合、図３のステップＡ３、Ａ４に動作し、前方画像Ｐ（ｔ１）、後方画像Ｐ（ｔ２）の少なくとも路面部分に後述の射影変換を施し、両画像Ｐ（ｔ１）、Ｐ（ｔ２）の障害物を含む所定の監視範囲を抽出して同定する。
【００３６】
認識手段は、図３のステップＡ５に動作し、同定手段の同定結果により、前記監視範囲の画像Ｐ（ｔ１）、Ｐ（ｔ２）間で異なる画像部分を路面に垂直な障害物として認識し、認識結果を自車１の被害軽減や衝突回避の衝突予測処理手段（図示せず）等に送る。
【００３７】
つぎに、前記画像取得手段の射影変換等について、具体的に説明する。
【００３８】
まず、射影変換は、画像Ｐ（ｔ１）、Ｐ（ｔ２）の不要な道路標示を除去するために施されるものであり、一般的には図６に示すように、ある平面Ｌのｘ−ｙ座標系の点Ｐ（ｘ、ｙ）が投影中心Ｏに関して、他の平面Ｌ´のｕ−ｖ座標系の点Ｐ´（ｕ、ｖ）として投影される変換である。この変換によって平面Ｌの点Ｐ、Ａ、Ｂ、Ｃ、Ｄは平面Ｌ´に点Ｐ´、Ａ´、Ｂ´、Ｃ´、Ｄ´として射影される。
【００３９】
なお、上記射影変換は、パラメータａ１１、ａ１２、ａ１３、ａ２１、ａ２２、ａ２３、ａ３１、ａ３２、ａ３３を用いて、次の数１の（１）式及び数２の（２）式で表される。
【００４０】
【数１】
【００４１】
【数２】
【００４２】
ただし、各パラメータａ１１、…、ａ３３には、つぎの数３の（３）式の条件が課せられる。
【００４３】
【数３】
【００４４】
つぎに、この射影変換による道路標示の除去を説明する。
【００４５】
まず、図７に示すように、自車１に単眼カメラ３ａと同じ単眼カメラ３ａａのみを搭載し、自車１の走行中に単眼カメラ３ａａによって自車前方の一定の路面範囲を上方から斜めに撮影し、自車前方の時系列の撮影画像Ｐ（ｔ）を得、それらの撮影画像Ｐ（ｔ）に、前記平面Ｌを撮影平面、前記平面Ｌ´を射影変換後の俯瞰平面とする、射影変換を施し、例えば図８に示すように、撮影画像Ｐ（ｔ）の上方からの俯瞰平面の画像Ｐ（ｔ）´に変換するものとする。
【００４６】
この場合、射影変換後の俯瞰平面の画像Ｐ（ｔ）´において、撮影画像Ｐ（ｔ）中の路面に垂直な障害物（先行車等）αと路面にペイントされた道路標示β、β＊とでは、形状の時間変化に違いが生じる。なお、道路標示βは走行車線の左右の白線、道路標示β＊は走行車線内の矢印や数字等である。
【００４７】
すなわち、単眼カメラ３ａａの時刻ｔ＝ｔ１１の撮影画像（前方画像）Ｐ（ｔ１１）、それからΔｔ秒遅れた時刻ｔ＝ｔ２２の撮影画像（前方画像）Ｐ（ｔ２２）を、それぞれ俯瞰平面の画像Ｐ（ｔ１１）´、Ｐ（ｔ２２）´に射影変換すると、道路平面の道路標示β、β＊は撮影の時刻ｔ１１、ｔ２２が前後することによっては射影変換後の形状はほとんど変化しないが、高さを持つ障害物αは撮影の時刻ｔ１１、ｔ２２が前後することによって射影変換後の形状が変化して異なる。
【００４８】
そのため、画像Ｐ（ｔ１１）´、Ｐ（ｔ２２）´の各画素の明るさの差分を求めて同定すると、道路標示β、β＊が略除去される。
【００４９】
そして、道路標示β、β＊が除去されることにより、障害物αが存在しなければ、同定結果は「画像なし」となり、障害物αが存在すれば、同定結果は障害物αの形状の違いに基づく「差分の画像あり」となり、この同定結果の違いによって障害物αの認識が可能になる。
【００５０】
実際の撮影画像例で説明すると、自車１の前方の監視範囲内に障害物αとなる先行車が存在しない場合、単眼カメラ３ａａで自車前方の一定の路面領域を撮影して得られた図９の時刻ｔｘ１の画像Ｐ（ｔｘ１）、それからΔｔ秒遅れた時刻ｔｙ１の画像Ｐ（ｔｙ１）は、自車前方の監視範囲ｘ、ｙに例えば道路標示β、β＊のみが存在し、それらの射影変換後の予測画像Ｐ＊（ｔｘ１）、Ｐ＊（ｔｙ１）は、道路標示β、β＊のみが略同じ形状（寸法を含む）で存在する。
【００５１】
一方、自車１の前方の監視範囲内に障害物αとなる先行車が存在する場合、単眼カメラ３ａａで自車前方の一定の路面領域を撮影して得られた図１０の時刻ｔｘ２の画像Ｐ（ｔｘ２）、それからΔｔ秒遅れた時刻ｔｙ２の画像Ｐ（ｔｙ２）は、自車前方の監視範囲ｘ、ｙに例えば障害物α及び道路標示βが存在し、それらの射影変換後の画像Ｐ＊（ｔｘ１）、画像Ｐ＊（ｔｙ１）は、障害物αが異なる形状で存在して道路標示βが略同じ形状で存在する。
【００５２】
そして、図９の画像Ｐ＊（ｔｘ１）、画像Ｐ＊（ｔｙ１）の各画素の明るさの差分を求めると、同図の同定画像Ｐ１ｘｙが得られる。同様に、図１０の画像Ｐ＊（ｔｘ２）、画像Ｐ＊（ｔｙ２）の各画素の明るさの差分を求めると、同図の同定画像Ｐ２ｘｙが得られる。
【００５３】
このとき、同定画像Ｐ１ｘｙは監視範囲ｘ、ｙの略同じ形状の道路標示β、β＊が打ち消しあって略消失し、同定画像Ｐ２ｘｙは監視範囲ｘ、ｙの略同じ形状の道路標示β、β＊は打ち消しあって略消失するが、形状が異なる障害物αはその差分の輪郭状の画像を含む。
【００５４】
そして、同定画像Ｐ１ｘｙ、同定画像Ｐ２ｘｙに上記相違が生じるため、原理上は、単眼カメラ３ａａで同じ方向から時間を前後して撮影した撮影画像によっても自車１の前方の障害物αを認識し得る。なお、自車１に単眼カメラ３ｂと同様の単眼カメラを搭載し、このカメラにより時間を前後して撮影した自車後方の撮影画像について同様の射影変換を施すことにより、原理上は、自車１の後方の障害物も認識し得る。
【００５５】
しかしながら、例えば障害物αが存在する場合、図１０からも明らかなように前後して撮影した撮影画像Ｐ（ｔｘ２）、Ｐ（ｔｙ２）がいずれも対象とする障害物αを含み、射影変換後の画像Ｐ＊（ｔｘ２）、Ｐ＊（ｔｙ２）の障害物αの形状の違いも僅かであるため、前記違いに基づく同定結果の画像Ｐ２ｘｙは障害物αの面積が小さく明確ではない。
【００５６】
一方、障害物αが存在しない場合、図９からも明らかなように、前後して撮影した撮影画像Ｐ（ｔｘ１）、Ｐ（ｔｙ１）の射影変換後の画像Ｐ＊（ｔｘ１）、Ｐ＊（ｔｙ１）は、道路標示β、β＊の形状や位置が完全に一致するものではなく、実際には、同定結果の画像Ｐ１ｘｙにそれらの不一致に基づく画像が残存する。
【００５７】
そのため、同じ方向から時間を前後して撮影した撮影画像を射影変換して認識する手法では、走行環境等によっては障害物αの誤認識が生じ易く、障害物αを確実かつ安定に認識することが困難である。
【００５８】
しかも、同定結果の画像Ｐ２ｘｙからも明らかなように、障害物αの下端部は形状の変化が少なく、略輪郭が消失した状態になる。そのため、同定結果の画像ｐ２ｘｙの障害物αの下端からの画像距離を求めて障害物αと自車１との距離を求めることも容易でない。
【００５９】
そこで、本発明においては、上述したように、撮影手段３によって走行する自車１の異なる複数方向から同じ路面領域を撮影する。
【００６０】
すなわち、本実施形態の場合、図２の単眼カメラ３ａ、３ｂにより、例えばｔ１時に単眼カメラ３ａが一定の路面領域を前方画像Ｐ（ｔ１）として撮影し、自車１の走行速度等から定まる数秒程度の時間経過後の時刻ｔ２に単眼カメラ３ｂが同じ路面領域を後方画像Ｐ（ｔ２）として撮影し、前記画像取得手段により、前後する単眼カメラ３ａの時刻ｔ１の前方画像Ｐ（ｔ１）と時刻ｔ２の後方画像Ｐ（ｔ２）とを取り込む。
【００６１】
このとき、自車１の前方に障害物αとしての先行車（自動車）が存在していると、図４に示すように、前方画像Ｐ（ｔ１）にはその障害物αが含まれるが後方画像Ｐ（ｔ２）には障害物αは含まれない。また、自車１の後方に別の障害物α´としての後行車（二輪車）が存在していると、図４に示すように、後方画像Ｐ（ｔ２）にはその障害物α´が含まれるが前方画像Ｐ（ｔ１）には障害物α´は含まれない。
【００６２】
そして、前記同定手段は、本実施形態では画像Ｐ（ｔ１）、Ｐ（ｔ２）をそのまま俯瞰平面の画像に射影変換する。この射影変換は、単眼カメラ３ａ、３ｂの撮影面の画像Ｐ（ｔ１）、Ｐ（ｔ２）に道路標示βの白線が含まれる場合、その白線を周知のハフ変換による車線幅認識等によって検出し、検出した白線が画像Ｐ（ｔ１）、Ｐ（ｔ２）の垂直線になるように前記ａ１１〜ａ３３のパラメータを設定して行なうことが画像比較等の上から好ましい。なお、白線は連続線、破線のいずれであってもよいのは勿論である。また、白線のない道路を走行するときは、例えば設定した標準パラメータで射影変換を行なえばよい。
【００６３】
さらに、前記同定手段は画像Ｐ（ｔ１）、Ｐ（ｔ２）の射影変換画像から自車１が走行する車線部分の水平線より下の路面部分の中央部分を障害物の存在を予測する監視範囲として抽出し、例えば図４の前方、後方の予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）を形成し、両画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）につき、例えば車線幅等を揃えた状態で重ね合わせて画素毎に比較して明るさの差分を求め、異同を検出して同定する。
【００６４】
このとき、画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）を重ねた同定結果の画像は、前方にのみ障害物αが存在するのであれば、図５（ａ）に示すように略前方画像Ｐ＊（ｔ１）の障害物αの部分の画像になり、後方にのみ障害物α´が存在するのであれば、同図（ｂ）に示すように略後方画像Ｐ＊（ｔ２）の障害物α´の部分の画像になる。なお、前方にも後方にも障害物α、α´が存在しない場合は、同定結果の画像がいわゆるブランク画像になり、前方、後方に障害物α、α´が存在する場合は、同定結果の画像が例えば前記図５（ａ）、（ｂ）の画像を重ね合わせた画像になる。
【００６５】
なお、夜間走行やトンネル走行等においても、自車１および障害物αのヘッドライト、テールライトにより、走行路の同定に必要な部分には明るさが確保され、昼間等と同様に問題なく同定が行なえる。
【００６６】
そして、認識手段は、予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）間の明るさが異なる部分につき、例えば周囲と異なる明るさになる予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）の側に路面に垂直な先行車や後行車等の障害物α、α´が存在することを把握して認識し、認識結果を自車１の被害軽減や衝突回避の処理手段（図示せず）等に送る。
【００６７】
なお、前方、後方に障害物α、α´が存在しない場合は、予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）が障害物α、α´の存在しない同じような路面のみの画像になり、予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）間に明るさの異なる部分が存在しないことから、前方にも後方にも障害物α、α´が存在しないことを認識する。また、前方、後方に障害物α、α´が存在する場合は、前方の同定結果の画像が例えば前記図５（ａ）、（ｂ）の画像を重ね合わせた画像になり、このとき、予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）の障害物α、α´は別個のものであり、しかも、同タイプの車両であっても前側の形状と後ろ側の形状とは大きく異なることが多いため、形状、大きさ、位置等が一致することは皆無であり、認識結果として複数個の障害物α、α´の画像がえられることから、前方および後方に障害物α、α´が存在することを認識する。
【００６８】
つぎに、認識した障害物α、α´は、同定結果の画像上において、下端部も含めて輪郭が明瞭である。そこで、前記認識手段は、前記画像上で障害物α、α´の下端から自車１までの距離（車間距離）を正確に求めて自車１と障害物α、α´との時々刻々の距離を検出することができ、この検出結果の距離も前記した被害軽減や衝突回避の処理手段等に送る。
【００６９】
したがって、本実施形態の場合、オプティカルフローを検出する複雑な画像処理等を行なうことなく、自車１の前、後の撮影画像の簡単な異同検出により、自車１の前方または後方、あるいは両方の障害物α、α´を安定かつ確実に認識することができる。
【００７０】
この場合、障害物α、α´が自車１と同じ速度で走行する先行車や後行車であっても、それらの障害物αを確実に認識することができるのは勿論である。
【００７１】
また、撮影した画像Ｐ（ｔ１）、Ｐ（ｔ２）に射影変換を施してそれぞれを俯瞰平面の画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）に変換する構成であるため、自車１の走行路に起伏がある場合や、自車１の走行路が上り坂や下り坂の場合も、問題なく障害物αを認識できる。
【００７２】
なお、障害物αは車両や人等の移動体に限られるものではなく、電柱や看板等の静止物体であっても同様に認識することができる。
【００７３】
また、例えば画像Ｐ（ｔ１）、Ｐ（ｔ２）の障害物α、α´はいわゆるエッジヒストグラム手法により水平・垂直のエッジを検出して認識することも可能であるが、この場合は、障害物α、α´が水平エッジが出にくい人、バイク、電柱等の細い垂直物の場合には認識困難である。これに対して、本発明の場合は水平・垂直のエッジ検出は不要であり、障害物α、α´が細い垂直物であっても確実に認識することができる。
【００７４】
つぎに、同定結果として得られる障害物α、α´の画像が鮮明であり、その下端部を含む全体をはっきり認識することができため、画像上で測定した障害物α、α´の下端から自車１までの長さから、衝突予測に重要な時々刻々変化する自車１から障害物α、α´までの距離を正確に検出して把握することができる。
【００７５】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能である。
【００７６】
例えば、前記実施形態においては、同定手段により、異なる方向からの撮影画像に先に射影変換を施し、その後監視範囲を抽出して障害物をするようにしたが、同定手段により、異なる方向からの撮影画像から監視範囲を抽出し、その後監視範囲に射影変換を施して障害物を認識するようにしてもよい。
【００７７】
つぎに、前記実施形態においては、自車１の前方、後方から路面を撮影した前方画像Ｐ（ｔ１）、後方画像Ｐ（ｔ２）に基づいて、前方、後方の障害物α、α´を認識する場合に適用したが、撮影方向の組合わせは、前方と後方に限られるものではなく、例えば、撮影方向が前方または後方と左、右いずれかの側方との２方向、或いは、前、後、左、右のいずれか３方向以上であってもよい。
【００７８】
具体的には、例えば後方と側方とを組合わせ、右左折時のバイク等の障害物の巻き込みの衝突防止に適用する場合、撮影手段として、図１１に示すように自車１に前記の単眼カメラ３ｂを搭載するとともに、自車１の左、右のいずれか一方または両方のサイドミラー等に単眼カメラ３ｃ、３ｄを取り付ける。
【００７９】
そして、自車１が右ハンドルの場合に有効な左折時の障害物の巻き込みの衝突防止に適用する場合について説明すると、左のサイドミラーの単眼カメラ３ｃにより時刻ｔ１に左側から見た路面を撮影し、それから数秒後の時刻ｔ２に単眼カメラ３ｂにより後方からみた同じ路面領域を撮影する。
【００８０】
このとき、単眼カメラ３ｂの後方画像Ｐ（ｔ２）の左側は、単眼カメラ３ｃが時刻ｔ１に撮影した画像（以下、左側画像という）Ｐ（ｔ１）と略同じ範囲（監視範囲）を異なる方向から撮影した画像であり、側方に障害物が存在すれば左側画像Ｐ（ｔ１）にのみ障害物が含まれ、後方に障害物が存在すれば後方画像Ｐ（ｔ１）にのみ障害物が含まれる。
【００８１】
そこで、画像処理手段４の画像取得手段、同定手段、認識手段により、左側画像Ｐ（ｔ１）、後方画像Ｐ（ｔ２）を前記実施形態の場合と同様に処理し、左側画像Ｐ（ｔ１）、後方画像Ｐ（ｔ２）の俯瞰平面の画像の前記監視範囲を同定して障害物を認識する。
【００８２】
なお、右折時の障害物の巻き込みの衝突防止に適用する場合は、右のサイドミラーの単眼カメラ３ｄにより時刻ｔ１に右側から路面を撮影し、それから数秒後の時刻ｔ２に単眼カメラ３ｂにより後方から同じ路面領域を撮影して障害物を認識する。
【００８３】
また、前、後、左、右のいずれか３方向以上からの撮影画像に基づいて障害物を認識する場合は、それらにより前後して異なる方向から撮影された略同じ路面領域の共通する範囲を監視範囲として抽出し、画像処理手段４の画像取得手段、同定手段、認識手段により前記実施形態と同様にして障害物を認識することができる。
【００８４】
つぎに、前記実施形態においては、同定手段により、異なる方向からの撮影画像に射影変換を施して障害物を認識したが、自車１にカーナビゲーション装置のような自車１の走行路の路面形状等の路面情報（マップデータ）を取得する路面情報取得手段を更に備え、画像処理手段４の同定手段から前記射影変換の処理を省き、前記同定手段により、監視範囲の抽出に加え、前記路面情報に基づく画像処理を行なって各撮影画像の前記監視範囲を同定して障害物を認識するようにしてもよい（請求項３対応）。
【００８５】
具体的には、例えば撮影された前方画像Ｐ（ｔ１）、後方撮影画像Ｐ（ｔ２）の路面範囲につき、前記同定手段により、まず、路面情報取得手段の路面情報に基づく画像処理を行なって路面を前方、後方から撮影した画像（以下、マップ画像という）を形成する。これらのマップ画像には、路面にペイントされた道路標示は含まれていない。
【００８６】
そして、前方画像Ｐ（ｔ１）、後方撮影画像Ｐ（ｔ２）とマップ画像との差分を取り、前方画像Ｐ（ｔ１）、後方撮影画像Ｐ（ｔ２）を略障害物および道路標示の画像に加工する。
【００８７】
さらに、障害物αおよび道路標示の画像に加工された前方画像Ｐ（ｔ１）、後方撮影画像Ｐ（ｔ２）を、そのまま、或いは、所要の座標変換を施して明るさの差分を取り、それらの異同等から道路標示を除去して障害物を容易かつ正確に同定する。
【００８８】
なお、この場合も、撮影方向は前後方向以外の２方向或いは３方向以上であってもよい。
【００８９】
つぎに、撮影手段３、画像処理手段４等の構成や動作（処理手順）は、前記実施形態のものに限られるものではない。
【００９０】
そして、本発明は、種々の車両の障害物認識に適用することができる。
【図面の簡単な説明】
【００９１】
【図１】本発明の一実施形態のブロック図である。
【図２】図１の撮像手段の構成例の説明図である。
【図３】図１の動作説明用のフローチャートである。
【図４】図１の撮影画像の処理例の説明図である。
【図５】図４の同定結果の説明図である。
【図６】射影変換の説明図である。
【図７】前方のみを撮影して認識する場合の撮影例の説明図である。
【図８】図７の撮影結果の射影変換の説明図である。
【図９】図７の障害物がない場合の撮影画像の処理例の説明図である。
【図１０】図７の障害物がある場合の撮影画像の処理例の説明図である。
【図１１】本発明の他の撮像手段の構成例の説明図である。
【符号の説明】
【００９２】
１ 自車
２ 障害物認識装置
３ 撮影手段
４ 画像処理手段
α、α´ 障害物
【技術分野】
【０００１】
この発明は、撮影画像を処理して自車が走行する路上の障害物を認識する障害物認識装置に関する。
【背景技術】
【０００２】
従来、車両のプリクラッシュセーフティ（被害軽減や衝突回避等）を実現する場合、走行中の自車の前方や後方の障害物をどのようにして認識するかが重要である。
【０００３】
そして、この種の障害物を認識する装置として、従来、自車に搭載したカメラにより一方向（例えば自車前方）を一定時間毎に撮影し、前後する時刻ｔａと時刻ｔｂの撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出し、これらの特徴点から動きベクトルのオプティカルフローを検出して自車前方の車両等の障害物（路面垂直物）を認識する装置が提案されている（例えば、特許文献１参照）。
【特許文献１】特許第３４６３８５８号公報（例えば、請求項１、段落［００１４］、［００４１］−［００４５］、［０１１８］、図１〜図３）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に記載の従来装置の場合、時間が前後する撮影画像を射影変換し、その差分をとることにより、差分の画像は路面に描かれた道路標示の文字や図形（路面上のペイント）が除去され、その差分の画像から前記動きベクトルを検出し、道路標示を誤認識することなく路上の障害物を検出することは可能であるが、自車前方等の一方向からみた撮影画像を用いて前記オプティカルフローを検出する極めて複雑な画像処理が必要になる問題があるとともに、画像上の僅かな動きベクトルから障害物を認識するため確実に安定して障害物を認識することが容易でない問題がある。
【０００５】
また、障害物の画像は路面に近い下端部が障害物自身の影等の影響を受けて暗くなる。しかも、前記射影変換を行なった場合、路面に近い前記下端部は、射影変換の特性上、自車と障害物との距離変化に対して形状があまり変わらない。そのため、前記差分の画像は路面に近い障害物の下端部の輪郭がほとんど消失した状態になる。したがって、前記差分の画像の障害物下端からの画像距離によって衝突の回避や予測に必要な障害物と自車との距離を把握することも困難である。
【０００６】
さらに、前記従来装置の場合、障害物が自車と同じ速度で走行している自車前方の先行車等であれば、障害物と自車との距離の変化がなく、前記差分がほとんど生じないため、先行車等の障害物を認識できない問題もある。
【０００７】
すなわち、前記従来のこの種の障害物認識装置は、自車前方等の一方向からみた撮影画像を用いて、その画像の先行車等の障害物と自車との距離や形状の時間変化による僅かな差から障害物を認識する構成であるため、オプティカルフローを検出する複雑な画像処理が必要であるだけでなく、障害物の認識が容易でなく、状況によっては障害物を認識できないおそれがあり、安定して確実に障害物を認識することができない。
【０００８】
本発明は、撮影画像の簡単な処理により障害物を容易な手法で確実かつ安定に認識することを目的とする。
【課題を解決するための手段】
【０００９】
上記した目的を達成するために、本発明の障害物認識装置は、走行する自車の複数方向からみた路面撮影が可能な撮影手段と、略同じ路面領域についての前記撮影手段の異なる複数方向からの撮影画像を取得する画像取得手段と、前記画像取得手段が取得した複数方向からの撮影画像に含まれた所定の監視範囲を抽出して同定する同定手段と、前記同定手段の同定結果により、前記監視範囲の撮影画像間で異なる画像部分を路面に垂直な障害物として認識する認識手段とを備えたことを特徴としている（請求項１）。
【００１０】
そして、前記同定手段は、前記監視範囲の抽出に加え、射影変換を行なって各撮影画像の前記監視範囲を同定することが好ましい（請求項２）。
【００１１】
また、本発明の障害物認識装置は、請求項１記載の構成の障害物認識装置において、自車の走行路の路面形状等の路面情報を取得する路面情報取得手段を更に備え、前記同定手段は、前記監視範囲の抽出に加え、前記路面情報に基づく画像処理を行なって各撮影画像の前記監視範囲を同定することを特徴としている（請求項３）。
【発明の効果】
【００１２】
請求項１の発明の場合、説明を簡単にするために複数方向を自車の前、後の２方向とすると、画像取得手段は、例えば時刻ｔｍに撮影手段が撮影した自車前方の一定の路面領域の撮影画像（前方画像）と、自車がその路面領域を通過して時刻ｔｎに撮影手段が撮影した自車後方の略同じ路面領域の撮影画像（後方画像）とを取得する。
【００１３】
そして、同定手段は、画像取得手段が取得した前記前方画像と前記後方画像の略同じ監視範囲を抽出してその画像の異同から同定する。
【００１４】
このとき、前記監視範囲を例えば自車の前方および後方の障害物が存在する可能性がある範囲に設定すると、自車前方に障害物があれば、前方画像の監視範囲には障害物が存在するが、後方画像監視範囲には障害物が存在しない状態になる。逆に、自車後方に障害物があれば、前方画像の監視範囲には障害物が存在しないが、後方画像の監視範囲には障害物が存在する状態になる。
【００１５】
すなわち、自車の前方または後方に障害物が存在するときは、前記前方画像と前記後方画像のいずれか一方の監視範囲にのみ障害物が含まれ、両画像の監視範囲の内容が大きく異なる。
【００１６】
そのため、オプティカルフローを検出する複雑な画像処理等を行なうことなく、簡単な画像の異同検出により自車の前方または後方の障害物を容易に安定して確実に認識することができる。この場合、障害物が自車と同じ速度で走行する先行、後行の車両であっても、それらの障害物を確実に認識することができるのは勿論である。
【００１７】
なお、自車の前方、後方の両方に障害物が存在しないときは、前記前方画像と前記後方画像のいずれの監視範囲も障害物が含まれない同じような路面のみの画像になることから、画像が一致して自車の前方および後方に障害物が存在しないことを確実に認識できる。さらに、自車の前方、後方の両方に障害物が存在するときは、前方画像と後方画像のいずれの監視範囲にも障害物が含まれるが、両方の画像の障害物は別個のものであり、しかも、同タイプの車両であっても前側の形状と後側の形状とは大きく異なることが多いため、形状、大きさ、位置等が一致することは皆無である。そのため、この場合も両画像が一致しないことから自車の前方および後方に障害物が存在することを確実に認識できる。
【００１８】
そして、前記複数方向を自車の前、後、左、右のいずれか２方向とする場合は勿論、前記複数方向を自車の前、後、左、右のいずれか３方向以上とする場合にも、各撮影画像の監視範囲の障害物の有無に基づき、前記と同様の簡単な画像比較の画像処理により、障害物を容易かつ確実に認識することができる。
【００１９】
請求項２の発明によれば、前記同定手段の射影変換により各撮影画像の監視範囲を俯瞰（鳥瞰）した平面（俯瞰平面）の画像が得られる。
【００２０】
このとき、各俯瞰平面の画像において、監視範囲の路面に垂直な障害物は撮影時間のずれに起因して形状が変化するが、監視範囲の路面にペイントされた道路標示は形状がほとんど変化しない。
【００２１】
そのため、前記同定手段は、射影変換後の各俯瞰平面の画像から前記道路標示を除去して障害物を一層正確に同定することができる。
【００２２】
請求項３の発明によれば、同定手段は、前記射影変換を行なう代わりに、路面情報取得手段の路面情報に基づく画像処理を行なって各撮影画像の監視範囲の障害物および道路標示を抽出し、それらの画像の異同等から前記道路標示を除去して障害物を容易かつ正確に同定することができる。
【発明を実施するための最良の形態】
【００２３】
つぎに、本発明をより詳細に説明するため、請求項１、２に対応する一実施形態について、図１〜図１０を参照して詳述する。
【００２４】
図１は自車１に搭載された障害物認識装置２のブロック構成を示し、図２は障害物認識装置２の撮像手段の構成例を示し、図３は障害物認識装置２の動作説明用のフローチャート、図４はその撮影画像の処理例を示し、図５はその同定結果を示す。
【００２５】
図６は射影変換の説明図、図７は自車１の前方のみを撮影して認識する場合の撮影例の説明図、図８は図７の撮影結果の射影変換の説明図である。図９は図７の障害物がない場合の撮影画像の処理例の説明図、図１０は図７の障害物がある場合の撮影画像の処理例の説明図である。
【００２６】
（構成）
図１に示すように、車両１に搭載された障害物認識装置２は、撮影手段３と、その撮影画像を処理して同定するマイクロコンピュータ構成の画像処理手段４と、撮影画像等を書き換え自在に蓄積するデータ蓄積手段５によって構成される。
【００２７】
撮影手段３は、走行する自車１の複数方向からみた路面撮影が可能なモノクロ或いはカラーの単眼カメラからなり、撮影した時々刻々のフレーム画像（又はフィールド画像）を出力する。
【００２８】
なお、複数方向とは、自車１から見たその周囲の各方向であり、実用的には、自車１の前、後、左、右の全部又は一部の方向（２方向以上）である。
【００２９】
そして、本実施形態においては、説明を簡単にするため、撮影手段３の撮影方向を自車１の前方、後方の２方向とする。
【００３０】
また、前記複数方向の路面撮影を行なうため、撮影手段３は例えば撮影方向毎に単眼カメラを設けて形成され、前記複数方向を自車１の前方、後方の２方向とする本実施形態の場合、図２に示すように、自車１の車内の前方、後方の上部位置に、単眼カメラ３ａ、３ｂを同じ角度で上方から適当な角度で斜め下の路面をねらうように設けて撮影手段３が形成される。
【００３１】
なお、単眼カメラ３ａはいわゆるプリクラッシュセンサとして車両１に搭載されるカメラであり、単眼カメラ３ｂは例えばバックセンサと兼用されるカメラである。
【００３２】
また、撮影手段３によって自車１の全周から斜め下の路面を見た映像を撮影してもよく、この場合は、例えば自車１の車室内上部に円錐形の鏡を設け、この鏡に走行中の自車１の全周からみた撮影画像を映し、その撮影画像を１又は複数個の単眼カメラにより撮影する。
【００３３】
つぎに、画像処理手段４は本発明の画像取得手段、同定手段、認識手段を形成し、自車１の走行中に図３のステップＡ１〜Ａ６の認識処理プログラムをくり返し実行する。
【００３４】
画像取得手段は、略同じ路面領域についての撮影手段３の異なる複数方向からの撮影画像を取得する手段であり、本実施形態の場合、図３のステップＡ１、Ａ２に動作し、時刻ｔ１に単眼カメラ３ａが撮影した例えば図４の自車１の前方の路面領域の撮影画像（以下、前方画像という）Ｐ（ｔ１）を取り込んでデータ蓄積手段５に保持し、車速センサ（図示せず）の自車速等から決定した時間だけ遅れた時刻ｔ２に単眼カメラ３ｂが撮影した前記図４の自車１の後方の略同じ路面領域の撮影画像（以下、後方画像という）Ｐ（ｔ２）を取り込んでデータ蓄積手段５に保持する。
【００３５】
同定手段は、画像取得手段が取得した複数方向からの撮影画像に含まれた所定の監視範囲を抽出して同定する手段であり、本実施形態の場合、図３のステップＡ３、Ａ４に動作し、前方画像Ｐ（ｔ１）、後方画像Ｐ（ｔ２）の少なくとも路面部分に後述の射影変換を施し、両画像Ｐ（ｔ１）、Ｐ（ｔ２）の障害物を含む所定の監視範囲を抽出して同定する。
【００３６】
認識手段は、図３のステップＡ５に動作し、同定手段の同定結果により、前記監視範囲の画像Ｐ（ｔ１）、Ｐ（ｔ２）間で異なる画像部分を路面に垂直な障害物として認識し、認識結果を自車１の被害軽減や衝突回避の衝突予測処理手段（図示せず）等に送る。
【００３７】
つぎに、前記画像取得手段の射影変換等について、具体的に説明する。
【００３８】
まず、射影変換は、画像Ｐ（ｔ１）、Ｐ（ｔ２）の不要な道路標示を除去するために施されるものであり、一般的には図６に示すように、ある平面Ｌのｘ−ｙ座標系の点Ｐ（ｘ、ｙ）が投影中心Ｏに関して、他の平面Ｌ´のｕ−ｖ座標系の点Ｐ´（ｕ、ｖ）として投影される変換である。この変換によって平面Ｌの点Ｐ、Ａ、Ｂ、Ｃ、Ｄは平面Ｌ´に点Ｐ´、Ａ´、Ｂ´、Ｃ´、Ｄ´として射影される。
【００３９】
なお、上記射影変換は、パラメータａ１１、ａ１２、ａ１３、ａ２１、ａ２２、ａ２３、ａ３１、ａ３２、ａ３３を用いて、次の数１の（１）式及び数２の（２）式で表される。
【００４０】
【数１】
【００４１】
【数２】
【００４２】
ただし、各パラメータａ１１、…、ａ３３には、つぎの数３の（３）式の条件が課せられる。
【００４３】
【数３】
【００４４】
つぎに、この射影変換による道路標示の除去を説明する。
【００４５】
まず、図７に示すように、自車１に単眼カメラ３ａと同じ単眼カメラ３ａａのみを搭載し、自車１の走行中に単眼カメラ３ａａによって自車前方の一定の路面範囲を上方から斜めに撮影し、自車前方の時系列の撮影画像Ｐ（ｔ）を得、それらの撮影画像Ｐ（ｔ）に、前記平面Ｌを撮影平面、前記平面Ｌ´を射影変換後の俯瞰平面とする、射影変換を施し、例えば図８に示すように、撮影画像Ｐ（ｔ）の上方からの俯瞰平面の画像Ｐ（ｔ）´に変換するものとする。
【００４６】
この場合、射影変換後の俯瞰平面の画像Ｐ（ｔ）´において、撮影画像Ｐ（ｔ）中の路面に垂直な障害物（先行車等）αと路面にペイントされた道路標示β、β＊とでは、形状の時間変化に違いが生じる。なお、道路標示βは走行車線の左右の白線、道路標示β＊は走行車線内の矢印や数字等である。
【００４７】
すなわち、単眼カメラ３ａａの時刻ｔ＝ｔ１１の撮影画像（前方画像）Ｐ（ｔ１１）、それからΔｔ秒遅れた時刻ｔ＝ｔ２２の撮影画像（前方画像）Ｐ（ｔ２２）を、それぞれ俯瞰平面の画像Ｐ（ｔ１１）´、Ｐ（ｔ２２）´に射影変換すると、道路平面の道路標示β、β＊は撮影の時刻ｔ１１、ｔ２２が前後することによっては射影変換後の形状はほとんど変化しないが、高さを持つ障害物αは撮影の時刻ｔ１１、ｔ２２が前後することによって射影変換後の形状が変化して異なる。
【００４８】
そのため、画像Ｐ（ｔ１１）´、Ｐ（ｔ２２）´の各画素の明るさの差分を求めて同定すると、道路標示β、β＊が略除去される。
【００４９】
そして、道路標示β、β＊が除去されることにより、障害物αが存在しなければ、同定結果は「画像なし」となり、障害物αが存在すれば、同定結果は障害物αの形状の違いに基づく「差分の画像あり」となり、この同定結果の違いによって障害物αの認識が可能になる。
【００５０】
実際の撮影画像例で説明すると、自車１の前方の監視範囲内に障害物αとなる先行車が存在しない場合、単眼カメラ３ａａで自車前方の一定の路面領域を撮影して得られた図９の時刻ｔｘ１の画像Ｐ（ｔｘ１）、それからΔｔ秒遅れた時刻ｔｙ１の画像Ｐ（ｔｙ１）は、自車前方の監視範囲ｘ、ｙに例えば道路標示β、β＊のみが存在し、それらの射影変換後の予測画像Ｐ＊（ｔｘ１）、Ｐ＊（ｔｙ１）は、道路標示β、β＊のみが略同じ形状（寸法を含む）で存在する。
【００５１】
一方、自車１の前方の監視範囲内に障害物αとなる先行車が存在する場合、単眼カメラ３ａａで自車前方の一定の路面領域を撮影して得られた図１０の時刻ｔｘ２の画像Ｐ（ｔｘ２）、それからΔｔ秒遅れた時刻ｔｙ２の画像Ｐ（ｔｙ２）は、自車前方の監視範囲ｘ、ｙに例えば障害物α及び道路標示βが存在し、それらの射影変換後の画像Ｐ＊（ｔｘ１）、画像Ｐ＊（ｔｙ１）は、障害物αが異なる形状で存在して道路標示βが略同じ形状で存在する。
【００５２】
そして、図９の画像Ｐ＊（ｔｘ１）、画像Ｐ＊（ｔｙ１）の各画素の明るさの差分を求めると、同図の同定画像Ｐ１ｘｙが得られる。同様に、図１０の画像Ｐ＊（ｔｘ２）、画像Ｐ＊（ｔｙ２）の各画素の明るさの差分を求めると、同図の同定画像Ｐ２ｘｙが得られる。
【００５３】
このとき、同定画像Ｐ１ｘｙは監視範囲ｘ、ｙの略同じ形状の道路標示β、β＊が打ち消しあって略消失し、同定画像Ｐ２ｘｙは監視範囲ｘ、ｙの略同じ形状の道路標示β、β＊は打ち消しあって略消失するが、形状が異なる障害物αはその差分の輪郭状の画像を含む。
【００５４】
そして、同定画像Ｐ１ｘｙ、同定画像Ｐ２ｘｙに上記相違が生じるため、原理上は、単眼カメラ３ａａで同じ方向から時間を前後して撮影した撮影画像によっても自車１の前方の障害物αを認識し得る。なお、自車１に単眼カメラ３ｂと同様の単眼カメラを搭載し、このカメラにより時間を前後して撮影した自車後方の撮影画像について同様の射影変換を施すことにより、原理上は、自車１の後方の障害物も認識し得る。
【００５５】
しかしながら、例えば障害物αが存在する場合、図１０からも明らかなように前後して撮影した撮影画像Ｐ（ｔｘ２）、Ｐ（ｔｙ２）がいずれも対象とする障害物αを含み、射影変換後の画像Ｐ＊（ｔｘ２）、Ｐ＊（ｔｙ２）の障害物αの形状の違いも僅かであるため、前記違いに基づく同定結果の画像Ｐ２ｘｙは障害物αの面積が小さく明確ではない。
【００５６】
一方、障害物αが存在しない場合、図９からも明らかなように、前後して撮影した撮影画像Ｐ（ｔｘ１）、Ｐ（ｔｙ１）の射影変換後の画像Ｐ＊（ｔｘ１）、Ｐ＊（ｔｙ１）は、道路標示β、β＊の形状や位置が完全に一致するものではなく、実際には、同定結果の画像Ｐ１ｘｙにそれらの不一致に基づく画像が残存する。
【００５７】
そのため、同じ方向から時間を前後して撮影した撮影画像を射影変換して認識する手法では、走行環境等によっては障害物αの誤認識が生じ易く、障害物αを確実かつ安定に認識することが困難である。
【００５８】
しかも、同定結果の画像Ｐ２ｘｙからも明らかなように、障害物αの下端部は形状の変化が少なく、略輪郭が消失した状態になる。そのため、同定結果の画像ｐ２ｘｙの障害物αの下端からの画像距離を求めて障害物αと自車１との距離を求めることも容易でない。
【００５９】
そこで、本発明においては、上述したように、撮影手段３によって走行する自車１の異なる複数方向から同じ路面領域を撮影する。
【００６０】
すなわち、本実施形態の場合、図２の単眼カメラ３ａ、３ｂにより、例えばｔ１時に単眼カメラ３ａが一定の路面領域を前方画像Ｐ（ｔ１）として撮影し、自車１の走行速度等から定まる数秒程度の時間経過後の時刻ｔ２に単眼カメラ３ｂが同じ路面領域を後方画像Ｐ（ｔ２）として撮影し、前記画像取得手段により、前後する単眼カメラ３ａの時刻ｔ１の前方画像Ｐ（ｔ１）と時刻ｔ２の後方画像Ｐ（ｔ２）とを取り込む。
【００６１】
このとき、自車１の前方に障害物αとしての先行車（自動車）が存在していると、図４に示すように、前方画像Ｐ（ｔ１）にはその障害物αが含まれるが後方画像Ｐ（ｔ２）には障害物αは含まれない。また、自車１の後方に別の障害物α´としての後行車（二輪車）が存在していると、図４に示すように、後方画像Ｐ（ｔ２）にはその障害物α´が含まれるが前方画像Ｐ（ｔ１）には障害物α´は含まれない。
【００６２】
そして、前記同定手段は、本実施形態では画像Ｐ（ｔ１）、Ｐ（ｔ２）をそのまま俯瞰平面の画像に射影変換する。この射影変換は、単眼カメラ３ａ、３ｂの撮影面の画像Ｐ（ｔ１）、Ｐ（ｔ２）に道路標示βの白線が含まれる場合、その白線を周知のハフ変換による車線幅認識等によって検出し、検出した白線が画像Ｐ（ｔ１）、Ｐ（ｔ２）の垂直線になるように前記ａ１１〜ａ３３のパラメータを設定して行なうことが画像比較等の上から好ましい。なお、白線は連続線、破線のいずれであってもよいのは勿論である。また、白線のない道路を走行するときは、例えば設定した標準パラメータで射影変換を行なえばよい。
【００６３】
さらに、前記同定手段は画像Ｐ（ｔ１）、Ｐ（ｔ２）の射影変換画像から自車１が走行する車線部分の水平線より下の路面部分の中央部分を障害物の存在を予測する監視範囲として抽出し、例えば図４の前方、後方の予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）を形成し、両画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）につき、例えば車線幅等を揃えた状態で重ね合わせて画素毎に比較して明るさの差分を求め、異同を検出して同定する。
【００６４】
このとき、画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）を重ねた同定結果の画像は、前方にのみ障害物αが存在するのであれば、図５（ａ）に示すように略前方画像Ｐ＊（ｔ１）の障害物αの部分の画像になり、後方にのみ障害物α´が存在するのであれば、同図（ｂ）に示すように略後方画像Ｐ＊（ｔ２）の障害物α´の部分の画像になる。なお、前方にも後方にも障害物α、α´が存在しない場合は、同定結果の画像がいわゆるブランク画像になり、前方、後方に障害物α、α´が存在する場合は、同定結果の画像が例えば前記図５（ａ）、（ｂ）の画像を重ね合わせた画像になる。
【００６５】
なお、夜間走行やトンネル走行等においても、自車１および障害物αのヘッドライト、テールライトにより、走行路の同定に必要な部分には明るさが確保され、昼間等と同様に問題なく同定が行なえる。
【００６６】
そして、認識手段は、予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）間の明るさが異なる部分につき、例えば周囲と異なる明るさになる予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）の側に路面に垂直な先行車や後行車等の障害物α、α´が存在することを把握して認識し、認識結果を自車１の被害軽減や衝突回避の処理手段（図示せず）等に送る。
【００６７】
なお、前方、後方に障害物α、α´が存在しない場合は、予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）が障害物α、α´の存在しない同じような路面のみの画像になり、予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）間に明るさの異なる部分が存在しないことから、前方にも後方にも障害物α、α´が存在しないことを認識する。また、前方、後方に障害物α、α´が存在する場合は、前方の同定結果の画像が例えば前記図５（ａ）、（ｂ）の画像を重ね合わせた画像になり、このとき、予測画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）の障害物α、α´は別個のものであり、しかも、同タイプの車両であっても前側の形状と後ろ側の形状とは大きく異なることが多いため、形状、大きさ、位置等が一致することは皆無であり、認識結果として複数個の障害物α、α´の画像がえられることから、前方および後方に障害物α、α´が存在することを認識する。
【００６８】
つぎに、認識した障害物α、α´は、同定結果の画像上において、下端部も含めて輪郭が明瞭である。そこで、前記認識手段は、前記画像上で障害物α、α´の下端から自車１までの距離（車間距離）を正確に求めて自車１と障害物α、α´との時々刻々の距離を検出することができ、この検出結果の距離も前記した被害軽減や衝突回避の処理手段等に送る。
【００６９】
したがって、本実施形態の場合、オプティカルフローを検出する複雑な画像処理等を行なうことなく、自車１の前、後の撮影画像の簡単な異同検出により、自車１の前方または後方、あるいは両方の障害物α、α´を安定かつ確実に認識することができる。
【００７０】
この場合、障害物α、α´が自車１と同じ速度で走行する先行車や後行車であっても、それらの障害物αを確実に認識することができるのは勿論である。
【００７１】
また、撮影した画像Ｐ（ｔ１）、Ｐ（ｔ２）に射影変換を施してそれぞれを俯瞰平面の画像Ｐ＊（ｔ１）、Ｐ＊（ｔ２）に変換する構成であるため、自車１の走行路に起伏がある場合や、自車１の走行路が上り坂や下り坂の場合も、問題なく障害物αを認識できる。
【００７２】
なお、障害物αは車両や人等の移動体に限られるものではなく、電柱や看板等の静止物体であっても同様に認識することができる。
【００７３】
また、例えば画像Ｐ（ｔ１）、Ｐ（ｔ２）の障害物α、α´はいわゆるエッジヒストグラム手法により水平・垂直のエッジを検出して認識することも可能であるが、この場合は、障害物α、α´が水平エッジが出にくい人、バイク、電柱等の細い垂直物の場合には認識困難である。これに対して、本発明の場合は水平・垂直のエッジ検出は不要であり、障害物α、α´が細い垂直物であっても確実に認識することができる。
【００７４】
つぎに、同定結果として得られる障害物α、α´の画像が鮮明であり、その下端部を含む全体をはっきり認識することができため、画像上で測定した障害物α、α´の下端から自車１までの長さから、衝突予測に重要な時々刻々変化する自車１から障害物α、α´までの距離を正確に検出して把握することができる。
【００７５】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能である。
【００７６】
例えば、前記実施形態においては、同定手段により、異なる方向からの撮影画像に先に射影変換を施し、その後監視範囲を抽出して障害物をするようにしたが、同定手段により、異なる方向からの撮影画像から監視範囲を抽出し、その後監視範囲に射影変換を施して障害物を認識するようにしてもよい。
【００７７】
つぎに、前記実施形態においては、自車１の前方、後方から路面を撮影した前方画像Ｐ（ｔ１）、後方画像Ｐ（ｔ２）に基づいて、前方、後方の障害物α、α´を認識する場合に適用したが、撮影方向の組合わせは、前方と後方に限られるものではなく、例えば、撮影方向が前方または後方と左、右いずれかの側方との２方向、或いは、前、後、左、右のいずれか３方向以上であってもよい。
【００７８】
具体的には、例えば後方と側方とを組合わせ、右左折時のバイク等の障害物の巻き込みの衝突防止に適用する場合、撮影手段として、図１１に示すように自車１に前記の単眼カメラ３ｂを搭載するとともに、自車１の左、右のいずれか一方または両方のサイドミラー等に単眼カメラ３ｃ、３ｄを取り付ける。
【００７９】
そして、自車１が右ハンドルの場合に有効な左折時の障害物の巻き込みの衝突防止に適用する場合について説明すると、左のサイドミラーの単眼カメラ３ｃにより時刻ｔ１に左側から見た路面を撮影し、それから数秒後の時刻ｔ２に単眼カメラ３ｂにより後方からみた同じ路面領域を撮影する。
【００８０】
このとき、単眼カメラ３ｂの後方画像Ｐ（ｔ２）の左側は、単眼カメラ３ｃが時刻ｔ１に撮影した画像（以下、左側画像という）Ｐ（ｔ１）と略同じ範囲（監視範囲）を異なる方向から撮影した画像であり、側方に障害物が存在すれば左側画像Ｐ（ｔ１）にのみ障害物が含まれ、後方に障害物が存在すれば後方画像Ｐ（ｔ１）にのみ障害物が含まれる。
【００８１】
そこで、画像処理手段４の画像取得手段、同定手段、認識手段により、左側画像Ｐ（ｔ１）、後方画像Ｐ（ｔ２）を前記実施形態の場合と同様に処理し、左側画像Ｐ（ｔ１）、後方画像Ｐ（ｔ２）の俯瞰平面の画像の前記監視範囲を同定して障害物を認識する。
【００８２】
なお、右折時の障害物の巻き込みの衝突防止に適用する場合は、右のサイドミラーの単眼カメラ３ｄにより時刻ｔ１に右側から路面を撮影し、それから数秒後の時刻ｔ２に単眼カメラ３ｂにより後方から同じ路面領域を撮影して障害物を認識する。
【００８３】
また、前、後、左、右のいずれか３方向以上からの撮影画像に基づいて障害物を認識する場合は、それらにより前後して異なる方向から撮影された略同じ路面領域の共通する範囲を監視範囲として抽出し、画像処理手段４の画像取得手段、同定手段、認識手段により前記実施形態と同様にして障害物を認識することができる。
【００８４】
つぎに、前記実施形態においては、同定手段により、異なる方向からの撮影画像に射影変換を施して障害物を認識したが、自車１にカーナビゲーション装置のような自車１の走行路の路面形状等の路面情報（マップデータ）を取得する路面情報取得手段を更に備え、画像処理手段４の同定手段から前記射影変換の処理を省き、前記同定手段により、監視範囲の抽出に加え、前記路面情報に基づく画像処理を行なって各撮影画像の前記監視範囲を同定して障害物を認識するようにしてもよい（請求項３対応）。
【００８５】
具体的には、例えば撮影された前方画像Ｐ（ｔ１）、後方撮影画像Ｐ（ｔ２）の路面範囲につき、前記同定手段により、まず、路面情報取得手段の路面情報に基づく画像処理を行なって路面を前方、後方から撮影した画像（以下、マップ画像という）を形成する。これらのマップ画像には、路面にペイントされた道路標示は含まれていない。
【００８６】
そして、前方画像Ｐ（ｔ１）、後方撮影画像Ｐ（ｔ２）とマップ画像との差分を取り、前方画像Ｐ（ｔ１）、後方撮影画像Ｐ（ｔ２）を略障害物および道路標示の画像に加工する。
【００８７】
さらに、障害物αおよび道路標示の画像に加工された前方画像Ｐ（ｔ１）、後方撮影画像Ｐ（ｔ２）を、そのまま、或いは、所要の座標変換を施して明るさの差分を取り、それらの異同等から道路標示を除去して障害物を容易かつ正確に同定する。
【００８８】
なお、この場合も、撮影方向は前後方向以外の２方向或いは３方向以上であってもよい。
【００８９】
つぎに、撮影手段３、画像処理手段４等の構成や動作（処理手順）は、前記実施形態のものに限られるものではない。
【００９０】
そして、本発明は、種々の車両の障害物認識に適用することができる。
【図面の簡単な説明】
【００９１】
【図１】本発明の一実施形態のブロック図である。
【図２】図１の撮像手段の構成例の説明図である。
【図３】図１の動作説明用のフローチャートである。
【図４】図１の撮影画像の処理例の説明図である。
【図５】図４の同定結果の説明図である。
【図６】射影変換の説明図である。
【図７】前方のみを撮影して認識する場合の撮影例の説明図である。
【図８】図７の撮影結果の射影変換の説明図である。
【図９】図７の障害物がない場合の撮影画像の処理例の説明図である。
【図１０】図７の障害物がある場合の撮影画像の処理例の説明図である。
【図１１】本発明の他の撮像手段の構成例の説明図である。
【符号の説明】
【００９２】
１ 自車
２ 障害物認識装置
３ 撮影手段
４ 画像処理手段
α、α´ 障害物
【特許請求の範囲】
【請求項１】
走行する自車の複数方向からみた路面撮影が可能な撮影手段と、
略同じ路面領域についての前記撮影手段の異なる複数方向からの撮影画像を取得する画像取得手段と、
前記画像取得手段が取得した複数方向からの撮影画像に含まれた所定の監視範囲を抽出して同定する同定手段と、
前記同定手段の同定結果により、前記監視範囲の撮影画像間で異なる画像部分を路面に垂直な障害物として認識する認識手段と
を備えたことを特徴とする障害物認識装置。
【請求項２】
請求項１記載の障害物認識装置において、
前記同定手段は、前記監視範囲の抽出に加え、射影変換を行なって各撮影画像の前記監視範囲を同定することを特徴とする障害物認識装置。
【請求項３】
請求項１記載の障害物認識装置において、
自車の走行路の路面形状等の路面情報を取得する路面情報取得手段を更に備え、
前記同定手段は、前記監視範囲の抽出に加え、前記路面情報に基づく画像処理を行なって各撮影画像の前記監視範囲を同定することを特徴とする障害物認識装置。
【請求項１】
走行する自車の複数方向からみた路面撮影が可能な撮影手段と、
略同じ路面領域についての前記撮影手段の異なる複数方向からの撮影画像を取得する画像取得手段と、
前記画像取得手段が取得した複数方向からの撮影画像に含まれた所定の監視範囲を抽出して同定する同定手段と、
前記同定手段の同定結果により、前記監視範囲の撮影画像間で異なる画像部分を路面に垂直な障害物として認識する認識手段と
を備えたことを特徴とする障害物認識装置。
【請求項２】
請求項１記載の障害物認識装置において、
前記同定手段は、前記監視範囲の抽出に加え、射影変換を行なって各撮影画像の前記監視範囲を同定することを特徴とする障害物認識装置。
【請求項３】
請求項１記載の障害物認識装置において、
自車の走行路の路面形状等の路面情報を取得する路面情報取得手段を更に備え、
前記同定手段は、前記監視範囲の抽出に加え、前記路面情報に基づく画像処理を行なって各撮影画像の前記監視範囲を同定することを特徴とする障害物認識装置。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図１１】
【図４】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図５】
【図６】
【図７】
【図１１】
【図４】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−２５９３２（Ｐ２００９−２５９３２Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１８６５４９（Ｐ２００７−１８６５４９）
【出願日】平成１９年７月１８日（２００７．７．１８）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月１８日（２００７．７．１８）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]