対象物の位置を算出するための装置
【課題】車両の挙動如何にかかわらず、撮像された画像から検出された対象物の位置を、より良好な精度で判定する。
【解決手段】車両に搭載されたカメラを用いて車両の周辺を撮像し、撮像された画像に基づいて、実空間において車両から所定値以上の距離を有し、かつ所定値以上の高さに位置すると推定される遠方物体を検出する。また、撮像された画像に基づいて、所定の対象物を検出する。画像上において、該検出された遠方物体に含まれる所定の点を基準として、該検出された対象物に含まれる所定の点の位置を特定する。該画像上の該特定された位置に基づいて、実空間上の対象物の位置を算出する。画像において、遠方物体に対する対象物の相対的な位置関係は、車両のピッチング等の影響を受けないため、該ピッチング等の影響を受けることなく、対象物の実空間上の位置を求めることができる。
【解決手段】車両に搭載されたカメラを用いて車両の周辺を撮像し、撮像された画像に基づいて、実空間において車両から所定値以上の距離を有し、かつ所定値以上の高さに位置すると推定される遠方物体を検出する。また、撮像された画像に基づいて、所定の対象物を検出する。画像上において、該検出された遠方物体に含まれる所定の点を基準として、該検出された対象物に含まれる所定の点の位置を特定する。該画像上の該特定された位置に基づいて、実空間上の対象物の位置を算出する。画像において、遠方物体に対する対象物の相対的な位置関係は、車両のピッチング等の影響を受けないため、該ピッチング等の影響を受けることなく、対象物の実空間上の位置を求めることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の対象物の位置を算出するための装置に関する。
【背景技術】
【０００２】
下記の特許文献１には、一対の赤外線カメラを用いて車両の周辺の対象物を検出し、該対象物が歩行者と判定されたならば、映像と音を用いて運転者に通知するシステムが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２８４０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両には、ピッチングやヨーイング等が生じることがある。車両にこのような挙動の変動が生じると、車両に搭載されたカメラによって撮像される画像にもその影響は現れる。その結果、撮像された画像から検出された対象物の位置を判定する精度が低下するおそれがある。
【０００５】
また、従来は、画像に撮像された、車両の走行路の両側に沿って配置された白線や縁石等を、たとえば直線近似で算出し、該近似した２つの直線が交差する点を消失点とし、該消失点を基準に、対象物の位置を計測する手法も提案されている。しかしながら、消失点は、あくまで仮想の点であり、物体として実際に存在するわけではない。したがって、消失点を用いた手法では、車両のピッチング等の影響を回避する必要があった。また、白線や縁石等の直線近似の精度によっては、消失点を特定する精度が低下する。さらに、車両の進行路がカーブしている場合には、消失点を利用することはできない。
【０００６】
さらに、上記の文献では、一対のカメラを用いることにより、いわゆる視差を利用して、対象物の自車両に対する距離を算出している。視差を利用することにより、対象物の動きが比較的大きい場合でも、該対象物の自車両からの距離を正確に算出することができる。しかしながら、カメラを２台取り付けることは、コスト高を招くおそれがある。
【０００７】
したがって、車両の挙動如何にかかわらず、撮像された画像から検出された対象物の位置を、より良好な精度で判定することのできる手法が望まれている。また、一台のカメラによって、対象物までの距離をより良好な精度で算出することのできる手法が望まれている。
【課題を解決するための手段】
【０００８】
この発明の一つの側面によると、車両に搭載され、対象物の位置を算出するための装置は、車両に搭載されたカメラを用いて車両の周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて、実空間において前記車両から所定値以上の距離を有し、かつ所定値以上の高さに位置すると推定される遠方物体を検出する手段と、前記撮像手段によって撮像された画像に基づいて、所定の対象物を検出する検出手段と、前記画像上において、前記検出された遠方物体に含まれる所定の点を基準として、前記検出された対象物に含まれる所定の点の位置を特定する手段と、前記画像上の前記特定された位置に基づいて、実空間上の前記対象物の位置を算出する実位置算出手段と、を備える。
【０００９】
車両から遠方にある物体は、該車両が走行しても、画像内における位置および形状がほとんど変化しないが、比較的車両の近傍に存在する対象物は、該車両が走行すると、画像内における位置および形状を大きく変化させる。また、ピッチングやヨーイング等によって車両の挙動が変化した場合には、該挙動の変化に応じた量だけ、該遠方物体および該対象物は該画像内で移動する。すなわち、画像内において、該遠方物体に対する該対象物の相対的な位置関係は、ピッチング等の影響を受けない。この発明は、この知見に鑑みてなされたものであり、画像内の該遠方物体の位置を基準として、該対象物の位置を特定する。こうすることにより、ピッチング等の影響を受けることなく、対象物の実空間上の位置を求めることができる。
【００１０】
また、本願発明では、消失点のような仮想の点を用いず、実際に存在する遠方物体を用いるので、車両のピッチング等の影響を受けることなく、安定的に、対象物の位置を判定することができる。また、遠方物体を基準としているので、車両の進行路がカーブしているときでも、対象物の位置を判定することができる。
【００１１】
この発明の一実施形態によると、前記実位置算出手段は、さらに、前記画像上の前記特定された位置の垂直方向の時間変化に基づいて、前記対象物の前記車両からの距離を算出する。こうして、遠方物体を基準とすることにより、対象物の車両からの実際の距離を算出することができる。
【００１２】
この発明の一実施形態によると、前記遠方物体は、前記画面の上方に所定時間以上存在し、かつ該所定時間における形状の変化が小さいと判定された物体である。
【００１３】
車両から遠くにある物体ほど、車両から見て、その位置および形状はほとんど変化しない。したがって、画面の上方に、所定時間にわたり、形状をほとんど変化させることなく存在する物体を、遠方物体として選択するのが好ましい。これにより、対象物の位置の算出精度を高めることができる。たとえば、空に浮かぶ雲や山の稜線を、遠方物体として選択することができる。
【００１４】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１５】
【図１】この発明の一実施例に従う、車両の対象物位置算出装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、カメラの取り付け位置を説明するための図。
【図３】この発明の一実施例に従う、対象物の位置を算出する基本的な考え方を説明するための図。
【図４】この発明の一実施例に従う、実空間上の座標系および画像の座標系を示す図。
【図５】この発明の一実施例に従う、対象物の位置を算出する手法を説明するための図。
【図６】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図７】この発明の一実施例に従う、対象物の位置算出プロセスを示すフローチャート。
【発明を実施するための形態】
【００１６】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺の対象物の位置を算出するための装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な１つの赤外線カメラ１と、カメラ１によって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１による撮像によって得られる画像を表示するヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４と、を備えている。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られる。
【００１７】
この実施例では、図２に示すように、カメラ１は、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸上に配置されている。赤外線カメラ１は、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００１８】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。
【００１９】
なお、ＨＵＤ４に代えて、たとえばダッシュボードに取り付けられる表示装置でもよい。たとえば、表示装置として、いわゆるナビゲーション装置（図示せず）の表示装置を利用することができる。ナビゲーション装置は、周知の如く、車両の現在位置を検出すると共に、目的地への最適な経路を算出して、地図情報上に該現在位置および該経路を表示することができる装置である。
【００２０】
ここで、図３を参照して、本願発明の基本的な考え方を説明する。図３の（ａ）は、現時点より過去の時点（ｔ＝０とする）に車両に搭載されたカメラ１により取得された撮像画像を模式的に表したものであり、道路１０１に歩行者１０２が存在している。画像の上方には、空１０４を背景として雲１０５が撮像されている。
【００２１】
なお、後述するように、カメラ１の撮像を介して取得され表示装置４上に表示される実際のグレースケール画像では、対象物の温度が高いほど高い輝度で（すなわち、白く）表示されるため、歩行者等の生体は、背景よりも白く表示される。しかしながら、図の上ではわかりやすくするため、このような実際の表示態様に沿ったものではないように描かれている点に注意されたい。このことは、以下の図においても同様である。
【００２２】
図３の（ｂ）〜（ｄ）は、いずれも、現時点（ｔ＝１とする）で取得された撮像画像を模式的に表したものである。（ｂ）のケースは、車両にピッチング等の変動が生じず、かつ自車両が時点ｔ＝０からｔ＝１の間に走行した場合に取得された画像を表している。ここで、歩行者１０２は、時点ｔ＝０からｔ＝１の間、道路１０１を横断していると仮定する。（ｃ）のケースは、車両にピッチングが生じ、かつ歩行者１０２および自車両が、時点ｔ＝０からｔ＝１の間に移動しなかった場合に取得された画像を表している。（ｄ）のケースは、車両にピッチングが生じ、かつ自車両が時点ｔ＝０からｔ＝１の間に走行した場合に取得された画像を表している。この場合も、歩行者１０２は、時点ｔ＝０からｔ＝１の間、道路１０１を横断していると仮定する。
【００２３】
画像（ａ）と（ｂ）を比較して明らかなように、雲１０５は、車両から十分遠くに存在しているため、車両が走行しても、その画像内の位置はほとんど変化しない。歩行者１０２は、車両から比較的近距離に存在しているため、車両が走行すると、歩行者１０２の画像内の位置も大きく変化する。
【００２４】
また、画像（ａ）と（ｃ）を比較して明らかなように、車両にピッチングが生じると、表示される画像全体が上下に移動する。この例では、（ａ）の画像全体が、矢印ｐで表されるようにピッチングに応じた量だけ下方向にずれている。したがって、（ｃ）の画像では、歩行者１０２だけでなく、雲１０５も、（ａ）の画像内の位置に対して、同じ量ｐだけ下方向にずれている。しかしながら、（ａ）および（ｃ）の間で、雲１０５に対する歩行者１０２の相対的な位置は変化していない。
【００２５】
画像（ｄ）は、画像（ｂ）の歩行者１０２の動きと、画像（ｃ）のピッチングによる画像全体の移動とが組み合わさったものである。ピッチングの影響によって、（ａ）の画像全体が矢印ｐで表されるようにピッチングに応じた量だけ下方向にずれており、また、自車両の走行により、歩行者１０２の画像内の位置も大きく変化している。しかしながら、（ｂ）と（ｄ）とを比較して明らかなように、ピッチングが生じても、雲１０５に対する歩行者１０２の相対的な位置は同じである。
【００２６】
以上のことから、雲１０５のような車両から遠くに存在する物体（遠方物体と呼ぶ）は、車両が走行しても、その画像内の位置はほとんど不変であり、車両にピッチングが生じると、それに応じた量だけ画像内で移動する。しかしながら、画像内において、比較的車両の近傍に存在する歩行者等の対象物の該遠方物体に対する相対的な位置関係は、ピッチングの影響を受けない。これは、車両がヨーイングした場合も同様である。車両にヨーイングが生じると、それに応じた量だけ、画像は左右にずれるが、画像内において、遠方物体に対する対象物の相対的な位置関係はヨーイングの影響を受けない。
【００２７】
したがって、画像内において、遠方物体を基準として対象物の位置を特定することにより、車両のピッチング等の挙動に影響を受けることなく、該対象物の実空間上の位置を算出することができる。
【００２８】
以下、この算出手法を具体的に述べる。ここで、座標系について簡単に説明すると、実空間については、図４（ａ）に示すように、車両に搭載されたカメラ１を原点としたＸＹＺ座標系を設定する。また、撮像画像については、図４（ｂ）に示すように、画像の中心を原点としたｘｙ座標系を設定する。
【００２９】
まず、撮像された画像から、遠方物体を選択する。遠方物体は、基準となる物体であるから、車両から十分遠くにある物体が好ましい。車両から十分遠くにあれば、自車両が走行しても、その画像内の位置がほとんど変化しないからである。また、基準となる物体である以上、地上の他の物体（たとえば、建物や先行車）で遮られないような物体が好ましい。
【００３０】
したがって、一実施形態では、車両から所定距離以上離れており、かつ所定値以上の高さに位置すると推定される物体を、遠方物体として選択する。このような選択を行うことにより、前述したような雲や、山の稜線などを、遠方物体として選択することができる。
【００３１】
このような遠方物体を選択するため、この実施例では、さらに、２つの条件を設定する。第１の条件は、少なくとも所定時間にわたり、撮像画像内の上方に位置すること、という条件であり、第２の条件は、該所定時間における形状の変化がほとんどないこと、という条件である。これら２つの条件を最も良好に満たす物体を撮像画像から選択して、それを遠方物体とする。
【００３２】
第１の条件を設定するのは、第１の条件を満たす物体は、車両から所定距離以上離れており、かつ所定以上の高さに位置すると推定することができるからである。また、遠方物体は基準位置を示すものであるが、形状変化が大きいと、該基準位置にばらつきが生じる。したがって、これを回避するため、第２の条件を設定する。
【００３３】
上記の２つの条件を満たす対象物の選択手法は、任意の手法で実現されることができる。たとえば、各対象物を所定時間にわたって追跡し、該所定時間にわたって画像の所定値よりも上方に位置する対象物を抽出する。該抽出した対象物のうち、最も形状変化の小さい対象物を、遠方物体として選択する。
【００３４】
たとえば、対象物の形状変化を表すパラメータとして、対象物の画像内における面積の所定時間における変化率を算出する。面積の変化率が小さいほど、形状の変化が小さいことを示す。したがって、最も面積変化率が小さい対象物を、遠方物体として選択する。
【００３５】
代替的に、形状変化を表すパラメータとして、対象物の画像内における幅および（または）高さの所定時間における変化率を算出してもよい。たとえば、所定時間における幅の変化率と高さの変化率を乗算した値を算出し、該値が最も小さい対象物を、遠方物体として選択することができる。このように、面積、幅および高さのうちの１または複数の変化率を、形状変化を表すパラメータとして用いることができる。
【００３６】
さらに、画像上のなるべく上方に位置する物体を選択するため、対象物が画像のどの程度上方に位置するかを示すパラメータを算出してもよい。たとえば、該パラメータとして、所定時間における対象物の重心位置の平均のｙ座標値を算出する。図４（ｂ）に示すように、ｙ座標値が負の方向に大きくなるほど、対象物は画像上方に位置することを示す。したがって、形状変化を示すパラメータの値（たとえば、面積の変化率）と、画像の上方位置の程度を示すパラメータの値（対象物重心位置の平均のｙ座標値）とを乗算した値を算出し、該値が最も小さい対象物を、遠方物体として選択することができる
上記では、パラメータ同士を乗算して、遠方物体の良好性を示す値を算出しているが、パラメータ同士を加算するようにしてもよい。
【００３７】
こうして選択された遠方物体を用いて、対象物の実空間上の位置を算出する。図５を参照すると、（ａ）および（ｂ）には、それぞれ、図４の（ａ）のｔ＝０における画像と（ｄ）のｔ＝１における画像が示されており、ここで、雲１０５が、遠方物体として選択されたものと仮定する。
【００３８】
選択された遠方物体すなわち雲１０５の重心のｙ座標値を算出する。ｔ＝０の画像内の雲１０５の重心のｙ座標値をＣｙ（０）とし、ｔ＝１の画像内の雲１０５の重心のｙ座標値をＣｙ（１）とする。ここで、（）は制御時刻を示し、（０）はｔ＝０の時点を示し、（１）はｔ＝１の時点を示す。
【００３９】
次に、車両の周辺において注意すべきと判定された対象物（図５の例では、歩行者１０２）の上端のｙ座標を算出する。ｔ＝０の画像内の歩行者１０２の上端のｙ座標値をＴｙ（０）とし、ｔ＝１の画像内の歩行者１０２の上端のｙ座標値をＴｙ（１）とする。
【００４０】
歩行者の上端の位置を用いるのは、より安定的に歩行者の位置を見極めることができるからである。すなわち、歩行者の画像内の形状は、歩行者の移動につれて変化する。したがって、たとえば歩行者の肩や足の位置を用いると、歩行者の画像内の形状に依存して、結果として算出される歩行者の位置にばらつきが生じうる。歩行者の上端（頭頂部）は、歩行者の画像内の形状にほとんど依存しないので、このようなばらつきを回避することができる。
【００４１】
次に、式（１）および（２）に示すように、ｔ＝０の対象物とｔ＝１の対象物のそれぞれについて、遠方物体の重心ｙ座標を基準とした該対象物の上端のｙ座標値を算出する。
ｙ０＝Ｃｙ（０）−Ｔｙ（０） （１）
ｙ１＝Ｃｙ（１）−Ｔｙ（１） （２）
【００４２】
実空間上では、歩行者１０２の高さは一定であり、また、歩行者１０２が車両の走行路１０１を横断していると考えると、歩行者１０２の実空間上のＹおよびＺ座標値について、以下の関係が成立する。ここで、ΔＺは、時点ｔ＝０とｔ＝１の間で車両が移動した量（車両の速度דｔ＝０〜１の間の時間”、により算出されることができる）を示す。
Ｙ（０）＝Ｙ（１） （３）
Ｚ（０）−ΔＺ＝Ｚ（１） （４）
【００４３】
上記の実空間のＹおよびＺ座標値を、画像上のｘおよびｙ座標値に変換すると、以下のようになる。ここで、ｆは、カメラ１の焦点距離を示す。
ｙ０＝ｆ・Ｙ（０）／Ｚ（０） （５）
ｙ１＝ｆ・Ｙ（１）／Ｚ（１） （６）
【００４４】
上記４つの式（３）〜（６）から、以下の式が導かれる。
ｙ０＝ｆ・Ｙ（０）／Ｚ（０）＝ｆ・Ｙ（１）／（Ｚ（１）＋ΔＺ）
＝ｙ１・Ｚ（１）／（Ｚ（１）＋ΔＺ） （８）
【００４５】
したがって、対象物の現在の距離Ｚ（１）は、次のように算出されることができる。ｙ０およびｙ１には、前述の式（１）および（２）の値が代入される。
Ｚ（１）＝ΔＺ・ｙ０／（ｙ１−ｙ０） （９）
【００４６】
このように、画像内で、遠方物体を基準とした対象物の位置を求めることにより、より具体的には、ｙ方向において、遠方物体を基準とした対象物の位置の時間変化を求めることにより、該対象物の実空間上の位置、すなわち車両からの距離Ｚを算出することができる。
【００４７】
図６は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００４８】
ステップＳ１１〜Ｓ１３において、カメラ１の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
【００４９】
好ましくは、ステップＳ１３で取得されるグレースケール画像は、背景温度（たとえば、外気温）に対する温度差に応じて輝度値が割り振られたグレースケール画像である。背景に対する温度差が高くなるほど、高い輝度値が割り振られることとなる。こうすることにより、より良好なコントラストを持つグレースケール画像を生成することができる。前述したような、空１０４を背景とした雲１０５の画像があるとき、該雲１０５は、水蒸気の温度によって空１０４よりも高い温度を持つものとして撮像される。したがって、上記のような輝度値の割り振りによって、該雲１０５を、対象物としてより良好に抽出することができる。
【００５０】
このような温度差に応じたグレースケール画像は、たとえばカメラ１から出力された、温度に応じた輝度値を持つグレースケール画像に基づいて、任意の適切な手法で生成されることができる。たとえば、カメラ１から出力されたグレースケール画像の輝度値ヒストグラムの最も度数の高い輝度値に対応する温度を、背景温度に設定し、該グレースケール画像の各画素に対し、該背景温度に対する温度差に応じた輝度値を割り振ることにより、背景に対する温度差に応じたグレースケール画像を生成することができる。
【００５１】
ステップＳ１４において、カメラ１で撮像された画像の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、所定の温度より高い対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができるが、前述したように、歩行者等の生体だけでなく、雲のような、空を背景とした物体を抽出することができるように設定されるのがよい。
【００５２】
ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。
【００５３】
ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。
【００５４】
ステップＳ１８において、該抽出された対象物の重心Ｇ、面積Ｓ、および、破線で示すように抽出された対象物に外接する四角形すなわち外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出される。重心Ｇの座標は、該面積Ｓに含まれる各画素が等しい重さであると仮定した際の該面積Ｓ全体の重さの中心座標として算出される。縦横比ＡＳＰＥＣＴは、外接四角形のｙ方向の長さＤｙとｘ方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出される。なお、重心Ｇの位置は、外接四角形の面積について上記と同様に算出されるものを用いてもよい。
【００５５】
ステップＳ１９において、対象物の時刻間追跡（トラッキング）、すなわち、所定のサンプリング周期毎に同一対象物の認識を行う。サンプリング周期は、図６のプロセスが実行される周期と同じでもよい。具体的には、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、時刻ｋで対象物Ａを抽出した場合を考えると、該対象物Ａと、次のサンプリング周期である時刻（ｋ＋１）で抽出した対象物Ｂとの間の同一性判定を行う。同一性判定は、所定の条件に従って行うことができる。たとえば、１）対象物ＡとＢの画像上の重心Ｇの位置のｘおよびｙ座標の差が所定の許容値より小さく、２）対象物Ｂの画像上の面積の、対象物Ａの画像上の面積に対する比が所定の許容値より小さく、３）対象物Ｂの外接四角形の縦横比の、対象物Ａの外接四角形の縦横比に対する比が所定の許容値より小さければ、対象物ＡおよびＢを同一と判定することができる。
【００５６】
こうして、各サンプリング周期において、抽出された対象物に関し、該対象物の位置（この実施例では、重心Ｇの位置座標）は、付与されたラベルと共に、時系列データとしてメモリに格納される。
【００５７】
なお、以上説明したステップＳ１４〜Ｓ１７の処理は、２値化した画像について実行されることができ、より具体的な処理の詳細は、特開２００１−６０９６号公報に記載されている。
【００５８】
次に、ステップＳ２０において、対象物の位置の算出プロセスを実行する。
【００５９】
図７は、ステップＳ２０で実行される対象物の位置算出プロセスのフローチャートを示し、図５を参照して説明した手法に従って実行される。
【００６０】
ステップＳ３１において、ステップＳ１７で抽出された対象物の中から、遠方物体を選択する。前述した２つの条件、すなわち、少なくとも所定時間にわたり、撮像画像内の上方に位置し、かつ該所定時間における形状の変化がほとんどない、という条件に基づいて、遠方物体を選択することができる。ステップＳ１８において、各対象物の重心位置、面積、外接四角形が求められており、ステップＳ１９において、各対象物は所定時間にわたり追跡処理が行われている。
【００６１】
したがって、所定時間の間の、対象物の重心位置の平均のｙ座標値を算出し、これが所定値以上の対象物を選択することができる。そして、該選択した対象物のそれぞれについて、形状変化を示すパラメータ値を算出することができる。前述したように、該パラメータ値として、該所定時間の間の、画像内の対象物の面積、幅および高さの変化率のうちの任意のものを用いることができる。該形状変化を示すパラメータ値に基づいて、最も形状変化が小さい対象物を判定し、これを、遠方物体として選択することができる。
【００６２】
遠方物体として選択された物体の重心のｙ座標値（今回値）は、次のプロセスで用いるため、メモリ等の記憶装置に記憶される。
【００６３】
なお、たとえば重心位置の平均のｙ座標値が所定値以上の物体が存在しない場合には、遠方物体は存在しないと判定して当該プロセスを終了してもよい。また、形状変化を示すパラメータ値にしきい値を設定してもよい。たとえば、該パラメータ値として幅および高さの変化率を用いて、幅の変化率と高さの変化率を乗算した値に、しきい値を設定する。該しきい値以下の乗算値を持つ対象物が存在しなければ、形状変化が小さい遠方物体は存在しないと判定して、当該プロセスを終了してもよい。
【００６４】
ステップＳ３２において、ステップＳ１７で抽出された対象物のうち（しかし、ステップＳ３１で選択された遠方物体については除外してよい）、運転者が注意すべき所定の対象物を判定する。たとえば、歩行者を、注意すべき対象物として判定することができ、この場合、抽出された対象物が歩行者か否かを判定する処理を行う。当該処理は、任意の適切な手法で行われることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。このような判定処理の例示として、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。
【００６５】
なお、ステップＳ３２の歩行者判定処理を、画像の下方に位置する対象物に絞って行ってもよい。車両の比較的近傍に存在する歩行者は、画像の上方には撮像されないからである。したがって、ステップＳ３２では、重心位置のｙ座標値が所定値以下の対象物について、歩行者判定を行うことができる。なお、ここでの「所定値」は、ステップＳ３１で画像上方の物体を遠方物体として選択したときに用いた所定値（ｙ座標値）と同じでよい。
【００６６】
ステップＳ３３において、歩行者と判定された対象物のそれぞれについて、図５を参照して述べたように、画像内における該対象物の上端のｙ座標値Ｔｙ（１）を求める。なお、該ｙ座標値（今回値）は、次のプロセスで用いるため、メモリ等の記憶装置に記憶される。
【００６７】
ステップＳ３４において、前述した式（１）および（２）に示すように、遠方物体の重心位置のｙ座標値の前回値Ｃｙ（０）および今回値Ｃｙ（１）と、対象物の上端のｙ座標値の前回値Ｔｙ（０）および今回値Ｔｙ（１）とを用いて、遠方物体の重心を基準とした、対象物の上端のｙ座標値の前回値ｙ０および今回値ｙ１を算出する。
【００６８】
ステップＳ３５において、車速センサ７によって車両について検出された車速Ｖを取得し、該車速Ｖに、当該プロセスを実行する時間間隔の長さΔＴを乗算することにより、式（８）に示すΔＺ、すなわち当該プロセスを前回実行したときから今回実行したときまでに車両が走行した距離を算出する。
【００６９】
なお、遠方物体を選択したときには、所定時間にわたる対象物の位置や形状変化を調べた。したがって、代替的に、ステップＳ３４では、該「所定時間」前のＣｙおよびＴｙの値を、それぞれ、Ｃｙ（０）およびＴｙ（０）として用いてもよい。該「所定時間」は、図６のプロセスを実行する周期の複数個の長さに等しいよう設定されることができる。この場合、当然ながら、ステップＳ３５のΔＴは、該所定時間の長さの値に設定される。
【００７０】
ステップＳ３６において、対象物の上端のｙ座標値の前回値ｙ０および今回値ｙ１と、ΔＺとに基づいて、式（９）を計算することにより、実空間上の対象物の車両からの距離Ｚ（１）を算出する。
【００７１】
こうして、遠方物体を基準とした対象物の画像内のｙ座標値に基づいて、該対象物の車両からの実際の距離Ｚを算出することができる。前述したように、遠方物体を基準とすることにより、車両のピッチングやヨーイングに影響を受けることなく、対象物の位置を算出することができる。また、１台のカメラを用いて距離を算出することができるので、コストを低減させることができる。
【００７２】
なお、図示していないが、上記のように距離が算出された対象物について、たとえば何らかの警報を発するようにしてもよい。たとえば、表示装置４上にグレースケール画像を表示し、該画像中の該対象物を強調表示したり、スピーカ３を介して警報音を発することができる。
【００７３】
上記では、カメラとして遠赤外線カメラを用いた。これにより、前述したように、遠方の雲や山の稜線などを、その背景となる空から、より容易にかつ良好に分離することができる。このような利点はあるものの、本願発明は、遠赤外線カメラに限定されるものではなく、たとえば通常の可視カメラでもよい。可視カメラによって得られた画像に対し、所定の画像処理することにより、遠方物体および歩行者等を抽出するようにしてもよい。
【００７４】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【００７５】
１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ＨＵＤ
【技術分野】
【０００１】
この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の対象物の位置を算出するための装置に関する。
【背景技術】
【０００２】
下記の特許文献１には、一対の赤外線カメラを用いて車両の周辺の対象物を検出し、該対象物が歩行者と判定されたならば、映像と音を用いて運転者に通知するシステムが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２８４０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両には、ピッチングやヨーイング等が生じることがある。車両にこのような挙動の変動が生じると、車両に搭載されたカメラによって撮像される画像にもその影響は現れる。その結果、撮像された画像から検出された対象物の位置を判定する精度が低下するおそれがある。
【０００５】
また、従来は、画像に撮像された、車両の走行路の両側に沿って配置された白線や縁石等を、たとえば直線近似で算出し、該近似した２つの直線が交差する点を消失点とし、該消失点を基準に、対象物の位置を計測する手法も提案されている。しかしながら、消失点は、あくまで仮想の点であり、物体として実際に存在するわけではない。したがって、消失点を用いた手法では、車両のピッチング等の影響を回避する必要があった。また、白線や縁石等の直線近似の精度によっては、消失点を特定する精度が低下する。さらに、車両の進行路がカーブしている場合には、消失点を利用することはできない。
【０００６】
さらに、上記の文献では、一対のカメラを用いることにより、いわゆる視差を利用して、対象物の自車両に対する距離を算出している。視差を利用することにより、対象物の動きが比較的大きい場合でも、該対象物の自車両からの距離を正確に算出することができる。しかしながら、カメラを２台取り付けることは、コスト高を招くおそれがある。
【０００７】
したがって、車両の挙動如何にかかわらず、撮像された画像から検出された対象物の位置を、より良好な精度で判定することのできる手法が望まれている。また、一台のカメラによって、対象物までの距離をより良好な精度で算出することのできる手法が望まれている。
【課題を解決するための手段】
【０００８】
この発明の一つの側面によると、車両に搭載され、対象物の位置を算出するための装置は、車両に搭載されたカメラを用いて車両の周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて、実空間において前記車両から所定値以上の距離を有し、かつ所定値以上の高さに位置すると推定される遠方物体を検出する手段と、前記撮像手段によって撮像された画像に基づいて、所定の対象物を検出する検出手段と、前記画像上において、前記検出された遠方物体に含まれる所定の点を基準として、前記検出された対象物に含まれる所定の点の位置を特定する手段と、前記画像上の前記特定された位置に基づいて、実空間上の前記対象物の位置を算出する実位置算出手段と、を備える。
【０００９】
車両から遠方にある物体は、該車両が走行しても、画像内における位置および形状がほとんど変化しないが、比較的車両の近傍に存在する対象物は、該車両が走行すると、画像内における位置および形状を大きく変化させる。また、ピッチングやヨーイング等によって車両の挙動が変化した場合には、該挙動の変化に応じた量だけ、該遠方物体および該対象物は該画像内で移動する。すなわち、画像内において、該遠方物体に対する該対象物の相対的な位置関係は、ピッチング等の影響を受けない。この発明は、この知見に鑑みてなされたものであり、画像内の該遠方物体の位置を基準として、該対象物の位置を特定する。こうすることにより、ピッチング等の影響を受けることなく、対象物の実空間上の位置を求めることができる。
【００１０】
また、本願発明では、消失点のような仮想の点を用いず、実際に存在する遠方物体を用いるので、車両のピッチング等の影響を受けることなく、安定的に、対象物の位置を判定することができる。また、遠方物体を基準としているので、車両の進行路がカーブしているときでも、対象物の位置を判定することができる。
【００１１】
この発明の一実施形態によると、前記実位置算出手段は、さらに、前記画像上の前記特定された位置の垂直方向の時間変化に基づいて、前記対象物の前記車両からの距離を算出する。こうして、遠方物体を基準とすることにより、対象物の車両からの実際の距離を算出することができる。
【００１２】
この発明の一実施形態によると、前記遠方物体は、前記画面の上方に所定時間以上存在し、かつ該所定時間における形状の変化が小さいと判定された物体である。
【００１３】
車両から遠くにある物体ほど、車両から見て、その位置および形状はほとんど変化しない。したがって、画面の上方に、所定時間にわたり、形状をほとんど変化させることなく存在する物体を、遠方物体として選択するのが好ましい。これにより、対象物の位置の算出精度を高めることができる。たとえば、空に浮かぶ雲や山の稜線を、遠方物体として選択することができる。
【００１４】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１５】
【図１】この発明の一実施例に従う、車両の対象物位置算出装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、カメラの取り付け位置を説明するための図。
【図３】この発明の一実施例に従う、対象物の位置を算出する基本的な考え方を説明するための図。
【図４】この発明の一実施例に従う、実空間上の座標系および画像の座標系を示す図。
【図５】この発明の一実施例に従う、対象物の位置を算出する手法を説明するための図。
【図６】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図７】この発明の一実施例に従う、対象物の位置算出プロセスを示すフローチャート。
【発明を実施するための形態】
【００１６】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺の対象物の位置を算出するための装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な１つの赤外線カメラ１と、カメラ１によって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１による撮像によって得られる画像を表示するヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４と、を備えている。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られる。
【００１７】
この実施例では、図２に示すように、カメラ１は、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸上に配置されている。赤外線カメラ１は、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００１８】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。
【００１９】
なお、ＨＵＤ４に代えて、たとえばダッシュボードに取り付けられる表示装置でもよい。たとえば、表示装置として、いわゆるナビゲーション装置（図示せず）の表示装置を利用することができる。ナビゲーション装置は、周知の如く、車両の現在位置を検出すると共に、目的地への最適な経路を算出して、地図情報上に該現在位置および該経路を表示することができる装置である。
【００２０】
ここで、図３を参照して、本願発明の基本的な考え方を説明する。図３の（ａ）は、現時点より過去の時点（ｔ＝０とする）に車両に搭載されたカメラ１により取得された撮像画像を模式的に表したものであり、道路１０１に歩行者１０２が存在している。画像の上方には、空１０４を背景として雲１０５が撮像されている。
【００２１】
なお、後述するように、カメラ１の撮像を介して取得され表示装置４上に表示される実際のグレースケール画像では、対象物の温度が高いほど高い輝度で（すなわち、白く）表示されるため、歩行者等の生体は、背景よりも白く表示される。しかしながら、図の上ではわかりやすくするため、このような実際の表示態様に沿ったものではないように描かれている点に注意されたい。このことは、以下の図においても同様である。
【００２２】
図３の（ｂ）〜（ｄ）は、いずれも、現時点（ｔ＝１とする）で取得された撮像画像を模式的に表したものである。（ｂ）のケースは、車両にピッチング等の変動が生じず、かつ自車両が時点ｔ＝０からｔ＝１の間に走行した場合に取得された画像を表している。ここで、歩行者１０２は、時点ｔ＝０からｔ＝１の間、道路１０１を横断していると仮定する。（ｃ）のケースは、車両にピッチングが生じ、かつ歩行者１０２および自車両が、時点ｔ＝０からｔ＝１の間に移動しなかった場合に取得された画像を表している。（ｄ）のケースは、車両にピッチングが生じ、かつ自車両が時点ｔ＝０からｔ＝１の間に走行した場合に取得された画像を表している。この場合も、歩行者１０２は、時点ｔ＝０からｔ＝１の間、道路１０１を横断していると仮定する。
【００２３】
画像（ａ）と（ｂ）を比較して明らかなように、雲１０５は、車両から十分遠くに存在しているため、車両が走行しても、その画像内の位置はほとんど変化しない。歩行者１０２は、車両から比較的近距離に存在しているため、車両が走行すると、歩行者１０２の画像内の位置も大きく変化する。
【００２４】
また、画像（ａ）と（ｃ）を比較して明らかなように、車両にピッチングが生じると、表示される画像全体が上下に移動する。この例では、（ａ）の画像全体が、矢印ｐで表されるようにピッチングに応じた量だけ下方向にずれている。したがって、（ｃ）の画像では、歩行者１０２だけでなく、雲１０５も、（ａ）の画像内の位置に対して、同じ量ｐだけ下方向にずれている。しかしながら、（ａ）および（ｃ）の間で、雲１０５に対する歩行者１０２の相対的な位置は変化していない。
【００２５】
画像（ｄ）は、画像（ｂ）の歩行者１０２の動きと、画像（ｃ）のピッチングによる画像全体の移動とが組み合わさったものである。ピッチングの影響によって、（ａ）の画像全体が矢印ｐで表されるようにピッチングに応じた量だけ下方向にずれており、また、自車両の走行により、歩行者１０２の画像内の位置も大きく変化している。しかしながら、（ｂ）と（ｄ）とを比較して明らかなように、ピッチングが生じても、雲１０５に対する歩行者１０２の相対的な位置は同じである。
【００２６】
以上のことから、雲１０５のような車両から遠くに存在する物体（遠方物体と呼ぶ）は、車両が走行しても、その画像内の位置はほとんど不変であり、車両にピッチングが生じると、それに応じた量だけ画像内で移動する。しかしながら、画像内において、比較的車両の近傍に存在する歩行者等の対象物の該遠方物体に対する相対的な位置関係は、ピッチングの影響を受けない。これは、車両がヨーイングした場合も同様である。車両にヨーイングが生じると、それに応じた量だけ、画像は左右にずれるが、画像内において、遠方物体に対する対象物の相対的な位置関係はヨーイングの影響を受けない。
【００２７】
したがって、画像内において、遠方物体を基準として対象物の位置を特定することにより、車両のピッチング等の挙動に影響を受けることなく、該対象物の実空間上の位置を算出することができる。
【００２８】
以下、この算出手法を具体的に述べる。ここで、座標系について簡単に説明すると、実空間については、図４（ａ）に示すように、車両に搭載されたカメラ１を原点としたＸＹＺ座標系を設定する。また、撮像画像については、図４（ｂ）に示すように、画像の中心を原点としたｘｙ座標系を設定する。
【００２９】
まず、撮像された画像から、遠方物体を選択する。遠方物体は、基準となる物体であるから、車両から十分遠くにある物体が好ましい。車両から十分遠くにあれば、自車両が走行しても、その画像内の位置がほとんど変化しないからである。また、基準となる物体である以上、地上の他の物体（たとえば、建物や先行車）で遮られないような物体が好ましい。
【００３０】
したがって、一実施形態では、車両から所定距離以上離れており、かつ所定値以上の高さに位置すると推定される物体を、遠方物体として選択する。このような選択を行うことにより、前述したような雲や、山の稜線などを、遠方物体として選択することができる。
【００３１】
このような遠方物体を選択するため、この実施例では、さらに、２つの条件を設定する。第１の条件は、少なくとも所定時間にわたり、撮像画像内の上方に位置すること、という条件であり、第２の条件は、該所定時間における形状の変化がほとんどないこと、という条件である。これら２つの条件を最も良好に満たす物体を撮像画像から選択して、それを遠方物体とする。
【００３２】
第１の条件を設定するのは、第１の条件を満たす物体は、車両から所定距離以上離れており、かつ所定以上の高さに位置すると推定することができるからである。また、遠方物体は基準位置を示すものであるが、形状変化が大きいと、該基準位置にばらつきが生じる。したがって、これを回避するため、第２の条件を設定する。
【００３３】
上記の２つの条件を満たす対象物の選択手法は、任意の手法で実現されることができる。たとえば、各対象物を所定時間にわたって追跡し、該所定時間にわたって画像の所定値よりも上方に位置する対象物を抽出する。該抽出した対象物のうち、最も形状変化の小さい対象物を、遠方物体として選択する。
【００３４】
たとえば、対象物の形状変化を表すパラメータとして、対象物の画像内における面積の所定時間における変化率を算出する。面積の変化率が小さいほど、形状の変化が小さいことを示す。したがって、最も面積変化率が小さい対象物を、遠方物体として選択する。
【００３５】
代替的に、形状変化を表すパラメータとして、対象物の画像内における幅および（または）高さの所定時間における変化率を算出してもよい。たとえば、所定時間における幅の変化率と高さの変化率を乗算した値を算出し、該値が最も小さい対象物を、遠方物体として選択することができる。このように、面積、幅および高さのうちの１または複数の変化率を、形状変化を表すパラメータとして用いることができる。
【００３６】
さらに、画像上のなるべく上方に位置する物体を選択するため、対象物が画像のどの程度上方に位置するかを示すパラメータを算出してもよい。たとえば、該パラメータとして、所定時間における対象物の重心位置の平均のｙ座標値を算出する。図４（ｂ）に示すように、ｙ座標値が負の方向に大きくなるほど、対象物は画像上方に位置することを示す。したがって、形状変化を示すパラメータの値（たとえば、面積の変化率）と、画像の上方位置の程度を示すパラメータの値（対象物重心位置の平均のｙ座標値）とを乗算した値を算出し、該値が最も小さい対象物を、遠方物体として選択することができる
上記では、パラメータ同士を乗算して、遠方物体の良好性を示す値を算出しているが、パラメータ同士を加算するようにしてもよい。
【００３７】
こうして選択された遠方物体を用いて、対象物の実空間上の位置を算出する。図５を参照すると、（ａ）および（ｂ）には、それぞれ、図４の（ａ）のｔ＝０における画像と（ｄ）のｔ＝１における画像が示されており、ここで、雲１０５が、遠方物体として選択されたものと仮定する。
【００３８】
選択された遠方物体すなわち雲１０５の重心のｙ座標値を算出する。ｔ＝０の画像内の雲１０５の重心のｙ座標値をＣｙ（０）とし、ｔ＝１の画像内の雲１０５の重心のｙ座標値をＣｙ（１）とする。ここで、（）は制御時刻を示し、（０）はｔ＝０の時点を示し、（１）はｔ＝１の時点を示す。
【００３９】
次に、車両の周辺において注意すべきと判定された対象物（図５の例では、歩行者１０２）の上端のｙ座標を算出する。ｔ＝０の画像内の歩行者１０２の上端のｙ座標値をＴｙ（０）とし、ｔ＝１の画像内の歩行者１０２の上端のｙ座標値をＴｙ（１）とする。
【００４０】
歩行者の上端の位置を用いるのは、より安定的に歩行者の位置を見極めることができるからである。すなわち、歩行者の画像内の形状は、歩行者の移動につれて変化する。したがって、たとえば歩行者の肩や足の位置を用いると、歩行者の画像内の形状に依存して、結果として算出される歩行者の位置にばらつきが生じうる。歩行者の上端（頭頂部）は、歩行者の画像内の形状にほとんど依存しないので、このようなばらつきを回避することができる。
【００４１】
次に、式（１）および（２）に示すように、ｔ＝０の対象物とｔ＝１の対象物のそれぞれについて、遠方物体の重心ｙ座標を基準とした該対象物の上端のｙ座標値を算出する。
ｙ０＝Ｃｙ（０）−Ｔｙ（０） （１）
ｙ１＝Ｃｙ（１）−Ｔｙ（１） （２）
【００４２】
実空間上では、歩行者１０２の高さは一定であり、また、歩行者１０２が車両の走行路１０１を横断していると考えると、歩行者１０２の実空間上のＹおよびＺ座標値について、以下の関係が成立する。ここで、ΔＺは、時点ｔ＝０とｔ＝１の間で車両が移動した量（車両の速度דｔ＝０〜１の間の時間”、により算出されることができる）を示す。
Ｙ（０）＝Ｙ（１） （３）
Ｚ（０）−ΔＺ＝Ｚ（１） （４）
【００４３】
上記の実空間のＹおよびＺ座標値を、画像上のｘおよびｙ座標値に変換すると、以下のようになる。ここで、ｆは、カメラ１の焦点距離を示す。
ｙ０＝ｆ・Ｙ（０）／Ｚ（０） （５）
ｙ１＝ｆ・Ｙ（１）／Ｚ（１） （６）
【００４４】
上記４つの式（３）〜（６）から、以下の式が導かれる。
ｙ０＝ｆ・Ｙ（０）／Ｚ（０）＝ｆ・Ｙ（１）／（Ｚ（１）＋ΔＺ）
＝ｙ１・Ｚ（１）／（Ｚ（１）＋ΔＺ） （８）
【００４５】
したがって、対象物の現在の距離Ｚ（１）は、次のように算出されることができる。ｙ０およびｙ１には、前述の式（１）および（２）の値が代入される。
Ｚ（１）＝ΔＺ・ｙ０／（ｙ１−ｙ０） （９）
【００４６】
このように、画像内で、遠方物体を基準とした対象物の位置を求めることにより、より具体的には、ｙ方向において、遠方物体を基準とした対象物の位置の時間変化を求めることにより、該対象物の実空間上の位置、すなわち車両からの距離Ｚを算出することができる。
【００４７】
図６は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００４８】
ステップＳ１１〜Ｓ１３において、カメラ１の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
【００４９】
好ましくは、ステップＳ１３で取得されるグレースケール画像は、背景温度（たとえば、外気温）に対する温度差に応じて輝度値が割り振られたグレースケール画像である。背景に対する温度差が高くなるほど、高い輝度値が割り振られることとなる。こうすることにより、より良好なコントラストを持つグレースケール画像を生成することができる。前述したような、空１０４を背景とした雲１０５の画像があるとき、該雲１０５は、水蒸気の温度によって空１０４よりも高い温度を持つものとして撮像される。したがって、上記のような輝度値の割り振りによって、該雲１０５を、対象物としてより良好に抽出することができる。
【００５０】
このような温度差に応じたグレースケール画像は、たとえばカメラ１から出力された、温度に応じた輝度値を持つグレースケール画像に基づいて、任意の適切な手法で生成されることができる。たとえば、カメラ１から出力されたグレースケール画像の輝度値ヒストグラムの最も度数の高い輝度値に対応する温度を、背景温度に設定し、該グレースケール画像の各画素に対し、該背景温度に対する温度差に応じた輝度値を割り振ることにより、背景に対する温度差に応じたグレースケール画像を生成することができる。
【００５１】
ステップＳ１４において、カメラ１で撮像された画像の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、所定の温度より高い対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができるが、前述したように、歩行者等の生体だけでなく、雲のような、空を背景とした物体を抽出することができるように設定されるのがよい。
【００５２】
ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。
【００５３】
ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。
【００５４】
ステップＳ１８において、該抽出された対象物の重心Ｇ、面積Ｓ、および、破線で示すように抽出された対象物に外接する四角形すなわち外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出される。重心Ｇの座標は、該面積Ｓに含まれる各画素が等しい重さであると仮定した際の該面積Ｓ全体の重さの中心座標として算出される。縦横比ＡＳＰＥＣＴは、外接四角形のｙ方向の長さＤｙとｘ方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出される。なお、重心Ｇの位置は、外接四角形の面積について上記と同様に算出されるものを用いてもよい。
【００５５】
ステップＳ１９において、対象物の時刻間追跡（トラッキング）、すなわち、所定のサンプリング周期毎に同一対象物の認識を行う。サンプリング周期は、図６のプロセスが実行される周期と同じでもよい。具体的には、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、時刻ｋで対象物Ａを抽出した場合を考えると、該対象物Ａと、次のサンプリング周期である時刻（ｋ＋１）で抽出した対象物Ｂとの間の同一性判定を行う。同一性判定は、所定の条件に従って行うことができる。たとえば、１）対象物ＡとＢの画像上の重心Ｇの位置のｘおよびｙ座標の差が所定の許容値より小さく、２）対象物Ｂの画像上の面積の、対象物Ａの画像上の面積に対する比が所定の許容値より小さく、３）対象物Ｂの外接四角形の縦横比の、対象物Ａの外接四角形の縦横比に対する比が所定の許容値より小さければ、対象物ＡおよびＢを同一と判定することができる。
【００５６】
こうして、各サンプリング周期において、抽出された対象物に関し、該対象物の位置（この実施例では、重心Ｇの位置座標）は、付与されたラベルと共に、時系列データとしてメモリに格納される。
【００５７】
なお、以上説明したステップＳ１４〜Ｓ１７の処理は、２値化した画像について実行されることができ、より具体的な処理の詳細は、特開２００１−６０９６号公報に記載されている。
【００５８】
次に、ステップＳ２０において、対象物の位置の算出プロセスを実行する。
【００５９】
図７は、ステップＳ２０で実行される対象物の位置算出プロセスのフローチャートを示し、図５を参照して説明した手法に従って実行される。
【００６０】
ステップＳ３１において、ステップＳ１７で抽出された対象物の中から、遠方物体を選択する。前述した２つの条件、すなわち、少なくとも所定時間にわたり、撮像画像内の上方に位置し、かつ該所定時間における形状の変化がほとんどない、という条件に基づいて、遠方物体を選択することができる。ステップＳ１８において、各対象物の重心位置、面積、外接四角形が求められており、ステップＳ１９において、各対象物は所定時間にわたり追跡処理が行われている。
【００６１】
したがって、所定時間の間の、対象物の重心位置の平均のｙ座標値を算出し、これが所定値以上の対象物を選択することができる。そして、該選択した対象物のそれぞれについて、形状変化を示すパラメータ値を算出することができる。前述したように、該パラメータ値として、該所定時間の間の、画像内の対象物の面積、幅および高さの変化率のうちの任意のものを用いることができる。該形状変化を示すパラメータ値に基づいて、最も形状変化が小さい対象物を判定し、これを、遠方物体として選択することができる。
【００６２】
遠方物体として選択された物体の重心のｙ座標値（今回値）は、次のプロセスで用いるため、メモリ等の記憶装置に記憶される。
【００６３】
なお、たとえば重心位置の平均のｙ座標値が所定値以上の物体が存在しない場合には、遠方物体は存在しないと判定して当該プロセスを終了してもよい。また、形状変化を示すパラメータ値にしきい値を設定してもよい。たとえば、該パラメータ値として幅および高さの変化率を用いて、幅の変化率と高さの変化率を乗算した値に、しきい値を設定する。該しきい値以下の乗算値を持つ対象物が存在しなければ、形状変化が小さい遠方物体は存在しないと判定して、当該プロセスを終了してもよい。
【００６４】
ステップＳ３２において、ステップＳ１７で抽出された対象物のうち（しかし、ステップＳ３１で選択された遠方物体については除外してよい）、運転者が注意すべき所定の対象物を判定する。たとえば、歩行者を、注意すべき対象物として判定することができ、この場合、抽出された対象物が歩行者か否かを判定する処理を行う。当該処理は、任意の適切な手法で行われることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。このような判定処理の例示として、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。
【００６５】
なお、ステップＳ３２の歩行者判定処理を、画像の下方に位置する対象物に絞って行ってもよい。車両の比較的近傍に存在する歩行者は、画像の上方には撮像されないからである。したがって、ステップＳ３２では、重心位置のｙ座標値が所定値以下の対象物について、歩行者判定を行うことができる。なお、ここでの「所定値」は、ステップＳ３１で画像上方の物体を遠方物体として選択したときに用いた所定値（ｙ座標値）と同じでよい。
【００６６】
ステップＳ３３において、歩行者と判定された対象物のそれぞれについて、図５を参照して述べたように、画像内における該対象物の上端のｙ座標値Ｔｙ（１）を求める。なお、該ｙ座標値（今回値）は、次のプロセスで用いるため、メモリ等の記憶装置に記憶される。
【００６７】
ステップＳ３４において、前述した式（１）および（２）に示すように、遠方物体の重心位置のｙ座標値の前回値Ｃｙ（０）および今回値Ｃｙ（１）と、対象物の上端のｙ座標値の前回値Ｔｙ（０）および今回値Ｔｙ（１）とを用いて、遠方物体の重心を基準とした、対象物の上端のｙ座標値の前回値ｙ０および今回値ｙ１を算出する。
【００６８】
ステップＳ３５において、車速センサ７によって車両について検出された車速Ｖを取得し、該車速Ｖに、当該プロセスを実行する時間間隔の長さΔＴを乗算することにより、式（８）に示すΔＺ、すなわち当該プロセスを前回実行したときから今回実行したときまでに車両が走行した距離を算出する。
【００６９】
なお、遠方物体を選択したときには、所定時間にわたる対象物の位置や形状変化を調べた。したがって、代替的に、ステップＳ３４では、該「所定時間」前のＣｙおよびＴｙの値を、それぞれ、Ｃｙ（０）およびＴｙ（０）として用いてもよい。該「所定時間」は、図６のプロセスを実行する周期の複数個の長さに等しいよう設定されることができる。この場合、当然ながら、ステップＳ３５のΔＴは、該所定時間の長さの値に設定される。
【００７０】
ステップＳ３６において、対象物の上端のｙ座標値の前回値ｙ０および今回値ｙ１と、ΔＺとに基づいて、式（９）を計算することにより、実空間上の対象物の車両からの距離Ｚ（１）を算出する。
【００７１】
こうして、遠方物体を基準とした対象物の画像内のｙ座標値に基づいて、該対象物の車両からの実際の距離Ｚを算出することができる。前述したように、遠方物体を基準とすることにより、車両のピッチングやヨーイングに影響を受けることなく、対象物の位置を算出することができる。また、１台のカメラを用いて距離を算出することができるので、コストを低減させることができる。
【００７２】
なお、図示していないが、上記のように距離が算出された対象物について、たとえば何らかの警報を発するようにしてもよい。たとえば、表示装置４上にグレースケール画像を表示し、該画像中の該対象物を強調表示したり、スピーカ３を介して警報音を発することができる。
【００７３】
上記では、カメラとして遠赤外線カメラを用いた。これにより、前述したように、遠方の雲や山の稜線などを、その背景となる空から、より容易にかつ良好に分離することができる。このような利点はあるものの、本願発明は、遠赤外線カメラに限定されるものではなく、たとえば通常の可視カメラでもよい。可視カメラによって得られた画像に対し、所定の画像処理することにより、遠方物体および歩行者等を抽出するようにしてもよい。
【００７４】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【００７５】
１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ＨＵＤ
【特許請求の範囲】
【請求項１】
車両に搭載され、対象物の位置を算出するための装置であって、
前記車両に搭載されたカメラを用いて車両の周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像に基づいて、実空間において前記車両から所定値以上の距離を有し、かつ所定値以上の高さに位置すると推定される遠方物体を検出する手段と、
前記撮像手段によって撮像された画像に基づいて、所定の対象物を検出する検出手段と、
前記画像上において、前記検出された遠方物体に含まれる所定の点を基準として、前記検出された対象物に含まれる所定の点の位置を特定する手段と、
前記画像上の前記特定された位置に基づいて、実空間上の前記対象物の位置を算出する実位置算出手段と、
を備える、装置。
【請求項２】
前記実位置算出手段は、さらに、前記画像上の前記特定された位置の垂直方向の時間変化に基づいて、前記対象物の前記車両からの距離を算出する、
請求項１に記載の装置。
【請求項３】
前記遠方物体は、前記画面の上方に所定時間以上存在し、かつ該所定時間における形状の変化が小さいと判定された物体である、
請求項１または２に記載の装置。
【請求項１】
車両に搭載され、対象物の位置を算出するための装置であって、
前記車両に搭載されたカメラを用いて車両の周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像に基づいて、実空間において前記車両から所定値以上の距離を有し、かつ所定値以上の高さに位置すると推定される遠方物体を検出する手段と、
前記撮像手段によって撮像された画像に基づいて、所定の対象物を検出する検出手段と、
前記画像上において、前記検出された遠方物体に含まれる所定の点を基準として、前記検出された対象物に含まれる所定の点の位置を特定する手段と、
前記画像上の前記特定された位置に基づいて、実空間上の前記対象物の位置を算出する実位置算出手段と、
を備える、装置。
【請求項２】
前記実位置算出手段は、さらに、前記画像上の前記特定された位置の垂直方向の時間変化に基づいて、前記対象物の前記車両からの距離を算出する、
請求項１に記載の装置。
【請求項３】
前記遠方物体は、前記画面の上方に所定時間以上存在し、かつ該所定時間における形状の変化が小さいと判定された物体である、
請求項１または２に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１８０８３５（Ｐ２０１１−１８０８３５Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４４４６７（Ｐ２０１０−４４４６７）
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]