画像処理装置及びその方法
【目的】１台のＴＶカメラを用い、自車両進行情報前方に飛び出してくる危険な障害物を検出する画像処理装置を提供する。
【構成】画像入力部１０では、移動体に取り付けられた１台のＴＶカメラから時系列画像を取得し、特徴点抽出部２０では、原画像の中から障害物の接地位置に属している接地特徴点を抽出し、移動軌跡抽出部３０では、接地特徴点の画像上での移動軌跡を抽出し、障害物検出部４０では、抽出された移動軌跡の終点が消失点と移動軌跡の始点を結んだ直線よりも画像上で移動体の存在する方向に近い位置にある場合に接地特徴点が障害物に属すると判定する。
【構成】画像入力部１０では、移動体に取り付けられた１台のＴＶカメラから時系列画像を取得し、特徴点抽出部２０では、原画像の中から障害物の接地位置に属している接地特徴点を抽出し、移動軌跡抽出部３０では、接地特徴点の画像上での移動軌跡を抽出し、障害物検出部４０では、抽出された移動軌跡の終点が消失点と移動軌跡の始点を結んだ直線よりも画像上で移動体の存在する方向に近い位置にある場合に接地特徴点が障害物に属すると判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
発明は、自動車などの車両に代表される移動体に取り付けられたカメラの画像を用いて、自車両進行情報前方に飛び出してくる危険な障害物を検出する画像処理装置及びその方法に関する。
【背景技術】
【０００２】
前方に飛び出してくる障害物を検出する手法として、大きく分けてレーダーを用いる方式と、画像を用いる方式が提案されている。
【０００３】
レーダーを用いる方式として、特許文献１においてレーザーレーダーを用いて検出する方法が提案されている。レーザーレーダーを用いる方式は雨など悪天候に弱いという問題がある。また、飛び出し等、斜め前方の障害物の検出では、レーザーレーダーが斜めに照射されるため、反射波を受光しにくいという問題や、照射できる範囲が狭いため、飛び出し等斜め前方の障害物は検出が難しい。
【０００４】
カメラから得られる画像は、レーダーよりも視野が広く、斜め前方の障害物も正面の障害物も同様に撮影することができる。また、自車両の走行レーンを検出することができるため、自車両の走行に対して危険となる領域を特定することできるという利点もある。画像を用いる方式には、単一のＴＶカメラを用いる方式と、複数のＴＶカメラを用いる方式がある。
【０００５】
複数のＴＶカメラを用いる方式として、特許文献２においてステレオ視により車両までの距離を計測して、４次元シーンにおける他車両の移動ベクトルを求め、その延長線と走行レーンが交わったとき障害物と検出する手法が提案されている。このステレオ視による手法は割り込み車両が共通視野領域に入ってくるまで検出できないため、検出が遅くなるという問題がある。また、左右の画像間から点の対応付けにより視差を求めるので計算量が大きくなるという問題もある。
【０００６】
単一のＴＶカメラを用いる方式として、特許文献３において道路面のエッジ点数の変化に注目して障害物を検出する方法が提案されている。この手法は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、障害物が存在したとする。この手法では、エッジ点数から検出しているため、道路面に模様があると障害物が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。
【０００７】
画像の各点の動きベクトル（オプティカルフロー）を解析して障害物を検出する装置（例えば、特許文献４、特許文献５、非特許文献１参照）では、自車両の運動によって、オプティカルフローが変化するため、安定した検出が難しい。特許文献６のような方式を用いて、自車両の揺れによって生じる画像上の動きをキャンセルすることもできるが、画像中には様々な移動体が存在するため、うまくキャンセルできない場合もある。
【特許文献１】特開平 ７−８９３６７号公報
【特許文献２】特開平１１−２１３２９５公報
【特許文献３】特開平 ８−２４９５９７号公報
【特許文献４】特開２０００−２８５３９３公報
【特許文献５】特開平 ７−２３９９９８号公報
【特許文献６】特開２００２−１１２２５２公報
【非特許文献１】N.Takeda,et.al.,「Moving Obstacle Detection Using Residual Error of FOE Estimation」,Proc.of IROS,pp.１８５７〜１８６５,１９９３
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、車両等の移動体に取り付けられた画像入力手段から得られる時系列画像を用いて、確実に移動体の進行情報前方に飛び出してくる危険な障害物を検出することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、実空間内の平面上を移動する移動体に取り付けられて時系列画像を取得する画像入力手段と、前記時系列画像の中のある時刻の画像である原画像の中から、前記平面上の接地位置に属している可能性のある点または領域を表す特徴点を接地特徴点として抽出する特徴点抽出手段と、前記時系列画像上の消失点を推定する消失点推定手段と、前記接地特徴点の移動軌跡を前記時系列画像の各画像から抽出する移動軌跡抽出手段と、前記移動軌跡の終点が、前記消失点と前記移動軌跡の始点を結んだ直線を境にして前記移動体が存在する領域にある場合に、前記接地特徴点を含む物体が障害物であると判定する障害物検出手段と、を具備することを特徴とする画像処理装置である。
【００１０】
本発明は、移動体の進行方向の時系列画像を取得する撮像手段と、前記時系列画像の第１の時刻の画像から、障害物候補及びその推定接地位置を抽出する障害物候補抽出手段と、前記時系列画像上の消失点を推定する消失点推定手段と、前記時系列画像の前記第１の時刻より後の第２の時刻の画像から、前記推定接地位置の移動先位置を求める追跡手段と、前記移動先位置が、前記消失点と前記推定接地位置とを結んだ直線を境にして前記移動体が存在する側の領域にある場合に、当該推定接地位置を有する前記障害物候補を障害物として検出する障害物検出手段と、を具備することを特徴とする画像処理装置である。
【００１１】
本発明は、移動体の進行方向の時系列画像を取得する撮像手段と、前記時系列画像の第１の時刻の画像から、障害物候補及びその推定接地位置を抽出する障害物候補抽出手段と、前記時系列画像上の消失点を推定する消失点推定手段と、前記時系列画像の前記第１の時刻より前の第２の時刻の画像から、前記推定接地位置の移動先位置を求める追跡手段と、前記移動先位置が、前記消失点と前記推定接地位置とを結んだ直線を境にして前記移動体が存在する側と反対側の領域にある場合に、当該推定接地位置を有する前記障害物候補を障害物として検出する障害物検出手段と、を具備することを特徴とする画像処理装置である。
【発明の効果】
【００１２】
本発明によれば、確実に移動体の進行情報前方に飛び出してくる危険な障害物を検出できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態の画像処理装置を図面に基づいて説明する。
【００１４】
（第１の実施形態）
（１）画像処理装置の構成
図１は、第１の実施形態の画像処理装置の構成を示す。
【００１５】
画像入力部１０では、車両などの移動体に取り付けられた１台のＴＶカメラから時系列画像（ｘｙ画像）を取得する。
【００１６】
特徴点抽出部２０では、時系列画像のある時刻の画像（以下、原画像とう）中から障害物の接地位置に属している可能性のある点または領域の特徴点（以下、接地特徴点という）を抽出する。
【００１７】
移動軌跡抽出部３０では、特徴点抽出部２０で抽出された接地特徴点の時系列画像上での移動軌跡を抽出する。
【００１８】
障害物検出部４０では、移動軌跡抽出部３０によって抽出された移動軌跡の終点が、時系列画像上の消失点と移動軌跡の始点を結んだ直線よりも画像上で移動体の存在する方向に近い位置にある場合に、その移動軌跡が抽出された点または領域が障害物に属すると判定し検出する。
【００１９】
障害物情報出力部５０では、検出された障害物までの距離や、衝突までの時間等、障害物に関する情報を算出し、本装置が搭載されている車両の制御装置や車両の運転者に対して出力する。
【００２０】
以下では、特徴点抽出部２０、移動軌跡抽出部３０、障害物検出部４０、障害物情報出力部５０について説明する。なお、各部２０〜５０の各機能は、コンピュータに記憶されたプログラムによって実現できる。
【００２１】
また、説明を簡単にするため、ＴＶカメラは路面が画像上で下になり、光軸が路面と平行かつ進行方向に平行に取り付けられているものとする。このカメラ配置では、画像上で地平線が水平で画像の中心を通る直線となる。これ以外の設置方法についても同様の方法が適用できる。また、図４に示すようにｘｙ画像は画像左上隅を原点として横方向にｘ軸、縦方向にｙ軸をとるものとする。
【００２２】
（２）特徴点抽出部２０
特徴点抽出部２０では、原画像の中から障害物の接地位置に属している可能性のある点または領域の特徴点、すなわち、接地特徴点を抽出する。接地特徴点とは、その点の近傍の輝度分布が、周辺の輝度分布とは異なり、さらに障害物の接地位置に属している可能性のある点のことである。
【００２３】
特徴点抽出の方法について、図４に基づいて説明する。
【００２４】
まず、原画像（ｘｙ画像）に対して横方向ｘに微分などを適用し縦方向ｙのエッジを検出するしてエッジ画像を生成する。
【００２５】
次に、エッジ画像のエッジを示す曲線（エッジ曲線）を抽出する。
【００２６】
エッジ曲線は次のように抽出する。あるエッジ（画素Ａ）に関してその周囲の画素（自身の周囲８方向に存在する画素）にもエッジ（画素Ｂ）が存在する場合に、これらの画素は同じエッジ曲線に属すると判断する。新しく加わったエッジ情報を持つ画素（画素Ｂ）に関しても同様にして周囲にエッジが存在するかどうかを調べていく。こうした手順を繰り返し行って生成されたものをエッジ曲線と呼ぶ。このエッジ曲線の下端の点または領域の特徴点を接地特徴点とする。
【００２７】
（３）移動軌跡抽出部３０
図２に移動軌跡抽出部３０の詳細な構成例を示す。移動軌跡抽出部３０は、ピッチング運動補正部３１、ヨーイング運動補正部３２、縦方向終点設定部３３、移動軌跡算出部３４からなる。
【００２８】
（３−１）ピッチング運動補正部３１
ピッチング運動補正部３１では、路面の凹凸等によって生じる車両のピッチング運動が画像上の各点の運動に与える影響を除去する。
【００２９】
車両のピッチング運動は、略カメラの水平軸周りの回転運動であるので、ｘｙ画像からこの回転量を推定して、回転量が０となるように画像を変換すればよい。ｘｙ画像からカメラの水平軸周りの回転運動を推定する手法は、既存の手法を用いる。例えば特許文献６は、地平線の周辺に現れる縦方向の運動は、カメラの水平軸周りの回転運動によって生じることを利用して、地平線の周辺に現れる縦方向の運動から水平軸周りの回転運動を推定している。このとき、画像内での地平線のおよその位置はカメラを移動体に取り付けたときに既知となることが多いので、カメラ取り付け時に地平線の位置を決めておくことができる。
【００３０】
画像入力部１０で、焦点距離の小さい広角レンズを用いる場合には、ピッチング運動が画像に与える影響が小さくなり無視しても問題ない。このような場合にはピッチング運動補正部３１なしでシステムを構成しても良い。
【００３１】
（３−２）ヨーイング運動補正部３２
ヨーイング運動補正部３２では、車両のカーブ走行等によって生じる車両のヨーイング運動が画像上の各点の運動に与える影響を除去する。また、このヨーイング運動補正部３２は、ｘｙ画像上の消失点も推定する役割を果たす。
【００３２】
車両のヨーイング運動は、略カメラの垂直軸周りの回転運動であるので、ｘｙ画像からこの回転量を推定して、回転量が０となるように画像を変換すればよい。ｘｙ画像からカメラの垂直軸周りの回転運動を推定する手法は様々な方法が考えられる。例えば特許文献６では、消失点の周辺に現れる横方向の運動は、カメラの垂直軸周りの回転運動によって生じることを利用して、消失点の周辺に現れる横方向の運動から垂直軸周りの回転運動を推定することによってヨーイング運動が画像変化に与える影響を除去することができる。
【００３３】
このとき、消失点のおよその位置はカメラを移動体に取り付けたときに既知となることが多いので、カメラ取り付け時に消失点の位置を決めておくことができる。
【００３４】
（３−３）縦方向終点設定部３３
縦方向終点設定部３３では、抽出する移動軌跡の画像上での縦方向成分ｙの終点位置ｙ１を設定する。
【００３５】
終点位置ｙ１は、注目する接地特徴点の移動軌跡の画像上での始点位置ｙ０に対して、
ｙ１＝ｙ０＋Δｙ
となる。但し、Δｙは正の数とする。Δｙが正の数なのは、衝突の可能性のある特徴点はｘｙ画像上において必ず下方向に向かって動くことが理由である（図５参照）。
【００３６】
（３−４）移動軌跡算出部３４
移動軌跡算出部３４では、注目する接地特徴点が縦方向終点設定部３３で設定された縦方向の終点位置に到達するまでの特徴点の移動軌跡を算出する。移動軌跡算出部３４は、存在位置探索部３４１と終点判定部３４２から構成される。
【００３７】
存在位置探索部３４１では、ある時刻ｔ０の原画像中のある接地特徴点が、それ以降の時刻ｔ１の画像中でどこに移動したかを探索する。探索は、時刻ｔ０の接地特徴点を含むその近傍の画素（原領域）と、時刻ｔ１の画像中の領域の輝度分布の差異を求めその差異が最も小さい領域を接地特徴点の移動した位置とする。輝度分布の差異は対応するそれぞれの画素毎の差の絶対値の総和や、画素毎の差を二乗した値の総和などを用いて評価する。
【００３８】
終点判定部３４２では、存在位置探索部３４１で探索した接地特徴点の移動位置が縦方向終点設定部３４で設定した終点位置ｙ１に到達しているかどうかを判定する。移動位置が終点位置ｙ１よりも下の場合は、その位置を移動軌跡の終点として算出は終了する。
【００３９】
（４）障害物検出部４０
障害物検出部４０では、移動軌跡抽出部３０で抽出された移動軌跡が障害物に属するかどうかを判定し検出する。
【００４０】
移動軌跡抽出部３０によって抽出された移動軌跡の終点のｘ座標と、画像上の消失点と移動軌跡の始点を結んだ直線の移動軌跡の終点と同じｙ座標でのｘ座標を比較し、前者のｘ座標が画像上で移動体の存在する方向に近い位置にある場合にその移動軌跡が抽出された点または領域が障害物に属すると判定し検出する。
【００４１】
図５の場合を例に説明する。
【００４２】
原画像が時刻ｔ＝Ｔｏ（左上図）において、画面左側には建物（障害物ではない）があり、画面右側には飛び出してくる人間（障害物）が映っている。この状況から、建物と人間の特徴点がともに時刻ｔ＝Ｔ１（Ｔｏ＜Ｔ１：左下図）において終点位置に到達し移動軌跡が得られたとする。建物と人間の移動軌跡はそれぞれ、判定図（右下図）に示す（ａ），（ｂ）のようになる。このとき（ａ）の終点のｘ座標と、（ａ）の始点と消失点を結ぶ直線の（ａ）の終点と同じｙ座標（ｙ１）上でのｘ座標は一致し障害物に属さないと判定される。また、このとき（ｂ）の終点のｘ座標と、（ｂ）の始点と消失点を結ぶ直線の（ｂ）の終点と同じｙ座標（ｙ１）上でのｘ座標は（ｃ）となり、移動体の存在する方向に近い位置に存在し障害物に属すると判定される。
【００４３】
（５）障害物情報出力部５０
障害物情報出力部５０では、検出された障害物までの距離や、衝突までの時間等、障害物に関する情報を算出し、本装置が搭載されている車両の制御装置や車両の運転者に対して出力する。
【００４４】
障害物検出部４０で検出された障害物のｘｙ画像上での移動軌跡を用いると、自車両に対する障害物の実空間上での相対速度を求めることができる。
【００４５】
画像上の位置（ｘｏ，ｙｏ）と実空間上のカメラを原点とした相対座標（Ｘｏ，Ｙｏ，Ｚｏ）の対応関係は、カメラと路面の既知の幾何的位置関係から容易に計算することができるが、Ｘ，Ｙ，Ｚのどれか１つは仮定することになる。ここで、移動軌跡抽出部３０によって抽出された移動軌跡は、画像上での障害物の接地位置の動きを示している。つまり、（Ｙｏ＝０）と仮定できる。したがって、今仮定しているカメラ配置で、カメラが路面からｈの高さにあるとすると、路面は画像平面に垂直な平面（ｙ＝−ｈ）であるので、次式のようになる。
【００４６】
（Ｘｏ，Ｙｏ，Ｚｏ）＝（−（xｏ・ｈ）／ｙｏ，０，−ｆ・ｈ／ｙｏ）
この式を用いれば、ｘｙ画像上での障害物の接地位置の移動軌跡から、障害物の実空間上での自車両に対する相対的な動きを求めることができる。こうして得られた障害物の実空間上での自車両に対する相対的な動き情報から相対速度Ｖｏ＝（Ｖｏｘ，０，Ｖｏｚ）を求める。相対速度Ｖｏ＝（Ｖｏｘ，０，Ｖｏｚ）はさまざまな方法で算出できる。例えば以下のような方法がある
１．移動軌跡の始点と終点の時刻、相対座標を用いて求める。
【００４７】
２．移動軌跡の任意の２時刻の相対座標を用いて求める。
【００４８】
こうして求めた相対速度から、障害物の予測進路（Ｘc，Ｙc，Ｔｃ）を求めることができる。
【００４９】
予測進路は、障害物の等速運動、または等加速度運動を仮定して求める。この予測進路が、原点を通るとき障害物と自車両は衝突する。予測進路が座標値（０，０，Ｔｃ）満たすＴｃを求めることにより、時刻Ｔｃで衝突するという結果を出力する。実際には、障害物の予測進路が原点を通ることはまれであるので、障害物の予測進路が原点の近傍を通るとき、時刻Ｔｃで衝突するとする。
【００５０】
なお、本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態の画像処理装置のブロック図である。
【図２】図１の移動軌跡抽出部の一実施形態の構成を示すブロック図である。
【図３】ｘｙ画像の座標系についての説明図である。
【図４】特徴点を抽出する方法についての説明図である。
【図５】障害物に属する移動軌跡を判定する方法についての説明図である。
【符号の説明】
【００５２】
１０ 画像入力部
２０ 特徴点抽出部
３０ 移動軌跡抽出部
４０ 障害物検出部
５０ 障害物情報出力部
【技術分野】
【０００１】
発明は、自動車などの車両に代表される移動体に取り付けられたカメラの画像を用いて、自車両進行情報前方に飛び出してくる危険な障害物を検出する画像処理装置及びその方法に関する。
【背景技術】
【０００２】
前方に飛び出してくる障害物を検出する手法として、大きく分けてレーダーを用いる方式と、画像を用いる方式が提案されている。
【０００３】
レーダーを用いる方式として、特許文献１においてレーザーレーダーを用いて検出する方法が提案されている。レーザーレーダーを用いる方式は雨など悪天候に弱いという問題がある。また、飛び出し等、斜め前方の障害物の検出では、レーザーレーダーが斜めに照射されるため、反射波を受光しにくいという問題や、照射できる範囲が狭いため、飛び出し等斜め前方の障害物は検出が難しい。
【０００４】
カメラから得られる画像は、レーダーよりも視野が広く、斜め前方の障害物も正面の障害物も同様に撮影することができる。また、自車両の走行レーンを検出することができるため、自車両の走行に対して危険となる領域を特定することできるという利点もある。画像を用いる方式には、単一のＴＶカメラを用いる方式と、複数のＴＶカメラを用いる方式がある。
【０００５】
複数のＴＶカメラを用いる方式として、特許文献２においてステレオ視により車両までの距離を計測して、４次元シーンにおける他車両の移動ベクトルを求め、その延長線と走行レーンが交わったとき障害物と検出する手法が提案されている。このステレオ視による手法は割り込み車両が共通視野領域に入ってくるまで検出できないため、検出が遅くなるという問題がある。また、左右の画像間から点の対応付けにより視差を求めるので計算量が大きくなるという問題もある。
【０００６】
単一のＴＶカメラを用いる方式として、特許文献３において道路面のエッジ点数の変化に注目して障害物を検出する方法が提案されている。この手法は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、障害物が存在したとする。この手法では、エッジ点数から検出しているため、道路面に模様があると障害物が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。
【０００７】
画像の各点の動きベクトル（オプティカルフロー）を解析して障害物を検出する装置（例えば、特許文献４、特許文献５、非特許文献１参照）では、自車両の運動によって、オプティカルフローが変化するため、安定した検出が難しい。特許文献６のような方式を用いて、自車両の揺れによって生じる画像上の動きをキャンセルすることもできるが、画像中には様々な移動体が存在するため、うまくキャンセルできない場合もある。
【特許文献１】特開平 ７−８９３６７号公報
【特許文献２】特開平１１−２１３２９５公報
【特許文献３】特開平 ８−２４９５９７号公報
【特許文献４】特開２０００−２８５３９３公報
【特許文献５】特開平 ７−２３９９９８号公報
【特許文献６】特開２００２−１１２２５２公報
【非特許文献１】N.Takeda,et.al.,「Moving Obstacle Detection Using Residual Error of FOE Estimation」,Proc.of IROS,pp.１８５７〜１８６５,１９９３
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、車両等の移動体に取り付けられた画像入力手段から得られる時系列画像を用いて、確実に移動体の進行情報前方に飛び出してくる危険な障害物を検出することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、実空間内の平面上を移動する移動体に取り付けられて時系列画像を取得する画像入力手段と、前記時系列画像の中のある時刻の画像である原画像の中から、前記平面上の接地位置に属している可能性のある点または領域を表す特徴点を接地特徴点として抽出する特徴点抽出手段と、前記時系列画像上の消失点を推定する消失点推定手段と、前記接地特徴点の移動軌跡を前記時系列画像の各画像から抽出する移動軌跡抽出手段と、前記移動軌跡の終点が、前記消失点と前記移動軌跡の始点を結んだ直線を境にして前記移動体が存在する領域にある場合に、前記接地特徴点を含む物体が障害物であると判定する障害物検出手段と、を具備することを特徴とする画像処理装置である。
【００１０】
本発明は、移動体の進行方向の時系列画像を取得する撮像手段と、前記時系列画像の第１の時刻の画像から、障害物候補及びその推定接地位置を抽出する障害物候補抽出手段と、前記時系列画像上の消失点を推定する消失点推定手段と、前記時系列画像の前記第１の時刻より後の第２の時刻の画像から、前記推定接地位置の移動先位置を求める追跡手段と、前記移動先位置が、前記消失点と前記推定接地位置とを結んだ直線を境にして前記移動体が存在する側の領域にある場合に、当該推定接地位置を有する前記障害物候補を障害物として検出する障害物検出手段と、を具備することを特徴とする画像処理装置である。
【００１１】
本発明は、移動体の進行方向の時系列画像を取得する撮像手段と、前記時系列画像の第１の時刻の画像から、障害物候補及びその推定接地位置を抽出する障害物候補抽出手段と、前記時系列画像上の消失点を推定する消失点推定手段と、前記時系列画像の前記第１の時刻より前の第２の時刻の画像から、前記推定接地位置の移動先位置を求める追跡手段と、前記移動先位置が、前記消失点と前記推定接地位置とを結んだ直線を境にして前記移動体が存在する側と反対側の領域にある場合に、当該推定接地位置を有する前記障害物候補を障害物として検出する障害物検出手段と、を具備することを特徴とする画像処理装置である。
【発明の効果】
【００１２】
本発明によれば、確実に移動体の進行情報前方に飛び出してくる危険な障害物を検出できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態の画像処理装置を図面に基づいて説明する。
【００１４】
（第１の実施形態）
（１）画像処理装置の構成
図１は、第１の実施形態の画像処理装置の構成を示す。
【００１５】
画像入力部１０では、車両などの移動体に取り付けられた１台のＴＶカメラから時系列画像（ｘｙ画像）を取得する。
【００１６】
特徴点抽出部２０では、時系列画像のある時刻の画像（以下、原画像とう）中から障害物の接地位置に属している可能性のある点または領域の特徴点（以下、接地特徴点という）を抽出する。
【００１７】
移動軌跡抽出部３０では、特徴点抽出部２０で抽出された接地特徴点の時系列画像上での移動軌跡を抽出する。
【００１８】
障害物検出部４０では、移動軌跡抽出部３０によって抽出された移動軌跡の終点が、時系列画像上の消失点と移動軌跡の始点を結んだ直線よりも画像上で移動体の存在する方向に近い位置にある場合に、その移動軌跡が抽出された点または領域が障害物に属すると判定し検出する。
【００１９】
障害物情報出力部５０では、検出された障害物までの距離や、衝突までの時間等、障害物に関する情報を算出し、本装置が搭載されている車両の制御装置や車両の運転者に対して出力する。
【００２０】
以下では、特徴点抽出部２０、移動軌跡抽出部３０、障害物検出部４０、障害物情報出力部５０について説明する。なお、各部２０〜５０の各機能は、コンピュータに記憶されたプログラムによって実現できる。
【００２１】
また、説明を簡単にするため、ＴＶカメラは路面が画像上で下になり、光軸が路面と平行かつ進行方向に平行に取り付けられているものとする。このカメラ配置では、画像上で地平線が水平で画像の中心を通る直線となる。これ以外の設置方法についても同様の方法が適用できる。また、図４に示すようにｘｙ画像は画像左上隅を原点として横方向にｘ軸、縦方向にｙ軸をとるものとする。
【００２２】
（２）特徴点抽出部２０
特徴点抽出部２０では、原画像の中から障害物の接地位置に属している可能性のある点または領域の特徴点、すなわち、接地特徴点を抽出する。接地特徴点とは、その点の近傍の輝度分布が、周辺の輝度分布とは異なり、さらに障害物の接地位置に属している可能性のある点のことである。
【００２３】
特徴点抽出の方法について、図４に基づいて説明する。
【００２４】
まず、原画像（ｘｙ画像）に対して横方向ｘに微分などを適用し縦方向ｙのエッジを検出するしてエッジ画像を生成する。
【００２５】
次に、エッジ画像のエッジを示す曲線（エッジ曲線）を抽出する。
【００２６】
エッジ曲線は次のように抽出する。あるエッジ（画素Ａ）に関してその周囲の画素（自身の周囲８方向に存在する画素）にもエッジ（画素Ｂ）が存在する場合に、これらの画素は同じエッジ曲線に属すると判断する。新しく加わったエッジ情報を持つ画素（画素Ｂ）に関しても同様にして周囲にエッジが存在するかどうかを調べていく。こうした手順を繰り返し行って生成されたものをエッジ曲線と呼ぶ。このエッジ曲線の下端の点または領域の特徴点を接地特徴点とする。
【００２７】
（３）移動軌跡抽出部３０
図２に移動軌跡抽出部３０の詳細な構成例を示す。移動軌跡抽出部３０は、ピッチング運動補正部３１、ヨーイング運動補正部３２、縦方向終点設定部３３、移動軌跡算出部３４からなる。
【００２８】
（３−１）ピッチング運動補正部３１
ピッチング運動補正部３１では、路面の凹凸等によって生じる車両のピッチング運動が画像上の各点の運動に与える影響を除去する。
【００２９】
車両のピッチング運動は、略カメラの水平軸周りの回転運動であるので、ｘｙ画像からこの回転量を推定して、回転量が０となるように画像を変換すればよい。ｘｙ画像からカメラの水平軸周りの回転運動を推定する手法は、既存の手法を用いる。例えば特許文献６は、地平線の周辺に現れる縦方向の運動は、カメラの水平軸周りの回転運動によって生じることを利用して、地平線の周辺に現れる縦方向の運動から水平軸周りの回転運動を推定している。このとき、画像内での地平線のおよその位置はカメラを移動体に取り付けたときに既知となることが多いので、カメラ取り付け時に地平線の位置を決めておくことができる。
【００３０】
画像入力部１０で、焦点距離の小さい広角レンズを用いる場合には、ピッチング運動が画像に与える影響が小さくなり無視しても問題ない。このような場合にはピッチング運動補正部３１なしでシステムを構成しても良い。
【００３１】
（３−２）ヨーイング運動補正部３２
ヨーイング運動補正部３２では、車両のカーブ走行等によって生じる車両のヨーイング運動が画像上の各点の運動に与える影響を除去する。また、このヨーイング運動補正部３２は、ｘｙ画像上の消失点も推定する役割を果たす。
【００３２】
車両のヨーイング運動は、略カメラの垂直軸周りの回転運動であるので、ｘｙ画像からこの回転量を推定して、回転量が０となるように画像を変換すればよい。ｘｙ画像からカメラの垂直軸周りの回転運動を推定する手法は様々な方法が考えられる。例えば特許文献６では、消失点の周辺に現れる横方向の運動は、カメラの垂直軸周りの回転運動によって生じることを利用して、消失点の周辺に現れる横方向の運動から垂直軸周りの回転運動を推定することによってヨーイング運動が画像変化に与える影響を除去することができる。
【００３３】
このとき、消失点のおよその位置はカメラを移動体に取り付けたときに既知となることが多いので、カメラ取り付け時に消失点の位置を決めておくことができる。
【００３４】
（３−３）縦方向終点設定部３３
縦方向終点設定部３３では、抽出する移動軌跡の画像上での縦方向成分ｙの終点位置ｙ１を設定する。
【００３５】
終点位置ｙ１は、注目する接地特徴点の移動軌跡の画像上での始点位置ｙ０に対して、
ｙ１＝ｙ０＋Δｙ
となる。但し、Δｙは正の数とする。Δｙが正の数なのは、衝突の可能性のある特徴点はｘｙ画像上において必ず下方向に向かって動くことが理由である（図５参照）。
【００３６】
（３−４）移動軌跡算出部３４
移動軌跡算出部３４では、注目する接地特徴点が縦方向終点設定部３３で設定された縦方向の終点位置に到達するまでの特徴点の移動軌跡を算出する。移動軌跡算出部３４は、存在位置探索部３４１と終点判定部３４２から構成される。
【００３７】
存在位置探索部３４１では、ある時刻ｔ０の原画像中のある接地特徴点が、それ以降の時刻ｔ１の画像中でどこに移動したかを探索する。探索は、時刻ｔ０の接地特徴点を含むその近傍の画素（原領域）と、時刻ｔ１の画像中の領域の輝度分布の差異を求めその差異が最も小さい領域を接地特徴点の移動した位置とする。輝度分布の差異は対応するそれぞれの画素毎の差の絶対値の総和や、画素毎の差を二乗した値の総和などを用いて評価する。
【００３８】
終点判定部３４２では、存在位置探索部３４１で探索した接地特徴点の移動位置が縦方向終点設定部３４で設定した終点位置ｙ１に到達しているかどうかを判定する。移動位置が終点位置ｙ１よりも下の場合は、その位置を移動軌跡の終点として算出は終了する。
【００３９】
（４）障害物検出部４０
障害物検出部４０では、移動軌跡抽出部３０で抽出された移動軌跡が障害物に属するかどうかを判定し検出する。
【００４０】
移動軌跡抽出部３０によって抽出された移動軌跡の終点のｘ座標と、画像上の消失点と移動軌跡の始点を結んだ直線の移動軌跡の終点と同じｙ座標でのｘ座標を比較し、前者のｘ座標が画像上で移動体の存在する方向に近い位置にある場合にその移動軌跡が抽出された点または領域が障害物に属すると判定し検出する。
【００４１】
図５の場合を例に説明する。
【００４２】
原画像が時刻ｔ＝Ｔｏ（左上図）において、画面左側には建物（障害物ではない）があり、画面右側には飛び出してくる人間（障害物）が映っている。この状況から、建物と人間の特徴点がともに時刻ｔ＝Ｔ１（Ｔｏ＜Ｔ１：左下図）において終点位置に到達し移動軌跡が得られたとする。建物と人間の移動軌跡はそれぞれ、判定図（右下図）に示す（ａ），（ｂ）のようになる。このとき（ａ）の終点のｘ座標と、（ａ）の始点と消失点を結ぶ直線の（ａ）の終点と同じｙ座標（ｙ１）上でのｘ座標は一致し障害物に属さないと判定される。また、このとき（ｂ）の終点のｘ座標と、（ｂ）の始点と消失点を結ぶ直線の（ｂ）の終点と同じｙ座標（ｙ１）上でのｘ座標は（ｃ）となり、移動体の存在する方向に近い位置に存在し障害物に属すると判定される。
【００４３】
（５）障害物情報出力部５０
障害物情報出力部５０では、検出された障害物までの距離や、衝突までの時間等、障害物に関する情報を算出し、本装置が搭載されている車両の制御装置や車両の運転者に対して出力する。
【００４４】
障害物検出部４０で検出された障害物のｘｙ画像上での移動軌跡を用いると、自車両に対する障害物の実空間上での相対速度を求めることができる。
【００４５】
画像上の位置（ｘｏ，ｙｏ）と実空間上のカメラを原点とした相対座標（Ｘｏ，Ｙｏ，Ｚｏ）の対応関係は、カメラと路面の既知の幾何的位置関係から容易に計算することができるが、Ｘ，Ｙ，Ｚのどれか１つは仮定することになる。ここで、移動軌跡抽出部３０によって抽出された移動軌跡は、画像上での障害物の接地位置の動きを示している。つまり、（Ｙｏ＝０）と仮定できる。したがって、今仮定しているカメラ配置で、カメラが路面からｈの高さにあるとすると、路面は画像平面に垂直な平面（ｙ＝−ｈ）であるので、次式のようになる。
【００４６】
（Ｘｏ，Ｙｏ，Ｚｏ）＝（−（xｏ・ｈ）／ｙｏ，０，−ｆ・ｈ／ｙｏ）
この式を用いれば、ｘｙ画像上での障害物の接地位置の移動軌跡から、障害物の実空間上での自車両に対する相対的な動きを求めることができる。こうして得られた障害物の実空間上での自車両に対する相対的な動き情報から相対速度Ｖｏ＝（Ｖｏｘ，０，Ｖｏｚ）を求める。相対速度Ｖｏ＝（Ｖｏｘ，０，Ｖｏｚ）はさまざまな方法で算出できる。例えば以下のような方法がある
１．移動軌跡の始点と終点の時刻、相対座標を用いて求める。
【００４７】
２．移動軌跡の任意の２時刻の相対座標を用いて求める。
【００４８】
こうして求めた相対速度から、障害物の予測進路（Ｘc，Ｙc，Ｔｃ）を求めることができる。
【００４９】
予測進路は、障害物の等速運動、または等加速度運動を仮定して求める。この予測進路が、原点を通るとき障害物と自車両は衝突する。予測進路が座標値（０，０，Ｔｃ）満たすＴｃを求めることにより、時刻Ｔｃで衝突するという結果を出力する。実際には、障害物の予測進路が原点を通ることはまれであるので、障害物の予測進路が原点の近傍を通るとき、時刻Ｔｃで衝突するとする。
【００５０】
なお、本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態の画像処理装置のブロック図である。
【図２】図１の移動軌跡抽出部の一実施形態の構成を示すブロック図である。
【図３】ｘｙ画像の座標系についての説明図である。
【図４】特徴点を抽出する方法についての説明図である。
【図５】障害物に属する移動軌跡を判定する方法についての説明図である。
【符号の説明】
【００５２】
１０ 画像入力部
２０ 特徴点抽出部
３０ 移動軌跡抽出部
４０ 障害物検出部
５０ 障害物情報出力部
【特許請求の範囲】
【請求項１】
移動体の進行方向の時系列画像を取得する撮像手段と、
前記時系列画像の第１の時刻の画像から、障害物候補及びその推定接地位置を抽出する障害物候補抽出手段と、
前記時系列画像上の消失点を推定する消失点推定手段と、
前記時系列画像の前記第１の時刻より後の第２の時刻の画像から、前記推定接地位置の移動先位置を求める追跡手段と、
前記移動先位置が、前記消失点と前記推定接地位置とを結んだ直線を境にして前記移動体が存在する側の領域にある場合に、当該推定接地位置を有する前記障害物候補を障害物として検出する障害物検出手段と、
を具備する
ことを特徴とする画像処理装置。
【請求項２】
移動体の進行方向の時系列画像を取得する撮像手段と、
前記時系列画像の第１の時刻の画像から、障害物候補及びその推定接地位置を抽出する障害物候補抽出手段と、
前記時系列画像上の消失点を推定する消失点推定手段と、
前記時系列画像の前記第１の時刻より前の第２の時刻の画像から、前記推定接地位置の移動先位置を求める追跡手段と、
前記移動先位置が、前記消失点と前記推定接地位置とを結んだ直線を境にして前記移動体が存在する側と反対側の領域にある場合に、当該推定接地位置を有する前記障害物候補を障害物として検出する障害物検出手段と、
を具備する
ことを特徴とする画像処理装置。
【請求項３】
実空間内の平面上を移動する移動体に取り付けられて時系列画像を取得する画像入力手段と、
前記時系列画像の中のある時刻の画像である原画像の中から、前記平面上の接地位置に属している可能性のある点または領域を表す特徴点を接地特徴点として抽出する特徴点抽出手段と、
前記時系列画像上の消失点を推定する消失点推定手段と、
前記接地特徴点の移動軌跡を前記時系列画像の各画像から抽出する移動軌跡抽出手段と、
前記移動軌跡の終点が、前記消失点と前記移動軌跡の始点を結んだ直線を境にして前記移動体が存在する領域にある場合に、前記接地特徴点を含む物体が障害物であると判定する障害物検出手段と、
を具備する
ことを特徴とする画像処理装置。
【請求項４】
前記移動軌跡抽出手段は、
前記移動軌跡における前記原画像上の縦方向成分の終点位置を設定する縦方向終点設定手段と、
前記終点位置に到達するまでの前記接地特徴点の移動軌跡を算出する移動軌跡算出手段と、
を具備する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記移動軌跡算出手段は、
前記原画像中の前記接地特徴点が、それ以降の時刻の画像中のどの位置にあるかを探索する存在位置探索手段と、
前記探索位置が前記終点位置に到達したか否かを判定する終点判定手段と、
を具備する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記移動体のピッチング運動による影響を補正するピッチング運動補正手段を具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記移動体のヨーイング運動による影響を補正するヨーイング運動補正手段を具備する
ことを特徴とする請求項３記載の画像処理装置。
【請求項８】
実空間内の平面上を移動する移動体に取り付けられた画像入力装置から取得した時系列画像の中のある時刻の画像である原画像の中から、前記平面上の接地位置に属している可能性のある点または領域を表す特徴点を接地特徴点として抽出し、
前記時系列画像上の消失点を推定する消失点推定手段と、
前記接地特徴点の移動軌跡を前記時系列画像の各画像から抽出し、
前記移動軌跡の終点が、前記消失点と前記移動軌跡の始点を結んだ直線を境にして前記移動体が存在する領域にある場合に、前記接地特徴点を含む物体が障害物であると判定する
ことを特徴とする画像処理方法。
【請求項９】
前記移動軌跡を抽出するときに、
前記移動軌跡における前記原画像上の縦方向成分の終点位置を設定し、
前記終点位置に到達するまでの前記接地特徴点の移動軌跡を算出する
ことを特徴とする請求項８記載の画像処理方法。
【請求項１０】
前記移動軌跡を算出するときに、
前記原画像中の前記接地特徴点が、それ以降の時刻の画像中のどの位置にあるかを探索し、
前記探索位置が前記終点位置に到達したか否かを判定する
ことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
実空間内の平面上を移動する移動体に取り付けられた画像入力装置から取得した時系列画像の中のある時刻の画像である原画像の中から、前記平面上の接地位置に属している可能性のある点または領域を表す特徴点を接地特徴点として抽出する特徴点抽出機能と、
前記時系列画像上の消失点を推定する消失点推定機能と、
前記接地特徴点の移動軌跡を前記時系列画像の各画像から抽出する移動軌跡抽出機能と、
前記移動軌跡の終点が、前記消失点と前記移動軌跡の始点を結んだ直線を境にして前記移動体が存在する領域にある場合に、前記接地特徴点を含む物体が障害物であると判定する障害物検出機能と、
をコンピュータによって実現する
ことを特徴とする画像処理プログラム。
【請求項１２】
前記移動軌跡抽出機能は、
前記移動軌跡における前記原画像上の縦方向成分の終点位置を設定する縦方向終点設定機能と、
前記終点位置に到達するまでの前記接地特徴点の移動軌跡を算出する移動軌跡算出機能と、
を実現する
ことを特徴とする請求項１１記載の画像処理プログラム。
【請求項１３】
前記移動軌跡算出機能は、
前記原画像中の前記接地特徴点が、それ以降の時刻の画像中のどの位置にあるかを探索する存在位置探索機能と、
前記探索位置が前記終点位置に到達したか否かを判定する終点判定機能と、
を実現する
ことを特徴とする請求項１２記載の画像処理プログラム。
【請求項１】
移動体の進行方向の時系列画像を取得する撮像手段と、
前記時系列画像の第１の時刻の画像から、障害物候補及びその推定接地位置を抽出する障害物候補抽出手段と、
前記時系列画像上の消失点を推定する消失点推定手段と、
前記時系列画像の前記第１の時刻より後の第２の時刻の画像から、前記推定接地位置の移動先位置を求める追跡手段と、
前記移動先位置が、前記消失点と前記推定接地位置とを結んだ直線を境にして前記移動体が存在する側の領域にある場合に、当該推定接地位置を有する前記障害物候補を障害物として検出する障害物検出手段と、
を具備する
ことを特徴とする画像処理装置。
【請求項２】
移動体の進行方向の時系列画像を取得する撮像手段と、
前記時系列画像の第１の時刻の画像から、障害物候補及びその推定接地位置を抽出する障害物候補抽出手段と、
前記時系列画像上の消失点を推定する消失点推定手段と、
前記時系列画像の前記第１の時刻より前の第２の時刻の画像から、前記推定接地位置の移動先位置を求める追跡手段と、
前記移動先位置が、前記消失点と前記推定接地位置とを結んだ直線を境にして前記移動体が存在する側と反対側の領域にある場合に、当該推定接地位置を有する前記障害物候補を障害物として検出する障害物検出手段と、
を具備する
ことを特徴とする画像処理装置。
【請求項３】
実空間内の平面上を移動する移動体に取り付けられて時系列画像を取得する画像入力手段と、
前記時系列画像の中のある時刻の画像である原画像の中から、前記平面上の接地位置に属している可能性のある点または領域を表す特徴点を接地特徴点として抽出する特徴点抽出手段と、
前記時系列画像上の消失点を推定する消失点推定手段と、
前記接地特徴点の移動軌跡を前記時系列画像の各画像から抽出する移動軌跡抽出手段と、
前記移動軌跡の終点が、前記消失点と前記移動軌跡の始点を結んだ直線を境にして前記移動体が存在する領域にある場合に、前記接地特徴点を含む物体が障害物であると判定する障害物検出手段と、
を具備する
ことを特徴とする画像処理装置。
【請求項４】
前記移動軌跡抽出手段は、
前記移動軌跡における前記原画像上の縦方向成分の終点位置を設定する縦方向終点設定手段と、
前記終点位置に到達するまでの前記接地特徴点の移動軌跡を算出する移動軌跡算出手段と、
を具備する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記移動軌跡算出手段は、
前記原画像中の前記接地特徴点が、それ以降の時刻の画像中のどの位置にあるかを探索する存在位置探索手段と、
前記探索位置が前記終点位置に到達したか否かを判定する終点判定手段と、
を具備する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記移動体のピッチング運動による影響を補正するピッチング運動補正手段を具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記移動体のヨーイング運動による影響を補正するヨーイング運動補正手段を具備する
ことを特徴とする請求項３記載の画像処理装置。
【請求項８】
実空間内の平面上を移動する移動体に取り付けられた画像入力装置から取得した時系列画像の中のある時刻の画像である原画像の中から、前記平面上の接地位置に属している可能性のある点または領域を表す特徴点を接地特徴点として抽出し、
前記時系列画像上の消失点を推定する消失点推定手段と、
前記接地特徴点の移動軌跡を前記時系列画像の各画像から抽出し、
前記移動軌跡の終点が、前記消失点と前記移動軌跡の始点を結んだ直線を境にして前記移動体が存在する領域にある場合に、前記接地特徴点を含む物体が障害物であると判定する
ことを特徴とする画像処理方法。
【請求項９】
前記移動軌跡を抽出するときに、
前記移動軌跡における前記原画像上の縦方向成分の終点位置を設定し、
前記終点位置に到達するまでの前記接地特徴点の移動軌跡を算出する
ことを特徴とする請求項８記載の画像処理方法。
【請求項１０】
前記移動軌跡を算出するときに、
前記原画像中の前記接地特徴点が、それ以降の時刻の画像中のどの位置にあるかを探索し、
前記探索位置が前記終点位置に到達したか否かを判定する
ことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
実空間内の平面上を移動する移動体に取り付けられた画像入力装置から取得した時系列画像の中のある時刻の画像である原画像の中から、前記平面上の接地位置に属している可能性のある点または領域を表す特徴点を接地特徴点として抽出する特徴点抽出機能と、
前記時系列画像上の消失点を推定する消失点推定機能と、
前記接地特徴点の移動軌跡を前記時系列画像の各画像から抽出する移動軌跡抽出機能と、
前記移動軌跡の終点が、前記消失点と前記移動軌跡の始点を結んだ直線を境にして前記移動体が存在する領域にある場合に、前記接地特徴点を含む物体が障害物であると判定する障害物検出機能と、
をコンピュータによって実現する
ことを特徴とする画像処理プログラム。
【請求項１２】
前記移動軌跡抽出機能は、
前記移動軌跡における前記原画像上の縦方向成分の終点位置を設定する縦方向終点設定機能と、
前記終点位置に到達するまでの前記接地特徴点の移動軌跡を算出する移動軌跡算出機能と、
を実現する
ことを特徴とする請求項１１記載の画像処理プログラム。
【請求項１３】
前記移動軌跡算出機能は、
前記原画像中の前記接地特徴点が、それ以降の時刻の画像中のどの位置にあるかを探索する存在位置探索機能と、
前記探索位置が前記終点位置に到達したか否かを判定する終点判定機能と、
を実現する
ことを特徴とする請求項１２記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−１９９９３２（Ｐ２００７−１９９９３２Ａ）
【公開日】平成１９年８月９日（２００７．８．９）
【国際特許分類】
【出願番号】特願２００６−１６５６０（Ｐ２００６−１６５６０）
【出願日】平成１８年１月２５日（２００６．１．２５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１９年８月９日（２００７．８．９）
【国際特許分類】
【出願日】平成１８年１月２５日（２００６．１．２５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]