物体検出装置
【課題】センサのノイズなどの影響を受けることなく、歩行者のような動きの小さい物体を精度良く検出する。
【解決手段】特徴領域の移動量に基づいて、第１画像と第２画像との間の変化量、即ち、移動体の移動に起因する画像の変化量が推定される。推定された画像の変化量を第１の画像全体に適用することにより、変換画像が生成される。この変換画像は、画像に含まれる全ての被写体が道路平面上にあったとした場合に、第２画像が撮像された時刻において各被写体が存在したであろう位置を示している。差分画像における差分の存在する領域は、実際には道路平面上に存在していなかった物体を示していることとなり、その領域に基づいて物体が検出される。
【解決手段】特徴領域の移動量に基づいて、第１画像と第２画像との間の変化量、即ち、移動体の移動に起因する画像の変化量が推定される。推定された画像の変化量を第１の画像全体に適用することにより、変換画像が生成される。この変換画像は、画像に含まれる全ての被写体が道路平面上にあったとした場合に、第２画像が撮像された時刻において各被写体が存在したであろう位置を示している。差分画像における差分の存在する領域は、実際には道路平面上に存在していなかった物体を示していることとなり、その領域に基づいて物体が検出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどの撮像装置により撮像された画像に基づいて、画像に含まれる物体を検出する装置に関する。
【背景技術】
【０００２】
車両に搭載した赤外線カメラやステレオカメラなどにより車両の進行方向における画像を撮影し、得られた画像に基づいて先行車両、歩行者などの物体を検出する方法が提案されている。しかし、赤外線カメラを使用する方法は、夜間にのみ有効であり、また、赤外線カメラ自体が高価である。また、ステレオカメラは搭載する際の制約が多く、高価である。
【０００３】
一方、単眼カメラにより時間間隔をおいて複数の画像を撮像し、それらの画像から移動体を検出する方法が特許文献１に記載されている。特許文献１の方法は、一定時間の前後の２枚の画像の差分に基づいて移動体を検出する際、その一定時間における画像の動きを車載センサの情報に基づいて推定する。そして、推定により得られた画像の動きの情報を用いて一方の画像を変換し、他方の画像との差分を得ることにより移動体を検出する。
【０００４】
【特許文献１】特許第３４６３８５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の方法では、一定時間における画像の動きを車載センサの出力に基づいて推定するため、センサの計測ノイズの影響を受けやすい。このため、差分画像に多くのノイズが発生してしまい、歩行者などの動きの小さい移動体の検出が難しいという問題がある。
【０００６】
本発明は、このような問題点を解決するためになされたもので、その目的とするところは、センサのノイズなどの影響を受けることなく、歩行者のような動きの小さい物体を精度良く検出することが可能な物体検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の１つの観点では、時間間隔をおいて撮像した複数の画像に基づいて物体を検出する物体検出装置は、時間間隔をおいて第１画像と第２画像とを撮像する撮像手段と、第１画像と第２画像に共通する道路表面上の特徴領域の移動量に基づいて、第１画像と第２画像との間の画像の変化量を推定する推定手段と、画像に含まれる被写体が道路平面上にあると仮定して前記画像の変化量に基づいて前記第１画像を変換し、変換画像を生成する画像変換手段と、前記変換画像と前記第２画像との差分画像を生成する差分画像生成手段と、前記差分画像における差分の存在する領域に基づいて物体を検出する物体検出手段と、を備える。
【０００８】
上記の物体検出装置は、例えば車両などの移動体に搭載され、当該移動体の前方などに位置する物体を検出する。物体検出装置は、例えばＣＣＤカメラなどの撮像手段を備え、時間間隔をおいて道路平面などの画像を撮像する。時間間隔をおいて異なる時刻に撮像された画像を第１画像及び第２画像とする。次に、第１画像と第２画像に共通して含まれる道路平面上の特徴領域の移動量に基づいて、第１画像と第２画像との間の変化量が推定される。特徴領域は、道路平面上に固定配置された斜線、標識などを含む。特徴領域の移動量は道路平面に対する移動体、即ち撮像手段の相対的な移動量を示すので、特徴領域の移動量に基づいて、第１画像と第２画像との間の変化量、即ち、移動体の移動に起因する画像の変化量が推定される。
【０００９】
次に、画像に含まれる被写体が道路平面上にあると仮定し、推定された画像の変化量を第１の画像全体に適用することにより、変換画像が生成される。この変換画像は、画像に含まれる全ての被写体が道路平面上にあったとした場合に、第２画像が撮像された時刻において各被写体が存在したであろう位置を示している。そこで、変換画像と、実際に撮像された第２画像との差分画像を生成する。個々の被写体が実際に道路平面上に存在している場合、その被写体に関しては変換画像と差分画像は一致するはずである。一方、被写体が実際に道路平面上に存在していない場合、その被写体に関しては変換画像と差分画像とは一致せず、差分が生じることになる。即ち、差分画像における差分の存在する領域は、実際には道路平面上に存在していなかった物体を示していることとなり、その領域に基づいて物体が検出される。詳しくは、検出される物体は、道路平面より高い位置に存在する立体物、道路平面に対して移動している移動物体などを含む。
【００１０】
この手法では、全ての被写体が道路平面上にあると仮定して画像の変換量を決定するため、道路平面上に存在するが高さがゼロ又は低い静止物の差分を正確にゼロに近づけることができるので、移動量の少ない歩行者などを確実に検出することが可能となる。
【００１１】
上記の物体検出装置の一態様は、前記差分画像における差分の存在する領域の形状に基づいて前記物体を識別する物体識別手段を備える。また、好適な例では、前記領域の形状は、前記差分画像の差分の存在する領域が形成する閉領域の形状、又は、差分画像の差分の存在する領域の形状である。差分の存在する領域の形状は、静止立体物や移動物体などの輪郭形状に対応するため、その形状を抽出し、パターン認識などを行うことにより、物体を識別することができる。例えば、抽出した形状を、車両の形状、人間の身体の部位の形状などとパターンマッチングすることにより、車両、歩行者などを識別することができる。
【００１２】
上記の物体検出装置の他の一態様は、複数の時間間隔の差分画像間での前記差分画像の差分の存在する領域の変化に基づいて、検出した物体を識別する物体識別手段を備える。時間間隔を変更して差分画像を検討すると、物体が移動物体である場合と静止立体物である場合とでは、差分の存在する領域が変形する様子が異なる。よって、この変形の仕方に基づいて、検出された物体が移動物体であるか、静止立体物であるかを識別することができる。好適な例では、前記物体識別手段は、前記差分画像の差分の存在する領域の形状が前記撮像手段の撮像方向の主軸へ向かって変形する場合に、検出された物体を道路平面に対して高さを有する静止物であると識別することができる。
【００１３】
上記の物体検出装置の他の一態様は、前記差分画像における差分の存在する領域に基づいて検出された物体の動きを検出する物体動き検出手段を備える。この態様では、時間間隔をおいて差分の存在する領域の形状を分析することにより、その物体の動きを算出することができる。また、この場合、物体動き検出手段により検出された物体の動きの量に基づいて、当該物体が静止物であるか移動物体であるかを識別することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【００１５】
［物体検出装置］
図１に本発明に係る物体検出装置の概略構成を示す。図１（ａ）は物体検出装置１のブロック図であり、図１（ｂ）は物体検出装置を搭載した車両を示す図である。本実施形態では物体検出装置１は車両に搭載される。図１（ａ）に示すように、物体検出装置１は、ＣＣＤカメラ３（以下、単に「カメラ」とも呼ぶ。）、画像認識ＥＣＵ４、表示装置５、スピーカ６、及び、アクチュエータ７を備える。カメラ３は、図１（ｂ）に示すように車両１０の頂部前方位置などに取り付けられ、主として車両１０の前方の道路平面（以下、「路面」とも呼ぶ。）１５の画像を撮像する。よって、路面１５上に物体５０が存在する場合、物体５０を含む路面１５の画像が撮像される。
【００１６】
画像認識ＥＣＵ４は、カメラ３が時間間隔をおいて撮像した複数の画像に基づいて画像処理を行い、物体を検出する。画像認識ＥＣＵ４は、例えば前方車両、歩行者などの物体が検出されると、その物体を含む画像を表示装置５へ送り、表示装置５上に表示させる。また、必要に応じて、表示装置５上に警告などを表示させる。表示装置５は、例えば車両の運転席前方に位置する表示パネルとすることができる。また、画像認識ＥＣＵ４は、物体が検出されると、必要に応じて信号をスピーカ６へ送り、スピーカ６からその旨を運転者に伝える音声メッセージなどを出力させる。さらに、画像認識ＥＣＵ４は、物体が検出されると、必要に応じて危険回避などのために、車両に搭載されている各種アクチュエータに信号を供給して、エンジン、ブレーキ、ステアリングなどの出力を制御する。
【００１７】
［物体検出原理］
まず、本発明による物体検出の基本原理について説明する。本発明では、路面に対して移動する移動物体及び路面に対して高さを有する物体を検出できる点に一つの特徴を有する。時間を変えて撮像した２枚の画像に対して、この間の車両運動を考慮して１枚目の画像を修正すると、路面上及び路面から高さの低い位置の点は、２枚の画像において同一座標、同一輝度となり、差分がゼロとなる。一方、路面に対して移動したもの、及び、路面からの高さが大きい点は２枚の画像における座標位置が変わるため、輝度差が発生する。よって、この差分に基づいて、物体を検出することができる。
【００１８】
図２に車両の移動に伴ってカメラ３が路面に対して移動する様子を模式的に示す。なお、図示の便宜上、車両１０は図示を省略している。図２は、ある時刻ｔから、Δｔ経過後の時刻（ｔ＋Δｔ）までの間に移動する様子を示す。時刻ｔにおけるカメラの画像は、カメラ３の撮像方向の主軸（カメラの光軸）をＺ軸方向とし、Ｚ軸に垂直なカメラ下方をＹ軸方向とし、Ｚ軸に垂直な水平方向をＸ軸方向とするＸＹＺ座標系（「カメラ座標系」とも呼ぶ。）により示される。一方、時刻（ｔ＋Δｔ）におけるカメラの画像は、図示のようにＸ’Ｙ’Ｚ’座標系により示される。
【００１９】
いま、路面１５上の物体５０が、時刻ｔにおいてはＸＹＺ座標系における点Ｍ（ｘ、ｙ、ｚ）に位置し、時刻（ｔ＋Δｔ）においてはＸ’Ｙ’Ｚ’座標系における点Ｍｔ＋Δｔ（ｘ’、ｙ’、ｚ’）に位置したとする。この場合、点Ｍから点Ｍｔ＋Δｔへの写像は、路面１５に対するカメラ３の相対的な移動に対応する。
【００２０】
図３（ａ）に時刻ｔにおいて撮像された画像の例を示し、図３（ｂ）に時刻（ｔ＋Δｔ）において撮像された画像の例を示す。路面１５上に特徴領域（例えば、路面上の白線、標識など）Ｍ１〜Ｍ４が存在する場合、撮像された画像上における各特徴領域Ｍ１〜Ｍ４の位置は、カメラ３の移動に応じて、図３（ａ）及び３（ｂ）に示すように移動する。そこで、本発明では、路面上に存在する特徴領域の移動量に基づいて画像処理により、路面に対するカメラの相対的な動きを推定する。理論上、特徴領域を路面上に４点設定することにより、路面に対するカメラの相対的な動きを算出することができる。なお、特徴領域としては、路面上にある車線、標識などを用いることができる。また、その代わりに、路面上に存在する特徴的な模様などを特徴領域とし、画像処理によりその模様の明暗などを強調して推定を行うこともできる。
【００２１】
そして、推定されたカメラの動きに基づいて、時刻（ｔ＋Δｔ）の撮像画像から、時刻ｔの撮像画像に対応する変換後の画像（以下、「変換画像」と呼ぶ。）を生成する。この変換画像は、時刻（ｔ＋Δｔ）の撮像画像に含まれている被写体（撮像された画像に含まれる全ての要素）が全て路面上に存在していると仮定した場合に、それらの被写体が時刻ｔにおいて存在していたであろう位置を示す。よって、変換画像と、実際の時刻ｔにおける撮像画像とを比較した場合、路面上に存在する全ての静止物体は同じ位置に存在するはずである。言い換えれば、変換画像と実際の時刻ｔにおける撮像画像とに差分が生じている領域は、路面上に存在しない静止物体、又は、移動物体であるということができる。そこで、本発明では、この差分に基づいて、物体を検出する。この手法では、路面に対するカメラの相対的な移動を、車載センサによる車両の移動から推定するのではなく、撮像された画像から画像処理により推定するので、センサの計測ノイズにより推定精度が低下する恐れはなく、高精度の物体検出が可能となる。
【００２２】
［物体検出処理］
図４に、本実施形態による物体検出処理のフローチャートを示す。なお、この物体検出処理は、図１に示した画像認識ＥＣＵ４が、カメラ３から取得した撮像画像を処理することにより実行される。
【００２３】
まず、車両１０の走行中にカメラ３が車両前方の画像を撮像し、撮像画像を生成する（ステップＳ１）。カメラ３は所定の時間間隔で画像を撮像するので、カメラ３は所定の時間間隔において撮像した複数の画像を生成することになる。
【００２４】
次に、画像認識ＥＣＵ４は、得られた撮像画像に基づいて、フローパラメータを算出し、さらにフローパラメータに基づいて車両運動パラメータ及び平面パラメータを算出する（ステップＳ２）。なお、フローパラメータは、路面上の平面のオプティカルフローを示すパラメータである。また、車両運動パラメータは所定時間（例えばΔｔ秒）における車両の運動を規定するパラメータであり、平面パラメータは路面上に規定される平面のカメラ座標に対するパラメータである。この処理に関しては詳細は後述する。
【００２５】
次に、画像認識ＥＣＵ４は、得られた車両運動パラメータ及び平面パラメータに基づいて、平面画像変換式を生成する（ステップＳ３）。平面画像変換式は、前述のように、路面上に存在する特徴領域の移動量に基づいて画像処理により生成されるものであり、路面に対するカメラの相対的な動き量を示すものである。この処理に関しても詳細は後述する。
【００２６】
次に、画像認識ＥＣＵ４は、得られた平面画像変換式を用いて、画像の変換を行う（ステップＳ４）。具体的に、ステップＳ１において、ある時刻ｔにおける撮像画像（以下、「第１画像」と呼ぶ。）と、それからΔｔ（秒）経過した時刻（ｔ＋Δｔ）における撮像画像（以下、「第２画像」と呼ぶ。）が取得されたとする。画像認識ＥＣＵ４は、時間的に新しい第２画像に対して、平面画像変換式を用いて変換を行い、変換後の画像（即ち、変換画像）を生成する。前述のように、平面画像変換式は路面に対するカメラの相対的な動きを示す式であるので、変換画像は、第２画像に含まれる全ての被写体が路面上にあると仮定した場合に、時刻ｔにおいてそれらの被写体が存在したであろう位置を示す画像となる。
【００２７】
そして、画像認識ＥＣＵ４は、変換画像と、時刻ｔにおける実際の撮像画像、即ち第１画像との差分を演算する（ステップＳ５）。路面上にある静止物体の場合、その時刻ｔにおける位置から時刻（ｔ＋Δｔ）における位置への移動は、前述の路面に対するカメラの相対的な動きによるものとなる。よって、路面上にある静止物体（以下、「路面上静止物体」については、ステップＳ４で得られた変換画像における当該物体の位置と、ステップＳ１で撮像された第１画像における当該物体の位置とは一致する。
【００２８】
一方、路面上に存在するが、高さを有する静止物体（以下、「静止立体物」とも呼ぶ。）については、その物体が高さ成分を有するため、時刻ｔにおける位置から時刻（ｔ＋Δｔ）における位置への移動は路面に対するカメラの相対的な移動のみで表すことができない。よって、ステップＳ４で得られた変換画像における当該物体の位置と、ステップＳ１で撮像された第１画像における当該物体の位置とは一致しない。また、路面上に存在するが移動している物体（以下、「移動物体」とも呼ぶ。）については、当該移動物体自体の移動成分を有するため、時刻ｔにおける位置から時刻（ｔ＋Δｔ）における位置への移動は路面に対するカメラの相対的な移動のみで表すことができない。よって、ステップＳ４で得られた変換画像における当該物体の位置と、ステップＳ１で撮像された第１画像における当該物体の位置とは一致しない。
【００２９】
従って、変換画像と第１画像との差分を演算することにより、撮像画像に含まれる静止立体物及び移動物体を検出することができる。具体的には、画像認識ＥＣＵ４は、画像中に含まれる各画素毎に、ステップＳ５で得られた差分を所定の閾値と比較する。閾値以上の差分が発生した画素の位置は、静止立体物又は移動物体の一部と判断することができる。よって、閾値を超える差分が検出された画素の集合により形成される形状を物体の輪郭形状と検出することができる。こうして、本実施例では、所定の時間間隔を有する複数の画像から、静止立体物及び移動物体を含む物体を検出することができる。
【００３０】
［平面画像変換式の導出］
次に、ステップＳ２〜Ｓ３における平面画像変換式の導出方法について詳しく説明する。フローパラメータはオプティカルフローモデルを用いて算出される。このモデルは、既知の２次のフローモデルにおける８個のフローパラメータを用いて表現される。これらのパラメータは、画像中の個々の位置に対応付けられている。本例では、路面が平面であるとの前提のもとで、２つの画像中の同一点を結ぶベクトルを識別する。
【００３１】
３次元空間では、車両の動きは図５（ａ）及び５（ｂ）に示すように９個のパラメータを用いて表現される。ここで、９個の物理的パラメータは、３方向における車速「ａ」、「ｂ」、「ｃ」、３つの軸に対する角速度「ｗ１」、「ｗ２」、「ｗ３」、並びに、カメラのピッチ「θ」、ロール「φ」及び高さ「Ｈ」である。
【００３２】
例えばカメラの高さＨなど、９個の物理的パラメータのうちの１つを得れば、オプティカルフローパラメータを用いて他の８個の物理的パラメータを算出し、カメラの動きを決定することができる。例えば拡張カルマンフィルタ（Extended Kalman Filter）を用いてカメラの動きを決定することができる。
【００３３】
具体的には、３次元座標における動きパラメータ（変化率）を積算することにより、路面に対する車両の動き及び方向を決定する。３次元空間における動き及び方向をオプティカルフローベクトルに基づいて推定する。オプティカルフローベクトルとは、複数の画像中の同一点を結んだベクトルである。
【００３４】
図６に、パラメータの算出方法の一例を示す。複数の画像（例えば時刻ｔ及び時刻（ｔ＋Δｔ）をカメラ３により撮像する。一方、車載センサにより、車速、ヨーレート及びピッチレートが検出される。撮像された複数の画像に基づいて、画像処理により、オプティカルフローの８個のパラメータ及び２次元フローモデルが計算される。８個のパラメータから、カルマンフィルタを用いてオプティカルフローが処理され、車両の動き及びカメラの方向が計算される。なお、車速及びヨーレートを画像処理において使用することにより、推定精度が向上する。以下、動きの検出について詳細に説明する。
【００３５】
（１）座標系及びパラメータの定義
図７及び図８は本実施例で使用される３つの座標系、即ち画像座標系、カメラ座標系及び車両座標系を示す。画像座標系はカメラの画像平面上に設定される。カメラ座標系の原点は、カメラの撮像方向の主軸（カメラの光軸）が画像平面と交差する点である。車両座標系は、カメラ座標系を回転することにより得られる。これらの座標系はカメラの動きに伴って移動する。なお、画像中に現れる路面は基本的に平面であることを前提とする。
【００３６】
（２）平面フロー
路上を走行する車両に搭載されるカメラの動きは、６つの自由度を有する：垂直方向速度ａcamera、横方向速度ｂcamera、前後方向速度ｃcamera、ヨーレートｗ１、ピッチレートｗ２、ロールレートｗ３。これらの動きパラメータはカメラ座標系に関して測定される。
【００３７】
路面が平坦であると仮定すると、カメラ座標系に関して平面式が成り立つ。
【００３８】
【数１】
ここで、ｐ、ｑ、ｒは平面パラメータである。
【００３９】
画像面中の平面画像により生成されるオプティカルフローベクトルは、以下のようになる。
【００４０】
【数２】
ここで、ｕ及びｖは、それぞれ画像座標系（x,y）におけるフローベクトルの水平及び垂直成分である。ｆはカメラの焦点距離である。Ｕ、Ｖ，Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、平面に対するカメラの動き及び方向について決定されたフローパラメータである。フローパラメータは以下の式で与えられる。なお、ｔｄは画像のサンプリング時間である。
【００４１】
【数３】
平面パラメータは、路面に対するカメラの方向各及び位置、即ち、ピッチ各θ、ロール各φ及びカメラ高さＨにより示すことができる。一般的に、ほとんどの車両において、θ、φ及びΔＨ（Ｈの変化）はゼロに等しい。よって、
【００４２】
【数４】
となる。上記の近似を用いると、カメラと路面との間の地理的関係から、以下の式が得られる。
【００４３】
【数５】
図８に示すように、カメラ座標系は、車両座標系に対してθ及びφだけ回転している。よって、カメラの並進速度ａcamera、ｂcamera、ｃcameraは、車両の並進速度ａ、ｂ、ｃにより以下のように示される。
【００４４】
【数６】
カメラを搭載する際、カメラの軸を、ステアリングをニュートラル位置にした状態における車両の走行方向と正確に一致させることは困難である。よって、カメラと車両の水平方向差を考慮して、パラメータγを導入する。水平方向差はカメラ及び車両の縦方向速度を測定するために使用される。
【００４５】
以上より、車両座標系に関して得られるフローベクトルは以下のようになる。
【００４６】
【数７】
こうして得られた車両運動パラメータ（ａ、ｂ、ｃ、ｗ１、ｗ２、ｗ３）及び平面パラメータ（ｐ、ｑ、ｒ）に基づいて、以下の平面画像変換式が得られる。
【００４７】
【数８】
座標（ｘ’、ｙ’）は第２画像の座標であり、座標（ｘ、ｙ）は変換画像の座標である。また、各変数Ｔ１１〜Ｔ３３は以下の式で与えられる。
【００４８】
【数９】
ここで、ｋは未定の比例定数であり、最終的に上記の式（１）に代入して数値が得られる時点で分母・分子で相殺される。
【００４９】
Ｒ１１〜Ｒ３３は２つの平面の回転を表す回転行列の９個の要素であり、撮像時間差ｔが小さい時には図８のｗ１〜ｗ３を用いて、
Ｒ１１≒ｗ１
Ｒ２２≒ｗ２
Ｒ３３≒ｗ３
Ｒ１２＝Ｒ１３＝Ｒ２１＝Ｒ２３＝Ｒ３１＝Ｒ３２＝０
と近似することができる。「ａ」、「ｂ」、「ｃ」はそれぞれ図８に示す通り３軸方向の車両並進速度成分である。こうして得られた平面画像変換式を用いて、ステップＳ４における画像の変換が行われる。
【００５０】
［移動物体識別処理］
次に、移動物体識別処理について説明する。前述のように物体検出処理では、静止立体物及び移動物体を含む物体が検出される。移動物体識別処理は、物体検出処理により検出された静止立体物と移動物体とを識別、即ち区別する。
【００５１】
図９に、歩行者、車両及び静止立体物の差分画像の例を示す。本発明の移動物体識別処理は、時間差の異なる複数の差分画像を用いて物体を識別する点に特徴を有する。例えば、図９に示すように、差分画像として、時間差Δｔの差分画像と、時間差（Δｔ×１０）の差分画像とを生成する。時間差Δｔの差分画像は、時間差が小さいので、図９（ａ）、図９（ｃ）などに示すように物体の直接的な輪郭線が現れる。よって、時間差の小さい差分画像を用いて輪郭線など、差分の存在する領域の形状を抽出し、パターン認識することにより、歩行者や車両など既知の特定の輪郭を有する物体を識別することができる。特に歩行者や車両などの場合、差分の存在する領域は閉領域となるので、差分の存在する閉領域を抽出してパターン認識を行うこととすれば、効率よく物体を識別することができる。例えば、歩行者は人間の頭部の円形輪郭線、車両は水平／垂直線分などに基づいてパターン認識を行うことができる。
【００５２】
時間差（Δｔ×１０）の差分画像では、時間差が長いため、移動物体については図９（ｂ）、図９（ｄ）などに示すように分離した２個の移動物体の輪郭線が現れる。そこで、２個の輪郭線の分布パターン自体を対象としてパターン認識を行うことができる。即ち、時間差Δｔの小さい差分画像を用いて輪郭線のパターン認識を行うとともに、時間差Δｔの大きい差分画像を用いて輪郭線の分布パターン自体のパターン認識を行うことにより、物体をより正確に識別することが可能となる。
【００５３】
一方、静止立体物は移動体ではないため複数の輪郭線が得られることはない。静止立体物の場合、例えば図９（ｅ）及び９（ｆ）に示すように、静止立体物のうち高さの低い部分９０（即ち路面に近い部分）には差分は発生しない又は非常に小さいが。高い部分９１は差分が発生する。即ち、静止立体物は、時間差の大きい差分画像を観察すると、その物体の一部には差分が発生しない又は非常に小さく、他の部分には差分が発生する。また、この差分は、静止立体物の高さが高いほど大きくなる。さらに、この差分の存在する領域の形状は、図９（ｅ）及び９（ｆ）に示すように、カメラの撮像方向（光軸方向）に向かって変形することになる。よって、時間差の異なる複数の差分画像を検討することにより、静止立体物を識別することが可能となる。
【００５４】
また、上記のような静止立体物の差分画像の特徴を利用できない場合でも、物体の動きを予測することにより、静止立体物と移動物体とを区別することができる。前述の物体検出処理で述べたように、路面に対するカメラの相対的な動きは平面画像変換式として得ることができる。従って、例えば時刻ｔにおける撮像画像及び平面画像変換式を用いて、それ以前の時刻（ｔ−Δｔ×１０）及び時刻（ｔ−Δｔ×２０）の変換画像を生成する。そして、時刻（ｔ−Δｔ×１０）の変換画像と、時刻（ｔ−Δｔ×１０）の実際の撮像画像から時刻（ｔ−Δｔ×１０）の差分を算出する。同様に、時刻（ｔ−Δｔ×２０）の変換画像と、時刻（ｔ−Δｔ×２０）の実際の撮像画像から時刻（ｔ−Δｔ×２０）の差分を算出する。
【００５５】
物体が静止立体物である場合、図９（ｆ）に示すように時間差（Δｔ×１０）により差分が発生するが、時間差が同一でありかつ物体自体は移動していないため、時刻（ｔ−Δｔ×１０）の差分と、時刻（ｔ−Δｔ×２０）の差分とは一致する。一方、物体が移動物体である場合には、時間差が同一であっても、物体自体が移動しているため、時刻（ｔ−Δｔ×１０）の差分と、時刻（ｔ−Δｔ×２０）の差分とは一致しない。よって、平面画像変換式を用いて複数の時刻における差分を算出し、それらを比較することにより、検出された物体が静止立体物であるか、移動物体であるかを識別することができる。
【００５６】
図１０に、移動物体識別処理の一例を示す。なお、この処理も、図１に示す画像認識ＥＣＵ４により実行される。まず、画像認識ＥＣＵ４は、前述の平面画像変換式などに基づいて、物体の動きを予測し（ステップＳ２１）、その予測に基づいて、異なる時刻における複数の動き予測画像を生成する。そして、それらの時刻における動き予測画像と、それらの時刻において実際に撮像された撮像画像との差分を計算する（ステップＳ２２）。そして、それらの差分を評価し、移動物体を識別する（ステップＳ２３）。例えば、上述のように、２つの差分が同一又は近ければその物体は静止立体物であると判定し、差分が所定以上の差を有すればその物体は移動物体であると判定する。
【００５７】
さらに、上記のようにして識別された静止立体物については、その位置、高さなどを検出することができる。また、移動物体については、その移動物体と車両との距離、移動物体の移動速度などを検出することができる。
【００５８】
具体的には、上記のように静止立体物と移動物体とを識別した後、各々を画像上で追跡（トラッキング）する。静止立体物については、自車両の路面に対する運動と、自車両の動きを勘案した画像上の動き情報の複合から、その物体の位置、高さを判定する。
【００５９】
移動物体についても追跡処理を行う。静止立体物と自車両との相対位置関係が既知であるため、移動物体についてはその画像中の存在位置から車両との相対位置を推定する。移動物体の高さについては、追跡処理された移動物体の部分のうち、最も高い部分を一体として追跡した後、その物体の自車両との相対位置と画像上での高さ方向の大きさから移動物体の高さを推定する。これにより、車両前方の全般的な状況に関するマップの作成が可能となる。
【図面の簡単な説明】
【００６０】
【図１】本発明に係る物体検出装置の概略構成を示す図である。
【図２】車両の移動に伴ってカメラが移動する様子を模式的に示す図である。
【図３】車両の移動中に撮像された画像の例を示す。
【図４】物体検出処理のフローチャートである。
【図５】オプティカルフローモデルの説明図である。
【図６】車両運動パラメータの導出方法を説明する図である。
【図７】座標系の関係を示す図である。
【図８】車両座標系及びカメラ座標系を示す図である。
【図９】物体識別処理で使用する差分画像の例を示す。
【図１０】物体識別処理のフローチャートである。
【符号の説明】
【００６１】
１ 物体検出装置
３ ＣＣＤカメラ
４ 画像認識ＥＣＵ
５ 表示装置宇
６ スピーカ
７ アクチュエータ
１０ 車両
１５ 路面（道路平面）
【技術分野】
【０００１】
本発明は、カメラなどの撮像装置により撮像された画像に基づいて、画像に含まれる物体を検出する装置に関する。
【背景技術】
【０００２】
車両に搭載した赤外線カメラやステレオカメラなどにより車両の進行方向における画像を撮影し、得られた画像に基づいて先行車両、歩行者などの物体を検出する方法が提案されている。しかし、赤外線カメラを使用する方法は、夜間にのみ有効であり、また、赤外線カメラ自体が高価である。また、ステレオカメラは搭載する際の制約が多く、高価である。
【０００３】
一方、単眼カメラにより時間間隔をおいて複数の画像を撮像し、それらの画像から移動体を検出する方法が特許文献１に記載されている。特許文献１の方法は、一定時間の前後の２枚の画像の差分に基づいて移動体を検出する際、その一定時間における画像の動きを車載センサの情報に基づいて推定する。そして、推定により得られた画像の動きの情報を用いて一方の画像を変換し、他方の画像との差分を得ることにより移動体を検出する。
【０００４】
【特許文献１】特許第３４６３８５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の方法では、一定時間における画像の動きを車載センサの出力に基づいて推定するため、センサの計測ノイズの影響を受けやすい。このため、差分画像に多くのノイズが発生してしまい、歩行者などの動きの小さい移動体の検出が難しいという問題がある。
【０００６】
本発明は、このような問題点を解決するためになされたもので、その目的とするところは、センサのノイズなどの影響を受けることなく、歩行者のような動きの小さい物体を精度良く検出することが可能な物体検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の１つの観点では、時間間隔をおいて撮像した複数の画像に基づいて物体を検出する物体検出装置は、時間間隔をおいて第１画像と第２画像とを撮像する撮像手段と、第１画像と第２画像に共通する道路表面上の特徴領域の移動量に基づいて、第１画像と第２画像との間の画像の変化量を推定する推定手段と、画像に含まれる被写体が道路平面上にあると仮定して前記画像の変化量に基づいて前記第１画像を変換し、変換画像を生成する画像変換手段と、前記変換画像と前記第２画像との差分画像を生成する差分画像生成手段と、前記差分画像における差分の存在する領域に基づいて物体を検出する物体検出手段と、を備える。
【０００８】
上記の物体検出装置は、例えば車両などの移動体に搭載され、当該移動体の前方などに位置する物体を検出する。物体検出装置は、例えばＣＣＤカメラなどの撮像手段を備え、時間間隔をおいて道路平面などの画像を撮像する。時間間隔をおいて異なる時刻に撮像された画像を第１画像及び第２画像とする。次に、第１画像と第２画像に共通して含まれる道路平面上の特徴領域の移動量に基づいて、第１画像と第２画像との間の変化量が推定される。特徴領域は、道路平面上に固定配置された斜線、標識などを含む。特徴領域の移動量は道路平面に対する移動体、即ち撮像手段の相対的な移動量を示すので、特徴領域の移動量に基づいて、第１画像と第２画像との間の変化量、即ち、移動体の移動に起因する画像の変化量が推定される。
【０００９】
次に、画像に含まれる被写体が道路平面上にあると仮定し、推定された画像の変化量を第１の画像全体に適用することにより、変換画像が生成される。この変換画像は、画像に含まれる全ての被写体が道路平面上にあったとした場合に、第２画像が撮像された時刻において各被写体が存在したであろう位置を示している。そこで、変換画像と、実際に撮像された第２画像との差分画像を生成する。個々の被写体が実際に道路平面上に存在している場合、その被写体に関しては変換画像と差分画像は一致するはずである。一方、被写体が実際に道路平面上に存在していない場合、その被写体に関しては変換画像と差分画像とは一致せず、差分が生じることになる。即ち、差分画像における差分の存在する領域は、実際には道路平面上に存在していなかった物体を示していることとなり、その領域に基づいて物体が検出される。詳しくは、検出される物体は、道路平面より高い位置に存在する立体物、道路平面に対して移動している移動物体などを含む。
【００１０】
この手法では、全ての被写体が道路平面上にあると仮定して画像の変換量を決定するため、道路平面上に存在するが高さがゼロ又は低い静止物の差分を正確にゼロに近づけることができるので、移動量の少ない歩行者などを確実に検出することが可能となる。
【００１１】
上記の物体検出装置の一態様は、前記差分画像における差分の存在する領域の形状に基づいて前記物体を識別する物体識別手段を備える。また、好適な例では、前記領域の形状は、前記差分画像の差分の存在する領域が形成する閉領域の形状、又は、差分画像の差分の存在する領域の形状である。差分の存在する領域の形状は、静止立体物や移動物体などの輪郭形状に対応するため、その形状を抽出し、パターン認識などを行うことにより、物体を識別することができる。例えば、抽出した形状を、車両の形状、人間の身体の部位の形状などとパターンマッチングすることにより、車両、歩行者などを識別することができる。
【００１２】
上記の物体検出装置の他の一態様は、複数の時間間隔の差分画像間での前記差分画像の差分の存在する領域の変化に基づいて、検出した物体を識別する物体識別手段を備える。時間間隔を変更して差分画像を検討すると、物体が移動物体である場合と静止立体物である場合とでは、差分の存在する領域が変形する様子が異なる。よって、この変形の仕方に基づいて、検出された物体が移動物体であるか、静止立体物であるかを識別することができる。好適な例では、前記物体識別手段は、前記差分画像の差分の存在する領域の形状が前記撮像手段の撮像方向の主軸へ向かって変形する場合に、検出された物体を道路平面に対して高さを有する静止物であると識別することができる。
【００１３】
上記の物体検出装置の他の一態様は、前記差分画像における差分の存在する領域に基づいて検出された物体の動きを検出する物体動き検出手段を備える。この態様では、時間間隔をおいて差分の存在する領域の形状を分析することにより、その物体の動きを算出することができる。また、この場合、物体動き検出手段により検出された物体の動きの量に基づいて、当該物体が静止物であるか移動物体であるかを識別することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【００１５】
［物体検出装置］
図１に本発明に係る物体検出装置の概略構成を示す。図１（ａ）は物体検出装置１のブロック図であり、図１（ｂ）は物体検出装置を搭載した車両を示す図である。本実施形態では物体検出装置１は車両に搭載される。図１（ａ）に示すように、物体検出装置１は、ＣＣＤカメラ３（以下、単に「カメラ」とも呼ぶ。）、画像認識ＥＣＵ４、表示装置５、スピーカ６、及び、アクチュエータ７を備える。カメラ３は、図１（ｂ）に示すように車両１０の頂部前方位置などに取り付けられ、主として車両１０の前方の道路平面（以下、「路面」とも呼ぶ。）１５の画像を撮像する。よって、路面１５上に物体５０が存在する場合、物体５０を含む路面１５の画像が撮像される。
【００１６】
画像認識ＥＣＵ４は、カメラ３が時間間隔をおいて撮像した複数の画像に基づいて画像処理を行い、物体を検出する。画像認識ＥＣＵ４は、例えば前方車両、歩行者などの物体が検出されると、その物体を含む画像を表示装置５へ送り、表示装置５上に表示させる。また、必要に応じて、表示装置５上に警告などを表示させる。表示装置５は、例えば車両の運転席前方に位置する表示パネルとすることができる。また、画像認識ＥＣＵ４は、物体が検出されると、必要に応じて信号をスピーカ６へ送り、スピーカ６からその旨を運転者に伝える音声メッセージなどを出力させる。さらに、画像認識ＥＣＵ４は、物体が検出されると、必要に応じて危険回避などのために、車両に搭載されている各種アクチュエータに信号を供給して、エンジン、ブレーキ、ステアリングなどの出力を制御する。
【００１７】
［物体検出原理］
まず、本発明による物体検出の基本原理について説明する。本発明では、路面に対して移動する移動物体及び路面に対して高さを有する物体を検出できる点に一つの特徴を有する。時間を変えて撮像した２枚の画像に対して、この間の車両運動を考慮して１枚目の画像を修正すると、路面上及び路面から高さの低い位置の点は、２枚の画像において同一座標、同一輝度となり、差分がゼロとなる。一方、路面に対して移動したもの、及び、路面からの高さが大きい点は２枚の画像における座標位置が変わるため、輝度差が発生する。よって、この差分に基づいて、物体を検出することができる。
【００１８】
図２に車両の移動に伴ってカメラ３が路面に対して移動する様子を模式的に示す。なお、図示の便宜上、車両１０は図示を省略している。図２は、ある時刻ｔから、Δｔ経過後の時刻（ｔ＋Δｔ）までの間に移動する様子を示す。時刻ｔにおけるカメラの画像は、カメラ３の撮像方向の主軸（カメラの光軸）をＺ軸方向とし、Ｚ軸に垂直なカメラ下方をＹ軸方向とし、Ｚ軸に垂直な水平方向をＸ軸方向とするＸＹＺ座標系（「カメラ座標系」とも呼ぶ。）により示される。一方、時刻（ｔ＋Δｔ）におけるカメラの画像は、図示のようにＸ’Ｙ’Ｚ’座標系により示される。
【００１９】
いま、路面１５上の物体５０が、時刻ｔにおいてはＸＹＺ座標系における点Ｍ（ｘ、ｙ、ｚ）に位置し、時刻（ｔ＋Δｔ）においてはＸ’Ｙ’Ｚ’座標系における点Ｍｔ＋Δｔ（ｘ’、ｙ’、ｚ’）に位置したとする。この場合、点Ｍから点Ｍｔ＋Δｔへの写像は、路面１５に対するカメラ３の相対的な移動に対応する。
【００２０】
図３（ａ）に時刻ｔにおいて撮像された画像の例を示し、図３（ｂ）に時刻（ｔ＋Δｔ）において撮像された画像の例を示す。路面１５上に特徴領域（例えば、路面上の白線、標識など）Ｍ１〜Ｍ４が存在する場合、撮像された画像上における各特徴領域Ｍ１〜Ｍ４の位置は、カメラ３の移動に応じて、図３（ａ）及び３（ｂ）に示すように移動する。そこで、本発明では、路面上に存在する特徴領域の移動量に基づいて画像処理により、路面に対するカメラの相対的な動きを推定する。理論上、特徴領域を路面上に４点設定することにより、路面に対するカメラの相対的な動きを算出することができる。なお、特徴領域としては、路面上にある車線、標識などを用いることができる。また、その代わりに、路面上に存在する特徴的な模様などを特徴領域とし、画像処理によりその模様の明暗などを強調して推定を行うこともできる。
【００２１】
そして、推定されたカメラの動きに基づいて、時刻（ｔ＋Δｔ）の撮像画像から、時刻ｔの撮像画像に対応する変換後の画像（以下、「変換画像」と呼ぶ。）を生成する。この変換画像は、時刻（ｔ＋Δｔ）の撮像画像に含まれている被写体（撮像された画像に含まれる全ての要素）が全て路面上に存在していると仮定した場合に、それらの被写体が時刻ｔにおいて存在していたであろう位置を示す。よって、変換画像と、実際の時刻ｔにおける撮像画像とを比較した場合、路面上に存在する全ての静止物体は同じ位置に存在するはずである。言い換えれば、変換画像と実際の時刻ｔにおける撮像画像とに差分が生じている領域は、路面上に存在しない静止物体、又は、移動物体であるということができる。そこで、本発明では、この差分に基づいて、物体を検出する。この手法では、路面に対するカメラの相対的な移動を、車載センサによる車両の移動から推定するのではなく、撮像された画像から画像処理により推定するので、センサの計測ノイズにより推定精度が低下する恐れはなく、高精度の物体検出が可能となる。
【００２２】
［物体検出処理］
図４に、本実施形態による物体検出処理のフローチャートを示す。なお、この物体検出処理は、図１に示した画像認識ＥＣＵ４が、カメラ３から取得した撮像画像を処理することにより実行される。
【００２３】
まず、車両１０の走行中にカメラ３が車両前方の画像を撮像し、撮像画像を生成する（ステップＳ１）。カメラ３は所定の時間間隔で画像を撮像するので、カメラ３は所定の時間間隔において撮像した複数の画像を生成することになる。
【００２４】
次に、画像認識ＥＣＵ４は、得られた撮像画像に基づいて、フローパラメータを算出し、さらにフローパラメータに基づいて車両運動パラメータ及び平面パラメータを算出する（ステップＳ２）。なお、フローパラメータは、路面上の平面のオプティカルフローを示すパラメータである。また、車両運動パラメータは所定時間（例えばΔｔ秒）における車両の運動を規定するパラメータであり、平面パラメータは路面上に規定される平面のカメラ座標に対するパラメータである。この処理に関しては詳細は後述する。
【００２５】
次に、画像認識ＥＣＵ４は、得られた車両運動パラメータ及び平面パラメータに基づいて、平面画像変換式を生成する（ステップＳ３）。平面画像変換式は、前述のように、路面上に存在する特徴領域の移動量に基づいて画像処理により生成されるものであり、路面に対するカメラの相対的な動き量を示すものである。この処理に関しても詳細は後述する。
【００２６】
次に、画像認識ＥＣＵ４は、得られた平面画像変換式を用いて、画像の変換を行う（ステップＳ４）。具体的に、ステップＳ１において、ある時刻ｔにおける撮像画像（以下、「第１画像」と呼ぶ。）と、それからΔｔ（秒）経過した時刻（ｔ＋Δｔ）における撮像画像（以下、「第２画像」と呼ぶ。）が取得されたとする。画像認識ＥＣＵ４は、時間的に新しい第２画像に対して、平面画像変換式を用いて変換を行い、変換後の画像（即ち、変換画像）を生成する。前述のように、平面画像変換式は路面に対するカメラの相対的な動きを示す式であるので、変換画像は、第２画像に含まれる全ての被写体が路面上にあると仮定した場合に、時刻ｔにおいてそれらの被写体が存在したであろう位置を示す画像となる。
【００２７】
そして、画像認識ＥＣＵ４は、変換画像と、時刻ｔにおける実際の撮像画像、即ち第１画像との差分を演算する（ステップＳ５）。路面上にある静止物体の場合、その時刻ｔにおける位置から時刻（ｔ＋Δｔ）における位置への移動は、前述の路面に対するカメラの相対的な動きによるものとなる。よって、路面上にある静止物体（以下、「路面上静止物体」については、ステップＳ４で得られた変換画像における当該物体の位置と、ステップＳ１で撮像された第１画像における当該物体の位置とは一致する。
【００２８】
一方、路面上に存在するが、高さを有する静止物体（以下、「静止立体物」とも呼ぶ。）については、その物体が高さ成分を有するため、時刻ｔにおける位置から時刻（ｔ＋Δｔ）における位置への移動は路面に対するカメラの相対的な移動のみで表すことができない。よって、ステップＳ４で得られた変換画像における当該物体の位置と、ステップＳ１で撮像された第１画像における当該物体の位置とは一致しない。また、路面上に存在するが移動している物体（以下、「移動物体」とも呼ぶ。）については、当該移動物体自体の移動成分を有するため、時刻ｔにおける位置から時刻（ｔ＋Δｔ）における位置への移動は路面に対するカメラの相対的な移動のみで表すことができない。よって、ステップＳ４で得られた変換画像における当該物体の位置と、ステップＳ１で撮像された第１画像における当該物体の位置とは一致しない。
【００２９】
従って、変換画像と第１画像との差分を演算することにより、撮像画像に含まれる静止立体物及び移動物体を検出することができる。具体的には、画像認識ＥＣＵ４は、画像中に含まれる各画素毎に、ステップＳ５で得られた差分を所定の閾値と比較する。閾値以上の差分が発生した画素の位置は、静止立体物又は移動物体の一部と判断することができる。よって、閾値を超える差分が検出された画素の集合により形成される形状を物体の輪郭形状と検出することができる。こうして、本実施例では、所定の時間間隔を有する複数の画像から、静止立体物及び移動物体を含む物体を検出することができる。
【００３０】
［平面画像変換式の導出］
次に、ステップＳ２〜Ｓ３における平面画像変換式の導出方法について詳しく説明する。フローパラメータはオプティカルフローモデルを用いて算出される。このモデルは、既知の２次のフローモデルにおける８個のフローパラメータを用いて表現される。これらのパラメータは、画像中の個々の位置に対応付けられている。本例では、路面が平面であるとの前提のもとで、２つの画像中の同一点を結ぶベクトルを識別する。
【００３１】
３次元空間では、車両の動きは図５（ａ）及び５（ｂ）に示すように９個のパラメータを用いて表現される。ここで、９個の物理的パラメータは、３方向における車速「ａ」、「ｂ」、「ｃ」、３つの軸に対する角速度「ｗ１」、「ｗ２」、「ｗ３」、並びに、カメラのピッチ「θ」、ロール「φ」及び高さ「Ｈ」である。
【００３２】
例えばカメラの高さＨなど、９個の物理的パラメータのうちの１つを得れば、オプティカルフローパラメータを用いて他の８個の物理的パラメータを算出し、カメラの動きを決定することができる。例えば拡張カルマンフィルタ（Extended Kalman Filter）を用いてカメラの動きを決定することができる。
【００３３】
具体的には、３次元座標における動きパラメータ（変化率）を積算することにより、路面に対する車両の動き及び方向を決定する。３次元空間における動き及び方向をオプティカルフローベクトルに基づいて推定する。オプティカルフローベクトルとは、複数の画像中の同一点を結んだベクトルである。
【００３４】
図６に、パラメータの算出方法の一例を示す。複数の画像（例えば時刻ｔ及び時刻（ｔ＋Δｔ）をカメラ３により撮像する。一方、車載センサにより、車速、ヨーレート及びピッチレートが検出される。撮像された複数の画像に基づいて、画像処理により、オプティカルフローの８個のパラメータ及び２次元フローモデルが計算される。８個のパラメータから、カルマンフィルタを用いてオプティカルフローが処理され、車両の動き及びカメラの方向が計算される。なお、車速及びヨーレートを画像処理において使用することにより、推定精度が向上する。以下、動きの検出について詳細に説明する。
【００３５】
（１）座標系及びパラメータの定義
図７及び図８は本実施例で使用される３つの座標系、即ち画像座標系、カメラ座標系及び車両座標系を示す。画像座標系はカメラの画像平面上に設定される。カメラ座標系の原点は、カメラの撮像方向の主軸（カメラの光軸）が画像平面と交差する点である。車両座標系は、カメラ座標系を回転することにより得られる。これらの座標系はカメラの動きに伴って移動する。なお、画像中に現れる路面は基本的に平面であることを前提とする。
【００３６】
（２）平面フロー
路上を走行する車両に搭載されるカメラの動きは、６つの自由度を有する：垂直方向速度ａcamera、横方向速度ｂcamera、前後方向速度ｃcamera、ヨーレートｗ１、ピッチレートｗ２、ロールレートｗ３。これらの動きパラメータはカメラ座標系に関して測定される。
【００３７】
路面が平坦であると仮定すると、カメラ座標系に関して平面式が成り立つ。
【００３８】
【数１】
ここで、ｐ、ｑ、ｒは平面パラメータである。
【００３９】
画像面中の平面画像により生成されるオプティカルフローベクトルは、以下のようになる。
【００４０】
【数２】
ここで、ｕ及びｖは、それぞれ画像座標系（x,y）におけるフローベクトルの水平及び垂直成分である。ｆはカメラの焦点距離である。Ｕ、Ｖ，Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、平面に対するカメラの動き及び方向について決定されたフローパラメータである。フローパラメータは以下の式で与えられる。なお、ｔｄは画像のサンプリング時間である。
【００４１】
【数３】
平面パラメータは、路面に対するカメラの方向各及び位置、即ち、ピッチ各θ、ロール各φ及びカメラ高さＨにより示すことができる。一般的に、ほとんどの車両において、θ、φ及びΔＨ（Ｈの変化）はゼロに等しい。よって、
【００４２】
【数４】
となる。上記の近似を用いると、カメラと路面との間の地理的関係から、以下の式が得られる。
【００４３】
【数５】
図８に示すように、カメラ座標系は、車両座標系に対してθ及びφだけ回転している。よって、カメラの並進速度ａcamera、ｂcamera、ｃcameraは、車両の並進速度ａ、ｂ、ｃにより以下のように示される。
【００４４】
【数６】
カメラを搭載する際、カメラの軸を、ステアリングをニュートラル位置にした状態における車両の走行方向と正確に一致させることは困難である。よって、カメラと車両の水平方向差を考慮して、パラメータγを導入する。水平方向差はカメラ及び車両の縦方向速度を測定するために使用される。
【００４５】
以上より、車両座標系に関して得られるフローベクトルは以下のようになる。
【００４６】
【数７】
こうして得られた車両運動パラメータ（ａ、ｂ、ｃ、ｗ１、ｗ２、ｗ３）及び平面パラメータ（ｐ、ｑ、ｒ）に基づいて、以下の平面画像変換式が得られる。
【００４７】
【数８】
座標（ｘ’、ｙ’）は第２画像の座標であり、座標（ｘ、ｙ）は変換画像の座標である。また、各変数Ｔ１１〜Ｔ３３は以下の式で与えられる。
【００４８】
【数９】
ここで、ｋは未定の比例定数であり、最終的に上記の式（１）に代入して数値が得られる時点で分母・分子で相殺される。
【００４９】
Ｒ１１〜Ｒ３３は２つの平面の回転を表す回転行列の９個の要素であり、撮像時間差ｔが小さい時には図８のｗ１〜ｗ３を用いて、
Ｒ１１≒ｗ１
Ｒ２２≒ｗ２
Ｒ３３≒ｗ３
Ｒ１２＝Ｒ１３＝Ｒ２１＝Ｒ２３＝Ｒ３１＝Ｒ３２＝０
と近似することができる。「ａ」、「ｂ」、「ｃ」はそれぞれ図８に示す通り３軸方向の車両並進速度成分である。こうして得られた平面画像変換式を用いて、ステップＳ４における画像の変換が行われる。
【００５０】
［移動物体識別処理］
次に、移動物体識別処理について説明する。前述のように物体検出処理では、静止立体物及び移動物体を含む物体が検出される。移動物体識別処理は、物体検出処理により検出された静止立体物と移動物体とを識別、即ち区別する。
【００５１】
図９に、歩行者、車両及び静止立体物の差分画像の例を示す。本発明の移動物体識別処理は、時間差の異なる複数の差分画像を用いて物体を識別する点に特徴を有する。例えば、図９に示すように、差分画像として、時間差Δｔの差分画像と、時間差（Δｔ×１０）の差分画像とを生成する。時間差Δｔの差分画像は、時間差が小さいので、図９（ａ）、図９（ｃ）などに示すように物体の直接的な輪郭線が現れる。よって、時間差の小さい差分画像を用いて輪郭線など、差分の存在する領域の形状を抽出し、パターン認識することにより、歩行者や車両など既知の特定の輪郭を有する物体を識別することができる。特に歩行者や車両などの場合、差分の存在する領域は閉領域となるので、差分の存在する閉領域を抽出してパターン認識を行うこととすれば、効率よく物体を識別することができる。例えば、歩行者は人間の頭部の円形輪郭線、車両は水平／垂直線分などに基づいてパターン認識を行うことができる。
【００５２】
時間差（Δｔ×１０）の差分画像では、時間差が長いため、移動物体については図９（ｂ）、図９（ｄ）などに示すように分離した２個の移動物体の輪郭線が現れる。そこで、２個の輪郭線の分布パターン自体を対象としてパターン認識を行うことができる。即ち、時間差Δｔの小さい差分画像を用いて輪郭線のパターン認識を行うとともに、時間差Δｔの大きい差分画像を用いて輪郭線の分布パターン自体のパターン認識を行うことにより、物体をより正確に識別することが可能となる。
【００５３】
一方、静止立体物は移動体ではないため複数の輪郭線が得られることはない。静止立体物の場合、例えば図９（ｅ）及び９（ｆ）に示すように、静止立体物のうち高さの低い部分９０（即ち路面に近い部分）には差分は発生しない又は非常に小さいが。高い部分９１は差分が発生する。即ち、静止立体物は、時間差の大きい差分画像を観察すると、その物体の一部には差分が発生しない又は非常に小さく、他の部分には差分が発生する。また、この差分は、静止立体物の高さが高いほど大きくなる。さらに、この差分の存在する領域の形状は、図９（ｅ）及び９（ｆ）に示すように、カメラの撮像方向（光軸方向）に向かって変形することになる。よって、時間差の異なる複数の差分画像を検討することにより、静止立体物を識別することが可能となる。
【００５４】
また、上記のような静止立体物の差分画像の特徴を利用できない場合でも、物体の動きを予測することにより、静止立体物と移動物体とを区別することができる。前述の物体検出処理で述べたように、路面に対するカメラの相対的な動きは平面画像変換式として得ることができる。従って、例えば時刻ｔにおける撮像画像及び平面画像変換式を用いて、それ以前の時刻（ｔ−Δｔ×１０）及び時刻（ｔ−Δｔ×２０）の変換画像を生成する。そして、時刻（ｔ−Δｔ×１０）の変換画像と、時刻（ｔ−Δｔ×１０）の実際の撮像画像から時刻（ｔ−Δｔ×１０）の差分を算出する。同様に、時刻（ｔ−Δｔ×２０）の変換画像と、時刻（ｔ−Δｔ×２０）の実際の撮像画像から時刻（ｔ−Δｔ×２０）の差分を算出する。
【００５５】
物体が静止立体物である場合、図９（ｆ）に示すように時間差（Δｔ×１０）により差分が発生するが、時間差が同一でありかつ物体自体は移動していないため、時刻（ｔ−Δｔ×１０）の差分と、時刻（ｔ−Δｔ×２０）の差分とは一致する。一方、物体が移動物体である場合には、時間差が同一であっても、物体自体が移動しているため、時刻（ｔ−Δｔ×１０）の差分と、時刻（ｔ−Δｔ×２０）の差分とは一致しない。よって、平面画像変換式を用いて複数の時刻における差分を算出し、それらを比較することにより、検出された物体が静止立体物であるか、移動物体であるかを識別することができる。
【００５６】
図１０に、移動物体識別処理の一例を示す。なお、この処理も、図１に示す画像認識ＥＣＵ４により実行される。まず、画像認識ＥＣＵ４は、前述の平面画像変換式などに基づいて、物体の動きを予測し（ステップＳ２１）、その予測に基づいて、異なる時刻における複数の動き予測画像を生成する。そして、それらの時刻における動き予測画像と、それらの時刻において実際に撮像された撮像画像との差分を計算する（ステップＳ２２）。そして、それらの差分を評価し、移動物体を識別する（ステップＳ２３）。例えば、上述のように、２つの差分が同一又は近ければその物体は静止立体物であると判定し、差分が所定以上の差を有すればその物体は移動物体であると判定する。
【００５７】
さらに、上記のようにして識別された静止立体物については、その位置、高さなどを検出することができる。また、移動物体については、その移動物体と車両との距離、移動物体の移動速度などを検出することができる。
【００５８】
具体的には、上記のように静止立体物と移動物体とを識別した後、各々を画像上で追跡（トラッキング）する。静止立体物については、自車両の路面に対する運動と、自車両の動きを勘案した画像上の動き情報の複合から、その物体の位置、高さを判定する。
【００５９】
移動物体についても追跡処理を行う。静止立体物と自車両との相対位置関係が既知であるため、移動物体についてはその画像中の存在位置から車両との相対位置を推定する。移動物体の高さについては、追跡処理された移動物体の部分のうち、最も高い部分を一体として追跡した後、その物体の自車両との相対位置と画像上での高さ方向の大きさから移動物体の高さを推定する。これにより、車両前方の全般的な状況に関するマップの作成が可能となる。
【図面の簡単な説明】
【００６０】
【図１】本発明に係る物体検出装置の概略構成を示す図である。
【図２】車両の移動に伴ってカメラが移動する様子を模式的に示す図である。
【図３】車両の移動中に撮像された画像の例を示す。
【図４】物体検出処理のフローチャートである。
【図５】オプティカルフローモデルの説明図である。
【図６】車両運動パラメータの導出方法を説明する図である。
【図７】座標系の関係を示す図である。
【図８】車両座標系及びカメラ座標系を示す図である。
【図９】物体識別処理で使用する差分画像の例を示す。
【図１０】物体識別処理のフローチャートである。
【符号の説明】
【００６１】
１ 物体検出装置
３ ＣＣＤカメラ
４ 画像認識ＥＣＵ
５ 表示装置宇
６ スピーカ
７ アクチュエータ
１０ 車両
１５ 路面（道路平面）
【特許請求の範囲】
【請求項１】
時間間隔をおいて撮像した複数の画像に基づいて物体を検出する物体検出装置であって、
時間間隔をおいて第１画像と第２画像とを撮像する撮像手段と、
第１画像と第２画像に共通する道路表面上の特徴領域の移動量に基づいて、第１画像と第２画像との間の画像の変化量を推定する推定手段と、
画像に含まれる被写体が道路平面上にあると仮定して前記画像の変化量に基づいて前記第１画像を変換し、変換画像を生成する画像変換手段と、
前記変換画像と前記第２画像との差分画像を生成する差分画像生成手段と、
前記差分画像における差分の存在する領域に基づいて物体を検出する物体検出手段と、を備えることを特徴とする物体検出装置。
【請求項２】
前記差分画像における差分の存在する領域の形状に基づいて前記物体を識別する物体識別手段を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記領域の形状は、前記差分画像の差分の存在する領域が形成する閉領域の形状、又は、差分画像の差分の存在する領域の形状であることを特徴とする請求項２に記載の物体検出装置。
【請求項４】
複数の時間間隔の差分画像間での前記差分画像の差分の存在する領域の変化に基づいて、検出した物体を識別する物体識別手段を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項５】
前記物体識別手段は、前記差分画像の差分の存在する領域の形状が前記撮像手段の撮像方向の主軸へ向かって変形する場合に、検出された物体を道路平面に対して高さを有する静止物であると識別することを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記差分画像における差分の存在する領域に基づいて検出された物体の動きを検出する物体動き検出手段を備えることを特徴とする請求項１乃至５のいずれか一項に記載の物体検出装置。
【請求項７】
前記物体動き検出手段により検出された物体の動きの量に基づいて、当該物体が静止物であるか移動物体であるかを識別する手段を備えることを特徴とする請求項６に記載の物体検出装置。
【請求項１】
時間間隔をおいて撮像した複数の画像に基づいて物体を検出する物体検出装置であって、
時間間隔をおいて第１画像と第２画像とを撮像する撮像手段と、
第１画像と第２画像に共通する道路表面上の特徴領域の移動量に基づいて、第１画像と第２画像との間の画像の変化量を推定する推定手段と、
画像に含まれる被写体が道路平面上にあると仮定して前記画像の変化量に基づいて前記第１画像を変換し、変換画像を生成する画像変換手段と、
前記変換画像と前記第２画像との差分画像を生成する差分画像生成手段と、
前記差分画像における差分の存在する領域に基づいて物体を検出する物体検出手段と、を備えることを特徴とする物体検出装置。
【請求項２】
前記差分画像における差分の存在する領域の形状に基づいて前記物体を識別する物体識別手段を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記領域の形状は、前記差分画像の差分の存在する領域が形成する閉領域の形状、又は、差分画像の差分の存在する領域の形状であることを特徴とする請求項２に記載の物体検出装置。
【請求項４】
複数の時間間隔の差分画像間での前記差分画像の差分の存在する領域の変化に基づいて、検出した物体を識別する物体識別手段を備えることを特徴とする請求項１に記載の物体検出装置。
【請求項５】
前記物体識別手段は、前記差分画像の差分の存在する領域の形状が前記撮像手段の撮像方向の主軸へ向かって変形する場合に、検出された物体を道路平面に対して高さを有する静止物であると識別することを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記差分画像における差分の存在する領域に基づいて検出された物体の動きを検出する物体動き検出手段を備えることを特徴とする請求項１乃至５のいずれか一項に記載の物体検出装置。
【請求項７】
前記物体動き検出手段により検出された物体の動きの量に基づいて、当該物体が静止物であるか移動物体であるかを識別する手段を備えることを特徴とする請求項６に記載の物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−１２９５６０（Ｐ２００７−１２９５６０Ａ）
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願番号】特願２００５−３２１０４７（Ｐ２００５−３２１０４７）
【出願日】平成１７年１１月４日（２００５．１１．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願日】平成１７年１１月４日（２００５．１１．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]