車両周囲監視装置
【課題】簡単な構成で自車と接触する可能性のある歩行者を容易に検出することが可能な車両周囲監視装置を得ること。
【解決手段】車載カメラ１１１によって予め設定された時間間隔をおいて撮像された撮像画像間における観測対象の画像の大きさの変化率と、撮像画像間における観測対象の画像の変形の有無に基づいて、観測対象が自車に対して相対的に接近移動している歩行者であるか否かを判定する。
【解決手段】車載カメラ１１１によって予め設定された時間間隔をおいて撮像された撮像画像間における観測対象の画像の大きさの変化率と、撮像画像間における観測対象の画像の変形の有無に基づいて、観測対象が自車に対して相対的に接近移動している歩行者であるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した車両周囲の画像から、自車に接近する可能性のある歩行者を検出する車両周囲監視装置に関する。
【背景技術】
【０００２】
従来より、車両に２台のカメラを搭載し、各カメラにより撮像された車両周囲の画像から抽出された同一の監視対象物の画像部分のずれ（視差）に基づいて、三角測量の原理により監視対象物と車両との距離を検出するようにした車両周囲監視装置が提案されている（例えば、特許文献１参照）。
【０００３】
かかる従来の車両周囲監視装置によれば、車両周辺の監視対象物と車両との距離を算出して、該距離により監視対象物の位置の画像座標から実空間座標への変換処理を行い、実空間における監視対象物の移動ベクトルを求めて、監視対象物と車両の接触可能性を判定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−６０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、視差に基づいて監視対象物との距離を検出する場合には、２台のカメラを備えることによるコストアップを伴うと共に、両カメラの光軸調節を厳密に行わなければならない等の面倒な設置作業が必要となるという不都合があった。
【０００６】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、簡単な構成で自車と接触する可能性のある歩行者を容易に検出することが可能な車両周囲監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明の車両周囲監視装置は、車載カメラによって異なる時刻に撮像された複数の撮像画像間における観測対象の画像の大きさの変化率と、撮像画像間における観測対象の画像の変形の有無に基づいて、観測対象が自車に対して相対的に接近移動している歩行者であるか否かを判定する。
【発明の効果】
【０００８】
本発明によれば、簡単な構成で自車と接触する可能性のある歩行者を容易に検出することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態に係わる車両周囲監視装置のシステム構成図。
【図２】撮像装置から得られた画像の例を示す図。
【図３】各時刻における自車周囲と対象の相対関係を説明する図。
【図４】処理領域設定のための仮定を説明する図。
【図５】一次元の輝度値波形を示す図。
【図６】一次元の輝度値波形から拡大率を算出する方法を説明する図。
【発明を実施するための形態】
【００１０】
次に、本実施の形態に係わる車両周囲監視装置について図面を用いて説明する。
図１は本実施の形態に係わる車両周囲監視装置の構成を説明する図である。
車両周囲監視装置１００は、歩行者が自車に対して相対的に接近する方向に移動しているか否かを監視するためのものであり、図示していない画像処理ＥＣＵ内に構成されている。車両周囲監視装置１００は、画像処理ＥＣＵ内に構成されるものに限定されず、専用のＥＣＵや、車載カメラ１１１のＥＣＵ等の他の車載ＥＣＵに構成されていてもよく、また、複数のＥＣＵの組み合わせによって構成されていてもよい。
【００１１】
車両周囲監視装置１００は、図１に示すように、車載カメラ１１１によって異なる時刻に撮像された複数の撮像画像を取得する撮像画像取得手段１０１と、撮像画像取得手段１０１で取得した撮像画像内に観測対象を検知するための処理領域を設定する処理領域設定手段１０２と、前記撮像画像間で前記処理領域内における観測対象の画像の大きさの変化率を算出する変化率算出手段１０３と、前記撮像画像間で前記処理領域内における観測対象の画像の変形の有無を判定する見かけ変形判定手段１０４と、変化率算出手段１０３で算出された変化率と見かけ変形判定手段１０４による見かけ変形判定の判定結果に基づいて、観測対象が自車に対して相対的に接近する方向に移動している歩行者であるか否かを判定する対象挙動解析手段１０５と、対象挙動解析手段１０５の解析結果に基づいて警報出力を行うか否かを判定する警報出力判定手段１０６を有する。
【００１２】
車両周囲監視装置１００の入力側には、車両前方あるいは後方などの自車両周辺を観測するための車載カメラ１１１と、車両の各車輪の回転速度を得る車輪速センサ１２１と、ハンドルの回転角度を得る舵角センサ１２２と、ドライバの注視方向を検出する視線センサ１２３が接続されており、出力側には、警報音を出力するためのスピーカ１１２と、警報を出力した対象を表示するためのモニタ１１３が接続されている。車載カメラ１１１は、いわゆる単眼カメラであり、自車の周囲を撮像するために車両に取り付けられている。車載カメラ１１１は、車両後方を撮像するリアカメラに限定されるものではなく、車両前方を撮像するフロントカメラや、車両側方を撮像するサイドカメラであってもよく、これらを全て備えたものであってもよい。
【００１３】
次に、車両周囲監視装置１００の各構成について詳細に説明する。
撮像画像取得手段１０１は、車載カメラ１１１から出力されるアナログの映像信号を、デジタルデータに変換して画像メモリに取り込む。その際、撮像した時刻または画像メモリに取り込んだ時刻（以下、撮像時刻と呼ぶ）を、画像メモリに取り込んだ画像データと対応づけて保持することで、計算負荷による処理周期の変動の影響を受けず、単位時間あたりのパターンの拡大率を算出することができるという効果がある。なお、計算負荷を考慮せずに、予め定められた時間間隔をおいて定周期で撮像することもでき、その場合には撮像時刻の保持を省略しても構わない。撮像時刻の保持を省略することで、メモリ使用量の削減と映像取得処理の高速化の効果が期待できる。ＢＴ６０１規格などの一般的なアナログ映像信号の場合、デジタルデータに変換する仕様は定まっており、Ａ／Ｄ変換ＩＣチップなども市販されているため、ここでは詳細の変換方法は割愛する。
【００１４】
図２は、撮像時刻ｔ１、ｔ２において車載カメラで撮像された画像、図３は、図２の状況を上方から俯瞰的にみた場合の模式図である。歩行者Ｍは、撮像時刻ｔ１では、図３（ａ）の状況３０１に示すように、自車３１１から後方に離れた位置に立っており、図２（ａ）の画像２０１では小さく撮像されているが、撮像時刻ｔ２では、図３（ｂ）の状況３０２に示すように、自車３１１に対して相対的に接近する方向に移動しており、図２（ｂ）の画像２０２では、画像２０１よりも大きく撮像されている。
【００１５】
処理領域設定手段１０２は、画像メモリ上に複数の処理領域を設定する。検知したい歩行者の距離および大きさを仮定すると、画像上で観測できる観測対象の大きさを算出することができる。この観測対象の大きさを有する処理領域を、互いに少しずつ重なるように画面上に並べて設定する。処理領域設定手段１０２は、後述する車両挙動解析手段１０５ａからの車両挙動解析の結果に基づいて、各処理領域の位置を変化させる。例えば自車が旋回中には、画像中に設定した処理領域に対応する三次元空間中の位置と、自車両との相対関係が変化するため、一旦設定した処理領域を旋回量に合わせて再設定する。
【００１６】
図４を用いて、観測対象の大きさの算出方法について説明する。
図４は、処理領域設定方法を説明する図であり、図４（ａ）は車両と歩行者の位置関係を側方から示す図、図４（ｂ）は図４（ａ）に示す状況を上方から俯瞰的に示す図である。
【００１７】
車両４０１は、図１の車載カメラ１１１の例としてリアカメラ４０２を有している。車両４０１の後方には、歩行者Ｍが立っていると仮定する。図４（ａ）、（ｂ）に示すように、リアカメラ４０２から歩行者Ｍまでの距離をＤ、歩行者Ｍの大きさを、幅Ｗ、高さＨと仮定し、リアカメラ４０２の焦点距離をｆ、実世界の距離と画像上の距離の変換係数をｃｕ，ｃｖとする。また、画像上の歩行者Ｍの大きさを幅ｕ、高さｖとすると、以下の式が成り立つ。
Ｗ：Ｄ＝ｕ：ｆ Ｈ：Ｄ＝ｖ：ｆ
これより、
ｕ＝ｆ×Ｗ÷Ｄ×ｃｕ
ｖ＝ｆ×Ｈ÷Ｄ×ｃｖ
このｕ×ｖを１つの処理領域のサイズとする。
【００１８】
このように定められたサイズの処理領域を、互いに一部が重なるように撮像画像内に配置する。この処理領域の重なり量は、例えば歩行者Ｍの幅ｕの５０％として設定する。こうすることで、歩行者が処理領域の正確に中央に存在していない場合であっても、少なくとも領域の５０％以上は歩行者領域のテクスチャが占めるため、歩行者後方の背景パターンの影響が少なくなり、都合良くパターンの拡大率を算出することができるようになる。
【００１９】
また、前述した処理領域設定手段１０２は、車両挙動解析の結果に基づいて各処理領域の位置を変化させる際、歩行者Ｍの移動量と自車の移動量に基づき算出される相対的な移動量を画像平面に投影した分だけ、処理領域を移動して設定する。こうすることで、自車が移動中であっても歩行者を同一の処理領域で捉え続けることができるようになる。
【００２０】
なお、歩行者Ｍの実環境中での移動量が十分少ないことが想定される場合、相対的な移動量に対して自車挙動に起因する割合が大きくなるため、自車の移動量のみに合わせて処理領域を移動して設定してもよい。また、十分に処理領域を密に配置している場合、各処理領域の位置自体を変える代わりに、計算される相対的な移動量に合わせて互いに異なる処理領域間での拡大率を計算してもよい。
【００２１】
車両挙動解析手段１０５ａは、舵角センサ１２２で検出した操舵角、および車輪速センサ１２１から検出され、算出された車速・各車輪速・各タイヤの回転量などを入力として、車軸長・ホイールベースなどの知識を用いて、走行に伴う自車位置および旋回角度の変化量を計算する。この計算結果を蓄積することで、世界座標系における基準点からの自車位置を算出することができる。なお、世界座標系における基準点は、システム起動時や画像認識動作開始時などの地点が座標系原点になるようにリセットしたり、ＧＰＳシステムによる自車位置測位結果を用いて地球上の緯度経度に対して設定すればよい。
【００２２】
前述のように処理領域を設定することで、少なくとも仮定した距離において、検知対象となる歩行者の画像が、並べられた処理領域のいずれかに十分な大きさで含まれているため、後述する手段によって検知が容易となる。
【００２３】
また、最低限の処理領域個数で検知したい範囲をカバーできるため、処理にかかる計算コストを低減できる。すなわち、設定した距離付近での検知性能を上げるとともに、計算量を最適化することが可能となる。
【００２４】
また、魚眼レンズやアナモルフィックレンズのように、ある距離を仮定したときに１画素あたりに映る実際の物体の大きさが、画像上の中央部と周辺部で異なるような場合には、一律に処理領域を設定する代わりに、画像上の部位に適応させて処理領域を変化させることで、さらに設定した距離付近での検知性能を改善することが可能となる。
【００２５】
変化率算出手段１０３は、車載カメラ１１１によって異なる時刻に撮像されて撮像画像取得手段１０１で取得された複数の撮像画像に対し、その画像間で対応する処理領域内における観測対象の大きさの変化率を算出する。変化率の算出は、例えば動的計画法を用いることができる。
【００２６】
動的計画法は、２つのパターンの対応付けをとる手法である。二次元の画像パターンの輝度値分布を、適切な１軸を仮定して一次元に投影し、この投影された一次元波形に対して動的計画法を適用する。
【００２７】
画像による歩行者の検知では、脚部開閉や腕の振り具合、荷物の所持といった歩行状態によって見かけの形状が時々刻々と変化するため、単純に画像間の対応付けをとって変化率を算出することは困難である。したがって、二次元の画像パターンの輝度値分布を一次元に投影することで（例えば図５を参照）、画像の変形に対して頑健な対応付けが可能となり、対応づけられた時刻の異なる画像間での変化率を計測することができる。
【００２８】
ここで、歩行者は、肩や腰といった横幅よりも、身長方向の縦幅のほうが長いため、画像上で計測する際には、画像の縦軸（Ｙ軸）上に投影することでより安定かつ高精度な変化率の計測が可能となる。すなわち、例えば拡大率が２％であるような場合、画像上で肩幅（水平）方向に５０画素の歩行者が５１画素になる際の１画素の変化よりも、画像上で身長（垂直）方向に２００画素の歩行者が２０４画素になる際の４画素分の変化の方が、撮像の際の量子化誤差を考慮すると、観測が安定かつ誤差が少なくなる。したがって、観測対象の変化率を算出する場合には、身長方向である縦軸（Ｙ軸）を投影に適切な軸として、縦軸への投影を組み合わせることで、変化率計測の安定性と精度を改善する効果がある。
【００２９】
なお、自車の加減速時や凹凸のある路面、勾配変化のある路面を走行するなど、車両のピッチ角が変化し、画像上では上下方向に対象が移動するような場合には、画像の横軸（Ｘ軸）上に投影し、幅の変化のみを観測するほうが、変化率計測の安定性と精度を改善できる。いずれの軸に投影するのが良いかは、車両のピッチ角度が変化状態にあるか否かを判断することで決定する。
【００３０】
例えば、アクセル開度のセンサや制動装置のセンサ，加速度センサ，車高センサなどのセンサ情報から得られる車両状態を時系列で観測し、車両状態の変化量が事前に設定した閾値より大きくなった場合にピッチ角が変化状態にあると判断できる。また、例えば白線やボッツドッツと呼ばれるレーン境界を画像上から抽出し、それらから算出される消失点座標のずれから車両のピッチ角が変化状態であることを推定することも可能である。
【００３１】
さらに、ローリングシャッタ方式のＣＭＯＳセンサのように画面全体で同時にシャッタ制御を行わず、画面の走査線毎に撮像タイミングが異なるような撮像デバイスにおいては、歩行中の歩行者の観測される位置が歪んで撮像されるため、走査線に直交する軸上に投影することで、時系列のズレを低減した拡大率の算出を行えるという効果がある。
【００３２】
図５、図６を用いて、変化率の算出方法の一例について説明する。
図５は、一次元の輝度値波形を示す図であり、図６は、一次元の輝度値波形から拡大率を算出する方法を説明する図である。図５（ａ）は、撮像時刻ｔ１の画像の処理領域内における輝度値をＹ軸に投影した波形図、図５（ｂ）は、撮像時刻ｔ１よりも後の時刻、すなわち撮像時刻ｔ１と異なる時刻である撮像時刻ｔ２の画像の処理領域内における輝度値をＹ軸に投影した波形図である。
【００３３】
変化率算出手段１０３は、図５（ａ）、（ｂ）に示すように、撮像時刻ｔ１および撮像時刻ｔ２における処理領域内の各画像５０１、５０２の輝度値を画像のＹ軸に対して投影し、一次元の輝度値波形５２１、５２２を生成する。大きさがｕ×ｖの処理領域内の各点の輝度値Ｉ（ｘ，ｙ）とすると、輝度値波形Ｊ（ｙ）は次式で求められる。
Ｊ（ｙ）＝ΣＩ（ｉ，ｊ） （１≦ｘ≦ｕ，ｊ＝ｙ）
撮像時刻ｔ１および撮像時刻ｔ２の画像に対する輝度値波形をＪ１，Ｊ２とすると、
（ｒｘｉ，ｒｙｉ）＝ａｒｇｍｉｎ Σ（Ｊ１（ｘｍ）−Ｊ２（ｙｎ））＾２
１≦ｍ≦ｕ， １≦ｎ≦ｖ， ｘｍ∈ｒｘｉ， ｙｎ∈ｒｙｉ
となる。
【００３４】
このときのｒｘｉ，ｒｙｉの傾きφ’が、撮像時刻ｔ１および撮像時刻ｔ２の各画像間で対応する処理領域内の歩行者の大きさの変化率を表す。この傾きφ’から単位時間間隔（Ｔ−ｔ１）における傾きφを算出し、単位時間間隔（Ｔ−ｔ１）における変化率を算出することができる（変化率＝１／傾きφ）。
【００３５】
撮像時刻ｔ１および撮像時刻ｔ２のときの、歩行者までの距離ｄ１，ｄ２、歩行者の画像上の大きさｓ１，ｓ２とおき、時刻Ｔのときの歩行者までの距離をｄＴ、歩行者の画像上の大きさをｓＴとする。また、ｔ１とｔ２とで歩行者の移動速度が大きくは変わらないと仮定すると、以下の式が成立する。
ｄ１×ｓ１＝ｄ２×ｓ２＝ｄＴ×ｓＴ
φ＝ｓＴ／ｓ１
φ’＝ｓ２／ｓ１
更に
φ＝１／｛１＋｛（Ｔ−ｔ１）／（ｔ２−ｔ２）｝×（ｓ１／ｓ２−１）｝φ’
＝（ｔ２−ｔ１）／｛（Ｔ−ｔ１）＋（ｔ２−Ｔ）×（ｓ２／ｓ１）｝φ’
となる。
なお、対応する処理領域とは、例えば自車が静止中の場合には画像の同一座標で良いが、自車が旋回移動中の場合は自車旋回角度に応じて座標を移動させてもよい。
【００３６】
例えば、図６（ａ）に示すように、撮像時刻ｔ１における輝度値５２１を縦軸にとり、撮像時刻ｔ２における輝度値５２２を横軸にとったグラフを作成すると、右肩上がりのグラフ線図が作成できる。このグラフ線図の任意の近似直線の傾斜角φが変化率となる。例えば撮像時刻ｔ１とｔ２で歩行者Ｍの大きさが全く変わっていない場合には、傾斜角φは４５度となるが、歩行者Ｍが車載カメラ１１１に接近するに応じて傾斜角φは小さくなり、変化率は大きくなる。
【００３７】
見かけ変形判定手段１０４は、観測対象の画像における脚部の見かけの変形を観測する脚部変形観測手段１０４ａと、観測対象の画像における腕部の見かけの変形を観測する腕部変形観測手段１０４ｂを備えている。見かけの変形とは、実際には変形していない三次元空間中の物体を、異なる複数の視点で観測するとき、カメラで撮像する際の撮像平面上に投影されるプロセスにおいて、アフィン変換の関係をもつ異なる複数の形状として観測されることを指している。脚部や腕部は関節以外では曲がらず各リンク長も変わらないが、撮像し画像平面に投影されると画像上では角度や長さが、カメラと人物の位置関係によって変化して見える。
【００３８】
脚部変形観測手段１０４ａでは、撮像時刻ｔ１と撮像時刻ｔ２において、処理領域内の下半分の見かけの変形を観測する。処理領域内に歩行者が含まれている場合、処理領域の下半分が脚部に相当するため、この下半分の見かけの変形の有無を判定することで、歩行者が静止しているのではなく、脚部を動かして歩行していることを見分けることができる。
【００３９】
歩行者の場合、脚部が変形するため、処理領域の下半分の画像の差分をとり、差分の輝度値を累積し、閾値と比較することで見かけが変形しているか否かを判定することができる。すなわち、撮像時刻ｔ１と撮像時刻ｔ２の大きさがｕ×ｖの処理領域内の各点の輝度値Ｉ１（ｘ，ｙ），Ｉ２（ｘ，ｙ）とし、変形している判定の閾値をＴｈｒ１とすると、変形している場合は次式が成立する。
Σ｜Ｉ１（ｉ，ｊ）−Ｉ２（ｉ，ｊ）｜ ≧ Ｔｈｒ１
１≦ｉ≦ｕ， ｖ／２≦ｊ≦ｖ
【００４０】
脚部変形観測手段１０４ａでは、上記の式に従って処理領域の下半分に対して、輝度値差分絶対値の累積を閾値Ｔｈｒ１と比較し、式が成立している場合には脚部が変形していると判定し、式が成立していない場合には脚部が変形していないと判定する。
【００４１】
腕部変形観測手段１０４ｂでは、脚部変形観測手段１０４ａと類似しているが、差分をとる領域が異なり、処理領域の上部１／８から１／２の間の領域について差分の輝度値を累積する。変形している判定の閾値をＴｈｒ２とすると、変形している場合は次式が成立する。
Σ｜Ｉ１（ｉ，ｊ）−Ｉ２（ｉ，ｊ）｜ ≧ Ｔｈｒ２
１≦ｉ≦ｕ， ｖ／８≦ｊ≦ｖ／２
【００４２】
腕部変形観測手段１０４ｂでは、上記の式に従って処理領域の上部領域に対して、輝度値差分絶対値の累積を閾値Ｔｈｒ２と比較し、式が成立している場合には腕部が変形していると判定し、式が成立していない場合には腕部が変形していないと判定する。なお、前述の式では処理領域の下半分の領域と上部１／８から１／２の間の領域を用いたが、人物形状を仮定してより柔軟に領域を設定しても構わない。
【００４３】
見かけ変形判定手段１０４は、脚部変形観測手段１０４ａと腕部変形観測手段１０４ｂの少なくとも一方により、見かけが変形していると判定された場合に、観測対象の画像の変形があると判定する。
【００４４】
対象挙動解析手段１０５は、変化率算出手段１０３と見かけ変形判定手段１０４の結果に基づき、観測対象が自車に対して相対的に接近する方向に移動している歩行者であるか否かを判定する。例えば、変化率算出手段１０３により観測対象の画像が拡大する方向に変化していると判定され、かつ、見かけ変形判定手段１０４により観測対象の画像が変形していると判定された場合に、観測対象が自車に相対的に接近している歩行者であると判定する。
【００４５】
警報出力判定手段１０６は、対象挙動解析手段１０５の解析結果に基づき、警報を出力するか否かを判定する。警報としては、スピーカ１１２へ警報音を出力したり、モニタ１１３に表示することが行われる。また、視線センサ１２３によってドライバの注視方向が既に検出された歩行者の方向を向いていると判断される場合には、スピーカ１１２やモニタ１１３への出力を抑制するようにしてもよい。
【００４６】
上記構成を有する車両周囲監視装置１００は、図示しない車両の電源装置からの電源供給が開始されると起動し、メモリのクリア等のシステムの初期化処理を行う。初期化完了後、接続されている映像入力手段および、センサ類との通信手段の機能が正常であるかどうか診断処理を行う。そして、初期化処理と診断処理の終了後、車両周辺監視機能の開始トリガの入力を待つ。
【００４７】
本実施の形態では、診断処理とは、撮像手段である車載カメラ１１１から同期信号が所定周期で得られているか、映像信号の輝度レベルが所定範囲内に収まっているか、車輪速センサ１２１や舵角センサ１２２との通信が正常に行われているか、を判断する。また、開始トリガとは、シフトポジションセンサから出力されたリバースを示す信号、車速を計測するセンサから得られた自車速が一定時間一定値以下であること、タッチパネルやスイッチなどによりユーザから指定したタイミングの３種類がある。
【００４８】
開始トリガが入力されると、撮像画像取得手段１０１を用いて車両周囲の撮像画像を取得する状態に移行し、開始トリガ以降は、所定の周期で撮像画像を取得するとともに、処理領域設定手段１０２，変化率算出手段１０３，見かけ変形判定手段１０４にそれぞれ入力される。
【００４９】
処理領域設定手段１０２では、変化率算出手段１０３で用いる１つの処理領域のサイズと、入力画像内での各処理領域の配置を決定する。例えば、水平画角３８度，垂直画角３０度で、７２０×４８０画素の解像度を持つ車載カメラ１１１において、４０ｍ先にいる身長１６０ｃｍ，肩幅６０ｃｍの歩行者を検出する場合、車載カメラ１１１の解像度が中央部と周辺部でほぼ同一であると考えると、この歩行者はおよそ横幅ｕ＝１６画素（ｐｉｘｅｌ），縦幅ｖ＝３６画素（ｐｉｘｅｌ）として観測されることになる。
【００５０】
この検知対象のサイズが１つの処理領域のサイズとなる。このように処理領域のサイズを設定することで、処理領域内に占める歩行者領域の割合を大きくすることができ、システムにとって必要な検知距離における検知性能を向上させることが可能となる。
【００５１】
また、このサイズの各処理領域を入力画像内で配置する際には、検出対象として仮定した距離の歩行者中心部が含まれる位置に配置することが望ましい。例えば、車載カメラ１１１が、歩行者の腰付近の高さに設置されている場合には、地平線が含まれるように各処理領域を配置することが好適である。このように処理領域を配置することで、歩行者の距離が仮定した距離と異なっていても、処理領域のおよそ中央部で歩行者領域を捉えることができ、各距離での歩行者の検知性能を向上させることが可能になる。
【００５２】
なお、車両近傍での検知性能を向上させるために、異なる複数の距離を仮定し、それらから計算される画像上の歩行者サイズが含まれるように１つの処理領域のサイズを設定してもよい。すなわち、前述のカメラで４０ｍ先の歩行者は１６×３６画素（ｐｉｘｅｌ）であるが、２０ｍ先の歩行者は３２×７２画素（ｐｉｘｅｌ）となる。
【００５３】
変化率算出手段１０３において、縦軸方向に投影して歩行者の画像の変化率を算出する場合には、処理領域の上部および下部に歩行者以外の背景画像が含まれていても問題ないが、左右部に背景画像が含まれると検知性能が低下することから、処理領域を１６×７２画素（ｐｉｘｅｌ）と設定する。このように処理領域のサイズを設定することで、仮定する距離と異なる距離での歩行者の検知性能を向上させることが可能となる。
【００５４】
また、自車両の車速に応じて仮定する歩行者との距離を変更してもよい。例えば、ＴＴＣ（衝突までの時間，Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）＝２秒とおくと、時速４０ｋｍ／ｈで２２ｍ，時速６０ｋｍ／ｈで３３ｍが、自車の走行にとって危険な距離となる。こうして仮定する歩行者との距離を自車走行速度に応じて変更することで、走行シーンに合った歩行者の検知を行うことができるようになる。例えば、低速走行時に遠方での過剰な検知を抑制したり、高速走行時に遠方での検知性能を向上したりすることが可能となり、利便性が高まる効果がある。
【００５５】
変化率算出手段１０３は、撮像画像取得手段１０１により画像を取得すると、まず画像メモリに蓄積し、次に取得した画像と蓄積された画像との間で前述した動的計画法を用いて、画像間の対応付けを算出する。本実施の形態では、入力画像と蓄積画像の処理領域を、それぞれ縦軸への投影後に、高さ方向の対応付けを動的計画法にて算出し、拡大率を算出することを考える。
【００５６】
例えば、処理領域のサイズを横幅Ｎ×縦幅１５とし、入力画像の処理領域を縦軸に投影した一次元のパターンをＩ［１５］、蓄積画像の処理領域を縦軸に投影した一次元のパターンをＪ［１５］としたとき、投影後のパターン列として下記が得られたとする。
I[15] = {0, 0, 4, 5, 4, 2, 3, 6, 8, 9, 9, 9, 3, 0, 0}
J[15] = {0, 4, 5, 5, 4, 2, 2, 3, 7, 8, 9, 9, 9, 3, 0}
【００５７】
このパターンの動的計画法での対応付けを行うと、Ｉ［２］とＪ［１］，Ｉ［１２］とＪ［１３］が、それぞれ対応付けられることになる。ただし、Ｉ［０］，Ｊ［０］はそれぞれの最初の要素、Ｉ［１４］，Ｊ［１４］はそれぞれの最後の要素を指しているものとする。
【００５８】
また、この投影されたパターンの全体が歩行者領域のみで占められているわけではなく、上下部分には背景領域が混入している可能性があるため、変化率の計算では対応づけられている中央部分のみを取り出して使用する。上下部分の無効領域をどの程度に設定するかは処理領域設定手段での仮定により変わるが、本実施例では上下それぞれパターン長の約１割を除去した後の中央部分を用いるものとする。このときのＪのＩに対する拡大率は、（１３−１＋１）／（１２−２＋１）＝１．１８として計算される。この計算結果を対象挙動解析手段に送る。
【００５９】
こうして、一次元パターンに投影し、複数の撮像時刻間のパターン間の対応付けを算出し、対応付け結果の中央部分の拡大率を用いることで、仮定した検知対象の距離以外でも安定して変化率観測が可能となるという効果がある。
【００６０】
なお、対象が静止、もしくは自車両の移動速度よりも低速であるとき、車速や車輪速パルスなどからデッドレコニング法を用いて自車の移動量を算出すると、この移動量と変化率から、歩行者までの距離が計測できる。すなわち、自車と歩行者までの距離がＸから（Ｘ−Ｄ）に移動する間の変化率がＳの場合、対象までの距離をＤとすると、次式が成り立つ。
Ｘ：（Ｘ−Ｄ）＝Ｓ：１
【００６１】
自車が３ｍ移動する間に拡大率が１．１８の場合、歩行者までの距離は、１９．６７ｍと算出できる。こうして算出した距離は、拡大している対象が危険か否かを判断するために使うことができる。
【００６２】
見かけ変形判定手段１０４では、入力画像と蓄積画像とが見かけ上変形しているか否かを判定する。脚部変形観測手段１０４ａでは、前述したように、処理領域を歩行者中心部が含まれる位置に配置しており、処理領域のうち地平線よりも下部を脚部領域として扱う。入力画像と蓄積画像のそれぞれ処理領域のうち地平線よりも下部の領域について、ＳＡＤ（差分絶対値総和，Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。
【００６３】
腕部変形観測手段１０４ｂでは、脚部変形観測手段１０４ａと類似しているが、差分をとる領域が異なり、処理領域のうち地平線よりも上側の領域の変形を判定する。前述したとおり、入力画像と蓄積画像のそれぞれ処理領域のうち地平線よりも上部の領域について、ＳＡＤを算出する。見かけ変形判定手段１０４は、各ＳＡＤと所定の閾値と大小を比較することで、見かけ上の変形が発生しているか否かを判定し、その判定結果を対象挙動解析手段１０５に送る。
【００６４】
対象挙動解析手段１０５は、変化率算出手段１０３で算出された歩行者の画像の変化率のみでは、自車が移動している場合には、静止している壁等と歩行者とが判別できない。したがって、自車の挙動を解析する車両挙動解析手段１０５ａからの情報に基づいて歩行者の判別を行う。
【００６５】
車両挙動解析手段１０５ａは、自車の舵角と車速、あるいは各タイヤの車輪回転が分かると、自車が動いた距離と姿勢を算出することができる。例えば、アッカーマン・ジャントゥモデルを用いると、車輪速センサ１２１と舵角センサ１２２の出力値Ｖ（ｔ），δ（ｔ）から、車両の位置（ｘ，ｙ）および回転角度θを求めることができる。アッカーマン・ジャントゥモデルは、車両の操舵輪における内輪と外輪の切れ角を同一とし、内輪と外輪の車軸中心に１輪にまとめた操舵輪として定義したモデルである。車両のホイールベースをＬｗとすると、以下の状態方程式が定義できる。
ｄｘ／ｄｔ＝Ｖ（ｔ）×ｃｏｓθ（ｔ）
ｄｙ／ｄｔ＝Ｖ（ｔ）×ｓｉｎθ（ｔ）
ｄθ／ｄｔ＝Ｖ（ｔ）×ｔａｎδ（ｔ）÷Ｌｗ
これを解くことにより、自車の位置と回転角度を求めることができる。
【００６６】
対象挙動解析手段１０５では、変化率算出手段１０３から得られた変化率が閾値以上、例えば、自車速が４０ｋｍ／ｈで走行中で、検知距離を２０ｍ以内と設定した場合には、１．０５以上の拡大率の検知領域に含まれる領域で、さらに、脚部変形観測手段１０４ａまたは、腕変形観測手段１０４ｂの少なくとも一方が変形していると判定していれば、観測対象は歩行者であると判定する。この判定結果は警報出力判定手段１０６に送られる。
【００６７】
警報出力判定手段１０６は、例えば、３００ｍｓｅｃなど一定の時間間隔に、対象挙動解析手段１０５から３回の歩行者接近の判定結果が来た場合、スピーカ１１２へ警報音を出力したり、撮像画像取得手段１０１で取得した画像中の処理領域部分に赤枠やアイコンを重畳してモニタ１１３に出力する。
【００６８】
以上、本実施の形態について詳述したが、本発明は、前記の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００６９】
１００ 車両周囲監視装置
１０１ 画像取得手段
１０２ 処理領域設定手段
１０３ 変化率算出手段
１０４ 見かけ変形判定手段
１０４ａ 脚部変形判定手段
１０４ｂ 腕部変形判定手段
１０５ 対象挙動解析手段
１０６ 警報出力判定手段
１１１ 車載カメラ
Ｍ 歩行者
【技術分野】
【０００１】
本発明は、車載カメラで撮像した車両周囲の画像から、自車に接近する可能性のある歩行者を検出する車両周囲監視装置に関する。
【背景技術】
【０００２】
従来より、車両に２台のカメラを搭載し、各カメラにより撮像された車両周囲の画像から抽出された同一の監視対象物の画像部分のずれ（視差）に基づいて、三角測量の原理により監視対象物と車両との距離を検出するようにした車両周囲監視装置が提案されている（例えば、特許文献１参照）。
【０００３】
かかる従来の車両周囲監視装置によれば、車両周辺の監視対象物と車両との距離を算出して、該距離により監視対象物の位置の画像座標から実空間座標への変換処理を行い、実空間における監視対象物の移動ベクトルを求めて、監視対象物と車両の接触可能性を判定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−６０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、視差に基づいて監視対象物との距離を検出する場合には、２台のカメラを備えることによるコストアップを伴うと共に、両カメラの光軸調節を厳密に行わなければならない等の面倒な設置作業が必要となるという不都合があった。
【０００６】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、簡単な構成で自車と接触する可能性のある歩行者を容易に検出することが可能な車両周囲監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明の車両周囲監視装置は、車載カメラによって異なる時刻に撮像された複数の撮像画像間における観測対象の画像の大きさの変化率と、撮像画像間における観測対象の画像の変形の有無に基づいて、観測対象が自車に対して相対的に接近移動している歩行者であるか否かを判定する。
【発明の効果】
【０００８】
本発明によれば、簡単な構成で自車と接触する可能性のある歩行者を容易に検出することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態に係わる車両周囲監視装置のシステム構成図。
【図２】撮像装置から得られた画像の例を示す図。
【図３】各時刻における自車周囲と対象の相対関係を説明する図。
【図４】処理領域設定のための仮定を説明する図。
【図５】一次元の輝度値波形を示す図。
【図６】一次元の輝度値波形から拡大率を算出する方法を説明する図。
【発明を実施するための形態】
【００１０】
次に、本実施の形態に係わる車両周囲監視装置について図面を用いて説明する。
図１は本実施の形態に係わる車両周囲監視装置の構成を説明する図である。
車両周囲監視装置１００は、歩行者が自車に対して相対的に接近する方向に移動しているか否かを監視するためのものであり、図示していない画像処理ＥＣＵ内に構成されている。車両周囲監視装置１００は、画像処理ＥＣＵ内に構成されるものに限定されず、専用のＥＣＵや、車載カメラ１１１のＥＣＵ等の他の車載ＥＣＵに構成されていてもよく、また、複数のＥＣＵの組み合わせによって構成されていてもよい。
【００１１】
車両周囲監視装置１００は、図１に示すように、車載カメラ１１１によって異なる時刻に撮像された複数の撮像画像を取得する撮像画像取得手段１０１と、撮像画像取得手段１０１で取得した撮像画像内に観測対象を検知するための処理領域を設定する処理領域設定手段１０２と、前記撮像画像間で前記処理領域内における観測対象の画像の大きさの変化率を算出する変化率算出手段１０３と、前記撮像画像間で前記処理領域内における観測対象の画像の変形の有無を判定する見かけ変形判定手段１０４と、変化率算出手段１０３で算出された変化率と見かけ変形判定手段１０４による見かけ変形判定の判定結果に基づいて、観測対象が自車に対して相対的に接近する方向に移動している歩行者であるか否かを判定する対象挙動解析手段１０５と、対象挙動解析手段１０５の解析結果に基づいて警報出力を行うか否かを判定する警報出力判定手段１０６を有する。
【００１２】
車両周囲監視装置１００の入力側には、車両前方あるいは後方などの自車両周辺を観測するための車載カメラ１１１と、車両の各車輪の回転速度を得る車輪速センサ１２１と、ハンドルの回転角度を得る舵角センサ１２２と、ドライバの注視方向を検出する視線センサ１２３が接続されており、出力側には、警報音を出力するためのスピーカ１１２と、警報を出力した対象を表示するためのモニタ１１３が接続されている。車載カメラ１１１は、いわゆる単眼カメラであり、自車の周囲を撮像するために車両に取り付けられている。車載カメラ１１１は、車両後方を撮像するリアカメラに限定されるものではなく、車両前方を撮像するフロントカメラや、車両側方を撮像するサイドカメラであってもよく、これらを全て備えたものであってもよい。
【００１３】
次に、車両周囲監視装置１００の各構成について詳細に説明する。
撮像画像取得手段１０１は、車載カメラ１１１から出力されるアナログの映像信号を、デジタルデータに変換して画像メモリに取り込む。その際、撮像した時刻または画像メモリに取り込んだ時刻（以下、撮像時刻と呼ぶ）を、画像メモリに取り込んだ画像データと対応づけて保持することで、計算負荷による処理周期の変動の影響を受けず、単位時間あたりのパターンの拡大率を算出することができるという効果がある。なお、計算負荷を考慮せずに、予め定められた時間間隔をおいて定周期で撮像することもでき、その場合には撮像時刻の保持を省略しても構わない。撮像時刻の保持を省略することで、メモリ使用量の削減と映像取得処理の高速化の効果が期待できる。ＢＴ６０１規格などの一般的なアナログ映像信号の場合、デジタルデータに変換する仕様は定まっており、Ａ／Ｄ変換ＩＣチップなども市販されているため、ここでは詳細の変換方法は割愛する。
【００１４】
図２は、撮像時刻ｔ１、ｔ２において車載カメラで撮像された画像、図３は、図２の状況を上方から俯瞰的にみた場合の模式図である。歩行者Ｍは、撮像時刻ｔ１では、図３（ａ）の状況３０１に示すように、自車３１１から後方に離れた位置に立っており、図２（ａ）の画像２０１では小さく撮像されているが、撮像時刻ｔ２では、図３（ｂ）の状況３０２に示すように、自車３１１に対して相対的に接近する方向に移動しており、図２（ｂ）の画像２０２では、画像２０１よりも大きく撮像されている。
【００１５】
処理領域設定手段１０２は、画像メモリ上に複数の処理領域を設定する。検知したい歩行者の距離および大きさを仮定すると、画像上で観測できる観測対象の大きさを算出することができる。この観測対象の大きさを有する処理領域を、互いに少しずつ重なるように画面上に並べて設定する。処理領域設定手段１０２は、後述する車両挙動解析手段１０５ａからの車両挙動解析の結果に基づいて、各処理領域の位置を変化させる。例えば自車が旋回中には、画像中に設定した処理領域に対応する三次元空間中の位置と、自車両との相対関係が変化するため、一旦設定した処理領域を旋回量に合わせて再設定する。
【００１６】
図４を用いて、観測対象の大きさの算出方法について説明する。
図４は、処理領域設定方法を説明する図であり、図４（ａ）は車両と歩行者の位置関係を側方から示す図、図４（ｂ）は図４（ａ）に示す状況を上方から俯瞰的に示す図である。
【００１７】
車両４０１は、図１の車載カメラ１１１の例としてリアカメラ４０２を有している。車両４０１の後方には、歩行者Ｍが立っていると仮定する。図４（ａ）、（ｂ）に示すように、リアカメラ４０２から歩行者Ｍまでの距離をＤ、歩行者Ｍの大きさを、幅Ｗ、高さＨと仮定し、リアカメラ４０２の焦点距離をｆ、実世界の距離と画像上の距離の変換係数をｃｕ，ｃｖとする。また、画像上の歩行者Ｍの大きさを幅ｕ、高さｖとすると、以下の式が成り立つ。
Ｗ：Ｄ＝ｕ：ｆ Ｈ：Ｄ＝ｖ：ｆ
これより、
ｕ＝ｆ×Ｗ÷Ｄ×ｃｕ
ｖ＝ｆ×Ｈ÷Ｄ×ｃｖ
このｕ×ｖを１つの処理領域のサイズとする。
【００１８】
このように定められたサイズの処理領域を、互いに一部が重なるように撮像画像内に配置する。この処理領域の重なり量は、例えば歩行者Ｍの幅ｕの５０％として設定する。こうすることで、歩行者が処理領域の正確に中央に存在していない場合であっても、少なくとも領域の５０％以上は歩行者領域のテクスチャが占めるため、歩行者後方の背景パターンの影響が少なくなり、都合良くパターンの拡大率を算出することができるようになる。
【００１９】
また、前述した処理領域設定手段１０２は、車両挙動解析の結果に基づいて各処理領域の位置を変化させる際、歩行者Ｍの移動量と自車の移動量に基づき算出される相対的な移動量を画像平面に投影した分だけ、処理領域を移動して設定する。こうすることで、自車が移動中であっても歩行者を同一の処理領域で捉え続けることができるようになる。
【００２０】
なお、歩行者Ｍの実環境中での移動量が十分少ないことが想定される場合、相対的な移動量に対して自車挙動に起因する割合が大きくなるため、自車の移動量のみに合わせて処理領域を移動して設定してもよい。また、十分に処理領域を密に配置している場合、各処理領域の位置自体を変える代わりに、計算される相対的な移動量に合わせて互いに異なる処理領域間での拡大率を計算してもよい。
【００２１】
車両挙動解析手段１０５ａは、舵角センサ１２２で検出した操舵角、および車輪速センサ１２１から検出され、算出された車速・各車輪速・各タイヤの回転量などを入力として、車軸長・ホイールベースなどの知識を用いて、走行に伴う自車位置および旋回角度の変化量を計算する。この計算結果を蓄積することで、世界座標系における基準点からの自車位置を算出することができる。なお、世界座標系における基準点は、システム起動時や画像認識動作開始時などの地点が座標系原点になるようにリセットしたり、ＧＰＳシステムによる自車位置測位結果を用いて地球上の緯度経度に対して設定すればよい。
【００２２】
前述のように処理領域を設定することで、少なくとも仮定した距離において、検知対象となる歩行者の画像が、並べられた処理領域のいずれかに十分な大きさで含まれているため、後述する手段によって検知が容易となる。
【００２３】
また、最低限の処理領域個数で検知したい範囲をカバーできるため、処理にかかる計算コストを低減できる。すなわち、設定した距離付近での検知性能を上げるとともに、計算量を最適化することが可能となる。
【００２４】
また、魚眼レンズやアナモルフィックレンズのように、ある距離を仮定したときに１画素あたりに映る実際の物体の大きさが、画像上の中央部と周辺部で異なるような場合には、一律に処理領域を設定する代わりに、画像上の部位に適応させて処理領域を変化させることで、さらに設定した距離付近での検知性能を改善することが可能となる。
【００２５】
変化率算出手段１０３は、車載カメラ１１１によって異なる時刻に撮像されて撮像画像取得手段１０１で取得された複数の撮像画像に対し、その画像間で対応する処理領域内における観測対象の大きさの変化率を算出する。変化率の算出は、例えば動的計画法を用いることができる。
【００２６】
動的計画法は、２つのパターンの対応付けをとる手法である。二次元の画像パターンの輝度値分布を、適切な１軸を仮定して一次元に投影し、この投影された一次元波形に対して動的計画法を適用する。
【００２７】
画像による歩行者の検知では、脚部開閉や腕の振り具合、荷物の所持といった歩行状態によって見かけの形状が時々刻々と変化するため、単純に画像間の対応付けをとって変化率を算出することは困難である。したがって、二次元の画像パターンの輝度値分布を一次元に投影することで（例えば図５を参照）、画像の変形に対して頑健な対応付けが可能となり、対応づけられた時刻の異なる画像間での変化率を計測することができる。
【００２８】
ここで、歩行者は、肩や腰といった横幅よりも、身長方向の縦幅のほうが長いため、画像上で計測する際には、画像の縦軸（Ｙ軸）上に投影することでより安定かつ高精度な変化率の計測が可能となる。すなわち、例えば拡大率が２％であるような場合、画像上で肩幅（水平）方向に５０画素の歩行者が５１画素になる際の１画素の変化よりも、画像上で身長（垂直）方向に２００画素の歩行者が２０４画素になる際の４画素分の変化の方が、撮像の際の量子化誤差を考慮すると、観測が安定かつ誤差が少なくなる。したがって、観測対象の変化率を算出する場合には、身長方向である縦軸（Ｙ軸）を投影に適切な軸として、縦軸への投影を組み合わせることで、変化率計測の安定性と精度を改善する効果がある。
【００２９】
なお、自車の加減速時や凹凸のある路面、勾配変化のある路面を走行するなど、車両のピッチ角が変化し、画像上では上下方向に対象が移動するような場合には、画像の横軸（Ｘ軸）上に投影し、幅の変化のみを観測するほうが、変化率計測の安定性と精度を改善できる。いずれの軸に投影するのが良いかは、車両のピッチ角度が変化状態にあるか否かを判断することで決定する。
【００３０】
例えば、アクセル開度のセンサや制動装置のセンサ，加速度センサ，車高センサなどのセンサ情報から得られる車両状態を時系列で観測し、車両状態の変化量が事前に設定した閾値より大きくなった場合にピッチ角が変化状態にあると判断できる。また、例えば白線やボッツドッツと呼ばれるレーン境界を画像上から抽出し、それらから算出される消失点座標のずれから車両のピッチ角が変化状態であることを推定することも可能である。
【００３１】
さらに、ローリングシャッタ方式のＣＭＯＳセンサのように画面全体で同時にシャッタ制御を行わず、画面の走査線毎に撮像タイミングが異なるような撮像デバイスにおいては、歩行中の歩行者の観測される位置が歪んで撮像されるため、走査線に直交する軸上に投影することで、時系列のズレを低減した拡大率の算出を行えるという効果がある。
【００３２】
図５、図６を用いて、変化率の算出方法の一例について説明する。
図５は、一次元の輝度値波形を示す図であり、図６は、一次元の輝度値波形から拡大率を算出する方法を説明する図である。図５（ａ）は、撮像時刻ｔ１の画像の処理領域内における輝度値をＹ軸に投影した波形図、図５（ｂ）は、撮像時刻ｔ１よりも後の時刻、すなわち撮像時刻ｔ１と異なる時刻である撮像時刻ｔ２の画像の処理領域内における輝度値をＹ軸に投影した波形図である。
【００３３】
変化率算出手段１０３は、図５（ａ）、（ｂ）に示すように、撮像時刻ｔ１および撮像時刻ｔ２における処理領域内の各画像５０１、５０２の輝度値を画像のＹ軸に対して投影し、一次元の輝度値波形５２１、５２２を生成する。大きさがｕ×ｖの処理領域内の各点の輝度値Ｉ（ｘ，ｙ）とすると、輝度値波形Ｊ（ｙ）は次式で求められる。
Ｊ（ｙ）＝ΣＩ（ｉ，ｊ） （１≦ｘ≦ｕ，ｊ＝ｙ）
撮像時刻ｔ１および撮像時刻ｔ２の画像に対する輝度値波形をＪ１，Ｊ２とすると、
（ｒｘｉ，ｒｙｉ）＝ａｒｇｍｉｎ Σ（Ｊ１（ｘｍ）−Ｊ２（ｙｎ））＾２
１≦ｍ≦ｕ， １≦ｎ≦ｖ， ｘｍ∈ｒｘｉ， ｙｎ∈ｒｙｉ
となる。
【００３４】
このときのｒｘｉ，ｒｙｉの傾きφ’が、撮像時刻ｔ１および撮像時刻ｔ２の各画像間で対応する処理領域内の歩行者の大きさの変化率を表す。この傾きφ’から単位時間間隔（Ｔ−ｔ１）における傾きφを算出し、単位時間間隔（Ｔ−ｔ１）における変化率を算出することができる（変化率＝１／傾きφ）。
【００３５】
撮像時刻ｔ１および撮像時刻ｔ２のときの、歩行者までの距離ｄ１，ｄ２、歩行者の画像上の大きさｓ１，ｓ２とおき、時刻Ｔのときの歩行者までの距離をｄＴ、歩行者の画像上の大きさをｓＴとする。また、ｔ１とｔ２とで歩行者の移動速度が大きくは変わらないと仮定すると、以下の式が成立する。
ｄ１×ｓ１＝ｄ２×ｓ２＝ｄＴ×ｓＴ
φ＝ｓＴ／ｓ１
φ’＝ｓ２／ｓ１
更に
φ＝１／｛１＋｛（Ｔ−ｔ１）／（ｔ２−ｔ２）｝×（ｓ１／ｓ２−１）｝φ’
＝（ｔ２−ｔ１）／｛（Ｔ−ｔ１）＋（ｔ２−Ｔ）×（ｓ２／ｓ１）｝φ’
となる。
なお、対応する処理領域とは、例えば自車が静止中の場合には画像の同一座標で良いが、自車が旋回移動中の場合は自車旋回角度に応じて座標を移動させてもよい。
【００３６】
例えば、図６（ａ）に示すように、撮像時刻ｔ１における輝度値５２１を縦軸にとり、撮像時刻ｔ２における輝度値５２２を横軸にとったグラフを作成すると、右肩上がりのグラフ線図が作成できる。このグラフ線図の任意の近似直線の傾斜角φが変化率となる。例えば撮像時刻ｔ１とｔ２で歩行者Ｍの大きさが全く変わっていない場合には、傾斜角φは４５度となるが、歩行者Ｍが車載カメラ１１１に接近するに応じて傾斜角φは小さくなり、変化率は大きくなる。
【００３７】
見かけ変形判定手段１０４は、観測対象の画像における脚部の見かけの変形を観測する脚部変形観測手段１０４ａと、観測対象の画像における腕部の見かけの変形を観測する腕部変形観測手段１０４ｂを備えている。見かけの変形とは、実際には変形していない三次元空間中の物体を、異なる複数の視点で観測するとき、カメラで撮像する際の撮像平面上に投影されるプロセスにおいて、アフィン変換の関係をもつ異なる複数の形状として観測されることを指している。脚部や腕部は関節以外では曲がらず各リンク長も変わらないが、撮像し画像平面に投影されると画像上では角度や長さが、カメラと人物の位置関係によって変化して見える。
【００３８】
脚部変形観測手段１０４ａでは、撮像時刻ｔ１と撮像時刻ｔ２において、処理領域内の下半分の見かけの変形を観測する。処理領域内に歩行者が含まれている場合、処理領域の下半分が脚部に相当するため、この下半分の見かけの変形の有無を判定することで、歩行者が静止しているのではなく、脚部を動かして歩行していることを見分けることができる。
【００３９】
歩行者の場合、脚部が変形するため、処理領域の下半分の画像の差分をとり、差分の輝度値を累積し、閾値と比較することで見かけが変形しているか否かを判定することができる。すなわち、撮像時刻ｔ１と撮像時刻ｔ２の大きさがｕ×ｖの処理領域内の各点の輝度値Ｉ１（ｘ，ｙ），Ｉ２（ｘ，ｙ）とし、変形している判定の閾値をＴｈｒ１とすると、変形している場合は次式が成立する。
Σ｜Ｉ１（ｉ，ｊ）−Ｉ２（ｉ，ｊ）｜ ≧ Ｔｈｒ１
１≦ｉ≦ｕ， ｖ／２≦ｊ≦ｖ
【００４０】
脚部変形観測手段１０４ａでは、上記の式に従って処理領域の下半分に対して、輝度値差分絶対値の累積を閾値Ｔｈｒ１と比較し、式が成立している場合には脚部が変形していると判定し、式が成立していない場合には脚部が変形していないと判定する。
【００４１】
腕部変形観測手段１０４ｂでは、脚部変形観測手段１０４ａと類似しているが、差分をとる領域が異なり、処理領域の上部１／８から１／２の間の領域について差分の輝度値を累積する。変形している判定の閾値をＴｈｒ２とすると、変形している場合は次式が成立する。
Σ｜Ｉ１（ｉ，ｊ）−Ｉ２（ｉ，ｊ）｜ ≧ Ｔｈｒ２
１≦ｉ≦ｕ， ｖ／８≦ｊ≦ｖ／２
【００４２】
腕部変形観測手段１０４ｂでは、上記の式に従って処理領域の上部領域に対して、輝度値差分絶対値の累積を閾値Ｔｈｒ２と比較し、式が成立している場合には腕部が変形していると判定し、式が成立していない場合には腕部が変形していないと判定する。なお、前述の式では処理領域の下半分の領域と上部１／８から１／２の間の領域を用いたが、人物形状を仮定してより柔軟に領域を設定しても構わない。
【００４３】
見かけ変形判定手段１０４は、脚部変形観測手段１０４ａと腕部変形観測手段１０４ｂの少なくとも一方により、見かけが変形していると判定された場合に、観測対象の画像の変形があると判定する。
【００４４】
対象挙動解析手段１０５は、変化率算出手段１０３と見かけ変形判定手段１０４の結果に基づき、観測対象が自車に対して相対的に接近する方向に移動している歩行者であるか否かを判定する。例えば、変化率算出手段１０３により観測対象の画像が拡大する方向に変化していると判定され、かつ、見かけ変形判定手段１０４により観測対象の画像が変形していると判定された場合に、観測対象が自車に相対的に接近している歩行者であると判定する。
【００４５】
警報出力判定手段１０６は、対象挙動解析手段１０５の解析結果に基づき、警報を出力するか否かを判定する。警報としては、スピーカ１１２へ警報音を出力したり、モニタ１１３に表示することが行われる。また、視線センサ１２３によってドライバの注視方向が既に検出された歩行者の方向を向いていると判断される場合には、スピーカ１１２やモニタ１１３への出力を抑制するようにしてもよい。
【００４６】
上記構成を有する車両周囲監視装置１００は、図示しない車両の電源装置からの電源供給が開始されると起動し、メモリのクリア等のシステムの初期化処理を行う。初期化完了後、接続されている映像入力手段および、センサ類との通信手段の機能が正常であるかどうか診断処理を行う。そして、初期化処理と診断処理の終了後、車両周辺監視機能の開始トリガの入力を待つ。
【００４７】
本実施の形態では、診断処理とは、撮像手段である車載カメラ１１１から同期信号が所定周期で得られているか、映像信号の輝度レベルが所定範囲内に収まっているか、車輪速センサ１２１や舵角センサ１２２との通信が正常に行われているか、を判断する。また、開始トリガとは、シフトポジションセンサから出力されたリバースを示す信号、車速を計測するセンサから得られた自車速が一定時間一定値以下であること、タッチパネルやスイッチなどによりユーザから指定したタイミングの３種類がある。
【００４８】
開始トリガが入力されると、撮像画像取得手段１０１を用いて車両周囲の撮像画像を取得する状態に移行し、開始トリガ以降は、所定の周期で撮像画像を取得するとともに、処理領域設定手段１０２，変化率算出手段１０３，見かけ変形判定手段１０４にそれぞれ入力される。
【００４９】
処理領域設定手段１０２では、変化率算出手段１０３で用いる１つの処理領域のサイズと、入力画像内での各処理領域の配置を決定する。例えば、水平画角３８度，垂直画角３０度で、７２０×４８０画素の解像度を持つ車載カメラ１１１において、４０ｍ先にいる身長１６０ｃｍ，肩幅６０ｃｍの歩行者を検出する場合、車載カメラ１１１の解像度が中央部と周辺部でほぼ同一であると考えると、この歩行者はおよそ横幅ｕ＝１６画素（ｐｉｘｅｌ），縦幅ｖ＝３６画素（ｐｉｘｅｌ）として観測されることになる。
【００５０】
この検知対象のサイズが１つの処理領域のサイズとなる。このように処理領域のサイズを設定することで、処理領域内に占める歩行者領域の割合を大きくすることができ、システムにとって必要な検知距離における検知性能を向上させることが可能となる。
【００５１】
また、このサイズの各処理領域を入力画像内で配置する際には、検出対象として仮定した距離の歩行者中心部が含まれる位置に配置することが望ましい。例えば、車載カメラ１１１が、歩行者の腰付近の高さに設置されている場合には、地平線が含まれるように各処理領域を配置することが好適である。このように処理領域を配置することで、歩行者の距離が仮定した距離と異なっていても、処理領域のおよそ中央部で歩行者領域を捉えることができ、各距離での歩行者の検知性能を向上させることが可能になる。
【００５２】
なお、車両近傍での検知性能を向上させるために、異なる複数の距離を仮定し、それらから計算される画像上の歩行者サイズが含まれるように１つの処理領域のサイズを設定してもよい。すなわち、前述のカメラで４０ｍ先の歩行者は１６×３６画素（ｐｉｘｅｌ）であるが、２０ｍ先の歩行者は３２×７２画素（ｐｉｘｅｌ）となる。
【００５３】
変化率算出手段１０３において、縦軸方向に投影して歩行者の画像の変化率を算出する場合には、処理領域の上部および下部に歩行者以外の背景画像が含まれていても問題ないが、左右部に背景画像が含まれると検知性能が低下することから、処理領域を１６×７２画素（ｐｉｘｅｌ）と設定する。このように処理領域のサイズを設定することで、仮定する距離と異なる距離での歩行者の検知性能を向上させることが可能となる。
【００５４】
また、自車両の車速に応じて仮定する歩行者との距離を変更してもよい。例えば、ＴＴＣ（衝突までの時間，Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）＝２秒とおくと、時速４０ｋｍ／ｈで２２ｍ，時速６０ｋｍ／ｈで３３ｍが、自車の走行にとって危険な距離となる。こうして仮定する歩行者との距離を自車走行速度に応じて変更することで、走行シーンに合った歩行者の検知を行うことができるようになる。例えば、低速走行時に遠方での過剰な検知を抑制したり、高速走行時に遠方での検知性能を向上したりすることが可能となり、利便性が高まる効果がある。
【００５５】
変化率算出手段１０３は、撮像画像取得手段１０１により画像を取得すると、まず画像メモリに蓄積し、次に取得した画像と蓄積された画像との間で前述した動的計画法を用いて、画像間の対応付けを算出する。本実施の形態では、入力画像と蓄積画像の処理領域を、それぞれ縦軸への投影後に、高さ方向の対応付けを動的計画法にて算出し、拡大率を算出することを考える。
【００５６】
例えば、処理領域のサイズを横幅Ｎ×縦幅１５とし、入力画像の処理領域を縦軸に投影した一次元のパターンをＩ［１５］、蓄積画像の処理領域を縦軸に投影した一次元のパターンをＪ［１５］としたとき、投影後のパターン列として下記が得られたとする。
I[15] = {0, 0, 4, 5, 4, 2, 3, 6, 8, 9, 9, 9, 3, 0, 0}
J[15] = {0, 4, 5, 5, 4, 2, 2, 3, 7, 8, 9, 9, 9, 3, 0}
【００５７】
このパターンの動的計画法での対応付けを行うと、Ｉ［２］とＪ［１］，Ｉ［１２］とＪ［１３］が、それぞれ対応付けられることになる。ただし、Ｉ［０］，Ｊ［０］はそれぞれの最初の要素、Ｉ［１４］，Ｊ［１４］はそれぞれの最後の要素を指しているものとする。
【００５８】
また、この投影されたパターンの全体が歩行者領域のみで占められているわけではなく、上下部分には背景領域が混入している可能性があるため、変化率の計算では対応づけられている中央部分のみを取り出して使用する。上下部分の無効領域をどの程度に設定するかは処理領域設定手段での仮定により変わるが、本実施例では上下それぞれパターン長の約１割を除去した後の中央部分を用いるものとする。このときのＪのＩに対する拡大率は、（１３−１＋１）／（１２−２＋１）＝１．１８として計算される。この計算結果を対象挙動解析手段に送る。
【００５９】
こうして、一次元パターンに投影し、複数の撮像時刻間のパターン間の対応付けを算出し、対応付け結果の中央部分の拡大率を用いることで、仮定した検知対象の距離以外でも安定して変化率観測が可能となるという効果がある。
【００６０】
なお、対象が静止、もしくは自車両の移動速度よりも低速であるとき、車速や車輪速パルスなどからデッドレコニング法を用いて自車の移動量を算出すると、この移動量と変化率から、歩行者までの距離が計測できる。すなわち、自車と歩行者までの距離がＸから（Ｘ−Ｄ）に移動する間の変化率がＳの場合、対象までの距離をＤとすると、次式が成り立つ。
Ｘ：（Ｘ−Ｄ）＝Ｓ：１
【００６１】
自車が３ｍ移動する間に拡大率が１．１８の場合、歩行者までの距離は、１９．６７ｍと算出できる。こうして算出した距離は、拡大している対象が危険か否かを判断するために使うことができる。
【００６２】
見かけ変形判定手段１０４では、入力画像と蓄積画像とが見かけ上変形しているか否かを判定する。脚部変形観測手段１０４ａでは、前述したように、処理領域を歩行者中心部が含まれる位置に配置しており、処理領域のうち地平線よりも下部を脚部領域として扱う。入力画像と蓄積画像のそれぞれ処理領域のうち地平線よりも下部の領域について、ＳＡＤ（差分絶対値総和，Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。
【００６３】
腕部変形観測手段１０４ｂでは、脚部変形観測手段１０４ａと類似しているが、差分をとる領域が異なり、処理領域のうち地平線よりも上側の領域の変形を判定する。前述したとおり、入力画像と蓄積画像のそれぞれ処理領域のうち地平線よりも上部の領域について、ＳＡＤを算出する。見かけ変形判定手段１０４は、各ＳＡＤと所定の閾値と大小を比較することで、見かけ上の変形が発生しているか否かを判定し、その判定結果を対象挙動解析手段１０５に送る。
【００６４】
対象挙動解析手段１０５は、変化率算出手段１０３で算出された歩行者の画像の変化率のみでは、自車が移動している場合には、静止している壁等と歩行者とが判別できない。したがって、自車の挙動を解析する車両挙動解析手段１０５ａからの情報に基づいて歩行者の判別を行う。
【００６５】
車両挙動解析手段１０５ａは、自車の舵角と車速、あるいは各タイヤの車輪回転が分かると、自車が動いた距離と姿勢を算出することができる。例えば、アッカーマン・ジャントゥモデルを用いると、車輪速センサ１２１と舵角センサ１２２の出力値Ｖ（ｔ），δ（ｔ）から、車両の位置（ｘ，ｙ）および回転角度θを求めることができる。アッカーマン・ジャントゥモデルは、車両の操舵輪における内輪と外輪の切れ角を同一とし、内輪と外輪の車軸中心に１輪にまとめた操舵輪として定義したモデルである。車両のホイールベースをＬｗとすると、以下の状態方程式が定義できる。
ｄｘ／ｄｔ＝Ｖ（ｔ）×ｃｏｓθ（ｔ）
ｄｙ／ｄｔ＝Ｖ（ｔ）×ｓｉｎθ（ｔ）
ｄθ／ｄｔ＝Ｖ（ｔ）×ｔａｎδ（ｔ）÷Ｌｗ
これを解くことにより、自車の位置と回転角度を求めることができる。
【００６６】
対象挙動解析手段１０５では、変化率算出手段１０３から得られた変化率が閾値以上、例えば、自車速が４０ｋｍ／ｈで走行中で、検知距離を２０ｍ以内と設定した場合には、１．０５以上の拡大率の検知領域に含まれる領域で、さらに、脚部変形観測手段１０４ａまたは、腕変形観測手段１０４ｂの少なくとも一方が変形していると判定していれば、観測対象は歩行者であると判定する。この判定結果は警報出力判定手段１０６に送られる。
【００６７】
警報出力判定手段１０６は、例えば、３００ｍｓｅｃなど一定の時間間隔に、対象挙動解析手段１０５から３回の歩行者接近の判定結果が来た場合、スピーカ１１２へ警報音を出力したり、撮像画像取得手段１０１で取得した画像中の処理領域部分に赤枠やアイコンを重畳してモニタ１１３に出力する。
【００６８】
以上、本実施の形態について詳述したが、本発明は、前記の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００６９】
１００ 車両周囲監視装置
１０１ 画像取得手段
１０２ 処理領域設定手段
１０３ 変化率算出手段
１０４ 見かけ変形判定手段
１０４ａ 脚部変形判定手段
１０４ｂ 腕部変形判定手段
１０５ 対象挙動解析手段
１０６ 警報出力判定手段
１１１ 車載カメラ
Ｍ 歩行者
【特許請求の範囲】
【請求項１】
車載カメラで撮像された車両周囲の画像に基づいて車両周囲の監視を行う車両周囲監視装置であって、
前記車載カメラによって異なる時刻に撮像された複数の撮像画像間における観測対象の画像の大きさの変化率と、前記撮像画像間における観測対象の画像の変形の有無に基づいて、前記観測対象が自車に対して相対的に接近移動している歩行者であるか否かを判定する対象挙動解析手段を有することを特徴とする車両周囲監視装置。
【請求項２】
前記対象挙動解析手段は、前記観測対象の画像が拡大する方向に変化し、かつ、前記観測対象の画像が変形している場合に、前記接近移動していると判定することを特徴とする請求項１に記載の車両周囲監視装置。
【請求項３】
前記車載カメラによって予め設定された時間間隔をおいて撮像された撮像画像を取得する撮像画像取得手段と、
該撮像画像取得手段により取得した撮像画像内に観測対象を検知するための処理領域を設定する処理領域設定手段と、
前記撮像画像間で前記処理領域内における観測対象の画像の大きさの変化率を算出する変化率算出手段と、
前記撮像画像間で前記処理領域内における観測対象の画像の変形の有無を判定する見かけ変形判定手段と、を有し、
前記対象挙動解析手段は、前記変化率算出手段により算出された変化率が拡大する方向に変化しており、かつ、前記見かけ変形判定手段により前記観測対象の画像の変形があると判定されている場合に、前記観測対象が自車に対して相対的に接近移動している歩行者であると判定することを特徴とする請求項１に記載の車両周囲監視装置。
【請求項４】
前記見かけ変形判定手段は、前記観測対象の画像の脚部に相当する部位の見かけの変形を観測する脚部変形観測手段を有し、該脚部変形観測手段により見かけの変形があると判定された場合に、前記観測対象の画像の変形があると判定することを特徴とする請求項３に記載の車両周囲監視装置。
【請求項５】
前記見かけ変形判定手段は、前記観測対象の画像の腕部に相当する部位の見かけの変形を観測する腕部変形観測手段を有し、該腕部変形観測手段により見かけの変形があると判定された場合に、前記観測対象の画像の変形があると判定することを特徴とする請求項３に記載の車両周囲監視装置。
【請求項６】
自車の挙動を観測する車両挙動解析手段を備え、
前記処理領域設定手段は、車両挙動解析の結果に基づいて、処理領域の位置を変化させることを特徴とする請求項１から請求項５のいずれか一項に記載の車両周囲監視装置。
【請求項１】
車載カメラで撮像された車両周囲の画像に基づいて車両周囲の監視を行う車両周囲監視装置であって、
前記車載カメラによって異なる時刻に撮像された複数の撮像画像間における観測対象の画像の大きさの変化率と、前記撮像画像間における観測対象の画像の変形の有無に基づいて、前記観測対象が自車に対して相対的に接近移動している歩行者であるか否かを判定する対象挙動解析手段を有することを特徴とする車両周囲監視装置。
【請求項２】
前記対象挙動解析手段は、前記観測対象の画像が拡大する方向に変化し、かつ、前記観測対象の画像が変形している場合に、前記接近移動していると判定することを特徴とする請求項１に記載の車両周囲監視装置。
【請求項３】
前記車載カメラによって予め設定された時間間隔をおいて撮像された撮像画像を取得する撮像画像取得手段と、
該撮像画像取得手段により取得した撮像画像内に観測対象を検知するための処理領域を設定する処理領域設定手段と、
前記撮像画像間で前記処理領域内における観測対象の画像の大きさの変化率を算出する変化率算出手段と、
前記撮像画像間で前記処理領域内における観測対象の画像の変形の有無を判定する見かけ変形判定手段と、を有し、
前記対象挙動解析手段は、前記変化率算出手段により算出された変化率が拡大する方向に変化しており、かつ、前記見かけ変形判定手段により前記観測対象の画像の変形があると判定されている場合に、前記観測対象が自車に対して相対的に接近移動している歩行者であると判定することを特徴とする請求項１に記載の車両周囲監視装置。
【請求項４】
前記見かけ変形判定手段は、前記観測対象の画像の脚部に相当する部位の見かけの変形を観測する脚部変形観測手段を有し、該脚部変形観測手段により見かけの変形があると判定された場合に、前記観測対象の画像の変形があると判定することを特徴とする請求項３に記載の車両周囲監視装置。
【請求項５】
前記見かけ変形判定手段は、前記観測対象の画像の腕部に相当する部位の見かけの変形を観測する腕部変形観測手段を有し、該腕部変形観測手段により見かけの変形があると判定された場合に、前記観測対象の画像の変形があると判定することを特徴とする請求項３に記載の車両周囲監視装置。
【請求項６】
自車の挙動を観測する車両挙動解析手段を備え、
前記処理領域設定手段は、車両挙動解析の結果に基づいて、処理領域の位置を変化させることを特徴とする請求項１から請求項５のいずれか一項に記載の車両周囲監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−８３２８（Ｐ２０１３−８３２８Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１４２２５８（Ｐ２０１１−１４２２５８）
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]