説明

直線成分低減装置および歩行者検出表示システム

【課題】歩行者検出表示システムにおいて、歩行者の像の誤検出を低減する。
【解決手段】撮像して得られた画像に対してラドン変換を施すラドン変換部23と、ラドン変換して得られたラドン変換画像に対して、そのラドン変換画像における、所定の閾値以上の指示値を閾値未満の値に置換する係数操作部24と、指示値が置換された後のラドン変換画像に対して、ラドン変換の逆変換を施すことにより、撮像して得られた画像よりも直線成分が抑制された画像を得る逆ラドン変換部25とを有する直線成分低減部27と、直線成分低減部27により得られた直線成分が抑制された画像に対して歩行者テンプレートと比較照合を行うことで、テンプレートに表された歩行者像に対応する画像部分を検出するテンプレートマッチング部31とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、直線成分低減装置および歩行者検出表示システムに関し、詳細には、撮像された画像から、輪郭に直線成分が少ない対象画像部分の検出性能の改良に関する。
【背景技術】
【0002】
従来、車両に設置された撮像装置によって、車両の進行方向の所定領域を撮像し、得られた画像に基づいて歩行者の像を抽出し、撮像された画像を画像表示装置に表示するに際して、抽出された歩行者の像をマーカー等によって強調する歩行者検出表示システムが開発されている。
【0003】
このような歩行者検出表示システムは、車両の運転者に対して、歩行者の認知を補助するものであり、車両と歩行者との交通事故を低減させる技術として積極的な開発が求められている。
【0004】
また、このような歩行者検出表示システムによって歩行者を検出したときは、歩行者との距離や車両の速度、進行方向などに応じて、自動的に車両を減速させたり転舵させるなどの制御を行って、事故を回避させることも可能となる。
【0005】
上述した歩行者検出表示システムは、車両に設置される赤外線カメラ(以下、単にカメラという。)と、カメラの画像から歩行者の像を検出し、カメラの画像に、検出された歩行者の像の位置に赤枠等のマーカーを付して出力する歩行者検出装置と、歩行者検出装置から出力された画像を表示する画像表示装置とを備え、この表示されたマーカーによって、運転者に対して、歩行者の存在およびその位置の注意喚起させるものであり、この歩行者検出表示システムの性能は、歩行者検出装置による歩行者像の誤検出の低減と歩行者像の検出漏れの低減とに大きく依存する。
【0006】
画像から歩行者を検出する手法としては、予め歩行者の像を模した歩行者テンプレート(以下、単にテンプレートという。)を用意し、このテンプレートと画像内の歩行者が存在する可能性のある領域の像との類似性を求める、いわゆるパターンマッチングが用いられる。
【0007】
このパターンマッチングの手法としては、画像を構成する画素の信号値(輝度値等)による比較と、像のエッジ情報による比較とがある。
【0008】
ここで、像のエッジ情報による比較は、画像全体の明るさに影響を受けないため、天候や太陽位置に影響を受ける車両用などの野外用の機器での使用に適している。また、エッジ情報は、二値あるいは少ない階調で表現可能なために、扱うデータ量も少なく、検出処理の多くの割合を占めるテンプレートとの類似度の演算を少なくすることができる。
【0009】
次に、像のエッジ情報に基づいた歩行者検出装置の処理過程を説明する。
【0010】
まず、画面全体のコントラストを高める処理を施して画像の輝度差(信号値差)を明確化することにより、画像におけるエッジの像を強調する。
【0011】
次いで、このエッジの像が強調された画像をテンプレートとマッチング処理して、画像の各部分とテンプレートとの間での相関値(画像におけるテンプレートの位置ごとの相関値で表された相関マップ)を求める。
【0012】
ここで、テンプレートとマッチング処理を行うに際しては、エッジの像が強調処理された画像のうち歩行者(の像)が存在する可能性がある画像部分からテンプレートと同じ大きさで画像を切り出し、または想定する歩行者(の像)と同じ大きさで画像を切り出した後に切り出した画像をテンプレートと同じ大きさになるように拡大または縮小すればよい。
【0013】
得られた相関マップにおける相関値は、その空間的位置との関係で連続性を有する(位置が隣接していれば、相関値が突発的に変化することがない)ため、その相関マップにおいて大きな相関値で表された領域はある程度の広さを有する領域となるが、その領域内で最大の相関値を示している位置にテンプレートを当てはめた部分が、歩行者の像が存在する候補の部分となる。
【0014】
そして、その最大の相関値を、予め設定された閾値(歩行者の像が存在するか否かを判別するのに適した値として予め設定された値)と比較して、最大の相関値が閾値を上回っているときは、その部分に歩行者の像が存在すると判定している(特許文献1)。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特開2003−009140号公報
【発明の概要】
【発明が解決しようとする課題】
【0016】
ところで、撮像して得られた画像の解像度が低い場合や、ボケ(低い鮮鋭度)により、十分に信頼性の高いエッジ像を得られない場合がある。この場合、求めようとする歩行者のエッジ像以外の建物や信号、街路灯などの構造物のエッジが外乱(ノイズ)となり、歩行者の像の誤検出を招く虞が高くなる。
【0017】
本発明は上記事情に鑑みてなされたもので、歩行者の像の誤検出を低減することができる歩行者検出表示システムを提供することを目的とする。
【0018】
また、本発明は、本発明の歩行者検出表示システムにおける主要な構成によって、撮像して得られた像から直線成分を効果的に抑制した像を得ることができる直線成分低減装置を提供することを目的とする。
【課題を解決するための手段】
【0019】
本発明に係る直線成分低減装置および歩行者検出表示システムは、撮像して得られた画像に対してラドン変換を施し、このラドン変換された系において直線成分に対応する大きな指示値の部分を小さい値に置換した上で、前記ラドン変換の逆変換を施すことにより、直線成分が抑制された画像を得るものである。
【0020】
すなわち、本発明に係る直線成分低減装置は、撮像して得られた画像に対してラドン変換を施すラドン変換処理手段と、前記ラドン変換して得られたラドン変換画像に対して、そのラドン変換画像における、所定の閾値以上の指示値を前記閾値未満の値に置換する補正処理手段と、前記補正処理手段によって前記指示値が置換された後のラドン変換画像に対して、前記ラドン変換の逆変換を施すことにより、前記撮像して得られた画像よりも直線成分が抑制された画像を得る逆ラドン変換処理手段とを備えたことを特徴とする。
【0021】
ここで、撮像して得られた画像としては、可視光領域のカラー画像や白黒画像の他、赤外線領域(近赤外線から遠赤外線までの波長範囲)の光(電磁波)によって得られた赤外光画像であってもよい。
【0022】
なお、赤外線のうち遠赤外線の波長領域での画像(遠赤外線画像)は、遠赤外線波長領域に感度を有する遠赤外線カメラによって簡単に撮影することができ、また、生体であれば必ず遠赤外線が発せられているため、画像として遠赤外線カメラで撮像された遠赤外線画像を適用することで、このような生体を他から区別して検出し易いという効果を得ることができる。
【0023】
以上のように構成された本発明に係る直線成分低減装置によれば、ラドン変換処理手段が、撮像して得られた画像に対してラドン変換を施し、このラドン変換して得られたラドン変換画像に対して、補正処理手段が、そのラドン変換画像における所定の閾値以上の指示値を閾値未満の値に置換することで直線成分を強制的に低減し、指示値が置換された後のラドン変換画像に対して、逆ラドン変換処理手段がラドン変換の逆変換を施すことにより、ラドン変換画像を実空間領域での画像に戻すことで、撮像して得られた画像よりも直線成分が相対的に抑制された画像を得ることができる。
【0024】
なお、上述した画像としては、撮像して得られたままで強調処理等の画像処理を施していない画像を適用してもよいし、エッジ強調処理手段を用いる等して輪郭などのエッジを強調した画像等を適用することもできる。エッジを強調処理した画像は、強調処理されていない画像(輪郭で囲まれた内側が塗りつぶされたソリッドな画像)に比べて、直線成分を有する輪郭を検出し易いため、直線成分を精度よく低減することができるからである。
【0025】
また、本発明の直線成分低減装置は、輪郭だけではなく棒状体のように形状自体が細長いものの画像を低減することもでき、その場合、エッジを強調処理していないソリッドな画像のままでラドン変換しても直線成分を検出しやすいため、エッジ強調処理の要否は検出対象に応じて選択するのが好ましい。
【0026】
本発明は、画像における直線成分低減装置であるが、この直線成分低減装置によって直線成分が低減された画像と、直線成分が低減される以前の元の画像との差分を求めることで、直線成分が強調された画像を得ることもできるため、本発明は、本発明の直線成分低減装置に、直線成分低減装置に入力される以前の元画像と直線成分低減装置によって求められた処理後の画像(直線成分が低減された後の画像)との差分を算出する手段をさらに備えることによって、直線成分が強調された画像を得る直線成分検出(または直線成分強調)装置として応用することもできる。
【0027】
さらに、エッジを強調した画像を得るに際しては、それに先立って、撮像して得られた画像に対して、輝度調整手段などによりコントラストを高める処理を施すのが好ましい。コントラストの高い画像は低い画像に比べて、エッジを検出し易いからである。
【0028】
また、ラドン変換して得られた系において指示値を調整(置換)し、その指示値が置換されたものをラドン変換の逆変換処理して空間座標系の画像に戻すため、逆変換前の系での指示値の強制的な置換に伴って、逆変換処理後の画像においてアーチファクト(偽画像)が生じやすい。
【0029】
そこで、逆ラドン変換処理手段によって得られた画像(すなわち空間座標系の画像)に対して、補正処理手段による指示値の置換によって生じた偽画像を抑制する偽画像抑制処理手段をさらに備えたものとするのが好ましい。
【0030】
偽画像抑制処理手段による偽画像の抑制としては、その空間座標系における値を閾値処理により、閾値以下の信号値を一層小さい値に置換するなどの方法や、閾値処理によって二値化する方法などを適用することができる。
【0031】
このように好ましく構成された本発明に係る直線成分低減装置によれば、逆ラドン変換処理手段によって空間座標系に戻した画像において生じた偽画像を抑制することができ、この偽画像が抑制されていない場合に比べて、直線成分を精度よく低減することができる。
【0032】
また、本発明に係る歩行者検出表示システムは、上述した本発明に係る直線成分低減装置と、前記直線成分低減装置により得られた直線成分が抑制された画像に対して所定のテンプレートと比較照合を行うことで、前記テンプレートに表された像に対応する画像部分を検出するテンプレートマッチング手段と、前記テンプレートマッチング手段によって検出された画像部分に所定のマーカーを重畳して出力するマーカー重畳部とを有する画像処理装置と、所定の情報を表示する画像表示装置とが車載され、前記撮像して得られた画像が、車両の進行方向の所定領域を撮像して得られた画像であり、前記テンプレートマッチング手段は、前記テンプレートの像として歩行者の像が適用されたテンプレートと比較照合するものであることを特徴とする。
【0033】
このように構成された本発明に係る歩行者検出表示システムによれば、撮像された画像、特に車両の進行方向の領域を撮影して得られた画像に対して、その車両に搭載された直線成分低減装置がその画像における直線成分を低減することで、その画像は、直線成分以外の成分すなわち曲線成分が相対的に強調されたものとなり、テンプレートマッチング手段が、その曲線成分が相対的に強調された画像に対して、歩行者の像が表されたテンプレートと比較照合(テンプレートマッチング)する。
【0034】
ここで、歩行者の像は、周囲の建物や路上の設置物等と比べて直線成分が少ないため、直線成分低減装置によって、周囲の建物や路上の設置物等よりも相対的に強調されたものとなっており、この結果、テンプレートマッチング手段による比較照合でのテンプレート(歩行者の像を表したテンプレート)との合致度合いを向上させることができる。
【0035】
したがって、本発明に係る歩行者検出表示システムによれば、歩行者の像の誤検出を低減することができる。
【0036】
そして、このように誤検出が低減されて精度よく検出された歩行者の像(テンプレートマッチング手段によって検出された画像部分)に対して、画像処理装置のマーカ重畳部が所定のマーカーを重畳して出力することで、画像表示装置に、撮像された画像を表示するに際して、その画像中の歩行者の画像部分に精度よく所定のマーカーを重畳させることができ、運転者等の乗員に対して、歩行者への注意を喚起することができる。
【発明の効果】
【0037】
本発明に係る直線成分低減装置および歩行者検出表示システムによれば、撮像して得られた画像に基づいて直線成分が抑制された画像を得ることができる。
【図面の簡単な説明】
【0038】
【図1】本発明の実施形態に係る歩行者検出表示システム100の概略構成を示すブロック図である。
【図2】図1の歩行者検出表示システムにおける歩行者検出装置(画像処理装置)の詳細構成を示すブロック図である。
【図3】図2に示した歩行者検出装置のうち、直線成分低減部(直線成分低減装置)による直線成分低減処理手順およびテンプレートマッチング部(テンプレートマッチング手段)による歩行者の像の検出処理手順を示すフローチャートである。
【図4】図3における係数操作部(補正処理手段)による係数操作処理(所定の閾値以上の指示値を閾値未満の値に置換する処理)の詳細を示すフローチャートである。
【図5】図3における二値化処理部(偽画像抑制処理手段)による二値化処理(偽画像を抑制する処理)の詳細を示すフローチャートである。
【図6】テンプレート記憶部に記憶された歩行者テンプレートの一例を示す図である。
【図7】車両に設置された遠赤外線カメラによって撮像して得られた画像(遠赤外線画像)の一例を示す図である。
【図8】コントラストが高められるとともにエッジが強調された後の遠赤外線画像を示す図である。
【図9】ラドン変換された後の像(ラドン変換画像)を示す図である。
【図10】図9に示したラドン変換画像に対して係数操作(指示値に置換)処理を施した後の画像を示す図である。
【図11】図10に示した画像を実空間領域に戻した(ラドン変換の逆変換処理を施した)画像を示す図である。
【図12】図11に示した画像に対して偽画像を抑制する処理を施して得られた画像を示す図である。
【図13】テンプレートマッチングにより、歩行者テンプレートとの相関度合いが高い領域が白く、相関度合いが低い領域が黒く表現された分布図であり、(a)は直線成分低減装置で直線成分が低減された画像(図12)に対する相関値の分布を、(b)は直線成分低減装置で直線成分が低減される以前の画像(図8)に対する相関値の分布、をそれぞれ示す。
【図14】赤外線カメラによって撮像された遠赤外線画像のうち歩行者の存在する確率が高い領域に白色矩形枠を付して表示した画像を示す図である。
【発明を実施するための形態】
【0039】
以下、本発明に係る直線成分低減装置および歩行者検出表示システムの実施の形態について、図面を参照して説明する。
【0040】
図1は、本発明の実施形態に係る歩行者検出表示システム100の概略構成を示すブロック図、図2は図1の歩行者検出表示システム100における歩行者検出装置20(画像処理装置)の詳細構成を示すブロック図、図3は図2に示した歩行者検出装置20のうち、直線成分低減部27(直線成分低減装置)による直線成分低減処理手順およびテンプレートマッチング部31(テンプレートマッチング手段)による歩行者の像の検出処理手順を示すフローチャート、図4は図3における係数操作部24(補正処理手段)による係数操作処理(所定の閾値以上の指示値を閾値未満の値に置換する処理)の詳細を示すフローチャート、図5は図3における二値化処理部26(偽画像抑制処理手段)による二値化処理(偽画像を抑制する処理)の詳細を示すフローチャートである。
【0041】
図示の歩行者検出表示システム100は、図1のブロック図に示す通り、車両に設置(車載)されてその車両の進行方向(例えば前方)の所定領域を遠赤外線画像として撮像する、遠赤外線に対する感度を有する遠赤外線カメラ10と、この遠赤外線カメラ10によって撮像して得られた遠赤外線画像に基づいて、この遠赤外線画像のうち歩行者を表す像を検出し、検出された歩行者の像の部分に矩形枠(マーカー)を重畳して出力する歩行者検出装置20と、歩行者像の位置に矩形枠が付された、遠赤外線カメラ10によって得られた遠赤外線画像を表示する画像表示装置40とを備えた構成である。
【0042】
ここで、歩行者検出装置20は、詳しくは図2に示すように、直線成分低減部27とテンプレートマッチング部31とマーカー重畳部32とを備えた構成である。
【0043】
そして、直線成分低減部27は、遠赤外線画像のコントラストを高める輝度調整部21(輝度調整手段)と、輝度調整部21によって輝度が高められた画像に対して、画像のエッジを強調するエッジ強調部22(エッジ強調手段)と、エッジ強調部22によってエッジが強調された画像に対してラドン変換を施すラドン変換部23(ラドン変換処理手段)と、ラドン変換して得られたラドン変換画像に対して、そのラドン変換画像における、所定の閾値以上の指示値をその閾値未満の値に置換する係数操作部24(補正処理手段)と、係数操作部24によって処理された後のラドン変換画像に対して、ラドン変換の逆変換を施すことにより、撮像して得られた遠赤外線画像よりも直線成分が抑制された画像を得る逆ラドン変換部25(逆ラドン変換処理手段)と、逆ラドン変換部25によって得られた画像に対して、係数操作部24による処理によって生じた偽画像を抑制する二値化処理部26(偽画像抑制処理手段)とを備えた構成である。
【0044】
また、テンプレートマッチング部31は、歩行者の輪郭を模した歩行者テンプレートを記憶したテンプレート記憶部29と、直線成分低減部27によって直線成分が低減された画像に対して、テンプレート記憶部29に記憶された歩行者テンプレート(例えば、図6に示したテンプレート)とのマッチングを行い、歩行者テンプレートとの間での相関値を求める相関値算出部28と、この直線成分が低減された画像のうち、相関値算出部28によって算出された相関値が高い画像領域を歩行者の像として検出する相関領域最大値検出部30とを備えた構成である。
【0045】
マーカー重畳部32は、遠赤外線カメラ10によって得られた所定領域の遠赤外線画像のうち、上記テンプレートマッチング部31により得られた歩行者の像の位置に、矩形枠を重畳して出力するものである。
【0046】
上述した直線成分低減部27のラドン変換部23によるラドン変換は、CT(コンピュータ・トモグラフィ)における画像再構成用の画像の取得で知られているものであり、遠赤外線のエッジ強調画像(2次元)を所定の軸(一次元)に投影(積分、総和等)したとき、その指示値の大小に応じて、その投影方向に沿って延びた直線の存否を検出するものである。
【0047】
すなわち、その投影方向に沿って延びた直線のエッジが存在するとき、その投影方向に沿った遠赤外線画像の信号値の積分値(総和すなわち指示値)は大きな値となるのに対して、その投影方向に沿わない直線のエッジや曲線のエッジが存在しても、その投影方向に沿った遠赤外線画像の信号値の積分(総和)値(指示値)は大きな値にはならない。
【0048】
そして、この信号値を積分する、投影する軸の向き(角度)を0度から180度まで変化させて、それぞれの角度と投影軸の一次元方向の位置とによって規定されたラドン変換された系において上記指示値をそれぞれ表すことで、上記エッジ強調遠赤外線画像を、直線成分の多少を指示値で表現した系(ラドン変換して得られた系)を得るものである。
【0049】
逆ラドン変換部25によるラドン変換の逆変換は、上記ラドン変換によって得られた系を、通常の空間座標系による表現(エッジ強調画像)に戻す変換である。
【0050】
次に、本実施形態に係る歩行者検出表示システム100の作用について、図3,4,5に示したフローチャート等を参照して説明する。
【0051】
まず、車両に設置された遠赤外線カメラ10が、車両の進行方向の所定領域を撮像し、例えば図7に示した遠赤外線画像が撮像される。
【0052】
この遠赤外線画像は、信号機を有する街路が手前(画像において下部)から奥(画像において上部)の方に延び、街路の両側には、ビル等の建物が建ち並び、画像における左端部(街路の左側歩道)に歩行者の像Kが写ったものである。
【0053】
また、この遠赤外線画像は言うまでもなく、輝度の高い部分(画像において白い部分)が遠赤外線を多く放射している部分であって温度の高い部分である。
【0054】
このように遠赤外線カメラ10によって撮像して得られた遠赤外線画像は、歩行者検出装置20の輝度調整部21に入力され、輝度調整部21は、入力された赤外線画像に対して、そのコントラストを高める処理を施す(図3のステップ1(S1))ことで、輝度の高い部分をより効果的に検出できるものとなる。
【0055】
輝度調整部21でコントラストが高められた画像は、エッジ強調部22に入力され、エッジ強調部22は、入力された画像に対して、微分処理等を施すことで、その画像中のエッジを強調する処理を施す(図3のS2)。これによって、例えば図8に示すように、画像中の物体の輪郭など信号値(輝度値)が急激に変化する部分であるエッジが強調された画像が得られる。
【0056】
エッジ強調部22によってエッジが強調された画像(エッジ強調遠赤外線画像)は、ラドン変換部23に入力され、ラドン変換部23は、入力されたエッジ強調遠赤外線画像に対してラドン変換を施し(図3のS3)、例えば図9に示すようなラドン変換後領域での表現を得る。
【0057】
具体的には、エッジ強調遠赤外線画像を、図9に示すように、投影する軸の向き(角度)を0度から180度まで変化させて(横軸)、それぞれの角度と投影軸の一次元方向の位置(縦軸)とによって規定されたラドン変換による系(角度−位置の系)における指示値(グレイスケールにより表現)をそれぞれ表したもの(ラドン変換画像)である。
【0058】
ここで、ラドン変換による系において指示値の大きい部分、すなわち白色に近い部分ほど、投影方向に沿って延びるエッジ、つまり直線状のエッジ(直線成分)が存在することとなる。
【0059】
この直線成分は、曲線成分が大部分を占める人体(歩行者等)の輪郭では殆ど見られない成分であり、多くは、人工の建物や路上の設置物などの輪郭を為すものである。つまり、人工の建物等は直線成分を多く備え、人体は曲線成分を多く備えている。
【0060】
このようにして得られたラドン変換画像(図9)は、係数操作部24に入力される。係数操作部24は、ラドン変換画像における指示値(係数)に対して操作を施し(図3のS4)、図10に示すように、係数が置換された後のラドン変換画像を得る。
【0061】
なお、図9において係数が操作される部分(係数操作前)、図10において係数が操作された部分(係数操作後)は、符号Bで示されている。
【0062】
具体的には、図4に示すように、係数操作部24は、ラドン変換画像における指示値の最大値と最小値とをそれぞれ求め(図4のステップ41(S41))、これら指示値の最大値と最小値との差分を求め、その差分の例えば75%の値を閾値として設定する(図4のS42)。
【0063】
なお、この閾値は、後の比較照合の処理以前の段階で設定されていればよいため、上述したステップ42(S42)に示すように処理の都度、演算によって求めてもよいし、予め固定的に閾値を規定しておいてもよい。
【0064】
また、閾値の具体的な値は、ステップ42で示したような、指示値の最大値と最小値との差分の75%の値に限定されるものではなく、遠赤外線のカメラの感度や、撮影した状況等に応じて、任意にまたは選択的に設定できるようにしてもよい。
【0065】
次いで、係数操作部24は、閾値とラドン変換画像における各指示値とを比較照合し、閾値以上の指示値については閾値未満の値(例えば0(ゼロ))に置換する処理を施し(図4のS43)、係数操作の処理を終了する。
【0066】
一方、係数操作部24は、閾値未満の指示値については指示値の置換処理を行うことなく、係数操作を終了する。
【0067】
このようにして得られた係数操作後のラドン変換画像は、逆ラドン変換部25に入力される。ここで、係数操作後のラドン変換画像は、ラドン変換前の通常の空間座標系での表現である遠赤外線のエッジ強調画像において直線成分が低減された画像に対応したものとなるため、逆ラドン変換部25によってラドン変換の逆変換処理によって通常の空間座標系での表現である画像に戻される(図3のS5)と、図11に示す画像が得られる。
【0068】
ここで、図11に示した画像を、ラドン変換(図3のS3)前の遠赤外線のエッジ強調画像(図8)の空間座標系での表現である画像と比べると、ラドン変換画像において係数操作を経由得した図11の画像は、図8の画像に比べて直線成分が明らかに低減された画像となっており、この結果、図11における歩行者の像Kは、図8における歩行者の像Kよりも直線成分に対して相対的に強調されたものとなっている。
【0069】
一方、図11に示した画像には、ラドン変換(S3)前の画像(図8)には存在しなかった放射状の直線である偽画像Lが、特に画像の左部分において顕著に表れている。
【0070】
この偽画像Lは、ラドン変換画像において強制的な係数操作(指示値の置換)を行ったことに伴う副次的なものであり、本来は存在しないノイズであるから、後の処理を有効に行わせる上で、消去または抑制することが好ましい。
【0071】
そこで、逆ラドン変換部25から出力された画像(図11)は、二値化処理部26に入力され、この二値化処理部26により、偽画像Lを抑制する処理が施される(S6)。具体的には、ラドン変換画像における係数操作によって生じた偽画像Lは輝度が比較的低い(信号値が比較的小さい)ため、この画像を構成する信号値を、予め設定(大小比較の処理前の段階で決定しているものであればよい。)した閾値と比較照合して、閾値よりも小さい信号値は信号値0(ゼロ)に置換することで、輝度が比較的低い(信号値が比較的小さい)画像部分、すなわち偽画像Lを消去乃至抑制する。
【0072】
また、二値化処理部26は、この偽画像L以外の部分を強調することで後のテンプレートマッチングの精度を高めるために、閾値よりも大きい信号値はこの信号値として許容されているダイナミックレンジの最大値に置換する。
【0073】
本実施形態においては、図5に示すように、二値化処理部26は、実空間領域の画像における信号値の最大値と最小値とをそれぞれ求め(図5のステップ61(S61))、これら信号値の最大値と最小値との差分を求め、その差分の例えば50%の値を閾値として設定する(図5のS62)。
【0074】
なお、この閾値は、後の比較照合の処理以前の段階で設定されていればよいため、上述したステップ62(S62)に示すように処理の都度、演算によって求めてもよいし、予め固定的に閾値を規定しておいてもよい。
【0075】
また、閾値の具体的な値は、ステップ62で示したような、信号値の最大値と最小値との差分の50%の値に限定されるものではなく、偽画像Lの発生状況等(ステップ42において設定した閾値等)に応じて、任意にまたは選択的に設定できるようにしてもよい。
【0076】
次いで、二値化処理部26は、閾値と画像における各信号値とを比較照合し、閾値以上の指示値については閾値未満の値(例えば0(ゼロ))に置換する処理を施し、閾値よりも大きい信号値はこの信号値として許容されているダイナミックレンジの最大値(例えば255)に置換する処理を施し(図5のS63)、二値化処理(図3のS6)を終了する。
【0077】
このようにして得られた二値化処理後(偽画像Lの抑制(消去)処理後)の画像は、例えば図12に示すものとなる。
【0078】
この図12に示した画像は、図11に示した画像における偽画像Lが抑制されているとともに、偽画像Lよりも輝度の高い画像のうち上記閾値(S62)以上の信号値の部分は、輝度が一層高められたものとなっていて、後のテンプレートマッチング処理の精度を高めることができる。
【0079】
以上のように直線成分低減部27から出力された画像(図12)は、元の遠赤外線画像(撮像により得られた遠赤外線画像)にコントラストを高める処理を施し、次いでエッジを強調して得られた画像(図8)に比べて、背景部分の建物や路上の設置物等の輪郭である直線成分が著しく低減されたものとなっている。
【0080】
次に、直線成分低減部27から出力された画像(図12)は、テンプレートマッチング部31の相関値算出部28に入力され、この相関値算出部28は、入力された画像に対して、テンプレート記憶部29に記憶された歩行者テンプレート(図6)とのマッチングを行って、この歩行者テンプレートとの間での、画像の位置ごとの相関値を求める(図3のS7,S8)。
【0081】
ここで、相関値算出部28が歩行者テンプテートとのマッチングを行う際には、入力された画像の全体に対してマッチング処理を行うものであってもよいが、建物等や地平線の高さ位置との関係により、歩行者が存在する可能性がある領域だけに絞って、マッチングを行うようにしてもよい。
【0082】
また、入力された画像における歩行者の像が、歩行者テンプレートにおける歩行者の像と同一の大きさである場合は、入力された画像をそのままの大きさで、歩行者テンプレートとテンプレートマッチングを行えばよいが、入力された画像における歩行者の像は、歩行者テンプレートにおける歩行者の像と同一の大きさであるとは限らず、むしろ大きさが異なる場合の方が多いため、入力された画像と歩行者テンプレートとをマッチングさせる際に、入力された画像の大きさを拡大し(画素数を増やし)、または大きさを縮小する(画素数を減らす)などの前処理を施してもよい。
【0083】
このようにして、相関値算出部28が、入力された画像の位置ごとに求めた、歩行者テンプレートとのマッチングの相関値は、例えば、図13に示すものとなる。
【0084】
ここで、図13(a)は、領域の色が白色に近いほど相関値が高いことを示しており、図13においては、左端部の上下中央付近において高い相関値を示していることが分かる。
【0085】
なお、直線成分低減部27により直線成分が低減される以前のエッジ強調画像(図8)に対して、相関値算出部28が、その入力された画像(図8)の位置ごとに求めた歩行者テンプレートとのマッチングの相関値は、図13(b)に示すものとなる。
【0086】
この図13(b)に示した相関マップは、図13(a)に示した相関マップに比べて、左端部における相関値の高い部分が、より広い範囲に広がっているとともに、左側の上半分においても上下方向に、高い相関値を示す領域が広がっている。
【0087】
ここで、図13(a),(b)にそれぞれ示した相関マップは、歩行者テンプレートとのマッチングの程度を示すものであるから、図13(a)に示した相関マップに基づけば、左端部の上下方向中央付近に歩行者の像が存在する確率が高いことを検出することができ、一方、図13(b)に示した相関マップに基づけば、左端部の上下方向中央付近に加えて、左側の上半分に上下方向に延びた相関値の高い部分にも、歩行者の像が存在する確率が高いことを検出することができる。
【0088】
実際には、図7に示すように、歩行者は、左端部の上下方向中央付近の領域にのみ存在するため、図13(a)に示した相関マップは図13(b)に示した相関マップに比べて、左側の上半分に上下方向に延びた領域における歩行者の誤検出を抑制することができ、歩行者像の検出精度を向上させることができる。
【0089】
以上のようにして相関値算出部28によって検出された相関マップは、相関領域最大値検出部30に入力され、相関領域最大値検出部30は、入力された相関マップに基づいて、相関値が高い(相関マップの色が白い)画像領域を歩行者の像として、その位置を検出する(図3のS9)。
【0090】
そして、検出された歩行者の像の位置はマーカー重畳部32に入力され、マーカー重畳部32は、入力された歩行者の像の位置に基づいて、歩行者の像の領域を最小限に囲む白色の矩形枠を設定し、この白色の矩形枠を、遠赤外線カメラ10から入力された遠赤外線画像における歩行者の存在対応位置に重畳して、画像表示装置40に出力する。
【0091】
画像表示装置40は、歩行者検出装置20のマーカー重畳部32から入力された、遠赤外線カメラ10による遠赤外線画像(図7)の歩行者の像に白色矩形枠Mが付された画像(図14)を、その画面上に表示する。
【0092】
このように構成された本実施形態に係る直線成分低減部27によれば、ラドン変換部23が、撮像して得られた遠赤外線画像に対してラドン変換を施し、このラドン変換して得られたラドン変換画像に対して、係数操作部24が、そのラドン変換画像における所定の閾値以上の指示値を閾値未満の値に置換することで直線成分を強制的に低減し、指示値が置換された後のラドン変換画像に対して、逆ラドン変換部25がラドン変換の逆変換を施すことにより、ラドン変換画像を実空間領域での画像に戻すことで、撮像して得られた画像(図8)よりも直線成分が相対的に抑制された画像(図12)を得ることができる。
【0093】
また、本実施形態に係る歩行者検出表示システム100によれば、歩行者テンプレートとのテンプレートマッチングを行うのに先だって、遠赤外線画像における、歩行者の輪郭(エッジ)とは異なる構造物の代表的な輪郭である直線成分(直線のエッジ等)を低減(削除を含む)するため、テンプレートマッチングの精度を向上させることができ、歩行者の像の誤検出を低減することができる。
【0094】
本実施形態の直線成分低減部27および歩行者検出表示システム100は、撮像された画像として、遠赤外線カメラ10により得られた遠赤外線画像を適用したものであるが、本発明に係る直線成分低減装置および歩行者検出表示システムは、この形態に限定されるものではなく、可視光領域に感度を有する通常のカメラ等で撮像された可視光領域の波長で表現された画像であってもよいし、近赤外線領域の波長で表現された画像であってもよい。また、用途によっては、X線等の放射線領域の波長領域で表現された画像(手荷物検査等に適用した場合等)であってもよい。
【0095】
ただし、撮像装置として遠赤外線カメラ10等の赤外線カメラを適用したものでは、車両進行方向の所定領域が赤外線画像として撮像されるため、夜間や霧、降雨、降雪等環境の影響によって、可視光領域のカメラでは歩行者を撮影しにくい状況下においても、歩行者が発する遠赤外線を赤外線像として撮像することができ、肉眼での視認(主として可視光の波長領域に感度を有する)を補助する上で、より効果的である。
【0096】
また、赤外線カメラで撮像して得られる画像は、一般的にグレイスケールの無彩色階調画像であるため、可視光周波数領域のカラー画像を得る一般的なカメラよりも、画像のデータ量を低減することができ、演算処理等の負荷を軽減することができる。
【0097】
さらに、本実施形態の直線成分低減部27および歩行者検出表示システム100は、逆ラドン変換部25によって得られた画像に対して、係数操作部24による処理によって生じた偽画像Lを抑制する二値化処理部26を備えた構成であるが、本発明に係る直線成分低減装置および歩行者検出表示システムは、必ずしも、この二値化処理部(偽画像抑制処理手段)を備えるものに限定されるものではなく、このような二値化処理部を備えないものであっても、直線成分の効果的な低減や、歩行者像の検出精度の向上を得ることができる。
【符号の説明】
【0098】
23 ラドン変換部(ラドン変換処理手段)
24 係数操作部(補正処理手段)
25 逆ラドン変換部(逆ラドン変換処理手段)
27 直線成分低減部(直線成分低減装置)
31 テンプレートマッチング部(テンプレートマッチング手段)
100 歩行者検出表示システム

【特許請求の範囲】
【請求項1】
撮像して得られた画像に対してラドン変換を施すラドン変換処理手段と、前記ラドン変換して得られたラドン変換画像に対して、そのラドン変換画像における、所定の閾値以上の指示値を前記閾値未満の値に置換する補正処理手段と、前記補正処理手段によって前記指示値が置換された後のラドン変換画像に対して、前記ラドン変換の逆変換を施すことにより、前記撮像して得られた画像よりも直線成分が抑制された画像を得る逆ラドン変換処理手段とを備えたことを特徴とする直線成分低減装置。
【請求項2】
前記逆ラドン変換処理手段によって得られた画像に対して、前記補正処理手段による置換によって生じた偽画像を抑制する偽画像抑制処理手段をさらに備えたことを特徴とする請求項1に記載の直線成分低減装置。
【請求項3】
前記ラドン変換処理手段にるラドン変換に先だって、前記撮像して得られた画像に対してエッジ強調処理を施すエッジ強調処理手段をさらに備え、前記ラドン変換処理手段は、前記エッジ強調処理手段によってエッジが強調された画像に対して前記ラドン変換を施すことを特徴とする請求項1または2に記載の直線成分低減装置。
【請求項4】
前記エッジ強調処理手段によるエッジ強調処理に先だって、前記撮像して得られた画像に対してコントラストを高める輝度調整手段をさらに備え、前記エッジ強調処理手段は、前記輝度調整手段によってコントラストが高められた画像に対して前記エッジ強調処理を施すことを特徴とする請求項3に記載の直線成分低減装置。
【請求項5】
遠赤外線に対する感度を有する遠赤外線カメラをさらに備え、前記撮像して得られた画像は、前記遠赤外線カメラによって撮像された遠赤外線画像であることを特徴とする請求項1から3のうちいずれか1項に記載の直線成分低減装置。
【請求項6】
請求項1から5のうちいずれか1項に記載の直線成分低減装置と、前記直線成分低減装置により得られた直線成分が抑制された画像に対して所定のテンプレートと比較照合を行うことで、前記テンプレートに表された像に対応する画像部分を検出するテンプレートマッチング手段と、前記テンプレートマッチング手段によって検出された画像部分に所定のマーカーを重畳して出力するマーカー重畳部とを有する画像処理装置と、所定の情報を表示する画像表示装置とが車載され、
前記撮像して得られた画像が、車両の進行方向の所定領域を撮像して得られた画像であり、
前記テンプレートマッチング手段は、前記テンプレートの像として歩行者の像が適用されたテンプレートと比較照合するものであることを特徴とする歩行者検出表示システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2011−39998(P2011−39998A)
【公開日】平成23年2月24日(2011.2.24)
【国際特許分類】
【出願番号】特願2009−189449(P2009−189449)
【出願日】平成21年8月18日(2009.8.18)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】