画像処理装置
【課題】画像から歩行者を検出する際に存在する位置に関係なく歩行者だけを高精度に検出する画像処理装置を提供することを課題とする。
【解決手段】画像から歩行者を検出する画像処理装置１１であって、画像から歩行者候補領域を抽出する候補領域抽出手段１５ａと、候補領域抽出手段１５ａで抽出した歩行者候補領域までの距離に対応した輝度閾値を設定する閾値設定手段１５ｂと、候補領域抽出手段１５ａで抽出した歩行者候補領域の中から、歩行者候補領域の画像中に閾値設定手段１５ｂで設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段１５ｃとを備えることを特徴とする。
【解決手段】画像から歩行者を検出する画像処理装置１１であって、画像から歩行者候補領域を抽出する候補領域抽出手段１５ａと、候補領域抽出手段１５ａで抽出した歩行者候補領域までの距離に対応した輝度閾値を設定する閾値設定手段１５ｂと、候補領域抽出手段１５ａで抽出した歩行者候補領域の中から、歩行者候補領域の画像中に閾値設定手段１５ｂで設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段１５ｃとを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から歩行者を検出する画像処理装置に関する。
【背景技術】
【０００２】
近年、運転者を支援するための様々な装置が開発されており、これら装置には運転者に車両前方の歩行者の情報を提供するものがある。歩行者を検出する手法としては、例えば、車両前方をカメラで撮像し、その撮像画像からテンプレートを用いてパターン認識によって歩行者を検出する手法がある。
【０００３】
しかし、パターン認識で物体を検出する場合、テンプレートにおける検出対象の形状に似ている物体も誤検出する虞がある。例えば、検出対象が歩行者の場合、路上に設置されている円形の標識や対向車のヘッドライト、テールランプなどは歩行者の頭部の形状に似ている。そのため、一般に用いられている歩行者のテンプレートを用いた場合、歩行者と標識などとを識別することが困難であり、これら標識などを誤検出する可能性がある。そこで、特許文献１に記載の装置では、撮像画像において濃度閾値を超えかつ領域の縦横比が所定の範囲内の領域を歩行者候補領域として抽出し、抽出した歩行者候補領域のうち領域内の濃度平均値が所定値以上の歩行者候補領域を構造物（例えば、標識、看板）として除外する。
【特許文献１】特開２００５−１５９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の装置では、対象物体までの位置を考慮せずに処理を行っているので、構造物や歩行者の位置によっては構造物を除外できない場合や歩行者まで除外してしまう場合がある。例えば、遠方の構造物を除去するための所定値（小さい値）が設定されている場合、近傍の歩行者についての濃度平均値が所定値以上となり、近傍の歩行者を除外してしまう可能性である。また、近傍の構造物を除去するための所定値（大きい値）が設定されている場合、遠方の構造物についての濃度平均値が所定値未満となり、遠方の構造物を除外できない可能性である。
【０００５】
そこで、本発明は、画像から歩行者を検出する際に存在する位置に関係なく歩行者だけを高精度に検出する画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、画像から歩行者を検出する画像処理装置であって、画像から歩行者候補領域を抽出する候補領域抽出手段と、候補領域抽出手段で抽出した歩行者候補領域までの距離に対応した輝度閾値を設定する閾値設定手段と、候補領域抽出手段で抽出した歩行者候補領域の中から、歩行者候補領域の画像中に閾値設定手段で設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段とを備えることを特徴とする。
【０００７】
この画像処理装置では、候補領域抽出手段により、画像から歩行者の可能性がある歩行者候補領域を抽出する。そして、画像処理装置では、閾値設定手段により、抽出した各歩行者候補領域について、歩行者候補領域までの距離に対応した輝度閾値を設定する。さらに、画像処理装置では、候補除去手段により、抽出した歩行者候補領域の中から、歩行者候補領域の画像において輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する。そして、画像処理装置では、除外されなかった歩行者候補領域によって歩行者を検出する。通常、同じ物体でも、その物体まで遠いほど、画像におけるその対象物体の輝度は低くなる（特に、その物体に向けて光を照射している場合や物体自体が発光している場合）。そこで、歩行者候補領域までの距離に応じた輝度閾値を設定することにより（例えば、距離が大きいほど小さい輝度閾値を設定する）、歩行者候補領域における物体が近傍に存在する場合でも、遠方に存在する場合でも、歩行者と歩行者以外の物体とを識別することができる適切な輝度閾値を決めることができる。その結果、この画像処理装置では、近傍に存在する歩行者の歩行者候補を除外することを防止でき、遠方に存在する歩行者以外の物体の歩行者候補を除外でき、存在する位置に関係なく歩行者だけを高精度に検出できる。
【０００８】
なお、歩行者候補領域のうち除外される物体としては、歩行者と画像における輝度値が明らかに異なる物体であり（特に、歩行者に対して輝度が高い物体）、例えば、標識や看板などの可視光や赤外光などに対する反射率が高い物体、点灯している車両のヘッドライトなどの自発光する物体である。歩行者候補領域までの距離は、その求め方については特に限定するものでなく、例えば、画像における歩行者候補領域の大きさに基づいて推定してもよいし、歩行者候補領域の物体までの距離を距離センサなどで実際に検出してもよい。
【０００９】
本発明の上記画像処理装置では、候補除外手段は、輝度閾値以上の画素の領域が所定面積以上の場合に歩行者の候補から除外する構成としてもよい。
【００１０】
この画像処理装置では、候補除外手段により、抽出した歩行者候補領域の中から、歩行者候補領域の画像において輝度閾値以上の画素が占める領域が所定面積以上の歩行者候補領域を歩行者の候補から除外する。このように、画像処理装置では、輝度閾値以上となっている領域面積も考慮することにより、画像におけるノイズや高い反射率の部分などで一部の輝度が高くなっている場合でも誤って除外しないので、歩行者をより高精度に検出できる。ちなみに、反射率の高い物体や自発光する物体は、その物体全体において輝度が高くなるので、歩行者候補領域において一定量以上の領域で輝度が高くなる。所定面積は、輝度閾値以上の領域面積が歩行者と比較して明らかに大きいことを判別できる面積であり、実験などによって設定される。
【００１１】
本発明の上記画像処理装置では、画像は、赤外線画像であると好適である。
【００１２】
この画像処理装置では、歩行者を検出するための画像として赤外線画像を用いるので、夜間などの人間の肉眼では視認困難な歩行者も検出することができる。この場合、撮像する領域に対して赤外線を照射することによって、検出精度をより高めることができる。
【発明の効果】
【００１３】
本発明は、歩行者候補領域までの距離に対応した輝度閾値を設定することにより、存在する位置に関係なく、歩行者以外の物体を除外でき、歩行者のみを高精度に検出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。
【００１５】
本実施の形態では、本実施の形態に係る画像処理装置を、車両に搭載されるナイトビューシステムに適用する。本実施の形態に係るナイトビューシステムは、夜間走行時の運転者を支援するために、カメラによる近赤外線画像から歩行者を検出し、車両前方に存在する歩行者情報を提供する。本実施の形態には、２つの形態があり、第１の実施の形態が輝度閾値が固定値の形態であり、第２の実施の形態が輝度閾値が可変値の形態である。
【００１６】
図１及び図２を参照して、第１の実施の形態に係るナイトビューシステム１について説明する。図１は、第１の実施の形態に係るナイトビューシステムの構成図である。図２は、本実施の形態に係るナイトビューシステムの各機器の配置図である。
【００１７】
ナイトビューシステム１は、近赤外線画像から歩行者を検出し、検出した歩行者を示す情報を表示する。特に、ナイトビューシステム１は、歩行者の検出精度を向上させるために、歩行者との識別が難しい標識や車両の灯火類などを除去するためのフィルタを有している。ナイトビューシステム１は、近赤外線カメラ２、近赤外線投光器３、ディスプレイ４及びＥＣＵ[Electronic Control Unit]５を備えている。
【００１８】
近赤外線カメラ２は、図２に示すように、車両の前側（例えば、ルームミラーの裏側）に配置され、車両前方に向けて取り付けられる。近赤外線カメラ２は、近赤外線（近赤外線投光器３からの近赤外線の反射光など）を取り込み、その近赤外線の強弱に応じた濃淡によって近赤外線映像を生成する。この近赤外線映像は、一定時間（例えば、１／３０秒）毎のフレームの近赤外線画像からなる。近赤外線カメラ２では、一定時間毎に、各フレームの近赤外線画像情報を画像信号としてＥＣＵ５に送信する。
【００１９】
近赤外線投光器３は、図２に示すように、車両の前端に配置され、車両前方に向けて取り付けられる。近赤外線投光器３は、車両の前方に近赤外線を照射する。近赤外線投光器３は、ナイトビューシステム１が起動時にＯＮされ、停止時にＯＦＦされる。ちなみに、近赤外線投光器３によって近赤外線を物体に対して照射することによって、近赤外線画像において各物体の反射率を反映した輝度が鮮明に表れるので、反射率の異なる物体の識別性が向上する。
【００２０】
ディスプレイ４は、近赤外線画像から検出された歩行者の情報を運転者に提供する表示手段であり、例えば、液晶ディスプレイ、ヘッドアップディスプレイである。ディスプレイ４では、ＥＣＵ５から表示信号を受信し、表示信号に示される画像を表示する。表示画像としては、例えば、撮像された近赤外線画像において検出された歩行者が矩形線で囲まれて強調表示する画像、検出された歩行者だけを表示する画像である。
【００２１】
ＥＣＵ５は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]などからなり、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによって歩行者候補領域抽出部５ａ、輝度飽和物除去フィルタ５ｂ、出力部５ｃが構成される。ＥＣＵ５では、一定時間毎に、近赤外線カメラ２から画像信号を受信し、近赤外線画像から歩行者を検出する。そして、ＥＣＵ５では、その歩行者の検出結果をディスプレイ４に表示させる。
【００２２】
歩行者候補領域抽出部５ａは、近赤外線画像から歩行者候補領域を抽出する。この抽出方法としては、特に限定せず、各種方法が適用可能である。抽出方法としては、例えば、歩行者のテンプレートを用意し、テンプレートを用いたパターンマッチングによる方法がある。具体的には、近赤外線画像から所定の大きさの矩形領域を順次切り出し、テンプレートの画像と切り出した各矩形領域画像とのマッチング度を求め、そのマッチング度が閾値以上の場合にはその矩形領域を歩行者候補領域とする。
【００２３】
なお、歩行者のテンプレートは、歩行者以外にも路上に設置されている標識（円形標識など）や車両の灯火類（ヘッドライト、テールランプなど）などが同じような外形状（特に、歩行者の頭部の外形状）を有している。そのため、歩行者のテンプレートを用いたパターンマッチングでは、歩行者以外にも標識などを歩行者候補領域として抽出する可能性がある。図３には、歩行者候補領域の画像の一例を示しており、歩行者候補領域として円形標識が抽出されている。
【００２４】
輝度飽和物除去フィルタ５ｂは、抽出した歩行者候補の中から円形標識などの高輝度画素を多く含む輝度飽和物の歩行者候補を除去し、歩行者の歩行者候補を通過させるフィルタである。除去できる輝度飽和物としては、歩行者に比べて輝度の高い画素を明らかに多く含む物体であり、例えば、物体全体の反射率が高い物体、自発光している物体である。
【００２５】
歩行者の場合、身に着けているものによって反射率の高い部分が一部存在することもあるが、反射率が全体としては低い。そのため、近赤外線投光器３からの近赤外線が歩行者で反射され、その反射された近赤外線が近赤外線カメラ２で画像化された場合、その歩行者の領域画像は、全体としては低輝度であり、高輝度部分があったとしてもその画素は少ない。標識の場合、反射率が全体にわたって高い（自車両に対して正面を向いているほど自車両に戻ってくる反射率が高くなる）。そのため、近赤外線投光器３からの近赤外線が標識で反射され、その反射された近赤外線が近赤外線カメラ２で画像化された場合、その標識の領域画像では、標識全体にわたって高輝度である。また、対向車両のヘッドライトが点灯している場合、そのヘッドライト周辺が明るくなる。そのため、それが近赤外線カメラ２で画像化された場合、そのヘッドライト周辺の領域画像では、全体にわたって高輝度である。このように、反射率の高い物体や自発光している物体はその領域画像においてある輝度以上の画素が占める割合が大きくなるが、歩行者はその領域画像においてある輝度以上の画素が占める割合が小さいかあるいはある輝度以上の画素が存在しない。
【００２６】
ちなみに、自車両に対して斜めを向いている標識の場合、正面を向いている標識より反射率が低くなるので、その斜めを向いている標識の領域画像は、輝度が低くなるが、標識全体にわたってその輝度となり、ある輝度以上の画素は多い。また、遠方に存在する標識の場合、近傍に存在する標識より反射率が低くなるので、その遠方の標識の領域画像は、輝度が低くなるが、標識全体にわたってその輝度となり、ある輝度以上の画素は多い。
【００２７】
図４には、夜間の走行実験によって多数の歩行者候補領域を抽出し、各歩行者候補領域の画像において輝度が最大の画素を探索し、その各歩行者候補領域についての輝度最大値と輝度最大値の画素数との関係を示す散布図を示している。ここでは、歩行者（黒塗の印）と標識などの歩行者以外の物体（白抜きの印）とを分けて示している。歩行者の場合、輝度の最大値が大きくなる歩行者も存在するが、その輝度最大値となる画素の数は少ない。一方、歩行者以外の物体の場合、輝度の最大値が小さいものも存在するが（例えば、遠方に存在する標識、自車両に対して斜めを向いている標識）、その輝度最大値となる画素の数は歩行者よりも明らかに多い。この実験結果からも判るように、輝度値の大きさとある大きさ以上の輝度の画素数（その画素が存在する領域面積）とを組み合わせることにより、歩行者と歩行者以外の輝度飽和物とを識別することができる。
【００２８】
具体的には、輝度飽和物除去フィルタ５ｂでは、まず、抽出された歩行者候補領域毎に、歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定し、幅閾値ＷＴＨ以下の歩行者候補領域については以降の処理を行わない。幅閾値ＷＴＨは、歩行者情報として提供する必要のない歩行者候補領域を判別するための閾値であり、実験などによって予め設定される。歩行者候補領域の幅ｗの小さいものは、自車両から遠方に存在する物体かあるいは近傍に存在する場合には歩行者とは明らか異なる小さい物体なので、運転者に歩行者情報として提供する必要はない。
【００２９】
次に、輝度飽和物除去フィルタ５ｂでは、幅閾値ＷＴＨ以上の歩行者候補領域毎に、領域画像内から輝度閾値ＩＴＨ以上の画素を探索し、その輝度閾値ＩＴＨ以上の画素の数ＨＣ（輝度閾値ＩＴＨ以上の画素が存在する領域面積に相当）をカウントする。輝度閾値ＩＴＨは、反射率の高い物体や自発光している物体としての輝度値とは明らかに異なる低い輝度値の画素を判別するための閾値であり、実験によって予め設定される。また、輝度飽和物除去フィルタ５ｂでは、歩行者候補領域の幅（画素数）ｗと高さ（画素数）ｈとを乗算し、領域の面積（全画素数）を求める（図３参照）。そして、輝度飽和物除去フィルタ５ｂでは、カウントした画素数ＨＣを全画素数で除算し、歩行者候補領域において輝度閾値ＩＴＨ以上の画素が占める割合（面積割合）ＲＨＣを求める。
【００３０】
次に、輝度飽和物除去フィルタ５ｂでは、面積割合ＲＨＣが割合閾値ＲＴＨ以上か否かを判定する。割合閾値ＲＴＨは、輝度閾値ＩＴＨ以上の画素の占める面積割合が歩行者と比較して明らかに大きい歩行者候補領域を判別するための閾値であり、実験によって予め設定される。面積割合ＲＨＣが割合閾値ＲＴＨ以上の場合、高い輝度を有する画素が多く存在することを示しており（歩行者とは明らかに異なる輝度分布を有しているので）、輝度飽和物除去フィルタ５ｂでは、輝度飽和物と判別し、その歩行者候補領域を棄却する。一方、面積割合ＲＨＣが割合閾値ＲＴＨ未満の場合、高い輝度を有する画素が多く存在しないことを示しており、輝度飽和物除去フィルタ５ｂでは、歩行者と判別し、その歩行者候補領域を確定する。
【００３１】
出力部５ｃは、輝度飽和物除去フィルタ５ｂを通過した歩行者候補領域を用いて歩行者の情報を示す表示画像を生成し、その表示信号をディスプレイ４に送信する。この表示画像としては、近赤外線画像とその近赤外線画像内で検出された歩行者を強調するための歩行者を囲む矩形線からなる画像、あるいは、検出された歩行者だけを表示する画像である。
【００３２】
図１及び図２を参照して、ナイトビューシステム１の動作について説明する。特に、ＥＣＵ５における処理について図５のフローチャートに沿って説明する。図５は、第１の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。
【００３３】
ナイトビューシステム１が起動されると、近赤外線投光器３では、車両前方に近赤外線を照射する。近赤外線カメラ２では、車両前方を近赤外線によって撮像し、一定時間毎に各フレームの撮像画像情報からなる画像信号をＥＣＵ５に送信している。ＥＣＵ５では、一定時間毎に、近赤外線カメラ２から画像信号を受信し、撮像画像を取得する（Ｓ１０）。そして、ＥＣＵ５では、テンプレートを用いたパターンマッチングによって、撮像画像から歩行者候補領域を抽出する（Ｓ１１）。
【００３４】
ＥＣＵ５では、抽出した歩行者候補の中から歩行者候補を１つづつ選択する（Ｓ１２）。そして、ＥＣＵ５では、その選択した歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定する（Ｓ１３）。Ｓ１３にて歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下と判定した場合、ＥＣＵ５では、その歩行者候補についての処理を行わず、Ｓ１９の処理に移行する。
【００３５】
Ｓ１３にて歩行者候補領域の幅ｗが幅閾値ＷＴＨより大きいと判定した場合、ＥＣＵ５では、その歩行者候補領域の画像から輝度閾値ＩＴＨ以上の画素を探索し、輝度閾値ＩＴＨ以上の画素の数ＨＣをカウントする（Ｓ１４）。そして、ＥＣＵ５では、そのカウントした画素数（面積）ＨＣが歩行者候補領域の全画素数（全面積）（ｗ×ｈ）に占める面積割合ＲＨＣを算出する（Ｓ１５）。
【００３６】
続いて、ＥＣＵ５では、その歩行者候補の面積割合ＲＨＣが割合閾値ＲＴＨ以上か否かを判定する（Ｓ１６）。Ｓ１６にて面積割合ＲＨＣが割合閾値ＲＴＨ以上と判定した場合、ＥＣＵ５では、輝度飽和物と判別し、その歩行者候補を除外する（Ｓ１７）。一方、Ｓ１６にて面積割合ＲＨＣが割合閾値ＲＴＨ未満と判定した場合、ＥＣＵ５では、歩行者と判別し、その歩行者候補を確定する（Ｓ１８）。ここで、高い輝度の画素を多く含む歩行者候補が輝度飽和物除去フィルタ５ｂで遮断され、高い輝度の画素を多く含まない歩行者候補が輝度飽和物除去フィルタ５ｂで透過される。
【００３７】
選択した歩行者候補についての処理が終了した場合あるいはＳ１３で選択した歩行者候補についての処理を行わないと判定した場合、ＥＣＵ５では、Ｓ１１で抽出した歩行者候補についての処理が全て終了したか否かを判定する（Ｓ１９）。Ｓ１９にて全て終了していないと判定した場合、ＥＣＵ５では、Ｓ１２に戻って次の歩行者候補を選択し、次の歩行者候補に対する処理を行う。一方、Ｓ１９にて全て終了したと判定した場合、ＥＣＵ５では、Ｓ１８で確定した全ての歩行者候補についての歩行者の情報を提供するための表示画像を生成し、表示信号をディスプレイ４に送信する（Ｓ２０）。この表示信号を受信すると、ディスプレイ４では、表示信号に応じた画像を表示する。
【００３８】
ナイトビューシステム１では、以上の動作を一定時間毎に繰り返し行い、運転者に車両前方の歩行者の情報を提供する。運転者は、この情報により、夜間でも歩行者を確実に認識できる。
【００３９】
このナイトビューシステム１によれば、歩行者候補領域における輝度閾値以上の画素の占める面積割合による判定を行うことにより、輝度飽和物と歩行者とを高精度に識別でき、標識や車両の灯火類などを誤検出することを抑制できる。これによって、運転者に正しい歩行者情報を提供することができ、運転の安全性を向上させることができる。また、ナイトビューシステム１によれば、輝度飽和物を識別するために輝度閾値以上の画素の占める面積割合を求めるだけなので、処理負荷も軽減する。
【００４０】
また、ナイトビューシステム１では、歩行者を検出するための画像として近赤外線画像を用いるので、夜間などの人間の肉眼では視認困難な歩行者も検出することができる。さらに、ナイトビューシステム１では、撮像する領域に対して近赤外線を照射することによって、物体の反射率を輝度値により正確に反映させることができ、検出精度をより高めることができる。
【００４１】
図６及び図２を参照して、第２の実施の形態に係るナイトビューシステム１１について説明する。図６は、第２の実施の形態に係るナイトビューシステムの構成図である。なお、ナイトビューシステム１１では、第１の実施の形態に係るナイトビューシステムと同様の構成については同一の符号を付し、その説明を省略する。
【００４２】
ナイトビューシステム１１は、ナイトビューシステム１と比較すると、歩行者の検出精度（輝度飽和物除去フィルタの輝度飽和物を除去する精度）をより向上させるために、輝度閾値を可変値とした点が異なる。ナイトビューシステム１１は、近赤外線カメラ２、近赤外線投光器３、ディスプレイ４及びＥＣＵ１５を備えている。
【００４３】
ＥＣＵ１５は、第１の実施の形態に係るＥＣＵ５と比較すると、歩行者候補領域までの距離に対応した輝度閾値を設定する点が異なる。そのため、ＥＣＵ１５は、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによって歩行者候補領域抽出部１５ａ、輝度閾値設定部１５ｂ、輝度飽和物除去フィルタ１５ｃ、出力部１５ｄが構成される。歩行者候補領域抽出部１５ａ、輝度飽和物除去フィルタ１５ｃ、出力部１５ｄは、ＥＣＵ５の各部５ａ，５ｂ，５ｃと同様の処理を行うので、その説明を省略する。なお、本実施の形態では、歩行者候補領域抽出部１５ａが特許請求の範囲に記載する候補領域抽出手段に相当し、輝度閾値設定部１５ｂが特許請求の範囲に記載する閾値設定手段に相当し、輝度飽和物除去フィルタ１５ｃが特許請求の範囲に記載する候補除外手段に相当する。
【００４４】
図７（ａ）と図８（ａ）には同じ歩行者が自車両から近傍に存在する場合と遠方に存在する場合の近赤外線カメラ２による撮像画像の一例を示しており、図７（ｂ）と図８（ｂ）にはその撮像画像における各輝度の頻度（画素数）を示している。近傍に存在する場合の歩行者の輝度値は２３０前後であり、遠方に存在する場合の歩行者の輝度値は２００前後である。このように、同じ物体（歩行者）の場合でも、自車両からの距離により輝度が異なり、遠方ほど輝度が低下する。これは、自車両から遠方に存在するほど、近赤外線投光器３の近赤外線に対する反射率が低下するためのである。また、自発光する物体の場合も、自車両から遠方に存在するほど輝度が低下する。
【００４５】
このように、同じ物体でも自車両から遠くなるほど撮像画像における輝度が低下するので、自車両の距離に関係なく同じ輝度閾値ＩＴＨで判定を行うと、輝度飽和物を精度良く除外できない場合がある。例えば、輝度閾値ＩＴＨとして小さい値を設定した場合、近傍の歩行者についての輝度が輝度閾値ＩＴＨ以上となる可能性があり、近傍の歩行者を除外してしまう虞がある。また、輝度閾値ＩＴＨとして大きい値を設定した場合、遠方の標識についての輝度が輝度閾値ＩＴＨ未満となる可能性があり、遠方の標識を除外できない虞がある。そのため、近傍の物体については輝度閾値ＩＴＨとして大きい値を設定し、遠方の物体については輝度閾値ＩＴＨとして小さい値を設定する必要がある。そこで、歩行者候補領域毎に、撮像画像における歩行者候補領域までの距離（自車両からその歩行者候補領域における物体までの距離に相当）を推定し、その距離に応じた輝度閾値ＩＴＨを設定する。
【００４６】
輝度閾値設定部１５ｂは、抽出した歩行者候補領域までの距離に応じた輝度閾値ＩＴＨを設定する。具体的には、近赤外線カメラ２から任意の対象物体までの距離をｄとし、その対象物体の撮像画像上の歩行者候補領域の幅をｗとすると、式（１）に示す関係となる。また、近赤外線カメラ２の撮像方向、近赤外線投光器３の照射方向、車両進行方向が同一方向であるので、撮像画像における任意の画素の輝度値をｆとすると、式（２）に示す関係となる。式（２）におけるｘ１は、式（３）で表される。
【００４７】
【数１】
【００４８】
ｗｆは、近赤外線カメラ２の撮像画像の幅である。ｘは、撮像画像における左上を原点とした場合の撮像画像上の横方向（幅方向）における歩行者候補領域の中心位置である。ｘ１は、撮像画像上の横方向の中心位置（ｗｆ／２）から歩行者候補領域の中心位置（ｘ）までの横方向の距離である。この式（２）の関係から、任意の画素の輝度値ｆは、歩行者候補領域の幅ｗが小さくなるほど（つまり、歩行者候補領域が奥行き方向に遠くなるほど）小さくなり、撮像画像の中心位置からの歩行者候補領域の距離ｘ１が大きくなるほど（つまり、歩行者候補領域が撮像画像の幅方向中心から離れるほど）小さくなることが判る。
【００４９】
この式（２）、式（３）から、式（４）により、撮像画像における歩行者候補領域の奥行き方向の距離と幅方向中心からの距離に応じた輝度閾値ＩＴＨを求めることができる。ここで、ｃは、比例定数である。ｗｂは、基準位置（校正用の位置であり、任意に設定可能）での歩行者候補領域の幅である。ｘｂは、基準位置での撮像画像上の横方向の中心位置から歩行者候補領域の中心位置までの横方向の距離である。ＩＴＨｂは、基準位置での輝度閾値である。このｃ、ｗｂ、ｘｂ、ＩＴＨｂについては、基準位置が設定された後、実験などによって予め設定される。
【００５０】
輝度閾値設定部１５ｂでは、歩行者候補領域毎に、その幅ｗ、距離ｘ１を求め、式（４）により輝度閾値ＩＴＨを算出する。これによって、輝度閾値ＩＴＨは、歩行者候補領域が奥行き方向に遠くなるほど小さくなり、歩行者候補領域が撮像画像の幅方向の中心位置から離れるほど小さくなる。
【００５１】
図６及び図２を参照して、ナイトビューシステム１１の動作について説明する。特に、ＥＣＵ１５における処理について図９のフローチャートに沿って説明する。図９は、第２の実施の形態に係る歩行者検出装置のＥＣＵにおける処理の流れを示すフローチャートである。
【００５２】
ナイトビューシステム１１では、第１の実施の形態と同様に、起動されると近赤外線投光器３で近赤外線を照射し、近赤外線カメラ２で車両前方を撮像し、一定時間毎に画像信号をＥＣＵ１５に送信している。ＥＣＵ１５では、第１の実施の形態に係るＥＣＵ５と同様の処理により、一定時間毎に、近赤外線カメラ２から撮像画像を取得し（Ｓ３０）、撮像画像から歩行者候補領域を抽出する（Ｓ３１）。
【００５３】
ＥＣＵ１５では、抽出した歩行者候補の中から歩行者候補を１つづつ選択する（Ｓ３２）。そして、ＥＣＵ１５では、その歩行者候補領域の幅ｗと撮像画像の中心位置からの距離ｘ１を求める。さらに、ＥＣＵ１５では、幅ｗと距離ｗ１を用いて、式（４）により歩行者候補領域までの距離に応じた輝度閾値ＩＴＨを設定する（Ｓ３３）。ここで、歩行者候補領域の物体の存在する位置を考慮した輝度閾値ＩＴＨが設定される。なお、このＳ３３の処理については、Ｓ３５の処理の直前に行ってもよい。
【００５４】
続いて、ＥＣＵ１５では、第１の実施の形態と同様に、その歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定し（Ｓ３４）、Ｓ３４にて歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下と判定した場合には歩行者候補についての処理を行わない。
【００５５】
Ｓ３４にて歩行者候補領域の幅ｗが幅閾値ＷＴＨより大きいと判定した場合、ＥＣＵ１５では、Ｓ３３の処理で設定した輝度閾値ＩＴＨを用いて、歩行者候補領域の画像中から輝度閾値ＩＴＨ以上の画素を探索する（Ｓ３５）。そして、ＥＣＵ１５では、輝度閾値ＩＴＨ以上の画素数ＨＣをカウントする（Ｓ３５）。ここで、歩行者候補領域の物体が自車両から近傍に存在する場合、輝度閾値ＩＴＨとして大きな値が設定されているので、輝度値が高い画素が探索される。一方、歩行者候補領域の物体が自車両から遠方に存在する場合、輝度閾値ＩＴＨとして小さな値が設定されているので、近傍に存在する物体より輝度値が低い画素も探索される。そのため、例えば、標識が遠方に存在し、反射率が低くなっている場合でも、輝度閾値ＩＴＨが小さくなっているので、その輝度閾値ＩＴＨ以上となる画素が多い。また、歩行者が近傍に存在する場合でも、輝度閾値ＩＴＨが大きくなっているので、その輝度閾値ＩＴＨ以上となる画素が少ない。
【００５６】
続いて、ＥＣＵ１５では、第１の実施の形態におけるＳ１５〜Ｓ２０の各処理と同様の処理を、Ｓ３６〜Ｓ４１の各処理で行う。そして、ナイトビューシステム１１では、第１の実施の形態と同様に、ディスプレイ４で歩行者の情報を示す画像を表示する。ナイトビューシステム１１では、以上の動作を一定時間毎に繰り返し行い、運転者に車両前方の歩行者の情報を提供する。
【００５７】
このナイトビューシステム１１では、第１の実施の形態に係るナイトビューシステム１と同様の効果を有する上に、以下の効果も有する。ナイトビューシステム１１によれば、歩行者候補領域までの距離に応じて輝度閾値ＩＴＨを設定することにより、近傍に存在する歩行者の歩行者候補領域を除外することを防止でき、遠方に存在する標識などの歩行者候補領域を除外でき、自車両からの距離に関係なく歩行者だけを高精度に検出できる。また、ナイトビューシステム１１では、歩行者候補領域の幅を利用して歩行者候補領域までの距離を推定することにより、歩行者候補領域までの距離を高精度に推定でき、歩行者候補領域までの距離に応じた最適な輝度閾値ＩＴＨを設定することができる。ちなみに、歩行者は幅については個体差が小さいが、高さについては個体差が大きいので、歩行者候補領域も幅については個体差が小さく、幅を利用することによって歩行者候補領域までの距離を正確に推定できる。
【００５８】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００５９】
例えば、本実施の形態では近赤外線カメラで撮像した近赤外線画像に基づく歩行者検出に適用したが、近赤外線以外の不可視カメラで撮像した不可視画像あるいは可視カメラで撮像した可視画像に基づく歩行者検出にも適用可能である。また、本実施の形態では車両に搭載されるナイトビューシステムに適用したが、車載装置に限定されることなく、様々な用途に適用可能である。
【００６０】
また、本実施の形態では輝度閾値以上の面積（面積割合）も考慮して歩行者候補から輝度飽和物を除外する構成としたが、歩行者と標識などの輝度飽和物とを判別することができる適切な輝度閾値を距離に応じて設定することができるなら、輝度閾値以上の領域の面積を考慮せずに、輝度閾値による判定だけで歩行者候補から輝度飽和物を除外するようにしてもよい。
【００６１】
また、本実施の形態では歩行者候補領域における輝度閾値以上の画素の面積割合を算出し、面積割合によって歩行者候補から輝度飽和物を除外するか否かを判定する構成としたが、歩行者候補領域における輝度閾値以上の画素の数や画素の領域面積によって歩行者候補から輝度飽和物を除外するか否かを判定するようにしてもよい。
【００６２】
また、第２の実施の形態では歩行者候補までの距離を歩行者候補領域の大きさ（幅）に基づいて推定する構成としたが、歩行者候補までの距離を距離センサで実際に検出するなど、他の方法で距離を求めてもよい。
【００６３】
また、第２の実施の形態では歩行者候補領域までの距離に応じて輝度閾値を無段階で設定する構成としたが、歩行者候補領域までの距離を数段階に分け、輝度閾値を数段階で設定してもよい。
【図面の簡単な説明】
【００６４】
【図１】第１の実施の形態に係るナイトビューシステムの構成図である。
【図２】本実施の形態に係るナイトビューシステムの各機器の配置図である。
【図３】本実施の形態に係る歩行者候補領域の画像の一例である。
【図４】本実施の形態に係る歩行者候補領域における輝度最大値と輝度最大値の画素数との関係を示す散布図の一例である。
【図５】第１の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。
【図６】第２の実施の形態に係るナイトビューシステムの構成図である。
【図７】近傍に存在する歩行者の一例であり、（ａ）が撮像画像であり、（ｂ）が撮像画像における各輝度の頻度を示す度数分布図である。
【図８】遠方に存在する歩行者の一例であり、（ａ）が撮像画像であり、（ｂ）が撮像画像における各輝度の頻度を示す度数分布図である。
【図９】第２の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。
【符号の説明】
【００６５】
１，１１…ナイトビューシステム、２…近赤外線カメラ、３…近赤外線投光器、４…ディスプレイ、５，１５…ＥＣＵ、５ａ，１５ａ…歩行者候補領域抽出部、５ｂ，１５ｃ…輝度飽和物除去フィルタ、５ｃ，１５ｄ…出力部、１５ｂ…輝度閾値設定部
【技術分野】
【０００１】
本発明は、画像から歩行者を検出する画像処理装置に関する。
【背景技術】
【０００２】
近年、運転者を支援するための様々な装置が開発されており、これら装置には運転者に車両前方の歩行者の情報を提供するものがある。歩行者を検出する手法としては、例えば、車両前方をカメラで撮像し、その撮像画像からテンプレートを用いてパターン認識によって歩行者を検出する手法がある。
【０００３】
しかし、パターン認識で物体を検出する場合、テンプレートにおける検出対象の形状に似ている物体も誤検出する虞がある。例えば、検出対象が歩行者の場合、路上に設置されている円形の標識や対向車のヘッドライト、テールランプなどは歩行者の頭部の形状に似ている。そのため、一般に用いられている歩行者のテンプレートを用いた場合、歩行者と標識などとを識別することが困難であり、これら標識などを誤検出する可能性がある。そこで、特許文献１に記載の装置では、撮像画像において濃度閾値を超えかつ領域の縦横比が所定の範囲内の領域を歩行者候補領域として抽出し、抽出した歩行者候補領域のうち領域内の濃度平均値が所定値以上の歩行者候補領域を構造物（例えば、標識、看板）として除外する。
【特許文献１】特開２００５−１５９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の装置では、対象物体までの位置を考慮せずに処理を行っているので、構造物や歩行者の位置によっては構造物を除外できない場合や歩行者まで除外してしまう場合がある。例えば、遠方の構造物を除去するための所定値（小さい値）が設定されている場合、近傍の歩行者についての濃度平均値が所定値以上となり、近傍の歩行者を除外してしまう可能性である。また、近傍の構造物を除去するための所定値（大きい値）が設定されている場合、遠方の構造物についての濃度平均値が所定値未満となり、遠方の構造物を除外できない可能性である。
【０００５】
そこで、本発明は、画像から歩行者を検出する際に存在する位置に関係なく歩行者だけを高精度に検出する画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、画像から歩行者を検出する画像処理装置であって、画像から歩行者候補領域を抽出する候補領域抽出手段と、候補領域抽出手段で抽出した歩行者候補領域までの距離に対応した輝度閾値を設定する閾値設定手段と、候補領域抽出手段で抽出した歩行者候補領域の中から、歩行者候補領域の画像中に閾値設定手段で設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段とを備えることを特徴とする。
【０００７】
この画像処理装置では、候補領域抽出手段により、画像から歩行者の可能性がある歩行者候補領域を抽出する。そして、画像処理装置では、閾値設定手段により、抽出した各歩行者候補領域について、歩行者候補領域までの距離に対応した輝度閾値を設定する。さらに、画像処理装置では、候補除去手段により、抽出した歩行者候補領域の中から、歩行者候補領域の画像において輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する。そして、画像処理装置では、除外されなかった歩行者候補領域によって歩行者を検出する。通常、同じ物体でも、その物体まで遠いほど、画像におけるその対象物体の輝度は低くなる（特に、その物体に向けて光を照射している場合や物体自体が発光している場合）。そこで、歩行者候補領域までの距離に応じた輝度閾値を設定することにより（例えば、距離が大きいほど小さい輝度閾値を設定する）、歩行者候補領域における物体が近傍に存在する場合でも、遠方に存在する場合でも、歩行者と歩行者以外の物体とを識別することができる適切な輝度閾値を決めることができる。その結果、この画像処理装置では、近傍に存在する歩行者の歩行者候補を除外することを防止でき、遠方に存在する歩行者以外の物体の歩行者候補を除外でき、存在する位置に関係なく歩行者だけを高精度に検出できる。
【０００８】
なお、歩行者候補領域のうち除外される物体としては、歩行者と画像における輝度値が明らかに異なる物体であり（特に、歩行者に対して輝度が高い物体）、例えば、標識や看板などの可視光や赤外光などに対する反射率が高い物体、点灯している車両のヘッドライトなどの自発光する物体である。歩行者候補領域までの距離は、その求め方については特に限定するものでなく、例えば、画像における歩行者候補領域の大きさに基づいて推定してもよいし、歩行者候補領域の物体までの距離を距離センサなどで実際に検出してもよい。
【０００９】
本発明の上記画像処理装置では、候補除外手段は、輝度閾値以上の画素の領域が所定面積以上の場合に歩行者の候補から除外する構成としてもよい。
【００１０】
この画像処理装置では、候補除外手段により、抽出した歩行者候補領域の中から、歩行者候補領域の画像において輝度閾値以上の画素が占める領域が所定面積以上の歩行者候補領域を歩行者の候補から除外する。このように、画像処理装置では、輝度閾値以上となっている領域面積も考慮することにより、画像におけるノイズや高い反射率の部分などで一部の輝度が高くなっている場合でも誤って除外しないので、歩行者をより高精度に検出できる。ちなみに、反射率の高い物体や自発光する物体は、その物体全体において輝度が高くなるので、歩行者候補領域において一定量以上の領域で輝度が高くなる。所定面積は、輝度閾値以上の領域面積が歩行者と比較して明らかに大きいことを判別できる面積であり、実験などによって設定される。
【００１１】
本発明の上記画像処理装置では、画像は、赤外線画像であると好適である。
【００１２】
この画像処理装置では、歩行者を検出するための画像として赤外線画像を用いるので、夜間などの人間の肉眼では視認困難な歩行者も検出することができる。この場合、撮像する領域に対して赤外線を照射することによって、検出精度をより高めることができる。
【発明の効果】
【００１３】
本発明は、歩行者候補領域までの距離に対応した輝度閾値を設定することにより、存在する位置に関係なく、歩行者以外の物体を除外でき、歩行者のみを高精度に検出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。
【００１５】
本実施の形態では、本実施の形態に係る画像処理装置を、車両に搭載されるナイトビューシステムに適用する。本実施の形態に係るナイトビューシステムは、夜間走行時の運転者を支援するために、カメラによる近赤外線画像から歩行者を検出し、車両前方に存在する歩行者情報を提供する。本実施の形態には、２つの形態があり、第１の実施の形態が輝度閾値が固定値の形態であり、第２の実施の形態が輝度閾値が可変値の形態である。
【００１６】
図１及び図２を参照して、第１の実施の形態に係るナイトビューシステム１について説明する。図１は、第１の実施の形態に係るナイトビューシステムの構成図である。図２は、本実施の形態に係るナイトビューシステムの各機器の配置図である。
【００１７】
ナイトビューシステム１は、近赤外線画像から歩行者を検出し、検出した歩行者を示す情報を表示する。特に、ナイトビューシステム１は、歩行者の検出精度を向上させるために、歩行者との識別が難しい標識や車両の灯火類などを除去するためのフィルタを有している。ナイトビューシステム１は、近赤外線カメラ２、近赤外線投光器３、ディスプレイ４及びＥＣＵ[Electronic Control Unit]５を備えている。
【００１８】
近赤外線カメラ２は、図２に示すように、車両の前側（例えば、ルームミラーの裏側）に配置され、車両前方に向けて取り付けられる。近赤外線カメラ２は、近赤外線（近赤外線投光器３からの近赤外線の反射光など）を取り込み、その近赤外線の強弱に応じた濃淡によって近赤外線映像を生成する。この近赤外線映像は、一定時間（例えば、１／３０秒）毎のフレームの近赤外線画像からなる。近赤外線カメラ２では、一定時間毎に、各フレームの近赤外線画像情報を画像信号としてＥＣＵ５に送信する。
【００１９】
近赤外線投光器３は、図２に示すように、車両の前端に配置され、車両前方に向けて取り付けられる。近赤外線投光器３は、車両の前方に近赤外線を照射する。近赤外線投光器３は、ナイトビューシステム１が起動時にＯＮされ、停止時にＯＦＦされる。ちなみに、近赤外線投光器３によって近赤外線を物体に対して照射することによって、近赤外線画像において各物体の反射率を反映した輝度が鮮明に表れるので、反射率の異なる物体の識別性が向上する。
【００２０】
ディスプレイ４は、近赤外線画像から検出された歩行者の情報を運転者に提供する表示手段であり、例えば、液晶ディスプレイ、ヘッドアップディスプレイである。ディスプレイ４では、ＥＣＵ５から表示信号を受信し、表示信号に示される画像を表示する。表示画像としては、例えば、撮像された近赤外線画像において検出された歩行者が矩形線で囲まれて強調表示する画像、検出された歩行者だけを表示する画像である。
【００２１】
ＥＣＵ５は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]などからなり、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによって歩行者候補領域抽出部５ａ、輝度飽和物除去フィルタ５ｂ、出力部５ｃが構成される。ＥＣＵ５では、一定時間毎に、近赤外線カメラ２から画像信号を受信し、近赤外線画像から歩行者を検出する。そして、ＥＣＵ５では、その歩行者の検出結果をディスプレイ４に表示させる。
【００２２】
歩行者候補領域抽出部５ａは、近赤外線画像から歩行者候補領域を抽出する。この抽出方法としては、特に限定せず、各種方法が適用可能である。抽出方法としては、例えば、歩行者のテンプレートを用意し、テンプレートを用いたパターンマッチングによる方法がある。具体的には、近赤外線画像から所定の大きさの矩形領域を順次切り出し、テンプレートの画像と切り出した各矩形領域画像とのマッチング度を求め、そのマッチング度が閾値以上の場合にはその矩形領域を歩行者候補領域とする。
【００２３】
なお、歩行者のテンプレートは、歩行者以外にも路上に設置されている標識（円形標識など）や車両の灯火類（ヘッドライト、テールランプなど）などが同じような外形状（特に、歩行者の頭部の外形状）を有している。そのため、歩行者のテンプレートを用いたパターンマッチングでは、歩行者以外にも標識などを歩行者候補領域として抽出する可能性がある。図３には、歩行者候補領域の画像の一例を示しており、歩行者候補領域として円形標識が抽出されている。
【００２４】
輝度飽和物除去フィルタ５ｂは、抽出した歩行者候補の中から円形標識などの高輝度画素を多く含む輝度飽和物の歩行者候補を除去し、歩行者の歩行者候補を通過させるフィルタである。除去できる輝度飽和物としては、歩行者に比べて輝度の高い画素を明らかに多く含む物体であり、例えば、物体全体の反射率が高い物体、自発光している物体である。
【００２５】
歩行者の場合、身に着けているものによって反射率の高い部分が一部存在することもあるが、反射率が全体としては低い。そのため、近赤外線投光器３からの近赤外線が歩行者で反射され、その反射された近赤外線が近赤外線カメラ２で画像化された場合、その歩行者の領域画像は、全体としては低輝度であり、高輝度部分があったとしてもその画素は少ない。標識の場合、反射率が全体にわたって高い（自車両に対して正面を向いているほど自車両に戻ってくる反射率が高くなる）。そのため、近赤外線投光器３からの近赤外線が標識で反射され、その反射された近赤外線が近赤外線カメラ２で画像化された場合、その標識の領域画像では、標識全体にわたって高輝度である。また、対向車両のヘッドライトが点灯している場合、そのヘッドライト周辺が明るくなる。そのため、それが近赤外線カメラ２で画像化された場合、そのヘッドライト周辺の領域画像では、全体にわたって高輝度である。このように、反射率の高い物体や自発光している物体はその領域画像においてある輝度以上の画素が占める割合が大きくなるが、歩行者はその領域画像においてある輝度以上の画素が占める割合が小さいかあるいはある輝度以上の画素が存在しない。
【００２６】
ちなみに、自車両に対して斜めを向いている標識の場合、正面を向いている標識より反射率が低くなるので、その斜めを向いている標識の領域画像は、輝度が低くなるが、標識全体にわたってその輝度となり、ある輝度以上の画素は多い。また、遠方に存在する標識の場合、近傍に存在する標識より反射率が低くなるので、その遠方の標識の領域画像は、輝度が低くなるが、標識全体にわたってその輝度となり、ある輝度以上の画素は多い。
【００２７】
図４には、夜間の走行実験によって多数の歩行者候補領域を抽出し、各歩行者候補領域の画像において輝度が最大の画素を探索し、その各歩行者候補領域についての輝度最大値と輝度最大値の画素数との関係を示す散布図を示している。ここでは、歩行者（黒塗の印）と標識などの歩行者以外の物体（白抜きの印）とを分けて示している。歩行者の場合、輝度の最大値が大きくなる歩行者も存在するが、その輝度最大値となる画素の数は少ない。一方、歩行者以外の物体の場合、輝度の最大値が小さいものも存在するが（例えば、遠方に存在する標識、自車両に対して斜めを向いている標識）、その輝度最大値となる画素の数は歩行者よりも明らかに多い。この実験結果からも判るように、輝度値の大きさとある大きさ以上の輝度の画素数（その画素が存在する領域面積）とを組み合わせることにより、歩行者と歩行者以外の輝度飽和物とを識別することができる。
【００２８】
具体的には、輝度飽和物除去フィルタ５ｂでは、まず、抽出された歩行者候補領域毎に、歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定し、幅閾値ＷＴＨ以下の歩行者候補領域については以降の処理を行わない。幅閾値ＷＴＨは、歩行者情報として提供する必要のない歩行者候補領域を判別するための閾値であり、実験などによって予め設定される。歩行者候補領域の幅ｗの小さいものは、自車両から遠方に存在する物体かあるいは近傍に存在する場合には歩行者とは明らか異なる小さい物体なので、運転者に歩行者情報として提供する必要はない。
【００２９】
次に、輝度飽和物除去フィルタ５ｂでは、幅閾値ＷＴＨ以上の歩行者候補領域毎に、領域画像内から輝度閾値ＩＴＨ以上の画素を探索し、その輝度閾値ＩＴＨ以上の画素の数ＨＣ（輝度閾値ＩＴＨ以上の画素が存在する領域面積に相当）をカウントする。輝度閾値ＩＴＨは、反射率の高い物体や自発光している物体としての輝度値とは明らかに異なる低い輝度値の画素を判別するための閾値であり、実験によって予め設定される。また、輝度飽和物除去フィルタ５ｂでは、歩行者候補領域の幅（画素数）ｗと高さ（画素数）ｈとを乗算し、領域の面積（全画素数）を求める（図３参照）。そして、輝度飽和物除去フィルタ５ｂでは、カウントした画素数ＨＣを全画素数で除算し、歩行者候補領域において輝度閾値ＩＴＨ以上の画素が占める割合（面積割合）ＲＨＣを求める。
【００３０】
次に、輝度飽和物除去フィルタ５ｂでは、面積割合ＲＨＣが割合閾値ＲＴＨ以上か否かを判定する。割合閾値ＲＴＨは、輝度閾値ＩＴＨ以上の画素の占める面積割合が歩行者と比較して明らかに大きい歩行者候補領域を判別するための閾値であり、実験によって予め設定される。面積割合ＲＨＣが割合閾値ＲＴＨ以上の場合、高い輝度を有する画素が多く存在することを示しており（歩行者とは明らかに異なる輝度分布を有しているので）、輝度飽和物除去フィルタ５ｂでは、輝度飽和物と判別し、その歩行者候補領域を棄却する。一方、面積割合ＲＨＣが割合閾値ＲＴＨ未満の場合、高い輝度を有する画素が多く存在しないことを示しており、輝度飽和物除去フィルタ５ｂでは、歩行者と判別し、その歩行者候補領域を確定する。
【００３１】
出力部５ｃは、輝度飽和物除去フィルタ５ｂを通過した歩行者候補領域を用いて歩行者の情報を示す表示画像を生成し、その表示信号をディスプレイ４に送信する。この表示画像としては、近赤外線画像とその近赤外線画像内で検出された歩行者を強調するための歩行者を囲む矩形線からなる画像、あるいは、検出された歩行者だけを表示する画像である。
【００３２】
図１及び図２を参照して、ナイトビューシステム１の動作について説明する。特に、ＥＣＵ５における処理について図５のフローチャートに沿って説明する。図５は、第１の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。
【００３３】
ナイトビューシステム１が起動されると、近赤外線投光器３では、車両前方に近赤外線を照射する。近赤外線カメラ２では、車両前方を近赤外線によって撮像し、一定時間毎に各フレームの撮像画像情報からなる画像信号をＥＣＵ５に送信している。ＥＣＵ５では、一定時間毎に、近赤外線カメラ２から画像信号を受信し、撮像画像を取得する（Ｓ１０）。そして、ＥＣＵ５では、テンプレートを用いたパターンマッチングによって、撮像画像から歩行者候補領域を抽出する（Ｓ１１）。
【００３４】
ＥＣＵ５では、抽出した歩行者候補の中から歩行者候補を１つづつ選択する（Ｓ１２）。そして、ＥＣＵ５では、その選択した歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定する（Ｓ１３）。Ｓ１３にて歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下と判定した場合、ＥＣＵ５では、その歩行者候補についての処理を行わず、Ｓ１９の処理に移行する。
【００３５】
Ｓ１３にて歩行者候補領域の幅ｗが幅閾値ＷＴＨより大きいと判定した場合、ＥＣＵ５では、その歩行者候補領域の画像から輝度閾値ＩＴＨ以上の画素を探索し、輝度閾値ＩＴＨ以上の画素の数ＨＣをカウントする（Ｓ１４）。そして、ＥＣＵ５では、そのカウントした画素数（面積）ＨＣが歩行者候補領域の全画素数（全面積）（ｗ×ｈ）に占める面積割合ＲＨＣを算出する（Ｓ１５）。
【００３６】
続いて、ＥＣＵ５では、その歩行者候補の面積割合ＲＨＣが割合閾値ＲＴＨ以上か否かを判定する（Ｓ１６）。Ｓ１６にて面積割合ＲＨＣが割合閾値ＲＴＨ以上と判定した場合、ＥＣＵ５では、輝度飽和物と判別し、その歩行者候補を除外する（Ｓ１７）。一方、Ｓ１６にて面積割合ＲＨＣが割合閾値ＲＴＨ未満と判定した場合、ＥＣＵ５では、歩行者と判別し、その歩行者候補を確定する（Ｓ１８）。ここで、高い輝度の画素を多く含む歩行者候補が輝度飽和物除去フィルタ５ｂで遮断され、高い輝度の画素を多く含まない歩行者候補が輝度飽和物除去フィルタ５ｂで透過される。
【００３７】
選択した歩行者候補についての処理が終了した場合あるいはＳ１３で選択した歩行者候補についての処理を行わないと判定した場合、ＥＣＵ５では、Ｓ１１で抽出した歩行者候補についての処理が全て終了したか否かを判定する（Ｓ１９）。Ｓ１９にて全て終了していないと判定した場合、ＥＣＵ５では、Ｓ１２に戻って次の歩行者候補を選択し、次の歩行者候補に対する処理を行う。一方、Ｓ１９にて全て終了したと判定した場合、ＥＣＵ５では、Ｓ１８で確定した全ての歩行者候補についての歩行者の情報を提供するための表示画像を生成し、表示信号をディスプレイ４に送信する（Ｓ２０）。この表示信号を受信すると、ディスプレイ４では、表示信号に応じた画像を表示する。
【００３８】
ナイトビューシステム１では、以上の動作を一定時間毎に繰り返し行い、運転者に車両前方の歩行者の情報を提供する。運転者は、この情報により、夜間でも歩行者を確実に認識できる。
【００３９】
このナイトビューシステム１によれば、歩行者候補領域における輝度閾値以上の画素の占める面積割合による判定を行うことにより、輝度飽和物と歩行者とを高精度に識別でき、標識や車両の灯火類などを誤検出することを抑制できる。これによって、運転者に正しい歩行者情報を提供することができ、運転の安全性を向上させることができる。また、ナイトビューシステム１によれば、輝度飽和物を識別するために輝度閾値以上の画素の占める面積割合を求めるだけなので、処理負荷も軽減する。
【００４０】
また、ナイトビューシステム１では、歩行者を検出するための画像として近赤外線画像を用いるので、夜間などの人間の肉眼では視認困難な歩行者も検出することができる。さらに、ナイトビューシステム１では、撮像する領域に対して近赤外線を照射することによって、物体の反射率を輝度値により正確に反映させることができ、検出精度をより高めることができる。
【００４１】
図６及び図２を参照して、第２の実施の形態に係るナイトビューシステム１１について説明する。図６は、第２の実施の形態に係るナイトビューシステムの構成図である。なお、ナイトビューシステム１１では、第１の実施の形態に係るナイトビューシステムと同様の構成については同一の符号を付し、その説明を省略する。
【００４２】
ナイトビューシステム１１は、ナイトビューシステム１と比較すると、歩行者の検出精度（輝度飽和物除去フィルタの輝度飽和物を除去する精度）をより向上させるために、輝度閾値を可変値とした点が異なる。ナイトビューシステム１１は、近赤外線カメラ２、近赤外線投光器３、ディスプレイ４及びＥＣＵ１５を備えている。
【００４３】
ＥＣＵ１５は、第１の実施の形態に係るＥＣＵ５と比較すると、歩行者候補領域までの距離に対応した輝度閾値を設定する点が異なる。そのため、ＥＣＵ１５は、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによって歩行者候補領域抽出部１５ａ、輝度閾値設定部１５ｂ、輝度飽和物除去フィルタ１５ｃ、出力部１５ｄが構成される。歩行者候補領域抽出部１５ａ、輝度飽和物除去フィルタ１５ｃ、出力部１５ｄは、ＥＣＵ５の各部５ａ，５ｂ，５ｃと同様の処理を行うので、その説明を省略する。なお、本実施の形態では、歩行者候補領域抽出部１５ａが特許請求の範囲に記載する候補領域抽出手段に相当し、輝度閾値設定部１５ｂが特許請求の範囲に記載する閾値設定手段に相当し、輝度飽和物除去フィルタ１５ｃが特許請求の範囲に記載する候補除外手段に相当する。
【００４４】
図７（ａ）と図８（ａ）には同じ歩行者が自車両から近傍に存在する場合と遠方に存在する場合の近赤外線カメラ２による撮像画像の一例を示しており、図７（ｂ）と図８（ｂ）にはその撮像画像における各輝度の頻度（画素数）を示している。近傍に存在する場合の歩行者の輝度値は２３０前後であり、遠方に存在する場合の歩行者の輝度値は２００前後である。このように、同じ物体（歩行者）の場合でも、自車両からの距離により輝度が異なり、遠方ほど輝度が低下する。これは、自車両から遠方に存在するほど、近赤外線投光器３の近赤外線に対する反射率が低下するためのである。また、自発光する物体の場合も、自車両から遠方に存在するほど輝度が低下する。
【００４５】
このように、同じ物体でも自車両から遠くなるほど撮像画像における輝度が低下するので、自車両の距離に関係なく同じ輝度閾値ＩＴＨで判定を行うと、輝度飽和物を精度良く除外できない場合がある。例えば、輝度閾値ＩＴＨとして小さい値を設定した場合、近傍の歩行者についての輝度が輝度閾値ＩＴＨ以上となる可能性があり、近傍の歩行者を除外してしまう虞がある。また、輝度閾値ＩＴＨとして大きい値を設定した場合、遠方の標識についての輝度が輝度閾値ＩＴＨ未満となる可能性があり、遠方の標識を除外できない虞がある。そのため、近傍の物体については輝度閾値ＩＴＨとして大きい値を設定し、遠方の物体については輝度閾値ＩＴＨとして小さい値を設定する必要がある。そこで、歩行者候補領域毎に、撮像画像における歩行者候補領域までの距離（自車両からその歩行者候補領域における物体までの距離に相当）を推定し、その距離に応じた輝度閾値ＩＴＨを設定する。
【００４６】
輝度閾値設定部１５ｂは、抽出した歩行者候補領域までの距離に応じた輝度閾値ＩＴＨを設定する。具体的には、近赤外線カメラ２から任意の対象物体までの距離をｄとし、その対象物体の撮像画像上の歩行者候補領域の幅をｗとすると、式（１）に示す関係となる。また、近赤外線カメラ２の撮像方向、近赤外線投光器３の照射方向、車両進行方向が同一方向であるので、撮像画像における任意の画素の輝度値をｆとすると、式（２）に示す関係となる。式（２）におけるｘ１は、式（３）で表される。
【００４７】
【数１】
【００４８】
ｗｆは、近赤外線カメラ２の撮像画像の幅である。ｘは、撮像画像における左上を原点とした場合の撮像画像上の横方向（幅方向）における歩行者候補領域の中心位置である。ｘ１は、撮像画像上の横方向の中心位置（ｗｆ／２）から歩行者候補領域の中心位置（ｘ）までの横方向の距離である。この式（２）の関係から、任意の画素の輝度値ｆは、歩行者候補領域の幅ｗが小さくなるほど（つまり、歩行者候補領域が奥行き方向に遠くなるほど）小さくなり、撮像画像の中心位置からの歩行者候補領域の距離ｘ１が大きくなるほど（つまり、歩行者候補領域が撮像画像の幅方向中心から離れるほど）小さくなることが判る。
【００４９】
この式（２）、式（３）から、式（４）により、撮像画像における歩行者候補領域の奥行き方向の距離と幅方向中心からの距離に応じた輝度閾値ＩＴＨを求めることができる。ここで、ｃは、比例定数である。ｗｂは、基準位置（校正用の位置であり、任意に設定可能）での歩行者候補領域の幅である。ｘｂは、基準位置での撮像画像上の横方向の中心位置から歩行者候補領域の中心位置までの横方向の距離である。ＩＴＨｂは、基準位置での輝度閾値である。このｃ、ｗｂ、ｘｂ、ＩＴＨｂについては、基準位置が設定された後、実験などによって予め設定される。
【００５０】
輝度閾値設定部１５ｂでは、歩行者候補領域毎に、その幅ｗ、距離ｘ１を求め、式（４）により輝度閾値ＩＴＨを算出する。これによって、輝度閾値ＩＴＨは、歩行者候補領域が奥行き方向に遠くなるほど小さくなり、歩行者候補領域が撮像画像の幅方向の中心位置から離れるほど小さくなる。
【００５１】
図６及び図２を参照して、ナイトビューシステム１１の動作について説明する。特に、ＥＣＵ１５における処理について図９のフローチャートに沿って説明する。図９は、第２の実施の形態に係る歩行者検出装置のＥＣＵにおける処理の流れを示すフローチャートである。
【００５２】
ナイトビューシステム１１では、第１の実施の形態と同様に、起動されると近赤外線投光器３で近赤外線を照射し、近赤外線カメラ２で車両前方を撮像し、一定時間毎に画像信号をＥＣＵ１５に送信している。ＥＣＵ１５では、第１の実施の形態に係るＥＣＵ５と同様の処理により、一定時間毎に、近赤外線カメラ２から撮像画像を取得し（Ｓ３０）、撮像画像から歩行者候補領域を抽出する（Ｓ３１）。
【００５３】
ＥＣＵ１５では、抽出した歩行者候補の中から歩行者候補を１つづつ選択する（Ｓ３２）。そして、ＥＣＵ１５では、その歩行者候補領域の幅ｗと撮像画像の中心位置からの距離ｘ１を求める。さらに、ＥＣＵ１５では、幅ｗと距離ｗ１を用いて、式（４）により歩行者候補領域までの距離に応じた輝度閾値ＩＴＨを設定する（Ｓ３３）。ここで、歩行者候補領域の物体の存在する位置を考慮した輝度閾値ＩＴＨが設定される。なお、このＳ３３の処理については、Ｓ３５の処理の直前に行ってもよい。
【００５４】
続いて、ＥＣＵ１５では、第１の実施の形態と同様に、その歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定し（Ｓ３４）、Ｓ３４にて歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下と判定した場合には歩行者候補についての処理を行わない。
【００５５】
Ｓ３４にて歩行者候補領域の幅ｗが幅閾値ＷＴＨより大きいと判定した場合、ＥＣＵ１５では、Ｓ３３の処理で設定した輝度閾値ＩＴＨを用いて、歩行者候補領域の画像中から輝度閾値ＩＴＨ以上の画素を探索する（Ｓ３５）。そして、ＥＣＵ１５では、輝度閾値ＩＴＨ以上の画素数ＨＣをカウントする（Ｓ３５）。ここで、歩行者候補領域の物体が自車両から近傍に存在する場合、輝度閾値ＩＴＨとして大きな値が設定されているので、輝度値が高い画素が探索される。一方、歩行者候補領域の物体が自車両から遠方に存在する場合、輝度閾値ＩＴＨとして小さな値が設定されているので、近傍に存在する物体より輝度値が低い画素も探索される。そのため、例えば、標識が遠方に存在し、反射率が低くなっている場合でも、輝度閾値ＩＴＨが小さくなっているので、その輝度閾値ＩＴＨ以上となる画素が多い。また、歩行者が近傍に存在する場合でも、輝度閾値ＩＴＨが大きくなっているので、その輝度閾値ＩＴＨ以上となる画素が少ない。
【００５６】
続いて、ＥＣＵ１５では、第１の実施の形態におけるＳ１５〜Ｓ２０の各処理と同様の処理を、Ｓ３６〜Ｓ４１の各処理で行う。そして、ナイトビューシステム１１では、第１の実施の形態と同様に、ディスプレイ４で歩行者の情報を示す画像を表示する。ナイトビューシステム１１では、以上の動作を一定時間毎に繰り返し行い、運転者に車両前方の歩行者の情報を提供する。
【００５７】
このナイトビューシステム１１では、第１の実施の形態に係るナイトビューシステム１と同様の効果を有する上に、以下の効果も有する。ナイトビューシステム１１によれば、歩行者候補領域までの距離に応じて輝度閾値ＩＴＨを設定することにより、近傍に存在する歩行者の歩行者候補領域を除外することを防止でき、遠方に存在する標識などの歩行者候補領域を除外でき、自車両からの距離に関係なく歩行者だけを高精度に検出できる。また、ナイトビューシステム１１では、歩行者候補領域の幅を利用して歩行者候補領域までの距離を推定することにより、歩行者候補領域までの距離を高精度に推定でき、歩行者候補領域までの距離に応じた最適な輝度閾値ＩＴＨを設定することができる。ちなみに、歩行者は幅については個体差が小さいが、高さについては個体差が大きいので、歩行者候補領域も幅については個体差が小さく、幅を利用することによって歩行者候補領域までの距離を正確に推定できる。
【００５８】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００５９】
例えば、本実施の形態では近赤外線カメラで撮像した近赤外線画像に基づく歩行者検出に適用したが、近赤外線以外の不可視カメラで撮像した不可視画像あるいは可視カメラで撮像した可視画像に基づく歩行者検出にも適用可能である。また、本実施の形態では車両に搭載されるナイトビューシステムに適用したが、車載装置に限定されることなく、様々な用途に適用可能である。
【００６０】
また、本実施の形態では輝度閾値以上の面積（面積割合）も考慮して歩行者候補から輝度飽和物を除外する構成としたが、歩行者と標識などの輝度飽和物とを判別することができる適切な輝度閾値を距離に応じて設定することができるなら、輝度閾値以上の領域の面積を考慮せずに、輝度閾値による判定だけで歩行者候補から輝度飽和物を除外するようにしてもよい。
【００６１】
また、本実施の形態では歩行者候補領域における輝度閾値以上の画素の面積割合を算出し、面積割合によって歩行者候補から輝度飽和物を除外するか否かを判定する構成としたが、歩行者候補領域における輝度閾値以上の画素の数や画素の領域面積によって歩行者候補から輝度飽和物を除外するか否かを判定するようにしてもよい。
【００６２】
また、第２の実施の形態では歩行者候補までの距離を歩行者候補領域の大きさ（幅）に基づいて推定する構成としたが、歩行者候補までの距離を距離センサで実際に検出するなど、他の方法で距離を求めてもよい。
【００６３】
また、第２の実施の形態では歩行者候補領域までの距離に応じて輝度閾値を無段階で設定する構成としたが、歩行者候補領域までの距離を数段階に分け、輝度閾値を数段階で設定してもよい。
【図面の簡単な説明】
【００６４】
【図１】第１の実施の形態に係るナイトビューシステムの構成図である。
【図２】本実施の形態に係るナイトビューシステムの各機器の配置図である。
【図３】本実施の形態に係る歩行者候補領域の画像の一例である。
【図４】本実施の形態に係る歩行者候補領域における輝度最大値と輝度最大値の画素数との関係を示す散布図の一例である。
【図５】第１の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。
【図６】第２の実施の形態に係るナイトビューシステムの構成図である。
【図７】近傍に存在する歩行者の一例であり、（ａ）が撮像画像であり、（ｂ）が撮像画像における各輝度の頻度を示す度数分布図である。
【図８】遠方に存在する歩行者の一例であり、（ａ）が撮像画像であり、（ｂ）が撮像画像における各輝度の頻度を示す度数分布図である。
【図９】第２の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。
【符号の説明】
【００６５】
１，１１…ナイトビューシステム、２…近赤外線カメラ、３…近赤外線投光器、４…ディスプレイ、５，１５…ＥＣＵ、５ａ，１５ａ…歩行者候補領域抽出部、５ｂ，１５ｃ…輝度飽和物除去フィルタ、５ｃ，１５ｄ…出力部、１５ｂ…輝度閾値設定部
【特許請求の範囲】
【請求項１】
画像から歩行者を検出する画像処理装置であって、
画像から歩行者候補領域を抽出する候補領域抽出手段と、
前記候補領域抽出手段で抽出した歩行者候補領域までの距離に対応した輝度閾値を設定する閾値設定手段と、
前記候補領域抽出手段で抽出した歩行者候補領域の中から、歩行者候補領域の画像中に前記閾値設定手段で設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補除外手段は、輝度閾値以上の画素の領域が所定面積以上の場合に歩行者の候補から除外することを特徴とする請求項１に記載する画像処理装置。
【請求項３】
画像は、赤外線画像であることを特徴とする請求項１又は請求項２に記載する画像処理装置。
【請求項１】
画像から歩行者を検出する画像処理装置であって、
画像から歩行者候補領域を抽出する候補領域抽出手段と、
前記候補領域抽出手段で抽出した歩行者候補領域までの距離に対応した輝度閾値を設定する閾値設定手段と、
前記候補領域抽出手段で抽出した歩行者候補領域の中から、歩行者候補領域の画像中に前記閾値設定手段で設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補除外手段は、輝度閾値以上の画素の領域が所定面積以上の場合に歩行者の候補から除外することを特徴とする請求項１に記載する画像処理装置。
【請求項３】
画像は、赤外線画像であることを特徴とする請求項１又は請求項２に記載する画像処理装置。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図４】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図４】
【公開番号】特開２００８−６５４６３（Ｐ２００８−６５４６３Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４０４９２（Ｐ２００６−２４０４９２）
【出願日】平成１８年９月５日（２００６．９．５）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月５日（２００６．９．５）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]