画像処理装置、方法及びプログラム
【課題】構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出可能とする。
【解決手段】処理対象画像の全領域を対象として人物に相当すると推定される人物候補領域を探索・抽出し(52)、抽出した個々の人物候補領域に対し、領域内のエッジ画素を抽出し(58〜68)、領域内の人工的な直線状線分や曲線状線分を探索・抽出し(70〜86)、領域内に人工的な直線状線分や曲線状線分が明瞭に存在している場合(88が肯定)は出力対象から除外(90)する処理を順に行い、出力対象から除外されずに残った人物候補領域を、人物領域である確度の高い領域として出力する(94)。
【解決手段】処理対象画像の全領域を対象として人物に相当すると推定される人物候補領域を探索・抽出し(52)、抽出した個々の人物候補領域に対し、領域内のエッジ画素を抽出し(58〜68)、領域内の人工的な直線状線分や曲線状線分を探索・抽出し(70〜86)、領域内に人工的な直線状線分や曲線状線分が明瞭に存在している場合(88が肯定)は出力対象から除外(90)する処理を順に行い、出力対象から除外されずに残った人物候補領域を、人物領域である確度の高い領域として出力する(94)。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、方法及びプログラムに係り、特に、画像から人物に相当すると推定される人物候補領域を抽出する画像処理装置、該画像処理装置に適用可能な画像処理方法、及び、コンピュータを画像処理装置として機能させるための画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、車両に搭載したカメラによって車両の周囲を撮像し、この撮像によって得られた画像を対象として、人物に相当すると推定される画像部（人物候補領域）を探索・抽出する画像処理を行うことで、車両の周囲に存在する歩行者等の人物を検出する技術が提案されている。当該技術において、人物候補領域の探索・抽出に適用可能なアルゴリズムとしては、例えば非特許文献１に記載されているニューラルネットワーク法や部分空間法等、様々なアルゴリズムが存在しているが、これらのアルゴリズムを適用して人物候補領域の探索・抽出を行った場合、画像上での特徴が人物候補領域に類似している画像部、例えば一般道路上であれば、樹木や電柱、標識、白線、横断歩道等に相当する画像部が人物候補領域として誤抽出されることがある。
【０００３】
人物候補領域の誤抽出を防止することは、人物候補領域を探索・抽出するアルゴリズムで人物候補領域か否かの判定に用いる閾値を、誤抽出を低減できる値へ変更することで実現できるが、この場合、人物候補領域の誤抽出は減少するものの、人物に相当する画像部が人物候補領域として抽出されない抽出漏れが増加する。また、人物候補領域の抽出漏れを防止することを重視して前記閾値の値を設定すると、抽出漏れは減少する一方で人物候補領域の誤抽出は増加する。このように、人物候補領域の誤抽出を防止することと、人物に相当する画像部が人物候補領域として抽出されない抽出漏れを回避することはトレードオフの関係にあり、誤抽出防止と抽出漏れ防止を両立させることは困難な課題であった。
【０００４】
上記に関連して特許文献１には、検出対象範囲を撮影した赤外線画像中で輝度が人物より放射された赤外線放射量に相当する範囲の領域を人物候補領域として検出すると共に、赤外画像と画像上の位置の対応関係が明確な可視画像の中の高輝度部分を検出し、検出した高輝度部分とその周辺部に対応する赤外画像の画像領域を人物検出対象領域より除外することで、自動車のヘッドライト等のように人体の露出部と温度がほぼ同程度で画像に占める面積が同等の物を人物候補領域として誤検出する割合を低減する技術が開示されている。
【０００５】
また特許文献２には、赤外線カメラで歩行者を検出するにあたり、可視光カメラで道路のレーンマーキングを撮像し、レーンマーキング位置の近傍の領域を歩行者の探索領域とすると共に、レーンマーキング位置により挟まれる領域を歩行者の探索領域に設定し、探索領域のみを歩行者の探索・検出の対象とすることで、処理時間を短縮し早期警報を可能とする技術が開示されている。
【０００６】
また特許文献３には、静止画像中から人物の顔領域を抽出する技術が提案されており、顔領域を特定する前処理として、２値化後の画像上で分割した領域の輪郭に直線が存在する比率により人工物を判断することが記載されている。
【非特許文献１】石井健一郎，前田英作，上田修功，村瀬洋，「わかりやすいパターン認識」，オーム社，１９９８年８月
【特許文献１】特開２００１−１０８７５８号公報
【特許文献２】特開２００２−３６２３０２号公報
【特許文献３】特開平８−１２２９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術は、赤外画像及び可視画像の２つの画像を用いて人物候補領域を検出するものであり、赤外線カメラ及び可視光カメラを各々設ける必要があるので装置構成が複雑化するという問題がある。特に、特許文献１に記載の技術では、赤外線画像中で輝度が人物より放射された赤外線放射量に相当する範囲の領域を人物候補領域として検出しているので、赤外画像を得るための赤外線カメラが必須であるが、可視画像は車両の周囲に存在する歩行者等の検出以外に先行車両・道路標識・レーンマークなどの検出等にも利用可能であるのに対し、赤外画像は熱源を写す機器であるため歩行者等以外の検出には向いておらず、用途も限られており汎用性が低く、歩行者等の検出のみを目的として車両に赤外線カメラを搭載することはコスト的に望ましくない。また特許文献１の技術では、赤外画像上の位置と可視画像上の位置の対応関係が明確である必要があるが、個々のカメラを収差の小さい光学系にする必要があるのと、写り方が全く異なる２種類の画像の対応関係を画像処理によって導く必要があり、装置構成の一層の複雑化、或いは処理負荷の増大を招くという問題もある。
【０００８】
また、特許文献２に記載の技術についても、特許文献１に記載の技術と同様に赤外画像及び可視画像の２つの画像を用いて人物候補領域を検出するものであるので、装置構成が複雑化するという問題がある。また、特許文献２に記載の技術は、レーンマーキングが存在していない画像には適用できない（レーンマーキングが存在しない道路を走行中には適用できない）という欠点があり、画像中にレーンマーキングが存在していたとしても、画像からレーンマーキングを抽出する処理は複雑で処理装置に多大な処理負荷が加わると共に、走行中の道路にアップダウンが有る場合、このアップダウンを正確に検出しておかないと歩行者の探索領域を適正に設定できないという問題もある。
【０００９】
また、特許文献３に記載の技術では、静止画像を２値化した後に領域分割を行っているが、車両の周囲を撮像することで得られる画像(動画像等)等のような複雑な画像にこの技術を適用したとしても、単一の閾値による２値化では画像の領域分割を適正に行うことは困難である。また、適正に分割されていない領域の輪郭の直線性を調べても、期待される結果は得られない。
【００１０】
本発明は上記事実を考慮して成されたもので、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できる画像処理装置、画像処理方法及び画像処理プログラムを得ることが目的である。
【課題を解決するための手段】
【００１１】
画像には様々な被写体が写っている可能性があるが、画像に人工物が写っていた場合（例えば車両から周囲を撮像した画像であれば、上記の人工物として電柱や標識、白線、横断歩道、街路樹等が写っている可能性がある）、画像中の人工物に相当する画像部には、直線や直線に近い線分、一定曲率の曲線、一定曲率に近い曲線等の人工的な線分が存在している可能性が非常に高い。そして、人工物に相当する画像部が存在している画像中の領域には、人物に相当する画像部が存在していない可能性が非常に高い。
【００１２】
上記に基づき請求項１記載の発明に係る画像処理装置は、処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段と、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段と、を含んで構成されている。
【００１３】
請求項１記載の発明では、処理対象の可視画像中に存在している人工的線分を検出しているので、人工的線分の検出結果に基づき、処理対象の可視画像のうち、人工物に相当する画像部が存在している確度が高い領域を判断することができる。そして、請求項１記載の発明では、処理対象の可視画像のうち人工的線分検出手段によって検出された人工的線分が存在している領域、すなわち人物に相当する画像部が存在していない可能性が非常に高い領域を除外した領域を対象として、人物に相当すると推定される人物候補領域を抽出するので、人工物に相当する画像部が存在している人工物領域を人物候補領域として誤抽出することを防止することができ、人物に相当する領域である確度の高い人物候補領域を抽出することができる。
【００１４】
また、請求項１記載の発明では、可視画像を用いて人物候補領域の抽出を行うので、人物候補領域の抽出にあたって赤外画像は不要であり、赤外画像を取得するために構成が複雑化したり、赤外画像上の位置と可視画像上の位置を対応付けるための処理を行う必要もない。従って、請求項１記載の発明によれば、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出することができる。
【００１５】
なお、請求項１記載の発明は、特許文献３に記載の技術のように２値化・領域分割を経て得られた領域の輪郭に基づいて人工物を判断するものではなく、複雑な画像においても安定して検出できる画像のエッジ（微分値）を利用して検出可能な人工的線分（直線や曲線等）を検出し、人工的線分の検出結果に基づいて人物候補領域を抽出している。画像のエッジは、上記のように２値化・領域分割を行った場合の領域の輪郭としても現れるが、それ以外の部分にも現れる。また特許文献３に記載の技術では、人工物の判断精度が二値化や領域分割の処理精度によって左右されるが、画像のエッジを利用して人工的線分を検出する場合は人工的線分の検出精度が二値化等の他の処理の精度の影響を受けることもない。従って、請求項１記載の発明は人工的線分を正確に検出することができ、人物に相当する領域である確度の高い人物候補領域を精度良く抽出することができる。
【００１６】
なお、請求項１記載の発明において、例えば請求項２に記載したように、人工的線分検出手段は、人物候補領域抽出手段により処理対象の可視画像の全領域を対象として人物候補領域の探索が行われた後に、当該探索で抽出された人物候補領域を対象として人工的線分を検出し、人物候補領域抽出手段は、処理対象の可視画像の全領域を対象として人物候補領域の探索を行い、人工的線分検出手段により前記人工的線分の検出が行われた後に、前記探索で抽出された人物候補領域のうち人工的線分検出手段によって領域内で人工的線分が検出された人物候補領域を人物候補から除外するように構成することができる。請求項２記載の発明は、まず処理対象の可視画像の全領域を対象として人物候補領域の探索を行うので、処理対象の可視画像中に人物候補領域が存在していなかった場合（探索の結果、人物候補領域が抽出されなかった場合）は以降の処理を中止することで、処理対象の可視画像中に人物候補領域が存在していなかった場合の処理負荷を軽減することが可能となる。
【００１７】
また、請求項１記載の発明において、例えば請求項３に記載したように、人工的線分検出手段は、処理対象の可視画像の全領域を対象として人工的線分の検出を行い、人物候補領域抽出手段は、処理対象の可視画像のうち人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域を対象として人物候補領域の探索を行うように構成してもよい。請求項３記載の発明は、処理対象の可視画像のうち人工的線分が存在している領域を除外した領域を対象として人物候補領域の探索を行うので、一般にアルゴリズムが複雑で処理時間が長時間化し易い人物候補領域の探索における探索範囲が請求項２記載の発明よりも狭くなり、人物候補領域の探索に要する時間を短縮することができる。
【００１８】
また、請求項１記載の発明において、人工的線分検出手段は、例えば請求項４に記載したように、人工的線分として、処理対象の可視画像中のエッジがほぼ直線状に連続して成る直線状線分、又は、処理対象の可視画像中のエッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している曲線状線分を検出するように構成することができる。人工的線分として上記の直線状線分や曲線状線分を検出することにより、画像中の人工物領域に存在している人工的線分を確実に検出することができる。
【００１９】
また、請求項４記載の発明において、人工的線分検出手段は、例えば処理対象の可視画像中に存在する直線状線分及び曲線状線分を全て（線分の延びる方向等に拘わらず）抽出するように構成してもよいが、例えば請求項５に記載したように、人工的線分として、直線状線分のうち、実空間上での鉛直方向に対応する処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出するように構成してもよい。この場合、曲線状成分が全て検出対象外になると共に、可視画像中の縦方向とは異なる方向に沿って延びる直線状成分も検出対象外になり、処理対象の可視画像中に存在する人工的線分を全て検出することはできないが、人工的線分検出手段による人工的線分の検出を短時間で行うことが可能となる。また、車両から周囲を撮像した画像等では、画像に写る可能性のある人工物は、画像中の縦方向にほぼ沿って延びる直線状線分を生じさせる人工物が殆どであり、このような画像を処理対象とする場合は、上記のように処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出するように人工的線分検出手段を構成したとしても、人物に相当する領域の抽出精度が低下することを回避することができる。
【００２０】
また、請求項４記載の発明において、人工的線分検出手段による直線状線分又は曲線状線分の抽出は、具体的には、例えば請求項６に記載したように、処理対象の可視画像を微分することで処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素の中から単一のエッジ画素を処理対象として選択し、処理対象のエッジ画素の近傍かつ処理対象のエッジ画素に対して直線状成分又は曲線状成分に対応する角度範囲内に他のエッジ画素が存在しているか否か判定し、該当するエッジ画素が存在していれば該当するエッジ画素を新たな処理対象として選択する処理を繰り返すことで、人工的線分として、エッジ画素が連なって構成される直線状線分又は曲線状線分を検出することで実現することができる。
【００２１】
また、請求項４記載の発明において、人工的線分検出手段による直線状線分又は曲線状線分の抽出は、上記に限られるものではなく、例えば請求項７に記載したように、処理対象の可視画像を微分することで処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素に対してハフ変換を適用することで、人工的線分として、エッジ画素が連なって構成される直線状線分又は曲線状線分を検出することによっても実現することができる。
【００２２】
また、請求項１〜請求項７の何れかに記載の発明において、処理対象の可視画像としては、例えば請求項８に記載したように、車両に搭載された撮像手段により車両の周囲を撮像することで得られた動画像が好適である。
【００２３】
請求項９記載の発明に係る画像処理方法は、処理対象の可視画像の全領域を対象として人物に相当すると推定される人物候補領域を探索し、当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、前記探索で抽出された人物候補領域のうち領域内で前記人工的線分が検出された人物候補領域を人物候補から除外することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出するので、請求項１，２に記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できると共に、処理対象の可視画像中に人物候補領域が存在していなかった場合の処理負荷を軽減することが可能となる。
【００２４】
請求項１０記載の発明に係る画像処理方法は、処理対象の可視画像の全領域を対象して人工的線分を検出し、前記処理対象の可視画像のうち前記人工的線分が存在している領域を除外した領域を対象として人物に相当すると推定される人物候補領域を探索することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出するので、請求項１，３に記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できると共に、人物候補領域の探索に要する時間を短縮することができる。
【００２５】
請求項１１記載の発明に係る画像処理プログラムは、コンピュータを、処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段、及び、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段として機能させる。
【００２６】
請求項１１記載の発明に係る画像処理プログラムは、コンピュータを、上記の人工的線分検出手段、人物候補領域抽出手段として機能させるためのプログラムであるので、コンピュータが請求項１１記載の発明に係る画像処理プログラムを実行することで、コンピュータが請求項１に記載の画像処理装置として機能することになり、請求項１記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出することができる。
【発明の効果】
【００２７】
以上説明したように本発明は、処理対象の可視画像中に存在している人工的線分を検出し、処理対象の可視画像のうち人工的線分を除外した領域に存在する人物候補領域を抽出するようにしたので、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できる、という優れた効果を有する。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【００２９】
〔第１実施形態〕
図１には本実施形態に係る物体検出装置１０が示されている。物体検出装置１０は車両１２(図２参照)に搭載され、車両１２の周囲(例えば車両１２の前方)に存在する物体を検出する装置であり、可視光カメラ１４と画像処理部２４がバス２６を介して接続されて構成されている。なお、物体検出装置１０は、車両１２に搭載され各種の機能を備えた車両制御システムの一部であり、バス２６には実際は各種のセンサや各種の制御部が接続されているが、図１ではこれらの図示は省略している。
【００３０】
可視光カメラ１４は、ＣＣＤイメージセンサやＭＯＳ型固体撮像素子等から成り可視光域に感度を有する撮像素子１６、アナログ処理部１８、Ａ／Ｄ(アナログデジタル)変換器２０、デジタル処理部２２を備え、これらが順に接続されて構成されている。図２に示すように、可視光カメラ１４は車両１２の室内のうち、車両１２のウインドシールドガラスの上端近傍でかつ車両１２の左右方向およそ中央の位置(例えばルームミラーの近傍)に、車両１２の前方が撮像範囲となる向きで配置されている。撮像素子１６は、車両１２前方の撮像範囲内からの光が受光面に入射され、受光面に入射された光を光電変換することで、車両１２前方の撮像範囲内の状況を表すアナログの画像信号を一定のフレームレートで出力する。
【００３１】
アナログ処理部１８は、撮像素子１６から出力された画像信号を増幅すると共に、増幅した画像信号に対してホワイトバランス等の補正を行う。アナログ処理部１８から出力された画像信号は、Ａ／Ｄ変換器２０によってデジタルの画像データに変換されてデジタル処理部２２へ入力され、デジタル処理部２２によって色補正等の処理が行われた後に、バス２６を介して画像処理部２４へ出力される。なお、可視光カメラ１４から画像処理部２４へ出力される画像データは、本発明に係る処理対象の可視画像（より詳しくは請求項８に記載の動画像）に対応している。
【００３２】
画像処理部２４はマイクロコンピュータ等から成り、ＣＰＵ２４Ａ、ＲＯＭやＲＡＭ等から成るメモリ２４Ｂ、ＨＤＤ(Hard Disk Drive)やフラッシュメモリ等から成る不揮発性の記憶部２４Ｃを備えており、可視光カメラ１４からバス２６を介して入力された画像データは記憶部２４Ｃに順に記憶される。なお、記憶部２４Ｃの記憶容量節減のため、可視光カメラ１４から入力された画像データは一旦圧縮した後に記憶部２４Ｃに記憶させるようにしてもよい。また記憶部２４Ｃには、ＣＰＵ２４Ａによって後述する人物候補領域抽出処理を行うための人物候補領域抽出プログラムが予めインストールされている。この人物候補領域抽出プログラムは請求項１１に記載の画像処理プログラムに対応しており、画像処理部２４は、ＣＰＵ２４Ａによって人物候補領域抽出プログラムが実行されることで本発明に係る画像処理装置として機能する。
【００３３】
次に本第１実施形態の作用として、本第１実施形態に係る人物候補領域抽出処理について図３を参照して説明する。なお、この人物候補領域抽出処理は、車両１２のイグニッションスイッチがオンされている間、画像処理部２４によって繰り返し実行される。また、人物候補領域抽出処理の実行周期は、撮像素子１６からの画像信号の出力周期（フレームレートの逆数）と同一であってもよいし、画像信号の出力周期よりも長くてもよい。また、第１実施形態に係る人物候補領域抽出処理は請求項９に記載の画像処理方法が適用された処理である。
【００３４】
第１実施形態に係る人物候補領域抽出処理では、まずステップ５０において、可視光カメラ１４から入力されて記憶部２４Ｃに一旦記憶された１フレーム分の画像データを記憶部２４Ｃから読み出し、処理対象画像の画像データとしてメモリ２４Ｂに記憶させる。また、次のステップ５２では、画像データをメモリ２４Ｂに記憶させた処理対象画像の全領域を対象として、パターン認識により処理対象画像中に存在している人物に相当すると推定される領域(人物候補領域)の探索・抽出を行う。ステップ５２におけるパターン認識としては、例えば非特許文献１に記載されているニューラルネットワーク法や部分空間法等に代表される統計的機械学習によるパターン認識が好適であるが、他の手法を適用してもよい。
【００３５】
統計的機械学習によるパターン認識は、認識対象の画像を多数集め、集めた多数の画像から機械学習により共通する特徴を幾つか抽出しておき、抽出した特徴を用いてパターン認識を行うものである。機械学習によって多数の画像から抽出された複数の特徴の集合は学習モデルと称されている。ステップ５２のようにパターン認識によって人物候補領域の探索・抽出を行う場合は、学習モデルとして、例として図４(Ｂ)に示すような人物候補領域の輪郭を表す学習モデルが用いられる。なお、学習モデルの外形形状は、図４(Ｂ)に示す例のように矩形状であることが多いが、それ以外の形状を用いることも可能である。また、人物候補領域の探索・抽出を行う際の学習モデルとしては、図４(Ｂ)に示すように直立している人物の輪郭形状を表す学習モデル以外に、例えば歩行している人物の輪郭形状を表す学習モデルや、自転車等の二輪車に乗車している人物の輪郭形状を表す学習モデル等も用いてもよい。
【００３６】
統計的機械学習によるパターン認識は、処理対象画像上の任意の位置に上記の学習モデルを配置し、配置した学習モデルと処理対象画像上の学習モデルが重なっている領域との類似度の評価値を演算することを、処理対象画像上での学習モデルの配置位置、及び、処理対象画像に対する学習モデルの相対サイズを変化させながら繰り返すことによって為される。なお、学習モデルのサイズ変更は、通常、図４(Ａ)に示すように、処理対象画像のうち車両１２からの距離が大きい物体の画像部が存在している領域では学習モデルのサイズを小さくし、車両１２からの距離が小さい物体の画像部が存在している領域では学習モデルのサイズを大きくする。
【００３７】
そして、演算した評価値が閾値以上になった場合、そのとき学習モデルと重なっている領域を人物候補領域と判断し、人物候補領域と判断した領域の位置や大きさ等をメモリ２４Ｂに記憶させる。例えば処理対象画像が図４(Ａ)に示す画像であった場合は、処理対象画像のうち、例として図４(Ｃ)に矩形で囲んで示す領域が人物候補領域として抽出され、その位置や大きさ等がメモリ２４Ｂに記憶されることになる。
【００３８】
次のステップ５４では、ステップ５２における処理によって処理対象画像から人物候補領域が抽出されたか否か判定する。この判定が否定された場合は人物候補領域抽出処理を終了する。これにより、車両１２の周囲に人物が存在しておらず、処理対象画像が人物に相当する人物領域が存在していない画像であった場合に、画像処理部２４に加わる負荷を軽減することができる。また、ステップ５４の判定が肯定された場合はステップ５６へ移行し、ステップ５２の処理によって処理対象画像から抽出された人物候補領域の中から、処理対象として単一の人物候補領域を選択する。
【００３９】
次のステップ５８では、ステップ５６で処理対象として選択した人物候補領域内の各画素のエッジ強度及び方向を演算する。すなわち、まず処理対象の人物候補領域内の各画素に対し、縦方向のエッジ強度及び横方向のエッジ強度を各々演算する。この縦方向及び横方向のエッジ強度の演算には、例えば図５(Ａ)に示す縦方向及び横方向のプレヴィットオペレータや、図５(Ｂ)に示す縦方向及び横方向のソーベルオペレータ等の微分オペレータを用いて行うことができる。次に、処理対象の人物候補領域内の各画素について、演算した縦方向のエッジ強度ＤiffＶ及び横方向のエッジ強度ＤiffＨを次の(１),(２)式に代入することでエッジ強度Ｅ、エッジ方向θを各々演算し、演算結果をメモリ２４Ｂに記憶させる。
エッジ強度Ｅ＝√((ＤiffＶ)２＋(ＤiffＨ)２) …(１)
エッジ方向θ＝ｔａｎ−１(ＤiffＶ／ＤiffＨ) …(２)
なお、(２)式で算出されるエッジ方向θは、演算対象の画素においてエッジ強度が最大となる方向、すなわち図６に示すように、演算対象の画素を通る低濃度領域と高濃度領域の境界線に対する法線方向を表し、(１)式で算出されるエッジ強度Ｅは演算対象の画素におけるエッジ方向θについてのエッジ強度を表している。上記の演算により、例えば図４(Ｃ)に示す人物候補領域からは、例として図７に示すようなエッジ画像が得られることになる。なお、図７に示すエッジ画像は、図４(Ｃ)に示す人物候補領域の各画素の濃度を、エッジ強度Ｅの値が大きくなるに従って低濃度となる値へ置き換えて可視化したものである。
【００４０】
次のステップ６０〜ステップ６８では、ステップ５８で演算した処理対象の人物候補領域内の各画素のエッジ強度Ｅ及びエッジ方向θに基づき、前記各画素の中から低濃度領域と高濃度領域の境界線上に位置していると推定される画素(エッジ画素：図７に示すエッジ画像において低濃度で示されている画素)を抽出する。すなわち、まずステップ６０では処理対象の人物候補領域内の各画素の中から注目画素を選択する。次のステップ６２では、ステップ６０で選択した注目画素のエッジ方向θに基づき、注目画素に対し、注目画素のエッジ方向θとおよそ同方向に存在している隣接画素を選択し、注目画素のエッジ強度Ｅを選択した隣接画素のエッジ強度Ｅと比較する。
【００４１】
ステップ６２における隣接画素の選択は、例えば、
(1)エッジ方向θ： 0°±22.5°又は180°±22.5°→隣接画素：右隣及び左隣の画素
(2)エッジ方向θ： 45°±22.5°又は225°±22.5°→隣接画素：右上及び左下の画素
(3)エッジ方向θ： 90°±22.5°又は270°±22.5°→隣接画素：上隣及び下隣の画素
(4)エッジ方向θ：135°±22.5°又は315°±22.5°→隣接画素：右下及び左上の画素
上記のように、エッジ方向θの角度範囲(0〜360°)を４種類の角度範囲に分割し、各角度範囲毎に選択する隣接画素を定めた隣接画素選択条件を定めておき、エッジ方向θが４種類の角度範囲のうちの何れに属しているかに応じて隣接画素を選択することで行うことができる。
【００４２】
なお、上記の条件ではエッジ方向θの値に拘わらず隣接画素として２個の画素が選択されるが、これに限られるものではなく、例えば個々の角度範囲±22.5°を若干広げる(例えば±30°等)ことで個々の角度範囲を一部オーバラップさせ、エッジ方向θが２種類の角度範囲に跨るオーバラップ領域に相当する角度であった場合には、２種類の角度範囲の何れかに対応する合計４個の画素を隣接画素として選択し、注目画素とのエッジ強度Ｅの比較を各々行うようにしてもよい。
【００４３】
次のステップ６４では、ステップ６２でエッジ強度Ｅを比較した結果、注目画素のエッジ強度Ｅが最大であったか（注目画素のエッジ強度Ｅが複数の隣接画素のエッジ強度Ｅよりも大きかったか）否か判定する。なお、複数の隣接画素の中にエッジ強度Ｅが注目画素と等しい画素が存在していた場合には、エッジ強度Ｅが注目画素と等しい隣接画素に隣接する新たな隣接画素を前述の隣接画素選択条件を用いて選択し、選択した新たな隣接画素と注目画素のエッジ強度Ｅを比較する。ステップ６４の判定が否定された場合はステップ６８へ移行するが、ステップ６４の判定が肯定された場合はステップ６６へ移行し、注目画素がエッジ画素であることを表す情報をメモリ２４Ｂに記憶させた後にステップ６８へ移行する。
【００４４】
ステップ６８では、処理対象の人物候補領域内の全ての画素を対象としてステップ６０〜ステップ６８の処理を行ったか否か判定する。判定が否定された場合はステップ６０に戻り、ステップ６８の判定が肯定される迄ステップ６０〜ステップ６８を繰り返す。これにより、処理対象の人物候補領域内に存在する全てのエッジ画素が抽出される。
【００４５】
ステップ６８の判定が肯定されるとステップ７０へ移行する。ステップ７０〜ステップ８６では、ステップ６０〜ステップ６８で抽出された個々のエッジ画素を判定対象として順に選択しながら、処理対象の人物候補領域内で、人工物に相当する線分である可能性の高い人工的線分（人工的な直線状線分及び曲線状線分）を探索する。すなわち、まずステップ７０では、ステップ６０〜ステップ６８で抽出された全てのエッジ画素を判定対象として選択したか否か判定する。当初はこの判定が否定されてステップ７２へ移行し、ステップ６０〜ステップ６８で抽出された処理対象の人物候補領域のエッジ画素の中から、単一のエッジ画素を判定対象のエッジ画素として抽出する。次のステップ７４では、ステップ７２で選択した判定対象のエッジ画素のエッジ方向θに基づき、判定対象のエッジ画素に対し、判定対象のエッジ画素のエッジ方向θに対しておよそ90°又は-90°の方向に存在している隣接画素を選択する。
【００４６】
ステップ７４における隣接画素の選択についても、例えば、
(1)エッジ方向θ： 0°±30°又は180°±30°→隣接画素：上隣及び下隣の画素
(2)エッジ方向θ： 45°±30°又は225°±30°→隣接画素：右下及び左上の画素
(3)エッジ方向θ： 90°±30°又は270°±30°→隣接画素：右隣及び左隣の画素
(4)エッジ方向θ：135°±30°又は315°±30°→隣接画素：右上及び左下の画素
上記のように、エッジ方向θの角度範囲(0〜360°)を４種類の角度範囲に分割し、各角度範囲毎に選択する隣接画素を定めた隣接画素選択条件を定めておき、エッジ方向θが４種類の角度範囲のうちの何れに属しているかに応じて隣接画素を選択することで行うことができる。上記の条件では個々の角度範囲にオーバラップ領域が設けられており、エッジ方向θが２種類の角度範囲に跨るオーバラップ領域に相当する角度であった場合には、２種類の角度範囲の何れかに対応する合計４個の画素が隣接画素として選択される。
【００４７】
なお、上記の条件における個々の角度範囲は±30°に限られるものではない。オーバラップ領域が広すぎると処理時間が長時間化する一方で、オーバラップ領域が狭すぎるとステップ７０〜ステップ８６で探索対象となる人工的線分の延びる方向が0°や45°等に限られてしまうことになるので、個々の角度範囲±30°を若干広げ(例えば±40°等)、個々の角度範囲に跨るオーバラップ領域の角度範囲を若干拡大するようにしてもよい。
【００４８】
ステップ７６ではステップ７４で選択した隣接画素がエッジ画素か否か判定する。判定が否定された場合、判定対象のエッジ画素は他のエッジ画素から孤立しており、人工的線分を構成するエッジ画素ではないと判断できるのでステップ７０に戻る。この場合、ステップ７２で判定対象のエッジ画素として他のエッジ画素が選択されて以降の処理が繰り返されることになる。
【００４９】
一方、ステップ７６の判定が肯定された場合はステップ７８へ移行し、先のステップ７４で選択した隣接画素のエッジ方向θを判定対象のエッジ画素のエッジ方向θと比較し、両者の角度差が、エッジがほぼ直線状に連続して成る人工的な直線状線分に相当する角度範囲内か否か判定する。なお、人工的な直線状線分に相当する角度範囲としては、例えば0°±2°やその前後の範囲を適用することができる。この判定が肯定された場合、判定対象のエッジ画素及びステップ７８の判定を満たす隣接画素（エッジ画素）は人工物に相当する人工的な直線状線分の一部を構成する画素である可能性が高いので、ステップ８２へ移行し、これらの画素の情報を人工的な直線状線分の一部を構成する画素の情報としてメモリ２４Ｂに記憶させる。
【００５０】
また、次のステップ８６ではメモリ２４Ｂに情報を記憶させた隣接画素（エッジ画素）を次の判定対象のエッジ画素として選択し、ステップ７４に戻る。なお、先のステップ７８の判定は、先のステップ７４で選択された複数個の隣接画素の中に、ステップ７８の判定条件を満足する隣接画素が１個以上存在していれば肯定されるが、ステップ７８の判定条件を満足する隣接画素が複数個存在していた場合、ステップ８６では、判定条件を満足する複数個の隣接画素の中から単一の隣接画素を判定対象として選択すると共に、判定条件を満足する複数個の隣接画素のうちの残りの隣接画素については、判定対象候補画素としてメモリ２４Ｂに情報を記憶させる。この判定対象候補画素については、後でステップ７２が再度実行された際に、判定対象のエッジ画素として優先的に選択される。
【００５１】
上記処理により、ステップ７２で選択した判定対象のエッジ画素が人工的な直線状線分を構成するエッジ画素（図８に「判定対象のエッジ画素」と表記して示すように、人工的な直線状線分上に位置しているエッジ画素）である場合は、ステップ７４〜７８,８２,８６が繰り返されることで、当初の判定対象のエッジ画素に対応する直線状線分が一定方向へ追跡(トレース)され、図８に「連結1」〜「連結4」と表記して示すように、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して追跡方向側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の直線状線分を構成するエッジ画素の情報としてメモリ２４Ｂに順次記憶されることで、抽出された個々のエッジ画素が同一の直線状線分を構成するエッジ画素として連結される。
【００５２】
また、判定対象のエッジ画素の位置が直線状線分の一端に到達すると、一旦はステップ７６の判定が否定されてステップ７０に戻った後に、当初の判定対象のエッジ画素を挟んで直線状線分の当初の追跡方向と反対側に存在している隣接エッジ画素（判定対象候補画素としてメモリ２４Ｂに記憶されたエッジ画素）がステップ７２で判定対象のエッジ画素として選択され、ステップ７４〜７８,８２,８６が再度繰り返されることで、当初の判定対象のエッジ画素に対応する直線状線分が当初の追跡方向と逆方向へ追跡(トレース)され、図８に「連結n」〜「連結n+3」と表記して示すように、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して当初の追跡方向と反対側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の直線状線分を構成するエッジ画素の情報としてメモリ２４Ｂに順次記憶されることで、同一の直線状線分を構成する全てのエッジ画素が連結されることになる。
【００５３】
また、先のステップ７８の判定が否定された場合（ステップ７４で選択した隣接画素と判定対象のエッジ画素のエッジ方向θの角度差が直線状線分に相当する角度範囲から外れていた場合）はステップ８０へ移行し、ステップ７４で選択した隣接画素と判定対象のエッジ画素のエッジ方向θの角度差が、エッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している人工的な曲線状線分に相当する角度範囲内か否か判定する。なお、人工的な曲線状線分に相当する角度範囲としては、例えば5°±2°やその前後の範囲を適用することができる。
【００５４】
ステップ８０の判定が肯定された場合、判定対象のエッジ画素及びステップ８０の判定を満たす隣接画素（エッジ画素）は人工物に相当する人工的な曲線状線分の一部を構成する画素である可能性が高いので、ステップ８４へ移行し、これらの画素の情報を人工的な曲線状線分の一部を構成する画素の情報としてメモリ２４Ｂに記憶させる。また、次のステップ８６ではメモリ２４Ｂに情報を記憶させた隣接画素（エッジ画素）を次の判定対象のエッジ画素として選択し、ステップ７４に戻る。なお、ステップ８０の判定についても、先のステップ７４で選択された複数個の隣接画素の中に、ステップ８０の判定条件を満足する隣接画素が１個以上存在していれば肯定されるが、ステップ８６では、ステップ８０の判定条件を満足する隣接画素が複数個存在していた場合にも、判定条件を満足する複数個の隣接画素の中から単一の隣接画素を判定対象として選択すると共に、判定条件を満足する複数個の隣接画素のうちの残りの隣接画素については、判定対象候補画素としてメモリ２４Ｂに情報を記憶させる。
【００５５】
上記処理により、ステップ７２で選択した判定対象のエッジ画素が人工的な曲線状線分を構成するエッジ画素（人工的な曲線状線分上に位置しているエッジ画素）である場合は、ステップ７４〜８０,８４,８６が繰り返されることで、当初の判定対象のエッジ画素に対応する曲線状線分が一定方向へ追跡(トレース)され、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して追跡方向側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の曲線状線分を構成するエッジ画素の情報としてメモリ２４Ｂに順次記憶されることで、抽出された個々のエッジ画素が同一の曲線状線分を構成するエッジ画素として連結される。
【００５６】
また、判定対象のエッジ画素の位置が直線状線分の一端に到達すると、ステップ７６の判定が一旦否定されてステップ７０に戻った後に、当初の判定対象のエッジ画素を挟んで曲線状線分の当初の追跡方向と反対側に存在している隣接エッジ画素（判定対象候補画素としてメモリ２４Ｂに記憶されたエッジ画素）がステップ７２で判定対象のエッジ画素として選択され、ステップ７４〜８０,８４,８６が再度繰り返されることで、当初の判定対象のエッジ画素に対応する曲線状線分が当初の追跡方向と逆方向へ追跡(トレース)され、当初の判定対象のエッジ画素と同一の曲線状線分を構成し、かつ当初の判定対象のエッジ画素に対して当初の追跡方向と反対側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報がメモリ２４Ｂに順次記憶されることで、同一の曲線状線分を構成する全てのエッジ画素が連結されることになる。
【００５７】
上述した処理により、処理対象の人物候補領域内に存在している人工的な直線状線分及び曲線状線分が探索され、処理対象の人物候補領域内に人工的な直線状線分や曲線状線分が存在していれば、当該直線状線分や曲線状線分が処理対象の人物候補領域から抽出される。なお、ステップ５４〜ステップ８６は本発明に係る人工的線分検出手段（より詳しくは請求項２,４,６に記載の人工的線分検出手段）に対応している。 処理対象の人物候補領域内の全てのエッジ画素を判定対象として選択すると、ステップ７０の判定が肯定されてステップ８８へ移行し、ステップ７０〜ステップ８６で抽出された人工的な直線状線分や曲線状線分の数及び大きさに基づいて、処理対象の人物候補領域が人工物に相当する人工物領域か否か判定する。ステップ８８の判定は、例えば「抽出された直線状線分の数が第１閾値以上かつ抽出された直線状線分の長さが第２閾値以上」という第１の条件と、「抽出された曲線状線分の数が第３閾値以上かつ抽出された曲線状線分の長さが第４閾値以上」という第２の条件を各々判定することで行うことができ、第１の条件及び第２の条件の少なくとも一方を満足した場合に肯定されるようにすることができる。
【００５８】
ステップ８８の判定が肯定された場合、処理対象の人物候補領域内には人工的な直線状線分又は曲線状線分が明瞭に存在しているので、処理対象の人物候補領域は人工物に相当する人工物領域である（人物に相当する人物領域ではない）と判断できる。このため、ステップ８８の判定が肯定された場合はステップ９０へ移行し、処理対象の人物候補領域を出力対象から除外した後にステップ９２へ移行する。また、ステップ８８の判定が否定された場合は、処理対象の人物候補領域内には人工的な直線状線分や曲線状線分が存在していないか、人工的な直線状線分や曲線状線分が存在していたとしても少数又は長さが短いので、処理対象の人物候補領域は人工物に相当する人工物領域ではない（人物に相当する人物領域である確度が高い）と判断できる。このため、ステップ８８の判定が否定された場合はステップ９０をスキップしてステップ９２へ移行する。
【００５９】
ステップ９２では、先のステップ５２で処理対象画像から抽出された人物候補領域の中に、先のステップ５６で処理対象として未選択の人物候補領域が存在しているか否か判定する。判定が肯定された場合はステップ５６に戻り、ステップ９２の判定が否定される迄ステップ５６〜ステップ９２を繰り返す。これにより、ステップ５２で抽出された全ての人物候補領域に対してステップ５８以降の処理が各々行われ、結果として、処理対象画像のうち人工的な直線状線分又は曲線状線分が明瞭に存在している領域を除外した領域に存在する人物候補領域のみが除外されずに残存することになる。ステップ９２の判定が否定されるとステップ９４へ移行し、ステップ５２で抽出された人物候補領域のうちステップ９０で出力対象から除外されずに残存している人物候補領域の情報を、人物領域である確度が高い領域の情報として出力し、人物候補領域抽出処理を終了する。上記のステップ８８〜ステップ９２は、先に説明したステップ５２と共に本発明に係る人物候補領域抽出手段（より詳しくは請求項２に記載の人物候補領域抽出手段）に対応している。
【００６０】
なお、人物候補領域抽出処理の処理結果の出力先としては、例えば物体検出装置１０と共に車両１２に搭載された車両制御システムの一部を構成し、車両１２の周囲に存在する人物の位置や距離等に応じた所定の制御（一例として、自車両が歩行者に衝突することが予測される場合に歩行者への衝撃を緩和するためのエアバッグを展開させる制御等）を行う制御部が挙げられる。本実施形態では、パターン認識によって抽出した人物候補領域のうち、領域内に人工的線分が明瞭に存在している人物候補領域を出力対象から除外しているので、人物に相当する領域である確度の高い領域を抽出・出力することができ、人物候補領域抽出処理の処理結果を受け取って所定の制御を行う場合にも、所定の制御の精度を向上させることができる。
【００６１】
また、本実施形態では可視画像から人物に相当する領域である確度の高い領域を抽出することができ、赤外画像を用いる必要がないので、物体検出装置１０の構成も簡略化することができる。
【００６２】
なお、上記では処理対象の人物候補領域内に存在する人工的な直線状線分及び曲線状線分を全て（線分の延びる方向等に拘わらず）探索・抽出する態様を説明したが、本発明はこれに限定されるものではなく、実空間上での鉛直方向に相当する処理対象画像の縦方向にほぼ沿って延びる人工的な直線状線分（縦方向の直線状線分）のみを対象として探索・抽出を行うようにしてもよい。
【００６３】
縦方向の直線状線分のみを探索・抽出することは、具体的には、例えば図３のステップ６０〜ステップ６８において、エッジ方向θが縦方向に対しておよそ90°又は-90°の画素(縦方向の直線状線分を構成するエッジ画素である可能性の有るエッジ方向θの画素)のみを判定対象とし、隣接画素とエッジ強度Ｅを比較してエッジ画素を抽出する(当該処理の結果の一例を図９(Ａ)に示す)と共に、図３のステップ７０〜ステップ８６で直線状線分の探索・抽出のみを行う（ステップ７８の判定が否定された場合はステップ７０に戻り、ステップ８０,８４は行わない）ように構成することで実現できる。なお、図９(Ａ)に示すエッジ画素の抽出結果に対して直線状線分の探索を行うことで抽出される縦方向の直線状線分の一例を図９(Ｂ)に示す。
【００６４】
車両から周囲を撮像した画像では、画像に写る可能性のある人工物は、画像中の縦方向にほぼ沿って延びる直線状線分を生じさせる人工物が殆どであるので、上記のように縦方向の直線状線分のみを対象として探索・抽出を行うことで、人物に相当する領域の抽出精度が低下することを回避しつつ、人物候補領域抽出処理を簡略化することができる。なお、上記態様は請求項５記載の発明に対応している。
【００６５】
〔第２実施形態〕
次に本発明の第２実施形態について説明する。なお、本第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下図１０を参照し、第２実施形態の作用として、本第２実施形態に係る人物候補領域抽出処理について、第１実施形態で説明した人物候補領域抽出処理(図３)と異なる部分についてのみ説明する。なお、第２実施形態に係る人物候補領域抽出処理は請求項１０に記載の画像処理方法が適用された処理である。
【００６６】
本第２実施形態に係る人物候補領域抽出処理では、ステップ５０で処理対象画像の画像データを記憶部２４Ｃから読み出してメモリ２４Ｂに記憶させた後に、次のステップ５９において、処理対象画像の全画素についてエッジ強度及びエッジ方向を各々演算する。なお、エッジ強度及びエッジ方向の演算自体は、第１実施形態に係る人物候補領域抽出処理(図３)のステップ５８と同様にして行うことができる。
【００６７】
次のステップ６１〜ステップ６８では、ステップ５８で演算した各画素のエッジ強度Ｅ及びエッジ方向θに基づき、第１実施形態に係る人物候補領域抽出処理(図３)のステップ６０〜ステップ６８と同様にして、各画素の中からエッジ画素を抽出するが、本第２実施形態に係る人物候補領域抽出処理のステップ６１〜ステップ６８は、ステップ６１で処理対象画像の全画素の中から注目画素を選択することで、処理対象画像の全領域を対象としてエッジ画素の抽出を行う点で第１実施形態に係る人物候補領域抽出処理(図３)のステップ６０〜ステップ６８と相違している。これにより、処理対象画像が例として図１１(Ａ)に示すような画像であった場合、上述したステップ６１〜ステップ６８により、例として図１１(Ｂ)に示すように、処理対象画像の全領域を対象としてエッジ画素が抽出されることになる。
【００６８】
次のステップ７０〜ステップ８６では、第１実施形態に係る人物候補領域抽出処理(図３)のステップ７０〜ステップ８６と同様にして、ステップ６１〜ステップ６８で抽出された個々のエッジ画素を判定対象として順に選択して人工的な直線状線分及び曲線状線分を探索するが、本第２実施形態に係る人物候補領域抽出処理では、ステップ６１〜ステップ６８で処理対象画像の全領域を対象としてエッジ画素が抽出されるので、本第２実施形態に係る人物候補領域抽出処理のステップ７０〜ステップ８６についても、ステップ７３で処理対象画像中の全てのエッジ画素の中から判定対象のエッジ画素を選択することで、処理対象画像の全領域を対象として人工的な直線状線分及び曲線状線分の探索・抽出を行う点で第１実施形態に係る人物候補領域抽出処理(図３)のステップ７０〜ステップ８６と相違している。
【００６９】
これにより、例として図１１(Ａ)に示すような処理対象画像から、例として図１１(Ｂ)に示すようにエッジ画素が抽出された場合、上述したステップ７０〜ステップ８６により、例として図１２に示すように、処理対象画像の全領域を対象として人工的な直線状線分及び曲線状線分が抽出されることになる。なお、本第２実施形態に係る人物候補領域抽出処理におけるステップ５９〜ステップ８６は本発明に係る人工的線分検出手段（より詳しくは請求項３,４,６に記載の人工的線分検出手段）に対応している。
【００７０】
また、本第２実施形態に係る人物候補領域抽出処理では、処理対象画像の全領域を対象とする人工的な直線状線分及び曲線状線分の探索・抽出が終了することでステップ７０の判定が肯定されると、ステップ９６へ移行し、ステップ７０〜ステップ８６で人工的な直線状線分及び曲線状線分が抽出された結果に基づき、処理対象画像の全領域を対象として第１実施形態に係る人物候補領域抽出処理(図３)のステップ８８と同様の判定を行うことで、処理対象画像の全領域のうち人工的な直線状線分又は曲線状線分が明瞭に存在している領域を判定し、処理対象画像の全領域から判定した領域（人工的な直線状線分又は曲線状線分が明瞭に存在している領域）を除外した領域を、人物候補領域の探索範囲として設定する。
【００７１】
これにより、処理対象画像の全領域から図１２に示す直線状線分及び曲線状線分が抽出された場合には、処理対象画像のうち、例として図１３に示す人工的な直線状線分や曲線状線分及びその周囲の領域（図１３に高濃度で示す領域）が、人工的な直線状線分又は曲線状線分が明瞭に存在している領域と判定され、処理対象画像のうち当該領域を除外した範囲（図１３に低濃度で示す範囲）が人物候補領域の探索範囲として設定されることになる。
【００７２】
次のステップ９８では、処理対象画像のうちステップ９６で設定した探索範囲内で人物候補領域の探索を行う。この人物候補領域の探索は、第１実施形態に係る人物候補領域抽出処理(図３)のステップ５２と同様にパターン認識を適用して行うことができる。このように、本第２実施形態に係る人物候補領域抽出処理では、人工的な直線状成分や曲線状線分が明瞭に存在している領域を除外した探索範囲内で人物候補領域の探索を行うので、人物候補領域として人物領域である確度が高い領域を抽出できると共に、人物候補領域の探索に要する処理時間も短縮することができる。そして、次のステップ１００では、ステップ９８で抽出された人物候補領域の情報を、人物領域である確度が高い領域の情報として出力し、人物候補領域抽出処理を終了する。なお、上述したステップ９６,９８は本発明に係る人物候補領域抽出手段（より詳しくは請求項３に記載の人物候補領域抽出手段）に対応している。
【００７３】
なお、第２実施形態においても、処理対象画像の縦方向にほぼ沿って延びる人工的な直線状線分（縦方向の直線状線分）のみを対象として探索・抽出を行い、縦方向の直線状線分が明瞭に存在している領域を人物候補領域の探索範囲から除外するようにしてもよい。この場合も、人物に相当する領域の抽出精度が低下することを回避しつつ、人物候補領域抽出処理を簡略化することができる。上記態様も請求項５記載の発明に対応している。
【００７４】
また、上記ではエッジ画素を抽出した後に、判定対象のエッジ画素と隣接するエッジ画素のエッジ方向θの角度差に基づいて、判定対象のエッジ画素及び隣接するエッジ画素が同一の直線状線分又は曲線状線分に対応するエッジ画素か否かを判定し、判定が肯定された場合は隣接するエッジ画素を新たな判定対象のエッジ画素として選択することを繰り返し、直線状線分又は曲線状線分を追跡していくことで直線状線分又は曲線状線分を抽出する態様を説明したが、これに限定されるものではなく、エッジ画素を抽出した後に、抽出したエッジ画素に対してハフ(Hough)変換を適用することで直線状線分又は曲線状線分を抽出するようにしてもよい。なお、この態様は請求項７記載の発明に対応している。
【００７５】
また、上記では本発明に係る画像処理プログラムに相当する人物候補領域抽出プログラムが画像処理部２４の記憶部２４Ｃに予め記憶（インストール）されている態様を説明したが、本発明に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【図面の簡単な説明】
【００７６】
【図１】本実施形態に係る物体検出装置の概略構成を示すブロック図である。
【図２】可視光カメラによる撮像範囲を示す、(Ａ)は側面図、(Ｂ)は平面図である。
【図３】第１実施形態に係る人物候補領域抽出処理を示すフローチャートである。
【図４】(Ａ)はパターン認識による人物候補領域の探索、(Ｂ)は当該探索に用いる学習モデル(パターン)の一例、(Ｃ)は抽出された人物候補領域の一例を各々示すイメージ図である。
【図５】エッジ強度の演算に用いる微分オペレータの一例を示すイメージ図である。
【図６】演算対象画素のエッジ強度及びエッジ方向の演算を説明するためのイメージ図である。
【図７】人物候補領域に対するエッジ抽出結果の一例を示すイメージ図である。
【図８】エッジ画素の追跡(人工的線分を形成するエッジ画素の連結)を説明するためのイメージ図である。
【図９】縦方向に延びるエッジのみ抽出する場合の処理結果の一例を示すイメージ図である。
【図１０】第２実施形態に係る人物候補領域抽出処理を示すフローチャートである。
【図１１】(Ａ)は処理対象画像の一例、(Ｂ)は(Ａ)の画像に対するエッジ抽出結果の一例を各々示すイメージ図である。
【図１２】直線状線分・曲線の検出結果の一例を示すイメージ図である。
【図１３】直線状線分・曲線の検出結果に基づいて設定される人物候補領域の探索領域の一例を示すイメージ図である。
【符号の説明】
【００７７】
１０ 物体検出装置
１２ 車両
１４ 可視光カメラ
２４ 画像処理部
２４Ａ ＣＰＵ
２４Ｂ メモリ
２４Ｃ 記憶部
【技術分野】
【０００１】
本発明は画像処理装置、方法及びプログラムに係り、特に、画像から人物に相当すると推定される人物候補領域を抽出する画像処理装置、該画像処理装置に適用可能な画像処理方法、及び、コンピュータを画像処理装置として機能させるための画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、車両に搭載したカメラによって車両の周囲を撮像し、この撮像によって得られた画像を対象として、人物に相当すると推定される画像部（人物候補領域）を探索・抽出する画像処理を行うことで、車両の周囲に存在する歩行者等の人物を検出する技術が提案されている。当該技術において、人物候補領域の探索・抽出に適用可能なアルゴリズムとしては、例えば非特許文献１に記載されているニューラルネットワーク法や部分空間法等、様々なアルゴリズムが存在しているが、これらのアルゴリズムを適用して人物候補領域の探索・抽出を行った場合、画像上での特徴が人物候補領域に類似している画像部、例えば一般道路上であれば、樹木や電柱、標識、白線、横断歩道等に相当する画像部が人物候補領域として誤抽出されることがある。
【０００３】
人物候補領域の誤抽出を防止することは、人物候補領域を探索・抽出するアルゴリズムで人物候補領域か否かの判定に用いる閾値を、誤抽出を低減できる値へ変更することで実現できるが、この場合、人物候補領域の誤抽出は減少するものの、人物に相当する画像部が人物候補領域として抽出されない抽出漏れが増加する。また、人物候補領域の抽出漏れを防止することを重視して前記閾値の値を設定すると、抽出漏れは減少する一方で人物候補領域の誤抽出は増加する。このように、人物候補領域の誤抽出を防止することと、人物に相当する画像部が人物候補領域として抽出されない抽出漏れを回避することはトレードオフの関係にあり、誤抽出防止と抽出漏れ防止を両立させることは困難な課題であった。
【０００４】
上記に関連して特許文献１には、検出対象範囲を撮影した赤外線画像中で輝度が人物より放射された赤外線放射量に相当する範囲の領域を人物候補領域として検出すると共に、赤外画像と画像上の位置の対応関係が明確な可視画像の中の高輝度部分を検出し、検出した高輝度部分とその周辺部に対応する赤外画像の画像領域を人物検出対象領域より除外することで、自動車のヘッドライト等のように人体の露出部と温度がほぼ同程度で画像に占める面積が同等の物を人物候補領域として誤検出する割合を低減する技術が開示されている。
【０００５】
また特許文献２には、赤外線カメラで歩行者を検出するにあたり、可視光カメラで道路のレーンマーキングを撮像し、レーンマーキング位置の近傍の領域を歩行者の探索領域とすると共に、レーンマーキング位置により挟まれる領域を歩行者の探索領域に設定し、探索領域のみを歩行者の探索・検出の対象とすることで、処理時間を短縮し早期警報を可能とする技術が開示されている。
【０００６】
また特許文献３には、静止画像中から人物の顔領域を抽出する技術が提案されており、顔領域を特定する前処理として、２値化後の画像上で分割した領域の輪郭に直線が存在する比率により人工物を判断することが記載されている。
【非特許文献１】石井健一郎，前田英作，上田修功，村瀬洋，「わかりやすいパターン認識」，オーム社，１９９８年８月
【特許文献１】特開２００１−１０８７５８号公報
【特許文献２】特開２００２−３６２３０２号公報
【特許文献３】特開平８−１２２９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術は、赤外画像及び可視画像の２つの画像を用いて人物候補領域を検出するものであり、赤外線カメラ及び可視光カメラを各々設ける必要があるので装置構成が複雑化するという問題がある。特に、特許文献１に記載の技術では、赤外線画像中で輝度が人物より放射された赤外線放射量に相当する範囲の領域を人物候補領域として検出しているので、赤外画像を得るための赤外線カメラが必須であるが、可視画像は車両の周囲に存在する歩行者等の検出以外に先行車両・道路標識・レーンマークなどの検出等にも利用可能であるのに対し、赤外画像は熱源を写す機器であるため歩行者等以外の検出には向いておらず、用途も限られており汎用性が低く、歩行者等の検出のみを目的として車両に赤外線カメラを搭載することはコスト的に望ましくない。また特許文献１の技術では、赤外画像上の位置と可視画像上の位置の対応関係が明確である必要があるが、個々のカメラを収差の小さい光学系にする必要があるのと、写り方が全く異なる２種類の画像の対応関係を画像処理によって導く必要があり、装置構成の一層の複雑化、或いは処理負荷の増大を招くという問題もある。
【０００８】
また、特許文献２に記載の技術についても、特許文献１に記載の技術と同様に赤外画像及び可視画像の２つの画像を用いて人物候補領域を検出するものであるので、装置構成が複雑化するという問題がある。また、特許文献２に記載の技術は、レーンマーキングが存在していない画像には適用できない（レーンマーキングが存在しない道路を走行中には適用できない）という欠点があり、画像中にレーンマーキングが存在していたとしても、画像からレーンマーキングを抽出する処理は複雑で処理装置に多大な処理負荷が加わると共に、走行中の道路にアップダウンが有る場合、このアップダウンを正確に検出しておかないと歩行者の探索領域を適正に設定できないという問題もある。
【０００９】
また、特許文献３に記載の技術では、静止画像を２値化した後に領域分割を行っているが、車両の周囲を撮像することで得られる画像(動画像等)等のような複雑な画像にこの技術を適用したとしても、単一の閾値による２値化では画像の領域分割を適正に行うことは困難である。また、適正に分割されていない領域の輪郭の直線性を調べても、期待される結果は得られない。
【００１０】
本発明は上記事実を考慮して成されたもので、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できる画像処理装置、画像処理方法及び画像処理プログラムを得ることが目的である。
【課題を解決するための手段】
【００１１】
画像には様々な被写体が写っている可能性があるが、画像に人工物が写っていた場合（例えば車両から周囲を撮像した画像であれば、上記の人工物として電柱や標識、白線、横断歩道、街路樹等が写っている可能性がある）、画像中の人工物に相当する画像部には、直線や直線に近い線分、一定曲率の曲線、一定曲率に近い曲線等の人工的な線分が存在している可能性が非常に高い。そして、人工物に相当する画像部が存在している画像中の領域には、人物に相当する画像部が存在していない可能性が非常に高い。
【００１２】
上記に基づき請求項１記載の発明に係る画像処理装置は、処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段と、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段と、を含んで構成されている。
【００１３】
請求項１記載の発明では、処理対象の可視画像中に存在している人工的線分を検出しているので、人工的線分の検出結果に基づき、処理対象の可視画像のうち、人工物に相当する画像部が存在している確度が高い領域を判断することができる。そして、請求項１記載の発明では、処理対象の可視画像のうち人工的線分検出手段によって検出された人工的線分が存在している領域、すなわち人物に相当する画像部が存在していない可能性が非常に高い領域を除外した領域を対象として、人物に相当すると推定される人物候補領域を抽出するので、人工物に相当する画像部が存在している人工物領域を人物候補領域として誤抽出することを防止することができ、人物に相当する領域である確度の高い人物候補領域を抽出することができる。
【００１４】
また、請求項１記載の発明では、可視画像を用いて人物候補領域の抽出を行うので、人物候補領域の抽出にあたって赤外画像は不要であり、赤外画像を取得するために構成が複雑化したり、赤外画像上の位置と可視画像上の位置を対応付けるための処理を行う必要もない。従って、請求項１記載の発明によれば、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出することができる。
【００１５】
なお、請求項１記載の発明は、特許文献３に記載の技術のように２値化・領域分割を経て得られた領域の輪郭に基づいて人工物を判断するものではなく、複雑な画像においても安定して検出できる画像のエッジ（微分値）を利用して検出可能な人工的線分（直線や曲線等）を検出し、人工的線分の検出結果に基づいて人物候補領域を抽出している。画像のエッジは、上記のように２値化・領域分割を行った場合の領域の輪郭としても現れるが、それ以外の部分にも現れる。また特許文献３に記載の技術では、人工物の判断精度が二値化や領域分割の処理精度によって左右されるが、画像のエッジを利用して人工的線分を検出する場合は人工的線分の検出精度が二値化等の他の処理の精度の影響を受けることもない。従って、請求項１記載の発明は人工的線分を正確に検出することができ、人物に相当する領域である確度の高い人物候補領域を精度良く抽出することができる。
【００１６】
なお、請求項１記載の発明において、例えば請求項２に記載したように、人工的線分検出手段は、人物候補領域抽出手段により処理対象の可視画像の全領域を対象として人物候補領域の探索が行われた後に、当該探索で抽出された人物候補領域を対象として人工的線分を検出し、人物候補領域抽出手段は、処理対象の可視画像の全領域を対象として人物候補領域の探索を行い、人工的線分検出手段により前記人工的線分の検出が行われた後に、前記探索で抽出された人物候補領域のうち人工的線分検出手段によって領域内で人工的線分が検出された人物候補領域を人物候補から除外するように構成することができる。請求項２記載の発明は、まず処理対象の可視画像の全領域を対象として人物候補領域の探索を行うので、処理対象の可視画像中に人物候補領域が存在していなかった場合（探索の結果、人物候補領域が抽出されなかった場合）は以降の処理を中止することで、処理対象の可視画像中に人物候補領域が存在していなかった場合の処理負荷を軽減することが可能となる。
【００１７】
また、請求項１記載の発明において、例えば請求項３に記載したように、人工的線分検出手段は、処理対象の可視画像の全領域を対象として人工的線分の検出を行い、人物候補領域抽出手段は、処理対象の可視画像のうち人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域を対象として人物候補領域の探索を行うように構成してもよい。請求項３記載の発明は、処理対象の可視画像のうち人工的線分が存在している領域を除外した領域を対象として人物候補領域の探索を行うので、一般にアルゴリズムが複雑で処理時間が長時間化し易い人物候補領域の探索における探索範囲が請求項２記載の発明よりも狭くなり、人物候補領域の探索に要する時間を短縮することができる。
【００１８】
また、請求項１記載の発明において、人工的線分検出手段は、例えば請求項４に記載したように、人工的線分として、処理対象の可視画像中のエッジがほぼ直線状に連続して成る直線状線分、又は、処理対象の可視画像中のエッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している曲線状線分を検出するように構成することができる。人工的線分として上記の直線状線分や曲線状線分を検出することにより、画像中の人工物領域に存在している人工的線分を確実に検出することができる。
【００１９】
また、請求項４記載の発明において、人工的線分検出手段は、例えば処理対象の可視画像中に存在する直線状線分及び曲線状線分を全て（線分の延びる方向等に拘わらず）抽出するように構成してもよいが、例えば請求項５に記載したように、人工的線分として、直線状線分のうち、実空間上での鉛直方向に対応する処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出するように構成してもよい。この場合、曲線状成分が全て検出対象外になると共に、可視画像中の縦方向とは異なる方向に沿って延びる直線状成分も検出対象外になり、処理対象の可視画像中に存在する人工的線分を全て検出することはできないが、人工的線分検出手段による人工的線分の検出を短時間で行うことが可能となる。また、車両から周囲を撮像した画像等では、画像に写る可能性のある人工物は、画像中の縦方向にほぼ沿って延びる直線状線分を生じさせる人工物が殆どであり、このような画像を処理対象とする場合は、上記のように処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出するように人工的線分検出手段を構成したとしても、人物に相当する領域の抽出精度が低下することを回避することができる。
【００２０】
また、請求項４記載の発明において、人工的線分検出手段による直線状線分又は曲線状線分の抽出は、具体的には、例えば請求項６に記載したように、処理対象の可視画像を微分することで処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素の中から単一のエッジ画素を処理対象として選択し、処理対象のエッジ画素の近傍かつ処理対象のエッジ画素に対して直線状成分又は曲線状成分に対応する角度範囲内に他のエッジ画素が存在しているか否か判定し、該当するエッジ画素が存在していれば該当するエッジ画素を新たな処理対象として選択する処理を繰り返すことで、人工的線分として、エッジ画素が連なって構成される直線状線分又は曲線状線分を検出することで実現することができる。
【００２１】
また、請求項４記載の発明において、人工的線分検出手段による直線状線分又は曲線状線分の抽出は、上記に限られるものではなく、例えば請求項７に記載したように、処理対象の可視画像を微分することで処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素に対してハフ変換を適用することで、人工的線分として、エッジ画素が連なって構成される直線状線分又は曲線状線分を検出することによっても実現することができる。
【００２２】
また、請求項１〜請求項７の何れかに記載の発明において、処理対象の可視画像としては、例えば請求項８に記載したように、車両に搭載された撮像手段により車両の周囲を撮像することで得られた動画像が好適である。
【００２３】
請求項９記載の発明に係る画像処理方法は、処理対象の可視画像の全領域を対象として人物に相当すると推定される人物候補領域を探索し、当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、前記探索で抽出された人物候補領域のうち領域内で前記人工的線分が検出された人物候補領域を人物候補から除外することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出するので、請求項１，２に記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できると共に、処理対象の可視画像中に人物候補領域が存在していなかった場合の処理負荷を軽減することが可能となる。
【００２４】
請求項１０記載の発明に係る画像処理方法は、処理対象の可視画像の全領域を対象して人工的線分を検出し、前記処理対象の可視画像のうち前記人工的線分が存在している領域を除外した領域を対象として人物に相当すると推定される人物候補領域を探索することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出するので、請求項１，３に記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できると共に、人物候補領域の探索に要する時間を短縮することができる。
【００２５】
請求項１１記載の発明に係る画像処理プログラムは、コンピュータを、処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段、及び、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段として機能させる。
【００２６】
請求項１１記載の発明に係る画像処理プログラムは、コンピュータを、上記の人工的線分検出手段、人物候補領域抽出手段として機能させるためのプログラムであるので、コンピュータが請求項１１記載の発明に係る画像処理プログラムを実行することで、コンピュータが請求項１に記載の画像処理装置として機能することになり、請求項１記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出することができる。
【発明の効果】
【００２７】
以上説明したように本発明は、処理対象の可視画像中に存在している人工的線分を検出し、処理対象の可視画像のうち人工的線分を除外した領域に存在する人物候補領域を抽出するようにしたので、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できる、という優れた効果を有する。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【００２９】
〔第１実施形態〕
図１には本実施形態に係る物体検出装置１０が示されている。物体検出装置１０は車両１２(図２参照)に搭載され、車両１２の周囲(例えば車両１２の前方)に存在する物体を検出する装置であり、可視光カメラ１４と画像処理部２４がバス２６を介して接続されて構成されている。なお、物体検出装置１０は、車両１２に搭載され各種の機能を備えた車両制御システムの一部であり、バス２６には実際は各種のセンサや各種の制御部が接続されているが、図１ではこれらの図示は省略している。
【００３０】
可視光カメラ１４は、ＣＣＤイメージセンサやＭＯＳ型固体撮像素子等から成り可視光域に感度を有する撮像素子１６、アナログ処理部１８、Ａ／Ｄ(アナログデジタル)変換器２０、デジタル処理部２２を備え、これらが順に接続されて構成されている。図２に示すように、可視光カメラ１４は車両１２の室内のうち、車両１２のウインドシールドガラスの上端近傍でかつ車両１２の左右方向およそ中央の位置(例えばルームミラーの近傍)に、車両１２の前方が撮像範囲となる向きで配置されている。撮像素子１６は、車両１２前方の撮像範囲内からの光が受光面に入射され、受光面に入射された光を光電変換することで、車両１２前方の撮像範囲内の状況を表すアナログの画像信号を一定のフレームレートで出力する。
【００３１】
アナログ処理部１８は、撮像素子１６から出力された画像信号を増幅すると共に、増幅した画像信号に対してホワイトバランス等の補正を行う。アナログ処理部１８から出力された画像信号は、Ａ／Ｄ変換器２０によってデジタルの画像データに変換されてデジタル処理部２２へ入力され、デジタル処理部２２によって色補正等の処理が行われた後に、バス２６を介して画像処理部２４へ出力される。なお、可視光カメラ１４から画像処理部２４へ出力される画像データは、本発明に係る処理対象の可視画像（より詳しくは請求項８に記載の動画像）に対応している。
【００３２】
画像処理部２４はマイクロコンピュータ等から成り、ＣＰＵ２４Ａ、ＲＯＭやＲＡＭ等から成るメモリ２４Ｂ、ＨＤＤ(Hard Disk Drive)やフラッシュメモリ等から成る不揮発性の記憶部２４Ｃを備えており、可視光カメラ１４からバス２６を介して入力された画像データは記憶部２４Ｃに順に記憶される。なお、記憶部２４Ｃの記憶容量節減のため、可視光カメラ１４から入力された画像データは一旦圧縮した後に記憶部２４Ｃに記憶させるようにしてもよい。また記憶部２４Ｃには、ＣＰＵ２４Ａによって後述する人物候補領域抽出処理を行うための人物候補領域抽出プログラムが予めインストールされている。この人物候補領域抽出プログラムは請求項１１に記載の画像処理プログラムに対応しており、画像処理部２４は、ＣＰＵ２４Ａによって人物候補領域抽出プログラムが実行されることで本発明に係る画像処理装置として機能する。
【００３３】
次に本第１実施形態の作用として、本第１実施形態に係る人物候補領域抽出処理について図３を参照して説明する。なお、この人物候補領域抽出処理は、車両１２のイグニッションスイッチがオンされている間、画像処理部２４によって繰り返し実行される。また、人物候補領域抽出処理の実行周期は、撮像素子１６からの画像信号の出力周期（フレームレートの逆数）と同一であってもよいし、画像信号の出力周期よりも長くてもよい。また、第１実施形態に係る人物候補領域抽出処理は請求項９に記載の画像処理方法が適用された処理である。
【００３４】
第１実施形態に係る人物候補領域抽出処理では、まずステップ５０において、可視光カメラ１４から入力されて記憶部２４Ｃに一旦記憶された１フレーム分の画像データを記憶部２４Ｃから読み出し、処理対象画像の画像データとしてメモリ２４Ｂに記憶させる。また、次のステップ５２では、画像データをメモリ２４Ｂに記憶させた処理対象画像の全領域を対象として、パターン認識により処理対象画像中に存在している人物に相当すると推定される領域(人物候補領域)の探索・抽出を行う。ステップ５２におけるパターン認識としては、例えば非特許文献１に記載されているニューラルネットワーク法や部分空間法等に代表される統計的機械学習によるパターン認識が好適であるが、他の手法を適用してもよい。
【００３５】
統計的機械学習によるパターン認識は、認識対象の画像を多数集め、集めた多数の画像から機械学習により共通する特徴を幾つか抽出しておき、抽出した特徴を用いてパターン認識を行うものである。機械学習によって多数の画像から抽出された複数の特徴の集合は学習モデルと称されている。ステップ５２のようにパターン認識によって人物候補領域の探索・抽出を行う場合は、学習モデルとして、例として図４(Ｂ)に示すような人物候補領域の輪郭を表す学習モデルが用いられる。なお、学習モデルの外形形状は、図４(Ｂ)に示す例のように矩形状であることが多いが、それ以外の形状を用いることも可能である。また、人物候補領域の探索・抽出を行う際の学習モデルとしては、図４(Ｂ)に示すように直立している人物の輪郭形状を表す学習モデル以外に、例えば歩行している人物の輪郭形状を表す学習モデルや、自転車等の二輪車に乗車している人物の輪郭形状を表す学習モデル等も用いてもよい。
【００３６】
統計的機械学習によるパターン認識は、処理対象画像上の任意の位置に上記の学習モデルを配置し、配置した学習モデルと処理対象画像上の学習モデルが重なっている領域との類似度の評価値を演算することを、処理対象画像上での学習モデルの配置位置、及び、処理対象画像に対する学習モデルの相対サイズを変化させながら繰り返すことによって為される。なお、学習モデルのサイズ変更は、通常、図４(Ａ)に示すように、処理対象画像のうち車両１２からの距離が大きい物体の画像部が存在している領域では学習モデルのサイズを小さくし、車両１２からの距離が小さい物体の画像部が存在している領域では学習モデルのサイズを大きくする。
【００３７】
そして、演算した評価値が閾値以上になった場合、そのとき学習モデルと重なっている領域を人物候補領域と判断し、人物候補領域と判断した領域の位置や大きさ等をメモリ２４Ｂに記憶させる。例えば処理対象画像が図４(Ａ)に示す画像であった場合は、処理対象画像のうち、例として図４(Ｃ)に矩形で囲んで示す領域が人物候補領域として抽出され、その位置や大きさ等がメモリ２４Ｂに記憶されることになる。
【００３８】
次のステップ５４では、ステップ５２における処理によって処理対象画像から人物候補領域が抽出されたか否か判定する。この判定が否定された場合は人物候補領域抽出処理を終了する。これにより、車両１２の周囲に人物が存在しておらず、処理対象画像が人物に相当する人物領域が存在していない画像であった場合に、画像処理部２４に加わる負荷を軽減することができる。また、ステップ５４の判定が肯定された場合はステップ５６へ移行し、ステップ５２の処理によって処理対象画像から抽出された人物候補領域の中から、処理対象として単一の人物候補領域を選択する。
【００３９】
次のステップ５８では、ステップ５６で処理対象として選択した人物候補領域内の各画素のエッジ強度及び方向を演算する。すなわち、まず処理対象の人物候補領域内の各画素に対し、縦方向のエッジ強度及び横方向のエッジ強度を各々演算する。この縦方向及び横方向のエッジ強度の演算には、例えば図５(Ａ)に示す縦方向及び横方向のプレヴィットオペレータや、図５(Ｂ)に示す縦方向及び横方向のソーベルオペレータ等の微分オペレータを用いて行うことができる。次に、処理対象の人物候補領域内の各画素について、演算した縦方向のエッジ強度ＤiffＶ及び横方向のエッジ強度ＤiffＨを次の(１),(２)式に代入することでエッジ強度Ｅ、エッジ方向θを各々演算し、演算結果をメモリ２４Ｂに記憶させる。
エッジ強度Ｅ＝√((ＤiffＶ)２＋(ＤiffＨ)２) …(１)
エッジ方向θ＝ｔａｎ−１(ＤiffＶ／ＤiffＨ) …(２)
なお、(２)式で算出されるエッジ方向θは、演算対象の画素においてエッジ強度が最大となる方向、すなわち図６に示すように、演算対象の画素を通る低濃度領域と高濃度領域の境界線に対する法線方向を表し、(１)式で算出されるエッジ強度Ｅは演算対象の画素におけるエッジ方向θについてのエッジ強度を表している。上記の演算により、例えば図４(Ｃ)に示す人物候補領域からは、例として図７に示すようなエッジ画像が得られることになる。なお、図７に示すエッジ画像は、図４(Ｃ)に示す人物候補領域の各画素の濃度を、エッジ強度Ｅの値が大きくなるに従って低濃度となる値へ置き換えて可視化したものである。
【００４０】
次のステップ６０〜ステップ６８では、ステップ５８で演算した処理対象の人物候補領域内の各画素のエッジ強度Ｅ及びエッジ方向θに基づき、前記各画素の中から低濃度領域と高濃度領域の境界線上に位置していると推定される画素(エッジ画素：図７に示すエッジ画像において低濃度で示されている画素)を抽出する。すなわち、まずステップ６０では処理対象の人物候補領域内の各画素の中から注目画素を選択する。次のステップ６２では、ステップ６０で選択した注目画素のエッジ方向θに基づき、注目画素に対し、注目画素のエッジ方向θとおよそ同方向に存在している隣接画素を選択し、注目画素のエッジ強度Ｅを選択した隣接画素のエッジ強度Ｅと比較する。
【００４１】
ステップ６２における隣接画素の選択は、例えば、
(1)エッジ方向θ： 0°±22.5°又は180°±22.5°→隣接画素：右隣及び左隣の画素
(2)エッジ方向θ： 45°±22.5°又は225°±22.5°→隣接画素：右上及び左下の画素
(3)エッジ方向θ： 90°±22.5°又は270°±22.5°→隣接画素：上隣及び下隣の画素
(4)エッジ方向θ：135°±22.5°又は315°±22.5°→隣接画素：右下及び左上の画素
上記のように、エッジ方向θの角度範囲(0〜360°)を４種類の角度範囲に分割し、各角度範囲毎に選択する隣接画素を定めた隣接画素選択条件を定めておき、エッジ方向θが４種類の角度範囲のうちの何れに属しているかに応じて隣接画素を選択することで行うことができる。
【００４２】
なお、上記の条件ではエッジ方向θの値に拘わらず隣接画素として２個の画素が選択されるが、これに限られるものではなく、例えば個々の角度範囲±22.5°を若干広げる(例えば±30°等)ことで個々の角度範囲を一部オーバラップさせ、エッジ方向θが２種類の角度範囲に跨るオーバラップ領域に相当する角度であった場合には、２種類の角度範囲の何れかに対応する合計４個の画素を隣接画素として選択し、注目画素とのエッジ強度Ｅの比較を各々行うようにしてもよい。
【００４３】
次のステップ６４では、ステップ６２でエッジ強度Ｅを比較した結果、注目画素のエッジ強度Ｅが最大であったか（注目画素のエッジ強度Ｅが複数の隣接画素のエッジ強度Ｅよりも大きかったか）否か判定する。なお、複数の隣接画素の中にエッジ強度Ｅが注目画素と等しい画素が存在していた場合には、エッジ強度Ｅが注目画素と等しい隣接画素に隣接する新たな隣接画素を前述の隣接画素選択条件を用いて選択し、選択した新たな隣接画素と注目画素のエッジ強度Ｅを比較する。ステップ６４の判定が否定された場合はステップ６８へ移行するが、ステップ６４の判定が肯定された場合はステップ６６へ移行し、注目画素がエッジ画素であることを表す情報をメモリ２４Ｂに記憶させた後にステップ６８へ移行する。
【００４４】
ステップ６８では、処理対象の人物候補領域内の全ての画素を対象としてステップ６０〜ステップ６８の処理を行ったか否か判定する。判定が否定された場合はステップ６０に戻り、ステップ６８の判定が肯定される迄ステップ６０〜ステップ６８を繰り返す。これにより、処理対象の人物候補領域内に存在する全てのエッジ画素が抽出される。
【００４５】
ステップ６８の判定が肯定されるとステップ７０へ移行する。ステップ７０〜ステップ８６では、ステップ６０〜ステップ６８で抽出された個々のエッジ画素を判定対象として順に選択しながら、処理対象の人物候補領域内で、人工物に相当する線分である可能性の高い人工的線分（人工的な直線状線分及び曲線状線分）を探索する。すなわち、まずステップ７０では、ステップ６０〜ステップ６８で抽出された全てのエッジ画素を判定対象として選択したか否か判定する。当初はこの判定が否定されてステップ７２へ移行し、ステップ６０〜ステップ６８で抽出された処理対象の人物候補領域のエッジ画素の中から、単一のエッジ画素を判定対象のエッジ画素として抽出する。次のステップ７４では、ステップ７２で選択した判定対象のエッジ画素のエッジ方向θに基づき、判定対象のエッジ画素に対し、判定対象のエッジ画素のエッジ方向θに対しておよそ90°又は-90°の方向に存在している隣接画素を選択する。
【００４６】
ステップ７４における隣接画素の選択についても、例えば、
(1)エッジ方向θ： 0°±30°又は180°±30°→隣接画素：上隣及び下隣の画素
(2)エッジ方向θ： 45°±30°又は225°±30°→隣接画素：右下及び左上の画素
(3)エッジ方向θ： 90°±30°又は270°±30°→隣接画素：右隣及び左隣の画素
(4)エッジ方向θ：135°±30°又は315°±30°→隣接画素：右上及び左下の画素
上記のように、エッジ方向θの角度範囲(0〜360°)を４種類の角度範囲に分割し、各角度範囲毎に選択する隣接画素を定めた隣接画素選択条件を定めておき、エッジ方向θが４種類の角度範囲のうちの何れに属しているかに応じて隣接画素を選択することで行うことができる。上記の条件では個々の角度範囲にオーバラップ領域が設けられており、エッジ方向θが２種類の角度範囲に跨るオーバラップ領域に相当する角度であった場合には、２種類の角度範囲の何れかに対応する合計４個の画素が隣接画素として選択される。
【００４７】
なお、上記の条件における個々の角度範囲は±30°に限られるものではない。オーバラップ領域が広すぎると処理時間が長時間化する一方で、オーバラップ領域が狭すぎるとステップ７０〜ステップ８６で探索対象となる人工的線分の延びる方向が0°や45°等に限られてしまうことになるので、個々の角度範囲±30°を若干広げ(例えば±40°等)、個々の角度範囲に跨るオーバラップ領域の角度範囲を若干拡大するようにしてもよい。
【００４８】
ステップ７６ではステップ７４で選択した隣接画素がエッジ画素か否か判定する。判定が否定された場合、判定対象のエッジ画素は他のエッジ画素から孤立しており、人工的線分を構成するエッジ画素ではないと判断できるのでステップ７０に戻る。この場合、ステップ７２で判定対象のエッジ画素として他のエッジ画素が選択されて以降の処理が繰り返されることになる。
【００４９】
一方、ステップ７６の判定が肯定された場合はステップ７８へ移行し、先のステップ７４で選択した隣接画素のエッジ方向θを判定対象のエッジ画素のエッジ方向θと比較し、両者の角度差が、エッジがほぼ直線状に連続して成る人工的な直線状線分に相当する角度範囲内か否か判定する。なお、人工的な直線状線分に相当する角度範囲としては、例えば0°±2°やその前後の範囲を適用することができる。この判定が肯定された場合、判定対象のエッジ画素及びステップ７８の判定を満たす隣接画素（エッジ画素）は人工物に相当する人工的な直線状線分の一部を構成する画素である可能性が高いので、ステップ８２へ移行し、これらの画素の情報を人工的な直線状線分の一部を構成する画素の情報としてメモリ２４Ｂに記憶させる。
【００５０】
また、次のステップ８６ではメモリ２４Ｂに情報を記憶させた隣接画素（エッジ画素）を次の判定対象のエッジ画素として選択し、ステップ７４に戻る。なお、先のステップ７８の判定は、先のステップ７４で選択された複数個の隣接画素の中に、ステップ７８の判定条件を満足する隣接画素が１個以上存在していれば肯定されるが、ステップ７８の判定条件を満足する隣接画素が複数個存在していた場合、ステップ８６では、判定条件を満足する複数個の隣接画素の中から単一の隣接画素を判定対象として選択すると共に、判定条件を満足する複数個の隣接画素のうちの残りの隣接画素については、判定対象候補画素としてメモリ２４Ｂに情報を記憶させる。この判定対象候補画素については、後でステップ７２が再度実行された際に、判定対象のエッジ画素として優先的に選択される。
【００５１】
上記処理により、ステップ７２で選択した判定対象のエッジ画素が人工的な直線状線分を構成するエッジ画素（図８に「判定対象のエッジ画素」と表記して示すように、人工的な直線状線分上に位置しているエッジ画素）である場合は、ステップ７４〜７８,８２,８６が繰り返されることで、当初の判定対象のエッジ画素に対応する直線状線分が一定方向へ追跡(トレース)され、図８に「連結1」〜「連結4」と表記して示すように、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して追跡方向側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の直線状線分を構成するエッジ画素の情報としてメモリ２４Ｂに順次記憶されることで、抽出された個々のエッジ画素が同一の直線状線分を構成するエッジ画素として連結される。
【００５２】
また、判定対象のエッジ画素の位置が直線状線分の一端に到達すると、一旦はステップ７６の判定が否定されてステップ７０に戻った後に、当初の判定対象のエッジ画素を挟んで直線状線分の当初の追跡方向と反対側に存在している隣接エッジ画素（判定対象候補画素としてメモリ２４Ｂに記憶されたエッジ画素）がステップ７２で判定対象のエッジ画素として選択され、ステップ７４〜７８,８２,８６が再度繰り返されることで、当初の判定対象のエッジ画素に対応する直線状線分が当初の追跡方向と逆方向へ追跡(トレース)され、図８に「連結n」〜「連結n+3」と表記して示すように、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して当初の追跡方向と反対側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の直線状線分を構成するエッジ画素の情報としてメモリ２４Ｂに順次記憶されることで、同一の直線状線分を構成する全てのエッジ画素が連結されることになる。
【００５３】
また、先のステップ７８の判定が否定された場合（ステップ７４で選択した隣接画素と判定対象のエッジ画素のエッジ方向θの角度差が直線状線分に相当する角度範囲から外れていた場合）はステップ８０へ移行し、ステップ７４で選択した隣接画素と判定対象のエッジ画素のエッジ方向θの角度差が、エッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している人工的な曲線状線分に相当する角度範囲内か否か判定する。なお、人工的な曲線状線分に相当する角度範囲としては、例えば5°±2°やその前後の範囲を適用することができる。
【００５４】
ステップ８０の判定が肯定された場合、判定対象のエッジ画素及びステップ８０の判定を満たす隣接画素（エッジ画素）は人工物に相当する人工的な曲線状線分の一部を構成する画素である可能性が高いので、ステップ８４へ移行し、これらの画素の情報を人工的な曲線状線分の一部を構成する画素の情報としてメモリ２４Ｂに記憶させる。また、次のステップ８６ではメモリ２４Ｂに情報を記憶させた隣接画素（エッジ画素）を次の判定対象のエッジ画素として選択し、ステップ７４に戻る。なお、ステップ８０の判定についても、先のステップ７４で選択された複数個の隣接画素の中に、ステップ８０の判定条件を満足する隣接画素が１個以上存在していれば肯定されるが、ステップ８６では、ステップ８０の判定条件を満足する隣接画素が複数個存在していた場合にも、判定条件を満足する複数個の隣接画素の中から単一の隣接画素を判定対象として選択すると共に、判定条件を満足する複数個の隣接画素のうちの残りの隣接画素については、判定対象候補画素としてメモリ２４Ｂに情報を記憶させる。
【００５５】
上記処理により、ステップ７２で選択した判定対象のエッジ画素が人工的な曲線状線分を構成するエッジ画素（人工的な曲線状線分上に位置しているエッジ画素）である場合は、ステップ７４〜８０,８４,８６が繰り返されることで、当初の判定対象のエッジ画素に対応する曲線状線分が一定方向へ追跡(トレース)され、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して追跡方向側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の曲線状線分を構成するエッジ画素の情報としてメモリ２４Ｂに順次記憶されることで、抽出された個々のエッジ画素が同一の曲線状線分を構成するエッジ画素として連結される。
【００５６】
また、判定対象のエッジ画素の位置が直線状線分の一端に到達すると、ステップ７６の判定が一旦否定されてステップ７０に戻った後に、当初の判定対象のエッジ画素を挟んで曲線状線分の当初の追跡方向と反対側に存在している隣接エッジ画素（判定対象候補画素としてメモリ２４Ｂに記憶されたエッジ画素）がステップ７２で判定対象のエッジ画素として選択され、ステップ７４〜８０,８４,８６が再度繰り返されることで、当初の判定対象のエッジ画素に対応する曲線状線分が当初の追跡方向と逆方向へ追跡(トレース)され、当初の判定対象のエッジ画素と同一の曲線状線分を構成し、かつ当初の判定対象のエッジ画素に対して当初の追跡方向と反対側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報がメモリ２４Ｂに順次記憶されることで、同一の曲線状線分を構成する全てのエッジ画素が連結されることになる。
【００５７】
上述した処理により、処理対象の人物候補領域内に存在している人工的な直線状線分及び曲線状線分が探索され、処理対象の人物候補領域内に人工的な直線状線分や曲線状線分が存在していれば、当該直線状線分や曲線状線分が処理対象の人物候補領域から抽出される。なお、ステップ５４〜ステップ８６は本発明に係る人工的線分検出手段（より詳しくは請求項２,４,６に記載の人工的線分検出手段）に対応している。 処理対象の人物候補領域内の全てのエッジ画素を判定対象として選択すると、ステップ７０の判定が肯定されてステップ８８へ移行し、ステップ７０〜ステップ８６で抽出された人工的な直線状線分や曲線状線分の数及び大きさに基づいて、処理対象の人物候補領域が人工物に相当する人工物領域か否か判定する。ステップ８８の判定は、例えば「抽出された直線状線分の数が第１閾値以上かつ抽出された直線状線分の長さが第２閾値以上」という第１の条件と、「抽出された曲線状線分の数が第３閾値以上かつ抽出された曲線状線分の長さが第４閾値以上」という第２の条件を各々判定することで行うことができ、第１の条件及び第２の条件の少なくとも一方を満足した場合に肯定されるようにすることができる。
【００５８】
ステップ８８の判定が肯定された場合、処理対象の人物候補領域内には人工的な直線状線分又は曲線状線分が明瞭に存在しているので、処理対象の人物候補領域は人工物に相当する人工物領域である（人物に相当する人物領域ではない）と判断できる。このため、ステップ８８の判定が肯定された場合はステップ９０へ移行し、処理対象の人物候補領域を出力対象から除外した後にステップ９２へ移行する。また、ステップ８８の判定が否定された場合は、処理対象の人物候補領域内には人工的な直線状線分や曲線状線分が存在していないか、人工的な直線状線分や曲線状線分が存在していたとしても少数又は長さが短いので、処理対象の人物候補領域は人工物に相当する人工物領域ではない（人物に相当する人物領域である確度が高い）と判断できる。このため、ステップ８８の判定が否定された場合はステップ９０をスキップしてステップ９２へ移行する。
【００５９】
ステップ９２では、先のステップ５２で処理対象画像から抽出された人物候補領域の中に、先のステップ５６で処理対象として未選択の人物候補領域が存在しているか否か判定する。判定が肯定された場合はステップ５６に戻り、ステップ９２の判定が否定される迄ステップ５６〜ステップ９２を繰り返す。これにより、ステップ５２で抽出された全ての人物候補領域に対してステップ５８以降の処理が各々行われ、結果として、処理対象画像のうち人工的な直線状線分又は曲線状線分が明瞭に存在している領域を除外した領域に存在する人物候補領域のみが除外されずに残存することになる。ステップ９２の判定が否定されるとステップ９４へ移行し、ステップ５２で抽出された人物候補領域のうちステップ９０で出力対象から除外されずに残存している人物候補領域の情報を、人物領域である確度が高い領域の情報として出力し、人物候補領域抽出処理を終了する。上記のステップ８８〜ステップ９２は、先に説明したステップ５２と共に本発明に係る人物候補領域抽出手段（より詳しくは請求項２に記載の人物候補領域抽出手段）に対応している。
【００６０】
なお、人物候補領域抽出処理の処理結果の出力先としては、例えば物体検出装置１０と共に車両１２に搭載された車両制御システムの一部を構成し、車両１２の周囲に存在する人物の位置や距離等に応じた所定の制御（一例として、自車両が歩行者に衝突することが予測される場合に歩行者への衝撃を緩和するためのエアバッグを展開させる制御等）を行う制御部が挙げられる。本実施形態では、パターン認識によって抽出した人物候補領域のうち、領域内に人工的線分が明瞭に存在している人物候補領域を出力対象から除外しているので、人物に相当する領域である確度の高い領域を抽出・出力することができ、人物候補領域抽出処理の処理結果を受け取って所定の制御を行う場合にも、所定の制御の精度を向上させることができる。
【００６１】
また、本実施形態では可視画像から人物に相当する領域である確度の高い領域を抽出することができ、赤外画像を用いる必要がないので、物体検出装置１０の構成も簡略化することができる。
【００６２】
なお、上記では処理対象の人物候補領域内に存在する人工的な直線状線分及び曲線状線分を全て（線分の延びる方向等に拘わらず）探索・抽出する態様を説明したが、本発明はこれに限定されるものではなく、実空間上での鉛直方向に相当する処理対象画像の縦方向にほぼ沿って延びる人工的な直線状線分（縦方向の直線状線分）のみを対象として探索・抽出を行うようにしてもよい。
【００６３】
縦方向の直線状線分のみを探索・抽出することは、具体的には、例えば図３のステップ６０〜ステップ６８において、エッジ方向θが縦方向に対しておよそ90°又は-90°の画素(縦方向の直線状線分を構成するエッジ画素である可能性の有るエッジ方向θの画素)のみを判定対象とし、隣接画素とエッジ強度Ｅを比較してエッジ画素を抽出する(当該処理の結果の一例を図９(Ａ)に示す)と共に、図３のステップ７０〜ステップ８６で直線状線分の探索・抽出のみを行う（ステップ７８の判定が否定された場合はステップ７０に戻り、ステップ８０,８４は行わない）ように構成することで実現できる。なお、図９(Ａ)に示すエッジ画素の抽出結果に対して直線状線分の探索を行うことで抽出される縦方向の直線状線分の一例を図９(Ｂ)に示す。
【００６４】
車両から周囲を撮像した画像では、画像に写る可能性のある人工物は、画像中の縦方向にほぼ沿って延びる直線状線分を生じさせる人工物が殆どであるので、上記のように縦方向の直線状線分のみを対象として探索・抽出を行うことで、人物に相当する領域の抽出精度が低下することを回避しつつ、人物候補領域抽出処理を簡略化することができる。なお、上記態様は請求項５記載の発明に対応している。
【００６５】
〔第２実施形態〕
次に本発明の第２実施形態について説明する。なお、本第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下図１０を参照し、第２実施形態の作用として、本第２実施形態に係る人物候補領域抽出処理について、第１実施形態で説明した人物候補領域抽出処理(図３)と異なる部分についてのみ説明する。なお、第２実施形態に係る人物候補領域抽出処理は請求項１０に記載の画像処理方法が適用された処理である。
【００６６】
本第２実施形態に係る人物候補領域抽出処理では、ステップ５０で処理対象画像の画像データを記憶部２４Ｃから読み出してメモリ２４Ｂに記憶させた後に、次のステップ５９において、処理対象画像の全画素についてエッジ強度及びエッジ方向を各々演算する。なお、エッジ強度及びエッジ方向の演算自体は、第１実施形態に係る人物候補領域抽出処理(図３)のステップ５８と同様にして行うことができる。
【００６７】
次のステップ６１〜ステップ６８では、ステップ５８で演算した各画素のエッジ強度Ｅ及びエッジ方向θに基づき、第１実施形態に係る人物候補領域抽出処理(図３)のステップ６０〜ステップ６８と同様にして、各画素の中からエッジ画素を抽出するが、本第２実施形態に係る人物候補領域抽出処理のステップ６１〜ステップ６８は、ステップ６１で処理対象画像の全画素の中から注目画素を選択することで、処理対象画像の全領域を対象としてエッジ画素の抽出を行う点で第１実施形態に係る人物候補領域抽出処理(図３)のステップ６０〜ステップ６８と相違している。これにより、処理対象画像が例として図１１(Ａ)に示すような画像であった場合、上述したステップ６１〜ステップ６８により、例として図１１(Ｂ)に示すように、処理対象画像の全領域を対象としてエッジ画素が抽出されることになる。
【００６８】
次のステップ７０〜ステップ８６では、第１実施形態に係る人物候補領域抽出処理(図３)のステップ７０〜ステップ８６と同様にして、ステップ６１〜ステップ６８で抽出された個々のエッジ画素を判定対象として順に選択して人工的な直線状線分及び曲線状線分を探索するが、本第２実施形態に係る人物候補領域抽出処理では、ステップ６１〜ステップ６８で処理対象画像の全領域を対象としてエッジ画素が抽出されるので、本第２実施形態に係る人物候補領域抽出処理のステップ７０〜ステップ８６についても、ステップ７３で処理対象画像中の全てのエッジ画素の中から判定対象のエッジ画素を選択することで、処理対象画像の全領域を対象として人工的な直線状線分及び曲線状線分の探索・抽出を行う点で第１実施形態に係る人物候補領域抽出処理(図３)のステップ７０〜ステップ８６と相違している。
【００６９】
これにより、例として図１１(Ａ)に示すような処理対象画像から、例として図１１(Ｂ)に示すようにエッジ画素が抽出された場合、上述したステップ７０〜ステップ８６により、例として図１２に示すように、処理対象画像の全領域を対象として人工的な直線状線分及び曲線状線分が抽出されることになる。なお、本第２実施形態に係る人物候補領域抽出処理におけるステップ５９〜ステップ８６は本発明に係る人工的線分検出手段（より詳しくは請求項３,４,６に記載の人工的線分検出手段）に対応している。
【００７０】
また、本第２実施形態に係る人物候補領域抽出処理では、処理対象画像の全領域を対象とする人工的な直線状線分及び曲線状線分の探索・抽出が終了することでステップ７０の判定が肯定されると、ステップ９６へ移行し、ステップ７０〜ステップ８６で人工的な直線状線分及び曲線状線分が抽出された結果に基づき、処理対象画像の全領域を対象として第１実施形態に係る人物候補領域抽出処理(図３)のステップ８８と同様の判定を行うことで、処理対象画像の全領域のうち人工的な直線状線分又は曲線状線分が明瞭に存在している領域を判定し、処理対象画像の全領域から判定した領域（人工的な直線状線分又は曲線状線分が明瞭に存在している領域）を除外した領域を、人物候補領域の探索範囲として設定する。
【００７１】
これにより、処理対象画像の全領域から図１２に示す直線状線分及び曲線状線分が抽出された場合には、処理対象画像のうち、例として図１３に示す人工的な直線状線分や曲線状線分及びその周囲の領域（図１３に高濃度で示す領域）が、人工的な直線状線分又は曲線状線分が明瞭に存在している領域と判定され、処理対象画像のうち当該領域を除外した範囲（図１３に低濃度で示す範囲）が人物候補領域の探索範囲として設定されることになる。
【００７２】
次のステップ９８では、処理対象画像のうちステップ９６で設定した探索範囲内で人物候補領域の探索を行う。この人物候補領域の探索は、第１実施形態に係る人物候補領域抽出処理(図３)のステップ５２と同様にパターン認識を適用して行うことができる。このように、本第２実施形態に係る人物候補領域抽出処理では、人工的な直線状成分や曲線状線分が明瞭に存在している領域を除外した探索範囲内で人物候補領域の探索を行うので、人物候補領域として人物領域である確度が高い領域を抽出できると共に、人物候補領域の探索に要する処理時間も短縮することができる。そして、次のステップ１００では、ステップ９８で抽出された人物候補領域の情報を、人物領域である確度が高い領域の情報として出力し、人物候補領域抽出処理を終了する。なお、上述したステップ９６,９８は本発明に係る人物候補領域抽出手段（より詳しくは請求項３に記載の人物候補領域抽出手段）に対応している。
【００７３】
なお、第２実施形態においても、処理対象画像の縦方向にほぼ沿って延びる人工的な直線状線分（縦方向の直線状線分）のみを対象として探索・抽出を行い、縦方向の直線状線分が明瞭に存在している領域を人物候補領域の探索範囲から除外するようにしてもよい。この場合も、人物に相当する領域の抽出精度が低下することを回避しつつ、人物候補領域抽出処理を簡略化することができる。上記態様も請求項５記載の発明に対応している。
【００７４】
また、上記ではエッジ画素を抽出した後に、判定対象のエッジ画素と隣接するエッジ画素のエッジ方向θの角度差に基づいて、判定対象のエッジ画素及び隣接するエッジ画素が同一の直線状線分又は曲線状線分に対応するエッジ画素か否かを判定し、判定が肯定された場合は隣接するエッジ画素を新たな判定対象のエッジ画素として選択することを繰り返し、直線状線分又は曲線状線分を追跡していくことで直線状線分又は曲線状線分を抽出する態様を説明したが、これに限定されるものではなく、エッジ画素を抽出した後に、抽出したエッジ画素に対してハフ(Hough)変換を適用することで直線状線分又は曲線状線分を抽出するようにしてもよい。なお、この態様は請求項７記載の発明に対応している。
【００７５】
また、上記では本発明に係る画像処理プログラムに相当する人物候補領域抽出プログラムが画像処理部２４の記憶部２４Ｃに予め記憶（インストール）されている態様を説明したが、本発明に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【図面の簡単な説明】
【００７６】
【図１】本実施形態に係る物体検出装置の概略構成を示すブロック図である。
【図２】可視光カメラによる撮像範囲を示す、(Ａ)は側面図、(Ｂ)は平面図である。
【図３】第１実施形態に係る人物候補領域抽出処理を示すフローチャートである。
【図４】(Ａ)はパターン認識による人物候補領域の探索、(Ｂ)は当該探索に用いる学習モデル(パターン)の一例、(Ｃ)は抽出された人物候補領域の一例を各々示すイメージ図である。
【図５】エッジ強度の演算に用いる微分オペレータの一例を示すイメージ図である。
【図６】演算対象画素のエッジ強度及びエッジ方向の演算を説明するためのイメージ図である。
【図７】人物候補領域に対するエッジ抽出結果の一例を示すイメージ図である。
【図８】エッジ画素の追跡(人工的線分を形成するエッジ画素の連結)を説明するためのイメージ図である。
【図９】縦方向に延びるエッジのみ抽出する場合の処理結果の一例を示すイメージ図である。
【図１０】第２実施形態に係る人物候補領域抽出処理を示すフローチャートである。
【図１１】(Ａ)は処理対象画像の一例、(Ｂ)は(Ａ)の画像に対するエッジ抽出結果の一例を各々示すイメージ図である。
【図１２】直線状線分・曲線の検出結果の一例を示すイメージ図である。
【図１３】直線状線分・曲線の検出結果に基づいて設定される人物候補領域の探索領域の一例を示すイメージ図である。
【符号の説明】
【００７７】
１０ 物体検出装置
１２ 車両
１４ 可視光カメラ
２４ 画像処理部
２４Ａ ＣＰＵ
２４Ｂ メモリ
２４Ｃ 記憶部
【特許請求の範囲】
【請求項１】
処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段と、
前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段と、
を含む画像処理装置。
【請求項２】
前記人工的線分検出手段は、前記人物候補領域抽出手段により前記処理対象の可視画像の全領域を対象として前記人物候補領域の探索が行われた後に、当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、
前記人物候補領域抽出手段は、前記処理対象の可視画像の全領域を対象として前記人物候補領域の探索を行い、前記人工的線分検出手段により前記人工的線分の検出が行われた後に、前記探索で抽出された人物候補領域のうち前記人工的線分検出手段によって領域内で前記人工的線分が検出された人物候補領域を人物候補から除外する請求項１記載の画像処理装置。
【請求項３】
前記人工的線分検出手段は、前記処理対象の可視画像の全領域を対象として前記人工的線分の検出を行い、
前記人物候補領域抽出手段は、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域を対象として前記人物候補領域の探索を行う請求項１記載の画像処理装置。
【請求項４】
前記人工的線分検出手段は、前記人工的線分として、前記処理対象の可視画像中のエッジがほぼ直線状に連続して成る直線状線分、又は、前記処理対象の可視画像中のエッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している曲線状線分を検出する請求項１記載の画像処理装置。
【請求項５】
前記人工的線分検出手段は、前記人工的線分として、前記直線状線分のうち、実空間上での鉛直方向に対応する前記処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出する請求項４記載の画像処理装置。
【請求項６】
前記人工的線分検出手段は、前記処理対象の可視画像を微分することで前記処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素の中から単一のエッジ画素を処理対象として選択し、処理対象のエッジ画素の近傍かつ処理対象のエッジ画素に対して前記直線状成分又は前記曲線状成分に対応する角度範囲内に他のエッジ画素が存在しているか否か判定し、該当するエッジ画素が存在していれば該当するエッジ画素を新たな処理対象として選択する処理を繰り返すことで、前記人工的線分として、エッジ画素が連なって構成される前記直線状線分又は前記曲線状線分を検出する請求項４記載の画像処理装置。
【請求項７】
前記人工的線分検出手段は、前記処理対象の可視画像を微分することで前記処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素に対してハフ変換を適用することで、前記人工的線分として、エッジ画素が連なって構成される前記直線状線分又は前記曲線状線分を検出する請求項４記載の画像処理装置。
【請求項８】
前記処理対象の可視画像は、車両に搭載された撮像手段により前記車両の周囲を撮像することで得られた動画像である請求項１〜請求項７の何れか１項記載の画像処理装置。
【請求項９】
処理対象の可視画像の全領域を対象として人物に相当すると推定される人物候補領域を探索し、
当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、
前記探索で抽出された人物候補領域のうち領域内で前記人工的線分が検出された人物候補領域を人物候補から除外することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出する画像処理方法。
【請求項１０】
処理対象の可視画像の全領域を対象して人工的線分を検出し、
前記処理対象の可視画像のうち前記人工的線分が存在している領域を除外した領域を対象として人物に相当すると推定される人物候補領域を探索することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出する画像処理方法。
【請求項１１】
コンピュータを、
処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段、
及び、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段
として機能させるための画像処理プログラム。
【請求項１】
処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段と、
前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段と、
を含む画像処理装置。
【請求項２】
前記人工的線分検出手段は、前記人物候補領域抽出手段により前記処理対象の可視画像の全領域を対象として前記人物候補領域の探索が行われた後に、当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、
前記人物候補領域抽出手段は、前記処理対象の可視画像の全領域を対象として前記人物候補領域の探索を行い、前記人工的線分検出手段により前記人工的線分の検出が行われた後に、前記探索で抽出された人物候補領域のうち前記人工的線分検出手段によって領域内で前記人工的線分が検出された人物候補領域を人物候補から除外する請求項１記載の画像処理装置。
【請求項３】
前記人工的線分検出手段は、前記処理対象の可視画像の全領域を対象として前記人工的線分の検出を行い、
前記人物候補領域抽出手段は、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域を対象として前記人物候補領域の探索を行う請求項１記載の画像処理装置。
【請求項４】
前記人工的線分検出手段は、前記人工的線分として、前記処理対象の可視画像中のエッジがほぼ直線状に連続して成る直線状線分、又は、前記処理対象の可視画像中のエッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している曲線状線分を検出する請求項１記載の画像処理装置。
【請求項５】
前記人工的線分検出手段は、前記人工的線分として、前記直線状線分のうち、実空間上での鉛直方向に対応する前記処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出する請求項４記載の画像処理装置。
【請求項６】
前記人工的線分検出手段は、前記処理対象の可視画像を微分することで前記処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素の中から単一のエッジ画素を処理対象として選択し、処理対象のエッジ画素の近傍かつ処理対象のエッジ画素に対して前記直線状成分又は前記曲線状成分に対応する角度範囲内に他のエッジ画素が存在しているか否か判定し、該当するエッジ画素が存在していれば該当するエッジ画素を新たな処理対象として選択する処理を繰り返すことで、前記人工的線分として、エッジ画素が連なって構成される前記直線状線分又は前記曲線状線分を検出する請求項４記載の画像処理装置。
【請求項７】
前記人工的線分検出手段は、前記処理対象の可視画像を微分することで前記処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素に対してハフ変換を適用することで、前記人工的線分として、エッジ画素が連なって構成される前記直線状線分又は前記曲線状線分を検出する請求項４記載の画像処理装置。
【請求項８】
前記処理対象の可視画像は、車両に搭載された撮像手段により前記車両の周囲を撮像することで得られた動画像である請求項１〜請求項７の何れか１項記載の画像処理装置。
【請求項９】
処理対象の可視画像の全領域を対象として人物に相当すると推定される人物候補領域を探索し、
当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、
前記探索で抽出された人物候補領域のうち領域内で前記人工的線分が検出された人物候補領域を人物候補から除外することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出する画像処理方法。
【請求項１０】
処理対象の可視画像の全領域を対象して人工的線分を検出し、
前記処理対象の可視画像のうち前記人工的線分が存在している領域を除外した領域を対象として人物に相当すると推定される人物候補領域を探索することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出する画像処理方法。
【請求項１１】
コンピュータを、
処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段、
及び、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段
として機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図８】
【図１０】
【図４】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図５】
【図６】
【図８】
【図１０】
【図４】
【図７】
【図９】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２７６９１０（Ｐ２００９−２７６９１０Ａ）
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願番号】特願２００８−１２６１３４（Ｐ２００８−１２６１３４）
【出願日】平成２０年５月１３日（２００８．５．１３）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願日】平成２０年５月１３日（２００８．５．１３）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]