画像処理システムおよび画像処理プログラム
【課題】 短い処理時間で確実に歩行者の存在を検知する。
【解決手段】 第１判定処理部３４は、遠赤外線カメラ１１により撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データに基づく４値化された画像データから抽出された歩行者候補領域において、画素のデータ値を参照して、データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する。第２判定処理部３５は、さらに、歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、歩行者候補領域が歩行者に該当するかを判断する。
【解決手段】 第１判定処理部３４は、遠赤外線カメラ１１により撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データに基づく４値化された画像データから抽出された歩行者候補領域において、画素のデータ値を参照して、データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する。第２判定処理部３５は、さらに、歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、歩行者候補領域が歩行者に該当するかを判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像から歩行者を適切に認識することができる画像処理システムおよび画像処理プログラムに関する。
【背景技術】
【０００２】
車両の先頭位置に搭載されたカメラから撮影された画像から、車両の進行方向に位置する歩行者の存在を検知して、車内の表示装置などに、歩行者の位置を表示し、或いは、フロントウィンドウ上に歩行者の位置を投影する装置が提案されている。
【０００３】
撮影される画像には、歩行者のほか、他の車両、信号機、標識などが含まれるため、歩行者を認識するために、赤外線カメラを用いて撮影し、赤外線の放射量にしたがった画素のデータ値を有する画像を得て、そこから歩行者の領域を特定する技術が提案されている。より詳細には、撮影された画像において、ある閾値より大きな値を示す領域の形状を特定し、その形状に基づき、歩行者が検出される。
【０００４】
しかしながら、単なる形状の認識では、歩行者と同様に赤外線を放射し、かつ、比較的細長い形状の物体を歩行者と認識する可能性もある。その一方、形状に基づく判断では、歩行者が横方向に並んでいる場合や、木やガードレールなどの遮蔽物により、歩行者の一部が隠れている場合には、歩行者を認識できない場合もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１５９３９２号公報
【特許文献２】特開２００８−６５４６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１には、近赤外線カメラにて撮影された画像中、一定以上の近赤外線の放射量を有する領域を抽出し、さらに、その領域に含まれる画素のデータ値の分散を求め、分散が所定値以上である場合に、当該領域が歩行者に相当すると判断する技術が開示されている。
【０００７】
また、特許文献２には、近赤外線カメラにて撮影された画像中、歩行者候補領域を抽出し、さらに、その領域に含まれる画素のデータ値を参照して、所定の値より大きな値を有する画素をカウントし、その候補領域に対する画素の面積の割合が閾値より小さいときに、その領域が歩行者に相当すると判断する技術が開示されている。
【０００８】
上述したように、歩行者が横方向に並んでいる場合や、木やガードレールなどの遮蔽物により、歩行者の一部が隠れている場合であっても、確実かつ迅速に、歩行者の存在を検知できる技術が望まれる。
【０００９】
本発明は、短い処理時間で確実に歩行者の存在を検知することができる画像処理システムおよび画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的は、赤外線カメラにより撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データを受け入れて、前記画像データから、各画素が温度に基づく３値以上の多値のデータ値を有する、多値画像データを取得する多値画像データ取得手段と、
前記多値画像データ中、各画素のデータ値に基づいて、所定温度以上を示す画素の領域を歩行者候補領域として抽出する歩行者候補領域抽出手段と、
前記歩行者候補領域に含まれる画素のデータ値を参照して、前記データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する第１の判定手段と、
前記第１の判定手段により歩行者に該当すると判断された歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第２の判定手段と、を備えたことを特徴とする画像処理システムにより達成される。
【００１１】
好ましい実施態様においては、前記第１の判定手段が、前記値ごとの度数の割合が、それぞれ、予め定められた所定の範囲内であるかに基づいて判断する。
【００１２】
また、好ましい実施態様においては、前記第２の判定手段が、前記ブロックごとに、前記ブロックに含まれる歩行者候補領域の画素のデータ値の平均値を算出し、前記横方向における平均値の変化を示す第１の指標値を算出するとともに、前記縦方向における平均値の変化を示す第２の指標値を算出する。
【００１３】
より好ましい実施態様においては、前記多値画像データのデータ値は、温度が高くなるのにしたがってその値が増大し、
前記第２の判定手段が、
前記第１の指標値として、前記横方向について、平均値の最大値と最小値との差を算出し、前記第１の指標値が、前記第１の指標値が所定の範囲内であるときに、第１の条件に合致すると判断し、
前記第２の指標値として、縦方向に隣接するブロックについて、上側に位置するブロックの平均値−下側に位置するブロックの平均値を算出し、前記第２の指標値が正であるときに、第２の条件に合致すると判断し
前記第１の条件および第２の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００１４】
別の好ましい実施態様においては、前記多値画像データのデータ値は、温度が高くなるのにしたがってその値が増大し、
前記第２の判定手段が、
前記第１の指標値として、横方向に隣接するブロックについての平均値の差を算出し、当該第１の指標値が、それぞれ、所定の範囲内であるときに、第１の条件に合致すると判断し、
前記第２の指標値として、縦方向に隣接するブロックについて、上側に位置するブロックの平均値−下側に位置するブロックの平均値を算出し、前記第２の指標値が正であるときに、第２の条件に合致すると判断し、
前記第１の条件および第２の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００１５】
また、好ましい実施態様においては、前記第２の判定手段が、
前記ブロックごとに、前記ブロックに含まれる歩行者候補領域の画素のデータ値ごとの度数の割合を算出し、前記横方向における度数の割合の変化を示す第３の指標値を算出するとともに、前記縦方向における度数の割合の変化を示す第４の指標値を算出する。
【００１６】
より好ましい実施態様においては、前記第２の判定手段が、
前記第３の指標値として、前記横方向に隣接するブロックにおいて、値ごとの度数の変化の割合の最大値と最小値との差を算出し、前記第３の指標値が、所定の範囲内であるときに、第３の条件に合致すると判断し、
前記第４の指標値として、前記縦方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、値にしたがって、第４の指標値が所定の同一の傾向を示すときに、前記第４の条件に合致すると判断し、
前記第３の条件および第４の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００１７】
別の好ましい実施態様においては、前記第２の判定手段が、
前記第３の指標値として、前記横方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、前記第３の指標値が、それぞれ、所定の範囲内であるときに、第３の条件に合致すると判断し、
前記第４の指標値として、前記縦方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、値にしたがって、第４の指標値が所定の同一の傾向を示すときに、前記第４の条件に合致すると判断し、
前記第３の条件および第４の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００１８】
また、好ましい実施態様においては、前記歩行者候補領域を構成する画素の座標および画素のデータ値を参照して、前記データ値ごとの重心位置を算出し、前記重心位置の座標に基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第３の判定手段を備える。
【００１９】
より好ましい実施態様においては、前記第３の判定手段が、前記データ値ごとの重心のｘ座標が、所定の範囲内に隣接しているときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００２０】
別の好ましい実施態様においては、前記第３の判定手段が、前記データ値ごとの重心のｙ座標が、温度が高いことを示すデータ値になるのにしたがって大きくなるときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００２１】
また、本発明の目的は、赤外線カメラにより撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データを受け入れて、前記画像データから、各画素が温度に基づく３値以上の多値のデータ値であって、温度が高くなるのにしたがって値が増大する多値画像データを取得する多値画像データ取得ステップと、
前記多値画像データ中、各画素のデータ値に基づいて、所定温度以上を示す画素の領域を歩行者候補領域として抽出する歩行者候補領域抽出ステップと、
前記歩行者候補領域に含まれる画素のデータ値を参照して、前記データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する第１の判定ステップと、
前記第１の判定手段により歩行者に該当すると判断された歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第２の判定ステップと、をコンピュータに実行させることを特徴とする画像処理プログラムにより達成される。
【発明の効果】
【００２２】
本発明によれば、短い処理時間で確実に歩行者の存在を検知することができる画像処理システムおよび画像処理プログラムを提供することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の第１の実施の形態にかかる画像処理システムの概略を示すブロックダイヤグラムである。
【図２】図２は、本実施の形態にかかる歩行者認識処理部の例を示すブロックダイヤグラムである。
【図３】図３（ａ）、（ｂ）は、それぞれ、歩行者候補領域特定部２２による処理が実行された状態の画像データの例を示す図である。
【図４】図４は、本実施の形態にかかる熱源体領域抽出部において実行される処理の例を示すフローチャートである。
【図５】図５は、歩行者候補領域特定部において実行される処理（歩行者候補領域特定処理）の例を示すフローチャートである。
【図６】図６は、本実施の形態にかかる第１判定処理部における第１の判定処理の例を示すフローチャートである。
【図７】図７は、画像データにおいて実際の歩行者の領域についてのヒストグラムおよび歩行者以外（人工物）の領域についてのヒストグラムの例である。
【図８】図８は、本実施の形態にかかる第２判定処理部における第２の判定処理の例を示すフローチャートである。
【図９】図９（ａ）、（ｂ）は、画像データ中において抽出された歩行者候補領域、外枠領域およびブロックの例を説明する図である。
【図１０】図１０は、本実施の形態にかかる第３判定処理部による第３の判定処理の例を示すフローチャートである。
【図１１】図１１は、歩行者候補領域および値ごとの重心位置の例を示す図である。
【図１２】図１２（ａ）、（ｂ）は、それぞれ、画像データの例を示す図である。
【図１３】図１３は、本発明の第２の実施の形態にかかる第２判定処理の例を示すフローチャートである。
【図１４】図１４（ａ）は、外枠領域および分割されたブロックの例を示す図、図１４（ｂ）は、各ブロックに関するヒストグラムの例を示す図である。
【発明を実施するための形態】
【００２４】
以下、添付図面を参照して、本発明の実施の形態につき説明を加える。図１は、本発明の第１の実施の形態にかかる画像処理システムの概略を示すブロックダイヤグラムである。本実施の形態にかかる画像処理システム１０は、遠赤外線カメラにより取得された画像データに基づいて、画像中に歩行者が撮影されているかを判定する。図１に示すように、画像処理システム１０は、遠赤外線カメラ１１、インタフェース（Ｉ／Ｆ）１２、ＣＰＵ１３、入力部１４、表示部１５、ＲＡＭ１６、ＲＯＭ１７および歩行者認識処理部１８を有する。Ｉ／Ｆ１２〜歩行者認識処理部１８は、バスに接続されている。本実施の形態にかかる画像処理システム１０は、車両に搭載され、車両の進行方向の画像を撮影し、当該画像データに基づいて、歩行者の存在の有無を検出する。
【００２５】
遠赤外線カメラ１１は、遠赤外線領域を検知し、撮影対象物の遠赤外線の放射量にしたがった画像信号を得ることができる。たとえば、画像信号は、画素ごとの、当該画素において受け入れた遠赤外線の放射量を示す多値のデータ値から構成される。Ｉ／Ｆ１２は、遠赤外線カメラ１１から受け入れた画像信号に基づき、画素の位置情報（座標）とデータ値とを対応付けて、画像データとしてＲＡＭ１６の所定の領域に格納する。遠赤外線カメラ１１は、たとえば、車両の前端部に配置され、前方（車両の通常の進行方向）の画像を撮影することができる。
【００２６】
ＣＰＵ１３は、情報処理システム１０の全体の制御、操作者による入力部１４のスイッチ操作に基づく処理、表示部１５への画像表示の制御、遠赤外線カメラ１１の起動や撮影の指示、歩行者認識処理部１８に対する動作の指示などを実行する。入力部１４は、スイッチ類（図示せず）を有し、スイッチ操作に基づく操作信号をＣＰＵ１３に与える。表示部１５は、表示装置（たとえば液晶表示装置）を備え、遠赤外線カメラ１１にて撮影された画像などを含む画像をその画面上に表示することができる。
【００２７】
ＲＡＭ１６は、遠赤外線カメラ１１にて撮影された画像信号に基づく画像データ、処理にて生じたデータ、パラメータ、演算値を格納する。ＲＯＭ１７は、情報処理システム１０の全体の制御、操作者による入力部１４のスイッチ操作に基づく処理、表示部１５への画像表示の制御、遠赤外線カメラ１１の起動や撮影の指示、歩行者認識処理部１８に対する動作の指示などの処理プログラムを格納する。
【００２８】
図２は、本実施の形態にかかる歩行者認識処理部の例を示すブロックダイヤグラムである。図２に示すように、歩行者認識処理部１８は、熱源体領域抽出部２１、歩行者候補領域特定部２２、歩行者判定部２３、および、表示画像生成部２４を有する。
【００２９】
熱源体領域抽出部２１は、画像データを受け入れ、画像データに基づき、所定以上の温度を有する領域を熱源体領域として抽出する。歩行者候補領域特定部２２は、熱源体領域から、さらに、所定の判断を行なうことで、歩行者候補領域を絞り込む。歩行者判定部２３は、後述するように、３種類の判定を行なうことで、歩行者候補領域から最終的に歩行者領域を見出す。表示画像生成部２４は、画像データに、最終的に認識された歩行者領域を示す枠を重ね合わせた画像データを生成して、表示部１５に出力する。
【００３０】
本実施の形態においては、熱源体領域処理部２１は、４値化処理部３１、ノイズ除去処理部４３およびラベリング処理部３３を有する。また、歩行者判定部２３は、第１判定処理部３４、第２判定処理部３５および第３判定処理部３６を有する。本実施の形態にかかる歩行者認識処理部１８において実行される処理については、後に詳述する。
【００３１】
図３（ａ）、（ｂ）は、それぞれ、歩行者候補領域特定部２２による処理が実行された状態の画像データの例を示す図である。たとえば、図３（ａ）においては、画像データ３００には、３つの歩行者候補領域３０１〜３０３が含まれている。実際の画像では、歩行者候補領域３０１、３０２は単独の歩行者に対応し、その一方、歩行者候補領域３０２は、複数の歩行者が横に（並列して）並んでいる状態に対応する。歩行者候補領域３０２は、単に、その外郭を構成する枠（外枠）の縦横比で判断すると、たとえば、通常の歩行者のように縦方向の大きさ（長さ）が横方向の大きさ（幅）よりも十分に大きいことが成立しないため、歩行者に該当すると判断されない可能性が高い。
【００３２】
また、図３（ｂ）においては、画像データ３１０には、２つの歩行者候補領域３１１、３１２が含まれる。実際には、双方とも歩行者を示しているが、その下半分が、壁やガードレールなどの遮蔽物により遮られ、歩行者候補領域には含まれなくなっている。本実施の形態においては、図３（ａ）に示すような、複数人の歩行者が並んだ（或いは重なり合った）ような歩行者候補領域や、図３（ｂ）に示すような、歩行者の外郭の一部が欠落した歩行者候補領域についても、適切に歩行者として認識できるようにしている。
【００３３】
図４は、本実施の形態にかかる熱源体領域抽出部において実行される処理の例を示すフローチャートである。図４に示すように、熱源体領域抽出部２１の４値化処理部３１は、画像データを構成する各画素のデータ値を４値化して、新たな画素のデータ値からなる４値化された画像データを生成する（ステップ４０１）。新たな画素のデータ値も、ＲＡＭ１６の所定の領域に格納される。
【００３４】
画像データを構成する画素のデータ値は、たとえば、８ビットで０〜１２７の何れかの値を示す多値データである。ここで、本実施の形態においては、最も温度が低い状態を示す値を「０」、温度が高くなるのにしたがってデータ値が増大することとする。４値化処理部３１は、閾値Ｐｔｈ１、Ｐｔｈ２、Ｐｔｈ３（Ｐｔｈ１＜Ｐｔｈ２＜Ｐｔｈ３）を用いて、
０≦画素のデータ値＜Ｐｔｈ１：第１の値（最低値）ｖ１
Ｐｔｈ１≦画素のデータ値＜Ｐｔｈ２：第２の値ｖ２
Ｐｔｈ２≦画素のデータ値＜Ｐｔｈ３：第３の値ｖ３
Ｐｔｈ３≦画素のデータ値：第４の値（最高値）ｖ４
（ただし、ｖ１＜ｖ２＜ｖ３＜ｖ４）
となるように、それぞれの画素に対する新たなデータ値を決定すれば良い。以下、便宜上、第１の値ｖ１、第２の値ｖ２、第３の値ｖ３および第４の値ｖ４を、それぞれ、「０」、「１」、「２」、「３」とする。また、第２の値ｖ２を「低温値」、第３の値ｖ３を「中温値」、第４の値ｖ４を「高温値」とも称する。
【００３５】
無論、データ値は上述したものに限定されず、最も温度が高い状態を示す値が「０」であり、温度が低くなるのにしたがってデータ値が増大するようなものを採用しても良いことは言うまでも無い。
【００３６】
ノイズ除去部４３は、４値化された画像データ中、最低値（つまり、最も温度が低いこと）を示す画素を除き、第２の値（低温値）〜第４の値（高温値）を有する画素からなる領域を、初期的な熱源体領域候補として抽出する（ステップ４０２）。また、ノイズ除去部４３は、初期的な熱源体領域候補において、画素数が極端に少ない領域（たとえば、画素数が所定の下限値Ｐｍｉｎより小さい領域）を熱源体領域から除外する（ステップ４０３）とともに、画素数が極端に多い領域（たとえば、画素数が所定の上限値Ｐｍａｘを超える領域）を、熱源体領域候補から除外する（ステップ４０４）。
【００３７】
次いで、ラベリング処理部３３が、ラベリングにより同一の熱源体領域に属する画素に、同一のラベルを付与する（ステップ４０５）。ラベリング付与により、ＲＡＭ１６には、画素の位置を示す座標値（ｘ座標、ｙ座標）、低温値から高温値の何れかを示すデータ値、およびラベルからなる画素のデータが格納される。
【００３８】
図５は、歩行者候補領域特定部において実行される処理（歩行者候補領域特定処理）の例を示すフローチャートである。図５に示すように、歩行者候補領域特定部２２は、熱源体領域を構成する画素のｘ座標およびｙ座標を参照して、ｘ座標の最小値ｘｍｉｎ、最大値ｘｍａｘ、ｙ座標の最小値ｙｍｉｎ、最大値ｙｍａｘを取得し、（ｘｍｉｎ，ｙｍｉｎ）、（ｘｍｉｎ，ｙｍａｘ）、（ｘｍａｘ，ｙｍｉｎ）および（ｘｍａｘ，ｙｍａｘ）の４点にて画定される熱源体領域の外枠領域を特定する（ステップ５０１）。ステップ５０１により、熱源体領域のそれぞれについて、当該熱源体領域と接する矩形の外枠領域が得られる。
【００３９】
次いで、歩行者候補領域特定部２２は、画像データを構成する画素の縦方向および横方向の個数、並びに、遠赤外線カメラ１１のレンズの焦点距離を考慮して、外枠領域の幅が所定値より大きいような熱源体領域を、歩行者候補領域から除外する（ステップ５０２）。たとえば、画素の個数およびレンズの焦点距離により、外枠領域の実際の大きさを把握することができる。そこで、歩行者が横に並んだとしても通常考えられない幅（たとえば、数ｍ以上）に相当する外枠領域については、歩行者候補領域から除外している。無論、縦方向についても同様の判断を行なって良い。
【００４０】
歩行者候補領域特定部２２は、外径領域の縦横比（縦の長さ／横幅）が、所定より小さい熱源体領域を、歩行者候補領域から除外する（ステップ５０３）。これは、歩行者が横に並んだとしても、或いは、歩行者の一部が隠れていたとしても、横幅が縦の長さの数倍になる可能性が小さいという判断に基づいている。
【００４１】
また、歩行者候補領域特定部２２は、各熱源体領域の重心位置の座標および中心位置の座標を算出する（ステップ５０４）。熱源体領域の重心位置のｘ座標、および、ｙ座標は以下のように算出され得る。
重心位置のｘ座標＝（１／Ｎ）・Σ（熱源体領域に含まれる画素のｘ座標）
重心位置のｙ座標＝（１／Ｎ）・Σ（熱源体領域に含まれる画素のｙ座標）
なお、Ｎは、熱源体領域を構成する画素の数である。
【００４２】
また、熱源体領域の中心位置のｘ座標、および、ｙ座標は以下のように算出され得る。
中心位置のｘ座標＝（１／２）・（ｘｍｉｎ＋ｘｍａｘ）
中心位置のｙ座標＝（１／２）・（ｙｍｉｎ＋ｙｍａｘ）
歩行者候補領域特定部２２は、重心位置のｘ座標と、中心位置のｘ座標との相違が所定の範囲外、つまり｜（重心位置のｘ座標）−（中心位置のｘ座標）｜＞所定値であるような熱源体領域を、歩行者候補領域から除外する（ステップ５０５）。また、歩行者候補領域特定部２２は、重心位置のｙ座標が中心位置のｙ座標より下、つまり、（重心位置のｙ座標）＜（中心位置のｙ座標）であるような熱源体領域を、歩行者候補領域から除外する（ステップ５０６）。これにより、除外されなかった熱源体領域が歩行者候補領域となり、ＲＡＭ１６に格納された歩行者候補領域の情報が、次の歩行者判定部２３による処理にて参照される。
【００４３】
なお、本実施の形態にかかる歩行者候補領域特定処理では、外径領域の幅、外径領域の縦横比、重心位置および中心位置のｘ座標、並びに、重心位置および中心位置のｙ座標に基づいて、熱源体領域から歩行者候補領域を絞り込んでいる。しかしながら、絞込みのための所定値や所定範囲は、あまり感度の良いものでなくても良い。つまり、歩行者候補領域特定処理では、多くの熱源体領域を除外する必要は無い。また、上記全ての絞込みを行なわなくても良い。本実施の形態においては、次に実行される歩行者判定部２３における処理が、歩行者認識の主たるものであり、歩行者候補領域特定処理はその前処理である。そこで、歩行者候補領域特定処理においては、あまり厳密に歩行者候補領域を絞り込む必要が無い。
【００４４】
次に、歩行者判定部２３における処理について説明する。図６は、本実施の形態にかかる第１判定処理部における第１の判定処理の例を示すフローチャートである。図６に示すように、第１判定処理部３４は、ＲＡＭ１６から処理対象となる歩行者候補領域の情報を取得する（ステップ６０１）。第１判定処理部３４は、歩行者候補領域における画素のデータ値に基づいて、値ごとのヒストグラムを生成する（ステップ６０２）。前述したように、画素のデータ値は、低温値、中温値、および、高温値の何れかである。たとえば、ヒストグラムにおいては、低温値、中温値、高温値を有する画素数の割合が示される。
【００４５】
第１判定処理部３４は、各値の画素数の割合が、それぞれ、予め定められた範囲内であるかを判断する（ステップ６０３）。図７は、画像データにおいて実際の歩行者の領域についてのヒストグラムおよび歩行者以外（人工物）の領域についてのヒストグラムの例である。図７において、符号７０１〜７０３が歩行者の領域についてのヒストグラムを示し、符号７１１〜７１３が人工物の領域についてのヒストグラムを示す。
【００４６】
図７に示すように、人工物の領域は、歩行者の領域と比較すると、特定の値に値が偏る傾向がある。本実施の形態では、予め多数の画像データから実際に歩行者の領域を切り出して、低温値〜高温値の割合を求めて、歩行者の領域における各値の範囲を取得している。この取得された値の範囲は、ＲＡＭ１６に格納されている。図７において、符号７２１、７２２、７２３で示す範囲が、それぞれ、歩行者の領域と考えられる高温値、中温値および低温値の値の範囲である。
【００４７】
第１判定処理部３４は、各値の画素数の割合が、それぞれ、定められた範囲内であるかを判断して、全てが範囲内であれば（ステップ６０４でＹｅｓ）、ＲＡＭ１６中の歩行者候補領域の情報を残す（ステップ６０５）。これは、ＲＡＭ１６中の当該歩行者候補領域の情報を削除せずそのままにしておけば良い。その一方、ステップ６０４でＮｏと判断された場合には、第１判定処理部３４は、ＲＡＭ１６中の歩行者候補領域の情報を削除する（ステップ６０６）。その後、第１判定処理部３４は、ＲＡＭ１６中の歩行者候補領域の情報を参照して、全ての歩行者候補領域について処理を終了したかを判断する（ステップ６０７）。ステップ６０７でＮｏと判断された場合には、ステップ６０１に戻る。その一方、ステップ６０７でＹｅｓと判断された場合には、第１の判定処理が終了される。
【００４８】
次いで、第２判定処理部３５が、第２の判定処理を実行する。図８は、本実施の形態にかかる第２判定処理部における第２の判定処理の例を示すフローチャートである。図８に示すように、第２判定処理部３５は、ＲＡＭ１６から処理対象となる歩行者候補領域の情報を取得する（ステップ６０１）。第２判定処理部３５は、歩行者候補領域の情報中、各画素のｘ座標およびｙ座標を参照して、歩行者候補領域におけるｘ座標の最小値ｘｍｉｎ、最大値ｘｍａｘ、ｙ座標の最小値ｙｍｉｎ、最大値ｙｍａｘを取得し、（ｘｍｉｎ，ｙｍｉｎ）、（ｘｍｉｎ，ｙｍａｘ）、（ｘｍａｘ，ｙｍｉｎ）および（ｘｍａｘ，ｙｍａｘ）の４点にて画定される歩行者候補領域の外枠領域を特定する（ステップ８０２）。これは、図５のステップ５０１と略同様の処理である。ステップ８０２により、歩行者候補領域と接する矩形の外枠領域が得られる。
【００４９】
次いで、第２判定処理部３５は、外枠領域を複数のブロックに分割して、各ブロックに属する画素を特定する（ステップ８０３）。ブロックの数は、たとえば、３×３＝９であれば良い。或いは、外枠領域のサイズおよび縦横比に応じて、縦、横とも、所定の範囲（たとえば２〜４）の範囲で変更可能としても良い。以下、ブロック数を９とした場合を説明する。図９（ａ）、（ｂ）は、画像データ中において抽出された歩行者候補領域、外枠領域およびブロックの例を説明する図である。図９（ａ）では、元の画像データ９００に、歩行者候補領域の外縁を示す曲線９１１、外枠およびブロックを規定する直線９１０が重ねられている。
【００５０】
第２判定処理部３５は、ブロックごとに当該ブロックに含まれる歩行者候補領域を構成する画素のデータ値の平均値を算出する（ステップ８０４）。図９（ｂ）では、たとえば、左上段のブロックに含まれる歩行者候補領域９２１の画素のデータ値についての平均値、中央上段のブロックに含まれる歩行者候補領域９２２の画素のデータ値についての平均値などが算出される。
【００５１】
次いで、第２判定処理部３５は、各ブロックの平均値の横方向における変化を示す指標値を取得する（ステップ８０５）。図９（ｂ）において、たとえば、左上段のブロックに含まれる歩行者候補領域９２１、中央上段のブロックに含まれる歩行者候補領域９２２、右上段のブロックに含まれる歩行者候補領域９２３のそれぞれについて、平均値の変化を示す指標値（第１の指標値）が取得される。中段、下段についても同様に平均値の変化を示す指標値が取得される。横方向については、平均値の変化を示す指標値として、たとえば、平均値の最大値と最小値との差の絶対値（｜最大値−最小値｜）を用いることができる。
【００５２】
また、第２判定処理部３５は、各ブロックの平均値の縦方向における変化を示す指標値を取得する（ステップ８０６）。図９（ｂ）において、たとえば、左上段のブロックに含まれる歩行者候補領域９２１、左中段のブロックに含まれる歩行者候補領域９３１、左下段のブロックに含まれる歩行者候補領域９３２のそれぞれについて、平均値の変化を示す指標値（第２の指標値）が取得される。中央の列、および、右列についても、同様に平均値の変化を示す指標値が取得される。縦方向については、平均値の変化を示す指標値として、（上側に位置するブロックについての平均値）−（下側に位置するブロックについての平均値）を用いることができる。
【００５３】
第２判定処理部３５は、上段、中段、下段のそれぞれの、横方向についての平均値の変化を示す第１の指標値が、所定の第１の条件に合致し、かつ、左列、中央の列、右列のそれぞれの、縦方向についての平均値の変化を示す第２の指標値が、所定の第２の条件に合致しているかを判断する（ステップ８０７）。
【００５４】
本実施の形態において、たとえば、第１の条件は、第１の指標値が、所定の閾値よりも小さいことである。つまり、横方向については、平均値の変化が、所定よりも小さいこと、つまり、平均値がほぼ一定であることが条件となる。また、第２の条件は、第２の指標値が正の値であることである。つまり、縦方向については、平均値が、上から下に向かって減少している（温度が上から下に向かって減少する傾向がある）ことが条件となる。
【００５５】
ステップ８０７でＹｅｓと判断された場合には、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を残す（ステップ８０８）。その一方、ステップ８０７でＮｏと判断された場合には、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を削除する（ステップ８０９）。その後、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を参照して、全ての歩行者候補領域について処理を終了したかを判断する（ステップ８１０）。ステップ８１０でＮｏと判断された場合には、ステップ８０１に戻る。その一方、ステップ８１０でＹｅｓと判断された場合には、第２の判定処理が終了される。
【００５６】
次いで、第３判定処理部３６が、第３の判定処理を実行する。図１０は、本実施の形態にかかる第３判定処理部による第３の判定処理の例を示すフローチャートである。図１０に示すように、第３判定処理部３６は、ＲＡＭ１６から処理対象となる歩行者候補領域の情報を取得する（ステップ１００１）。第３判定処理部３６は、歩行者候補領域の情報を参照して、値ごと、つまり、高温値、中温値および低温値のそれぞれについて、重心位置の座標を取得する（ステップ１００２）。同じ値を有するＭ個の画素のｘ座標、ｙ座標は、それぞれ以下のように求められ得る。
重心位置のｘ座標＝（１／Ｍ）・Σ（同じ値を有する画素のｘ座標）
重心位置のｙ座標＝（１／Ｍ）・Σ（同じ値を有する画素のｙ座標）
第３判定処理部３６は、各値についての重心位置のｘ座標を比較し（ステップ１００３）、
各値の重心位置のｘ座標が所定範囲内に隣接しているかを判断する（ステップ１００４）。ステップ１００４においては、たとえば、ｘ座標の最大値とｘ座標の最小値との差の絶対値（｜ｘ座標の最大値−ｘ座標の最小値｜）が算出され、当該差の絶対値が所定の閾値より小さいかが判断される。ステップ１００４でＹｅｓと判断された場合には、第３判定処理部は、各値についての重心位置のｙ座標を比較し（ステップ１００５）、高温側の値になるのにしたがって、ｙ座標がより大きいかを判断する（ステップ１００６）。ステップ１００６では、（高温値についてのｙ座標）＞（中温値についてのｙ座標）＞（低温値についてのｙ座標）が成立しているかが判断される。
【００５７】
ステップ１００６でＹｅｓと判断された場合には、第３判定処理部３６は、ＲＡＭ１６ の歩行者候補領域の情報を残す（ステップ１００７）。その一方、ステップ１００４でＮｏと判断された場合、或いは、ステップ１００６でＮｏと判断された場合には、第３判定処理部３６は、ＲＡＭ１６中の歩行者候補領域の情報を削除する（ステップ１００８）。その後、第３判定処理部３６は、ＲＡＭ１６中の歩行者候補領域の情報を参照して、全ての歩行者候補領域について処理を終了したかを判断する（ステップ１００９）。ステップ１００９でＮｏと判断された場合には、ステップ１００１に戻る。
【００５８】
ステップ１００９でＹｅｓと判断された場合には、第３判定処理部３６は、ＲＡＭ１６に格納された歩行者候補領域の情報を、最終的な歩行者領域の情報とする（ステップ１０１０）。ステップ１０１０では、歩行者候補領域の情報を新たに歩行者領域の情報として、ＲＡＭ１６に格納しても良いし、歩行者候補領域の情報に、歩行者領域確定フラグを設け、当該歩行者領域確定フラグを「１」にセットしても良い。
【００５９】
図１１は、歩行者候補領域および値ごとの重心位置の例を示す図である。図１１において、歩行者候補領域１１００の、高温値についての重心位置、中温値についての重心位置および低温値についての重心位置が、それぞれ、符号１１０１、１１０２、１１０３で示されている。高温値についての重心位置の座標は（Ｘ４，Ｙ４）、中温値についての重心位置の座標は（Ｘ３，Ｙ３）、低温値についての重心位置の座標は（Ｘ２，Ｙ２）である。
【００６０】
ステップ１００４では、ｘ座標の最大値Ｘ３と、最小値Ｘ２とが比較され、Ｘ３−Ｘ２が、所定の閾値Ｘｔｈより小さいと判断される。また、ステップ１００６では、ｙ座標が比較され、Ｙ４＞Ｙ３＞Ｙ２が成立していると判断される。したがって、図１１に示す歩行者候補領域１１００は、重心位置についての条件を満たすため、歩行者領域と判断される。
【００６１】
歩行者判定部２３における処理が終了すると、表示画像生成部２４は、ＲＡＭ１６から歩行者領域の情報を取得して、画像データに、歩行者領域を囲む枠を付与して、枠が付された画像データを、表示部１５に出力する。これにより、表示部１５の画面上には、歩行者領域を枠で囲んで強調した画像が表示される。
【００６２】
図１２（ａ）、（ｂ）は、それぞれ、画像データの例を示す図である。図１２（ａ）において、画像１２００においては、複数の歩行者候補領域（たとえば、符号１２０２、１２０２、１２０３参照）が存在する。処理の結果、歩行者候補領域１２０１が歩行者領域であると判断され、図１２（ｂ）に示すように、画像１２１０において、歩行者領域の枠１２１１が付加される。
【００６３】
次に本発明の第２の実施の形態について説明する。第１の実施の形態においては、第２判定処理において、外枠領域を複数のブロックに分割し、各ブロックに含まれる歩行者候補領域を構成する画素のデータ値の平均値を算出し、平均値の傾向を見ることで、歩行者候補領域の絞込みを行なっている。第２の実施の形態では、各ブロックの温度分布を取得して、温度分布の傾向から、歩行者候補領域の絞込みを行なう。熱源体領域抽出部２１による処理、歩行者候補領域特定部２２による処理は、第１の実施の形態のものと同様である。また、歩行者判定部２３における第１判定処理部３４および第３判定処理部２６における処理も、第１の実施の形態のものと同様である。
【００６４】
図１３は、本発明の第２の実施の形態にかかる第２判定処理の例を示すフローチャートである。図１３において、ステップ１３０１〜１３０３は、第１の実施の形態と同様である。ステップ１３０３の後、第２判定処理部３５は、各ブロックにおいて、当該ブロックに含まれる歩行者候補領域を校正する画素のデータ値に基づいて、値ごとのヒストグラムを生成する（ステップ１３０４）。画素のデータ値は、低温値、中温値、および、高温値の何れかであるため、たとえば、ヒストグラムにおいては、低温値、中温値、高温値を有する画素数の割合が示される。本実施の形態では、外枠領域は９つのブロックに分割されるため、９つのヒストグラムが生成される。
【００６５】
次いで、第２判定処理部３５は、横方向のブロックの度数の割合の変化を示す指標値（第３の指標値）を取得する（ステップ１３０５）。また、第２判定処理部３５は、縦方向のブロックの度数の割合の変化を示す指標値（第４の指標値）を取得する（ステップ１３０６）。第２判定部３５は、第３の指標値の全てが所定の第３の条件にしがっており、かつ、第４の指標値の全てが所定の第４の条件にしたがっているかを判断する（ステップ１３０７）。
【００６６】
図１４（ａ）は、外枠領域および分割されたブロックの例を示す図、図１４（ｂ）は、各ブロックに関するヒストグラムの例を示す図である。図１４（ｂ）においては、図１４（ａ）に示すように外枠領域１４００を９つに分割したブロックＡ１１〜Ａ１３のうち、Ａ１１〜Ａ１３（符号１４１１〜１４１３）、Ａ２１およびＡ３１（符号１４２１、１４３１）についてのヒストグラムを例示している。
【００６７】
たとえば、第３の指標値として、横方向の各値について、度数の割合の最大値と最小値との差の絶対値を用いることができる。図１４（ｂ）の例では、上段のブロックについて、度数の割合の最大値と最小値との差の絶対値として、それぞれ、以下の値が算出される。
｜Ｖ４（Ａ１１）−Ｖ４（Ａ１２）｜
｜Ｖ３（Ａ１３）−Ｖ３（Ａ１１）｜
｜Ｖ２（Ａ１３）−Ｖ３（Ａ１２）｜
横方向については、上記差の絶対値（第３の指標値）が、所定の閾値より小さい場合に、第３の条件にしたがっていると判断される。中段および下段についても同様に、第３の指標値が算出され、所定の閾値よりも小さいかが判断される。
【００６８】
また、第４の指標値として、縦方向に隣接するブロックの高温値および低温値について、（上側に位置するブロックの度数の割合）−（下側に位置する度数の割合）を用いることができる。図１４（ｂ）の例では、左列のブロックについて、（上側に位置するブロックの度数の割合）−（下側に位置する度数の割合）として以下の値が算出される。
Ｖ４（Ａ１１）−Ｖ４（Ａ２１）
Ｖ２（Ａ１１）−Ｖ２（Ａ２１）
Ｖ４（Ａ２１）−Ｖ４（Ａ３１）
Ｖ２（Ａ２１）−Ｖ２（Ａ３１）
縦方向については、高温値Ｖ４は、上から下に向かって減少し、低音値Ｖ２は、上から下の向かって上昇する場合に第４の条件にしたがっていると判断される。つまり、左列のブロックでは、
Ｖ４（Ａ１１）−Ｖ４（Ａ２１）＞０、Ｖ４（Ａ２１）−Ｖ４（Ａ３１）＞０、かつ、
Ｖ２（Ａ１１）−Ｖ２（Ａ２１）＜０、Ｖ２（Ａ２１）−Ｖ２（Ａ３１）＜０であることが、第４の条件となる。
【００６９】
ステップ１３０７でＹｅｓと判断された場合には、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を残す（ステップ１３０８）。その一方、ステップ１３０７でＮｏと判断された場合には、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を削除する（ステップ１３０９）。その後、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を参照して、全ての歩行者候補領域について処理を終了したかを判断する（ステップ１３１０）。ステップ１３１０でＮｏと判断された場合には、ステップ１３０１に戻る。その一方、ステップ１３１０でＹｅｓと判断された場合には、第２の判定処理が終了される。
【００７０】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００７１】
たとえば、第１の実施の形態の第２の判定処理では、横方向における変化を示す第1の指標値として、平均値の最大値と最小値との差の絶対値を用いていたが、これに限定されず、隣接するブロックの平均値の差の絶対値を用いても良い。この場合、第１の条件は、上記平均値の差の絶対値の全てが、所定の閾値よりも小さいことになる。
【００７２】
また、第２の実施の形態にかかる第２の判定処理では、横方向における変化を示す第３の指標値として、度数の割合の最大値と最小値との差の絶対値を用いていた。しかしながら、これに限定されず、たとえば、第３の指標値として、横方向で隣接するブロックの各値について、隣接する値に関する度数の割合の差の絶対値を用いることができる。図１４（ｂ）の例では、上段のブロックについて、隣接する値に関する度数の割合の差の絶対値として、以下の値が算出される。
｜Ｖ４（Ａ１１）−Ｖ４（Ａ１２）｜
｜Ｖ３（Ａ１１）−Ｖ３（Ａ１２）｜
｜Ｖ２（Ａ１１）−Ｖ３（Ａ１２）｜
｜Ｖ４（Ａ１２）−Ｖ４（Ａ１３）｜
｜Ｖ３（Ａ１２）−Ｖ３（Ａ１３）｜
｜Ｖ２（Ａ１２）−Ｖ３（Ａ１３）｜
この例では、横方向について、上記差の絶対値が、所定の閾値より小さい場合に、第３の条件にしたがっていると判断される。中段および下段についても同様に、第３の指標値が算出され、所定の閾値よりも小さいかが判断される。
【００７３】
また、本発明においては、遠赤外線カメラにより撮影された画像データを４値化して、４値化された新たな画像データが得られているが、これに限定されるものではなく３値化された新たな画像データや、５値化以上の値を有する新たな画像データが生成され、新たな画像データが処理に利用されても良い。
【符号の説明】
【００７４】
１０ 画像処理システム
１１ 遠赤外線カメラ
１２ インタフェース
１３ ＣＰＵ
１４ 入力部
１５ 表示部
１６ ＲＡＭ
１７ ＲＯＭ
１８ 歩行者認識部
２１ 熱源体領域抽出部
２２ 歩行者候補領域特定部
２３ 歩行者判定部
３１ ４値化処理部
３２ ノイズ除去処理部
３３ ラベリング処理部
３４ 第１判定処理部
３５ 第２判定処理部
３６ 第３判定処理部
【技術分野】
【０００１】
本発明は、撮影された画像から歩行者を適切に認識することができる画像処理システムおよび画像処理プログラムに関する。
【背景技術】
【０００２】
車両の先頭位置に搭載されたカメラから撮影された画像から、車両の進行方向に位置する歩行者の存在を検知して、車内の表示装置などに、歩行者の位置を表示し、或いは、フロントウィンドウ上に歩行者の位置を投影する装置が提案されている。
【０００３】
撮影される画像には、歩行者のほか、他の車両、信号機、標識などが含まれるため、歩行者を認識するために、赤外線カメラを用いて撮影し、赤外線の放射量にしたがった画素のデータ値を有する画像を得て、そこから歩行者の領域を特定する技術が提案されている。より詳細には、撮影された画像において、ある閾値より大きな値を示す領域の形状を特定し、その形状に基づき、歩行者が検出される。
【０００４】
しかしながら、単なる形状の認識では、歩行者と同様に赤外線を放射し、かつ、比較的細長い形状の物体を歩行者と認識する可能性もある。その一方、形状に基づく判断では、歩行者が横方向に並んでいる場合や、木やガードレールなどの遮蔽物により、歩行者の一部が隠れている場合には、歩行者を認識できない場合もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１５９３９２号公報
【特許文献２】特開２００８−６５４６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１には、近赤外線カメラにて撮影された画像中、一定以上の近赤外線の放射量を有する領域を抽出し、さらに、その領域に含まれる画素のデータ値の分散を求め、分散が所定値以上である場合に、当該領域が歩行者に相当すると判断する技術が開示されている。
【０００７】
また、特許文献２には、近赤外線カメラにて撮影された画像中、歩行者候補領域を抽出し、さらに、その領域に含まれる画素のデータ値を参照して、所定の値より大きな値を有する画素をカウントし、その候補領域に対する画素の面積の割合が閾値より小さいときに、その領域が歩行者に相当すると判断する技術が開示されている。
【０００８】
上述したように、歩行者が横方向に並んでいる場合や、木やガードレールなどの遮蔽物により、歩行者の一部が隠れている場合であっても、確実かつ迅速に、歩行者の存在を検知できる技術が望まれる。
【０００９】
本発明は、短い処理時間で確実に歩行者の存在を検知することができる画像処理システムおよび画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的は、赤外線カメラにより撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データを受け入れて、前記画像データから、各画素が温度に基づく３値以上の多値のデータ値を有する、多値画像データを取得する多値画像データ取得手段と、
前記多値画像データ中、各画素のデータ値に基づいて、所定温度以上を示す画素の領域を歩行者候補領域として抽出する歩行者候補領域抽出手段と、
前記歩行者候補領域に含まれる画素のデータ値を参照して、前記データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する第１の判定手段と、
前記第１の判定手段により歩行者に該当すると判断された歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第２の判定手段と、を備えたことを特徴とする画像処理システムにより達成される。
【００１１】
好ましい実施態様においては、前記第１の判定手段が、前記値ごとの度数の割合が、それぞれ、予め定められた所定の範囲内であるかに基づいて判断する。
【００１２】
また、好ましい実施態様においては、前記第２の判定手段が、前記ブロックごとに、前記ブロックに含まれる歩行者候補領域の画素のデータ値の平均値を算出し、前記横方向における平均値の変化を示す第１の指標値を算出するとともに、前記縦方向における平均値の変化を示す第２の指標値を算出する。
【００１３】
より好ましい実施態様においては、前記多値画像データのデータ値は、温度が高くなるのにしたがってその値が増大し、
前記第２の判定手段が、
前記第１の指標値として、前記横方向について、平均値の最大値と最小値との差を算出し、前記第１の指標値が、前記第１の指標値が所定の範囲内であるときに、第１の条件に合致すると判断し、
前記第２の指標値として、縦方向に隣接するブロックについて、上側に位置するブロックの平均値−下側に位置するブロックの平均値を算出し、前記第２の指標値が正であるときに、第２の条件に合致すると判断し
前記第１の条件および第２の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００１４】
別の好ましい実施態様においては、前記多値画像データのデータ値は、温度が高くなるのにしたがってその値が増大し、
前記第２の判定手段が、
前記第１の指標値として、横方向に隣接するブロックについての平均値の差を算出し、当該第１の指標値が、それぞれ、所定の範囲内であるときに、第１の条件に合致すると判断し、
前記第２の指標値として、縦方向に隣接するブロックについて、上側に位置するブロックの平均値−下側に位置するブロックの平均値を算出し、前記第２の指標値が正であるときに、第２の条件に合致すると判断し、
前記第１の条件および第２の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００１５】
また、好ましい実施態様においては、前記第２の判定手段が、
前記ブロックごとに、前記ブロックに含まれる歩行者候補領域の画素のデータ値ごとの度数の割合を算出し、前記横方向における度数の割合の変化を示す第３の指標値を算出するとともに、前記縦方向における度数の割合の変化を示す第４の指標値を算出する。
【００１６】
より好ましい実施態様においては、前記第２の判定手段が、
前記第３の指標値として、前記横方向に隣接するブロックにおいて、値ごとの度数の変化の割合の最大値と最小値との差を算出し、前記第３の指標値が、所定の範囲内であるときに、第３の条件に合致すると判断し、
前記第４の指標値として、前記縦方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、値にしたがって、第４の指標値が所定の同一の傾向を示すときに、前記第４の条件に合致すると判断し、
前記第３の条件および第４の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００１７】
別の好ましい実施態様においては、前記第２の判定手段が、
前記第３の指標値として、前記横方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、前記第３の指標値が、それぞれ、所定の範囲内であるときに、第３の条件に合致すると判断し、
前記第４の指標値として、前記縦方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、値にしたがって、第４の指標値が所定の同一の傾向を示すときに、前記第４の条件に合致すると判断し、
前記第３の条件および第４の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００１８】
また、好ましい実施態様においては、前記歩行者候補領域を構成する画素の座標および画素のデータ値を参照して、前記データ値ごとの重心位置を算出し、前記重心位置の座標に基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第３の判定手段を備える。
【００１９】
より好ましい実施態様においては、前記第３の判定手段が、前記データ値ごとの重心のｘ座標が、所定の範囲内に隣接しているときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００２０】
別の好ましい実施態様においては、前記第３の判定手段が、前記データ値ごとの重心のｙ座標が、温度が高いことを示すデータ値になるのにしたがって大きくなるときに、前記歩行者候補領域が歩行者に該当すると判断する。
【００２１】
また、本発明の目的は、赤外線カメラにより撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データを受け入れて、前記画像データから、各画素が温度に基づく３値以上の多値のデータ値であって、温度が高くなるのにしたがって値が増大する多値画像データを取得する多値画像データ取得ステップと、
前記多値画像データ中、各画素のデータ値に基づいて、所定温度以上を示す画素の領域を歩行者候補領域として抽出する歩行者候補領域抽出ステップと、
前記歩行者候補領域に含まれる画素のデータ値を参照して、前記データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する第１の判定ステップと、
前記第１の判定手段により歩行者に該当すると判断された歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第２の判定ステップと、をコンピュータに実行させることを特徴とする画像処理プログラムにより達成される。
【発明の効果】
【００２２】
本発明によれば、短い処理時間で確実に歩行者の存在を検知することができる画像処理システムおよび画像処理プログラムを提供することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の第１の実施の形態にかかる画像処理システムの概略を示すブロックダイヤグラムである。
【図２】図２は、本実施の形態にかかる歩行者認識処理部の例を示すブロックダイヤグラムである。
【図３】図３（ａ）、（ｂ）は、それぞれ、歩行者候補領域特定部２２による処理が実行された状態の画像データの例を示す図である。
【図４】図４は、本実施の形態にかかる熱源体領域抽出部において実行される処理の例を示すフローチャートである。
【図５】図５は、歩行者候補領域特定部において実行される処理（歩行者候補領域特定処理）の例を示すフローチャートである。
【図６】図６は、本実施の形態にかかる第１判定処理部における第１の判定処理の例を示すフローチャートである。
【図７】図７は、画像データにおいて実際の歩行者の領域についてのヒストグラムおよび歩行者以外（人工物）の領域についてのヒストグラムの例である。
【図８】図８は、本実施の形態にかかる第２判定処理部における第２の判定処理の例を示すフローチャートである。
【図９】図９（ａ）、（ｂ）は、画像データ中において抽出された歩行者候補領域、外枠領域およびブロックの例を説明する図である。
【図１０】図１０は、本実施の形態にかかる第３判定処理部による第３の判定処理の例を示すフローチャートである。
【図１１】図１１は、歩行者候補領域および値ごとの重心位置の例を示す図である。
【図１２】図１２（ａ）、（ｂ）は、それぞれ、画像データの例を示す図である。
【図１３】図１３は、本発明の第２の実施の形態にかかる第２判定処理の例を示すフローチャートである。
【図１４】図１４（ａ）は、外枠領域および分割されたブロックの例を示す図、図１４（ｂ）は、各ブロックに関するヒストグラムの例を示す図である。
【発明を実施するための形態】
【００２４】
以下、添付図面を参照して、本発明の実施の形態につき説明を加える。図１は、本発明の第１の実施の形態にかかる画像処理システムの概略を示すブロックダイヤグラムである。本実施の形態にかかる画像処理システム１０は、遠赤外線カメラにより取得された画像データに基づいて、画像中に歩行者が撮影されているかを判定する。図１に示すように、画像処理システム１０は、遠赤外線カメラ１１、インタフェース（Ｉ／Ｆ）１２、ＣＰＵ１３、入力部１４、表示部１５、ＲＡＭ１６、ＲＯＭ１７および歩行者認識処理部１８を有する。Ｉ／Ｆ１２〜歩行者認識処理部１８は、バスに接続されている。本実施の形態にかかる画像処理システム１０は、車両に搭載され、車両の進行方向の画像を撮影し、当該画像データに基づいて、歩行者の存在の有無を検出する。
【００２５】
遠赤外線カメラ１１は、遠赤外線領域を検知し、撮影対象物の遠赤外線の放射量にしたがった画像信号を得ることができる。たとえば、画像信号は、画素ごとの、当該画素において受け入れた遠赤外線の放射量を示す多値のデータ値から構成される。Ｉ／Ｆ１２は、遠赤外線カメラ１１から受け入れた画像信号に基づき、画素の位置情報（座標）とデータ値とを対応付けて、画像データとしてＲＡＭ１６の所定の領域に格納する。遠赤外線カメラ１１は、たとえば、車両の前端部に配置され、前方（車両の通常の進行方向）の画像を撮影することができる。
【００２６】
ＣＰＵ１３は、情報処理システム１０の全体の制御、操作者による入力部１４のスイッチ操作に基づく処理、表示部１５への画像表示の制御、遠赤外線カメラ１１の起動や撮影の指示、歩行者認識処理部１８に対する動作の指示などを実行する。入力部１４は、スイッチ類（図示せず）を有し、スイッチ操作に基づく操作信号をＣＰＵ１３に与える。表示部１５は、表示装置（たとえば液晶表示装置）を備え、遠赤外線カメラ１１にて撮影された画像などを含む画像をその画面上に表示することができる。
【００２７】
ＲＡＭ１６は、遠赤外線カメラ１１にて撮影された画像信号に基づく画像データ、処理にて生じたデータ、パラメータ、演算値を格納する。ＲＯＭ１７は、情報処理システム１０の全体の制御、操作者による入力部１４のスイッチ操作に基づく処理、表示部１５への画像表示の制御、遠赤外線カメラ１１の起動や撮影の指示、歩行者認識処理部１８に対する動作の指示などの処理プログラムを格納する。
【００２８】
図２は、本実施の形態にかかる歩行者認識処理部の例を示すブロックダイヤグラムである。図２に示すように、歩行者認識処理部１８は、熱源体領域抽出部２１、歩行者候補領域特定部２２、歩行者判定部２３、および、表示画像生成部２４を有する。
【００２９】
熱源体領域抽出部２１は、画像データを受け入れ、画像データに基づき、所定以上の温度を有する領域を熱源体領域として抽出する。歩行者候補領域特定部２２は、熱源体領域から、さらに、所定の判断を行なうことで、歩行者候補領域を絞り込む。歩行者判定部２３は、後述するように、３種類の判定を行なうことで、歩行者候補領域から最終的に歩行者領域を見出す。表示画像生成部２４は、画像データに、最終的に認識された歩行者領域を示す枠を重ね合わせた画像データを生成して、表示部１５に出力する。
【００３０】
本実施の形態においては、熱源体領域処理部２１は、４値化処理部３１、ノイズ除去処理部４３およびラベリング処理部３３を有する。また、歩行者判定部２３は、第１判定処理部３４、第２判定処理部３５および第３判定処理部３６を有する。本実施の形態にかかる歩行者認識処理部１８において実行される処理については、後に詳述する。
【００３１】
図３（ａ）、（ｂ）は、それぞれ、歩行者候補領域特定部２２による処理が実行された状態の画像データの例を示す図である。たとえば、図３（ａ）においては、画像データ３００には、３つの歩行者候補領域３０１〜３０３が含まれている。実際の画像では、歩行者候補領域３０１、３０２は単独の歩行者に対応し、その一方、歩行者候補領域３０２は、複数の歩行者が横に（並列して）並んでいる状態に対応する。歩行者候補領域３０２は、単に、その外郭を構成する枠（外枠）の縦横比で判断すると、たとえば、通常の歩行者のように縦方向の大きさ（長さ）が横方向の大きさ（幅）よりも十分に大きいことが成立しないため、歩行者に該当すると判断されない可能性が高い。
【００３２】
また、図３（ｂ）においては、画像データ３１０には、２つの歩行者候補領域３１１、３１２が含まれる。実際には、双方とも歩行者を示しているが、その下半分が、壁やガードレールなどの遮蔽物により遮られ、歩行者候補領域には含まれなくなっている。本実施の形態においては、図３（ａ）に示すような、複数人の歩行者が並んだ（或いは重なり合った）ような歩行者候補領域や、図３（ｂ）に示すような、歩行者の外郭の一部が欠落した歩行者候補領域についても、適切に歩行者として認識できるようにしている。
【００３３】
図４は、本実施の形態にかかる熱源体領域抽出部において実行される処理の例を示すフローチャートである。図４に示すように、熱源体領域抽出部２１の４値化処理部３１は、画像データを構成する各画素のデータ値を４値化して、新たな画素のデータ値からなる４値化された画像データを生成する（ステップ４０１）。新たな画素のデータ値も、ＲＡＭ１６の所定の領域に格納される。
【００３４】
画像データを構成する画素のデータ値は、たとえば、８ビットで０〜１２７の何れかの値を示す多値データである。ここで、本実施の形態においては、最も温度が低い状態を示す値を「０」、温度が高くなるのにしたがってデータ値が増大することとする。４値化処理部３１は、閾値Ｐｔｈ１、Ｐｔｈ２、Ｐｔｈ３（Ｐｔｈ１＜Ｐｔｈ２＜Ｐｔｈ３）を用いて、
０≦画素のデータ値＜Ｐｔｈ１：第１の値（最低値）ｖ１
Ｐｔｈ１≦画素のデータ値＜Ｐｔｈ２：第２の値ｖ２
Ｐｔｈ２≦画素のデータ値＜Ｐｔｈ３：第３の値ｖ３
Ｐｔｈ３≦画素のデータ値：第４の値（最高値）ｖ４
（ただし、ｖ１＜ｖ２＜ｖ３＜ｖ４）
となるように、それぞれの画素に対する新たなデータ値を決定すれば良い。以下、便宜上、第１の値ｖ１、第２の値ｖ２、第３の値ｖ３および第４の値ｖ４を、それぞれ、「０」、「１」、「２」、「３」とする。また、第２の値ｖ２を「低温値」、第３の値ｖ３を「中温値」、第４の値ｖ４を「高温値」とも称する。
【００３５】
無論、データ値は上述したものに限定されず、最も温度が高い状態を示す値が「０」であり、温度が低くなるのにしたがってデータ値が増大するようなものを採用しても良いことは言うまでも無い。
【００３６】
ノイズ除去部４３は、４値化された画像データ中、最低値（つまり、最も温度が低いこと）を示す画素を除き、第２の値（低温値）〜第４の値（高温値）を有する画素からなる領域を、初期的な熱源体領域候補として抽出する（ステップ４０２）。また、ノイズ除去部４３は、初期的な熱源体領域候補において、画素数が極端に少ない領域（たとえば、画素数が所定の下限値Ｐｍｉｎより小さい領域）を熱源体領域から除外する（ステップ４０３）とともに、画素数が極端に多い領域（たとえば、画素数が所定の上限値Ｐｍａｘを超える領域）を、熱源体領域候補から除外する（ステップ４０４）。
【００３７】
次いで、ラベリング処理部３３が、ラベリングにより同一の熱源体領域に属する画素に、同一のラベルを付与する（ステップ４０５）。ラベリング付与により、ＲＡＭ１６には、画素の位置を示す座標値（ｘ座標、ｙ座標）、低温値から高温値の何れかを示すデータ値、およびラベルからなる画素のデータが格納される。
【００３８】
図５は、歩行者候補領域特定部において実行される処理（歩行者候補領域特定処理）の例を示すフローチャートである。図５に示すように、歩行者候補領域特定部２２は、熱源体領域を構成する画素のｘ座標およびｙ座標を参照して、ｘ座標の最小値ｘｍｉｎ、最大値ｘｍａｘ、ｙ座標の最小値ｙｍｉｎ、最大値ｙｍａｘを取得し、（ｘｍｉｎ，ｙｍｉｎ）、（ｘｍｉｎ，ｙｍａｘ）、（ｘｍａｘ，ｙｍｉｎ）および（ｘｍａｘ，ｙｍａｘ）の４点にて画定される熱源体領域の外枠領域を特定する（ステップ５０１）。ステップ５０１により、熱源体領域のそれぞれについて、当該熱源体領域と接する矩形の外枠領域が得られる。
【００３９】
次いで、歩行者候補領域特定部２２は、画像データを構成する画素の縦方向および横方向の個数、並びに、遠赤外線カメラ１１のレンズの焦点距離を考慮して、外枠領域の幅が所定値より大きいような熱源体領域を、歩行者候補領域から除外する（ステップ５０２）。たとえば、画素の個数およびレンズの焦点距離により、外枠領域の実際の大きさを把握することができる。そこで、歩行者が横に並んだとしても通常考えられない幅（たとえば、数ｍ以上）に相当する外枠領域については、歩行者候補領域から除外している。無論、縦方向についても同様の判断を行なって良い。
【００４０】
歩行者候補領域特定部２２は、外径領域の縦横比（縦の長さ／横幅）が、所定より小さい熱源体領域を、歩行者候補領域から除外する（ステップ５０３）。これは、歩行者が横に並んだとしても、或いは、歩行者の一部が隠れていたとしても、横幅が縦の長さの数倍になる可能性が小さいという判断に基づいている。
【００４１】
また、歩行者候補領域特定部２２は、各熱源体領域の重心位置の座標および中心位置の座標を算出する（ステップ５０４）。熱源体領域の重心位置のｘ座標、および、ｙ座標は以下のように算出され得る。
重心位置のｘ座標＝（１／Ｎ）・Σ（熱源体領域に含まれる画素のｘ座標）
重心位置のｙ座標＝（１／Ｎ）・Σ（熱源体領域に含まれる画素のｙ座標）
なお、Ｎは、熱源体領域を構成する画素の数である。
【００４２】
また、熱源体領域の中心位置のｘ座標、および、ｙ座標は以下のように算出され得る。
中心位置のｘ座標＝（１／２）・（ｘｍｉｎ＋ｘｍａｘ）
中心位置のｙ座標＝（１／２）・（ｙｍｉｎ＋ｙｍａｘ）
歩行者候補領域特定部２２は、重心位置のｘ座標と、中心位置のｘ座標との相違が所定の範囲外、つまり｜（重心位置のｘ座標）−（中心位置のｘ座標）｜＞所定値であるような熱源体領域を、歩行者候補領域から除外する（ステップ５０５）。また、歩行者候補領域特定部２２は、重心位置のｙ座標が中心位置のｙ座標より下、つまり、（重心位置のｙ座標）＜（中心位置のｙ座標）であるような熱源体領域を、歩行者候補領域から除外する（ステップ５０６）。これにより、除外されなかった熱源体領域が歩行者候補領域となり、ＲＡＭ１６に格納された歩行者候補領域の情報が、次の歩行者判定部２３による処理にて参照される。
【００４３】
なお、本実施の形態にかかる歩行者候補領域特定処理では、外径領域の幅、外径領域の縦横比、重心位置および中心位置のｘ座標、並びに、重心位置および中心位置のｙ座標に基づいて、熱源体領域から歩行者候補領域を絞り込んでいる。しかしながら、絞込みのための所定値や所定範囲は、あまり感度の良いものでなくても良い。つまり、歩行者候補領域特定処理では、多くの熱源体領域を除外する必要は無い。また、上記全ての絞込みを行なわなくても良い。本実施の形態においては、次に実行される歩行者判定部２３における処理が、歩行者認識の主たるものであり、歩行者候補領域特定処理はその前処理である。そこで、歩行者候補領域特定処理においては、あまり厳密に歩行者候補領域を絞り込む必要が無い。
【００４４】
次に、歩行者判定部２３における処理について説明する。図６は、本実施の形態にかかる第１判定処理部における第１の判定処理の例を示すフローチャートである。図６に示すように、第１判定処理部３４は、ＲＡＭ１６から処理対象となる歩行者候補領域の情報を取得する（ステップ６０１）。第１判定処理部３４は、歩行者候補領域における画素のデータ値に基づいて、値ごとのヒストグラムを生成する（ステップ６０２）。前述したように、画素のデータ値は、低温値、中温値、および、高温値の何れかである。たとえば、ヒストグラムにおいては、低温値、中温値、高温値を有する画素数の割合が示される。
【００４５】
第１判定処理部３４は、各値の画素数の割合が、それぞれ、予め定められた範囲内であるかを判断する（ステップ６０３）。図７は、画像データにおいて実際の歩行者の領域についてのヒストグラムおよび歩行者以外（人工物）の領域についてのヒストグラムの例である。図７において、符号７０１〜７０３が歩行者の領域についてのヒストグラムを示し、符号７１１〜７１３が人工物の領域についてのヒストグラムを示す。
【００４６】
図７に示すように、人工物の領域は、歩行者の領域と比較すると、特定の値に値が偏る傾向がある。本実施の形態では、予め多数の画像データから実際に歩行者の領域を切り出して、低温値〜高温値の割合を求めて、歩行者の領域における各値の範囲を取得している。この取得された値の範囲は、ＲＡＭ１６に格納されている。図７において、符号７２１、７２２、７２３で示す範囲が、それぞれ、歩行者の領域と考えられる高温値、中温値および低温値の値の範囲である。
【００４７】
第１判定処理部３４は、各値の画素数の割合が、それぞれ、定められた範囲内であるかを判断して、全てが範囲内であれば（ステップ６０４でＹｅｓ）、ＲＡＭ１６中の歩行者候補領域の情報を残す（ステップ６０５）。これは、ＲＡＭ１６中の当該歩行者候補領域の情報を削除せずそのままにしておけば良い。その一方、ステップ６０４でＮｏと判断された場合には、第１判定処理部３４は、ＲＡＭ１６中の歩行者候補領域の情報を削除する（ステップ６０６）。その後、第１判定処理部３４は、ＲＡＭ１６中の歩行者候補領域の情報を参照して、全ての歩行者候補領域について処理を終了したかを判断する（ステップ６０７）。ステップ６０７でＮｏと判断された場合には、ステップ６０１に戻る。その一方、ステップ６０７でＹｅｓと判断された場合には、第１の判定処理が終了される。
【００４８】
次いで、第２判定処理部３５が、第２の判定処理を実行する。図８は、本実施の形態にかかる第２判定処理部における第２の判定処理の例を示すフローチャートである。図８に示すように、第２判定処理部３５は、ＲＡＭ１６から処理対象となる歩行者候補領域の情報を取得する（ステップ６０１）。第２判定処理部３５は、歩行者候補領域の情報中、各画素のｘ座標およびｙ座標を参照して、歩行者候補領域におけるｘ座標の最小値ｘｍｉｎ、最大値ｘｍａｘ、ｙ座標の最小値ｙｍｉｎ、最大値ｙｍａｘを取得し、（ｘｍｉｎ，ｙｍｉｎ）、（ｘｍｉｎ，ｙｍａｘ）、（ｘｍａｘ，ｙｍｉｎ）および（ｘｍａｘ，ｙｍａｘ）の４点にて画定される歩行者候補領域の外枠領域を特定する（ステップ８０２）。これは、図５のステップ５０１と略同様の処理である。ステップ８０２により、歩行者候補領域と接する矩形の外枠領域が得られる。
【００４９】
次いで、第２判定処理部３５は、外枠領域を複数のブロックに分割して、各ブロックに属する画素を特定する（ステップ８０３）。ブロックの数は、たとえば、３×３＝９であれば良い。或いは、外枠領域のサイズおよび縦横比に応じて、縦、横とも、所定の範囲（たとえば２〜４）の範囲で変更可能としても良い。以下、ブロック数を９とした場合を説明する。図９（ａ）、（ｂ）は、画像データ中において抽出された歩行者候補領域、外枠領域およびブロックの例を説明する図である。図９（ａ）では、元の画像データ９００に、歩行者候補領域の外縁を示す曲線９１１、外枠およびブロックを規定する直線９１０が重ねられている。
【００５０】
第２判定処理部３５は、ブロックごとに当該ブロックに含まれる歩行者候補領域を構成する画素のデータ値の平均値を算出する（ステップ８０４）。図９（ｂ）では、たとえば、左上段のブロックに含まれる歩行者候補領域９２１の画素のデータ値についての平均値、中央上段のブロックに含まれる歩行者候補領域９２２の画素のデータ値についての平均値などが算出される。
【００５１】
次いで、第２判定処理部３５は、各ブロックの平均値の横方向における変化を示す指標値を取得する（ステップ８０５）。図９（ｂ）において、たとえば、左上段のブロックに含まれる歩行者候補領域９２１、中央上段のブロックに含まれる歩行者候補領域９２２、右上段のブロックに含まれる歩行者候補領域９２３のそれぞれについて、平均値の変化を示す指標値（第１の指標値）が取得される。中段、下段についても同様に平均値の変化を示す指標値が取得される。横方向については、平均値の変化を示す指標値として、たとえば、平均値の最大値と最小値との差の絶対値（｜最大値−最小値｜）を用いることができる。
【００５２】
また、第２判定処理部３５は、各ブロックの平均値の縦方向における変化を示す指標値を取得する（ステップ８０６）。図９（ｂ）において、たとえば、左上段のブロックに含まれる歩行者候補領域９２１、左中段のブロックに含まれる歩行者候補領域９３１、左下段のブロックに含まれる歩行者候補領域９３２のそれぞれについて、平均値の変化を示す指標値（第２の指標値）が取得される。中央の列、および、右列についても、同様に平均値の変化を示す指標値が取得される。縦方向については、平均値の変化を示す指標値として、（上側に位置するブロックについての平均値）−（下側に位置するブロックについての平均値）を用いることができる。
【００５３】
第２判定処理部３５は、上段、中段、下段のそれぞれの、横方向についての平均値の変化を示す第１の指標値が、所定の第１の条件に合致し、かつ、左列、中央の列、右列のそれぞれの、縦方向についての平均値の変化を示す第２の指標値が、所定の第２の条件に合致しているかを判断する（ステップ８０７）。
【００５４】
本実施の形態において、たとえば、第１の条件は、第１の指標値が、所定の閾値よりも小さいことである。つまり、横方向については、平均値の変化が、所定よりも小さいこと、つまり、平均値がほぼ一定であることが条件となる。また、第２の条件は、第２の指標値が正の値であることである。つまり、縦方向については、平均値が、上から下に向かって減少している（温度が上から下に向かって減少する傾向がある）ことが条件となる。
【００５５】
ステップ８０７でＹｅｓと判断された場合には、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を残す（ステップ８０８）。その一方、ステップ８０７でＮｏと判断された場合には、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を削除する（ステップ８０９）。その後、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を参照して、全ての歩行者候補領域について処理を終了したかを判断する（ステップ８１０）。ステップ８１０でＮｏと判断された場合には、ステップ８０１に戻る。その一方、ステップ８１０でＹｅｓと判断された場合には、第２の判定処理が終了される。
【００５６】
次いで、第３判定処理部３６が、第３の判定処理を実行する。図１０は、本実施の形態にかかる第３判定処理部による第３の判定処理の例を示すフローチャートである。図１０に示すように、第３判定処理部３６は、ＲＡＭ１６から処理対象となる歩行者候補領域の情報を取得する（ステップ１００１）。第３判定処理部３６は、歩行者候補領域の情報を参照して、値ごと、つまり、高温値、中温値および低温値のそれぞれについて、重心位置の座標を取得する（ステップ１００２）。同じ値を有するＭ個の画素のｘ座標、ｙ座標は、それぞれ以下のように求められ得る。
重心位置のｘ座標＝（１／Ｍ）・Σ（同じ値を有する画素のｘ座標）
重心位置のｙ座標＝（１／Ｍ）・Σ（同じ値を有する画素のｙ座標）
第３判定処理部３６は、各値についての重心位置のｘ座標を比較し（ステップ１００３）、
各値の重心位置のｘ座標が所定範囲内に隣接しているかを判断する（ステップ１００４）。ステップ１００４においては、たとえば、ｘ座標の最大値とｘ座標の最小値との差の絶対値（｜ｘ座標の最大値−ｘ座標の最小値｜）が算出され、当該差の絶対値が所定の閾値より小さいかが判断される。ステップ１００４でＹｅｓと判断された場合には、第３判定処理部は、各値についての重心位置のｙ座標を比較し（ステップ１００５）、高温側の値になるのにしたがって、ｙ座標がより大きいかを判断する（ステップ１００６）。ステップ１００６では、（高温値についてのｙ座標）＞（中温値についてのｙ座標）＞（低温値についてのｙ座標）が成立しているかが判断される。
【００５７】
ステップ１００６でＹｅｓと判断された場合には、第３判定処理部３６は、ＲＡＭ１６ の歩行者候補領域の情報を残す（ステップ１００７）。その一方、ステップ１００４でＮｏと判断された場合、或いは、ステップ１００６でＮｏと判断された場合には、第３判定処理部３６は、ＲＡＭ１６中の歩行者候補領域の情報を削除する（ステップ１００８）。その後、第３判定処理部３６は、ＲＡＭ１６中の歩行者候補領域の情報を参照して、全ての歩行者候補領域について処理を終了したかを判断する（ステップ１００９）。ステップ１００９でＮｏと判断された場合には、ステップ１００１に戻る。
【００５８】
ステップ１００９でＹｅｓと判断された場合には、第３判定処理部３６は、ＲＡＭ１６に格納された歩行者候補領域の情報を、最終的な歩行者領域の情報とする（ステップ１０１０）。ステップ１０１０では、歩行者候補領域の情報を新たに歩行者領域の情報として、ＲＡＭ１６に格納しても良いし、歩行者候補領域の情報に、歩行者領域確定フラグを設け、当該歩行者領域確定フラグを「１」にセットしても良い。
【００５９】
図１１は、歩行者候補領域および値ごとの重心位置の例を示す図である。図１１において、歩行者候補領域１１００の、高温値についての重心位置、中温値についての重心位置および低温値についての重心位置が、それぞれ、符号１１０１、１１０２、１１０３で示されている。高温値についての重心位置の座標は（Ｘ４，Ｙ４）、中温値についての重心位置の座標は（Ｘ３，Ｙ３）、低温値についての重心位置の座標は（Ｘ２，Ｙ２）である。
【００６０】
ステップ１００４では、ｘ座標の最大値Ｘ３と、最小値Ｘ２とが比較され、Ｘ３−Ｘ２が、所定の閾値Ｘｔｈより小さいと判断される。また、ステップ１００６では、ｙ座標が比較され、Ｙ４＞Ｙ３＞Ｙ２が成立していると判断される。したがって、図１１に示す歩行者候補領域１１００は、重心位置についての条件を満たすため、歩行者領域と判断される。
【００６１】
歩行者判定部２３における処理が終了すると、表示画像生成部２４は、ＲＡＭ１６から歩行者領域の情報を取得して、画像データに、歩行者領域を囲む枠を付与して、枠が付された画像データを、表示部１５に出力する。これにより、表示部１５の画面上には、歩行者領域を枠で囲んで強調した画像が表示される。
【００６２】
図１２（ａ）、（ｂ）は、それぞれ、画像データの例を示す図である。図１２（ａ）において、画像１２００においては、複数の歩行者候補領域（たとえば、符号１２０２、１２０２、１２０３参照）が存在する。処理の結果、歩行者候補領域１２０１が歩行者領域であると判断され、図１２（ｂ）に示すように、画像１２１０において、歩行者領域の枠１２１１が付加される。
【００６３】
次に本発明の第２の実施の形態について説明する。第１の実施の形態においては、第２判定処理において、外枠領域を複数のブロックに分割し、各ブロックに含まれる歩行者候補領域を構成する画素のデータ値の平均値を算出し、平均値の傾向を見ることで、歩行者候補領域の絞込みを行なっている。第２の実施の形態では、各ブロックの温度分布を取得して、温度分布の傾向から、歩行者候補領域の絞込みを行なう。熱源体領域抽出部２１による処理、歩行者候補領域特定部２２による処理は、第１の実施の形態のものと同様である。また、歩行者判定部２３における第１判定処理部３４および第３判定処理部２６における処理も、第１の実施の形態のものと同様である。
【００６４】
図１３は、本発明の第２の実施の形態にかかる第２判定処理の例を示すフローチャートである。図１３において、ステップ１３０１〜１３０３は、第１の実施の形態と同様である。ステップ１３０３の後、第２判定処理部３５は、各ブロックにおいて、当該ブロックに含まれる歩行者候補領域を校正する画素のデータ値に基づいて、値ごとのヒストグラムを生成する（ステップ１３０４）。画素のデータ値は、低温値、中温値、および、高温値の何れかであるため、たとえば、ヒストグラムにおいては、低温値、中温値、高温値を有する画素数の割合が示される。本実施の形態では、外枠領域は９つのブロックに分割されるため、９つのヒストグラムが生成される。
【００６５】
次いで、第２判定処理部３５は、横方向のブロックの度数の割合の変化を示す指標値（第３の指標値）を取得する（ステップ１３０５）。また、第２判定処理部３５は、縦方向のブロックの度数の割合の変化を示す指標値（第４の指標値）を取得する（ステップ１３０６）。第２判定部３５は、第３の指標値の全てが所定の第３の条件にしがっており、かつ、第４の指標値の全てが所定の第４の条件にしたがっているかを判断する（ステップ１３０７）。
【００６６】
図１４（ａ）は、外枠領域および分割されたブロックの例を示す図、図１４（ｂ）は、各ブロックに関するヒストグラムの例を示す図である。図１４（ｂ）においては、図１４（ａ）に示すように外枠領域１４００を９つに分割したブロックＡ１１〜Ａ１３のうち、Ａ１１〜Ａ１３（符号１４１１〜１４１３）、Ａ２１およびＡ３１（符号１４２１、１４３１）についてのヒストグラムを例示している。
【００６７】
たとえば、第３の指標値として、横方向の各値について、度数の割合の最大値と最小値との差の絶対値を用いることができる。図１４（ｂ）の例では、上段のブロックについて、度数の割合の最大値と最小値との差の絶対値として、それぞれ、以下の値が算出される。
｜Ｖ４（Ａ１１）−Ｖ４（Ａ１２）｜
｜Ｖ３（Ａ１３）−Ｖ３（Ａ１１）｜
｜Ｖ２（Ａ１３）−Ｖ３（Ａ１２）｜
横方向については、上記差の絶対値（第３の指標値）が、所定の閾値より小さい場合に、第３の条件にしたがっていると判断される。中段および下段についても同様に、第３の指標値が算出され、所定の閾値よりも小さいかが判断される。
【００６８】
また、第４の指標値として、縦方向に隣接するブロックの高温値および低温値について、（上側に位置するブロックの度数の割合）−（下側に位置する度数の割合）を用いることができる。図１４（ｂ）の例では、左列のブロックについて、（上側に位置するブロックの度数の割合）−（下側に位置する度数の割合）として以下の値が算出される。
Ｖ４（Ａ１１）−Ｖ４（Ａ２１）
Ｖ２（Ａ１１）−Ｖ２（Ａ２１）
Ｖ４（Ａ２１）−Ｖ４（Ａ３１）
Ｖ２（Ａ２１）−Ｖ２（Ａ３１）
縦方向については、高温値Ｖ４は、上から下に向かって減少し、低音値Ｖ２は、上から下の向かって上昇する場合に第４の条件にしたがっていると判断される。つまり、左列のブロックでは、
Ｖ４（Ａ１１）−Ｖ４（Ａ２１）＞０、Ｖ４（Ａ２１）−Ｖ４（Ａ３１）＞０、かつ、
Ｖ２（Ａ１１）−Ｖ２（Ａ２１）＜０、Ｖ２（Ａ２１）−Ｖ２（Ａ３１）＜０であることが、第４の条件となる。
【００６９】
ステップ１３０７でＹｅｓと判断された場合には、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を残す（ステップ１３０８）。その一方、ステップ１３０７でＮｏと判断された場合には、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を削除する（ステップ１３０９）。その後、第２判定処理部３５は、ＲＡＭ１６中の歩行者候補領域の情報を参照して、全ての歩行者候補領域について処理を終了したかを判断する（ステップ１３１０）。ステップ１３１０でＮｏと判断された場合には、ステップ１３０１に戻る。その一方、ステップ１３１０でＹｅｓと判断された場合には、第２の判定処理が終了される。
【００７０】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００７１】
たとえば、第１の実施の形態の第２の判定処理では、横方向における変化を示す第1の指標値として、平均値の最大値と最小値との差の絶対値を用いていたが、これに限定されず、隣接するブロックの平均値の差の絶対値を用いても良い。この場合、第１の条件は、上記平均値の差の絶対値の全てが、所定の閾値よりも小さいことになる。
【００７２】
また、第２の実施の形態にかかる第２の判定処理では、横方向における変化を示す第３の指標値として、度数の割合の最大値と最小値との差の絶対値を用いていた。しかしながら、これに限定されず、たとえば、第３の指標値として、横方向で隣接するブロックの各値について、隣接する値に関する度数の割合の差の絶対値を用いることができる。図１４（ｂ）の例では、上段のブロックについて、隣接する値に関する度数の割合の差の絶対値として、以下の値が算出される。
｜Ｖ４（Ａ１１）−Ｖ４（Ａ１２）｜
｜Ｖ３（Ａ１１）−Ｖ３（Ａ１２）｜
｜Ｖ２（Ａ１１）−Ｖ３（Ａ１２）｜
｜Ｖ４（Ａ１２）−Ｖ４（Ａ１３）｜
｜Ｖ３（Ａ１２）−Ｖ３（Ａ１３）｜
｜Ｖ２（Ａ１２）−Ｖ３（Ａ１３）｜
この例では、横方向について、上記差の絶対値が、所定の閾値より小さい場合に、第３の条件にしたがっていると判断される。中段および下段についても同様に、第３の指標値が算出され、所定の閾値よりも小さいかが判断される。
【００７３】
また、本発明においては、遠赤外線カメラにより撮影された画像データを４値化して、４値化された新たな画像データが得られているが、これに限定されるものではなく３値化された新たな画像データや、５値化以上の値を有する新たな画像データが生成され、新たな画像データが処理に利用されても良い。
【符号の説明】
【００７４】
１０ 画像処理システム
１１ 遠赤外線カメラ
１２ インタフェース
１３ ＣＰＵ
１４ 入力部
１５ 表示部
１６ ＲＡＭ
１７ ＲＯＭ
１８ 歩行者認識部
２１ 熱源体領域抽出部
２２ 歩行者候補領域特定部
２３ 歩行者判定部
３１ ４値化処理部
３２ ノイズ除去処理部
３３ ラベリング処理部
３４ 第１判定処理部
３５ 第２判定処理部
３６ 第３判定処理部
【特許請求の範囲】
【請求項１】
赤外線カメラにより撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データを受け入れて、前記画像データから、各画素が温度に基づく３値以上の多値のデータ値を有する、多値画像データを取得する多値画像データ取得手段と、
前記多値画像データ中、各画素のデータ値に基づいて、所定温度以上を示す画素の領域を歩行者候補領域として抽出する歩行者候補領域抽出手段と、
前記歩行者候補領域に含まれる画素のデータ値を参照して、前記データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する第１の判定手段と、
前記第１の判定手段により歩行者に該当すると判断された歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第２の判定手段と、を備えたことを特徴とする画像処理システム。
【請求項２】
前記第１の判定手段が、前記値ごとの度数の割合が、それぞれ、予め定められた所定の範囲内であるかに基づいて判断することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記第２の判定手段が、前記ブロックごとに、前記ブロックに含まれる歩行者候補領域の画素のデータ値の平均値を算出し、前記横方向における平均値の変化を示す第１の指標値を算出するとともに、前記縦方向における平均値の変化を示す第２の指標値を算出することを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記多値画像データのデータ値は、温度が高くなるのにしたがってその値が増大し、
前記第２の判定手段が、
前記第１の指標値として、前記横方向について、平均値の最大値と最小値との差を算出し、前記第１の指標値が、前記第１の指標値が所定の範囲内であるときに、第１の条件に合致すると判断し、
前記第２の指標値として、縦方向に隣接するブロックについて、上側に位置するブロックの平均値−下側に位置するブロックの平均値を算出し、前記第２の指標値が正であるときに、第２の条件に合致すると判断し
前記第１の条件および第２の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記多値画像データのデータ値は、温度が高くなるのにしたがってその値が増大し、
前記第２の判定手段が、
前記第１の指標値として、横方向に隣接するブロックについての平均値の差を算出し、当該第１の指標値が、それぞれ、所定の範囲内であるときに、第１の条件に合致すると判断し、
前記第２の指標値として、縦方向に隣接するブロックについて、上側に位置するブロックの平均値−下側に位置するブロックの平均値を算出し、前記第２の指標値が正であるときに、第２の条件に合致すると判断し、
前記第１の条件および第２の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項３に記載の画像処理システム。
【請求項６】
前記第２の判定手段が、
前記ブロックごとに、前記ブロックに含まれる歩行者候補領域の画素のデータ値ごとの度数の割合を算出し、前記横方向における度数の割合の変化を示す第３の指標値を算出するとともに、前記縦方向における度数の割合の変化を示す第４の指標値を算出することを特徴とする請求項１または２に記載の画像処理システム。
【請求項７】
前記第２の判定手段が、
前記第３の指標値として、前記横方向に隣接するブロックにおいて、値ごとの度数の変化の割合の最大値と最小値との差を算出し、前記第３の指標値が、所定の範囲内であるときに、第３の条件に合致すると判断し、
前記第４の指標値として、前記縦方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、値にしたがって、第４の指標値が所定の同一の傾向を示すときに、前記第４の条件に合致すると判断し、
前記第３の条件および第４の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項６に記載の画像処理システム。
【請求項８】
前記第２の判定手段が、
前記第３の指標値として、前記横方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、前記第３の指標値が、それぞれ、所定の範囲内であるときに、第３の条件に合致すると判断し、
前記第４の指標値として、前記縦方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、値にしたがって、第４の指標値が所定の同一の傾向を示すときに、前記第４の条件に合致すると判断し、
前記第３の条件および第４の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項６に記載の画像処理システム。
【請求項９】
前記歩行者候補領域を構成する画素の座標および画素のデータ値を参照して、前記データ値ごとの重心位置を算出し、前記重心位置の座標に基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第３の判定手段を備えたことを特徴とする請求項１ないし８の何れか一項に記載の画像処理システム。
【請求項１０】
前記第３の判定手段が、前記データ値ごとの重心のｘ座標が、所定の範囲内に隣接しているときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項９に記載の画像処理システム。
【請求項１１】
前記第３の判定手段が、前記データ値ごとの重心のｙ座標が、温度が高いことを示すデータ値になるのにしたがって大きくなるときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項９または１０に記載の画像処理システム。
【請求項１２】
赤外線カメラにより撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データを受け入れて、前記画像データから、各画素が温度に基づく３値以上の多値のデータ値であって、温度が高くなるのにしたがって値が増大する多値画像データを取得する多値画像データ取得ステップと、
前記多値画像データ中、各画素のデータ値に基づいて、所定温度以上を示す画素の領域を歩行者候補領域として抽出する歩行者候補領域抽出ステップと、
前記歩行者候補領域に含まれる画素のデータ値を参照して、前記データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する第１の判定ステップと、
前記第１の判定手段により歩行者に該当すると判断された歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第２の判定ステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
赤外線カメラにより撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データを受け入れて、前記画像データから、各画素が温度に基づく３値以上の多値のデータ値を有する、多値画像データを取得する多値画像データ取得手段と、
前記多値画像データ中、各画素のデータ値に基づいて、所定温度以上を示す画素の領域を歩行者候補領域として抽出する歩行者候補領域抽出手段と、
前記歩行者候補領域に含まれる画素のデータ値を参照して、前記データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する第１の判定手段と、
前記第１の判定手段により歩行者に該当すると判断された歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第２の判定手段と、を備えたことを特徴とする画像処理システム。
【請求項２】
前記第１の判定手段が、前記値ごとの度数の割合が、それぞれ、予め定められた所定の範囲内であるかに基づいて判断することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記第２の判定手段が、前記ブロックごとに、前記ブロックに含まれる歩行者候補領域の画素のデータ値の平均値を算出し、前記横方向における平均値の変化を示す第１の指標値を算出するとともに、前記縦方向における平均値の変化を示す第２の指標値を算出することを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記多値画像データのデータ値は、温度が高くなるのにしたがってその値が増大し、
前記第２の判定手段が、
前記第１の指標値として、前記横方向について、平均値の最大値と最小値との差を算出し、前記第１の指標値が、前記第１の指標値が所定の範囲内であるときに、第１の条件に合致すると判断し、
前記第２の指標値として、縦方向に隣接するブロックについて、上側に位置するブロックの平均値−下側に位置するブロックの平均値を算出し、前記第２の指標値が正であるときに、第２の条件に合致すると判断し
前記第１の条件および第２の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記多値画像データのデータ値は、温度が高くなるのにしたがってその値が増大し、
前記第２の判定手段が、
前記第１の指標値として、横方向に隣接するブロックについての平均値の差を算出し、当該第１の指標値が、それぞれ、所定の範囲内であるときに、第１の条件に合致すると判断し、
前記第２の指標値として、縦方向に隣接するブロックについて、上側に位置するブロックの平均値−下側に位置するブロックの平均値を算出し、前記第２の指標値が正であるときに、第２の条件に合致すると判断し、
前記第１の条件および第２の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項３に記載の画像処理システム。
【請求項６】
前記第２の判定手段が、
前記ブロックごとに、前記ブロックに含まれる歩行者候補領域の画素のデータ値ごとの度数の割合を算出し、前記横方向における度数の割合の変化を示す第３の指標値を算出するとともに、前記縦方向における度数の割合の変化を示す第４の指標値を算出することを特徴とする請求項１または２に記載の画像処理システム。
【請求項７】
前記第２の判定手段が、
前記第３の指標値として、前記横方向に隣接するブロックにおいて、値ごとの度数の変化の割合の最大値と最小値との差を算出し、前記第３の指標値が、所定の範囲内であるときに、第３の条件に合致すると判断し、
前記第４の指標値として、前記縦方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、値にしたがって、第４の指標値が所定の同一の傾向を示すときに、前記第４の条件に合致すると判断し、
前記第３の条件および第４の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項６に記載の画像処理システム。
【請求項８】
前記第２の判定手段が、
前記第３の指標値として、前記横方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、前記第３の指標値が、それぞれ、所定の範囲内であるときに、第３の条件に合致すると判断し、
前記第４の指標値として、前記縦方向に隣接するブロックにおいて、値ごとの度数の変化の割合の差を算出し、値にしたがって、第４の指標値が所定の同一の傾向を示すときに、前記第４の条件に合致すると判断し、
前記第３の条件および第４の条件に合致するときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項６に記載の画像処理システム。
【請求項９】
前記歩行者候補領域を構成する画素の座標および画素のデータ値を参照して、前記データ値ごとの重心位置を算出し、前記重心位置の座標に基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第３の判定手段を備えたことを特徴とする請求項１ないし８の何れか一項に記載の画像処理システム。
【請求項１０】
前記第３の判定手段が、前記データ値ごとの重心のｘ座標が、所定の範囲内に隣接しているときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項９に記載の画像処理システム。
【請求項１１】
前記第３の判定手段が、前記データ値ごとの重心のｙ座標が、温度が高いことを示すデータ値になるのにしたがって大きくなるときに、前記歩行者候補領域が歩行者に該当すると判断することを特徴とする請求項９または１０に記載の画像処理システム。
【請求項１２】
赤外線カメラにより撮影された、撮影対象物の温度に基づく各画素のデータ値を含む画像データを受け入れて、前記画像データから、各画素が温度に基づく３値以上の多値のデータ値であって、温度が高くなるのにしたがって値が増大する多値画像データを取得する多値画像データ取得ステップと、
前記多値画像データ中、各画素のデータ値に基づいて、所定温度以上を示す画素の領域を歩行者候補領域として抽出する歩行者候補領域抽出ステップと、
前記歩行者候補領域に含まれる画素のデータ値を参照して、前記データ値ごとにその度数の割合を示すヒストグラムを生成し、前記値ごとの度数の割合に基づいて、前記歩行者候補領域が歩行者に該当するかを判断する第１の判定ステップと、
前記第１の判定手段により歩行者に該当すると判断された歩行者候補領域について、その外縁を取り囲む外枠領域を生成し、かつ、当該外枠領域を複数のブロックに分割し、ブロックごとの、当該ブロックに含まれる歩行者候補領域の画素のデータ値に基づき、前記横方向のブロックにおけるデータ値の変化を示す指標値と、前記縦方向のブロックにおけるデータ値の変化を示す指標値とに基づいて、前記歩行者候補領域が歩行者に該当するかをさらに判断する第２の判定ステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−２３４０１２（Ｐ２０１１−２３４０１２Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１００８３６（Ｐ２０１０−１００８３６）
【出願日】平成２２年４月２６日（２０１０．４．２６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 〔発行者名〕 社団法人 電気学会 〔刊行物名〕 平成２２年電気学会全国大会 講演論文集（Ｔｈｅ ２０１０ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ Ｒｅｃｏｒｄ Ｉ．Ｅ．Ｅ．Ｊａｐａｎ） 〔発行年月日〕 平成２２年３月５日
【出願人】（５９３１７２１３１）株式会社トーキンオール (12)
【出願人】（５１０１１６４５１）
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２６日（２０１０．４．２６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 〔発行者名〕 社団法人 電気学会 〔刊行物名〕 平成２２年電気学会全国大会 講演論文集（Ｔｈｅ ２０１０ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ Ｒｅｃｏｒｄ Ｉ．Ｅ．Ｅ．Ｊａｐａｎ） 〔発行年月日〕 平成２２年３月５日
【出願人】（５９３１７２１３１）株式会社トーキンオール (12)
【出願人】（５１０１１６４５１）
【Ｆターム（参考）】
[ Back to top ]