物体認識装置および物体認識方法
【課題】識別対象が画像上で変形する場合であっても、その識別対象の認識率を向上させることができる、物体認識装置および物体認識方法を提供する。
【解決手段】物体認識装置１は、記憶部２０内に、認識対象の情報を示す監視物体情報２１０と、カメラ装置のパラメータを示すカメラ情報２２０を記憶している。そして、物体認識装置１は、監視物体情報２１０を用いて、監視空間上に検知領域を作成し、その作成した検知領域を、カメラ情報２２０を用いて、監視画像上の変形検知領域に変換する。物体認識装置１は、変形検知領域の画像情報１００について特徴量を抽出し、認識対象の物体か否かを判定する。
【解決手段】物体認識装置１は、記憶部２０内に、認識対象の情報を示す監視物体情報２１０と、カメラ装置のパラメータを示すカメラ情報２２０を記憶している。そして、物体認識装置１は、監視物体情報２１０を用いて、監視空間上に検知領域を作成し、その作成した検知領域を、カメラ情報２２０を用いて、監視画像上の変形検知領域に変換する。物体認識装置１は、変形検知領域の画像情報１００について特徴量を抽出し、認識対象の物体か否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体認識装置および物体認識方法に関する。
【背景技術】
【０００２】
監視カメラ等の撮像デバイスが取得した画像情報から特定の物体を認識する方法に関して、従来技術においては、画像上の所定の領域（例えば、認識処理を実行する範囲を示す矩形の領域）から抽出した特徴量を用いて、物体を認識する方法が多数提案されている。
【０００３】
例えば、人物認識を実現する技術において、特許文献１には、人物を含む画像と含まない画像で構成される学習サンプルから、アピアランス（物体の外観から読み取れる形状や色の情報）、輪郭情報等の特徴量を抽出し、人物と人物以外を識別する識別器を生成する手段と、この識別器を用いて画像上の所定の領域（矩形の領域）に人物が存在するか否かを認識する手段とを用いて、人物認識を実現する技術が開示されている。
【０００４】
また、特許文献２には、認識精度を向上するため、画像上の所定の領域（矩形の領域）を左右の領域に分割し、左半分画像、右半分画像、および全体画像のいずれか１つの画像が人物であると判定された場合に、その画像上の所定の領域内に、人物が存在すると認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８１２２０号公報
【特許文献２】特開２０１０−１０８１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の物体認識の手法では、予め定義した所定の領域（矩形の領域）を画像上で走査し、各画像位置における所定の領域（矩形の領域）内に人物や物体等の認識対象が含まれるか否かを識別する方法が用いられる。この識別を実行する識別器の生成に用いられる多くの学習サンプルでは、人物は直立した姿勢をとるものがほとんどである。そのため、走査した矩形の領域内の人物が、学習サンプルと同様である直立した姿勢である場合には認識率は高い。
【０００７】
しかし、実際に監視カメラ等で撮像した物体（人物等）は、カメラの位置、俯角、画角等のカメラパラメータ、物体の大きさやカメラと物体との位置関係等（以下、このカメラや物体自身に関する情報や、カメラと物体との位置関係等を示す情報をまとめて、「監視空間情報」とよぶ）によって、画像上での見え方が異なる。例えば、画像の端では歪みが発生し、カメラの設置の仕方によっては画像の傾き（画像の水平がとれていない状態）が発生する。また、カメラと物体との距離によって、その物体に縮小や拡大等の変形が画像上に生じる。このように歪み等の変形を生じた画像に対して、予め定義した画像上の所定の領域（矩形の領域）を用いる認識方法では、その矩形の領域内の認識対象が学習サンプルに合致する形状とならない限りは、認識できなかったり、誤った認識をしたりするという問題がある。
【０００８】
例えば、特許文献１に記載の技術では、直立した姿勢の人物画像を含む学習サンプルから全身の輪郭を学習し識別器を生成する。この生成した識別器を用いた場合、画像上の所定の領域（矩形の領域）で抽出した人物が直立した姿勢である場合は正しく認識できる。しかし、歪みを含んだ画像に対しては、画像上の所定の領域（矩形の領域）で抽出した人物特徴量が不十分なもとのなり、人物と認識できない場合がでてくる。
【０００９】
また、特許文献２に記載の技術では、画像上の所定の領域を左右の領域に分割しても、その画像内に含まれる歪み等の変形がそのまま残るため、人物認識に必要な特徴量を抽出できず、認識率が低下するという問題がある。
【００１０】
これらの問題を既存の技術を用いて解決しようとする場合に、学習サンプルに歪み等の変形を考慮したデータを含める方法が想定される。しかし、この方法は、カメラや物体の様々な条件に対応した多くのサンプルが必要となることや、認識対象の画像上での見え方（輪郭等）が多様化するため、認識対象でない背景を誤認識する確率が増加する傾向があるため現実的ではない。
【００１１】
このような背景に鑑みて本発明がなされたのであり、本発明は、識別対象が画像上で変形する場合であっても、その識別対象の認識率を向上させることができる、物体認識装置および物体認識方法を提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記した課題を解決するため、本発明の物体認識装置は、監視対象となる物体自身に関する監視物体情報や、カメラ装置のパラメータに関するカメラ情報が格納される監視空間情報を記憶しており、物体認識装置は、監視物体情報を用いて、監視空間上に検知領域を作成し、その作成した検知領域を、カメラ情報２２０を用いて、監視画像上の変形検知領域に変換する。そして、物体認識装置は、変形検知領域の画像情報について特徴量を抽出し、認識対象の物体か否かを判定する。
【発明の効果】
【００１３】
本発明によれば、識別対象が画像上で変形する場合であっても、その識別対象の認識率を向上させる、物体認識装置および物体認識方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る物体認識装置の構成例を示す機能ブロック図である。
【図２】本発明の第１の実施形態に係る変形検知領域作成部の構成を示す機能ブロック図である。
【図３】監視空間上の検知領域を、監視画像上の変形検知領域に変換する例を示す図である。
【図４】変形検知領域作成部が作成した監視画像上の変形検知領域の例を示す図である。
【図５】本発明の第１の実施形態に係る物体認識部の構成を示す機能ブロック図である。
【図６】本発明の第１の実施形態に係る物体認識装置が行う物体認識処理の流れを示すフローチャートである。
【図７】本発明の第２の実施形態に係る物体認識装置の構成例を示す機能ブロック図である。
【図８】本発明の第２の実施形態に係る認識範囲特定部の構成を示す機能ブロック図である。
【図９】本発明の第２の実施形態に係る認識範囲特定部が行う認識範囲特定処理を説明するための図である。
【図１０】本発明の第２の実施形態に係る物体認識装置が行う認識範囲特定処理の流れを示すフローチャートである。
【図１１】本発明の第３の実施形態に係る物体認識部の構成を示す機能ブロック図である。
【図１２】本発明の第３の実施形態に係る物体認識装置が行う人物認識処理の流れを示すフローチャートである。
【図１３】本発明の第３の実施形態に係る人物認識処理の流れを説明するための図である。
【図１４】本発明の第４の実施形態に係る物体認識部の構成を示す機能ブロック図である。
【図１５】本発明の第４の実施形態に係る人物カウント処理を説明するための図である。
【図１６】本発明の第４の実施形態に係る物体認識装置が行う人物カウント処理の流れを示すフローチャートである。
【図１７】本発明の第５の実施形態に係る物体認識装置の構成例を示す機能ブロック図である。
【図１８】本発明の第５の実施形態に係る人物追跡処理を説明するための図である。
【図１９】本発明の第５の実施形態に係る追跡物体認識部の構成を示す機能ブロック図である。
【図２０】本発明の第５の実施形態に係る物体認識装置が行う人物追跡処理の流れを示すフローチャートである。
【図２１】本発明の第５の実施形態に係る物体認識装置が行う人物追跡処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
次に、本発明を実施するための形態（以下、「実施形態」とよぶ）について、適宜図面を参照しながら詳細に説明する。
【００１６】
≪第１の実施形態：物体認識装置≫
先ず、本発明の第１の実施形態に係る物体認識装置１（１ａ）について説明する。
本発明の第１の実施形態に係る物体認識装置１（１ａ）は、監視空間１０００（図３参照）上にその認識対象を含む領域として後記する図３に示す検知領域１１００を作成し、その作成した検知領域１１００を、カメラ情報２２０を用いて、監視画像２０００上の変形検知領域２１００に変換する。この監視画像２０００上の変形検知領域２１００は、カメラ装置の各パラメータに関する情報を反映し、図３に示すように、監視画像２０００の歪みを考慮した上で作成される。そして、物体認識装置１（１ａ）は、歪み等で変形した認識対象を含む領域として作成された変形検知領域２１００の画像情報１００について、特徴量を抽出し、認識対象の物体か否かを判定する。
【００１７】
図１は、本発明の第１の実施形態に係る物体認識装置１（１ａ）の構成例を示す機能ブロック図である。
図１に示すように、本発明の第１の実施形態に係る物体認識装置１（１ａ）は、制御部１０と、記憶部２０と、メモリ部３０と、入力部４０と、出力部５０とを含んで構成される。
【００１８】
入力部４０は、入力インタフェースからなり、不図示のカメラ装置等の撮像デバイスから、撮影された画像情報１００を取り込む。
また、出力部５０は、出力インタフェースからなり、不図示のモニタ等の表示装置に、制御部１０の処理結果を表示させる。
【００１９】
記憶部２０は、ハードディスクやフラッシュメモリ等の記憶手段からなり、カメラや物体自身に関する情報や、カメラと物体との位置関係等を示す監視空間情報２００が記憶される。そして、この監視空間情報２００は、監視物体情報２１０およびカメラ情報２２０を含んで構成される。
【００２０】
監視物体情報２１０は、認識対象となる人物や物体等に関する情報であり、例えば、認識対象が人物の場合は、人物の幅、身長、足元座標（監視空間内での位置座標）等の情報である。また、認識対象が物体の場合は、その物体（例えば、自動車等や人以外の動物等）の大きさ（縦、横、高さ）等の情報である。なお、この人物や物体の監視物体情報２１０は、その認識対象を含んだ検知領域（矩形領域）１１００を変形検知領域作成部１３０が作成するために利用される（詳細は後記する）。
【００２１】
カメラ情報２２０は、入力部４０が取り込む画像情報１００を送信する不図示のカメラ装置の内部パラメータおよび外部パラメータの情報である。ここで、内部パラメータとは、カメラの焦点距離（ｆ）、画像座標の中心（ｘｃ、ｙｃ）、レンズ歪み係数（ｋ）、画像座標の縦横比（Ｓ）等である。また、外部パラメータとは、世界座標系の原点を基準とした平行移動ベクトル（Ｔ）、３行３列の回転ベクトル（Ｒ）である。これらの外部パラメータの設定は、例えば、「R.Y.Tsai, “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses” IEEE Journal of Robotics and Automation, Vol.RA-3, No.4, pp. 323-344, 1987」等の既存の技術を用いて設定することができる。
【００２２】
メモリ部３０は、ＲＡＭ（Random Access Memory）等の記憶手段からなり、制御部１０が行う物体認識処理の過程で必要な情報等を一時的に記憶する。
【００２３】
制御部１０は、物体認識装置１（１ａ）の物体認識処理の制御全般を司り、画像取得部１１０と、監視空間情報取得部１２０と、変形検知領域作成部１３０と、物体認識部１４０（１４０ａ）と、出力処理部１５０とを含んで構成される。なお、この制御部１０の機能は、例えば物体認識装置１（１ａ）の記憶部２０に記憶されたプログラムをＣＰＵ（Central Processing Unit）がメモリ部３０に展開し実行することで実現される。
【００２４】
画像取得部１１０は、入力部４０を介して、カメラ装置等から画像情報１００を取得する。
【００２５】
監視空間情報取得部１２０は、記憶部２０内の監視空間情報２００から、監視物体情報２１０およびカメラ情報２２０を取得する。
【００２６】
変形検知領域作成部１３０は、監視空間情報取得部１２０を介して、監視物体情報２１０を取得し、認識対象となる人物や物体に関する情報から監視空間１０００上の検知領域（矩形領域）１１００（後記する図３参照）を作成し、その検知領域１１００をカメラ情報２２０に基づき、監視画像２０００上の変形検知領域２１００（後記する図３参照）に変換する。なお、変形検知領域作成部１３０の詳細については、図２〜図４を参照し、後記において説明する。
【００２７】
物体認識部１４０（１４０ａ）は、変形検知領域作成部１３０が作成した変形検知領域２１００と、画像取得部１１０が取得した画像情報１００とを受け取り、その変形検知領域２１００内の画像情報１００から特徴量の抽出を行う。そして、物体認識部１４０（１４０ａ）は、抽出した特徴量を用いて、認識対象である人物や物体であるか否かを判定する。また、物体認識部１４０（１４０ａ）は、その認識結果を出力処理部１５０に出力する。なお、物体認識部１４０（１４０ａ）の詳細については、図５を参照し、後記において説明する。
【００２８】
出力処理部１５０は、制御部１０の物体認識部１４０が処理した認識結果を、出力部５０を介して、表示装置に表示させる。出力処理部１５０は、例えば、表示装置の監視画像２０００上の変形検知領域２１００を赤枠等で囲って表示させたり、監視画面上に認識対象となる人物や物体が認識された旨を示すポップアップメッセージを表示させる。また、携帯端末に認識対象となる人物や物体が認識されたことを示す情報（メール等）を送信するようにしてもよい。
【００２９】
（変形検知領域作成部１３０）
次に、本発明の第１の実施形態に係る物体認識装置１（１ａ）の変形検知領域作成部１３０の構成について詳細に説明する。図２は、本発明の第１の実施形態に係る変形検知領域作成部１３０の構成を示す機能ブロック図である。
【００３０】
図２に示すように、変形検知領域作成部１３０は、監視空間検知領域作成部１３１と画像検知領域変換部１３２とを含んで構成される。
【００３１】
監視空間検知領域作成部１３１は、監視物体情報２１０を監視空間情報取得部１２０から受け取り、監視空間１０００での検知領域１１００を作成する。この検知領域１１００は、監視空間１０００上でその空間位置に認識対象となる人物や物体が存在するか否かを物体認識装置１が検知する領域を示す。そして、この検知領域の形状は、認識対象となる人物や物体によって、例えば、矩形、丸形、菱形、五角形等の様々な形状を用いることができるが、以降、本実施形態では、矩形として説明する。
【００３２】
監視空間検知領域作成部１３１は、例えば、人物であれば、監視物体情報２１０を用いて、認識対象とする人物の幅、身長、足元座標を世界座標で定め、検知領域（矩形領域）１１００を作成する。なお、監視空間検知領域作成部１３１は、認識しようとする特定の人物が入力部４０を介して、物体認識装置１（１ａ）に入力されている場合には、その人物に対応した情報を監視物体情報２１０から取得する。一方、特定の人物を認識するのではなく、例えば、すべての人物を認識したい場合には、監視空間検知領域作成部１３１は、人物の幅や身長の異なる、様々な検知領域（矩形領域）１１００を作成し、物体認識処理を繰り返すことにより、不特定の人物を認識するようにしてもよい。
【００３３】
画像検知領域変換部１３２は、カメラ情報２２０を監視空間情報取得部１２０から受け取り、監視空間検知領域作成部１３１が作成した検知領域１１００を監視画像２０００上に変換し、変形検知領域２１００を作成する。
【００３４】
図３は、監視空間検知領域作成部１３１が作成した監視空間１０００上の検知領域（矩形領域）１１００を、画像検知領域変換部１３２が、監視画像２０００上の変形検知領域２１００に変換する例を説明するための図である。
【００３５】
図３に示すように、監視空間１０００は世界座標系で表現されており、世界座標系の原点６１は、例えば床面上の任意の点に設定される。また、カメラ装置６２は、空間位置６３（X,Y,Z）に設置され、カメラ装置６２により撮影された監視画像２０００は、画像座標系で表現される。そして、監視空間検知領域作成部１３１は、監視物体情報２１０から取得した、人物の幅や身長等に基づき、監視空間１０００上の監視領域の所定の位置（位置座標）に検知領域（矩形領域）１１００を作成する。
【００３６】
そして、画像検知領域変換部１３２は、カメラ情報２２０から取得した内部パラメータおよび外部パラメータを用いて、検知領域（矩形領域）１１００の頂点（矩形の４つの頂点）の世界座標を、監視画像２０００上の点に変換して、変形検知領域２１００を作成する。
【００３７】
この変形検知領域２１００は、カメラ装置６２の空間位置６３や俯角６４等に応じて、監視画像２０００上での歪みや、縮小、拡大等の度合いが変化する。また、この変形検知領域２１００は、監視空間１０００上での位置（監視領域）に応じても、監視画像２０００上での歪みや、縮小、拡大等の度合いが変化する。
【００３８】
次に、画像検知領域変換部１３２による、変形検知領域２１００の作成処理について具体的に説明する。画像検知領域変換部１３２は、監視空間検知領域作成部１３１が監視空間１０００上に作成した検知領域（矩形領域）１１００の頂点座標（図３では矩形の４つの頂点）を、監視画像２０００上での画像座標に変換することにより、変形検知領域２１００を作成する。
【００３９】
以下、画像検知領域変換部１３２が、カメラ情報２２０の内部パラメータおよび外部パラメータを用いて、監視空間１０００上の任意の点ｐを、監視画像２０００上の画像座標（ｕ，ｖ）へ変換する処理について説明する。
【００４０】
まず、（式１）に示すように、点ｐの世界座標（ｘｗ，ｙｗ，ｚｗ）をカメラ座標（ｘｃ，ｙｃ，ｚｃ）へ変換する。
【００４１】
【数１】
【００４２】
ここで、Ｔは、内部パラメータの平行移動ベクトルであり、Ｒは、３行３列の回転ベクトルである。
【００４３】
そして、（式２）に示すように、カメラ座標から画像座標（Ｘｕ，Ｙｕ）へ変換する。
【００４４】
【数２】
【００４５】
ここで、ｆはカメラの焦点距離、（ｘｃ，ｙｃ，ｚｃ）は画像座標の中心を示す。
【００４６】
次に、レンズ歪み係数ｋ１，ｋ２、画像座標の縦横比Ｓの値を次の（式３）に代入することで、歪みがある場合の画像位置（Ｘｄ，Ｙｄ）を求める。
【００４７】
【数３】
【００４８】
そして、上記の（式１）（式２）（式３）から、点ｐを監視画像２０００上に変換した画像座標（ｕ，ｖ）を、次の（式４）により求める。
【００４９】
【数４】
【００５０】
このように、画像検知領域変換部１３２は、監視空間１０００で作成した検知領域（矩形領域）１１００の頂点を、（式１）〜（式４）を用いて、監視画像２０００上に変換することにより、監視画像２０００上の歪み等の変形に応じた変形検知領域２１００を作成することができる。
【００５１】
図４は、変形検知領域作成部１３０が作成した監視画像２０００（２０００Ａ，２０００Ｂ）上の変形検知領域２１００（２１００Ａ，２１００Ｂ）の例を示す図である。図４（ａ）および図４（ｂ）は、同じ監視空間１０００上の同じ位置の検知領域（矩形領域）１１００について、俯角６４を変更した場合における、監視画像２０００上での変形検知領域２１００を示している。図４（ａ）は、カメラ装置６２Ａの俯角６４Ａが３０度であり、図４（ｂ）は、カメラ装置６２Ｂの俯角６４Ｂが６０度である。監視空間１０００上での検知領域（矩形領域）１１００の位置が同じであっても、変形検知領域２１００Ａ，２１００Ｂの歪み等の変形の度合いや、監視画像２０００Ａ，２０００Ｂ上での画像座標が異なっている。なお、図４（ａ）および図４（ｂ）では、変形検知領域２１００の歪み等の変形を分かりやすく表示するため、表示画面からはみ出した部分についても記載している。
【００５２】
また、この変形検知領域作成部１３０による、変形検知領域２１００の作成は、次のようにしてもよい。変形検知領域作成部１３０は、（式１）〜（式４）を用いた変形検知領域２１００の作成処理を、検知領域（矩形領域）１１００の作成毎に行わず、監視空間１０００の世界座標（ｘｗ，ｙｗ，ｚｗ）と監視画像２０００上の画像座標（ｕ，ｖ）とを対応させたルックアップテーブル（参照テーブル）を予め作成しておく。そして、変形検知領域作成部１３０は、変形検知領域２１００の作成に際して、このルックアップテーブルを参照することにより、変換処理を省略し、検知領域（矩形領域）１１００と変形検知領域２１００との相互変換を高速化する。
【００５３】
（物体認識部１４０）
次に、本発明の第１の実施形態に係る物体認識装置１（１ａ）の物体認識部１４０（１４０ａ）の構成について詳細に説明する。図５は、本発明の第１の実施形態に係る物体認識部１４０（１４０ａ）の構成を示す機能ブロック図である。
【００５４】
図５に示すように、物体認識部１４０（１４０ａ）は、検知領域画像抽出部１４１と、特徴量抽出部１４２と、認識処理部１４３とを含んで構成される。
【００５５】
検知領域画像抽出部１４１は、画像取得部１１０（図１参照）から、画像情報１００を受け取り、その受け取った画像情報１００から、変形検知領域作成部１３０で作成した変形検知領域２１００の画像情報１００を抽出する。
【００５６】
特徴量抽出部１４２は、検知領域画像抽出部１４１で抽出した画像情報１００を用いて、認識アルゴリズムに応じた所定の特徴量を抽出する。この特徴量は、例えば、「N. Dalal and B. Triggs, “Histograms of Oriented Gradients for Human Detection”, IEEE Computer Vision and Pattern Recognition, pp. 886-893, 2005」に記載されるＨＯＧ（Histograms of Oriented Gradients）を利用する。このＨＯＧは、局所領域における輝度勾配をヒストグラム化したものであり、物体の輪郭を得ることができる。また、他の特徴量として、隣接する矩形領域の明度差を用いるHaar-Like特徴や、各画素の輝度値や色等の情報を特徴量として利用することもできる。
【００５７】
認識処理部１４３は、特徴量抽出部１４２が抽出した特徴量を用いて、人物や物体の認識処理を行う。この認識処理部１４３が用いる認識アルゴリズムは、例えば、学習サンプルにより生成した識別器を用いる認識方法や、色や模様の類似度を計算する方法のアルゴリズムを用いることができる。類似度を計算する方法では、輝度の残差絶対和（SAD：Sum of Absolute Difference）や輝度の残差二乗和（SSD:Sum of Squared Difference)、正規化相互相関（NCC:Normalized Cross Correlation）がよく使われる。
【００５８】
（物体認識装置の物体認識方法）
次に、本発明の第１の実施形態に係る物体認識装置１（１ａ）が行う物体認識処理について具体的に説明する。
図６は、本発明の第１の実施形態に係る物体認識装置１（１ａ）が行う物体認識処理の流れを示すフローチャートである。なお、ここでは、識別対象が人物である場合として説明する。
【００５９】
先ず、物体認識装置１（１ａ）の画像取得部１１０は、入力部４０を介して、監視カメラ等の撮像デバイスから画像情報１００を取得する（ステップＳ１０１）。
【００６０】
次に、物体認識装置１（１ａ）の監視空間情報取得部１２０は、記憶部２０内の監視空間情報２００から、監視物体情報２１０およびカメラ情報２２０を取得する（ステップＳ１０２）。
【００６１】
続いて、物体認識装置１（１ａ）の変形検知領域作成部１３０は、監視物体情報２１０を監視空間情報取得部１２０から受け取り、監視空間１０００での検知領域（矩形領域）１１００を作成する（ステップＳ１０３）。
具体的には、変形検知領域作成部１３０の監視空間検知領域作成部１３１は、監視物体情報２１０に含まれる、人物の幅や、身長等の情報を用いて、検知領域（矩形領域）１１００を作成する。
【００６２】
そして、変形検知領域作成部１３０の画像検知領域変換部１３２は、カメラ情報２２０を監視空間情報取得部１２０から受け取り、監視空間１０００における監視領域の位置座標（ここでは、認識対象の人物の足元座標）の１つを選択する（ステップＳ１０４）。なお、この処理は、監視画像２０００の任意の位置に、人物が存在するものとして、対応する監視空間１０００の足元座標を走査するために行う処理である。
【００６３】
次に、画像検知領域変換部１３２は、カメラ情報２２０を用いて、ステップＳ１０３で、監視空間検知領域作成部１３１が作成した検知領域１１００を、監視画像２０００上の変形検知領域２１００に変換する（ステップＳ１０５）。
【００６４】
続いて、物体認識装置１（１ａ）の物体認識部１４０は、変形検知領域２１００の画像情報１００を用いて、特徴量を抽出する。
具体的には、物体認識部１４０（１４０ａ）の検知領域画像抽出部１４１は、画像取得部１１０から監視カメラ等の画像情報１００を受け取り、その受け取った画像情報１００から、変形検知領域作成部１３０で作成した変形検知領域２１００の画像情報１００を抽出する（ステップＳ１０６）。そして、物体認識部１４０の特徴量抽出部１４２は、検知領域画像抽出部１４１が抽出した画像情報１００を用いて、認識アルゴリズムに応じた所定の特徴量の抽出を行う（ステップＳ１０７）。
【００６５】
続いて、物体認識部１４０の認識処理部１４３は、特徴量抽出部１４２が抽出した特徴量を用いて認識処理を行い（ステップＳ１０８）、その処理結果が認識対象であるか否かを判定する（ステップＳ１０９）。ここでは、認識対象である人物であるか否かを、認識処理部１４３が判定する。
【００６６】
次に、ステップＳ１０９において、認識処理部１４３が、認識対象（人物）であると判定した場合（ステップＳ１０９→Ｙｅｓ）、認識処理部１４３は、その情報を出力処理部１５０に引き渡す。
そして、出力処理部１５０は、出力部５０を介して、不図示の表示装置に表示された監視画像２０００に、認識結果を出力する（ステップＳ１１０）。ここでは、出力処理部１５０は、例えば、監視画像２０００の変形検知領域２１００を赤枠等で示し、人物が認識されたことを表示する。また、出力処理部１５０は、監視画像２０００に加えて、監視空間１０００をシミュレーションした画面に、認識対象（人物）が含まれる検知領域（矩形領域）１１００を枠として表示させるようにしてもよい。そして、次のステップＳ１１１へ進む。
【００６７】
一方、ステップＳ１０９において、認識処理部１４３が、認識対象（人物）であると判定しなかった場合は（ステップＳ１０９→Ｎｏ）、次のステップＳ１１１へ進む。
【００６８】
ステップＳ１１１において、物体認識部１４０（認識処理部１４３）は、監視空間１０００における監視領域の位置座標（ここでは、認識対象の人物の足元座標）のすべての処理を終了したか否かを判定する。
【００６９】
ここで、まだ処理していない監視領域の位置座標がある場合には（ステップＳ１１１→Ｎｏ）、ステップＳ１０４に戻り、次の監視領域の位置座標を１つ選択して処理を続ける。一方、監視領域のすべての位置座標での処理を終了した場合には（ステップＳ１１１→Ｙｅｓ）、物体認識処理を終了する。
【００７０】
このようにすることで、本発明の第１の実施形態に係る物体認識装置１（１ａ）は、監視画像２０００上の変形検知領域２１００を用いて、人物や物体の歪み等の変形に適合する形で、特徴量を抽出することができ、認識精度を向上させることができる。
【００７１】
≪第２の実施形態：物体認識装置の認識範囲特定処理≫
次に、本発明の第２の実施形態に係る物体認識装置１（１ｂ）（図７参照）の認識範囲特定処理について説明する。本発明の第２の実施形態に係る物体認識装置１（１ｂ）は、監視空間情報２００内に監視空間１０００における物体の配置を示す監視環境情報２３０を備え、制御部１０内に設けられた認識範囲特定部１６０が、認識対象が存在し得ない領域を除外して、物体認識処理にとって有効な認識範囲を特定する。このようにすることで、変形検知領域作成部１３０は、監視空間１０００内の監視領域のすべての位置座標を処理せずに、認識範囲特定部１６０が特定した認識範囲について、検知領域（矩形領域）１１００を変形検知領域２１００に変換すればよい。
【００７２】
図７は、本発明の第２の実施形態に係る物体認識装置１（１ｂ）の構成例を示す機能ブロック図である。図７に示す物体認識装置１（１ｂ）は、図１に示す物体認識装置１（１ａ）の構成に加えて、記憶部２０の監視空間情報２００内に、監視環境情報２３０を備え、また、制御部１０内に、認識範囲特定部１６０を備えている。
【００７３】
監視環境情報２３０は、監視空間１０００における物体に配置を示す情報である。例えば、監視空間１０００が屋外であれば、壁面や、路面、建物（ビル、家屋）等の配置を示し、屋内であれば、壁面や、通路、机、ロッカー等の配置を示す情報である。
この監視環境情報２３０は、例えば、表計算ソフトや、ＣＡＤ等の３Ｄ設計ツール、地図システム（ナビゲーションシステム）、ＧＰＳ（Global Positioning System）等を利用して予め作成され、記憶部２０の監視空間情報２００に記憶される。
【００７４】
次に、認識範囲特定部１６０は、監視環境情報２３０を用いて、監視空間１０００において、認識対象が存在し得ない領域を除外して、物体認識処理にとって有効な認識範囲を特定する。
【００７５】
図８は、本発明の第２の実施形態に係る認識範囲特定部１６０の構成を示す機能ブロック図である。
図８に示すように、認識範囲特定部１６０は、監視空間環境作成部１６１と、画像環境変換部１６２と、認識範囲区別部１６３とを含んで構成される。
【００７６】
監視空間環境作成部１６１は、監視空間情報取得部１２０から受け取った監視環境情報２３０を用いて、監視空間１０００内の壁面や路面等の物体に配置を、世界座標として算出する。
【００７７】
画像環境変換部１６２は、カメラ情報２２０を監視空間情報取得部１２０から受け取り、監視空間１０００内の物体の配置を、カメラ情報２２０を用いて、監視画像２００上の画像座標に変換する。なお、この処理は、本発明の第１の実施形態の画像検知領域変換部１３２が行う、監視空間１０００上の点を、監視画像２０００上の画像座標に変換する処理と同様の処理により行うことができる。このようにすることで、カメラ装置の俯角や空間位置等に応じて、監視環境情報２３０で示される物体の配置を、正しく監視画像２０００上に変換することができる。
【００７８】
認識範囲区別部１６３は、画像環境変換部１６２により変換された監視画像２０００上の領域を区別し、認識対象が存在し得ない領域を除外し、物体認識処理にとって有効な認識範囲を特定する。例えば、人物が存在し得ない壁面の領域を、変形検知領域作成部１３０（画像検知領域変換部１３２）が、検索する監視空間１０００における監視領域の位置座標から除外することで、物体認識装置１（１ｂ）が処理する認識範囲を特定する。そして、認識範囲区別部１６３は、特定した認識範囲の情報（図８の認識範囲情報４００）を、変形検知領域作成部１３０に引き渡す。
【００７９】
図９は、本発明の第２の実施形態に係る認識範囲特定部１６０が行う認識範囲特定処理を説明するための図である。
図９（ａ）に示すように、監視空間１０００には、壁面７１と路面７２とが配置されている。認識範囲特定部１６０の画像環境変換部１６２は、監視空間１０００上の壁面７１および路面７２の世界座標を、監視画像２０００上の画像座標に変換する。そして、認識範囲区別部１６３は、認識対象が存在し得ない、壁面７１等の外側の領域を除外し、図９（ｂ）に示すように、認識対象である人物や物体（例えば、自動車等）が存在する路面７２に特定して、物体認識処理を実行する。
【００８０】
（物体認識装置の認識範囲特定処理）
次に、本発明の第２の実施形態に係る物体認識装置１（１ｂ）が行う認識範囲特定処理について具体的に説明する。
図１０は、本発明の第２の実施形態に係る物体認識装置１（１ｂ）が行う認識範囲特定処理の流れを示すフローチャートである。
【００８１】
なお、この認識範囲特定処理は、図６に示した物体認識処理全体のうち、ステップＳ１０３での変形検知領域作成部１３０による検知領域作成処理の次に実行され、ステップＳ１０４において、変形検知領域作成部１３０が監視領域の位置座標を選択する範囲を限定するための処理である。
【００８２】
先ず、認識範囲特定部１６０の監視空間環境作成部１６１は、記憶部２０内の監視空間情報２００から、監視環境情報２３０を、監視空間環境取得部１２０を介して受け取る。そして、監視空間情報作成部１６１は、監視環境情報２３０の監視空間１０００における壁面や、路面、建物（屋外の場合）、壁面や、通路、机、ロッカー（屋内の場合）等の監視空間１０００内の物体の配置を世界座標として算出する（ステップＳ２０１）。
【００８３】
次に、認識範囲特定部１６０の画像環境変換部１６２は、カメラ情報２２０を監視空間情報取得部１２０から受け取り、ステップＳ２０１で算出した監視空間１０００内の物体の配置を、カメラ情報２２０を用いて、監視画像２０００上の画像座標に変換する（ステップＳ２０２）。
【００８４】
続いて、認識範囲特定部１６０の認識範囲区別部１６３は、監視画像２０００上に変換された物体の配置をその物体が監視画像２０００上に占める領域として区別し、認識対象が存在し得ない領域を除外し（図９参照）、物体認識処理にとって有効な認識範囲（領域）を特定する（ステップＳ２０３）。
【００８５】
このようにすることで、図６のステップＳ１０４およびＳ１０５において、変形検知領域作成部１３０は、監視領域の位置座標を選択する範囲を、監視画像２０００上で特定された認識範囲（認識範囲情報４００）に対応した、監視空間１０００上での位置に限定して、変形検知領域２１００を作成することができる。
よって、本発明の第２の実施形態に係る物体認識装置１（１ｂ）によれば、監視環境情報２３０を用いて、認識範囲を特定することにより、物体認識装置１の処理負荷を低減できる。また、監視が不必要な領域での認識処理を行わないことにより、物体認識処理の誤検出の可能性を低下させることができる。
【００８６】
≪第３の実施形態：物体認識装置の人物認識処理≫
次に、本発明の第３の実施形態に係る物体認識装置１について説明する。本発明の第３の実施形態に係る物体認識装置１は、本発明の第１の実施形態に係る物体認識装置１（１ａ）の物体認識処理に加えて、物体認識部１４０（１４０ｃ）（図１１参照）において、変形検知領域作成部１３０が作成した変形検知領域２１００の画像情報１００を、識別器や認識アルゴリズムに適合する形に変換して正規化し、その正規化した画像情報１００を用いて特徴量の抽出を行うことを特徴とする。
【００８７】
本発明の第３の実施形態に係る物体認識装置１全体の構成は、図１に示した本発明の第１の実施形態に係る物体認識装置１（１ａ）の構成と同じである。ここでは、物体認識装置１（１ａ）と同じ機能を有する構成は、同一の名称と符号を付し、説明を省略する。
【００８８】
図１１は、本発明の第３の実施形態に係る物体認識部１４０（１４０ｃ）の構成を示す機能ブロック図である。図５に示した本発明の第１の実施形態に係る物体認識部１４０（１４０ａ）との違いは、検知領域画像抽出部１４１と特徴量抽出部１４２との間に、領域正規化部１４４が設けられ、認識処理部１４３の代わりに、人物検出部１４５が設けられていることである。
【００８９】
領域正規化部１４４は、検知領域画像抽出部１４１が抽出した変形検知領域２１００の画像情報１００を、識別器や認識アルゴリズムに適合する形、例えば矩形に透視投影変換を行い正規化する。
【００９０】
人物検出部１４５は、特徴量抽出部１４２が抽出した特徴量に基づいて、学習サンプルから生成した識別器等により、人物か否かを判定する。そして、人物検出部１４５は、人物であると判定した場合には、その処理結果として、監視画像２０００上に、矩形に変換され正規化された人物検知領域を出力処理部１５０に出力する。
【００９１】
（物体認識装置の人物認識処理）
次に、本発明の第３の実施形態に係る物体認識装置１が行う人物認識処理について、図１２および図１３を参照して詳細に説明する。
図１２は、本発明の第３の実施形態に係る物体認識装置１が行う人物認識処理の流れを示すフローチャートである。図１３は、本発明の第３の実施形態に係る人物認識処理の流れを説明するための図である。
【００９２】
図１２のフローチャートにおいて、図６に示した物体認識処理のステップＳ１０１〜Ｓ１０５までの処理（変形検知領域の作成処理）は、第１の実施形態と同様であるため、同一のステップ番号を付し説明は省略する。ここでは、第３の実施形態に係る物体認識装置１の物体認識部１４０（１４０ｃ）が行うステップＳ３０１以降の処理について説明する。
【００９３】
図１２に示すように、変形検知領域作成部１３０により、変形検知領域２１００が作成されると（ステップＳ１０３〜Ｓ１０５）、物体認識部１４０（１４０ｃ）の検知領域画像抽出部１４１は、画像取得部１１０からカメラ装置等による画像情報１００を受け取り、その受け取った画像情報１００から、変形検知領域作成部１３０で作成した変形検知領域２１００の画像情報１００を抽出する（ステップＳ３０１：図１３のＳ３０１参照）。
【００９４】
次に、物体認識部１４０（１４０ｃ）の領域正規化部１４４は、検知領域画像抽出部１４１で抽出した画像情報１００を、識別器や認識アルゴリズムに適合する形（例えば、矩形）に透視投影変換し、正規化する（ステップＳ３０２：図１３のＳ３０２参照）。
【００９５】
続いて、物体認識部１４０（１４０ｃ）の特徴量抽出部１４２は、正規化された画像情報１００を用いて、認識アルゴリズムに応じた所定の特徴量の抽出を行う（ステップＳ３０３：図１３のＳ３０３参照）。例えば、特徴量抽出部１４２は、正規化された画像情報１００から識別器が利用するＨＯＧや、Haar-Like特徴、色情報等の特徴量を抽出する。
【００９６】
そして、物体認識部１４０（１４０ｃ）の人物検出部１４５は、特徴量抽出部１４２が抽出した特徴量を用いて認識処理を行い（ステップＳ３０４：図１３のステップＳ３０４参照）、その処理結果として認識対象が人物であるか否かを判定する（ステップＳ３０５）。例えば、人物検出部１４５は、学習サンプルから作成した識別器により、人物と人物以外とを認識する。
【００９７】
次に、ステップＳ３０５において、人物検出部１４５が、人物であると判定した場合（ステップＳ３０５→Ｙｅｓ）、人物検出部１４５は、その情報を出力処理部１５０に引き渡す。
そして、出力処理部１５０は、出力部５０を介して、不図示の表示装置に表示された監視画像２０００に、認識結果を出力する（ステップＳ３０６）。ここでは、出力処理部１５０は、例えば、監視画像２０００の変形検知領域２１００を赤枠等で示し、人物が認識されたことを表示する。また、出力処理部１５０は、監視画像２０００に加えて、監視空間１０００をシミュレーションした画面に、認識対象（人物）が含まれる検知領域（矩形領域）１１００を枠として表示させるようにしてもよい。そして、次のステップＳ３０７へ進む。
【００９８】
一方、ステップＳ３０５において、人物検出部１４５が、人物であると判定しなかった場合は（ステップＳ３０５→Ｎｏ）、次のステップＳ３０７へ進む。
【００９９】
ステップＳ３０７において、物体認識部１４０（人物検出部１４５）は、監視空間１０００における監視領域の位置座標（認識対象の人物の足元座標）のすべての処理を終了したか否かを判定する。
【０１００】
ここで、まだ処理していない監視領域の位置座標がある場合には（ステップＳ３０７→Ｎｏ）、ステップＳ１０４に戻り、次の監視領域の位置座標を１つ選択して処理を続ける（図１３のＳ１０４参照）。一方、監視領域のすべての処理を終了した場合には（ステップＳ３０７→Ｙｅｓ）、物体認識処理を終了する。
【０１０１】
このようにすることにより、変形検知領域２１００の画像情報１００を識別器や認識アルゴリズムに適合する形（例えば、矩形）に透視投影変換し正規化した画像情報１００を用いて、人物の特徴量を抽出できる。よって、人物認識率を向上させることができる。
【０１０２】
なお、本発明の第３の実施形態に係る人物認識処理において、本発明の第２の実施形態に係る認識範囲特定部１６０を制御部１０内に設け、図１２に示したステップＳ１０４の次に、認識範囲特定部１６０が、監視領域の位置座標を選択する範囲を、認識対象が存在しない領域を除外した認識範囲に限定するようにしてもよい。
【０１０３】
≪第４の実施形態：物体認識装置の人物カウント処理≫
次に、本発明の第４の実施形態に係る物体認識装置１について説明する。本発明の第４の実施形態に係る物体認識装置１は、物体認識装置を用いて人の入退室等の人数を数える人物カウント処理を行うことを特徴とする。
【０１０４】
本発明の第４の実施形態に係る物体認識装置１全体の構成は、図１に示した本発明の第１の実施形態に係る物体認識装置１（１ａ）の構成と同じである。ここでは、物体認識装置１（１ａ）と同じ機能を有する構成は、同一の名称と符号を付し、説明を省略する。
【０１０５】
図１４は、本発明の第４の実施形態に係る物体認識部１４０（１４０ｄ）の構成を示す機能ブロック図である。図５に示した本発明の第１の実施形態に係る物体認識部１４０（１４０ａ）との違いは、物体認識部１４０（１４０ａ）が備える、検知領域画像抽出部１４１、特徴量抽出部１４２、および認識処理部１４３に加えて、移動方向認識部１４６と、入退室判定部１４７とを備えていることである。
なお、本発明の第４の実施形態に係る認識処理部１４３は、学習サンプルにより生成した識別器を用いる認識方法により人物を識別する。さらに、認識処理部１４３は、特徴量抽出部１４２が抽出した特徴量に基づき、その人物の頭部の検出処理を行うようにすることもできる。また、認識処理部１４３は、この学習サンプルにより生成した識別器を用いる識別方法に加えて、テンプレート照合や、頭部、顔、肌色、作業服の色や模様等を用いて人物認識を行うようにしてもよい。
【０１０６】
移動方向認識部１４６は、認識処理部１４３が認識した人物の移動方向を判定する。移動方向認識部１４６は、この移動方向の判定を、例えば、認識された人物の頭部の方向（顔の向き）に基づき判定することができる。また、「Cheng Chan, “Multiple object tracking with kernel particle filter”, Computer Vision and Pattern Recognition, 2005, IEEE Computer Society Conference, vol.1, pp. 566- 573, 2005」に記載された Particle filter を用いて、人物を追跡し、移動方向や追跡の連続性で判定するようにすることもできる。
【０１０７】
入退室判定部１４７は、移動方向認識部１４６による人物の移動方向の判定に基づき、人物が入室するか退室するかの判定を行う。そして、入退室判定部１４７は、その判定結果を、出力処理部１５０に出力する。
【０１０８】
図１５は、本発明の第４の実施形態に係る人物カウント処理を説明するための図である。図１５に示すように、カメラ装置８４で撮影した監視画像２０００を用いて、所定の出入り口８０における、入退室する人物数をカウントする。図１５に示すように、退室する人数は２人であり、人物８１ａ，８１ｂで表示される。入室する人数は４人であり、人物８１ｃ，８１ｄ，８１ｅ，８１ｆで表示される。本発明の第４の実施形態に係る物体認識装置１の変形検知領域作成部１３０は、監視物体情報２１０とカメラ情報２２０とを用いて、監視画像２０００上の人物の形状に合致した変形検知領域２１００ａ，２１００ｂ，２１００ｃ，２１００ｄ，２１００ｅ，２１００ｆを作成する。そして、物体認識部１４０（１４０ｄ）がその変形検知領域２１００ａ，２１００ｂ，２１００ｃ，２１００ｄ，２１００ｅ，２１００ｆの特徴量を抽出し、人物を認識して、移動方向を判定する。そして、物体認識部１４０（１４０ｄ）は、移動方向と出入り口８０との関係により、人物８１の入退室を判定する。入室であれば、入室人数を「＋１」増やし、退室であれば退室人数を「＋１」増やす。この処理結果が符号８２に示すように表示される。また、物体認識部１４０は、監視画像２０００全体に存在する人数を、人物認識の結果として得ることによりカウントし、符号８３に示すように、表示させることもできる。
【０１０９】
（物体認識装置の人物カウント処理）
次に、本発明の第４の実施形態に係る物体認識装置１が行う人物カウント処理について具体的に説明する。
図１６は、本発明の第４の実施形態に係る物体認識装置１が行う人物カウント処理の流れを示すフローチャートである。
本発明の第４の実施形態に係る人物カウント処理は、物体認識部１４０（１４０ｄ）が、頭部の特徴量を用いて、人物が存在するか否かを判定し、さらに、頭部の方向（顔の向き）により、人物が入室するか退室するかを判定するものとして説明する。
【０１１０】
先ず、図６に示した物体認識処理のステップＳ１０１〜Ｓ１０５までの処理（変形検知領域の作成処理）は、第１の実施形態と同様であるため、同一のステップ番号を付し説明を省略する。ここでは、第４の実施形態に係る物体認識装置１の物体認識部１４０（１４０ｄ）が行う処理について説明する。
【０１１１】
図１６に示すように、変形検知領域作成部１３０により、変形検知領域２１００が作成されると（ステップＳ１０５）、物体認識部１４０（１４０ｄ）の検知領域画像抽出部１４１は、画像取得部１１０から監視カメラ等の画像情報１００を受け取り、その受け取った画像情報１００から、変形検知領域作成部１３０で作成した変形検知領域２１００の画像情報１００を抽出する（ステップＳ４０１）。
【０１１２】
そして、物体認識部１４０（１４０ｄ）の特徴量抽出部１４２は、検知領域画像抽出部１４１が抽出した画像情報１００を用いて、認識アルゴリズムに応じた所定の特徴量の抽出する（ステップＳ４０２）。
【０１１３】
続いて、物体認識部１４０（１４０ｄ）の認識処理部１４３は、特徴量抽出部１４２が抽出した特徴量を用いて認識処理を行う（ステップＳ４０３）。具体的には、認識処理部１４３は、抽出した特徴量を用いて、人物を認識し、その人物の頭部を検出する。
【０１１４】
次に、ステップＳ４０４において、認識処理部１４３が、認識対象となる人物の頭部があると判定した場合（ステップＳ４０４→Ｙｅｓ）、認識処理部１４３は、その情報を移動方向認識部１４６に引き渡し、次のステップＳ４０５へ進む。一方、認識処理部１４３が、人物の頭部がないと判定した場合は、（ステップＳ４０４→Ｎｏ）、ステップＳ４０９へ進む。
【０１１５】
次に、ステップＳ４０４において、認識処理部１４３が、人物の頭部があると判定した場合（ステップＳ４０４→Ｙｅｓ）、移動方向認識部１４６は、その頭部の方向（顔の向き）を検出する（ステップＳ４０５）。そして、入退室判定部１４７が、その検出結果として顔の向きから移動方向を判定し（ステップＳ４０６）、正面と判定した場合には（ステップＳ４０６→Ｙｅｓ）、入室人数を「＋１」増やす（ステップＳ４０７）。一方、入退室判定部１４７が、顔の向きを後ろ向き（正面でない）と判定した場合には（ステップＳ４０６→Ｎｏ）、退室人数を「＋１」増やす（ステップＳ４０８）。
そして、ステップＳ４０７およびステップＳ４０８の処理を終えると、入退室判定部１４７は、次のステップＳ４０９へ進む。
【０１１６】
ステップＳ４０９において、入退室判定部１４７は、監視空間１０００における監視領域の位置座標（ここでは、認識対象の人物の足元座標）のすべての処理を終了したか否かを判定する（ステップＳ４０９）。ここで、まだ処理していない監視領域がある場合には（ステップＳ４０９→Ｎｏ）、ステップＳ１０４に戻り、次の監視領域を１つ選択して処理を続ける。一方、監視領域のすべての処理を終了した場合には（ステップＳ４０９→Ｙｅｓ）、次のステップＳ４１０へ進む。
【０１１７】
ステップＳ４１０において、出力処理部１５０は、出力部５０を介して、不図示の表示装置に表示された監視画像２０００に、処理結果を出力する。ここでは、出力処理部１５０は、例えば、ステップＳ１０５で作成した監視画像２０００の変形検知領域２１００について、例えば、入室人物を赤枠で示し、退室人物を青枠で表示する。また、出力処理部１５０は、監視画像２０００に加えて、監視空間１０００をシミュレーションした画面に、認識対象（人物）が含まれる検知領域（矩形領域）１１００のうち、例えば、入室人物の検知領域１１００を赤枠で表示させ、退室人物の検知領域１１００を青枠で表示させるようにしてもよい。そして、出力処理部１５０は、ステップＳ４０７およびステップＳ４０８で算出した、入室人数や退室人数等を画面上に表示させて処理を終える。
【０１１８】
このように、監視画像２０００上の変形検知領域２１００を作成することにより、画像上での人物の歪んだ外形に合致した領域の画像情報１００を抽出することができ、人物の入退室をより正確に判定し、人物カウントの性能を向上させることができる。
【０１１９】
なお、本発明の第２の実施形態の構成、および本発明の第３の実施形態の構成を、人物カウント処理に用いることも可能である。第２の実施形態の認識範囲特定部１６０によれば、物体認識装置１の処理負荷が低減される。また、第３の実施形態の物体認識部１４０（１４０ｃ）によれば、人物カウントの性能をさらに向上させることができる。
また、第２の実施形態に係る監視環境情報２３０を用いて、図１５に示す出入り口８０に認識範囲を限定して、人物カウント処理を実行すれば、その出入り口８０を通過する入退室者の人数を把握することもできる。
【０１２０】
≪第５の実施形態：物体認識装置の人物追跡処理≫
次に、本発明の第５の実施形態に係る物体認識装置１（１ｅ）による人物追跡処理について説明する。本発明の第５の実施形態に係る物体認識装置１（１ｅ）は、時系列の画像情報１００を用いて、所定の人物をフレーム間で追跡（同一人物と連続して認識）するものである。
【０１２１】
図１７は、本発明の第５の実施形態に係る物体認識装置１（１ｅ）の構成例を示す機能ブロック図である。図１７に示す物体認識装置１（１ｅ）は、図１に示す物体認識装置１（１ａ）の構成に加えて、制御部１０内に、追跡変形検知領域作成部１７０および追跡物体認識部１８０を備える。
【０１２２】
本発明の第５の実施形態に係る物体認識装置１（１ｅ）は、追跡変形検知領域作成部１７０が、１つ前のフレームの画像情報１００において、認識対象となる人物が認識された監視空間１０００上の位置（後記する前フレーム人物空間位置９２）を特定し、その前フレーム人物空間位置９２の近傍の所定の位置に複数の追跡検知領域１１０１を作成する（図１８（ａ）参照）。そして、追跡変形検知領域作成部１７０は、監視空間１０００上の複数の追跡検知領域１１０１それぞれを、監視画像２０００上の追跡変形検知領域２１０１に変換する。そして、追跡物体認識部１８０が、追跡変形検知領域２１０１の画像情報１００から特徴量を抽出し、前フレームで特定した人物の特徴量と一致する場合に、同一人物がそのフレームに存在すると判定し、その人物が監視空間１０００上のその追跡検知領域１１０１の位置に存在することが検出される。そして、この処理をフレームが終了するまで繰り返す。図１８（ｂ）は、最初のフレーム（ｆ１）の監視画像２０００上で変形検知領域２１００が特定され、人物追跡処理により特徴量が一致し同一人物と判定される人物９１を、次のフレーム（ｆ２）から最後のフレーム（ｆｎ）まで、追跡することを示している。
以下、図１の物体認識装置１（１ａ）と同じ構成については、同一の名称と符号を付し、説明を省略する。
【０１２３】
図１７に戻り、追跡変形検知領域作成部１７０は、認識対象の人物を検知した監視画像２０００上の位置に対応した監視空間１０００上の監視領域の位置座標に基づき、認識対象となる人物の空間位置（前フレーム人物空間位置９２）を特定する。そして、追跡変形検知領域作成部１７０は、監視空間１０００の前フレーム人物空間位置９２の近傍の所定の位置に複数の追跡検知領域１１０１を作成する。続いて、追跡変形検知領域作成部１７０は、作成した複数の追跡検知領域１１０１それぞれを、カメラ情報２２０を用いて、監視画像２０００上の追跡変形検知領域２１０１に変換する。
【０１２４】
追跡物体認識部１８０は、前フレームで特定した人物と特徴量が一致するか否かを判定し、同一人物であると判定した場合には、認識対象の人物の監視画像２０００上での追跡変形検知領域２１０１を特定する。そして、追跡物体認識部１８０は、その情報を出力処理部１５０に出力する。
【０１２５】
図１９は、本発明の第５の実施形態に係る追跡物体認識部１８０の構成を示す機能ブロック図である。
図１９に示すように、追跡物体認識部１８０は、追跡検知領域画像抽出部１８１と、特徴量抽出部１４２（１４２ｅ）と、人物特定部１８２とを含んで構成される。
【０１２６】
追跡検知領域画像抽出部１８１は、追跡変形検知領域作成部１７０が作成した複数の追跡変形検知領域２１０１のうちの１つを選択し、そのフレームの画像情報１００から、選択した追跡変形検知領域２１０１の画像情報１００を抽出する。
【０１２７】
特徴量抽出部１４２（１４２ｅ）は、追跡変形検知領域２１０１の画像情報１００から、特徴量を抽出する。この特徴量の抽出は、例えば、色のヒストグラム、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＨＯＧ等の特徴量を利用することができる。
【０１２８】
人物特定部１８２は、前フレームで抽出された人物の特徴量と、当該フレームで特徴量抽出部１４２（１４２ｅ）が抽出した特徴量とを比較し、一致するか否かを判定する。そして、人物特定部１８２は、前フレームと当該フレームの特徴量が一致する場合には、同一人物であるとして、その追跡変形検知領域２１０１の情報を、出力処理部１５０に出力する。
【０１２９】
（物体認識装置の人物追跡処理）
次に、本発明の第５の実施形態に係る物体認識装置１（１ｅ）が行う人物追跡処理について具体的に説明する。
図２０および図２１は、本発明の第５の実施形態に係る物体認識装置１（１ｅ）が行う人物追跡処理の流れを示すフローチャートである。
【０１３０】
先ず、図２０に示すように、図６に示したステップＳ１０１〜Ｓ１０３と同様の処理を行い、追跡対象となる人物の監視空間１０００での検知領域（矩形領域）１１０を作成する。
【０１３１】
次に、変形検知領域作成部１３０は、画像取得部１１０が取得した画像情報１００から最初のフレームの画像情報１００を読み込む（ステップＳ５０１）。
【０１３２】
続いて、変形検知領域作成部１３０および物体認識部１４０が、図６のステップＳ１０４〜Ｓ１１１までの認識対象の物体認識処理を行う（ステップＳ５０２）。
【０１３３】
そして、物体認識部１４０の認識処理部１４３により、認識対象の人物が検知されたか否かを判定する（ステップＳ５０３）。認識処理部１４３が認識対象の人物を検知しなかった場合には（ステップＳ５０３→Ｎｏ）、変形検知領域作成部１３０は、次のフレームの画像情報１００を読み込み（ステップＳ５０４）、ステップＳ５０２に戻る。一方、認識処理部１４３が認識対象の人物を検知した場合には（ステップＳ５０４→Ｙｅｓ）、その情報を、追跡変形検知領域作成部１７０に引き渡す。
【０１３４】
図２１に進み、ステップＳ５０５において、追跡変形検知領域作成部１７０は、ステップＳ５０２の処理で、認識処理部１４３が認識対象の人物を検知した監視空間１０００における監視領域の位置情報に基づき、認識対象となる人物の空間位置（前フレーム人物空間位置９２）を特定する（ステップＳ５０５）。
【０１３５】
次に、追跡変形検知領域作成部１７０は、次のフレームの画像情報１００を読み込む（ステップＳ５０６）。
【０１３６】
続いて、追跡変形検知領域作成部１７０は、監視空間１０００の前フレーム人物空間位置９２の所定の位置に複数の追跡検知領域１１０１を作成する（ステップＳ５０７）。そして、追跡変形検知領域作成部１７０は、作成した複数の追跡検知領域１１０１を、カメラ情報２２０を用いて、監視画像２０００上の追跡変形検知領域２１０１に変換する（ステップＳ５０８）。
【０１３７】
次に、追跡物体認識部１８０の追跡検知領域画像抽出部１８１は、追跡変形検知領域作成部１７０で作成した複数の追跡変形検知領域２１０１のうちの１つを選択する（ステップＳ５０９）。
【０１３８】
続いて、追跡検知領域画像抽出部１８１は、そのフレームの画像情報１００から、選択した追跡変形検知領域２１０１の画像情報１００を抽出する（ステップＳ５１０）。
【０１３９】
次に、追跡物体認識部１８０の特徴量抽出部１４２（１４２ｅ）は、追跡検知領域画像抽出部１８１が抽出した追跡変形検知領域２１０１の画像情報１００から、特徴量を抽出する（ステップＳ５１１）。
【０１４０】
そして、人物特定部１８２は、前フレームで抽出された特徴量と、ステップＳ５１１で抽出した当該フレームの特徴量とを比較し、特徴量が一致するか否かを判定する（ステップＳ５１２）。ここで、特徴量が一致する場合には（ステップＳ５１２→Ｙｅｓ）、次にステップＳ５１４に進む。一方、特徴量が一致しない場合には（ステップＳ５１２→Ｎｏ）、ステップＳ５１３に進む。
【０１４１】
ステップＳ５１３において、人物特定部１８２は、ステップＳ５０８で作成した複数の追跡変形検知領域２１０１すべてを処理したか否かを判定する。そして、まだ処理していない追跡変形検知領域２１０１がある場合には（ステップＳ５１３→Ｎｏ）、ステップＳ５０９に戻り、次の追跡変形検知領域２１０１を選択する。一方、作成した追跡変形検知領域２１０１のすべてを処理した場合には（ステップＳ５１３→Ｙｅｓ）、次にステップＳ５１４に進む。
【０１４２】
ステップＳ５１４において、出力処理部１５０は、人物特定部１８２から処理結果を受け取り、不図示の表示装置に表示された監視画像２０００に、認識結果を出力する（ステップＳ５１４）。ここでは、出力処理部１５０は、特徴量が前フレームの特徴量と一致する場合には（ステップＳ５１２→Ｙｅｓ）、例えば、監視画像２０００の追跡変形検知領域２１０１を赤枠等で示し、前のフレームと同じ人物が認識されたことを表示する。また、出力処理部１５０は、監視画像２０００に加えて、監視空間１０００をシミュレーションした画面に、認識対象（人物）が含まれる追跡検知領域１１０１を枠として表示させるようにしてもよい。一方、出力処理部１５０は、特徴量が前フレームの特徴量と一致する追跡変形検知領域２１０１が存在しない場合には（ステップＳ５１２→Ｎｏ，ステップＳ５１３→Ｙｅｓ）、監視画像２０００に追跡変形検知領域２１０１を表示しない。
【０１４３】
次に、追跡変形検知領域作成部１７０は、画像取得部１１０が取得した画像情報１００のすべてのフレームを処理したか否かを判定する（ステップＳ５１５）。そして、まだ処理していないフレームがある場合には（ステップＳ５１５→Ｎｏ）、ステップＳ５０５に戻り、処理を続ける。ここで、追跡変形検知領域作成部１７０は、ステップＳ５１２において、当該フレームの特徴量が前フレームの特徴量と一致する場合には、当該フレームにおける監視画像２０００の追跡変形検知領域２１０１に対応する監視空間１０００の追跡検知領域１１０１を、前フレーム人物空間位置９２に置き換えて、ステップＳ５０６以降の処理を続ける。また、追跡変形検知領域作成部１７０は、特徴量が前フレームの特徴量と一致する追跡変形検知領域２１０１が存在しない場合には（ステップＳ５１３→Ｙｅｓ）、前フレームで特定した前フレーム人物空間位置９２の情報を更新せず、ステップＳ５０６以降の処理を続ける。一方、追跡変形検知領域作成部１７０は、すべてのフレームを処理したと判定した場合には（ステップＳ５１５→Ｙｅｓ）、処理を終える。
【０１４４】
このようにすることで、監視空間情報２００に基づき各フレームで人物の歪みに応じた検知領域１１００を作成することにより、追跡用の特徴量を正しく抽出することができるようになるため、人物追跡の性能を向上させることができる。
【符号の説明】
【０１４５】
１ 物体認識装置
１０ 制御部
２０ 記憶部
３０ メモリ部
４０ 入力部
５０ 出力部
９２ 前フレーム人物空間位置
１１０ 画像取得部
１２０ 監視空間情報取得部
１３０ 変形検知領域作成部
１３１ 監視空間検知領域作成部
１３２ 画像検知領域変換部
１４０ 物体認識部
１４１ 検知領域画像抽出部
１４２ 特徴量抽出部
１４３ 認識処理部
１４４ 領域正規化部
１４５ 人物検出部
１４６ 移動方向認識部
１４７ 入退室判定部
１５０ 出力処理部
１６０ 認識範囲特定部
１６１ 監視空間環境作成部
１６２ 画像環境変換部
１６３ 認識範囲区別部
１７０ 追跡変形検知領域作成部
１８０ 追跡物体認識部
１８１ 追跡検知領域画像抽出部
１８２ 人物特定部
２００ 監視空間情報
２１０ 監視物体情報
２２０ カメラ情報
１０００ 監視空間
１１００ 検知領域（矩形領域）
１１０１ 追跡検知領域
２０００ 監視画像
２１００ 変形検知領域
２１０１ 追跡変形検知領域
【技術分野】
【０００１】
本発明は、物体認識装置および物体認識方法に関する。
【背景技術】
【０００２】
監視カメラ等の撮像デバイスが取得した画像情報から特定の物体を認識する方法に関して、従来技術においては、画像上の所定の領域（例えば、認識処理を実行する範囲を示す矩形の領域）から抽出した特徴量を用いて、物体を認識する方法が多数提案されている。
【０００３】
例えば、人物認識を実現する技術において、特許文献１には、人物を含む画像と含まない画像で構成される学習サンプルから、アピアランス（物体の外観から読み取れる形状や色の情報）、輪郭情報等の特徴量を抽出し、人物と人物以外を識別する識別器を生成する手段と、この識別器を用いて画像上の所定の領域（矩形の領域）に人物が存在するか否かを認識する手段とを用いて、人物認識を実現する技術が開示されている。
【０００４】
また、特許文献２には、認識精度を向上するため、画像上の所定の領域（矩形の領域）を左右の領域に分割し、左半分画像、右半分画像、および全体画像のいずれか１つの画像が人物であると判定された場合に、その画像上の所定の領域内に、人物が存在すると認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８１２２０号公報
【特許文献２】特開２０１０−１０８１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の物体認識の手法では、予め定義した所定の領域（矩形の領域）を画像上で走査し、各画像位置における所定の領域（矩形の領域）内に人物や物体等の認識対象が含まれるか否かを識別する方法が用いられる。この識別を実行する識別器の生成に用いられる多くの学習サンプルでは、人物は直立した姿勢をとるものがほとんどである。そのため、走査した矩形の領域内の人物が、学習サンプルと同様である直立した姿勢である場合には認識率は高い。
【０００７】
しかし、実際に監視カメラ等で撮像した物体（人物等）は、カメラの位置、俯角、画角等のカメラパラメータ、物体の大きさやカメラと物体との位置関係等（以下、このカメラや物体自身に関する情報や、カメラと物体との位置関係等を示す情報をまとめて、「監視空間情報」とよぶ）によって、画像上での見え方が異なる。例えば、画像の端では歪みが発生し、カメラの設置の仕方によっては画像の傾き（画像の水平がとれていない状態）が発生する。また、カメラと物体との距離によって、その物体に縮小や拡大等の変形が画像上に生じる。このように歪み等の変形を生じた画像に対して、予め定義した画像上の所定の領域（矩形の領域）を用いる認識方法では、その矩形の領域内の認識対象が学習サンプルに合致する形状とならない限りは、認識できなかったり、誤った認識をしたりするという問題がある。
【０００８】
例えば、特許文献１に記載の技術では、直立した姿勢の人物画像を含む学習サンプルから全身の輪郭を学習し識別器を生成する。この生成した識別器を用いた場合、画像上の所定の領域（矩形の領域）で抽出した人物が直立した姿勢である場合は正しく認識できる。しかし、歪みを含んだ画像に対しては、画像上の所定の領域（矩形の領域）で抽出した人物特徴量が不十分なもとのなり、人物と認識できない場合がでてくる。
【０００９】
また、特許文献２に記載の技術では、画像上の所定の領域を左右の領域に分割しても、その画像内に含まれる歪み等の変形がそのまま残るため、人物認識に必要な特徴量を抽出できず、認識率が低下するという問題がある。
【００１０】
これらの問題を既存の技術を用いて解決しようとする場合に、学習サンプルに歪み等の変形を考慮したデータを含める方法が想定される。しかし、この方法は、カメラや物体の様々な条件に対応した多くのサンプルが必要となることや、認識対象の画像上での見え方（輪郭等）が多様化するため、認識対象でない背景を誤認識する確率が増加する傾向があるため現実的ではない。
【００１１】
このような背景に鑑みて本発明がなされたのであり、本発明は、識別対象が画像上で変形する場合であっても、その識別対象の認識率を向上させることができる、物体認識装置および物体認識方法を提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記した課題を解決するため、本発明の物体認識装置は、監視対象となる物体自身に関する監視物体情報や、カメラ装置のパラメータに関するカメラ情報が格納される監視空間情報を記憶しており、物体認識装置は、監視物体情報を用いて、監視空間上に検知領域を作成し、その作成した検知領域を、カメラ情報２２０を用いて、監視画像上の変形検知領域に変換する。そして、物体認識装置は、変形検知領域の画像情報について特徴量を抽出し、認識対象の物体か否かを判定する。
【発明の効果】
【００１３】
本発明によれば、識別対象が画像上で変形する場合であっても、その識別対象の認識率を向上させる、物体認識装置および物体認識方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る物体認識装置の構成例を示す機能ブロック図である。
【図２】本発明の第１の実施形態に係る変形検知領域作成部の構成を示す機能ブロック図である。
【図３】監視空間上の検知領域を、監視画像上の変形検知領域に変換する例を示す図である。
【図４】変形検知領域作成部が作成した監視画像上の変形検知領域の例を示す図である。
【図５】本発明の第１の実施形態に係る物体認識部の構成を示す機能ブロック図である。
【図６】本発明の第１の実施形態に係る物体認識装置が行う物体認識処理の流れを示すフローチャートである。
【図７】本発明の第２の実施形態に係る物体認識装置の構成例を示す機能ブロック図である。
【図８】本発明の第２の実施形態に係る認識範囲特定部の構成を示す機能ブロック図である。
【図９】本発明の第２の実施形態に係る認識範囲特定部が行う認識範囲特定処理を説明するための図である。
【図１０】本発明の第２の実施形態に係る物体認識装置が行う認識範囲特定処理の流れを示すフローチャートである。
【図１１】本発明の第３の実施形態に係る物体認識部の構成を示す機能ブロック図である。
【図１２】本発明の第３の実施形態に係る物体認識装置が行う人物認識処理の流れを示すフローチャートである。
【図１３】本発明の第３の実施形態に係る人物認識処理の流れを説明するための図である。
【図１４】本発明の第４の実施形態に係る物体認識部の構成を示す機能ブロック図である。
【図１５】本発明の第４の実施形態に係る人物カウント処理を説明するための図である。
【図１６】本発明の第４の実施形態に係る物体認識装置が行う人物カウント処理の流れを示すフローチャートである。
【図１７】本発明の第５の実施形態に係る物体認識装置の構成例を示す機能ブロック図である。
【図１８】本発明の第５の実施形態に係る人物追跡処理を説明するための図である。
【図１９】本発明の第５の実施形態に係る追跡物体認識部の構成を示す機能ブロック図である。
【図２０】本発明の第５の実施形態に係る物体認識装置が行う人物追跡処理の流れを示すフローチャートである。
【図２１】本発明の第５の実施形態に係る物体認識装置が行う人物追跡処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
次に、本発明を実施するための形態（以下、「実施形態」とよぶ）について、適宜図面を参照しながら詳細に説明する。
【００１６】
≪第１の実施形態：物体認識装置≫
先ず、本発明の第１の実施形態に係る物体認識装置１（１ａ）について説明する。
本発明の第１の実施形態に係る物体認識装置１（１ａ）は、監視空間１０００（図３参照）上にその認識対象を含む領域として後記する図３に示す検知領域１１００を作成し、その作成した検知領域１１００を、カメラ情報２２０を用いて、監視画像２０００上の変形検知領域２１００に変換する。この監視画像２０００上の変形検知領域２１００は、カメラ装置の各パラメータに関する情報を反映し、図３に示すように、監視画像２０００の歪みを考慮した上で作成される。そして、物体認識装置１（１ａ）は、歪み等で変形した認識対象を含む領域として作成された変形検知領域２１００の画像情報１００について、特徴量を抽出し、認識対象の物体か否かを判定する。
【００１７】
図１は、本発明の第１の実施形態に係る物体認識装置１（１ａ）の構成例を示す機能ブロック図である。
図１に示すように、本発明の第１の実施形態に係る物体認識装置１（１ａ）は、制御部１０と、記憶部２０と、メモリ部３０と、入力部４０と、出力部５０とを含んで構成される。
【００１８】
入力部４０は、入力インタフェースからなり、不図示のカメラ装置等の撮像デバイスから、撮影された画像情報１００を取り込む。
また、出力部５０は、出力インタフェースからなり、不図示のモニタ等の表示装置に、制御部１０の処理結果を表示させる。
【００１９】
記憶部２０は、ハードディスクやフラッシュメモリ等の記憶手段からなり、カメラや物体自身に関する情報や、カメラと物体との位置関係等を示す監視空間情報２００が記憶される。そして、この監視空間情報２００は、監視物体情報２１０およびカメラ情報２２０を含んで構成される。
【００２０】
監視物体情報２１０は、認識対象となる人物や物体等に関する情報であり、例えば、認識対象が人物の場合は、人物の幅、身長、足元座標（監視空間内での位置座標）等の情報である。また、認識対象が物体の場合は、その物体（例えば、自動車等や人以外の動物等）の大きさ（縦、横、高さ）等の情報である。なお、この人物や物体の監視物体情報２１０は、その認識対象を含んだ検知領域（矩形領域）１１００を変形検知領域作成部１３０が作成するために利用される（詳細は後記する）。
【００２１】
カメラ情報２２０は、入力部４０が取り込む画像情報１００を送信する不図示のカメラ装置の内部パラメータおよび外部パラメータの情報である。ここで、内部パラメータとは、カメラの焦点距離（ｆ）、画像座標の中心（ｘｃ、ｙｃ）、レンズ歪み係数（ｋ）、画像座標の縦横比（Ｓ）等である。また、外部パラメータとは、世界座標系の原点を基準とした平行移動ベクトル（Ｔ）、３行３列の回転ベクトル（Ｒ）である。これらの外部パラメータの設定は、例えば、「R.Y.Tsai, “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses” IEEE Journal of Robotics and Automation, Vol.RA-3, No.4, pp. 323-344, 1987」等の既存の技術を用いて設定することができる。
【００２２】
メモリ部３０は、ＲＡＭ（Random Access Memory）等の記憶手段からなり、制御部１０が行う物体認識処理の過程で必要な情報等を一時的に記憶する。
【００２３】
制御部１０は、物体認識装置１（１ａ）の物体認識処理の制御全般を司り、画像取得部１１０と、監視空間情報取得部１２０と、変形検知領域作成部１３０と、物体認識部１４０（１４０ａ）と、出力処理部１５０とを含んで構成される。なお、この制御部１０の機能は、例えば物体認識装置１（１ａ）の記憶部２０に記憶されたプログラムをＣＰＵ（Central Processing Unit）がメモリ部３０に展開し実行することで実現される。
【００２４】
画像取得部１１０は、入力部４０を介して、カメラ装置等から画像情報１００を取得する。
【００２５】
監視空間情報取得部１２０は、記憶部２０内の監視空間情報２００から、監視物体情報２１０およびカメラ情報２２０を取得する。
【００２６】
変形検知領域作成部１３０は、監視空間情報取得部１２０を介して、監視物体情報２１０を取得し、認識対象となる人物や物体に関する情報から監視空間１０００上の検知領域（矩形領域）１１００（後記する図３参照）を作成し、その検知領域１１００をカメラ情報２２０に基づき、監視画像２０００上の変形検知領域２１００（後記する図３参照）に変換する。なお、変形検知領域作成部１３０の詳細については、図２〜図４を参照し、後記において説明する。
【００２７】
物体認識部１４０（１４０ａ）は、変形検知領域作成部１３０が作成した変形検知領域２１００と、画像取得部１１０が取得した画像情報１００とを受け取り、その変形検知領域２１００内の画像情報１００から特徴量の抽出を行う。そして、物体認識部１４０（１４０ａ）は、抽出した特徴量を用いて、認識対象である人物や物体であるか否かを判定する。また、物体認識部１４０（１４０ａ）は、その認識結果を出力処理部１５０に出力する。なお、物体認識部１４０（１４０ａ）の詳細については、図５を参照し、後記において説明する。
【００２８】
出力処理部１５０は、制御部１０の物体認識部１４０が処理した認識結果を、出力部５０を介して、表示装置に表示させる。出力処理部１５０は、例えば、表示装置の監視画像２０００上の変形検知領域２１００を赤枠等で囲って表示させたり、監視画面上に認識対象となる人物や物体が認識された旨を示すポップアップメッセージを表示させる。また、携帯端末に認識対象となる人物や物体が認識されたことを示す情報（メール等）を送信するようにしてもよい。
【００２９】
（変形検知領域作成部１３０）
次に、本発明の第１の実施形態に係る物体認識装置１（１ａ）の変形検知領域作成部１３０の構成について詳細に説明する。図２は、本発明の第１の実施形態に係る変形検知領域作成部１３０の構成を示す機能ブロック図である。
【００３０】
図２に示すように、変形検知領域作成部１３０は、監視空間検知領域作成部１３１と画像検知領域変換部１３２とを含んで構成される。
【００３１】
監視空間検知領域作成部１３１は、監視物体情報２１０を監視空間情報取得部１２０から受け取り、監視空間１０００での検知領域１１００を作成する。この検知領域１１００は、監視空間１０００上でその空間位置に認識対象となる人物や物体が存在するか否かを物体認識装置１が検知する領域を示す。そして、この検知領域の形状は、認識対象となる人物や物体によって、例えば、矩形、丸形、菱形、五角形等の様々な形状を用いることができるが、以降、本実施形態では、矩形として説明する。
【００３２】
監視空間検知領域作成部１３１は、例えば、人物であれば、監視物体情報２１０を用いて、認識対象とする人物の幅、身長、足元座標を世界座標で定め、検知領域（矩形領域）１１００を作成する。なお、監視空間検知領域作成部１３１は、認識しようとする特定の人物が入力部４０を介して、物体認識装置１（１ａ）に入力されている場合には、その人物に対応した情報を監視物体情報２１０から取得する。一方、特定の人物を認識するのではなく、例えば、すべての人物を認識したい場合には、監視空間検知領域作成部１３１は、人物の幅や身長の異なる、様々な検知領域（矩形領域）１１００を作成し、物体認識処理を繰り返すことにより、不特定の人物を認識するようにしてもよい。
【００３３】
画像検知領域変換部１３２は、カメラ情報２２０を監視空間情報取得部１２０から受け取り、監視空間検知領域作成部１３１が作成した検知領域１１００を監視画像２０００上に変換し、変形検知領域２１００を作成する。
【００３４】
図３は、監視空間検知領域作成部１３１が作成した監視空間１０００上の検知領域（矩形領域）１１００を、画像検知領域変換部１３２が、監視画像２０００上の変形検知領域２１００に変換する例を説明するための図である。
【００３５】
図３に示すように、監視空間１０００は世界座標系で表現されており、世界座標系の原点６１は、例えば床面上の任意の点に設定される。また、カメラ装置６２は、空間位置６３（X,Y,Z）に設置され、カメラ装置６２により撮影された監視画像２０００は、画像座標系で表現される。そして、監視空間検知領域作成部１３１は、監視物体情報２１０から取得した、人物の幅や身長等に基づき、監視空間１０００上の監視領域の所定の位置（位置座標）に検知領域（矩形領域）１１００を作成する。
【００３６】
そして、画像検知領域変換部１３２は、カメラ情報２２０から取得した内部パラメータおよび外部パラメータを用いて、検知領域（矩形領域）１１００の頂点（矩形の４つの頂点）の世界座標を、監視画像２０００上の点に変換して、変形検知領域２１００を作成する。
【００３７】
この変形検知領域２１００は、カメラ装置６２の空間位置６３や俯角６４等に応じて、監視画像２０００上での歪みや、縮小、拡大等の度合いが変化する。また、この変形検知領域２１００は、監視空間１０００上での位置（監視領域）に応じても、監視画像２０００上での歪みや、縮小、拡大等の度合いが変化する。
【００３８】
次に、画像検知領域変換部１３２による、変形検知領域２１００の作成処理について具体的に説明する。画像検知領域変換部１３２は、監視空間検知領域作成部１３１が監視空間１０００上に作成した検知領域（矩形領域）１１００の頂点座標（図３では矩形の４つの頂点）を、監視画像２０００上での画像座標に変換することにより、変形検知領域２１００を作成する。
【００３９】
以下、画像検知領域変換部１３２が、カメラ情報２２０の内部パラメータおよび外部パラメータを用いて、監視空間１０００上の任意の点ｐを、監視画像２０００上の画像座標（ｕ，ｖ）へ変換する処理について説明する。
【００４０】
まず、（式１）に示すように、点ｐの世界座標（ｘｗ，ｙｗ，ｚｗ）をカメラ座標（ｘｃ，ｙｃ，ｚｃ）へ変換する。
【００４１】
【数１】
【００４２】
ここで、Ｔは、内部パラメータの平行移動ベクトルであり、Ｒは、３行３列の回転ベクトルである。
【００４３】
そして、（式２）に示すように、カメラ座標から画像座標（Ｘｕ，Ｙｕ）へ変換する。
【００４４】
【数２】
【００４５】
ここで、ｆはカメラの焦点距離、（ｘｃ，ｙｃ，ｚｃ）は画像座標の中心を示す。
【００４６】
次に、レンズ歪み係数ｋ１，ｋ２、画像座標の縦横比Ｓの値を次の（式３）に代入することで、歪みがある場合の画像位置（Ｘｄ，Ｙｄ）を求める。
【００４７】
【数３】
【００４８】
そして、上記の（式１）（式２）（式３）から、点ｐを監視画像２０００上に変換した画像座標（ｕ，ｖ）を、次の（式４）により求める。
【００４９】
【数４】
【００５０】
このように、画像検知領域変換部１３２は、監視空間１０００で作成した検知領域（矩形領域）１１００の頂点を、（式１）〜（式４）を用いて、監視画像２０００上に変換することにより、監視画像２０００上の歪み等の変形に応じた変形検知領域２１００を作成することができる。
【００５１】
図４は、変形検知領域作成部１３０が作成した監視画像２０００（２０００Ａ，２０００Ｂ）上の変形検知領域２１００（２１００Ａ，２１００Ｂ）の例を示す図である。図４（ａ）および図４（ｂ）は、同じ監視空間１０００上の同じ位置の検知領域（矩形領域）１１００について、俯角６４を変更した場合における、監視画像２０００上での変形検知領域２１００を示している。図４（ａ）は、カメラ装置６２Ａの俯角６４Ａが３０度であり、図４（ｂ）は、カメラ装置６２Ｂの俯角６４Ｂが６０度である。監視空間１０００上での検知領域（矩形領域）１１００の位置が同じであっても、変形検知領域２１００Ａ，２１００Ｂの歪み等の変形の度合いや、監視画像２０００Ａ，２０００Ｂ上での画像座標が異なっている。なお、図４（ａ）および図４（ｂ）では、変形検知領域２１００の歪み等の変形を分かりやすく表示するため、表示画面からはみ出した部分についても記載している。
【００５２】
また、この変形検知領域作成部１３０による、変形検知領域２１００の作成は、次のようにしてもよい。変形検知領域作成部１３０は、（式１）〜（式４）を用いた変形検知領域２１００の作成処理を、検知領域（矩形領域）１１００の作成毎に行わず、監視空間１０００の世界座標（ｘｗ，ｙｗ，ｚｗ）と監視画像２０００上の画像座標（ｕ，ｖ）とを対応させたルックアップテーブル（参照テーブル）を予め作成しておく。そして、変形検知領域作成部１３０は、変形検知領域２１００の作成に際して、このルックアップテーブルを参照することにより、変換処理を省略し、検知領域（矩形領域）１１００と変形検知領域２１００との相互変換を高速化する。
【００５３】
（物体認識部１４０）
次に、本発明の第１の実施形態に係る物体認識装置１（１ａ）の物体認識部１４０（１４０ａ）の構成について詳細に説明する。図５は、本発明の第１の実施形態に係る物体認識部１４０（１４０ａ）の構成を示す機能ブロック図である。
【００５４】
図５に示すように、物体認識部１４０（１４０ａ）は、検知領域画像抽出部１４１と、特徴量抽出部１４２と、認識処理部１４３とを含んで構成される。
【００５５】
検知領域画像抽出部１４１は、画像取得部１１０（図１参照）から、画像情報１００を受け取り、その受け取った画像情報１００から、変形検知領域作成部１３０で作成した変形検知領域２１００の画像情報１００を抽出する。
【００５６】
特徴量抽出部１４２は、検知領域画像抽出部１４１で抽出した画像情報１００を用いて、認識アルゴリズムに応じた所定の特徴量を抽出する。この特徴量は、例えば、「N. Dalal and B. Triggs, “Histograms of Oriented Gradients for Human Detection”, IEEE Computer Vision and Pattern Recognition, pp. 886-893, 2005」に記載されるＨＯＧ（Histograms of Oriented Gradients）を利用する。このＨＯＧは、局所領域における輝度勾配をヒストグラム化したものであり、物体の輪郭を得ることができる。また、他の特徴量として、隣接する矩形領域の明度差を用いるHaar-Like特徴や、各画素の輝度値や色等の情報を特徴量として利用することもできる。
【００５７】
認識処理部１４３は、特徴量抽出部１４２が抽出した特徴量を用いて、人物や物体の認識処理を行う。この認識処理部１４３が用いる認識アルゴリズムは、例えば、学習サンプルにより生成した識別器を用いる認識方法や、色や模様の類似度を計算する方法のアルゴリズムを用いることができる。類似度を計算する方法では、輝度の残差絶対和（SAD：Sum of Absolute Difference）や輝度の残差二乗和（SSD:Sum of Squared Difference)、正規化相互相関（NCC:Normalized Cross Correlation）がよく使われる。
【００５８】
（物体認識装置の物体認識方法）
次に、本発明の第１の実施形態に係る物体認識装置１（１ａ）が行う物体認識処理について具体的に説明する。
図６は、本発明の第１の実施形態に係る物体認識装置１（１ａ）が行う物体認識処理の流れを示すフローチャートである。なお、ここでは、識別対象が人物である場合として説明する。
【００５９】
先ず、物体認識装置１（１ａ）の画像取得部１１０は、入力部４０を介して、監視カメラ等の撮像デバイスから画像情報１００を取得する（ステップＳ１０１）。
【００６０】
次に、物体認識装置１（１ａ）の監視空間情報取得部１２０は、記憶部２０内の監視空間情報２００から、監視物体情報２１０およびカメラ情報２２０を取得する（ステップＳ１０２）。
【００６１】
続いて、物体認識装置１（１ａ）の変形検知領域作成部１３０は、監視物体情報２１０を監視空間情報取得部１２０から受け取り、監視空間１０００での検知領域（矩形領域）１１００を作成する（ステップＳ１０３）。
具体的には、変形検知領域作成部１３０の監視空間検知領域作成部１３１は、監視物体情報２１０に含まれる、人物の幅や、身長等の情報を用いて、検知領域（矩形領域）１１００を作成する。
【００６２】
そして、変形検知領域作成部１３０の画像検知領域変換部１３２は、カメラ情報２２０を監視空間情報取得部１２０から受け取り、監視空間１０００における監視領域の位置座標（ここでは、認識対象の人物の足元座標）の１つを選択する（ステップＳ１０４）。なお、この処理は、監視画像２０００の任意の位置に、人物が存在するものとして、対応する監視空間１０００の足元座標を走査するために行う処理である。
【００６３】
次に、画像検知領域変換部１３２は、カメラ情報２２０を用いて、ステップＳ１０３で、監視空間検知領域作成部１３１が作成した検知領域１１００を、監視画像２０００上の変形検知領域２１００に変換する（ステップＳ１０５）。
【００６４】
続いて、物体認識装置１（１ａ）の物体認識部１４０は、変形検知領域２１００の画像情報１００を用いて、特徴量を抽出する。
具体的には、物体認識部１４０（１４０ａ）の検知領域画像抽出部１４１は、画像取得部１１０から監視カメラ等の画像情報１００を受け取り、その受け取った画像情報１００から、変形検知領域作成部１３０で作成した変形検知領域２１００の画像情報１００を抽出する（ステップＳ１０６）。そして、物体認識部１４０の特徴量抽出部１４２は、検知領域画像抽出部１４１が抽出した画像情報１００を用いて、認識アルゴリズムに応じた所定の特徴量の抽出を行う（ステップＳ１０７）。
【００６５】
続いて、物体認識部１４０の認識処理部１４３は、特徴量抽出部１４２が抽出した特徴量を用いて認識処理を行い（ステップＳ１０８）、その処理結果が認識対象であるか否かを判定する（ステップＳ１０９）。ここでは、認識対象である人物であるか否かを、認識処理部１４３が判定する。
【００６６】
次に、ステップＳ１０９において、認識処理部１４３が、認識対象（人物）であると判定した場合（ステップＳ１０９→Ｙｅｓ）、認識処理部１４３は、その情報を出力処理部１５０に引き渡す。
そして、出力処理部１５０は、出力部５０を介して、不図示の表示装置に表示された監視画像２０００に、認識結果を出力する（ステップＳ１１０）。ここでは、出力処理部１５０は、例えば、監視画像２０００の変形検知領域２１００を赤枠等で示し、人物が認識されたことを表示する。また、出力処理部１５０は、監視画像２０００に加えて、監視空間１０００をシミュレーションした画面に、認識対象（人物）が含まれる検知領域（矩形領域）１１００を枠として表示させるようにしてもよい。そして、次のステップＳ１１１へ進む。
【００６７】
一方、ステップＳ１０９において、認識処理部１４３が、認識対象（人物）であると判定しなかった場合は（ステップＳ１０９→Ｎｏ）、次のステップＳ１１１へ進む。
【００６８】
ステップＳ１１１において、物体認識部１４０（認識処理部１４３）は、監視空間１０００における監視領域の位置座標（ここでは、認識対象の人物の足元座標）のすべての処理を終了したか否かを判定する。
【００６９】
ここで、まだ処理していない監視領域の位置座標がある場合には（ステップＳ１１１→Ｎｏ）、ステップＳ１０４に戻り、次の監視領域の位置座標を１つ選択して処理を続ける。一方、監視領域のすべての位置座標での処理を終了した場合には（ステップＳ１１１→Ｙｅｓ）、物体認識処理を終了する。
【００７０】
このようにすることで、本発明の第１の実施形態に係る物体認識装置１（１ａ）は、監視画像２０００上の変形検知領域２１００を用いて、人物や物体の歪み等の変形に適合する形で、特徴量を抽出することができ、認識精度を向上させることができる。
【００７１】
≪第２の実施形態：物体認識装置の認識範囲特定処理≫
次に、本発明の第２の実施形態に係る物体認識装置１（１ｂ）（図７参照）の認識範囲特定処理について説明する。本発明の第２の実施形態に係る物体認識装置１（１ｂ）は、監視空間情報２００内に監視空間１０００における物体の配置を示す監視環境情報２３０を備え、制御部１０内に設けられた認識範囲特定部１６０が、認識対象が存在し得ない領域を除外して、物体認識処理にとって有効な認識範囲を特定する。このようにすることで、変形検知領域作成部１３０は、監視空間１０００内の監視領域のすべての位置座標を処理せずに、認識範囲特定部１６０が特定した認識範囲について、検知領域（矩形領域）１１００を変形検知領域２１００に変換すればよい。
【００７２】
図７は、本発明の第２の実施形態に係る物体認識装置１（１ｂ）の構成例を示す機能ブロック図である。図７に示す物体認識装置１（１ｂ）は、図１に示す物体認識装置１（１ａ）の構成に加えて、記憶部２０の監視空間情報２００内に、監視環境情報２３０を備え、また、制御部１０内に、認識範囲特定部１６０を備えている。
【００７３】
監視環境情報２３０は、監視空間１０００における物体に配置を示す情報である。例えば、監視空間１０００が屋外であれば、壁面や、路面、建物（ビル、家屋）等の配置を示し、屋内であれば、壁面や、通路、机、ロッカー等の配置を示す情報である。
この監視環境情報２３０は、例えば、表計算ソフトや、ＣＡＤ等の３Ｄ設計ツール、地図システム（ナビゲーションシステム）、ＧＰＳ（Global Positioning System）等を利用して予め作成され、記憶部２０の監視空間情報２００に記憶される。
【００７４】
次に、認識範囲特定部１６０は、監視環境情報２３０を用いて、監視空間１０００において、認識対象が存在し得ない領域を除外して、物体認識処理にとって有効な認識範囲を特定する。
【００７５】
図８は、本発明の第２の実施形態に係る認識範囲特定部１６０の構成を示す機能ブロック図である。
図８に示すように、認識範囲特定部１６０は、監視空間環境作成部１６１と、画像環境変換部１６２と、認識範囲区別部１６３とを含んで構成される。
【００７６】
監視空間環境作成部１６１は、監視空間情報取得部１２０から受け取った監視環境情報２３０を用いて、監視空間１０００内の壁面や路面等の物体に配置を、世界座標として算出する。
【００７７】
画像環境変換部１６２は、カメラ情報２２０を監視空間情報取得部１２０から受け取り、監視空間１０００内の物体の配置を、カメラ情報２２０を用いて、監視画像２００上の画像座標に変換する。なお、この処理は、本発明の第１の実施形態の画像検知領域変換部１３２が行う、監視空間１０００上の点を、監視画像２０００上の画像座標に変換する処理と同様の処理により行うことができる。このようにすることで、カメラ装置の俯角や空間位置等に応じて、監視環境情報２３０で示される物体の配置を、正しく監視画像２０００上に変換することができる。
【００７８】
認識範囲区別部１６３は、画像環境変換部１６２により変換された監視画像２０００上の領域を区別し、認識対象が存在し得ない領域を除外し、物体認識処理にとって有効な認識範囲を特定する。例えば、人物が存在し得ない壁面の領域を、変形検知領域作成部１３０（画像検知領域変換部１３２）が、検索する監視空間１０００における監視領域の位置座標から除外することで、物体認識装置１（１ｂ）が処理する認識範囲を特定する。そして、認識範囲区別部１６３は、特定した認識範囲の情報（図８の認識範囲情報４００）を、変形検知領域作成部１３０に引き渡す。
【００７９】
図９は、本発明の第２の実施形態に係る認識範囲特定部１６０が行う認識範囲特定処理を説明するための図である。
図９（ａ）に示すように、監視空間１０００には、壁面７１と路面７２とが配置されている。認識範囲特定部１６０の画像環境変換部１６２は、監視空間１０００上の壁面７１および路面７２の世界座標を、監視画像２０００上の画像座標に変換する。そして、認識範囲区別部１６３は、認識対象が存在し得ない、壁面７１等の外側の領域を除外し、図９（ｂ）に示すように、認識対象である人物や物体（例えば、自動車等）が存在する路面７２に特定して、物体認識処理を実行する。
【００８０】
（物体認識装置の認識範囲特定処理）
次に、本発明の第２の実施形態に係る物体認識装置１（１ｂ）が行う認識範囲特定処理について具体的に説明する。
図１０は、本発明の第２の実施形態に係る物体認識装置１（１ｂ）が行う認識範囲特定処理の流れを示すフローチャートである。
【００８１】
なお、この認識範囲特定処理は、図６に示した物体認識処理全体のうち、ステップＳ１０３での変形検知領域作成部１３０による検知領域作成処理の次に実行され、ステップＳ１０４において、変形検知領域作成部１３０が監視領域の位置座標を選択する範囲を限定するための処理である。
【００８２】
先ず、認識範囲特定部１６０の監視空間環境作成部１６１は、記憶部２０内の監視空間情報２００から、監視環境情報２３０を、監視空間環境取得部１２０を介して受け取る。そして、監視空間情報作成部１６１は、監視環境情報２３０の監視空間１０００における壁面や、路面、建物（屋外の場合）、壁面や、通路、机、ロッカー（屋内の場合）等の監視空間１０００内の物体の配置を世界座標として算出する（ステップＳ２０１）。
【００８３】
次に、認識範囲特定部１６０の画像環境変換部１６２は、カメラ情報２２０を監視空間情報取得部１２０から受け取り、ステップＳ２０１で算出した監視空間１０００内の物体の配置を、カメラ情報２２０を用いて、監視画像２０００上の画像座標に変換する（ステップＳ２０２）。
【００８４】
続いて、認識範囲特定部１６０の認識範囲区別部１６３は、監視画像２０００上に変換された物体の配置をその物体が監視画像２０００上に占める領域として区別し、認識対象が存在し得ない領域を除外し（図９参照）、物体認識処理にとって有効な認識範囲（領域）を特定する（ステップＳ２０３）。
【００８５】
このようにすることで、図６のステップＳ１０４およびＳ１０５において、変形検知領域作成部１３０は、監視領域の位置座標を選択する範囲を、監視画像２０００上で特定された認識範囲（認識範囲情報４００）に対応した、監視空間１０００上での位置に限定して、変形検知領域２１００を作成することができる。
よって、本発明の第２の実施形態に係る物体認識装置１（１ｂ）によれば、監視環境情報２３０を用いて、認識範囲を特定することにより、物体認識装置１の処理負荷を低減できる。また、監視が不必要な領域での認識処理を行わないことにより、物体認識処理の誤検出の可能性を低下させることができる。
【００８６】
≪第３の実施形態：物体認識装置の人物認識処理≫
次に、本発明の第３の実施形態に係る物体認識装置１について説明する。本発明の第３の実施形態に係る物体認識装置１は、本発明の第１の実施形態に係る物体認識装置１（１ａ）の物体認識処理に加えて、物体認識部１４０（１４０ｃ）（図１１参照）において、変形検知領域作成部１３０が作成した変形検知領域２１００の画像情報１００を、識別器や認識アルゴリズムに適合する形に変換して正規化し、その正規化した画像情報１００を用いて特徴量の抽出を行うことを特徴とする。
【００８７】
本発明の第３の実施形態に係る物体認識装置１全体の構成は、図１に示した本発明の第１の実施形態に係る物体認識装置１（１ａ）の構成と同じである。ここでは、物体認識装置１（１ａ）と同じ機能を有する構成は、同一の名称と符号を付し、説明を省略する。
【００８８】
図１１は、本発明の第３の実施形態に係る物体認識部１４０（１４０ｃ）の構成を示す機能ブロック図である。図５に示した本発明の第１の実施形態に係る物体認識部１４０（１４０ａ）との違いは、検知領域画像抽出部１４１と特徴量抽出部１４２との間に、領域正規化部１４４が設けられ、認識処理部１４３の代わりに、人物検出部１４５が設けられていることである。
【００８９】
領域正規化部１４４は、検知領域画像抽出部１４１が抽出した変形検知領域２１００の画像情報１００を、識別器や認識アルゴリズムに適合する形、例えば矩形に透視投影変換を行い正規化する。
【００９０】
人物検出部１４５は、特徴量抽出部１４２が抽出した特徴量に基づいて、学習サンプルから生成した識別器等により、人物か否かを判定する。そして、人物検出部１４５は、人物であると判定した場合には、その処理結果として、監視画像２０００上に、矩形に変換され正規化された人物検知領域を出力処理部１５０に出力する。
【００９１】
（物体認識装置の人物認識処理）
次に、本発明の第３の実施形態に係る物体認識装置１が行う人物認識処理について、図１２および図１３を参照して詳細に説明する。
図１２は、本発明の第３の実施形態に係る物体認識装置１が行う人物認識処理の流れを示すフローチャートである。図１３は、本発明の第３の実施形態に係る人物認識処理の流れを説明するための図である。
【００９２】
図１２のフローチャートにおいて、図６に示した物体認識処理のステップＳ１０１〜Ｓ１０５までの処理（変形検知領域の作成処理）は、第１の実施形態と同様であるため、同一のステップ番号を付し説明は省略する。ここでは、第３の実施形態に係る物体認識装置１の物体認識部１４０（１４０ｃ）が行うステップＳ３０１以降の処理について説明する。
【００９３】
図１２に示すように、変形検知領域作成部１３０により、変形検知領域２１００が作成されると（ステップＳ１０３〜Ｓ１０５）、物体認識部１４０（１４０ｃ）の検知領域画像抽出部１４１は、画像取得部１１０からカメラ装置等による画像情報１００を受け取り、その受け取った画像情報１００から、変形検知領域作成部１３０で作成した変形検知領域２１００の画像情報１００を抽出する（ステップＳ３０１：図１３のＳ３０１参照）。
【００９４】
次に、物体認識部１４０（１４０ｃ）の領域正規化部１４４は、検知領域画像抽出部１４１で抽出した画像情報１００を、識別器や認識アルゴリズムに適合する形（例えば、矩形）に透視投影変換し、正規化する（ステップＳ３０２：図１３のＳ３０２参照）。
【００９５】
続いて、物体認識部１４０（１４０ｃ）の特徴量抽出部１４２は、正規化された画像情報１００を用いて、認識アルゴリズムに応じた所定の特徴量の抽出を行う（ステップＳ３０３：図１３のＳ３０３参照）。例えば、特徴量抽出部１４２は、正規化された画像情報１００から識別器が利用するＨＯＧや、Haar-Like特徴、色情報等の特徴量を抽出する。
【００９６】
そして、物体認識部１４０（１４０ｃ）の人物検出部１４５は、特徴量抽出部１４２が抽出した特徴量を用いて認識処理を行い（ステップＳ３０４：図１３のステップＳ３０４参照）、その処理結果として認識対象が人物であるか否かを判定する（ステップＳ３０５）。例えば、人物検出部１４５は、学習サンプルから作成した識別器により、人物と人物以外とを認識する。
【００９７】
次に、ステップＳ３０５において、人物検出部１４５が、人物であると判定した場合（ステップＳ３０５→Ｙｅｓ）、人物検出部１４５は、その情報を出力処理部１５０に引き渡す。
そして、出力処理部１５０は、出力部５０を介して、不図示の表示装置に表示された監視画像２０００に、認識結果を出力する（ステップＳ３０６）。ここでは、出力処理部１５０は、例えば、監視画像２０００の変形検知領域２１００を赤枠等で示し、人物が認識されたことを表示する。また、出力処理部１５０は、監視画像２０００に加えて、監視空間１０００をシミュレーションした画面に、認識対象（人物）が含まれる検知領域（矩形領域）１１００を枠として表示させるようにしてもよい。そして、次のステップＳ３０７へ進む。
【００９８】
一方、ステップＳ３０５において、人物検出部１４５が、人物であると判定しなかった場合は（ステップＳ３０５→Ｎｏ）、次のステップＳ３０７へ進む。
【００９９】
ステップＳ３０７において、物体認識部１４０（人物検出部１４５）は、監視空間１０００における監視領域の位置座標（認識対象の人物の足元座標）のすべての処理を終了したか否かを判定する。
【０１００】
ここで、まだ処理していない監視領域の位置座標がある場合には（ステップＳ３０７→Ｎｏ）、ステップＳ１０４に戻り、次の監視領域の位置座標を１つ選択して処理を続ける（図１３のＳ１０４参照）。一方、監視領域のすべての処理を終了した場合には（ステップＳ３０７→Ｙｅｓ）、物体認識処理を終了する。
【０１０１】
このようにすることにより、変形検知領域２１００の画像情報１００を識別器や認識アルゴリズムに適合する形（例えば、矩形）に透視投影変換し正規化した画像情報１００を用いて、人物の特徴量を抽出できる。よって、人物認識率を向上させることができる。
【０１０２】
なお、本発明の第３の実施形態に係る人物認識処理において、本発明の第２の実施形態に係る認識範囲特定部１６０を制御部１０内に設け、図１２に示したステップＳ１０４の次に、認識範囲特定部１６０が、監視領域の位置座標を選択する範囲を、認識対象が存在しない領域を除外した認識範囲に限定するようにしてもよい。
【０１０３】
≪第４の実施形態：物体認識装置の人物カウント処理≫
次に、本発明の第４の実施形態に係る物体認識装置１について説明する。本発明の第４の実施形態に係る物体認識装置１は、物体認識装置を用いて人の入退室等の人数を数える人物カウント処理を行うことを特徴とする。
【０１０４】
本発明の第４の実施形態に係る物体認識装置１全体の構成は、図１に示した本発明の第１の実施形態に係る物体認識装置１（１ａ）の構成と同じである。ここでは、物体認識装置１（１ａ）と同じ機能を有する構成は、同一の名称と符号を付し、説明を省略する。
【０１０５】
図１４は、本発明の第４の実施形態に係る物体認識部１４０（１４０ｄ）の構成を示す機能ブロック図である。図５に示した本発明の第１の実施形態に係る物体認識部１４０（１４０ａ）との違いは、物体認識部１４０（１４０ａ）が備える、検知領域画像抽出部１４１、特徴量抽出部１４２、および認識処理部１４３に加えて、移動方向認識部１４６と、入退室判定部１４７とを備えていることである。
なお、本発明の第４の実施形態に係る認識処理部１４３は、学習サンプルにより生成した識別器を用いる認識方法により人物を識別する。さらに、認識処理部１４３は、特徴量抽出部１４２が抽出した特徴量に基づき、その人物の頭部の検出処理を行うようにすることもできる。また、認識処理部１４３は、この学習サンプルにより生成した識別器を用いる識別方法に加えて、テンプレート照合や、頭部、顔、肌色、作業服の色や模様等を用いて人物認識を行うようにしてもよい。
【０１０６】
移動方向認識部１４６は、認識処理部１４３が認識した人物の移動方向を判定する。移動方向認識部１４６は、この移動方向の判定を、例えば、認識された人物の頭部の方向（顔の向き）に基づき判定することができる。また、「Cheng Chan, “Multiple object tracking with kernel particle filter”, Computer Vision and Pattern Recognition, 2005, IEEE Computer Society Conference, vol.1, pp. 566- 573, 2005」に記載された Particle filter を用いて、人物を追跡し、移動方向や追跡の連続性で判定するようにすることもできる。
【０１０７】
入退室判定部１４７は、移動方向認識部１４６による人物の移動方向の判定に基づき、人物が入室するか退室するかの判定を行う。そして、入退室判定部１４７は、その判定結果を、出力処理部１５０に出力する。
【０１０８】
図１５は、本発明の第４の実施形態に係る人物カウント処理を説明するための図である。図１５に示すように、カメラ装置８４で撮影した監視画像２０００を用いて、所定の出入り口８０における、入退室する人物数をカウントする。図１５に示すように、退室する人数は２人であり、人物８１ａ，８１ｂで表示される。入室する人数は４人であり、人物８１ｃ，８１ｄ，８１ｅ，８１ｆで表示される。本発明の第４の実施形態に係る物体認識装置１の変形検知領域作成部１３０は、監視物体情報２１０とカメラ情報２２０とを用いて、監視画像２０００上の人物の形状に合致した変形検知領域２１００ａ，２１００ｂ，２１００ｃ，２１００ｄ，２１００ｅ，２１００ｆを作成する。そして、物体認識部１４０（１４０ｄ）がその変形検知領域２１００ａ，２１００ｂ，２１００ｃ，２１００ｄ，２１００ｅ，２１００ｆの特徴量を抽出し、人物を認識して、移動方向を判定する。そして、物体認識部１４０（１４０ｄ）は、移動方向と出入り口８０との関係により、人物８１の入退室を判定する。入室であれば、入室人数を「＋１」増やし、退室であれば退室人数を「＋１」増やす。この処理結果が符号８２に示すように表示される。また、物体認識部１４０は、監視画像２０００全体に存在する人数を、人物認識の結果として得ることによりカウントし、符号８３に示すように、表示させることもできる。
【０１０９】
（物体認識装置の人物カウント処理）
次に、本発明の第４の実施形態に係る物体認識装置１が行う人物カウント処理について具体的に説明する。
図１６は、本発明の第４の実施形態に係る物体認識装置１が行う人物カウント処理の流れを示すフローチャートである。
本発明の第４の実施形態に係る人物カウント処理は、物体認識部１４０（１４０ｄ）が、頭部の特徴量を用いて、人物が存在するか否かを判定し、さらに、頭部の方向（顔の向き）により、人物が入室するか退室するかを判定するものとして説明する。
【０１１０】
先ず、図６に示した物体認識処理のステップＳ１０１〜Ｓ１０５までの処理（変形検知領域の作成処理）は、第１の実施形態と同様であるため、同一のステップ番号を付し説明を省略する。ここでは、第４の実施形態に係る物体認識装置１の物体認識部１４０（１４０ｄ）が行う処理について説明する。
【０１１１】
図１６に示すように、変形検知領域作成部１３０により、変形検知領域２１００が作成されると（ステップＳ１０５）、物体認識部１４０（１４０ｄ）の検知領域画像抽出部１４１は、画像取得部１１０から監視カメラ等の画像情報１００を受け取り、その受け取った画像情報１００から、変形検知領域作成部１３０で作成した変形検知領域２１００の画像情報１００を抽出する（ステップＳ４０１）。
【０１１２】
そして、物体認識部１４０（１４０ｄ）の特徴量抽出部１４２は、検知領域画像抽出部１４１が抽出した画像情報１００を用いて、認識アルゴリズムに応じた所定の特徴量の抽出する（ステップＳ４０２）。
【０１１３】
続いて、物体認識部１４０（１４０ｄ）の認識処理部１４３は、特徴量抽出部１４２が抽出した特徴量を用いて認識処理を行う（ステップＳ４０３）。具体的には、認識処理部１４３は、抽出した特徴量を用いて、人物を認識し、その人物の頭部を検出する。
【０１１４】
次に、ステップＳ４０４において、認識処理部１４３が、認識対象となる人物の頭部があると判定した場合（ステップＳ４０４→Ｙｅｓ）、認識処理部１４３は、その情報を移動方向認識部１４６に引き渡し、次のステップＳ４０５へ進む。一方、認識処理部１４３が、人物の頭部がないと判定した場合は、（ステップＳ４０４→Ｎｏ）、ステップＳ４０９へ進む。
【０１１５】
次に、ステップＳ４０４において、認識処理部１４３が、人物の頭部があると判定した場合（ステップＳ４０４→Ｙｅｓ）、移動方向認識部１４６は、その頭部の方向（顔の向き）を検出する（ステップＳ４０５）。そして、入退室判定部１４７が、その検出結果として顔の向きから移動方向を判定し（ステップＳ４０６）、正面と判定した場合には（ステップＳ４０６→Ｙｅｓ）、入室人数を「＋１」増やす（ステップＳ４０７）。一方、入退室判定部１４７が、顔の向きを後ろ向き（正面でない）と判定した場合には（ステップＳ４０６→Ｎｏ）、退室人数を「＋１」増やす（ステップＳ４０８）。
そして、ステップＳ４０７およびステップＳ４０８の処理を終えると、入退室判定部１４７は、次のステップＳ４０９へ進む。
【０１１６】
ステップＳ４０９において、入退室判定部１４７は、監視空間１０００における監視領域の位置座標（ここでは、認識対象の人物の足元座標）のすべての処理を終了したか否かを判定する（ステップＳ４０９）。ここで、まだ処理していない監視領域がある場合には（ステップＳ４０９→Ｎｏ）、ステップＳ１０４に戻り、次の監視領域を１つ選択して処理を続ける。一方、監視領域のすべての処理を終了した場合には（ステップＳ４０９→Ｙｅｓ）、次のステップＳ４１０へ進む。
【０１１７】
ステップＳ４１０において、出力処理部１５０は、出力部５０を介して、不図示の表示装置に表示された監視画像２０００に、処理結果を出力する。ここでは、出力処理部１５０は、例えば、ステップＳ１０５で作成した監視画像２０００の変形検知領域２１００について、例えば、入室人物を赤枠で示し、退室人物を青枠で表示する。また、出力処理部１５０は、監視画像２０００に加えて、監視空間１０００をシミュレーションした画面に、認識対象（人物）が含まれる検知領域（矩形領域）１１００のうち、例えば、入室人物の検知領域１１００を赤枠で表示させ、退室人物の検知領域１１００を青枠で表示させるようにしてもよい。そして、出力処理部１５０は、ステップＳ４０７およびステップＳ４０８で算出した、入室人数や退室人数等を画面上に表示させて処理を終える。
【０１１８】
このように、監視画像２０００上の変形検知領域２１００を作成することにより、画像上での人物の歪んだ外形に合致した領域の画像情報１００を抽出することができ、人物の入退室をより正確に判定し、人物カウントの性能を向上させることができる。
【０１１９】
なお、本発明の第２の実施形態の構成、および本発明の第３の実施形態の構成を、人物カウント処理に用いることも可能である。第２の実施形態の認識範囲特定部１６０によれば、物体認識装置１の処理負荷が低減される。また、第３の実施形態の物体認識部１４０（１４０ｃ）によれば、人物カウントの性能をさらに向上させることができる。
また、第２の実施形態に係る監視環境情報２３０を用いて、図１５に示す出入り口８０に認識範囲を限定して、人物カウント処理を実行すれば、その出入り口８０を通過する入退室者の人数を把握することもできる。
【０１２０】
≪第５の実施形態：物体認識装置の人物追跡処理≫
次に、本発明の第５の実施形態に係る物体認識装置１（１ｅ）による人物追跡処理について説明する。本発明の第５の実施形態に係る物体認識装置１（１ｅ）は、時系列の画像情報１００を用いて、所定の人物をフレーム間で追跡（同一人物と連続して認識）するものである。
【０１２１】
図１７は、本発明の第５の実施形態に係る物体認識装置１（１ｅ）の構成例を示す機能ブロック図である。図１７に示す物体認識装置１（１ｅ）は、図１に示す物体認識装置１（１ａ）の構成に加えて、制御部１０内に、追跡変形検知領域作成部１７０および追跡物体認識部１８０を備える。
【０１２２】
本発明の第５の実施形態に係る物体認識装置１（１ｅ）は、追跡変形検知領域作成部１７０が、１つ前のフレームの画像情報１００において、認識対象となる人物が認識された監視空間１０００上の位置（後記する前フレーム人物空間位置９２）を特定し、その前フレーム人物空間位置９２の近傍の所定の位置に複数の追跡検知領域１１０１を作成する（図１８（ａ）参照）。そして、追跡変形検知領域作成部１７０は、監視空間１０００上の複数の追跡検知領域１１０１それぞれを、監視画像２０００上の追跡変形検知領域２１０１に変換する。そして、追跡物体認識部１８０が、追跡変形検知領域２１０１の画像情報１００から特徴量を抽出し、前フレームで特定した人物の特徴量と一致する場合に、同一人物がそのフレームに存在すると判定し、その人物が監視空間１０００上のその追跡検知領域１１０１の位置に存在することが検出される。そして、この処理をフレームが終了するまで繰り返す。図１８（ｂ）は、最初のフレーム（ｆ１）の監視画像２０００上で変形検知領域２１００が特定され、人物追跡処理により特徴量が一致し同一人物と判定される人物９１を、次のフレーム（ｆ２）から最後のフレーム（ｆｎ）まで、追跡することを示している。
以下、図１の物体認識装置１（１ａ）と同じ構成については、同一の名称と符号を付し、説明を省略する。
【０１２３】
図１７に戻り、追跡変形検知領域作成部１７０は、認識対象の人物を検知した監視画像２０００上の位置に対応した監視空間１０００上の監視領域の位置座標に基づき、認識対象となる人物の空間位置（前フレーム人物空間位置９２）を特定する。そして、追跡変形検知領域作成部１７０は、監視空間１０００の前フレーム人物空間位置９２の近傍の所定の位置に複数の追跡検知領域１１０１を作成する。続いて、追跡変形検知領域作成部１７０は、作成した複数の追跡検知領域１１０１それぞれを、カメラ情報２２０を用いて、監視画像２０００上の追跡変形検知領域２１０１に変換する。
【０１２４】
追跡物体認識部１８０は、前フレームで特定した人物と特徴量が一致するか否かを判定し、同一人物であると判定した場合には、認識対象の人物の監視画像２０００上での追跡変形検知領域２１０１を特定する。そして、追跡物体認識部１８０は、その情報を出力処理部１５０に出力する。
【０１２５】
図１９は、本発明の第５の実施形態に係る追跡物体認識部１８０の構成を示す機能ブロック図である。
図１９に示すように、追跡物体認識部１８０は、追跡検知領域画像抽出部１８１と、特徴量抽出部１４２（１４２ｅ）と、人物特定部１８２とを含んで構成される。
【０１２６】
追跡検知領域画像抽出部１８１は、追跡変形検知領域作成部１７０が作成した複数の追跡変形検知領域２１０１のうちの１つを選択し、そのフレームの画像情報１００から、選択した追跡変形検知領域２１０１の画像情報１００を抽出する。
【０１２７】
特徴量抽出部１４２（１４２ｅ）は、追跡変形検知領域２１０１の画像情報１００から、特徴量を抽出する。この特徴量の抽出は、例えば、色のヒストグラム、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＨＯＧ等の特徴量を利用することができる。
【０１２８】
人物特定部１８２は、前フレームで抽出された人物の特徴量と、当該フレームで特徴量抽出部１４２（１４２ｅ）が抽出した特徴量とを比較し、一致するか否かを判定する。そして、人物特定部１８２は、前フレームと当該フレームの特徴量が一致する場合には、同一人物であるとして、その追跡変形検知領域２１０１の情報を、出力処理部１５０に出力する。
【０１２９】
（物体認識装置の人物追跡処理）
次に、本発明の第５の実施形態に係る物体認識装置１（１ｅ）が行う人物追跡処理について具体的に説明する。
図２０および図２１は、本発明の第５の実施形態に係る物体認識装置１（１ｅ）が行う人物追跡処理の流れを示すフローチャートである。
【０１３０】
先ず、図２０に示すように、図６に示したステップＳ１０１〜Ｓ１０３と同様の処理を行い、追跡対象となる人物の監視空間１０００での検知領域（矩形領域）１１０を作成する。
【０１３１】
次に、変形検知領域作成部１３０は、画像取得部１１０が取得した画像情報１００から最初のフレームの画像情報１００を読み込む（ステップＳ５０１）。
【０１３２】
続いて、変形検知領域作成部１３０および物体認識部１４０が、図６のステップＳ１０４〜Ｓ１１１までの認識対象の物体認識処理を行う（ステップＳ５０２）。
【０１３３】
そして、物体認識部１４０の認識処理部１４３により、認識対象の人物が検知されたか否かを判定する（ステップＳ５０３）。認識処理部１４３が認識対象の人物を検知しなかった場合には（ステップＳ５０３→Ｎｏ）、変形検知領域作成部１３０は、次のフレームの画像情報１００を読み込み（ステップＳ５０４）、ステップＳ５０２に戻る。一方、認識処理部１４３が認識対象の人物を検知した場合には（ステップＳ５０４→Ｙｅｓ）、その情報を、追跡変形検知領域作成部１７０に引き渡す。
【０１３４】
図２１に進み、ステップＳ５０５において、追跡変形検知領域作成部１７０は、ステップＳ５０２の処理で、認識処理部１４３が認識対象の人物を検知した監視空間１０００における監視領域の位置情報に基づき、認識対象となる人物の空間位置（前フレーム人物空間位置９２）を特定する（ステップＳ５０５）。
【０１３５】
次に、追跡変形検知領域作成部１７０は、次のフレームの画像情報１００を読み込む（ステップＳ５０６）。
【０１３６】
続いて、追跡変形検知領域作成部１７０は、監視空間１０００の前フレーム人物空間位置９２の所定の位置に複数の追跡検知領域１１０１を作成する（ステップＳ５０７）。そして、追跡変形検知領域作成部１７０は、作成した複数の追跡検知領域１１０１を、カメラ情報２２０を用いて、監視画像２０００上の追跡変形検知領域２１０１に変換する（ステップＳ５０８）。
【０１３７】
次に、追跡物体認識部１８０の追跡検知領域画像抽出部１８１は、追跡変形検知領域作成部１７０で作成した複数の追跡変形検知領域２１０１のうちの１つを選択する（ステップＳ５０９）。
【０１３８】
続いて、追跡検知領域画像抽出部１８１は、そのフレームの画像情報１００から、選択した追跡変形検知領域２１０１の画像情報１００を抽出する（ステップＳ５１０）。
【０１３９】
次に、追跡物体認識部１８０の特徴量抽出部１４２（１４２ｅ）は、追跡検知領域画像抽出部１８１が抽出した追跡変形検知領域２１０１の画像情報１００から、特徴量を抽出する（ステップＳ５１１）。
【０１４０】
そして、人物特定部１８２は、前フレームで抽出された特徴量と、ステップＳ５１１で抽出した当該フレームの特徴量とを比較し、特徴量が一致するか否かを判定する（ステップＳ５１２）。ここで、特徴量が一致する場合には（ステップＳ５１２→Ｙｅｓ）、次にステップＳ５１４に進む。一方、特徴量が一致しない場合には（ステップＳ５１２→Ｎｏ）、ステップＳ５１３に進む。
【０１４１】
ステップＳ５１３において、人物特定部１８２は、ステップＳ５０８で作成した複数の追跡変形検知領域２１０１すべてを処理したか否かを判定する。そして、まだ処理していない追跡変形検知領域２１０１がある場合には（ステップＳ５１３→Ｎｏ）、ステップＳ５０９に戻り、次の追跡変形検知領域２１０１を選択する。一方、作成した追跡変形検知領域２１０１のすべてを処理した場合には（ステップＳ５１３→Ｙｅｓ）、次にステップＳ５１４に進む。
【０１４２】
ステップＳ５１４において、出力処理部１５０は、人物特定部１８２から処理結果を受け取り、不図示の表示装置に表示された監視画像２０００に、認識結果を出力する（ステップＳ５１４）。ここでは、出力処理部１５０は、特徴量が前フレームの特徴量と一致する場合には（ステップＳ５１２→Ｙｅｓ）、例えば、監視画像２０００の追跡変形検知領域２１０１を赤枠等で示し、前のフレームと同じ人物が認識されたことを表示する。また、出力処理部１５０は、監視画像２０００に加えて、監視空間１０００をシミュレーションした画面に、認識対象（人物）が含まれる追跡検知領域１１０１を枠として表示させるようにしてもよい。一方、出力処理部１５０は、特徴量が前フレームの特徴量と一致する追跡変形検知領域２１０１が存在しない場合には（ステップＳ５１２→Ｎｏ，ステップＳ５１３→Ｙｅｓ）、監視画像２０００に追跡変形検知領域２１０１を表示しない。
【０１４３】
次に、追跡変形検知領域作成部１７０は、画像取得部１１０が取得した画像情報１００のすべてのフレームを処理したか否かを判定する（ステップＳ５１５）。そして、まだ処理していないフレームがある場合には（ステップＳ５１５→Ｎｏ）、ステップＳ５０５に戻り、処理を続ける。ここで、追跡変形検知領域作成部１７０は、ステップＳ５１２において、当該フレームの特徴量が前フレームの特徴量と一致する場合には、当該フレームにおける監視画像２０００の追跡変形検知領域２１０１に対応する監視空間１０００の追跡検知領域１１０１を、前フレーム人物空間位置９２に置き換えて、ステップＳ５０６以降の処理を続ける。また、追跡変形検知領域作成部１７０は、特徴量が前フレームの特徴量と一致する追跡変形検知領域２１０１が存在しない場合には（ステップＳ５１３→Ｙｅｓ）、前フレームで特定した前フレーム人物空間位置９２の情報を更新せず、ステップＳ５０６以降の処理を続ける。一方、追跡変形検知領域作成部１７０は、すべてのフレームを処理したと判定した場合には（ステップＳ５１５→Ｙｅｓ）、処理を終える。
【０１４４】
このようにすることで、監視空間情報２００に基づき各フレームで人物の歪みに応じた検知領域１１００を作成することにより、追跡用の特徴量を正しく抽出することができるようになるため、人物追跡の性能を向上させることができる。
【符号の説明】
【０１４５】
１ 物体認識装置
１０ 制御部
２０ 記憶部
３０ メモリ部
４０ 入力部
５０ 出力部
９２ 前フレーム人物空間位置
１１０ 画像取得部
１２０ 監視空間情報取得部
１３０ 変形検知領域作成部
１３１ 監視空間検知領域作成部
１３２ 画像検知領域変換部
１４０ 物体認識部
１４１ 検知領域画像抽出部
１４２ 特徴量抽出部
１４３ 認識処理部
１４４ 領域正規化部
１４５ 人物検出部
１４６ 移動方向認識部
１４７ 入退室判定部
１５０ 出力処理部
１６０ 認識範囲特定部
１６１ 監視空間環境作成部
１６２ 画像環境変換部
１６３ 認識範囲区別部
１７０ 追跡変形検知領域作成部
１８０ 追跡物体認識部
１８１ 追跡検知領域画像抽出部
１８２ 人物特定部
２００ 監視空間情報
２１０ 監視物体情報
２２０ カメラ情報
１０００ 監視空間
１１００ 検知領域（矩形領域）
１１０１ 追跡検知領域
２０００ 監視画像
２１００ 変形検知領域
２１０１ 追跡変形検知領域
【特許請求の範囲】
【請求項１】
監視空間を撮影した画像情報を表示する監視画像上に認識対象が存在するか否かを判定する物体認識装置であって、
前記認識対象となる物体自身の前記監視空間での大きさに関する情報が格納される監視物体情報、および、前記監視空間を撮影するカメラ装置の空間位置や特性を示すパラメータが格納されるカメラ情報が記憶される記憶部と、
前記画像情報を取得する画像取得部と、
前記監視物体情報を用いて、前記監視空間上に前記認識対象の大きさが含まれる領域を示す検知領域を作成し、前記作成した検知領域を、前記カメラ情報に基づき、前記監視画像上での前記認識対象の領域を示す変形検知領域に変換する変形検知領域作成部と、
前記監視画像における前記変形検知領域の前記画像情報について、前記認識対象の特徴量を抽出し、前記抽出した特徴量を用いて、前記認識対象が存在するか否かを判定する物体認識部と、
前記認識対象が存在すると判定された場合に、前記変形検知領域を表示装置に出力する出力処理部と、
を備えることを特徴とする物体認識装置。
【請求項２】
前記記憶部には、さらに、前記監視空間における物体の配置を示す監視環境情報が記憶されており、
前記監視環境情報を参照して、前記監視空間において、前記認識対象が存在し得ない領域を除外して、前記認識対象が存在する前記監視画像の領域を特定する認識範囲特定部をさらに備え、
前記変形検知領域作成部は、前記認識範囲特定部が特定した前記監視画像の領域に対応する前記監視空間の領域において、前記検知領域を作成すること
を特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記物体認識部は、
前記変形検知領域の前記画像情報について、前記カメラ装置の前記パラメータに基づく変形を正規化することにより修正し、前記正規化した画像情報を用いて、前記特徴量を抽出すること
を特徴とする請求項１または請求項２に記載の物体認識装置。
【請求項４】
前記物体認識部は、
前記抽出した特徴量を用いて、前記認識対象が人物であるか否かを判定し、前記認識対象が人物である場合に、当該人物が所定の移動方向を向いているか否かを判定し、前記所定の移動方向に向いていると判定した人物の数をカウントすること
を特徴とする請求項１ないし請求項３のいずれか１項に記載の物体認識装置。
【請求項５】
前記物体認識部が前記認識対象が存在すると判定した前記監視画像の前記変形検知領域に対応する前記監視空間の検知領域を示す前フレーム人物空間位置を特定し、前記特定した前記前フレーム人物空間位置の近傍の所定の領域に、前記検知領域と同じ前記認識対象の大きさが含まれる複数の追跡検知領域を作成し、前記作成した追跡検知領域それぞれを、前記カメラ情報に基づき、前記監視画像上の追跡変形検知領域に変換する追跡変形検知領域作成部と、
前記監視画像における前記追跡変形検知領域それぞれの前記画像情報について、前記認識対象の特徴量を抽出し、前記認識対象が存在すると判定した前フレームにおいて抽出された前記認識対象の特徴量と一致する場合に、同一の前記認識対象であると判定する追跡物体認識部と、
を備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載の物体認識装置。
【請求項６】
監視空間を撮影した画像情報を表示する監視画像上に認識対象が存在するか否かを判定する物体認識装置の物体認識方法であって、
前記物体認識装置は、
前記認識対象となる物体自身の前記監視空間での大きさに関する情報が格納される監視物体情報、および、前記監視空間を撮影するカメラ装置の空間位置や特性を示すパラメータが格納されるカメラ情報が記憶される記憶部を備えており、
前記画像情報を取得するステップと、
前記監視物体情報を用いて、前記監視空間上に前記認識対象の大きさが含まれる領域を示す検知領域を作成し、前記作成した検知領域を、前記カメラ情報に基づき、前記監視画像上での前記認識対象の領域を示す変形検知領域に変換するステップと、
前記監視画像における前記変形検知領域の前記画像情報について、前記認識対象の特徴量を抽出し、前記抽出した特徴量を用いて、前記認識対象が存在するか否かを判定するステップと、
前記認識対象が存在すると判定された場合に、前記変形検知領域を表示装置に出力するステップと、
を実行することを特徴とする物体認識方法。
【請求項１】
監視空間を撮影した画像情報を表示する監視画像上に認識対象が存在するか否かを判定する物体認識装置であって、
前記認識対象となる物体自身の前記監視空間での大きさに関する情報が格納される監視物体情報、および、前記監視空間を撮影するカメラ装置の空間位置や特性を示すパラメータが格納されるカメラ情報が記憶される記憶部と、
前記画像情報を取得する画像取得部と、
前記監視物体情報を用いて、前記監視空間上に前記認識対象の大きさが含まれる領域を示す検知領域を作成し、前記作成した検知領域を、前記カメラ情報に基づき、前記監視画像上での前記認識対象の領域を示す変形検知領域に変換する変形検知領域作成部と、
前記監視画像における前記変形検知領域の前記画像情報について、前記認識対象の特徴量を抽出し、前記抽出した特徴量を用いて、前記認識対象が存在するか否かを判定する物体認識部と、
前記認識対象が存在すると判定された場合に、前記変形検知領域を表示装置に出力する出力処理部と、
を備えることを特徴とする物体認識装置。
【請求項２】
前記記憶部には、さらに、前記監視空間における物体の配置を示す監視環境情報が記憶されており、
前記監視環境情報を参照して、前記監視空間において、前記認識対象が存在し得ない領域を除外して、前記認識対象が存在する前記監視画像の領域を特定する認識範囲特定部をさらに備え、
前記変形検知領域作成部は、前記認識範囲特定部が特定した前記監視画像の領域に対応する前記監視空間の領域において、前記検知領域を作成すること
を特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記物体認識部は、
前記変形検知領域の前記画像情報について、前記カメラ装置の前記パラメータに基づく変形を正規化することにより修正し、前記正規化した画像情報を用いて、前記特徴量を抽出すること
を特徴とする請求項１または請求項２に記載の物体認識装置。
【請求項４】
前記物体認識部は、
前記抽出した特徴量を用いて、前記認識対象が人物であるか否かを判定し、前記認識対象が人物である場合に、当該人物が所定の移動方向を向いているか否かを判定し、前記所定の移動方向に向いていると判定した人物の数をカウントすること
を特徴とする請求項１ないし請求項３のいずれか１項に記載の物体認識装置。
【請求項５】
前記物体認識部が前記認識対象が存在すると判定した前記監視画像の前記変形検知領域に対応する前記監視空間の検知領域を示す前フレーム人物空間位置を特定し、前記特定した前記前フレーム人物空間位置の近傍の所定の領域に、前記検知領域と同じ前記認識対象の大きさが含まれる複数の追跡検知領域を作成し、前記作成した追跡検知領域それぞれを、前記カメラ情報に基づき、前記監視画像上の追跡変形検知領域に変換する追跡変形検知領域作成部と、
前記監視画像における前記追跡変形検知領域それぞれの前記画像情報について、前記認識対象の特徴量を抽出し、前記認識対象が存在すると判定した前フレームにおいて抽出された前記認識対象の特徴量と一致する場合に、同一の前記認識対象であると判定する追跡物体認識部と、
を備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載の物体認識装置。
【請求項６】
監視空間を撮影した画像情報を表示する監視画像上に認識対象が存在するか否かを判定する物体認識装置の物体認識方法であって、
前記物体認識装置は、
前記認識対象となる物体自身の前記監視空間での大きさに関する情報が格納される監視物体情報、および、前記監視空間を撮影するカメラ装置の空間位置や特性を示すパラメータが格納されるカメラ情報が記憶される記憶部を備えており、
前記画像情報を取得するステップと、
前記監視物体情報を用いて、前記監視空間上に前記認識対象の大きさが含まれる領域を示す検知領域を作成し、前記作成した検知領域を、前記カメラ情報に基づき、前記監視画像上での前記認識対象の領域を示す変形検知領域に変換するステップと、
前記監視画像における前記変形検知領域の前記画像情報について、前記認識対象の特徴量を抽出し、前記抽出した特徴量を用いて、前記認識対象が存在するか否かを判定するステップと、
前記認識対象が存在すると判定された場合に、前記変形検知領域を表示装置に出力するステップと、
を実行することを特徴とする物体認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２２１４３７（Ｐ２０１２−２２１４３７Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８９７２９（Ｐ２０１１−８９７２９）
【出願日】平成２３年４月１４日（２０１１．４．１４）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１４日（２０１１．４．１４）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]