画像認識による小動物識別方法および小動物識別装置
【課題】カメラで撮像した画像データを画像認識手段により、侵入者、小動物、昆虫等の判断が出来る、小動物識別方法および小動物識別装置の提案を目的とする。
【解決手段】カメラなどの撮像手段１、画像記憶手段３、認識対象画区を設定する画区設定手段４、背景画像データ３１と現監視画像データとの差分画像データを演算出力する差分演算手段５、予め登録記憶された閾値に基づき異常形状を抽出する異常形状抽出手段６、異常形状の床面への接地位置を検出する下端接地位置検出手段７、形状寸法を補正演算し実形状データを抽出する実形状抽出手段９、該実形状データおよび下端接地位置検出の可否データなどより侵入物体の種類を判断する侵入物体判断手段１１、および、侵入物体判断手段の判断条件を記憶している判断条件メモリ１０とで構成する。
【解決手段】カメラなどの撮像手段１、画像記憶手段３、認識対象画区を設定する画区設定手段４、背景画像データ３１と現監視画像データとの差分画像データを演算出力する差分演算手段５、予め登録記憶された閾値に基づき異常形状を抽出する異常形状抽出手段６、異常形状の床面への接地位置を検出する下端接地位置検出手段７、形状寸法を補正演算し実形状データを抽出する実形状抽出手段９、該実形状データおよび下端接地位置検出の可否データなどより侵入物体の種類を判断する侵入物体判断手段１１、および、侵入物体判断手段の判断条件を記憶している判断条件メモリ１０とで構成する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、カメラで撮像した画像を画像認識により小動物、昆虫等を判定する侵入物体認識方法および侵入物体認識装置に関わる。
【０００２】
【従来の技術】監視カメラで撮像した画像データより侵入者、侵入物体などを画像処理手段で抽出する侵入物体認識装置は、広く知られている。侵入物体の認識方法は、大きく２通りに分かれる。第１は、予め登録された背景画像データと現監視画像データの差分画像データより、侵入物体の形状や動きなどを画像処理手段により直接認識する方法である。この方法は、画素単位の画像処理を伴うため高価な装置になるばかりか、人、小動物、昆虫等の判定を監視領域全般に渡って行なうことは困難である。第２は、認識対象画区として設定された前記差分画像データと該画区内画像の平均値やピーク値などを予め登録された異常判定する閾値と比較演算して、該認識対象画区の侵入物体の有無を判断する簡便法である。この方法は、小型で安価に製作出来るが、カメラから監視対象物体までの距離により、監視画面内の画像サイズが大幅に異なり、人、小動物、昆虫等の木目細かい判定は出来ない。
【０００３】 従来技術による侵入者の検出・警報装置では、人、小動物、昆虫等の木目細かい判定が出来ないため、ゴキブリ、蛾、鼠などの小動物が監視領域に入った場合、侵入者ありと誤判定する、誤警報を発信するなどの問題点がある。簡便で且つ監視領域全般に渡って人と小動物の認識が出来る小動物識別方法および小動物識別装置が求められている。
【０００４】
【発明が解決しようとする課題】以上に説明した問題点および課題に鑑み、本発明は、テレビジョンカメラで撮像した画像データを簡易画像認識手段により、侵入者、小動物、昆虫等の判断が出来る、小動物識別方法および小動物識別装置の提案を目的とする。
【０００５】
【課題を解決するための手段】監視対象物体をカメラなどの撮像手段で撮像し、画像信号をディジタル画像データに変換した後、画像認識によって人や小動物などを識別する物体識別方法において、ディジタル画像データを一時的に記憶する画像記憶手段と、画像記憶手段に記憶した画像データの認識対象画区を設定する画区設定手段と、画像記憶手段に登録記憶されている背景画像データと現監視画像データとの差分画像データを演算出力する差分演算手段と、差分画像データより予め登録記憶された閾値に基づき異常形状を抽出する異常形状抽出手段と、異常形状の下端部の床面への接地位置を検出する下端接地位置検出手段と、異常形状をカメラからの距離もしくは画区位置により形状寸法を補正演算し実形状データを抽出する実形状抽出手段と、該実形状データおよび下端接地位置検出の可否データなどより侵入物体の種類を判断する侵入物体判断手段と、侵入物体判断手段の判断条件を記憶している判断条件メモリとで構成し、侵入物体の無い状態での背景画像データおよび現監視画像データは画像記憶手段に一旦記憶され、差分演算手段は画区設定手段が設定した認識対象画区の背景画像データおよび現監視画像データを画像記憶手段より読出すと共に両者の差分画像データを演算出力し、異常形状抽出手段は該差分画像データより予め登録記憶された閾値に基づき異常形状データを抽出し、下端接地位置検出手段は異常形状の下端部を検出すると共に床面への接地位置データもしくは接地の可否データを検出し、実形状抽出手段は、接地位置データから距離補正データを演算出力すると共に該距離補正データを用いて、異常形状データよりカメラからの距離に依存しないノルマライズされた実寸法の実形状データを抽出し、該侵入物体判断手段は、実形状データおよび前記可否データより、判断条件メモリに予め記憶されている判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力する。
【０００６】 画区設定手段は、認識対象画区を同一寸法で且つ等間隔に設定する、認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定する、もしくは、認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定する。
【０００７】 異常形状抽出手段の異常画区は、同一画区もしくは同一区画内の平均値又は総和値の閾値を用いて抽出する、同一画区もしくは同一区画内の色相平均値の閾値を用いて抽出する、同一画区内の異常区画数の閾値を用いて抽出する方法とする、もしくは、同一区画内の異常画素数の閾値を用いて抽出する。
【０００８】 下端接地位置検出手段の下端接地位置検出を、異常形状の下端部と床面の連続性特異点もしくは不連続性を検出する、異常形状の下端部にある影の有無を検出する、もしくは、補助照明を追加設置し、異常形状の下端部にある影の有無を検出する。
【０００９】 実形状抽出手段の前記距離補正データを、撮像手段に追加設置された補助光学系の２元撮像データに基づいて生成する。
【００１０】 侵入物判断手段の侵入物体の種類判断を、実形状データの面積値により判断する、実形状データの形状寸法値より判断する、可否データにより飛翔体の有無を判断する、もしくは、異常形状データと距離データもしくは画区データとの組合条件により判断する。
【００１１】 監視対象物体をカメラなどの撮像手段で撮像し、画像信号をディジタル画像データに変換した後、画像認識によって人や小動物などを識別する侵入物体判別装置において、カメラと、該カメラで撮像した画像信号をディジタル画像データに変換するＡ／Ｄと、侵入物体の存在しない背景画像データを記憶する背景画像メモリと、リアルタイムの画像データを循環的に記憶する画像メモリと、該画像データの認識対象画区を設定する画区設定部と、画区設定部が認識対象画区の設定時に必要とする等間隔設定関数を記憶している画区設定関数メモリと、画区設定部が読み出した背景画像データと画像データとを差分演算し差分画像データを演算出力する差分演算部と、異常画区もしくは異常区画を抽出するための平均値の閾値データを記憶している閾値メモリと、該閾値データに基づいて差分画像データより異常画区もしくは異常区画を抽出する異常画区抽出部と、異常画区もしくは異常区画データより近似形状を抽出する近似形状抽出部と、近似形状を一時記憶する近似形状メモリと、近似形状の下端部を検出する下端検出部と、下端部の床面への接地位置もしくは接地の可否を検出する接地位置検出部と、接地位置データに基づいてカメラからの距離データを演算出力する距離演算部と、距離データに基づいて該近似形状の形状補正演算を行なう距離補正演算部と、形状補正演算結果より実形状データを抽出する実形状抽出部と、侵入物体種別の判断を行なう形状、面積値などの判断条件を登録記憶する判断条件メモリと、判断条件、実形状データ、接地の可否データなどに基づいて、人、小動物、昆虫など侵入物体種別の判断出力を行なう侵入物体判断部とで構成する。
【００１２】 画区設定関数メモリに、認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定する等距離画区設定関数を追加記憶する、もしくは、認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定する距離加重設定関数を追加記憶する。
【００１３】 接地位置検出部に、侵入物体下端部にできる影を検出する影検手段を追加設置する。
【００１４】 接地位置検出部に侵入物体下端部にできる影を検出する影検手段と、侵入物体下端部に影を出し易くする補助照明とを追加設置する。
【００１５】 カメラに補助光学系を有する２元撮像手段と、２元撮像の画像データの差分時間を演算出力する差分演算部と前記差分時間よりカメラから撮像対象物までの距離データを換算出力する距離換算部などを有する距離データ生成手段を追加設置する。
【００１６】 ２元撮像手段を、補助レンズおよびハーフミラーもしくはプリズムなどを有する補助光学系と、主レンズおよび補助レンズ系よりの光学画像を選択入力する液晶シャッタなどで構成する。
【００１７】 閾値メモリに、異常画区の抽出を同一画区内の異常区画数で抽出する異常区画数閾値を追加記憶する、異常区画の抽出を同一区画内の異常画素数で抽出する異常画素数閾値を追加記憶する、異常形状抽出を同一画区もしくは同一区画内の赤外線又は近赤外線画像の平均値の赤外画像閾値を追加記憶する、もしくは、異常形状抽出を同一画区もしくは同一区画内の色相平均値の色相閾値を追加記憶する。
【００１８】 前記判断条件メモリに、侵入物体の種類を縦方向および横方向の寸法の組合せにより判断する形状寸法条件を追加記憶する、空中飛翔体と限界面積との組合せにより判断する異常飛翔体判断条件を追加記憶する、もしくは、カメラの遮蔽、照明の部分遮蔽、カメラの故障などによる異常画像を判断する撮像障害判断条件を追加記憶する。
【００１９】
【発明の実施の形態】図１は、本発明による小動物識別装置の第一の実施例の概略構成図および監視領域の俯瞰図である。図２は、モニタ上の撮像画像表示例および本発明の認識対象画区の構成概念図である。図３は、本発明による侵入物体の認識方法のフロー図である。図４は、本発明による小動物識別装置の第二の実施例の要部ブロック図である。図５は、本発明による侵入物体の判断方法を表すフロー図である。図１乃至図３を用いて、本発明による小動物識別装置の侵入物体認識方法を説明する。図１（ロ）に示す第一の実施例の小動物識別装置は、監視対象物体を撮像するカメラなどの撮像手段１、画像信号をディジタル画像データに変換するＡ／Ｄ２、ディジタル画像データを一時的に記憶する画像記憶手段３、画像記憶手段３に記憶した画像データの認識対象画区を設定する画区設定手段４、画像記憶手段に登録記憶されている背景画像データ３１と現監視画像データとの差分画像データを演算出力する差分演算手段５、差分画像データより予め登録記憶された閾値に基づき異常形状を抽出する異常形状抽出手段６、異常形状の最下端部の床面への接地位置を検出する下端接地位置検出手段７、異常形状をカメラ１からの距離もしくは画区位置により形状寸法を補正演算し実形状データを抽出する実形状抽出手段９、該実形状データおよび下端接地位置検出の可否データなどより侵入物体の種類を判断する侵入物体判断手段１１、および、侵入物体判断手段の判断条件を記憶している判断条件メモリ１０とで標準構成されている。
【００２０】 図１（イ）に示す侵入者監視環境は、横約７ｍ×奥行約１１ｍの部屋であり、カメラ１は後壁面Ｗ４の高さ約３ｍの位置に設置されている。撮像視野は、後壁面Ｗ４より約１ｍの床位置から前壁面Ｗ２の高さ約２．７ｍの位置までをカバーしている。後壁面Ｗ４より１．５ｍ付近に人Ｈ１および猫Ａ１、空中に蝶Ｆ１、３ｍ付近に人Ｈ２および猫Ａ２、空中に蝶Ｆ２、７ｍ付近に人Ｈ３および猫Ａ３、空中に蝶Ｆ３、同じく１０ｍ付近に人Ｈ４および猫、Ａ４空中に蝶Ｆ４がいる。図２（イ）は、カメラ１で撮像した画像をモニター上に表示したものである。本図で画面の最下部はカメラの最近視野点で後壁面Ｗ４より１ｍの床面を表し、画面の最上部はカメラの最遠視野点で前壁面Ｗ２の高さ２．７ｍの壁面を表す。画面左右には部屋の側壁面Ｗ１、Ｗ３が表示されている。監視対象物の人や小動物の表示画像は、カメラ１からの距離に逆比例して小さく表示される。最もカメラ１に近い位置にいる蝶Ｆ１は、人Ｈ１の頭および猫Ａ１の大きさより大きく表示されている。さらに、３ｍ付近の蝶Ｆ２は１０ｍ付近の人Ｈ４および猫Ａ４より遥かに大きく表示される。この状態では、画像の大きさや面積で物体の種類を判断することは出来ない。
【００２１】 図３を加えて、本発明による侵入物体種別の画像認識および判断方法をの概要を説明する。監視対象領域の画像はカメラ１により撮像されるＳＴ１。カメラ１からの画像信号はＡ／Ｄ２でディジタル画像データに変換されるＳＴ２。侵入物体の無い状態での背景画像データおよび現監視画像データは画像記憶手段３に一旦記憶されＳＴ３、差分演算手段５は画区設定手段４が設定ＳＴ４した認識対象画区の背景画像データ３１および現監視画像データを画像記憶手段３より読出すと共に両者の差分画像データを演算出力するＳＴ５。異常形状抽出手段６は該差分画像データより予め登録記憶された閾値に基づき異常形状データを抽出するＳＴ６と共に近似形状を抽出するＳＴ７。下端接地位置検出手段７は異常近似形状の下端部を検出すると共に床面への接地位置データもしくは接地の可否データを検出するＳＴ８。実形状抽出手段９は、接地位置データから距離補正データを演算出力するＳＴ９と共に該距離補正データを用いて、異常近似形状データよりカメラからの距離に依存しないノルマライズされた実寸法の実形状データを抽出するＳＴ１０。該侵入物体判断手段１１は、実形状データおよび可否データより、判断条件メモリ１０に予め記憶されているＳＴ１３判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力するＳＴ１４。
【００２２】 次に本発明の要素毎に、詳細な説明を行なう。認識対象画区設定の第一の実施例は、図２（ロ）に示す如くＸ−Ｙ方向に等間隔で且つ同一サイズの画区Ｐが配置されている。一画区は縦ｍ×横ｎ（ｍ＝１６、ｎ＝１２）＝１９２で構成され、さらに、一画区は縦ｙ×横ｘ（ｙ＝１０、ｘ＝１０）＝１００の区画Ｋで構成され、さらに、一区画は８×８＝６４個の画素Ｇで構成されている。此れは、カメラ１の画像が有効水平走査線数９６０本、水平方向の有効画素数１２８０と云うことを意味する。
【００２３】 第二の実施例は、図２（イ）の点線で示すカメラ１からの等距離線ｒ２（２ｍ）、ｒ３（３ｍ）、ｒ５（５ｍ）、ｒ７（７ｍ）、ｒ１０（１０ｍ）等に沿って設定され、さらに、図示していないが第三の実施例では一画区のサイズが距離に反比例して小さくなっている。これら点線で囲まれたゾーンはＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５、・・・・として表せる。
【００２４】 異常形状抽出手段６の異常画区もしくは異常区画は、予め登録記憶された閾値に基づき抽出される。第一の実施例では同一画区もしくは同一区画内のレベルの平均値又は総和値の閾値を、第二の実施例では同一画区もしくは同一区画内の色相平均値の閾値を、第三の実施例では同一画区内の異常区画数の閾値を、および、第四の実施例では同一区画内の異常画素数の閾値を用いて抽出している。第一および第二の実施例はアナログ的手法である。第三および第四の実施例にあっては、異常画素の検出は第一および第二の実施例と同様アナログ値で判定し、その後は異常画素数および異常区画数などディジタル的手法であり、抽出後の画像処理を容易に行なう事ができる。
【００２５】 下端接地位置検出手段７の下端接地位置検出は、第一の実施例では抽出された異常形状の下端部と床面との連続画像の特異点（接地境界線を意味する）もしくは不連続性（床面より浮いていることを意味する）を検出する方法、第二の実施例では異常形状の下端部にある影の有無を検出する方法、さらに、第三の実施例では図示していない補助照明を天井部に配設し、異常形状の下端部にある影の有無を検出する方法が取られ、補助照明により床面に影を出易くしている。
【００２６】 図４を用いて、本発明による小動物識別装置の第二の実施例の詳細構成を説明する。第二の実施例の小動物識別装置は、監視対象物体を撮像するカメラ１ａ、画像信号をディジタル画像データに変換するＡ／Ｄ２、侵入物体の存在しない背景画像データを記憶する背景画像メモリ３ｂ、リアルタイムの画像データを循環的に記憶する画像メモリ３ａ、該画像データの認識対象画区を設定する画区設定部４ａ、画区設定部４ａが認識対象画区の設定時に必要とする画区設定関数を記憶している画区設定関数メモリ４ｂ、画区設定部が読み出した背景画像データと画像データとを差分演算し差分画像データを演算出力する差分演算部５ａ、異常画区もしくは異常区画を抽出するための平均値の閾値データを記憶している閾値メモリ６ｂ、該閾値データに基づいて差分画像データより異常画区もしくは異常区画を抽出する異常画区抽出部６ａ、異常画区もしくは異常区画データより近似形状を抽出する近似形状抽出部６ｃ、近似形状を一時記憶する近似形状メモリ６ｄ、近似形状の下端部を検出する下端検出部７ａ、下端部の床面への接地位置もしくは接地の可否を検出する接地位置検出部７ｂ、接地位置データに基づいてカメラ１からの距離データを演算出力する距離演算部９ｂ、画区位置とカメラとの距離のテーブルを記憶している画区−距離テーブル９ｃ、距離データに基づいて該近似形状の形状補正演算を行なう距離補正演算部９ａ、形状補正演算結果より実形状データを抽出する実形状抽出部９ｄ、侵入物体種別の判断を行なう判断条件を登録記憶する判断条件メモリ１０、判断条件、実形状データ、接地の可否データなどに基づいて、人、小動物、昆虫など侵入物体種別の判断出力を行なう侵入物体判断部１１Ａ、装置内各部の動作シーケンスプログラムを記憶しているシステムメモリ１３、該動作シーケンスプログラムに沿って装置内各部に制御指令を行なう制御部１４などで標準構成されている。
【００２７】 さらに、接地位置検出部に、侵入物体下端部にできる影を検出する影検手段（図示せず）、侵入物体下端部にできる影を検出する影検手段（図示せず）、侵入物体下端部に影を出し易くする補助照明（図示せず）、補助レンズおよびハーフミラーもしくはプリズムなどを有する補助光学系と主レンズおよび補助レンズ系よりの光学画像を選択入力する液晶シャッタなどを有する２元撮像手段１ｂ、２元撮像の画像データの差分時間を演算出力する差分演算部８ａと該差分時間よりカメラ１ａから撮像対象物までの距離データを換算出力する距離換算部８ｂなどを有する距離データ生成手段８などが追加設置されている。
【００２８】 信号の流れに沿って詳細動作を説明する。監視対象領域の画像はカメラ１ａにより撮像される。カメラ１ａからの画像信号はＡ／Ｄ２でディジタル画像データに変換される。侵入物体の無い状態での背景画像データは背景画像メモリ３ｂに記憶される。現監視画像データは画像データメモリ３ａに一旦記憶され、差分演算部５ａは画区設定部４ａが設定した認識対象画区の背景画像データおよび現監視画像データを背景画像メモリ３ｂおよび画像データメモリ３ａより読出すと共に両者の差分画像データを演算出力する。認識対象画区の設定は、画区設定関数メモリ４ｂに予め登録されている設定関数に基づいて行なわれる。
【００２９】 画区設定関数メモリ４ｂに予め登録されている画区設定関数は、等間隔設定関数、認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定する等距離画区設定関数、認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定する距離加重設定関数などが選択される。
【００３０】 異常画区抽出部６ａは、該差分画像データより閾値メモリ６ｂに予め登録記憶された閾値に基づき異常画区を抽出を行なう。登録記憶される閾値は、同一画区もしくは同一区画内の平均値又は総和値の閾値、同様の色相平均値の閾値、同一画区画内の異常区画数の閾値、同一区画内の異常画素数の閾値、赤外線又は近赤外線画像の平均値又は総和値の閾値などが選択される。赤外線又は近赤外線画像は、必要に応じて図示していない補助赤外線通過フィルタを用いて撮像され、動物の体温により放射される赤外線および近赤外線画像を検出する。
【００３１】 近似形状抽出部６ｃは、抽出された異常画区データより異常画区の近似外形形状（近似形状）を抽出し、近似形状メモリ６ｄに一旦記憶させる。下端検出部７ａは、該近似形状の最下端部を検出し、接地位置検出部７ｂに入力する。接地位置検出部７ｂの役割は、侵入物体が床面の何処に居るかを検出してカメラ１ａから侵入物体までの距離を算出すること、及び侵入物体が床に接地しない飛翔体であるかを検出することに有る。接地位置は、異常形状の下端部と床面の連続性特異点もしくは不連続性を検出、異常形状の下端部にある影の有無を検出、もしくは、異常形状の下端部にある追加設置された補助照明によりできた影の有無を検出するなどの手法が用いられる。影を検出する方法は、夜間の常夜灯やカメラに付設された照明などの環境下では効果的に接地部の検出が出来る。空中飛翔体の場合、影は出るものの該飛翔体とは不連続の位置に発生するため、非接地の判定が容易である。
【００３２】 距離演算部９ｂは、接地位置検出部７ｂからの位置データに基づき、画区−距離テーブル９ｃから距離データを演算出力する。距離補正演算部９ａは、近似形状メモリ６ｄより近似形状データを読出し、該距離データで補正演算を行い補正近似形状データを算出する。実形状抽出部９ｄは、カメラからの距離に依存しない、形状寸法、面積などの実形状データを抽出する。
【００３３】 追加設置された、ハーフミラーやプリズムなどで構成される補助光学系１ｂからの光学画像画像を液晶光学シャッタを介して主カメラ部のＣＣＤなどの撮像素子に入射する２元撮像手段は、時間的に僅かにずれた２元画像データを生成する。差分時間演算部８はこの時間差を演算出力し、距離換算部８ｂは主光学系と補助光学系の間隔から、対象物体までの距離データを換算出力する。該距離データは、距離補正演算部９ａに入力される。この方法は多少高価であるが正確な距離データを検出することが出来る。
【００３４】 侵入物体判断部１１Ａは、実形状データおよび可否データより、判断条件メモリ１０に予め記憶されている判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力する。予め記憶されている判断条件は、形状・面積値などの形状条件、縦方向および横方向の寸法の組合せにより判断する形状寸法条件、空中飛翔体と限界面積との組合せにより判断する異常飛翔体判断条件、カメラの遮蔽・照明の部分遮蔽・カメラの故障などによる異常画像を判断する撮像障害判断条件などがある。縦方向および横方向の寸法の組合せにより判断する形状寸法条件は、侵入者が這て入った場合や幼児・座屈歩行者などの判断に有効的である。
【００３５】 図５を用いて、侵入物体の種類の判断の動作フローを説明する。まず接地位置検出部７ｂより検出結果が侵入物体判断部１１Ａの一方の端子に入力されるＳＴ１４ａ。接地位置検出不可（ｎｏ）の場合は昆虫などの翔物体と判断される。接地位置検出が検出された場合（ｙｅｓ）実形状データが他方の入力端子に入力されるＳＴ１４ｂ。実形状サイズがＳ１より大きい場合（ｙｅｓ）は侵入者と判断されるＳＴ１４Ｃ。さらに、Ｓ１より小さくＳ２より大きい場合（ｙｅｓ）は犬や猫などの小動物（１）と判断される（ＳＴ１４ｄ）。・・・・・Ｓ３より小さくＳ４より大きい場合（ｙｅｓ）はゴキブリなどの虫類と判断されるＳＴ１４ｆ。Ｓ４より小さい場合（ｎｏ）は無視される。
【００３６】
【発明の効果】本発明は以上に説明した内容で実施され、以下に述べる効果を奏する。画像記憶手段より読出すと共に背景画像データと現画像データの差分画像データを演算出力し、異常形状抽出手段は該差分画像データより予め登録記憶された閾値に基づき異常形状データを抽出し、下端接地位置検出手段は異常形状の下端部を検出すると共に床面への接地位置データもしくは接地の可否データを検出する。実形状抽出手段は、接地位置データから距離補正データを演算出力すると共に該距離補正データを用いて、異常形状データよりカメラからの距離に依存しないノルマライズされた実寸法の実形状データを抽出する。前述の実形状データおよび可否データより、判断条件メモリに予め記憶されている判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力することにより、カメラで撮像した画像データを簡易画像認識手段により、侵入者、小動物、昆虫等の判断が出来る小動物識別方法および小動物識別装置の提案が出来た。
【図面の簡単な説明】
【図１】 本発明による小動物識別装置の第一の実施例の概略構成図および監視領域の俯瞰図である。
【図２】 モニタ上の撮像画像表示例および本発明の認識対象画区の構成概念図である。
【図３】 本発明による侵入物体の認識方法のフロー図である。
【図４】 本発明による小動物識別装置の第二の実施例の要部ブロック図である。
【図５】 本発明による侵入物体の判断方法を表すフロー図である。
【符号の説明】
１ 撮像手段
１ａ カメラ
１ｂ 補助光学系
２ Ａ／Ｄ
３ 画像記憶手段
３ａ 画像メモリ
３ｂ 背景画像メモリ
４ 画区設定手段
４ａ 画区設定部
４ｂ 画区設定関数メモリ
５ 差分演算手段
５ａ 差分演算部
６ 異常形状抽出手段
６ａ 異常画区抽出部
６ｂ 閾値メモリ
６ｃ 近似形状抽出部
６ｄ 近似形状メモリ
７ 下端接地位置検出手段
７ａ 下端検出部
７ｂ 接地位置検出部
８ 距離データ生成手段
８ａ 差分演算部
８ｂ 距離換算部
９ 実形状抽出手段
９ａ 距離補正演算部
９ｂ 距離演算部
９ｃ 画区−距離テーブル
９ｄ 実形状抽出部
１０ 判断条件メモリ
１１ 侵入物体判断手段
１１Ａ 侵入物体判断部
１３ システムメモリ
１４ 制御部
【０００１】
【発明の属する技術分野】本発明は、カメラで撮像した画像を画像認識により小動物、昆虫等を判定する侵入物体認識方法および侵入物体認識装置に関わる。
【０００２】
【従来の技術】監視カメラで撮像した画像データより侵入者、侵入物体などを画像処理手段で抽出する侵入物体認識装置は、広く知られている。侵入物体の認識方法は、大きく２通りに分かれる。第１は、予め登録された背景画像データと現監視画像データの差分画像データより、侵入物体の形状や動きなどを画像処理手段により直接認識する方法である。この方法は、画素単位の画像処理を伴うため高価な装置になるばかりか、人、小動物、昆虫等の判定を監視領域全般に渡って行なうことは困難である。第２は、認識対象画区として設定された前記差分画像データと該画区内画像の平均値やピーク値などを予め登録された異常判定する閾値と比較演算して、該認識対象画区の侵入物体の有無を判断する簡便法である。この方法は、小型で安価に製作出来るが、カメラから監視対象物体までの距離により、監視画面内の画像サイズが大幅に異なり、人、小動物、昆虫等の木目細かい判定は出来ない。
【０００３】 従来技術による侵入者の検出・警報装置では、人、小動物、昆虫等の木目細かい判定が出来ないため、ゴキブリ、蛾、鼠などの小動物が監視領域に入った場合、侵入者ありと誤判定する、誤警報を発信するなどの問題点がある。簡便で且つ監視領域全般に渡って人と小動物の認識が出来る小動物識別方法および小動物識別装置が求められている。
【０００４】
【発明が解決しようとする課題】以上に説明した問題点および課題に鑑み、本発明は、テレビジョンカメラで撮像した画像データを簡易画像認識手段により、侵入者、小動物、昆虫等の判断が出来る、小動物識別方法および小動物識別装置の提案を目的とする。
【０００５】
【課題を解決するための手段】監視対象物体をカメラなどの撮像手段で撮像し、画像信号をディジタル画像データに変換した後、画像認識によって人や小動物などを識別する物体識別方法において、ディジタル画像データを一時的に記憶する画像記憶手段と、画像記憶手段に記憶した画像データの認識対象画区を設定する画区設定手段と、画像記憶手段に登録記憶されている背景画像データと現監視画像データとの差分画像データを演算出力する差分演算手段と、差分画像データより予め登録記憶された閾値に基づき異常形状を抽出する異常形状抽出手段と、異常形状の下端部の床面への接地位置を検出する下端接地位置検出手段と、異常形状をカメラからの距離もしくは画区位置により形状寸法を補正演算し実形状データを抽出する実形状抽出手段と、該実形状データおよび下端接地位置検出の可否データなどより侵入物体の種類を判断する侵入物体判断手段と、侵入物体判断手段の判断条件を記憶している判断条件メモリとで構成し、侵入物体の無い状態での背景画像データおよび現監視画像データは画像記憶手段に一旦記憶され、差分演算手段は画区設定手段が設定した認識対象画区の背景画像データおよび現監視画像データを画像記憶手段より読出すと共に両者の差分画像データを演算出力し、異常形状抽出手段は該差分画像データより予め登録記憶された閾値に基づき異常形状データを抽出し、下端接地位置検出手段は異常形状の下端部を検出すると共に床面への接地位置データもしくは接地の可否データを検出し、実形状抽出手段は、接地位置データから距離補正データを演算出力すると共に該距離補正データを用いて、異常形状データよりカメラからの距離に依存しないノルマライズされた実寸法の実形状データを抽出し、該侵入物体判断手段は、実形状データおよび前記可否データより、判断条件メモリに予め記憶されている判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力する。
【０００６】 画区設定手段は、認識対象画区を同一寸法で且つ等間隔に設定する、認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定する、もしくは、認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定する。
【０００７】 異常形状抽出手段の異常画区は、同一画区もしくは同一区画内の平均値又は総和値の閾値を用いて抽出する、同一画区もしくは同一区画内の色相平均値の閾値を用いて抽出する、同一画区内の異常区画数の閾値を用いて抽出する方法とする、もしくは、同一区画内の異常画素数の閾値を用いて抽出する。
【０００８】 下端接地位置検出手段の下端接地位置検出を、異常形状の下端部と床面の連続性特異点もしくは不連続性を検出する、異常形状の下端部にある影の有無を検出する、もしくは、補助照明を追加設置し、異常形状の下端部にある影の有無を検出する。
【０００９】 実形状抽出手段の前記距離補正データを、撮像手段に追加設置された補助光学系の２元撮像データに基づいて生成する。
【００１０】 侵入物判断手段の侵入物体の種類判断を、実形状データの面積値により判断する、実形状データの形状寸法値より判断する、可否データにより飛翔体の有無を判断する、もしくは、異常形状データと距離データもしくは画区データとの組合条件により判断する。
【００１１】 監視対象物体をカメラなどの撮像手段で撮像し、画像信号をディジタル画像データに変換した後、画像認識によって人や小動物などを識別する侵入物体判別装置において、カメラと、該カメラで撮像した画像信号をディジタル画像データに変換するＡ／Ｄと、侵入物体の存在しない背景画像データを記憶する背景画像メモリと、リアルタイムの画像データを循環的に記憶する画像メモリと、該画像データの認識対象画区を設定する画区設定部と、画区設定部が認識対象画区の設定時に必要とする等間隔設定関数を記憶している画区設定関数メモリと、画区設定部が読み出した背景画像データと画像データとを差分演算し差分画像データを演算出力する差分演算部と、異常画区もしくは異常区画を抽出するための平均値の閾値データを記憶している閾値メモリと、該閾値データに基づいて差分画像データより異常画区もしくは異常区画を抽出する異常画区抽出部と、異常画区もしくは異常区画データより近似形状を抽出する近似形状抽出部と、近似形状を一時記憶する近似形状メモリと、近似形状の下端部を検出する下端検出部と、下端部の床面への接地位置もしくは接地の可否を検出する接地位置検出部と、接地位置データに基づいてカメラからの距離データを演算出力する距離演算部と、距離データに基づいて該近似形状の形状補正演算を行なう距離補正演算部と、形状補正演算結果より実形状データを抽出する実形状抽出部と、侵入物体種別の判断を行なう形状、面積値などの判断条件を登録記憶する判断条件メモリと、判断条件、実形状データ、接地の可否データなどに基づいて、人、小動物、昆虫など侵入物体種別の判断出力を行なう侵入物体判断部とで構成する。
【００１２】 画区設定関数メモリに、認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定する等距離画区設定関数を追加記憶する、もしくは、認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定する距離加重設定関数を追加記憶する。
【００１３】 接地位置検出部に、侵入物体下端部にできる影を検出する影検手段を追加設置する。
【００１４】 接地位置検出部に侵入物体下端部にできる影を検出する影検手段と、侵入物体下端部に影を出し易くする補助照明とを追加設置する。
【００１５】 カメラに補助光学系を有する２元撮像手段と、２元撮像の画像データの差分時間を演算出力する差分演算部と前記差分時間よりカメラから撮像対象物までの距離データを換算出力する距離換算部などを有する距離データ生成手段を追加設置する。
【００１６】 ２元撮像手段を、補助レンズおよびハーフミラーもしくはプリズムなどを有する補助光学系と、主レンズおよび補助レンズ系よりの光学画像を選択入力する液晶シャッタなどで構成する。
【００１７】 閾値メモリに、異常画区の抽出を同一画区内の異常区画数で抽出する異常区画数閾値を追加記憶する、異常区画の抽出を同一区画内の異常画素数で抽出する異常画素数閾値を追加記憶する、異常形状抽出を同一画区もしくは同一区画内の赤外線又は近赤外線画像の平均値の赤外画像閾値を追加記憶する、もしくは、異常形状抽出を同一画区もしくは同一区画内の色相平均値の色相閾値を追加記憶する。
【００１８】 前記判断条件メモリに、侵入物体の種類を縦方向および横方向の寸法の組合せにより判断する形状寸法条件を追加記憶する、空中飛翔体と限界面積との組合せにより判断する異常飛翔体判断条件を追加記憶する、もしくは、カメラの遮蔽、照明の部分遮蔽、カメラの故障などによる異常画像を判断する撮像障害判断条件を追加記憶する。
【００１９】
【発明の実施の形態】図１は、本発明による小動物識別装置の第一の実施例の概略構成図および監視領域の俯瞰図である。図２は、モニタ上の撮像画像表示例および本発明の認識対象画区の構成概念図である。図３は、本発明による侵入物体の認識方法のフロー図である。図４は、本発明による小動物識別装置の第二の実施例の要部ブロック図である。図５は、本発明による侵入物体の判断方法を表すフロー図である。図１乃至図３を用いて、本発明による小動物識別装置の侵入物体認識方法を説明する。図１（ロ）に示す第一の実施例の小動物識別装置は、監視対象物体を撮像するカメラなどの撮像手段１、画像信号をディジタル画像データに変換するＡ／Ｄ２、ディジタル画像データを一時的に記憶する画像記憶手段３、画像記憶手段３に記憶した画像データの認識対象画区を設定する画区設定手段４、画像記憶手段に登録記憶されている背景画像データ３１と現監視画像データとの差分画像データを演算出力する差分演算手段５、差分画像データより予め登録記憶された閾値に基づき異常形状を抽出する異常形状抽出手段６、異常形状の最下端部の床面への接地位置を検出する下端接地位置検出手段７、異常形状をカメラ１からの距離もしくは画区位置により形状寸法を補正演算し実形状データを抽出する実形状抽出手段９、該実形状データおよび下端接地位置検出の可否データなどより侵入物体の種類を判断する侵入物体判断手段１１、および、侵入物体判断手段の判断条件を記憶している判断条件メモリ１０とで標準構成されている。
【００２０】 図１（イ）に示す侵入者監視環境は、横約７ｍ×奥行約１１ｍの部屋であり、カメラ１は後壁面Ｗ４の高さ約３ｍの位置に設置されている。撮像視野は、後壁面Ｗ４より約１ｍの床位置から前壁面Ｗ２の高さ約２．７ｍの位置までをカバーしている。後壁面Ｗ４より１．５ｍ付近に人Ｈ１および猫Ａ１、空中に蝶Ｆ１、３ｍ付近に人Ｈ２および猫Ａ２、空中に蝶Ｆ２、７ｍ付近に人Ｈ３および猫Ａ３、空中に蝶Ｆ３、同じく１０ｍ付近に人Ｈ４および猫、Ａ４空中に蝶Ｆ４がいる。図２（イ）は、カメラ１で撮像した画像をモニター上に表示したものである。本図で画面の最下部はカメラの最近視野点で後壁面Ｗ４より１ｍの床面を表し、画面の最上部はカメラの最遠視野点で前壁面Ｗ２の高さ２．７ｍの壁面を表す。画面左右には部屋の側壁面Ｗ１、Ｗ３が表示されている。監視対象物の人や小動物の表示画像は、カメラ１からの距離に逆比例して小さく表示される。最もカメラ１に近い位置にいる蝶Ｆ１は、人Ｈ１の頭および猫Ａ１の大きさより大きく表示されている。さらに、３ｍ付近の蝶Ｆ２は１０ｍ付近の人Ｈ４および猫Ａ４より遥かに大きく表示される。この状態では、画像の大きさや面積で物体の種類を判断することは出来ない。
【００２１】 図３を加えて、本発明による侵入物体種別の画像認識および判断方法をの概要を説明する。監視対象領域の画像はカメラ１により撮像されるＳＴ１。カメラ１からの画像信号はＡ／Ｄ２でディジタル画像データに変換されるＳＴ２。侵入物体の無い状態での背景画像データおよび現監視画像データは画像記憶手段３に一旦記憶されＳＴ３、差分演算手段５は画区設定手段４が設定ＳＴ４した認識対象画区の背景画像データ３１および現監視画像データを画像記憶手段３より読出すと共に両者の差分画像データを演算出力するＳＴ５。異常形状抽出手段６は該差分画像データより予め登録記憶された閾値に基づき異常形状データを抽出するＳＴ６と共に近似形状を抽出するＳＴ７。下端接地位置検出手段７は異常近似形状の下端部を検出すると共に床面への接地位置データもしくは接地の可否データを検出するＳＴ８。実形状抽出手段９は、接地位置データから距離補正データを演算出力するＳＴ９と共に該距離補正データを用いて、異常近似形状データよりカメラからの距離に依存しないノルマライズされた実寸法の実形状データを抽出するＳＴ１０。該侵入物体判断手段１１は、実形状データおよび可否データより、判断条件メモリ１０に予め記憶されているＳＴ１３判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力するＳＴ１４。
【００２２】 次に本発明の要素毎に、詳細な説明を行なう。認識対象画区設定の第一の実施例は、図２（ロ）に示す如くＸ−Ｙ方向に等間隔で且つ同一サイズの画区Ｐが配置されている。一画区は縦ｍ×横ｎ（ｍ＝１６、ｎ＝１２）＝１９２で構成され、さらに、一画区は縦ｙ×横ｘ（ｙ＝１０、ｘ＝１０）＝１００の区画Ｋで構成され、さらに、一区画は８×８＝６４個の画素Ｇで構成されている。此れは、カメラ１の画像が有効水平走査線数９６０本、水平方向の有効画素数１２８０と云うことを意味する。
【００２３】 第二の実施例は、図２（イ）の点線で示すカメラ１からの等距離線ｒ２（２ｍ）、ｒ３（３ｍ）、ｒ５（５ｍ）、ｒ７（７ｍ）、ｒ１０（１０ｍ）等に沿って設定され、さらに、図示していないが第三の実施例では一画区のサイズが距離に反比例して小さくなっている。これら点線で囲まれたゾーンはＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５、・・・・として表せる。
【００２４】 異常形状抽出手段６の異常画区もしくは異常区画は、予め登録記憶された閾値に基づき抽出される。第一の実施例では同一画区もしくは同一区画内のレベルの平均値又は総和値の閾値を、第二の実施例では同一画区もしくは同一区画内の色相平均値の閾値を、第三の実施例では同一画区内の異常区画数の閾値を、および、第四の実施例では同一区画内の異常画素数の閾値を用いて抽出している。第一および第二の実施例はアナログ的手法である。第三および第四の実施例にあっては、異常画素の検出は第一および第二の実施例と同様アナログ値で判定し、その後は異常画素数および異常区画数などディジタル的手法であり、抽出後の画像処理を容易に行なう事ができる。
【００２５】 下端接地位置検出手段７の下端接地位置検出は、第一の実施例では抽出された異常形状の下端部と床面との連続画像の特異点（接地境界線を意味する）もしくは不連続性（床面より浮いていることを意味する）を検出する方法、第二の実施例では異常形状の下端部にある影の有無を検出する方法、さらに、第三の実施例では図示していない補助照明を天井部に配設し、異常形状の下端部にある影の有無を検出する方法が取られ、補助照明により床面に影を出易くしている。
【００２６】 図４を用いて、本発明による小動物識別装置の第二の実施例の詳細構成を説明する。第二の実施例の小動物識別装置は、監視対象物体を撮像するカメラ１ａ、画像信号をディジタル画像データに変換するＡ／Ｄ２、侵入物体の存在しない背景画像データを記憶する背景画像メモリ３ｂ、リアルタイムの画像データを循環的に記憶する画像メモリ３ａ、該画像データの認識対象画区を設定する画区設定部４ａ、画区設定部４ａが認識対象画区の設定時に必要とする画区設定関数を記憶している画区設定関数メモリ４ｂ、画区設定部が読み出した背景画像データと画像データとを差分演算し差分画像データを演算出力する差分演算部５ａ、異常画区もしくは異常区画を抽出するための平均値の閾値データを記憶している閾値メモリ６ｂ、該閾値データに基づいて差分画像データより異常画区もしくは異常区画を抽出する異常画区抽出部６ａ、異常画区もしくは異常区画データより近似形状を抽出する近似形状抽出部６ｃ、近似形状を一時記憶する近似形状メモリ６ｄ、近似形状の下端部を検出する下端検出部７ａ、下端部の床面への接地位置もしくは接地の可否を検出する接地位置検出部７ｂ、接地位置データに基づいてカメラ１からの距離データを演算出力する距離演算部９ｂ、画区位置とカメラとの距離のテーブルを記憶している画区−距離テーブル９ｃ、距離データに基づいて該近似形状の形状補正演算を行なう距離補正演算部９ａ、形状補正演算結果より実形状データを抽出する実形状抽出部９ｄ、侵入物体種別の判断を行なう判断条件を登録記憶する判断条件メモリ１０、判断条件、実形状データ、接地の可否データなどに基づいて、人、小動物、昆虫など侵入物体種別の判断出力を行なう侵入物体判断部１１Ａ、装置内各部の動作シーケンスプログラムを記憶しているシステムメモリ１３、該動作シーケンスプログラムに沿って装置内各部に制御指令を行なう制御部１４などで標準構成されている。
【００２７】 さらに、接地位置検出部に、侵入物体下端部にできる影を検出する影検手段（図示せず）、侵入物体下端部にできる影を検出する影検手段（図示せず）、侵入物体下端部に影を出し易くする補助照明（図示せず）、補助レンズおよびハーフミラーもしくはプリズムなどを有する補助光学系と主レンズおよび補助レンズ系よりの光学画像を選択入力する液晶シャッタなどを有する２元撮像手段１ｂ、２元撮像の画像データの差分時間を演算出力する差分演算部８ａと該差分時間よりカメラ１ａから撮像対象物までの距離データを換算出力する距離換算部８ｂなどを有する距離データ生成手段８などが追加設置されている。
【００２８】 信号の流れに沿って詳細動作を説明する。監視対象領域の画像はカメラ１ａにより撮像される。カメラ１ａからの画像信号はＡ／Ｄ２でディジタル画像データに変換される。侵入物体の無い状態での背景画像データは背景画像メモリ３ｂに記憶される。現監視画像データは画像データメモリ３ａに一旦記憶され、差分演算部５ａは画区設定部４ａが設定した認識対象画区の背景画像データおよび現監視画像データを背景画像メモリ３ｂおよび画像データメモリ３ａより読出すと共に両者の差分画像データを演算出力する。認識対象画区の設定は、画区設定関数メモリ４ｂに予め登録されている設定関数に基づいて行なわれる。
【００２９】 画区設定関数メモリ４ｂに予め登録されている画区設定関数は、等間隔設定関数、認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定する等距離画区設定関数、認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定する距離加重設定関数などが選択される。
【００３０】 異常画区抽出部６ａは、該差分画像データより閾値メモリ６ｂに予め登録記憶された閾値に基づき異常画区を抽出を行なう。登録記憶される閾値は、同一画区もしくは同一区画内の平均値又は総和値の閾値、同様の色相平均値の閾値、同一画区画内の異常区画数の閾値、同一区画内の異常画素数の閾値、赤外線又は近赤外線画像の平均値又は総和値の閾値などが選択される。赤外線又は近赤外線画像は、必要に応じて図示していない補助赤外線通過フィルタを用いて撮像され、動物の体温により放射される赤外線および近赤外線画像を検出する。
【００３１】 近似形状抽出部６ｃは、抽出された異常画区データより異常画区の近似外形形状（近似形状）を抽出し、近似形状メモリ６ｄに一旦記憶させる。下端検出部７ａは、該近似形状の最下端部を検出し、接地位置検出部７ｂに入力する。接地位置検出部７ｂの役割は、侵入物体が床面の何処に居るかを検出してカメラ１ａから侵入物体までの距離を算出すること、及び侵入物体が床に接地しない飛翔体であるかを検出することに有る。接地位置は、異常形状の下端部と床面の連続性特異点もしくは不連続性を検出、異常形状の下端部にある影の有無を検出、もしくは、異常形状の下端部にある追加設置された補助照明によりできた影の有無を検出するなどの手法が用いられる。影を検出する方法は、夜間の常夜灯やカメラに付設された照明などの環境下では効果的に接地部の検出が出来る。空中飛翔体の場合、影は出るものの該飛翔体とは不連続の位置に発生するため、非接地の判定が容易である。
【００３２】 距離演算部９ｂは、接地位置検出部７ｂからの位置データに基づき、画区−距離テーブル９ｃから距離データを演算出力する。距離補正演算部９ａは、近似形状メモリ６ｄより近似形状データを読出し、該距離データで補正演算を行い補正近似形状データを算出する。実形状抽出部９ｄは、カメラからの距離に依存しない、形状寸法、面積などの実形状データを抽出する。
【００３３】 追加設置された、ハーフミラーやプリズムなどで構成される補助光学系１ｂからの光学画像画像を液晶光学シャッタを介して主カメラ部のＣＣＤなどの撮像素子に入射する２元撮像手段は、時間的に僅かにずれた２元画像データを生成する。差分時間演算部８はこの時間差を演算出力し、距離換算部８ｂは主光学系と補助光学系の間隔から、対象物体までの距離データを換算出力する。該距離データは、距離補正演算部９ａに入力される。この方法は多少高価であるが正確な距離データを検出することが出来る。
【００３４】 侵入物体判断部１１Ａは、実形状データおよび可否データより、判断条件メモリ１０に予め記憶されている判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力する。予め記憶されている判断条件は、形状・面積値などの形状条件、縦方向および横方向の寸法の組合せにより判断する形状寸法条件、空中飛翔体と限界面積との組合せにより判断する異常飛翔体判断条件、カメラの遮蔽・照明の部分遮蔽・カメラの故障などによる異常画像を判断する撮像障害判断条件などがある。縦方向および横方向の寸法の組合せにより判断する形状寸法条件は、侵入者が這て入った場合や幼児・座屈歩行者などの判断に有効的である。
【００３５】 図５を用いて、侵入物体の種類の判断の動作フローを説明する。まず接地位置検出部７ｂより検出結果が侵入物体判断部１１Ａの一方の端子に入力されるＳＴ１４ａ。接地位置検出不可（ｎｏ）の場合は昆虫などの翔物体と判断される。接地位置検出が検出された場合（ｙｅｓ）実形状データが他方の入力端子に入力されるＳＴ１４ｂ。実形状サイズがＳ１より大きい場合（ｙｅｓ）は侵入者と判断されるＳＴ１４Ｃ。さらに、Ｓ１より小さくＳ２より大きい場合（ｙｅｓ）は犬や猫などの小動物（１）と判断される（ＳＴ１４ｄ）。・・・・・Ｓ３より小さくＳ４より大きい場合（ｙｅｓ）はゴキブリなどの虫類と判断されるＳＴ１４ｆ。Ｓ４より小さい場合（ｎｏ）は無視される。
【００３６】
【発明の効果】本発明は以上に説明した内容で実施され、以下に述べる効果を奏する。画像記憶手段より読出すと共に背景画像データと現画像データの差分画像データを演算出力し、異常形状抽出手段は該差分画像データより予め登録記憶された閾値に基づき異常形状データを抽出し、下端接地位置検出手段は異常形状の下端部を検出すると共に床面への接地位置データもしくは接地の可否データを検出する。実形状抽出手段は、接地位置データから距離補正データを演算出力すると共に該距離補正データを用いて、異常形状データよりカメラからの距離に依存しないノルマライズされた実寸法の実形状データを抽出する。前述の実形状データおよび可否データより、判断条件メモリに予め記憶されている判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力することにより、カメラで撮像した画像データを簡易画像認識手段により、侵入者、小動物、昆虫等の判断が出来る小動物識別方法および小動物識別装置の提案が出来た。
【図面の簡単な説明】
【図１】 本発明による小動物識別装置の第一の実施例の概略構成図および監視領域の俯瞰図である。
【図２】 モニタ上の撮像画像表示例および本発明の認識対象画区の構成概念図である。
【図３】 本発明による侵入物体の認識方法のフロー図である。
【図４】 本発明による小動物識別装置の第二の実施例の要部ブロック図である。
【図５】 本発明による侵入物体の判断方法を表すフロー図である。
【符号の説明】
１ 撮像手段
１ａ カメラ
１ｂ 補助光学系
２ Ａ／Ｄ
３ 画像記憶手段
３ａ 画像メモリ
３ｂ 背景画像メモリ
４ 画区設定手段
４ａ 画区設定部
４ｂ 画区設定関数メモリ
５ 差分演算手段
５ａ 差分演算部
６ 異常形状抽出手段
６ａ 異常画区抽出部
６ｂ 閾値メモリ
６ｃ 近似形状抽出部
６ｄ 近似形状メモリ
７ 下端接地位置検出手段
７ａ 下端検出部
７ｂ 接地位置検出部
８ 距離データ生成手段
８ａ 差分演算部
８ｂ 距離換算部
９ 実形状抽出手段
９ａ 距離補正演算部
９ｂ 距離演算部
９ｃ 画区−距離テーブル
９ｄ 実形状抽出部
１０ 判断条件メモリ
１１ 侵入物体判断手段
１１Ａ 侵入物体判断部
１３ システムメモリ
１４ 制御部
【特許請求の範囲】
【請求項１】 監視対象物体をテレビジョンカメラ（以下カメラと云う）などの撮像手段で撮像し、画像信号をディジタル画像データに変換した後、画像認識によって人や小動物などを識別する物体識別方法において、前記ディジタル画像データを一時的に記憶する画像記憶手段と、前記画像記憶手段に記憶した画像データの認識対象画区を設定する画区設定手段と、前記画像記憶手段に登録記憶されている背景画像データと現監視画像データとの差分画像データを演算出力する差分演算手段と、前記差分画像データより予め登録記憶された閾値に基づき異常区域（以下異常形状と云う）を抽出する異常形状抽出手段と、前記異常形状の最下端部の床面への接地位置を検出する下端接地位置検出手段と、前記異常形状をカメラからの距離もしくは画区位置により形状寸法を補正演算し実形状データを抽出する実形状抽出手段と、前記実形状データおよび下端接地位置検出の可否データなどより侵入物体の種類を判断する侵入物体判断手段と、前記侵入物体判断手段の判断条件を記憶している判断条件メモリとで構成し、侵入物体の無い状態での前記背景画像データおよび現監視画像データは前記画像記憶手段に一旦記憶され、前記差分演算手段は前記画区設定手段が設定した認識対象画区の背景画像データおよび現監視画像データを前記画像記憶手段より読出すと共に両者の差分画像データを演算出力し、前記異常形状抽出手段は該差分画像データより予め登録記憶された閾値に基づき異常形状データを抽出し、前記下端接地位置検出手段は前記異常形状の下端部を検出すると共に床面への接地位置データもしくは接地の可否データを検出し、前記実形状抽出手段は、前記接地位置データから距離補正データを演算出力すると共に該距離補正データを用いて、前記異常形状データよりカメラからの距離に依存しないノルマライズされた実寸法の実形状データを抽出し、前記侵入物体判断手段は、前記実形状データおよび前記可否データより、前記判断条件メモリに予め記憶されている判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力することを特徴とする画像認識による小動物識別方法。
【請求項２】 前記画区設定手段は、前記認識対象画区を同一寸法で且つ等間隔に設定することを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項３】 前記画区設定手段は、前記認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定することを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項４】 前記画区設定手段は、前記認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定することを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項５】 前記異常形状抽出手段の異常画区は、同一画区もしくは同一区画内のレベルの平均値又は総和値の閾値を用いて抽出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項６】 前記異常形状抽出手段の異常画区は、同一画区もしくは同一区画内の色相平均値の閾値を用いて抽出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項７】 前記異常形状抽出手段の異常画区は、同一画区内の異常区画数の閾値を用いて抽出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項８】 前記異常形状抽出手段の異常区画は、同一区画内の異常画素数の閾値を用いて抽出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項９】 前記下端接地位置検出手段の下端接地位置検出を、前記異常形状の下端部と床面の連続性特異点もしくは不連続性を検出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１０】 前記下端接地位置検出手段の下端接地位置検出を、前記異常形状の下端部にある影の有無を検出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１１】 前記下端接地位置検出手段の下端接地位置検出を、補助照明を追加設置し、前記異常形状の下端部にある影の有無を検出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１２】 前記実形状抽出手段の前記距離補正データを、前記撮像手段に追加設置された補助光学系の２元撮像データに基づいて生成する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１３】 前記侵入物判断手段の侵入物体の種類判断を、前記実形状データの面積値により判断する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１４】 前記侵入物判断手段の侵入物体の種類判断を、前記実形状データの形状寸法値より判断する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１５】 前記侵入物判断手段の侵入物体の種類判断を、前記可否データにより飛翔体の有無を判断する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１６】 前記侵入物判断手段の侵入物体の種類判断を、前記異常形状データと距離データもしくは画区データとの組合条件により判断する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１７】 監視対象物体をカメラなどの撮像手段で撮像し、画像信号をディジタル画像データに変換した後、画像認識によって人や小動物などを識別する侵入物体判別装置において、前記カメラと、該カメラで撮像した画像信号をディジタル画像データに変換するＡ／Ｄ(Analog Digital converter)と、侵入物体の存在しない背景画像データを記憶する背景画像メモリと、リアルタイムの画像データを循環的に記憶する画像メモリと、該画像データの認識対象画区を設定する画区設定部と、前記画区設定部が認識対象画区の設定時に必要とする等間隔設定関数を記憶している画区設定関数メモリと、前記画区設定部が読み出した背景画像データと画像データとを差分演算し差分画像データを演算出力する差分演算部と、異常画区もしくは異常区画を抽出するための平均値の閾値データを記憶している閾値メモリと、前記閾値データに基づいて前記差分画像データより異常画区もしくは異常区画を抽出する異常画区抽出部と、前記異常画区もしくは異常区画データより近似形状を抽出する近似形状抽出部と、前記近似形状を一時記憶する近似形状メモリと、前記近似形状の下端部を検出する下端検出部と、前記下端部の床面への接地位置もしくは接地の可否を検出する接地位置検出部と、前記接地位置データに基づいてカメラからの距離データを演算出力する距離演算部と、前記距離データに基づいて前記近似形状の形状補正演算を行なう距離補正演算部と、前記形状補正演算結果より実形状データを抽出する実形状抽出部と、侵入物体種別の判断を行なう形状、面積値などの判断条件を登録記憶する判断条件メモリと、前記判断条件、前記実形状データ、接地の可否データなどに基づいて、人、小動物、昆虫など侵入物体種別の判断出力を行なう侵入物体判断部とで構成することを特徴とする小動物識別装置。
【請求項１８】 前記画区設定関数メモリに、前記認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定する等距離画区設定関数を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項１９】 前記画区設定関数メモリに、前記認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定する距離加重設定関数を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２０】 前記接地位置検出部に、侵入物体下端部にできる影を検出する影検手段を追加設置することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２１】 前記接地位置検出部に侵入物体下端部にできる影を検出する影検手段と、侵入物体下端部に影を出し易くする補助照明とを追加設置することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２２】 前記カメラに補助光学系を有する２元撮像手段と、前記２元撮像の画像データの差分時間を演算出力する差分演算部と前記差分時間よりカメラから撮像対象物までの距離データを換算出力する距離換算部などを有する距離データ生成手段とを追加設置することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２３】 前記２元撮像手段を、補助レンズおよびハーフミラーもしくはプリズムなどを有する補助光学系と、主レンズおよび補助レンズ系よりの光学画像を選択入力する液晶シャッタなどで構成することを特徴とする請求項２２に記載の小動物識別装置。
【請求項２４】 前記閾値メモリに、異常形状抽出を同一画区もしくは同一区画内の色相平均値の色相閾値を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２５】 前記閾値メモリに、異常画区の抽出を同一画区内の異常区画数で抽出する異常区画数閾値を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２６】 前記閾値メモリに、異常区画の抽出を同一区画内の異常画素数で抽出する異常画素数閾値を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２７】 前記閾値メモリに、異常形状抽出を同一画区もしくは同一区画内の赤外線又は近赤外線画像の平均値の赤外画像閾値を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２８】 前記判断条件メモリに、侵入物体の種類を縦方向および横方向の寸法の組合せにより判断する形状寸法条件を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２９】 前記判断条件メモリに、空中飛翔体と限界面積との組合せにより判断する異常飛翔体判断条件を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項３０】 前記判断条件メモリに、カメラの遮蔽、照明の部分遮蔽、カメラの故障などによる異常画像を判断する撮像障害判断条件を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項１】 監視対象物体をテレビジョンカメラ（以下カメラと云う）などの撮像手段で撮像し、画像信号をディジタル画像データに変換した後、画像認識によって人や小動物などを識別する物体識別方法において、前記ディジタル画像データを一時的に記憶する画像記憶手段と、前記画像記憶手段に記憶した画像データの認識対象画区を設定する画区設定手段と、前記画像記憶手段に登録記憶されている背景画像データと現監視画像データとの差分画像データを演算出力する差分演算手段と、前記差分画像データより予め登録記憶された閾値に基づき異常区域（以下異常形状と云う）を抽出する異常形状抽出手段と、前記異常形状の最下端部の床面への接地位置を検出する下端接地位置検出手段と、前記異常形状をカメラからの距離もしくは画区位置により形状寸法を補正演算し実形状データを抽出する実形状抽出手段と、前記実形状データおよび下端接地位置検出の可否データなどより侵入物体の種類を判断する侵入物体判断手段と、前記侵入物体判断手段の判断条件を記憶している判断条件メモリとで構成し、侵入物体の無い状態での前記背景画像データおよび現監視画像データは前記画像記憶手段に一旦記憶され、前記差分演算手段は前記画区設定手段が設定した認識対象画区の背景画像データおよび現監視画像データを前記画像記憶手段より読出すと共に両者の差分画像データを演算出力し、前記異常形状抽出手段は該差分画像データより予め登録記憶された閾値に基づき異常形状データを抽出し、前記下端接地位置検出手段は前記異常形状の下端部を検出すると共に床面への接地位置データもしくは接地の可否データを検出し、前記実形状抽出手段は、前記接地位置データから距離補正データを演算出力すると共に該距離補正データを用いて、前記異常形状データよりカメラからの距離に依存しないノルマライズされた実寸法の実形状データを抽出し、前記侵入物体判断手段は、前記実形状データおよび前記可否データより、前記判断条件メモリに予め記憶されている判断条件に基づき、人、小動物、昆虫などの侵入物体の種類を判断出力することを特徴とする画像認識による小動物識別方法。
【請求項２】 前記画区設定手段は、前記認識対象画区を同一寸法で且つ等間隔に設定することを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項３】 前記画区設定手段は、前記認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定することを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項４】 前記画区設定手段は、前記認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定することを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項５】 前記異常形状抽出手段の異常画区は、同一画区もしくは同一区画内のレベルの平均値又は総和値の閾値を用いて抽出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項６】 前記異常形状抽出手段の異常画区は、同一画区もしくは同一区画内の色相平均値の閾値を用いて抽出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項７】 前記異常形状抽出手段の異常画区は、同一画区内の異常区画数の閾値を用いて抽出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項８】 前記異常形状抽出手段の異常区画は、同一区画内の異常画素数の閾値を用いて抽出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項９】 前記下端接地位置検出手段の下端接地位置検出を、前記異常形状の下端部と床面の連続性特異点もしくは不連続性を検出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１０】 前記下端接地位置検出手段の下端接地位置検出を、前記異常形状の下端部にある影の有無を検出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１１】 前記下端接地位置検出手段の下端接地位置検出を、補助照明を追加設置し、前記異常形状の下端部にある影の有無を検出する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１２】 前記実形状抽出手段の前記距離補正データを、前記撮像手段に追加設置された補助光学系の２元撮像データに基づいて生成する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１３】 前記侵入物判断手段の侵入物体の種類判断を、前記実形状データの面積値により判断する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１４】 前記侵入物判断手段の侵入物体の種類判断を、前記実形状データの形状寸法値より判断する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１５】 前記侵入物判断手段の侵入物体の種類判断を、前記可否データにより飛翔体の有無を判断する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１６】 前記侵入物判断手段の侵入物体の種類判断を、前記異常形状データと距離データもしくは画区データとの組合条件により判断する方法とすることを特徴とする請求項１に記載の画像認識による小動物識別方法。
【請求項１７】 監視対象物体をカメラなどの撮像手段で撮像し、画像信号をディジタル画像データに変換した後、画像認識によって人や小動物などを識別する侵入物体判別装置において、前記カメラと、該カメラで撮像した画像信号をディジタル画像データに変換するＡ／Ｄ(Analog Digital converter)と、侵入物体の存在しない背景画像データを記憶する背景画像メモリと、リアルタイムの画像データを循環的に記憶する画像メモリと、該画像データの認識対象画区を設定する画区設定部と、前記画区設定部が認識対象画区の設定時に必要とする等間隔設定関数を記憶している画区設定関数メモリと、前記画区設定部が読み出した背景画像データと画像データとを差分演算し差分画像データを演算出力する差分演算部と、異常画区もしくは異常区画を抽出するための平均値の閾値データを記憶している閾値メモリと、前記閾値データに基づいて前記差分画像データより異常画区もしくは異常区画を抽出する異常画区抽出部と、前記異常画区もしくは異常区画データより近似形状を抽出する近似形状抽出部と、前記近似形状を一時記憶する近似形状メモリと、前記近似形状の下端部を検出する下端検出部と、前記下端部の床面への接地位置もしくは接地の可否を検出する接地位置検出部と、前記接地位置データに基づいてカメラからの距離データを演算出力する距離演算部と、前記距離データに基づいて前記近似形状の形状補正演算を行なう距離補正演算部と、前記形状補正演算結果より実形状データを抽出する実形状抽出部と、侵入物体種別の判断を行なう形状、面積値などの判断条件を登録記憶する判断条件メモリと、前記判断条件、前記実形状データ、接地の可否データなどに基づいて、人、小動物、昆虫など侵入物体種別の判断出力を行なう侵入物体判断部とで構成することを特徴とする小動物識別装置。
【請求項１８】 前記画区設定関数メモリに、前記認識対象画区を任意寸法で且つカメラからの等距離線に沿って設定する等距離画区設定関数を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項１９】 前記画区設定関数メモリに、前記認識対象画区をカメラからの距離に反比例した任意寸法で且つカメラからの等距離線に沿って設定する距離加重設定関数を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２０】 前記接地位置検出部に、侵入物体下端部にできる影を検出する影検手段を追加設置することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２１】 前記接地位置検出部に侵入物体下端部にできる影を検出する影検手段と、侵入物体下端部に影を出し易くする補助照明とを追加設置することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２２】 前記カメラに補助光学系を有する２元撮像手段と、前記２元撮像の画像データの差分時間を演算出力する差分演算部と前記差分時間よりカメラから撮像対象物までの距離データを換算出力する距離換算部などを有する距離データ生成手段とを追加設置することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２３】 前記２元撮像手段を、補助レンズおよびハーフミラーもしくはプリズムなどを有する補助光学系と、主レンズおよび補助レンズ系よりの光学画像を選択入力する液晶シャッタなどで構成することを特徴とする請求項２２に記載の小動物識別装置。
【請求項２４】 前記閾値メモリに、異常形状抽出を同一画区もしくは同一区画内の色相平均値の色相閾値を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２５】 前記閾値メモリに、異常画区の抽出を同一画区内の異常区画数で抽出する異常区画数閾値を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２６】 前記閾値メモリに、異常区画の抽出を同一区画内の異常画素数で抽出する異常画素数閾値を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２７】 前記閾値メモリに、異常形状抽出を同一画区もしくは同一区画内の赤外線又は近赤外線画像の平均値の赤外画像閾値を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２８】 前記判断条件メモリに、侵入物体の種類を縦方向および横方向の寸法の組合せにより判断する形状寸法条件を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項２９】 前記判断条件メモリに、空中飛翔体と限界面積との組合せにより判断する異常飛翔体判断条件を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【請求項３０】 前記判断条件メモリに、カメラの遮蔽、照明の部分遮蔽、カメラの故障などによる異常画像を判断する撮像障害判断条件を追加記憶することを特徴とする請求項１７に記載の小動物識別装置。
【図２】
【図３】
【図１】
【図４】
【図５】
【図３】
【図１】
【図４】
【図５】
【公開番号】特開２００１−１４８０１１（Ｐ２００１−１４８０１１Ａ）
【公開日】平成１３年５月２９日（２００１．５．２９）
【国際特許分類】
【出願番号】特願平１１−３２８９７６
【出願日】平成１１年１１月１９日（１９９９．１１．１９）
【出願人】（０００００６６１１）株式会社富士通ゼネラル (1,266)
【Ｆターム（参考）】
【公開日】平成１３年５月２９日（２００１．５．２９）
【国際特許分類】
【出願日】平成１１年１１月１９日（１９９９．１１．１９）
【出願人】（０００００６６１１）株式会社富士通ゼネラル (1,266)
【Ｆターム（参考）】
[ Back to top ]