置去り／持去り物体検知装置及び置去り／持去り物体検知方法
【課題】置去り／持去り事象を精度良く判別することができる置去り／持去り物体検知装置及び置去り／持去り物体検知方法を提供する。
【解決手段】背景データ生成部１２は、過去の情報の量が異なる２つの背景画像データを生成するとともに、過去の情報の量が異なる２つの背景距離データを生成し、置去り／持去り領域検出部１３は、過去の情報の量が異なる２つの背景画像データを比較することにより、一定時間以上変化の継続した領域を検出し、置去り／持去り事象判定部１４は、置去り／持去り領域検出部１３で検出された領域に対して、過去の情報の量が異なる２つの背景距離データの比較を行い、置去り事象であるか、持去り事象であるかの判定を行う。このように、過去の情報量の異なる２種類の背景画像データ、背景距離データを生成することで精度の良い置去り／持去り検出が可能となる。
【解決手段】背景データ生成部１２は、過去の情報の量が異なる２つの背景画像データを生成するとともに、過去の情報の量が異なる２つの背景距離データを生成し、置去り／持去り領域検出部１３は、過去の情報の量が異なる２つの背景画像データを比較することにより、一定時間以上変化の継続した領域を検出し、置去り／持去り事象判定部１４は、置去り／持去り領域検出部１３で検出された領域に対して、過去の情報の量が異なる２つの背景距離データの比較を行い、置去り事象であるか、持去り事象であるかの判定を行う。このように、過去の情報量の異なる２種類の背景画像データ、背景距離データを生成することで精度の良い置去り／持去り検出が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された画像と距離情報とから置去り／持去り等の事象の発生を検出する機能を備えた監視カメラ装置に用いて好適な置去り／持去り物体検知装置及び置去り／持去り物体検知方法に関する。
【背景技術】
【０００２】
カメラにて撮影された画像のシーケンスから事象を検出するシステムとして、例えば特許文献１に記載されているものが知られている。この特許文献１に記載されたシステムでは、事象が発生する前後２枚の画像を比較して変化のある領域を抽出することで置去り／持去り事象の発生した領域を検出するようにしている。また、検出した事象が置去りであるか持去りであるかを判別するために、領域内の輝度エッジの長さや総和を２枚の画像間で比較し、過去画像から現在画像にかけて輝度エッジ情報が減少している場合に、本来置かれていた物体が持去られた持去り事象であると判別し、逆に、過去画像から現在画像にかけて輝度エッジ情報が増加している場合に、従来から物体が置かれ、エッジ情報が増加したとみなして置去り事象が発生したと判別している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００４−５１９７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術では、置去り／持去り検出領域のエッジ情報の増減のみで置去り事象と持去り事象を判別しているため、周囲の領域と比較してエッジ情報が少ない物体が置去られた場合には、置去られる以前よりもエッジ情報が減少してしまい、持去り事象として判定されてしまう。反対に、持去りが発生した場合には、物体で隠れていたエッジ情報が見えるようになることで、エッジ情報が増加し置去り事象として誤判定してしまう。図４は、持去りが発生した例を示す図である。同図において、９個の箱型の物体１１０が縦横３個ずつ積み上げられたカメラ映像１００の輝度エッジ１０１は略四角形になるが、一番上に積み上げられている物体１１０が持去られると、カメラ映像１００のその部分（持去られた物体１１０の部分）に対応する輝度エッジ部分１０１ａが物体１１０の外縁に沿う形状（コ字状）になって、物体１１０が持去られる前よりもエッジ情報が増加してしまい、持去りが発生したにも関わらず、置去り事象と誤判定してしまう。
【０００５】
本発明は、係る事情に鑑みてなされたものであり、置去り／持去り事象を精度良く判別することができる置去り／持去り物体検知装置及び置去り／持去り物体検知方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の置去り／持去り物体検知装置は、監視対象領域を撮影し、画像データを出力するカメラ部と、前記監視対象領域における前記カメラ部から物体までの距離を測定する距離測定部と、前記カメラ部から出力される画像データ又は前記距離測定部から出力される距離データより、過去１枚以上のフレームに亘る平均化処理により背景データを生成する背景データ生成部と、前記背景データ生成部で生成された背景データより、前記監視対象領域から持去られた領域、若しくは、置去られた領域を検出する置去り／持去り領域検出部と、前記背景データ生成部で生成された背景データより、前記置去り／持去り領域検出部で検出された領域が、置去り事象であるか、持去り事象であるかを判定する置去り／持去り事象判定部と、を備えた。
【０００７】
上記構成によれば、置去り／持去り事象を検出するための背景画像データを生成し、生成した背景画像データにより、置去り／持去り領域検出部が、置去り／持去り事象の候補となる領域を検出する。そして、置去り／持去り事象判定部が、置去り／持去り領域検出部にて検出された領域において、距離測定部で測定した置去り／持去り事象発生前後の距離データを比較することで、置去り事象、持去り事象を判定する。これにより、高い精度で、置去り事象、持去り事象を判別することが可能となる。
【０００８】
上記構成において、前記背景データ生成部は、前記カメラ部から出力される画像データから過去１枚以上のフレームに亘る平均化処理によって、背景画像データを生成するとともに、前記距離測定部から出力された距離データから過去１枚以上のフレームに亘る平均化処理によって、背景距離データを生成する。
【０００９】
上記構成によれば、背景データ、距離データにおける時間的なノイズを抑えることができ、置去り事象であるか、持去り事象であるかを精度良く検出、判別することができる。
【００１０】
上記構成において、前記背景データ生成部は、１枚以上のフレームの平均化処理を行う際、生成する背景画像データにおける過去の情報量を、背景生成対象となるフレーム数やフレームの時間間隔を調整することにより変更し、少なくとも２つの背景画像データを生成する。
【００１１】
上記構成によれば、過去の情報量を容易に調節することができ、撮影領域の環境（ノイズ、明暗変化等）に応じた背景データを生成することができる。
【００１２】
上記構成において、前記置去り／持去り領域検出部は、前記背景データ生成部の出力から、過去の情報量が比較的少ないショート背景画像データと過去の情報量が比較的多いロング背景画像データを取得し、これらの背景画像データを比較することにより一定時間以上変化の継続した領域を検出する。
【００１３】
上記構成によれば、画像データにおける突発的なノイズへの影響を軽減することができ、より精度の良い置去り／持去り領域を検出することができる。
【００１４】
上記構成において、前記置去り／持去り事象判定部は、前記背景データ生成部の出力から、過去の情報量が比較的少ないショート背景距離データと過去の情報量が比較的多いロング背景距離データを取得し、これらの背景距離データを比較し、前記置去り／持去り領域検出部により検出された領域における前記ショート背景距離データに比べ、前記ロング背景距離データの方が遠方にある場合は、前記領域は置去り事象が発生した領域と判定し、逆に、前記ショート背景距離データに比べ、前記ロング背景距離データの方が近方にある場合は、前記領域は持去り事象が発生した領域と判定する。
【００１５】
上記構成によれば、距離データにおける突発的なノイズへの影響を軽減することができ、より精度の良い置去り／持去り領域を検出することができる。
【００１６】
本発明の置去り／持去り物体検知方法は、カメラ部が撮影した監視対象領域における前記カメラ部から物体までの距離を測定するステップと、前記カメラ部から出力される画像データ又は前記距離測定部から出力される距離データより、過去１枚以上のフレームに亘る平均化処理により背景データを生成するステップと、生成された前記背景データより、前記監視対象領域から持去られた領域、若しくは、置去られた領域を検出するステップと、生成された前記背景データより、検出された前記領域が、置去り事象であるか、持去り事象であるかを判定するステップと、を備えた。
【００１７】
上記方法によれば、置去り／持去り事象を検出するための背景画像データを生成し、生成した背景画像データにより、置去り／持去り事象の候補となる領域を検出し、検出した領域において、置去り／持去り事象発生前後の距離データを比較することで置去り事象、持去り事象を判定する。これにより、高い精度で、置去り事象、持去り事象を判別することが可能となる。
【発明の効果】
【００１８】
本発明は、過去の情報の量が異なる複数の画像から置去り／持去り領域を検出し、当該検出領域において、距離測定した置去り／持去り事象発生前後の距離データを比較するようにしたので、置去り／持去り事象を精度良く判別することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態に係る置去り／持去り物体検知装置の概略構成を示すブロック図
【図２】図１の置去り／持去り物体検知装置の動作を説明するためのフローチャート
【図３】図１の置去り／持去り物体検知装置における置去り／持去り事象が検出されるまでの処理を模式化した図
【図４】従来の置去り／持去り物体検知技術を説明するための図
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２１】
図１は、本発明の一実施の形態に係る置去り／持去り物体検知装置の概略構成を示すブロック図である。同図において、本実施の形態の置去り／持去り物体検知装置１は、カメラ部１０と、距離測定部１１と、背景データ生成部１２と、置去り／持去り領域検出部１３と、置去り／持去り事象判定部１４と、表示部１５と、報知部１６とを備える。
【００２２】
カメラ部１０は、監視対象領域を撮影し、画像データを出力する。距離測定部１１は、カメラ部１０が撮影した監視対象領域におけるカメラ部１０から監視対象領域に存在する物体（図示略）までの距離を測定し、距離データを出力する。
【００２３】
背景データ生成部１２は、カメラ部１０から出力される画像データより、過去１枚以上のフレームに亘る平均化等の処理によって背景画像データを生成する。この場合、過去の情報の量の異なる２つの背景画像データ（即ち過去の情報量が比較的少ない「ショート背景画像データ」と過去の情報量が比較的多い「ロング背景画像データ」）を生成する。ここで、過去の情報量を容易に調節することで、撮影領域の環境（ノイズ、明暗変化等）に応じた背景画像データを生成できる。
【００２４】
また、背景データ生成部１２は、距離測定部１１から出力される距離データより、過去１枚以上のフレームに亘る平均化等の処理によって背景距離データを生成する。この場合、平均化等の処理によって、更新率、更新間隔を変え、過去情報の量の異なる２つの背景距離データ（即ち過去の情報量が比較的少ない「ショート背景距離データ」と過去の情報量が比較的多い「ロング背景距離データ」）を生成する。その際、上述したショート背景画像データ及びロング背景画像データの２つの過去情報量に対応する形で、ショート背景距離データ及びロング背景距離データの過去情報量が決定される。背景データ生成部１２は、生成した背景画像データを置去り／持去り領域検出部１３へ出力し、生成した背景距離データを置去り／持去り事象判定部１４へ出力する。
【００２５】
置去り／持去り領域検出部１３は、背景データ生成部１２で生成された背景画像データより監視対象領域から持去られた領域、若しくは、置去られた領域を検出する。即ち、置去り／持去り領域検出部１３は、背景データ生成部１２からショート背景画像データとロング背景画像データを取得し、これらの背景画像データを比較することにより、一定時間以上変化の継続した領域を検出する。過去情報の量の異なるショート背景画像データとロング背景画像データとの差分処理を行うことで、突発的なノイズや明度変化の影響を軽減しつつ、置去り／持去り領域を検出することができる。
【００２６】
置去り／持去り事象判定部１４は、置去り／持去り領域検出部１３で検出された領域に対して、ショート背景距離データとロング背景距離データの比較を行い、置去り事象であるか、持去り事象であるかの判定を行う。この場合、置去り／持去り領域検出部１３により検出された領域におけるショート背景距離データに比べ、ロング背景距離データの方が遠方にある場合は、当該領域は置去り事象が発生した領域と判定し、逆に、ショート背景距離データに比べ、ロング背景距離データの方が近方にある場合は、当該領域は持去り事象が発生した領域と判定する。置去り／持去り領域検出部１３で検出された領域において、置去り／持去り事象発生前後の背景距離データを比較することで、背景距離データにおける突発的なノイズの影響を軽減することができ、より精度の良い置去り事象／持去り事象の判別が可能となる。
【００２７】
表示部１５は、置去り／持去り事象判定部１４での判定結果をユーザが判別できるように撮影画像上に表示する。なお、表示部１５は、判定時より以前の実際に置去り／持去り事象が発生した際の画像を利用して表示しても良い。報知部１６は、事象発生時に音声スピーカ（図示略）からブサー音を発生させるなど、事象発生をユーザに報知する。なお、表示部１５に事象発生を報知する表示も行うようにしても構わない。また、表示部１５及び報知部１６を置去り／持去り物体検知装置１と別体にして、置去り／持去り物体検知装置１から離れた場所に配置するようにしても構わない。
【００２８】
次に、本実施の形態の置去り／持去り物体検知装置１の動作について詳細に説明する。
図２は、本実施の形態の置去り／持去り物体検知装置１の動作を説明するためのフローチャートである。同図において、まず距離測定部１１が、カメラ部１０が撮影した監視対象領域におけるカメラ部１０から監視対象領域に存在する物体（図示略）までの距離を測定する（ステップＳ１）。次いで、背景データ生成部１２が、カメラ部１０より出力される画像データから過去１枚以上のフレームに亘る平均化等の処理によって、背景画像データを生成する（ステップＳ２）。この場合、背景データ生成部１２は、過去情報の量の異なるショート背景画像データとロング背景画像データを生成する。
【００２９】
次いで、背景データ生成部１２は、距離測定部１１より出力される距離データから過去１枚以上のフレームに亘る平均化等の処理によって、背景距離データを生成する（ステップＳ３）。この場合、背景データ生成部１２は、更新率、更新間隔を変えて過去情報の量の異なるショート背景距離データとロング背景距離データを生成する。次に、置去り／持去り領域検出部１３が、背景データ生成部１２で生成された背景画像データより、監視対象領域から持去られた領域、若しくは、置去られた領域を検出する。即ち、背景データ生成部１２で生成されたショート背景画像データとロング背景画像データを比較して一定時間以上変化の継続した領域を検出する（ステップＳ４）。
【００３０】
次に、置去り／持去り事象判定部１４が、置去り／持去り領域検出部１３で検出された領域に対して、背景データ生成部１２で生成されたショート背景距離データとロング背景距離データを比較し、ショート背景距離データに比べ、ロング背景距離データの方が遠方にある場合は、当該領域は置去り事象が発生した領域と判定し、逆に、ショート背景距離データに比べ、ロング背景距離データの方が近方にある場合は、当該領域は持去り事象が発生した領域と判定する（ステップＳ５）。置去り／持去り事象判定部１４は、その判定結果を表示部１５に表示する（ステップＳ６）。次いで、置去り／持去り事象判定部１４は、置去り／持去り事象の発生の有無を判定し（ステップＳ７）、置去り／持去り事象が発生したと判断した場合（即ちステップＳ７の判定でＹＥＳと判断した場合）、ブサー音を発生させるなどして報知する（ステップＳ８）。置去り／持去り事象の発生を報知した後、本処理を終了する。これに対し、置去り／持去り事象が発生していないと判断した場合（即ちステップＳ７の判定でＮＯと判断した場合）は、何も処理をせず本処理を終了する。
【００３１】
図３は、置去り／持去り事象が検出されるまでの処理を模式化した図である。同図において、置去り／持去り事象が発生した場合、置去り／持去り領域検出部１３が、現在画像と更新率の早い背景画像との比較を行うことで変化領域を検出する。この際、距離測定部１１によって背景画像それぞれにおける距離情報が算出されて、検出された変化領域と関連付けされる。一定時間経過後に、更新率の早い背景画像と現在画像が同じ状態になった際、更新率の早い背景画像と、もう一方の遅い背景画像とで差分が生じることになり、置去り／持去り領域検出部１３が、置去り／持去り領域を検出する。次に、置去り／持去り事象判定部１４が、置去り／持去り領域検出部１３で検出された領域に対して、ショート背景距離データとロング背景距離データの比較を行い、過去情報の少ない（即ち時間的に近い）ショート背景距離データに比べ、過去情報の多い（即ち時間的に遠い）ロング背景距離データの方が遠方に位置する場合、時間的に近い間に物体が置去られて距離が近くなったと想定して、置去り事象が発生したと判断する。逆に、過去情報の少ない（即ち時間的に近い）ショート背景距離データに比べ、過去情報の多い（即ち時間的に遠い）ロング背景距離データの方が近方に位置する場合、時間的に近い間に物体が持去られて距離が遠くなったと想定して、持去り事象が発生したと判断する。このようにすることで、より精度の良い置去り／持去り事象判定が可能となる。
【００３２】
このように本実施の形態の置去り／持去り物体検知装置１によれば、背景データ生成部１２が、過去の情報の量が異なる２つの背景画像データ即ち過去の情報量が比較的少ないショート背景画像データと過去の情報量が比較的多いロング背景画像データを生成するとともに、過去の情報の量が異なる２つの背景距離データ即ち過去の情報量が比較的少ないショート背景距離データと過去の情報量が比較的多いロング背景距離データを生成し、置去り／持去り領域検出部１３が、ショート背景画像データとロング背景画像データを比較することにより、一定時間以上変化の継続した領域即ち置去り／持去り事象の候補となる領域を検出し、置去り／持去り事象判定部１４が、置去り／持去り領域検出部１３で検出された領域に対して、ショート背景距離データとロング背景距離データの比較を行い、置去り事象であるか、持去り事象であるかの判定を行うので、置去り事象であるか、持去り事象であるかの判別を精度良く行うことができる。
【００３３】
なお、本実施の形態では、背景画像データと背景距離データをそれぞれ２つずつ（例えば、背景画像データの場合、ショート背景画像データとロング背景画像データの２つ）生成したが、２以上であれば、その数に限定はない。
【００３４】
また、本実施の形態では、カメラ部１０は１台のカメラを備えたものであったが、２台のカメラを備えたステレオカメラでも良い。ステレオカメラを用いることで、距離測定用の装置を別途用意することなく、カメラ２台で画像、距離データを取得することができ、画像位置に対応する距離情報も容易に取得することができる。
【産業上の利用可能性】
【００３５】
本発明は、過去の情報の量が異なる複数の画像から置去り／持去り領域を検出し、検出した領域において、距離測定した置去り／持去り事象発生前後の距離データを比較することで置去り事象、持去り事象を精度良く判別することができるといった効果を有し、置去り／持去り事象の判別等の用途に有用である。
【符号の説明】
【００３６】
１ 置去り／持去り物体検知装置
１０ カメラ部
１１ 距離測定部
１２ 背景データ生成部
１３ 置去り／持去り領域検出部
１４ 置去り／持去り事象判定部
１５ 表示部
１６ 報知部
【技術分野】
【０００１】
本発明は、カメラで撮影された画像と距離情報とから置去り／持去り等の事象の発生を検出する機能を備えた監視カメラ装置に用いて好適な置去り／持去り物体検知装置及び置去り／持去り物体検知方法に関する。
【背景技術】
【０００２】
カメラにて撮影された画像のシーケンスから事象を検出するシステムとして、例えば特許文献１に記載されているものが知られている。この特許文献１に記載されたシステムでは、事象が発生する前後２枚の画像を比較して変化のある領域を抽出することで置去り／持去り事象の発生した領域を検出するようにしている。また、検出した事象が置去りであるか持去りであるかを判別するために、領域内の輝度エッジの長さや総和を２枚の画像間で比較し、過去画像から現在画像にかけて輝度エッジ情報が減少している場合に、本来置かれていた物体が持去られた持去り事象であると判別し、逆に、過去画像から現在画像にかけて輝度エッジ情報が増加している場合に、従来から物体が置かれ、エッジ情報が増加したとみなして置去り事象が発生したと判別している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００４−５１９７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術では、置去り／持去り検出領域のエッジ情報の増減のみで置去り事象と持去り事象を判別しているため、周囲の領域と比較してエッジ情報が少ない物体が置去られた場合には、置去られる以前よりもエッジ情報が減少してしまい、持去り事象として判定されてしまう。反対に、持去りが発生した場合には、物体で隠れていたエッジ情報が見えるようになることで、エッジ情報が増加し置去り事象として誤判定してしまう。図４は、持去りが発生した例を示す図である。同図において、９個の箱型の物体１１０が縦横３個ずつ積み上げられたカメラ映像１００の輝度エッジ１０１は略四角形になるが、一番上に積み上げられている物体１１０が持去られると、カメラ映像１００のその部分（持去られた物体１１０の部分）に対応する輝度エッジ部分１０１ａが物体１１０の外縁に沿う形状（コ字状）になって、物体１１０が持去られる前よりもエッジ情報が増加してしまい、持去りが発生したにも関わらず、置去り事象と誤判定してしまう。
【０００５】
本発明は、係る事情に鑑みてなされたものであり、置去り／持去り事象を精度良く判別することができる置去り／持去り物体検知装置及び置去り／持去り物体検知方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の置去り／持去り物体検知装置は、監視対象領域を撮影し、画像データを出力するカメラ部と、前記監視対象領域における前記カメラ部から物体までの距離を測定する距離測定部と、前記カメラ部から出力される画像データ又は前記距離測定部から出力される距離データより、過去１枚以上のフレームに亘る平均化処理により背景データを生成する背景データ生成部と、前記背景データ生成部で生成された背景データより、前記監視対象領域から持去られた領域、若しくは、置去られた領域を検出する置去り／持去り領域検出部と、前記背景データ生成部で生成された背景データより、前記置去り／持去り領域検出部で検出された領域が、置去り事象であるか、持去り事象であるかを判定する置去り／持去り事象判定部と、を備えた。
【０００７】
上記構成によれば、置去り／持去り事象を検出するための背景画像データを生成し、生成した背景画像データにより、置去り／持去り領域検出部が、置去り／持去り事象の候補となる領域を検出する。そして、置去り／持去り事象判定部が、置去り／持去り領域検出部にて検出された領域において、距離測定部で測定した置去り／持去り事象発生前後の距離データを比較することで、置去り事象、持去り事象を判定する。これにより、高い精度で、置去り事象、持去り事象を判別することが可能となる。
【０００８】
上記構成において、前記背景データ生成部は、前記カメラ部から出力される画像データから過去１枚以上のフレームに亘る平均化処理によって、背景画像データを生成するとともに、前記距離測定部から出力された距離データから過去１枚以上のフレームに亘る平均化処理によって、背景距離データを生成する。
【０００９】
上記構成によれば、背景データ、距離データにおける時間的なノイズを抑えることができ、置去り事象であるか、持去り事象であるかを精度良く検出、判別することができる。
【００１０】
上記構成において、前記背景データ生成部は、１枚以上のフレームの平均化処理を行う際、生成する背景画像データにおける過去の情報量を、背景生成対象となるフレーム数やフレームの時間間隔を調整することにより変更し、少なくとも２つの背景画像データを生成する。
【００１１】
上記構成によれば、過去の情報量を容易に調節することができ、撮影領域の環境（ノイズ、明暗変化等）に応じた背景データを生成することができる。
【００１２】
上記構成において、前記置去り／持去り領域検出部は、前記背景データ生成部の出力から、過去の情報量が比較的少ないショート背景画像データと過去の情報量が比較的多いロング背景画像データを取得し、これらの背景画像データを比較することにより一定時間以上変化の継続した領域を検出する。
【００１３】
上記構成によれば、画像データにおける突発的なノイズへの影響を軽減することができ、より精度の良い置去り／持去り領域を検出することができる。
【００１４】
上記構成において、前記置去り／持去り事象判定部は、前記背景データ生成部の出力から、過去の情報量が比較的少ないショート背景距離データと過去の情報量が比較的多いロング背景距離データを取得し、これらの背景距離データを比較し、前記置去り／持去り領域検出部により検出された領域における前記ショート背景距離データに比べ、前記ロング背景距離データの方が遠方にある場合は、前記領域は置去り事象が発生した領域と判定し、逆に、前記ショート背景距離データに比べ、前記ロング背景距離データの方が近方にある場合は、前記領域は持去り事象が発生した領域と判定する。
【００１５】
上記構成によれば、距離データにおける突発的なノイズへの影響を軽減することができ、より精度の良い置去り／持去り領域を検出することができる。
【００１６】
本発明の置去り／持去り物体検知方法は、カメラ部が撮影した監視対象領域における前記カメラ部から物体までの距離を測定するステップと、前記カメラ部から出力される画像データ又は前記距離測定部から出力される距離データより、過去１枚以上のフレームに亘る平均化処理により背景データを生成するステップと、生成された前記背景データより、前記監視対象領域から持去られた領域、若しくは、置去られた領域を検出するステップと、生成された前記背景データより、検出された前記領域が、置去り事象であるか、持去り事象であるかを判定するステップと、を備えた。
【００１７】
上記方法によれば、置去り／持去り事象を検出するための背景画像データを生成し、生成した背景画像データにより、置去り／持去り事象の候補となる領域を検出し、検出した領域において、置去り／持去り事象発生前後の距離データを比較することで置去り事象、持去り事象を判定する。これにより、高い精度で、置去り事象、持去り事象を判別することが可能となる。
【発明の効果】
【００１８】
本発明は、過去の情報の量が異なる複数の画像から置去り／持去り領域を検出し、当該検出領域において、距離測定した置去り／持去り事象発生前後の距離データを比較するようにしたので、置去り／持去り事象を精度良く判別することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態に係る置去り／持去り物体検知装置の概略構成を示すブロック図
【図２】図１の置去り／持去り物体検知装置の動作を説明するためのフローチャート
【図３】図１の置去り／持去り物体検知装置における置去り／持去り事象が検出されるまでの処理を模式化した図
【図４】従来の置去り／持去り物体検知技術を説明するための図
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２１】
図１は、本発明の一実施の形態に係る置去り／持去り物体検知装置の概略構成を示すブロック図である。同図において、本実施の形態の置去り／持去り物体検知装置１は、カメラ部１０と、距離測定部１１と、背景データ生成部１２と、置去り／持去り領域検出部１３と、置去り／持去り事象判定部１４と、表示部１５と、報知部１６とを備える。
【００２２】
カメラ部１０は、監視対象領域を撮影し、画像データを出力する。距離測定部１１は、カメラ部１０が撮影した監視対象領域におけるカメラ部１０から監視対象領域に存在する物体（図示略）までの距離を測定し、距離データを出力する。
【００２３】
背景データ生成部１２は、カメラ部１０から出力される画像データより、過去１枚以上のフレームに亘る平均化等の処理によって背景画像データを生成する。この場合、過去の情報の量の異なる２つの背景画像データ（即ち過去の情報量が比較的少ない「ショート背景画像データ」と過去の情報量が比較的多い「ロング背景画像データ」）を生成する。ここで、過去の情報量を容易に調節することで、撮影領域の環境（ノイズ、明暗変化等）に応じた背景画像データを生成できる。
【００２４】
また、背景データ生成部１２は、距離測定部１１から出力される距離データより、過去１枚以上のフレームに亘る平均化等の処理によって背景距離データを生成する。この場合、平均化等の処理によって、更新率、更新間隔を変え、過去情報の量の異なる２つの背景距離データ（即ち過去の情報量が比較的少ない「ショート背景距離データ」と過去の情報量が比較的多い「ロング背景距離データ」）を生成する。その際、上述したショート背景画像データ及びロング背景画像データの２つの過去情報量に対応する形で、ショート背景距離データ及びロング背景距離データの過去情報量が決定される。背景データ生成部１２は、生成した背景画像データを置去り／持去り領域検出部１３へ出力し、生成した背景距離データを置去り／持去り事象判定部１４へ出力する。
【００２５】
置去り／持去り領域検出部１３は、背景データ生成部１２で生成された背景画像データより監視対象領域から持去られた領域、若しくは、置去られた領域を検出する。即ち、置去り／持去り領域検出部１３は、背景データ生成部１２からショート背景画像データとロング背景画像データを取得し、これらの背景画像データを比較することにより、一定時間以上変化の継続した領域を検出する。過去情報の量の異なるショート背景画像データとロング背景画像データとの差分処理を行うことで、突発的なノイズや明度変化の影響を軽減しつつ、置去り／持去り領域を検出することができる。
【００２６】
置去り／持去り事象判定部１４は、置去り／持去り領域検出部１３で検出された領域に対して、ショート背景距離データとロング背景距離データの比較を行い、置去り事象であるか、持去り事象であるかの判定を行う。この場合、置去り／持去り領域検出部１３により検出された領域におけるショート背景距離データに比べ、ロング背景距離データの方が遠方にある場合は、当該領域は置去り事象が発生した領域と判定し、逆に、ショート背景距離データに比べ、ロング背景距離データの方が近方にある場合は、当該領域は持去り事象が発生した領域と判定する。置去り／持去り領域検出部１３で検出された領域において、置去り／持去り事象発生前後の背景距離データを比較することで、背景距離データにおける突発的なノイズの影響を軽減することができ、より精度の良い置去り事象／持去り事象の判別が可能となる。
【００２７】
表示部１５は、置去り／持去り事象判定部１４での判定結果をユーザが判別できるように撮影画像上に表示する。なお、表示部１５は、判定時より以前の実際に置去り／持去り事象が発生した際の画像を利用して表示しても良い。報知部１６は、事象発生時に音声スピーカ（図示略）からブサー音を発生させるなど、事象発生をユーザに報知する。なお、表示部１５に事象発生を報知する表示も行うようにしても構わない。また、表示部１５及び報知部１６を置去り／持去り物体検知装置１と別体にして、置去り／持去り物体検知装置１から離れた場所に配置するようにしても構わない。
【００２８】
次に、本実施の形態の置去り／持去り物体検知装置１の動作について詳細に説明する。
図２は、本実施の形態の置去り／持去り物体検知装置１の動作を説明するためのフローチャートである。同図において、まず距離測定部１１が、カメラ部１０が撮影した監視対象領域におけるカメラ部１０から監視対象領域に存在する物体（図示略）までの距離を測定する（ステップＳ１）。次いで、背景データ生成部１２が、カメラ部１０より出力される画像データから過去１枚以上のフレームに亘る平均化等の処理によって、背景画像データを生成する（ステップＳ２）。この場合、背景データ生成部１２は、過去情報の量の異なるショート背景画像データとロング背景画像データを生成する。
【００２９】
次いで、背景データ生成部１２は、距離測定部１１より出力される距離データから過去１枚以上のフレームに亘る平均化等の処理によって、背景距離データを生成する（ステップＳ３）。この場合、背景データ生成部１２は、更新率、更新間隔を変えて過去情報の量の異なるショート背景距離データとロング背景距離データを生成する。次に、置去り／持去り領域検出部１３が、背景データ生成部１２で生成された背景画像データより、監視対象領域から持去られた領域、若しくは、置去られた領域を検出する。即ち、背景データ生成部１２で生成されたショート背景画像データとロング背景画像データを比較して一定時間以上変化の継続した領域を検出する（ステップＳ４）。
【００３０】
次に、置去り／持去り事象判定部１４が、置去り／持去り領域検出部１３で検出された領域に対して、背景データ生成部１２で生成されたショート背景距離データとロング背景距離データを比較し、ショート背景距離データに比べ、ロング背景距離データの方が遠方にある場合は、当該領域は置去り事象が発生した領域と判定し、逆に、ショート背景距離データに比べ、ロング背景距離データの方が近方にある場合は、当該領域は持去り事象が発生した領域と判定する（ステップＳ５）。置去り／持去り事象判定部１４は、その判定結果を表示部１５に表示する（ステップＳ６）。次いで、置去り／持去り事象判定部１４は、置去り／持去り事象の発生の有無を判定し（ステップＳ７）、置去り／持去り事象が発生したと判断した場合（即ちステップＳ７の判定でＹＥＳと判断した場合）、ブサー音を発生させるなどして報知する（ステップＳ８）。置去り／持去り事象の発生を報知した後、本処理を終了する。これに対し、置去り／持去り事象が発生していないと判断した場合（即ちステップＳ７の判定でＮＯと判断した場合）は、何も処理をせず本処理を終了する。
【００３１】
図３は、置去り／持去り事象が検出されるまでの処理を模式化した図である。同図において、置去り／持去り事象が発生した場合、置去り／持去り領域検出部１３が、現在画像と更新率の早い背景画像との比較を行うことで変化領域を検出する。この際、距離測定部１１によって背景画像それぞれにおける距離情報が算出されて、検出された変化領域と関連付けされる。一定時間経過後に、更新率の早い背景画像と現在画像が同じ状態になった際、更新率の早い背景画像と、もう一方の遅い背景画像とで差分が生じることになり、置去り／持去り領域検出部１３が、置去り／持去り領域を検出する。次に、置去り／持去り事象判定部１４が、置去り／持去り領域検出部１３で検出された領域に対して、ショート背景距離データとロング背景距離データの比較を行い、過去情報の少ない（即ち時間的に近い）ショート背景距離データに比べ、過去情報の多い（即ち時間的に遠い）ロング背景距離データの方が遠方に位置する場合、時間的に近い間に物体が置去られて距離が近くなったと想定して、置去り事象が発生したと判断する。逆に、過去情報の少ない（即ち時間的に近い）ショート背景距離データに比べ、過去情報の多い（即ち時間的に遠い）ロング背景距離データの方が近方に位置する場合、時間的に近い間に物体が持去られて距離が遠くなったと想定して、持去り事象が発生したと判断する。このようにすることで、より精度の良い置去り／持去り事象判定が可能となる。
【００３２】
このように本実施の形態の置去り／持去り物体検知装置１によれば、背景データ生成部１２が、過去の情報の量が異なる２つの背景画像データ即ち過去の情報量が比較的少ないショート背景画像データと過去の情報量が比較的多いロング背景画像データを生成するとともに、過去の情報の量が異なる２つの背景距離データ即ち過去の情報量が比較的少ないショート背景距離データと過去の情報量が比較的多いロング背景距離データを生成し、置去り／持去り領域検出部１３が、ショート背景画像データとロング背景画像データを比較することにより、一定時間以上変化の継続した領域即ち置去り／持去り事象の候補となる領域を検出し、置去り／持去り事象判定部１４が、置去り／持去り領域検出部１３で検出された領域に対して、ショート背景距離データとロング背景距離データの比較を行い、置去り事象であるか、持去り事象であるかの判定を行うので、置去り事象であるか、持去り事象であるかの判別を精度良く行うことができる。
【００３３】
なお、本実施の形態では、背景画像データと背景距離データをそれぞれ２つずつ（例えば、背景画像データの場合、ショート背景画像データとロング背景画像データの２つ）生成したが、２以上であれば、その数に限定はない。
【００３４】
また、本実施の形態では、カメラ部１０は１台のカメラを備えたものであったが、２台のカメラを備えたステレオカメラでも良い。ステレオカメラを用いることで、距離測定用の装置を別途用意することなく、カメラ２台で画像、距離データを取得することができ、画像位置に対応する距離情報も容易に取得することができる。
【産業上の利用可能性】
【００３５】
本発明は、過去の情報の量が異なる複数の画像から置去り／持去り領域を検出し、検出した領域において、距離測定した置去り／持去り事象発生前後の距離データを比較することで置去り事象、持去り事象を精度良く判別することができるといった効果を有し、置去り／持去り事象の判別等の用途に有用である。
【符号の説明】
【００３６】
１ 置去り／持去り物体検知装置
１０ カメラ部
１１ 距離測定部
１２ 背景データ生成部
１３ 置去り／持去り領域検出部
１４ 置去り／持去り事象判定部
１５ 表示部
１６ 報知部
【特許請求の範囲】
【請求項１】
監視対象領域を撮影し、画像データを出力するカメラ部と、
前記監視対象領域における前記カメラ部から物体までの距離を測定する距離測定部と、
前記カメラ部から出力される画像データ又は前記距離測定部から出力される距離データより、過去１枚以上のフレームに亘る平均化処理により背景データを生成する背景データ生成部と、
前記背景データ生成部で生成された背景データより、前記監視対象領域から持去られた領域、若しくは、置去られた領域を検出する置去り／持去り領域検出部と、
前記背景データ生成部で生成された背景データより、前記置去り／持去り領域検出部で検出された領域が、置去り事象であるか、持去り事象であるかを判定する置去り／持去り事象判定部と、
を備えた置去り／持去り物体検知装置。
【請求項２】
前記背景データ生成部は、前記カメラ部から出力される画像データから過去１枚以上のフレームに亘る平均化処理によって、背景画像データを生成するとともに、前記距離測定部から出力された距離データから過去１枚以上のフレームに亘る平均化処理によって、背景距離データを生成する請求項１に記載の置去り／持去り物体検知装置。
【請求項３】
前記背景データ生成部は、１枚以上のフレームの平均化処理を行う際、生成する背景画像データにおける過去の情報量を、背景生成対象となるフレーム数やフレームの時間間隔を調整することにより変更し、少なくとも２つの背景画像データを生成する請求項１に記載の置去り／持去り物体検知装置。
【請求項４】
前記置去り／持去り領域検出部は、前記背景データ生成部の出力から、過去の情報量が比較的少ないショート背景画像データと過去の情報量が比較的多いロング背景画像データを取得し、これらの背景画像データを比較することにより一定時間以上変化の継続した領域を検出する請求項３に記載の置去り／持去り物体検知装置。
【請求項５】
前記置去り／持去り事象判定部は、前記背景データ生成部の出力から、過去の情報量が比較的少ないショート背景距離データと過去の情報量が比較的多いロング背景距離データを取得し、これらの背景距離データを比較し、前記置去り／持去り領域検出部により検出された領域における前記ショート背景距離データに比べ、前記ロング背景距離データの方が遠方にある場合は、前記領域は置去り事象が発生した領域と判定し、逆に、前記ショート背景距離データに比べ、前記ロング背景距離データの方が近方にある場合は、前記領域は持去り事象が発生した領域と判定する請求項４に記載の置去り／持去り物体検知装置。
【請求項６】
カメラ部が撮影した監視対象領域における前記カメラ部から物体までの距離を測定するステップと、
前記カメラ部から出力される画像データ又は前記距離測定部から出力される距離データより、過去１枚以上のフレームに亘る平均化処理により背景データを生成するステップと、
生成された前記背景データより、前記監視対象領域から持去られた領域、若しくは、置去られた領域を検出するステップと、
生成された前記背景データより、検出された前記領域が、置去り事象であるか、持去り事象であるかを判定するステップと、
を備えた置去り／持去り物体検知方法。
【請求項１】
監視対象領域を撮影し、画像データを出力するカメラ部と、
前記監視対象領域における前記カメラ部から物体までの距離を測定する距離測定部と、
前記カメラ部から出力される画像データ又は前記距離測定部から出力される距離データより、過去１枚以上のフレームに亘る平均化処理により背景データを生成する背景データ生成部と、
前記背景データ生成部で生成された背景データより、前記監視対象領域から持去られた領域、若しくは、置去られた領域を検出する置去り／持去り領域検出部と、
前記背景データ生成部で生成された背景データより、前記置去り／持去り領域検出部で検出された領域が、置去り事象であるか、持去り事象であるかを判定する置去り／持去り事象判定部と、
を備えた置去り／持去り物体検知装置。
【請求項２】
前記背景データ生成部は、前記カメラ部から出力される画像データから過去１枚以上のフレームに亘る平均化処理によって、背景画像データを生成するとともに、前記距離測定部から出力された距離データから過去１枚以上のフレームに亘る平均化処理によって、背景距離データを生成する請求項１に記載の置去り／持去り物体検知装置。
【請求項３】
前記背景データ生成部は、１枚以上のフレームの平均化処理を行う際、生成する背景画像データにおける過去の情報量を、背景生成対象となるフレーム数やフレームの時間間隔を調整することにより変更し、少なくとも２つの背景画像データを生成する請求項１に記載の置去り／持去り物体検知装置。
【請求項４】
前記置去り／持去り領域検出部は、前記背景データ生成部の出力から、過去の情報量が比較的少ないショート背景画像データと過去の情報量が比較的多いロング背景画像データを取得し、これらの背景画像データを比較することにより一定時間以上変化の継続した領域を検出する請求項３に記載の置去り／持去り物体検知装置。
【請求項５】
前記置去り／持去り事象判定部は、前記背景データ生成部の出力から、過去の情報量が比較的少ないショート背景距離データと過去の情報量が比較的多いロング背景距離データを取得し、これらの背景距離データを比較し、前記置去り／持去り領域検出部により検出された領域における前記ショート背景距離データに比べ、前記ロング背景距離データの方が遠方にある場合は、前記領域は置去り事象が発生した領域と判定し、逆に、前記ショート背景距離データに比べ、前記ロング背景距離データの方が近方にある場合は、前記領域は持去り事象が発生した領域と判定する請求項４に記載の置去り／持去り物体検知装置。
【請求項６】
カメラ部が撮影した監視対象領域における前記カメラ部から物体までの距離を測定するステップと、
前記カメラ部から出力される画像データ又は前記距離測定部から出力される距離データより、過去１枚以上のフレームに亘る平均化処理により背景データを生成するステップと、
生成された前記背景データより、前記監視対象領域から持去られた領域、若しくは、置去られた領域を検出するステップと、
生成された前記背景データより、検出された前記領域が、置去り事象であるか、持去り事象であるかを判定するステップと、
を備えた置去り／持去り物体検知方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１３３４３３（Ｐ２０１２−１３３４３３Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８２７１７（Ｐ２０１０−２８２７１７）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]