通行監視装置
【課題】監視領域に存在する人体のような物体の数を、髪型や複数の頭部の接近状態の影響を受けることなく物体の形状を考慮して正確に判別できる通行監視装置を提供する。
【解決手段】監視領域に存在する物体Ｈに関する検知ブロックによる３次元の物体情報から得られたブロック投影画像に対し、頭部α、髪型バッファ部βおよび肩部γを含むブロック領域をテンプレート画像とした物体の形状のテンプレートブロック２０によるテンプレートマッチングを行って、物体Ｈの数を判別する。
【解決手段】監視領域に存在する物体Ｈに関する検知ブロックによる３次元の物体情報から得られたブロック投影画像に対し、頭部α、髪型バッファ部βおよび肩部γを含むブロック領域をテンプレート画像とした物体の形状のテンプレートブロック２０によるテンプレートマッチングを行って、物体Ｈの数を判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、回転ドアを設置した出入口のような監視される領域を通行しようとする人体などの物体の数を監視する通行監視装置に関するものである。
【背景技術】
【０００２】
近年では、企業内部の情報流出を阻止するためのセキュリティ技術として、企業の建物における重要な出入口に認証装置を設置し、ＩＤカード、指紋などにより、認証済みの人物であると識別されたときのみ、出入口に設けたドアを開放可能に制御することが知られている。
【０００３】
前記セキュリティ技術では、認証を受けた人物が正規のＩＤカードをＩＤカード識別装置に挿入して通行許可を受けたのちに、その人物に他の認証を受けていない人物が横並びまたは縦並びにくっつくように接近した配列状態で出入口を通行しようとするのを阻止する必要がある。そこで、従来では、閉領域毎における三次元画像データの最も高い位置を基準として、複数のスライス画像内の判断対象画像の面積をそれぞれ判断することにより、互いに接近した通行者の数を計測する通行者計数装置を設けていた（例えば、特許文献１）。一方、他の監視手段として、監視される領域に存在する物体に関する３次元の物体情報から、物体の体積に基づいて物体の数を判別する方法（例えば、特許文献２）も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２６２５２７号公報
【特許文献１】特開２００６−２０９５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では面積または体積に基づいて物体の数を判断していたため、人体において個人差の大きい髪型、例えば大きく膨張させた髪型のような場合には、髪型の影響を受けて頭部を正確に把握できず、物体の形状を考慮していないことから物体の数の判別を誤る場合があった。また、複数の人体が互いの頭部をくっつけるように接近して通行するような場合には、個々の人体の分離が困難で、同様にその数の判別を誤る場合があった。
【０００６】
本発明は前記従来の課題に鑑みてなされたもので、監視領域に存在する人体のような物体の数を、髪型や複数の頭部の接近状態の影響を受けることなく物体の形状を考慮して正確に判別できる通行監視装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明に係る通行監視装置は、複数のブロックに分割された監視領域内で、上方向から物体を撮像して得られた距離画像を用いて、前記複数のブロックの中で前記距離画像における測距された画素をもつブロックを、該監視領域に存在する物体に関する検知ブロックとして得る検知ブロック演算部を有して、各検知ブロックによる３次元の物体情報を取得する物体情報取得手段と、２次元平面上の高さデータをもつ各検知ブロックをその水平面に投影することで検知ブロックの高さデータである２次元画像を生成するブロック投影画像生成部と、頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした物体に関する形状のテンプレートブロックを設定するテンプレート設定部と、前記ブロック投影画像に対し、前記テンプレートブロックによるテンプレートマッチングを行うテンプレートマッチング部と、前記テンプレートマッチングに基づいて物体の数を判別する判別部とを備えている。
【０００８】
この構成によれば、監視領域に存在する物体に関する検知ブロックによる３次元の物体情報から得られたブロック投影画像に対し、頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした物体の形状のテンプレートブロックによるテンプレートマッチングを行って物体の数を判別することにより、物体の形状を考慮することで、髪型の影響を受けることなく頭部を正確に把握するので、人体のような物体の数を正確に判別することができる。また、複数の人体が互いの頭部をくっつくように接近して通行する場合にも、複数の人体が侵入していると判別することができる。
【０００９】
前記テンプレート設定部は、少なくとも肩部に対してその中央部に所定高さの頭部を有する人体の形状のテンプレートブロックを設定してもよい。この場合、該テンプレートブロックに基づいて、ブロック投影画像に対し肩部次いでその上の頭部をさがすことにより、物体の数をより正確に判別できる。
【００１０】
前記テンプレート設定部は、人体の形状がそれぞれ異なる複数種類のテンプレートブロックを有してもよい。この場合、例えば頭部や髪形の大きさなどが異なる複数種類を用意することで、通行人の種類に応じて、物体の数をより正確に判別できる。
【００１１】
前記テンプレートマッチング部は、テンプレートマッチングにおいて一つの人体が検出された際に、その検出された人体の頭部を消去した後に、再度テンプレートマッチングを行うことで、複数の人体が前後または左右に互いにくっつくように接近した頭部抽出を行ってもよい。この場合、複数人の頭部の接近状態にかかわらず、物体の数をより正確に判別できる。
【００１２】
前記検知ブロック演算部は、前記物体が存在する検知ブロックであるか否かを物体の存在により撮像距離が得られたそれぞれのブロックにおける測距離点の数に基づいて判断する場合に、前記ブロックごとの撮像距離に応じて、測距離点の数のしきい値を変化させてもよい、または、測距離点の数のしきい値を一定とし、撮像距離に応じて重みを付加してもよい。この場合、カメラの撮像距離が遠くなるにつれてブロックの測距離点の数が減少するのに対応するので、数量判定の精度を向上させることができる。
【発明の効果】
【００１３】
本発明の通行監視装置によれば、物体の形状を考慮することで、髪型の影響を受けることなく頭部を正確に把握するので、人体のような物体の数を正確に判別することができる。また、複数の人体が侵入していると判別することもできる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る通行監視装置を示すブロック図である。
【図２】同上の通行監視装置により監視する領域を示す平面図である。
【図３】監視領域に対する検知領域を示す平面図である。
【図４】（Ａ）は検知領域内のブロックを側面から見た図、（Ｂ）は上面から見た図である。
【図５】同上の通行監視装置が取得した３次元の物体情報を模式的に示した図である。
【図６】（Ａ）〜（Ｃ）は人体における立体形状のテンプレートブロックを示す図である。
【図７】（Ａ）、（Ｂ）は本発明の通行監視装置の動作を示す図である。
【図８】（Ａ）、（Ｂ）は本発明の通行監視装置の動作を示す図である。
【図９】（Ａ）〜（Ｃ）は本発明の通行監視装置の動作を示す図である。
【図１０】同上の通行監視装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、本発明の一実施形態に係る通行監視装置を示すブロック図である。この監視される領域に存在する物体に関して取得された３次元の物体情報から物体の数を判別する通行監視装置１は、物体の数の判別結果に基づき回転ドア４の作動を制御する制御部３と、制御部３により制御されて回転ドア４をロックするドアロック部５とを備えている。したがって、この実施形態では、図２に示す回転ドア４をＱ方向に回転させて、矢印Ｐで示す方向に進入する人体のような物体の数を監視する用途に適用した場合を例示している。
【００１６】
回転ドア４は、建物の床と天井の間に支持された軸体４ａにウイング４ｂを取り付けたものである。回転ドア４における、図２の左側が入口ＩＮで、右側が出口ＥＸである。回転ドア４の移動空間の上面を形成する天井には、入口ＩＮと出口ＥＸのそれぞれに接近して、上方向から物体を撮像する周知のＴＯＦ（Time of Flight）方式の距離画像カメラ７が取り付けられており、この距離画像カメラ７によって破線で示す監視領域８が設定されている。回転ドア４の回転角度をエンコーダで検出することにより、回転角度に同期させて距離画像カメラ７が撮像する領域の監視エリアを変更させている。以下では、説明の簡略化のために、入口ＩＮ側に設けた構成についてのみ述べる。
【００１７】
前記回転ドア４の入口には図１のＩＤカード識別装置９が設けられており、このＩＤカード識別装置９は挿入されたＩＤカードが認証済みの正規のものであるか否かを識別して、その結果の識別信号を制御部３に対し出力する。制御部３ は、ＩＤカード識別装置９からＩＤカードが正規のものであると識別した識別信号が入力した時点で、物体情報取得から判別の動作を開始させるように制御する。
【００１８】
図１の物体情報取得手段２は、ＴＯＦ（Time of Flight）方式の距離画像カメラ７、座標変換部１０、マスク処理部１１、検知ブロック演算部１２および基準面距離設定メモリ１３を備え、制御部３からの指令に基づき作動して物体に関する３次元の物体情報を以下のように取得する。すなわち、ＴＯＦ方式の距離画像カメラ７は、光源から出した光が物体で反射し、受光部（センサ）に届くまでの光の飛行時間と光の速度から物体までの距離を演算するものであり、該カメラ７を原点とした被写体までの距離を画素毎に取得できるものである。ＴＯＦ方式の距離画像カメラ７に代えて、２台のカメラを用いて３次元の物体情報を取得するステレオビジョンセンサを用いることもできる。
【００１９】
回転ドア４のウイング４ｂの回転角度に応じた適切な監視領域８が、２次元平面（この例では床面）上でそれぞれ所定高さを有する複数の立体形状の各ブロックに区画されており、各ブロックの座標が図示しない監視エリア設定メモリに予め記憶されている。基準面距離設定メモリ１３には、距離画像カメラ７から基準面（この例では床面であるので、以下、床面と言う）までの距離が基準距離として予め記憶されている。
【００２０】
図１の座標変換部１０は、距離画像カメラ７を原点とするカメラ座標から、床面に鉛直方向に延ばした線と、床面との交点を原点とするドア座標系に画素値を変換する。なお、回転ドア４の回転軸４ａをドア座標系の原点としてもよい。マスク処理部１１は、ＴＯＦ方式の距離画像カメラ７の投光がドアのガラス面などで反射することによる誤動作を軽減させるために、ドア面から規定値のオフセットを行った領域をマスクしてもよい。つまり、図３のように、監視領域８のうち検知領域Ａを除く領域がマスクされて、検知領域Ａ内にある距離情報のみが判別に使用される。
【００２１】
図４（Ａ）は検知領域Ａ内のブロックＢを側面からみた図、図４（Ｂ）はブロックＢを上面から見た図である。図４（Ａ）のように距離画像カメラ７により上方向から人体Ｈが撮像され、図４（Ｂ）のように、人体Ｈの頭部（髪型含む）および肩部の天ぺんが撮像されて、この距離画像を用いて、監視エリア設定メモリに記憶のブロックＢのうち検知エリアＡ内の距離情報のみが抽出される。検知ブロック演算部１２は、被写体の撮像距離が得られたブロックＢ中の測距離点の数が、検知しきい値設定部１４に記憶されたブロックＢごとに設定されているしきい値以上となるとき、ブロックＢが人体Ｈの存在する検知ブロックＢ１であると判断する。検知しきい値設定部１４に記憶されているしきい値は測距離点の密度が距離画像カメラ７から遠くなるにしたがい、疎となるため、それに応じて遠い側が低いしきい値をもつ。
【００２２】
検知ブロックＢ１と判断するためのブロックＢ中の測距離点の数のしきい値をｔとすると、例えば、ブロックＢと距離画像カメラ７間の距離をｒ、任意に設定される定数をａとすると、
ｔ＝ａ／（ｒ^２）
の式により決定される。
【００２３】
なお、上記式のように撮像距離に応じて測距離点の数のしきい値を変化させるのに代えて、測距離点の数のしきい値を一定とし、撮像距離に応じて重みを付加するようにしてもよい。
【００２４】
このとき、検知ブロック演算部１２は、被写体が撮像された画素について、被写体までの距離ｒの関数を重み付けとして採用し、ブロック内に入った画素の重みの合計値がしきい値ｔよりも大きいとき、人体Ｈが存在する検知ブロックＢ１とすることができる。例えば、この重み付けは距離画像カメラ７からの距離ｒの二乗に比例するような関数が採用される。
【００２５】
上記した距離画像を検知ブロックに変換することにより、（１）〜（３）の効果を有する。すなわち、（１）小さな髪型の変化や、頭部に付いているアクセサリ、服の皺など、形状の小さい変化を丸めることができる。（２）３次元形状から２次元の画像に射影されるため、情報量が少なくなり高速にテンプレートを適用することができる。（３）撮像時に生じたノイズによる影響を除去することができる。
【００２６】
図５は、検知ブロック演算部１２が取得した３次元の物体情報を模式的に示したもので、検知エリアＡ内に存在する物体の高さが各検知ブロックＢ１ごとに示されている。こうして、物体情報取得手段２によって各検知ブロックＢ１による３次元の物体情報が取得される。
【００２７】
図１のブロック投影画像生成部１５は、２次元平面上の高さデータをもつ各検知ブロックＢ１を基準面設定メモリ１３に設定された距離の水平面に投影することで検知ブロックの高さデータである２次元画像を生成するものであり、各検知ブロックＢ１のうち、最も高い位置にあるブロックの高さデータを採用することで、高さデータを画素値として有する２次元画像であるブロック投影画像を生成する。
【００２８】
テンプレート設定部１６は、頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした人体の形状のテンプレートブロックを設定する。図６は人体の形状のテンプレートブロック２０の一例を示すもので、図６（Ａ）はテンプレートブロック２０を上面から見た図、図６（Ｂ）は人体Ｈとそのブロック投影画像を正面と側面から見た模式図、図６（Ｃ）はこの人体Ｈの形状にテンプレートブロック２０を対応させたときのテンプレートブロック２０を正面と側面とから見た図を示す。この図のように、テンプレートブロック２０は、肩部γを基準として髪型バッファ部βを介し中央部に所定高さの頭部αをもつ全体として立体形状を有する。この場合、例えば頭部や髪形の大きさなど人体の形状が異なる複数種類のテンプレートブロックを用意することが好ましく、これにより、通行人の種類に応じて、物体の数をより正確に判別できる。
【００２９】
図１のテンプレートマッチング部１７は、前記ブロック投影画像に対し、テンプレートブロック２０によるテンプレートマッチングを行う。図７（Ａ）のように、離れて２つの人体Ｈが侵入するような場合には、それぞれにテンプレートブロック２０が適合し、侵入している人が２人であることがわかる。この場合、ブロック投影画像上で肩基準部位の最高点から頭部基準の高さを決定する、つまり、まず、肩部γの候補となる位置をさがし、つぎにその上の頭部αをさがしてマッチングを行う。マッチング時は、テンプレートブロック２０中の頭部基準を規定数の画素が超えるとき、頭部とみなされる。ここで、肩部γの候補はブロック投影画像中である基準高さ以上の位置である。
【００３０】
また、テンプレートマッチング部１７は、図８（Ａ）のように、人体Ｈの頭部の高さが同等で互いにくっつくように接近した二つの頭部であれば、図８（Ｂ）のように、このブロック投影画像には、二つの頭部αを肩部γとみなしてテンプレートブロック２０を当てたとき中央部に頭部αがないので、マッチしない。
【００３１】
さらに、テンプレートマッチング部１７は、図９（Ａ）のように、人体Ｈの頭部の高さが異なり互いにくっつくように接近した二つの頭部であれば、図９（Ｂ）のように、テンプレートブロック２０によるテンプレートマッチングの結果、１つの頭部αを検知した後、その検知した頭部αを所定量落とし込んで（押し下げて）消去し、図９（Ｃ）のように、残った頭部αに対して再度テンプレートマッチングを行う。その結果、背の高い人体Ｈだけでなく背の低い人体Ｈも検出することができ、侵入している人が２人以上であることがわかる。
【００３２】
なお、侵入している人体Ｈが一つのときに、当該一つの頭部を検知後、前記した頭部を所定量落としこむ操作を適用しても、ブロック投影画像中には、テンプレートブロック適用の結果、たとえ胴部などが大きくても頭部と判定される場所は存在しないので、１人の人体Ｈを２人の人体Ｈとして誤判別することはない。
【００３３】
図１の判別部１８は、前記テンプレートマッチングに基づいて物体の数を判別する。図８のようにマッチしないときは、人体Ｈが２人以上、または１人の人体Ｈ以外のものであると判別する。この判定結果は図１の制御部３に対し出力され、制御部３は、人体Ｈが１人でないと判定されたときに、ドアロック部５を作動させて、回転ドア４の回転を禁止する。
【００３４】
図１の出口ＥＸ側の監視領域８についても、上記と同様の効果が得られる。なお、監視領域Ｂは入口ＩＮのみに設けられる場合もある。
【００３５】
図１０は、上記構成の通行監視装置の動作を示すフローチャートである。まず、ＴＯＦ方式の距離画像カメラ７により監視領域が撮像（キャプチャ）される（ステップＳ１）。つぎに、距離画像カメラ７を原点とするカメラ座標から、床面に鉛直方向に延ばした線と、床面との交点を原点とするドア座標系に画素値が変換される（ステップＳ２）。そして、監視領域８のうち検知領域Ａを除く領域の画素がマスクされて、検知領域Ａからのみ距離情報が取得される（ステップＳ３）。
【００３６】
検知ブロックＢ１が演算されて、検知領域Ａに存在する人体Ｈに関するブロックごとの高さデータをもつ３次元の物体情報が取得される（ステップＳ４）。つぎに、検知ブロックＢ１を投影（射影）することで、該検知ブロックＢ１の高さデータの２次元画像であるブロック投影画像が生成される（ステップＳ５）。
【００３７】
このブロック投影画像から立体形状のテンプレートブロック２０を用いて頭部が計数される（ステップＳ６）。つぎに、頭部が一つか否か確認される（ステップＳ７）。検知ブロックがあるにもかかわらず、頭部が見つからないときには、図８のように、１人の人体Ｈ以外のものであるので、ドアロック部５をロックして終了する（ステップＳ９）。図９のように、頭部が１つであるときには、一つ目の頭部を消して再度頭部を計数して（ステップＳ８）。頭部がさらに１つあるときには１人の人体Ｈ以外のものであるので、ドアロック部５をロックして終了する（ステップＳ９）。
【００３８】
この実施形態の通行監視装置では、監視領域に存在する物体に関する検知ブロックによる３次元の物体情報から得られたブロック投影画像に対し、頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした物体の形状のテンプレートブロックによるテンプレートマッチングを行って、物体の数を判別することにより、物体の形状を考慮することで、髪型の影響を受けることなく頭部を正確に把握するので、人体のような物体の数を正確に判別することができる。また、２人以上の人体が互いの頭部をくっつくように接近して通行する場合にも、その数を正確に判別することが可能となる。
【００３９】
前記実施形態では、通行監視装置を回転ドアに適用したが、他のスライドドアや片開きドアなどにも適用できる。また、本発明は、物体として人体を監視する場合に限られるものではなく、例えばベルトコンベアに乗って監視領域を通過する物品で、物体形状を考慮する必要があるような物品の数量を判別する装置にも適用できる。
【符号の説明】
【００４０】
１：通行監視装置
２：物体情報取得手段
７：距離画像カメラ
８：監視領域
１２：検知ブロック演算部
１５：ブロック投影画像生成部
１６：テンプレート設定部
１７：テンプレートマッチング部
２０：テンプレートブロック
Ａ：検知領域
Ｂ１：検知ブロック
Ｈ：人体（物体）
α：頭部（基準）
β：髪型バッファ部
γ：肩部（基準）
【技術分野】
【０００１】
本発明は、例えば、回転ドアを設置した出入口のような監視される領域を通行しようとする人体などの物体の数を監視する通行監視装置に関するものである。
【背景技術】
【０００２】
近年では、企業内部の情報流出を阻止するためのセキュリティ技術として、企業の建物における重要な出入口に認証装置を設置し、ＩＤカード、指紋などにより、認証済みの人物であると識別されたときのみ、出入口に設けたドアを開放可能に制御することが知られている。
【０００３】
前記セキュリティ技術では、認証を受けた人物が正規のＩＤカードをＩＤカード識別装置に挿入して通行許可を受けたのちに、その人物に他の認証を受けていない人物が横並びまたは縦並びにくっつくように接近した配列状態で出入口を通行しようとするのを阻止する必要がある。そこで、従来では、閉領域毎における三次元画像データの最も高い位置を基準として、複数のスライス画像内の判断対象画像の面積をそれぞれ判断することにより、互いに接近した通行者の数を計測する通行者計数装置を設けていた（例えば、特許文献１）。一方、他の監視手段として、監視される領域に存在する物体に関する３次元の物体情報から、物体の体積に基づいて物体の数を判別する方法（例えば、特許文献２）も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２６２５２７号公報
【特許文献１】特開２００６−２０９５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では面積または体積に基づいて物体の数を判断していたため、人体において個人差の大きい髪型、例えば大きく膨張させた髪型のような場合には、髪型の影響を受けて頭部を正確に把握できず、物体の形状を考慮していないことから物体の数の判別を誤る場合があった。また、複数の人体が互いの頭部をくっつけるように接近して通行するような場合には、個々の人体の分離が困難で、同様にその数の判別を誤る場合があった。
【０００６】
本発明は前記従来の課題に鑑みてなされたもので、監視領域に存在する人体のような物体の数を、髪型や複数の頭部の接近状態の影響を受けることなく物体の形状を考慮して正確に判別できる通行監視装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明に係る通行監視装置は、複数のブロックに分割された監視領域内で、上方向から物体を撮像して得られた距離画像を用いて、前記複数のブロックの中で前記距離画像における測距された画素をもつブロックを、該監視領域に存在する物体に関する検知ブロックとして得る検知ブロック演算部を有して、各検知ブロックによる３次元の物体情報を取得する物体情報取得手段と、２次元平面上の高さデータをもつ各検知ブロックをその水平面に投影することで検知ブロックの高さデータである２次元画像を生成するブロック投影画像生成部と、頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした物体に関する形状のテンプレートブロックを設定するテンプレート設定部と、前記ブロック投影画像に対し、前記テンプレートブロックによるテンプレートマッチングを行うテンプレートマッチング部と、前記テンプレートマッチングに基づいて物体の数を判別する判別部とを備えている。
【０００８】
この構成によれば、監視領域に存在する物体に関する検知ブロックによる３次元の物体情報から得られたブロック投影画像に対し、頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした物体の形状のテンプレートブロックによるテンプレートマッチングを行って物体の数を判別することにより、物体の形状を考慮することで、髪型の影響を受けることなく頭部を正確に把握するので、人体のような物体の数を正確に判別することができる。また、複数の人体が互いの頭部をくっつくように接近して通行する場合にも、複数の人体が侵入していると判別することができる。
【０００９】
前記テンプレート設定部は、少なくとも肩部に対してその中央部に所定高さの頭部を有する人体の形状のテンプレートブロックを設定してもよい。この場合、該テンプレートブロックに基づいて、ブロック投影画像に対し肩部次いでその上の頭部をさがすことにより、物体の数をより正確に判別できる。
【００１０】
前記テンプレート設定部は、人体の形状がそれぞれ異なる複数種類のテンプレートブロックを有してもよい。この場合、例えば頭部や髪形の大きさなどが異なる複数種類を用意することで、通行人の種類に応じて、物体の数をより正確に判別できる。
【００１１】
前記テンプレートマッチング部は、テンプレートマッチングにおいて一つの人体が検出された際に、その検出された人体の頭部を消去した後に、再度テンプレートマッチングを行うことで、複数の人体が前後または左右に互いにくっつくように接近した頭部抽出を行ってもよい。この場合、複数人の頭部の接近状態にかかわらず、物体の数をより正確に判別できる。
【００１２】
前記検知ブロック演算部は、前記物体が存在する検知ブロックであるか否かを物体の存在により撮像距離が得られたそれぞれのブロックにおける測距離点の数に基づいて判断する場合に、前記ブロックごとの撮像距離に応じて、測距離点の数のしきい値を変化させてもよい、または、測距離点の数のしきい値を一定とし、撮像距離に応じて重みを付加してもよい。この場合、カメラの撮像距離が遠くなるにつれてブロックの測距離点の数が減少するのに対応するので、数量判定の精度を向上させることができる。
【発明の効果】
【００１３】
本発明の通行監視装置によれば、物体の形状を考慮することで、髪型の影響を受けることなく頭部を正確に把握するので、人体のような物体の数を正確に判別することができる。また、複数の人体が侵入していると判別することもできる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る通行監視装置を示すブロック図である。
【図２】同上の通行監視装置により監視する領域を示す平面図である。
【図３】監視領域に対する検知領域を示す平面図である。
【図４】（Ａ）は検知領域内のブロックを側面から見た図、（Ｂ）は上面から見た図である。
【図５】同上の通行監視装置が取得した３次元の物体情報を模式的に示した図である。
【図６】（Ａ）〜（Ｃ）は人体における立体形状のテンプレートブロックを示す図である。
【図７】（Ａ）、（Ｂ）は本発明の通行監視装置の動作を示す図である。
【図８】（Ａ）、（Ｂ）は本発明の通行監視装置の動作を示す図である。
【図９】（Ａ）〜（Ｃ）は本発明の通行監視装置の動作を示す図である。
【図１０】同上の通行監視装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、本発明の一実施形態に係る通行監視装置を示すブロック図である。この監視される領域に存在する物体に関して取得された３次元の物体情報から物体の数を判別する通行監視装置１は、物体の数の判別結果に基づき回転ドア４の作動を制御する制御部３と、制御部３により制御されて回転ドア４をロックするドアロック部５とを備えている。したがって、この実施形態では、図２に示す回転ドア４をＱ方向に回転させて、矢印Ｐで示す方向に進入する人体のような物体の数を監視する用途に適用した場合を例示している。
【００１６】
回転ドア４は、建物の床と天井の間に支持された軸体４ａにウイング４ｂを取り付けたものである。回転ドア４における、図２の左側が入口ＩＮで、右側が出口ＥＸである。回転ドア４の移動空間の上面を形成する天井には、入口ＩＮと出口ＥＸのそれぞれに接近して、上方向から物体を撮像する周知のＴＯＦ（Time of Flight）方式の距離画像カメラ７が取り付けられており、この距離画像カメラ７によって破線で示す監視領域８が設定されている。回転ドア４の回転角度をエンコーダで検出することにより、回転角度に同期させて距離画像カメラ７が撮像する領域の監視エリアを変更させている。以下では、説明の簡略化のために、入口ＩＮ側に設けた構成についてのみ述べる。
【００１７】
前記回転ドア４の入口には図１のＩＤカード識別装置９が設けられており、このＩＤカード識別装置９は挿入されたＩＤカードが認証済みの正規のものであるか否かを識別して、その結果の識別信号を制御部３に対し出力する。制御部３ は、ＩＤカード識別装置９からＩＤカードが正規のものであると識別した識別信号が入力した時点で、物体情報取得から判別の動作を開始させるように制御する。
【００１８】
図１の物体情報取得手段２は、ＴＯＦ（Time of Flight）方式の距離画像カメラ７、座標変換部１０、マスク処理部１１、検知ブロック演算部１２および基準面距離設定メモリ１３を備え、制御部３からの指令に基づき作動して物体に関する３次元の物体情報を以下のように取得する。すなわち、ＴＯＦ方式の距離画像カメラ７は、光源から出した光が物体で反射し、受光部（センサ）に届くまでの光の飛行時間と光の速度から物体までの距離を演算するものであり、該カメラ７を原点とした被写体までの距離を画素毎に取得できるものである。ＴＯＦ方式の距離画像カメラ７に代えて、２台のカメラを用いて３次元の物体情報を取得するステレオビジョンセンサを用いることもできる。
【００１９】
回転ドア４のウイング４ｂの回転角度に応じた適切な監視領域８が、２次元平面（この例では床面）上でそれぞれ所定高さを有する複数の立体形状の各ブロックに区画されており、各ブロックの座標が図示しない監視エリア設定メモリに予め記憶されている。基準面距離設定メモリ１３には、距離画像カメラ７から基準面（この例では床面であるので、以下、床面と言う）までの距離が基準距離として予め記憶されている。
【００２０】
図１の座標変換部１０は、距離画像カメラ７を原点とするカメラ座標から、床面に鉛直方向に延ばした線と、床面との交点を原点とするドア座標系に画素値を変換する。なお、回転ドア４の回転軸４ａをドア座標系の原点としてもよい。マスク処理部１１は、ＴＯＦ方式の距離画像カメラ７の投光がドアのガラス面などで反射することによる誤動作を軽減させるために、ドア面から規定値のオフセットを行った領域をマスクしてもよい。つまり、図３のように、監視領域８のうち検知領域Ａを除く領域がマスクされて、検知領域Ａ内にある距離情報のみが判別に使用される。
【００２１】
図４（Ａ）は検知領域Ａ内のブロックＢを側面からみた図、図４（Ｂ）はブロックＢを上面から見た図である。図４（Ａ）のように距離画像カメラ７により上方向から人体Ｈが撮像され、図４（Ｂ）のように、人体Ｈの頭部（髪型含む）および肩部の天ぺんが撮像されて、この距離画像を用いて、監視エリア設定メモリに記憶のブロックＢのうち検知エリアＡ内の距離情報のみが抽出される。検知ブロック演算部１２は、被写体の撮像距離が得られたブロックＢ中の測距離点の数が、検知しきい値設定部１４に記憶されたブロックＢごとに設定されているしきい値以上となるとき、ブロックＢが人体Ｈの存在する検知ブロックＢ１であると判断する。検知しきい値設定部１４に記憶されているしきい値は測距離点の密度が距離画像カメラ７から遠くなるにしたがい、疎となるため、それに応じて遠い側が低いしきい値をもつ。
【００２２】
検知ブロックＢ１と判断するためのブロックＢ中の測距離点の数のしきい値をｔとすると、例えば、ブロックＢと距離画像カメラ７間の距離をｒ、任意に設定される定数をａとすると、
ｔ＝ａ／（ｒ^２）
の式により決定される。
【００２３】
なお、上記式のように撮像距離に応じて測距離点の数のしきい値を変化させるのに代えて、測距離点の数のしきい値を一定とし、撮像距離に応じて重みを付加するようにしてもよい。
【００２４】
このとき、検知ブロック演算部１２は、被写体が撮像された画素について、被写体までの距離ｒの関数を重み付けとして採用し、ブロック内に入った画素の重みの合計値がしきい値ｔよりも大きいとき、人体Ｈが存在する検知ブロックＢ１とすることができる。例えば、この重み付けは距離画像カメラ７からの距離ｒの二乗に比例するような関数が採用される。
【００２５】
上記した距離画像を検知ブロックに変換することにより、（１）〜（３）の効果を有する。すなわち、（１）小さな髪型の変化や、頭部に付いているアクセサリ、服の皺など、形状の小さい変化を丸めることができる。（２）３次元形状から２次元の画像に射影されるため、情報量が少なくなり高速にテンプレートを適用することができる。（３）撮像時に生じたノイズによる影響を除去することができる。
【００２６】
図５は、検知ブロック演算部１２が取得した３次元の物体情報を模式的に示したもので、検知エリアＡ内に存在する物体の高さが各検知ブロックＢ１ごとに示されている。こうして、物体情報取得手段２によって各検知ブロックＢ１による３次元の物体情報が取得される。
【００２７】
図１のブロック投影画像生成部１５は、２次元平面上の高さデータをもつ各検知ブロックＢ１を基準面設定メモリ１３に設定された距離の水平面に投影することで検知ブロックの高さデータである２次元画像を生成するものであり、各検知ブロックＢ１のうち、最も高い位置にあるブロックの高さデータを採用することで、高さデータを画素値として有する２次元画像であるブロック投影画像を生成する。
【００２８】
テンプレート設定部１６は、頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした人体の形状のテンプレートブロックを設定する。図６は人体の形状のテンプレートブロック２０の一例を示すもので、図６（Ａ）はテンプレートブロック２０を上面から見た図、図６（Ｂ）は人体Ｈとそのブロック投影画像を正面と側面から見た模式図、図６（Ｃ）はこの人体Ｈの形状にテンプレートブロック２０を対応させたときのテンプレートブロック２０を正面と側面とから見た図を示す。この図のように、テンプレートブロック２０は、肩部γを基準として髪型バッファ部βを介し中央部に所定高さの頭部αをもつ全体として立体形状を有する。この場合、例えば頭部や髪形の大きさなど人体の形状が異なる複数種類のテンプレートブロックを用意することが好ましく、これにより、通行人の種類に応じて、物体の数をより正確に判別できる。
【００２９】
図１のテンプレートマッチング部１７は、前記ブロック投影画像に対し、テンプレートブロック２０によるテンプレートマッチングを行う。図７（Ａ）のように、離れて２つの人体Ｈが侵入するような場合には、それぞれにテンプレートブロック２０が適合し、侵入している人が２人であることがわかる。この場合、ブロック投影画像上で肩基準部位の最高点から頭部基準の高さを決定する、つまり、まず、肩部γの候補となる位置をさがし、つぎにその上の頭部αをさがしてマッチングを行う。マッチング時は、テンプレートブロック２０中の頭部基準を規定数の画素が超えるとき、頭部とみなされる。ここで、肩部γの候補はブロック投影画像中である基準高さ以上の位置である。
【００３０】
また、テンプレートマッチング部１７は、図８（Ａ）のように、人体Ｈの頭部の高さが同等で互いにくっつくように接近した二つの頭部であれば、図８（Ｂ）のように、このブロック投影画像には、二つの頭部αを肩部γとみなしてテンプレートブロック２０を当てたとき中央部に頭部αがないので、マッチしない。
【００３１】
さらに、テンプレートマッチング部１７は、図９（Ａ）のように、人体Ｈの頭部の高さが異なり互いにくっつくように接近した二つの頭部であれば、図９（Ｂ）のように、テンプレートブロック２０によるテンプレートマッチングの結果、１つの頭部αを検知した後、その検知した頭部αを所定量落とし込んで（押し下げて）消去し、図９（Ｃ）のように、残った頭部αに対して再度テンプレートマッチングを行う。その結果、背の高い人体Ｈだけでなく背の低い人体Ｈも検出することができ、侵入している人が２人以上であることがわかる。
【００３２】
なお、侵入している人体Ｈが一つのときに、当該一つの頭部を検知後、前記した頭部を所定量落としこむ操作を適用しても、ブロック投影画像中には、テンプレートブロック適用の結果、たとえ胴部などが大きくても頭部と判定される場所は存在しないので、１人の人体Ｈを２人の人体Ｈとして誤判別することはない。
【００３３】
図１の判別部１８は、前記テンプレートマッチングに基づいて物体の数を判別する。図８のようにマッチしないときは、人体Ｈが２人以上、または１人の人体Ｈ以外のものであると判別する。この判定結果は図１の制御部３に対し出力され、制御部３は、人体Ｈが１人でないと判定されたときに、ドアロック部５を作動させて、回転ドア４の回転を禁止する。
【００３４】
図１の出口ＥＸ側の監視領域８についても、上記と同様の効果が得られる。なお、監視領域Ｂは入口ＩＮのみに設けられる場合もある。
【００３５】
図１０は、上記構成の通行監視装置の動作を示すフローチャートである。まず、ＴＯＦ方式の距離画像カメラ７により監視領域が撮像（キャプチャ）される（ステップＳ１）。つぎに、距離画像カメラ７を原点とするカメラ座標から、床面に鉛直方向に延ばした線と、床面との交点を原点とするドア座標系に画素値が変換される（ステップＳ２）。そして、監視領域８のうち検知領域Ａを除く領域の画素がマスクされて、検知領域Ａからのみ距離情報が取得される（ステップＳ３）。
【００３６】
検知ブロックＢ１が演算されて、検知領域Ａに存在する人体Ｈに関するブロックごとの高さデータをもつ３次元の物体情報が取得される（ステップＳ４）。つぎに、検知ブロックＢ１を投影（射影）することで、該検知ブロックＢ１の高さデータの２次元画像であるブロック投影画像が生成される（ステップＳ５）。
【００３７】
このブロック投影画像から立体形状のテンプレートブロック２０を用いて頭部が計数される（ステップＳ６）。つぎに、頭部が一つか否か確認される（ステップＳ７）。検知ブロックがあるにもかかわらず、頭部が見つからないときには、図８のように、１人の人体Ｈ以外のものであるので、ドアロック部５をロックして終了する（ステップＳ９）。図９のように、頭部が１つであるときには、一つ目の頭部を消して再度頭部を計数して（ステップＳ８）。頭部がさらに１つあるときには１人の人体Ｈ以外のものであるので、ドアロック部５をロックして終了する（ステップＳ９）。
【００３８】
この実施形態の通行監視装置では、監視領域に存在する物体に関する検知ブロックによる３次元の物体情報から得られたブロック投影画像に対し、頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした物体の形状のテンプレートブロックによるテンプレートマッチングを行って、物体の数を判別することにより、物体の形状を考慮することで、髪型の影響を受けることなく頭部を正確に把握するので、人体のような物体の数を正確に判別することができる。また、２人以上の人体が互いの頭部をくっつくように接近して通行する場合にも、その数を正確に判別することが可能となる。
【００３９】
前記実施形態では、通行監視装置を回転ドアに適用したが、他のスライドドアや片開きドアなどにも適用できる。また、本発明は、物体として人体を監視する場合に限られるものではなく、例えばベルトコンベアに乗って監視領域を通過する物品で、物体形状を考慮する必要があるような物品の数量を判別する装置にも適用できる。
【符号の説明】
【００４０】
１：通行監視装置
２：物体情報取得手段
７：距離画像カメラ
８：監視領域
１２：検知ブロック演算部
１５：ブロック投影画像生成部
１６：テンプレート設定部
１７：テンプレートマッチング部
２０：テンプレートブロック
Ａ：検知領域
Ｂ１：検知ブロック
Ｈ：人体（物体）
α：頭部（基準）
β：髪型バッファ部
γ：肩部（基準）
【特許請求の範囲】
【請求項１】
複数のブロックに分割された監視領域内で、上方向から物体を撮像して得られた距離画像を用いて、前記複数のブロックの中で前記距離画像における測距された画素をもつブロックを、該監視領域に存在する物体に関する検知ブロックとして得る検知ブロック演算部を有して、各検知ブロックによる３次元の物体情報を取得する物体情報取得手段と、
２次元平面上の高さデータをもつ各検知ブロックをその水平面に投影することで検知ブロックの高さデータである２次元画像を生成するブロック投影画像生成部と、
頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした物体に関する形状のテンプレートブロックを設定するテンプレート設定部と、
前記ブロック投影画像に対し、前記テンプレートブロックによるテンプレートマッチングを行うテンプレートマッチング部と、
前記テンプレートマッチングに基づいて物体の数を判別する判別部とを備えた通行監視装置。
【請求項２】
請求項１において、前記テンプレート設定部は、少なくとも肩部に対してその中央部に所定高さの頭部を有する人体の形状のテンプレートブロックを設定する、通行監視装置。
【請求項３】
請求項１または２において、前記テンプレート設定部は、人体の形状がそれぞれ異なる複数種類のテンプレートブロックを有している通行監視装置。
【請求項４】
請求項１から３のいずれか１項において、前記テンプレートマッチング部は、テンプレートマッチングにおいて一つの人体が検出された際に、その検出された人体の頭部を消去した後に、再度テンプレートマッチングを行うことで、複数の人体が前後または左右に互いにくっつくように接近した頭部抽出を行う通行監視装置。
【請求項５】
請求項１から４のいずれか１項において、前記検知ブロック演算部は、前記物体が存在する検知ブロックであるか否かを物体の存在により撮像距離が得られたそれぞれのブロックにおける測距離点の数に基づいて判断する場合に、前記ブロックごとの撮像距離に応じて、測距離点の数のしきい値を変化させる、または、測距離点の数のしきい値を一定とし、撮像距離に応じて重みを付加する、通行監視装置。
【請求項１】
複数のブロックに分割された監視領域内で、上方向から物体を撮像して得られた距離画像を用いて、前記複数のブロックの中で前記距離画像における測距された画素をもつブロックを、該監視領域に存在する物体に関する検知ブロックとして得る検知ブロック演算部を有して、各検知ブロックによる３次元の物体情報を取得する物体情報取得手段と、
２次元平面上の高さデータをもつ各検知ブロックをその水平面に投影することで検知ブロックの高さデータである２次元画像を生成するブロック投影画像生成部と、
頭部、髪型バッファ部および肩部を含むブロック領域をテンプレート画像とした物体に関する形状のテンプレートブロックを設定するテンプレート設定部と、
前記ブロック投影画像に対し、前記テンプレートブロックによるテンプレートマッチングを行うテンプレートマッチング部と、
前記テンプレートマッチングに基づいて物体の数を判別する判別部とを備えた通行監視装置。
【請求項２】
請求項１において、前記テンプレート設定部は、少なくとも肩部に対してその中央部に所定高さの頭部を有する人体の形状のテンプレートブロックを設定する、通行監視装置。
【請求項３】
請求項１または２において、前記テンプレート設定部は、人体の形状がそれぞれ異なる複数種類のテンプレートブロックを有している通行監視装置。
【請求項４】
請求項１から３のいずれか１項において、前記テンプレートマッチング部は、テンプレートマッチングにおいて一つの人体が検出された際に、その検出された人体の頭部を消去した後に、再度テンプレートマッチングを行うことで、複数の人体が前後または左右に互いにくっつくように接近した頭部抽出を行う通行監視装置。
【請求項５】
請求項１から４のいずれか１項において、前記検知ブロック演算部は、前記物体が存在する検知ブロックであるか否かを物体の存在により撮像距離が得られたそれぞれのブロックにおける測距離点の数に基づいて判断する場合に、前記ブロックごとの撮像距離に応じて、測距離点の数のしきい値を変化させる、または、測距離点の数のしきい値を一定とし、撮像距離に応じて重みを付加する、通行監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２０４０５（Ｐ２０１３−２０４０５Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５２６５８（Ｐ２０１１−１５２６５８）
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]