マンコンベア画像処理装置
【課題】エスカレータの乗客の３次元の監視領域を精度よく設定する。
【解決手段】画像処理装置２４は、ステレオカメラユニット２１のカメラ２２ａ，２２ｂにより得た撮影画像を入力する。画像処理装置２４は、撮影画像中の設定対象の３次元の監視領域の特徴部分を検出する。画像処理装置２４は、検出された特徴部分の情報をもとに当該特徴部分の３次元情報を取得して、３次元の監視領域を設定する。エスカレータ１の通常運転の開始後、画像処理装置２４は、撮影画像を解析して乗客の位置を検知する。画像処理装置２４は、撮影画像内の設定済みの３次元監視領域、およびエスカレータ１の運行情報に基づいて、乗客の挙動である乗り出しの有無を検知する。
【解決手段】画像処理装置２４は、ステレオカメラユニット２１のカメラ２２ａ，２２ｂにより得た撮影画像を入力する。画像処理装置２４は、撮影画像中の設定対象の３次元の監視領域の特徴部分を検出する。画像処理装置２４は、検出された特徴部分の情報をもとに当該特徴部分の３次元情報を取得して、３次元の監視領域を設定する。エスカレータ１の通常運転の開始後、画像処理装置２４は、撮影画像を解析して乗客の位置を検知する。画像処理装置２４は、撮影画像内の設定済みの３次元監視領域、およびエスカレータ１の運行情報に基づいて、乗客の挙動である乗り出しの有無を検知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エスカレータを利用する乗客の挙動を監視するためのマンコンベア画像処理装置に関する。
【背景技術】
【０００２】
ビルや駅構内などに設置されているエスカレータ（マンコンベアとも呼ばれる）は、通常は監視員のいない場所で自動運転されることが多い。このため、乗客が手摺りベルトから外側に身を乗り出すなどして危険な状態にあっても見過ごされてしまう可能性がある。また、乗客がエスカレータで転倒した場合などでも、その連絡が監視員に伝わるまでに時間がかかり、対応に遅れが生じるといった問題がある。このような問題から、乗客の安全を確保するため、エスカレータの監視システムの乗り出し監視性能に対する要求が高まっている。
【０００３】
従来、このような問題を解決するために、エスカレータの監視システムにおいて、乗り出し監視範囲を設定する方法が提案されている。例えば特許文献１及び特許文献２に開示されるように、エスカレータ監視カメラ画像から手摺りベルトや踏み段斜面を自動的に検出し、この検出部分を基準面として、踏み段走行領域の下辺の実際位置における画像間の縮小率を計算し、この縮小率から乗り出し領域の設定値の幅を求めることで、正常乗車領域と乗り出し領域の２つを監視領域として設定して乗客の乗り出し検知を行なうものがある。
【０００４】
また、特許文献３に開示されるように、エスカレータ監視カメラ画像上の座標系と実空間の水平および奥行き方向の座標系とを対応づけ、エスカレータ監視カメラの向きと高さを求め、このエスカレータ監視カメラの向きと高さの情報を用いて監視領域を画像上に自動設定するものがある。この技術では、エスカレータ監視カメラのレンズの焦点距離を既知とし、エスカレータ監視カメラの俯角と高さを微調整し、俯角と高さの全ての組み合わせについて評価値を計算し、この評価値が最小となる俯角と高さをエスカレータ監視カメラに係る最適なパラメータとして計算する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３２２２４７号公報
【特許文献２】特開２０００−２７２８６３号公報
【特許文献３】特開２０００−１３７７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した特許文献１や特許文献２に開示されるような手法では、踏み段走行領域の下辺の実際位置における画像間の縮小率に従って画像座標を計算する必要があるため、エスカレータ監視カメラの撮影画像の歪みにより領域設定精度が大きく低下する問題がある。また、この縮小率を用いる場合、監視カメラから見て手前の箇所で領域設定精度が良い場合でも、監視カメラから遠くなるほど領域設定精度が悪くなる問題がある。また、特許文献１や特許文献２に開示されるような手法では、単一種類の監視領域を設定するものであり、三角ガード板や建物の三角部などの、乗客の乗り出しによる危険度の高い場所に特化した監視領域を設定できない問題がある。
【０００７】
また、前述した特許文献３に開示されるような手法では、エスカレータ監視カメラの俯角と高さの全ての組み合わせについて評価値を計算するので、計算コストが膨大になる問題がある。また、正確なカメラ焦点距離を設定することは非常に困難であり、この焦点距離の実際の値に対する設定値のずれによる他、エスカレータ監視カメラに係るパラメータに大きいずれが発生して、画像上に監視領域を正しく設定できない場合がある。
【０００８】
そこで、本発明の目的は、エスカレータの乗客の３次元の監視領域を精度よく設定することが可能になるマンコンベア画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
すなわち、本発明に係わるマンコンベア画像処理装置は、監視対象のエスカレータを撮影する複数台のカメラと、前記エスカレータの撮影画像における乗客の３次元監視領域の設定のための特徴部分を検出する検出手段と、前記撮影画像における前記検出した特徴部分の３次元領域での位置を計算することで、当該撮影画像における３次元監視領域を設定する監視領域設定手段と、前記カメラによる前記３次元監視領域内の撮影画像をもとに前記乗客の挙動を監視する監視手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、マンコンベアの乗客の３次元の監視領域を精度よく設定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態におけるエスカレータ監視システムの構成例を示す図。
【図２】本発明の実施形態におけるエスカレータ監視システムのエスカレータ監視装置の機能構成例を示すブロック図。
【図３】本発明の実施形態におけるエスカレータ監視システムの各種監視領域の例を示す鳥瞰図。
【図４】本発明の実施形態におけるエスカレータ監視システムによる監視処理手順の一例を示すフローチャート。
【図５】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための特徴部分の検出例を示す図。
【図６】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための複数の特徴部分の検出例および３次元情報の取得例を示す図。
【図７】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための色や形状や模様が異なる複数の特徴部分の例を示す図。
【図８】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための発光周期が異なる複数の特徴部分の例を示す図。
【図９】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための発光周期が異なる複数の特徴部分の発光周期の一例を示すタイミングチャート。
【図１０】本発明の実施形態におけるエスカレータ監視システムによる１つの平行６面体の３次元監視領域の設定のために検出する必要最小限の特徴部分の一例を示す図。
【図１１】本発明の実施形態におけるエスカレータ監視システムによる２つの平行６面体の３次元監視領域の設定のために検出する必要最小数の特徴部分の一例を示す図。
【図１２】本発明の実施形態におけるエスカレータ監視システムによる曲面体の３次元監視領域および当該領域の設定のために検出する特徴部分の一例を示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。
本実施形態では、エスカレータの撮影画像における３次元の監視領域を設定し、この監視領域の撮影画像に写る乗客の乗り出し検知を自動的に行なうエスカレータ監視システムについて説明する。なお、本実施形態においてはエスカレータの監視を例にとって説明するが、本発明は動く歩道などのその他のマンコンベアの監視にも適用することができる。
【００１３】
図１は、本発明の実施形態におけるエスカレータ監視システムの構成例を示す図である。
図１に示すように、監視対象のエスカレータ１は、複数の踏み段２と、これらの踏み段２の両側に設置された一対の欄干パネル３とを備える。各踏み段２は、例えばアルミダイガストから形成された階段状の乗り台であり、図示せぬトラスによって所定の傾斜角度を有して支持された状態で乗降口間を循環走行する。
【００１４】
また、上記一対の欄干パネル３は、例えば透明のガラスやアクリルなどによって形成され、その欄干パネル３の周縁部には、ゴムなどで周りが覆われた手摺りベルト４が巻き付けられている。この手摺りベルト４は、上記各踏み段２と同期して移動する。
【００１５】
さらに、エスカレータ１と交差する天井等の下端部には、三角部ガード板５が取り付けられている。この三角部ガード板５は、乗客６が手摺りベルト４から乗り出した場合に天井との隙間に挟まれる事故を防止するために設置される。
【００１６】
ここで、監視用のカメラとして、ステレオカメラユニット２１がエスカレータ１全体を監視できる場所（例えばエスカレータ１の近傍の天井面）に設置されている。このステレオカメラユニット２１には、２台のカメラ２２ａ，２２ｂが所定の間隔を有して配置されており、これらのカメラ２２ａ，２２ｂで撮影された各画像を伝送ケーブル２３を介して画像処理装置２４に順次転送するように構成されている。以下、ステレオカメラユニット２１では静止画画像を得るものとして説明するが、動画像を得るものであってもよい。
【００１７】
画像処理装置２４は、本システムの主要構成部である。この画像処理装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた一般的なＰＣ（パーソナルコンピュータ）あるいは画像処理ボードなどで構成される。この画像処理装置２４は、上記カメラ２２ａ，２２ｂによって撮影された各画像を３次元で解析処理することにより、エスカレータ１を利用する乗客６の位置を撮影範囲の奥行き方向を含めて検知すると共に、その乗客６の挙動などを検知する機能を備える。
【００１８】
本実施形態では、ステレオカメラユニット２１による撮影領域１１内において３次元監視領域を設定し、この監視領域における乗客の挙動を検出する。
図１に示した例では、エスカレータ１は上りエスカレータであり、３種類の監視領域が示されている。第１の３次元監視領域１２は、エスカレータの乗降口の一対の欄干パネル１３間の幅を有し、下のフロアの乗り口から上のフロアの降り口までの奥行きを有し、踏み段２の底面から手摺りベルト４付近までの高さを有する。
第２の３次元監視領域１３は、エスカレータ１の踏み段２からみた外側における手摺りベルト４の長手方向に沿った領域であり、乗り口付近から降り口付近までの奥行きを有する。
第３の３次元監視領域１４は、三角部ガード板５の上端部から下端部までの高さを有し、エスカレータ１の外側の三角部ガード板５付近の所定の奥行きおよび幅を有する。３次元監視領域は、乗客が通常時もしくは乗り出し時にいる可能性のある箇所の領域であれば、図１に示した例に限られない。
また、図１に示した例では、各種の３次元監視領域を特定するための設置物であるマーカ７が監視領域ごとに設けられる。
【００１９】
制御装置２５は、エスカレータ１の運転制御を行なうものであり、画像処理装置２４とは別のＰＣからなる。この制御装置２５は、画像処理装置２４から出力される各種信号を受けてスピーカ２６や表示装置２７を制御したり、エスカレータ１の駆動装置２８を制御したりする。表示装置２７は、例えばエスカレータ１の交差部近辺に設置される。
【００２０】
スピーカ２６は、エスカレータ１の近くに設置されており、乗客６に対して何らかの警告を行なう場合に用いられる。表示装置２７は、エスカレータ設置建物の監視室等に設置されており、撮影画像のモニタ表示や、警告レベルの表示などを行なう。
【００２１】
図２は、本発明の実施形態におけるエスカレータ監視システムの画像処理装置の機能構成例を示すブロック図である。
図２に示すように、画像処理装置２４は、画像入力部３１、特徴部分検出部３２、監視領域設定部３３、乗客検知部３４、挙動検知部３５、警告部３６、不揮発性メモリなどの記憶媒体である記憶装置３７を有する。
【００２２】
画像入力部３１は、ステレオカメラユニット２１に設けられた２台のカメラ２２ａ，２２ｂにて連続撮影された各画像情報を入力する。なお、入力した各画像は、画像処理装置２４内の記憶装置３７に時間情報と共に記憶される。
【００２３】
特徴部分検出部３２は、画像入力部３１によって入力した画像から、監視領域の設定のための特徴部分を検出する。この特徴部分は、３次元監視領域の周縁部を特定するための当該領域の頂点、辺、または面である。
監視領域設定部３３は、画像入力部３１によって入力した各撮影画像中の、特徴部分検出部３２により検出した１つまたは複数の特徴部分をもとに撮影画像内の３次元監視領域を設定する。
【００２４】
乗客検知部３４は、ステレオカメラユニット２１からの撮影画像を解析して、エスカレータ１を利用する乗客６の位置を３次元監視領域の奥行き方向を含めて検知する。
挙動検知部３５は、エスカレータ１の運行情報に基づいて、乗客検知部３４によって検知された乗客６の挙動である乗り出しを検知する。上記運行情報には、エスカレータ１の運転方向、運転速度などの情報が含まれる。
警告部３６は、挙動検知部３５によって判断された乗客６の挙動に応じて、音声あるいは表示による警告処理を行なう。
【００２５】
図３は、本発明の実施形態におけるエスカレータ監視システムの各種監視領域の例を示す鳥瞰図である。
図３に示した監視領域の例は、図１に示した監視領域の例より詳細に設定した監視領域の例である。図３に示したように、本実施形態では、３次元監視領域の種別が危険領域、要注意領域、正常乗車領域、および安全領域に区分される。
【００２６】
図３に示した対象物位置４１は乗客の位置である。また、図３に示した正常領域４２、安全領域４３、要注意領域４４、危険領域４５は、設定した監視領域を当該領域にいる乗客の危険度ごとに区分した領域である。
【００２７】
正常領域４２は、踏み段２上に設定した３次元監視領域であり、安全領域４３は、乗降口の脇に設定した３次元監視領域であり、要注意領域４４は、踏み段２からみた外側における手摺りベルト４の長手方向に沿った３次元監視領域であり、乗り口付近から降り口付近までの奥行きを有する。
危険領域４５は、踏み段からみた要注意領域４４より外側における手摺りベルト４の長手方向に沿った３次元監視領域であり、乗り口付近から降り口付近までの奥行きを有する。
【００２８】
この場合、エスカレータ監視システムは、ステレオカメラユニット２１の撮影画像内の正常領域４２に乗客がいる場合は、乗客が踏み段上にいて利用状態が正常であると判断し、安全領域４３の撮影画像に乗客がいる場合は、乗客が乗降口にいて安全であると判断する。
【００２９】
また、このエスカレータ監視システムは、撮影画像の要注意領域４４に乗客がいる場合は、乗客が踏み段２から身体の一部を乗り出していて要注意状態にあると判断し、撮影画像の危険領域４５に乗客がいる場合は、乗客が踏み段２から身体の大部分を乗り出していて危険であると判断する。このように、このエスカレータ監視システムは、乗客の乗り出し行動を危険度別に監視することができる。
【００３０】
また、図３に示した例では、危険領域４５の一部は、踏み段２の外側から図中の乗客に向かって突き出ており、図中の要注意領域４４と交差重複している。エスカレータ監視システムは、この部分の撮影画像に乗客がいる場合は、乗客が危険領域４５に乗り出していると判断する。このような突き出た部分を設けたのは、この突き出た部分からみたエスカレータ１の外側に三角部ガード板５が設けられており、この部分に乗客が踏み段から乗り出すと三角部ガード板５に当該乗客が接触する危険性が高く、この乗り出した部分を危険領域４５として設定する必要があるためである。
【００３１】
次に、図１に示した構成のエスカレータ監視システムの動作について説明する。
図４は、本発明の実施形態におけるエスカレータ監視システムによる監視処理手順の一例を示すフローチャートである。なお、このフローチャートで示される処理は、画像処理装置２４に搭載された図示しないＣＰＵがＲＯＭ等のメモリに記憶された所定のプログラムを読み込むことにより実行される。
【００３２】
まず、画像処理装置２４の画像入力部３１は、ステレオカメラユニット２１のカメラ２２ａ，２２ｂにより得た撮影画像を入力する（ステップＳ１）。そして、特徴部分検出部３２は、撮影画像中の特徴部分を検出する（ステップＳ２）。監視領域設定部３３は、検出された特徴部分の情報をもとに当該特徴部分の３次元情報を取得する（ステップＳ３）。
【００３３】
特徴部分の検出の形態には、エスカレータの管理者などがエスカレータ１の監視領域に相当する位置に設置したマーカを撮影画像から特徴部分として検出する形態があり、また、マーカを設置せずに撮影画像中のエスカレータの手摺りベルトや乗降口などの既存の設置物を特徴部分として検出する形態もある。
【００３４】
この特徴部分の検出および３次元情報の取得の手順は、特徴部分の形態などにより複数種類が挙げられる。まず、特徴部分の検出および３次元情報の取得の第１の例について説明する。図５は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための特徴部分の検出例を示す図である。
図５に示した例では、画像入力部３１により１つのマーカが含まれる画像を入力し、特徴部分検出部３２は、ステレオカメラユニット２１のカメラ２２ａにより撮影した画像とカメラ２２ｂにより撮影した画像間のステレオマッチング処理により撮影画像内の前述した１つのマーカを特徴部分として検出する。ステレオマッチング処理とは、左右に配置された２台のカメラで撮影された２枚１組の画像を用いて、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により検出し、この対応関係を用いた三角測量により、各対応部分の３次元領域での位置を推測する処理である。
監視領域設定部３３は、この検出した特徴部分のそれぞれの３次元領域での位置をもとに、撮影画像における特徴部分の３次元情報を取得する。
【００３５】
次に、特徴部分の検出および３次元情報の取得の第２の例について説明する。図６は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための複数の特徴部分の検出例および３次元情報の取得例を示す図である。
図６に示した例は、１つの３次元監視領域に関わる複数の同一のマーカがエスカレータ設備に設置される例である。この例では、各マーカはＬＥＤなどの発光体であり、３次元監視領域の設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域での各マーカの識別番号と当該マーカの点滅順番との関係、及び各マーカの３次元領域での位置関係の情報が記憶される。ここでは、点滅順番は図６に示すＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの順である。
【００３６】
ここでは、前述した点滅順番にしたがって各マーカのうち１つを点滅させ、画像入力部３１により、各マーカが含まれる画像を当該マーカの点滅順番が区別可能な所定時間間隔で連続して入力し、特徴部分検出部３２は、カメラ２２ａ，２２ｂによる撮影画像を複数の撮影タイミングで取得し、この取得結果をもとに、左右の撮影画像で点滅する部分を特徴部分として検出する。
【００３７】
監視領域設定部３３は、撮影画像におけるそれぞれの特徴部分の位置関係と前述したデータベースに記憶される各マーカの３次元監視領域での位置関係の情報とを照合することで、撮影画像内の各マーカの３次元領域での位置を特定することで撮影画像における特徴部分の３次元情報を取得する。この例では、特徴部分は６つであり、設定される３次元監視領域は５面体の領域となる。
【００３８】
また、３次元監視領域設定の別の例として、監視領域設定部３３は、図６に示す６つの特徴部分のＡ−Ｂ間、Ｂ−Ｃ間、Ｃ−Ｄ間、Ａ−Ｄ間、Ｃ−Ｆ間、Ｄ−Ｅ間、Ｅ−Ｆ間、Ａ−Ｅ間、Ｂ−Ｆ間をそれぞれ連接し、この連接した線を周縁部として特定される領域以内を３次元監視領域として設定してもよい。
【００３９】
次に、特徴部分の検出および３次元情報の取得の第３の例について説明する。図７は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための色や形状や模様が異なる複数の特徴部分の例を示す図である。
図７に示した例では、１つの３次元監視領域に関わる複数のマーカがエスカレータ設備に設置され、各マーカの色や形状や模様が異なる。この例では、３次元監視領域設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域における各マーカの識別番号と当該マーカの色や形状や模様との対応関係が記憶される。
【００４０】
ここでは、各マーカが含まれる画像を画像入力部３１により入力し、特徴部分検出部３２は、この画像中の色や形状や模様と、前述したデータベースに記憶される各マーカの色や形状や模様とを照合することで、左右の撮影画像の同じ色や形状や模様の点、例えば図６中の同じ矢印や同じ丸印を特定し、この部分を特徴部分として検出する。
【００４１】
監視領域設定部３３は、この検出した特徴部分の撮影画像内の各マーカの３次元領域における位置関係を検出し、この位置関係をもとにした三角測量により撮影画像における特徴部分の３次元情報を取得する。この例では、特徴部分は６つである。
【００４２】
次に、特徴部分の検出および３次元情報の取得の第４の例について説明する。図８は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための発光周期が異なる複数の特徴部分の例を示す図である。図９は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための発光周期が異なる複数の特徴部分の発光周期の一例を示すタイミングチャートである。
図８に示した例では、ＬＥＤなどの複数の発光体をエスカレータ設備に設置し、３次元監視領域設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域での各マーカの識別番号と当該マーカの点滅周期の対応関係、及び各マーカの３次元領域での位置関係の情報が記憶される。ここでは、点滅周期は図９に示すように、各マーカにより異なった周期となり、図８に示したＤ点に設置されたマーカが４回発光する間に、Ｃ点に設置されたマーカが３回発光し、Ｂ点に設置されたマーカが２回発光し、Ａ点に設置されたマーカが１回発光する。
【００４３】
ここでは、前述したデータベースで定めた点滅周期にしたがって各マーカを点滅させ、画像入力部３１により、各マーカの点滅周期が区別可能な所定時間間隔で連続して入力し、特徴部分検出部３２は、複数の撮影タイミングのそれぞれにおいて、カメラ２２ａ，２２ｂによる撮影画像を取得し、この取得結果をもとに、左右の撮影画像で点滅する部分を特徴部分として検出する。
【００４４】
監視領域設定部３３は、撮影画像におけるそれぞれの特徴部分の位置関係と前述したデータベースに記憶される各マーカの３次元監視領域での位置関係の情報とを照合することで、撮影画像内の各マーカの３次元領域での位置を特定することで撮影画像における特徴部分の３次元情報を取得する。
【００４５】
次に、特徴部分の検出および３次元情報の取得の第５の例について説明する。この例では、エスカレータ設備に前述したマーカを設置する代わりに、３次元監視領域の設定を要する場合において、作業員が所持するレーザポインタの光を、エスカレータ設備における監視領域のそれぞれの頂点に照射し、この照射部分が特徴部分として検出されるようにしている。これらの頂点のそれぞれにおいて照射模様は異なる。この例では、３次元監視領域設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域における各特徴部分の識別番号と当該特徴部分の照射模様との対応関係が記憶される。
【００４６】
ここでは、画像入力部３１により撮影画像を入力し、特徴部分検出部３２は、この画像中のレーザポインタの照射模様と、前述したデータベースに記憶される模様の情報とを照合することで、左右の撮影画像の同じ照射模様の点を特定し、この点を特徴部分として検出する。
【００４７】
監視領域設定部３３は、この検出した特徴部分の撮影画像内の各マーカの座標値を検出し、これら検出した座標値の位置関係をもとにした三角測量により撮影画像における特徴部分の３次元情報を取得する。
【００４８】
次に、特徴部分の検出および３次元情報の取得の第６の例について説明する。この例では、前述したマーカをエスカレータ設備に設置する代わりに、３次元監視領域の設定を要する場合において、作業員が所持するレーザポインタの光を、エスカレータ設備における監視領域のそれぞれの頂点に照射し、この照射部分が特徴部分として検出されるようにしている。これらの頂点のそれぞれにおいて照射周期は異なる。この例では、３次元監視領域設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域における各特徴部分の識別番号と当該特徴部分の照射周期との対応関係が記憶される。
【００４９】
ここでは、データベースで定めた点滅周期にしたがって前述した各頂点にレーザポインタの光を照射し、画像入力部３１により、撮影画像を前述したエレベータ設備における各頂点へのレーザポインタの照射周期が区別可能な所定時間間隔で連続して入力し、特徴部分検出部３２は、カメラ２２ａ，２２ｂによる撮影画像をもとに、撮影画像中の同じ点滅周期の照射部分を特徴部分として検出する。
【００５０】
監視領域設定部３３は、この検出した特徴部分の撮影画像内の各マーカの座標値を検出し、これら検出した座標値の位置関係をもとにした三角測量により撮影画像における特徴部分の３次元情報を取得する。
【００５１】
前述した特徴部分の形状は、図５に示したような円状マーカでもよく、前述したレーザポインタの照射光のような点状でもよく、図７に示したような各種図形を模した２次元マーカでもよく、立方体や球といった３次元マーカでもよい。また、表面に色や模様や文字を付したマーカを用いてもよく、反射材といった撮影画像内の他の部分と区別可能な材料を用いてもよい。また、手摺りベルトにおける所定の間隔毎にＬＥＤなどの発光体を設置して特徴部分として検出されるようにしてもよい。
【００５２】
エスカレータ設備における特徴部分の場所としては、エスカレータ設備の周辺の看板、標示板、照明、手摺りベルト、三角部ガード板および交差部などが挙げられる。また、手摺りベルトを３次元監視領域の周縁部とする場合は、この手摺りベルトに色を付して、この色を付した部分が特徴部分として検出されるようにしてもよい。
【００５３】
例えば青い２本の手摺りベルトを特徴部分として検出する場合、特徴部分検出部３２は、左右の撮影画像から青い領域を検出し、その領域の境界に対して、RANSAC（Randam Sample Consensus）手法により、手摺りベルトの内側線、つまり画像中心に近い線と、外側線、つまり画像中心から離れた線とをフィッティングする。特徴部分検出部３２は、２本の手摺りベルトについて、２本の内側線と２本の外側線とを検出する。この検出した２本の内側線の範囲内の踏み段を撮影画像からさらに検出できれば、手摺りベルトの特徴部分を正確に検出できた事になる。
【００５４】
また、エスカレータ設備における、エスカレータの運転に伴って撮影画像での位置が変化する特徴部分としては、手摺りベルトや三角部ガード板などに貼りつけたり塗布したりするマーカや、手摺りベルトや三角部ガード板などに固定する立方体や球などのマーカが挙げられる。
【００５５】
また、エスカレータの運転に伴って撮影画像内の位置が変化する特徴部分としては、エスカレータの手摺りベルトに設置するマーカ、踏み段に設置するマーカ、踏み段上の黄色注意線などが挙げられる。
【００５６】
エスカレータの運行に伴う可動部分にマーカを設置する場合、エスカレータを運行させて、点状のマーカをステレオカメラユニット２１により連続して撮影することで線状の特徴部分として検出するようにしてもよく、エスカレータを運行させて、線状のマーカをステレオカメラユニット２１により連続して撮影することで面状の特徴部分として検出するようにしてもよい。
【００５７】
また、特徴部分検出部３２は、前述したマーカやレーザポインタを特徴部分として検出する代わりに、撮影映像における人の動作から特徴部分を検出することもできる。例えば、特徴部分検出部３２は、画像入力部３１からの作業員の顔情報や動作を自動的に認識し、この認識結果が、登り口や降り口での乗降動作を示すと認識した場合に、撮影された作業員がいる箇所を登り口や降り口として検出する。
【００５８】
また、別の例としては、踏み段からみた手摺りベルトの外側Ｍ（ｃｍ）の箇所に作業員の片方の手の指先を置き、踏み段からみた手摺りベルトの外側Ｎ（ｃｍ）の箇所に作業員のもう片方の手の指先を置いた上でエスカレータを運転させ、特徴部分検出部３２は、撮影画像中の２つの箇所を検出し、監視領域設定部３３は、この検出した箇所をもとに、撮影画像における乗り出し検知のための３次元監視領域を設定することが挙げられる。
さらに別の例としては、作業員が球状のマーカを手摺りベルトなどに載せた上で、エスカレータを運転させ、特徴部分検出部３２が、撮影画像中の前述した球状のマーカを載せた箇所を検出し、監視領域設定部３３は、この検出した箇所をもとに、撮影画像における特徴部分の３次元情報を取得することが挙げられる。
【００５９】
また、画像処理装置２４がステレオカメラユニット２１による撮影画像を表示装置２７に出力した状態で、現場作業員がこの画面を見ながら、設定したい３次元監視領域の特徴部分をマウスなどの入力装置により指定することで、監視領域設定部３３は、この検出した箇所をもとに、撮影画像における特徴部分の３次元情報を取得することもできる。
例えば１６個のマーカをエスカレータ設備に設置しておき、現場作業員が、これらのマーカを含む撮影画像を参照しながら、設定したい第１の３次元監視領域の８つのマーカの設置部分をマウスなどの入力装置により特徴部分として指定することで、監視領域設定部３３は、この指定された箇所をもとに、撮影画像における第１の３次元監視領域を設定する。さらに、現場作業員が撮影画像を参照しながら、設定したい第２の３次元監視領域の８つの特徴部分を入力装置により指定することで、監視領域設定部３３は、この指定された箇所をもとに、撮影画像における第２の３次元監視領域を設定する。
【００６０】
また、マーカを設置せずとも、現場作業員が、エスカレータ設備の撮影画像を参照しながら、エスカレータ乗降台、手摺りベルト、三角部ガード板、デッキボードなどを設定したい３次元監視領域の特徴部分として入力装置により指定することで、監視領域設定部３３は、この指定された箇所をもとに、撮影画像における特徴部分の３次元情報を取得することができる。
【００６１】
以下、３次元の監視領域の設定に必要な特徴部分の数を必要最小限にする手法について説明する。
図１０は、本発明の実施形態におけるエスカレータ監視システムによる１つの平行６面体の３次元監視領域の設定のために検出する必要最小限の特徴部分の一例を示す図である。
平行６面体の３次元監視領域を設定する場合、この平行６面体の８つの頂点の全てを特徴部分として検出せずとも、４つ以上の点状の特徴部分を検出し、各部分の間を補間する計算を行なうことで、平行６面体の監視領域を設定することができる。これらの特徴部分の条件として、設定対象の平行６面体の幅、高さ、奥行きが示されているものとする。
【００６２】
図１０に示した例では、設定対象の平行６面体の監視領域の頂点には、頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈがある。
頂点Ａは、平行６面体の第１の面５１の第１の長辺の一端部にあり、頂点Ｂは当該長辺の他端部にある。この第１の長辺の一端部は同じ面の第１の短辺の一端部であり、当該短辺の他端部に頂点Ｄがある。また、第１の面５１の残りの頂点は頂点Ｈである。
また、第１の面５１に平行な第２の面５２における、第１の面５１の頂点Ａから第２の面５２への垂線との交差部分に頂点Ｃがある。また、第２の面５２における、第１の面５１の頂点Ｂから第２の面５２への垂線との交差部分に頂点Ｆがある。また、第２の面５２における、第１の面５１の頂点Ｄから第２の面５２への垂線との交差部分に頂点Ｅがある。第２の面５２における、第１の面５１の頂点Ｈから第２の面５２への垂線との交差部分に頂点Ｇがある。
【００６３】
ここでは、特徴部分検出部３２により撮影画像内の頂点Ａ，Ｂ，Ｃ，Ｄのみ、つまり図１０に示した二重丸の部分を特徴部分として検出し、監視領域設定部３３は、頂点Ａ，Ｂを結ぶ直線と平行で且つ頂点Ｃを通る直線Ｌ１を計算し、頂点Ａ，Ｃを結ぶ直線と平行で且つ頂点Ｂを通る直線Ｌ２を計算し、直線Ｌ１，Ｌ２の交差する点を頂点Ｆとして計算する。
【００６４】
また、監視領域設定部３３は、直線ＡＤと平行でかつ頂点Ｃを通る直線Ｌ３を計算し、直線ＡＣと平行で且つ頂点Ｄを通る直線Ｌ４を計算し、直線Ｌ３，Ｌ４の交差する点を頂点Ｅとして計算する。
また、監視領域設定部３３は、頂点Ｃ，Ｆを結ぶ直線Ｌ１と平行でかつ頂点Ｅを通る直線Ｌ５を計算し、頂点Ｃ，Ｅを結ぶ直線Ｌ３と平行で且つ頂点Ｆを通る直線Ｌ６を計算し。直線Ｌ５，Ｌ６の交差する点を頂点Ｇとして計算する。
また、監視領域設定部３３は、頂点Ｆ，Ｇを結ぶ直線Ｌ６と平行でかつ頂点Ｂを通る直線Ｌ７を計算し、頂点Ｂ，Ｆを結ぶ直線Ｌ２と平行で且つ頂点Ｇを通る直線Ｌ８を計算し。直線Ｌ７，Ｌ８の交差する点を頂点Ｈとして計算する。
【００６５】
このように、平行６面体の８つの頂点のうち４つが撮影画像から検出できれば、残りの４つの頂点を計算することができ、１つの平行６面体の３次元監視領域を設定することができるので、マーカなどの特徴部位の予め設ける数を少なくすることができ、作業員の負担を減らすことができる。
【００６６】
また、平行６面体の８つの頂点のうち８つ未満で４つを越える頂点にマーカを設置し、この頂点を撮影画像から検出して、残りの頂点を計算してもよい。このように必要最低限の数より多くの頂点にマーカを設置することができる場合は、検出結果をもとにした補間計算によりマーカの設置位置を補正することができる。例えば、エレベータ設備における図１０に示した頂点Ａ，Ｂ，Ｃ，Ｄ及び頂点Ｆの５つに該当する部分にマーカを設置し、撮影画像内のこれらのマーカの設置位置をもとに設定対象の３次元監視領域の残りの頂点を計算する場合、監視領域設定部３３により、撮影画像内の頂点Ａ，Ｂ，Ｃ，Ｄの検出結果を用いて前述した５つの頂点の残りである頂点Ｆを計算し、この計算した頂点Ｆを撮影画像に表示し、撮影画像内の計算済みの頂点Ｆの画像の表示位置と当該頂点Ｆについて設置したマーカの位置とが一致していれば、各マーカの設置位置は正しい事になる。
【００６７】
一方、撮影画像内の計算済みの頂点Ｆの画像の表示位置と当該頂点Ｆについて設置したマーカの位置とが一致しない場合、つまり、頂点Ｆの本来の位置と計算結果とにズレが発生している場合は、エスカレータ設備における当該マーカの設置位置を作業員が補正した上で、撮影画像内の各マーカの検出結果をもとに設定対象の３次元監視領域の残りの頂点を計算する事で精確な３次元監視領域を設定することができる。
【００６８】
図１１は、本発明の実施形態におけるエスカレータ監視システムによる２つの平行６面体の３次元監視領域の設定のために検出する必要最小数の特徴部分の一例を示す図である。
エスカレータからの乗客の乗り出しを検知する場合、３次元の監視領域として、正常領域と乗り出し領域の二つが必要である。この場合、例えば図１１に示すように、２つの平行６面体の３次元監視領域を設定する事になる。図１１に示した例では、第１の平行６面体の一面が第２の平行六面体の一面をなし、２つの平行６面体が連接している。この場合、これらの平行６面体の全ての頂点である１２の頂点のうち、５つ以上の頂点が検出できれば残りの頂点の位置を推定することができ、２つの３次元監視領域を設定することができる。
【００６９】
図１１に示した例では、設定対象の２つの平行６面体の監視領域の頂点の数は、頂点ＡＢ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌまでの１２である。
頂点Ａは、第１の平行６面体の第１の面６１の第１の長辺の一端部にあり、頂点Ｋは当該長辺の他端部にある。第１の面６１の長辺の一端部は同じ面の第１の短辺の一端部であり、頂点Ｌは当該短辺の他端部にある。また、第１の面６１の残りの１つの頂点は頂点Ｊである。
また、第１の面６１に平行な第２の面６２における、第１の面６１の頂点Ａから第２の面６２への垂線との交差部分に頂点Ｂがある。第２の面６２における、第１の面６１の頂点Ｋから第２の面６２への垂線との交差部分に頂点Ｅがある。第２の面６２における、第１の面６１の頂点Ｌから第２の面６２への垂線との交差部分に頂点Ｄがある。第２の面６２における、第１の面６１の頂点Ｊから第２の面６２への垂線との交差部分に頂点Ｉがある。
【００７０】
この例では、第１の平行６面体の第２の面６２が、第２の平行６面体の第１の面をなしており、この第１の面に平行な第２の面６３における、頂点Ｂから第２の面６３への垂線との交差部分に頂点Ｃがある。また、頂点Ｅから第２の面６３への垂線との交差部分に頂点Ｆがある。頂点Ｄから第２の面６３への垂線との交差部分に頂点Ｇがある。また、頂点Ｉから第２の面６３への垂線との交差部分に頂点Ｈがある。
【００７１】
この場合、第１の平行６面体の第１の面６１の１つの頂点、第１の平行６面体の第２の面６２の３つの頂点、第２の平行６面体の第２の面６３の１つの頂点、例えば頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅを検出し、これらの頂点で２つの平行６面体の幅、高さ、奥行きが示されていれば、残りの頂点の位置を計算することができる。
【００７２】
また、図１１に示した例における２つの平行６面体の監視領域の設定の別の例として、前述したように頂点を検出する代わりに、例えば図１１中の直線ＡＣ、直線ＢＥ、および直線ＢＤのように、２つの平行６面体の３つ以上の直線を撮影画像から検出し、これらの直線で２つの平行６面体の幅、高さ、奥行きが示されていれば、残りの直線の位置を計算でき、２つの３次元監視領域を設定することができる。
【００７３】
また、２つの平行６面体の直線のうち３つを越える直線を検出して、残りの直線を計算してもよい。このように多くの直線にマーカを設置することができる場合は、検出結果をもとにした補間計算によりマーカの設置位置を補正することができる。
【００７４】
また、図１１に示した例における２つの平行６面体の監視領域の設定の別の例として、前述したように頂点や直線を検出する代わりに、例えば頂点Ａ，Ｃ，Ｄを通る平面、頂点Ｂ，Ｄ，Ｅを通る平面のように、２つの平行６面体の２つ以上の平面を撮影画像から検出し、これらの平面で２つの平行６面体の幅、高さ、奥行きが示されていれば、残りの平面の位置を計算でき、２つの３次元監視領域を設定することができる。
また、２つの平行６面体の直線のうち２つを越える平面を検出して、残りの平面を計算してもよい。このように多くの平面にマーカを設置することができる場合は、検出結果をもとにした補間計算によりマーカの設置位置を補正することができる。
【００７５】
図１２は、本発明の実施形態におけるエスカレータ監視システムによる曲面体の３次元監視領域および当該領域の設定のために検出する特徴部分の一例を示す図である。
設定対象の３次元の監視領域として、図１２に示すような円球体１５の監視領域が挙げられる。例えば乗客が三角部ガード板への接触事故を防止するため、図１２に示すように、三角部ガード板の下端を曲面体の円心とし、所定の半径の円球以内の領域を監視領域、ここでは危険領域として設定対象とする場合には、マーカを設置するなどして、前述した円心と半径とを特定できる部分が撮影画像から検出できれば円球体の監視領域を設定できる。
【００７６】
また、円柱体や円錐体領域などの３次元監視領域の設定も可能である。マーカを設置するなどして、円柱上面もしくは下面の円心と半径とを特定できる部分と円柱の高さを特定できる一つの特徴部分が撮影画像から検出できれば、円柱体やや円錐体の監視領域を設定できる。
【００７７】
以上のように、特徴部分の３次元情報の取得が終了すると、制御装置２５は、この３次元情報で示される３次元監視領域を撮影画像に再投影し、この投影結果を表示装置２７に表示する（ステップＳ４）。
【００７８】
作業者は、この表示結果を参照することで、撮影画像内の３次元監視領域を確認できる。３次元監視領域が撮影画像に正しく投影されていることを作業者が確認し、入力装置により画面上の監視領域のそれぞれについて、監視領域の種別が前述した正常領域、安全領域、要注意領域、危険領域のいずれであるかを設定するための入力操作を行なうと、各監視領域の種別の情報が記憶装置３７に記憶される（ステップＳ５→Ｓ６）。
【００７９】
監視領域の種別が確定して、エスカレータ１の通常運転の開始後、乗客検知部３４は、ステレオカメラユニット２１からの撮影画像を解析して、エスカレータ１を利用する乗客６の位置を検知する（ステップＳ７）。
【００８０】
挙動検知部３５は、時系列に得られる各撮影画像間で同一の乗客を追跡することで、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域、およびエスカレータ１の運行情報に基づいて、乗客検知部３４によって検知された乗客６の挙動である乗り出しの有無を検知する（ステップＳ８）。
【００８１】
挙動検知部３５は、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域内の正常領域、安全領域、もしくは要注意領域から危険領域に乗客が乗り出している事を検知した場合には、警告部３６は、制御装置２５に対して警告信号を出力する。
【００８２】
すると制御装置２５は、スピーカ２６からの音声出力、あるいは表示装置２７からのメッセージ表示による警告処理を行ない、駆動装置２８によりエスカレータ１の運転を停止させる（ステップＳ９→Ｓ１０）。前述した音声やメッセージは、例えば「危険ですから、身を乗り出さないで下さい」となる。
【００８３】
また、挙動検知部３５は、警告処理後に、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域内の危険領域から正常領域、安全領域、もしくは要注意領域に乗客が戻った事を検知した場合には、通知信号を制御装置２５に出力する。すると、制御装置２５は、スピーカ２６あるいは表示装置２７による警告処理を終了し、駆動装置２８によりエスカレータ１の運転を再開する。
【００８４】
ステップＳ９の処理で「ＮＯ」となった場合で、挙動検知部３５は、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域内の要注意領域に乗り出している事を検知した場合には、警告部３６は、制御装置２５に対して要注意警告信号を出力する。
すると制御装置２５は、スピーカ２６からの音声出力、あるいは表示装置２７からのメッセージ表示による警告処理を行ない、駆動装置２８によりエスカレータ１の運転速度を一時的に低下させる（ステップＳ１１→Ｓ１０）。前述した音声やメッセージは、例えば「乗り出さないように注意して下さい。」となる。
【００８５】
また、挙動検知部３５は、警告処理後に、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域内の要注意領域から正常領域もしくは安全領域に乗客が移動した事を検知した場合には、通知信号を制御装置２５に出力する。すると、制御装置２５は、スピーカ２６あるいは表示装置２７による警告処理を終了し、駆動装置２８によりエスカレータ１の運転速度を通常速度に戻す。
【００８６】
以上のように、本発明の実施形態におけるエスカレータ監視システムでは、エスカレータ設備の撮影画像を入力し、この画像内における設定対象の３次元の監視領域を特定するための特徴部分を当該画像から検出し、この検出結果をもとに、３次元の監視領域を設定し、この監視領域に乗客がいる場合に、乗客への警告を行なう。よって、マンコンベアの乗客の監視領域を精度よく設定することができる。
【００８７】
また、本実施形態では、設定した３次元の監視領域を危険領域や要注意領域といった複数種類の領域に区分するので、乗客の危険度に応じた警告処理を行なうことができる。
また、本実施形態では、従来のような比率計算を行わないため、撮影対象の位置がカメラから遠い場所であっても、撮影画像から３次元の監視領域のマーカなどの特徴部分が検出できれば、当該監視領域の設定にかかる精度が確保できる。また、本実施形態では、撮影画像内の特徴部分をもとに３次元の監視領域を設定できるため、カメラのパラメータの精度に関係なく、低いコストで監視領域を正しく設定できる。
【００８８】
なお、上記実施形態では、２台のカメラ２２ａ，２２ｂを用いてエスカレータ１を監視する構成としたが、３台以上のカメラを用いてエスカレータ１を監視することでも良い。ただし、カメラ台数を増やすと、その分、設置設備が大かがりとなってコスト高となり、さらに、画像処理にも時間を要するため、上記実施形態のように２台のカメラ２２ａ，２２ｂにて監視することが好ましい。
【００８９】
また、上記実施形態では、図１に示すように画像処理装置２４と制御装置２５を分けて構成したが、画像処理装置２４の持つ機能を制御装置２５に搭載することで、制御装置２５だけで構成することも可能である。
【００９０】
また、上記実施形態では、３次元の監視領域を特定するための特徴部分としてカの設置部分や、レーザポインタによる照射部分、エスカレータ設備の各種構造物といった、実空間で可視可能な部分について説明したが、これに限らず、音、電波もしくは電磁波の発生源の点状、線状もしくは面状の部分、つまり実空間で可視可能でない部分であってもよい。この場合、マイクロフォンや電波検出装置、電磁波検出装置で音、電波もしくは電磁波を検出し、発生源の箇所が撮影画像内のいずれにあるかを特定すれば、３次元の監視領域を設定することができる。
【００９１】
なお、この発明は前記実施形態そのままに限定されるものではなく実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００９２】
１…エスカレータ、２…踏み段、３…欄干パネル、４…手摺りベルト、５…三角部ガード板、６…乗客、７…マーカ、１１…撮影範囲、１２…第１の３次元監視領域、１３…第２の３次元監視領域、１４…第３の３次元監視領域、２１…ステレオカメラユニット、２２ａ，１２ｂ…カメラ、２３…伝送ケーブル、２４…画像処理装置、２５…制御装置、２６…スピーカ、２７…表示装置、２８…駆動装置、３１…画像入力部、３２…特徴部分検出部、３３…３次元監視領域設定部、３４…乗客検知部、３５…挙動検知部、３６…警告部、３７…記憶装置、４１…対象物位置、４２…正常領域、４３…安全領域、４４…要注意領域、４５…危険領域。
【技術分野】
【０００１】
本発明は、エスカレータを利用する乗客の挙動を監視するためのマンコンベア画像処理装置に関する。
【背景技術】
【０００２】
ビルや駅構内などに設置されているエスカレータ（マンコンベアとも呼ばれる）は、通常は監視員のいない場所で自動運転されることが多い。このため、乗客が手摺りベルトから外側に身を乗り出すなどして危険な状態にあっても見過ごされてしまう可能性がある。また、乗客がエスカレータで転倒した場合などでも、その連絡が監視員に伝わるまでに時間がかかり、対応に遅れが生じるといった問題がある。このような問題から、乗客の安全を確保するため、エスカレータの監視システムの乗り出し監視性能に対する要求が高まっている。
【０００３】
従来、このような問題を解決するために、エスカレータの監視システムにおいて、乗り出し監視範囲を設定する方法が提案されている。例えば特許文献１及び特許文献２に開示されるように、エスカレータ監視カメラ画像から手摺りベルトや踏み段斜面を自動的に検出し、この検出部分を基準面として、踏み段走行領域の下辺の実際位置における画像間の縮小率を計算し、この縮小率から乗り出し領域の設定値の幅を求めることで、正常乗車領域と乗り出し領域の２つを監視領域として設定して乗客の乗り出し検知を行なうものがある。
【０００４】
また、特許文献３に開示されるように、エスカレータ監視カメラ画像上の座標系と実空間の水平および奥行き方向の座標系とを対応づけ、エスカレータ監視カメラの向きと高さを求め、このエスカレータ監視カメラの向きと高さの情報を用いて監視領域を画像上に自動設定するものがある。この技術では、エスカレータ監視カメラのレンズの焦点距離を既知とし、エスカレータ監視カメラの俯角と高さを微調整し、俯角と高さの全ての組み合わせについて評価値を計算し、この評価値が最小となる俯角と高さをエスカレータ監視カメラに係る最適なパラメータとして計算する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３２２２４７号公報
【特許文献２】特開２０００−２７２８６３号公報
【特許文献３】特開２０００−１３７７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した特許文献１や特許文献２に開示されるような手法では、踏み段走行領域の下辺の実際位置における画像間の縮小率に従って画像座標を計算する必要があるため、エスカレータ監視カメラの撮影画像の歪みにより領域設定精度が大きく低下する問題がある。また、この縮小率を用いる場合、監視カメラから見て手前の箇所で領域設定精度が良い場合でも、監視カメラから遠くなるほど領域設定精度が悪くなる問題がある。また、特許文献１や特許文献２に開示されるような手法では、単一種類の監視領域を設定するものであり、三角ガード板や建物の三角部などの、乗客の乗り出しによる危険度の高い場所に特化した監視領域を設定できない問題がある。
【０００７】
また、前述した特許文献３に開示されるような手法では、エスカレータ監視カメラの俯角と高さの全ての組み合わせについて評価値を計算するので、計算コストが膨大になる問題がある。また、正確なカメラ焦点距離を設定することは非常に困難であり、この焦点距離の実際の値に対する設定値のずれによる他、エスカレータ監視カメラに係るパラメータに大きいずれが発生して、画像上に監視領域を正しく設定できない場合がある。
【０００８】
そこで、本発明の目的は、エスカレータの乗客の３次元の監視領域を精度よく設定することが可能になるマンコンベア画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
すなわち、本発明に係わるマンコンベア画像処理装置は、監視対象のエスカレータを撮影する複数台のカメラと、前記エスカレータの撮影画像における乗客の３次元監視領域の設定のための特徴部分を検出する検出手段と、前記撮影画像における前記検出した特徴部分の３次元領域での位置を計算することで、当該撮影画像における３次元監視領域を設定する監視領域設定手段と、前記カメラによる前記３次元監視領域内の撮影画像をもとに前記乗客の挙動を監視する監視手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、マンコンベアの乗客の３次元の監視領域を精度よく設定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態におけるエスカレータ監視システムの構成例を示す図。
【図２】本発明の実施形態におけるエスカレータ監視システムのエスカレータ監視装置の機能構成例を示すブロック図。
【図３】本発明の実施形態におけるエスカレータ監視システムの各種監視領域の例を示す鳥瞰図。
【図４】本発明の実施形態におけるエスカレータ監視システムによる監視処理手順の一例を示すフローチャート。
【図５】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための特徴部分の検出例を示す図。
【図６】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための複数の特徴部分の検出例および３次元情報の取得例を示す図。
【図７】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための色や形状や模様が異なる複数の特徴部分の例を示す図。
【図８】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための発光周期が異なる複数の特徴部分の例を示す図。
【図９】本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための発光周期が異なる複数の特徴部分の発光周期の一例を示すタイミングチャート。
【図１０】本発明の実施形態におけるエスカレータ監視システムによる１つの平行６面体の３次元監視領域の設定のために検出する必要最小限の特徴部分の一例を示す図。
【図１１】本発明の実施形態におけるエスカレータ監視システムによる２つの平行６面体の３次元監視領域の設定のために検出する必要最小数の特徴部分の一例を示す図。
【図１２】本発明の実施形態におけるエスカレータ監視システムによる曲面体の３次元監視領域および当該領域の設定のために検出する特徴部分の一例を示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。
本実施形態では、エスカレータの撮影画像における３次元の監視領域を設定し、この監視領域の撮影画像に写る乗客の乗り出し検知を自動的に行なうエスカレータ監視システムについて説明する。なお、本実施形態においてはエスカレータの監視を例にとって説明するが、本発明は動く歩道などのその他のマンコンベアの監視にも適用することができる。
【００１３】
図１は、本発明の実施形態におけるエスカレータ監視システムの構成例を示す図である。
図１に示すように、監視対象のエスカレータ１は、複数の踏み段２と、これらの踏み段２の両側に設置された一対の欄干パネル３とを備える。各踏み段２は、例えばアルミダイガストから形成された階段状の乗り台であり、図示せぬトラスによって所定の傾斜角度を有して支持された状態で乗降口間を循環走行する。
【００１４】
また、上記一対の欄干パネル３は、例えば透明のガラスやアクリルなどによって形成され、その欄干パネル３の周縁部には、ゴムなどで周りが覆われた手摺りベルト４が巻き付けられている。この手摺りベルト４は、上記各踏み段２と同期して移動する。
【００１５】
さらに、エスカレータ１と交差する天井等の下端部には、三角部ガード板５が取り付けられている。この三角部ガード板５は、乗客６が手摺りベルト４から乗り出した場合に天井との隙間に挟まれる事故を防止するために設置される。
【００１６】
ここで、監視用のカメラとして、ステレオカメラユニット２１がエスカレータ１全体を監視できる場所（例えばエスカレータ１の近傍の天井面）に設置されている。このステレオカメラユニット２１には、２台のカメラ２２ａ，２２ｂが所定の間隔を有して配置されており、これらのカメラ２２ａ，２２ｂで撮影された各画像を伝送ケーブル２３を介して画像処理装置２４に順次転送するように構成されている。以下、ステレオカメラユニット２１では静止画画像を得るものとして説明するが、動画像を得るものであってもよい。
【００１７】
画像処理装置２４は、本システムの主要構成部である。この画像処理装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた一般的なＰＣ（パーソナルコンピュータ）あるいは画像処理ボードなどで構成される。この画像処理装置２４は、上記カメラ２２ａ，２２ｂによって撮影された各画像を３次元で解析処理することにより、エスカレータ１を利用する乗客６の位置を撮影範囲の奥行き方向を含めて検知すると共に、その乗客６の挙動などを検知する機能を備える。
【００１８】
本実施形態では、ステレオカメラユニット２１による撮影領域１１内において３次元監視領域を設定し、この監視領域における乗客の挙動を検出する。
図１に示した例では、エスカレータ１は上りエスカレータであり、３種類の監視領域が示されている。第１の３次元監視領域１２は、エスカレータの乗降口の一対の欄干パネル１３間の幅を有し、下のフロアの乗り口から上のフロアの降り口までの奥行きを有し、踏み段２の底面から手摺りベルト４付近までの高さを有する。
第２の３次元監視領域１３は、エスカレータ１の踏み段２からみた外側における手摺りベルト４の長手方向に沿った領域であり、乗り口付近から降り口付近までの奥行きを有する。
第３の３次元監視領域１４は、三角部ガード板５の上端部から下端部までの高さを有し、エスカレータ１の外側の三角部ガード板５付近の所定の奥行きおよび幅を有する。３次元監視領域は、乗客が通常時もしくは乗り出し時にいる可能性のある箇所の領域であれば、図１に示した例に限られない。
また、図１に示した例では、各種の３次元監視領域を特定するための設置物であるマーカ７が監視領域ごとに設けられる。
【００１９】
制御装置２５は、エスカレータ１の運転制御を行なうものであり、画像処理装置２４とは別のＰＣからなる。この制御装置２５は、画像処理装置２４から出力される各種信号を受けてスピーカ２６や表示装置２７を制御したり、エスカレータ１の駆動装置２８を制御したりする。表示装置２７は、例えばエスカレータ１の交差部近辺に設置される。
【００２０】
スピーカ２６は、エスカレータ１の近くに設置されており、乗客６に対して何らかの警告を行なう場合に用いられる。表示装置２７は、エスカレータ設置建物の監視室等に設置されており、撮影画像のモニタ表示や、警告レベルの表示などを行なう。
【００２１】
図２は、本発明の実施形態におけるエスカレータ監視システムの画像処理装置の機能構成例を示すブロック図である。
図２に示すように、画像処理装置２４は、画像入力部３１、特徴部分検出部３２、監視領域設定部３３、乗客検知部３４、挙動検知部３５、警告部３６、不揮発性メモリなどの記憶媒体である記憶装置３７を有する。
【００２２】
画像入力部３１は、ステレオカメラユニット２１に設けられた２台のカメラ２２ａ，２２ｂにて連続撮影された各画像情報を入力する。なお、入力した各画像は、画像処理装置２４内の記憶装置３７に時間情報と共に記憶される。
【００２３】
特徴部分検出部３２は、画像入力部３１によって入力した画像から、監視領域の設定のための特徴部分を検出する。この特徴部分は、３次元監視領域の周縁部を特定するための当該領域の頂点、辺、または面である。
監視領域設定部３３は、画像入力部３１によって入力した各撮影画像中の、特徴部分検出部３２により検出した１つまたは複数の特徴部分をもとに撮影画像内の３次元監視領域を設定する。
【００２４】
乗客検知部３４は、ステレオカメラユニット２１からの撮影画像を解析して、エスカレータ１を利用する乗客６の位置を３次元監視領域の奥行き方向を含めて検知する。
挙動検知部３５は、エスカレータ１の運行情報に基づいて、乗客検知部３４によって検知された乗客６の挙動である乗り出しを検知する。上記運行情報には、エスカレータ１の運転方向、運転速度などの情報が含まれる。
警告部３６は、挙動検知部３５によって判断された乗客６の挙動に応じて、音声あるいは表示による警告処理を行なう。
【００２５】
図３は、本発明の実施形態におけるエスカレータ監視システムの各種監視領域の例を示す鳥瞰図である。
図３に示した監視領域の例は、図１に示した監視領域の例より詳細に設定した監視領域の例である。図３に示したように、本実施形態では、３次元監視領域の種別が危険領域、要注意領域、正常乗車領域、および安全領域に区分される。
【００２６】
図３に示した対象物位置４１は乗客の位置である。また、図３に示した正常領域４２、安全領域４３、要注意領域４４、危険領域４５は、設定した監視領域を当該領域にいる乗客の危険度ごとに区分した領域である。
【００２７】
正常領域４２は、踏み段２上に設定した３次元監視領域であり、安全領域４３は、乗降口の脇に設定した３次元監視領域であり、要注意領域４４は、踏み段２からみた外側における手摺りベルト４の長手方向に沿った３次元監視領域であり、乗り口付近から降り口付近までの奥行きを有する。
危険領域４５は、踏み段からみた要注意領域４４より外側における手摺りベルト４の長手方向に沿った３次元監視領域であり、乗り口付近から降り口付近までの奥行きを有する。
【００２８】
この場合、エスカレータ監視システムは、ステレオカメラユニット２１の撮影画像内の正常領域４２に乗客がいる場合は、乗客が踏み段上にいて利用状態が正常であると判断し、安全領域４３の撮影画像に乗客がいる場合は、乗客が乗降口にいて安全であると判断する。
【００２９】
また、このエスカレータ監視システムは、撮影画像の要注意領域４４に乗客がいる場合は、乗客が踏み段２から身体の一部を乗り出していて要注意状態にあると判断し、撮影画像の危険領域４５に乗客がいる場合は、乗客が踏み段２から身体の大部分を乗り出していて危険であると判断する。このように、このエスカレータ監視システムは、乗客の乗り出し行動を危険度別に監視することができる。
【００３０】
また、図３に示した例では、危険領域４５の一部は、踏み段２の外側から図中の乗客に向かって突き出ており、図中の要注意領域４４と交差重複している。エスカレータ監視システムは、この部分の撮影画像に乗客がいる場合は、乗客が危険領域４５に乗り出していると判断する。このような突き出た部分を設けたのは、この突き出た部分からみたエスカレータ１の外側に三角部ガード板５が設けられており、この部分に乗客が踏み段から乗り出すと三角部ガード板５に当該乗客が接触する危険性が高く、この乗り出した部分を危険領域４５として設定する必要があるためである。
【００３１】
次に、図１に示した構成のエスカレータ監視システムの動作について説明する。
図４は、本発明の実施形態におけるエスカレータ監視システムによる監視処理手順の一例を示すフローチャートである。なお、このフローチャートで示される処理は、画像処理装置２４に搭載された図示しないＣＰＵがＲＯＭ等のメモリに記憶された所定のプログラムを読み込むことにより実行される。
【００３２】
まず、画像処理装置２４の画像入力部３１は、ステレオカメラユニット２１のカメラ２２ａ，２２ｂにより得た撮影画像を入力する（ステップＳ１）。そして、特徴部分検出部３２は、撮影画像中の特徴部分を検出する（ステップＳ２）。監視領域設定部３３は、検出された特徴部分の情報をもとに当該特徴部分の３次元情報を取得する（ステップＳ３）。
【００３３】
特徴部分の検出の形態には、エスカレータの管理者などがエスカレータ１の監視領域に相当する位置に設置したマーカを撮影画像から特徴部分として検出する形態があり、また、マーカを設置せずに撮影画像中のエスカレータの手摺りベルトや乗降口などの既存の設置物を特徴部分として検出する形態もある。
【００３４】
この特徴部分の検出および３次元情報の取得の手順は、特徴部分の形態などにより複数種類が挙げられる。まず、特徴部分の検出および３次元情報の取得の第１の例について説明する。図５は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための特徴部分の検出例を示す図である。
図５に示した例では、画像入力部３１により１つのマーカが含まれる画像を入力し、特徴部分検出部３２は、ステレオカメラユニット２１のカメラ２２ａにより撮影した画像とカメラ２２ｂにより撮影した画像間のステレオマッチング処理により撮影画像内の前述した１つのマーカを特徴部分として検出する。ステレオマッチング処理とは、左右に配置された２台のカメラで撮影された２枚１組の画像を用いて、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により検出し、この対応関係を用いた三角測量により、各対応部分の３次元領域での位置を推測する処理である。
監視領域設定部３３は、この検出した特徴部分のそれぞれの３次元領域での位置をもとに、撮影画像における特徴部分の３次元情報を取得する。
【００３５】
次に、特徴部分の検出および３次元情報の取得の第２の例について説明する。図６は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための複数の特徴部分の検出例および３次元情報の取得例を示す図である。
図６に示した例は、１つの３次元監視領域に関わる複数の同一のマーカがエスカレータ設備に設置される例である。この例では、各マーカはＬＥＤなどの発光体であり、３次元監視領域の設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域での各マーカの識別番号と当該マーカの点滅順番との関係、及び各マーカの３次元領域での位置関係の情報が記憶される。ここでは、点滅順番は図６に示すＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの順である。
【００３６】
ここでは、前述した点滅順番にしたがって各マーカのうち１つを点滅させ、画像入力部３１により、各マーカが含まれる画像を当該マーカの点滅順番が区別可能な所定時間間隔で連続して入力し、特徴部分検出部３２は、カメラ２２ａ，２２ｂによる撮影画像を複数の撮影タイミングで取得し、この取得結果をもとに、左右の撮影画像で点滅する部分を特徴部分として検出する。
【００３７】
監視領域設定部３３は、撮影画像におけるそれぞれの特徴部分の位置関係と前述したデータベースに記憶される各マーカの３次元監視領域での位置関係の情報とを照合することで、撮影画像内の各マーカの３次元領域での位置を特定することで撮影画像における特徴部分の３次元情報を取得する。この例では、特徴部分は６つであり、設定される３次元監視領域は５面体の領域となる。
【００３８】
また、３次元監視領域設定の別の例として、監視領域設定部３３は、図６に示す６つの特徴部分のＡ−Ｂ間、Ｂ−Ｃ間、Ｃ−Ｄ間、Ａ−Ｄ間、Ｃ−Ｆ間、Ｄ−Ｅ間、Ｅ−Ｆ間、Ａ−Ｅ間、Ｂ−Ｆ間をそれぞれ連接し、この連接した線を周縁部として特定される領域以内を３次元監視領域として設定してもよい。
【００３９】
次に、特徴部分の検出および３次元情報の取得の第３の例について説明する。図７は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための色や形状や模様が異なる複数の特徴部分の例を示す図である。
図７に示した例では、１つの３次元監視領域に関わる複数のマーカがエスカレータ設備に設置され、各マーカの色や形状や模様が異なる。この例では、３次元監視領域設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域における各マーカの識別番号と当該マーカの色や形状や模様との対応関係が記憶される。
【００４０】
ここでは、各マーカが含まれる画像を画像入力部３１により入力し、特徴部分検出部３２は、この画像中の色や形状や模様と、前述したデータベースに記憶される各マーカの色や形状や模様とを照合することで、左右の撮影画像の同じ色や形状や模様の点、例えば図６中の同じ矢印や同じ丸印を特定し、この部分を特徴部分として検出する。
【００４１】
監視領域設定部３３は、この検出した特徴部分の撮影画像内の各マーカの３次元領域における位置関係を検出し、この位置関係をもとにした三角測量により撮影画像における特徴部分の３次元情報を取得する。この例では、特徴部分は６つである。
【００４２】
次に、特徴部分の検出および３次元情報の取得の第４の例について説明する。図８は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための発光周期が異なる複数の特徴部分の例を示す図である。図９は、本発明の実施形態におけるエスカレータ監視システムによる３次元監視領域の設定のための発光周期が異なる複数の特徴部分の発光周期の一例を示すタイミングチャートである。
図８に示した例では、ＬＥＤなどの複数の発光体をエスカレータ設備に設置し、３次元監視領域設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域での各マーカの識別番号と当該マーカの点滅周期の対応関係、及び各マーカの３次元領域での位置関係の情報が記憶される。ここでは、点滅周期は図９に示すように、各マーカにより異なった周期となり、図８に示したＤ点に設置されたマーカが４回発光する間に、Ｃ点に設置されたマーカが３回発光し、Ｂ点に設置されたマーカが２回発光し、Ａ点に設置されたマーカが１回発光する。
【００４３】
ここでは、前述したデータベースで定めた点滅周期にしたがって各マーカを点滅させ、画像入力部３１により、各マーカの点滅周期が区別可能な所定時間間隔で連続して入力し、特徴部分検出部３２は、複数の撮影タイミングのそれぞれにおいて、カメラ２２ａ，２２ｂによる撮影画像を取得し、この取得結果をもとに、左右の撮影画像で点滅する部分を特徴部分として検出する。
【００４４】
監視領域設定部３３は、撮影画像におけるそれぞれの特徴部分の位置関係と前述したデータベースに記憶される各マーカの３次元監視領域での位置関係の情報とを照合することで、撮影画像内の各マーカの３次元領域での位置を特定することで撮影画像における特徴部分の３次元情報を取得する。
【００４５】
次に、特徴部分の検出および３次元情報の取得の第５の例について説明する。この例では、エスカレータ設備に前述したマーカを設置する代わりに、３次元監視領域の設定を要する場合において、作業員が所持するレーザポインタの光を、エスカレータ設備における監視領域のそれぞれの頂点に照射し、この照射部分が特徴部分として検出されるようにしている。これらの頂点のそれぞれにおいて照射模様は異なる。この例では、３次元監視領域設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域における各特徴部分の識別番号と当該特徴部分の照射模様との対応関係が記憶される。
【００４６】
ここでは、画像入力部３１により撮影画像を入力し、特徴部分検出部３２は、この画像中のレーザポインタの照射模様と、前述したデータベースに記憶される模様の情報とを照合することで、左右の撮影画像の同じ照射模様の点を特定し、この点を特徴部分として検出する。
【００４７】
監視領域設定部３３は、この検出した特徴部分の撮影画像内の各マーカの座標値を検出し、これら検出した座標値の位置関係をもとにした三角測量により撮影画像における特徴部分の３次元情報を取得する。
【００４８】
次に、特徴部分の検出および３次元情報の取得の第６の例について説明する。この例では、前述したマーカをエスカレータ設備に設置する代わりに、３次元監視領域の設定を要する場合において、作業員が所持するレーザポインタの光を、エスカレータ設備における監視領域のそれぞれの頂点に照射し、この照射部分が特徴部分として検出されるようにしている。これらの頂点のそれぞれにおいて照射周期は異なる。この例では、３次元監視領域設定のためのデータベースを記憶装置３７に記憶しておく。このデータベースには、３次元監視領域における各特徴部分の識別番号と当該特徴部分の照射周期との対応関係が記憶される。
【００４９】
ここでは、データベースで定めた点滅周期にしたがって前述した各頂点にレーザポインタの光を照射し、画像入力部３１により、撮影画像を前述したエレベータ設備における各頂点へのレーザポインタの照射周期が区別可能な所定時間間隔で連続して入力し、特徴部分検出部３２は、カメラ２２ａ，２２ｂによる撮影画像をもとに、撮影画像中の同じ点滅周期の照射部分を特徴部分として検出する。
【００５０】
監視領域設定部３３は、この検出した特徴部分の撮影画像内の各マーカの座標値を検出し、これら検出した座標値の位置関係をもとにした三角測量により撮影画像における特徴部分の３次元情報を取得する。
【００５１】
前述した特徴部分の形状は、図５に示したような円状マーカでもよく、前述したレーザポインタの照射光のような点状でもよく、図７に示したような各種図形を模した２次元マーカでもよく、立方体や球といった３次元マーカでもよい。また、表面に色や模様や文字を付したマーカを用いてもよく、反射材といった撮影画像内の他の部分と区別可能な材料を用いてもよい。また、手摺りベルトにおける所定の間隔毎にＬＥＤなどの発光体を設置して特徴部分として検出されるようにしてもよい。
【００５２】
エスカレータ設備における特徴部分の場所としては、エスカレータ設備の周辺の看板、標示板、照明、手摺りベルト、三角部ガード板および交差部などが挙げられる。また、手摺りベルトを３次元監視領域の周縁部とする場合は、この手摺りベルトに色を付して、この色を付した部分が特徴部分として検出されるようにしてもよい。
【００５３】
例えば青い２本の手摺りベルトを特徴部分として検出する場合、特徴部分検出部３２は、左右の撮影画像から青い領域を検出し、その領域の境界に対して、RANSAC（Randam Sample Consensus）手法により、手摺りベルトの内側線、つまり画像中心に近い線と、外側線、つまり画像中心から離れた線とをフィッティングする。特徴部分検出部３２は、２本の手摺りベルトについて、２本の内側線と２本の外側線とを検出する。この検出した２本の内側線の範囲内の踏み段を撮影画像からさらに検出できれば、手摺りベルトの特徴部分を正確に検出できた事になる。
【００５４】
また、エスカレータ設備における、エスカレータの運転に伴って撮影画像での位置が変化する特徴部分としては、手摺りベルトや三角部ガード板などに貼りつけたり塗布したりするマーカや、手摺りベルトや三角部ガード板などに固定する立方体や球などのマーカが挙げられる。
【００５５】
また、エスカレータの運転に伴って撮影画像内の位置が変化する特徴部分としては、エスカレータの手摺りベルトに設置するマーカ、踏み段に設置するマーカ、踏み段上の黄色注意線などが挙げられる。
【００５６】
エスカレータの運行に伴う可動部分にマーカを設置する場合、エスカレータを運行させて、点状のマーカをステレオカメラユニット２１により連続して撮影することで線状の特徴部分として検出するようにしてもよく、エスカレータを運行させて、線状のマーカをステレオカメラユニット２１により連続して撮影することで面状の特徴部分として検出するようにしてもよい。
【００５７】
また、特徴部分検出部３２は、前述したマーカやレーザポインタを特徴部分として検出する代わりに、撮影映像における人の動作から特徴部分を検出することもできる。例えば、特徴部分検出部３２は、画像入力部３１からの作業員の顔情報や動作を自動的に認識し、この認識結果が、登り口や降り口での乗降動作を示すと認識した場合に、撮影された作業員がいる箇所を登り口や降り口として検出する。
【００５８】
また、別の例としては、踏み段からみた手摺りベルトの外側Ｍ（ｃｍ）の箇所に作業員の片方の手の指先を置き、踏み段からみた手摺りベルトの外側Ｎ（ｃｍ）の箇所に作業員のもう片方の手の指先を置いた上でエスカレータを運転させ、特徴部分検出部３２は、撮影画像中の２つの箇所を検出し、監視領域設定部３３は、この検出した箇所をもとに、撮影画像における乗り出し検知のための３次元監視領域を設定することが挙げられる。
さらに別の例としては、作業員が球状のマーカを手摺りベルトなどに載せた上で、エスカレータを運転させ、特徴部分検出部３２が、撮影画像中の前述した球状のマーカを載せた箇所を検出し、監視領域設定部３３は、この検出した箇所をもとに、撮影画像における特徴部分の３次元情報を取得することが挙げられる。
【００５９】
また、画像処理装置２４がステレオカメラユニット２１による撮影画像を表示装置２７に出力した状態で、現場作業員がこの画面を見ながら、設定したい３次元監視領域の特徴部分をマウスなどの入力装置により指定することで、監視領域設定部３３は、この検出した箇所をもとに、撮影画像における特徴部分の３次元情報を取得することもできる。
例えば１６個のマーカをエスカレータ設備に設置しておき、現場作業員が、これらのマーカを含む撮影画像を参照しながら、設定したい第１の３次元監視領域の８つのマーカの設置部分をマウスなどの入力装置により特徴部分として指定することで、監視領域設定部３３は、この指定された箇所をもとに、撮影画像における第１の３次元監視領域を設定する。さらに、現場作業員が撮影画像を参照しながら、設定したい第２の３次元監視領域の８つの特徴部分を入力装置により指定することで、監視領域設定部３３は、この指定された箇所をもとに、撮影画像における第２の３次元監視領域を設定する。
【００６０】
また、マーカを設置せずとも、現場作業員が、エスカレータ設備の撮影画像を参照しながら、エスカレータ乗降台、手摺りベルト、三角部ガード板、デッキボードなどを設定したい３次元監視領域の特徴部分として入力装置により指定することで、監視領域設定部３３は、この指定された箇所をもとに、撮影画像における特徴部分の３次元情報を取得することができる。
【００６１】
以下、３次元の監視領域の設定に必要な特徴部分の数を必要最小限にする手法について説明する。
図１０は、本発明の実施形態におけるエスカレータ監視システムによる１つの平行６面体の３次元監視領域の設定のために検出する必要最小限の特徴部分の一例を示す図である。
平行６面体の３次元監視領域を設定する場合、この平行６面体の８つの頂点の全てを特徴部分として検出せずとも、４つ以上の点状の特徴部分を検出し、各部分の間を補間する計算を行なうことで、平行６面体の監視領域を設定することができる。これらの特徴部分の条件として、設定対象の平行６面体の幅、高さ、奥行きが示されているものとする。
【００６２】
図１０に示した例では、設定対象の平行６面体の監視領域の頂点には、頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈがある。
頂点Ａは、平行６面体の第１の面５１の第１の長辺の一端部にあり、頂点Ｂは当該長辺の他端部にある。この第１の長辺の一端部は同じ面の第１の短辺の一端部であり、当該短辺の他端部に頂点Ｄがある。また、第１の面５１の残りの頂点は頂点Ｈである。
また、第１の面５１に平行な第２の面５２における、第１の面５１の頂点Ａから第２の面５２への垂線との交差部分に頂点Ｃがある。また、第２の面５２における、第１の面５１の頂点Ｂから第２の面５２への垂線との交差部分に頂点Ｆがある。また、第２の面５２における、第１の面５１の頂点Ｄから第２の面５２への垂線との交差部分に頂点Ｅがある。第２の面５２における、第１の面５１の頂点Ｈから第２の面５２への垂線との交差部分に頂点Ｇがある。
【００６３】
ここでは、特徴部分検出部３２により撮影画像内の頂点Ａ，Ｂ，Ｃ，Ｄのみ、つまり図１０に示した二重丸の部分を特徴部分として検出し、監視領域設定部３３は、頂点Ａ，Ｂを結ぶ直線と平行で且つ頂点Ｃを通る直線Ｌ１を計算し、頂点Ａ，Ｃを結ぶ直線と平行で且つ頂点Ｂを通る直線Ｌ２を計算し、直線Ｌ１，Ｌ２の交差する点を頂点Ｆとして計算する。
【００６４】
また、監視領域設定部３３は、直線ＡＤと平行でかつ頂点Ｃを通る直線Ｌ３を計算し、直線ＡＣと平行で且つ頂点Ｄを通る直線Ｌ４を計算し、直線Ｌ３，Ｌ４の交差する点を頂点Ｅとして計算する。
また、監視領域設定部３３は、頂点Ｃ，Ｆを結ぶ直線Ｌ１と平行でかつ頂点Ｅを通る直線Ｌ５を計算し、頂点Ｃ，Ｅを結ぶ直線Ｌ３と平行で且つ頂点Ｆを通る直線Ｌ６を計算し。直線Ｌ５，Ｌ６の交差する点を頂点Ｇとして計算する。
また、監視領域設定部３３は、頂点Ｆ，Ｇを結ぶ直線Ｌ６と平行でかつ頂点Ｂを通る直線Ｌ７を計算し、頂点Ｂ，Ｆを結ぶ直線Ｌ２と平行で且つ頂点Ｇを通る直線Ｌ８を計算し。直線Ｌ７，Ｌ８の交差する点を頂点Ｈとして計算する。
【００６５】
このように、平行６面体の８つの頂点のうち４つが撮影画像から検出できれば、残りの４つの頂点を計算することができ、１つの平行６面体の３次元監視領域を設定することができるので、マーカなどの特徴部位の予め設ける数を少なくすることができ、作業員の負担を減らすことができる。
【００６６】
また、平行６面体の８つの頂点のうち８つ未満で４つを越える頂点にマーカを設置し、この頂点を撮影画像から検出して、残りの頂点を計算してもよい。このように必要最低限の数より多くの頂点にマーカを設置することができる場合は、検出結果をもとにした補間計算によりマーカの設置位置を補正することができる。例えば、エレベータ設備における図１０に示した頂点Ａ，Ｂ，Ｃ，Ｄ及び頂点Ｆの５つに該当する部分にマーカを設置し、撮影画像内のこれらのマーカの設置位置をもとに設定対象の３次元監視領域の残りの頂点を計算する場合、監視領域設定部３３により、撮影画像内の頂点Ａ，Ｂ，Ｃ，Ｄの検出結果を用いて前述した５つの頂点の残りである頂点Ｆを計算し、この計算した頂点Ｆを撮影画像に表示し、撮影画像内の計算済みの頂点Ｆの画像の表示位置と当該頂点Ｆについて設置したマーカの位置とが一致していれば、各マーカの設置位置は正しい事になる。
【００６７】
一方、撮影画像内の計算済みの頂点Ｆの画像の表示位置と当該頂点Ｆについて設置したマーカの位置とが一致しない場合、つまり、頂点Ｆの本来の位置と計算結果とにズレが発生している場合は、エスカレータ設備における当該マーカの設置位置を作業員が補正した上で、撮影画像内の各マーカの検出結果をもとに設定対象の３次元監視領域の残りの頂点を計算する事で精確な３次元監視領域を設定することができる。
【００６８】
図１１は、本発明の実施形態におけるエスカレータ監視システムによる２つの平行６面体の３次元監視領域の設定のために検出する必要最小数の特徴部分の一例を示す図である。
エスカレータからの乗客の乗り出しを検知する場合、３次元の監視領域として、正常領域と乗り出し領域の二つが必要である。この場合、例えば図１１に示すように、２つの平行６面体の３次元監視領域を設定する事になる。図１１に示した例では、第１の平行６面体の一面が第２の平行六面体の一面をなし、２つの平行６面体が連接している。この場合、これらの平行６面体の全ての頂点である１２の頂点のうち、５つ以上の頂点が検出できれば残りの頂点の位置を推定することができ、２つの３次元監視領域を設定することができる。
【００６９】
図１１に示した例では、設定対象の２つの平行６面体の監視領域の頂点の数は、頂点ＡＢ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌまでの１２である。
頂点Ａは、第１の平行６面体の第１の面６１の第１の長辺の一端部にあり、頂点Ｋは当該長辺の他端部にある。第１の面６１の長辺の一端部は同じ面の第１の短辺の一端部であり、頂点Ｌは当該短辺の他端部にある。また、第１の面６１の残りの１つの頂点は頂点Ｊである。
また、第１の面６１に平行な第２の面６２における、第１の面６１の頂点Ａから第２の面６２への垂線との交差部分に頂点Ｂがある。第２の面６２における、第１の面６１の頂点Ｋから第２の面６２への垂線との交差部分に頂点Ｅがある。第２の面６２における、第１の面６１の頂点Ｌから第２の面６２への垂線との交差部分に頂点Ｄがある。第２の面６２における、第１の面６１の頂点Ｊから第２の面６２への垂線との交差部分に頂点Ｉがある。
【００７０】
この例では、第１の平行６面体の第２の面６２が、第２の平行６面体の第１の面をなしており、この第１の面に平行な第２の面６３における、頂点Ｂから第２の面６３への垂線との交差部分に頂点Ｃがある。また、頂点Ｅから第２の面６３への垂線との交差部分に頂点Ｆがある。頂点Ｄから第２の面６３への垂線との交差部分に頂点Ｇがある。また、頂点Ｉから第２の面６３への垂線との交差部分に頂点Ｈがある。
【００７１】
この場合、第１の平行６面体の第１の面６１の１つの頂点、第１の平行６面体の第２の面６２の３つの頂点、第２の平行６面体の第２の面６３の１つの頂点、例えば頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅを検出し、これらの頂点で２つの平行６面体の幅、高さ、奥行きが示されていれば、残りの頂点の位置を計算することができる。
【００７２】
また、図１１に示した例における２つの平行６面体の監視領域の設定の別の例として、前述したように頂点を検出する代わりに、例えば図１１中の直線ＡＣ、直線ＢＥ、および直線ＢＤのように、２つの平行６面体の３つ以上の直線を撮影画像から検出し、これらの直線で２つの平行６面体の幅、高さ、奥行きが示されていれば、残りの直線の位置を計算でき、２つの３次元監視領域を設定することができる。
【００７３】
また、２つの平行６面体の直線のうち３つを越える直線を検出して、残りの直線を計算してもよい。このように多くの直線にマーカを設置することができる場合は、検出結果をもとにした補間計算によりマーカの設置位置を補正することができる。
【００７４】
また、図１１に示した例における２つの平行６面体の監視領域の設定の別の例として、前述したように頂点や直線を検出する代わりに、例えば頂点Ａ，Ｃ，Ｄを通る平面、頂点Ｂ，Ｄ，Ｅを通る平面のように、２つの平行６面体の２つ以上の平面を撮影画像から検出し、これらの平面で２つの平行６面体の幅、高さ、奥行きが示されていれば、残りの平面の位置を計算でき、２つの３次元監視領域を設定することができる。
また、２つの平行６面体の直線のうち２つを越える平面を検出して、残りの平面を計算してもよい。このように多くの平面にマーカを設置することができる場合は、検出結果をもとにした補間計算によりマーカの設置位置を補正することができる。
【００７５】
図１２は、本発明の実施形態におけるエスカレータ監視システムによる曲面体の３次元監視領域および当該領域の設定のために検出する特徴部分の一例を示す図である。
設定対象の３次元の監視領域として、図１２に示すような円球体１５の監視領域が挙げられる。例えば乗客が三角部ガード板への接触事故を防止するため、図１２に示すように、三角部ガード板の下端を曲面体の円心とし、所定の半径の円球以内の領域を監視領域、ここでは危険領域として設定対象とする場合には、マーカを設置するなどして、前述した円心と半径とを特定できる部分が撮影画像から検出できれば円球体の監視領域を設定できる。
【００７６】
また、円柱体や円錐体領域などの３次元監視領域の設定も可能である。マーカを設置するなどして、円柱上面もしくは下面の円心と半径とを特定できる部分と円柱の高さを特定できる一つの特徴部分が撮影画像から検出できれば、円柱体やや円錐体の監視領域を設定できる。
【００７７】
以上のように、特徴部分の３次元情報の取得が終了すると、制御装置２５は、この３次元情報で示される３次元監視領域を撮影画像に再投影し、この投影結果を表示装置２７に表示する（ステップＳ４）。
【００７８】
作業者は、この表示結果を参照することで、撮影画像内の３次元監視領域を確認できる。３次元監視領域が撮影画像に正しく投影されていることを作業者が確認し、入力装置により画面上の監視領域のそれぞれについて、監視領域の種別が前述した正常領域、安全領域、要注意領域、危険領域のいずれであるかを設定するための入力操作を行なうと、各監視領域の種別の情報が記憶装置３７に記憶される（ステップＳ５→Ｓ６）。
【００７９】
監視領域の種別が確定して、エスカレータ１の通常運転の開始後、乗客検知部３４は、ステレオカメラユニット２１からの撮影画像を解析して、エスカレータ１を利用する乗客６の位置を検知する（ステップＳ７）。
【００８０】
挙動検知部３５は、時系列に得られる各撮影画像間で同一の乗客を追跡することで、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域、およびエスカレータ１の運行情報に基づいて、乗客検知部３４によって検知された乗客６の挙動である乗り出しの有無を検知する（ステップＳ８）。
【００８１】
挙動検知部３５は、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域内の正常領域、安全領域、もしくは要注意領域から危険領域に乗客が乗り出している事を検知した場合には、警告部３６は、制御装置２５に対して警告信号を出力する。
【００８２】
すると制御装置２５は、スピーカ２６からの音声出力、あるいは表示装置２７からのメッセージ表示による警告処理を行ない、駆動装置２８によりエスカレータ１の運転を停止させる（ステップＳ９→Ｓ１０）。前述した音声やメッセージは、例えば「危険ですから、身を乗り出さないで下さい」となる。
【００８３】
また、挙動検知部３５は、警告処理後に、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域内の危険領域から正常領域、安全領域、もしくは要注意領域に乗客が戻った事を検知した場合には、通知信号を制御装置２５に出力する。すると、制御装置２５は、スピーカ２６あるいは表示装置２７による警告処理を終了し、駆動装置２８によりエスカレータ１の運転を再開する。
【００８４】
ステップＳ９の処理で「ＮＯ」となった場合で、挙動検知部３５は、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域内の要注意領域に乗り出している事を検知した場合には、警告部３６は、制御装置２５に対して要注意警告信号を出力する。
すると制御装置２５は、スピーカ２６からの音声出力、あるいは表示装置２７からのメッセージ表示による警告処理を行ない、駆動装置２８によりエスカレータ１の運転速度を一時的に低下させる（ステップＳ１１→Ｓ１０）。前述した音声やメッセージは、例えば「乗り出さないように注意して下さい。」となる。
【００８５】
また、挙動検知部３５は、警告処理後に、ステレオカメラユニット２１からの撮影画像内の設定済みの３次元監視領域内の要注意領域から正常領域もしくは安全領域に乗客が移動した事を検知した場合には、通知信号を制御装置２５に出力する。すると、制御装置２５は、スピーカ２６あるいは表示装置２７による警告処理を終了し、駆動装置２８によりエスカレータ１の運転速度を通常速度に戻す。
【００８６】
以上のように、本発明の実施形態におけるエスカレータ監視システムでは、エスカレータ設備の撮影画像を入力し、この画像内における設定対象の３次元の監視領域を特定するための特徴部分を当該画像から検出し、この検出結果をもとに、３次元の監視領域を設定し、この監視領域に乗客がいる場合に、乗客への警告を行なう。よって、マンコンベアの乗客の監視領域を精度よく設定することができる。
【００８７】
また、本実施形態では、設定した３次元の監視領域を危険領域や要注意領域といった複数種類の領域に区分するので、乗客の危険度に応じた警告処理を行なうことができる。
また、本実施形態では、従来のような比率計算を行わないため、撮影対象の位置がカメラから遠い場所であっても、撮影画像から３次元の監視領域のマーカなどの特徴部分が検出できれば、当該監視領域の設定にかかる精度が確保できる。また、本実施形態では、撮影画像内の特徴部分をもとに３次元の監視領域を設定できるため、カメラのパラメータの精度に関係なく、低いコストで監視領域を正しく設定できる。
【００８８】
なお、上記実施形態では、２台のカメラ２２ａ，２２ｂを用いてエスカレータ１を監視する構成としたが、３台以上のカメラを用いてエスカレータ１を監視することでも良い。ただし、カメラ台数を増やすと、その分、設置設備が大かがりとなってコスト高となり、さらに、画像処理にも時間を要するため、上記実施形態のように２台のカメラ２２ａ，２２ｂにて監視することが好ましい。
【００８９】
また、上記実施形態では、図１に示すように画像処理装置２４と制御装置２５を分けて構成したが、画像処理装置２４の持つ機能を制御装置２５に搭載することで、制御装置２５だけで構成することも可能である。
【００９０】
また、上記実施形態では、３次元の監視領域を特定するための特徴部分としてカの設置部分や、レーザポインタによる照射部分、エスカレータ設備の各種構造物といった、実空間で可視可能な部分について説明したが、これに限らず、音、電波もしくは電磁波の発生源の点状、線状もしくは面状の部分、つまり実空間で可視可能でない部分であってもよい。この場合、マイクロフォンや電波検出装置、電磁波検出装置で音、電波もしくは電磁波を検出し、発生源の箇所が撮影画像内のいずれにあるかを特定すれば、３次元の監視領域を設定することができる。
【００９１】
なお、この発明は前記実施形態そのままに限定されるものではなく実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００９２】
１…エスカレータ、２…踏み段、３…欄干パネル、４…手摺りベルト、５…三角部ガード板、６…乗客、７…マーカ、１１…撮影範囲、１２…第１の３次元監視領域、１３…第２の３次元監視領域、１４…第３の３次元監視領域、２１…ステレオカメラユニット、２２ａ，１２ｂ…カメラ、２３…伝送ケーブル、２４…画像処理装置、２５…制御装置、２６…スピーカ、２７…表示装置、２８…駆動装置、３１…画像入力部、３２…特徴部分検出部、３３…３次元監視領域設定部、３４…乗客検知部、３５…挙動検知部、３６…警告部、３７…記憶装置、４１…対象物位置、４２…正常領域、４３…安全領域、４４…要注意領域、４５…危険領域。
【特許請求の範囲】
【請求項１】
監視対象のエスカレータを撮影する複数台のカメラと、
前記エスカレータの撮影画像における乗客の３次元監視領域の設定のための特徴部分を検出する検出手段と、
前記撮影画像における前記検出した特徴部分の３次元領域での位置を計算することで、当該撮影画像における３次元監視領域を設定する監視領域設定手段と、
前記カメラによる前記３次元監視領域内の撮影画像をもとに前記乗客の挙動を監視する監視手段と
を備えたことを特徴とするマンコンベア画像処理装置。
【請求項２】
前記特徴部分は、前記３次元監視領域の周縁部を特定するための部位であり、
前記検出手段は、
前記複数台のカメラにより撮影されたそれぞれの画像のステレオマッチング処理により前記特徴部分を検出する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項３】
前記特徴部分は、実空間において可視可能な部分である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項４】
前記特徴部分は、実空間において可視可能でない部分である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項５】
前記特徴部分は、光で局所的に照射される部位である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項６】
前記特徴部分は、平面形状を有する部位である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項７】
前記特徴部分は、立体形状を有する部位である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項８】
前記特徴部分は、前記エスカレータの構造物の一部分である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項９】
前記エスカレータの構造物は、
当該エスカレータの運転の有無に関わらず移動しない物体である
ことを特徴とする請求項８に記載のマンコンベア画像処理装置。
【請求項１０】
前記エスカレータの構造物は、
当該エスカレータの運転時に移動する物体である
ことを特徴とする請求項８に記載のマンコンベア画像処理装置。
【請求項１１】
前記カメラは、エスカレータの運行中における乗客の乗降動作を撮影し、
前記検出手段は、
前記カメラによる前記乗降動作の撮影結果をもとに、前記特徴部分を検出する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１２】
前記カメラにより撮影された画像中の、前記特徴部分の指定のための入力操作を受け付ける入力手段をさらに備え、
前記検出手段は、
前記入力手段による入力にしたがって、前記特徴部分を検出する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１３】
前記エスカレータでの設定対象の３次元監視領域の周縁部の情報を含む領域定義情報を記憶する記憶手段をさらに備え、
前記検出手段は、
前記カメラによる撮影画像と前記領域定義情報とを照合することで前記特徴部分を検出する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１４】
前記３次元監視領域は、多面体の領域である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１５】
前記３次元監視領域は、６面立方体の領域であり、
前記検出手段は、
前記６面立方体の領域の頂点のうち、当該６面立方体の高さ、幅および奥行きを示す少なくとも４つの頂点の情報を特徴部分として検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記６面立方体の領域の周縁部の特徴部分を計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１６】
前記３次元監視領域は、６面立方体の領域であり、
前記検出手段は、
前記６面立方体の領域の辺のうち、当該６面立方体の高さ、幅および奥行きを示す少なくとも３つの辺の情報を特徴部分として検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記６面立方体の領域の周縁部の特徴部分の３次元領域での位置を補間計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１７】
前記３次元監視領域は、６面立方体の領域であり、
前記検出手段は、
前記６面立方体の領域の面のうち、当該６面立方体の高さ、幅および奥行きを示す少なくとも２つの面の情報を特徴部分として検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記６面立方体の領域の周縁部の特徴部分の３次元領域での位置を補間計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１８】
前記３次元監視領域は、円球体領域であり、
前記検出手段は、
前記円球体領域の円心と半径との特定に必要な特徴部分を検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記円球体領域の周縁部の特徴部分の３次元領域での位置を補間計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１９】
前記３次元監視領域は、円柱体領域であり、
前記検出手段は、
前記円柱体領域の円心と高さとの特定に必要な特徴部分を検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記円柱体領域の周縁部の特徴部分の３次元領域での位置を計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１】
監視対象のエスカレータを撮影する複数台のカメラと、
前記エスカレータの撮影画像における乗客の３次元監視領域の設定のための特徴部分を検出する検出手段と、
前記撮影画像における前記検出した特徴部分の３次元領域での位置を計算することで、当該撮影画像における３次元監視領域を設定する監視領域設定手段と、
前記カメラによる前記３次元監視領域内の撮影画像をもとに前記乗客の挙動を監視する監視手段と
を備えたことを特徴とするマンコンベア画像処理装置。
【請求項２】
前記特徴部分は、前記３次元監視領域の周縁部を特定するための部位であり、
前記検出手段は、
前記複数台のカメラにより撮影されたそれぞれの画像のステレオマッチング処理により前記特徴部分を検出する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項３】
前記特徴部分は、実空間において可視可能な部分である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項４】
前記特徴部分は、実空間において可視可能でない部分である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項５】
前記特徴部分は、光で局所的に照射される部位である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項６】
前記特徴部分は、平面形状を有する部位である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項７】
前記特徴部分は、立体形状を有する部位である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項８】
前記特徴部分は、前記エスカレータの構造物の一部分である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項９】
前記エスカレータの構造物は、
当該エスカレータの運転の有無に関わらず移動しない物体である
ことを特徴とする請求項８に記載のマンコンベア画像処理装置。
【請求項１０】
前記エスカレータの構造物は、
当該エスカレータの運転時に移動する物体である
ことを特徴とする請求項８に記載のマンコンベア画像処理装置。
【請求項１１】
前記カメラは、エスカレータの運行中における乗客の乗降動作を撮影し、
前記検出手段は、
前記カメラによる前記乗降動作の撮影結果をもとに、前記特徴部分を検出する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１２】
前記カメラにより撮影された画像中の、前記特徴部分の指定のための入力操作を受け付ける入力手段をさらに備え、
前記検出手段は、
前記入力手段による入力にしたがって、前記特徴部分を検出する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１３】
前記エスカレータでの設定対象の３次元監視領域の周縁部の情報を含む領域定義情報を記憶する記憶手段をさらに備え、
前記検出手段は、
前記カメラによる撮影画像と前記領域定義情報とを照合することで前記特徴部分を検出する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１４】
前記３次元監視領域は、多面体の領域である
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１５】
前記３次元監視領域は、６面立方体の領域であり、
前記検出手段は、
前記６面立方体の領域の頂点のうち、当該６面立方体の高さ、幅および奥行きを示す少なくとも４つの頂点の情報を特徴部分として検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記６面立方体の領域の周縁部の特徴部分を計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１６】
前記３次元監視領域は、６面立方体の領域であり、
前記検出手段は、
前記６面立方体の領域の辺のうち、当該６面立方体の高さ、幅および奥行きを示す少なくとも３つの辺の情報を特徴部分として検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記６面立方体の領域の周縁部の特徴部分の３次元領域での位置を補間計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１７】
前記３次元監視領域は、６面立方体の領域であり、
前記検出手段は、
前記６面立方体の領域の面のうち、当該６面立方体の高さ、幅および奥行きを示す少なくとも２つの面の情報を特徴部分として検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記６面立方体の領域の周縁部の特徴部分の３次元領域での位置を補間計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１８】
前記３次元監視領域は、円球体領域であり、
前記検出手段は、
前記円球体領域の円心と半径との特定に必要な特徴部分を検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記円球体領域の周縁部の特徴部分の３次元領域での位置を補間計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【請求項１９】
前記３次元監視領域は、円柱体領域であり、
前記検出手段は、
前記円柱体領域の円心と高さとの特定に必要な特徴部分を検出し、
前記監視領域設定手段は、
前記検出した特徴部分をもとに、前記円柱体領域の周縁部の特徴部分の３次元領域での位置を計算することで、前記３次元監視領域を設定する
ことを特徴とする請求項１に記載のマンコンベア画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１９５２８８（Ｐ２０１１−１９５２８８Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６４３６１（Ｐ２０１０−６４３６１）
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（３９００２５２６５）東芝エレベータ株式会社 (2,543)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（３９００２５２６５）東芝エレベータ株式会社 (2,543)
【Ｆターム（参考）】
[ Back to top ]