鉄道車両用ドアの安全確認装置
【課題】挟まれている物を画像処理により認識して、鉄道車両のドアが閉じた時の安全を確認することができる鉄道車両用ドアの安全確認装置を提供する。
【解決手段】ステレオカメラSCは、２つのCMOSセンサ３１によって撮像して得られた２つの画像信号に基づいて距離画像を生成するステレオ処理部３３と、距離画像から、鉄道車両のドアを含む所定の背景画像の部分を分離し、所定の背景画像の部分が分離されて残った距離画像から、ドアに挟まれている物の距離画像を抽出し、抽出された距離画像から得られた所定のパラメータ情報と所定のパラメータ情報に基づく所定のルールとに基づいてドアに関する安全の確認の判定を行う認識処理部３４とを有する。
【解決手段】ステレオカメラSCは、２つのCMOSセンサ３１によって撮像して得られた２つの画像信号に基づいて距離画像を生成するステレオ処理部３３と、距離画像から、鉄道車両のドアを含む所定の背景画像の部分を分離し、所定の背景画像の部分が分離されて残った距離画像から、ドアに挟まれている物の距離画像を抽出し、抽出された距離画像から得られた所定のパラメータ情報と所定のパラメータ情報に基づく所定のルールとに基づいてドアに関する安全の確認の判定を行う認識処理部３４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鉄道車両用ドアの安全確認装置に関し、特に、鉄道車両のドアが閉じたときに挟まれた物の立体形状から安全を確認する鉄道車両用ドアの安全確認装置に関する。
【背景技術】
【０００２】
従来より、鉄道車両のドアに物が挟まれたことを検知する技術が広く実用化されている。電車ではドアに物が挟まった状態が検知されると運転手等に知らされ、電車の安全運行が図られている。電車の乗降口のドアに物が挟まれると、ドアが完全に閉まらないことはセンサ等により検知される。エレベータ装置も、ドアに物が挟まれると、センサにより検出されて、ドアが閉じないような機構になっている。
【０００３】
また、近年、鉄道駅のホームでは、電車・列車に乗降する旅客の安全性を高めるため、主に左右ドアの両開き構造を備えたホームドア装置の設置も進んでいる。例えば特開２０１０−７４５６号公報には、ホームドア装置においても、いわゆる戸挟み状態は、電気的なセンサにより、例えば過電流検知センサにより検知して、戸挟み状態を回避する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７４５６号公報（段落番号０００３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の戸挟み状態の検知は、物が挟まれていることを、電気的なセンサにより検出しているので、たとえ挟まれている物が電車の運行に支障の無いような物であっても、戸挟み状態として検知されてしまう、という問題があった。逆に、挟まれている物が、電車の運行に支障があるものであっても、電気的なセンサにより検出できない場合もあった。 そこで、本発明は、挟まれている物を画像処理により認識して、ドアが閉じた時の安全を確認することができる鉄道車両用ドアの安全確認装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、少なくとも２以上の撮像素子によって撮像して得られた少なくとも２つの画像信号に基づいて立体形状に関する情報を生成する立体形状情報生成部と、生成された前記立体形状に関する情報から、鉄道車両のドアを含む所定の背景画像の部分を分離する背景画像分離部と、前記背景画像分離部において前記所定の背景画像の部分が分離されて残った立体形状に関する情報から、前記ドアに挟まれている物の立体形状に関する情報を抽出する立体形状物抽出部と、前記立体形状物抽出部において抽出された前記物の立体形状に関する情報から得られた所定のパラメータ情報と前記所定のパラメータ情報に基づく所定のルールとに基づいて、前記ドアに関する安全の確認の判定を行う判定部と、を有する鉄道車両用ドアの安全確認装置を提供することができる。
【発明の効果】
【０００７】
本発明によれば、挟まれている物を画像処理により認識して、鉄道車両のドアが閉じた時の安全を確認することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る、ステレオカメラにより駅のホームを撮影している監視システム１を説明するための図である。
【図２】本発明の実施の形態に係るステレオカメラの外観図である。
【図３】本発明の実施の形態に係るステレオカメラSCの構成を示すブロック図である。
【図４】本発明の実施の形態に係るステレオカメラSCにより得られた距離画像の例を説明するための図である。
【図５】本発明の実施の形態に係る、各ステレオカメラSCの認識処理部３４における処理の内容を示すフローチャートである
【図６】本発明の実施の形態に係る体積演算処理の流れを示すフローチャートである。
【図７】本発明の実施の形態に係る体積演算を説明するための図である。
【図８】本発明の実施の形態に係る形状カテゴリーの分類処理の流れを示すフローチャートである。
【図９】本発明の実施の形態に係る予め決められた形状カテゴリーの分類の例を示す図である。
【図１０】本発明の実施の形態に係る変形度合い判定処理の流れを示すフローチャートである。
【図１１】本発明の実施の形態に係る、物の変形を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。ここでは、鉄道の駅のホーム端上に設置されたステレオカメラを用いて鉄道車両のドアの閉まったときの安全を確認する装置を例に挙げて説明する。
図１は、ステレオカメラにより、駅のホームを撮影している監視システム１を説明するための図である。図１は、ホームを電車の進行方向から見た図である。図１では、１つのステレオカメラSCのみが示されているが、複数のステレオカメラが、鉄道の線路が敷かれる地面G上の長いホームHの縁に沿って天井に設置され、電車とホームの全体を鉛直方向から監視している。各ステレオカメラは、電車Tが停止したときに、電車のドアに挟まれた物を撮像可能な位置に設置される。
【００１０】
ホームHの端を監視する監視用カメラであるステレオカメラSCは、２つの撮像素子を有しており、各撮像素子の光学系は、所定の間隔を開けて光軸が互いに平行になるように配置されている。ステレオカメラSCは、図１に示すように、その撮像方向がホームHの線路側の端の床面に対して直交する方向となるように、固定されて設置されている。
【００１１】
監視システム１は、複数のステレオカメラSC（図１では１台のステレオカメラのみ示している）と、ステレオカメラSCと通信ケーブルCBにより接続されたパーソナルコンピュータ（以下、PCと略す）１１と、駅あるいは電車の制御装置１２とを含んで構成されている。
【００１２】
PC１１及び制御装置１２は、例えば、駅の監視室に配置され、駅員等の監視者は、PC１１あるいは制御装置１２に接続されたモニタに、各ステレオカメラSCにおいて取得された動画像を表示させて、駅ホームの様子を見ることができる。
PC１１は、各ステレオカメラSCと通信を行い、各ステレオカメラSCへ、安全確認の処理の実行を指示し、各ステレオカメラSCからの検知信号を受信して制御装置１２へ出力する。
【００１３】
制御装置１２は、駅員等による指示が入力され、その指示をPC１１へ伝える装置である。以下の例では、電車のドアが閉じたときに、安全確認の実行を指示する安全確認指示信号がPC１１へ出力される。PC１１は、その安全確認指示信号を受信すると、各ステレオカメラSCへ安全確認の処理を実行するように指示する所定のコマンドを出力する。なお、PC１１は、安全確認指示信号をそのまま各ステレオカメラSCへ転送して安全確認の処理の実行をさせるようにしてもよい。
【００１４】
ステレオカメラSCは、そのコマンドを受信すると安全確認の処理を実行し、画像処理により所定の立体形状の物がドアに挟まれているかを判定し、その判定結果を検知信号としてPC１１へ出力する。制御装置１２は、その検知信号を受信すると、モニタ表示、音声出力等により監視者に所定の立体形状の物がドアに挟まれているあるいは挟まれていないことを告知する。
【００１５】
（ステレオカメラSCの構成）
図２は、ステレオカメラの外観図である。ステレオカメラSCの筐体２１の一側面には、例えば、２つの対物光学系２２が所定の距離だけ離れて光軸が互いに平行になるように設けられている。２つの対物光学系２２は、対物レンズであり、筐体２１内の各対物レンズの後ろ側には、CMOSセンサ等の撮像素子が設けられている。２つの対物光学系２２の設けられた面が、ホームHの床面に対向するように、ステレオカメラSCは、駅のホームH上に設置される。
【００１６】
なお、ここでは、各ステレオカメラSCは、ステレオ撮像のために２つの撮像素子を有している例で説明するが、ステレオ撮像のために３つ以上の撮像素子を有していてもよく、少なくとも２つの撮像素子を有していればよい。
【００１７】
また、ステレオカメラSCには、PC１１と接続するための通信ケーブルCBが接続されている。
図３は、ステレオカメラSCの構成を示すブロック図である。ステレオカメラSCは、カメラとしての２つのCMOSセンサ３１、２つの画像取込部３２、ステレオ処理部３３、認識処理部３４、通信部３５を有しており、筐体２１内の図示しない基板上に設けられている。本実施の形態では、２つの画像取込部３２、ステレオ処理部３３及び認識処理部３４は、DSPにより構成される。
【００１８】
各CMOSセンサ３１は、対物光学系２２からの光を受けて撮像信号を、対応する画像取込部３２に出力する。
【００１９】
各画像取込部３２は、CMOSセンサ３１からの撮像信号を取り込み、その撮像素子から画像信号を生成して、ステレオ処理部３３に供給する処理部である。
【００２０】
ステレオ処理部３３は、入力された２つの動画像の画像信号に基づき、立体形状に関する情報としての距離画像を生成する処理部である。距離画像は、各画素値が距離値である画像情報である。なお、距離画像は、画素値が３次元空間内の位置を示す情報であってもよい。すなわち、ステレオ処理部３３は、２つの撮像素子によって撮像して得られた２つの画像信号に基づいて立体形状に関する情報を生成する立体形状情報生成部を構成する。
【００２１】
認識処理部３４は、ステレオ処理部３３で得られた距離画像の情報に基づいて、立体形状を認識し、ドアが閉じたときの安全が確認されたことを示す、あるいは安全でないことを示す検知信号を出力する処理部である。
【００２２】
すなわち、認識処理部３４は、ステレオ処理部３３で生成された距離画像の情報に基づいて、画像中の、閉じたドアに挟まれている物の立体形状を認識し、その立体形状が所定の条件に合致しない場合あるいは合致した場合に、安全であるあるいは安全でないことを示す検知信号を出力する処理部である。
【００２３】
通信部３５は、PC１１からの所定のコマンドを受信すると認識処理部３４に対して安全確認の処理を実行する指示を与え、認識処理部３４から検知信号を受信すると、安全確認の判定情報としての検知信号をPC１１へ送信する処理部である。通信部３５は、図示しないインターフェース回路及びコネクタを介して、通信ケーブルCBに接続されている。
【００２４】
さらに、通信部３５は、画像取込部３２にも接続されており、CMOSセンサ３１の両方あるいは一方から得られた動画像の画像信号を、所定のタイミングでPC１１へ送信することができるようになっている。よって、PC１１では、各ステレオカメラSCからの画像信号をモニタ上に表示することができる。
【００２５】
図４は、ステレオカメラSCにより得られた距離画像の例を説明するための図である。
電車Tが駅において停車し乗客の乗降が済んで、電車の全ての乗降用のドアが閉じられると、上記のコマンドに基づいて、各ステレオカメラSCは、得られた画像に基づいて、安全確認の処理を実行する。
【００２６】
ステレオカメラSCは固定されており、かつ電車T及びホームHの位置も動かないので、生成された距離画面IR中、電車T及びホームHの領域は固定である。図４は、ステレオカメラSCによる撮像され各画素の距離値が生成された領域の画像である。図４の距離画像IR中、斜線で示された、所定の領域、すなわち電車Tの領域TR、地面Gの領域GR、及びホームHの領域HRの各領域は、その距離値及び範囲が予め判っている領域である。電車Tの領域TRには、ドアが含まれる。
【００２７】
すなわち、これら３つの領域TR,GR,HRの範囲と距離の値は、予め判っており、一定である。よって、これらの領域において、所定の距離値の画素の領域は、背景画像の部分の画素領域であり、これらの領域において、所定の距離値でない画素の領域は、ドアに挟まっている物の立体形状の画素領域となる。
【００２８】
図４は、人Mと物SBが、画像IR中に存在することを示している。距離画像IR中、立っている人Mは、頭の部分の距離値は、頭頂までの距離が最も短く、頭頂から周囲にかけて徐々に長くなっていく。さらに肩の部分の距離値は、頭頂から所定の距離の範囲の中に、頭頂から所定の範囲内で肩の高さに相当する距離値となる。よって、このような距離値が得られれば、距離画像IR中、立っている人Mを認識することができる。
また、２つのドアに挟まれた物は、ホームHの端及びその近傍領域に存在し、かつ領域TR,GR,HRの距離値と異なる距離の物体として、認識することができる。
【００２９】
図４は、ホームHに人Mが存在し、棒状の物である物SBが、ホームHの端及びその近傍領域に存在していることが示されている。図４において、２点鎖線で示された建築限界内（ここではホームHの端及びその近傍）には、通常、物は存在していない。電車のドアが閉じたときに、ホームHの端及びその近傍領域に物が存在する場合、ドアに挟まれた物SBが存在する可能性がある。
【００３０】
図４において、点線で示す領域４１が、安全確認の処理の対象領域として予め設定される。領域４１は、電車のドアが閉まったときに物が挟まれて電車の外に飛び出した部分が存在する可能性のある領域である。電車の停止位置は、予め決まっているので、その停止する可能性のある範囲内を含み、かつ挟まれた物の電車の外に飛び出した部分が存在する可能性のある領域が、ステレオカメラSCに領域４１として設定される。
【００３１】
電車T、地面G及びホームHの領域及び距離は予め判っているので、その領域４１内における電車T、地面G及びホームHの各領域TR,GR,HRの画素の情報が、DSP中の記憶領域に予め記憶されている。よって、後述するように、認識処理部３４は、その領域４１の距離画像と、予め記憶されている各領域TR,GR,HRの画素の情報とを比較することによって、背景分離処理が行われる。背景分離されて抽出された物の立体形状に基づき、安全確認の判定処理が行われる。
【００３２】
認識処理部３４は、ステレオ処理部３３において距離画像が生成された距離画像に基づいて、ホームHの端及びその近傍に物が存在するか否か、そして、その物が電車の運行に支障があるか否かあるかの判定を行い、判定結果として検知信号を出力する。
【００３３】
（処理の内容）
図５は、各ステレオカメラSCの認識処理部３４における処理の内容を示すフローチャートである。
【００３４】
電車のドアが閉じて、発車する前に、ドアに物が挟まれていないか、あるいは挟まれていても、電車の運行等に支障のない物であるか、の安全確認が行われる。その安全確認は、各ステレオカメラSCにおいて、実行される。すなわち、各ステレオカメラSCが、鉄道車両用ドアの安全確認装置である。全てのドアについて、安全が確認されなければ電車は発車することができない。その安全確認のための指示は、安全確認指示信号によって行われる。
【００３５】
安全確認指示信号は、例えば、駅に設置されたボタンが押されると制御装置１２に入力されるようにしてもよいし、駅の監視室に設置されたボタンが押されると制御装置１２に入力されるようにしてもよい。制御装置１２は、安全確認指示信号が入力されると、その安全確認指示信号をPC１１へ転送する。PC１１は、その安全確認指示信号を受信すると、コマンドを各ステレオカメラSCへ転送する。
【００３６】
PC１１からの所定のコマンドが受信されると、通信部３５は、安全確認の処理を実行するように認識処理部３４に所定の信号を出力する。認識処理部３４は、その所定の信号を受信すると、所定の時間の間、図５の処理を実行する。すなわち、認識処理は、所定の信号を受信した後に、一定時間の間実行される。
【００３７】
図５の処理は、DSPに含まれる認識処理部３４によって実行される。まず、得られた距離画像中の所定の領域４１内について、背景分離処理が実行される（ステップ（以下、Sと略す）1）。背景分離処理は、上述したように、電車T、地面G及びホームHの各領域及び距離は予め判っているので、その各領域及びその対応する距離の情報に合致する画素を背景画素の部分として、距離画像IRから分離する処理である。電車T、地面G及びホームHの各領域TR,GR,HRの画素の情報が、DSP中の記憶領域に予め記憶されている。背景分離処理では、その予め記憶されている各領域TR,GR,HRの画素の情報と、生成された距離画像の各画素を比較することによって、背景を分離することができる。その結果、領域４１内において、背景でない画像のみの距離画像が抽出される。
【００３８】
よって、S1は、生成された立体形状に関する情報である距離画像から、ドアを含む所定の背景画像の部分を分離する背景画像分離部を構成すると共に、所定の背景画像の部分が分離されて残った立体形状に関する情報である距離画像から、ドアに挟まれている物の立体形状に関する情報を抽出する立体形状物抽出部を構成する。
【００３９】
次に、体積演算処理が実行される（S2）。体積演算の処理を、図６と図７を用いて説明する。図６は、体積演算処理の流れを示すフローチャートである。図７は、体積演算を説明するための図である。
図４においては、S1により物SBについての立体形状に関する情報である距離画像が抽出されるので、まず、その物SBの距離画像の各距離値に対応する断面積が演算される（S11）。図７に示すように、物SBは、ホームHの上から撮像されているので、物SBの下側の形状は、不明である。図７は、物SBの例として、傘を示している。図７は、傘がドアから水平方向に飛び出ている例を示す。物SBが傘である場合、その物は略円錐形状を有しているので、距離画像は上側の表面の距離値からなるデータである。
【００４０】
よって、体積演算では、物SBの下側の形状（２点鎖線で示す）を考慮せず、上側の距離画像のデータから、各距離値の断面積が演算される。まず、例えば、図７に示すように、抽出された物SBの最も外周側の距離値を有する画素PR1によって囲まれた領域（斜線で示す）の面積S1が演算される。図７において矢印Aで示す方向が、ステレオカメラSCの視線方向である。画素PR1の外縁の画素値は、すなわち距離値は、同じである。但し、ここでは、図４及び図７に示すように、物SBのドア側の部分の画素値は得られないので、ここでは、同じ距離値を有する画素PR1の描く曲線の端点を結んだ線で囲まれた領域の内側の面積が、断面積SS1とする。図７では、同じ距離値を有する画素PR1により形成される曲線（あるいは直線）と、その曲線の２つの端点Tを結んだ線TLとによって、囲まれた領域の面積が、画素PR1に対応する断面積となる。
【００４１】
次に、最も外周側の距離値よりも次に距離値が大きい画素PR2によって囲まれた領域の面積SS2が、同様に演算される。さらに、続いて、面積SS2に対応する距離値PR2よりも次に距離値が大きい画素PR3によって囲まれた領域の面積SS3が演算される。このような断面積の演算が、物SBに関わる全ての距離値について行われる。S11の結果として、物SBの各距離値に応じた断面積が得られる。
【００４２】
次に、S11で得られた各断面積を距離値に基づいて正規化し、物SBの体積を演算して推定する（S12）。
S11で得られた各断面積は、ステレオカメラSBから物SBまでの距離に応じて、異なる。そこで、物SBまでの距離に応じた断面積の正規化が必要となる。ステレオカメラSBから物SBまでの距離は、例えば、物SBの距離画像における最小の距離値、あるいは、物SBの距離画像における距離値の平均値とする。S11で得られた各断面積に、ステレオカメラSBから物SBまでの距離値の二乗を乗算することによって、その断面積の正規化が行われる。なお、ステレオカメラSBから物SBまでの距離の決める方法は、別の方法でもよい。
【００４３】
そして、正規化された各断面積から、物SBの体積LLを演算して求める（S12）。体積LLは、各断面積の和をとることにより得ることができる。
【００４４】
図５に戻り、S2の次に、形状カテゴリーの分類処理が実行される（S3）。図８は、形状カテゴリーの分類処理の流れを示すフローチャートである。形状カテゴリーの分類処理を、図７と図８を用いて説明する。
【００４５】
まず、距離画像の断面の縦横比を演算して求める（S21）。この縦横比は、物SBの縦の長さと横の長さの比であり、図４と図７においては、例えば、ドアの表面に直交する方向を横方向としたときに、物SBのその横方向の長さと、その横方向に直交する縦方向の長さを求めて、その縦と横の長さの比が求められる。
【００４６】
図７の場合、物SBは傘であるので、距離画像中の最も大きな距離値の断面積（SS1）の形状において、横方句の長さLRと縦方向の長さLLから求めた縦横比（縦／横）は、小さくなる。また、バッグのような物の場合は、縦横比は、傘に比べて大きくなる。
【００４７】
そして、得られた縦横比から、形状カテゴリーの分類を決定する（S22）。形状カテゴリーは、縦横比に応じて、予め複数に分類されている。図９は、その予め決められた形状カテゴリーの分類の例を示す図である。図９のテーブルデータが、DSP内の所定の記憶領域に予め記憶される。
図９の場合、形状カテゴリーは、縦横比に応じて、１０個に分類される。図９の場合、縦横比が１の物は、形状カテゴリーの中の分類C1に分類される。縦横比が０．５の物は、形状カテゴリーの中の分類C2に分類される。また、縦横比が０．１の物は、形状カテゴリーの中の分類C10に分類される。分類C1に属する物は、距離画像における物の形状が、正方形に近い、あるいは円形に近いものである。分類C10に属する物は、距離画像における物の形状が、棒状、あるいは棒状に近いものである。
【００４８】
認識処理部３４は、S21で得られた縦横比が、DSP内の所定の記憶領域に記憶された図９の形状カテゴリー情報に基づいて、図９のいずれの縦横比に近いかによって、形状カテゴリーの分類を決定する。すなわち、S22により、物SBの縦横比から形状分類の情報が得られる。例えば、S21で得られた縦横比の小数点２位以下を四捨五入することによって縦横比を決定し、その決定された縦横比と、図９の縦横比を比較して、分類が決定される。例えば、図７の場合、物SBの縦横比が０．１であれば、物SBは、分類C10に分類される。
【００４９】
図５に戻り、S3の次に、変形度合い判定処理が実行される（S4）。図１０は、変形度合い判定処理の流れを示すフローチャートである。図１１は、物の変形を説明するための図である。変形度合い判定処理を、図１０と図１１を用いて説明する。
【００５０】
まず、認識処理部３４は、距離画像の断面の時系列変換を検出する（S31）。距離画像中の最も大きな距離値の断面の形状が所定の時間内に、例えば１秒以内において、どの程度変化したかが検出される。例えば、あるタイミングにおけるその断面を構成する全画素と、所定の時間経過後の全画素とが比較される。その比較の結果、変化した画素が、全画素のどの程度の割合なのか、が求められる。
【００５１】
図１１は、領域４１内の物SBの断面形状が、所定の時間の間に実線で示す形状から破線で示す形状に変化したとことを示している。図１１では、斜線で示す領域が変化した画素の部分である。
【００５２】
従って、認識処理部３４は、その画素の変化した部分の割合に基づいて、物SBの変形度合いを判定し得る（S32）。
【００５３】
例えば、変化前の物SBの全画素に対する、斜線で示す変化した画素の割合が、５０％以上であれば、物SBは、布等の柔らかい物であると判定される。その割合が、５０％未満であれば、物SBは、硬い物であると判定される。よって、この変形度合い判定処理によって、物SBの変形度合いに応じて、物SBが「硬い」あるいは「柔らかい」に判定される。
【００５４】
なお、この変形度合いは、上述した例は、硬い」あるいは「柔らかい」の２段階に判定されるが、３段階以上細かく判定されるようにしてもよい。
【００５５】
図５に戻り、S4の次に、安全判定処理が実行される（S5）。この安全判定処理は、S2,S3,S4で得られた結果に基づいて、ルールベース処理によって行われる。よって、この判定処理は、認識処理部３４内の推論エンジン部が、DSP内の記憶領域に予め記憶されたルールを用いて行う。ここでは、ルールは、上述した立体形状に関する情報である距離画像から得られた、物SBの体積、形状分類及び変形度合いの３つのパラメータ情報に基づいて規定される。
【００５６】
この所定のルールに基づく判定は、ここでは、電車のドアに挟まれた物が電車の運行に支障があるものであるか否かを基準に行われる。例えば、抽出された物SBが、その体積LLが所定の体積Lth以下であれば非常に小さいものであるので、形状カテゴリーの分類及び変形度合いに拘わらず、電車の運行に支障がない。よって、そのような場合、S5の安全判定処理は、距離画像から得られた各パラメータ情報とそのパラメータ情報に基づく所定のルールに従って、物SBは運行に問題ない物であることを示す検知信号（問題なしを示す信号）を生成する。
【００５７】
また、例えば、抽出された物SBの体積LLが所定の体積Lth以上であるが、縦横比も０．１で分類がC10であり、かつ変形度合いも５０％以上を超えている場合は、物SBは、細長くかつ柔らかい物であるので、S5の安全判定処理は、物SBは運行に問題ない物であることを示す検知信号（問題なしを示す信号）を生成するように、ルールが設定される。
【００５８】
さらにまた、例えば、抽出された物SBの体積LLが所定の体積Lth以上であるが、縦横比も１．０で分類がC1であって、変形度合いが５０％未満の場合は、物SBは、ある体積以上の大きさを有するバルク状の物であるので、S5の安全判定処理は、物SBは運行に支障がある物であることを示す検知信号（問題ありを示す信号）を生成するように、ルールが設定される。
【００５９】
さらにまた、例えば、抽出された物SBの体積LLが所定の体積Lth以上であるが、縦横比も０．１で分類がC10であり、かつ変形度合いが５０％未満の場合は、物SBは、細長いが、硬い物であるので、S5の安全判定処理は、物SBは運行に支障がある物であることを示す検知信号（問題ありを示す信号）を生成するように、ルールが設定される。
【００６０】
このように、安全判定処理は、電車の運行に支障があるか否かを基準に設定されたルールに基づいて行われる。以上に挙げた例以外にも各種のルールを設定して、ルールベース処理において用いられるルールとして予め設定しておくことによって、安全の確認の判定処理を、所望の目的に沿って行うことができる。
【００６１】
以上のように、S5は、抽出された物SBの立体形状に関する情報である距離画像から得られた複数の所定のパラメータ情報と、所定のパラメータ情報に基づく所定のルールとに基づいて、ドアに関する安全の確認の判定を行う判定部を構成する。
【００６２】
ルールは、過去の自己事例に基づいて作成し、問題のある場合の検知精度を上げることができる。例えば、ルールは、時間帯に応じて変更するようにしてもよい。
なお、ルールは、DSP内の書き換え可能な記憶領域に記憶させることによって、追加及び変更が可能である。
【００６３】
さらになお、上述した例では、判定の基準となるルールに用いられるパラメータ情報は、体積、形状分類及び変形度合いの３つであるが、これら３つの全てを用いていないルールを用いてもよい。さらに、これら３つ以外の他のパラメータを、ルールに関する所定のパラメータとして、使用し、あるいは上記３つのパラメータに追加して使用するようにしてもよい。
【００６４】
上述したように、ルールベースで安全の確認処理を行うので、各種の物の形状等を検出するためのパラメータあるいはルールを作成して追加することによって、所望の物の判定をすることができる。
【００６５】
認識処理部３４は、S5の判定結果は通信部に出力する出力処理を実行する（S6）。よって、認識処理部３４による判定結果は、PC１１及び制御装置１２に通信により伝達される。PC１１あるいは制御装置１２は、受信した判定結果に基づいて、必要な音声による警報を行う、あるいは電車のドアが開くように制御信号を出力する等を行うことができるので、ドアに挟まれた物が電車の運行等に支障がある場合に、電車を発車しないようにすることができる。
【００６６】
なお、上述した実施の形態では、ドアの安全確認装置としてのステレオカメラSCが安全の確認処理を行っているが、認識処理部３４の処理を、PC１１の方で行うようにしてもよい。すなわち、ステレオカメラSCは、立体形状の情報として、距離画像を出力し、PC１１あるいは制御装置１２において、認識処理を実行するようにしても、上述した実施の形態と同様の効果を得ることができる。あるいは、ステレオカメラSCは、２つ以上の画像信号を出力し、PC１１あるいは制御装置１２において、距離画像の生成及び認識処理を実行するようにしても、上述した実施の形態と同様の効果を得ることができる。その場合、PC１１が、ドアの安全確認装置の一部を構成する。
【００６７】
以上のように、上述した本実施の形態に係る鉄道車両のドアの安全確認装置によれば、挟まれている物を画像処理により認識して、ドアが閉じた時の安全を確認することができる。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【００６８】
１ 監視システム、１１ PC、１２ 制御装置、２１ 筐体、２２ 対物光学系、３１ CMOSセンサ、３２ 画像取込部、３３ ステレオ処理部、３４ 認識処理部、３５ 通信部
【技術分野】
【０００１】
本発明は、鉄道車両用ドアの安全確認装置に関し、特に、鉄道車両のドアが閉じたときに挟まれた物の立体形状から安全を確認する鉄道車両用ドアの安全確認装置に関する。
【背景技術】
【０００２】
従来より、鉄道車両のドアに物が挟まれたことを検知する技術が広く実用化されている。電車ではドアに物が挟まった状態が検知されると運転手等に知らされ、電車の安全運行が図られている。電車の乗降口のドアに物が挟まれると、ドアが完全に閉まらないことはセンサ等により検知される。エレベータ装置も、ドアに物が挟まれると、センサにより検出されて、ドアが閉じないような機構になっている。
【０００３】
また、近年、鉄道駅のホームでは、電車・列車に乗降する旅客の安全性を高めるため、主に左右ドアの両開き構造を備えたホームドア装置の設置も進んでいる。例えば特開２０１０−７４５６号公報には、ホームドア装置においても、いわゆる戸挟み状態は、電気的なセンサにより、例えば過電流検知センサにより検知して、戸挟み状態を回避する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７４５６号公報（段落番号０００３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の戸挟み状態の検知は、物が挟まれていることを、電気的なセンサにより検出しているので、たとえ挟まれている物が電車の運行に支障の無いような物であっても、戸挟み状態として検知されてしまう、という問題があった。逆に、挟まれている物が、電車の運行に支障があるものであっても、電気的なセンサにより検出できない場合もあった。 そこで、本発明は、挟まれている物を画像処理により認識して、ドアが閉じた時の安全を確認することができる鉄道車両用ドアの安全確認装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、少なくとも２以上の撮像素子によって撮像して得られた少なくとも２つの画像信号に基づいて立体形状に関する情報を生成する立体形状情報生成部と、生成された前記立体形状に関する情報から、鉄道車両のドアを含む所定の背景画像の部分を分離する背景画像分離部と、前記背景画像分離部において前記所定の背景画像の部分が分離されて残った立体形状に関する情報から、前記ドアに挟まれている物の立体形状に関する情報を抽出する立体形状物抽出部と、前記立体形状物抽出部において抽出された前記物の立体形状に関する情報から得られた所定のパラメータ情報と前記所定のパラメータ情報に基づく所定のルールとに基づいて、前記ドアに関する安全の確認の判定を行う判定部と、を有する鉄道車両用ドアの安全確認装置を提供することができる。
【発明の効果】
【０００７】
本発明によれば、挟まれている物を画像処理により認識して、鉄道車両のドアが閉じた時の安全を確認することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る、ステレオカメラにより駅のホームを撮影している監視システム１を説明するための図である。
【図２】本発明の実施の形態に係るステレオカメラの外観図である。
【図３】本発明の実施の形態に係るステレオカメラSCの構成を示すブロック図である。
【図４】本発明の実施の形態に係るステレオカメラSCにより得られた距離画像の例を説明するための図である。
【図５】本発明の実施の形態に係る、各ステレオカメラSCの認識処理部３４における処理の内容を示すフローチャートである
【図６】本発明の実施の形態に係る体積演算処理の流れを示すフローチャートである。
【図７】本発明の実施の形態に係る体積演算を説明するための図である。
【図８】本発明の実施の形態に係る形状カテゴリーの分類処理の流れを示すフローチャートである。
【図９】本発明の実施の形態に係る予め決められた形状カテゴリーの分類の例を示す図である。
【図１０】本発明の実施の形態に係る変形度合い判定処理の流れを示すフローチャートである。
【図１１】本発明の実施の形態に係る、物の変形を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。ここでは、鉄道の駅のホーム端上に設置されたステレオカメラを用いて鉄道車両のドアの閉まったときの安全を確認する装置を例に挙げて説明する。
図１は、ステレオカメラにより、駅のホームを撮影している監視システム１を説明するための図である。図１は、ホームを電車の進行方向から見た図である。図１では、１つのステレオカメラSCのみが示されているが、複数のステレオカメラが、鉄道の線路が敷かれる地面G上の長いホームHの縁に沿って天井に設置され、電車とホームの全体を鉛直方向から監視している。各ステレオカメラは、電車Tが停止したときに、電車のドアに挟まれた物を撮像可能な位置に設置される。
【００１０】
ホームHの端を監視する監視用カメラであるステレオカメラSCは、２つの撮像素子を有しており、各撮像素子の光学系は、所定の間隔を開けて光軸が互いに平行になるように配置されている。ステレオカメラSCは、図１に示すように、その撮像方向がホームHの線路側の端の床面に対して直交する方向となるように、固定されて設置されている。
【００１１】
監視システム１は、複数のステレオカメラSC（図１では１台のステレオカメラのみ示している）と、ステレオカメラSCと通信ケーブルCBにより接続されたパーソナルコンピュータ（以下、PCと略す）１１と、駅あるいは電車の制御装置１２とを含んで構成されている。
【００１２】
PC１１及び制御装置１２は、例えば、駅の監視室に配置され、駅員等の監視者は、PC１１あるいは制御装置１２に接続されたモニタに、各ステレオカメラSCにおいて取得された動画像を表示させて、駅ホームの様子を見ることができる。
PC１１は、各ステレオカメラSCと通信を行い、各ステレオカメラSCへ、安全確認の処理の実行を指示し、各ステレオカメラSCからの検知信号を受信して制御装置１２へ出力する。
【００１３】
制御装置１２は、駅員等による指示が入力され、その指示をPC１１へ伝える装置である。以下の例では、電車のドアが閉じたときに、安全確認の実行を指示する安全確認指示信号がPC１１へ出力される。PC１１は、その安全確認指示信号を受信すると、各ステレオカメラSCへ安全確認の処理を実行するように指示する所定のコマンドを出力する。なお、PC１１は、安全確認指示信号をそのまま各ステレオカメラSCへ転送して安全確認の処理の実行をさせるようにしてもよい。
【００１４】
ステレオカメラSCは、そのコマンドを受信すると安全確認の処理を実行し、画像処理により所定の立体形状の物がドアに挟まれているかを判定し、その判定結果を検知信号としてPC１１へ出力する。制御装置１２は、その検知信号を受信すると、モニタ表示、音声出力等により監視者に所定の立体形状の物がドアに挟まれているあるいは挟まれていないことを告知する。
【００１５】
（ステレオカメラSCの構成）
図２は、ステレオカメラの外観図である。ステレオカメラSCの筐体２１の一側面には、例えば、２つの対物光学系２２が所定の距離だけ離れて光軸が互いに平行になるように設けられている。２つの対物光学系２２は、対物レンズであり、筐体２１内の各対物レンズの後ろ側には、CMOSセンサ等の撮像素子が設けられている。２つの対物光学系２２の設けられた面が、ホームHの床面に対向するように、ステレオカメラSCは、駅のホームH上に設置される。
【００１６】
なお、ここでは、各ステレオカメラSCは、ステレオ撮像のために２つの撮像素子を有している例で説明するが、ステレオ撮像のために３つ以上の撮像素子を有していてもよく、少なくとも２つの撮像素子を有していればよい。
【００１７】
また、ステレオカメラSCには、PC１１と接続するための通信ケーブルCBが接続されている。
図３は、ステレオカメラSCの構成を示すブロック図である。ステレオカメラSCは、カメラとしての２つのCMOSセンサ３１、２つの画像取込部３２、ステレオ処理部３３、認識処理部３４、通信部３５を有しており、筐体２１内の図示しない基板上に設けられている。本実施の形態では、２つの画像取込部３２、ステレオ処理部３３及び認識処理部３４は、DSPにより構成される。
【００１８】
各CMOSセンサ３１は、対物光学系２２からの光を受けて撮像信号を、対応する画像取込部３２に出力する。
【００１９】
各画像取込部３２は、CMOSセンサ３１からの撮像信号を取り込み、その撮像素子から画像信号を生成して、ステレオ処理部３３に供給する処理部である。
【００２０】
ステレオ処理部３３は、入力された２つの動画像の画像信号に基づき、立体形状に関する情報としての距離画像を生成する処理部である。距離画像は、各画素値が距離値である画像情報である。なお、距離画像は、画素値が３次元空間内の位置を示す情報であってもよい。すなわち、ステレオ処理部３３は、２つの撮像素子によって撮像して得られた２つの画像信号に基づいて立体形状に関する情報を生成する立体形状情報生成部を構成する。
【００２１】
認識処理部３４は、ステレオ処理部３３で得られた距離画像の情報に基づいて、立体形状を認識し、ドアが閉じたときの安全が確認されたことを示す、あるいは安全でないことを示す検知信号を出力する処理部である。
【００２２】
すなわち、認識処理部３４は、ステレオ処理部３３で生成された距離画像の情報に基づいて、画像中の、閉じたドアに挟まれている物の立体形状を認識し、その立体形状が所定の条件に合致しない場合あるいは合致した場合に、安全であるあるいは安全でないことを示す検知信号を出力する処理部である。
【００２３】
通信部３５は、PC１１からの所定のコマンドを受信すると認識処理部３４に対して安全確認の処理を実行する指示を与え、認識処理部３４から検知信号を受信すると、安全確認の判定情報としての検知信号をPC１１へ送信する処理部である。通信部３５は、図示しないインターフェース回路及びコネクタを介して、通信ケーブルCBに接続されている。
【００２４】
さらに、通信部３５は、画像取込部３２にも接続されており、CMOSセンサ３１の両方あるいは一方から得られた動画像の画像信号を、所定のタイミングでPC１１へ送信することができるようになっている。よって、PC１１では、各ステレオカメラSCからの画像信号をモニタ上に表示することができる。
【００２５】
図４は、ステレオカメラSCにより得られた距離画像の例を説明するための図である。
電車Tが駅において停車し乗客の乗降が済んで、電車の全ての乗降用のドアが閉じられると、上記のコマンドに基づいて、各ステレオカメラSCは、得られた画像に基づいて、安全確認の処理を実行する。
【００２６】
ステレオカメラSCは固定されており、かつ電車T及びホームHの位置も動かないので、生成された距離画面IR中、電車T及びホームHの領域は固定である。図４は、ステレオカメラSCによる撮像され各画素の距離値が生成された領域の画像である。図４の距離画像IR中、斜線で示された、所定の領域、すなわち電車Tの領域TR、地面Gの領域GR、及びホームHの領域HRの各領域は、その距離値及び範囲が予め判っている領域である。電車Tの領域TRには、ドアが含まれる。
【００２７】
すなわち、これら３つの領域TR,GR,HRの範囲と距離の値は、予め判っており、一定である。よって、これらの領域において、所定の距離値の画素の領域は、背景画像の部分の画素領域であり、これらの領域において、所定の距離値でない画素の領域は、ドアに挟まっている物の立体形状の画素領域となる。
【００２８】
図４は、人Mと物SBが、画像IR中に存在することを示している。距離画像IR中、立っている人Mは、頭の部分の距離値は、頭頂までの距離が最も短く、頭頂から周囲にかけて徐々に長くなっていく。さらに肩の部分の距離値は、頭頂から所定の距離の範囲の中に、頭頂から所定の範囲内で肩の高さに相当する距離値となる。よって、このような距離値が得られれば、距離画像IR中、立っている人Mを認識することができる。
また、２つのドアに挟まれた物は、ホームHの端及びその近傍領域に存在し、かつ領域TR,GR,HRの距離値と異なる距離の物体として、認識することができる。
【００２９】
図４は、ホームHに人Mが存在し、棒状の物である物SBが、ホームHの端及びその近傍領域に存在していることが示されている。図４において、２点鎖線で示された建築限界内（ここではホームHの端及びその近傍）には、通常、物は存在していない。電車のドアが閉じたときに、ホームHの端及びその近傍領域に物が存在する場合、ドアに挟まれた物SBが存在する可能性がある。
【００３０】
図４において、点線で示す領域４１が、安全確認の処理の対象領域として予め設定される。領域４１は、電車のドアが閉まったときに物が挟まれて電車の外に飛び出した部分が存在する可能性のある領域である。電車の停止位置は、予め決まっているので、その停止する可能性のある範囲内を含み、かつ挟まれた物の電車の外に飛び出した部分が存在する可能性のある領域が、ステレオカメラSCに領域４１として設定される。
【００３１】
電車T、地面G及びホームHの領域及び距離は予め判っているので、その領域４１内における電車T、地面G及びホームHの各領域TR,GR,HRの画素の情報が、DSP中の記憶領域に予め記憶されている。よって、後述するように、認識処理部３４は、その領域４１の距離画像と、予め記憶されている各領域TR,GR,HRの画素の情報とを比較することによって、背景分離処理が行われる。背景分離されて抽出された物の立体形状に基づき、安全確認の判定処理が行われる。
【００３２】
認識処理部３４は、ステレオ処理部３３において距離画像が生成された距離画像に基づいて、ホームHの端及びその近傍に物が存在するか否か、そして、その物が電車の運行に支障があるか否かあるかの判定を行い、判定結果として検知信号を出力する。
【００３３】
（処理の内容）
図５は、各ステレオカメラSCの認識処理部３４における処理の内容を示すフローチャートである。
【００３４】
電車のドアが閉じて、発車する前に、ドアに物が挟まれていないか、あるいは挟まれていても、電車の運行等に支障のない物であるか、の安全確認が行われる。その安全確認は、各ステレオカメラSCにおいて、実行される。すなわち、各ステレオカメラSCが、鉄道車両用ドアの安全確認装置である。全てのドアについて、安全が確認されなければ電車は発車することができない。その安全確認のための指示は、安全確認指示信号によって行われる。
【００３５】
安全確認指示信号は、例えば、駅に設置されたボタンが押されると制御装置１２に入力されるようにしてもよいし、駅の監視室に設置されたボタンが押されると制御装置１２に入力されるようにしてもよい。制御装置１２は、安全確認指示信号が入力されると、その安全確認指示信号をPC１１へ転送する。PC１１は、その安全確認指示信号を受信すると、コマンドを各ステレオカメラSCへ転送する。
【００３６】
PC１１からの所定のコマンドが受信されると、通信部３５は、安全確認の処理を実行するように認識処理部３４に所定の信号を出力する。認識処理部３４は、その所定の信号を受信すると、所定の時間の間、図５の処理を実行する。すなわち、認識処理は、所定の信号を受信した後に、一定時間の間実行される。
【００３７】
図５の処理は、DSPに含まれる認識処理部３４によって実行される。まず、得られた距離画像中の所定の領域４１内について、背景分離処理が実行される（ステップ（以下、Sと略す）1）。背景分離処理は、上述したように、電車T、地面G及びホームHの各領域及び距離は予め判っているので、その各領域及びその対応する距離の情報に合致する画素を背景画素の部分として、距離画像IRから分離する処理である。電車T、地面G及びホームHの各領域TR,GR,HRの画素の情報が、DSP中の記憶領域に予め記憶されている。背景分離処理では、その予め記憶されている各領域TR,GR,HRの画素の情報と、生成された距離画像の各画素を比較することによって、背景を分離することができる。その結果、領域４１内において、背景でない画像のみの距離画像が抽出される。
【００３８】
よって、S1は、生成された立体形状に関する情報である距離画像から、ドアを含む所定の背景画像の部分を分離する背景画像分離部を構成すると共に、所定の背景画像の部分が分離されて残った立体形状に関する情報である距離画像から、ドアに挟まれている物の立体形状に関する情報を抽出する立体形状物抽出部を構成する。
【００３９】
次に、体積演算処理が実行される（S2）。体積演算の処理を、図６と図７を用いて説明する。図６は、体積演算処理の流れを示すフローチャートである。図７は、体積演算を説明するための図である。
図４においては、S1により物SBについての立体形状に関する情報である距離画像が抽出されるので、まず、その物SBの距離画像の各距離値に対応する断面積が演算される（S11）。図７に示すように、物SBは、ホームHの上から撮像されているので、物SBの下側の形状は、不明である。図７は、物SBの例として、傘を示している。図７は、傘がドアから水平方向に飛び出ている例を示す。物SBが傘である場合、その物は略円錐形状を有しているので、距離画像は上側の表面の距離値からなるデータである。
【００４０】
よって、体積演算では、物SBの下側の形状（２点鎖線で示す）を考慮せず、上側の距離画像のデータから、各距離値の断面積が演算される。まず、例えば、図７に示すように、抽出された物SBの最も外周側の距離値を有する画素PR1によって囲まれた領域（斜線で示す）の面積S1が演算される。図７において矢印Aで示す方向が、ステレオカメラSCの視線方向である。画素PR1の外縁の画素値は、すなわち距離値は、同じである。但し、ここでは、図４及び図７に示すように、物SBのドア側の部分の画素値は得られないので、ここでは、同じ距離値を有する画素PR1の描く曲線の端点を結んだ線で囲まれた領域の内側の面積が、断面積SS1とする。図７では、同じ距離値を有する画素PR1により形成される曲線（あるいは直線）と、その曲線の２つの端点Tを結んだ線TLとによって、囲まれた領域の面積が、画素PR1に対応する断面積となる。
【００４１】
次に、最も外周側の距離値よりも次に距離値が大きい画素PR2によって囲まれた領域の面積SS2が、同様に演算される。さらに、続いて、面積SS2に対応する距離値PR2よりも次に距離値が大きい画素PR3によって囲まれた領域の面積SS3が演算される。このような断面積の演算が、物SBに関わる全ての距離値について行われる。S11の結果として、物SBの各距離値に応じた断面積が得られる。
【００４２】
次に、S11で得られた各断面積を距離値に基づいて正規化し、物SBの体積を演算して推定する（S12）。
S11で得られた各断面積は、ステレオカメラSBから物SBまでの距離に応じて、異なる。そこで、物SBまでの距離に応じた断面積の正規化が必要となる。ステレオカメラSBから物SBまでの距離は、例えば、物SBの距離画像における最小の距離値、あるいは、物SBの距離画像における距離値の平均値とする。S11で得られた各断面積に、ステレオカメラSBから物SBまでの距離値の二乗を乗算することによって、その断面積の正規化が行われる。なお、ステレオカメラSBから物SBまでの距離の決める方法は、別の方法でもよい。
【００４３】
そして、正規化された各断面積から、物SBの体積LLを演算して求める（S12）。体積LLは、各断面積の和をとることにより得ることができる。
【００４４】
図５に戻り、S2の次に、形状カテゴリーの分類処理が実行される（S3）。図８は、形状カテゴリーの分類処理の流れを示すフローチャートである。形状カテゴリーの分類処理を、図７と図８を用いて説明する。
【００４５】
まず、距離画像の断面の縦横比を演算して求める（S21）。この縦横比は、物SBの縦の長さと横の長さの比であり、図４と図７においては、例えば、ドアの表面に直交する方向を横方向としたときに、物SBのその横方向の長さと、その横方向に直交する縦方向の長さを求めて、その縦と横の長さの比が求められる。
【００４６】
図７の場合、物SBは傘であるので、距離画像中の最も大きな距離値の断面積（SS1）の形状において、横方句の長さLRと縦方向の長さLLから求めた縦横比（縦／横）は、小さくなる。また、バッグのような物の場合は、縦横比は、傘に比べて大きくなる。
【００４７】
そして、得られた縦横比から、形状カテゴリーの分類を決定する（S22）。形状カテゴリーは、縦横比に応じて、予め複数に分類されている。図９は、その予め決められた形状カテゴリーの分類の例を示す図である。図９のテーブルデータが、DSP内の所定の記憶領域に予め記憶される。
図９の場合、形状カテゴリーは、縦横比に応じて、１０個に分類される。図９の場合、縦横比が１の物は、形状カテゴリーの中の分類C1に分類される。縦横比が０．５の物は、形状カテゴリーの中の分類C2に分類される。また、縦横比が０．１の物は、形状カテゴリーの中の分類C10に分類される。分類C1に属する物は、距離画像における物の形状が、正方形に近い、あるいは円形に近いものである。分類C10に属する物は、距離画像における物の形状が、棒状、あるいは棒状に近いものである。
【００４８】
認識処理部３４は、S21で得られた縦横比が、DSP内の所定の記憶領域に記憶された図９の形状カテゴリー情報に基づいて、図９のいずれの縦横比に近いかによって、形状カテゴリーの分類を決定する。すなわち、S22により、物SBの縦横比から形状分類の情報が得られる。例えば、S21で得られた縦横比の小数点２位以下を四捨五入することによって縦横比を決定し、その決定された縦横比と、図９の縦横比を比較して、分類が決定される。例えば、図７の場合、物SBの縦横比が０．１であれば、物SBは、分類C10に分類される。
【００４９】
図５に戻り、S3の次に、変形度合い判定処理が実行される（S4）。図１０は、変形度合い判定処理の流れを示すフローチャートである。図１１は、物の変形を説明するための図である。変形度合い判定処理を、図１０と図１１を用いて説明する。
【００５０】
まず、認識処理部３４は、距離画像の断面の時系列変換を検出する（S31）。距離画像中の最も大きな距離値の断面の形状が所定の時間内に、例えば１秒以内において、どの程度変化したかが検出される。例えば、あるタイミングにおけるその断面を構成する全画素と、所定の時間経過後の全画素とが比較される。その比較の結果、変化した画素が、全画素のどの程度の割合なのか、が求められる。
【００５１】
図１１は、領域４１内の物SBの断面形状が、所定の時間の間に実線で示す形状から破線で示す形状に変化したとことを示している。図１１では、斜線で示す領域が変化した画素の部分である。
【００５２】
従って、認識処理部３４は、その画素の変化した部分の割合に基づいて、物SBの変形度合いを判定し得る（S32）。
【００５３】
例えば、変化前の物SBの全画素に対する、斜線で示す変化した画素の割合が、５０％以上であれば、物SBは、布等の柔らかい物であると判定される。その割合が、５０％未満であれば、物SBは、硬い物であると判定される。よって、この変形度合い判定処理によって、物SBの変形度合いに応じて、物SBが「硬い」あるいは「柔らかい」に判定される。
【００５４】
なお、この変形度合いは、上述した例は、硬い」あるいは「柔らかい」の２段階に判定されるが、３段階以上細かく判定されるようにしてもよい。
【００５５】
図５に戻り、S4の次に、安全判定処理が実行される（S5）。この安全判定処理は、S2,S3,S4で得られた結果に基づいて、ルールベース処理によって行われる。よって、この判定処理は、認識処理部３４内の推論エンジン部が、DSP内の記憶領域に予め記憶されたルールを用いて行う。ここでは、ルールは、上述した立体形状に関する情報である距離画像から得られた、物SBの体積、形状分類及び変形度合いの３つのパラメータ情報に基づいて規定される。
【００５６】
この所定のルールに基づく判定は、ここでは、電車のドアに挟まれた物が電車の運行に支障があるものであるか否かを基準に行われる。例えば、抽出された物SBが、その体積LLが所定の体積Lth以下であれば非常に小さいものであるので、形状カテゴリーの分類及び変形度合いに拘わらず、電車の運行に支障がない。よって、そのような場合、S5の安全判定処理は、距離画像から得られた各パラメータ情報とそのパラメータ情報に基づく所定のルールに従って、物SBは運行に問題ない物であることを示す検知信号（問題なしを示す信号）を生成する。
【００５７】
また、例えば、抽出された物SBの体積LLが所定の体積Lth以上であるが、縦横比も０．１で分類がC10であり、かつ変形度合いも５０％以上を超えている場合は、物SBは、細長くかつ柔らかい物であるので、S5の安全判定処理は、物SBは運行に問題ない物であることを示す検知信号（問題なしを示す信号）を生成するように、ルールが設定される。
【００５８】
さらにまた、例えば、抽出された物SBの体積LLが所定の体積Lth以上であるが、縦横比も１．０で分類がC1であって、変形度合いが５０％未満の場合は、物SBは、ある体積以上の大きさを有するバルク状の物であるので、S5の安全判定処理は、物SBは運行に支障がある物であることを示す検知信号（問題ありを示す信号）を生成するように、ルールが設定される。
【００５９】
さらにまた、例えば、抽出された物SBの体積LLが所定の体積Lth以上であるが、縦横比も０．１で分類がC10であり、かつ変形度合いが５０％未満の場合は、物SBは、細長いが、硬い物であるので、S5の安全判定処理は、物SBは運行に支障がある物であることを示す検知信号（問題ありを示す信号）を生成するように、ルールが設定される。
【００６０】
このように、安全判定処理は、電車の運行に支障があるか否かを基準に設定されたルールに基づいて行われる。以上に挙げた例以外にも各種のルールを設定して、ルールベース処理において用いられるルールとして予め設定しておくことによって、安全の確認の判定処理を、所望の目的に沿って行うことができる。
【００６１】
以上のように、S5は、抽出された物SBの立体形状に関する情報である距離画像から得られた複数の所定のパラメータ情報と、所定のパラメータ情報に基づく所定のルールとに基づいて、ドアに関する安全の確認の判定を行う判定部を構成する。
【００６２】
ルールは、過去の自己事例に基づいて作成し、問題のある場合の検知精度を上げることができる。例えば、ルールは、時間帯に応じて変更するようにしてもよい。
なお、ルールは、DSP内の書き換え可能な記憶領域に記憶させることによって、追加及び変更が可能である。
【００６３】
さらになお、上述した例では、判定の基準となるルールに用いられるパラメータ情報は、体積、形状分類及び変形度合いの３つであるが、これら３つの全てを用いていないルールを用いてもよい。さらに、これら３つ以外の他のパラメータを、ルールに関する所定のパラメータとして、使用し、あるいは上記３つのパラメータに追加して使用するようにしてもよい。
【００６４】
上述したように、ルールベースで安全の確認処理を行うので、各種の物の形状等を検出するためのパラメータあるいはルールを作成して追加することによって、所望の物の判定をすることができる。
【００６５】
認識処理部３４は、S5の判定結果は通信部に出力する出力処理を実行する（S6）。よって、認識処理部３４による判定結果は、PC１１及び制御装置１２に通信により伝達される。PC１１あるいは制御装置１２は、受信した判定結果に基づいて、必要な音声による警報を行う、あるいは電車のドアが開くように制御信号を出力する等を行うことができるので、ドアに挟まれた物が電車の運行等に支障がある場合に、電車を発車しないようにすることができる。
【００６６】
なお、上述した実施の形態では、ドアの安全確認装置としてのステレオカメラSCが安全の確認処理を行っているが、認識処理部３４の処理を、PC１１の方で行うようにしてもよい。すなわち、ステレオカメラSCは、立体形状の情報として、距離画像を出力し、PC１１あるいは制御装置１２において、認識処理を実行するようにしても、上述した実施の形態と同様の効果を得ることができる。あるいは、ステレオカメラSCは、２つ以上の画像信号を出力し、PC１１あるいは制御装置１２において、距離画像の生成及び認識処理を実行するようにしても、上述した実施の形態と同様の効果を得ることができる。その場合、PC１１が、ドアの安全確認装置の一部を構成する。
【００６７】
以上のように、上述した本実施の形態に係る鉄道車両のドアの安全確認装置によれば、挟まれている物を画像処理により認識して、ドアが閉じた時の安全を確認することができる。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【００６８】
１ 監視システム、１１ PC、１２ 制御装置、２１ 筐体、２２ 対物光学系、３１ CMOSセンサ、３２ 画像取込部、３３ ステレオ処理部、３４ 認識処理部、３５ 通信部
【特許請求の範囲】
【請求項１】
少なくとも２以上の撮像素子によって撮像して得られた少なくとも２つの画像信号に基づいて立体形状に関する情報を生成する立体形状情報生成部と、
生成された前記立体形状に関する情報から、鉄道車両のドアを含む所定の背景画像の部分を分離する背景画像分離部と、
前記背景画像分離部において前記所定の背景画像の部分が分離されて残った立体形状に関する情報から、前記ドアに挟まれている物の立体形状に関する情報を抽出する立体形状物抽出部と、
前記立体形状物抽出部において抽出された前記物の立体形状に関する情報から得られた所定のパラメータ情報と前記所定のパラメータ情報に基づく所定のルールとに基づいて、前記ドアに関する安全の確認の判定を行う判定部と、
を有することを特徴とする鉄道車両用ドアの安全確認装置。
【請求項２】
前記立体形状に関する情報は、前記少なくとも２つの画像信号に基づいて生成され、各画素が距離あるいは３次元空間内の位置を示す値である距離画像であることを特徴とする請求項１に記載の鉄道車両用ドアの安全確認装置。
【請求項３】
前記所定のパラメータ情報は、前記物の立体形状に関する情報から得られた前記物についての体積、形状分類及び変形度合いのパラメータの内の少なくとも２つを含むことを特徴とする請求項１又は２に記載の鉄道車両用ドアの安全確認装置。
【請求項４】
前記背景分離部は、前記立体形状に関する情報中の所定の領域の前記立体形状に関する情報から前記所定の背景画像の部分を分離し、
前記立体形状物抽出部は、前記所定の領域における前記物の立体形状に関する画像を抽出することを特徴とする請求項１から３のいずれか１つに記載の鉄道車両用ドアの安全確認装置。
【請求項５】
前記所定のルールは、追加及び変更が可能であることを特徴とする請求項１から４のいずれか１つに記載の鉄道車両用ドアの安全確認装置。
【請求項１】
少なくとも２以上の撮像素子によって撮像して得られた少なくとも２つの画像信号に基づいて立体形状に関する情報を生成する立体形状情報生成部と、
生成された前記立体形状に関する情報から、鉄道車両のドアを含む所定の背景画像の部分を分離する背景画像分離部と、
前記背景画像分離部において前記所定の背景画像の部分が分離されて残った立体形状に関する情報から、前記ドアに挟まれている物の立体形状に関する情報を抽出する立体形状物抽出部と、
前記立体形状物抽出部において抽出された前記物の立体形状に関する情報から得られた所定のパラメータ情報と前記所定のパラメータ情報に基づく所定のルールとに基づいて、前記ドアに関する安全の確認の判定を行う判定部と、
を有することを特徴とする鉄道車両用ドアの安全確認装置。
【請求項２】
前記立体形状に関する情報は、前記少なくとも２つの画像信号に基づいて生成され、各画素が距離あるいは３次元空間内の位置を示す値である距離画像であることを特徴とする請求項１に記載の鉄道車両用ドアの安全確認装置。
【請求項３】
前記所定のパラメータ情報は、前記物の立体形状に関する情報から得られた前記物についての体積、形状分類及び変形度合いのパラメータの内の少なくとも２つを含むことを特徴とする請求項１又は２に記載の鉄道車両用ドアの安全確認装置。
【請求項４】
前記背景分離部は、前記立体形状に関する情報中の所定の領域の前記立体形状に関する情報から前記所定の背景画像の部分を分離し、
前記立体形状物抽出部は、前記所定の領域における前記物の立体形状に関する画像を抽出することを特徴とする請求項１から３のいずれか１つに記載の鉄道車両用ドアの安全確認装置。
【請求項５】
前記所定のルールは、追加及び変更が可能であることを特徴とする請求項１から４のいずれか１つに記載の鉄道車両用ドアの安全確認装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１１９８７（Ｐ２０１２−１１９８７Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５３４４３（Ｐ２０１０−１５３４４３）
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【出願人】（０００２２１６１６）東日本旅客鉄道株式会社 (833)
【出願人】（５０１２１２７９３）東日本トランスポーテック株式会社 (5)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【出願人】（０００２２１６１６）東日本旅客鉄道株式会社 (833)
【出願人】（５０１２１２７９３）東日本トランスポーテック株式会社 (5)
【Ｆターム（参考）】
[ Back to top ]