駅ホームの監視カメラシステム
【課題】カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる駅ホームの監視カメラシステムを提供する。
【解決手段】監視カメラシステムは、数珠繋ぎ接続された複数のステレオカメラSCと制御装置とを含む。各ステレオカメラSCは、画像取込部32と、距離画像を生成するステレオ処理部33と、距離画像の情報に基づいて立体形状を認識し、かつホームの高さ方向において所定の高さの範囲内であって、ホームの縁と電車との間の隙間から所定の空間内における、人の頭部を検出する立体認識部34と、通信制御部35とを有する。制御装置は、通信制御部と、複数のステレオカメラSCの画像信号を合成して得られたパノラマ画像に基づいて指定された表示形態の表示画像を生成する画像処理部と、画像出力部とを有する。
【解決手段】監視カメラシステムは、数珠繋ぎ接続された複数のステレオカメラSCと制御装置とを含む。各ステレオカメラSCは、画像取込部32と、距離画像を生成するステレオ処理部33と、距離画像の情報に基づいて立体形状を認識し、かつホームの高さ方向において所定の高さの範囲内であって、ホームの縁と電車との間の隙間から所定の空間内における、人の頭部を検出する立体認識部34と、通信制御部35とを有する。制御装置は、通信制御部と、複数のステレオカメラSCの画像信号を合成して得られたパノラマ画像に基づいて指定された表示形態の表示画像を生成する画像処理部と、画像出力部とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、駅ホームの監視カメラシステムに関し、特に、複数のステレオカメラを含む駅ホームの監視カメラシステムに関する。
【背景技術】
【0002】
従来より、駅ホームを監視する監視カメラシステムが実用化されている。例えば、駅ホームを監視するための監視用カメラは、ホームの天井の下に設置され、略水平方向をカメラの画角内に入るように、ホームを撮像する。長いホームに、例えば4台のカメラが設置される。
しかし、各カメラは、斜め方向からホームを撮像するため、朝日あるいは夕日等の影響を受けて画像そのものが適切に得られない場合があり、さらに他の乗客のために陰になる乗客がカメラに映らない場合があることから、人の線路転落の確実な検知ができないという問題がある。そこで、駅の線路側のホーム端に複数のステレオカメラを設置して監視し、距離情報と画像情報を得て、人と他のものを識別するシステムが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−58737号(特許第3785456号)公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、各カメラをホーム上に設置し、各カメラのケーブルをセンタ装置に接続するように配線し、設置しなければならないので、多くのステレオカメラを監視場所に設置することは、容易ではなくコストも掛かるという問題がある。
【0005】
さらに、上記提案に係るシステムでは、人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることの検出については、何ら開示されていない。
【0006】
そこで、本発明は、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる駅ホームの監視カメラシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、数珠繋ぎ接続された複数のステレオカメラと、数珠繋ぎ接続された前記複数のステレオカメラの末端のステレオカメラに接続された制御装置と、を含み、各ステレオカメラは、ステレオ撮像のための少なくとも2つの撮像素子と、前記少なくとも2つの撮像素子からの撮像信号を取り込み、少なくとも2つの画像信号を生成する画像取込部と、前記少なくとも2つの画像信号を処理して距離画像を生成するステレオ処理部と、前記ステレオ処理部で生成された前記距離画像の情報に基づいて、立体形状を認識し、かつホームの高さ方向において所定の高さの範囲内であって、前記ホームの縁と電車との間の隙間から所定の空間内における、人の頭部を検出する立体形状認識部と、前記立体形状認識部により認識された立体形状の認識情報及び前記少なくとも2つの画像信号の1つを送信する通信制御部と、を有し、前記制御装置は、前記立体形状の認識情報及び前記少なくとも2つの画像信号の1つを受信するデータ受信部と、前記複数のステレオカメラの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する画像処理部と、前記画像処理部において生成された前記指定された表示形態の表示画像の画像信号を、画像表示装置に出力する画像出力部と、を有する駅ホームの監視カメラシステムを提供することができる。
【発明の効果】
【0008】
本発明によれば、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施の形態に係る監視カメラシステムの複数のステレオカメラの設置状況を説明するための図であり、電車の進行方向に対して直交する水平方向からホームを見た図である。
【図2】本発明の実施の形態に係る監視カメラシステムの複数のステレオカメラの設置状況を説明するための図であり、ホームを電車の進行方向から見た図である。
【図3】本発明の実施の形態に係る、ホームHの監視カメラシステムの構成図である。
【図4】本発明の実施の形態に係る、ステレオカメラSCの外観図である。
【図5】本発明の実施の形態に係る、ステレオカメラSCの構成を示すブロック図である。
【図6】本発明の実施の形態に係る、センタ装置としての制御装置11の構成を示すブロック図である。
【図7】本発明の実施の形態に係る、複数の動画像を繋げて、連続した動画像のパノラマ画像PIが生成された様子を示す図である。
【図8】本発明の実施の形態に係る、各ステレオカメラSCのDSPにおける処理の内容を示すフローチャートである。
【図9】本発明の実施の形態に係る、各ステレオカメラによりパノラマ画像が生成される処理の流れを示すフローチャートである。
【図10】本発明の実施の形態に係る、各ステレオカメラSCのステレオ処理可能な領域を示す図である。
【図11】本発明の実施の形態に係る、隣り合う2台のカメラの、お互いに近い方のCMOSセンサ31を2台利用して、より広範囲なステレオ処理可能な領域OAを示す図である。
【図12】本発明の実施の形態に係る、画像の射影変換の例を説明するための図である。
【図13】本発明の実施の形態に係る、画像IBの視点位置の変更を説明するための図である。
【図14】本発明の実施の形態に係る、人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態を説明するための図である。
【図15】本発明の実施の形態に係るステレオカメラSCにより撮像された、宙吊り状態の人Mを含む画像の例を示す図である。
【図16】本発明の実施の形態に係る、人Mが宙吊り状態にあるときの頭部の検出を行う処理の流れのフローチャートである。
【図17】本発明の実施の形態に係る、複数のステレオカメラSCが撮像する範囲を説明するための図である。
【図18】本発明の実施の形態に係る、モニタ12及び車掌用モニタ12aに出力された切り出し画像IRaの例を示す図である。
【図19】本発明の実施の形態に係る、電車Tにおける車掌の動作を説明するための図である。
【図20】本発明の実施の形態に係る、電車Tの外側面上に設けられた4つの領域HR1,HR2,HR3,HR4が、指示線BLと文字によって示されている例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態を説明する。
(全体構成)
図1と図2は、本発明の実施の形態に係る駅ホームの監視カメラシステムの複数のステレオカメラの設置状況を説明するための図である。ここでは、鉄道の駅のホーム端上に設置された複数のステレオカメラを例に挙げて説明する。図1は、電車の進行方向に対して直交する水平方向からホームを見た図であり、図2は、ホームを電車の進行方向から見た図である。
【0011】
鉄道の線路が敷かれる地面G上のホームHは、天井Rの下に設置された複数のステレオカメラSCによって監視される。複数のステレオカメラSCは、固定部材SMにより天井Rの下に固定された配線ダクトD内を通る通信ケーブルにより、後述するようにデイジーチェーン接続されている。
【0012】
各ステレオカメラSCは、それぞれが2つの撮像素子を有しており、各撮像素子の光学系は、所定の間隔を開けて光軸が互いに平行になるように配置されている。各ステレオカメラSCは、図2に示すように、その撮像方向がホームHの線路側の端の床面に対して直交する方向となるように、固定されて設置されている。
【0013】
また、図1に示すように、各ステレオカメラSCによる距離情報が得られる撮像範囲R1は、隣りのステレオカメラSCの撮像範囲R1と重なり合って、後述するように、幾何補正及びアルファブレンドしてパノラマ画像を作成できるように、複数のステレオカメラSCは、配置され設置されている。
【0014】
各ステレオカメラSCは、ホームHの端を監視する監視用カメラである。複数のステレオカメラSCは、ホームHの端上に死角が無いように、ホームHの端から端まで撮像している。例えば、100台のステレオカメラが300mの長さのホームHに設置される。
【0015】
図3は、ホームHの監視カメラシステムの構成図である。図3に示すように、ホームHの監視カメラシステム1は、複数のステレオカメラSCと、隣り合う2台のステレオカメラSCを接続する通信ケーブルCBと、制御装置11と、画像表示装置であるモニタ12と、操作パネル13とを含んで構成されている。
【0016】
複数のステレオカメラSCは、所謂数珠繋ぎ接続であるデイジーチェーン接続され、末端の通信ケーブルCBにより、制御装置11に接続される。通信ケーブルCBは、電源供給可能な信号線であり、例えば、電源供給も可能なパワー・オーバ・イーサネット(登録商標)(PoE)対応の信号線である。
【0017】
制御装置11は、デジタルシグナルプロセッサ(以下、DSPという)を含み、DSPは、画像処理、認識処理、通信制御等を行うための処理部と、受信した画像、処理した画像等を一次的に記憶するRAM等のメモリ(図示せず)を有している。
さらに、制御装置11は、電源回路11aを含み、電源回路11aの電源は、通信ケーブルCBを介して各ステレオカメラSCに供給される。
【0018】
モニタ12、車掌用モニタ12a及び操作パネル13が、制御装置11に接続されている。ホームHを監視する監視者は、モニタ12に駅ホームの様子を映し出して見ることができる。監視者は、後述するように、操作パネル13を操作して、モニタ12に表示される表示画像の表示形態を変更することができる。制御装置11、モニタ12及び操作パネル13は、例えば、駅の監視室に配置される。また、車掌用モニタ12aは、駅ホームにおいて、電車が停止したときに、電車のドアの開閉を操作する車掌が見ることができる位置に設けられている。車掌は、車掌用モニタ12aを見て、ホームの安全を確認することができる。
【0019】
ステレオカメラSC間の通信及びステレオカメラSCと制御装置11間の通信は、イーサネット(登録商標)を利用した通信である。制御装置11は、デイジーチェーン接続のネットワークを介して、全てのあるいは所望のステレオカメラSCへ、画像情報等の転送要求のコマンドを供給することができる。よって、ステレオカメラSCからの動画像の画像情報、認識情報、イベント情報等は、制御装置11からのコマンドに応じて、あるいは所定のタイミングで、デイジーチェーン接続のネットワークを介して、制御装置11へ供給される。
【0020】
(ステレオカメラSCの構成)
図4は、ステレオカメラSCの外観図である。ステレオカメラSCは、細長い直方体の形状の筐体21を有する。筐体21は、例えば、縦が2cm、奥行きが2cmで、幅が20cmのサイズを有する。2つの対物光学系22は、細長い筐体21の一側面に、所定の距離だけ離れて光軸が互いに平行になるように設けられている。2つの対物光学系22は、対物レンズであり、筐体21内の各対物レンズの後ろ側には、CMOSセンサ等のカメラが設けられている。2つの対物光学系22の設けられた面が、ホームHの床面に対向するように、ステレオカメラSCは、駅のホームH上に設置される。
【0021】
なお、ここでは、各ステレオカメラSCは、ステレオ撮像のために2つの撮像素子を有している例で説明するが、ステレオ撮像のために3つ以上の撮像素子を有していてもよく、少なくとも2つの撮像素子を有していればよい。
【0022】
また、筐体21の両端面には、通信ケーブルCBを接続するためのコネクタ23が設けられている。ステレオカメラSCは、他のステレオカメラとデイジーチェーン接続するための2つのコネクタ23を有する。ケーブルCB側のコネクタを、コネクタ部としてのコネクタ23に接続することによって、2つのステレオカメラSC同士をデイジーチェーン接続することができる。
ここでは、ケーブルCBは、イーサネット(登録商標)通信用のケーブルであって、電源供給も可能なイーサネット(登録商標)PoE対応のケーブルである。さらに、デイジーチェーン接続であるので、ホームHの一端に設置された1台のステレオカメラSCだけが、ケーブルCBによって、制御装置11に接続される。隣り合う2台のステレオカメラSC間は、1本のケーブルCBで接続されるので、ステレオカメラSCの設置及び増設は容易である。
【0023】
なお、ここでは、通信は、イーサネット(登録商標)を利用し、ケーブルCBは、電源供給も可能なパワー・オーバ・イーサネット(登録商標)(PoE)対応のケーブルであるが、通信プロトコルが異なる場合は、ケーブルCBは、そのプロトコルに対応する電源供給可能な通信ケーブルとなる。
【0024】
ステレオカメラSCは、電源供給可能なデイジーチェーン接続であるため、監視領域の長さに応じて増設すれば、適宜追加し拡張に対応可能であり、かつ設置コストも安価となる。さらに、ステレオカメラSCの撤去も安価である。
【0025】
図5は、ステレオカメラSCの構成を示すブロック図である。ステレオカメラSCは、カメラとしての2つのCMOSセンサ31、2つの画像取込部32、ステレオ処理部33、立体認識部34、通信制御部35、それぞれが通信用インターフェース(以下、I/Fと略す)である2つのI/F36、及び2つのコネクタ23を有しており、筐体21内の図示しない基板上に設けられている。本実施の形態では、2つの画像取込部32、ステレオ処理部33、立体認識部34及び通信制御部35は、DSPにより構成される。
【0026】
各CMOSセンサ31は、対物光学系22からの光を受けて撮像信号を、対応する画像取込部32に出力する撮像素子である。
【0027】
各画像取込部32は、CMOSセンサ31からの撮像信号を取り込み、その撮像素子から画像信号を生成して、ステレオ処理部33に供給する処理部である。
【0028】
ステレオ処理部33は、入力された2つの動画像の画像信号に基づき、距離画像を生成する処理部である。距離画像は、各画素値が距離値である画像情報である。なお、距離画像は、画素値が3次元空間内の位置情報であってもよい。
【0029】
立体認識部34は、ステレオ処理部33で得られた距離画像の情報に基づいて、立体形状を認識して立体形状の情報を出力する、あるいは所定のルールに基づいて所定のイベントの発生を検知し、所定の検知信号を出力する処理部である。立体認識部34は、距離情報に基づいて、後述する人の頭部の検出処理も行う。
【0030】
なお、立体認識部34は、2つの画像取込部32の少なくとも1つの画像信号に基づいて、所定のイベントの発生の検知を、行うようにしてもよい。
すなわち、立体認識部34は、ステレオ処理部33で生成された距離画像の情報に基づいて、画像中の対象物の立体形状を認識し、画像中に含まれる立体形状の認識情報を出力する立体形状認識部を構成する。立体形状の認識は、例えば、人の頭部の認識、線路上の人の認識、手の形状の認識等である。さらに、立体認識部34は、ステレオ処理部33で生成された距離画像の情報又は少なくとも2つの画像信号の少なくとも1つに基づいて、所定のイベントを検出するイベント検出部を構成する。イベントとしては、線路に人が落下した等のイベントがある。
【0031】
さらになお、ステレオカメラSCは、立体認識処理だけでなく、ステレオ処理部33等において、画像取込部32の画像信号に基づいて通常の画像認識を行うようにしてもよい。例えば、画像信号に基づいて、人の認識、傘の認識等を行うようにしてもよい。
【0032】
通信制御部35は、立体認識部34から立体形状の認識情報を受信すると、その認識情報を制御装置11へ送信し、さらに他のステレオカメラSCから立体形状の認識情報を受信すると制御装置11へ転送する処理部である。
【0033】
さらに、通信制御部35は、画像取込部32にも接続されており、CMOSセンサ31の両方あるいは一方から得られた動画像の画像信号を、所定のタイミングで制御装置11へ送信することができるようになっている。さらに、通信制御部35は、他のステレオカメラSCから受けた動画像の画像信号を中継する中継機能も有する。
よって、通信制御部35は、認識された立体形状の認識情報及び少なくとも2つの画像信号のデータの1つを送信し、かつ他のステレオカメラから受信した立体形状の認識情報及び画像信号のデータを転送する。
【0034】
各I/F36は、ケーブルCBとの接続のためのI/F回路である。ここでは、各I/F36は、コネクタ23に接続されたパワー・オーバ・イーサネット(登録商標)(PoE)用のI/F回路である。2つのI/F36は、それぞれコネクタ23を介してケーブルCBと電気的に接続される。各I/F36は、電源供給可能なI/Fであるため、ステレオカメラSB内に回路基板上の2つのCMOSセンサ31及びDSPへの電源Vを出力する。
【0035】
(センタ装置としての制御装置の構成)
図6は、センタ装置としての制御装置11の構成を示すブロック図である。制御装置11は、電源回路11a、コネクタ41、I/F42、通信制御部43、画像処理部44及び画像出力部45を含む。
【0036】
コネクタ41は、ケーブルCBを接続するためのコネクタである。
I/F42は、パワー・オーバ・イーサネット(登録商標)(PoE)用のI/F回路である。
通信制御部43は、各ステレオカメラSCからの画像信号及び立体形状の認識情報を受信するデータ受信部を構成する。さらに、通信制御部43は、各ステレオカメラSCに各種コマンドを送信するコマンド送信部も構成する。
画像処理部44は、後述するような画像処理を行う処理部である。具体的には、画像処理部44は、通信制御部43において受信した各ステレオカメラSCからの画像信号に基づいてパノラマ画像を生成する画像合成部を構成する。さらに、画像処理部44は、複数のステレオカメラSCの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する。
【0037】
画像出力部45は、画像処理部44において生成された指定された表示形態の表示画像の画像信号をモニタ12及び車掌用モニタ12aへ出力するための回路部である。具体的には、画像出力部45は、操作パネル13からの指示信号に応じて、各ステレオカメラSCの画像信号に基づき生成されたパノラマ画像信号、パノラマ画像から切り出した1つの画像、複数の画像あるいはスクロール画像をモニタ12及び車掌用モニタ12aに出力する。
【0038】
モニタ12及び車掌用モニタ12aに表示される画像の表示形態は、操作パネル13からの指示信号に基づいて指定される。すなわち、画像出力部45は、操作パネル13からの指示信号に基づいて、モニタ12及び車掌用モニタ12a上に表示する画像の表示形態を変更する。よって、操作パネル13は、所定の表示形態の中から表示形態を指定する表示形態指定部を構成する。所定の表示形態としては、後述するように、モニタ12及び車掌用モニタ12aの1つの画面上に、1つの画像を表示するのか、複数の画像を表示するのか、あるいはスクロール画像を表示するのか等の形態がある。
【0039】
また、車掌用モニタ12aに表示される画像は、後述するように、ステレオカメラSCにおいて得られた2次元画像若しくは距離画像に基づいて認識された車掌の動作に基づき、変更可能となっている。
【0040】
なお、駅毎に混雑する車両の位置、駆け込みの多いドアが決まっているので、モニタ12に表示される各画像の優先順位を、例えば時間帯に応じて、予め決めておくようにしてもよい。
【0041】
さらになお、駅毎に予め決められた安全手順に従って、映像、文字情報、地図等の補助情報も、モニタ12の画面上に時系列的に表示させるようにしてもよい。
【0042】
(パノラマ画像)
図7は、複数のステレオカメラSCで得られた複数の動画像SIに対して幾何補正処理とアルファブレンド処理を施して、複数の動画像を繋げてあるいは貼り合わせて、連続した1枚の動画像のパノラマ画像PIが生成された様子を示す図である。
【0043】
図7に示すように、複数の動画像SIが連続したパノラマ画像PIは、隣り合う2つの画像を繋ぎ合わせたときに連結部分に歪みがなく、かつ自然に合成されるように、隣り合う2つの画像SIの重なり領域あるいは繋ぎ目領域の画素位置に対して幾何的な画素位置補正をし、さらにアルファブレンド処理により画素値を補正することによって生成された動画像である。パノラマ画像PIの生成方法は、公知であり、その詳細な説明は、省略する。
【0044】
制御装置11は、各ステレオカメラSCからの動画像SIを取得して、図7のパノラマ画像PIを生成する。例えば、ホームの一端から他端まで得られた複数の動画像SIを繋ぎ合わせて1枚のパノラマ画像PIを生成し、図示しないメモリに記憶し、モニタ12に出力する。
【0045】
(処理の内容)
図8は、各ステレオカメラSCのDSPにおける処理の内容を示すフローチャートである。各ステレオカメラSCの通信制御部35は、主に、画像信号の転送処理と、立体形状の認識情報あるいはイベント検知信号の出力処理と、自己の画像信号の送信処理とを行う。転送処理は、デイジーチェーン接続された隣りのステレオカメラSCから画像信号が転送されると、逆側の、すなわち制御装置11に近い方のステレオカメラSCへ画像信号を転送する処理である。立体形状の認識情報あるいはイベント検知信号の出力処理は、ステレオ処理により得られた距離画像に基づき認識された立体形状の認識情報あるいは他のステレオカメラSCからの認識情報を制御装置11へ出力する、あるいは距離画像又はCMOSセンサ31から出力された画像に基づき、所定のイベントが検知されると、そのイベントを制御装置11へ通知するために、イベント検知信号を出力する処理である。また、自己の画像信号の送信処理は、2つのCMOSセンサ31の一方の画像を、制御装置11へ送信するための処理である。
【0046】
各ステレオカメラSCが上述したこれらの処理を行うことによって、最終的には、制御装置11が各ステレオカメラSCからの動画像SIに基づいてパノラマ画像PIを生成し、かつ立体形状の認識情報を取得しあるいは所定のイベントの発生を検知することができる。
【0047】
まず、通信制御部35は、他のステレオカメラSCからの転送された画像信号のデータを受信したか否かを判定する(ステップ(以下、Sと略す)1)。通信制御部35は、他のステレオカメラSCからの画像信号、すなわち転送画像、を受信した場合は、S1でYESとなり、2つのI/F36のうち、転送画像を受信した一方のI/F36でない他方のI/F36へ受信した画像信号のデータを出力して転送する(S2)。
【0048】
S1でNOの場合及びS2の後は、立体認識部34からあるいは他のステレオカメラSCから立体形状の認識情報を取得あるいは所定のイベントを検知したか否かが判定される(S3)。立体形状の認識情報を取得あるいは所定のイベント検知信号を受信すると、S3でYESとなり、通信制御部35は、取得した認識情報あるいは検知したイベントのイベント検知信号を制御装置11側のI/F36を介して出力する(S4)。
【0049】
S3でNOの場合及びS4の後は、2つのCMOSセンサ31の内の少なくとも一方の画像信号のデータを得て、制御装置11側のI/F36を介して出力する画像信号のデータ送信処理を実行する(S5)。S5の処理の後は、S1の処理に戻り、上述した処理が繰り返される。
【0050】
従って、制御装置11は、S2及びS5の処理による各ステレオカメラSCからの画像信号のデータを得て、図7に示すような動画像のパノラマ画像PIを生成することができる。
監視者は、操作パネル13を操作して、モニタ12に表示される画像の表示形態を変更することができる。そのとき、監視者は、表示画像のパノラマ画像上の位置、言い換えると、ホームHの所望の位置を指定することができる。
【0051】
例えば、監視者は、ホームHの端部の連続画像であるパノラマ画像PIの中で所望の1つの位置を指定することによって、図7において一点鎖線で示すように、その所望の1つの位置における動画像を切り出してモニタ12の1つの画面上に表示させることもできる。
【0052】
さらに、監視者は、パノラマ画像PIの中で所望の複数の位置を指定することによって、図7において二点鎖線で示すように、その複数の位置における動画像を切り出して、モニタ12の1つの画面上にマルチ画像で表示させることもできる。図7では、4つの位置の画像がモニタ12の1つの画面上に表示されている例を示している。なお、所望の1つの位置あるいは所望の複数の位置は、各ステレオカメラの画像の位置に一致しなくてもよい。すなわち、所望の1つの位置あるいは所望の複数の位置は、パノラマ画像PI上の任意の位置でよい。
【0053】
また、パノラマ画像PIを、指定された任意の位置からスクロールするように画像をモニタ上に表示させるようにすることもできる。例えば、操作パネル13上のスクロールキー、ジョイスティック等を操作することによって、表示画像の位置を指定してパノラマ画像PI上を連続的に移動させることもできる。図7において破線で示すように、破線で示す範囲の画像が、左側から右側に向かって移動して、移動する位置の画像がスクロール画像として表示している例が示されている。スクロール画像も、複数の位置におけるスクロール画像で、1つの画面上にマルチ画像で表示されるようにしてもよい。
【0054】
後述するように、車掌も、所定の操作を行うことによって、車掌モニタ12aに表示されるスクロール画像を、速くスクロールさせたり、遅くスクロールさせたり、スクロールを戻したり、スクロールを停止させることができる。
【0055】
なお、上述した例では、制御装置11が複数のステレオカメラSCからの複数の画像を合成してパノラマ画像を生成しているが、制御装置11がパノラマ画像の生成を行わずに、各ステレオカメラSCが、隣のステレオカメラSCからの画像信号に自己の画像信号を追加して繋げるようにして、制御装置11が最終的にパノラマ画像PIのデータを受信するようにしてもよい。例えば、連結された100台のステレオカメラSCの一番端の1番目のステレオカメラSCが、制御装置11側の隣のステレオカメラSCへ自己のCMOSセンサ31の画像を送信する。2番目のステレオカメラSCは、1番目のステレオカメラSCからの画像に、自己の画像に追加する。このとき2番目のステレオカメラSCは、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を行って、その自己の画像を追加した画像を3番目のステレオカメラSCへ送信する。3番目のステレオカメラSCは、2番目のステレオカメラSCと同様に、受信した画像に自己の画像を追加し、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を行って、その自己の画像を追加した画像を4番目のステレオカメラSCへ送信する。以上の処理を、100番目のステレオカメラSCまでの各ステレオカメラSCが実行することにより、制御装置11は、最終的にパノラマ画像PIを得ることができる。
【0056】
図9は、そのようにしてパノラマ画像が生成される処理の流れを示すフローチャートである。図9において、図8と同じ処理については、同じステップ番号が付されている。
図9の処理も、通信制御部35によって行われる。まず、通信制御部35は、隣のステレオカメラSCから転送された画像信号のデータを受信したか否かを判定する(S1)。通信制御部35は、転送画像を受信した場合は、S1でYESとなり、受信した画像信号に、自己の画像信号を追加する画像追加処理を実行する(S11)。画像追加処理は、受信した画像信号に自己の画像信号を追加し、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を施して合成画像を生成する処理である。
【0057】
そして、通信制御部36は、その合成画像を、2つのI/F36のうち、転送画像を受信した一方のI/F36でない他方のI/F36へ出力して転送する画像信号のデータ送信処理を実行する(S12)。
【0058】
S1でNOの場合及びS12の後は、立体認識部34あるいは他のステレオカメラSCから立体形状の認識情報を取得したかあるいは所定のイベントを検知したか否かが判定され(S3)、立体形状の認識情報を取得したあるいは所定のイベントが検知されると、通信制御部35は、立体形状の認識情報あるいはイベント検知信号を制御装置11側のI/F36を介して出力する(S4)。S3とS4の処理は、図8と同様である。S3とS4の処理の後は、S1の処理に戻り、上述した処理が繰り返される。
【0059】
従って、制御装置11は、S11及びS12の処理によるパノラマ画像PIを最終的に得ることができる。
よって、制御装置11は、図9の処理によってもパノラマ画像PIを得ることができるので、パノラマ画像PIから、一部を抜き出して、単一の画像表示、マルチ画像表示、あるいはスクロール表示を、モニタ上に行うことができる。
【0060】
以上の監視カメラシステム1は、各ステレオカメラSCはデイジーチェーン接続されているので、ホームの監視範囲を拡げるのであれば、制御装置11から最も遠い位置のステレオカメラSCにケーブルCBにより新たなステレオカメラSCを追加したり、デイジーチェーン接続されている途中に新たなステレオカメラSCを追加する等も容易である。
【0061】
上述した実施の形態の監視カメラシステムによれば、例えば、ホーム等における人の線路への落下は、パノラマ画像中の禁止領域における一定体積の物(すなわち人)を検知(すなわち認識)することにより検知することができる。また、ホームの混雑状況、異常状況を判定して、イベントとしてセンタ装置へ通知することができる。
【0062】
なお、隣り合う2つのステレオカメラSCにより、監視範囲を拡げることが可能である。1台のステレオカメラSCのステレオ処理可能な範囲は、2つのCMOSセンサ31の視野の重なる領域である。図10は、各ステレオカメラSCのステレオ処理可能な領域を示す図である。図10は、2台のステレオカメラSCの場合のステレオ処理可能な領域を示す。
【0063】
図10に示すように、各ステレオカメラSCの2つのCMOSセンサ31によってステレオ処理可能な領域SAは、斜線で示されている。すなわち領域SAは、単独のステレオカメラSCによりステレオ処理可能な範囲である。
【0064】
図11は、隣り合う2台のカメラの、お互いに近い方のCMOSセンサ31を2台利用して、より広範囲なステレオ処理可能な領域OAを示す図である。
図11に示すように、隣り合う2台のステレオカメラの、お互いに近い方のCMOSセンサ31の画像を利用すると、ステレオ処理可能な範囲が得られる。そのステレオ処理可能な領域OAは、斜線で示されている。図11の領域OAは、図10の領域SAと重なる部分があるが、図10の領域SAとは異なっている。
【0065】
この場合、隣り合う2台のステレオカメラSCの一方が、他方から画像データを受信して、ステレオ処理部33においてステレオ処理を行い、その一方の立体認識部34が立体形状の認識及びイベント検知処理を行うことにより、領域OAにおける立体認識処理が可能となる。
各ステレオカメラSCが、図10の処理と図11の処理を交互に行うことにより、複数のステレオカメラSCによる監視領域を、結果として拡げることができる。
【0066】
上述したように、立体認識部34は、ステレオ処理部33からの距離情報を受信して、各画素の距離情報から対象物の形状を認識することができる。よって、立体認識部34は、所定の立体形状パターンと、距離情報から把握される形状とを比較して、両者が一致したときに所定のイベントが発生したとして、所定のイベント信号を出力する。その処理の例を説明する。
【0067】
また、パノラマ画像PIをそのまま表示するのではなく、例えばホームH上の人の視点からの画像に射影変換して画像を表示するようにしてもよい。
図12は、画像の射影変換の例を説明するための図である。画像IAは、ステレオカメラSCから見たホームHの画像である。制御装置11の画像処理部41は、画像IAを画像IBに射影変換する。図13は、画像IBの視点位置の変更を説明するための図である。図13に示すように、画像IAの視点は、ステレオカメラSCの位置であるが、射影変換により、画像IBの視点位置VPは、ホームH上の通常の人の目の高さの位置となる。
【0068】
射影変換は、ホームHの床面と、電車の側面の位置は決まっているので、その面を基準として射影変換を行うことができる。
【0069】
よって、モニタ12に表示される画像の視点位置が、ホームH上の人の目の高さの位置であるので、監視者は、ホームH上に立って、ホームHを監視しているように感じられるので、違和感無く、ホームHの監視をすることができる。
【0070】
(電車とホームの間における人の宙吊り状態の検出)
人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態になる場合がある。図14は、その宙吊り状態を説明するための図である。図15は、ステレオカメラSCにより撮像された、宙吊り状態の人Mを含む画像の例を示す図である。
【0071】
図14は、電車の進行方向から見たときの人が宙吊り状態にある様子を示す。図14に示すように、電車Tを降りようとした人Mが誤って停止している電車TとホームHの端の間に落ちると、頭だけが電車TとホームHの間の隙間Gから飛び出た状態となる。図15は、距離画像の画像IRの例である。
ステレオカメラSCは、電車TとホームHの位置関係は予め決まっているので、頭部が隙間Gの近傍に存在することを検出することによって、人が宙吊り状態になっていると推定してアラーム信号を出力する。
【0072】
図16は、人Mが宙吊り状態にあるときの頭部の検出を行う処理の流れのフローチャートである。ステレオカメラSCは、制御装置11からのコマンドに応じて、図16の処理を実行する。
【0073】
立体認識部34は、画像IR中の所定の検出領域41内に対応する距離画像から、ホームHから所定の高さまでの範囲の距離画像を抽出する(S1)。図15に示すように、人Mがホームから落ちて宙吊り状態になる場所は、電車TとホームHの間の隙間Gである。よって、例えば、ドアの近傍の所定の領域が、検出領域41として予め設定されている。
【0074】
そして、図14に示すように、宙吊り状態の人Mの頭部は、ホームHの上から所定の高さ、例えば50cm以下になる。
【0075】
S1では、そのような場所と高さの範囲に対応する検出領域41内において、所定の高さ以下の範囲の距離画像が抽出される。なお、検出領域は、ドアの近傍だけでなく、電車TとホームHの間の隙間Gを含む細長い領域でもよい。
【0076】
次に、立体認識部34は、頭部立体モデルに基づき、S1で抽出された距離画像の中に、人の頭部が有るか否かを判定する(S2)。人の頭部の大きさ及び形状は、略決まっている。よって、その大きさと形状をモデル化して、頭部立体モデル情報としてステレオカメラSC内のメモリに記憶しておく。立体認識部34は、予め記憶された頭部立体モデル情報と、抽出された距離画像とのマッチングを行い、抽出された距離画像の中に頭部と推定される形状のものがあるか否かを判定する。
【0077】
以上のように、立体形状認識部としての立体認識部34は、ステレオ処理部33で生成された距離画像の情報に基づいて、立体形状を認識し、かつホームHの高さ方向において所定の高さの範囲内であって、ホームHの縁と電車Tとの間の隙間から所定の空間内に、人の頭部を検出する処理を実行する。
【0078】
立体認識部34は、S2の判定結果を出力する判定結果出力処理を実行する(S3)。具体的には、立体認識部34は、所定の頭部立体モデル情報とS1で抽出された距離画像とのマッチングの結果、距離画像中に、所定の頭部立体モデルと合致する部分があると判定されると、頭部があるというイベントを示すイベント信号を生成して出力する。このイベント信号は、人の頭部の検出情報を構成する。
【0079】
なお、以上の例では、人の頭部の検出は、頭部立体モデル情報を用いて行っているが、頭部の位置に顔があるか否かを検出することに行うようにしてもよい。例えば、距離画像から頭部と思われる形状が検出された場合、頭部と思われる形状の位置に人の顔があるか否かを、画像処理による顔検出処理により判定し、顔が検出されると、人の頭部があるとするようにしてもよい。
【0080】
以上のようにして、立体認識部34は、人Mが宙吊り状態にあるときの頭部の検出を行う。そのイベント信号は、人の頭部の検出情報として、通信制御部35から制御装置11へ伝達される。
【0081】
なお、1つのステレオカメラSCが人の宙吊り状態を検出した場合に、隣りのステレオカメラSCにより、同じ処理を行って、人の宙吊り状態の検出処理を実行させて、宙吊り状態の検出の確認を行うようにしてもよい。すなわち、一のステレオカメラSCの通信制御部35が、人の頭部の検出情報を制御装置11へ送信した場合、制御装置11は、人の頭部の検出情報を受信すると、人の頭部の検出情報を送信したステレオカメラSC以外の他のステレオカメラSC、例えば隣のステレオカメラSCに対して、人の頭部を検出する処理を実行させる。これにより、人の頭部の検出の精度を上げることができる。
【0082】
図17は、複数のステレオカメラSCが撮像する範囲を説明するための図である。図17に示すように、各ステレオカメラSCの撮像範囲において頭部を検出する範囲が、隣のステレオカメラSCと重なるように、複数のステレオカメラSCをホームH上に取り付ける。
【0083】
複数のステレオカメラSCがそのように設置された場合に、図17中のステレオカメラSC(A)が、図16の処理により、頭部があるというイベントを示すイベント信号を生成したとする。そのイベント信号は、制御装置11に伝達される。制御装置11は、隣のステレオカメラSC(A+1)に対して、ステレオカメラSC(A)の検出領域41に対応する領域を検出領域として、図16の処理を実行するようにコマンドを出力する。
【0084】
その結果、図17の場合、最初に人の宙吊りを検出したステレオカメラSC(A)の隣のステレオカメラSC(A+1)によっても、人の宙吊り状態の検出処理が実行され、その結果が制御装置11に送信される。よって、監視システムにおいて、人の宙吊り状態の検出の精度を上げることができる。
【0085】
さらに、人の宙吊り状態が検出された場合、監視者がその状態をモニタで確認する場合、図15のような画像IRでは、人の宙吊り状態を確認し難い。そこで、人の宙吊り状態の検出のイベント信号を受信すると、制御装置11は、例えば、図17の場合、隣のステレオカメラSC(A+1)で撮像された2次元画像から、人Mの宙吊り状態が検出された位置あるいは方向の画像を切り出して、モニタ12及び車掌用モニタ12aに出力するようにしてもよい。
【0086】
図18は、モニタ12及び車掌用モニタ12aに出力された切り出し画像IRaの例を示す図である。図18に示すように、人Mを斜め上から撮像した画像IRaは、監視者にとっては、人Mの頭部の形などが判別し易い画像である。
【0087】
以上のように、制御装置11は、人の頭部の検出情報を受信すると、人の頭部の検出情報を送信したステレオカメラ以外のステレオカメラで撮像された画像から、人の頭部を検出した位置の画像を切り出して、画像出力部45を介して、画像表示装置であるモニタ12へ出力する。その結果、監視者は、人Mの頭部の形などが判別し易い。
【0088】
また、ステレオカメラSCが電車Tの車掌も撮像するように設置されている場合、ステレオカメラSCは、画像処理により、車掌の動作を認識するようにしてもよい。例えば、車掌は、ホームH上に設けられた車掌用モニタ12aを見ることができる。そこで、ステレオカメラSCに車掌の動作を認識させ、車掌は、自己の動作に基づいて、車掌用モニタ12aに表示される画像の表示操作を行うことができるようにしてもよい。
【0089】
図19は、電車Tにおける車掌の動作を説明するための図である。車掌MMは、電車の車掌室内に立って、電車Tの車体の外側面上に自由に手HDを置くことができる。その手HDがおける位置は、所定の範囲に限られるが、その所定の範囲内では自由である。ステレオカメラSCは、車掌MMの手HDが、電車Tの車体壁上の所定の領域内のどの位置にあるかを認識し、その位置に応じたイベント信号を制御装置11へ送信する。
【0090】
ここでは、電車Tの外側面上の所定の領域に所定の複数のマークが設けられる。車掌MMは、車掌MMは、その複数のマークに対する手HDの位置に応じて、車掌用モニタ12aに表示される画像の指示を行うことができる。
【0091】
例えば、車掌MMが電車Tのドアを閉めてから、安全を確認する場合に、車掌用モニタ12aに、図7で説明したパノラマ画像のスクロール画像を、表示させることができる。その場合、車掌MMは、車掌用モニタ12aに表示される、電車の先頭車両から最後尾車両までのスクロール画像を見て、安全を確認する。
【0092】
図20は、電車Tの外側面上に設けられた4つの領域HR1,HR2,HR3,HR4が、指示線BLと文字によって示されている例を示す図である。
図20に示すように、領域HR1は、上から1つ目と2つ目の指示線BL間で挟まれた領域であり、その領域HR1に手HDが置かれると、スクロール画像の早送りを指示することになる。立体認識部34において、2次元画像あるいは距離画像から、領域HR1に点があることを認識することができる。
【0093】
同様に、領域HR2は、上から2つ目と3つ目の指示線BL間で挟まれた領域であり、その領域HR1に手HDが置かれると、スクロール画像の遅い送りを指示することになる。領域HR3は、上から3つ目と4つ目の指示線BL間で挟まれた領域であり、その領域HR3に手HDが置かれると、スクロール画像の送りの停止を指示することになる。領域HR4は、上から4つ目と5つ目の指示線BL間で挟まれた領域であり、その領域HR4に手HDが置かれると、スクロール画像の戻り、すなわち逆方向の送りを指示することになる。
【0094】
従って、車掌MMは、これらのマークに対する手HDの位置を移動させることによって、車掌用モニタ12aの操作を容易に行うことができる。
【0095】
以上のように、上述した本実施の形態の駅ホームの監視カメラシステムによれば、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる。
なお、上述した実施の形態では、監視員の操作により、モニタ12及び車掌用モニタ12aに表示される画像が変更されているが、ステレオカメラSCが、ホーム上の駅員の動作、例えば旗を振る動作を検出するようにして、駅員の所定の動作に応じて、モニタ12及び車掌用モニタ12aに表示される画像を変更するようにしてもよい。
【0096】
さらに、ステレオカメラSCは、画像処理により駅員の所定の動作を検出すると、その動作に応じたイベント信号を出力する。所定の動作は、例えば駅員が手に持つ旗により方向を示す動作である。制御装置11は、そのイベント信号を受信すると、パノラマ画像PIの中からその方向の映像を切り出して、ズームアップ等してモニタ12に出力する。その結果、監視員は、駅員の示す方向の映像を素早く見ることができる。
【0097】
さらになお、上述した実施の形態では、数珠繋ぎ接続された複数のステレオカメラの中の末端のステレオカメラに、制御装置が接続されているシステムであるが、制御装置は、末端のステレオカメラに接続しない形態のシステムでもよい。
【0098】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【0099】
1 駅ホームの監視カメラシステム、21 筐体、22 対物光学系、23 コネクタ
【技術分野】
【0001】
本発明は、駅ホームの監視カメラシステムに関し、特に、複数のステレオカメラを含む駅ホームの監視カメラシステムに関する。
【背景技術】
【0002】
従来より、駅ホームを監視する監視カメラシステムが実用化されている。例えば、駅ホームを監視するための監視用カメラは、ホームの天井の下に設置され、略水平方向をカメラの画角内に入るように、ホームを撮像する。長いホームに、例えば4台のカメラが設置される。
しかし、各カメラは、斜め方向からホームを撮像するため、朝日あるいは夕日等の影響を受けて画像そのものが適切に得られない場合があり、さらに他の乗客のために陰になる乗客がカメラに映らない場合があることから、人の線路転落の確実な検知ができないという問題がある。そこで、駅の線路側のホーム端に複数のステレオカメラを設置して監視し、距離情報と画像情報を得て、人と他のものを識別するシステムが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−58737号(特許第3785456号)公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、各カメラをホーム上に設置し、各カメラのケーブルをセンタ装置に接続するように配線し、設置しなければならないので、多くのステレオカメラを監視場所に設置することは、容易ではなくコストも掛かるという問題がある。
【0005】
さらに、上記提案に係るシステムでは、人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることの検出については、何ら開示されていない。
【0006】
そこで、本発明は、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる駅ホームの監視カメラシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、数珠繋ぎ接続された複数のステレオカメラと、数珠繋ぎ接続された前記複数のステレオカメラの末端のステレオカメラに接続された制御装置と、を含み、各ステレオカメラは、ステレオ撮像のための少なくとも2つの撮像素子と、前記少なくとも2つの撮像素子からの撮像信号を取り込み、少なくとも2つの画像信号を生成する画像取込部と、前記少なくとも2つの画像信号を処理して距離画像を生成するステレオ処理部と、前記ステレオ処理部で生成された前記距離画像の情報に基づいて、立体形状を認識し、かつホームの高さ方向において所定の高さの範囲内であって、前記ホームの縁と電車との間の隙間から所定の空間内における、人の頭部を検出する立体形状認識部と、前記立体形状認識部により認識された立体形状の認識情報及び前記少なくとも2つの画像信号の1つを送信する通信制御部と、を有し、前記制御装置は、前記立体形状の認識情報及び前記少なくとも2つの画像信号の1つを受信するデータ受信部と、前記複数のステレオカメラの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する画像処理部と、前記画像処理部において生成された前記指定された表示形態の表示画像の画像信号を、画像表示装置に出力する画像出力部と、を有する駅ホームの監視カメラシステムを提供することができる。
【発明の効果】
【0008】
本発明によれば、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施の形態に係る監視カメラシステムの複数のステレオカメラの設置状況を説明するための図であり、電車の進行方向に対して直交する水平方向からホームを見た図である。
【図2】本発明の実施の形態に係る監視カメラシステムの複数のステレオカメラの設置状況を説明するための図であり、ホームを電車の進行方向から見た図である。
【図3】本発明の実施の形態に係る、ホームHの監視カメラシステムの構成図である。
【図4】本発明の実施の形態に係る、ステレオカメラSCの外観図である。
【図5】本発明の実施の形態に係る、ステレオカメラSCの構成を示すブロック図である。
【図6】本発明の実施の形態に係る、センタ装置としての制御装置11の構成を示すブロック図である。
【図7】本発明の実施の形態に係る、複数の動画像を繋げて、連続した動画像のパノラマ画像PIが生成された様子を示す図である。
【図8】本発明の実施の形態に係る、各ステレオカメラSCのDSPにおける処理の内容を示すフローチャートである。
【図9】本発明の実施の形態に係る、各ステレオカメラによりパノラマ画像が生成される処理の流れを示すフローチャートである。
【図10】本発明の実施の形態に係る、各ステレオカメラSCのステレオ処理可能な領域を示す図である。
【図11】本発明の実施の形態に係る、隣り合う2台のカメラの、お互いに近い方のCMOSセンサ31を2台利用して、より広範囲なステレオ処理可能な領域OAを示す図である。
【図12】本発明の実施の形態に係る、画像の射影変換の例を説明するための図である。
【図13】本発明の実施の形態に係る、画像IBの視点位置の変更を説明するための図である。
【図14】本発明の実施の形態に係る、人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態を説明するための図である。
【図15】本発明の実施の形態に係るステレオカメラSCにより撮像された、宙吊り状態の人Mを含む画像の例を示す図である。
【図16】本発明の実施の形態に係る、人Mが宙吊り状態にあるときの頭部の検出を行う処理の流れのフローチャートである。
【図17】本発明の実施の形態に係る、複数のステレオカメラSCが撮像する範囲を説明するための図である。
【図18】本発明の実施の形態に係る、モニタ12及び車掌用モニタ12aに出力された切り出し画像IRaの例を示す図である。
【図19】本発明の実施の形態に係る、電車Tにおける車掌の動作を説明するための図である。
【図20】本発明の実施の形態に係る、電車Tの外側面上に設けられた4つの領域HR1,HR2,HR3,HR4が、指示線BLと文字によって示されている例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態を説明する。
(全体構成)
図1と図2は、本発明の実施の形態に係る駅ホームの監視カメラシステムの複数のステレオカメラの設置状況を説明するための図である。ここでは、鉄道の駅のホーム端上に設置された複数のステレオカメラを例に挙げて説明する。図1は、電車の進行方向に対して直交する水平方向からホームを見た図であり、図2は、ホームを電車の進行方向から見た図である。
【0011】
鉄道の線路が敷かれる地面G上のホームHは、天井Rの下に設置された複数のステレオカメラSCによって監視される。複数のステレオカメラSCは、固定部材SMにより天井Rの下に固定された配線ダクトD内を通る通信ケーブルにより、後述するようにデイジーチェーン接続されている。
【0012】
各ステレオカメラSCは、それぞれが2つの撮像素子を有しており、各撮像素子の光学系は、所定の間隔を開けて光軸が互いに平行になるように配置されている。各ステレオカメラSCは、図2に示すように、その撮像方向がホームHの線路側の端の床面に対して直交する方向となるように、固定されて設置されている。
【0013】
また、図1に示すように、各ステレオカメラSCによる距離情報が得られる撮像範囲R1は、隣りのステレオカメラSCの撮像範囲R1と重なり合って、後述するように、幾何補正及びアルファブレンドしてパノラマ画像を作成できるように、複数のステレオカメラSCは、配置され設置されている。
【0014】
各ステレオカメラSCは、ホームHの端を監視する監視用カメラである。複数のステレオカメラSCは、ホームHの端上に死角が無いように、ホームHの端から端まで撮像している。例えば、100台のステレオカメラが300mの長さのホームHに設置される。
【0015】
図3は、ホームHの監視カメラシステムの構成図である。図3に示すように、ホームHの監視カメラシステム1は、複数のステレオカメラSCと、隣り合う2台のステレオカメラSCを接続する通信ケーブルCBと、制御装置11と、画像表示装置であるモニタ12と、操作パネル13とを含んで構成されている。
【0016】
複数のステレオカメラSCは、所謂数珠繋ぎ接続であるデイジーチェーン接続され、末端の通信ケーブルCBにより、制御装置11に接続される。通信ケーブルCBは、電源供給可能な信号線であり、例えば、電源供給も可能なパワー・オーバ・イーサネット(登録商標)(PoE)対応の信号線である。
【0017】
制御装置11は、デジタルシグナルプロセッサ(以下、DSPという)を含み、DSPは、画像処理、認識処理、通信制御等を行うための処理部と、受信した画像、処理した画像等を一次的に記憶するRAM等のメモリ(図示せず)を有している。
さらに、制御装置11は、電源回路11aを含み、電源回路11aの電源は、通信ケーブルCBを介して各ステレオカメラSCに供給される。
【0018】
モニタ12、車掌用モニタ12a及び操作パネル13が、制御装置11に接続されている。ホームHを監視する監視者は、モニタ12に駅ホームの様子を映し出して見ることができる。監視者は、後述するように、操作パネル13を操作して、モニタ12に表示される表示画像の表示形態を変更することができる。制御装置11、モニタ12及び操作パネル13は、例えば、駅の監視室に配置される。また、車掌用モニタ12aは、駅ホームにおいて、電車が停止したときに、電車のドアの開閉を操作する車掌が見ることができる位置に設けられている。車掌は、車掌用モニタ12aを見て、ホームの安全を確認することができる。
【0019】
ステレオカメラSC間の通信及びステレオカメラSCと制御装置11間の通信は、イーサネット(登録商標)を利用した通信である。制御装置11は、デイジーチェーン接続のネットワークを介して、全てのあるいは所望のステレオカメラSCへ、画像情報等の転送要求のコマンドを供給することができる。よって、ステレオカメラSCからの動画像の画像情報、認識情報、イベント情報等は、制御装置11からのコマンドに応じて、あるいは所定のタイミングで、デイジーチェーン接続のネットワークを介して、制御装置11へ供給される。
【0020】
(ステレオカメラSCの構成)
図4は、ステレオカメラSCの外観図である。ステレオカメラSCは、細長い直方体の形状の筐体21を有する。筐体21は、例えば、縦が2cm、奥行きが2cmで、幅が20cmのサイズを有する。2つの対物光学系22は、細長い筐体21の一側面に、所定の距離だけ離れて光軸が互いに平行になるように設けられている。2つの対物光学系22は、対物レンズであり、筐体21内の各対物レンズの後ろ側には、CMOSセンサ等のカメラが設けられている。2つの対物光学系22の設けられた面が、ホームHの床面に対向するように、ステレオカメラSCは、駅のホームH上に設置される。
【0021】
なお、ここでは、各ステレオカメラSCは、ステレオ撮像のために2つの撮像素子を有している例で説明するが、ステレオ撮像のために3つ以上の撮像素子を有していてもよく、少なくとも2つの撮像素子を有していればよい。
【0022】
また、筐体21の両端面には、通信ケーブルCBを接続するためのコネクタ23が設けられている。ステレオカメラSCは、他のステレオカメラとデイジーチェーン接続するための2つのコネクタ23を有する。ケーブルCB側のコネクタを、コネクタ部としてのコネクタ23に接続することによって、2つのステレオカメラSC同士をデイジーチェーン接続することができる。
ここでは、ケーブルCBは、イーサネット(登録商標)通信用のケーブルであって、電源供給も可能なイーサネット(登録商標)PoE対応のケーブルである。さらに、デイジーチェーン接続であるので、ホームHの一端に設置された1台のステレオカメラSCだけが、ケーブルCBによって、制御装置11に接続される。隣り合う2台のステレオカメラSC間は、1本のケーブルCBで接続されるので、ステレオカメラSCの設置及び増設は容易である。
【0023】
なお、ここでは、通信は、イーサネット(登録商標)を利用し、ケーブルCBは、電源供給も可能なパワー・オーバ・イーサネット(登録商標)(PoE)対応のケーブルであるが、通信プロトコルが異なる場合は、ケーブルCBは、そのプロトコルに対応する電源供給可能な通信ケーブルとなる。
【0024】
ステレオカメラSCは、電源供給可能なデイジーチェーン接続であるため、監視領域の長さに応じて増設すれば、適宜追加し拡張に対応可能であり、かつ設置コストも安価となる。さらに、ステレオカメラSCの撤去も安価である。
【0025】
図5は、ステレオカメラSCの構成を示すブロック図である。ステレオカメラSCは、カメラとしての2つのCMOSセンサ31、2つの画像取込部32、ステレオ処理部33、立体認識部34、通信制御部35、それぞれが通信用インターフェース(以下、I/Fと略す)である2つのI/F36、及び2つのコネクタ23を有しており、筐体21内の図示しない基板上に設けられている。本実施の形態では、2つの画像取込部32、ステレオ処理部33、立体認識部34及び通信制御部35は、DSPにより構成される。
【0026】
各CMOSセンサ31は、対物光学系22からの光を受けて撮像信号を、対応する画像取込部32に出力する撮像素子である。
【0027】
各画像取込部32は、CMOSセンサ31からの撮像信号を取り込み、その撮像素子から画像信号を生成して、ステレオ処理部33に供給する処理部である。
【0028】
ステレオ処理部33は、入力された2つの動画像の画像信号に基づき、距離画像を生成する処理部である。距離画像は、各画素値が距離値である画像情報である。なお、距離画像は、画素値が3次元空間内の位置情報であってもよい。
【0029】
立体認識部34は、ステレオ処理部33で得られた距離画像の情報に基づいて、立体形状を認識して立体形状の情報を出力する、あるいは所定のルールに基づいて所定のイベントの発生を検知し、所定の検知信号を出力する処理部である。立体認識部34は、距離情報に基づいて、後述する人の頭部の検出処理も行う。
【0030】
なお、立体認識部34は、2つの画像取込部32の少なくとも1つの画像信号に基づいて、所定のイベントの発生の検知を、行うようにしてもよい。
すなわち、立体認識部34は、ステレオ処理部33で生成された距離画像の情報に基づいて、画像中の対象物の立体形状を認識し、画像中に含まれる立体形状の認識情報を出力する立体形状認識部を構成する。立体形状の認識は、例えば、人の頭部の認識、線路上の人の認識、手の形状の認識等である。さらに、立体認識部34は、ステレオ処理部33で生成された距離画像の情報又は少なくとも2つの画像信号の少なくとも1つに基づいて、所定のイベントを検出するイベント検出部を構成する。イベントとしては、線路に人が落下した等のイベントがある。
【0031】
さらになお、ステレオカメラSCは、立体認識処理だけでなく、ステレオ処理部33等において、画像取込部32の画像信号に基づいて通常の画像認識を行うようにしてもよい。例えば、画像信号に基づいて、人の認識、傘の認識等を行うようにしてもよい。
【0032】
通信制御部35は、立体認識部34から立体形状の認識情報を受信すると、その認識情報を制御装置11へ送信し、さらに他のステレオカメラSCから立体形状の認識情報を受信すると制御装置11へ転送する処理部である。
【0033】
さらに、通信制御部35は、画像取込部32にも接続されており、CMOSセンサ31の両方あるいは一方から得られた動画像の画像信号を、所定のタイミングで制御装置11へ送信することができるようになっている。さらに、通信制御部35は、他のステレオカメラSCから受けた動画像の画像信号を中継する中継機能も有する。
よって、通信制御部35は、認識された立体形状の認識情報及び少なくとも2つの画像信号のデータの1つを送信し、かつ他のステレオカメラから受信した立体形状の認識情報及び画像信号のデータを転送する。
【0034】
各I/F36は、ケーブルCBとの接続のためのI/F回路である。ここでは、各I/F36は、コネクタ23に接続されたパワー・オーバ・イーサネット(登録商標)(PoE)用のI/F回路である。2つのI/F36は、それぞれコネクタ23を介してケーブルCBと電気的に接続される。各I/F36は、電源供給可能なI/Fであるため、ステレオカメラSB内に回路基板上の2つのCMOSセンサ31及びDSPへの電源Vを出力する。
【0035】
(センタ装置としての制御装置の構成)
図6は、センタ装置としての制御装置11の構成を示すブロック図である。制御装置11は、電源回路11a、コネクタ41、I/F42、通信制御部43、画像処理部44及び画像出力部45を含む。
【0036】
コネクタ41は、ケーブルCBを接続するためのコネクタである。
I/F42は、パワー・オーバ・イーサネット(登録商標)(PoE)用のI/F回路である。
通信制御部43は、各ステレオカメラSCからの画像信号及び立体形状の認識情報を受信するデータ受信部を構成する。さらに、通信制御部43は、各ステレオカメラSCに各種コマンドを送信するコマンド送信部も構成する。
画像処理部44は、後述するような画像処理を行う処理部である。具体的には、画像処理部44は、通信制御部43において受信した各ステレオカメラSCからの画像信号に基づいてパノラマ画像を生成する画像合成部を構成する。さらに、画像処理部44は、複数のステレオカメラSCの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する。
【0037】
画像出力部45は、画像処理部44において生成された指定された表示形態の表示画像の画像信号をモニタ12及び車掌用モニタ12aへ出力するための回路部である。具体的には、画像出力部45は、操作パネル13からの指示信号に応じて、各ステレオカメラSCの画像信号に基づき生成されたパノラマ画像信号、パノラマ画像から切り出した1つの画像、複数の画像あるいはスクロール画像をモニタ12及び車掌用モニタ12aに出力する。
【0038】
モニタ12及び車掌用モニタ12aに表示される画像の表示形態は、操作パネル13からの指示信号に基づいて指定される。すなわち、画像出力部45は、操作パネル13からの指示信号に基づいて、モニタ12及び車掌用モニタ12a上に表示する画像の表示形態を変更する。よって、操作パネル13は、所定の表示形態の中から表示形態を指定する表示形態指定部を構成する。所定の表示形態としては、後述するように、モニタ12及び車掌用モニタ12aの1つの画面上に、1つの画像を表示するのか、複数の画像を表示するのか、あるいはスクロール画像を表示するのか等の形態がある。
【0039】
また、車掌用モニタ12aに表示される画像は、後述するように、ステレオカメラSCにおいて得られた2次元画像若しくは距離画像に基づいて認識された車掌の動作に基づき、変更可能となっている。
【0040】
なお、駅毎に混雑する車両の位置、駆け込みの多いドアが決まっているので、モニタ12に表示される各画像の優先順位を、例えば時間帯に応じて、予め決めておくようにしてもよい。
【0041】
さらになお、駅毎に予め決められた安全手順に従って、映像、文字情報、地図等の補助情報も、モニタ12の画面上に時系列的に表示させるようにしてもよい。
【0042】
(パノラマ画像)
図7は、複数のステレオカメラSCで得られた複数の動画像SIに対して幾何補正処理とアルファブレンド処理を施して、複数の動画像を繋げてあるいは貼り合わせて、連続した1枚の動画像のパノラマ画像PIが生成された様子を示す図である。
【0043】
図7に示すように、複数の動画像SIが連続したパノラマ画像PIは、隣り合う2つの画像を繋ぎ合わせたときに連結部分に歪みがなく、かつ自然に合成されるように、隣り合う2つの画像SIの重なり領域あるいは繋ぎ目領域の画素位置に対して幾何的な画素位置補正をし、さらにアルファブレンド処理により画素値を補正することによって生成された動画像である。パノラマ画像PIの生成方法は、公知であり、その詳細な説明は、省略する。
【0044】
制御装置11は、各ステレオカメラSCからの動画像SIを取得して、図7のパノラマ画像PIを生成する。例えば、ホームの一端から他端まで得られた複数の動画像SIを繋ぎ合わせて1枚のパノラマ画像PIを生成し、図示しないメモリに記憶し、モニタ12に出力する。
【0045】
(処理の内容)
図8は、各ステレオカメラSCのDSPにおける処理の内容を示すフローチャートである。各ステレオカメラSCの通信制御部35は、主に、画像信号の転送処理と、立体形状の認識情報あるいはイベント検知信号の出力処理と、自己の画像信号の送信処理とを行う。転送処理は、デイジーチェーン接続された隣りのステレオカメラSCから画像信号が転送されると、逆側の、すなわち制御装置11に近い方のステレオカメラSCへ画像信号を転送する処理である。立体形状の認識情報あるいはイベント検知信号の出力処理は、ステレオ処理により得られた距離画像に基づき認識された立体形状の認識情報あるいは他のステレオカメラSCからの認識情報を制御装置11へ出力する、あるいは距離画像又はCMOSセンサ31から出力された画像に基づき、所定のイベントが検知されると、そのイベントを制御装置11へ通知するために、イベント検知信号を出力する処理である。また、自己の画像信号の送信処理は、2つのCMOSセンサ31の一方の画像を、制御装置11へ送信するための処理である。
【0046】
各ステレオカメラSCが上述したこれらの処理を行うことによって、最終的には、制御装置11が各ステレオカメラSCからの動画像SIに基づいてパノラマ画像PIを生成し、かつ立体形状の認識情報を取得しあるいは所定のイベントの発生を検知することができる。
【0047】
まず、通信制御部35は、他のステレオカメラSCからの転送された画像信号のデータを受信したか否かを判定する(ステップ(以下、Sと略す)1)。通信制御部35は、他のステレオカメラSCからの画像信号、すなわち転送画像、を受信した場合は、S1でYESとなり、2つのI/F36のうち、転送画像を受信した一方のI/F36でない他方のI/F36へ受信した画像信号のデータを出力して転送する(S2)。
【0048】
S1でNOの場合及びS2の後は、立体認識部34からあるいは他のステレオカメラSCから立体形状の認識情報を取得あるいは所定のイベントを検知したか否かが判定される(S3)。立体形状の認識情報を取得あるいは所定のイベント検知信号を受信すると、S3でYESとなり、通信制御部35は、取得した認識情報あるいは検知したイベントのイベント検知信号を制御装置11側のI/F36を介して出力する(S4)。
【0049】
S3でNOの場合及びS4の後は、2つのCMOSセンサ31の内の少なくとも一方の画像信号のデータを得て、制御装置11側のI/F36を介して出力する画像信号のデータ送信処理を実行する(S5)。S5の処理の後は、S1の処理に戻り、上述した処理が繰り返される。
【0050】
従って、制御装置11は、S2及びS5の処理による各ステレオカメラSCからの画像信号のデータを得て、図7に示すような動画像のパノラマ画像PIを生成することができる。
監視者は、操作パネル13を操作して、モニタ12に表示される画像の表示形態を変更することができる。そのとき、監視者は、表示画像のパノラマ画像上の位置、言い換えると、ホームHの所望の位置を指定することができる。
【0051】
例えば、監視者は、ホームHの端部の連続画像であるパノラマ画像PIの中で所望の1つの位置を指定することによって、図7において一点鎖線で示すように、その所望の1つの位置における動画像を切り出してモニタ12の1つの画面上に表示させることもできる。
【0052】
さらに、監視者は、パノラマ画像PIの中で所望の複数の位置を指定することによって、図7において二点鎖線で示すように、その複数の位置における動画像を切り出して、モニタ12の1つの画面上にマルチ画像で表示させることもできる。図7では、4つの位置の画像がモニタ12の1つの画面上に表示されている例を示している。なお、所望の1つの位置あるいは所望の複数の位置は、各ステレオカメラの画像の位置に一致しなくてもよい。すなわち、所望の1つの位置あるいは所望の複数の位置は、パノラマ画像PI上の任意の位置でよい。
【0053】
また、パノラマ画像PIを、指定された任意の位置からスクロールするように画像をモニタ上に表示させるようにすることもできる。例えば、操作パネル13上のスクロールキー、ジョイスティック等を操作することによって、表示画像の位置を指定してパノラマ画像PI上を連続的に移動させることもできる。図7において破線で示すように、破線で示す範囲の画像が、左側から右側に向かって移動して、移動する位置の画像がスクロール画像として表示している例が示されている。スクロール画像も、複数の位置におけるスクロール画像で、1つの画面上にマルチ画像で表示されるようにしてもよい。
【0054】
後述するように、車掌も、所定の操作を行うことによって、車掌モニタ12aに表示されるスクロール画像を、速くスクロールさせたり、遅くスクロールさせたり、スクロールを戻したり、スクロールを停止させることができる。
【0055】
なお、上述した例では、制御装置11が複数のステレオカメラSCからの複数の画像を合成してパノラマ画像を生成しているが、制御装置11がパノラマ画像の生成を行わずに、各ステレオカメラSCが、隣のステレオカメラSCからの画像信号に自己の画像信号を追加して繋げるようにして、制御装置11が最終的にパノラマ画像PIのデータを受信するようにしてもよい。例えば、連結された100台のステレオカメラSCの一番端の1番目のステレオカメラSCが、制御装置11側の隣のステレオカメラSCへ自己のCMOSセンサ31の画像を送信する。2番目のステレオカメラSCは、1番目のステレオカメラSCからの画像に、自己の画像に追加する。このとき2番目のステレオカメラSCは、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を行って、その自己の画像を追加した画像を3番目のステレオカメラSCへ送信する。3番目のステレオカメラSCは、2番目のステレオカメラSCと同様に、受信した画像に自己の画像を追加し、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を行って、その自己の画像を追加した画像を4番目のステレオカメラSCへ送信する。以上の処理を、100番目のステレオカメラSCまでの各ステレオカメラSCが実行することにより、制御装置11は、最終的にパノラマ画像PIを得ることができる。
【0056】
図9は、そのようにしてパノラマ画像が生成される処理の流れを示すフローチャートである。図9において、図8と同じ処理については、同じステップ番号が付されている。
図9の処理も、通信制御部35によって行われる。まず、通信制御部35は、隣のステレオカメラSCから転送された画像信号のデータを受信したか否かを判定する(S1)。通信制御部35は、転送画像を受信した場合は、S1でYESとなり、受信した画像信号に、自己の画像信号を追加する画像追加処理を実行する(S11)。画像追加処理は、受信した画像信号に自己の画像信号を追加し、繋ぎ目領域について幾何的な画素位置補正処理とアルファブレンド処理を施して合成画像を生成する処理である。
【0057】
そして、通信制御部36は、その合成画像を、2つのI/F36のうち、転送画像を受信した一方のI/F36でない他方のI/F36へ出力して転送する画像信号のデータ送信処理を実行する(S12)。
【0058】
S1でNOの場合及びS12の後は、立体認識部34あるいは他のステレオカメラSCから立体形状の認識情報を取得したかあるいは所定のイベントを検知したか否かが判定され(S3)、立体形状の認識情報を取得したあるいは所定のイベントが検知されると、通信制御部35は、立体形状の認識情報あるいはイベント検知信号を制御装置11側のI/F36を介して出力する(S4)。S3とS4の処理は、図8と同様である。S3とS4の処理の後は、S1の処理に戻り、上述した処理が繰り返される。
【0059】
従って、制御装置11は、S11及びS12の処理によるパノラマ画像PIを最終的に得ることができる。
よって、制御装置11は、図9の処理によってもパノラマ画像PIを得ることができるので、パノラマ画像PIから、一部を抜き出して、単一の画像表示、マルチ画像表示、あるいはスクロール表示を、モニタ上に行うことができる。
【0060】
以上の監視カメラシステム1は、各ステレオカメラSCはデイジーチェーン接続されているので、ホームの監視範囲を拡げるのであれば、制御装置11から最も遠い位置のステレオカメラSCにケーブルCBにより新たなステレオカメラSCを追加したり、デイジーチェーン接続されている途中に新たなステレオカメラSCを追加する等も容易である。
【0061】
上述した実施の形態の監視カメラシステムによれば、例えば、ホーム等における人の線路への落下は、パノラマ画像中の禁止領域における一定体積の物(すなわち人)を検知(すなわち認識)することにより検知することができる。また、ホームの混雑状況、異常状況を判定して、イベントとしてセンタ装置へ通知することができる。
【0062】
なお、隣り合う2つのステレオカメラSCにより、監視範囲を拡げることが可能である。1台のステレオカメラSCのステレオ処理可能な範囲は、2つのCMOSセンサ31の視野の重なる領域である。図10は、各ステレオカメラSCのステレオ処理可能な領域を示す図である。図10は、2台のステレオカメラSCの場合のステレオ処理可能な領域を示す。
【0063】
図10に示すように、各ステレオカメラSCの2つのCMOSセンサ31によってステレオ処理可能な領域SAは、斜線で示されている。すなわち領域SAは、単独のステレオカメラSCによりステレオ処理可能な範囲である。
【0064】
図11は、隣り合う2台のカメラの、お互いに近い方のCMOSセンサ31を2台利用して、より広範囲なステレオ処理可能な領域OAを示す図である。
図11に示すように、隣り合う2台のステレオカメラの、お互いに近い方のCMOSセンサ31の画像を利用すると、ステレオ処理可能な範囲が得られる。そのステレオ処理可能な領域OAは、斜線で示されている。図11の領域OAは、図10の領域SAと重なる部分があるが、図10の領域SAとは異なっている。
【0065】
この場合、隣り合う2台のステレオカメラSCの一方が、他方から画像データを受信して、ステレオ処理部33においてステレオ処理を行い、その一方の立体認識部34が立体形状の認識及びイベント検知処理を行うことにより、領域OAにおける立体認識処理が可能となる。
各ステレオカメラSCが、図10の処理と図11の処理を交互に行うことにより、複数のステレオカメラSCによる監視領域を、結果として拡げることができる。
【0066】
上述したように、立体認識部34は、ステレオ処理部33からの距離情報を受信して、各画素の距離情報から対象物の形状を認識することができる。よって、立体認識部34は、所定の立体形状パターンと、距離情報から把握される形状とを比較して、両者が一致したときに所定のイベントが発生したとして、所定のイベント信号を出力する。その処理の例を説明する。
【0067】
また、パノラマ画像PIをそのまま表示するのではなく、例えばホームH上の人の視点からの画像に射影変換して画像を表示するようにしてもよい。
図12は、画像の射影変換の例を説明するための図である。画像IAは、ステレオカメラSCから見たホームHの画像である。制御装置11の画像処理部41は、画像IAを画像IBに射影変換する。図13は、画像IBの視点位置の変更を説明するための図である。図13に示すように、画像IAの視点は、ステレオカメラSCの位置であるが、射影変換により、画像IBの視点位置VPは、ホームH上の通常の人の目の高さの位置となる。
【0068】
射影変換は、ホームHの床面と、電車の側面の位置は決まっているので、その面を基準として射影変換を行うことができる。
【0069】
よって、モニタ12に表示される画像の視点位置が、ホームH上の人の目の高さの位置であるので、監視者は、ホームH上に立って、ホームHを監視しているように感じられるので、違和感無く、ホームHの監視をすることができる。
【0070】
(電車とホームの間における人の宙吊り状態の検出)
人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態になる場合がある。図14は、その宙吊り状態を説明するための図である。図15は、ステレオカメラSCにより撮像された、宙吊り状態の人Mを含む画像の例を示す図である。
【0071】
図14は、電車の進行方向から見たときの人が宙吊り状態にある様子を示す。図14に示すように、電車Tを降りようとした人Mが誤って停止している電車TとホームHの端の間に落ちると、頭だけが電車TとホームHの間の隙間Gから飛び出た状態となる。図15は、距離画像の画像IRの例である。
ステレオカメラSCは、電車TとホームHの位置関係は予め決まっているので、頭部が隙間Gの近傍に存在することを検出することによって、人が宙吊り状態になっていると推定してアラーム信号を出力する。
【0072】
図16は、人Mが宙吊り状態にあるときの頭部の検出を行う処理の流れのフローチャートである。ステレオカメラSCは、制御装置11からのコマンドに応じて、図16の処理を実行する。
【0073】
立体認識部34は、画像IR中の所定の検出領域41内に対応する距離画像から、ホームHから所定の高さまでの範囲の距離画像を抽出する(S1)。図15に示すように、人Mがホームから落ちて宙吊り状態になる場所は、電車TとホームHの間の隙間Gである。よって、例えば、ドアの近傍の所定の領域が、検出領域41として予め設定されている。
【0074】
そして、図14に示すように、宙吊り状態の人Mの頭部は、ホームHの上から所定の高さ、例えば50cm以下になる。
【0075】
S1では、そのような場所と高さの範囲に対応する検出領域41内において、所定の高さ以下の範囲の距離画像が抽出される。なお、検出領域は、ドアの近傍だけでなく、電車TとホームHの間の隙間Gを含む細長い領域でもよい。
【0076】
次に、立体認識部34は、頭部立体モデルに基づき、S1で抽出された距離画像の中に、人の頭部が有るか否かを判定する(S2)。人の頭部の大きさ及び形状は、略決まっている。よって、その大きさと形状をモデル化して、頭部立体モデル情報としてステレオカメラSC内のメモリに記憶しておく。立体認識部34は、予め記憶された頭部立体モデル情報と、抽出された距離画像とのマッチングを行い、抽出された距離画像の中に頭部と推定される形状のものがあるか否かを判定する。
【0077】
以上のように、立体形状認識部としての立体認識部34は、ステレオ処理部33で生成された距離画像の情報に基づいて、立体形状を認識し、かつホームHの高さ方向において所定の高さの範囲内であって、ホームHの縁と電車Tとの間の隙間から所定の空間内に、人の頭部を検出する処理を実行する。
【0078】
立体認識部34は、S2の判定結果を出力する判定結果出力処理を実行する(S3)。具体的には、立体認識部34は、所定の頭部立体モデル情報とS1で抽出された距離画像とのマッチングの結果、距離画像中に、所定の頭部立体モデルと合致する部分があると判定されると、頭部があるというイベントを示すイベント信号を生成して出力する。このイベント信号は、人の頭部の検出情報を構成する。
【0079】
なお、以上の例では、人の頭部の検出は、頭部立体モデル情報を用いて行っているが、頭部の位置に顔があるか否かを検出することに行うようにしてもよい。例えば、距離画像から頭部と思われる形状が検出された場合、頭部と思われる形状の位置に人の顔があるか否かを、画像処理による顔検出処理により判定し、顔が検出されると、人の頭部があるとするようにしてもよい。
【0080】
以上のようにして、立体認識部34は、人Mが宙吊り状態にあるときの頭部の検出を行う。そのイベント信号は、人の頭部の検出情報として、通信制御部35から制御装置11へ伝達される。
【0081】
なお、1つのステレオカメラSCが人の宙吊り状態を検出した場合に、隣りのステレオカメラSCにより、同じ処理を行って、人の宙吊り状態の検出処理を実行させて、宙吊り状態の検出の確認を行うようにしてもよい。すなわち、一のステレオカメラSCの通信制御部35が、人の頭部の検出情報を制御装置11へ送信した場合、制御装置11は、人の頭部の検出情報を受信すると、人の頭部の検出情報を送信したステレオカメラSC以外の他のステレオカメラSC、例えば隣のステレオカメラSCに対して、人の頭部を検出する処理を実行させる。これにより、人の頭部の検出の精度を上げることができる。
【0082】
図17は、複数のステレオカメラSCが撮像する範囲を説明するための図である。図17に示すように、各ステレオカメラSCの撮像範囲において頭部を検出する範囲が、隣のステレオカメラSCと重なるように、複数のステレオカメラSCをホームH上に取り付ける。
【0083】
複数のステレオカメラSCがそのように設置された場合に、図17中のステレオカメラSC(A)が、図16の処理により、頭部があるというイベントを示すイベント信号を生成したとする。そのイベント信号は、制御装置11に伝達される。制御装置11は、隣のステレオカメラSC(A+1)に対して、ステレオカメラSC(A)の検出領域41に対応する領域を検出領域として、図16の処理を実行するようにコマンドを出力する。
【0084】
その結果、図17の場合、最初に人の宙吊りを検出したステレオカメラSC(A)の隣のステレオカメラSC(A+1)によっても、人の宙吊り状態の検出処理が実行され、その結果が制御装置11に送信される。よって、監視システムにおいて、人の宙吊り状態の検出の精度を上げることができる。
【0085】
さらに、人の宙吊り状態が検出された場合、監視者がその状態をモニタで確認する場合、図15のような画像IRでは、人の宙吊り状態を確認し難い。そこで、人の宙吊り状態の検出のイベント信号を受信すると、制御装置11は、例えば、図17の場合、隣のステレオカメラSC(A+1)で撮像された2次元画像から、人Mの宙吊り状態が検出された位置あるいは方向の画像を切り出して、モニタ12及び車掌用モニタ12aに出力するようにしてもよい。
【0086】
図18は、モニタ12及び車掌用モニタ12aに出力された切り出し画像IRaの例を示す図である。図18に示すように、人Mを斜め上から撮像した画像IRaは、監視者にとっては、人Mの頭部の形などが判別し易い画像である。
【0087】
以上のように、制御装置11は、人の頭部の検出情報を受信すると、人の頭部の検出情報を送信したステレオカメラ以外のステレオカメラで撮像された画像から、人の頭部を検出した位置の画像を切り出して、画像出力部45を介して、画像表示装置であるモニタ12へ出力する。その結果、監視者は、人Mの頭部の形などが判別し易い。
【0088】
また、ステレオカメラSCが電車Tの車掌も撮像するように設置されている場合、ステレオカメラSCは、画像処理により、車掌の動作を認識するようにしてもよい。例えば、車掌は、ホームH上に設けられた車掌用モニタ12aを見ることができる。そこで、ステレオカメラSCに車掌の動作を認識させ、車掌は、自己の動作に基づいて、車掌用モニタ12aに表示される画像の表示操作を行うことができるようにしてもよい。
【0089】
図19は、電車Tにおける車掌の動作を説明するための図である。車掌MMは、電車の車掌室内に立って、電車Tの車体の外側面上に自由に手HDを置くことができる。その手HDがおける位置は、所定の範囲に限られるが、その所定の範囲内では自由である。ステレオカメラSCは、車掌MMの手HDが、電車Tの車体壁上の所定の領域内のどの位置にあるかを認識し、その位置に応じたイベント信号を制御装置11へ送信する。
【0090】
ここでは、電車Tの外側面上の所定の領域に所定の複数のマークが設けられる。車掌MMは、車掌MMは、その複数のマークに対する手HDの位置に応じて、車掌用モニタ12aに表示される画像の指示を行うことができる。
【0091】
例えば、車掌MMが電車Tのドアを閉めてから、安全を確認する場合に、車掌用モニタ12aに、図7で説明したパノラマ画像のスクロール画像を、表示させることができる。その場合、車掌MMは、車掌用モニタ12aに表示される、電車の先頭車両から最後尾車両までのスクロール画像を見て、安全を確認する。
【0092】
図20は、電車Tの外側面上に設けられた4つの領域HR1,HR2,HR3,HR4が、指示線BLと文字によって示されている例を示す図である。
図20に示すように、領域HR1は、上から1つ目と2つ目の指示線BL間で挟まれた領域であり、その領域HR1に手HDが置かれると、スクロール画像の早送りを指示することになる。立体認識部34において、2次元画像あるいは距離画像から、領域HR1に点があることを認識することができる。
【0093】
同様に、領域HR2は、上から2つ目と3つ目の指示線BL間で挟まれた領域であり、その領域HR1に手HDが置かれると、スクロール画像の遅い送りを指示することになる。領域HR3は、上から3つ目と4つ目の指示線BL間で挟まれた領域であり、その領域HR3に手HDが置かれると、スクロール画像の送りの停止を指示することになる。領域HR4は、上から4つ目と5つ目の指示線BL間で挟まれた領域であり、その領域HR4に手HDが置かれると、スクロール画像の戻り、すなわち逆方向の送りを指示することになる。
【0094】
従って、車掌MMは、これらのマークに対する手HDの位置を移動させることによって、車掌用モニタ12aの操作を容易に行うことができる。
【0095】
以上のように、上述した本実施の形態の駅ホームの監視カメラシステムによれば、カメラの設置が容易で、かつ人が電車とホームの隙間に落ちて電車とホームの間で宙吊り状態にあることを検出することができる。
なお、上述した実施の形態では、監視員の操作により、モニタ12及び車掌用モニタ12aに表示される画像が変更されているが、ステレオカメラSCが、ホーム上の駅員の動作、例えば旗を振る動作を検出するようにして、駅員の所定の動作に応じて、モニタ12及び車掌用モニタ12aに表示される画像を変更するようにしてもよい。
【0096】
さらに、ステレオカメラSCは、画像処理により駅員の所定の動作を検出すると、その動作に応じたイベント信号を出力する。所定の動作は、例えば駅員が手に持つ旗により方向を示す動作である。制御装置11は、そのイベント信号を受信すると、パノラマ画像PIの中からその方向の映像を切り出して、ズームアップ等してモニタ12に出力する。その結果、監視員は、駅員の示す方向の映像を素早く見ることができる。
【0097】
さらになお、上述した実施の形態では、数珠繋ぎ接続された複数のステレオカメラの中の末端のステレオカメラに、制御装置が接続されているシステムであるが、制御装置は、末端のステレオカメラに接続しない形態のシステムでもよい。
【0098】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【0099】
1 駅ホームの監視カメラシステム、21 筐体、22 対物光学系、23 コネクタ
【特許請求の範囲】
【請求項1】
数珠繋ぎ接続された複数のステレオカメラと、
数珠繋ぎ接続された前記複数のステレオカメラの末端のステレオカメラに接続された制御装置と、
を含み、
各ステレオカメラは、
ステレオ撮像のための少なくとも2つの撮像素子と、
前記少なくとも2つの撮像素子からの撮像信号を取り込み、少なくとも2つの画像信号を生成する画像取込部と、
前記少なくとも2つの画像信号を処理して距離画像を生成するステレオ処理部と、
前記ステレオ処理部で生成された前記距離画像の情報に基づいて、立体形状を認識し、かつホームの高さ方向において所定の高さの範囲内であって、前記ホームの縁と電車との間の隙間から所定の空間内における、人の頭部を検出する立体形状認識部と、
前記立体形状認識部により認識された立体形状の認識情報及び前記少なくとも2つの画像信号の1つを送信する通信制御部と、
を有し、
前記制御装置は、
前記立体形状の認識情報及び前記少なくとも2つの画像信号の1つを受信するデータ受信部と、
前記複数のステレオカメラの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する画像処理部と、
前記画像処理部において生成された前記指定された表示形態の表示画像の画像信号を、画像表示装置に出力する画像出力部と、
を有することを特徴とする駅ホームの監視カメラシステム。
【請求項2】
前記立体形状認識部は、所定の立体モデル情報と前記距離画像とのマッチングを行うことにより、前記人の頭部の検出を行うことを特徴とする請求項1に記載の駅ホームの監視カメラシステム。
【請求項3】
一のステレオカメラの前記通信制御部が、前記人の頭部の検出情報を前記制御装置へ送信した場合、前記制御装置は、前記人の頭部の検出情報を受信すると、前記人の頭部の検出情報を送信した前記一のステレオカメラ以外の他のステレオカメラに対して、前記人の頭部を検出する処理を実行させることを特徴とする請求項1又は2に記載の駅ホームの監視カメラシステム。
【請求項4】
前記制御装置は、前記人の頭部の検出情報を受信すると、前記人の頭部の検出情報を送信したステレオカメラ以外のステレオカメラで撮像された画像から、前記人の頭部を検出した位置の画像を切り出して、前記画像出力部を介して、画像表示装置へ出力することを特徴とする請求項1から3のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項5】
前記指定された表示形態の表示画像は、前記パノラマ画像の一部を切り出した1枚の動画像あるいは複数の動画像であることを特徴とする請求項1から4のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項6】
前記パノラマ画像の一部を切り出した1枚の動画像あるいは複数の動画像のそれぞれは、前記パノラマ画像中の指定された位置からのスクロール画像であることを特徴とする請求項5に記載の駅ホームの監視カメラシステム。
【請求項7】
前記表示画像の前記表示形態を指定する表示形態指定部を有し、
前記画像出力部は、前記表示形態指定部において指定された表示形態に応じて、前記指定された表示形態の表示画像の画像信号を前記表示装置に出力することを特徴とする請求項1から6のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項8】
前記制御装置は、画像合成部を有し、
前記画像合成部は、前記データ受信部において受信した画像信号に基づいて前記パノラマ画像を生成することを特徴とする請求項1から7のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項9】
前記各ステレオカメラの前記通信制御部は、前記画像取込部で生成された前記少なくとも2つの画像信号の1つを、前記他のステレオカメラから受信した画像信号に連結して、転送し、
前記制御装置の前記画像出力部は、前記データ受信部において受信した連結された画像を、前記パノラマ画像として出力することを特徴とする請求項1から6のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項10】
前記通信制御部は、他のステレオカメラから受信した立体形状の認識情報及び画像信号を転送することを特徴とする請求項1から9のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項1】
数珠繋ぎ接続された複数のステレオカメラと、
数珠繋ぎ接続された前記複数のステレオカメラの末端のステレオカメラに接続された制御装置と、
を含み、
各ステレオカメラは、
ステレオ撮像のための少なくとも2つの撮像素子と、
前記少なくとも2つの撮像素子からの撮像信号を取り込み、少なくとも2つの画像信号を生成する画像取込部と、
前記少なくとも2つの画像信号を処理して距離画像を生成するステレオ処理部と、
前記ステレオ処理部で生成された前記距離画像の情報に基づいて、立体形状を認識し、かつホームの高さ方向において所定の高さの範囲内であって、前記ホームの縁と電車との間の隙間から所定の空間内における、人の頭部を検出する立体形状認識部と、
前記立体形状認識部により認識された立体形状の認識情報及び前記少なくとも2つの画像信号の1つを送信する通信制御部と、
を有し、
前記制御装置は、
前記立体形状の認識情報及び前記少なくとも2つの画像信号の1つを受信するデータ受信部と、
前記複数のステレオカメラの画像信号を合成して得られたパノラマ画像に基づいて、指定された表示形態の表示画像を生成する画像処理部と、
前記画像処理部において生成された前記指定された表示形態の表示画像の画像信号を、画像表示装置に出力する画像出力部と、
を有することを特徴とする駅ホームの監視カメラシステム。
【請求項2】
前記立体形状認識部は、所定の立体モデル情報と前記距離画像とのマッチングを行うことにより、前記人の頭部の検出を行うことを特徴とする請求項1に記載の駅ホームの監視カメラシステム。
【請求項3】
一のステレオカメラの前記通信制御部が、前記人の頭部の検出情報を前記制御装置へ送信した場合、前記制御装置は、前記人の頭部の検出情報を受信すると、前記人の頭部の検出情報を送信した前記一のステレオカメラ以外の他のステレオカメラに対して、前記人の頭部を検出する処理を実行させることを特徴とする請求項1又は2に記載の駅ホームの監視カメラシステム。
【請求項4】
前記制御装置は、前記人の頭部の検出情報を受信すると、前記人の頭部の検出情報を送信したステレオカメラ以外のステレオカメラで撮像された画像から、前記人の頭部を検出した位置の画像を切り出して、前記画像出力部を介して、画像表示装置へ出力することを特徴とする請求項1から3のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項5】
前記指定された表示形態の表示画像は、前記パノラマ画像の一部を切り出した1枚の動画像あるいは複数の動画像であることを特徴とする請求項1から4のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項6】
前記パノラマ画像の一部を切り出した1枚の動画像あるいは複数の動画像のそれぞれは、前記パノラマ画像中の指定された位置からのスクロール画像であることを特徴とする請求項5に記載の駅ホームの監視カメラシステム。
【請求項7】
前記表示画像の前記表示形態を指定する表示形態指定部を有し、
前記画像出力部は、前記表示形態指定部において指定された表示形態に応じて、前記指定された表示形態の表示画像の画像信号を前記表示装置に出力することを特徴とする請求項1から6のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項8】
前記制御装置は、画像合成部を有し、
前記画像合成部は、前記データ受信部において受信した画像信号に基づいて前記パノラマ画像を生成することを特徴とする請求項1から7のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項9】
前記各ステレオカメラの前記通信制御部は、前記画像取込部で生成された前記少なくとも2つの画像信号の1つを、前記他のステレオカメラから受信した画像信号に連結して、転送し、
前記制御装置の前記画像出力部は、前記データ受信部において受信した連結された画像を、前記パノラマ画像として出力することを特徴とする請求項1から6のいずれか1つに記載の駅ホームの監視カメラシステム。
【請求項10】
前記通信制御部は、他のステレオカメラから受信した立体形状の認識情報及び画像信号を転送することを特徴とする請求項1から9のいずれか1つに記載の駅ホームの監視カメラシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2012−11989(P2012−11989A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−153445(P2010−153445)
【出願日】平成22年7月5日(2010.7.5)
【出願人】(304020498)サクサ株式会社 (678)
【出願人】(000221616)東日本旅客鉄道株式会社 (833)
【出願人】(501212793)東日本トランスポーテック株式会社 (5)
【Fターム(参考)】
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願日】平成22年7月5日(2010.7.5)
【出願人】(304020498)サクサ株式会社 (678)
【出願人】(000221616)東日本旅客鉄道株式会社 (833)
【出願人】(501212793)東日本トランスポーテック株式会社 (5)
【Fターム(参考)】
[ Back to top ]