転倒検知装置、プログラム、転倒検知方法、及び転倒検知システム
【課題】人物の倒れ検知を精度良く行うことができる技術を提供する。
【解決手段】カメラで撮影された動画を構成する各フレームの画像データ(撮影画像)に対して制御部12の各処理部で種々の処理が施された後に、肩位置検出/追跡部160において、撮影画像に含まれる輪郭の近似曲線である上に凸の半円の中心位置が検出される。そして、倒れ途中検出部180によって、中心位置の垂直方向への経時的な変化を評価するための評価値(垂直変化評価値)が算出され、少なくとも当該垂直変化評価値に基づいて人物の転倒が検知される。
【解決手段】カメラで撮影された動画を構成する各フレームの画像データ(撮影画像)に対して制御部12の各処理部で種々の処理が施された後に、肩位置検出/追跡部160において、撮影画像に含まれる輪郭の近似曲線である上に凸の半円の中心位置が検出される。そして、倒れ途中検出部180によって、中心位置の垂直方向への経時的な変化を評価するための評価値(垂直変化評価値)が算出され、少なくとも当該垂直変化評価値に基づいて人物の転倒が検知される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、転倒を検知する技術に関する。
【背景技術】
【0002】
近年、公共の場などには多数の監視カメラが設けられ、主に異常の発生や混雑の状況などを把握する目的で利用されている。
【0003】
この異常の一例としては人の転倒(倒れ)などが挙げられる。
【0004】
そして、監視カメラで取得された画像データを用いて、浴室やトイレなどの部屋内において人が転倒するなどといった異常を検出する技術が種々提案されている(例えば、特許文献1〜4)。例えば、上記特許文献1で提案された技術では、画像データから高周波成分を抽出して動状態と静止状態とを判定することで異常の発生を検知する。また、上記特許文献2〜4で提案された技術では、各画像データについて、背景画像(参照画像)との差分領域を抽出して、当該差分領域(すなわち人体画像)の高さ情報の時間あたりの変化や面積の変化によって人体の転倒動作を検知する。
【0005】
【特許文献1】特開2002−304680号公報
【特許文献2】特開2000−253382号公報
【特許文献3】特開2000−207665号公報
【特許文献4】特開2000−207664号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1〜4で提案された技術では、エスカレータや動く歩道などといった限られた空間に多数の人間が混み入って存在している場合には、1人1人が転倒したか否かを検知することが困難である。
【0007】
例えば、人の特徴量を用いて転倒を検知する手法では、複数人が存在する場合には、人の重なり具合や並び具合が変化しただけでも特徴量が変化してしまうため、誤検知が発生する。特に、例えば、エスカレータ等では、乗降エリア付近を進行方向の正面側からカメラで撮影する場合、後方に背の高い人が立っていて、手前の比較的背の低い人(例えば子供)が転倒しても、1人1人を区別して転倒を検知することができないため、手前の人の転倒を検知することができない。
【0008】
また、人物を1人1人区別して検出する手法としては、形状や特徴量や色に基づいて頭部や顔を検出する手法が知られているが、例えば、顔を検出するためには、人物を正面側から撮影しなければならないといった制約がある。また、円や楕円などといった形状認識によって頭部を検出する場合には、人全体を占める頭部の割合はあまり大きくなく、頭部以外の丸っぽい他の部位まで頭部として誤検出され易い。更に、色で顔を検出する手法では、照明や背景や衣服の色の影響や肌自体の色のぶれによって誤検出が生じ易い。すなわち、環境や被写体の条件によって人物の倒れの誤検知が生じ易い。
【0009】
本発明は、上記課題に鑑みてなされたものであり、人物の倒れ検知を精度良く行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、請求項1の発明は、複数フレームの撮影画像を時間順次に受け付ける画像受付手段と、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、前記画像受付手段によって受け付けられる複数フレームの撮影画像を構成する各フレームの撮影画像から検出する位置検出手段と、前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出する評価値算出手段と、少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行う転倒検知手段とを備えることを特徴とする。
【0011】
また、請求項2の発明は、請求項1に記載の転倒検知装置であって、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出する処理を含むことを特徴とする。
【0012】
また、請求項3の発明は、請求項2に記載の転倒検知装置であって、前記評価値算出手段が、前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出する手段を有し、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出した後に、前記移動評価値が予め設定された値域範囲に含まれる状態を検出する処理を含むことを特徴とする。
【0013】
また、請求項4の発明は、請求項1から請求項3のいずれかに記載の転倒検知装置であって、前記複数フレームの撮影画像が、人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする。
【0014】
また、請求項5の発明は、請求項4に記載の転倒検知装置であって、前記人物搬送装置が、エスカレータを含むことを特徴とする。
【0015】
また、請求項6の発明は、転倒検知装置に含まれるコンピュータによって実行されることにより、前記転倒検知装置を、請求項1から請求項5のいずれかに記載の転倒検知装置として機能させるプログラムである。
【0016】
また、請求項7の発明は、(a)撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、撮影タイミングが互いに前後する複数フレームの撮影画像を構成する各フレームの撮影画像から検出するステップと、(b)前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出するステップと、(c)少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行うステップとを備えることを特徴とする。
【0017】
また、請求項8の発明は、請求項7に記載の転倒検知方法であって、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出する処理を含むことを特徴とする。
【0018】
また、請求項9の発明は、請求項8に記載の転倒検知方法であって、前記ステップ(b)が、前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出するステップを有し、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出した後に、前記移動評価値が予め設定された値域範囲に含まれる状態を検出する処理を含むことを特徴とする。
【0019】
また、請求項10の発明は、請求項7から請求項9のいずれかに記載の転倒検知方法であって、前記複数フレームの撮影画像が、人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする。
【0020】
また、請求項11の発明は、請求項10に記載の転倒検知方法であって、前記人物搬送装置が、エスカレータを含むことを特徴とする。
【0021】
また、請求項12の発明は、異なるタイミングで複数フレームの撮影画像を取得する撮像装置と、請求項1から請求項3のいずれかに記載の転倒検知装置とを備えることを特徴とする。
【0022】
また、請求項13の発明は、請求項12に記載の転倒検知システムであって、前記撮像装置の撮影方向が、人物搬送装置における人物の搬送経路に対して略平行に設定されていることを特徴とする。
【0023】
また、請求項14の発明は、請求項13に記載の転倒検知システムであって、前記人物搬送装置が、エスカレータを含むことを特徴とする。
【発明の効果】
【0024】
請求項1に記載の発明によれば、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに当該カーブと所定の関係を維持する基準位置を、各フレームの撮影画像から検出し、少なくとも基準位置の垂直方向への変化に係る評価値に基づいて人の転倒を検知することで、人物の倒れ検知を精度良く行うことができる。
【0025】
また、請求項2に記載の発明によれば、基準位置の垂直方向への変化に係る評価値が所定値を超えた状態を検出する処理を用いて人物の転倒を検知することで、人物が倒れていく状態を精度良く検出して、人物の倒れ検知を精度良く行うことができる。
【0026】
また、請求項3に記載の発明によれば、基準位置の垂直方向への変化に係る評価値が所定値を超えた後に、基準位置の移動に係る評価値が所定範囲内となった場合に、人物が転倒したと検知することで、人物が倒れていく状態とその後の転倒状態とを精度良く検出して、人物の倒れ検知を精度良く行うことができる。また、例えば、人物が走り抜けていく際に誤って人物が倒れていると検知されてしまうような不具合も解消することができる。
【0027】
また、請求項4に記載の発明によれば、人物搬送装置において人物が搬送される方向に対して撮影方向が略平行に設定された撮像装置により異なるタイミングでそれぞれ撮影された複数フレームの撮影画像を用いて、人物の転倒を検知するような構成を採用しても、肩の輪郭の近似曲線と所定の関係を維持する基準位置を精度良く検出することができるため、人物の倒れ検知を精度良く行うことができる。
【0028】
また、請求項5に記載の発明によれば、人物搬送装置がエスカレータを含むため、エスカレータなどの人物搬送装置における人物の倒れを精度良く検知することができる。
【0029】
また、請求項6に記載の発明によれば、請求項1から請求項5に記載の発明と同様な効果を得ることができる。
【0030】
また、請求項7から請求項11に記載の発明によれば、請求項1から請求項5にそれぞれ記載された発明と同様な効果を得ることができる。
【0031】
また、請求項12に記載の発明によれば、請求項1から請求項3に記載の発明と同様な効果を得ることができる。
【0032】
また、請求項13及び請求項14に記載の発明によれば、請求項4及び請求項5にそれぞれ記載された発明と同様な効果を得ることができる。
【発明を実施するための最良の形態】
【0033】
以下、本発明の実施形態を図面に基づいて説明する。
【0034】
<倒れ検知システムの概要>
図1は、本発明の実施形態に係る倒れ検知システム1の概略構成を例示する図である。倒れ検知システム1は、例えば、エスカレータの乗降における人物の転倒を検知する監視システムに用いられている。なお、本実施形態では、監視場所をエスカレータの乗降位置付近としているが、これに限られず、例えば動く歩道等といったその他の人物を搬送する装置(以下「人物搬送装置」とも称する)一般の乗降位置付近等であっても良い。
【0035】
図1に示すように、倒れ検知システム1は、倒れ検知装置10とN台(Nは4以上の自然数)のカメラ(第1のカメラ、第2のカメラ、第3のカメラ、・・・第Nのカメラ)C1〜CNとがネットワーク回線NT等の通信回線を介してデータ送受信可能に接続されて構成されている。なお、本実施形態では、カメラの台数を4台以上としたが、これに限られず、1台以上であれば何台であっても良い。
【0036】
倒れ検知装置10は、例えば、各種施設のセキュリティーセンター等に設置され、第1〜第NのカメラC1〜CNから送信されてくる動画を解析することで人の転倒を検知する装置である。
【0037】
第1〜第NのカメラC1〜CNは、動画撮影が可能なビデオカメラであり、人が転倒し易い位置であるエスカレータの乗り口や降り口付近等を撮影することができるように設置されている。また、第1〜第NのカメラC1〜CNは、毎秒30フレームによって構成される動画撮影が可能であり、1/30秒毎に1フレーム分の画像データ(すなわち撮影画像)を倒れ検知装置10に対して送出する。
【0038】
<カメラの配置>
図2は、第1及び第2のカメラC1,C2の配置例を示す模式図であり、図2では第1及び第2のカメラC1,C2による撮影範囲の外縁がそれぞれ破線で示されている。
【0039】
図2に示すように、エスカレータ100は、例えば、人物Hを図中矢印方向に搬送する。そして、第1のカメラC1がエスカレータ100の降り口101付近を撮影することができるように設置され、第2のカメラC2がエスカレータ100の乗り口102付近を撮影することができるように設置されている。具体的には、エスカレータ100が人物Hを搬送する経路(以下「人物搬送経路」とも称する)の略延長線上に第1及び第2のカメラC1,C2が設置されている。このような第1及び第2のカメラC1,C2の配置は、エスカレータ付近を監視する一般的なカメラと同様な配置である。
【0040】
より詳細には、第1のカメラC1は、エスカレータ100で搬送される人物Hを正面側から撮影することができるように、降り口101付近におけるエスカレータ100の進行方向(すなわち、人物Hを搬送する搬送方向)の前方に配置され、第2のカメラC2は、エスカレータ100で搬送される人物Hを背面側から撮影することができるように、乗り口102付近におけるエスカレータ100の進行方向の後方に配置されている。よって、第1のカメラC1は、一定のアングルを保持しつつエスカレータ100から降りる際の人物Hの動作を前方から動画撮影し、第2のカメラC2は、一定のアングルを保持しつつエスカレータ100に乗る際の人物Hの動作を後方から動画撮影する。その結果、第1のカメラC1では、エスカレータ100から降りる人物Hを正面から捉えた画像(正面画像)が得られ、第2のカメラC2では、エスカレータ100に乗る人物Hを背面から捉えた画像(背面画像)が得られる。
【0041】
換言すれば、第1のカメラC1の撮影方向と、降り口101付近におけるエスカレータ100の進行方向とが略同一となるように設定され、第2のカメラC2の撮影方向と、乗り口102付近におけるエスカレータ100の進行方向とが略反対となるように設定されている。更に換言すれば、第1のカメラC1の撮影方向と、降り口101付近においてエスカレータ100が人物Hを搬送する経路(人物搬送経路)とが略平行となるように設定され、第2のカメラC2の撮影方向と、乗り口102付近においてエスカレータ100が人物Hを搬送する経路(人物搬送経路)とが略平行となるように設定されている。なお、ここで人物搬送経路と各カメラの撮影方向とが略平行に設定されるのは、後述する人物の肩の輪郭を略半円状として検出する際に、人物Hを極力正面又は背面から捉える方が好ましいからである。したがって、ここで言う「略平行」には、完全な平行から約30度程度の角度のずれも許容し含まれるが、角度のずれは例えば約15度以下など極力小さな方が好ましく、角度のずれがほとんどない状態が更に好ましい。
【0042】
図2では、第1〜第NのカメラC1〜CNの配置のうち、第1及び第2のカメラC1,C2の配置を代表例として説明したが、第3〜第NのカメラC3〜CNの配置も、第1及び第2のカメラC1,C2の配置と同様に設定されるため、ここでは説明を省略する。
【0043】
<倒れ検知装置の構成>
図3は、倒れ検知装置10の物理的構成(ハードウエア構成)を中心に示すブロック図である。なお、図3では、図が複雑化するのを防ぐため、第1〜第NのカメラC1〜CNを代表して第1のカメラC1のみを記載し、以下では、第1のカメラC1からの画像データを解析して倒れ検知を行う場合を代表例として説明する。
【0044】
倒れ検知装置10は、例えば、一般的なパーソナルコンピュータ(パソコン)を用いて構成される。この倒れ検知装置10は、主にインターフェース(I/F)11、制御部12、記憶部13、操作部14、及び表示部15を備えている。
【0045】
I/F11は、第1のカメラC1等との間におけるネットワーク回線NTを介したデータの送受信をコントロールするためのインターフェースである。I/F11では、倒れ検知装置10から第1のカメラC1に対し、第1のカメラC1の動作をコントロールする制御信号が出力され、第1のカメラC1から出力される画像データが入力される。具体的には、第1のカメラC1によって時間的に前後するタイミング(ここでは、1/30秒毎)でそれぞれ取得された画像データ(毎秒30フレーム分の画像データ)が時間順次にI/F11に対して入力され、I/F11で受け付けられる。
【0046】
制御部12は、CPU12a及びメモリ12bを有し、操作部14からの各種信号や、記憶部13に格納されたプログラムPG等に基づいて、各種機能や動作を実現する。例えば、制御部12が、記憶部13に格納されたプログラムPGを読み込んで実行することにより、第1のカメラC1等から入力された画像データを解析することで人物の倒れを検知する処理(倒れ検知処理)を行う機能(倒れ検知機能)が実現される。より詳細には、所定のOS(オペレーションシステム)が稼働するコンピュータにおいて、所定のアプリケーションプログラム(ここでは、プログラムPG)を実行することなどによって倒れ検知処理に係る各種機能が実現される。なお、制御部12における各種情報処理の過程で生成される各種データはメモリ12bに一時的に記憶される。
【0047】
記憶部13は、例えばハードディスク等を備えて構成され、倒れ検知機能を実現するためのプログラムPGを格納している。なお、このプログラムPGは、可搬性の記録媒体(CD−ROMあるいはDVD等)に格納された状態で提供されても良いし、ネットワーク上の所定のダウンロードサイトからダウンロードされても良い。
【0048】
操作部14は、例えばキーボードやマウス等を備えて構成されており、倒れ検知装置10のユーザー(例えば、警備員)によって操作部14が適宜操作されると、制御部12に対して操作に応じた各種信号を送信する。
【0049】
表示部15は、例えば、ブラウン管や液晶パネル等によって構成され、制御部12からの信号に応答して各種画像を可視的に出力する。
【0050】
<倒れ検知機能に係る機能構成>
図4は、制御部12によって実現される倒れ検知機能に係る機能構成を概念的に示す機能ブロック図である。
【0051】
図4に示すように、制御部12は、倒れ検知機能に係る機能構成として、主に輝度画像生成部120、画素間引き部130、フレーム間引き部140、人物エッジ画像生成部150、肩位置検出/追跡部160、処理切換部170、倒れ途中検出部180、倒れ状態検出部190、及び警告画面生成部200を備えている。
【0052】
輝度画像生成部120は、第1のカメラC1から出力されI/F11を介して入力された画像データから輝度によって表現した画像データ(以下「輝度画像」とも称する)を生成する。具体的には、第1のカメラC1から出力される画像データは例えば縦240×横320画素の24ビットのRGBの画像データであり、輝度画像生成部120は、RGBの画像データから各画素について下式(1)を用いて輝度値Yを算出することで縦240×横320画素の輝度画像を生成する。
【0053】
Y=0.29891×R+0.58661×G+0.11448×B・・・(1)
【0054】
画素間引き部130は、輝度画像生成部120において生成された輝度画像について、縦及び横ラインともに1ラインおきにライン間引きを行うことで、縦120×横160画素の画像(以下「縮小画像」とも称する)を生成する。
【0055】
フレーム間引き部140は、画素間引き部130において毎秒30フレーム分生成される縮小画像について、1フレームおきにフレーム間引きを行う(すなわち、1フレームおきに画像データを採用する)ことで、毎秒15フレームの縮小画像を人物エッジ画像生成部150に出力する。
【0056】
人物エッジ画像生成部150は、背景とは異なる被写体を人物とみなして、当該人物の輪郭を示す画像(以下「人物エッジ画像」とも称する)を生成し、肩位置検出/追跡部160に出力する。人物エッジ画像生成部150の詳細については後述する。
【0057】
肩位置検出/追跡部160は、人物の肩の輪郭を半円(半円弧)に類似した所定範囲の大きさを有する形状とみなして、人物エッジ画像生成部150で生成された人物エッジ画像に含まれる輪郭の近似曲線である上に凸の半円の中心位置を人物の肩が存在する大凡の場所を示す位置(以下「基準位置」とも称する)として検出する。更に、肩位置検出/追跡部160は、時間的に連続して入力されてくる各人物エッジ画像から中心位置をそれぞれ検出するとともに、人物毎に区別して中心位置に係る情報をメモリ12bに格納することで、中心位置の移動を追跡した情報(以下「肩追跡情報」とも称する)TIを生成及び更新する。肩位置検出/追跡部160は、各フレームの画像データについて肩追跡情報TIを生成又は更新し終わると、処理切換部170に対して信号を出力する。肩位置検出/追跡部160の詳細については後述する。
【0058】
処理切換部170は、局面(フェイズ)に応じて、人物が倒れ途中にある状態(以下「倒れ途中状態」とも称する)を検出する処理(以下「倒れ途中状態検出処理」とも称する)と、人物が倒れてしまった状態(以下「倒れ状態」とも称する)を検出する処理(以下「倒れ状態検出処理」とも称する)とを選択的に切り換えて実行させる。処理切換部170は、肩位置検出/追跡部160から各フレームの画像データの解析が終了された旨の信号が入力される度に、上記処理の切換処理の判定及び決定を行う。ここで、処理切換部170は、初期状態では、倒れ途中検出部180において倒れ途中状態検出処理を実行させる。そして、ある人物について一旦倒れ途中検出部180において倒れ途中状態が検出されると、当該ある人物については倒れ状態検出部190において倒れ状態検出処理を実行させる。なお、倒れ状態検出処理は、ある人物について中心位置が評価範囲外に到達したことによって終了される。このような処理の切換を行うのは、倒れ途中状態を経て倒れ状態に至る人物の詳細な転倒動作に対応させるためである。
【0059】
倒れ途中検出部180は、肩位置検出/追跡部160によって生成された肩追跡情報TIに基づいて中心位置の垂直方向への変化を評価することで倒れ途中状態を検出する。なお、倒れ途中検出部180は、倒れ途中状態が検出されると当該検出結果を処理切換部170に出力することで、処理切換部170による処理の切換を実現させる。また、倒れ途中検出部180における算出結果に基づいて肩追跡情報TIが更新される。倒れ途中検出部180の詳細については後述する。
【0060】
倒れ状態検出部190は、肩位置検出/追跡部160によって生成された肩追跡情報TIに基づいて中心位置の変化を評価することで倒れ状態を検出する。なお、倒れ状態検出部190は、倒れ状態が検出されると当該検出結果を警告画面生成部200に出力する。また、倒れ状態検出部190における算出結果に基づいて肩追跡情報TIが更新される。倒れ状態検出部190の詳細については後述する。
【0061】
警告画面生成部200は、倒れ状態検出部190から入力される倒れ状態が検出された検出結果に基づいて、人物が倒れたことを報知する警告画面の画像データを生成し、表示部15に対して出力する。このとき、表示部15では、警告画面が可視的に出力される。
【0062】
図5から図8は、人物エッジ画像生成部150、肩位置検出/追跡部160、倒れ途中検出部180、及び倒れ状態検出部190にそれぞれ含まれる機能構成を概念的に示す機能ブロック図である。以下、図5から図8を参照しつつ、人物エッジ画像生成部150、肩位置検出/追跡部160、倒れ途中検出部180、及び倒れ状態検出部190の詳細な機能について説明する。
【0063】
○人物エッジ画像生成部150:
図5に示すように、人物エッジ画像生成部150は、機能構成として、主に差分画像生成部151、平滑化処理部152、2値化処理部153、膨張処理部154、エッジ強調部155、2値化処理部156、マスク処理部157、及びノイズ除去部158を備えている。
【0064】
差分画像生成部151は、第1のカメラC1によって予め背景を撮影して記憶部13等に記憶しておいた画像(以下「背景画像」とも称する)G1(例えば図9)と、フレーム間引き部140から入力される縮小画像G2(例えば図10)との差分画像G3(例えば図11)を生成する。この差分画像G3は、背景とは異なる主に人物を含む被写体を捉えた画像となっている。
【0065】
差分画像生成部151で生成された差分画像G3に対して、平滑化処理部152において平滑化処理、2値化処理部153において2値化処理、膨張処理部154において膨張処理がそれぞれ施されることで、撮影画像のうちで人物を捉えた領域を特定する画像(以下「人物領域特定画像」とも称する)が生成される。なお、平滑化処理部152では、例えば、注目画素とその近傍画素の間で単純平均を行う一般的な平滑化処理が実施される。また、2値化処理部153では、例えば、予め設定された所定値を閾値とした2値化処理又は全画素値から所定ルールに従って求められる値を閾値とした2値化処理が実施される。更に、膨張処理部154では、例えば、注目画素の近傍に1つでも白画素があれば、当該注目画素を白画素とするような一般的な膨張処理が実施される。
【0066】
このように、差分画像生成部151、平滑化処理部152、2値化処理部153、及び膨張処理部154によって、人物等といった動体のみを抽出するためのマスク情報として機能する人物領域特定画像が生成される。
【0067】
一方、エッジ強調部155において、フレーム間引き部140から入力される縮小画像G2(例えば図10)に対して横方向に伸びる輪郭を強調するエッジ強調処理が施された後に、2値化処理部156において、2値化処理が施されることで、縮小画像の横方向の輪郭を主に強調して抽出したエッジ画像(例えば図12)が生成される。なお、エッジ強調部155では、例えば、図13に示すようなソーベルフィルタを用いたエッジ強調処理が実施される。また、2値化処理部156では、例えば、予め設定された所定値を閾値とした2値化処理又は全画素値から所定ルールに従って求められる値を閾値とした2値化処理が実施される。なお、以下では、エッジ画像は、例えば背景が白でエッジが黒で表されたものとして説明する。
【0068】
マスク処理部157は、膨張処理部154から入力される人物領域特定画像と、2値化処理部156から入力されるエッジ画像との論理積を得ることで、人物等の動体に注目したエッジ画像(人物エッジ画像)G5(例えば図14)を生成する。マスク処理部157で生成された人物エッジ画像G5は、ノイズ除去部158において例えば孤立点除去等の公知のノイズ除去処理が施されて、肩位置検出/追跡部160に出力される。ここで生成される人物エッジ画像は、例えば背景が白で人物等のエッジが黒で表されたものとなっている。
【0069】
なお、ここで、人物等の動体に係るエッジを選択的に採用したのは、後述する中心位置の検出における計算量を低減するとともに、背景から中心位置が誤って検知されるような不具合を抑制するためである。
【0070】
○肩位置検出/追跡部160:
図6に示すように、肩位置検出/追跡部160は、機能構成として、主に半円中心検出部161、及び中心位置グループ化部162を備えている。
【0071】
半円中心検出部161は、人物の肩の輪郭が下弦の半円の弧と類似していることを利用して、人物エッジ画像生成部150から入力される人物エッジ画像から肩の輪郭に近似した半円の中心位置(すなわち中心位置の座標)を検出する。当該中心位置は、人物の肩が存在する大凡の場所を示す基準位置であり、中心位置の検出は、例えば、円の検出で用いられるハフ変換を採用することで実現することができる。なお、中心位置の検出及び管理においては、図10で示すような縮小画像(縦120画素×横160画素)の各画素の座標を、例えば、縮小画像の左下を原点、右方向をX軸方向、上方向をY軸方向としたXY平面上の座標(X,Y)として扱う。
【0072】
ここで、ハフ変換を用いた中心位置の検出手法について説明する。
【0073】
半円中心検出部161における中心位置の検出においては、まず、ある座標を中心位置として検出するか否かを判定する際に指標となるスコアを算出する。
【0074】
図15は、半円中心検出部161において実施されるスコアの算出処理の動作フローを例示するフローチャートである。
【0075】
ステップS1では、スコアがリセットされて、初期値である0に設定される。
【0076】
ステップS2では、人物エッジ画像を構成する全画素のうちの判断対象となる画素(判断対象画素)を特定するためのカウントi(iは自然数)が初期値である1に設定される。
【0077】
ステップS3では、人物エッジ画像を構成する全画素のうちのi番目の画素(Xi,Yi)が判断対象画素として指定される。
【0078】
ステップS4では、ステップS3で指定された画素(指定画素)が黒画素であるか否か判定される。ここで、指定画素が黒画素でない場合(すなわち、人物等のエッジに対応する画素でない場合)には、ステップS5に進み、黒画素である場合には、ステップS7に進む。
【0079】
ステップS5では、人物エッジ画像を構成する全画素が判断対象画素として指定されたか否か判定される。ここで、全画素(ここでは、120×160=19200画素)が判断対象画素として指定されていなければ、ステップS6でカウントiが1だけ増加されて、ステップS3に進む。一方、全画素が判断対象画素として指定されていれば、スコアの算出処理動作のフローが終了される。つまり、全画素が判断対象画素として指定されるまで、ステップS3以降の処理が適宜繰り返して実行される。
【0080】
ステップS7では、指定画素である黒画素(Xi,Yi)を通る円の中心座標(Xc,Yc)が求められる。ここでは、円の最大半径をRmaxとし、下式(2),(3)を満たす範囲内で、中心座標(Xc,Yc)が求められる。
【0081】
(Xi−Rmax)≦Xc≦(Xi+Rmax)・・・(2)
(Yi−Rmax)≦Yc≦Yi ・・・(3)
【0082】
つまり、黒画素(Xi,Yi)を中心とした半径Rmaxの半円(上弦の半円)に含まれる全画素の座標が、中心座標(Xc,Yc)として求められる。したがって、ステップS7では、多数の座標が中心座標(Xc,Yc)として求められる。なお、最大半径Rmaxは、画像において捉えられる人物の肩の大きさの上限値として予め設定される値であり、プログラムPGで予め規定されていても良いし、ユーザによる操作部14の操作により任意に設定可能とされていても良い。
【0083】
ステップS8では、ステップS7において求められた多数の中心座標(Xc,Yc)のうちスコアを算出する対象となる中心座標(以下「スコア算出対象中心座標」とも称する)を特定するためのカウントj(jは自然数)が初期値である1に設定される。
【0084】
ステップS9では、ステップS7において求められた多数の中心座標(Xc,Yc)のうちのj番目の中心座標(Xcj,Ycj)がスコア算出対象中心座標として指定される。
【0085】
ステップS10では、ステップS9で指定された中心座標(Xcj,Ycj)と指定画素である黒画素(Xi,Yi)との距離が、下式(4)によって、座標(Xcj,Ycj)を中心として黒画素(Xi,Yi)を通る半円の半径Rjとして求められる。
【0086】
Rj=√{(Xi−Xcj)2+(Yi−Ycj)2}・・・(4)
【0087】
ステップS11では、ステップS10で求められた半径Rjが、予め設定された最小半径Rmin以上でかつ予め設定された最大半径Rmax以下であるか否か判定される。すなわち、下式(5)を満たすか否か判定される。
【0088】
Rmin≦Rj≦Rmax・・・(5)
【0089】
なお、最小半径Rminは、画像において捉えられる人物の肩の大きさの下限値として予め設定される値であり、プログラムPGで予め規定されていても良いし、ユーザによる操作部14の操作により任意に設定可能とされていても良い。このように、人物の肩の大きさに合わせて半径の範囲をある程度限定することで、ハフ変換における計算量の低減、ひいては処理の高速化を図ることができる。
【0090】
このステップS11では、中心座標(Xcj,Ycj)と半径Rjとの組合せについて、上式(5)を満たさないと判定されると、ステップS13に進み、上式(5)を満たすと判定されると、ステップS12で中心座標(Xcj,Ycj)と半径Rjとの組合せに対するスコアが1だけ増加されて、ステップS13に進む。
【0091】
ステップS13では、ステップS7で求められた全中心座標(Xc,Yc)がスコア算出対象中心座標として指定されたか否か判定される。ここで、全中心座標(Xc,Yc)がスコア算出対象中心座標として指定されていなければ、ステップS14でカウントjが1だけ増加されて、ステップS9に進む。一方、全中心座標(Xc,Yc)がスコア算出対象中心座標として指定されていれば、ステップS5に進む。つまり、1つの指定画素(Xi,Yi)について全中心座標(Xc,Yc)に係るスコアが算出されるまで、ステップS9〜S14の処理が繰り返され、1つの指定画素(Xi,Yi)について全中心座標(Xc,Yc)に係るスコアが算出されると、次の画素が指定画素として指定されるか、又はスコアの算出処理動作のフローが終了される。
【0092】
なお、半円中心検出部161におけるスコアの算出処理動作(図15)は、人物エッジ画像生成部150から1フレームの人物エッジ画像が入力される度に実行される。
【0093】
半円中心検出部161は、上述したスコアの算出処理動作(図15)によってスコアを算出した後に、スコアが高い方から所定数(ここでは上位5つ)のスコアについて、下式(6)を満たすスコアが付与された中心座標(Xcj,Ycj)と半径Rjの組合せがあれば、その中心座標(Xcj,Ycj)を中心位置の座標(以下単に「中心位置」と略する)として検出する。
【0094】
{(スコア×100)/(3.14×Rj)}>70・・・(6)
【0095】
図16は、人物エッジ画像G5(図14)に対して検出される肩の輪郭を大凡示す略半円の位置とその中心位置とを例示する図である。図16では、肩の輪郭を示す略半円が太線で示されており、その中心位置Pc1,Pc2が示されている。
【0096】
なお、半円中心検出部161におけるスコアの評価方法については、上式(6)を用いるものに限られず、例えば、他の関係式を用いても良い。また、半円中心検出部161においては、中心位置が複数存在する場合に、中心位置どうしの距離が所定距離(例えば最小半径Rminの4分の1など)以下の関係にある複数の中心位置については、所定のルール(例えば、付与されたスコアが最大のものを採用するルールや半径Rjが最大のものを採用するルール等)に従い、1つの中心位置を排他的に採用するようにしても良い。この処理は、肩の輪郭が完全には半円形状とはならないことに起因して、1人の人物の肩について複数の中心位置が検出される不具合の発生を抑制するための処理である。
【0097】
そして、半円中心検出部161における中心位置の検出は、人物エッジ画像生成部150から人物エッジ画像が入力される度に実行され、その都度、中心位置グループ化部162に中心位置の情報が出力される。
【0098】
中心位置グループ化部162は、半円中心検出部161から時間順次に入力される中心位置の情報を、各人物毎の中心位置の情報にグループ分けして中心位置を追跡した情報(以下「肩追跡情報」とも称する)TIを生成し、メモリ12bに記憶する。
【0099】
このグループ分けの手法としては、例えば、nフレーム目(nは自然数)の人物エッジ画像において検出された中心位置(以下「n中心位置」とも称する)とn+1フレーム目の人物エッジ画像において検出された中心位置(以下「n+1中心位置」とも称する)との距離が最も近い中心位置の組合せを、同一人物の中心位置としてグループ化するような手法を採用することができる。なお、n中心位置とn+1中心位置との距離Dは、n中心位置の座標を(X1,Y1)、n+1中心位置の座標を(X2,Y2)とすると、下式(7)によって算出される。
【0100】
D=√{(X1−X2)2+(Y1−Y2)2}・・・(7)
【0101】
このような中心位置のグループ分けによって、1フレームの人物エッジ画像G5において複数の人物が捉えられている場合でも、各人物毎の中心位置を区別して追跡、管理することができる。
【0102】
図17は、5フレーム分の人物エッジ画像を解析することで検出された中心位置をグループ分けすることで得られた第1及び第2の中心位置のグループGc1,Gc2を例示する図である。図17では、人物エッジ画像G5に対応する画像領域ARに対して、各々5点の中心位置からなる第1及び第2の中心位置のグループGc1,Gc2が示されている。
【0103】
但し、人物エッジ画像生成部150で時間順次に生成される人物エッジ画像、すなわち同じアングルを捉えた時間的に前後する画像では、人物の移動に伴い、人物の肩が時間順次に出現/消滅する。すなわち撮影範囲に対して人物の肩が時間順次に入出する。そして、撮影範囲から第1の人物の肩が出て行く際に、撮影範囲に第2の人物の肩が存在する場合には、第1の人物に係る中心位置と第2の人物の中心位置とが誤ってグループ化される可能性がある。このような不具合を回避するために、中心位置グループ化部162では、例えば、n中心位置とn+1中心位置との距離Dが、予め設定された所定距離(例えば、10画素)以上離れている場合には、同じグループを形成しないようにしている。つまり、画像上から消滅した第1の人物に係る中心位置のグループは、過去のものとされ、当該グループに係る全情報が肩追跡情報TIから消去される。一方、画像上に存在する第2の人物に係る中心位置は他のグループを独自に形成する。
【0104】
このように、画像上である程度の大きさ(サイズ)を占める肩の場所を特定する中心位置の変化を追跡することで、人物の姿勢の変化を精度良く検知することができる。
【0105】
なお、中心位置グループ化部162は、1フレーム分の人物エッジ画像の解析処理が終了する度に、当該解析処理が終了した旨の信号を処理切換部170に対して出力する。
【0106】
図18は、人物が転倒する際における中心位置の経時的変化を例示する図である。図18では、縦軸が画像における中心位置の高さ(Y座標)を示し、横軸が時刻を示しており、折れ線が中心位置の高さ(Y座標)の経時的変化を示している。図18に示すように、人物が転倒する際には、まず、倒れていく過程で中心位置の高さが大きく変化し(時刻t1〜t2)、その後、倒れた状態では、中心位置の高さがほとんど変化しない(時刻t2〜t3)。そこで、本実施形態に係る倒れ検知装置10では、倒れ途中検出部180によって倒れ途中状態を検出し、その後、倒れ状態検出部190によって倒れ状態(ほぼ静止した状態)を検出する倒れ検知処理を行うことで、例えば、ある人物が第1のカメラC1の前を走って通り過ぎるような場合であっても、誤って人物が転倒したと検知しないようにすることができ、結果として、人物の転倒を精度良く検知することができる。なお、図18では、参考の為に、倒れ状態から起き上がる過程における中心位置の高さの経時的変化も示されている(時刻t3〜t4)。
【0107】
○倒れ途中検出部180:
図7に示すように、倒れ途中検出部180は、機能構成として、主に垂直移動量算出部181、垂直移動量評価部182、及びフェイズ切換決定部183を備えている。
【0108】
垂直移動量算出部181は、肩追跡情報TIを参照することで、各グループ毎に、中心位置の垂直方向への移動量を算出する。垂直移動量算出部181では、各フレーム間における中心位置のY座標の差分(以下「中心位置垂直差分」とも称する)を算出し、当該中心位置垂直差分の算出に用いた中心位置の情報と関連付けて肩追跡情報TIに記憶する。このとき肩追跡情報TIが更新される。
【0109】
垂直移動量評価部182は、肩追跡情報TIを参照することで、所定期間(例えば、1/3秒間)における人物の肩の移動量を評価する。具体的には、例えば、肩追跡情報TIを参照することで、所定数のフレーム(例えば、最新フレーム及び直近4フレームからなる合計5フレーム)について、各フレーム間における中心位置垂直差分を2乗して累積し、比較数(例えば4)で割った値を中心位置の経時的な垂直方向への変化に係る評価値(以下「垂直変化評価値」とも称する)として算出する。そして、当該垂直変化評価値が所定値(例えば20)を超える場合には、中心位置の変化が比較的大きいため、人物が倒れている途中の状態(倒れ途中状態)であると評価する。つまり、倒れ途中状態を検出する。なお、ここでは、垂直変化評価値として、所定数のフレームについて中心位置垂直差分を2乗して累積し、比較数で割った値を採用したが、これに限られず、例えば、所定数のフレームについて、各フレーム間における中心位置垂直差分を単に合計した値など、中心位置の垂直変化を評価することができる値であれば良い。
【0110】
フェイズ切換決定部183は、人物(すなわち中心位置のグループ)毎に、垂直移動量評価部182によって倒れ途中状態であると評価されたことに応答して、倒れ途中状態を検出する倒れ途中状態検出処理を行うフェイズ(フェイズ1)から倒れ状態を検出する倒れ状態検出処理を行うフェイズ(フェイズ2)に切り換えることを決定し、その旨を示す信号を処理切換部170に対して出力する。
【0111】
○倒れ状態検出部190:
図8に示すように、倒れ状態検出部190は、機能構成として、主に移動量算出部191、及び分散量評価部192を備えている。
【0112】
移動量算出部191は、肩追跡情報TIを参照することで、各グループ毎に中心位置の移動量を算出する。移動量算出部191では、各フレーム間における中心位置のXY座標のそれぞれの差分、すなわち水平及び垂直方向それぞれにおける差分(以下「中心位置水平垂直差分」とも称する)を算出し、当該中心位置水平垂直差分の算出に用いた中心位置の情報と関連付けて肩追跡情報TIに記憶する。このとき肩追跡情報TIが更新される。
【0113】
分散量評価部192は、肩追跡情報TIを参照することで、所定期間(例えば、1/3秒間)における中心位置の分散量(すなわち、人物の肩の動き量)を評価する。具体的には、例えば、肩追跡情報TIを参照することで、所定数のフレーム(例えば、最新フレーム及び直近4フレームからなる合計5フレーム)について、各フレーム間における中心位置水平垂直差分を2乗して累積し、比較数(例えば4)で割った値を中心位置の経時的な移動量に係る評価値(以下「移動評価値」とも称する)として算出する。そして、当該移動評価値が所定値(例えば5)未満である場合、すなわち所定の値域範囲内(例えば0以上4以下)である場合には、中心位置の経時的な変化が著しく小さいため、人物が倒れて状態(倒れ状態)に至ったと評価(検出)し、人物が転倒したことを検知する。なお、ここでは、移動評価値として、所定数のフレームについて中心位置水平垂直差分を2乗して累積し、比較数で割った値を採用したが、これに限られず、例えば、所定数のフレームについて、各フレーム間における中心位置水平垂直差分を単に合計した値など、中心位置の移動を評価することができる値であれば良い。
【0114】
なお、例えば、エスカレータ100の乗り口102において人物Hが転倒する際には、エスカレータ100によって人物Hが転倒した状態で搬送されるような場面も想定されるが、そのような場面においても、中心位置の経時的な変化量は比較的小さな値となるため、上記倒れ状態検出処理によって倒れ状態を精度良く検出することができる。
【0115】
また、分散量評価部192は、人物が転倒したことを検知すると、その旨を示す信号を警告画面生成部200に出力する。
【0116】
なお、上述した倒れ途中検出部180による倒れ途中状態検出処理、及び倒れ状態検出部190による倒れ状態検出処理を行うタイミングは制限されても良い。例えば、画像上の所定の領域(例えば、図19に示すように、画像領域ARのうちの斜線を付した下から10ライン目から80ライン目にかけた領域)に中心位置が存在している場合にのみ、倒れ途中状態検出処理や倒れ状態検出処理が行われるようにしても良い。また、一般に倒れ途中状態から倒れ状態に至るまでの時間は、比較的短いと予測されるため、倒れ状態検出処理が行われる期間を予め設定された所定期間(例えば、0.5秒間や1秒間)に制限して、当該所定期間の経過に応答して、倒れ途中状態検出処理を行うフェイズ1に強制的に戻るようにしても良い。
【0117】
<倒れ検知処理に係る動作>
図20は、倒れ検知システム1における倒れ検知処理に係る動作フローを示すフローチャートである。本動作フローは、倒れ検知装置10においてユーザが操作部14を種々操作すること等により、プログラムPGが制御部12で読み込まれて実行されることで開始され、実現される。なお、ここでは、説明を簡略化するために、第1のカメラC1で撮影された動画を構成する各フレームの画像データが順次入力される場合に着目して説明する。
【0118】
ステップST1では、第1のカメラC1から1フレーム分の画像データがI/F11を介して輝度画像生成部120に入力される。
【0119】
ステップST2では、輝度画像生成部120によってステップST1で入力された画像データから輝度画像が生成される。
【0120】
ステップST3では、画素間引き部130によってステップST2で生成された輝度画像について縦及び横ラインともに1ラインおきにライン間引き(すなわち画素間引き)が行われることで、縮小画像が生成される。
【0121】
ステップST4では、フレーム間引き部140によってステップST3で生成された縮小画像が偶数番目のフレームに係る縮小画像か否か判定される。ここで、偶数番目のフレームに係る縮小画像でないと判定されれば、当該縮小画像は採用されずにステップST1に戻り、偶数番目のフレームに係る縮小画像と判定されれば、当該縮小画像が採用されて、ステップST5に進む。つまり、フレーム間引き処理が行われる。なお、ここでは、偶数番目のフレームに係る縮小画像を採用するものとして説明したが、奇数番目のフレームに係る縮小画像を採用しても良い。
【0122】
ステップST5では、人物エッジ画像生成部150によって縮小画像から人物エッジ画像が生成される。
【0123】
ステップST6では、肩位置検出/追跡部160によってステップST5で生成された人物エッジ画像から中心位置が検出される。
【0124】
ステップST7では、肩位置検出/追跡部160によってステップST6で検出された中心位置について、人物毎に中心位置がグループ分けされる。ステップST7の処理が1回目の場合には、各人物の中心位置は1点ずつしか検出されていないため、各々1点ずつの中心位置が各グループを形成するが、ステップST7の処理が2回目以降となると、経時的に変化する中心位置が人物毎にグループ分けされ、人物毎に中心位置を追跡した肩追跡情報TIが生成されてメモリ12bに記憶される。
【0125】
ステップST8では、中心位置のグループがメモリ12bに記憶されているか否か、すなわち肩追跡情報TIがメモリ12bに記憶されているか否か判定される。ここで、肩追跡情報TIがメモリ12bに記憶されていなければ、ステップST1に戻る。一方、肩追跡情報TIがメモリ12bに記憶されていれば、ステップST9に進む。なお、第1のカメラC1で人物が捉えられていない場合には、肩追跡情報TIがメモリ12bに記憶されていない状態となる。
【0126】
ステップST9では、肩追跡情報TIに含まれる中心位置に係るグループのうちの評価対象となる中心位置に係るグループを特定するためのカウントA(Aは自然数)が初期値である1に設定される。
【0127】
ステップST10では、A人目の中心位置に係るグループが評価対象として指定される。
【0128】
ステップST11では、処理切換部170によってステップST10で指定された評価対象についてフェイズ2にあるか否か判定される。ここで、フェイズ2になければステップST12に進み、フェイズ2にあればステップST15に進む。
【0129】
ステップST12では、ステップST10で評価対象として指定されたA人目の中心位置のグループについて倒れ途中検出部180による倒れ途中状態検出処理が行われる。
【0130】
ステップST13では、ステップST12における処理結果に応じて倒れ途中状態であるか否か判定される。ここで、倒れ途中状態であれば、ステップST14に進み、当該ステップST14で評価対象であるA人目についてはフェイズ切換決定部183によりフェイズ2に切り換えられる。一方、倒れ途中状態でなければ、ステップST18に進む。
【0131】
ステップST15では、ステップST10で評価対象として指定されたA人目の中心位置のグループについて倒れ状態検出部190による倒れ状態検出処理が行われる。
【0132】
ステップST16では、ステップST15における処理結果に応じて倒れ状態であるか否か判定される。ここで、倒れ状態であれば、ステップST17に進み、当該ステップST17で警告画面生成部200によって警告画面の画像データが生成され、表示部15において当該警告画面が可視的に出力される。なお、警告画面とともに警告音声が出力されても良い。このとき、例えば、セキュリティーセンターの表示部15において警備員が現在第1のカメラC1で撮影されている画像を確認して、緊急の措置が必要か否か判断することができる。一方、ステップST16において倒れ状態でなければ、ステップST18に進む。
【0133】
ステップST18では、肩追跡情報TIに含まれる中心位置に係る全グループが評価対象として指定されたか否か判定される。ここで、全グループが評価対象として指定されていなければ、ステップST19でカウントAが1だけ増加されて、ステップST10に進む。一方、全グループが評価対象として指定されていれば、ステップST1に戻る。つまり、全グループが評価対象として指定されるまで、ステップST10〜ST19の処理が適宜繰り返して実行される。
【0134】
そして、第1のカメラC1から1フレーム分の画像データがI/F11を介して輝度画像生成部120に入力される度に、上記ステップST1〜ST19の処理が行われる。
【0135】
以上のように、本発明の実施形態に係る倒れ検知システム1では、倒れ検知装置10において、第1〜第NのカメラC1〜CNで撮影された動画を構成する各フレームの画像データについて、画像に含まれる輪郭の近似曲線である上に凸の半円の中心位置を検出する。そして、中心位置の垂直方向への経時的な変化を評価するための垂直変化評価値を算出して、少なくとも当該垂直変化評価値に基づいて人物の転倒を検知する。このような構成を採用すると、例えば、限られた空間に複数の人物が混在して画像上で複数人が重なり合うような状況や照明の違いなどといった各種環境的要因に拘わらず、人物のある程度の大きさの領域を占める肩に係る基準位置(ここでは中心位置)は比較的精度良く検出できるため、人物の倒れ検知を精度良く行うことができる。
【0136】
また、中心位置の垂直方向への変化に係る垂直変化評価値が所定値を超えた状態を検出する倒れ途中状態検出処理を用いて人物の転倒を検知する。このような肩の場所を大凡特定する中心位置を用いた倒れ途中状態検出処理によれば、人物が倒れていく状態を精度良く検出することができるため、人物の倒れ検知を精度良く行うことができる。
【0137】
また、中心位置の垂直方向への変化に係る垂直変化評価値が所定値を超えた後に、中心位置の移動に係る移動評価値が所定範囲内となった場合(ここでは、倒れ状態検出処理によって倒れ状態が検出された場合)に、人物が転倒したと検知する。このような構成を採用することで、人物が倒れていく状態(倒れ途中状態)とその後の転倒状態(倒れ状態)とを精度良く検出することができる。このため、人物の倒れ検知を精度良く行うことができる。
【0138】
また、人物搬送装置(ここでは、エスカレータ100)によって人物Hが搬送される方向に対して撮影方向が略平行に設定された第1〜第NのカメラC1〜CNにより異なるタイミングでそれぞれ撮影された複数の撮影画像から人物の転倒を検知する。このような人物搬送装置で搬送される人物Hが正面方向又は背面方向から撮影されるといったエスカレータ等に係る監視カメラの一般的な配置に即した構成を採用した場合であっても、肩の輪郭の近似曲線と所定の関係を維持する中心位置(すなわち基準位置)を精度良く検出することができる。したがって、人物の倒れ検知を精度良く行うことができる。
【0139】
特に、人物搬送装置に含まれるエスカレータ100に倒れ検知システム1を適用することで、人物が転倒し易いエスカレータ100などにおいて、人物の倒れを精度良く検知することができる。
【0140】
<変形例>
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0141】
◎例えば、上記実施形態では、倒れ検知装置10が表示部15を含んで構成されたが、これに限られず、例えば、倒れ検知装置10から表示部15を除いた構成を倒れ検知装置とし、当該倒れ検知装置に対して各種画像を表示するディスプレイ装置を接続することで、倒れ検知システムを構成するようにしても良い。
【0142】
◎また、上記実施形態では、人物の肩の移動を追尾して評価するために、人物の肩が存在する大凡の場所を示す基準位置として、人物の肩の輪郭の近似曲線である半円の中心位置を検出したが、これに限られない。例えば、半円の弧の一端や中心点など、半円との関係で一義的に決まる、すなわち半円と所定の関係を維持する位置を基準位置として検出しても良い。更に、上記実施形態では、人物の肩の輪郭の近似曲線を半円としたが、これに限られず、例えば、円の1/3の弧や楕円の一部の弧などとしても良い。したがって、人物の肩の移動を追尾して評価するために、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに当該カーブと所定の関係を維持する基準位置を、各フレームの撮影画像から検出するようにすれば良い。
【0143】
◎また、上記実施形態では、1フレームの画像の解析が次のフレームの画像が入力されるまでに完了するものとして説明したが、これに限られず、例えば、1フレームの画像の解析が次のフレームの画像が入力されるまでに完了しない場合には、1フレームの画像の解析を行っている途中で次のフレームの画像の解析を開始するようにしても良い。
【0144】
◎また、上記実施形態では、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出した後に、中心位置の移動評価値が所定の値域範囲に含まれる倒れ状態を検出することで、人物が倒れたことを検知したが、これに限られず、例えば、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出しただけで人物が倒れたことを検知するようにしても良い。但し、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出しただけで人物の倒れを検知するような構成を採用すると、例えば、人物Hがエスカレータ100を走って通過する際等に、誤って人物が倒れたと検知する不具合が生じる虞がある。したがって、誤検知を抑制して人物の倒れ検知の高精度化を図る観点から言えば、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出した後に、中心位置の移動評価値が所定の値域範囲に含まれる倒れ状態を検出することで、人物が倒れたことを検知することが好ましい。
【0145】
◎また、上記実施形態では、人物毎に中心位置を追尾して、人物毎にフェイズに応じて倒れ途中状態検出処理と倒れ状態検出処理とを選択的に実施したが、これに限られず、例えば、1人の人物について倒れ途中状態が検出されると、単純に全ての人物について一律に倒れ状態検出処理を実施するフェイズ2に切り換えるようにしても良い。なお、このような構成を採用する場合には、倒れ状態検出処理が行われる期間を適宜制限することで、倒れ途中状態検出処理を行うフェイズ1に戻すようにすれば良い。倒れ状態検出処理が行われる期間を適宜制限する手法としては、例えば、画像上の所定の領域(例えば、図19で斜線を付した領域)から中心位置が外れた場合にフェイズ1に戻す手法や、倒れ状態検出処理が行われる期間を予め設定された所定期間(例えば、0.5秒間や1秒間)に制限して、所定期間の経過後にフェイズ1に戻す手法などが考えられる。
【0146】
◎また、上記実施形態では、倒れ途中状態検出処理においては、中心位置の垂直方向(すなわち1次元方向)への変化に基づいて倒れ途中状態が検出され、倒れ状態検出処理においては、中心位置の2次元(XY方向)における移動に基づいて倒れ途中状態が検出されたが、これに限られず、例えば、倒れ状態検出処理においても中心位置の垂直方向(すなわち1次元方向)への変化(移動)に基づいて倒れ状態を検出するようにしても良い。但し、人物がエスカレータから走って降りて横方向に走り抜けて行くような場面等における誤検知を抑制する観点からすれば、倒れ状態検出処理においては、中心位置の2次元平面内における移動に基づいて倒れ途中状態を検出した方が好ましい。
【0147】
◎なお、上記実施形態では、制御部12で実現される各機能構成が、ハードウェア構成とソフトウェアとの協働によって実現されるものとして説明したが、これに限られず、例えば、制御部12に含まれる機能構成のうちの一部又は全部がハードウェア構成によって実現されるものであっても良い。
【図面の簡単な説明】
【0148】
【図1】本発明の実施形態に係る倒れ検知システムの概略構成を例示する図である。
【図2】本発明の実施形態に係るカメラの配置の一例を示す図である。
【図3】倒れ検知装置の物理的構成を主に示すブロック図である。
【図4】倒れ検知機能に係る機能構成を概念的に示す機能ブロック図である。
【図5】人物エッジ画像生成部の機能構成を例示するブロック図である。
【図6】肩位置検出/追跡部の機能構成を例示するブロック図である。
【図7】倒れ途中検出部の機能構成を例示するブロック図である。
【図8】倒れ状態検出部の機能構成を例示するブロック図である。
【図9】背景画像のイメージ図である。
【図10】縮小画像のイメージ図である。
【図11】縮小画像と背景画像との差分にあたる差分画像のイメージ図である。
【図12】エッジ画像のイメージ図である。
【図13】ソーベルフィルタのフィルタ特性を例示する図である。
【図14】人物エッジ画像のイメージ図である。
【図15】スコア算出の動作フローを例示するフローチャートである。
【図16】画像上での肩の輪郭を示す略半円とその中心の位置を例示する図である。
【図17】画像上において中心位置が変化していく様子を例示する図である。
【図18】中心位置の変化を例示する図である。
【図19】画像上において中心位置を追尾する領域を例示する図である。
【図20】倒れ検知処理の動作フローを例示するフローチャートである。
【符号の説明】
【0149】
1 倒れ検知システム
10 倒れ検知装置
12 制御部
100 エスカレータ
150 人物エッジ画像生成部
160 肩位置検出/追跡部
170 処理切換部
180 倒れ途中検出部
190 倒れ状態検出部
C1〜CN 第1〜第Nのカメラ
PG プログラム
TI 肩追跡情報
【技術分野】
【0001】
本発明は、転倒を検知する技術に関する。
【背景技術】
【0002】
近年、公共の場などには多数の監視カメラが設けられ、主に異常の発生や混雑の状況などを把握する目的で利用されている。
【0003】
この異常の一例としては人の転倒(倒れ)などが挙げられる。
【0004】
そして、監視カメラで取得された画像データを用いて、浴室やトイレなどの部屋内において人が転倒するなどといった異常を検出する技術が種々提案されている(例えば、特許文献1〜4)。例えば、上記特許文献1で提案された技術では、画像データから高周波成分を抽出して動状態と静止状態とを判定することで異常の発生を検知する。また、上記特許文献2〜4で提案された技術では、各画像データについて、背景画像(参照画像)との差分領域を抽出して、当該差分領域(すなわち人体画像)の高さ情報の時間あたりの変化や面積の変化によって人体の転倒動作を検知する。
【0005】
【特許文献1】特開2002−304680号公報
【特許文献2】特開2000−253382号公報
【特許文献3】特開2000−207665号公報
【特許文献4】特開2000−207664号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1〜4で提案された技術では、エスカレータや動く歩道などといった限られた空間に多数の人間が混み入って存在している場合には、1人1人が転倒したか否かを検知することが困難である。
【0007】
例えば、人の特徴量を用いて転倒を検知する手法では、複数人が存在する場合には、人の重なり具合や並び具合が変化しただけでも特徴量が変化してしまうため、誤検知が発生する。特に、例えば、エスカレータ等では、乗降エリア付近を進行方向の正面側からカメラで撮影する場合、後方に背の高い人が立っていて、手前の比較的背の低い人(例えば子供)が転倒しても、1人1人を区別して転倒を検知することができないため、手前の人の転倒を検知することができない。
【0008】
また、人物を1人1人区別して検出する手法としては、形状や特徴量や色に基づいて頭部や顔を検出する手法が知られているが、例えば、顔を検出するためには、人物を正面側から撮影しなければならないといった制約がある。また、円や楕円などといった形状認識によって頭部を検出する場合には、人全体を占める頭部の割合はあまり大きくなく、頭部以外の丸っぽい他の部位まで頭部として誤検出され易い。更に、色で顔を検出する手法では、照明や背景や衣服の色の影響や肌自体の色のぶれによって誤検出が生じ易い。すなわち、環境や被写体の条件によって人物の倒れの誤検知が生じ易い。
【0009】
本発明は、上記課題に鑑みてなされたものであり、人物の倒れ検知を精度良く行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、請求項1の発明は、複数フレームの撮影画像を時間順次に受け付ける画像受付手段と、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、前記画像受付手段によって受け付けられる複数フレームの撮影画像を構成する各フレームの撮影画像から検出する位置検出手段と、前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出する評価値算出手段と、少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行う転倒検知手段とを備えることを特徴とする。
【0011】
また、請求項2の発明は、請求項1に記載の転倒検知装置であって、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出する処理を含むことを特徴とする。
【0012】
また、請求項3の発明は、請求項2に記載の転倒検知装置であって、前記評価値算出手段が、前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出する手段を有し、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出した後に、前記移動評価値が予め設定された値域範囲に含まれる状態を検出する処理を含むことを特徴とする。
【0013】
また、請求項4の発明は、請求項1から請求項3のいずれかに記載の転倒検知装置であって、前記複数フレームの撮影画像が、人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする。
【0014】
また、請求項5の発明は、請求項4に記載の転倒検知装置であって、前記人物搬送装置が、エスカレータを含むことを特徴とする。
【0015】
また、請求項6の発明は、転倒検知装置に含まれるコンピュータによって実行されることにより、前記転倒検知装置を、請求項1から請求項5のいずれかに記載の転倒検知装置として機能させるプログラムである。
【0016】
また、請求項7の発明は、(a)撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、撮影タイミングが互いに前後する複数フレームの撮影画像を構成する各フレームの撮影画像から検出するステップと、(b)前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出するステップと、(c)少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行うステップとを備えることを特徴とする。
【0017】
また、請求項8の発明は、請求項7に記載の転倒検知方法であって、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出する処理を含むことを特徴とする。
【0018】
また、請求項9の発明は、請求項8に記載の転倒検知方法であって、前記ステップ(b)が、前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出するステップを有し、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出した後に、前記移動評価値が予め設定された値域範囲に含まれる状態を検出する処理を含むことを特徴とする。
【0019】
また、請求項10の発明は、請求項7から請求項9のいずれかに記載の転倒検知方法であって、前記複数フレームの撮影画像が、人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする。
【0020】
また、請求項11の発明は、請求項10に記載の転倒検知方法であって、前記人物搬送装置が、エスカレータを含むことを特徴とする。
【0021】
また、請求項12の発明は、異なるタイミングで複数フレームの撮影画像を取得する撮像装置と、請求項1から請求項3のいずれかに記載の転倒検知装置とを備えることを特徴とする。
【0022】
また、請求項13の発明は、請求項12に記載の転倒検知システムであって、前記撮像装置の撮影方向が、人物搬送装置における人物の搬送経路に対して略平行に設定されていることを特徴とする。
【0023】
また、請求項14の発明は、請求項13に記載の転倒検知システムであって、前記人物搬送装置が、エスカレータを含むことを特徴とする。
【発明の効果】
【0024】
請求項1に記載の発明によれば、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに当該カーブと所定の関係を維持する基準位置を、各フレームの撮影画像から検出し、少なくとも基準位置の垂直方向への変化に係る評価値に基づいて人の転倒を検知することで、人物の倒れ検知を精度良く行うことができる。
【0025】
また、請求項2に記載の発明によれば、基準位置の垂直方向への変化に係る評価値が所定値を超えた状態を検出する処理を用いて人物の転倒を検知することで、人物が倒れていく状態を精度良く検出して、人物の倒れ検知を精度良く行うことができる。
【0026】
また、請求項3に記載の発明によれば、基準位置の垂直方向への変化に係る評価値が所定値を超えた後に、基準位置の移動に係る評価値が所定範囲内となった場合に、人物が転倒したと検知することで、人物が倒れていく状態とその後の転倒状態とを精度良く検出して、人物の倒れ検知を精度良く行うことができる。また、例えば、人物が走り抜けていく際に誤って人物が倒れていると検知されてしまうような不具合も解消することができる。
【0027】
また、請求項4に記載の発明によれば、人物搬送装置において人物が搬送される方向に対して撮影方向が略平行に設定された撮像装置により異なるタイミングでそれぞれ撮影された複数フレームの撮影画像を用いて、人物の転倒を検知するような構成を採用しても、肩の輪郭の近似曲線と所定の関係を維持する基準位置を精度良く検出することができるため、人物の倒れ検知を精度良く行うことができる。
【0028】
また、請求項5に記載の発明によれば、人物搬送装置がエスカレータを含むため、エスカレータなどの人物搬送装置における人物の倒れを精度良く検知することができる。
【0029】
また、請求項6に記載の発明によれば、請求項1から請求項5に記載の発明と同様な効果を得ることができる。
【0030】
また、請求項7から請求項11に記載の発明によれば、請求項1から請求項5にそれぞれ記載された発明と同様な効果を得ることができる。
【0031】
また、請求項12に記載の発明によれば、請求項1から請求項3に記載の発明と同様な効果を得ることができる。
【0032】
また、請求項13及び請求項14に記載の発明によれば、請求項4及び請求項5にそれぞれ記載された発明と同様な効果を得ることができる。
【発明を実施するための最良の形態】
【0033】
以下、本発明の実施形態を図面に基づいて説明する。
【0034】
<倒れ検知システムの概要>
図1は、本発明の実施形態に係る倒れ検知システム1の概略構成を例示する図である。倒れ検知システム1は、例えば、エスカレータの乗降における人物の転倒を検知する監視システムに用いられている。なお、本実施形態では、監視場所をエスカレータの乗降位置付近としているが、これに限られず、例えば動く歩道等といったその他の人物を搬送する装置(以下「人物搬送装置」とも称する)一般の乗降位置付近等であっても良い。
【0035】
図1に示すように、倒れ検知システム1は、倒れ検知装置10とN台(Nは4以上の自然数)のカメラ(第1のカメラ、第2のカメラ、第3のカメラ、・・・第Nのカメラ)C1〜CNとがネットワーク回線NT等の通信回線を介してデータ送受信可能に接続されて構成されている。なお、本実施形態では、カメラの台数を4台以上としたが、これに限られず、1台以上であれば何台であっても良い。
【0036】
倒れ検知装置10は、例えば、各種施設のセキュリティーセンター等に設置され、第1〜第NのカメラC1〜CNから送信されてくる動画を解析することで人の転倒を検知する装置である。
【0037】
第1〜第NのカメラC1〜CNは、動画撮影が可能なビデオカメラであり、人が転倒し易い位置であるエスカレータの乗り口や降り口付近等を撮影することができるように設置されている。また、第1〜第NのカメラC1〜CNは、毎秒30フレームによって構成される動画撮影が可能であり、1/30秒毎に1フレーム分の画像データ(すなわち撮影画像)を倒れ検知装置10に対して送出する。
【0038】
<カメラの配置>
図2は、第1及び第2のカメラC1,C2の配置例を示す模式図であり、図2では第1及び第2のカメラC1,C2による撮影範囲の外縁がそれぞれ破線で示されている。
【0039】
図2に示すように、エスカレータ100は、例えば、人物Hを図中矢印方向に搬送する。そして、第1のカメラC1がエスカレータ100の降り口101付近を撮影することができるように設置され、第2のカメラC2がエスカレータ100の乗り口102付近を撮影することができるように設置されている。具体的には、エスカレータ100が人物Hを搬送する経路(以下「人物搬送経路」とも称する)の略延長線上に第1及び第2のカメラC1,C2が設置されている。このような第1及び第2のカメラC1,C2の配置は、エスカレータ付近を監視する一般的なカメラと同様な配置である。
【0040】
より詳細には、第1のカメラC1は、エスカレータ100で搬送される人物Hを正面側から撮影することができるように、降り口101付近におけるエスカレータ100の進行方向(すなわち、人物Hを搬送する搬送方向)の前方に配置され、第2のカメラC2は、エスカレータ100で搬送される人物Hを背面側から撮影することができるように、乗り口102付近におけるエスカレータ100の進行方向の後方に配置されている。よって、第1のカメラC1は、一定のアングルを保持しつつエスカレータ100から降りる際の人物Hの動作を前方から動画撮影し、第2のカメラC2は、一定のアングルを保持しつつエスカレータ100に乗る際の人物Hの動作を後方から動画撮影する。その結果、第1のカメラC1では、エスカレータ100から降りる人物Hを正面から捉えた画像(正面画像)が得られ、第2のカメラC2では、エスカレータ100に乗る人物Hを背面から捉えた画像(背面画像)が得られる。
【0041】
換言すれば、第1のカメラC1の撮影方向と、降り口101付近におけるエスカレータ100の進行方向とが略同一となるように設定され、第2のカメラC2の撮影方向と、乗り口102付近におけるエスカレータ100の進行方向とが略反対となるように設定されている。更に換言すれば、第1のカメラC1の撮影方向と、降り口101付近においてエスカレータ100が人物Hを搬送する経路(人物搬送経路)とが略平行となるように設定され、第2のカメラC2の撮影方向と、乗り口102付近においてエスカレータ100が人物Hを搬送する経路(人物搬送経路)とが略平行となるように設定されている。なお、ここで人物搬送経路と各カメラの撮影方向とが略平行に設定されるのは、後述する人物の肩の輪郭を略半円状として検出する際に、人物Hを極力正面又は背面から捉える方が好ましいからである。したがって、ここで言う「略平行」には、完全な平行から約30度程度の角度のずれも許容し含まれるが、角度のずれは例えば約15度以下など極力小さな方が好ましく、角度のずれがほとんどない状態が更に好ましい。
【0042】
図2では、第1〜第NのカメラC1〜CNの配置のうち、第1及び第2のカメラC1,C2の配置を代表例として説明したが、第3〜第NのカメラC3〜CNの配置も、第1及び第2のカメラC1,C2の配置と同様に設定されるため、ここでは説明を省略する。
【0043】
<倒れ検知装置の構成>
図3は、倒れ検知装置10の物理的構成(ハードウエア構成)を中心に示すブロック図である。なお、図3では、図が複雑化するのを防ぐため、第1〜第NのカメラC1〜CNを代表して第1のカメラC1のみを記載し、以下では、第1のカメラC1からの画像データを解析して倒れ検知を行う場合を代表例として説明する。
【0044】
倒れ検知装置10は、例えば、一般的なパーソナルコンピュータ(パソコン)を用いて構成される。この倒れ検知装置10は、主にインターフェース(I/F)11、制御部12、記憶部13、操作部14、及び表示部15を備えている。
【0045】
I/F11は、第1のカメラC1等との間におけるネットワーク回線NTを介したデータの送受信をコントロールするためのインターフェースである。I/F11では、倒れ検知装置10から第1のカメラC1に対し、第1のカメラC1の動作をコントロールする制御信号が出力され、第1のカメラC1から出力される画像データが入力される。具体的には、第1のカメラC1によって時間的に前後するタイミング(ここでは、1/30秒毎)でそれぞれ取得された画像データ(毎秒30フレーム分の画像データ)が時間順次にI/F11に対して入力され、I/F11で受け付けられる。
【0046】
制御部12は、CPU12a及びメモリ12bを有し、操作部14からの各種信号や、記憶部13に格納されたプログラムPG等に基づいて、各種機能や動作を実現する。例えば、制御部12が、記憶部13に格納されたプログラムPGを読み込んで実行することにより、第1のカメラC1等から入力された画像データを解析することで人物の倒れを検知する処理(倒れ検知処理)を行う機能(倒れ検知機能)が実現される。より詳細には、所定のOS(オペレーションシステム)が稼働するコンピュータにおいて、所定のアプリケーションプログラム(ここでは、プログラムPG)を実行することなどによって倒れ検知処理に係る各種機能が実現される。なお、制御部12における各種情報処理の過程で生成される各種データはメモリ12bに一時的に記憶される。
【0047】
記憶部13は、例えばハードディスク等を備えて構成され、倒れ検知機能を実現するためのプログラムPGを格納している。なお、このプログラムPGは、可搬性の記録媒体(CD−ROMあるいはDVD等)に格納された状態で提供されても良いし、ネットワーク上の所定のダウンロードサイトからダウンロードされても良い。
【0048】
操作部14は、例えばキーボードやマウス等を備えて構成されており、倒れ検知装置10のユーザー(例えば、警備員)によって操作部14が適宜操作されると、制御部12に対して操作に応じた各種信号を送信する。
【0049】
表示部15は、例えば、ブラウン管や液晶パネル等によって構成され、制御部12からの信号に応答して各種画像を可視的に出力する。
【0050】
<倒れ検知機能に係る機能構成>
図4は、制御部12によって実現される倒れ検知機能に係る機能構成を概念的に示す機能ブロック図である。
【0051】
図4に示すように、制御部12は、倒れ検知機能に係る機能構成として、主に輝度画像生成部120、画素間引き部130、フレーム間引き部140、人物エッジ画像生成部150、肩位置検出/追跡部160、処理切換部170、倒れ途中検出部180、倒れ状態検出部190、及び警告画面生成部200を備えている。
【0052】
輝度画像生成部120は、第1のカメラC1から出力されI/F11を介して入力された画像データから輝度によって表現した画像データ(以下「輝度画像」とも称する)を生成する。具体的には、第1のカメラC1から出力される画像データは例えば縦240×横320画素の24ビットのRGBの画像データであり、輝度画像生成部120は、RGBの画像データから各画素について下式(1)を用いて輝度値Yを算出することで縦240×横320画素の輝度画像を生成する。
【0053】
Y=0.29891×R+0.58661×G+0.11448×B・・・(1)
【0054】
画素間引き部130は、輝度画像生成部120において生成された輝度画像について、縦及び横ラインともに1ラインおきにライン間引きを行うことで、縦120×横160画素の画像(以下「縮小画像」とも称する)を生成する。
【0055】
フレーム間引き部140は、画素間引き部130において毎秒30フレーム分生成される縮小画像について、1フレームおきにフレーム間引きを行う(すなわち、1フレームおきに画像データを採用する)ことで、毎秒15フレームの縮小画像を人物エッジ画像生成部150に出力する。
【0056】
人物エッジ画像生成部150は、背景とは異なる被写体を人物とみなして、当該人物の輪郭を示す画像(以下「人物エッジ画像」とも称する)を生成し、肩位置検出/追跡部160に出力する。人物エッジ画像生成部150の詳細については後述する。
【0057】
肩位置検出/追跡部160は、人物の肩の輪郭を半円(半円弧)に類似した所定範囲の大きさを有する形状とみなして、人物エッジ画像生成部150で生成された人物エッジ画像に含まれる輪郭の近似曲線である上に凸の半円の中心位置を人物の肩が存在する大凡の場所を示す位置(以下「基準位置」とも称する)として検出する。更に、肩位置検出/追跡部160は、時間的に連続して入力されてくる各人物エッジ画像から中心位置をそれぞれ検出するとともに、人物毎に区別して中心位置に係る情報をメモリ12bに格納することで、中心位置の移動を追跡した情報(以下「肩追跡情報」とも称する)TIを生成及び更新する。肩位置検出/追跡部160は、各フレームの画像データについて肩追跡情報TIを生成又は更新し終わると、処理切換部170に対して信号を出力する。肩位置検出/追跡部160の詳細については後述する。
【0058】
処理切換部170は、局面(フェイズ)に応じて、人物が倒れ途中にある状態(以下「倒れ途中状態」とも称する)を検出する処理(以下「倒れ途中状態検出処理」とも称する)と、人物が倒れてしまった状態(以下「倒れ状態」とも称する)を検出する処理(以下「倒れ状態検出処理」とも称する)とを選択的に切り換えて実行させる。処理切換部170は、肩位置検出/追跡部160から各フレームの画像データの解析が終了された旨の信号が入力される度に、上記処理の切換処理の判定及び決定を行う。ここで、処理切換部170は、初期状態では、倒れ途中検出部180において倒れ途中状態検出処理を実行させる。そして、ある人物について一旦倒れ途中検出部180において倒れ途中状態が検出されると、当該ある人物については倒れ状態検出部190において倒れ状態検出処理を実行させる。なお、倒れ状態検出処理は、ある人物について中心位置が評価範囲外に到達したことによって終了される。このような処理の切換を行うのは、倒れ途中状態を経て倒れ状態に至る人物の詳細な転倒動作に対応させるためである。
【0059】
倒れ途中検出部180は、肩位置検出/追跡部160によって生成された肩追跡情報TIに基づいて中心位置の垂直方向への変化を評価することで倒れ途中状態を検出する。なお、倒れ途中検出部180は、倒れ途中状態が検出されると当該検出結果を処理切換部170に出力することで、処理切換部170による処理の切換を実現させる。また、倒れ途中検出部180における算出結果に基づいて肩追跡情報TIが更新される。倒れ途中検出部180の詳細については後述する。
【0060】
倒れ状態検出部190は、肩位置検出/追跡部160によって生成された肩追跡情報TIに基づいて中心位置の変化を評価することで倒れ状態を検出する。なお、倒れ状態検出部190は、倒れ状態が検出されると当該検出結果を警告画面生成部200に出力する。また、倒れ状態検出部190における算出結果に基づいて肩追跡情報TIが更新される。倒れ状態検出部190の詳細については後述する。
【0061】
警告画面生成部200は、倒れ状態検出部190から入力される倒れ状態が検出された検出結果に基づいて、人物が倒れたことを報知する警告画面の画像データを生成し、表示部15に対して出力する。このとき、表示部15では、警告画面が可視的に出力される。
【0062】
図5から図8は、人物エッジ画像生成部150、肩位置検出/追跡部160、倒れ途中検出部180、及び倒れ状態検出部190にそれぞれ含まれる機能構成を概念的に示す機能ブロック図である。以下、図5から図8を参照しつつ、人物エッジ画像生成部150、肩位置検出/追跡部160、倒れ途中検出部180、及び倒れ状態検出部190の詳細な機能について説明する。
【0063】
○人物エッジ画像生成部150:
図5に示すように、人物エッジ画像生成部150は、機能構成として、主に差分画像生成部151、平滑化処理部152、2値化処理部153、膨張処理部154、エッジ強調部155、2値化処理部156、マスク処理部157、及びノイズ除去部158を備えている。
【0064】
差分画像生成部151は、第1のカメラC1によって予め背景を撮影して記憶部13等に記憶しておいた画像(以下「背景画像」とも称する)G1(例えば図9)と、フレーム間引き部140から入力される縮小画像G2(例えば図10)との差分画像G3(例えば図11)を生成する。この差分画像G3は、背景とは異なる主に人物を含む被写体を捉えた画像となっている。
【0065】
差分画像生成部151で生成された差分画像G3に対して、平滑化処理部152において平滑化処理、2値化処理部153において2値化処理、膨張処理部154において膨張処理がそれぞれ施されることで、撮影画像のうちで人物を捉えた領域を特定する画像(以下「人物領域特定画像」とも称する)が生成される。なお、平滑化処理部152では、例えば、注目画素とその近傍画素の間で単純平均を行う一般的な平滑化処理が実施される。また、2値化処理部153では、例えば、予め設定された所定値を閾値とした2値化処理又は全画素値から所定ルールに従って求められる値を閾値とした2値化処理が実施される。更に、膨張処理部154では、例えば、注目画素の近傍に1つでも白画素があれば、当該注目画素を白画素とするような一般的な膨張処理が実施される。
【0066】
このように、差分画像生成部151、平滑化処理部152、2値化処理部153、及び膨張処理部154によって、人物等といった動体のみを抽出するためのマスク情報として機能する人物領域特定画像が生成される。
【0067】
一方、エッジ強調部155において、フレーム間引き部140から入力される縮小画像G2(例えば図10)に対して横方向に伸びる輪郭を強調するエッジ強調処理が施された後に、2値化処理部156において、2値化処理が施されることで、縮小画像の横方向の輪郭を主に強調して抽出したエッジ画像(例えば図12)が生成される。なお、エッジ強調部155では、例えば、図13に示すようなソーベルフィルタを用いたエッジ強調処理が実施される。また、2値化処理部156では、例えば、予め設定された所定値を閾値とした2値化処理又は全画素値から所定ルールに従って求められる値を閾値とした2値化処理が実施される。なお、以下では、エッジ画像は、例えば背景が白でエッジが黒で表されたものとして説明する。
【0068】
マスク処理部157は、膨張処理部154から入力される人物領域特定画像と、2値化処理部156から入力されるエッジ画像との論理積を得ることで、人物等の動体に注目したエッジ画像(人物エッジ画像)G5(例えば図14)を生成する。マスク処理部157で生成された人物エッジ画像G5は、ノイズ除去部158において例えば孤立点除去等の公知のノイズ除去処理が施されて、肩位置検出/追跡部160に出力される。ここで生成される人物エッジ画像は、例えば背景が白で人物等のエッジが黒で表されたものとなっている。
【0069】
なお、ここで、人物等の動体に係るエッジを選択的に採用したのは、後述する中心位置の検出における計算量を低減するとともに、背景から中心位置が誤って検知されるような不具合を抑制するためである。
【0070】
○肩位置検出/追跡部160:
図6に示すように、肩位置検出/追跡部160は、機能構成として、主に半円中心検出部161、及び中心位置グループ化部162を備えている。
【0071】
半円中心検出部161は、人物の肩の輪郭が下弦の半円の弧と類似していることを利用して、人物エッジ画像生成部150から入力される人物エッジ画像から肩の輪郭に近似した半円の中心位置(すなわち中心位置の座標)を検出する。当該中心位置は、人物の肩が存在する大凡の場所を示す基準位置であり、中心位置の検出は、例えば、円の検出で用いられるハフ変換を採用することで実現することができる。なお、中心位置の検出及び管理においては、図10で示すような縮小画像(縦120画素×横160画素)の各画素の座標を、例えば、縮小画像の左下を原点、右方向をX軸方向、上方向をY軸方向としたXY平面上の座標(X,Y)として扱う。
【0072】
ここで、ハフ変換を用いた中心位置の検出手法について説明する。
【0073】
半円中心検出部161における中心位置の検出においては、まず、ある座標を中心位置として検出するか否かを判定する際に指標となるスコアを算出する。
【0074】
図15は、半円中心検出部161において実施されるスコアの算出処理の動作フローを例示するフローチャートである。
【0075】
ステップS1では、スコアがリセットされて、初期値である0に設定される。
【0076】
ステップS2では、人物エッジ画像を構成する全画素のうちの判断対象となる画素(判断対象画素)を特定するためのカウントi(iは自然数)が初期値である1に設定される。
【0077】
ステップS3では、人物エッジ画像を構成する全画素のうちのi番目の画素(Xi,Yi)が判断対象画素として指定される。
【0078】
ステップS4では、ステップS3で指定された画素(指定画素)が黒画素であるか否か判定される。ここで、指定画素が黒画素でない場合(すなわち、人物等のエッジに対応する画素でない場合)には、ステップS5に進み、黒画素である場合には、ステップS7に進む。
【0079】
ステップS5では、人物エッジ画像を構成する全画素が判断対象画素として指定されたか否か判定される。ここで、全画素(ここでは、120×160=19200画素)が判断対象画素として指定されていなければ、ステップS6でカウントiが1だけ増加されて、ステップS3に進む。一方、全画素が判断対象画素として指定されていれば、スコアの算出処理動作のフローが終了される。つまり、全画素が判断対象画素として指定されるまで、ステップS3以降の処理が適宜繰り返して実行される。
【0080】
ステップS7では、指定画素である黒画素(Xi,Yi)を通る円の中心座標(Xc,Yc)が求められる。ここでは、円の最大半径をRmaxとし、下式(2),(3)を満たす範囲内で、中心座標(Xc,Yc)が求められる。
【0081】
(Xi−Rmax)≦Xc≦(Xi+Rmax)・・・(2)
(Yi−Rmax)≦Yc≦Yi ・・・(3)
【0082】
つまり、黒画素(Xi,Yi)を中心とした半径Rmaxの半円(上弦の半円)に含まれる全画素の座標が、中心座標(Xc,Yc)として求められる。したがって、ステップS7では、多数の座標が中心座標(Xc,Yc)として求められる。なお、最大半径Rmaxは、画像において捉えられる人物の肩の大きさの上限値として予め設定される値であり、プログラムPGで予め規定されていても良いし、ユーザによる操作部14の操作により任意に設定可能とされていても良い。
【0083】
ステップS8では、ステップS7において求められた多数の中心座標(Xc,Yc)のうちスコアを算出する対象となる中心座標(以下「スコア算出対象中心座標」とも称する)を特定するためのカウントj(jは自然数)が初期値である1に設定される。
【0084】
ステップS9では、ステップS7において求められた多数の中心座標(Xc,Yc)のうちのj番目の中心座標(Xcj,Ycj)がスコア算出対象中心座標として指定される。
【0085】
ステップS10では、ステップS9で指定された中心座標(Xcj,Ycj)と指定画素である黒画素(Xi,Yi)との距離が、下式(4)によって、座標(Xcj,Ycj)を中心として黒画素(Xi,Yi)を通る半円の半径Rjとして求められる。
【0086】
Rj=√{(Xi−Xcj)2+(Yi−Ycj)2}・・・(4)
【0087】
ステップS11では、ステップS10で求められた半径Rjが、予め設定された最小半径Rmin以上でかつ予め設定された最大半径Rmax以下であるか否か判定される。すなわち、下式(5)を満たすか否か判定される。
【0088】
Rmin≦Rj≦Rmax・・・(5)
【0089】
なお、最小半径Rminは、画像において捉えられる人物の肩の大きさの下限値として予め設定される値であり、プログラムPGで予め規定されていても良いし、ユーザによる操作部14の操作により任意に設定可能とされていても良い。このように、人物の肩の大きさに合わせて半径の範囲をある程度限定することで、ハフ変換における計算量の低減、ひいては処理の高速化を図ることができる。
【0090】
このステップS11では、中心座標(Xcj,Ycj)と半径Rjとの組合せについて、上式(5)を満たさないと判定されると、ステップS13に進み、上式(5)を満たすと判定されると、ステップS12で中心座標(Xcj,Ycj)と半径Rjとの組合せに対するスコアが1だけ増加されて、ステップS13に進む。
【0091】
ステップS13では、ステップS7で求められた全中心座標(Xc,Yc)がスコア算出対象中心座標として指定されたか否か判定される。ここで、全中心座標(Xc,Yc)がスコア算出対象中心座標として指定されていなければ、ステップS14でカウントjが1だけ増加されて、ステップS9に進む。一方、全中心座標(Xc,Yc)がスコア算出対象中心座標として指定されていれば、ステップS5に進む。つまり、1つの指定画素(Xi,Yi)について全中心座標(Xc,Yc)に係るスコアが算出されるまで、ステップS9〜S14の処理が繰り返され、1つの指定画素(Xi,Yi)について全中心座標(Xc,Yc)に係るスコアが算出されると、次の画素が指定画素として指定されるか、又はスコアの算出処理動作のフローが終了される。
【0092】
なお、半円中心検出部161におけるスコアの算出処理動作(図15)は、人物エッジ画像生成部150から1フレームの人物エッジ画像が入力される度に実行される。
【0093】
半円中心検出部161は、上述したスコアの算出処理動作(図15)によってスコアを算出した後に、スコアが高い方から所定数(ここでは上位5つ)のスコアについて、下式(6)を満たすスコアが付与された中心座標(Xcj,Ycj)と半径Rjの組合せがあれば、その中心座標(Xcj,Ycj)を中心位置の座標(以下単に「中心位置」と略する)として検出する。
【0094】
{(スコア×100)/(3.14×Rj)}>70・・・(6)
【0095】
図16は、人物エッジ画像G5(図14)に対して検出される肩の輪郭を大凡示す略半円の位置とその中心位置とを例示する図である。図16では、肩の輪郭を示す略半円が太線で示されており、その中心位置Pc1,Pc2が示されている。
【0096】
なお、半円中心検出部161におけるスコアの評価方法については、上式(6)を用いるものに限られず、例えば、他の関係式を用いても良い。また、半円中心検出部161においては、中心位置が複数存在する場合に、中心位置どうしの距離が所定距離(例えば最小半径Rminの4分の1など)以下の関係にある複数の中心位置については、所定のルール(例えば、付与されたスコアが最大のものを採用するルールや半径Rjが最大のものを採用するルール等)に従い、1つの中心位置を排他的に採用するようにしても良い。この処理は、肩の輪郭が完全には半円形状とはならないことに起因して、1人の人物の肩について複数の中心位置が検出される不具合の発生を抑制するための処理である。
【0097】
そして、半円中心検出部161における中心位置の検出は、人物エッジ画像生成部150から人物エッジ画像が入力される度に実行され、その都度、中心位置グループ化部162に中心位置の情報が出力される。
【0098】
中心位置グループ化部162は、半円中心検出部161から時間順次に入力される中心位置の情報を、各人物毎の中心位置の情報にグループ分けして中心位置を追跡した情報(以下「肩追跡情報」とも称する)TIを生成し、メモリ12bに記憶する。
【0099】
このグループ分けの手法としては、例えば、nフレーム目(nは自然数)の人物エッジ画像において検出された中心位置(以下「n中心位置」とも称する)とn+1フレーム目の人物エッジ画像において検出された中心位置(以下「n+1中心位置」とも称する)との距離が最も近い中心位置の組合せを、同一人物の中心位置としてグループ化するような手法を採用することができる。なお、n中心位置とn+1中心位置との距離Dは、n中心位置の座標を(X1,Y1)、n+1中心位置の座標を(X2,Y2)とすると、下式(7)によって算出される。
【0100】
D=√{(X1−X2)2+(Y1−Y2)2}・・・(7)
【0101】
このような中心位置のグループ分けによって、1フレームの人物エッジ画像G5において複数の人物が捉えられている場合でも、各人物毎の中心位置を区別して追跡、管理することができる。
【0102】
図17は、5フレーム分の人物エッジ画像を解析することで検出された中心位置をグループ分けすることで得られた第1及び第2の中心位置のグループGc1,Gc2を例示する図である。図17では、人物エッジ画像G5に対応する画像領域ARに対して、各々5点の中心位置からなる第1及び第2の中心位置のグループGc1,Gc2が示されている。
【0103】
但し、人物エッジ画像生成部150で時間順次に生成される人物エッジ画像、すなわち同じアングルを捉えた時間的に前後する画像では、人物の移動に伴い、人物の肩が時間順次に出現/消滅する。すなわち撮影範囲に対して人物の肩が時間順次に入出する。そして、撮影範囲から第1の人物の肩が出て行く際に、撮影範囲に第2の人物の肩が存在する場合には、第1の人物に係る中心位置と第2の人物の中心位置とが誤ってグループ化される可能性がある。このような不具合を回避するために、中心位置グループ化部162では、例えば、n中心位置とn+1中心位置との距離Dが、予め設定された所定距離(例えば、10画素)以上離れている場合には、同じグループを形成しないようにしている。つまり、画像上から消滅した第1の人物に係る中心位置のグループは、過去のものとされ、当該グループに係る全情報が肩追跡情報TIから消去される。一方、画像上に存在する第2の人物に係る中心位置は他のグループを独自に形成する。
【0104】
このように、画像上である程度の大きさ(サイズ)を占める肩の場所を特定する中心位置の変化を追跡することで、人物の姿勢の変化を精度良く検知することができる。
【0105】
なお、中心位置グループ化部162は、1フレーム分の人物エッジ画像の解析処理が終了する度に、当該解析処理が終了した旨の信号を処理切換部170に対して出力する。
【0106】
図18は、人物が転倒する際における中心位置の経時的変化を例示する図である。図18では、縦軸が画像における中心位置の高さ(Y座標)を示し、横軸が時刻を示しており、折れ線が中心位置の高さ(Y座標)の経時的変化を示している。図18に示すように、人物が転倒する際には、まず、倒れていく過程で中心位置の高さが大きく変化し(時刻t1〜t2)、その後、倒れた状態では、中心位置の高さがほとんど変化しない(時刻t2〜t3)。そこで、本実施形態に係る倒れ検知装置10では、倒れ途中検出部180によって倒れ途中状態を検出し、その後、倒れ状態検出部190によって倒れ状態(ほぼ静止した状態)を検出する倒れ検知処理を行うことで、例えば、ある人物が第1のカメラC1の前を走って通り過ぎるような場合であっても、誤って人物が転倒したと検知しないようにすることができ、結果として、人物の転倒を精度良く検知することができる。なお、図18では、参考の為に、倒れ状態から起き上がる過程における中心位置の高さの経時的変化も示されている(時刻t3〜t4)。
【0107】
○倒れ途中検出部180:
図7に示すように、倒れ途中検出部180は、機能構成として、主に垂直移動量算出部181、垂直移動量評価部182、及びフェイズ切換決定部183を備えている。
【0108】
垂直移動量算出部181は、肩追跡情報TIを参照することで、各グループ毎に、中心位置の垂直方向への移動量を算出する。垂直移動量算出部181では、各フレーム間における中心位置のY座標の差分(以下「中心位置垂直差分」とも称する)を算出し、当該中心位置垂直差分の算出に用いた中心位置の情報と関連付けて肩追跡情報TIに記憶する。このとき肩追跡情報TIが更新される。
【0109】
垂直移動量評価部182は、肩追跡情報TIを参照することで、所定期間(例えば、1/3秒間)における人物の肩の移動量を評価する。具体的には、例えば、肩追跡情報TIを参照することで、所定数のフレーム(例えば、最新フレーム及び直近4フレームからなる合計5フレーム)について、各フレーム間における中心位置垂直差分を2乗して累積し、比較数(例えば4)で割った値を中心位置の経時的な垂直方向への変化に係る評価値(以下「垂直変化評価値」とも称する)として算出する。そして、当該垂直変化評価値が所定値(例えば20)を超える場合には、中心位置の変化が比較的大きいため、人物が倒れている途中の状態(倒れ途中状態)であると評価する。つまり、倒れ途中状態を検出する。なお、ここでは、垂直変化評価値として、所定数のフレームについて中心位置垂直差分を2乗して累積し、比較数で割った値を採用したが、これに限られず、例えば、所定数のフレームについて、各フレーム間における中心位置垂直差分を単に合計した値など、中心位置の垂直変化を評価することができる値であれば良い。
【0110】
フェイズ切換決定部183は、人物(すなわち中心位置のグループ)毎に、垂直移動量評価部182によって倒れ途中状態であると評価されたことに応答して、倒れ途中状態を検出する倒れ途中状態検出処理を行うフェイズ(フェイズ1)から倒れ状態を検出する倒れ状態検出処理を行うフェイズ(フェイズ2)に切り換えることを決定し、その旨を示す信号を処理切換部170に対して出力する。
【0111】
○倒れ状態検出部190:
図8に示すように、倒れ状態検出部190は、機能構成として、主に移動量算出部191、及び分散量評価部192を備えている。
【0112】
移動量算出部191は、肩追跡情報TIを参照することで、各グループ毎に中心位置の移動量を算出する。移動量算出部191では、各フレーム間における中心位置のXY座標のそれぞれの差分、すなわち水平及び垂直方向それぞれにおける差分(以下「中心位置水平垂直差分」とも称する)を算出し、当該中心位置水平垂直差分の算出に用いた中心位置の情報と関連付けて肩追跡情報TIに記憶する。このとき肩追跡情報TIが更新される。
【0113】
分散量評価部192は、肩追跡情報TIを参照することで、所定期間(例えば、1/3秒間)における中心位置の分散量(すなわち、人物の肩の動き量)を評価する。具体的には、例えば、肩追跡情報TIを参照することで、所定数のフレーム(例えば、最新フレーム及び直近4フレームからなる合計5フレーム)について、各フレーム間における中心位置水平垂直差分を2乗して累積し、比較数(例えば4)で割った値を中心位置の経時的な移動量に係る評価値(以下「移動評価値」とも称する)として算出する。そして、当該移動評価値が所定値(例えば5)未満である場合、すなわち所定の値域範囲内(例えば0以上4以下)である場合には、中心位置の経時的な変化が著しく小さいため、人物が倒れて状態(倒れ状態)に至ったと評価(検出)し、人物が転倒したことを検知する。なお、ここでは、移動評価値として、所定数のフレームについて中心位置水平垂直差分を2乗して累積し、比較数で割った値を採用したが、これに限られず、例えば、所定数のフレームについて、各フレーム間における中心位置水平垂直差分を単に合計した値など、中心位置の移動を評価することができる値であれば良い。
【0114】
なお、例えば、エスカレータ100の乗り口102において人物Hが転倒する際には、エスカレータ100によって人物Hが転倒した状態で搬送されるような場面も想定されるが、そのような場面においても、中心位置の経時的な変化量は比較的小さな値となるため、上記倒れ状態検出処理によって倒れ状態を精度良く検出することができる。
【0115】
また、分散量評価部192は、人物が転倒したことを検知すると、その旨を示す信号を警告画面生成部200に出力する。
【0116】
なお、上述した倒れ途中検出部180による倒れ途中状態検出処理、及び倒れ状態検出部190による倒れ状態検出処理を行うタイミングは制限されても良い。例えば、画像上の所定の領域(例えば、図19に示すように、画像領域ARのうちの斜線を付した下から10ライン目から80ライン目にかけた領域)に中心位置が存在している場合にのみ、倒れ途中状態検出処理や倒れ状態検出処理が行われるようにしても良い。また、一般に倒れ途中状態から倒れ状態に至るまでの時間は、比較的短いと予測されるため、倒れ状態検出処理が行われる期間を予め設定された所定期間(例えば、0.5秒間や1秒間)に制限して、当該所定期間の経過に応答して、倒れ途中状態検出処理を行うフェイズ1に強制的に戻るようにしても良い。
【0117】
<倒れ検知処理に係る動作>
図20は、倒れ検知システム1における倒れ検知処理に係る動作フローを示すフローチャートである。本動作フローは、倒れ検知装置10においてユーザが操作部14を種々操作すること等により、プログラムPGが制御部12で読み込まれて実行されることで開始され、実現される。なお、ここでは、説明を簡略化するために、第1のカメラC1で撮影された動画を構成する各フレームの画像データが順次入力される場合に着目して説明する。
【0118】
ステップST1では、第1のカメラC1から1フレーム分の画像データがI/F11を介して輝度画像生成部120に入力される。
【0119】
ステップST2では、輝度画像生成部120によってステップST1で入力された画像データから輝度画像が生成される。
【0120】
ステップST3では、画素間引き部130によってステップST2で生成された輝度画像について縦及び横ラインともに1ラインおきにライン間引き(すなわち画素間引き)が行われることで、縮小画像が生成される。
【0121】
ステップST4では、フレーム間引き部140によってステップST3で生成された縮小画像が偶数番目のフレームに係る縮小画像か否か判定される。ここで、偶数番目のフレームに係る縮小画像でないと判定されれば、当該縮小画像は採用されずにステップST1に戻り、偶数番目のフレームに係る縮小画像と判定されれば、当該縮小画像が採用されて、ステップST5に進む。つまり、フレーム間引き処理が行われる。なお、ここでは、偶数番目のフレームに係る縮小画像を採用するものとして説明したが、奇数番目のフレームに係る縮小画像を採用しても良い。
【0122】
ステップST5では、人物エッジ画像生成部150によって縮小画像から人物エッジ画像が生成される。
【0123】
ステップST6では、肩位置検出/追跡部160によってステップST5で生成された人物エッジ画像から中心位置が検出される。
【0124】
ステップST7では、肩位置検出/追跡部160によってステップST6で検出された中心位置について、人物毎に中心位置がグループ分けされる。ステップST7の処理が1回目の場合には、各人物の中心位置は1点ずつしか検出されていないため、各々1点ずつの中心位置が各グループを形成するが、ステップST7の処理が2回目以降となると、経時的に変化する中心位置が人物毎にグループ分けされ、人物毎に中心位置を追跡した肩追跡情報TIが生成されてメモリ12bに記憶される。
【0125】
ステップST8では、中心位置のグループがメモリ12bに記憶されているか否か、すなわち肩追跡情報TIがメモリ12bに記憶されているか否か判定される。ここで、肩追跡情報TIがメモリ12bに記憶されていなければ、ステップST1に戻る。一方、肩追跡情報TIがメモリ12bに記憶されていれば、ステップST9に進む。なお、第1のカメラC1で人物が捉えられていない場合には、肩追跡情報TIがメモリ12bに記憶されていない状態となる。
【0126】
ステップST9では、肩追跡情報TIに含まれる中心位置に係るグループのうちの評価対象となる中心位置に係るグループを特定するためのカウントA(Aは自然数)が初期値である1に設定される。
【0127】
ステップST10では、A人目の中心位置に係るグループが評価対象として指定される。
【0128】
ステップST11では、処理切換部170によってステップST10で指定された評価対象についてフェイズ2にあるか否か判定される。ここで、フェイズ2になければステップST12に進み、フェイズ2にあればステップST15に進む。
【0129】
ステップST12では、ステップST10で評価対象として指定されたA人目の中心位置のグループについて倒れ途中検出部180による倒れ途中状態検出処理が行われる。
【0130】
ステップST13では、ステップST12における処理結果に応じて倒れ途中状態であるか否か判定される。ここで、倒れ途中状態であれば、ステップST14に進み、当該ステップST14で評価対象であるA人目についてはフェイズ切換決定部183によりフェイズ2に切り換えられる。一方、倒れ途中状態でなければ、ステップST18に進む。
【0131】
ステップST15では、ステップST10で評価対象として指定されたA人目の中心位置のグループについて倒れ状態検出部190による倒れ状態検出処理が行われる。
【0132】
ステップST16では、ステップST15における処理結果に応じて倒れ状態であるか否か判定される。ここで、倒れ状態であれば、ステップST17に進み、当該ステップST17で警告画面生成部200によって警告画面の画像データが生成され、表示部15において当該警告画面が可視的に出力される。なお、警告画面とともに警告音声が出力されても良い。このとき、例えば、セキュリティーセンターの表示部15において警備員が現在第1のカメラC1で撮影されている画像を確認して、緊急の措置が必要か否か判断することができる。一方、ステップST16において倒れ状態でなければ、ステップST18に進む。
【0133】
ステップST18では、肩追跡情報TIに含まれる中心位置に係る全グループが評価対象として指定されたか否か判定される。ここで、全グループが評価対象として指定されていなければ、ステップST19でカウントAが1だけ増加されて、ステップST10に進む。一方、全グループが評価対象として指定されていれば、ステップST1に戻る。つまり、全グループが評価対象として指定されるまで、ステップST10〜ST19の処理が適宜繰り返して実行される。
【0134】
そして、第1のカメラC1から1フレーム分の画像データがI/F11を介して輝度画像生成部120に入力される度に、上記ステップST1〜ST19の処理が行われる。
【0135】
以上のように、本発明の実施形態に係る倒れ検知システム1では、倒れ検知装置10において、第1〜第NのカメラC1〜CNで撮影された動画を構成する各フレームの画像データについて、画像に含まれる輪郭の近似曲線である上に凸の半円の中心位置を検出する。そして、中心位置の垂直方向への経時的な変化を評価するための垂直変化評価値を算出して、少なくとも当該垂直変化評価値に基づいて人物の転倒を検知する。このような構成を採用すると、例えば、限られた空間に複数の人物が混在して画像上で複数人が重なり合うような状況や照明の違いなどといった各種環境的要因に拘わらず、人物のある程度の大きさの領域を占める肩に係る基準位置(ここでは中心位置)は比較的精度良く検出できるため、人物の倒れ検知を精度良く行うことができる。
【0136】
また、中心位置の垂直方向への変化に係る垂直変化評価値が所定値を超えた状態を検出する倒れ途中状態検出処理を用いて人物の転倒を検知する。このような肩の場所を大凡特定する中心位置を用いた倒れ途中状態検出処理によれば、人物が倒れていく状態を精度良く検出することができるため、人物の倒れ検知を精度良く行うことができる。
【0137】
また、中心位置の垂直方向への変化に係る垂直変化評価値が所定値を超えた後に、中心位置の移動に係る移動評価値が所定範囲内となった場合(ここでは、倒れ状態検出処理によって倒れ状態が検出された場合)に、人物が転倒したと検知する。このような構成を採用することで、人物が倒れていく状態(倒れ途中状態)とその後の転倒状態(倒れ状態)とを精度良く検出することができる。このため、人物の倒れ検知を精度良く行うことができる。
【0138】
また、人物搬送装置(ここでは、エスカレータ100)によって人物Hが搬送される方向に対して撮影方向が略平行に設定された第1〜第NのカメラC1〜CNにより異なるタイミングでそれぞれ撮影された複数の撮影画像から人物の転倒を検知する。このような人物搬送装置で搬送される人物Hが正面方向又は背面方向から撮影されるといったエスカレータ等に係る監視カメラの一般的な配置に即した構成を採用した場合であっても、肩の輪郭の近似曲線と所定の関係を維持する中心位置(すなわち基準位置)を精度良く検出することができる。したがって、人物の倒れ検知を精度良く行うことができる。
【0139】
特に、人物搬送装置に含まれるエスカレータ100に倒れ検知システム1を適用することで、人物が転倒し易いエスカレータ100などにおいて、人物の倒れを精度良く検知することができる。
【0140】
<変形例>
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0141】
◎例えば、上記実施形態では、倒れ検知装置10が表示部15を含んで構成されたが、これに限られず、例えば、倒れ検知装置10から表示部15を除いた構成を倒れ検知装置とし、当該倒れ検知装置に対して各種画像を表示するディスプレイ装置を接続することで、倒れ検知システムを構成するようにしても良い。
【0142】
◎また、上記実施形態では、人物の肩の移動を追尾して評価するために、人物の肩が存在する大凡の場所を示す基準位置として、人物の肩の輪郭の近似曲線である半円の中心位置を検出したが、これに限られない。例えば、半円の弧の一端や中心点など、半円との関係で一義的に決まる、すなわち半円と所定の関係を維持する位置を基準位置として検出しても良い。更に、上記実施形態では、人物の肩の輪郭の近似曲線を半円としたが、これに限られず、例えば、円の1/3の弧や楕円の一部の弧などとしても良い。したがって、人物の肩の移動を追尾して評価するために、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに当該カーブと所定の関係を維持する基準位置を、各フレームの撮影画像から検出するようにすれば良い。
【0143】
◎また、上記実施形態では、1フレームの画像の解析が次のフレームの画像が入力されるまでに完了するものとして説明したが、これに限られず、例えば、1フレームの画像の解析が次のフレームの画像が入力されるまでに完了しない場合には、1フレームの画像の解析を行っている途中で次のフレームの画像の解析を開始するようにしても良い。
【0144】
◎また、上記実施形態では、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出した後に、中心位置の移動評価値が所定の値域範囲に含まれる倒れ状態を検出することで、人物が倒れたことを検知したが、これに限られず、例えば、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出しただけで人物が倒れたことを検知するようにしても良い。但し、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出しただけで人物の倒れを検知するような構成を採用すると、例えば、人物Hがエスカレータ100を走って通過する際等に、誤って人物が倒れたと検知する不具合が生じる虞がある。したがって、誤検知を抑制して人物の倒れ検知の高精度化を図る観点から言えば、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出した後に、中心位置の移動評価値が所定の値域範囲に含まれる倒れ状態を検出することで、人物が倒れたことを検知することが好ましい。
【0145】
◎また、上記実施形態では、人物毎に中心位置を追尾して、人物毎にフェイズに応じて倒れ途中状態検出処理と倒れ状態検出処理とを選択的に実施したが、これに限られず、例えば、1人の人物について倒れ途中状態が検出されると、単純に全ての人物について一律に倒れ状態検出処理を実施するフェイズ2に切り換えるようにしても良い。なお、このような構成を採用する場合には、倒れ状態検出処理が行われる期間を適宜制限することで、倒れ途中状態検出処理を行うフェイズ1に戻すようにすれば良い。倒れ状態検出処理が行われる期間を適宜制限する手法としては、例えば、画像上の所定の領域(例えば、図19で斜線を付した領域)から中心位置が外れた場合にフェイズ1に戻す手法や、倒れ状態検出処理が行われる期間を予め設定された所定期間(例えば、0.5秒間や1秒間)に制限して、所定期間の経過後にフェイズ1に戻す手法などが考えられる。
【0146】
◎また、上記実施形態では、倒れ途中状態検出処理においては、中心位置の垂直方向(すなわち1次元方向)への変化に基づいて倒れ途中状態が検出され、倒れ状態検出処理においては、中心位置の2次元(XY方向)における移動に基づいて倒れ途中状態が検出されたが、これに限られず、例えば、倒れ状態検出処理においても中心位置の垂直方向(すなわち1次元方向)への変化(移動)に基づいて倒れ状態を検出するようにしても良い。但し、人物がエスカレータから走って降りて横方向に走り抜けて行くような場面等における誤検知を抑制する観点からすれば、倒れ状態検出処理においては、中心位置の2次元平面内における移動に基づいて倒れ途中状態を検出した方が好ましい。
【0147】
◎なお、上記実施形態では、制御部12で実現される各機能構成が、ハードウェア構成とソフトウェアとの協働によって実現されるものとして説明したが、これに限られず、例えば、制御部12に含まれる機能構成のうちの一部又は全部がハードウェア構成によって実現されるものであっても良い。
【図面の簡単な説明】
【0148】
【図1】本発明の実施形態に係る倒れ検知システムの概略構成を例示する図である。
【図2】本発明の実施形態に係るカメラの配置の一例を示す図である。
【図3】倒れ検知装置の物理的構成を主に示すブロック図である。
【図4】倒れ検知機能に係る機能構成を概念的に示す機能ブロック図である。
【図5】人物エッジ画像生成部の機能構成を例示するブロック図である。
【図6】肩位置検出/追跡部の機能構成を例示するブロック図である。
【図7】倒れ途中検出部の機能構成を例示するブロック図である。
【図8】倒れ状態検出部の機能構成を例示するブロック図である。
【図9】背景画像のイメージ図である。
【図10】縮小画像のイメージ図である。
【図11】縮小画像と背景画像との差分にあたる差分画像のイメージ図である。
【図12】エッジ画像のイメージ図である。
【図13】ソーベルフィルタのフィルタ特性を例示する図である。
【図14】人物エッジ画像のイメージ図である。
【図15】スコア算出の動作フローを例示するフローチャートである。
【図16】画像上での肩の輪郭を示す略半円とその中心の位置を例示する図である。
【図17】画像上において中心位置が変化していく様子を例示する図である。
【図18】中心位置の変化を例示する図である。
【図19】画像上において中心位置を追尾する領域を例示する図である。
【図20】倒れ検知処理の動作フローを例示するフローチャートである。
【符号の説明】
【0149】
1 倒れ検知システム
10 倒れ検知装置
12 制御部
100 エスカレータ
150 人物エッジ画像生成部
160 肩位置検出/追跡部
170 処理切換部
180 倒れ途中検出部
190 倒れ状態検出部
C1〜CN 第1〜第Nのカメラ
PG プログラム
TI 肩追跡情報
【特許請求の範囲】
【請求項1】
複数フレームの撮影画像を時間順次に受け付ける画像受付手段と、
撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、前記画像受付手段によって受け付けられる複数フレームの撮影画像を構成する各フレームの撮影画像から検出する位置検出手段と、
前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出する評価値算出手段と、
少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行う転倒検知手段と、
を備えることを特徴とする転倒検知装置。
【請求項2】
請求項1に記載の転倒検知装置であって、
前記転倒検知処理が、
前記垂直変化評価値が所定値を超えた状態を検出する処理を含むことを特徴とする転倒検知装置。
【請求項3】
請求項2に記載の転倒検知装置であって、
前記評価値算出手段が、
前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出する手段、を有し、
前記転倒検知処理が、
前記垂直変化評価値が所定値を超えた状態を検出した後に、前記移動評価値が予め設定された値域範囲に含まれる状態を検出する処理を含むことを特徴とする転倒検知装置。
【請求項4】
請求項1から請求項3のいずれかに記載の転倒検知装置であって、
前記複数フレームの撮影画像が、
人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする転倒検知装置。
【請求項5】
請求項4に記載の転倒検知装置であって、
前記人物搬送装置が、
エスカレータを含むことを特徴とする転倒検知装置。
【請求項6】
転倒検知装置に含まれるコンピュータによって実行されることにより、前記転倒検知装置を、請求項1から請求項5のいずれかに記載の転倒検知装置として機能させるプログラム。
【請求項7】
(a)撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、撮影タイミングが互いに前後する複数フレームの撮影画像を構成する各フレームの撮影画像から検出するステップと、
(b)前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出するステップと、
(c)少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行うステップと、
を備えることを特徴とする転倒検知方法。
【請求項8】
請求項7に記載の転倒検知方法であって、
前記転倒検知処理が、
前記垂直変化評価値が所定値を超えた状態を検出する処理を含むことを特徴とする転倒検知方法。
【請求項9】
請求項8に記載の転倒検知方法であって、
前記ステップ(b)が、
前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出するステップを有し、
前記転倒検知処理が、
前記垂直変化評価値が所定値を超えた状態を検出した後に、前記移動評価値が予め設定された値域範囲に含まれる状態を検出する処理を含むことを特徴とする転倒検知方法。
【請求項10】
請求項7から請求項9のいずれかに記載の転倒検知方法であって、
前記複数フレームの撮影画像が、
人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする転倒検知方法。
【請求項11】
請求項10に記載の転倒検知方法であって、
前記人物搬送装置が、
エスカレータを含むことを特徴とする転倒検知方法。
【請求項12】
異なるタイミングで複数フレームの撮影画像を取得する撮像装置と、
請求項1から請求項3のいずれかに記載の転倒検知装置と、
を備えることを特徴とする転倒検知システム。
【請求項13】
請求項12に記載の転倒検知システムであって、
前記撮像装置の撮影方向が、
人物搬送装置における人物の搬送経路に対して略平行に設定されていることを特徴とする転倒検知システム。
【請求項14】
請求項13に記載の転倒検知システムであって、
前記人物搬送装置が、
エスカレータを含むことを特徴とする転倒検知システム。
【請求項1】
複数フレームの撮影画像を時間順次に受け付ける画像受付手段と、
撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、前記画像受付手段によって受け付けられる複数フレームの撮影画像を構成する各フレームの撮影画像から検出する位置検出手段と、
前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出する評価値算出手段と、
少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行う転倒検知手段と、
を備えることを特徴とする転倒検知装置。
【請求項2】
請求項1に記載の転倒検知装置であって、
前記転倒検知処理が、
前記垂直変化評価値が所定値を超えた状態を検出する処理を含むことを特徴とする転倒検知装置。
【請求項3】
請求項2に記載の転倒検知装置であって、
前記評価値算出手段が、
前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出する手段、を有し、
前記転倒検知処理が、
前記垂直変化評価値が所定値を超えた状態を検出した後に、前記移動評価値が予め設定された値域範囲に含まれる状態を検出する処理を含むことを特徴とする転倒検知装置。
【請求項4】
請求項1から請求項3のいずれかに記載の転倒検知装置であって、
前記複数フレームの撮影画像が、
人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする転倒検知装置。
【請求項5】
請求項4に記載の転倒検知装置であって、
前記人物搬送装置が、
エスカレータを含むことを特徴とする転倒検知装置。
【請求項6】
転倒検知装置に含まれるコンピュータによって実行されることにより、前記転倒検知装置を、請求項1から請求項5のいずれかに記載の転倒検知装置として機能させるプログラム。
【請求項7】
(a)撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、撮影タイミングが互いに前後する複数フレームの撮影画像を構成する各フレームの撮影画像から検出するステップと、
(b)前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出するステップと、
(c)少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行うステップと、
を備えることを特徴とする転倒検知方法。
【請求項8】
請求項7に記載の転倒検知方法であって、
前記転倒検知処理が、
前記垂直変化評価値が所定値を超えた状態を検出する処理を含むことを特徴とする転倒検知方法。
【請求項9】
請求項8に記載の転倒検知方法であって、
前記ステップ(b)が、
前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出するステップを有し、
前記転倒検知処理が、
前記垂直変化評価値が所定値を超えた状態を検出した後に、前記移動評価値が予め設定された値域範囲に含まれる状態を検出する処理を含むことを特徴とする転倒検知方法。
【請求項10】
請求項7から請求項9のいずれかに記載の転倒検知方法であって、
前記複数フレームの撮影画像が、
人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする転倒検知方法。
【請求項11】
請求項10に記載の転倒検知方法であって、
前記人物搬送装置が、
エスカレータを含むことを特徴とする転倒検知方法。
【請求項12】
異なるタイミングで複数フレームの撮影画像を取得する撮像装置と、
請求項1から請求項3のいずれかに記載の転倒検知装置と、
を備えることを特徴とする転倒検知システム。
【請求項13】
請求項12に記載の転倒検知システムであって、
前記撮像装置の撮影方向が、
人物搬送装置における人物の搬送経路に対して略平行に設定されていることを特徴とする転倒検知システム。
【請求項14】
請求項13に記載の転倒検知システムであって、
前記人物搬送装置が、
エスカレータを含むことを特徴とする転倒検知システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2008−9498(P2008−9498A)
【公開日】平成20年1月17日(2008.1.17)
【国際特許分類】
【出願番号】特願2006−176516(P2006−176516)
【出願日】平成18年6月27日(2006.6.27)
【出願人】(500040908)株式会社メガチップスシステムソリューションズ (80)
【Fターム(参考)】
【公開日】平成20年1月17日(2008.1.17)
【国際特許分類】
【出願日】平成18年6月27日(2006.6.27)
【出願人】(500040908)株式会社メガチップスシステムソリューションズ (80)
【Fターム(参考)】
[ Back to top ]