監視装置、プログラム
【課題】ベッドを基準にして監視すべき領域を自動的に検出することにより、監視対象の人の動作を正確かつ再現性よく検出することを可能にした監視装置を提供する。
【解決手段】距離画像センサ１０は、画素値が物体までの距離値である距離画像を生成する。距離画像センサ１０の視野領域には、監視対象であるベッドの全体を含む。ベッド認識部２１は、距離画像センサ１０が出力した距離画像を用いてベッドの位置を抽出する。人認識部２２は、距離画像センサ１０が出力した距離画像のうちベッド認識部２１により認識したベッドの範囲内と範囲外とにおいて人が占有する領域を検出する。動作判定部２３は、ベッド認識部２１により検出したベッドと人認識部２２により検出した人の領域との組み合わせによりベッドに対する人の動作を判別する。
【解決手段】距離画像センサ１０は、画素値が物体までの距離値である距離画像を生成する。距離画像センサ１０の視野領域には、監視対象であるベッドの全体を含む。ベッド認識部２１は、距離画像センサ１０が出力した距離画像を用いてベッドの位置を抽出する。人認識部２２は、距離画像センサ１０が出力した距離画像のうちベッド認識部２１により認識したベッドの範囲内と範囲外とにおいて人が占有する領域を検出する。動作判定部２３は、ベッド認識部２１により検出したベッドと人認識部２２により検出した人の領域との組み合わせによりベッドに対する人の動作を判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、寝具上の人を監視する監視装置、監視装置に用いる機能をコンピュータで実現するプログラムに関するものである。
【背景技術】
【０００２】
この種の監視装置として、監視対象物までの距離に相当する距離関連値を求め、距離関連値を閾値と比較することにより、寝具上の就寝者の動きや呼吸を検出する技術が提案されている（たとえば、特許文献１参照）。特許文献１には、所定時間内に就寝者の形状変化が検出されない場合には、監視対象物が監視対象領域の外に出たと判断することによって、離床を検出する技術が記載されている。
【０００３】
特許文献１では、ベッド上の就寝者の一部を含む複数の対象点を設定し、就寝者の情報から対象点までの距離を距離センサにより計測している。対象点は、ベッド上に就寝者が居る場合に就寝者の一部を含むように設定された監視領域内に複数配置される。特許文献１に記載の技術では、これらの対象点から得られた距離関連値の時間変化と対象点の位置とを用いることにより、就寝者の離床のほか、呼吸や起き上がりを検出している。
【０００４】
特許文献１に記載の技術では、寝具上の就寝者の離床などを非接触で検出することができるから、患者にストレスを与えないという利点を有している。また、特許文献１には、移動可能なスタンドに距離センサを設けることが可能であり、必要なときに必要な場所に設置できる旨の記載がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２９０１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１には、監視領域がベッドの上に設定されていることは記載されているが、監視領域をどのようにして設定するかについてはとくに記載されていない。すなわち、ベッドの上で監視領域を自動的に設定することはできない。とくに、スタンドを用いることにより可動にした場合には、対象点を適切に設定するように調節することは容易ではない。
【０００７】
本発明は上記事由に鑑みて為されたものであり、その目的は、ベッドを基準にして監視すべき領域を自動的に検出することにより、監視対象の人の動作を正確かつ再現性よく検出することを可能にした監視装置、および監視装置の機能をコンピュータで実現するためのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記目的を達成するために、画素値が物体までの距離値である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像センサと、距離画像を用いてベッドの位置を抽出するベッド認識部と、距離画像のうちベッド認識部により認識したベッドの範囲内と範囲外とにおいて人が占有する領域を検出する人認識部と、ベッド認識部により検出したベッドと人認識部により検出した人の領域との組み合わせによりベッドに対する人の動作を判別する動作判定部と、動作判定部による判定結果を報知する報知部とを備えることを特徴とする。
【０００９】
ベッド認識部は、ベッドを置いた床面に対して適宜高さ以上である高さの度数分布をベッドの長手方向および短手方向においてそれぞれ求め、度数が適宜の閾値を横切る位置を、ベッドの長手方向および短手方向における端部の位置として検出するのが望ましい。
【００１０】
この場合、ベッド認識部は、ベッドの長手方向および短手方向における端部に囲まれた矩形の範囲内をベッドの範囲内とし、ベッドの範囲内の領域をベッドの長手方向において複数の分割領域に分割し、分割領域ごとに高さに関する代表値を求め、さらに代表値から所定のオフセット値を減算した値を、ベッドに関して分割領域ごとの基準の高さに用いるのが望ましい。
【００１１】
さらに、ベッド認識部は、分割領域の代表値として、分割領域ごとの高さの平均値と最頻値との一方を用いるのが望ましい。
【００１２】
ベッド認識部は、分割領域の代表値に上限値を設けてあり、代表値が上限値を超える場合はこの代表値を採用しないことが望ましい。
【００１３】
あるいはまた、ベッド認識部は、分割領域の代表値に対する高さ閾値を設けてあり、所定個数以上の分割領域において代表値が高さ閾値を超える場合に、ベッドの位置が異常であると判断することが望ましい。
【００１４】
ベッド認識部は、ベッドの位置を抽出した直後に、ベッドの範囲内であって分割領域の基準の高さに対して規定の除外閾値よりも上方に位置する物体の存在範囲を、人認識部において人を検出する領域から除外するマスク領域として記憶することが好ましい。
【００１５】
人認識部は、ベッド認識部が検出した分割領域ごとの基準の高さに対して上方に所定距離だけ離れた検知面を少なくとも１個設定し、検知面を横切る物体が検出されると当該検知面について規定したベッドの範囲内での人の動作であると判定するのが望ましい。
【００１６】
人認識部は、ベッド認識部が検出したベッドの範囲外においてベッドを置いた床から所定高さの倒れ閾値を設定し、ベッドの範囲外において倒れ閾値より高い位置に物体が検出されるとベッドの範囲外に人が存在すると判定する構成を採用してもよい。
【００１７】
人認識部は、ベッド認識部が検出したベッドの範囲外における背景画像を記憶し、その後に得られる画像について背景画像に対する変化が生じた領域の面積が規定の閾値であるときにベッドの範囲外に人が存在すると判定してもよい。
【００１８】
この場合、人認識部は、検知面として、人のベッドの上での臥床の状態を検知する臥床検知面と、人がベッドの上での起き上がりの状態を検知する起き上がり検知面とを有し、人が臥床検知面と起き上がり検知面とを横切るときに、臥床検知面が切り取る面積に対して起き上がり検知面が切り取る面積の比率を求め、この比率が所定の閾値以上であるときに起き上がりの状態と判定するのが望ましい。
【００１９】
あるいはまた、人認識部は、検知面として、人のベッドの上での臥床の状態を検知する臥床検知面と、人がベッドの上での立ち上がりの状態を検知する起立検知面とを有し、人が臥床検知面と起立検知面とを横切るときに、臥床検知面が切り取る面積に対して起立検知面が切り取る面積の比率を求め、この比率が所定の閾値以上であるときに立ち上がりの状態と判定するのが望ましい。
【００２０】
動作判定部は、ベッドの長手方向および短手方向の端部に対して人が占める領域が交差しているときに、ベッドに人が腰を掛けている状態と判定することが望ましい。
【００２１】
動作判定部は、ベッドの長手方向および短手方向の端部において人が占める領域がベッドの範囲内と範囲外とにまたがっており、かつ人が占める領域の面積に対してベッドの範囲外において人が占める領域の面積の比率が規定した基準範囲内であれば、ベッドに人が腰を掛けている状態と判定するようにしてもよい。
【００２２】
動作判定部は、ベッドに落下防止のための柵を設けている場合に、柵の位置をあらかじめ指定可能であり、柵に対して人が占める領域が交差しているときに、柵を人が乗り越えている状態と判定することが望ましい。
【００２３】
動作判定部は、ベッドに落下防止のための柵を設けている場合に、柵の位置をあらかじめ指定可能であり、人が占める領域が柵に対してベッドの範囲内と範囲外とにまたがっており、かつ人が占める領域の面積に対してベッドの範囲外において人が占める領域の面積の比率が規定した基準範囲を超えているときに、柵を人が乗り越えている状態と判定するようにしてもよい。
【００２４】
動作判定部は、ベッドの範囲内と範囲外とにおいて人が占める領域の面積に対してベッドの範囲外において人が占める領域の面積の比率が規定した基準範囲を超えるときに離床を開始したと判定することが望ましい。
【００２５】
動作判定部は、ベッドの範囲外においてベッドを置いた床面に対して規定の高さ以下の物体が検出される状態が規定の判定時間継続するときに、人が転倒している状態と判定することが望ましい。
【００２６】
動作判定部は、ベッドの範囲内と範囲外とにおいて検出される人の代表点の位置を追跡し、位置の移動が不連続であるときには人の移動と判定しないことが望ましい。
【００２７】
動作判定部は、人の代表点の位置を追跡する際に、ベッドの範囲内を起点とする場合に人の行動と判定し、ベッドの範囲外を起点とする場合であってベッドの範囲内に移動した後にベッドの範囲内である状態の継続時間が規定時間に達すると追跡の起点をベッドの範囲内に更新することが望ましい。
【００２８】
報知部は、動作判定部の判定結果に加えて人が操作する操作装置からの入力を受け付け、動作判定部による判定結果と操作装置による入力との組み合わせにより、動作判定部による判定結果の報知の有無を切り換える構成を採用することができる。
【００２９】
距離画像センサは、距離画像について規定された座標系をベッドを置いた空間の座標系に変換する機能を備えることが望ましい。
【００３０】
報知部は、人の動作と報知内容とを対応付ける機能を備えることが望ましい。
【００３１】
報知部は、別に設けた受信装置に報知内容を通知する通信機能を備えることが望ましい。
【００３２】
距離画像センサは、距離画像とともに濃淡画像を生成する機能を有し、報知部は人の動作の報知後に距離画像と濃淡画像との少なくとも一方を出力することが望ましい。
【００３３】
動作判定部は、人の特定の動作を検知する特定動作検知部を備え、報知部は、距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における濃淡画像を画像記憶部および距離画像センサから他装置に伝送する通信処理部とを備えることが望ましい。
【００３４】
また、動作判定部は、人の特定の動作を検知する特定動作検知部を備え、報知部は、距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における距離画像と濃淡画像との少なくとも一方を記憶する着目画像記憶部とを備える構成を採用してもよい。
【００３５】
あるいはまた、動作判定部は、人の特定の動作を検知する特定動作検知部を備え、報知部は、距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における距離画像と濃淡画像との少なくとも一方を記憶する着目画像記憶部と、特定動作検知部が人の特定の動作を検知したことを他装置に通知する通信処理部とを備える構成を採用してもよい。
【００３６】
本発明に係るプログラムは、コンピュータを、画素値が物体までの距離値である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像センサから得られた距離画像を用いてベッドの位置を抽出するベッド認識部と、距離画像のうちベッド認識部により認識したベッドの範囲内と範囲外とにおいて人が占有する領域を検出する人認識部と、ベッド認識部により検出したベッドと人認識部により検出した人の領域との組み合わせによりベッドに対する人の動作を判別する動作判定部と、動作判定部による判定結果を報知する報知部として機能させるものである。
【発明の効果】
【００３７】
本発明の構成によれば、ベッドの上で監視すべき領域を自動的に検出するから、ベッドの範囲内と範囲外とを分離して、監視対象である人の動作を正確かつ再現性よく検出することが可能になる。
【図面の簡単な説明】
【００３８】
【図１】本発明の全体構成を示すブロック図である。
【図２】（Ａ）は同上の使用例を示す斜視図、（Ｂ）は同上の構成例を示す斜視図である。
【図３】同上に用いる距離画像センサを示すブロック図である。
【図４】同上における座標変換の原理説明図である。
【図５】同上における座標変換の原理説明図である。
【図６】同上の他の使用例を示す斜視図である。
【図７】同上におけるベッドの端部を検出する動作の説明図である。
【図８】同上において視野領域が適正でない場合の動作説明図である。
【図９】（Ａ）は同上における分割領域の説明図、（Ｂ）は同上におけるベッド面の説明図である。
【図１０】同上の動作説明図である。
【図１１】同上の動作説明図である。
【図１２】同上の動作説明図である。
【図１３】同上の動作説明図である。
【図１４】同上においてベッドに物体が重なる例を示す斜視図である。
【図１５】同上においてマスク領域の設定例を示す動作説明図である。
【図１６】同上においてベッドに物体が重なる例を示し、（Ａ）は平面図、（Ｂ）は側面図である。
【図１７】同上における検知面の設定例を示す図である。
【図１８】同上の動作説明図である。
【図１９】同上の動作説明図である。
【図２０】同上の動作説明図である。
【図２１】同上の動作説明図である。
【図２２】同上の動作説明図である。
【図２３】同上の他の構成例を示すブロック図である。
【図２４】同上のさらに他の構成例を示すブロック図である。
【図２５】同上の別の構成例を示すブロック図である。
【図２６】同上においてベッドサイド端末を配置した例を示す斜視図である。
【発明を実施するための形態】
【００３９】
以下に説明する監視装置の全体構成を説明する。本実施形態の監視装置では、図２に示すように、ベッド３０の全体を視野に含む距離画像を撮像する距離画像センサ１０を用いる。距離画像は画素値を距離値とした画像であり、距離画像を生成する技術は種々知られている。
【００４０】
たとえば、パッシブ型の距離画像センサとしては複数台の撮像装置の視差に基づいて物体までの距離を求めるステレオ画像法が知られている。また、アクティブ型の距離画像センサとしては、三角測量法の原理に基づいて物体までの距離を求める光切断法、光を投光し物体での反射光を受光するまでの時間を計測する飛行時間法が広く採用されている。また、空間位相の異なる複数種類の光パターンを投光し、物体の表面に形成された光パターンの位置関係から物体の表面の３次元形状を求める距離画像センサも知られている。
【００４１】
以下に説明する実施形態では、距離画像を生成する技術についてとくに制限はないが、飛行時間法（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）による距離画像センサを用いる場合を例として説明する。以下では、飛行時間法を「ＴＯＦ法」と略称する。ＴＯＦ法を用いる距離画像センサの構成は種々知られている。ここでは、光の強度を一定周期の変調信号で変調した強度変調光を対象空間に投光し、対象空間に存在する物体で反射された強度変調光が受光されるまでの時間を、強度変調光の投受光の位相差として検出し、この位相差を物体までの距離に換算する構成を採用する。
【００４２】
対象空間に投光する光は、多くの物体を透過することなく物体の表面で反射され、かつ人に知覚されない光が望ましい。そのため、投光する光には近赤外線を用いるのが望ましい。ただし、撮像領域を調節する場合のように、人に知覚されるほうが望ましい場合には可視光を用いることも可能である。
【００４３】
強度変調光の波形は、正弦波を想定しているが、三角波、鋸歯状波、方形波などを用いることができる。正弦波、三角波、鋸歯状波を用いる場合には強度変調光の周期を一定周期とする。なお、方形波を用いる場合に、強度変調光の周期を一定周期とするほか、オン期間（発光源の投光期間）とオフ期間（発光源の非投光期間）との比率を乱数的に変化させる技術を採用することも可能である。すなわち、オン期間とオフ期間とに対して十分に長い時間において、オン期間の生じる確率が５０％になるようにオン期間とオフ期間とを不規則に変化させ、前記十分に長い時間において累積した受光量を用いてもよい。
【００４４】
また、強度変調光を一定周期とする場合、たとえば、投光する光を２０ＭＨｚの変調信号により変調し、１００００周期程度の受光量を累積することによりショットノイズの影響を軽減させる。オン期間とオフ期間とを乱数的に変化させる場合にも、たとえば、単位期間を２０ＭＨｚの１周期に相当する期間（５×１０−８ｓ）とし、単位期間の数倍程度の範囲でオン期間とオフ期間とを変化させ、単位期間の１００００倍程度の期間の受光量を累積する。この動作により、累積後の受光量は、一定周期の強度変調光を用いて受光量を累積した場合と同様に扱うことができる。
【００４５】
物体で反射された強度変調光は、複数個の画素が２次元に配列された撮像装置により受光する。撮像装置は、濃淡画像を撮像するため撮像素子と、撮像素子の受光面に光が入射する範囲を制限する受光光学系とを備える。撮像素子は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサとして提供されている濃淡画像を撮像する周知構成の撮像素子を用いることができるが、距離画像センサに適する構造を有するように専用に設計された撮像素子を用いることが望ましい。
【００４６】
以下では、理解を助けるために距離画像センサの一例として下記構成を想定して説明するが、この構成は本発明を限定する趣旨ではなく、強度変調光の変調波形、撮像素子の構成、撮像素子の制御などに関して、周知の種々の距離画像センサに提供された構成を用いることができる。
【００４７】
以下の説明で用いる距離画像センサ１０は、図３に示すように、光を対象空間に投光する投光装置１１と、対象空間からの光を受光する撮像装置１２とを備える。投光装置１１は、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子１３と、発光素子１３から出射した光を対象空間の範囲に投光させる投光光学系１４とを備える。投光装置１１は、光出力を確保するために適数個の発光素子１３を備える。また、撮像装置１２は、上述した撮像素子１５と、撮像素子１５の視野を決める受光光学系１６とを備える。
【００４８】
発光素子１３から出射された強度変調光は投光光学系１４を通して対象空間に投光される。撮像素子１５は、受光光学系１６を通して対象空間からの光を受光する。投光光学系１４と受光光学系１６とは、投受光の方向を平行にし互いに近接して配置してある。ここに、投光光学系１４と受光光学系１６との距離は視野領域に対して実質的に無視することができるものとする。
【００４９】
距離画像センサ１０は、発光素子１３から強度変調光を出射させるために発光素子１３に与える変調信号を生成する変調信号生成部１７を備える。また、距離画像センサ１０は、撮像素子１５が対象空間から受光するタイミングを制御するために、撮像素子１５での受光タイミングを規定する受光タイミング信号を変調信号から生成するタイミング制御部１８を備える。撮像素子１５で得られた受光量に相当する電荷は撮像素子１５から読み出されて演算処理部１９に入力される。演算処理部１９は、受光タイミングと受光量との関係から対象空間に存在する物体までの距離を求める。
【００５０】
変調信号生成部１７は、出力電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化する変調信号を生成する。発光素子１３はこの変調信号により駆動され、光出力が正弦波状に変化する強度変調光が発光素子１３から出射される。
【００５１】
本実施形態において用いる撮像素子１５は、電子シャッタの技術を用いることにより、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成する。また、生成された電荷は、遮光された蓄積領域に転送され、蓄積領域において変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に蓄積された後、撮像素子１５の外部に受光出力として取り出される。
【００５２】
タイミング制御部１８では、変調信号に同期する受光タイミング信号を生成する。ここでは、タイミング制御部１８が、変調信号の異なる４位相ごとに一定時間幅の受光期間を有した４種類の受光タイミング信号を生成する。また、上述した蓄積期間ごとに４種類の受光タイミング信号から選択した１種類の受光タイミング信号を撮像素子１５に与える。
【００５３】
すなわち、１回の蓄積期間において１種類の受光タイミング信号を撮像素子１５に与えることにより、変調信号の特定の位相期間に対応する受光期間における電荷を撮像素子１５の各画素で生成する。蓄積後の電荷は、受光出力として撮像素子１５から取り出される。蓄積期間ごとに異なる各受光タイミング信号を撮像素子１５に与え、撮像素子１５で生成された電荷を受光出力として取り出す動作を繰り返すと、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力が撮像素子１５から得られる。
【００５４】
いま、４種類の受光タイミング信号が、変調信号の１周期において９０度ずつ異なる位相に設定され、各受光タイミング信号に対応して撮像素子１５から出力された受光出力（電荷量）が、それぞれＡ０，Ａ１，Ａ２，Ａ３であったとする。このとき、三角関数の関係を用いると、強度変調光の投光時と受光時との位相差ψ〔ｒａｄ〕は、下式の形式で表すことができる。
ψ＝（Ａ０−Ａ２）／（Ａ１−Ａ３）
変調信号の周波数は一定であるから、位相差ψを投光から受光までの時間差に換算することができ、光速は既知であるから、時間差が求まれば物体までの距離を求めることができる。
【００５５】
すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光期間は、各画素において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する受光期間を用いることが可能である）。各受光期間の時間幅は互いに等しくすることが必要である。
【００５６】
演算処理部１９では、受光出力（電荷量）Ａ０〜Ａ３に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下の実施形態において説明する処理も行う。演算処理部１９はマイコン、ＤＳＰ、ＦＰＧＡなどから選択されるデジタル信号処理装置を用いて構成され、上述した処理はデジタル信号処理装置においてプログラムを実行することにより実現される。また、演算処理部１９だけではなく、発光素子１３および撮像素子１５を除く構成は、上述したデジタル信号処理装置を用いて実現可能である。デジタル信号処理装置は、１個だけ用いることが可能であるが、少なくとも距離画像センサ１０に用いる機能と、以下に説明する機能とは、異なるデジタル信号処理装置に処理を振り分けることが好ましい。また、さらに多くのデジタル信号処理装置を用いることも可能である。
【００５７】
また、上述の動作例では、４種類の受光タイミング信号を用いているが、３種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、２種類の受光タイミング信号でも位相差ψを求めることが可能である。
【００５８】
さらに、上述した動作では、１画素について１種類の受光タイミング信号に対応する電荷を蓄積しているから、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１５から取り出すために４回の蓄積期間が必要である。これに対して、１画素について２種類の受光タイミング信号に対応する電荷を蓄積すれば、撮像素子１５から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、１画素について４種類の受光タイミング信号に対応する電荷を蓄積可能に構成すれば、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。
【００５９】
上述した距離画像センサ１０は、対象空間からの光を受光するための受光素子として複数個の画素が２次元配列された撮像素子を用いているから、各画素の画素値として距離値を求めることにより距離画像が生成されることになる。すなわち、撮像素子の受光面が距離画像センサ１０の視野領域を投影する仮想の投影面になる。
【００６０】
上述した距離画像センサ１０は、対象空間に発光素子１３から投光し撮像素子１５の視野領域を対象空間として撮像するから、対象空間の形状は、距離画像センサ１０を頂点として距離画像センサ１０から離れるほど広がる形になる。たとえば、投光光学系１４および受光光学系１６がそれぞれ光軸の周りに等方的に形成されていると、対象空間の形状は、距離画像センサ１０を頂点とする角錐状になる。
【００６１】
したがって、上述した仮想の投影面に配列された画素の位置は、距離画像センサ１０から対象空間を見込む方向に対応することになり、各画素の画素値は当該方向に存在する物体までの距離を表すことになる。言い換えると、距離画像センサ１０（および画像生成手段）により生成された距離画像は、極座標系で物体の位置を表していることになる。このような距離画像を極座標系の距離画像と呼ぶことにする。
【００６２】
上述した極座標系の距離画像は、距離画像センサ１０からの距離の情報が必要であるときには利便性が高いが、対象空間である実空間の各位置との対応関係がわかりにくく、実空間に存在する物体を基準にした領域を指定するには不便である。したがって、演算処理部１９では、極座標系の距離画像から直交座標系の各座標値を有した画像を生成する座標変換を行う。以下では、座標変換を行った後の画像を座標軸別画像と呼ぶ。
【００６３】
極座標系の距離画像から座標軸別画像を生成する手順について、図４、図５を参照して説明する。極座標系の距離画像から座標軸別画像を生成するには、まず極座標系の距離画像を直交座標系であるカメラ座標系の３次元画像に変換し、この３次元画像を対象空間に規定した直交座標系であるグローバル座標系の３次元画像に変換する。グローバル座標系の３次元画像が得られると、各座標軸別画像に分解することができる。
【００６４】
極座標系の距離画像からカメラ座標系の３次元画像を生成するには、以下の演算を行う。ここに、図４に示すように、撮像素子１５の受光面における水平方向と垂直方向とをｕ方向とｖ方向とする。撮像素子１５と受光光学系１６とは、受光光学系１６の光軸１６Ａが撮像素子１５の受光面の中心位置の画素を通るように配置する。また、撮像素子１５の受光面を受光光学系１６の焦点に位置させる。この位置関係において、撮像素子１５の受光面の中心位置の画素の座標（単位は、ピクセル）を（ｕｃ，ｖｃ）、撮像素子１５の画素のｕ方向とｖ方向とのピッチ（単位は、ｍｍ）を（ｓｕ，ｓｖ）とする。さらに、受光光学系１６の焦点距離をｆ［ｍｍ］とし、撮像素子１５の受光面における各画素の座標（単位はピクセル）の位置（ｕ，ｖ）に対応する方向に存在する物体について受光光学系１６の中心から物体までの距離をｄ［ｍｍ］とする。これらの値は、距離画像センサ１０において物体までの距離ｄを各画素の位置に対応付けることにより既知の値になる。
【００６５】
物体についてカメラ座標系での座標値（Ｘ１，Ｙ１，Ｚ１）を求めると以下のようになる。座標値（Ｘ１，Ｙ１，Ｚ１）の各成分の単位はｍｍである。なお、撮像素子１５の受光面に設定した座標系の原点は矩形状である撮像素子１５の受光面の１つの角の位置とし、直交座標系の原点は受光光学系１６の中心とする。
Ｘ１＝ｕ１・ｄ／Ｒ
Ｙ１＝ｖ１・ｄ／Ｒ
Ｚ１＝ｆ・ｄ／Ｒ
ただし、
ｕ１＝ｓｕ（ｕ−ｕｃ）
ｖ１＝ｓｖ（ｖ−ｖｃ）
Ｒ＝（ｕ１２＋ｖ１２＋ｆ２）１／２
ここでは、説明を簡単にするために、受光光学系１６の光学歪みの影響は省略している。ただし、光学中心からの距離Ｒを補正する歪み補正式を用いることにより、光学歪みを補正することができる。
【００６６】
上述したように、極座標系の距離画像をカメラ座標系の３次元画像に変換した後に、グローバル座標系への座標変換を行う。距離画像センサ１０は、撮像素子１５の受光面における垂直方向（すなわち、ｖ方向）が室内の壁面５１および床面５２に平行になるように配置される。
【００６７】
いま、図５（Ａ）のように、距離画像センサ１０において受光光学系１６の光軸１６Ａの俯角をθとする。図５（Ａ）において距離画像センサ１０の視野角はφで表している。カメラ座標系からグローバル座標系への変換には、図５（Ｂ）に示すように、カメラ座標系での座標値（Ｘ１，Ｙ１，Ｚ１）に対して、Ｙ軸周りで俯角θに相当する回転を行う。これにより、図５（Ｃ）のように、室内の壁面５１および床面５２に直交する座標軸を持つグローバル座標系の３次元画像が生成される。
【００６８】
以下では、グローバル座標系での座標値を（Ｘ，Ｙ，Ｚ）とする。図示例では、壁５１に直交する方向で壁５１から離れる向きをＸ方向の正の向きとし、床５２に直交する方向の下向きをＺ方向の正の向きとする。また、座標系には右手系を用いる。俯角θに関する座標系の回転は、以下の計算により行う。
Ｘ＝Ｘ１・ｃｏｓ（９０°−θ）＋Ｚ１・ｓｉｎ（９０°−θ）
Ｙ＝Ｙ１
Ｚ＝−Ｘ１・ｓｉｎ（９０°−θ）＋Ｚ１・ｃｏｓ（９０°−θ）
座標軸別画像は、グローバル座標系にマッピングを行った画像そのものではなく、距離画像の各画素の座標位置（ｕ，ｖ）にＸ値とＹ値とＺ値とをそれぞれ個別に対応付けた画像である。すなわち、各座標位置（ｕ，ｖ）に、Ｘ（ｕ，ｖ）、Ｙ（ｕ，ｖ）、Ｚ（ｕ，ｖ）をそれぞれ対応付けた画像であり、１枚の極座標系の距離画像に対して３枚の座標軸別画像が生成される。極座標系の距離画像から座標軸別画像を得るには、上述の計算を行ってもよいが、極座標系の距離画像から座標値（Ｘ，Ｙ，Ｚ）に変換するテーブルを用意しておけば、処理負荷を軽減することができる。
【００６９】
以下では、座標軸別画像のうちＸ値を画素値とする画像をＸ画像、Ｙ値を画素値とする画像をＹ画像、Ｚ値を画素値とする画像をＺ画像と呼ぶ。したがって、座標変換を行うテーブルとしては、Ｘ画像に変換するＸ変換テーブルと、Ｙ画像に変換するＹ変換テーブルと、Ｚ画像に変換するＺ変換テーブルとの３種類が必要になる。座標軸別画像を使用する技術は後述する。
【００７０】
上述したＸ画像とＹ画像とＺ画像とは、デジタル信号処理装置のメモリに格納され、実空間である対象空間に対応する３次元の仮想空間を表している。したがって、仮想空間における条件を設定すれば、対象空間において条件を設定したことと等価になる。
【００７１】
距離画像センサ１０において生成されたＸ画像とＹ画像とＺ画像とは、行動監視処理部２０に与えられる。行動監視処理部２０は、監視する対象者４０に関してベッド３０に関連した動作を分類する。本実施形態では、病院の病室や高齢者施設や介護施設における室内に配置されたベッド３０を監視する場合を想定している。分類する動作は後述する。
【００７２】
対象者４０の行動を上述のように分類するには、ベッド３０の上における対象者４０の存否にかかわらず、ベッド３０を抽出する必要がある。また、ベッド３０の上の対象者４０を監視するために、距離画像センサ１０はベッド３０を上方から見下ろす位置に配置される。この条件を満たすために、距離画像センサ１０を天井に配置することが可能であるが、既存の室内において天井に距離画像センサ１０を設置する工事は手間がかかるという問題がある。
【００７３】
したがって、図２（Ｂ）に示すように、床に自立するスタンド３１の上端部に距離画像センサ１０を取り付けた構成を採用するか、図６に示すように、一端部を壁５１に取り付けたアーム３２の他端部に距離画像センサ１０を取り付けた構成を採用する。図２に示す構成では、キャスタ３３を備える台板３４の上に支柱板３５を取り付けたスタンド３１を備え、支柱板３５の上端部に距離画像センサ１０を取り付けてある。また、支柱板３５の中間部に、行動監視処理部２０を設けてある。
【００７４】
行動監視処理部２０は、報知部２４（図１、図３参照）を通して室内または室外に監視の内容を報知する。監視の内容を室外に報知する場合には、構内ネットワーク（ＬＡＮ）やナースコールシステム通信網を用いて通信を行う。たとえば、病院において病室にスタンド３１を設置している場合、報知部２４の通知を受ける受信装置をナースセンタに設けておくことにより、行動監視処理部２０において分類した対象者の行動をナースセンタに設けた受信装置に通知することが可能になる。以下では、ナースセンタに設けた受信装置に通知する意味で、「ナースセンタに通知する」あるいは「ナースセンタに報知する」と言う。
【００７５】
上述のようにキャスタ３３を備えたスタンド３１に、距離画像センサ１０および行動監視処理部２０を設けることによって可動式になるから、所要の場所に移動させることが可能になる。すなわち、対象者４０の行動を監視する必要がない部屋にはスタンド３１を持ち込む必要がない。また、対象者４０の行動を監視する場合でも、図２（Ａ）のように、ベッド３０のヘッドボード３６と壁面５１との間にスタンド３１を配置することができるから、配置場所が問題になることはない。
【００７６】
上述の構成から明らかなように、距離画像センサ１０はベッド３０よりも高い位置に配置される。実際には、距離画像センサ１０は、視野領域である対象空間内にベッド３０の全体が含まれる程度の高さに配置される。このような高さ位置に配置することにより、人が距離画像センサ１０に不用意に触れることを防止でき、距離画像センサ１０を人の邪魔にならないように配置することができる。たとえば、病院において対象者（患者）に処置を施す際に、スタンド３１が作業の邪魔にならない。しかも、距離画像センサ１０は、対象空間に存在する物体までの距離を非接触で検出するから、対象者の行動を妨げることがなく、また、ベッド３０の寝心地を妨げることもない。
【００７７】
距離画像センサ１０は、図２（Ａ）のように、ベッド３０を俯瞰することができるように、光軸１６Ａ（図５参照）を斜め下向きにして配置される。また、この状態において距離画像センサ１０の視野領域にベッド３０の上面の全体が含まれるように、光軸１６Ａの傾き角度（俯角θ）が設定される。ここで、光軸１６Ａが斜め下向きであることから、ベッド３０のヘッドボード側では、ベッド３０の上面までの距離は相対的に小さくなり、ベッド３０のフットボード側では、ベッド３０の上面までの距離が相対的に大きくなる。
【００７８】
以下、行動監視処理部２０について、さらに詳しく説明する。上述したように、対象者４０の行動を分類するには、距離画像センサ２０が出力した距離画像からベッド３０を抽出する必要がある。したがって、行動監視処理部２０は、距離画像に含まれる情報を用いてベッド３０を認識するベッド認識部２１を備える。また、ベッド認識部２１によりベッド３０が認識されるから、距離画像に含まれる情報とベッド３０との相対関係を用いることによって、対象空間における人の存否を認識することが可能になる。
【００７９】
行動監視処理部２０には、ベッド認識部２１が認識したベッド３０と他の物体との関係から人の存否を認識する人認識部２２が設けられる。さらに、行動監視処理部２０は、ベッド認識部２１による認識と人認識部２２による認識とを総合することにより、対象者の行動を分類し、必要に応じて行動に対する報知を行う動作判定部２３を備える。
【００８０】
ベッド認識部２１では、まず、ベッド３０の位置を認識するために、ベッド３０を平面視した場合のベッド３０の外周を検出する。一般的なベッド３０は平面視において四角形状であるから、ベッド認識部２１では、ベッド３０の４辺を抽出することにより、ベッド３０の位置を認識する。
【００８１】
ここでは、図５（Ｃ）のように、ベッド３０の長手方向が壁５１に対して直交する方向である場合を想定してベッド３０の４辺を抽出するためにＸ画像とＹ画像とを用いる。ただし、この関係は一例であって、ベッド３０を配置する向きと距離画像センサ１０との位置関係は、図５（Ｃ）の関係であることは必須ではなく、距離画像センサ１０とベッド３０との位置関係に応じて、座標の変換方法を変えることが可能である。また、必要に応じて以下に説明する条件を変更することも可能である。
【００８２】
ベッド３０の４辺を抽出するには、Ｘ画像を用いてＸ値の度数分布を求め、Ｙ画像を用いてＹ値の度数分布を求める。また、ベッド３０以外の物体領域が極力抽出されないように、Ｚ値には適宜の閾値（たとえば、床５２の高さから１５ｃｍ以上）を規定しておく。この場合、Ｘ値の度数分布は、たとえば図７（Ａ）のようになり、Ｙ値の度数分布は、たとえば図７（Ｂ）のようになる。
【００８３】
すなわち、ベッド３０の上面が平面であるとすると、ベッド３０の短手方向に同じＸ値が並び、ベッド３０の長手方向に同じＹ値が並ぶ。一方、ベッド３０の端部では度数が急に減少するから、度数を適宜の閾値Ｔｈｘ，Ｔｈｙと比較すれば、度数が閾値Ｔｈｘ，Ｔｈｙを横切るときのＸ値，Ｙ値がベッド３０の各端部の候補になると考えられる。
【００８４】
ここで、ベッド３０以外で床５２から高さを有するキャビネット、椅子、医療機器などは、その領域面積がベッド３０に比べて小さいから、ベッド３０の部分よりも度数が小さくなる（図７（Ｂ）のＹｉ未満、あるいはＹｓを超える部分を参照）。したがって、度数に対して適宜の閾値Ｔｈｘ，Ｔｈｙを設定することにより、キャビネット、椅子、医療機器などのベッド３０以外の物品を除去することができる。
【００８５】
加えて、ベッド３０の端部抽出が正しく行えたかを以下の判定にて実施する。Ｘ値については、閾値Ｔｈｘ以上である範囲をベッド３０の長手方向の寸法について設定した許容範囲と比較し、閾値Ｔｈｘ以上の範囲が許容範囲内であれば、閾値Ｔｈｘ以上の範囲の最大値Ｘｓおよび最小値Ｘｉをベッド３０の長手方向の端部の位置とする。
【００８６】
Ｙ値については、閾値Ｔｈｙ以上である範囲をベッド３０の短手方向の寸法について設定した許容範囲と比較し、閾値Ｔｈｙ以上の範囲が許容範囲内であれば、閾値Ｔｈｙ以上の範囲の最大値Ｙｓおよび最小値Ｙｉをベッド３０の短手方向の端部の位置とする。
【００８７】
許容範囲は、ベッド３０の既知の寸法に対し、適宜の幅を持たせることにより設定される。たとえば、長手方向の寸法がＬ１、短手方向の寸法がＷ１であるベッド３０に対して、長手方向については（Ｌ１±ΔＬ）を許容範囲とし、短手方向については（Ｗ１±ΔＷ）を許容範囲とすればよい。ΔＬ，ΔＷは、距離画像センサ１０の測定誤差や画素数を考慮して、たとえば１０ｃｍなどの適宜寸法に設定される。
【００８８】
さらに、後述するように、対象者４０のベッド３０に対して出入りする動作を検出する際には、Ｚ方向への平行投影画像を用いベッド３０を矩形状として扱う。そのため、ベッド３０の端部を求めた後には、ベッド３０の各辺を直線とみなし、上述のようにして求めた端部に外接する矩形の内側の領域をベッド３０の範囲内の領域とする。すなわち、長手方向と短手方向との端部に囲まれた矩形の領域をベッド３０の範囲内とする。
【００８９】
ベッド３０の端部を求める処理手順をまとめると以下のようになる。まず、Ｚ画像においてＺ値が床面に対して適宜の閾値以上となる座標位置（ｕ，ｖ）を求める。次に、求めた座標位置（ｕ，ｖ）のＸ値についてＸ画像を用いて度数分布を求め、求めた座標位置（ｕ，ｖ）のＹ値についてＹ画像から度数分布を求める。さらに、Ｘ値の度数分布を閾値Ｔｈｘと比較し、Ｙ値の度数分布を閾値Ｔｈｙと比較する。
【００９０】
その後、Ｘ値の度数が閾値Ｔｈｘ以上となる範囲（Ｘｓ−Ｘｉ）をベッド３０の長手方向の許容範囲（Ｌ１±ΔＬ）と比較し、Ｙ値の度数が閾値Ｔｈｙ以上になる範囲（Ｙｓ−Ｙｉ）をベッド３０の短手方向の許容範囲（Ｗ１±ΔＷ）と比較する。Ｘ値の度数が閾値Ｔｈｘ以上となる範囲が許容範囲（Ｌ１±ΔＬ）に含まれていれば閾値Ｔｈｘを横切るＸ値（Ｘｓ，Ｘｉ）をベッド３０の長手方向の端部のＸ座標とする。また、Ｙ値の度数が閾値Ｔｈｙ以上となる範囲が許容範囲（Ｗ１±ΔＷ）に含まれていれば閾値Ｔｈｙを横切るＹ値（Ｙｓ，Ｙｉ）をベッド３０の短手方向の端部のＹ値とする。
【００９１】
なお、上述の例では、度数が閾値Ｔｈｘ，Ｔｈｙ以上になる範囲（Ｘｓ−Ｘｉ），（Ｙｓ−Ｙｉ）を求めた後に許容範囲（Ｌ１±ΔＬ），（Ｗ１±ΔＷ）と比較しているが、以下の手順を採用してもよい。
【００９２】
まず、Ｘ値の度数分布についてＸ値を最小値から増加させる方向に変化させるとともに、度数を閾値Ｔｈｘと比較し、度数が閾値Ｔｈｘ以上になるＸ値が所定値以上連続すればベッド３０の長手方向の一方の端点とする。また、Ｘ値を最大値から減少させる方向に変化させるとともに、度数を閾値Ｔｈｘと比較し、度数が閾値Ｔｈｘ以上になるＸ値が所定値以上連続すればベッド３０の長手方向の他方の端点とする。連続の判断は、許容範囲（Ｌ１±ΔＬ）とするのが望ましいが、より小さい値を用いることも可能である。このようにしてベッド３０の長手方向の両端の位置を決定することができる。ベッド３０の短手方向の両端の位置を決定する手順も同様であり、Ｘ値に代えてＹ値を用い、閾値Ｔｈｘに代えて閾値Ｔｈｙを用いればよい。
【００９３】
上述したように、Ｚ値が規定の閾値以下（床５２から遠い）になる抽出画素が占める領域は、ベッド３０の領域に対してベッド３０付近の他の物品の領域のほうが小さくなる。この条件に基づいて、画素のＸ値，Ｙ値のそれぞれの度数を利用してベッド３０の端部を求めるので、ベッド３０付近の他の物品に影響されることなく、ベッド３０の端部を精度よく検出することができる。また、上述した処理において条件を満たす画素が存在しない場合には、距離画像センサ１０の視野領域からベッド３０がずれている可能性があるから、距離画像センサ１０の位置設定が不適切であることを報知部２４により報知するのが望ましい。
【００９４】
ところで、距離画像センサ１０の視野領域にベッド３０の各端部が含まれていても、視野領域の周部に余裕がなければ対象者４０の行動を判断することができない。そこで、距離画像センサ１０の視野領域において、ベッド３０の周囲にベッド３０以外の領域が含まれることを保証するために以下の判定を行う。
Ｘｍａｘ−Ｘｓ≧Ｍｇｘ１
Ｘｉ−Ｘｍｉｎ≧Ｍｇｘ２
Ｙｍａｘ−Ｙｓ≧Ｍｇｙ１
Ｙｉ−Ｙｍｉｎ≧Ｍｇｙ２
ここに、Ｘｍａｘは視野領域のＸ方向におけるＸ値の最大値、Ｘｍｉｎは視野領域のＸ方向におけるＸ値の最小値、Ｙｍａｘは視野領域のＹ方向におけるＹ値の最大値、Ｙｍｉｎは視野領域のＹ方向におけるＹ値の最小値である。また、ベッド３０の周囲に設定したい余裕寸法をＭｇｘ１，Ｍｇｘ２，Ｍｇｙ１，Ｍｇｙ２である。この場合、余裕寸法Ｍｇｘ１，Ｍｇｘ２，Ｍｇｙ１，Ｍｇｙ２は、室内におけるベッド３０の配置やベッド３０に対する距離画像センサ３０の配置によって異なる値になるから、図示しない設定手段により設定可能であることが望ましい。なお、本実施形態の場合、距離画像センサ１０を設けたスタンド３１をベッド３０のヘッドボードと壁面との間に配置しているから（図１参照）、ヘッドボード側の余裕寸法Ｍｇ２は必ずしも用いなくてもよい。
【００９５】
上述の判定の条件が１つでも満たされない場合には、図８のように視野範囲Ｆｖがベッド３０からずれていると判定し、距離画像センサ１０の位置設定が不適切であることを報知部２４により報知するのが望ましい。図８に示す例では、ベッド３０の長手方向の一方の端部が視野領域Ｆｖに含まれないからＸｍａｘ＝Ｘｓになり、またベッド３０の短手方向の一方の端部が視野領域Ｆｖに含まれないからＹｍｉｎ＝Ｙｉになっている。したがって、Ｘｍａｘ−Ｘｓ≧Ｍｇｘ１という条件と、Ｙｉ−Ｙｍｉｎ≧Ｍｇｙ２という条件が満たされないことになる。このような判断を行うことにより、ベッド３０に対する対象者４０の出入りの行動を監視することが可能になる。
【００９６】
上述のようにベッド認識部２１においてベッド３０の位置が認識されると、次に、ベッド３０の上面の位置を検出する。以下では、ベッド３０の上面をベッド面と呼ぶ。ベッド面の高さを検出するにあたっては、ベッド３０の上に対象者４０に寝ている状態（この状態を「臥床」という）を想定する。対象者４０が臥床している状態では、ベッド３０の上に対象者４０および掛け布団のような寝具が載っている。上述したグローバル座標系では、実空間の下向きをＺ軸の正の向きにとっているが、実空間について高さに関する説明を行う場合には、上向きを値が増加する向きにとる。すなわち、Ｚ方向においてＺ値が増加する向きを、高さ方向において高さが減少する向きとして扱う。
【００９７】
ベッド認識部２１では、図９（Ａ）のように、ベッド３０の範囲内を長手方向において規定個数（たとえば、１０）の分割領域３７に分割する。分割領域３７の個数はベッド３０の長手方向の寸法にもよるが、１つの分割領域３７が１０〜２０ｃｍ程度の幅になるように個数を定める。次に各分割領域３７の高さに関する代表値を求める。代表値には、平均値と最頻値とのいずれかを用いればよい。
【００９８】
平均値を用いる場合は、Ｚ画像から各分割領域３７に属する位置（ｕ，ｖ）を求め、分割領域３７ごとのＺ値の平均値を求める。一方、最頻値を用いる場合には、Ｚ画像について各分割領域３７に属する位置（ｕ，ｖ）を求め、分割領域３７ごとのＺ値の度数分布を求め、さらに、求めた度数分布から最頻値を求める。分割領域３７の場所にもよるが、この度数分布では、ベッド面の度数あるいは寝具の上面の度数が高くなり、ついで対象者４０に相当する度数が高くなると考えられる。これは、ベッド３０の上で、ベッド面あるいは寝具の占める領域（面積）のほうが対象者４０の占める領域よりも大きいという知見に基づいている。
【００９９】
各分割領域３７から上述のようにして高さに関する代表値を求めると、図９（Ｂ）の実線のように代表値Ｖｔが分布することになる。また、代表値Ｖｔから人の厚みを考慮したオフセット値を減算して（Ｚ値の場合は加算して）ベッド面の高さとして用いる。人の厚みは、個人差があるが、たとえば２０ｃｍなどの値を用い、その半分の値をオフセット値に用いる。オフセット値については、特段の条件はないから、代表値からオフセット値を減算した値が多くの分割領域３７においてベッド面の高さとなるように適宜に設定する。図９（Ｂ）の破線は、代表値Ｖｔからオフセット値を減算した値の例を示している。このようにして分割領域３７ごとに求めたベッド面の高さが、分割領域３７ごとの基準の高さになる。
【０１００】
以後の処理では、分割領域３７ごとのベッド面の集合を、ベッド３０の全体におけるベッド面として扱う。また、ベッド３０の全体ではなく長手方向に分割した分割領域３７を用いるから、ベッド３０がリクライニング式であってベッド面が平面ではない場合にも、ベッド３０の部分ごとに求めたベッド面を用いることにより、対象者４０と分離することが可能になる。
【０１０１】
ところで、上述した例では、ベッド３０の上の対象者４０が臥床の状態である場合を想定してベッド面の高さを求めているが、図１０のように、対象者４０がベッド３０の上で起き上がっている場合、上述のようにして求めたベッド面の高さ（図１０においてＶｈで表している）は適切と言えない。したがって、分割領域３７ごとに高さに上限値を設け、ベッド面の高さＶｈとして求めた値が上限値を超える場合には、ベッド面Ｖｈの高さとして採用できないことを報知部２４により報知する。
【０１０２】
ここに、ベッド３０におけるベッド面の計測は、システムの使用開始を指示した直後に行われるので、報知部２４から報知することによって、適切な対応を行うことが可能になる。なお、システムの使用開始の指示は、運転開始のスイッチ（図示せず）を投入する操作などを意味する。また、適切な対応とは、対象者４０を正しい位置で臥床の状態にした後、システムの使用開始の指示を再度与えることを意味している。
【０１０３】
上述したベッド３０は、ベッド面の高さが固定である場合を想定しているが、看護や介護の作業を容易にするために、ベッド面の高さを変更することができる昇降式のベッド３０も提供されている。昇降式のベッド３０では、看護や介護の作業後にベッド面を下げるのを忘れていると、ベッド面が通常よりも高くなるから、対象者４０がベッド３０から離床する際には足が床に届きにくくなり、対象者４０がベッド３０から落下したときには衝撃が大きくなる。したがって、作業後にはベッド面を必ず下げる必要がある。
【０１０４】
ベッド３０が昇降式である場合には、図１１のように、看護や介護の作業中にはベッド面の下限が所定の高さ閾値Ｔｈｈを超えると考えられるから、高さ閾値Ｔｈｈを適宜に設定することにより、ベッド面が上昇していることを検出することができる。すなわち、すべての分割領域３７について求めたベッド面の高さが、高さ閾値Ｔｈｈを超えている場合には、ベッド面が上昇したままであると判断して報知部２４から報知する。
【０１０５】
ここにおいて、介護や看護の作業中には、対象者４０の監視は不要であるから、システムの動作を一旦停止させ、作業の終了後にシステムの動作を再開する。したがって、作業の終了後に、システムの動作を再開する指示を与えたときに、ベッド面の高さの異常が報知されることになり、ベッド面の下げ忘れを防止することができる。
【０１０６】
また、図１２のように、ベッド３０の上にテーブル３８を出した場合に、テーブル３８をしまい忘れる場合がある。これに対して、テーブル３８に相当する分割領域３７において高さ閾値Ｔｈｈをテーブル３８の高さが検出できるように設定しておけば、テーブル３８のしまい忘れを報知部２４により報知することが可能になる。
【０１０７】
ベッド３０の下げ忘れとテーブル３８のしまい忘れとの両方を検出する場合には、高さ閾値Ｔｈｈを適宜に定めるとともに、所定個数以上の分割領域３７において高さ閾値Ｔｈｈを超える場合に、報知部２４から報知するようにしてもよい。高さ閾値Ｔｈｈを用いた判定は、ベッド面の計測と同様に、システムの使用開始を開始する指示の直後に行われるから、問題が生じていれば報知部２４からただちに報知される。したがって、ベッド３０を下げたり、テーブル３８を片付けたりするような適正な対応が可能になる。その後は、システムの使用開始の指示を再度与えればよい。
【０１０８】
ベッド３０がリクライニングの機能を備え、図１３のように、対象者４０の上半身を起こすことができる場合には、高さ閾値Ｔｈｈによる判定を下半身側の複数個（図示例では５個）の分割領域３７においてのみ行えばよい。距離画像内でのベッド３０の位置は既知であるから、たとえば、（Ｘｓ＋Ｘｉ）／２よりもＸ値が大きくなる分割領域３７についてのみ高さ閾値Ｔｈｈによる判定を行えばよい。このように高さ閾値Ｔｈｈによる判定を行う範囲を、定式化して自動的に決定することができるから、人手による調整作業が不要である。
【０１０９】
ところで、ベッド３０の周辺には、様々な装置が配置されることがあり、たとえば、図１４に示すように、ベッド３０の上方に対象者４０ではない物体４１が重なって配置されていることがある。この種の物体４１としては、たとえば、照明スタンド、モニタ装置、種々の医療装置がある。
【０１１０】
このような物体４１がベッド３０に重なっている場合、対象者４０を検知する領域から除外する必要がある。そのため、看護師あるいは介護士が装置を起動させ、ベッド３０の位置をベッド認識部２１に認識させる際に、物体４１の領域をベッド３０の領域から除外する処理も行うことが好ましい。すなわち、距離画像センサ１０の視野において、ベッド３０に物体４１が重複している領域を、図１５のように、マスク領域４２として除外した状態で記憶しておけばよい。マスク領域４２は、人認識部２２が対象者４０を認識する際には、ベッド３０の範囲外の領域として扱うことになり、物体４１を対象者４０と誤認するのを防止できる。
【０１１１】
マスク領域４２は、ベッド認識部２１がベッド３０の位置を抽出した直後に設定する。すなわち、ベッド認識部２１は、看護師あるいは介護士が装置を操作することにより、ベッド３０の位置を認識した直後にマスク領域４２の有無を判断する処理を行う。ベッド認識部２１は、図１６に示すように、ベッド３０の範囲内であって分割領域３７ごとに求めた基準の高さ（ベッド面の高さ）に対して規定の除外閾値よりも上方に物体４１が存在するとき、その物体４１の存在範囲をマスク領域４２とする。除外閾値は、実状に即して適宜に設定される。このようにして設定されたマスク領域４２は、対象者４０を認識する際に除外される領域として扱うためにベッド認識部２１において記憶される。
【０１１２】
上述の動作では、分割領域３７ごとの基準の高さとしてベッド面の高さを用いているが、ベッド認識部２１にベッド３０の位置を認識させるときには、対象者４０がベッド３０に存在するから、後述する臥床検知面Ｐｄ（図１７参照）を基準の高さに用いることが好ましい。臥床検知面Ｐｄは、対象者４０がベッド３０の上で対象者４０が仰臥している状態における基準の高さである。このように、基準の高さとして臥床検知面Ｐｄを用いると、対象者４０の存在する領域をマスク領域４２と誤認するのを防止できる。ただし、臥床検知面Ｐｄをベッド面から一定高さに規定している場合は、臥床検知面Ｐｄを基準の高さに用いることと、ベッド面を基準の高さに用いることとは等価である。
【０１１３】
なお、マスク領域４２については大きさを評価し、規定した閾値を超える大きさのマスク領域４２が存在する場合には、テーブルなどが置かれた状態と判断する。この場合、対象者４０を認識する際の信頼性を保つことができず、また、対象者４０が物体４１に接触する可能性があるから、マスク領域４２を設定する代わりに物体４１の設置不良として報知部２４から報知することが好ましい。
【０１１４】
以下では、人認識部２２により対象者４０を認識する技術について説明する。上述したように、ベッド認識部２１ではベッド面を検出しているから、人認識部２２はベッド面を基準に用いて複数段階の検知面を設定する。ここでは、ベッド３０の上での状態として、臥床の状態、上半身を起こした起き上がりの状態、立ち上がった起立の状態の３状態を想定する。それぞれの状態を検出するには、図１７のように、ベッド面Ｐｂとして規定される分割領域３７ごとの高さを基準に用いて、臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓを設定する。
【０１１５】
臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓは、それぞれベッド面ＰｂをＺ方向に所定量だけ変位させて設定してある。すなわち、ベッド面Ｐｂは、分割領域３７ごとにＺ値が定められているから、臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓも分割領域３７ごとに上方に所定距離だけ離間させて定められる。また、臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓの順にベッド面Ｐｂからの距離が大きくなる。一例を示すと、臥床検知面Ｐｄをベッド面Ｐｂから１０ｃｍ上方、起き上がり検知面Ｐｒをベッド面Ｐｂから３０ｃｍ上方、起立検知面Ｐｓをベッド面Ｐｂから６０ｃｍ上方などに設定する。臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓは、ベッド３０の上での人の位置を検出するための閾値として用いる。
【０１１６】
人認識部２２では、ベッド３０の領域内において、臥床検知面Ｐｄよりも上方に物体が存在し、起き上がり検知面Ｐｒよりも上方に物体が存在しなければ、対象者４０が臥床の状態であると判定する。また、起き上がり検知面Ｐｒよりも上方に物体が存在し、起立検知面Ｐｓよりも上方に物体が存在しなければ、対象者４０が上半身を起こした起き上がりの状態と判定する。起き上がり検知面Ｐｒはベッド面の上方に設定されるから、適正な起き上がり検知面Ｐｒを設定しておけば、寝返りや布団の浮き上がりを起き上がりと判定する誤検知はほとんど生じない。また、起立検知面Ｐｓよりも上方に物体が存在する場合には、対象者４０がベッド３０の上で立ち上がっていると判断される。
【０１１７】
上述のように、人認識部２２では、ベッド面Ｐｂを基準に設定した検知面を用いて対象者４０の状態を検知している。この処理は、たとえば、ベッド３０に対象者４０が居ない状態での画像との差分画像を用いる場合に比較すると処理が単純である上に、背景画像を撮像する手間もかからないという利点がある。また、差分画像を用いた場合に、布団などの物体も差分として検出されるから、対象者４０との区別が困難であるが、検知面を用いて対象者４０の状態を判定すれば、この問題は生じない。
【０１１８】
上述の例では、３状態を区別して検出するために、ベッド面Ｐｂの上に３段階の検知面を設定しているが、検知面を３段階に設定することは必須ではなく、１段階または２段階に設定することや、４段階以上の検知面を設定することも可能である。たとえば、システムの使用開始の状態を臥床の状態とする場合には、臥床の状態は必ずしも検知しなくてもよい。すなわち、臥床ではない状態、すなわち、起き上がりの状態や起立の状態を検出できればよく、この場合には２段階の検知面を設定すればよいことになる。
【０１１９】
また、上述の動作において、検知面に対する物体の高さ位置のみを用いているが、検知面によって切り取った面積を用いることにより、物体の大きさも併せて判断してもよい。たとえば、臥床の状態では、Ｚ画像内において臥床検知面Ｐｄで切り取られる面積は、起き上がり検知面Ｐｒと起立検知面Ｐｓで切り取られる面積よりも大きい。また、起き上がりの状態では臥床の状態に比較すると、Ｚ画像内において臥床検知面Ｐｄで切り取られる面積が小さくなり、起き上がり検知面Ｐｒで切り取られる面積が増加する。このような面積の関係を用いることにより、対象者４０の状態（姿勢）をより正確に把握することが可能になる。
【０１２０】
たとえば、ベッド３０の範囲内において、起き上がり検知面Ｐｒで切り取る面積について、臥床検知面Ｐｄで切り取る面積に対する比率が所定の閾値以上であれば、起き上がりの状態と判定すればよい。この閾値を適正に設定すれば、対象者４０が腕を伸ばして伸びをすることにより起き上がり検知面Ｐｒを腕が横切ったとしても、上記比率が閾値よりも小さくなるから、起き上がりの状態として検出されるのを防止することができる。
【０１２１】
たとえば、図１８（Ａ）、図１９（Ａ）の白抜きの領域は、それぞれ臥床検知面Ｐｄにおいて対象者４０の存在する領域を示し、図１８（Ｂ）、図１９（Ｂ）の白抜きの領域は、それぞれ起き上がり検知面Ｐｒにおいて対象者４０の存在する領域を示している。図１８、図１９において、（Ａ）図での白抜きの領域の面積をＥ１、（Ｂ）図での白抜きの領域の面積をＥ２として、比率Ｅ２／Ｅ１を求め、この比率Ｅ２／Ｅ１を適宜の閾値と比較すると、起き上がりの状態（図１８）とそれ以外の状態（図１９）とを区別することができる。
【０１２２】
同様にして、ベッド３０の範囲内において、起立検知面Ｐｓで切り取る面積について、臥床検知面Ｐｄで切り取る面積に対する比率が所定の閾値以上であれば、対象者４０がベッド３０の上で立ち上がっている起立の状態と判定する。対象者４０が起き上がりの状態において起立検知面Ｐｓを超える部分があったとしても、起立している状態に比べると、起立検知面Ｐｓを横切る面積は小さいと考えられるから、起立の状態と起き上がりの状態とを区別することができる。
【０１２３】
たとえば、図２０（Ａ）、図２１（Ａ）の白抜きの領域は、それぞれ臥床検知面Ｐｄにおいて対象者４０の存在する領域を示し、図２０（Ｃ）、図２１（Ｃ）の白抜きの領域は、起立検知面Ｐｓにおいて対象者４０の存在する領域を示している。なお、図示例では、図２０（Ｃ）において白抜きの領域はなく、対象者４０は存在しない。また、図２０（Ｂ）、図２１（Ｂ）の白抜きの領域は、起き上がり検知面Ｐｒにおいて対象者４０が存在する領域を示している。ここで、図２０、図２１において、（Ａ）図での白抜きの領域の面積をＥ１、（Ｃ）図での白抜きの領域の面積をＥ３として、比率Ｅ３／Ｅ１を求め、この比率Ｅ３／Ｅ１を適宜の閾値と比較すると、起き上がりの状態（図２０）と起立の状態（図２１）とを区別することができる。
【０１２４】
ところで、ベッド３０の範囲内の人の状態（姿勢）ではなく、ベッド３０の範囲外の人の状態は床面の高さを基準に用いて検出することができる。すなわち、図２２に示すように、床５２からの高さにより倒れ閾値Ｔｈｆを定めておき、Ｚ画像においてベッド３０の範囲外となる画素が倒れ閾値Ｔｈｆよりも大きいＺ値を持つときに、対象者４０の少なくとも一部がベッド３０の範囲外に出ていると判定することができる。倒れ閾値Ｔｈｆは、床５２よりも高いがベッド面Ｐｂよりも低い値に設定する。たとえば、床５２から１０ｃｍに設定すればよい。
【０１２５】
上述の処理では、ベッド３０の範囲外に出ていることを倒れ閾値Ｔｈｆのみで判定しているが、ベッド３０の範囲外では差分画像を併せて用いることにより対象者４０がベッド３０の範囲外に出ていることを検知してもよい。これには、システムの使用開始時に撮像した距離画像から得られたＺ画像を背景画像として記憶しておき、その後に得られるＺ画像を背景画像から減算した差分画像を二値化する。
【０１２６】
システムの使用開始時に、対象者４０は臥床の状態であるからベッド３０の範囲外には存在していない。そのため、背景画像においてベッド３０の範囲外には物体は存在しない。これに対して、対象者４０がベッド３０の範囲外に出た状態のＺ画像を背景画像から減算した画像では、ベッド３０の範囲外に物体が存在している。したがって、差分画像を二値化した画像においてベッド３０の範囲外の領域において変化した領域の面積（画素数）を規定の閾値と比較し、面積が閾値以上であると、対象者４０がベッド３０の範囲外に出たと判定することができる。差分画像においてベッド３０の範囲外の値は、実質的に床５２からの高さに相当するから、二値化の閾値は倒れ閾値Ｔｈｆを用いればよい。
【０１２７】
また、システムの使用開始を指示する際に、使用開始を指示する看護師あるいは介護士は、ヘッドボードの近傍の領域に存在すると考えられる。ただし、この領域は対象者４０を検出する領域外であり、また、差分画像を二値化したときには床５２とともに除去されるので、背景画像に含めても問題は生じない。
【０１２８】
上述したように、ベッド認識部２１によりベッド３０の位置が認識され、人認識部２２によりベッド３０に対する対象者４０の姿勢が検出される。すなわち、ベッド３０と対象者４０とが分離されるから、次に、動作判定部２３において、対象者４０の動作が分類される。
【０１２９】
分類する動作としては、対象者４０がベッド３０の端部に腰を掛けている状態（以下、「腰掛け」という）がある。「腰掛け」は、ベッド３０の４辺のいずれかについて、ベッド３０の範囲内と範囲外との領域に対象者４０が跨って存在している状態として検出する。ベッド認識部２１では、ベッド３０の範囲内と範囲外との領域を分離することができ、人認識部２３では、ベッド３０の範囲内と範囲外との領域における人の存在を検出することができる。
【０１３０】
このことを利用して、ベッド３０の範囲内と範囲外とにおいて人の存在領域が連続ないし近接している場合に、同一の人がベッド３０の端部に「交差」していると判断する。そして、この場合を「腰掛け」と判定する。ここに、「近接」は、ベッド３０の範囲内と範囲外とにおける人の存在領域の輪郭線間の距離を求め、求めた距離が規定した範囲内であることを意味する。輪郭線間の距離はベッド３０の着目している辺に直交する方向の複数本の直線上で求めた平均値を用いればよい。
【０１３１】
また、ベッド３０の範囲内と範囲外とに占める人の面積の全体に対して、ベッド３０の範囲外に占める人の面積の比率を求める。この比率について適宜の基準範囲を設定し、比率が基準範囲内であれば「腰掛け」と判定してもよい。この場合、対象者４０の体型などに応じて「腰掛け」の判定精度を高めるように、面積の比率に対する基準範囲を調節することが可能である。
【０１３２】
さらに、上述した両者の判定を組み合わせることによって、「腰掛け」と判定することも可能である。すなわち、交差している状態において、面積の比率を判定すれば、ベッド３０の範囲内と範囲外とにおいて検出された人が対象者４０である可能性が高くなり、判定の信頼度が向上する。
【０１３３】
ところで、ベッド３０には落下防止用の柵を設けている場合がある。とくに、ベッド３０から落下する可能性が高い対象者４０に対しては柵を設けることが必要になる。このような柵を設けている場合であっても、ベッド３０に出入りするためにベッド３０の少なくとも１箇所には柵のない出入口を設けることになる。
【０１３４】
このように柵を設けている場合には、Ｚ画像において出入口の位置を図示しない入力装置によってあらかじめ登録しておく。ベッド３０に対する柵の取付位置は、複数箇所（たとえば、６箇所）から選択することが多いから、入力装置としてはディップスイッチなどを用いて柵の取付位置を選択する構成を採用すればよい。
【０１３５】
入力装置により登録された出入口以外の領域において上述した「交差」が検出された場合には、柵を乗り越えている状態（以下、「乗り越え」という）と判定する。
【０１３６】
「乗り越え」の判定には、上述した「腰掛け」と同様に、ベッド３０の範囲内と範囲外とに占める面積を用いることもできる。すなわち、出入口以外の場所で、ベッド３０の範囲内と範囲外とに占める人の面積の全体に対して、ベッド３０の範囲外に占める人の面積の比率を求める。この比率について適宜の基準範囲を設定し、比率が基準範囲を超えていると「乗り越え」と判定する。この場合、基準範囲を適宜に設定しておけば、柵の外に腕を投げ出している状態と「乗り越え」とを区別することが可能になる。
【０１３７】
動作判定部２３においては、対象者４０が「離床」の初期行動として、ベッド３０から腰を上げてベッド３０から離れたときの動作（以下、「離床初期」という）を検出することも可能である。この場合、ベッド３０の範囲内と範囲外との領域に占める人の面積を用い、「腰掛け」や「乗り越え」と同様に、ベッド３０の範囲内と範囲外とに占める人の面積の合計を人の全体の面積とする。人の全体の面積に対するベッド３０の範囲外における人の面積の比率を求め、この値が１に近い値になる場合（つまり、ベッド３０の範囲内では人が検出されないか、検出されても微小である場合）、「離床初期」と判定する。言い換えると、１に近い基準範囲を設定し、前記比率が基準範囲を超えるときに「離床初期」と判定する。
【０１３８】
「離床初期」を検出することにより、対象者４０を追跡することなく離床の初期段階を検出することが可能になる。対象者４０を追跡する技術を用いると、何らかの原因で追跡が途切れることがあるが、上述の技術により、時間経過に関係なく「離床初期」を検出することが可能になる。
【０１３９】
ところで、ベッド３０から対象者４０が落下した場合、あるいはベッド３０から対象者４０が離床しようとして転倒した場合には、ただちに報知する必要がある。以下では、これらの状態をまとめて「転倒」という。動作判定部２３では、「転倒」を検出する際に、状態が継続している時間を計測する。すなわち、ベッド３０の範囲外においてのみ、床５２から規定の高さ（たとえば、３０ｃｍ）以下の物体が検出されている場合に、当該物体を人と判定する。動作判定部２３では、人が検出されている状態が規定した判定時間に達するまで継続しているときに「転倒」と判定する。判定時間は、たとえば１０秒程度に設定すればよい。
【０１４０】
上述した「腰掛け」「乗り越え」「離床初期」「転倒」は、時間経過とは無関係に特定の状態に着目して判定しているが、対象者４０の行動履歴を追跡すれば、判定精度をさらに高めることができる。すなわち、動作判定部２３において、人認識部２２で検出された対象者４０が占める領域の代表点（たとえば、重心）の位置を追跡する。
【０１４１】
ここに、人認識部２２では、対象者４０について、ベッド３０の範囲内での臥床、起き上がり、立ち上がりの各状態を検知面を用いて判定し、またベッド３０の範囲外における存在を検知面に相当する倒れ閾値Ｔｈｆを用いて判定している。したがって、各検知面で切り取ることにより得られた対象者４０の存在領域については、ベッド３０の範囲内と範囲外とにおいてそれぞれ重心を求めることが可能である。ただし、対象者４０が占める領域は３次元で検出して重心を求めてもよく、また、ベッド３０の範囲内と範囲外とにおいてＸ値の最頻値とＹ値の最頻値とを、それぞれ追跡する代表点のＸ値とＹ値とに用いることも可能である。
【０１４２】
ベッド３０の範囲内と範囲外との人の領域を統合して人の位置を判断している場合に、規定した時間内における代表点の移動距離を適宜の閾値と比較すれば、代表点の位置移動が連続的に生じているか否かを判断することができる。したがって、連続性のない位置移動であればノイズとして排除することができる。このように対象者４０の代表点の位置を追跡すれば、対象者４０の身体の一部分の移動や寝具の移動のように、対象者４０の移動ではないノイズを排除することが可能になる。
【０１４３】
さらに、対象者４０の代表点は、ベッド３０の範囲内を起点としているから、代表点のが、ベッド３０の範囲内に存在する状態からベッド３０の端部に移動し、さらにベッド３０の範囲外に出るという移動経路を辿る場合に、離床と判断することができる。この条件を付加することによって、ベッド３０の範囲外を起点とする移動経路は、対象者４０ではない人（たとえば、看護師、介護士、見舞客など）によると判定することが可能になる。すなわち、ベッド３０の範囲外を起点とした移動経路を追跡している場合には、動作判定部２３では、離床と判定しないようにする。
【０１４４】
ただし、対象者４０が離床の後にベッド３０に戻るという動作では、対象者４０がベッド３０に戻ったことを検出する必要がある。そこで、ベッド３０の範囲外を起点とする移動経路で代表点がベッド３０の範囲内に達した後、ベッド３０の範囲内に存在する状態か「腰掛け」の状態が継続する時間が規定時間に達したことをもってベッド３０に戻ったと判定する。この判定後は、対象者４０の移動経路を追跡する際の起点をベッド３０の範囲内に更新する。すなわち、対象者４０がベッド３０に戻れば、自動的に初期の状態に復帰させることが可能になる。
【０１４５】
ところで、上述のような検知対象か検知対象外かを自動判断する技術は、装置を使用する環境や対象者４０によっては不要であることもある。このような場合に備えて、検知対象か検知対象外かの自動判断を行うか行わないかの選択を可能にしておくのが望ましい。また、検知対象外の物体を追跡した場合、自動的に検知対象外と確定して報知をまったく行わないようにするのではなく、装置側で確認の報知を行ってから所定時間内に報知の解除が行われなければ、他装置に離床の報知を行うようにしてもよい。
【０１４６】
報知部２４は、行動監視処理部２０で検出した対象者４０の動作に応じた報知を行う。ここに、報知部２４は、対象者４０に合わせて、対象者４０のどの動作に対してどのように報知するかを設定する機能を有している。たとえば、対象者４０が患者や高齢者であると、起き上がりの状態や腰掛けの状態であっても看護師や介護士に報知しなければならない場合もある。
【０１４７】
本実施形態の構成では、距離画像センサ１０を用いて対象者４０を撮像するだけで、対象者４０の各種動作を判別することができる。しかも、どの動作に対して報知を行うかも任意に設定することが可能になる。どの動作で報知を行うかは、報知部２４にディップスイッチなどを設けて選択すればよい。
【０１４８】
報知部２４は、ベッド３０を設けた部屋に配置することができるが、ナースセンタに報知することが望ましい。たとえば、報知部２４において、ナースコールボタンと分岐して用いる接点出力を発生させる機能を設けておけば、ナースコールボタンを押さないかもしくは押せない患者でも離床を知らせることが可能である。
【０１４９】
報知部２４は、ナースコールボタンのような操作装置と関連付けて動作させてもよい。すなわち、報知部２４において、動作判定部２３の判定結果に加えて人が操作する操作装置からの入力を受け付けるようにしてもよい。この場合、動作判定部２３による判定結果と操作装置による入力との組み合わせにより、動作判定部２３による判定結果の報知の有無を切り換える。
【０１５０】
たとえば、絶対安静など静止状態が要求されている対象者４０には、対象者４０が移動したことが動作判定部２３に検出されたときと、ナースコールボタンが押されたときとの論理和で、報知部２４がナースセンタに報知する動作を選択すればよい。また、移動が許容されている対象者４０には、対象者４０が移動したことが動作判定部２３に検出された時点ではナースセンタに報知せずに仮報知状態とする動作を選択すればよい。この場合、報知部２４は、仮報知状態から所定時間内にナースコールボタンが押されると仮報知状態を解除して元の状態に復帰し、仮報知状態から所定時間内にナースコールボタンが押されないとナースセンタに報知する動作を行う。
【０１５１】
上述のように、報知部２４において、距離画像に基づく判定結果だけではなく、ナースコールボタンのような操作装置からの入力を併せて用いることにより、対象者４０の動作に応じた望ましい報知が可能になる。ここに、操作装置は、ナースコールボタンに限定されず、後述するように、ベッドサイド端末のタッチパネルなどであってもよい。
【０１５２】
また、建物内に敷設したナースコール通信網や構内ネットワーク（ＬＡＮ）などによる通信機能を報知部２４に設け、行動監視処理部２０の判定結果をナースセンタに通知すれば、対象者４０の動作の内容を遠隔監視することが可能になる。この場合、対象者４０の各種動作状態のすべてを状態信号として出力し、報知受け側の機器（ナースコール親機など）で所望動作のみを知らせるようにマスクしてもよい。また、ナースコール親機と連動した構内ＰＨＳ交換機や情報端末向け無線送信機などに対象者４０の動作状態情報を重畳させることで、ＰＨＳやページャなどを用いて看護師や介護士がナースセンタに居なくても対象者４０の行動を把握し、迅速な対応をとることが可能になる。
【０１５３】
本実施形態で用いる距離画像センサ１０は、上述したように、強度変調光を投光するとともに、強度変調光を変調信号に同期する複数の受光タイミングで受光したときの受光量を用いて距離画像を生成している。したがって、受光量を平均化するか、特定の受光タイミングの受光量を用いると濃淡画像を得ることが可能である。
【０１５４】
さらに、発光素子１３から強度変調光を投光して撮像素子１５により撮像する期間と、発光素子１３から強度変調光を投光せずに撮像素子１５により撮像する期間とを設け、両期間の受光量を用いて環境光の成分を除去した濃淡画像を得ることも可能である。環境光の成分を除去した濃淡画像では、強度変調光が照射された物体のみを撮像することができ、しかも強度変調光に近赤外線を用いることにより、対象者４０の就寝を妨げず、かつ夜間においても暗視が可能になる。
【０１５５】
したがって、行動監視処理部２０により判別された動作について、目視による確認が必要な場合には、濃淡画像に切り替える機能を設けてもよい。ここに、濃淡画像は、行動監視処理部２０により判別された動作に対して報知がなされた時点以降について表示してもよいが、所定時間分ずつの濃淡画像を記憶する機能を報知部２４に設けておき、報知の時点から遡って濃淡画像を表示してもよい。このような機能を設けると、動作の通知が行われるだけではなく、動作の内容を看護師や介護士が目視して確認できるから、より適切な対応をとることができる。
【０１５６】
ただし、この機能は、看護や介護に必要であって対象者４０あるいは家族の同意が得られる場合には利用することが可能である。また、顔が見えることが問題である場合には、顔の部分を検出する機能を設けておき、デジタル処理によって顔の部分にマスクをかけることにより、顔の表示を禁止してもよい。これらの動作は、濃淡画像を距離画像に読み替えてもよい。また、距離画像と濃淡画像との両方を用いてもよい。すなわち、以下の説明において、濃淡画像について説明する記憶や伝送の処理は、距離画像と濃淡画像との少なくとも一方について行うことが可能である。距離画像は、対象者４０の行動を把握するための情報量は十分であるが、個人を特定するための情報量が少ないから、プライバシを保護する上では濃淡画像よりも優れている。
【０１５７】
濃淡画像を記憶する場合の動作について、さらに詳しく説明する。報知部２４は、図２３に示すように、濃淡画像を記憶する画像記憶部２４１と、画像を他装置に伝送する通信処理部２４２とを備える。画像記憶部２４１は、距離画像センサ１０から出力される最新の一定時間（たとえば、３０秒）の濃淡画像を動画（たとえば、３０フレーム／秒）として記憶する。すなわち、画像記憶部２４１は、リングバッファのように記憶する濃淡画像を次々に更新する機能を有する。また、通信処理部２４２は、画像記憶部２４１に記憶している濃淡画像と、距離画像センサ１０から出力されている濃淡画像とを選択して他装置に伝送する。ここに、他装置は、ナースセンタに設けた受信装置などを想定している。
【０１５８】
通信処理部２４２がナースセンタに濃淡画像を伝送するタイミングは、動作判定部２３の出力内容で決定される。動作判定部２３は、人の特定の動作を検知する特定動作検知部２３１を備えており、特定動作検知部２３１が検知する動作は、離床や転倒などである。特定動作検知部２３１が、距離画像に基づいて定められた特定の動作を検知すると、報知部２４は、動作が検知された時点の前後の所定期間（たとえば、前後に３０秒ずつで１分間）における濃淡画像を画像記憶部２４１から読み出して通信処理部２４２から他装置に伝送する。ここに、報知部２４は、必要に応じて距離画像センサ１０から出力されている濃淡画像も併せて他装置に伝送することができる。
【０１５９】
このような動作によって、ナースセンタに設けた受信装置のような他装置において、対象者４０が特定の行動を行った前後の動きを確認することができる。すなわち、病室に出向かなくとも、対象者４０の特定の行動を確認することが可能になる。
【０１６０】
上述の動作では、報知部２４は、濃淡画像を他装置に伝送する通信処理部２４２を備えているが、図２４に示すように、通信処理部２４２に代えて、所定期間における濃淡画像を記憶する着目画像記憶部２４３を備えていてもよい。着目画像記憶部２４３は、特定動作検知部２３１が定められた特定の動作を検知したことを契機とし、検知時点の前後の所定期間における濃淡画像を記憶する。着目画像記憶部２４３に記憶する濃淡画像は、画像記憶部２４１に記憶されている濃淡画像と、距離画像センサ１０から出力されている濃淡画像とを用いる。すなわち、着目画像記憶部２４３が記憶する濃淡画像のうち、動作の検知時点よりも前の濃淡画像は画像記憶部２４１から転送させ、動作の検知時点よりも後の濃淡画像は距離画像センサ１０から出力されている濃淡画像を用いる。
【０１６１】
上述のように、着目画像記憶部２４３は、対象者４０が特定の動作を行った前後の所定期間における濃淡画像を保存するから、対象者４０の動作の前後の行動を事後に確認することができる。この構成では、報知部２４において濃淡画像を記憶し、個人のプライバシにかかわる濃淡画像を他装置に伝送しないから、セキュリティを確保しやすくなる。セキュリティをより高めるには、着目画像記憶部２４３に記憶させる濃淡画像を暗号化すればよい。
【０１６２】
着目画像記憶部２４３に記憶させる濃淡画像には、記憶した日時を対応付けておくことが好ましい。また、着目画像記憶部２４３は、フラッシュメモリあるいはハードディスク装置のように記憶容量の大きい記憶装置を用い、さらに、装置に対して着脱可能な可搬型であることが好ましい。この場合、着目画像記憶部２４３を装置から分離して回収し、複数の対象者４０の特定の動作と、当該動作の前後の行動との関係を一括して分析することが可能になる。
【０１６３】
さらに、図２５に示すように、報知部２４に、上述した画像記憶部２４１と通信処理部２４２と着目画像記憶部２４３とを設けてもよい。この構成を採用する場合、特定動作検知部２３１が特定の動作を検知したときに、検知時点の前後の所定期間における濃淡画像を他装置にただちに伝送するのではなく、着目画像記憶部２４３が濃淡画像を一旦記憶させる。このとき、通信処理部２４２は、特定動作検知部２３１が特定の動作を検知したことのみを他装置に通知する。
【０１６４】
この動作では、他装置から濃淡画像の伝送が要求されると、着目画像記憶部２４３に記憶されている濃淡画像を読み出し、通信処理部２４２を通して他装置に濃淡画像を伝送する。また、通信処理部２４２が濃淡画像の伝送を行わない構成であってもよい。報知部２４が、他装置からの要求に対して着目画像記憶部２４３から濃淡画像を読み出し、読み出した濃淡画像を他装置に転送する構成では、すべての濃淡画像を他装置に伝送する場合に比較して、通信トラフィックを低減させることになる。すなわち、他装置では、必要な濃淡画像のみを指定して報知部２４から伝送させるから、通信トラフィックが低減され、また他装置で処理する濃淡画像の処理量が低減されることになる。しかも、濃淡画像は、ベッド３０ごとに設けた監視装置の着目画像記憶部２４３に分散して記憶され、他装置では複数台のベッド３０について濃淡画像を蓄積する必要がないから、他装置は大きな記憶容量を必要としない。
【０１６５】
さらに、通信処理部２４２の機能は、特定の動作が検知されたことを他装置に通知する機能のみとし、着目画像記憶部２４３に記憶された濃淡画像は、他装置に伝送しないようにすれば、個人情報を含む可能性がある濃淡画像のセキュリティを確保しやすくなる。この場合もセキュリティを高めるには、濃淡画像を暗号化すればよい。
【０１６６】
以上説明した動作は、濃淡画像を用いる場合を例として説明したが、上述したように、濃淡画像の記憶や伝送の処理は、距離画像と濃淡画像との少なくとも一方について行うことが可能である。
【０１６７】
ところで、ベッド認識部２１、人認識部２２、動作判定部２３、報知部２４は、コンピュータでプログラムを実行することにより実現させてもよい。コンピュータは、汎用のコンピュータのほか、ベッドサイド端末として知られている病室用のコンピュータを用いてもよい。ベッドサイド端末は、タッチパネルを備え、電子カルテの表示、投薬オーダなどの医療情報を集中管理する医療情報サーバなどとＬＡＮを構築している。また、インターネットのような広域通信網の端末装置としての機能や、テレビジョン放送の視聴を行う機能なども備える。
【０１６８】
したがって、専用の装置を用いることなく、汎用のコンピュータあるいは既存のコンピュータでプログラムを実行することにより、上述の機能が提供される。また、この場合、専用の装置を用いる場合に比較してコスト増が抑制される。この種のコンピュータを用いる場合に、他装置との通信にはＩＥＥＥ８０２．３などの通信仕様を用い、距離画像センサ１０との接続は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ８０２．３などの通信仕様を用いればよい。
【０１６９】
上述のように、報知部２４は、動作判定部２３の判定結果だけではなく、操作装置からの入力を併せて用いることにより報知の有無を切り換える構成を採用する場合がある。したがって、上述のように、コンピュータでプログラムを実行する場合には、操作装置として、キーボードやタッチパネルなどを用いればよい。
【０１７０】
いま、図２６に示すように、タッチパネルを備えたベッドサイド端末２５を用いることを想定する。対象者４０がベッド３０から移動することが禁止されている場合、報知部２４は、動作判定部２３により対象者４０の移動が検出されるか、ベッドサイド端末２５のタッチパネルに触れられたときに、ナースセンタに報知すればよい。
【０１７１】
また、対象者４０がベッド３０からの移動を許容されている場合、報知部２４は、動作判定部２３により対象者４０の移動が検出されると仮報知状態になり、その後、所定時間内にベッドサイド端末２５のタッチパネルに触れられると、仮報知状態を解除する。この場合、仮報知状態になってから所定時間を超えてもタッチパネルに接触がなければ、報知部２４はナースセンタに報知する動作を行う。すなわち、対象者４０がベッド３０の上で起き上がり、離床する前の行動であると判断してナースセンタに報知する。なお、仮報知状態においてベッドサイド端末２５のタッチパネルに触れる行為は、対象者４０が意図的に仮報知状態を解除する場合のほか、ベッドサイド端末によってテレビジョン放送を視聴する場合、診療案内を見る場合などがある。これらの場合には、ナースセンタへの報知は行わずに仮報知状態を解除する。
【０１７２】
さらに、タッチパネルに触れたときに、タッチパネル上の操作内容と連動して仮報知状態の解除判断を行うようにしてもよい。この動作では、意図的に他の機能操作をしようとしているのか、離床行動を起す際して体が触れて無意味な操作部を支持したのかを判断して仮報知状態の解除をより正確に行うことができる。
【符号の説明】
【０１７３】
１０ 距離画像センサ
２０ 行動監視処理部
２１ ベッド認識部
２２ 人認識部
２３ 動作判定部
２３１ 特定動作検知部
２４ 報知部
２４１ 画像記憶部
２４２ 通信処理部
２４３ 着目画像記憶部
２５ ベッドサイド端末
３０ ベッド
３７ 分割領域
４１ 物体
４２ マスク領域
５２ 床面
Ｐｄ 臥床検知面
Ｐｒ 起き上がり検知面
Ｐｓ 起立検知面
【技術分野】
【０００１】
本発明は、寝具上の人を監視する監視装置、監視装置に用いる機能をコンピュータで実現するプログラムに関するものである。
【背景技術】
【０００２】
この種の監視装置として、監視対象物までの距離に相当する距離関連値を求め、距離関連値を閾値と比較することにより、寝具上の就寝者の動きや呼吸を検出する技術が提案されている（たとえば、特許文献１参照）。特許文献１には、所定時間内に就寝者の形状変化が検出されない場合には、監視対象物が監視対象領域の外に出たと判断することによって、離床を検出する技術が記載されている。
【０００３】
特許文献１では、ベッド上の就寝者の一部を含む複数の対象点を設定し、就寝者の情報から対象点までの距離を距離センサにより計測している。対象点は、ベッド上に就寝者が居る場合に就寝者の一部を含むように設定された監視領域内に複数配置される。特許文献１に記載の技術では、これらの対象点から得られた距離関連値の時間変化と対象点の位置とを用いることにより、就寝者の離床のほか、呼吸や起き上がりを検出している。
【０００４】
特許文献１に記載の技術では、寝具上の就寝者の離床などを非接触で検出することができるから、患者にストレスを与えないという利点を有している。また、特許文献１には、移動可能なスタンドに距離センサを設けることが可能であり、必要なときに必要な場所に設置できる旨の記載がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２９０１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１には、監視領域がベッドの上に設定されていることは記載されているが、監視領域をどのようにして設定するかについてはとくに記載されていない。すなわち、ベッドの上で監視領域を自動的に設定することはできない。とくに、スタンドを用いることにより可動にした場合には、対象点を適切に設定するように調節することは容易ではない。
【０００７】
本発明は上記事由に鑑みて為されたものであり、その目的は、ベッドを基準にして監視すべき領域を自動的に検出することにより、監視対象の人の動作を正確かつ再現性よく検出することを可能にした監視装置、および監視装置の機能をコンピュータで実現するためのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記目的を達成するために、画素値が物体までの距離値である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像センサと、距離画像を用いてベッドの位置を抽出するベッド認識部と、距離画像のうちベッド認識部により認識したベッドの範囲内と範囲外とにおいて人が占有する領域を検出する人認識部と、ベッド認識部により検出したベッドと人認識部により検出した人の領域との組み合わせによりベッドに対する人の動作を判別する動作判定部と、動作判定部による判定結果を報知する報知部とを備えることを特徴とする。
【０００９】
ベッド認識部は、ベッドを置いた床面に対して適宜高さ以上である高さの度数分布をベッドの長手方向および短手方向においてそれぞれ求め、度数が適宜の閾値を横切る位置を、ベッドの長手方向および短手方向における端部の位置として検出するのが望ましい。
【００１０】
この場合、ベッド認識部は、ベッドの長手方向および短手方向における端部に囲まれた矩形の範囲内をベッドの範囲内とし、ベッドの範囲内の領域をベッドの長手方向において複数の分割領域に分割し、分割領域ごとに高さに関する代表値を求め、さらに代表値から所定のオフセット値を減算した値を、ベッドに関して分割領域ごとの基準の高さに用いるのが望ましい。
【００１１】
さらに、ベッド認識部は、分割領域の代表値として、分割領域ごとの高さの平均値と最頻値との一方を用いるのが望ましい。
【００１２】
ベッド認識部は、分割領域の代表値に上限値を設けてあり、代表値が上限値を超える場合はこの代表値を採用しないことが望ましい。
【００１３】
あるいはまた、ベッド認識部は、分割領域の代表値に対する高さ閾値を設けてあり、所定個数以上の分割領域において代表値が高さ閾値を超える場合に、ベッドの位置が異常であると判断することが望ましい。
【００１４】
ベッド認識部は、ベッドの位置を抽出した直後に、ベッドの範囲内であって分割領域の基準の高さに対して規定の除外閾値よりも上方に位置する物体の存在範囲を、人認識部において人を検出する領域から除外するマスク領域として記憶することが好ましい。
【００１５】
人認識部は、ベッド認識部が検出した分割領域ごとの基準の高さに対して上方に所定距離だけ離れた検知面を少なくとも１個設定し、検知面を横切る物体が検出されると当該検知面について規定したベッドの範囲内での人の動作であると判定するのが望ましい。
【００１６】
人認識部は、ベッド認識部が検出したベッドの範囲外においてベッドを置いた床から所定高さの倒れ閾値を設定し、ベッドの範囲外において倒れ閾値より高い位置に物体が検出されるとベッドの範囲外に人が存在すると判定する構成を採用してもよい。
【００１７】
人認識部は、ベッド認識部が検出したベッドの範囲外における背景画像を記憶し、その後に得られる画像について背景画像に対する変化が生じた領域の面積が規定の閾値であるときにベッドの範囲外に人が存在すると判定してもよい。
【００１８】
この場合、人認識部は、検知面として、人のベッドの上での臥床の状態を検知する臥床検知面と、人がベッドの上での起き上がりの状態を検知する起き上がり検知面とを有し、人が臥床検知面と起き上がり検知面とを横切るときに、臥床検知面が切り取る面積に対して起き上がり検知面が切り取る面積の比率を求め、この比率が所定の閾値以上であるときに起き上がりの状態と判定するのが望ましい。
【００１９】
あるいはまた、人認識部は、検知面として、人のベッドの上での臥床の状態を検知する臥床検知面と、人がベッドの上での立ち上がりの状態を検知する起立検知面とを有し、人が臥床検知面と起立検知面とを横切るときに、臥床検知面が切り取る面積に対して起立検知面が切り取る面積の比率を求め、この比率が所定の閾値以上であるときに立ち上がりの状態と判定するのが望ましい。
【００２０】
動作判定部は、ベッドの長手方向および短手方向の端部に対して人が占める領域が交差しているときに、ベッドに人が腰を掛けている状態と判定することが望ましい。
【００２１】
動作判定部は、ベッドの長手方向および短手方向の端部において人が占める領域がベッドの範囲内と範囲外とにまたがっており、かつ人が占める領域の面積に対してベッドの範囲外において人が占める領域の面積の比率が規定した基準範囲内であれば、ベッドに人が腰を掛けている状態と判定するようにしてもよい。
【００２２】
動作判定部は、ベッドに落下防止のための柵を設けている場合に、柵の位置をあらかじめ指定可能であり、柵に対して人が占める領域が交差しているときに、柵を人が乗り越えている状態と判定することが望ましい。
【００２３】
動作判定部は、ベッドに落下防止のための柵を設けている場合に、柵の位置をあらかじめ指定可能であり、人が占める領域が柵に対してベッドの範囲内と範囲外とにまたがっており、かつ人が占める領域の面積に対してベッドの範囲外において人が占める領域の面積の比率が規定した基準範囲を超えているときに、柵を人が乗り越えている状態と判定するようにしてもよい。
【００２４】
動作判定部は、ベッドの範囲内と範囲外とにおいて人が占める領域の面積に対してベッドの範囲外において人が占める領域の面積の比率が規定した基準範囲を超えるときに離床を開始したと判定することが望ましい。
【００２５】
動作判定部は、ベッドの範囲外においてベッドを置いた床面に対して規定の高さ以下の物体が検出される状態が規定の判定時間継続するときに、人が転倒している状態と判定することが望ましい。
【００２６】
動作判定部は、ベッドの範囲内と範囲外とにおいて検出される人の代表点の位置を追跡し、位置の移動が不連続であるときには人の移動と判定しないことが望ましい。
【００２７】
動作判定部は、人の代表点の位置を追跡する際に、ベッドの範囲内を起点とする場合に人の行動と判定し、ベッドの範囲外を起点とする場合であってベッドの範囲内に移動した後にベッドの範囲内である状態の継続時間が規定時間に達すると追跡の起点をベッドの範囲内に更新することが望ましい。
【００２８】
報知部は、動作判定部の判定結果に加えて人が操作する操作装置からの入力を受け付け、動作判定部による判定結果と操作装置による入力との組み合わせにより、動作判定部による判定結果の報知の有無を切り換える構成を採用することができる。
【００２９】
距離画像センサは、距離画像について規定された座標系をベッドを置いた空間の座標系に変換する機能を備えることが望ましい。
【００３０】
報知部は、人の動作と報知内容とを対応付ける機能を備えることが望ましい。
【００３１】
報知部は、別に設けた受信装置に報知内容を通知する通信機能を備えることが望ましい。
【００３２】
距離画像センサは、距離画像とともに濃淡画像を生成する機能を有し、報知部は人の動作の報知後に距離画像と濃淡画像との少なくとも一方を出力することが望ましい。
【００３３】
動作判定部は、人の特定の動作を検知する特定動作検知部を備え、報知部は、距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における濃淡画像を画像記憶部および距離画像センサから他装置に伝送する通信処理部とを備えることが望ましい。
【００３４】
また、動作判定部は、人の特定の動作を検知する特定動作検知部を備え、報知部は、距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における距離画像と濃淡画像との少なくとも一方を記憶する着目画像記憶部とを備える構成を採用してもよい。
【００３５】
あるいはまた、動作判定部は、人の特定の動作を検知する特定動作検知部を備え、報知部は、距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における距離画像と濃淡画像との少なくとも一方を記憶する着目画像記憶部と、特定動作検知部が人の特定の動作を検知したことを他装置に通知する通信処理部とを備える構成を採用してもよい。
【００３６】
本発明に係るプログラムは、コンピュータを、画素値が物体までの距離値である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像センサから得られた距離画像を用いてベッドの位置を抽出するベッド認識部と、距離画像のうちベッド認識部により認識したベッドの範囲内と範囲外とにおいて人が占有する領域を検出する人認識部と、ベッド認識部により検出したベッドと人認識部により検出した人の領域との組み合わせによりベッドに対する人の動作を判別する動作判定部と、動作判定部による判定結果を報知する報知部として機能させるものである。
【発明の効果】
【００３７】
本発明の構成によれば、ベッドの上で監視すべき領域を自動的に検出するから、ベッドの範囲内と範囲外とを分離して、監視対象である人の動作を正確かつ再現性よく検出することが可能になる。
【図面の簡単な説明】
【００３８】
【図１】本発明の全体構成を示すブロック図である。
【図２】（Ａ）は同上の使用例を示す斜視図、（Ｂ）は同上の構成例を示す斜視図である。
【図３】同上に用いる距離画像センサを示すブロック図である。
【図４】同上における座標変換の原理説明図である。
【図５】同上における座標変換の原理説明図である。
【図６】同上の他の使用例を示す斜視図である。
【図７】同上におけるベッドの端部を検出する動作の説明図である。
【図８】同上において視野領域が適正でない場合の動作説明図である。
【図９】（Ａ）は同上における分割領域の説明図、（Ｂ）は同上におけるベッド面の説明図である。
【図１０】同上の動作説明図である。
【図１１】同上の動作説明図である。
【図１２】同上の動作説明図である。
【図１３】同上の動作説明図である。
【図１４】同上においてベッドに物体が重なる例を示す斜視図である。
【図１５】同上においてマスク領域の設定例を示す動作説明図である。
【図１６】同上においてベッドに物体が重なる例を示し、（Ａ）は平面図、（Ｂ）は側面図である。
【図１７】同上における検知面の設定例を示す図である。
【図１８】同上の動作説明図である。
【図１９】同上の動作説明図である。
【図２０】同上の動作説明図である。
【図２１】同上の動作説明図である。
【図２２】同上の動作説明図である。
【図２３】同上の他の構成例を示すブロック図である。
【図２４】同上のさらに他の構成例を示すブロック図である。
【図２５】同上の別の構成例を示すブロック図である。
【図２６】同上においてベッドサイド端末を配置した例を示す斜視図である。
【発明を実施するための形態】
【００３９】
以下に説明する監視装置の全体構成を説明する。本実施形態の監視装置では、図２に示すように、ベッド３０の全体を視野に含む距離画像を撮像する距離画像センサ１０を用いる。距離画像は画素値を距離値とした画像であり、距離画像を生成する技術は種々知られている。
【００４０】
たとえば、パッシブ型の距離画像センサとしては複数台の撮像装置の視差に基づいて物体までの距離を求めるステレオ画像法が知られている。また、アクティブ型の距離画像センサとしては、三角測量法の原理に基づいて物体までの距離を求める光切断法、光を投光し物体での反射光を受光するまでの時間を計測する飛行時間法が広く採用されている。また、空間位相の異なる複数種類の光パターンを投光し、物体の表面に形成された光パターンの位置関係から物体の表面の３次元形状を求める距離画像センサも知られている。
【００４１】
以下に説明する実施形態では、距離画像を生成する技術についてとくに制限はないが、飛行時間法（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）による距離画像センサを用いる場合を例として説明する。以下では、飛行時間法を「ＴＯＦ法」と略称する。ＴＯＦ法を用いる距離画像センサの構成は種々知られている。ここでは、光の強度を一定周期の変調信号で変調した強度変調光を対象空間に投光し、対象空間に存在する物体で反射された強度変調光が受光されるまでの時間を、強度変調光の投受光の位相差として検出し、この位相差を物体までの距離に換算する構成を採用する。
【００４２】
対象空間に投光する光は、多くの物体を透過することなく物体の表面で反射され、かつ人に知覚されない光が望ましい。そのため、投光する光には近赤外線を用いるのが望ましい。ただし、撮像領域を調節する場合のように、人に知覚されるほうが望ましい場合には可視光を用いることも可能である。
【００４３】
強度変調光の波形は、正弦波を想定しているが、三角波、鋸歯状波、方形波などを用いることができる。正弦波、三角波、鋸歯状波を用いる場合には強度変調光の周期を一定周期とする。なお、方形波を用いる場合に、強度変調光の周期を一定周期とするほか、オン期間（発光源の投光期間）とオフ期間（発光源の非投光期間）との比率を乱数的に変化させる技術を採用することも可能である。すなわち、オン期間とオフ期間とに対して十分に長い時間において、オン期間の生じる確率が５０％になるようにオン期間とオフ期間とを不規則に変化させ、前記十分に長い時間において累積した受光量を用いてもよい。
【００４４】
また、強度変調光を一定周期とする場合、たとえば、投光する光を２０ＭＨｚの変調信号により変調し、１００００周期程度の受光量を累積することによりショットノイズの影響を軽減させる。オン期間とオフ期間とを乱数的に変化させる場合にも、たとえば、単位期間を２０ＭＨｚの１周期に相当する期間（５×１０−８ｓ）とし、単位期間の数倍程度の範囲でオン期間とオフ期間とを変化させ、単位期間の１００００倍程度の期間の受光量を累積する。この動作により、累積後の受光量は、一定周期の強度変調光を用いて受光量を累積した場合と同様に扱うことができる。
【００４５】
物体で反射された強度変調光は、複数個の画素が２次元に配列された撮像装置により受光する。撮像装置は、濃淡画像を撮像するため撮像素子と、撮像素子の受光面に光が入射する範囲を制限する受光光学系とを備える。撮像素子は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサとして提供されている濃淡画像を撮像する周知構成の撮像素子を用いることができるが、距離画像センサに適する構造を有するように専用に設計された撮像素子を用いることが望ましい。
【００４６】
以下では、理解を助けるために距離画像センサの一例として下記構成を想定して説明するが、この構成は本発明を限定する趣旨ではなく、強度変調光の変調波形、撮像素子の構成、撮像素子の制御などに関して、周知の種々の距離画像センサに提供された構成を用いることができる。
【００４７】
以下の説明で用いる距離画像センサ１０は、図３に示すように、光を対象空間に投光する投光装置１１と、対象空間からの光を受光する撮像装置１２とを備える。投光装置１１は、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子１３と、発光素子１３から出射した光を対象空間の範囲に投光させる投光光学系１４とを備える。投光装置１１は、光出力を確保するために適数個の発光素子１３を備える。また、撮像装置１２は、上述した撮像素子１５と、撮像素子１５の視野を決める受光光学系１６とを備える。
【００４８】
発光素子１３から出射された強度変調光は投光光学系１４を通して対象空間に投光される。撮像素子１５は、受光光学系１６を通して対象空間からの光を受光する。投光光学系１４と受光光学系１６とは、投受光の方向を平行にし互いに近接して配置してある。ここに、投光光学系１４と受光光学系１６との距離は視野領域に対して実質的に無視することができるものとする。
【００４９】
距離画像センサ１０は、発光素子１３から強度変調光を出射させるために発光素子１３に与える変調信号を生成する変調信号生成部１７を備える。また、距離画像センサ１０は、撮像素子１５が対象空間から受光するタイミングを制御するために、撮像素子１５での受光タイミングを規定する受光タイミング信号を変調信号から生成するタイミング制御部１８を備える。撮像素子１５で得られた受光量に相当する電荷は撮像素子１５から読み出されて演算処理部１９に入力される。演算処理部１９は、受光タイミングと受光量との関係から対象空間に存在する物体までの距離を求める。
【００５０】
変調信号生成部１７は、出力電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化する変調信号を生成する。発光素子１３はこの変調信号により駆動され、光出力が正弦波状に変化する強度変調光が発光素子１３から出射される。
【００５１】
本実施形態において用いる撮像素子１５は、電子シャッタの技術を用いることにより、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成する。また、生成された電荷は、遮光された蓄積領域に転送され、蓄積領域において変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に蓄積された後、撮像素子１５の外部に受光出力として取り出される。
【００５２】
タイミング制御部１８では、変調信号に同期する受光タイミング信号を生成する。ここでは、タイミング制御部１８が、変調信号の異なる４位相ごとに一定時間幅の受光期間を有した４種類の受光タイミング信号を生成する。また、上述した蓄積期間ごとに４種類の受光タイミング信号から選択した１種類の受光タイミング信号を撮像素子１５に与える。
【００５３】
すなわち、１回の蓄積期間において１種類の受光タイミング信号を撮像素子１５に与えることにより、変調信号の特定の位相期間に対応する受光期間における電荷を撮像素子１５の各画素で生成する。蓄積後の電荷は、受光出力として撮像素子１５から取り出される。蓄積期間ごとに異なる各受光タイミング信号を撮像素子１５に与え、撮像素子１５で生成された電荷を受光出力として取り出す動作を繰り返すと、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力が撮像素子１５から得られる。
【００５４】
いま、４種類の受光タイミング信号が、変調信号の１周期において９０度ずつ異なる位相に設定され、各受光タイミング信号に対応して撮像素子１５から出力された受光出力（電荷量）が、それぞれＡ０，Ａ１，Ａ２，Ａ３であったとする。このとき、三角関数の関係を用いると、強度変調光の投光時と受光時との位相差ψ〔ｒａｄ〕は、下式の形式で表すことができる。
ψ＝（Ａ０−Ａ２）／（Ａ１−Ａ３）
変調信号の周波数は一定であるから、位相差ψを投光から受光までの時間差に換算することができ、光速は既知であるから、時間差が求まれば物体までの距離を求めることができる。
【００５５】
すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光期間は、各画素において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する受光期間を用いることが可能である）。各受光期間の時間幅は互いに等しくすることが必要である。
【００５６】
演算処理部１９では、受光出力（電荷量）Ａ０〜Ａ３に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下の実施形態において説明する処理も行う。演算処理部１９はマイコン、ＤＳＰ、ＦＰＧＡなどから選択されるデジタル信号処理装置を用いて構成され、上述した処理はデジタル信号処理装置においてプログラムを実行することにより実現される。また、演算処理部１９だけではなく、発光素子１３および撮像素子１５を除く構成は、上述したデジタル信号処理装置を用いて実現可能である。デジタル信号処理装置は、１個だけ用いることが可能であるが、少なくとも距離画像センサ１０に用いる機能と、以下に説明する機能とは、異なるデジタル信号処理装置に処理を振り分けることが好ましい。また、さらに多くのデジタル信号処理装置を用いることも可能である。
【００５７】
また、上述の動作例では、４種類の受光タイミング信号を用いているが、３種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、２種類の受光タイミング信号でも位相差ψを求めることが可能である。
【００５８】
さらに、上述した動作では、１画素について１種類の受光タイミング信号に対応する電荷を蓄積しているから、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１５から取り出すために４回の蓄積期間が必要である。これに対して、１画素について２種類の受光タイミング信号に対応する電荷を蓄積すれば、撮像素子１５から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、１画素について４種類の受光タイミング信号に対応する電荷を蓄積可能に構成すれば、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。
【００５９】
上述した距離画像センサ１０は、対象空間からの光を受光するための受光素子として複数個の画素が２次元配列された撮像素子を用いているから、各画素の画素値として距離値を求めることにより距離画像が生成されることになる。すなわち、撮像素子の受光面が距離画像センサ１０の視野領域を投影する仮想の投影面になる。
【００６０】
上述した距離画像センサ１０は、対象空間に発光素子１３から投光し撮像素子１５の視野領域を対象空間として撮像するから、対象空間の形状は、距離画像センサ１０を頂点として距離画像センサ１０から離れるほど広がる形になる。たとえば、投光光学系１４および受光光学系１６がそれぞれ光軸の周りに等方的に形成されていると、対象空間の形状は、距離画像センサ１０を頂点とする角錐状になる。
【００６１】
したがって、上述した仮想の投影面に配列された画素の位置は、距離画像センサ１０から対象空間を見込む方向に対応することになり、各画素の画素値は当該方向に存在する物体までの距離を表すことになる。言い換えると、距離画像センサ１０（および画像生成手段）により生成された距離画像は、極座標系で物体の位置を表していることになる。このような距離画像を極座標系の距離画像と呼ぶことにする。
【００６２】
上述した極座標系の距離画像は、距離画像センサ１０からの距離の情報が必要であるときには利便性が高いが、対象空間である実空間の各位置との対応関係がわかりにくく、実空間に存在する物体を基準にした領域を指定するには不便である。したがって、演算処理部１９では、極座標系の距離画像から直交座標系の各座標値を有した画像を生成する座標変換を行う。以下では、座標変換を行った後の画像を座標軸別画像と呼ぶ。
【００６３】
極座標系の距離画像から座標軸別画像を生成する手順について、図４、図５を参照して説明する。極座標系の距離画像から座標軸別画像を生成するには、まず極座標系の距離画像を直交座標系であるカメラ座標系の３次元画像に変換し、この３次元画像を対象空間に規定した直交座標系であるグローバル座標系の３次元画像に変換する。グローバル座標系の３次元画像が得られると、各座標軸別画像に分解することができる。
【００６４】
極座標系の距離画像からカメラ座標系の３次元画像を生成するには、以下の演算を行う。ここに、図４に示すように、撮像素子１５の受光面における水平方向と垂直方向とをｕ方向とｖ方向とする。撮像素子１５と受光光学系１６とは、受光光学系１６の光軸１６Ａが撮像素子１５の受光面の中心位置の画素を通るように配置する。また、撮像素子１５の受光面を受光光学系１６の焦点に位置させる。この位置関係において、撮像素子１５の受光面の中心位置の画素の座標（単位は、ピクセル）を（ｕｃ，ｖｃ）、撮像素子１５の画素のｕ方向とｖ方向とのピッチ（単位は、ｍｍ）を（ｓｕ，ｓｖ）とする。さらに、受光光学系１６の焦点距離をｆ［ｍｍ］とし、撮像素子１５の受光面における各画素の座標（単位はピクセル）の位置（ｕ，ｖ）に対応する方向に存在する物体について受光光学系１６の中心から物体までの距離をｄ［ｍｍ］とする。これらの値は、距離画像センサ１０において物体までの距離ｄを各画素の位置に対応付けることにより既知の値になる。
【００６５】
物体についてカメラ座標系での座標値（Ｘ１，Ｙ１，Ｚ１）を求めると以下のようになる。座標値（Ｘ１，Ｙ１，Ｚ１）の各成分の単位はｍｍである。なお、撮像素子１５の受光面に設定した座標系の原点は矩形状である撮像素子１５の受光面の１つの角の位置とし、直交座標系の原点は受光光学系１６の中心とする。
Ｘ１＝ｕ１・ｄ／Ｒ
Ｙ１＝ｖ１・ｄ／Ｒ
Ｚ１＝ｆ・ｄ／Ｒ
ただし、
ｕ１＝ｓｕ（ｕ−ｕｃ）
ｖ１＝ｓｖ（ｖ−ｖｃ）
Ｒ＝（ｕ１２＋ｖ１２＋ｆ２）１／２
ここでは、説明を簡単にするために、受光光学系１６の光学歪みの影響は省略している。ただし、光学中心からの距離Ｒを補正する歪み補正式を用いることにより、光学歪みを補正することができる。
【００６６】
上述したように、極座標系の距離画像をカメラ座標系の３次元画像に変換した後に、グローバル座標系への座標変換を行う。距離画像センサ１０は、撮像素子１５の受光面における垂直方向（すなわち、ｖ方向）が室内の壁面５１および床面５２に平行になるように配置される。
【００６７】
いま、図５（Ａ）のように、距離画像センサ１０において受光光学系１６の光軸１６Ａの俯角をθとする。図５（Ａ）において距離画像センサ１０の視野角はφで表している。カメラ座標系からグローバル座標系への変換には、図５（Ｂ）に示すように、カメラ座標系での座標値（Ｘ１，Ｙ１，Ｚ１）に対して、Ｙ軸周りで俯角θに相当する回転を行う。これにより、図５（Ｃ）のように、室内の壁面５１および床面５２に直交する座標軸を持つグローバル座標系の３次元画像が生成される。
【００６８】
以下では、グローバル座標系での座標値を（Ｘ，Ｙ，Ｚ）とする。図示例では、壁５１に直交する方向で壁５１から離れる向きをＸ方向の正の向きとし、床５２に直交する方向の下向きをＺ方向の正の向きとする。また、座標系には右手系を用いる。俯角θに関する座標系の回転は、以下の計算により行う。
Ｘ＝Ｘ１・ｃｏｓ（９０°−θ）＋Ｚ１・ｓｉｎ（９０°−θ）
Ｙ＝Ｙ１
Ｚ＝−Ｘ１・ｓｉｎ（９０°−θ）＋Ｚ１・ｃｏｓ（９０°−θ）
座標軸別画像は、グローバル座標系にマッピングを行った画像そのものではなく、距離画像の各画素の座標位置（ｕ，ｖ）にＸ値とＹ値とＺ値とをそれぞれ個別に対応付けた画像である。すなわち、各座標位置（ｕ，ｖ）に、Ｘ（ｕ，ｖ）、Ｙ（ｕ，ｖ）、Ｚ（ｕ，ｖ）をそれぞれ対応付けた画像であり、１枚の極座標系の距離画像に対して３枚の座標軸別画像が生成される。極座標系の距離画像から座標軸別画像を得るには、上述の計算を行ってもよいが、極座標系の距離画像から座標値（Ｘ，Ｙ，Ｚ）に変換するテーブルを用意しておけば、処理負荷を軽減することができる。
【００６９】
以下では、座標軸別画像のうちＸ値を画素値とする画像をＸ画像、Ｙ値を画素値とする画像をＹ画像、Ｚ値を画素値とする画像をＺ画像と呼ぶ。したがって、座標変換を行うテーブルとしては、Ｘ画像に変換するＸ変換テーブルと、Ｙ画像に変換するＹ変換テーブルと、Ｚ画像に変換するＺ変換テーブルとの３種類が必要になる。座標軸別画像を使用する技術は後述する。
【００７０】
上述したＸ画像とＹ画像とＺ画像とは、デジタル信号処理装置のメモリに格納され、実空間である対象空間に対応する３次元の仮想空間を表している。したがって、仮想空間における条件を設定すれば、対象空間において条件を設定したことと等価になる。
【００７１】
距離画像センサ１０において生成されたＸ画像とＹ画像とＺ画像とは、行動監視処理部２０に与えられる。行動監視処理部２０は、監視する対象者４０に関してベッド３０に関連した動作を分類する。本実施形態では、病院の病室や高齢者施設や介護施設における室内に配置されたベッド３０を監視する場合を想定している。分類する動作は後述する。
【００７２】
対象者４０の行動を上述のように分類するには、ベッド３０の上における対象者４０の存否にかかわらず、ベッド３０を抽出する必要がある。また、ベッド３０の上の対象者４０を監視するために、距離画像センサ１０はベッド３０を上方から見下ろす位置に配置される。この条件を満たすために、距離画像センサ１０を天井に配置することが可能であるが、既存の室内において天井に距離画像センサ１０を設置する工事は手間がかかるという問題がある。
【００７３】
したがって、図２（Ｂ）に示すように、床に自立するスタンド３１の上端部に距離画像センサ１０を取り付けた構成を採用するか、図６に示すように、一端部を壁５１に取り付けたアーム３２の他端部に距離画像センサ１０を取り付けた構成を採用する。図２に示す構成では、キャスタ３３を備える台板３４の上に支柱板３５を取り付けたスタンド３１を備え、支柱板３５の上端部に距離画像センサ１０を取り付けてある。また、支柱板３５の中間部に、行動監視処理部２０を設けてある。
【００７４】
行動監視処理部２０は、報知部２４（図１、図３参照）を通して室内または室外に監視の内容を報知する。監視の内容を室外に報知する場合には、構内ネットワーク（ＬＡＮ）やナースコールシステム通信網を用いて通信を行う。たとえば、病院において病室にスタンド３１を設置している場合、報知部２４の通知を受ける受信装置をナースセンタに設けておくことにより、行動監視処理部２０において分類した対象者の行動をナースセンタに設けた受信装置に通知することが可能になる。以下では、ナースセンタに設けた受信装置に通知する意味で、「ナースセンタに通知する」あるいは「ナースセンタに報知する」と言う。
【００７５】
上述のようにキャスタ３３を備えたスタンド３１に、距離画像センサ１０および行動監視処理部２０を設けることによって可動式になるから、所要の場所に移動させることが可能になる。すなわち、対象者４０の行動を監視する必要がない部屋にはスタンド３１を持ち込む必要がない。また、対象者４０の行動を監視する場合でも、図２（Ａ）のように、ベッド３０のヘッドボード３６と壁面５１との間にスタンド３１を配置することができるから、配置場所が問題になることはない。
【００７６】
上述の構成から明らかなように、距離画像センサ１０はベッド３０よりも高い位置に配置される。実際には、距離画像センサ１０は、視野領域である対象空間内にベッド３０の全体が含まれる程度の高さに配置される。このような高さ位置に配置することにより、人が距離画像センサ１０に不用意に触れることを防止でき、距離画像センサ１０を人の邪魔にならないように配置することができる。たとえば、病院において対象者（患者）に処置を施す際に、スタンド３１が作業の邪魔にならない。しかも、距離画像センサ１０は、対象空間に存在する物体までの距離を非接触で検出するから、対象者の行動を妨げることがなく、また、ベッド３０の寝心地を妨げることもない。
【００７７】
距離画像センサ１０は、図２（Ａ）のように、ベッド３０を俯瞰することができるように、光軸１６Ａ（図５参照）を斜め下向きにして配置される。また、この状態において距離画像センサ１０の視野領域にベッド３０の上面の全体が含まれるように、光軸１６Ａの傾き角度（俯角θ）が設定される。ここで、光軸１６Ａが斜め下向きであることから、ベッド３０のヘッドボード側では、ベッド３０の上面までの距離は相対的に小さくなり、ベッド３０のフットボード側では、ベッド３０の上面までの距離が相対的に大きくなる。
【００７８】
以下、行動監視処理部２０について、さらに詳しく説明する。上述したように、対象者４０の行動を分類するには、距離画像センサ２０が出力した距離画像からベッド３０を抽出する必要がある。したがって、行動監視処理部２０は、距離画像に含まれる情報を用いてベッド３０を認識するベッド認識部２１を備える。また、ベッド認識部２１によりベッド３０が認識されるから、距離画像に含まれる情報とベッド３０との相対関係を用いることによって、対象空間における人の存否を認識することが可能になる。
【００７９】
行動監視処理部２０には、ベッド認識部２１が認識したベッド３０と他の物体との関係から人の存否を認識する人認識部２２が設けられる。さらに、行動監視処理部２０は、ベッド認識部２１による認識と人認識部２２による認識とを総合することにより、対象者の行動を分類し、必要に応じて行動に対する報知を行う動作判定部２３を備える。
【００８０】
ベッド認識部２１では、まず、ベッド３０の位置を認識するために、ベッド３０を平面視した場合のベッド３０の外周を検出する。一般的なベッド３０は平面視において四角形状であるから、ベッド認識部２１では、ベッド３０の４辺を抽出することにより、ベッド３０の位置を認識する。
【００８１】
ここでは、図５（Ｃ）のように、ベッド３０の長手方向が壁５１に対して直交する方向である場合を想定してベッド３０の４辺を抽出するためにＸ画像とＹ画像とを用いる。ただし、この関係は一例であって、ベッド３０を配置する向きと距離画像センサ１０との位置関係は、図５（Ｃ）の関係であることは必須ではなく、距離画像センサ１０とベッド３０との位置関係に応じて、座標の変換方法を変えることが可能である。また、必要に応じて以下に説明する条件を変更することも可能である。
【００８２】
ベッド３０の４辺を抽出するには、Ｘ画像を用いてＸ値の度数分布を求め、Ｙ画像を用いてＹ値の度数分布を求める。また、ベッド３０以外の物体領域が極力抽出されないように、Ｚ値には適宜の閾値（たとえば、床５２の高さから１５ｃｍ以上）を規定しておく。この場合、Ｘ値の度数分布は、たとえば図７（Ａ）のようになり、Ｙ値の度数分布は、たとえば図７（Ｂ）のようになる。
【００８３】
すなわち、ベッド３０の上面が平面であるとすると、ベッド３０の短手方向に同じＸ値が並び、ベッド３０の長手方向に同じＹ値が並ぶ。一方、ベッド３０の端部では度数が急に減少するから、度数を適宜の閾値Ｔｈｘ，Ｔｈｙと比較すれば、度数が閾値Ｔｈｘ，Ｔｈｙを横切るときのＸ値，Ｙ値がベッド３０の各端部の候補になると考えられる。
【００８４】
ここで、ベッド３０以外で床５２から高さを有するキャビネット、椅子、医療機器などは、その領域面積がベッド３０に比べて小さいから、ベッド３０の部分よりも度数が小さくなる（図７（Ｂ）のＹｉ未満、あるいはＹｓを超える部分を参照）。したがって、度数に対して適宜の閾値Ｔｈｘ，Ｔｈｙを設定することにより、キャビネット、椅子、医療機器などのベッド３０以外の物品を除去することができる。
【００８５】
加えて、ベッド３０の端部抽出が正しく行えたかを以下の判定にて実施する。Ｘ値については、閾値Ｔｈｘ以上である範囲をベッド３０の長手方向の寸法について設定した許容範囲と比較し、閾値Ｔｈｘ以上の範囲が許容範囲内であれば、閾値Ｔｈｘ以上の範囲の最大値Ｘｓおよび最小値Ｘｉをベッド３０の長手方向の端部の位置とする。
【００８６】
Ｙ値については、閾値Ｔｈｙ以上である範囲をベッド３０の短手方向の寸法について設定した許容範囲と比較し、閾値Ｔｈｙ以上の範囲が許容範囲内であれば、閾値Ｔｈｙ以上の範囲の最大値Ｙｓおよび最小値Ｙｉをベッド３０の短手方向の端部の位置とする。
【００８７】
許容範囲は、ベッド３０の既知の寸法に対し、適宜の幅を持たせることにより設定される。たとえば、長手方向の寸法がＬ１、短手方向の寸法がＷ１であるベッド３０に対して、長手方向については（Ｌ１±ΔＬ）を許容範囲とし、短手方向については（Ｗ１±ΔＷ）を許容範囲とすればよい。ΔＬ，ΔＷは、距離画像センサ１０の測定誤差や画素数を考慮して、たとえば１０ｃｍなどの適宜寸法に設定される。
【００８８】
さらに、後述するように、対象者４０のベッド３０に対して出入りする動作を検出する際には、Ｚ方向への平行投影画像を用いベッド３０を矩形状として扱う。そのため、ベッド３０の端部を求めた後には、ベッド３０の各辺を直線とみなし、上述のようにして求めた端部に外接する矩形の内側の領域をベッド３０の範囲内の領域とする。すなわち、長手方向と短手方向との端部に囲まれた矩形の領域をベッド３０の範囲内とする。
【００８９】
ベッド３０の端部を求める処理手順をまとめると以下のようになる。まず、Ｚ画像においてＺ値が床面に対して適宜の閾値以上となる座標位置（ｕ，ｖ）を求める。次に、求めた座標位置（ｕ，ｖ）のＸ値についてＸ画像を用いて度数分布を求め、求めた座標位置（ｕ，ｖ）のＹ値についてＹ画像から度数分布を求める。さらに、Ｘ値の度数分布を閾値Ｔｈｘと比較し、Ｙ値の度数分布を閾値Ｔｈｙと比較する。
【００９０】
その後、Ｘ値の度数が閾値Ｔｈｘ以上となる範囲（Ｘｓ−Ｘｉ）をベッド３０の長手方向の許容範囲（Ｌ１±ΔＬ）と比較し、Ｙ値の度数が閾値Ｔｈｙ以上になる範囲（Ｙｓ−Ｙｉ）をベッド３０の短手方向の許容範囲（Ｗ１±ΔＷ）と比較する。Ｘ値の度数が閾値Ｔｈｘ以上となる範囲が許容範囲（Ｌ１±ΔＬ）に含まれていれば閾値Ｔｈｘを横切るＸ値（Ｘｓ，Ｘｉ）をベッド３０の長手方向の端部のＸ座標とする。また、Ｙ値の度数が閾値Ｔｈｙ以上となる範囲が許容範囲（Ｗ１±ΔＷ）に含まれていれば閾値Ｔｈｙを横切るＹ値（Ｙｓ，Ｙｉ）をベッド３０の短手方向の端部のＹ値とする。
【００９１】
なお、上述の例では、度数が閾値Ｔｈｘ，Ｔｈｙ以上になる範囲（Ｘｓ−Ｘｉ），（Ｙｓ−Ｙｉ）を求めた後に許容範囲（Ｌ１±ΔＬ），（Ｗ１±ΔＷ）と比較しているが、以下の手順を採用してもよい。
【００９２】
まず、Ｘ値の度数分布についてＸ値を最小値から増加させる方向に変化させるとともに、度数を閾値Ｔｈｘと比較し、度数が閾値Ｔｈｘ以上になるＸ値が所定値以上連続すればベッド３０の長手方向の一方の端点とする。また、Ｘ値を最大値から減少させる方向に変化させるとともに、度数を閾値Ｔｈｘと比較し、度数が閾値Ｔｈｘ以上になるＸ値が所定値以上連続すればベッド３０の長手方向の他方の端点とする。連続の判断は、許容範囲（Ｌ１±ΔＬ）とするのが望ましいが、より小さい値を用いることも可能である。このようにしてベッド３０の長手方向の両端の位置を決定することができる。ベッド３０の短手方向の両端の位置を決定する手順も同様であり、Ｘ値に代えてＹ値を用い、閾値Ｔｈｘに代えて閾値Ｔｈｙを用いればよい。
【００９３】
上述したように、Ｚ値が規定の閾値以下（床５２から遠い）になる抽出画素が占める領域は、ベッド３０の領域に対してベッド３０付近の他の物品の領域のほうが小さくなる。この条件に基づいて、画素のＸ値，Ｙ値のそれぞれの度数を利用してベッド３０の端部を求めるので、ベッド３０付近の他の物品に影響されることなく、ベッド３０の端部を精度よく検出することができる。また、上述した処理において条件を満たす画素が存在しない場合には、距離画像センサ１０の視野領域からベッド３０がずれている可能性があるから、距離画像センサ１０の位置設定が不適切であることを報知部２４により報知するのが望ましい。
【００９４】
ところで、距離画像センサ１０の視野領域にベッド３０の各端部が含まれていても、視野領域の周部に余裕がなければ対象者４０の行動を判断することができない。そこで、距離画像センサ１０の視野領域において、ベッド３０の周囲にベッド３０以外の領域が含まれることを保証するために以下の判定を行う。
Ｘｍａｘ−Ｘｓ≧Ｍｇｘ１
Ｘｉ−Ｘｍｉｎ≧Ｍｇｘ２
Ｙｍａｘ−Ｙｓ≧Ｍｇｙ１
Ｙｉ−Ｙｍｉｎ≧Ｍｇｙ２
ここに、Ｘｍａｘは視野領域のＸ方向におけるＸ値の最大値、Ｘｍｉｎは視野領域のＸ方向におけるＸ値の最小値、Ｙｍａｘは視野領域のＹ方向におけるＹ値の最大値、Ｙｍｉｎは視野領域のＹ方向におけるＹ値の最小値である。また、ベッド３０の周囲に設定したい余裕寸法をＭｇｘ１，Ｍｇｘ２，Ｍｇｙ１，Ｍｇｙ２である。この場合、余裕寸法Ｍｇｘ１，Ｍｇｘ２，Ｍｇｙ１，Ｍｇｙ２は、室内におけるベッド３０の配置やベッド３０に対する距離画像センサ３０の配置によって異なる値になるから、図示しない設定手段により設定可能であることが望ましい。なお、本実施形態の場合、距離画像センサ１０を設けたスタンド３１をベッド３０のヘッドボードと壁面との間に配置しているから（図１参照）、ヘッドボード側の余裕寸法Ｍｇ２は必ずしも用いなくてもよい。
【００９５】
上述の判定の条件が１つでも満たされない場合には、図８のように視野範囲Ｆｖがベッド３０からずれていると判定し、距離画像センサ１０の位置設定が不適切であることを報知部２４により報知するのが望ましい。図８に示す例では、ベッド３０の長手方向の一方の端部が視野領域Ｆｖに含まれないからＸｍａｘ＝Ｘｓになり、またベッド３０の短手方向の一方の端部が視野領域Ｆｖに含まれないからＹｍｉｎ＝Ｙｉになっている。したがって、Ｘｍａｘ−Ｘｓ≧Ｍｇｘ１という条件と、Ｙｉ−Ｙｍｉｎ≧Ｍｇｙ２という条件が満たされないことになる。このような判断を行うことにより、ベッド３０に対する対象者４０の出入りの行動を監視することが可能になる。
【００９６】
上述のようにベッド認識部２１においてベッド３０の位置が認識されると、次に、ベッド３０の上面の位置を検出する。以下では、ベッド３０の上面をベッド面と呼ぶ。ベッド面の高さを検出するにあたっては、ベッド３０の上に対象者４０に寝ている状態（この状態を「臥床」という）を想定する。対象者４０が臥床している状態では、ベッド３０の上に対象者４０および掛け布団のような寝具が載っている。上述したグローバル座標系では、実空間の下向きをＺ軸の正の向きにとっているが、実空間について高さに関する説明を行う場合には、上向きを値が増加する向きにとる。すなわち、Ｚ方向においてＺ値が増加する向きを、高さ方向において高さが減少する向きとして扱う。
【００９７】
ベッド認識部２１では、図９（Ａ）のように、ベッド３０の範囲内を長手方向において規定個数（たとえば、１０）の分割領域３７に分割する。分割領域３７の個数はベッド３０の長手方向の寸法にもよるが、１つの分割領域３７が１０〜２０ｃｍ程度の幅になるように個数を定める。次に各分割領域３７の高さに関する代表値を求める。代表値には、平均値と最頻値とのいずれかを用いればよい。
【００９８】
平均値を用いる場合は、Ｚ画像から各分割領域３７に属する位置（ｕ，ｖ）を求め、分割領域３７ごとのＺ値の平均値を求める。一方、最頻値を用いる場合には、Ｚ画像について各分割領域３７に属する位置（ｕ，ｖ）を求め、分割領域３７ごとのＺ値の度数分布を求め、さらに、求めた度数分布から最頻値を求める。分割領域３７の場所にもよるが、この度数分布では、ベッド面の度数あるいは寝具の上面の度数が高くなり、ついで対象者４０に相当する度数が高くなると考えられる。これは、ベッド３０の上で、ベッド面あるいは寝具の占める領域（面積）のほうが対象者４０の占める領域よりも大きいという知見に基づいている。
【００９９】
各分割領域３７から上述のようにして高さに関する代表値を求めると、図９（Ｂ）の実線のように代表値Ｖｔが分布することになる。また、代表値Ｖｔから人の厚みを考慮したオフセット値を減算して（Ｚ値の場合は加算して）ベッド面の高さとして用いる。人の厚みは、個人差があるが、たとえば２０ｃｍなどの値を用い、その半分の値をオフセット値に用いる。オフセット値については、特段の条件はないから、代表値からオフセット値を減算した値が多くの分割領域３７においてベッド面の高さとなるように適宜に設定する。図９（Ｂ）の破線は、代表値Ｖｔからオフセット値を減算した値の例を示している。このようにして分割領域３７ごとに求めたベッド面の高さが、分割領域３７ごとの基準の高さになる。
【０１００】
以後の処理では、分割領域３７ごとのベッド面の集合を、ベッド３０の全体におけるベッド面として扱う。また、ベッド３０の全体ではなく長手方向に分割した分割領域３７を用いるから、ベッド３０がリクライニング式であってベッド面が平面ではない場合にも、ベッド３０の部分ごとに求めたベッド面を用いることにより、対象者４０と分離することが可能になる。
【０１０１】
ところで、上述した例では、ベッド３０の上の対象者４０が臥床の状態である場合を想定してベッド面の高さを求めているが、図１０のように、対象者４０がベッド３０の上で起き上がっている場合、上述のようにして求めたベッド面の高さ（図１０においてＶｈで表している）は適切と言えない。したがって、分割領域３７ごとに高さに上限値を設け、ベッド面の高さＶｈとして求めた値が上限値を超える場合には、ベッド面Ｖｈの高さとして採用できないことを報知部２４により報知する。
【０１０２】
ここに、ベッド３０におけるベッド面の計測は、システムの使用開始を指示した直後に行われるので、報知部２４から報知することによって、適切な対応を行うことが可能になる。なお、システムの使用開始の指示は、運転開始のスイッチ（図示せず）を投入する操作などを意味する。また、適切な対応とは、対象者４０を正しい位置で臥床の状態にした後、システムの使用開始の指示を再度与えることを意味している。
【０１０３】
上述したベッド３０は、ベッド面の高さが固定である場合を想定しているが、看護や介護の作業を容易にするために、ベッド面の高さを変更することができる昇降式のベッド３０も提供されている。昇降式のベッド３０では、看護や介護の作業後にベッド面を下げるのを忘れていると、ベッド面が通常よりも高くなるから、対象者４０がベッド３０から離床する際には足が床に届きにくくなり、対象者４０がベッド３０から落下したときには衝撃が大きくなる。したがって、作業後にはベッド面を必ず下げる必要がある。
【０１０４】
ベッド３０が昇降式である場合には、図１１のように、看護や介護の作業中にはベッド面の下限が所定の高さ閾値Ｔｈｈを超えると考えられるから、高さ閾値Ｔｈｈを適宜に設定することにより、ベッド面が上昇していることを検出することができる。すなわち、すべての分割領域３７について求めたベッド面の高さが、高さ閾値Ｔｈｈを超えている場合には、ベッド面が上昇したままであると判断して報知部２４から報知する。
【０１０５】
ここにおいて、介護や看護の作業中には、対象者４０の監視は不要であるから、システムの動作を一旦停止させ、作業の終了後にシステムの動作を再開する。したがって、作業の終了後に、システムの動作を再開する指示を与えたときに、ベッド面の高さの異常が報知されることになり、ベッド面の下げ忘れを防止することができる。
【０１０６】
また、図１２のように、ベッド３０の上にテーブル３８を出した場合に、テーブル３８をしまい忘れる場合がある。これに対して、テーブル３８に相当する分割領域３７において高さ閾値Ｔｈｈをテーブル３８の高さが検出できるように設定しておけば、テーブル３８のしまい忘れを報知部２４により報知することが可能になる。
【０１０７】
ベッド３０の下げ忘れとテーブル３８のしまい忘れとの両方を検出する場合には、高さ閾値Ｔｈｈを適宜に定めるとともに、所定個数以上の分割領域３７において高さ閾値Ｔｈｈを超える場合に、報知部２４から報知するようにしてもよい。高さ閾値Ｔｈｈを用いた判定は、ベッド面の計測と同様に、システムの使用開始を開始する指示の直後に行われるから、問題が生じていれば報知部２４からただちに報知される。したがって、ベッド３０を下げたり、テーブル３８を片付けたりするような適正な対応が可能になる。その後は、システムの使用開始の指示を再度与えればよい。
【０１０８】
ベッド３０がリクライニングの機能を備え、図１３のように、対象者４０の上半身を起こすことができる場合には、高さ閾値Ｔｈｈによる判定を下半身側の複数個（図示例では５個）の分割領域３７においてのみ行えばよい。距離画像内でのベッド３０の位置は既知であるから、たとえば、（Ｘｓ＋Ｘｉ）／２よりもＸ値が大きくなる分割領域３７についてのみ高さ閾値Ｔｈｈによる判定を行えばよい。このように高さ閾値Ｔｈｈによる判定を行う範囲を、定式化して自動的に決定することができるから、人手による調整作業が不要である。
【０１０９】
ところで、ベッド３０の周辺には、様々な装置が配置されることがあり、たとえば、図１４に示すように、ベッド３０の上方に対象者４０ではない物体４１が重なって配置されていることがある。この種の物体４１としては、たとえば、照明スタンド、モニタ装置、種々の医療装置がある。
【０１１０】
このような物体４１がベッド３０に重なっている場合、対象者４０を検知する領域から除外する必要がある。そのため、看護師あるいは介護士が装置を起動させ、ベッド３０の位置をベッド認識部２１に認識させる際に、物体４１の領域をベッド３０の領域から除外する処理も行うことが好ましい。すなわち、距離画像センサ１０の視野において、ベッド３０に物体４１が重複している領域を、図１５のように、マスク領域４２として除外した状態で記憶しておけばよい。マスク領域４２は、人認識部２２が対象者４０を認識する際には、ベッド３０の範囲外の領域として扱うことになり、物体４１を対象者４０と誤認するのを防止できる。
【０１１１】
マスク領域４２は、ベッド認識部２１がベッド３０の位置を抽出した直後に設定する。すなわち、ベッド認識部２１は、看護師あるいは介護士が装置を操作することにより、ベッド３０の位置を認識した直後にマスク領域４２の有無を判断する処理を行う。ベッド認識部２１は、図１６に示すように、ベッド３０の範囲内であって分割領域３７ごとに求めた基準の高さ（ベッド面の高さ）に対して規定の除外閾値よりも上方に物体４１が存在するとき、その物体４１の存在範囲をマスク領域４２とする。除外閾値は、実状に即して適宜に設定される。このようにして設定されたマスク領域４２は、対象者４０を認識する際に除外される領域として扱うためにベッド認識部２１において記憶される。
【０１１２】
上述の動作では、分割領域３７ごとの基準の高さとしてベッド面の高さを用いているが、ベッド認識部２１にベッド３０の位置を認識させるときには、対象者４０がベッド３０に存在するから、後述する臥床検知面Ｐｄ（図１７参照）を基準の高さに用いることが好ましい。臥床検知面Ｐｄは、対象者４０がベッド３０の上で対象者４０が仰臥している状態における基準の高さである。このように、基準の高さとして臥床検知面Ｐｄを用いると、対象者４０の存在する領域をマスク領域４２と誤認するのを防止できる。ただし、臥床検知面Ｐｄをベッド面から一定高さに規定している場合は、臥床検知面Ｐｄを基準の高さに用いることと、ベッド面を基準の高さに用いることとは等価である。
【０１１３】
なお、マスク領域４２については大きさを評価し、規定した閾値を超える大きさのマスク領域４２が存在する場合には、テーブルなどが置かれた状態と判断する。この場合、対象者４０を認識する際の信頼性を保つことができず、また、対象者４０が物体４１に接触する可能性があるから、マスク領域４２を設定する代わりに物体４１の設置不良として報知部２４から報知することが好ましい。
【０１１４】
以下では、人認識部２２により対象者４０を認識する技術について説明する。上述したように、ベッド認識部２１ではベッド面を検出しているから、人認識部２２はベッド面を基準に用いて複数段階の検知面を設定する。ここでは、ベッド３０の上での状態として、臥床の状態、上半身を起こした起き上がりの状態、立ち上がった起立の状態の３状態を想定する。それぞれの状態を検出するには、図１７のように、ベッド面Ｐｂとして規定される分割領域３７ごとの高さを基準に用いて、臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓを設定する。
【０１１５】
臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓは、それぞれベッド面ＰｂをＺ方向に所定量だけ変位させて設定してある。すなわち、ベッド面Ｐｂは、分割領域３７ごとにＺ値が定められているから、臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓも分割領域３７ごとに上方に所定距離だけ離間させて定められる。また、臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓの順にベッド面Ｐｂからの距離が大きくなる。一例を示すと、臥床検知面Ｐｄをベッド面Ｐｂから１０ｃｍ上方、起き上がり検知面Ｐｒをベッド面Ｐｂから３０ｃｍ上方、起立検知面Ｐｓをベッド面Ｐｂから６０ｃｍ上方などに設定する。臥床検知面Ｐｄ、起き上がり検知面Ｐｒ、起立検知面Ｐｓは、ベッド３０の上での人の位置を検出するための閾値として用いる。
【０１１６】
人認識部２２では、ベッド３０の領域内において、臥床検知面Ｐｄよりも上方に物体が存在し、起き上がり検知面Ｐｒよりも上方に物体が存在しなければ、対象者４０が臥床の状態であると判定する。また、起き上がり検知面Ｐｒよりも上方に物体が存在し、起立検知面Ｐｓよりも上方に物体が存在しなければ、対象者４０が上半身を起こした起き上がりの状態と判定する。起き上がり検知面Ｐｒはベッド面の上方に設定されるから、適正な起き上がり検知面Ｐｒを設定しておけば、寝返りや布団の浮き上がりを起き上がりと判定する誤検知はほとんど生じない。また、起立検知面Ｐｓよりも上方に物体が存在する場合には、対象者４０がベッド３０の上で立ち上がっていると判断される。
【０１１７】
上述のように、人認識部２２では、ベッド面Ｐｂを基準に設定した検知面を用いて対象者４０の状態を検知している。この処理は、たとえば、ベッド３０に対象者４０が居ない状態での画像との差分画像を用いる場合に比較すると処理が単純である上に、背景画像を撮像する手間もかからないという利点がある。また、差分画像を用いた場合に、布団などの物体も差分として検出されるから、対象者４０との区別が困難であるが、検知面を用いて対象者４０の状態を判定すれば、この問題は生じない。
【０１１８】
上述の例では、３状態を区別して検出するために、ベッド面Ｐｂの上に３段階の検知面を設定しているが、検知面を３段階に設定することは必須ではなく、１段階または２段階に設定することや、４段階以上の検知面を設定することも可能である。たとえば、システムの使用開始の状態を臥床の状態とする場合には、臥床の状態は必ずしも検知しなくてもよい。すなわち、臥床ではない状態、すなわち、起き上がりの状態や起立の状態を検出できればよく、この場合には２段階の検知面を設定すればよいことになる。
【０１１９】
また、上述の動作において、検知面に対する物体の高さ位置のみを用いているが、検知面によって切り取った面積を用いることにより、物体の大きさも併せて判断してもよい。たとえば、臥床の状態では、Ｚ画像内において臥床検知面Ｐｄで切り取られる面積は、起き上がり検知面Ｐｒと起立検知面Ｐｓで切り取られる面積よりも大きい。また、起き上がりの状態では臥床の状態に比較すると、Ｚ画像内において臥床検知面Ｐｄで切り取られる面積が小さくなり、起き上がり検知面Ｐｒで切り取られる面積が増加する。このような面積の関係を用いることにより、対象者４０の状態（姿勢）をより正確に把握することが可能になる。
【０１２０】
たとえば、ベッド３０の範囲内において、起き上がり検知面Ｐｒで切り取る面積について、臥床検知面Ｐｄで切り取る面積に対する比率が所定の閾値以上であれば、起き上がりの状態と判定すればよい。この閾値を適正に設定すれば、対象者４０が腕を伸ばして伸びをすることにより起き上がり検知面Ｐｒを腕が横切ったとしても、上記比率が閾値よりも小さくなるから、起き上がりの状態として検出されるのを防止することができる。
【０１２１】
たとえば、図１８（Ａ）、図１９（Ａ）の白抜きの領域は、それぞれ臥床検知面Ｐｄにおいて対象者４０の存在する領域を示し、図１８（Ｂ）、図１９（Ｂ）の白抜きの領域は、それぞれ起き上がり検知面Ｐｒにおいて対象者４０の存在する領域を示している。図１８、図１９において、（Ａ）図での白抜きの領域の面積をＥ１、（Ｂ）図での白抜きの領域の面積をＥ２として、比率Ｅ２／Ｅ１を求め、この比率Ｅ２／Ｅ１を適宜の閾値と比較すると、起き上がりの状態（図１８）とそれ以外の状態（図１９）とを区別することができる。
【０１２２】
同様にして、ベッド３０の範囲内において、起立検知面Ｐｓで切り取る面積について、臥床検知面Ｐｄで切り取る面積に対する比率が所定の閾値以上であれば、対象者４０がベッド３０の上で立ち上がっている起立の状態と判定する。対象者４０が起き上がりの状態において起立検知面Ｐｓを超える部分があったとしても、起立している状態に比べると、起立検知面Ｐｓを横切る面積は小さいと考えられるから、起立の状態と起き上がりの状態とを区別することができる。
【０１２３】
たとえば、図２０（Ａ）、図２１（Ａ）の白抜きの領域は、それぞれ臥床検知面Ｐｄにおいて対象者４０の存在する領域を示し、図２０（Ｃ）、図２１（Ｃ）の白抜きの領域は、起立検知面Ｐｓにおいて対象者４０の存在する領域を示している。なお、図示例では、図２０（Ｃ）において白抜きの領域はなく、対象者４０は存在しない。また、図２０（Ｂ）、図２１（Ｂ）の白抜きの領域は、起き上がり検知面Ｐｒにおいて対象者４０が存在する領域を示している。ここで、図２０、図２１において、（Ａ）図での白抜きの領域の面積をＥ１、（Ｃ）図での白抜きの領域の面積をＥ３として、比率Ｅ３／Ｅ１を求め、この比率Ｅ３／Ｅ１を適宜の閾値と比較すると、起き上がりの状態（図２０）と起立の状態（図２１）とを区別することができる。
【０１２４】
ところで、ベッド３０の範囲内の人の状態（姿勢）ではなく、ベッド３０の範囲外の人の状態は床面の高さを基準に用いて検出することができる。すなわち、図２２に示すように、床５２からの高さにより倒れ閾値Ｔｈｆを定めておき、Ｚ画像においてベッド３０の範囲外となる画素が倒れ閾値Ｔｈｆよりも大きいＺ値を持つときに、対象者４０の少なくとも一部がベッド３０の範囲外に出ていると判定することができる。倒れ閾値Ｔｈｆは、床５２よりも高いがベッド面Ｐｂよりも低い値に設定する。たとえば、床５２から１０ｃｍに設定すればよい。
【０１２５】
上述の処理では、ベッド３０の範囲外に出ていることを倒れ閾値Ｔｈｆのみで判定しているが、ベッド３０の範囲外では差分画像を併せて用いることにより対象者４０がベッド３０の範囲外に出ていることを検知してもよい。これには、システムの使用開始時に撮像した距離画像から得られたＺ画像を背景画像として記憶しておき、その後に得られるＺ画像を背景画像から減算した差分画像を二値化する。
【０１２６】
システムの使用開始時に、対象者４０は臥床の状態であるからベッド３０の範囲外には存在していない。そのため、背景画像においてベッド３０の範囲外には物体は存在しない。これに対して、対象者４０がベッド３０の範囲外に出た状態のＺ画像を背景画像から減算した画像では、ベッド３０の範囲外に物体が存在している。したがって、差分画像を二値化した画像においてベッド３０の範囲外の領域において変化した領域の面積（画素数）を規定の閾値と比較し、面積が閾値以上であると、対象者４０がベッド３０の範囲外に出たと判定することができる。差分画像においてベッド３０の範囲外の値は、実質的に床５２からの高さに相当するから、二値化の閾値は倒れ閾値Ｔｈｆを用いればよい。
【０１２７】
また、システムの使用開始を指示する際に、使用開始を指示する看護師あるいは介護士は、ヘッドボードの近傍の領域に存在すると考えられる。ただし、この領域は対象者４０を検出する領域外であり、また、差分画像を二値化したときには床５２とともに除去されるので、背景画像に含めても問題は生じない。
【０１２８】
上述したように、ベッド認識部２１によりベッド３０の位置が認識され、人認識部２２によりベッド３０に対する対象者４０の姿勢が検出される。すなわち、ベッド３０と対象者４０とが分離されるから、次に、動作判定部２３において、対象者４０の動作が分類される。
【０１２９】
分類する動作としては、対象者４０がベッド３０の端部に腰を掛けている状態（以下、「腰掛け」という）がある。「腰掛け」は、ベッド３０の４辺のいずれかについて、ベッド３０の範囲内と範囲外との領域に対象者４０が跨って存在している状態として検出する。ベッド認識部２１では、ベッド３０の範囲内と範囲外との領域を分離することができ、人認識部２３では、ベッド３０の範囲内と範囲外との領域における人の存在を検出することができる。
【０１３０】
このことを利用して、ベッド３０の範囲内と範囲外とにおいて人の存在領域が連続ないし近接している場合に、同一の人がベッド３０の端部に「交差」していると判断する。そして、この場合を「腰掛け」と判定する。ここに、「近接」は、ベッド３０の範囲内と範囲外とにおける人の存在領域の輪郭線間の距離を求め、求めた距離が規定した範囲内であることを意味する。輪郭線間の距離はベッド３０の着目している辺に直交する方向の複数本の直線上で求めた平均値を用いればよい。
【０１３１】
また、ベッド３０の範囲内と範囲外とに占める人の面積の全体に対して、ベッド３０の範囲外に占める人の面積の比率を求める。この比率について適宜の基準範囲を設定し、比率が基準範囲内であれば「腰掛け」と判定してもよい。この場合、対象者４０の体型などに応じて「腰掛け」の判定精度を高めるように、面積の比率に対する基準範囲を調節することが可能である。
【０１３２】
さらに、上述した両者の判定を組み合わせることによって、「腰掛け」と判定することも可能である。すなわち、交差している状態において、面積の比率を判定すれば、ベッド３０の範囲内と範囲外とにおいて検出された人が対象者４０である可能性が高くなり、判定の信頼度が向上する。
【０１３３】
ところで、ベッド３０には落下防止用の柵を設けている場合がある。とくに、ベッド３０から落下する可能性が高い対象者４０に対しては柵を設けることが必要になる。このような柵を設けている場合であっても、ベッド３０に出入りするためにベッド３０の少なくとも１箇所には柵のない出入口を設けることになる。
【０１３４】
このように柵を設けている場合には、Ｚ画像において出入口の位置を図示しない入力装置によってあらかじめ登録しておく。ベッド３０に対する柵の取付位置は、複数箇所（たとえば、６箇所）から選択することが多いから、入力装置としてはディップスイッチなどを用いて柵の取付位置を選択する構成を採用すればよい。
【０１３５】
入力装置により登録された出入口以外の領域において上述した「交差」が検出された場合には、柵を乗り越えている状態（以下、「乗り越え」という）と判定する。
【０１３６】
「乗り越え」の判定には、上述した「腰掛け」と同様に、ベッド３０の範囲内と範囲外とに占める面積を用いることもできる。すなわち、出入口以外の場所で、ベッド３０の範囲内と範囲外とに占める人の面積の全体に対して、ベッド３０の範囲外に占める人の面積の比率を求める。この比率について適宜の基準範囲を設定し、比率が基準範囲を超えていると「乗り越え」と判定する。この場合、基準範囲を適宜に設定しておけば、柵の外に腕を投げ出している状態と「乗り越え」とを区別することが可能になる。
【０１３７】
動作判定部２３においては、対象者４０が「離床」の初期行動として、ベッド３０から腰を上げてベッド３０から離れたときの動作（以下、「離床初期」という）を検出することも可能である。この場合、ベッド３０の範囲内と範囲外との領域に占める人の面積を用い、「腰掛け」や「乗り越え」と同様に、ベッド３０の範囲内と範囲外とに占める人の面積の合計を人の全体の面積とする。人の全体の面積に対するベッド３０の範囲外における人の面積の比率を求め、この値が１に近い値になる場合（つまり、ベッド３０の範囲内では人が検出されないか、検出されても微小である場合）、「離床初期」と判定する。言い換えると、１に近い基準範囲を設定し、前記比率が基準範囲を超えるときに「離床初期」と判定する。
【０１３８】
「離床初期」を検出することにより、対象者４０を追跡することなく離床の初期段階を検出することが可能になる。対象者４０を追跡する技術を用いると、何らかの原因で追跡が途切れることがあるが、上述の技術により、時間経過に関係なく「離床初期」を検出することが可能になる。
【０１３９】
ところで、ベッド３０から対象者４０が落下した場合、あるいはベッド３０から対象者４０が離床しようとして転倒した場合には、ただちに報知する必要がある。以下では、これらの状態をまとめて「転倒」という。動作判定部２３では、「転倒」を検出する際に、状態が継続している時間を計測する。すなわち、ベッド３０の範囲外においてのみ、床５２から規定の高さ（たとえば、３０ｃｍ）以下の物体が検出されている場合に、当該物体を人と判定する。動作判定部２３では、人が検出されている状態が規定した判定時間に達するまで継続しているときに「転倒」と判定する。判定時間は、たとえば１０秒程度に設定すればよい。
【０１４０】
上述した「腰掛け」「乗り越え」「離床初期」「転倒」は、時間経過とは無関係に特定の状態に着目して判定しているが、対象者４０の行動履歴を追跡すれば、判定精度をさらに高めることができる。すなわち、動作判定部２３において、人認識部２２で検出された対象者４０が占める領域の代表点（たとえば、重心）の位置を追跡する。
【０１４１】
ここに、人認識部２２では、対象者４０について、ベッド３０の範囲内での臥床、起き上がり、立ち上がりの各状態を検知面を用いて判定し、またベッド３０の範囲外における存在を検知面に相当する倒れ閾値Ｔｈｆを用いて判定している。したがって、各検知面で切り取ることにより得られた対象者４０の存在領域については、ベッド３０の範囲内と範囲外とにおいてそれぞれ重心を求めることが可能である。ただし、対象者４０が占める領域は３次元で検出して重心を求めてもよく、また、ベッド３０の範囲内と範囲外とにおいてＸ値の最頻値とＹ値の最頻値とを、それぞれ追跡する代表点のＸ値とＹ値とに用いることも可能である。
【０１４２】
ベッド３０の範囲内と範囲外との人の領域を統合して人の位置を判断している場合に、規定した時間内における代表点の移動距離を適宜の閾値と比較すれば、代表点の位置移動が連続的に生じているか否かを判断することができる。したがって、連続性のない位置移動であればノイズとして排除することができる。このように対象者４０の代表点の位置を追跡すれば、対象者４０の身体の一部分の移動や寝具の移動のように、対象者４０の移動ではないノイズを排除することが可能になる。
【０１４３】
さらに、対象者４０の代表点は、ベッド３０の範囲内を起点としているから、代表点のが、ベッド３０の範囲内に存在する状態からベッド３０の端部に移動し、さらにベッド３０の範囲外に出るという移動経路を辿る場合に、離床と判断することができる。この条件を付加することによって、ベッド３０の範囲外を起点とする移動経路は、対象者４０ではない人（たとえば、看護師、介護士、見舞客など）によると判定することが可能になる。すなわち、ベッド３０の範囲外を起点とした移動経路を追跡している場合には、動作判定部２３では、離床と判定しないようにする。
【０１４４】
ただし、対象者４０が離床の後にベッド３０に戻るという動作では、対象者４０がベッド３０に戻ったことを検出する必要がある。そこで、ベッド３０の範囲外を起点とする移動経路で代表点がベッド３０の範囲内に達した後、ベッド３０の範囲内に存在する状態か「腰掛け」の状態が継続する時間が規定時間に達したことをもってベッド３０に戻ったと判定する。この判定後は、対象者４０の移動経路を追跡する際の起点をベッド３０の範囲内に更新する。すなわち、対象者４０がベッド３０に戻れば、自動的に初期の状態に復帰させることが可能になる。
【０１４５】
ところで、上述のような検知対象か検知対象外かを自動判断する技術は、装置を使用する環境や対象者４０によっては不要であることもある。このような場合に備えて、検知対象か検知対象外かの自動判断を行うか行わないかの選択を可能にしておくのが望ましい。また、検知対象外の物体を追跡した場合、自動的に検知対象外と確定して報知をまったく行わないようにするのではなく、装置側で確認の報知を行ってから所定時間内に報知の解除が行われなければ、他装置に離床の報知を行うようにしてもよい。
【０１４６】
報知部２４は、行動監視処理部２０で検出した対象者４０の動作に応じた報知を行う。ここに、報知部２４は、対象者４０に合わせて、対象者４０のどの動作に対してどのように報知するかを設定する機能を有している。たとえば、対象者４０が患者や高齢者であると、起き上がりの状態や腰掛けの状態であっても看護師や介護士に報知しなければならない場合もある。
【０１４７】
本実施形態の構成では、距離画像センサ１０を用いて対象者４０を撮像するだけで、対象者４０の各種動作を判別することができる。しかも、どの動作に対して報知を行うかも任意に設定することが可能になる。どの動作で報知を行うかは、報知部２４にディップスイッチなどを設けて選択すればよい。
【０１４８】
報知部２４は、ベッド３０を設けた部屋に配置することができるが、ナースセンタに報知することが望ましい。たとえば、報知部２４において、ナースコールボタンと分岐して用いる接点出力を発生させる機能を設けておけば、ナースコールボタンを押さないかもしくは押せない患者でも離床を知らせることが可能である。
【０１４９】
報知部２４は、ナースコールボタンのような操作装置と関連付けて動作させてもよい。すなわち、報知部２４において、動作判定部２３の判定結果に加えて人が操作する操作装置からの入力を受け付けるようにしてもよい。この場合、動作判定部２３による判定結果と操作装置による入力との組み合わせにより、動作判定部２３による判定結果の報知の有無を切り換える。
【０１５０】
たとえば、絶対安静など静止状態が要求されている対象者４０には、対象者４０が移動したことが動作判定部２３に検出されたときと、ナースコールボタンが押されたときとの論理和で、報知部２４がナースセンタに報知する動作を選択すればよい。また、移動が許容されている対象者４０には、対象者４０が移動したことが動作判定部２３に検出された時点ではナースセンタに報知せずに仮報知状態とする動作を選択すればよい。この場合、報知部２４は、仮報知状態から所定時間内にナースコールボタンが押されると仮報知状態を解除して元の状態に復帰し、仮報知状態から所定時間内にナースコールボタンが押されないとナースセンタに報知する動作を行う。
【０１５１】
上述のように、報知部２４において、距離画像に基づく判定結果だけではなく、ナースコールボタンのような操作装置からの入力を併せて用いることにより、対象者４０の動作に応じた望ましい報知が可能になる。ここに、操作装置は、ナースコールボタンに限定されず、後述するように、ベッドサイド端末のタッチパネルなどであってもよい。
【０１５２】
また、建物内に敷設したナースコール通信網や構内ネットワーク（ＬＡＮ）などによる通信機能を報知部２４に設け、行動監視処理部２０の判定結果をナースセンタに通知すれば、対象者４０の動作の内容を遠隔監視することが可能になる。この場合、対象者４０の各種動作状態のすべてを状態信号として出力し、報知受け側の機器（ナースコール親機など）で所望動作のみを知らせるようにマスクしてもよい。また、ナースコール親機と連動した構内ＰＨＳ交換機や情報端末向け無線送信機などに対象者４０の動作状態情報を重畳させることで、ＰＨＳやページャなどを用いて看護師や介護士がナースセンタに居なくても対象者４０の行動を把握し、迅速な対応をとることが可能になる。
【０１５３】
本実施形態で用いる距離画像センサ１０は、上述したように、強度変調光を投光するとともに、強度変調光を変調信号に同期する複数の受光タイミングで受光したときの受光量を用いて距離画像を生成している。したがって、受光量を平均化するか、特定の受光タイミングの受光量を用いると濃淡画像を得ることが可能である。
【０１５４】
さらに、発光素子１３から強度変調光を投光して撮像素子１５により撮像する期間と、発光素子１３から強度変調光を投光せずに撮像素子１５により撮像する期間とを設け、両期間の受光量を用いて環境光の成分を除去した濃淡画像を得ることも可能である。環境光の成分を除去した濃淡画像では、強度変調光が照射された物体のみを撮像することができ、しかも強度変調光に近赤外線を用いることにより、対象者４０の就寝を妨げず、かつ夜間においても暗視が可能になる。
【０１５５】
したがって、行動監視処理部２０により判別された動作について、目視による確認が必要な場合には、濃淡画像に切り替える機能を設けてもよい。ここに、濃淡画像は、行動監視処理部２０により判別された動作に対して報知がなされた時点以降について表示してもよいが、所定時間分ずつの濃淡画像を記憶する機能を報知部２４に設けておき、報知の時点から遡って濃淡画像を表示してもよい。このような機能を設けると、動作の通知が行われるだけではなく、動作の内容を看護師や介護士が目視して確認できるから、より適切な対応をとることができる。
【０１５６】
ただし、この機能は、看護や介護に必要であって対象者４０あるいは家族の同意が得られる場合には利用することが可能である。また、顔が見えることが問題である場合には、顔の部分を検出する機能を設けておき、デジタル処理によって顔の部分にマスクをかけることにより、顔の表示を禁止してもよい。これらの動作は、濃淡画像を距離画像に読み替えてもよい。また、距離画像と濃淡画像との両方を用いてもよい。すなわち、以下の説明において、濃淡画像について説明する記憶や伝送の処理は、距離画像と濃淡画像との少なくとも一方について行うことが可能である。距離画像は、対象者４０の行動を把握するための情報量は十分であるが、個人を特定するための情報量が少ないから、プライバシを保護する上では濃淡画像よりも優れている。
【０１５７】
濃淡画像を記憶する場合の動作について、さらに詳しく説明する。報知部２４は、図２３に示すように、濃淡画像を記憶する画像記憶部２４１と、画像を他装置に伝送する通信処理部２４２とを備える。画像記憶部２４１は、距離画像センサ１０から出力される最新の一定時間（たとえば、３０秒）の濃淡画像を動画（たとえば、３０フレーム／秒）として記憶する。すなわち、画像記憶部２４１は、リングバッファのように記憶する濃淡画像を次々に更新する機能を有する。また、通信処理部２４２は、画像記憶部２４１に記憶している濃淡画像と、距離画像センサ１０から出力されている濃淡画像とを選択して他装置に伝送する。ここに、他装置は、ナースセンタに設けた受信装置などを想定している。
【０１５８】
通信処理部２４２がナースセンタに濃淡画像を伝送するタイミングは、動作判定部２３の出力内容で決定される。動作判定部２３は、人の特定の動作を検知する特定動作検知部２３１を備えており、特定動作検知部２３１が検知する動作は、離床や転倒などである。特定動作検知部２３１が、距離画像に基づいて定められた特定の動作を検知すると、報知部２４は、動作が検知された時点の前後の所定期間（たとえば、前後に３０秒ずつで１分間）における濃淡画像を画像記憶部２４１から読み出して通信処理部２４２から他装置に伝送する。ここに、報知部２４は、必要に応じて距離画像センサ１０から出力されている濃淡画像も併せて他装置に伝送することができる。
【０１５９】
このような動作によって、ナースセンタに設けた受信装置のような他装置において、対象者４０が特定の行動を行った前後の動きを確認することができる。すなわち、病室に出向かなくとも、対象者４０の特定の行動を確認することが可能になる。
【０１６０】
上述の動作では、報知部２４は、濃淡画像を他装置に伝送する通信処理部２４２を備えているが、図２４に示すように、通信処理部２４２に代えて、所定期間における濃淡画像を記憶する着目画像記憶部２４３を備えていてもよい。着目画像記憶部２４３は、特定動作検知部２３１が定められた特定の動作を検知したことを契機とし、検知時点の前後の所定期間における濃淡画像を記憶する。着目画像記憶部２４３に記憶する濃淡画像は、画像記憶部２４１に記憶されている濃淡画像と、距離画像センサ１０から出力されている濃淡画像とを用いる。すなわち、着目画像記憶部２４３が記憶する濃淡画像のうち、動作の検知時点よりも前の濃淡画像は画像記憶部２４１から転送させ、動作の検知時点よりも後の濃淡画像は距離画像センサ１０から出力されている濃淡画像を用いる。
【０１６１】
上述のように、着目画像記憶部２４３は、対象者４０が特定の動作を行った前後の所定期間における濃淡画像を保存するから、対象者４０の動作の前後の行動を事後に確認することができる。この構成では、報知部２４において濃淡画像を記憶し、個人のプライバシにかかわる濃淡画像を他装置に伝送しないから、セキュリティを確保しやすくなる。セキュリティをより高めるには、着目画像記憶部２４３に記憶させる濃淡画像を暗号化すればよい。
【０１６２】
着目画像記憶部２４３に記憶させる濃淡画像には、記憶した日時を対応付けておくことが好ましい。また、着目画像記憶部２４３は、フラッシュメモリあるいはハードディスク装置のように記憶容量の大きい記憶装置を用い、さらに、装置に対して着脱可能な可搬型であることが好ましい。この場合、着目画像記憶部２４３を装置から分離して回収し、複数の対象者４０の特定の動作と、当該動作の前後の行動との関係を一括して分析することが可能になる。
【０１６３】
さらに、図２５に示すように、報知部２４に、上述した画像記憶部２４１と通信処理部２４２と着目画像記憶部２４３とを設けてもよい。この構成を採用する場合、特定動作検知部２３１が特定の動作を検知したときに、検知時点の前後の所定期間における濃淡画像を他装置にただちに伝送するのではなく、着目画像記憶部２４３が濃淡画像を一旦記憶させる。このとき、通信処理部２４２は、特定動作検知部２３１が特定の動作を検知したことのみを他装置に通知する。
【０１６４】
この動作では、他装置から濃淡画像の伝送が要求されると、着目画像記憶部２４３に記憶されている濃淡画像を読み出し、通信処理部２４２を通して他装置に濃淡画像を伝送する。また、通信処理部２４２が濃淡画像の伝送を行わない構成であってもよい。報知部２４が、他装置からの要求に対して着目画像記憶部２４３から濃淡画像を読み出し、読み出した濃淡画像を他装置に転送する構成では、すべての濃淡画像を他装置に伝送する場合に比較して、通信トラフィックを低減させることになる。すなわち、他装置では、必要な濃淡画像のみを指定して報知部２４から伝送させるから、通信トラフィックが低減され、また他装置で処理する濃淡画像の処理量が低減されることになる。しかも、濃淡画像は、ベッド３０ごとに設けた監視装置の着目画像記憶部２４３に分散して記憶され、他装置では複数台のベッド３０について濃淡画像を蓄積する必要がないから、他装置は大きな記憶容量を必要としない。
【０１６５】
さらに、通信処理部２４２の機能は、特定の動作が検知されたことを他装置に通知する機能のみとし、着目画像記憶部２４３に記憶された濃淡画像は、他装置に伝送しないようにすれば、個人情報を含む可能性がある濃淡画像のセキュリティを確保しやすくなる。この場合もセキュリティを高めるには、濃淡画像を暗号化すればよい。
【０１６６】
以上説明した動作は、濃淡画像を用いる場合を例として説明したが、上述したように、濃淡画像の記憶や伝送の処理は、距離画像と濃淡画像との少なくとも一方について行うことが可能である。
【０１６７】
ところで、ベッド認識部２１、人認識部２２、動作判定部２３、報知部２４は、コンピュータでプログラムを実行することにより実現させてもよい。コンピュータは、汎用のコンピュータのほか、ベッドサイド端末として知られている病室用のコンピュータを用いてもよい。ベッドサイド端末は、タッチパネルを備え、電子カルテの表示、投薬オーダなどの医療情報を集中管理する医療情報サーバなどとＬＡＮを構築している。また、インターネットのような広域通信網の端末装置としての機能や、テレビジョン放送の視聴を行う機能なども備える。
【０１６８】
したがって、専用の装置を用いることなく、汎用のコンピュータあるいは既存のコンピュータでプログラムを実行することにより、上述の機能が提供される。また、この場合、専用の装置を用いる場合に比較してコスト増が抑制される。この種のコンピュータを用いる場合に、他装置との通信にはＩＥＥＥ８０２．３などの通信仕様を用い、距離画像センサ１０との接続は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ８０２．３などの通信仕様を用いればよい。
【０１６９】
上述のように、報知部２４は、動作判定部２３の判定結果だけではなく、操作装置からの入力を併せて用いることにより報知の有無を切り換える構成を採用する場合がある。したがって、上述のように、コンピュータでプログラムを実行する場合には、操作装置として、キーボードやタッチパネルなどを用いればよい。
【０１７０】
いま、図２６に示すように、タッチパネルを備えたベッドサイド端末２５を用いることを想定する。対象者４０がベッド３０から移動することが禁止されている場合、報知部２４は、動作判定部２３により対象者４０の移動が検出されるか、ベッドサイド端末２５のタッチパネルに触れられたときに、ナースセンタに報知すればよい。
【０１７１】
また、対象者４０がベッド３０からの移動を許容されている場合、報知部２４は、動作判定部２３により対象者４０の移動が検出されると仮報知状態になり、その後、所定時間内にベッドサイド端末２５のタッチパネルに触れられると、仮報知状態を解除する。この場合、仮報知状態になってから所定時間を超えてもタッチパネルに接触がなければ、報知部２４はナースセンタに報知する動作を行う。すなわち、対象者４０がベッド３０の上で起き上がり、離床する前の行動であると判断してナースセンタに報知する。なお、仮報知状態においてベッドサイド端末２５のタッチパネルに触れる行為は、対象者４０が意図的に仮報知状態を解除する場合のほか、ベッドサイド端末によってテレビジョン放送を視聴する場合、診療案内を見る場合などがある。これらの場合には、ナースセンタへの報知は行わずに仮報知状態を解除する。
【０１７２】
さらに、タッチパネルに触れたときに、タッチパネル上の操作内容と連動して仮報知状態の解除判断を行うようにしてもよい。この動作では、意図的に他の機能操作をしようとしているのか、離床行動を起す際して体が触れて無意味な操作部を支持したのかを判断して仮報知状態の解除をより正確に行うことができる。
【符号の説明】
【０１７３】
１０ 距離画像センサ
２０ 行動監視処理部
２１ ベッド認識部
２２ 人認識部
２３ 動作判定部
２３１ 特定動作検知部
２４ 報知部
２４１ 画像記憶部
２４２ 通信処理部
２４３ 着目画像記憶部
２５ ベッドサイド端末
３０ ベッド
３７ 分割領域
４１ 物体
４２ マスク領域
５２ 床面
Ｐｄ 臥床検知面
Ｐｒ 起き上がり検知面
Ｐｓ 起立検知面
【特許請求の範囲】
【請求項１】
画素値が物体までの距離値である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像センサと、前記距離画像を用いて前記ベッドの位置を抽出するベッド認識部と、前記距離画像のうち前記ベッド認識部により認識した前記ベッドの範囲内と範囲外とにおいて人が占有する領域を検出する人認識部と、前記ベッド認識部により検出した前記ベッドと前記人認識部により検出した人の領域との組み合わせにより前記ベッドに対する人の動作を判別する動作判定部と、動作判定部による判定結果を報知する報知部とを備えることを特徴とする監視装置。
【請求項２】
前記ベッド認識部は、前記ベッドを置いた床面に対して適宜高さ以上である高さの度数分布を前記ベッドの長手方向および短手方向においてそれぞれ求め、度数が適宜の閾値を横切る位置を、前記ベッドの長手方向および短手方向における端部の位置として検出することを特徴とする請求項１記載の監視装置。
【請求項３】
前記ベッド認識部は、前記ベッドの長手方向および短手方向における端部に囲まれた矩形の範囲内を前記ベッドの範囲内とし、前記ベッドの範囲内の領域を前記ベッドの長手方向において複数の分割領域に分割し、前記分割領域ごとに高さに関する代表値を求め、さらに前記代表値から所定のオフセット値を減算した値を、前記ベッドに関して前記分割領域ごとの基準の高さに用いることを特徴とする請求項２記載の監視装置。
【請求項４】
前記ベッド認識部は、前記分割領域の前記代表値として、前記分割領域ごとの高さの平均値と最頻値との一方を用いることを特徴とする請求項３記載の監視装置。
【請求項５】
前記ベッド認識部は、前記分割領域の前記代表値に上限値を設けてあり、前記代表値が前記上限値を超える場合はこの代表値を採用しないことを特徴とする請求項３又は４記載の監視装置。
【請求項６】
前記ベッド認識部は、前記分割領域の前記代表値に対する高さ閾値を設けてあり、所定個数以上の前記分割領域において前記代表値が前記高さ閾値を超える場合に、前記ベッドの位置が異常であると判断することを特徴とする請求項３又は４記載の監視装置。
【請求項７】
前記ベッド認識部は、前記ベッドの位置を抽出した直後に、前記ベッドの範囲内であって前記分割領域の基準の高さに対して規定の除外閾値よりも上方に位置する物体の存在範囲を、前記人認識部において前記人を検出する領域から除外するマスク領域として記憶することを特徴とする請求項３又は４記載の監視装置。
【請求項８】
前記人認識部は、前記ベッド認識部が検出した前記分割領域ごとの基準の高さに対して上方に所定距離だけ離れた検知面を少なくとも１個設定し、前記検知面を横切る物体が検出されると当該検知面について規定した前記ベッドの範囲内での前記人の動作であると判定することを特徴とする請求項３〜７のいずれか１項に記載の監視装置。
【請求項９】
前記人認識部は、前記ベッド認識部が検出した前記ベッドの範囲外において前記ベッドを置いた床から所定高さの倒れ閾値を設定し、前記ベッドの範囲外において前記倒れ閾値より高い位置に物体が検出されると前記ベッドの範囲外に前記人が存在すると判定することを特徴とする請求項３〜８のいずれか１項に記載の監視装置。
【請求項１０】
前記人認識部は、前記ベッド認識部が検出した前記ベッドの範囲外における背景画像を記憶し、その後に得られる画像について前記背景画像に対する変化が生じた領域の面積が規定の閾値であるときに前記ベッドの範囲外に前記人が存在すると判定することを特徴とする請求項３〜８のいずれか１項に記載の監視装置。
【請求項１１】
前記人認識部は、前記検知面として、前記人の前記ベッドの上での臥床の状態を検知する臥床検知面と、前記人が前記ベッドの上での起き上がりの状態を検知する起き上がり検知面とを有し、前記人が前記臥床検知面と前記起き上がり検知面とを横切るときに、前記臥床検知面が切り取る面積に対して前記起き上がり検知面が切り取る面積の比率を求め、この比率が所定の閾値以上であるときに起き上がりの状態と判定することを特徴とする請求項８記載の監視装置。
【請求項１２】
前記人認識部は、前記検知面として、前記人の前記ベッドの上での臥床の状態を検知する臥床検知面と、前記人が前記ベッドの上での立ち上がりの状態を検知する起立検知面とを有し、前記人が前記臥床検知面と前記起立検知面とを横切るときに、前記臥床検知面が切り取る面積に対して前記起立検知面が切り取る面積の比率を求め、この比率が所定の閾値以上であるときに立ち上がりの状態と判定することを特徴とする請求項８記載の監視装置。
【請求項１３】
前記動作判定部は、前記ベッドの長手方向および短手方向の端部に対して前記人が占める領域が交差しているときに、前記ベッドに前記人が腰を掛けている状態と判定することを特徴とする請求項３〜１２のいずれか１項に記載の監視装置。
【請求項１４】
前記動作判定部は、前記ベッドの長手方向および短手方向の端部において前記人が占める領域が前記ベッドの範囲内と範囲外とにまたがっており、かつ前記人が占める領域の面積に対して前記ベッドの範囲外において前記人が占める領域の面積の比率が規定した基準範囲内であれば、前記ベッドに前記人が腰を掛けている状態と判定することを特徴とする請求項３〜１２のいずれか１項に記載の監視装置。
【請求項１５】
前記動作判定部は、前記ベッドに落下防止のための柵を設けている場合に、柵の位置をあらかじめ指定可能であり、前記柵に対して前記人が占める領域が交差しているときに、前記柵を前記人が乗り越えている状態と判定することを特徴とする請求項３〜１２のいずれか１項に記載の監視装置。
【請求項１６】
前記動作判定部は、前記ベッドに落下防止のための柵を設けている場合に、柵の位置をあらかじめ指定可能であり、前記人が占める領域が前記柵に対して前記ベッドの範囲内と範囲外とにまたがっており、かつ前記人が占める領域の面積に対して前記ベッドの範囲外において前記人が占める領域の面積の比率が規定した基準範囲を超えているときに、前記柵を前記人が乗り越えている状態と判定することを特徴とする請求項３〜１２のいずれか１項に記載の監視装置。
【請求項１７】
前記動作判定部は、前記ベッドの範囲内と範囲外とにおいて前記人が占める領域の面積に対して前記ベッドの範囲外において前記人が占める領域の面積の比率が規定した基準範囲を超えるときに離床を開始したと判定することを特徴とする請求項３〜１６のいずれか１項に記載の監視装置。
【請求項１８】
前記動作判定部は、前記ベッドの範囲外において前記ベッドを置いた床面に対して規定の高さ以下の物体が検出される状態が規定の判定時間継続するときに、前記人が転倒している状態と判定することを特徴とする請求項３〜１７のいずれか１項に記載の監視装置。
【請求項１９】
前記動作判定部は、前記ベッドの範囲内と範囲外とにおいて検出される前記人の代表点の位置を追跡し、位置の移動が不連続であるときには前記人の移動と判定しないことを特徴とする請求項３〜１８のいずれか１項に記載の監視装置。
【請求項２０】
前記動作判定部は、前記人の前記代表点の位置を追跡する際に、前記ベッドの範囲内を起点とする場合に前記人の行動と判定し、前記ベッドの範囲外を起点とする場合であって前記ベッドの範囲内に移動した後に前記ベッドの範囲内である状態の継続時間が規定時間に達すると追跡の起点を前記ベッドの範囲内に更新することを特徴とする請求項１９記載の監視装置。
【請求項２１】
前記距離画像センサは、距離画像について規定された座標系を前記ベッドを置いた空間の座標系に変換する機能を備えることを特徴とする請求項１〜２０のいずれか１項に記載の監視装置。
【請求項２２】
前記報知部は、前記人の動作と報知内容とを対応付ける機能を備えることを特徴とする請求項１〜２１のいずれか１項に記載の監視装置。
【請求項２３】
前記報知部は、別に設けた受信装置に報知内容を通知する通信機能を備えることを特徴とする請求項１〜２２のいずれか１項に記載の監視装置。
【請求項２４】
前記報知部は、前記動作判定部の判定結果に加えて人が操作する操作装置からの入力を受け付け、前記動作判定部による判定結果と前記操作装置による入力との組み合わせにより、前記動作判定部による判定結果の報知の有無を切り換えることを特徴とする請求項１〜２３のいずれか１項に記載の監視装置。
【請求項２５】
前記距離画像センサは、距離画像とともに濃淡画像を生成する機能を有し、前記報知部は前記人の動作の報知後に距離画像と濃淡画像との少なくとも一方を出力することを特徴とする請求項１〜２４のいずれか１項に記載の監視装置。
【請求項２６】
前記動作判定部は、前記人の特定の動作を検知する特定動作検知部を備え、前記報知部は、前記距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、前記特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における前記距離画像と前記濃淡画像との少なくとも一方を前記画像記憶部および前記距離画像センサから他装置に伝送する通信処理部とを備えることを特徴とする請求項２５記載の監視装置。
【請求項２７】
前記動作判定部は、前記人の特定の動作を検知する特定動作検知部を備え、前記報知部は、前記距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、前記特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における前記距離画像と前記濃淡画像との少なくとも一方を記憶する着目画像記憶部とを備えることを特徴とする請求項２５記載の監視装置。
【請求項２８】
前記動作判定部は、前記人の特定の動作を検知する特定動作検知部を備え、前記報知部は、前記距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、前記特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における前記距離画像と前記濃淡画像との少なくとも一方を記憶する着目画像記憶部と、前記特定動作検知部が人の特定の動作を検知したことを他装置に通知する通信処理部とを備えることを特徴とする請求項２５記載の監視装置。
【請求項２９】
コンピュータを、画素値が物体までの距離値である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像センサから得られた前記距離画像を用いて前記ベッドの位置を抽出するベッド認識部と、前記距離画像のうち前記ベッド認識部により認識した前記ベッドの範囲内と範囲外とにおいて人が占有する領域を検出する人認識部と、前記ベッド認識部により検出した前記ベッドと前記人認識部により検出した人の領域との組み合わせにより前記ベッドに対する人の動作を判別する動作判定部と、動作判定部による判定結果を報知する報知部として機能させるためのプログラム。
【請求項１】
画素値が物体までの距離値である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像センサと、前記距離画像を用いて前記ベッドの位置を抽出するベッド認識部と、前記距離画像のうち前記ベッド認識部により認識した前記ベッドの範囲内と範囲外とにおいて人が占有する領域を検出する人認識部と、前記ベッド認識部により検出した前記ベッドと前記人認識部により検出した人の領域との組み合わせにより前記ベッドに対する人の動作を判別する動作判定部と、動作判定部による判定結果を報知する報知部とを備えることを特徴とする監視装置。
【請求項２】
前記ベッド認識部は、前記ベッドを置いた床面に対して適宜高さ以上である高さの度数分布を前記ベッドの長手方向および短手方向においてそれぞれ求め、度数が適宜の閾値を横切る位置を、前記ベッドの長手方向および短手方向における端部の位置として検出することを特徴とする請求項１記載の監視装置。
【請求項３】
前記ベッド認識部は、前記ベッドの長手方向および短手方向における端部に囲まれた矩形の範囲内を前記ベッドの範囲内とし、前記ベッドの範囲内の領域を前記ベッドの長手方向において複数の分割領域に分割し、前記分割領域ごとに高さに関する代表値を求め、さらに前記代表値から所定のオフセット値を減算した値を、前記ベッドに関して前記分割領域ごとの基準の高さに用いることを特徴とする請求項２記載の監視装置。
【請求項４】
前記ベッド認識部は、前記分割領域の前記代表値として、前記分割領域ごとの高さの平均値と最頻値との一方を用いることを特徴とする請求項３記載の監視装置。
【請求項５】
前記ベッド認識部は、前記分割領域の前記代表値に上限値を設けてあり、前記代表値が前記上限値を超える場合はこの代表値を採用しないことを特徴とする請求項３又は４記載の監視装置。
【請求項６】
前記ベッド認識部は、前記分割領域の前記代表値に対する高さ閾値を設けてあり、所定個数以上の前記分割領域において前記代表値が前記高さ閾値を超える場合に、前記ベッドの位置が異常であると判断することを特徴とする請求項３又は４記載の監視装置。
【請求項７】
前記ベッド認識部は、前記ベッドの位置を抽出した直後に、前記ベッドの範囲内であって前記分割領域の基準の高さに対して規定の除外閾値よりも上方に位置する物体の存在範囲を、前記人認識部において前記人を検出する領域から除外するマスク領域として記憶することを特徴とする請求項３又は４記載の監視装置。
【請求項８】
前記人認識部は、前記ベッド認識部が検出した前記分割領域ごとの基準の高さに対して上方に所定距離だけ離れた検知面を少なくとも１個設定し、前記検知面を横切る物体が検出されると当該検知面について規定した前記ベッドの範囲内での前記人の動作であると判定することを特徴とする請求項３〜７のいずれか１項に記載の監視装置。
【請求項９】
前記人認識部は、前記ベッド認識部が検出した前記ベッドの範囲外において前記ベッドを置いた床から所定高さの倒れ閾値を設定し、前記ベッドの範囲外において前記倒れ閾値より高い位置に物体が検出されると前記ベッドの範囲外に前記人が存在すると判定することを特徴とする請求項３〜８のいずれか１項に記載の監視装置。
【請求項１０】
前記人認識部は、前記ベッド認識部が検出した前記ベッドの範囲外における背景画像を記憶し、その後に得られる画像について前記背景画像に対する変化が生じた領域の面積が規定の閾値であるときに前記ベッドの範囲外に前記人が存在すると判定することを特徴とする請求項３〜８のいずれか１項に記載の監視装置。
【請求項１１】
前記人認識部は、前記検知面として、前記人の前記ベッドの上での臥床の状態を検知する臥床検知面と、前記人が前記ベッドの上での起き上がりの状態を検知する起き上がり検知面とを有し、前記人が前記臥床検知面と前記起き上がり検知面とを横切るときに、前記臥床検知面が切り取る面積に対して前記起き上がり検知面が切り取る面積の比率を求め、この比率が所定の閾値以上であるときに起き上がりの状態と判定することを特徴とする請求項８記載の監視装置。
【請求項１２】
前記人認識部は、前記検知面として、前記人の前記ベッドの上での臥床の状態を検知する臥床検知面と、前記人が前記ベッドの上での立ち上がりの状態を検知する起立検知面とを有し、前記人が前記臥床検知面と前記起立検知面とを横切るときに、前記臥床検知面が切り取る面積に対して前記起立検知面が切り取る面積の比率を求め、この比率が所定の閾値以上であるときに立ち上がりの状態と判定することを特徴とする請求項８記載の監視装置。
【請求項１３】
前記動作判定部は、前記ベッドの長手方向および短手方向の端部に対して前記人が占める領域が交差しているときに、前記ベッドに前記人が腰を掛けている状態と判定することを特徴とする請求項３〜１２のいずれか１項に記載の監視装置。
【請求項１４】
前記動作判定部は、前記ベッドの長手方向および短手方向の端部において前記人が占める領域が前記ベッドの範囲内と範囲外とにまたがっており、かつ前記人が占める領域の面積に対して前記ベッドの範囲外において前記人が占める領域の面積の比率が規定した基準範囲内であれば、前記ベッドに前記人が腰を掛けている状態と判定することを特徴とする請求項３〜１２のいずれか１項に記載の監視装置。
【請求項１５】
前記動作判定部は、前記ベッドに落下防止のための柵を設けている場合に、柵の位置をあらかじめ指定可能であり、前記柵に対して前記人が占める領域が交差しているときに、前記柵を前記人が乗り越えている状態と判定することを特徴とする請求項３〜１２のいずれか１項に記載の監視装置。
【請求項１６】
前記動作判定部は、前記ベッドに落下防止のための柵を設けている場合に、柵の位置をあらかじめ指定可能であり、前記人が占める領域が前記柵に対して前記ベッドの範囲内と範囲外とにまたがっており、かつ前記人が占める領域の面積に対して前記ベッドの範囲外において前記人が占める領域の面積の比率が規定した基準範囲を超えているときに、前記柵を前記人が乗り越えている状態と判定することを特徴とする請求項３〜１２のいずれか１項に記載の監視装置。
【請求項１７】
前記動作判定部は、前記ベッドの範囲内と範囲外とにおいて前記人が占める領域の面積に対して前記ベッドの範囲外において前記人が占める領域の面積の比率が規定した基準範囲を超えるときに離床を開始したと判定することを特徴とする請求項３〜１６のいずれか１項に記載の監視装置。
【請求項１８】
前記動作判定部は、前記ベッドの範囲外において前記ベッドを置いた床面に対して規定の高さ以下の物体が検出される状態が規定の判定時間継続するときに、前記人が転倒している状態と判定することを特徴とする請求項３〜１７のいずれか１項に記載の監視装置。
【請求項１９】
前記動作判定部は、前記ベッドの範囲内と範囲外とにおいて検出される前記人の代表点の位置を追跡し、位置の移動が不連続であるときには前記人の移動と判定しないことを特徴とする請求項３〜１８のいずれか１項に記載の監視装置。
【請求項２０】
前記動作判定部は、前記人の前記代表点の位置を追跡する際に、前記ベッドの範囲内を起点とする場合に前記人の行動と判定し、前記ベッドの範囲外を起点とする場合であって前記ベッドの範囲内に移動した後に前記ベッドの範囲内である状態の継続時間が規定時間に達すると追跡の起点を前記ベッドの範囲内に更新することを特徴とする請求項１９記載の監視装置。
【請求項２１】
前記距離画像センサは、距離画像について規定された座標系を前記ベッドを置いた空間の座標系に変換する機能を備えることを特徴とする請求項１〜２０のいずれか１項に記載の監視装置。
【請求項２２】
前記報知部は、前記人の動作と報知内容とを対応付ける機能を備えることを特徴とする請求項１〜２１のいずれか１項に記載の監視装置。
【請求項２３】
前記報知部は、別に設けた受信装置に報知内容を通知する通信機能を備えることを特徴とする請求項１〜２２のいずれか１項に記載の監視装置。
【請求項２４】
前記報知部は、前記動作判定部の判定結果に加えて人が操作する操作装置からの入力を受け付け、前記動作判定部による判定結果と前記操作装置による入力との組み合わせにより、前記動作判定部による判定結果の報知の有無を切り換えることを特徴とする請求項１〜２３のいずれか１項に記載の監視装置。
【請求項２５】
前記距離画像センサは、距離画像とともに濃淡画像を生成する機能を有し、前記報知部は前記人の動作の報知後に距離画像と濃淡画像との少なくとも一方を出力することを特徴とする請求項１〜２４のいずれか１項に記載の監視装置。
【請求項２６】
前記動作判定部は、前記人の特定の動作を検知する特定動作検知部を備え、前記報知部は、前記距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、前記特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における前記距離画像と前記濃淡画像との少なくとも一方を前記画像記憶部および前記距離画像センサから他装置に伝送する通信処理部とを備えることを特徴とする請求項２５記載の監視装置。
【請求項２７】
前記動作判定部は、前記人の特定の動作を検知する特定動作検知部を備え、前記報知部は、前記距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、前記特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における前記距離画像と前記濃淡画像との少なくとも一方を記憶する着目画像記憶部とを備えることを特徴とする請求項２５記載の監視装置。
【請求項２８】
前記動作判定部は、前記人の特定の動作を検知する特定動作検知部を備え、前記報知部は、前記距離画像センサが生成した距離画像と濃淡画像との少なくとも一方を記憶する画像記憶部と、前記特定動作検知部が人の特定の動作を検知した時点の前後の所定期間における前記距離画像と前記濃淡画像との少なくとも一方を記憶する着目画像記憶部と、前記特定動作検知部が人の特定の動作を検知したことを他装置に通知する通信処理部とを備えることを特徴とする請求項２５記載の監視装置。
【請求項２９】
コンピュータを、画素値が物体までの距離値である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像センサから得られた前記距離画像を用いて前記ベッドの位置を抽出するベッド認識部と、前記距離画像のうち前記ベッド認識部により認識した前記ベッドの範囲内と範囲外とにおいて人が占有する領域を検出する人認識部と、前記ベッド認識部により検出した前記ベッドと前記人認識部により検出した人の領域との組み合わせにより前記ベッドに対する人の動作を判別する動作判定部と、動作判定部による判定結果を報知する報知部として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１２−３００４２（Ｐ２０１２−３００４２Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１１−３５３７８（Ｐ２０１１−３５３７８）
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]