物体管理システム、物体管理方法およびプログラム

【課題】特定された固有の物体同士についての接触の可否を、撮像範囲内における接触していない物体や人物を考慮した上で判定することができる物体管理システムを提供する。
【解決手段】画像内の物体を検出する画像認識部１１４と、各物体の識別子および各物体に対する接触が許可されている他の物体の識別子を検出する物体データ記録部１１５と、各物体間の距離を検出する距離検出部１１６と、前記各識別子および距離を用いて許可されていない物体の接触を判定する接触可否判定部１１７と、を備えている。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体画像と物体の識別情報から固有の物体を特定し、特定した固有の物体同士についての接触の可否を判定する物体管理システム等に関するものである。
【背景技術】
【０００２】
危険物や貴重品といった、特定の人物に対してのみ接触が認められている物体を管理する場合、物体へ適切な接触が行われているかを正確に把握することが求められている。また、介護現場などにおいては、持ち主の身体能力や持ち主と周囲の人物の信頼関係により、物体に対する人物の接触の可否が流動的に変化する。
【０００３】
物体と物体の接触を判定する従来技術として、特許文献１や特許文献２の装置がある。これらの装置は、時系列の画像から物体と物体の接触を判定するものである。また、ある人物によるある物体への持出を管理する従来技術として、特許文献３の装置がある。この装置は、物体と人物双方にＲＦＩＤタグを貼り付けた上で、物体と人物の接触を管理するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７２４３６号公報
【特許文献２】特開２００２−１３３４２１号公報
【特許文献３】特開平９−２７８１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１や特許文献２の装置では、第一の物体と第二の物体の接触を判定できても、物体の識別情報を扱っていないために固有の物体についての接触の可否を判定することはできない。
また、特許文献３の装置では、ＲＦＩＤタグを管理する人物及び物体に貼り付ける必要がある上、物体の保管場所付近にＲＦＩＤタグを読み取るアンテナを設置する必要がある。
さらにこれらの特許文献は、接触した人物や物体自体のみに注目するもので、その周囲にある人物や物体の存在を考慮するものでない。
【０００６】
本発明はこうした問題に対処し、物体画像とその物体の識別情報から固有の物体を特定する。また、特定された固有の物体同士についての接触の可否を、撮像範囲内における接触していない物体や人物を考慮した上で判定することができる物体管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の物体管理システムは、画像内の物体を検出する手段と、各物体の識別子および各物体に対する接触が許可されている他の物体の識別子を検出する手段と、各物体間の距離を検出する手段と、前記各識別子および距離を用いて許可されていない物体の接触を判定する手段と、を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、監視対象の人物や物体にタグを貼り付けることなく固有の物体を特定した上で、人物と物体の接触の可否を判定できる。また、例えば特定の人物が撮像範囲内に存在すれば、本来は物体への接触が認められていない人物であっても、接触を認めることができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る物体管理システムを示す模式図である。
【図２】物体識別情報の一例を示す模式図である。
【図３】接触可否情報の一例を示す模式図である。
【図４】映像データから接触の可否を判定する処理を示すフローチャートである。
【図５】映像データの一例を示す模式図である。
【図６】物体データを記録する処理を示すフローチャートである。
【図７】物体データの一例を示す模式図である。
【図８】映像データと物体データの関係の一例を示す模式図である。
【図９】物体データの一例を示す模式図である。
【図１０】映像データと物体データの関係の一例を示す模式図である。
【図１１】物体と物体の接触の可否を判定する処理を示すフローチャートである。
【図１２】第２の実施形態に係る物体管理システムを示す模式図である。
【図１３】物体識別情報の一例を示す模式図である。
【図１４】映像データの一例を示す模式図である。
【図１５】物体と物体の接触の可否を判定する処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明における実施の形態について、添付図面を参照して詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段の一例であり、その趣旨を逸脱しない範囲で下記の実施形態を修正又は変形したものにも適用する。
【００１１】
（第１の実施形態）
図１は、第１の実施形態に係る物体管理システムの概略構成の一例を示す模式図である。
図１に示すように、物体管理システムは、端末１１を有して構成されている。端末１１は、制御部１１１、記憶部１１２、撮像部１１３、画像認識部１１４、物体データ記録部１１５、距離検出部１１６、接触可否判定部１１７、ＲＡＭ１１８およびＲＯＭ１１９を備えている。また、端末１１は、これら各要素がバス１２０によって接続されている。記憶部１１２には、予め固有の物体を特定するための物体識別情報１３１と、物体同士の接触可否を判定するための接触可否情報１３２が記憶されているものとする。
【００１２】
物体識別情報１３１は、例えば図２に示すように、画像内の物体を認識して検出するための特徴量情報とその特徴量情報で示される物体を一意に特定する識別子が記録されている。本実施形態では、特徴量として色、大きさ、輪郭特徴を記録しているが、外形の角度など物体の画像を認識するための他の特徴情報を記録することも可能である。また、識別子として記号と数字の組み合わせで提示しているが、記号のみあるいは数字のみや、それらを暗号化した情報などでも実現可能である。
【００１３】
接触可否情報１３２は、例えば図３に示すように、物体の識別子とその物体への接触を許可される物体の識別子である接触許可物体識別子が記録されている。この接触許可物体識別子には、複数の識別子を記録することを可能とする。
更に、記憶部１１２には、時刻情報と共に撮像部１１３から入力された映像データ１３０と、図７、図９で示すような物体データ１３３が蓄積されるものとする。なお、時刻情報は制御部１１１によって計時されているものとする。
【００１４】
画像認識部１１４は、画像から物体を検出する物体検出手段として機能する。物体データ記録部１１５は、物体画像から物体の固有識別子を物体識別情報１３１から取得して記録する物体データ記録手段として機能する。距離検出部１１６は、映像データ１３０内における第一の物体と第二の物体との距離を検出する距離検知手段として機能する。接触可否判定部１１７は、物体データ１３３に格納されている接触物体識別子について、接触の可否を判定する接触可否判定手段として機能する。その他、ＲＡＭ１１８は、任意のアドレスを指定して読み書きすることが可能な半導体メモリであり、端末１１用のアプリケーションプログラムがインストールされている。また、端末１１における処理に必要なデータ等を一時的に記憶し、必要に応じてバス１２０に出力する。また、ＲＯＭ１１９は制御部１１１における処理に必要な制御用のプログラムを読み出して、バス１２０に出力する。制御部１１１は、ＲＡＭ１１８に記憶されているアプリケーションプログラムに基づいて、自ら演算処理を行い、あるいは上述した各構成要素を制御し、端末１１を機能させる。
【００１５】
次に、図１から図１０を用いて、本実施形態に係る処理の手順を説明する。本実施形態では被介護者宅での様子を例にとって説明する。
図４は、ある時刻tにおける映像データから物体の接触可否を判定する処理の流れを示したフローチャートである。図５は、被介護者宅での映像データを時系列で表示したものである。本実施形態では、１秒ごとに１枚の静止画を処理対象の映像データ１３０に蓄積するものとする。
【００１６】
最初に、図５の時刻10:12:05時点の映像データから処理を開始する。
まず、ステップＳ４０１では、画像認識部１１４は、映像データから物体を検出する。ここで、画像認識部１１４は、一般的な物体認識を用いて形状データとのパターン照合により映像データから物体を検出するものである。本実施形態では、この形状データを図２の物体識別情報１３１に示す物体画像の特徴量情報と一致するものとするが、別途形状データを記録したデータベースを用いても実施可能である。ステップＳ４０１の処理により、図５の時刻10:12:05時点の映像データから２つの物体が検出される。
【００１７】
次に、ステップＳ４０２では、物体データ記録部１１５は、検出された物体の情報を記録する。ステップＳ４０２の処理はステップＳ４０１で検出した物体全てにおいて実施される。本実施形態では時刻10:12:05における映像データ内にある２つの物体画像において、左にある物体から順に処理を進めるとする。
【００１８】
物体データ記録部１１５の詳細な処理は図６のフローチャートで説明する。
ステップＳ６０１は、物体データ記録部１１５は、処理タイプと物体画像を取得する。本実施形態では、記録する物体は画像認識部１１４で検出されたものであるので、処理タイプを“検出”とし、物体画像は図５の時刻10:12:05時点の最も左にあるものである。
【００１９】
ステップＳ６０２では、物体データ記録部１１５は、物体データ１３３を参照して処理タイプが存在するか否かを判定し、存在する場合にはステップＳ６０４に進み、存在しない場合にはステップＳ６０３へ進む。今、物体データ１３３には何も記録されていないとし、ステップＳ６０３へ進む。
ステップＳ６０３では、物体データ記録部１１５は、物体データ１３３に“検出”用の欄を作成する。
【００２０】
次に、ステップＳ６０４では、物体データ記録部１１５は、物体画像に対する識別子を取得する。ここでは、物体識別情報１３１を参照し、ステップＳ６０１で取得した物体画像を表す特徴量情報と一致する特徴量情報を有する物体識別子を取得する。ここでは、物体データ記録部１１５が物体識別子としてＯ−００２を取得したとする。
次に、ステップＳ６０５では、物体データ記録部１１５は、ステップＳ６０４の結果、物体識別子が存在するか否かを判定する。存在する場合にはステップＳ６０６に進み、存在しない場合には処理は終了する。ここでは、ステップＳ６０４で取得した物体識別子としてＯ−００２が存在しているので、ステップＳ６０６に進む。
【００２１】
ステップＳ６０６では、物体データ記録部１１５は、物体データ１３３に、時刻の欄に映像データが記録された時刻を記録し、“検出物体識別子”の欄に物体識別子を記録する。
以上により、ステップＳ４０２の処理を終了する。ステップＳ４０２が終了した時点での物体データ１３３は図７で表される。
【００２２】
次に、ステップＳ４０３では、物体データ記録部１１５は、ステップ４０２で記録した検出物体識別子が複数存在するか否かを判定する。複数存在する場合にはステップＳ４０４に進み、複数存在しない場合には処理を終了する。ここでは、図７より検出物体識別子が２つ存在するのでステップＳ４０４に進む。
ステップ４０４では、距離検出部１１６は、物体と物体の距離を検出する。ここで、図７の検出物体識別子に格納されている２つの物体の距離が７０ｃｍとする。
【００２３】
次に、ステップＳ４０５では、距離検出部１１６は、物体間の距離が所定距離以内（Ｘ以内）であるか否かを判定する。所定距離以内の場合はステップＳ４０６に進み、所定距離以内ではない場合は処理を終了する。ここでは、所定距離（Ｘ）を５０ｃｍと設定しているものとする。この場合、ステップＳ４０４では物体と物体の距離は７０ｃｍと検出しており、所定距離内ではないため、処理を終了し、次の時刻の映像データへと処理を継続する。
【００２４】
次に、時刻10:12:07の時点の映像データについて、ステップＳ４０４までが終了したとする。この時点での、映像データと物体データの関係は図８のように表される。時刻10:12:07の時点において、物体０−００２と物体Ｆ−００３との距離が２ｃｍとする。
ステップＳ４０５では、距離検出部１１６は、物体間の距離が２ｃｍであり、所定距離５０ｃｍ以内であるため、ステップＳ４０６に進む。
ステップＳ４０６では、物体データ記録部１１５は、ステップＳ４０５で所定距離以内であった物体を接触したとし、接触した物体のデータを物体データ１３３に記録する。このステップは上述したステップＳ６０１からステップＳ６０６までと同様であり、処理のタイプは“接触”とする。ステップ４０６が終了した時点での物体データ１３３には図９のように記録される。また、映像データと物体データ１３３の関係は図１０で表される。
【００２５】
次に、ステップ４０７では、接触可否判定部１１７は、接触の可否を判定する。この処理は図１１のフローチャートで詳細に説明する。
ステップＳ１１０１では、接触可否判定部１１７は、接触可否情報１３２を取得する。
ステップＳ１１０２では、接触可否判定部１１７は、物体データ１３３を取得する。
ステップＳ１１０３では、接触可否判定部１１７は、物体データ１３３から接触物体識別子を取得する。ここでは、図９に示す物体データ１３３から、接触物体識別子としてＯ−００２とＦ−００３を取得する。
【００２６】
ステップＳ１１０４では、接触可否判定部１１７は、接触可否情報１３２から接触の可否を判定する。ここでは、図３に示す接触可否情報１３２から物体識別子Ｏ−００２に対する接触許可物体識別子に物体識別子Ｆ−００３が格納されていないので、接触は許可されていないと判定する。
次に、ステップＳ１１０５では、接触可否判定部１１７は、接触が許可されているか否かを判定する。許可されている場合にはステップＳ１１０９に進み、許可されていない場合にはステップＳ１１０６に進む。ここでは、ステップＳ１１０５より接触は許可されていないのでステップＳ１１０６へ進む。
【００２７】
ステップＳ１１０６では、接触可否判定部１１７は、物体データ１３３から接触していない物体の検出物体を取得する。ここでは、図９より物体識別子Ｆ−００２の物体が取得される。
ステップＳ１１０７では、接触可否判定部１１７は、取得した検出物体の接触の可否を判定する。ここでは、物体Ｏ−００２に対する物体Ｆ−００２の接触が許可されているかにより判定を行う。図３に示す接触可否情報１３２から物体Ｏ−００２に対して物体Ｆ−００２の接触が許可されていると判定する。
【００２８】
ステップ１１０８では、接触可否判定部１１７は、接触が許可されているか否かを判定する。接触が許可されている場合にはステップＳ１１０９に進み、接触が許可されていない場合にはステップＳ１１１０に進む。ここでは、ステップＳ１１０７において接触が許可されていると判定されているので、ステップＳ１１０９に進む。
ステップＳ１１０９では、接触可否判定部１１７は、結果を“ＯＫ”とする。
ステップＳ１１１０では、接触可否判定部１１７は、結果を“ＮＧ”とする。
ステップＳ１１１１では、接触可否判定部１１７は、結果を返す。以上により物体と物体の接触の可否を判定する処理が実施できる。
【００２９】
（第２の実施形態）
第２の実施形態では、物体の接触可否判定時に、物体への接触が許可されている人物が物体を参照しているか否かにより接触可否判定を行う。本実施形態では、本来は物体への接触が許可されていない人物でも、物体への接触が可能である人物が物体を参照していれば、物体への接触を可能と判定する。
図１２は、第２の実施形態に係る物体管理システムの概略構成の一例を示す模式図である。
図１２に示すように、物体管理システムは、端末１２１を有して構成されている。端末１２１は、制御部１２１１、記憶部１２１２、撮像部１２１３、画像認識部１２１４、物体データ記録部１２１５、距離検出部１２１６、接触可否判定部１２１７、視線検出部１２２１、ＲＡＭ１２１８およびＲＯＭ１２１９を備えている。また、端末１２１は、これら各要素がバス１２２０によって接続されている。記憶部１２１２には、予め固有の物体を特定するための物体識別情報１２３１と、物体同士の接触可否を判定するための接触可否情報１２３２が記憶されているものとする。
【００３０】
物体識別情報１２３１は、例えば図１３に示すように、画像内の物体を認識して検出するための特徴量情報とその特徴量情報で示される物体を一意に特定する識別子が記録されている。本実施形態では、特徴量として色、大きさ、輪郭特徴を記録しているが、外形の角度など物体の画像を認識するための他の特徴情報を記録することも可能である。また、識別子を記号と数字の組み合わせで提示しているが、記号のみあるいは数字のみや、それらを暗号化した情報などでも実現可能である。
【００３１】
接触可否情報１２３２は、例えば図３に示すように、物体の識別子とその物体への接触を許可される物体の識別子である接触許可物体識別子が記録されている。この接触許可物体識別子には、複数の識別子を記録することを可能とする。
更に、記憶部１２１２には、時刻情報と共に撮像部１２１３から入力された映像データ１２３０と、図７、図９で示すような物体データ１２３３が蓄積されるものとする。なお、時刻情報は制御部１２１１によって計時されているものとする。
【００３２】
画像認識部１２１４は、画像から物体を検出する物体検出手段として機能する。物体データ記録部１２１５は、物体画像から物体の固有識別子を物体識別情報１２３１から取得して記録する物体データ記録手段として機能する。距離検出部１２１６は、映像データ１２３０内における第一の物体と第二の物体との距離を検出する距離検知手段として機能する。接触可否判定部１２１７は、物体データ１２３３に格納されている接触物体識別子について、接触の可否を判定する接触可否判定手段として機能する。その他、ＲＡＭ１２１８は、任意のアドレスを指定して読み書きすることが可能な半導体メモリであり、端末１２１用のアプリケーションプログラムがインストールされている。また、端末１２１における処理に必要なデータ等を一時的に記憶し、必要に応じてバス１２２０に出力する。また、ＲＯＭ１２１９は制御部１２１１における処理に必要な制御用のプログラムを読み出して、バス１２２０に出力する。制御部１２１１は、ＲＡＭ１２１８に記憶されているアプリケーションプログラムに基づいて、自ら演算処理を行い、あるいは上述した各構成要素を制御し、端末１２１を機能させる。
【００３３】
次に、図３、図４、図６から図１５を用いて、本実施形態に係る処理の手順を説明する。本実施形態では被介護者宅での様子を例にとって説明する。
図４は、ある時刻tにおける映像データから物体の接触可否を判定する処理の流れを示したフローチャートである。図１４は、被介護者宅での映像データを時系列で表示したものである。視線検出部１２２１の処理を説明するために、図１４には、人物の視線の方向を矢印で表現している。本実施形態では、第１の実施形態と同様に、１秒ごとに１枚の静止画を処理対象の映像データ１２３０に蓄積するものとする。
【００３４】
本実施形態では、図４に示す各ステップのうちステップＳ４０７以外は全て第１の実施形態と同様である。ただし、物体識別情報１２３１は、図１３に示し、映像データ１２３０は図１４に示される。以下に、本実施形態におけるステップＳ４０７の説明を行う。この処理は図１１のフローチャートで詳細に説明する。
【００３５】
ステップＳ１１０１では、接触可否判定部１２１７は、接触可否情報１２３２を取得する。
ステップＳ１１０２では、接触可否判定部１２１７は、物体データ１２３３を取得する。
ステップＳ１１０３では、接触可否判定部１２１７は、物体データ１２３３から接触物体識別子を取得する。ここでは、図９に示す物体データ１２３３から、接触物体識別子としてＯ−００２とＦ−００３を取得する。
【００３６】
ステップＳ１１０４では、接触可否判定部１２１７は、接触可否情報１２３２から接触の可否を判定する。ここでは、図３に示す接触可否情報１２３２から物体識別子０−００２に対する接触許可物体識別子に物体識別子Ｆ−００３が格納されていないので、接触は許可されていないと判定する。
次に、ステップＳ１１０５では、接触可否判定部１２１７は、接触が許可されているか否かを判定する。許可されている場合にはステップＳ１１０９に進み、許可されていない場合にはステップＳ１１０６に進む。ここでは、ステップＳ１１０５より接触は許可されていないのでステップＳ１１０６へ進む。
【００３７】
ステップＳ１１０６では、接触可否判定部１２１７は、物体データ１２３３から接触していない物体の検出物体を取得する。ここでは、図９より物体識別子Ｆ−００２の物体が取得される。
ステップＳ１１０７では、接触可否判定部１２１７は、取得した検出物体の接触の可否を検出する。このステップは図１５のフローチャートを用いて詳細に説明する。
ステップＳ１５０１では、接触可否判定部１２１７は、物体識別情報１２３１を取得する。
ステップＳ１５０２では、接触可否判定部１２１７は、ステップＳ１１０６で取得した接触していない検出物体のうち、人物を取得する。ここでは、物体Ｆ−００２が接触していない人物としてステップＳ１１０６で取得されており、図１３の物体識別情報１２３１からＦ−００２の人物項目が“ｔｒｕｅ”であるため、Ｆ−００２が取得されることとなる。
【００３８】
ステップＳ１５０３では、接触可否判定部１２１７は、ステップＳ１５０２で取得した人物のうち、接触物体に接触が許可されている人物を取得する。ここでは、物体Ｏ−００２に対するＦ−００２の接触は図３の接触可否情報１２３２から許可されているので、Ｆ−００２が取得される。
ステップＳ１５０４では、接触可否判定部１２１７は、接触物体は参照されているか否かを判定する。参照されている場合にはステップＳ１５０６に進み、参照されていない場合にはステップＳ１５０５に進む。具体的には、視線検出部１２２１が人物の視線の方向を検出することにより、接触物体が参照されているか否かが判定される。ここでは、時刻10:12:07におけるＦ−００２の視線は物体Ｏ−００２の方向とは異なるとし、接触物体が参照されていないと判定され、ステップＳ１５０５へ進む。
【００３９】
ステップＳ１５０６では、接触可否判定部１２１７は、結果を“ＯＫ”とする。
ステップＳ１５０５では、接触可否判定部１２１７は、結果を“ＮＧ”とする。
ステップＳ１５０７では、接触可否判定部１２１７は、結果を返し、ステップＳ１１０７に戻り、ステップＳ１１０８に進む。
【００４０】
ステップＳ１１０８では、接触可否判定部１２１７は、接触が許可されているか否かを判定する。接触が許可されてない場合にはステップＳ１１１０に進み、接触が許可されている場合にはステップＳ１１０９に進む。ここでは、接触物体が参照されていないと判定され、接触は許可されていないので、ステップＳ１１１０では結果は“ＮＧ”であり、ステップＳ１１１１では結果を返す。
【００４１】
このように本実施形態によれば、物体と物体との接触の可否を判定することにより、例えば貴重品などの物体を効率的に管理することができる。また、本実施形態は、例えば介護現場における被介護者の貴重品などを取り扱う場合に用いられて好適である。
【００４２】
上述した本実施形態における物体管理システムを構成する各手段、物体管理システムによる物体管理方法の各ステップは、ＲＡＭやＲＯＭなどに記憶されたプログラムが実行されることによって実現できる。このプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００４３】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、複数の装置が通信可能に接続されたシステムおよび装置に適用してもよい。
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。
【符号の説明】
【００４４】
１１、１２１：端末１１１、１２１１：制御部１１２、１２１２：記憶部１１３、１２１３：撮像部１１４、１２１４：画像認識部１１５、１２１５：物体データ記録部１１６、１２１６：距離検出定部１１７、１２１７：接触可否判定部１１８、１２１８：ＲＡＭ１１９、１２１９：ＲＯＭ１２０、１２２０：バス１２２１：視線検出部

【特許請求の範囲】
【請求項１】
画像内の物体を検出する手段と、
各物体の識別子および各物体に対する接触が許可されている他の物体の識別子を検出する手段と、
各物体間の距離を検出する手段と、
前記各識別子および距離を用いて許可されていない物体の接触を判定する手段と、を備えたことを特徴とする物体管理システム。
【請求項２】
画像内の物体を検出するステップと、
各物体の識別子および各物体に対する接触が許可されている他の物体の識別子を検出するステップと、
各物体間の距離を検出するステップと、
前記各識別子および距離を用いて許可されていない物体の接触を判定するステップと、を有することを特徴とする物体管理方法。
【請求項３】
画像内の物体を検出するステップと、
各物体の識別子および各物体に対する接触が許可されている他の物体の識別子を検出するステップと、
各物体間の距離を検出するステップと、
前記各識別子および距離を用いて許可されていない物体の接触を判定するステップと、をコンピュータに実行させるためのプログラム。

【図１】