監視装置、監視方法、及び監視プログラム
【課題】被監視者を常時監視すると共に、監視者による画像監視負荷を下げる。
【解決手段】人物を撮影する撮影装置と、画像を送信する送信装置と、撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、顔表情の変化があった人物を特定し、特定した人物に関連付けられる宛先に、変化した顔情報を含む画像を、送信装置を介して送信する、処理を行う処理装置と、を備える監視システム提供される。
【解決手段】人物を撮影する撮影装置と、画像を送信する送信装置と、撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、顔表情の変化があった人物を特定し、特定した人物に関連付けられる宛先に、変化した顔情報を含む画像を、送信装置を介して送信する、処理を行う処理装置と、を備える監視システム提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置、監視方法、及び監視プログラムに関する。
【背景技術】
【０００２】
人物を撮影し、監視を行うシステムが従来知られている。施設内にいる園児達を撮影して撮影画像を記録し、各園児の保護者がその撮影画像を自宅から見られるようにすることで、施設に預けている間でも保護者が自分の子供を見守ることができるようにする監視システムがある。この監視システムは、施設内の同じ場所に長時間留まっている園児がいる場合には、施設の管理者に対して、その園児に危険や異常が起きていないかを確認するよう警告を行うことで、園児を監視する機能を提供する。
【０００３】
【特許文献１】特開平２００８−４０７３８号広報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、被監視者を所定時間一定の場所に居るか居ないかで監視するだけでは、所定の時間内に被監視者に生じる出来事を監視することは出来ない。そのため、従来の監視システムは、被監視者を常時監視する機能を提供していない。また、監視システムを利用する監視者の中には、家事や仕事等を行っている者がおり、そのような監視者は、被監視者を常時監視することは出来ない。
【０００５】
本発明の一形態は、被監視者を常時監視すると共に、監視者による画像監視負荷を下げることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、人物を監視する監視システムが提供される。
監視システムは、人物を撮影する撮影装置と、画像を送信する送信装置と、撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、顔表情の変化があった人物を特定し、特定した人物に関連付けられる宛先に、変化した顔情報を含む画像を送信装置を介して送信する、処理を行う処理装置と、を備える。
【発明の効果】
【０００７】
本発明の一形態は、被監視者を常時監視すると共に、監視者による画像監視負荷を下げることが出来る。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、監視システムのハードウェア構成の一例を説明する。
図１を用いて、監視システムのハードウェア構成の一例を説明する。２０は監視装置、１１は補助記憶装置、１２は主記憶装置、１３は処理装置、１４はバスインタフェースユニット（ＢＩＵ）、１５はディスクインタフェース（ＤＩ）、１６はネットワークインタフェースカード（ＮＩＣ）を示す。１７は出力装置、１８は入力装置、８は受信装置、９は撮影装置、２１はインターネット等のネットワーク網、２２は無線通信のための基地局、２３はコンピュータ、２４は通信端末、７はＩＣ（Integrated Circuit）タグを示す。
【０００９】
図１に示されるように、監視システム１は、監視装置２０、受信装置８及び撮影装置９を有する。監視装置２０は、補助記憶装置１１、主記憶装置１２、処理装置１３、バスインタフェースユニット１４、ディスクインタフェース１５、ネットワークインタフェースカード１６、出力装置１７、入力装置１８を有する。また、監視装置２０は、受信装置８及び撮影装置９とバス接続又はネットワーク接続される。さらに、監視装置２０は、ネットワーク網２１を介してコンピュータ２３、基地局２２、及び通信端末２４に接続される。以下、監視システム１の各構成要素について順に説明する。
【００１０】
補助記憶装置１１は、磁気ディスクドライブ、又は、フラッシュメモリのような不揮発性メモリを用いたＳＳＤ（Solid State Drive）、又は、フロッピー（登録商標）ディスクドライブ、又は、光学ディスクドライブである。補助記憶装置１１は、光学ディスクやフロッピー（登録商標）ディスク等の媒体に記録されたプログラミング言語で書かれたプログラムを読み込んで、格納する。
【００１１】
主記憶装置１２は、メインメモリ、キャッシュメモリ及びフラッシュメモリを含み、命令やデータを記憶する。主記憶装置１２には、補助記憶装置１１に格納されるプログラムを一時的に格納することが出来る。メインメモリとしては、ＳＩＭＭ（Single Inline Memory Module）、ＤＩＭＭ（Dual Inline Memory Module）がある。フラッシュメモリとしては、ＥＰＲＯＭ（Erasable Programmable ROM）がある。
【００１２】
処理装置１３は、四則演算や論理演算などの演算処理を実行する装置である。処理装置１３は、コンパイルプログラムを実行することで、主記憶装置１２又は補助記憶装置１１に格納されるプログラムを、処理装置１３が直接実行可能な機械語でコード化された命令に変換する機能を行う。処理装置１３は、機械語でコード化された命令を主記憶装置１２から読み出し、又は、プログラム実行時に機械語でコード化された命令に変換して処理装置１３内部のレジスタに格納する。さらに、処理装置１３は、レジスタに格納された命令を実行することにより、上記演算処理を実行することで各種の計算や制御を行うことができる。
【００１３】
バスインタフェースユニット１４は、主記憶装置１２、処理装置１３、及びディスクインタフェース１５と接続されるチップセットであり、ＡＧＰ（Accelerated Graphics Port）又はＰＣＩ Ｅｘｐｒｅｓｓなどの規格に従って機能する制御回路を含む。バスインタフェースユニット１４は、さらに、ＰＣＩ（Peripheral Component Interconnect）バス、ＩＤＥ、キーボードポート、マウスポート、ＵＳＢなどの回路を含む。バスインタフェースユニット１４は、バスを介して監視装置２０の外部に配置される入力装置１８及び出力装置１７に接続される。なお、バス接続される対象機器の通信速度に応じて、バスインタフェースユニット１４は、高速通信用及び低速通信用に分けた２つ以上のチップセットとしても良い。
【００１４】
ディスクインタフェース１５は、処理装置１３と補助記憶装置１１とを接続する接続用回路である。ディスクインタフェース１５は、例えば、ＳｅｒｉａｌＡＴＡ、ＳＣＳＩ、及びＦＣ（Fibre Channel）等の規格に従って機能する。
【００１５】
ネットワークインタフェースカード１６は、コンピュータネットワーク内でコンピュータ間の通信を行うために使用されるハードウェアである。ネットワークインタフェースカード１６は、イーサネット（登録商標）またはトークンリングなどの、特定の物理層およびデータリンク層を使用して通信するための回路を含む。
【００１６】
なお、出力装置１７は、プロセッサ試験装置から処理状況や処理結果を出力する対象となるディスプレイやプリンタなどであり、入力装置１８は、監視装置２０に対して情報を出力するキーボードやマウスなどである。
【００１７】
識別装置７は、識別情報を格納する集積回路であって、無線通信によって識別情報を受信装置８に送信する。識別装置７は、受信装置８からの電波をエネルギー源として動作するパッシブタグ、又は、電池を内蔵し、自ら電波を発するアクティブタグであっても良い。識別装置７には、識別装置７の各々を一意に識別するための固有の識別情報がそれぞれ付与されており、この識別情報で識別装置７を所持している人物が誰かを特定できるようになっている。人物が、それぞれ所持している複数の識別装置７の識別情報と、その各々の識別装置７を所持している人物とを対応付けた識別装置管理情報４４が、補助記憶装置１１に予め記録されている。
【００１８】
受信装置８は、識別装置７に対して電磁波を出力し、及び／又は、識別装置７から送信される識別情報を受信するアンテナ装置である。受信装置８は、監視システム１が用いられる施設内に設置される。受信装置８は、所定の間隔を空けて設置される。また、各受信装置８には、それぞれの受信装置８を一意に識別するための受信装置識別番号が付加されている。そして、各受信装置８の設置位置と受信装置識別番号とを対応付けた受信装置管理情報４３が補助記憶装置１１に記録されている。
【００１９】
コンピュータ２３は、図示しないネットワークインタフェースカードを介して、監視装置２０からデータを受信し、ディスプレイを介してデータを出力することができる。通信端末２４は、基地局２２からの無線を送受信することによって、監視装置２０からデータを受信し、ディスプレイを介してデータを出力することができる。
【００２０】
図２を用いて、監視装置で実装する機能構成の一例を示す。
処理装置１３に実装される機能は、制御機能部３１、顔表情認識機能部３２、人物特定機能部３３、位置特定機能部３４、識別情報特定機能部３５、画像拡大機能部３６、送信制御機能部３７、及び監視情報管理機能部３８がある。
【００２１】
監視制御プログラム３０は、制御機能部３１〜監視情報管理機能部３８として規定される機能をプログラミング言語で記述したものである。処理装置１３は、監視制御プログラム３０を実行することで、制御機能部３１〜監視情報管理機能部３８の機能を実行することが出来る。補助記憶装置１１には、３０で示す監視制御プログラム、４１で示す特徴管理情報、４２で示す画像位置管理情報、４３で示す受信装置管理情報、４４で示す識別装置管理情報、４５で示す画像転送先情報、及び４６で示す顔変化関連情報が格納される。主記憶装置１２又は補助記憶装置１１には、撮影装置９から伝送される画像情報が格納される。
以下、監視装置２０が行う各機能について順に説明する。
【００２２】
制御機能部３１は、顔表情認識機能部３２〜監視情報管理機能部３８の実行制御や、各機能部のイベントの共有を制御するための制御機能を有する。制御機能部３１の制御機能は、監視制御プログラム３０を実行後、最初に実行される機能である。
【００２３】
顔表情認識機能部３２は、撮影装置９によって撮影される撮影画像の中から人物の顔表情の変化を認識する機能を有する。撮影画像は、補助記憶装置１１又は主記憶装置１２に連続的に格納される。
【００２４】
顔表情認識機能部３２は、補助記憶装置１１又は主記憶装置１２に格納された画像情報を読み出し、画像から人物の顔を検出する。顔検出法としては、画像上に目や鼻や口などの顔器官を見つけ出すことによって、顔を検出することができる。顔器官の検出は、各器官を代表する代表画像を予め作成し、画像中で最も代表画像に一致する領域を見つけ出すことによって検出することが出来る。
顔表情認識機能部３２は、検出した顔器官の変化を測定する。顔表情認識機能部３２は、検出した顔器官における目や口の開閉度、目尻の形状などの変化により顔表情の変化を測定することが出来る。目尻が所定の角度下がり及び／又は目が所定の割合細くなれば笑顔、口角が所定の角度下がれば泣き顔のように、顔器官の角度や割合等の状態を定量的に評価することで、顔表情認識機能部３２は、笑顔、泣き顔、怒り顔などの被監視者の顔変化を捉えることが出来る。
【００２５】
図３を用いて、顔表情認識機能部３２が取得した画像の一例を示す。５１は、顔変化を検出した領域を示す。７ａ、７ｂ、７ｃは、それぞれ別々の人物に取り付けられた識別装置を示す。顔表情認識機能部３２は、画像内において顔変化を捉えたとき、顔変化を生じた画像領域５１を特定することが出来る。
このように、顔表情認識機能部３２は、顔変化が生じた画像内の画像領域５１と、その顔変化が笑顔、泣き顔、怒り顔のどの顔に変化したかを認識することが出来る。顔表情認識機能部３２は、画像領域５１と顔変化に関する情報を、制御機能部３１又は位置特定機能部３４に伝送する。
【００２６】
人物特定機能部３３は、顔変化が生じた画像内において、顔表情の変化があった人物を特定する機能を有する。特徴管理情報４１は、人物とその人物の特徴パターンとを関係付けた情報である。人物特定機能部３３は、画像から特徴抽出を行って、特徴パラメータ又は特徴ベクトルを求める。人物特定機能部３３は、こうして得られた特徴量の中から特徴管理情報４１の特徴パターンに合致した特徴量、あるいは近い特徴量を識別することによって画像内に映し出される人物を識別することが出来る。
なお、人物特定機能部３３により画像内の人物を識別する機能は、後述する位置特定機能部３４及び識別情報特定機能部３５を用いて行うことも可能である。
【００２７】
位置特定機能部３４は、画像内において顔表情が変化した人物の位置を特定する機能を有する。
図４は、撮影装置９の撮影領域と、受信装置の受信領域の関係を示す平面図である。図４に示される８ａ及び８ｂは受信装置を示し、５４ａ及び５４ｂは受信装置８ａ及び受信装置８ｂの受信領域をそれぞれ示し、５２は撮影装置９の撮影範囲を示す。７ａ、７ｂ、７ｃは、それぞれ別々の人物に取り付けられた識別装置を示す。撮影装置９が撮影した撮影範囲５２で取得された画像は、図３に示す取得画像に対応する。
図２に示す画像位置管理情報４２は、画像内の画像領域と、位置情報とを対応付けた情報である。例えば、画像位置管理情報４２において、図３に示す画像領域は、監視領域の特定の位置と対応付けて規定される。そのため、位置特定機能部３４は、画像位置管理情報４２を参照して、図３に示す画像領域５１に対応する監視領域の位置５３（図４）を特定することが出来る。
【００２８】
識別情報特定機能部３５は、位置特定機能部３４が特定した位置を受信領域とする受信装置を特定し、さらに、特定した受信装置で受信される識別情報を特定する機能を提供する。この機能により、顔表情が生じた位置を位置特定機能部３４から通知されることで、顔表情が変化した人物を特定出来る。
【００２９】
図４を用いて、識別情報特定機能部３５による人物特定方法の一例を説明する。図４に示されるように、識別装置７ａを有する人物が、受信領域５４ａに入ると受信装置８ａは、識別装置７ａに固有の識別情報を受信する。そして、受信装置８ａは、識別装置７ａの識別情報と共に受信装置８ａを識別する受信装置識別番号を、監視装置２０に送信する。
【００３０】
受信装置管理情報４３は、受信装置と、受信装置の受信領域とを関係付けた情報である。識別情報特定機能部３５は、位置特定機能部３４から位置５３に顔変化を生じたことを通知されるので、受信装置管理情報４３を参照して、位置５３を含む受信領域５４ａを対象とする受信装置が受信装置８ａであることを判別する。そして、受信装置８ａの受信領域５４ａにある識別装置７ａを検出する。
識別装置管理情報４４は、識別装置と、識別装置が取り付けられた人物とを関係付けた情報である。識別情報特定機能部３５は、識別装置管理情報４４を参照して、識別装置７ａを有する人物を特定する。このようにして、識別情報特定機能部３５は、顔変化が生じた人物が居る位置情報を用いて、顔変化が生じた人物を特定することが出来る。
【００３１】
このように、識別情報特定機能部３５は、位置情報を用いて、識別装置を特定することが出来る。そのため、識別情報特定機能部３５は、顔変化が生じた被監視者の居る位置５３を通知されると、受信装置管理情報４３を参照して、位置５３の周囲にある受信装置を受信装置８ａ、８ｂであると特定する。さらに、識別情報特定機能部３５は、識別装置管理情報４４を参照して、図４に示す識別装置７ｂ、識別装置７ｃを検出することも出来る。このような顔変化をした人物の周囲にある識別装置の検出は、画像とは無関係に検出できるので、画像に含まれない人物も検出可能である。
【００３２】
このようにして検出された周囲に居る人物の情報は、顔変化関連情報４６の１つとして補助記憶装置１１に格納される。このような周囲の人物の情報を記録することによって、記録されたデータを用いて、統計的な利用が可能である。例えば、顔変化が生じた原因が周囲の人間にあった事実や、顔変化を特定の人物に生じさせやすい人物を特定することも出来る。
【００３３】
画像拡大機能部３６は、顔表情認識機能部３２により認識された人物の顔表情を、拡大して、さらに当該拡大部分を切り取った画像を生成する機能を有する。撮影装置９が、人物と比して広い領域を撮影する場合、撮影画像において顔変化を生じた人物の画像部分は相対的に小さくなり、視認困難な場合がある。そこで、画像拡大機能部３６は、顔変化を生じた領域を拡大した画像を生成する。
図５Ａに、図３に示した画像を拡大した画像の一例を示す。図５Ａに示される画像は、人物が画像領域の７割、背景が画像領域の３割というように図３に示す顔変化を生じた人物の画像を拡大した画像である。このように、デジタル処理により画像を拡大することで、拡大画像において顔変化の状態が明確に示される。顔変化が拡大されて視認可能になることで、監視システム１を保育園や幼稚園に適用した場合、監視者である園児の両親は普段目にすることができない、子供の楽しんでいる表情等を確認することができる。
【００３４】
図５Ｂに、図３に示した画像を拡大した画像の一例を示す。図５Ｂに示される画像は、人物が画像領域の３割、背景が画像領域の７割というように図３に示す顔変化を生じた人物の画像を拡大した画像である。このように、デジタル処理により画像を拡大することで、顔変化を生じた人物の画像を明確にすると共に、顔変化をした人物の周囲の環境情報を画像提供することが出来る。周りの背景が明確になる程度に画像を拡大することで、周囲に居る人間や、顔変化をした人物が行っていたイベントを特定することが可能になり、監視者は顔変化がなぜ生じたのかをその周囲の環境から知ることが出来る。
【００３５】
なお、監視対象の環境によっては、複数人による顔表情変化が同時に起こる場合がある。図３を再び参照すると人物６１と人物６２が同時に顔変化が生じたとする。その場合、画像拡大機能部３６は、それぞれの人物に対する顔表情変化に対する処理を行う。
図５Ｃに複数の顔表情変化が生じる場合の画像拡大機能部３６の画像拡大処理の一例を示す。画像拡大機能部３６は、人物が画像領域の７割、背景が画像領域の３割となるように画像を切り出す。なお、この拡大した顔表情画像は、本願において「顔サムネイル」として参照され得る。このようにして、人物６１に対して切り出した画像を７１で、及び、人物６２に対して切り出した画像を７２で示す。このように、画像拡大機能部３６は、複数人による顔表情変化が同時に起こる場合、それぞれの人物に対して顔サムネイルを生成する。
【００３６】
さらに、画像拡大機能部３６は、人物が画像領域の３割、背景が画像領域の７割となるように周りの背景が明確になる画像を切り出す。画像拡大機能部３６は、複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を撮影画像から切り出し、顔サムネイルを中心とする画像を生成する。この場合、画像拡大機能部３６は、顔変化が生じた顔画像の顔サムネイルの中心を、画像データの中心となるような人物が画像領域の３割、背景が画像領域の７割となる画像を生成する。このようにして、人物６１に対して切り出した画像を８１で、及び、人物６２に対して切り出した画像を８２で示す。
このように、監視画像内において複数の顔変化が生じた場合でも、画像拡大機能部３６は、各々の顔画像変化が生じた人物に対して画像拡大処理を行うことができ、より高い精度の顔変化検出機能を提供する。
【００３７】
送信制御機能部３７は、特定した人物に関連付けられる宛先に、顔情報を含む画像を、送信装置を介して送信する機能を有する。送信制御機能部３７は、図２に示す画像転送先情報４５を参照して、人物の識別情報と関係付けられる転送先アドレスにネットワーク網２１を介して顔変化を含む画像を送信する。送信する転送先アドレスは、例えば、監視システム１を保育園や幼稚園に適用した場合、監視者である園児の両親のコンピュータ２３又は通信端末２４のＩＰアドレスや、メールアドレスである。送信先のコンピュータ２３又は通信端末２４のディスプレイには、顔情報を含む画像が表示される。
なお、複数人による顔表情変化が同時に起こる場合、上記例では、送信制御機能部３７は、人物６１及び６２に対して、画像７１及び８１、及び、画像７２及び８２をそれぞれ所定の転送先アドレスに送信する。
【００３８】
このように、被監視者を常時監視すると共に、顔変化が生じたときだけ監視者に画像を送ることによって、被監視者を常時監視し且つ監視者による画像監視負荷を下げることが出来る。処理装置１３が各機能を実行するための演算量に対して十分な処理速度を有することにより、顔変化が生じたら即時に監視者に送信することが出来る。そのため、監視者は被監視者に顔変化が生じた時間に、顔変化を含む画像を即時的に受け取ることができる。
【００３９】
監視情報管理機能部３８は、顔変化を生じた画像を補助記憶装置１１に格納する。また、監視情報管理機能部３８は、顔変化画像と共に、顔変化が生じた時間、顔変化を生じた位置情報、位置特定機能部３４が特定した周囲に居る人物の情報を、顔変化関連情報４６として補助記憶装置１１に記録することが出来る。
【００４０】
このように、顔変化に関する関連情報を用いて、画像に写っていなくても、被監視者が行っていた周囲に居る人物やそのとき行われていたイベントを特定することにより、被監視者の顔変化の原因を特定することが出来る。
【００４１】
また、顔変化に関する関連情報を用いて、顔変化の日時及び／又は顔変化の回数の統計をとることで被監視者である人物の心理的なバランスをチェックすることが出来る。
【００４２】
また、制御機能部３１〜監視情報管理機能部３８の機能をプログラミング言語で規定した監視制御プログラム３０は、記録媒体やネットワークを介して補助記憶装置１１に格納されることによって、処理装置１３により実行され、処理装置１３の機能として実装される。そのため、既に普及している監視カメラを有するシステムに関しても、監視制御プログラム３０を読み込むことによって、既に普及している監視カメラを有するシステムも制御機能部３１〜監視情報管理機能部３８の機能を実装することが出来る。
【００４３】
図６は、監視システム１が実行する監視処理のフローチャートの一例である。
まず、撮影装置９は、監視領域を撮影する（Ｓ１０１）。そこで撮影された、撮影画像は、補助記憶装置１１又は主記憶装置１２に連続的に格納される（Ｓ１０２）。顔表情認識機能部３２は、補助記憶装置１１又は主記憶装置１２に格納された画像情報を読み出し、画像の中から人物の顔表情の変化を認識する（Ｓ１０３）。
人物特定機能部３３は、顔表情の変化があった人物が誰であるかを特定する（Ｓ１０４）。なお、この人物特定処理は、位置特定機能部３４及び識別情報特定機能部３５が行っても良い。この場合、位置特定機能部３４は、画像内において顔表情が変化した人物の位置を特定する。そして、識別情報特定機能部３５は、その特定位置から送信される識別装置が送信する電波を受信する受信装置を特定し、特定した受信装置で受信される識別情報を特定することで人物を特定する。
画像拡大機能部３６は、画像における変化した顔表情の画像を拡大する（Ｓ１０５）。送信制御機能部３７は、ステップＳ１０４で特定した人物に関連付けられる宛先に、顔情報を含む画像を、送信装置を介して送信する（Ｓ１０６）。
【００４４】
監視情報管理機能部３８は、顔変化に関する関連情報を補助記憶装置１１に記録する（Ｓ１０７）。顔変化に関する関連情報は、顔変化を生じた画像、顔変化が生じた時間、顔変化を生じた位置情報、及び位置特定機能部３４が特定した周囲に居る人物の情報がある。処理装置１３は、入力装置１８又はネットワークを介してシステム停止命令があるか否かを監視し、システム停止命令が無い場合（Ｓ１０８ Ｎｏ）は、上記ステップＳ１０１〜Ｓ１０７を実行し続ける。システム停止命令がある場合（Ｓ１０８ Ｙｅｓ）、処理装置１３は監視処理を終了することで（Ｓ１０９）、監視処理のフローを終了する。
【００４５】
図７は、監視システムの一実施例を示す図である。
図７に示す７ｄ、７ｅ、７ｆは、識別装置を示し、７ｇは識別装置の詳細を示し、９ａ、９ｂは撮影装置を示し、２３ａはコンピュータを示し、２４ａは通信端末を示す。
識別装置７ｇは、保育園又は幼稚園の児童の名札として実装される識別装置を示す。このように名札として識別装置を用いることで、常に識別装置を児童に取り付けることが出来る。識別装置７ｄ、７ｅ、７ｆも７ｇと同様に、保育園又は幼稚園の児童の名札として実装される。
【００４６】
撮影装置９ａ及び撮影装置９ｂは、監視領域に対して死角を作らないように配置される。図示されない監視装置２０が顔表情の変化を検出すると、監視装置２０は、顔表情を含む画像を、顔表情に変化を生じた児童の母のコンピュータ２３ａ及び父の通信端末２４ａに送信する。送信された顔変化を含む画像コンピュータ２３ａ及び通信端末２４ａのディスプレイに表示されることによって、父は、仕事中でも自分の子供の顔変化を知ることができ、母は、家事の間でも自分の子供の顔変化を知ることが出来る。
【００４７】
以上述べた実施形態に関し、さらに以下の付記を開示する。
（付記１）
人物を監視する監視システムであって、
前記人物を撮影する撮影装置と、
画像を送信する送信装置と、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を検出し、前記顔表情の変化があった人物を特定し、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する、処理を行う処理装置と、
を備える監視システム。
（付記２）
前記処理装置は、前記撮影画像における変化した顔表情の画像を所定の大きさに拡大した顔画像を前記撮影画像から切り出し、前記切り出した拡大顔画像を前記送信装置を介して送信する付記１に記載の監視システム。
（付記３）
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについて顔サムネイルを前記撮影画像から切り出し、前記切り出した顔サムネイルを生成する付記１に記載の監視システム。
（付記４）
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を前記撮影画像から切り出し、前記顔サムネイルを中心とする画像を生成する付記１に記載の監視システム。
（付記５）
前記撮影画像に複数の変化した顔画像を検出した場合、前記送信装置は、複数の顔画像の各々に対応付けられた宛先に前記送信装置を介して前記変化した顔情報を含む画像を送信する付記３又は４に記載の監視システム。
（付記６）
前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する付記１又は２に記載の監視システム。
（付記７）
記憶部をさらに備え、
前記処理装置は、前記顔表情が変化したとき、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物のデータの少なくとも１つを前記記憶部に格納する付記１〜５のいずれか１項に記載の監視システム。
（付記８）
前記人物のそれぞれによって所持され、且つ識別情報を含む電波を送信する識別装置と、
前記識別装置から送信される電波を受信する受信装置と、をさらに備え、
前記処理装置による前記顔表情の変化があった人物を特定する処理は、前記画像内において顔表情が変化した人物の位置を特定し、前記位置から送信される前記識別装置が送信する電波を受信する受信装置を特定し、前記特定した受信装置で受信される識別情報を特定することによって行われる付記１〜４のいずれかに１項に記載の監視システム。
（付記９）
撮影装置、送信装置、及び処理装置を用いて人物を監視するための監視方法であって、
前記処理装置は、前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、
前記処理装置は、前記顔表情の変化があった人物を特定し、
前記処理装置は、前記認識した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を送信する、
ことを有する監視方法。
（付記１０）
前記処理装置は、前記画像における変化した顔表情の画像を拡大し、前記宛先に前記拡大した顔情報を含む画像を前記送信装置を介して送信することをさらに有する付記９に記載の監視方法。
（付記１１）
前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定することをさらに有する付記９又は１０に記載の監視方法。
（付記１２）
前記処理装置はさらに記憶部に接続され、
前記処理装置は、前記顔表情が変化したとき、前記記憶部に、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物の少なくとも１つを記録することを有する付記９〜１１のいずれか１項に記載の監視方法。
（付記１３）
人物を監視するための監視プログラムであって、撮影装置及び送信装置と接続される処理装置に、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識する手順、
前記顔表情の変化があった人物を特定する手順、及び、
前記認識した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する手順、
を実行させるための監視プログラム。
（付記１４）
前記処理装置に、前記画像における変化した顔表情の画像を拡大し、前記宛先に前記拡大した顔情報を含む画像を前記送信装置を介して送信する手順をさらに実行させる付記１３に記載の監視プログラム。
（付記１５）
前記処理装置に、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する手順をさらに実行させる付記１３又は１４に記載の監視プログラム。
（付記１６）
前記処理装置はさらに記憶部に接続され、
前記処理装置に、前記顔表情が変化したとき、前記記憶部に、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物の少なくとも１つを記録する手順を実行させる付記１３〜１５のいずれか１項に記載の監視プログラム。
【図面の簡単な説明】
【００４８】
【図１】監視装置のハードウェア構成の一例を示す図である。
【図２】監視装置で実装する機能構成の一例を示す図である。
【図３】顔表情認識機能部が取得した画像の一例を示す図である。
【図４】人物特定機能部による人物特定方法の一例を示す図である。
【図５Ａ】画像拡大機能部により拡大した画像を示す図である。
【図５Ｂ】画像拡大機能部により拡大した画像を示す図である。
【図５Ｃ】複数の顔表情変化が生じる場合の画像拡大機能部３６の画像拡大処理の一例を示す図である。
【図６】監視システムが実行する監視処理のフローチャートの一例である。
【図７】監視システムの一実施例を示す図である。
【符号の説明】
【００４９】
１ 監視システム
７ 識別装置
８ 受信装置
９ 撮影装置
１１ 補助記憶装置
１２ 主記憶装置
１３ 処理装置
１４ バスインタフェースユニット
１５ ディスクインタフェース
１６ ネットワークインタフェースカード
１７ 出力装置
１８ 入力装置
２０ 監視装置
２１ ネットワーク網
２２ 基地局
２３ コンピュータ
２４ 通信端末
３０ 監視制御プログラム
３１ 制御機能部
３２ 顔表情認識機能部
３３ 人物特定機能部
３４ 位置特定機能部
３５ 識別情報特定機能部
３６ 画像拡大機能部
３７ 送信制御機能部
３８ 監視情報管理機能部
４１ 特徴管理情報
４２ 画像位置管理情報
４３ 受信装置管理情報
４４ 識別装置管理情報
４５ 画像転送先情報
４６ 顔変化関連情報
【技術分野】
【０００１】
本発明は、監視装置、監視方法、及び監視プログラムに関する。
【背景技術】
【０００２】
人物を撮影し、監視を行うシステムが従来知られている。施設内にいる園児達を撮影して撮影画像を記録し、各園児の保護者がその撮影画像を自宅から見られるようにすることで、施設に預けている間でも保護者が自分の子供を見守ることができるようにする監視システムがある。この監視システムは、施設内の同じ場所に長時間留まっている園児がいる場合には、施設の管理者に対して、その園児に危険や異常が起きていないかを確認するよう警告を行うことで、園児を監視する機能を提供する。
【０００３】
【特許文献１】特開平２００８−４０７３８号広報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、被監視者を所定時間一定の場所に居るか居ないかで監視するだけでは、所定の時間内に被監視者に生じる出来事を監視することは出来ない。そのため、従来の監視システムは、被監視者を常時監視する機能を提供していない。また、監視システムを利用する監視者の中には、家事や仕事等を行っている者がおり、そのような監視者は、被監視者を常時監視することは出来ない。
【０００５】
本発明の一形態は、被監視者を常時監視すると共に、監視者による画像監視負荷を下げることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、人物を監視する監視システムが提供される。
監視システムは、人物を撮影する撮影装置と、画像を送信する送信装置と、撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、顔表情の変化があった人物を特定し、特定した人物に関連付けられる宛先に、変化した顔情報を含む画像を送信装置を介して送信する、処理を行う処理装置と、を備える。
【発明の効果】
【０００７】
本発明の一形態は、被監視者を常時監視すると共に、監視者による画像監視負荷を下げることが出来る。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、監視システムのハードウェア構成の一例を説明する。
図１を用いて、監視システムのハードウェア構成の一例を説明する。２０は監視装置、１１は補助記憶装置、１２は主記憶装置、１３は処理装置、１４はバスインタフェースユニット（ＢＩＵ）、１５はディスクインタフェース（ＤＩ）、１６はネットワークインタフェースカード（ＮＩＣ）を示す。１７は出力装置、１８は入力装置、８は受信装置、９は撮影装置、２１はインターネット等のネットワーク網、２２は無線通信のための基地局、２３はコンピュータ、２４は通信端末、７はＩＣ（Integrated Circuit）タグを示す。
【０００９】
図１に示されるように、監視システム１は、監視装置２０、受信装置８及び撮影装置９を有する。監視装置２０は、補助記憶装置１１、主記憶装置１２、処理装置１３、バスインタフェースユニット１４、ディスクインタフェース１５、ネットワークインタフェースカード１６、出力装置１７、入力装置１８を有する。また、監視装置２０は、受信装置８及び撮影装置９とバス接続又はネットワーク接続される。さらに、監視装置２０は、ネットワーク網２１を介してコンピュータ２３、基地局２２、及び通信端末２４に接続される。以下、監視システム１の各構成要素について順に説明する。
【００１０】
補助記憶装置１１は、磁気ディスクドライブ、又は、フラッシュメモリのような不揮発性メモリを用いたＳＳＤ（Solid State Drive）、又は、フロッピー（登録商標）ディスクドライブ、又は、光学ディスクドライブである。補助記憶装置１１は、光学ディスクやフロッピー（登録商標）ディスク等の媒体に記録されたプログラミング言語で書かれたプログラムを読み込んで、格納する。
【００１１】
主記憶装置１２は、メインメモリ、キャッシュメモリ及びフラッシュメモリを含み、命令やデータを記憶する。主記憶装置１２には、補助記憶装置１１に格納されるプログラムを一時的に格納することが出来る。メインメモリとしては、ＳＩＭＭ（Single Inline Memory Module）、ＤＩＭＭ（Dual Inline Memory Module）がある。フラッシュメモリとしては、ＥＰＲＯＭ（Erasable Programmable ROM）がある。
【００１２】
処理装置１３は、四則演算や論理演算などの演算処理を実行する装置である。処理装置１３は、コンパイルプログラムを実行することで、主記憶装置１２又は補助記憶装置１１に格納されるプログラムを、処理装置１３が直接実行可能な機械語でコード化された命令に変換する機能を行う。処理装置１３は、機械語でコード化された命令を主記憶装置１２から読み出し、又は、プログラム実行時に機械語でコード化された命令に変換して処理装置１３内部のレジスタに格納する。さらに、処理装置１３は、レジスタに格納された命令を実行することにより、上記演算処理を実行することで各種の計算や制御を行うことができる。
【００１３】
バスインタフェースユニット１４は、主記憶装置１２、処理装置１３、及びディスクインタフェース１５と接続されるチップセットであり、ＡＧＰ（Accelerated Graphics Port）又はＰＣＩ Ｅｘｐｒｅｓｓなどの規格に従って機能する制御回路を含む。バスインタフェースユニット１４は、さらに、ＰＣＩ（Peripheral Component Interconnect）バス、ＩＤＥ、キーボードポート、マウスポート、ＵＳＢなどの回路を含む。バスインタフェースユニット１４は、バスを介して監視装置２０の外部に配置される入力装置１８及び出力装置１７に接続される。なお、バス接続される対象機器の通信速度に応じて、バスインタフェースユニット１４は、高速通信用及び低速通信用に分けた２つ以上のチップセットとしても良い。
【００１４】
ディスクインタフェース１５は、処理装置１３と補助記憶装置１１とを接続する接続用回路である。ディスクインタフェース１５は、例えば、ＳｅｒｉａｌＡＴＡ、ＳＣＳＩ、及びＦＣ（Fibre Channel）等の規格に従って機能する。
【００１５】
ネットワークインタフェースカード１６は、コンピュータネットワーク内でコンピュータ間の通信を行うために使用されるハードウェアである。ネットワークインタフェースカード１６は、イーサネット（登録商標）またはトークンリングなどの、特定の物理層およびデータリンク層を使用して通信するための回路を含む。
【００１６】
なお、出力装置１７は、プロセッサ試験装置から処理状況や処理結果を出力する対象となるディスプレイやプリンタなどであり、入力装置１８は、監視装置２０に対して情報を出力するキーボードやマウスなどである。
【００１７】
識別装置７は、識別情報を格納する集積回路であって、無線通信によって識別情報を受信装置８に送信する。識別装置７は、受信装置８からの電波をエネルギー源として動作するパッシブタグ、又は、電池を内蔵し、自ら電波を発するアクティブタグであっても良い。識別装置７には、識別装置７の各々を一意に識別するための固有の識別情報がそれぞれ付与されており、この識別情報で識別装置７を所持している人物が誰かを特定できるようになっている。人物が、それぞれ所持している複数の識別装置７の識別情報と、その各々の識別装置７を所持している人物とを対応付けた識別装置管理情報４４が、補助記憶装置１１に予め記録されている。
【００１８】
受信装置８は、識別装置７に対して電磁波を出力し、及び／又は、識別装置７から送信される識別情報を受信するアンテナ装置である。受信装置８は、監視システム１が用いられる施設内に設置される。受信装置８は、所定の間隔を空けて設置される。また、各受信装置８には、それぞれの受信装置８を一意に識別するための受信装置識別番号が付加されている。そして、各受信装置８の設置位置と受信装置識別番号とを対応付けた受信装置管理情報４３が補助記憶装置１１に記録されている。
【００１９】
コンピュータ２３は、図示しないネットワークインタフェースカードを介して、監視装置２０からデータを受信し、ディスプレイを介してデータを出力することができる。通信端末２４は、基地局２２からの無線を送受信することによって、監視装置２０からデータを受信し、ディスプレイを介してデータを出力することができる。
【００２０】
図２を用いて、監視装置で実装する機能構成の一例を示す。
処理装置１３に実装される機能は、制御機能部３１、顔表情認識機能部３２、人物特定機能部３３、位置特定機能部３４、識別情報特定機能部３５、画像拡大機能部３６、送信制御機能部３７、及び監視情報管理機能部３８がある。
【００２１】
監視制御プログラム３０は、制御機能部３１〜監視情報管理機能部３８として規定される機能をプログラミング言語で記述したものである。処理装置１３は、監視制御プログラム３０を実行することで、制御機能部３１〜監視情報管理機能部３８の機能を実行することが出来る。補助記憶装置１１には、３０で示す監視制御プログラム、４１で示す特徴管理情報、４２で示す画像位置管理情報、４３で示す受信装置管理情報、４４で示す識別装置管理情報、４５で示す画像転送先情報、及び４６で示す顔変化関連情報が格納される。主記憶装置１２又は補助記憶装置１１には、撮影装置９から伝送される画像情報が格納される。
以下、監視装置２０が行う各機能について順に説明する。
【００２２】
制御機能部３１は、顔表情認識機能部３２〜監視情報管理機能部３８の実行制御や、各機能部のイベントの共有を制御するための制御機能を有する。制御機能部３１の制御機能は、監視制御プログラム３０を実行後、最初に実行される機能である。
【００２３】
顔表情認識機能部３２は、撮影装置９によって撮影される撮影画像の中から人物の顔表情の変化を認識する機能を有する。撮影画像は、補助記憶装置１１又は主記憶装置１２に連続的に格納される。
【００２４】
顔表情認識機能部３２は、補助記憶装置１１又は主記憶装置１２に格納された画像情報を読み出し、画像から人物の顔を検出する。顔検出法としては、画像上に目や鼻や口などの顔器官を見つけ出すことによって、顔を検出することができる。顔器官の検出は、各器官を代表する代表画像を予め作成し、画像中で最も代表画像に一致する領域を見つけ出すことによって検出することが出来る。
顔表情認識機能部３２は、検出した顔器官の変化を測定する。顔表情認識機能部３２は、検出した顔器官における目や口の開閉度、目尻の形状などの変化により顔表情の変化を測定することが出来る。目尻が所定の角度下がり及び／又は目が所定の割合細くなれば笑顔、口角が所定の角度下がれば泣き顔のように、顔器官の角度や割合等の状態を定量的に評価することで、顔表情認識機能部３２は、笑顔、泣き顔、怒り顔などの被監視者の顔変化を捉えることが出来る。
【００２５】
図３を用いて、顔表情認識機能部３２が取得した画像の一例を示す。５１は、顔変化を検出した領域を示す。７ａ、７ｂ、７ｃは、それぞれ別々の人物に取り付けられた識別装置を示す。顔表情認識機能部３２は、画像内において顔変化を捉えたとき、顔変化を生じた画像領域５１を特定することが出来る。
このように、顔表情認識機能部３２は、顔変化が生じた画像内の画像領域５１と、その顔変化が笑顔、泣き顔、怒り顔のどの顔に変化したかを認識することが出来る。顔表情認識機能部３２は、画像領域５１と顔変化に関する情報を、制御機能部３１又は位置特定機能部３４に伝送する。
【００２６】
人物特定機能部３３は、顔変化が生じた画像内において、顔表情の変化があった人物を特定する機能を有する。特徴管理情報４１は、人物とその人物の特徴パターンとを関係付けた情報である。人物特定機能部３３は、画像から特徴抽出を行って、特徴パラメータ又は特徴ベクトルを求める。人物特定機能部３３は、こうして得られた特徴量の中から特徴管理情報４１の特徴パターンに合致した特徴量、あるいは近い特徴量を識別することによって画像内に映し出される人物を識別することが出来る。
なお、人物特定機能部３３により画像内の人物を識別する機能は、後述する位置特定機能部３４及び識別情報特定機能部３５を用いて行うことも可能である。
【００２７】
位置特定機能部３４は、画像内において顔表情が変化した人物の位置を特定する機能を有する。
図４は、撮影装置９の撮影領域と、受信装置の受信領域の関係を示す平面図である。図４に示される８ａ及び８ｂは受信装置を示し、５４ａ及び５４ｂは受信装置８ａ及び受信装置８ｂの受信領域をそれぞれ示し、５２は撮影装置９の撮影範囲を示す。７ａ、７ｂ、７ｃは、それぞれ別々の人物に取り付けられた識別装置を示す。撮影装置９が撮影した撮影範囲５２で取得された画像は、図３に示す取得画像に対応する。
図２に示す画像位置管理情報４２は、画像内の画像領域と、位置情報とを対応付けた情報である。例えば、画像位置管理情報４２において、図３に示す画像領域は、監視領域の特定の位置と対応付けて規定される。そのため、位置特定機能部３４は、画像位置管理情報４２を参照して、図３に示す画像領域５１に対応する監視領域の位置５３（図４）を特定することが出来る。
【００２８】
識別情報特定機能部３５は、位置特定機能部３４が特定した位置を受信領域とする受信装置を特定し、さらに、特定した受信装置で受信される識別情報を特定する機能を提供する。この機能により、顔表情が生じた位置を位置特定機能部３４から通知されることで、顔表情が変化した人物を特定出来る。
【００２９】
図４を用いて、識別情報特定機能部３５による人物特定方法の一例を説明する。図４に示されるように、識別装置７ａを有する人物が、受信領域５４ａに入ると受信装置８ａは、識別装置７ａに固有の識別情報を受信する。そして、受信装置８ａは、識別装置７ａの識別情報と共に受信装置８ａを識別する受信装置識別番号を、監視装置２０に送信する。
【００３０】
受信装置管理情報４３は、受信装置と、受信装置の受信領域とを関係付けた情報である。識別情報特定機能部３５は、位置特定機能部３４から位置５３に顔変化を生じたことを通知されるので、受信装置管理情報４３を参照して、位置５３を含む受信領域５４ａを対象とする受信装置が受信装置８ａであることを判別する。そして、受信装置８ａの受信領域５４ａにある識別装置７ａを検出する。
識別装置管理情報４４は、識別装置と、識別装置が取り付けられた人物とを関係付けた情報である。識別情報特定機能部３５は、識別装置管理情報４４を参照して、識別装置７ａを有する人物を特定する。このようにして、識別情報特定機能部３５は、顔変化が生じた人物が居る位置情報を用いて、顔変化が生じた人物を特定することが出来る。
【００３１】
このように、識別情報特定機能部３５は、位置情報を用いて、識別装置を特定することが出来る。そのため、識別情報特定機能部３５は、顔変化が生じた被監視者の居る位置５３を通知されると、受信装置管理情報４３を参照して、位置５３の周囲にある受信装置を受信装置８ａ、８ｂであると特定する。さらに、識別情報特定機能部３５は、識別装置管理情報４４を参照して、図４に示す識別装置７ｂ、識別装置７ｃを検出することも出来る。このような顔変化をした人物の周囲にある識別装置の検出は、画像とは無関係に検出できるので、画像に含まれない人物も検出可能である。
【００３２】
このようにして検出された周囲に居る人物の情報は、顔変化関連情報４６の１つとして補助記憶装置１１に格納される。このような周囲の人物の情報を記録することによって、記録されたデータを用いて、統計的な利用が可能である。例えば、顔変化が生じた原因が周囲の人間にあった事実や、顔変化を特定の人物に生じさせやすい人物を特定することも出来る。
【００３３】
画像拡大機能部３６は、顔表情認識機能部３２により認識された人物の顔表情を、拡大して、さらに当該拡大部分を切り取った画像を生成する機能を有する。撮影装置９が、人物と比して広い領域を撮影する場合、撮影画像において顔変化を生じた人物の画像部分は相対的に小さくなり、視認困難な場合がある。そこで、画像拡大機能部３６は、顔変化を生じた領域を拡大した画像を生成する。
図５Ａに、図３に示した画像を拡大した画像の一例を示す。図５Ａに示される画像は、人物が画像領域の７割、背景が画像領域の３割というように図３に示す顔変化を生じた人物の画像を拡大した画像である。このように、デジタル処理により画像を拡大することで、拡大画像において顔変化の状態が明確に示される。顔変化が拡大されて視認可能になることで、監視システム１を保育園や幼稚園に適用した場合、監視者である園児の両親は普段目にすることができない、子供の楽しんでいる表情等を確認することができる。
【００３４】
図５Ｂに、図３に示した画像を拡大した画像の一例を示す。図５Ｂに示される画像は、人物が画像領域の３割、背景が画像領域の７割というように図３に示す顔変化を生じた人物の画像を拡大した画像である。このように、デジタル処理により画像を拡大することで、顔変化を生じた人物の画像を明確にすると共に、顔変化をした人物の周囲の環境情報を画像提供することが出来る。周りの背景が明確になる程度に画像を拡大することで、周囲に居る人間や、顔変化をした人物が行っていたイベントを特定することが可能になり、監視者は顔変化がなぜ生じたのかをその周囲の環境から知ることが出来る。
【００３５】
なお、監視対象の環境によっては、複数人による顔表情変化が同時に起こる場合がある。図３を再び参照すると人物６１と人物６２が同時に顔変化が生じたとする。その場合、画像拡大機能部３６は、それぞれの人物に対する顔表情変化に対する処理を行う。
図５Ｃに複数の顔表情変化が生じる場合の画像拡大機能部３６の画像拡大処理の一例を示す。画像拡大機能部３６は、人物が画像領域の７割、背景が画像領域の３割となるように画像を切り出す。なお、この拡大した顔表情画像は、本願において「顔サムネイル」として参照され得る。このようにして、人物６１に対して切り出した画像を７１で、及び、人物６２に対して切り出した画像を７２で示す。このように、画像拡大機能部３６は、複数人による顔表情変化が同時に起こる場合、それぞれの人物に対して顔サムネイルを生成する。
【００３６】
さらに、画像拡大機能部３６は、人物が画像領域の３割、背景が画像領域の７割となるように周りの背景が明確になる画像を切り出す。画像拡大機能部３６は、複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を撮影画像から切り出し、顔サムネイルを中心とする画像を生成する。この場合、画像拡大機能部３６は、顔変化が生じた顔画像の顔サムネイルの中心を、画像データの中心となるような人物が画像領域の３割、背景が画像領域の７割となる画像を生成する。このようにして、人物６１に対して切り出した画像を８１で、及び、人物６２に対して切り出した画像を８２で示す。
このように、監視画像内において複数の顔変化が生じた場合でも、画像拡大機能部３６は、各々の顔画像変化が生じた人物に対して画像拡大処理を行うことができ、より高い精度の顔変化検出機能を提供する。
【００３７】
送信制御機能部３７は、特定した人物に関連付けられる宛先に、顔情報を含む画像を、送信装置を介して送信する機能を有する。送信制御機能部３７は、図２に示す画像転送先情報４５を参照して、人物の識別情報と関係付けられる転送先アドレスにネットワーク網２１を介して顔変化を含む画像を送信する。送信する転送先アドレスは、例えば、監視システム１を保育園や幼稚園に適用した場合、監視者である園児の両親のコンピュータ２３又は通信端末２４のＩＰアドレスや、メールアドレスである。送信先のコンピュータ２３又は通信端末２４のディスプレイには、顔情報を含む画像が表示される。
なお、複数人による顔表情変化が同時に起こる場合、上記例では、送信制御機能部３７は、人物６１及び６２に対して、画像７１及び８１、及び、画像７２及び８２をそれぞれ所定の転送先アドレスに送信する。
【００３８】
このように、被監視者を常時監視すると共に、顔変化が生じたときだけ監視者に画像を送ることによって、被監視者を常時監視し且つ監視者による画像監視負荷を下げることが出来る。処理装置１３が各機能を実行するための演算量に対して十分な処理速度を有することにより、顔変化が生じたら即時に監視者に送信することが出来る。そのため、監視者は被監視者に顔変化が生じた時間に、顔変化を含む画像を即時的に受け取ることができる。
【００３９】
監視情報管理機能部３８は、顔変化を生じた画像を補助記憶装置１１に格納する。また、監視情報管理機能部３８は、顔変化画像と共に、顔変化が生じた時間、顔変化を生じた位置情報、位置特定機能部３４が特定した周囲に居る人物の情報を、顔変化関連情報４６として補助記憶装置１１に記録することが出来る。
【００４０】
このように、顔変化に関する関連情報を用いて、画像に写っていなくても、被監視者が行っていた周囲に居る人物やそのとき行われていたイベントを特定することにより、被監視者の顔変化の原因を特定することが出来る。
【００４１】
また、顔変化に関する関連情報を用いて、顔変化の日時及び／又は顔変化の回数の統計をとることで被監視者である人物の心理的なバランスをチェックすることが出来る。
【００４２】
また、制御機能部３１〜監視情報管理機能部３８の機能をプログラミング言語で規定した監視制御プログラム３０は、記録媒体やネットワークを介して補助記憶装置１１に格納されることによって、処理装置１３により実行され、処理装置１３の機能として実装される。そのため、既に普及している監視カメラを有するシステムに関しても、監視制御プログラム３０を読み込むことによって、既に普及している監視カメラを有するシステムも制御機能部３１〜監視情報管理機能部３８の機能を実装することが出来る。
【００４３】
図６は、監視システム１が実行する監視処理のフローチャートの一例である。
まず、撮影装置９は、監視領域を撮影する（Ｓ１０１）。そこで撮影された、撮影画像は、補助記憶装置１１又は主記憶装置１２に連続的に格納される（Ｓ１０２）。顔表情認識機能部３２は、補助記憶装置１１又は主記憶装置１２に格納された画像情報を読み出し、画像の中から人物の顔表情の変化を認識する（Ｓ１０３）。
人物特定機能部３３は、顔表情の変化があった人物が誰であるかを特定する（Ｓ１０４）。なお、この人物特定処理は、位置特定機能部３４及び識別情報特定機能部３５が行っても良い。この場合、位置特定機能部３４は、画像内において顔表情が変化した人物の位置を特定する。そして、識別情報特定機能部３５は、その特定位置から送信される識別装置が送信する電波を受信する受信装置を特定し、特定した受信装置で受信される識別情報を特定することで人物を特定する。
画像拡大機能部３６は、画像における変化した顔表情の画像を拡大する（Ｓ１０５）。送信制御機能部３７は、ステップＳ１０４で特定した人物に関連付けられる宛先に、顔情報を含む画像を、送信装置を介して送信する（Ｓ１０６）。
【００４４】
監視情報管理機能部３８は、顔変化に関する関連情報を補助記憶装置１１に記録する（Ｓ１０７）。顔変化に関する関連情報は、顔変化を生じた画像、顔変化が生じた時間、顔変化を生じた位置情報、及び位置特定機能部３４が特定した周囲に居る人物の情報がある。処理装置１３は、入力装置１８又はネットワークを介してシステム停止命令があるか否かを監視し、システム停止命令が無い場合（Ｓ１０８ Ｎｏ）は、上記ステップＳ１０１〜Ｓ１０７を実行し続ける。システム停止命令がある場合（Ｓ１０８ Ｙｅｓ）、処理装置１３は監視処理を終了することで（Ｓ１０９）、監視処理のフローを終了する。
【００４５】
図７は、監視システムの一実施例を示す図である。
図７に示す７ｄ、７ｅ、７ｆは、識別装置を示し、７ｇは識別装置の詳細を示し、９ａ、９ｂは撮影装置を示し、２３ａはコンピュータを示し、２４ａは通信端末を示す。
識別装置７ｇは、保育園又は幼稚園の児童の名札として実装される識別装置を示す。このように名札として識別装置を用いることで、常に識別装置を児童に取り付けることが出来る。識別装置７ｄ、７ｅ、７ｆも７ｇと同様に、保育園又は幼稚園の児童の名札として実装される。
【００４６】
撮影装置９ａ及び撮影装置９ｂは、監視領域に対して死角を作らないように配置される。図示されない監視装置２０が顔表情の変化を検出すると、監視装置２０は、顔表情を含む画像を、顔表情に変化を生じた児童の母のコンピュータ２３ａ及び父の通信端末２４ａに送信する。送信された顔変化を含む画像コンピュータ２３ａ及び通信端末２４ａのディスプレイに表示されることによって、父は、仕事中でも自分の子供の顔変化を知ることができ、母は、家事の間でも自分の子供の顔変化を知ることが出来る。
【００４７】
以上述べた実施形態に関し、さらに以下の付記を開示する。
（付記１）
人物を監視する監視システムであって、
前記人物を撮影する撮影装置と、
画像を送信する送信装置と、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を検出し、前記顔表情の変化があった人物を特定し、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する、処理を行う処理装置と、
を備える監視システム。
（付記２）
前記処理装置は、前記撮影画像における変化した顔表情の画像を所定の大きさに拡大した顔画像を前記撮影画像から切り出し、前記切り出した拡大顔画像を前記送信装置を介して送信する付記１に記載の監視システム。
（付記３）
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについて顔サムネイルを前記撮影画像から切り出し、前記切り出した顔サムネイルを生成する付記１に記載の監視システム。
（付記４）
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を前記撮影画像から切り出し、前記顔サムネイルを中心とする画像を生成する付記１に記載の監視システム。
（付記５）
前記撮影画像に複数の変化した顔画像を検出した場合、前記送信装置は、複数の顔画像の各々に対応付けられた宛先に前記送信装置を介して前記変化した顔情報を含む画像を送信する付記３又は４に記載の監視システム。
（付記６）
前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する付記１又は２に記載の監視システム。
（付記７）
記憶部をさらに備え、
前記処理装置は、前記顔表情が変化したとき、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物のデータの少なくとも１つを前記記憶部に格納する付記１〜５のいずれか１項に記載の監視システム。
（付記８）
前記人物のそれぞれによって所持され、且つ識別情報を含む電波を送信する識別装置と、
前記識別装置から送信される電波を受信する受信装置と、をさらに備え、
前記処理装置による前記顔表情の変化があった人物を特定する処理は、前記画像内において顔表情が変化した人物の位置を特定し、前記位置から送信される前記識別装置が送信する電波を受信する受信装置を特定し、前記特定した受信装置で受信される識別情報を特定することによって行われる付記１〜４のいずれかに１項に記載の監視システム。
（付記９）
撮影装置、送信装置、及び処理装置を用いて人物を監視するための監視方法であって、
前記処理装置は、前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、
前記処理装置は、前記顔表情の変化があった人物を特定し、
前記処理装置は、前記認識した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を送信する、
ことを有する監視方法。
（付記１０）
前記処理装置は、前記画像における変化した顔表情の画像を拡大し、前記宛先に前記拡大した顔情報を含む画像を前記送信装置を介して送信することをさらに有する付記９に記載の監視方法。
（付記１１）
前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定することをさらに有する付記９又は１０に記載の監視方法。
（付記１２）
前記処理装置はさらに記憶部に接続され、
前記処理装置は、前記顔表情が変化したとき、前記記憶部に、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物の少なくとも１つを記録することを有する付記９〜１１のいずれか１項に記載の監視方法。
（付記１３）
人物を監視するための監視プログラムであって、撮影装置及び送信装置と接続される処理装置に、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識する手順、
前記顔表情の変化があった人物を特定する手順、及び、
前記認識した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する手順、
を実行させるための監視プログラム。
（付記１４）
前記処理装置に、前記画像における変化した顔表情の画像を拡大し、前記宛先に前記拡大した顔情報を含む画像を前記送信装置を介して送信する手順をさらに実行させる付記１３に記載の監視プログラム。
（付記１５）
前記処理装置に、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する手順をさらに実行させる付記１３又は１４に記載の監視プログラム。
（付記１６）
前記処理装置はさらに記憶部に接続され、
前記処理装置に、前記顔表情が変化したとき、前記記憶部に、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物の少なくとも１つを記録する手順を実行させる付記１３〜１５のいずれか１項に記載の監視プログラム。
【図面の簡単な説明】
【００４８】
【図１】監視装置のハードウェア構成の一例を示す図である。
【図２】監視装置で実装する機能構成の一例を示す図である。
【図３】顔表情認識機能部が取得した画像の一例を示す図である。
【図４】人物特定機能部による人物特定方法の一例を示す図である。
【図５Ａ】画像拡大機能部により拡大した画像を示す図である。
【図５Ｂ】画像拡大機能部により拡大した画像を示す図である。
【図５Ｃ】複数の顔表情変化が生じる場合の画像拡大機能部３６の画像拡大処理の一例を示す図である。
【図６】監視システムが実行する監視処理のフローチャートの一例である。
【図７】監視システムの一実施例を示す図である。
【符号の説明】
【００４９】
１ 監視システム
７ 識別装置
８ 受信装置
９ 撮影装置
１１ 補助記憶装置
１２ 主記憶装置
１３ 処理装置
１４ バスインタフェースユニット
１５ ディスクインタフェース
１６ ネットワークインタフェースカード
１７ 出力装置
１８ 入力装置
２０ 監視装置
２１ ネットワーク網
２２ 基地局
２３ コンピュータ
２４ 通信端末
３０ 監視制御プログラム
３１ 制御機能部
３２ 顔表情認識機能部
３３ 人物特定機能部
３４ 位置特定機能部
３５ 識別情報特定機能部
３６ 画像拡大機能部
３７ 送信制御機能部
３８ 監視情報管理機能部
４１ 特徴管理情報
４２ 画像位置管理情報
４３ 受信装置管理情報
４４ 識別装置管理情報
４５ 画像転送先情報
４６ 顔変化関連情報
【特許請求の範囲】
【請求項１】
人物を監視する監視システムであって、
前記人物を撮影する撮影装置と、
画像を送信する送信装置と、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を検出し、前記顔表情の変化があった人物を特定し、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する、処理を行う処理装置と、
を備える監視システム。
【請求項２】
前記処理装置は、前記撮影画像における変化した顔表情の画像を所定の大きさに拡大した顔画像を前記撮影画像から切り出し、前記切り出した拡大顔画像を前記送信装置を介して送信する請求項１に記載の監視システム。
【請求項３】
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについて顔サムネイルを前記撮影画像から切り出し、前記切り出した顔サムネイルを生成する請求項１に記載の監視システム。
【請求項４】
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を前記撮影画像から切り出し、前記顔サムネイルを中心とする画像を生成する請求項１に記載の監視システム。
【請求項５】
前記撮影画像に複数の変化した顔画像を検出した場合、前記送信装置は、複数の顔画像の各々に対応付けられた宛先に前記送信装置を介して前記変化した顔情報を含む画像を送信する請求項３又は４に記載の監視システム。
【請求項６】
前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する請求項１又は２に記載の監視システム。
【請求項７】
記憶部をさらに備え、
前記処理装置は、前記顔表情が変化したとき、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物のデータの少なくとも１つを前記記憶部に格納する請求項１〜５のいずれか１項に記載の監視システム。
【請求項８】
撮影装置、送信装置、及び処理装置を用いて人物を監視するための監視方法であって、
前記処理装置は、前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、
前記処理装置は、前記顔表情の変化があった人物を特定し、
前記処理装置は、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を送信する、
ことを有する監視方法。
【請求項９】
人物を監視するための監視プログラムであって、撮影装置及び送信装置と接続される処理装置に、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識する手順、
前記顔表情の変化があった人物を特定する手順、及び、
前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する手順、
を実行させるための監視プログラム。
【請求項１】
人物を監視する監視システムであって、
前記人物を撮影する撮影装置と、
画像を送信する送信装置と、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を検出し、前記顔表情の変化があった人物を特定し、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する、処理を行う処理装置と、
を備える監視システム。
【請求項２】
前記処理装置は、前記撮影画像における変化した顔表情の画像を所定の大きさに拡大した顔画像を前記撮影画像から切り出し、前記切り出した拡大顔画像を前記送信装置を介して送信する請求項１に記載の監視システム。
【請求項３】
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについて顔サムネイルを前記撮影画像から切り出し、前記切り出した顔サムネイルを生成する請求項１に記載の監視システム。
【請求項４】
前記処理装置は、前記撮影画像に複数の変化した顔画像を検出した場合、前記変化した顔情報を含む画像として、前記複数の変化した顔画像のそれぞれについての顔サムネイルを中心とする画像を前記撮影画像から切り出し、前記顔サムネイルを中心とする画像を生成する請求項１に記載の監視システム。
【請求項５】
前記撮影画像に複数の変化した顔画像を検出した場合、前記送信装置は、複数の顔画像の各々に対応付けられた宛先に前記送信装置を介して前記変化した顔情報を含む画像を送信する請求項３又は４に記載の監視システム。
【請求項６】
前記処理装置は、前記顔表情が変化したとき、前記顔表情が変化した人物の周囲に居る人物を特定する請求項１又は２に記載の監視システム。
【請求項７】
記憶部をさらに備え、
前記処理装置は、前記顔表情が変化したとき、時間、位置、及び前記顔表情が変化した人物の周囲に居る人物のデータの少なくとも１つを前記記憶部に格納する請求項１〜５のいずれか１項に記載の監視システム。
【請求項８】
撮影装置、送信装置、及び処理装置を用いて人物を監視するための監視方法であって、
前記処理装置は、前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、
前記処理装置は、前記顔表情の変化があった人物を特定し、
前記処理装置は、前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を送信する、
ことを有する監視方法。
【請求項９】
人物を監視するための監視プログラムであって、撮影装置及び送信装置と接続される処理装置に、
前記撮影装置によって撮影された画像の中から人物の顔表情の変化を認識する手順、
前記顔表情の変化があった人物を特定する手順、及び、
前記特定した人物に関連付けられる宛先に、前記変化した顔情報を含む画像を、前記送信装置を介して送信する手順、
を実行させるための監視プログラム。
【図１】
【図２】
【図４】
【図６】
【図３】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図７】
【図２】
【図４】
【図６】
【図３】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図７】
【公開番号】特開２０１０−１５７１１９（Ｐ２０１０−１５７１１９Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００８−３３５３２６（Ｐ２００８−３３５３２６）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]