映像監視装置
【課題】
映像中に検出された人物の視線方向情報から行動意図を示す情報を複数抽出することで、特定の意図をもつ人物を不審人物として自動的に検出できる人物意図推定装置を得る。
【解決手段】
撮像部１００から得られた映像情報に対して、映像処理部２００において人物検出及び人物の視線方向情報を抽出し、注視特徴計算部４００で、この視線方向情報から、特定方向への総注視時間、特定方向への視線遷移回数、特定方向への平均注視時間、視線の分散値、視線の平均移動量、特定方向へのちら見回数、一般的な視線パターンとの距離といった注視特徴量を抽出して不審人物を判別する。
映像中に検出された人物の視線方向情報から行動意図を示す情報を複数抽出することで、特定の意図をもつ人物を不審人物として自動的に検出できる人物意図推定装置を得る。
【解決手段】
撮像部１００から得られた映像情報に対して、映像処理部２００において人物検出及び人物の視線方向情報を抽出し、注視特徴計算部４００で、この視線方向情報から、特定方向への総注視時間、特定方向への視線遷移回数、特定方向への平均注視時間、視線の分散値、視線の平均移動量、特定方向へのちら見回数、一般的な視線パターンとの距離といった注視特徴量を抽出して不審人物を判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像監視システムに関するもので、映像情報処理により人物の視線方向情報を抽出し、本情報から人物意図を表す様々な情報を抽出する方法であり、上記情報によって不審人物の検出、人物興味対象方向推定への利用を行う手法に関するものである。
【背景技術】
【０００２】
近年、画像処理技術の発展と撮像系の高性能化に伴い、画像認識技術の向上および多様化が進んでいる。特に、人物情報の認識技術を採用した人物の検知や顔による認証システムなどは製品化され始めている。
【０００３】
こうした背景の中、更なる高度人物情報認識技術が求められており、年齢や性別といった詳細な情報や行動意図を推定することが求められてきている。人物の意図が表れる人物特徴の一つとして視線方向情報があると考えられる。人物の視線方向情報から、興味や注意を示している対象、視線の挙動を解析することによって、その人物の意図を推測することが可能となると考える。
【０００４】
実際にこうした視線方向情報を用いた技術として自動車の運転を行っている人物の視線方向を推定して、運転者がぼんやり状態にあるかどうかを判別するシステムがある（例えば、特許文献１参照）。具体的には、視線方向情報から一定時間の視線方向の分布を計算し、その分布幅が閾値以下であれば、周囲に気を配ることができていない、ぼんやり状態であるとして運転者に注意を促す。
【０００５】
更に、ユーザの視線方向情報から戸惑い状態を検知し、サポートを行う技術もある（例えば、特許文献２参照）。具体的には、検出した視線方向のフレーム間の変化を視線速度として計算し、得られた一定時間の視線速度データを視線速度データ履歴として記録する。これを、所定の視線速度パターンによって学習されたニューラルネットワークに入力し、パターンマッチングを行うことで、戸惑い状態にあるかどうか判定する。
【０００６】
【特許文献１】特開平６−２５１２７３号公報
【特許文献２】特開２００４−３２１６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記従来技術では視線方向情報から、どの位置に視線が滞留しているか、速度が異常であるかどうか、といった決まった特徴を計算することで人物の状態を判定する機能を実現していた。しかし、実際には人物の視線方向情報には、より深い心理状態や興味を示す様々な情報が含まれていると考えられ、これを有効に活用することが出来ていない。また、視線方向推定には多大な計算量とコストがかかるため、このような一状態を推定する機能のみのために実際に利用されることは少ないという問題があった。
【０００８】
従って、得られた人物の視線方向情報から、例えばその人物の興味・警戒度合い、行動意図等の、撮像された人物の行動に関する情報（例えば、当該人物が不審な行動をとっているかどうか等）を取得することが好ましい。
【０００９】
本発明は、上記課題に鑑みて為されたものであって、その目的は、撮像された人物の行動に関する情報を好適に取得するための技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、以下の技術を提供するものである。すなわち本発明は、撮像部と、撮影された画像から人物を検出し、その人物の視線方向情報を抽出する映像処理部と、人物ごとの視線方向情報から注視特徴量を計算する注視特徴計算部と、画像、移動体情報ごとの上記視線方向情報、及び上記注視特徴量を記録する情報記録部と、
上記情報記録部に記録されている上記注視特徴量から撮像された人物の行動に関する情報を取得して通知する通知部とを有することを特徴とする。
【００１１】
上記構成によれば、映像監視システムにおいて人物の視線方向情報から、人物の興味対象や心理状態を表す様々な情報を抽出することを実現できる。そして、こうした情報を用いることで特定の心理状態にある人物をデータ中から探し出すことが可能となる。
【発明の効果】
【００１２】
本発明によれば、好適に撮像された人物の行動に関する情報を取得することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明する。
【実施例１】
【００１４】
本発明を利用した不審者検出システムの例を図１に示す。撮像部１００は、例えばネットワークカメラなどの撮影装置である。映像処理部２００は画像処理機能を有するPCであり、撮像部１００から得られた映像データに対して、人物の検出、視線方向の推定等の映像処理を行う。情報記録部３００はサーバまたはデータベースによって構成され、撮像部１００から得られる映像データ、映像処理部２００から得られる各フレームの人物情報、注視特徴計算部４００から得られる人物の注視特徴量を管理・記録する。注視特徴計算部４００では、情報記録部３００に記録されている人物の視線方向情報から人物の行動意図を表す注視特徴量を計算する。検索部５００では、検索したい不審人物の条件設定を行い、情報記録部３００に対し検索要求を行い、検索結果を表示する。通知部６００では、注視特徴計算部４００で計算された注視特徴を受け取り、不審だと判定される人物がいた場合に、ユーザに通知する。
【００１５】
次に各部の説明を行う。
【００１６】
(映像処理部)図２に示す映像処理部２００は、映像取得部２０１、移動体検出部２０２、顔検出部２０３、顔特徴量計算部２０４、視線方向検出部２０５、メタデータ作成部２０６の構成要素を有する。
【００１７】
映像取得部２０１は撮像部１００からフレーム毎に画像を取得する。獲得した画像のカメラ番号と時間情報などから固有のフレームIDを作成し、これを画像のヘッダに書き込み管理する。映像取得部２０１はデータ格納バッファを有しており、移動体検出部２０２から獲得要求が来るまで、数フレーム分の画像をバッファ内に保持しておく。
移動体検出部２０２では、映像取得部から画像を獲得し、画像中から移動体を検出する。検出した移動体に固有の移動体番号を付け、毎フレーム追跡する。つまり次フレームにおいて近い位置に近い大きさの移動体が検出されたら同一移動体として同じ移動体番号を付けて管理する。一度フレームアウトしたら、その時点で追跡を終了することになり、次の移動体には異なる番号を付けて管理する。毎フレームの移動体番号と移動体の存在する領域情報はメタデータ作成部２０６に送られる。
【００１８】
顔検出部２０３では、移動体追跡部２０２で得られた移動体領域中から既存の手法を用いて顔の検出を行う。顔検出部２０３において顔が検出された場合のみ、顔特徴量計算部２０４、視線検出部２０５の処理が実行される。
顔特徴計算部２０４では、顔検出部２０３で検出された顔画像から既存の手法を用いて顔特徴量を計算する。得られた顔特徴量はメタデータ作成部２０６に送られる。
視線検出部２０５では、顔検出部２０３で検出された顔画像から、顔方向と視線方向を計算する。この方向情報とは、カメラに対して水平方向φ度、垂直方向ψ度向いているという情報とする。図３に示すようにカメラのある方向をφ＝０、ψ＝０度とし、向かって右方向をφの正方向、向かって上方向をψの正方向とする。顔方向の水平・垂直成分をそれぞれφface、ψface、視線方向の水平・垂直成分をφeye、ψeyeとする。この、視線方向検出は従来の技術もしくは、以下で紹介する視線方向検出方法によってこれを行うこととする。メタデータ作成部２０６では、そのフレーム画像が持つフレームID1a、カメラ番号1b、画像の検出時間1c、各検出部から送られてきた移動体番号1d、移動体領域1e、顔領域情報1f、顔特徴量1g、視線方向1iという各情報を図４に示すような一つのフレーム情報１としてまとめ、情報記録部３００に送信する。移動体検出部２０２において移動体が検出されなかった場合には、メタデータ作成部は何の処理も行わない。
（視線方向検出方法）本発明で提案する視線方向検出の例を述べる。本発明における視線方向検出部２０５では、顔検出部２０３で得られた顔画像から、まず顔方向を計測し、得られた顔方向情報を用いて視線方向を決定する。
【００１９】
（顔方向推定）図５の流れに従い、顔検出部２０３から得た顔情報を元に顔方向を検出する。ステップ５１にてまず、顔検出部２０３から顔領域情報と画像を得る。次にステップ５２で、背景差分や肌色領域抽出等により顔領域をもう一度より正確に推定しなおす。ここでいう、顔領域とは図６に示すように頭部に外接する四角形領域のことを言う。この顔領域の中心位置を顔領域中心位置と呼び、ステップ５３でこの位置を決定する。
【００２０】
次に、ステップ５４で顔器官中心位置を検出する。顔器官中心位置とは、図６に示すような両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置を言う。この顔器官中心位置は、眉や目尻、鼻といった各器官を検出し、各器官の位置関係から推定することが出来る。顔の各器官は、顔画像を輝度値によって２値化した画像、エッジ画像、分離度フィルタを施した画像などを用いた既存の手法により検出する。ステップ５５では得られた顔領域と顔器官中心位置から水平方向の顔方向を計算する。これは、図７の顔楕円モデルを参考にした式で決定される。図７は、水平方向右向きにφface向いた時の頭を真上から見下ろしたときのイメージである。このとき画像中の顔領域の両端がそれぞれF1、F2、顔器官中心位置がCである。このとき、顔領域の中心位置は楕円の中心位置OfaceでありF1とF2 の中点となる。wfaceは顔領域の幅であり、cfaceがCOface間の距離である。顔の幅aと奥行き方向の長さbの比を顔楕円比kとし、以下の数式によって顔方向φｆaceを求める。
【００２１】
【数１】
【００２２】
本システムでは楕円比kは約1.25とする。これは、人物の統計的なデータから測定した平均的な頭部楕円比の値である。人物によってこのkの値は若干異なるが、その違いは0.1以下程の範囲内であり、これによる顔方向精度の影響は本システムにおいて許容される範囲内となる。システム構成によっては、既定値でなく、実際にこの顔楕円比kを求めることとする。本手法では、撮像部が上方向に設置され、各器官が検出しにくい場合にも、鼻など検出しやすいものだけを用いて顔器官中心位置を決定出来るため頑健な顔方向推定が可能である。また顔器官中心位置ではなく、耳位置を用いることで横向き時の方向推定も可能である。垂直方向の顔方向角度ψfaceの推定に関しては、既存の手法を用いて求める。
【００２３】
（視線方向検出方法）以上の方法で得られた顔方向情報を用いて、視線方向を検出する。これは図８に示す流れで行う。ステップ８１において、まず顔画像中から瞳の中心位置を検出する。ステップ８２は、８１で検出された瞳の数による条件分岐である。左右両方とも瞳検出に失敗した場合、視線方向検出失敗となりステップ８８でエラー処理を行う。片目だけもしくは両目とも検出に成功したら、次のフローであるステップ８３に進む。８３では８２で求めた瞳位置を元にしてそれぞれの瞳が属する目領域を求める。ステップ８４は８３で検出した目領域による条件分岐である。目領域が正しく検出できなかった場合、視線方向検出失敗とする。両目とも正しく目領域が検出できたらステップ８５へ、検出された目領域が片方のみの時、ステップ８７へと進む。８５、８７では、瞳の中心位置と目領域から視線方向計算を行う。８７では検出できた片方の目だけの視線方向を、８５では両目とも視線方向を計算する。８５で得られた両方の目の視線方向は８６において統合され、最終的な視線方向が決定される。
【００２４】
ステップ８５、８７で行われる視線方向計算の方法について述べる。これには顔方向と、８１と８３でそれぞれ求めた瞳位置、目領域の情報を用いて、図９の眼球モデルに基づく式によって計算する。眼球は皮膚に覆われているため、画像中に実際に現れる目領域は角膜部分のみである。これは図９の弧E1E2部分である。このE1とE2の位置を、それぞれ眼球の水平線から角度αの所にあるとする。図９においてOeye、Iがそれぞれ画像上での眼球の中心位置と瞳の中心位置であり、Oeye´が実際の眼球の中心となる。φｆaceは上記顔方向検出で得られた顔方向の角度、φeyeが視線方向の角度、weyeは画像中における目領域の幅、ceyeは画像上での眼球中心位置と瞳中心位置の長さとなる。このとき視線方向φeyeを以下の式で決定する。ここで眼球の隠れ部分の角度αは既定値とする。
【００２５】
【数２】
【００２６】
尚、数２において、ceyeはI−E1で表されている。これは、後述する数３及び数４においても同様である。
【００２７】
また、顔の中心側と外側で、眼球の隠れ部分の角度が異なるとして視方向を計算しても良い。このとき、両目の眼球は図２１のようになる。顔の中心側の隠れ部分の角度をβ、外側をαとしている。数２と同じように式を立てると、左目と右目で式が異なることになる。左目の視線方向φeyeは以下の式で求めることが出来る。
【００２８】
【数３】
【００２９】
同様に、右目の視線方向は以下の式で求めることが出来る。
【００３０】
【数４】
【００３１】
眼球の隠れ部分α、βは既定値（例えばα=３３、β＝４０度）を用いる。これは一般的な眼球の半径値と画像上の目領域の位置の値などから推定することも可能である。
【００３２】
ステップ８５において、両目とも視線が計測された後、ステップ８６において、両目の視線方向に重み付けを行い、足し合わせることで最終的な視線方向を決定する。この重みは顔方向によって決定する。顔が右方向を向いている場合、右目は画像上にほとんど現れなくなるため、左目の重みを増加し、左目の視線方向情報を主な視線方向とする。顔が正面を向いているときは、視線方向は両目の平均となる。
なお、この両目の視線方向の決定は垂直方向、水平方向それぞれに関して別々に行う。
【００３３】
本計測式を用いて、視線方向を計測することで、±40度の範囲において最高で平均計測誤差2度程度で計測できることが実験から確認されている。実験では0〜40度方向まで5度間隔で打たれた点を5人の被験者に注視してもらい、その様子を撮影した。得られた画像から手動で目領域や黒目の中心位置を検出し、方向を計測した。5人の計測誤差を平均した結果が図２２である。
【００３４】
（情報記録部）情報記録部３００の構成を図１０に示す。情報記録部３００は、映像記録部３０１、フレーム情報記録部３０２、人物情報記録部３０３から構成される。それぞれの記録部は独立しており、全て同じ機器内にあっても、それぞれ別々の機器上にあっても良い。逆に、各記録部が複数の機器上に実装されていることもあり得る。
【００３５】
映像記録部３０１で扱う映像情報２は図１１(a)で示す４つの情報から構成される。カメラからの映像を入力として受け取り、フレームID2aを付与し、カメラ番号2b、画像の検出時間2cと共に画像データ2dを記録する。
フレーム情報記録部３０２は、映像処理部２００で生成されたフレーム情報１を受け取り、これをそのまま、毎フレーム記録する。このためデータベースにおけるテーブル構成も図４の通りとなる。
【００３６】
人物情報記録部３０３は、上記フレーム情報記録部３０２に登録された移動体番号1dごとの各注視特徴量を登録するデータベースである。格納される人物情報3は図１１（ｂ）に示される通りである。注視特徴量3eは不審特徴計算部４００によって計算され、本記録部に記録される。ここでの検出開始時間3cは移動体が初めて現れたフレームの検出時間、検出終了時間は最後のフレーム時間である。顔特徴量3fには、その移動体番号を持つフレーム情報１全ての中から顔方向1hが最も０度に近いときの顔特徴量1fが登録される。
【００３７】
（注視特徴計算部）注視特徴計算部４００では、情報記録部３００のフレーム情報記録部３０２に登録されているフレーム情報1から注視特徴を計算する。注視特徴計算部の構成を図１２に示す。ある移動体が映像中に現れなくなり、フレーム情報記録部３０２にその移動体のデータが記録されなくなったら、視線情報取得部４０１に、その移動体の移動体番号1dを持つフレーム情報1が全て送られる。視線情報取得部４０１は、送られた全てのフレーム情報1を内部メモリ４０２に記録する。この視線情報から各特徴量計算部４０３で数種類の注視特徴量を計算する。
特徴量計算部４０３では、フレーム情報1中の全ての視線方向1iから、特定方向総注視時間、特定方向平均遷移回数、特定方向平均注視時間、視線分散値、視線平均移動量、視線パターン特異度の計算を行う。なお、利用システムによっては、これらの中から数種類のみを注視特徴量として計算して用いても良い。
【００３８】
図１３は、移動体が検出された時間t0からteまでの視線方向の変化の様子の例である。図１３を例に各注視特徴量の計算方法を説明する。
【００３９】
（特定方向総注視時間）特定した各方向領域に存在する視線の総時間を特定方向総注視時間として求める。図１３では（１）から（９）の９方向の領域を設定してある。獲得した全てのフレーム情報1の視線方向1iを見て、領域毎に視線方向がその領域にあった総時間数を計算する。特定方向領域として撮像部１００が存在する領域を指定した場合、この総注視時間が長いほどカメラに対して警戒心を持っていると考えられる。
【００４０】
（特定方向視線遷移回数）別方向領域から特定した方向領域へと視線が遷移した回数を、領域遷移回数として領域毎に求める。例えば図１３では時間t0からt１になったときに、視線が領域（５）から領域（２）へと遷移している。このとき、領域（２）への視線遷移回数が1回となる。特定方向として撮像部がある領域を設定しておけば、撮像部に対して何度も視線を送っていることとなり、総注視時間同様、警戒心を表す特徴となる。尚、上記説明の括弧付き数字は、図１３では、丸付き数字で示してある。
【００４１】
（特定方向平均注視時間）上記領域毎の、特定方向総注視時間を同じ特定方向の視線遷移回数で割ることで、それぞれの方向領域の平均注視時間を計算する。本特徴量によって、一回の注視における平均時間を求めることが出来る。これは、視線遷移回数とともに利用され、注視平均時間が極端に小さいにも関わらず、遷移回数が多い場合、その方向に対して非常に警戒していると言える。
【００４２】
(特定方向毎注視時間) 特定方向への総注視時間を全ての注視時間で割ることで、各方向毎の注視時間の割合を求める。これにより、検出された時間数に関わらず人物がどちらの方向に最も興味を示していたかが分かる。通常とは異なる方向を見ていた割合が多いほど不審であると考えられる。
【００４３】
（視線の分散値）移動体の全ての視線方向1iから、垂直方向及び水平方向の分散値をそれぞれ計算し、視線分散値とする。分散値が大きいほど、周囲を大変気にしていることになるため、不審といえる。
【００４４】
（視線の平均移動量）前フレームの視線方向角度と現フレームの視線方向推定角度の差の絶対値を視線移動量として、全フレーム情報1から視線移動量の平均値を計算し、視線平均移動量とする。分散値同様、垂直方向・水平方向それぞれに関して計算する。ある一定領域内のみをきょろきょろと絶え間なく見回している場合、分散値はそれほど大きくならないが不審であると考えられる。本特徴量によって、常に視線を動かし続けていて気持ちが落ち着かない人物を不審だとして検知することが出来る。
【００４５】
（ちら見特徴量）ここでは、撮像された人物の特定観察行動に関する特徴量を抽出する。ここで、特定観察行動とは、例えば短時間に特定方向に視線を向け、この方向にある対象について観察する「ちら見」を含む。フレーム情報１における顔方向１ｈと視線方向１ｉを比較し、水平方向15度以上または垂直方向10度以上の角度差があった場合、本実施例ではこれを「ちら見」とする。図１３に示すような特定方向毎にちら見回数を測定し、特定方向ちら見時間を求める。また、被験者が現れている全時間におけるちら見の総回数を計算する。この２つの特徴量をちら見特徴量とする。本特徴量によってカメラや特定方向に対し、ちら見をしている人物を検知出来る。人間は一般的には目の中心位置に瞳をおいて物を見ており、顔を動かさずに目だけを対象方向に向けるというのは、一瞬だけそちらを見たい場合や、その方向を向いていることが悟られたくない時となる。このためカメラに対し、ちら見を繰り返す人物は不審であると考えられる。
【００４６】
（視線パターン特異度）ある移動体の水平・垂直2次元の視線方向の時系列データを用意し、これを平均パターンとパターンマッチングすることで、視線パターンの特異度を求める。具体的には、あらかじめ内部メモリ４０２に平均的な視線移動パターンを学習させたHMMを用意しておき、このHMMに視線方向の時系列データを入力することで平均パターンからの距離値を求められる。なお、その視線データが平均パターンであるとみなされた場合、そのデータを用いてHMMを再学習させる。これにより、その環境におけるより平均的な視線パターンを更新しながら、特異なパターンを持つデータを検出できる。
例えばATM前やエレベータ内などある限られた空間では、人物の視線の動きはある決まったパターン内にほぼ限定されると考えられる。このため本特徴量を用いることで、そのような代表的な平均パターンから大きく外れる視線の動きをしている人物を不審であるとして検知することが可能となる。
この視線平均パターンは、その環境において通常実行されるであろう行為のみを行った際の理想的な視線の変化パターンとする。例えば、ATMなどでは普通に端末の方向を見て近づき、ディスプレイ内のみを見て作業していくという一連の作業時の視線の変化であり、途中1回でも周囲を見回していた、極端に注視が長い等の場合は、これを平均パターンとしない。店舗内であれば、ある決められた商品棚範囲内における視線移動が平均パターンとなる。一定時間内の視線変化において、別方向を見る、通常行わない順序で視線を移動させるということは良くあるものであると考えられる。しかし、このような理想的な視線パターンを平均パターンとすることで、ある低い特異値を持つ視線パターンは非常に多いが、特異値が非常に大きな値となるものは本当に珍しいパターンのみというデータ分布になり、本当に不審であると考えられる視線パターンを検出することができる。
【００４７】
計算された各注視特徴量は内部メモリ４０２に記録される。全ての注視特徴量が新たに更新されたら、その注視特徴量はメタデータ作成部４０４へと送られる。メタデータ作成部４０４では内部メモリが保有する注視特徴量と記録してあったフレーム情報1から図１１(b)に示す人物情報3を作成し、人物情報記録部３０２に記録、または不審者通知部５００に送信する。
【００４８】
（計算するタイミングに関して）本注視特徴計算部は、システムの用途に応じて、前記述例の様に移動体が映像中からいなくなったらその移動体の情報を持つ全てのフレーム情報1を獲得し、注視特徴量を計算する方法と、数フレーム間隔毎に移動体のフレーム情報1を注視特徴計算部４００に送り、注視特徴量を計算する方法が求められる。前者は、蓄積された映像中から特定する不審行動をとった人物を検索をする場合に適している。それに対し後者の手法は、リアルタイムな不審人物の通知を行いたい場合に主に行われる。以下、リアルタイムで注視特徴量を計算する場合の注視特徴量抽出部４００の処理に関して説明する。
【００４９】
視線情報取得部４０１では、ある一定間隔でフレーム情報記録部３０２から複数のフレーム情報１を獲得し内部メモリ４０２へと送る。
【００５０】
内部メモリ４０２では、同一の移動体番号を持つフレーム情報１が送られて来なくなるまで、その移動体番号を持つ全てのフレーム情報1とその移動体の注視特徴量を記録しておく。内部メモリ４０２に、同じ移動体番号を持つフレーム情報１が数回来なくなったら、移動体検知が終了したものとして、その移動体番号を持つフレーム情報1をメモリ上から全て削除する。
【００５１】
各特徴量計算部４０３では、新たなフレーム情報1が来るたびに内部メモリに記録されている以前までの注視特徴量と全てのフレーム情報1を用いて各注視特徴量を計算し、内部メモリ４０２を更新する。
【００５２】
メタデータ作成部４０４では、内部メモリ４０２の注視特徴量が更新されるたびに移動体情報３を作成し、通知部へと送る。内部メモリにおいて移動体検知が終了したと判断された場合のみ、人物情報記録部３０３に人物情報３を送信する。
【００５３】
（検索部）検索部５００の構成を図１４に示す。検索部５００は結果表示部５１０と検索実行部５２０と検索結果取得部５３０から成る。
【００５４】
（結果表示部）結果表示部５１０は、画面上に映像表示部５１１、検索条件設定部５１２と不審人物検索結果表示部５１３とを表示する（図１５）。これはＷＥＢページとして実現されており、情報記録部内に設置されたサーバに対してアクセスすることで図１５のようなWEBページをクライアントPC上に表示させることが出来る。
映像表示部５１１は、映像記録部３０１から画像を取得して、表示する機能を有する。下部の再生ボタンを押すと、映像記録部３０１から同カメラ番号を持つ時間的に連続する画像を順番に獲得し、表示する。これを指定された時間間隔で行うことで、映像表示を行う。
【００５５】
検索条件設定部５１２で、不審人物検索の条件設定を行う。まず各種条件設定部aにおいて、検索範囲とする時間の設定、チャンネル（カメラ）の設定、取得する結果の個数の設定を行う。チャンネル設定では、１〜複数台のチャンネルを設定できる。不審人物定義部bでは、どの特徴量によって人物検索を行うか設定する。本実施例においては各定義項目は、特徴量選択部、順序選択の２つのリストと、重み指定という一つのテキストボックスから構成される。特徴量選択部リストの例を図１６に示す。人物情報記録部３０３に記録されている注視特徴量3eのうち、どれを用いて人物検索を行うか設定する。順序選択部では、「昇順」、「降順」のリストが用意されており、設定した特徴量が大きい順、または小さい順で検索することを指定する。重み指定は定義項目が複数ある場合に設定する。この値により各項目の内、どれに重点をおいて検索するか指定する。重みが大きいほど重要度が高いことになる。不審人物の定義は、監視システムの設置されている環境や時間等によって大きく異なる。そのため、こうした特徴量の細かい設定を行うことで状況に応じた不審人物検知を行うことが可能となる。以下では不審だと考えられる人物の定義と、そのような人物の検索方法に関して述べる。
【００５６】
（カメラ注視人物）監視カメラを異様に気にしている人物は不審であると考えられる。このような人物は通常の人物よりもカメラを注視し、カメラの方向に長い間視線を送っていると考えられる。このような人物を検出するためには、カメラ総注視時間やカメラ方向視線遷移回数を不審者定義項目として設定する。これによりカメラへの注視時間が長く、何度もそちらに視線を送っている人物順に検索を行うことが出来る。
【００５７】
（カメラ注意人物）カメラを凝視することはないが、何度もカメラ方向に注意を払い、気にしている人物も不審であると考えられる。こうした人物を検出するため、カメラ方向視線遷移回数を昇順に、カメラ平均注視時間を降順に条件設定して検索を行う。これによってカメラ方向に何度も視線を動かすが、すぐに目をそらしている人物を検出することが出来る。
【００５８】
（周囲注意人物）周囲を異様に気にしている人物、視線が定まらず常に動いている人物は、何か人に見られたくない、または後ろめたいため落ち着きがなくなっていると考えられ、不審と感じられる。こうした人物を検出したい場合、分散値と移動量を定義項目として昇順に設定する。これにより、周囲への見回しが多い人物の検知を行うことが出来る。
（ちら見人物）上で述べたようなカメラに注意を払っている人物、周囲を気にしている人物を不審として検出したい場合に、ちら見回数を不審定義として条件指定することで、カメラ方向をちら見していた人物、周囲をちらちらと気にしていた人物を特定することが出来、より不審であると考えられる人物検出が可能となる。
【００５９】
（特異視線移動人物）ＡＴＭなどのような、通常ある特定の行為のみを行う空間にいる場合、視線移動はほぼ一定のパターン内に留まると考えられる。そこで、視線パターン特異度を不審定義項目とすることで平均的な視線の動きパターンから大きく離れている人物を順に検出することが可能となる。
【００６０】
以上の例ように、本特徴量を組み合わせることで、様々な不審者定義を実現することが出来、映像環境に応じた不審人物を検出できる。図１５のシステム例では不審者定義をユーザが任意に設定できるようにしたが、例で挙げたようなカメラ注視人物検索、カメラ注意人物検索等をユーザの指定項目として、それぞれの検索で用いる特徴量と重み等をシステムの固定パラメータとして設定しておくことも考えられる。
【００６１】
以上の項目を設定後、検索ボタンを押すことで、各種条件設定部a、不審人物定義部bで設定した条件が検索実行部５２０に送信され、検索実行部５２０で情報記録部３００に対して人物検索を行う。各種条件設定部ａで指定した条件に当てはまるデータ中から、不審人物定義部で設定した注視特徴量が大きい順（または小さい順）に結果を取得する。結果は検索結果取得部５３０が獲得する。指定した不審人物定義が複数ある場合、この結果取得部５３０が、それぞれの条件での検索結果の順位を元に重みによって総合結果を作成する。さらに、得られた検索結果を結果表示部５１０で表示できる形に整理した後、結果表示部５１０へと送る。
【００６２】
検索結果表示部５１３は、不審人物表示部c、人物検索部d、注視特徴表示部eから構成される。検索結果表示部５１３では検索結果取得部５３０から検索結果の人物情報3を受け取りXSLによりHTML化することで、不審人物表示部cに検索結果の画像群を表示される。この検索結果画像として、不審者と判別された人物が最初に現れた画像とその時間が表示される。結果画像をクリックすることで、映像表示部５１１にフレームIDとカメラ番号が送られ、この情報を元に映像記録部３０１から画像を獲得し、同じ画像を表示する。これを再生することで不審と判定された人物の映像が確認できる。
人物検索部dでは、不審人物表示部cに表示された画像を選択し、その人物が別の時間や別のチャンネルに現れていないか検索を行う。人物検索部dの時間設定で検索を行うデータの時間範囲、チャンネル設定でどのカメラからの映像データに対して検索を行うか条件を指定し、人物検索ボタンを押すことで、検索条件と選択された不審人物の顔特徴量3fが検索実行部５２０に送信される。この条件と顔特徴量を基に、人物情報記録部３０３に検索を実行し、近い顔特徴量を持つデータが検索結果として検索結果取得部５３０に渡される。結果取得部５３０で表示部５１０で表示できる形に整理され、不審人物表示部cに顔特徴量が近い順に表示される。
【００６３】
注視特徴表示部eには、選択した不審人物のデータが表示される。これは結果として得られた人物情報3から各情報を抽出して表示している。図１６の例では、人物番号、検出されていた総時間、各注視特徴量が表示されている。
（検索実行部）検索実行部５２０は、結果表示部５１０から検索条件を受け取り、その条件をもとに検索要求文を作成し、これを人物情報記録部３０３に対して送信することで検索を実行する。この検索は人物情報記録部３０３の記録する各人物情報３からカメラ番号３ｅが指定されたカメラ番号と等しく、検出開始時間３ｃが指定された時間内にあるものから、指定された注視特徴量３ｅが大きい順（小さい順）に抽出する。
【００６４】
また人物検索の場合には、顔特徴量３ｆが人物検索部ｄで指定された顔特徴量に対して近いものから順に結果を取得する。
【００６５】
(検索結果取得部)検索結果取得部５３０では、検索実行部５２０で実行された検索の結果を受け取り、不審人物判別結果表示部５２１で表示できる形式に変換し、結果表示部５２０に送信する。不審者定義が一つだけだった場合は、得た結果をそのまま送信するだけだが、不審者定義が複数指定された場合には結果の並び替えを行う。例えば、不審者定義ｂでの定義項目が３つ指定された場合には、図１７の流れに従い、３つの特徴量による検索結果の作成を行う。まずステップ１７０１で、各特徴量での検索を実行し、ステップ１７０２で、それぞれの検索結果を取得する。ステップ１７０３では、取得した３つの検索結果から、人物毎に各検索結果の順位を記録する。例えば、ある人物は定義項目１における検索では３位で、項目２の検索では１８位で・・・といったように順位を記録する。次に、ステップ１７０４では人物における特徴量検索毎の順位に検索結果表示部５１０の不審者定義部bで指定した各定義項目の重みを掛け、足し合わせることで各人物データの総合値を得る。最後に、ステップ１７０５で、この総合値順に全人物データを並び替えることで、ステップ１７０６において複数特徴量による不審人物検索結果を得られる。
【００６６】
（通知部）通知部６００では、注視特徴計算部４００から人物情報３を取得し、注視特徴量３ｅの各特徴量が設定された不審閾値以上かどうか判定し、一つでも閾値以上であれば不審人物としてシステム管理者に通知する。不審人物判定例を図１８に示す。図１８では、特定方向としてカメラのある方向（図１３における（５）方向）を指定した例を示す。ステップ１８０１において、メタデータ作成部４０４から注視特徴量を取得する。次にステップ１８０２〜１８０５で、その方向への平均注視時間、視線分散値、視線平均移動量、視線パターンの特異値が、それぞれ各閾値以上であれば不審であると判断し、ステップ１８０７において通知する。全て閾値以下であればステップ１８０６に行き終了する。
【００６７】
この通知は、実際にリアルタイムで管理を行っている監視センタにブザーや映像中の信号等で通知する。または、そのカメラの映像中に、不審と思われる人物がいることを表示する。
【実施例２】
【００６８】
実施例１の付加的なシステムを紹介する。このシステムにおける撮像部１００と映像処理部２００の構成例を図１９に示す。実施例１と同様のシステムにおいて、撮像部１００とともに位置情報計測部１１０を設置する。この位置情報計測部１１０は、赤外線センサ等であり、各物体までの距離の情報を取得できるデバイスである。これは撮像部１００と同位置に設置されるか、撮像部１００内に内蔵されているものとする。
この撮像部１００と位置情報計測部１１０から得られる映像データと距離データを映像取得部２０１で取得し、２つの画像位置の対応付けを行うことで、映像データの各点における距離情報を得ることが出来る。この位置の対応付けのため、映像取得部２０１はあらかじめ撮像部１００と位置情報計測部１１０の位置関係、それぞれのデータ特徴が与えられているものとする。
【００６９】
これにより、映像取得部２０１以降の映像データは画像の各点における距離情報を有する。これによって、移動体検出部２０２では映像データ中における移動体を距離値によって正確に抜き出すことが可能となり、顔検出部２０３においても高精度な顔輪郭を検出できる。
【００７０】
視線検出部２０５の顔方向推定において、この距離情報を利用することで高精度な顔方向推定を実現する。現れている顔領域中における、最左端、顔器官中心位置、最右端それぞれの点における、距離情報とx座標位置から楕円式に当てはめることで、顔楕円比kの値を推定する。これから、より高精度な水平方向の顔方向推定を実現出来る。同様に顎位置、額位置の距離情報から動揺に垂直方向の顔方向推定ができる。
【００７１】
最終的に得られる視線方向情報と、この距離情報から方向だけでなく、実際に視線を送っている注視位置が決定出来る。カメラ注視は常に0度方向のため判別できたが、それ以外は被験者のいる場所によって見ている位置が異なるため何を見ているかまで判定できなかった。距離情報によって、カメラ方向以外にも警戒したい位置を注視しているかどうか判定できるため、更に詳細な不審者検知を実現する。
【実施例３】
【００７２】
本監視システムを大型ディスプレイへの注視位置判定・挙動計測システムへと応用する場合のディスプレイ構築例を図２０に示す。ディスプレイ内の２つの位置に撮像部１００を内蔵するディスプレイとなる。内蔵カメラはディスプレイ上部の横幅の中点位置に一台、ディスプレイ横の縦幅の中点位置に一台搭載される。撮像部１００によって撮影された映像は、ディスプレイ内でエンコードされ、ネットワークを通じて情報記録部３００や映像処理部２００へと送られる。
ディスプレイ上部に付けた撮像部からの映像は水平方向の視線方向推定のみに、横部に付けたカメラ映像は垂直方向の視線方向推定に用いられる。このように、それぞれの方向推定のために専用のカメラを設置することで、ディスプレイ中央を基準とした映像データを獲得することが出来るようになるため、精度の高い視線方向推定が可能となり、人物の挙動解析に効果を発揮する。
また、それぞれのカメラの画像における人物の瞳の位置などの同じ点の位置を比較することで、人物のディスプレイからの距離情報を計測することが可能となる。この位置情報と視線検出部２０５で得られた視線方向を元に視線位置を決定することが出来、ディスプレイ上の注視位置推定を実現でき、ユーザインタフェースとしての利用にも効果を発揮する。
【図面の簡単な説明】
【００７３】
【図１】本発明の第一の実施の形態である不審人物監視システムの構成を表わす図
【図２】監視映像に対して視線方向推定などの各映像処理を行う映像処理部２の処理の詳細な内容を示すブロック図
【図３】視線及び顔方向が示す方向を説明するための図
【図４】映像処理部２で生成されるフレーム情報１の構成を示す図
【図５】顔方向推定のフローチャート
【図６】顔画像における顔領域と顔器官中心位置の定義を行うための図
【図７】顔方向推定のための顔モデル図
【図８】視線方向推定の処理を示すフローチャート
【図９】視線方向推定のための眼球モデルの図
【図１０】情報記録部３００の構成を示す図
【図１１】映像情報１、人物情報３の構成を示す図
【図１２】注視特徴計算部４００の構成を示す図
【図１３】ある移動体が映像中に検出された総時間中の視線方向の推移の様子の例を表した図
【図１４】検索部５００の構成を示す図
【図１５】結果表示部５１０の構成の例を示す図
【図１６】特徴量選択部にて選択する注視特徴量3eのリスト例を示す図
【図１７】複数の注視特徴量で不審人物検索を行った時の処理の流れを示す図
【図１８】通知部６００における不審人物判別のフローチャート
【図１９】本発明の第二の実施形態である位置情報取得部１１０を設置した場合の映像情報取得部２の構成を示す図
【図２０】注視情報を高精度に取るディスプレイの構成を示す図
【図２１】眼球の隠れ部分が内と外で異なる時の視線方向推定を行うための眼球モデルの図
【図２２】視線方向推定の計測誤差結果を示す図
【符号の説明】
【００７４】
１ フレーム情報
２ 映像情報
３ 人物情報
１００ 撮像部
１１０ 位置情報計測部
２００ 映像処理部
２０１ 映像取得部
２０２ 移動体検出部
２０３ 顔検出部
２０４ 顔特徴量計算部
２０５ 視線検出部
２０６ メタデータ作成部
２０７ 視線位置計算部
３００ 情報記録部
３０１ 映像記録部
３０２ フレーム情報記録部
３０３ 人物情報記録部
４００ 注視特徴計算部
４０１ 視線情報取得部
４０２ 内部メモリ
４０３ 各特徴量計算部
４０４ メタデータ作成部
５００ 検索部
５１０ 結果表示部
５１１ 映像表示部
５１２ 条件設定部
５１３ 検索結果表示部
ａ 各種条件設定部
ｂ 不審者定義部
ｃ 不審人物表示部
ｄ 人物検索部
ｅ 注視特徴表示部
５２０ 検索実行部
５３０ 検索結果取得部
６００ 通知部
【技術分野】
【０００１】
本発明は、映像監視システムに関するもので、映像情報処理により人物の視線方向情報を抽出し、本情報から人物意図を表す様々な情報を抽出する方法であり、上記情報によって不審人物の検出、人物興味対象方向推定への利用を行う手法に関するものである。
【背景技術】
【０００２】
近年、画像処理技術の発展と撮像系の高性能化に伴い、画像認識技術の向上および多様化が進んでいる。特に、人物情報の認識技術を採用した人物の検知や顔による認証システムなどは製品化され始めている。
【０００３】
こうした背景の中、更なる高度人物情報認識技術が求められており、年齢や性別といった詳細な情報や行動意図を推定することが求められてきている。人物の意図が表れる人物特徴の一つとして視線方向情報があると考えられる。人物の視線方向情報から、興味や注意を示している対象、視線の挙動を解析することによって、その人物の意図を推測することが可能となると考える。
【０００４】
実際にこうした視線方向情報を用いた技術として自動車の運転を行っている人物の視線方向を推定して、運転者がぼんやり状態にあるかどうかを判別するシステムがある（例えば、特許文献１参照）。具体的には、視線方向情報から一定時間の視線方向の分布を計算し、その分布幅が閾値以下であれば、周囲に気を配ることができていない、ぼんやり状態であるとして運転者に注意を促す。
【０００５】
更に、ユーザの視線方向情報から戸惑い状態を検知し、サポートを行う技術もある（例えば、特許文献２参照）。具体的には、検出した視線方向のフレーム間の変化を視線速度として計算し、得られた一定時間の視線速度データを視線速度データ履歴として記録する。これを、所定の視線速度パターンによって学習されたニューラルネットワークに入力し、パターンマッチングを行うことで、戸惑い状態にあるかどうか判定する。
【０００６】
【特許文献１】特開平６−２５１２７３号公報
【特許文献２】特開２００４−３２１６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記従来技術では視線方向情報から、どの位置に視線が滞留しているか、速度が異常であるかどうか、といった決まった特徴を計算することで人物の状態を判定する機能を実現していた。しかし、実際には人物の視線方向情報には、より深い心理状態や興味を示す様々な情報が含まれていると考えられ、これを有効に活用することが出来ていない。また、視線方向推定には多大な計算量とコストがかかるため、このような一状態を推定する機能のみのために実際に利用されることは少ないという問題があった。
【０００８】
従って、得られた人物の視線方向情報から、例えばその人物の興味・警戒度合い、行動意図等の、撮像された人物の行動に関する情報（例えば、当該人物が不審な行動をとっているかどうか等）を取得することが好ましい。
【０００９】
本発明は、上記課題に鑑みて為されたものであって、その目的は、撮像された人物の行動に関する情報を好適に取得するための技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、以下の技術を提供するものである。すなわち本発明は、撮像部と、撮影された画像から人物を検出し、その人物の視線方向情報を抽出する映像処理部と、人物ごとの視線方向情報から注視特徴量を計算する注視特徴計算部と、画像、移動体情報ごとの上記視線方向情報、及び上記注視特徴量を記録する情報記録部と、
上記情報記録部に記録されている上記注視特徴量から撮像された人物の行動に関する情報を取得して通知する通知部とを有することを特徴とする。
【００１１】
上記構成によれば、映像監視システムにおいて人物の視線方向情報から、人物の興味対象や心理状態を表す様々な情報を抽出することを実現できる。そして、こうした情報を用いることで特定の心理状態にある人物をデータ中から探し出すことが可能となる。
【発明の効果】
【００１２】
本発明によれば、好適に撮像された人物の行動に関する情報を取得することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明する。
【実施例１】
【００１４】
本発明を利用した不審者検出システムの例を図１に示す。撮像部１００は、例えばネットワークカメラなどの撮影装置である。映像処理部２００は画像処理機能を有するPCであり、撮像部１００から得られた映像データに対して、人物の検出、視線方向の推定等の映像処理を行う。情報記録部３００はサーバまたはデータベースによって構成され、撮像部１００から得られる映像データ、映像処理部２００から得られる各フレームの人物情報、注視特徴計算部４００から得られる人物の注視特徴量を管理・記録する。注視特徴計算部４００では、情報記録部３００に記録されている人物の視線方向情報から人物の行動意図を表す注視特徴量を計算する。検索部５００では、検索したい不審人物の条件設定を行い、情報記録部３００に対し検索要求を行い、検索結果を表示する。通知部６００では、注視特徴計算部４００で計算された注視特徴を受け取り、不審だと判定される人物がいた場合に、ユーザに通知する。
【００１５】
次に各部の説明を行う。
【００１６】
(映像処理部)図２に示す映像処理部２００は、映像取得部２０１、移動体検出部２０２、顔検出部２０３、顔特徴量計算部２０４、視線方向検出部２０５、メタデータ作成部２０６の構成要素を有する。
【００１７】
映像取得部２０１は撮像部１００からフレーム毎に画像を取得する。獲得した画像のカメラ番号と時間情報などから固有のフレームIDを作成し、これを画像のヘッダに書き込み管理する。映像取得部２０１はデータ格納バッファを有しており、移動体検出部２０２から獲得要求が来るまで、数フレーム分の画像をバッファ内に保持しておく。
移動体検出部２０２では、映像取得部から画像を獲得し、画像中から移動体を検出する。検出した移動体に固有の移動体番号を付け、毎フレーム追跡する。つまり次フレームにおいて近い位置に近い大きさの移動体が検出されたら同一移動体として同じ移動体番号を付けて管理する。一度フレームアウトしたら、その時点で追跡を終了することになり、次の移動体には異なる番号を付けて管理する。毎フレームの移動体番号と移動体の存在する領域情報はメタデータ作成部２０６に送られる。
【００１８】
顔検出部２０３では、移動体追跡部２０２で得られた移動体領域中から既存の手法を用いて顔の検出を行う。顔検出部２０３において顔が検出された場合のみ、顔特徴量計算部２０４、視線検出部２０５の処理が実行される。
顔特徴計算部２０４では、顔検出部２０３で検出された顔画像から既存の手法を用いて顔特徴量を計算する。得られた顔特徴量はメタデータ作成部２０６に送られる。
視線検出部２０５では、顔検出部２０３で検出された顔画像から、顔方向と視線方向を計算する。この方向情報とは、カメラに対して水平方向φ度、垂直方向ψ度向いているという情報とする。図３に示すようにカメラのある方向をφ＝０、ψ＝０度とし、向かって右方向をφの正方向、向かって上方向をψの正方向とする。顔方向の水平・垂直成分をそれぞれφface、ψface、視線方向の水平・垂直成分をφeye、ψeyeとする。この、視線方向検出は従来の技術もしくは、以下で紹介する視線方向検出方法によってこれを行うこととする。メタデータ作成部２０６では、そのフレーム画像が持つフレームID1a、カメラ番号1b、画像の検出時間1c、各検出部から送られてきた移動体番号1d、移動体領域1e、顔領域情報1f、顔特徴量1g、視線方向1iという各情報を図４に示すような一つのフレーム情報１としてまとめ、情報記録部３００に送信する。移動体検出部２０２において移動体が検出されなかった場合には、メタデータ作成部は何の処理も行わない。
（視線方向検出方法）本発明で提案する視線方向検出の例を述べる。本発明における視線方向検出部２０５では、顔検出部２０３で得られた顔画像から、まず顔方向を計測し、得られた顔方向情報を用いて視線方向を決定する。
【００１９】
（顔方向推定）図５の流れに従い、顔検出部２０３から得た顔情報を元に顔方向を検出する。ステップ５１にてまず、顔検出部２０３から顔領域情報と画像を得る。次にステップ５２で、背景差分や肌色領域抽出等により顔領域をもう一度より正確に推定しなおす。ここでいう、顔領域とは図６に示すように頭部に外接する四角形領域のことを言う。この顔領域の中心位置を顔領域中心位置と呼び、ステップ５３でこの位置を決定する。
【００２０】
次に、ステップ５４で顔器官中心位置を検出する。顔器官中心位置とは、図６に示すような両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置を言う。この顔器官中心位置は、眉や目尻、鼻といった各器官を検出し、各器官の位置関係から推定することが出来る。顔の各器官は、顔画像を輝度値によって２値化した画像、エッジ画像、分離度フィルタを施した画像などを用いた既存の手法により検出する。ステップ５５では得られた顔領域と顔器官中心位置から水平方向の顔方向を計算する。これは、図７の顔楕円モデルを参考にした式で決定される。図７は、水平方向右向きにφface向いた時の頭を真上から見下ろしたときのイメージである。このとき画像中の顔領域の両端がそれぞれF1、F2、顔器官中心位置がCである。このとき、顔領域の中心位置は楕円の中心位置OfaceでありF1とF2 の中点となる。wfaceは顔領域の幅であり、cfaceがCOface間の距離である。顔の幅aと奥行き方向の長さbの比を顔楕円比kとし、以下の数式によって顔方向φｆaceを求める。
【００２１】
【数１】
【００２２】
本システムでは楕円比kは約1.25とする。これは、人物の統計的なデータから測定した平均的な頭部楕円比の値である。人物によってこのkの値は若干異なるが、その違いは0.1以下程の範囲内であり、これによる顔方向精度の影響は本システムにおいて許容される範囲内となる。システム構成によっては、既定値でなく、実際にこの顔楕円比kを求めることとする。本手法では、撮像部が上方向に設置され、各器官が検出しにくい場合にも、鼻など検出しやすいものだけを用いて顔器官中心位置を決定出来るため頑健な顔方向推定が可能である。また顔器官中心位置ではなく、耳位置を用いることで横向き時の方向推定も可能である。垂直方向の顔方向角度ψfaceの推定に関しては、既存の手法を用いて求める。
【００２３】
（視線方向検出方法）以上の方法で得られた顔方向情報を用いて、視線方向を検出する。これは図８に示す流れで行う。ステップ８１において、まず顔画像中から瞳の中心位置を検出する。ステップ８２は、８１で検出された瞳の数による条件分岐である。左右両方とも瞳検出に失敗した場合、視線方向検出失敗となりステップ８８でエラー処理を行う。片目だけもしくは両目とも検出に成功したら、次のフローであるステップ８３に進む。８３では８２で求めた瞳位置を元にしてそれぞれの瞳が属する目領域を求める。ステップ８４は８３で検出した目領域による条件分岐である。目領域が正しく検出できなかった場合、視線方向検出失敗とする。両目とも正しく目領域が検出できたらステップ８５へ、検出された目領域が片方のみの時、ステップ８７へと進む。８５、８７では、瞳の中心位置と目領域から視線方向計算を行う。８７では検出できた片方の目だけの視線方向を、８５では両目とも視線方向を計算する。８５で得られた両方の目の視線方向は８６において統合され、最終的な視線方向が決定される。
【００２４】
ステップ８５、８７で行われる視線方向計算の方法について述べる。これには顔方向と、８１と８３でそれぞれ求めた瞳位置、目領域の情報を用いて、図９の眼球モデルに基づく式によって計算する。眼球は皮膚に覆われているため、画像中に実際に現れる目領域は角膜部分のみである。これは図９の弧E1E2部分である。このE1とE2の位置を、それぞれ眼球の水平線から角度αの所にあるとする。図９においてOeye、Iがそれぞれ画像上での眼球の中心位置と瞳の中心位置であり、Oeye´が実際の眼球の中心となる。φｆaceは上記顔方向検出で得られた顔方向の角度、φeyeが視線方向の角度、weyeは画像中における目領域の幅、ceyeは画像上での眼球中心位置と瞳中心位置の長さとなる。このとき視線方向φeyeを以下の式で決定する。ここで眼球の隠れ部分の角度αは既定値とする。
【００２５】
【数２】
【００２６】
尚、数２において、ceyeはI−E1で表されている。これは、後述する数３及び数４においても同様である。
【００２７】
また、顔の中心側と外側で、眼球の隠れ部分の角度が異なるとして視方向を計算しても良い。このとき、両目の眼球は図２１のようになる。顔の中心側の隠れ部分の角度をβ、外側をαとしている。数２と同じように式を立てると、左目と右目で式が異なることになる。左目の視線方向φeyeは以下の式で求めることが出来る。
【００２８】
【数３】
【００２９】
同様に、右目の視線方向は以下の式で求めることが出来る。
【００３０】
【数４】
【００３１】
眼球の隠れ部分α、βは既定値（例えばα=３３、β＝４０度）を用いる。これは一般的な眼球の半径値と画像上の目領域の位置の値などから推定することも可能である。
【００３２】
ステップ８５において、両目とも視線が計測された後、ステップ８６において、両目の視線方向に重み付けを行い、足し合わせることで最終的な視線方向を決定する。この重みは顔方向によって決定する。顔が右方向を向いている場合、右目は画像上にほとんど現れなくなるため、左目の重みを増加し、左目の視線方向情報を主な視線方向とする。顔が正面を向いているときは、視線方向は両目の平均となる。
なお、この両目の視線方向の決定は垂直方向、水平方向それぞれに関して別々に行う。
【００３３】
本計測式を用いて、視線方向を計測することで、±40度の範囲において最高で平均計測誤差2度程度で計測できることが実験から確認されている。実験では0〜40度方向まで5度間隔で打たれた点を5人の被験者に注視してもらい、その様子を撮影した。得られた画像から手動で目領域や黒目の中心位置を検出し、方向を計測した。5人の計測誤差を平均した結果が図２２である。
【００３４】
（情報記録部）情報記録部３００の構成を図１０に示す。情報記録部３００は、映像記録部３０１、フレーム情報記録部３０２、人物情報記録部３０３から構成される。それぞれの記録部は独立しており、全て同じ機器内にあっても、それぞれ別々の機器上にあっても良い。逆に、各記録部が複数の機器上に実装されていることもあり得る。
【００３５】
映像記録部３０１で扱う映像情報２は図１１(a)で示す４つの情報から構成される。カメラからの映像を入力として受け取り、フレームID2aを付与し、カメラ番号2b、画像の検出時間2cと共に画像データ2dを記録する。
フレーム情報記録部３０２は、映像処理部２００で生成されたフレーム情報１を受け取り、これをそのまま、毎フレーム記録する。このためデータベースにおけるテーブル構成も図４の通りとなる。
【００３６】
人物情報記録部３０３は、上記フレーム情報記録部３０２に登録された移動体番号1dごとの各注視特徴量を登録するデータベースである。格納される人物情報3は図１１（ｂ）に示される通りである。注視特徴量3eは不審特徴計算部４００によって計算され、本記録部に記録される。ここでの検出開始時間3cは移動体が初めて現れたフレームの検出時間、検出終了時間は最後のフレーム時間である。顔特徴量3fには、その移動体番号を持つフレーム情報１全ての中から顔方向1hが最も０度に近いときの顔特徴量1fが登録される。
【００３７】
（注視特徴計算部）注視特徴計算部４００では、情報記録部３００のフレーム情報記録部３０２に登録されているフレーム情報1から注視特徴を計算する。注視特徴計算部の構成を図１２に示す。ある移動体が映像中に現れなくなり、フレーム情報記録部３０２にその移動体のデータが記録されなくなったら、視線情報取得部４０１に、その移動体の移動体番号1dを持つフレーム情報1が全て送られる。視線情報取得部４０１は、送られた全てのフレーム情報1を内部メモリ４０２に記録する。この視線情報から各特徴量計算部４０３で数種類の注視特徴量を計算する。
特徴量計算部４０３では、フレーム情報1中の全ての視線方向1iから、特定方向総注視時間、特定方向平均遷移回数、特定方向平均注視時間、視線分散値、視線平均移動量、視線パターン特異度の計算を行う。なお、利用システムによっては、これらの中から数種類のみを注視特徴量として計算して用いても良い。
【００３８】
図１３は、移動体が検出された時間t0からteまでの視線方向の変化の様子の例である。図１３を例に各注視特徴量の計算方法を説明する。
【００３９】
（特定方向総注視時間）特定した各方向領域に存在する視線の総時間を特定方向総注視時間として求める。図１３では（１）から（９）の９方向の領域を設定してある。獲得した全てのフレーム情報1の視線方向1iを見て、領域毎に視線方向がその領域にあった総時間数を計算する。特定方向領域として撮像部１００が存在する領域を指定した場合、この総注視時間が長いほどカメラに対して警戒心を持っていると考えられる。
【００４０】
（特定方向視線遷移回数）別方向領域から特定した方向領域へと視線が遷移した回数を、領域遷移回数として領域毎に求める。例えば図１３では時間t0からt１になったときに、視線が領域（５）から領域（２）へと遷移している。このとき、領域（２）への視線遷移回数が1回となる。特定方向として撮像部がある領域を設定しておけば、撮像部に対して何度も視線を送っていることとなり、総注視時間同様、警戒心を表す特徴となる。尚、上記説明の括弧付き数字は、図１３では、丸付き数字で示してある。
【００４１】
（特定方向平均注視時間）上記領域毎の、特定方向総注視時間を同じ特定方向の視線遷移回数で割ることで、それぞれの方向領域の平均注視時間を計算する。本特徴量によって、一回の注視における平均時間を求めることが出来る。これは、視線遷移回数とともに利用され、注視平均時間が極端に小さいにも関わらず、遷移回数が多い場合、その方向に対して非常に警戒していると言える。
【００４２】
(特定方向毎注視時間) 特定方向への総注視時間を全ての注視時間で割ることで、各方向毎の注視時間の割合を求める。これにより、検出された時間数に関わらず人物がどちらの方向に最も興味を示していたかが分かる。通常とは異なる方向を見ていた割合が多いほど不審であると考えられる。
【００４３】
（視線の分散値）移動体の全ての視線方向1iから、垂直方向及び水平方向の分散値をそれぞれ計算し、視線分散値とする。分散値が大きいほど、周囲を大変気にしていることになるため、不審といえる。
【００４４】
（視線の平均移動量）前フレームの視線方向角度と現フレームの視線方向推定角度の差の絶対値を視線移動量として、全フレーム情報1から視線移動量の平均値を計算し、視線平均移動量とする。分散値同様、垂直方向・水平方向それぞれに関して計算する。ある一定領域内のみをきょろきょろと絶え間なく見回している場合、分散値はそれほど大きくならないが不審であると考えられる。本特徴量によって、常に視線を動かし続けていて気持ちが落ち着かない人物を不審だとして検知することが出来る。
【００４５】
（ちら見特徴量）ここでは、撮像された人物の特定観察行動に関する特徴量を抽出する。ここで、特定観察行動とは、例えば短時間に特定方向に視線を向け、この方向にある対象について観察する「ちら見」を含む。フレーム情報１における顔方向１ｈと視線方向１ｉを比較し、水平方向15度以上または垂直方向10度以上の角度差があった場合、本実施例ではこれを「ちら見」とする。図１３に示すような特定方向毎にちら見回数を測定し、特定方向ちら見時間を求める。また、被験者が現れている全時間におけるちら見の総回数を計算する。この２つの特徴量をちら見特徴量とする。本特徴量によってカメラや特定方向に対し、ちら見をしている人物を検知出来る。人間は一般的には目の中心位置に瞳をおいて物を見ており、顔を動かさずに目だけを対象方向に向けるというのは、一瞬だけそちらを見たい場合や、その方向を向いていることが悟られたくない時となる。このためカメラに対し、ちら見を繰り返す人物は不審であると考えられる。
【００４６】
（視線パターン特異度）ある移動体の水平・垂直2次元の視線方向の時系列データを用意し、これを平均パターンとパターンマッチングすることで、視線パターンの特異度を求める。具体的には、あらかじめ内部メモリ４０２に平均的な視線移動パターンを学習させたHMMを用意しておき、このHMMに視線方向の時系列データを入力することで平均パターンからの距離値を求められる。なお、その視線データが平均パターンであるとみなされた場合、そのデータを用いてHMMを再学習させる。これにより、その環境におけるより平均的な視線パターンを更新しながら、特異なパターンを持つデータを検出できる。
例えばATM前やエレベータ内などある限られた空間では、人物の視線の動きはある決まったパターン内にほぼ限定されると考えられる。このため本特徴量を用いることで、そのような代表的な平均パターンから大きく外れる視線の動きをしている人物を不審であるとして検知することが可能となる。
この視線平均パターンは、その環境において通常実行されるであろう行為のみを行った際の理想的な視線の変化パターンとする。例えば、ATMなどでは普通に端末の方向を見て近づき、ディスプレイ内のみを見て作業していくという一連の作業時の視線の変化であり、途中1回でも周囲を見回していた、極端に注視が長い等の場合は、これを平均パターンとしない。店舗内であれば、ある決められた商品棚範囲内における視線移動が平均パターンとなる。一定時間内の視線変化において、別方向を見る、通常行わない順序で視線を移動させるということは良くあるものであると考えられる。しかし、このような理想的な視線パターンを平均パターンとすることで、ある低い特異値を持つ視線パターンは非常に多いが、特異値が非常に大きな値となるものは本当に珍しいパターンのみというデータ分布になり、本当に不審であると考えられる視線パターンを検出することができる。
【００４７】
計算された各注視特徴量は内部メモリ４０２に記録される。全ての注視特徴量が新たに更新されたら、その注視特徴量はメタデータ作成部４０４へと送られる。メタデータ作成部４０４では内部メモリが保有する注視特徴量と記録してあったフレーム情報1から図１１(b)に示す人物情報3を作成し、人物情報記録部３０２に記録、または不審者通知部５００に送信する。
【００４８】
（計算するタイミングに関して）本注視特徴計算部は、システムの用途に応じて、前記述例の様に移動体が映像中からいなくなったらその移動体の情報を持つ全てのフレーム情報1を獲得し、注視特徴量を計算する方法と、数フレーム間隔毎に移動体のフレーム情報1を注視特徴計算部４００に送り、注視特徴量を計算する方法が求められる。前者は、蓄積された映像中から特定する不審行動をとった人物を検索をする場合に適している。それに対し後者の手法は、リアルタイムな不審人物の通知を行いたい場合に主に行われる。以下、リアルタイムで注視特徴量を計算する場合の注視特徴量抽出部４００の処理に関して説明する。
【００４９】
視線情報取得部４０１では、ある一定間隔でフレーム情報記録部３０２から複数のフレーム情報１を獲得し内部メモリ４０２へと送る。
【００５０】
内部メモリ４０２では、同一の移動体番号を持つフレーム情報１が送られて来なくなるまで、その移動体番号を持つ全てのフレーム情報1とその移動体の注視特徴量を記録しておく。内部メモリ４０２に、同じ移動体番号を持つフレーム情報１が数回来なくなったら、移動体検知が終了したものとして、その移動体番号を持つフレーム情報1をメモリ上から全て削除する。
【００５１】
各特徴量計算部４０３では、新たなフレーム情報1が来るたびに内部メモリに記録されている以前までの注視特徴量と全てのフレーム情報1を用いて各注視特徴量を計算し、内部メモリ４０２を更新する。
【００５２】
メタデータ作成部４０４では、内部メモリ４０２の注視特徴量が更新されるたびに移動体情報３を作成し、通知部へと送る。内部メモリにおいて移動体検知が終了したと判断された場合のみ、人物情報記録部３０３に人物情報３を送信する。
【００５３】
（検索部）検索部５００の構成を図１４に示す。検索部５００は結果表示部５１０と検索実行部５２０と検索結果取得部５３０から成る。
【００５４】
（結果表示部）結果表示部５１０は、画面上に映像表示部５１１、検索条件設定部５１２と不審人物検索結果表示部５１３とを表示する（図１５）。これはＷＥＢページとして実現されており、情報記録部内に設置されたサーバに対してアクセスすることで図１５のようなWEBページをクライアントPC上に表示させることが出来る。
映像表示部５１１は、映像記録部３０１から画像を取得して、表示する機能を有する。下部の再生ボタンを押すと、映像記録部３０１から同カメラ番号を持つ時間的に連続する画像を順番に獲得し、表示する。これを指定された時間間隔で行うことで、映像表示を行う。
【００５５】
検索条件設定部５１２で、不審人物検索の条件設定を行う。まず各種条件設定部aにおいて、検索範囲とする時間の設定、チャンネル（カメラ）の設定、取得する結果の個数の設定を行う。チャンネル設定では、１〜複数台のチャンネルを設定できる。不審人物定義部bでは、どの特徴量によって人物検索を行うか設定する。本実施例においては各定義項目は、特徴量選択部、順序選択の２つのリストと、重み指定という一つのテキストボックスから構成される。特徴量選択部リストの例を図１６に示す。人物情報記録部３０３に記録されている注視特徴量3eのうち、どれを用いて人物検索を行うか設定する。順序選択部では、「昇順」、「降順」のリストが用意されており、設定した特徴量が大きい順、または小さい順で検索することを指定する。重み指定は定義項目が複数ある場合に設定する。この値により各項目の内、どれに重点をおいて検索するか指定する。重みが大きいほど重要度が高いことになる。不審人物の定義は、監視システムの設置されている環境や時間等によって大きく異なる。そのため、こうした特徴量の細かい設定を行うことで状況に応じた不審人物検知を行うことが可能となる。以下では不審だと考えられる人物の定義と、そのような人物の検索方法に関して述べる。
【００５６】
（カメラ注視人物）監視カメラを異様に気にしている人物は不審であると考えられる。このような人物は通常の人物よりもカメラを注視し、カメラの方向に長い間視線を送っていると考えられる。このような人物を検出するためには、カメラ総注視時間やカメラ方向視線遷移回数を不審者定義項目として設定する。これによりカメラへの注視時間が長く、何度もそちらに視線を送っている人物順に検索を行うことが出来る。
【００５７】
（カメラ注意人物）カメラを凝視することはないが、何度もカメラ方向に注意を払い、気にしている人物も不審であると考えられる。こうした人物を検出するため、カメラ方向視線遷移回数を昇順に、カメラ平均注視時間を降順に条件設定して検索を行う。これによってカメラ方向に何度も視線を動かすが、すぐに目をそらしている人物を検出することが出来る。
【００５８】
（周囲注意人物）周囲を異様に気にしている人物、視線が定まらず常に動いている人物は、何か人に見られたくない、または後ろめたいため落ち着きがなくなっていると考えられ、不審と感じられる。こうした人物を検出したい場合、分散値と移動量を定義項目として昇順に設定する。これにより、周囲への見回しが多い人物の検知を行うことが出来る。
（ちら見人物）上で述べたようなカメラに注意を払っている人物、周囲を気にしている人物を不審として検出したい場合に、ちら見回数を不審定義として条件指定することで、カメラ方向をちら見していた人物、周囲をちらちらと気にしていた人物を特定することが出来、より不審であると考えられる人物検出が可能となる。
【００５９】
（特異視線移動人物）ＡＴＭなどのような、通常ある特定の行為のみを行う空間にいる場合、視線移動はほぼ一定のパターン内に留まると考えられる。そこで、視線パターン特異度を不審定義項目とすることで平均的な視線の動きパターンから大きく離れている人物を順に検出することが可能となる。
【００６０】
以上の例ように、本特徴量を組み合わせることで、様々な不審者定義を実現することが出来、映像環境に応じた不審人物を検出できる。図１５のシステム例では不審者定義をユーザが任意に設定できるようにしたが、例で挙げたようなカメラ注視人物検索、カメラ注意人物検索等をユーザの指定項目として、それぞれの検索で用いる特徴量と重み等をシステムの固定パラメータとして設定しておくことも考えられる。
【００６１】
以上の項目を設定後、検索ボタンを押すことで、各種条件設定部a、不審人物定義部bで設定した条件が検索実行部５２０に送信され、検索実行部５２０で情報記録部３００に対して人物検索を行う。各種条件設定部ａで指定した条件に当てはまるデータ中から、不審人物定義部で設定した注視特徴量が大きい順（または小さい順）に結果を取得する。結果は検索結果取得部５３０が獲得する。指定した不審人物定義が複数ある場合、この結果取得部５３０が、それぞれの条件での検索結果の順位を元に重みによって総合結果を作成する。さらに、得られた検索結果を結果表示部５１０で表示できる形に整理した後、結果表示部５１０へと送る。
【００６２】
検索結果表示部５１３は、不審人物表示部c、人物検索部d、注視特徴表示部eから構成される。検索結果表示部５１３では検索結果取得部５３０から検索結果の人物情報3を受け取りXSLによりHTML化することで、不審人物表示部cに検索結果の画像群を表示される。この検索結果画像として、不審者と判別された人物が最初に現れた画像とその時間が表示される。結果画像をクリックすることで、映像表示部５１１にフレームIDとカメラ番号が送られ、この情報を元に映像記録部３０１から画像を獲得し、同じ画像を表示する。これを再生することで不審と判定された人物の映像が確認できる。
人物検索部dでは、不審人物表示部cに表示された画像を選択し、その人物が別の時間や別のチャンネルに現れていないか検索を行う。人物検索部dの時間設定で検索を行うデータの時間範囲、チャンネル設定でどのカメラからの映像データに対して検索を行うか条件を指定し、人物検索ボタンを押すことで、検索条件と選択された不審人物の顔特徴量3fが検索実行部５２０に送信される。この条件と顔特徴量を基に、人物情報記録部３０３に検索を実行し、近い顔特徴量を持つデータが検索結果として検索結果取得部５３０に渡される。結果取得部５３０で表示部５１０で表示できる形に整理され、不審人物表示部cに顔特徴量が近い順に表示される。
【００６３】
注視特徴表示部eには、選択した不審人物のデータが表示される。これは結果として得られた人物情報3から各情報を抽出して表示している。図１６の例では、人物番号、検出されていた総時間、各注視特徴量が表示されている。
（検索実行部）検索実行部５２０は、結果表示部５１０から検索条件を受け取り、その条件をもとに検索要求文を作成し、これを人物情報記録部３０３に対して送信することで検索を実行する。この検索は人物情報記録部３０３の記録する各人物情報３からカメラ番号３ｅが指定されたカメラ番号と等しく、検出開始時間３ｃが指定された時間内にあるものから、指定された注視特徴量３ｅが大きい順（小さい順）に抽出する。
【００６４】
また人物検索の場合には、顔特徴量３ｆが人物検索部ｄで指定された顔特徴量に対して近いものから順に結果を取得する。
【００６５】
(検索結果取得部)検索結果取得部５３０では、検索実行部５２０で実行された検索の結果を受け取り、不審人物判別結果表示部５２１で表示できる形式に変換し、結果表示部５２０に送信する。不審者定義が一つだけだった場合は、得た結果をそのまま送信するだけだが、不審者定義が複数指定された場合には結果の並び替えを行う。例えば、不審者定義ｂでの定義項目が３つ指定された場合には、図１７の流れに従い、３つの特徴量による検索結果の作成を行う。まずステップ１７０１で、各特徴量での検索を実行し、ステップ１７０２で、それぞれの検索結果を取得する。ステップ１７０３では、取得した３つの検索結果から、人物毎に各検索結果の順位を記録する。例えば、ある人物は定義項目１における検索では３位で、項目２の検索では１８位で・・・といったように順位を記録する。次に、ステップ１７０４では人物における特徴量検索毎の順位に検索結果表示部５１０の不審者定義部bで指定した各定義項目の重みを掛け、足し合わせることで各人物データの総合値を得る。最後に、ステップ１７０５で、この総合値順に全人物データを並び替えることで、ステップ１７０６において複数特徴量による不審人物検索結果を得られる。
【００６６】
（通知部）通知部６００では、注視特徴計算部４００から人物情報３を取得し、注視特徴量３ｅの各特徴量が設定された不審閾値以上かどうか判定し、一つでも閾値以上であれば不審人物としてシステム管理者に通知する。不審人物判定例を図１８に示す。図１８では、特定方向としてカメラのある方向（図１３における（５）方向）を指定した例を示す。ステップ１８０１において、メタデータ作成部４０４から注視特徴量を取得する。次にステップ１８０２〜１８０５で、その方向への平均注視時間、視線分散値、視線平均移動量、視線パターンの特異値が、それぞれ各閾値以上であれば不審であると判断し、ステップ１８０７において通知する。全て閾値以下であればステップ１８０６に行き終了する。
【００６７】
この通知は、実際にリアルタイムで管理を行っている監視センタにブザーや映像中の信号等で通知する。または、そのカメラの映像中に、不審と思われる人物がいることを表示する。
【実施例２】
【００６８】
実施例１の付加的なシステムを紹介する。このシステムにおける撮像部１００と映像処理部２００の構成例を図１９に示す。実施例１と同様のシステムにおいて、撮像部１００とともに位置情報計測部１１０を設置する。この位置情報計測部１１０は、赤外線センサ等であり、各物体までの距離の情報を取得できるデバイスである。これは撮像部１００と同位置に設置されるか、撮像部１００内に内蔵されているものとする。
この撮像部１００と位置情報計測部１１０から得られる映像データと距離データを映像取得部２０１で取得し、２つの画像位置の対応付けを行うことで、映像データの各点における距離情報を得ることが出来る。この位置の対応付けのため、映像取得部２０１はあらかじめ撮像部１００と位置情報計測部１１０の位置関係、それぞれのデータ特徴が与えられているものとする。
【００６９】
これにより、映像取得部２０１以降の映像データは画像の各点における距離情報を有する。これによって、移動体検出部２０２では映像データ中における移動体を距離値によって正確に抜き出すことが可能となり、顔検出部２０３においても高精度な顔輪郭を検出できる。
【００７０】
視線検出部２０５の顔方向推定において、この距離情報を利用することで高精度な顔方向推定を実現する。現れている顔領域中における、最左端、顔器官中心位置、最右端それぞれの点における、距離情報とx座標位置から楕円式に当てはめることで、顔楕円比kの値を推定する。これから、より高精度な水平方向の顔方向推定を実現出来る。同様に顎位置、額位置の距離情報から動揺に垂直方向の顔方向推定ができる。
【００７１】
最終的に得られる視線方向情報と、この距離情報から方向だけでなく、実際に視線を送っている注視位置が決定出来る。カメラ注視は常に0度方向のため判別できたが、それ以外は被験者のいる場所によって見ている位置が異なるため何を見ているかまで判定できなかった。距離情報によって、カメラ方向以外にも警戒したい位置を注視しているかどうか判定できるため、更に詳細な不審者検知を実現する。
【実施例３】
【００７２】
本監視システムを大型ディスプレイへの注視位置判定・挙動計測システムへと応用する場合のディスプレイ構築例を図２０に示す。ディスプレイ内の２つの位置に撮像部１００を内蔵するディスプレイとなる。内蔵カメラはディスプレイ上部の横幅の中点位置に一台、ディスプレイ横の縦幅の中点位置に一台搭載される。撮像部１００によって撮影された映像は、ディスプレイ内でエンコードされ、ネットワークを通じて情報記録部３００や映像処理部２００へと送られる。
ディスプレイ上部に付けた撮像部からの映像は水平方向の視線方向推定のみに、横部に付けたカメラ映像は垂直方向の視線方向推定に用いられる。このように、それぞれの方向推定のために専用のカメラを設置することで、ディスプレイ中央を基準とした映像データを獲得することが出来るようになるため、精度の高い視線方向推定が可能となり、人物の挙動解析に効果を発揮する。
また、それぞれのカメラの画像における人物の瞳の位置などの同じ点の位置を比較することで、人物のディスプレイからの距離情報を計測することが可能となる。この位置情報と視線検出部２０５で得られた視線方向を元に視線位置を決定することが出来、ディスプレイ上の注視位置推定を実現でき、ユーザインタフェースとしての利用にも効果を発揮する。
【図面の簡単な説明】
【００７３】
【図１】本発明の第一の実施の形態である不審人物監視システムの構成を表わす図
【図２】監視映像に対して視線方向推定などの各映像処理を行う映像処理部２の処理の詳細な内容を示すブロック図
【図３】視線及び顔方向が示す方向を説明するための図
【図４】映像処理部２で生成されるフレーム情報１の構成を示す図
【図５】顔方向推定のフローチャート
【図６】顔画像における顔領域と顔器官中心位置の定義を行うための図
【図７】顔方向推定のための顔モデル図
【図８】視線方向推定の処理を示すフローチャート
【図９】視線方向推定のための眼球モデルの図
【図１０】情報記録部３００の構成を示す図
【図１１】映像情報１、人物情報３の構成を示す図
【図１２】注視特徴計算部４００の構成を示す図
【図１３】ある移動体が映像中に検出された総時間中の視線方向の推移の様子の例を表した図
【図１４】検索部５００の構成を示す図
【図１５】結果表示部５１０の構成の例を示す図
【図１６】特徴量選択部にて選択する注視特徴量3eのリスト例を示す図
【図１７】複数の注視特徴量で不審人物検索を行った時の処理の流れを示す図
【図１８】通知部６００における不審人物判別のフローチャート
【図１９】本発明の第二の実施形態である位置情報取得部１１０を設置した場合の映像情報取得部２の構成を示す図
【図２０】注視情報を高精度に取るディスプレイの構成を示す図
【図２１】眼球の隠れ部分が内と外で異なる時の視線方向推定を行うための眼球モデルの図
【図２２】視線方向推定の計測誤差結果を示す図
【符号の説明】
【００７４】
１ フレーム情報
２ 映像情報
３ 人物情報
１００ 撮像部
１１０ 位置情報計測部
２００ 映像処理部
２０１ 映像取得部
２０２ 移動体検出部
２０３ 顔検出部
２０４ 顔特徴量計算部
２０５ 視線検出部
２０６ メタデータ作成部
２０７ 視線位置計算部
３００ 情報記録部
３０１ 映像記録部
３０２ フレーム情報記録部
３０３ 人物情報記録部
４００ 注視特徴計算部
４０１ 視線情報取得部
４０２ 内部メモリ
４０３ 各特徴量計算部
４０４ メタデータ作成部
５００ 検索部
５１０ 結果表示部
５１１ 映像表示部
５１２ 条件設定部
５１３ 検索結果表示部
ａ 各種条件設定部
ｂ 不審者定義部
ｃ 不審人物表示部
ｄ 人物検索部
ｅ 注視特徴表示部
５２０ 検索実行部
５３０ 検索結果取得部
６００ 通知部
【特許請求の範囲】
【請求項１】
撮像部と、
上記撮像部で撮影された画像から人物を検出し、その人物の視線方向情報を抽出する映像処理部と、
上記人物ごとの視線方向情報から注視特徴量を計算する注視特徴計算部と、
上記撮像部から得られる画像と、上記人物ごとの上記視線方向情報と、上記注視特徴量を記録する情報記録部と、
上記情報記録部に記録されている上記注視特徴量から、撮像された人物の行動に関する情報を取得して通知する通知部とを有することを特徴とする映像監視装置。
【請求項２】
上記注視特徴量として、上記人物が検出された総時間から、上記視線方向が特定方向範囲内にあった時間の総和を計算し、これを特定方向総注視時間として用いることを特徴とする請求項１記載の映像監視装置。
【請求項３】
上記注視特徴量として、上記人物が検出された総時間から、上記視線方向が１の特定方向範囲外から他の特定方向範囲内へと変化した回数の総和を計算したを視線遷移回数を用いることを特徴とする請求項１又は２に記載の映像監視装置。
【請求項４】
上記注視特徴量として、上記特定方向総注視時間を上記特定方向視線遷移回数で割ることで求められる特定方向平均注視時間を用いることを特徴とする請求項３記載の映像監視装置。
【請求項５】
上記注視特徴量として、上記人物が検出された総時間における上記視線方向の分散値、又は、前フレームと現フレームでの上記視線方向の差の絶対値を視線移動量とし、上記人物が検出された総時間の上記視線移動量の平均値の少なくとも何れか一方を用いることを特徴とする請求項１乃至４の何れかに記載の映像監視装置。
【請求項６】
上記映像処理部において計算される上記人物の顔方向と上記視線方向の差が一定角度以上大きい場合、これを特定観察行動とし、上記特定された方向ごとの該特定観察行動の総時間、及び全ての方向に対する該特定観察行動の総時間を計算し、該特定観察行動の特徴として上記注視特徴量として用いることを特徴とする請求項１乃至５の何れかに記載の映像監視装置。
【請求項７】
上記注視特徴計算部はユーザが指定した1又は複数の上記注視特徴量何れかを計算し、
上記通知部は上記ユーザの指定した1又は複数の上記注視特徴量を用いて上記判断を行うことを特徴とする請求項１乃至６の何れかに記載の映像監視装置。
【請求項８】
上記特定方向として、上記撮像部が設置されている方向を指定することを特徴とする請求項2乃至７の何れかに記載の映像監視装置。
【請求項９】
上記映像処理部は、上記検出された人物から顔領域を推定し、さらに該顔領域中の顔器官の中心位置を抽出し、上記顔領域の中心位置と上記顔器官の中心位置を用いて顔方向の推定を行うことを特徴とする請求項１乃至８の何れかに記載の映像監視装置。
【請求項１０】
上記映像処理部は、上記顔方向の情報を元に、上記顔領域中の目領域と上記目領域内の瞳の位置から眼球のモデルを用いて、上記視線方向を推定することを特徴とする請求項１０に記載の映像監視装置。
【請求項１１】
距離情報計測部を有し、
上記映像処理部は上記撮像部から得た画像と上記距離情報計測部で得られた人物の距離情報を用いて上記視線方向を抽出することを特徴とする映像監視装置。
【請求項１】
撮像部と、
上記撮像部で撮影された画像から人物を検出し、その人物の視線方向情報を抽出する映像処理部と、
上記人物ごとの視線方向情報から注視特徴量を計算する注視特徴計算部と、
上記撮像部から得られる画像と、上記人物ごとの上記視線方向情報と、上記注視特徴量を記録する情報記録部と、
上記情報記録部に記録されている上記注視特徴量から、撮像された人物の行動に関する情報を取得して通知する通知部とを有することを特徴とする映像監視装置。
【請求項２】
上記注視特徴量として、上記人物が検出された総時間から、上記視線方向が特定方向範囲内にあった時間の総和を計算し、これを特定方向総注視時間として用いることを特徴とする請求項１記載の映像監視装置。
【請求項３】
上記注視特徴量として、上記人物が検出された総時間から、上記視線方向が１の特定方向範囲外から他の特定方向範囲内へと変化した回数の総和を計算したを視線遷移回数を用いることを特徴とする請求項１又は２に記載の映像監視装置。
【請求項４】
上記注視特徴量として、上記特定方向総注視時間を上記特定方向視線遷移回数で割ることで求められる特定方向平均注視時間を用いることを特徴とする請求項３記載の映像監視装置。
【請求項５】
上記注視特徴量として、上記人物が検出された総時間における上記視線方向の分散値、又は、前フレームと現フレームでの上記視線方向の差の絶対値を視線移動量とし、上記人物が検出された総時間の上記視線移動量の平均値の少なくとも何れか一方を用いることを特徴とする請求項１乃至４の何れかに記載の映像監視装置。
【請求項６】
上記映像処理部において計算される上記人物の顔方向と上記視線方向の差が一定角度以上大きい場合、これを特定観察行動とし、上記特定された方向ごとの該特定観察行動の総時間、及び全ての方向に対する該特定観察行動の総時間を計算し、該特定観察行動の特徴として上記注視特徴量として用いることを特徴とする請求項１乃至５の何れかに記載の映像監視装置。
【請求項７】
上記注視特徴計算部はユーザが指定した1又は複数の上記注視特徴量何れかを計算し、
上記通知部は上記ユーザの指定した1又は複数の上記注視特徴量を用いて上記判断を行うことを特徴とする請求項１乃至６の何れかに記載の映像監視装置。
【請求項８】
上記特定方向として、上記撮像部が設置されている方向を指定することを特徴とする請求項2乃至７の何れかに記載の映像監視装置。
【請求項９】
上記映像処理部は、上記検出された人物から顔領域を推定し、さらに該顔領域中の顔器官の中心位置を抽出し、上記顔領域の中心位置と上記顔器官の中心位置を用いて顔方向の推定を行うことを特徴とする請求項１乃至８の何れかに記載の映像監視装置。
【請求項１０】
上記映像処理部は、上記顔方向の情報を元に、上記顔領域中の目領域と上記目領域内の瞳の位置から眼球のモデルを用いて、上記視線方向を推定することを特徴とする請求項１０に記載の映像監視装置。
【請求項１１】
距離情報計測部を有し、
上記映像処理部は上記撮像部から得た画像と上記距離情報計測部で得られた人物の距離情報を用いて上記視線方向を抽出することを特徴とする映像監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００７−６４２７（Ｐ２００７−６４２７Ａ）
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願番号】特願２００５−１８７５４５（Ｐ２００５−１８７５４５）
【出願日】平成１７年６月２８日（２００５．６．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願日】平成１７年６月２８日（２００５．６．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]