人物追跡装置
【課題】適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することのできる人物追跡装置を提供する。
【解決手段】顔検出領域設定部２は、映像から人物の顔領域を検出するための検出領域を設定する。カメラ設置情報設定部３は、カメラの設置位置等の設置パラメータを設定する。顔向き推定部４は、前回検出された顔領域の位置とカメラの設置パラメータを用いて人物の顔の向きを推定する。顔検出パターン作成部５は、顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの集合の中から、次に検出を行う顔の検出パターンを決定する。顔検出部７は、上記の検出領域と顔検出パターンを用いて映像中から人物の顔を検出する。検出された一連の人物の顔画像が同一人物の顔画像の追跡履歴として画面表示される。
【解決手段】顔検出領域設定部２は、映像から人物の顔領域を検出するための検出領域を設定する。カメラ設置情報設定部３は、カメラの設置位置等の設置パラメータを設定する。顔向き推定部４は、前回検出された顔領域の位置とカメラの設置パラメータを用いて人物の顔の向きを推定する。顔検出パターン作成部５は、顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの集合の中から、次に検出を行う顔の検出パターンを決定する。顔検出部７は、上記の検出領域と顔検出パターンを用いて映像中から人物の顔を検出する。検出された一連の人物の顔画像が同一人物の顔画像の追跡履歴として画面表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視映像等のビデオ映像から人物の顔を検出して、人物の動きを追跡する人物追跡装置に関するものである。
【背景技術】
【０００２】
従来、例えばセキュリティ等に有用な情報を提供するために、映像信号を処理して人物を抽出および追跡する人物追跡装置が提案されている。従来の典型的な人物追跡装置は、顔の検出を複数のフレームにおいて連続的に行うことにより人の顔の移動を追跡するように構成されている。また、従来の人物追跡装置は、各フレームにおける顔検出を前回のフレームで顔が検出された領域の近傍のみで行うように構成されている（例えば特許文献１参照）。
【特許文献１】特開平１１−１５９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の人物追跡装置においては、カメラの位置関係を考慮せずに、顔の向きが固定された顔パターンを参照し、この固定された顔パターンと映像を比較して顔を検出していた。その結果、適切な顔パターンが設定されていないために、顔検出が失敗することがあった。そして、顔検出が失敗してしまうと、顔の追跡が途切れてしまい、人物の追跡が失敗するという問題があった。例えば、監視映像等の人物追跡において、画面上に人物が複数人存在して接近している場合や交差した場合に、他人同士を互いに連結してしまうなどの追跡の失敗が発生するという問題があった。
【０００４】
特に、監視用途で使用するカメラは上方から撮影するシーンが多く、この場合に撮影される映像は下向き顔になる。しかし、従来はこのような撮像方向が考慮されていないためん、顔検出で取りこぼしてしまうという問題があった。
【０００５】
本発明は、従来の問題を解決するためになされたものであり、その目的は、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することのできる人物追跡装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の人物追跡装置は、カメラで撮影された映像を入力する映像入力手段と、前記映像入力手段で入力された映像から人物の顔領域を検出するための画面上の処理領域である検出領域を設定する顔検出領域設定手段と、前記カメラの設置パラメータを設定するカメラ設置情報設定手段と、前回検出された顔領域の位置と、前記カメラ設置情報設定手段で設定した前記カメラの設置パラメータを用いて、次に検出を行う人物の顔の向きを推定する顔向き推定手段と、前記顔向き推定手段で決定した顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの中から、次に検出を行う顔の検出パターンを決定する顔検出パターン作成手段と、前記顔検出領域設定手段で設定した画面上の検出領域と、前記顔検出パターン作成手段で作成した顔の検出パターンを用いて映像中から人物の顔を検出する顔検出手段と、前記顔検出手段で検出した一連の人物の顔画像を同一人物の顔画像の追跡履歴として画面表示する追跡履歴表示手段を備えている。
【０００７】
この構成により、カメラの設置位置等の設置パラメータを用いて映像から人物の顔の向きが推定され、予め用意された顔方向別の顔検出パターンから顔向き情報に応じて顔検出パターンが生成され、この顔検出パターンを用いて映像中から人物の顔が検出される。こうして、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができる。
【０００８】
また、本発明の人物追跡装置では、前記顔検出領域設定手段が、直前に人物の顔を検出していない場合は、画面全領域を人物の顔を検出する検出領域として設定するように構成されている。
【０００９】
この構成により、人物が画面上の任意の場所に登場した場合でも顔の検出が可能となり、顔検出の失敗を防ぎ、高精度な人物追跡結果を作成することができる。
【００１０】
また、本発明の人物追跡装置では、前記顔検出領域設定手段が、直前に人物の顔を検出した場合は、直前に検出した顔のサイズと向きの情報から次に検出する顔の検出領域を決定するように構成されている。
【００１１】
この構成により、直前に検出した顔画像と次に検出する顔画像との対応をとることが可能となり、高精度な人物追跡結果を作成することができる。
【００１２】
また、本発明の人物追跡装置では、前記検出パターン作成手段が、直前に人物の顔を検出していない場合は、顔の正面を中心とした所定の比較的広範囲設定の顔向き範囲の顔パターンを用いて顔の検出パターンを作成するように構成されている。
【００１３】
この構成により、人物が監視映像に登場した場合に、顔向きが正面である場合でも、比較的角度の大きい顔向きの場合でも、顔検出の失敗を防ぎ、高精度な人物追跡結果を作成することができる。
【００１４】
また、本発明の人物追跡装置では、前記検出パターン作成手段が、直前に人物の顔を検出した場合は、前記顔向き推定手段で決定した顔向きを中心とした範囲の顔パターンを用いて顔の検出パターンを作成するように構成されている。
【００１５】
この構成により、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができる。
【００１６】
本発明の別の態様は、映像を処理して人物を抽出および追跡する人物追跡映像処理方法であり、カメラで撮影された映像を入力し、前記映像から人物の顔領域を検出するための画面上の処理領域である検出領域を設定し、前記カメラの設置パラメータを設定し、前回検出された顔領域の位置と、前記カメラの設置パラメータを用いて、次に検出を行う人物の顔の向きを推定し、推定された顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの中から、次に検出を行う顔の検出パターンを決定し、画面上の前記検出領域と、決定された前記顔の検出パターンを用いて映像中から人物の顔を検出し、検出した一連の人物の顔画像を同一人物の顔画像の追跡履歴として画面表示する。この態様によっても、上述の本発明の利点が得られる。
【発明の効果】
【００１７】
本発明は、監視映像等のビデオ映像において、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することのできるという効果を有する人物追跡装置を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態の人物追跡装置について、図面を用いて説明する。
【００１９】
本発明の実施の形態に係る人物追跡装置を図１に示す。
【００２０】
図１において、本実施の形態の人物追跡装置は、監視映像等のビデオ映像を撮影するカメラを含み、カメラから出力された映像信号をデジタル画像データ等に変換してパソコン等の処理装置に入力する映像入力部１と、映像入力部１で出力された画像データを入力して、人物の顔領域を検出するための画面上の処理領域である検出領域を設定する顔検出領域設定部２と、映像入力部１で設置されているカメラの高さや取り付け角度、カメラの視野角を含む設置パラメータの設定を行うカメラ設置情報設定部３と、前回検出された顔領域の画面位置とカメラ設置情報設定部３で設定したカメラの設置パラメータから次に検出を行う顔の向きを推定する顔向き推定部４と、顔の様々な方向に対してあらかじめ用意してある複数の顔検出パターンである顔検出パターン集合を記憶した方向別顔検出パターン記憶部６と、顔向き推定部４で決定した顔向き情報を用いて、方向別顔検出パターン記憶部６を参照し、顔検出パターン集合の中から、次に検出を行う顔の検出パターンを決定する顔検出パターン作成部５と、顔検出領域設定部２で設定した検出領域に対して顔検出パターン作成部５で作成した顔検出パターンで人物の顔領域の検出を行う顔検出部７と、顔検出部７で検出した顔領域と前回検出した顔領域との対応をとり、追跡データベース９に格納して、検出した一連の顔画像を同一人物の追跡結果として画面に表示を行う追跡履歴画面表示部８とを有する。
【００２１】
以上のように構成された人物追跡装置について、図を用いてその動作を説明する。
【００２２】
映像入力部１は、リアルタイムに映像が出力される監視カメラ等のデバイスによって構成され、撮影された映像信号が出力される。この映像信号に対して、キャプチャーボード等の映像入力デバイスによって、処理装置へのデータの移動処理および映像信号から図２に示すデジタル画像１０（ＲＧＢカラー画像）への変換処理等が行われる。なお、本発明の範囲内で、映像入力部１にカメラが含まれなくてよい。映像入力部１は、カメラで撮影された録画映像を入力する構成であってもよい。
【００２３】
顔検出領域設定部２は、映像入力部１で出力されたデジタル画像１０から人物１１の顔領域の検出を行うための処理領域である検出領域の設定を行う。本装置の起動時、および直前の一定時間内に人物の顔を検出していない場合は、顔検出領域設定部２は、デジタル画像１０の全領域を顔検出の検出領域に設定する。これは、人物が画面内に登場する前であるので、画面内の任意の位置に人物が登場しても対応できるようにするためである。直前の一定時間内に人物の顔を検出した場合は、顔検出領域設定部２は、直前に検出した顔のサイズと向きの情報から顔検出の検出領域を決定する。
【００２４】
図３は、顔サイズが小さく顔向きがほぼ正面の場合の顔検出領域の設定処理を説明する図である。図４は、顔サイズが大きく顔向きがほぼ正面の場合の顔検出領域の設定処理を説明する図である。図３の前回検出顔領域１３および図４の前回検出顔領域１７は、直前の処理で検出された顔領域である。前回検出顔領域１７は前回検出顔領域１３よりも顔サイズが大きい。一般的に、画面上の顔サイズが大きい場合は、単位時間に移動する画面上の移動距離も大きくなる。このため、顔検出領域設定部２は、前回検出した顔領域のサイズが大きければ次に顔を検出する処理領域のサイズ（設定顔検出領域）も大きく設定をする。以上のことから、図４の設定顔検出領域１８は図３の設定顔検出領域１４よりも大きく設定される。
【００２５】
図５は、顔サイズが大きく顔向きが右横向きの場合の顔検出領域の設定処理を説明する図である。図５の前回検出顔領域２１は、図４の前回検出顔領域１７とほぼ同じサイズと仮定する。この場合、図５の設定顔検出領域２２の領域サイズと図４の設定顔検出領域１８の領域サイズは同じである。ただし、図５の場合は右方向に顔が向いているため、次に検出される顔領域は画面左方向にずれる可能性が高くなる。そこで、顔検出領域設定部２は、図５の設定顔検出領域２２を、前回検出顔領域２１の中心から画面左方向にずらして設定する。このずれは、前回検出した顔の向きの大きさに比例して設定される。
【００２６】
このようにして、直前に人物の顔が検出されている場合、顔検出領域設定部２は、（１）直前の人物の顔サイズに応じて、顔サイズが大きいほど検出領域サイズも大きくなるように検出領域を設定し、かつ、（２）直前の人物の顔向きに応じて、前回検出された顔領域の中心から顔向き方向にずれた位置に検出領域を設定し、さらに、（３）顔の向きが大きくなるほど（顔の向きがカメラに対して正面から離れるほど）検出領域のずれ量が大きくなるように検出領域を設定する。
【００２７】
カメラ設置情報設定部３は、映像入力部１のカメラの設置パラメータの設定を装置に対して行う。図６は、カメラの設置パラメータを説明する図である。設置パラメータは、後述する顔向き推定に必要なカメラの設置位置および姿勢とカメラ仕様のパラメータである。本実施の形態では、設置パラメータとして、図６に示すように、カメラの設置高さＴ、カメラの俯角θ、カメラの視野角φ等を装置に設定する。
【００２８】
この設置パラメータの設定は、例えば、カメラが設置されたときに行われる。設置パラメータが、操作者によりキーボード等の入力デバイスを用いて入力されてよい。カメラ設置情報設定部３は、入力された設置パラメータの設定処理を行う。具体的には、設置パラメータが装置内のメモリ等に記憶され、必要に応じて読み出される。また別の例では、カメラに設置パラメータが保持されていてよい。この設置パラメータが映像入力部１からカメラ設置情報設定部３に供給され、装置に設定され、人物追跡のために使用される。この場合、設置パラメータは、必要に応じて任意のタイミングで映像入力部１から取得されてよい。
【００２９】
顔向き推定部４は、前回検出された顔領域の画面位置とカメラ設置情報設定部３で設定したカメラの設置パラメータから次に検出を行う顔の向きを推定する。本実施の形態では、前回と今回での顔向きの変化量が小さいと仮定して、前回検出された顔領域の顔向きが、次に検出を行う顔の向きとして求められる。
【００３０】
図７は、顔の向きを推定する処理を説明する図である。図７においては、人物Ａ、Ｂの顔向き算出処理が示されており、添え字ａ、ｂは、人物Ａ、Ｂに対応する。ここでは、まず、添え字ａ、ｂを省略して、顔向き算出処理について説明する。
【００３１】
図７において、カメラ設置情報設定部３では、カメラの設置高さＴ、カメラの俯角θ、カメラの視野角φが設定されて既知の値である。この情報と、前回検出された顔領域の中心位置座標Ｐと、人物の身長Ｈを用いて、人物の顔向きαが算出される。ここでは、人物が歩行している場合を想定している。
【００３２】
本実施の形態において、人物の身長Ｈは、通常の頭の上までの高さではなく、顔中心Ｐまでの高さである。人物の身長Ｈとしては、人物の平均身長が用いられる。身長Ｈは、カメラの設置パラメータと共に予め本装置に記憶されていてよい。
【００３３】
また、顔中心位置座標Ｐは、後段の顔検出結果に基づき決定される。例えば顔検出にて両目、鼻および口が抽出され、これら両目、鼻および口を包含する矩形が求められ、この矩形の中心点が顔中心として決定される。
【００３４】
本実施の形態では、人物の顔向きαは下記のように定義される。図において、線Ｌは、カメラと人物の顔中心Ｐを結ぶ線である。線Ｌｈは、人物の身長Ｈを通る水平線である。そして、顔向きαは、水平線Ｌｈに対する線Ｌの角度である。
【００３５】
顔向きαは以下のようにして算出できる。まず、カメラ高さＴとカメラ俯角θから、図７のカメラの光軸Ｌ０が決定される。次に、光軸Ｌ０と視野角φと、映像内の顔中心位置座標Ｐから、顔中心Ｐとカメラを結ぶラインＬが決定される。ここでは、視野角φを用いて任意の位置に光軸Ｌ０に垂直な画像投影面が設定され、顔中心座標Ｐが投影面上にプロットされ、顔中心座標Ｐがカメラと結ばれてラインＬが得られる。そして、ラインＬと水平線Ｌｈの角度が求められる。上記の原理に従ったプログラムが用意され、顔向き推定部４で実行されればよい。
【００３６】
図７の例では、人物Ａの顔向きαａと、人物Ｂの顔向きαｂが算出される。人物Ｂの方が人物Ａよりもカメラに近づいている。そのため、人物Ｂの顔向きαｂの方が人物Ａの顔向きαａよりも大きく算出される。
【００３７】
上述の図７では、上下方向の顔向きαが算出された。横方向の顔向きβは以下のように算出される。
【００３８】
本実施の形態は、顔が正面を向いているとき（より詳細には、光軸を通る鉛直面に平行な方向を顔が向いているとき）、横方向の顔向きβが０である。そして、顔が真横を向いているとき、横方向の顔向きβが９０度である。
【００３９】
顔向きβを算出するために、顔の法線ベクトルが算出される。ここでは、顔が例えば球体に近似される。球体の中心と顔中心を結ぶベクトルが、顔の法線ベクトルである。まず、顔を円に近似し、円の中での顔中心点（本実施の形態では両目、鼻、口を包含する矩形の中心点）を特定すれば、上記の近似球体面上での顔中心の法線ベクトルが定まる。そして、法線ベクトルの横方向の顔向きβが算出される。顔向きβは、上方から見たときの光軸と法線ベクトルの角度である。より詳細には、法線ベクトルと光軸が、水平面に投影される。水平面上での法線ベクトルと光軸の角度が、横方向の顔向きに相当する。顔向き推定部４では、上記の原理に従ったプログラムが用意され、実行され、これにより顔向きβが算出される。
【００４０】
その他、顔向き推定部４は、本装置の起動時、および直前の一定時間内に人物の顔を本装置が検出していない場合には、上下方向および横方向の顔向きを０とする。ここでは、顔向きを判断できないので、後段の処理を適当に行うために、カメラに対して顔が正面を向いているものとして、顔向きを設定する。
【００４１】
図８は、上記のようにして算出される横方向の顔向きβを示している。顔が球体であるとすると、横方向の顔向きβは、球体上の顔中心Ｐの経度に相当する。したがって、顔中心Ｐが顔の中で横にずれるほど、顔向きβが大きくなる。
【００４２】
次に、顔検出パターン作成部５は、顔向き推定部４で決定した顔向き情報を用いて、顔検出パターン集合から、次に検出を行う顔の検出パターンを決定する。顔検出パターン集合は、顔の様々な方向に対してあらかじめ用意してある多数の顔検出パターンからなる。顔検出パターン集合は、方向別顔検出パターン記憶部６に記憶されており、顔検出パターン５により参照される。
【００４３】
図９は、方向別顔検出パターンを説明する図である。顔向きには、上方向、下方向、右方向、左方向の４方向の向きが存在するため、それぞれの向きに対応した顔検出パターンをマトリクス状に配置してあらかじめ用意しておく。図９における各々の丸い絵が、それぞれの顔向きに対応した顔検出パターンを表している。また、図９の例では、上下方向に最大７つ、左右方向に最大９つの顔検出パターンを配置しているが、この配置間隔はこれよりも多くても少なくても構わない。
【００４４】
次に顔検出パターンを作成する処理を以下に説明する。本装置の起動時、および直前の一定時間内に人物の顔を検出していない場合は、図１０に示すように、図９の全ての方向の顔検出パターンを選択して次に検出を行う顔検出パターンとして設定する。これは、人物が画面内に登場する前なので、画面内に任意の顔向きで人物が登場しても対応できるようにするためである。
【００４５】
より詳細には、前述の顔向き推定処理で、本装置の起動時、および直前の一定時間内に人物の顔を検出していない場合、顔の向きは正面に設定されている（顔向きが上下方向に０であり、左右方向にも０である）。この場合、正面方向の顔検出パターン（図１０の中央の顔パターン）を中心として顔パターン選択枠が設定される。顔パターン選択枠は、全方向の顔検出パターンを網羅するように広く設定される。そして、この顔パターン選択枠内の顔検出パターンが選択される。こうして、直前に人物の顔を検出していない場合は、顔の正面を中心とした顔向きが比較的広い範囲の顔パターンを用いて顔の検出パターンが作成される。
【００４６】
一方、直前の一定時間内に人物の顔を検出した場合は、顔向き推定部４で決定した顔向き情報を用いる。顔向き推定部４で推定された顔向きが上下方向α（α＜０）で、左右方向０の場合は、図１１に示すように顔パターンＡを中心としてその周辺の所定範囲から選択した顔パターン（図１１の顔パターン選択枠内の顔検出パターン）のみを次に検出を行う顔検出パターンとして設定する。図１１では、選択枠内の顔検出パターンとして、上下方向に３つ、左右方向に３つのパターンを選択しているが、本発明の範囲内でこれよりも多くても少なくても構わない。
【００４７】
図１１の例では、横方向の顔向きが０である。横方向の顔向きが０でない場合にも同様である。顔向きに対応する位置の顔パターンを中心とする顔パターン選択枠が設定され、選択枠内の顔パターンが選択される。例えば、図１１の例で、仮に横方向の顔向きが０でなければ、顔パターン選択枠が横方向へと顔向きと同じ方向にずらされる。
【００４８】
このようにして、顔検出パターン作成部５は、（１）直前に人物の顔を検出していない場合は、図１０に示されるように、顔の正面を中心とした顔向きが比較的広い所定の基準範囲の顔パターンを用いて顔の検出パターンを作成し、（２）直前に人物の顔を検出した場合は、図１１に示されるように、顔向き推定部４で決定した顔向きを中心とした所定の周辺範囲（（１）よりも狭く設定された縮小範囲）の顔向きに対応する顔パターンを選択して顔の検出パターンを作成する。
【００４９】
顔検出部７は、顔検出領域設定部２で設定した検出領域に対して顔検出パターン作成部５で作成した顔検出パターンで人物の顔領域の検出を行う。具体例として、顔検出領域設定部２で設定した検出領域が図４の設定顔検出領域１８になり、顔検出パターン作成部５で作成した顔検出パターンが図１１の顔パターン選択枠内の顔検出パターンになった場合について説明する。図１２のデジタル画像１６−ｂは、図４のデジタル画像１６の微小時間後の画像とする。この場合、顔検出領域設定部２で設定した顔検出領域は、図１２の設定顔検出領域１８−ｂであるので、この領域に対して、顔検出パターン作成部５で作成した図１１の顔パターン選択枠内の顔検出パターンを用いて顔検出を行う。この結果、図１２の今回検出顔領域１７−ｂが検出される。
【００５０】
顔検出処理では、顔検出パターンと映像のパターンマッチングが行われてよい。顔検出パターンとマッチする領域が、人物の顔として検出される。このとき、上述の処理で顔パターン選択枠内から選択された複数の顔検出パターンの各々が映像と比較され、マッチング度が最大の領域が検出されてよい。簡単な例としては、パターンマッチングでは、映像の領域をずらしながら、顔検出パターンと映像の差分が求められる。そして、差分が最小になる領域が探索される。ただし、本発明の範囲内で、顔検出処理は上記に限定されないことはもちろんであり、各種の検出処理が適用可能なことはもちろんである。
【００５１】
追跡履歴画面表示部８は、顔検出部７で今回検出した顔画像と前回検出した顔画像との対応をとり、顔画像を追跡データベース９に格納して、一連の顔画像を画面に表示する。本実施の形態では、前回検出された顔画像から、上述のようにして今回の検出領域と顔検出パターンが設定されている。追跡履歴画面表示部８は、これら情報を用いて顔画像が検出されたということは、検出された顔画像は前回検出された顔画像と対応すると判断する。具体的には、前回検出を行った画像を図４のデジタル画像１６、今回検出した画像を図１２のデジタル画像１６−ｂとすると、図４の前回検出顔画像１７と図１２の今回検出顔画像１７−ｂが同一人物として対応がとれ、追跡データベース９に同一人物として格納される。このようにして次々と対応する顔画像が検出され、追跡データベースには、同一人物毎に時系列の顔画像が保存される。この時系列に保存された一連の顔画像は、画面に表示をして確認することができるようにする。図１３は、同一人物の追跡履歴を画面表示した例を説明する図である。このように、同一人物に対して、時系列に顔画像１００−ａ、１００−ｂ、１００−ｃ、１００−ｄ、１００−ｅを画面に表示する。
【００５２】
追跡履歴画面表示部８までの処理を行った場合は、顔検出領域設定部２の処理に戻り、上記説明の処理を繰り返して、人物の追跡を行い、追跡データベース９に追跡結果の蓄積を継続する。
【００５３】
以上に、本発明の実施の形態に係る人物追跡装置について説明した。本実施の形態によれば、上述のように、カメラの設置位置等の設置パラメータを用いて映像から人物の顔の向きが推定され、予め用意された顔方向別の顔検出パターンから顔向き情報に応じて顔検出処理で使用する顔検出パターンが作成され、この顔検出パターンを用いて映像中から人物の顔が検出される。こうして、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができる。
【００５４】
また、本実施の形態によれば、直前に人物の顔を検出していない場合は、画面全領域が人物の顔を検出する検出領域として設定される。これにより、人物が画面上の任意の場所に登場した場合でも顔の検出が可能となり、顔検出の失敗を防ぎ、高精度な人物追跡結果を作成することができる。
【００５５】
また、本実施の形態によれば、直前に人物の顔を検出した場合は、直前に検出した顔のサイズと向きの情報から次に検出する顔の検出領域が決定される。これにより、直前に検出した顔画像と次に検出する顔画像との対応をとることが可能となり、高精度な人物追跡結果を作成することができる。
【００５６】
また、本実施の形態によれば、直前に人物の顔を検出していない場合は、顔の正面を中心とした所定の比較的広範囲設定の顔向き範囲の顔パターンを用いて顔の検出パターンが作成される。これにより、人物が監視映像に登場した場合に、顔向きが正面である場合でも、比較的角度の大きい顔向きの場合でも、顔検出の失敗を防ぎ、高精度な人物追跡結果を作成することができる。
【００５７】
また、本実施の形態によれば、直前に人物の顔を検出した場合は、顔向き推定処理で決定した顔向きを中心とした範囲の顔パターンを用いて顔の検出パターンが作成される。これにより、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができる。
【００５８】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００５９】
以上のように、本発明にかかる人物追跡装置は、監視映像等のビデオ映像において、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができるという効果を有し、人物の行動を監視する用途や人物の検索を行うためのデータベースを構築する人物追跡装置等として有用である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態に係る人物追跡装置の構成を示すブロック図
【図２】映像入力部のデジタル画像の例を示す図
【図３】顔サイズが小さく顔向きがほぼ正面の場合の顔検出領域の設定方法を説明する図
【図４】顔サイズが大きく顔向きがほぼ正面の場合の顔検出領域の設定方法を説明する図
【図５】顔サイズが大きく顔向きが右横向きの場合の顔検出領域の設定方法を説明する図
【図６】カメラの設置パラメータを説明する図
【図７】顔の向きを推定する方法を説明する図
【図８】顔の向きを推定する方法を説明する図
【図９】方向別顔検出パターンを説明する図
【図１０】直前の一定時間内に顔を検出していない場合の検出パターン作成方法を説明する図
【図１１】直前の一定時間内に顔を検出した場合の検出パターン作成方法を説明する図
【図１２】微小時間後のデジタル画像を用いて顔検出処理を示す図
【図１３】同一人物の追跡履歴を画面表示した例を説明する図
【符号の説明】
【００６１】
１ 映像入力部
２ 顔検出領域設定部
３ カメラ設置情報設定部
４ 顔向き推定部
５ 顔検出パターン作成部
６ 方向別顔検出パターン記憶部
７ 顔検出部
８ 追跡履歴画面表示部
９ 追跡データベース部
【技術分野】
【０００１】
本発明は、監視映像等のビデオ映像から人物の顔を検出して、人物の動きを追跡する人物追跡装置に関するものである。
【背景技術】
【０００２】
従来、例えばセキュリティ等に有用な情報を提供するために、映像信号を処理して人物を抽出および追跡する人物追跡装置が提案されている。従来の典型的な人物追跡装置は、顔の検出を複数のフレームにおいて連続的に行うことにより人の顔の移動を追跡するように構成されている。また、従来の人物追跡装置は、各フレームにおける顔検出を前回のフレームで顔が検出された領域の近傍のみで行うように構成されている（例えば特許文献１参照）。
【特許文献１】特開平１１−１５９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の人物追跡装置においては、カメラの位置関係を考慮せずに、顔の向きが固定された顔パターンを参照し、この固定された顔パターンと映像を比較して顔を検出していた。その結果、適切な顔パターンが設定されていないために、顔検出が失敗することがあった。そして、顔検出が失敗してしまうと、顔の追跡が途切れてしまい、人物の追跡が失敗するという問題があった。例えば、監視映像等の人物追跡において、画面上に人物が複数人存在して接近している場合や交差した場合に、他人同士を互いに連結してしまうなどの追跡の失敗が発生するという問題があった。
【０００４】
特に、監視用途で使用するカメラは上方から撮影するシーンが多く、この場合に撮影される映像は下向き顔になる。しかし、従来はこのような撮像方向が考慮されていないためん、顔検出で取りこぼしてしまうという問題があった。
【０００５】
本発明は、従来の問題を解決するためになされたものであり、その目的は、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することのできる人物追跡装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の人物追跡装置は、カメラで撮影された映像を入力する映像入力手段と、前記映像入力手段で入力された映像から人物の顔領域を検出するための画面上の処理領域である検出領域を設定する顔検出領域設定手段と、前記カメラの設置パラメータを設定するカメラ設置情報設定手段と、前回検出された顔領域の位置と、前記カメラ設置情報設定手段で設定した前記カメラの設置パラメータを用いて、次に検出を行う人物の顔の向きを推定する顔向き推定手段と、前記顔向き推定手段で決定した顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの中から、次に検出を行う顔の検出パターンを決定する顔検出パターン作成手段と、前記顔検出領域設定手段で設定した画面上の検出領域と、前記顔検出パターン作成手段で作成した顔の検出パターンを用いて映像中から人物の顔を検出する顔検出手段と、前記顔検出手段で検出した一連の人物の顔画像を同一人物の顔画像の追跡履歴として画面表示する追跡履歴表示手段を備えている。
【０００７】
この構成により、カメラの設置位置等の設置パラメータを用いて映像から人物の顔の向きが推定され、予め用意された顔方向別の顔検出パターンから顔向き情報に応じて顔検出パターンが生成され、この顔検出パターンを用いて映像中から人物の顔が検出される。こうして、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができる。
【０００８】
また、本発明の人物追跡装置では、前記顔検出領域設定手段が、直前に人物の顔を検出していない場合は、画面全領域を人物の顔を検出する検出領域として設定するように構成されている。
【０００９】
この構成により、人物が画面上の任意の場所に登場した場合でも顔の検出が可能となり、顔検出の失敗を防ぎ、高精度な人物追跡結果を作成することができる。
【００１０】
また、本発明の人物追跡装置では、前記顔検出領域設定手段が、直前に人物の顔を検出した場合は、直前に検出した顔のサイズと向きの情報から次に検出する顔の検出領域を決定するように構成されている。
【００１１】
この構成により、直前に検出した顔画像と次に検出する顔画像との対応をとることが可能となり、高精度な人物追跡結果を作成することができる。
【００１２】
また、本発明の人物追跡装置では、前記検出パターン作成手段が、直前に人物の顔を検出していない場合は、顔の正面を中心とした所定の比較的広範囲設定の顔向き範囲の顔パターンを用いて顔の検出パターンを作成するように構成されている。
【００１３】
この構成により、人物が監視映像に登場した場合に、顔向きが正面である場合でも、比較的角度の大きい顔向きの場合でも、顔検出の失敗を防ぎ、高精度な人物追跡結果を作成することができる。
【００１４】
また、本発明の人物追跡装置では、前記検出パターン作成手段が、直前に人物の顔を検出した場合は、前記顔向き推定手段で決定した顔向きを中心とした範囲の顔パターンを用いて顔の検出パターンを作成するように構成されている。
【００１５】
この構成により、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができる。
【００１６】
本発明の別の態様は、映像を処理して人物を抽出および追跡する人物追跡映像処理方法であり、カメラで撮影された映像を入力し、前記映像から人物の顔領域を検出するための画面上の処理領域である検出領域を設定し、前記カメラの設置パラメータを設定し、前回検出された顔領域の位置と、前記カメラの設置パラメータを用いて、次に検出を行う人物の顔の向きを推定し、推定された顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの中から、次に検出を行う顔の検出パターンを決定し、画面上の前記検出領域と、決定された前記顔の検出パターンを用いて映像中から人物の顔を検出し、検出した一連の人物の顔画像を同一人物の顔画像の追跡履歴として画面表示する。この態様によっても、上述の本発明の利点が得られる。
【発明の効果】
【００１７】
本発明は、監視映像等のビデオ映像において、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することのできるという効果を有する人物追跡装置を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態の人物追跡装置について、図面を用いて説明する。
【００１９】
本発明の実施の形態に係る人物追跡装置を図１に示す。
【００２０】
図１において、本実施の形態の人物追跡装置は、監視映像等のビデオ映像を撮影するカメラを含み、カメラから出力された映像信号をデジタル画像データ等に変換してパソコン等の処理装置に入力する映像入力部１と、映像入力部１で出力された画像データを入力して、人物の顔領域を検出するための画面上の処理領域である検出領域を設定する顔検出領域設定部２と、映像入力部１で設置されているカメラの高さや取り付け角度、カメラの視野角を含む設置パラメータの設定を行うカメラ設置情報設定部３と、前回検出された顔領域の画面位置とカメラ設置情報設定部３で設定したカメラの設置パラメータから次に検出を行う顔の向きを推定する顔向き推定部４と、顔の様々な方向に対してあらかじめ用意してある複数の顔検出パターンである顔検出パターン集合を記憶した方向別顔検出パターン記憶部６と、顔向き推定部４で決定した顔向き情報を用いて、方向別顔検出パターン記憶部６を参照し、顔検出パターン集合の中から、次に検出を行う顔の検出パターンを決定する顔検出パターン作成部５と、顔検出領域設定部２で設定した検出領域に対して顔検出パターン作成部５で作成した顔検出パターンで人物の顔領域の検出を行う顔検出部７と、顔検出部７で検出した顔領域と前回検出した顔領域との対応をとり、追跡データベース９に格納して、検出した一連の顔画像を同一人物の追跡結果として画面に表示を行う追跡履歴画面表示部８とを有する。
【００２１】
以上のように構成された人物追跡装置について、図を用いてその動作を説明する。
【００２２】
映像入力部１は、リアルタイムに映像が出力される監視カメラ等のデバイスによって構成され、撮影された映像信号が出力される。この映像信号に対して、キャプチャーボード等の映像入力デバイスによって、処理装置へのデータの移動処理および映像信号から図２に示すデジタル画像１０（ＲＧＢカラー画像）への変換処理等が行われる。なお、本発明の範囲内で、映像入力部１にカメラが含まれなくてよい。映像入力部１は、カメラで撮影された録画映像を入力する構成であってもよい。
【００２３】
顔検出領域設定部２は、映像入力部１で出力されたデジタル画像１０から人物１１の顔領域の検出を行うための処理領域である検出領域の設定を行う。本装置の起動時、および直前の一定時間内に人物の顔を検出していない場合は、顔検出領域設定部２は、デジタル画像１０の全領域を顔検出の検出領域に設定する。これは、人物が画面内に登場する前であるので、画面内の任意の位置に人物が登場しても対応できるようにするためである。直前の一定時間内に人物の顔を検出した場合は、顔検出領域設定部２は、直前に検出した顔のサイズと向きの情報から顔検出の検出領域を決定する。
【００２４】
図３は、顔サイズが小さく顔向きがほぼ正面の場合の顔検出領域の設定処理を説明する図である。図４は、顔サイズが大きく顔向きがほぼ正面の場合の顔検出領域の設定処理を説明する図である。図３の前回検出顔領域１３および図４の前回検出顔領域１７は、直前の処理で検出された顔領域である。前回検出顔領域１７は前回検出顔領域１３よりも顔サイズが大きい。一般的に、画面上の顔サイズが大きい場合は、単位時間に移動する画面上の移動距離も大きくなる。このため、顔検出領域設定部２は、前回検出した顔領域のサイズが大きければ次に顔を検出する処理領域のサイズ（設定顔検出領域）も大きく設定をする。以上のことから、図４の設定顔検出領域１８は図３の設定顔検出領域１４よりも大きく設定される。
【００２５】
図５は、顔サイズが大きく顔向きが右横向きの場合の顔検出領域の設定処理を説明する図である。図５の前回検出顔領域２１は、図４の前回検出顔領域１７とほぼ同じサイズと仮定する。この場合、図５の設定顔検出領域２２の領域サイズと図４の設定顔検出領域１８の領域サイズは同じである。ただし、図５の場合は右方向に顔が向いているため、次に検出される顔領域は画面左方向にずれる可能性が高くなる。そこで、顔検出領域設定部２は、図５の設定顔検出領域２２を、前回検出顔領域２１の中心から画面左方向にずらして設定する。このずれは、前回検出した顔の向きの大きさに比例して設定される。
【００２６】
このようにして、直前に人物の顔が検出されている場合、顔検出領域設定部２は、（１）直前の人物の顔サイズに応じて、顔サイズが大きいほど検出領域サイズも大きくなるように検出領域を設定し、かつ、（２）直前の人物の顔向きに応じて、前回検出された顔領域の中心から顔向き方向にずれた位置に検出領域を設定し、さらに、（３）顔の向きが大きくなるほど（顔の向きがカメラに対して正面から離れるほど）検出領域のずれ量が大きくなるように検出領域を設定する。
【００２７】
カメラ設置情報設定部３は、映像入力部１のカメラの設置パラメータの設定を装置に対して行う。図６は、カメラの設置パラメータを説明する図である。設置パラメータは、後述する顔向き推定に必要なカメラの設置位置および姿勢とカメラ仕様のパラメータである。本実施の形態では、設置パラメータとして、図６に示すように、カメラの設置高さＴ、カメラの俯角θ、カメラの視野角φ等を装置に設定する。
【００２８】
この設置パラメータの設定は、例えば、カメラが設置されたときに行われる。設置パラメータが、操作者によりキーボード等の入力デバイスを用いて入力されてよい。カメラ設置情報設定部３は、入力された設置パラメータの設定処理を行う。具体的には、設置パラメータが装置内のメモリ等に記憶され、必要に応じて読み出される。また別の例では、カメラに設置パラメータが保持されていてよい。この設置パラメータが映像入力部１からカメラ設置情報設定部３に供給され、装置に設定され、人物追跡のために使用される。この場合、設置パラメータは、必要に応じて任意のタイミングで映像入力部１から取得されてよい。
【００２９】
顔向き推定部４は、前回検出された顔領域の画面位置とカメラ設置情報設定部３で設定したカメラの設置パラメータから次に検出を行う顔の向きを推定する。本実施の形態では、前回と今回での顔向きの変化量が小さいと仮定して、前回検出された顔領域の顔向きが、次に検出を行う顔の向きとして求められる。
【００３０】
図７は、顔の向きを推定する処理を説明する図である。図７においては、人物Ａ、Ｂの顔向き算出処理が示されており、添え字ａ、ｂは、人物Ａ、Ｂに対応する。ここでは、まず、添え字ａ、ｂを省略して、顔向き算出処理について説明する。
【００３１】
図７において、カメラ設置情報設定部３では、カメラの設置高さＴ、カメラの俯角θ、カメラの視野角φが設定されて既知の値である。この情報と、前回検出された顔領域の中心位置座標Ｐと、人物の身長Ｈを用いて、人物の顔向きαが算出される。ここでは、人物が歩行している場合を想定している。
【００３２】
本実施の形態において、人物の身長Ｈは、通常の頭の上までの高さではなく、顔中心Ｐまでの高さである。人物の身長Ｈとしては、人物の平均身長が用いられる。身長Ｈは、カメラの設置パラメータと共に予め本装置に記憶されていてよい。
【００３３】
また、顔中心位置座標Ｐは、後段の顔検出結果に基づき決定される。例えば顔検出にて両目、鼻および口が抽出され、これら両目、鼻および口を包含する矩形が求められ、この矩形の中心点が顔中心として決定される。
【００３４】
本実施の形態では、人物の顔向きαは下記のように定義される。図において、線Ｌは、カメラと人物の顔中心Ｐを結ぶ線である。線Ｌｈは、人物の身長Ｈを通る水平線である。そして、顔向きαは、水平線Ｌｈに対する線Ｌの角度である。
【００３５】
顔向きαは以下のようにして算出できる。まず、カメラ高さＴとカメラ俯角θから、図７のカメラの光軸Ｌ０が決定される。次に、光軸Ｌ０と視野角φと、映像内の顔中心位置座標Ｐから、顔中心Ｐとカメラを結ぶラインＬが決定される。ここでは、視野角φを用いて任意の位置に光軸Ｌ０に垂直な画像投影面が設定され、顔中心座標Ｐが投影面上にプロットされ、顔中心座標Ｐがカメラと結ばれてラインＬが得られる。そして、ラインＬと水平線Ｌｈの角度が求められる。上記の原理に従ったプログラムが用意され、顔向き推定部４で実行されればよい。
【００３６】
図７の例では、人物Ａの顔向きαａと、人物Ｂの顔向きαｂが算出される。人物Ｂの方が人物Ａよりもカメラに近づいている。そのため、人物Ｂの顔向きαｂの方が人物Ａの顔向きαａよりも大きく算出される。
【００３７】
上述の図７では、上下方向の顔向きαが算出された。横方向の顔向きβは以下のように算出される。
【００３８】
本実施の形態は、顔が正面を向いているとき（より詳細には、光軸を通る鉛直面に平行な方向を顔が向いているとき）、横方向の顔向きβが０である。そして、顔が真横を向いているとき、横方向の顔向きβが９０度である。
【００３９】
顔向きβを算出するために、顔の法線ベクトルが算出される。ここでは、顔が例えば球体に近似される。球体の中心と顔中心を結ぶベクトルが、顔の法線ベクトルである。まず、顔を円に近似し、円の中での顔中心点（本実施の形態では両目、鼻、口を包含する矩形の中心点）を特定すれば、上記の近似球体面上での顔中心の法線ベクトルが定まる。そして、法線ベクトルの横方向の顔向きβが算出される。顔向きβは、上方から見たときの光軸と法線ベクトルの角度である。より詳細には、法線ベクトルと光軸が、水平面に投影される。水平面上での法線ベクトルと光軸の角度が、横方向の顔向きに相当する。顔向き推定部４では、上記の原理に従ったプログラムが用意され、実行され、これにより顔向きβが算出される。
【００４０】
その他、顔向き推定部４は、本装置の起動時、および直前の一定時間内に人物の顔を本装置が検出していない場合には、上下方向および横方向の顔向きを０とする。ここでは、顔向きを判断できないので、後段の処理を適当に行うために、カメラに対して顔が正面を向いているものとして、顔向きを設定する。
【００４１】
図８は、上記のようにして算出される横方向の顔向きβを示している。顔が球体であるとすると、横方向の顔向きβは、球体上の顔中心Ｐの経度に相当する。したがって、顔中心Ｐが顔の中で横にずれるほど、顔向きβが大きくなる。
【００４２】
次に、顔検出パターン作成部５は、顔向き推定部４で決定した顔向き情報を用いて、顔検出パターン集合から、次に検出を行う顔の検出パターンを決定する。顔検出パターン集合は、顔の様々な方向に対してあらかじめ用意してある多数の顔検出パターンからなる。顔検出パターン集合は、方向別顔検出パターン記憶部６に記憶されており、顔検出パターン５により参照される。
【００４３】
図９は、方向別顔検出パターンを説明する図である。顔向きには、上方向、下方向、右方向、左方向の４方向の向きが存在するため、それぞれの向きに対応した顔検出パターンをマトリクス状に配置してあらかじめ用意しておく。図９における各々の丸い絵が、それぞれの顔向きに対応した顔検出パターンを表している。また、図９の例では、上下方向に最大７つ、左右方向に最大９つの顔検出パターンを配置しているが、この配置間隔はこれよりも多くても少なくても構わない。
【００４４】
次に顔検出パターンを作成する処理を以下に説明する。本装置の起動時、および直前の一定時間内に人物の顔を検出していない場合は、図１０に示すように、図９の全ての方向の顔検出パターンを選択して次に検出を行う顔検出パターンとして設定する。これは、人物が画面内に登場する前なので、画面内に任意の顔向きで人物が登場しても対応できるようにするためである。
【００４５】
より詳細には、前述の顔向き推定処理で、本装置の起動時、および直前の一定時間内に人物の顔を検出していない場合、顔の向きは正面に設定されている（顔向きが上下方向に０であり、左右方向にも０である）。この場合、正面方向の顔検出パターン（図１０の中央の顔パターン）を中心として顔パターン選択枠が設定される。顔パターン選択枠は、全方向の顔検出パターンを網羅するように広く設定される。そして、この顔パターン選択枠内の顔検出パターンが選択される。こうして、直前に人物の顔を検出していない場合は、顔の正面を中心とした顔向きが比較的広い範囲の顔パターンを用いて顔の検出パターンが作成される。
【００４６】
一方、直前の一定時間内に人物の顔を検出した場合は、顔向き推定部４で決定した顔向き情報を用いる。顔向き推定部４で推定された顔向きが上下方向α（α＜０）で、左右方向０の場合は、図１１に示すように顔パターンＡを中心としてその周辺の所定範囲から選択した顔パターン（図１１の顔パターン選択枠内の顔検出パターン）のみを次に検出を行う顔検出パターンとして設定する。図１１では、選択枠内の顔検出パターンとして、上下方向に３つ、左右方向に３つのパターンを選択しているが、本発明の範囲内でこれよりも多くても少なくても構わない。
【００４７】
図１１の例では、横方向の顔向きが０である。横方向の顔向きが０でない場合にも同様である。顔向きに対応する位置の顔パターンを中心とする顔パターン選択枠が設定され、選択枠内の顔パターンが選択される。例えば、図１１の例で、仮に横方向の顔向きが０でなければ、顔パターン選択枠が横方向へと顔向きと同じ方向にずらされる。
【００４８】
このようにして、顔検出パターン作成部５は、（１）直前に人物の顔を検出していない場合は、図１０に示されるように、顔の正面を中心とした顔向きが比較的広い所定の基準範囲の顔パターンを用いて顔の検出パターンを作成し、（２）直前に人物の顔を検出した場合は、図１１に示されるように、顔向き推定部４で決定した顔向きを中心とした所定の周辺範囲（（１）よりも狭く設定された縮小範囲）の顔向きに対応する顔パターンを選択して顔の検出パターンを作成する。
【００４９】
顔検出部７は、顔検出領域設定部２で設定した検出領域に対して顔検出パターン作成部５で作成した顔検出パターンで人物の顔領域の検出を行う。具体例として、顔検出領域設定部２で設定した検出領域が図４の設定顔検出領域１８になり、顔検出パターン作成部５で作成した顔検出パターンが図１１の顔パターン選択枠内の顔検出パターンになった場合について説明する。図１２のデジタル画像１６−ｂは、図４のデジタル画像１６の微小時間後の画像とする。この場合、顔検出領域設定部２で設定した顔検出領域は、図１２の設定顔検出領域１８−ｂであるので、この領域に対して、顔検出パターン作成部５で作成した図１１の顔パターン選択枠内の顔検出パターンを用いて顔検出を行う。この結果、図１２の今回検出顔領域１７−ｂが検出される。
【００５０】
顔検出処理では、顔検出パターンと映像のパターンマッチングが行われてよい。顔検出パターンとマッチする領域が、人物の顔として検出される。このとき、上述の処理で顔パターン選択枠内から選択された複数の顔検出パターンの各々が映像と比較され、マッチング度が最大の領域が検出されてよい。簡単な例としては、パターンマッチングでは、映像の領域をずらしながら、顔検出パターンと映像の差分が求められる。そして、差分が最小になる領域が探索される。ただし、本発明の範囲内で、顔検出処理は上記に限定されないことはもちろんであり、各種の検出処理が適用可能なことはもちろんである。
【００５１】
追跡履歴画面表示部８は、顔検出部７で今回検出した顔画像と前回検出した顔画像との対応をとり、顔画像を追跡データベース９に格納して、一連の顔画像を画面に表示する。本実施の形態では、前回検出された顔画像から、上述のようにして今回の検出領域と顔検出パターンが設定されている。追跡履歴画面表示部８は、これら情報を用いて顔画像が検出されたということは、検出された顔画像は前回検出された顔画像と対応すると判断する。具体的には、前回検出を行った画像を図４のデジタル画像１６、今回検出した画像を図１２のデジタル画像１６−ｂとすると、図４の前回検出顔画像１７と図１２の今回検出顔画像１７−ｂが同一人物として対応がとれ、追跡データベース９に同一人物として格納される。このようにして次々と対応する顔画像が検出され、追跡データベースには、同一人物毎に時系列の顔画像が保存される。この時系列に保存された一連の顔画像は、画面に表示をして確認することができるようにする。図１３は、同一人物の追跡履歴を画面表示した例を説明する図である。このように、同一人物に対して、時系列に顔画像１００−ａ、１００−ｂ、１００−ｃ、１００−ｄ、１００−ｅを画面に表示する。
【００５２】
追跡履歴画面表示部８までの処理を行った場合は、顔検出領域設定部２の処理に戻り、上記説明の処理を繰り返して、人物の追跡を行い、追跡データベース９に追跡結果の蓄積を継続する。
【００５３】
以上に、本発明の実施の形態に係る人物追跡装置について説明した。本実施の形態によれば、上述のように、カメラの設置位置等の設置パラメータを用いて映像から人物の顔の向きが推定され、予め用意された顔方向別の顔検出パターンから顔向き情報に応じて顔検出処理で使用する顔検出パターンが作成され、この顔検出パターンを用いて映像中から人物の顔が検出される。こうして、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができる。
【００５４】
また、本実施の形態によれば、直前に人物の顔を検出していない場合は、画面全領域が人物の顔を検出する検出領域として設定される。これにより、人物が画面上の任意の場所に登場した場合でも顔の検出が可能となり、顔検出の失敗を防ぎ、高精度な人物追跡結果を作成することができる。
【００５５】
また、本実施の形態によれば、直前に人物の顔を検出した場合は、直前に検出した顔のサイズと向きの情報から次に検出する顔の検出領域が決定される。これにより、直前に検出した顔画像と次に検出する顔画像との対応をとることが可能となり、高精度な人物追跡結果を作成することができる。
【００５６】
また、本実施の形態によれば、直前に人物の顔を検出していない場合は、顔の正面を中心とした所定の比較的広範囲設定の顔向き範囲の顔パターンを用いて顔の検出パターンが作成される。これにより、人物が監視映像に登場した場合に、顔向きが正面である場合でも、比較的角度の大きい顔向きの場合でも、顔検出の失敗を防ぎ、高精度な人物追跡結果を作成することができる。
【００５７】
また、本実施の形態によれば、直前に人物の顔を検出した場合は、顔向き推定処理で決定した顔向きを中心とした範囲の顔パターンを用いて顔の検出パターンが作成される。これにより、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができる。
【００５８】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００５９】
以上のように、本発明にかかる人物追跡装置は、監視映像等のビデオ映像において、カメラと人物の位置関係を考慮して、適切な顔向きパターンを用いて顔の検出を行い、高精度な人物追跡結果を作成することができるという効果を有し、人物の行動を監視する用途や人物の検索を行うためのデータベースを構築する人物追跡装置等として有用である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態に係る人物追跡装置の構成を示すブロック図
【図２】映像入力部のデジタル画像の例を示す図
【図３】顔サイズが小さく顔向きがほぼ正面の場合の顔検出領域の設定方法を説明する図
【図４】顔サイズが大きく顔向きがほぼ正面の場合の顔検出領域の設定方法を説明する図
【図５】顔サイズが大きく顔向きが右横向きの場合の顔検出領域の設定方法を説明する図
【図６】カメラの設置パラメータを説明する図
【図７】顔の向きを推定する方法を説明する図
【図８】顔の向きを推定する方法を説明する図
【図９】方向別顔検出パターンを説明する図
【図１０】直前の一定時間内に顔を検出していない場合の検出パターン作成方法を説明する図
【図１１】直前の一定時間内に顔を検出した場合の検出パターン作成方法を説明する図
【図１２】微小時間後のデジタル画像を用いて顔検出処理を示す図
【図１３】同一人物の追跡履歴を画面表示した例を説明する図
【符号の説明】
【００６１】
１ 映像入力部
２ 顔検出領域設定部
３ カメラ設置情報設定部
４ 顔向き推定部
５ 顔検出パターン作成部
６ 方向別顔検出パターン記憶部
７ 顔検出部
８ 追跡履歴画面表示部
９ 追跡データベース部
【特許請求の範囲】
【請求項１】
カメラで撮影された映像を入力する映像入力手段と、
前記映像入力手段で入力された映像から人物の顔領域を検出するための画面上の処理領域である検出領域を設定する顔検出領域設定手段と、
前記カメラの設置パラメータを設定するカメラ設置情報設定手段と、
前回検出された顔領域の位置と、前記カメラ設置情報設定手段で設定した前記カメラの設置パラメータを用いて、次に検出を行う人物の顔の向きを推定する顔向き推定手段と、
前記顔向き推定手段で決定した顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの中から、次に検出を行う顔の検出パターンを決定する顔検出パターン作成手段と、
前記顔検出領域設定手段で設定した画面上の検出領域と、前記顔検出パターン作成手段で作成した顔の検出パターンを用いて映像中から人物の顔を検出する顔検出手段と、
前記顔検出手段で検出した一連の人物の顔画像を同一人物の顔画像の追跡履歴として画面表示する追跡履歴表示手段を備えたことを特徴とする人物追跡装置。
【請求項２】
前記顔検出領域設定手段は、直前に人物の顔を検出していない場合は、画面全領域を人物の顔を検出する検出領域として設定することを特徴とする請求項１記載の人物追跡装置。
【請求項３】
前記顔検出領域設定手段は、直前に人物の顔を検出した場合は、直前に検出した顔のサイズと向きの情報から次に検出する顔の検出領域を決定することを特徴とする請求項１または請求項２に記載の人物追跡装置。
【請求項４】
前記検出パターン作成手段は、直前に人物の顔を検出していない場合は、顔の正面を中心とした所定の比較的広範囲設定の顔向き範囲の顔パターンを用いて顔の検出パターンを作成することを特徴とする請求項１から請求項３のいずれかに記載の人物追跡装置。
【請求項５】
前記検出パターン作成手段は、直前に人物の顔を検出した場合は、前記顔向き推定手段で決定した顔向きを中心とした範囲の顔パターンを用いて顔の検出パターンを作成することを特徴とする請求項１から請求項４のいずれかに記載の人物追跡装置。
【請求項６】
カメラで撮影された映像を入力し、
前記映像から人物の顔領域を検出するための画面上の処理領域である検出領域を設定し、
前記カメラの設置パラメータを設定し、
前回検出された顔領域の位置と、前記カメラの設置パラメータを用いて、次に検出を行う人物の顔の向きを推定し、
推定された顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの中から、次に検出を行う顔の検出パターンを決定し、
画面上の前記検出領域と、決定された前記顔の検出パターンを用いて映像中から人物の顔を検出し、
検出した一連の人物の顔画像を同一人物の顔画像の追跡履歴として画面表示することを特徴とする人物追跡映像処理方法。
【請求項１】
カメラで撮影された映像を入力する映像入力手段と、
前記映像入力手段で入力された映像から人物の顔領域を検出するための画面上の処理領域である検出領域を設定する顔検出領域設定手段と、
前記カメラの設置パラメータを設定するカメラ設置情報設定手段と、
前回検出された顔領域の位置と、前記カメラ設置情報設定手段で設定した前記カメラの設置パラメータを用いて、次に検出を行う人物の顔の向きを推定する顔向き推定手段と、
前記顔向き推定手段で決定した顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの中から、次に検出を行う顔の検出パターンを決定する顔検出パターン作成手段と、
前記顔検出領域設定手段で設定した画面上の検出領域と、前記顔検出パターン作成手段で作成した顔の検出パターンを用いて映像中から人物の顔を検出する顔検出手段と、
前記顔検出手段で検出した一連の人物の顔画像を同一人物の顔画像の追跡履歴として画面表示する追跡履歴表示手段を備えたことを特徴とする人物追跡装置。
【請求項２】
前記顔検出領域設定手段は、直前に人物の顔を検出していない場合は、画面全領域を人物の顔を検出する検出領域として設定することを特徴とする請求項１記載の人物追跡装置。
【請求項３】
前記顔検出領域設定手段は、直前に人物の顔を検出した場合は、直前に検出した顔のサイズと向きの情報から次に検出する顔の検出領域を決定することを特徴とする請求項１または請求項２に記載の人物追跡装置。
【請求項４】
前記検出パターン作成手段は、直前に人物の顔を検出していない場合は、顔の正面を中心とした所定の比較的広範囲設定の顔向き範囲の顔パターンを用いて顔の検出パターンを作成することを特徴とする請求項１から請求項３のいずれかに記載の人物追跡装置。
【請求項５】
前記検出パターン作成手段は、直前に人物の顔を検出した場合は、前記顔向き推定手段で決定した顔向きを中心とした範囲の顔パターンを用いて顔の検出パターンを作成することを特徴とする請求項１から請求項４のいずれかに記載の人物追跡装置。
【請求項６】
カメラで撮影された映像を入力し、
前記映像から人物の顔領域を検出するための画面上の処理領域である検出領域を設定し、
前記カメラの設置パラメータを設定し、
前回検出された顔領域の位置と、前記カメラの設置パラメータを用いて、次に検出を行う人物の顔の向きを推定し、
推定された顔向き情報を用いて、顔の方向別にあらかじめ用意してある顔検出パターンの中から、次に検出を行う顔の検出パターンを決定し、
画面上の前記検出領域と、決定された前記顔の検出パターンを用いて映像中から人物の顔を検出し、
検出した一連の人物の顔画像を同一人物の顔画像の追跡履歴として画面表示することを特徴とする人物追跡映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−９８４９（Ｐ２００８−９８４９Ａ）
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願番号】特願２００６−１８１４０３（Ｐ２００６−１８１４０３）
【出願日】平成１８年６月３０日（２００６．６．３０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願日】平成１８年６月３０日（２００６．６．３０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]