映像加工処理方法及びその装置
【課題】 映像に映っている人物領域について、プライバシーを考慮しつつ、実用的に人物の行動を監視できるように、現実的な処理時間で加工処理を行う。
【解決手段】 撮影された撮影映像から人物を検出する。撮影映像を複数の分割領域に分割する、又は、撮影映像で検出された人物から所定の範囲にある人物を集めて、グループに分類する。分割領域の各々で検出した人物、又は、グループに分類された人物の人物数を計数する。計数された人物数に基づいて、人物が存在する人物領域の各々に、撮影映像を加工する複数の加工処理のうち１つを選択する。撮影映像の人物領域ごとに、人物領域に選択された加工処理を施す。
【解決手段】 撮影された撮影映像から人物を検出する。撮影映像を複数の分割領域に分割する、又は、撮影映像で検出された人物から所定の範囲にある人物を集めて、グループに分類する。分割領域の各々で検出した人物、又は、グループに分類された人物の人物数を計数する。計数された人物数に基づいて、人物が存在する人物領域の各々に、撮影映像を加工する複数の加工処理のうち１つを選択する。撮影映像の人物領域ごとに、人物領域に選択された加工処理を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影映像中に領域あたりで検出される人数により映像加工の処理を切り替える方法および装置に関する。
【背景技術】
【０００２】
犯罪率の増加等に伴い、公共空間を監視するカメラの設置台数は増加している。防犯効果があるが、一方、撮影映像に映っている人のプライバシーを侵害しうるという面も懸念される。
【０００３】
特許文献１には、撮影映像で検出された人物の顔が、事前に登録されている顔情報に一致しない場合、顔の領域に抽象化を施す加工を行うことが開示されている。
【０００４】
また、特許文献２には、監視カメラの撮影映像に映る人数から解析処理を切り替える方法が開示されている。例えば、撮影映像中の人数が多い場合に、解析処理の負荷を軽くすることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−６２５６０
【特許文献２】特開２００７−２６４７０６
【特許文献３】米国公開特許 ２００７／０２３７３８７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている技術では、加工処理を撮影映像に映る人物ごとに行うと、加工処理対象となる人物数が多い場合、処理の負荷が大きくなりすぎるという課題があった。また、記録されている人物以外を判定することができないという課題、撮影映像に映る人物とそのほかの人物との関係性を考慮にいれていないという課題があった。
【０００７】
特許文献２に開示されている技術では、撮影映像に映る人物とそのほかの人物との関係性を考慮にいれていないため、プライバシー保護が十分でないという課題があった。
【０００８】
以上を鑑み、プライバシー保護を考慮にいれつつ、適切な処理負荷を選ぶため、本発明では、撮影映像中に領域あたりで検出される人数により映像加工の処理を切り替えることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的は、以下の方法によって達成できる。
【００１０】
検出手段が、撮影された撮影映像から人物を検出する検出工程と、
分割手段が、前記撮影映像を複数の分割領域に分割する分割工程と、
計数手段が、前記分割領域の各々で前記検出した人物の人物数を計数する計数工程と、
選択手段が、前記分割領域の各々で計数された人物数に基づいて、前記分割領域のうち人物が存在する人物領域の各々に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択工程と、
加工手段が、前記撮影映像の前記人物領域ごとに、当該人物領域に対して選択された加工処理を施す加工工程と、
を有することを特徴とする映像加工処理方法。
【００１１】
上記目的は、以下の方法によっても達成できる。
【００１２】
検出手段が、撮影された撮影映像から人物を検出する検出工程と、
分類手段が、前記撮影映像で前記検出された人物の一人と、当該一人から所定の範囲にある人物を同じグループに分類する分類工程と、
計数手段が、前記グループに分類された人物数を計数する計数工程と、
選択手段が、前記分類されたグループで計数された人物数に基づいて、当該グループに分類された人物が存在する人物領域に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択工程と、
加工手段が、前記撮影映像の前記人物領域に選択された加工処理を施す加工工程と、
を有することを特徴とする映像加工処理方法。
【発明の効果】
【００１３】
撮影映像中に領域あたりで検出される人数により映像加工の処理を切り替えることにより、プライバシー保護を考慮にいれつつ、適切な処理負荷を選ぶことができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態の映像加工処理装置の機能ブロック図である。
【図２】第１の実施形態の映像加工処理装置の全体処理フロー図である。
【図３】分割領域と人物の関係を説明した図である。
【図４】人物が分散・集中して存在する様子を説明した図である。
【図５】人物領域の加工方法を説明した図である。
【図６】第２の実施形態の映像加工処理装置の機能ブロック図である。
【図７】第２の実施形態の映像加工処理装置の全体処理フロー図である。
【図８】人物と周辺領域の関係を説明した図である。
【図９】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態に基づいて述べる。
【００１６】
〔第１の実施形態〕
図１は第１の実施形態の映像加工処理装置１００を実現させる機能構成図である。
【００１７】
図１で示した機能を構成する各処理部についての概要説明を以下に記述する。
【００１８】
図１に示すように、映像加工処理装置１００は、撮影部１１０、検出部１２０、分割部１３０、計数部１４０、選択部１５０、加工部１６０から構成されている。
撮影部１１０は、カメラ等の映像入力装置を用いて現実空間の撮影を行う。撮影部１１０により撮影された撮影映像は検出部１２０へと出力される。
【００１９】
例えば、映像入力装置は、天井から吊り下げられても良いし、床や台の上に据え置いてあっても良い。以下では、駅構内や店舗内などの天井に吊り下げられているカメラを用いるものとして説明する。パンチルトやズームといったカメラパラメータは、固定でも良いし可変であっても良い。カメラパラメータが固定な場合は、パラメータは事前に計測されるか、参照可能な状態になっている。カメラパラメータが可変な場合には、その可変値は映像入力装置において計測され出力される。
【００２０】
検出部１２０は、撮影部１１０から撮影映像を受け取り、撮影映像中から人物を検出する処理を行う。検出には、特許文献３に記載の技術を用いても良い。検出部１２０は、撮影映像から人物を検出した結果から人物位置情報を取得し、計数部１４０に出力する。また、検出部１２０は、人物領域情報を取得して選択部１５０に出力する。ここでの人物領域情報は、人物の検出結果から得られる人物が検出された領域であり、人物位置情報とは人物の検出結果から得られる人物領域中の中心位置座標である。
【００２１】
分割部１３０は、撮影部１１０から撮影映像を受け取り、いくつかの領域に分割する処理を行う。例えば、撮影部１１０により入力された撮影映像は各分割領域が均等な大きさになるように分割される。以下では、分割部１３０により分割された領域を分割領域と呼ぶ。分割領域は計数部１４０に出力される。
【００２２】
計数部１４０は、各人物領域中に人物が映っている人物数を計数する。そして、各人物領域中ごとの人物数を選択部１５０に出力する。分割部１３０から分割領域を受け取り、複数の分割領域の中で、分割領域内に人物が検出されている分割領域の数を計数する。そして、人物が検出されている領域（人物領域）を計数部１４０に、人物が検出されている分割領域数（人物領域数）を選択部１５０に出力する。
【００２３】
選択部１５０は、計数部１４０から人物領域数を受け取り、計数部１４０から領域毎人数を受け取って、人物領域の加工処理に用いるアルゴリズムの選択を行う。検出部１２０から人物領域情報を受け取り、選択部１５０から領域毎アルゴリズム情報を入力して、加工領域の設定を行う。加工領域の設定とは、検出部１２０によって検出された人物領域とその領域を加工するためのアルゴリズムの紐付けを行い、人物領域と加工方法の対応付けを行う。そして、検出部１２０から検出された人物領域毎に設定された人物領域の加工処理のためのアルゴリズム、人物領域毎のアルゴリズムを加工部１６０に出力する。
【００２４】
加工部１６０は、撮影部１１０から撮影映像を受け取り、選択部１５０から人物領域毎のアルゴリズムを受け取って、撮影映像中の人物の映っている領域の加工処理をする。これにより、人物領域には加工処理の施された映像を作成でき、プライバシーを考慮した映像にすることが可能である。
【００２５】
図２に示したフローチャートを用いて、第１の実施形態の映像加工処理装置１００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、第１の実施形態の装置内の、ＲＡＭやＲＯＭなどのメモリ９０２内に格納され、ＣＰＵ９０１などにより読み出され、実行される。
【００２６】
ステップＳ２０１では、撮影部１１０により現実空間の撮影が行われる。そして、撮影映像が検出部１２０に送られ、その撮影映像中から人物を検出する処理が行われる。
【００２７】
ステップＳ２０２では、入力映像を複数の領域に分割する。このとき入力映像の分割方法は任意に決めることが可能である。例えば、図３に示すように、入力映像３００を縦方向と横方向に３等分し、１フレーム画像を９つに分割すれば良い。ここで、図３中の（１）〜（９）はそれぞれ、横の大きさｘ、縦の大きさｙである分割領域である。また、図３には、後の説明のために、入力映像に映っている人物Ａ〜Ｆと、それぞれの人物領域の中心×も示す。
【００２８】
ステップＳ２０３では、後述のステップＳ２０４からステップＳ２０７を、分割された分割領域ごとに繰り返す。
【００２９】
ステップＳ２０４では、分割領域毎に映っている人物の数が計数される。ステップＳ２０２から受け取る分割領域の中で、人物の映っている分割領域数（人物領域数）の計数が行われる。各分割領域に人物が映っているかどうかの判断は、検出部１２０から得られる人物の検出結果を用いる。検出部１２０から得られる人物の検出結果は、例えば人物領域全体を包含する長方形の矩形領域である。そのため、人物の中心を、人物の検出結果から得られる矩形領域の中心と定義し、分割領域の各々に人物中心点が含まれているかどうか判断することで、分割領域中の人物の存在有無を決めることができる。図３に示した例では、人物Ａは領域（１）、人物Ｂと人物Ｃは領域（３）、人物Ｄは領域（６）、人物Ｅと人物Ｆは領域（９）に属していると判断される。人物Ｄや人物Ｅのように、人物領域が一つの分割領域内に入らず、いくつかの分割領域にまたがっている場合には、人物の中心×のある領域をその人物の属する領域とするように判断される。したがって、図３に示す例の場合では、人物の映っている領域数は（１）と（３）と（６）と（９）の４つであると計数される。人物が分割領域内に存在しているかどうかの判断と同様に、分割領域内に含まれている人物領域の中心点を用いて、分割領域内に映っている人物の数を計数する。図３に示す例の場合では、領域（１）と領域（６）には１人、領域（３）と領域（９）には２人、それ以外の領域には０人と計数される。
【００３０】
ステップＳ２０５では、分割領域の各々に人物が存在するかを判定する。人物が存在しないときは、次の分割領域に対し、ステップＳ２０４にて人物の数を計数する。また、人物が存在するときは、ステップＳ２０６に進む。
【００３１】
ステップＳ２０６では、人物の映っている分割領域数（人物領域数）と、分割領域内の人物数（領域毎人数）を用いて加工方法を選択する。
【００３２】
分割領域中の人物数（領域毎人数）を用いて、人物数が０人以上であるか判断する。人物が分割領域中に映っていなければ、人物領域に関して特別な加工処理を行う必要はないので、加工処理は行わずに次の分割領域の処理に進む。人物が分割領域中に映っていれば、人物領域に対して何らかの処理を行う。
【００３３】
ここでは、入力映像１フレーム毎の処理時間を、そこに映る人物数ならびに映った人物の分布によらず同程度になるような方法を選択する。図４（ａ）、図４（ｂ）は、撮影部１１０から入力される撮影映像である。図４（ａ）は入力映像中に映る人物の分布がまとまっている場合を撮影した画面であり、図４（ｂ）は入力映像中に映る人物の分布が分散している場合を撮影した画面である。ここで、それぞれに対する撮影映像の加工に要する処理時間が同程度になるよう撮影映像に映る人物数に応じてアルゴリズムを選択すると、図４（ａ）には１１人、図４（ｂ）には１０人が映っているので、同じアルゴリズムが選択される。もしくは、図４（ａ）の方が軽負荷なアルゴリズムが選択される。しかし、図４（ａ）の方は人物同士の重なりがあるので、実際に処理を施すべき映像領域の大きさは、図４（ａ）の方が図４（ｂ）よりも小さい。すると、それぞれに対する処理時間が同程度にするには、人物の映っている領域の少ない図４（ａ）に対しては高負荷のアルゴリズムを選択し、人物の映っている領域の多い図４（ｂ）に対しては軽負荷のアルゴリズムを選択する。ステップＳ２０６では、選択を分割領域数（人物領域数）と、分割領域内の人物数（領域毎人数）を用いて行う。具体的なアルゴリズム選択方法を、図５および図３を用いて説明する。
【００３４】
以下では、加工領域設定方法が異なるものの中からアルゴリズムを選択する方法について説明する。加工領域設定後の映像変換方法に関しては、指定の色での塗りつぶしや、モザイク加工や体のパーツごとに異なった方法での映像変換などから複数の方法が選ばれうる。これは、加工領域設定方法の選択と同様である。
【００３５】
図５には、映像の加工領域を異なるアルゴリズムを用いて設定する方法を示している。具体的には、人物の検出乃至認識アルゴリズムをベースに加工領域を設定する方法を、処理負荷の軽い順に示している。ここで、加工領域設定方法にかかる処理時間は、映像変換方法にかかる処理時間よりも多いため、２つの方法を含んでいる加工方法の処理時間は加工領域設定方法に依存している。そのため、加工方法の処理負荷の軽い順番と加工領域設定方法の処理負荷が軽い順番は同じになる。図５の上から順に、人物の検出ベース加工方法５００、シルエット検出ベース加工方法５１０、人体パーツ検出ベース加工方法５２０、姿勢認識ベース加工方法５３０、行動認識ベース加工方法５４０となる。
【００３６】
人物の検出ベース加工方法５００は、人物が検出された領域を内包する矩形領域に対し塗りつぶし等の加工処理を行う方法である。シルエット検出ベース加工方法５１０は、人物のシルエットを検出し、そのシルエット内領域に対し加工処理を行う方法である。人体パーツ検出ベース加工方法５２０は、人体の手や足、頭などのパーツを認識し、認識したパーツ領域ごとに加工処理を行う方法である。例えば、人物を監視する上での重要な役割を果たす”手”のようなパーツに塗りつぶしの加工処理を行うと行動を監視することができない。そこで、”手”以外のパーツに対してのみ加工処理を行う。姿勢認識ベース加工方法５３０は人物の姿勢を認識し、認識された姿勢ごとに加工処理を行う方法である。例えば、普通の姿勢と異常な姿勢とを区別し、監視する必要のない普通の姿勢をしているときに塗りつぶしの加工処理を行う。行動認識ベース加工方法５４０は人物の行動を認識し、認識された行動ごとに加工処理を行う方法である。例えば、普通の行動と異常な行動とを区別し、監視する必要のない普通の行動をしているときに塗りつぶしの加工処理を行う。高負荷な加工方法になるほど、単純に人物領域に対して毎回加工処理をするのではなく、加工処理すべき部分だけや、加工処理すべきタイミングだけ、選択的に加工処理をすることができる。
【００３７】
ここで、図３の人物Ａ〜Ｆは、図５に示した加工方法５００〜５４０のいずれかの方法が選択されて加工処理される。加工方法は、処理を施す分割領域内の人物数（領域毎人数）と、各加工方法５００〜５４０の処理時間と、１フレームに費やす処理時間との関係から選択される。例えば、人物の検出ベース加工方法５００の処理時間を１０、シルエット検出ベース加工方法５１０の処理時間を２０とする。また、人体パーツ検出ベース加工方法５２０の処理時間を３０、姿勢認識ベース加工方法５３０の処理時間を４０、行動認識ベース加工方法５４０の処理時間を５０とする。そして、１フレームに用いる処理時間を１００以下とする。人物が１人で映っている分割領域が２つ、人物が２人で映っている分割領域が２つなので、それぞれに同じ割合で処理時間を割り当てるとすると、１つの分割領域に用いる処理時間は１００／４＝２５となる。よって、１人で映っている領域（１）の人物Ａと領域（６）の人物Ｄの加工方法は処理時間が２５以下の加工方法であるシルエット検出ベース加工方法５１０となる。また、２人で映っている領域（３）の人物Ｂと人物Ｃ、領域（９）の人物Ｅと人物Ｆの加工方法は処理時間が２５／２＝１２．５以下の加工方法である、人物の検出ベース加工方法５００となる。例えば、処理時間に合わせてモザイクの精度を変えてもよい。
【００３８】
以上のように、加工方法の選択が、人物の映っている分割領域に対して行われると、ステップＳ２０７に進む。
【００３９】
ステップＳ２０７では、ステップＳ２０６から受け取る領域毎加工方法を用いて、各人物領域と加工方法の対応付けを行う。
【００４０】
以上の処理により、撮影映像中の映像領域あたりの人物数が多い場合には軽負荷の加工方法を用いて、撮影映像中の映像領域あたりの人物数が少ない場合には高負荷の加工方法を用いて、人物映像を加工することができる。
【００４１】
〔第２の実施形態〕
図６は第２の実施形態の映像加工処理装置６００を実現させる機能構成図である。図６で示した機能を構成する各処理部についての概要説明を以下に記述する。
【００４２】
第２の実施形態では、ある一定の範囲内に複数人でまとまって存在している人と、それとは対照的に、ある一定の範囲内に人が存在せず、一人で行動している人の加工方法を変えて処理する。例えば、群れで存在している人は、互いに相手の目の届くところにいるため、詳細に監視する必要は低いとする。一方、一人でいる人は、不審な行動をとっても他人の目の届かないところにいるため、監視すべきとする。これにより、群れで存在している人には、簡易な加工方法を、一人で行動している人には、時間がかかっても詳細に把握できる加工方法を選択する。
【００４３】
図６に示すように、映像加工処理装置６００は、撮影部１１０、検出部１２０、計数部１４０、選択部１５０、加工部１６０と、分類部６１０からなる。
【００４４】
分類部６１０は、検出部１２０から受け取る人物領域の中から一人の人物（特定人物）を特定する。特定人物に関しては、入力映像中の人物であれば誰でも良いとするが、特定される時点において、まだ人物領域の加工処理がされていない人物とする。なお、特定人物は、人物の検出で用いられたパーツや行動などの認識内容を用いてもよい。
【００４５】
特定人物からその人物の周辺領域を設定する。周辺領域の設定方法は、特定人物を中心とした、円領域や矩形領域などの任意の分割領域で良いとする。第２の実施形態では、周辺領域を特定人物の中心位置を中心とした所定の半径ｒの距離の円領域内に設定する。
【００４６】
周辺領域から、特定人物の周辺領域にいる人物を探索して、特定人物と同じグループに分類をする。周辺領域内にいる人物の探索時には、検出部１２０から得られた人物領域の中心点を用いる。周辺領域内に特定人物以外の人物領域の中心点があれば、その人物を特定人物と同じグループに分類する。そして、特定人物とその周辺人物の人物の分類結果を選択部６４０に出力する。また、特定人物以外であって、その周辺人物以外の人物の分類結果を選択部６４０に出力してもよい。
【００４７】
選択部１５０は、分類部６１０から受け取る人物の分類結果から、分類された人物領域毎に加工方法の選択をする。グループ毎加工方法とは、分類部６１０により分類されたグループ毎に選択された、そのグループの人物領域の加工方法である。
【００４８】
図７に示したフローチャートを用いて、第２の実施形態の映像加工処理装置６００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、第２の実施形態の装置内にあるＲＡＭやＲＯＭなどのメモリ９０２内に格納され、ＣＰＵ９０１などにより読み出され、実行される。
【００４９】
ステップＳ７０１では、第１の実施形態のステップＳ２０１と同様に撮影を行い、人物領域の検出を行う。
【００５０】
ステップＳ７０２では、検出部１２０から受け取った人物領域の中から任意に一人の人物領域の特定を行う。初回の人物領域の特定は任意に行うことができるが、２回目以降の人物領域の特定には、未分類であり、かつ加工処理が施されてない人物領域中から選択する。
【００５１】
ステップＳ７０３では、周辺領域が四角形なのか円形なのか、どんな図形をした領域であるかや、領域の大きさの定義を行う。第２の実施形態では、周辺領域を、所定の半径ｒの距離の円領域とする。特定人物を用いて、特定人物の人物領域の中心点を中心とした所定の半径ｒの距離の円領域を周辺領域と定義する。
【００５２】
ステップＳ７０４では、周辺領域から、特定人物の周辺領域にいる人物を探索して、特定人物と同じグループに分類をする。周辺領域内にいる人物の探索時には、検出部１２０から得られた人物領域の中心点を用いる。周辺領域内に特定人物以外の人物領域の中心点があれば、その人物を特定人物と同じグループに分類する。そして、特定人物とその周辺人物の人物の分類結果を選択部６４０に出力する。また、特定人物以外であって、その周辺人物以外の人物の分類結果を選択部６４０に出力してもよい。
【００５３】
ステップＳ７０５では、任意の特定人物の周辺領域内に存在する人物の計数を行う。分類された周辺人物の人数を計数し、ステップＳ７０６に進む。
【００５４】
ステップＳ７０６では、周辺人物数が０人以上であるか判断する。周辺人物数が一人以上存在する場合と、周辺人物が一人も存在しない場合とでは処理内容が異なる。具体的には、周辺人物数が一人以上存在する場合には、ステップＳ７０７とステップＳ７０８へ進む。一人も存在しない場合には、ステップＳ７０９とステップＳ７１０に進む。
【００５５】
ステップＳ７０７では、分類部６１０において、ステップＳ７０５により計数された周辺人物と、ステップＳ７０２により特定された特定人物を、同じグループとして分類を行う。
【００５６】
具体的な分類例を、図８を用いて説明する。図８には、入力映像３００と、第１の実施形態と同様の、撮影された人物Ａ〜Ｆ、人物領域の中心×と、第２の実施形態から追記されたグループα〜γを示す。入力映像３００に映っている人物は全て、３つのグループα〜γに属している。以下では、人物Ａ〜Ｆのグループ分け手法について説明する。
【００５７】
入力映像３００の人物の中から１人を特定する。第２の実施形態では、人物Ａを特定人物として設定する。そして、人物Ａの周辺領域として所定の半径ｒの距離の円領域を定義し、周辺領域内にいる人物を人物Ａと同じグループαに分類する。入力映像３００では、人物Ａの周辺領域には人がいないので、グループαに属する人物は人物Ａのみである。
【００５８】
次に、入力映像３００で未分類の人物群（人物Ｂ〜Ｆ）から、人物Ｂを特定人物として設定し、人物Ｂの周辺領域にいる人をグループβに分類する。その結果、グループβに分類される人物は、人物Ｂと人物Ｃと人物Ｄとなる。また、同様に、人物Ｅを特定人物としてグループγの分類をすると、グループγに分類される人物は人物Ｅと人物Ｆとなる。
【００５９】
以上より、入力映像３００中の人物は３つのグループに分割され、各グループに属する人物は以下のようになる。
【００６０】
グループα：人物Ａ
グループβ：人物Ｂ 人物Ｃ 人物Ｄ
グループγ：人物Ｅ 人物Ｆ
ステップＳ７０８では、加工部１６０において、選択部１５０にて設定された人物領域毎加工方法を用いて、周辺人物の加工処理を行う。
例えば、群れで存在している人は、互いに相手の目の届くところにいるため、詳細に監視する必要は低いとする。一方、一人でいる人は、不審な行動をとっても他人の目の届かないところにいるため、監視すべきとする。このような監視する必要性に応じて加工処理を行う。例えば、簡易な方法で加工するとき人物の存在する領域を内包する矩形領域に対し加工処理を行ってもよい。
【００６１】
ステップＳ７０９では、ステップＳ７０２において特定された特定人物について、検出部１２０において行った検出より、さらに詳細な認識を行う。ここでは、ステップＳ７１０の処理時に必要な情報の認識を行う。例えば、人物認識、服装認識、姿勢認識、動作認識などを行う。もしくは、誰であるか、どんな人であるか（男性か女性か、何歳くらいか、など）、などを認識する。さらには、どんな服装であるか、どんな姿勢であるか、どんな動作をしているか、どんな行動をしているか、何を持っているか、等を認識する。
【００６２】
ステップＳ７１０では、加工部１６０において、選択部１５０にて設定された人物領域毎加工方法を用いて、ステップＳ７０２により特定された特定人物の加工処理を行う。ここでは、周辺人物が一人もいなく、単独で存在している人物に関する加工方法は、処理開始前に決定する。例えば、ステップＳ７０９から特定人物のシルエット情報が得られるのであれば、それを用いて、その人物のシルエット領域内に加工処理を行う。ステップＳ７０９から何らかの認識結果などが得られるのであれば、それらを用いて加工処理すべき領域やタイミングを判断した上で、選択的・部分的に人物が映る映像領域に加工処理を行っても良い。
【００６３】
ステップＳ７１１では、ステップＳ７０８とステップＳ７１０の処理が終わる度に、撮影映像中に人物領域が未処理の人物がいないか判断する。撮影映像中の全ての人物領域について加工処理が終了していなければ、再度、ステップＳ７０２に戻り、処理を継続するが、未加工人物がいなければ、処理を終了する。
【００６４】
以上の処理により、群れで存在している人に対しては簡易的に加工処理を選択し、一人で行動している人に対しては撮影映像から様子が分かる加工処理を選択することができる。
【００６５】
〔その他の実施形態〕
図９は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク９０７又は各種のコンピュータ読み取り可能な記憶媒体９０２、９０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ９０１（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【産業上利用可能性】
【００６６】
本発明は、例えば、監視カメラに利用することができる。
【技術分野】
【０００１】
本発明は、撮影映像中に領域あたりで検出される人数により映像加工の処理を切り替える方法および装置に関する。
【背景技術】
【０００２】
犯罪率の増加等に伴い、公共空間を監視するカメラの設置台数は増加している。防犯効果があるが、一方、撮影映像に映っている人のプライバシーを侵害しうるという面も懸念される。
【０００３】
特許文献１には、撮影映像で検出された人物の顔が、事前に登録されている顔情報に一致しない場合、顔の領域に抽象化を施す加工を行うことが開示されている。
【０００４】
また、特許文献２には、監視カメラの撮影映像に映る人数から解析処理を切り替える方法が開示されている。例えば、撮影映像中の人数が多い場合に、解析処理の負荷を軽くすることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−６２５６０
【特許文献２】特開２００７−２６４７０６
【特許文献３】米国公開特許 ２００７／０２３７３８７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている技術では、加工処理を撮影映像に映る人物ごとに行うと、加工処理対象となる人物数が多い場合、処理の負荷が大きくなりすぎるという課題があった。また、記録されている人物以外を判定することができないという課題、撮影映像に映る人物とそのほかの人物との関係性を考慮にいれていないという課題があった。
【０００７】
特許文献２に開示されている技術では、撮影映像に映る人物とそのほかの人物との関係性を考慮にいれていないため、プライバシー保護が十分でないという課題があった。
【０００８】
以上を鑑み、プライバシー保護を考慮にいれつつ、適切な処理負荷を選ぶため、本発明では、撮影映像中に領域あたりで検出される人数により映像加工の処理を切り替えることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的は、以下の方法によって達成できる。
【００１０】
検出手段が、撮影された撮影映像から人物を検出する検出工程と、
分割手段が、前記撮影映像を複数の分割領域に分割する分割工程と、
計数手段が、前記分割領域の各々で前記検出した人物の人物数を計数する計数工程と、
選択手段が、前記分割領域の各々で計数された人物数に基づいて、前記分割領域のうち人物が存在する人物領域の各々に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択工程と、
加工手段が、前記撮影映像の前記人物領域ごとに、当該人物領域に対して選択された加工処理を施す加工工程と、
を有することを特徴とする映像加工処理方法。
【００１１】
上記目的は、以下の方法によっても達成できる。
【００１２】
検出手段が、撮影された撮影映像から人物を検出する検出工程と、
分類手段が、前記撮影映像で前記検出された人物の一人と、当該一人から所定の範囲にある人物を同じグループに分類する分類工程と、
計数手段が、前記グループに分類された人物数を計数する計数工程と、
選択手段が、前記分類されたグループで計数された人物数に基づいて、当該グループに分類された人物が存在する人物領域に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択工程と、
加工手段が、前記撮影映像の前記人物領域に選択された加工処理を施す加工工程と、
を有することを特徴とする映像加工処理方法。
【発明の効果】
【００１３】
撮影映像中に領域あたりで検出される人数により映像加工の処理を切り替えることにより、プライバシー保護を考慮にいれつつ、適切な処理負荷を選ぶことができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態の映像加工処理装置の機能ブロック図である。
【図２】第１の実施形態の映像加工処理装置の全体処理フロー図である。
【図３】分割領域と人物の関係を説明した図である。
【図４】人物が分散・集中して存在する様子を説明した図である。
【図５】人物領域の加工方法を説明した図である。
【図６】第２の実施形態の映像加工処理装置の機能ブロック図である。
【図７】第２の実施形態の映像加工処理装置の全体処理フロー図である。
【図８】人物と周辺領域の関係を説明した図である。
【図９】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態に基づいて述べる。
【００１６】
〔第１の実施形態〕
図１は第１の実施形態の映像加工処理装置１００を実現させる機能構成図である。
【００１７】
図１で示した機能を構成する各処理部についての概要説明を以下に記述する。
【００１８】
図１に示すように、映像加工処理装置１００は、撮影部１１０、検出部１２０、分割部１３０、計数部１４０、選択部１５０、加工部１６０から構成されている。
撮影部１１０は、カメラ等の映像入力装置を用いて現実空間の撮影を行う。撮影部１１０により撮影された撮影映像は検出部１２０へと出力される。
【００１９】
例えば、映像入力装置は、天井から吊り下げられても良いし、床や台の上に据え置いてあっても良い。以下では、駅構内や店舗内などの天井に吊り下げられているカメラを用いるものとして説明する。パンチルトやズームといったカメラパラメータは、固定でも良いし可変であっても良い。カメラパラメータが固定な場合は、パラメータは事前に計測されるか、参照可能な状態になっている。カメラパラメータが可変な場合には、その可変値は映像入力装置において計測され出力される。
【００２０】
検出部１２０は、撮影部１１０から撮影映像を受け取り、撮影映像中から人物を検出する処理を行う。検出には、特許文献３に記載の技術を用いても良い。検出部１２０は、撮影映像から人物を検出した結果から人物位置情報を取得し、計数部１４０に出力する。また、検出部１２０は、人物領域情報を取得して選択部１５０に出力する。ここでの人物領域情報は、人物の検出結果から得られる人物が検出された領域であり、人物位置情報とは人物の検出結果から得られる人物領域中の中心位置座標である。
【００２１】
分割部１３０は、撮影部１１０から撮影映像を受け取り、いくつかの領域に分割する処理を行う。例えば、撮影部１１０により入力された撮影映像は各分割領域が均等な大きさになるように分割される。以下では、分割部１３０により分割された領域を分割領域と呼ぶ。分割領域は計数部１４０に出力される。
【００２２】
計数部１４０は、各人物領域中に人物が映っている人物数を計数する。そして、各人物領域中ごとの人物数を選択部１５０に出力する。分割部１３０から分割領域を受け取り、複数の分割領域の中で、分割領域内に人物が検出されている分割領域の数を計数する。そして、人物が検出されている領域（人物領域）を計数部１４０に、人物が検出されている分割領域数（人物領域数）を選択部１５０に出力する。
【００２３】
選択部１５０は、計数部１４０から人物領域数を受け取り、計数部１４０から領域毎人数を受け取って、人物領域の加工処理に用いるアルゴリズムの選択を行う。検出部１２０から人物領域情報を受け取り、選択部１５０から領域毎アルゴリズム情報を入力して、加工領域の設定を行う。加工領域の設定とは、検出部１２０によって検出された人物領域とその領域を加工するためのアルゴリズムの紐付けを行い、人物領域と加工方法の対応付けを行う。そして、検出部１２０から検出された人物領域毎に設定された人物領域の加工処理のためのアルゴリズム、人物領域毎のアルゴリズムを加工部１６０に出力する。
【００２４】
加工部１６０は、撮影部１１０から撮影映像を受け取り、選択部１５０から人物領域毎のアルゴリズムを受け取って、撮影映像中の人物の映っている領域の加工処理をする。これにより、人物領域には加工処理の施された映像を作成でき、プライバシーを考慮した映像にすることが可能である。
【００２５】
図２に示したフローチャートを用いて、第１の実施形態の映像加工処理装置１００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、第１の実施形態の装置内の、ＲＡＭやＲＯＭなどのメモリ９０２内に格納され、ＣＰＵ９０１などにより読み出され、実行される。
【００２６】
ステップＳ２０１では、撮影部１１０により現実空間の撮影が行われる。そして、撮影映像が検出部１２０に送られ、その撮影映像中から人物を検出する処理が行われる。
【００２７】
ステップＳ２０２では、入力映像を複数の領域に分割する。このとき入力映像の分割方法は任意に決めることが可能である。例えば、図３に示すように、入力映像３００を縦方向と横方向に３等分し、１フレーム画像を９つに分割すれば良い。ここで、図３中の（１）〜（９）はそれぞれ、横の大きさｘ、縦の大きさｙである分割領域である。また、図３には、後の説明のために、入力映像に映っている人物Ａ〜Ｆと、それぞれの人物領域の中心×も示す。
【００２８】
ステップＳ２０３では、後述のステップＳ２０４からステップＳ２０７を、分割された分割領域ごとに繰り返す。
【００２９】
ステップＳ２０４では、分割領域毎に映っている人物の数が計数される。ステップＳ２０２から受け取る分割領域の中で、人物の映っている分割領域数（人物領域数）の計数が行われる。各分割領域に人物が映っているかどうかの判断は、検出部１２０から得られる人物の検出結果を用いる。検出部１２０から得られる人物の検出結果は、例えば人物領域全体を包含する長方形の矩形領域である。そのため、人物の中心を、人物の検出結果から得られる矩形領域の中心と定義し、分割領域の各々に人物中心点が含まれているかどうか判断することで、分割領域中の人物の存在有無を決めることができる。図３に示した例では、人物Ａは領域（１）、人物Ｂと人物Ｃは領域（３）、人物Ｄは領域（６）、人物Ｅと人物Ｆは領域（９）に属していると判断される。人物Ｄや人物Ｅのように、人物領域が一つの分割領域内に入らず、いくつかの分割領域にまたがっている場合には、人物の中心×のある領域をその人物の属する領域とするように判断される。したがって、図３に示す例の場合では、人物の映っている領域数は（１）と（３）と（６）と（９）の４つであると計数される。人物が分割領域内に存在しているかどうかの判断と同様に、分割領域内に含まれている人物領域の中心点を用いて、分割領域内に映っている人物の数を計数する。図３に示す例の場合では、領域（１）と領域（６）には１人、領域（３）と領域（９）には２人、それ以外の領域には０人と計数される。
【００３０】
ステップＳ２０５では、分割領域の各々に人物が存在するかを判定する。人物が存在しないときは、次の分割領域に対し、ステップＳ２０４にて人物の数を計数する。また、人物が存在するときは、ステップＳ２０６に進む。
【００３１】
ステップＳ２０６では、人物の映っている分割領域数（人物領域数）と、分割領域内の人物数（領域毎人数）を用いて加工方法を選択する。
【００３２】
分割領域中の人物数（領域毎人数）を用いて、人物数が０人以上であるか判断する。人物が分割領域中に映っていなければ、人物領域に関して特別な加工処理を行う必要はないので、加工処理は行わずに次の分割領域の処理に進む。人物が分割領域中に映っていれば、人物領域に対して何らかの処理を行う。
【００３３】
ここでは、入力映像１フレーム毎の処理時間を、そこに映る人物数ならびに映った人物の分布によらず同程度になるような方法を選択する。図４（ａ）、図４（ｂ）は、撮影部１１０から入力される撮影映像である。図４（ａ）は入力映像中に映る人物の分布がまとまっている場合を撮影した画面であり、図４（ｂ）は入力映像中に映る人物の分布が分散している場合を撮影した画面である。ここで、それぞれに対する撮影映像の加工に要する処理時間が同程度になるよう撮影映像に映る人物数に応じてアルゴリズムを選択すると、図４（ａ）には１１人、図４（ｂ）には１０人が映っているので、同じアルゴリズムが選択される。もしくは、図４（ａ）の方が軽負荷なアルゴリズムが選択される。しかし、図４（ａ）の方は人物同士の重なりがあるので、実際に処理を施すべき映像領域の大きさは、図４（ａ）の方が図４（ｂ）よりも小さい。すると、それぞれに対する処理時間が同程度にするには、人物の映っている領域の少ない図４（ａ）に対しては高負荷のアルゴリズムを選択し、人物の映っている領域の多い図４（ｂ）に対しては軽負荷のアルゴリズムを選択する。ステップＳ２０６では、選択を分割領域数（人物領域数）と、分割領域内の人物数（領域毎人数）を用いて行う。具体的なアルゴリズム選択方法を、図５および図３を用いて説明する。
【００３４】
以下では、加工領域設定方法が異なるものの中からアルゴリズムを選択する方法について説明する。加工領域設定後の映像変換方法に関しては、指定の色での塗りつぶしや、モザイク加工や体のパーツごとに異なった方法での映像変換などから複数の方法が選ばれうる。これは、加工領域設定方法の選択と同様である。
【００３５】
図５には、映像の加工領域を異なるアルゴリズムを用いて設定する方法を示している。具体的には、人物の検出乃至認識アルゴリズムをベースに加工領域を設定する方法を、処理負荷の軽い順に示している。ここで、加工領域設定方法にかかる処理時間は、映像変換方法にかかる処理時間よりも多いため、２つの方法を含んでいる加工方法の処理時間は加工領域設定方法に依存している。そのため、加工方法の処理負荷の軽い順番と加工領域設定方法の処理負荷が軽い順番は同じになる。図５の上から順に、人物の検出ベース加工方法５００、シルエット検出ベース加工方法５１０、人体パーツ検出ベース加工方法５２０、姿勢認識ベース加工方法５３０、行動認識ベース加工方法５４０となる。
【００３６】
人物の検出ベース加工方法５００は、人物が検出された領域を内包する矩形領域に対し塗りつぶし等の加工処理を行う方法である。シルエット検出ベース加工方法５１０は、人物のシルエットを検出し、そのシルエット内領域に対し加工処理を行う方法である。人体パーツ検出ベース加工方法５２０は、人体の手や足、頭などのパーツを認識し、認識したパーツ領域ごとに加工処理を行う方法である。例えば、人物を監視する上での重要な役割を果たす”手”のようなパーツに塗りつぶしの加工処理を行うと行動を監視することができない。そこで、”手”以外のパーツに対してのみ加工処理を行う。姿勢認識ベース加工方法５３０は人物の姿勢を認識し、認識された姿勢ごとに加工処理を行う方法である。例えば、普通の姿勢と異常な姿勢とを区別し、監視する必要のない普通の姿勢をしているときに塗りつぶしの加工処理を行う。行動認識ベース加工方法５４０は人物の行動を認識し、認識された行動ごとに加工処理を行う方法である。例えば、普通の行動と異常な行動とを区別し、監視する必要のない普通の行動をしているときに塗りつぶしの加工処理を行う。高負荷な加工方法になるほど、単純に人物領域に対して毎回加工処理をするのではなく、加工処理すべき部分だけや、加工処理すべきタイミングだけ、選択的に加工処理をすることができる。
【００３７】
ここで、図３の人物Ａ〜Ｆは、図５に示した加工方法５００〜５４０のいずれかの方法が選択されて加工処理される。加工方法は、処理を施す分割領域内の人物数（領域毎人数）と、各加工方法５００〜５４０の処理時間と、１フレームに費やす処理時間との関係から選択される。例えば、人物の検出ベース加工方法５００の処理時間を１０、シルエット検出ベース加工方法５１０の処理時間を２０とする。また、人体パーツ検出ベース加工方法５２０の処理時間を３０、姿勢認識ベース加工方法５３０の処理時間を４０、行動認識ベース加工方法５４０の処理時間を５０とする。そして、１フレームに用いる処理時間を１００以下とする。人物が１人で映っている分割領域が２つ、人物が２人で映っている分割領域が２つなので、それぞれに同じ割合で処理時間を割り当てるとすると、１つの分割領域に用いる処理時間は１００／４＝２５となる。よって、１人で映っている領域（１）の人物Ａと領域（６）の人物Ｄの加工方法は処理時間が２５以下の加工方法であるシルエット検出ベース加工方法５１０となる。また、２人で映っている領域（３）の人物Ｂと人物Ｃ、領域（９）の人物Ｅと人物Ｆの加工方法は処理時間が２５／２＝１２．５以下の加工方法である、人物の検出ベース加工方法５００となる。例えば、処理時間に合わせてモザイクの精度を変えてもよい。
【００３８】
以上のように、加工方法の選択が、人物の映っている分割領域に対して行われると、ステップＳ２０７に進む。
【００３９】
ステップＳ２０７では、ステップＳ２０６から受け取る領域毎加工方法を用いて、各人物領域と加工方法の対応付けを行う。
【００４０】
以上の処理により、撮影映像中の映像領域あたりの人物数が多い場合には軽負荷の加工方法を用いて、撮影映像中の映像領域あたりの人物数が少ない場合には高負荷の加工方法を用いて、人物映像を加工することができる。
【００４１】
〔第２の実施形態〕
図６は第２の実施形態の映像加工処理装置６００を実現させる機能構成図である。図６で示した機能を構成する各処理部についての概要説明を以下に記述する。
【００４２】
第２の実施形態では、ある一定の範囲内に複数人でまとまって存在している人と、それとは対照的に、ある一定の範囲内に人が存在せず、一人で行動している人の加工方法を変えて処理する。例えば、群れで存在している人は、互いに相手の目の届くところにいるため、詳細に監視する必要は低いとする。一方、一人でいる人は、不審な行動をとっても他人の目の届かないところにいるため、監視すべきとする。これにより、群れで存在している人には、簡易な加工方法を、一人で行動している人には、時間がかかっても詳細に把握できる加工方法を選択する。
【００４３】
図６に示すように、映像加工処理装置６００は、撮影部１１０、検出部１２０、計数部１４０、選択部１５０、加工部１６０と、分類部６１０からなる。
【００４４】
分類部６１０は、検出部１２０から受け取る人物領域の中から一人の人物（特定人物）を特定する。特定人物に関しては、入力映像中の人物であれば誰でも良いとするが、特定される時点において、まだ人物領域の加工処理がされていない人物とする。なお、特定人物は、人物の検出で用いられたパーツや行動などの認識内容を用いてもよい。
【００４５】
特定人物からその人物の周辺領域を設定する。周辺領域の設定方法は、特定人物を中心とした、円領域や矩形領域などの任意の分割領域で良いとする。第２の実施形態では、周辺領域を特定人物の中心位置を中心とした所定の半径ｒの距離の円領域内に設定する。
【００４６】
周辺領域から、特定人物の周辺領域にいる人物を探索して、特定人物と同じグループに分類をする。周辺領域内にいる人物の探索時には、検出部１２０から得られた人物領域の中心点を用いる。周辺領域内に特定人物以外の人物領域の中心点があれば、その人物を特定人物と同じグループに分類する。そして、特定人物とその周辺人物の人物の分類結果を選択部６４０に出力する。また、特定人物以外であって、その周辺人物以外の人物の分類結果を選択部６４０に出力してもよい。
【００４７】
選択部１５０は、分類部６１０から受け取る人物の分類結果から、分類された人物領域毎に加工方法の選択をする。グループ毎加工方法とは、分類部６１０により分類されたグループ毎に選択された、そのグループの人物領域の加工方法である。
【００４８】
図７に示したフローチャートを用いて、第２の実施形態の映像加工処理装置６００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、第２の実施形態の装置内にあるＲＡＭやＲＯＭなどのメモリ９０２内に格納され、ＣＰＵ９０１などにより読み出され、実行される。
【００４９】
ステップＳ７０１では、第１の実施形態のステップＳ２０１と同様に撮影を行い、人物領域の検出を行う。
【００５０】
ステップＳ７０２では、検出部１２０から受け取った人物領域の中から任意に一人の人物領域の特定を行う。初回の人物領域の特定は任意に行うことができるが、２回目以降の人物領域の特定には、未分類であり、かつ加工処理が施されてない人物領域中から選択する。
【００５１】
ステップＳ７０３では、周辺領域が四角形なのか円形なのか、どんな図形をした領域であるかや、領域の大きさの定義を行う。第２の実施形態では、周辺領域を、所定の半径ｒの距離の円領域とする。特定人物を用いて、特定人物の人物領域の中心点を中心とした所定の半径ｒの距離の円領域を周辺領域と定義する。
【００５２】
ステップＳ７０４では、周辺領域から、特定人物の周辺領域にいる人物を探索して、特定人物と同じグループに分類をする。周辺領域内にいる人物の探索時には、検出部１２０から得られた人物領域の中心点を用いる。周辺領域内に特定人物以外の人物領域の中心点があれば、その人物を特定人物と同じグループに分類する。そして、特定人物とその周辺人物の人物の分類結果を選択部６４０に出力する。また、特定人物以外であって、その周辺人物以外の人物の分類結果を選択部６４０に出力してもよい。
【００５３】
ステップＳ７０５では、任意の特定人物の周辺領域内に存在する人物の計数を行う。分類された周辺人物の人数を計数し、ステップＳ７０６に進む。
【００５４】
ステップＳ７０６では、周辺人物数が０人以上であるか判断する。周辺人物数が一人以上存在する場合と、周辺人物が一人も存在しない場合とでは処理内容が異なる。具体的には、周辺人物数が一人以上存在する場合には、ステップＳ７０７とステップＳ７０８へ進む。一人も存在しない場合には、ステップＳ７０９とステップＳ７１０に進む。
【００５５】
ステップＳ７０７では、分類部６１０において、ステップＳ７０５により計数された周辺人物と、ステップＳ７０２により特定された特定人物を、同じグループとして分類を行う。
【００５６】
具体的な分類例を、図８を用いて説明する。図８には、入力映像３００と、第１の実施形態と同様の、撮影された人物Ａ〜Ｆ、人物領域の中心×と、第２の実施形態から追記されたグループα〜γを示す。入力映像３００に映っている人物は全て、３つのグループα〜γに属している。以下では、人物Ａ〜Ｆのグループ分け手法について説明する。
【００５７】
入力映像３００の人物の中から１人を特定する。第２の実施形態では、人物Ａを特定人物として設定する。そして、人物Ａの周辺領域として所定の半径ｒの距離の円領域を定義し、周辺領域内にいる人物を人物Ａと同じグループαに分類する。入力映像３００では、人物Ａの周辺領域には人がいないので、グループαに属する人物は人物Ａのみである。
【００５８】
次に、入力映像３００で未分類の人物群（人物Ｂ〜Ｆ）から、人物Ｂを特定人物として設定し、人物Ｂの周辺領域にいる人をグループβに分類する。その結果、グループβに分類される人物は、人物Ｂと人物Ｃと人物Ｄとなる。また、同様に、人物Ｅを特定人物としてグループγの分類をすると、グループγに分類される人物は人物Ｅと人物Ｆとなる。
【００５９】
以上より、入力映像３００中の人物は３つのグループに分割され、各グループに属する人物は以下のようになる。
【００６０】
グループα：人物Ａ
グループβ：人物Ｂ 人物Ｃ 人物Ｄ
グループγ：人物Ｅ 人物Ｆ
ステップＳ７０８では、加工部１６０において、選択部１５０にて設定された人物領域毎加工方法を用いて、周辺人物の加工処理を行う。
例えば、群れで存在している人は、互いに相手の目の届くところにいるため、詳細に監視する必要は低いとする。一方、一人でいる人は、不審な行動をとっても他人の目の届かないところにいるため、監視すべきとする。このような監視する必要性に応じて加工処理を行う。例えば、簡易な方法で加工するとき人物の存在する領域を内包する矩形領域に対し加工処理を行ってもよい。
【００６１】
ステップＳ７０９では、ステップＳ７０２において特定された特定人物について、検出部１２０において行った検出より、さらに詳細な認識を行う。ここでは、ステップＳ７１０の処理時に必要な情報の認識を行う。例えば、人物認識、服装認識、姿勢認識、動作認識などを行う。もしくは、誰であるか、どんな人であるか（男性か女性か、何歳くらいか、など）、などを認識する。さらには、どんな服装であるか、どんな姿勢であるか、どんな動作をしているか、どんな行動をしているか、何を持っているか、等を認識する。
【００６２】
ステップＳ７１０では、加工部１６０において、選択部１５０にて設定された人物領域毎加工方法を用いて、ステップＳ７０２により特定された特定人物の加工処理を行う。ここでは、周辺人物が一人もいなく、単独で存在している人物に関する加工方法は、処理開始前に決定する。例えば、ステップＳ７０９から特定人物のシルエット情報が得られるのであれば、それを用いて、その人物のシルエット領域内に加工処理を行う。ステップＳ７０９から何らかの認識結果などが得られるのであれば、それらを用いて加工処理すべき領域やタイミングを判断した上で、選択的・部分的に人物が映る映像領域に加工処理を行っても良い。
【００６３】
ステップＳ７１１では、ステップＳ７０８とステップＳ７１０の処理が終わる度に、撮影映像中に人物領域が未処理の人物がいないか判断する。撮影映像中の全ての人物領域について加工処理が終了していなければ、再度、ステップＳ７０２に戻り、処理を継続するが、未加工人物がいなければ、処理を終了する。
【００６４】
以上の処理により、群れで存在している人に対しては簡易的に加工処理を選択し、一人で行動している人に対しては撮影映像から様子が分かる加工処理を選択することができる。
【００６５】
〔その他の実施形態〕
図９は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク９０７又は各種のコンピュータ読み取り可能な記憶媒体９０２、９０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ９０１（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【産業上利用可能性】
【００６６】
本発明は、例えば、監視カメラに利用することができる。
【特許請求の範囲】
【請求項１】
検出手段が、撮影された撮影映像から人物を検出する検出工程と、
分割手段が、前記撮影映像を複数の分割領域に分割する分割工程と、
計数手段が、前記分割領域の各々で前記検出した人物の人物数を計数する計数工程と、
選択手段が、前記分割領域の各々で計数された人物数に基づいて、前記分割領域のうち人物が存在する人物領域の各々に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択工程と、
加工手段が、前記撮影映像の前記人物領域ごとに、当該人物領域に対して選択された加工処理を施す加工工程と、
を有することを特徴とする映像加工処理方法。
【請求項２】
前記分割工程では、
前記撮影映像を縦方向若しくは横方向に等分に分割することを特徴とする請求項１に記載の映像加工処理方法。
【請求項３】
検出手段が、撮影された撮影映像から人物を検出する検出工程と、
分類手段が、前記撮影映像で前記検出された人物の一人と、当該一人から所定の範囲にある人物を同じグループに分類する分類工程と、
計数手段が、前記グループに分類された人物数を計数する計数工程と、
選択手段が、前記分類されたグループで計数された人物数に基づいて、当該グループに分類された人物が存在する人物領域に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択工程と、
加工手段が、前記撮影映像の前記人物領域に選択された加工処理を施す加工工程と、
を有することを特徴とする映像加工処理方法。
【請求項４】
前記分類工程では、
特定手段が、前記検出された人物の中から分類されていない一人を特定する特定工程と、
定義手段が、前記撮影映像に前記特定された人物を中心とした領域を定義する定義工程と、
探索手段が、前記定義された領域の中に存在する人物を探索し、前記領域内で探索された人物を、前記特定された人物と同じグループに分類する探索工程と、
を有し、
前記特定工程、及び、前記定義工程、及び前記探索工程を繰り返すことを特徴とする請求項３に記載の映像加工処理方法。
【請求項５】
前記選択工程では、
前記グループに存在する人物の数に応じて、前記加工処理を選択することを特徴とする請求項３又は請求項４に記載の映像加工処理方法。
【請求項６】
前記選択工程では、
処理負荷の異なる複数の前記加工処理のひとつを選択することを特徴とした請求項１乃至請求項５の何れか１項に記載の映像加工処理方法。
【請求項７】
撮影手段が、撮影映像を撮影する撮影工程を更に有することを特徴とする請求項１乃至請求項６の何れか１項に記載の映像加工処理方法。
【請求項８】
請求項１乃至請求項７の何れか１項に記載の映像加工処理方法をコンピュータで実行することを特徴とするプログラム。
【請求項９】
撮影された撮影映像から人物を検出する検出手段と、
前記撮影映像を複数の分割領域に分割する分割手段と、
前記分割領域の各々で前記検出した人物の人物数を計数する計数手段と、
前記分割領域の各々で計数された人物数に基づいて、前記分割領域のうち人物が存在する人物領域の各々に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択手段と、
前記撮影映像の前記人物領域ごとに、当該人物領域に選択された加工処理を施す加工手段と、
を備えることを特徴とする映像加工処理装置。
【請求項１０】
撮影された撮影映像から人物を検出する検出手段と、
前記撮影映像で前記検出された人物の一人と、当該一人から所定の範囲にある人物を同じグループに分類する分類手段と、
前記グループに分類された人物数を計数する計数手段と、
前記分類されたグループで計数された人物数に基づいて、当該グループに分類された人物が存在する人物領域に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択手段と、
前記撮影映像の前記人物領域に選択された加工処理を施す加工手段と、
を備えることを特徴とする映像加工処理装置。
【請求項１】
検出手段が、撮影された撮影映像から人物を検出する検出工程と、
分割手段が、前記撮影映像を複数の分割領域に分割する分割工程と、
計数手段が、前記分割領域の各々で前記検出した人物の人物数を計数する計数工程と、
選択手段が、前記分割領域の各々で計数された人物数に基づいて、前記分割領域のうち人物が存在する人物領域の各々に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択工程と、
加工手段が、前記撮影映像の前記人物領域ごとに、当該人物領域に対して選択された加工処理を施す加工工程と、
を有することを特徴とする映像加工処理方法。
【請求項２】
前記分割工程では、
前記撮影映像を縦方向若しくは横方向に等分に分割することを特徴とする請求項１に記載の映像加工処理方法。
【請求項３】
検出手段が、撮影された撮影映像から人物を検出する検出工程と、
分類手段が、前記撮影映像で前記検出された人物の一人と、当該一人から所定の範囲にある人物を同じグループに分類する分類工程と、
計数手段が、前記グループに分類された人物数を計数する計数工程と、
選択手段が、前記分類されたグループで計数された人物数に基づいて、当該グループに分類された人物が存在する人物領域に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択工程と、
加工手段が、前記撮影映像の前記人物領域に選択された加工処理を施す加工工程と、
を有することを特徴とする映像加工処理方法。
【請求項４】
前記分類工程では、
特定手段が、前記検出された人物の中から分類されていない一人を特定する特定工程と、
定義手段が、前記撮影映像に前記特定された人物を中心とした領域を定義する定義工程と、
探索手段が、前記定義された領域の中に存在する人物を探索し、前記領域内で探索された人物を、前記特定された人物と同じグループに分類する探索工程と、
を有し、
前記特定工程、及び、前記定義工程、及び前記探索工程を繰り返すことを特徴とする請求項３に記載の映像加工処理方法。
【請求項５】
前記選択工程では、
前記グループに存在する人物の数に応じて、前記加工処理を選択することを特徴とする請求項３又は請求項４に記載の映像加工処理方法。
【請求項６】
前記選択工程では、
処理負荷の異なる複数の前記加工処理のひとつを選択することを特徴とした請求項１乃至請求項５の何れか１項に記載の映像加工処理方法。
【請求項７】
撮影手段が、撮影映像を撮影する撮影工程を更に有することを特徴とする請求項１乃至請求項６の何れか１項に記載の映像加工処理方法。
【請求項８】
請求項１乃至請求項７の何れか１項に記載の映像加工処理方法をコンピュータで実行することを特徴とするプログラム。
【請求項９】
撮影された撮影映像から人物を検出する検出手段と、
前記撮影映像を複数の分割領域に分割する分割手段と、
前記分割領域の各々で前記検出した人物の人物数を計数する計数手段と、
前記分割領域の各々で計数された人物数に基づいて、前記分割領域のうち人物が存在する人物領域の各々に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択手段と、
前記撮影映像の前記人物領域ごとに、当該人物領域に選択された加工処理を施す加工手段と、
を備えることを特徴とする映像加工処理装置。
【請求項１０】
撮影された撮影映像から人物を検出する検出手段と、
前記撮影映像で前記検出された人物の一人と、当該一人から所定の範囲にある人物を同じグループに分類する分類手段と、
前記グループに分類された人物数を計数する計数手段と、
前記分類されたグループで計数された人物数に基づいて、当該グループに分類された人物が存在する人物領域に、前記撮影映像を加工する複数の加工処理のうち１つを選択する選択手段と、
前記撮影映像の前記人物領域に選択された加工処理を施す加工手段と、
を備えることを特徴とする映像加工処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１２８８１６（Ｐ２０１１−１２８８１６Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８５７６１（Ｐ２００９−２８５７６１）
【出願日】平成２１年１２月１６日（２００９．１２．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１６日（２００９．１２．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]