画像処理装置、画像処理方法、画像処理プログラム
【課題】マスク処理が必要な被写体がフレームインしてくる場合など、マスク対象かどうかの判定までに時間を要するような場合であってもマスク対象が映っている領域にマスクを掛けることができる画像処理装置を提供する。
【解決手段】マスク候補切出部２２２は、復号化された画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出す。類似判定部２３４は、最新の前記マスク候補領域がマスク対象に類似している場合にはそのマスク候補をマスク対象として確定させる。マスク補充部２６０は、まず、前記類似判定部２３４による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して移動軌跡を得る。続いてこの移動軌跡を時間的に前に外挿し、マスク対象が検出される前の動きを推定する。そして、この外挿で得られた領域に掛かる補充マスクを作成する。
【解決手段】マスク候補切出部２２２は、復号化された画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出す。類似判定部２３４は、最新の前記マスク候補領域がマスク対象に類似している場合にはそのマスク候補をマスク対象として確定させる。マスク補充部２６０は、まず、前記類似判定部２３４による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して移動軌跡を得る。続いてこの移動軌跡を時間的に前に外挿し、マスク対象が検出される前の動きを推定する。そして、この外挿で得られた領域に掛かる補充マスクを作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。本発明は、例えば、特定人物の顔などプライバシー保護に係るものが映っている画像領域に自動的にマスク処理を施すための画像処理装置等に関する。
【背景技術】
【０００２】
近年、個人が撮影した動画像を各個人のパソコン端末や携帯端末からインターネットを介して簡単に公開できるようになってきた。しかし、動画像には、人物や、車両、撮像された地域を示す地名や住所など、個人を特定できる情報が含まれていることがある。そのような情報が含まれる動画像がそのまま公開されてしまうことは、プライバシー保護の観点から望ましくない。
【０００３】
そこで、動画像中の特定人物やナンバープレートに対して自動的にモザイクを施す処理を行う方法が提案されている（例えば、特許文献１、特許文献２）。
特許文献１および特許文献２に開示される方法では、まず、モザイクを施す処理が必要になる人物の顔情報を参照情報として予め用意しておく。
そして、参照情報と画像中の顔とが一致した場合には、その顔部分にモザイクを施す処理を行う。
【０００４】
この方法であれば、確かに特定人物の顔にモザイクを施す処理を行うことができるものの、画像中の顔が参照情報に一致する前の画像にはモザイクを施せないことになる。例えば、モザイクを施す処理の対象となる人物がゆっくりと画面内にスライドインしてきた場合、その顔が画面内に完全に収まってはじめてモザイクを施す処理が開始されるので、それまではスライドイン途中の顔が一部ではあるものの画面に曝されることとなってしまう。
【０００５】
上記問題に対し、特許文献３（特開２０１０−２３３１３３号公報）では次の方法を提案している。特許文献３では、ビデオバッファを用意しておき、動画像を数フレーム遡れるように前記ビデオバッファに一時的に溜めておく。
そして、モザイクを施す対象、つまりマスク対象が検出された場合には、ビデオバッファ内にあるフレームを順番に遡ってマスク対象に関連する部分が無いかを改めて検索する。これにより、マスク対象が完全に画面内に入る前であってもマスク対象が部分的に映っている領域にマスクを掛ける、つまりモザイクを施すことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−０８６４０７号公報
【特許文献２】特開２００４−０６２５６０号公報
【特許文献３】特開２０１０−２３３１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ビデオバッファの容量にも限界がある。３０フレーム／秒の動画像であるとして、長くても１０秒分ぐらいを溜めておけるのが最大限である（特許文献３の段落００５６）。従って、カメラを横にゆっくり振りながら撮影したり、あるいは、固定カメラの前を人がゆっくりと通り過ぎるような場合、マスク処理が必要な人物が画面内にスライドインしてくる時間がビデオバッファの容量よりも長くなるという事態が起こりえる。すると、ビデオバッファによる保持時間を超えてビデオバッファから吐き出されてしまったフレームについては、マスク処理が不十分なままで公開されてしまうことになる。
【０００８】
なお、単純にビデオバッファの容量を大きくすることが考えられるが、どれほど容量を大きくしても動画像を一時的にバッファできる容量（時間）には限界がある。また、マスク対象を一旦検出したあとで、再び最初のフレームから検索し直してマスク対象に関連する部分をピックアップするという方法も考えられるが、時間と手間が掛かり過ぎる。
【０００９】
そこで、本発明の目的は、マスク処理が必要な被写体がフレームインしてくる場合など、マスク対象かどうかの判定までに時間を要するような場合であっても、それまでの間にマスク対象が映っている領域に確実にマスクを掛けることができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
そこで、本発明は、
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置（１００）であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部（２２２）と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部（２３３）と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部（２３４）と、
前記類似判定部（２３４）による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充部（２６０）と、
前記類似判定部（２３４）による判定によってマスク対象に確定した領域に加えて前記マスク補充部（２６０）で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部（２４０）と、を備える
ことを特徴とする画像処理装置を提供する。
【００１１】
上記画像処理装置（１００）において、
前記マスク補充部（２６０）は、
前記類似判定部（２３４）による判定によってマスク対象に確定した領域の座標情報を順次取得する座標情報取得部（２６１）と、
前記座標情報取得部（２６１）にて取得された座標情報を保持する補外用データ保持部（２６２）と、
前記補外用データ保持部（２６２）に保持されたデータを時間的に前に外挿してマスク対象が検出される前の動きを推測する動き補外部（２６３）と、
前記動き補外部（２６３）による外挿によって得られた動きに掛かるように移動するマスクを作成する移動マスク作成部（２６４）と、を備える
ようにしても良い。
【００１２】
また、上記画像処理装置において、
前記類似判定部（２３４）による判定よってマスク対象に確定した領域と、画像フレーム枠と、の距離が所定閾値以下であるか否かを判定する位置判定部（２５０）をさらに備え、
前記距離が所定閾値以下の場合に、前記位置判定部（２５０）は前記マスク補充部（２６０）を起動させる
ようにしても良い。
【００１３】
また、上記画像処理装置において、
前記類似判定部（２３４）による判定よってマスク対象に確定した領域が画像フレームの中心方向に移動しているか否かを判定する位置判定部（２５０）をさらに備え、
前記マスク対象に確定した領域が画像フレームの中心方向に移動している場合に、前記位置判定部（２５０）は前記マスク補充部（２６０）を起動させる
ようにしても良い。
【００１４】
さらに、本発明は、
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程（ＳＴ１０３、ＳＴ１０４）と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出工程（ＳＴ１０６）と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定工程（ＳＴ１０７）と、
前記類似判定工程（ＳＴ１０７）による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し（ＳＴ１２３）、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充工程（ＳＴ１２４）と、
前記類似判定工程（ＳＴ１０７）による判定によってマスク対象に確定した領域に加えて前記マスク補充工程（ＳＴ１２４）で作成された前記補充マスクの領域に対してマスクを付加するマスク付与工程（ＳＴ１２５）と、を備える
ことを特徴とする画像処理方法を提供する。
【００１５】
さらに、本発明は
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置に組み込んだコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部（２２２）と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部（２３３）と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部（２３４）と、
前記類似判定部（２３４）による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充部（２６０）と、
前記類似判定部（２３４）による判定によってマスク対象に確定した領域に加えて前記マスク補充部２６０で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部（２４０）と、して機能させる
ことを特徴とする画像処理プログラムを提供する。
【図面の簡単な説明】
【００１６】
【図１】本発明が想定する動画像データ記録再生システムの一例を示す図。
【図２】動画を撮影している様子を示す図。
【図３】撮影された動画の例を示す図。
【図４】第１実施形態において、マスク処理部の機能ブロック図。
【図５】第１実施形態において、閾値以上の類似度を有するマスク対象領域を検出した状態を模式的に示す図。
【図６】第１実施形態において、補外用データ保持部に保持する座標情報の例を示す図。
【図７】第１実施形態において、検出されたマスク対象領域の移動軌跡を示す図。
【図８】第１実施形態において、マスク対象の移動軌跡を時間的に前の方に外挿したグラフ例を示す図。
【図９】第１実施形態において、移動マスクの例を示す図。
【図１０】第１実施形態において、動画撮影（ＳＴ１０）からマスク付加されたデータの出力（ＳＴ６０）までの動作手順を示すフローチャート。
【図１１】第１実施形態において、マスク処理用メタファイルの作成工程を示すフローチャート。
【図１２】第１実施形態において、マスク候補を切り出す様子を示す図。
【図１３】第１実施形態において、移動マスクを作成する工程を示すフローチャート。
【図１４】第１実施形態において、マスクを付加した動画の例を示す図。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態について説明する。
（第１実施形態）
図１は、本発明が想定する動画像データ記録再生システム９００の一例である。
各個人はおのおの好きな被写体をビデオカメラ１００で撮像する。例えば、戸外に出て街の様子を撮影したり、家族が公園で遊んでいる光景を撮影したりしてもよい。このようにして撮影された動画像データはビデオカメラ１００に内蔵された動画メモリ１２０に蓄積されていく。
【００１８】
撮影者は家に帰ると、ビデオカメラ１００をパソコン９１０に接続し、撮影した動画像データをパソコン９１０経由でインターネット９２０上のサーバ９３０に送る。すると、このサーバ９３０に動画像データが保存され、第三者もインターネット９２０を利用して動画像を見られるようになる。
【００１９】
しかし、このようにして撮影された動画像には公開しては不都合な画像も含まれていることがある。例えば、家族の顔や、意図せずに映り込んでしまった通行人の顔、個人を特定する情報、例えば、氏名、電話番号、車のナンバープレートなどが映り込んでいる可能性がある。
これらの個人情報に関連する画像をそのままインターネット上に公開してしまうとプライバシー保護の観点からみて問題が生じる恐れがある。従って、プラバシーに関わる画像部分にはマスク処理を施すことが必要になる。
【００２０】
ここで、以下の説明に用いる動画の例として、図２のように特定人物ＣＡの様子を撮影したとする。このとき撮影者Ｐは、ビデオカメラ１００を右から左にゆっくりと向きを変えるように動かし、人物ＣＡがフレームのなかにゆっくりとフレームインするように撮影するとする。すると、例えば、図３のように、フレームの左から人物ＣＡが徐々にフレームインしてくる動画が撮影されるであろう。ここで、上述の従来技術によれば、フレームＦ４０のように顔の８０％程度がフレーム内に映っていれば、これをマスク対象であると判定することができる。従って、フレームＦ４０以降のフレームＦ５０やフレームＦ６０には人物ＣＡの顔にマスクを掛けられる。しかし、フレームＦ４０に至るまでは、人物ＣＡの顔が映っているにも関わらず、顔の一部しか映っていないのでマスク対象であるとまでは確定できず、このままではマスクが掛からず顔が公開されてしまうことになる。そこで、本実施形態では、マスク対象であると確定する前のフレームに対してもマスクを掛けるようにする。
【００２１】
（第１実施形態の構成）
第１実施形態の構成を説明する。
図４は、マスク処理部２００の機能ブロック図であり、あわせて、ビデオカメラ１００の主要要素を示す。本実施形態ではマスク処理部２００がビデオカメラ１００に内蔵されている場合を想定しているが、パソコン９１０の一機能としてマスク処理部が設けられてもよい。ビデオカメラ１００の撮像部１１０で撮像された動画データは、一旦動画メモリ１２０に蓄積される。ここで、ビデオカメラ１００の撮像部１１０は、レンズユニットやＣＣＤ（光電変換素子）回路、所定のロジック回路で構成され、被写体を撮影した動画（映像）信号から動画データ（フレーム）を生成する。動画データには輝度データや色データが含まれる。動画メモリ１２０としては、例えば、フラッシュメモリが利用できる。
【００２２】
マスク処理部２００は、データ入力部２１０と、マスク候補取得部２２０と、マスク対象決定部２３０と、マスクフラグ付与部２４０と、位置判定部２５０と、マスク補充部２６０と、メタファイル作成部２７０と、マスク付加部２８０と、データ出力部２９０と、を備える。
【００２３】
データ入力部２１０は、動画メモリ１２０に蓄積された動画データを読み込んで後段に出力する。データ入力部２１０は、復号化部２１１を有し、動画データを復号化した画像フレームを出力する。
【００２４】
ここで、動画を視聴することを目的とせずにマスク処理だけを目的とする場合、すべての画像フレームが必要になるわけではない。従って、Ｉピクチャや、Ｐピクチャ、Ｂピクチャなどがあるなかで、処理の目的に応じたフレームだけがデータ入力部２１０から後段回路に提供されるようにしてもよい。例えば、マスク処理にはＩピクチャとＰピクチャとだけを使用するようにしてもよい。もちろん、すべてのフレームを使用してマスク処理を行ってもよい。
【００２５】
マスク候補取得部２２０は、プラバシーマスクを必要とする可能性がある画像領域だけを切り出す。たとえば、特定人物であるＡさんの顔にマスクを掛ける必要がある場合、肌色が所定面積以上である領域は人の顔の可能性があるので、このような領域をマスク候補として切り出す。
【００２６】
マスク候補取得部２２０は、切出参照リスト格納部２２１と、マスク候補切出部２２２と、を備える。
【００２７】
切出参照リスト格納部２２１は、マスク候補として切出し対象になる領域を検出するための切出参照リストを格納している。切出参照リストは、プリセットされていてもよく、マスク対象の特徴から自動的に生成されるようにしてもよく、あるいは、ユーザが設定入力してもよい。切出参照リストとしては、所定面積以上の肌色領域や、文字および数字のリストデータなどがあげられる。
【００２８】
文字および数字のリストデータを切出参照リストとして持つ意味を補足しておく。
プライバシーに関するものとしては、顔の他にも、氏名、団体名（会社名や学校名）、住所表示、電話番号、車のナンバーなどがある。したがって、０９０−ＸＸＸＸ−ＸＸＸＸといった電話番号にはプライバシーマスクを掛ける必要がある。そこで、画像フレーム中に"０"といった数字や後述するように何らかの文字が現れれば、それらをマスク対象の候補として切り出しておく必要がある。そして、最終的に、"０９０−"のように数字が並べばこの数字列にマスク処理を施すことになるし、単に"０"だけ、もしくは"０"のように見える模様であった場合にはマスク処理は必要ないことになる。
【００２９】
もう一例あげると、最終的に"横浜"や"横浜市ＸＸＸ区"、"横Ｘ学園ＸＸ学校"といったように文字が並べばこれらにマスク処理を施すことになるし、単に、"横"という字が一文字だけであれば、プライバシーに何ら関係がないので、マスク処理は必要ないことになる。
文字としては、外国語にも対応できるように、アルファベットや、ハングル、中国語の略字も切出参照リストに加えておくとよい。
【００３０】
マスク候補切出部２２２は、データ入力部２１０から順次入力される画像フレームを検索し、切出参照リスト格納部２２１に格納された切出参照リストに合致するものがあるか否かを探す。そして、切出参照リストに合致するものが画像フレーム中に存在している場合、その領域部分を切り出してマスク候補領域として切り出し、後段回路に出力する。
このとき、切り出されたマスク候補領域は、もとのフレームに関連付けられる情報を保持するものとする。フレームに関連付けられる情報とは、例えば、切出し元のフレーム番号およびそのフレーム内での座標である。
【００３１】
次に、マスク対象決定部２３０は、マスク候補取得部２２０で取得されたマスク候補の領域に対し、真にマスク対象であるか否かを検証する。
マスク対象決定部２３０は、特徴量算出部２３１と、マスク対象参照リスト格納部２３２と、類似度算出部２３３と、類似判定部２３４と、を備える。
【００３２】
特徴量算出部２３１は、マスク候補切出部２２２で切り出された最新のマスク候補に対して特徴量を算出する。特徴量とは、対象画像の特徴を表わす各種指標値の組み合わせであり、対象画像の特徴点を表わす指標値や、特徴点同士の距離関係を表わす指標値、特徴部分の大きさを表わす指標値、対象画像の輪郭を表わす指標値、輝度を表わす指標値、色を表わす指標値、などからなる。
特徴量算出部２３１は、算出した特徴量を類似度算出部２３３に送る。
【００３３】
マスク対象参照リスト格納部２３２は、マスク対象になる領域を検出するための参照情報を格納している。マスク対象参照リスト格納部２３２に格納されている参照情報としては、プライバシーマスクが必要な特定人物の顔（Ａさんの顔、Ｂさんの顔・・・）、電話番号や車両番号であることを特定するための数字列、氏名・団体名（会社名や学校名）・住所表示であることを特定するための文字列、などが挙げられる。これらの参照情報がそれぞれの特徴量とセットになって格納されている。
【００３４】
類似度算出部２３３は、特徴量算出部２３１で算出された特徴量をマスク対象参照リスト格納部２３２に格納された特徴量と比較し、類似度を算出する。類似度の算出にあたっては、マスク候補の指標値とマスク対象参照リストの指標値とで互いに対応するもの同士をつきあわせ、両者の類似度合いを総合的に評価して類似度を求める。なお、マスク候補が肌色領域であって人の顔である可能性がある場合に、これを電話番号の特徴量と対比して類似度を算出しても意味のないことなのであり、マスク候補が肌色領域である場合に突き合わされる参照情報は特定人物の顔である。
類似度の算出に当たって適切な参照情報を選ばせる方法は各種考えられるが、例えば、色や輝度で判断してもよく、あるいは、総ての参照情報と突き合わせた上で最も類似度が高くなるものを選んでもよい。
【００３５】
類似判定部２３４は、類似度算出部２３３で算出された類似度を所定の閾値と比較する。そして、類似度が閾値を超えている場合、そのマスク候補領域がマスク対象領域であることが確定する。類似度が閾値を超えた場合には、その旨をマスクフラグ付与部２４０と位置判定部２５０とに通知する。
【００３６】
マスクフラグ付与部２４０は、マスク対象領域にマスクフラグを設定する。マスク対象領域にマスクフラグを設定するにあっては、類似判定部２３４による判定によってマスク対象であることが確定したマスク対象の領域にマスクフラグを付与することはもちろんである。
図５に示すように、フレームＦ４０、フレームＦ５０、フレームＦ６０等では類似度が閾値以上になる程度に顔が映っているので、マスクフラグ付与部２４０によってこれらの顔が映っている領域にはマスクフラグが付与される。ここで、マスク対象（被写体）がフレームインし始めてからマスク対象であると確定するまでの間の映像（フレームＦ１０からフレーム３０）にもマスクを掛ける必要があるところ、これは後述の位置判定部２５０およびマスク補充部２６０によって達成される。
【００３７】
位置判定部２５０は、確定したマスク対象領域の位置と画像フレームのフレーム枠との位置関係を調べる。具体的には、マスク対象領域とフレーム枠との距離が所定閾値以下であるか否かを判定する。マスク対象領域とフレーム枠との距離が所定閾値以下である場合、位置判定部２５０は、マスク対象を検出できたフレーム（フレームＦ４０）よりも前のフレーム（フレームＦ１０からフレーム３０）に対して補充的なマスクを作成させるため、マスク補充部２６０を起動させる。そして、マスク補充部２６０を起動させた後は、類似判定部２３４経由で取得するマスク対象領域の座標情報をマスク補充部２６０に出力する。
【００３８】
ここで、マスク対象領域とフレーム枠との距離が所定閾値以下である場合、このマスク対象はフレームの端から徐々にフレームインしてきたものであると考えられる。例えば、図５を参照すると、フレームＦ４０においてはマスク対象領域がフレーム枠に極めて近い。この場合、フレームＦ４０の以前のフレーム（フレームＦ１０からフレームＦ３０）ではマスク対象（被写体）が十分にフレームに収まっていなかったためにマスク対象であると認識されていない恐れがある。
なお、マスク対象領域の位置という場合、マスク対象領域の中心座標Ｃｃを用いてもよく、あるいは、マスク対象領域が四角形であれば四角形の四隅のいずれを用いてもよい。マスク対象領域の位置の取り方に合わせて所定閾値の値や判定方法を適切に調整すればよい。
【００３９】
次に、マスク補充部２６０について説明する。
マスク補充部２６０は、マスク対象領域の移動軌跡に基づいて、マスク対象が検出される以前のフレームに掛けるマスクを作成する。
マスク補充部２６０は、座標情報取得部２６１と、補外用データ保持部２６２と、動き補外部２６３と、移動マスク作成部２６４と、を備える。
【００４０】
座標情報取得部２６１は、類似判定部２３４および位置判定部２５０経由で取得するマスク対象領域の座標情報を抜き出し、補外用データ保持部２６２に格納させる。ここで、座標情報とは、マスク対象領域の座標値、マスク対象領域の大きさ（サイズ）、および、マスク対象領域が属するフレームのタイムスタンプ、であり、これらをセットにして補外用データ保持部に保持させる。補外用データ保持部２６２は、一時メモリであり、図６のように、マスク対象領域の座標値、サイズ、そのタイムおよびフレーム番号を合わせて保持する。
【００４１】
動き補外部２６３は、補外用データ保持部２６２に保持された座標情報に基づいて、マスク対象が検出される前の動きを補外法によって推測する。
例えば、図６のように補外用データ保持部２６２に保持されたデータをグラフにプロットすると図７のようにフレームＦ４０以降におけるマスク対象領域の移動軌跡が求められる。ここでは、分かり易くするため、ｘ座標の変化のみを表わしているが、ｙ座標および領域サイズについても時間の関数として同じようにプロットできる。そして、フレームＦ４０よりも時間的に前のフレーム内でのマスク対象の移動軌跡を補外法で推測するため、図７のグラフを時間的に前に延長する。すると、図８のように、フレームＦ４０よりも時間的に前のフレームにおけるマスク対象の推定軌跡が得られる。
【００４２】
移動マスク作成部２６４は、動き補外部２６３において図８のように得られた推定軌跡に対し、この軌跡に沿って移動するマスク対象に掛かるように移動するマスクを作成する。例えば、図９のように、フレームＦ１０からフレームＦ３９までに対して左から徐々にフレーム内に入ってくるように移動するマスクを作成する。移動マスク作成部２６４は、このように作成した移動マスクの情報をマスクフラグ付与部２４０に出力する。移動マスクの情報とは、移動マスクの座標値、移動マスクの大きさ（サイズ）、および、移動マスクを付加するフレーム番号の情報である。
【００４３】
メタファイル作成部２７０は、マスクを掛ける領域についての情報をマスクフラグ付与部２４０から取得する。マスクを掛ける領域とはマスク対象領域であり、マスクを掛ける領域についての情報とは、例えば、マスク対象領域の座標、サイズ、フレーム番号といった情報である。繰り返しになるが、マスク対象領域としては、類似判定部２３４による閾値判定でマスク対象であると確定した領域の他、移動マスク作成部２６４で作成された移動マスクが付加される領域も含まれることはもちろんである。メタファイル作成部２７０は、マスク対象領域にマスクを掛ける命令を含むメタファイルを作成する。メタファイル作成部２７０は、作成したマスク用メタファイルをマスク付加部２８０に出力する。
【００４４】
マスク付加部２８０は、メタファイルのマスク処理命令に従って動画データにマスクを掛けていく。このとき、動画メモリ１２０に蓄積された総ての動画データに関するメタファイルが作成されるのを待ってからマスク付加部２８０でのマスク処理を開始してもよい。すなわち、メタファイル作成のための復号処理をしたあと、あらためての動画メモリ１２０から動画データを取り出して復号化する。このときはマスク候補取得部２２０やマスク対象決定部２３０を起動させる必要はなく、復号化された画像データをマスク付加部２８０にのみ送り、そこでメタファイルに従ったマスク付加を行う。
【００４５】
あるいは、メタファイルの作成から所定の時間遅れをもたせてマスク付加部２８０でのマスク処理を進行させてもよい。例えば、マスク候補切出部２２２が処理中であるフレームのタイムスタンプに対し、数分分の遅れを持たせていれば前記フレームに対するマスク処理の要否は確定されている。
【００４６】
マスク付加部２８０でマスク付加された動画データはデータ出力部２９０から出力される。そして、例えば、パソコンのハードディスクなどに一旦保存されたあと、インターネット上のサーバに送られることになる。
【００４７】
（第１実施形態の動作）
続いて、第１実施形態の動作を説明する。
ユーザによる動画撮影（ＳＴ１０）からマスク付加されたデータの出力（ＳＴ６０）までの流れは、図１０に示すように、撮影（ＳＴ１０）、動画データの保存（ＳＴ２０）、マスク処理の事前準備（ＳＴ３０）、マスク処理用メタファイルの作成（ＳＴ４０）、マスク付加（ＳＴ５０）、データ出力（ＳＴ６０）の順で進む。
【００４８】
先に説明したように、図２のように動画を撮影し（ＳＴ１０）、動画データは動画メモリ１２０に保存される（ＳＴ２０）。次に、マスク処理の事前準備を行う（ＳＴ３０）。マスク処理の事前準備（ＳＴ３０）として、ユーザはマスク対象に関する情報をマスク対象参照リスト格納部２３２に格納しておく。本例でいえば、子供ＣＡの顔の特徴量をマスク対象参照リスト格納部２３２に格納しておく。
子供ＣＡの顔の特徴量をマスク対象参照リスト格納部２３２に格納するにあたっては、例えば、別途に撮影した子供ＣＡの顔のデータをビデオカメラ１００にセットしてもよい。あるいは今回撮影した動画のなかから子供ＣＡの顔が映っている領域を指定して、これをマスク対象としてビデオカメラ１００にセットしてもよい。ビデオカメラ１００は、マスク対象としてセットされた領域から自動的に特徴量を算出してマスク対象参照リスト格納部２３２に格納する。
【００４９】
これに合わせて切出参照リスト格納部２２１に切出参照リストを登録しておく必要がある。これについてはマスク対象参照リスト格納部２３２の情報からビデオカメラ１００が自動的に切出参照リストを生成するようにしてもよい。あるいは、人物の顔がマスク対象に設定されたならば、自動的に所定面積以上の肌色領域が切出参照リストに加えられるようにしてもよい。
【００５０】
このような事前準備（ＳＴ３０）が終わったところで、マスク処理部２００を起動してマスク処理用メタファイルの作成（ＳＴ４０）を実行する。マスク処理用メタファイルの作成工程（ＳＴ４０）を図１１のフローチャートを参照して説明する。撮影された動画データは動画メモリ１２０に蓄積された後、データ入力部２１０からマスク処理部２００に入力される（ＳＴ１０１）。データ入力部２１０の復号化部２１１において動画データが復号化され（ＳＴ１０２）、画像フレームが順次マスク候補切出部２２２に送られる。マスク候補切出部２２２は、画像フレーム中に切出参照リストに合致するマスク候補領域があるか否かを探索する。フレームＦ００の段階では、肌色の領域はないのであるからマスク候補となる領域はない（ＳＴ１３０でＮＯ）。マスク候補の領域がなければ、次ぎの画像フレームに探索対象を移していく。
【００５１】
フレームＦ００からフレームＦ１０に移行するにつれて徐々に子供ＣＡがフレームに入ってくる。子供ＣＡの顔が所定面積を超えてフレームに入ってくれば、これは切出参照リストに合致することになる（ＳＴ１０３でＹＥＳ）。
例えばフレームＦ１０で肌色面積が所定値を超えたとする。すると、マスク候補切出部２２２は、所定面積以上の肌色領域Ｒ１０をマスク候補として切り出す（ＳＴ１０４）（図１２参照）。このとき、前述したように、切り出された領域（Ｒ１０）のデータには、切出し元のフレームＦ１０のフレーム番号およびこのフレームＦ１０中での座標が付加されている。
【００５２】
マスク候補領域（Ｒ１０）が切り出されると、この領域（Ｒ１０）に対して特徴量算出部２３１により特徴量が算出される（ＳＴ１０５）。算出された特徴量は類似度算出部２３３に送られ、そこでマスク対象参照リストとの比較に基づいた類似度が求められる（ＳＴ１０６）。
算出された類似度は類似判定部２３４において閾値と対比される。領域Ｒ１０については、子供ＣＡの顔の特徴量と類似する点はないので、類似度が閾値Ｔｈを超えることはない（ＳＴ１０７でＮＯ）。この場合、領域Ｒ１０はマスク対象として確定せず（ＳＴ１０７でＮＯ）、次ぎの画像フレームの処理に進む。
【００５３】
フレームＦ１０からフレームＦ３０に移るにつれて、子供が映っている領域が徐々に大きくなっていくので肌色領域はすべてマスク候補として切出しの対象となるが（ＳＴ１０３でＹＥＳ）、まだ子供の顔が十分にフレーム内に映ってはいないので、類似判定（ＳＴ１０７）において類似度が閾値Ｔｈを超えることはない（ＳＴ１０７でＮＯ）。
【００５４】
フレームＦ３０からさらに進んでフレームＦ４０が処理対象のフレームになった時点を考える。フレームＦ４０では領域Ｒ４０において顔の８０％程度がフレーム内に入っている状態である。領域Ｒ４０は、所定面積以上の肌色領域であるのでマスク候補としてマスク候補切出部２２２によって切り出され（ＳＴ１０４）、さらに、子供ＣＡの顔の８０％程度が映っているので、マスク対象参照リストにある指標（子供の顔の特徴量）と複数点で相関が高く、類似度としては大きな値が算出される。従って、Ｒ４０について求められた類似度Ｓ４０は、閾値Ｔｈ以上になる（ＳＴ１０７でＹＥＳ）。
【００５５】
このように類似度Ｓ４０が閾値Ｔｈ以上になった場合、類似判定部２３４は、閾値Ｔｈ以上の類似度Ｓをもつ領域が出現したことをマスクフラグ付与部２４０に通知する。すると、類似度が閾値以上となった領域Ｒ４０に対してマスクフラグ付与部２４０によってマスクフラグが付与される（ＳＴ１０８）。
【００５６】
次に、このようにマスク対象が出現したところで、位置判定部２５０による位置判定（ＳＴ１０９）を実行する。すなわち、マスク対象である領域Ｒ４０とフレーム枠との距離を所定閾値と対比する（ＳＴ１１０）。
【００５７】
マスク対象（Ｒ４０）とフレーム枠との距離が所定閾値を超えていれば（ＳＴ１１０でＮＯ）、移動マスクを補充する必要はないと判断する。したがって、マスク対象として確定した領域Ｒ４０に付されているマスクフラグに従って、マスク対象領域Ｒ４０にマスクを掛けるメタファイルをメタファイル作成部２７０によって作成する（ＳＴ１１１）。
【００５８】
一方、ＳＴ１１０において、マスク対象領域（Ｒ４０）とフレーム枠との距離が所定閾値以下である場合（ＳＴ１１０でＹＥＳ）、フレームインしてきた被写体に必要なマスクを掛けられていない可能性がある。そこでこの場合、マスク補充部２６０を起動させて、移動マスク作成を開始する（ＳＴ１２０）。
【００５９】
移動マスクを作成する工程を図１３のフローチャートを参照して説明する。
移動マスクを作成するために、座標情報取得部２６１によってマスク対象領域の座標情報を取得する（ＳＴ１２１）。
これは、マスク対象が確定した後のフレーム（フレームＦ４０以降のフレーム）についても順次ＳＴ１０１からＳＴ１０７を実行していく際に、座標情報取得部２６１は、フレームＦ４０以降のフレームに関して類似判定部２３４および位置判定部２５０経由でマスク対象となる領域の座標情報を取得する。これにより、フレームＦ４０以降のマスク対象領域について、座標、サイズ、そのフレームのタイムスタンプといった座標情報が補外用データ保持部２６２に格納されていく（図６参照）。
そして、ＳＴ１２２において、必要量のデータが拾集されたか否かを判定する。これは、図８にて示したように補外法で時間的に前のフレームにおけるマスク対象の動きを推定するにあたって十分なデータ量があるか否かを動き補外部２６３において判定するものである。
【００６０】
データ数が十分かどうかを判定する基準は適宜設定されればよい。
例えば、フレームＦ４０以降の座標情報に対して回帰直線や、適当な次数の関数曲線や、適切なスプライン曲線などでフィッティングカーブを描く（図７参照）。マスク対象として最初に確定したフレーム（フレームＦ４０）から数えて数十フレーム（フレームＦ４０からフレームＦ６０あたりまで）に対する残差が所定値以下になっていれば、補外法が適用できる程度にデータが集まったと判断してもよい。
なお、マスク対象として最初に確定したフレーム（フレームＦ４０）に近いほど寄与度が大きくなる重みを付け、マスク対象として最初に確定したフレーム（フレームＦ４０）の直後の数フレームにおける動きがより強く反映されるようにしてもよい。
【００６１】
補外法を適用するのに十分なデータが集まったところで（ＳＴ１２２でＹＥＳ）、マスク対象領域の移動軌跡を外挿し（ＳＴ１２３）、マスク対象が検出される前の動きを推定する（図８参照）。このように外挿で推定したマスク対象の移動に掛かるように移動マスク作成部２６４により移動マスクを作成する。これにより、図９に示したように、マスク対象が検出される前のフレーム（フレームＦ１０からフレームＦ３０・・）に掛かるマスクが作成される。
【００６２】
作成された移動マスクの情報をマスクフラグ付与部２４０に出力し、マスクフラグ付与部２４０において移動マスクの領域にマスクフラグを付与する（ＳＴ１２５）。
【００６３】
マスクフラグを付与されたマスク対象データがメタファイル作成部２７０に送られ、マスク処理を命令するメタファイルが作成される（ＳＴ１１１）。動画メモリ１２０に蓄積された動画データの全フレームを検証して（ＳＴ１１２でＹＥＳ）、マスク処理用のメタファイルが完成する。
【００６４】
このように作成されたメタファイルに従って動画データにマスク処理を施す（ＳＴ５０）。すなわち、マスク付加部２８０は、復号化された動画フレームデータに対しメタファイルに指定された領域にマスクを掛けていく（ＳＴ５０）。すると、図１４に示すように、子供がフレームに映り始めたところからマスク処理が掛かり、子供のプライバシーを保護することができる。
【００６５】
このような構成を備える第１実施形態によれば次の効果を奏することができる。
（１）本実施形態ではマスク補充部２６０を備えており、マスク対象が検出される前のフレームに対しても補外法によってマスク対象の動きを推定し、移動マスクを掛けることとしている。
これにより、マスク対象（被写体）がフレームインし始めてからマスク対象であると確定するまでの間の映像にもマスクを掛けることができ、プライバシーを確実に保護できる。
【００６６】
（２）本実施形態では、移動マスクを補充するにあたって補外用データ保持部２６２に座標情報を保持するが、これらは画像情報ではなく単なる数値であるので補外用データ保持部２６２の容量は小さくてもよい。例えば、従来技術のようにマスク対象を検出した後で時間的に遡及して関連部分を辿れるように所定量の動画データをバッファに一時保存しておくという方法があるが、これでは非常に大きな容量のメモリが必要になる。そして、バッファから溢れてしまった画像データについては遡及的に検索することはできず、その部分はプライバシーマスク無しで公開されてしまう恐れもある。
この点、本実施形態では移動マスクの作成にあたって必要になるデータは座標情報だけであり、画像情報そのものは保持しておく必要はないのでメモリ容量は極小さくてもよい。また仮にマスク対象の移動軌跡を外挿するのにどれほど多量のフレームを追跡しなければならないとしても、座標情報を一時的に保持するだけでよいのでメモリ容量が問題になることはない。
したがって、必要であれば十分な量の座標情報を収集した後で、正確性の高い移動マスクを作成することができる。
【００６７】
（３）位置判定部２５０を備え、新たに検出されたマスク対象の領域がフレーム枠に近いかどうかを位置判定部２５０によって判定することによって移動マスクの要否を判断する。単純に、新たにマスク対象が検出されるたびに補外法で移動マスクを補充していると必要のないマスクが入り乱れる恐れがあるが、この点、本実施形態ではマスク対象領域の出現位置に基づいて移動マスクの必要性を適切に判断することができる。これにより、必要な場合にだけ移動マスクを適切に付加することができる。
【００６８】
（変形例１）
上記第１実施形態において、位置判定部２５０では新たに出現したマスク対象領域とフレーム枠との距離にだけ基づいて移動マスクの要否を判断していた。移動マスクが必要であるか否かを判断するにあたっては、別の判定要件を用いてもよい。
例えば、マスク対象領域がフレームの中心方向に移動しているかどうかを判定要件としもよい。あるいは上記の二つとも用い、両方を満たした場合にマスク補充部を起動させてもよい。さらには、上記二つの要件のうちいずれか一方でも満たせばマスク補充部を起動させてもよい。
【００６９】
なお、本発明は上記実施形態および変形例に限られず、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態においては、特定人物の顔にプライバシーマスクを掛ける場合を説明したが、逆に、特定人物にはマスクを掛けず、その他のたまたま映ってしまった一般の人の顔にプライバシーマスクを掛けるようにしてもよいことはもちろんである。この場合、被写体が、「人の顔ではあるが特定人物の顔ではない」ということを閾値判定で判断すればよいのであり、このような判定のためにマスク対象参照リストや類似判定部を改変することは当業者には明らかであろう。
【００７０】
「肌色」というのは人種によって異なるのであるから、マスク対象の人種を考慮して解釈されるべきである。例えば、ビデオカメラが使用される国がアジア圏であれば、肌色とは例えばモンゴロイドの肌の色、すなわち、淡黄色を意味する。被写体がコーカソイドやニグロイドであれば当然ながら肌色は白色であったり黄褐色であったりする。
【００７１】
上記実施形態では撮影が終了した後でマスク処理部を起動してマスク処理を行う例を説明したが、撮影しながら並行してマスク処理を実行してもよい。
【００７２】
ＣＰＵやメモリを配置してコンピュータとして機能できるように構成し、このメモリに所定の制御プログラムをインターネット等の通信手段や、ＣＤ−ＲＯＭ、メモリカード等の記録媒体を介してインストールし、このインストールされたプログラムでＣＰＵ等を動作させて、上記実施形態で説明した各機能部としての機能を実現してもよい。
【符号の説明】
【００７３】
１００…ビデオカメラ、１１０…ビデオカメラの撮像部、１２０…動画メモリ、２００…マスク処理部、２１０…データ入力部、２１１…復号化部、２２０…マスク候補取得部、２２１…切出参照リスト格納部、２２２…マスク候補切出部、２２２…順次マスク候補切出部、２２２…マスク候補切出部、２３０…マスク対象決定部、２３１…特徴量算出部、２３２…マスク対象参照リスト格納部、２３３…類似度算出部、２３４…類似判定部、２４０…マスクフラグ付与部、２５０…位置判定部、２６０…マスク補充部、２６１…座標情報取得部、２６２…補外用データ保持部、２６３…動き補外部、２６４…移動マスク作成部、２７０…メタファイル作成部、２８０…マスク付加部、２９０…データ出力部、９００…動画像データ記録再生システム、９１０…パソコン、９２０…インターネット、９３０…サーバ。
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。本発明は、例えば、特定人物の顔などプライバシー保護に係るものが映っている画像領域に自動的にマスク処理を施すための画像処理装置等に関する。
【背景技術】
【０００２】
近年、個人が撮影した動画像を各個人のパソコン端末や携帯端末からインターネットを介して簡単に公開できるようになってきた。しかし、動画像には、人物や、車両、撮像された地域を示す地名や住所など、個人を特定できる情報が含まれていることがある。そのような情報が含まれる動画像がそのまま公開されてしまうことは、プライバシー保護の観点から望ましくない。
【０００３】
そこで、動画像中の特定人物やナンバープレートに対して自動的にモザイクを施す処理を行う方法が提案されている（例えば、特許文献１、特許文献２）。
特許文献１および特許文献２に開示される方法では、まず、モザイクを施す処理が必要になる人物の顔情報を参照情報として予め用意しておく。
そして、参照情報と画像中の顔とが一致した場合には、その顔部分にモザイクを施す処理を行う。
【０００４】
この方法であれば、確かに特定人物の顔にモザイクを施す処理を行うことができるものの、画像中の顔が参照情報に一致する前の画像にはモザイクを施せないことになる。例えば、モザイクを施す処理の対象となる人物がゆっくりと画面内にスライドインしてきた場合、その顔が画面内に完全に収まってはじめてモザイクを施す処理が開始されるので、それまではスライドイン途中の顔が一部ではあるものの画面に曝されることとなってしまう。
【０００５】
上記問題に対し、特許文献３（特開２０１０−２３３１３３号公報）では次の方法を提案している。特許文献３では、ビデオバッファを用意しておき、動画像を数フレーム遡れるように前記ビデオバッファに一時的に溜めておく。
そして、モザイクを施す対象、つまりマスク対象が検出された場合には、ビデオバッファ内にあるフレームを順番に遡ってマスク対象に関連する部分が無いかを改めて検索する。これにより、マスク対象が完全に画面内に入る前であってもマスク対象が部分的に映っている領域にマスクを掛ける、つまりモザイクを施すことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−０８６４０７号公報
【特許文献２】特開２００４−０６２５６０号公報
【特許文献３】特開２０１０−２３３１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ビデオバッファの容量にも限界がある。３０フレーム／秒の動画像であるとして、長くても１０秒分ぐらいを溜めておけるのが最大限である（特許文献３の段落００５６）。従って、カメラを横にゆっくり振りながら撮影したり、あるいは、固定カメラの前を人がゆっくりと通り過ぎるような場合、マスク処理が必要な人物が画面内にスライドインしてくる時間がビデオバッファの容量よりも長くなるという事態が起こりえる。すると、ビデオバッファによる保持時間を超えてビデオバッファから吐き出されてしまったフレームについては、マスク処理が不十分なままで公開されてしまうことになる。
【０００８】
なお、単純にビデオバッファの容量を大きくすることが考えられるが、どれほど容量を大きくしても動画像を一時的にバッファできる容量（時間）には限界がある。また、マスク対象を一旦検出したあとで、再び最初のフレームから検索し直してマスク対象に関連する部分をピックアップするという方法も考えられるが、時間と手間が掛かり過ぎる。
【０００９】
そこで、本発明の目的は、マスク処理が必要な被写体がフレームインしてくる場合など、マスク対象かどうかの判定までに時間を要するような場合であっても、それまでの間にマスク対象が映っている領域に確実にマスクを掛けることができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
そこで、本発明は、
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置（１００）であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部（２２２）と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部（２３３）と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部（２３４）と、
前記類似判定部（２３４）による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充部（２６０）と、
前記類似判定部（２３４）による判定によってマスク対象に確定した領域に加えて前記マスク補充部（２６０）で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部（２４０）と、を備える
ことを特徴とする画像処理装置を提供する。
【００１１】
上記画像処理装置（１００）において、
前記マスク補充部（２６０）は、
前記類似判定部（２３４）による判定によってマスク対象に確定した領域の座標情報を順次取得する座標情報取得部（２６１）と、
前記座標情報取得部（２６１）にて取得された座標情報を保持する補外用データ保持部（２６２）と、
前記補外用データ保持部（２６２）に保持されたデータを時間的に前に外挿してマスク対象が検出される前の動きを推測する動き補外部（２６３）と、
前記動き補外部（２６３）による外挿によって得られた動きに掛かるように移動するマスクを作成する移動マスク作成部（２６４）と、を備える
ようにしても良い。
【００１２】
また、上記画像処理装置において、
前記類似判定部（２３４）による判定よってマスク対象に確定した領域と、画像フレーム枠と、の距離が所定閾値以下であるか否かを判定する位置判定部（２５０）をさらに備え、
前記距離が所定閾値以下の場合に、前記位置判定部（２５０）は前記マスク補充部（２６０）を起動させる
ようにしても良い。
【００１３】
また、上記画像処理装置において、
前記類似判定部（２３４）による判定よってマスク対象に確定した領域が画像フレームの中心方向に移動しているか否かを判定する位置判定部（２５０）をさらに備え、
前記マスク対象に確定した領域が画像フレームの中心方向に移動している場合に、前記位置判定部（２５０）は前記マスク補充部（２６０）を起動させる
ようにしても良い。
【００１４】
さらに、本発明は、
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程（ＳＴ１０３、ＳＴ１０４）と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出工程（ＳＴ１０６）と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定工程（ＳＴ１０７）と、
前記類似判定工程（ＳＴ１０７）による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し（ＳＴ１２３）、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充工程（ＳＴ１２４）と、
前記類似判定工程（ＳＴ１０７）による判定によってマスク対象に確定した領域に加えて前記マスク補充工程（ＳＴ１２４）で作成された前記補充マスクの領域に対してマスクを付加するマスク付与工程（ＳＴ１２５）と、を備える
ことを特徴とする画像処理方法を提供する。
【００１５】
さらに、本発明は
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置に組み込んだコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部（２２２）と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部（２３３）と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部（２３４）と、
前記類似判定部（２３４）による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充部（２６０）と、
前記類似判定部（２３４）による判定によってマスク対象に確定した領域に加えて前記マスク補充部２６０で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部（２４０）と、して機能させる
ことを特徴とする画像処理プログラムを提供する。
【図面の簡単な説明】
【００１６】
【図１】本発明が想定する動画像データ記録再生システムの一例を示す図。
【図２】動画を撮影している様子を示す図。
【図３】撮影された動画の例を示す図。
【図４】第１実施形態において、マスク処理部の機能ブロック図。
【図５】第１実施形態において、閾値以上の類似度を有するマスク対象領域を検出した状態を模式的に示す図。
【図６】第１実施形態において、補外用データ保持部に保持する座標情報の例を示す図。
【図７】第１実施形態において、検出されたマスク対象領域の移動軌跡を示す図。
【図８】第１実施形態において、マスク対象の移動軌跡を時間的に前の方に外挿したグラフ例を示す図。
【図９】第１実施形態において、移動マスクの例を示す図。
【図１０】第１実施形態において、動画撮影（ＳＴ１０）からマスク付加されたデータの出力（ＳＴ６０）までの動作手順を示すフローチャート。
【図１１】第１実施形態において、マスク処理用メタファイルの作成工程を示すフローチャート。
【図１２】第１実施形態において、マスク候補を切り出す様子を示す図。
【図１３】第１実施形態において、移動マスクを作成する工程を示すフローチャート。
【図１４】第１実施形態において、マスクを付加した動画の例を示す図。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態について説明する。
（第１実施形態）
図１は、本発明が想定する動画像データ記録再生システム９００の一例である。
各個人はおのおの好きな被写体をビデオカメラ１００で撮像する。例えば、戸外に出て街の様子を撮影したり、家族が公園で遊んでいる光景を撮影したりしてもよい。このようにして撮影された動画像データはビデオカメラ１００に内蔵された動画メモリ１２０に蓄積されていく。
【００１８】
撮影者は家に帰ると、ビデオカメラ１００をパソコン９１０に接続し、撮影した動画像データをパソコン９１０経由でインターネット９２０上のサーバ９３０に送る。すると、このサーバ９３０に動画像データが保存され、第三者もインターネット９２０を利用して動画像を見られるようになる。
【００１９】
しかし、このようにして撮影された動画像には公開しては不都合な画像も含まれていることがある。例えば、家族の顔や、意図せずに映り込んでしまった通行人の顔、個人を特定する情報、例えば、氏名、電話番号、車のナンバープレートなどが映り込んでいる可能性がある。
これらの個人情報に関連する画像をそのままインターネット上に公開してしまうとプライバシー保護の観点からみて問題が生じる恐れがある。従って、プラバシーに関わる画像部分にはマスク処理を施すことが必要になる。
【００２０】
ここで、以下の説明に用いる動画の例として、図２のように特定人物ＣＡの様子を撮影したとする。このとき撮影者Ｐは、ビデオカメラ１００を右から左にゆっくりと向きを変えるように動かし、人物ＣＡがフレームのなかにゆっくりとフレームインするように撮影するとする。すると、例えば、図３のように、フレームの左から人物ＣＡが徐々にフレームインしてくる動画が撮影されるであろう。ここで、上述の従来技術によれば、フレームＦ４０のように顔の８０％程度がフレーム内に映っていれば、これをマスク対象であると判定することができる。従って、フレームＦ４０以降のフレームＦ５０やフレームＦ６０には人物ＣＡの顔にマスクを掛けられる。しかし、フレームＦ４０に至るまでは、人物ＣＡの顔が映っているにも関わらず、顔の一部しか映っていないのでマスク対象であるとまでは確定できず、このままではマスクが掛からず顔が公開されてしまうことになる。そこで、本実施形態では、マスク対象であると確定する前のフレームに対してもマスクを掛けるようにする。
【００２１】
（第１実施形態の構成）
第１実施形態の構成を説明する。
図４は、マスク処理部２００の機能ブロック図であり、あわせて、ビデオカメラ１００の主要要素を示す。本実施形態ではマスク処理部２００がビデオカメラ１００に内蔵されている場合を想定しているが、パソコン９１０の一機能としてマスク処理部が設けられてもよい。ビデオカメラ１００の撮像部１１０で撮像された動画データは、一旦動画メモリ１２０に蓄積される。ここで、ビデオカメラ１００の撮像部１１０は、レンズユニットやＣＣＤ（光電変換素子）回路、所定のロジック回路で構成され、被写体を撮影した動画（映像）信号から動画データ（フレーム）を生成する。動画データには輝度データや色データが含まれる。動画メモリ１２０としては、例えば、フラッシュメモリが利用できる。
【００２２】
マスク処理部２００は、データ入力部２１０と、マスク候補取得部２２０と、マスク対象決定部２３０と、マスクフラグ付与部２４０と、位置判定部２５０と、マスク補充部２６０と、メタファイル作成部２７０と、マスク付加部２８０と、データ出力部２９０と、を備える。
【００２３】
データ入力部２１０は、動画メモリ１２０に蓄積された動画データを読み込んで後段に出力する。データ入力部２１０は、復号化部２１１を有し、動画データを復号化した画像フレームを出力する。
【００２４】
ここで、動画を視聴することを目的とせずにマスク処理だけを目的とする場合、すべての画像フレームが必要になるわけではない。従って、Ｉピクチャや、Ｐピクチャ、Ｂピクチャなどがあるなかで、処理の目的に応じたフレームだけがデータ入力部２１０から後段回路に提供されるようにしてもよい。例えば、マスク処理にはＩピクチャとＰピクチャとだけを使用するようにしてもよい。もちろん、すべてのフレームを使用してマスク処理を行ってもよい。
【００２５】
マスク候補取得部２２０は、プラバシーマスクを必要とする可能性がある画像領域だけを切り出す。たとえば、特定人物であるＡさんの顔にマスクを掛ける必要がある場合、肌色が所定面積以上である領域は人の顔の可能性があるので、このような領域をマスク候補として切り出す。
【００２６】
マスク候補取得部２２０は、切出参照リスト格納部２２１と、マスク候補切出部２２２と、を備える。
【００２７】
切出参照リスト格納部２２１は、マスク候補として切出し対象になる領域を検出するための切出参照リストを格納している。切出参照リストは、プリセットされていてもよく、マスク対象の特徴から自動的に生成されるようにしてもよく、あるいは、ユーザが設定入力してもよい。切出参照リストとしては、所定面積以上の肌色領域や、文字および数字のリストデータなどがあげられる。
【００２８】
文字および数字のリストデータを切出参照リストとして持つ意味を補足しておく。
プライバシーに関するものとしては、顔の他にも、氏名、団体名（会社名や学校名）、住所表示、電話番号、車のナンバーなどがある。したがって、０９０−ＸＸＸＸ−ＸＸＸＸといった電話番号にはプライバシーマスクを掛ける必要がある。そこで、画像フレーム中に"０"といった数字や後述するように何らかの文字が現れれば、それらをマスク対象の候補として切り出しておく必要がある。そして、最終的に、"０９０−"のように数字が並べばこの数字列にマスク処理を施すことになるし、単に"０"だけ、もしくは"０"のように見える模様であった場合にはマスク処理は必要ないことになる。
【００２９】
もう一例あげると、最終的に"横浜"や"横浜市ＸＸＸ区"、"横Ｘ学園ＸＸ学校"といったように文字が並べばこれらにマスク処理を施すことになるし、単に、"横"という字が一文字だけであれば、プライバシーに何ら関係がないので、マスク処理は必要ないことになる。
文字としては、外国語にも対応できるように、アルファベットや、ハングル、中国語の略字も切出参照リストに加えておくとよい。
【００３０】
マスク候補切出部２２２は、データ入力部２１０から順次入力される画像フレームを検索し、切出参照リスト格納部２２１に格納された切出参照リストに合致するものがあるか否かを探す。そして、切出参照リストに合致するものが画像フレーム中に存在している場合、その領域部分を切り出してマスク候補領域として切り出し、後段回路に出力する。
このとき、切り出されたマスク候補領域は、もとのフレームに関連付けられる情報を保持するものとする。フレームに関連付けられる情報とは、例えば、切出し元のフレーム番号およびそのフレーム内での座標である。
【００３１】
次に、マスク対象決定部２３０は、マスク候補取得部２２０で取得されたマスク候補の領域に対し、真にマスク対象であるか否かを検証する。
マスク対象決定部２３０は、特徴量算出部２３１と、マスク対象参照リスト格納部２３２と、類似度算出部２３３と、類似判定部２３４と、を備える。
【００３２】
特徴量算出部２３１は、マスク候補切出部２２２で切り出された最新のマスク候補に対して特徴量を算出する。特徴量とは、対象画像の特徴を表わす各種指標値の組み合わせであり、対象画像の特徴点を表わす指標値や、特徴点同士の距離関係を表わす指標値、特徴部分の大きさを表わす指標値、対象画像の輪郭を表わす指標値、輝度を表わす指標値、色を表わす指標値、などからなる。
特徴量算出部２３１は、算出した特徴量を類似度算出部２３３に送る。
【００３３】
マスク対象参照リスト格納部２３２は、マスク対象になる領域を検出するための参照情報を格納している。マスク対象参照リスト格納部２３２に格納されている参照情報としては、プライバシーマスクが必要な特定人物の顔（Ａさんの顔、Ｂさんの顔・・・）、電話番号や車両番号であることを特定するための数字列、氏名・団体名（会社名や学校名）・住所表示であることを特定するための文字列、などが挙げられる。これらの参照情報がそれぞれの特徴量とセットになって格納されている。
【００３４】
類似度算出部２３３は、特徴量算出部２３１で算出された特徴量をマスク対象参照リスト格納部２３２に格納された特徴量と比較し、類似度を算出する。類似度の算出にあたっては、マスク候補の指標値とマスク対象参照リストの指標値とで互いに対応するもの同士をつきあわせ、両者の類似度合いを総合的に評価して類似度を求める。なお、マスク候補が肌色領域であって人の顔である可能性がある場合に、これを電話番号の特徴量と対比して類似度を算出しても意味のないことなのであり、マスク候補が肌色領域である場合に突き合わされる参照情報は特定人物の顔である。
類似度の算出に当たって適切な参照情報を選ばせる方法は各種考えられるが、例えば、色や輝度で判断してもよく、あるいは、総ての参照情報と突き合わせた上で最も類似度が高くなるものを選んでもよい。
【００３５】
類似判定部２３４は、類似度算出部２３３で算出された類似度を所定の閾値と比較する。そして、類似度が閾値を超えている場合、そのマスク候補領域がマスク対象領域であることが確定する。類似度が閾値を超えた場合には、その旨をマスクフラグ付与部２４０と位置判定部２５０とに通知する。
【００３６】
マスクフラグ付与部２４０は、マスク対象領域にマスクフラグを設定する。マスク対象領域にマスクフラグを設定するにあっては、類似判定部２３４による判定によってマスク対象であることが確定したマスク対象の領域にマスクフラグを付与することはもちろんである。
図５に示すように、フレームＦ４０、フレームＦ５０、フレームＦ６０等では類似度が閾値以上になる程度に顔が映っているので、マスクフラグ付与部２４０によってこれらの顔が映っている領域にはマスクフラグが付与される。ここで、マスク対象（被写体）がフレームインし始めてからマスク対象であると確定するまでの間の映像（フレームＦ１０からフレーム３０）にもマスクを掛ける必要があるところ、これは後述の位置判定部２５０およびマスク補充部２６０によって達成される。
【００３７】
位置判定部２５０は、確定したマスク対象領域の位置と画像フレームのフレーム枠との位置関係を調べる。具体的には、マスク対象領域とフレーム枠との距離が所定閾値以下であるか否かを判定する。マスク対象領域とフレーム枠との距離が所定閾値以下である場合、位置判定部２５０は、マスク対象を検出できたフレーム（フレームＦ４０）よりも前のフレーム（フレームＦ１０からフレーム３０）に対して補充的なマスクを作成させるため、マスク補充部２６０を起動させる。そして、マスク補充部２６０を起動させた後は、類似判定部２３４経由で取得するマスク対象領域の座標情報をマスク補充部２６０に出力する。
【００３８】
ここで、マスク対象領域とフレーム枠との距離が所定閾値以下である場合、このマスク対象はフレームの端から徐々にフレームインしてきたものであると考えられる。例えば、図５を参照すると、フレームＦ４０においてはマスク対象領域がフレーム枠に極めて近い。この場合、フレームＦ４０の以前のフレーム（フレームＦ１０からフレームＦ３０）ではマスク対象（被写体）が十分にフレームに収まっていなかったためにマスク対象であると認識されていない恐れがある。
なお、マスク対象領域の位置という場合、マスク対象領域の中心座標Ｃｃを用いてもよく、あるいは、マスク対象領域が四角形であれば四角形の四隅のいずれを用いてもよい。マスク対象領域の位置の取り方に合わせて所定閾値の値や判定方法を適切に調整すればよい。
【００３９】
次に、マスク補充部２６０について説明する。
マスク補充部２６０は、マスク対象領域の移動軌跡に基づいて、マスク対象が検出される以前のフレームに掛けるマスクを作成する。
マスク補充部２６０は、座標情報取得部２６１と、補外用データ保持部２６２と、動き補外部２６３と、移動マスク作成部２６４と、を備える。
【００４０】
座標情報取得部２６１は、類似判定部２３４および位置判定部２５０経由で取得するマスク対象領域の座標情報を抜き出し、補外用データ保持部２６２に格納させる。ここで、座標情報とは、マスク対象領域の座標値、マスク対象領域の大きさ（サイズ）、および、マスク対象領域が属するフレームのタイムスタンプ、であり、これらをセットにして補外用データ保持部に保持させる。補外用データ保持部２６２は、一時メモリであり、図６のように、マスク対象領域の座標値、サイズ、そのタイムおよびフレーム番号を合わせて保持する。
【００４１】
動き補外部２６３は、補外用データ保持部２６２に保持された座標情報に基づいて、マスク対象が検出される前の動きを補外法によって推測する。
例えば、図６のように補外用データ保持部２６２に保持されたデータをグラフにプロットすると図７のようにフレームＦ４０以降におけるマスク対象領域の移動軌跡が求められる。ここでは、分かり易くするため、ｘ座標の変化のみを表わしているが、ｙ座標および領域サイズについても時間の関数として同じようにプロットできる。そして、フレームＦ４０よりも時間的に前のフレーム内でのマスク対象の移動軌跡を補外法で推測するため、図７のグラフを時間的に前に延長する。すると、図８のように、フレームＦ４０よりも時間的に前のフレームにおけるマスク対象の推定軌跡が得られる。
【００４２】
移動マスク作成部２６４は、動き補外部２６３において図８のように得られた推定軌跡に対し、この軌跡に沿って移動するマスク対象に掛かるように移動するマスクを作成する。例えば、図９のように、フレームＦ１０からフレームＦ３９までに対して左から徐々にフレーム内に入ってくるように移動するマスクを作成する。移動マスク作成部２６４は、このように作成した移動マスクの情報をマスクフラグ付与部２４０に出力する。移動マスクの情報とは、移動マスクの座標値、移動マスクの大きさ（サイズ）、および、移動マスクを付加するフレーム番号の情報である。
【００４３】
メタファイル作成部２７０は、マスクを掛ける領域についての情報をマスクフラグ付与部２４０から取得する。マスクを掛ける領域とはマスク対象領域であり、マスクを掛ける領域についての情報とは、例えば、マスク対象領域の座標、サイズ、フレーム番号といった情報である。繰り返しになるが、マスク対象領域としては、類似判定部２３４による閾値判定でマスク対象であると確定した領域の他、移動マスク作成部２６４で作成された移動マスクが付加される領域も含まれることはもちろんである。メタファイル作成部２７０は、マスク対象領域にマスクを掛ける命令を含むメタファイルを作成する。メタファイル作成部２７０は、作成したマスク用メタファイルをマスク付加部２８０に出力する。
【００４４】
マスク付加部２８０は、メタファイルのマスク処理命令に従って動画データにマスクを掛けていく。このとき、動画メモリ１２０に蓄積された総ての動画データに関するメタファイルが作成されるのを待ってからマスク付加部２８０でのマスク処理を開始してもよい。すなわち、メタファイル作成のための復号処理をしたあと、あらためての動画メモリ１２０から動画データを取り出して復号化する。このときはマスク候補取得部２２０やマスク対象決定部２３０を起動させる必要はなく、復号化された画像データをマスク付加部２８０にのみ送り、そこでメタファイルに従ったマスク付加を行う。
【００４５】
あるいは、メタファイルの作成から所定の時間遅れをもたせてマスク付加部２８０でのマスク処理を進行させてもよい。例えば、マスク候補切出部２２２が処理中であるフレームのタイムスタンプに対し、数分分の遅れを持たせていれば前記フレームに対するマスク処理の要否は確定されている。
【００４６】
マスク付加部２８０でマスク付加された動画データはデータ出力部２９０から出力される。そして、例えば、パソコンのハードディスクなどに一旦保存されたあと、インターネット上のサーバに送られることになる。
【００４７】
（第１実施形態の動作）
続いて、第１実施形態の動作を説明する。
ユーザによる動画撮影（ＳＴ１０）からマスク付加されたデータの出力（ＳＴ６０）までの流れは、図１０に示すように、撮影（ＳＴ１０）、動画データの保存（ＳＴ２０）、マスク処理の事前準備（ＳＴ３０）、マスク処理用メタファイルの作成（ＳＴ４０）、マスク付加（ＳＴ５０）、データ出力（ＳＴ６０）の順で進む。
【００４８】
先に説明したように、図２のように動画を撮影し（ＳＴ１０）、動画データは動画メモリ１２０に保存される（ＳＴ２０）。次に、マスク処理の事前準備を行う（ＳＴ３０）。マスク処理の事前準備（ＳＴ３０）として、ユーザはマスク対象に関する情報をマスク対象参照リスト格納部２３２に格納しておく。本例でいえば、子供ＣＡの顔の特徴量をマスク対象参照リスト格納部２３２に格納しておく。
子供ＣＡの顔の特徴量をマスク対象参照リスト格納部２３２に格納するにあたっては、例えば、別途に撮影した子供ＣＡの顔のデータをビデオカメラ１００にセットしてもよい。あるいは今回撮影した動画のなかから子供ＣＡの顔が映っている領域を指定して、これをマスク対象としてビデオカメラ１００にセットしてもよい。ビデオカメラ１００は、マスク対象としてセットされた領域から自動的に特徴量を算出してマスク対象参照リスト格納部２３２に格納する。
【００４９】
これに合わせて切出参照リスト格納部２２１に切出参照リストを登録しておく必要がある。これについてはマスク対象参照リスト格納部２３２の情報からビデオカメラ１００が自動的に切出参照リストを生成するようにしてもよい。あるいは、人物の顔がマスク対象に設定されたならば、自動的に所定面積以上の肌色領域が切出参照リストに加えられるようにしてもよい。
【００５０】
このような事前準備（ＳＴ３０）が終わったところで、マスク処理部２００を起動してマスク処理用メタファイルの作成（ＳＴ４０）を実行する。マスク処理用メタファイルの作成工程（ＳＴ４０）を図１１のフローチャートを参照して説明する。撮影された動画データは動画メモリ１２０に蓄積された後、データ入力部２１０からマスク処理部２００に入力される（ＳＴ１０１）。データ入力部２１０の復号化部２１１において動画データが復号化され（ＳＴ１０２）、画像フレームが順次マスク候補切出部２２２に送られる。マスク候補切出部２２２は、画像フレーム中に切出参照リストに合致するマスク候補領域があるか否かを探索する。フレームＦ００の段階では、肌色の領域はないのであるからマスク候補となる領域はない（ＳＴ１３０でＮＯ）。マスク候補の領域がなければ、次ぎの画像フレームに探索対象を移していく。
【００５１】
フレームＦ００からフレームＦ１０に移行するにつれて徐々に子供ＣＡがフレームに入ってくる。子供ＣＡの顔が所定面積を超えてフレームに入ってくれば、これは切出参照リストに合致することになる（ＳＴ１０３でＹＥＳ）。
例えばフレームＦ１０で肌色面積が所定値を超えたとする。すると、マスク候補切出部２２２は、所定面積以上の肌色領域Ｒ１０をマスク候補として切り出す（ＳＴ１０４）（図１２参照）。このとき、前述したように、切り出された領域（Ｒ１０）のデータには、切出し元のフレームＦ１０のフレーム番号およびこのフレームＦ１０中での座標が付加されている。
【００５２】
マスク候補領域（Ｒ１０）が切り出されると、この領域（Ｒ１０）に対して特徴量算出部２３１により特徴量が算出される（ＳＴ１０５）。算出された特徴量は類似度算出部２３３に送られ、そこでマスク対象参照リストとの比較に基づいた類似度が求められる（ＳＴ１０６）。
算出された類似度は類似判定部２３４において閾値と対比される。領域Ｒ１０については、子供ＣＡの顔の特徴量と類似する点はないので、類似度が閾値Ｔｈを超えることはない（ＳＴ１０７でＮＯ）。この場合、領域Ｒ１０はマスク対象として確定せず（ＳＴ１０７でＮＯ）、次ぎの画像フレームの処理に進む。
【００５３】
フレームＦ１０からフレームＦ３０に移るにつれて、子供が映っている領域が徐々に大きくなっていくので肌色領域はすべてマスク候補として切出しの対象となるが（ＳＴ１０３でＹＥＳ）、まだ子供の顔が十分にフレーム内に映ってはいないので、類似判定（ＳＴ１０７）において類似度が閾値Ｔｈを超えることはない（ＳＴ１０７でＮＯ）。
【００５４】
フレームＦ３０からさらに進んでフレームＦ４０が処理対象のフレームになった時点を考える。フレームＦ４０では領域Ｒ４０において顔の８０％程度がフレーム内に入っている状態である。領域Ｒ４０は、所定面積以上の肌色領域であるのでマスク候補としてマスク候補切出部２２２によって切り出され（ＳＴ１０４）、さらに、子供ＣＡの顔の８０％程度が映っているので、マスク対象参照リストにある指標（子供の顔の特徴量）と複数点で相関が高く、類似度としては大きな値が算出される。従って、Ｒ４０について求められた類似度Ｓ４０は、閾値Ｔｈ以上になる（ＳＴ１０７でＹＥＳ）。
【００５５】
このように類似度Ｓ４０が閾値Ｔｈ以上になった場合、類似判定部２３４は、閾値Ｔｈ以上の類似度Ｓをもつ領域が出現したことをマスクフラグ付与部２４０に通知する。すると、類似度が閾値以上となった領域Ｒ４０に対してマスクフラグ付与部２４０によってマスクフラグが付与される（ＳＴ１０８）。
【００５６】
次に、このようにマスク対象が出現したところで、位置判定部２５０による位置判定（ＳＴ１０９）を実行する。すなわち、マスク対象である領域Ｒ４０とフレーム枠との距離を所定閾値と対比する（ＳＴ１１０）。
【００５７】
マスク対象（Ｒ４０）とフレーム枠との距離が所定閾値を超えていれば（ＳＴ１１０でＮＯ）、移動マスクを補充する必要はないと判断する。したがって、マスク対象として確定した領域Ｒ４０に付されているマスクフラグに従って、マスク対象領域Ｒ４０にマスクを掛けるメタファイルをメタファイル作成部２７０によって作成する（ＳＴ１１１）。
【００５８】
一方、ＳＴ１１０において、マスク対象領域（Ｒ４０）とフレーム枠との距離が所定閾値以下である場合（ＳＴ１１０でＹＥＳ）、フレームインしてきた被写体に必要なマスクを掛けられていない可能性がある。そこでこの場合、マスク補充部２６０を起動させて、移動マスク作成を開始する（ＳＴ１２０）。
【００５９】
移動マスクを作成する工程を図１３のフローチャートを参照して説明する。
移動マスクを作成するために、座標情報取得部２６１によってマスク対象領域の座標情報を取得する（ＳＴ１２１）。
これは、マスク対象が確定した後のフレーム（フレームＦ４０以降のフレーム）についても順次ＳＴ１０１からＳＴ１０７を実行していく際に、座標情報取得部２６１は、フレームＦ４０以降のフレームに関して類似判定部２３４および位置判定部２５０経由でマスク対象となる領域の座標情報を取得する。これにより、フレームＦ４０以降のマスク対象領域について、座標、サイズ、そのフレームのタイムスタンプといった座標情報が補外用データ保持部２６２に格納されていく（図６参照）。
そして、ＳＴ１２２において、必要量のデータが拾集されたか否かを判定する。これは、図８にて示したように補外法で時間的に前のフレームにおけるマスク対象の動きを推定するにあたって十分なデータ量があるか否かを動き補外部２６３において判定するものである。
【００６０】
データ数が十分かどうかを判定する基準は適宜設定されればよい。
例えば、フレームＦ４０以降の座標情報に対して回帰直線や、適当な次数の関数曲線や、適切なスプライン曲線などでフィッティングカーブを描く（図７参照）。マスク対象として最初に確定したフレーム（フレームＦ４０）から数えて数十フレーム（フレームＦ４０からフレームＦ６０あたりまで）に対する残差が所定値以下になっていれば、補外法が適用できる程度にデータが集まったと判断してもよい。
なお、マスク対象として最初に確定したフレーム（フレームＦ４０）に近いほど寄与度が大きくなる重みを付け、マスク対象として最初に確定したフレーム（フレームＦ４０）の直後の数フレームにおける動きがより強く反映されるようにしてもよい。
【００６１】
補外法を適用するのに十分なデータが集まったところで（ＳＴ１２２でＹＥＳ）、マスク対象領域の移動軌跡を外挿し（ＳＴ１２３）、マスク対象が検出される前の動きを推定する（図８参照）。このように外挿で推定したマスク対象の移動に掛かるように移動マスク作成部２６４により移動マスクを作成する。これにより、図９に示したように、マスク対象が検出される前のフレーム（フレームＦ１０からフレームＦ３０・・）に掛かるマスクが作成される。
【００６２】
作成された移動マスクの情報をマスクフラグ付与部２４０に出力し、マスクフラグ付与部２４０において移動マスクの領域にマスクフラグを付与する（ＳＴ１２５）。
【００６３】
マスクフラグを付与されたマスク対象データがメタファイル作成部２７０に送られ、マスク処理を命令するメタファイルが作成される（ＳＴ１１１）。動画メモリ１２０に蓄積された動画データの全フレームを検証して（ＳＴ１１２でＹＥＳ）、マスク処理用のメタファイルが完成する。
【００６４】
このように作成されたメタファイルに従って動画データにマスク処理を施す（ＳＴ５０）。すなわち、マスク付加部２８０は、復号化された動画フレームデータに対しメタファイルに指定された領域にマスクを掛けていく（ＳＴ５０）。すると、図１４に示すように、子供がフレームに映り始めたところからマスク処理が掛かり、子供のプライバシーを保護することができる。
【００６５】
このような構成を備える第１実施形態によれば次の効果を奏することができる。
（１）本実施形態ではマスク補充部２６０を備えており、マスク対象が検出される前のフレームに対しても補外法によってマスク対象の動きを推定し、移動マスクを掛けることとしている。
これにより、マスク対象（被写体）がフレームインし始めてからマスク対象であると確定するまでの間の映像にもマスクを掛けることができ、プライバシーを確実に保護できる。
【００６６】
（２）本実施形態では、移動マスクを補充するにあたって補外用データ保持部２６２に座標情報を保持するが、これらは画像情報ではなく単なる数値であるので補外用データ保持部２６２の容量は小さくてもよい。例えば、従来技術のようにマスク対象を検出した後で時間的に遡及して関連部分を辿れるように所定量の動画データをバッファに一時保存しておくという方法があるが、これでは非常に大きな容量のメモリが必要になる。そして、バッファから溢れてしまった画像データについては遡及的に検索することはできず、その部分はプライバシーマスク無しで公開されてしまう恐れもある。
この点、本実施形態では移動マスクの作成にあたって必要になるデータは座標情報だけであり、画像情報そのものは保持しておく必要はないのでメモリ容量は極小さくてもよい。また仮にマスク対象の移動軌跡を外挿するのにどれほど多量のフレームを追跡しなければならないとしても、座標情報を一時的に保持するだけでよいのでメモリ容量が問題になることはない。
したがって、必要であれば十分な量の座標情報を収集した後で、正確性の高い移動マスクを作成することができる。
【００６７】
（３）位置判定部２５０を備え、新たに検出されたマスク対象の領域がフレーム枠に近いかどうかを位置判定部２５０によって判定することによって移動マスクの要否を判断する。単純に、新たにマスク対象が検出されるたびに補外法で移動マスクを補充していると必要のないマスクが入り乱れる恐れがあるが、この点、本実施形態ではマスク対象領域の出現位置に基づいて移動マスクの必要性を適切に判断することができる。これにより、必要な場合にだけ移動マスクを適切に付加することができる。
【００６８】
（変形例１）
上記第１実施形態において、位置判定部２５０では新たに出現したマスク対象領域とフレーム枠との距離にだけ基づいて移動マスクの要否を判断していた。移動マスクが必要であるか否かを判断するにあたっては、別の判定要件を用いてもよい。
例えば、マスク対象領域がフレームの中心方向に移動しているかどうかを判定要件としもよい。あるいは上記の二つとも用い、両方を満たした場合にマスク補充部を起動させてもよい。さらには、上記二つの要件のうちいずれか一方でも満たせばマスク補充部を起動させてもよい。
【００６９】
なお、本発明は上記実施形態および変形例に限られず、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態においては、特定人物の顔にプライバシーマスクを掛ける場合を説明したが、逆に、特定人物にはマスクを掛けず、その他のたまたま映ってしまった一般の人の顔にプライバシーマスクを掛けるようにしてもよいことはもちろんである。この場合、被写体が、「人の顔ではあるが特定人物の顔ではない」ということを閾値判定で判断すればよいのであり、このような判定のためにマスク対象参照リストや類似判定部を改変することは当業者には明らかであろう。
【００７０】
「肌色」というのは人種によって異なるのであるから、マスク対象の人種を考慮して解釈されるべきである。例えば、ビデオカメラが使用される国がアジア圏であれば、肌色とは例えばモンゴロイドの肌の色、すなわち、淡黄色を意味する。被写体がコーカソイドやニグロイドであれば当然ながら肌色は白色であったり黄褐色であったりする。
【００７１】
上記実施形態では撮影が終了した後でマスク処理部を起動してマスク処理を行う例を説明したが、撮影しながら並行してマスク処理を実行してもよい。
【００７２】
ＣＰＵやメモリを配置してコンピュータとして機能できるように構成し、このメモリに所定の制御プログラムをインターネット等の通信手段や、ＣＤ−ＲＯＭ、メモリカード等の記録媒体を介してインストールし、このインストールされたプログラムでＣＰＵ等を動作させて、上記実施形態で説明した各機能部としての機能を実現してもよい。
【符号の説明】
【００７３】
１００…ビデオカメラ、１１０…ビデオカメラの撮像部、１２０…動画メモリ、２００…マスク処理部、２１０…データ入力部、２１１…復号化部、２２０…マスク候補取得部、２２１…切出参照リスト格納部、２２２…マスク候補切出部、２２２…順次マスク候補切出部、２２２…マスク候補切出部、２３０…マスク対象決定部、２３１…特徴量算出部、２３２…マスク対象参照リスト格納部、２３３…類似度算出部、２３４…類似判定部、２４０…マスクフラグ付与部、２５０…位置判定部、２６０…マスク補充部、２６１…座標情報取得部、２６２…補外用データ保持部、２６３…動き補外部、２６４…移動マスク作成部、２７０…メタファイル作成部、２８０…マスク付加部、２９０…データ出力部、９００…動画像データ記録再生システム、９１０…パソコン、９２０…インターネット、９３０…サーバ。
【特許請求の範囲】
【請求項１】
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部と、
前記類似判定部による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって得られた領域に掛かる補充マスクを作成するマスク補充部と、
前記類似判定部による判定によってマスク対象に確定した領域に加えて前記マスク補充部で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部と、を備える
ことを特徴とする画像処理装置。
【請求項２】
前記マスク補充部は、
前記類似判定部による判定によってマスク対象に確定した領域の座標情報を順次取得する座標情報取得部と、
前記座標情報取得部にて取得された座標情報を保持する補外用データ保持部と、
前記補外用データ保持部に保持されたデータを時間的に前に外挿してマスク対象が検出される前の動きを推測する動き補外部と、
前記動き補外部による外挿によって得られた動きに掛かるように移動するマスクを作成する移動マスク作成部と、を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記類似判定部による判定よってマスク対象に確定した領域と、画像フレーム枠と、の距離が所定閾値以下であるか否かを判定する位置判定部をさらに備え、
前記距離が所定閾値以下の場合に、前記位置判定部は前記マスク補充部を起動させる
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記類似判定部による判定よってマスク対象に確定した領域が画像フレームの中心方向に移動しているか否かを判定する位置判定部をさらに備え、
前記マスク対象に確定した領域が画像フレームの中心方向に移動している場合に、前記位置判定部は前記マスク補充部を起動させる
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出工程と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定工程と、
前記類似判定工程による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって得られた領域に掛かる補充マスクを作成するマスク補充工程と、
前記類似判定工程による判定によってマスク対象に確定した領域に加えて前記マスク補充工程で作成された前記補充マスクの領域に対してマスクを付加するマスク付与工程と、を備える
ことを特徴とする画像処理方法。
【請求項６】
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理プログラムであって、
このコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部と、
前記類似判定部による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって領域に掛かる補充マスクを作成するマスク補充部と、
前記類似判定部による判定によってマスク対象に確定した領域に加えて前記マスク補充部で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部と、して機能させる
画像処理プログラム。
【請求項１】
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部と、
前記類似判定部による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって得られた領域に掛かる補充マスクを作成するマスク補充部と、
前記類似判定部による判定によってマスク対象に確定した領域に加えて前記マスク補充部で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部と、を備える
ことを特徴とする画像処理装置。
【請求項２】
前記マスク補充部は、
前記類似判定部による判定によってマスク対象に確定した領域の座標情報を順次取得する座標情報取得部と、
前記座標情報取得部にて取得された座標情報を保持する補外用データ保持部と、
前記補外用データ保持部に保持されたデータを時間的に前に外挿してマスク対象が検出される前の動きを推測する動き補外部と、
前記動き補外部による外挿によって得られた動きに掛かるように移動するマスクを作成する移動マスク作成部と、を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記類似判定部による判定よってマスク対象に確定した領域と、画像フレーム枠と、の距離が所定閾値以下であるか否かを判定する位置判定部をさらに備え、
前記距離が所定閾値以下の場合に、前記位置判定部は前記マスク補充部を起動させる
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記類似判定部による判定よってマスク対象に確定した領域が画像フレームの中心方向に移動しているか否かを判定する位置判定部をさらに備え、
前記マスク対象に確定した領域が画像フレームの中心方向に移動している場合に、前記位置判定部は前記マスク補充部を起動させる
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出工程と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定工程と、
前記類似判定工程による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって得られた領域に掛かる補充マスクを作成するマスク補充工程と、
前記類似判定工程による判定によってマスク対象に確定した領域に加えて前記マスク補充工程で作成された前記補充マスクの領域に対してマスクを付加するマスク付与工程と、を備える
ことを特徴とする画像処理方法。
【請求項６】
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理プログラムであって、
このコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部と、
前記類似判定部による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって領域に掛かる補充マスクを作成するマスク補充部と、
前記類似判定部による判定によってマスク対象に確定した領域に加えて前記マスク補充部で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部と、して機能させる
画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−９８７５０（Ｐ２０１３−９８７５０Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３９７６５（Ｐ２０１１−２３９７６５）
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]