画像処理装置、画像処理方法およびプログラム
【課題】ぼかしの領域の位置がずれる可能性を低減でき、ぼかしの領域を必要最小限にできる画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】画像処理装置は、画像取得部と、対象検出部と、記録部と、予測位置情報算出部と、画像処理部を有している。画像取得部は、時系列に複数の画像を取得する。対象検出部は、前記画像取得部が取得した画像から画像処理を施す対象を検出する。記録部は、前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する。予測位置算出部は、前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出する。画像処理部は、前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に前記画像処理を施す。
【解決手段】画像処理装置は、画像取得部と、対象検出部と、記録部と、予測位置情報算出部と、画像処理部を有している。画像取得部は、時系列に複数の画像を取得する。対象検出部は、前記画像取得部が取得した画像から画像処理を施す対象を検出する。記録部は、前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する。予測位置算出部は、前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出する。画像処理部は、前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に前記画像処理を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
昨今では、犯罪の防止等のため、レストラン、ホテル、マンションのエントランスなど、プライバシー性が高い場所に監視カメラが設置されている場合がある。特に、このような監視カメラによる監視業務をアウトソーシングしているような場合、複数のサービス利用ユーザや複数の拠点を遠隔で監視することになり、関係者ではない人間が監視映像を目にする。このように、部外者が多数の情報を目にしてしまうため、個人情報や、公序良俗に反する内容を表示しないようにして、監視映像におけるプライバシーを保護することが望ましい。
【０００３】
ところで、上記のような人通りのある場所の監視映像をリアルタイムで目視確認するシステムにおいては、人物の有無や不審行動などを監視すれば十分である。このため、被写体となる人物のプライバシーを考慮し、顔部分にモザイクなどのぼかしをかけるようなシステムが存在する。そして、不審者が現れた時のみ、監視員がぼかしを解除したり、現地の警備員へ連絡を行なったりする。
【０００４】
このとき、顔の認識は、例えば、顔の画像及び顔でない画像の大量の画像サンプルから特徴量を学習して、入力画像の特徴量と比較することにより行う方法、判別能力の低い多数の識別器を組み合わせることにより、高い識別能力を実現する方法がある。特徴量の計算に用いるパターンは、輝度の境目（Ｅｄｇｅ）、線（Ｌｉｎｅ）、包囲（Ｃｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ）のみで顔の認識を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−９４６４２号公報
【非特許文献】
【０００６】
【非特許文献１】Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.
【非特許文献２】Rainer Lienhart and JochenMaydt, "An Extended Set of Haar-like Features for Rapid Object Detection", IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、リアルタイムで監視映像を目視確認するシステムでは、リアルタイムでぼかしの処理が必要な箇所を判断している。このため、顔を検知してから、例えばモザイクを付加するまでのタイムラグがあり、人物の動きが速い場合などに、ぼかしの処理を行なう位置がずれてしまうことがある。
【０００８】
ぼかしの領域を大きくすれば位置がずれる現象の頻度は下がるが、ぼかしの部分を大きくしすぎると、監視業務自体に影響を与えてしまうため、ぼかしの領域は必要最小限にしたい。
【０００９】
上記課題に鑑み、ぼかしの領域の位置がずれる可能性を低減でき、ぼかしの領域を必要最小限にできる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
ひとつの態様である画像処理装置は、画像取得部と、対象検出部と、記録部と、予測位置情報算出部と、画像処理部を有している。画像取得部は、時系列に複数の画像を取得する。対象検出部は、前記画像取得部が取得した画像から画像処理を施す対象を検出する。記録部は、前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する。予測位置算出部は、前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出する。画像処理部は、前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に前記画像処理を施す。
【００１１】
別の態様である画像処理方法において、コンピュータは、時系列に複数の画像を取得し、取得した前記複数の画像から画像処理を施す対象を検出し、検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録する。また、コンピュータは、前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す。
【００１２】
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用効果を奏するので、前述した課題が解決される。
【発明の効果】
【００１３】
上述した態様の画像処理装置、画像処理方法およびプログラムによれば、ぼかしの領域の位置がずれる可能性を低減でき、ぼかしの領域を必要最小限にできる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態による画像処理システムの構成を示す図である。
【図２】第１の実施の形態による画像処理システムの機能を示すブロック図である。
【図３】第１の実施の形態による画像処理を説明する概略図である。
【図４】第１の実施の形態による顔座標の一例を示す表である。
【図５】第１の実施の形態によるぼかしサイズの算出方法を説明する図であり、（ａ）は、動きが比較的少ない場合、（ｂ）は、（ａ）よりも動きが大きい場合、（ｃ）は、予測位置情報に対するぼかしサイズの決定方法の一例を示す。
【図６】第１の実施の形態による画像処理の時間的な流れを説明する図である。
【図７】第１の実施の形態による画像処理システムの動作を示すフローチャートである。
【図８】第１の実施の形態による変形例１による画像処理の時間的な流れを説明する図である。
【図９】第１の実施の形態の変形例２による顔の予測座標範囲のずれを示す図である。
【図１０】第１の実施の形態の変形例２による顔の予測位置と実際の位置とがずれた場合に補正を行なう方法を示す図である。
【図１１】第２の実施の形態による表示画像の例を示す概念図である。
【図１２】第２の実施の形態による画像処理システムの動作を示すフローチャートである。
【図１３】第２の実施の形態の変形例による表示画像の例を示す概念図である。
【図１４】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１５】
（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による画像処理システム１について説明する。図１は、第１の実施の形態による画像処理システム１の構成を示す図、図２は、第１の実施の形態による画像処理システム１の機能を示すブロック図である。
【００１６】
図１に示すように、画像処理システム１は、カメラ３、画像処理装置５、表示装置１７を有しており、カメラ３で撮影した画像に画像処理装置５が所定の処理を施し、表示装置１７に表示するシステムである。
【００１７】
カメラ３は、例えば固体撮像素子を有し、動画を撮影する撮影装置である。画像処理装置５においては、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）７、記録部９、入出力部１１、外部記憶装置１３、ネットワーク接続部１５が互いにバス１６を介して接続されている。画像処理装置５は、カメラ３から画像を取得し、所定の処理を施して表示装置１７に出力する装置である。
【００１８】
ＣＰＵ７は、画像処理装置５全体の動作を制御する演算処理装置である。記録部９は、画像処理装置５の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。記録部９は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入出力部１１は、カメラ３や不図示のキーボード装置、マウス装置などからの各種情報の入力を取得し、取得した入力情報をＣＰＵ７に送付するとともに、画像処理装置５内部での処理結果を表示装置１７等に出力する装置である。
【００１９】
外部記憶装置１３は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ７により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。バス１６は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００２０】
画像処理装置５に所定の処理を実行させるプログラムは、例えば外部記憶装置１３に記憶させる。ＣＰＵ７は、外部記憶装置１３からプログラムを読み出し、画像処理装置５に画像処理の動作を行なわせる。このとき、図２に示すように、画像処理装置５は、主制御部２１、顔検出部２３、予測位置算出部２５、ぼかしサイズ算出部２９、ぼかし用画像生成部３１、画像記録部３３、および顔位置記録テーブル３５として機能する。
【００２１】
主制御部２１は、画像処理装置５の動作を制御する。顔検出部２３は、カメラ３から取得した画像から、例えばプライバシーを保護するため、ぼかしを施す対象（以下、単に対象ともいう）を検出し、その位置情報および時刻情報を顔位置記録テーブル３５に記録する。本実施の形態において、対象は人の「顔」を例にして説明する。また、位置情報とは、ぼかす対象のフレームにおける座標範囲を示す情報である。時刻情報とは、対象を検出した時刻や検出したフレームの順を示す番号等、対象を検出した時刻の差を算出するための情報である。
【００２２】
なお、顔の検出は、画像から特徴量を抽出して学習を行い、その結果と入力画像から抽出した特徴量とを比較することにより認識する方法など、既知の方法を用いることができる。顔検出の方法は、例えば非特許文献１または非特許文献２に記載されている。
【００２３】
予測位置算出部２５は、顔検出部２３が記録した、ぼかす対象の位置情報および時刻情報に基づき、対象の所定時刻後の予測位置を算出する。予測位置とは、対象が所定時刻後に存在すると予測される座標範囲（以下、予測座標範囲という）である。
【００２４】
ぼかしサイズ算出部２９は、顔検出部２３が記録した対象の位置情報および時刻情報に基づき、画像を見た際に対象を視認できないようにするために、ぼかし処理など所定の画像処理を施す座標範囲（以下、ぼかし範囲という）を算出する。ぼかし処理は、例えば画像にモザイクをかけるモザイク処理を採用するようにしてもよい。
【００２５】
ぼかし用画像生成部３１は、予測位置算出部２５で算出された予測座標範囲を含む、ぼかしサイズ算出部２９で算出された座標範囲をぼかし画像など所定の画像に置き換えるための画像を生成する。
【００２６】
画像記録部３３は、カメラ３から取得した画像を記録する。顔位置記録テーブル３５は、顔検出部２３で検出された対象の位置情報および時刻情報を記録する。画像記録部３３、顔位置記録テーブル３５は、例えば、外部記憶装置１３に含まれるようにしてもよい。
【００２７】
以上のように構成される画像処理装置５における画像処理について、図３から図１０を参照しながら説明する。図３は、第１の実施の形態による画像処理を説明する概略図である。図３に示すように、歩行している人が写っている画像があるとする。このとき、解析時位置５１において、顔検出部２３が顔５０の位置情報を位置情報５５と検出する。位置情報は、画像のフレーム上の所定の点を原点とするＸＹ座標系において顔５０として検出された範囲の、例えば左上の座標（以下、顔座標という）と、検出された座標範囲（以下、検出座標範囲という）の大きさで表す。
【００２８】
図４は、顔座標の一例を示す表である。図４に示すように、顔座標テーブル１１０によれば、例えば現在の顔座標（Ｘｎ、Ｙｎ）＝（１５０、１００）、１フレーム前の顔座標（Ｘｎ−１、Ｙｎ−１）＝（２５０、１４０）、２フレーム前の顔座標（Ｘｎ−２、Ｙｎ−２）＝（３５０、１２０）である。顔座標テーブル１１０は、顔位置記録テーブル３５に記録される。また、顔位置記録テーブル３５は、顔座標テーブル１１０と合わせて、位置情報の検出座標範囲を示す情報を格納することが好ましい。また、顔座標テーブル１１０において、「現在のフレーム」「１つ前のフレーム」「２つ前のフレーム」が、時刻情報に相当する。
【００２９】
再び図３を参照して、例えば、現在の解析時位置５１よりも後に撮影されたフレームにおいて、同じ人が予測時位置５３に移動しているとする。このとき、予測位置算出部２５は、検出された位置情報５５および時刻情報と、それ以前に顔位置記録テーブル３５に記録されている顔５０の位置情報および時刻情報に基づき、予測時位置５３における顔５０の予測位置情報５７を算出する。予測位置情報５７は、顔５０の予測時位置５３における予測顔座標と予測座標範囲を含む情報である。
【００３０】
例えば、ｎ（自然数）をフレーム番号として、各フレームにおいて所定の点を原点とするＸＹ座標系を定義したとき、各フレームにおける顔座標は、下記のように変化するものとする。
（Ｘ１、Ｙ１）→（Ｘ２、Ｙ２）→・・・→（Ｘｎ−１、Ｙｎ−１）→（Ｘｎ、Ｙｎ）
【００３１】
例えば、顔の移動速度が一定と仮定すると、フレーム間の時間は一定であると考えられるので、顔座標のフレーム間の変化量ΔＸ、ΔＹは、以下の式１のように表される。
ΔＸ=Ｘｎ−１−Ｘｎ−２、ΔＹ=Ｙｎ−１−Ｙｎ−２・・・（式１）
このとき、顔の予測位置における予測顔座標は、以下の式２で表される。
Ｘｎ＝Ｘｎ−１＋ΔＸ、Ｙｎ＝Ｙｎ−１+ΔＹ・・・（式２）
【００３２】
顔の移動において加速度も考慮すれば、顔座標の変化量は、下記式３のような算出例もある。
ΔＸｎ＝ΔＸｎ−１＋Δ２Ｘ
＝ΔＸｎ−１＋（ΔＸｎ−１−ΔＸｎ−２）
＝２ΔＸｎ−１―ΔＸｎ−２
＝２（Ｘｎ−１―Ｘｎ−２）―（Ｘｎ−２―Ｘｎ−３）
＝２Ｘｎ−１―３Ｘｎ−２＋Ｘｎ−３
ΔＹｎ＝２Ｙｎ−１―３Ｙｎ−２＋Ｙｎ−３・・・（式３）
【００３３】
ぼかしサイズ算出部２９は、検出された位置情報５５およびその時刻情報と、それ以前に顔位置記録テーブル３５に記録されている顔５０の位置情報および時刻情報に基づき、ぼかし（例えば、モザイク）を施すぼかし範囲５９を算出する。このとき、ぼかし範囲５９は、例えば、上記式２または式３に基づいて算出された予測顔座標に基づく予測位置情報５７における顔５０の予測座標範囲を含む範囲とする。
【００３４】
図５は、ぼかしサイズの算出方法を説明する図であり、（ａ）は、動きが比較的少ない場合、（ｂ）は、（ａ）よりも動きが大きい場合、（ｃ）は、予測座標範囲に対するぼかしサイズの決定方法の一例を示す。
【００３５】
図５（ａ）に示すように、顔５０が、速度ベクトル７１、７３、７５により移動した場合、例えば、画像処理装置５は、ぼかし範囲６１を採用する。図５（ｂ）に示すように、顔５０が、速度ベクトル７９、８１、８３により移動した場合、図５（ａ）よりも大きく移動するため、画像処理装置５は、例えば、ぼかし範囲６１よりも大きいぼかし範囲６３を採用することが好ましい。顔５０の動きが大きい場合には、顔５０が算出したぼかし範囲からはずれる可能性が高くなるからである。
【００３６】
よって、図５（ｃ）に示すように、ぼかしサイズ算出部２９は、ぼかし範囲を、対象の移動速度に応じて決定する。すなわち、ぼかしサイズ算出部２９は、顔５０の予測位置情報５７における顔検出サイズ６５に対して、横余剰サイズ６７＝Ｃ×｜Ｖｘ｜をＸ方向の両側に加え、縦余剰サイズ６９＝Ｃ×｜Ｖｙ｜をＹ方向の両側に加えた範囲を、ぼかし範囲７７とする。ここで、Ｃは、ぼかし範囲を決める係数、｜Ｖｘ｜は、顔５０のＸ方向の移動速度ベクトルの絶対値、｜Ｖｙ｜は、顔５０のＹ方向の移動速度ベクトルの絶対値である。なお、例えば、点７８は、予測位置情報５７における顔座標に対応する点である。
【００３７】
図６は、第１の実施の形態による画像処理の時間的な流れを説明する図である。図６に示すように、カメラ３によりフレーム９０−１〜９０−８が時系列に撮影されているとする。図６の例では、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定している。顔検出部２３は、主制御部２１がカメラ３から取得したフレーム９０−１において顔５０を検出し、位置情報５５と対応する時刻情報を顔位置記録テーブル３５に記録する。
【００３８】
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報から予測位置情報５７を算出する。このとき、フレーム９０−１より前の情報がある場合には、例えばフレーム９０−１の一つ前、または一つ前と二つ前の不図示のフレーム９０の位置情報および時刻情報を参照して予測位置情報５７を算出する。ぼかしサイズ算出部２９は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報、並びに、例えばフレーム９０−１の一つ前、または一つ前と二つ前の不図示のフレーム９０の位置情報および時刻情報から、例えばぼかし範囲７７を算出する。なお、顔位置記録テーブル３５にフレーム９０−１よりも前の情報がない場合には、予め位置情報５５に基づいたぼかし範囲７７の算出方法を定めておくようにしてもよい。
【００３９】
ぼかし用画像生成部３１は、算出された予測位置情報５７およびぼかし範囲７７に基づき、ぼかし用画像を生成し、矢印９４のように、フレーム９０−３に重畳する。このとき、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定しているため、同様に、フレーム９０−４、９０−５にもそれぞれ矢印９６、９８のように、フレーム９０−１と同様のぼかし用画像を重畳することになる。
【００４０】
続いて、顔検出部２３は、主制御部２１によりカメラ３から最新に取得されたフレームであるフレーム９０−４について、フレーム９０−１について上記のように行った処理と同様に検出および算出処理を行う。そして、ぼかし用画像生成部３１が生成したぼかし用画像を、矢印１０２〜１０６のようにフレーム９０−６〜９０−８に重畳する。以上の処理を繰り返すことにより、図６の例では、フレーム９０−３以降のフレームのぼかし処理が可能となる。
このとき、ぼかし用画像は、例えば全面同一色の画像など、フレーム９０にかかわらず予め決められた画像とする。
【００４１】
以下、画像処理システム１の動作をフローチャートを参照しながら説明する。図７は、第１の実施の形態による画像処理システム１の動作を示すフローチャートである。図７に示すように、主制御部２１は、カメラ３の映像の最新のフレームを取得する（Ｓ１３１）。このとき同時に、主制御部２１は、画像記録部３３にカメラ３の映像を記録させる。
【００４２】
顔検出部２３は、取得されたフレームから、顔位置の検出を行ない、検出結果を顔位置記録テーブル３５に記録する（Ｓ１３２）。すなわち、顔検出部２３は、顔５０の位置情報と時刻情報を検出し、顔位置記録テーブル３５に記録する。このとき、位置情報として、上述したように、顔５０の顔座標（Ｘｎ、Ｙｎ）を求めるとともに、顔５０に応じた検出座標範囲を検出する。検出座標範囲は、例えば、Ｘ方向の長さ（幅）、Ｙ方向の長さ（高さ）により表すとする。時刻情報は、検出した時刻を記録してもよいし、フレームの番号を表す情報など、情報を検出した時刻の相対関係を示す情報であればよい。
【００４３】
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報及び時刻情報を参照し、図６の例では、２フレーム先の顔５０の予測位置情報を算出する（Ｓ１３３）。このとき、顔位置記録テーブル３５において、参照される位置情報及び時刻情報の数（フレームの数に対応する）は、上述のように、予測位置情報を顔５０の速度のみを考慮して算出するか、加速度まで考慮して算出するかなど、算出方法により変更される。
【００４４】
ぼかしサイズ算出部２９は、Ｓ１３３で算出された予測位置情報と、予測位置情報を算出する際に算出される顔５０の移動速度から、例えば図５のように、ぼかし範囲７７を算出する（Ｓ１３４）。ぼかし範囲７７は、ぼかし範囲７７の例えば左上の座標（ぼかし座標という）と、ぼかし範囲７７の幅及び高さで表すことができる。
【００４５】
ぼかし用画像生成部３１は、ぼかしサイズ算出部２９により算出されたぼかし範囲７７に、所定の色などを施すぼかし用画像を生成する（Ｓ１３６）。主制御部２１は、ぼかし用画像生成部３１が生成したぼかし用画像を取得し、取得したぼかし用画像を、その時点でのカメラ３の映像の最新のフレームに重ね合わせることにより、表示装置１７に表示する画像を生成して表示させる。主制御部２１は、表示装置１７に表示させた画像の次のフレームの画像を取得すると、Ｓ１３１からの処理を繰り返す。
【００４６】
以上詳細に説明したように、第１の実施の形態による画像処理システム１によれば、主制御部２１がカメラ３の映像の最新のフレームを取得すると、顔検出部２３が顔５０の位置情報と時刻情報とを取得し、顔位置記録テーブル３５に記録する。予測位置算出部２５は、顔位置記録テーブル３５を参照して、顔５０の移動速度、移動加速度などを考慮し、例えば３フレーム後の顔５０の予測位置情報を算出する。ぼかしサイズ算出部２９は、顔５０の移動速度、移動加速度などを考慮して、例えばぼかし範囲７７を算出する。ぼかし用画像生成部３１は、算出された予測位置情報に応じたぼかし範囲７７にぼかしをかけるためのぼかし用画像を生成する。主制御部２１は、ぼかし用画像を、取得した最新のフレームに重ね合わせて表示用画像を生成し、表示装置１７に表示する。
【００４７】
以上のように、第１の実施の形態による画像処理システム１によれば、過去の複数のフレームからぼかしの対象の動きを予測し、ぼかしを施すぼかし範囲を算出するので、処理を実行している間に対象が動いても、適切にぼかしを施すことが可能になる。また、対象の移動速度に基づいてぼかし範囲を算出するので、必要以上に広範囲にぼかしを施すことを回避でき、監視などの業務に支障をきたすことを防止できる。
【００４８】
（第１の実施の形態の変形例１）
次に、図８を参照しながら第１の実施の形態の変形例による画像処理システム１について説明する。本変形例は、第１の実施の形態による画像処理システム１におけるぼかしの処理の変形例である。第１の実施の形態の変形例１による画像処理システムにおいて、第１の実施の形態による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第１の実施の形態の変形例１による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
【００４９】
図８は、第１の実施の形態の変形例１による画像処理の時間的な流れを説明する図である。図８に示すように、カメラ３によりフレーム１４０−１〜１４０−８が時系列に撮影されているとする。図８の例では、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定している。顔検出部２３は、フレーム１４０−１を画像記録部３３より読み出し、顔５０を検出し、位置情報５５と対応する時刻情報を顔位置記録テーブル３５に記録する。
【００５０】
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報から予測位置情報５７を算出する。このとき、フレーム１４０−１より前の情報がある場合には、例えばフレーム１４０−１の一つ前、または一つ前と二つ前の不図示のフレーム１４０の位置情報および時刻情報も参照する。ぼかしサイズ算出部２９は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報、並びに、例えばフレーム１４０−１の一つ前、または一つ前と二つ前の不図示のフレーム１４０の位置情報および時刻情報から、例えばぼかし範囲７７を算出する。
【００５１】
ぼかし用画像生成部３１は、算出された予測位置情報５７およびぼかし範囲７７に基づき、ぼかし用画像を生成する。このとき、ぼかし用画像生成部３１は、矢印１４４のように、ぼかし用画像生成部３１で算出されたぼかし範囲７７をぼかしの処理に必要な情報として取得するとともに、主制御部２１がカメラ３から取得した最新のフレームを、矢印１４６のように取得する。ぼかし用画像生成部３１は、取得したフレームにおけるぼかし範囲７７の内部を、例えば通常よりも大きい画素に再分割して、分割された各画素において輝度の平均をとるなど、ぼかしの処理を行う。
【００５２】
ぼかし用画像生成部３１は、ぼかしの処理を施された画像を矢印１４８のようにフレーム１４０−３とする。このとき、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定しているため、同様に、フレーム１４０−４、１４０−５にもそれぞれ矢印１５０、１５２のように、フレーム１４０−１と同様の上記のようなぼかしの処理を行うことになる。
【００５３】
続いて、顔検出部２３は、主制御部２１が取得したフレーム１４０−４について、フレーム１４０−１について上記のように行った処理と同様に検出、算出及びぼかしの処理を行う。ぼかし用画像生成部３１は、生成したぼかしの処理を施した画像を、矢印１５７のようにフレーム１４０−６とする。ぼかし用画像生成部３１は、それぞれのフレーム１４０−７、１４０−８のぼかし範囲７７に対応する部分に解像度を下げる処理を行い、それぞれフレーム１４０−７、１４０−８として表示装置１７に表示する。以上の処理を繰り返すことにより、図８の例では、フレーム１４０−３以降のフレームのぼかし処理が可能となる。
【００５４】
以上説明したように、本変形例では、第１の実施の形態では予め決められた画像に置き換えたぼかし範囲７７について、カメラ３から取得した画像に基づいたぼかしの処理を行う。これにより、第１の実施の形態による画像処理システム１による効果に加え、ぼかしの処理を行った画像の違和感を多少低減させることができる。また、ぼかしの処理の具体的な方法を変えることにより、対象のプライバシーを侵害することなく、動きの概要を視認できるようなぼかしの処理を行うなど、利用環境に応じた処理とすることも可能である。
【００５５】
（第１の実施の形態の変形例２）
次に、第１の実施の形態による変形例２について、図９、図１０を参照しながら説明する。本変形例は、第１の実施の形態及びその変形例１における、ぼかし範囲７７の算出方法の変形例である。第１の実施の形態の変形例２による画像処理システムにおいて、第１の実施の形態、またはその変形例１による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第１の実施の形態の変形例２による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
【００５６】
図９は、第１の実施の形態の変形例１による表示用フレーム１６０を示している。上段は、表示するフレームを概念的に示し、下段は、ぼかし範囲が適切か否かを判別する方法を示している。図９に示すように、最新のフレームがフレーム１６０−２の場合、範囲１６２に示すフレーム１６０−１、フレーム１６０−２のぼかしの処理の対象の位置情報及び時刻情報に基づき、予測位置算出部２５は、対象の予測位置情報を算出する。また、主制御部２１は、ぼかしサイズ算出部２９が算出したぼかし範囲に基づき、フレーム１６０−４の元画像にぼかし範囲１６６のぼかしを重畳した画像を表示画像とする。
【００５７】
ここで、予測位置算出部２５は、フレーム１６０−４における予測位置情報として、図９の下段に示すように、予測顔位置情報１６８を算出したとする。主制御部２１は、フレーム１６０−４において実際の顔の位置を、実測顔位置情報１７０と検出したとする。
【００５８】
図１０は、予測した顔の位置と実際の位置とがずれた場合に補正を行なう方法を示している。図１０において、予測顔位置情報１６８に基づきぼかし範囲１６６が設定されており、それに対して実際の対象から検出された対象の範囲は、実測顔位置情報１７０である。
【００５９】
ここで、ぼかし範囲１６６では、高さＨｍ＝Ｃｘ×｜Ｖｘ｜、幅Ｗｍ＝Ｃｙ×｜Ｖｙ｜であるとする。予測顔位置情報１６８においては、左上の座標が（Ｘｐｒｅ、Ｙｐｒｅ）、Ｘ方向の長さを幅Ｗｐｒｅ、Ｙ方向の長さを高さｈｐｒｅとする。実測顔位置情報１７０においては、左上の座標が（Ｘｒｅｓ、Ｙｒｅｓ）、Ｘ方向の長さを幅Ｗｒｅｓ、Ｙ方向の長さを高さｈｒｅｓとする。
【００６０】
このとき、Ｃｘ、Ｃｙを、以下の式４を判別式として、予測顔位置情報１６８と実測顔位置情報１７０とのずれに応じて変化させる。以下、Ｘ方向を例にして説明する。
|Ｘｐｒｅ−Ｘｒｅｓ|+Ｗｒｅｓ／２≦Ｗｍ／２・・・（式４）
【００６１】
式４を満たすときには、主制御部２１は、実測顔位置情報１７０がぼかし範囲１６６からはみ出してはいないと判別する。式４を満たさない場合には、主制御部２１は、実測顔位置情報１７０の少なくとも一部がぼかし範囲１６６からはみ出していると判別する。この場合には、主制御部２１は、ぼかしサイズ算出部２９におけるぼかしサイズ算出の際の係数Ｃｘを増加させる。
【００６２】
このとき、係数Ｃｘは、例えば、ぼかし範囲１６６に実測顔位置情報１７０がちょうど収まるサイズになるように、以下の式５のように定める。
|Ｘｐｒｅ−Ｘｒｅｓ|+Ｗｒｅｓ／２=Ｗｍ／２＝（Ｃｘ×｜Ｖｘ｜）／２・・・（式５）
すなわち、係数Ｃｘは、以下の式６で表される。
Ｃｘ＝（２|Ｘｐｒｅ−Ｘｒｅｓ|+Ｘｒｅｓ）／|Ｖｘ|・・・（式６）
Ｙ方向についても同様に算出することにより、以下の式７が得られる。
Ｃｙ＝（２|Ｙｐｒｅ−Ｙｒｅｓ|+Ｙｒｅｓ）／|Ｖｙ|・・・（式７）
【００６３】
以上説明したように、本変形例では、第１の実施の形態及びその変形例２においては固定値であった係数Ｃｘ、Ｃｙを、顔５０が算出されたぼかし範囲からはみ出していると判別された場合に、増加させる。このとき、係数Ｃｘ、Ｃｙは、予測した顔５０の位置と、実際の顔５０の位置とのずれに基づき変化させる。これにより、第１の実施の形態による画像処理システム１による効果に加え、さらに的確な範囲にぼかしの処理を行うことができる。また、ぼかしの処理がより的確な範囲に行われるので、対象のプライバシーを侵害することなく、画像による監視等をさらに十分に行うことも可能である。
【００６４】
（第２の実施の形態）
以下、図１１、図１２を参照しながら、第２の実施の形態による画像処理システムについて説明する。第２の実施の形態による画像処理システムにおいて、第１の実施の形態、その変形例１、または変形例２による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第２の実施の形態による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
【００６５】
図１１は、本実施の形態による表示画像の例を示す概念図、図１２は、第２の実施の形態による画像処理システム１の動作を示すフローチャートである。図１１に示すように、本実施の形態においては、表示画像２００における外縁部２０２が、常にぼかし処理を行った状態で表示される。
【００６６】
表示画像２００には、人２０４が撮影されている。表示画像２００の元の画像であるフレームにおいて、人２０４の顔２０６は、第１の実施の形態及びその変形例１、２で説明したように、顔検出部２３により検出されてぼかしの処理を行う対象であるとする。上述のように、画像処理システム１においては、主制御部２１が取得したフレームについて顔検出部２３が顔２０６を検出し、例えば２フレーム後のフレームにおける顔２０６の位置を予測してぼかし範囲にぼかしの処理を行う。よって、顔検出部２３が顔２０６を検出した直後はぼかしの処理が行われず、もとの画像がそのまま表示されてしまい、プライバシーが侵害されることがある。
【００６７】
例えば、人２０４が、表示画像２００における矢印２０８の方向に移動してきたとする。すなわち、人２０４は、表示画像２００の向かって右側の端から移動してきたとする。このとき、例えば人２０４が表示画像２００の右側の端に近い領域に撮影される間は、ぼかしの処理が間に合わずに、そのままの画像が表示される。そこで本実施の形態においては、表示画像２００における外縁部２０２に常にぼかし処理を行った状態で表示することにより、ぼかしの処理が間に合わない間、ぼかしの対象が撮影されると推定される領域に常にぼかしの処理を行った状態で表示する。
【００６８】
以下、図１２を参照しながら本実施の形態による画像処理システム１の動作について説明する。図１２に示すように、主制御部２１は、カメラ３の映像の最新のフレームを取得する（Ｓ２１１）。このとき同時に、主制御部２１は、画像記録部３３にカメラ３の映像を記録させる。
【００６９】
顔検出部２３は、取得されたフレームから、顔位置の検出を行ない、検出結果を顔位置記録テーブル３５に記録する（Ｓ２１２）。すなわち、顔検出部２３は、顔２０６の位置情報と時刻情報を検出し、顔位置記録テーブル３５に記録する。
【００７０】
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報及び時刻情報を参照し、例えば、２フレーム先の顔２０６の予測位置情報を算出する（Ｓ２１３）。このとき、顔位置記録テーブル３５において、参照される位置情報及び時刻情報の数（フレームの数に対応する）は、上述のように、予測位置情報を顔２０６の速度のみを考慮して算出するか、加速度まで考慮して算出するかなど、算出方法により変更される。
【００７１】
ぼかしサイズ算出部２９は、Ｓ２１３で算出された予測位置情報と、予測位置情報を算出する際に算出される顔２０６の移動速度から、ぼかし範囲を算出する（Ｓ２１４）。ぼかし用画像生成部３１は、ぼかしサイズ算出部２９により算出されたぼかし範囲に、所定の色などを施すぼかし用画像を生成する（Ｓ２１５）。
【００７２】
一方、主制御部２１は、Ｓ２１１でカメラ３が取得した画像の外縁部２０２の解像度を下げる処理を行う（Ｓ２１６）。ここで、解像度を下げる処理は、例えば、外縁部２０２全体を均一な色及び輝度の画像に置き換える処理とすることもできる。主制御部２１は、ぼかし用画像生成部３１が生成したぼかし用画像を取得し、取得したぼかし用画像を、その時点でのカメラ３の映像の最新のフレームに、Ｓ２１６の処理を施した画像と重ね合わせることにより、表示装置１７に表示する画像を生成して表示させる。主制御部２１は、表示装置１７に表示させた画像の次のフレームの画像を取得すると、Ｓ１３１からの処理を繰り返す。
【００７３】
以上説明したように、第２の実施の形態による画像処理システム１においては、表示画像２００の外縁部２０２は、常に解像度が低い状態で表示される。これにより、表示画像の端部に初めてぼかしの処理の対象が登場した場合に、ぼかしの処理が間に合わずにプライバシーを侵害することを防止することができる。
【００７４】
（第２の実施の形態の変形例）
次に、第２の実施の形態による変形例について、図１３を参照しながら説明する。第２の実施の形態による画像処理システムにおいて、第１の実施の形態、その変形例１、変形例２、または、第２の実施の形態による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第２の実施の形態の変形例による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
【００７５】
図１３は、本変形例による表示画像の例を示す概念図である。図１３に示すように、本実施の形態においては、カメラより取得されたフレーム２３０における外縁部２３２を除いた画像２３４が表示される。
【００７６】
フレーム２３０において撮影されている人２０４が、矢印２０８のように、表示画像２００の向かって右側の端から移動してきたとする。上述のように、画像処理システム１においては、主制御部２１が取得したフレーム２３０について顔検出部２３が顔２０６を検出し、例えば２フレーム後のフレームにおける顔２０６の位置を予測して、算出されたぼかし範囲にぼかしの処理を行う。よって、顔検出部２３が顔２０６を検出した直後はぼかしの処理が行われず、もとの画像がそのまま表示されてしまい、プライバシーが侵害されることがある。そこで本変形例においては、フレーム２３０における外縁部２３２を表示せず、画像２３４を表示する。表示方法は、画像２３４をフレーム２３０の大きさに拡大して表示してもよいし、外縁部２３２を未表示の状態としてもよい。
【００７７】
本変形例による画像処理は、第２の実施の形態による画像処理システム１の動作と、図１２のＳ２１６の表示用画像処理の内容以外は同一である。本変形例では、Ｓ２１６の表示用画像処理において、上述のように、画像２３４を不図示の画面いっぱいに表示するなど、外縁部２３２が表示されないような処理を施す。
【００７８】
以上説明したように、第２の実施の形態による画像処理システム１においては、表示画像２００の外縁部２０２は、常に解像度が低い状態で表示される。これにより、表示画像の端部にはじめてぼかしの処理の対象が登場した場合に、ぼかしの処理が間に合わずにプライバシーを侵害することを防止することができる。
【００７９】
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例において、主制御部２１は、画像取得部、画像処理部の一例であり、顔検出部２３は、対象検出部の一例であり、顔位置記録テーブル３５は、記録部の一例である。予測位置算出部２５は、予測位置情報算出部及び移動速度算出部の一例であり、ぼかしサイズ算出部２９は、範囲算出部の一例である。
【００８０】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。
例えば、上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例において、ぼかしの処理の対象のぼかし範囲を長方形としているが、例えば所定の半径の円の範囲など、他の形状でもよい。ぼかし範囲は、対象の移動速度に応じて変化させるようにしたが、例えば、撮影開始時には、検出されたぼかしの対象の位置情報における検出座標範囲の定数倍など、対象の移動速度とは独立したぼかし範囲とするようにしてもよい。
【００８１】
ぼかし範囲を決定する際に、直前のフレームにおける対象の位置との間の移動速度及び移動加速度を参照したが、例えば、図５における、ベクトル７１、７３、７５の総和のベクトルに基づき移動速度及び移動加速度を参照するなど、変形が可能である。
【００８２】
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例は、例えば、第１の実施の形態と第２の実施の形態の変形例とを組み合わせるなど、実現可能な任意の組み合わせが可能である。
【００８３】
ここで、上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例による画像処理の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１４は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１４に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、記録部９、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。記録部９は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。記録部９は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【００８４】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００８５】
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例による画像処理をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に画像処理の動作を行なわせる。このとき、まず、画像処理の動作をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
【００８６】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
時系列に複数の画像を取得する画像取得部と、
前記画像取得部が取得した画像から画像処理を施す対象を検出する対象検出部と、
前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する記録部と、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出する予測位置情報算出部と、
前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に画像処理を施す画像処理部と、
を有することを特徴とする画像処理装置。
（付記２）
複数の前記位置情報および前記時刻情報に基づき前記画像処理を施す範囲を算出する範囲算出部、
をさらに有し、
前記画像処理部は、前記範囲に前記画像処理を施すことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記画像処理は、前記対象を識別不可能にするための処理であることを特徴とする付記１または付記２に記載の画像処理装置。
（付記４）
複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度を算出する移動速度算出部、
をさらに有し、
前記範囲算出部は、前記移動速度に基づき前記範囲を算出することを特徴とする付記２に記載の画像処理装置。
（付記５）
前記予測位置情報と、前記後に取得された画像における前記対象の位置情報とのずれを検出するずれ検出部、
をさらに有し、
前記範囲算出部は、前記ずれに応じて次に算出する前記範囲を調整することを特徴とする付記２または付記４に記載の画像処理装置。
（付記６）
前記予測位置情報算出部は、前記移動速度に基づき前記予測位置情報を算出することを特徴とする付記４に記載の画像処理装置。
（付記７）
前記移動速度算出部は、複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度および移動加速度を求め、
前記予測位置情報算出部は、前記移動速度および前記移動加速度に基づき前記予測位置情報を算出することを特徴とする付記４に記載の画像処理装置。
（付記８）
前記画像取得部が取得した画像の外縁部に画像処理を行う画像処理部、
をさらに有し、
前記予測位置情報に応じた部分に画像処理を行う前記画像処理部は、前記外縁部に画像処理を行った画像にさらに前記予測位置情報に応じた部分に画像処理を行うことを特徴とする付記１から付記７のいずれかに記載の画像処理装置。
（付記９）
前記外縁部の画像処理は、モザイク処理であることを特徴とする付記８に記載の画像処理装置。
（付記１０）
前記外縁部の画像処理は、前記外縁部を非表示にする処理であることを特徴とする付記８に記載の画像処理装置。
（付記１１）
コンピュータが、
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、
前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す、
ことを特徴とする画像処理方法。
（付記１２）
複数の前記位置情報および前記時刻情報に基づき前記予測位置情報に応じた部分に前記画像処理を施す範囲を算出し、
前記範囲に画像処理を施すことを特徴とする付記１１に記載の画像処理方法。
（付記１３）
複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度を算出し、
前記移動速度に基づき前記範囲を算出することを特徴とする付記１２に記載の画像処理方法。
（付記１４）
前記予測位置情報と、前記後から取得した画像における前記対象の位置情報とのずれを検出し、
前記ずれに応じて次に算出する前記範囲を調整することを特徴とする付記１２または付記１３に記載の画像処理方法。
（付記１５）
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出し、
前記後に取得された画像の算出された前記予測位置情報に応じた部分に前記画像処理を施す、
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【００８７】
１ 画像処理システム
３ カメラ
５ 画像処理装置
７ ＣＰＵ
９ 記録部
１１ 入出力部
１３ 外部記憶装置
１５ ネットワーク接続部
１７ 表示装置
２１ 主制御部
２３ 顔検出部
２５ 予測位置算出部
２９ ぼかしサイズ算出部
３１ ぼかし用画像生成部
３３ 画像記録部
３５ 顔位置記録テーブル
５０ 顔
５１ 解析時位置
５３ 予測時位置
５５ 位置情報
５７ 予測位置情報
５９、６１、６３ ぼかし範囲
６５ 顔検出サイズ
６７ 横余剰サイズ
６９ 縦余剰サイズ
７７ ぼかし範囲
１１０ 顔座標テーブル
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
昨今では、犯罪の防止等のため、レストラン、ホテル、マンションのエントランスなど、プライバシー性が高い場所に監視カメラが設置されている場合がある。特に、このような監視カメラによる監視業務をアウトソーシングしているような場合、複数のサービス利用ユーザや複数の拠点を遠隔で監視することになり、関係者ではない人間が監視映像を目にする。このように、部外者が多数の情報を目にしてしまうため、個人情報や、公序良俗に反する内容を表示しないようにして、監視映像におけるプライバシーを保護することが望ましい。
【０００３】
ところで、上記のような人通りのある場所の監視映像をリアルタイムで目視確認するシステムにおいては、人物の有無や不審行動などを監視すれば十分である。このため、被写体となる人物のプライバシーを考慮し、顔部分にモザイクなどのぼかしをかけるようなシステムが存在する。そして、不審者が現れた時のみ、監視員がぼかしを解除したり、現地の警備員へ連絡を行なったりする。
【０００４】
このとき、顔の認識は、例えば、顔の画像及び顔でない画像の大量の画像サンプルから特徴量を学習して、入力画像の特徴量と比較することにより行う方法、判別能力の低い多数の識別器を組み合わせることにより、高い識別能力を実現する方法がある。特徴量の計算に用いるパターンは、輝度の境目（Ｅｄｇｅ）、線（Ｌｉｎｅ）、包囲（Ｃｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ）のみで顔の認識を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−９４６４２号公報
【非特許文献】
【０００６】
【非特許文献１】Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.
【非特許文献２】Rainer Lienhart and JochenMaydt, "An Extended Set of Haar-like Features for Rapid Object Detection", IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、リアルタイムで監視映像を目視確認するシステムでは、リアルタイムでぼかしの処理が必要な箇所を判断している。このため、顔を検知してから、例えばモザイクを付加するまでのタイムラグがあり、人物の動きが速い場合などに、ぼかしの処理を行なう位置がずれてしまうことがある。
【０００８】
ぼかしの領域を大きくすれば位置がずれる現象の頻度は下がるが、ぼかしの部分を大きくしすぎると、監視業務自体に影響を与えてしまうため、ぼかしの領域は必要最小限にしたい。
【０００９】
上記課題に鑑み、ぼかしの領域の位置がずれる可能性を低減でき、ぼかしの領域を必要最小限にできる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
ひとつの態様である画像処理装置は、画像取得部と、対象検出部と、記録部と、予測位置情報算出部と、画像処理部を有している。画像取得部は、時系列に複数の画像を取得する。対象検出部は、前記画像取得部が取得した画像から画像処理を施す対象を検出する。記録部は、前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する。予測位置算出部は、前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出する。画像処理部は、前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に前記画像処理を施す。
【００１１】
別の態様である画像処理方法において、コンピュータは、時系列に複数の画像を取得し、取得した前記複数の画像から画像処理を施す対象を検出し、検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録する。また、コンピュータは、前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す。
【００１２】
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用効果を奏するので、前述した課題が解決される。
【発明の効果】
【００１３】
上述した態様の画像処理装置、画像処理方法およびプログラムによれば、ぼかしの領域の位置がずれる可能性を低減でき、ぼかしの領域を必要最小限にできる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態による画像処理システムの構成を示す図である。
【図２】第１の実施の形態による画像処理システムの機能を示すブロック図である。
【図３】第１の実施の形態による画像処理を説明する概略図である。
【図４】第１の実施の形態による顔座標の一例を示す表である。
【図５】第１の実施の形態によるぼかしサイズの算出方法を説明する図であり、（ａ）は、動きが比較的少ない場合、（ｂ）は、（ａ）よりも動きが大きい場合、（ｃ）は、予測位置情報に対するぼかしサイズの決定方法の一例を示す。
【図６】第１の実施の形態による画像処理の時間的な流れを説明する図である。
【図７】第１の実施の形態による画像処理システムの動作を示すフローチャートである。
【図８】第１の実施の形態による変形例１による画像処理の時間的な流れを説明する図である。
【図９】第１の実施の形態の変形例２による顔の予測座標範囲のずれを示す図である。
【図１０】第１の実施の形態の変形例２による顔の予測位置と実際の位置とがずれた場合に補正を行なう方法を示す図である。
【図１１】第２の実施の形態による表示画像の例を示す概念図である。
【図１２】第２の実施の形態による画像処理システムの動作を示すフローチャートである。
【図１３】第２の実施の形態の変形例による表示画像の例を示す概念図である。
【図１４】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１５】
（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による画像処理システム１について説明する。図１は、第１の実施の形態による画像処理システム１の構成を示す図、図２は、第１の実施の形態による画像処理システム１の機能を示すブロック図である。
【００１６】
図１に示すように、画像処理システム１は、カメラ３、画像処理装置５、表示装置１７を有しており、カメラ３で撮影した画像に画像処理装置５が所定の処理を施し、表示装置１７に表示するシステムである。
【００１７】
カメラ３は、例えば固体撮像素子を有し、動画を撮影する撮影装置である。画像処理装置５においては、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）７、記録部９、入出力部１１、外部記憶装置１３、ネットワーク接続部１５が互いにバス１６を介して接続されている。画像処理装置５は、カメラ３から画像を取得し、所定の処理を施して表示装置１７に出力する装置である。
【００１８】
ＣＰＵ７は、画像処理装置５全体の動作を制御する演算処理装置である。記録部９は、画像処理装置５の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。記録部９は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入出力部１１は、カメラ３や不図示のキーボード装置、マウス装置などからの各種情報の入力を取得し、取得した入力情報をＣＰＵ７に送付するとともに、画像処理装置５内部での処理結果を表示装置１７等に出力する装置である。
【００１９】
外部記憶装置１３は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ７により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。バス１６は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００２０】
画像処理装置５に所定の処理を実行させるプログラムは、例えば外部記憶装置１３に記憶させる。ＣＰＵ７は、外部記憶装置１３からプログラムを読み出し、画像処理装置５に画像処理の動作を行なわせる。このとき、図２に示すように、画像処理装置５は、主制御部２１、顔検出部２３、予測位置算出部２５、ぼかしサイズ算出部２９、ぼかし用画像生成部３１、画像記録部３３、および顔位置記録テーブル３５として機能する。
【００２１】
主制御部２１は、画像処理装置５の動作を制御する。顔検出部２３は、カメラ３から取得した画像から、例えばプライバシーを保護するため、ぼかしを施す対象（以下、単に対象ともいう）を検出し、その位置情報および時刻情報を顔位置記録テーブル３５に記録する。本実施の形態において、対象は人の「顔」を例にして説明する。また、位置情報とは、ぼかす対象のフレームにおける座標範囲を示す情報である。時刻情報とは、対象を検出した時刻や検出したフレームの順を示す番号等、対象を検出した時刻の差を算出するための情報である。
【００２２】
なお、顔の検出は、画像から特徴量を抽出して学習を行い、その結果と入力画像から抽出した特徴量とを比較することにより認識する方法など、既知の方法を用いることができる。顔検出の方法は、例えば非特許文献１または非特許文献２に記載されている。
【００２３】
予測位置算出部２５は、顔検出部２３が記録した、ぼかす対象の位置情報および時刻情報に基づき、対象の所定時刻後の予測位置を算出する。予測位置とは、対象が所定時刻後に存在すると予測される座標範囲（以下、予測座標範囲という）である。
【００２４】
ぼかしサイズ算出部２９は、顔検出部２３が記録した対象の位置情報および時刻情報に基づき、画像を見た際に対象を視認できないようにするために、ぼかし処理など所定の画像処理を施す座標範囲（以下、ぼかし範囲という）を算出する。ぼかし処理は、例えば画像にモザイクをかけるモザイク処理を採用するようにしてもよい。
【００２５】
ぼかし用画像生成部３１は、予測位置算出部２５で算出された予測座標範囲を含む、ぼかしサイズ算出部２９で算出された座標範囲をぼかし画像など所定の画像に置き換えるための画像を生成する。
【００２６】
画像記録部３３は、カメラ３から取得した画像を記録する。顔位置記録テーブル３５は、顔検出部２３で検出された対象の位置情報および時刻情報を記録する。画像記録部３３、顔位置記録テーブル３５は、例えば、外部記憶装置１３に含まれるようにしてもよい。
【００２７】
以上のように構成される画像処理装置５における画像処理について、図３から図１０を参照しながら説明する。図３は、第１の実施の形態による画像処理を説明する概略図である。図３に示すように、歩行している人が写っている画像があるとする。このとき、解析時位置５１において、顔検出部２３が顔５０の位置情報を位置情報５５と検出する。位置情報は、画像のフレーム上の所定の点を原点とするＸＹ座標系において顔５０として検出された範囲の、例えば左上の座標（以下、顔座標という）と、検出された座標範囲（以下、検出座標範囲という）の大きさで表す。
【００２８】
図４は、顔座標の一例を示す表である。図４に示すように、顔座標テーブル１１０によれば、例えば現在の顔座標（Ｘｎ、Ｙｎ）＝（１５０、１００）、１フレーム前の顔座標（Ｘｎ−１、Ｙｎ−１）＝（２５０、１４０）、２フレーム前の顔座標（Ｘｎ−２、Ｙｎ−２）＝（３５０、１２０）である。顔座標テーブル１１０は、顔位置記録テーブル３５に記録される。また、顔位置記録テーブル３５は、顔座標テーブル１１０と合わせて、位置情報の検出座標範囲を示す情報を格納することが好ましい。また、顔座標テーブル１１０において、「現在のフレーム」「１つ前のフレーム」「２つ前のフレーム」が、時刻情報に相当する。
【００２９】
再び図３を参照して、例えば、現在の解析時位置５１よりも後に撮影されたフレームにおいて、同じ人が予測時位置５３に移動しているとする。このとき、予測位置算出部２５は、検出された位置情報５５および時刻情報と、それ以前に顔位置記録テーブル３５に記録されている顔５０の位置情報および時刻情報に基づき、予測時位置５３における顔５０の予測位置情報５７を算出する。予測位置情報５７は、顔５０の予測時位置５３における予測顔座標と予測座標範囲を含む情報である。
【００３０】
例えば、ｎ（自然数）をフレーム番号として、各フレームにおいて所定の点を原点とするＸＹ座標系を定義したとき、各フレームにおける顔座標は、下記のように変化するものとする。
（Ｘ１、Ｙ１）→（Ｘ２、Ｙ２）→・・・→（Ｘｎ−１、Ｙｎ−１）→（Ｘｎ、Ｙｎ）
【００３１】
例えば、顔の移動速度が一定と仮定すると、フレーム間の時間は一定であると考えられるので、顔座標のフレーム間の変化量ΔＸ、ΔＹは、以下の式１のように表される。
ΔＸ=Ｘｎ−１−Ｘｎ−２、ΔＹ=Ｙｎ−１−Ｙｎ−２・・・（式１）
このとき、顔の予測位置における予測顔座標は、以下の式２で表される。
Ｘｎ＝Ｘｎ−１＋ΔＸ、Ｙｎ＝Ｙｎ−１+ΔＹ・・・（式２）
【００３２】
顔の移動において加速度も考慮すれば、顔座標の変化量は、下記式３のような算出例もある。
ΔＸｎ＝ΔＸｎ−１＋Δ２Ｘ
＝ΔＸｎ−１＋（ΔＸｎ−１−ΔＸｎ−２）
＝２ΔＸｎ−１―ΔＸｎ−２
＝２（Ｘｎ−１―Ｘｎ−２）―（Ｘｎ−２―Ｘｎ−３）
＝２Ｘｎ−１―３Ｘｎ−２＋Ｘｎ−３
ΔＹｎ＝２Ｙｎ−１―３Ｙｎ−２＋Ｙｎ−３・・・（式３）
【００３３】
ぼかしサイズ算出部２９は、検出された位置情報５５およびその時刻情報と、それ以前に顔位置記録テーブル３５に記録されている顔５０の位置情報および時刻情報に基づき、ぼかし（例えば、モザイク）を施すぼかし範囲５９を算出する。このとき、ぼかし範囲５９は、例えば、上記式２または式３に基づいて算出された予測顔座標に基づく予測位置情報５７における顔５０の予測座標範囲を含む範囲とする。
【００３４】
図５は、ぼかしサイズの算出方法を説明する図であり、（ａ）は、動きが比較的少ない場合、（ｂ）は、（ａ）よりも動きが大きい場合、（ｃ）は、予測座標範囲に対するぼかしサイズの決定方法の一例を示す。
【００３５】
図５（ａ）に示すように、顔５０が、速度ベクトル７１、７３、７５により移動した場合、例えば、画像処理装置５は、ぼかし範囲６１を採用する。図５（ｂ）に示すように、顔５０が、速度ベクトル７９、８１、８３により移動した場合、図５（ａ）よりも大きく移動するため、画像処理装置５は、例えば、ぼかし範囲６１よりも大きいぼかし範囲６３を採用することが好ましい。顔５０の動きが大きい場合には、顔５０が算出したぼかし範囲からはずれる可能性が高くなるからである。
【００３６】
よって、図５（ｃ）に示すように、ぼかしサイズ算出部２９は、ぼかし範囲を、対象の移動速度に応じて決定する。すなわち、ぼかしサイズ算出部２９は、顔５０の予測位置情報５７における顔検出サイズ６５に対して、横余剰サイズ６７＝Ｃ×｜Ｖｘ｜をＸ方向の両側に加え、縦余剰サイズ６９＝Ｃ×｜Ｖｙ｜をＹ方向の両側に加えた範囲を、ぼかし範囲７７とする。ここで、Ｃは、ぼかし範囲を決める係数、｜Ｖｘ｜は、顔５０のＸ方向の移動速度ベクトルの絶対値、｜Ｖｙ｜は、顔５０のＹ方向の移動速度ベクトルの絶対値である。なお、例えば、点７８は、予測位置情報５７における顔座標に対応する点である。
【００３７】
図６は、第１の実施の形態による画像処理の時間的な流れを説明する図である。図６に示すように、カメラ３によりフレーム９０−１〜９０−８が時系列に撮影されているとする。図６の例では、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定している。顔検出部２３は、主制御部２１がカメラ３から取得したフレーム９０−１において顔５０を検出し、位置情報５５と対応する時刻情報を顔位置記録テーブル３５に記録する。
【００３８】
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報から予測位置情報５７を算出する。このとき、フレーム９０−１より前の情報がある場合には、例えばフレーム９０−１の一つ前、または一つ前と二つ前の不図示のフレーム９０の位置情報および時刻情報を参照して予測位置情報５７を算出する。ぼかしサイズ算出部２９は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報、並びに、例えばフレーム９０−１の一つ前、または一つ前と二つ前の不図示のフレーム９０の位置情報および時刻情報から、例えばぼかし範囲７７を算出する。なお、顔位置記録テーブル３５にフレーム９０−１よりも前の情報がない場合には、予め位置情報５５に基づいたぼかし範囲７７の算出方法を定めておくようにしてもよい。
【００３９】
ぼかし用画像生成部３１は、算出された予測位置情報５７およびぼかし範囲７７に基づき、ぼかし用画像を生成し、矢印９４のように、フレーム９０−３に重畳する。このとき、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定しているため、同様に、フレーム９０−４、９０−５にもそれぞれ矢印９６、９８のように、フレーム９０−１と同様のぼかし用画像を重畳することになる。
【００４０】
続いて、顔検出部２３は、主制御部２１によりカメラ３から最新に取得されたフレームであるフレーム９０−４について、フレーム９０−１について上記のように行った処理と同様に検出および算出処理を行う。そして、ぼかし用画像生成部３１が生成したぼかし用画像を、矢印１０２〜１０６のようにフレーム９０−６〜９０−８に重畳する。以上の処理を繰り返すことにより、図６の例では、フレーム９０−３以降のフレームのぼかし処理が可能となる。
このとき、ぼかし用画像は、例えば全面同一色の画像など、フレーム９０にかかわらず予め決められた画像とする。
【００４１】
以下、画像処理システム１の動作をフローチャートを参照しながら説明する。図７は、第１の実施の形態による画像処理システム１の動作を示すフローチャートである。図７に示すように、主制御部２１は、カメラ３の映像の最新のフレームを取得する（Ｓ１３１）。このとき同時に、主制御部２１は、画像記録部３３にカメラ３の映像を記録させる。
【００４２】
顔検出部２３は、取得されたフレームから、顔位置の検出を行ない、検出結果を顔位置記録テーブル３５に記録する（Ｓ１３２）。すなわち、顔検出部２３は、顔５０の位置情報と時刻情報を検出し、顔位置記録テーブル３５に記録する。このとき、位置情報として、上述したように、顔５０の顔座標（Ｘｎ、Ｙｎ）を求めるとともに、顔５０に応じた検出座標範囲を検出する。検出座標範囲は、例えば、Ｘ方向の長さ（幅）、Ｙ方向の長さ（高さ）により表すとする。時刻情報は、検出した時刻を記録してもよいし、フレームの番号を表す情報など、情報を検出した時刻の相対関係を示す情報であればよい。
【００４３】
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報及び時刻情報を参照し、図６の例では、２フレーム先の顔５０の予測位置情報を算出する（Ｓ１３３）。このとき、顔位置記録テーブル３５において、参照される位置情報及び時刻情報の数（フレームの数に対応する）は、上述のように、予測位置情報を顔５０の速度のみを考慮して算出するか、加速度まで考慮して算出するかなど、算出方法により変更される。
【００４４】
ぼかしサイズ算出部２９は、Ｓ１３３で算出された予測位置情報と、予測位置情報を算出する際に算出される顔５０の移動速度から、例えば図５のように、ぼかし範囲７７を算出する（Ｓ１３４）。ぼかし範囲７７は、ぼかし範囲７７の例えば左上の座標（ぼかし座標という）と、ぼかし範囲７７の幅及び高さで表すことができる。
【００４５】
ぼかし用画像生成部３１は、ぼかしサイズ算出部２９により算出されたぼかし範囲７７に、所定の色などを施すぼかし用画像を生成する（Ｓ１３６）。主制御部２１は、ぼかし用画像生成部３１が生成したぼかし用画像を取得し、取得したぼかし用画像を、その時点でのカメラ３の映像の最新のフレームに重ね合わせることにより、表示装置１７に表示する画像を生成して表示させる。主制御部２１は、表示装置１７に表示させた画像の次のフレームの画像を取得すると、Ｓ１３１からの処理を繰り返す。
【００４６】
以上詳細に説明したように、第１の実施の形態による画像処理システム１によれば、主制御部２１がカメラ３の映像の最新のフレームを取得すると、顔検出部２３が顔５０の位置情報と時刻情報とを取得し、顔位置記録テーブル３５に記録する。予測位置算出部２５は、顔位置記録テーブル３５を参照して、顔５０の移動速度、移動加速度などを考慮し、例えば３フレーム後の顔５０の予測位置情報を算出する。ぼかしサイズ算出部２９は、顔５０の移動速度、移動加速度などを考慮して、例えばぼかし範囲７７を算出する。ぼかし用画像生成部３１は、算出された予測位置情報に応じたぼかし範囲７７にぼかしをかけるためのぼかし用画像を生成する。主制御部２１は、ぼかし用画像を、取得した最新のフレームに重ね合わせて表示用画像を生成し、表示装置１７に表示する。
【００４７】
以上のように、第１の実施の形態による画像処理システム１によれば、過去の複数のフレームからぼかしの対象の動きを予測し、ぼかしを施すぼかし範囲を算出するので、処理を実行している間に対象が動いても、適切にぼかしを施すことが可能になる。また、対象の移動速度に基づいてぼかし範囲を算出するので、必要以上に広範囲にぼかしを施すことを回避でき、監視などの業務に支障をきたすことを防止できる。
【００４８】
（第１の実施の形態の変形例１）
次に、図８を参照しながら第１の実施の形態の変形例による画像処理システム１について説明する。本変形例は、第１の実施の形態による画像処理システム１におけるぼかしの処理の変形例である。第１の実施の形態の変形例１による画像処理システムにおいて、第１の実施の形態による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第１の実施の形態の変形例１による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
【００４９】
図８は、第１の実施の形態の変形例１による画像処理の時間的な流れを説明する図である。図８に示すように、カメラ３によりフレーム１４０−１〜１４０−８が時系列に撮影されているとする。図８の例では、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定している。顔検出部２３は、フレーム１４０−１を画像記録部３３より読み出し、顔５０を検出し、位置情報５５と対応する時刻情報を顔位置記録テーブル３５に記録する。
【００５０】
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報から予測位置情報５７を算出する。このとき、フレーム１４０−１より前の情報がある場合には、例えばフレーム１４０−１の一つ前、または一つ前と二つ前の不図示のフレーム１４０の位置情報および時刻情報も参照する。ぼかしサイズ算出部２９は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報、並びに、例えばフレーム１４０−１の一つ前、または一つ前と二つ前の不図示のフレーム１４０の位置情報および時刻情報から、例えばぼかし範囲７７を算出する。
【００５１】
ぼかし用画像生成部３１は、算出された予測位置情報５７およびぼかし範囲７７に基づき、ぼかし用画像を生成する。このとき、ぼかし用画像生成部３１は、矢印１４４のように、ぼかし用画像生成部３１で算出されたぼかし範囲７７をぼかしの処理に必要な情報として取得するとともに、主制御部２１がカメラ３から取得した最新のフレームを、矢印１４６のように取得する。ぼかし用画像生成部３１は、取得したフレームにおけるぼかし範囲７７の内部を、例えば通常よりも大きい画素に再分割して、分割された各画素において輝度の平均をとるなど、ぼかしの処理を行う。
【００５２】
ぼかし用画像生成部３１は、ぼかしの処理を施された画像を矢印１４８のようにフレーム１４０−３とする。このとき、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定しているため、同様に、フレーム１４０−４、１４０−５にもそれぞれ矢印１５０、１５２のように、フレーム１４０−１と同様の上記のようなぼかしの処理を行うことになる。
【００５３】
続いて、顔検出部２３は、主制御部２１が取得したフレーム１４０−４について、フレーム１４０−１について上記のように行った処理と同様に検出、算出及びぼかしの処理を行う。ぼかし用画像生成部３１は、生成したぼかしの処理を施した画像を、矢印１５７のようにフレーム１４０−６とする。ぼかし用画像生成部３１は、それぞれのフレーム１４０−７、１４０−８のぼかし範囲７７に対応する部分に解像度を下げる処理を行い、それぞれフレーム１４０−７、１４０−８として表示装置１７に表示する。以上の処理を繰り返すことにより、図８の例では、フレーム１４０−３以降のフレームのぼかし処理が可能となる。
【００５４】
以上説明したように、本変形例では、第１の実施の形態では予め決められた画像に置き換えたぼかし範囲７７について、カメラ３から取得した画像に基づいたぼかしの処理を行う。これにより、第１の実施の形態による画像処理システム１による効果に加え、ぼかしの処理を行った画像の違和感を多少低減させることができる。また、ぼかしの処理の具体的な方法を変えることにより、対象のプライバシーを侵害することなく、動きの概要を視認できるようなぼかしの処理を行うなど、利用環境に応じた処理とすることも可能である。
【００５５】
（第１の実施の形態の変形例２）
次に、第１の実施の形態による変形例２について、図９、図１０を参照しながら説明する。本変形例は、第１の実施の形態及びその変形例１における、ぼかし範囲７７の算出方法の変形例である。第１の実施の形態の変形例２による画像処理システムにおいて、第１の実施の形態、またはその変形例１による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第１の実施の形態の変形例２による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
【００５６】
図９は、第１の実施の形態の変形例１による表示用フレーム１６０を示している。上段は、表示するフレームを概念的に示し、下段は、ぼかし範囲が適切か否かを判別する方法を示している。図９に示すように、最新のフレームがフレーム１６０−２の場合、範囲１６２に示すフレーム１６０−１、フレーム１６０−２のぼかしの処理の対象の位置情報及び時刻情報に基づき、予測位置算出部２５は、対象の予測位置情報を算出する。また、主制御部２１は、ぼかしサイズ算出部２９が算出したぼかし範囲に基づき、フレーム１６０−４の元画像にぼかし範囲１６６のぼかしを重畳した画像を表示画像とする。
【００５７】
ここで、予測位置算出部２５は、フレーム１６０−４における予測位置情報として、図９の下段に示すように、予測顔位置情報１６８を算出したとする。主制御部２１は、フレーム１６０−４において実際の顔の位置を、実測顔位置情報１７０と検出したとする。
【００５８】
図１０は、予測した顔の位置と実際の位置とがずれた場合に補正を行なう方法を示している。図１０において、予測顔位置情報１６８に基づきぼかし範囲１６６が設定されており、それに対して実際の対象から検出された対象の範囲は、実測顔位置情報１７０である。
【００５９】
ここで、ぼかし範囲１６６では、高さＨｍ＝Ｃｘ×｜Ｖｘ｜、幅Ｗｍ＝Ｃｙ×｜Ｖｙ｜であるとする。予測顔位置情報１６８においては、左上の座標が（Ｘｐｒｅ、Ｙｐｒｅ）、Ｘ方向の長さを幅Ｗｐｒｅ、Ｙ方向の長さを高さｈｐｒｅとする。実測顔位置情報１７０においては、左上の座標が（Ｘｒｅｓ、Ｙｒｅｓ）、Ｘ方向の長さを幅Ｗｒｅｓ、Ｙ方向の長さを高さｈｒｅｓとする。
【００６０】
このとき、Ｃｘ、Ｃｙを、以下の式４を判別式として、予測顔位置情報１６８と実測顔位置情報１７０とのずれに応じて変化させる。以下、Ｘ方向を例にして説明する。
|Ｘｐｒｅ−Ｘｒｅｓ|+Ｗｒｅｓ／２≦Ｗｍ／２・・・（式４）
【００６１】
式４を満たすときには、主制御部２１は、実測顔位置情報１７０がぼかし範囲１６６からはみ出してはいないと判別する。式４を満たさない場合には、主制御部２１は、実測顔位置情報１７０の少なくとも一部がぼかし範囲１６６からはみ出していると判別する。この場合には、主制御部２１は、ぼかしサイズ算出部２９におけるぼかしサイズ算出の際の係数Ｃｘを増加させる。
【００６２】
このとき、係数Ｃｘは、例えば、ぼかし範囲１６６に実測顔位置情報１７０がちょうど収まるサイズになるように、以下の式５のように定める。
|Ｘｐｒｅ−Ｘｒｅｓ|+Ｗｒｅｓ／２=Ｗｍ／２＝（Ｃｘ×｜Ｖｘ｜）／２・・・（式５）
すなわち、係数Ｃｘは、以下の式６で表される。
Ｃｘ＝（２|Ｘｐｒｅ−Ｘｒｅｓ|+Ｘｒｅｓ）／|Ｖｘ|・・・（式６）
Ｙ方向についても同様に算出することにより、以下の式７が得られる。
Ｃｙ＝（２|Ｙｐｒｅ−Ｙｒｅｓ|+Ｙｒｅｓ）／|Ｖｙ|・・・（式７）
【００６３】
以上説明したように、本変形例では、第１の実施の形態及びその変形例２においては固定値であった係数Ｃｘ、Ｃｙを、顔５０が算出されたぼかし範囲からはみ出していると判別された場合に、増加させる。このとき、係数Ｃｘ、Ｃｙは、予測した顔５０の位置と、実際の顔５０の位置とのずれに基づき変化させる。これにより、第１の実施の形態による画像処理システム１による効果に加え、さらに的確な範囲にぼかしの処理を行うことができる。また、ぼかしの処理がより的確な範囲に行われるので、対象のプライバシーを侵害することなく、画像による監視等をさらに十分に行うことも可能である。
【００６４】
（第２の実施の形態）
以下、図１１、図１２を参照しながら、第２の実施の形態による画像処理システムについて説明する。第２の実施の形態による画像処理システムにおいて、第１の実施の形態、その変形例１、または変形例２による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第２の実施の形態による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
【００６５】
図１１は、本実施の形態による表示画像の例を示す概念図、図１２は、第２の実施の形態による画像処理システム１の動作を示すフローチャートである。図１１に示すように、本実施の形態においては、表示画像２００における外縁部２０２が、常にぼかし処理を行った状態で表示される。
【００６６】
表示画像２００には、人２０４が撮影されている。表示画像２００の元の画像であるフレームにおいて、人２０４の顔２０６は、第１の実施の形態及びその変形例１、２で説明したように、顔検出部２３により検出されてぼかしの処理を行う対象であるとする。上述のように、画像処理システム１においては、主制御部２１が取得したフレームについて顔検出部２３が顔２０６を検出し、例えば２フレーム後のフレームにおける顔２０６の位置を予測してぼかし範囲にぼかしの処理を行う。よって、顔検出部２３が顔２０６を検出した直後はぼかしの処理が行われず、もとの画像がそのまま表示されてしまい、プライバシーが侵害されることがある。
【００６７】
例えば、人２０４が、表示画像２００における矢印２０８の方向に移動してきたとする。すなわち、人２０４は、表示画像２００の向かって右側の端から移動してきたとする。このとき、例えば人２０４が表示画像２００の右側の端に近い領域に撮影される間は、ぼかしの処理が間に合わずに、そのままの画像が表示される。そこで本実施の形態においては、表示画像２００における外縁部２０２に常にぼかし処理を行った状態で表示することにより、ぼかしの処理が間に合わない間、ぼかしの対象が撮影されると推定される領域に常にぼかしの処理を行った状態で表示する。
【００６８】
以下、図１２を参照しながら本実施の形態による画像処理システム１の動作について説明する。図１２に示すように、主制御部２１は、カメラ３の映像の最新のフレームを取得する（Ｓ２１１）。このとき同時に、主制御部２１は、画像記録部３３にカメラ３の映像を記録させる。
【００６９】
顔検出部２３は、取得されたフレームから、顔位置の検出を行ない、検出結果を顔位置記録テーブル３５に記録する（Ｓ２１２）。すなわち、顔検出部２３は、顔２０６の位置情報と時刻情報を検出し、顔位置記録テーブル３５に記録する。
【００７０】
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報及び時刻情報を参照し、例えば、２フレーム先の顔２０６の予測位置情報を算出する（Ｓ２１３）。このとき、顔位置記録テーブル３５において、参照される位置情報及び時刻情報の数（フレームの数に対応する）は、上述のように、予測位置情報を顔２０６の速度のみを考慮して算出するか、加速度まで考慮して算出するかなど、算出方法により変更される。
【００７１】
ぼかしサイズ算出部２９は、Ｓ２１３で算出された予測位置情報と、予測位置情報を算出する際に算出される顔２０６の移動速度から、ぼかし範囲を算出する（Ｓ２１４）。ぼかし用画像生成部３１は、ぼかしサイズ算出部２９により算出されたぼかし範囲に、所定の色などを施すぼかし用画像を生成する（Ｓ２１５）。
【００７２】
一方、主制御部２１は、Ｓ２１１でカメラ３が取得した画像の外縁部２０２の解像度を下げる処理を行う（Ｓ２１６）。ここで、解像度を下げる処理は、例えば、外縁部２０２全体を均一な色及び輝度の画像に置き換える処理とすることもできる。主制御部２１は、ぼかし用画像生成部３１が生成したぼかし用画像を取得し、取得したぼかし用画像を、その時点でのカメラ３の映像の最新のフレームに、Ｓ２１６の処理を施した画像と重ね合わせることにより、表示装置１７に表示する画像を生成して表示させる。主制御部２１は、表示装置１７に表示させた画像の次のフレームの画像を取得すると、Ｓ１３１からの処理を繰り返す。
【００７３】
以上説明したように、第２の実施の形態による画像処理システム１においては、表示画像２００の外縁部２０２は、常に解像度が低い状態で表示される。これにより、表示画像の端部に初めてぼかしの処理の対象が登場した場合に、ぼかしの処理が間に合わずにプライバシーを侵害することを防止することができる。
【００７４】
（第２の実施の形態の変形例）
次に、第２の実施の形態による変形例について、図１３を参照しながら説明する。第２の実施の形態による画像処理システムにおいて、第１の実施の形態、その変形例１、変形例２、または、第２の実施の形態による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第２の実施の形態の変形例による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
【００７５】
図１３は、本変形例による表示画像の例を示す概念図である。図１３に示すように、本実施の形態においては、カメラより取得されたフレーム２３０における外縁部２３２を除いた画像２３４が表示される。
【００７６】
フレーム２３０において撮影されている人２０４が、矢印２０８のように、表示画像２００の向かって右側の端から移動してきたとする。上述のように、画像処理システム１においては、主制御部２１が取得したフレーム２３０について顔検出部２３が顔２０６を検出し、例えば２フレーム後のフレームにおける顔２０６の位置を予測して、算出されたぼかし範囲にぼかしの処理を行う。よって、顔検出部２３が顔２０６を検出した直後はぼかしの処理が行われず、もとの画像がそのまま表示されてしまい、プライバシーが侵害されることがある。そこで本変形例においては、フレーム２３０における外縁部２３２を表示せず、画像２３４を表示する。表示方法は、画像２３４をフレーム２３０の大きさに拡大して表示してもよいし、外縁部２３２を未表示の状態としてもよい。
【００７７】
本変形例による画像処理は、第２の実施の形態による画像処理システム１の動作と、図１２のＳ２１６の表示用画像処理の内容以外は同一である。本変形例では、Ｓ２１６の表示用画像処理において、上述のように、画像２３４を不図示の画面いっぱいに表示するなど、外縁部２３２が表示されないような処理を施す。
【００７８】
以上説明したように、第２の実施の形態による画像処理システム１においては、表示画像２００の外縁部２０２は、常に解像度が低い状態で表示される。これにより、表示画像の端部にはじめてぼかしの処理の対象が登場した場合に、ぼかしの処理が間に合わずにプライバシーを侵害することを防止することができる。
【００７９】
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例において、主制御部２１は、画像取得部、画像処理部の一例であり、顔検出部２３は、対象検出部の一例であり、顔位置記録テーブル３５は、記録部の一例である。予測位置算出部２５は、予測位置情報算出部及び移動速度算出部の一例であり、ぼかしサイズ算出部２９は、範囲算出部の一例である。
【００８０】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。
例えば、上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例において、ぼかしの処理の対象のぼかし範囲を長方形としているが、例えば所定の半径の円の範囲など、他の形状でもよい。ぼかし範囲は、対象の移動速度に応じて変化させるようにしたが、例えば、撮影開始時には、検出されたぼかしの対象の位置情報における検出座標範囲の定数倍など、対象の移動速度とは独立したぼかし範囲とするようにしてもよい。
【００８１】
ぼかし範囲を決定する際に、直前のフレームにおける対象の位置との間の移動速度及び移動加速度を参照したが、例えば、図５における、ベクトル７１、７３、７５の総和のベクトルに基づき移動速度及び移動加速度を参照するなど、変形が可能である。
【００８２】
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例は、例えば、第１の実施の形態と第２の実施の形態の変形例とを組み合わせるなど、実現可能な任意の組み合わせが可能である。
【００８３】
ここで、上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例による画像処理の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１４は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１４に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、記録部９、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。記録部９は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。記録部９は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【００８４】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００８５】
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例による画像処理をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に画像処理の動作を行なわせる。このとき、まず、画像処理の動作をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
【００８６】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
時系列に複数の画像を取得する画像取得部と、
前記画像取得部が取得した画像から画像処理を施す対象を検出する対象検出部と、
前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する記録部と、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出する予測位置情報算出部と、
前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に画像処理を施す画像処理部と、
を有することを特徴とする画像処理装置。
（付記２）
複数の前記位置情報および前記時刻情報に基づき前記画像処理を施す範囲を算出する範囲算出部、
をさらに有し、
前記画像処理部は、前記範囲に前記画像処理を施すことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記画像処理は、前記対象を識別不可能にするための処理であることを特徴とする付記１または付記２に記載の画像処理装置。
（付記４）
複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度を算出する移動速度算出部、
をさらに有し、
前記範囲算出部は、前記移動速度に基づき前記範囲を算出することを特徴とする付記２に記載の画像処理装置。
（付記５）
前記予測位置情報と、前記後に取得された画像における前記対象の位置情報とのずれを検出するずれ検出部、
をさらに有し、
前記範囲算出部は、前記ずれに応じて次に算出する前記範囲を調整することを特徴とする付記２または付記４に記載の画像処理装置。
（付記６）
前記予測位置情報算出部は、前記移動速度に基づき前記予測位置情報を算出することを特徴とする付記４に記載の画像処理装置。
（付記７）
前記移動速度算出部は、複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度および移動加速度を求め、
前記予測位置情報算出部は、前記移動速度および前記移動加速度に基づき前記予測位置情報を算出することを特徴とする付記４に記載の画像処理装置。
（付記８）
前記画像取得部が取得した画像の外縁部に画像処理を行う画像処理部、
をさらに有し、
前記予測位置情報に応じた部分に画像処理を行う前記画像処理部は、前記外縁部に画像処理を行った画像にさらに前記予測位置情報に応じた部分に画像処理を行うことを特徴とする付記１から付記７のいずれかに記載の画像処理装置。
（付記９）
前記外縁部の画像処理は、モザイク処理であることを特徴とする付記８に記載の画像処理装置。
（付記１０）
前記外縁部の画像処理は、前記外縁部を非表示にする処理であることを特徴とする付記８に記載の画像処理装置。
（付記１１）
コンピュータが、
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、
前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す、
ことを特徴とする画像処理方法。
（付記１２）
複数の前記位置情報および前記時刻情報に基づき前記予測位置情報に応じた部分に前記画像処理を施す範囲を算出し、
前記範囲に画像処理を施すことを特徴とする付記１１に記載の画像処理方法。
（付記１３）
複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度を算出し、
前記移動速度に基づき前記範囲を算出することを特徴とする付記１２に記載の画像処理方法。
（付記１４）
前記予測位置情報と、前記後から取得した画像における前記対象の位置情報とのずれを検出し、
前記ずれに応じて次に算出する前記範囲を調整することを特徴とする付記１２または付記１３に記載の画像処理方法。
（付記１５）
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出し、
前記後に取得された画像の算出された前記予測位置情報に応じた部分に前記画像処理を施す、
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【００８７】
１ 画像処理システム
３ カメラ
５ 画像処理装置
７ ＣＰＵ
９ 記録部
１１ 入出力部
１３ 外部記憶装置
１５ ネットワーク接続部
１７ 表示装置
２１ 主制御部
２３ 顔検出部
２５ 予測位置算出部
２９ ぼかしサイズ算出部
３１ ぼかし用画像生成部
３３ 画像記録部
３５ 顔位置記録テーブル
５０ 顔
５１ 解析時位置
５３ 予測時位置
５５ 位置情報
５７ 予測位置情報
５９、６１、６３ ぼかし範囲
６５ 顔検出サイズ
６７ 横余剰サイズ
６９ 縦余剰サイズ
７７ ぼかし範囲
１１０ 顔座標テーブル
【特許請求の範囲】
【請求項１】
時系列に複数の画像を取得する画像取得部と、
前記画像取得部が取得した画像から画像処理を施す対象を検出する対象検出部と、
前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する記録部と、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出する予測位置情報算出部と、
前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に画像処理を施す画像処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
複数の前記位置情報および前記時刻情報に基づき前記画像処理を施す範囲を算出する範囲算出部、
をさらに有し、
前記画像処理部は、前記範囲に前記画像処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度を算出する移動速度算出部、
をさらに有し、
前記範囲算出部は、前記移動速度に基づき前記範囲を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記予測位置情報と、前記後に取得された画像における前記対象の位置情報とのずれを検出するずれ検出部、
をさらに有し、
前記範囲算出部は、前記ずれに応じて次に算出する前記範囲を調整することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記予測位置情報算出部は、前記移動速度に基づき前記予測位置情報を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記移動速度算出部は、複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度および移動加速度を求め、
前記予測位置情報算出部は、前記移動速度および前記移動加速度に基づき前記予測位置情報を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記画像取得部が取得した画像の外縁部に画像処理を行う画像処理部、
をさらに有し、
前記予測位置情報に応じた部分に画像処理を行う前記画像処理部は、前記外縁部に画像処理を行った画像にさらに前記予測位置情報に応じた部分に画像処理を行うことを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
コンピュータが
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、
前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す、
ことを特徴とする画像処理方法。
【請求項９】
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出し、
前記後に取得された画像の算出された前記予測位置情報に応じた部分に前記画像処理を施す、
処理をコンピュータに実行させるためのプログラム。
【請求項１】
時系列に複数の画像を取得する画像取得部と、
前記画像取得部が取得した画像から画像処理を施す対象を検出する対象検出部と、
前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する記録部と、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出する予測位置情報算出部と、
前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に画像処理を施す画像処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
複数の前記位置情報および前記時刻情報に基づき前記画像処理を施す範囲を算出する範囲算出部、
をさらに有し、
前記画像処理部は、前記範囲に前記画像処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度を算出する移動速度算出部、
をさらに有し、
前記範囲算出部は、前記移動速度に基づき前記範囲を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記予測位置情報と、前記後に取得された画像における前記対象の位置情報とのずれを検出するずれ検出部、
をさらに有し、
前記範囲算出部は、前記ずれに応じて次に算出する前記範囲を調整することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記予測位置情報算出部は、前記移動速度に基づき前記予測位置情報を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記移動速度算出部は、複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度および移動加速度を求め、
前記予測位置情報算出部は、前記移動速度および前記移動加速度に基づき前記予測位置情報を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記画像取得部が取得した画像の外縁部に画像処理を行う画像処理部、
をさらに有し、
前記予測位置情報に応じた部分に画像処理を行う前記画像処理部は、前記外縁部に画像処理を行った画像にさらに前記予測位置情報に応じた部分に画像処理を行うことを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
コンピュータが
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、
前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す、
ことを特徴とする画像処理方法。
【請求項９】
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出し、
前記後に取得された画像の算出された前記予測位置情報に応じた部分に前記画像処理を施す、
処理をコンピュータに実行させるためのプログラム。
【図２】
【図４】
【図７】
【図１２】
【図１３】
【図１４】
【図１】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図４】
【図７】
【図１２】
【図１３】
【図１４】
【図１】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−６５９９４（Ｐ２０１３−６５９９４Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２５７６（Ｐ２０１１−２０２５７６）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]