画像処理装置、画像処理システム及び画像処理方法
【課題】認識処理を軽減することを目的とする。
【解決手段】第一の撮像手段で撮像された画像を取得する取得手段と、取得手段で取得された画像から物体領域を検知する検知手段と、画像中の第一の撮像手段と第二の撮像手段との共有領域に、検知手段で検知された物体領域がある場合、共有領域の物体認識処理を画像処理装置で行うか、第二の画像処理装置で行うか否かを判断する判断手段と、判断手段において画像処理装置で行うと判断された場合、物体認識範囲を画像の全範囲に設定し、判断手段で第二の画像処理装置で行うと判断された場合、物体認識範囲を画像の全範囲から共有領域を除いた領域に設定する設定手段と、設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、を有する。
【解決手段】第一の撮像手段で撮像された画像を取得する取得手段と、取得手段で取得された画像から物体領域を検知する検知手段と、画像中の第一の撮像手段と第二の撮像手段との共有領域に、検知手段で検知された物体領域がある場合、共有領域の物体認識処理を画像処理装置で行うか、第二の画像処理装置で行うか否かを判断する判断手段と、判断手段において画像処理装置で行うと判断された場合、物体認識範囲を画像の全範囲に設定し、判断手段で第二の画像処理装置で行うと判断された場合、物体認識範囲を画像の全範囲から共有領域を除いた領域に設定する設定手段と、設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、を有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。
【背景技術】
【0002】
従来、店舗やビルの天井、街頭、工場等において、防犯等のセキュリティー向上を目的として、監視用途にカメラ設置が進んでいる。更にコンビニエンスストア、ショッピングモールやスーパーマーケット等の店舗等や公共の場において、監視カメラを用いて通行する人数をカウントしたり、人流を解析したり、マーケティング目的として監視カメラを用いるシステムも提案されている。
このような画像中における、顔等の被写体を検出する技術は、以下に示す非特許文献1で提案されている。非特許文献1では、ニューラル・ネットワークにより画像中の顔パターンを検出している。以下、非特許文献1の技術を用いた装置の動作について簡単に説明する。まず、装置は、顔の検出を対象とする画像とをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、装置は、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとにより予め学習されており、例えば、装置は、ニューラル・ネットワークの出力が0以上なら顔、それ以外は非顔であると判別する。そして、装置は、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、装置は、様々な大きさの顔の検出に対応するため、画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
なお、非特許文献1は画像から顔を検出する技術について説明しているが、画像からその他の物体を検出する場合についても同様に実現することができる。
【0003】
また、カメラで撮像された映像から物体を認識する技術として特許文献1が開示されている。特許文献1の技術は、まず背景差分を行い背景画像と変化のある領域を絞り込み、動領域を検出した後、その領域を詳細に評価して個別の物体を識別する技術である。
一方、撮像範囲の大規模化に伴い複数台のカメラを設置し、同時に監視、撮影するシステムが実用化されている。しかし複数のカメラの画像を同時に上記のような顔検出、物体認識処理等を行うには相当量の処理性能が必要となる。したがって、如何に処理負荷を軽減するかという問題が存在する。この問題を解決する技術として、例えば特許文献2の技術が提案されている。特許文献2の技術は、検出したい特定人物をマーキングしておき、その人物がある画像から検出されたタイミングでその後の検出処理を打ち切るといった技術である。また、特許文献3では、全ての画像中の特定物体を検出、計上し、その計数に基づいて最適な画像のみを選別してサーバーに送信しその後の処理をするという技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−157440号公報
【特許文献2】特開2007−243270号公報
【特許文献3】特開2005−347942号公報
【非特許文献】
【0005】
【非特許文献1】Rowley et al,"Neural network−based face detection",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.20,NO.1,JANUARY 1998
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上述した技術は、特定人物の監視用途に限定していたり、認識処理を行う画像を限定したりしている。例えば、全ての画像で、全ての動体に対して認識処理する必要がある場合に上述した技術を適用すると、認識処理に負荷がかかり、認識処理におけるフレーム落ち等が発生する問題があった。
【0007】
本発明はこのような問題点に鑑みなされたもので、認識処理を軽減することを目的とする。
【課題を解決するための手段】
【0008】
そこで、本発明は、第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置であって、前記第一の撮像手段で撮像された画像を取得する取得手段と、前記取得手段で取得された画像から物体領域を検知する検知手段と、取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、前記判断手段において前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、を有する。
【発明の効果】
【0009】
本発明によれば、認識処理を軽減することができる。
【図面の簡単な説明】
【0010】
【図1】画像処理装置のハードウェア構成の一例を示す図である。
【図2】実施形態1の画像処理システムのシステム構成等の一例を示す図である。
【図3】実施形態1の概要を示すフローチャートである。
【図4】ステップS100の詳細な処理の一例を示すフローチャートである。
【図5】撮像装置110で人物を撮像したときに画像取得部101が取得した画像の一例を示す図である。
【図6】記憶装置に記憶されている基準モデルとなる背景画像の一例を示す図である。
【図7】基準モデルの一例を示す図である。
【図8】物体領域検知部102が抽出した動体領域を示す画像の一例を示す図である。
【図9】図5と同時刻に撮像装置210で撮影したときに画像取得部201が取得した画像の一例を示す図である。
【図10】図9においてステップS104を行った際に得られる結果の一例を示す図である。
【図11】ステップS200の詳細な処理の一例を示すフローチャートである。
【図12】実施形態2の画像処理システムのシステム構成等の一例を示す図である。
【図13】実施形態2の概要を示すフローチャートである。
【図14】ステップS400の詳細な処理の一例を示すフローチャートである。
【図15】画像処理装置300の処理の一例を示すフローチャートである。
【図16】画像処理装置400の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面に基づいて説明する。
【0012】
<実施形態1>
図1は、画像処理装置のハードウェア構成の一例を示す図である。
図1に示されるように、画像処理装置100は、ハードウェア構成として、制御装置10と、記憶装置11と、ネットワークインタフェース装置12と、を含む。制御装置10は、CPU等であって、記憶装置11に記憶されているプログラムに基づき処理を実行することによって、後述する画像処理装置100のソフトウェア構成及びフローチャートの処理を実現する。記憶装置11は、ROM、RAM、HD等であって、プログラムを記憶したり、画像を記憶したりする。ネットワークインタフェース装置12は、画像処理装置100をネットワークに接続する。
画像処理装置200も画像処理装置100のハードウェア構成と同様である。
なお、本実施形態では、後述する図2の画像処理装置の機能はソフトウェアとして実装されているものとして説明を行うが、後述する図2の画像処理装置の各機能を専用のハードウェアとして画像処理装置に実装してもよい。また、本実施形態では、後述するように、撮像装置と画像処理装置とを別体のものとして説明を行うが、同一の装置内であってもよい。
【0013】
図2は、実施形態1の画像処理システムのシステム構成等の一例を示す図である。
図2に示されるように、画像処理システムは、視野、又は撮像範囲を一部共有する撮像装置110、210と、撮像装置で撮像された画像中から人物を検出する画像処理装置100、200と、を含む。ここで、撮像装置110は、第一の撮像手段の一例である。また、撮像装置210は、第二の撮像手段の一例である。また、画像処理装置100は、第一の画像処理装置の一例である。また、画像処理装置200は、第二の画像処理装置の一例である。
撮像装置110は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部101に入力される。
画像処理装置100は、本実施形態で提案する画像処理装置である。
画像取得部101は、撮像装置110により撮像された画像を取得する。
物体領域検知部102は、画像取得部101により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部102は、画像取得部101により取得された画像中から動体領域を抽出する。
負荷推定部103は、物体領域検知部102で抽出された画像領域から、物体認識部105で認識処理を行う際の処理負荷を推定する。
認識領域限定部104は、負荷推定部103で推定された処理負荷量と通信部106より受信した処理負荷量とを比較して、物体認識部105で認識処理をする領域を限定する。
物体認識部105は、物体領域検知部102で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態においては、物体認識部105は、物体領域検知部102で抽出された特定の画像領域から人体領域を抽出する。
通信部106は、画像処理装置200の通信部206と処理負荷量を送受信する。
【0014】
同様にして、撮像装置210は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部201に入力される。
画像処理装置200は、本実施形態で提案する画像処理装置である。
画像取得部201は、撮像装置210により撮像された画像を取得する。
物体領域検知部202は、画像取得部201により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部202は、画像取得部201により取得された画像中から動体領域を抽出する。
負荷推定部203は、物体領域検知部202で抽出された画像領域から、物体認識部205で認識処理を行う際の処理負荷を推定する。
認識領域限定部204は、負荷推定部203で推定された処理負荷量と通信部206より受信した処理負荷量とを比較して、物体認識部205で認識処理をする領域を限定する。
物体認識部205は、物体領域検知部202で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態においては、物体認識部205は、物体領域検知部202で抽出された特定の画像領域から人体領域を抽出する。
通信部206は、画像処理装置100の通信部106と処理負荷量を送受信する。
【0015】
図3は、実施形態1の概要を示すフローチャートである。以下順を追って説明する。なお以下のフローチャートの動作は、画像処理装置100の場合を説明するが、画像処理装置200も同様の動作をする。
ステップS100:
まず、物体領域検知部102は、画像取得部101により取得された画像から、動体領域を抽出する。ここで、動体領域とは、物体領域検知部102が、同画角の、物体が写りこんでいない背景のみの画像と差分をとることで、抽出できる領域である。更に物体領域検知部102は、視野共有領域において、動体領域が存在しているか判定を行う。
ステップS200:
負荷推定部103は、動体領域より、物体認識部105での処理負荷を推定する。認識領域限定部104は、推定された処理負荷情報を用い、画像処理装置100、200間でどちらの処理負荷が高いか調停を行う。処理負荷が高い画像処理装置の認識領域限定部は、ステップS300で行う物体認識処理の領域を限定する。
ステップS300:
物体認識部105は、ステップS200で決定された物体認識すべき領域に、所望の物体が写っているか物体認識を行う。
以上、画像処理装置100は、ステップS100からステップS300までの処理を画像取得部101で入力された入力画像ごとに繰り返す。画像処理装置200も同様に、ステップS100からステップS300までの処理を画像取得部201で取得した入力画像ごとに繰り返す。
【0016】
以下、図4を用いてステップS100の詳細フローを説明する。図4は、ステップS100の詳細な処理の一例を示すフローチャートである。
ステップS101:
まず、画像取得部101は、ビデオカメラ等の撮像装置110により撮像した画像を取得する。ここで取得した画像は、例えば8ビットの画素により構成される、2次元配列のデータであり、R、G、B、3つの面で構成される。また、画像取得部101は、RGBデータを輝度データに変換し、輝度画像を以後の処理に用いてもよい。また、本実施形態においては動画を取り扱うことを想定し、処理はフレーム単位で実施する。よって、ここで得る画像とはフレームごとの静止画像である。
ステップS102:
物体領域検知部102は、画像取得部101が取得する画像中の、どの領域が隣接する視野を供した撮像装置間の共有領域であるかを、設定したかどうか判定する。
設定が完了しているならばS104へ分岐する。
共有領域の設定が未完了であるならば、共有領域を設定すべく、S103へ分岐する。
ステップS103:
物体領域検知部102は、画像取得部101が出力した画像中で、隣接する撮像装置と視野を共有している領域を設定する。
ステップS104:
物体領域検知部102は、画像取得部101から出力された画像に対し、記憶装置11に記憶されている基準モデルと比較し、画像から物体が写っている領域を検知し、出力する。ここで、基準モデルとは物体の写っていない背景のみの画像を表すモデルである。以降、ここでの処理詳細を、図を用いて説明する。
【0017】
図5は、撮像装置110で人物を撮像したときに画像取得部101が取得した画像の一例を示す図である。なお、図中の右側の領域(R)が視野共有領域であるとする。A及びBは、認識対象の人物である。
図6は、記憶装置11に記憶されている基準モデルとなる背景画像の一例を示す図である。図6の例では、物体が写っていない状態で画像取得部101により取得された画像である。
基準モデルは図6の背景画像を図7で示す様に、所定のブロック単位で分割しブロック毎に画像特徴量を記憶したものである。図7は、基準モデルの一例を示す図である。一例を示すと、物体領域検知部102は、画像を8×8のブロックに分割し、ブロック内の64画素の画像を用いてDCT(離散コサイン変換)処理を行う。処理結果であるDCT係数の一部を特徴量とし記憶する。物体領域検知部102は、図5に示す画像においても同様に、8×8画素のブロックに分割し、ブロック毎にDCT処理を行い、特徴量を求める。物体領域検知部102ブロック毎に求めた特徴量と基準モデル中の対応するブロックの特徴量との距離Dを以下の(式1)により求める。
D=at・|X−Xb| (式1)
但し、X及びXbは、それぞれ、各ブロックの画像特徴量によって構成される特徴ベクトルである。aは、物体領域の判定を行うための所定の判別ベクトルである。・は、ベクトル内積演算である。||は、絶対値演算である。
物体領域検知部102は、上記(式1)により求めた距離Dが所定の閾値以上である場合、そのブロックを1に、所定の閾値よりも小さいブロックを0として2値画像を求める。1のブロックを黒、0のブロックを白として、図5及び図6の画像から得られる結果を図8に示す。図8は、物体領域検知部102が抽出した動体領域を示す画像の一例を示す図である。2値画像中の、黒の部分は物体が存在するブロック、白の部分は物体が存在しない背景のみのブロックを示す。
なお、記憶装置11に記憶された基準モデルの更新は、物体領域検知部102の結果から物体が存在しない背景のみと判定されたブロックにおいて行う。例えば、画像取得部101で取得した画像街頭ブロックの特徴量と、記憶装置11に記憶された基準モデルの特徴量との加重平均により行う。
【0018】
ステップS105:
物体領域検知部102は、ステップS104で求めた2値画像において、値が1である物体が存在するブロックが、ステップS103で設定された視野共有領域に存在しているかどうかを判定する。視野共有領域に動体領域が存在している場合、ステップS200へ分岐する。存在していない場合はステップS200を踏まずにステップS300へと分岐する。
画像処理装置200も同様のフローを行う。図9は、図5と同時刻に撮像装置210で撮影したときに画像取得部201が取得した画像の一例を示す図である。なお、図中の左側の領域(S)が視野共有領域である。Bは、認識対象の人物である。また、図10は、図9においてステップS104を行った際に得られる結果の一例を示す図である。
【0019】
次に、図11を用いてステップS200の詳細なフローを説明する。図11は、ステップS200の詳細な処理の一例を示すフローチャートである。
ステップS201:
物体領域検知部102より出力された2値画像を負荷推定部103が取得する。
負荷推定部103は、取得した2値画像を用いて、動体領域の面積を判定する。例えば、負荷推定部103は、2値画像中の全ブロック数のうち、動体領域である値が1のブロックの総数を求めることで面積を算出する。
ステップS202:
認識領域限定部104は、負荷推定部103によりステップS200で求められた画像中の動体領域の面積を、通信部106を介し、視野を共有する画像処理装置200へ送信する。同様にして、画像処理装置200の認識領域限定部204は通信部206を介し、動体領域の面積情報を画像処理装置100へ送信する。ここで、通信部206から通信部106へ送信される動体領域の面積情報は、画像取得部201が取得した画像を基に、負荷推定部203が算出した動体領域の面積情報である。
【0020】
ステップS203:
認識領域限定部104は、画像処理装置200の動体領域の面積情報を通信部106から取得する。そして、認識領域限定部104は、負荷推定部103により算出された動体領域の面積情報と前記取得した動体領域の面積情報とを比較する。ここで、面積を2値画像中の動体領域のブロックの総数で求めている場合、認識領域限定部104は、ブロック数の比較をすればよい。
負荷推定部103により算出された動体領域の面積の方が大きいと判定された場合、ステップS204へ分岐する。画像処理装置200から取得した動体領域の面積の方が大きいと判定された場合、ステップS205へ分岐する。
ステップS204:
認識領域限定部104は、ステップS203で自身の画像中の動体領域の面積の方が、画像処理装置200の画像中の動体領域の面積よりも大きいと判断し、共有領域以外のみ物体認識処理を行うよう、領域を限定する。
【0021】
ステップS205:
認識領域限定部104は、ステップS203で自身の画像中の動体領域の面積の方が、画像処理装置200の画像中の動体領域の面積よりも小さいと判断し、画像全領域(全範囲)で物体認識処理を行うよう、領域指定する。
図8、図10の例の場合、画像処理装置100の画像中の動体領域の面積の方が、画像処理装置200の画像中の動体領域の面積よりも大きい。したがって、画像処理装置100は、共有領域以外のみ物体認識処理を行うよう物体認識範囲を視野共有領域を除いた領域に設定する。逆に、画像処理装置200は、共有領域も含めて、全領域、物体認識処理を行うよう判断する。
【0022】
次にステップS300の処理の一例を説明する。
ステップS300:
物体認識部105は、記憶装置11に記憶されている物体辞書を用いて、画像取得部101から出力された画像に所望の物体が写っているかどうかを確認する。その際、ステップS200で、物体認識部105で認識する領域を共有領域も含んだ全領域か、共有領域を省いた領域か、切り替えられている。
本実施形態では、認識する物体として人物を想定し、物体認識は非特許文献1で提案されている方法を適用することができる。物体領域検知部102で動体領域と判定された領域、かつ、認識領域限定部104で限定した領域に対し、非特許文献1で提案されている方法を適用する。
上記の動作を画像処理装置200でも同様に同時に行うことで、画像処理装置100と画像処理装置と200で、共有領域に存在する物体の物体認識処理を処理負荷が低い方が行うように調停することができる。したがって、画像処理装置間で物体認識処理の負荷を分散させることができる。
【0023】
<実施形態2>
図12は、実施形態2の画像処理システムのシステム構成等の一例を示す図である。本実施形態では、画像中から特定人物の顔認証を行う画像処理システムを例に説明を行う。
撮像装置310は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像装置310が撮像した画像は、画像取得部301に入力される。
画像取得部301は、撮像装置310により撮像された画像を取得する。
物体領域検知部302は、画像取得部301により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部302は、画像取得部301により取得された画像中から人物の顔領域を抽出する。
負荷推定部303は、物体領域検知部302で抽出された画像領域から、物体認識部305で認識処理を行う際の処理負荷を推定する。
認識領域限定部304は、負荷推定部303で推定された処理負荷量を、通信部306を介し画像処理装置400へ処理負荷量を送信する。逆に、認識領域限定部304は、画像処理装置400から処理負荷量が送信されてきた場合は、負荷推定部303で推定された処理負荷量と比較する。そして、認識領域限定部304は、画像処理装置300と画像処理装置400とでどちらの処理負荷が軽いか判断し、画像処理装置400に対し処理の可否応答を返信する。認識領域限定部304は、通信部306から受け取った可否応答、若しくは自身の比較結果に応じて、物体認識部305で認識処理をする領域を限定する。送信動作、受信動作どちらを主体で行うかは自動又は手動で切換えられるものとする。
物体認識部305は、物体領域検知部302で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態では、物体認識部305は、物体領域検知部302で抽出された人物の顔領域に特定人物が写っているか顔認証を行う。
通信部306は、処理負荷量、可否応答を送受信する。
【0024】
同様にして、撮像装置410は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部401に入力される。
画像取得部401は、撮像装置410により撮像された画像を取得する。
物体領域検知部402は、画像取得部401により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部402は、画像取得部401により取得された画像中から人物の顔領域を抽出する。
負荷推定部403は、物体領域検知部402で抽出された画像領域から、物体認識部405で認識処理を行う際の処理負荷を推定する。
認識領域限定部404は、負荷推定部403で推定された処理負荷量を、通信部406を介し画像処理装置300へ処理負荷量を送信する。逆に、認識領域限定部404は、画像処理装置300から処理負荷量が送信されてきた場合は、負荷推定部403で推定された処理負荷量と比較する。認識領域限定部404は、画像処理装置400と画像処理装置300とでどちらの処理負荷が軽いか判断し、画像処理装置300に対し処理の可否応答を返信する。認識領域限定部404は、通信部406から受け取った可否応答、若しくは自身の比較結果に応じて、物体認識部405で認識処理をする領域を限定する。送信動作、受信動作どちらを主体で行うかは自動又は手動で切換えられるものとする。
物体認識部405は、物体領域検知部402で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態では、物体認識部405は、物体領域検知部402で抽出された人物の顔領域に特定人物が写っているか顔認証を行う。
通信部406は、処理負荷と可否応答を送受信する。
【0025】
図13は、実施形態2の概要を示すフローチャートである。以下順を追って説明する。
ステップS400:
まず、物体領域検知部302は、画像取得部301により取得された画像から、人物の顔領域を抽出する。更に物体領域検知部302は、共有領域において、顔領域が存在しているか判定を行う。
ステップS500:
負荷推定部303は、人物の顔領域の総数を計上し、物体認識部305での処理負荷を推定する。負荷推定部303は、推定した処理負荷情報を用い、画像処理装置300、400間でどちらの処理負荷が高いか調停を行う。処理負荷が高い画像処理装置の認識領域限定部は、ステップS600で行う物体認識処理の領域を限定する。
ステップS600:
物体認識部305は、ステップS500で決定した物体認識すべき領域に、特定の人物が写っているか顔認証を行う。
以上、画像処理装置300は、ステップS400からステップS600までの処理を画像取得部301で入力された入力画像ごとに繰り返す。画像処理装置400も同様に、ステップS400からステップS600までの処理を画像取得部401で取得した入力画像ごとに繰り返す。
【0026】
以下、図14を用いてステップS400の詳細フローを説明する。図14は、ステップS400の詳細な処理の一例を示すフローチャートである。
ステップS401:
まず、画像取得部301は、ビデオカメラ等の撮像装置310により撮像した画像を取得する。ここで取得した画像は、例えば8ビットの画素により構成される、2次元配列のデータであり、R、G、B、3つの面で構成される。また、画像取得部301は、RGBデータを輝度データに変換し、輝度画像を以後の処理に用いてもよい。また、本実施形態においては動画を取り扱うことを想定し、処理はフレーム単位で実施する。よって、ここで得る画像とはフレームごとの静止画像である。
ステップS402:
物体領域検知部302は、画像取得部301が取得する画像中の、どの領域が隣接する視野を供した撮像装置間の共有領域であるかを、設定したかどうか判定する。
設定が完了しているならばS404へ分岐する。
共有領域の設定が未完了であるならば、共有領域を設定すべく、S403へ分岐する。
【0027】
ステップS403:
画像取得部301が出力した画像中で、隣接する撮像装置と視野を共有している領域を設定する。
ステップS404:
物体領域検知部302は、画像取得部301から出力された画像に対し、実施形態1のステップS104とステップS300と同様の処理を施すことで、画像から人物の顔領域を検出する。
ステップS405:
物体領域検知部302は、ステップS404で求めた顔領域ブロックが、ステップS403で設定された共有領域に存在しているかどうかを判定する。共有領域に物体領域が存在している場合ステップS500へ分岐する。存在していない場合はステップS500、を踏まずにステップS600へと分岐する。
【0028】
次に、図15、図16を用いてステップS500の詳細なフローを説明する。図15は、画像処理装置300の処理の一例を示すフローチャートである。図16は、画像処理装置400の処理の一例を示すフローチャートである。まず、図15について説明する。
ステップS501:
負荷推定部303は、物体領域検知部302より出力された顔領域が抽出された画像を取得する。
負荷推定部303は、取得した画像を用いて、輪郭切出しを行い画像中の人物の顔の総数を判定する。
ステップS502:
認識領域限定部304は、負荷推定部303によりステップS400で求められた画像中の顔の総数を、通信部306を介し、撮像装置310と視野を共有する撮像装置410の画像を処理する画像処理装置400へ送信する。
ステップS503:
通信部306は、画像処理装置400から重なり領域の処理可否応答を受信し、認識領域限定部304へ送る。
ステップS504:
認識領域限定部304は、画像処理装置400の共有領域を物体認識可能か処理可否応答を通信部306から取得する。応答が可であればS505へ分岐する。応答が否であればS506へ分岐する。
ステップS505:
認識領域限定部304は、ステップS504で画像処理装置400が共有領域中の顔認証処理を行うと判断し、共有領域以外のみ物体認識処理を行うよう、物体認識範囲を視野共有領域を除いた領域に設定する。
ステップS506:
認識領域限定部304は、ステップS503で画像処理装置400が共有領域中の顔認証処理を行わないと判断し、画像全領域(全範囲)で物体認識処理を行うよう、領域指定する。
【0029】
以上、画像処理装置400の詳細フローを説明した。次に、図16について説明する。図15と同一番号のフローは同様の処理を行う。
ステップS507:
画像処理装置400の認識領域限定部404は、通信部406から画像処理装置300の顔領域の総数情報を受信する。
ステップS508:
認識領域限定部404は、受信した画像処理装置300の顔領域の総数情報と、負荷推定部403が計上した顔領域の総数情報と、を比較し、どちらの総数が多いか判定する。画像処理装置400の画像中の顔領域の総数の方が多い場合はステップS509へ分岐する。画像処理装置300の画像中の顔領域の総数の方が多い場合はステップS510へ分岐する。同数の場合はどちらへ分岐してもよい。本実施形態では、ステップS510へ分岐するものとする。
ステップS509:
認識領域限定部404は、通信部406を介して画像処理装置300に対し、共有領域の顔認証処理は行わないことを送信する。
ステップS510:
認識領域限定部404は、通信部406を介して画像処理装置300に対し、共有領域の顔認証処理を行うことを送信する。
【0030】
次にステップS600の詳細な処理の一例を説明する。
ステップS600:
物体認識部305は、記憶装置11に記憶されている物体辞書を用いて、画像取得部301から出力された画像に所望の物体が写っているかどうかを確認する。その際、ステップS500で、物体認識部305で認識する領域を共有領域も含んだ全領域か、共有領域を省いた領域か切り替えられている。なお、ステップS400からステップS500までを踏まずにステップS600へ分岐する系の場合、物体認識部305で認識する領域が共有領域も含んだ全領域に設定される。
本実施形態では、認識する物体として特定人物の顔を想定し、人物認証は後述の参考文献1等で提案されている方法が適用できる。
まず、顔領域は、ステップS404で抽出されている。物体認識部305は、抽出された顔領域に対して、目鼻等の特徴点を抽出する。物体認識部305は、抽出した特徴点を基準にし、正規化した大きさに顔領域を切出し、濃淡情報等を特徴量として抽出する。予め、認識対象人物の顔の画像から抽出される個人特徴量が、記憶装置11に記憶されている。物体認識部305は、記憶装置11に記憶されている個人特徴量と、画像から抽出した特徴量との類似度を算出することにより、個人の顔識別が可能となる。
上記の動作により画像処理装置300と画像処理装置400とで、共有領域に存在する物体の物体認識処理を処理負荷が低い方が行うように調停することが可能になる。
参考文献1 山口.福井,"顔向きや表情の変化にロバストな顔認識システム"Smartface"",電子情報通信学会論文誌,D−II,Vol.J84−D−II,No.6,pp.1045‐1052,2001−6
【0031】
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
【0032】
以上、上述した各実施形態によれば、複数台の撮像装置を用いて広域を撮像する装置において、認識処理負荷が高い撮像装置の処理負荷を軽減することが可能になる。即ち、認識処理の負荷が高く、処理が間に合わずにフレーム落ちしてしまっていた頻度を軽減することができる。つまり、認識処理を軽減することができる。
【0033】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0034】
10 制御装置、100 画像処理装置、110 撮像装置
【技術分野】
【0001】
本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。
【背景技術】
【0002】
従来、店舗やビルの天井、街頭、工場等において、防犯等のセキュリティー向上を目的として、監視用途にカメラ設置が進んでいる。更にコンビニエンスストア、ショッピングモールやスーパーマーケット等の店舗等や公共の場において、監視カメラを用いて通行する人数をカウントしたり、人流を解析したり、マーケティング目的として監視カメラを用いるシステムも提案されている。
このような画像中における、顔等の被写体を検出する技術は、以下に示す非特許文献1で提案されている。非特許文献1では、ニューラル・ネットワークにより画像中の顔パターンを検出している。以下、非特許文献1の技術を用いた装置の動作について簡単に説明する。まず、装置は、顔の検出を対象とする画像とをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、装置は、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとにより予め学習されており、例えば、装置は、ニューラル・ネットワークの出力が0以上なら顔、それ以外は非顔であると判別する。そして、装置は、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、装置は、様々な大きさの顔の検出に対応するため、画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
なお、非特許文献1は画像から顔を検出する技術について説明しているが、画像からその他の物体を検出する場合についても同様に実現することができる。
【0003】
また、カメラで撮像された映像から物体を認識する技術として特許文献1が開示されている。特許文献1の技術は、まず背景差分を行い背景画像と変化のある領域を絞り込み、動領域を検出した後、その領域を詳細に評価して個別の物体を識別する技術である。
一方、撮像範囲の大規模化に伴い複数台のカメラを設置し、同時に監視、撮影するシステムが実用化されている。しかし複数のカメラの画像を同時に上記のような顔検出、物体認識処理等を行うには相当量の処理性能が必要となる。したがって、如何に処理負荷を軽減するかという問題が存在する。この問題を解決する技術として、例えば特許文献2の技術が提案されている。特許文献2の技術は、検出したい特定人物をマーキングしておき、その人物がある画像から検出されたタイミングでその後の検出処理を打ち切るといった技術である。また、特許文献3では、全ての画像中の特定物体を検出、計上し、その計数に基づいて最適な画像のみを選別してサーバーに送信しその後の処理をするという技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−157440号公報
【特許文献2】特開2007−243270号公報
【特許文献3】特開2005−347942号公報
【非特許文献】
【0005】
【非特許文献1】Rowley et al,"Neural network−based face detection",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.20,NO.1,JANUARY 1998
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上述した技術は、特定人物の監視用途に限定していたり、認識処理を行う画像を限定したりしている。例えば、全ての画像で、全ての動体に対して認識処理する必要がある場合に上述した技術を適用すると、認識処理に負荷がかかり、認識処理におけるフレーム落ち等が発生する問題があった。
【0007】
本発明はこのような問題点に鑑みなされたもので、認識処理を軽減することを目的とする。
【課題を解決するための手段】
【0008】
そこで、本発明は、第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置であって、前記第一の撮像手段で撮像された画像を取得する取得手段と、前記取得手段で取得された画像から物体領域を検知する検知手段と、取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、前記判断手段において前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、を有する。
【発明の効果】
【0009】
本発明によれば、認識処理を軽減することができる。
【図面の簡単な説明】
【0010】
【図1】画像処理装置のハードウェア構成の一例を示す図である。
【図2】実施形態1の画像処理システムのシステム構成等の一例を示す図である。
【図3】実施形態1の概要を示すフローチャートである。
【図4】ステップS100の詳細な処理の一例を示すフローチャートである。
【図5】撮像装置110で人物を撮像したときに画像取得部101が取得した画像の一例を示す図である。
【図6】記憶装置に記憶されている基準モデルとなる背景画像の一例を示す図である。
【図7】基準モデルの一例を示す図である。
【図8】物体領域検知部102が抽出した動体領域を示す画像の一例を示す図である。
【図9】図5と同時刻に撮像装置210で撮影したときに画像取得部201が取得した画像の一例を示す図である。
【図10】図9においてステップS104を行った際に得られる結果の一例を示す図である。
【図11】ステップS200の詳細な処理の一例を示すフローチャートである。
【図12】実施形態2の画像処理システムのシステム構成等の一例を示す図である。
【図13】実施形態2の概要を示すフローチャートである。
【図14】ステップS400の詳細な処理の一例を示すフローチャートである。
【図15】画像処理装置300の処理の一例を示すフローチャートである。
【図16】画像処理装置400の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面に基づいて説明する。
【0012】
<実施形態1>
図1は、画像処理装置のハードウェア構成の一例を示す図である。
図1に示されるように、画像処理装置100は、ハードウェア構成として、制御装置10と、記憶装置11と、ネットワークインタフェース装置12と、を含む。制御装置10は、CPU等であって、記憶装置11に記憶されているプログラムに基づき処理を実行することによって、後述する画像処理装置100のソフトウェア構成及びフローチャートの処理を実現する。記憶装置11は、ROM、RAM、HD等であって、プログラムを記憶したり、画像を記憶したりする。ネットワークインタフェース装置12は、画像処理装置100をネットワークに接続する。
画像処理装置200も画像処理装置100のハードウェア構成と同様である。
なお、本実施形態では、後述する図2の画像処理装置の機能はソフトウェアとして実装されているものとして説明を行うが、後述する図2の画像処理装置の各機能を専用のハードウェアとして画像処理装置に実装してもよい。また、本実施形態では、後述するように、撮像装置と画像処理装置とを別体のものとして説明を行うが、同一の装置内であってもよい。
【0013】
図2は、実施形態1の画像処理システムのシステム構成等の一例を示す図である。
図2に示されるように、画像処理システムは、視野、又は撮像範囲を一部共有する撮像装置110、210と、撮像装置で撮像された画像中から人物を検出する画像処理装置100、200と、を含む。ここで、撮像装置110は、第一の撮像手段の一例である。また、撮像装置210は、第二の撮像手段の一例である。また、画像処理装置100は、第一の画像処理装置の一例である。また、画像処理装置200は、第二の画像処理装置の一例である。
撮像装置110は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部101に入力される。
画像処理装置100は、本実施形態で提案する画像処理装置である。
画像取得部101は、撮像装置110により撮像された画像を取得する。
物体領域検知部102は、画像取得部101により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部102は、画像取得部101により取得された画像中から動体領域を抽出する。
負荷推定部103は、物体領域検知部102で抽出された画像領域から、物体認識部105で認識処理を行う際の処理負荷を推定する。
認識領域限定部104は、負荷推定部103で推定された処理負荷量と通信部106より受信した処理負荷量とを比較して、物体認識部105で認識処理をする領域を限定する。
物体認識部105は、物体領域検知部102で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態においては、物体認識部105は、物体領域検知部102で抽出された特定の画像領域から人体領域を抽出する。
通信部106は、画像処理装置200の通信部206と処理負荷量を送受信する。
【0014】
同様にして、撮像装置210は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部201に入力される。
画像処理装置200は、本実施形態で提案する画像処理装置である。
画像取得部201は、撮像装置210により撮像された画像を取得する。
物体領域検知部202は、画像取得部201により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部202は、画像取得部201により取得された画像中から動体領域を抽出する。
負荷推定部203は、物体領域検知部202で抽出された画像領域から、物体認識部205で認識処理を行う際の処理負荷を推定する。
認識領域限定部204は、負荷推定部203で推定された処理負荷量と通信部206より受信した処理負荷量とを比較して、物体認識部205で認識処理をする領域を限定する。
物体認識部205は、物体領域検知部202で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態においては、物体認識部205は、物体領域検知部202で抽出された特定の画像領域から人体領域を抽出する。
通信部206は、画像処理装置100の通信部106と処理負荷量を送受信する。
【0015】
図3は、実施形態1の概要を示すフローチャートである。以下順を追って説明する。なお以下のフローチャートの動作は、画像処理装置100の場合を説明するが、画像処理装置200も同様の動作をする。
ステップS100:
まず、物体領域検知部102は、画像取得部101により取得された画像から、動体領域を抽出する。ここで、動体領域とは、物体領域検知部102が、同画角の、物体が写りこんでいない背景のみの画像と差分をとることで、抽出できる領域である。更に物体領域検知部102は、視野共有領域において、動体領域が存在しているか判定を行う。
ステップS200:
負荷推定部103は、動体領域より、物体認識部105での処理負荷を推定する。認識領域限定部104は、推定された処理負荷情報を用い、画像処理装置100、200間でどちらの処理負荷が高いか調停を行う。処理負荷が高い画像処理装置の認識領域限定部は、ステップS300で行う物体認識処理の領域を限定する。
ステップS300:
物体認識部105は、ステップS200で決定された物体認識すべき領域に、所望の物体が写っているか物体認識を行う。
以上、画像処理装置100は、ステップS100からステップS300までの処理を画像取得部101で入力された入力画像ごとに繰り返す。画像処理装置200も同様に、ステップS100からステップS300までの処理を画像取得部201で取得した入力画像ごとに繰り返す。
【0016】
以下、図4を用いてステップS100の詳細フローを説明する。図4は、ステップS100の詳細な処理の一例を示すフローチャートである。
ステップS101:
まず、画像取得部101は、ビデオカメラ等の撮像装置110により撮像した画像を取得する。ここで取得した画像は、例えば8ビットの画素により構成される、2次元配列のデータであり、R、G、B、3つの面で構成される。また、画像取得部101は、RGBデータを輝度データに変換し、輝度画像を以後の処理に用いてもよい。また、本実施形態においては動画を取り扱うことを想定し、処理はフレーム単位で実施する。よって、ここで得る画像とはフレームごとの静止画像である。
ステップS102:
物体領域検知部102は、画像取得部101が取得する画像中の、どの領域が隣接する視野を供した撮像装置間の共有領域であるかを、設定したかどうか判定する。
設定が完了しているならばS104へ分岐する。
共有領域の設定が未完了であるならば、共有領域を設定すべく、S103へ分岐する。
ステップS103:
物体領域検知部102は、画像取得部101が出力した画像中で、隣接する撮像装置と視野を共有している領域を設定する。
ステップS104:
物体領域検知部102は、画像取得部101から出力された画像に対し、記憶装置11に記憶されている基準モデルと比較し、画像から物体が写っている領域を検知し、出力する。ここで、基準モデルとは物体の写っていない背景のみの画像を表すモデルである。以降、ここでの処理詳細を、図を用いて説明する。
【0017】
図5は、撮像装置110で人物を撮像したときに画像取得部101が取得した画像の一例を示す図である。なお、図中の右側の領域(R)が視野共有領域であるとする。A及びBは、認識対象の人物である。
図6は、記憶装置11に記憶されている基準モデルとなる背景画像の一例を示す図である。図6の例では、物体が写っていない状態で画像取得部101により取得された画像である。
基準モデルは図6の背景画像を図7で示す様に、所定のブロック単位で分割しブロック毎に画像特徴量を記憶したものである。図7は、基準モデルの一例を示す図である。一例を示すと、物体領域検知部102は、画像を8×8のブロックに分割し、ブロック内の64画素の画像を用いてDCT(離散コサイン変換)処理を行う。処理結果であるDCT係数の一部を特徴量とし記憶する。物体領域検知部102は、図5に示す画像においても同様に、8×8画素のブロックに分割し、ブロック毎にDCT処理を行い、特徴量を求める。物体領域検知部102ブロック毎に求めた特徴量と基準モデル中の対応するブロックの特徴量との距離Dを以下の(式1)により求める。
D=at・|X−Xb| (式1)
但し、X及びXbは、それぞれ、各ブロックの画像特徴量によって構成される特徴ベクトルである。aは、物体領域の判定を行うための所定の判別ベクトルである。・は、ベクトル内積演算である。||は、絶対値演算である。
物体領域検知部102は、上記(式1)により求めた距離Dが所定の閾値以上である場合、そのブロックを1に、所定の閾値よりも小さいブロックを0として2値画像を求める。1のブロックを黒、0のブロックを白として、図5及び図6の画像から得られる結果を図8に示す。図8は、物体領域検知部102が抽出した動体領域を示す画像の一例を示す図である。2値画像中の、黒の部分は物体が存在するブロック、白の部分は物体が存在しない背景のみのブロックを示す。
なお、記憶装置11に記憶された基準モデルの更新は、物体領域検知部102の結果から物体が存在しない背景のみと判定されたブロックにおいて行う。例えば、画像取得部101で取得した画像街頭ブロックの特徴量と、記憶装置11に記憶された基準モデルの特徴量との加重平均により行う。
【0018】
ステップS105:
物体領域検知部102は、ステップS104で求めた2値画像において、値が1である物体が存在するブロックが、ステップS103で設定された視野共有領域に存在しているかどうかを判定する。視野共有領域に動体領域が存在している場合、ステップS200へ分岐する。存在していない場合はステップS200を踏まずにステップS300へと分岐する。
画像処理装置200も同様のフローを行う。図9は、図5と同時刻に撮像装置210で撮影したときに画像取得部201が取得した画像の一例を示す図である。なお、図中の左側の領域(S)が視野共有領域である。Bは、認識対象の人物である。また、図10は、図9においてステップS104を行った際に得られる結果の一例を示す図である。
【0019】
次に、図11を用いてステップS200の詳細なフローを説明する。図11は、ステップS200の詳細な処理の一例を示すフローチャートである。
ステップS201:
物体領域検知部102より出力された2値画像を負荷推定部103が取得する。
負荷推定部103は、取得した2値画像を用いて、動体領域の面積を判定する。例えば、負荷推定部103は、2値画像中の全ブロック数のうち、動体領域である値が1のブロックの総数を求めることで面積を算出する。
ステップS202:
認識領域限定部104は、負荷推定部103によりステップS200で求められた画像中の動体領域の面積を、通信部106を介し、視野を共有する画像処理装置200へ送信する。同様にして、画像処理装置200の認識領域限定部204は通信部206を介し、動体領域の面積情報を画像処理装置100へ送信する。ここで、通信部206から通信部106へ送信される動体領域の面積情報は、画像取得部201が取得した画像を基に、負荷推定部203が算出した動体領域の面積情報である。
【0020】
ステップS203:
認識領域限定部104は、画像処理装置200の動体領域の面積情報を通信部106から取得する。そして、認識領域限定部104は、負荷推定部103により算出された動体領域の面積情報と前記取得した動体領域の面積情報とを比較する。ここで、面積を2値画像中の動体領域のブロックの総数で求めている場合、認識領域限定部104は、ブロック数の比較をすればよい。
負荷推定部103により算出された動体領域の面積の方が大きいと判定された場合、ステップS204へ分岐する。画像処理装置200から取得した動体領域の面積の方が大きいと判定された場合、ステップS205へ分岐する。
ステップS204:
認識領域限定部104は、ステップS203で自身の画像中の動体領域の面積の方が、画像処理装置200の画像中の動体領域の面積よりも大きいと判断し、共有領域以外のみ物体認識処理を行うよう、領域を限定する。
【0021】
ステップS205:
認識領域限定部104は、ステップS203で自身の画像中の動体領域の面積の方が、画像処理装置200の画像中の動体領域の面積よりも小さいと判断し、画像全領域(全範囲)で物体認識処理を行うよう、領域指定する。
図8、図10の例の場合、画像処理装置100の画像中の動体領域の面積の方が、画像処理装置200の画像中の動体領域の面積よりも大きい。したがって、画像処理装置100は、共有領域以外のみ物体認識処理を行うよう物体認識範囲を視野共有領域を除いた領域に設定する。逆に、画像処理装置200は、共有領域も含めて、全領域、物体認識処理を行うよう判断する。
【0022】
次にステップS300の処理の一例を説明する。
ステップS300:
物体認識部105は、記憶装置11に記憶されている物体辞書を用いて、画像取得部101から出力された画像に所望の物体が写っているかどうかを確認する。その際、ステップS200で、物体認識部105で認識する領域を共有領域も含んだ全領域か、共有領域を省いた領域か、切り替えられている。
本実施形態では、認識する物体として人物を想定し、物体認識は非特許文献1で提案されている方法を適用することができる。物体領域検知部102で動体領域と判定された領域、かつ、認識領域限定部104で限定した領域に対し、非特許文献1で提案されている方法を適用する。
上記の動作を画像処理装置200でも同様に同時に行うことで、画像処理装置100と画像処理装置と200で、共有領域に存在する物体の物体認識処理を処理負荷が低い方が行うように調停することができる。したがって、画像処理装置間で物体認識処理の負荷を分散させることができる。
【0023】
<実施形態2>
図12は、実施形態2の画像処理システムのシステム構成等の一例を示す図である。本実施形態では、画像中から特定人物の顔認証を行う画像処理システムを例に説明を行う。
撮像装置310は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像装置310が撮像した画像は、画像取得部301に入力される。
画像取得部301は、撮像装置310により撮像された画像を取得する。
物体領域検知部302は、画像取得部301により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部302は、画像取得部301により取得された画像中から人物の顔領域を抽出する。
負荷推定部303は、物体領域検知部302で抽出された画像領域から、物体認識部305で認識処理を行う際の処理負荷を推定する。
認識領域限定部304は、負荷推定部303で推定された処理負荷量を、通信部306を介し画像処理装置400へ処理負荷量を送信する。逆に、認識領域限定部304は、画像処理装置400から処理負荷量が送信されてきた場合は、負荷推定部303で推定された処理負荷量と比較する。そして、認識領域限定部304は、画像処理装置300と画像処理装置400とでどちらの処理負荷が軽いか判断し、画像処理装置400に対し処理の可否応答を返信する。認識領域限定部304は、通信部306から受け取った可否応答、若しくは自身の比較結果に応じて、物体認識部305で認識処理をする領域を限定する。送信動作、受信動作どちらを主体で行うかは自動又は手動で切換えられるものとする。
物体認識部305は、物体領域検知部302で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態では、物体認識部305は、物体領域検知部302で抽出された人物の顔領域に特定人物が写っているか顔認証を行う。
通信部306は、処理負荷量、可否応答を送受信する。
【0024】
同様にして、撮像装置410は、ビデオカメラ等の画像を撮像する装置であり、撮像レンズ、及び、光電変換を行って画素信号を生成する撮像素子から構成される。なお、撮像した画像は画像取得部401に入力される。
画像取得部401は、撮像装置410により撮像された画像を取得する。
物体領域検知部402は、画像取得部401により取得された画像中から特定の画像領域を抽出する。
本実施形態においては、物体領域検知部402は、画像取得部401により取得された画像中から人物の顔領域を抽出する。
負荷推定部403は、物体領域検知部402で抽出された画像領域から、物体認識部405で認識処理を行う際の処理負荷を推定する。
認識領域限定部404は、負荷推定部403で推定された処理負荷量を、通信部406を介し画像処理装置300へ処理負荷量を送信する。逆に、認識領域限定部404は、画像処理装置300から処理負荷量が送信されてきた場合は、負荷推定部403で推定された処理負荷量と比較する。認識領域限定部404は、画像処理装置400と画像処理装置300とでどちらの処理負荷が軽いか判断し、画像処理装置300に対し処理の可否応答を返信する。認識領域限定部404は、通信部406から受け取った可否応答、若しくは自身の比較結果に応じて、物体認識部405で認識処理をする領域を限定する。送信動作、受信動作どちらを主体で行うかは自動又は手動で切換えられるものとする。
物体認識部405は、物体領域検知部402で抽出された特定の画像領域に所望の物体が写っているかどうかを認識して検知する。
本実施形態では、物体認識部405は、物体領域検知部402で抽出された人物の顔領域に特定人物が写っているか顔認証を行う。
通信部406は、処理負荷と可否応答を送受信する。
【0025】
図13は、実施形態2の概要を示すフローチャートである。以下順を追って説明する。
ステップS400:
まず、物体領域検知部302は、画像取得部301により取得された画像から、人物の顔領域を抽出する。更に物体領域検知部302は、共有領域において、顔領域が存在しているか判定を行う。
ステップS500:
負荷推定部303は、人物の顔領域の総数を計上し、物体認識部305での処理負荷を推定する。負荷推定部303は、推定した処理負荷情報を用い、画像処理装置300、400間でどちらの処理負荷が高いか調停を行う。処理負荷が高い画像処理装置の認識領域限定部は、ステップS600で行う物体認識処理の領域を限定する。
ステップS600:
物体認識部305は、ステップS500で決定した物体認識すべき領域に、特定の人物が写っているか顔認証を行う。
以上、画像処理装置300は、ステップS400からステップS600までの処理を画像取得部301で入力された入力画像ごとに繰り返す。画像処理装置400も同様に、ステップS400からステップS600までの処理を画像取得部401で取得した入力画像ごとに繰り返す。
【0026】
以下、図14を用いてステップS400の詳細フローを説明する。図14は、ステップS400の詳細な処理の一例を示すフローチャートである。
ステップS401:
まず、画像取得部301は、ビデオカメラ等の撮像装置310により撮像した画像を取得する。ここで取得した画像は、例えば8ビットの画素により構成される、2次元配列のデータであり、R、G、B、3つの面で構成される。また、画像取得部301は、RGBデータを輝度データに変換し、輝度画像を以後の処理に用いてもよい。また、本実施形態においては動画を取り扱うことを想定し、処理はフレーム単位で実施する。よって、ここで得る画像とはフレームごとの静止画像である。
ステップS402:
物体領域検知部302は、画像取得部301が取得する画像中の、どの領域が隣接する視野を供した撮像装置間の共有領域であるかを、設定したかどうか判定する。
設定が完了しているならばS404へ分岐する。
共有領域の設定が未完了であるならば、共有領域を設定すべく、S403へ分岐する。
【0027】
ステップS403:
画像取得部301が出力した画像中で、隣接する撮像装置と視野を共有している領域を設定する。
ステップS404:
物体領域検知部302は、画像取得部301から出力された画像に対し、実施形態1のステップS104とステップS300と同様の処理を施すことで、画像から人物の顔領域を検出する。
ステップS405:
物体領域検知部302は、ステップS404で求めた顔領域ブロックが、ステップS403で設定された共有領域に存在しているかどうかを判定する。共有領域に物体領域が存在している場合ステップS500へ分岐する。存在していない場合はステップS500、を踏まずにステップS600へと分岐する。
【0028】
次に、図15、図16を用いてステップS500の詳細なフローを説明する。図15は、画像処理装置300の処理の一例を示すフローチャートである。図16は、画像処理装置400の処理の一例を示すフローチャートである。まず、図15について説明する。
ステップS501:
負荷推定部303は、物体領域検知部302より出力された顔領域が抽出された画像を取得する。
負荷推定部303は、取得した画像を用いて、輪郭切出しを行い画像中の人物の顔の総数を判定する。
ステップS502:
認識領域限定部304は、負荷推定部303によりステップS400で求められた画像中の顔の総数を、通信部306を介し、撮像装置310と視野を共有する撮像装置410の画像を処理する画像処理装置400へ送信する。
ステップS503:
通信部306は、画像処理装置400から重なり領域の処理可否応答を受信し、認識領域限定部304へ送る。
ステップS504:
認識領域限定部304は、画像処理装置400の共有領域を物体認識可能か処理可否応答を通信部306から取得する。応答が可であればS505へ分岐する。応答が否であればS506へ分岐する。
ステップS505:
認識領域限定部304は、ステップS504で画像処理装置400が共有領域中の顔認証処理を行うと判断し、共有領域以外のみ物体認識処理を行うよう、物体認識範囲を視野共有領域を除いた領域に設定する。
ステップS506:
認識領域限定部304は、ステップS503で画像処理装置400が共有領域中の顔認証処理を行わないと判断し、画像全領域(全範囲)で物体認識処理を行うよう、領域指定する。
【0029】
以上、画像処理装置400の詳細フローを説明した。次に、図16について説明する。図15と同一番号のフローは同様の処理を行う。
ステップS507:
画像処理装置400の認識領域限定部404は、通信部406から画像処理装置300の顔領域の総数情報を受信する。
ステップS508:
認識領域限定部404は、受信した画像処理装置300の顔領域の総数情報と、負荷推定部403が計上した顔領域の総数情報と、を比較し、どちらの総数が多いか判定する。画像処理装置400の画像中の顔領域の総数の方が多い場合はステップS509へ分岐する。画像処理装置300の画像中の顔領域の総数の方が多い場合はステップS510へ分岐する。同数の場合はどちらへ分岐してもよい。本実施形態では、ステップS510へ分岐するものとする。
ステップS509:
認識領域限定部404は、通信部406を介して画像処理装置300に対し、共有領域の顔認証処理は行わないことを送信する。
ステップS510:
認識領域限定部404は、通信部406を介して画像処理装置300に対し、共有領域の顔認証処理を行うことを送信する。
【0030】
次にステップS600の詳細な処理の一例を説明する。
ステップS600:
物体認識部305は、記憶装置11に記憶されている物体辞書を用いて、画像取得部301から出力された画像に所望の物体が写っているかどうかを確認する。その際、ステップS500で、物体認識部305で認識する領域を共有領域も含んだ全領域か、共有領域を省いた領域か切り替えられている。なお、ステップS400からステップS500までを踏まずにステップS600へ分岐する系の場合、物体認識部305で認識する領域が共有領域も含んだ全領域に設定される。
本実施形態では、認識する物体として特定人物の顔を想定し、人物認証は後述の参考文献1等で提案されている方法が適用できる。
まず、顔領域は、ステップS404で抽出されている。物体認識部305は、抽出された顔領域に対して、目鼻等の特徴点を抽出する。物体認識部305は、抽出した特徴点を基準にし、正規化した大きさに顔領域を切出し、濃淡情報等を特徴量として抽出する。予め、認識対象人物の顔の画像から抽出される個人特徴量が、記憶装置11に記憶されている。物体認識部305は、記憶装置11に記憶されている個人特徴量と、画像から抽出した特徴量との類似度を算出することにより、個人の顔識別が可能となる。
上記の動作により画像処理装置300と画像処理装置400とで、共有領域に存在する物体の物体認識処理を処理負荷が低い方が行うように調停することが可能になる。
参考文献1 山口.福井,"顔向きや表情の変化にロバストな顔認識システム"Smartface"",電子情報通信学会論文誌,D−II,Vol.J84−D−II,No.6,pp.1045‐1052,2001−6
【0031】
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
【0032】
以上、上述した各実施形態によれば、複数台の撮像装置を用いて広域を撮像する装置において、認識処理負荷が高い撮像装置の処理負荷を軽減することが可能になる。即ち、認識処理の負荷が高く、処理が間に合わずにフレーム落ちしてしまっていた頻度を軽減することができる。つまり、認識処理を軽減することができる。
【0033】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0034】
10 制御装置、100 画像処理装置、110 撮像装置
【特許請求の範囲】
【請求項1】
第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置であって、
前記第一の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段において前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有する画像処理装置。
【請求項2】
取得した前記画像中の動体領域の面積を算出する算出手段を更に有し、
前記判断手段は、前記算出手段で算出された前記面積を前記第二の画像処理装置に送信し、前記第二の画像処理装置が算出した前記第二の撮像手段で撮像された画像中の動体領域の面積を前記第二の画像処理装置より受信し、前記算出した面積の方が前記受信した面積より大きい場合は、前記共有領域の物体認識処理を前記第二の画像処理装置で行うと判断し、前記算出した面積の方が前記受信した面積より大きくない場合は、前記共有領域の物体認識処理を前記画像処理装置で行うと判断する請求項1記載の画像処理装置。
【請求項3】
前記画像中の顔領域の総数を計上する計上手段を更に有し、
前記判断手段は、前記計上手段で計上された前記顔領域の総数を前記第二の画像処理装置に送信し、前記第二の画像処理装置において前記共有領域の物体認識が可能か否かの可否応答を前記第二の画像処理装置より受信し、受信した可否応答が前記共有領域の物体認識が可能であることを示していた場合は、前記共有領域の物体認識処理を前記第二の画像処理装置で行うと判断し、受信した可否応答が前記共有領域の物体認識が可能でないことを示していた場合は、前記共有領域の物体認識処理を前記画像処理装置で行うと判断する請求項1記載の画像処理装置。
【請求項4】
前記認識手段は、前記設定手段で設定された物体認識範囲に人体が写っているか物体認識を行う請求項1乃至3何れか1項記載の画像処理装置。
【請求項5】
前記認識手段は、前記設定手段で設定された物体認識範囲に特定の人物の顔が写っているか物体認識を行う請求項1乃至3何れか1項記載の画像処理装置。
【請求項6】
第一の撮像手段で撮像された画像の画像処理を行う画像処理装置と、撮像範囲を前記第一の撮像手段と一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と、を含む画像処理システムであって、
前記第一の画像処理装置は、
前記第一の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第一の画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段で前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有し、
前記第二の画像処理装置は、
前記第二の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第二の撮像手段と前記第一の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第二の画像処理装置と前記第一の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有する画像処理システム。
【請求項7】
第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置が実行する画像処理方法であって、
前記第一の撮像手段で撮像された画像を取得する取得ステップと、
前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断ステップと、
前記判断ステップにおいて前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
を含む画像処理方法。
【請求項8】
第一の撮像手段で撮像された画像の画像処理を行う画像処理装置と、撮像範囲を前記第一の撮像手段と一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と、を含む画像処理システムにおける画像処理方法であって、
前記第一の画像処理装置が、前記第一の撮像手段で撮像された画像を取得する取得ステップと、
前記第一の画像処理装置が、前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
前記第一の画像処理装置が、取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第一の画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断ステップと、
前記第一の画像処理装置が、前記判断ステップで前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記第一の画像処理装置が、前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
前記第二の画像処理装置が、前記第二の撮像手段で撮像された画像を取得する取得ステップと、
前記第二の画像処理装置が、前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
前記第二の画像処理装置が、取得した前記画像中の前記第二の撮像手段と前記第一の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第二の画像処理装置と前記第一の画像処理装置との何れで行うかを判断する判断ステップと、
前記第二の画像処理装置が、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記第二の画像処理装置が、前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
を含む画像処理方法。
【請求項1】
第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置であって、
前記第一の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段において前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有する画像処理装置。
【請求項2】
取得した前記画像中の動体領域の面積を算出する算出手段を更に有し、
前記判断手段は、前記算出手段で算出された前記面積を前記第二の画像処理装置に送信し、前記第二の画像処理装置が算出した前記第二の撮像手段で撮像された画像中の動体領域の面積を前記第二の画像処理装置より受信し、前記算出した面積の方が前記受信した面積より大きい場合は、前記共有領域の物体認識処理を前記第二の画像処理装置で行うと判断し、前記算出した面積の方が前記受信した面積より大きくない場合は、前記共有領域の物体認識処理を前記画像処理装置で行うと判断する請求項1記載の画像処理装置。
【請求項3】
前記画像中の顔領域の総数を計上する計上手段を更に有し、
前記判断手段は、前記計上手段で計上された前記顔領域の総数を前記第二の画像処理装置に送信し、前記第二の画像処理装置において前記共有領域の物体認識が可能か否かの可否応答を前記第二の画像処理装置より受信し、受信した可否応答が前記共有領域の物体認識が可能であることを示していた場合は、前記共有領域の物体認識処理を前記第二の画像処理装置で行うと判断し、受信した可否応答が前記共有領域の物体認識が可能でないことを示していた場合は、前記共有領域の物体認識処理を前記画像処理装置で行うと判断する請求項1記載の画像処理装置。
【請求項4】
前記認識手段は、前記設定手段で設定された物体認識範囲に人体が写っているか物体認識を行う請求項1乃至3何れか1項記載の画像処理装置。
【請求項5】
前記認識手段は、前記設定手段で設定された物体認識範囲に特定の人物の顔が写っているか物体認識を行う請求項1乃至3何れか1項記載の画像処理装置。
【請求項6】
第一の撮像手段で撮像された画像の画像処理を行う画像処理装置と、撮像範囲を前記第一の撮像手段と一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と、を含む画像処理システムであって、
前記第一の画像処理装置は、
前記第一の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第一の画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段で前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有し、
前記第二の画像処理装置は、
前記第二の撮像手段で撮像された画像を取得する取得手段と、
前記取得手段で取得された画像から物体領域を検知する検知手段と、
取得した前記画像中の前記第二の撮像手段と前記第一の撮像手段との共有領域に、前記検知手段で検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第二の画像処理装置と前記第一の画像処理装置との何れで行うかを判断する判断手段と、
前記判断手段で前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断手段で前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定手段と、
前記設定手段で設定された物体認識範囲に物体が写っているか否か物体認識を行う認識手段と、
を有する画像処理システム。
【請求項7】
第一の撮像手段で撮像された画像の画像処理を行い、前記第一の撮像手段と撮像範囲を一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と通信を行う画像処理装置が実行する画像処理方法であって、
前記第一の撮像手段で撮像された画像を取得する取得ステップと、
前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断ステップと、
前記判断ステップにおいて前記画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
を含む画像処理方法。
【請求項8】
第一の撮像手段で撮像された画像の画像処理を行う画像処理装置と、撮像範囲を前記第一の撮像手段と一部共有する第二の撮像手段で撮像された画像の画像処理を行う第二の画像処理装置と、を含む画像処理システムにおける画像処理方法であって、
前記第一の画像処理装置が、前記第一の撮像手段で撮像された画像を取得する取得ステップと、
前記第一の画像処理装置が、前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
前記第一の画像処理装置が、取得した前記画像中の前記第一の撮像手段と前記第二の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第一の画像処理装置と前記第二の画像処理装置との何れで行うかを判断する判断ステップと、
前記第一の画像処理装置が、前記判断ステップで前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記第一の画像処理装置が、前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
前記第二の画像処理装置が、前記第二の撮像手段で撮像された画像を取得する取得ステップと、
前記第二の画像処理装置が、前記取得ステップで取得された画像から物体領域を検知する検知ステップと、
前記第二の画像処理装置が、取得した前記画像中の前記第二の撮像手段と前記第一の撮像手段との共有領域に、前記検知ステップで検知された前記物体領域がある場合、前記共有領域の物体認識処理を前記第二の画像処理装置と前記第一の画像処理装置との何れで行うかを判断する判断ステップと、
前記第二の画像処理装置が、前記判断ステップで前記第二の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲に設定し、前記判断ステップで前記第一の画像処理装置で行うと判断された場合、物体認識範囲を前記画像の全範囲から前記共有領域を除いた領域に設定する設定ステップと、
前記第二の画像処理装置が、前記設定ステップで設定された物体認識範囲に物体が写っているか否か物体認識を行う認識ステップと、
を含む画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2012−226583(P2012−226583A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−94108(P2011−94108)
【出願日】平成23年4月20日(2011.4.20)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願日】平成23年4月20日(2011.4.20)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]