画像認識処理に適用する特徴情報選択装置及び画像認識処理装置
【課題】環境条件の変動がある場合でも人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択できる特徴情報選択装置を提供することにある。
【解決手段】カメラ11A〜11Cにより撮影された画像情報から認識対象を抽出するための特徴情報を選択する特徴情報選択装置を含む画像処理装置10において、重要度情報及び信頼度情報に基づいて複数の特徴情報から画像認識処理に有効な特徴情報を選択する機能を有する構成である。
【解決手段】カメラ11A〜11Cにより撮影された画像情報から認識対象を抽出するための特徴情報を選択する特徴情報選択装置を含む画像処理装置10において、重要度情報及び信頼度情報に基づいて複数の特徴情報から画像認識処理に有効な特徴情報を選択する機能を有する構成である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理技術に関し、特に認識対象の特徴情報を選択するための技術に関する。
【背景技術】
【0002】
近年、カメラにより撮影された画像(映像)情報を利用した監視システムが普及している。特に、多数の人が通行するようなエリアを監視対象とする広域監視システムに対する需要が高まっている。
【0003】
監視システムでは、カメラにより撮影された画像情報を処理して、監視対象である人の特徴を抽出するための画像認識処理装置が適用されている。広域監視システムでは、複数のカメラを使用し、監視対象である人の特徴に基づいて、移動している人を同定し、追跡するための画像認識処理装置が必要となる。
【0004】
従来では、人の複数の特徴情報に基づいて個人認証を行なう先行技術が提案されている(例えば、特許文献1、2を参照)。これらの先行技術は、指紋、虹彩、顔、声紋、筆跡などの複数種類の生体情報を取得し、事前に登録しておいた生体情報と照合することで個人認証を行なう構成である。これらの先行技術は、個人認証装置への生体情報の事前登録を前提としており、理想的な環境で収集した生体情報を用いる処理を実行するものである。
【0005】
画像処理技術に含まれるパターン認識技術に関する先行技術が提案されている(例えば、特許文献3、4を参照)。特許文献3に記載されている先行技術は、文字認識等を想定し、画像から過多の特徴を生成しておき、その中から必要な特徴を選択する仕組みに関するものである。この先行技術は、認識対象について事前に多くの特徴を装置に入力しておき、平均パターンを辞書データとして登録することを基本としている。また、特許文献4に記載されている先行技術は、ニューラルネットワークなどのパターン学習機能を組み込むことで、画像からパターン識別に必要な特徴を抽出するものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3827600号公報
【特許文献2】特許第4196973号公報
【特許文献3】特許第3060922号公報
【特許文献4】特許第3480563号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
前述したように、例えば、特に多数の人が通行するエリアなどを対象とする広域監視システムでは、画像情報から得られる人に関する特徴に基づいて、人を追跡、同定するための画像認識処理技術が要求される。しかし、人の特徴は、カメラから人までの距離、カメラに対する人の向きなどの環境条件の変動により大きく変動する。前述の特許文献1、2の先行技術は、環境条件が変動するような状況に適応することは困難である。また、特許文献3、4の先行技術は、認識対象について事前学習が必要であり、人毎に特徴情報を事前学習できない広域監視システムへの適用は困難である。
【0008】
そこで、本発明の目的は、環境条件の変動がある場合でも人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択できる特徴情報選択装置を提供することにある。
【課題を解決するための手段】
【0009】
本発明の観点は、画像処理を利用した人の追跡、同定に用いる特徴情報を重要度と信頼度の2つの属性で定義し、人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択する特徴情報選択装置である。
【0010】
本発明の観点に従った特徴情報選択装置は、カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理に適用する特徴情報選択装置において、前記認識対象の複数の特徴情報を抽出する特徴抽出手段と、前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する重要度設定手段と、前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する信頼度設定手段と、前記特徴情報に基づいて認識対象を抽出するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から前記画像認識処理に有効な特徴情報を選択する選択手段とを備えた構成である。
【発明の効果】
【0011】
本発明によれば、環境条件の変動がある場合でも人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態に関する画像処理装置及び監視システムの要部を示すブロック図。
【図2】本実施形態に関する画像処理装置において人を同定する仕組みの一例を説明するための図。
【図3】本実施形態に関する画像処理装置の追跡及び同定の処理を説明するためのフローチャート。
【図4】本実施形態に関する重要度の定義を説明するための図。
【図5】本実施形態に関する重要度の定義を説明するための図。
【図6】本実施形態に関する重要度の設定処理を説明するためのフローチャート。
【図7】本実施形態に関する信頼度の設定処理を説明するためのフローチャート。
【図8】本実施形態に関する環境変動を説明するための図。
【図9】本実施形態に関する信頼度の設定方法を説明するための図。
【図10】本実施形態に関する同定処理を説明するための図。
【図11】本実施形態に関する特徴情報選択の方法を説明するための図。
【図12】本実施形態に関する同定処理を説明するためのフローチャート。
【発明を実施するための最良の形態】
【0013】
以下図面を参照して、本発明の実施形態を説明する。
【0014】
(画像処理装置の構成)
図1は、本実施形態に関する画像処理装置の要部を示すブロック図である。
【0015】
本実施形態は、複数のカメラ11A〜11Cを使用する監視システムに適用する画像処理装置10である。画像処理装置10は、画像入力部12と、画像処理部13と、記憶部14と、表示装置15を有し、具体的にはパーソナルコンピュータなどのコンピュータシステムから構成されている。
【0016】
画像入力部12は、カメラ11A〜11Cにより撮影された画像(映像)を入力し、各種の前処理を実行して画像処理部13に送出する。画像処理部13は、マイクロプロセッサ(CPU)及び画像処理用ソフトウェアからなり、後述する画像認識処理を含む画像処理を実行する。記憶部14は、画像処理部13の処理結果や画像処理部13の画像処理に必要な情報などを格納する。表示装置15は、画像処理部13からの処理結果を表示する表示画面を有する。また、表示装置15は、カメラ11A〜11Cにより撮影された画像を表示する監視用モニタを構成する。
【0017】
(監視システムの動作)
本実施形態の監視システムは、図1に示すように、例えば大規模店舗内に設置されたカメラ11A〜11C及び画像処理装置10から構成されている。カメラ11A〜11Cは、店舗フロア100に割り当てられた監視エリア110A〜110C毎に配置される。画像処理装置10は、異なるカメラ11A〜11Cにより撮影された各画像から人120を抽出する。さらに、画像処理装置10は、人120の特徴情報に基づいて、点線130で示すように店舗フロア100を移動する人120を、追跡及び同定するための画像認識処理を実行する。
【0018】
図2は、画像処理装置10が、異なるカメラ11A〜11Cからの画像情報を使用して人120を同定する仕組みの一例を示す図である。画像処理装置10は、図2(A)に示すように、カメラ11Aにより撮影された画像200Aから、後ろ姿の人を抽出する。また、画像処理装置10は、図2(B)に示すように、カメラ11Bにより撮影された画像200Bから、前からの人を抽出する。
【0019】
さらに、画像処理装置10は、カメラ11Aにより撮影された画像200Aから、抽出した人の特徴情報として、例えばオレンジ色の服とグレーのズボンを検出する。また、画像処理装置10は、カメラ11Bにより撮影された画像200Bから、抽出した人の特徴情報として、例えばオレンジ色の服とグレーのズボンを検出する。
【0020】
画像処理装置10は、異なるカメラ11A,11Bの画像情報から取得した特徴情報として、抽出した人のオレンジ色の服とグレーのズボンとが合致しているため、同一人物として同定する。従って、画像処理装置10は、異なるカメラ11A,11Bの監視範囲(撮影範囲)間を移動している人を同定し、追跡することができる。
【0021】
次に図3のフローチャートを参照して、画像処理装置10の追跡及び同定するための画像認識処理を含む画像処理を説明する。
【0022】
まず、画像入力部12は、ここでは2台のカメラ11A,11Bにより撮影された画像を入力し、各種の前処理を実行して画像処理部13に送出する。画像処理部13は、画像入力部12からの各画像情報から人の領域(人領域)を切り出す処理を実行する(ステップS1A,S1B)。画像処理部13は、切り出した人領域の特徴量(特徴情報)を抽出する(ステップS2A,S2B)。
【0023】
次に、画像処理部13は、抽出した複数の特徴量(特徴情報)間の類似度を判定する(ステップS3)。画像処理部13は、類似度が基準値より高い場合には、2台のカメラ11A,11Bにより撮影された人領域が同一人物であると同定する処理結果を出力する。これにより、監視システムは、画像処理部13の画像処理結果に基づいて、同一人物がカメラ11A,11Bの監視範囲110A,110B間を移動している人を同定し、追跡する監視処理を実行できる(ステップS4)。
【0024】
(特徴情報選択)
前述したように、広域監視システムでは、画像処理装置10は、複数のカメラ11A〜11Cにより撮影された画像を画像処理し、この画像処理結果から人に関する複数の特徴情報を取得する。画像処理装置10は、取得した複数の特徴情報から有効な特徴情報を選択することで、監視対象の人を同定、追跡することができる。
【0025】
しかし、実際には人の追跡、同定を実現する場合、カメラから人までの距離や、カメラに対する人の向きなどの環境条件(環境パラメータ)の変動により、監視性能が低下し易い状況が発生する。即ち、具体的に、環境条件とは、カメラ11A〜11Cの撮影における環境条件である。本実施形態は、環境条件の変動がある場合でも、高性能の追跡、同定を実現するための有効な特徴情報選択の仕組みを実現する。以下、特徴情報選択の仕組みを具体的に説明する。
【0026】
本実施形態は、画像処理を利用して人の追跡、同定を行なう場合の有効な特徴情報(特徴量)として、重要度と信頼度の2種類の属性を定義する。重要度は、ある特徴情報を平均と比較した場合に、その特徴情報の特異の程度を示す数値情報である。また、信頼度は、ある特徴情報が他の特徴情報と比較した場合に、信頼の高低の程度を示す情報である。
【0027】
人を追跡、同定する監視動作では、監視範囲に類似した特徴を有する人が多く存在する場合には、監視対象の識別が困難になるため、当該監視性能が低下する。このような場合、人に関する複数の特徴情報の中から特異なものを選択し、その情報に重きを置くことで、監視性能の低下を抑制することが可能となる。
【0028】
特徴情報の特異性を判断する方法として、図4に示すように、特徴量の標準的な分布を予め用意し、得られた特徴量が平均値400から外れた値410であれば特異性があると判断し、重要度を高く設定する。また、別の方法として、図5に示すように、特徴量の標準的な空間500を予め用意し、得られる特徴量から空間までの距離が離れている外れた値510がある場合に特異性があると判断し、重要度を高く設定する。図5において、符号520は超平面を意味する。
【0029】
図6は、画像処理部13において、特徴情報の重要度を設定する処理を説明するためのフローチャートである。
【0030】
まず、画像処理部13は、画像入力部12を介してカメラ11A〜11Cにより撮影された画像を取込む(ステップS11)。画像処理部13は、画像入力部12からの各画像情報から人領域を切り出す(ステップS12)。画像処理部13は、切り出した人領域の複数の特徴情報(特徴量)を抽出する(ステップS13)。
【0031】
次に、画像処理部13は、抽出した複数の特徴情報毎の特異性を判定する(ステップS14)。この特異性を判定結果に基づいて、画像処理部13は、特徴情報毎に数値である重要度を設定し、この重要度を付加した特徴情報(特徴データ)を記憶装置14に格納して登録する(ステップS16)。
【0032】
次に、特徴情報(特徴量)の属性として、特徴情報の信頼性の高低を示す信頼度に関して、図7から図9を参照して具体的に説明する。
【0033】
監視システムの環境変動が発生した場合、複数の特徴情報の中に人同士の差異を示す情報が含まれないものが存在する。また、環境変動の内容により、信頼度の高い特徴情報と信頼度の低い特徴情報が変化することがある。
【0034】
図8は、環境パラメータ、その変動の種類、及び環境変動の発生を検知する変動検知方法のルールを示す図である。図8に示すように、環境パラメータ(カメラの撮影条件)としては、例えばカメラの撮影時の照度、コントラスト、映像(画像)の色み、カメラの俯角、カメラレンズの焦点距離、カメラと人との距離などがある。また、変動の種類としては、低下、変動、増大、変化がある。
【0035】
図7に示すように、画像処理部13は、画像入力部12からの各画像情報から人領域を切り出し、この人領域の複数の特徴情報(特徴量)を抽出する(ステップS21)。画像処理部13は、抽出した複数の特徴情報に対して信頼度の高低を設定する(ステップS22)。ここで、信頼度の設定は、図9に示すようなルールにより、複数の特徴情報に対して信頼度の高低を設定する方法で行なわれる。この場合、人の特徴量を示す特徴情報として、輝度分布情報、輝度輪郭情報、及び色分布情報の3種類がある。
【0036】
次に、画像処理部13は、図8に示すような変動検知方法により、環境パラメータの変動の発生を検知する(ステップS23)。画像処理部13は、環境パラメータの変動を検知すると、それに連動して特徴情報の信頼度を変更する処理を実行する(ステップS24のYES,S25)。具体的には、環境パラメータの中で、例えばカメラ撮影時の照度の低下が発生した場合には、3種類の特徴情報の中で、輝度輪郭情報の信頼度を相対的に高くし、輝度分布情報と色分布情報を信頼度を相対的に低くするように変更設定する。
【0037】
以上のように特徴情報(特徴量)の2種類の属性として定義、設定した重要度と信頼度の情報に基づいて、図10から図12を参照して人の追跡、同定を行なう具体的方法を説明する。
【0038】
画像処理部13は、異なるカメラにより撮影された異なる画像間で、人を追跡、同定するときに、図10に示すように、見かけの大きさやカメラに対する向きが異なる人の画像を比較し、それらの人が同一であるか否かを判断する。図10(A)は、カメラの撮影条件が相対的に良い場合であって、サイズの大きい人の画像600Aである。一方、図10(B)は、カメラの撮影条件が相対的に悪い場合であって、サイズの小さい人の画像600Bである。即ち、画像処理部13は、図10(A),(B)に示すように、環境条件、例えば照度やコントラストが異なる画像同士を比較して、同一人物であるか否かの同定処理を実行する。
【0039】
ここで、異なる画像間で人を追跡、同定するときに、一方の画像で有効と想定される人の特徴情報と、他方の画像で有効と想定される特徴情報は異なる可能性が高い。人の同定、追跡は、2つの画像間で同一の特徴情報を用いて実行することになるため、重要度や信頼度の設定が異なる特徴情報を用いることになり監視性能が低下し易い。
【0040】
そこで、本実施形態の画像処理装置10は、設定された特徴情報選択基準に基づいて、複数の特徴情報を選択し、それらを組み合わせて用いることで人の追跡、同定処理を実行する。特徴情報選択基準とは、2枚の画像の中で撮影条件の悪い方の画像を基準として、信頼度が高い特徴情報を選択する場合と、重要度の高い特徴情報を選択する場合である。
【0041】
図11(A),(B)は、異なる画像間で人を追跡、同定するときに、特徴情報(特徴量)選択の具体例を示す図である。図11(A),(B)において、符号700は、選択した特徴情報を示す。符号710は、重要度の高い特徴情報を選択したことを示す。また、符号720は、撮影条件の悪い画像の主要な特徴情報を基準として選択したことを示す。
【0042】
図12(A),(B)は、選択基準の異なる特徴情報を用いた人の追跡、同定の処理をパターンA,Bに分けて説明するフローチャートである。
【0043】
図12(A)に示すように、パターンAとして、画像処理装置10は、重要度の高い特徴情報に基づいて同定候補の人物を選択する処理を実行し、この同定候補から信頼度の高い特徴情報に基づいて人物を同定する処理を実行する。一方、図12(B)に示すように、パターンBとして、画像処理装置10は、重要度の高い特徴情報に基づいて同定候補の人物を選択する処理を実行し、この同定候補から信頼度の高い特徴情報に基づいて人物を同定する処理を実行する。
【0044】
以上要するに本実施形態によれば、画像認識処理を利用して人の追跡、同定を行なう場合の有効な特徴情報(特徴量)として重要度と信頼度の2種類の属性を定義し、カメラの撮影条件などの環境変動に応じて当該属性の設定をダイナミックに変更する。ここで、重要度とは、換言すれば、平均的な特徴から外れた特徴であり、色、外形(体型)、性別などの個別情報や、歩き方(歩様または歩容)などの時系列情報に相当する。例えば、デパート等の大規模店舗の建物に出入する人の中で、夏に黒い色の服を着ている人や、女性が出入する場所での男性などの人の特徴に対する重み付けとなる。また、信頼度は、換言すれば、カメラの撮影における環境条件に基づいて設定される信頼性情報である。
【0045】
このような本実施形態の画像認識処理であれば、環境条件の変動がある場合でも、人の追跡、同定を確実に行なうことが可能となる。従って、複数のカメラを使用する特に広域監視システムに対して有効に適用できる。
【0046】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0047】
10…画像処理装置、11A〜11C…カメラ、12…画像入力部、
13…画像処理部、14…記憶装置、15…表示装置、
100…店舗フロア、110A〜110C…監視エリア(撮影範囲)。
【技術分野】
【0001】
本発明は、カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理技術に関し、特に認識対象の特徴情報を選択するための技術に関する。
【背景技術】
【0002】
近年、カメラにより撮影された画像(映像)情報を利用した監視システムが普及している。特に、多数の人が通行するようなエリアを監視対象とする広域監視システムに対する需要が高まっている。
【0003】
監視システムでは、カメラにより撮影された画像情報を処理して、監視対象である人の特徴を抽出するための画像認識処理装置が適用されている。広域監視システムでは、複数のカメラを使用し、監視対象である人の特徴に基づいて、移動している人を同定し、追跡するための画像認識処理装置が必要となる。
【0004】
従来では、人の複数の特徴情報に基づいて個人認証を行なう先行技術が提案されている(例えば、特許文献1、2を参照)。これらの先行技術は、指紋、虹彩、顔、声紋、筆跡などの複数種類の生体情報を取得し、事前に登録しておいた生体情報と照合することで個人認証を行なう構成である。これらの先行技術は、個人認証装置への生体情報の事前登録を前提としており、理想的な環境で収集した生体情報を用いる処理を実行するものである。
【0005】
画像処理技術に含まれるパターン認識技術に関する先行技術が提案されている(例えば、特許文献3、4を参照)。特許文献3に記載されている先行技術は、文字認識等を想定し、画像から過多の特徴を生成しておき、その中から必要な特徴を選択する仕組みに関するものである。この先行技術は、認識対象について事前に多くの特徴を装置に入力しておき、平均パターンを辞書データとして登録することを基本としている。また、特許文献4に記載されている先行技術は、ニューラルネットワークなどのパターン学習機能を組み込むことで、画像からパターン識別に必要な特徴を抽出するものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3827600号公報
【特許文献2】特許第4196973号公報
【特許文献3】特許第3060922号公報
【特許文献4】特許第3480563号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
前述したように、例えば、特に多数の人が通行するエリアなどを対象とする広域監視システムでは、画像情報から得られる人に関する特徴に基づいて、人を追跡、同定するための画像認識処理技術が要求される。しかし、人の特徴は、カメラから人までの距離、カメラに対する人の向きなどの環境条件の変動により大きく変動する。前述の特許文献1、2の先行技術は、環境条件が変動するような状況に適応することは困難である。また、特許文献3、4の先行技術は、認識対象について事前学習が必要であり、人毎に特徴情報を事前学習できない広域監視システムへの適用は困難である。
【0008】
そこで、本発明の目的は、環境条件の変動がある場合でも人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択できる特徴情報選択装置を提供することにある。
【課題を解決するための手段】
【0009】
本発明の観点は、画像処理を利用した人の追跡、同定に用いる特徴情報を重要度と信頼度の2つの属性で定義し、人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択する特徴情報選択装置である。
【0010】
本発明の観点に従った特徴情報選択装置は、カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理に適用する特徴情報選択装置において、前記認識対象の複数の特徴情報を抽出する特徴抽出手段と、前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する重要度設定手段と、前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する信頼度設定手段と、前記特徴情報に基づいて認識対象を抽出するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から前記画像認識処理に有効な特徴情報を選択する選択手段とを備えた構成である。
【発明の効果】
【0011】
本発明によれば、環境条件の変動がある場合でも人の追跡、同定を確実に実現できる画像認識処理に有効な特徴情報を選択することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態に関する画像処理装置及び監視システムの要部を示すブロック図。
【図2】本実施形態に関する画像処理装置において人を同定する仕組みの一例を説明するための図。
【図3】本実施形態に関する画像処理装置の追跡及び同定の処理を説明するためのフローチャート。
【図4】本実施形態に関する重要度の定義を説明するための図。
【図5】本実施形態に関する重要度の定義を説明するための図。
【図6】本実施形態に関する重要度の設定処理を説明するためのフローチャート。
【図7】本実施形態に関する信頼度の設定処理を説明するためのフローチャート。
【図8】本実施形態に関する環境変動を説明するための図。
【図9】本実施形態に関する信頼度の設定方法を説明するための図。
【図10】本実施形態に関する同定処理を説明するための図。
【図11】本実施形態に関する特徴情報選択の方法を説明するための図。
【図12】本実施形態に関する同定処理を説明するためのフローチャート。
【発明を実施するための最良の形態】
【0013】
以下図面を参照して、本発明の実施形態を説明する。
【0014】
(画像処理装置の構成)
図1は、本実施形態に関する画像処理装置の要部を示すブロック図である。
【0015】
本実施形態は、複数のカメラ11A〜11Cを使用する監視システムに適用する画像処理装置10である。画像処理装置10は、画像入力部12と、画像処理部13と、記憶部14と、表示装置15を有し、具体的にはパーソナルコンピュータなどのコンピュータシステムから構成されている。
【0016】
画像入力部12は、カメラ11A〜11Cにより撮影された画像(映像)を入力し、各種の前処理を実行して画像処理部13に送出する。画像処理部13は、マイクロプロセッサ(CPU)及び画像処理用ソフトウェアからなり、後述する画像認識処理を含む画像処理を実行する。記憶部14は、画像処理部13の処理結果や画像処理部13の画像処理に必要な情報などを格納する。表示装置15は、画像処理部13からの処理結果を表示する表示画面を有する。また、表示装置15は、カメラ11A〜11Cにより撮影された画像を表示する監視用モニタを構成する。
【0017】
(監視システムの動作)
本実施形態の監視システムは、図1に示すように、例えば大規模店舗内に設置されたカメラ11A〜11C及び画像処理装置10から構成されている。カメラ11A〜11Cは、店舗フロア100に割り当てられた監視エリア110A〜110C毎に配置される。画像処理装置10は、異なるカメラ11A〜11Cにより撮影された各画像から人120を抽出する。さらに、画像処理装置10は、人120の特徴情報に基づいて、点線130で示すように店舗フロア100を移動する人120を、追跡及び同定するための画像認識処理を実行する。
【0018】
図2は、画像処理装置10が、異なるカメラ11A〜11Cからの画像情報を使用して人120を同定する仕組みの一例を示す図である。画像処理装置10は、図2(A)に示すように、カメラ11Aにより撮影された画像200Aから、後ろ姿の人を抽出する。また、画像処理装置10は、図2(B)に示すように、カメラ11Bにより撮影された画像200Bから、前からの人を抽出する。
【0019】
さらに、画像処理装置10は、カメラ11Aにより撮影された画像200Aから、抽出した人の特徴情報として、例えばオレンジ色の服とグレーのズボンを検出する。また、画像処理装置10は、カメラ11Bにより撮影された画像200Bから、抽出した人の特徴情報として、例えばオレンジ色の服とグレーのズボンを検出する。
【0020】
画像処理装置10は、異なるカメラ11A,11Bの画像情報から取得した特徴情報として、抽出した人のオレンジ色の服とグレーのズボンとが合致しているため、同一人物として同定する。従って、画像処理装置10は、異なるカメラ11A,11Bの監視範囲(撮影範囲)間を移動している人を同定し、追跡することができる。
【0021】
次に図3のフローチャートを参照して、画像処理装置10の追跡及び同定するための画像認識処理を含む画像処理を説明する。
【0022】
まず、画像入力部12は、ここでは2台のカメラ11A,11Bにより撮影された画像を入力し、各種の前処理を実行して画像処理部13に送出する。画像処理部13は、画像入力部12からの各画像情報から人の領域(人領域)を切り出す処理を実行する(ステップS1A,S1B)。画像処理部13は、切り出した人領域の特徴量(特徴情報)を抽出する(ステップS2A,S2B)。
【0023】
次に、画像処理部13は、抽出した複数の特徴量(特徴情報)間の類似度を判定する(ステップS3)。画像処理部13は、類似度が基準値より高い場合には、2台のカメラ11A,11Bにより撮影された人領域が同一人物であると同定する処理結果を出力する。これにより、監視システムは、画像処理部13の画像処理結果に基づいて、同一人物がカメラ11A,11Bの監視範囲110A,110B間を移動している人を同定し、追跡する監視処理を実行できる(ステップS4)。
【0024】
(特徴情報選択)
前述したように、広域監視システムでは、画像処理装置10は、複数のカメラ11A〜11Cにより撮影された画像を画像処理し、この画像処理結果から人に関する複数の特徴情報を取得する。画像処理装置10は、取得した複数の特徴情報から有効な特徴情報を選択することで、監視対象の人を同定、追跡することができる。
【0025】
しかし、実際には人の追跡、同定を実現する場合、カメラから人までの距離や、カメラに対する人の向きなどの環境条件(環境パラメータ)の変動により、監視性能が低下し易い状況が発生する。即ち、具体的に、環境条件とは、カメラ11A〜11Cの撮影における環境条件である。本実施形態は、環境条件の変動がある場合でも、高性能の追跡、同定を実現するための有効な特徴情報選択の仕組みを実現する。以下、特徴情報選択の仕組みを具体的に説明する。
【0026】
本実施形態は、画像処理を利用して人の追跡、同定を行なう場合の有効な特徴情報(特徴量)として、重要度と信頼度の2種類の属性を定義する。重要度は、ある特徴情報を平均と比較した場合に、その特徴情報の特異の程度を示す数値情報である。また、信頼度は、ある特徴情報が他の特徴情報と比較した場合に、信頼の高低の程度を示す情報である。
【0027】
人を追跡、同定する監視動作では、監視範囲に類似した特徴を有する人が多く存在する場合には、監視対象の識別が困難になるため、当該監視性能が低下する。このような場合、人に関する複数の特徴情報の中から特異なものを選択し、その情報に重きを置くことで、監視性能の低下を抑制することが可能となる。
【0028】
特徴情報の特異性を判断する方法として、図4に示すように、特徴量の標準的な分布を予め用意し、得られた特徴量が平均値400から外れた値410であれば特異性があると判断し、重要度を高く設定する。また、別の方法として、図5に示すように、特徴量の標準的な空間500を予め用意し、得られる特徴量から空間までの距離が離れている外れた値510がある場合に特異性があると判断し、重要度を高く設定する。図5において、符号520は超平面を意味する。
【0029】
図6は、画像処理部13において、特徴情報の重要度を設定する処理を説明するためのフローチャートである。
【0030】
まず、画像処理部13は、画像入力部12を介してカメラ11A〜11Cにより撮影された画像を取込む(ステップS11)。画像処理部13は、画像入力部12からの各画像情報から人領域を切り出す(ステップS12)。画像処理部13は、切り出した人領域の複数の特徴情報(特徴量)を抽出する(ステップS13)。
【0031】
次に、画像処理部13は、抽出した複数の特徴情報毎の特異性を判定する(ステップS14)。この特異性を判定結果に基づいて、画像処理部13は、特徴情報毎に数値である重要度を設定し、この重要度を付加した特徴情報(特徴データ)を記憶装置14に格納して登録する(ステップS16)。
【0032】
次に、特徴情報(特徴量)の属性として、特徴情報の信頼性の高低を示す信頼度に関して、図7から図9を参照して具体的に説明する。
【0033】
監視システムの環境変動が発生した場合、複数の特徴情報の中に人同士の差異を示す情報が含まれないものが存在する。また、環境変動の内容により、信頼度の高い特徴情報と信頼度の低い特徴情報が変化することがある。
【0034】
図8は、環境パラメータ、その変動の種類、及び環境変動の発生を検知する変動検知方法のルールを示す図である。図8に示すように、環境パラメータ(カメラの撮影条件)としては、例えばカメラの撮影時の照度、コントラスト、映像(画像)の色み、カメラの俯角、カメラレンズの焦点距離、カメラと人との距離などがある。また、変動の種類としては、低下、変動、増大、変化がある。
【0035】
図7に示すように、画像処理部13は、画像入力部12からの各画像情報から人領域を切り出し、この人領域の複数の特徴情報(特徴量)を抽出する(ステップS21)。画像処理部13は、抽出した複数の特徴情報に対して信頼度の高低を設定する(ステップS22)。ここで、信頼度の設定は、図9に示すようなルールにより、複数の特徴情報に対して信頼度の高低を設定する方法で行なわれる。この場合、人の特徴量を示す特徴情報として、輝度分布情報、輝度輪郭情報、及び色分布情報の3種類がある。
【0036】
次に、画像処理部13は、図8に示すような変動検知方法により、環境パラメータの変動の発生を検知する(ステップS23)。画像処理部13は、環境パラメータの変動を検知すると、それに連動して特徴情報の信頼度を変更する処理を実行する(ステップS24のYES,S25)。具体的には、環境パラメータの中で、例えばカメラ撮影時の照度の低下が発生した場合には、3種類の特徴情報の中で、輝度輪郭情報の信頼度を相対的に高くし、輝度分布情報と色分布情報を信頼度を相対的に低くするように変更設定する。
【0037】
以上のように特徴情報(特徴量)の2種類の属性として定義、設定した重要度と信頼度の情報に基づいて、図10から図12を参照して人の追跡、同定を行なう具体的方法を説明する。
【0038】
画像処理部13は、異なるカメラにより撮影された異なる画像間で、人を追跡、同定するときに、図10に示すように、見かけの大きさやカメラに対する向きが異なる人の画像を比較し、それらの人が同一であるか否かを判断する。図10(A)は、カメラの撮影条件が相対的に良い場合であって、サイズの大きい人の画像600Aである。一方、図10(B)は、カメラの撮影条件が相対的に悪い場合であって、サイズの小さい人の画像600Bである。即ち、画像処理部13は、図10(A),(B)に示すように、環境条件、例えば照度やコントラストが異なる画像同士を比較して、同一人物であるか否かの同定処理を実行する。
【0039】
ここで、異なる画像間で人を追跡、同定するときに、一方の画像で有効と想定される人の特徴情報と、他方の画像で有効と想定される特徴情報は異なる可能性が高い。人の同定、追跡は、2つの画像間で同一の特徴情報を用いて実行することになるため、重要度や信頼度の設定が異なる特徴情報を用いることになり監視性能が低下し易い。
【0040】
そこで、本実施形態の画像処理装置10は、設定された特徴情報選択基準に基づいて、複数の特徴情報を選択し、それらを組み合わせて用いることで人の追跡、同定処理を実行する。特徴情報選択基準とは、2枚の画像の中で撮影条件の悪い方の画像を基準として、信頼度が高い特徴情報を選択する場合と、重要度の高い特徴情報を選択する場合である。
【0041】
図11(A),(B)は、異なる画像間で人を追跡、同定するときに、特徴情報(特徴量)選択の具体例を示す図である。図11(A),(B)において、符号700は、選択した特徴情報を示す。符号710は、重要度の高い特徴情報を選択したことを示す。また、符号720は、撮影条件の悪い画像の主要な特徴情報を基準として選択したことを示す。
【0042】
図12(A),(B)は、選択基準の異なる特徴情報を用いた人の追跡、同定の処理をパターンA,Bに分けて説明するフローチャートである。
【0043】
図12(A)に示すように、パターンAとして、画像処理装置10は、重要度の高い特徴情報に基づいて同定候補の人物を選択する処理を実行し、この同定候補から信頼度の高い特徴情報に基づいて人物を同定する処理を実行する。一方、図12(B)に示すように、パターンBとして、画像処理装置10は、重要度の高い特徴情報に基づいて同定候補の人物を選択する処理を実行し、この同定候補から信頼度の高い特徴情報に基づいて人物を同定する処理を実行する。
【0044】
以上要するに本実施形態によれば、画像認識処理を利用して人の追跡、同定を行なう場合の有効な特徴情報(特徴量)として重要度と信頼度の2種類の属性を定義し、カメラの撮影条件などの環境変動に応じて当該属性の設定をダイナミックに変更する。ここで、重要度とは、換言すれば、平均的な特徴から外れた特徴であり、色、外形(体型)、性別などの個別情報や、歩き方(歩様または歩容)などの時系列情報に相当する。例えば、デパート等の大規模店舗の建物に出入する人の中で、夏に黒い色の服を着ている人や、女性が出入する場所での男性などの人の特徴に対する重み付けとなる。また、信頼度は、換言すれば、カメラの撮影における環境条件に基づいて設定される信頼性情報である。
【0045】
このような本実施形態の画像認識処理であれば、環境条件の変動がある場合でも、人の追跡、同定を確実に行なうことが可能となる。従って、複数のカメラを使用する特に広域監視システムに対して有効に適用できる。
【0046】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0047】
10…画像処理装置、11A〜11C…カメラ、12…画像入力部、
13…画像処理部、14…記憶装置、15…表示装置、
100…店舗フロア、110A〜110C…監視エリア(撮影範囲)。
【特許請求の範囲】
【請求項1】
カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理に適用する特徴情報選択装置において、
前記認識対象の複数の特徴情報を抽出する特徴抽出手段と、
前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する重要度設定手段と、
前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する信頼度設定手段と、
前記特徴情報に基づいて認識対象を抽出するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から前記画像認識処理に有効な特徴情報を選択する選択手段と
を具備したことを特徴とする特徴情報選択装置。
【請求項2】
前記重要度情報は、平均と比較した場合の前記特徴情報の特異の程度を示す数値情報であり、
前記信頼度情報は、他の特徴情報と比較した場合の前記特徴情報の信頼の程度を示す情報であることを特徴とする請求項1に記載の特徴情報選択装置。
【請求項3】
前記重要度設定手段は、前記特徴情報毎の特異性を判定し、この判定結果に基づいて前記特徴情報毎に前記重要度情報を算出して設定するように構成されていることを特徴とする請求項1または請求項2のいずれか1項に記載の特徴情報選択装置。
【請求項4】
前記信頼度設定手段は、前記特徴情報毎に信頼度の高低を判定し、この判定結果に基づいて前記特徴情報毎に前記信頼度情報を設定するように構成されていることを特徴とする請求項1から請求項3のいずれか1項に記載の特徴情報選択装置。
【請求項5】
前記信頼度設定手段は、
前記撮影環境の変動に応じて、前記特徴情報毎に設定した前記信頼度情報を変更する手段を含むことを特徴とする請求項4に記載の特徴情報選択装置。
【請求項6】
前記特徴抽出手段は、
前記複数の特徴情報として、輝度分布情報、輝度輪郭情報、色分布情報のそれぞれを抽出することを特徴とする請求項1から請求項5のいずれか1項に記載の特徴情報選択装置。
【請求項7】
前記撮影環境は、照度、コントラスト、映像の色み、カメラの俯角、レンズの焦点距離、カメラと人の距離に関する複数のパラメータを含むことを特徴とする請求項1から請求項6のいずれか1項に記載の特徴情報選択装置。
【請求項8】
請求項1から請求項7のいずれか1項に記載の特徴情報選択装置を有し、
前記カメラにより撮影された画像情報を入力する画像入力手段と、
前記選択手段により選択された特徴情報に基づいて、認識対象を抽出するための画像認識処理を実行する画像認識処理手段と
を具備したことを特徴とする画像認識処理装置。
【請求項9】
カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理に適用する特徴情報を選択する方法であって、
前記認識対象の複数の特徴情報を抽出する処理と、
前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する処理と、
前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する処理と、
前記特徴情報に基づいて認識対象を抽出するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から前記画像認識処理に有効な特徴情報を選択する処理と
を実行することを特徴とする特徴情報選択方法。
【請求項10】
請求項9に記載の特徴情報選択方法を有し、
前記カメラにより撮影された画像情報を入力する処理と、
前記選択された特徴情報に基づいて、前記認識対象を抽出するための画像認識処理を実行する画像処理と
を実行することを特徴とする画像認識処理方法。
【請求項11】
カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理に適用する特徴情報を選択するためのプログラムであって、
前記認識対象の複数の特徴情報を抽出する処理と、
前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する処理と、
前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する処理と、
前記特徴情報に基づいて認識対象を抽出するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から前記画像認識処理に有効な特徴情報を選択する処理と
を有する手順をコンピュータに実行させるプログラム。
【請求項12】
前記選択された特徴情報に基づいて、前記認識対象を抽出するための画像認識処理を実行する画像認識処理の手順をさらにコンピュータに実行させる請求項11に記載のプログラム。
【請求項13】
複数のカメラと、
前記各カメラにより撮影された画像情報を入力する手段と、
前記画像情報から人領域を抽出する手段と、
前記人領域の複数の特徴情報を抽出する手段と、
前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する手段と、
前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する手段と、
前記特徴情報に基づいて人の追跡、同定を実行するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から画像認識処理に有効な特徴情報を選択する手段と、
前記選択された特徴情報に基づいて、人の追跡、同定を実行するための画像認識処理を実行する手段と
を具備したことを特徴とする監視システム。
【請求項1】
カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理に適用する特徴情報選択装置において、
前記認識対象の複数の特徴情報を抽出する特徴抽出手段と、
前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する重要度設定手段と、
前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する信頼度設定手段と、
前記特徴情報に基づいて認識対象を抽出するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から前記画像認識処理に有効な特徴情報を選択する選択手段と
を具備したことを特徴とする特徴情報選択装置。
【請求項2】
前記重要度情報は、平均と比較した場合の前記特徴情報の特異の程度を示す数値情報であり、
前記信頼度情報は、他の特徴情報と比較した場合の前記特徴情報の信頼の程度を示す情報であることを特徴とする請求項1に記載の特徴情報選択装置。
【請求項3】
前記重要度設定手段は、前記特徴情報毎の特異性を判定し、この判定結果に基づいて前記特徴情報毎に前記重要度情報を算出して設定するように構成されていることを特徴とする請求項1または請求項2のいずれか1項に記載の特徴情報選択装置。
【請求項4】
前記信頼度設定手段は、前記特徴情報毎に信頼度の高低を判定し、この判定結果に基づいて前記特徴情報毎に前記信頼度情報を設定するように構成されていることを特徴とする請求項1から請求項3のいずれか1項に記載の特徴情報選択装置。
【請求項5】
前記信頼度設定手段は、
前記撮影環境の変動に応じて、前記特徴情報毎に設定した前記信頼度情報を変更する手段を含むことを特徴とする請求項4に記載の特徴情報選択装置。
【請求項6】
前記特徴抽出手段は、
前記複数の特徴情報として、輝度分布情報、輝度輪郭情報、色分布情報のそれぞれを抽出することを特徴とする請求項1から請求項5のいずれか1項に記載の特徴情報選択装置。
【請求項7】
前記撮影環境は、照度、コントラスト、映像の色み、カメラの俯角、レンズの焦点距離、カメラと人の距離に関する複数のパラメータを含むことを特徴とする請求項1から請求項6のいずれか1項に記載の特徴情報選択装置。
【請求項8】
請求項1から請求項7のいずれか1項に記載の特徴情報選択装置を有し、
前記カメラにより撮影された画像情報を入力する画像入力手段と、
前記選択手段により選択された特徴情報に基づいて、認識対象を抽出するための画像認識処理を実行する画像認識処理手段と
を具備したことを特徴とする画像認識処理装置。
【請求項9】
カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理に適用する特徴情報を選択する方法であって、
前記認識対象の複数の特徴情報を抽出する処理と、
前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する処理と、
前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する処理と、
前記特徴情報に基づいて認識対象を抽出するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から前記画像認識処理に有効な特徴情報を選択する処理と
を実行することを特徴とする特徴情報選択方法。
【請求項10】
請求項9に記載の特徴情報選択方法を有し、
前記カメラにより撮影された画像情報を入力する処理と、
前記選択された特徴情報に基づいて、前記認識対象を抽出するための画像認識処理を実行する画像処理と
を実行することを特徴とする画像認識処理方法。
【請求項11】
カメラにより撮影された画像情報から認識対象を抽出するための画像認識処理に適用する特徴情報を選択するためのプログラムであって、
前記認識対象の複数の特徴情報を抽出する処理と、
前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する処理と、
前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する処理と、
前記特徴情報に基づいて認識対象を抽出するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から前記画像認識処理に有効な特徴情報を選択する処理と
を有する手順をコンピュータに実行させるプログラム。
【請求項12】
前記選択された特徴情報に基づいて、前記認識対象を抽出するための画像認識処理を実行する画像認識処理の手順をさらにコンピュータに実行させる請求項11に記載のプログラム。
【請求項13】
複数のカメラと、
前記各カメラにより撮影された画像情報を入力する手段と、
前記画像情報から人領域を抽出する手段と、
前記人領域の複数の特徴情報を抽出する手段と、
前記特徴情報に含まれる属性として平均的特徴から外れた特徴を示す重要度を定義し、前記特徴情報の前記重要度を示す重要度情報を設定する手段と、
前記特徴情報に含まれる属性として前記カメラの撮影環境に基づいて設定される信頼度を定義し、前記特徴情報の前記信頼度を示す信頼度情報を設定する手段と、
前記特徴情報に基づいて人の追跡、同定を実行するときに、前記重要度情報及び前記信頼度情報に基づいて前記複数の特徴情報から画像認識処理に有効な特徴情報を選択する手段と、
前記選択された特徴情報に基づいて、人の追跡、同定を実行するための画像認識処理を実行する手段と
を具備したことを特徴とする監視システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−60024(P2011−60024A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−209525(P2009−209525)
【出願日】平成21年9月10日(2009.9.10)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成21年9月10日(2009.9.10)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]