対象識別装置及び対象識別方法
【課題】撮影画像内に移動物体が含まれている場合に、その移動物体を正確に識別することが可能な、対象識別装置を得る。
【解決手段】対象識別装置としての監視装置３は、動画像を撮影する撮影部と、撮影部によって撮影された撮影画像２００Ａ内に移動物体が含まれている場合に、当該撮影画像２００Ａのうち当該移動物体に対応する画像領域７１，７２に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析部３９Ａと、前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成する特徴データ生成部２４Ａと、を備える。
【解決手段】対象識別装置としての監視装置３は、動画像を撮影する撮影部と、撮影部によって撮影された撮影画像２００Ａ内に移動物体が含まれている場合に、当該撮影画像２００Ａのうち当該移動物体に対応する画像領域７１，７２に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析部３９Ａと、前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成する特徴データ生成部２４Ａと、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象識別装置及び対象識別方法に関し、特に、所定の撮影エリア内に含まれている移動物体を識別するための対象識別装置及び対象識別方法に関する。
【背景技術】
【０００２】
監視カメラによって所定の監視エリアを撮影することにより、監視エリアへの侵入者を検知する監視装置が広く実用化されている。このような監視装置においては、例えば、人間の外見に関する複数のテンプレート画像を予め準備し、当該テンプレート画像を用いたパターンマッチングを行うことによって、撮影画像内に人間（侵入者）が含まれているか否かが判定される。
【０００３】
下記特許文献１には、屋内への侵入者を監視する監視装置が開示されている。当該監視装置は、カメラによって屋内を撮影し、フレーム間の差分画像に基づいて変化領域を抽出し、変化領域に関してパターンマッチングを行うことによって、移動物体（侵入者）を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４２３８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、テンプレート画像を用いたパターンマッチングによって人間の有無を判定する手法には、以下のような問題がある。つまり、山中に設置された通信基地局等の特定施設への侵入者を監視する場合には、外見が人間に類似した動物（例えば猿）と人間とを正確に区別することが困難である。そのため、動物が特定施設の監視エリアに近付いた場合に、当該動物が侵入者として誤って検知される可能性が高い。
【０００６】
また、監視エリア内に複数の侵入者が同時に侵入した場合には、いずれも人間である複数の侵入者の外見は互いに類似しているため、パターンマッチングのみによって個々の侵入者を正確に識別することは困難である。
【０００７】
本発明はかかる問題を解決するために成されたものであり、撮影画像内に移動物体が含まれている場合に、その移動物体を正確に識別することが可能な、対象識別装置及び対象識別方法を得ることを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の態様に係る対象識別装置は、動画像を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析手段と、前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するデータ生成手段と、を備えることを特徴とするものである。
【０００９】
第１の態様に係る対象識別装置によれば、材質分析手段は、撮影画像のうち移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて移動物体の材質を分析する。従って、材質分析の結果、移動物体に対応する画像領域内に人肌や化学繊維等が含まれている場合には、その移動物体は人間であると識別することができる。その結果、所定の撮影エリア内に移動物体が含まれている場合に、その移動物体が人間であるかそれ以外の動物等であるかを正確に識別することが可能となる。
【００１０】
また、データ生成手段は、材質分析手段によって分析された移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成する。従って、ステレオカメラの各撮影画像内に含まれている同一対象の移動物体を、各移動物体に関する特徴データに基づいて特定することができる。また、撮影画像内に複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて個々の移動物体を特定することができる。また、撮影エリア内で移動する移動物体を、当該移動物体に関する特徴データに基づいて追跡することができる。
【００１１】
本発明の第２の態様に係る対象識別装置は、第１の態様に係る対象識別装置において特に、前記撮影手段は、同一の撮影エリアを異なる方向からそれぞれ撮影する第１のカメラ及び第２のカメラを有し、前記第１のカメラによって撮影された第１の撮影画像内に含まれている移動物体に関する前記特徴データと、前記第２のカメラによって撮影された第２の撮影画像内に含まれている移動物体に関する前記特徴データとに基づいて、前記第１の撮影画像内及び前記第２の撮影画像内に含まれている同一対象の移動物体を特定する特定手段をさらに備えることを特徴とするものである。
【００１２】
第２の態様に係る対象識別装置によれば、特定手段は、第１のカメラによって撮影された第１の撮影画像内に含まれている移動物体に関する特徴データと、第２のカメラによって撮影された第２の撮影画像内に含まれている移動物体に関する特徴データとに基づいて、第１の撮影画像内及び第２の撮影画像内に含まれている同一対象の移動物体を特定する。材質に関するパラメータを含む特徴データに基づいて同一対象の特定を行うことにより、特定の精度を向上することができる。
【００１３】
本発明の第３の態様に係る対象識別装置は、第１又は第２の態様に係る対象識別装置において特に、前記撮影画像内に一又は複数の移動物体が含まれている場合に、各移動物体に関する前記特徴データに基づいて、個々の移動物体を特定する特定手段をさらに備えることを特徴とするものである。
【００１４】
第３の態様に係る対象識別装置によれば、特定手段は、撮影画像内に一又は複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて、個々の移動物体を特定する。従って、複数の移動物体の材質が異なる場合には、材質に関するパラメータを含む特徴データに基づいて個々の移動物体の特定を行うことにより、特定の精度を向上することができる。例えば、着用している衣服の材質が異なる複数の人物が撮影エリア内に含まれている場合に、個々の人物を高精度に特定することができる。
【００１５】
本発明の第４の態様に係る対象識別装置は、第１〜第３のいずれか一つの態様に係る対象識別装置において特に、前記動画像を構成する複数の画像内において前記移動物体に関する前記特徴データに基づいて当該移動物体を追跡する追跡手段をさらに備えることを特徴とするものである。
【００１６】
第４の態様に係る対象識別装置によれば、追跡手段は、前記動画像を構成する複数の画像内において前記移動物体に関する特徴データに基づいて当該移動物体を追跡する。材質に関するパラメータを含む特徴データに基づいて移動物体の追跡を行うことにより、追跡の精度を向上することができる。
【００１７】
本発明の第５の態様に係る対象識別装置は、第１〜第４のいずれか一つの態様に係る対象識別装置において特に、前記移動物体の形状を分析する形状分析手段と、前記形状分析手段による形状分析の結果と、前記材質分析手段による材質分析の結果とに基づいて、前記移動物体が人間であるか否かを識別する識別手段と、をさらに備え、前記識別手段は、前記移動物体が人間であるか否かを識別するにあたって、前記形状分析及び前記材質分析の各結果の重要度を、前記画像領域の大きさに応じて異ならせることを特徴とするものである。
【００１８】
第５の態様に係る対象識別装置によれば、識別手段は、移動物体が人間であるか否かを識別するにあたって、形状分析及び材質分析の各結果の重要度を、画像領域の大きさに応じて異ならせる。従って、撮影画像内における画像領域のサイズが小さいために材質分析の精度が低下する場合には、形状分析の結果を重視することにより、識別手段の識別精度が低下することを回避することができる。
【００１９】
本発明の第６の態様に係る対象識別方法は、（Ａ）動画像を撮影するステップと、（Ｂ）前記ステップ（Ａ）において撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析するステップと、（Ｃ）前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するステップと、を備えることを特徴とするものである。
【００２０】
第６の態様に係る対象識別方法によれば、ステップ（Ｂ）では、撮影画像のうち移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルが検出され、当該検出の結果に基づいて移動物体の材質が分析される。従って、材質分析の結果、移動物体に対応する画像領域内に人肌や化学繊維等が含まれている場合には、その移動物体は人間であると識別することができる。その結果、所定の撮影エリア内に移動物体が含まれている場合に、その移動物体が人間であるかそれ以外の動物等であるかを正確に識別することが可能となる。
【００２１】
また、ステップ（Ｃ）では、ステップ（Ｂ）において分析された移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データが生成される。従って、ステレオカメラの各撮影画像内に含まれている同一対象の移動物体を、各移動物体に関する特徴データに基づいて特定することができる。また、撮影画像内に複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて個々の移動物体を特定することができる。また、撮影エリア内で移動する移動物体を、当該移動物体に関する特徴データに基づいて追跡することができる。
【発明の効果】
【００２２】
本発明によれば、撮影画像内に移動物体が含まれている場合に、その移動物体を正確に識別することが可能な、対象識別装置及び対象識別方法を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る対象識別装置としての監視装置の使用状況の一例を示す図である。
【図２】監視装置の外観を模式的に示す図である。
【図３】監視装置の機能を概略的に示すブロック図である。
【図４】図３に示した各部の構成を具体的に示す図である。
【図５】受光素子部の構成の第１の例を示す図である。
【図６】受光素子部の構成の第２の例を示す図である。
【図７】波長選択フィルタ及び受光素子部の構成の第１の例を示す図である。
【図８】波長選択フィルタ及び受光素子部の構成の第２の例を示す図である。
【図９】材質分析部の構成を示すブロック図である。
【図１０】監視装置の全体動作を示すフローチャートである。
【図１１】広角カメラによってそれぞれ撮影された撮影画像を示す図である。
【図１２】材質識別部による材質の識別処理を示すフローチャートである。
【図１３】材質識別部による材質の識別処理を示すフローチャートである。
【図１４】望遠カメラによって侵入者を撮影した拡大画像を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００２５】
図１は、本発明の実施の形態に係る対象識別装置としての監視装置３の使用状況の一例を示す図である。通信基地局１が山中に設置されており、通信基地局１の周囲はフェンス２で取り囲まれている。この例において、監視装置３は、所定の撮影エリアとして、フェンス２を含む監視エリア４を撮影することにより、フェンス２を乗り越えて通信基地局１へ侵入しようとする侵入者を監視する用途で使用される。なお、図１の例では通信基地局１に一つの監視装置３のみが設置されているが、通信基地局１の周囲を死角無く監視するために、複数の監視装置３が設置されてもよい。
【００２６】
図２は、監視装置３の外観を模式的に示す図である。ステレオカメラとして機能する一対の広角カメラ１１Ａ，１１Ｂと、望遠カメラ１２と、制御装置１３とが、フレーム１０に取り付けられている。広角カメラ１１Ａ，１１Ｂは、監視エリア４の全体を撮影可能なように、視野が固定されている。望遠カメラ１２は、例えば、パンチルト機能及びズーム機能を搭載したＰＴＺカメラである。広角カメラ１１Ａ，１１Ｂ及び望遠カメラ１２は、対象物からの太陽光の反射光を受光することによって対象物を撮影する。但し、監視装置３においては、夜間における撮影をも可能とすべく、ハロゲン光又は赤外光を監視エリア４に向けて照射する光照射器を備えてもよい。
【００２７】
図３は、監視装置３の機能を概略的に示すブロック図である。監視装置３は、撮影部２１、分析部２２、識別部２３、特徴データ生成部２４、及びデータ処理部４０を備えている。撮影部２１は、図２に示した広角カメラ１１Ａ，１１Ｂ及び望遠カメラ１２を有している。また、図４は、図３に示した各部の構成を具体的に示す図である。
【００２８】
図３，４を参照して、撮影部２１は、広角カメラ１１Ａに対応する光学系３１Ａ、分岐部３２Ａ、受光素子部３３Ａ、波長選択フィルタ３４Ａ、及び受光素子部３５Ａを有しており、また、広角カメラ１１Ｂに対応する光学系３１Ｂ、分岐部３２Ｂ、受光素子部３３Ｂ、波長選択フィルタ３４Ｂ、及び受光素子部３５Ｂを有している。なお、以下の説明では、広角カメラ１１Ａ，１１Ｂを総称して「広角カメラ１１」と称し、光学系３１Ａ，３１Ｂを総称して「光学系３１」と称し、分岐部３２Ａ，３２Ｂを総称して「分岐部３２」と称し、受光素子部３３Ａ，３３Ｂを総称して「受光素子部３３」と称し、波長選択フィルタ３４Ａ，３４Ｂを総称して「波長選択フィルタ３４」と称し、受光素子部３５Ａ，３５Ｂを総称して「受光素子部３５」と称する。
【００２９】
分析部２２は、広角カメラ１１Ａに対応する動体検出部３６Ａ、抽出部３７Ａ、形状分析部３８Ａ、及び材質分析部３９Ａと、広角カメラ１１Ｂに対応する動体検出部３６Ｂ、抽出部３７Ｂ、形状分析部３８Ｂ、及び材質分析部３９Ｂとを有している。
【００３０】
識別部２３は、広角カメラ１１Ａに対応する識別部２３Ａと、広角カメラ１１Ｂに対応する識別部２３Ｂとを有している。
【００３１】
特徴データ生成部２４は、広角カメラ１１Ａに対応する特徴データ生成部２４Ａと、広角カメラ１１Ｂに対応する特徴データ生成部２４Ｂとを有している。
【００３２】
データ処理部４０は、同一対象特定部４１、個別対象特定部４２、位置特定部４３、及び追跡処理部４４を有している。
【００３３】
図５は、受光素子部３３，３５の構成の第１の例を示す図である。図５（Ａ）には受光素子部３３の構成を示しており、図５（Ｂ）には受光素子部３５の構成を示している。受光素子部３３は、ＣＣＤ等の複数の受光素子が行列状に配列された構成を有している。受光素子部３５は、ＩｎＧａＡｓ等を用いた複数の受光素子が行列状に配列された構成を有している。図５の例では、受光素子部３３の画素数と受光素子部３５の画素数とは互いに等しく、受光素子部３３，３５の各画素は一対一に対応する。つまり、受光素子部３３，３５の空間分解能は互いに等しい。
【００３４】
図６は、受光素子部３３，３５の構成の第２の例を示す図である。図５と同様に、図６（Ａ）には受光素子部３３の構成を示しており、図６（Ｂ）には受光素子部３５の構成を示している。図６の例では、後述する材質分析部３９Ａ，３９Ｂにおける演算処理の負荷を低減すべく、受光素子部３５の画素数は受光素子部３３の画素数より少なく設定されている。つまり、受光素子部３５の空間分解能は受光素子部３３の空間分解能より低い。
【００３５】
図４を参照して、対象物からの反射光は、光学系３１によって受光素子部３３上に導光される。受光素子部３３を構成する各受光素子は、可視光の波長域における反射光の受光強度に応じた大きさの電気信号を出力する。また、広角カメラ１１によって撮影された画像は、通信基地局１内又は遠隔地の監視センタ内に設置された液晶ディスプレイ等の表示部（図示しない）に表示される。
【００３６】
分岐部３２は、プリズム又はハーフミラー等であり、光学系３１と受光素子部３３との間に配置されている。光学系３１から受光素子部３３に向かう反射光は、分岐部３２によって受光素子部３５に向けて分岐される。分岐された反射光は、波長選択フィルタ３４を介して受光素子部３５上に導光される。受光素子部３５を構成する各受光素子は、赤外光の波長域における反射光の受光強度に応じた大きさの電気信号を出力する。
【００３７】
なお、分岐部３２の構成としては、固定のプリズム又はハーフミラー等を用いる構成の代わりに、挿退可能な反射鏡を光学系３１と受光素子部３３との間に配置する構成としてもよい。第１のタイミングにおいて、光学系３１と受光素子部３３との間の光路上から上記反射鏡を退避させる。これにより、対象物からの反射光が受光素子部３３上に導光される。また、第２のタイミングにおいて、光学系３１と受光素子部３３との間の光路上に上記反射鏡を挿入する。光学系３１から受光素子部３３に向かう反射光は、反射鏡によって受光素子部３５に向けて反射される。これにより、対象物からの反射光が受光素子部３５上に導光される。上記第１及び第２のタイミングは、所定の微小時間間隔で交互に繰り返される。
【００３８】
図７は、波長選択フィルタ３４及び受光素子部３５の構成の第１の例を示す図である。波長選択フィルタ３４は、それぞれが受光素子部３５の受光面に略等しい大きさの５枚の波長選択フィルタ５１〜５５を有している。波長選択フィルタ５１，５２，５３，５４，５５は、分岐部３２から入射された反射光のうち、それぞれ１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の波長成分のみを透過する。波長選択フィルタ５１〜５５は、受光素子部３５の受光面の前方に順に挿入される。これにより、受光素子部３５は、各波長選択フィルタ５１〜５５に対応する波長成分の反射光を、順に受光する。
【００３９】
図８は、波長選択フィルタ３４及び受光素子部３５の構成の第２の例を示す図である。受光素子部３５は、同一構造の受光素子部３５１〜３５５が並設された構成を有しており、受光素子部３５１，３５２，３５３，３５４，３５５の各受光面の前方に、波長選択フィルタ５１，５２，５３，５４，５５がそれぞれ配置されている。分岐部３２によって分岐された反射光は、図示しない追加の分岐部によって、受光素子部３５１〜３５５に向けてさらに分岐される。これにより、受光素子部３５は、各波長選択フィルタ５１〜５５に対応する波長成分の反射光を、並行して受光する。
【００４０】
図９は、材質分析部３９Ａの構成を示すブロック図である。材質分析部３９Ａは、反射率算出部９１Ａ、正規化指標算出部９２Ａ、二次微分値算出部９３Ａ、及び材質識別部９４Ａを有して構成されている。材質分析部３９Ａは、広角カメラ１１Ａによって撮影された撮影画像のうち、当該撮影画像内に含まれている移動物体に対応する画像領域に関して、１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の各波長成分のスペクトルを検出する。そして、当該スペクトルの検出結果に基づいて、当該移動物体の材質を識別する。なお、図９には材質分析部３９Ａの構成を示したが、材質分析部３９Ｂの構成もこれと同様である。
【００４１】
図１０は、監視装置３の全体動作を示すフローチャートである。以下、図１０に示したフローチャートに従って、監視装置３の動作について詳細に説明する。
【００４２】
ステップＰ１１において、広角カメラ１１Ａ，１１Ｂによって監視エリア４の全体が常時撮影される。
【００４３】
図１１は、広角カメラ１１Ａ，１１Ｂによってそれぞれ撮影された撮影画像２００Ａ，２００Ｂを示す図である。図１１（Ａ）には、監視エリア４内に侵入者６１，６２が侵入した状況を示しており、図１１（Ｂ）には、図１１（Ａ）の状況を広角カメラ１１Ａによって撮影した撮影画像２００Ａを示しており、図１１（Ｃ）には、図１１（Ａ）の状況を広角カメラ１１Ｂによって撮影した撮影画像２００Ｂを示している。広角カメラ１１Ａ，１１Ｂは異なる方向から監視エリア４を撮影しているため、その視差に起因して、撮影画像２００Ａ，２００Ｂ内における侵入者６１，６２の位置は互いに異なっている。
【００４４】
図１０のフローチャートを参照して、次にステップＰ１２において、監視エリア４内に何等かの移動物体が含まれているか否かが判定される。具体的には、図４を参照して、広角カメラ１１Ａ，１１Ｂによって撮影された撮影画像２００Ａ，２００Ｂが、受光素子部３３Ａ，３３Ｂから動体検出部３６Ａ，３６Ｂにそれぞれ入力される。そして、動体検出部３６Ａ，３６Ｂは、時系列に順次入力される連続画像間の差分に基づいて、撮影画像２００Ａ，２００Ｂ内に移動物体が含まれているか否かをそれぞれ判定する。また、動体検出部３６Ａ，３６Ｂは、移動物体が含まれている場合には、撮影画像２００Ａ，２００Ｂの全体領域のうち、移動物体に対応する画像領域をそれぞれ特定する。図１１の例においては、動体検出部３６Ａは画像領域７１，７２を特定し、動体検出部３６Ｂは画像領域７３，７４を特定する。
【００４５】
図１０のフローチャートを参照して、監視エリア４内に移動物体が含まれていない場合（つまりステップＰ１２の判定結果が「ＮＯ」である場合）は、ステップＰ１１，Ｐ１２動作が繰り返し実行される。一方、監視エリア４内に移動物体が含まれている場合（つまりステップＰ１２の判定結果が「ＹＥＳ」である場合）は、次にステップＰ１３において、移動物体の形状分析及びスペクトル分析が行われる。具体的には、図４を参照して、抽出部３７Ａは、動体検出部３６Ａが特定した画像領域７１，７２を、可視域の撮影画像２００Ａから抽出し、抽出した画像領域７１，７２を形状分析部３８Ａに入力する。また、抽出部３７Ａは、動体検出部３６Ａが特定した画像領域７１，７２を、赤外域の撮影画像２００Ａから抽出し、抽出した画像領域７１，７２を材質分析部３９Ａに入力する。
【００４６】
形状分析部３８Ａは、各画像領域７１，７２に関して、人間の外見に関する複数のテンプレート画像（予め準備されて図示しない記憶部に記憶されている）を用いてパターンマッチングを行うことにより、各画像領域７１，７２に含まれている移動物体が人間であるか否かをそれぞれ分析する。形状分析部３８Ａは、各画像領域７１，７２に含まれている移動物体が人間であることの確度を示すパラメータ情報を、後段の識別部２３Ａに入力する。
【００４７】
材質分析部３９Ａは、各画像領域７１，７２に関して、１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の波長成分のスペクトルを検出し、その検出結果に基づいて、各画像領域７１，７２に含まれている移動物体の材質をそれぞれ分析する。
【００４８】
以下、材質分析部３９Ａにおける処理の内容について詳細に説明する。上記の通り、受光素子部３５Ａを構成する各受光素子は、反射光の受光強度に応じた大きさの電気信号を出力する。材質分析部３９Ａには、１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の各波長成分に関して、画像領域７１，７２に属する受光素子から出力された電気信号が、受光素子部３５Ａから抽出部３７Ａを介して入力される。図９を参照して、当該電気信号は、反射率算出部９１Ａに入力される。
【００４９】
反射率算出部９１Ａは、受光素子部３５Ａから入力された電気信号に基づいて、１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の各波長成分に関する反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００を算出する。
【００５０】
正規化指標算出部９２Ａは、反射率算出部９１Ａによって算出された反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００に基づいて、以下に示す式により定義される正規化指標ＮＤ１〜ＮＤ４を算出する。
ＮＤ１ ： （Ｒ１５００−Ｒ１３００）／（Ｒ１５００＋Ｒ１３００）
ＮＤ２ ： （Ｒ１５００−Ｒ１２００）／（Ｒ１５００＋Ｒ１２００）
ＮＤ３ ： （Ｒ１６００−Ｒ１３００）／（Ｒ１６００＋Ｒ１３００）
ＮＤ４ ： （Ｒ１３００−Ｒ１１００）／（Ｒ１３００＋Ｒ１１００）
【００５１】
また、二次微分値算出部９３Ａは、上記反射率と波長との関数の二次微分値を算出する。本実施の形態では、二次微分値算出部９３Ａは、反射率算出部９１Ａによって算出された反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００に基づいて、以下に示す式により定義される近似的な二次微分値２ｎｄｄｅｒ１，２ｎｄｄｅｒ２を算出する。
２ｎｄｄｅｒ１ ：
［｛（Ｒ１５００−Ｒ１３００）／（Ｒ１５００＋Ｒ１３００）｝／２００］
−［｛（Ｒ１３００−Ｒ１２００）／（Ｒ１３００＋Ｒ１２００）｝／１００］
２ｎｄｄｅｒ２ ：
［｛（Ｒ１５００−Ｒ１２００）／（Ｒ１５００＋Ｒ１２００）｝／３００］
−［｛（Ｒ１２００−Ｒ１１００）／（Ｒ１２００＋Ｒ１１００）｝／１００］
【００５２】
反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００、正規化指標ＮＤ１〜ＮＤ４、及び二次微分値２ｎｄｄｅｒ１，２ｎｄｄｅｒ２は、材質識別部９４Ａに入力される。
【００５３】
材質識別部９４Ａは、入力されたこれらの情報に基づいて、対象物（つまり監視エリア４内に含まれている移動物体）の材質を識別する。
【００５４】
図１２，１３は、材質識別部９４Ａによる材質の識別処理を示すフローチャートである。まずステップＰ２１において材質識別部９４Ａは、各反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００の値が近似的に０であるか否かを判定する。例えば、反射率の値が所定値（例えば０．０２）未満である場合にはその反射率は近似的に０であると判定し、反射率の値が当該所定値以上である場合にはその反射率は近似的に０でないと判定する。全ての反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００の値が近似的に０である場合（つまりステップＰ２１における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内（この例では各画像領域７１，７２内）に窓ガラスが存在すると判定する。
【００５５】
一方、いずれかの反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００の値が近似的に０でない場合（つまりステップＰ２１における判定結果が「ＮＯ」である場合）には、次にステップＰ２２において材質識別部９４Ａは、二次微分値２ｎｄｄｅｒ１に正規化指標ＮＤ１，ＮＤ３の和を乗じた値「２ｎｄｄｅｒ１×（ＮＤ１＋ＮＤ３）」が所定の閾値Ｔｈ１１未満であるか否かを判定する。
【００５６】
「２ｎｄｄｅｒ１×（ＮＤ１＋ＮＤ３）」の値が閾値Ｔｈ１１以上である場合（つまりステップＰ２２における判定結果が「ＮＯ」である場合）には、次にステップＰ２３において材質識別部９４Ａは、正規化指標ＮＤ２の値が所定の閾値Ｔｈ１２より大きいか否かを判定する。
【００５７】
正規化指標ＮＤ２の値が閾値Ｔｈ１２より大きい場合（つまりステップＰ２３における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内に動物又は布地が存在すると判定する。
【００５８】
一方、正規化指標ＮＤ２の値が閾値Ｔｈ１２以下である場合（つまりステップＰ２３における判定結果が「ＮＯ」である場合）には、次にステップＰ２４において材質識別部９４Ａは、二次微分値２ｎｄｄｅｒ２の値が所定の閾値Ｔｈ１３未満であるか否かを判定する。
【００５９】
二次微分値２ｎｄｄｅｒ２の値が閾値Ｔｈ１３未満である場合（つまりステップＰ２４における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内に植物が存在すると判定する。
【００６０】
一方、二次微分値２ｎｄｄｅｒ２の値が閾値Ｔｈ１３以上である場合（つまりステップＰ２４における判定結果が「ＮＯ」である場合）には、材質識別部９４Ａは、解析対象範囲内に人肌が存在すると判定する。
【００６１】
上記ステップＰ２２の判定において、「２ｎｄｄｅｒ１×（ＮＤ１＋ＮＤ３）」の値が閾値Ｔｈ１１以上である場合（つまりステップＰ２２における判定結果が「ＮＯ」である場合）には、次にステップＰ２５において材質識別部９４Ａは、正規化指標ＮＤ３の値が所定の閾値Ｔｈ１４未満であるか否かを判定する。
【００６２】
正規化指標ＮＤ３の値が閾値Ｔｈ１４未満である場合（つまりステップＰ２５における判定結果が「ＹＥＳ」である場合）には、次にステップＰ２６において材質識別部９４Ａは、正規化指標ＮＤ４の値が所定の閾値Ｔｈ１５未満であるか否かを判定する。
【００６３】
正規化指標ＮＤ４の値が閾値Ｔｈ１５未満である場合（つまりステップＰ２６における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内に金属が存在すると判定する。
【００６４】
一方、正規化指標ＮＤ４の値が閾値Ｔｈ１５以上である場合（つまりステップＰ２６における判定結果が「ＮＯ」である場合）には、材質識別部９４Ａは、解析対象範囲内にコンクリート又は石が存在すると判定する。
【００６５】
上記ステップＰ２５の判定において、正規化指標ＮＤ３の値が閾値Ｔｈ１４以上である場合（つまりステップＰ２５における判定結果が「ＮＯ」である場合）には、次にステップＰ２７において材質識別部９４Ａは、正規化指標ＮＤ２の値が所定の閾値Ｔｈ１６未満であるか否かを判定する。
【００６６】
正規化指標ＮＤ２の値が閾値Ｔｈ１６未満である場合（つまりステップＰ２７における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内にアスファルトが存在すると判定する。
【００６７】
一方、正規化指標ＮＤ２の値が閾値Ｔｈ１６以上である場合（つまりステップＰ２７における判定結果が「ＮＯ」である場合）には、材質識別部９４Ａは、解析対象範囲内にコンクリート又は石が存在すると判定する。
【００６８】
なお、各閾値Ｔｈ１１〜Ｔｈ１６は、予め、金属や人肌等の既知の対象に対して測定領域を設定して材質識別部９４Ａによる上記識別フローを実施することにより、対象を正確に識別できる適切な値に設定される。
【００６９】
以上の結果、材質識別部９４Ａは、解析対象範囲内に人肌が存在すると判定した場合には、監視エリア４内に含まれている移動物体の種別は人間であると識別する。一方、それ以外の場合には、監視エリア４内に含まれている移動物体の種別は人間でないと識別する。例えば、解析対象範囲内に窓ガラス又は金属が存在すると判定した場合には、監視エリア４内に含まれている移動物体の種別は車であると識別する。
【００７０】
なお、監視エリア４への侵入者が覆面や手袋を着用することによって人肌が露出していない状況も想定される。そのため、人間のみが着用する化学繊維等の材質を検出可能な識別フローを設定することにより、解析対象範囲内に化学繊維が存在すると判定した場合には、監視エリア４内に含まれている移動物体の種別は人間であると識別してもよい。また、ウール、綿、ナイロン、ポリエステル等の繊維の種別を検出可能な識別フローを設定することにより、人間が着用している衣服の材質を識別することもできる。
【００７１】
図４を参照して、材質分析部３９Ａは、各画像領域７１，７２に含まれている移動物体が人間であることの確度を示すパラメータ情報を、後段の識別部２３Ａに入力する。
【００７２】
なお、以上の説明では広角カメラ１１Ａに対応する形状分析部３８Ａ及び材質分析部３９Ａにおける処理について説明したが、広角カメラ１１Ｂに対応する形状分析部３８Ｂ及び材質分析部３９Ｂにおける処理もこれと同様であるため、重複した説明は省略する。
【００７３】
図１０のフローチャートを参照して、次にステップＰ１４において識別部２３Ａは、形状分析部３８Ａ及び材質分析部３９Ａからそれぞれ入力された、各画像領域７１，７２に含まれている移動物体が人間であることの確度を示すパラメータ情報に基づいて、各画像領域７１，７２に含まれている移動物体が人間であるか否かを識別する。例えば、形状分析部３８Ａ及び材質分析部３９Ａから入力されたパラメータ情報の双方の値が所定の閾値以上である場合に、各画像領域７１，７２に含まれている移動物体は人間であると識別する。
【００７４】
ここで、撮影画像２００Ａ内における各画像領域７１，７２のサイズが小さい場合（特に、図６に示したように受光素子部３５の空間分解能が低い場合）には、材質分析部３９Ａによる材質分析の精度が低下する可能性がある。そこで、識別部２３Ａは、撮影画像２００Ａ内における各画像領域７１，７２のサイズが所定値より小さい場合には、材質分析部３９Ａから入力されたパラメータ情報よりも形状分析部３８Ａから入力されたパラメータ情報を重視して、各画像領域７１，７２に含まれている移動物体が人間であるか否かを識別する。例えば、各画像領域７１，７２のサイズが上記所定値未満である場合には、形状分析部３８Ａから入力されたパラメータ情報のみに基づいて識別を行い、各画像領域７１，７２のサイズが上記所定値以上である場合には、形状分析部３８Ａ及び材質分析部３９Ａの双方から入力されたパラメータ情報に基づいて識別を行う。
【００７５】
なお、以上の説明では広角カメラ１１Ａに対応する識別部２３Ａにおける処理について説明したが、広角カメラ１１Ｂに対応する識別部２３Ｂにおける処理もこれと同様である。
【００７６】
各画像領域７１，７２に含まれている移動物体が人間でないと識別された場合（つまりステップＰ１４の判定結果が「ＮＯ」である場合）は、ステップＰ１１以降の動作が繰り返し実行される。一方、各画像領域７１，７２に含まれている移動物体が人間（つまり侵入者）であると識別された場合（つまりステップＰ１４の判定結果が「ＹＥＳ」である場合）は、次にステップＰ１５において特徴データ生成部２４Ａは、各画像領域７１，７２に含まれている移動物体の特徴量を表す特徴データを生成する。例えば、各移動物体に関して、撮影画像２００Ａ内における行方向及び列方向の位置座標、前フレームからの位置の変化量、及び、材質分析部３９Ａによって画素毎に求めた材質情報等をパラメータとして記述した特徴データを生成する。画素毎の材質情報を記述することにより、侵入者が着用している衣服の材質に関する情報を、特徴データに含めることができる。特徴データ生成部２４Ａによって生成された各移動物体に関する特徴データは、データ処理部４０に入力される。
【００７７】
なお、以上の説明では広角カメラ１１Ａに対応する特徴データ生成部２４Ａにおける処理について説明したが、広角カメラ１１Ｂに対応する特徴データ生成部２４Ｂにおける処理もこれと同様である。特徴データ生成部２４Ａによって生成された、各画像領域７３，７４に含まれている移動物体に関する特徴データは、特徴データ生成部２４Ｂからデータ処理部４０に入力される。
【００７８】
図１０のフローチャートを参照して、次にステップＰ１６において個別対象特定部４２は、特徴データ生成部２４Ａ，２４Ｂからそれぞれ入力された特徴データに基づいて、各撮影画像２００Ａ，２００Ｂ内に含まれている移動物体を個々に特定する。例えば、侵入者６１が覆面を着用しており、侵入者６２が覆面を着用していない場合には、侵入者６１の顔部分の材質は繊維となる一方、侵入者６２の顔部分の材質は人肌となる。また、侵入者６１と侵入者６２とで着用している衣服の材質が異なる場合には、各侵入者６１，６２の体部分の材質が互いに異なる。従って、個別対象特定部４２は、材質の相違に基づいて、侵入者６１，６２を個々に区別することができる。本実施の形態の例では、個別対象特定部４２は、画像領域７１に対応する特徴データに基づいて侵入者６１を特定し、画像領域７２に対応する特徴データに基づいて侵入者６２を特定する。同様に、個別対象特定部４２は、画像領域７３に対応する特徴データに基づいて侵入者６１を特定し、画像領域７４に対応する特徴データに基づいて侵入者６２を特定する。
【００７９】
また、ステップＰ１６において同一対象特定部４１は、特徴データ生成部２４Ａ，２４Ｂからそれぞれ入力された特徴データに基づいて、撮影画像２００Ａ，２００Ｂ内に含まれている同一対象の移動物体を特定する。本実施の形態では、同一対象特定部４１は、撮影画像２００Ａの画像領域７１に含まれている人間と、撮影画像２００Ｂの画像領域７３に含まれている人間とが同一対象（侵入者６１）であると特定し、撮影画像２００Ａの画像領域７２に含まれている人間と、撮影画像２００Ｂの画像領域７４に含まれている人間とが同一対象（侵入者６２）であると特定する。
【００８０】
次にステップＰ１７において位置特定部４３は、広角カメラ１１Ａ，１１Ｂ間の距離、及び、撮影画像２００Ａ，２００Ｂ内における同一対象の画像領域７１，７３の位置関係に基づいて、監視エリア４内における侵入者６１の位置を特定する。同様に、位置特定部４３は、広角カメラ１１Ａ，１１Ｂ間の距離、及び、撮影画像２００Ａ，２００Ｂ内における同一対象の画像領域７２，７４の位置関係に基づいて、監視エリア４内における侵入者６２の位置を特定する。なお、本実施の形態では、フェンス２を乗り越えて通信基地局１へ侵入しようとする侵入者を監視する用途での監視装置３の使用を想定しており、フェンス２を乗り越える際の高さ方向の移動量をも考慮する必要がある。二つの広角カメラ１１Ａ，１１Ｂを用いてステレオカメラを構成しているため、高さ方向を含め侵入者の位置、侵入者までの距離を特定できる。しかし、必ずしもステレオカメラを用いる必要はなく、一つの広角カメラのみを用いてもよい。
【００８１】
次にステップＰ１８において、位置特定部４３によって特定された移動物体の位置を視野の中心として、望遠カメラ１２による撮影を行う。図１４は、望遠カメラ１２によって侵入者６１を撮影した拡大画像３００を示す図である。拡大画像３００は、ハードディスク又は半導体メモリ等の任意の記録媒体に記録されるとともに、通信基地局１内又は遠隔地の監視センタ内に設置された液晶ディスプレイ等の表示部（図示しない）に表示される。なお、本実施の形態では監視エリア４内に複数の移動物体（侵入者６１，６２）が含まれているため、望遠カメラ１２は、侵入者６１，６２を所定の時間間隔で交互に撮影する。また、監視装置３は、望遠カメラ１２による侵入者６１，６２の撮影を行うととともに、音又は光等によって侵入者６１，６２に対して所定の警告を行う。
【００８２】
また、侵入者６１，６２が監視エリア４内で移動する場合には、時系列に並ぶ複数の撮影画像２００Ａ内において、画像領域７１，７２の位置が変化する。追跡処理部４４は、特徴データが一致又は近似する画像領域を、連続する撮影画像２００Ａ内で探索することにより、侵入者６１，６２の移動に伴う画像領域７１，７２の位置変化を追跡する。同様に、追跡処理部４４は、特徴データが一致又は近似する画像領域を、連続する撮影画像２００Ｂ内で探索することにより、侵入者６１，６２の移動に伴う画像領域７３，７４の位置変化を追跡する。これにより、望遠カメラ１２によって侵入者６１，６２を追跡して撮影することができる。
【００８３】
図１０のフローチャートを参照して、次にステップＰ１９において、侵入者６１，６２が監視エリア４から去ったか否かが判定される。侵入者６１，６２が監視エリア４内に滞在している場合（つまりステップＰ１９の判定結果が「ＮＯ」である場合）は、ステップＰ１６以降の動作が繰り返される。一方、侵入者６１，６２が監視エリア４から去った場合（つまりステップＰ１９の判定結果が「ＹＥＳ」である場合）は、ステップＰ１１以降の動作が繰り返される。
【００８４】
なお、侵入者の追跡のための望遠カメラ１２の駆動制御は、図２に示した制御部１３によって行われる。但し、追跡のための所定の制御プログラムを格納したＦＰＧＡ（Field Programmable Gate Array）及びＤＳＰ（Digital Signal Processor）を望遠カメラ１２内に実装することにより、望遠カメラ１２自らの制御によって侵入者の追跡を行ってもよい。
【００８５】
このように本実施の形態に係る監視装置３によれば、材質分析部３９Ａは、撮影画像２００Ａのうち移動物体に対応する画像領域７１，７２に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて移動物体の材質を分析する。従って、材質分析の結果、移動物体に対応する画像領域７１，７２内に人肌や化学繊維等が含まれている場合には、その移動物体は人間であると識別することができる。その結果、監視エリア４内に移動物体が含まれている場合に、その移動物体が人間であるかそれ以外の動物等であるかを正確に識別することが可能となる。
【００８６】
また、特徴データ生成部２４Ａは、材質分析部３９Ａによって分析された移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成する。従って、ステレオカメラの各撮影画像内に含まれている同一対象の移動物体を、各移動物体に関する特徴データに基づいて特定することができる。また、撮影画像２００Ａ内に複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて個々の移動物体を特定することができる。また、監視エリア４内で移動する移動物体を、当該移動物体に関する特徴データに基づいて追跡することができる。
【００８７】
また、本実施の形態に係る監視装置３によれば、同一対象特定部４１は、広角カメラ１１Ａによって撮影された撮影画像２００Ａ内に含まれている移動物体に関する特徴データと、広角カメラ１１Ｂによって撮影された撮影画像２００Ｂ内に含まれている移動物体に関する特徴データとに基づいて、撮影画像２００Ａ，２００Ｂ内に含まれている同一対象の移動物体を特定する。材質に関するパラメータを含む特徴データに基づいて同一対象の特定を行うことにより、特定の精度を向上することができる。
【００８８】
また、本実施の形態に係る監視装置３によれば、個別対象特定部４２は、撮影画像２００Ａ内に複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて、個々の移動物体を特定する。従って、複数の移動物体の材質が異なる場合には、材質に関するパラメータを含む特徴データに基づいて個々の移動物体の特定を行うことにより、特定の精度を向上することができる。例えば、着用している衣服の材質が異なる複数の人物が撮影エリア内に含まれている場合に、個々の人物を高精度に特定することができる。
【００８９】
また、本実施の形態に係る監視装置３によれば、追跡処理部４４は、時系列に並ぶ複数の撮影画像２００Ａ内において移動物体の位置が変化する場合に、当該移動物体に関する特徴データに基づいて当該移動物体を追跡する。材質に関するパラメータを含む特徴データに基づいて移動物体の追跡を行うことにより、追跡の精度を向上することができる。
【００９０】
また、本実施の形態に係る監視装置３によれば、識別部２３Ａは、移動物体が人間であるか否かを識別するにあたって、形状分析及び材質分析の各結果の重要度を、撮影画像２００Ａ内における画像領域７１，７２の大きさに応じて異ならせる。従って、撮影画像２００Ａ内における画像領域７１，７２のサイズが小さいために材質分析の精度が低下する場合には、形状分析の結果を重視することにより、識別部２３Ａの識別精度が低下することを回避することができる。
【００９１】
なお、以上の説明では、本発明に係る対象識別装置を、特定施設への侵入者を監視するための監視カメラに適用する例について述べた。しかし、本発明の適用対象はこの例に限らず、例えば、自動車や車いす等に搭載される車載カメラに適用することもできる。自車の前方を車載カメラによって撮影し、撮影画像内に含まれている移動物体（自動車、自転車、歩行者等）を、形状分析及び材質分析によって識別することにより、移動物体の種別を高精度に識別することができる。
【００９２】
また、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【００９３】
３ 監視装置
４ 監視エリア
１１Ａ，１１Ｂ 広角カメラ
２１ 撮影部
２２ 分析部
２３，２３Ａ，２３Ｂ 識別部
２４，２４Ａ，２４Ｂ 特徴データ生成部
３８Ａ，３８Ｂ 形状分析部
３９Ａ，３９Ｂ 材質分析部
４０ データ処理部
４１ 同一対象特定部
４２ 個別対象特定部
４３ 位置特定部
４４ 追跡処理部
【技術分野】
【０００１】
本発明は、対象識別装置及び対象識別方法に関し、特に、所定の撮影エリア内に含まれている移動物体を識別するための対象識別装置及び対象識別方法に関する。
【背景技術】
【０００２】
監視カメラによって所定の監視エリアを撮影することにより、監視エリアへの侵入者を検知する監視装置が広く実用化されている。このような監視装置においては、例えば、人間の外見に関する複数のテンプレート画像を予め準備し、当該テンプレート画像を用いたパターンマッチングを行うことによって、撮影画像内に人間（侵入者）が含まれているか否かが判定される。
【０００３】
下記特許文献１には、屋内への侵入者を監視する監視装置が開示されている。当該監視装置は、カメラによって屋内を撮影し、フレーム間の差分画像に基づいて変化領域を抽出し、変化領域に関してパターンマッチングを行うことによって、移動物体（侵入者）を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４２３８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、テンプレート画像を用いたパターンマッチングによって人間の有無を判定する手法には、以下のような問題がある。つまり、山中に設置された通信基地局等の特定施設への侵入者を監視する場合には、外見が人間に類似した動物（例えば猿）と人間とを正確に区別することが困難である。そのため、動物が特定施設の監視エリアに近付いた場合に、当該動物が侵入者として誤って検知される可能性が高い。
【０００６】
また、監視エリア内に複数の侵入者が同時に侵入した場合には、いずれも人間である複数の侵入者の外見は互いに類似しているため、パターンマッチングのみによって個々の侵入者を正確に識別することは困難である。
【０００７】
本発明はかかる問題を解決するために成されたものであり、撮影画像内に移動物体が含まれている場合に、その移動物体を正確に識別することが可能な、対象識別装置及び対象識別方法を得ることを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の態様に係る対象識別装置は、動画像を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析手段と、前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するデータ生成手段と、を備えることを特徴とするものである。
【０００９】
第１の態様に係る対象識別装置によれば、材質分析手段は、撮影画像のうち移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて移動物体の材質を分析する。従って、材質分析の結果、移動物体に対応する画像領域内に人肌や化学繊維等が含まれている場合には、その移動物体は人間であると識別することができる。その結果、所定の撮影エリア内に移動物体が含まれている場合に、その移動物体が人間であるかそれ以外の動物等であるかを正確に識別することが可能となる。
【００１０】
また、データ生成手段は、材質分析手段によって分析された移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成する。従って、ステレオカメラの各撮影画像内に含まれている同一対象の移動物体を、各移動物体に関する特徴データに基づいて特定することができる。また、撮影画像内に複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて個々の移動物体を特定することができる。また、撮影エリア内で移動する移動物体を、当該移動物体に関する特徴データに基づいて追跡することができる。
【００１１】
本発明の第２の態様に係る対象識別装置は、第１の態様に係る対象識別装置において特に、前記撮影手段は、同一の撮影エリアを異なる方向からそれぞれ撮影する第１のカメラ及び第２のカメラを有し、前記第１のカメラによって撮影された第１の撮影画像内に含まれている移動物体に関する前記特徴データと、前記第２のカメラによって撮影された第２の撮影画像内に含まれている移動物体に関する前記特徴データとに基づいて、前記第１の撮影画像内及び前記第２の撮影画像内に含まれている同一対象の移動物体を特定する特定手段をさらに備えることを特徴とするものである。
【００１２】
第２の態様に係る対象識別装置によれば、特定手段は、第１のカメラによって撮影された第１の撮影画像内に含まれている移動物体に関する特徴データと、第２のカメラによって撮影された第２の撮影画像内に含まれている移動物体に関する特徴データとに基づいて、第１の撮影画像内及び第２の撮影画像内に含まれている同一対象の移動物体を特定する。材質に関するパラメータを含む特徴データに基づいて同一対象の特定を行うことにより、特定の精度を向上することができる。
【００１３】
本発明の第３の態様に係る対象識別装置は、第１又は第２の態様に係る対象識別装置において特に、前記撮影画像内に一又は複数の移動物体が含まれている場合に、各移動物体に関する前記特徴データに基づいて、個々の移動物体を特定する特定手段をさらに備えることを特徴とするものである。
【００１４】
第３の態様に係る対象識別装置によれば、特定手段は、撮影画像内に一又は複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて、個々の移動物体を特定する。従って、複数の移動物体の材質が異なる場合には、材質に関するパラメータを含む特徴データに基づいて個々の移動物体の特定を行うことにより、特定の精度を向上することができる。例えば、着用している衣服の材質が異なる複数の人物が撮影エリア内に含まれている場合に、個々の人物を高精度に特定することができる。
【００１５】
本発明の第４の態様に係る対象識別装置は、第１〜第３のいずれか一つの態様に係る対象識別装置において特に、前記動画像を構成する複数の画像内において前記移動物体に関する前記特徴データに基づいて当該移動物体を追跡する追跡手段をさらに備えることを特徴とするものである。
【００１６】
第４の態様に係る対象識別装置によれば、追跡手段は、前記動画像を構成する複数の画像内において前記移動物体に関する特徴データに基づいて当該移動物体を追跡する。材質に関するパラメータを含む特徴データに基づいて移動物体の追跡を行うことにより、追跡の精度を向上することができる。
【００１７】
本発明の第５の態様に係る対象識別装置は、第１〜第４のいずれか一つの態様に係る対象識別装置において特に、前記移動物体の形状を分析する形状分析手段と、前記形状分析手段による形状分析の結果と、前記材質分析手段による材質分析の結果とに基づいて、前記移動物体が人間であるか否かを識別する識別手段と、をさらに備え、前記識別手段は、前記移動物体が人間であるか否かを識別するにあたって、前記形状分析及び前記材質分析の各結果の重要度を、前記画像領域の大きさに応じて異ならせることを特徴とするものである。
【００１８】
第５の態様に係る対象識別装置によれば、識別手段は、移動物体が人間であるか否かを識別するにあたって、形状分析及び材質分析の各結果の重要度を、画像領域の大きさに応じて異ならせる。従って、撮影画像内における画像領域のサイズが小さいために材質分析の精度が低下する場合には、形状分析の結果を重視することにより、識別手段の識別精度が低下することを回避することができる。
【００１９】
本発明の第６の態様に係る対象識別方法は、（Ａ）動画像を撮影するステップと、（Ｂ）前記ステップ（Ａ）において撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析するステップと、（Ｃ）前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するステップと、を備えることを特徴とするものである。
【００２０】
第６の態様に係る対象識別方法によれば、ステップ（Ｂ）では、撮影画像のうち移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルが検出され、当該検出の結果に基づいて移動物体の材質が分析される。従って、材質分析の結果、移動物体に対応する画像領域内に人肌や化学繊維等が含まれている場合には、その移動物体は人間であると識別することができる。その結果、所定の撮影エリア内に移動物体が含まれている場合に、その移動物体が人間であるかそれ以外の動物等であるかを正確に識別することが可能となる。
【００２１】
また、ステップ（Ｃ）では、ステップ（Ｂ）において分析された移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データが生成される。従って、ステレオカメラの各撮影画像内に含まれている同一対象の移動物体を、各移動物体に関する特徴データに基づいて特定することができる。また、撮影画像内に複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて個々の移動物体を特定することができる。また、撮影エリア内で移動する移動物体を、当該移動物体に関する特徴データに基づいて追跡することができる。
【発明の効果】
【００２２】
本発明によれば、撮影画像内に移動物体が含まれている場合に、その移動物体を正確に識別することが可能な、対象識別装置及び対象識別方法を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る対象識別装置としての監視装置の使用状況の一例を示す図である。
【図２】監視装置の外観を模式的に示す図である。
【図３】監視装置の機能を概略的に示すブロック図である。
【図４】図３に示した各部の構成を具体的に示す図である。
【図５】受光素子部の構成の第１の例を示す図である。
【図６】受光素子部の構成の第２の例を示す図である。
【図７】波長選択フィルタ及び受光素子部の構成の第１の例を示す図である。
【図８】波長選択フィルタ及び受光素子部の構成の第２の例を示す図である。
【図９】材質分析部の構成を示すブロック図である。
【図１０】監視装置の全体動作を示すフローチャートである。
【図１１】広角カメラによってそれぞれ撮影された撮影画像を示す図である。
【図１２】材質識別部による材質の識別処理を示すフローチャートである。
【図１３】材質識別部による材質の識別処理を示すフローチャートである。
【図１４】望遠カメラによって侵入者を撮影した拡大画像を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００２５】
図１は、本発明の実施の形態に係る対象識別装置としての監視装置３の使用状況の一例を示す図である。通信基地局１が山中に設置されており、通信基地局１の周囲はフェンス２で取り囲まれている。この例において、監視装置３は、所定の撮影エリアとして、フェンス２を含む監視エリア４を撮影することにより、フェンス２を乗り越えて通信基地局１へ侵入しようとする侵入者を監視する用途で使用される。なお、図１の例では通信基地局１に一つの監視装置３のみが設置されているが、通信基地局１の周囲を死角無く監視するために、複数の監視装置３が設置されてもよい。
【００２６】
図２は、監視装置３の外観を模式的に示す図である。ステレオカメラとして機能する一対の広角カメラ１１Ａ，１１Ｂと、望遠カメラ１２と、制御装置１３とが、フレーム１０に取り付けられている。広角カメラ１１Ａ，１１Ｂは、監視エリア４の全体を撮影可能なように、視野が固定されている。望遠カメラ１２は、例えば、パンチルト機能及びズーム機能を搭載したＰＴＺカメラである。広角カメラ１１Ａ，１１Ｂ及び望遠カメラ１２は、対象物からの太陽光の反射光を受光することによって対象物を撮影する。但し、監視装置３においては、夜間における撮影をも可能とすべく、ハロゲン光又は赤外光を監視エリア４に向けて照射する光照射器を備えてもよい。
【００２７】
図３は、監視装置３の機能を概略的に示すブロック図である。監視装置３は、撮影部２１、分析部２２、識別部２３、特徴データ生成部２４、及びデータ処理部４０を備えている。撮影部２１は、図２に示した広角カメラ１１Ａ，１１Ｂ及び望遠カメラ１２を有している。また、図４は、図３に示した各部の構成を具体的に示す図である。
【００２８】
図３，４を参照して、撮影部２１は、広角カメラ１１Ａに対応する光学系３１Ａ、分岐部３２Ａ、受光素子部３３Ａ、波長選択フィルタ３４Ａ、及び受光素子部３５Ａを有しており、また、広角カメラ１１Ｂに対応する光学系３１Ｂ、分岐部３２Ｂ、受光素子部３３Ｂ、波長選択フィルタ３４Ｂ、及び受光素子部３５Ｂを有している。なお、以下の説明では、広角カメラ１１Ａ，１１Ｂを総称して「広角カメラ１１」と称し、光学系３１Ａ，３１Ｂを総称して「光学系３１」と称し、分岐部３２Ａ，３２Ｂを総称して「分岐部３２」と称し、受光素子部３３Ａ，３３Ｂを総称して「受光素子部３３」と称し、波長選択フィルタ３４Ａ，３４Ｂを総称して「波長選択フィルタ３４」と称し、受光素子部３５Ａ，３５Ｂを総称して「受光素子部３５」と称する。
【００２９】
分析部２２は、広角カメラ１１Ａに対応する動体検出部３６Ａ、抽出部３７Ａ、形状分析部３８Ａ、及び材質分析部３９Ａと、広角カメラ１１Ｂに対応する動体検出部３６Ｂ、抽出部３７Ｂ、形状分析部３８Ｂ、及び材質分析部３９Ｂとを有している。
【００３０】
識別部２３は、広角カメラ１１Ａに対応する識別部２３Ａと、広角カメラ１１Ｂに対応する識別部２３Ｂとを有している。
【００３１】
特徴データ生成部２４は、広角カメラ１１Ａに対応する特徴データ生成部２４Ａと、広角カメラ１１Ｂに対応する特徴データ生成部２４Ｂとを有している。
【００３２】
データ処理部４０は、同一対象特定部４１、個別対象特定部４２、位置特定部４３、及び追跡処理部４４を有している。
【００３３】
図５は、受光素子部３３，３５の構成の第１の例を示す図である。図５（Ａ）には受光素子部３３の構成を示しており、図５（Ｂ）には受光素子部３５の構成を示している。受光素子部３３は、ＣＣＤ等の複数の受光素子が行列状に配列された構成を有している。受光素子部３５は、ＩｎＧａＡｓ等を用いた複数の受光素子が行列状に配列された構成を有している。図５の例では、受光素子部３３の画素数と受光素子部３５の画素数とは互いに等しく、受光素子部３３，３５の各画素は一対一に対応する。つまり、受光素子部３３，３５の空間分解能は互いに等しい。
【００３４】
図６は、受光素子部３３，３５の構成の第２の例を示す図である。図５と同様に、図６（Ａ）には受光素子部３３の構成を示しており、図６（Ｂ）には受光素子部３５の構成を示している。図６の例では、後述する材質分析部３９Ａ，３９Ｂにおける演算処理の負荷を低減すべく、受光素子部３５の画素数は受光素子部３３の画素数より少なく設定されている。つまり、受光素子部３５の空間分解能は受光素子部３３の空間分解能より低い。
【００３５】
図４を参照して、対象物からの反射光は、光学系３１によって受光素子部３３上に導光される。受光素子部３３を構成する各受光素子は、可視光の波長域における反射光の受光強度に応じた大きさの電気信号を出力する。また、広角カメラ１１によって撮影された画像は、通信基地局１内又は遠隔地の監視センタ内に設置された液晶ディスプレイ等の表示部（図示しない）に表示される。
【００３６】
分岐部３２は、プリズム又はハーフミラー等であり、光学系３１と受光素子部３３との間に配置されている。光学系３１から受光素子部３３に向かう反射光は、分岐部３２によって受光素子部３５に向けて分岐される。分岐された反射光は、波長選択フィルタ３４を介して受光素子部３５上に導光される。受光素子部３５を構成する各受光素子は、赤外光の波長域における反射光の受光強度に応じた大きさの電気信号を出力する。
【００３７】
なお、分岐部３２の構成としては、固定のプリズム又はハーフミラー等を用いる構成の代わりに、挿退可能な反射鏡を光学系３１と受光素子部３３との間に配置する構成としてもよい。第１のタイミングにおいて、光学系３１と受光素子部３３との間の光路上から上記反射鏡を退避させる。これにより、対象物からの反射光が受光素子部３３上に導光される。また、第２のタイミングにおいて、光学系３１と受光素子部３３との間の光路上に上記反射鏡を挿入する。光学系３１から受光素子部３３に向かう反射光は、反射鏡によって受光素子部３５に向けて反射される。これにより、対象物からの反射光が受光素子部３５上に導光される。上記第１及び第２のタイミングは、所定の微小時間間隔で交互に繰り返される。
【００３８】
図７は、波長選択フィルタ３４及び受光素子部３５の構成の第１の例を示す図である。波長選択フィルタ３４は、それぞれが受光素子部３５の受光面に略等しい大きさの５枚の波長選択フィルタ５１〜５５を有している。波長選択フィルタ５１，５２，５３，５４，５５は、分岐部３２から入射された反射光のうち、それぞれ１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の波長成分のみを透過する。波長選択フィルタ５１〜５５は、受光素子部３５の受光面の前方に順に挿入される。これにより、受光素子部３５は、各波長選択フィルタ５１〜５５に対応する波長成分の反射光を、順に受光する。
【００３９】
図８は、波長選択フィルタ３４及び受光素子部３５の構成の第２の例を示す図である。受光素子部３５は、同一構造の受光素子部３５１〜３５５が並設された構成を有しており、受光素子部３５１，３５２，３５３，３５４，３５５の各受光面の前方に、波長選択フィルタ５１，５２，５３，５４，５５がそれぞれ配置されている。分岐部３２によって分岐された反射光は、図示しない追加の分岐部によって、受光素子部３５１〜３５５に向けてさらに分岐される。これにより、受光素子部３５は、各波長選択フィルタ５１〜５５に対応する波長成分の反射光を、並行して受光する。
【００４０】
図９は、材質分析部３９Ａの構成を示すブロック図である。材質分析部３９Ａは、反射率算出部９１Ａ、正規化指標算出部９２Ａ、二次微分値算出部９３Ａ、及び材質識別部９４Ａを有して構成されている。材質分析部３９Ａは、広角カメラ１１Ａによって撮影された撮影画像のうち、当該撮影画像内に含まれている移動物体に対応する画像領域に関して、１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の各波長成分のスペクトルを検出する。そして、当該スペクトルの検出結果に基づいて、当該移動物体の材質を識別する。なお、図９には材質分析部３９Ａの構成を示したが、材質分析部３９Ｂの構成もこれと同様である。
【００４１】
図１０は、監視装置３の全体動作を示すフローチャートである。以下、図１０に示したフローチャートに従って、監視装置３の動作について詳細に説明する。
【００４２】
ステップＰ１１において、広角カメラ１１Ａ，１１Ｂによって監視エリア４の全体が常時撮影される。
【００４３】
図１１は、広角カメラ１１Ａ，１１Ｂによってそれぞれ撮影された撮影画像２００Ａ，２００Ｂを示す図である。図１１（Ａ）には、監視エリア４内に侵入者６１，６２が侵入した状況を示しており、図１１（Ｂ）には、図１１（Ａ）の状況を広角カメラ１１Ａによって撮影した撮影画像２００Ａを示しており、図１１（Ｃ）には、図１１（Ａ）の状況を広角カメラ１１Ｂによって撮影した撮影画像２００Ｂを示している。広角カメラ１１Ａ，１１Ｂは異なる方向から監視エリア４を撮影しているため、その視差に起因して、撮影画像２００Ａ，２００Ｂ内における侵入者６１，６２の位置は互いに異なっている。
【００４４】
図１０のフローチャートを参照して、次にステップＰ１２において、監視エリア４内に何等かの移動物体が含まれているか否かが判定される。具体的には、図４を参照して、広角カメラ１１Ａ，１１Ｂによって撮影された撮影画像２００Ａ，２００Ｂが、受光素子部３３Ａ，３３Ｂから動体検出部３６Ａ，３６Ｂにそれぞれ入力される。そして、動体検出部３６Ａ，３６Ｂは、時系列に順次入力される連続画像間の差分に基づいて、撮影画像２００Ａ，２００Ｂ内に移動物体が含まれているか否かをそれぞれ判定する。また、動体検出部３６Ａ，３６Ｂは、移動物体が含まれている場合には、撮影画像２００Ａ，２００Ｂの全体領域のうち、移動物体に対応する画像領域をそれぞれ特定する。図１１の例においては、動体検出部３６Ａは画像領域７１，７２を特定し、動体検出部３６Ｂは画像領域７３，７４を特定する。
【００４５】
図１０のフローチャートを参照して、監視エリア４内に移動物体が含まれていない場合（つまりステップＰ１２の判定結果が「ＮＯ」である場合）は、ステップＰ１１，Ｐ１２動作が繰り返し実行される。一方、監視エリア４内に移動物体が含まれている場合（つまりステップＰ１２の判定結果が「ＹＥＳ」である場合）は、次にステップＰ１３において、移動物体の形状分析及びスペクトル分析が行われる。具体的には、図４を参照して、抽出部３７Ａは、動体検出部３６Ａが特定した画像領域７１，７２を、可視域の撮影画像２００Ａから抽出し、抽出した画像領域７１，７２を形状分析部３８Ａに入力する。また、抽出部３７Ａは、動体検出部３６Ａが特定した画像領域７１，７２を、赤外域の撮影画像２００Ａから抽出し、抽出した画像領域７１，７２を材質分析部３９Ａに入力する。
【００４６】
形状分析部３８Ａは、各画像領域７１，７２に関して、人間の外見に関する複数のテンプレート画像（予め準備されて図示しない記憶部に記憶されている）を用いてパターンマッチングを行うことにより、各画像領域７１，７２に含まれている移動物体が人間であるか否かをそれぞれ分析する。形状分析部３８Ａは、各画像領域７１，７２に含まれている移動物体が人間であることの確度を示すパラメータ情報を、後段の識別部２３Ａに入力する。
【００４７】
材質分析部３９Ａは、各画像領域７１，７２に関して、１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の波長成分のスペクトルを検出し、その検出結果に基づいて、各画像領域７１，７２に含まれている移動物体の材質をそれぞれ分析する。
【００４８】
以下、材質分析部３９Ａにおける処理の内容について詳細に説明する。上記の通り、受光素子部３５Ａを構成する各受光素子は、反射光の受光強度に応じた大きさの電気信号を出力する。材質分析部３９Ａには、１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の各波長成分に関して、画像領域７１，７２に属する受光素子から出力された電気信号が、受光素子部３５Ａから抽出部３７Ａを介して入力される。図９を参照して、当該電気信号は、反射率算出部９１Ａに入力される。
【００４９】
反射率算出部９１Ａは、受光素子部３５Ａから入力された電気信号に基づいて、１１００ｎｍ帯、１２００ｎｍ帯、１３００ｎｍ帯、１５００ｎｍ帯、及び１６００ｎｍ帯の各波長成分に関する反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００を算出する。
【００５０】
正規化指標算出部９２Ａは、反射率算出部９１Ａによって算出された反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００に基づいて、以下に示す式により定義される正規化指標ＮＤ１〜ＮＤ４を算出する。
ＮＤ１ ： （Ｒ１５００−Ｒ１３００）／（Ｒ１５００＋Ｒ１３００）
ＮＤ２ ： （Ｒ１５００−Ｒ１２００）／（Ｒ１５００＋Ｒ１２００）
ＮＤ３ ： （Ｒ１６００−Ｒ１３００）／（Ｒ１６００＋Ｒ１３００）
ＮＤ４ ： （Ｒ１３００−Ｒ１１００）／（Ｒ１３００＋Ｒ１１００）
【００５１】
また、二次微分値算出部９３Ａは、上記反射率と波長との関数の二次微分値を算出する。本実施の形態では、二次微分値算出部９３Ａは、反射率算出部９１Ａによって算出された反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００に基づいて、以下に示す式により定義される近似的な二次微分値２ｎｄｄｅｒ１，２ｎｄｄｅｒ２を算出する。
２ｎｄｄｅｒ１ ：
［｛（Ｒ１５００−Ｒ１３００）／（Ｒ１５００＋Ｒ１３００）｝／２００］
−［｛（Ｒ１３００−Ｒ１２００）／（Ｒ１３００＋Ｒ１２００）｝／１００］
２ｎｄｄｅｒ２ ：
［｛（Ｒ１５００−Ｒ１２００）／（Ｒ１５００＋Ｒ１２００）｝／３００］
−［｛（Ｒ１２００−Ｒ１１００）／（Ｒ１２００＋Ｒ１１００）｝／１００］
【００５２】
反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００、正規化指標ＮＤ１〜ＮＤ４、及び二次微分値２ｎｄｄｅｒ１，２ｎｄｄｅｒ２は、材質識別部９４Ａに入力される。
【００５３】
材質識別部９４Ａは、入力されたこれらの情報に基づいて、対象物（つまり監視エリア４内に含まれている移動物体）の材質を識別する。
【００５４】
図１２，１３は、材質識別部９４Ａによる材質の識別処理を示すフローチャートである。まずステップＰ２１において材質識別部９４Ａは、各反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００の値が近似的に０であるか否かを判定する。例えば、反射率の値が所定値（例えば０．０２）未満である場合にはその反射率は近似的に０であると判定し、反射率の値が当該所定値以上である場合にはその反射率は近似的に０でないと判定する。全ての反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００の値が近似的に０である場合（つまりステップＰ２１における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内（この例では各画像領域７１，７２内）に窓ガラスが存在すると判定する。
【００５５】
一方、いずれかの反射率Ｒ１１００，Ｒ１２００，Ｒ１３００，Ｒ１５００，Ｒ１６００の値が近似的に０でない場合（つまりステップＰ２１における判定結果が「ＮＯ」である場合）には、次にステップＰ２２において材質識別部９４Ａは、二次微分値２ｎｄｄｅｒ１に正規化指標ＮＤ１，ＮＤ３の和を乗じた値「２ｎｄｄｅｒ１×（ＮＤ１＋ＮＤ３）」が所定の閾値Ｔｈ１１未満であるか否かを判定する。
【００５６】
「２ｎｄｄｅｒ１×（ＮＤ１＋ＮＤ３）」の値が閾値Ｔｈ１１以上である場合（つまりステップＰ２２における判定結果が「ＮＯ」である場合）には、次にステップＰ２３において材質識別部９４Ａは、正規化指標ＮＤ２の値が所定の閾値Ｔｈ１２より大きいか否かを判定する。
【００５７】
正規化指標ＮＤ２の値が閾値Ｔｈ１２より大きい場合（つまりステップＰ２３における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内に動物又は布地が存在すると判定する。
【００５８】
一方、正規化指標ＮＤ２の値が閾値Ｔｈ１２以下である場合（つまりステップＰ２３における判定結果が「ＮＯ」である場合）には、次にステップＰ２４において材質識別部９４Ａは、二次微分値２ｎｄｄｅｒ２の値が所定の閾値Ｔｈ１３未満であるか否かを判定する。
【００５９】
二次微分値２ｎｄｄｅｒ２の値が閾値Ｔｈ１３未満である場合（つまりステップＰ２４における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内に植物が存在すると判定する。
【００６０】
一方、二次微分値２ｎｄｄｅｒ２の値が閾値Ｔｈ１３以上である場合（つまりステップＰ２４における判定結果が「ＮＯ」である場合）には、材質識別部９４Ａは、解析対象範囲内に人肌が存在すると判定する。
【００６１】
上記ステップＰ２２の判定において、「２ｎｄｄｅｒ１×（ＮＤ１＋ＮＤ３）」の値が閾値Ｔｈ１１以上である場合（つまりステップＰ２２における判定結果が「ＮＯ」である場合）には、次にステップＰ２５において材質識別部９４Ａは、正規化指標ＮＤ３の値が所定の閾値Ｔｈ１４未満であるか否かを判定する。
【００６２】
正規化指標ＮＤ３の値が閾値Ｔｈ１４未満である場合（つまりステップＰ２５における判定結果が「ＹＥＳ」である場合）には、次にステップＰ２６において材質識別部９４Ａは、正規化指標ＮＤ４の値が所定の閾値Ｔｈ１５未満であるか否かを判定する。
【００６３】
正規化指標ＮＤ４の値が閾値Ｔｈ１５未満である場合（つまりステップＰ２６における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内に金属が存在すると判定する。
【００６４】
一方、正規化指標ＮＤ４の値が閾値Ｔｈ１５以上である場合（つまりステップＰ２６における判定結果が「ＮＯ」である場合）には、材質識別部９４Ａは、解析対象範囲内にコンクリート又は石が存在すると判定する。
【００６５】
上記ステップＰ２５の判定において、正規化指標ＮＤ３の値が閾値Ｔｈ１４以上である場合（つまりステップＰ２５における判定結果が「ＮＯ」である場合）には、次にステップＰ２７において材質識別部９４Ａは、正規化指標ＮＤ２の値が所定の閾値Ｔｈ１６未満であるか否かを判定する。
【００６６】
正規化指標ＮＤ２の値が閾値Ｔｈ１６未満である場合（つまりステップＰ２７における判定結果が「ＹＥＳ」である場合）には、材質識別部９４Ａは、解析対象範囲内にアスファルトが存在すると判定する。
【００６７】
一方、正規化指標ＮＤ２の値が閾値Ｔｈ１６以上である場合（つまりステップＰ２７における判定結果が「ＮＯ」である場合）には、材質識別部９４Ａは、解析対象範囲内にコンクリート又は石が存在すると判定する。
【００６８】
なお、各閾値Ｔｈ１１〜Ｔｈ１６は、予め、金属や人肌等の既知の対象に対して測定領域を設定して材質識別部９４Ａによる上記識別フローを実施することにより、対象を正確に識別できる適切な値に設定される。
【００６９】
以上の結果、材質識別部９４Ａは、解析対象範囲内に人肌が存在すると判定した場合には、監視エリア４内に含まれている移動物体の種別は人間であると識別する。一方、それ以外の場合には、監視エリア４内に含まれている移動物体の種別は人間でないと識別する。例えば、解析対象範囲内に窓ガラス又は金属が存在すると判定した場合には、監視エリア４内に含まれている移動物体の種別は車であると識別する。
【００７０】
なお、監視エリア４への侵入者が覆面や手袋を着用することによって人肌が露出していない状況も想定される。そのため、人間のみが着用する化学繊維等の材質を検出可能な識別フローを設定することにより、解析対象範囲内に化学繊維が存在すると判定した場合には、監視エリア４内に含まれている移動物体の種別は人間であると識別してもよい。また、ウール、綿、ナイロン、ポリエステル等の繊維の種別を検出可能な識別フローを設定することにより、人間が着用している衣服の材質を識別することもできる。
【００７１】
図４を参照して、材質分析部３９Ａは、各画像領域７１，７２に含まれている移動物体が人間であることの確度を示すパラメータ情報を、後段の識別部２３Ａに入力する。
【００７２】
なお、以上の説明では広角カメラ１１Ａに対応する形状分析部３８Ａ及び材質分析部３９Ａにおける処理について説明したが、広角カメラ１１Ｂに対応する形状分析部３８Ｂ及び材質分析部３９Ｂにおける処理もこれと同様であるため、重複した説明は省略する。
【００７３】
図１０のフローチャートを参照して、次にステップＰ１４において識別部２３Ａは、形状分析部３８Ａ及び材質分析部３９Ａからそれぞれ入力された、各画像領域７１，７２に含まれている移動物体が人間であることの確度を示すパラメータ情報に基づいて、各画像領域７１，７２に含まれている移動物体が人間であるか否かを識別する。例えば、形状分析部３８Ａ及び材質分析部３９Ａから入力されたパラメータ情報の双方の値が所定の閾値以上である場合に、各画像領域７１，７２に含まれている移動物体は人間であると識別する。
【００７４】
ここで、撮影画像２００Ａ内における各画像領域７１，７２のサイズが小さい場合（特に、図６に示したように受光素子部３５の空間分解能が低い場合）には、材質分析部３９Ａによる材質分析の精度が低下する可能性がある。そこで、識別部２３Ａは、撮影画像２００Ａ内における各画像領域７１，７２のサイズが所定値より小さい場合には、材質分析部３９Ａから入力されたパラメータ情報よりも形状分析部３８Ａから入力されたパラメータ情報を重視して、各画像領域７１，７２に含まれている移動物体が人間であるか否かを識別する。例えば、各画像領域７１，７２のサイズが上記所定値未満である場合には、形状分析部３８Ａから入力されたパラメータ情報のみに基づいて識別を行い、各画像領域７１，７２のサイズが上記所定値以上である場合には、形状分析部３８Ａ及び材質分析部３９Ａの双方から入力されたパラメータ情報に基づいて識別を行う。
【００７５】
なお、以上の説明では広角カメラ１１Ａに対応する識別部２３Ａにおける処理について説明したが、広角カメラ１１Ｂに対応する識別部２３Ｂにおける処理もこれと同様である。
【００７６】
各画像領域７１，７２に含まれている移動物体が人間でないと識別された場合（つまりステップＰ１４の判定結果が「ＮＯ」である場合）は、ステップＰ１１以降の動作が繰り返し実行される。一方、各画像領域７１，７２に含まれている移動物体が人間（つまり侵入者）であると識別された場合（つまりステップＰ１４の判定結果が「ＹＥＳ」である場合）は、次にステップＰ１５において特徴データ生成部２４Ａは、各画像領域７１，７２に含まれている移動物体の特徴量を表す特徴データを生成する。例えば、各移動物体に関して、撮影画像２００Ａ内における行方向及び列方向の位置座標、前フレームからの位置の変化量、及び、材質分析部３９Ａによって画素毎に求めた材質情報等をパラメータとして記述した特徴データを生成する。画素毎の材質情報を記述することにより、侵入者が着用している衣服の材質に関する情報を、特徴データに含めることができる。特徴データ生成部２４Ａによって生成された各移動物体に関する特徴データは、データ処理部４０に入力される。
【００７７】
なお、以上の説明では広角カメラ１１Ａに対応する特徴データ生成部２４Ａにおける処理について説明したが、広角カメラ１１Ｂに対応する特徴データ生成部２４Ｂにおける処理もこれと同様である。特徴データ生成部２４Ａによって生成された、各画像領域７３，７４に含まれている移動物体に関する特徴データは、特徴データ生成部２４Ｂからデータ処理部４０に入力される。
【００７８】
図１０のフローチャートを参照して、次にステップＰ１６において個別対象特定部４２は、特徴データ生成部２４Ａ，２４Ｂからそれぞれ入力された特徴データに基づいて、各撮影画像２００Ａ，２００Ｂ内に含まれている移動物体を個々に特定する。例えば、侵入者６１が覆面を着用しており、侵入者６２が覆面を着用していない場合には、侵入者６１の顔部分の材質は繊維となる一方、侵入者６２の顔部分の材質は人肌となる。また、侵入者６１と侵入者６２とで着用している衣服の材質が異なる場合には、各侵入者６１，６２の体部分の材質が互いに異なる。従って、個別対象特定部４２は、材質の相違に基づいて、侵入者６１，６２を個々に区別することができる。本実施の形態の例では、個別対象特定部４２は、画像領域７１に対応する特徴データに基づいて侵入者６１を特定し、画像領域７２に対応する特徴データに基づいて侵入者６２を特定する。同様に、個別対象特定部４２は、画像領域７３に対応する特徴データに基づいて侵入者６１を特定し、画像領域７４に対応する特徴データに基づいて侵入者６２を特定する。
【００７９】
また、ステップＰ１６において同一対象特定部４１は、特徴データ生成部２４Ａ，２４Ｂからそれぞれ入力された特徴データに基づいて、撮影画像２００Ａ，２００Ｂ内に含まれている同一対象の移動物体を特定する。本実施の形態では、同一対象特定部４１は、撮影画像２００Ａの画像領域７１に含まれている人間と、撮影画像２００Ｂの画像領域７３に含まれている人間とが同一対象（侵入者６１）であると特定し、撮影画像２００Ａの画像領域７２に含まれている人間と、撮影画像２００Ｂの画像領域７４に含まれている人間とが同一対象（侵入者６２）であると特定する。
【００８０】
次にステップＰ１７において位置特定部４３は、広角カメラ１１Ａ，１１Ｂ間の距離、及び、撮影画像２００Ａ，２００Ｂ内における同一対象の画像領域７１，７３の位置関係に基づいて、監視エリア４内における侵入者６１の位置を特定する。同様に、位置特定部４３は、広角カメラ１１Ａ，１１Ｂ間の距離、及び、撮影画像２００Ａ，２００Ｂ内における同一対象の画像領域７２，７４の位置関係に基づいて、監視エリア４内における侵入者６２の位置を特定する。なお、本実施の形態では、フェンス２を乗り越えて通信基地局１へ侵入しようとする侵入者を監視する用途での監視装置３の使用を想定しており、フェンス２を乗り越える際の高さ方向の移動量をも考慮する必要がある。二つの広角カメラ１１Ａ，１１Ｂを用いてステレオカメラを構成しているため、高さ方向を含め侵入者の位置、侵入者までの距離を特定できる。しかし、必ずしもステレオカメラを用いる必要はなく、一つの広角カメラのみを用いてもよい。
【００８１】
次にステップＰ１８において、位置特定部４３によって特定された移動物体の位置を視野の中心として、望遠カメラ１２による撮影を行う。図１４は、望遠カメラ１２によって侵入者６１を撮影した拡大画像３００を示す図である。拡大画像３００は、ハードディスク又は半導体メモリ等の任意の記録媒体に記録されるとともに、通信基地局１内又は遠隔地の監視センタ内に設置された液晶ディスプレイ等の表示部（図示しない）に表示される。なお、本実施の形態では監視エリア４内に複数の移動物体（侵入者６１，６２）が含まれているため、望遠カメラ１２は、侵入者６１，６２を所定の時間間隔で交互に撮影する。また、監視装置３は、望遠カメラ１２による侵入者６１，６２の撮影を行うととともに、音又は光等によって侵入者６１，６２に対して所定の警告を行う。
【００８２】
また、侵入者６１，６２が監視エリア４内で移動する場合には、時系列に並ぶ複数の撮影画像２００Ａ内において、画像領域７１，７２の位置が変化する。追跡処理部４４は、特徴データが一致又は近似する画像領域を、連続する撮影画像２００Ａ内で探索することにより、侵入者６１，６２の移動に伴う画像領域７１，７２の位置変化を追跡する。同様に、追跡処理部４４は、特徴データが一致又は近似する画像領域を、連続する撮影画像２００Ｂ内で探索することにより、侵入者６１，６２の移動に伴う画像領域７３，７４の位置変化を追跡する。これにより、望遠カメラ１２によって侵入者６１，６２を追跡して撮影することができる。
【００８３】
図１０のフローチャートを参照して、次にステップＰ１９において、侵入者６１，６２が監視エリア４から去ったか否かが判定される。侵入者６１，６２が監視エリア４内に滞在している場合（つまりステップＰ１９の判定結果が「ＮＯ」である場合）は、ステップＰ１６以降の動作が繰り返される。一方、侵入者６１，６２が監視エリア４から去った場合（つまりステップＰ１９の判定結果が「ＹＥＳ」である場合）は、ステップＰ１１以降の動作が繰り返される。
【００８４】
なお、侵入者の追跡のための望遠カメラ１２の駆動制御は、図２に示した制御部１３によって行われる。但し、追跡のための所定の制御プログラムを格納したＦＰＧＡ（Field Programmable Gate Array）及びＤＳＰ（Digital Signal Processor）を望遠カメラ１２内に実装することにより、望遠カメラ１２自らの制御によって侵入者の追跡を行ってもよい。
【００８５】
このように本実施の形態に係る監視装置３によれば、材質分析部３９Ａは、撮影画像２００Ａのうち移動物体に対応する画像領域７１，７２に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて移動物体の材質を分析する。従って、材質分析の結果、移動物体に対応する画像領域７１，７２内に人肌や化学繊維等が含まれている場合には、その移動物体は人間であると識別することができる。その結果、監視エリア４内に移動物体が含まれている場合に、その移動物体が人間であるかそれ以外の動物等であるかを正確に識別することが可能となる。
【００８６】
また、特徴データ生成部２４Ａは、材質分析部３９Ａによって分析された移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成する。従って、ステレオカメラの各撮影画像内に含まれている同一対象の移動物体を、各移動物体に関する特徴データに基づいて特定することができる。また、撮影画像２００Ａ内に複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて個々の移動物体を特定することができる。また、監視エリア４内で移動する移動物体を、当該移動物体に関する特徴データに基づいて追跡することができる。
【００８７】
また、本実施の形態に係る監視装置３によれば、同一対象特定部４１は、広角カメラ１１Ａによって撮影された撮影画像２００Ａ内に含まれている移動物体に関する特徴データと、広角カメラ１１Ｂによって撮影された撮影画像２００Ｂ内に含まれている移動物体に関する特徴データとに基づいて、撮影画像２００Ａ，２００Ｂ内に含まれている同一対象の移動物体を特定する。材質に関するパラメータを含む特徴データに基づいて同一対象の特定を行うことにより、特定の精度を向上することができる。
【００８８】
また、本実施の形態に係る監視装置３によれば、個別対象特定部４２は、撮影画像２００Ａ内に複数の移動物体が含まれている場合に、各移動物体に関する特徴データに基づいて、個々の移動物体を特定する。従って、複数の移動物体の材質が異なる場合には、材質に関するパラメータを含む特徴データに基づいて個々の移動物体の特定を行うことにより、特定の精度を向上することができる。例えば、着用している衣服の材質が異なる複数の人物が撮影エリア内に含まれている場合に、個々の人物を高精度に特定することができる。
【００８９】
また、本実施の形態に係る監視装置３によれば、追跡処理部４４は、時系列に並ぶ複数の撮影画像２００Ａ内において移動物体の位置が変化する場合に、当該移動物体に関する特徴データに基づいて当該移動物体を追跡する。材質に関するパラメータを含む特徴データに基づいて移動物体の追跡を行うことにより、追跡の精度を向上することができる。
【００９０】
また、本実施の形態に係る監視装置３によれば、識別部２３Ａは、移動物体が人間であるか否かを識別するにあたって、形状分析及び材質分析の各結果の重要度を、撮影画像２００Ａ内における画像領域７１，７２の大きさに応じて異ならせる。従って、撮影画像２００Ａ内における画像領域７１，７２のサイズが小さいために材質分析の精度が低下する場合には、形状分析の結果を重視することにより、識別部２３Ａの識別精度が低下することを回避することができる。
【００９１】
なお、以上の説明では、本発明に係る対象識別装置を、特定施設への侵入者を監視するための監視カメラに適用する例について述べた。しかし、本発明の適用対象はこの例に限らず、例えば、自動車や車いす等に搭載される車載カメラに適用することもできる。自車の前方を車載カメラによって撮影し、撮影画像内に含まれている移動物体（自動車、自転車、歩行者等）を、形状分析及び材質分析によって識別することにより、移動物体の種別を高精度に識別することができる。
【００９２】
また、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【００９３】
３ 監視装置
４ 監視エリア
１１Ａ，１１Ｂ 広角カメラ
２１ 撮影部
２２ 分析部
２３，２３Ａ，２３Ｂ 識別部
２４，２４Ａ，２４Ｂ 特徴データ生成部
３８Ａ，３８Ｂ 形状分析部
３９Ａ，３９Ｂ 材質分析部
４０ データ処理部
４１ 同一対象特定部
４２ 個別対象特定部
４３ 位置特定部
４４ 追跡処理部
【特許請求の範囲】
【請求項１】
動画像を撮影する撮影手段と、
前記撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析手段と、
前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するデータ生成手段と、
を備える、対象識別装置。
【請求項２】
前記撮影手段は、同一の撮影エリアを異なる方向からそれぞれ撮影する第１のカメラ及び第２のカメラを有し、
前記第１のカメラによって撮影された第１の撮影画像内に含まれている移動物体に関する前記特徴データと、前記第２のカメラによって撮影された第２の撮影画像内に含まれている移動物体に関する前記特徴データとに基づいて、前記第１の撮影画像内及び前記第２の撮影画像内に含まれている同一対象の移動物体を特定する特定手段
をさらに備える、請求項１に記載の対象識別装置。
【請求項３】
前記撮影画像内に一又は複数の移動物体が含まれている場合に、各移動物体に関する前記特徴データに基づいて、個々の移動物体を特定する特定手段
をさらに備える、請求項１又は２に記載の対象識別装置。
【請求項４】
前記動画像を構成する複数の画像内において前記移動物体に関する前記特徴データに基づいて当該移動物体を追跡する追跡手段
をさらに備える、請求項１〜３のいずれか一つに記載の対象識別装置。
【請求項５】
前記移動物体の形状を分析する形状分析手段と、
前記形状分析手段による形状分析の結果と、前記材質分析手段による材質分析の結果とに基づいて、前記移動物体が人間であるか否かを識別する識別手段と、
をさらに備え、
前記識別手段は、前記移動物体が人間であるか否かを識別するにあたって、前記形状分析及び前記材質分析の各結果の重要度を、前記画像領域の大きさに応じて異ならせることを特徴とする、請求項１〜４のいずれか一つに記載の対象識別装置。
【請求項６】
（Ａ）動画像を撮影するステップと、
（Ｂ）前記ステップ（Ａ）において撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析するステップと、
（Ｃ）前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するステップと、
を備える、対象識別方法。
【請求項１】
動画像を撮影する撮影手段と、
前記撮影手段によって撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析する材質分析手段と、
前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するデータ生成手段と、
を備える、対象識別装置。
【請求項２】
前記撮影手段は、同一の撮影エリアを異なる方向からそれぞれ撮影する第１のカメラ及び第２のカメラを有し、
前記第１のカメラによって撮影された第１の撮影画像内に含まれている移動物体に関する前記特徴データと、前記第２のカメラによって撮影された第２の撮影画像内に含まれている移動物体に関する前記特徴データとに基づいて、前記第１の撮影画像内及び前記第２の撮影画像内に含まれている同一対象の移動物体を特定する特定手段
をさらに備える、請求項１に記載の対象識別装置。
【請求項３】
前記撮影画像内に一又は複数の移動物体が含まれている場合に、各移動物体に関する前記特徴データに基づいて、個々の移動物体を特定する特定手段
をさらに備える、請求項１又は２に記載の対象識別装置。
【請求項４】
前記動画像を構成する複数の画像内において前記移動物体に関する前記特徴データに基づいて当該移動物体を追跡する追跡手段
をさらに備える、請求項１〜３のいずれか一つに記載の対象識別装置。
【請求項５】
前記移動物体の形状を分析する形状分析手段と、
前記形状分析手段による形状分析の結果と、前記材質分析手段による材質分析の結果とに基づいて、前記移動物体が人間であるか否かを識別する識別手段と、
をさらに備え、
前記識別手段は、前記移動物体が人間であるか否かを識別するにあたって、前記形状分析及び前記材質分析の各結果の重要度を、前記画像領域の大きさに応じて異ならせることを特徴とする、請求項１〜４のいずれか一つに記載の対象識別装置。
【請求項６】
（Ａ）動画像を撮影するステップと、
（Ｂ）前記ステップ（Ａ）において撮影された撮影画像内に移動物体が含まれている場合に、当該撮影画像のうち当該移動物体に対応する画像領域に関して、赤外域を含む特定の複数の波長のスペクトルを検出し、当該検出の結果に基づいて前記移動物体の材質を分析するステップと、
（Ｃ）前記移動物体の材質に関するパラメータを含めて、当該移動物体の特徴量を表す特徴データを生成するステップと、
を備える、対象識別方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１０７９４３（Ｐ２０１２−１０７９４３Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５６０８６（Ｐ２０１０−２５６０８６）
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]